GEOZ

Entity

Flash Attention

一种优化的自注意力计算实现,通过分块计算和内存访问优化,显著降低内存需求和计算时间。

术语属性

  • 内存复杂度从O(n²)降低到O(n)
  • 优化重点CUDA内存访问优化

相关文章