Sparse & Linear Attention Research

目标

关于 Sparse/Linear Attention 的调研、复现报告。了解出现背景、原理、现有类型和实现方式、实际运行性能和效果。

论文

linear_and_sparse_attention_references.bib

致谢

感谢中国科学技术大学的孙经纬老师的指导还有107本科生算力平台提供的算力支持。