学习记录——TransNormerLLM、SRFormer、PLG

学习记录——TransNormerLLM、SRFormer、PLG

关于Transformer

• Transformer 存在局限。首要的一点，它们有着对于序列长度的二次时间复杂度，这会限制它们的可扩展性并拖累训练和推理阶段的计算资源和时间效率。
• 基于 Transformer的模型在提高窗口大小以优化性能的同时，也带来了相应的计算负担。
• 视觉Transformer（ViT）作为卷积神经网络（CNNs）的一种可行替代方案的出现，源于多头自注意力机制的成功应用。与标准卷积相比，多头自注意力机制提供了全局感受野。虽然ViT在各种视觉识别任务中展示了潜力，但自注意力的计算复杂性在将这些方法应用到资源受限的应用中带来了挑战。
• 现有transformer模型的速度通常受到内存低效操作的限制，特别是MHSA中的张量整形和逐元函数。研究者发现注意力图在头部之间具有高度相似性，导致计算冗余。

Scaling TransNormer to 175 Billion Parametes

线性注意力的Transformer大模型
2023

TransNormerLLM 是首个基于线性注意力的 LLM。
  其中值得格外注意的一项改进是将 TransNormer 的 DiagAttention 替换成线性注意力，从而可提升全局的互动性能。研究者还引入了带指数衰减的 LRPE 来解决 dilution 问题。此外，研究者还**引入了 Lightning Attention（闪电注意力）**这种全新技术，并表示其可以将线性注意力在训练时的速度提升两倍，并且其还能通过感知 IO 将内存用量减少 4 倍。不仅如此，他们还简化了 GLU 和归一化方法，而后者将整体的速度提升了 20%。他们还提出了一种稳健的推理算法，可以在不同的序列长度下保证数值稳定和恒定的推理速度，由此能提升模型在训练和推理阶段的效率。

• 改进一：位置编码
    TransNormer 中的较低层使用了 DiagAttention 来避免 dilution 问题。但是，这会导致 token 之间缺乏全局互动能力。为了解决这个问题，研究者为 TransNormerLLM 使用了带指数衰减的 LRPE（线性化相对位置编码），从而可在较低层保留完整的注意力。研究者把这种方法称为 LRPE-d。
• 改进二&