Description
如果有什么常用的资源,可以大家一起分享的,请在此处分享。
如果有什么常用的资源,可以大家一起分享的,请在此处分享。
【金山文档 | WPS云文档】 Align2CDS
https://kdocs.cn/l/cq9vXOhXsTrk
在自然语言处理领域,基于Transformer
的大语言模型(LLM)在生成较长序列时,传统Attention
机制的时间复杂度会急剧上升。算法原理上,每生成一个新Token都需要与前面所有Token计算相关性,导致时间复杂度达到O(n²):
$P(x_{n+1} \mid x_1, \dots, x_n) \propto \exp\left( \frac{Q_{n+1} \cdot K_j}{\sqrt{d_k}} \right), \quad j=1,\dots,n$