DanDanielElgarici/geometric-interpretation-of-attention

# 从核回归到注意力机制 通过非线性核回归、自适应滤波与微分几何的视角，对现代注意力机制进行几何学阐释。 本代码库包含一份研讨会演示文稿，作为以色列理工学院**几何计算机视觉**课程的一部分开发，基于 Peyman Milanfar 的教程： ## 概述 该演示探讨了以下方法的数学与概念演进： - 核回归 - 双边滤波 - 非局部均值法 - 局部自适应回归核 - Transformer 注意力机制 并提出了一种统一解释框架，通过以下概念将它们相互关联： - 数据自适应核函数 - 非线性回归 - 几何扩散 - Laplace–Beltrami 算子 ## 主要议题 - Nadaraya–Watson 核回归 - 图像处理中的自适应滤波 - 双边滤波与光度相似性 - 非局部均值法与基于图像块的相似性 - 导向核与局部自适应回归核 - 注意力作为广义非线性核回归 - 注意力作为在学习流形上的离散扩散 - Transformer 架构的几何解释 ## 额外贡献 在审视 Milanfar 框架的基础上，该演示还探讨了： - 注意力层与 Beltrami 流之间的关联 - 受非线性回归启发的更高阶注意力机制 - 注意力模型的基于扩散的几何正则化 - Transformer 注意力的多尺度扩散解释 ## 文件 ``` Presentation.pdf Final seminar presentation ``` ## 作者 Daniel Elgarici 以色列理工学院

标签：Apex, Nadaraya-Watson核回归, Transformer, 几何学习, 几何扩散, 几何解释, 几何计算机视觉, 双边滤波, 图像处理, 学术研究, 局部自适应回归核, 广义非线性回归, 微分几何, 扩散模型, 拉普拉斯-贝尔特拉米算子, 数据自适应核, 机器学习, 核回归, 注意力机制, 深度学习, 自适应滤波, 计算几何, 计算机视觉, 非局部均值