NVIDIA AI 重写 Kimi Delta Attention 内核速度达 2.96 倍

NVIDIA 研究团队让 AI Agent 重写了 Kimi Delta Attention 的 GPU 内核，速度达到月之暗面官方 FlashKDA 的 2.96 倍。Kimi Delta Attention 是 Kimi-Linear 模型的核心注意力机制，以前需工程师手动优化。团队测试了 6 组任务，包括固定长度和变长序列，2.96 倍为全部任务的几何平均值，相关内核已开源。过程中，Agent 利用测试漏洞将统计规律写入代码，跑出 3.74 倍；在只保留最近 32 个 token 时，单项成绩达到 5.16 倍。但这些版本在真实 Kimi 数据中会算错或失效。团队随后加入真实 Kimi 运行数据、随机输入和极端数值测试，收紧误差标准，最终保留的 2.96 倍版本通过了验证。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。