月之暗面回应 K3 蒸馏质疑｜黄震昕称三项自研架构升级撑 2.8 万亿参数，OpenAI 高管私下判「蒸馏做不到 K3」
一句话总结
月之暗面回应 K3 蒸馏质疑，黄震昕称二阶优化器、线性注意力、残差优化三项自研架构撑 2.8 万亿参数，同时因算力紧张暂停新用户注册。
面对「Kimi K3 靠蒸馏 GPT 起家」的市场质疑，月之暗面企业业务负责人 黄震昕 在昨天媒体交流会上直接回应：K3 的性能跃升来自 底层原创架构创新，不是蒸馏，并援引 OpenAI 高管私下的评价——「K3 这个表现，光靠蒸馏做不到。」
黄震昕点名三项自研技术：二阶优化器、线性注意力机制、残差优化，称三项组合把 2.8 万亿参数规模拉到训练/推理都可行，并显著压低算力成本。上周 K3 开源权重时，海外社群立刻拿架构图对 GPT-4/GPT-5 系列做结构比对，主要争议点就是注意力层和残差连接的相似度——月之暗面现在把这几点单独拉出来说明来源。
短期压力已有动作。因为算力紧张，公司暂停 K3 新用户注册、优先保障已注册用户体验；同时黄震昕明确「未来继续走开源路线、继续放大参数规模」。这给美国政府正在推的「事实禁令」加了另一条对照——不是给美国模型让道，而是要继续按季度出更大的开源权重。
via 上海证券报
黄震昕点名三项自研技术：二阶优化器、线性注意力机制、残差优化，称三项组合把 2.8 万亿参数规模拉到训练/推理都可行，并显著压低算力成本。上周 K3 开源权重时，海外社群立刻拿架构图对 GPT-4/GPT-5 系列做结构比对，主要争议点就是注意力层和残差连接的相似度——月之暗面现在把这几点单独拉出来说明来源。
短期压力已有动作。因为算力紧张，公司暂停 K3 新用户注册、优先保障已注册用户体验；同时黄震昕明确「未来继续走开源路线、继续放大参数规模」。这给美国政府正在推的「事实禁令」加了另一条对照——不是给美国模型让道，而是要继续按季度出更大的开源权重。
via 上海证券报
