月之暗面回應 K3 蒸餾質疑｜黃震昕稱三項自研架構升級撐 2.8 兆參數，OpenAI 高管私下判「蒸餾做不到 K3」
一句話總結
月之暗面回應 K3 蒸餾質疑，黃震昕稱二階優化器、線性注意力、殘差優化三項自研架構撐 2.8 兆參數，同時因算力緊張暫停新用戶註冊。
月之暗面回應 K3 蒸餾質疑｜黃震昕稱三項自研架構升級撐 2.8 兆參數，OpenAI 高管私下判「蒸餾做不到 K3」
面對「Kimi K3 靠蒸餾 GPT 起家」的市場質疑，月之暗面企業業務負責人 黃震昕 在昨天媒體交流會上直接回應：K3 的性能躍升來自 底層原創架構創新，不是蒸餾，並援引 OpenAI 高管私下的評價——「K3 這個表現，光靠蒸餾做不到。」
黃震昕點名三項自研技術：二階優化器、線性注意力機制、殘差優化，稱三項組合把 2.8 兆參數規模拉到訓練/推理都可行，並顯著壓低算力成本。上週 K3 開源權重時，海外社群立刻拿架構圖對 GPT-4/GPT-5 系列做結構比對，主要爭議點就是注意力層和殘差連接的相似度——月之暗面現在把這幾點單獨拉出來說明來源。
短期壓力已有動作。因為算力緊張，公司暫停 K3 新用戶註冊、優先保障已註冊用戶體驗；同時黃震昕明確「未來繼續走開源路線、繼續放大參數規模」。這給美國政府正在推的「事實禁令」加了另一條對照——不是給美國模型讓道，而是要繼續按季度出更大的開源權重。
via 上海證券報
面對「Kimi K3 靠蒸餾 GPT 起家」的市場質疑，月之暗面企業業務負責人 黃震昕 在昨天媒體交流會上直接回應：K3 的性能躍升來自 底層原創架構創新，不是蒸餾，並援引 OpenAI 高管私下的評價——「K3 這個表現，光靠蒸餾做不到。」
黃震昕點名三項自研技術：二階優化器、線性注意力機制、殘差優化，稱三項組合把 2.8 兆參數規模拉到訓練/推理都可行，並顯著壓低算力成本。上週 K3 開源權重時，海外社群立刻拿架構圖對 GPT-4/GPT-5 系列做結構比對，主要爭議點就是注意力層和殘差連接的相似度——月之暗面現在把這幾點單獨拉出來說明來源。
短期壓力已有動作。因為算力緊張，公司暫停 K3 新用戶註冊、優先保障已註冊用戶體驗；同時黃震昕明確「未來繼續走開源路線、繼續放大參數規模」。這給美國政府正在推的「事實禁令」加了另一條對照——不是給美國模型讓道，而是要繼續按季度出更大的開源權重。
via 上海證券報
