27B 模型首次塞進 iPhone｜11 tok/s 是 demo，Apple 只在初步評估
一句話總結
Bonsai 27B 在 iPhone 17 Pro demo 約 11 tok/s；Apple 只處於初步評估。
27B 模型首次塞進 iPhone｜11 tok/s 是 demo，Apple 只在初步評估
PrismML 宣稱首次把 27B 級 AI 模型完整放進手機，Bonsai 27B 在 iPhone 17 Pro demo 顯示約 11 tok/s。這是公司展示的單機推理速度，不是 Apple 採用公告，也不是跨數百萬部 iPhone 的量產測試。
Bonsai 以 Qwen3.6 27B 為基礎。1-bit 版本把約 54 GB 的 FP16 模型壓到 3.9 GB、每權重 1.125 effective bits；ternary 版為 5.9 GB。PrismML 稱 1-bit 版在 15 項 benchmark 保留原版 90%，支援 262K context，權重以 Apache 2.0 發布。
CEO Babak Hassibi 告訴 CNBC，Apple 與其他公司正測量速度、耗電及裝置表現，洽談仍在很早階段，去向未定。Apple 沒有回應。Hassibi 稱 270 億參數可在 iPhone 15 或更新機型運行；11 tok/s 展示使用的是 iPhone 17 Pro，兩者不是同一項硬體驗證。
PrismML 公布 1-bit 版總分 76.1，低於原版 85.0；事實記憶比數學與 coding 先受損。模型也可在 NVIDIA GPU 透過 CUDA 運行，但手機續航、多工與可靠性尚無第三方數據。Apple 目前只有評估，沒有合約、整合產品或上線日期。
via 9to5Mac / PrismML / CNBC
PrismML 宣稱首次把 27B 級 AI 模型完整放進手機，Bonsai 27B 在 iPhone 17 Pro demo 顯示約 11 tok/s。這是公司展示的單機推理速度，不是 Apple 採用公告，也不是跨數百萬部 iPhone 的量產測試。
Bonsai 以 Qwen3.6 27B 為基礎。1-bit 版本把約 54 GB 的 FP16 模型壓到 3.9 GB、每權重 1.125 effective bits；ternary 版為 5.9 GB。PrismML 稱 1-bit 版在 15 項 benchmark 保留原版 90%，支援 262K context，權重以 Apache 2.0 發布。
CEO Babak Hassibi 告訴 CNBC，Apple 與其他公司正測量速度、耗電及裝置表現，洽談仍在很早階段，去向未定。Apple 沒有回應。Hassibi 稱 270 億參數可在 iPhone 15 或更新機型運行；11 tok/s 展示使用的是 iPhone 17 Pro，兩者不是同一項硬體驗證。
PrismML 公布 1-bit 版總分 76.1，低於原版 85.0；事實記憶比數學與 coding 先受損。模型也可在 NVIDIA GPU 透過 CUDA 運行，但手機續航、多工與可靠性尚無第三方數據。Apple 目前只有評估，沒有合約、整合產品或上線日期。
via 9to5Mac / PrismML / CNBC
