Microsoft’s “1 – bit” AI model runs on a CPU only, while matching larger systems – Ars Technica
マイクロソフトの研究者たちは、エネルギー効率が非常に高い新しいAIモデル「BitNet b1.58」を開発しました。このモデルは、従来のAIモデルが使用する16ビットまたは32ビットの浮動小数点数に代わり、-1、0、1の3つの異なる重み値のみを使用する「三元」アーキテクチャを採用しています。このアプローチにより、計算効率が大幅に向上し、シンプルなデスクトップCPU上でも効果的に動作します。
BitNet b1.58は、同等のフル精度モデルと比較して、85%から96%のエネルギーを節約でき、わずか0.4GBのメモリで動作可能です。これは、同じパラメータサイズの他のオープンウェイトモデルの2GBから5GBに比べて大幅に少ないです。研究者たちは、BitNetが同サイズのフル精度モデルと同等の性能を発揮できると主張していますが、その効果はまだ独立した検証が必要です。内部の計算は複雑な乗算よりも単純な加算に依存しており、これが効率の向上に寄与しています。
この研究は、AIモデルのハードウェアとエネルギーコストが高騰する中で、より効率的な代替手段を提供する可能性があります。
GitHub – microsoft/BitNet: Official inference framework for 1-bit LLMs
https://github.com/microsoft/BitNet
microsoft/bitnet-b1.58-2B-4T ・ Hugging Face
https://huggingface.co/microsoft/bitnet-b1.58-2B-4T
