もう推論にGPUはほぼ不要になる?
その先に何が起きるか
カリフォルニア工科大学(以下カルテック)のババク・ハッシビ教授が率いる研究チームPrismが発表したBonsai-8Bは
驚異的と言って良い性能を持つ大規模言語モデル(LLM)
通常のベンチマークは、ベンチマークに使うデータそのものをモデルが学習してしまう場合があるため
筆者が独自に開発した非公開の日本語要約能力ベンチマークによると、Bonsai-8Bの性能は驚異的
この表では、精度(ROUGE-L)、推論速度(speed)、サイズ(Size)、品質(Tier)の4点から様々なLLMの日本語性能を比較している
・・・ソースで見てね
このベンチマークでBonsai-8BはQwen3:235b-a22bに次ぐ3位ということになっているが
2位のQwen3:235b-a22bと比較して、1/100のサイズ、10倍の推論速度を保っている
先日Googleが鳴物入りで発表したGemma4の二つに対して
Bonsai-8Bが精度で1.25倍、速度で3倍でありながら、サイズは1/8〜1/10
このBonsai-8Bの驚異的なサイズの小ささ(そしてそれは推論速度にも直結する)を可能にしたのは1-Bit LLMという技術
これまでは1-Bit LLMについては可能性は大きいものの本格的に学習されたモデルがなく影響は限定的、という評価だった
1-Bit LLMを最初に本格的に開発したのはMicrosoftの研究チームだった
1-Bit LLMを学習するには膨大な計算量が必要になり、そうした膨大な計算量を許容するということはMicrosoftの通常のビジネス
つまりAzureやOpenAIの連携といったGPU貸出ビジネスを破壊する可能性がある
だからあまり熱心なように見えなかった
しかしカルテックの新しいスタートアップがパンドラの箱を開けてしまった
Bonsai-8Bは初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまった
筆者自身も以前実験で1-Bitニューラルネットを学習できないか試したことがある
結果は学習は十分可能というもので、これも当時の直感・常識には反していた
本格的なLLMを訓練するにはそれなりに大規模な計算資源が必要になる
個人には手に余るものだったのだが今回PrismMLチームは
Googleとカルテックやそのほかベンチャーキャピタルから資金を調達してこの驚異的な成果を実現した
モデルは公開されているが、これを訓練する方法はまだ非公開
現在は1.2GBサイズの8B(80億パラメータ)モデルしか公開されていないが
これが少し強力なマシン、ゲーミングPCやメモリ24GB程度を搭載したMacなら十分実用的に動かせる10GBサイズ程度まで広げた時
単純に計算して10倍のパラメータ、80B(800億パラメータ)のモデルが動くとなると、
これはかつて一世を風靡したDeepSeek-R1級のものが普通のPCで動くということになる
PrismMLが次にどのような展開を描いているのか現時点ではまだ不明だDeepSeek以来の台風の目になることは間違いない
1-Bit LLMがここまで実用的になると、これまで想像できなかったような応用が考えられることになる
～
巨大なモデルがその性能を落とさずに縮小していく流れはLLMに限らずあらゆるモデルに対して適用されていく
これは不可避な流れであり、そのテクノロジーの奔流の中で人間はどう生きるか
1-Bit LLM時代の幕開けはAIと人類の向き合い方の新しい時代の到来を告げる鐘である
・・・もしかして
気が遠くなるような
NVDAとかデータセンターとか電力への需要・投資が↓
etc
って・・・
イイかも
今日は～
シクラメン
画は２月末
たぶん今シーズンの
一番の盛り
今は一気に熱く？なったんで
急速に花が少なくなってる
