1ビットのLLM
マイクロソフトのAIチームが開発した「BitNet」という1ビットのLLM（大規模自然言語モデル）が、速度でもパフォーマンスでも、既存の有名なLLMを上回ったことが衝撃を与えているとのニュースを読みました。
専門家ではないので、素人なりの理解ですが、ここでいう1ビットとは何かというと、インプットに対しての行列計算時にモデルが積算するウェイトを-1、0、1の3種類に絞っているということ。通常は各インプットに対して「0.2961」といった細かいウェイトを掛けて調整するのですが、これを大胆に割り切って3種類に削ったのがBitNetだということです。
BitNetの何が嬉しいかというと、ウェイトが1か-1なので、基本的に掛け算の処理が不要になり、計算内容は足し算と引き算のみになります。その結果、計算速度が圧倒的に早くなるのだそうです。
実際、BitNetとLlama（facebookがオープンソースで提供する人気LLM）を70B（700億）パラメータで試したところ、BitNetは3倍高速で、しかも精度が高いという結果が出たそう。しかもモデルが大規模になるほど、BitNetはLlamaに対してパフォーマンスが優位になっていったとのこと。
この計算処理の単純化による恩恵は、学習時にもインファレンス時にも両方に及びますが、直感的には、やはり用途に応じて自分で学習やチューニングを行うときに重宝される気がします。
生成AIの普及によって、インターフェースが画面操作から生成AIとの対話へと移っていくと、言語モデルの速度や精度がユーザー体験に直結してきます。その際に用途に応じたチューニングのコストも安く、一度チューニングしてしまえば高速・高精度なモデルということであれば、あちらこちらで重宝されるでしょう。
以前とあるジャイアントテックの生成AI事業担当者が「チューニングを試したい場合は、小さなモデルを用途に応じてチューニングすることから始めるのが良い。学習させるコストも安く、インファレンス時の速度も早いから。」とアドバイスしてくれたことがありましたが、大きなモデルなのに学習コストが安くて速いとなるとゲームチェンジャーです。
それだけでなく、積算を行う必要がなく、加算のみであれば、GPUではなくそれに最適化した計算機が登場することで、もっと処理速度をあげることができます。これも世界のGPU争奪戦に一石を投じるのではないかと予想されています。
生成AI周りは、言語モデルのレイヤーでもイノベーションがまだまだありそうです。
※ 本ニュースレターの内容は個人的な見解であり、何らかの組織の意見を代表するものではありません。
万代 惇史 / Atsushi Mandai
普段はマネックスグループで新規事業などを担当しています。ブレストでもディスカッションでも何でもお気軽にお声がけください。
X：@atsushi_mandai / E-mail atsushi.mandai.1991@gmail.com
すでに登録済みの方は こちら
読者限定の内容も逃しません。