IBM Think 2024が5/21からボストンで開催され、IBMのAI基盤モデルであるGraniteのオープンソース化など多くの発表がありました。最初のIBM CEO アービンド・クリシュナの基調講演でオープンソース化の発表があり、5,000名以上集まった会場も盛り上がりましたが、その後IBMの株価も上がるなど市場にも好感されたようです。

これまでも基盤モデル(LLM)は、Hugging Faceからダウンロードできるなどオープンなものも多くありました。しかし、いわゆるソフトウェアのオープンソースと違い、ダウンロードした後は各自で拡張し使われていたため、多くの異なるモデルが作られ乱立していました。今回の発表はソフトウェアのオープンソース・コミュニティの様に、一つのGraniteに対し誰でもリクエストを出して拡張できるようになり、一つの基盤モデルを皆で育てていく事が可能になります。本格的なオープンソースになるため、Red Hat社とIBMの共同で進めるとRed Hat Summitでも発表されています。

オープンソース化して皆で拡張するために、新しい InstructLab という仕組みも発表されました。IBM Researchで発明され、Red Hat社とオープンソース化したチューニング手法になり、上のようにRed Hat社と共同で発表されました。基盤モデルの学習は元々以下のように、前半の事前学習によりインターネット上の大量のデータを取り込んだ後に、後半で人手で質問と回答のペアを作りどういう質問が来たらどう答えるべきかを学習させ人の価値観に寄り添わせる回答(アライメント)ができるようにします。この後半の人手の学習がデータ量が少なくなってしまう課題があったところを、InstructLabは少量のデータを増幅させることで効率的にLLMをチューニング可能にしました。ファイン・チューニングはモデルの中身の再計算をする形になるため時間もコストもかかってしまいますが、InstructLabは後半の部分だけを効果的に追加するため、チューニングに一日もかかりません。

実際にもう watsonx.ai にはこの InstructLab を使ったモデルも利用可能になっていますが、性能評価の資料を見ても以前よりもかなり性能が良くなっていました。IBM基盤モデルのオープンソース化は、InstructLabという優れた技術と一緒にオープンに利用可能にすることでさらに効果が上がりそうです。

またこのAIのオープン化戦略は、オープンソース化するだけでなく、様々なプラットフォームの上でもwatsonxのテクノロジーを活用可能にする事につながっています。同日に多くのベンダーとの協業が発表されましたが、主なものは以下になります。特にSalesForceやSAPの中で使われるようになるのは重要ですね。

• AWS社とはAmazon SageMakerとwatsonx.governanceのAWS上での連携。
• Microsoft社とは、AzureのMarketplaceにwatsonx.aiとwatsonx.data搭載。
• SalesForce社とは、IBM GraniteモデルのシリーズをSalesForce Einstein 1で活用発表。
• SAP社は、IBM GraniteモデルのシリーズをSAPのRISE等全体(SAP AI Core)で活用発表。

watsonxはRed Hat社と手を組んでオープンにしているため、どんなプラットフォームでも動かせるのが利点ですね。もちろんオンプレでも動かせます。また、Red Hat Summitでも、Linux (Red Hat Enterprise Linux: RHEL)にもIBM Graniteを同梱すると発表されたため、今後はLinuxでAIを活用する場合はデフォルトがGraniteになりそうです。

また、Graniteはオープンソースになっても、データを取り込むサイトを選別し、不適切なデータを削除する仕組みが入っているため、より信頼性が高い基盤モデルです。以下のように他のLLMと比べても透明性(Transparency)で群を抜いていると発表されていました。

AIも様々な企業が参入し、様々なLLMも登場していますが、IBMのオープンソース戦略も特に企業ユースに関してはそこに一石を投じる大きな動きになるのではないでしょうか。