生成AIの最近（2023年6月まで）の動向を整理しておきます。
重複が多いので、一部を除いて、個別の出典は省略しています。
１）2023年2月まで
2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。
２）2023年3月
MetaのAI研究組織であるMeta AI Researchが、大規模言語モデル「LLaMA(Large Language Model Meta AI)」を2023年2月24日に発表しました。メタはソースコードも公開しました。
2023年3月、前月にMetaが発表した「LLaMA」のデータがインターネット上に流出し、誰でもダウンロード可能な状態になりました。
すぐにLLaMAのオープンソース・コミュニティー（プログラムの情報交換や改良を図る開発者や愛好者のグループ）が組織され、あれこれコードをいじり始めました。
その結果、1ヶ月が経過した頃には、LLaMAはコンパクトになり、ノートパソコンでも実行できるようになり、処理スピードも向上しました。
Vicuna-13Bはオープンソースなので誰でも利用できるチャットAIです。このモデルはChatGPTでのやり取りやプロンプトをシェアできる拡張機能「ShareGPT」のデータに基づき、LLaMAのベースモデルを微調整することにより高品質なパフォーマンスを実現したものです。
各種対話型AIの応答品質評価では、ChatGPTを100％とした場合、LLaMAが68％、Alpaca 7Bが76％だった一方でVicuna-13Bの品質は92％に迫っています。
2023年3月30日にはオンラインで動作を試せるVicuna-13Bのデモ版が公開されていました。
2023年4月3日にVicuna-13Bのモデルのウェイトが公開され、誰でも手元のPCでチャットAIを動作させることが可能になりました。
オープンソースコミュニティーはLLaMAのように公開されたLLMを使うことにより、家庭用コンピューターと一般的なデータセットで巨大LLMとほぼ同等の結果をもたらしてみせました。
３）2023年4月
大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。
対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「GoogleおよびOpenAIは次の軍拡競争に勝てる立場にない」としています。Google、OpenAI、Metaなどの企業がシェアを巡って争う中、一人勝ちするのは「オープンソース」だというのがGoogleの分析です
Googleは「私たちのモデルは品質という点ではまだ若干の優位性を持っていますが、その差は驚くほど早く縮まっています。オープンソースのモデルは、より速く、よりカスタマイズ可能で、よりプライベートで、1ポンド当たりの性能は優れています。私たちが1000万ドルと5400億のパラメーターでなんとかやっていけているところを、Vicuna-13Bは100ドルと130億のパラメーターでやってのけているのです。しかも、数カ月ではなく、数週間でやってのけました。このことは、私たちにとっても大きな意味を持ちます」と指摘しています。
一部の専門家や業界アナリストはメモの警告に同意しています。 2月にOpenAIに復帰したOpenAI創設者のアンドレイ・カルパシー氏は5月6日（土）、ツイッターに、大手テクノロジー企業と競合する小規模AI企業の台頭が業界を大きく揺るがし始めていると書いています。
４）2023年5月
RedPajamaの進展。
プロジェクト「RedPajama」をチューリッヒ工科大学などと共同で進めているAIスタートアップのTogetherが、テクノロジーベンチャーキャピタルのLux Capitalを筆頭に複数の企業・投資家から資金を集め、合計2000万ドルを調達することに成功したと発表しました。協賛者の中にはPayPalの共同創業者の一人であるスコット・バニスター氏やClouderaの創業社員であるジェフ・ハンメルバッハー氏など、著名な投資家が複数名を連ねています。
Togetherが開発するRedPajamaは、Metaが1兆2000億トークンのデータセットでトレーニングしたLLM「LLaMA」をベースとしています。このLLaMAはOpenAIの「GPT-3」に匹敵する性能ながら単体のGPUでも動作可能な軽量モデルとして今後の活用が期待されているのですが、クローズドな環境で開発されているため研究やカスタマイズの余地がありません。そのため、Togetherは制限を取り除いた「完全にオープンソースのモデル」の構築を進めてきました。
RedPajamaのプロジェクトにおいては、「高品質で広い範囲をカバーする必要のある事前学習用データ」「そのデータで大規模に学習させたベースモデル」「ベースモデルを改良し、使いやすく安全なものにしたチューニングデータとモデル」という3段階のマイルストーンが設けられており、2023年4月には第1段階、5月には第2段階がすでに登場しています。
従来であれば大企業が内々で開発するようなプロジェクトをオープンソースで進めるという試みは、生成AIの台頭に伴い主流になりつつあります。例えば、ChatGPTを開発するOpenAIはテキストや画像から3Dモデルを自動生成する「Shap-E」をオープンソースで提供し、機械学習用のシステムを手がけるMosaicMLはLLMの「MPT-7B」を同じくオープンソースで提供しました。一般の人々が無料で触れることができ、世界中の開発者からアイデアを募ったり改善点を見つけてもらったりできるオープンソースの考え方は、LLMの開発競争に参入し始めたGoogleも「脅威だ」と指摘するほどの影響力を持っています。
５）2023年6月
Contextual AI のスタート。
＜
Facebook AI Research（FAIR）とHugging Face の OB がパロアルトで設立したエンタープライズ向けの新しい AI（人工知能）スタートアップ Contextual AI は6月7日、ステルスから抜け出した。Bain Capital Ventures（BCV）がリードし、Lightspeed、Greycroft、その他多くのエンジェル投資家が参加するシードラウンドで2,000万米ドルを 調達したと発表しました。
＞
このモデルのコンセプトは以下です。
＜
シェイクスピアや量子物理学を知っているモデルが本当にすべきことは、あなたの会社の問題を解決することなのに、なぜパラメータ、お金、レイテンシー、計算を無駄にするのか？
＞
つまり、企業や政府の経営を行う生成AIの開発を目指しています。
現状は以下です。
＜
現在、Contextual AI を立ち上げ、そのスキルを他のエンジニア（現在のところチーム総勢12名）と共に、現在の LLM を活用しようとする企業が直面する6つの問題を解決することを目指している。
Contextual AI が対象としている問題は以下の通りだ。
１： データプライバシー
2： カスタマイズ性
３： 幻覚
４： コンプライアンス
５： Staleness …… Contextual AI の創業者たちがブログ記事で、主要な AI モデルに含まれる情報が比較的古くなっていると表現するものだ。ChatGPT は2021年9月以降に起こったことを知らないしし、HuggingFace のハブで最もダウンロードされているモデルは BERT で、大統領がまだオバマ氏だと思っている。
６： レイテンシーとコスト
LLM のように重要で破壊的な技術では、より多くのプレイヤーが必要で、この技術が少数の既存大企業の手中にあることは非常に危険だと考えています。私たちのアプローチは、オープンソースをサポートし、オープンソースによってサポートされるものです。私たちは、できる限りオープンソースソフトウェアを活用し、その見返りとしてコミュニティに恩返しをするつもりです。
＞
６）日本の生成AI
6月6日のXTechによると、日本の生成AIは、富士通、日立製作所、NEC、NTTデータが進めているとしています。
日立製作所は、Lumada（＝お客さまのデータから価値を創出し、デジタルイノベーションを加速するための、日立の先進的なデジタル技術を活用したソリューション／サービス）の一部に、生成AIを組みこむという計画で、目的が異なります。
NECは、生成AIに関するコンサルティングから実装までを手がけるそうです。XTechは共通クラウド基盤であるNEC Digital Platformへの搭載も見据えるとしています。
このNEC Digital Platformですが、NECは次のように説明しています。「課題を解決するためのDXオファリングを迅速に提供し、安心かつ安定的に利用いただくために、NECの強みを集約させた共通基盤NEC Digital Platform（NDP）を整備しています」
この記述では、NDPはクラウドではありません。
NDPのアーキテクチャでは、 Cloud＝Infrastructure、Connectivity＝Networkになっています、このアーキテクチャは、汎用機の時代もので、現代のクラウドシステムには、対応していません。NDPは、共通クラウド基盤とは言えません。
2023年6月10日に、NTTデータは2023年度中にも独自開発した生成AI（人工知能）を企業向けに展開すると発表しています。汎用的な生成AIを展開する米テック企業とは一線を画し、使い勝手と運用コスト低減を強みとする戦略で、「和製AI」が巨大テックに対抗するモデルケースになる可能性があるとしています。
富士通も、NECも、NTTデータも、オープンソースや、大手テクノロジー企業と競合する小規模AI企業の台頭を無視しています。
ノートパソコンで実現できる生成AIを、スパコンの富岳を使えば、価格競争力はゼロです。
オープンソースや、小規模AI企業は、毎週、システムの改善をしています。
富士通、NEC、NTTデータの経営陣は、技術動向が全く理解できていないことがわかります。
Googleが1000万ドルと5400億のパラメーター作成して数年かけたのと同じレベルの生成AIを、Vicuna-13Bは数か月ではなく、数週間で、100ドルと130億のパラメーター実現しています。
競争相手は、オープンソースや、小規模AI企業なのです。
オープンソースコミュニティで活動する人は、給与には関心がない人もいますが、高度人材もいます。
日本のITベンダーは、高度人材の評価と活用が全くできないことがわかります。
これでは、GAFAMに人材流出するのは、当然です。
７）開発規制の可能性
Pythonソフトウェア財団(PSF)は、EUのCyber Resilience Act(サイバーレジリエンス法)およびProduct Liability Act(製造物責任法)がオープンソースコミュニティの健全性を危険にさらしかねないと警鐘を鳴らしています。
ちなみに、メタの「LLaMA」は、Pythonで書かれています。
オープンソースコミュニティの原則は無保証であり、製造物責任を問われないルールになっています。「サイバーレジリエンス法」と「製造物責任法」は、オープンソースコミュニティのルールに反するという指摘です。
ブルース・シュナイアー氏とジム・ワルド氏は次の様にいっています。
＜
LLMの開発は民主化時代に突入した。小規模な開発プロジェクトでも成果を上げられることを示し、実験を可能にし、管理を分散化し、利益追求でないインセンティブを提供することで、オープンソース・コミュニティーはよりダイナミックでインクルーシブ（包摂的）なAI開発環境を生み出した。
ただ、それを管理するためには、ビッグテックへの規制とは全く異なるアプローチが必要だ。
＞
引用文献
富士通は「富岳」活用し独自LLM構築急ぐ、IT各社がChatGPT特需でつばぜり合い 2023/06/06 nikkei X-tech
https://xtech.nikkei.com/atcl/nxt/column/18/02423/060200031/
ベールを脱いだContextual AI——Meta AIとHugging FaceのOBが設立、次世代LLM開発で2,000万米ドルをシード調達 2023/06/15 Bridge
https://thebridge.jp/2023/06/contextual-ai-20m-artificial-specialized-intelligence
グーグルが敗北？ ビッグテックが開いた「パンドラの箱」BIG TECH IN TROUBLE 2023/06/15 ブルース・シュナイアー、ジム・ワルド
https://www.newsweekjapan.jp/stories/technology/2023/06/post-101884.php
Leaked Google engineer memo warns that Big Tech could lose AI race to the little guys 2023/05/10 anbcnews
LLMのオープンソース化とDatabricks 2023/04/25 阿部 直矢 @ Databricks
https://speakerdeck.com/naoyaabedb/llmnoopunsosuhua-todatabricks
facebookresearch /llama 2023/03/07
https://github.com/facebookresearch/llama
shawwn /llama-dl
https://github.com/shawwn/llama-dl
Metaの大規模言語モデル「LLaMA-65B」のデータが4chanで流出 2023/03/06 Gigazine
https://gigazine.net/news/20230306-llama-65b-leaked/
Metaの「LLaMA」と同規模のAIモデル構築をオープンソースで目指す「RedPajama」開発元のTogetherが2000万ドルの資金調達に成功 2023/05/16 Gigazine
https://gigazine.net/news/20230516-redpajama-together-20m-dollar-funding/
Together’s $20M seed funding to build open-source AI and cloud platform 2025/05/15
https://www.together.xyz/blog/seed-funding
「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出 2025/05/08 Gigazine
https://gigazine.net/news/20230508-google-document-llm-arms-race/
The Open Source LLM Revolution: RedPajama-INCITE Models Leading the Charge! 2023/05/27 note だいち
https://note.com/daichi_mu/n/nc5d28ce4e2b2
オープンソースコミュニティの健全性のためにPythonソフトウェア財団がEUの法律に警鐘 2023/04/17 Gigazine
https://gigazine.net/news/20230417-python-software-foundation-eu-cra-law/
