１）AI国家戦略
自民党のデジタル社会推進本部は3月30日、党本部で会合を開き、人工知能（AI）関連政策を立案する司令塔の創設を柱とする「AI国家戦略」の策定を政府に求める提言をまとめています。
提言は、対話型AIが世界的に注目されている現状を踏まえ「ここ数カ月の世界的変化は『AI新時代』の到来を示している」と位置づけています。
AI関連政策の司令塔を定め、研究開発、経済構造、人材育成、安全保障など幅広い観点から早急に総合的な施策を検討するよう訴えた。AIを活用した新規事業の創出を奨励することも求めています。
２）AIが人間に替わる日
GPT-4 が、弁護士試験など、多数の試験において受験者の上位10%内など人間を超える結果を得たことは、専門職がなくなることを意味しません。
「AIが人間に替わる日」は、SF映画の見すぎだと思われます。
ただし、重要なことは、仕事の方法が根本的に変わってしまうことです。
ディープラーニングの劇的な効果は、2012年の画像認識への適用からです。2015年には、画像認識で、AIが人間の精度を超えています。
2018年には、OpenAIのGPT（generative pre-trained transformer）シリーズの最初の大規模言語モデル（LLM）であるGPT-1が出ています。
2018年10月にGoogleは、汎用言語モデル「BERT」が発表しています。
2019年6月には、「BERT」は英語のテキスト認識で,、人間の精度を超えました。
2018年から2020年にかけて、特定の自然言語処理（NLP）タスクでLLMを使用するための標準的な方法は、タスクに特化した追加訓練でモデルをファインチューニングすることでした。
しかし、Few-shot learningによって、この状況は大きく変わりました。
３）生成AIの概観
2022年8月に、noteに、AI小説家でプロンプトエンジニアのIT navi氏が、「人工知能による自然言語処理（日本語の言語モデル開発の現状）」という記事を書いていて、主な生成AIのリストを作成しています。一部追加修正して、リストを引用します。
＞
【アメリカ】
・GPT-2 OpenAI 2019年11月 15億
・GPT-3 OpenAI 2020年5月 1,750億
・GPT-4 OpenAI 2023年3月 正確なパラメータ数は不明
・GShard Google 2020年6月 6,000億
・Switch Transformer Google 2021年1月 1兆6,000億
・MT-NLG Microsoft 2021年10月 5,300億
・Gopher Google DeepMind 2021年12月 2,800億
・PaLM2 Google 2023年5月 正確なパラメータ数は不明
・OPT-175B Meta 2022年5月 1,750億
・LLaMA Meta 2022年5月 650億
・Hyena Hazy Research 2023年3月
【中国】
・PanGu-α Huawei 2021年4月 2,000億
・悟道2.0 北京智源人工知能研究院 2021年6月 1兆7,500億
・Yuan 1.0 Inspur 2021年9月 2,457億
・M6 Alibaba 2021年11月 10兆？
・ERNIE 3.0 Titan Baidu 2021年12月 2,600億
・GLM-130B 清華大学 2022年8月 1,300億
【その他】
・HyperCLOVA NAVER（韓国） 2021年5月（構築中） 2,040億
・Jurassic-1 AI21 Labs（イスラエル） 2021年8月 1,780億
・YaLM 100B Yandex（ロシア） 2022年6月 1,000億
・Bloom BIgScience 2022年7月 1,760億 ※60か国超の研究者が参加
【日本】
・ELYZA Brain：2020年9月 パラメータ数10億
・rinna社日本語GPT言語モデル：2022年1月 パラメータ数13億
・LINE社とNAVER社HyperCLOVA：開発中 パラメータ数820億
・Megagon LabsのGiNZA version 4.0：2020年8月パラメータ数不明
・サイバーエージェント 2023年5月17日 OpenCalm7B パラメータ数68億
・rinna社 3b 2023年5月17日 パラメータ数36億
＞
これから、パラメータ数で、日本の生成AIは、GPT-2からGPT-3の間のレベルであることがわかります。
このパラメータ数ですが、ICC KYOTO 2022に、HyperCLOVAの開発者が次のように述べてます。（筆者要約）
＞
820億パラメータぐらいの日本語モデルですが、学習に1カ月かかり。GPU代と電気代が大きくかかります。
NVIDIA社の純正のA100GPUがついたSuperPODを、複数台に分けて、効率的に動かすような仕組みつくると、結構な金額のGPU投資になります。
NVIDIAに気づかないうちに支配されているみたいな状況から脱却すべく、NVIDIAのアーキテクチャから脱却する活動が業界全体にあります。
Googleは自分たちでTensor Processing Unitを作っています。
＞
これから、パラメータ数は、ハードウェアに依存するので、グレードアップが容易でないことが判ります。
４）最近のモデル
４－１）PaLM 2
グーグル（Google）は、2023年5月11日に、年次I/Oカンファレンスで、次世代の大規模言語モデルとして「PaLM 2」を発表しました。同社の対話型AI「Bard」も、当初搭載されていた「LaMDA」から「PaLM 2」に移行しています。
カンファレンスで、VentureBeatが投げかけた質問に対し、Ghahramani氏はPaLM 2のパラメータサイズの具体的な数値の提示を避け、パラメータのカウントは性能や能力を測定する理想的な方法ではないことだけを指摘しています。
主な特徴は以下です。
多言語対応：新しいモデルは100以上の話し言葉で訓練されているため、PaLM 2は多言語タスクに優れている。曖昧な意味や比喩的な意味を含む、異なる言語のニュアンスのフレーズを理解することができる。
推論：PaLM 2は前モデルよりも強力な論理、常識的な推論、数学を提供する。科学論文や数式など、膨大な量の数学と科学のテキストでトレーニングを実施している。
コーディングができる： PaLM 2は、コードの理解、生成、デバッグも行い、20以上のプログラミング言語について事前学習しています。
IT navi氏は、日本語の生成AIを作るための日本語の学習用データが少ない問題を取り上げていますしたが、 PaLM 2は、この問題に対する解答のひとつです。
４－２）CyberAgent LLM
5月17日、サイバーエージェントは、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開しました。
公開されたモデルはオープンな日本語データで学習したもので、商用利用可能なCC BY-SA 4.0ライセンスで提供されています。
４－３）rinna 汎用GPT言語モデル (rinna/japanese-gpt-neox-3.6b)
5月17日、rinna株式会社は、日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開しています。
４－４）メタのLLaMA
メタは2月24日、独自の大規模言語モデル（LLM）であるLLaMA（Large Language Model Meta AI）を発表しました。
同モデルは、パラメーター数によって「7B（70億パラメーター）」「13B（130億）」「33B（330億）」「65B（650億）」の4つのタイプが用意されています。他のLLMと異なりすべて一般に公開されているデータセットで学習しているため、オープンソースとも親和性が高くなっています。
メタの古いモデルOPT-175Bのパラメータ数は、GPT-3とおなじ175Bでしたが、LLaMAのパラ―メータ数は、65Bしかありません。これは、パラメータ数が少なくても十分な性能をあげられるアルゴリズムを採用しているからです。
論文によればLLaMA-13BはほとんどのベンチマークででGPT-3（175B）を上回り、LLaMA-65BはDeepMindの「Chinchilla70B」やグーグルの「PaLM-540B」に匹敵する性能をもっているといいます。
４－５）ChatGPT plugins のベータ提供とプラグイン
5月12日、OpenAIは、ChatGPTのリリースノートを更新し、チャットボットがインターネットにアクセスできるようになったことを発表しました。また、プラグイン（ChatGPTを通じてサードパーティーのサービスにアクセスできるようにするツール）機能も、アルファ版からベータ版に移行し、すべてのChatGPT Plusユーザー（有料ユーザー）が利用できるようになっています。
これにより、APIと連携して「ユーザーに代わってアクションを実行」可能になります。例えば、OpenTableプラグインでは、ChatGPTがレストランを検索して予約をすることができ、Instacartプラグインでは、ChatGPTが地元の店舗から注文をすることが可能になります。
５）今後の展望
5月11日から17日の1週間で、４－１）、４－２）、４－３）、４－５）が起こりました。
日本独自の生成AIが生き残るのか、PaLM 2のような他言語生成AIが生き残るか、1年以内に、第1回戦の答えがでると思われます。
日本の生成AIは、2020年頃のGPT-3ベースが多く、世界のスピードについていけていないように見えます。これに対する対応策は、パラメータ数が少なくとも高い性能をあげる効率的なアルゴリズムによるしかありませんが、この手法は、英語でも使えますので、競争優位にならないと思います。
パラメータ数の依存性が高い場合には、半導体工場と同じように、GPT-3相当から、GPT-4相当に、モデルをレベルアップするには、膨大なハードウェア投資が必要です。これは、日本語市場だけをターゲットにした場合には、資金の回収ができません。
６）AI国家戦略の馬鹿馬鹿しさ
政府は、2000年頃から、ぼぼ1年おきくらいのペースで。司令塔や戦略を作っていますが、効果はありません。
2000年 情報通信技術（IT）総合戦略室
2001年 e-Japan戦略（2005年までに世界最先端のIT国家を実現）
（中略）
2021年 「デジタル社会の実現に向けた重点計画」
5月11日から17日の1週間で起こったような変化が発生すれば、戦略は1週間で改定が必要になります。
2023年には、「週刊ザテレビジョン」（KADOKAWA）、「週刊朝日」（朝日新聞出版）、「レコード芸術」（音楽の友社）の休刊または廃刊が決まっています。
ある音楽評論家の人は、HMVとタワレコの情報とコメントが新譜ニュース・ソースで、雑誌は読まないといいます。
生成AIの内容や見通しについても、新聞やニュースの情報は不正確で、情報不足です。数式も、サンプルコードもでてきません。WEBの情報があれば、廃刊された雑誌と同じように、新聞やニュースの情報はいらない思います。
政府は、2001年に、「e-Japan戦略」と作りました。大手ITベンダーのA社は、護送船団方式にのって、スパコンを受注し、他社に乗り換えられないように、移植ができないようなレガシーシステムを売り続けました。利ざやの少ないパソコンは、中国製のOEMに切り替え、汎用機あがっていた利益を確保するために、クラウドシステムは、まとに、開発しませんでした。2022年には、汎用機のユーザーのクラウドへの流出に歯止めがかからなくなり、汎用機の製造の中止を決めています。
A社は、ハードウェアを持たなくなりましたが、競争力のあるソフトウェアを作ることができていません。マイナンバーカード等の政府のシステム開発を受注していますが、ソフトウェアの品質が悪くバグが多く問題になっています。
「e-Japan戦略」は、Ａ社には、効果がありました。しかし、その効果は、短期的にはプラスに見えたものの、中期的には、マイナスでした。Ａ社は、クラウドシステムや、生成AIを作る技術も資金もありません。高度人材は、GAFAM に流出しています。
日本語の生成AIが、PaLM 2や、日本語版のGTP-4に勝てるかは不明です。使えるツールは、日本も海外も同じです。筆者には、勝機があるとは思えません。数式もサンプルコードもない「AI国家戦略」は、精神論の形而上学です。
「AI国家戦略」は、「e-Japan戦略」と同じように、効果のない無駄な予算を成立させるための口実としての効果に見えます。
引用文献
Web browsing and Plugins are now rolling out in beta (May 12) ChatGPT — Release Notes
https://help.openai.com/en/articles/6825453-chatgpt-release-notes#h_9894d7b0a4
Eight Things to Know about Large Language Models 2023/04/02 ARXIV Samuel R. Bowman
https://arxiv.org/abs/2304.00612
メタ、650億パラメータを持つ大規模言語モデル「LLaMA」を発表 2023/02/27 ASCII
https://ascii.jp/elem/000/004/126/4126482/
サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― 2023/05/17 サイバーエージェント
https://www.cyberagent.co.jp/news/detail/id=28817
サイバーエージェントが公開した大規模言語モデルの実力を試す 2023/05/17 ITMedia 清水 亮
https://www.itmedia.co.jp/news/articles/2305/17/news117.html
サイバーエージェント、日本語の大規模言語モデルを一般公開 最大68億パラメータ 商用利用可能 2023/05/17 ITMedia 松浦立樹
https://www.itmedia.co.jp/news/articles/2305/17/news096.html
「ELYZA Pencil」：https://www.pencil.elyza.ai/
人工知能による自然言語処理（日本語の言語モデル開発の現状） 2022/08/04 note IT navi
https://note.com/it_navi/n/nceba60ff196c
長文要約、文章生成…ここまでできる! 日本語の大規模言語モデル「HyperCLOVA」 2023/01/16 industry-co-creation
https://industry-co-creation.com/industry-trend/87001
rinna、日本語に特化した36億パラメータのGPT言語モデルを公開
