国産GPTの可能性 - computer_philosopher’s diary

（国産GPTの話題を整理してみます）

１）国産GTPとGPT

自民党のワーキンググループ向けに松尾教授が作成された説明資料で、東大の松尾教授は次のように言っています。

＜

3つ選択肢が開かれています。（①大規模言語モデルを自ら開発する、②APIを使いサービスをつくることを奨励する、③ユーザーとしての活用を促進する）。国の話ですから、金額が大き過ぎてできないということはないはずです。

＞

ただし、企業活動としては、国産が、国内だけをマーケットにするのであれば、あまり良い話ではありません。

国産ロケットと同じように、国産GTPにこだわる理由は、企業側にはありません。

つまり、企業にとっては、「GPT」を開発するか否かという問題はあっても、「国産GPT」を開発するという問題は存在しないのかもしれません。

たとえば、2023年5年5月21日に、福井県永平寺町において、レベル4の自動運転移動サービスが開始されています。

レベル4での自動運転は、自動運転実現のための手段にすぎません。

企業の最終目的は、自動運転を実現して、自動運転車を販売してシェアをとることです。

そう考えると、この技術開速度で、果たして、自動運転の技術開発競争で、トップ集団についていけるのかが疑問になります。

経済産業省のHPのタイトルは、「国内初！レベル４での自動運転移動サービスが開始されました」です。

これは、「世界初」ではありません。自動運転の技術開発競争のトップ集団に入れなければ、企業としては撤退する選択になります。

この自動運転は、2021年度より経済産業省と国土交通省が共同で進めてきた「自動運転レベル4等先進モビリティサービス研究開発・社会実装プロジェクト（RoAD to the L4）の自動運転移動サービスの実現に向けた実証実験の一部になります。

企業にとっては、補助金があって、大きく赤字にならなけれは、お付き合いはしますが、本当に自動運転で食べていくつもりがあれば、補助金よりも、実証データのとれる特区設定を1日も早く、セットしてもらう方が重要なはずです。

２）国産GPT

国産GPTについても、いつまでかは、別にして、マイクロソフト（Open AI）やGoogleと競争できるかが、ポイントになります。

２－１）GPTー4レベル

GPTー４レベルについては、2023年5月現在では、開発に必要な経費は、数千億円くらいと思われます。

今後の技術開発で、開発経費が、急激に下がる可能性はあります。

2023年5月時点で、日本企業で数千億円投資できるところはありません。

また、技術進歩とコストダウンを考えれば、直ぐに、GTPー4レベルの生成AIと競争するメリットはありません。

２－２）GTP-3

２－２－１）ソフトバンク

ソフトバンクの宮川氏の発言は以下です。

＜

宮川氏によれば、ソフトバンクが唯一、GPTの基礎技術を持っている日本企業だと考えており、アメリカや中国の企業に勝てるかどうかではなく、今後の参加権を得るためにも開発が必要だとしています。具体的には、AiCallを活用して和製GPTを開発するための組織が3月に発足し、新たな会社も設立されています。

宮川氏は、AIを活用できるメンバーを1000人程度選定し、専任か兼任かを検討していると述べました。また、「少なくとも1000～5000人のGPT祭りを実施しなければ、日本のGPT開発は始まらない」と強調し、グループ全体で取り組む方針を示しています。

＞

開発の目標は、「今後の参加権を得る」ことにあり、もっともと思われます。

２－２－２）松尾教授の話

2023年4月25日の日経ビジネスに、松尾教授は次のように語っています。（筆者の要約）

＜

ソニー・グループが大規模言語モデルの構築を表明していますし、スタートアップもあります。

（中略）

私はいつも同じことを言うんですが、課題は何かとか、懸念は何かとか言わずに、どんどんやればいいんです。日本にまん延している空気感なのですが、課題を挙げて、何か分かったような気になって、実際には行動しない。それでは意味がないです。黎明期の技術に課題があるのは当たり前ですし、その課題をすぐ乗り越えていくわけです。

GPT-3レベルのものをゼロから自分で作ると数百億円程度で出来ます。ノウハウをためていかなければいけません。これができる人材も非常に希少です。ただ、逆に言うと、このくらいの話なんですよね。

（大規模言語モデル関連の開発を）やったことがある人がほとんどいません。コードもネット上に落ちているし、自分でやった方が早いですが、動かすのは結構大変です。

（中略）

とにかくAIの時代がまた変わりましたから、いまのタイミングは突っ込んでいった方がいい。日本はずっとそうでしたが、変化を受けに回って守る側に立つとつらいわけですよ。（事を）起こす側に回った方が、圧倒的にいいじゃないですか。

＞

宮川氏は、「ソフトバンクが唯一、GPTの基礎技術を持っている日本企業」であるといっていましたが、松尾教授も、「AIの時代がまた変わりましたから、いまのタイミングは突っ込んでいった方がいい」と言っています。

つまり、ソフトバンク並みに、GPT-3の基礎技術を持っている日本企業を増やして、「今後の参加権を得る」べきである。

GPT-4も、「黎明期の技術」ですから、次のGPT-5なり、GPT-6のフェーズでは逆転の可能性があるので、それにチャレンジすべきであるという趣旨です。

３）技術とノウハウ

３－１）オープンコード

データサイエンスの世界では、基本的なコードは公開です。松尾教授が「コードもネット上に落ちている」というのは、ソースコードが公開されているということです。

アメリカは中国に対して、技術封鎖を呼びかけていますが、データサイエンスの基本的なコードが公開であることは変わりません。これは、有用なソースコードは多数の人間の協力のもとでしか開発できないためです。

スパイ映画のように、技術情報が設計図数枚におさまることはありません。

インターネットをクラウドサービスが出て来るまでは、ソースコードは門外秘でした。

しかし、門外秘のソースコードをメンテナンスすることは困難です。

コードを書いた人が、退社すれば、とたんにメンテナンスが難しくなる場合もあります。

Windowsのように、膨大な人的資源を投入し続けられる場合を除けば、メンテナンスは難しいです。

なので、基本コードは公開にして、独自のチューニングを加える方法が一般的です。

コードがあっても、実装するには、ハードウェアに合わせてチューニングするなどのノウハウが必要です。これが、松尾教授が「自分でやった方が早いですが、動かすのは結構大変です」といっている意味です。

３－２）GTP-3のノウハウ

2023年4月25日の日経ビジネスに、松原仁教授が、ノウハウの例をあげているので引用します。

＜

松原氏：以前、米マイクロソフトが公開したAIチャットボットが差別発言を繰り返して問題になったことがありました。AIを開発する会社の間では、あれがトラウマになっている。GPT-3のままでは、政治的にセンシティブなこと、卑わいなこと、けんか腰なことなど、突拍子のない回答をしてしまうため、研究者しか扱えませんでした。

　そこで米OpenAIは、GPT-3でいろんなことを出力させて、その内容について人間に点数をつけさせたのです。「非常によい」「受容できる」「絶対に駄目」というように。それを機械学習で学習させて、点数が高くなることだけを言うようにした。

　だから、人間が読んでも違和感がなく、ChatGPTはまともだと思う人が出てくる。利用者はすぐに1億人を突破しましたよね。

＞

これも、ノウハウの一部で、ソースコードだけでは、どうにもなりません。

４）疑問

「富岳で対話型AI開発」をするという記事が出ていました。

これは全く理解できませんでした。

筆者は、並列処理をしないGPTを想像できません。

引用文献

国内初！レベル４での自動運転移動サービスが開始されました　2023/05/22 経済産業省

https://www.meti.go.jp/press/2023/05/20230522004/20230522004.html

ソフトバンクがChatGPT対抗の“和製ChatGPT”開発表明　宮川社長「生成AIに死ぬほどポジティブ」2023/05/10 ITMedia Mobile