prismhit～～～明日から令和ですね。の掲示板

>>6464

巨額投資を促す経験則

AI学習に不可欠なデータセンターへの投資額は日本向けだけで年明け以降、約4兆円（米企業が発表した計画の合計）にのぼるという。海外勢に圧倒され、国内勢の影が薄い、という点では1990年代のインターネットの普及期と似ている。AIの時代も、このテニス界に由来する「ウィンブルドン現象」、門戸を開いたことで海外勢の席巻を招いてしまう可能性がありそうだ。

米国勢が巨額投資をする楽観論の背景には、本欄でも以前触れた機械学習における「スケーリング則」と呼ばれる経験則がある。

「チャットGPT」のオープンAI、グーグルなどが公開した資料によれば、学習の計算量、データの量、AIの性能・規模を示すパラメーター数の3つが大きくなればなるほど、AIを動かす大規模言語モデル（LLM）はより正しい答え（文章なら、文脈に応じて後に続く的確な単語など）を絞り出せるようになる。

例えば、計算量では「10の22〜24乗」を超えるあたりから、AIの推論能力は飛躍的に向上するという。「エマージェント・アビリティーズ（能力創発）」と呼ばれる現象で、理由はまだはっきりわからないが、とにかく計算回数などが一定のレベルを超えるかどうかが、生成AIの進化を左右する。ある温度を境に水が氷になったり、蒸気になったりする「相転移」と似た現象だ。