(株)ＰＫＳＨＡ Ｔｅｃｈｎｏｌｏｇｙ【3993】の掲示板 2024/03/28〜2024/04/10

日経XTECH
PKSHAがマイクロソフトの新方式採用のLLM、従来の約3倍に高速化
AI（人工知能）開発ベンチャーのPKSHA Technology（パークシャテクノロジー）は、新しい深層学習モデル「Retentive Network（RetNet）」を採用した日英大規模言語モデル（LLM）を開発した。2024年4月以降、段階的にビジネス現場での実運用を開始する。

　RetNetは、米Microsoft（マイクロソフト）傘下の研究機関であるMicrosoft Research（マイクロソフト・リサーチ）が開発した。現在のLLMには「Transformer（トランスフォーマー）」が広く使われているが、MicrosoftはRetNetをTransformerの後継技術と位置づけている。RetNetはTransformerと同等以上の精度を持ちながら、学習速度、長文入力時の推論速度やメモリー効率がTransformerよりも優れているという。
　PKSHAが開発したLLMのパラメーター数は約70億。開発にはMicrosoftが開発した深層学習フレームワーク「DeepSpeed」を採用した。日本マイクロソフトがLLMの学習ノウハウとクラウドサービス「Microsoft Azure」のGPU（画像処理半導体）サーバー群を提供している。
　Transformerを採用したLLMでは、入力文字数に比例して出力にかかる時間が増える傾向がある。一方、PKSHAがRetNetで開発したLLMは、入力文字数が増えても出力にかかる時間はそれほど増えないという特徴を持つ。例えば約2万字の日本語を入力した場合、出力の精度を保ちながらTransformerの約3.3倍の速度で応答できるとする。
　PKSHAはこのLLMの最初の対象領域として、既にAIの導入実績があるコンタクトセンターや社内ヘルプデスクを想定する。適応領域や活用ケースは順次広げていく計画だ。このLLMを強力なアセットと捉え、同社の他の技術と組み合わせてサービスを提供していくという。