(株)オルツ【260A】の掲示板 2024/10/26〜2024/10/29

>>1090

入試問題の精度の話なのか。

そんな時代が来たのね。



>オルツの「LHTM-OPT2」、日本語RAG（検索拡張生成）で軽量型LLMとして世界最高の精度と推論速度を実現
>～国内一の日本語推論能力を有する軽量型言語モデルで日本語AIの新たなユースケースを創出～
>
>株式会社オルツ（260A:本社：東京都港区、代表取締役：米倉 千貴、以下、オルツ）は、当社が開発する軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2（ラートム・オプト2）」をリリースいたしました。「LHTM-OPT2」は、RAG（検索拡張生成）の精度を最適化する軽量型LLMであり、日本語RAG精度において、軽量型LLMで世界最高精度を達成したことをお知らせいたします。
>
>Wiki RAGデータセットを作成する手法は、日本語Wikipediaから特定の段落を抽出し、その段落に基づく質問を生成し、[段落、 質問、 正解] の３つ組を作成することです。このデータは、専門家の手によって再度確認、修正を行うことで、高品質のRAGベンチマークになります。
>また、東京大学入学試験の国語科目データセット評価では、東京大学入学試験における国語大学科目問題の前提テキスト（段落）とその設問をRAGの入力とし、LLMがその段落と設問から生成した回答を専門家が評価しました。
>評価結果では、Wikipedia RAGデータセットでは、「LHTM-OPT2」が、GPT-4oと同等レベルの精度（LHTM-OPT2：91.0%、GPT-4o：90.8%）を達成しました。また、東大入試国語科目におけるRAGに関する質問では、「LHTM-OPT2」が、GPT-4oの94%の精度を達成しました。
>さらに、RAG評価においては、国内の全ての軽量型LLM（パラメータ数が10B以下のLLM）を上回る高い精度を達成し、「JGLUE（Japanese General Language Understanding Evaluation）」ベンチマークや「Japanese MT-Bench（MTベンチ）」でも、軽量型LLMとしての最高スコアを記録しました。
>推論速度に関しては、SambaNova社の協力を得て、日本語推論において平均速度500TPS（トークン／秒）、最大速度796TPSを確認しました。この速度は、日本語LLM推論速度の最高記録です。