はじめに

こんにちは、SB Intuitions株式会社でインターンをしている矢野千紘です。

近年、LLMの応用領域は多岐にわたっており、中でも自律的にタスクを遂行するエージェントは、特に大きな注目を集めている領域の一つです。しかし先行研究［Hofman et al., 2025］では、エージェント能力のベンチマークは評価言語に依存してスコアが変動することが報告されています。このことから、高性能な日本語LLMの開発においては、日本語エージェント能力の評価ベンチマークが不可欠です。

本ブログでは、広く利用されているエージェントベンチマークtau-benchのtelecomドメインを対象に、その日本語版であるJ-tau telecomを構築しました。さらに、このベンチマークを用いて多様なモデルの評価を行いました。

J-tau telecomはModified MITライセンスのもとで公開いたします。

コード：https://github.com/sbintuitions/j-tau-bench

J-tauの概要

J-tauは英語で整備されたエージェント能力を評価するベンチマークであるtau-benchの日本語版です。

tau-benchの概要

tau-benchは4ドメインからなるLLMのエージェント能力を評価するベンチマークで、今回対象としたtelecomドメインは、通信事業のカスタマーサポートを題材としています。

実際のカスタマーサポートでは、オペレーターは顧客情報にアクセスしつつ、ユーザーに自身の端末を操作するよう指示を行う必要があります。telecomドメインはこの状況を模しており、ユーザーとエージェントが相互に作用する状況をシミュレーションします。

ユーザーとエージェントは同じ状態空間に対してアクションを行う、異なるツール集合を持っています。ツールは関数として定義されており、エージェントが利用可能なものとしては、顧客の電話番号から顧客情報を取得するget_customer_by_phoneなどが、ユーザーが利用可能なものとしては機内モードを変更するtoggle_airplane_modeなどがあります。

tau-bench telecomにはエージェントだけでなくユーザーも適切にツールを実行しなければ解決できないタスクが多く含まれており、エージェントモデルには自身がツールを利用する能力に加え、ユーザーのみが実行可能なツールについても理解し正しく指示をする能力が必要になります。

J-tauの構築

J-tauはtau-benchを翻訳することで作成しました。

具体的には、モデルに入力するドキュメントや、ツールの説明と返り値、顧客データベースなどを翻訳しました。翻訳作業はLLMによる自動翻訳と、通信事業ドメインの専門家によるレビューによって行われ、レビューでは専門用語の対訳を中心に修正しました。

J-tauはユーザーとエージェントが相互に作用するベンチマークであるため、エージェントモデルの性能だけでなく、ユーザーモデルの振る舞いがシミュレーションの結果を左右してしまうことがあります。例えばJ-tauでは、ユーザーモデルがエージェントからのツール実行の指示に対し、”（操作中…）”のようなト書きを出力するだけでツールを呼ばないケースや、エージェントに次の行動を提案してしまうケースなどが見られます。このような挙動は、エージェントモデルを正しく評価できなくなる要因となります。

そこで対策として、ユーザーモデルに入力するガイドラインのみを翻訳せず、英語のまま入力する設定を検討しましたが、大きな改善は見られませんでした。次に、複数のモデルを比較して最適なユーザーモデルの探索を行い、不要な提案が最も少なく、エージェントモデルの性能をストレートに評価できるモデルとしてQwen3-235B-A22B-Instruct-2507を選定しました。

一部のシミュレーションでは課題が残るものの翻訳前のtau-benchでも同様の現象が発生しており、その頻度もほぼ変わらないことから、評価の妥当性は確保されていると判断し、J-tauではこれを許容することにしました。

評価実験

複数のLLMをJ-tau telecomとtau-bench telecomによって評価し、比較を行います。

ユーザーモデルはQwen3-235B-A22B-Instruct-2507を利用し、reasoning_effortについては、gpt-ossではhighに設定し、その他のモデルではデフォルト値を利用しました。商用モデル群のtau-benchでの実験のみ1回実行した値、その他については3回実験した平均値を報告します。

J-tau telecomとtau-bench telecomでの各モデルのスコアとその差分を以下の表に示します。

model	reasoning	J-tau telecom （日本語）	tau-bench telecom （英語）	Δ_tau-Jtau
商用モデル
claude-opus-4-8	high	66.1%	85.1%	19.0%
gemini-3.1-pro-preview	high	74.9%	88.6%	13.8%
gpt-5.5	medium	85.7%	88.6%	2.9%
オープンモデル
GLM-5.1	✔︎	87.4%	95.0%	7.6%
Gemma 4 E2B	✔︎	9.7%	25.4%	15.8%
Gemma 4 E4B	✔︎	16.7%	23.0%	6.3%
Gemma 4 31B	✔︎	32.5%	48.0%	15.5%
gpt-oss-20b	high	36.6%	76.4%	39.9%
gpt-oss-120b	high	48.8%	70.8%	21.9%
Qwen3 4B	✔︎	19.9%	21.4%	1.5%
Qwen3 8B	✔︎	20.8%	28.7%	7.9%
Qwen3 14B	✔︎	19.9%	37.4%	17.5%
Qwen3 32B	✔︎	19.6%	26.9%	7.3%
Qwen3.5 4B	✔︎	27.5%	94.6%	67.1%
Qwen3.5 9B	✔︎	46.8%	92.7%	45.9%
Qwen3.5 27B	✔︎	81.6%	93.3%	11.7%

全てのモデルでJ-tauの方が低い性能を示しており、エージェント能力は評価言語に強く影響を受けることがわかります。

評価言語を変更した際の性能の差分はモデルごとに大きく異なりました。例えば、Qwen3.5やgpt-ossシリーズなどの、英語ではモデルサイズによらず同等の性能を示すモデル群が、日本語ではモデルサイズによって大きく異なる性能を示すようなケースも見られました。これは評価言語を変更した際のスコアの差分が、モデルごとの汎化性能に依拠しているためだと考えられます。また、私たちが普段利用しているような商用モデルでも、モデルによってはJ-tauで大きくスコアが劣化しており、入力言語が性能に影響を与える様子が観察されました。

このように、日本語におけるエージェント能力の発展には、まだまだ伸び代が残されていることがわかります。

一方で、GLMやgpt-5.5などのモデルはJ-tauでも高い性能を示しており、評価言語に対して頑健であることがわかりました。

以降では、オープンモデルの言語間差分について注目し、結果を見ていきます。

モデルサイズと言語間スコア差について

図3: モデルサイズと言語間のスコア差分。横軸はモデルのパラメータサイズを表し、縦軸はtau-benchとJ-tauのスコア差分を表す。

ここでは、モデルサイズと言語間スコア差分の関連について分析します。

モデルサイズと言語間のスコア差分をプロットした結果を図3に示します。Gemma 4やQwen3では、すべてのモデルでスコア差分が小さく、モデルサイズと性能差の間に明確な相関は見られなかった一方で、Qwen3.5とgpt-ossでは、モデルサイズが大きくなるほど言語間の性能差が小さくなる傾向が見られました。

特にQwen3.5では、Δ_tau-Jtauが4Bで67.1ポイント、9Bで45.9ポイントと、評価言語を日本語に変更したことで性能が著しく低下しています。4Bや9Bなどの比較的小規模なモデルでは、英語のtau-bench telecomを解決するために必要な能力は訓練によって獲得しているものの、日本語でも扱えるほど十分に汎化できていないため、評価言語を変更したことにより大部分が解けなくなってしまったと推測されます。

既存の日本語ベンチマークスコアと言語間スコア差について

図4: 日本語ベンチマークスコアと言語間のスコア差分。横軸は既存日本語ベンチマークでのスコアを表し、縦軸はtau-benchとJ-tauのスコア差分を表す。

ここでは、モデルの日本語能力と言語間スコア差分の関連について分析します。

既存の日本語ベンチマークスコアとして、Swallow LLM Leaderboard v2で公開されている日本語事後学習タスクの平均値を利用しました。事後学習タスクにはJamC-QA、WMT20 (en->ja)、WMT20 (ja->en)、M-IFEval-Ja、MMLU-ProX、GPQA (ja)、PolyMath (ja, HT)、JHumanEvalが含まれています。

本分析においても、Qwen3.5やgpt-ossシリーズでは、日本語ベンチマークスコアが高くなるほど言語間の性能差が小さくなる傾向が見られました。しかし一方で、Gemma 4やQwen3シリーズでは同様の相関が見られませんでした。例えばGemma 4 31Bは、高い日本語ベンチマークスコアが報告されているにもかかわらず、評価言語を日本語に変更したことによる性能の劣化は同シリーズの他モデルよりも大きいという結果になりました。つまり、評価言語を変更したことによる性能の変動幅は、その言語単体でのベンチマーク性能とは必ずしも相関しないことがわかりました。

タスクごとの正答率相関

J-tau telecomはtau-bench telecomの翻訳版ですが、評価タスク自体は同じもので構成されています。そのため、同じモデル群を評価した場合、評価言語による性能の変動は存在しつつも、各タスクの相対的な難易度はある程度一定であると考えられます。

そこで各タスクについて、相対的なタスク難易度を評価するために、13モデルによる3回ずつの実験結果から、英語と日本語それぞれについて正答数の合計を図5にプロットしました。すると強い正の相関が見られ、翻訳によってほとんどの問題で相対的な難易度が維持されていることがわかりました。

実際のシミュレーション例

実際にJ-tau telecomで評価を行った際のシミュレーション例をいくつか示します。

まず、高い性能を示したGLM-5.1を評価した際のシミュレーション例を図6、7に示します。

ほとんどのシミュレーションでは図6のようにうまく対話を進められていた一方で、いくつかのシミュレーションで図7のように電話番号ではなく生年月日を用いて本人確認をしようとしてしまい、ユーザーがHallucinationすることによって対話が止まってしまう様子が見られました。tau-benchではユーザーは自身の生年月日を与えられていないため、エージェントであるGLMが電話番号による本人確認手段を提示する必要があります。このような状況はtau-benchでGLMを評価した際には見られず、評価言語を日本語に変更したことによって発生するようになった挙動だと考えられます。