こんにちは。SB Intuitions で機械翻訳モデルの開発を担当している 松野 智紀 です。
本記事では、日英・英日翻訳に特化した大規模言語モデル Sarashina3 translate の特徴について紹介し、他社の翻訳サービス・モデルとの比較評価実験の結果を報告します。
モデルの特徴
Sarashina3 translate は広い知識に裏打ちされた適切な語彙選択や日本語の特徴をとらえた翻訳テクニックにより、正確かつ読みやすい翻訳を実現しています。
その特長が表れる翻訳例をご紹介します。
以下はゲーム分野の文章の一部です。（WMT2024 1 翻訳タスク英日テストデータから抜粋）
入力文
There's another mid-scale version that could've existed between the two that tells the same expanded resonant story but with a tighter runtime and less insane production values. I think that would've been my favorite incarnation as like, an emotional arc... as is, the main single player arc of the commercial game is ultimately a small piece of it, it's most interested in being a big playground for the world's most loved-on platformer physics. which is still neat, I think.
Sarashina3 訳
二つのバージョンの間に位置する、やや規模の小さい別バージョンがあったとしたら、 同じ広がりのある感動的な物語を語りつつも、プレイ時間は短めで、制作面の過剰さは抑えられていただろう。 個人的には、そうした形こそが感情的な起伏を伴う理想的なバージョンだったと思う。 現状、製品版のメインとなるシングルプレイのストーリーは結局その一部にすぎず、 むしろ世界で最も愛されているプラットフォーマーの物理挙動を存分に楽しめる広大な遊び場になることに重点が置かれている。 それはそれで面白いと思う。
Google 訳
両者の間に存在し得たもう一つの中規模バージョンは、 同じように拡張された共鳴するストーリーを語りつつも、よりタイトな実行時間と、それほど狂気じみた制作価値を持たないものだった。 感情的なアークとして、それが私のお気に入りの形態だったと思う。 現状では、商業ゲームのメインのシングルプレイヤーアークは最終的にそのほんの一部であり、 世界で最も愛されているプラットフォームゲームの物理演算のための大きな遊び場となることに最も関心がある。 それでも、私はそれが素晴らしいと思う。
比較
以下の表は、Google翻訳とSarashina3における翻訳アプローチの差異を示したものです。
Google訳は直訳的で原文の構造に忠実な翻訳を行っており、背景知識が十分にある利用者に使いやすい訳になっています。 それに対してSarashina3は、ドメイン特有の語を一般読者に伝わる表現に置き換え、日本語の特徴を捉えた翻訳テクニックを用いることで幅広い利用者に読みやすい訳を実現しています。
| 原文（英語） | Google 訳 | Sarashina3 訳 | 解説 |
|---|---|---|---|
| tighter runtime | タイトな 実行時間 |
プレイ時間は 短めで |
分野による多義語の 訳し分け。 |
| single player arc |
シングル プレイヤー アーク |
シングルプレイの ストーリー |
専門用語を一般読者に 伝わる表現で翻訳。 |
| it's most interested in... |
〜に最も 関心がある |
〜に重点が 置かれている |
無生物主語を 適切に処理し、 主語のねじれを解消。 |
モデルの学習プロセス
Sarashina3 translate では、以下の3つを柱に翻訳品質を追求しました。
1. 汎用モデルによるデータ合成 — 翻訳の学習に使った対訳コーパスはデータ合成で作成しています。入力文として Sarashina の事前学習コーパスから高品質なテキストを選び出し、それらを汎用LLMで大規模に翻訳。その後、さらに品質フィルタリングを行い、スケーラブルに対訳コーパスを構築しました。
2. 独自の訳質評価モデルによるフィードバック — 翻訳候補の品質を自動で判定。その結果を翻訳モデルの学習にフィードバックすることで、モデルが自らの出力を改善する自己蒸留を行いました。
3. SFT と DPO の2段階アライメント — 1. の対訳コーパスでチューニングした後、DPO 2 で翻訳品質をさらに引き上げました。2. の訳質評価モデルに加えて、MetricX 3 や MQM 4 を組み合わせた DPO の学習データ選定で、翻訳品質を多面的に担保しました。
翻訳性能
WMT2024の機械翻訳評価データ（997文）を用いて、Sarashina3 translate と他社の翻訳サービスの翻訳品質を比較しました。
比較対象は以下の2つです。
- Google翻訳 （Google Cloud Translation API (Advanced), 利用日: 2026年5月8日）
- plamo-2-translate 5 （ Preferred Networks 製翻訳モデル, 公開モデル使用）
* Sarashina3 translate のモデルは2026年4月に訓練完了
自動評価1: LLM を使ったペアワイズ評価
Sarashina3 translate と比較対象モデルの翻訳結果を並べ、LLMが勝敗を判定しました。提示順によるバイアス（positional bias）を低減するため、提示順を入れ替えて2回評価を実施し、2回の結果が一致した場合のみ勝敗を確定、一致しない場合は引き分けにしました。判定には GPT-5-mini を使っています。
判定の前に正確性と流暢性の観点から分析を行い、判定の根拠を明示し判定のブレが少なくなるようにしています（詳しくはAppendix Aを参照）。判定の具体例は Appendix B に掲載しています。
英日翻訳
| 比較対象 | Sarashina3 勝ち | Sarashina3 負け | 引き分け |
|---|---|---|---|
| 376 (37.7%) | 325 (32.6%) | 296 (29.7%) | |
| plamo-2-translate | 467 (46.8%) | 237 (23.8%) | 293 (29.4%) |
日英翻訳
| 比較対象 | Sarashina3 勝ち | Sarashina3 負け | 引き分け |
|---|---|---|---|
| 342 (34.3%) | 298 (29.9%) | 357 (35.8%) | |
| plamo-2-translate | 439 (44.0%) | 240 (24.1%) | 318 (31.9%) |
LLMによるペアワイズ評価では、英日・日英ともに Sarashina3 translate は比較した両方のモデルに対して勝ち越しました。
自動評価2: 評価指標を使った評価
既存の評価指標を使ったスコアの絶対評価も行っています。 使用した評価指標は以下の4つです。
- BLEU / chrF
- reference との表層的な一致度を測る
- COMET
- reference との意味的類似度を測る
- GEMBA-MQM
- 誤訳の重み付き和で評価する LLM ベースの指標。GPT-5-mini により評価
英日翻訳
| モデル | BLEU 6 | chrF 7 | COMET 8 | GEMBA-MQM 9 |
|---|---|---|---|---|
| Sarashina3 translate | 24.37 | 34.04 | 0.8821 | -2.91 |
| 28.11 | 37.58 | 0.8888 | -2.86 | |
| plamo-2-translate | 23.36 | 33.51 | 0.8827 | -3.80 |
日英翻訳
| モデル | BLEU | chrF | COMET | GEMBA-MQM |
|---|---|---|---|---|
| Sarashina3 translate | 21.27 | 49.44 | 0.8318 | -1.63 |
| 25.43 | 52.38 | 0.8404 | -1.59 | |
| plamo-2-translate | 21.62 | 49.83 | 0.8335 | -2.34 |
GEMBA-MQMでは、Sarashina3 が英日・日英ともに plamo-2-translate を上回り、Google と同等のスコアです。COMET では Google にわずかに及ばないものの、plamo-2-translate とはほぼ同等のスコアでした。
BLEUやchrFといった表層的な文字列一致度では競合モデルに及ばないものの、文脈や意味の類似性を捉えるCOMETやGEMBA-MQMにおいては同等以上のスコアを記録しています。これは、Sarashina3が原文の直訳ではなく、意図を汲み取った意訳を行う傾向があるためと考えられます。詳細は Appendix C を参照してください。
人手評価（対 Google ペアワイズ評価）
ニュース記事・小説・コードなど様々なジャンルにわたり、機械翻訳の評価に適した入力文をアノテーターが独自に作成し、それらを対象に5名の社内アノテーターによるペアワイズ評価を実施しました。どちらが Sarashina3 translate で Google かを伏せた状態で並べて提示し、評価者にどちらが良い翻訳だったかを選択してもらいます（詳しくはAppendix Dを参照）。
英日翻訳 — 各評価者あたり94件
| Sarashina3 勝ち | Google 勝ち | 引き分け | |
|---|---|---|---|
| 評価者 A | 51 | 39 | 4 |
| 評価者 B | 41 | 43 | 10 |
| 評価者 C | 49 | 43 | 2 |
| 評価者 D | 50 | 41 | 3 |
| 評価者 E | 45 | 47 | 2 |
| 合計 | 236 | 213 | 21 |
日英翻訳 — 各評価者あたり98件
| Sarashina3 勝ち | Google 勝ち | 引き分け | |
|---|---|---|---|
| 評価者 A | 40 | 37 | 21 |
| 評価者 B | 31 | 51 | 16 |
| 評価者 C | 49 | 37 | 12 |
| 評価者 D | 42 | 45 | 11 |
| 評価者 E | 37 | 44 | 17 |
| 合計 | 199 | 214 | 77 |
英日翻訳では Sarashina3 translate が 236 対 213 で Google を上回りました。 5名中3名が Sarashina3 を支持しています。一方、日英翻訳では Google が 214 対 199 で上回り、総得票数において僅差で Google が優勢という結果となりました。評価者ごとの内訳を分析すると、正確性（原文への忠実さ）を重視する評価者からはGoogleが支持され、訳文の流暢さや文体一致を重視する評価者からはSarashina3が支持される傾向が見られました。詳細は Appendix E を参照してください。
評価者からのフィードバック
評価者の方々からは、Sarashina3 translate について以下のようなフィードバックを得ました。
- 自然な表現力: ターゲット言語として自然に読める訳文を生成する力が高く、特に英日翻訳で顕著
- 文体一致: ニュース記事・歌詞・口語など、原文の文体に合わせた訳し分けが的確
- ニュアンスの捉え方: 原文のトーンや意図を汲んだ訳語選択
競合モデルとの比較まとめ
| 比較対象 | ペアワイズ評価 | GEMBA-MQM | COMET | *文字列一致度 による評価指標 (BLEU、chrF) |
人手評価 |
|---|---|---|---|---|---|
| 勝ち越し | 同等 | わずかに下回る | *下回る | 英日で 勝ち越し、 日英で惜敗 |
|
| plamo-2-translate | 勝ち越し | 上回る | 同等 | 同等 | — |
* 文字列一致度による評価指標 についての考察は Appendix C を参照してください。
まとめ
本記事では、Sarashina3 translate の開発手法と評価結果を紹介しました。
技術面のポイント:
- 汎用モデルによる大規模データ合成、独自の訳質評価モデルを組み込んだフィードバックによる自己改善、SFT + DPO の2段階アライメントにより翻訳品質を向上
評価結果のポイント:
- LLM によるペアワイズ評価では、Google・plamo-2-translate の両方に対して勝ち越し
- 既存の翻訳評価指標でも、COMET・GEMBA-MQM など人手評価との相関が高い指標では競合モデルと同等以上
- 人手評価で Google に対して英日翻訳で上回る（236 対 213）。日英翻訳では惜敗（199 対 214）。
- 評価コメントの分析から、Sarashina3 translate は自然な表現力・文体一致・ニュアンスの捉え方で高い評価を獲得
Appendix A: ペアワイズ評価プロンプト
ペアワイズ自動評価で使用した評価プロンプトの全文です。 判定の前に正確性と流暢性の観点から分析を行い、判定の根拠を明示することで判定のブレを抑えています。
You are evaluating machine translation quality. Given a source text and two candidate translations (A and B), determine which translation is better overall in terms of accuracy and fluency.
First, briefly analyze each translation for accuracy (does it convey the meaning of the source?) and fluency (does it read naturally in the target language?). Then state your verdict.
Your response must end with a single line containing only one word: "A", "B", or "tie".
Source: {source}
Translation A: {translation_a}
Translation B: {translation_b}
Analysis and verdict:
Appendix B: ペアワイズ比較の判定例
Google との英日ペアワイズ比較で、実際にどのように判定が行われたかの例です。
原文:
"People Swimming in the Swimming Pool" from 2022 is one Vicente Siso artwork that will display at Tierra del Sol Gallery beginning Jan. 13. (photo courtesy of Vicente Siso)
Sarashina3 translate:
2022年制作の「プールで泳ぐ人々」は、ビセンテ・シソの作品の一つで、1月13日からティエラ・デル・ソル・ギャラリーで展示されます。（写真提供：ビセンテ・シソ）
Google:
2022年制作のビセンテ・シソの作品「プールで泳ぐ人々」は、1月13日からティエラ・デル・ソル・ギャラリーで展示される作品の一つです。（写真提供：ビセンテ・シソ）
GPT-5-mini による判定（提示順を入れ替えた2回の評価）:
1回目（Sarashina3 = A, Google = B）:
Translation A: Accurate and fluent. It clearly identifies the 2022 work titled 「プールで泳ぐ人々」 as one of Vicente Siso’s pieces and states it will be exhibited from Jan. 13 at Tierra del Sol Gallery; the wording is natural Japanese.
Translation B: Also accurate, but a bit clunky. It repeats 「作品」 and the phrasing 「展示される作品の一つです」 is slightly redundant compared with A, making it less concise.
→ A（Sarashina3）の勝ち
2回目（Google = A, Sarashina3 = B）:
Translation A: Accurate—conveys that the 2022 Vicente Siso work titled "プールで泳ぐ人々" will be shown at Tierra del Sol Gallery beginning Jan. 13, and the photo credit is correct. Fluency is acceptable but a bit clunky due to repeating "作品" ("作品…展示される作品の一つです"), making the sentence slightly redundant.
Translation B: Accurate and natural—clearly states the 2022 work "プールで泳ぐ人々" is one of Vicente Siso's pieces and will be exhibited from Jan. 13, with the correct photo credit. Fluency is smoother and more concise than A.
→ B（Sarashina3）の勝ち
提示順を入れ替えても同じ結論に至っており、判定が安定していることがわかります。
Appendix C: BLEU・chrF とエラー件数についての分析
BLEU・chrF が低いことは必ずしも正確性や流暢性が低いことを意味しません。 ここでは GEMBA-MQM で検出された誤訳の種別・件数の分析を通してそれを示します。
英日翻訳 — MQM エラー件数
| モデル | accuracy | fluency | style | terminology | 合計 |
|---|---|---|---|---|---|
| Sarashina3 translate | 469 | 512 | 246 | 213 | 1,440 |
| 432 | 523 | 260 | 216 | 1,431 | |
| plamo-2-translate | 709 | 612 | 284 | 239 | 1,844 |
日英翻訳 — MQM エラー件数
| モデル | accuracy | fluency | style | terminology | 合計 |
|---|---|---|---|---|---|
| Sarashina3 translate | 327 | 244 | 168 | 124 | 863 |
| 272 | 246 | 179 | 145 | 842 | |
| plamo-2-translate | 471 | 345 | 229 | 148 | 1,193 |
Google は BLEU・chrF で Sarashina3 translate を上回っていますが、MQM エラー件数で見ると英日・日英ともに Sarashina3 translate とほぼ同水準です。このことから、Googleの高いBLEU/chrFスコアは、必ずしもエラーの少なさ（正確性・流暢性）を直接反映しているわけではなく、参照訳の表現と表層的に一致しやすい翻訳スタイル（直訳傾向など）に起因している可能性が示唆されます。
Appendix D: 人手評価アノテーションガイドライン
本実験の人手評価では、機械翻訳の品質評価で用いられる Error Span Annotation10 のフレームワークを参考にしました。 これは初めにエラーの発生箇所およびその深刻度をアノテーションし、それらに基づいてスコアを付与する手法ですが、本実験ではスコアのかわりにどちらの翻訳がよいかというペアワイズの判定を行いました。
以下が、実際に社内アノテーターへ提示した指示書の全文です。 ここに記載されている評価ポイントは、社内から得られた開発初期の翻訳モデルに対するフィードバックを元に作成したものです。
機械翻訳結果のプリファレンスアノテーションです。 入力文に続いて入力文に対する翻訳結果が２つ表示されるので良い方を選んでください。 どこが良い/悪いと思った、参照訳自体が間違っているなどのコメントがあれば適宜書いてください。 誤訳箇所を指摘するときはコメントに critical/minor の種別で誤訳の深刻度を書いてください。 critical: 完全な誤訳。理解を妨げる。 minor: 誤訳とは言い切れないが不自然。 参考までに評価ポイントを示します。 【悪い点】 意味が違う 非流暢 専門用語 固有名詞 文脈に不適 トーンが不適（丁寧すぎる、失礼すぎるなど） 湧き出し（入力に対応しない出力が含まれている） 訳抜け 形式が揃っていない 翻訳になっていない（会話を始めたなど） 文として意味をなしていない 【良い点】 正確 自然 専門用語 複雑な文を訳せている 微妙なニュアンスを捉えている
Appendix E: 評価コメントの分析
全960件の評価コメントを分析し、Sarashina3 translate と Google がそれぞれどのような観点で選ばれているかを調べました。
Sarashina3 が選ばれる際は「自然」「ニュアンスを捉えている」というコメントが多く見られました。一方、Google は「湧き出し」（原文にない情報の付加）や「意味が違う」といったエラーが少ないことが評価されています。
英日翻訳で Sarashina3 が選ばれた理由としては、以下の傾向が確認できました。
- 日本語としての自然さ: 原文の構造に引きずられない、こなれた日本語表現を生成する力が支持されています。例えば "Call him the nude dude: His passion for hot springs, or 'onsen,' as they are known in Japan, drew him to ..." に対して、Google が「温泉、つまり日本では『温泉』と呼ばれるものへの情熱が」と原文の要素を網羅的に出力した一方、Sarashina3 は日本語では不要な説明を省き「温泉への情熱が」と自然に訳出しています。
- 文脈適合性: 見出しは見出しらしく、引用は引用らしく訳す文体一致の能力も支持されました。例えば "Suspect arrested after driving car into White House barricade" というニュースの見出しを、Google が「〜容疑者が逮捕された。」と平文で訳すところ、Sarashina3 は「容疑者、〜容疑で逮捕」と体言止めの見出し文体で訳出しました。
- ニュアンスの再構成: "screw us over" を Google が「騙す」と狭義に訳したのに対し、Sarashina3 は「裏切る」とより包括的に訳出するなど、原文のトーンを捉えた訳語選択ができています。
日英翻訳では、評価者のうち原文の構造や語彙の厳密な保持を最も重視したケースでGoogleが強く支持され、結果として全体の得票数において僅差でGoogleが上回る要因となりました。一方で、文脈に沿った自然な英語表現や文体の親和性を重視した評価者の間では、Sarashina3が支持されています。
評価が分かれた具体的な事例としては、以下のようなものが挙げられます。
- 文脈理解と厳密性のバランス:「7％になったのに（実際は減少傾向）」という文脈に対し、Googleの "down to 7%" は文脈的な正確性が高く評価された一方、Sarashina3の "reached 7%" は数値への到達のみを示しており、文脈の再現性の観点で評価が分かれました。
- 英語としての自然な表現（コロケーション）:「日本は南北に長く」の訳出において、Googleは原文の構造に忠実な "is long from north to south" としたのに対し、Sarashina3は英語としてより定着している表現である "stretches from north to south" を選択しました。こうした表現の工夫は流暢性の面で高く評価されたものの、厳密性を最重視する視点からは評価が分かれるポイントとなりました。
- 要素の網羅性:「〜と語る」といった発言の結びにおいて、Sarashina3で "he says" 相当の表現が省略されたケースがあり、これが情報の網羅性を重視する評価において指摘を受けました。
以上の分析から、Googleは原文の意味や要素を厳密かつ確実に保存する点に強みがあり、Sarashina3は不自然な直訳を避け、英語としてより自然で洗練された表現を出力する傾向があることが浮き彫りとなりました。
プロジェクトメンバー（五十音順)
- 岡照晃
- 上之薗有夏
- 高山隼矢
- 菱沼利彰
- 福地成彦
- 松野智紀
- 山田暉
- 吉田奈央
- Haddow et al., "Proceedings of the Ninth Conference on Machine Translation (WMT24)", ACL, 2024. https://aclanthology.org/2024.wmt-1/↩
- Rafailov et al., "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", NeurIPS, 2023.↩
- Juraska et al., "MetricX-24: The Google Submission to the WMT 2024 Metrics Shared Task", WMT, 2024. 人手による翻訳評価データでチューニングされた評価指標。↩
- Freitag et al., "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation", TACL, 2021. 誤訳の種類と深刻度を多次元で評価する品質評価フレームワーク。本研究では LLM-as-a-judge により判定。↩
- Preferred Networks, "plamo-2-translate", 2025. https://huggingface.co/pfnet/plamo-2-translate↩
- Papineni et al., "BLEU: a Method for Automatic Evaluation of Machine Translation", ACL, 2002.↩
- Popović, "chrF: character n-gram F-score for automatic MT evaluation", WMT, 2015.↩
- Rei et al., "COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task", WMT, 2022.↩
- Kocmi & Federmann, "GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4", WMT, 2023.↩
- Kocmi et al., "Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation", WMT, 2024. https://arxiv.org/abs/2406.11580↩
