SB Intuitions で機械翻訳モデルの開発を担当している松野智紀だ。2026年7月の記事では、日英・英日翻訳に特化した大規模言語モデル Sarashina3 translate の翻訳品質を報告した。今回はその後継となる Sarashina3.2 translate を紹介する。前回からの変更点はいくつかあるが、本記事では最大のアップデートである文体の話をしたい。
……以前の記事と比べて、少しぶっきらぼうに感じなかったでしょうか。上の段落は、です・ます調(敬体)ではなく、だ・である調(常体)で書いています。内容が同じでも、文体によって読み手の印象は大きく変わります。
英語には常体・敬体の区別がないため、英日翻訳では訳文の文体をモデルが決めます。そのため、用途に合わない文体で訳されたり、長い文書を段落ごとに訳すとリクエストごとに文体が変わったりします。訳文の文体を指定できれば、どちらも防げます。
そこで Sarashina3.2 translate では、翻訳時に「だ・である調」(常体)か「です・ます調」(敬体)かを指定できるようにしました(文体指定はβ版としての提供です)。
この文体指定機能は sarashina.ai の translate API でお試しできます。
結果のサマリ
| 評価軸 | Sarashina3 translate | Sarashina3.2 translate |
|---|---|---|
| 文体指定どおりに訳せた割合(常体 / 敬体) | —(指定機能なし) | 98.1% / 97.1% |
| WMT24 MQM ペナルティ(英日 / 日英、低いほど良い) | 2.19 / 1.45 | 2.18 / 1.44 |
- 文体指定の遵守: 常体・敬体のどちらを指定しても 97% 以上が指定どおりの文体になりました。
- 翻訳品質の維持: 指定なし条件の WMT24 では、BLEU は従来モデルをわずかに下回る一方、MQM は同等、ペアワイズ比較では英日で上回っており、総合的には従来モデルと同等の品質です。
- 今後の課題: 敬体を指定した場合に翻訳品質がわずかに低下する傾向が確認されているため、文体指定機能はβ版として提供しています(詳細は Appendix A.6)。
文体指定とは
日本語の文末には、大きく分けて 2 つの文体があります。
- 常体: 「〜だ。」「〜である。」で終わる文体。学術論文・報告書などで使われます
- 敬体: 「〜です。」「〜ます。」で終わる文体。顧客向け文書・プレスリリース・案内文などで使われます
同じ英文
The results will be published next week.
でも、常体なら「結果は来週発表される。」、敬体なら「結果は来週発表されます。」となります。Sarashina3.2 translate では、この文体を指定して訳し分けられます。
| 指定なし | 常体指定 | 敬体指定 |
|---|---|---|
| 内容に応じて自動選択 | だ・である調 | です・ます調 |
指定なしの場合、出力の文体は常体 68.1% / 敬体 28.4% / 混在 0.9% / 判定不能 2.7% でした(698 件)。1 回の出力の中で文体が混ざることはほとんどなく、問題は入力ごとに常体・敬体のどちらになるかが安定しないことです。文体指定を使えば、これを揃えられます。
評価方法
WMT24 1 英日データ(997 件)を「指定なし / 常体指定 / 敬体指定」の 3 条件で翻訳し、出力の各文の文末を形態素解析(spaCy 2)して、常体か敬体かをルールベースで判定しました(LLM は使っていません)。参照訳が見出しや体言止めになっているものを除いた 698 件を評価対象としました。判定ルールは Appendix A にまとめています。
結果
| モデル | 常体指定 | 敬体指定 |
|---|---|---|
| Sarashina3.2 translate | 98.1%(685 / 698 件) | 97.1%(678 / 698 件) |
指定どおりにならなかったものの多くは、訳文が体言止めになったものや、会話の書き起こし・小説のセリフで口調が常体のまま残ったものでした。1 つの出力で常体と敬体が混ざったのは、どちらの指定でも数件です(内訳は Appendix A.5)。
なお敬体を指定すると、翻訳品質の指標がわずかに下がります(文体評価用の翻訳で計算した BLEU は指定なし 24.9 → 敬体 23.1、LLM による誤訳評価 MQM でもやや悪化)。今後の課題です(詳細は Appendix A.6)。
翻訳品質は保たれているか
文体指定に対応したことで、一般的な翻訳品質が落ちていないかも確認しました。WMT24(英日・日英各 997 件)で従来モデルと比べた結果です。MQM 3 は LLM が誤訳を指摘してペナルティを集計する指標(低いほど良い)、ペアワイズ比較は LLM が 2 つの訳文のどちらが良いかを判定するものです。判定 LLM は gpt-6-luna で、前回記事と異なるため数値は直接比較できません。
| 指標 | 方向 | Sarashina3 translate | Sarashina3.2 translate |
|---|---|---|---|
| BLEU 4 | 英→日 | 25.8 | 24.8 |
| BLEU | 日→英 | 19.5 | 18.9 |
| MQM ペナルティ | 英→日 | 2.19 | 2.18 |
| MQM ペナルティ | 日→英 | 1.45 | 1.44 |
| ペアワイズ 勝 / 分 / 敗 | 英→日 | — | 38.1% / 30.8% / 31.1% |
| ペアワイズ 勝 / 分 / 敗 | 日→英 | — | 29.8% / 36.1% / 34.1% |
ペアワイズの勝 / 分 / 敗は Sarashina3.2 translate から見た割合です。BLEU は Sarashina3 translate がやや上(日英の差は統計的に有意)、MQM は同等で、ペアワイズ比較では英日で Sarashina3.2 translate が有意に上回りました(p≈0.009。日英は有意差なし、p≈0.10)。指標によって多少の上下はあるものの総合的には同等で、翻訳品質を保ったまま文体指定が加わった形です(評価方法の詳細は Appendix B)。
その他のアップデート
Sarashina3.2 translate には、文体指定のほかに次の改善もあります。
- 翻訳指示を含む文の翻訳: 「Please translate the sentence below into Japanese: ...」のように、訳したい文自体に翻訳指示が含まれていても、指示を実行せず指示部分も含めて全文を訳せるようになりました。WMT24 の文に翻訳指示(文頭の指示・注意書き・引用・曖昧な文の 4 種類)を組み込んだ専用ベンチマーク 400 件を翻訳したところ、従来モデルは英日 22.0% / 日英 33.5% で指示文の訳が抜けていましたが、Sarashina3.2 translate は失敗 0 件でした。
ぜひ使ってみてください。
Appendix A: 文体判定の詳細
A.1 判定ルール
実装には spaCy 3.8 の日本語モデル ja_core_news_sm(3.8.0。品詞は UniDic の細品詞まで参照)と文分割ライブラリ pysbd 5 を使っています。
- 引用・セリフの除去: 地の文だけを判定するため、文に分割したあと ()()「」『』“”‘’ "" '' で囲まれた部分を取り除きます。ただし出力全体が括弧で囲まれている場合(原文がセリフ 1 行だけの場合など)は、分割前に一番外側の括弧だけを外し、その中身で判定します
- 述語で終わる文かどうか: 文末の句読点・記号・終助詞(「よ」「ね」「か」など)を読み飛ばし、最後のトークンが動詞・形容詞・助動詞なら「述語で終わる文」とします。テ形で終わる文(「見に行ってよ。」)は常体とも敬体とも言えないため除外します
- 文の分類: 述語で終わる文のうち、原形が「です」「ます」の助動詞(「でした」「ません」などの活用形を含む)か「くださる」を含むものを敬体、それ以外を常体とします。述語で終わらない文は判定不能です
- 出力全体のラベル: 判定できた文がすべて常体なら常体、すべて敬体なら敬体、両方あれば混在、1 つもなければ判定不能とします
遵守率は「出力ラベルが指定文体と一致した件数 ÷ 評価対象(698)」です。混在と判定不能も、指定どおりでなかったものとして分母に含めます。
A.2 評価対象の絞り込み
参照訳の最後の文が述語で終わる場合だけを評価対象としました。除外した 299 件の大半は、名詞で終わる見出し(160 件。「企業犯罪者を見逃すバイデン政権」)や、ハッシュタグ・URL など日本語の本文がないもの(44 件)です。「〜かも。」「〜しないと。」のような口語の文も、文末に常体・敬体の手がかりがないため除外しています。判定を誤らないことを優先した保守的な設定です。
A.3 既知の誤判定
- 「〜ということか?」は、形式名詞「こと」で終わるとみなされ判定不能になります
- 箇条書きの見出しが動詞で終わる場合(「2. スロット付きのテンプレートを使用する」)は、常体の文として数えられます
- 従属節に「です」「ます」があれば、主節が常体でも敬体と判定します(指定なし条件の 2 件だけで、遵守率には影響していません)
A.4 指定なし条件の混在
指定なしの混在 6 件(0.9%)の多くは、会話の書き起こしで一部の話者だけ文体が異なるものや、「やったー。」のような感嘆の一言が混ざるものです。
A.5 指定どおりにならなかった出力の内訳
| 出力ラベル | 常体指定 | 敬体指定 |
|---|---|---|
| 指定と逆の文体 | 0 | 7 |
| 混在 | 2 | 4 |
| 判定不能 | 11 | 9 |
- 判定不能の大半は、出力が名詞句で終わり、文末に手がかりがなかったものです(「など。」「1. CSS の活用」「来週の左官工事の準備完了」)
- 指定と逆の文体(敬体指定で常体になった 7 件)は、小説のセリフ 1 行の訳で口調を常体のまま残したもの 3 件(「『奴らの頭を狙え!』」など)、「やったー!」だけの出力 2 件、箇条書きの見出し 1 件、形態素解析の誤り 1 件です。常体指定で敬体になった出力は 0 件です
- 混在は、地の文の途中で文体が揺れる例はなく、いずれも会話の書き起こし、動画冒頭の挨拶、感嘆の一言など、話者や口調の違いで一部の文だけ文体が異なるものでした。例えば敬体指定のアニメの書き起こしでは、ナレーションや大人のセリフは敬体にした一方、子ども同士のセリフは「そうだね、君の言う通りだ」のように元の口調のまま残していました。キャラクターの口調を保ったとも言えますが、「一律敬体」の指定には反するため、指定どおりでないものとして数えています
A.6 文体指定と翻訳品質
本節の BLEU・MQM は、文体評価用に 3 条件で翻訳した出力を WMT24 英日 997 件全体(文体判定の 698 件に絞る前)で計算したものです。MQM の判定 LLM は gemma-4-31b-it で、本文「翻訳品質は保たれているか」の gpt-6-luna とは異なります。翻訳も本文の比較とは別に実行しているため、指定なしの BLEU が本文の表(24.8)と 0.1 ずれています。
敬体指定では BLEU が指定なしより下がりました(23.1 vs 24.9、p<0.001。常体指定は 25.0 で差は有意でない、p≈0.47)。参照訳が常体寄りであることも一因ですが、MQM でも敬体指定は指定なしより有意に悪く(1.52 → 1.88、p≈0.009。常体指定は 1.67、p≈0.17)、参照訳の文体だけでは説明できません。
ただし MQM の判定 LLM は文体指定を知らないため、指示どおり敬体で訳した文を「原文のトーンと合わない」と誤って減点することがあります。そこで文体指定を判定 LLM に伝えた版でも評価しました(MQM ペナルティ、低いほど良い):
| 条件 | 素の MQM | 文体指定つき MQM |
|---|---|---|
| 指定なし | 1.52 | —(指定がないため素の MQM と同じ) |
| 常体指定 | 1.67 | 1.83 |
| 敬体指定 | 1.88 | 1.90 |
文体由来の誤減点は敬体指定で約 6 割減りましたが(p≈0.005)、減点の総量はほぼ変わらず(1.88 → 1.90)、指定なしとの差は残りました(p≈0.006)。判定を精査すると、残った減点の多くは文体ではなく誤訳に対するものでした。なお、文体指定を伝えた判定 LLM はプロンプトに文体の説明を加えた分だけ全体に減点が厳しくなる傾向があり(常体指定の同じ出力でも 1.67 → 1.83、p≈0.02)、この差には判定 LLM 側の影響も含まれます。それでも、素の判定 LLM 同士の比較で敬体指定は指定なしより有意に悪いことから、敬体指定では翻訳品質がわずかに低下する傾向があると判断しています。改善は今後の課題です。
検定はいずれも同一文ペアのブートストラップ検定です(10,000 回、両側、有意水準 5%。BLEU は sacrebleu 6 で計算)。
Appendix B: WMT24 評価の詳細
- ペアワイズ比較: 提示順の影響を除くため順序を入れ替えて 2 回判定し、判定が食い違った文は引き分けとしました(プロンプトは前回記事 Appendix A と同じ)。順序を入れ替えると判定が変わった文は英日 24.6% / 日英 23.4% でした
- 有意差: ペアワイズ勝率は、英日で Sarashina3.2 translate が有意に上回り(引分を除く 380 勝 310 敗の二項検定で p≈0.009)、日英は有意差なし(297 勝 340 敗、p≈0.10)でした。BLEU の差は、同一文ペアのブートストラップ検定(10,000 回、両側、sacrebleu で計算)で、英日では有意ではありませんが(p≈0.36)、日英では Sarashina3 translate が有意に上回りました(p≈0.016)。MQM ペナルティの差(0.01 未満)は同一文ペアのブートストラップ検定で有意ではありません(英日 p≈0.95、日英 p≈0.93)
- 判定 LLM: gpt-6-luna。前回記事と異なるため、MQM ペナルティや勝率は前回記事の値と直接比較できません(本記事の Sarashina3 translate の数値は同じ判定 LLM で測り直しています)
- Haddow et al., "Proceedings of the Ninth Conference on Machine Translation (WMT24)", ACL, 2024. https://aclanthology.org/2024.wmt-1/↩
- Honnibal et al., "spaCy: Industrial-strength Natural Language Processing in Python", 2020. https://spacy.io/↩
- Freitag et al., "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation", TACL, 2021. 誤訳の種類と深刻度を多次元で評価する品質評価フレームワーク。本記事では LLM-as-a-judge により判定。 https://aclanthology.org/2021.tacl-1.87/↩
- Papineni et al., "BLEU: a Method for Automatic Evaluation of Machine Translation", ACL, 2002. https://aclanthology.org/P02-1040/↩
- Sadvilkar & Neumann, "PySBD: Pragmatic Sentence Boundary Disambiguation", NLP-OSS, 2020. https://aclanthology.org/2020.nlposs-1.15/↩
- Post, "A Call for Clarity in Reporting BLEU Scores", WMT, 2018. https://aclanthology.org/W18-6319/↩