こんにちは、自然言語処理チームの小川です。 本記事では、新たにAPI提供が開始されるSarashina3 embeddingについてご紹介します。まずはモデルの特徴と性能をご紹介し、続いて学習戦略の詳細や具体的な活用事例を通じて、その魅力をお伝えできればと思います。
TL;DR
- 日本語に強い指示認識型テキスト埋め込みモデル — 本モデルは 7 つのタスクタイプに対応
- 柔軟なベクトル次元削減 — Matryoshka Representation Learning（MRL）1 により、リソース制約に応じた運用が可能
- 日本語のテキスト埋め込みベンチマークで高性能 — JMTEB2 のスコアで主要モデルを上回る結果を達成
指示認識型テキスト埋め込みモデルとは
指示認識型テキスト埋め込みモデルとは、クエリにタスク固有の指示文を付与することで、タスクに応じたベクトルを生成するモデルです。Qwen3-Embedding 3 や Gemini Embedding 4などの最新モデルでも採用されているアプローチで、同一モデルで多様なタスクに対応できる点が特徴です。
本モデルは以下の 7 つのタスクタイプに対応しています。
| タスクタイプ | 用途 |
|---|---|
RETRIEVAL_DOCUMENT |
検索対象のドキュメントの埋め込み |
RETRIEVAL_QUERY |
検索クエリの埋め込み |
SEMANTIC_SIMILARITY |
意味的類似度計算 |
QUESTION_ANSWERING |
質問応答 |
FACT_VERIFICATION |
事実確認 |
CLASSIFICATION |
テキスト分類 |
CLUSTERING |
テキストクラスタリング |
性能評価
全体的な性能指標（JMTEB ベンチマーク）
Sarashina3 embedding の性能を、JMTEB（Japanese Massive Text Embedding Benchmark v1.4.0 ）で評価しました。以下は、主要な日本語テキスト埋め込みモデルとの比較結果です。
| モデル | ベクトル次元 | 平均スコア | Classification | Clustering | STS | Retrieval | Reranking |
|---|---|---|---|---|---|---|---|
| Sarashina3 embedding | 1536 | 78.22 | 79.15 | 51.56 | 83.57 | 79.3 | 88.4 |
| Sarashina2 embedding | 2560 | 78.69 | 79.75 | 56.94 | 84.34 | 79.23 | 86.86 |
| sarashina-embedding-v2-1b | 1792 | 76.38 | 77.14 | 52.56 | 84.22 | 76.77 | 86.28 |
| ruri-v3-310m | 768 | 75.85 | 77.65 | 50.52 | 81.59 | 76.44 | 85.84 |
| plamo-embedding-1b | 2048 | 74.85 | 77.29 | 52.5 | 83.15 | 75.14 | 85.05 |
Sarashina3 embedding は、前世代の Sarashina2 embedding と比べて、ベクトル次元を 40% 削減しながら高性能を維持しています。特に Retrieval、Reranking タスクで優れた性能を発揮しており、大規模なドキュメントからの検索に適しています。
学習戦略
Sarashina3 embedding の開発では、DARE-TIES によるモデルマージと Matryoshka Representation Learning（MRL） を組み合わせることで、高性能かつ効率的なモデルを実現しました。
DARE-TIES によるモデルマージ
本モデルの学習では、高品質な日本語テキスト埋め込みモデルの学習データセットとして整備された「ruri-v3-dataset-ft」や自社で構築した学習用データセットを活用しました。さらに、2つのタスク特化モデルを統合する際に、「DARE-TIES」というマージ技術を採用しました。
DARE-TIES とは
DARE-TIES は、異なるモデルをマージする際の「タスク間の干渉」を低減する手法です。以下の 2 つの技術を組み合わせています。
- DARE 5 — デルタパラメーターの一部をドロップし、残りのパラメーターを再スケール。この手法により、90% 以上のパラメーター更新をドロップしても、モデルの性能を維持できることが報告されています
- TIES-Merging 6 — 各パラメーターの大きさと符号を考慮し、重要な更新を優先しながら、複数のタスクベクトル間の干渉を解決
適用方法と性能
Sarashina3 embedding では、以下の 2 つのタスク特化モデルを別々に学習しました。
- 検索特化モデル — Retrieval、Reranking、STS タスクで高性能
- 分類特化モデル — Classification、Clustering タスクで高性能
以下の表は、それぞれの特化モデルと、DARE-TIES で統合した Sarashina3 embedding の性能比較です。
| モデル | 平均 | Retrieval | STS | Classification | Reranking | Clustering |
|---|---|---|---|---|---|---|
| 検索特化モデル | 77.62 | 78.69 | 84.12 | 78.48 | 88.41 | 49.37 |
| 分類特化モデル | 77.81 | 78.36 | 82.76 | 79.55 | 87.57 | 52.12 |
| Sarashina3 embedding | 78.22 | 79.30 | 83.57 | 79.15 | 88.40 | 51.56 |
DARE-TIES を用いてこれら 2 つのモデルのパラメーターをマージすることで、各タスクにおける性能を保持しながら、全タスクで均衡の取れた高性能なモデルを実現できました。統合後の Sarashina3 embedding は、単体の特化モデルよりも全体的なバランスに優れており、特定のタスクで極端に弱くなることなく、安定した性能を提供します。
Matryoshka Representation Learning（MRL）による次元削減
テキスト埋め込みモデルの実運用では、メモリ効率やベクトルDBのストレージサイズなどの観点から、ベクトル次元の削減が必要になることがあります。Sarashina3 embedding では、「Matryoshka Representation Learning（MRL）」を採用し、柔軟な次元削減（truncation）を可能にしています。
MRL の主な特徴
- マルチ次元学習 — [1536, 1024, 512, 256, 128] といった複数の次元を対象に学習
- 学習効率 — 各ステップでランダムに異なる次元を選択して損失計算を行うことで、学習時の計算コストを削減
- 次元削減への耐性 — 低次元でも高精度な埋め込みを維持し、リソース制約のある環境での活用を可能に
次元削減時の性能
Sarashina3 embedding は次元削減に非常に耐性が高いという特性を示しています。例えば、256 次元まで圧縮した場合でも JMTEB の平均スコアは 75.72 であり、これはオープンソースで高性能なモデルである ruri-v3-310m（次元: 768、スコア: 75.85）とほぼ同等です。このため、メモリやストレージサイズが限られた環境でも、高品質な埋め込みを利用できます。
次元削減時のJMTEB の平均スコアを Sarashina2 embedding と比較すると、次元を削減するほど Sarashina3 embedding の優位性が際立ちます。これは MRL による学習が、低次元空間での表現学習を明示的に最適化しているためです。
| ベクトル次元 | Sarashina3 embedding | Sarashina2 embedding | 性能差 |
|---|---|---|---|
| 64 | 61.50 | 57.99 | +3.51pt |
| 128 | 70.91 | 68.30 | +2.61pt |
| 256 | 75.72 | 72.65 | +3.07pt |
| 512 | 77.60 | 75.33 | +2.27pt |
| 768 | 78.00 | 76.81 | +1.19pt |
| 1024 | 78.08 | 77.19 | +0.89pt |
定性的な挙動の例
ここでは、実際のタスクにおける各モデルの挙動を比較します。各例では、クエリに対する検索結果の上位と正解ドキュメントの順位（rank X / 総件数）を示しています。✓ は正解ドキュメントを、✗ は不正解を表します。
例 1
Query: チリ共和国とペルーの境界は何？
正解 doc:
- アンデス山脈（アンデスさんみゃく、Spanish: Cordillera de los Andes）は、主に南アメリカ大陸の西側に沿って、北緯10度から南緯50度まで南北7500km...
plamo-embedding-1b (rank 12 / 880)
1. ✗ フォードのオーバル型のトレードマークは1907年に導入された。1928年に生産開始されたT型の後継車「A型」がオーバル型のバッジの中にフォードという書き文字を入... 2. ✗ ヨーゼフ・ディートリヒ（Josef Dietrich 、1892年5月28日 - 1966年4月22日）は、ドイツの政党国家社会主義ドイツ労働者党(以下ナチ党)... 3. ✗ 1955年（昭和30年）1月 - 静岡県浜名郡浜北町（現浜松市浜北区）に日本楽器製造（現ヤマハ）浜北工場設立、二輪車「YA-1」(125cc)の生産を開始...
Qwen3-Embedding-0.6B (rank 58 / 880)
1. ✗ フォードのオーバル型のトレードマークは1907年に導入された。1928年に生産開始されたT型の後継車「A型」がオーバル型のバッジの中にフォードという書き文字を入... 2. ✗ 「アルツハイマー病」の名は、最初の症例報告を行ったドイツの精神科医アロイス・アルツハイマーに由来している。アルツハイマーは、「レビー小体型認知症」にその名を残す... 3. ✗ ヘール・ボップ彗星は1995年7月23日に太陽から非常に遠い位置で発見され、太陽の近くを通過する頃には非常に明るくなるのではという期待が高まった。彗星の明るさを...
ruri-v3-310m (rank 16 / 880)
1. ✗ フォードのオーバル型のトレードマークは1907年に導入された。1928年に生産開始されたT型の後継車「A型」がオーバル型のバッジの中にフォードという書き文字を入... 2. ✗ 「アルツハイマー病」の名は、最初の症例報告を行ったドイツの精神科医アロイス・アルツハイマーに由来している。アルツハイマーは、「レビー小体型認知症」にその名を残す... 3. ✗ 使徒の襲来目的は、第3新東京市の地下の空洞（ジオフロント）内にあるNERV本部に幽閉されている第1使徒アダム（実際に幽閉されていたのはリリス）と融合し、サードイ...
Sarashina3 embedding (rank 6 / 880)
1. ✗ フォードのオーバル型のトレードマークは1907年に導入された。1928年に生産開始されたT型の後継車「A型」がオーバル型のバッジの中にフォードという書き文字を入... 2. ✗ ヨーゼフ・ディートリヒ（Josef Dietrich 、1892年5月28日 - 1966年4月22日）は、ドイツの政党国家社会主義ドイツ労働者党(以下ナチ党)... 3. ✗ 1969年6月28日未明に、アメリカ合衆国ニューヨーク市内グリニッジ・ヴィレッジにあったゲイバー「ストーンウォール・イン（Stonewall Inn）」に警察の... ... 6. ✓ アンデス山脈（アンデスさんみゃく、Spanish: Cordillera de los Andes）は、主に南アメリカ大陸の西側に沿って、北緯10度から南緯50度まで...
例 2
Query: 水蒸気自動車が初めて開発されたのはいつ
正解 doc:
- 蒸気自動車: 蒸気自動車が発明されたのは1769年とされ、蒸気機関車(1804年)や蒸気船よりも古い。発明者はフランスの軍事技術者、ニコラ＝ジョゼフ・キュニョーである。
plamo-embedding-1b (rank 3 / 11)
1. ✗ 鉄道車両の歴史: 17世紀頃から蒸気機関に関するアイデアが出され始め、1698年に... 2. ✗ 蒸気自動車: またヨーロッパ大陸でも蒸気自動車の研究が進められた。... 3. ✓ 蒸気自動車: 蒸気自動車が発明されたのは1769年とされ、...
Qwen3-Embedding-0.6B (rank 4 / 11)
1. ✗ 蒸気自動車: 最初に蒸気自動車を市販したのは1899年のコネチカット州ブリッジポートのロコモービル社である。1899年から1905年にかけて数千台の"Runab... 2. ✗ 水素自動車: 1970年、武蔵工業大学（現在の東京都市大学）が日本で初めて水素燃料エンジンの運転を成功させ、1974年に同大学は水素エンジンを搭載した日本初の水... 3. ✗ 蒸気自動車: 日本で最初に導入された蒸気自動車は、1902年に横浜の貿易商が米国・ロコモービル社製の蒸気自動車を輸入した。このうちの1台は男爵いもで有名な川田龍...
ruri-v3-310m (rank 3 / 11)
1. ✗ 蒸気自動車: またヨーロッパ大陸でも蒸気自動車の研究が進められた。... 2. ✗ 燃料電池自動車: 最初の水素ガスを燃料とする内燃機関による水素自動車は1807年... 3. ✓ 蒸気自動車: 蒸気自動車が発明されたのは1769年とされ、...
Sarashina3 embedding (rank 1 / 11)
1. ✓ 蒸気自動車: 蒸気自動車が発明されたのは1769年とされ、... 2. ✗ 蒸気自動車: またヨーロッパ大陸でも蒸気自動車の研究が進められた。... 3. ✗ 蒸気自動車: 最初に蒸気自動車を市販したのは1899年の...
ここで挙げた例のように、Sarashina3 embedding は他モデルが順位を下げるようなクエリでも正解ドキュメントを上位に配置しており、特に情報検索タスクにおいて安定した精度を発揮しています。
おわりに
本記事では、新たに商用APIとして提供されるSarashina3 embedding の開発戦略、性能評価、および具体的な活用事例について詳しく解説しました。
Sarashina3 embedding は、DARE-TIES による複数タスクの均衡的統合と、Matryoshka Representation Learning による柔軟な次元削減を組み合わせることで、実用性と高性能を両立させた日本語に強いテキスト埋め込みモデルとして実現しました。
プロジェクトメンバー（五十音順)
- 小川隼斗 (※ インターン生)
- 福地成彦
- 李聖哲
- Aditya Kusupati, Gantavya Bhatt, Aniket Rege, Matthew Wallingford, Aditya Sinha, Vivek Ramanujan, William Howard-Snyder, Kaifeng Chen, Sham Kakade, Prateek Jain, and Ali Farhadi. 2022. Matryoshka representation learning. In Proceedings of the 36th International Conference on Neural Information Processing Systems (NIPS '22), Article 2192, pages 30233–30249. Curran Associates Inc.↩
- Li Shengzhe, Ohagi Masaya, Ri Ryokan, Fukuchi Akihiko, Shibata Tomohide, and Kawahara Daisuke. 2026. JMTEB and JMTEB-lite: Japanese Massive Text Embedding Benchmark and Its Lightweight Version. In Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 7423–7434, Palma, Mallorca, Spain. European Language Resources Association (ELRA).↩
- Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, and Jingren Zhou. 2025. Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models. arXiv:2506.05176.↩
- Google. 2026. Gemini-Embedding-2. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/gemini/embedding-2?hl=ja↩
- Le Yu, Bowen Yu, Haiyang Yu, Fei Huang, and Yongbin Li. 2024. Language models are super mario: absorbing abilities from homologous models as a free lunch. In Proceedings of the 41st International Conference on Machine Learning (ICML'24), Vol. 235, Article 2382, pages 57755–57775. JMLR.org.↩
- Prateek Yadav, Derek Tam, Leshem Choshen, Colin Raffel, and Mohit Bansal. 2023. TIES-MERGING: resolving interference when merging models. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NIPS '23), Article 310, pages 7093–7115. Curran Associates Inc.↩
