Evaluation チームの 岡 照晃 です。
SB Intuitions では 2026年6月から Sarashina3 mini と Sarashina3 nano を新たに商用API として提供開始しました（ プレスリリース 、 テックブログ）。
そこで本記事では、APIの利用料金にも関わるトークナイズとトークン効率の観点から Sarashina3 の良さを紹介します。
トークン数で決まる利用料金
OpenAI の ChatGPT や Google の Gemini といった LLM を利用する際、 チャットUIであれば無料プランや月額の定額プランが用意されています。
https://openai.com/ja-JP/business/pricing/#chatgpt（2026/07/30 アクセス）
https://one.google.com/intl/ja_jp/about/ （2026/07/30 アクセス）
一方、 チャットUI を介さず API を使って独自の LLM サービスを作りたい場合、利用料金は LLM の入出力トークン数で決まります。
例えば、GPT-5.6 と Gemini 3.5 はいずれも 1M（100万）トークンあたりの API の利用料金を設定しています。
では、この『トークン』とは何なのでしょうか？
トークンとトークナイズ
LLM はテキストをトークンというより細かな文字列に分割して扱います。 この分割処理をトークナイズといい、 トークナイズを実行するプログラムはトークナイザと呼ばれます。
上は Sarashina3 のトークナイザでトークナイズを実行した例です。各トークンは色分けで示しています。
トークンには単語や文字といった言語単位が採用されることもありますが、 LLM でトークナイズと言った場合はサブワードへの分割です。
サブワードトークナイザは、使用頻度の高い部分文字列を 1つにまとめ、使用頻度の低い部分文字列は細かく分割するよう学習されています。 単語や文節のような言語単位と一致しないのはそのためです。
トークナイズされたサブワードはそれぞれ対応する id に変換され、LLM に入力されます。 上のサブワード列だと以下のような id列に変換されます。
入力されたテキストをサブワードに分割して id列に変換する処理をエンコードと言い、 LLMが出力する id列をサブワードを介してテキストに変換する処理をデコードと言います。
トークナイザによる分割の違いとトークン効率
トークナイザの仕様や学習結果は LLM によって異なるので、 トークナイザが変われば、登録されているサブワードも分割の仕方も異なります。
例として GPT-5 のトークナイザ（o200k_base）を使って先ほどの例をトークナイズしてみます。 比較のために、Sarashina3 のトークナイザの分割結果と並べました。
日本語に強い LLM である Sarashina3 はトークナイザ学習時の日本語テキストの割合も大きくしています。 その結果、「東京メトロ」や「南北線」「山手線」のような固有名詞も 1トークンになりました。 一方、GPT-5 は英語を中心に多言語対応しているので、学習時の日本語テキストの割合は小さく、 日本語の長いサブワードも獲得できていません。 結果、GPT-5 では Sarashina3 よりも分割が細かくなっています。 このとき「Sarashina3 トークナイザは GPT-5 に比べてトークン効率がいい」と言います。
トークン効率は「より少ないトークン数で、目的の処理をどれだけ効率的に達成できるか」という指標です。 トークナイズするテキストが同じでも、より少ないトークン数に分割できれば、 LLM の処理速度も速くなりますし、計算機サーバの消費電力も小さくて済みます。
では Sarashina3 トークナイザはどれくらいトークン効率が良いのでしょう？
Gemini 3.5 のトークナイザを加えて、 日本語 Wikipedia （約19億文字）をトークナイズした結果を比較してみました。 その結果、GPT-5 が最も多い 約14億トークンに分割され、 Gemini 3.5 は約12億トークン。 Sarashina3 が最も少ない約9.5億トークンで、GPT-5 と比較すると 4.5億もトークン数を節約できました。
まとめ
本記事では、新たに商用API として提供を開始した Sarashina3 をトークナイズの観点から紹介しました。 上で示した結果は日本語におけるトークン効率であり、 言語が変われば（e.g., 英語、中国語、…）GPT-5 や Gemini 3.5 のトークン効率が良くなることもあります。 ですが日本語のテキスト処理であれば、性能だけでなく、トークン効率もいい Sarashina3 の出番です。
トークン効率は利用料金だけでなく、計算機サーバの消費電力にも関わってきます。 より少ないトークンで処理できれば、それだけ計算資源を節約し、省エネにつながります。
これからは計算効率の観点からも LLM を選んでみてはいかがでしょうか？
Sarashina3 の利用申し込みはこちらから受け付けています。
SB Intuitions は今後も国産 LLM の開発・改善に継続して取り組んでいきます！
