1. はじめに Responsible AIチームのRyo Bertolissi、Pride Kavumba、Huy Nguyen、綿岡晃輝です。 大規模言語モデル（LLM）が急速に進化する中で、その出力の安全性を確保するガードレールシステムの重要性が高まっています。しかし、この分野の研究やリソー…
こんにちは。 SB Intuitions で LLM の評価を担当している 岡 照晃、柴田 知秀 です。 本記事では我々が構築・公開した日本語のベンチマーク『JamC-QA（Japanese Multiple Choice QA, ジャムシーキューエー）』[岡+, 25]を前後編に分けて紹介しています。 前…
こんにちは。SB Intuitions で LLM の評価を担当している 岡 照晃、柴田 知秀 です。 本記事では我々が構築・公開した日本語のベンチマーク『JamC-QA（Japanese Multiple Choice QA, ジャムシーキューエー）』[岡+, 25]を紹介します。 JamC-QA は日本固有の…
TL;DR sarashina2.2-1Bをベースに対照学習したテキスト埋め込みモデルを構築 クエリに対して指示文で付与することで、タスク毎にテキストベクトルを調整可能 JMTEBベンチマークで最高水準のスコアを達成(2025年7月28日時点) 特にRetrieval、STS、Rerankingタ…
機械学習のトップカンファレンスである International Conference on Machine Learning (ICML) 2025において、以下の論文が採択されました。 Scaling Laws for Upcycling Mixture-of-Experts Language Models Seng Pei Liew, Takuya Kato, Sho Takase 論文：…
概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…
概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…
