はじめに こんにちは、東北大学修士2年の守屋彰二と申します。この度、SB Intuitions株式会社 R&D本部 Foundation dev部 Dialogチームにて、インターンシップに参加させていただきました。 本記事では、インターン中に取り組んだ「マルチエージェントによる…

概要 Tuningチームの清野舜、小林滉河、馬越雅人、入亮介です。 SB Intuitionsでは日本語に特化した大規模言語モデル（Large Language Model; LLM）の開発に取り組んでおり、これまでにSarashina1、Sarashina2シリーズや国内最大規模のMoEモデルを公開してい…

概要 Pretrainingチームの高瀬翔と李凌寒です。 弊チームでは日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、Sarashina2-70BやSarashina2.1-1Bのように、いくつか事前学習モデルも公開してきました。 これまで公開したモデルは日本の知識…

基本編はこちら→Sarashina-Embedding-v1-1B: 日本語LLMをベースにしたテキスト埋め込み(1/2)~基本編~ TL;DR 10億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデルを学習。 弱教師あり学習と教師あり学…

TL;DR Sarashina-Embedding-v1-1Bという日本語特化テキスト埋め込みモデルを開発し、モデルを公開. 12億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデル。 コンテキスト長は8192トークンで、日本語特…

概要 SB IntuitionsのSeng Pei Liew、李凌寒、高瀬翔です。 弊社では日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、パラメータの大規模化のための施策として、学習済みの70Bパラメータ*1をMixture-of-Experts（MoE）モデルに拡張し、事…

はじめに 東京科学大学情報理工学院 修士1年の山辺翔二郎と申します。2024年8月19日より、SB Intuitions株式会社 R&D本部 Responsible AIチームにてインターンシップを経験させていただきました。本記事では、インターンシップ中に取り組んだ研究テーマであ…