機械学習のトップカンファレンスである International Conference on Machine Learning (ICML) 2025において、以下の論文が採択されました。 Scaling Laws for Upcycling Mixture-of-Experts Language Models Seng Pei Liew, Takuya Kato, Sho Takase 論文：…

概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…

概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…

概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 本記事では、その開発過程や評価結果についてお話しします。 我々が開発した日本語ModernB…

こんにちは、SB Intuitions株式会社の高山隼矢, 大萩雅也です。1月19-24日にアラブ首長国連邦(UAE)のアブダビで開催された、自然言語処理における代表的な国際会議の一つであるCOLING 2025にて発表を行いました。 本記事ではCOLINGに参加して感じたことや気…

R&D 本部 Responsible AI チームの黒澤です。Responsible AI チームでは、チーム名にある通り「責任のある AI」を目指し、特に大規模言語モデル (LLM) の倫理観や安全性を向上させるための取り組みを行なっています。 本記事では、言語処理学会第31回年次大…

概要 SB Intuitionsでは、日本語や日本の文化・慣習に強い大規模視覚言語モデル（Vision-Language Model; VLM）の開発を進めており、2025年3月にオープンな日本語向けVLMであるSarashina2-Vision-8B, 14Bをリリースしました。 本記事ではVLM評価チームが行っ…