概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…

概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発…

概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 本記事では、その開発過程や評価結果についてお話しします。 我々が開発した日本語ModernB…