Mistral AI、統合モデル「Mistral Small 4」を公開
- •Mistral Small 4は、論理推論、マルチモーダル、エージェント型コーディングの能力を1,190億パラメータの単一モデルに統合している。
- •混合エキスパート（MoE）アーキテクチャを採用し、Apache 2.0ライセンスの下、推論時には60億パラメータのみを稼働させる。
- •形式検証言語「Lean 4」に特化したオープンウェイトモデル「Leanstral」も同時に公開された。
Mistral AIは、Mistral Small 4のリリースによりオープンウェイトのラインナップを大幅に拡充した。このモデルは「Small」という名称に反して1,190億ものパラメータを誇るが、Mixture-of-Experts (MoE) 構造の採用により、推論時のアクティブパラメータを60億に抑えて計算コストを低減している。これは、これまで論理推論のMagistral、ビジョンのPixtral、プログラミングのDevstralと個別に分かれていた機能を一つの多才な強力モデルへと統合する、同社の戦略的転換を象徴している。
特筆すべき機能の一つに、推論における思考の深さを調整できる「可変推論（variable reasoning effort）」の設定がある。ユーザーは「なし」から「高」までの設定を切り替えることができ、他の上位推論モデルで見られるような「思考時間」を確保することで、複雑な課題に対してより多くの計算リソースを割り当てることが可能だ。また、Apache 2.0という寛容なライセンスで公開されており、Hugging Face上のファイルサイズは242GBに達する。これは、オープンソースコミュニティが独自のホスティングやファインチューニングを行う上での重要なリソースとなるだろう。
さらに、特定の専門技術分野に向けた取り組みとして、Mistral AIは「Leanstral」も発表した。このモデルは、数学的な形式検証や定理証明に用いられる関数型プログラミング言語「Lean 4」に特化してファインチューニングされている。このような厳密なドメインに焦点を当てることで、同社は、精度と形式論理が不可欠な高度な科学・数学研究を支援する、小型で専門性の高いモデルの可能性を示したといえる。