Mistralは、新たな大規模プログラミングモデル「Codestral」をリリースし、そのモデルパラメータの重みをオープンソース化しました。Codestralは、コードベンチマークテストにおいて、Llama3 70Bなどの大規模モデルを大幅に上回る性能を示したと報告されています。

Codestralは、Python、Java、C、C++、JavaScript、Bashといった人気の高い言語を含む80以上のプログラミング言語の多様なデータセットで学習されています。また、SwiftやFortranといったあまり一般的ではない言語でも非常に優れたパフォーマンスを発揮します。この幅広い言語基盤により、Codestralは様々なコーディング環境やプロジェクトで開発者を支援できます。

他のプログラミング LLM と同様に、Codestral は、関数の完了、テストの作成、コードの入力など、開発者がさまざまなタスクを達成するのに役立ち、コード内のエラーや脆弱性のリスクを軽減します。

Mistral AIは、Codestral 22Bを、Code Llama 70B、DeepSeek Coder 33B、Llama 3 70Bといった類似の大規模モデルと比較するために、グラフも使用しました。グラフによると、Codestralはパラメータ数がわずか220億個であるにもかかわらず、コンテキスト長は32,000トークンに達します。複数のベンチマークテストによると、CodestralはPython、SQL、その他の言語において、一般的に優れたパフォーマンスを発揮しています。

SQL スパイダー ベンチマークでは、Llama 3 70B のスコアが 67.1% であったのに対し、Codestral 22B は 63.5% でした。MBPP Python ベンチマークでは、DeepSeek Code 33B のスコアが 80.2% であったのに対し、Codestral 22B は 78.2% でした。

Codestral は現在ベータ版であり、chat.mistral.ai で無料で使用できます。

ドキュメント: https://docs.mistral.ai/capabilities/code_generation/