AIコミュニティを席巻しているのは、近年台頭してきた「トップインフルエンサー」DeepSeekです。DeepSeekが新たにリリースしたV3/R1シリーズは、世界のトップモデルに匹敵するほどの強力なパフォーマンスを誇り、世界的なセンセーションを巻き起こしています。しかし、Web版やアプリ版も既に使い勝手は抜群ですが、DeepSeek R1を自社プラットフォームに移植し、ローカル環境で運用することで初めて、真の「パーソナライズカスタマイズ」を実現し、DeepSeek R1の「ディープシンキング」能力を最大限に引き出すことができることをご存知でしたか？

しかし、問題が発生します。オリジナルのDeepSeek R1 671Bフルモデルは、ファイルサイズが途方もなく大きく、なんと720GB！まるで山の家を移動させようとするようなもので、個人や企業の多くは、これほどの莫大な導入コストに躊躇するでしょう。

ご心配なく、量子化テクノロジーが救いの手を差し伸べます！このテクノロジーは魔法のように機能し、DeepSeekモデルの高い精度を安定的に維持しながら、計算効率とリソース消費の問題を容易に解決します。その結果、モデルは実世界のアプリケーションでさらに優れたパフォーマンスを発揮し、開発者や企業はより柔軟で効率的なデプロイメント方法を活用できるようになります。

大規模モデル量子化とは何ですか?

近年、人工知能の発展とTransformerなどのアーキテクチャの導入により、ディープラーニングモデルのパラメータ数は兆単位に達し、モデルはますます大規模になり、コンピューティングリソースとストレージリソースの需要が劇的に増加しています。そのため、コンピューティングとストレージのオーバーヘッドを削減するには、モデルの展開コストを削減し、モデル推論性能を向上させる大規模モデル圧縮技術が必要です。モデル圧縮には、量子化、知識蒸留、プルーニング、低ランク分解など、いくつかの手法があります。

量子化は、モデル内のパラメータ（重みまたは活性化値）の精度を低下させ、高ビット幅（例：32ビット浮動小数点数）から低ビット幅（例：8ビットまたは4ビット整数）に変換します。この圧縮と最適化により、モデルのメモリと計算電力の消費量が削減され、効率が向上します。ただし、通常はある程度の精度の低下を伴います。計算中に、量子化された整数は最終結果を得るために浮動小数点数に逆量子化される点に注意することが重要です。量子化の主な利点は次のとおりです。

1. メモリ（ビデオメモリ）の使用量を減らす

整数データ型（8ビット整数など）は、浮動小数点数（32ビット浮動小数点数など）に比べてメモリ使用量が大幅に少なくなります。モデルに1億個のパラメータがあり、FP32データ形式を使用する場合、必要なメモリ量は4 x 10⁸バイトです。バイトをMB（1 MB = 1,048,576バイト）に変換すると、約381.47 MB​​になります。INT8を使用してデータパラメータを表す場合、メモリ使用量は1 x 10⁸バイトになります。バイトをMB（1 MB = 1,048,576バイト）に変換すると、約95.37 MBになります。したがって、ビット長が短いほど、メモリ使用量が削減され、ハードウェア要件も低くなります。

2. 計算効率の向上

ハードウェアレベルでは、整数演算の実装が容易です。多くのプロセッサやアクセラレータは整数演算に特化しており、テンソル演算専用の命令セットを提供しています。そのため、整数演算（加算、乗算など）は一般的に浮動小数点演算よりも単純で高速です。

3. エネルギー消費量の削減

整数演算ではデータ量が少なくなるため、メモリアクセスのオーバーヘッドが削減されます。同時に、NPUが計算時に必要とする乗算器の数も削減されるため、通常、浮動小数点演算よりもエネルギー消費量が少なくなります。

現在のモデル量子化は、主にトレーニング後の量子化（PTQ）と量子化を考慮したトレーニング（QAT）から構成されています。PTQは、事前トレーニング済みのFP32モデルを、独自のトレーニングプロセスなしで固定小数点計算ネットワークに直接変換できます。PTQの最大の利点は、キャリブレーションデータセットなどのデータをほとんど必要とせず、ハイパーパラメータの調整もほとんど不要なため、モデル量子化が非常に便利になることです。これは、トレーニング中に量子化をシミュレートする方法です。QATは、モデルに偽の量子化ノード（FakeQuant）を挿入することで量子化誤差をシミュレートし、トレーニング中にこれらの誤差を最小限に抑えることで、最終的に量子化環境に適応したモデルを取得します。

量子化はメモリ使用量と計算能力を削減しますが、量子化手法の精度やビット数の低下による精度低下など、いくつかの課題が避けられません。同時に、モデルサイズと精度の間にはトレードオフの関係があります。一般的に、モデルが小さいほど、表現力とパラメータ容量が制限されるため、量子化後の精度低下がより顕著になる可能性があります。

モデル量子化を行う際には、タスク、モデルサイズ、精度要件、そして実際のアプリケーションシナリオを総合的に考慮し、最適な量子化戦略を決定することが重要です。これらの考慮事項に基づき、MindStudioのモデル圧縮ツールはDeepSeekシリーズモデルの量子化をサポートし、より高い効率性を実現します。

MindStudio モデル圧縮ツールの概要

msModelSlim（MindStudioモデル圧縮ツール）は、Ascendの技術を活用した高速化を目的に設計されたアフィニティ圧縮ツールです。低ランクモデル分解、スパース学習、学習後の量子化、量子化を考慮した学習といった機能を備え、学習と推論の高速化をサポートします。Ascend AIモデル開発者は、Python APIインターフェースを柔軟に呼び出してモデルのパフォーマンスを最適化し、Ascend AIプロセッサで実行できるように様々な形式でモデルをエクスポートできます。

現在、msModelSlim は、モデル蒸留、大規模モデルの量子化、大規模モデルのスパース量子化、重み圧縮、トレーニング後の量子化など、開発者の多様なニーズを満たすさまざまなモデル圧縮ソリューションを提供しています。

DeepSeek シリーズ モデルの場合、msModelSlim は W8A8 と W8A16 をサポートする量子化ソリューションを提供しており、さまざまな顧客のニーズを満たすために W4A16 と W4A8 の量子化アルゴリズムも開発しています。

一方、DeepSeek-V3/R1 の W8A8 動的量子化方式は、一般的に次の 3 つのステップに分かれています。

1. 外れ値抑制調整：一貫性量子化プロセス中に外れ値に対処することで、後続の量子化を最適化できます。バージョンV3/R1では、SmoothQuant最適化アルゴリズムが使用されます。

2. 量子化パラメータの選択：過去の経験に基づいて、指定されたレイヤーバックオフを選択します（つまり、精度に敏感なレイヤーには浮動小数点計算を使用します）。アクティベーション値の量子化には最小最大方式を選択します。ハイブリッド量子化方式を採用します（つまり、MoEレイヤーにはW8A8ダイナミック量子化を使用し、MLAレイヤーにはW8A8量子化を使用します）。

3. キャリブレーション セットの調整: ビジネス キャリブレーション セットを更新することで、ラベルフリー量子化を実行します。

定量化のプロセスは次のとおりです。

msModelSlim モデル圧縮ツールの量子化圧縮機能に基づいて、インターネット、通信、金融セクターを含む 20 社を超える業界顧客が、本格的な DeepSeek-V3/R1 量子化モデルをローカルに導入し、リリースしました。

結論

ディープラーニングモデルがますます大規模かつ複雑化するにつれ、その知識をより小型で軽量なモデルに効率的に移行することが、AI技術を実用化へと移行するための重要な道筋となっています。msModelSlimは、量子化圧縮やスパース圧縮を含む様々なモデル圧縮アルゴリズムをサポートし、開発者により柔軟で効率的なモデル圧縮および量子化ソリューションを提供します。精度を確保しながら、推論速度の高速化とリソース消費の削減を実現し、企業の迅速な導入を支援し、AI技術の普及と実装を強力にサポートします。