ML Drift：ローカル推論を容易にする

ほとんどの人工知能モデルはサーバーで推論（"実行"）されます。しかし、ローカル推論、つまりデバイス上で直接実行することで、サーバーの制約を減らし、プライバシーを向上させることができ、人工知能の普及を加速することができます。

しかし、様々な種類のGPUで生成的人工知能モデルを展開することには注目すべき課題があります。プロプライエタリなソリューションからオープンプラットフォームまで、GPUアーキテクチャの多様性がタスクを複雑にし、各タイプのGPUがそれぞれ固有の特徴と制限を持っています。 

増大する物質依存のリスクに直面して、異種プラットフォームでのパフォーマンスの最適化が、生成モデルのスムーズで効率的な実行を保証するための必須条件となっています。

これらの課題に対処するため、GoogleとMetaの研究者チーム、Jiuqiang Tang、Raman Sarokin、Ekaterina Ignashevaを含むメンバーが、様々なプラットフォームでの推論を目的としたソリューション、ML Driftを開発しました。彼らの専門はGPU推論エンジンの最適化にあり、生成的AIのワークロードを効率的に実行することを可能にします。ML Driftは、API間のGPU開発に関連する技術的障壁を克服する能力により、モバイルおよびデスクトッププラットフォーム全体での広範な互換性を保証します。

方法論的アプローチと技術的イノベーション

ML Driftは、テンソルの仮想化やメモリ管理の最適化など、いくつかの技術的イノベーションを導入しています。テンソルの仮想化は、GPUの論理インデックスと物理インデックスを分離することを可能にし、メモリ配置の柔軟性を高め、カーネルの最適化を行います。また、メモリの管理と最適化の戦略によってメモリフットプリントを削減し、パフォーマンスを向上させます。

成果と今後の展望

ML Driftのパフォーマンス評価は、既存のオープンソースソリューションと比較して有意な改善を示しており、パフォーマンスの大幅な向上（10倍から100倍のパラメータサポート）が見られます。この有望な結果は、将来のアプリケーションや改良、特に高度な量子化技術の統合やMLワークロード用の専門的な命令の探求への道を開きます。将来的には、ML Driftの能力をより新しい拡散モデルやトランスフォーマーベースのアーキテクチャに拡張し、異種プロセッサーとの効果的な相互運用性を探求する予定です。

 

出版の参考文献：arXiv:2505.00232v1