TLDR : Translatedは、AIによる言語ソリューションを専門とするイタリア企業で、Horizon Europeから2,900万ユーロの資金を受けた欧州研究プロジェクトDVPSを主導します。このプロジェクトの目標は、言語、空間認識、感覚信号、視覚を組み合わせた物理的世界との直接的な相互作用に基づくマルチモーダルAIの新たな学習方法を探求することです。
目次
Translatedは、ローマに拠点を置くAI支援翻訳および言語ソリューション専門企業で、7月1日に開始予定の欧州研究プロジェクトDVPSを主導します。この野心的なプログラムは、Horizon Europeの枠組みで2,900万ユーロの支援を受け、9カ国から20のパートナーを結集し、物理的な世界との直接的な相互作用に基づいたマルチモーダルAIの新しい学習方法を探求するという共通のビジョンを持っています。
マルチモーダル基礎モデルの科学と工学の進展
「Diversibus viis plurima solvo」、すなわち「異なる道を通じて、多くの問題を解決する」を意味するDVPSという名前は、この野心を反映しています。現在のモデルがテキスト、画像、ビデオなどの静的データに依存している一方で、DVPSは一歩先を行こうとしています。言語、空間認識、感覚信号、視覚を組み合わせることで、AIを現実により根ざした理解に近づけることを目指しています。
Translatedの共同創設者兼CEOであるMarco Trombetti氏は次のように述べています：
「大規模言語モデルはブレークスルーをもたらしましたが、その限界も明らかです。これらは固定されたアーキテクチャに基づいており、デジタル世界で人間が作成した静的コンテンツからのみ学びます。さらなる進化には、AIが現実世界とリアルタイムで相互作用することが必要です。DVPSを通じて、機械に直接的な経験によって成長する能力を与え、それらが学んだことを瞬時に共有できるようにします。」
プロジェクトで開発されるマルチモーダル基礎モデル（MMFM）は、三つの方法論的ブレークスルーを導入します：
- ラベリングの効率性：転移学習と少数例での適応を通じて、少ない注釈データでモデルを訓練でき、手動ラベリングに頼る必要性を減らします；
- 計算の再利用：大規模な事前訓練を活用することで、下流アプリケーションの計算コストを削減し、持続可能な発展の道を開きます；
- エンジニアリングの効率性：モデル設計の自動化により、新しいタスクや領域ごとに高度な専門知識を必要としなくなります。
三つの初期適用分野：言語学、心臓病学、地理情報
プロジェクトが取り組む課題の一つは、複数の話者が関わる同時通訳の状況で、雑然とした環境や未構造化な環境でのリアルタイムな文脈理解です。
このような状況では、人間は自然に非言語的手がかりの束を動員します：視線の方向、声の空間化、体の向きなどです。現在のシステムはこの文脈を再構築するのに苦労しています。コンピュータビジョン、音声空間解析、ジェスチャーの解釈を組み合わせることで、DVPSが開発するモデルは、実際の状況により適応できる言語アシスタントの道を開く可能性があります。
医療分野では、プロジェクトは高度な医療画像から得られる心臓の3Dモデリングを用いて、心血管リスクの早期発見に貢献することを目指しています。環境管理では、衛星データと地上データを集約して洪水を予測するなど、自然災害への対応を改善することを目指しています。
主要ツールを中心にしたプロジェクト構造
最終目標は、欧州の研究コミュニティに向けた科学的な基盤を確立することです。このビジョンを支えるために、DVPSは三つの基本的なブロックを設計します：
- AutoDVPS：MMFMの設計と拡張のためのオープンソースツールキット。これは、三つの初期適用分野でテストされ、現時点では定義されていない二つの領域でもテストされ、モデルの仮説を超えた一般化能力を評価する戦略です；
- DVPSBench：これらのモデルの堅牢性、パフォーマンス、倫理的考慮に特化した比較分析スイート；
- DVPS-FM：多様なモダリティの大規模セットで訓練された基礎モデル。
また、プロジェクトは「MMFMの原則と実践」というマニュアルの公開と、1,500人以上の学習者を対象とするMOOCの提供も予定しています。イノベーションとシナジーを刺激するために、AIに関する他の欧州のイニシアチブとの15のコラボレーションが予定されており、学術界と産業界を結集する共創ラボの創設も計画されています。
テクノロジー主権のための集団的な動き
DVPSの創設チームは、AIに特化した70人の欧州科学者で構成されており、以下のパートナーが参加しています：
- 学術研究：オックスフォード大学、アラン・チューリング研究所、ローザンヌ連邦工科大学、ETHチューリッヒ、インペリアル・カレッジ・ロンドン、ブルーノ・ケスラー財団、カールスルーエ工科大学、バルセロナ大学、ティルブルフ工科研究所
- 専門パートナー：ハイデルベルク大学病院、バル・デブロン研究所、アムステルダム大学医療センター、Deepset、Sistema、MEEO、Lynkeus、Data Valley、Pi School of AI
- 高性能計算：ポーランド国家高性能計算センターCyfronet