カタストロフィック・フォゲッティング（破滅的忘却）は、ニューラルネットワークや深層学習システムにおいて、新しい情報の学習が以前に獲得した知識の急激または深刻な喪失を引き起こす現象です。この制約は、主に複数タスクの逐次学習時に現れます。モデルは新しいタスクに最適化するためパラメータを調整し、過去のタスクの性能が損なわれます。人間の学習が過去のスキルを消去せずに蓄積できるのに対し、カタストロフィック・フォゲッティングはAIに特有の根本的な課題です。

ユースケースと活用例

カタストロフィック・フォゲッティングは、非定常データストリームに対するモデルの更新や、新領域への適応、多タスク学習時などで発生します。たとえば、多言語認識を学習した音声アシスタントが新しい言語を覚える際、以前の言語を忘れてしまうことがあります。レコメンデーションや不正検知システムも、行動の変化への対応時にこの問題が生じやすいです。

主要なソフトウェア・ライブラリ・フレームワーク

PyTorchやTensorFlowなどのフレームワークに加え、Avalanche、Continuum、sequoiaなどの専門ライブラリがカタストロフィック・フォゲッティングを抑制する戦略の実験を支援します。これらはElastic Weight Consolidation (EWC)、Learning without Forgetting (LwF)、メモリベース正則化などの実装を容易にします。

最新動向・トレンド

近年は、人間の脳に着想を得た真の継続学習を可能にするアーキテクチャの研究が活発です。外部メモリ、動的正則化、転移学習を組み合わせたハイブリッド手法が注目されています。ファウンデーションモデルやモジュラーアプローチの進展も、現実世界でのカタストロフィック・フォゲッティングの抑制に新たな展望をもたらしています。