信息瓶颈（information bottleneck）概念源自信息论，并应用于机器学习领域。其核心目标是通过对输入变量进行紧凑表示，最大程度保留对输出变量预测有用的信息，同时舍弃无关细节。这种方法不同于传统的数据压缩或特征提取，其重点在于信息对目标任务的相关性。
应用场景与使用示例
信息瓶颈范式常用于深度学习模型（特别是深度神经网络）的设计与分析，有助于解释泛化能力和鲁棒性。此外，它也应用于数据压缩、降维以及聚类算法中。例如，在自然语言处理任务中，信息瓶颈有助于在向量表示中过滤无关信息。
主要软件工具、库和框架
实现信息瓶颈的主要工具包括 TensorFlow（配合 tensorflow-compression 库）、PyTorch（含有 IB 的开源实现），以及 Information Bottleneck Toolbox 等专用库或信息论相关的 Python 模块。
最新进展与趋势
当前研究关注于信息瓶颈在不同架构（如 transformer、卷积网络）中的应用，以及通过优化训练提升对噪声和对抗攻击的鲁棒性。诸如 变分信息瓶颈（VIB）等方法为深度模型提供了可微分的实现途径。IB 框架也被用于解释大规模基础模型的涌现行为，并指导高效网络设计。