在人工智能领域，“bandits”指的是多臂老虎机（multi-armed bandit）问题，这是一个用于不确定环境下序贯决策的数学框架。其目标是在每一步从多个选项（“臂”）中选择一个，以最大化累计奖励，但每个臂的奖励分布未知。核心挑战在于平衡探索（尝试新臂以获取信息）与利用（选择看似回报最高的臂）。与传统强化学习不同，bandit模型没有状态与状态转移，结构更为简单，适用于仅需当前选择的场景。
应用场景与使用案例
bandit模型广泛应用于自适应内容优化（动态A/B测试）、在线推荐系统、广告动态投放、金融投资组合管理和传感器网络优化。例如，在电商领域，bandit系统可以根据用户行为实时调整展示的促销内容，提高转化率。
主要软件工具、库与框架
常用的bandit算法实现库包括Vowpal Wabbit、scikit-learn（基础模型）、MABWiser、BanditPylib和PyBandits。此外，Microsoft Azure Personalizer等平台也提供了适用于上下文bandit的解决方案。
最新进展与趋势
当前研究多聚焦于利用更多上下文信息的上下文bandit、对抗性bandit及其与深度强化学习的结合。工业应用不断扩展，特别是在实时个性化与广告自动化投放等领域，算法公平性与非平稳环境下的鲁棒性也日益受到重视。