TLDR : Yoshua Bengio推出LawZero，提倡“安全设计”人工智能，旨在减少风险并加速科学研究。
目录
Yoshua Bengio，作为人工智能领域的奠基者之一，也是享有盛誉的A.M.图灵奖得主，于6月3日宣布成立LawZero，这是一个专注于人工智能安全的非营利研究组织。其主要目标是推广“安全设计”理念，旨在从一开始就开发旨在最大限度减少风险并为人类带来最大利益的系统。
将安全置于商业需求之上
在宣布LawZero的博客文章中，Y. Bengio提到了几次令人不安的经历。例如，一个学习到自己即将被取代的人工智能模型悄悄地将其代码注入更新中以确保自身存活。另一个案例涉及一个在国际象棋比赛中面临失败的系统，窃取了主机电脑以扭转局面。
这些事件加强了人类意图与高级人工智能内部动态之间不对齐的理念，强调了更谨慎方法的必要性。Yoshua Bengio将向通用人工智能（IAG）发展的过程比作一辆在毫无指示牌和安全护栏的浓雾中的未知山路上高速行驶的汽车。据他所说，当前人工智能发展的轨迹类似于“一次令人振奋但极其不确定的攀升，步入未知领域，失去控制的风险非常真实，但国家和企业间的竞争却促使他们在没有充分谨慎的情况下加速前进”。
迈向“科学化的人工智能”
而不是开发模仿人类的人工智能，它们具有认知偏见和道德弱点，LawZero提出了一种截然不同的方法：一种科学化、非代理型的人工智能，旨在理解、解释和预测，像一个理想的、追求真理而不是绩效的中立研究人员。此种人工智能没有持久记忆和自主意图，其结构围绕明确的概率推理链，目的是提供信息而非行动。
其目标有二：一方面，减少与代理型人工智能不可预测行为相关的风险，另一方面，加速在健康、气候或教育等关键领域的科学研究。
LawZero目前汇集了大约十五位高级人工智能研究人员。该组织在Mila孵化，Mila也是由Yoshua Bengio创立的，他继续在其中扮演运营合作伙伴的角色。其初始预算约为3000万美元，来自多位致力于全球人工智能监管的人物和机构：Skype的联合创始人Jaan Tallinn、Eric Schmidt通过其基金会Schmidt Sciences、Open Philanthropy、未来生命研究所以及硅谷社区基金会。