OpenAI团队认为,人工智能安全研究需要社会科学家
OpenAI是一家非营利性人工智能研究公司,昨天发表了一篇论文,认为长期人工智能安全研究需要社会科学家确保AI对齐算法在实际人类参与时取得成功。 AI alignment是指确保AI系统可靠地执行人类希望他们执行的操作的任务。 OpenAI团队表示,“由于我们试图按照人们的价值观行事,最重要的数据将来自人类关于其价值观的数据”。
然而,为了使先进的人工智能系统与人类价值观正确对齐,必须解决许多与人类理性,情感和偏见心理相关的不确定性。研究人员认为,这些可以通过实验来解决,他们通过实验来训练人工智能,通过研究人类来(可靠地)做人类希望他们做的事情。这将涉及向人们询问他们对AI的需求,然后根据这些数据训练机器学习模型。一旦对模型进行了训练,就可以根据这些模型优化它们以使其表现良好。
但是,事情并非那么简单。这是因为在回答与其价值相关的问题时,不能完全依赖人类。 OpenAI团队表示,“人类的知识和推理能力有限,并且表现出各种认知偏见和道德信仰,这些信念在反思中变得不一致”。研究人员认为,提出问题的不同方式可能与人类偏见的方式不同,而人类的偏见反过来会产生低质量或高质量的答案。
为了进一步解决这个问题,研究人员已经提出了实验辩论,只包括人类代替ML代理人。现在,虽然这些实验将由ML算法推动,但它们不涉及任何ML系统或需要任何类型的ML背景。
“我们的目标是ML + ML +人类辩论,但ML目前太原始,无法完成许多有趣的任务。因此,我们建议用人类辩论者取代ML辩论者,学习如何在这种仅限人类的环境中进行最佳辩论,并最终将我们学到的东西运用到ML + ML +人类案例中“,阅读论文。
现在,由于所有这些人类争论都不需要任何机器学习,它变成了一个纯粹的社会科学实验,它受到ML考虑因素的驱动,但不需要ML专业知识来运行。反过来,这确保了核心重点是人类特定的AI对齐不确定性的组成部分。
研究人员指出,大部分人工智能安全研究人员都专注于机器学习,尽管它不一定是进行这些实验的充分背景。这就是为什么需要具有人类认知,行为和道德经验的社会科学家来仔细设计和实施这些严格的实验。
这篇论文呼吁人工智能安全社会科学家。研究人员表示,我们相信社会科学家和ML研究人员之间的密切合作对于提高我们对人工智能调整的人性化方面的理解是必要的,并希望这篇论文能够引发对话与合作。
有关更多信息,请查看官方研究报告。
- 人工智能给女性求职者打低分,亚马逊解散研究团队
- 从OpenAI中看马斯克开放人工智能研究的野心(来自连线杂志)
- 微软缘何“.NET研究”认为VB与C#需要异步语法
- 测试同样需要注重安全测试
- 企业需要安全人,看微软对员工的十个安全原则
- 小食品安全监管需要加强
- Android漏洞分析及安全体系研究(ISC安全训练营)
- 你需要知道的六个安全问题
- 2010 ISAI年信息安全与人工智能国际会议(Ei,ISTP双检索)
- 悬镜安全丨使用第三方库进行软件开发的安全风险研究
- 您需要知道的10件与DNS安全有关的事情
- 最新机器视觉研究团队汇总
- 关于研究纯净水安全监控问题
- 人工智能研究分析、方法、范畴及应用
- 神都会犯错,程序员也需要信息安全意识
- 开发团队需要等级制度吗?
- 【◎windows服务器 八个需要注意的安全维护问题◎】
- Android安全输入设计与思考,android设计思考 为什么使用安全键盘? 安全的输入 各大公司的安全键盘设计 开始自定义安全键盘 安全键盘还需要注意的
- IIS7.5安全配置研究