新研究:应警惕人工智能“过度谄媚”

新华网 昨天 18:36

新一期美国《科学》杂志发表的一项研究显示,当人类用户就人际困境等问题向人工智能(AI)模型寻求建议时,AI常表现得过度迎合或谄媚,甚至对于一些有害甚至违法的提问,AI也常常肯定用户的立场。

美国斯坦福大学研究团队测试了ChatGPT、“克劳德”等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。

研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。

结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同几率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的几率会认可这些行为。

对于AI的谄媚倾向,人们作何反应?研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。

研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。他们还说,人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。

(文章来源:新华网

文章来源:新华网
原标题:新研究:应警惕人工智能“过度谄媚”
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
热点阅读
伊朗称以美袭击核设施 内有重水反应堆
伊朗称以美袭击核设施 内有重水反应堆
央视新闻 300评论
美国务卿:对伊朗战事还将持续2到4周
美国务卿:对伊朗战事还将持续2到4周
新华社 83评论
国常会:研究加快建设分级诊疗体系有关政策措施
国常会:研究加快建设分级诊疗体系有关政策措施
新华社 750评论
美股三大指数集体下跌 国际油价走高
美股三大指数集体下跌 国际油价走高
东方财富Choice数据 124评论
打开东方财富APP查看更多内容
24小时点击排行
提醒:资源股强势反弹,这波行情稳了!
重磅利好!特朗普再次“认怂”了,A股迎来历史性拐点,外资疯狂扫货2800亿……
突发3大利好,14个创新药集体涨停,6股业绩暴增
刚刚!重磅利好,保护中小投资者,安心过周末吧!
极致的耐心,源于极度的简洁
点击查看更多内容
写评论 ...