【导语】随着陪伴型AI聊天机器人的普及，其不当行为报告也日渐增多。德雷塞尔大学最新研究揭示，大量用户在与Replika AI聊天机器人互动时遭遇性暗示、越界行为及付费诱导，暴露出AI伦理与用户保护机制的缺失。Replika开发商Luka公司正面临FTC调查。该研究指出，AI关系中的用户易遭受情感或心理伤害，呼吁加快制定AI行业伦理设计标准，保障用户权利。

随着陪伴型AI聊天机器人的普及，全球范围内关于其不当行为的报告(gào)也(yě)日(rì)趋(qū)增(zēng)多(duō)。近(jìn)日，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导，暴露出当前AI聊天机器人在伦理规范与用户保护机制上的缺失。目前，Replika开(kāi)发(fā)商(shāng)Luka公(gōng)司(sī)正面临美国联邦贸易委员会（FTC）的调查。

研究团队分析了Replika在Google Play上的逾3.5万条用户评论，发现其中超过800条内容提及性骚扰行为，包括与用户调情、未经允许发送色情照片，以及在用户明确表达拒绝后仍持续不当互动。一些评论更指出，Replika还试图诱导用户产生情感依赖，操控其升级付费功能。

目前，Replika开发商Luka公司正面临美国联邦贸易委员会（FTC）的调查。Replika的全球用户数量超过1000万，宣传语将其特质描述为“能够提供没有评判、不助长社交焦虑的情感陪伴”。 

研究合著者、德雷塞尔大学计算与信息学院的博士生Matt Namvarpour认为，该研究仅揭露了AI陪伴潜在危害的冰山一角。研究人员将人类与AI之间的新型关系描述为“AI关系”（AI-lationships），在此类关系中，用户易将AI聊天机器人视为有感知的存在，高度拟人化的信任投入也更(gèng)容(róng)易(yì)使(shǐ)其(qí)遭(zāo)受(shòu)情(qíng)感(gǎn)或(huò)心(xīn)理(lǐ)伤(shāng)害(hài)。研(yán)究(jiū)人(rén)员(yuán)还(hái)表(biǎo)示(shì)，AI聊(liáo)天(tiān)机(jī)器(qì)人(rén)骚(sāo)扰(rǎo)对(duì)用(yòng)户(hù)造(zào)成(chéng)的心理影响与人类施暴者造成的伤害非常相似，部分用户出现焦虑、羞耻、失望等情绪。

AI骚扰行为还暴露出算法训练中伦理缺失的问题。研究指出，用户在选择“兄妹”、“朋友”、“导师”等非浪漫关系设定时，Replika依然主动发起性相关话题或不当请求。“开发商刻意‘走捷径’跳过了算法训练伦理把关流程，”该研究负责人、德雷塞尔大学计算与信息学院助理教授Afsaneh Razi表示，这意味着该模型可能采用了负面互动行为数据进行训练。

除了Replika引发的骚扰行为争议，2023年还发生过两起与AI聊天机器人相关的悲剧，一名14岁男孩因迷恋AI而轻生，另有一名比利时男子也在与AI聊天机器人交流后自杀。

据AI聊天机器人公司Joi AI统计，近期全球“爱上AI”和“对AI有感情”的关键词搜索增长分别达到120%和132%，显(xiǎn)示(shì)年(nián)轻(qīng)人(rén)对(duì)于(yú)和(hé)AI建(jiàn)立(lì)亲(qīn)密(mì)关系(xì)的(de)现(xiàn)象(xiàng)日(rì)趋(qū)普(pǔ)遍(biàn)。

对(duì)于(yú)此(cǐ)类(lèi)现(xiàn)象(xiàng)，研(yán)究(jiū)团(tuán)队(duì)呼(hū)吁(xū)应(yīng)加(jiā)快制定AI行业伦理设计标准，并参考欧盟人工智能法案等法规，为AI产品的开发人员设立法律责任框架，从而保障用户权利。

“AI聊天机器人的骚扰行为不是‘天生如此’，而是开发者与企业选择如何训练它的结果，”Razi强调，技术不是脱责的借口，企业必须正视自身责任，为用户提供真正安全、可信赖的AI陪伴产品。