一条“东鹏特饮创始人不喝自家饮料”的谣言,再次将“滥用AI伪造内容”的话题推到公众面前——AI视频“移花接木”,让东鹏特饮创始人在“私人饭局现场”拒绝饮用自家产品,并说“我平时不喝这个”,引起舆论风波。

图片来源:东鹏饮料集团官方声明。
经公安机关溯源调查,罗某某为博取关注、引流牟利,借助AI工具编造虚假信息并散布谣言,相关虚假内容广泛传播,对企业造成恶劣影响,目前已被公安机关依法刑事拘留。
这并不是孤例。近段时间,从AI生成企业家言论截图,到短视频平台上滥用AI“魔改”经典影视形象,再到AI盗用人脸形象、仿冒聊天记录、伪造转账凭证等,AI生成工具的滥用正在不断冲击网络传播秩序。
过去,“有图有真相”是很多人判断信息真实性的重要经验。但在AIGC能力快速跃升的今天,一张截图、一段视频、一张看似真实的照片,可能都要认真地追根溯源了。
“有图有真相”正在失效
2025年9月1日起,《人工智能生成合成内容标识办法》(以下简称《标识办法》)正式施行,明确要求文本、图片、音频、视频、虚拟场景等人工智能生成合成内容需要进行标识说明。近期,围绕规范AI服务和应用的相关制度也持续加码。
今年4月,中央网信办在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动,聚焦大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、AI技术生成“数字泔水”、制作发布虚假信息、假冒仿冒他人等热点问题,整治AI应用服务典型违规问题和AI信息内容乱象。

监管趋严,指向的是AI生成能力快速提升后带来的现实风险。利用GPT-image-2等最新生图模型,创作者能够批量产出电商详情图、宣传海报等内容;但同样的能力,也可能被用于生成仿冒聊天记录、转账凭证、企业家言论截图等虚假内容。

“‘有图有真相’曾是公众判断信息真实性的重要经验,但如今,传播任何看似真实的截图、照片或短视频前,都应该有意识‘多停三秒钟’辨别真伪,网络信息生态中的默认信任正在受到冲击。”知名博主“数字生命卡兹克”向记者表示。
近期“东鹏特饮创始人不喝自家饮料”的谣言,正是一个典型案例。AI工具降低了造假门槛,社交平台放大了传播速度,涉及企业声誉和消费信任的内容又容易触发舆论情绪。最终,一条虚假信息从网络流量走向现实损害,最终被依法追责。
AI内容治理,
不能只靠“看出来”
面对越来越逼真的AI生成内容,靠肉眼识别已经远远不够。
“当前AI造假与溯源技术呈现‘主动防御在前,被动检测在后’的协同态势。”中国信通院政策与经济研究所副所长李强治向记者表示,没有任何单一技术是绝对可靠的,最有效的方案是将多种技术融合,构建分层、多维度的纵深防御体系。

李强治表示,目前主要有三种技术方案。一是主动标识,通过元数据记录、数字水印等技术添加隐性标识,实现生成来源和流转路径的可追溯。二是被动鉴别,利用基于GAN上采样伪影的频谱检测、模型指纹提取、多模态鉴别等技术,检测内容中的人脸一致性、生物信号等伪造痕迹。三是链式存证,通过将生成时间、提示词、参数轨迹等元数据上链或嵌入加密签名,构建不可篡改的来源链条。
“针对AI生成内容治理,国家正在形成软硬兼具、层次分明的治理框架,分阶段、分层级地将内容溯源能力纳入强制合规义务。”李强治进一步表示,考虑到当前内容溯源技术发展情况,相关规定也提出了部分鼓励性、非强制性要求。例如,《标识办法》鼓励而非强制采用数字水印技术。
这意味着,AI生成内容治理正在从单点监管走向全链条治理。平台和服务提供者不能再仅仅依靠“事后删帖”“封号”应对AI风险,而要在内容生成、发布、传播、核验、处置等环节承担更明确的责任。
李强治认为,国家已构建起“1+1+N”标识制度体系,分阶段、分层级将内容溯源能力纳入强制合规义务。例如,服务提供者应对深度合成内容履行隐式标识义务;内容传播平台应核验文件元数据中的隐式标识,对缺失或不合规的标识进行补充,并对疑似生成合成内容添加显著提示。
从公共舆情到电商交易,
平台治理正在前置
AI滥用带来的风险,不只发生在公共舆论场,也正在进入电商交易场景。在短视频、直播、广告投放等环节,一些违规账号利用AI合成或模仿他人肖像、声音进行商品推广,或截取达人视频、直播片段拼贴商品信息,制造“达人同款”“本人直播间卖过”等误导性表达,容易让消费者误以为相关商品获得本人推荐。
针对这类问题,抖音电商近日上线“肖像保护功能”。带货达人可提交姓名、肖像等保护信息,并维护授权账号和店铺名单;平台则通过模型识别、授权核验、阻断相似内容传播等方式,主动识别并拦截AI仿冒、盗用素材等交易类侵权内容。根据抖音电商数据,截至今年6月,该功能已累计保护180余位头部达人,主动拦截侵权账号9.2万个、商品18万件、侵权内容26万条。
AI工具既能帮助商家和达人降本增效,也可能被用于虚假宣传、侵权仿冒和误导消费。治理的关键不是否定AI,而是划清合规使用与滥用侵权的边界。平台需要主动扛起责任,推动AI治理从“发现问题后处置”走向“事前识别、主动拦截、协同治理”。
让AI“亮明身份”,
也要重建数字信任
除了图片、视频、音频等生成内容,AI数字人、AI陪伴、AI角色等拟人化互动服务也进入规范发展阶段。
国家网信办、工业和信息化部等五部门联合发布《人工智能拟人化互动服务管理暂行办法》,将于2026年7月15日起施行,重点规范模拟自然人人格特征、思维模式和沟通风格的持续性情感互动服务,特别强调未成年人保护、数据安全和风险防范。
此外,相关管理办法提出对数字虚拟人服务实行全流程管理,要求不得未经特定自然人同意,提供足以识别其身份的数字虚拟人服务。
值得关注的是,加强监管并不是为技术创新设置障碍,而是在技术快速扩散阶段为行业明确边界;不是让公众远离AI,而是让AI生成内容可识别、可追溯、可问责。
李强治表示,我国人工智能治理体现出“场景化、小切口”的敏捷治理思路,针对AI情感依赖、AI换脸诈骗、数字虚拟人侵权等具体风险出台针对性规定。同时,监管正从“事后追责”转向“事前预防、事中监管、事后处置”相结合,并逐步形成“伦理+法律+标准”的立体治理体系。
不过,当前技术治理仍有边界。
“数字生命卡兹克”认为,公众对图片真实性的判断成本正在显著上升,“公众信任正在从内容本身,转向信息源头的人或者机构”。他提醒,水印、C2PA、像素级隐性水印等方案有助于提升内容透明度,但并不能单独解决所有问题。“本内容由AI生成”的标识可以帮助判断内容来源,却不必然意味着内容真实。
李强治表示,未来需要继续强化“以技治技”的底层能力,推动标识、溯源、检测、存证等技术协同演进;压实平台主体责任,对涉企舆情、金融交易、医疗健康、未成年人、电商交易等高风险场景提高审核等级。对于风险未知但前景广阔的前沿AI应用,如高水平自主智能体,应加快创新监管沙盒与动态评估机制。
“此外,要像普及反诈知识一样,普及‘AI幻觉’‘深度伪造’等概念,提升公众对数字内容的批判性思维和鉴别能力。”李强治补充说。
当AI能够轻易制造“看起来像真的”的内容,“有图有真相”就必须升级为“有标识、有溯源、有责任”。只有技术创新、制度约束、平台治理和公众参与形成合力,AI工具才能在可信、可控、可持续的轨道上更好服务经济社会发展。
(文章来源:人民邮电报)
