近年来，人工智能技术的发展带来了新需求、新进展，同时也带来了新变化、新问题。加强网络安全体制建设，建立人工智能安全监管制度，是人工智能时代的持久命题。

今年8月，韩国曝出群体性的深度伪造（Deepfake）淫秽内容犯罪事件，受害者涉及500多所学校的女学生，再次敲响了人工智能新技术安全风险的警钟。

随着大模型技术应用于各个行业，生成技术开始呈现工具化和普及化趋势，普通人也可以很容易接触到各种生成工具。反思整个事件，有几个层面的风险值得广大公众关注，避免让自己成为受害者和违法者。

生成工具获取门槛越来越低，每个人都可能成为伪造信息生产者

韩国Deepfake事件中，每个聊天室都提供人工智能合成软件，付费后上传一张女生照片，就可以在5秒内生成她的裸体合成照。同时，国际上公开的代码分享平台如github、huggingface上有很多开源的Deepfake算法，经过简单的封装就可使用，并形成教程，在各个私域群里传播。

如果生成工具获取的门槛这么低，普通人出于无知、好奇、个人恩怨，或者非法牟利的目的，很容易成为滥用生成技术的违法者。我们的安全如何得以保证？

事实上，目前，从日常利用大模型生成论文和申请书等学术不当行为，到利用人工智能换脸明星进行直播带货等侵权行为，再到伪造熟人和领导诈骗情报、钱财的违法犯罪行为，已经呈现快速增长趋势。

伪造信息传播隐秘，传播平台匿名政策助推群体性犯罪

韩国Deepfake事件中伪造的淫秽内容主要在社交平台telegram上传播。该平台的特点是支持匿名注册（可隐藏姓名、手机号以及IP地址），端到端加密发送消息，而且支持阅后即焚功能。据调查，截至目前，韩国几乎每所学校都有一个类似功能的聊天室，参与的男学生人数达到250万。

正是这种传播平台的匿名政策，助长了不法分子利用此类平台进行诈骗和犯罪的侥幸心理，而且由于身份隐藏，事后警方很难查案。

伪造技术快速发展，逼真程度肉眼已无法识别

今年2月，一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，被骗转款2亿港元。视频会议中只有受害人是“真人”，其他“参会人员”都是经过人工智能换脸后的诈骗人员。

报道一出来，很多人觉得不可置信。大家普遍认为实时视频通信中，人员一直在互动，不可能伪造得那么逼真。在大众的认知里，接受了“文本和图片容易造假，但视频相对可信，实时视频通信就更可信”的观点。

而目前的技术发展现状是，只要在互联网上收集一张人脸照片，就可以实现人工智能换脸；收集5至10张不同角度的人脸照片，就可以训练人物模型，实现实时人工智能换脸，用诈骗人员替换真人进行视频通信。一旦获取10至20秒的含人脸音视频，就可以训练该人物的高逼真数字人，进而模拟和生成他的言行举止。实时换脸技术已经能达到肉眼不可分辨的逼真程度。

但是，大家也不用恐慌，国内在伪造检测技术方面发展很快。我国面向个人的鉴伪服务起步也很早，已有相关互联网应用服务于用户。

人工智能技术迭代发展速度非常快，网民的认知要与人工智能技术的发展现状同步，具备人工智能安全意识、用好人工智能鉴伪工具，才能避免自己成为新技术的受害者。

大模型规模化应用时代鉴伪技术面临的挑战

虽然目前鉴伪技术和工具都已具备，但面对大模型应用的普及和规模化，伪造与鉴伪检测的持续对抗仍在升级。未来在全面执法过程中我们将面临3项实战挑战。

首先，大模型生成技术迭代更新很快，平均两个月就会出现新的重要版本。提升针对新出现伪造方法的泛化能力至关重要，需要构建人工智能鉴伪底座模型，以大模型对抗大模型。

其次，对于诈骗等强对抗、高风险犯罪，造假者会通过压缩等各种手段逃避检测，因此算法需要在施加对抗意图和手段的条件下仍能完成高精度检测。

最后，生成式人工智能作为新质生产力的代表，未来会出现大量正向生成应用。但从技术层面来说，正向应用和违法犯罪的算法是类似的。所以降低对艺术创作、智能服务等正向生成应用的影响，在大量无害生成中精准识别出有害伪造，才能兼顾新技术的安全与发展。

对于生成式人工智能，期待国家层面出台高效的安全管理政策，技术团队研发最先进的人工智能安全技术，普通百姓提高对人工智能安全的认知，一起为我国人工智能事业发展贡献力量，用高水平安全保障高质量发展。

（作者系人工智能研究专家）