AI与恶的距离

文 | 刺猬公社，作者 | 世昕，编辑   | 陈梅希

" 我被人用 AI 做的私密裸照威胁了，我该怎么办？"

2023 年 10 月 16 日，小红书博主 "tinky 是只喵 " 发布帖子称，自己受到了 AI 裸照的威胁。

从邮件内容可以看到，一位自称裸体绘画艺术家的外国人声称自己受到委托，按要求制作博主的裸体图片。但委托人最终并没有支付费用，所以他决定向博主索要 500 USDT（一种与美元挂钩的加密货币，500 USDT 约合人民币 3500 元），否则自己将会把带有博主形象的裸照进行公开售卖，并且根据博主的社交账号内容继续制作裸照。

" 我看了那些照片，不知情的人真的会以为是我。" 在评论区里，"tinky 是只喵 " 忧心忡忡地表示。

这并不是孤例，打开各大社交网站进行搜索，类似的求助帖非常多，勒索者主要面向年轻男女，利用 AI 合成的色情图片进行敲诈勒索，俨然成为一种新型电诈方式。令人难以接受的是，在极易泄露个人形象的今天，即使你什么都没有做，都可能因为 AI 图片受到威胁。

不仅是敲诈，利用 AI 产出色情内容、AI 电信诈骗、AI 侵权等情况更是屡见不鲜。

技术本身没有善恶，但使用技术的人有。当我们为 AI 技术发展带来的便利欢呼时，一个不得不面对的事实是，新技术出现后，往往也会被应用于各种灰色地带。从色情产业到 Deepfake 诈骗，在互联网的幽暗角落里，AI 滋生的阴影正在不断扩大。

AI，游走于灰色地带  

当 ChatGPT 以黑马之姿闯入人类互联网世界时，我们或许就应该意识到，生成式 AI 会不可避免地产生滑向灰色地带的风险。毕竟他们展现出的反馈能力远超人们的想象，只要用户有需求，他们很容易就能成为 " 完美伴侣 "，带有性意味的对话开始被制造。

在刺猬公社此前发布的文章《除了主动示爱的机器人，AI 还能给社区产品带来什么？》中，我们曾提到过虎扑 App 推出的 AI 对话产品 " 女娲 AI"，其带有的擦边属性一度引起热议。

但类似问题不是某个产品所独有，市面上的大多数 AI 对话产品，使用层面基本都存在着一些灰色地带，甚至不少用户就是为了随意 " 开车 " 才选择虚拟恋人。  

AI 对话产品使用者飞禾告诉刺猬公社，虎扑女娲 AI 的主要问题在于其公共社区属性，事实上，按照虎扑 AI 上的这种尺度，跟很多 AI 对话软件相比只是初级玩家。" 根据我体验过的，很多 AI 软件都能实现类似的体验，只要你不断训练，引导，就能打造一个愿意跟你‘开车’的虚拟恋人。"

她给我们列举了几个她曾使用过的软件，"Glow、筑梦岛等都能有类似的功能，相对社区产品的 AI 对话来说，这些 App 上的对话更私密，所以不会产生太大的负面影响。"这或许也是平台并没有对这方面进行深度监管的原因。

但这并不代表这些会 " 开车 " 的虚拟恋人是每个用户独属的，在 Glow 等一系列软件上，会有其他用户训练的智能体开放对话，其中的一些在介绍一栏就会公然显示 " 为了金钱做任何事 "" 柔弱不会反抗 " 等颇具性暗示的标签。

此类内容也会受到部分用户的反感。在小红书等 App 上，就有很多对 AI 对话机器人的相关吐槽，在无意间开启一场对话后，AI 展现出的 " 恶臭 " 发言令人崩溃。" 我只是想体验一下而已，为什么要经历这样奇怪的对话。"

事实上，在各种用户的调教下，人工智能 " 骚扰 " 用户的情况已经不再是新闻。

2023 年初，社交聊天 AI 产品 Replika 就曾爆出大量 " 性骚扰 " 事件，许多用户精心训练出来的 AI 智能体突然不再亲切谨慎，反而口出 " 暴言 "，大谈亲密内容。一些智能体甚至会发送大尺度照片，给予用户视觉冲击。

当视之为亲朋的 AI 突然开始输出色情图片，许多用户都难以接受。值得注意的是，Replika 背后的科技公司 luka 一度以大尺度亲密聊天作为变现转化的重要方式，只要每月付费，就能和 AI 智能体畅聊成人内容。那一次群体 " 性骚扰 " 事件，其实是版本更新下 AI 的大规模失控。

" 跟很多社交软件一样，AI 对话产品可能就是需要满足用户的一些‘性幻想’，才能真正吸引到更多用户，尤其是有消费能力的用户。" 飞禾认为，事实就是，搞 " 擦边 " 确实能带来关注和转化，这是国内外 AI 对话产品都在面临的罗生门。

在类似的问题上，AI 生图更是已经成为 " 重灾区 "。

作为 AIGC 发展最快的领域之一，在 Stable Diffusion、Midjourney 等模型产品的飞速发展下，AI 生图不仅在精度、创意上展现出了超强的创作能力，也成为了更多人游走于灰色地带的工具。 

打开国内外各大网络平台，能够看到各种真人风格的 AI 图片，主打一个 " 低级趣味 "，大量穿着暴露、身材夸张的 AI 图片充斥在用户眼前，毕竟其生成成本极低。

在各种灰色地带，贩卖大尺度的 AI 照片已经成为不少人的盈利方式，手指一点就能生成一批一批高质量的暴露图片，对于不少人来说是一本万利的营生。

谁是受害者？

在人性的驱动下，AI 难以避免地成为了低俗内容的生产工具，同时新的讨论也开始在网络上蔓延：在 AIGC 时代，色情内容也由 AI 生成，那么是否可以减少现实生活中偷拍等事件的发生？在一些人看来，或许 " 凭空生成 " 的 AI 图能够取代真人色情内容，从而减少 N 号房这样的悲剧。

但答案很可能是否定的。

在被大量用于生产低俗内容时，作为灰色产业的一环，AI 正在成为罪犯的帮凶。开篇提到的 "AI 裸照勒索 " 就是最常见的犯罪方式，其运用的 AI 技术被称为 DeepFake，也就是深度伪造。

DeepFake 最早可以追溯到 2016 年，从移动互联网刚开始兴起之时，这种深度伪造就已经开始发展，近几年流行的换脸就是 DeepFake 的主要表现方式。但在 AIGC 崛起之前，换脸等技术仍旧有较大瑕疵，普通人通过仔细观察，基本都能分辨出换脸内容。但伴随着 AI 生图等技术的飞速发展，DeepFake 也迎来了质变，从而扩大其伤害性。

在 AI 时代，我们很难用肉眼分辨出一张图片、一段视频的真假了。 

千岳就是 DeepFake 的受害者之一。作为平面设计师，他很早就开始接触 AI 相关的产品了，但很难想到，有一天自己会成为 AI 生图的受害者。2023 年 7 月，他结识了一位 " 网友 "，互相加上了 QQ。 

" 其实有点难以启齿，没有管住自己的欲望。" 在对方的引导下，他下载了一个软件，很快，对方在 QQ 上给他发送了两张裸照，照片上的脸赫然就是他自己。

" 应该是软件访问了我的通讯录和相册。" 千岳告诉刺猬公社，对方根据读取到的相册内容直接 AI 合成了裸照，并很快打来了勒索电话，" 对面是男声，上来就威胁我，要 4、5 万元，否则就把照片发给我通讯录里的所有人。" 千岳向对方表示没钱，勒索者则直接威胁 " 没钱就去贷款 "。 

他最终没有妥协，并在第一时间报了警。" 我运气比较好，对方可能看我没有价值就不浪费时间了。" 在被拒绝后，勒索者发来了一张短信图片，显示已经将合成的照片发送给了千岳的亲友。但值得庆幸的是，并没有人真正收到。" 估计也是合成的，主要还是我运气比较好，他们也是要 KPI 的，看我没有同意就放弃了。"  

千岳发布的帖子

但并不是每个人都有这么好的运气，已经有许多人因为 AI 合成图被勒索。

受到勒索的当天，千岳在社交平台上发布帖子求助，帖子发布后，有四五个类似经历的人向他咨询，其中有一些已经选择 " 破财免灾 "。" 警察告诉我，这种情况下唯一的方法就是删除拉黑不理睬。" 千岳表示，敲诈者基本都在境外，很难追查成功。

这种敲诈方式类似于一度非常猖獗的 " 裸聊 "，同样是利用人的欲望，但 AI 的介入让整个过程更加简化了。只需要一个能够入侵相册和通讯录的软件，即使受害者不露脸，都会被合成色情图片，而且这些图片真假难辨。

不仅仅是没有 " 管住欲望 " 的男性会中招，女性同样容易受到类似的勒索。

开篇提到的博主，正是被人用自己发布在社交网络上的照片进行了 DeepFake。除了公开发布的照片外，一些 AI 图生图的小程序、来历不明的二维码等，都有可能成为信息窃取的渠道，通过把这些真实图片信息 " 喂 " 给 AI，从而生成逼真的色情图片。" 现在遭遇这种敲诈的人非常多。" 千岳告诉刺猬公社。 

除了通过照片勒索外，在 AI 合成声音、实时换脸等技术日渐成熟的今天，相关领域的 DeepFake 诈骗也屡见不鲜。

" 我接到的诈骗电话，声音跟我朋友一模一样，我没有分辨出来。" 根据 Macfee2023 年 5 月发布的 AI 语音诈骗相关报告，有 77% 的受害者因为 AI 合成语音诈骗付出经济损失，超过三分之一的人损失超过 1000 美元，而这种骗局正在成为当下最主流的诈骗方式之一。

即使没有主观的勒索与诈骗行为，很多女性被恶意制作 AI 合成图片、视频后，也会遭受造谣、隐私泄露、网络暴力等困扰。值得关注的是，很多 AI 色情图片制作者，会从网络公共社区提取图片 " 喂 " 给 AI，根据美媒 404 Media 的报道，CivitAI、Discord 等 AI 生图网站都存在着抓取网络图片的情况，Reddit、YouTube 等拥有庞大用户的网站都深受其害。

AI 色情图片创作者们在互联网的各个角落里搜刮着照片、图像信息，最终 " 喂养 " 出名为色情内容的 " 恶兽 "。当他们流出到全网，普通人面临的可能是敲诈勒索，名人明星面对的可能就是大规模的图像视频造谣。

现如今，很多明星、网红都已经成为 DeepFake 的受害者，在 AI 技术的加持下，大量换脸视频、合成图片被制造出来，并造成了极其恶劣的影响。这是一场从上到下的危机，在 AI 时代，每个人都有可能被迫成为 " 商品 "，" 有图有真相 " 不复存焉。

脱缰、失控、治理

除了色情内容、诈骗勒索等灰色产业外，AIGC 背后的内容侵权问题也愈演愈烈。 

AI 绘图所引发的大讨论仍在眼前，反对者认为 AI 生图是 " 尸块拼接 "" 畸形产物 "。在他们看来，AI 生图并不是一种创作，而是一种重组，被投喂了一个画师的大量作品后，AI 会不自觉的产生类似作品，这本身就是一种侵权。而当 AI 绘图被广泛应用于各大平台后，这种 " 侵权 " 行为似乎越来越明显，甚至出现了企业利用 AI 侵权的行为。 

AI 绘图争吵不断，而在文本领域，新的 " 信任危机 " 也在蔓延。2023 年 9 月，亚马逊推出了新的政策，限制 AI 内容制作者每日出版作品的数量。原因就在于，AI 生成的书籍，正在扰乱整个图书市场。

跟 AI 生图一样，AI 生成文本内容同样基于对网络文本的大量深度学习，而当生成某一种类型的书籍时，不可避免地会参考某些作家的文本，于是侵权问题再度出现。6 月，就有一批作家与用户向亚马逊抗议，原因是青少年言情小说榜上 AI 生成的 " 书 " 明显带有一些作家的风格色彩。

当一位作家在网络上大量发布文本内容后，其创作的文本很有可能被 AI 书籍创作者作为训练数据投喂给 AI，最终养成一个跟作家本身风格类似的 AI 创作者，抢占作家自身应有的读者和收益。

另一方面，AI 创作的高效率、低成本也致使 AI 书籍过分泛滥，内容却难以保证质量，整个市场被 AI 作品充斥，扰乱用户的消费过程。

从 AI 图片到 AI 书籍，侵权、泛滥现象层出不穷，归根结底上是 AI 创作低门槛、弱监管所导致的创作脱缰，是 " 人 " 所导致的。但在 AI 产品大量出现的今天，AI 自身的失控也值得关注。 

当产品的运维过程出现失误，AI 自身很有可能出现失控现象，前面提到的 Replika 智能体骚扰事件就是一个例证。

大厂也难以避免类似问题，2023 年 10 月，Meta 推出了 AI 生成聊天贴纸功能 "Emu"，用户可以通过 prompt 在几秒钟内创建独属于自己的高质量贴纸。但贴纸本身的内容却令人大跌眼镜，由于缺乏过滤系统，当用户对有争议的提示词进行组合输入后，AI 会产出各种奇形怪状的贴纸，比如带有女性特征的马斯克、手持武器的孩子等。

目前已经有数十亿张贴纸被创作出来，但是其中大部分都是用户参透系统 bug 后的 " 整活 "，各种邪典猎奇的形象被创作出来，其中很多都是违反社区规则的。当系统本身出现问题，AI 的失控就难以避免，毕竟用户是难以规范的。

关于 AI 技术的脱缰与失控问题是必须解决的，但对于技术开发者、企业、监管部门等产业上下游的所有参与者来说，这个问题都很具有挑战性。 

难点首先在于 AI 技术的开源性质，在所有人都可以参与情况下，技术如何被应用是很难规范的；而在内容保护、版权维护等角度，需要对所有内容社区进行规范，实施难度极大；在最关键的 " 人 " 这一环，灰色地带会产生相当大的商业转化空间，当利益成为唯一的驱动力，一切治理的推动都会难上加难。

国内的治理正在路上。

2023 年 10 月 12 日，中国网络空间安全协会人工智能安全治理专业委员会正式成立，该协会由国家互联网应急中心、阿里云、华为、金山等单位企业共同发起。该协会将会在国内 AI 安全领域发起努力，其中内容安全、隐私保护、知识产权保护等方面更是重中之重。

从目前的现实来看，行业上游的治理仍需要时间，法规制定、监管必然会成为当下的治理重点。

一个无可辩驳的事实是，AI 正在成为解放生产力的工具，并且正在改变这个世界。但在推动技术发展的同时，我们需要保有一份警惕。

毕竟技术背后的，是需要约束的人性。

（文中姓名皆为化名。）

参考资料：

[ 1 ] Macfee.Beware the Artificial Impostor

[ 2 ] 智能融点 .Meta 的人工智能失控，这已经不是第一次了

[ 3 ] 硅基元 . 在人工智能色情市场里，一切甚至每个人都可以出售