给AI“投毒”后，AI再也没办法画画了

Stable Diffusion 是一个生成式 AI 模型，简单点来说就是一个会画画的 AI，当你输入一个关键词后，它就能创作出一个相关的图像。

比如，让他画一个骑在马上的宇航员，它就能很快创作一张（看起来像是真的）相关照片。

画得挺好

AI 难道已经可以变成可以替代人类的画家了吗？然而，有一些 Stable Diffusion XL（以下简称 SD-XL）似乎得了病，变得不那么 " 聪明 "，还输出了一些莫名其妙的东西。

当你要求 SD-XL 画一只狗，它：

而病得更重 SD-XL 则输出了一只猫。

怎么回事啊！AI 怎么忽然指猫为狗了，而更奇怪的是，当你让 AI 画一辆车，它则输出了一只牛。

在下面这张图片中，你可以看到，AI 确实病得不轻，狗、车、帽子最后都变成了完全不相关的猫、牛、蛋糕。它似乎没办法再输出一张像上文描述的 " 宇航员 " 一样准确的以假乱真的图片。

第 1 排是正常 SD-XL 生成的图片，而第 2、3、4 排分别是由病的不同程度的 SD-XL 生成的图片。｜参考资料 1

之所以会这样，是因为人们开发了一款让生成式 AI" 中毒 " 的软件。

Nightshade 由芝加哥大学的研究人员发布，是一种能够破坏生成式 AI 模型的工具。AI 靠大量训练数据来更新迭代，变得更加聪明，而 Nightshade 所做的，就是在训练数据中加入一些肉眼难以看见的 " 毒素 "，干扰 AI 的学习，从而让 AI 模型以混乱且不可预测的方式崩溃。

而上面你所看到的，正是经过 Nightshade 干扰的 AI，在没有中毒前，AI 的确能准确地输出一张狗和车的照片，而在 500 次和 1000 次 " 有毒 " 训练数据的训练后，AI 开始输出乱七八糟的内容。

经过 " 毒害 " 后，AI 没办法再按照指令作画了。｜参考资料 1

要给 AI" 下毒 " 的原因，与我们在 AI 时代不得不面对的种种问题相关。自生成式 AI 变得越来越聪明以来，制造 AI 的科技巨头们也面对着接连不断的诉讼和争议，艺术家们认为，他们的作品是受到版权和知识产权保护的，但 OpenAI、Meta、Google 和 Stability AI 却直接拿作品来进行数据训练，这是一种 " 窃取 " 行为。

2024 年虽然才过去 1 个月，但 AI 与知识版权相关的争议已经闹得沸沸扬扬。2023 年 12 月 27 日，美国媒体对微软和 OpenAI 提起诉讼，指控 OpenAI 侵犯其文章版权，进行大规模复制来训练生成式 AI。

1 月 25 日，社交平台 X 限制了平台上对泰勒 · 斯威夫特的名字搜索，原因是 X 上流传着大量和她相关的假图。这个令人震惊的事件更是一个警醒，它意味着，任何人的照片都可以被 AI 制成令人难以忍受的假图，我们很可能因为这个而受到严重的伤害。

Nightshade 便是一个具有攻击性和操纵性的工具，需要的艺术家可以下载这个工具，对 AI 进行错误的训练并导致其故障，用以保护自己的作品。而为了不让 AI" 中毒 "，开发 AI 科技巨头们也将不得不正视并解决一个问题：如何尊重艺术家的作品版权。

在自今年 1 月 18 日发布后的五天内，Nightshade 的下载量就已经达到了 25 万次。

事实上，在开发 Nightshade 之前，芝加哥大学的这个团队还推出过另外一款保护艺术家的免费应用程序：Glaze。和 Nightshade 类似，Glaze 也是给图片施加一些微小的改变，让 AI 难以辨认一幅作品的风格。

第 1、2 列是艺术家的风格，第 3 列是没有用 Glaze 时，AI 的仿制品。

第 4 列是用了 Glaze 时，AI 以为自己看到的。第 5、6 列则是 AI 在学习经 Glaze 处理过后的图片后，生成的（风格完全不相关的）" 仿制品 "。｜参考资料 3

当一位艺术家用 Glaze" 改造 " 了自己的抽象风格作品（举个例子），然后将其发布到网上，被 AI 抓取学习后，AI 可能会将其错误地理解为写实风格。日后也会输出一些毫不相关的东西。Glaze 这个工具主要是保护艺术家，以免他们独特的风格被 AI 学走。而 Nightshade 则主要是为了攻击不顾版权的 AI。

这些工具是如何给 AI" 投毒 " 的呢？此项目负责人 Ben · Zhao 在接受科技媒体采访时解释道：这是因为 AI 和我们人类感知世界的方式存在根本性的差距。

他说：" 正是因为这两个世界如此不同，我们就可以实现机器学习视角中，效果如此显著的失真，而在人类视角中失真的程度最小。"

在人眼看来，经 Glaze 处理过的图片（右）和原图（左）差别很小。｜参考资料 3

而由于生成式 AI 的特性，这种 " 投毒 " 也会污染到其他相关的词，当它污染了 " 狗 "，也会相应地污染 " 哈士奇 "、" 狼 " 等类似的词。而且在截图、拍照后，这种 " 毒素 " 依然存在。

还有一些工具，比如 DeepMind 团队在 2023 年 8 月推出的 SynthID，则是给 AI 生成的作品加上一个 " 看不见的 " 水印，这样大家以后可能就知道哪些照片是 AI 伪造的。

除了图片，SynthID 还能给 AI 生成的音乐也加上 " 听不见的 " 水印。

如今，创建 Nightshade 和 Glaze 团队还提出要把这两种软件集成在一起。不过，工具也需要不断更新，Glaze 团队自己也提到，这 " 并不是对抗 AI 模仿的永久解决方案，我们今天使用的技术总有可能被未来的算法所挑战。"

不过如今，有越来越多的人尝试用这种工具来保护自己，证明它的有效性，在这个过程中，我们也许可以渐渐弄清我们与 AI 的关系到底意味着什么。