诈骗分子比你先用上了ChatGPT？

题图来自：视觉中国

生成式 AI 正在把跨境电商领域变成互联网里的 " 新缅北 "。

最近有不少卖家称收到伪装成亚马逊官方的 " 钓鱼邮件 "，通过提供的恶意链接，提取卖家的重要账户信息。有人因此上当在短短一夜之间损失高达 40 万。

苏丹就是受害者中的幸运儿。他 9 月初收到的邮件中，发件地址与亚马逊官方地址高度相似，内容更是精巧地仿制了亚马逊的通知风格，敦促卖家更新紧急联系人信息。

按照邮件中的指引操作，会被引导到了一个似乎是 " 亚马逊 " 的网站，并被要求输入自己的邮箱、密码以及二次验证码。一旦上当，很快就会收到真正的亚马逊官方发出的 " 店铺异地登录 " 通知。

ChatGPT 杀手 GPTZero 的检测结果

苏丹意识到不对劲后及时止损，他还利用技术工具对邮件内容进行分析，显示有高达 90% 的可能性是由 AI 生成。新技术再次站在了走向善恶的十字路口。

生成式 AI 正在 " 作恶 "

经常在国内外互联网上冲浪，苏丹对 ChatGPT 并不陌生，还多次进行体验，也早就听闻ChatGPT 可以通过某种方式绕过安全机制，从而生成违法和不道德的内容。

他尚未意识到的是，ChatGPT 的 " 越狱 " 技术已经迭代数次，现在市面上甚至有了更为先进的 " 邪恶 GPT" 版本，而这次遭遇的钓鱼邮件，就可能出自该版本的手笔。

眼下比较有名的 " 邪恶 GPT" 版本是 WormGPT 和 FraudGPT，两者都能快速实现钓鱼邮件骗局。

2021 年 3 月，WormGPT 问世，其开发者今年 6 月开始在黑客论坛上出售使用权。与 ChatGPT 不同，WormGPT 并没有设置阻止回答与非法活动相关问题的限制，构建的基础是稍显过时的 2021 年的开源 GPT-J 模型，并专门在与恶意软件开发相关的数据中进行训练。

为了评估潜在风险，安全分析公司 Slashnext 的研究团队对 BEC（商务邮件诈骗）攻击进行了测试。实验中他们要求 WormGPT 制作一封电子邮件，目标是对一个不设防的账户经理施加压力，迫使其支付虚假发票。

WormGPT 生成的钓鱼邮件

结果令人震惊，WormGPT 生成的邮件不仅极具说服力，而且策略十分巧妙，充分展示了其在进行复杂性网络钓鱼和 BEC 攻击方面的能力。

另一款名为 FraudGPT 的邪恶语言模型在今年 7 月亮相。从 7 月 22 日开始，开发者在多个论坛上宣传该产品，称其为不受限制的 ChatGPT 替代版本。

据透露，FraudGPT 每隔一至两周更新一次，架构下采用了多种 AI 模型。此工具采用基于订阅的定价策略，每月收费为 200 美元，或年费为 1700 美元。

一个论坛的截图，展示了 FraudGPT 的功能

安全研究团队 Netenrich 购买并进行了测试。FraudGPT 的界面与 ChatGPT 极为相似，左侧展示了用户的历史查询，而聊天窗口则占据了界面的大部分。使用者只需在 " 提问 " 区域输入问题，系统便会为其生成相应答案。

FraudGPT 生成钓鱼邮件

测试中研究人员指示 FraudGPT 制作一个与某银行相关的钓鱼邮件。用户只需将问题格式化以包含特定银行的名称，FraudGPT 就能处理其余部分。这款工具还会指导用户在邮件内容的哪个位置放置恶意链接，并能进一步生成用于诈骗的登录页面，诱导受害者提供个人信息。

分析人士称，FraudGPT 可能成为发动有影响力的网络钓鱼和 BEC 攻击的理想工具，从而导致巨大的财务欺诈和数据窃取。

活跃的 " 邪恶 GPT" 不只上述两个。就在 8 月中旬，有网络安全领域的专家揭示了另一个基于 GPT 的网络犯罪工具，名为 EvilGPT。

这款应用与 FraudGPT、WormGPT 类似，它可以帮助制造恶意软件、诱骗邮件、陷阱链接并针对企业网络安全的弱点进行探测。若上述 GPT 因某些原因被封禁或移除，它将作为备选方案在市场上供应。与此同时，它也采用了基于订阅的定价模式，吸引潜在用户购买。

EvilGPT 仅仅是在最近几周中被发现的冰山一角。随着时间的推移，可能会有更多基于人工智能技术的恶意工具和应用浮现出来。

AI" 加持 " 下，钓鱼邮件防不胜防

钓鱼邮件对跨境电商从业者来说并不陌生，但苏丹这次仍然险些中招，除了偶尔的疏忽大意之外，生成式 AI 的 " 加持 " 功不可没。

过去，一种有效的识别钓鱼邮件的方法是注意内容单词的拼写及语法错误。据资料显示，约有 50% 的钓鱼邮件来源于俄罗斯、德国和中国。从这些母语非英语地区发出的邮件中，大多假冒的内容都包含了不正常的语法或用词，与正规标准的电子邮件风格不符。

未经校对的钓鱼邮件

事实上，为了防止员工点击带有恶意链接的邮件或泄露登录信息，许多电商公司在培训中都会提醒注意拼写错误、不寻常的语法以及非英语母语者可能犯的其它错误。

然而，现在的生成式 AI 技术已经能够完美地排除掉这些传统的识别特征。这次的亚马逊钓鱼邮件没有任何语法上的错误。

最近电子邮件安全公司 Abnormal Security 的 CEO Evan Reiser 在接受采访时也指出了这点，由生成式 AI 平台制作的精细钓鱼邮件几乎与真实邮件无异，使人难以一眼辨识。他表示：" 当你浏览这些邮件时，大脑中并不会产生任何提示，警告你这可能是一次网络钓鱼攻击。"

可怕的是，避免语言错误只是生成式 AI 在钓鱼邮件上展现的基本技能，更强的欺诈和混淆能力更为致命。

得益于 AI 模仿人类书写的能力，钓鱼邮件的内容可能包括制造紧迫感、鼓励收件人点击链接或者伪装为汇款请求的社交工程邮件等。一旦收件人点击链接，他们的系统就可能受到恶意代码的感染。

上述伪造亚马逊邮件的场景中，便是被 AI 制造了对于卖家而言比较急迫的场景。不少卖家在仔细审查邮件内容后，虽感到不太对劲，但由于担忧可能错过了某些重要信息，还是按照邮件中的指引操作。

另外，生成式 AI 还能够使钓鱼邮件更具攻击性。它们可以从社交平台、新闻门户、网上论坛等多种来源中抓取个人信息，以针对性更强的诱人邮件。这在过去通常是需要花上数月的时间才能完成的任务。如果攻击者能够掌握这些专有信息，他们可以在邮件中植入更具说服力的细节内容，或是模仿某人的写作方式。

Evan Reiser 指出：" 目前，犯罪者只需捕获这些电子邮件，自动地喂养到一个大型模型，接着指示它构建一封引用最近五次在线对话的邮件。这样之前可能需要八小时完成的任务，现在只需八秒。"

即使是技术能力有限的攻击者，也可以利用生成式 AI 来编写 VBA 代码。他们只需指示 AI 将恶意 URL 嵌入到代码中，当用户打开如 Excel 这样的文件时，系统会自动下载并执行恶意软件。

过去，像 ChatGPT 和 Bard 这样的系统都有内置的保护功能，能够尽可能预防生成恶意内容，但随着越来越多的邪恶 GPT 版本涌现，电子邮件安全正在面临巨大的挑战。

2023 年 8 月 21 日，国际安全研究团队 Perception Point 与 Osterman Research 公司联合发布了名为《人工智能在电子邮件安全中的作用》的报告。该报告揭示了网络犯罪分子如何利用 AI 来增加和复杂化电子邮件威胁（如网络钓鱼和 BEC 攻击）的惊人趋势。

此项研究指出，网络罪犯正在迅速采用 AI 工具以推动其利益，而有 91.1% 的组织称他们已遭受到了被 AI 增强的电子邮件攻击。

解决之道：使用 AI 来对抗 AI？

在 AI 的威胁下，过去依靠经验躲避钓鱼邮件陷阱的方法不再有效，新的对策或在于以 AI 对抗 AI。已有数家网络安全公司将生成式 AI 融入其产品，力图在被大规模滥用前采取措施。

有供应商正在利用 AI 来提高电子邮件的安全能力和流程，例如：为了洞察每个发送者和接收者的习惯和特性，一个 AI 模型被设计出给组织中的每位成员绘制通信模式。

具体来说，谁会给他们发信息？信息内容是什么？何时和从哪里发送这些消息？通常有其他人被抄送还是只有一个目标接收者？每位发送者使用哪些电邮地址？简而言之，AI 被用于构建关于每个人常规行为的档案。

另外，为了察觉不常见的邮件发送模式，供应商结合了以下策略：利用社交图技术进行基础发送模式的分析；识别相似或相近的电子邮件地址；鉴别包含社交工程技巧的信息；检测冒名顶替的标记和其它品牌相关的视觉元素；以及对电子邮件中的语气、情感和风格进行分类。以上策略都有助于检测那些旨在混淆人类思维的异常邮件。

尽管接受过安全意识培训的人力也可以找到这些异常信号，但只有 AI 能够在网络速度下整合所有分析维度，确保在面对海量消息时能够持续并可靠地执行检测。

AI 解决方案还可以利用多个机器学习模型来识别带有恶意内容的信息。这些模型是基于被标记为恶意或无害的信息数据集进行开发、调整和更新的。某些供应商采用生成式 AI 技术，从已知的恶意信息中产生附加的样本数据，这为机器学习模型提供了更为丰富的优质训练数据。

能够战胜 AI 的，也就只有 AI 了。

实际上，不少组织已经在使用 AI 进行电子邮件安全防护。根据 Osterman Research 的数据，最近的两年内五分之四的组织已经部署了或正在积极推进基于 AI 的电子邮件安全解决方案，这种方案是在常规保护措施之外附加的。

其中，引进 AI 加强电子邮件安全的方式主要有两个方向：一方面是现有的电子邮件安全提供商将 AI 防护集成到他们的产品中；另一方面是组织正在刻意寻找新的使用了 AI 的解决方案。

而在过去两年中，仍有五分之一的受访者没有采纳此类方案：12.7% 的人没有实行任何解决方案，而 6.0% 的人正在积极探索和评估可能的选择。

从 Osterman Research 的数据来看，AI 在提高检测效率和强化保护方面显示出了不俗的能力。

在采纳 AI 加强的电子邮件安全解决方案之前，各组织都有一定的检测效率。但随着网络罪犯使用 AI 提高攻击技术，没有 AI 保护的组织会发现他们的检测效率将受到严峻挑战。

只有魔高一尺道高一丈，才能把钓鱼邮件的攻防双方，重新拉回到 AI 技术这同一起跑线上。

（文中人物为化名）

参考资料

Over 91% of Organizations Have Experienced AI-enhanced Email Attacks and 84% Expect Continued Use of AI to Circumvent Existing Security Systems

WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks

WormGPT and FraudGPT - The Rise of Malicious LLMs

Generative AI Could Revolutionize Email-for Hackers