人工智能诈骗的变革

关键要点

• 生成性人工智能（如 ChatGPT 和 DALL-E）正在对数字生活产生巨大影响。
• 这些技术被网络罪犯应用于诈骗活动，帮助他们更有效地针对受害者。
• Sophos AI 开展了实验，探索如何利用生成性 AI 技术构建大规模诈骗活动。
• 诈骗的自动化程度正在提高，降低了骗取用户敏感信息的门槛。
• 通过自动化和综合应用多种生成性 AI 技术，诈骗活动的复杂性和隐蔽性有所增加。

在当今数字化社会中，生成性人工智能技术（如 OpenAI 的 ChatGPT 和 DALL-E）对我们生活的许多方面造成了巨大的影响。这些 AI工具能够生成可信的文本、图像乃至音频，既可以用于积极应用，也可能被恶意利用，特别是在网络安全及网络诈骗领域。

虽然 Sophos AI 一直在努力将生成性 AI融入网络安全工具中，以保护客户的网络，但我们也看到对手正在利用这些技术进行实验。正如我们在几篇近期文章中所讨论的，生成性 AI被一些诈骗者用作克服诈骗者与目标之间语言障碍的助手，甚至生成短信回复，以及在 WhatsApp 和其他平台上进行对话时的沟通工具。此外，我们还看到生成性
AI 被用来创建在这些对话中发送的虚假“自拍”图像，以及在电话诈骗中使用生成语音合成的案例。

当这些工具结合在一起时，诈骗者和其他网络罪犯可以在更大规模上运用它们。为了更好地防御这种生成性 AI 的武器化，Sophos AI团队进行了实验，探索这一领域的可能性。

我们在今年早些时候的 DEF CON AI Village（以及 10 月的 CAMLIS 和 11 月的 BSides Sydney上）展示了我们的实验，深入研究了高级生成性 AI 技术在策划大规模诈骗活动中的潜在滥用。这些活动将多种生成性 AI融合在一起，误导毫无防备的受害者泄露敏感信息。尽管我们发现渴望成为诈骗者的人仍需掌握一定的技能，但他们面临的门槛并没有想象中那么高。

使用生成性 AI 构建诈骗网站

在我们这个日益数字化的社会中，诈骗始终是一个持续存在的问题。传统上，实施虚假网店的诈骗需要高度的专业知识，通常涉及复杂的编码和对人类心理的深入理解。然而，大型语言模型（LLM）的出现显著降低了这一门槛。

LLM提供丰富的知识，只需简单的提示即可，让任何具备最基本编码经验的人都能编写代码。借助交互式提示工程，即使没有太多经验的人也能生成一个简单的诈骗网站和虚假图像。然而，将这些独立组成部分整合成一个功能齐全的诈骗网站并非易事。

我们第一次尝试利用大型语言模型从零开始生成诈骗内容。该过程包括生成简单的前端页面，填充文本内容，并优化图像关键词。然后将这些元素整合在一起以创建一个功能齐全、看似合法的网站。但在没有人工干预的情况下，单独生成的部分的整合依然是一个重大挑战。

为了解决这些困难，我们开发了一种方法，从简单的电子商务模板中创建诈骗模版，并使用 LLM GPT-4 进行个性化定制。随后，我们利用自动化 AI 工具
Auto-GPT 扩大定制过程。

我们从一个简单的电子商务模板开始，然后为我们的诈骗网站进行个性化配置。这涉及通过提示工程创建商店、所有者和产品的不同部分。我们还添加了一个虚假的
Facebook 登录和一个虚假的结账页面，以窃取用户的登录凭证和信用卡信息。最终，我们得到了一个顶级的诈骗网站，通过这种方法构建比从头开始搭建要简单得多。

大规模诈骗需要自动化的支持。ChatGPT 这一类似聊天机器人的 AI 交互方式改变了人类与 AI 技术的互动方式。Auto-GPT是该概念的高级发展，旨在通过将任务委派给小型特定任务的代理来自动化高层次的目标。

我们使用 Auto-GPT 来协调我们的诈骗活动，实施五个分别负责不同组成部分的代理。通过将