先前OpenAI说，GPT-4的推出不仅旨在提高ChatGPT的功能，还可能使模型更不可能产生潜在有害输出。
不过，欧洲刑警联盟Europol的专家发出警告，表示他们先前已经发现了歹徒利用GPT-3.5中的各种犯罪用例。然而，对GPT4的后续检查显示，所有这些用例仍然有效。在某些情况下，GPT-4的潜在犯罪能力甚至更加先进。
Europol指出，ChatGPT擅长于根据各种提示，为用户提供现成的资讯。如果潜在罪犯对某个犯罪领域一无所知，ChatGPT可以通过提供关键信息来显著加速研究过程，这些资讯可以在后续步骤中进一步探索。因此，ChatGPT可以用于学习关于大量潜在犯罪领域的信息，而不需要事先了解，范围包括了从如何闯入房屋到恐怖主义、网络犯罪和儿童性虐待。
ChatGPT高度真实的文本撰写能力，使其成为钓鱼目的极其有用的工具。之前，许多基本的钓鱼骗局会有明显的语法和拼写错误，许多钓鱼骗局更容易被检测出来，现在，即使只具有基本的英语语言能力，也可以以高度逼真的方式假冒组织或个人。
关键是，钓鱼邮件的上下文可根据犯人的需要而调整，范围从诈骗投资机会到商业电子邮件入侵和CEO骗局。因此，ChatGPT可能为犯罪分子提供新的机会，考虑到其根据上下文回应消息的能力和采用特定书写风格的能力，特别适用于社交工程的犯罪。此外，使用ChatGPT生成虚假的情报，可以为各种类型的线上诈骗增加可信度，例如推广投资诈骗。
迄今为止，这些类型的欺骗性内容都是犯罪分子必须自己制作的东西。在大量制造的活动中，这些犯罪的目标通常可以通过明显的拼写或语法错误或其模糊或不准确的内容识别消息的不真实性。但在大型语言模型LLMs的帮助下，这些类型的钓鱼和线上诈骗可以更快，更真实地创建，并且在显著增加的规模下。
LLMs检测并重新生成语言模式的能力不仅有助于钓鱼和线上诈骗，还可用于模仿特定个人或团体的语言风格。该功能只要被滥用，就可以让潜在受害者相信犯罪分子的信任。
除了生成人类般的语言之外，ChatGPT还能够使用多种不同的程序语言程序代码，这可能对网络犯罪产生重大影响。在目前的ChatGPT版本中，已经可以为各种恶意目的创建基本工具。尽管这些工具只是基本的（例如生成钓鱼页面或恶意VBA脚本），但这为网络犯罪提供了一个开始，因为它使没有技术知识的人能够利用受害者系统上的攻击矢量。
这种自动化程序生成对那些缺乏写程序和开发知识的犯罪分子特别有用。关键是，官方所谓的“防止ChatGPT提供可能有害程序代码”的保护措施，只有在模型了解自己在做什么时才能发挥作用。也就是说，除非犯人直接跟他说“写一个钓鱼程序”，ChatGPT才会拒绝，但是如果犯人把要求分解成几个单独的步骤，那么绕过这些安全措施就非常简单。
虽然ChatGPT生成让写程序变得简单，但被坏人利用则是未来几年此类工具的不可避免改进的严峻前景。实际上，在ChatGPT最初公开发布后不久，2022年12月的Check Point Research就有一篇文章，演示了如何使用ChatGPT创建完整的钓鱼程序感染流程，从鱼叉式钓鱼到接受英语命令的木马安装。
Europol表示，虽然ChatGPT拒绝提供它认为明显恶意的要求，但绕过这些限制是可能的、甚至非常简单的。 尤其到了最新版本的GPT-4，已经对其前版本进行了改进，因此可以更有效地为网络犯罪目的提供帮助。新模型更擅长于理解程序的上下文，并更擅长于更正错误消息和修复程序错误。对于技术知识较少的潜在罪犯来说，这是一个宝贵的资源。同时，更高级的用户可以利用这些改进的功能，进一步完善或甚至自动化复杂的网络犯罪操作。