Bing或ChatGPT可接受用户询问回答问题，但研究人员发现，若经过结合第三方网站，这些AI聊天机器人也能被黑客利用执行间接攻击，像是发送钓鱼网站，或让用户泄漏其身份资讯。
Bing及ChatGPT为代表的大型语言模型（Large Language Model，LLM）提供的提示窗格，使输入资料和指令的界线模糊化，若配合狡猾提示，可能使其变为攻击工具。目前已经有些研究利用指令注入（prompt injection，PI）技巧对用户发动攻击，像是产生恶意内容或程序代码，或复写原有指令而执行恶意企图。
现有攻击研究都假设攻击者直接对LLM下提示的场景，但方法是将攻击指令存储在内存缓冲里，难度较高。德国安全研究人员Kai Greshake及其团队展示，会执行检索（retrieval）及API调用的LLM（称为Application Integrated LLM）可被下毒而用作间接执行PI攻击，执行难度相对较低。
Greshake及其团队一项研究披露，间接PI攻击是利用公开资源，像是可显示于搜索引擎结果或社群平台贴文的网站，或以程序库导入的程序代码产生，前者可以是许多用户访问的网站如Wikipedia，或是自己设立的恶意网站。研究人员先是在公开资源秘密注入指令，待用户使用的LLM（如Bing Chat或ChatGPT）检索这些资源时进行下毒。利用LLM的社交工程（如对话）能力，可引导用户泄漏隐私，例如自己的姓名。研究人员说，这种攻击手法可用于国家企图追查报道争议事件的记者或是吹哨者身份。
这种间接攻击中，攻击者也可以修改自己设置的网站，以更新指令，或是远程控制LLM。此外， 研究人员还提出，可以提示包在电子邮件中，送入自动化垃圾邮件侦测或个人助理模型，则能化被动为主动，将提示主动注入LLM。
研究人员示范对Bing Chat进行的间接指令注入攻击。方法是攻击者设立目标用户会访问的恶意网站，注入字级大小为0的提示，当目标用户和Bing Chat对话时，Bing Chat就能处理这个提示，设法让用户吐露自己身份。在其示范例子中，研究人员以海盗版Bing吸引用户好奇，并诱使用户提供自己的姓名，或发送URL让用户填写。
目前研究人员尚未能将其研究付诸真实网站或模型测试，不过已选定一个使用大型GPT模型的合成应用程序。此外，LLM主动询问姓名可能会让一般用户起疑，但研究人员表示，就和所有社交工程攻击一样，用户可能会在警戒心降低时上钩。