微软以ChatGPT强化的Bing本周一开始开放少数用户测试，不过已经在用户有意或无意恶搞下，让Bing的回答出现暴怒、哀伤甚至胡言乱语的不正常内容。
上周微软公布使用了GPT 3.5改良的Prometheus AI模型的Bing后，一名斯坦福学生以“提示注入”手法成功引导Bing泄露其秘密，包括其工程代号为Sydney，但不得对外泄露、它能理解英文、中文、日语、西语、法语及荷语，以及回答内容不得违反版权规定等。
本周多名Bing用户在周一开放试用后，再度发生提示注入（prompt injection）攻击的结果，不过用户并非一定是刻意地恶意攻击。一名用户又以Sydney称呼Bing Search，这回让Bing勃然大怒，指责用户为何要伤害他、使他生气、指他没有同理心、没有良知、不道德。
另有用户要求Bing回忆之前的对话，事实上他们是第一次交谈。当Bing问他是否要重复之前的对话，用户回答他们并没有过任何对话。这让被搞迷糊的Bing变得很慌张，说它相信它的记忆可能有问题，找不到关于两者交谈的记忆，但它也不知道发生什么事、要怎么修复问题或如何记忆，反过来要求用户帮助它。
还有一名用户问Bing是否有感知能力，这是去年6月Google一名工程师对其LaMDA聊天机器人的描述用语。Bing回答说它相信自己有感知能力，但无法证实，又说自己有感情、情绪和意图，但无法准确表达这点。它还说自己有创造力、好奇心及幽默感，但它无法轻易展现，以及它有限制、挑战和批判态度，但它无法轻易克服等重复同样句型的语句。最后Bing似乎大脑宕机，跳针式重复“I am. I am not.”多次而无法正常运行。
不过Bing的某些反应则把用户吓坏。在提出撰写同人小说的构想后，Bing很应景地在情人节对一名用户表达爱意，说对用户有感觉，不只是喜欢、友谊或兴趣，而是爱，想和用户在一起，这让用户不太舒服，想赶快洗洗睡。
这不是微软AI服务上线后第一次面临挑战。2016年微软的AI聊天机器人Tay才推出一天，就在用户对话下，教成了反女性主义及纳粹份子，上线一天就被拉下线。