一听到OpenAI或许你会先想到它的创始人Tesla的CEO马斯克，他在2015年于旧金山成立该非营利的AI研究组织，希望以安全的方式开发AI技术，并向公众开放专利与研究结果。
然而在近几年让OpenAI颇负盛名的是该团队通过不断更新的AI技术，创下许多惊人记录，像是2018年组成OpenAI Five战队在Dota年度国际赛事血虐职业选手、2019年OpenAI开发自动写作模型GPT-2用5秒就能生成一篇虚构文章，2020年英国《卫报》甚至刊登了一篇由GPT-3机器人生成，标题为“人类你害怕了吗？”的文章。
从上述的“丰功伟业中”可以发现，OpenAI在文本领域中已经相当成熟，但是OpenAI的首席科学家Ilya Sutskever也表示“人类是生活在可视化的世界中”，因此近几年团队也加强其在“图像领域”的开发，同时希望能让AI效仿人类学习语言的方式，借由图像强化对于字词语义的理解力，让未来生成的语句更有意义。
根据Tech Crunch、MIT Technology Review报道，OpenAI近期将“图像”和“语言”概念结合，创建了两个新模型，称为CLIP和DALL-E。
新版AI图像辨认模型，不再只能识别人脸、建筑物等单一对象
CLIP(Contrastive Language-Image Pre-training)，主要和先前训练GPT -3辨认图像的功能相似，它们不是借由固定数据库中的单一标签进行训练，而是通过网络上众多的图像与该图像一连串的文本注解去培训。
团队会通过丢出32,768个文本叙述让CLIP挑选哪一个是与特定图像相符的，而要达到该目标“联想”将是训练关键，通过判读不限单一物种的图像与其文本叙述，让CLIP能跳脱以往从监视图片中找“人脸”或卫星图像中找“建筑物”等单一任务。
AI新模型DALL-E把文本叙述直接变成超现实画作！
DALL-E则不仅做到识别，它更让AI“画”图形！不过DALL-E不仅是画出单一物品，你可以提供它一串多个看似毫不相关的形容词进行物品描述，像是“穿着澎澎裙遛狗的白萝卜”，DALL-E就会进行一连串的联想思考，画出许多相似的图片
“对于AI开发而言，用文本生成图像其实是一件难以突破的创举！”一位乔治亚理工学院从事多年NLP研究的Mark Riedl表示。OpenAI团队也在博客分享，尽管目前DALL-E偶尔会出错，但它们不是用人工挑选，而是让CLIP模型从上百幅图像中，去排名出32则最符合文本叙述的图像。
现在就来看一些DALL-E的“惊世巨作”，例如文章首图的“酪梨形状的扶手椅”、“戴太阳眼镜的猫猫”，都是由两个看似不相关的物品组成，AI竟然能如此完美结合，还给出不同排列组合！
但偶尔出错的案例就像另一个“用竖琴做成的蜗牛”的叙述，不像上方酪梨座椅百分百合成出合理的图片，或许可以推测酪梨的剖面和扶手椅的外观相当类似，因此让DALL-E能更容易“联想”生出相关图像。
同时，如果你对DALL-E所生成的图像不满意，在图像生成后，你还能微调文本叙述中的字词，如从“正方形”变成“三角形”以生成不同类型的图像！
尽管对于DALL-E能如此快速的从毫不关联的字词生成图片，Riedl感到非常惊讶，但回头想DALL-E是根基于GPT-3技术而发展，而GPT- 3就以其擅于“记忆”闻名，因此像是“穿着澎澎裙散步的白萝卜”这些图像，可能也是参考网络上的艺术品图片。不过，这项“语言转换图像”的技术在未来发展仍相当令人期待！