Open AI最近发布新一代的大型语言模型GPT-2，该模型有15亿个参数，利用了800万页的网页数据作为训练数据，以预测所有输入文本的下一个字作为训练目标，而也因为数据集的多样性，让模型不需要针对特定的任务进行训练，以上述单纯的目标，就能涵盖了许多跨领域的任务，目前该模型能够在机器翻译、回答问题、阅读理解、总结段落等语言任务中生成与段落一致的文本内容，不过，为了预防恶意的使用行为，OpenAI并不会发布训练完的模型，只会发布技术论文和一个相较之下规模小很多的模型，提供研究人员做实验。
GPT-2模型在许多语言任务中，都达到了很好的表现，举例来说，给定模型一段文本，模型就能产生接续段落的文本，而该模型的表现，也超越了用特定领域训练数据训练而成的模型，像是维基百科、新闻或是书籍等特定训练数据。此外，在像是问题回答、阅读理解、段落总结，以及翻译等语言任务中，GPT-2模型是从原始的文本数据开始学习，没有通过特定任务的数据来训练，而最终模型在这些任务上的表现也超越了现今效果最好的模型。
Open AI表示，通用的语言模型将能够对社会产生很大的影响，也能够促成许多相关的应用，Open AI期望像GPT-2这样的模型能够被用来创造写作AI助理、更有能力的对话机器人、跨语言的非监督翻译模型、更好的语言理解系统等，但是同时，Open AI也担忧这样的模型会被用于恶意的用途，像是制造误导新闻、伪造他人、在社群平台自动产生假内容，或是垃圾消息等，因此只会发布小型的GPT-2模型，并不会发布训练数据集、程序代码和模型的权重。