企业拥抱ChatGPT技术要知道的10个QA

今年3月1日,OpenAI正式跨入企业应用市场,发布了ChatGPT背后GPT-3.5版模型的付费API服务,也跨进了更多企业对话式应用场景,从搜索、问答、客服、导航到语音操控等。

不到2周,新一代GPT-4模型问世,不只文本,还能输入图片,带来了生成式AI更多种应用的可能,不只是回答问题,还可以解释图片、看图答题,或是分析图表趋势,甚至,只要输入一张手绘的网站设计草图,GPT-4就能自动生成对应网页的程序代码。不只海外企业,台湾金融业、制造业、政府和教育机构都跃跃欲试,想要开始采用ChatGPT背后的超大语言模型技术。

不过,企业拥抱GPT的考量,和个人使用截然不同,我们整理了10个企业拥抱ChatGPT技术要先知道的10个QA。

OpenAI的付费API没有提出服务可用性的保证,根据其服务状态仪表板来看,API可用性约98~99%,每个月会中断30~40分钟。这是企业采用前要留意的事。

Q:GPT、ChatGPT、OpenAI和Azure OpenAI有何不同?

A这是上手ChatGPT技术前要先厘清的四个名词,ChatGPT应用是爆红的AI对话服务,背后所用的生成式AI模型就是GPT模型的3.5版本,而开发出ChatGPT应用的公司就是OpenAI,他们也在3月1日发布了OpenAI的API服务,其中就包括了ChatGPT模型的API。而微软则是将OpenAI的技术部署到Azure上来提供,也就是Azure OpenAI服务。

Q:OpenAI和Azure提供的ChatGPT技术API有什么不同?

A在技术上,凡是OpenAI公司提供API功能或模型,微软承诺会尽快跟进在自家Azure OpenAI服务上提供。两者主要不同是,OpenAI公司的API倾向于研发、研究使用为主,而微软则比照原本Azure公有云的服务等级,提供了更多安全强化(例如VLAN传输)、服务可用性承诺(例如99.9%的的SLA)、企业合规要求、顾客资料保护承诺、隐私机制、AI伦理机制等。另外,企业则可自助申请快速激活OpenAI的付费API服务,但Azure OpenAI目前则采审查申请制,需等待一段时间审查才能开通。

Q:企业可以使用哪些OpenAI生成式模型?

AOpenAI目前可以提供最新多模态的GPT-4(限定测试版)以及ChatGPT所用的GPT-3.5版模型,以及GPT-3模型,另外还提供了图片生成式模型DALL·E (测试版)、语音转文本的Whisper模型(测试版)、程序代码生成模型Codex(限定测试版)、过滤敏感资料的微调模型Moderation,还有一个适合用于企业内部运用的Embeddings模型API。不过,这些模型都是公版的基础模型(base-model),企业若希望模型能更佳定制化,需要进行模型微调(Finetune)或是输入提示(Prompt)来引导。

Q:提示和微调有什么不同?

AChatGPT可以输入提示文本(prompt)来引导ChatGPT产生的内容,越来越符合适户预期的需求,同样也可以用于OpenAI的API,甚至出现了“AI提示工程师”(Prompt Engineer)或者更诗意的“AI咏唱者”说法,只要提问的问题问得好,就越能得到更贴切的答案。

但是,输入提示给基础模型,不会改变基础模型本身的权重。因此,每一次都要重新输入提示文本才能得到想要的答案。若要创建定制化的模型,企业得改用微调(Finetune)的方式,输入一批自己的资料,来调教OpenAI提供的基础模型,产生自己的定制化模型。不过,目前OpenAI还没有开放GPT-3.5和GPT-4的微调,只能通过提示工程来进行定制化。另外,微调也不是重新训练整套GPT模型,而是针对用户提供的少量数据来改变部分参数的权重(或者可以说是加上一个属性模型),让模型输出的结果更符合适户的期待,因此,微调模型不需要庞大训练资料,也不需要像重新训练那样耗时及庞大成本。

Q:为何要计算Token? 一次最多上传多少字?

A当输入一段文本到API后,OpenAI会抽取这段文本中的词或概念(类似断词),将文本转换成一个个Token。以中文本来说,平均一千个中文本约有600~700个Token不等,但还要看文本内容而定。OpneAI的API上传限制就是按照Token数量来计算,例如GPT-3.5模型的上限是4K个Token,而GPT-4则增加了四倍,最大到32K个(不过,目前只开放特定用户)。Token也是OpenAI API的计价单位,以对话用的gpt-3.5-turbo的API来说,每千个Token要价0.002美元,而最新的GPT-4的32K引擎版本则每千个Token要价0.12美元,后者贵了60倍。

Q:什么是Embeddings模型?有什么用途?

A不同于GPT-4或GPT-3.5是生成媲美人话的文本来回复用户,Embeddings模型是将输入的文本转换成一个浮点数值的嵌入矢量(Embeddings Vector),当两段文本的矢量距离越近(可通过矢量计算得到),就代表了这两段文本的关联性越高。可以用于搜索(比对一段话在一篇文章中的位置,或从一批文章找出最相关者)、分类用途(将相关性高的文章分成同一群)、寻找关键字(找出中一篇文章最相关的几个关键词)等。摩根士丹利财管公司就是利用Embeddings功能来搜索和整理庞大知识资产。

Q:企业能不能下载模型到本地端部署?

A不能,不论是OpenAI或Azure都没有提供GPT-3.5或GPT-4的本地端部署,企业只能将资料上传到云计算API。通过微调产生的定制化模型,也只能存储在云计算,通过API调用来使用,无法下载部署。

Q:OpenAI将资料存储在哪?

A目前全都存储在Azure美国机房,微软的Azure OpenAI服务也是。所以,对台湾企业而言,等于是境外服务。

Q:企业上传的资料会不会变成训练资料?

A企业上传到OpenAI的资料可分为两类,一类是每次输入的提示文本或问题,另一类是用来微调模型的数据。OpenAI承诺从3月1日后不会用这些提示文本资料来训练(代表之前会),不过,企业可选择愿意授权给他们用于训练。对于第二类,OpenAI保证只会用于顾客自己模型的微调,不做他用。微软则比照Azure政策,不会私自使用顾客上传的资料也不会卖给第三方。不过,不论是OpenAI或微软,对于输入的第一类提示文本则会保留30天,以供敏感资料的真人审查之用。

Q:为何需要真人审查?企业能不能拒绝?

AGPT-4目前只能过滤8成敏感内容(不当指令拦截可超过95%但并非100%),而gpt-3.5-turbo甚至不到6成,因此,OpenAI在特定情况下会由少数获得授权的真人来审查有疑虑的内容,微软Auzre OpenAI服务也是如此,不过,微软也提供企业可以项目申请免除真人审查。

不论是OpenAI或微软,对于企业输入的提示文本会保留30天,以供敏感资料的真人审查之用。不过,微软开放企业项目申请免除真人审查。图片来源/微软