微软专家剖析企业采用关键考量 Azure OpenAI导入前得先知道这4件事

在OpenAI推出ChatGPT API的一周后,微软即在自家Azure OpenAI服务推出企业级ChatGPT模型的API。Azure OpenAI原本已经有DALL-E、GPT-3、Codex等大型生成式AI模型API的访问选项。微软大中华区Azure BG资深市场策略经理陈婉瑜表示,自Azure OpenAI开放申请使用的一个多月以来,不仅受到多国企业关注,也有台湾企业看到生成式应用价值。海外企业申请以游戏业和零售业最为热烈,台湾则是制造、金融、政府、教育等产业的企业或机构较多。

陈婉瑜表示:“OpenAI的服务倾向研究和实验使用,Azure OpenAI则注重商业上的可用性。”企业用户在应用ChatGPT等生成式AI时,必须比一般用户谨慎,因此Azure的OpenAI服务,虽然技术与OpenAI服务基本相同,但设计了更多瞄准企业需求的机制。

重点1:企业应了解OpenAI的服务可用性及计算资源限制是否符合需求

根据OpenAI服务状态网页,网页版ChatGPT和ChatGPT API的每个月的服务可用时间都在98%至99%间浮动。虽然对于个人级别的使用场景而言,1个月中有只有14个小时不能使用ChatGPT并不会造成太大困扰,但对企业来说,若服务中断于流量高峰期等关键时刻,就可能带来巨大损失。

OpenAI没有对ChatGPT的服务可用性作出任何承诺,因此企业难以衡量服务中断的风险。微软Azure OpenAI则提供了服务水准协议(Service Level Agreement, SLA),保证提供99.9%服务可用性,这也适用于ChatGPT模型的API。换句话说,平均1个月最多只会有40分钟的服务中断时间。有了SLA,企业更容易评估服务中断的风险,也能根据SLA来设计对应的失效安全措施。不只如此,服务可用时间高达99.9%,代表企业将ChatGPT等AI模型应用到更多系统时,服务中断的风险相比只有98%到99%可用性的OpenAI服务低上不少。这也有利于企业运维与顾客观感有关或要求高度可用性的系统。

除了可用性外,计算资源也是企业必须考虑到的一大重点。根据Azure OpenAI官网,目前微软版ChatGPT给企业用户的默认运算上限是每个模型每分钟接受300份请求、120,000个Token,每个人信息料中心区域(Region)能动用的基础架构资源(Resource)上限为2份。也就是说,1个企业用户每分钟最多能送出600份请求、240,000个Token。当然,若企业要提升使用量,也能项目申请加价购买。不过这也意味着,企业应用ChatGPT及Azure OpenAI上其他模型时,须考量应用场景和规模,以免造成请求量重载,或成本超出预期。

Azure OpenAI版的ChatGPT接口。与OpenAI推出的ChatGPT API一样,用户可以调整Temperature、Top Probabilities、最长Tokens长度等参数,来控制ChatGPT输出回复的倾向。

重点2:企业应了解如何防范不当内容及管控资料访问权限

在开始应用ChatGPT等生成式AI前,企业必须先定制化AI模型,将企业内部资料或业务逻辑输入AI模型。企业定制化AI模型时,一种常用方法是微调(Fine tune)。台湾微软技术架构师黄耀逸解释,微调的原理是改变回复字句的权重,让AI有更高几率回答出贴近企业需求的答案。不过,自ChatGPT问世以来,网络上已经流传着许多案例,证明让AI做出不恰当或不雅的回复,是相当容易的事。

因此,黄耀逸建议,在微调模型时,不只要将希望AI回答的字句训练进去,还要同时规范AI不应回答的内容,也就是将不当字句的回复权重调低。同时,微软的Azure OpenAI服务也内置内容过滤器,排除情色、暴力、歧视、仇恨言论等内容。

企业另一项常见需求是,为了符合不同角色工作需求或保护企业高敏感度资料,必须依照身份来区分AI对用户输出的内容,例如基层员工不能从AI问出企业高层才有权限取得的营业资料。因此,企业不论是将生成式AI集成到对外沟通工具,还是用于营业数据分析、知识管理等内部用途,都有必要管控回复内容。

黄耀逸说,Azure OpenAI可以集成企业既有Azure AD身份管理服务服务,来辨认询问者身份。企业可以先设置不同内容过滤器,甚至微调出不同版本的模型,例如一个基层员工模型、一个高层主管模型,再要求Azure OpenAI依照询问者身份,根据权限来过滤特定问答,或切换到对应的模型。

重点3:企业应了解OpenAI问答内容有可能经过人工审查

OpenAI版的ChatGPT会保留问答内容30天,以便在需要时,人工审查不当内容。尽管OpenAI强调,不会将这些资料用来训练自家模型,但对企业来说,既然资料会在自己无法管控的环境中保留,还有可能遭真人访问,难免会担心敏感资料外泄。

微软版ChatGPT则多了一些弹性。陈婉瑜表示,原则上微软也会保留问答资料30天,若自动内容过滤机制难以判断内容是否合乎规范,就会调出资料来人工审查。不过,考虑到有些企业对于资料保护的需求,微软接受企业申请免除审查,以降低资料外泄风险。目前申请通过的情况依个案情况而定,没有明文规定豁免审查的明细条件。

资料传输方法上,Azure OpenAI服务可以通过私有网络VLAN传输资料,企业还能以自有私钥来加密传输过程,安全性较高。相较之下,企业使用OpenAI服务时,是通过一般网际网络的加密协议来上传资料,因此传输过程的安全性较低。

重点4:Azure策略是快速跟进OpenAI主要模型重大更新

陈婉瑜表示,未来微软与OpenAI的模型更新会尽量同步。若OpenAI的主要模型有重大更新,Azure OpenAI也会尽快跟进。举例来说,OpenAI 3月1日发布了使用GPT-3.5-Turbo模型的ChatGPT API,微软同月8日就跟上了。她并强调,考虑到企业用户对稳定性的需求更高,微软只会跟进重大版本更新,重大版本间的小型更新则不一定会跟上。

陈婉瑜补充,虽然新模型发布时间较OpenAI晚,但Azure OpenAI服务会和Azure许多服务高度集成,是OpenAI版较难做到的,例如和Azure虚拟网络运行环境VNet中的各式服务集成,或是结合Azure AD,来管控用户的问答权限。