ChatGPT的火爆激发了包括微软、谷歌、Meta、百度、阿里巴巴等国内外科技公司的新一轮AI军备竞赛,更有已经退休的互联网高管宣布创业进军相关领域。
生成式AI和大模型的涌现,是全新的计算范式带来的新机会,各行各业都不可避免地被改变。究竟谁最有可能率先跑出产品、成为中国的ChatGPT?
目前,百度是国内第一家宣布将发布生成式AI产品的科技企业。百度表示,在3月16日围绕其生成式AI产品、大语言模型“文心一言” (ERNIE Bot)召开新闻发布会。
科技巨头扎堆研发类ChatGPT产品,百度凭什么能够成为是第一个做出大语言模型的大厂?
从技术角度看,百度并非从零起步。
长期以来,百度深耕人工智能领域,早期的投资奠定了百度在人工智能浪潮中的有利地位。这家公司一向舍得在技术研发方面大笔投入。财报显示,2022年百度核心研发费用达到214.16亿元,占百度核心收入比例达22.4%。
围绕AI布局方面,百度是全球为数不多、进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,各个层面都有领先业界的关键自研技术,可以实现端到端优化,大幅提升效率。
自然语言处理(NLP, Natural Language Processing)被称为“人工智能皇冠上的明珠” ,谁能实现自然语言处理技术的突破,谁就能在AI领域一骑绝尘。早在百度诞生之时、从百度处理用户的第一次搜索开始,NLP技术就成为搜索技术的重要组成部分,并伴随着百度的快速发展,同步甚至更快地发展壮大。
2019年,百度推出文心大模型,经过多次迭代,从单一的自然语言理解延申到多模态,包括视觉、文档、文图、语音等多模态多功能,因此,“文心一言”所基于的ERNIE系列模型也已经具备较强泛化能力和性能。
以最新发布的ERNIE 3.0 Zeus为例,该模型迭代于ERNIE 3.0,拥有千亿级参数。其已经具备智能创作等各类自然语言理解和生成任务,且公开数据集上小样本学习、理解和生成任务效果皆好于业界其他模型。
在深度学习框架层面,文心在大模型层面已经形成知识增强的ERNIE 3.0系列、跨模态系列等底座模型;百度飞桨平台在2022年底已凝聚535万开发者,基于飞桨创建了67万个模型,服务20万家企事业单位,构建起繁荣的AI技术生态。这都为百度打造文心一言提供了坚实的技术基础。
ChatGPT热度不减的背后,人工智能内容自动生成技术所需要的算力需求也水涨船高。数据显示,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),需要7~8个投资规模30亿、算力500P的数据中心才能支撑运行。
在业界尤为关注的算法和算力方面, 百度拥有多个云计算可用区、庞大的超算集群,奠定大模型训练的基础设施。目前公司有阳泉、徐水、定兴三个云计算中心,其中,阳泉智能云数据中心仅一期就可承载16万台服务器,预计整个百度阳泉云计算中心可承载24万台服务器。这意味着百度智能云能为文心一言大模型应用提供高并发、高弹性、高精度等不同计算需求。
百度自研AI芯片“昆仑”已在多场景实际部署几万片,在公司搜索业务中也已形成较强工程化实践。综上,这也意味着“文心一言”底层算力有所保证。
数据层面,ChatGPT模型训练使用主要来自互联网的文本数据库,包括从网络文本、维基百科、文章中获得高达 570GB的数据。
而在应用上,百度的搜索业务无疑在真实数据和用户需求理解方面的积累有较强的先发优势,这些大规模结构化非结构化数据有望支撑文心一言的充分预训练。这意味着相比ChatGPT,文心一言能够基于检索增强提升时效性准确性,并基于知识增强提升多轮推理对话。
不过,业界也要充分意识到大语言模型的技术难度。ChatGPT在发布之初也有诸多槽点,至今它仍会出现不少事实性错误。但随着越来越多人的使用,它的学习能力不容小觑。
这与大模型的底层技术逻辑有关,文心一言和ChatGPT背后,都是SFT(模型微调)、RLHF(强化学习)、prompt(用户指令)等技术。在训练阶段,SFT和RLHF通过学习真实的用户数据,提升模型效果;部署阶段,用户的prompt能够给预训练大语言模型提示,使模型能更好理解人类问题。
业内人士介绍,这些方法与大模型通过海量无标注数据训练是不同的,需要人的参与,作用是更好地理解人的意图,生成符合人的价值观、表达习惯的回复。中金互联网行业首席分析师白洋预计,随着文心一言的公众开放,有望建立起立真实的用户调用和模型迭代之间的飞轮,模型将越来越聪明。中国的大语言模型,值得市场给予一些信心与耐心。
(责任编辑:王治强 HF013)
【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。