4月16日,在百度AI开发者大会上,百度创始人、董事长兼首席执行官李彦宏表示,文心一言从去年3月16日首发,到今天是一年零一个月的时间,用户数突破了2亿,每天API的调用量也突破了2亿,服务客户数或者说企业达到了8.5万,利用千帆平台开发的AI原生应用数超过了19万。
过去一年,是百度实践和开发AI原生应用的一年,在梳理具体思路和工具时,他感概万千:“大语言模型本身并不直接创造价值,基于大模型开发出来的AI应用才能满足真实的市场需求。今天我想跟大家分享的是一些基于大模型开发AI原生应用的具体思路和工具。这是我们百度根据过去一年的实践,踩了无数的坑,交了高昂的学费换来的。”
第一是MoE。未来大型的AI原生应用基本都是MoE的,这里所说的MoE不是一般的学术概念,而是大小模型的混用,不依赖一个模型来解决所有问题。
第二是小模型。小模型推理成本低,响应速度快,在一些特定场景中,经过精调后的小模型,它的使用效果可以媲美大模型。这就是我们发布ERNIE Speed,ERNIE Lite、ERNIE Tiny三个轻量模型的原因。我们通过大模型,压缩蒸馏出来一个基础模型,然后再用数据去训练,这比从头开始训小模型,效果要好很多,比基于开源模型训出来的模型,效果更好,速度更快,成本更低。
第三是智能体。智能体是当前非常热的一个话题,随着智能体能力的提升,会不断催生出大量的AI原生应用。智能体机制,包括理解、规划、反思和进化,它让机器像人一样思考和行动,可以自主完成复杂任务,在环境中持续学习、实现自我迭代和自我进化。在一些复杂系统中,我们还可以让不同的智能体互动,相互协作,更高质量地完成任务。这些智能体能力,已经开发出来了,并且向开发者全面开放。
正如李彦宏所言,文心一言以文心大模型为基座,在开发者大会上,李彦宏正式发布文心大模型4.0的工具版。在他看来,现在,大家可以在工具版上,体验代码解释器功能,通过自然语言交互,就能实现对复杂数据和文件的处理与分析,还可以生成图表或文件,能够快速洞察数据中的特点、分析变化趋势、为后续的决策提供高效和精准的支撑。
“文心大模型已经成为了中国应用最广泛的AI基础模型。不仅如此,相比一年前,文心大模型的算法训练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了105倍,推理的成本降到了原来的1%。也就是说,客户原来一天调用1万次,同样成本之下,现在一天可以调用100万次。”李彦宏表示。
具体而言,三大开发工具是本次开发者大会的重中之重,即AgentBuilder、AppBuilder和ModelBuilder,支持开发者打包带走,开箱即用。
首先是智能体开发工具AgentBuilder。智能体可能是未来离每个人最近、最主流的大模型使用方式,基于强大的基础模型,智能体可以批量生成,应用在各种各样的场景。
AppBuilder,是目前最好用的AI原生应用开发工具。在AppBuilder上面,百度提前封装和预置了开发AI原生应用所需的各种组件和框架,大幅降低开发门槛。最快只需三步,开发者就可以用自然语言开发出一个AI原生应用,并且能够便捷地发布、集成到各种各样的业务环境中。
各种尺寸的模型定制工具ModelBuilder则是更适合专业开发者使用的工具,它可以根据开发者的需求定制任意尺寸的模型,并根据细分场景对模型进一步精调,这样就能达到更好的效果。
李彦宏介绍,因为有了基础模型文心4.0,我们可以根据需要,兼顾效果、相应速度,推理成本等各种考虑,剪裁出适合各种场景的更小尺寸模型,并且支持精调和post pretrain。这样通过降维剪裁出来的模型,比直接用开源模型调出来的模型,同等尺寸下,效果明显更好;同等效果下,成本明显更低。“所以开源模型会越来越落后。”
以下是李彦宏《人人都是开发者》主题演讲实录:
你只要会说话,就可以成为一名开发者
大家好,欢迎参加Create 2024百度AI开发者大会,这是Create大会首次在粤港澳大湾区举办。今天现场来了5000多位开发者和科技爱好者。过去这一年,我跟很多创业者、开发者交流,感觉大家都处在一种“FOMO”状态,也就是Fear of Missing Out,既兴奋、又害怕错过。确实,大模型和生成式AI,将彻底改变开发者这个群体。
过去,开发者用代码改变世界;未来,自然语言将成为新的通用编程语言,你只要会说话,就可以成为一名开发者,用自己的创造力改变世界。
这一天并不遥远,我们看到,因为有了强大的基础大模型,有了很多低门槛,甚至零门槛的开发工具,开发者的生产力大大提高了。
比如,基于文心大模型的智能代码助手Comate,不仅支持100多种语言和所有主流IDE平台,可以推荐代码、生成代码注释、查找代码缺陷、给出优化方案,还可以深度解读代码库、关联私域知识生成新的代码。上岗一年多,Comate已经走入了喜马拉雅、三菱电梯、软通动力等上万家企业,生成的代码采纳率达到了46%,百度每天新增的代码中,已经有27%是由Comate生成的。
今天,你不会写代码,也可以做出一个AI应用;不用编程,也可以做出一个智能体。AI正在掀起一场创造力革命,未来开发应用就像拍个短视频一样简单,人人都是开发者,人人都是创造者。
作为一家技术公司,百度的角色定位,就是尽可能地为大家提供所需的开发工具,不断提升整个社会的创造力。具体来说,我们提供1个强大的基础模型系列,就是文心大模型系列,这包括旗舰版的ERNIE3.5,ERNIE4.0,也包括轻量版的ERNIE Speed、Lite、Tiny等等。
我们还提供基于大模型来开发各种应用的工具,包括智能体开发工具AgentBuilder,AI原生应用开发工具AppBuilder,以及各种尺寸的模型定制工具ModelBuilder。这三个工具,都代表了先进生产力。下面,我会给大家一一展示。
文心一言用户超2亿,文心大模型4.0工具版发布
首先讲一下,文心一言和文心大模型的最新进展:
文心一言从去年3月16日发布,到今天是一年零一个月的时间。我们的用户数突破了2亿,API日均调用量也突破了2亿,服务的客户数达到了8.5万,利用千帆平台开发的AI原生应用数超过了19万。
我们看看,大家都在用文心一言做什么?
(详见文心一言用户采访视频)
视频中的真人真事只是冰山一角。我们可以看到,文心一言正在改变更多人的工作和生活。
支撑文心一言的基座模型,就是文心大模型。过去一年,它经历了从3.0版本到3.5,再到4.0版本的进化。文心4.0在理解、生成、逻辑、记忆四大能力方面,均达到了业界领军水平。
近几个月来,文心大模型在代码生成、代码解释、代码优化等通用能力方面实现了进一步的显著提升,达到国际领先水平。
今天,我们正式发布文心大模型4.0的工具版,现在,大家可以在工具版上,体验代码解释器功能,通过自然语言交互,就能实现对复杂数据和文件的处理与分析,还可以生成图表或文件,能够快速洞察数据中的特点、分析变化趋势、为后续的决策提供高效精准的支撑。
文心大模型已经成为了中国最领先、应用最广泛的AI基础模型。
不仅如此,相比一年前,文心大模型的算法训练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了105倍,推理的成本降到了原来的1%。
也就是说,客户原来一天调用1万次,同样成本现在可以调用100万次。媒体可能不会因为成本下降99%而兴奋。但是企业也好,开发者也好,一旦用起来,最关注的就是效果和成本。
我们能在提升性能的同时,把推理成本降到1%,正是因为百度在芯片、框架、模型、应用这四层架构上有着全栈的布局,通过端到端优化,不断地把成本打下来,让更多人都可以高效、低价地用大模型来做AI应用。
毫无疑问,大模型相关的话题,在2024年依然会很热,各类技术突破还会不断涌现。媒体也会继续热衷于用“震撼发布”“史诗级更新”这样的标题进行渲染。但我想强调的是,大模型本身并不直接创造价值,基于大模型开发出来的AI应用才能满足真实的市场需求。
分享开发AI原生应用的具体思路和工具:“踩了无数的坑,交了高昂学费”
今天我想跟大家分享的是一些基于大模型开发AI原生应用的具体思路和工具。这是我们百度根据过去一年的实践,踩了无数的坑,交了高昂的学费换来的。
第一是MoE。未来大型的AI原生应用基本都是MoE架构,这里所说的MoE不是一般的学术概念,而是大小模型的混用,不依赖一个模型来解决所有问题。但什么时候调用小模型、什么时候调用大模型、什么时候不调用模型,这都是有技术含量的,要针对应用的不同场景做匹配。
第二是小模型。小模型推理成本低,响应速度快,在一些特定场景中,经过SFT精调后的小模型,它的使用效果可以媲美大模型。这就是我们发布Speed,Lite、Tiny三个轻量模型的原因。我们通过大模型,压缩蒸馏出来一个基础模型,然后再用数据去训练,这比从头开始训小模型,效果要好很多,比基于开源模型训出来的模型效果更好,速度更快,成本更低。
第三是智能体。智能体是当下很热的一个话题,随着智能体能力的提升,会不断催生出大量新的应用。智能体机制,包括理解、规划、反思和进化,它让机器像人一样思考和行动,可以自主完成复杂任务,在环境中持续学习、实现自我迭代和进化。在一些复杂系统中,我们还可以让不同的智能体互动,相互协作,更高质量地完成任务。这些智能体能力,反思、规划、自我计划的能力,我们已经开发出来了,并且向开发者全面开放。
在MoE、小模型、智能体这三个方向上,百度都已经给大家做好了“开箱即用”的工具。下面,我就给大家介绍三种不同的工具,分别是:智能体开发工具AgentBuilder、AI原生应用开发工具AppBuilder、各种尺寸的模型定制工具ModelBuilder。
智能体开发工具AgentBuilder:
智能体是里每个人最近、最主流的大模型使用方式
首先是智能体开发工具AgentBuilder。智能体可能是未来离每个人最近、最主流的大模型使用方式,基于强大的基础模型,智能体可以批量生成,应用在各种各样的场景。
百度刚刚升级了文心智能体平台。截至目前,已经有3万多个智能体被创建、5万多名开发者和上万家企业入驻。我们的目标是,让每个人、每个组织都成为智能体的开发者,打造国内最完整的智能体生态。
那如何实现这个目标呢?就是给大家提供零门槛的智能体开发工具AgentBuilder。
下面我们就先以“新加坡旅游局”为例一起看看,一个智能体是如何做出来的。
(详见【新加坡旅游局】demo)
首先,我们打开文心智能体平台,创建页面有着零代码、低代码两种模式,新手可以直接选择“零代码模式”,用自然语言,几句话就能创建一个智能体。
我们先给智能体起名叫“新加坡旅游局”,然后在设定里写明需要打造旅游方案、解答问题,提供酒店门票预订服务,这些设定都是用来指导智能体的,告诉它都能做什么。
如果只需要基础智能体,平台会自动完成填写。但我们希望“新加坡旅游局”是一个专业的智能体,所以要进行高级配置。我可以把新加坡百科词条和官网链接都添加到知识库里,让它每天更新。然后添加一些工具,如酒店查询、景点门票购买等,增强它的服务能力。目前我们已经跟携程合作,提供了酒店、景点、票务等旅游服务工具。这样,一个新加坡旅游局的智能体就做好了,可以进一步预览、调优。
现在打开百度APP,搜索“什么时候去新加坡人最少”,因为大家出去旅游都想避开人潮。智能体会综合多个来源的信息,生成一个答案,“1-3月人最少”。我们还可以点击智能体,和它进一步互动,比如去新加坡旅游的注意事项,推荐新加坡排名前三的酒店,还能让它直接预订新加坡环球影城的门票,一站式解决需求,大大节省了用户时间。
除了新加坡之外,大连、沈阳等文旅类智能体也都在文心智能体平台上线,还有知识类、创作类、学习类、娱乐类等各式各样的智能体,这些都是用AgentBuilder做出来的。
去年文心一言刚发布的时候,我就说过,文心一言会影响到每一家公司。因为它强大的自然语言理解能力、表达能力、推理能力,可以使任何一个公司都离自己的客户更近。
今天,每一个商家、每一个客户,都能在百度拥有专属的智能体。整个过程完全不需要编程,通过类似提示词的信息输入,和简单的几步操作调优,就能迅速生成一个智能体,成为7X24小时在线的金牌业务员。
我们来看一下,一个商家智能体是怎么做出来的。
(详见【启德教育】demo)
启德教育是家知名教育企业,在全国有60多家分支机构,还有很多海外分公司,覆盖国家广,对接待的话术要求很高。如何能全天24小时回复客户的咨询,并且提高接待水平、降低经营成本呢?
启德教育利用百度的AgentBuilder,打造了专属的智能体。
我们来看看,如何打造一个具备基本能力的智能体。很简单,在平台上填写智能体的头像、名称、经营业务范围和欢迎语,再设置一些需要用户提供的信息,比如年龄、学历。5分钟、零门槛,一个智能体就做好了。
启德教育还希望这个智能体是个懂业务、懂学生的留学顾问。它可以针对学生的不同情况,比如想去美国还是澳洲、是硕士还是学士、雅思和托福考了多少分等等,做出专业分析,给出精准回答。我们可以通过添加知识、角色、工具这几大模块,来打造一个更高级的智能体。
在知识模块中,上传私域知识,让平台实时解析,自动生成对话语料;在角色模块,把一些不在经营范围内的留学国家,增加到过滤方案中,可以提高用户线索的有效率;在工具模块,加入预约到店等服务。通过这样几步简单操作,一个拥有专业能力的启德教育智能体就做好了。
现在,我们来搜索“澳洲留学申请条件”,可以看到智能体快速给出了需要的语言能力、专业选择等七大必备条件,还给能出相应的留学咨询方案,对各种难题都有问必答、有求必应。
启德教育智能体非常的受欢迎,上线第一周,就成功分发了155万次,与用户交互了5.8万次,线索转化量直线增长、有效线索的转化成本明显降低,经营效率大幅提升。
下面,我再给大家介绍一个家居行业的智能体。
(详见【索菲亚(002572)】demo)
索菲亚是专注全屋定制的家居品牌。就像刚刚展示的,它也可以通过填写极其简单的信息,创建出一个基础的商家智能体。但对于家居行业,消费者的线下体验更重要,所以索菲亚希望能在线上打造出一个金牌销售,还原线下的接待体验。
因此在进一步的设置中,它在角色模块,选择了数字人作为展示方式,然后给数字人选取了合适的背景和声音,并且结合平台的智能解析能力,自动总结了一套销售话术。最终打造出一位温柔亲切、话术专业的金牌销售,她能24小时满足用户的各种需求,提供高水准的服务体验。
当百度搜索用户有装修诉求时,索菲亚智能体会利用文心大模型的能力,优先给出问题的答案。除此之外,她还会主动与客户确认具体需求,如装修类型、预算等,并推荐附近的线下门店。
索菲亚商家智能体上线以来,有效线索成本下降了30%。也就是说,它获得一个有效客户,如果过去的成本是100块,现在只需要70块了。
目前,已有超过1万个百度的客户拥有了商家智能体,涵盖了教育培训、房产家居、机械设备、商务服务等超过30个行业。
上面,通过三个Demo,我展示了开发者和商家,如何利用AgentBuilder,制作不同行业智能体的过程。
现在,制作一个智能体,真的就是分分钟的事。但问题来了!如果没流量、没分发、找不到、没人用,那么开发者和商家就没有收益,没有收益就没有动力。怎么解决这个痛点呢?
我们的文心智能体平台,为开发者们提供了流量变现的通路。除了百度搜索,百度生态的其他产品,如小度、地图、贴吧、车机等,都能接入智能体的相关能力,为开发者解决流量分发的后顾之忧,获得实打实的收益。
有分发,就会有数据反馈;有数据反馈,飞轮转起来,智能体就能够自主迭代,越用越聪明。文心智能体平台还上线了智能体的数据分析和问答调优模块,不久后还将有更多的新能力上线。文心智能体平台将通过分发-诊断-收益的数据飞轮,驱动智能体形成质量更优、流量更好、收益更大的正循环。
AppBuilder:自然语言三步就能开发一个应用
下面,我给大家介绍第二个开发工具,AppBuilder。它是目前最好用的AI原生应用开发工具。在AppBuilder上面,我们提前封装和预置了开发AI原生应用所需的各种组件和框架,大幅降低开发门槛。
最快只需三步,开发者就可以用自然语言开发出一个AI原生应用,并且能够便捷地发布、集成到各种各样的业务环境中。我们来看几个案例:
今年年初,我们搞过一期AI原生应用开发挑战赛,赛题是利用AppBuilder打造一款“游乐场排队规划助手”,帮助游客更好地了解游乐场排队情况,设计个性化的游玩路线,在有限时间内获得最好的游玩体验。
这期比赛的冠军选手,没写一行代码,就开发出了应用,拿到了百度提供的10万元大奖。这个题目如果会写代码的话,你写一个并不难,但是你一行代码都不写还能做出来,那还是非常依赖基础模型和AppBuilder这个工具的能力的。
(详见【游乐场排队规划助手】demo)
我们来看下,怎么用AppBuilder,把这个AI应用做出来。
我们先回顾一下赛题。它假定了“环球影城”各个项目的排队时间和刺激指数,那么在有限的时间内获得刺激指数最高的体验,就是这期赛题要解决的问题。
首先,打开AppBuilder的开发界面,给应用起名“游乐场排队助手”;第二步,我们在角色指令中描述具体要求,包括调用代码解释器、算出在固定时间内的最佳组合、输出结果等;第三步就是到工具组件中,把代码解释器添加进来,帮助运算。
现在,我们来测下效果,在右侧输入问题“我有3个半小时时间,怎么玩最刺激?”,可以看到,代码解释器将这个问题翻译成了代码,再调用数据理解工具,对已知条件进行分析。经过一系列计算,得出将《哈利波特禁忌之旅》、《侏罗纪大冒险》、《霸天虎过山车》、《大黄蜂回旋机》,这四个项目组合游玩,效果最佳。测试没问题,点击发布,在零代码的情况下,一个应用就生成了。
现在,AppBuilder又进一步升级了,在创建的过程中,全部可以通过“AI优化配置”功能,自动帮助开发者优化角色指令、组件配置等环节,进一步提高开发效率。
我们再看一个例子。
今年年初,华北电力大学提出,希望为全校师生提供智能化的专属服务。基于百度的AppBuilder,我们共同打造了一个华电AI助理,下面,我来给大家展示一下,华电AI助理是怎么做出来的:
(详见【华北电力大学】demo)
第一步:打开AppBuilder,进入创建页面,点击AI自动生成配置。首先为应用设置名称、简介、头像等基本信息。
第二步:通过自然语言在角色指令中描述具体要求,包括任务、组件能力、要求与限制。
第三步:插入自定义的图书借阅查询、课表查询、学生成绩查询等组件,让校园助手能够具备智能化服务的能力。之后再为校园助手添加一个开场白,这样应用就配置好了。
接下来,我们在预览界面中,结合用户提问,对助手进行调试。比如询问四六级考试的报名时间,测试各组件自动调用的效果。
大家可以看到,通过这些简单的操作,这个应用就构建完成了。目前已经小规模测试上线,接入了查制度、查课程,充饭卡、借书籍等高频场景,服务了学校广大师生。后续,我们将与华北电力大学一起,进一步深化应用合作,提供更为丰富便捷的服务。
百度在跨模态方面,也有着多年技术积累。在AppBuilder上面,我们也提供了一定的跨模态能力,你只需要给一段文字,或者几句话,就可以快速创建绘画类的应用,像漫画、儿童画本等。
过程也很简单:打开AppBuilder,点击进入“应用创建”,输入角色指令,选择“添加文生图”组件,再输入三个推荐问题,就可以点击发布了。应用做好后,我们只需要输入一个大概想要的角色或剧情,AppBuilder就可以自动生成故事、输出图画。
百度文库最新推出的智能漫画和画本生成功能,就利用了AppBuilder上提供的这类组件。我们来看看,百度文库的漫画生成功能,是如何让每一个有创想的人,都能做出好作品的。
咱们以经典的《周处除三害》为例。
(详见【百度文库漫画】demo)
打开百度文库,输入主题《周处除三害》,这在《晋书》和《世说新语》里都有写到,文库搜索后,会根据原文生成故事,我们也可以再对故事内容进行修改;然后点击右侧的AI工具栏,开始创建这篇漫画。
进入漫画制作界面,文库将根据故事情节为我们自动生成漫画分镜;然后从光影、写实、卡通等多种风格中,选择最贴合故事的漫画风格;最后根据角色选择不同的人物形象,这样就完成了漫画的生成。
漫画生成后,我们可以在百度文库的智能漫画编辑器里,浏览完整的漫画。同时,文库支持对每一个画面进行编辑、修改和精调,比如,在左侧选中画面“周处与白额虎”,点击编辑,增加画面描述“人物面容清晰,画面明亮”,就能精调出更符合需求的漫画。大家看到,百度文库的漫画功能在角色和场景的风格一致性方面,都做得非常出色。
百度文库的智能漫画能力,极大地提高了创作漫画的效率,降低了漫画创作的成本和门槛,可以让更多有想法、有创意的人实现自己的漫画创作梦。
不止生成漫画,百度文库现在还可以帮助用户零门槛的创作画本。大家可能不知道,中国小孩一年的人均绘本阅读量只有10本,而欧美国家是50本左右。现在,AI能够让完全没有绘画能力的父母,也可以为自己的孩子创作一个专属的儿童画本了。下面我们就来看一下这个图文并茂的有声画本吧!
(详见【百度文库画本】demo)
从去年开始,我们用AI重构了百度文库,使它成为用户“内容生产的起点”。如今,在AppBuilder的支持下,百度文库新推出的智能漫画和智能画本功能,更是把场景延伸到了更加有趣的跨模态创作领域。
刚才我用三个案例,展示了如何用百度的AppBuilder,做出AI原生应用。大家应该能够感受到AppBuilder的两个明显优势:
一是功能强大。依托文心4.0对指令的理解和遵循能力,我们的AppBuilder,能保证冷启动就能达到一个不错的水平,不会因为效果差,再花很长时间去调优,大大降低了开发门槛。依托检索增强技术RAG,在知识问答等典型场景,我们的问答准确率和友好回复程度都达到了95%以上,大幅超越其他同类产品。AppBuilder还提供丰富完整的组件工具,包括百度搜索等基于百度多年技术积累的AI能力组件、大模型能力组件,还有百度独家开放的业务组件等55个组件。以及一些主流场景的第三方API,比如航班查询、论文查询等。我们还刚刚支持了自定义组件,客户可以直接对接自己专有的任何工具和数据。这些丰富的组件,共同支撑起了AI原生应用的高效开发。
二是简单易用。使用AppBuilder,只需三步即可快速创建应用、一键分发。我们也支持开源的SDK,方便大家进行二次开发。
模型定制工具ModelBuilder:高效低价生产模型
下面我再介绍一下更适合专业开发者使用的工具,那就是ModelBuilder,它可以根据开发者的需求定制任意尺寸的模型,并根据细分场景对模型进一步精调SFT,这样就能达到更好的效果。对开发者来说,用好大模型很重要的一件事儿,就是掌握模型精调的方法。
我们以教育行业的作文批改场景来举例。因为作文批改有明确的评分标准,并且不同年级对作文的要求和打分标准,也是不同的。这就需要模型精调,让大模型输出的结果,更符合特定的要求。
我们就来看一下,ModelBuilder是如何实现作文批改的模型精调的。
(详见【巨闲教育】demo)
第一步:创建数据集。模型精调的效果很大程度依赖我们的数据质量。在这个案例中,原始数据只有180条,质量也不够高。我们就需要用到三个功能:数据清洗、数据标注和数据增强。数据清洗,可以快速去除数据的空缺、乱码等问题。数据标注方面,我们对作文增加了更多维度,比如内容深度、写作手法等评价。数据增强功能,可以生成同类但不重复的数据,进行数据扩充。扩充后,ModelBuilder给我们生成了920条高质量数据。
第二步,就进入模型精调阶段了。首先,我们需要选择一个进行精调的基础模型,这里我们选择了ERNIE Speed作为基础模型。然后,我们根据平台推荐值来配置参数,这次数据接近1000条,按照推荐的迭代轮次,配置为10轮,然后就可以让模型开始训练了。
第三步:把模型部署在平台上,这样整个精调过程就完成了。
我们来用一篇中学作文,测试下精调后的模型效果。作文题目是《期待长大》,题材不限,不少于800字。
我们将一篇学生的作文及批改格式要求,输入到精调前后的两个模型里。来看下,两个模型及老师点评三者的对比。可以看到,精调后的大模型拥有了更加专业的老师点评思维、更好地做了格式遵循。原本老师需要较长时间才能完成的作文批改任务,现在借助大模型,几秒钟就可以快速完成,大大地提升了给学生反馈的速度和效率。目前,这一类精调后的模型,已经在多个教育行业的头部企业中应用起来了。
我前面谈到大型AI原生应用一般都是MoE。那么,该如何组合使用这些模型,获得最好的性价比呢?下面,我就用小度来展示一个MoE模型路由的案例。我们首先来看看,有了大模型的加持,小度是不是变得更聪明了:
Robin:小度小度
小度:在呢
Robin:今天有什么新闻?
小度:小度播3-5条当日新闻快讯
Robin:小度小度。听说你最近长本事了?
小度:我不单能陪你聊天,还能做你的AI日程助手
Robin:那我要来考考你了。帮我安排一下日程,今天活动结束后,我会和张总一起用晚餐,之后在酒店有个管理层的会议,大概需要1个半小时,希望10点之前可以结束。明早我准备晨跑,看看天气如何,然后上午8点有个早会,请帮我安排好日程。
小度:根据您需求,小度给您制定最优的日程安排如下
o您与张总晚餐安排在18:00-19:30,结束后,您将在20:00参加管理层会议,21:30左右结束
o明早6点闹钟将提醒您起床去晨跑,跑步时长控制在1个小时以内,确保明早8点早会不迟到
o明早天气晴朗,气温25度,建议您穿短袖外出,做好防晒
o您看我能不能当你的秘书,我还有更多新技能呢
Robin:挺好的,很棒(向小度竖起大拇指),把这些日程同步到我的手机上吧。
刚刚,我向小度提出了好几个问题,其中既有简单的新闻问询,也有复杂的日程安排需求。看起来是跟同一个小度在交流,其实背后调用了不同的模型。当它接受到我的问题后,先是由小模型ERNIE Tiny执行了“模型路由”的工作;对于天气问题,它根据天气查询的结果,调用基于ERNIE Lite打造的精调模型,也是经过SFT的ERNIE Lite,给出了穿衣建议;对于更复杂的日程安排,则调用了性能最好的大模型——文心4.0,来计算出从今晚到明早的各项事项安排。
今天,我们提给小度的每个问题,都会这样分配给不同模型来执行,调用应用的API接口时,会用ERNIE Functions模型,给孩子讲题时,用文心大模型3.5或4.0,智能助理的打造则用了ERNIE Character模型,提高人设一致性、激发用户聊天欲望。
通过这种大小模型的组合调度方式,小度不仅顺利完成了“换脑行动”,装上了全新的AI原生操作系统DuerOS X,而且形成了效果、速度和成本的最优组合,相比全部使用文心大模型的旗舰版,让响应速度提升2倍,成本下降了99%。刚才和我对话的这个小度添添AI平板机器人,昨天已经在各大平台全面开售,有兴趣的朋友们可以即刻下单体验了。
这几个关于ModelBuilder的例子,展示的是百度高效低价生产模型的能力。因为有了最强大的基础模型文心4.0,我们可以根据需要,兼顾效果、响应速度、推理成本等各种考虑,裁剪出适合各种场景的更小尺寸模型,并且支持精调和post pretrain。这样通过降维裁剪出来的模型,比直接拿开源调出来的模型,同等尺寸下,效果明显更好,同等效果下,成本明显更低。大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。
为了方便大家快速上手,ModelBuilder预置了最全面最丰富的大模型。包括了ERNIE3.5和ERNIE4.0,这是旗舰版的大模型,它适合通用的复杂场景,能力强大;还有三个轻量级的大模型,ERNIE Speed、Lite、Tiny;另外还有两个垂直场景的模型,ERNIE Character适合角色扮演;ERNIE Functions适合对话或问答场景中的外部工具使用和业务函数调用。当然ModelBuilder也支持国内外第三方主流模型,总数量达到77个,是国内拥有大模型数量最多的开发平台。
第二届“文心杯”创业大赛正式启动:设5000万元特别大奖
对于开发者,我们除了提供这些开发工具,还提供资金和资源方面的支持。
去年5月份,百度启动了“文心杯”创业大赛,希望推动大模型生态繁荣,打造更有活力的生态系统,帮助创业者、开发者开发各种AI原生应用。第一届“文心杯”创业大赛,我们收到了近1000支创业团队报名,百度为其中的15支优胜团队,提供了近亿元的投资支持,并且在技术、团队和资源上持续提供全方位扶持。
今天我宣布,第二届“文心杯”创业大赛正式启动。这次我们将扩大项目筛选范围、设置分赛场,面向全球市场及高校学子,招募创业创新团队,只要你的创业方向是AI原生应用,都可以在大赛官网报名参赛。同时,我们也加大了对创业者的支持力度,提供更充足的投资资金、更丰富的业务资源,还首次设立了“特别大奖”,特别优秀的项目将有机会获得最高5000万人民币的现金和资源支持。
中国的创业者和开发者,非常善于利用新技术来开发应用。我相信,文心大模型将成为中国AI创业者和开发者的首选,越来越多的应用会建立在文心大模型之上。我也期待,更多创业者和开发者加入我们,一起构建繁荣的AI生态。
视觉大模型最大的应用场景是自动驾驶
前面我们谈到的这些工具和案例,大部分都是基于大语言模型的。面向未来,我认为多模态大模型,或者说文字、图片、语音、视频等多模态的融合,是基础模型非常重要的长期发展方向,是通往AGI的必经之路。百度在这些领域有着长期投入,并将及时更新技术进展。
我有一个非常不一样的判断:视觉大模型最大的应用场景是自动驾驶。百度在这个方向上是最好的,是自动驾驶的全球领导者,我们不只训练AI如何生成视频,更训练AI理解真实世界发生的事情并预测未来。
基于超过1亿公里的、中国复杂城市道路测试里程数据,百度训练出来了Apollo视觉感知大模型。它具备检测、跟踪、理解、建图四大基础能力。这让百度拥有了更智能、适应性更强、更安全的自动驾驶方案。
百度地图也率先将视觉感知大模型应用到了制图领域。现在,全球最大规模的车道级地图数据,已经上线全国360座城市。只要百度地图导航能去的地方,智驾就都能开。
今年春节后,百度的萝卜快跑实现了万里长江“第一跨”,我们把服务从长江的北岸延伸到了南岸,在武汉的部分区域,我们已经实现了7X24小时的全天候运营,还计划年内在武汉部署1000台无人驾驶车辆。
这是自动驾驶走向真正商业化的一个标志性事件,它不再仅仅是区域性的示范,而是进入到了城市级应用示范的新阶段。萝卜快跑在武汉覆盖了3000多平方公里、770万人口,是全球范围内最大规模的自动驾驶运营区域。
“打包带走,随取随用”
刚才,我给大家展示了百度文心大模型系列,以及三个开发工具——AgentBuilder、AppBuilder、ModelBuilder,他们组成了一个工具箱,你们可以马上打包带走,随取随用。
此时此刻,我站在这里,其实也是一个开发者、一个创业者,跟大家一样兴奋。今天的中国,有10亿互联网用户,有强大的基础大模型,有足够多的AI应用场景,有全球最完备的产业体系,国家也在大力鼓励和支持“人工智能+”行动,每一个人,每一家企业,只需要充分利用这些工具,就可以释放无限的创造力和生产力。
今天,人人都可以成为开发者。而未来,也必将是一个由开发者一起创造出来的未来!
谢谢大家!
(责任编辑:康嘉林 )