谷歌大语言模型PaLM2-AI大语言模型

谷歌大语言模型PaLM2

访问网站

5月17日,谷歌在I/O开发者大会上发布的最新通用语言模型PaLM2使用的训练数据几乎是2022年上一代模型的5倍。该模型使用360亿个令牌进行训练。2022年发布的PaLM使用78亿个令牌。

新的PaLM2模型比之前的语言模型更小,这意味着谷歌的技术效率有所提高,但可以完成更复杂的任务。PaLM2基于340亿个参数训练,说明模型复杂度。最初的PaLM基于540亿个参数训练。

简而言之,PaLM2是谷歌在2022年5月发布的最新通用语言模型,相比去年发布的PaLM模型,它使用的训练数据增加5倍,达到360亿个令牌,但模型规模实际上更小,只有340亿个参数。这说明谷歌在语言模型领域的技术取得了很大进步,模型效率更高,可以处理更复杂的任务。

PaLM2大大提高了训练数据规模,达到360亿个令牌,但模型本身更小巧,仅340亿个参数,相比之下,上一代PaLM模型使用78亿个令牌但540亿个参数。这表明谷歌技术效率提高,PaLM2可以完成更复杂工作,这是由于训练数据增加带来的效果,而非简单放大模型规模。

通过增加训练数据但不简单放大模型大小,PaLM2实现了技术提高和增强学习能力。这为语言模型的进一步发展提供了范例,即要想模型性能进一步提高,增加数据规模是关键,但必须控制模型大小,实现更高的计算效率,这需要在数据与模型之间实现最佳平衡。PaLM2的发布标志着谷歌在通用语言模型和人工智能领域继续保持领先,通过新技术不断推进模型性能和学习能力,为各类应用场景提供更加强大的语言理解工具。但如何在海量数据和有限计算资源之间实现最佳平衡,进一步提高模型效率,则是人工智能发展需要解决的关键问题。

根据公开信息,PaLM2比现有任何模型都更加强大。Facebook 2月宣布的LLaMA语言模型使用140亿个令牌。OpenAI上次披露GPT-3时表示它使用30亿个令牌。OpenAI 3月发布的GPT-4在许多测试中与人类相当。

谷歌和OpenAI都试图吸引希望聊天机器人代替搜索引擎直接获取答案的用户。谷歌表示,PaLM2使用名为“计算机优化扩张”的新技术,让大语言模型更高效、性能更好,包括加速推理、减少参数调用和降低成本。该模型训练了100种语言,可执行更广泛任务。

它已用于25个功能和产品,包括实验性聊天机器人Bard。按规模从小到大,模型有4种:Gecko、Otter、Bison和Unicorn。

随着新AI应用快速主流,底层技术争议也越来越激烈。谷歌高级研究科学家El Mahdi El Mhamdi 2月辞职,主因是AI技术缺乏透明度。OpenAI CEO Sam Altman本周出席美国国会关于隐私和技术的听证会,表示需要新的制度应对AI潜在问题。

总之,PaLM2是谷歌开发的一种大语言模型,性能超过现有任何模型,可用于各种任务,并已集成在25个产品中。它使用一种新的技术,使模型更高效。相比之下,其他公司的模型规模和性能都不如PaLM2。

然而,PaLM2也面临技术缺乏透明度的争议,需进一步研究解决其潜在问题。PaLM2在编程、数学和创意写作等任务上表现最好。谷歌和OpenAI都试图利用这些模型开发聊天机器人,直接为用户提供答案。但随着这些应用进入主流,人工智能技术本身也面临更多争议,需要建立新的制度加以监管。