·Meta发布其最新开源人工智能模型Llama 2,可免费用于研究和商业用途。微软成为Llama 2的首选合作伙伴。这可能对生成式人工智能软件市场的现有格局带来改变,加剧大模型间的竞争。
·高通和Meta同日宣布,从2024年开始,Llama 2可以在手机和PC上的高通芯片上运行,该技术将使智能虚拟助理等应用成为可能。
Meta首席执行官马克·扎克伯格最近攻势猛烈。
在社交媒体产品Threads挑战推特并成为史上用户增长最快的App之一后,当地时间7月18日,Meta发布其最新开源人工智能模型Llama 2,可免费用于研究和商业用途。Llama自发布后便被称为AI社区内最强大的开源大模型,但因为开源协议一直不可免费商用。
值得注意的是,Meta同时宣布微软是Llama 2的首选合作伙伴,Llama 2将由微软通过其云服务分发,并在Windows操作系统上运行。众所周知,微软一直和OpenAI在生成式人工智能方面密切合作。
Llama 2也将在亚马逊云(AWS)、Hugging Face和其他提供商上使用。Meta首席人工智能科学家杨立昆(Yann LeCun)在推特上表示,“这将改变大语言模型(LLM)市场的格局。”
Llama模型是什么?
Llama全称为Large Language Model Meta AI,今年2月,Meta推出了第一个较小版本的Llama,仅限研究人员使用。Meta当时称,Llama参数量仅为OpenAI的大模型GPT-3的10%,但性能却优于GPT-3。
与GPT-3相比,Meta在一开始就将Llama定位成一个“开源的研究工具”,该模型所使用的是各类公开可用的数据集(例如Common Crawl、维基百科以及C4)。该项目组成员纪尧姆·兰普尔(Guillaume Lample)在推文中指出,“与Chinchilla、PaLM或GPT-3不同,我们只使用公开可用的数据集,这就让我们的工作与开源兼容且可以重现。而大多数现有模型,仍依赖于非公开可用或未明确记录的数据内容。”
Llama 2的参数。
此次Meta发布的Llama 2实际上是一个开源AI大语言模型系列,包含70亿、130 亿和700亿3种参数变体。此外,他们还训练了340亿参数变体,但只在技术报告中提及,并未发布。
据扎克伯格介绍,Llama 2的训练数据相比Llama 1多了40%,纳入了超过100万条人工注释,以提高其输出的质量。
Meta副总裁艾哈迈德·阿尔达勒(Ahmad Al-Dahle)表示,训练数据有两个来源:在线抓取的数据,以及根据人类注释者的反馈进行微调和调整的数据集。Meta表示,它没有在Llama 2中使用Meta的用户数据,并排除了来自拥有大量个人信息的网站的数据。
业内人士认为,从某种意义上讲,Llama是对2022年3月发表的Chinchilla模型及其论文《训练计算优化型大模型》(Training Compute-Optimal Large Models)的直接反应。这篇论文的核心观点是,AI训练与推理的最佳性能未必由大模型的参数量直接决定。相反,增加训练数据并缩小模型体量才是达成最佳性能的前提。这样的训练可能需要更多时间,但也会带来有趣的意外收获——在推理新数据时,小模型的速度更快。
也是在这种思路下,大模型Llama 2可以“在边缘”或“在设备上”,而不是“在云端”运行。
当地时间7月18日,高通和Meta同日宣布,从2024年开始,Llama 2可以在手机和PC上的高通芯片上运行。到目前为止,因为对计算能力和数据的巨大需求,大型语言模型主要在大型数据中心运行。高通表示,该技术将使智能虚拟助理等应用成为可能。
“100亿-150亿参数级别的模型可以覆盖绝大多数生成式AI的用例。”高通技术公司产品管理高级副总裁兼AI负责人齐亚德·阿斯哈尔(Ziad Asghar)7月初在接受澎湃科技(www.thepaper.cn)采访时介绍,“届时我们会拥有非常丰富的使用场景,手机会成为真正的个人助理,与手机交流和交互,能够成为我们日常行为的自然延伸,如用于预约会议、写邮件,以及在娱乐和内容生产上。”
成为OpenAI的领先替代方案
Llama模型商业版本的开源将对生成式人工智能软件市场的现有格局带来改变,它可以成为收费的ChatGPT的绝佳替代品,可能将加剧大模型间的竞争。
某种程度上,开源模型的任何渐进式改进都会蚕食闭源模型的市场份额。斯坦福大学基础模型研究中心主任Percy Liang表示,像Llama 2这样强大的开源模型对OpenAI构成了相当大的威胁。Liang是自然语言处理(NLP)领域的著名研究者,师从机器学习泰斗迈克尔·乔丹(Michael I. Jordan)。
“Llama 2不是GPT-4。”Liang说,Meta在其研究论文中承认,Llama 2和GPT-4(目前OpenAI最先进的人工智能语言模型)在性能上仍然存在很大差距。“但对于许多用例,你不需要GPT-4。”
Liang认为,像Llama 2这样更加可定制和透明的模型,比起大型、复杂的专有模型,或能让使用者更快地创建产品和服务。
加州大学伯克利分校教授史蒂夫·韦伯(Steve Weber)表示,“让Llama 2成为OpenAI的领先开源替代方案,对Meta来说将是一个巨大的胜利。”
Meta在发布Llama 2的新闻稿里称,他们相信,“开放的方法是当今人工智能模型开发的正确方法,特别是在技术快速发展的生成领域。”此外,“我们相信它更安全。开放对当今人工智能模型的访问意味着一代开发人员和研究人员可以作为一个社区对其进行压力测试,快速识别和解决问题。”
微软现在是Meta的合作伙伴
作为OpenAI的亲密伙伴,此次微软作为Meta首选合作伙伴的出现意味深长。
一方面可以理解为,为了应对主要云服务竞争对手,微软也希望多种人工智能模型可供选择。此前,亚马逊云(AWS)宣布,除了自家的Titan之外,还提供由著名初创公司Anthropic开发的人工智能Claude的访问权限。同样,谷歌也表示有意让其云客户使用Claude和其他模型。
另一方面,据此前《华尔街日报》揭秘,微软与OpenAI合作的背后实际上也是“相爱相杀”的关系。
知情人士称微软内部出现了抱怨AI研发预算减少的声音,微软部分研究人员还抱怨OpenAI不愿开放技术细节。知情人士称,虽然微软有少数内部团队可以接触到该模型的底层工作原理,例如代码库和模型权重,但大多数团队还是被直接拒之门外。尽管微软持有OpenAI大量股份,可大部分员工在使用OpenAI模型时享受的待遇甚至等同于普通外部供应商。
与此同时,微软和OpenAI都在营销大模型的使用权,有时是针对同一个客户。而且OpenAI正在加速与企业合作,包括与微软竞争对手的合作,如客户关系管理(CRM)软件服务提供商Salesforce。它们在ChatGPT的支持下打造了Einstein GPT,主要卖点是自动完成某些日常任务,比如生成营销类电子邮件,这跟微软基于OpenAI技术打造的功能高度重合。
当天,微软还宣布,计划就使用其办公软件Microsoft 365的人工智能助手向企业收取每人每月30美元的费用,该软件包括Word和Excel。这个价格是微软目前对这款生产力软件最廉价版本收费的两倍多。消息宣布后,微软股价18日收盘创下历史新高,当天上涨4%,收于359.49美元,今年上涨了约50%。