武陵观察网 科技 “大模型算力需求超过半导体增长曲线,Chiplet是满足需求关键”

“大模型算力需求超过半导体增长曲线,Chiplet是满足需求关键”

·“从AI发展整个历史曲线来看,过去的算力需求是以倍数增加,现在是以指数的倍数增加,大模型本身就有10倍的跃迁,接下来还会继续保持这个速度增长,这超过了半导体能够提供的增长曲线。”

·“Chiplet正是满足当下对算力需求的关键技术,一方面,将更多算力单元高密度、高效率、低功耗地连接在一起,从而实现超大规模计算。另一方面,极大提高异构核之间的传输速率,降低数据访问功耗,从而实现高速预处理和数据调度。同时,降低存储访问功耗,满足大模型参数需求。”

奇异摩尔产品及解决方案副总裁祝俊东在2023国际集成电路展览会暨研讨会(IIC Shanghai)上。

“大模型所需要的参数和训练数据量和Deep Learning(深度学习)时期相比,有了数量级的提升。以GPT-3为例,1750亿的模型参数,45TB的训练数据集,是之前的10倍以上。大模型的训练,需要更大规模互联的计算平台,和更大规模的片上存储。”3月30日,奇异摩尔产品及解决方案副总裁祝俊东在接受澎湃科技(www.thepaper.cn)专访时表示。

在2023国际集成电路展览会暨研讨会(IIC Shanghai)上,祝俊东谈到,对于大模型而言,一个很大的挑战在工程方面——怎么样用更少的人工干预、更少的算力去实现,尤其是怎样获得足够高质量、足够大规模的算力。“GPT-3.5需要一万个CPU做级联,更不要说GPT-4、GPT-5,虽然我们在大力发展算力网络,但仍然很难达到。”

高性能计算三大挑战

祝俊东表示:“从AI发展整个历史曲线来看,过去的算力需求是以倍数增加,现在是以指数的倍数增加,大模型本身就有10倍的跃迁,接下来还会继续保持这个速度增长,这超过了半导体能够提供的增长曲线。”

同时,目前在高性能计算领域(与大模型密切相关),更大的挑战来自于其他三个方面。第一,在保持算力增加的同时,怎么样能提高算力功耗比?过去算力功耗比的提升落后于算力的提升,“那么五年之后,当算力中心变成zeta级(十万亿亿字节)的时候,需要的能量则会是0.5个原子弹的单量。” 祝俊东说。

其次,同样的问题发生在存储,存储访问所占的功耗比越来越高,整个互联效率也成为更大的瓶颈。特别是计算规模越来越大,不再可能用单一的芯片满足这个需求,所以大量的能量会浪费在互联的部分。

“ 因此,基于同构和板级互联的数据中心架构难以满足大模型的需求。” 祝俊东对澎湃科技表示,从顶层到软件到芯片都需要适应这样的变化,以一种新的方式满足未来的需求。

国际巨头的思路

在结束不久的2023 GTC大会上,英伟达创始人黄仁勋着重讲了两件事,第一是超大规模计算的超大规模集群。首先是用H100、A100芯片,通过NVLINK3.0把8个H100连在一起后就成为超大规模的引擎,可以以单颗满足训练需求。

“它的提升并不局限于提高了3倍单芯片的算力,以整个系统来看,因为更高速的极联,所以整个效率达到了过去的九倍。” 祝俊东向澎湃科技解释,通过这种方式,进一步用InfiniBand(高速、低延迟的计算机网络通信总线)组成超大规模的集群,可以把上万个DGX(超级计算机)连接在一起,通过这种方式满足未来越来越快的需求,按照目前的计算要满足800G(数据速率)的门槛。

另外一件事情就是异构计算,把CPU和GPU更有效组合在一起。用这样的异构架构处理数据集、推荐系统和大型语言模型的AI。

英特尔也在做同样的事情。英特尔于去年年底发布了第一款3D GPGPU,在一颗芯片里集成了47颗芯粒,有5种制程,以此获得比上一代高出三倍性能的提升。英特尔也做了8颗可以超高速互联的网络,通过这种方式能使其变成更大规模的计算集群。

同时,英特尔计划在2025年发布更快更小的3D芯片新技术,以三维空间(3D)方式堆叠“瓦片”或“小芯片”,而不是用二维空间将芯片全部打包来计算。可以是CPU+GPU,也可以是一个超大规模的GPU集群,通过这种方式提供更好的极联和互联性能,在不同的领域可以用最合适的方法去解决相关问题。

AMD在这个方向走在了更前面,已经发布了第一个数据中心APU(Accelerated Processing Unit,加速处理器)产品MI300,“其在下面集中了10颗或11颗芯片,其中6颗是CPU,2到3颗是GPU,它是业界第一颗3D的APU产品,同时也有自己的互联架构,甚至显卡GPU也有类似的产品。” 祝俊东介绍说,由此可以发现,超大规模集群已经成为未来的发展方向,而且异构也是一个非常重要的方向,Chiplet(芯粒)会是它的核心关键。

Chiplet怎么满足大模型的算力需求?

Chiplet通常被翻译为“芯粒”或“小芯片”,通过将原来集成于同一系统单晶片中的各个元件分拆,独立为多个具特定功能的Chiplet,分开制造后再通过先进封装技术将彼此互联,最终集成封装为一系统晶片组。也就是说,其能在不改变制程的前提下提升算力,降低成本,并保证芯片制造良品率。

Chiplet正是满足当下对算力需求的关键技术,祝俊东对澎湃科技解释道,一方面,通过Die2Die连接(Die是从晶圆上切割出来的一块具有完整功能的芯片)和Fabric互联网络,能够将更多算力单元高密度、高效率、低功耗地连接在一起,从而实现超大规模计算。

另一方面,通过将CPU和GPU、NPU高速连接在同一个chiplet中,实现芯片级异构系统,极大提高异构核之间的传输速率,降低数据访问功耗,从而实现高速预处理和数据调度。同时,其采用非先进制程构建Cache(位于CPU与内存之间的临时存储器),提高片上Cache的容量和性价比,并通过3D近存技术,降低存储访问功耗,从而满足大模型参数需求。

然而,转向支持基于Chiplet的集成系统是一个系统工程,不同公司必须开始相互共享芯片IP,这是一个很大的障碍。

在被问及打造开放Chiplet生态圈有哪些思路时,祝俊东说,Chiplet正从1.0阶段,即Fabless全自研,走向2.0阶段,产业链分工合作,因此互联互通和芯粒生态正变得越来越重要。具体的思路有三个方面:

第一是推动互联标准的建立和普及,无论是国际的UCIe(Intel、AMD等公司提出新的Chiplet标准),还是国内的小芯片标准。

第二, 提供丰富的产品和方案,不同封装形态下的Die2Die接口,应用于不同行业的高速互联芯粒,加速chiplet产品落地。

第三,加强上下游的深度合作。

本文来自网络,不代表本站立场,转载请注明出处:https:

武陵观察网,情感,两性,娱乐

武陵观察网后续将为您提供丰富、全面的关于武陵观察网,情感,两性,娱乐内容,让您第一时间了解到关于武陵观察网,情感,两性,娱乐的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。