武陵观察网 财经 面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍

面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍

腾讯发布号称国内性能最强的大模型计算集群。

4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。 

腾讯表示,实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。 

2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

网络层面,计算节点间存在海量的数据交互需求,腾讯自研的星脉网络,为新一代集群带来业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。

本文来自网络,不代表本站立场,转载请注明出处:https:

武陵观察网,情感,两性,娱乐

武陵观察网后续将为您提供丰富、全面的关于武陵观察网,情感,两性,娱乐内容,让您第一时间了解到关于武陵观察网,情感,两性,娱乐的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。