武陵观察网 科技 英伟达悄然垄断算力:人工智能背后的新帝国

英伟达悄然垄断算力:人工智能背后的新帝国

图片来源@视觉中国

文 | 蓝字计划,作者|袁榭

1990年代中期,黄仁勋30出头,他创办的还没完全站稳脚跟,他希望如日中天的台积电能代工的显卡,他打电话过去,没人搭理。

多年后,他还在向张忠谋抱怨这段往事:“当年给你打电话打不通也没人回,是不是我电话号码记错了?给你公司在美国的销售部门打电话也没人接。”

今天,全球科技界恐怕没有几个人敢不接黄仁勋的电话,这个当年求人代工显卡的小伙子被称为“教主”,在3月21日的GTC大会上,他穿着标志性的黑色皮衣出现台上,说出了石破天惊的一番话:我们正处于AI的“iPhone时刻”。

2022年11月,大语言模型ChatGPT问世,预示着能生成自然文章和图像的“生成式AI”将在社会普及,给世界带来颠覆性的改变。而支撑这幅图景的,有的GPU——AI时代最重要的基础设施之一,GPU提供算力,犹如AI时代的原油。

2020年,全世界跑AI的云计算与数据中心,80.6%都在用的GPU驱动。2021年,称全球前五百个超算中,七成由它家的芯片驱动,在最新的超算系统中此比例是九成。运行ChatGPT的微软数据中心用了上万块H100 GPU。后续,预计需要超过3万块的GPU来维持更高版本的GPT模型运转。

如同1970年代的欧派克一限产,全世界的汽车都缺油。现在只要一断供芯片,管你天高股价、地大营收,全球前十大企业里,至少有一半要地震。

黄仁勋和他的算力帝国,已经能扼住时代命脉。这其中,有着通往未来30年的秘密。

十年前悄然发生的革命

2023年英伟达GTC的主题演讲中,黄仁勋专门提到了生成式AI的飞跃:

“十年间,我们从自动判读猫图,进步到能自动生成‘穿太空服的猫在月球漫步’的图片。”

皮衣老黄真不忘本。无论是“AI的iPhone时刻”,还是成为“算力油田”,都是蓄力于前,发端于自家的“猫片”。

2010年的一天,加州帕罗奥图市的琼安咖啡馆里,刚做上首席科学家的比尔·戴利(Bill Dally)和当时在谷歌大脑供职的AI界宗师吴恩达(Andrew Ng)聚餐。

十余年过去后他们会发现,正是这场会面,无意地打开了一道通往AI新世界的大门。

两个老友在席间聊起了吴恩达当时课题面临的障碍:训练神经网络AI的算力不够了。

具言之,谷歌要用数千万条YouTube视频来训练神经网络AI分辨猫与人的不同。而当时AI界的领军人物们仍然习惯串联CPU来执行此类任务。吴恩达预计,要完成课题得用1.6万块CPU。

就算是从不缺钱的谷歌,也不会给公司内任一研发项目组轻松批下买1.6万块CPU的预算。AI宗师当年也被难住了。

戴利听完老友诉苦,认为自己有现成解决方案:不就是在线寻猫片么,何必整1.6万块CPU,用我们公司的显卡产品,几十块就搞定,你信不信?

当时虽已制霸世界独立显卡业,但名声还只局限在极客、硬核游戏玩家、图形设计师等非普罗用户中。谁也不知道,这将是公司与人工智能行业双向奔赴、双双出圈的起点。

随后,戴利找上刚从加大伯克利分校招到的非正职研究员布莱恩· 卡坦扎罗(Bryan Catanzaro),请他帮忙。卡坦扎罗很快找到了解决方案:并联12块GPU成功驱动了吴恩达的神经网络模型,并联48块GPU就能获取预计要用1.6万块CPU才有的理想效果。

论文一出,学界响震:居然有这种好事?

两年后,AI界泰斗辛顿(Geoffrey Hinton)和学生克里泽夫斯基(Alex Krizhevsky)、萨茨克维尔(Ilya Suskever)效仿此举,用的GeForce GTX 580显卡训练由克里泽夫斯基提出的神经网络模型AlexNet,夺得ImageNet图像分类竞赛冠军,成为AI技术飞跃的奇点。

从此,在深度学习芯片市场上撒腿狂奔。2013年内,在全球深度学习芯片市场占有率是100%。在上个世纪能源是石油,在这个世纪能源是算力。以后的新时代里,黄仁勋的黑皮衣,如同上个世纪海湾国家显贵们的白罩袍,都是唯我独尊的霸主象征。

十余年过去,泰斗和宗师地位更高,年轻人也成了行业大佬。卡坦扎罗现在是副总裁、深度学习应用研究部负责人,萨茨克维尔现在是OpenAI的首席科学家、联合创始人、GPT系列大模型集合之父。

|左为黄仁勋,右为萨茨克维尔

ChatGPT面世后,意外风靡世界,被称为AI技术革命的开始。然而即使这个大模型集合如OpenAI一开始预期的,作为GPT3到GPT4之间的过渡实验版本简单飘过,AI技术革命的下一个出圈爆点,钥匙还是会掌握在高层的朋友圈里。

因为算力的扩张与通用、技术的开发与布局,是成功的因由。

一炮打哑,老黄吃瘪

大人物功成名就后,一般会支楞起来。

2018年初,《财富》杂志举办的活动中,有人问黄仁勋:你何时知道公司将会改变世界的?黄仁勋答:1993年2月17日,我成立公司的日子。不改变世界,我创个什么业?

皮衣哥自己说得响,但1990年代中,的运营低谷时账面上曾只有6个星期的资金,离关门一步之遥。

人尽皆知,靠开发显卡起家。然而黄仁勋创业的初心,与其说是做显卡,不如说一直都是求索算力提高的途径。

在1990年代,多媒体犹如近年的元宇宙、数据可视化犹如当下的生成式AI,都是从投资者到消费者都追捧的热门技术话题。多媒体与可视化数据在当年的舆论浪潮中,被夸到小可以养妻活儿、提高工作娱乐效率,大可以改天换地、重写行业经济版图。

这些技术的基础,是图像数据处理的更佳质量与速度。如果游戏、视频、PPT们始终停留在1992年的粗粝画质,啥都无从说起。

1995年,全球有三十家大公司在显卡市场上竞争。

然而追逐时尚比想象中要难。创业公司得决断:是专注个人电脑(PC)端的业务呢,还是专注特定公司的娱乐主机业务呢?是只做图像呢,还是做多媒体通抓音画呢?

尽管当时没有“赛道”的商业新话,企业家抉择的难度并不低于现在。

英伟达的创始概念是加速计算,即用特制设备来为CPU的运算工作减负提速,最简洁的落地方案,自然是堆算力造显卡处理图像。

筹到250万美元后,于1995年5月推出第一款产品:NV1。以现在的后见之明看,NV1的最大作用是给黄仁勋提供了反面经验:这种产品做得很好,以后千万不能做了。

出于为当时的游戏主机巨头世嘉公司服务的考量,NV1最突出的特色,是兼容世嘉游戏在PC上的运行,与业内既有和将出现的其他PC端3D图像程序基础架构的兼容性不够出色。

当时世嘉公司有意将游戏业务从街机、主机端扩展到PC端,NV1的努力迎合了主要合作商的需要,但局限了自己的市场潜力。而且NV1兼具显卡和声卡功能,偏离了加速计算基于图像落地的初衷,产品定位有欠清晰。

NV1没有一鸣惊人,公司却非一无所获。黄仁勋藉此从风投机构融了650万美元的第二轮投资。

不过在1997年8月推出新产品Riva 128前,已经裁员过半,银行账户只剩不到6周的流动资金。办公室既窄小,地段又不佳。剩余的员工们不仅要在乒乓球桌上吃饭,连停车场也只能蹭旁边富国银行的,而这家网点已经被抢劫过两三回了。

头炮打哑,只要教训真记住,对创业企业家来说并不完全是绝路。

虽然黄仁勋在各种活动上说创业首年的雇律师、订办公室早饭等各种经验非常宝贵,但从1997-1999年上半年的三款产品看,他记住的显然不止这些。

的过往,映照着它的未来。

把摩尔定律“卷”到极致

英伟达此后的转向,一是主业放弃多媒体,专做PC端的显卡。

1990年代中期,游戏业的热门话题是从主机/街机走向PC,而不被注意的潜流是游戏同时在从PC单机走向PC端多人在线。关于图形渲染的硬件性能需求因此与日俱增。只满足这个缺口,已经足以养活整个行业。

二是垂直整合显卡的配套软件,自行开发显卡驱动程序和拓展软件开发工具包(SDK,software development kit)。

过去的惯例是,这些显卡研发公司把设计交付主板芯片生产商之后,由生产商自己分包给另外的承包者写显卡驱动。至于用显卡做图形设计等专门工作的终端用户、PC运行系统的开发商,与显卡研发者没有直接配合。凡此种种,局限了显卡的性能潜力和用户体验。

1996年,专为配合微软当时刚推出的Direct3D图形渲染插件,写了自家显卡驱动程序。1998年开始,公司会定期即时更新自家的通用显卡驱动程序。此举持续至今。

三是全力秉持和实现摩尔定律。这是英伟达现在成为全球算力第一供应商的基础。

不久前去世的英特尔联合创始人戈登·摩尔(Gordon Moore),在1965年提出了摩尔定律:集成电路上可容纳的晶体管数目,约每隔两年便会增加一倍。衍生的推论,是每隔18个月,芯片的性能就会因此提高一倍。

公司的决策层,立志要将摩尔定律永续实现。

从1990年代后半叶开始,的产品设计与研发部门一直有三个部分同时工作:一部分负责本年度新品的设计,一部分负责去年出品的翻新挖潜设计,一部分负责明年新品的设计。每款产品之间,基本要有一倍的性能提高,如果显存没有涨一倍,那么核心频率就得快一倍,如果都不行,那么至少制程要明显缩小。

如此的结果,是每半年至一年就会推出性能换代的新品,1999年之前的产品内部代码全叫NV,即“下一版”(Next Version)的首字母缩写。其他同业公司跟不上如此搏命的步伐,纷纷退出竞争。

1995年的三十家显卡设计大公司,到1999年末只剩下三家。与之后被AMD收购的ATI,并肩收割游戏玩家、专业设计师等高性能显卡用户的市场份额。英特尔依靠PC主板的垄断生产商地位,包揽主板集成显卡的低性能用户市场。

1999年10月,推出GeForce 256,在营销中称“这是世界上第一款GPU”。同年,过去占据显卡市场龙头的3dfx公司破产,被收购。显卡业告别创业者纷纷崛起的时代,进入了“红绿蓝三国战争”的时代(按商标颜色不同的消费者昵称,“红厂”为AMD、“绿厂”为、“蓝厂”为英特尔)。

在20世纪的末尾,没人知道这场竞逐的结果,会决定之后由谁主宰世界算力的供应。

干翻英特尔和AMD

经过20年,红绿蓝三厂竞争显卡市场霸主地位的结果揭晓:“绿厂”英伟达胜出了。

这场“三国演义”里,“蓝厂”英特尔一直是配角。凭借全球PC主板市场的垄断地位,英特尔的注意力一直放在CPU而非GPU。在英特尔眼中,要提高性能,得整个主板的整全性能一起提升,只提升图像处理的速度,那是偏门小道。

所以英特尔做显卡只是占位,表示这个市场的钱自己还是要赚点,没有完全放弃。这个策略的结果,现在已经被人做成了搞笑哏图。

究其原因,是CPU要负责整个电脑主板的序时性复杂运算,而GPU在成为通用类芯片前只需负责图像处理的并时性简单运算。如下图所示,单个CPU的控制元件、基础运算单元(ALU)、缓存(Cache)等,都比单个GPU数量少而负重大,因此提升性能的设计与制造难度都远更高。

黄仁勋多次说过,以CPU而言,摩尔定律已经过气,英特尔CPU性能翻倍的最快时限是每五年。然而他家的GPU嘛,还是每一至两年内性能翻倍的哦。

真正的激烈竞争,发生在和ATI/AMD之间。

这场角逐的早期,并不显操胜算。在2006年被AMD收购前,ATI出品的显卡,无论更新速度还是单个性能,都屡有明显优于竞品的佳作。高端显卡的世界第一,在2000年代前半段看不出究竟属谁。

但ATI在这场竞争中已经后续乏力,的产品更新与性能提升速度,始终达到了摩尔定律的金标准。而ATI的产品更新目标,从胜过竞品,逐渐变成了赶上竞品。

ATI/AMD因应此形势的对策,是改作中端显卡:比英特尔的集显性能强,比的高端显卡更便宜。并且在营销中攻击的竞品又贵又耗电:顾客大爷你们千万不要被它越来越吓人的性能参数骗了,不是物超所值的哦。

2006年,ATI被AMD收购,少了一个强对手,胜算增加。

唯一的变数在于芯片代工厂。

显卡业的过往通则,是ATI、等品牌企业管设计,然后将设计方案交付给芯片厂,委托它们制作成品。

当然,不是没有公司想囊括从设计到生产的全链条,但此举一般会给自己带来双倍的麻烦:以前承接你生意的芯片厂合作伙伴,以后就是要抢你生意的竞争对手。1990年代从显卡龙头到被收购的3dfx,就是如此把自己玩破产的。

在被收购前,ATI是台积电的大客户。但收购之后,2009年AMD与半导体大厂格芯签约,所有芯片都交由格芯制造。而格芯在芯片制程缩小的技术革新中逐渐落后于台积电,带累了AMD的所有产品,包括显卡。

与之相对的,是英伟达与台积电1997年敲定的合作关系合作越发紧密。

而这两家公司的牵手之路,颇有戏剧性。

1990年代中期,台积电已经是市值近60亿美元的大公司,没有上市,年营收2700万美元,两者体量差距不小。正如本文开头所述,黄仁勋给张忠谋本人和台积电美国办公室打电话,没人接。

最后,黄仁勋做出了科技史上的著名举动:给张忠谋写纸信。1997年,人在新竹的张忠谋收到来自美国的黄仁勋的信函后,大感兴趣,如信中所邀,给公司办公室回了电话。

在张忠谋的回忆中,黄仁勋接电话时,办公室背景音嘈杂。在互相通名介绍后,皮衣哥不得不在公司里怒叱:“都闭嘴!悄声些!电话那头是张忠谋!”等到两人第一次见面,黄仁勋先讲了半天图像加速运算的产品理念,张老板表示非常认同,反手递来宣传单。黄仁勋本以为轮到台积电介绍自己的技术与产能了,结果打开一看,是讲公司价值观的。

在这段合作关系的初期如此伏低做小,越往后收获越大。台积电的芯片制程每年都在缩小,集成电路上的元器件现在已经微缩到物理极限,无法比原子更小。芯片的精密度与日俱增,算力也跟着有数量级的飞跃。

“显卡战争”的结果,是胜势如潮涌,成为显卡业的世界第一。制霸高端显卡市场的,有足够的营收来打中端显卡、低端集显的价格战,产品与技术研发也有更充足的预算。

的技术优势,从一步领先,到一骑绝尘。生成式AI爆火之后,2023年2月英特尔和AMD的CEO也在疾呼:我司有广泛的产品门类适合此行业,明年生成式AI将会更加主流普罗化、更有意义。

这简直是在哀求:时代的脚步啊,你等一等,别让姓黄的把这份钱都赚完了。

通用算力,一统江湖

胜出后,的显卡研发没有放缓,算力持续增强。在2000年代后半叶,就开始着眼未来,研究这些算力的未来用途。

2006年,推出CUDA开发平台,软件开发者可以通过这一平台,使用C语言编写GPU片上程序,来完成复杂的计算。GPU从此实际脱离图像处理的单一用途,成为了真正的GPGPU(通用GPU)。

强大的算力一旦能通用,成为其他行业的驱动力就是迟早的事。本身最先想通了这点,在AI领域的布局远比公众想象的早,技术领军人早就和关系密切。

2010年的吴恩达寻猫片典故之前,2008年卡坦扎罗加入公司,他当时在加州大学伯克利分校做研究生时,就将注意力集中在为AI开发GPU上。2009年,AI界泰斗辛顿在学术会议上,劝上千名研究者赶快买GPU,那是深度学习的未来之光。2016年,微软技术大拿黄学东创下了语音识别AI错误率与专业人类速记员持平的纪录后,得奖开香槟的地点,是黄仁勋的大别墅。

2010-2012年的深度学习飞跃开始后,已经是稳赢不输的世界“算力油田”,把握数据量与运算速度的世界巅峰。之后所有挑战都能克服,所有阻难都是表象。

把自己强大的GPU拓展到其他行业的尝试并不是次次得手。Tegra芯片最终没有成功进入手机市场,挖矿芯片随着加密货币潮的褪热前景黯淡,与特斯拉在自动驾驶系统的合作无疾而终,2022年黄仁勋“元宇宙将挺过任何经济下行”的预言现在像个玩笑话。

然而这些不成功尝试是力不虚掷、功不唐捐的。Tegra芯片装不进手机,那就卖给马斯克装进特斯拉车里。为元宇宙开发的Omniverse平台,用来合成训练AI的物理数据,多样性与过拟合规避还胜过了真实世界数据。扎克伯格做不动元宇宙,但黄仁勋的Omniverse却是长做长有。

即使有意竞争者的挑战,最后也成了给捧场。

2016年,谷歌宣布专门为AI研究开发了机器学习的专属芯片TPU(张量处理单元),并设计了基准测试工具MLPerf。然而在大多数年度的MLPerf测试中,按员工的自述,“黄总说,我们每次运行MLPerf基准测试时,都要向谷歌证明我们的GPU比TPU运算速度快,哪怕只快一点点就好。”

今年谷歌的TPUv4终于在MLPerf基准测试测试中赢了的A100芯片,成为业界大新闻:居然有芯片强过了产品!

蓄势强劲,横绝宇内。从现在到可预见未来的,如同1970年代至今的迪拜和利雅得:前30年是世界经济的不起眼齿轮,以后就是世界经济的动力舱。一直主宰能源驱动的上游,不管下游行业如何变动,自己都是八风不动。

不管福特和丰田谁赢了家用车竞争,顾客最后都要找海湾土豪买油。不管元宇宙还是生成式AI谁是真正的未来数字产业走向,跑模型的数据中心都要找买芯片。共生双赢,的确是赢两次。

本文来自网络,不代表本站立场,转载请注明出处:https:

全球,吴恩达,垄断,公司,模型,人工智能,芯片,皮衣,黄仁,世界,黄仁勋,英特尔,张忠谋,算力,显卡

武陵观察网后续将为您提供丰富、全面的关于全球,吴恩达,垄断,公司,模型,人工智能,芯片,皮衣,黄仁,世界,黄仁勋,英特尔,张忠谋,算力,显卡内容,让您第一时间了解到关于全球,吴恩达,垄断,公司,模型,人工智能,芯片,皮衣,黄仁,世界,黄仁勋,英特尔,张忠谋,算力,显卡的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。