全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 2101|回复: 17

[美国VPS] ❤️Nvidia的AI晶片H100有多神?为何一片难求?

[复制链接]
发表于 2023-11-3 11:20:43 | 显示全部楼层 |阅读模式
本帖最后由 小嵐 于 2023-11-3 11:31 编辑

抢购 H100 的客户,主要分成三类:

  • 第一类是 综合型云端计算巨头

比如微软 Azure、Google GCP 和亚马逊 AWS 这样的云端计算巨头。他们的特点是财大气粗,动辄就想 「包圆」 英伟达的产能,但每家也都藏着小心思,对英伟达的近垄断地位感到不满,暗地里自己研发芯片来降低成本。

  • 第二类是 独立的云 GPU 服务商

典型公司如前文提到的 CoreWeave,以及 Lambda、RunPod 等。这类公司算力规模相对较小,但能够提供差异化的服务,而英伟达对这类公司也是大力扶持,甚至直接出钱投资了CoreWeave 和Lambda,目的很明确:给那些私自造芯的巨头们上眼药。

  • 第三类是 自己在训练 LLM(大语言模型)的大小公司

既包括 Anthropic、Inflection、Midjourney 这种初创公司,也有像苹果、特斯拉、Meta 这样的科技巨头。它们通常一边使用外部云服务商的算力,一边自己采购 GPU 来自建炉灶 —— 有钱的多买,没钱的少买,主打一个丰俭由人。


在这三类客户中,微软Azure 至少有5 万张H100,Google手上大概有3 万张,Oracle 大概有2 万张左右,而特斯拉和亚马逊手上也至少拿有1 万张左右, CoreWeave 据称有3.5 万张的额度承诺(实际到货大概1 万)。其他的公司很少有超过 1 万张的。


这三类客户总共需要多少张 H100 呢?根据海外机构 GPU Utils 的预测,H100 当前需求大概 43.2 万张。其中OpenAI 需要5 万张来训练GPT-5,Inflection 需求2.2 万张,Meta 则是2.5 万张(也有说法是10 万张),四大公有云厂商每家都需要至少3 万张,私有云行业则是10 万张,而其他的小模型厂商也有10 万张的需求。


英伟达 2023 年的 H100 出货量大概在 50 万张左右 ,目前台积电的产能仍在爬坡,到年底 H100 一卡难求的困境便会缓解。


但长期来看,H100 的供需缺口会随着 AIGC 的应用爆发而继续水涨船高。根据金融时报的报导,2024 年 H100 的出货量将高达 150 万张 – 200 万张,相比于今年的 50 万张,提升 3-4 倍 。


而华尔街的预测则更为激进:美国投行Piper Sandler 认为明年英伟达在资料中心上的营收将超过600 亿美元(FY24Q2:103.2 亿美元),按这个资料倒推,A+H 卡的出货量接近300 万张。


还有更夸张的估计。某 H100 伺服器最大的代工厂(市占率 70%-80%),从今年 6 月开始就陆续出货了 H100 的伺服器,7 月份产能陆续爬坡。一份最近的调研显示,这家代工厂认为 2024 年 A+H 卡的出货量会在 450 万张~500 万张之间。


这对英伟达意味着 「泼天的富贵」,因为 H100 的暴利程度,是其他行业人难以想像的。
发表于 2023-11-3 11:24:41 | 显示全部楼层
本帖最后由 lewissue 于 2023-11-3 11:25 编辑

辉达是个港台翻译吧,太违和了

晶片也是港台用语,不过我第一遍看竟然没发现,只注意到辉达
 楼主| 发表于 2023-11-3 11:32:07 | 显示全部楼层
lewissue 发表于 2023-11-3 11:24
辉达是个港台翻译吧,太违和了

晶片也是港台用语,不过我第一遍看竟然没发现,只注意到辉达 ...

謝謝你的提醒~
 楼主| 发表于 2023-11-3 14:11:41 | 显示全部楼层

古哥呀
发表于 2023-11-3 14:19:20 | 显示全部楼层
楼主是香港的吗
 楼主| 发表于 2023-11-6 09:46:59 | 显示全部楼层
sktr 发表于 2023-11-3 14:19
楼主是香港的吗

台灣唷~
 楼主| 发表于 2023-11-6 20:03:08 | 显示全部楼层

謝謝呀~~~~
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-15 09:38 , Processed in 0.062486 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表