根据IDC圈,全国有超过30个城市正在建设或规划智算中心,其中一些已经投入运营或即将投入运营,总规划算力达到了数十 EFLOPS。若假设未来全国智算中心算力达到50EFLOPS(对应50000PFLOPS),对应AIDC建设规模空间为500-750亿元。 据不完全统计,目前已经明确公开宣布规划或建设中的地方智算中心规模已超26000P(统一换算成FP16口径)。GPT-3模型训练使用了128台英伟达龙8国际官方网址A100服务器(训练34天),对应640P算力,GPT-4模型训练使用了3125台英伟达A100 服务器(训练90-100天),对应15625P算力。从GPT-3至GPT-4模型参数规模增加约10倍,但用于训练的GPU数量增加了 近24倍(且不考虑模型训练时间的增长)。
短期来看,我们考虑国内15家头部大模型厂商对标GPT-3模型的训练需求(百度、腾讯、阿里、字节、京东、美团、讯飞、网 易、360、商汤、云从、百川、智谱、minimax、深言),则需要1920台A100/A800服务器(考虑到A100和H100的单卡显存 容量相同,使用H100理论上也需要相同数量的服务器,但可以大幅缩短训练时间),对应15360张GPU。 长期来看,我们考虑国内5家头部大模型厂商对标GPT-4模型的训练需求,则额外需要13705台A100/A800服务器,对应近11 万张GPU。从供给端来看,各大云厂商尚未推出基于H100/H800的云端GPU实例,目前的可租用资源以A100为主,但支持NVLink传输以 及单卡达到80GB显存的GPU算力资源,目前只有火山引擎能提供可供租用的资源。 从价格来看,GPU的租金价格随着配置性能的提升呈现上升趋势(不考虑CPU、存储等其他参数的影响),其中单就A100算 力而言,最高配置约为最低配置价格的1.8倍。