AI服务器产生背景:基础设施演变的三个时代

基础设施1.0:Wintel时代

90年代的商业互联网由x86指令集,标准化操作系统,关系数据库,以太网以及网络数据存储组成。亚马逊,eBay,雅虎,甚至谷歌最早的迭代都建立在这个基础设施1.0的骨干上。

基础设施2.0:云计算时代

随着网络的成熟,互联网用户从1995年的1600万到如今到超过40亿,应用程序的规模和性能要求发生了变化。Google,Facebook和亚马逊等一批优秀的科技企业定义了一个新的基础架构类别,它是可扩展的,可编程的开源(大部分)的和商业化的。Linux,KVM,Xen,Docker,Kubernetes,Mesos, Hadoop,Spark等等技术定义了云时代。这种转变描述为基础设施2.0。最终,这一代技术专门用于将互联网扩展到数十亿最终用户,并有效存储从这些用户获取的信息。基础设施2.0的创新催化了数据增长的急剧增长。

基础设施3.0:走向智能系统

基础设施2.0最终关心的问题是“如何连接世界”,新一代人工智能技术关注的重点变成了“如何认知理解世界”。

这种连接与认知的区别,使得机器学习人工智能与前几代的软件逻辑截然不同。编码认知的计算挑战是它颠倒了经典的编程范例。在传统应用中,逻辑是机器通过完成人的手动编码来执行特定的任务,而在机器学习与人工智能中,则是机器自己通过训练算法从数据库推断逻辑,然后执行这个逻辑来做出有关世界的决定和预测。

这种“聪明”的应用程序,背后是海量的数据和指数级的计算力需求。海量的数据正以前所未有的速度和⽅式产生和储存,数据不再是问题;算法经历了数⼗年的发展,在深度学习和加速计算出现之后,得到了迅速的发展和优化,以最新的GPT3语⾔模型为例,该模型包含了1750亿个参数,在NLP领域取得突破性进展的同时,给算⼒也提出了巨⼤的挑战。

随着摩尔定律失效,CPU的物理⼯艺和核⼼数已接近极限,由CPU提供算⼒的传统服务器很难满⾜这种密集型计算的需求。机器学习和人工智能代表了一个基本的新架构,需要重新思考基础架构,工具和开发实践。人工智能需要专属的基础机构进行承载和支撑,AI服务器应运而生。

AI服务器产生背景:基础设施演变的三个时代

2 AI服务器定义

人工智能服务器是面向深度学习神经网络需要的快速,低精度,浮点运算高度并行数值计算,搭载大量计算内核和高带宽内存资源,用于支撑深度学习训练和线上推理计算框架模型和应用,可以在多个节点之间高速互联、高效地扩展的硬件平台。

⼈⼯智能服务器适⽤于深度学习、计算机视觉、语⾳识别、⾃然语⾔处理、 视频分析等领域,承载深度学习训练和线上推理业务,⼴泛应⽤于视频监控、图像处理、⾃动化客服、精准营销推荐等典型AI应⽤场景。

现阶段,⼈⼯智能服务器多采⽤异构架构进⾏加速计算,常采用CPU+GPU、CPU+FPGA、CPU+ASIC等多种形式。

3 AI服务器的技术特点

为了让机器学习和人工智能充分发挥潜力,AI服务器的平台架构、接口,系统和工具所发生的演变不是在抽象理论中微小的、渐进式的改进。相反,它们在系统设计和开发工作流程中都是颠覆性的变化。

超高计算性能:AI服务器需要承担大量的计算,通常带有许多计算内核和高带宽内存(HBM)的专用硬件非常接近处理器裸片。针对神经网络需要的快速,低精度,浮点运算,这些芯片针对性优化神经网络的高度并行数值计算。如多次打破全球AI基准性能测试的AI服务器NF5488A5,在4U空间内支持8颗第三代NVLink 全互联的 Nvidia A100 GPU,搭载2颗支持PCIe4.0的AMD EPYC 7742 处理器,NF5488A5提供5 petaFLOPS的极致单机训练性能和超高数据吞吐;

AI服务器产生背景:基础设施演变的三个时代

高速IO性能:AI训练中加速卡间需要大量的参数通信,模型越复杂,通信量越大,所以AI服务器对多卡间的通讯性能要求非常高。例如高速互联方面,momo采用PCI3.0协议最大P2P带宽达到32GB/s,采用NVLink 高速互联技术,双向总带宽可以达到300GB/s

AI服务器产生背景:基础设施演变的三个时代

超强扩展能力:分布式计算框架,用于训练和推理,可以在多个节点之间高效地扩展模型操作。

封装整个机器学习和人工智能工作流程的端到端平台,从最终用户中抽象出复杂性。

设计独特:AI服务器内置多个加速卡和内存,需要针对性的对于系统结构、散热、拓扑等进行设计,才能满足长期稳定运行的要求。