鄢贵海在中国计算机学会芯片大会上做 DPU 主题报告
在 DPU 概念诞生之初, 人们争论它「应如何定义」, 但后来发现, 只有定义, 还远不能说明 DPU 能做什么、有什么作用、如何与现有系统更好地协同。本文将讨论 DPU 发展中的四个关键问题:DPU 是什么?DPU 可以标准化吗?DPU 产业化面临哪些挑战? 以及是否有「中国方案」? 一些问题目前还很难给出确切的答案, 但抛砖引玉, 希望引起大家的关注。
一、DPU 是什么?
DPU 是新进发展起来的一种专用处理器, 但是对于 DPU 的释意却不如之前的一些处理器一样容易做到「不言自明」。比如 GPU, 大家听名称就知道是什么, 名称就是定义了。类似的还有数字信号处理器 DSP, 深度学习处理器 NPU 等。其实,CPU 也是一个释义并不清晰的概念, 对于「中央」是什么含义, 大概在 50 年前也没有太多争论。但是 CPU 需要干什么, 在系统中的角色是什么, 确实比较清楚的——这其实才是首要的问题。相较而言, 所谓的「定义」反而不是那么重要。简言之,DPU 的参考结构是什么、能处理什么类型的负载, 怎么集成到现有的计算体系中去才是 DPU 研发要解决的关键问题。
DPU 是面向基础设施层的数据处理单元。鉴于此,Intel 也把自己的 DPU 称之为「IPU」。那么所谓的基础设施层, 是有别于应用层而言的, 是为了给予应用提供物理或虚拟化资源, 甚至提供基础服务的逻辑层。其实这个概念很好理解, 从我们先有的计算系统的宏观逻辑层次来看, 本身就被人为的分为基础设施层 (IaaS), 平台层 (PaaS), 软件层 (SaaS), 最上层就是应用层。如果微观来看, 就会更清晰了。基础层主要包括与硬件资源交互、抽象硬件功能的组件, 包括的网络, 存储, 服务器等。从优化技术的侧重点来看, 越基础层的组件越倾向于以性能优先为导向, 存在更多的「机器依赖 (Machine-dependent)」, 越上层的优化越以生产效率为导向, 通过层层封装, 屏蔽底层差异, 对用户透明。
DPU 是面向基础设施层的数据处理单元
那么, 难道现有的数据中心的 CPU、GPU、以及路由器、交换机, 不能继续作为「面向基础设施层的数据处理单元」吗? 在计算系统的研究, 很大程度上是「优化」的研究。现有的基础设施不是不能, 而是不够「优化」。如果没有新技术的发明和引入, 最终需求和供给之间的矛盾就会越来越突出。
DPU 的出现首先要解决的就是网络数据包处理的问题。传统来看,2 层网络的数据帧是网卡来处理, 由 CPU 上运行的 OS 中的内核协议栈来来处理网络数据包的收发问题。这个开销在网络带宽比较低的时候, 不是大问题, 甚至中断开销都可以接受。但是, 随着核心网、汇聚网朝着 100G、200G 发展, 接入网也达到 50G、100G 时,CPU 就无法在提供足够的算力来处理数据包了。我们发现了一个现象, 称之为「性能带宽增速比失调」, 简单理解就是 CPU 性能由于摩尔定律的放缓, 性能增速也随之放缓, 但是网络带宽的增速来自于应用的丰富, 数据中心规模的扩大, 数字化进展的驱动, 所以增速反而更加的迅速, 这就进一步加剧了服务器节点上 CPU 的计算负担。
另外一个例子是在云计算场景下的一个核心应用, 虚拟机之间的数据转发问题, 即 OVS。通常而言,20 个 VM 需要消耗的算力, 如果用 Xeon 的多核 CPU 来处理, 大概需要 5 个核的算力——这确实还是比较大的开销。
此外, 目前的系统结构, 其实并不是为处理网络数据而生的, 而是为了更高效的管理本地资源, 支持多用户、多任务并行, 本地安全, 适当并发, 所以必须划分不同特权指令的执行和访问权限, 采用复杂的中断机制。这些机制对于高带宽网络、随机访问、高并发度收发的场景效率并不高。所以现有技术开辟了用户态访问机制, 直接绕过操作系统内核态, 用轮询替代中断来处理 IO 操作。这些在现在体系基础上的「修修补补」的权宜之计, 本质上是经典技术在新场景下的不适应。
为了更好的理解 DPU 在系统中的角色, 可以借助一种经典的计算系统模型, 把系统按照逻辑功能划分为三个部分:1) 数据平面 (Data Plane), 定义为用于数据包解析和处理的数据通路, 代表计算与数据密集的功能部分;2) 控制平面 (Control Plane), 定义是为输入输出数据流提供和配置数据平面的算法集合, 代表资源调度、系统配置、链路建立等控制密集的功能部分。此外, 业界通常还增加了第三个层面, 即 3) 管理平面 (Mgmt. Plane), 代表系统监控, 故障隔离, 在线修复等周期性或偶发性的部分应用。其实这也是在「软件定义网络 SDN」方法学下的一种划分。如果把一个城市的路网基础设施比做 SDN, 那么众横交错的道路就是其「数据平面」, 其路网密度和宽度决定了路网的流量上限;所有的交通灯及其控制系统就是其「控制平面」, 其控制算法优劣、部署位置的合理程度决定了交通流量实际容量;各种测速点、流量监控、临时交通管制、事故拥塞疏导等就是其「管理平面」。有了这套基础设施, 各类用户就可以应用各种车辆 (相当于用户的应用程序) 来开展运输服务了。
对于不同平面, 对可并行度、性能、灵活性、可靠性等属性通常都有比较大的不同。对于数据平面, 突出的诉求就是性能, 通过开发数据级、线程级, 任务级并行度, 高度定制化专用计算单元, 一切优化设计都是性能导向。而对于控制平面, 主要诉求是通用灵活, 便于作为控制数据平面的抓手, 把使用权交给用户。管理平面的功能主要是安全、可靠、易用, 便于系统状态监控、维护, 方便支持自动化运维等机制的实施。
为什么要从这三个平面来入手来看待 DPU 在系统中的角色呢? 因为这三个逻辑平面反映了 DPU 设计过程中需要关注的内容。有人把 DPU 单纯的理解为给 CPU「减负」, 把 DPU 作为一个网卡的「变种」, 只是一个被动设备, 把 DPU 视为一个单纯的算法硬件化的载体, 以「头脑简单, 四肢发达」的形象示人, 属于单纯追求强数据平面, 弱控制面的设计。比较典型的如数据加密, 图像转码专用卡,AI 加速卡等, 这是异构计算的「1.0 时代」。
如果我们重新审视一下系统功能的载体分布情况, 就会看到 DPU 其实越来越不像是一个单纯的加速器, 而是与 CPU 全方位配合的一个关键组件。传统的经典的计算系统, 我们称之为类型 I(Type-I) 是主机端负责所有的管理、控制、数据面的功能;异构计算的发展最先牵住的「牛鼻子」就是数据密集、计算密集的算法加速, 所以主要卸载的就是数据面的计算负载, 但是控制、管理都很少涉及, 我们称之为类型 II(Type-II)。一个典型的表征就是从 Host 端只能发现这个计算设备, 但是对于设备的状态, 启动、关闭、任务分配等都比较不方便。随着智能网卡等形态的产品出现, 在设备端除了数据面的优势得以强化外, 出现了完整的控制面功能, 我们称之为类型 III(Type- III)。例如 ARM 的控制器, 运行了轻量级的操作系统用于管理板卡上的资源;这也是目前比较常见的类型。还有最后一类,Type-IV, 是 DPU 承担所有数据面、控制面、管理面的功能, 而 HOST 侧反而不那么重要的, 这被认为是 DPU 的终极形态, 即完全以 DPU 为中心来构建计算系统。前不久阿里云公布的 CIPU(Could Infrastrucutre Procesing Unit) 宣称替代 CPU 成为新一代云计算核心硬件, 可以说是把 DPU 推向了舞台的中心, 虽然也有很多争议, 但这也许正是 DPU 发展的方向。
我们再来看看 DPU 具体能干什么。我们把 DPU 发挥作用的场景分为四个方向, 分别为网络、存储、计算和安全, 这四个方向其实是有依赖关系的, 在这个图中, 具有相邻关系的部分代表了一定的依赖;计算的部分涉及到的 PaaS 的内容偏多, 网络的部分偏 IaaS 层, 存储、安全在 IaaS 和 PaaS 层都比较多。覆盖这个分类图中越多的场景就是目前 DPU 各厂商努力的目标。
DPU 功能场景
为了实现这个功能, 我们可以通过我们研发的第二代架构的 DPU 产品结构来体现。在这个架构中, 有几个比较创新的功能单元, 比如 NOE, 是传统 TOE 的升级版;DOE, 是专门用于做数据查询加速, 还有 DOMS, 是一种高效的管理片上缓存数据的结构。其它的创新的结构还包括,FlashNOC 的片上互联技术, 还有多种面向特定 IO 的 DMA 的单元等等。
最后, 如果说 DPU 发展最大的驱动力, 其实还是来自需求侧。数据中心的架构发展趋势已经从 20 年前的本地部署集群, 到十年前的云化资源, 再到目前的云原生阶段。基础设施层变得越来越厚重, 向下越来越强化硬件资源的池化, 向上是「XaaS」, 即「一切皆可服务化」。K8S 等系统成为了新的「操作系统」, 服务网格成为了新的网络化应用开发基础,DevOps 开发运维一体化……在「生产率」得到提升的同时, 也直接催生了算力的需求, 特别是 IaaS 和 PaaS 层的算力需求——这也是 DPU 的主战场。
二、DPU 可以标准化吗?
在回答 DPU 是否可以标准化之前, 需要明确标准化的确切含义是什么, 以及为什么要标准化。我认为,DPU 的标准化涉及两个方面:DPU 的架构是否可以标准化, 这影响到 DPU 的研发成本问题;DPU 的应用是否可以标准化, 这影响 DPU 的应用生态的问题。
现在广泛存在一种认识的误区:笼统的认为 DPU 是一种专用处理器, 既然是「专用」, 那么就不可避免的采用「定制化」才能实现, 一旦「定制化」, 那么「标准化」也就无从谈起了, 从而得到了一个武断的结论:DPU 没有产业化价值!
其实专用化、定制化、标准化这三个概念, 并没有直接的因果关系。
专用化强调的是应用场景, 是否值的专用化, 取决于需求的的刚性。定制化是技术实现的路径选择, 经常是创新和核心技术的「发源地」。标准化是为了降低边际成本, 通常通过建立或融入产业生态、创造规模效益, 实现创新技术的价值变现。
比如,GPU 无疑是一种「专用」处理器, 因为人们对图形图像这种信息交互方式是绝对的刚需;GPU 中通过定制化来实现光栅操作处理器 (ROP)、纹理处理器 (TPC) 等高度定制化的功能单元, 还有超大规模的数据集同步并行处理技术, 都是面向像素级海量数据处理的定制化技术;最终, 通过 OpenGL,DirectX 等图形操作 API,CUDA 的通用编程框架来做标准化。所以,「专用」并不比「通用」低人一等,「定制化」甚至是解决一些应用刚需必须采用的技术选择。
我们去年在中国计算机学会通讯上发表了一篇文章《DPU:以数据为中心的专用处理器》, 其中有一个图, 反映的是目前几类处理器的特征分布。从功能导向划分为计算密集 vs. IO 密集, 从结构设计划分为控制为中心和数据为中心;从中我们可以看到, 目前 DPU 所处的分布区域, 确实还有一定的空白。简单的演绎一下, 在其它三个区域都有很好的产业化格局的时候,DPU 所属的区域应该也没有道理不能产业化。
我们团队在 DPU 标准化工作上也作出过一点贡献。首先是组织编写了行业第一本 DPU 技术白皮书, 这本白皮书比较全面的刻画了 DPU 的功能集, 以及 DPU 的应用场景, 并且给出了一个比较通用的 DPU 设计的参考模型。今年在过往的基础上, 我们又组织编写了第二部技术白皮书, 但关注的重点从 DPU 参考设计迁移到了 DPU 的性能评测方法, 作为后续细分应用设计基准测试程序的参考。
我认为,DPU 标准化是一个过程, 而不是目的。标准化的进程很大程度与市场化程度相互作用。因此, 标准化的目的是市场化, 而市场化的进展也将反过来促进标准化的工作。
三、DPU 产业化面临的挑战
DPU 主要在基础层和平台层发挥作用, 这决定了现阶段 DPU 的优化主要是性能导向。这其实一块特别硬的骨头。现在有些 DPU 的设计, 过于依赖通用核的使用, 尽管灵活性得到了保证, 但是性能往往上不去, 根本就不可能有客户买单。性能好, 灵活性差, 客户还会试一试;反之, 是一点机会都没有的。
这里我将介绍一个大家更有切身体会的挑战——产品适配。DPU 需要适配不同的 CPU 平台、不同的操作系统。「适配」说起来容易, 做起来难, 面临工作量「指数爆炸」的适配困境。例如, 驭数 DPU 中的 NOE 功能是 DPU 行业内低延迟性能最好, 在 X86 上的 TCP 和 UDP 的 1/2 RTT 回环时延可以达到 1.2us 甚至更低。做到如此极致, 除了硬件卸载之外, 也需要 YUSUR HADOS 的 InstantA™ NOE SDK 针对不同 CPU 架构做深度优化。因此, 我们在适配鲲鹏 CPU + OpenEuler 操作系统时, 需要解决和优化不少 ARM 架构和 X86 架构的差异化问题, 例如 ARM 架构上的指令读写乱序的问题, 最终做到了在鲲鹏 CPU 上 TCP 和 UDP 的 1/2 RTT 达到 1.6us 的业界领先的低时延性能。然而, 当我们以为可以轻易的去适配「鲲鹏 CPU + 麒麟操作系统」时, 又出现了不少新的问题, 例如需要解决麒麟中断处理差异, 并且需要新一轮的性能优化。
鉴于此, 我们提出了一套自动化多生态环境的编译、发布、测试系统平台 (ADIP), 把适配工作系统的分解为两条四个阶段的流水线, 分别针对 Host 侧的软件适配和 DPU 侧的软件适配。这个开发集成平台已经支持了驭数的 DPU 在多个国产 CPU 和 OS 的适配工作, 目前还在快速的完善过程中。虽然目前我们的 ADIP 流程自动化程度还有待提高, 但是对于流程阶段的划分, 已经可以非常高效的指导过百人的工程师团队来协作开发。
自动化多生态环境的编译、发布、测试系统平台:HADOS ADIP
以上的内容只表述了我们在开发 DPU 过程中的一个较大的挑战, 并且分享了我们的在应对这个挑战时提出的工程化解决方案。其实,DPU 还面临一些其它的挑战, 一些是属于目前国内集成电路设计行业面临的共性问题, 比如芯片制造的供应链问题, 高水平研发人员短缺问题等等;也有 DPU 这个赛道的特性挑战, 比如需求比较多样化, 存在需求多样化与 DPU 设计功能出现失配 (Mismatch),DPU 的软件生态不够成熟等问题, 虽「道阻且长」, 但「行则将至」!
四、DPU 的发展是否有「中国方案」?
DPU 的发展是否有适合我们自己的道路或「中国方案」? 这也是我们一直在思考, 但尚无定论的问题。虽然 DPU 不分「国界」, 但是 DPU 的产业化可能还是要找到适合我国国情的途径。
在计算系统发展的历程中, 大体有三个重要的因素决定了一类产品/技术的是否能取得商业化的成功。第一就是「性能」, 取决于创新结构、算法的发明, 创新技术、工艺的采用等。第二就是「生产率」, 与开发效率, 系统与现有系统的兼容性, 学习成本等因素有关。第三是「成本」, 涉及到规模效应, 工程化水平, 供应链, 以及服务成本等。
首先,DPU 的性能问题一方面是设计问题,DPU 的结构是不是优秀, 功能是不是完善等;另一方面的问题是 DPU 芯片生产制造的的问题。从我们 DPU 设计的功能和指标上来看, 我们自研的 DPU 和目前已经公布的一些 DPU 的产品相比可以说不落下风, 甚至在一些单项指标上还有领先, 比如时延。但是, 我们的优势是局部技术上的优势,NVIDIA,Marvell 的产品都有借鉴前代相关产品的功能模块, 架构更加的成熟, 而且已经采用了更加先进 (如 7nm) 的工艺, 从综合的产品力上来看, 客观说还是有一定优势。因此, 现在 DPU 得整体格局还是典型的「西强东弱」。
但是, 中国目前算力需求是全球最强劲的。服务器的需求增速是全球第一, 国家层面还有「新基建」中的「算力基础设施」的宏大布局、今年 2 月份启动的「东数西算」战略布局、运营商开始广泛投入的「算力网络」的建设等等。这不仅为 DPU 的发展提供了机遇, 还给整个信息技术、计算技术的发展都提供了新的机遇。中国人擅长「摸着石头过河」, 我们坚信、甚至笃信, 更期待与全行业的同仁, 通力协作, 探索出一套「中国方案」, 引领 DPU 这样一个新技术的发展。
