YD/T 6116.7-2025

GPU 图像处理单元（Graphic Processing Unit） HDC 主机-设备通信（Host Device Communication） I/O 输入/输出（Input/Output） std.miit.go std.miit.go std.miit.go OPP 开源预处理机制（Open Pre-Processing） OCCL 开源集合通讯库（Open Collective Communication Library) OS 操作系统（Operation System） ONNX 开源神经网络转换（Open Neural Network Exchange） SVM 共享虚拟内存（Shared Virtual Memory） VM 设备虚拟化（Virtual Machine） 5 云环境多GPU 统一开发框架本文件定义的云环境多GPU统一开发框架规范了YD/T xxxxx-xxxx中算力互联互通技术架构的计算框架部分。计算框架为算力互联互通平台提供统一的开发框架，云环境多GPU统一开发框架架构如图1所示。 图1 云环境多GPU统一开发框架图计算基础层：为云环境多GPU统一开发框架提供基础服务，如SVM、VM、HDC等。 计算执行层：包括运行管理器、图执行器、开源预处理机制、开源集合通信库，负责算子和模型的执行。 兼容适配层：主要包括框架适配层、接口适配层、算子库适配层、编译器适配层。适配器提供统一的编译环境，使得深度学习框架可兼容不同开发环境、编译语言与编译器；深度学习框架通过对人工智能算法封装、数据调用等使得研究者可在无需了解算法细节的情况下快速应用深度学习模型。 应用层：基于计算基础层、计算执行层、兼容适配层相关技术实现人工智能应用，如大模型应用场景、 视觉应用场景、深度学习应用场景、科学计算应用场景等。

6 计算基础层 6。

1 操作系统应支持Windows、Linux、macOS等操作系统。

2 设备虚拟化应支持CPU、GPU等硬件设备的虚拟化。 std.miit.go std.miit.go std.miit.go 6。

3 共享虚拟内存共享虚拟内存应支持允许与设备共享CPU地址空间，并应简化设备驱动程序和用户空间进程的I/O内存管理。

7 计算执行层 7。

1 运行时库运行时库通常是指用于托管程序的执行环境，运行时库应支持为应用程序提供存储管理、设备管理、执行流管理、事件管理、核函数执行等功能。

2 图执行器图形执行器是对硬件平台的抽象，应支持根据不同平台、不同配置、不同算法、不同用途，自定义合适的硬件架构。

3 预处理机制预处理机制应能完成数据的预处理工作，OPP应支持图像预处理、视频预处理、音频预处理等，以图像预处理为例，包括改变图像尺寸、色域转换、减均值等操作，经过OPP机制后再进行模型推理。

4 集合通信库集合通信库应实现针对框架和网络进行性能优化的多GPU和多节点通信基元，应支持开发者无需针对特定机器优化其应用，便可在节点内和节点间实现多个GPU的快速集合。

8 兼容适配层 8。

1 算子库适配层 8。

1 算子开发流程算子开发流程中应包含算子原型实现、算子实现代码、算子信息库、算子适配插件。其流程为： a）算子原型：算子对外API，应包含定义算子输入、输出、属性以及算子的shape推导逻辑； b）算子实现代码：描述算子的运算逻辑。针对TBE算子，为python文件；针对AI CPU算子，为C++文件； c）算子信息库：描述算子在AI处理器上的实现限制，包含算子输入输出的数据类型、格式以及维度信息； d）算子适配插件：将第三方框架的算子映射为适配AI处理器的算子。

2 计算函数库能力要求具体要求如下： a）应能查看计算函数库是否安装； b）应能通过计算函数库API构建一段代码来利用计算单元来运算。

3 算子转换能力要求算子转化是深度学习模型从一个框架迁移到另一个框架，或者从CPU/GPU 迁移到不同架构的加速器（如 ASIC/FPGA）的过程。 std.miit.go std.miit.go std.miit.go 其转换能力要求如下： a）应提供识别源算子能力，提供对源模型的结构和内部运算算子分析能力，例如：算子功能、输入输出维度等； b）应提供转化模型结构，提供目标平台支持的等效算子拓扑结构； c）宜提供数据类型的转换与优化能力，提供对模型中的数据类型进行转换或量化操作，以提高计算效率及资源消耗； d）宜提供模型的性能调优，提供内存布局、改数据加载、改进预处理流程等能力； e）可支持验证转换结果验证，基于验证集、测试集对转化后的模型进行准确率验证。

2 编译器适配层 8。

1 概述编译器适配器是一个栈帧转换的适配器。由于字节码解释执行时的栈帧结构和寄存器的使用与编译后的本地代码执行时的完全不同，需要在字节码解释执行和本地代码执行两者之间切换时对栈帧和寄存器等做必要的转换处理。允许从字节码解释执行切换到本地代码执行以及从本地代码执行切换到字节码解释执行。

2 编译工具能力要求具体要求如下： a) 应能查看编译器相关文件是否安装； b) 应能编译软件自带的示例，比如矩阵乘或者向量加等类型的运算示例。

3 框架适配层 8。

1 框架能力要求具体要求如下： a) 应能兼容至少一种AI 框架； b) 应能安装框架加速卡对应的版本，运行指定模型，并查看加速卡使用情况。

2 模型迁移能力要求具体要求如下： a）应能支持迁移工具 1) 应用层场景中选择对应的一种模型； 2) 使用工具将模型为ONNX 框架格式； 3) 运行转换后的模型。 b) 应能使用通用框架训练/推理 1) 从应用层场景中选择对应的一种模型和若干框架； 2) 使用工具将模型为对应框架格式； 3) 运行转换后的模型。 c) 应满足迁移后性能要求 1) 在目标平台上评估迁移后模型的性能，包括推理速度、内存占用、功耗等指标； 2) 在目标平台上评估迁移后模型的准确性，包括与原始模型在相同数据集上的表现进行比较； std.miit.go std.miit.go std.miit.go 3) 比较迁移后模型与原始模型的大小和复杂度，包括参数数量、层次结构等； 4) 评估迁移工具在模型迁移过程中对模型结构和参数的修改能力，是否能够灵活地调整模型结构以适配不同的目标平台。 d）应满足模型执行能力要求推理执行相对吞吐率是被测系统在使用统一接口前后，在相同负载上的实际吞吐率之比。实际吞吐率代表异构人工智能加速处理器在实现统一接口后，对特定推理作业的有效计算能力，提升有效计算能力可达到硬件系统扩容的同样效果。对视觉类测试，单位是图片数/秒(images/s)，对自然语言处理类测试单位是句子数/秒(sentences/s)。

4 接口层具体要求如下： a) 模型相关接口能力要求模型相关接口应具备以下内容： 1) 接口名称：解析特定的格式模型文件； 2) 接口描述：解析特定格式模型文件，以便提供对后端硬件的部署、优化能力； 3) 参数：模型文件内存地址、模型文件内存长度、模型文件路径、解析后的模型文件、名字对照表、 参数数组、框架类型； 4) 输入/输出：输入 b) 计算流程能力要求计算流程定义应提供目标模型文件构建接口。接口应具备以下内容： 1) 接口名称：设置模型的输出算子； 2) 接口描述：设置模型描述的输出算子； 3) 参数：每一对序列应包含输出算子及其名字； 4) 输入/输出：输入 9 应用层应包括大模型场景、视觉场景、深度学习场景、科学计算等场景。 std.miit.go std.miit.go std.miit.go 附录A （资料性） 基础算子表表A。

1 基础算子列表算子分类算子英文命名算子中文参考 Convolution 卷积 convolution 卷积 conv_transpose 卷积转置 unfold 展开 fold 折叠 Linear 线性 linear 线性变换 Pooling 池化 adaptive_avg_pool 自适应平均池化 adaptive_max_pool 自适应最大池化 max_pool 最大池化 avg_pool 平均池化 max_unpool 最大反池化 Pad 补齐 pad 补齐 Loss 损失函数 binary_cross_entropy 二分类问题的交叉熵损失 cross_entropy 多分类问题的交叉熵损失 mse_loss 均方误差损失 ctc_loss 连接时间编码损失 nll_loss 负对数似然损失 smooth_l1_loss 平滑 L1 损失 l1_loss L1 损失 kl_div Kullback-Leibler 散度损失 margin_ranking_loss 余弦相似度损失 Norm 归一化 batch_norm 批归一化 layer_norm 层归一化 group_norm 组归一化 instance_norm 实例归一化 Activation 激活函数 relu 修正线性单元 gelu 高斯误差线性单元 leaky_relu 带泄漏的修正线性单元 hardtanh 硬双曲正切函数 hardshrink 硬收缩激活函数 std.miit.go std.miit.go std.miit.go glu 门控线性单元 sigmoid sigmoid 激活函数 softmax softmax 激活函数 log_softmax softmax 函数的对数形式 elu 指数线性单元 softplus softplus 激活函数 prelu 带参数 ReLU silu sigmoid 加权线性组合 Dropout 正则化 dropout 正则化 Interpolate 插值函数 meshgrid 生成网格，也可用于生成坐标 grid_sample 在二维或三维输入数据上执行网格采样 lerp 线性插值 affine_grid 生成仿射变换矩阵 BLAS 基本线性代数 mm 矩阵乘法 bmm 批量矩阵乘积 matmul 矩阵乘法 addmm 执行矩阵 mat1 和 mat2 的矩阵乘法。矩阵输入将添加到最终结果中。 baddbmm 对batch1 和batch2 中的矩阵执行批量矩阵-矩阵乘法操作。输入被添加到最终结果中。 ger 内积 mv 矩阵与向量乘 dot 向量点积 Linalg 线性代数 norm 向量的范数或矩阵的矩阵范数 cdist 两个矩阵之间的元素距离的平方的矩阵 std.miit.go std.miit.go std.miit.go cumsum 对一个向量或矩阵的每个元素进行累加操作 einsum 对一个向量或矩阵的每个元素进行求和操作 normalize 对向量或矩阵进行归一化操作 diag 由矩阵对角线元素组成的向量 diagflat 将矩阵中的对角线元素平铺成一个一维向量 cholesky 使用Cholesky 分解算法将对称正定矩阵转化为下三角矩阵 std.miit.go std.miit.go std.miit.go 参考文献 [1] YD/B 144-2014 云计算服务协议参考框架 _________________________________ std.miit.go std.miit.go std.miit.go