AI 学社
CANN 的三层逻辑架构
 
 
⭐1. 应用层
 
包括基于 Ascend 平台开发的各种应用，以及 Ascend 提供给用户进行算法开发、调优的应用类工具。
1. 推理应用
基于 AscendCL 提供的 API 构建推理应用
 
2. AI 框架
包括 TensorFlow、Caffe、MindSpore 以及第三方框架
 
3. 模型小型化工具
实现对模型进行量化，加速模型
 
4. AutoML 工具
基于 MindSpore 自动学习工具，根据昇腾芯片特点进行搜索生成亲和性网络，充分发挥昇腾性能
 
5. 加速库
基于 AscendCL 构建的加速库（当前支持 Blas 加速库）
 
6. MindStudio
提供给开发者的集成开发环境和调试工具，可以通过MindStudio进行离线模型转换、离线推理算法应用开发调试、算法调试、自定义算子开发和调试、日志查看、性能调优、系统故障查看等
 
⭐2. 芯片使能层
 
实现解决方案对外能力开放，以及基于计算图的业务流的控制和运行。
1. AscendCL 昇腾计算语言库
开放编程框架，提供 Device/Context/Stream/ 内存等的管理、模型及算子的加载与执行、媒体数据处理、Graph 管理等 API 库，供用户开发深度神经网络应用。
 
2. 图优化和编译
统一的 IR 接口对接不同前端，支持 TensorFlow/Caffe/MindSpore 表达的计算图的解析/优化/编译，提供对后端计算引擎最优化部署能力
• Graph Engine：图编译和运行的控制中心
• Fusion Engine：管理算子融合规则
• AICPU Engine：AICPU 算子信息管理
• HCCL：HCCL 算子信息管理
 
3. 算子编译和算子库
• TBE：编译生成算子及算子开发工具
• 算子库：神经网络加速库
 
4. 数字视觉预处理
实现视频编解码（VENC/VDEC）、JPEG 编解码（JPEG/E）、PNG 解码（PNGD）、VPC（预处理）
 
5. 执行引擎
• Runtime：为神经网络的任务分配提供资源管理通道
• Task Scheduler：计算图 Task 序列的管理和调度、执行
 
 
⭐3. 计算资源层
 
主要实现系统对数据的处理和对数据的运算执行。
1. 计算设备
• AI Core：执行 NN 类算子
• AI CPU：执行 CPU 算子
• DVPP：视频/图像编解码、预处理
 
2. 通信链路
• PCIe：芯片间或芯片与 CPU 间高速互联
• HCCS：实现芯片间缓存一致性功能
• RoCE：实现芯片内存 RDMA 功能
 
 
2024-10-31
浏览57
昇腾
登录后评论
评论
分享