Introduction to Huawei's Full-Stack AI Portfolio
3 likes300 views
该文档介绍了一种全栈全场景的AI解决方案，涵盖了端、边、云协同的统一训练和推理框架，并提供全流程服务和预集成方案。它强调芯片和算子库的高度自动化开发工具，以及满足不同开发者需求的支持。文档展示了应对AI快速发展的多样性应用，通过最优性能实现低成本目标。
Introduction to Huawei's Full-Stack AI Portfolio
- 2. 全场景 全栈 AI 应用 应用使能： 提供全流程服务(ModelArts), 分层API和预集成方案 ： 芯片算子库和高度自动化算子开发工具 ： 基于统一、可扩展架构的系列化AI IP 和 芯片 ： 支持端、边、云独立的和协同的统一训练和推理框架 消费终端 公有云 私有云 边缘计算 IoT 行业终端 应用使能 框架 芯片使能 IP和芯片 华为AI解决方案
- 3. 全场景 全栈 AI 应用 消费终端 公有云 私有云 边缘计算 应用使能 框架 芯片使能 IoT 行业终端 IP和芯片 实现任何场景下以最低成本获得最优性能
- 4. 无处不在 = 多样性 算力 功耗 模型大小 延时 ？ 是否推理？ ？ 是否训练？ Ascend-系列 端 耳机电话 智能手机 便携机 边缘 边缘服务器 云 数据中心
- 5. 一次性算子开发 一致的开发和调试体验 开发一次，跨端、边和云的平滑迁移 算力可扩展 内存墙 互联 超高带宽 极低延时 • • 功率和面积约束• • • • Scale out: 难以承受的功耗和面积 • Scale in: 复杂的任务调度和软件 是否统一架构?
- 6. 可扩展内存：： 专用的和分布的, Tiling-Friendly，显式 控制的内存分布设计 4 TByte/s L2 Buffer 缓存 1.2 TByte/s HBM 高带宽内存 可扩展片上互联：： 片上超高带宽Mesh网络 ： 可扩展计算： 皮秒级电流控制 硬件辅助的任务调度 ： ： ： ： 可扩展Cube: 16x16xN， N=16/8/4/2/1 多精度支持: int8/int32/FP16/FP32 多种计算单元: Tensor/Vector/Scalar ， Ascend 芯片, 统一达芬奇架构！
- 8. 全场景 全栈 AI 应用 消费终端 公有云 私有云 边缘计算 应用使能 框架 IP和芯片 IoT 行业终端 芯片使能 兼具最优开发效率和算子性能， 以应对学术研究和行业应用的蓬勃发展
- 9. 迈向双繁荣时代
- 12. CANN， 提升开发效率~3x
- 13. 全场景 全栈 AI 应用 消费终端 公有云 私有云 边缘计算 应用使能 IP和芯片 芯片使能 IoT 行业终端 框架 AI 框架必须： 设计态友好：如大幅减少训练时间和成本… 运行态友好：如最小资源需求和最高能效比… 适应所有场景：包括端、边和云
- 16. 应用编程接口 模型库 图计算 调优 端-边缘-云 协作分布式架构 算子&图调优 训练调优 调度调优 可大可小，灵活适应不同资源预算 的部署环境 端 - 边 - 云协同的训练/推理 以统一分布式架构支持多种学习， ML/DL/RL.. 与核心系统解耦的编程接口，灵活 适应多种语 2019 Q2 MindSpore 架构 离线图计算 在线图计算机器学习库 强化学习库 深度学习库 GNN 库
- 17. 框架大小 < 2 MB 占用内存 < 50 MB 5x 或更小的存储空间需求 2019 Q1 模型库 图计算 调优 端 - 边缘-云 协作分布 式架构 机器学习 强化学习库 深度学习库 GNN 库 在线图计算 离线图计算 算子&图调优 训练调优 调度调优 On-device 学习框架
- 19. WinML 离线模型生成 (OMG) 离线模型引擎 (OME) 支持基于主要框架的模型 消费终端 公有云 私有云 边缘计算 IoT 行业终端
- 20. 一个机器学习PaaS，提供全流程服务、分 层分级API以及预集成方案，满足不同开发 者的不同需求，使AI的采用更加容易 全场景 全栈 AI 应用 消费终端 公有云 私有云 边缘计算 IP和芯片 芯片使能 框架 应用使能 IoT 行业终端
- 21. 识别问题 获取数据 模型训练 模型管理 部署 适应变化 AI-相关的软件开发测试 需求建模 架构设计 软件设计 开发测试 部署 维护 AI-相关的维护 数据科学家 数据科学工程师 应用开发者 AI 重新定义应用开发
- 22. 获取数据 • • • • • 处理 • 标注 • 公共数据集 • 版本管理 模型训练 • • • • • • • • 在线脚本编码 • 常用AI框架 • 内置算法 • 超参自动调优 • 分布式集群 • 模型可视化 • 模型管理 • • • • • 模型仓库 • 模型溯源 • 精度追踪 • 模型市场 部署 • • • • • 云端实时服务 • 云端批量服务 • 端边云协同 • API市场 适应变化 • • • • • • 样本分布变化监控 • 预测精度偏差监控 • 数据智能推送 • 自动模型调整 • 本地学习 UI 控制台 ModelArts 全流程模型生产
- 23. 模型构建 目标平台优化 推理时延 硬件资源 算子适配 训练过程优化 超参搜索 优化器搜索 • • • 面向执行的自动模 型生成和适应部署 环境的自动优化 从一开始就通过设计以最低 的成本实现最佳的生产性能 2019 Q2 • 推理时延 • 硬件资源 • 算子适配 ExeML, 面向生产的自动优化 架构搜索 模型压缩 剪枝策略 模型量化 量化策略
- 24. Cloud EI 平台支持 GPU
- 26. 预集成解决方案，私有云 AI 训练一体机 视频分析一体机 外场执法一体机 OCR 一体机 开箱即用 20+ 训练模型 256 通道实时视频分析/每节点 1亿图片分析/每天每节点 99.3% 汉语字符识别准确率 14 执法算法预集成 多算法算力共享 < 1 秒，单页A4识别 99.8% 数字识别准确率 CANN(Compute Architecture forNeural Networks)
- 27. 以原生全场景的全栈解决方案把人工智能推向新高度 消费终端 公有云 私有云 边缘计算 全场景 全栈 应用使能 应用使能： 提供全流程服务(ModelArts), 分层API和预集成方案 框架 ： 支持端、边、云独立的和协同的统一训练和推理框架 芯片使能 ： 芯片算子库和高度自动化算子开发工具 IP和芯片 ： 基于统一、可扩展架构的系列化AI IP 和 芯片 AI 应用 总结 IoT 行业终端