HCIE-AI：行业模型选型方案

1.概述

本文介绍了开原模型选型，并详细分析了如何将基于PyTorch框架的模型迁移到昇腾服务器。

2. 目标

3. 模型迁移

模型迁移至NPU需要适配的原因：

① 硬件特性和性能特点差异

② 计算架构差异

③ 深度学习框架差异

4. 模型迁移的总体思路

① 迁移分析

任务确认、可行性分析

② 迁移适配

模型迁移、问题分析

③ 精度调试

精度分析、精度调优

④ 性能调优

性能分析、性能调优

5. 模型选型

6. 性能指标

7. 评测指标

8. PyTorch模型迁移分析

迁移支持度分析方法

模型是否可以迁移成功主要取决于模型算子知否支持昇腾 AI 处理器。

迁移分析工具

9. 迁移适配

模型保存和导出

10. 精度调试

10.1 大模型精度问题主要来源

精度问题来源：

10.2 精度调优方法

11. 性能调优

11.1 性能指标

11.2 通用优化方法

融合算子替换

12. 算子开发

12.1 算子开发工具

12.2 使用 Ascend C 进行自定义算子开发的优势

12.3 Ascend C编程技术特性

12.4 开发Ascend C算子的基本流程

12.5 Ascend C 完整开发流程

13. 总结

本文介绍了开原模型选型，并详细分析了如何将基于PyTorch框架的模型迁移到昇腾服务器，笔试占比8%。