Frontend
版本发布时间: 2023-02-03 17:06:04
chenzomi12/AISystem最新发布版本:Hardware(2023-11-26 07:51:49)
提供第一部分基础篇介绍AI框架的AI框架核心技术相关的Slide。
首先介绍任何一个AI框架都离不开的自动微分，通过自动微分功能后就会产生表示神经网络的图和算子，然后介绍AI框架前端的优化，还有最近很火的大模型分布式训练在AI框架中的关键技术。
| 编号 | 名称 | 具体内容 |
|---|---|---|
| 1 | AI框架基础 | AI框架的作用、发展、编程范式 |
| 2 | 自动微分 | 自动微分的实现方式和原理 |
| 3 | 计算图 | 计算图的概念，图优化、图执行、控制流表达 |
| 4 | 分布式集群 | AI集群服务器架构、软硬件通信方式 |
| 5 | 分布式算法 | 大模型挑战，Transformer和MOE结构的大模型 |
| 6 | 分布式并行 | 数据并行、模型并行、混合并行的原理和策略 |
1、 Frontend.zip 487.76MB