YANG's Blog
Index
Tags
Categories
Archives
About
Contact
Friends
YANG's Blog
Cogito, ergo sum
Index
Tags
Categories
Archives
About
Contact
Friends
Fork Me
AI Infra 从入门到入土
▼
0. 总览
2
0. AI Infra 知识框架
0.5 GPU Kernel 学习路线图
▼
1. Data Parallel
7
1. 训练显存预算与激活优化
2. Distributed Data Parallel
3. GPU 异步计算
4. 混合精度训练
5. ZeRO 与 FSDP
6. 多机训练与 NCCL 工程
7. Checkpoint 与训练恢复
▼
2. Pipeline Parallel
3
1. GPipe:朴素流水线与 micro-batch
2. 1F1B
3. Interleaved 1F1B
▼
4. GPU Kernel 优化
2
1. Flash Attention
0. KV Cache
▼
9. Inference Infrastructure
2
▼
1. 推理量化
2
Chapter0 LLM 量化总览
Chapter1 Linear 量化全景
YANG's Blog
/
Knowledge Base
/
AI Infra 从入门到入土
10 篇文章
Category
AI Infra 从入门到入土
按目录顺序浏览这个知识库下的文章。
Chapter0 LLM 量化总览
9. Inference Infrastructure / 1. 推理量化
2026-06-17
0. AI Infra 知识框架
0. 总览
2026-05-26
Chapter1 Linear 量化全景
9. Inference Infrastructure / 1. 推理量化
2026-06-17
7. Checkpoint 与训练恢复
1. Data Parallel
2026-05-09
1. GPipe:朴素流水线与 micro-batch
2. Pipeline Parallel
2026-05-10
3. Interleaved 1F1B
2. Pipeline Parallel
2026-05-10
0.5 GPU Kernel 学习路线图
0. 总览
2026-05-09
0. KV Cache
4. GPU Kernel 优化
2026-05-14
6. 多机训练与 NCCL 工程
1. Data Parallel
2026-05-09
2. 1F1B
2. Pipeline Parallel
2026-05-11
1 / 2
Search