训练和推理都用GPU——前向反向与缓存的三笔账

📋总体概括

这是一期面向开发者的GPU训练与推理技术解读内容，围绕训练前向、反向、优化器更新与推理缓存三本账展开。核心包括：用参数级示例拆解自动微分流程并可在CPU核验梯度、PyTorch源码验证eval模式的显存行为、梯度累积与Adam状态及激活重算的显存生命周期，以及Prefill、decode和分层KV缓存的容量估算公式，最后覆盖GPU异步计时口径与显存排障路径，帮助开发者把显存、吞吐和延迟的账算清楚。