模型训练相关文章
PyTorch 2.0 训练加速技巧：编译模式与算子融合实践
PyTorch 2.0 引入了 torch.compile 编译模式，可以显著提升模型训练速度。本文详细记录了我对 ResNet-50 进行编译加速的实验过程，包括算子融合策略、显存优化以及实际加速比测试结果。
深度学习模型训练中的学习率调度策略详解
学习率是影响模型收敛效果最关键的超参数之一。本文系统对比了 Step Decay、Cosine Annealing、OneCycleLR、ReduceLROnPlateau 等常见调度策略在图像分类任务中的表现差异。
使用 NVIDIA DALI 加速数据加载与数据增强流水线
GPU 利用率上不去往往是因为 CPU 数据加载成为瓶颈。NVIDIA DALI 可以在 GPU 上执行数据增强操作，显著降低 CPU 负载。本文记录了我在 ImageNet 训练任务中集成 DALI 的完整过程。
多卡分布式训练：PyTorch DDP 实战与踩坑记录
从单卡到多卡训练需要考虑数据并行、梯度同步、Batch Size 调整等问题。本文使用 PyTorch DistributedDataParallel (DDP) 在 4×A100 上训练 LLaMA-7B 模型，记录了环境配置、通信优化和常见错误解决方案。
混合精度训练 (AMP) 原理与实战：在 RTX 4090 上训练 LLM
混合精度训练利用 FP16 计算和 FP32 主权重，可以在不损失精度的情况下将训练速度提升 2-3 倍。本文详解了 AMP 的工作原理，并记录了在单张 RTX 4090 上训练 7B 参数语言模型的显存优化实践。
梯度累积与梯度裁剪：稳定大模型训练的实用技巧
当 GPU 显存不足以容纳大 Batch Size 时，梯度累积是有效的替代方案。本文结合梯度裁剪技巧，详细说明了在训练 GPT-2 和 Stable Diffusion 模型时如何稳定训练过程，防止梯度爆炸。