GPU（Graphics Processing Unit，即图形处理单元）的架构设计以大规模并行计算为核心，专为处理高吞吐量、数据并行的任务（如图形渲染、深度学习训练）优化。

GPU与CPU的核心区别

特性

CPU

GPU

核心数量

少量复杂核心

（通常4-64核）

数千个简单核心

（如NVIDIA 的CUDA核心）

设计目标

低延迟（单线程性能）

高吞吐量（并行计算能力）

适用场景

通用计算、逻辑控制

数据并行计算（矩阵运算等）

GPU的物理架构（以NVIDIA为例）

1. 核心组件

流多处理器（Streaming Multiprocessor, SM）GPU的基本计算单元，每个SM包含多个CUDA核心（如NVIDIA Ampere架构的SM包含128个FP32 CUDA核心）。每个SM内部包含：CUDA核心：执行浮点和整数运算。Tensor Core（专用加速单元）：加速混合精度矩阵运算（FP16/FP32、INT8等）。调度器（Warp Scheduler）：管理线程束（Warp）的调度（1 Warp = 32线程）。寄存器文件（Register File）：存储线程的私有数据。共享内存（Shared Memory）：SM内线程块共享的低延迟内存（类似CPU的L1缓存）。全局内存（Global Memory）GPU的主内存（如GDDR6/HBM2），容量大（如24GB~80GB）但延迟高，需通过优化访问模式提高带宽利用率。L2缓存所有SM共享的缓存，用于减少对全局内存的访问。

2. 典型GPU架构示例

NVIDIA Ampere架构（如A100）108个SM，每个SM包含：64个FP32 CUDA核心32个FP64 CUDA核心4个第三代Tensor Core支持结构化稀疏（Sparsity）加速。NVIDIA Hopper架构（如H100）引入Transformer Engine，动态切换FP8/FP16精度，优化大模型训练。GPU的逻辑执行模型

1. 线程层次（CUDA编程模型）

线程（Thread）：最小执行单元。线程块（Block）：一组线程，共享SM的共享内存，可同步。网格（Grid）：多个线程块的集合，执行同一核函数（Kernel）。

2. SIMT（单指令多线程）模型

Warp（线程束）：32个线程为一组，执行相同的指令（但可处理不同数据）。分支发散（Divergence）：若线程束内的线程执行不同分支，性能会显著下降（需避免）。GPU性能优化关键点

最大化并行度

提高SM利用率：每个SM至少启动多个线程块（如每个SM运行8个块，每块256线程）。避免线程束发散（使用__syncwarp()同步或重构逻辑）。

内存访问优化

合并内存访问（Coalesced Memory Access）：确保线程束内线程访问连续内存地址。利用共享内存减少全局内存访问（如卷积操作中的滑动窗口缓存）。

计算资源平衡

隐藏内存延迟：通过足够多的线程切换掩盖内存访问延迟。混合精度计算：使用Tensor Core加速FP16/FP32混合运算。

专用硬件加速

使用Tensor Core加速矩阵乘累加（如matmul操作）。启用结构化稀疏（Sparsity）减少计算量（需权重稀疏度≥50%）。GPU编程工具CUDA Toolkit：提供编译器（nvcc）、调试器（cuda-gdb）和性能分析工具（nsight）。Nsight Systems：分析GPU利用率、内存带宽和核函数执行时间。PyTorch GPU调试：使用torch.cuda模块监控显存和同步事件：torch.cuda.empty_cache() # 释放未使用的显存 torch.cuda.memory_summary() # 显存使用统计