现代 AI 芯片与数据中心算力架构速查表：CPU、GPU、TPU、LPU、NPU、DPU 与国内外算力全景选型

在生成式大语言模型（LLM）与多模态智能体工业化落地的时代，算力基础设施的选型直接决定了系统的训练收敛速度、推理首字时延（TTFT）、每 Token 生成成本与集群能效比。现代 AI 计算已从单一的“GPU 单点包打天下”全面走向**异构计算（Heterogeneous Computing）与特定领域架构（DSA, Domain-Specific Architecture）**协同编排体系。

本速查表彻底剔除过时型号与非技术营销水分，立足真实工业级芯片微架构与数据中心拓扑，高密度汇总 CPU、GPU、TPU、LPU、NPU、DPU 六大计算架构 及 国内外主流智算芯片版图（华为昇腾、寒武纪、海光、AWS Trainium、Meta MTIA、微软 Maia 等），并提供首屏核心架构图、大模型显存容量推导计算尺与集群运维诊断命令速查。

📖 深度微架构剖析、Roofline 模型访存受限推导与超大规模集群实战调优请参阅：现代 AI 芯片与算力架构全景指南：从微架构机理、PD 分离到集群工程选型

🔗 相关矩阵速查：大模型与智能体技术概念全景词典速查表 · AI 核心算法全景速查表 · 运维与高并发架构全景知识图谱速查表 · Linux 常用命令速查表

现代 AI 芯片微架构与数据中心流水线全景图

1. 现代 AI 数据中心端到端计算流水线（PD 分离技术路径）

大模型请求在现代 AI 云数据中心中的完整生命周期遵循标准的数据卸载 ➔ 控制编排 ➔ 预填计算 ➔ 解码生成 ➔ 响应分发链路：

2. 六大核心计算架构参数全景对照表

3. 国内外智算芯片生态版图速查

在全球与本土算力多元化的工业背景下，除了传统的 NVIDIA 与 AMD 之外，各大云厂商与国产芯片厂商已建立起完备的自主智算产品线：

A. 国产自主算力体系（中国智算核心阵列）

B. 北美头部云巨头自研 ASIC 矩阵

4. 大模型显存容量与带宽实战计算尺

在模型选型、卡数规划与推理部署前，必须通过数学公式精算显存占用：

1. 核心数学计算公式

A. 模型静态权重显存占用

• P：模型总参数量（例如 70B = 700 亿参数）。
• Bits：量化位宽（FP16/BF16 为 16，FP8 为 8，INT4 为 4）。
• Overhead：框架层显存碎片与非权重张量冗余（通常估算取 1.15 ~ 1.20）。

B. 动态 KV-Cache 显存占用（单并发每 Token 开销）

在采用分组查询注意力（GQA, Grouped-Query Attention）的现代 Transformer 中：

• L：模型 Transformer 层数（如 Llama-3-70B 中 L = 80）。
• n_kv：KV 注意力头数（如 Llama-3-70B 中 n_kv = 8）。
• d_head：单注意力头维度（通常为 128）。
• BytesPerParam：每个参数字节数（FP16 为 2，FP8 为 1）。
• 系数 2：分别保存 Key 向量与 Value 向量。

总 KV-Cache 显存随并发批尺寸 B 与序列长度 S 线性增长：

2. 主流大模型显存占用速查表

下表给出了纯模型权重显存（含 15% 框架冗余）与每 1k 上下文产生的 KV-Cache 大小对照：

💡 显存避坑定则：当并发批尺寸 B = 64、上下文为 32k 时，单 70B 模型的 KV-Cache 占用高达 64 × 10.5 GB = 672 GB，是模型自身权重的 4 倍以上！必须启用 PagedAttention 与 FP8 KV-Cache 压缩。

5. 智算集群运维与状态监控速查矩阵

在大规模集群环境中，快速定位芯片掉卡、降频、NVLink 错误与内存瓶颈至关重要：

1. NVIDIA GPU 常用监控与诊断命令

# 1. 实时以 CSV 格式输出 GPU 核心状态（索引、名称、温度、GPU 利用率、显存使用、实时功耗）
nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv -l 1

# 2. 查看机器内 NVLink 硬件链路状态与连接健康度
nvidia-smi nvlink -s

# 3. 检查 NVLink 链路误码率与 CRC 错误包计数（若持续增加说明线缆或插槽物理松动）
nvidia-smi nvlink -e

# 4. 查看当前节点多卡之间的物理拓扑关系（识别 NVLink / PCIe / 跨 NUMA 节点状态）
nvidia-smi topo -m

# 5. 锁定 GPU 核心与显存频率（基准压测与防时钟抖动）
sudo nvidia-smi --lock-gpu-clocks=2100,2100

# 6. 使用 NVIDIA DCGM 运行整机 3 级深度硬件稳定性巡检（包含显存压力测试）
dcgmi diag -r 3

2. 华为昇腾 NPU (CANN) 常用监控与诊断命令

# 1. 查询当前系统全部昇腾芯片的基础状态、HBM 显存占用与驱动固件版本
npu-smi info

# 2. 实时刷新当前昇腾芯片算力利用率、温度与功率消耗（以 1 秒为间隔）
npu-smi info -w 1

# 3. 检查昇腾芯片间 HCCS 高速互联拓扑状态（相当于 NVLink 拓扑检查）
npu-smi info -t hccs -i 0

# 4. 查看昇腾主板温度传感器与电源供电健康度
npu-smi info -t board -i 0

# 5. 抓取昇腾设备错误代码与历史硬件告警日志
npu-smi info -t error-code -i 0

3. AMD Instinct GPU (ROCm) 常用监控命令

# 1. 查看 MI300X 显存占用、利用率、温度与功耗
rocm-smi --showuse --showmeminfo vram --showtemp --showpower

# 2. 显示 AMD 节点内 XGMI 卡间全互联总线拓扑
rocm-smi --showtopo

4. 模型算力利用率 (MFU, Model FLOPs Utilization) 生产级估算脚本

MFU 是衡量大模型训练和推理是否充分压榨芯片算力的核心指标（行业一流水平约为 40% ~ 55%）：

def calculate_mfu(
    num_params_billion: float,      # 模型参数量 (单位: B, 如 70.0)
    throughput_tokens_per_sec: float,# 集群总体每秒生成 Token 吞吐量
    num_gpus: int,                  # 参与计算的总 GPU 卡数 (如 8)
    peak_tflops_per_gpu: float,     # 单卡峰值算力 (如 H100 FP16 峰值为 989.0)
    is_training: bool = False       # True 为训练 (6*P), False 为推理 (2*P)
) -> float:
    """计算模型算力利用率 (MFU, Model FLOPs Utilization)"""
    # 每次前向计算每个 Token 需 2*P FLOPs；反向传播需 4*P FLOPs；训练总计 6*P
    factor = 6.0 if is_training else 2.0
    flops_per_token = factor * (num_params_billion * 1e9)
    
    # 实际达成的计算吞吐 (TFLOPS)
    achieved_tflops = (throughput_tokens_per_sec * flops_per_token) / 1e12
    
    # 硬件理论峰值总算力 (TFLOPS)
    total_peak_tflops = num_gpus * peak_tflops_per_gpu
    
    mfu = (achieved_tflops / total_peak_tflops) * 100.0
    return round(mfu, 2)

# 示例: 8 张 H100 运行 70B 模型在线推理，集群吞吐为 800 Tokens/s
mfu = calculate_mfu(num_params_billion=70, throughput_tokens_per_sec=800, num_gpus=8, peak_tflops_per_gpu=989)
print(f"当前集群实测 MFU: {mfu}%")
# 若 MFU < 15%，说明系统严重处于访存瓶颈或网络通信阻塞状态

6. 核心架构认知总结与演进方向

1. 特定领域架构（DSA）终结单一芯片垄断：算力正从“同构堆核”转向“异构协同”。CPU 负责灵活控制流，DPU 负责网络与安全卸载，GPU/TPU/昇腾专攻长上下文预填，LPU 专精低延迟自回归解码，NPU 渗透终端低功耗场景。
2. PD 分离架构成为推理生产环境的终极范式：计算密集型的 Prefill 阶段与访存密集型的 Decode 阶段对硬件微架构的需求完全对立。通过跨节点高速 RDMA 网络分离部署，能避免资源挤占，将集群每瓦吞吐提升数倍。
3. 软硬件协同设计（Co-Design）决定生命线：没有优秀编译器（如 TensorRT、Triton、CANN、OpenXLA）的专用芯片往往沦为纸面参数。算子覆盖率、自动算子融合与显存虚拟化调度能力是衡量芯片工程落地成熟度的最关键判据。