在真实人工智能与数据科学工程实践中，算法的选择直接决定了系统的效果上限、算力消耗与落地可行性。
本速查表彻底剔除教学过渡、过时淘汰与凑数算法（如 AdaBoost、SARSA、Vanilla RNN、传统运筹遗传/粒子群等），聚焦于现代工业界真正高频、具备生产级实战价值的 27 个核心经典与前沿算法，提炼为高密度的速查矩阵。
📖 深度算法机理推导、优缺点全景剖析与选型决策树请参阅：AI 核心算法全景指南：从数学机理、工程选型到调优法则
🔗 相关矩阵速查：Claude Code 常用命令速查表 · Python 速查表 · 4大 Always-on Agent 横向对比速查表
现代 AI 核心算法全景索引大表
| 编号 | 算法名称 (缩写/英文) | 核心任务 | 数学依据 / 核心损失机制 | 关键调优参数 | 典型工业应用场景 |
|---|---|---|---|---|---|
| 01 | 线性回归 (Linear Regression) | 连续值拟合 | 最小化均方误差 ( \mathcal{L}_{\text{MSE}} = \frac{1}{2m}\sum(y-\hat{y})^2 ) | 正则化参数 (\alpha) (L1 Lasso / L2 Ridge) | 房产估价、能耗预测、线性趋势分析 |
| 02 | 逻辑回归 (Logistic Regression) | 概率二分类 | Sigmoid 映射 + 交叉熵对数损失 | 正则化倒数 (C)、正负样本权重 class_weight | 广告 CTR 点击率预估、用户流失、信用风控 |
| 03 | 决策树 (CART / Decision Tree) | 分类 / 回归 | 节点贪心二分（基尼不纯度 / 均方差减少量） | 树最大深度 max_depth、叶节点最少样本数 | 白盒审批规则抽取、医疗诊断辅助基线 |
| 04 | 支持向量机 (SVM) | 分类 / 回归 | 最大化分类间隔 + 核技巧 (Kernel Trick) | 惩罚参数 (C)、高斯核带宽 (\gamma) | 高维小样本分类、生物信息基因特征识别 |
| 05 | K 近邻 (KNN) | 距离度量分类 | 特征空间空间距离（欧氏 / 曼哈顿）多数表决 | 近邻数 (k)、距离权重度量 weights | 推荐系统冷启动、局部样本异常检测 |
| 06 | 朴素贝叶斯 (Naive Bayes) | 文本 / 离散分类 | 条件独立性假设 + 最大后验概率估计 (MAP) | 拉普拉斯平滑系数 (\alpha) | 垃圾邮件过滤、舆情多分类、短文本初筛 |
| 07 | 随机森林 (Random Forest) | 分类 / 回归 | Bagging 样本行自助抽样 + 特征列随机抽样 | 决策树数量 n_estimators、max_features | 结构化特征重要度评估、工业传感器故障预警 |
| 08 | 梯度提升树族 (GBDT / XGBoost / LightGBM) | 表格 SOTA 建模 | 加法模型沿负梯度拟合残差 + 二阶泰勒展开 | 学习率 eta、叶子树深度、子采样率 subsample | Kaggle 结构化竞赛、搜索排序、金融风险定价 |
| 09 | K 均值聚类 (K-Means) | 无监督聚类 | 迭代质心移动，最小化簇内平方和误差 (WCSS) | 聚类簇数 (K)、质心初始化 init='k-means++' | 用户人群画像分群、图像色彩量化压缩 |
| 10 | 层次聚类 (Hierarchical) | 拓扑聚类 | 凝聚型（自底向上）或分裂型树状分级拓扑 | 链接准则 linkage（Ward/Complete）、截断距离 | 物种进化谱系分析、企业组织架构自动聚类 |
| 11 | DBSCAN | 空间密度聚类 | (\epsilon) 邻域核心点密度可达性，抗噪声离群点 | 邻域半径 (\epsilon)、密度阈值 min_samples | 空间地理轨迹热点挖掘、网络异常攻击模式检测 |
| 12 | 主成分分析 (PCA) | 线性降维 | 特征协方差矩阵正交分解，最大化投影方差 | 目标主成分维度 (k) 或保留累积方差比率 | 高维特征降噪、特征多重共线性消除、数据压缩 |
| 13 | t-SNE / UMAP | 流形降维可视化 | 高维概率分布匹配 (KL 散度) / 黎曼模糊单纯集 | 困惑度 perplexity / 近邻数 n_neighbors | 大模型高维词嵌入 2D/3D 可视化、单细胞图谱 |
| 14 | HNSW / IVF-PQ | 向量近似近邻检索 | 分层跳表概率图 (HNSW) / 倒排直方图乘积量化 | 搜索候选集 efSearch、倒排分桶数 nlist | 现代大模型 RAG 检索、向量数据库、召回检索 |
| 15 | 梯度优化器族 (SGD / AdamW) | 深度权重优化 | 一阶动量平滑 + 二阶方差自适应缩放 + 解耦衰减 | 学习率 (\eta)、动量 (\beta_1,\beta_2)、权重衰减 weight_decay | 所有深度神经网络与大语言模型的训练更新底座 |
| 16 | 多层感知机 (MLP / 前馈网络) | 深度特征拟合 | 全连接拓扑 + 激活函数 (ReLU/GELU) + 链式反传 | 隐藏层数、神经元宽度、Dropout 概率 | 经典前馈非线性拟合、推荐精排深度打分层 |
| 17 | 卷积神经网络 (CNN / ResNet) | 图像 / 空间特征 | 局部感受野 + 卷积核权重共享 + 恒等残差跳连 | 卷积核尺寸、残差块深度、归一化 (BatchNorm) | 计算机视觉分类 (ResNet)、目标检测 (YOLO) |
| 18 | 长短期记忆网络 (LSTM / GRU) | 时序数据建模 | 遗忘门、输入门、输出门消除长跨度梯度消失 | 隐藏单元维度、门控层数、双向配置 bidirectional | 股票金融高频量化、工业时序传感器预警、语音声学 |
| 19 | 图卷积网络 (GCN / GAT) | 非欧氏拓扑图 | 邻接矩阵谱图卷积 / 邻居注意力聚合传递 | 图卷积层数、注意力头数 heads、聚合函数 | 社交关系链反欺诈、分子药物合成、知识图谱推理 |
| 20 | Transformer | 序列与多模态 | 缩放点积自注意力 (Self-Attention) + 全并行计算 | 注意力头数 (h)、嵌入维度 (d_{\text{model}})、层数 (L) | 现代大语言模型 (GPT/LLaMA/Claude)、视觉 ViT |
| 21 | 掩码自编码 (MAE / SimCLR) | 自监督表征学习 | 大比例随机掩码重构 / InfoNCE 跨视图对比损失 | 掩码比例 mask_ratio (75%)、对比温度系数 (\tau) | 视觉与多模态大模型无标注海量数据基底预训练 |
| 22 | 深度 Q 网络 (DQN) | 深度强化学习 | 深度网络拟合 Q 值 + 经验回放 (Replay) + 目标网络 | 回放池容量 buffer_size、目标网络同步频率 | 离散动作游戏 AI、物流仓储 AGV 路径动态规划 |
| 23 | 近端策略优化 (PPO) | 强化学习 (Actor-Critic) | 截断重要性采样代理目标，限制单步策略偏离幅度 | 截断范围 (\epsilon) (0.2)、广义优势估计 (\lambda) | 连续机械臂姿态控制、早期大模型 RLHF 对齐 |
| 24 | 直接偏好优化 (DPO) | 大模型偏好对齐 | 隐式代换奖励模型，通过二分类隐式损失直训策略 | 正则超参数 (\beta) (0.1~0.5)、学习率调度 | 当今大语言模型 Post-training 人类对齐事实标准 |
| 25 | 变分自编码器 (VAE) | 生成式概率推断 | 变分后验正态分布建模 + 重参数化采样技巧 | 隐变量维度 (d_z)、KL 散度惩罚平衡系数 (\beta) | 隐空间语义平滑插值、工业异常缺陷合成生成 |
| 26 | 生成对抗网络 (GAN) | 生成式对抗建模 | 生成器 (G) 与判别器 (D) 的零和博弈极小极大 | 生成/判别器步数比、梯度惩罚项 (WGAN-GP) | 图像超分辨率重建、人脸属性编辑、风格迁移 |
| 27 | 扩散模型 (Diffusion Model) | 高保真样本生成 | 前向马尔可夫加噪过程 + 反向网络逐步去噪重建 | 采样步数 (T)、噪声调度方案 (Cosine/Linear) | Midjourney、Stable Diffusion、Sora 图像视频生成 |
六大工程体系分类速查矩阵
1. 经典统计与判别学习（监督学习）
| 算法 | 核心适用特征 | 训练速度 | 可解释性 | 关键局限与避坑点 |
|---|---|---|---|---|
| 线性回归 | 连续数值型、强线性假设 | 极快 ((O(Nd))) | 极强 (权重直接反映影响) | 对离群异常点极其敏感，特征共线性严重时需加 L2 正则 |
| 逻辑回归 | 高维稀疏离散特征 | 极快 (支持在线学习) | 强 (对数几率 Odds Ratio) | 无法捕捉特征非线性交互，依赖人工特征交叉工程 |
| 决策树 | 容忍非归一化与异构缺失 | 较快 | 强 (If-Else 规则集) | 单树方差极大，极易过拟合，生产中必须限制树最大深度 |
| 支持向量机 | 高维小样本结构化数据 | 慢 ((O(N^2) \sim O(N^3))) | 弱 (核空间非线性黑盒) | 强依赖特征标准化缩放，样本量超十万时计算急剧变慢 |
| K 近邻 | 几何低维空间近邻分类 | 无需训练 / 预测较慢 | 中等 | 高维空间受“维度灾难”影响距离失效，必须配合 PCA 降维 |
2. 集成学习与表格极限（Ensemble & Boosting）
| 算法 | 核心机制 | 偏差/方差策略 | 缺失值与特征缩放 | 生产落地建议 |
|---|---|---|---|---|
| 朴素贝叶斯 | 条件独立概率乘积 | 强先验平滑降低方差 | 需处理零频数 (Laplace) | 极适合海量词频文本分类与高维稀疏初筛 |
| 随机森林 | 并行决策树 + 双重随机扰动 | 依靠独立多树平均降低方差 | 天然容忍缺失，无需标准化 | 调参代价极小，是结构化数据最佳的开箱即用基线 |
| 梯度提升树族 (XGBoost/LightGBM) | 串行残差迭代 + 二阶泰勒展开 | 逐步提升精度降低偏差 | 原生处理缺失值，直方图加速 | 现代表格建模绝对王者，LightGBM 显存与速度优势明显 |
3. 无监督挖掘与向量检索（Clustering, Reduction & Vector Search）
| 算法 | 核心功能 | 空间/簇形态假设 | 算法复杂度 | 典型工业级使用建议 |
|---|---|---|---|---|
| K-Means | 簇划分聚类 | 凸型超球状簇 | (O(NKd)) 极快 | 需提前预设 (K) 值；大数据量推荐 MiniBatchKMeans |
| 层次聚类 | 分级拓扑树图谱 | 依赖链接准则距离 | (O(N^2 \log N)) 较慢 | 适合样本量较小（数千以内）的层级关系可视化 |
| DBSCAN | 密度连通聚类 | 发现任意非规则异形簇 | (O(N \log N)) 中等 | 能够自动识别孤立噪声点，但对高维全局密度不均敏感 |
| PCA | 全局线性降维 | 最大化保留方差投影 | (O(d^3)) 快速 | 特征压缩与消除共线性的标准手段，注意降维后损失可解释性 |
| t-SNE / UMAP | 非线性流形降维 | 保持局部邻域拓扑关系 | UMAP 远快于 t-SNE | 仅用于低维探索性可视化，不可直接作为通用下游输入特征 |
| HNSW / IVF-PQ | 高维向量近似近邻检索 | 分层概率小世界图 / 乘积量化 | 检索时间 (O(\log N)) | 大模型 RAG 与向量数据库底座，毫秒级从千万向量库检索 Top-K |
4. 深度学习架构与底层优化器（Deep Learning & Optimizers）
| 算法 / 架构 | 核心算子机制 | 并行计算能力 | 梯度衰减对策 | 工业标杆基准 |
|---|---|---|---|---|
| SGD / AdamW | 动量阻尼 + 自适应方差 + 解耦衰减 | 矩阵级高度全并行 | 结合梯度裁剪 (Gradient Clipping) | 所有 Transformer 与神经网络训练事实标准优化器 |
| MLP / 前馈网络 | 全连接矩阵乘法 (W \cdot x + b) | 层内高度全并行 | 激活函数 (ReLU/GELU) + 权重正则 | 推荐系统精排网络 (DeepFM)、多模态最后映射层 |
| CNN / ResNet | 空间局部感受野 + 卷积参数共享 | 空间高度并行计算 | 恒等残差跳跃连接 (Shortcut) | 计算机视觉分类 (ResNet/ConvNeXt)、目标检测 |
| LSTM / GRU | 门控机制加法通路控制记忆传递 | 沿时间序列必须串行 | 门控加法消除指数连乘梯度衰减 | 工业级长时序传感器预测、声学建模、量化时序 |
| 图卷积网络 (GCN) | 邻接矩阵拉普拉斯谱分解 / 空间消息传递 | 图尺度受限，需子图采样 | 残差连接 (Jumping Knowledge) | 欺诈团伙识别、金融黑产风控、知识图谱推理 |
| Transformer | 缩放点积多头注意力 + 绝对/旋转位置编码 | 序列全维度高度全并行 | 预层归一化 (Pre-LayerNorm) | GPT-4、LLaMA-3、Claude、Vision Transformer |
5. 自监督预训练与大模型对齐（Pre-training & Post-training Alignment）
| 算法 / 范式 | 核心优化目标 | 监督信号来源 | 显存/资源消耗 | 为什么它成为现代标准？ |
|---|---|---|---|---|
| 掩码自编码 (MAE) | 75% 高比例随机掩码，自编码器像素重构 | 海量无标注纯图像数据 | 中等，编码器仅计算非掩码块 | 突破视觉数据标注瓶颈，奠定大规模通用视觉预训练基石 |
| 近端策略优化 (PPO) | 策略裁剪约束下的价值优势函数最大化 | 独立训练的 Reward 模型打分 | 极高 (需常驻 Actor/Critic/Ref/Reward 4个模型) | 稳定性高，早起 InstructGPT / ChatGPT 经典对齐基础 |
| 直接偏好优化 (DPO) | 解析推导隐式奖励，直接在偏好对数据上计算交叉熵 | 人类对比偏好对 ((y_w, y_l)) | 极低 (无需独立 Reward 模型与采样) | 全面取代复杂 PPO，现今开源大模型对齐的主流首选 |
6. 现代前沿生成模型（Generative Modeling）
| 算法家族 | 样本生成机制 | 推理采样延迟 | 训练稳定性 | 典型工业成熟代表 |
|---|---|---|---|---|
| 变分自编码器 (VAE) | 变分推断高斯分布 + 重参数化采样解码 | 极快 (单步前向推理) | 极稳定 (有解析下界 ELBO) | 图像/视频生成模型的隐空间压缩器 (Latent Space) |
| 生成对抗网络 (GAN) | 生成器与判别器零和纳什均衡博弈 | 极快 (单步前向推理) | 较难调参 (易模式坍塌 Mode Collapse) | 实时人脸高清化、图片超分辨率重建、实时滤镜 |
| 扩散模型 (Diffusion) | 前向高斯逐步加噪 + 反向网络逐步去噪 | 较慢 (需 20~50 步迭代采样) | 极高 (目标函数是确定性 MSE) | Midjourney、Stable Diffusion、Sora 文生图/文生视频 |