监督学习算法全景速查表：从基础机制、10大核心模型到选型评估

监督学习（Supervised Learning）是机器学习中应用最广泛、工业成熟度最高的技术范式。它通过对带有真实标签（Ground Truth）的训练数据进行拟合，学习输入特征 ( X ) 与目标标签 ( y ) 之间的映射函数 ( f: X \to y )，并对新样本做出高精度预测。

本速查表整理了监督学习端到端工程链路、10 大经典与前沿主流模型、全量评估指标与选型决策矩阵，旨在为算法工程师与技术开发者提供开箱即用的高密度参考标准。

📖 深度算法机理剖析与完整体系演进请参阅：AI 核心算法全景指南：从数学机理、工程选型到调优法则

🔗 相关矩阵速查：AI 核心算法全景速查表 · 算法复杂度速查表 · 向量数据库与检索架构速查表 · Python 速查表

1. 监督学习核心框架与两大任务范式

1.1 端到端工程标准流程

[带标签数据 (X, y)] ──> [特征工程与清洗] ──> [数据集划分 (Train/Val/Test)]
                                                       │
                                                       ▼
[线上推理与业务决策] <── [评估与阈值微调] <── [模型训练与超参调优]

1. 数据采集与标注：构建具有代表性的高信噪比特征矩阵 ( X \in \mathbb{R}^{n \times d} ) 与真实标签向量 ( y )。
2. 特征工程与预处理：处理缺失值、离群点截断、类别特征编码（One-Hot / Target Encoding）、数值特征标准化（StandardScaler / MinMaxScaler）。
3. 数据集划分：按独立同分布原则或时间序列切分训练集（Train）、验证集（Validation）与测试集（Test），防范数据泄露（Data Leakage）。
4. 模型训练与调优：选取基线算法架构，基于损失函数进行梯度更新或参数解析求解，配合交叉验证（K-Fold CV）进行超参寻优。
5. 模型评估与验证：使用与业务目标紧密对齐的多维度量化指标，评估模型的拟合度与泛化边界。
6. 线上推理与监控：模型轻量化转换（ONNX/TensorRT），部署实时/批量预测，建立特征漂移（Data Drift）与概念漂移（Concept Drift）监控。

1.2 分类任务 vs 回归任务核心对照

2. 常见的 10 大监督学习算法速查总览

3. 10 大核心算法机理与关键要点卡片

01. 线性回归 (Linear Regression)

• 核心公式： $$ \hat{y} = \mathbf{w}^T \mathbf{x} + b, \quad \mathcal{L}{\text{MSE}}(\mathbf{w}, b) = \frac{1}{2n} \sum{i=1}^n \left( y^{(i)} - (\mathbf{w}^T \mathbf{x}^{(i)} + b) \right)^2 $$
• 正则化变体：
  • Ridge (L2 正则)：( \mathcal{L} + \lambda |\mathbf{w}|_2^2 )，压缩参数权重，解决多重共线性。
  • Lasso (L1 正则)：( \mathcal{L} + \lambda |\mathbf{w}|_1 )，驱使非核心特征权重衰减为 0，实现特征稀疏化选择。
  • ElasticNet：组合 L1 与 L2 惩罚项，平衡稀疏选择与共线性群组效应。
• 避坑提示：强线性假设；易受异常极端值拉偏斜率，必要时需采用 Huber 损失或 RANSAC 鲁棒回归。

02. 逻辑回归 (Logistic Regression)

• 核心公式： $$ P(y=1 \mid \mathbf{x}) = \sigma(\mathbf{w}^T \mathbf{x} + b) = \frac{1}{1 + e^{-(\mathbf{w}^T \mathbf{x} + b)}} $$ $$ \mathcal{L}{\text{LogLoss}} = -\frac{1}{n}\sum{i=1}^n \left[ y^{(i)}\ln(\hat{p}^{(i)}) + (1 - y^{(i)})\ln(1 - \hat{p}^{(i)}) \right] $$
• 关键机制：本质是借助 Sigmoid 激活将实数域输出映射为 ((0, 1)) 区间的后验概率，对数几率（Logit）呈线性关系：( \ln\frac{p}{1-p} = \mathbf{w}^T \mathbf{x} + b )。
• 避坑提示：决策面为线性超平面，无法直接捕捉非线性模式；多分类场景使用 Softmax 推广（Multinomial Logistic Regression）。

03. 决策树 (Decision Tree - CART)

• 核心公式：
  • 分类划分准则（基尼不纯度 Gini）： $$ \text{Gini}(D) = 1 - \sum_{k=1}^K p_k^2, \quad \Delta \text{Gini} = \text{Gini}(D) - \frac{|D_L|}{|D|}\text{Gini}(D_L) - \frac{|D_R|}{|D|}\text{Gini}(D_R) $$
  • 回归划分准则（均方差减少量）： $$ \mathcal{L}(D) = \sum_{i \in D_L} (y^{(i)} - \bar{y}L)^2 + \sum{j \in D_R} (y^{(j)} - \bar{y}_R)^2 $$
• 关键机制：贪心自顶向下二分特征空间；天然支持非线性模式与混合特征类型。
• 避坑提示：无约束生长的树方差极大，极易过拟合；必须设置 max_depth 截断、min_samples_leaf 或进行代价复杂度剪枝（ccp_alpha）。

04. 随机森林 (Random Forest)

• 核心机制：
  • 样本扰动：有放回自举采样（Bootstrap），约有 ( 1 - 1/e \approx 63.2% ) 的样本参与单树训练，剩余 ( 36.8% ) 为天然袋外数据（OOB），可直接用于模型无偏评估。
  • 特征扰动：每个节点分裂时仅在随机选取的 ( \sqrt{d} )（分类）或 ( d/3 )（回归）个特征子集中寻找最优划分。
• 降方差原理：对于 ( M ) 棵方差为 ( \sigma^2 )、相关系数为 ( \rho ) 的决策树，森林集成方差为 ( \rho \sigma^2 + \frac{1-\rho}{M}\sigma^2 )，特征随机化有效压低 ( \rho )，从而显著降低模型总方差。
• 调优策略：树越多越好（直到边际收益平缓，通常 100~500 棵），调优重点在 max_features 与 min_samples_leaf。

05. 支持向量机 (SVM)

• 核心公式（软间隔对偶形式）： $$ \max_{\boldsymbol{\alpha}} \sum_{i=1}^n \alpha_i - \frac{1}{2}\sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)}) \quad \text{s.t.} \quad 0 \le \alpha_i \le C, \sum_{i=1}^n \alpha_i y^{(i)} = 0 $$
• 常用核函数：
  • 线性核 (Linear)：( K(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j )（高维文本首选）。
  • 高斯径向基核 (RBF)：( K(\mathbf{x}_i, \mathbf{x}_j) = \exp(-\gamma |\mathbf{x}_i - \mathbf{x}_j|^2) )（通用非线性）。
• 避坑提示：严格要求数值输入标准化（StandardScaler）；样本规模超过 10 万时计算开销剧增，推荐改用 LinearSVC 或 SGDClassifier。

06. K 近邻 (KNN)

• 核心机制： $$ \hat{y}(\mathbf{x}) = \text{Mode}\left( { y^{(i)} \mid \mathbf{x}^{(i)} \in \mathcal{N}_k(\mathbf{x}) } \right) $$
• 距离度量：常用闵可夫斯基距离 ( D(\mathbf{x}, \mathbf{z}) = \left(\sum |x_j - z_j|^p\right)^{1/p} )（( p=1 ) 为曼哈顿距离，( p=2 ) 为欧氏距离）。
• 工程瓶颈：惰性推断需遍历全量样本，推理时延与内存占用大；特征维度超数十维后遭遇维度灾难（空间中几乎所有点距离趋于均等），必须配合 PCA 或降维使用。

07. 朴素贝叶斯 (Naive Bayes)

• 核心公式（贝叶斯定理 + 属性条件独立）： $$ P(C_k \mid \mathbf{x}) = \frac{P(C_k) \prod_{j=1}^d P(x_j \mid C_k)}{\sum_{r} P(C_r) \prod_{j=1}^d P(x_j \mid C_r)} \propto P(C_k) \prod_{j=1}^d P(x_j \mid C_k) $$
• 三大主流分布实现：
  • 高斯朴素贝叶斯 (GaussianNB)：适用于连续数值特征，假设特征服从正态分布。
  • 多项式朴素贝叶斯 (MultinomialNB)：适用于文本词频矩阵与离散计数特征。
  • 伯努利朴素贝叶斯 (BernoulliNB)：适用于二值特征（词是否出现）。
• 避坑提示：未出现的单词会导致乘积为 0，必须引入拉普拉斯平滑系数 ( \alpha = 1 )。

08. 梯度提升决策树 (GBDT)

• 核心机制（加法模型 + 负梯度残差拟合）： $$ F_m(\mathbf{x}) = F_{m-1}(\mathbf{x}) + \eta \cdot h_m(\mathbf{x}) $$ 其中新基学习器 ( h_m(\mathbf{x}) ) 拟合当前损失函数的负梯度方向： $$ r_{im} = -\left[ \frac{\partial \mathcal{L}(y_i, F(\mathbf{x}i))}{\partial F(\mathbf{x}i)} \right]{F(\mathbf{x}) = F{m-1}(\mathbf{x})} $$
• 特性对比：与随机森林（降低方差）相反，GBDT 重点在逐步提升模型拟合力、降低偏差；使用较小学习率（如 ( \eta = 0.05 )）配合更多轮数可获得更好的泛化。

09. XGBoost (Extreme Gradient Boosting)

• 核心公式（目标函数二阶泰勒展开 + 显式正则项）： $$ \text{Obj}^{(t)} \approx \sum_{i=1}^n \left[ g_i f_t(\mathbf{x}i) + \frac{1}{2} h_i f_t^2(\mathbf{x}i) \right] + \gamma T + \frac{1}{2}\lambda \sum{j=1}^T w_j^2 $$ 其中一阶梯度 ( g_i = \partial{\hat{y}^{(t-1)}} \mathcal{L} )，二阶梯度 ( h_i = \partial^2_{\hat{y}^{(t-1)}} \mathcal{L} )，( T ) 为叶节点数量，( w_j ) 为叶子权重。
• 工业级优化亮点：
  • 二阶导数精准定位梯度方向；
  • 显式正则项限制树复杂度，从根源抑制过拟合；
  • 自动学习缺失值的默认分裂方向；
  • 基于直方图（Hist）的分位近似切分算法，支持多线程并行与 GPU 加速。

10. 深度神经网络 (Multilayer Perceptron / MLP)

• 核心公式： $$ \mathbf{a}^{(l)} = \sigma\left( \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)} \right), \quad \mathbf{W} \leftarrow \mathbf{W} - \eta \frac{\partial \mathcal{L}}{\partial \mathbf{W}} $$
• 关键机制：多层线性仿射变换结合非线性激活函数（ReLU, GELU, Swish 等），依赖链式法则反向传播（Backpropagation）计算梯度。
• 选型边界：在规范的结构化表格数据中，XGBoost/LightGBM 通常在训练速度、超参数调优与收敛稳定性上优于纯 MLP；而在图像、语音、自然语言及海量多模态数据上，深度神经网络（CNN、RNN、Transformer）占据绝对主导。

4. 全量模型评估指标速查矩阵

               ┌─────────────────────── 真实值 (Actual) ───────────────────────┐
               │              Positive (+)             Negative (-)            │
┌──────────────┼───────────────────────────────────────────────────────────────┤
│ Positive (+) │           真正例 (TP)                  假正例 (FP - Type I)    │
│ 预测值 (Pred)│                                                               │
│ Negative (-) │       假负例 (FN - Type II)            真负例 (TN)            │
└──────────────┴───────────────────────────────────────────────────────────────┘

4.1 分类模型评估指标 (Classification Metrics)

4.2 回归模型评估指标 (Regression Metrics)

5. 工业级算法选型决策矩阵 (When to Use Which Algorithm)

在真实工程落地中，**没有免费的午餐定理（No Free Lunch Theorem）**决定了没有任何一种算法能在所有数据集上取得最优。算法选型应依据数据体量、特征形态、可解释性要求与推理延迟约束：

6. 监督学习工程落地 7 大最佳实践法则

1. 数据与特征决定模型上限
   • 算法和模型仅仅是逼近这个上限。把 70% 的精力投入到数据清洗、特征构建（交叉特征、统计特征、时序滑动窗口）与降噪上，收益远高于盲目更换模型。
2. 严格进行特征缩放（Feature Scaling）
   • 基于距离（KNN）、基于点积与间隔（SVM）、基于梯度下降更新（逻辑回归、神经网络）的模型，必须做标准化（StandardScaler）或归一化；基于树分裂的模型（决策树、随机森林、XGBoost）对特征尺度不敏感。
3. 严防数据泄露（Data Leakage）
   • 数据预处理阶段的均值、方差、中位数插补与编码映射，只能从训练集（Train Set）上计算得出，再应用到验证集与测试集；严防时序数据使用了“未来的特征”。
4. 类别不平衡处理策略
   • 当正负样本比例严重失衡（如 1:100）：
     • 避免单一使用 Accuracy，改用 PR-AUC、F1-Score 或 Balanced-Accuracy；
     • 模型端配置样本权重（如 class_weight='balanced' 或 scale_pos_weight）；
     • 数据端使用欠采样（NearMiss）或过采样（SMOTE）。
5. 正则化是抵抗过拟合的核心防线
   • 线性模型启用 L1 (Lasso) / L2 (Ridge)；树模型限制树深 max_depth 与叶节点最小样本 min_samples_leaf；提升树使用更小学习率搭配早停（Early Stopping）；神经网络引入 Dropout 与 Weight Decay。
6. 调优搜索方法梯次推进
   • 优先使用先验默认参数跑通基线（Baseline）；
   • 粗调阶段使用 随机搜索（RandomizedSearchCV） 锁定敏感超参区间；
   • 精细寻优阶段使用 贝叶斯优化（Optuna / Hyperopt） 配合分层交叉验证（Stratified K-Fold）。
7. 遵循奥卡姆剃刀，由简入深
   • 在生产项目中，先用简单可解释的模型（Logistic Regression / Decision Tree）建立 Benchmark，验证端到端流水线可用性；再逐步引入集成模型（Random Forest / XGBoost）或神经网络，量化增量收益是否值得系统延迟与运维复杂度的增加。

7. 站内关联矩阵与延伸学习

• 全域算法体系索引：AI 核心算法全景速查表：从经典机器学习到现代大模型与向量检索
• 深度数学机理与代码推导：AI 核心算法全景指南：从数学机理、工程选型到调优法则
• 算法复杂度与计算边界：算法复杂度速查表 (Big-O Cheat Sheet)
• 向量检索与 RAG 召回底座：向量数据库与检索架构速查表
• 数据科学开发环境：Python 速查表