Cheat Sheet速查表
跳转到主要内容

数据分析方法速查表：数据清洗、统计、图表与回归

先明确问题与统计口径，再选择指标、图表和模型。 数据分析通常在“定义问题 → 收集 → 清洗 → 探索 → 建模或推断 → 沟通与验证”之间迭代。

想回答的问题优先使用同时检查
数据是否可信？缺失率、主键唯一性、范围与格式校验抽样偏差、单位、时间窗口、连接后的行数
典型水平与波动多大？均值与标准差；中位数与四分位距偏态、极端值、样本量与分组差异
分布是什么形状？直方图、箱线图、Q–Q 图分箱方式、多峰、长尾；不能预设正态分布
类别或时间有何差异？条形图、折线图、分组统计分母、样本构成、季节性与缺失时间点
两个变量是否有关联？散点图、Pearson / Spearman 相关非线性、离群点、混杂与分层差异
如何预测连续数值？回归模型、留出集上的 MAE / RMSE数据泄漏、残差结构、外推与不确定性
某个措施是否产生效果？随机对照实验或有明确识别假设的因果分析对照组、混杂、选择偏差；相关系数不能单独回答

工具入口：Pandas · NumPy · SQL · AI 核心算法

1. 数据分析流程

环节核心动作最小产出
定义问题确定决策目标、分析单位、目标人群与时间范围指标定义、分母、成功标准
收集数据从数据库、文件、API 或实验取数，记录抽样方法原始数据快照、字段字典、来源与版本
清洗数据检查缺失、重复、类型、单位与逻辑约束清洗规则、处理记录、前后质量对比
探索数据查看分布、分组、时间变化与变量关系汇总统计、图表与待验证假设
建模或推断选择与问题匹配的方法，检查假设与泛化表现效应估计或预测结果、评价指标与不确定性
沟通与验证给出结论、适用范围和可执行建议报告、可复现脚本、后续实验或监测方案

预测任务： 在依赖数据分布的填补、标准化、特征选择之前划分训练集与测试集；交叉验证时，在每个训练折内重新拟合这些步骤。时间预测按时间划分；同一用户或设备的多条记录需要考虑按组划分。scikit-learn：数据泄漏

2. 数据类型与可用运算

类型特征与示例常用摘要注意事项
名义型 Nominal类别无自然顺序，如城市、颜色频数、占比、众数编码成 1、2、3 不代表可计算距离或均值
有序型 Ordinal类别有顺序，如低 / 中 / 高、满意度等级频数、累计占比、中位等级相邻等级间距未必相同
离散数值型 Discrete取值有限或可数，如访问次数、人数均值、分位数、频数分布计数可有明显偏态和大量零值
连续数值型 Continuous在连续尺度上测量，如身高、质量、时长均值、标准差、中位数、分位数测量精度、单位与有效范围需要统一

按字段含义判断类型。 数字形式的用户 ID 通常是标识符；年龄既可能按整数年记录，也可能以连续时间长度测量。日期时间字段还需明确时区与采样频率。

3. 数据清洗

问题先诊断常见处理使用边界
缺失值缺失比例、集中在哪些组、缺失原因保留缺失标记；按依据删除或填补缺失不等于 0；简单填补会改变分布与变量关系
重复记录业务主键、事件 ID、记录版本按规则去重、保留有效版本或聚合同一用户的多次有效行为不是重复数据
格式或类型不一致日期、数字字符串、类别拼写显式解析类型，统一类别与时区解析失败应记录，避免静默变成缺失
单位或范围错误米 / 厘米、币种、百分比、上下界按字段字典换算，回查来源0.25 与 25% 相同；25 与 25% 不同
异常值散点图、箱线图、业务规则与采集日志标记并核查；纠错，或采用稳健统计极端值可能是真实信号，不能仅因离群就删除
表连接膨胀连接键是否唯一、连接前后行数和总量校验一对一 / 一对多关系，必要时先聚合多对多连接可能重复计数

IQR 标记规则： IQR = Q₃ − Q₁；低于 Q₁ − 1.5 × IQR 或高于 Q₃ + 1.5 × IQR 的观测可标记为潜在离群点。常见 Tukey 箱线图的须延伸到界限内最远的观测值，不直接等于界限。标记后的处理仍需业务依据。NIST：箱线图、异常值处理

4. 描述性统计

指标定义或计算方法适合快速查看
均值 Mean观测值之和除以有效观测数整体平均水平；易受极端值影响
中位数 Median排序后的中间值；偶数个数值取中间两项的平均偏态数据的典型水平
众数 Mode出现次数最多的取值高频类别；可能有多个并列众数
极差 Range最大值 − 最小值总跨度；只依赖两个端点
四分位距 IQR第 75 百分位数 Q₃ − 第 25 百分位数 Q₁中间约 50% 数据的离散程度
方差 Variance相对均值的平方偏差的汇总离散程度；单位为原单位的平方
标准差 Standard deviation方差的平方根原单位下的波动；与均值搭配报告

样本观测为 x₁, …, xₙ；样本方差使用 n − 1 作分母，要求 n ≥ 2：

xˉ=1n∑i=1nxi,s2=1n−1∑i=1n(xi−xˉ)2,s=s2\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i,\qquad s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2,\qquad s=\sqrt{s^2}

随机变量的总体均值与方差定义为（相应期望存在时）：

μ=E[X],Var⁡(X)=E[(X−μ)2]\mu=E[X],\qquad \operatorname{Var}(X)=E[(X-\mu)^2]

计算口径： 描述完整有限总体时，方差以总体个数 N 为分母；用独立同分布样本估计总体方差时，常用上述 n − 1 形式。分位数有多种插值定义，对比结果时应统一算法。NIST：离散程度

报告组合： 近似对称且无明显极端值时常用“均值、标准差”；偏态或含极端值时常用“中位数、Q₁–Q₃”，同时报告有效样本数与缺失数。数据可能偏斜、多峰或长尾，是否近似正态需检查，不能从样本量大直接推出原始数据正态。NIST：直方图形态索引

5. 探索性数据分析（EDA）

检查维度快速动作重点发现
单变量类别频数表；数值分位数、直方图、箱线图取值错误、稀有类别、偏态、多峰与离群点
双变量散点图；按类别分组统计或画箱线图线性 / 非线性关系、组间位置与波动差异
多变量分层汇总、分面图、相关矩阵混杂、共线性、总体与子组趋势不一致
时间按固定粒度聚合，画时间序列与滞后图趋势、周期、突变、缺口与自相关
分布假设结合直方图与相应参考分布的 Q–Q 图偏态、尾部偏离、模型假设是否合理

EDA 用于发现结构、检查假设与提出问题。若在同一批数据上反复探索并筛选“显著”结果，后续推断需考虑多重比较或使用独立数据验证。NIST：探索性数据分析

6. 数据可视化选型

图表主要用途读图与制图要点
条形图 / 柱状图比较类别的数量、比例或汇总值类别用独立条形；数值轴通常从 0 起，避免夸大差异
折线图表达时间或有序序列的变化保持时间间隔含义；缺测不能无说明连成实测趋势
直方图展示数值分布横轴是数值区间，通常相邻柱无间隙；分箱会改变观感
箱线图比较多组的中位数、IQR 与离群点注明须的规则与样本量；不能单独显示多峰结构
散点图检查两个数值变量的关系看方向、形状、聚类和离群点；密集时用透明度或六边形分箱
热力图查看矩阵或二维分组的数值模式注明色标、缺失与尺度；相关矩阵不展示所有非线性关系

直方图纵轴： 可用频数、相对频率或密度。采用密度时，所有柱子的面积之和为 1；不等宽分箱尤其要区分面积与高度。

共同要求： 标清单位、分母、时间范围、样本量与数据来源；用颜色之外的标签或形状辅助区分。展示估计值时，按任务补充误差线或置信区间。

7. 相关性、独立性与因果关系

Pearson 样本相关系数衡量两个数值变量的线性关联；两列样本的方差均非零时才有定义：

r=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2∑i=1n(yi−yˉ)2,−1≤r≤1r=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}},\qquad -1\le r\le 1
概念可以说明什么不能直接推出什么
Pearson r > 0 / r < 0样本线性关联的方向因果方向、斜率大小或稳定的外推关系
Pearson r ≈ 0样本线性关联弱没有非线性关系，或总体独立
Spearman 秩相关基于秩衡量单调关系，适合有序数据捕捉所有非线性关系；U 形关系仍可能接近零
独立联合分布可分解为边缘分布的乘积不能仅凭样本相关系数接近零确认
因果效应干预一个变量引起另一个变量的变化不能仅凭相关、回归系数或预测准确率确认

两组散点图：y=x 的五个点具有 r=1；x 为 -2、-1、0、1、2 且 y=x² 的五个点具有 r=0，但存在确定的 U 形关系。

先画散点图，再读系数。 离群点、范围限制、时间趋势和分组混合都会影响相关性。总体独立且方差有限、非零时，总体 Pearson 相关为 0；反过来通常不成立。相关与因果需要区分。UC Berkeley：相关与关联

8. 联合概率与边缘分布

离散型随机变量的联合概率质量函数为 p(x, y) = P(X = x, Y = y)。对另一个变量的所有可能取值求和，得到边缘概率：

∑x∑yp(x,y)=1,pX(x)=∑yp(x,y),pY(y)=∑xp(x,y)\sum_x\sum_y p(x,y)=1,\qquad p_X(x)=\sum_y p(x,y),\qquad p_Y(y)=\sum_x p(x,y)
X \ YY = 0Y = 1行合计 p_X(x)
X = 00.10.20.3
X = 10.20.50.7
列合计 p_Y(y)0.30.71.0

读表示例：P(X = 1) = 0.7；P(Y = 1) = 0.7；P(X = 1, Y = 1) = 0.5。

运算规则上表示例
边缘化沿另一个变量求和P(X = 1) = 0.2 + 0.5 = 0.7
条件概率P(Y = y ∣ X = x) = p(x, y) / p_X(x)，分母须 > 0P(Y = 1 ∣ X = 1) = 0.5 / 0.7 = 5/7
检查独立所有取值组合均满足 p(x, y) = p_X(x)p_Y(y)0.5 ≠ 0.7 × 0.7，因此不独立

连续情形： 若存在联合概率密度 f(x, y)，边缘化使用积分，区域概率通过对密度积分求得。密度高度不是某个点的概率，连续变量的单点概率为 0。Stanford CS229：概率参考，第 3 节

fX(x)=∫−∞∞f(x,y) dy,fY(y)=∫−∞∞f(x,y) dxf_X(x)=\int_{-\infty}^{\infty}f(x,y)\,dy,\qquad f_Y(y)=\int_{-\infty}^{\infty}f(x,y)\,dx

9. 简单线性回归

将连续响应变量 Y 表示为截距、斜率与误差的组合；拟合值使用估计得到的系数：

Yi=β0+β1xi+εi,y^i=β^0+β^1xi,ei=yi−y^iY_i=\beta_0+\beta_1x_i+\varepsilon_i,\qquad \hat{y}_i=\hat{\beta}_0+\hat{\beta}_1x_i,\qquad e_i=y_i-\hat{y}_i
项目解释注意事项
截距 β₀在误差条件均值为 0 的模型下，x = 0 时 Y 的条件均值x = 0 不在数据范围内时，可能缺少实际解释
斜率 β₁x 每增加 1 单位，Y 的条件均值改变 β₁ 单位单位为“Y 的单位 / X 的单位”；不是自动成立的因果效应
最小二乘 OLS选择系数使训练数据的残差平方和最小对极端值和高杠杆点敏感；X 必须有变化
残差 eᵢ观测值减去拟合值不等于不可观测的真实误差 εᵢ
MAE / RMSE平均绝对误差 / 均方根误差均与 Y 同单位；RMSE 对大误差更敏感
R²1 − 残差平方和 / 总离差平方和Y 非常量时有定义；测试集 R² 可为负，高 R² 不证明因果

对 m 个评估样本（m ≥ 1）：

MAE⁡=1m∑i=1m∣yi−y^i∣,RMSE⁡=1m∑i=1m(yi−y^i)2\operatorname{MAE}=\frac{1}{m}\sum_{i=1}^{m}|y_i-\hat{y}_i|,\qquad \operatorname{RMSE}=\sqrt{\frac{1}{m}\sum_{i=1}^{m}(y_i-\hat{y}_i)^2}

模型诊断： 检查条件均值的线性形式、误差独立性与方差稳定性；用残差对拟合值图看曲线或漏斗结构，用时间顺序图检查依赖。经典小样本 t / F 检验和区间估计通常还假定给定 X 的误差正态，正态性诊断针对残差；计算 OLS 拟合线本身不要求原始 X、Y 都正态。Penn State：简单线性回归假设

预测验证： 在未参与拟合和调参的数据上，与简单基线比较 MAE / RMSE；区分“均值响应的置信区间”与“单个新观测的预测区间”。超出训练数据范围的外推需额外依据。

相关速查表

分类:编程与开发科学与学习
标签: 数据分析统计学数据清洗数据可视化概率回归分析速查表