Post

基于Shapley值的SHAP可解释性分析

Posted Updated
By Haoxiang Lu
24 min read
English
基于Shapley值的SHAP可解释性分析

随着机器学习模型在的广泛应用，模型的可解释性成为了一个关键问题。传统的特征重要性方法如置换重要度（Permutation Importance）和基于梯度的方法虽然简单直观，但存在理论缺陷和实践局限。SHAP（SHapley Additive exPlanations）通过引入博弈论中的Shapley值概念，为模型解释提供了坚实的理论基础和统一的框架。

理论基础

Shapley值：从博弈论到特征归因

Shapley值起源于合作博弈论，解决的是公平分配问题。考虑 $n$ 个参与者的合作博弈，其中任意子集 $S \subseteq N = {1,2,…,n}$ 的合作收益由特征函数 $v: 2^N \rightarrow \mathbb{R}$ 给出。参与者 $i$ 的Shapley值定义为其在所有可能联盟中的平均边际贡献：

\[\begin{equation} \phi_i(v) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(n-|S|-1)!}{n!}[v(S \cup \{i\}) - v(S)] \end{equation}\]

这个公式的直观理解是：考虑所有可能的参与者加入顺序，计算参与者 \(i\) 在每种顺序下加入时带来的边际贡献，然后取平均值。权重 \(\frac{\mid S \mid ! (n - \mid S \mid - 1)!}{n!}\) 表示集合 \(S\) 出现在参与者 \(i\) 之前的概率。

从Shapley值到SHAP：机器学习中的应用

将Shapley值应用于机器学习模型解释需要建立以下映射关系：

  • 参与者 → 特征：每个特征视为一个参与者
  • 联盟 → 特征子集：不同特征的组合
  • 收益函数 → 模型预测：特征子集对应的模型输出

对于预测模型 $f: \mathbb{R}^M \rightarrow \mathbb{R}$ 和输入样本 $x \in \mathbb{R}^M$，特征 $i$ 的SHAP值定义为：

\[\begin{equation} \phi_i(f, x) = \sum_{S \subseteq F \setminus \{i\}} \frac{|S|!(M-|S|-1)!}{M!}[v(S \cup \{i\}) - v(S)] \end{equation}\]

其中 $F = {1,2,…,M}$ 为特征集合。关键在于如何定义价值函数 $v(S)$。SHAP采用条件期望：

\[\begin{equation}v(S) = E[f(X)|X_S = x_S] = \int f(x_S, X_{\bar{S}})p(X_{\bar{S}}|X_S = x_S)dX_{\bar{S}}\end{equation}\]

这种定义确保了当我们观察到特征子集 $S$ 的值为 $x_S$ 时，价值函数反映了模型的期望预测。

加性特征归因模型与SHAP的统一框架

SHAP将各种解释方法统一在加性特征归因框架下。定义解释模型 $g$ 为：

\[\begin{equation}g(z') = \phi_0 + \sum_{i=1}^M \phi_i z'_i\end{equation}\]

其中 $z’ \in {0,1}^M$ 为简化特征（表示特征是否被观察），$\phi_0 = E[f(X)]$ 为基准值（未观察任何特征时的期望预测），$\phi_i$ 为特征 $i$ 的归因值。

SHAP的理论性质与优势

SHAP值满足以下关键性质，这些性质保证了解释的合理性和一致性：

  1. 局部准确性（Local Accuracy）：$f(x) = \phi_0 + \sum_{i=1}^M \phi_i$

    模型的实际预测值等于基准值加上所有特征的SHAP值之和，确保了解释的完整性。

  2. 缺失性（Missingness）：若特征 $i$ 不影响预测，则 $\phi_i = 0$

    无关特征的贡献为零，避免了虚假归因。

  3. 一致性（Consistency）：若模型 $f’$ 相比 $f$ 更依赖特征 $i$，则 $\phi_i(f’, x) \geq \phi_i(f, x)$

    当模型更依赖某特征时，该特征的重要性不会降低，这是许多其他方法不具备的关键性质。

定理（唯一性）：SHAP值是唯一同时满足上述三个性质的加性特征归因方法。

这个唯一性定理是SHAP方法的理论基石，它保证了在给定的公理体系下，SHAP提供了唯一合理的解释方案。

SHAP与其他方法的比较

与置换重要度的比较

置换重要度（Permutation Importance）通过随机打乱特征值来评估特征重要性：

\[\begin{equation}PI_i = E[\mathcal{L}(y, f(X_{-i}^{perm}, X_i))] - E[\mathcal{L}(y, f(X))]\end{equation}\]

其中 $X_{-i}^{perm}$ 表示第 $i$ 个特征被随机置换后的数据。

关键区别：

  • 粒度：置换重要度提供全局平均重要性，SHAP可以提供每个样本的局部解释
  • 交互效应：置换重要度将特征交互归因于单个特征，SHAP可以显式分离主效应和交互效应
  • 理论保证：SHAP有严格的公理化基础，置换重要度缺乏理论保证
  • 计算稳定性：对于相关特征，置换重要度可能产生误导性结果，SHAP通过条件期望处理相关性

与偏导数和相关系数的区别

偏导数：$\frac{\partial f}{\partial x_i}$ 衡量特征的局部敏感性

  • 只考虑局部线性近似，忽略了非线性效应
  • 对于分类特征或离散模型不适用
  • 无法处理特征间的交互效应

相关系数：$\rho(x_i, y)$ 衡量线性相关性

  • 仅捕获线性关系，忽略非线性模式
  • 无法区分因果关系和相关关系
  • 不考虑其他特征的条件效应

SHAP的优势：

  • 考虑所有可能的特征组合，捕获完整的非线性关系
  • 基于边际贡献，更接近因果解释
  • 提供可加性分解，便于理解总体预测

SHAP解释器的选择与比较

不同的SHAP解释器针对不同类型的模型和计算需求进行了优化。选择合适的解释器对于获得准确且高效的解释至关重要。

解释器适用模型计算性质时间复杂度核心假设交互支持主要优势局限性
TreeExplainer树模型(XGBoost/RF/LightGBM)精确/近似$O(TLD^2)$条件期望/路径依赖原生支持速度快、精确、工业标准仅限树模型
KernelExplainer模型无关近似$O(2^M \cdot N)$特征独立间接通用性强计算昂贵
LinearExplainer线性/GLM精确$O(M^2)$独立/高斯不支持闭式解、快速假设较强
DeepExplainer深度网络近似$O(P \cdot N)$基于DeepLIFT不支持适合深度学习数值稳定性问题
GradientExplainer可微模型近似$O(N \cdot G)$积分梯度不支持理论优雅计算密集

核心算法原理

KernelSHAP算法

KernelSHAP是一种模型无关的方法，通过求解加权线性回归来近似SHAP值。其核心思想是在简化特征空间中进行局部线性近似。

优化目标： \(\begin{equation} \min_{g} \sum_{z' \subseteq x'} \pi_x(z')[f(h_x(z')) - g(z')]^2 \end{equation}\)

其中权重函数设计为： \(\begin{equation} \pi_x(z') = \frac{M-1}{\binom{M}{|z'|} \cdot |z'| \cdot (M - |z'|)} \end{equation}\)

这个权重函数的设计确保了线性回归的解恰好是Shapley值。映射函数 $h_x: {0,1}^M \rightarrow \mathbb{R}^M$ 定义为：当 $z’_i = 1$ 时取 $x_i$，否则取背景分布的期望值。

算法流程：

  1. 生成联盟样本 \(\{z'_k\}_{k=1}^K\)，优先采样大小接近0或M的联盟
  2. 计算每个联盟的权重 $\pi_x(z’_k)$
  3. 通过映射函数获得完整输入 $h_x(z’_k)$，计算模型输出 $f(h_x(z’_k))$
  4. 求解加权最小二乘问题得到SHAP值

TreeSHAP算法

TreeSHAP专门针对树模型设计，利用树结构的特性实现精确且高效的计算。对于树集成模型，TreeSHAP可以在多项式时间内精确计算SHAP值。

核心递归关系： \(\begin{equation} v(S) = \sum_{l \in L} b_l \cdot p(l|x_S) \end{equation}\)

其中 \(L\) 为叶节点集合，\(b_{l}\) 为叶节点 \(l\) 的预测值，\(p(l \mid x_{S})\) 为给定特征子集 \(x_{S}\) 到达叶节点 \(l\) 的概率。

TreeSHAP通过动态规划避免了指数级的枚举，将复杂度降低到 $O(TLD^2)$，其中 $T$ 是树的数量，$L$ 是最大叶子数，$D$ 是最大深度。

两种条件期望模式：

  • Interventional：假设特征独立，$v(S) = E_{X_{\bar{S}} \sim p(X_{\bar{S}})}[f(x_S, X_{\bar{S}})]$
  • Tree Path-Dependent：保留树路径依赖，\(v(S) = \mathbb{E}_{X_{\bar{S}} \sim p(X_{\bar{S}} \mid x_{S})} \left[ f(x_{S}, X_{\bar{S}}) \right]\)

前者更接近因果解释，后者保留了树模型的内在结构。

实证分析实现

假设已有训练好的模型和数据，以下展示如何进行完整的SHAP分析。

环境准备与数据加载

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import shap
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import xgboost as xgb
import warnings
warnings.filterwarnings('ignore')

# 使用示例数据
from sklearn.datasets import load_breast_cancer
data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 假设已有训练好的XGBoost模型
model = xgb.XGBClassifier(n_estimators=100, max_depth=4, random_state=42)
model.fit(X_train, y_train)
print(f"模型准确率: {model.score(X_test, y_test):.4f}")

全局解释分析

特征重要性的全局量化

1
2
3
4
5
6
7
8
9
10
11
12
13

# 创建SHAP解释器
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)

# 计算全局特征重要性
global_importance = pd.DataFrame({
    'feature': X_test.columns,
    'mean_abs_shap': np.abs(shap_values).mean(axis=0),
    'std_shap': np.std(shap_values, axis=0)
}).sort_values('mean_abs_shap', ascending=False)

print("全局特征重要性（基于平均绝对SHAP值）：")
print(global_importance.head(10))

平均绝对SHAP值量化了每个特征对预测的平均影响程度。与传统的基于不纯度的特征重要性不同，SHAP值考虑了特征间的交互效应，并且具有可加性——所有特征的SHAP值之和等于模型预测与基准值的差。

Beeswarm图：理解特征影响的分布

1
2

# Beeswarm图展示SHAP值的完整分布
shap.summary_plot(shap_values, X_test, plot_type="violin")

Beeswarm图（也称为summary plot）是SHAP最具信息量的可视化之一。图中每个点代表一个样本：

  • 纵轴：特征按重要性排序
  • 横轴：SHAP值，表示该特征对预测的贡献
  • 颜色：特征的实际值（红色表示高值，蓝色表示低值）

通过这个图可以观察到：

  1. 特征的整体重要性（点的水平分散程度）
  2. 特征值与影响方向的关系（颜色与横坐标的关系）
  3. 非线性关系（如果存在垂直的颜色梯度变化）

条形图：简洁的重要性排序

1
2

# 条形图展示平均绝对SHAP值
shap.summary_plot(shap_values, X_test, plot_type="bar")

条形图提供了最简洁的全局特征重要性视图。每个条形的长度表示该特征的平均绝对SHAP值，直观地展示了哪些特征对模型预测最重要。这种表示特别适合向非技术受众展示模型的主要驱动因素。

依赖图：探索特征的非线性效应

1
2
3
4
5
6

# 选择最重要的特征进行依赖图分析
top_features = global_importance['feature'].head(3)

for feature in top_features:
    # 自动选择最佳交互特征
    shap.dependence_plot(feature, shap_values, X_test, interaction_index="auto")

依赖图揭示了单个特征与其SHAP值之间的关系，帮助理解：

  • 主效应：特征值如何影响预测（通过主趋势线）
  • 交互效应：其他特征如何调节该影响（通过颜色编码的散点）
  • 非线性模式：识别阈值效应或饱和效应

交互特征的自动选择基于与主特征SHAP值相关性最强的特征，这通常能揭示有意义的特征交互。

局部解释分析

瀑布图：单样本的决策分解

1
2
3
4
5
6
7
8
9
10
11

# 选择一个预测为正类概率较高的样本
sample_idx = np.where(model.predict_proba(X_test)[:, 1] > 0.9)[0][0]

# 创建瀑布图
shap.waterfall_plot(
    shap.Explanation(values=shap_values[sample_idx],
                     base_values=explainer.expected_value,
                     data=X_test.iloc[sample_idx],
                     feature_names=X_test.columns.tolist()),
    max_display=15
)

瀑布图展示了从基准值（所有训练样本的平均预测）到最终预测值的累积过程。每个特征的贡献按大小排序，使得最重要的因素一目了然。红色条表示推高预测值的特征，蓝色条表示降低预测值的特征。这种可视化特别适合解释单个决策的逻辑。

力图：预测的推拉分析

1
2
3
4
5
6
7

# 力图可视化
shap.force_plot(
    explainer.expected_value, 
    shap_values[sample_idx], 
    X_test.iloc[sample_idx],
    matplotlib=True
)

力图提供了另一种直观的局部解释视角。将预测视为不同特征力量的平衡结果：

  • 基准线：模型的期望输出（所有训练样本的平均）
  • 红色力量：推高预测值的特征
  • 蓝色力量：拉低预测值的特征
  • 最终位置：实际预测值

力图的优势在于紧凑地展示了所有特征的贡献，并且保持了可加性的直观表示。

决策图：多样本比较

1
2
3
4
5

# 选择多个样本进行比较
sample_indices = [0, 10, 20, 30, 40]
shap.decision_plot(explainer.expected_value, 
                   shap_values[sample_indices], 
                   X_test.iloc[sample_indices])

决策图展示了多个样本从基准值到最终预测的路径。每条线代表一个样本，可以观察到：

  • 共同模式：大多数样本遵循的决策路径
  • 异常值：偏离主流路径的特殊案例
  • 关键分歧点：不同预测结果的分岔位置

这种可视化对于理解模型的决策边界和识别边缘案例特别有用。

特征交互效应分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# 计算SHAP交互值（仅适用于树模型）
shap_interaction_values = explainer.shap_interaction_values(X_test[:50])  # 使用子集以节省计算时间

# 提取主对角线（主效应）和非对角线（交互效应）
main_effects = np.diagonal(shap_interaction_values, axis1=1, axis2=2)
total_interactions = np.sum(np.abs(shap_interaction_values), axis=(1, 2)) - np.sum(np.abs(main_effects), axis=1)

# 计算交互强度矩阵
interaction_matrix = np.abs(shap_interaction_values).mean(axis=0)
np.fill_diagonal(interaction_matrix, 0)  # 移除自交互

# 可视化交互矩阵
plt.figure(figsize=(12, 10))
mask = interaction_matrix < np.percentile(interaction_matrix, 95)  # 只显示强交互
interaction_matrix_masked = np.ma.masked_where(mask, interaction_matrix)

im = plt.imshow(interaction_matrix_masked, cmap='YlOrRd', aspect='auto')
plt.colorbar(im, label='平均绝对交互强度')
plt.title('特征交互热图（Top 5%）')

# 标注最强的交互
top_n = 5
indices = np.unravel_index(np.argsort(interaction_matrix.ravel())[-top_n:], interaction_matrix.shape)
for i, j in zip(indices[0], indices[1]):
    if i < j:  # 避免重复
        plt.annotate(f'{i}-{j}', (j, i), color='blue', fontweight='bold', ha='center', va='center')

plt.xlabel('特征索引')
plt.ylabel('特征索引')
plt.tight_layout()
plt.show()

# 输出最强交互对
print("\n最强的特征交互对：")
interaction_pairs = []
for i in range(len(X.columns)):
    for j in range(i+1, len(X.columns)):
        interaction_pairs.append((X.columns[i], X.columns[j], interaction_matrix[i, j]))
        
interaction_pairs_df = pd.DataFrame(interaction_pairs, columns=['Feature1', 'Feature2', 'Interaction'])
print(interaction_pairs_df.nlargest(5, 'Interaction'))

特征交互分析揭示了模型中的协同效应。强交互表明两个特征的联合效应不等于各自效应之和，这在理解复杂模式和构建更好的特征工程中非常重要。

基于SHAP的特征选择

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 使用SHAP值进行特征选择
feature_importance = np.abs(shap_values).mean(axis=0)
importance_threshold = np.percentile(feature_importance, 50)  # 选择前50%的特征

selected_features = X_test.columns[feature_importance > importance_threshold].tolist()
print(f"选择了 {len(selected_features)} 个特征（共 {len(X_test.columns)} 个）")

# 验证选择效果
from sklearn.metrics import roc_auc_score

# 使用全部特征
model_full = xgb.XGBClassifier(n_estimators=100, random_state=42)
model_full.fit(X_train, y_train)
auc_full = roc_auc_score(y_test, model_full.predict_proba(X_test)[:, 1])

# 使用选择的特征
model_selected = xgb.XGBClassifier(n_estimators=100, random_state=42)
model_selected.fit(X_train[selected_features], y_train)
auc_selected = roc_auc_score(y_test, model_selected.predict_proba(X_test[selected_features])[:, 1])

print(f"\n性能对比：")
print(f"全部特征 AUC: {auc_full:.4f}")
print(f"选择特征 AUC: {auc_selected:.4f}")
print(f"性能保留率: {auc_selected/auc_full*100:.1f}%")

SHAP值提供了一种原则性的特征选择方法。与传统方法相比，基于SHAP的特征选择考虑了特征的实际贡献而非仅仅相关性，能够识别在特定上下文中重要的特征。

理论深化

SHAP与因果推断

虽然SHAP主要是关联性解释方法，但在特定条件下可以逼近因果效应：

\[\begin{equation} \text{因果效应} \approx \phi_i \quad \text{当特征满足条件独立性时} \end{equation}\]

使用interventional TreeSHAP（设置 feature_perturbation='interventional'）可以部分缓解特征相关性带来的偏差，使解释更接近因果含义。

计算复杂度与近似算法

精确计算SHAP值的复杂度是指数级的 $O(2^M)$，实践中使用各种近似算法：

方法复杂度近似质量适用场景
蒙特卡洛采样$O(K \cdot T_{eval})$依赖采样数K通用但慢
线性近似(KernelSHAP)$O(K \cdot T_{eval})$局部线性假设模型无关
路径积分(TreeSHAP)$O(TLD^2)$精确（树模型）树模型最优
梯度近似(GradientSHAP)$O(N \cdot B)$依赖背景样本深度学习

其中 $K$ 是采样数，$T_{eval}$ 是模型评估时间，$B$ 是背景样本数。

SHAP的局限性与注意事项

  1. 计算成本：对于高维数据和复杂模型，计算成本可能很高
  2. 背景选择敏感性：不同的背景数据会导致不同的解释
  3. 特征相关性：强相关特征的归因可能不稳定
  4. 因果解释的谨慎：SHAP值是关联性的，不能直接解释为因果效应

实践建议：

  • 使用代表性的背景数据
  • 对于相关特征，考虑分组或使用PartitionExplainer
  • 结合领域知识验证解释的合理性
  • 使用多种可视化交叉验证

结论

SHAP作为基于Shapley值的模型解释框架，提供了理论严谨、实践有效的可解释性方案。其主要贡献包括：

  1. 统一框架：将多种解释方法统一在加性特征归因框架下
  2. 理论保证：通过唯一性定理确保了解释的一致性和公平性
  3. 局部与全局：同时支持个体预测和全局模式的解释
  4. 实用工具：提供了丰富的可视化和分析工具

SHAP不仅是理解模型的工具，更是改进模型、发现洞察、建立信任的桥梁。随着可解释AI的重要性日益凸显，SHAP将在确保AI系统的透明性、公平性和可靠性方面发挥关键作用。

Machine Learning, Model Interpretation
Feature Importance
This post is licensed under CC BY 4.0 by the author.

© Haoxiang Lu. Some rights reserved.