python解释模型库Shap实现机器学习模型输出可视化

解释一个机器学习模型是一个困难的任务，因为我们不知道这个模型在那个黑匣子里是如何工作的。解释是必需的，这样我们可以选择最佳的模型，同时也使其健壮。

我们开始吧…

安装所需的库

使用pip安装shap开始。下面给出的命令可以做到这一点。

pip install shap

导入所需库

在这一步中，我们将导入加载数据、创建模型和创建该模型的可视化所需的库。

df = pd.read_csv('/content/diabetes.csv')
features = ['pregnancies', 'glucose','bloodpressure','skinthickness','insulin','bmi','diabetespedigreefunction','age']
y = df['outcome']
x =  df[features]
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, random_state = 1234)
xgb_model = xgb.xgbregressor(random_state=42)
xgb_model.fit(x_train, y_train)

创建模型

在这一步中，我们将创建机器学习模型。在本文中，我将创建一个xgboost模型，但是你可以选择任何模型。我们将用于此模型的数据集是著名的糖尿病数据集，可从kaggle下载。

df = pd.read_csv('/content/diabetes.csv')
features = ['pregnancies', 'glucose','bloodpressure','skinthickness','insulin','bmi','diabetespedigreefunction','age']
y = df['outcome']
x =  df[features]
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, random_state = 1234)
xgb_model = xgb.xgbregressor(random_state=42)
xgb_model.fit(x_train, y_train)

创建可视化

现在我们将为shap创建解释程序，找出模型的shape值，并使用它们创建可视化效果。

explainer = shap.explainer(xgb_model)
shap_values = explainer(x_test)

1、bar plot

shap.plots.bar(shap_values, max_display=10)

2、队列图

shap.plots.bar(shap_values.cohorts(2).abs.mean(0))

3、热图

shap.plots.heatmap(shap_values[1:100])

4、瀑布图

shap.plots.waterfall(shap_values[0]) # for the first observation

5、力图

shap.initjs()
explainer = shap.treeexplainer(xgb_model)
shap_values = explainer.shap_values(x_test)
def p(j):
    return(shap.force_plot(explainer.expected_value, shap_values[j,:], x_test.iloc[j,:]))
p(0)

6、决策图

shap_values = explainer.shap_values(x_test)[1]
print("the expected value is ", expected_value)
print("the final prediction is ", xgb_model.predict(x_test)[1])
shap.decision_plot(expected_value, shap_values, x_test)

这就是如何使用 shap 创建与机器学习模型相关的可视化并对其进行分析。

以上就是python解释模型库shap实现机器学习模型输出可视化的详细内容，更多关于python解释模型库shap模型输出可视化的资料请关注其它相关文章！