Python实战|利用Dowhy框架实现因果推断实战(二)
文章来源:gzh数据万花筒
文章链接:https://mp.weixin.qq.com/s/7ubq3_sr2j_zxh8mj7nkeq
点击上方蓝字关注我们
因果推断系列文章分为上下两篇,目录结构如下所示,上篇文章可点击阅读原文查看。
利用dowhy框架进行因果分为推断上下两篇
上篇
1.dowhy因果推断框架
2.数据来源及预处理
3.数据相关性探索
下篇
因果推断实现
1.计算期望频数,初步判断因果关系
2.基于假设创建因果图
3.识别因果效应
4.估计因果效应
5.反驳结果
这篇文章是基于上篇的基础继续分析,前面数据预处理的过程可以通过阅读全文查看源代码,这篇文章主要聚焦于因果推断的实现。
因果推断实现
完成数据预处理和相关性分析之后,各个变量间的相关性已有了初步的结果,但变量间是否存在因果关系我们还不得而知,需要进行进一步地因果推断,即利用dowhy框架,通过建模,识别,估计,反驳四个步骤实现。
1.计算期望频数,初步判断因果关系
由相关性分析可知,客户取消预订与“停车位”、“总共居住天数”以及“预定房型与分配房型不同”三个因素相关性较高。除此以上三个因素之外,还有部分因素与客户取消预定呈现微弱相关性,例如,“预定变更”、“特殊要求”等因素。
相关不一定等同于因果,而且由图9-10可知,数据集中正负样本比例是不均衡的,所以此处需要对因果关系进行初步地探究。于是对于变量“取消”、“预定房型与分配房型不同”,在数据集中随机选取1000次观测数据,统计两个变量值相同的次数,即如果酒店为客户分配了与预定房型不同的房间客户取消订单的次数,重复上述过程10000次取平均值,实现代码如下。
counts_sum=0 for i in range(1,10000): counts_i = 0 rdf = data.sample(1000) counts_i =rdf[rdf["is_canceled"]==rdf["different_room_assigned"]].shape[0] counts_sum+= counts_i counts_sum/10000 517.9752
理论上,这个次数应该是总观测次数的50%,因为面对酒店分配与房型不符的房间时,客户要不取消预订,要不接受房型调整。如果这个次数接近总观测次数的50%,那么可初步说明两两变量之间可能存在一定因果关系。
最终得出的期望频数为518,即如果为客户分配与预订不同的房型约50%的概率客户会取消预定。
预定变更,即变量“booking_changes”,也是造成酒店分配与预订时不同房型的影响因素之一,所以去除该变量的影响也较为重要。因此,此处随机选择预定变更次数为0的1000个用户,重复10000次上述的随机试验后取平均值,实现代码如下。
counts_sum=0 for i in range(1,10000): counts_i = 0 rdf =data[data["booking_changes"]==0].sample(1000) counts_i =rdf[rdf["is_canceled"]==rdf["different_room_assigned"]].shape[0] counts_sum+= counts_i counts_sum/10000 492.0499
对于预定变更次数为0的客户,最终得出的期望频数为492,约占样本的50%,是符合预期的。
对于发生预定改变的用户,同样选择1000个客户,进行上述的随机试验10000次,实现代码如下。
counts_sum=0 for i in range(1,10000): counts_i = 0 rdf =data[data["booking_changes"]>0].sample(1000) counts_i =rdf[rdf["is_canceled"]==rdf["different_room_assigned"]].shape[0] counts_sum+= counts_i counts_sum/10000 663.4134
而对于预定变更次数大于0的客户,最终得出的期望频数为663,期望频数发生较大差异。这一结果提示我们“预定改变”可能是一个混杂变量。
但是影响客户取消预订的混杂变量可能不止“预定改变”一个,面对这种情况dowhy框架会将未指明的变量都作为潜在的混杂变量进行推断。
2.基于假设创建因果图
基于期望频数的探索以及数据分析师自己的经验,对于变量之间的关系,我们做出如下的假设。
-细分市场,即“market_segment”字段,包括了两种类别即“个人”和“旅行社”。这里表示酒店预订来源,预订方式会影响客户从预定酒店到到达酒店之间的时间,即“lead _time”字段。
-国家,即“country”字段,是指客户旅行的目标国家。目标国家的旅游热度会影响用户是否会提前预定酒店,从而对“lead_time”造成影响;同时不同的国家有不同的饮食习惯,因此目的国家和美食,即“meal”字段,之间也有一定关联。
完整文章请移步gzh数据万花筒,https://mp.weixin.qq.com/s/7ubq3_sr2j_zxh8mj7nkeq
本文使用 同步
本文由博客一文多发平台 openwrite 发布!
上一篇: Mysql中的嵌套子查询问题