决策树——id3算法

我们假设训练集合包含10个样本：

其中s、m和l分别表示小、中和大。

设L、F和H表示日志密度、好友密度、是否使用真实头像，下面计算各属性的信息增益。

# 从目标值看 信息的分布熵是多少
# 3个no 7个yes
info_D = -(.3*np.log(0.3)+.7*np.log(0.7))
info_D

输出：0.6108643020548935

# 从日志密度这一个特征来看账号是否真实 有多难 熵是多少
# s 2+1  
# l 0+3
# m 1+3
info_log = -.3*(1/3*np.log2(1/3)+2/3*np.log2(2/3)) -\
            .4*(3/4*np.log2(3/4)+1/4*np.log2(1/4))
info_log

输出：0.6

# 信息是有增益的
# 不带任何信息 - 带有信息
info_D - info_log

输出：0.010864302054893527

# 从好有密度这一个特征来看账号是否真实 有多难 熵是多少
# s m l 3+1 0+4 0+2
info_f = -.4*(3/4*np.log2(3/4)+1/4*np.log(1/4))
info_f

输出：0.26314068589564216

info_D - info_f

输出：0.34772361615925135

# 从是否使用真实头像这一个特征来看账号是否真实 有多难 熵是多少
# no yes 2+3 1+4
info_t = -.5*(2/5*np.log(2/5)+3/5*np.log(3/5)) - .5*(1/5*np.log(1/5)+ 4/5*np.log(4/5))
info_t

输出：0.5867070452737222

info_D - info_t

输出：0.02415725678117131
注意：哪条信息增益比较大 哪条信息更具有价值