SVM中的核函数

程序员文章站 2024-02-23 20:57:46

...

hit2015spring晨凫追风

欢迎关注我的博客：http://blog.csdn.NET/hit2015spring

在训练样本是线性可分的情况下，这时候直接用原始属性就能把这些特征区分开来。但是有一部分的属性就是无法在其现有属性的基础上分开，于是就要把这些属性通过ϕ(x)映射到一些高维的特征空间中,“横看成岭侧成峰”嘛，原始的x就是横看，变换函数ϕ(x)的作用就是”侧看”。这时候需要优化的目标函数就是：

min w, b 12 ∥ w ∥ 2 s . t . y i (w T ϕ (x i) + b) \geq 1, i = 1, 2, 3, \dots, m

它的对偶问题就是：

max α \sum i = 1 m α i - 12 \sum i = 1 m \sum j = 1 m α i α j y i y j ϕ (x i) T ϕ (x j) s . t . \sum i = 1 m α i y i = 0 α i \geq 0, i = 1, 2, \dots, m

上面式子中涉及到了计算在新的空间里面属性的内积计算，这样就带来了计算的问题，于是就引入了核函数k<⋅,⋅>

k (x i, x j) = ⟨ ϕ (x i), ϕ (x j) ⟩ = ϕ (x i) T ϕ (x j)

上面的式子说明了xi和xj在特征空间的内积等于它们在原始样本空间中通过核函数计算得到。

这样就能得到下面的式子：

max α \sum i = 1 m α i - 12 \sum i = 1 m \sum j = 1 m α i α j y i y j k (x i, x j) s . t . \sum i = 1 m α i y i = 0 α i \geq 0, i = 1, 2, \dots, m

求解后得到的是：

f (x) = w T ϕ (x) + b = \sum i = 1 m α i y i k (x i, x) + b

既然核函数有这样好的性质，那我们自然要去寻找到底满足什么样的条件的函数可以作为核函数：对于输入空间，k(,)是定义在X×X上的对称函数，对于任意的数据D=x1,x2,⋯,xm核矩阵K总是半正定的，此时k是核函数。
满足两个条件：

对称函数
核矩阵半正定

SVM中的核函数

福利答谢大家！

感谢您阅读本篇文章，对此特别发放一个无门槛的现金红包，打开支付宝扫码领取！
SVM中的核函数