SVM 核函数和参数

核函数

常见核函数

1. 线性核函数
   • 没有额外的参数，线性核函数是RBF的一个特例。
2. 多项式核函数
   • 有着良好的全局性质，具有很强的外推能力（推广能力），而且阶数越低，推广能力越强。
   • 参数：-d[3], gamma[1/k], coef0[0]
3. 径向基核函数（RBF）[合理首选]
   • 是局部性很强的核函数，其内推能力（学习能力），与gamma成反比
   • 参数：gamma[1/k]

4. Sigmoid核函数
   • 参数：gamma[1/k], coef0[0]
   • 包含一个隐含层的多层感知器

核函数的选择

1. 利用先验只是预先判定核函数
2. 采用Crosss-Validation方法，试用不同核函数
3. 采用混合核函数的方法smits（注：又一方面的研究）

首先考虑RBF

1. RBF可以将样本映射到一个更高维的空间，可以处理非线性的样本，并且与同惩罚因子的线性函数性能相同。
2. 相较于多项式函数，RBF参数更少，数值计算更简单。
3. 对于某些参数，RBF与sigmoid具有相似的性能。
4. RBF广泛使用，其参数选择研究较多，Sigmoid与自定义核函数，研究较匮乏

参数

1. gamma 太大造成过拟合，即训练准确率很高，但测试准确率不高。
2. 惩罚因子，C，C表示模型有多么重视离群点，过大也会造成过拟合。
3. 不同核函数对SVM性能影响不大，反而核函数的参数和惩罚因子才是关键因素。