原创：SVM与SVR支持向量机原理学习与思考（二）：机器学习基础

机器学习的基础话题：风险最小化

期望风险最小化（最小化期望错误率或期望风险损失），应该是最合理的方式，但难于求取，因为样本的分布情况很有可能未知；
经验风险最小化（最小化训练样本的错误率或期望风险损失），用训练样本代替所有样本的分布。但可能造成过学习问题，而且这一转变并没有可靠的理论依据。
结构风险最小化（最小化经验风险与置信界限之和），置信界限表示为：

其中h是学习机器的VC维，l为训练样本数。VC维衡量了学习机器的复杂程度，复杂程度越高，VC维越高，置信界限最大。可以证明，结构风险是期望风险的上界，因此，最小化结构风险可以达到减小期望风险的目的。
交叉验证或留一法（LOO leave-one-out）可以作为结构风险最小的一个近似。