统计学习三要素

统计学习方法都是由 模型、策略和算法 构成的，这就是统计学习三要素，它们之间的关系可以表示为：

$方法 = 模型 + 策略 + 算法$

模型

在监督学习中，模型就是所要学习（模仿）的条件概率分布或决策函数。

在参考文章中看到一个很通俗的例子来解释什么是模型：

想象你正在尝试为一堆乱飞的鸟找一个轨迹。模型就像你选择的特定的路径或形状，例如你认为它们是按照直线、圆形或某种波浪线飞行。

模型是对现象背后原理的猜想。

而模型多是带有参数的，不同参数可以产生不同效果的模型，而所有参数各自的模型的总和则构成了假设空间。

借上面那个乱飞鸟的例子，例如模型（猜想）是鸟是匀速圆形飞行的，那么参数就可以是圆形的半径，鸟的速度。不同的半径和速度构成的具体轨迹都是不同的，因此对鸟飞行轨迹的预测产生了不同的结果，而所有半径和速度可能取得的值的组合所产生的多个模型构成的总和就是假设空间。

策略，即模型的学习策略，换句话说是从假设空间中所有可能的模型里挑选模型的策略。

目标是选择最优的模型，也就是最能准确预测乱飞鸟轨迹的模型。

假设空间里面充斥着各种参数组合产生的模型，我们可以通过对比各种模型所给出的预测值和真实值的差距来筛选出最优的模型。这个用于计算预测值和真实值差距的函数就是损失函数——又或叫代价函数。

损失函数可以用来测量模型的错误程度，从而评估模型的准确度。

不过单计算当前情况下的损失值是不够的，因为由于实际情况下多变复杂，不同情况下同一个模型的损失（即错误程度）可能不同，因此应该考虑在所有情况下损失都能维持较小的模型——也就是令损失函数期望值较小的模型。

损失函数的期望值代表了所有情况下的平均意义下的损失，称为期望损失或风险函数。

依然是借用参考文章中的例子：

想象你和朋友们在野外，大家在玩一个游戏——用纸飞机比赛看谁飞得远。你观察每个人怎么折纸飞机、怎么扔、飞机的大小和形状等等。你把所有这些观察到的信息，形成了一种“理论”或“想法”来预测下一次纸飞机飞行的距离——这是模型。

而策略则是评估模型的方法，例如你决定采用“每次预测距离和实际飞行距离的差值”来评估当前模型的好坏（也就是当前模型参数的好坏）——这个算差值来评估模型的方法就是损失函数。

但是不可能简简单单的根据飞一次的差值来评估自己的“理论”（模型）的好坏，因为有可能不同情况下不同“理论”的适用程度不同，这个模型能预测好这次的飞行，但不一定能预测好下一次的飞行。

因此你会考虑记录多次飞行的结果和预测结果的差值，最终算出各个模型差值的平均数，然后选平均差值最小的那个。

这个平均差值就是期望损失（风险函数）。

算法是学习的主干，在确定模型和评估模型好坏的方法（策略）后，还需要一个寻找最优模型的方法——这就是算法。

例如在上面的纸飞机中，你可以随便选参数一个个评估来寻找最好的“理论”（不过那样会很慢！），也可以一步步的让参数递增来寻找。

统计学习方法之间的不同，主要来自于模型、策略、算法的不同。确定了模型、策略、算法，统计学习方法也就确定了。

作为小记，我尽量使用了较为简洁的语言去阐明三者的关系，但是受限于我个人的理解水平和表述水平，有些地方可能还是勉勉强强甚至有理解错误的情况，因此如果有听不懂的，可以在试着在评论区问，看到了的我应该会回。