认识奥卡姆剃刀原则

在学习《机器学习》时关于规则学习一章提到归纳逻辑程序设计ILP中拟归结中对发明出来的规则，提出：根据奥卡姆剃刀原则，同等描述能力下学得的规则越少越好。

1、奥卡姆剃刀原则

这个原理称为“如无必要，勿增实体” （Entities should not be multiplied unnecessarily），有时为了显示其权威性，人们也使用它原始的拉丁文形式：
Numquam ponenda est pluralitas sine necessitate.（避重趋轻）
Pluralitas non est ponenda sine necessitate.（避繁逐简）
Frustra fit per plura quod potest fieri per pauciora.（以简御繁）
Entia non sunt multiplicanda praeter necessitatem.（避虚就实）

这个由14世纪逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出的原理，就是简单有效。和中国传统上提出的“一即一切，一切即一”吻合，大致意思吧，就是越简单越好。一个数学公式把宇宙规律描述清楚，可能吗？

2、奥卡姆剃刀原则的应用

奥卡姆剃刀常用于两种或两种以上假说的取舍上：如果对于同一现象有两种或多种不同的假说，我们应该采取比较简单或可证伪的那一种。

这类宗教、哲学、世俗、科学纠缠不清的原则，我是无法更多去论证。不过这个原则一定有适用场景，但要说明放之四海而皆准，那也不一定吧。

这不是一个理论而是一个原理，它的目的是为了精简抽象实体。它不能被证明也不能被证伪，因为它是一个规范性的思考原则。

由于它是一种规范性思考的原则（就像是“（你）应该相信，如果a<b,b<c那么a<c”）所以会有一点真理的意味，但是规范性思考和真理本身还是不同的，奥卡姆剃刀的原则不是求真，而是求简。因为我们可以对本体世界做出无数多个可能的论述，这些论述都有可能是对的，但都不一定是对的，甚至这些论述在使用起来的时候得到的结果会是一样的。而为了方便，我们只能选择最简单的那个。

那么机器学习中用这个原则来选择规则，合适吗？我觉得还是要结合具体任务的背景知识来说。

这篇文章可以看看：

http://lesswrong.com/lw/1ph/youre_entitled_to_arguments_but_not_that/