初读《数学之美》——最大熵、条件随机场

在吴军的《数学之美》第225页提到：

加州大学洛杉矶分校的教授们采用的数学模型就是条件随机场。首先，他们采用了先验的概率分布作为整个模型的起点。他们称整个先验概率分布为背景概率。也就是说，这是在不知道任何外界条件下，在某个时间、某个地点的犯罪情况的概率分布。当然，背景概率并不是很准确，因此，教授们根据历史数据逐步提取各种特征，比如演出和偷盗的关系、抢劫和人员流动的关系、体育比赛和酒后驾驶的关系（美国大城市里的年轻人喜欢聚在酒吧看体育比赛，然后离开时可能酒后驾车，因此在体育比赛结束后的一段时间里，酒吧周围有人酒后驾驶的可能性比平时大得多。）等等。将这些特征组合在一起，就可以得到一个类似(25.4)的模型，然后根据这个模型对可能的犯罪进行预测。当然，训练这个模型需要大量的数据，因此洛杉矶警方将历史记录的全部1300万个犯罪案件都提供出来，经过训练得到了一个比较好的模型。后来实验证明，使用这个模型可以在一定程度上预测未来可能发生的犯罪，并使该地区的犯罪率降低了13%。这项发明在2011年被《时代》周刊誉为年度最优秀的发明之一。

如上文，我认为这个预测洛杉矶犯罪案例十分有趣，却无从知道其具体的实现过程。

提取特征与训练特征可能用到了最大熵，欢迎留言，欢迎讨论！