数学和机器学习

来源:互联网 发布:java session取不到值 编辑:程序博客网 时间:2024/05/24 06:12

数学之于计算机的应用,就像计算机之于商业的应用,只要应用得恰当都能实现飞跃性的进步。

.

数学之美就在于能把生活中非常复杂的问题,抽象成一个个简单的公式进行简化、解决。现在很火的语音识别、图像识别、自动驾驶、卷积神经网络、深度学习等等,其实就是机器学习,用的原理很简单,就是朴素贝叶斯模型、隐式马尔科夫链、决策树等等一系列数学模型,而具体的应用就是把数学模型中的参数替换成相应的数据即可,比如训练自动驾驶模型用的参数就是车距、速度、路面高低、湿度、风速....读者也不要觉得数学公式的名字很深奥,任何一个大学生通过学习都能轻松地推导出来,所以没必要觉得很复杂。  

.

公式并不复杂,最关键的是如何应用,如何确定模型和参数,当面对具体问题时可不可以抽象成数学问题,应该用哪方面的数学知识解决,应该用哪个模型,训练的参数有哪些,有没有训练模型的数据,有没有足够的计算能力这都是十分关键的问题。就拿GoogleBrain来说,其实就是把神经网络模型拆分成N个关联的部分并分布到大型的服务器集群上进行并行计算(就像MapReduce),研究人员可以把自己的数学模型运行在GooogleBrain上,只要参数定了Google可以收集提供大量的数据供其训练,或许有人要问了既然这么简单那很多互联网公司都可以做到啊,差距在哪呢?第一,大型的服务器集群,这一差距就难以逾越;第二,足够的数据,或许很多公司的数学模型要更优秀,但如果没有足够大量的数据支撑,结果仍然不会太理想。然后再谈谈应用的问题,总体来说,最关键的是如何把实际中的问题与数学联系起来,这一阶段需要跳跃性的思维,而国内的教育却更倾向于工具知识,而非如何应用,希望不要去生硬的和实际联系,而是真正的去解决问题,不要去重复造轮子,而是思考一些具有开创性的东西。上述很简单的数学模型到实际问题的应用,这一过程有太多的科学家的付出,很多问题比如机器翻译,最开始人们并没有想到去用数学解决,而是找语言学家对句子进行语法语义分析,形成一套通用的语法规则实现不同语种之间的翻译,很长时间的试错以后,大家才慢慢地去应用数学模型解决翻译问题。以后随着数据越来越容易采集,计算能力越来越强大,会有更多的实际问题可以用数学模型来解决,下一个科技界的重大突破也许就是发明了某个公式或者某个数学模型的成功应用。  

.

现在常说的人工智能绝大部分就是在说机器学习,机器学习发展迅速,那其中都涉及到哪些数学模型呢。

一、最大熵模型

'熵'来源于热力学,当一个系统内部没有外力介入的时候,是处于混乱无序的状态的,当有外力介入时,系统会变得有序,系统内部的不确定性称之为'熵'。举一个不恰当但很形象的例子,屋子很久没人收拾,时间越长会越脏乱,当有人来收拾的时候,才会变得整洁。在信息学中,引入的外部力量为信息,随着获得的信息越多,模型的不确定性就越小,既熵越小。

.

最大熵模型概括来说就是只根据已知信息推测事件发生的概率,保留全部的不确定性,对未知或不确定信息不做任何假设推测,取其概率均值(当系统中各成分概率取均值时,系统的不确定性最大,熵最大)。

模型公式:

其中

、决策树

决策树模型是一种对实例进行分类的树形结构。决策树由结点和有向边组成,结点分为内部节点和叶节点,内部节点代表一个特征或属性,叶节点代表一个具体的类。决策树就是一系列规则的集合,如果满足或不满足某一条件就被分配到下一对应的节点,直到目标最终被分派到合适的类。

决策树生成算法,首先建立一个选择函数,选择当前用于分类的最优条件,递归调用选择函数建立子结点直至所有测试数据都被成功分类。然后建立一个损失函数,用于决策树剪枝防止过拟合现象,先计算某一子节点和其父结点的损失函数,如果父节点损失函数小于子节点损失函数,则去掉当前分类条件,递归调用损失函数进行剪枝,直至所有子节点的损失函数均小于父节点的损失函数。

、隐式马尔科夫链

模型描述由一个隐藏的马尔可夫链随机生成一个不可观测的状态随机序列,再由各个状态生成一个随机观测序列,其中假设状态序列中,某一状态只与其前一状态有关,与其他状态无关,观测序列中,某一观测结点只与生成它的状态有关。隐马尔科夫模型由初始状态概率分布、状态转移概率分布和观测概率分布确定。

、朴素贝叶斯模型

(概率统计基础)在贝叶斯定理的前提下,采取条件独立性假设。

由贝叶斯公式和条件独立性假设计算后验概率。



大数据时代,最重要的就是如何建立恰当的数学模型,来从海量数据中挖掘出有价值的信息。当面对具体问题,我们应如何建立模型进行解决,当有了模型以后如何获取需要的数据。比如解决风险控制问题,从已有的数据中我们能分析出具有什么条件的人违约风险较高,哪些数据的相关性最高,个人收入、固定资产甚至各大网站的消费记录需不需要计入模型中,当建立好模型后又应该如何获取新用户的相应全部数据。如果没有恰当的模型,数据就无法产生价值,如果缺乏数据,模型就缺少准确性和可信度。可以说没有核心数学公式的恰当应用和海量数据的支撑就没有现在的机器学习

科技金融离不开金融的本质,机器学习通过海量数据支持风险控制,更加完善的征信体系将金融变得更加普惠。

0 0
原创粉丝点击