机器学习之牛顿法
来源:互联网 发布:百度域名无法访问百度 编辑:程序博客网 时间:2024/05/21 05:59
泰勒公式
首先看泰勒公式,对于函数,如果函数平滑且某点存在各阶导数,则可以用一个多项式来描述该点邻域的近似值。公式如下:
牛顿法
牛顿法一般用来求解方程的根和求解极值。
数值优化算法除了梯度下降法外还有比较常用的一种方法是牛顿法。对于非线性方程,可以用牛顿迭代法进行求解,它收敛速度快。
基本思想是:对于非线性函数f(x),根据泰勒公式得到x附近某个点
原理
假设函数f(x)二次可微,则二次泰勒展开,
g(x)多项式则为f(x)的近似,求函数f(x)极值则可以转化为求导函数为0,对g(x)求导并令其为0,
得到,
即得到迭代公式,
新的点
迭代步骤
- 确定初始点
x0 ,确定误差大小e。 - 计算
f′(xk) ,若它的绝对值小于e则停止迭代,xk 即为极值点。 - 计算
f′′(xk) ,并根据迭代公式求得xk+1 。 - 跳转到步骤2。
实现代码
def h(x): return x*x*x + 2*x*x +3*x + 4def h1(x): return 3*x*x + 4*x + 3def h2(x): return 6*x + 4xk = 0k = 1y = 0e = 0.0001times = 10000while k < times: y = h(xk) a = h1(xk) if abs(a) <= e: break b = h2(xk) xk -= a/b k += +1print("k = ", k)print("x = ", xk)print("y = ", y)
以下是广告
========广告时间========
公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。
鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。
为什么写《Tomcat内核设计剖析》
=========================
欢迎关注:
阅读全文
2 0
- 机器学习之牛顿法
- 机器学习之牛顿法
- 机器学习入门:牛顿法
- 机器学习笔记之牛顿方法
- 吴恩达机器学习之牛顿方法
- 机器学习中牛顿法与拟牛顿法
- 机器学习第四讲 牛顿下降法
- 机器学习——牛顿法
- 机器学习笔记——牛顿法
- 机器学习数学基础--牛顿法
- 机器学习-牛顿法与源码实现
- 机器学习---牛顿方法
- 机器学习--牛顿方法
- Andrew Ng机器学习课程之学习笔记---牛顿方法
- 机器学习 之 牛顿法和梯度下降法原理与实现
- 机器学习之逻辑回归(logistics regression)代码(牛顿法实现)
- 【斯坦福---机器学习】复习笔记之牛顿方法
- 【斯坦福---机器学习】复习笔记之牛顿方法
- JavaScript注意尽量少使用==
- spring、struts2、hibernate三大框架
- AI打击网络犯罪?缺了人还是不行
- ZC706
- 关于iOS学习进阶的必读一些博客总结
- 机器学习之牛顿法
- 弗徕威发布维拉3代服务机器人,B2B2C模式带来产品功能蜕变
- 以太坊代币开发计算调用一个合约方法需要消耗多少gas
- SpringMvc的Common- upload的MutilpartFile转换为io.File--进行Excel文件上传
- PHP中用cURL实现get和post请求
- RPC和MQ对比及其适用/不适用场合
- Android蓝牙开发音频焦点
- 【收集贴收集】某大牛的博客JS系列和C#系列
- 唯快不破:为何TCP/IP协议栈设计成沙漏型的