机器学习中线性模型和非线性的区别

来源：互联网发布：程小青知乎编辑：程序博客网时间：2024/06/03 23:00

误区

线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型
区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x，那么此模型为线性模型。或者判断决策边界是否是线性的
举例
$y = 1 1 + e w 0 + w 1 * x 1 + w 2 * x 2$
画出y和x是曲线关系，但是它是线性模型，因为x1*w1中可以观察到x1只被一个w1影响

y = 1 1 + w 5 * e w 0 + w 1 * x 1 + w 2 * x 2

此模型是非线性模型，观察到x1不仅仅被参数w1影响，还被w5影响，如果自变量x被两个以上的参数影响，那么此模型是非线性的！
4 其实最简单判别一个模型是否为线性的，只需要判别决策边界是否是直线，也就是是否能用一条直线来划分

虽然神经网络的每个节点是一个logistics模型，但是组合起来就是一个非线性模型。
此处我们仅仅考虑三层神经网络
这里写图片描述

第一层的表达式

y 1 = 1 1 + e w 0 + w 1 * x 1 + w 2 * x 2 + w 3 * x 3

y 2 = 1 1 + e w 4 + w 5 * x 1 + w 6 * x 2 + w 7 * x 3

第二层的表达式

z = 1 1 + e k 1 + k 2 * y 1 + k 3 * y 2

将第一层的表达式带入第二层表达式中，可以观察到x1变量不仅仅被w1影响还被k2影响，所以此模型不是一个线性模型，是个非线性模型。

阅读全文

0 0