逻辑回归和Python应用举例

来源：互联网发布：dhcp 端口号编辑：程序博客网时间：2024/06/06 19:05

逻辑回归和Python应用举例

1. 概率：

1.1 定义概率(P)robability: 对一件事情发生的可能性的衡量

1.2 范围 0 <= P <= 1

1.3 计算方法：

1.3.1 根据个人置信

1.3.2 根据历史数据

1.3.3 根据模拟数据

1.4 条件概率：

2. Logistic Regression (逻辑回归)

2.2 基本模型

测试数据为X（x0，x1，x2···xn）

要学习的参数为： Θ（θ0，θ1，θ2，···θn）

处理二值数据，引入Sigmoid函数时曲线平滑化

学习率

同时对所有的θ进行更新

重复更新直到收敛

利用梯度下降算法：

import numpy as npimport randomdef genData(numPoints,bias,variance):    x = np.zeros(shape=(numPoints,2))    y = np.zeros(shape=(numPoints))    for i in range(0,numPoints):        x[i][0]=1        x[i][1]=i        y[i]=(i+bias)+random.uniform(0,1)+variance    return x,ydef gradientDescent(x,y,theta,alpha,m,numIterations):    xTran = np.transpose(x)    for i in range(numIterations):        hypothesis = np.dot(x,theta)        loss = hypothesis-y        cost = np.sum(loss**2)/(2*m)        gradient=np.dot(xTran,loss)/m        theta = theta-alpha*gradient        print ("Iteration %d | cost :%f" %(i,cost))    return thetax,y = genData(100, 25, 10)print ("x:",x)print ("y:",y)m,n = np.shape(x)n_y = np.shape(y)print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))numIterations = 100000alpha = 0.0005theta = np.ones(n)theta= gradientDescent(x, y, theta, alpha, m, numIterations)print(theta)

0 0