逻辑回归

最近学习了逻辑回归，因此在此总结一下模型的原理和用法

文章内容

• 1.模型介绍
• 2.逻辑函数
• 3.代价函数
• 4.优化器
• 5.取例&应用
• 6.参考&引用

1.模型介绍

逻辑回归不是回归模型而是分类算法，可以解决二分类，多分类问题。
比如垃圾邮件分类，肿瘤分类问题，区别一个肿瘤良性还是恶性。
这里我们只讨论二分类问题

2.逻辑函数

对于给定的X 若h(x)计算出结果为 0.7 则我们有70%几率认为 y为1 有30%机率认为 y为0

3.代价函数

代价函数是用来拟合参数θ，即我们怎么选择θ。

4.优化器

梯度下降 Gradient Descent

5.举例&应用

这里使用kaggle的经典入门题 titanic 做为例子
赛题网址：
链接
简单数据处理后应用回归模型
下面是代码

import pandas as pddf = pd.read_csv(r"J:\titanic\data\train.csv")test = pd.read_csv(r"J:\titanic\data\test.csv")# show datadf.head()#data processdf = df.drop(['Ticket','Cabin','Name'], axis=1)test = test.drop(['Ticket','Cabin','Name'], axis=1)# Remove NaN valuesdf = df.dropna()test = test.dropna()#哑编码df["Sex"]=pd.get_dummies(df["Sex"])df["Embarked"]=pd.get_dummies(df["Embarked"])test["Sex"]=pd.get_dummies(test["Sex"])test["Embarked"]=pd.get_dummies(test["Embarked"])#归一化df["Age"] = (df["Age"]-df["Age"].min())/(df["Age"].max()-df["Age"].min())df["Fare"] = (df["Fare"]-df["Fare"].min())/(df["Fare"].max()-df["Fare"].min())test["Age"] = (test["Age"]-test["Age"].min())/(test["Age"].max()-test["Age"].min())test["Fare"] = (test["Fare"]-test["Fare"].min())/(test["Fare"].max()-test["Fare"].min())#导入模型from sklearn.linear_model import LogisticRegressionfrom sklearn.cross_validation import train_test_splitSurvived = df["Survived"]df = df.drop(["PassengerId","Survived"],axis=1)test = test.drop("PassengerId",axis=1)X_train, X_test, y_train, y_test  = train_test_split(df.values,Survived.values,test_size=0.33, random_state=42)LR = LogisticRegression()LR.fit(X_train,y_train)pre = LR.predict(X_test)#分类报告from sklearn.metrics import classification_report print("分类报告:\n",classification_report(y_test, pre))#准确度from sklearn.metrics import accuracy_scoreprint("准确度:\n",accuracy_score(y_test,pre))分类报告:              precision    recall  f1-score   support          0       0.79      0.84      0.81       136          1       0.76      0.70      0.73        99avg / total       0.78      0.78      0.78       235准确度: 0.778723404255

因为数据处理简单，丢了很多特征，准确度有点低

6.参考&引用

斯坦福大学 NG 《机器学习》