机器学习之0-机器学习概述

1.背景

机器学习的本质是预测新数据。

意义：机器学习是目前信息技术中最激动人心的方向之一。

应用场景：搜索、图片分类、过滤垃圾邮件。

应用领域：计算生物学、机械应用、手写识别、自然语言处理或计算机视觉等。

2.定义

定义：一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验 E 后，经过 P 评判，程序在处理 T 时的性能有所提升。以下棋举例：经验E 就是程序上万次的自我练习的经验而任务T 就是下棋。P是它在与一些新的对手比赛时，赢得比赛的概率。

3.机器学习分类

机器学习分为监督学习和无监督学习。

监督学习：数据附带了我们要预测的附加属性。从已有数据中发现关系：由多个输入映射一个输出。并用数学模型表示，将新数据用这数学模型运算得到新的输出。

监督学习又分为分类和回归。

分类 ：离散
回归 ：连续

无监督学习：将已有数据进行分类：只有输入，没有输出，将输入的数据按照学习到的标准进行分类。

4.机器学习的三要素

模型+策略+算法

5.数据分类

数据集分为训练集和测试集。

6.标准数据集

鸢尾花和手写数字数据集进行分类
波士顿房价数据集回归

7.学习方法

学习方法：理论与实践相结合，即多学机器学习理论和多通过工具实现这些理论。

8.学习心经

学习算法有很多种，选取哪一种更合理是一个技术活；
数据背后隐藏规律，如果没有规律，学习算法是没有办法学习的。

9.代码

from sklearn import datasets

iris = datasets.load_iris()digits = datasets.load_digits()

print(digits.data)

[[  0.   0.   5. ...,   0.   0.   0.] [  0.   0.   0. ...,  10.   0.   0.] [  0.   0.   0. ...,  16.   9.   0.] ...,  [  0.   0.   1. ...,   6.   0.   0.] [  0.   0.   2. ...,  12.   0.   0.] [  0.   0.  10. ...,  12.   1.   0.]]

print(digits.data)

[[  0.   0.   5. ...,   0.   0.   0.] [  0.   0.   0. ...,  10.   0.   0.] [  0.   0.   0. ...,  16.   9.   0.] ...,  [  0.   0.   1. ...,   6.   0.   0.] [  0.   0.   2. ...,  12.   0.   0.] [  0.   0.  10. ...,  12.   1.   0.]]

print(digits.images[0])

[[  0.   0.   5.  13.   9.   1.   0.   0.] [  0.   0.  13.  15.  10.  15.   5.   0.] [  0.   3.  15.   2.   0.  11.   8.   0.] [  0.   4.  12.   0.   0.   8.   8.   0.] [  0.   5.   8.   0.   0.   9.   8.   0.] [  0.   4.  11.   0.   1.  12.   7.   0.] [  0.   2.  14.   5.  10.  12.   0.   0.] [  0.   0.   6.  13.  10.   0.   0.   0.]]

from sklearn import svm

clf = svm.SVC(gamma = 0.001, C = 100.)

clf.fit(digits.data[:-1], digits.target[:-1])

SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma=0.001, kernel='rbf',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

clf.predict(digits.data[-1 :])

array([8])

from sklearn import svm

from sklearn import datasets

clf = svm.SVC()

iris = datasets.load_iris()

X, y = iris.data, iris.target

clf.fit(X, y)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

import pickle

s = pickle.dumps(clf)

clf2 = pickle.loads(s)

clf2.predict(X[0:1])

array([0])

y[0]

0

from sklearn.externals import joblib

joblib.dump(clf, 'filename.pkl')

['filename.pkl']

clf = joblib.load('filename.pkl')

import numpy as np

from sklearn import random_projection

rng = np.random.RandomState(0)

X = rng.rand(10,2000)

X = rng.rand(10,2000)

X = np.array(X,dtype='float32')

X.dtype

dtype('float32')

transformer = random_projection.GaussianRandomProjection()

X_new = transformer.fit_transform(X)

X_new.dtype

dtype('float64')

from sklearn import datasets

from sklearn.svm import SVC

iris = datasets.load_iris()

clf = SVC()

clf.fit(iris.data, iris.target)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

list(clf.predict(iris.data[:3]))

[0, 0, 0]

clf.fit(iris.data, iris.target_names[iris.target])

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

list(clf.predict(iris.data[:3]))

['setosa', 'setosa', 'setosa']

import numpy as np

from sklearn.svm import SVC

rng = np.random.RandomState(0)

X = rng.rand(100, 10)

y = rng.binomial(1, 0.5, 100)

X_test = rng.rand(5, 10)

clf = SVC()

clf.set_params(kernel='linear').fit(X, y)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma='auto', kernel='linear',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

clf.predict(X_test)

array([1, 0, 1, 1, 0])

clf.set_params(kernel='rbf').fit(X, y)

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',  max_iter=-1, probability=False, random_state=None, shrinking=True,  tol=0.001, verbose=False)

clf.predict(X_test)

array([0, 0, 0, 1, 0])

from sklearn.svm import SVC

from sklearn.multiclass import OneVsRestClassifier

from sklearn.preprocessing import LabelBinarizer

X = [[1, 2], [2, 4], [4, 5], [3, 2], [3, 1]]

y = [0, 0, 1, 1, 2]

classif = OneVsRestClassifier(estimator=SVC(random_state=0))

classif.fit(X, y).predict(X)

array([0, 0, 1, 1, 2])

y = LabelBinarizer().fit_transform(y)

classif.fit(X, y).predict(X)

array([[1, 0, 0],       [1, 0, 0],       [0, 1, 0],       [0, 0, 0],       [0, 0, 0]])

9.参考资料

[1] An introduction to machine learning with scikit-learn