机器学习数据预处理

在采用机器学习方法之前，一般要先对数据研究，找出其中的规律，进而更好地利用它。普通的看数字数据很难发现内在规律，可以采用绘图的方法，查看。如利用身高体重分辨男生和女生，可以先将数据绘图，发现其分布规律。代码如下：

from numpy import *import operatorimport xlrdimport matplotlibimport matplotlib.pyplot as pltfig=plt.figure()ax = fig.add_subplot(111)student = open('student.txt')data = student.readlines()numberOfLines =len(data)for line in data:    lin = line.strip()    lst = lin.split('\t')    if '男' in lst:        ax.scatter(lst[1],lst[2],color='r')    elif '女' in lst:        ax.scatter(lst[1],lst[2])fig.savefig("simplot.jpg")

结果如下：

数据student.txt:
编号 性别 身高 体重
1 男 174.2 91.9
2 女 156 57.6
3 女 151.7 59.9
4 男 181.5 107.2
5 男 169.1 55.6
6 男 175.6 90.6
7 男 174.3 73
8 男 175.4 67.9
9 男 165.2 72.4
10 男 174.2 84.1
11 男 177.3 81.8
12 男 175.8 76.1
13 男 183.7 105.2
14 男 173.6 53.2
15 男 186.6 71.1
16 男 169.5 77
17 男 176.6 68.9
18 男 179.3 71.7
19 男 170 74.4
20 男 171.5 67.2
21 男 178 65.8
22 男 174.6 57.8
23 男 172.7 61.4
24 女 159.4 49.6
25 男 185.4 71.7
26 男 178.3 63.9
27 男 188 97.8
28 男 176.5 56.4
29 男 180.3 82.7
30 男 175.6 59.3
31 男 180.6 68.1
32 男 184.8 68.4
33 男 185.6 87.4
34 男 174.4 89.4
35 男 175.7 61.5
36 男 171.2 54.4
37 男 169.1 63.7
38 女 165.5 59.9
39 男 175.4 67.2
40 男 172.6 65.4
41 男 171.1 67.4
42 男 180.2 66.8
43 男 164.2 58.6
44 男 167.5 67.8
45 男 170.5 69.9
46 男 172.4 58.4
47 男 172.4 69.3
48 女 164.6 56.6
49 女 160.8 46.2
50 男 172.2 83.5
51 男 178 90.8
52 男 178.3 90.8
53 男 163.6 54.9
54 女 155.5 47.2
55 女 168.7 51.1
56 男 172.7 61.1
57 男 174.3 64
58 男 175.8 56.8
59 男 175.8 59.4
60 女 155.2 47
61 男 187.2 83.7
62 男 174.9 88.9
63 男 175.7 102.4
64 男 177.3 80.4
65 女 161.3 53.2
66 女 166 56.3
67 男 179.5 94.5
68 男 173 62.8
69 女 165.4 50.9
70 女 170.8 58
71 男 172.8 59.3
72 男 176.1 64.1
73 男 171.4 82.1
74 男 173.9 68.6
75 男 175.4 72.6
76 男 169 57.9
77 男 178 82.6
78 男 169.2 57.9
79 男 173.2 88.9
80 男 163.3 69.7
81 男 171.5 55
82 女 166.8 57.6
83 男 173.6 70.2
84 男 177.3 56.2
85 男 171.5 62.9
86 男 175.4 73.7
87 男 168.9 57.8
88 女 159 50.3
89 男 170.5 72.7
90 男 177.1 64.2
91 女 161.9 53.7
92 女 162.7 50.4
93 女 158.4 52.5
94 女 165.3 73.1
95 男 178.1 76.3
96 男 179.5 56
97 男 169.7 79.3
98 女 162 52.3
99 男 173.9 61.6
100 男 178.1 81.1
101 男 166 60.1
102 男 180.5 83
103 女 165.8 54.1
104 女 172.5 60.8
105 女 173.9 63.9
106 男 167.6 63.7
107 男 179.8 75.4
108 男 173.1 72.4
109 女 173.3 57.5
110 女 167.3 52.4
111 女 163.4 52.4
112 女 163.4 48
113 男 170.2 69
114 男 162 59.9
115 女 170.5 55.5
116 女 173.8 55.1
117 女 168.4 68.3
118 男 186.8 68
119 男 181.1 77.8
120 男 175.7 57.8
121 男 174.2 80.9
122 男 170.3 83.1
123 女 166.5 58
124 女 165.7 47.5
125 女 158.2 47.8
126 男 182.7 93.9
127 男 178.6 81.7
128 女 159.2 49.2
129 女 163.1 53
130 女 165 53.3
131 男 174.7 58.8
132 男 175.5 74.4
133 男 174.7 69.4
134 男 175.1 74.5
135 女 162 55.2
136 女 159.5 50.3
137 男 173.2 62
138 女 166.1 52.9
139 女 164.9 52.6
140 女 163.4 52.6
141 女 162.2 47.1
142 男 170.9 61.8
143 男 168.2 83.8
144 男 166.8 59
145 男 174.2 91.9
146 男 167.9 61.6
147 男 177.5 79.3
148 男 182.6 68.3
149 男 177.2 58.5
150 男 176.9 69.9
151 男 175 57.7
152 男 180.1 75
153 男 168 61.1
154 男 183 66.4
155 女 169.9 54
156 女 164.1 60.3
157 女 169.6 53.9
158 女 167.6 62.5
159 女 159.4 46.5
160 女 167.8 54.9
161 女 166.2 55.4
162 女 156.8 52.1
163 女 152.8 48.1
164 女 167.7 56.2
165 男 173.9 62.7
166 女 155.9 52.1
167 女 163.9 52.5
168 女 161 60.9
169 女 154.1 47.1
170 女 163.6 54.6
171 女 161.8 59.6
172 女 166.7 62.5
173 女 156.1 45.6
174 女 159 47.6
175 女 161.5 60.8
176 女 164.6 60.4
177 男 179.2 75.9
178 男 177.8 74.6
179 男 172.6 63.9
180 男 172.4 64.3
181 男 174.3 57.8
182 男 182 85.2
183 男 174.9 78.2
184 男 168.9 64.8
185 男 168.7 72.4
186 男 164.9 59.2
187 男 169.1 58.5
188 女 168.1 58.5
189 男 180.1 63.3
190 男 172.4 67.4
191 男 173.2 64.8
192 女 165.5 60.2
193 男 167.8 56.9
194 女 163.8 53.4
195 女 160.7 59.3
196 男 177.1 86.7
197 男 167.7 59.3
198 男 172.4 71.2
199 男 178 89.9
200 女 166.4 51.2
201 女 170.4 53.6
202 男 168.7 67.5
203 男 178.4 72.2
204 男 168.8 67.4
205 男 173.3 67.5
206 女 161.4 65.6
207 男 178 63
208 男 163.4 65.3
209 男 163.6 64.8
210 女 156.9 48.1
211 女 159 51.8
212 女 154.4 55.2
213 男 180.3 58.3
214 男 169.7 57.5
215 女 157.2 49.6
216 女 166.5 51.6
217 女 168.2 52.5
218 男 167.5 54.2
219 男 179 68.9
220 男 164.4 53.8
221 男 173 55.5
222 男 170.4 81
223 男 176.5 60.1
224 女 162 50.4
225 男 186 79.4
226 男 165.5 75.5
227 男 178.9 63.1
228 男 171.9 83.1
229 男 180.5 77.5
230 男 169.2 74.9
231 男 172.8 70.9
232 男 169.9 83.9
233 男 168.7 74.8
234 男 179.7 78.4
235 男 182.6 76.2
236 男 185.7 85.9
237 男 182.8 77.6
238 男 176.5 74.7
239 男 170.2 73.1
240 女 168.5 58.1
241 女 155.3 39.3
242 男 171.6 61.1
243 女 160.8 56.3
244 女 166.6 57.8
245 男 169.3 65.2
246 男 178 68.5
247 男 168.2 67.4
248 男 166.5 57.7
249 男 171.5 80.8
250 女 164.1 51.7
251 男 172.8 74.5
252 男 173.3 68.8
253 男 166.3 60.6
254 女 171.7 57.5
255 女 169.1 60.3
256 女 156.3 53.2
257 女 162.6 47.7
258 女 162.1 51.3
259 女 165.9 58.1
260 男 168.7 67.8

从身高体重可以看出，女生普遍更矮，更轻；男生相反。
http://download.csdn.net/detail/bettyshasha/9250841
另student.txt数据也可下载（见如上链接）。