scikit-learn使用joblib持久化模型过程中的问题详解
来源:互联网 发布:网上看房用什么软件 编辑:程序博客网 时间:2024/04/30 14:09
在机器学习过程中,一般用来训练模型的过程比较长,所以我们一般会将训练的模型进行保存(持久化),然后进行评估,预测等等,这样便可以节省大量的时间。
在模型持久化过程中,我们使用scikit-learn提供的joblib.dump()方法,但是在使用过程中会出现很多问题。如我们使用如下语句:
joblib.dump(clf,'../../data/model/randomforest.pkl')此语句将产生大量的模型文件,如下图所示
然后,我们再使用joblib.load(‘../../data/model/randomforest.pkl’)进行加载,会出现如下错误:
Traceback (most recent call last): File "E:\workspace\forest\com\baihe\RandomForest_losing.py", line 65, in <module> clf = joblib.load('../../data/model/randomforest.pkl') File "D:\Program Files\python27\lib\site-packages\sklearn\externals\joblib\numpy_pickle.py", line 425, in load obj = unpickler.load() File "D:\Program Files\python27\lib\pickle.py", line 858, in load dispatch[key](self) File "D:\Program Files\python27\lib\site-packages\sklearn\externals\joblib\numpy_pickle.py", line 285, in load_build Unpickler.load_build(self) File "D:\Program Files\python27\lib\pickle.py", line 1217, in load_build setstate(state) File "_tree.pyx", line 2280, in sklearn.tree._tree.Tree.__setstate__ (sklearn\tree\_tree.c:18350)ValueError: Did not recognise loaded array layout
正确使用joblib的方法是:设置dump中的compress参数,当设置参数时,模型持久化便会压缩成一个文件。源码中对compress参数的描述如下:
compress: integer for 0 to 9, optional Optional compression level for the data. 0 is no compression. Higher means more compression, but also slower read and write times. Using a value of 3 is often a good compromise. See the notes for more details.
以下是我们进行模型持久化的正确操作语句:
#save modeljoblib.dump(clf,'../../data/model/randomforest.pkl',compress=3)#load model to clfclf = joblib.load('../../data/model/randomforest.pkl')
1 0
- scikit-learn使用joblib持久化模型过程中的问题详解
- scikit-learn使用joblib持久化模型过程中的问题详解
- scikit-learn使用joblib.dump()持久化模型过程中的问题详解--python
- scikit-learn使用joblib持久化模型过程中的问题详解
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- 【Scikit-Learn 中文文档】模型持久化
- Spring实现定时任务
- scrollview can host only one direct child
- 在XEN环境中实现VLAN
- 保罗·格雷厄姆创业讲堂二:团队与执行
- 解决java中ZipFile解压缩时候的中文路径和乱码问题
- scikit-learn使用joblib持久化模型过程中的问题详解
- shell资料
- Core Data结构修改,升级,迁移,后,在AppStore中更新升级crash的问题.
- codeforces 431B Shower Line
- 第9周项目1-利用循环程序求和B
- AIX上Sybase15的安装
- cocos2dx A* + tiledMap(改良升级)
- Matlab之BP神经网络反向传播算法
- poj2243 hdu1372 floyid warshall