NLP中word2vec的使用

来源:互联网 发布:人工智能危机作文 编辑:程序博客网 时间:2024/05/15 15:44

先将本地下载好的word2vec.zip导入linux中
这里写图片描述

解压word2vec.zip
这里写图片描述

进入word2vec文件中make一下
这里写图片描述

ls一下,会出现下面word2vecmake之后的情形
这里写图片描述

设置参数,demo-word.sh脚本中的词向量训练命令:
这里写图片描述

其中,训练的内容是README.txt文件,如果想训练其他文件导入即可。cbow可选择学习算法(CBOW或skip-gram),size为词向量长度(一般是越大越好),window为窗口(词上下文)长度,sample为采样率(一般取值为1e-3到1e-5之间),threads为并行训练的cpu线程数(取决于设备硬件条件)。

词向量训练结果会以二进制形式保存在vector.bin文件中(需结合Python gensim库进行查看和调用)。
输入./distance vector.bin 开始运算
这里写图片描述

0 0