Gensim Word2vec 使用教程

来源：互联网发布：android c语言开发编辑：程序博客网时间：2024/05/26 02:54

转自http://blog.csdn.net/Star_Bob/article/details/47808499

准备输入

Gensim的word2vec的输入是句子的序列. 每个句子是一个单词列表

代码块

例如：

>>> # import modules & set up logging>>> import gensim, logging>>> logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)>>>>>> sentences = [['first', 'sentence'], ['second', 'sentence']]>>> # train word2vec on the two sentences>>> model = gensim.models.Word2Vec(sentences, min_count=1)1
2
3
4
5
6
7

将输入视为Python的内置列表很简单, 但是在输入很大时会占用大量的内存. 所以Gensim只要求输入按顺序提供句子, 并不将这些句子存储在内存, 然后Gensim可以加载一个句子, 处理该句子, 然后加载下一个句子.

例如, 如果输入分布在硬盘上的多个文件中, 文件的每一行是一个句子, 那么可以逐个文件, 逐行的处理输入:

>>> class MySentences(object):...     def __init__(self, dirname):...         self.dirname = dirname... ...     def __iter__(self):...         for fname in os.listdir(self.dirname):...             for line in open(os.path.join(self.dirname, fname)):...                 yield line.split()>>>>>> sentences = MySentences('/some/directory') # a memory-friendly iterator>>> model = gensim.models.Word2Vec(sentences)1
2
3
4
5
6
7
8
9
10
11

如果需要对文件中的单词做其他处理, 比如转换为unicode, 转换大小写, 删除数字, 抽取命名实体等, 所有这些都可以在MySentence迭代器中进行处理.

注意, word2vec会在整个句子序列上跑两遍, 第一遍会收集单词及其词频来够爱走一个内部字典树结构. 第二遍才会训练神经网络. 如果你只能遍历一边数据, 则可以参考以下做法

>>> model = gensim.models.Word2Vec() # an empty model, no training>>> model.build_vocab(some_sentences)  # can be a non-repeatable, 1-pass generator>>> model.train(other_sentences)  # can be a non-repeatable, 1-pass generator1
2
3

训练

**
Word2vec有很多可以影响训练速度和质量的参数.

第一个参数可以对字典做截断. 少于min_count次数的单词会被丢弃掉, 默认值为5

pythonmodel = Word2Vec(sentences, min_count=10)  # default value is 51
2

另外一个是神经网络的隐藏层的单元数:

model = Word2Vec(sentences, size=200)  # default value is 1001

大的size需要更多的训练数据, 但是效果会更好. 推荐值为几十到几百.

最后一个主要的参数控制训练的并行:

model = Word2Vec(sentences, workers=4) # default = 1 worker = no parallelization1

worker参数只有在安装了Cython后才有效. 没有Cython的话, 只能使用单核.

内存

word2vec的参数被存储为矩阵(Numpy array). array的大小为#vocabulary 乘以 #size大小的浮点数(4 byte)矩阵.

内存中有三个这样的矩阵, 如果你的输入包含100,000个单词, 隐层单元数为200, 则需要的内存大小为100,000 * 200 * 4 * 3 bytes, 约为229MB.

另外还需要一些内存来存储字典树, 但是除非你的单词是特别长的字符串, 大部分内存占用都来自前面说的三个矩阵.
评测

Word2vec的训练是无监督的, 没有可以客观的评测结果的好方法. Google提供的一种评测方式为诸如”A之于B相当于C至于D”之类的任务: 参见http://word2vec.googlecode.com/svn/trunk/questions-words.txt

Gensim也支持相同的评测集:

>>> model.accuracy('/tmp/questions-words.txt')-02-01 22:14:28,387 : INFO : family: 88.9% (304/342)-02-01 22:29:24,006 : INFO : gram1-adjective-to-adverb: 32.4% (263/812)-02-01 22:36:26,528 : INFO : gram2-opposite: 50.3% (191/380)-02-01 23:00:52,406 : INFO : gram3-comparative: 91.7% (1222/1332)-02-01 23:13:48,243 : INFO : gram4-superlative: 87.9% (617/702)-02-01 23:29:52,268 : INFO : gram5-present-participle: 79.4% (691/870)-02-01 23:57:04,965 : INFO : gram7-past-tense: 67.1% (995/1482)-02-02 00:15:18,525 : INFO : gram8-plural: 89.6% (889/992)-02-02 00:28:18,140 : INFO : gram9-plural-verbs: 68.7% (482/702)-02-02 00:28:18,140 : INFO : total: 74.3% (5654/7614)1
2
3
4
5
6
7
8
9
10
11

切记, 要根据自己的应用了需求来确定算法的性能.

存储和加载模型

存储、加载模型的方法如下:

>>> model.save('/tmp/mymodel')>>> new_model = gensim.models.Word2Vec.load('/tmp/mymodel')1
2

另外, 可以直接加载由C生成的模型:

model = Word2Vec.load_word2vec_format('/tmp/vectors.txt', binary=False) # using gzipped/bz2 input works too, no need to unzip:model=Word2Vec.load_word2vec_format('/tmp/vectors.bin.gz', binary=True)1
2
3

在线训练

可以在加载模型之后使用另外的句子来进一步训练模型

model = gensim.models.Word2Vec.load('/tmp/mymodel')model.train(more_sentences)1
2

但是不能对C生成的模型进行再训练.
使用模型
Word2vec支持数种单词相似度任务:

model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)[('queen', 0.50882536)]model.doesnt_match("breakfast cereal dinner lunch".split())'cereal'model.similarity('woman', 'man').737235271
2
3
4
5
6

可以通过以下方式来得到单词的向量:

model['computer']  # raw NumPy vector of a wordarray([-0.00449447, -0.00310097,  0.02421786, ...], dtype=float32)

阅读全文

0 0