您的位置：首页 > 其它

word2vec 训练维基百科正文数据

2014-09-21 20:59 375 查看
参考网页：

用word2vec 跑搜狗SogouCS语料 - 大小4G

word2vec使用指导

从维基百科网页提取的预料：1.9G

训练语句：

// alpha学习率，默认0.025; min-count纳入训练的单词的最低出现频率，默认为5; classes聚类个数
./word2vec -train text -output ANSJ_vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1
Vocab size: 957807
Words in train file: 362757324
training time: about 30 mins


数据对比：

</pre><pre name="code" class="plain">// 分词采用stanford word segment 工具
语料大小：1.6G
Vocab size: 887566
Words in train file: 283618995
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航