程序博客网 > 旭日阳刚成名网络视频

lstm文本分类--deeplearning4j为例

来源：互联网 发布：旭日阳刚成名网络视频 编辑：程序博客网 时间：2024/06/05 21:39

绪论

今下午看到deeplearning4j提供了好几个文本分类的例子，都是利用word2vec与lstm相结合的例子，今天下午在其上面的代码改了下，用自己的数据的格式，跑了下，记录下，我的基本数据格式如下。

训练集格式：

  1. 1你 可以 兰容网 问下 咨询师 里面 不仅 可以 咨询 任何 整形 问题 并且 全国各地 可以 帮你 查询 推荐 最好 医院 专家 公立医院 三甲医院 专科 整形医院 可以 查询 我 之前 就是 上面 问
  2. 1小额贷款 要 吗
  3. 1商家 @ 回应 十里洋场 江景会 所 订房 经理 电话 ️ 五星级 餐饮 加 五星级 k歌 包房 体验 打 8折 送 酒
  4. 1可以 啊 微信同号
  5. 1看头像 加微信
  6. 1看头像 加微信
  7. 1您 可以 加研欧 书院 微信公众号 里面 有 具体 收费 标 淮 本月 25日 书院 开展 试听 公开课 如果 您 有时间 可以来 试听
  8. 0强烈推荐 4号 4号 店长 非常 满意 朋友 发型 合适 我的 开心 因为 自然 卷 每年 得 做 头发 去过 不少 理发店 接触 不少 发型师 到 目前为止 觉得 4号 ( 帅哥 一枚 ) 最 称心如意 会 根据 发质 情况 自己的 想法 给你 设计 适合 发型 不仅 专业 而且 非常 负责 细心 我 最喜欢 细心 人 因为 只有 这样 会 做出 好的 效果 这次 先 把 发型 做出来 4号 店长 建议 染色 那样 效果 会 更好 我 不用 那么 辛苦 坐 太久 贴心 是不是 总之 满意 染色 后的 效果 更 重要 4号 亲自动手 帮 我 做 发型 强烈推荐 大家 过来 找 4号 店长 下次 来 找 你 哦 4号 店长 支持 你 djehfjdushdjd
  9. 0非常感谢 老师 给 小高 5 星 点评 想起 我 老师 一起 游览 情景 历历在目 时间 有时 像 一个 小偷 不知不觉 四月 已经 过完 2017年 已经 过去 三分之一 像 老话 连雨 不知 春 一 晴 方知夏 深 还没 来得及 好好 享受 温熏 春光 夏日 风 已 从 远处 徐徐 而来 夏天 青岛 最 美的 青岛 避暑 理想 之 地 欢迎 老师 有机会 夏天 再来 青岛 我的 手机号 即 微信号 到时 记得 微信 小高 我 来 帮 您 订 酒店 青岛 小高 祝 老师 身体健康 阖家欢乐 万事如意
  10. 0我 来 时候 他家 根本 拒绝 兑换 也是 遇 得到 气死人
  11. 0商家回应 尊敬 客人 感谢您 抽出 宝贵 时间 给 我们 评价 心瑞 国际 月子会所 来源于 台湾 拥有 26年 台式 母婴护理 经验 聚集 最 专业 最 精湛 台湾 护理 技术 团队 精心 定制 专属 护理服务 秉承 规范 操作 细致入微 精益求精 服务理念 为 产 后妈 咪 提供 从 饮食 护理 康复 早教 心理健康 等 全方位 贴身 服务模式 给 孕产 期间 家庭 全方位 专业 照护 舒适 体验 会所 紧邻 国内 最好 医院 协和医院 产后 妈咪 宝宝 都有 坚实 医疗保障 我们 免费提供 健身会所 游泳馆 给 入住 客人 家属 使用 , 我们 会 不定期 举办 丰富多彩 活动 让 更多 孕妈咪 们 了解 孕期 保健知识 新生儿 喂养 知识 哦 非常 期待 下次 妈咪 见面 哦 心瑞 国际 月子会所 全体员工 祝 服务热线 座机号码 请关注 微信号 微信账号
  12. 0商家回应 亲爱 贵宾 感谢您 襄阳 巴厘岛 休闲 度假酒店 肯定 支持 酒店 休闲会所 主要 提供 休闲 洗浴 游泳 桑拿 干湿 蒸 足疗 按摩 等 项目 如此 次 体验 没能 让 您 满意 我们 表示 深深 歉意 我们 足疗 专业 休闲 手法 所有 技师 素质 高 够 专业 各 具 魅力 服务 更好 巴厘岛 一切 以 您 最 舒适 休闲 方式 为先 您 满意 我们 继续 进步 动力 酒店 全体员工 期待 您 再次光临
  13. 0人 直接 不行 必须 每人 点 一份 主食 我 那 钱 我 给你 东西 不用 上了 吃 不掉 浪费 服务员 b 那 再 来个 茶 吧 饭 毕 服务员 c 过来 我们 要 续 杯茶 他 可能 听懂 把 bill 拿走 一会 送来 一个新 上面 加 一杯 茶 我们 收费 那 不要 他 直接 气呼呼 拿走 新 bill 回来 时候 把 新 打印 去掉 杯茶 bill 直接 摔 桌子 然后 回头 走 我 擦 你 真 牛逼 我 走 这么多 英联邦 国家 地区 别人 一看 中国 人 客客气气 何况 还是 顾客 你 妹的
  14. 0维权 群 怎么 加 我 被 套路

测试格式同上。



maven依赖：

  1. <properties>
  2. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  3. <nd4j.version>0.8.0</nd4j.version>
  4. <dl4j.version>0.8.0</dl4j.version>
  5. <datavec.version>0.8.0</datavec.version>
  6. <maven.compiler.target>1.8</maven.compiler.target>
  7. <maven.compiler.source>1.8</maven.compiler.source>
  8. </properties>
  10. <dependencies>
  11. <dependency>
  12. <groupId>org.nd4j</groupId>
  13. <artifactId>nd4j-native</artifactId>
  14. <version>${nd4j.version}</version>
  15. </dependency>
  16. <dependency>
  17. <groupId>org.deeplearning4j</groupId>
  18. <artifactId>deeplearning4j-core</artifactId>
  19. <version>${dl4j.version}</version>
  20. </dependency>
  21. <dependency>
  22. <groupId>org.deeplearning4j</groupId>
  23. <artifactId>deeplearning4j-nlp</artifactId>
  24. <version>${dl4j.version}</version>
  25. </dependency>
  26. <dependency>
  27. <groupId>org.datavec</groupId>
  28. <artifactId>datavec-api</artifactId>
  29. <version>${datavec.version}</version>
  30. </dependency>
  31. <dependency>
  32. <groupId>com.meituan</groupId>
  33. <artifactId>nlp-utils</artifactId>
  34. <version>0.0.1-SNAPSHOT</version>
  35. </dependency>



先把文本转化成word2vec、lstm模型训练的格式，训练并存储word2vec模型：

  1. package com.dianping.recurrent.adx;
  3. import java.io.BufferedReader;
  4. import java.io.BufferedWriter;
  5. import java.io.FileInputStream;
  6. import java.io.FileNotFoundException;
  7. import java.io.FileOutputStream;
  8. import java.io.IOException;
  9. import java.io.InputStreamReader;
  10. import java.io.OutputStreamWriter;
  11. import java.util.stream.Collectors;
  13. import org.apache.commons.lang.StringUtils;
  14. import org.deeplearning4j.models.embeddings.loader.WordVectorSerializer;
  15. import org.deeplearning4j.models.word2vec.Word2Vec;
  16. import org.deeplearning4j.text.sentenceiterator.BasicLineIterator;
  17. import org.deeplearning4j.text.sentenceiterator.SentenceIterator;
  18. import org.deeplearning4j.text.tokenization.tokenizer.preprocessor.CommonPreprocessor;
  19. import org.deeplearning4j.text.tokenization.tokenizerfactory.DefaultTokenizerFactory;
  20. import org.deeplearning4j.text.tokenization.tokenizerfactory.TokenizerFactory;
  21. import org.slf4j.Logger;
  22. import org.slf4j.LoggerFactory;
  24. import com.dianping.recurrent.util.PathUtils;
  25. import com.meituan.nlp.util.TextUtil;
  26. import com.meituan.nlp.util.WordUtil;
  28. public class PrepareWordVector {
  29. private static Logger log = LoggerFactory.getLogger(PrepareWordVector.class);
  30. private static String datapath=PathUtils.INPUT_ADX;
  31. public static void transtomodel(String input, String outputword22vec,String outputrnn) throws IOException {
  32. BufferedReader reader = null;
  33. BufferedWriter writerword2vec = null;
  34. BufferedWriter writerrnn = null;
  35. reader = new BufferedReader(new InputStreamReader(new FileInputStream(
  36. input)));
  37. writerword2vec = new BufferedWriter(new OutputStreamWriter(
  38. new FileOutputStream(outputword22vec)));
  39. writerrnn = new BufferedWriter(new OutputStreamWriter(
  40. new FileOutputStream(outputrnn)));
  41. String line = reader.readLine();
  42. while (line != null) {
  43. String label = line.split("\t")[0];
  44. String content = line.split("\t")[1];
  45. if (StringUtils.isNotBlank(content)) {
  47. String result = WordUtil
  48. .getAdSegmentNotURL(
  49. WordUtil.replaceAllADXSynonyms(TextUtil.fan2Jian(WordUtil
  50. .converToDigitStr(WordUtil
  51. .replaceAdxAll(content
  52. .toLowerCase())))))
  53. .stream().collect(Collectors.joining(" "));
  54. writerrnn.write(label + "\t" + result + "\n");
  55. writerword2vec.write(result + "\n");
  56. }
  58. line = reader.readLine();
  59. }
  60. reader.close();
  61. writerrnn.close();
  62. writerword2vec.close();
  64. }
  66. public static void trainword2vec(String inputpath, String outputpath)
  67. throws IOException {
  68. SentenceIterator iter = new BasicLineIterator(inputpath);
  69. TokenizerFactory t = new DefaultTokenizerFactory();
  70. t.setTokenPreProcessor(new CommonPreprocessor());
  71. log.info("build word2vec will start");
  72. Word2Vec vec = new Word2Vec.Builder().minWordFrequency(1).iterations(5)
  73. .layerSize(100).seed(42).windowSize(20).iterate(iter)
  74. .tokenizerFactory(t).build();
  75. log.info("Fitting Word2Vec model....");
  76. vec.fit();
  78. log.info("Writing word vectors to text file....");
  79. // Write word vectors to file
  80. WordVectorSerializer.writeWordVectors(vec, outputpath);
  82. }
  84. public static void main(String[] args) throws IOException {
  86. //transtomodel(datapath,"adx/wordvecsence.txt","adx/rnnsenec.txt");
  88. trainword2vec("adx/wordvecsence.txt","adx/word2vec.model");
  90. }
  91. }

ADXIterator迭代：

  1. package com.dianping.recurrent.adx;
  3. import static org.nd4j.linalg.indexing.NDArrayIndex.all;
  4. import static org.nd4j.linalg.indexing.NDArrayIndex.point;
  6. import java.io.BufferedReader;
  7. import java.io.File;
  8. import java.io.FileNotFoundException;
  9. import java.io.FileReader;
  10. import java.io.IOException;
  11. import java.util.ArrayList;
  12. import java.util.List;
  13. import java.util.NoSuchElementException;
  15. import org.apache.commons.io.FileUtils;
  16. import org.apache.commons.lang3.tuple.Pair;
  17. import org.deeplearning4j.models.embeddings.wordvectors.WordVectors;
  18. import org.deeplearning4j.text.tokenization.tokenizerfactory.TokenizerFactory;
  19. import org.nd4j.linalg.api.ndarray.INDArray;
  20. import org.nd4j.linalg.dataset.DataSet;
  21. import org.nd4j.linalg.dataset.api.DataSetPreProcessor;
  22. import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
  23. import org.nd4j.linalg.factory.Nd4j;
  24. import org.nd4j.linalg.indexing.INDArrayIndex;
  26. public class ADXIterator implements DataSetIterator {
  27. private final WordVectors wordVectors;
  28. private final int batchSize;
  29. private final int vectorSize;
  30. private final int truncateLength;
  31. private int maxLength;
  32. private final String dataDirectory;
  33. private final List<Pair<String, List<String>>> categoryData = new ArrayList<>();
  34. private int cursor = 0;
  35. private int totalNews = 0;
  36. private final TokenizerFactory tokenizerFactory;
  37. private int newsPosition = 0;
  38. private final List<String> labels;
  39. private int currCategory = 0;
  41. private ADXIterator(String dataDirectory, WordVectors wordVectors,
  42. int batchSize, int truncateLength, boolean train,
  43. TokenizerFactory tokenizerFactory) {
  44. this.dataDirectory = dataDirectory;
  45. this.batchSize = batchSize;
  46. this.vectorSize = wordVectors.getWordVector(wordVectors.vocab()
  47. .wordAtIndex(0)).length;
  48. this.wordVectors = wordVectors;
  49. this.truncateLength = truncateLength;
  50. this.tokenizerFactory = tokenizerFactory;
  51. this.populateData(train);
  52. this.labels = new ArrayList<>();
  53. for (int i = 0; i < 2; i++) {
  54. this.labels.add(String.valueOf(i));
  55. }
  56. }
  58. public static Builder Builder() {
  59. return new Builder();
  60. }
  62. @Override
  63. public DataSet next(int num) {
  64. if (cursor >= this.totalNews)
  65. throw new NoSuchElementException();
  66. try {
  67. return nextDataSet(num);
  68. } catch (IOException e) {
  69. throw new RuntimeException(e);
  70. }
  71. }
  73. private DataSet nextDataSet(int num) throws IOException {
  74. // Loads news into news list from categoryData List along with category
  75. // of each news
  76. List<String> news = new ArrayList<>(num);
  77. int[] category = new int[num];
  78. // private final List<Pair<String, List<String>>> categoryData
  79. for (int i = 0; i < num && cursor < totalExamples(); i++) {
  80. if (currCategory < categoryData.size()) {
  82. news.add(this.categoryData.get(currCategory).getValue()
  83. .get(newsPosition));
  84. category[i] = Integer.parseInt(this.categoryData.get(
  85. currCategory).getKey());
  86. currCategory++;
  87. cursor++;
  88. } else {
  89. currCategory = 0;
  90. newsPosition++;
  91. i--;
  92. }
  93. }
  95. // Second: tokenize news and filter out unknown words
  96. List<List<String>> allTokens = new ArrayList<>(news.size());
  97. maxLength = 0;
  98. for (String s : news) {
  99. List<String> tokens = tokenizerFactory.create(s).getTokens();
  100. List<String> tokensFiltered = new ArrayList<>();
  101. for (String t : tokens) {
  102. if (wordVectors.hasWord(t))
  103. tokensFiltered.add(t);
  104. }
  105. allTokens.add(tokensFiltered);
  106. maxLength = Math.max(maxLength, tokensFiltered.size());
  107. }
  109. // If longest news exceeds 'truncateLength': only take the first
  110. // 'truncateLength' words
  111. // System.out.println("maxLength : " + maxLength);
  112. if (maxLength > truncateLength)
  113. maxLength = truncateLength;
  115. // Create data for training
  116. // Here: we have news.size() examples of varying lengths
  117. INDArray features = Nd4j.create(news.size(), vectorSize, maxLength);
  118. INDArray labels = Nd4j.create(news.size(), this.categoryData.size(),
  119. maxLength); // Three labels: Crime, Politics, Bollywood
  121. // Because we are dealing with news of different lengths and only one
  122. // output at the final time step: use padding arrays
  123. // Mask arrays contain 1 if data is present at that time step for that
  124. // example, or 0 if data is just padding
  125. INDArray featuresMask = Nd4j.zeros(news.size(), maxLength);
  126. INDArray labelsMask = Nd4j.zeros(news.size(), maxLength);
  128. int[] temp = new int[2];
  129. for (int i = 0; i < news.size(); i++) {
  130. List<String> tokens = allTokens.get(i);
  131. temp[0] = i;
  132. // Get word vectors for each word in news, and put them in the
  133. // training data
  134. for (int j = 0; j < tokens.size() && j < maxLength; j++) {
  135. String token = tokens.get(j);
  136. INDArray vector = wordVectors.getWordVectorMatrix(token);
  137. features.put(new INDArrayIndex[] { point(i), all(), point(j) },
  138. vector);
  140. temp[1] = j;
  141. featuresMask.putScalar(temp, 1.0);
  142. }
  143. int idx = category[i];
  144. int lastIdx = Math.min(tokens.size(), maxLength);
  145. labels.putScalar(new int[] { i, idx, lastIdx - 1 }, 1.0);
  146. labelsMask.putScalar(new int[] { i, lastIdx - 1 }, 1.0);
  147. }
  149. DataSet ds = new DataSet(features, labels, featuresMask, labelsMask);
  150. return ds;
  151. }
  154. public INDArray loadFeaturesFromFile(File file, int maxLength)
  155. throws IOException {
  156. String news = FileUtils.readFileToString(file);
  157. return loadFeaturesFromString(news, maxLength);
  158. }
  161. public INDArray loadFeaturesFromString(String reviewContents, int maxLength) {
  162. List<String> tokens = tokenizerFactory.create(reviewContents)
  163. .getTokens();
  164. List<String> tokensFiltered = new ArrayList<>();
  165. for (String t : tokens) {
  166. if (wordVectors.hasWord(t))
  167. tokensFiltered.add(t);
  168. }
  169. int outputLength = Math.max(maxLength, tokensFiltered.size());
  171. INDArray features = Nd4j.create(1, vectorSize, outputLength);
  173. for (int j = 0; j < tokens.size() && j < maxLength; j++) {
  174. String token = tokens.get(j);
  175. INDArray vector = wordVectors.getWordVectorMatrix(token);
  176. features.put(new INDArrayIndex[] { point(0), all(), point(j) },
  177. vector);
  178. }
  180. return features;
  181. }
  183. /*
  184.  * This function loads news headlines from files stored in resources into
  185.  * categoryData List.
  186.  */
  187. private void populateData(boolean train) {
  188. String name = train ? "rnnsenec.txt"
  189. : "rnnsenectest.txt";
  191. String curFileName=this.dataDirectory+name;
  192. BufferedReader currBR = null;
  193. File currFile = new File(curFileName);
  194. try {
  195. currBR = new BufferedReader((new FileReader(currFile)));
  196. String tempCurrLine = "";
  197. List<String> tempListnorme = new ArrayList<>();
  198. List<String> tempListneg = new ArrayList<>();
  200. while ((tempCurrLine = currBR.readLine()) != null) {
  201. String[] lines = tempCurrLine.split("\t");
  202. String label = lines[0];
  204. if ("1".equalsIgnoreCase(label)) {
  205. tempListnorme.add(lines[1]);
  206. } else if("0".equalsIgnoreCase(label)) {
  207. tempListneg.add(lines[1]);
  208. }
  209. this.totalNews++;
  210. }
  211. currBR.close();
  212. Pair<String, List<String>> tempPairnore = Pair.of("1",
  213. tempListnorme);
  214. this.categoryData.add(tempPairnore);
  215. Pair<String, List<String>> tempPair = Pair.of("0", tempListneg);
  216. this.categoryData.add(tempPair);
  217. } catch (Exception e) {
  218. e.printStackTrace();
  219. }
  221. }
  223. @Override
  224. public int totalExamples() {
  225. return this.totalNews;
  226. }
  228. @Override
  229. public int inputColumns() {
  230. return vectorSize;
  231. }
  233. @Override
  234. public int totalOutcomes() {
  235. return this.categoryData.size();
  236. }
  238. @Override
  239. public void reset() {
  240. cursor = 0;
  241. newsPosition = 0;
  242. currCategory = 0;
  243. }
  245. public boolean resetSupported() {
  246. return true;
  247. }
  249. @Override
  250. public boolean asyncSupported() {
  251. return true;
  252. }
  254. @Override
  255. public int batch() {
  256. return batchSize;
  257. }
  259. @Override
  260. public int cursor() {
  261. return cursor;
  262. }
  264. @Override
  265. public int numExamples() {
  266. return totalExamples();
  267. }
  269. @Override
  270. public void setPreProcessor(DataSetPreProcessor preProcessor) {
  271. throw new UnsupportedOperationException();
  272. }
  274. @Override
  275. public List<String> getLabels() {
  276. return this.labels;
  277. }
  279. @Override
  280. public boolean hasNext() {
  281. return cursor < numExamples();
  282. }
  284. @Override
  285. public DataSet next() {
  286. return next(batchSize);
  287. }
  289. @Override
  290. public void remove() {
  292. }
  294. @Override
  295. public DataSetPreProcessor getPreProcessor() {
  296. throw new UnsupportedOperationException("Not implemented");
  297. }
  299. public int getMaxLength() {
  300. return this.maxLength;
  301. }
  303. public static class Builder {
  304. private String dataDirectory;
  305. private WordVectors wordVectors;
  306. private int batchSize;
  307. private int truncateLength;
  308. TokenizerFactory tokenizerFactory;
  309. private boolean train;
  311. Builder() {
  312. }
  314. public ADXIterator.Builder dataDirectory(String dataDirectory) {
  315. this.dataDirectory = dataDirectory;
  316. return this;
  317. }
  319. public ADXIterator.Builder wordVectors(WordVectors wordVectors) {
  320. this.wordVectors = wordVectors;
  321. return this;
  322. }
  324. public ADXIterator.Builder batchSize(int batchSize) {
  325. this.batchSize = batchSize;
  326. return this;
  327. }
  329. public ADXIterator.Builder truncateLength(int truncateLength) {
  330. this.truncateLength = truncateLength;
  331. return this;
  332. }
  334. public ADXIterator.Builder train(boolean train) {
  335. this.train = train;
  336. return this;
  337. }
  339. public ADXIterator.Builder tokenizerFactory(
  340. TokenizerFactory tokenizerFactory) {
  341. this.tokenizerFactory = tokenizerFactory;
  342. return this;
  343. }
  345. public ADXIterator build() {
  346. return new ADXIterator(dataDirectory, wordVectors, batchSize,
  347. truncateLength, train, tokenizerFactory);
  348. }
  350. public String toString() {
  351. return "org.deeplearning4j.examples.recurrent.ProcessNews.NewsIterator.Builder(dataDirectory="
  352. + this.dataDirectory
  353. + ", wordVectors="
  354. + this.wordVectors
  355. + ", batchSize="
  356. + this.batchSize
  357. + ", truncateLength="
  358. + this.truncateLength + ", train=" + this.train + ")";
  359. }
  360. }
  362. }


模型训练代码：

  1. package com.dianping.recurrent.adx;
  3. import java.io.File;
  4. import java.io.IOException;
  6. import org.deeplearning4j.eval.Evaluation;
  7. import org.deeplearning4j.models.embeddings.loader.WordVectorSerializer;
  8. import org.deeplearning4j.models.embeddings.wordvectors.WordVectors;
  9. import org.deeplearning4j.nn.api.OptimizationAlgorithm;
  10. import org.deeplearning4j.nn.conf.GradientNormalization;
  11. import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
  12. import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
  13. import org.deeplearning4j.nn.conf.Updater;
  14. import org.deeplearning4j.nn.conf.layers.GravesLSTM;
  15. import org.deeplearning4j.nn.conf.layers.RnnOutputLayer;
  16. import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
  17. import org.deeplearning4j.nn.weights.WeightInit;
  18. import org.deeplearning4j.optimize.listeners.ScoreIterationListener;
  19. import org.deeplearning4j.text.tokenization.tokenizerfactory.TokenizerFactory;
  20. import org.deeplearning4j.text.tokenization.tokenizer.Tokenizer;
  21. import org.deeplearning4j.text.tokenization.tokenizer.preprocessor.CommonPreprocessor;
  22. import org.deeplearning4j.text.tokenization.tokenizerfactory.DefaultTokenizerFactory;
  23. import org.deeplearning4j.util.ModelSerializer;
  24. import org.nd4j.linalg.activations.Activation;
  25. import org.nd4j.linalg.api.ndarray.INDArray;
  26. import org.nd4j.linalg.dataset.api.DataSet;
  27. import org.nd4j.linalg.lossfunctions.LossFunctions;
  29. public class TrainAdxRnnModel {
  30. public static String userDirectory = "";
  31. public static String DATA_PATH = "";
  32. public static String WORD_VECTORS_PATH = "";
  33. public static WordVectors wordVectors;
  34. private static Tokenizer tokenizerFactory;
  36. public static void main(String[] args) throws IOException {
  37. DATA_PATH = "adx/";
  38. WORD_VECTORS_PATH = "adx/word2vec.model";
  39. int batchSize = 6; // Number of examples in each minibatch
  40. int nEpochs = 10; // 训练次数
  41. int truncateReviewsToLength = 300; // 文本最大长度
  42. wordVectors = WordVectorSerializer.fromPair(WordVectorSerializer.loadTxt(new File(WORD_VECTORS_PATH)));
  44. TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
  45. tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());
  47. ADXIterator iTrain = new ADXIterator.Builder().dataDirectory(DATA_PATH)
  48. .wordVectors(wordVectors).batchSize(batchSize)
  49. .truncateLength(truncateReviewsToLength)
  50. .tokenizerFactory(tokenizerFactory).train(true).build();
  52. ADXIterator iTest = new ADXIterator.Builder().dataDirectory(DATA_PATH)
  53. .wordVectors(wordVectors).batchSize(batchSize)
  54. .truncateLength(truncateReviewsToLength)
  55. .tokenizerFactory(tokenizerFactory).train(false).build();
  57. int inputNeurons = wordVectors.getWordVector(wordVectors.vocab()
  58. .wordAtIndex(0)).length; // 100 in our case
  59. int outputs = iTrain.getLabels().size();
  61. tokenizerFactory = new DefaultTokenizerFactory();
  62. tokenizerFactory.setTokenPreProcessor(new CommonPreprocessor());
  63. System.out.println("inputNeurons is :" + inputNeurons);
  65. // Set up network configuration
  66. MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
  67. .optimizationAlgo(
  68. OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
  69. .iterations(1)
  70. .updater(Updater.RMSPROP)
  71. .regularization(true)
  72. .l2(1e-5)
  73. .weightInit(WeightInit.XAVIER)
  74. .gradientNormalization(
  75. GradientNormalization.ClipElementWiseAbsoluteValue)
  76. .gradientNormalizationThreshold(1.0)
  77. .learningRate(0.0018)
  78. .list()
  79. .layer(0,
  80. new GravesLSTM.Builder().nIn(inputNeurons).nOut(200)
  81. .activation(Activation.SOFTSIGN).build())
  82. .layer(1,
  83. new RnnOutputLayer.Builder()
  84. .activation(Activation.SOFTMAX)
  85. .lossFunction(LossFunctions.LossFunction.MCXENT)
  86. .nIn(200).nOut(outputs).build())
  87. .pretrain(false).backprop(true).build();
  89. MultiLayerNetwork net = new MultiLayerNetwork(conf);
  90. net.init();
  92. //设置没两百步观察数据情况
  93. net.setListeners(new ScoreIterationListener(200));
  95. System.out.println("Starting training");
  96. for (int i = 0; i < nEpochs; i++) {
  97. net.fit(iTrain);
  98. iTrain.reset();
  99. System.out
  100. .println("Epoch " + i + " complete. Starting evaluation:");
  102. // Run evaluation. This is on 25k reviews, so can take some time
  103. Evaluation evaluation = new Evaluation();
  104. while (iTest.hasNext()) {
  105. DataSet t = iTest.next();
  106. INDArray features = t.getFeatureMatrix();
  107. INDArray lables = t.getLabels();
  108. // System.out.println("labels : " + lables);
  109. INDArray inMask = t.getFeaturesMaskArray();
  110. INDArray outMask = t.getLabelsMaskArray();
  111. INDArray predicted = net.output(features, false);
  113. // System.out.println("predicted : " + predicted);
  114. evaluation.evalTimeSeries(lables, predicted, outMask);
  115. }
  116. iTest.reset();
  118. System.out.println(evaluation.stats());
  119. }
  121. ModelSerializer.writeModel(net, "adx/" + "NewsModel.net", true);
  122. System.out.println("----- Example complete -----");
  123. }
  125. }
、

模型过程以及结果：

  1. Starting training
  2. Epoch 0 complete. Starting evaluation:
  4. Examples labeled as 0 classified by model as 0: 8 times
  5. Examples labeled as 0 classified by model as 1: 1 times
  6. Examples labeled as 1 classified by model as 1: 9 times
  9. ==========================Scores========================================
  10.  Accuracy:        0.9444
  11.  Precision:       0.95
  12.  Recall:          0.9444
  13.  F1 Score:        0.9472
  14. ========================================================================
  15. Epoch 1 complete. Starting evaluation:
  17. Examples labeled as 0 classified by model as 0: 9 times
  18. Examples labeled as 1 classified by model as 1: 9 times
  21. ==========================Scores========================================
  22.  Accuracy:        1
  23.  Precision:       1
  24.  Recall:          1
  25.  F1 Score:        1
  26. ========================================================================
  27. Epoch 2 complete. Starting evaluation:
  29. Examples labeled as 0 classified by model as 0: 9 times
  30. Examples labeled as 1 classified by model as 1: 9 times
  33. ==========================Scores========================================
  34.  Accuracy:        1
  35.  Precision:       1
  36.  Recall:          1
  37.  F1 Score:        1
  38. ========================================================================
  39. Epoch 3 complete. Starting evaluation:
  41. Examples labeled as 0 classified by model as 0: 9 times
  42. Examples labeled as 1 classified by model as 1: 9 times
  45. ==========================Scores========================================
  46.  Accuracy:        1
  47.  Precision:       1
  48.  Recall:          1
  49.  F1 Score:        1
  50. ========================================================================


上面花了一晚上的实际写成的代码，不过马上要睡觉有个困惑想问下，为什么在我这里每种样本类别必须相等程序才不会出bug，挑时间调试下什么情况，望高手赐教。


有问题联系我微信: xuxu_ge


阅读全文
0 0
旭日阳刚成名网络视频 旭日阳刚成名网络视频
原创粉丝点击
热门IT博客
sql相加函数sql相加函数
linux 安装vncviewerlinux 安装vncviewer
默纳克手机调试软件
花样字体软件下载
linux delay.h
广数928g72编程实例
mindmap mac
年轻的网络作家
java输入
搜狐网络大厦地铁路线
EX30A1怎么编程
豆瓣fm mac下载
计算器java程序代码
网络剧尸语者
战舰世界 科技树数据
藏文软件输入法
淘宝网商业模式分析
升级数据 日月
las vegas算法
阿里云服务器发送邮件
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 年龄不够怎么办学籍 改名字学历怎么办 身份证变更学历怎么办 一人有两个户口怎么办 两个身份证怎么办 身份证怎么办贷款 身份证照片识别怎么办 身份证照片不像怎么办 透露了个人信息怎么办 电话号码泄露怎么办 泄露名字地址怎么办 我被网贷骗了怎么办 名字手机号泄露怎么办 身份信息泄露怎么办 身份证号泄露怎么办 身份证信息外泄怎么办 身份证被贷款怎么办 无锡怎么办临时身份证 身份证照片贷款怎么办 身份证识别不了怎么办 身份证无法读取怎么办 新身份证刷不上怎么办 妈祖身份证怎么办 2017临时身份证怎么办 小孩子怎么办居住证 网吧被攻击怎么办 买票没有身份证怎么办? 平邮丢了怎么办 国际平邮丢了怎么办 长春临时身份证怎么办 厦门怎么办异地身份证 广州怎么办临时身份证 新疆身份证丢失怎么办 在外地怎么办身份证 新生儿怎么办银行卡 小孩子怎么办护照 温州小孩怎么办身份证 怎么办银行卡17岁 没身份证怎么办 小孩身份证过期怎么办 广州小孩怎么办身份证

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里