TensorFlow 中文社区,TensorFlow安装,TensorFlow教程,机器学习,人工智能,深度学习,神经网络,计算机视觉,自然语言处理,GitHub

 找回密码
 立即注册
查看: 4459|回复: 40

Chinese-Text-Classification:Tensorflow 实现的中文文本分类器

[复制链接]

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
发表于 2017-11-9 13:01:20 | 显示全部楼层 |阅读模式
用卷积神经网络基于 Tensorflow 实现的中文文本分类
这个项目是基于以下项目改写: cnn-text-classification-tf
主要的改动:
  • 兼容 tensorflow 1.2 以上
  • 增加了中文数据集
  • 增加了中文处理流程

特性:
  • 兼容最新 TensorFlow
  • 中文数据集
  • 基于 jieba 的中文处理工具
  • 模型训练,模型保存,模型评估的完整实现

训练效果:

training.png

training2.png


评估效果:


eval.png

项目地址:https://github.com/fendouai/Chinese-Text-Classification


回复

使用道具 举报

0

主题

6

帖子

124

积分

注册会员

Rank: 2

积分
124
发表于 2017-11-10 10:10:01 | 显示全部楼层

首先我是新手 我就想问一下  1.如何能直接应用这个分词 ?2.如果要训练这个分词的话 需要多大内存
回复

使用道具 举报

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
 楼主| 发表于 2017-11-10 10:11:00 | 显示全部楼层
1.分词是自动的
2.我电脑内存是 16 G,实际的经验来看一般训练都会用掉所有内存,最低多少不太确定。
回复

使用道具 举报

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
 楼主| 发表于 2017-11-10 10:12:42 | 显示全部楼层
训练的话直接运行  train.py

E0475BCF-C827-4E0E-9CD2-63389C8AD925.png
回复

使用道具 举报

0

主题

6

帖子

124

积分

注册会员

Rank: 2

积分
124
发表于 2017-11-10 10:16:10 | 显示全部楼层
运行时eval报错
微信图片_20171110101545.png
回复

使用道具 举报

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
 楼主| 发表于 2017-11-10 10:19:54 | 显示全部楼层
Evaluating

./eval.py --eval_train --checkpoint_dir="./runs/1459637919/checkpoints/"
Replace the checkpoint dir with the output from the training. To use your own data, change the eval.py script to load your data.

模型最后的使用有格式要求的。
回复

使用道具 举报

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
 楼主| 发表于 2017-11-10 10:20:28 | 显示全部楼层
这个文档,最后的部分就是怎么用:

https://github.com/fendouai/Chinese-Text-Classification
回复

使用道具 举报

0

主题

6

帖子

124

积分

注册会员

Rank: 2

积分
124
发表于 2017-11-10 10:21:06 | 显示全部楼层
您大概训练了多久?等的好像不耐烦啊 看来得换个大点机器
回复

使用道具 举报

108

主题

287

帖子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
293740
 楼主| 发表于 2017-11-10 10:25:01 | 显示全部楼层
这个训练过程很吃硬件的,尤其是没有显卡。大概二十多分钟吧。
回复

使用道具 举报

0

主题

3

帖子

110

积分

注册会员

Rank: 2

积分
110
发表于 2017-11-10 13:23:02 | 显示全部楼层
准确性高吗?有应用到生产环境吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|TensorFlow,TensorFlow安装,TensorFlow教程,机器学习,人工智能,深度学习,神经网络,计算机视觉,自然语言处理

GMT+8, 2018-8-19 20:15 , Processed in 0.112119 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表