相关推荐
-
国内外优秀开源项目创始人专访
这几年陆续采访了国内外一些优秀开源项目的zuozh
-
R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解)
笔者寄语:与前面的RsowballC分词不同的地方在于这是一个中文的分词包,简单易懂,分词是一个非常重要的步骤,可以通过一些字典,进行特定分词。大致分析步骤如下: 数据导入——选择分词字典——分词 但是下载...
-
中文分词工具Rwordseg
Ansj 也是一个开源的 Java 中文分词工具,基于中科院的 ictclas 中文分词算法,采用隐马尔科夫模型(Hidden Markov Model, HMM)。作者孙健重写了一个Java版本,并且全部开源,使得 Ansi 可用于人名识别、地名识别...
-
中文分词的应用 新浪和庖丁两种方式对比
中文分词相比于英文难度要大得多,涉及到自然语言的理解和处理。分词也是文本挖掘中的关键技术之一,百度也是因为中文分词相比于google更优秀,才做到中文的检索结果更优。实际上新浪、百度云服务上很多开发者也开放...
-
Lucene下分词工具的学习探讨
今天一天学习的东西不多,除了看《Lucene实战》第20页的程序,就是研究Java版本的开源分词器了! 在网上找到了两种分词器,ansj和imdict,本质上没有什么区别,都是用采用ICTCLAS的核心。个人觉得ansj要更好一些,...
-
NLP自然语言处理干货贴
摘要:作者:苏剑林 来源网站:科学空间 原文链接:OCR技术浅探:9. 代码共享(完) 文件说明: 1. image... 2.OCR技术浅探:8. 综合评估 摘要:作者:苏剑林 来源网站:科学空间 原文链接:OCR技术浅探:8. 综合...
-
安装NumPy教程-详细版
附件是安装NumPy教程_详细版,文件绿色安全,请大家放心下载,仅供交流学习使用,无任何商业目的!
-
语音端点检测及其在Matlab中的实现.zip
语音端点检测及其在Matlab中的实现.zip
-
C#文档打印程序Demo
使用C#完成一般文档的打印,带有页眉,页脚文档打印,表格打印,打印预览等
-
DirectX修复工具-4-194985.zip
directx修复工具 DirectX修复工具(DirectX repair)是系统DirectX组件修复工具,DirectX修复工具主要是用于检测当前系统的DirectX状态,若发现异常情况就可以马上进行修复,非常快捷,使用效果也非常好。
-
Python手动实现人脸识别算法
人脸识别的主要算法 其核心算法是 欧式距离算法使用该算法计算两张脸的面部特征差异,一般在0.6 以下都可以被认为是同一张脸 人脸识别的主要步骤 1 获得人脸图片 2 将人脸图片转为128D的矩阵(这个也就是人脸特征的一种数字化表现) 3 保存人脸128D的特征到文件中 4 获取其他人脸转为128D特征通过欧式距离算法与我们保存的特征对比,如果差距在0.6以下就说明两张脸差距比较小
-
全国大学生信息安全竞赛知识问答-CISCN 题库.zip
ciscn 全国大学生信息安全竞赛知识问答-CISCN 题库.zip
-
JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译).zip
JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)JAVA+SQL离散数学题库管理系统(源代码+LW+外文翻译)
-
strcmp函数应用.zip
strcmp函数应用.zip
-
蓝桥杯单片机第十一届国赛设计题试做
蓝桥杯单片机第十一届国赛设计题试做
-
基于MATLAB的pca人脸识别.zip
基于MATLAB的pca人脸识别.zip
-
520.html
520.html
-
JAVA在线考试管理系统(源代码+LW+开题报告+外文翻译+英文文献+答辩PPT).zip
JAVA在线考试管理系统(源代码+LW+开题报告+外文翻译+英文文献+答辩PPT)
-
STR710的定时器编程C语言例子,开发环境为IAR EWARM。.zip
STR710的定时器编程C语言例子,开发环境为IAR EWARM。.zip
226 楼 qq394829044 2017-02-20 18:09
at org.apache.solr.servlet.HttpSolrCall.sendError(HttpSolrCall.java:593)
at org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:465)
at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:227)
at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:196)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:171)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:950)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:408)
at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1040)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:607)
at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:316)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Thread.java:724)
Caused by: java.lang.NoSuchMethodError: org.ansj.lucene.util.AnsjTokenizer.<init>(Lorg/apache/lucene/util/AttributeFactory;Lorg/ansj/splitWord/Analysis;Ljava/lang/String;Z)V
at org.apache.lucene.analysis.ansj.AnsjTokenizerFactory.create(AnsjTokenizerFactory.java:31)
at org.apache.lucene.analysis.util.TokenizerFactory.create(TokenizerFactory.java:75)
at org.apache.solr.analysis.TokenizerChain.createComponents(TokenizerChain.java:64)
at org.apache.lucene.analysis.Analyzer.tokenStream(Analyzer.java:179)
at org.apache.solr.handler.AnalysisRequestHandlerBase.getQueryTokenSet(AnalysisRequestHandlerBase.java:148)
at org.apache.solr.handler.FieldAnalysisRequestHandler.analyzeValues(FieldAnalysisRequestHandler.java:214)
at org.apache.solr.handler.FieldAnalysisRequestHandler.handleAnalysisRequest(FieldAnalysisRequestHandler.java:182)
at org.apache.solr.handler.FieldAnalysisRequestHandler.doAnalysis(FieldAnalysisRequestHandler.java:102)
at org.apache.solr.handler.AnalysisRequestHandlerBase.handleRequestBody(AnalysisRequestHandlerBase.java:63)
at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:143)
at org.apache.solr.core.SolrCore.execute(SolrCore.java:2064)
at org.apache.solr.servlet.HttpSolrCall.execute(HttpSolrCall.java:654)
at org.apache.solr.servlet.HttpSolrCall.call(HttpSolrCall.java:450)
... 18 more
神,这个是什么问题呀,jar包冲突了么,希望神能给解答下?
225 楼 shiqinfu 2016-12-02 17:29
224 楼 shiqinfu 2016-12-02 17:25
223 楼 andyshar 2016-09-09 22:17
最近研究机器学习。觉得中文智能分析大有可为啊。
222 楼 huigaotang 2016-08-10 17:37
221 楼 huigaotang 2016-08-04 11:25
220 楼 lishujuncat 2016-07-11 16:32
219 楼 miaopeiwen 2015-12-28 10:35
218 楼 lliiqiang 2015-11-30 14:50
217 楼 fdgghghjfgh 2015-10-01 13:32
216 楼 BeMyself_wangl 2015-04-02 16:45
对内容: “甲午年十大文史图书盘点”
生成索引后
使用关键词 “甲午年” ,“甲午” 搜索
都搜索不出结果。
使用ansj 对 “甲午年十大文史图书盘点”
的分词结果:
[甲午年/b, 十/m, 大/a, 文史/n, 图书/n, 盘点/vn]
why?
215 楼 ansjsun 2014-11-17 14:17
补充问一句,加了停用词后,原本的为N的词性都变了,没在词性说明中找到nis,nnt对应的说明
[检察院/n,董事长/n,有限公司/n]
[检察院/nis,董事长/nnt,有限公司/nis]
你加的不是停用词词典。是用户自定义词典把。。你e可以参看我的文档
http://nlpchina.github.io/ansj_seg/
214 楼 ansjsun 2014-11-17 14:16
System.out.println(parse);
这个代码 eclispe提示 我的包错误
找到原因了 要导入nlp-lang的一个包 但我在官网没看到~
不报错了 但是运行出来 内存溢出! Java heap space
把jvm内存给大点
213 楼 dsx1013 2014-09-29 16:19
补充问一句,加了停用词后,原本的为N的词性都变了,没在词性说明中找到nis,nnt对应的说明
[检察院/n,董事长/n,有限公司/n]
[检察院/nis,董事长/nnt,有限公司/nis]
212 楼 dsx1013 2014-09-29 16:03
211 楼 wyyina 2014-09-25 17:50
System.out.println(parse);
这个代码 eclispe提示 我的包错误
找到原因了 要导入nlp-lang的一个包 但我在官网没看到~
不报错了 但是运行出来 内存溢出! Java heap space
210 楼 wyyina 2014-09-25 17:47
System.out.println(parse);
这个代码 eclispe提示 我的包错误
找到原因了 要导入nlp-lang的一个包 但我在官网没看到~
209 楼 wyyina 2014-09-25 17:40
System.out.println(parse);
这个代码 eclispe提示 我的包错误
208 楼 zcl243 2014-08-07 17:43
207 楼 ansjsun 2014-07-23 19:42
lucene插件支持 停用词表
206 楼 jenight 2014-07-18 11:46
205 楼 garfieldkai 2014-07-12 00:13
204 楼 ansjsun 2014-02-15 12:08
1.测试时内存是调整到1024m的
2.并且先测试一句话加载词库到内存
3.测试简单的一句话,然后累计测试是可以达到180w字/s,比如测试“我是中国人”,测试十万次,计算总时间为time,500000/time.
4.测试大文本进行反复测试,明显效率下降很多,一般在30w/s
5.我是抽取关键词使用,所以必须获取词性,大文本获取词性,内存瞬间上G
6.另外我只需要分词结果,不需要人名 新词 等发现策略,这个自己有单独的模块去实现了。
我qq 93618236 ,合适的话加我下,我把测试文本传给你。
明白了你加我吧..5144694
203 楼 louiswang 2014-02-15 10:06
1.测试时内存是调整到1024m的
2.并且先测试一句话加载词库到内存
3.测试简单的一句话,然后累计测试是可以达到180w字/s,比如测试“我是中国人”,测试十万次,计算总时间为time,500000/time.
4.测试大文本进行反复测试,明显效率下降很多,一般在30w/s
5.我是抽取关键词使用,所以必须获取词性,大文本获取词性,内存瞬间上G
6.另外我只需要分词结果,不需要人名 新词 等发现策略,这个自己有单独的模块去实现了。
我qq 93618236 ,合适的话加我下,我把测试文本传给你。
202 楼 ansjsun 2014-02-14 23:34
List<Term> terms = ToAnalysis.parse(lines[i]);
163ms
new NatureRecognition(terms).recognition();
214ms
说明文本过长建立到一个图里面对获取词性影响很大
还有一个慢的原因.如果内存不够.你把内存调整大点..应该速度会快..试试调整到 -xms1024m
201 楼 ansjsun 2014-02-14 22:47
多谢解答,
测试没算读取文本的时间,采用的就是ToAnaysis方法 ,测试一个8w字的文档:
List<Term> terms = ToAnalysis.parse(input);
占时间:143ms
new NatureRecognition(terms).recognition();
占时间:2473ms
另外有几个疑问:
1.为何不根据空格和标点分割建立多个有向图,这样计算最短路径时应该会提高效率。
2.标注词性时候占用时间过长,能否在分词的过程中去标注词性而非出来结果后再标注
3.有咩有考虑如果一个句子过长,假设一句话全是汉字且非常长的情况下,计算最短路径时会比较耗时。
请问你qq多少,我加你qq聊下。
1.空格和标点对分词结果也有影响的.比如 人名 顿号 人名 都是需要考虑进来的
2.词性标注如果分词的时候就标注.速度会慢更多.词性标注.不建议句子太长.太长的话对内存占用太多..
3.其实最短路径.和句子长短关系不大.短句反而时间长..
最后.我估计你时间长是把加载词典的时间也算进去了吧?否则不可能这么慢...你可以在分词前先分一句话.."孙健123好公司...."类似这样然后在开始算时间
200 楼 louiswang 2014-02-14 17:04
List<Term> terms = ToAnalysis.parse(lines[i]);
163ms
new NatureRecognition(terms).recognition();
214ms
说明文本过长建立到一个图里面对获取词性影响很大
199 楼 louiswang 2014-02-14 16:50
多谢解答,
测试没算读取文本的时间,采用的就是ToAnaysis方法 ,测试一个8w字的文档:
List<Term> terms = ToAnalysis.parse(input);
占时间:143ms
new NatureRecognition(terms).recognition();
占时间:2473ms
另外有几个疑问:
1.为何不根据空格和标点分割建立多个有向图,这样计算最短路径时应该会提高效率。
2.标注词性时候占用时间过长,能否在分词的过程中去标注词性而非出来结果后再标注
3.有咩有考虑如果一个句子过长,假设一句话全是汉字且非常长的情况下,计算最短路径时会比较耗时。
请问你qq多少,我加你qq聊下。
198 楼 ansjsun 2014-02-14 14:12
1.你不是在lucene中用的吧?
2.你用的NlpAnalysis吧?
你常识用下 ToAnalysis 。这个速度快。应该是200w/s左右。。。还有你读文本的方式。。最好能把代码发上来我看看
197 楼 louiswang 2014-02-14 12:33