免费信息发布

灵玖软件NLPIR系统机器学习智能处理文本

来源:灵玖软件 浏览:299次 时间:2017-02-24

  机器学习是一个跨学科研究领域,它涉及计算机科学、统计学、信息科学、神经科学、心理学、语言学、复杂理论等。机器学习旨在赋予计算机在没有显性编码情况下进行学习的能力。

  机器学习具有非常广泛的应用,比如模式识别、语音识别、机器人控制、计算机视觉、网页搜索、网页实时广告、文本情感分析、信用评分、垃圾邮件过滤、网络入侵检测、反病毒软件以及欺诈侦测等。

  灵玖软件NLPIR系统机器学习功能是针对互联网内容处理的需要,融合了自然语言理解、网络搜索和文本挖掘的技术,可以对中文文本进行语义分析、智能分词等功能。

  灵玖软件NLPIR系统主要功能:

  1. 全文精准检索

  支持文本、数字、日期、字符串等各种数据类型,多字段的高效搜索,支持AND/OR/NOT以及NEAR邻近等查询语法,支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。

  2. 新词发现:

  从文件集合中挖掘出内涵的新词语列表,可以用于用户专业词典的编撰;还可以进一步编辑标注,导入分词词典中,从而提高分词系统的准确度,并适应新的语言变化。

  3. 分词标注:

  对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中,导入用户定义的词典。

  4. 统计分析与术语翻译

  针对切分标注结果,系统可以自动地进行一元词频统计、二元词语转移概率统计(统计两个词左右连接的频次即概率)。针对常用的术语,会自动给出相应的英文解释。

  5. 文本聚类及热点分析

  能够从大规模数据中自动分析出热点事件,并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。

  6. 分类过滤

  针对事先指定的规则和示例样本,系统自动从海量文档中筛选出符合需求的样本。

  7. 正负面分析

  针对事先指定的分析对象和示例样本,系统自动从海量文档中筛选出正负面的得分和句子样例。

  8. 自动摘要

  能够对单篇或多篇文章,自动提炼出内容的精华,方便用户快速浏览文本内容。

  9. 关键词提取

  能够对单篇文章或文章集合,提取出若干个代表文章中心思想的词汇或短语,可用于精化阅读、语义查询和快速匹配等。

  10. 文档去重

  能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录,同时找出所有的重复记录。

  NLPIR是一套专门针对原始文本集进行处理和加工的软件,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。