中文分词库FNLP与jieba的安装与使用

1、本篇讲述FNLP自然语言处理库和jieba中文分词库的安装与使用，FNLP自然语言处理库适合Java开发者学习中文分词处理，jieba中文分词库适合Python开发者学习中文器皆阄诟分词处理。通过本篇的学习，可以掌握如下内容。● FNLP分词库的安装与使用● jieba分词库的安装与使用注意：本篇如无特殊说明，所涉软件均在Windows操作系统下操作。Java和Python均使用eclipse集成开发工具。1、FNLP分词库的安装与使用FNLP是由复旦大学开发的一个基于机器学习的中文自然语言处理开发工具包，也包含为实现这些任务的机器学习算法和数据集，中文分词功能是FNLP库的核心功能之一。FNLP分词库的安装（1）FNLP库在github托管源代码，通过github下载整个项目代码压缩包。下载地址：github.com/FudanNLP/fnlp（2）从github下载3个模型文件，分别是seg.m（分词模型）、pos.m（词性标注模型）、dep.m（依存句法分析模型），将下载的这3个模型文件复制到fnlp项目models目录下。模型文件下载地址：github.com/FudanNLP/fnlp/releases（3）由于从github下载的是FNLP的源代码，需要通过Maven构建项目。下载Maven并安装，Maven下载地址：maven.apache.org/download.cgi在下载列表中，选择Binary zip archive类别的ZIP压缩包下载。① 将下载的zip压缩包解压至任意目录（目录名称不要包含中文）。② 添加bin目录的路径到Path系统环境变量。③ 验证是否配置成功，在Windows命令行窗口输入mvn -v命令，显示信息如下图所示。

3、执行FnlpSegment.class文件，输出结果如下图所示。

5、使用jieba库的分词功能使用eclipse新建Python项目JiebaSegment，新建src包，在该包下面新建WordSegment模块。WordSegment模块代码如下：