Java/Python调用百度LAC进行词法分析实现
LAC功能在于中文分词、词性标注、NER，对于基本的词法分析效果还是蛮不错的，如下为其对应词性和ner标签：
写这篇博客的目的也是在于进一步梳理思路和过程，毕竟当时还是踩了一些坑的，写下来，于人于己都方便！
话不多说，开始啦~
其实吧，LAC如果通过python调用，十分便捷，如LAC github https://github.com/baidu/lac所示：
Python3 pip安装：pip install lac -i https://mirror.baidu.com/pypi/simple
然后就可以import使用啦：
from LAC import LAC
# 装载分词模型
lac = LAC(mode='seg')
text = "LAC是个优秀的分词工具"
seg_result = lac.run(text)
# 批量样本输入, 输入为多个句子组成的list，平均速率会更快
texts = ["LAC是个优秀的分词工具", "百度是一家高科技公司"]
seg_result = lac.run(texts)
但java的调用比较麻烦，所以，正题开始，linux上实现，共分两大步：
1.Paddle依赖库准备：LAC是基于Paddle训练所得的模型，需依赖Paddle的预测库
（1）直接下载
LAC github提供了预编译好的Linux预测库(fluid_inference.tgz)，可直接下载，选择合适版本解压使用即可。但它的是在ubuntu上编译的，我自己的linux系统是centos的，所以还是自己进行了编译。
（2）自己编译
首先需要更新cmake版本，我将其升级为cmake 3.3.2
# 下载Paddle源码
git clone https://github.com/PaddlePaddle/Paddle.git
# 选择其中一个稳定的分支
cd Paddle
git checkout v1.6.2
# 创建并进入build目录，准备编译过程
mkdir build
cd build
# 编译结果保存路径，需要需改
PADDLE_ROOT=/path/of/paddle
# 编译运行
cmake -DFLUID_INFERENCE_INSTALL_DIR=$PADDLE_ROOT \
-DCMAKE_BUILD_TYPE=Release \
-DWITH_PYTHON=OFF \
-DWITH_MKL=OFF \
-DWITH_GPU=OFF \
-DON_INFER=ON \
../
make
make inference_lib_dist
2.jni编译，生成Java调用包
LAC github已经编写了jni调用c++库的接口，我们编译生成Java可直接调用的包即可。
# lac代码下载
git clone https://github.com/baidu/lac.git
cd lac
# PADDLE_ROOT表示第1步中获取的Paddle依赖库路径
# 即下载解压后的文件夹路径或编译产出的文件夹路径
PADDLE_ROOT=/path/of/paddle
# JAVA的HOME目录，应存在文件${JAVA_HOME}/include/jni.h
# 根据自己linux系统安装的JAVA路径设置即可
JAVA_HOME=/path/of/java
# 编译
mkdir build
cd build
cmake -DPADDLE_ROOT=$PADDLE_ROOT \
-DJAVA_HOME=$JAVA_HOME \
-DWITH_JNILIB=ON \
-DWITH_DEMO=OFF \
../
make install # 编译产出在 ../output/java 下
最后，即是运行阶段，也有一些坑，请注意下：
在output/java下有com.baidu.nlp的Java库以及单线程调用示例LacDemo.java，我们以LacDemo.java为例进行lac调用使用。
首先，需要下载模型文件models_general.zip，解压文件夹中包含两个模型，如下：
-
seg_model：仅实现分词的模型 -
lac_model：实现分词、词性标注、实体识别于一体的词法分析模型
将解压的模型文件夹放在系统下相应位置。
然后，为了运行顺利，需要更改LacDemo.java代码：
import java.util.ArrayList;
import java.io.InputStreamReader;
import java.io.BufferedReader;
import com.baidu.nlp.LAC;
public class LacDemo {
static {
// 按照绝对路径装载LAC链接库，
// 此外，先加载libpaddle_fluid.so再加载liblacjni.so，前者是后者的依赖库文件
String dir_path = new String();
dir_path = System.getProperty("user.dir");
System.load(dir_path+"/paddle_path/paddle/lib/libpaddle_fluid.so");
System.load(dir_path+"/liblacjni.so");
}
public static void main(String[] args) {
// 默认模型路径
String model_path = new String("./lac_model");
if (args.length > 0) {
model_path = args[0];
}
LAC lac = new LAC(model_path);
// 装载用户词典
if (args.length > 1) {
lac.loadCustomization(args[1]);
}
ArrayList<String> words = new ArrayList<>();
ArrayList<String> tags = new ArrayList<>();
//注释对应行，将输入query设置为默认query
/**BufferedReader stdin = new BufferedReader(new InputStreamReader(System.in));
String query = null;
try {
while ((query = stdin.readLine()) != null) {
lac.run(query, words, tags);
System.out.println(words);
System.out.println(tags);
}
} catch (Exception e) {
System.out.println(e.getMessage());
}*/
//新添加如下4行
String query = "LAC分词工具是百度公司的产品";
lac.run(query, words, tags);
System.out.println(words);
System.out.println(tags);
}
}
下图为我的java文件夹下的文件内容，其中“liblacjni.so”为第2步编译所得，“paddle_path”为第一步编译所得的paddle依赖库，lac_model为模型文件
运行代码，其中<model_dir>为lac_model的路径
javac LacDemo.java
java LacDemo <model_dir>
结果如图
如此大功告成，后续可在此基础上进一步用于其它任务或功能！
本文地址：https://blog.csdn.net/qq_40794377/article/details/107355528