Linux安装并使用Ludwig训练模型

一、在python3环境安装ludwig：

　　1、使用pip安装：pip install ludwig

　　2、源码编译安装：

　　　　git clone [e-mail]:uber/ludwig.git

　　　　cd ludwig

　　　　pip install -r requirements.txt

　　　　python setup.py install

　　3、准备csv格式的数据，此处以 reuters-allcats.csv 为示例

二、安装特定语言的模型：

　　python -m spacy download en

注：需要安装libsndfile1（如环境中已有则忽略）：sudo apt-get install libsndfile1

三、下一步将是配置模型定义yaml文件，该文件指定模型的输入和输出。（以下为yaml文件内容）

　　input_features:
　　    -
　　        name: text
　　        type: text
　　        encoder: parallel_cnn
　　        level: word
　　
　　output_features:
　　    -
　　        name: class
　　        type: category

四、在成功安装完成之后，执行命令，开始试验训练模型，即可已默认参数进行模型的训练：

　　ludwig experiment --data_csv reuters-allcats.csv --model_definition_file model_definition.yaml

 

ludwig的其他功能，包括根据模型的输出日志进行可视化分析，模型预测，分布式训练以及其api等。