Android 基于百度语音的语音交互功能(推荐)

项目里面用到了语音唤醒功能，前面一直在用讯飞的语音识别，本来打算也是直接用讯飞的语音唤醒，但是讯飞的语音唤醒要收费，试用版只有35天有效期。只好改用百度语音，百度语音所有功能免费，功能也比较简单实用，包括语音识别，语音合成和语音唤醒，正好可以组成一套完整的语音交互功能。

效果图：

首先是语音唤醒功能，说出关键词即可叫语音识别，唤醒成功会有语音提示，这里采用了百度语音的合成功能。然后百度语音识别会根据wifi情况自动切换在线或者离线识别，但是离线识别只能识别已经导入的关键词，而且离线第一次识别需要联网，识别成功，同样会有语音提示。效果图gif没有声音，toast显示的时候就是语音提示的内容。

这里说一点，百度语音的demo里给的语音唤醒是在onresume（）开始唤醒监听，唤醒成功后在onpause（）里就停止唤醒监听。而我现在要在唤醒成功后弹出语音识别的ui界面，所以弹出ui的同时就会停止唤醒监听。如果语音识别成功，ui界面消失，唤醒监听会重新开始，此时说出唤醒词即可重新唤醒。但是如果识别失败，封装好的ui界面会变成下图情况，这时候就要手动点击重试或者取消才可以，不符合全语音交互的理念。为了解决这个情况，要将停止唤醒监听写到onstop（）里，这样即使语音识别失败，也可以重新唤醒。

具体的集成步骤官方文档里都有，也可以参考下面的文章

注：我这里语音识别和语音合成都用到了，所以官网下的两个sdk都要导入到工程里，这里还有个小问题，正常来说，jar包导入到工程之后，还要将assert和jnilibs文件夹放到工程里，我这里只放了语音识别的assert文件夹，jnilibs文件夹我都没放入工程里，这样可以使用。如果我将语音识别和语音合成的assert和jnilibs都放到工程里，反而会报下面的错误，不知道为什么。

java.lang.unsatisfiedlinkerror: native method not found: com.baidu.speech.easr.easrnativejni.wakeupfree:()i

mainactivity：

package com.example.administrator.baiduvoicetest;
import android.content.intent;
import android.os.bundle;
import android.os.environment;
import android.support.v7.app.appcompatactivity;
import android.text.textutils;
import android.util.androidruntimeexception;
import android.util.log;
import android.view.view;
import android.widget.edittext;
import android.widget.textview;
import android.widget.toast;
import com.baidu.speech.eventlistener;
import com.baidu.speech.eventmanager;
import com.baidu.speech.eventmanagerfactory;
import com.baidu.tts.auth.authinfo;
import com.baidu.tts.client.speecherror;
import com.baidu.tts.client.speechsynthesizer;
import com.baidu.tts.client.speechsynthesizerlistener;
import com.baidu.tts.client.ttsmode;
import org.json.jsonexception;
import org.json.jsonobject;
import java.io.file;
import java.io.filenotfoundexception;
import java.io.fileoutputstream;
import java.io.ioexception;
import java.io.inputstream;
import java.util.arraylist;
import java.util.hashmap;
public class mainactivity extends appcompatactivity {
private textview txtresult;
private edittext minput;
private eventmanager mwpeventmanager;
private speechsynthesizer mspeechsynthesizer;
private string msampledirpath;
private static final string sample_dir_name = "baidutts";
private static final string speech_female_model_name = "bd_etts_speech_female.dat";
private static final string speech_male_model_name = "bd_etts_speech_male.dat";
private static final string text_model_name = "bd_etts_text.dat";
private static final string license_file_name = "temp_license";
private static final string english_speech_female_model_name = "bd_etts_speech_female_en.dat";
private static final string english_speech_male_model_name = "bd_etts_speech_male_en.dat";
private static final string english_text_model_name = "bd_etts_text_en.dat";
private static final string tag = "mainactivity";
@override
protected void oncreate(bundle savedinstancestate) {
super.oncreate(savedinstancestate);
setcontentview(r.layout.activity_main);
txtresult = (textview) findviewbyid(r.id.txtresult);
txtresult.settext("请说唤醒词: 小度你好或者百度一下\n\n"+
"离在线语法识别(首次使用需要联网授权)\n"+
"语音识别开始后你可以说(可以根据语法自行定义离线说法):\n" +
" 1. 打电话给张三(离线)\n" +
" 2. 打电话给李四(离线)\n" +
" 3. 打开计算器(离线)\n" +
" 4. 明天天气怎么样(需要联网)\n" +
" ..." +
"\n");
minput= (edittext) findviewbyid(r.id.input);
minput.setvisibility(view.gone);
initialenv();
initialtts();
}
@override
protected void onresume() {
super.onresume();
// 唤醒功能打开步骤
// 1) 创建唤醒事件管理器
mwpeventmanager = eventmanagerfactory.create(mainactivity.this, "wp");
// 2) 注册唤醒事件监听器
mwpeventmanager.registerlistener(new eventlistener() {
@override
public void onevent(string name, string params, byte[] data, int offset, int length) {
log.d(tag, string.format("event: name=%s, params=%s", name, params));
try {
jsonobject json = new jsonobject(params);
if ("wp.data".equals(name)) { // 每次唤醒成功, 将会回调name=wp.data的时间, 被激活的唤醒词在params的word字段
string word = json.getstring("word");
txtresult.append("唤醒成功, 唤醒词: " + word + "\r\n");
minput.settext("唤醒成功，请说出指令");
//minput.settext("succeed");
toast.maketext(mainactivity.this,minput.gettext(),toast.length_long).show();
speak();
//延时3秒，防止语音合成的内容又被语音识别
try {
thread.sleep(3000);
} catch (interruptedexception e) {
e.printstacktrace();
}
intent intent = new intent("com.baidu.action.recognize_speech");
intent.putextra("grammar", "asset:///baidu_speech_grammardemo.bsg"); // 设置离线的授权文件(离线模块需要授权), 该语法可以用自定义语义工具生成, 链接http://yuyin.baidu.com/asr#m5
//intent.putextra("slot-data", your slots); // 设置grammar中需要覆盖的词条,如联系人名
startactivityforresult(intent, 1);
} else if ("wp.exit".equals(name)) {
txtresult.append("唤醒已经停止: " + params + "\r\n");
}
} catch (jsonexception e) {
throw new androidruntimeexception(e);
}
}
});
// 3) 通知唤醒管理器, 启动唤醒功能
hashmap params = new hashmap();
params.put("kws-file", "assets:///wakeupdemo.bin"); // 设置唤醒资源, 唤醒资源请到 http://yuyin.baidu.com/wake#m4 来评估和导出
mwpeventmanager.send("wp.start", new jsonobject(params).tostring(), null, 0, 0);
}
@override
protected void onactivityresult(int requestcode, int resultcode, intent data) {
super.onactivityresult(requestcode, resultcode, data);
if (resultcode == result_ok) {
bundle results = data.getextras();
arraylist<string> results_recognition = results.getstringarraylist("results_recognition");
//txtresult.append("识别结果(数组形式): " + results_recognition + "\n");
//将数组形式的识别结果变为正常的string类型，例：[给张三打电话]变成给张三打电话
string str=results_recognition+"";
string res=str.substring(str.indexof("[")+1,str.indexof("]"));
txtresult.append(res+"\n");
minput.settext("好的，马上执行"+res);
speak();
toast.maketext(mainactivity.this,minput.gettext(),toast.length_long).show();
}
}
private void initialtts() {
this.mspeechsynthesizer = speechsynthesizer.getinstance();
this.mspeechsynthesizer.setcontext(this);
this.mspeechsynthesizer.setspeechsynthesizerlistener(new speechsynthesizerlistener() {
@override
public void onsynthesizestart(string s) {
}
@override
public void onsynthesizedataarrived(string s, byte[] bytes, int i) {
}
@override
public void onsynthesizefinish(string s) {
}
@override
public void onspeechstart(string s) {
}
@override
public void onspeechprogresschanged(string s, int i) {
}
@override
public void onspeechfinish(string s) {
}
@override
public void onerror(string s, speecherror speecherror) {
}
});
// 文本模型文件路径 (离线引擎使用)
this.mspeechsynthesizer.setparam(speechsynthesizer.param_tts_text_model_file, msampledirpath + "/"
+ text_model_name);
// 声学模型文件路径 (离线引擎使用)
this.mspeechsynthesizer.setparam(speechsynthesizer.param_tts_speech_model_file, msampledirpath + "/"
+ speech_female_model_name);
// 本地授权文件路径,如未设置将使用默认路径.设置临时授权文件路径，licence_file_name请替换成临时授权文件的实际路径，仅在使用临时license文件时需要进行设置，如果在[应用管理]中开通了正式离线授权，不需要设置该参数，建议将该行代码删除（离线引擎）
// 如果合成结果出现临时授权文件将要到期的提示，说明使用了临时授权文件，请删除临时授权即可。
this.mspeechsynthesizer.setparam(speechsynthesizer.param_tts_licence_file, msampledirpath + "/"
+ license_file_name);
// 请替换为语音开发者平台上注册应用得到的app id (离线授权)
this.mspeechsynthesizer.setappid("xxx"/*这里只是为了让demo运行使用的appid,请替换成自己的id。*/);
// 请替换为语音开发者平台注册应用得到的apikey和secretkey (在线授权)
this.mspeechsynthesizer.setapikey("xxx",
"xxx"/*这里只是为了让demo正常运行使用apikey,请替换成自己的apikey*/);
// 发音人（在线引擎），可用参数为0,1,2,3。。。（服务器端会动态增加，各值含义参考文档，以文档说明为准。0--普通女声，1--普通男声，2--特别男声，3--情感男声。。。）
this.mspeechsynthesizer.setparam(speechsynthesizer.param_speaker, "0");
// 设置mix模式的合成策略
this.mspeechsynthesizer.setparam(speechsynthesizer.param_mix_mode, speechsynthesizer.mix_mode_default);
// 授权检测接口(只是通过authinfo进行检验授权是否成功。)
// authinfo接口用于测试开发者是否成功申请了在线或者离线授权，如果测试授权成功了，可以删除authinfo部分的代码（该接口首次验证时比较耗时），不会影响正常使用（合成使用时sdk内部会自动验证授权）
authinfo authinfo = this.mspeechsynthesizer.auth(ttsmode.mix);
if (authinfo.issuccess()) {
toast.maketext(this,"auth success",toast.length_long).show();
} else {
string errormsg = authinfo.getttserror().getdetailmessage();
toast.maketext(this,"auth failed errormsg=" + errormsg,toast.length_long).show();
}
// 初始化tts
mspeechsynthesizer.inittts(ttsmode.mix);
// 加载离线英文资源（提供离线英文合成功能）
int result =
mspeechsynthesizer.loadenglishmodel(msampledirpath + "/" + english_text_model_name, msampledirpath
+ "/" + english_speech_female_model_name);
//toast.maketext(this,"loadenglishmodel result=" + result,toast.length_long).show();
//打印引擎信息和model基本信息
//printengineinfo();
}
private void speak() {
string text = this.minput.gettext().tostring();
//需要合成的文本text的长度不能超过1024个gbk字节。
if (textutils.isempty(minput.gettext())) {
text = "欢迎使用百度语音合成sdk,百度语音为你提供支持。";
minput.settext(text);
}
int result = this.mspeechsynthesizer.speak(text);
if (result < 0) {
toast.maketext(this,"error,please look up error code in doc or url:http://yuyin.baidu.com/docs/tts/122 ",toast.length_long).show();
}
}
private void initialenv() {
if (msampledirpath == null) {
string sdcardpath = environment.getexternalstoragedirectory().tostring();
msampledirpath = sdcardpath + "/" + sample_dir_name;
}
makedir(msampledirpath);
copyfromassetstosdcard(false, speech_female_model_name, msampledirpath + "/" + speech_female_model_name);
copyfromassetstosdcard(false, speech_male_model_name, msampledirpath + "/" + speech_male_model_name);
copyfromassetstosdcard(false, text_model_name, msampledirpath + "/" + text_model_name);
copyfromassetstosdcard(false, license_file_name, msampledirpath + "/" + license_file_name);
copyfromassetstosdcard(false, "english/" + english_speech_female_model_name, msampledirpath + "/"
+ english_speech_female_model_name);
copyfromassetstosdcard(false, "english/" + english_speech_male_model_name, msampledirpath + "/"
+ english_speech_male_model_name);
copyfromassetstosdcard(false, "english/" + english_text_model_name, msampledirpath + "/"
+ english_text_model_name);
}
private void makedir(string dirpath) {
file file = new file(dirpath);
if (!file.exists()) {
file.mkdirs();
}
}
/**
* 将sample工程需要的资源文件拷贝到sd卡中使用（授权文件为临时授权文件，请注册正式授权）
*
* @param iscover 是否覆盖已存在的目标文件
* @param source
* @param dest
*/
private void copyfromassetstosdcard(boolean iscover, string source, string dest) {
file file = new file(dest);
if (iscover || (!iscover && !file.exists())) {
inputstream is = null;
fileoutputstream fos = null;
try {
is = getresources().getassets().open(source);
string path = dest;
fos = new fileoutputstream(path);
byte[] buffer = new byte[1024];
int size = 0;
while ((size = is.read(buffer, 0, 1024)) >= 0) {
fos.write(buffer, 0, size);
}
} catch (filenotfoundexception e) {
e.printstacktrace();
} catch (ioexception e) {
e.printstacktrace();
} finally {
if (fos != null) {
try {
fos.close();
} catch (ioexception e) {
e.printstacktrace();
}
}
try {
if (is != null) {
is.close();
}
} catch (ioexception e) {
e.printstacktrace();
}
}
}
}
@override
protected void onstop() {
super.onstop();
// 停止唤醒监听
mwpeventmanager.send("wp.stop", null, null, 0, 0);
}
}

注：源码是将官网给的demo进行整合，并且删除了一些用不到的方法，简少了代码量。

activity_main：只有一个textview和一个editview，很简单。textview用于显示结果，editview用于语音合成的文字信息

<?xml version="1.0" encoding="utf-8"?>
<linearlayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:id="@+id/activity_main"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical"
tools:context="com.example.administrator.baiduvoicetest.mainactivity">
<textview
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:textsize="18dp"
android:padding="8dp"
android:id="@+id/txtresult" />
<edittext
android:id="@+id/input"
android:layout_width="fill_parent"
android:layout_height="wrap_content"
android:hint="input" />
</linearlayout>

androidmanifest：添加权限和一个作为语音识别的ui的活动

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
package="com.example.administrator.baiduvoicetest">
<uses-permission android:name="android.permission.record_audio" />
<uses-permission android:name="android.permission.access_network_state" />
<uses-permission android:name="android.permission.internet" />
<uses-permission android:name="android.permission.read_phone_state" />
<uses-permission android:name="android.permission.write_external_storage" />
<uses-permission android:name="android.permission.access_wifi_state" />
<uses-permission android:name="android.permission.change_wifi_state" />
<uses-permission android:name="android.permission.modify_audio_settings" />
<uses-permission android:name="android.permission.write_settings" />
<application
android:allowbackup="true"
android:icon="@mipmap/ic_launcher"
android:label="@string/app_name"
android:supportsrtl="true"
android:theme="@style/apptheme">
<!-- begin: baidu speech sdk-->
<!--
离线功能指南：
1. 在百度语音开放平台注册应用，http://yuyin.baidu.com/app
2. 为您的应用的“申请离线授权页面”，填写程序包名
3. 在当前应用的androidmanifest.xml中填写相应的app_id（或在代码中设置appid参数）
4. 根据场景下载并集成相应的资源，见http://yuyin.baidu.com/docs/asr/131和http://yuyin.baidu.com/asr/download
另外需要注意的是离线功能只是在线功能的“增强”，不能永久不联网使用（特别是首次使用）。
-->
<!-- 请填写真实的app_id api_key secret_key -->
<meta-data android:name="com.baidu.speech.app_id" android:value="8888274"/>
<meta-data android:name="com.baidu.speech.api_key" android:value="fofognjferg3utzc4fddnxhm"/>
<meta-data android:name="com.baidu.speech.secret_key" android:value="63830985f5b05d2863f13ad07c7feaa3"/>
<service android:name="com.baidu.speech.voicerecognitionservice" android:exported="false" />
<activity
android:name="com.baidu.voicerecognition.android.ui.baiduasrdigitaldialog"
android:configchanges="orientation|keyboardhidden|screenlayout"
android:theme="@android:style/theme.dialog"
android:exported="false"
android:screenorientation="portrait">
<intent-filter>
<action android:name="com.baidu.action.recognize_speech" />
<category android:name="android.intent.category.default" />
</intent-filter>
</activity>
<!-- end : baidu speech sdk-->
<activity android:name=".mainactivity">
<intent-filter>
<action android:name="android.intent.action.main" />
<category android:name="android.intent.category.launcher" />
</intent-filter>
</activity>
</application>
</manifest>

以上所述是小编给大家介绍的android 基于百度语音的语音交互功能，希望对大家有所帮助