ESP-Skainet 语音助手
本文地址:http://tongxinmao.com/Article/Detail/id/512
ESP-Skainet 以最便捷的方式支持基于乐鑫的 ESP32 芯片的唤醒词识别和命令词识别应用程序的开发。使用 ESP-Skainet,您可以轻松构建唤醒词识别和命令词识别应用程序。
输入音频
输入音频流可以来自麦克风,或Flash/TF 卡中的 wav/pcm 等音频文件文件。
唤醒词识别
唤醒词模型 WakeNet,致力于提供一个低资源消耗的的高性能模型,支持类似“Alexa”,“天猫精灵”,“小爱同学”等唤醒词的识别。
目前乐鑫免费开放“Hi,乐鑫”, “你好小智”, “你好小鑫”, “hi,Jeson”唤醒词。如果用户需要其它唤醒词,乐鑫提供有唤醒词定制服务,具体可参考 乐鑫语音唤醒词定制流程。
语音命令词识别
命令词识别模型 MultiNet ,致力于提供一个灵活的离线语音命词识别框架。用户可方便根据需求自定义语音命令,无需重新训练模型。
目前模型支持类似“打开空调”,“打开卧室灯”等中文命令词识别和"Turn on/off the light" 等英文命令词识别,自定义语音命令词最大个数为 100。
声学算法
目前 ESP-Skainet 集成了回声消除 AEC(Acoustic Echo Cancellation),自动增益调节 AGC(automatic_gain_control),噪声抑制 NS(Noise Suppression),语音活动检测 VAD(Voice Activity Detection) 和麦克风阵列算法(Mic Array Speech Enhancement)。
快速开始
硬件准备
为了运行 ESP-Skainet,您需要一块集成了音频输入模块的开发板,我们在示例中使用 ESP32-LyraT-Mini 或者 ESP32-Korvo V1.1 。
关于针对应用的具体配置,请参考每个示例中的 README.md。
应用实例
GitHub - Kevincoooool/ESP_MASTER: ESP32-CAM with LVGL Speech/Face Recognition IR Control
语音识别。将数字麦克风通过I2S连接到ESP32,经过esp-skainet离线语音识别,自定义语音命令词最大个数为 100
上一篇:LUNA: a USB multitool & nMigen library
下一篇:HDMI --USB 描述符