FunASR初体验与悟空机器人(wukong-robot)集成

Aug. 8, 2023, 11:52 p.m.

read: 2052

0x00 写在前面

最近阿里巴巴达摩院开源了他们的ASR识别模型,直接把商用效果的ASR模型开源出来了,对于个人用户而言,那就是天大的好事了,调用API的money就省下来了,省下来的钱,每天晚上还能加个鸡腿,毕竟各家识别API的价格也不美丽,效果也没见的多好
:)

达摩院FunASR实时语音转写服务软件包发布

wukong-robot

09.16更新:当前提交到悟空机器人的PR已经被作者合并到主分支了,现在可以在上述的悟空机器人项目中直接使用了

0x01 导出到libtorch模型

推理框架可以选择libtorch或者onnx_runtime

libtorch模型导出可以参照:
https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/libtorch

onnx模型导出可以参照:
https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/onnxruntime

按照文档直接导出就行

我这边很快就导出libtorch模型了,导出的模型位于
./export/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/

0x02 添加FunASR代码

继承抽象类 实现一个名字FunASR的类,去调用推理流程

在配置文件中引用新添加的fun-asr以及一个传参,传入模型文件的路径

0x03 开始使用

0x04 最终的效果

https://www.bilibili.com/video/BV1a14y1q7MB/
求一键三连




骑着小电驴去溜达

一晚上骑了七十多公里狂奔了一路想要释放些什么也不知释放了些什么

每天一瓶东方树叶

文章标题:每天一瓶东方树叶文章内容:青柑普洱味,一开始喝只是为了提神醒脑,喝着喝着觉得味道莫名的不错听着岁月神偷,感慨时间过的真快,距毕业已经五年有余 夏日的午后,闷热的空气中蝉声夹杂了一些喧闹,浮…

此站点由 ASP.NETIIS 驱动 | © 2018-2023 hupeng.me. All Rights Reserved.