ST开源了各类音频算法

由崎星空

最近无意间浏览ST的github，发现之前关注的 [color=var(--color-accent-fg)]fp-aud-smartmic1 应用例程升级了2.4.0版本，并且开源了所有音频算法库。

具体有：波束形成，AEC(回声消除)，声源定位，分贝转换。
看来这厂家卷起来，什么都敢放啊，看这个开源库的License应该是ST花钱找其他公司 写的代码，这分享出来不得大价钱。

仔细看了一下，主要还是为了适配他们的板子，不过应该自己打的板子也可以用，这些算法都是以 1ms帧来处理的，使用起来应该还不错，延迟会很低。



https://github.com/STMicroelectronics/fp-aud-smartmic1

usopp

可以看看，我一直想移植滴滴的那套算法，然后移植进去。
不过硬汉的板子还没买呢，年底有空买一个板子玩玩

eric2013

楼主方便的话，看下跟这个有什么区别

https://www.st.com/en/embedded-software/x-cube-audio.html
https://www.st.com/en/embedded-software/fp-aud-smartmic1.html

由崎星空

eric2013 发表于 2023-1-6 12:11
楼主方便的话，看下跟这个有什么区别

https://www.st.com/en/embedded-software/x-cube-audio.html

哥，

这个 https://www.st.com/en/embedded-software/fp-aud-smartmic1.html 跟我发的那个是一个应用只不过我发的是github链接，主要是应用一些算法声音相关的算法，还是为了推广它的 MEMS （数字麦克风）。

x-cube-audio 这个主要是做一些音频处理，比如时钟漂移补偿，采样率转换之类的。

他们都是音频处理算法，2个应用不同，但是它里面的库都可以用在实际开发场景，比如要开发 回声消除就用FP-AUD-SMARTMIC1里面的AEC算法。如果要做采样率转换，或者 声音大小转换，就可以用 x-cube-audio 里面的库。

由崎星空

usopp 发表于 2023-1-6 11:26
可以看看，我一直想移植滴滴的那套算法，然后移植进去。
不过硬汉的板子还没买呢，年底有空买一个板子玩玩

滴滴 哪套算法？

eric2013

由崎星空 发表于 2023-1-6 12:37
哥，

这个 https://www.st.com/en/embedded-software/fp-aud-smartmic1.html 跟我发的那个是一个应用 ...

非常感谢分享，我得赶紧下载收藏下源码。

eric2013

fp-aud-smartmic1-main.zip (69.65MB)

j23456

下载看了 还是 没有把  PDM编码 转PCM编码开源; 用的是  libPDMFilter_CM4_Keil_wc16.lib.

由崎星空

j23456 发表于 2023-1-6 13:26
下载看了 还是 没有把  PDM编码 转PCM编码开源; 用的是  libPDMFilter_CM4_Keil_wc16.lib.

没关系的，只要用I2S把数据以1MS帧送到 处理算法里面 就可以了，不用PDM都可以的

由崎星空

eric2013 发表于 2023-1-6 13:18
fp-aud-smartmic1-main.zip (69.65MB)

它这个只把 fp-aud-smartmic1 里面的开源了，但是我估计 x-cube-audio 库开源也不久了，

之前 AEC算法一直用的 Speex和WebRTC的 ，Speex的如果在F7跑还是很快的，但是在F4上面还是有点费力。不过用esp32跑还是很快的 。
Speex的 AEC 就是在双讲的情况下效果好些，WebRTC双讲会丢字，但是Speex双讲会有尾音，要做一些处理，不知道ST开源的这个有没有处理这个。

像x-cube-audio 的时钟偏移和采样率转换，就特别吸引人，因为音频通信，I2S时钟或者PDM时钟或者USB时钟总是会存在不同步的现象，就会导致，发送端数据比接收端不同，如果有采样率转换，或者 时钟偏移补偿 就可以完美解决这个问题，（现在用的Speex的重采样，或者使用插帧丢帧的方式，效果也可以），不过还是期待有更好的解决方式。希望能早点开源 x-cube-audio  里面的库

usopp

由崎星空 发表于 2023-1-6 12:37
滴滴 哪套算法？

athena-signal

j23456

这个算法能用于波束成形的mdvr算法吗？

musich

这个不错,  想找个 音频啸叫抑制 的算法,  不知哪里有.

131202110

去底噪用那个算法好？
https://www.armbbs.cn/forum.php?mod=viewthread&tid=121010

由崎星空

131202110 发表于 2023-9-14 09:30
去底噪用那个算法好？
https://www.armbbs.cn/forum.php?mod=viewthread&tid=121010

去底噪用  MELPe算法最好，之前用 在隧道里面，很不错，可以降6~10个dB

ccc228

收藏，感谢

爱上夏天

由崎星空 发表于 2023-1-6 13:54
它这个只把 fp-aud-smartmic1 里面的开源了，但是我估计 x-cube-audio 库开源也不久了，

之前 AEC算法 ...

我看过时钟温漂补偿库(clock drift compensation library)，确实能补偿，但是需要自己实现何时发生温漂。

总的来说就是只能补偿，不能检测。

感觉也没啥用啊

inkfish321

只能在ST的MCU上使用吗？还是说可以移植到别的MCU上

由崎星空

inkfish321 发表于 2025-4-4 19:37
只能在ST的MCU上使用吗？还是说可以移植到别的MCU上

可以用在其他MCU，我把回声的移植到了 ESP32，效果还可以。