C# 使用waveIn实现声音采集
最佳答案 问答题库698位专家为你答疑解惑
文章目录
- 前言
- 一、需要的对象及方法
- 二、整体流程
- 三、关键实现
- 1、使用Thread开启线程
- 2、TaskCompletionSource实现异步
- 3、将指针封装为Stream
- 四、完整代码
- 1.接口
- 2.具体实现
- 五、使用示例
- 方式一
- 方式二
- 总结
前言
之前实现了《C++ 使用waveIn实现声音采集》,后来C#项目也有此功能的需求,直接调用C++封装的dll是可以的。但是wimm这种基于win32 api的库,完全可以直接用C#去调用,将依赖减少到最小。
一、需要的对象及方法
参考《C++ 使用waveIn实现声音采集》,此处不再赘述。
二、整体流程
参考《C++ 使用waveIn实现声音采集》,此处不再赘述。
三、关键实现
此处讲一些与C#相关的点。
1、使用Thread开启线程
笔者一开是实现是使用Task开启线程,由于Task基于线程池可以提高资源利用率,但是这也出现了一些问题。由于录制需要在子线程开启消息循环,多次重复调用录制时,有概率打开同一个线程,就有可能收到上一个录制的数据消息,造成非法内存的读取问题。目前没找到销毁线程中消息循环的方法,只有通过结束线程的方式结束消息循环。所以使用Thread开启线程,才能够解决问题。
_thread = new Thread(() => { _CollectThread();});_thread.Start();
2、TaskCompletionSource实现异步
因为C#支持async、await机制,这样就可以直接去掉开始和停止两个回调,使用异步实现开始和停止方法。
/// <summary>
/// 开始采集,Start和Stop需要成对使用,await可变成同步式,真正开始采集才会返回。
/// 失败会抛出异常,可通过ContinueWith或await获取异常。
/// </summary>
public async Task<Task> Start();
/// <summary>
/// 停止采集,直接调用是异步,可await等待真正停止
/// 此方法是有可能抛异常的,采集过程中出现的异常,会在此方法中抛出
/// </summary>
public async Task<Task> Stop();
调用方式
await wic.Start();
//此行是采集真正开始的时机
await wic.Stop();
//此行是已经停止的时机
由于使用了Thread开启线程,所以我们需要使用其他方式生成Task,在Thread结束后触发Task完成。用过flutter的朋友应该知道这种情况使用Completer就可以,C#中对应Dart的Completer就是TaskCompletionSource。
示例代码如下
public async Task<Task> Start()
{TaskCompletionSource? tcsStart=new TaskCompletionSource(); ;_tcs = new TaskCompletionSource();_thread = new Thread(() => { _CollectThread(tcsStart); _tcs.SetResult();/*线程结束触发完成*/ });_thread.Start(); //等待开始完成的信号 await tcsStart.Task;return Task.CompletedTask;
}
void _CollectThread(TaskCompletionSource tcsStart){while(GetMessage(out msg)!=0){//接收到Wimm开始消息,触发完成tcsStart.SetResult();//接收到Wimm结束消息退出循环结束线程}
}public async Task<Task> Stop(){if (_thread != null){ //发送消息结束线程_exitFlag = true;PostThreadMessage(_threadId, MM_WIM_CLOSE); //等待线程结束await _tcs!.Task;_tcs = null;_thread = null;}return Task.CompletedTask;}
3、将指针封装为Stream
通过Wimm采集的音频数据是指针的形式,如果需要转为byte[]这需要使用Marshall进行数据拷贝,为了避免拷贝,数据形式不能是byte[]数组。直接提供指针又不方便使用,笔者采用了Stream的方式提供数据,而且文件流直接支持Stream写入。C#本身有个UmanagedMemoryStream可以支持读取指针的数据,但是需要unsafe上下文,这显然是没必要的(有unsafe上下文,直接通过地址读取数据即可,或者将此功能放dll单独设置unsafe对外提供Stream也不便于管理)。最好的方式还是自己实现一个Stream用于读取指针数据。
完整代码如下:
using System.Runtime.InteropServices;
namespace AC
{/// <summary>/// 用于读取指针数据的流,内部不会管理指针/// 由于.net库提供的UnmanagedMemoryStream需要unsafe上下文,所以直接自己封装一个类似功能的stream避开unsafe的使用。/// </summary>class UMemoryStream : Stream{public override bool CanRead => _access == FileAccess.Read || _access == FileAccess.ReadWrite;public override bool CanSeek => true;public override bool CanWrite => _access == FileAccess.Write || _access == FileAccess.ReadWrite;public override long Length => _len;public override long Position { get; set; } = 0;FileAccess _access;nint _ptr;nint _len;/// <summary>/// 构造方法/// </summary>/// <param name="ptr">数据地址</param>/// <param name="len">数据长度</param>/// <param name="access"></param>public UMemoryStream(nint ptr, int len, FileAccess access){_ptr = ptr;_len = len;_access = access;}public override void Flush(){throw new NotSupportedException();}public override int Read(byte[] buffer, int offset, int count){if (_ptr == 0)throw new ObjectDisposedException(ToString());if (!CanRead)throw new NotSupportedException();var leftCount = _len - Position;if (count > leftCount){count = (int)leftCount;}if (count > 0){Marshal.Copy(_ptr + (nint)Position, buffer, offset, count);Position += count;}return count;}public override long Seek(long offset, SeekOrigin origin){switch (origin){case SeekOrigin.Begin:Position = offset;break;case SeekOrigin.Current:Position += offset;break;case SeekOrigin.End:Position = _len - offset;break;}return Position;}public override void SetLength(long value){throw new NotSupportedException();}public override void Write(byte[] buffer, int offset, int count){if (_ptr == 0)throw new ObjectDisposedException(ToString());if (!CanWrite)throw new NotSupportedException();var leftCount = _len - Position;if (count > leftCount){count = (int)leftCount;}if (count > 0){Marshal.Copy(buffer, offset, _ptr + (nint)Position, count);Position += count;}else { throw new ArgumentOutOfRangeException(); }}public override void Close(){_ptr = 0;}}
}
四、完整代码
将采集功能封装成一个通用工具,方便在任意地方使用。
1.接口
接口设计如下:
using System.Runtime.InteropServices;
using static AC.Winmm;
using static AC.User32;
using static AC.Kernel32;/************************************************************************
* @Project: AC::WaveInCollector
* @Decription: 音频采集工具
* @Verision: v1.0.0.0
* @Author: Xin Nie
* @Create: 2023/10/8 09:27:00
* @LastUpdate: 2023/10/24 11:34:00
************************************************************************
* Copyright @ 2025. All rights reserved.
************************************************************************/
namespace AC
{/// <summary>/// 声音采集对象/// </summary>/// <summary>/// 声音采集对象///这是一个功能完整声音采集对象,所有接口通过了测试。///非线程安全,所有方法需确保在单线程中调用,即比如:Start和Stop不能在两个线程中同时调用。/// </summary>public class WaveInCollector : IAsyncDisposable{/// <summary>/// 数据到达事件参数/// </summary>public class DataArrivedEventArgs : EventArgs{/// <summary>/// 声音格式/// </summary>public SampleFormat Format { set; get; }/// <summary>/// 声音数据流,为了减少数据拷贝次数,将非托管内存封装成流的形式提供,只读,生命周期为回调方法内。/// </summary>public Stream Stream { set; get; }}/// <summary>/// 采集数据到达事件/// </summary>public event EventHandler<DataArrivedEventArgs>? DataArrived;/// <summary>/// 采集速率单位:次/秒/// 此属性会影响每次输出数据的大小/// 开始采集前设置有效/// </summary>public int Frequency { set; get; } = 50;/// <summary>/// 声音格式/// </summary>public SampleFormat Format { private set; get; }/// <summary>/// 当前设备/// </summary>public AudioDevice Device { private set; get; }/// <summary>/// 枚举可用的声音采集设备/// </summary>public static IEnumerable<AudioDevice> AvailableDevices { get; }/// <summary>/// 构造方法/// </summary>/// <param name="device">音频设备,不能为空</param>/// <param name="SampleFormat">声音格式</param>public WaveInCollector(AudioDevice device, SampleFormat sf);/// <summary>/// 构造方法/// 如果系统没有任何设备则会抛出异常/// </summary>/// <param name="deviceId">声音设备Id,0为默认设备</param>/// <param name="SampleFormat">声音格式</param>public WaveInCollector(uint deviceId, SampleFormat sf) : this(GetWaveInDeviceById(deviceId)!, sf) { }/// <summary>/// 开始采集,Start和Stop需要成对使用,await可变成同步式,真正开始采集才会返回。/// 失败会抛出异常,可通过ContinueWith或await获取异常。/// </summary> public async Task<Task> Start();/// <summary>/// 停止采集,直接调用是异步,可await等待真正停止/// 此方法是有可能抛异常的,采集过程中出现的异常,会在此方法中抛出/// </summary>public async Task<Task> Stop();}/// <summary>/// 声音格式/// </summary>public class SampleFormat{/// <summary>/// 声道数/// </summary>public ushort Channels { set; get; }/// <summary>/// 采样率/// </summary>public uint SampleRate { set; get; }/// <summary>/// 位深/// </summary>public ushort BitsPerSample { set; get; }}/// <summary>/// 音频设备/// </summary>public class AudioDevice{/// <summary>/// 设备Id/// </summary>public uint Id { set; get; }/// <summary>/// 设备名称/// </summary>public string Name { set; get; } = "";/// <summary>/// 声道数/// </summary>public int Channels { set; get; }/// <summary>/// 支持的格式/// </summary>public IEnumerable<SampleFormat> SupportedFormats { set; get; }}
}
2.具体实现
vs2022 .net6.0 项目,所有win api通过dllimport引入,没有任意额外依赖。
注:winmm不能识别dshow虚拟设备,请根据需要下载资源。
之后上传
五、使用示例
采集声音并保存为wav文件,其中的WavWriter对象参考《C# 将音频PCM数据封装成wav文件》
方式一
获取可用设备并采集
// See https://aka.ms/new-console-template for more information
using AC;
try
{//获取可用的音频设备var device = WaveInCollector.AvailableDevices.First();//创建wav文件using (var ww = WavWriter.Create("test.wav", device.SupportedFormats!.First().Channels, device.SupportedFormats!.First().SampleRate, device.SupportedFormats!.First().BitsPerSample)){//初始化录制对象await using (var wic = new WaveInCollector(device.Id, device.SupportedFormats!.First())){//由于api限制设备名称不一定全。长度最大32。Console.WriteLine("设备名称:" + wic.Device.Name);Console.WriteLine("声音格式:Chanels=" + wic.Format.Channels +" SampleRate=" + wic.Format.SampleRate +" BitsPerSample=" + wic.Format.BitsPerSample);Console.WriteLine("开始录制");//注册录制事件wic.DataArrived += (s, e) =>{Console.WriteLine("接收数据长度" + e.Stream.Length);//写入文件ww.Write(e.Stream);};//开始录制await wic.Start();//录制10s结束await Task.Delay(10000);Console.WriteLine("开始完成");}}
}
catch (Exception e)
{Console.WriteLine(e.Message);
}
方式二
指定设备下标和声音格式
// See https://aka.ms/new-console-template for more information
using AC;
try
{//创建wav文件using (var ww = WavWriter.Create("test.wav", 2, 44100, 16)){//初始化录制对象await using (var wic = new WaveInCollector(0, new SampleFormat() { Channels = 2, SampleRate = 44100, BitsPerSample = 16 })){//由于api限制设备名称不一定全。长度最大32。Console.WriteLine("设备名称:" + wic.Device.Name);Console.WriteLine("声音格式:Chanels=" + wic.Format.Channels +" SampleRate=" + wic.Format.SampleRate +" BitsPerSample=" + wic.Format.BitsPerSample);Console.WriteLine("开始录制");//注册录制事件wic.DataArrived += (s, e) =>{Console.WriteLine("接收数据长度" + e.Stream.Length);//写入文件ww.Write(e.Stream);};//开始录制await wic.Start();//录制10s结束await Task.Delay(10000);Console.WriteLine("开始完成");}}
}
catch (Exception e)
{Console.WriteLine(e.Message);
}
效果预览
总结
以上就是今天要讲的内容,实现waveIn声音采集虽然核心部分和C++一样,但是对于接口的设计以及调用流程都有很大的不同,尤其是C#的异步可以简化调用,使得接口变得很简洁,而且通过disposable又可以和using配合省去Stop的调用。但唯一比较麻烦的地方就是内存的互操作,尤其是音频数据缓存的读取和写入,在非unsafe的环境下会多一次拷贝。总的来说,这个功能在C#中实现还是有用的,调用简单而且没有额外依赖。
99%的人还看了
相似问题
猜你感兴趣
版权申明
本文"C# 使用waveIn实现声音采集":http://eshow365.cn/6-23384-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!
- 上一篇: 【C语言】用函数实现模块化程序设计
- 下一篇: Netty进阶-协议