.Net 使用OpenAI开源语音识别模型Whisper

.Net 使用OpenAI开源语音识别模型 Whisper
前言

Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的 Whisper 神经网络，且它亦支持其它98种语言的自动语音辨识。 Whisper系统所提供的自动语音辨识（Automatic Speech Recognition，ASR）模型是被训练来运行语音辨识与翻译任务的，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。
whisper的核心功能语音识别，对于大部分人来说，可以帮助我们更快捷的将会议、讲座、课堂录音整理成文字稿；对于影视爱好者，可以将无字幕的资源自动生成字幕，不用再苦苦等待各大字幕组的字幕资源；对于外语口语学习者，使用whisper翻译你的发音练习录音，可以很好的检验你的口语发音水平。 当然，各大云平台都提供语音识别服务，但是基本都是联网运行，个人隐私安全总是有隐患，而whisper完全不同，whisper完全在本地运行，无需联网，充分保障了个人隐私，且whisper识别准确率相当高。
Whisper是C++写的，sandrohanea 对其进行了.Net封装。
本文旨在梳理我在.net web 项目中使用开源语音识别模型Whisper的过程，方便下次翻阅，如对您有所帮助不胜荣幸~
.Net Web 项目版本为：.Net 6.0

  
安装Whisper.net包

首先我们在Core项目中安装Whisper.net包。在NuGet包管理器中搜索并安装【Whisper.net】包，如下图所示:
注意，我们要找的是【Whisper.net】，不是【Whisper.net.Runtime】、【WhisperNet】、【Whisper.Runtime】。

下载模型文件

前往Hugging Face下载Whisper的模型文件，一共有 ggml-tiny.bin、ggml-base.bin、ggml-small.bin、ggml-medium.bin、ggml-large.bin 5个模型，文件大小依次变大，识别率也依次变大。此外，【xxx.en.bin】是英文模型，【xxx.bin】支持各国语言。
我们将模型文件放到项目中即可，我这里是放到Web项目的wwwroot下：

新建Whisper帮助类

WhisperHelper.cs

1. using Whisper.net;
2. using System.IO;
3. using System.Collections.Generic;
4. using Market.Core.Enum;
6. namespace Market.Core.Util
7. {
8.     public class WhisperHelper
9.     {
10.         public static List<SegmentData> Segments { get; set; }
11.         public static WhisperProcessor Processor { get; set; }
13.         public WhisperHelper(ASRModelType modelType)
14.         {
15.             if(Segments == null || Processor == null)
16.             {
17.                 Segments = new List<SegmentData>();
19.                 var binName = "ggml-large.bin";
20.                 switch (modelType)
21.                 {
22.                     case ASRModelType.WhisperTiny:
23.                         binName = "ggml-tiny.bin";
24.                         break;
25.                     case ASRModelType.WhisperBase:
26.                         binName = "ggml-base.bin";
27.                         break;
28.                     case ASRModelType.WhisperSmall:
29.                         binName = "ggml-small.bin";
30.                         break;
31.                     case ASRModelType.WhisperMedium:
32.                         binName = "ggml-medium.bin";
33.                         break;
34.                     case ASRModelType.WhisperLarge:
35.                         binName = "ggml-large.bin";
36.                         break;
37.                     default:
38.                         break;
39.                 }
40.                 var modelFilePath = $"wwwroot/WhisperModel/{binName}";
41.                 var factory = WhisperFactory.FromPath(modelFilePath);
42.                 var builder = factory.CreateBuilder()
43.                                      .WithLanguage("zh") //中文
44.                                      .WithSegmentEventHandler(Segments.Add);
45.                 var processor = builder.Build();
46.                 Processor = processor;
47.             }
48.         }
50.         /// <summary>
51.         /// 完整的语音识别 单例实现
52.         /// </summary>
53.         /// <returns></returns>
54.         public string FullDetection(Stream speechStream)
55.         {
56.             Segments.Clear();
57.             var txtResult = string.Empty;
59.             //开始识别
60.             Processor.Process(speechStream);
62.             //识别结果处理
63.             foreach (var segment in Segments)
64.             {
65.                 txtResult += segment.Text + "\n";
66.             }
67.             Segments.Clear();
68.             return txtResult;
69.         }
70.     }
71. }

复制代码

ModelType.cs

不同的模型名字不一样，需要用一个枚举类作区分：

1. using System.ComponentModel;
3. namespace Market.Core.Enum
4. {
5.     /// <summary>
6.     /// ASR模型类型
7.     /// </summary>
8.     [Description("ASR模型类型")]
9.     public enum ASRModelType
10.     {
11.         /// <summary>
12.         /// ASRT
13.         /// </summary>
14.         [Description("ASRT")]
15.         ASRT = 0,
17.         /// <summary>
18.         /// WhisperTiny
19.         /// </summary>
20.         [Description("WhisperTiny")]
21.         WhisperTiny = 100,
23.         /// <summary>
24.         /// WhisperBase
25.         /// </summary>
26.         [Description("WhisperBase")]
27.         WhisperBase = 110,
29.         /// <summary>
30.         /// WhisperSmall
31.         /// </summary>
32.         [Description("WhisperSmall")]
33.         WhisperSmall = 120,
35.         /// <summary>
36.         /// WhisperMedium
37.         /// </summary>
38.         [Description("WhisperMedium")]
39.         WhisperMedium = 130,
41.         /// <summary>
42.         /// WhisperLarge
43.         /// </summary>
44.         [Description("WhisperLarge")]
45.         WhisperLarge = 140,
47.         /// <summary>
48.         /// PaddleSpeech
49.         /// </summary>
50.         [Description("PaddleSpeech")]
51.         PaddleSpeech = 200,
52.     }
53. }

复制代码

后端接受音频并识别

后端接口接受音频二进制字节码，并使用Whisper帮助类进行语音识别。

关键代码如下：

1. public class ASRModel
2. {
3.         public string samples { get; set; }
4. }
6. /// <summary>
7. /// 语音识别
8. /// </summary>
9. [HttpPost]
10. [Route("/auth/speechRecogize")]
11. public async Task<IActionResult> SpeechRecogizeAsync([FromBody] ASRModel model)
12. {
13.     ResultDto result = new ResultDto();
14.     byte[] wavData = Convert.FromBase64String(model.samples);
15.     model.samples = null;   //内存回收
16.     // 使用Whisper模型进行语音识别
17.     var speechStream = new MemoryStream(wavData);
18.     var whisperManager = new WhisperHelper(model.ModelType);
19.     var textResult = whisperManager.FullDetection(speechStream);
20.     speechStream.Dispose();//内存回收
21.     speechStream = null;
22.     wavData = null; //内存回收
23.     result.Data = textResult;
24.     return Json(result.OK());
25. }

复制代码

前端页面上传音频

前端主要做一个音频采集的工作，然后将音频文件转化成二进制编码传输到后端Api接口中
前端页面如下：

页面代码如下：

1. @{
2.     Layout = null;
3. }
4. @using Karambolo.AspNetCore.Bundling.ViewHelpers
5. @addTagHelper *, Karambolo.AspNetCore.Bundling
6. @addTagHelper *, Microsoft.AspNetCore.Mvc.TagHelpers
7. <!DOCTYPE html>
8. <html>
10. <head>
11.     <meta charset="utf-8" />
12.     <title>语音录制</title>
13.     <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
14.     <environment names="Development">
15.         <link href="~/content/plugins/element-ui/index.css" rel="stylesheet" />
16.         <script></script>
17.         <script></script>
18.         <script></script>
19.         <script></script>
20.         <script></script>
21.         <script></script>
22.         <script></script>
23.         <script></script>
24.         <script></script>
25.         <script></script>
26.         <script></script>
27.         <script></script>
28.         <script></script>
29.         <script></script>
30.         <script></script>
31.     </environment>
32.     <environment names="Stage,Production">
33.         @await Styles.RenderAsync("~/bundles/login.css")
34.         @await Scripts.RenderAsync("~/bundles/login.js")
35.     </environment>
36.    
37. </head>
39. <body>
40.    
41.         
42.             <center>{{isPC? '我是电脑版' : '我是手机版'}}</center>
43.             <center style="margin: 10px 0">
44.                 <el-radio-group v-model="modelType">
45.                     <el-radio :label="0">ASRT</el-radio>
46.                     <el-radio :label="100">WhisperTiny</el-radio>
47.                     <el-radio :label="110">WhisperBase</el-radio>
48.                     <el-radio :label="120">WhisperSmall</el-radio>
49.                     <el-radio :label="130">WhisperMedium</el-radio>
50.                     <el-radio :label="140">WhisperLarge</el-radio>
51.                     <el-radio :label="200">PaddleSpeech</el-radio>
52.                 </el-radio-group>
53.             </center>
54.             <el-button type="primary" size="small" onclick="window.location.href = '/'">返回</el-button>
55.         
56.         
57.             @*{{textarea}}*@
58.         
59.         
60.         <center style="height: 40px;"><h4 id="msgbox" v-if="messageSatuts">{{message}}</h4></center>
61.         <button class="press" v-on:touchstart="start" v-on:touchend="end" v-if="!isPC">
62.             按住 说话
63.         </button>
64.         <button class="press" v-on:mousedown="start" v-on:mouseup="end" v-else>
65.             按住 说话
66.         </button>
67.    
68. </body>
70. </html>
71. <script>
72.     var blob_wav_current;
73.     var rec;
74.     var recOpen = function (success) {
75.         rec = Recorder({
76.             type: "wav",
77.             sampleRate: 16000,
78.             bitRate: 16,
79.             onProcess: (buffers, powerLevel, bufferDuration, bufferSampleRate, newBufferIdx, asyncEnd) => {
81.             }
82.         });
83.         rec.open(() => {
84.             success && success();
85.         }, (msg, isUserNotAllow) => {
86.             app.textarea = (isUserNotAllow ? "UserNotAllow，" : "") + "无法录音:" + msg;
87.         });
88.     };
89.     var app = new Vue({
90.         el: '#app',
91.         data: {
92.             textarea: '',
93.             message: '',
94.             messageSatuts: false,
95.             modelType: 0,
96.         },
97.         computed: {
98.             isPC() {
99.                 var userAgentInfo = navigator.userAgent;
100.                 var Agents = ["Android", "iPhone", "SymbianOS", "Windows Phone", "iPod", "iPad"];
101.                 var flag = true;
102.                 for (var i = 0; i < Agents.length; i++) {
103.                     if (userAgentInfo.indexOf(Agents[i]) > 0) {
104.                         flag = false;
105.                         break;
106.                     }
107.                 }
108.                 return flag;
109.             }
110.         },
111.         methods: {
112.             start() {
113.                 app.message = "正在录音...";
114.                 app.messageSatuts = true;
115.                 recOpen(function() {
116.                     app.recStart();
117.                 });
118.             },
119.             end() {
120.                 if (rec) {
121.                     rec.stop(function (blob, duration) {
122.                         app.messageSatuts = false;
123.                         rec.close();
124.                         rec = null;
125.                         blob_wav_current = blob;
126.                         var audio = document.createElement("audio");
127.                         audio.controls = true;
128.                         var dom = document.getElementById("wav_pannel");
129.                         dom.appendChild(audio);
130.                         audio.src = (window.URL || webkitURL).createObjectURL(blob);
131.                         //audio.play();
132.                         app.messageSatuts = false;
133.                         app.upload();
134.                     }, function (msg) {
135.                         console.log("录音失败:" + msg);
136.                         rec.close();
137.                         rec = null;
138.                     });
139.                     app.message = "录音停止";
140.                 }
141.             },
142.             upload() {
143.                 app.message = "正在上传识别...";
144.                 app.messageSatuts = true;
145.                 var blob = blob_wav_current;
146.                 var reader = new FileReader();
147.                 reader.onloadend = function(){
148.                     var data = {
149.                         samples: (/.+;\s*base64\s*,\s*(.+)$/i.exec(reader.result) || [])[1],
150.                         sample_rate: 16000,
151.                         channels: 1,
152.                         byte_width: 2,
153.                         modelType: app.modelType
154.                     }
155.                     $.post('/auth/speechRecogize', data, function(res) {
156.                         if (res.data && res.data.statusCode == 200000) {
157.                             app.messageSatuts = false;
158.                             app.textarea = res.data.text == '' ? '暂未识别出来，请重新试试' : res.data.text;
159.                         } else {
160.                             app.textarea = "识别失败";
161.                         }
162.                         var dom = document.getElementById("wav_pannel");
163.                         var div = document.createElement("div");
164.                         div.innerHTML = app.textarea;
165.                         dom.appendChild(div);
166.                         $('#wav_pannel').animate({ scrollTop: $('#wav_pannel')[0].scrollHeight - $('#wav_pannel')[0].offsetHeight });
167.                     })
168.                 };
169.                 reader.readAsDataURL(blob);
170.             },
171.             recStart() {
172.                 rec.start();
173.             },
174.         }
175.     })
176. </script>

复制代码

引用

whisper官网
测试离线音频转文本模型Whisper.net的基本用法
whisper.cpp的github
whisper.net的github
whisper模型下载

来源：https://blog.csdn.net/guigenyi/article/details/130955947
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！