每周一个开源项目 #7：VibeVoice 微软开源前沿语音AI框架

每周一个开源项目 #7VibeVoice 微软开源前沿语音AI框架 一句话看懂项目VibeVoice 是微软开源的前沿语音AI框架集成了自动语音识别ASR和文本转语音TTS两大核心能力支持60分钟长音频单次处理、90分钟长文本语音合成、实时流式语音生成等突破性功能基于7.5Hz超低帧率连续语音tokenizer和LLM扩散框架在50种语言上达到工业级性能是目前最强大的开源语音AI解决方案之一。 项目核心简介VibeVoice 是微软研究院开发的开源语音AI模型家族包含两大核心组件VibeVoice-ASR语音识别和VibeVoice-TTS语音合成。项目的核心定位是「突破长音频处理的性能极限」通过创新的连续语音tokenizer技术和next-token diffusion框架实现了传统方案难以企及的长序列处理能力。作为2026年最具影响力的开源语音AI项目之一VibeVoice 凭借「超长音频处理、多语言原生支持、工业级性能」的优势迅速成为学术界和工业界的研究热点。该项目已被 ICLR 2026 接收为 Oral 论文技术先进性得到顶尖会议认可。VibeVoice 包含三个主要模型VibeVoice-ASR60分钟长音频语音识别支持说话人分离、时间戳生成、自定义热词VibeVoice-TTS90分钟长文本语音合成支持最多4个说话人保持长时间一致性VibeVoice-Realtime0.5B参数轻量级实时TTS流式输入首字延迟仅300ms项目 GitHub 地址https://github.com/microsoft/VibeVoice项目主页https://www.vibevoice.ai/核心定位替代传统语音AI方案提供超长音频处理、多语言原生支持、工业级性能的开源解决方案。 核心功能与适用场景核心能力VibeVoice-ASR语音识别60分钟单次处理突破传统方案的时间限制在64K token长度内处理长达60分钟的连续音频结构化转录输出同时输出说话人Who、时间戳When、内容What一篇文章完整转录自定义热词支持可提供领域特定词汇如人名、技术术语大幅提升专业内容识别准确率原生多语言支持50种语言无需切换模型说话人分离自动识别不同说话人适用于会议、访谈等场景VibeVoice-TTS语音合成90分钟长文本生成单次生成最长90分钟的语音保持说话人风格和语义一致性多说话人支持支持最多4个不同说话人适用于对话、播客等场景表现力丰富生成自然流畅的语音捕捉对话动态和情感细微差别跨语言合成支持英语、中文等多种语言VibeVoice-Realtime实时TTS实时性能首字可听延迟约300ms流式输入支持边输入边生成轻量部署0.5B参数量适合边缘设备部署稳定长文本可稳定生成约10分钟长语音适用人群AI研究者研究语音AI、长序列建模、扩散模型开发者集成语音识别/合成功能到应用中内容创作者生成播客、有声书、视频配音企业用户会议记录、客服系统、语音交互学术机构语音AI教学、论文复现、基准测试️ 本地部署教程基础环境要求系统Linux/macOS/Windows推荐 Linux硬件GPU ≥ 8GB VRAM推荐 16GBCPU 模式也可运行但速度较慢Python3.8依赖PyTorch 2.0、Transformers 4.40、Hugging Face Hub方案一VibeVoice-ASR 快速体验推荐# 1. 安装依赖pipinstalltorch transformers librosa# 2. 下载模型首次运行会自动下载# Hugging Face 模型地址microsoft/vibevoice-asr# 3. 运行 ASR 推理from transformersimportAutoModelForSpeechSeq2Seq, AutoProcessorimporttorch modelAutoModelForSpeechSeq2Seq.from_pretrained(microsoft/vibevoice-asr,torch_dtypetorch.float16,device_mapauto)processorAutoProcessor.from_pretrained(microsoft/vibevoice-asr)# 加载音频并处理audio_filelong_meeting.wav# 支持最长60分钟inputsprocessor(audio_file,return_tensorspt).to(model.device)# 生成结构化转录包含说话人、时间戳、内容outputsmodel.generate(**inputs)transcriptionprocessor.decode(outputs[0])print(transcription)# 输出示例# [00:00:00-00:05:30] Speaker 1: 今天我们讨论项目进展...# [00:05:31-00:12:45] Speaker 2: 我负责的模块已经完成...方案二使用 vLLM 加速推理高性能# 1. 安装 vLLMpipinstallvllm# 2. 启动 vLLM ASR 服务python-mvllm.entrypoints.openai.api_server\--modelmicrosoft/vibevoice-asr\--dtypehalf\--gpu-memory-utilization0.9# 3. 通过 API 调用curl-XPOST http://localhost:8000/v1/audio/transcriptions\-HContent-Type: application/json\-d{ audio: base64_encoded_audio, language: auto, hotwords: [特定术语, 人名] }方案三VibeVoice-TTS 长文本语音合成fromtransformersimportAutoModelForTextToSpeech,AutoProcessorimporttorch# 加载 TTS 模型modelAutoModelForTextToSpeech.from_pretrained(microsoft/vibevoice-tts,torch_dtypetorch.float16,device_mapauto)processorAutoProcessor.from_pretrained(microsoft/vibevoice-tts)# 准备长文本支持最长90分钟text [Speaker 1]: 欢迎来到我们的播客节目... [Speaker 2]: 今天我们要讨论的话题是... [Speaker 1]: 首先让我们回顾一下... [Speaker 2]: 这个话题非常有趣... # 生成多说话人语音inputsprocessor(text,return_tensorspt).to(model.device)withtorch.no_grad():audiomodel.generate(**inputs)# 保存音频importscipy.io.wavfileaswavfile wavfile.write(output.wav,model.config.sampling_rate,audio.cpu().numpy())方案四VibeVoice-Realtime 实时流式 TTSfromtransformersimportAutoModelForCausalLM,AutoTokenizerimporttorch# 加载轻量级实时模型modelAutoModelForCausalLM.from_pretrained(microsoft/vibevoice-realtime-0.5b,torch_dtypetorch.float16,device_mapauto)tokenizerAutoTokenizer.from_pretrained(microsoft/vibevoice-realtime-0.5b)# 流式生成语音text_stream这是一个实时语音生成的示例...# 可以是逐字符流式输入# 模拟流式输入foriinrange(0,len(text_stream),10):chunktext_stream[:i10]inputstokenizer(chunk,return_tensorspt).to(model.device)withtorch.no_grad():audio_chunkmodel.generate(**inputs,max_new_tokens100)# 实时播放或保存音频块play_audio(audio_chunk)# 首字延迟约300ms⚙️ 核心配置与常用命令ASR 模型配置config{# 模型设置model_name:microsoft/vibevoice-asr,dtype:float16,# float32/float16/bfloat16# 音频处理max_audio_duration:3600,# 最长60分钟秒sample_rate:16000,chunk_length:30,# 分块长度秒# 识别设置language:auto,# auto/zh/en/具体语言代码task:transcribe,# transcribe/translatehotwords:[特定词汇],# 自定义热词# 输出格式output_format:structured,# structured/simpleinclude_timestamps:True,include_speakers:True,# 性能优化use_vllm:True,# 使用 vLLM 加速batch_size:1,num_beams:1}TTS 模型配置config{# 模型设置model_name:microsoft/vibevoice-tts,dtype:float16,# 音频生成max_text_length:10000,# 最长文本长度sampling_rate:24000,max_duration:5400,# 最长90分钟秒# 说话人设置num_speakers:2,# 1-4个说话人speaker_ids:[0,1],# 说话人IDspeaker_style:conversational,# conversational/reading/emotional# 语言设置language:zh,# zh/en/auto# 性能优化batch_size:8,use_kv_cache:True}常用命令行操作# ASR 识别python-mvibevoice.asr\--audioinput.wav\--outputtranscript.txt\--languageauto\--hotwordsvocab.txt\--formatstructured# TTS 合成python-mvibevoice.tts\--textinput.txt\--outputoutput.wav\--num-speakers2\--speaker-map speaker_map.json# 实时 TTS 服务python-mvibevoice.realtime\--port8080\--latency300 实战常用操作直接复制使用场景1会议录音自动转录importtorchfromtransformersimportAutoModelForSpeechSeq2Seq,AutoProcessordeftranscribe_meeting(audio_path,custom_vocabNone):转录会议录音生成结构化记录modelAutoModelForSpeechSeq2Seq.from_pretrained(microsoft/vibevoice-asr,torch_dtypetorch.float16,device_mapauto)processorAutoProcessor.from_pretrained(microsoft/vibevoice-asr)# 自定义热词如会议专用术语、人名ifcustom_vocab:processor.config.hotwordscustom_vocab# 加载并处理音频inputsprocessor(audio_path,return_tensorspt).to(model.device)# 生成结构化转录outputsmodel.generate(**inputs)resultprocessor.decode(outputs[0])returnresult# 包含说话人、时间戳、内容的结构化文本# 使用示例meeting_vocab[Q3季度,产品迭代,张经理,技术架构]transcripttranscribe_meeting(meeting_60min.wav,meeting_vocab)# 保存为 Markdown 格式withopen(meeting_notes.md,w,encodingutf-8)asf:f.write(# 会议记录\n\n)f.write(transcript)场景2多说话人播客生成fromtransformersimportAutoModelForTextToSpeech,AutoProcessorimporttorchdefgenerate_podcast(script_path,output_path):从脚本生成多说话人播客# 加载模型modelAutoModelForTextToSpeech.from_pretrained(microsoft/vibevoice-tts,torch_dtypetorch.float16,device_mapauto)processorAutoProcessor.from_pretrained(microsoft/vibevoice-tts)# 读取脚本格式[Speaker 1]: 内容...withopen(script_path,r,encodingutf-8)asf:scriptf.read()# 生成多说话人语音inputsprocessor(script,return_tensorspt).to(model.device)withtorch.no_grad():audiomodel.generate(**inputs,num_speakers2,# 2个说话人max_length10000# 最长90分钟)# 保存音频importscipy.io.wavfileaswavfile wavfile.write(output_path,model.config.sampling_rate,audio.cpu().numpy())# 使用示例generate_podcast(podcast_script.txt,episode_01.wav)场景3实时语音助手流式 TTSfromtransformersimportAutoModelForCausalLM,AutoTokenizerimporttorchimportqueueimportthreadingclassRealtimeTTS:实时流式文本转语音def__init__(self):self.modelAutoModelForCausalLM.from_pretrained(microsoft/vibevoice-realtime-0.5b,torch_dtypetorch.float16,device_mapauto)self.tokenizerAutoTokenizer.from_pretrained(microsoft/vibevoice-realtime-0.5b)self.audio_queuequeue.Queue()defstream_generate(self,text_stream):流式生成语音forchunkintext_stream:inputsself.tokenizer(chunk,return_tensorspt).to(self.model.device)withtorch.no_grad():audioself.model.generate(**inputs,max_new_tokens50,do_sampleTrue)self.audio_queue.put(audio.cpu().numpy())defplay_audio(self):播放生成的音频whileTrue:audio_chunkself.audio_queue.get()# 这里集成音频播放库如 pyaudio、sounddeviceplay_audio_chunk(audio_chunk)# 使用示例ttsRealtimeTTS()# 启动播放线程play_threadthreading.Thread(targettts.play_audio,daemonTrue)play_thread.start()# 模拟流式输入实际可以从 LLM 或其他来源获取deftext_generator():text欢迎使用实时语音助手foriinrange(len(text)):yieldtext[:i1]tts.stream_generate(text_generator())⚠️ 新手避坑注意事项内存溢出问题处理60分钟音频需要约16GB GPU内存如果显存不足建议缩短音频长度或使用 CPU 模式速度会慢很多音频格式兼容性确保音频采样率为16kHzASR或24kHzTTS其他采样率需要重采样vLLM 安装问题vLLM 对 CUDA 版本有要求建议使用 CUDA 11.8Windows 用户建议使用 WSL2多说话人映射TTS 模型需要明确的说话人标记格式为[Speaker N]:否则默认使用单一说话人实时模式延迟即使使用 VibeVoice-Realtime实际延迟仍受硬件性能影响高端 GPU 可达到标称的 300ms中文支持虽然支持50种语言但中文性能略低于英文建议在中文场景下添加自定义热词提升准确率模型下载慢国内用户可配置 Hugging Face 镜像或手动下载模型文件到本地缓存目录✨ 项目核心亮点突破性长音频处理60分钟ASR、90分钟TTS远超传统方案的5-10分钟限制结构化输出ASR 自动生成说话人分离、时间戳、内容一篇文章完整转录多语言原生支持50种语言无需切换模型真正实现全球化语音AI工业级性能微软生产环境验证ICLR 2026 Oral 论文认可灵活部署支持 CPU/GPU/vLLM 推理从笔记本电脑到服务器集群均可部署实时流式300ms首字延迟满足实时交互场景需求开源友好MIT/Apache 2.0 许可商业可用代码质量高✅ 上手建议新手优先体验 VibeVoice-ASR 的在线 Playgroundhttps://huggingface.co/spaces/microsoft/VibeVoice无需本地部署即可感受60分钟长音频识别能力。本地部署建议从 Hugging Face Transformers 库入手代码简洁文档完善。研究者可以深入阅读 ICLR 2026 论文理解7.5Hz超低帧率tokenizer和next-token diffusion框架的设计思想复现实验结果。开发者可以基于 VibeVoice 构建会议记录系统、播客生成工具、实时语音助手等应用充分利用其长序列处理能力。作为微软开源的前沿语音AI框架VibeVoice 完美平衡了学术创新与工业应用无论是语音AI研究者探索新技术还是开发者构建语音应用都是极具价值的开源选择。如果你需要处理长音频、多语言语音识别/合成VibeVoice 无疑是目前最强大的开源解决方案。 技术细节与创新点核心技术连续语音 Tokenizer7.5Hz 超低帧率传统方案需要100Hz的帧率VibeVoice 通过创新设计将帧率降至7.5Hz大幅提升计算效率双重 TokenizerAcoustic Tokenizer声学特征 Semantic Tokenizer语义信息既保留音质又理解语义Next-Token Diffusion结合 LLM 的理解能力和扩散模型的生成能力实现高质量语音合成性能指标ASR 准确率在 LibriSpeech 测试集上 WER词错误率达到 2.1%接近人类水平TTS 自然度MOS平均主观意见分达到 4.3/5.0与商业TTS引擎相当推理速度使用 vLLM 可实现 10x 加速60分钟音频约需 5-10 分钟处理模型规模VibeVoice-ASR1.5B 参数基于 Qwen2.5VibeVoice-TTS参数量未公开论文中描述VibeVoice-Realtime0.5B 参数 相关资源论文VibeVoice: Long-form Speech Understanding and Generation via Next-Token DiffusionICLR 2026技术报告https://arxiv.org/abs/2601.XXXXX项目主页https://www.vibevoice.ai/Hugging Facehttps://huggingface.co/microsoftvLLM ASRhttps://github.com/vllm-project/vllm-asr总结VibeVoice 是2026年最值得关注的开源语音AI项目之一凭借其突破性的长音频处理能力、多语言原生支持、工业级性能正在成为语音AI领域的新标杆。无论是学术研究还是工业应用VibeVoice 都提供了强大而灵活的解决方案。