Andrew Ng推出AI语音代理生产课程

学习构建对话式AI语音代理。本课程与@livekit和@realavatarai合作，由@dsa（LiveKit联合创始人兼CEO）、@shayneparlo（LiveKit开发者倡导者）和@nedteneva（RealAvatar AI负责人，AI Fund投资组合公司）讲授。

语音代理结合语音和推理能力，实现实时对话。它们已被用于支持客户服务、改善医疗可及性、娱乐应用和谈话治疗。

在本课程中，你将学习构建能听、推理并自然响应的语音代理。你将遵循创建“AI Andrew”Avatar的架构，这是DeepLearning.AI和RealAvatar的合作项目，能以听起来像我一样的声音回复用户。你将从头开始构建一个语音代理并部署到云端，支持多个并发用户。

你将学到：
- 理解语音代理的基础知识，包括语音转文字（STT）、文字转语音（TTS）和LLM等关键组件，以及每层引入的延迟。
- 探索语音代理架构以及模块化流水线和语音到语音API之间的权衡。
- 探索像LiveKit这样的平台如何通过优化的网络基础设施和低延迟通信协议缓解延迟问题。
- 学习如何使用WebRTC将客户端设备连接到语音代理——以及为什么它在低延迟音频流方面优于HTTP和WebSocket。
- 集成语音活动检测（VAD）、话轮结束检测和上下文管理，以检测话轮、处理中断并管理对话流程。
- 理解在构建语音代理并改变其声音的示例中，延迟、质量和成本之间的权衡。
- 为你的代理配备指标，以测量语音流水线每个阶段的延迟，并学习使代理更快、更响应的关键杠杆。

本课程中构建的语音代理还整合了@elevenlabs的语音技术，该项目支持贡献者。

到本课程结束时，你将学会AI语音代理流水线的组件，将它们组合成一个低延迟通信的系统，并将其部署在云基础设施上，使其能扩展到大量用户。

我期待看到你从本课程中构建的语音代理！

请在此注册：https://deeplearning.ai/short-courses/building-ai-voice-agents-for-production/…