依托扣子智能语音对话技术及强大智能体搭建能力，乐鑫信息科技与扣子联合打造智能 AI 开发套件 EchoEar 喵伴，实现全双工语音交互、多模态识别与智能体控制，有效解决硬件厂商研发成本高、语音延迟高、C 端用户需求复杂、市场变化快等挑战，为开发者打造完整端侧 AI 应用体验，提升智能硬件开发效率与竞争力，助力乐鑫的开发者及客户快速实现智能化转型，显著提升产品竞争力。
客户介绍
乐鑫科技(688018.SH)是一家全球领先的物联网技术生态型企业，致力于打造高性能、低功耗的 AloT SoC，拥有遍布全球的研发网络和强大的自研能力，涵盖Wi-Fi/Bluetooth LE 协议栈、RISC-V CPU、AI算法、操作系统等核心技术。
乐鑫的明星产品 ESP32 系列芯片广受全球用户信赖，赋能亿万智能设备，广泛应用于无线连接、语音交互、人脸识别等 AloT 场景。
扣子与乐鑫联合打造语音和硬件场景的端到端解决方案，并沉淀为乐鑫智能 AI 开发套件 EchoEar 喵伴。EchoEar 喵伴依托扣子的智能语音对话技术及强大的智能体搭建能力，实现了全双工语音交互、多模态识别与智能体控制，为开发者打造完整的端侧 AI 应用体验，提升智能硬件开发的效率与竞争力。
业务挑战
在智能硬件市场快速发展的当下，硬件厂商面临着诸多挑战：
研发成本高：开发智能硬件产品需要投入研发资源，要掌握复杂的 AI 技术和大模型框架，例如封装 ASR 和 TTS、对接大模型、音色合成能力，技术门槛和研发成本较高。
语音延迟高：语音链路的延迟高、链路优化技术难度大。硬件设备对语音响应速度和效果的要求非常高，许多硬件厂商难以解决接入大模型后的语音延迟优化工作。
C 端用户需求复杂：当前 C 端用户对语音能力要求较高，例如多语种支持、多轮对话、实时打断、声音复刻、语音合成等。
市场变化快：市场趋势变化快，未来需要基于智能体满足更复杂、更个性化的场景，需要从语音链路逐渐发展为多模态，需要支持视频能力。快速的市场变化需要更强扩展能力的方案，以满足未来发展趋势。
解决方案
基于扣子开发平台丰富的 AI 应用搭建能力、海量插件与模板，乐鑫科技快速搭建了适用于语音交互、教育辅助、情感陪伴等场景的智能硬件方案。
智能音视频对话：
扣子提供一站式的音视频对话方案，融合音视频与自然语言处理能力，硬件侧只需对接一个接口，无需单独对接 ASR、TTS 等，接入成本大大降低。
方案使用豆包 App 同款大模型，可按需接入最新的豆包模型，原厂一站式封装。默认支持多模态，对接视觉理解模型即可实现视频通话，开发者可按需接入。
通过扣子音色等丰富功能，实现多音色、多语种、多轮对话、长短期记忆、声音复刻等能力。
智能硬件控制：
借助扣子的端插件能力，智能体能够灵活控制家居生态，实现远程控制、任务下发及状态反馈等多样化功能。使硬件与智能体之间的连接形成标准化，开发者无需关注硬件编码。满足用户对智能生活场景的多元化需求，拓展产品应用边界，为客户创造更多的商业价值。
落地场景
基于这个智能硬件方案，乐鑫科技与扣子联合打造智能 AI 开发套件——EchoEar 喵伴，深度融合火山引擎扣子平台的智能语音对话服务和乐鑫全新音视频框架 ESP-GMF，能够实现全双工语音交互、多模态识别与智能体控制，支持离线语音唤醒与声源定位，为开发者提供了完整的端侧 AI 应用体验，构建更具沉浸感的人机交互体验。
EchoEar 喵伴 AI 开发套件的主要功能如下：
智能对讲与情绪识别
基于扣子工作流搭建了意图识别和大模型节点，结合语气、词义与上下文语境进行综合判断，实现主动识别用户的意图与情绪变化，并通过拟人化的动态表情与语音反馈进行响应，进一步增强设备的情感表达能力与人格化特征。
长期记忆
通过扣子工作流长期记忆节点，实现了对用户多轮对话内容的持续记录，喵伴设备能够记住用户的姓名、偏好、常用语句等核心信息，并在后续交互中予以调用，实现更贴近用户使用习惯的个性化体验，提升设备作为“情感陪伴体”的交互价值。
Function Calling
喵伴设备支持 Function Calling 能力，通过扣子提供的端插件功能对接本地智能设备，实现远程控制、任务下发及状态反馈等功能，作为智能家居系统中的本地控制中枢，为用户提供稳定高效的边缘控制能力和开放的拓展接口。
方案优势
扣子与乐鑫生态的深度融合，实现了快速开发与协同增效。扣子通过其便捷的开发流程、丰富的插件和智能体模板，为硬件厂商提供了强大的支持，助力乐鑫的开发者及客户快速实现智能化转型，显著提升产品竞争力，达成 1 + 1 > 2 的卓越效果。
高开发效率
在扣子平台一站式集成大语言模型、智能语音、多模态，无需自行封装与调试。开发者无需深入钻研复杂的大模型框架，即可快速构建出“能听会想、响应迅速”的智能设备，提升开发效率。扣子平台丰富的插件和智能体模板，与乐鑫技术深度融合，简化了智能硬件产品的开发流程，降低了开发门槛，极大提高了开发效率，使开发周期缩短 40% 以上。借助扣子端插件，开发者无需关注硬件编码，基于智能体编排即可实现硬件控制。
高性价比
使用一个开发框架即可无缝切换视觉、语音效果，显著降低了硬件成本和开发成本。同品类产品降本 20% 以上，提升了产品的市场竞争力。
便捷的开发流程
扣子与乐鑫生态无缝对接，从硬件设计到软件功能实现，从智能体搭建到产品上线，整个开发流程更加顺畅高效，助力硬件厂商快速响应市场变化，提升产品竞争力。
未来展望
扣子与乐鑫将持续深度合作，推动智能体平台与芯片生态的进一步融合，让智能真正从“云端”走向“万物”。
欢迎更多开发者和企业与我们一起探索，一起创造新品类、新模式。