近期DeepSeek现象级爆火不仅掀起了AI产业的新浪潮,也让低成本硬件+开源模型所实现的个人端侧AI应用成为了新的热点。
在购物平台上,能看到有商家提供一整套低成本端侧AI应用开发板,部分方案甚至在百元以内。在这些端侧AI应用的硬件方案中,可以看到有不少基于乐鑫ESP32系列芯片开发。
基于乐鑫ESP32系列芯片开发的套件,可以自己打造一个智能机器人,能够实现AI语音对话、人脸检测等功能,商家还会提供代码资料和技术支持等,大大降低了门槛。
个人端侧AI应用有什么硬件要求,为何乐鑫ESP32系列芯片能够成功被AI带火?在商家商品介绍页面可以看到,基于乐鑫ESP32系列芯片的硬件方案,有不少采用的是ESP32-S3芯片,比较有代表性。这里我们从芯片特点、软件生态、社区文化等几个维度进行探索。

ESP32-S3芯片专门为AIoT 应用而设计,支持2.4 GHz Wi-Fi 和 Bluetooth 5 (LE),具有强大的AI运算能力和安全加密机制,稳定可靠。
ESP32-S3搭载Xtensa 32 位 LX7 双核处理器,主频高达 240 MHz,内置 512 KB SRAM (TCM),拥有45 个可编程 GPIO 管脚和丰富的通信接口。这颗芯片还支持更大容量的高速 Octal SPI flash 和片外 RAM,支持用户配置数据缓存与指令缓存。ESP32-S3增加了用于加速神经网络计算和信号处理等工作的向量指令,可以对图像识别、语音唤醒和语音识别等算法进行硬件加速。
在软件生态环境方面,乐鑫可谓是提供了较为丰富的全栈式软件环境,不仅各类技术解决方案一应俱全,而且软硬件文档还开源。软件开发基础框架 ESP-IDF,为芯片提供稳定、高速的网络连接,其多平台支持编译环境,完整的文档教程大大降低了用户的开发难度。
音频应用开发框架ESP-ADF、通用多媒体框架ESP-GMF 是专为音视频产品设计的应用开发框架,不仅提供完整的音视频编解码算法、音视频效果处理算法,而且提供音视频传输协议如 RTSP、WebRTC 等,还提供较为完整音视频解决方案,比如语音实时对讲,视频可视对讲,语音控制,豆包大模型、文心一言大模型等。
在AI语音助手产品中,最有挑战性的是3A(回声消除、噪声抑制、自动增益控制)算法,而这在乐鑫的软件生态中也可以轻松获取。乐鑫 ESP-SR 提供了语音识别、回声消除、噪声抑制、自动增益控制、语音唤醒、人声检测、TTS等语音算法。同时,ESP-DSP 和 ESP-NN 算法库基于芯片向量指令提供 AI 算法常用算子,方便 AI 开发者们定制开发高效的各类AI应用。

图源:Espressif乐鑫官网
在Espressif乐鑫官网还展示了接入豆包大模型 LLM 方案,推荐的芯片包括上面提到的ESP32-S3以及ESP32-P4、ESP32-C5。Espressif乐鑫单芯片解决方案集成了本地离线语音唤醒功能与前端 3A 算法,有效提升语音交互的质量与效率,这正是个人AI应用的一大重点。
除了上面提到的豆包大模型,基于Espressif乐鑫芯片打造的个人端侧AI应用方案还有很多。从不同渠道了解到,现已支持 OpenAI, 文心一言,DeepSeek、通义千问等热门的AI大模型。
另外,我们在GitHub 搜索ESP32关键词,发现有86.7k 个仓库,如此枝繁叶茂的软件生态环境,开发难度会大大降低,ESP32 备受开发者推崇也就水到渠成。
应用场景广阔Espressif乐鑫ESP32-S3芯片针对AI应用进行了特别设计和优化,具有很高的灵活性,也带来了更多可能。

图源:Espressif乐鑫官网
基于Espressif乐鑫ESP32-S3芯片,可以开发出智能家居控制中枢,实现便捷的语音交互控制。基于语音问答功能,结合云端大模型,可以实现具备自然对话能力的应用,回答各种问题等。基于Espressif乐鑫ESP32-S3芯片,也可以为一些小型可穿戴设备带来AI对话等功能,应用前景广阔。
关于Espressif乐鑫Espressif乐鑫信息科技是一家总部位于上海的全球化无晶圆厂半导体公司,成立于2008年,产品以“处理+连接”为方向,目前已发展成为一家物联网技术生态型公司。公司拥有一系列核心自研技术,包括 Wi-Fi & Bluetooth LE & IEEE 802.15.4 协议栈、射频技术、RISC-V MCU 架构、AI 算法、操作系统、工具链、AIoT 软件开发框架、云服务等,实现软硬件研发闭环,致力于为用户提供创新且便捷易用的产品。在2023年,乐鑫 IoT 芯片全球出货量累计突破 10 亿颗。

Espressif乐鑫的ESP32系列产品,凭借着高集成度、高性价比、卓越的性能和低功耗特性,已成为众多开发者的选择,被广泛应用于各类物联网项目的开发中。

Espressif乐鑫信息科技也在不断拓宽科技行业的多元化边界。其推出的全新ESP32-P4产品,是进军多媒体市场的首款非WiFi或蓝牙SoC,能够支持多种复杂的 AI 应用,为用户提供更智能、更高效的技术体验。乐鑫还展示了新一代 AIoT 应用开发套件 ESP32-S3-BOX-3 与 ChatGPT 结合实现的边缘 AI 功能,重视人工智能领域的发展。
我爱音频网总结Espressif乐鑫信息科技ESP32系列芯片凭借易用性、低功耗及无线通信集成优势,构建了面向AIoT场景的硬件基座。其中,ESP32-S3通过矢量指令集扩展与内存架构优化,为端侧AI计算提供专项性能支撑;同步构建的全栈式软件生态覆盖从音视频编解码、语音识别、无线连接到协议适配的核心功能模块,满足端侧智能设备的基础开发需求。基于此开发者便可很容易的打造出具备自然对话能力的语音助手,大幅降低了门槛,让智能硬件行业拥有更大的想象空间,对智能眼镜、智能手表等便携式设备的发展也有积极推动作用。