在2024年Google I/O开发者大会上，Google宣布正致力于通过将其最小的Gemini模型——Gemini Nano引入Chrome浏览器，以实现设备端的大型语言模型支持。
Chrome将内置大语言模型：谷歌推出Gemini Nano实现本地AI处理
生成式AI需要使用比一般网页大约一千倍的巨大模型，这些模型的大小从数十到数百兆字节不等，这使得在本地设备上部署和运行AI模型变得相当困难。然而，这样做的好处很多，包括：
更好的隐私保护：敏感数据无需离开用户设备。降低延迟：提升用户体验。离线访问AI功能：当远程模型不可用时，提供优雅的回退方案。混合计算方法：可在本地设备上运行部分AI任务，作为预览或减少频繁用户操作的远程推断成本。为了解决模型大小和传输问题，Chrome工程师们正在开发Web平台API和浏览器功能，以直接将AI模型（包括大型语言模型）集成到浏览器中。这包括设计用于在大多数现代台式机和笔记本电脑上本地运行的Gemini Nano，这是Gemini系列LLM中效率最高的版本。
设备端AI的优势这种方法还具有额外的优势，例如，由于浏览器可以分发适合当前设备的模型并自动更新，因此部署更加方便。此外，浏览器可以根据可用硬件使用GPU、NPU或回退到CPU。
为了实现这一切，Chrome开发者创建了一个特定的基础设施来访问设备端的基础模型和专家模型。目前，这个基础设施正用于支持“帮我写”实验功能，该功能旨在使用Gemini模型帮助用户开始写作或改进现有文本。
用户将主要通过任务API访问内置的AI功能，例如翻译API或摘要API。任务API设计用于根据任务选择最佳模型进行推断。
Gemini Nano 的应用据Chrome开发者介绍，Gemini Nano 最适用于与语言相关的用例，例如摘要、重述或分类，但这些API也支持微调模型。微调是一种无需为特定任务使用全新模型的技术，可以通过调整模型权重来提高其性能。Chrome的API将支持低秩适配（LoRA）技术来调整模型权重以提升其表现。另一个可能引入Chrome的API是Prompt API，它允许将以自然语言表达的任意任务发送给Gemini Nano。
早期预览计划想要尝试Chrome新功能的开发者需要加入早期预览计划，以便进行实验和测试。
通过将Gemini Nano引入Chrome，Google正推动设备端生成式AI的实现，为用户带来更隐私、更快速、更灵活的AI体验。这一创新不仅提升了浏览器的智能化水平，还为未来的AI应用铺平了道路。
