内置AI是什么
内置AI是一种前沿技术，旨在将强大的AI模型直接集成到浏览器中，使得网络应用能够在本地执行AI驱动的任务。这种方法通过在客户端处理数据来增强隐私性，并通过减少延迟来提高性能。内置AI对于实现大型语言模型（LLM）如Gemini Nano特别有利，这些模型可以在现代台式机和笔记本电脑上高效运行。
内置AI的优势
对于网络开发者
- 部署简便：浏览器分发和更新AI模型，减少了开发者管理大型模型下载和更新的负担。
- 硬件加速：针对各种硬件进行优化，包括GPU和NPU，确保在设备间实现最佳性能。
对于用户
- 隐私：本地处理敏感数据通过端到端加密增强隐私。
- 用户体验：消除服务器往返可以提供近乎即时的结果，提高用户满意度。
- 离线访问：用户可以在没有互联网连接的情况下访问AI功能，确保在离线或连接不稳定的情况下的功能性。
如何使用内置AI
客户端和服务器端集成
- 混合方法：利用客户端AI处理简单任务，服务器端AI处理复杂用例。这种方法确保在客户端能力有限时的弹性和优雅的回退。
浏览器架构和API
- 任务API：通过如Translator和Summarizer等API访问内置AI功能，设计用于高效的设备上执行。
- 探索性API：通过Prompt API等API进行实验，探索更多用例，并通过LoRA等技术提高模型性能。
何时使用内置AI
内置AI非常适合增强网络上的内容消费和创作。它可以用于摘要、翻译、写作辅助等，直接在浏览器中提供无缝的AI驱动体验。