Chrome已内置Gemini Nano AI，如何启用

URL

type

status

date

slug

summary

category

icon

password

Google的Gemini Nano语言模型足够小（见https://www.androidauthority.com/gemini-ai-google-pixel-3392146/），可以完全在Pixel 8上运行，但目前还没有看到很多它的使用案例，该模型仅用于Gboard的智能回复或Recorder应用中的AI生成摘要等功能。

Google似乎在桌面端有更宏大的目标，目前已经开始在Chrome中测试Gemini Nano的集成。这意味着你可以在浏览器中完全离线地与一个现代大型语言模型对话！

Gemini Nano for Chrome是在上个月刚刚宣布的，Google承诺很快会向开发者开放测试权限。几周前，在Chrome Canary的127版本中发现了这个功能，热心的开发者们已经创建了展示本地模型能力的网页应用。其中一个演示由Twitter/X用户Morten Just提供，他展示了Gemini Nano的快速响应能力。

视频显示Gemini Nano实时响应，延迟时间在几百毫秒之内。然而，开发者承认该演示是在Apple Silicon M3 Max-powered Mac上运行的，其性能比普通桌面要强得多。不过，即使是较慢的硬件也应该能够处理Gemini Nano，因为其响应速度比普通人类的响应时间还要快。

例如，我在配备AMD Ryzen 5600X CPU和Nvidia RTX 3060 Ti GPU的台式机上安装了Chrome Canary。这些是中端PC规格，但足以运行像Meta的Llama 3（见https://www.androidauthority.com/llama-3-vs-chatgpt-3448849/）这样的更大模型。

如何在Chrome中启用Gemini Nano

在Chrome Canary中启用几个功能标志后，我可以看到持续的互联网流量，表明浏览器已经开始下载模型。

Google目前没有提供与Gemini Nano聊天的界面，但Twitter用户Lightning Joyce开发了一个开源网页应用（见https://github.com/lightning-joyce/chromeai），你可以暂时使用它。表面上看，它就像其他聊天机器人一样，只是简化到了基本功能。只需加载页面，断开计算机的网络连接，然后你就可以测试Gemini Nano的离线性能。

在准备工作完成后，模型在我的系统上的表现如何？令人震惊的好，几乎与上面的视频演示相当。

虽然速度本身并不惊人，因为我的硬件可以每秒输出50个标记（大约相当于每秒50个单词），处理Llama 3的响应。但关键是，Gemini Nano可以作为一个临时聊天机器人使用，并且由于其较小的体积，可以在更广泛的硬件上运行。

然而，我注意到，每当我输入诸如“写一篇文章…”或“Android的历史”这样的开放性提示时，Gemini Nano都会无法响应。

每当这种情况发生时，我的计算机GPU使用率会飙升——几秒钟内达到90%的负载，然后恢复正常。这可能是网页应用中的一个错误，但请记住，Chrome中的Gemini Nano毕竟是一个实验性功能。该模型可以很好地处理单段回复。

好消息是，Gemini Nano只会占用你GPU的2GB内存（如果你的计算机没有独立显卡，则占用RAM）。即使有上述问题，Gemini Nano依然快速且可用。更不用说，它完全在Chrome中运行，可能比我们见过的任何其他离线语言模型都更易访问。

如果你想在自己的机器上使用Gemini Nano，请按照以下步骤操作：

安装Chrome Canary版本128或更高版本。

进入 chrome://flags。

启用 prompt-api-for-gemini-nano 和 optimization-guide-on-device-model flags。

进入 chrome://components，查找“Optimization Guide On Device Model”。

等待模型下载完成——这可能需要一段时间，具体取决于你的网络速度。Gemini Nano大约有2GB大小。

进入一个网页应用，如 chromeai.pages.dev，断开你的网络连接，然后发送你的第一条消息。你应该会看到几乎即时的响应。