Google 的 Circle to Search 和 Gemini 覆盖层一直是让 Gemini 查看其他应用内容的两种显著方式。但它们的应用仍然受到限制,因为一旦我们切回其他应用,覆盖层就会立即关闭。另一种方法是通过 Gemini Live 共享你的屏幕,但其功能可能无法与常规界面相媲美。现在,Google 或许正在尝试部分解决这个问题,让 Gemini 能够解读另一款应用的内容,不过此功能可能仅限于特定设备。

Google 似乎正在测试一种新的方式,让 Gemini 在不启用覆盖层的情况下利用其他应用的上下文信息。通过这种方式,你应该可以在分屏模式中询问 Gemini 关于旁边打开的应用的内容。
我们发现,这项测试主要针对大屏设备,例如书本式折叠机和平板电脑,而不适用于传统直板手机,尽管 Android 16 最近改进了分屏体验。不过,由于 Gemini 已经在普通手机上支持分屏功能,我们可能会在之后看到这一新功能的扩展。
在 Google 应用的 16.46.61 版本中,我们发现正测试一个按钮,它允许你读取其他应用的内容(当然是在你同意的情况下,我们希望如此!)。通过一些内部调整,我们看到一个新的“共享屏幕和应用内容”按钮出现在 Gemini 的文本输入框上方。点击后,Gemini 就能查看你同时使用的另一款应用。


除了允许 Gemini 查看应用之外,我们还可以像平常一样通过文字输入来询问关于屏幕的具体问题。例如,我们打开了 Play 商店,并问它:“这是什么?” Gemini 随后根据屏幕上的信息进行了回答。
虽然该功能能够为我们总结 Play 商店中“你”页面的内容,但在我们对某个具体应用的详情页提出同样问题时,它的效果并不好。这表明该功能仍在开发中,可能还需要一段时间才会向用户推送,即便是在测试版频道中也是如此。不过,一旦有更多进展,我们会及时更新。