苹果推出新API为Siri屏幕感知功能做好准备

铋读 2024-11-05 10:35:13

11月5日,据报道,苹果公司正在为其虚拟助手Siri带来一项重大升级。作为Apple Intelligence功能集的一部分,苹果正开发更先进的Siri功能,以便能更智能地处理用户请求。此次更新包括了一项新API,它允许应用程序将屏幕内容提供给Siri和Apple Intelligence,以增强对屏幕内容的理解和交互能力。

在最新的iOS 18.2测试版中,苹果推出了名为“App Intent API”的新工具,允许开发者将应用中的屏幕内容提供给Siri。这意味着,用户可以向Siri提问有关屏幕上内容的问题或请求进行操作,Siri将能够基于这些信息执行相关任务。例如,用户可以对Siri说:“嘿Siri,这份文件是关于什么的?”Siri会识别文件内容并给出简短的摘要。

苹果的文档指出,当用户明确请求时,Siri和Apple Intelligence甚至能够将内容发送到支持的第三方服务。例如,用户在浏览网页时,可以通过Siri询问页面的关键信息,而Siri则会返回一个简洁的概述。对于涉及照片或文档(如PDF或演示文稿)的情况,Siri将能够通过ChatGPT进行集成,提供基于图像或文档内容的智能反馈。

随着iOS 18.2的更新,Siri与ChatGPT的集成显著增强了语音助手的智能化程度。用户可以询问关于照片或文档的详细信息。例如,用户可能会对Siri说:“这张照片里有什么?”Siri将截取屏幕截图,并将其交给ChatGPT,后者会分析图像内容并将信息反馈给用户。同样的功能也适用于PDF文件或其他文档,用户可以问Siri诸如“这份PDF讲了些什么?”这样的问题,Siri会处理并给出详细解释。

尽管iOS 18.2已为Siri引入了ChatGPT的集成功能,苹果还计划在未来版本中推出更多的智能助手功能。屏幕感知是苹果正在开发的一项重要功能,它将使Siri能够理解屏幕上的内容并执行相应的操作。例如,当用户收到一个地址信息时,Siri将能够识别该地址并将其添加到联系人卡片中。尽管这一功能目前尚不可用,但它预计将在iOS 18.4版本中推出,并预计于2025年春季发布。

马克·古尔曼(Mark Gurman)曾表示,苹果计划将这些先进功能在iOS 18中逐步推出,给开发者几个月的准备时间,以确保他们可以为这些新功能做好准备。

0 阅读:5

铋读

简介:以科技视野,洞达天下