虽然苹果没有太多技术上的创新,但提供了不少AI落地手机等终端的工程实践。
文|牛慧
编|周路平
近两个小时的主论坛演讲,苹果将一半时间留给了人工智能。
北京时间6月11日凌晨一点,苹果2024开发者大会在库比蒂诺开幕。如果说去年开发者大会的风头还是MR设备Vision Pro,今年被诟病在人工智能赛道落后于同行的苹果,终于发布了大量与人工智能相关的产品和功能。
比如新的Siri可以理解上下文进行多轮对话,可以在多个App之间进行信息的流转,而且接入了ChatGPT的能力;比如可以自动分类邮件并生成回复内容,语音备忘录可以转录成文字和摘要,支持图片查找和图片消除,支持视频的自动编排……苹果在将这些AI能力与手机里的各种App和场景进行打通。
尽管没有太多眼前一亮的东西,但苹果等终端厂商有一个很大的优势是不用去创造需求和场景,只需要把手机上原本存在的大量痛点,用AI做好就能给用户带来不一样的体验。
而苹果将这些AI能力用了一个很鸡贼的词来概括——Apple Intelligence,试图将用户的心智培养成Apple Intelligence(苹果智能)等于Artificial Intelligence(人工智能)。
01
AI将如何改变iPhone的体验?
在发布会进行到一个小时后,苹果终于开始了Apple Intelligence的发布,而应用场景被放在了最前面进行介绍。
一是生成表情包和图片。当用户找不到合适的表情符号来表达自己想要表达的意思时,可以通过自然语言自由创建自己的表情符号。而且,还可以在跟朋友发消息时,用朋友的照片生成不同风格的图片,让聊天更加有趣,目前支持素描、插图和动画三种风格的图片生成。
二是通话转录和摘要。iPhone在此之前出于隐私考虑一直不支持通话录音的功能,而未来将支持这一功能,并且提供智能摘要,但用户在开始录音时,对方会收到通知,这将是一个令人尴尬的画面。
三是信息的提炼和生成。包括Safari浏览器的网页信息的提炼,以及邮件分类和摘要,同时可以生成邮件回复内容或者进行文本润色。另外,苹果AI也将会总结手机App推送的关键信息,进行优先通知。
四是图片消除和生成vlog。 用户可以只需输入描述,苹果系统就能利用现有的图库创建“具有独特叙事弧线的电影”。或者可以直接告诉手机需要查找什么样特征的图片,然后系统会从海量的图片库中找出相对应的图。而用户也可以消除图片中不需要的元素,达到一键消除的效果。
五是Siri变得更智能,支持自然语言的多轮对话,能理解上下文,也将支持文本输入。Siri作为语音助手推出了十几年时间,但一直不够智能,只能处理一些简单的任务,比如“设置计时器”、“创建提醒”,而且很多问题只会给你罗列一堆搜索链接,毫无智能可言。
在大模型加持后,Siri有了新的logo,而且用户调用Siri时不再像之前那样出现一个圆环,而是整个屏幕出现灯光环绕的效果。
而且,苹果也正式公布了与Open AI的合作,Siri可以直接调用ChatGPT的能力,比如你想知道哪种植物适合种在院子里,你可以拍一张照片,Siri可以使用ChatGPT提供答案。但苹果也表示,在使用这项服务之前,用户会被询问是否要使用ChatGPT。而且苹果用户可以无需创建帐户免费访问GPT-4o,ChatGPT的订阅用户可以连接他们的帐户,并直接在苹果系统中访问付费功能。
不过,鉴于国内无法直接调用ChatGPT的服务,Siri在国内的能力或许会有所限制。而在此之前,苹果传出与百度在洽谈合作,将文心一言的服务接入iPhone里,但这一消息并没有得到双方确认。
另一个不太好的消息是,因为大模型需要更强的算力,所以很多iPhone的机型并不能体验到这些AI能力。目前信息来看,只有iPhone 15 Pro以及配备M1或更新芯片的 iPad和Mac才能使用。
这意味着,在换机周期变得越来越长的当下,苹果或许想借AI之手来推动带动新款iPhone的销售。
除了AI的重头戏,苹果也对手机、电脑、平板和手表等操作系统也进行了常规的更新,比如iOS增加了应用锁、卫星通信以及支持手机与电脑之间的跨设备操作。而另一个令人惊喜的功能是,计算器终于被引入了iPad,支持用手写笔做各种数学笔记,而计算器可以识别各种表达式,直接出现答案,或者创建抛物线图等,甚至可以模仿你的笔迹。
02
强调跨App的系统级使用
从苹果推出的这些AI功能来看,并没有哪个是非常令人眼前一亮的东西,包括通话摘要、图片编辑和消除在三星、OPPO等安卓手机上都已经实现。但相比于其他厂商碎片化的更新,苹果展现出了从系统层面对生成式AI的思考。
苹果在此次发布会上清晰地介绍了其 AI 五大核心思考:强大的、符合直觉的、深度整合的、懂得个人的、隐私的。这也意味着苹果的AI并不会像很多大模型产品那样,提供很多酷炫的功能,更多是完善产品在系统中的完整体验。
“它必须理解你,并扎根于你的个人背景,比如你的日常生活、你的人际关系、你的交流等等。它超越了人工智能。它是个人智能,”库克说。
苹果一直在强调跨App的协作,而跨App的背后是苹果将调用你的个人信息和情境,它不仅能从你的各种检索中分析相关度最高的内容,还会参考你屏幕上的内容,比如你正在查看的邮件或者日程日历。
比如当你询问Siri爱人的航班何时降落,它将交叉引用可能通过短信或电子邮件与您共享的航班数据。Siri 还可以整合其他信息,例如即将到来的午餐预订,因此你可以询问它从机场到餐厅需要多长时间,而无需在应用程序之间切换。
比如有人向你发送包含地址的短信时,可以要求Siri将地址添加到对应的联系人。比如通过屏幕感知,你可以要求提供朋友在某个位置的照片,然后让Siri将一张特定照片添加到笔记中,这意味着Siri同时浏览了照片和备忘录。
比如有一场会议改到了傍晚,你想知道开完这场会还能不能赶上女儿的演出,Apple Intelligence就会处理相关的个人数据来给你提供协助。首先它知道你的女儿是谁,以及她前几天发来的演出,也知道你的会议的时间、地点,预估你从公司到剧院的交通状况。
目前,新版Siri可以执行100多项操作。而这些功能贯穿邮件、备忘录、Safari浏览器、Pages、Keynote甚至是第三方的App。
当然,国内用户对苹果AI能力的感知可能会非常有限。除了没办法接入ChatGPT之外,也与国内用户的使用习惯有很大关系。一是国内很多用户与海外用户的使用习惯并不相同。比如发布会反复提到处理电子邮件的内容,而国内用户的工作习惯里,电子邮件并不是一个刚需。另外像iMessage的功能,国内也不流行,大家还是喜欢用微信交流,这也将使得系统对个人信息的获取面临一些困难。
03
端云部署,考验用户隐私安全
苹果将其AI能力定义为个人化智能系统,而要实现智能的前提是需要获取大量个人数据和环境信息,包括图片、备忘录、消息、电子邮件等。
目前,苹果尽可能地将AI的运算在端侧本地运行,不用上传数据到服务器,手机、电脑上就能处理。但端侧的计算性能毕竟有限,只有用了A16Pro和M1及以上的处理器的手机和电脑才能够支持苹果的AI功能。而且即便是这些机型,在面对大一点的任务时依然可能要调用到云端的能力。
事实上,目前手机和PC厂商都在强调端云协同的能力。不过苹果并没有透露,具体哪些任务需要在云端完成。但至少调用ChatGPT的部分肯定需要接入ChatGPT的云端服务。
而数据一旦上云,总会给用户带来更多的担忧,没有存在自己手机里来的放心。
为了解决端侧算力有限而云侧存在数据安全的问题,苹果专门推出了Private Cloud Compute——私密云计算技术。它将使用Apple Silicon的特殊服务器,这个服务器用的是苹果的芯片,如果请求需要发送到云服务器,苹果表示它只会以“加密”安全的方式发送与任务相关的数据。
苹果声称,数据绝对不会被存储,连苹果也无法访问,数据只会为了用来执行请求。苹果在数据安全和用户隐私上的努力值得国产手机厂商们学习,或许未来手机厂商和PC厂商都需要建设专门的数据中心来处理AI的请求,而不是依赖于公有云的服务。
当然,这并不能完全打消人们对数据安全的担忧。OpenAI的死对头马斯克直接在库克的推文下留言,“如果苹果在操作系统层面集成OpenAI,那么我的公司将禁止使用苹果设备,这是不可接受的安全违规行为。”