芯耀
954
蘋果的AI功能再次推遲發(fā)布。據(jù)彭博社3月21日爆料，蘋果CEO蒂姆·庫克對當前AI團隊的表現(xiàn)已失去信心，并決定更換該團隊的負責人。這一消息引發(fā)了業(yè)界的廣泛關(guān)注。
盡管目前來看，蘋果在人工智能領(lǐng)域的進展似乎稍顯滯后，但作為科技行業(yè)的領(lǐng)軍企業(yè)，蘋果憑借其獨特的生態(tài)系統(tǒng)、強大的硬件整合能力以及龐大的用戶基礎(chǔ)，依然具備顯著的優(yōu)勢。這些條件為AI技術(shù)的應(yīng)用提供了廣闊空間。
基于此，本文將為您詳細介紹蘋果的智能系統(tǒng)Apple Intelligence。
Apple Intelligence是一套由蘋果公司推出的個人智能化系統(tǒng)，它深度集成于iOS 18、iPadOS 18和macOS Sequoia中，旨在通過結(jié)合生成式AI與個人使用場景，為用戶提供實用且相關(guān)的智能化功能。
Apple Intelligence的發(fā)布歷程
2024年6月：蘋果首次公開展示其生成式 AI 技術(shù)，在全球開發(fā)者大會上，Apple Intelligence 作為 iOS 18、iPadOS 18 和 macOS Sequoia 的一部分首次亮相。
2024年7月：蘋果計劃在 10 月的軟件更新中開始向客戶推出 Apple Intelligence。
2024年8月：推送了 iOS 18.1、iPadOS 18.1 和 MacOS 18.1 的 Beta2 版本，更新了部分功能。
2024年10月：Apple Intelligence 功能正式公開上線。
2024年12月：全新的 iOS/iPadOS 18.2 系統(tǒng)為 Apple Intelligence 帶來了多種語言支持，首批語言支持會隨軟件更新并于 2025 年 4 月發(fā)布。
Apple Intelligence主要功能
?書寫工具：可校對文本的拼寫和語法錯誤，提供友好、專業(yè)和簡潔等寫作風格供選擇，還能創(chuàng)建段落、提取關(guān)鍵點、制作列表或創(chuàng)建表格。
Siri 改進：激活 Siri 時，顯示屏邊緣會有新的發(fā)光特效，Mac 上 “Siri” 窗口可隨意放置。Siri 能維護請求之間的上下文，可回答有關(guān)設(shè)備功能和設(shè)置的問題。
?郵件功能：新增摘要按鈕，能總結(jié)收到的電子郵件，會優(yōu)先顯示緊急郵件。智能回復(fù)可根據(jù)郵件內(nèi)容提供上下文選項。
?信息應(yīng)用：Messages 應(yīng)用支持智能回復(fù)選項，能分析消息內(nèi)容并提供回復(fù)建議。
?照片應(yīng)用：支持記憶功能，用戶可以使用自然語言創(chuàng)建幻燈片、進行照片和視頻搜索。還新增清理工具，可刪除照片中分散注意力的元素。
?通話錄音：在 Notes 或 Phone 應(yīng)用中點擊 “錄音” 即可捕獲錄音和文字記錄，并生成錄音信息摘要。
Safari：在閱讀器模式下閱讀文章時，可讓 Apple Intelligence 為用戶總結(jié)文章。
?視覺智能：iPhone 16 系列中可通過相機控制按鈕了解世界，幫助用戶即時了解物體和地點。
為什么Apple Intelligence值得關(guān)注？
Apple Intelligence值得特別關(guān)注，原因如下：
AI手機市場份額增長： 2027年，AI手機出貨量預(yù)計將超過5億部，占智能手機總出貨量的40%以上。
?軟硬件整合優(yōu)勢： 蘋果在軟件、硬件與系統(tǒng)服務(wù)內(nèi)部整合方面相當有優(yōu)勢，能迅速將AI功能擴展到不同Apple設(shè)備，生態(tài)圈也相較完整。這種整合是競爭對手難以成功追趕的關(guān)鍵。
?生態(tài)系統(tǒng)集成與用戶粘性： Apple Intelligence與蘋果硬件和軟件生態(tài)系統(tǒng)的緊密集成，旨在增強用戶與iPhone、iPad和Mac設(shè)備的交互，提升用戶體驗，可能會進一步增強用戶對蘋果產(chǎn)品的鎖定和忠誠度。蘋果擁有15億部iPhone和23億部iOS設(shè)備，這是一個很強大的基礎(chǔ)優(yōu)勢，并將創(chuàng)造一個新的人工智能驅(qū)動的增長故事。
AI驅(qū)動的增長： 隨著開發(fā)者使用Apple Intelligence創(chuàng)建成百上千個新應(yīng)用程序，這項技術(shù)將成為公司新“增長復(fù)興”的基礎(chǔ)。這些新應(yīng)用程序?qū)⒃谖磥韼啄陜?nèi)帶來“數(shù)十億美元的增量服務(wù)增長”，包括應(yīng)用商店的收入。
Apple Intelligence核心技術(shù)特點
1、深度集成與應(yīng)用
Apple Intelligence深度集成于iOS、iPadOS和macOS中，充分利用蘋果自家芯片（如A17 Pro和M系列）在語言和圖像理解方面的強大能力。這種深度集成使得用戶能夠無縫地在不同應(yīng)用之間進行操作，從而簡化日常任務(wù)。例如：
?智能寫作工具: 用戶可以通過Apple Intelligence進行文本編寫、校對和潤色，甚至可以生成郵件摘要，提高工作效率。
?跨應(yīng)用操作: Apple Intelligence能夠根據(jù)用戶的上下文自動執(zhí)行跨應(yīng)用程序的操作，例如根據(jù)郵件內(nèi)容自動創(chuàng)建日歷事件，或從照片中提取信息填寫表格。這種能力使得用戶能夠更高效地管理時間和信息。
2、模型構(gòu)成
Apple Intelligence包含多個高性能生成模型，這些模型專為用戶日常任務(wù)設(shè)計，并能動態(tài)適應(yīng)用戶當前活動。具體包括：
?AFM（Apple Foundation Model）: 這是一個約30億參數(shù)的設(shè)備端語言模型，經(jīng)過優(yōu)化以實現(xiàn)高效運行，并具備強大的語言理解和生成能力。
AFM-server: 這是一個基于服務(wù)器的大型模型，用于處理更復(fù)雜的任務(wù)，并與PCC協(xié)同工作，以提供更強大的計算能力。
3、端側(cè)優(yōu)化與效率
Apple Intelligence的核心設(shè)計理念是在設(shè)備端完成大多數(shù)操作，這不僅保護了用戶隱私，還提升了響應(yīng)速度。
蘋果通過模型量化、剪枝等技術(shù)對端側(cè)模型進行深度優(yōu)化，使其能夠在資源有限的設(shè)備上高效運行。
4、隱私保護
Apple Intelligence在設(shè)計上極為注重用戶隱私，其主要措施包括：
?設(shè)備端處理: 大部分數(shù)據(jù)處理在用戶設(shè)備上完成，避免了將個人數(shù)據(jù)上傳到云端的風險.
?Private Cloud Compute: PCC確保即使需要云端計算，數(shù)據(jù)也不會被存儲或訪問，包括蘋果自身。該系統(tǒng)經(jīng)過專門設(shè)計，以確保只有經(jīng)過驗證的請求才能處理，并且任何獨立專家都可以對其隱私保護措施進行審查。
?透明性: 用戶在使用AI功能時，會被告知何時使用ChatGPT等外部服務(wù)，并在共享信息之前獲得提示，從而增強了用戶對數(shù)據(jù)使用的控制感。
Apple Intelligence的技術(shù)細節(jié)
? Apple Intelligence技術(shù)介紹文檔：https://arxiv.org/pdf/2407.21075
AFM 模型（Apple Foundation Model）
Apple Intelligence的核心模型是Apple Foundation Model (AFM)，這是一個擁有約30億參數(shù)的先進語言模型，是Apple Intelligence的核心。AFM旨在提升設(shè)備對語言的理解與生成能力，支持Apple Intelligence的各項功能，如郵件摘要、消息摘要和通知摘要。
硬件優(yōu)化架構(gòu)與設(shè)計
Transformer架構(gòu)：AFM模型基于Transformer架構(gòu)采用一些特定的設(shè)計提高效率和性能，主要組成部分如下：
—多頭注意力機制，允許模型從多個角度解析數(shù)據(jù)，增強信息整合能力
—共享輸入/輸出嵌入矩陣，減少了模型參數(shù)的數(shù)量，提高了內(nèi)存效率
—RMSNorm預(yù)歸一化，提高了訓練的穩(wěn)定性，并幫助模型學習更復(fù)雜的模式
—查詢/鍵歸一化，進一步提高了訓練的穩(wěn)定性
—分組查詢注意力（GQA）， AFM使用具有8個鍵值頭的分組查詢注意力（GQA），減少了內(nèi)存占用，并提高了計算效率
—SwiGLU激活函數(shù)，提高了模型的效率
—RoPE位置嵌入，支持長文本的編碼，AFM使用RoPE位置嵌入，基頻設(shè)置為500k，并提高了模型對上下文的表示能力
—AXLearn框架：AFM 模型使用AXLearn 框架在Cloud TPU 群上訓練，該框架支持大規(guī)模模型和序列長度的訓練，并提供了高效的訓練和推理性能。
訓練過程
1、預(yù)訓練階段
?分為三個階段
—核心階段， 使用最大規(guī)模的數(shù)據(jù)集進行訓練，主要目標是學習基礎(chǔ)的語言知識和模式。
—持續(xù)階段，在核心階段的基礎(chǔ)上，增加代碼和數(shù)學數(shù)據(jù)，并降低網(wǎng)頁數(shù)據(jù)的權(quán)重，以進一步擴展模型的知識范圍。
—上下文擴展階段，在持續(xù)階段的基礎(chǔ)上，使用更長的序列長度和合成長文本數(shù)據(jù)，以提高模型對長文本的處理能力。
?數(shù)據(jù)收集：AFM的預(yù)訓練階段，數(shù)據(jù)的收集與處理是構(gòu)建強大模型的基石。通過Applebot爬取的網(wǎng)頁數(shù)據(jù)，結(jié)合公共許可的數(shù)據(jù)集，構(gòu)建了高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)集。此外，為了保護用戶隱私，預(yù)訓練數(shù)據(jù)集中沒有包含任何私人Apple用戶數(shù)據(jù)，并且努力從公開數(shù)據(jù)中排除褻瀆內(nèi)容、不安全材料和個人身份識別信息（PII）。預(yù)訓練數(shù)據(jù)集的選擇具體包括：
—網(wǎng)頁內(nèi)容：使用Applebot爬取的公開可用信息，并進行了過濾，蘋果尊重網(wǎng)站發(fā)布者選擇退出Applebot的抓取。
—授權(quán)數(shù)據(jù)集：從出版商處獲得的高質(zhì)量數(shù)據(jù)集，提供多樣化的長文本數(shù)據(jù)。
—代碼：從GitHub上的開源倉庫中獲取的代碼數(shù)據(jù)，涵蓋多種編程語言，這些代碼數(shù)據(jù)經(jīng)過了重復(fù)數(shù)據(jù)刪除、過濾PII和質(zhì)量過濾。
—數(shù)學：包含數(shù)學問題、論壇、博客、教程和研討會等數(shù)學內(nèi)容的網(wǎng)頁數(shù)據(jù)。
—公共數(shù)據(jù)集：經(jīng)過評估和篩選的高質(zhì)量公共數(shù)據(jù)集。
2、后訓練階段
后訓練顯著提高了 AFM 模型的質(zhì)量和性能，使其在特定任務(wù)上表現(xiàn)出色。后訓練過程充分考慮了數(shù)據(jù)質(zhì)量、安全性和有害內(nèi)容的過濾，確保模型符合蘋果的核心價值觀和負責任 AI 原則。后訓練方法可擴展到其他任務(wù)，使 AFM 模型能夠支持更多 Apple Intelligence 功能。
3、推理優(yōu)化
為了適應(yīng)邊緣設(shè)備的有限內(nèi)存預(yù)算并降低推理成本，AFM使用了模型量化技術(shù)，使用 4 位量化技術(shù)對 AFM 模型進行量化，顯著降低模型大小和推理成本。
?模型量化 ：使用 4 位量化技術(shù)對 AFM 模型進行量化，顯著降低模型大小和推理成本。
?精度恢復(fù)適配器：使用 LoRA 適配器來恢復(fù)量化模型的精度，使其接近未量化模型的表現(xiàn)。
?混合精度量化：使用 4 位和 2 位量化精度對模型的各個層進行量化，進一步降低內(nèi)存占用，同時保持模型質(zhì)量。
?交互式模型分析：使用 Talaria 工具分析模型的延遲和功耗，指導比特率選擇，優(yōu)化模型性能。
?運行時可替換的適配器： 使用LoRA 適配器來微調(diào)模型，使其能夠針對特定任務(wù)進行調(diào)整，同時保持模型的通用知識。
Private Cloud Compute (PCC)
Private Cloud Compute (PCC)是蘋果公司為Apple Intelligence設(shè)計的突破性云智能系統(tǒng)，專為私有AI處理而設(shè)計。PCC將業(yè)界領(lǐng)先的iPhone安全性擴展到云端服務(wù)，確保發(fā)送到PCC的個人用戶數(shù)據(jù)不會被除用戶之外的任何人訪問，甚至蘋果也無法訪問。
安全特性
?硬件安全： PCC采用定制的Apple芯片和為隱私而設(shè)計的強化操作系統(tǒng)構(gòu)建。
?加密密鑰保護：PCC通過使用安全 enclave來保護服務(wù)器上的加密密鑰。
?安全啟動：使用安全啟動來確保服務(wù)器上運行的操作系統(tǒng)已簽名和驗證。
Trusted Execution Monitor:?Trusted Execution Monitor 確保只有已簽名和驗證的代碼運行。
Attestation： Attestation 允許用戶的設(shè)備安全地驗證Private Cloud Compute集群的身份和配置，然后再發(fā)送請求。
數(shù)據(jù)處理
?數(shù)據(jù)最小化：當Apple Intelligence需要利用Private Cloud Compute時，它會構(gòu)建一個請求，其中包含prompt以及所需的模型和推斷參數(shù)，這些將作為云模型的輸入。
?端到端加密：用戶設(shè)備上的PCC客戶端直接使用PCC節(jié)點的公鑰對該請求進行加密，這些節(jié)點已首先確認是有效且經(jīng)過加密認證的，這提供了從用戶設(shè)備到經(jīng)過驗證的PCC節(jié)點的端到端加密，確保請求無法在傳輸過程中被高度保護的PCC節(jié)點之外的任何東西訪問。
?數(shù)據(jù)中心服務(wù)：諸如負載平衡器和隱私網(wǎng)關(guān)之類的支持數(shù)據(jù)中心服務(wù)在此信任邊界之外運行，并且沒有解密用戶請求所需的密鑰，從而有助于蘋果公司實現(xiàn)可執(zhí)行的保證。
安全啟動機制
PCC的安全啟動機制用于保證只有經(jīng)過授權(quán)和驗證的代碼才能在節(jié)點上執(zhí)行，具體步驟如下：
1. 安全啟動：系統(tǒng)使用安全啟動，以保證只有授權(quán)且經(jīng)過密碼學方法測量的代碼才能在節(jié)點上執(zhí)行。
2. 代碼簽名：所有可以在節(jié)點上運行的代碼必須是信任緩存的一部分，該信任緩存由蘋果簽名，經(jīng)過特定PCC節(jié)點批準，并由安全 Enclave 加載，這樣它就不能在運行時更改或修改。
3. JIT 映射：禁用JIT映射，防止在運行時編譯或注入新代碼。
4. 完整性保護：所有代碼和模型資產(chǎn)使用與簽名系統(tǒng)卷相同的完整性保護。
5. 密鑰保護：安全 Enclave 提供了一個可執(zhí)行的保證，即用于解密請求的密鑰無法被復(fù)制或提取。
與其他服務(wù)的集成
Apple Intelligence可以集成ChatGPT等第三方服務(wù)，但在使用前會征求用戶的許可。
ChatGPT集成：蘋果將ChatGPT整合至iOS 18、iPadOS 18和macOS Sequoia的操作體驗中，讓用戶能夠直接使用 ChatGPT 的特殊功能，包括它對圖像和文檔的理解能力，為用戶省去在不同工具間來回切換的麻煩。
Siri調(diào)用：Siri 可根據(jù)需要直接調(diào)用 ChatGPT 的特殊功能。它會在先行征得用戶同意后，才將用戶的問題發(fā)送至 ChatGPT，連同任何文檔或照片，最后直接答復(fù)用戶。
Writing Tools工具集成：ChatGPT 也將被集成至 Apple 提供的可以全系統(tǒng)調(diào)用的 Writing Tools 工具內(nèi)，協(xié)助用戶根據(jù)當前主題生成內(nèi)容。使用 Compose 功能時，用戶還可運用 ChatGPT 的圖像工具生成多種多樣的圖像，做到圖文并茂。
?隱私保護措施：相應(yīng)的隱私保護措施也已為使用 ChatGPT 的用戶部署到位，用戶的 IP 地址會被隱藏，發(fā)出的請求也不會保存在 OpenAI 的記錄里。對于選擇綁定已有賬號的用戶，則會適用 ChatGPT 的數(shù)據(jù)使用政策。
已經(jīng)有AFM模型，為何還選擇與其他大語言模型集成
Apple Intelligence 已經(jīng)有AFM模型，但仍然選擇與其他大語言模型（如ChatGPT）集成的原因，可以歸納為以下幾點：
?增強特定功能：ChatGPT在多模態(tài)推理方面表現(xiàn)出色，尤其是在視頻和音頻處理方面，集成ChatGPT可以增強Apple設(shè)備在處理這些類型數(shù)據(jù)時的能力，例如，總結(jié)錄音內(nèi)容。
?提升Siri智能：通過集成ChatGPT，Siri能夠建議用戶針對某些請求訪問ChatGPT，并可以直接提供響應(yīng)，從而提供前所未有的超強智能功能。ChatGPT的加入可以提升Siri的理解能力和知識儲備，使其能夠回答更多問題，執(zhí)行更復(fù)雜的任務(wù)。蘋果內(nèi)部研究顯示，ChatGPT在準確率上超越Siri達25%，并且能回答的問題數(shù)量多出30%。
?提供更多選擇：蘋果給用戶提供選擇是否使用OpenAI服務(wù)的權(quán)利，同時也與谷歌討論大模型相關(guān)的合作，OpenAI只是Apple Intelligence生態(tài)里面的合作伙伴之一。
?追趕競爭對手：在競爭對手通過采用AI技術(shù)迅速崛起后，蘋果公司正面臨在其產(chǎn)品中引入新的AI功能的壓力。CCS Insight首席分析師本·伍德認為，蘋果集成ChatGPT，是承認了其局限性，因為ChatGPT將在Siri不再能夠幫助用戶時提供服務(wù)。
?無需在工具之間跳轉(zhuǎn) ：用戶無需在工具之間跳轉(zhuǎn)（無需注冊）即可訪問ChatGPT的專業(yè)知識以及圖像和文檔理解功能。
在中國選擇與阿里、百度合作的原因
?監(jiān)管要求： 為了在中國推出AI服務(wù)，蘋果必須找到一家中國企業(yè)作為合作伙伴，以符合中國政府的監(jiān)管要求
審查和過濾：?阿里巴巴的軟件將作為上層架構(gòu)，能夠在不被用戶察覺的情況下審查敏感內(nèi)容，以符合監(jiān)管要求。
風險分散：蘋果可能同時引入阿里巴巴和百度的AI技術(shù)，以分散風險。
掃碼關(guān)注我們
