炫酷的AI手機背后，難以繞開數(shù)據(jù)處理的方式與規(guī)則，更無法將數(shù)據(jù)安全責任置于真空地帶。迄今為止，作為人類最為親密的信息終端產(chǎn)品——手機，其上承載了大量的個人隱私數(shù)據(jù)信息，如何面向消費者建立值得信任的手機端側(cè)AI處理服務(wù)，是擺在產(chǎn)業(yè)界面前的重大課題。

AI手機的商業(yè)實踐進展

2024年，部署生成式AI技術(shù)的新款手機陸續(xù)發(fā)布，標志著AI手機市場拉開序幕^[1]。10月，蘋果第一款真正意義上的AI手機iPhone 16正式亮相，其搭載的Apple Intelligence采用“端側(cè)大模型+云端大模型”的方式，不但可以在設(shè)備上處理日常的文字任務(wù)，還可以結(jié)合云端完成更復(fù)雜的圖像視頻分析^[2]。

緊隨其后，vivo推出的藍心端側(cè)大模型3B與手機智能體（Agent）——PhoneGPT可以自主拆解、反饋、完成任務(wù)，如自動打開APP應(yīng)用，搜索餐廳，并撥打電話完成訂座^[3]。

除了在端側(cè)部署AI大模型外，手機終端還引入云端AI能力，其中包括自有的云端AI與第三方AI兩種方式。

第一種如蘋果的“隱私云”（PCC，Private Cloud Compute），其通過自研的云系統(tǒng)進行云端AI計算，將用戶設(shè)備上的處理安全性和隱私性盡力延伸到云端。為此，蘋果專門配置了apple silicon服務(wù)器以及專為隱私保護設(shè)計而加固的蘋果操作系統(tǒng)，并采取了包括權(quán)限訪問控制、端到端加密等軟硬件一體的安全措施。

第二種是與外部合作的方式。對于第三方大模型，目前終端廠商多采取開放態(tài)度。如榮耀、三星與百度云千帆等合作，接入行業(yè)垂直大模型與通用大模型；OPPO手機國際版將接入谷歌AI大模型Gemini；小米接入豆包大模型等等。蘋果則將外接大模型部署到PCC節(jié)點之外，如GPT-4o等只能響應(yīng)經(jīng)過處理后的非個人化的數(shù)據(jù)和相關(guān)需求。

未來，隨著融合的深入，“生成式AI技術(shù)將在智能手機上孕育出一個甚至多個智能體（AI Agent）……但預(yù)計在很長一段時間里，智能體仍將會和APP共存。”^[4]

由此，在隱私保護與數(shù)據(jù)安全層面，重點問題浮出水面。在AI手機商業(yè)場景中，AI手機終端、第三方大模型、APP以及云服務(wù)之間將構(gòu)建起怎樣的生態(tài)關(guān)系？在端側(cè)部署AI大模型應(yīng)用AI智能體的過程中，將帶來哪些新的隱私風險與數(shù)據(jù)安全挑戰(zhàn)，不同商業(yè)主體之間又將如何構(gòu)建數(shù)據(jù)規(guī)則，最終打造讓消費者信任的端側(cè)AI生態(tài)？

技術(shù)不是解決一切問題的“靈丹妙藥”，更不是責任承擔的“免死金牌”。在技術(shù)思維之外，法律的規(guī)則秩序與責任邊界，在隱私保護的最終方案中也將扮演重要作用。盡管傳統(tǒng)的數(shù)據(jù)保護法律規(guī)則在顛覆式的AI技術(shù)浪潮下，越發(fā)顯現(xiàn)出滯后性，但在沒有形成新的治理規(guī)則的背景下，仍需基于現(xiàn)有的法律與治理框架予以分析。正如歐盟《AI ACT》所提出：AI服務(wù)活動仍將適用歐盟數(shù)據(jù)保護法律——GDPR的相關(guān)要求。本文即從法律視角出發(fā)，分析當前AI手機帶來的四大隱私與數(shù)據(jù)安全挑戰(zhàn)。

挑戰(zhàn)一：誰來承擔隱私保護與數(shù)據(jù)安全的責任？

明確不同企業(yè)的角色定位是確認責任邊界的前提。在責任主體方面，對于上述不同的企業(yè)類型，需根據(jù)特定的業(yè)務(wù)場景、技術(shù)邏輯和法律規(guī)范明確其屬于數(shù)據(jù)控制者（data controller）、數(shù)據(jù)處理者（data processor）抑或是其他主體角色；此外，還需要在“合作協(xié)同”的業(yè)務(wù)場景下，明確不同主體的責任關(guān)系，如共同處理，對外提供、委托處理關(guān)系，以期形成明確有序的安全生態(tài)。

然而總體來看，基于當前端側(cè)AI手機的商業(yè)進展，終端廠商與APP開發(fā)者、第三方AI服務(wù)提供者在數(shù)據(jù)安全上的責任關(guān)系并不十分明確。

以AI手機宣傳的經(jīng)典場景為例，手機智能體（Agent）基于AI大模型能力，實現(xiàn)“點餐”任務(wù)目前主要通過三個重要環(huán)節(jié)：一是智能體通過截屏錄屏或相機拍攝，適時“看見”屏幕內(nèi)容，并進行總結(jié)和播報；二是智能體對用戶的語音指令進行理解，并將其拆解轉(zhuǎn)化為任務(wù)流程；三是模擬人類手勢觸摸屏幕，對APP執(zhí)行部分操作。如在vivo的官方演示中，藍心小V可以自主點擊屏幕，找到用戶所需，關(guān)掉彈出廣告，最終完成訂餐。

需要格外注意的是，在此過程中，除非終端系統(tǒng)主動開放相關(guān)技術(shù)接口，終端AI的識別、操作動作無法被APP所知曉或阻止。我們可以通過以上場景分析相關(guān)主體在數(shù)據(jù)安全上的法律角色。

先看終端廠商。對于在手機終端上開發(fā)部署大模型的廠商，其面向用戶提供AI服務(wù)時，明確知曉收集的信息種類與處理目的。就信息種類而言，按照現(xiàn)有的技術(shù)實現(xiàn)方式（手機錄屏），其收集的個人信息類型將會十分豐富，包含各類敏感信息。例如：用戶使用服務(wù)時提交的個人信息、個人語音命令、以及通過錄屏，甚至操作APP獲得的個人信息等。

就處理目的而言，廠商亦明確知曉其正在處理的是以語義方式“與已識別或可識別的自然人有關(guān)的信息”，而不僅僅是計算機代碼。因此，終端廠商作為數(shù)據(jù)控制者的角色是確定的。

再看APP服務(wù)提供者。在移動互聯(lián)網(wǎng)生態(tài)中，直接面向消費者提供服務(wù)的APP一般均會被視為數(shù)據(jù)控制者，在如電商、社交、出行等服務(wù)場景中承擔著相應(yīng)的隱私保護與數(shù)據(jù)安全責任。然而，當端側(cè)AI智能體基于APP的服務(wù)能力完成特定任務(wù)時，終端廠商與APP服務(wù)提供者在數(shù)據(jù)安全上的責任邊界變得模糊。

如上所述，AI手機目前實現(xiàn)此類特定任務(wù)的過程并不同于移動互聯(lián)網(wǎng)時代的“自動化操作”“輔助操作”，即并非通過與APP服務(wù)提供者的合作直接調(diào)用其API；在端側(cè)AI的場景下，實際上是智能體模擬用戶在APP中進行讀屏理解、操作，在未達成與終端廠商的合作時，APP對于手機的AI功能實際控制能力有限。

即使APP履行了其自身系統(tǒng)的數(shù)據(jù)安全管理義務(wù)，也無法對可能的不當操作做出及時的響應(yīng)或干預(yù)，避免可能帶來的風險。在此類情形下，APP服務(wù)提供者無法與終端廠商構(gòu)成“共同處理”關(guān)系。

而在外接AI服務(wù)方面，同樣存在著數(shù)據(jù)安全責任邊界不清的問題。以三星手機與谷歌Gemini的合作為例，可能會出現(xiàn)迥然不同的責任關(guān)系：

用戶使用識圖功能，識別具體網(wǎng)頁和商品時，如果是將圈選或滾動截屏的內(nèi)容發(fā)送給谷歌云在云端進行處理，在此類用戶直接調(diào)用的情況下，谷歌云直接收集數(shù)據(jù)、決定處理的方式，谷歌云有可能構(gòu)成單獨的數(shù)據(jù)控制者；

而如果三星手機端側(cè)大模型已經(jīng)進行了初步的處理，再借助谷歌云端AI進行深入分析，兩者圍繞數(shù)據(jù)處理的決策是不可分離且對數(shù)據(jù)處理的目的和方式均產(chǎn)生了實際性影響，則二者有可能被認定為“共同處理”^[5]；

除以上兩種外，如果廠商將所收集的個人數(shù)據(jù)加密后以自己的名義上傳到第三方云端AI處理，并以自己的名義輸出了結(jié)果，則也有可能被認定為“委托處理”。

前兩種方式在三星的公開文件當中或可窺見一二：“您需要登錄谷歌賬戶才能充分利用Galaxy AI功能，該賬戶允許谷歌根據(jù)您的互動提供定制服務(wù)。”^[6]并且在用戶使用相關(guān)服務(wù)時會顯示谷歌搜索界面和圖標。

第三種方式如部分終端廠商與百度云千帆、豆包等云端大模型合作，在操作界面并未明確注明具體的AI服務(wù)功能提供者，于用戶而言，輸入與輸出都是通過終端智能體。在此情況下，或可認定為委托處理關(guān)系，即終端廠商將面對用戶獨立承擔所提供的AI功能服務(wù)涉及的全部數(shù)據(jù)安全責任。

如上分析，端側(cè)AI帶來了全新的數(shù)據(jù)處理模式，打破了傳統(tǒng)移動互聯(lián)網(wǎng)時代的隱私保護與數(shù)據(jù)安全秩序。對此，明確數(shù)據(jù)安全的責任邊界是與AI技術(shù)研發(fā)同等重要的優(yōu)先事項。企業(yè)主體之間，終端廠商、APP開發(fā)者、第三方云端AI廠商需要事先進行明確的權(quán)責劃分與約定，探索建立可事后追溯的數(shù)據(jù)安全保護機制。在調(diào)用模型、插件，進行應(yīng)用編排時，對過程進行可驗證的記錄管理。

除此之外，終端廠商還應(yīng)當為載有敏感信息等特定的APP（如金融、社交、醫(yī)療等敏感場景）開放相應(yīng)技術(shù)機制，對于屏幕識別、操作等數(shù)據(jù)獲取處理，允許APP明確拒絕。如三星明確聲明：“不會進入WhatsApp等流行的第三方信息平臺，因為這些平臺的信息都是受保護的。”^[7]

挑戰(zhàn)二：數(shù)據(jù)收集的邊界在哪里？

以往手機獲取的信息主要包括用戶設(shè)備及應(yīng)用信息、日志信息、底層權(quán)限信息等；在端側(cè)AI場景以及當前主要基于讀屏錄屏的技術(shù)方式，除上述全面的信息權(quán)限外，終端智能體還可以獲取錄屏的文件本身，并進一步通過模型分析，獲取其所展現(xiàn)的身份、位置、支付等各類敏感信息。由于錄屏場景十分豐富，其所識別的信息類型也將無法提前預(yù)測，并且極有可能包含了大量其他自然人的個人信息。

智能體甚至還可以將用戶數(shù)據(jù)和插件、應(yīng)用的三方數(shù)據(jù)進行混合利用。即使在最理想的情況下，這些文件不會被發(fā)送到云端進行理解和分析，但其本身的收集過程，是否與個人信息保護的基本原則——目的限制、最小必要相自洽，仍存在疑問。

此外，“端側(cè)處理”并不意味著脫離了數(shù)據(jù)保護規(guī)則的約束。即使這些錄屏、截屏儲存在本地，如果缺乏足夠的信息披露，本地數(shù)據(jù)存儲也并不意味著安全。

例如，微軟最新的AI“Recall”功能每隔幾秒鐘就會對用戶的活動屏幕進行截圖而遭到安全專家的強烈反對。盡管微軟堅稱，由于所有Recall數(shù)據(jù)都存儲在本地，并通過設(shè)備加密或BitLocker加密，并不會侵犯隱私。但Absolute公司的一項調(diào)查發(fā)現(xiàn)，“有42%的終端設(shè)備在任何時候都沒有得到保護。”專家Weinberg表示其于用戶教育方面也存在漏洞，并未明確收集的數(shù)據(jù)類型。^[8]

當前，蘋果在歐洲市場對AI功能的延遲和削減，也反映了此類沖突并非空穴來風。據(jù)報道，這主要是由于隱私、公平競爭和透明度方面的擔憂。^[9][10]科技編輯Mark Wilson指出，“蘋果與用戶的關(guān)系如此密切，以至于它在引入人工智能時，甚至不需要擔心我們是否會同意。公平地說，似乎沒有人在問，這些未知的人工智能系統(tǒng)怎么能分析我的私人文本？我們盲目地相信蘋果會為了我們的利益使用我們的信息。”^[11]

挑戰(zhàn)三：當個人信息被用于模型訓(xùn)練時，如何保障用戶權(quán)利？

“生成式AI技術(shù)需要數(shù)據(jù)進行訓(xùn)練，也需要從用戶那里獲取更多數(shù)據(jù)進行訓(xùn)練。GDPR對此有很多疑問。”^[12]——埃隆·馬斯克

在大模型研發(fā)的早期階段，訓(xùn)練數(shù)據(jù)并不以個人信息為目標^[13]。然而，隨著各垂直領(lǐng)域的應(yīng)用深入，涉及個人信息進行訓(xùn)練的投訴糾紛也時有發(fā)生。2024年3月，歐洲隱私倡導(dǎo)組織NOYB對社交媒體平臺X提起GDPR投訴，因其擅自使用超過6000萬歐洲用戶個人數(shù)據(jù)訓(xùn)練其大型語言模型“Grok”，這一行為嚴重違反了GDPR關(guān)于準確度、訪問權(quán)、更正權(quán)與被遺忘權(quán)的要求。^[14]Meta和LinkedIn也面臨類似投訴。^[15]

同樣，在對蘋果PCC進行考察時，專家也提出，一旦PCC被用于訓(xùn)練，那么數(shù)據(jù)將會被保留。無狀態(tài)計算（stateless computation）——即不留下任何痕跡的計算——幾乎是不可能實現(xiàn)的。^[16]

目前來看，終端實現(xiàn)持續(xù)的個性化服務(wù)，未來有大概率需要云端數(shù)據(jù)訓(xùn)練模型，如三星已明確聲明“在云端處理數(shù)據(jù)的功能可能會用于模型訓(xùn)練”，那么，如何解決模型訓(xùn)練過程中有關(guān)個人信息的安全以及如何保證用戶的個人權(quán)利就尤為重要。

正如Noyb所提出的那樣，智能體可能會錯誤地判斷如用戶的婚姻、健康狀況、種族與宗教信仰等，并據(jù)此給予回答或建議。而用戶想要進行更正卻很難，因為其并非根據(jù)某一個確切的信息輸出判斷，而是多方數(shù)據(jù)匯聚判斷得到的，并且很難從輸入端進行更改。Open AI在其隱私政策中也曾提出“鑒于我們的模型工作原理的技術(shù)復(fù)雜性，我們可能無法在每個實例中糾正不準確性。如果需要更正，用戶可以填寫表單。”^[17]

此外，由于AI關(guān)鍵能力為自主化理解需求、自動推理策略以及自動完成任務(wù)，因此也會觸發(fā)對于“自動化決策”的擔憂。報告顯示，歐洲民眾尤其擔心個人助理AI會侵犯他們的隱私并操縱他們的決定（“低信任度”從40%到71%不等）^[18]，終端智能體能夠跨越應(yīng)用，進行多方匯聚分析，甚至直接做出行動（action），其自動化決策的范圍和深度都將大大提升，無疑對用戶帶來更加深入的影響。

挑戰(zhàn)四：從端到云，如何提供令人信任的數(shù)據(jù)安全方案？

短期內(nèi)端側(cè)模型能力有限，端云結(jié)合將是長期趨勢。包括蘋果、vivo、榮耀、三星等手機終端均與第三方云端大模型展開合作。此前，盡管終端廠商收集相關(guān)的個人信息，但對外傳輸?shù)膱鼍坝邢蕖６诮K端AI時代，為了進行更精確的理解分析，終端智能體需要將數(shù)據(jù)發(fā)送到第三方云端進行處理，從而不可避免面臨以下問題：^[19]

一是如何建立明確且可執(zhí)行的權(quán)責分配機制。由于終端可能合作的不止一個云端模型（如榮耀），在未來的生態(tài)布局當中可能涉及更多的云端通用、專業(yè)大模型，這需要終端建立更加完善的第三方安全管理機制。

二是能否實現(xiàn)可信任的安全保障水平。考慮到端側(cè)模型能力有限，且模型訓(xùn)練和精調(diào)只能在線上，將有大量數(shù)據(jù)從端傳輸?shù)皆啤１M管廠商多強調(diào)其在上傳云端時進行了數(shù)據(jù)脫敏與加密處理，如榮耀聲明其智能體在調(diào)用云端模型處理時會通過端側(cè)防護網(wǎng)過濾用戶隱私，vivo也聲稱“將對用戶輸入內(nèi)容進行過濾，僅將訓(xùn)練后的模型更新匿名化后上報到服務(wù)器”。然而，就目前來看，各大廠商基本仍停留在宣誓性的聲明、產(chǎn)品發(fā)布會上的介紹與白皮書中的只言片語中，未有更加進一步的詳細披露。

即使強如蘋果，提供了自有的云端服務(wù)，并通過提供底層芯片安全加固、三層安全架構(gòu)的PCC計算節(jié)點，在隱私、技術(shù)解釋與告知方面仍舊受到質(zhì)疑。如安全專家Adelin Travers提出，蘋果目前只公開了有限的代碼，外部對于PCC安全性的理解和信任將主要依賴于蘋果自己的聲明，而不是基于獨立驗證的結(jié)果。

同樣，由于同態(tài)加密（HE）的計算效率和可擴展性的限制，目前蘋果仍需要在云端解密數(shù)據(jù)，而蘋果并未明確說明這樣的解密可能對用戶造成的風險，也沒有回答其未來是否會使用PCC來訓(xùn)練模型。^[20]蘋果自有云端的安全性尚且面臨如此之多的質(zhì)疑，那么如何保證第三方的云端處理提供足夠的安全水平更是充滿挑戰(zhàn)。

而從用戶感知看，在數(shù)據(jù)已經(jīng)被發(fā)送給第三方大模型處理時，很多用戶無法區(qū)分兩者，會誤以為數(shù)據(jù)仍受到終端的保護，但其實第三方的隱私政策更加寬松，增加了敏感信息泄露的風險。此前三星公司員工就在使用ChatGPT時不慎泄露了公司的芯片機密信息。^[21]馬斯克也曾表示：“若蘋果在操作系統(tǒng)中整合OpenAI，公司將禁止使用蘋果設(shè)備。這被視為不可接受的安全違規(guī)行為。”

結(jié)語

不盲目信任技術(shù)，但也無需“災(zāi)難性地擔憂”^[22]。在技術(shù)創(chuàng)新、制度規(guī)范、生態(tài)建設(shè)、用戶教育的協(xié)同發(fā)展下，相信仍可以探索出面向AI時代的隱私保護與數(shù)據(jù)安全方案。如微軟AI CEO蘇萊曼所說：“這里的關(guān)鍵在于如何打造一種值得信任的技術(shù)，因為這將是一種非常親密和個人化的體驗。我們必須做好安全和隱私的部分。我認為真正的挑戰(zhàn)在于如何設(shè)計對話，使AI伙伴能夠明確地表達邊界，能夠說出‘這是我不準備參與的事情’”^[23]。

注釋來源：

[1]Counterpoint Technology Market Research.生成式AI手機產(chǎn)業(yè)白皮書[R].Counterpoint Technology Market Research，2024

[2]https://www.apple.com/hk/en/newsroom/2024/09/apple-intelligence-comes-to-iphone-ipad-and-mac-starting-next-month/

[3]vivo手機智能體PhoneGPT亮相，可自動打電話訂餐廳.https://www.ithome.com/0/801/063.htm

[4]Counterpoint Technology Market Research.生成式AI手機產(chǎn)業(yè)白皮書[R].Counterpoint Technology Market Research，2024.

[5]ECLI:EU:C:2023:376，歐洲法院在C-683/21號案件關(guān)于共同數(shù)據(jù)處理者的裁定

[6]"Use Features with Galaxy AI on Your Galaxy Phone and Tablet." Samsung，Samsung Electronics America，Inc.，www.samsung.com/us/support/answer/ANS10000753/.

[7]MarkWilson."Apple Intelligence Sure Looks Lame，But It Shows How Apple Can Still Win AI." Fast Company，10 June 2024，www.fastcompany.com/91138807.

[8]French，Laura."Microsoft Rethinks Recall Feature for Copilot after Backlash over Security." SC Magazine，7 June 2024.https://www.scworld.com/news/microsoft-rethinks-recall-feature-for-copilot-after-backlash-over-security

[9]CNBC."Apple has'very serious'issues under sweeping EU digital rules，competition chief says." CNBC，18 June 2024，www.cnbc.com/2024/06/18/apple-issues-very-serious-under-landmark-eu-rules-vestager.html.

[10]Espinoza，Javier，and Michael Acton."Apple Delays European Launch of AI Features Because of EU Rules." Financial Times，22 June 2024.https://www.ft.com/content/360751cb-7a22-48e0-9b00-6a30ff41dcfe.

[11]Fast Company."Apple Intelligence Sure Looks Lame，But It Shows How Apple Can Still Win AI." Fast Company，23 Oct.2024，www.fastcompany.com/91138807/apple-intelligence-sure-looks-lame-but-it-shows-how-apple-can-still-win-ai.

[12]O'Flaherty，Kate."Apple’s New AI Security Move Explained." Forbes，22 June 2024，11:47 a.m.EDT，updated 24 June 2024，3:37a.m.EDT.https://www.forbes.com/sites/kateoflahertyuk/2024/06/22/apples-new-ai-security-move-explained/.

[13]騰訊研究院微信公眾號，2023年5月12日文章：大模型研發(fā)者是數(shù)據(jù)控制者么？——基于OpenAI的觀察：https://www.tisi.org/25585/

[14]https://www.jurist.org/news/2024/08/x-faces-european-complaints-over-alleged-data-privacy-violations/

[15]Treloar，Stephen."Meta Faces Norwegian Complaint Over Plans to Train AI on User Images and Posts." Bloomberg，Time，13 June 2024，https://time.com/6988134/meta-complaint-norway-user-data-training-ai/.

[16]Travers，Adelin."PCC:Bold Step Forward，Not Without Flaws." Trail of Bits Blog，14 June 2024.https://blog.trailofbits.com/2024/06/14/pcc-bold-step-forward-not-without-flaws/.

[17]OpenAI."Privacy Policy" OpenAI，https://openai.com/zh-Hans-CN/policies/row-privacy-policy/.

[18]The Consumer Voice in Europe."Artificial Intelligence:What Consumers Say." BEUC，2020.

[19]dTravers，Adelin."PCC:Bold Step Forward，Not Without Flaws." Trail of Bits Blog，14 June 2024，https://blog.trailofbits.com/2024/06/14/pcc-bold-step-forward-not-without-flaws/.

[20]Travers，Adelin."PCC:Bold Step Forward，Not Without Flaws." Trail of Bits Blog，14 June 2024，https://blog.trailofbits.com/2024/06/14/pcc-bold-step-forward-not-without-flaws/.

[21]???."[??]??????…????，?GPT??????‘???’??"??????.30 Mar.2023，18:20.https://economist.co.kr/article/view/ecn202303300057?s=31.

[22]Kelsey，Caitlin.“AI Impacts Survey:The Future of Artificial Intelligence and Its Potential Risks.”Vox，10 Jan.2024.https://www.vox.com/future-perfect/2024/1/10/24032987/ai-impacts-survey-artificial-intelligence-chatgpt-openai-existential-risk-superintelligence.

[23]Knight，Will."Microsoft’s AI Boss Wants Copilot to Bring‘Emotional Support’to Windows and Office." Wired，23 October 2024，www.wired.com/story/mustafa-suleyman-interview-microsoft-ai-ceo-copilot/.

本文來自微信公眾號：騰訊研究院 （ID：cyberlawrc），作者：大模型研究小分隊（王融、鐘雨霏、王強、袁媛等）