10問揭曉Vision Pro背後(hòu)的秘密，蘋果如何打響空間計算第一槍？

智東西6月19日消息，近日，蘋果公司技術開(kāi)發(fā)團隊副總裁Mike Rockwell登上了WWDC23脫口秀舞台，在和主持人John Gruber的交流中，他分享了Vision Pro研發(fā)過(guò)程一些有趣的内部細節，并對(duì)visionOS系統的優勢給出了更細緻的解答。

“我們想要打造一台空間計算電腦，你可以通過(guò)它直接進(jìn)入一個新的空間。這(zhè)是我們的初心。”Rockwell說道(dào)。他在接近40min中的采訪中，回答了有關Vision Pro中十大關鍵問題，涉及到核心功能(néng)如Eyesight、空間視頻亮點功能(néng)解析、交互技術背後(hòu)的思考、虛實信息如何相融呈現等。

▲從左到右分别爲：Mac硬件負責人John Ternus、蘋果副總裁Mike Rockwell、主持人John Gruber

作爲Vision Pro頭顯項目的一把手， Rockwell可以稱得上是“Vision Pro之父”。從Rockwell的分享中，我們了解到發(fā)布會上很多驚豔衆人的技術，如空間視頻、手勢追蹤、眼動追蹤等，蘋果早已深耕多年。蘋果公司構建Vision Pro的基本準則是什麼(me)？Eyesight功能(néng)是如何實現的？蘋果是如何布局虛實交互技術的？

智東西在不違背原意的情況下，編譯了Mike Rockwell的訪談記錄：

問題1：你五年前開(kāi)始讨論ARKit提到的内容和如今的産品似乎相差甚遠。現在的你，是在構建一個新的平台嗎？

Mike Rockwell：在我們開(kāi)發(fā)産品的時候，會有些一些的設計準則。第一條就是我們希望它有用。我們想要打造一個非常有用的工具，而不是玩具。

這(zhè)也導緻了我們後(hòu)續針對(duì)顯示器等多方面(miàn)做了全面(miàn)的優化。現在，我們的顯示器擁有超高清的分辨率，甚至可以渲染文本。

比如說，你正在看著(zhe)一個Safari窗口，你不但可以直觀、清晰地看到窗口裡(lǐ)的文本信息。而且當你以不同的視角觀看文本信息時，也同樣(yàng)清晰。這(zhè)是因爲，我們在3D系統上，一對(duì)一的渲染文本信息，甚至打造一種(zhǒng)全新的字型渲染系統。

我們的第二條準則是，我們希望這(zhè)款設備，不會將(jiāng)你與你身邊的任何人隔離開(kāi)來，而是將(jiāng)相隔較遠的人們連接起(qǐ)來。

這(zhè)也是我們打造兩(liǎng)大關鍵技術Eyesight和Persona的主要原因。

當你佩戴設備時，你要如何讓人們能(néng)夠直觀看到你的眼睛呢？借助蘋果打造的Eyesight功能(néng)，你佩戴頭顯後(hòu)，通過(guò)視頻透視功能(néng)，讓其他用戶可以直接看到你的眼睛。

同時，我們還(hái)想通過(guò)一種(zhǒng)新的方式，能(néng)夠讓不同地方的人一起(qǐ)工作。所有的這(zhè)些設計準則結合在一起(qǐ)後(hòu)，幫助我們打造真正與衆不同的産品。

問題2：Eyesight方面(miàn)，我想到了視差問題，比如說如果我坐在你的正前方，可能(néng)頭顯能(néng)夠輕松在屏幕上“複現”你的眼睛。但是當我坐到你的側邊時，頭顯上的眼睛又該如何變化呢？

▲Eyesight功能(néng)

Mike Rockwell：我們是爲任何角度和你對(duì)視的人打造一個新的視圖。我們在頭顯内部做了一個雙層光栅顯示器，第一層是弧形的光栅顯示器，提供不同的光學(xué)數據。

我們并不是用AI模拟用戶眨眼的畫面(miàn)，而是實時還(hái)原了你的眼睛動作。無論是眨眼、眯眼還(hái)是其他，頭顯都(dōu)能(néng)及時同步。目前，Eyesight的畫面(miàn)渲染範圍主要在眼睛周圍，延遲基本爲0。我希望，當人們看到它的時候，設備幾乎是透明的，佩戴起(qǐ)來無壓力。

問題3：盡管你多次提到打造頭顯時，不希望將(jiāng)人們分開(kāi)，但是把頭顯戴在頭上時，用戶多少會感受到一定的隔離感。你是如何看待這(zhè)一點的？

Mike Rockwell：我們做了很多事(shì)情，幫助頭顯成(chéng)爲一款可以連接人與人的設備。比如說，戴上頭顯後(hòu)，用戶能(néng)直接看到世界、Eyesight功能(néng)等。當你沉浸式投入數字世界的時候，數字内容可能(néng)成(chéng)爲你和他人連接的阻礙。但是如果你能(néng)看見他們或者他們能(néng)夠看到你，這(zhè)樣(yàng)的局面(miàn)就會發(fā)生改變。

我們認爲（頭顯）的作用是“添加一個世界（add a world）”，而不是將(jiāng)你帶入一個新的世界。不僅如此，我們還(hái)想要在工作場景中實現協作辦公的模式。比如說，當你戴著(zhe)頭盔的時候，很難用手機和他們進(jìn)行Facetime。我們可以通過(guò)在頭顯中，創造一個你的形象，和他人進(jìn)行遠距離的互動。

問題4：我想過(guò)Vision Pro會有攝像頭來記錄周圍事(shì)物，但我沒(méi)想到Vision Pro能(néng)夠拍出如此令人驚豔的視頻。你們是怎麼(me)想到的？

Mike Rockwell：當我們構建這(zhè)個頭顯的某天，我們有了打造空間照片/視頻的想法，并做了一些嘗試。我們發(fā)現空間視頻能(néng)夠讓他們想和他們愛的人重溫歡快時光的功能(néng)，察覺這(zhè)一點後(hòu)，我們決定把它放在産品中。

空間視頻就像是時光機。當你拍下一些對(duì)家人來說特别的時刻，你通過(guò)播放視頻或者查看照片不斷“回到”那個時刻。想象一下，你的父母住在大洋彼岸。當你給孩子拍攝這(zhè)樣(yàng)的視頻給父母看，父母會覺得離親人很近。

▲空間視頻功能(néng)

問題5：空間視頻的呈現的方式真的很棒，當我用手指向(xiàng)視頻回憶裡(lǐ)的内容時，仿佛我正在和他們交互。你是如何看待虛實交互方式的？

Mike Rockwell：我們所做的一件事(shì)，就是要在物理世界上呈現數字世界的内容。特别是，如果你要想要兩(liǎng)種(zhǒng)世界的細節也能(néng)相互交互，現在我們的交互方式是通過(guò)手部捏動，或者注視某個圖标完成(chéng)交互。

一般來說，物理世界和虛拟世界交互時，我們很難數字内容放在自己的手中。盡管我們能(néng)畫出它，畫出一雙手，但是在數字世界裡(lǐ)，你不能(néng)“呈現”自己的雙手。所以我們必須做出一個非常複雜的實時扣圖算法來識别你的手在哪裡(lǐ)，R1搜集信息扣出圖片，然後(hòu)將(jiāng)它通過(guò)視頻和我們設計的内容相合成(chéng)。

你可以將(jiāng)手放在數字内容前面(miàn)并與之相互動。雖然你可能(néng)認爲其看起(qǐ)來很簡單，但是事(shì)實上，這(zhè)背後(hòu)發(fā)生了很多事(shì)情。

問題6:當我戴著(zhe)頭顯回頭和同事(shì)聊天後(hòu)，轉身回來，發(fā)現之前的窗口位置不會發(fā)生變化。你們是怎麼(me)保證畫面(miàn)穩定性的？

Mike Rockwell：它的穩定性是所有相機、傳感器以及芯片的功勞。尤其是，我在visionOS部分曾談到我們系統擁有實時模塊。我們對(duì)系統進(jìn)行了細緻的調整，所以我們能(néng)夠提供非常穩定的畫面(miàn)。

即便在40000米高空，我們仍能(néng)夠保證畫面(miàn)穩定。這(zhè)并不容易，因爲飛機會轉彎、前行等不斷變動位置，系統上的IMU難以處理數據。在這(zhè)裡(lǐ)，我們做了一些“神秘”的事(shì)情，能(néng)讓你随時去到你想去的地方。

問題7:頭顯的開(kāi)機設置時需要測量眼睛的數據、手部的數據？

Mike Rockwell：對(duì)，我們的輸入系統會涉及到多個設備，這(zhè)些信息通過(guò)神經(jīng)網絡彙總，從而定制化用戶信息。

在開(kāi)機設置時，我們隻要一部分信息。我們要做的第一件事(shì)就是“認識”你的手。因此，你要做的就是將(jiāng)舉起(qǐ)雙手幾秒鍾，我們就能(néng)夠準确地識别輸入你的雙手信息。

至于我們的眼動追蹤，十分精準。當你剛剛拿到産品時，我們需要對(duì)你做一次測試，隻需要一次，後(hòu)續使用的時候并不需要重新設置。整個設置的流程非常快。一旦我們有了這(zhè)兩(liǎng)項技能(néng)，我們就可以開(kāi)始進(jìn)入到界面(miàn)。

我們的手部追蹤功能(néng)十分精準，我們不想讓你的雙手緊握控制器。現在你可以通過(guò)雙手來提高工作效率，你可以通過(guò)鍵盤輸入，可以通過(guò)手機手表來控制信息。方式多樣(yàng)，選擇自由。當你在使用Freeform時，你可以看到頭顯的手部追蹤相當精準。

問題9：3499美元是一個非常“專業”的價格。但是頭顯能(néng)夠适配足夠專業的軟件嗎？比如說，像是Final Cut Pro和iPad适配，人們等待了很長(cháng)時間。

Mike Rockwell：我們現在主要在做的幾件事(shì)：一個是協作。我們所有人都(dōu)在做某種(zhǒng)形式的混合工作或者會在不同的地方工作，或者在路上工作。面(miàn)對(duì)這(zhè)些場景，Vision Pro能(néng)夠帶來超乎尋常的體驗，因爲你可以随時創造完美的工作環境。

我知道(dào)你們中的許多人都(dōu)參與過(guò)Web 或者Zoom的電話會議。線上會議上，有人正在展現一些内容，但是當你看到其他人的時候，他們就像一個小方塊，每個人都(dōu)就像一個像素。

而Vision Pro則提供了一個巨大的屏幕，你可以以這(zhè)種(zhǒng)方式與人們一起(qǐ)工作。不僅如此，如果你使用像Freeform這(zhè)類的協作應用程序，在Vision Pro中共享文件時，你可以讓多個同事(shì)，同時處理文件，就像在同一個房間裡(lǐ)一起(qǐ)工作一樣(yàng)。

另一個是，我們可以將(jiāng)Mac上的顯示屏同步到Vision Pro中。假設你有一款舊款的Macbook Air，它的屏幕可能(néng)比較小，但當你戴上頭顯後(hòu)，你可以擁有一個巨大4K屏幕。

并且，你還(hái)可以用Final Cut Pro，同時進(jìn)行22個8K視頻。你還(hái)可以在這(zhè)裡(lǐ)運行iPadOS和iOS軟件，無需更改。

通過(guò)Vision Pro，你可以爲你的生産力創造一個完美的空間。我們對(duì)消費者展現了一些場景。對(duì)那些試圖借此完成(chéng)工作的人來說，它是一款超級強大的設備。visionOS是一個非常強大的多應用程序、多任務操作系統，它將(jiāng)帶來驚人的生産力和專業場景。

至于軟件研發(fā)方面(miàn)，爲了讓整個設備易于開(kāi)發(fā)，我們爲開(kāi)發(fā)人員付出了相當大的努力。

如果你是一名iOS開(kāi)發(fā)者，您進(jìn)入Xcode，將(jiāng)目标設置爲visionOS，然後(hòu)構建空間應用，你就有了構建空間應用的起(qǐ)點。如果你是開(kāi)始使用Unity的人，我們做了打造了一款便于開(kāi)發(fā)者的工具編寫應用程序。無論你用的是什麼(me)工具軟件，都(dōu)是在共享相同的3D空間。

問題10：真正地將(jiāng)Vision Pro和visionOS推向(xiàng)世界，感覺如何？

Mike Rockwell：蘋果的許多研發(fā)團隊爲推出這(zhè)款産品付出了許多努力，就像我們有芯片團隊、軟件工程團隊、 Mac團隊、我的團隊和Siri團隊。實際上，Vision Pro是所有工程團隊一起(qǐ)開(kāi)發(fā)的蘋果産品。

▲Vision Pro發(fā)布

Vision Pro頭顯發(fā)布，對(duì)我們來說是個很大的鼓舞，也是一場豪賭。我們構建了它，迫不及待地想要將(jiāng)它交給人們手中，對(duì)産品的反饋也感到非常興奮。

結語：頭顯賽道(dào)的創新，蘋果給出新回答

蘋果的Vision Pro頭顯上，既反射出的近年來産業玩家共同推動的一些創新，如Pancake、視頻透視等，也同樣(yàng)逃不脫産業玩家共同的難題，如續航、近視等。

但是，相較于當前賽道(dào)的多數産品，蘋果通過(guò)多年深耕將(jiāng)每個創新點發(fā)揮到極緻，在八年時間中，選擇將(jiāng)每項功能(néng)打磨成(chéng)自己想要的樣(yàng)子。比如說，蘋果堅持通過(guò)“雙面(miàn)屏”的方式複原人臉、堅持要建立人與人之間的連接，不計代價。

Vision Pro頭顯，在我個人看來，會感受到驚喜，但不會感受到意外。

驚喜之處在于，蘋果頭顯的顯示屏的确解決了不少顯示難題，效果反響較好(hǎo)。同時，蘋果在Vision Pro頭顯的具體應用設計上，如空間視頻拍攝、Persona功能(néng)都(dōu)頗具看點。但整個産品設計還(hái)是和常見的VR頭顯類相似，并不如當年手機從功能(néng)機走向(xiàng)智能(néng)手機那般意外。