在之前的文章〈在追逐技術之外 —〉中曾提到，策展人王嘉驥認為，新媒體的創作由於技術開發困難，技術的表現方式往往是被科技廠商所定義，而新媒體創作者們則受制於技術限制，創作容易淪為技術的應用。因此，我們對媒介需要有超越技術的認知。

這陣子在看新媒體大師 Lev Manovich 的著作《The Language of New Media》，書中討論的是「新媒體」，但並不去談論他的技術如何實作，而是去描述新媒體的特性。例如他認為新媒體是可互動的、可被數值化的（所有數位檔案都是）、可被程式處理的等等。像這樣跳開實際的技術操作去思考媒介的特性，讓我們更能夠探究媒介的本質。

因此，我也想要效仿 Manovich，用技術之外的方式來試著討論 AR，希望能藉此讓 AR 的本質更為明朗。這篇文章會分別從「動作模式」和「虛實關係」兩個維度，去分析 AR 的九種表現模式。

 

AR（擴增實境）的定義

一般我們常說 AR、VR，感覺上是在討論完全不同的兩種科技。但從定義上來說，AR 和 VR 並非是截然不同的，而是處在一個連續的軸線上。AR 與 VR 的差別在於「虛擬物件」存在比例的不同。所謂的「現實世界」就是全部都是真實的，完全沒有虛擬物；而「虛擬實境」則全部都是虛擬的，完全沒有真實空間；而中間的其他部分，都可以算是 AR。^[1]

而從更寬廣的定義來講，AR 不一定是視覺上的，也可以是氣味、觸覺、或是資料上的擴增。但如果定義太寬，則又無法和既有媒介區別。例如電影特效裡面，也同時存在真實人物和電腦動畫，廣義上來說也是一種擴增，但這可以算是 AR 嗎？

為了解決這個疑惑，Ronald T. Azuma 提出了三項 AR 的必備要素 ^[2]

1. 同時有真實和虛擬的存在（Combines real and virtual）
2. 可以即時互動（Is interactive in real time）
3. 存在於三維空間中（Is registered in three dimension）

其中「即時互動」這個部分，就是和傳統媒介區分的關鍵。另外 1、3 兩項條件，則表示 AR 最重要的就是現時空間與虛擬結合。

 

AR 的重點 — 虛擬與現實的關係

根據上面的準則，我們可以說 AR 最獨特、也最重要的屬性，就是「虛擬與現實的結合」。然而，現在我們看到的許多 AR 案例，並不一定有和空間結合。舉例來說，下面這張圖是〈Jurassic AR Book〉，這種 AR 雖然讓 3D 模型出現在現實的桌面上，但也就僅止於此，這些虛擬的物件和環境並沒有近一步的互動，這一類的 AR 我稱之為「Putting Something on the Table」。

虛實關係的三個層級

因此，依照影像與現實世界的關係，我認為可以分為三個層級：純資訊（Informative）、表面放置（Surface）、空間結合（Surrounding）。

純資訊表示以資訊呈現為主，影像內容並不特別與空間結合；而「表面放置」則是上述的「Putting Something on the Table」的類型，影像看起來存在真實空間的某個「平面」上，但並不會和環境有近一步的互動；而「空間結合」就是和現實空間有更近一步的互動。

AR 的動作模式

這個維度根據「觀眾的操作行為」來分類，或著也可以說是「鏡頭運動」的方式。這部分是觀察現有案例歸納而來，我認為可以分成固定式（Fixed）、觀察式（Observative）、探索式（Exploratory）三種。

「固定式」指的是攝影機不會移動的類型。這類很常見於互動裝置，在遠處放置一個攝影機，然後在觀眾進入時，會產生相對應的動畫。

「觀察式」指的是觀眾拿著裝置，圍繞著物件移動，鏡頭向內的從各個角度觀察一個物件，所以稱為觀察式。目前一般我們常在說的 AR 多半是指這一種。

「探索式」則是和「觀察式」相反，是一種向外的行為。大概就像是 Pokemon GO 那樣的概念，我們知道有很多寶可夢座落在現實世界的某處，但不確定在哪，所以我們移動，去「探索」，故稱為「探索式」。

以上是三種動作模式的描述，如果覺得不太清楚也沒關係，後面有很多案例可以參考。

 

AR 的九種表現模式

從「動作模式」與「虛實關係」這兩個維度來分，我們可以得出一共有 9 種的表現模式。

	Fixed 固定式	Observative 觀察式	Exploratory 探索式
Informative 純資訊	Fixed-Informative	Observative-Informative	Exploratory-Informative
Suface 表面放置	Fixed-Surface	Observative-Surface	Exploratory-Surface
Surrounding 空間結合	Fixed-Surrounding	Observative-Surrounding	Exploratory-Surrounding

固定式（Fixed）

「固定式」指的是攝影機不會移動的類型。這類很常見於互動裝置，在遠處放置一個攝影機，然後在觀眾進入時，會產生相對應的動畫。

 

Fixed-Informative

固定式以資訊呈現為主的，大概就像是新聞播報、或是氣象播報，這種在人物旁邊安插圖案的設計了。這邊的圖形雖然也存在三維空間中，但其注重的是資訊，並不在乎影像和空間的關係，因此可以被歸類在 Fixed-Informative。

 

或另外像《是誰在說話》這個互動裝置作品，當你把物件放上去後，他會根據你的物件產生一組文字。擴增的是文字，是屬於資訊，也可以歸類在 Fixed-Informative。

Fixed-Surface

這類有很多商業行銷的案例，由於視角是固定的，所以可以知道空間中的平面為何，並讓影像的角度配合現實環境，以達到虛實整合的效果。但由於影像指示單純覆蓋在現實影像上，所以影像內容並沒有進一步和空間呼應。

Fixed-Surrounding

如果在影像的處理上再更細緻一點，就可以達到像是真的與環境結合的感覺。像這個〈Frozen Planet〉就藉由在展場中實際擺出場景道具，讓影像感覺真實存在空間中，而不僅僅是存在一個平面上。

或像這個 Disney 的〈Magic Bench〉則是利用感測技術，讓真人的動作可以在動畫產生陰影、跟角色互動，讓虛擬物跟環境有更緊密的結合。

或像這個攀岩的應用，加入了許多感測器以偵測使用者的動作，讓影像跟空間、使用者，有更緊密的結合。雖然這個的影像是投影的，視覺上是「平面」的，但由於跟攀岩的牆壁、攀岩的人能有緊密結合的互動，所以歸類在 Fixed-Surrounding。

 

觀察式（Observative）

「觀察式」指的是觀眾拿著裝置，圍繞著物件移動，鏡頭向內的從各個角度觀察一個物件，所以稱為觀察式。目前一般我們常在說的 AR 多半是指這一種。

Observative-Informative

最符合這個形式的是〈Vuforia Chalk〉。這是個方便遠端教學的工具，使用者可以把手機畫面分享給另一個人，讓別人可以在畫面上畫圖，以協助障礙排除、教學。這邊的影像確實有存在三維空間中，不過影像的重點在於指導，是一種資訊的概念，比較不重視影像與物件的結合，故歸類在 Observative-Informative。

Observative-Surface

這一類的應用是現今 AR 的主流，也是我在所謂的「Putting Something on the Table」的形式。這類應用的視覺可以是平面的，也可以是立體的，重點在於使用者對眼前的這個物件感興趣，並且也對 AR 產生的虛擬影像感興趣。

〈The Machines AR〉是隨著前幾個月的 Apple 發表會推出的作品，雖然使用了較新的 ARKit 製作，但本質上也沒有跳脫 Surface 的層面，也仍然是「Putting Something on the Table」。

 

Observative-Surronding

這類的作品可說是我製作的〈A Week A Project〉中特別關注的點。比起 Surface，Surrounding 更注重跟現實物件的緊密結合。雖然技術上不一定有偵測出真實的空間，而是靠單純的圖案辨識，但是透過一些物件的擺放、程式的調整，讓影像與空間看起來關係更密切。

 

探索式（Exploratory）

這一類的使用者關注的不再是單一的物件，而是和外在環境的關係，這類的虛擬物件會藏在環境中的某些地方，使用者要拿著裝置去找到這些虛擬物，故有一種「探索」的感覺。

Exploratory-Informative

這一類感覺上有點像是 LBS（Location Base System）的應用，關注使用者所在的地點，並根據這個地點給予一些額外的資訊（資料的擴增）。像 Captain’s Conquest 就是一個根據玩家位置來作戰的遊戲，根據玩家的實際位置，並給每位玩家擴增「海盜船」這個身份，並在城市中作戰。

或〈Hyper Reality〉是一個假想的影片作品，其中的 AR 呈現也是以資訊為主，是一種 Informative 式的表現。（不過其中有些視覺比較立體，也放置在空間中，那些部分可以歸類在Exploratory-Surface）

Exploratory-Surface

這一類大概就是〈Pokemon GO〉最具代表性了。因為手機有水平儀，能夠大概知道傾斜的角度，所以可以推估地面的位置，以創造一種寶可夢存在於空間中的感覺。

或著另一個博物館製作的〈Street Museum〉也是一個很棒的例子。使用者可以在街道上尋找特別的地點，讓照片在某個視角與現實結合。

Exploratory-Surrounding

在〈Pokemon GO〉最一開始的宣傳片，裡面的概念就是屬於這類。寶可夢不只待在空間中，還可以躲藏在椅子下、躲在岩石背後。可惜目前手持裝置的環境感測技術尚不足，因此這樣的應用目前只存在於想像中。

但藉由一些環境的與程式的配合，便可以達到類似的效果，例如我之前做的〈Door〉。

 

不同動作模式關注的重點不同

從上面的案例來看，我們可以感受出這中間有一些共通點。以下試著歸納與論述每種動作模式的表現重點。

固定式 — 注重與使用者的互動

固定式的 AR，與其說是個「AR 應用」，更像是「互動裝置」。尤其從上面的案例來看，無論是 Informative、Surface、或是Surrounding，他們最關注的重點都是與觀眾（使用者）的互動。由於固定式的視角不會改變，所以可以針對地點、地形做近一步影像處理，讓虛實之間的效果結合得更好。

觀察式 — 影像與現實物件的關係

觀察式和固定式最大的不同，就在於觀察式的視角是可以移動的，所以這類的 AR 最重要的就是視角的轉換。而這種視角轉換所創造的效果，是一種視覺與物件、物件與空間的關係，讓虛擬的影像和原來現實之間的互動。像案例中的幾張 AR 繪畫，如果 AR 出現的視覺，和那張繪畫本身關係不大，就不有趣了。所以虛擬的影像和現實物件的關係，是最為重要的。

探索式 — 尋寶的驚喜感

我認為探索式所關注的是一種期待感。觀眾拿著裝置，在空間中移動，尋找肉眼看不見的其他事物，就像在尋寶一般。所以如何在空間中安插物件，並讓使用者去探索，會是這類表現形式的特點。

 

結論：能說清楚，才能夠被討論

這個時代我們常常講 AR，然而這個 AR 指的往往是一個很空泛的大概念。所以本文嘗試整理一些 AR 案例，並試著用系統化的方式描述這些 AR 的特色、與表現上的重點。這樣當我們在討論 AR 時，我們才有辦法明確的指出，我們在討論的到底是什麼。

並且，在抽象化了解 AR 的各種特色後，我們才有辦法跳脫技術來思考。可以優先思考「想要的效果」而不是一開始就討論 Vuforia 或 ARKit，一方面卻又被技術本身所限制。

以上是本文希望能達到的重點，不過大部分的思考也僅只是我的所見所聞，歸納整理出來的結果。如果有什麼其他的想法，也請務必一起來討論喔。畢竟這些技術、表現方法，也都還在持續發展中。我們唯有透過不斷的對話與思考，才有機會深入接觸到這些媒材的本質。

 

 

[1] P. Mistry, P. Maes, and L. Chang. WUW -wear ur world: a wearable gestural interface. In [119], pp. 4111–4116. D. Mizell. Boeing‟s wire bundle assembly project. In [23], pp. 447–467. ISBN 0805829016

[2] Ronald T. Azuma, 1997, A Survey of Augmented Reality

 

封面圖：AR 藝術家 Zenka 的作品