/

AI 作為一種創作媒材:Keijiro Takahashi 的 VJ 藝術

近年來 AI 火熱,無論是理論(想像)或是實作,網路上都有不少人在談論。然而 AI 通常代表的是「取代」,是一種要毀滅人類的大魔王意象。如果談到視覺藝術,我們常會問「AI 有那個智慧可以創作嗎?」、「AI 具有美感嗎?」。直到某天我看見了 Keijiro Takahashi 運用 Pix2Pix 的一系列作品,這時我似乎才真正的明白,AI 在這個時代真正的姿態。

Keijiro Takahashi 是誰

Keijiro 是一個擅長使用 Unity3D 的 VJ。所謂的 VJ 就像是 DJ 那樣玩音樂,但是除了音樂外會再加上影像。而 VJ 的影像多半會隨著音樂變化,這樣整個演出看起來才會是一個整體。(當然也可能有直接播放預錄動畫的可能,但感覺會不太一樣)或許看影片比較好理解,這是 Keijiro 之前的演出:

而 Keijiro 用來處理影像的工具是 Unity3D(是一套近年很紅的遊戲引擎)。要在 Unity3D 裡面把視覺處理到這樣的程度,需要很多程式的技術。Keijiro 是非常厲害的影像工程師,對於電腦圖學有很深的技術底子,與此同時他也是一個很厲害的藝術家。

在此也要先提一下 VJ 在視覺上的特性,因為這會跟後面 AI 的應用有點關係。VJ 的重點是:即時、多變、混亂。即時是為了和音樂搭配,而多變與混亂,則是為了讓觀眾不容易膩。VJ 這種演出,很多時候是使用一些預錄好的素材,加上一些特效混合而成。例如上面那個演出,左右邊各有一個 3D 模型(預錄好的素材),為了讓視覺豐富,會對模型做一些處理,例如變成方塊狀、或是形狀歪斜(特效)。

但無論特效的風格有多少種,看久了就會覺得那個模型就是那樣,有一點缺乏變化的無趣感。因此如何在影像中加入一些有機的、混亂的感覺,就是 VJ 藝術主要的課題。也因此 Keijiro 導入了 Pix2Pix 這套 AI 技術。但首先讓我們來了解一下 Pix2Pix 是什麼。

(以上對 VJ 的描述是我個人的認知,如有相關創作者不認同,請不吝指教!)

Pix2Pix 是什麼

Pix2Pix 是一套開放源碼的工具,可以讓 AI 自動把你畫的線條轉換為細節豐富的圖形。或更準確來說,先給 AI 很多的「線條」和「圖形」後,AI 會學習線條和圖形之間的關係。之後你只要畫出線條,AI 系統就會根據之前學習的結果,自動產出相對應的圖形。(這個訓練系統的動作通常稱為 train,就是訓練的意思。現代做 AI 的重點其實不在系統本身,而是如何去 train 這個系統)

上面的描述可能有點難懂,或許我們直接看些用 Pix2Pix 產出的結果:

像這邊就可以看出電腦的學習,一開始我們可以餵給 AI 右邊那張小貓圖,搭配左邊的線條圖。如此 AI 就會學習線條的特徵,當我們繪出類似左方的圖形,就會產出類似右邊的圖形。但當我們的線條比較奇怪時,結果就會不太一樣:

我們可以看到,由於左邊的線條和現實中貓的輪廓差很多,所以最後產出就很不像現實的貓,但卻保留了真實貓咪的質感,這就是 Pix2Pix 最有趣的部分。而下面那張圖的繪者畫出了屁眼,但因為之前學習的資料裡可能沒有針對屁眼去 train,所以系統很自然的把圓形變成眼睛。

圖片來源:應該也是某網友的推文,但被這個網站收集起來

而當我們開始畫一些超現實的東西,成果又不太一樣了。

圖片來源:網友 Anderson Omori 的 Twitter

 

 

從上面我們便可以看出 Pix2Pix 這套 AI 的用處。除了像 Pix2Pix 這樣模擬真實質感以外,也常被應用在自動上色工具,例如 PaintsChainer

來源:PaintsChainer 官網

看了這些案例,會發現所謂的 AI 跟「人性」根本一點關係都沒有,其實就是單純的「資料學習與複製」而已,這跟我們口中的那個會毀滅世界的「人工智慧」差異相當大 … 不過這說下去沒完沒了,就此打住。最後就讓我們看看 Keijiro 如何把 Pix2Pix 運用在 VJ 表演中吧。

Pix2Pix 與 VJ 的結合

我一直都有追蹤 Keijiro 的動態,某天就看到他開始嘗試把 Pix2Pix 實作到 Unity3D 系統中,他花了不少心力讓這套系統能達到 30 fps。他有把這整個專案放上 Github,會操作 Unity3d 的朋友可以抓下來玩玩看:Github – keijiro/Pix2Pix

一開始我還不了解,想說他把一套繪圖系統放進 Unity 裡面要幹嘛,不就只能用來做畫畫的工具 App 嗎,跟他的 VJ 有什麼關係?直到後來看到他一系列的影像測試:

尤其是影片 00:30 以後的部分,那種抽象的幾何物件,是 VJ 裡經常運用的元素,但套上了 Pix2Pix 添加「貓咪質感」後,整個視覺變得很有生命力、變得很有機!他後來也繼續試試看其他的元素,產出類似這樣的 VJ 系統:

這個 VJ 視覺系統是使用 Beeple 的影片作品訓練而成的,在 Keijiro 的 Ngx 專案頁面(也是 Open Source 喔!Keijiro 真的超佛心)底下有說明分別是那些作品。而這似乎代表著一種新的可能性!在這個資訊爆炸的年代,我們的資料可說是豐富得過剩,而這種 AI 產生視覺的方式,可以讓任何類型的影像都變成表演的元素。可能是 Twitter 上特定 Hashtag 的圖、是某個人的所有朋友分享的照片、甚至是行車紀錄器的影片等等,都可能用來「訓練」AI 資料庫。這會是一種新的創作形式嗎?

小結:AI 作為一種工具的「輔助性」

以往談到 AI 做藝術,好像我們在談論的多半是「取代」,彷彿不再需要藝術家。但事實上,從上面 Pix2Pix 的例子裡面,你會發現 AI 可以純粹被當作一種工具、一種媒材使用,單純讓影像呈現一種「有機」的生物特徵。在這個案例裡,AI 和藝術家之間的關係並非「取代」,而更像是一種「輔助」的方式存在,或也可以說是一種新的顏料。

當代(或更精確一點,2018 年)媒體對 AI 的渲染有點過度誇張,我們雖稱之為「人工智慧」,但其實目前的技術距離「智慧」這個詞還很遠。或許有一天 AI 真正具備智慧的那一天會到來,也許各媒體在報導時之所以對 AI 誇大其辭,就是看到了那樣的未來。不過要是 AI 真正具備智慧,或許我們要擔心問題,就不單純是藝術家是否還存在的問題,而是 AI 會不會想消滅人類的問題吧。

所以擔心藝術不藝術幹嘛呢,反正那也是很久以後的事。2018 年附近的 AI,就讓我們把它當作是一種新的創作媒材吧,就像荷蘭人發明了油畫那樣。

 

封面圖來源:Youtube 影片 DUB-Russell x Keijiro Takahashi 的截圖

紐耶羅

當了好久好久的研究生,算是個程式設計師,大部分都做新媒體的專案,有一個更新的很慢的粉專 混混實驗室

newyellow2@gmail.com

More Posts - Website