今回は８月２９日にベルビューチルドレンアカデミー(BCA)で行われた落合陽一氏の講演会についてのレポートです。こちらの様子はUstreamで映像を見ることも出来ます。
ハッキングの物象化ーここで言う、ハッキングとは「コンピュータで悪いことをする＝クラッキング」のことではなく、コンピュータを使って面白いことをしようということ。コンピュータの使い方の対象は、昔だったらコンピュータの中で完結するようなことが多かった。例えばWebにサービスをのせたり、画面の中で動くアプリをつくるようなことがコンピュータの応用先の一番のものだった。でも今はそれが変わりつつある。それは、スマホ、Web、タブレット、ウェアラブルなどのデバイスに依存しないサービスやエクスペリエンス。はたまた、例えば、この世界にあるアナログの物体自体でさえもコンピュータのプログラミングの対象になっている。たとえば、最先端の3Dプリンターを使えば、ものの固さをプログラミングで設定して、製造時に組み立て（ボタンと筐体を別々につくるなど）が必要なくなるなど、コンピュータのこの世界に対するプログラミング自由度は前世紀にくらべ格段に上がっている。
この世界をプログラミングする。一番簡単なもの、そして人間にとって恩恵があるものは何だろうか。それは光だと考えられる。Photon（光子）は軽いから一番コントロールしやすいし、現にコンピュータの画面やスマホの画面、信号機、ライトなど人類が一番コントロールしているもの。生活の中で光を介することで情報を人間は受け取っている。物理世界をハックする上で、人が一番手軽でかつ効果的に物理的なハックをする方法は光を操ること。例えばプロジェクションマッピングして見た目が変わったようにみせることなどはいい例だ。
まずは、手始めに色を変えるというところから物理量をハッキングしていく。光を自由にして、そのあと光をどうやって変えていく、光以上の変化は何があるのか。この世界をそうやってハックしていくこと、それが今後の人類の課題に思える。彼は、その分野に対して日夜研究をしている。
- 仮想世界をどうやって計算するか
２０世紀後半からコンピュータグラフィクスは進歩して来た。５０年の進歩の末、コンピュータグラフィックスはコンピュータの中では非常に自由な振る舞いができるようになった。コンピュータグラフィクスが非常に自由な反面、私たちの世界、コンピュータの外ではコンピュータのロジックで世界を操るにはまだまだ制約が大きい。光子を発射して受け取るくらいのことしか出来ないし、そもそもその光子でさえも空中で曲げることは出来ず、映像は空中で曲がらない。
実際の物体でいえば、たとえばテクスチャ（材質表現）を考えてみよう。机のテクスチャが木なのかペンキで塗られているのか、はたまた金属で出来ているのか。パソコン画面の中では簡単にクリック一つで変えられるテクスチャですらも、現実世界では変更が難しい。それをどうやって変えていくのか、というのが彼の研究テーマ一つ。
１９６５年にHMD（ヘッドマウントディスプレイ）を開発したアイヴァン・サザランドは、『究極のディスプレイとは物体の存在をコントロールする空間、適切なプログラミングを用いれば不思議の国のアリスが歩いたような魔法の世界を実現する空間になる』と論文に記した。彼のモチベーションの一つはこのビジョンを実現することである。
今までは、Web、スマホ、ウェアラブル、モノのインターネットを通じて、現実世界からコンピュータの中のデジタルな世界に情報が流れ込んでいっていた。しかし、コンピュータの中から情報が染み出し始め、現実に向かって情報が流れていっている。現実に情報が触れ戻ってくる。たとえば90年代にはAR（Augmented Reality：拡張現実）という概念が提案され、 HMDのグラスと現実を重ねて見ながら、実際に操作すると反応するものを研究者達は作ってきた。
- 鍵は出力系の技術
今まではセンシングだったりカメラ計算だったりしたものが、コンピュータの中に情報を捉えるために重要だった。今後２１世紀前半に重要になってくるのは、コンピュータの計算によって実際に手で触れるものだったり、物理世界で行う体験をデザインすること。言い換えると、コンピュータグラフィックスの現実化。その反面、センシングやカメラ計算の入力系技術はすでに成熟期を迎えていて、産業とアカデミックの区別はつきにくくなっている。どのような問題を解決すべきかは世界中で認知され、取り組まれている。
たとえば、この世界のことをセンシングする方法を考えたときに、プロジェクターはフォトン発射装置だと考えることが出来る。そしてカメラはフォトン感知装置。プロジェクターでフォトンを発射し、カメラでフォトンの反射を感知すればものの形はだいたい分かる。これは魚群探知機のソナーと同じ原理。１００行くらいのプログラミングで、世の中の空間とカメラからみた空間の対応をプロジェクターを使って簡単に作れる。これと同じことを赤外線でやっているのがキネクトで、でも赤外光も投光器もなくても、プロジェクターとカメラがあれば、世の中の深度情報（3D立体情報）をとってくることが出来る。
もうこんなに簡単にプログラミングすることができるのだから、次に簡単に思いつくのは、それをスマホに載せたり、スマホについている機能でプログラミングしたりしてみること。たとえばAndroidでは既に始まっているし、iPhoneにもすぐ載るのではないだろうか。抽象的に考えて、何をやっているかというと、物理量と物理量の対応関係を見て、この世界はどうであるかということを探している。
打鍵士という職業がある。彼らは、缶詰のふたをたたいて中身が腐っているかどうかを調べる技能の持ち主だ。これは今世の中で行われているプログラミング手法と同じことをしている。それはどういうことかというと、棒で缶詰をたたいて、その反響音を聞いて、覚えて、中に何が入っているか入っていないかということを当てるということをしている。最新のキネクトに入っている深さの検出原理も、単純に言うと光を当てて（光で物体をたたいて）光の反響を見ている。何回もそれを行うことによって、それを覚えさせる。今まで人間が金属の棒でたたいてやっていたようなことを、コンピュータは充分に速いから、コンピュータを使えば、１秒もかからずに出来る。何かを発射して何かを取得し、その関係を覚えること、コンピュータはそれが得意だ。
たとえばこの世界のフレームレートを考えてみよう。フレームレートは画面が一秒間に何回書き変わるかを示す値でたとえばパソコンの画面は1秒間に60回何回書き変わる、その変化は人間の目で気付くことはない。
でも、3Dプリンターで作ったものフレームレートは0回、つまり書き変わらない。もし、ものの表面が1秒間に何度も書き変わったら、すごい、それはきっと今までと全然違う表現につながる。彼が興味があるのは、世の中をどうやって高スピードで、人間が気付かないようなスピードで違うものに変えていくかということ。それは、どうやってコンピュータグラフィックスを現実にするかということに似ている。
研究課題は、世の中をコンピュータにとって扱いやすいところから「書き換えたり動かしたり」していくか。遠い未来の世界では、この世界のものはコンピュータグラフィクスと同様に自由に動くし、テクスチャでいえば物体の表面の反射率は自由に変わるし、触り心地も変わったりするのではないかと思う。
そしてそれらを実現するためにモノの特性自体は変わらないけど、コンピュータによって場が変わるということをやっている。もし、我々の世界にあるようなアナログ的なものを全てデジタルマテリアルに変えてしまって、「ターミネーター２」に出てくる液体金属人間みたいな世界でつくったとしたら、この世界はあらゆることがプログラミング可能な理想郷に変わるかもしれない。でも、絶対そんな世界にはならないと思っている。アナログなものにはアナログなものの、コンピュータに出せない良さがあるからだ。
あらゆるところをコンピュータセンシングするところまではいくと思うが、あらゆるものがコンピュータアクチュエイトされるにはあと200年くらいかかるだろうと予測している。その前に、３Dプリンターみたいなものでつくられたフレームレート０のものが、コンピュータによる場で操られ、デジタル的な振る舞いをするような世界になるのではないか。
つまり、アナログなものでも、デジタル制御されているから、「これ、柔らかかかったはずなのに、固くなっている」ぐらいのことはなら起こりそうだ。世の中の場が変わることによって、物体自体に何かを組み込まずにも動く／変化するということをしている。
- コンピュータが得意なことは、密集して高速で計算すること。その得意なところを生かしたい。
落合さんは、世界に７人／７グループくらいしかいない、つまりこの世界の１０億分の１ぐらいしか興味のない、「テクスチャーを実際に書き換えたい」、というモチベーションで研究をしている派。でも、やりたいことは非常に単純。材質を書き換えたいのだ。
それは、ギリシャ神話にミダスという人物が出てくる。彼は触ったものを全て金に変える能力を持ち、ミダスタッチという逸話を持っている。ミダスはうっかり娘を触って金に変えてしまったが、この世界もそのくらい自由に材質感をかえられてもよいはずだ。たとえば我々は彫刻を見たときにそれが石像なのか金で出来ているのかは目で見て分かる。しかし、今この世界のものが、金と石像を行き来するようなことはない。アルミが紙になったり、金になったりすることは想像がつかない。なぜかというと、物体の表面にある反射をコントロールすることは難しいからだ。ここのキーは、それをどうやってコントロールするか、ということに尽きる。
・ライトフィールド
この空間にある光の情報は４次元分ある。しかし、反射を考えるには出てくる光だけではなくて、当たって跳ね返る光も計算する必要があり、材質感は８次元の関数で表現される。それをつくるため、コロイド溶液（シャボン膜）で高速振動するディスプレイをつくった。これは表面反射の広がり方を変えることが出来る。
たとえば、これを応用して３Dディスプレイをつくるのだったら、視点方向によって絵が変わればいい。もし高速に波打っている平面が視野角をコントロールできるのであったら、映像を何種類か投影して、見ている方向によって絵が変えられるはず。スクリーン自体が高速で振動しているので、見ている方向によって映像・反射を変えることが出来る。視野角を見る方向によってコントロールできる。
また、反射を混ぜ合わせることができれば映像に反射をくわえることも可能だ。鏡の状態と拡散する物体の状態を同時に持つ透明なフィルムがあったら、視点を変えたときにモルフォ蝶の様なテカリが構成されうる。
https://www.youtube.com/watch?v=tvxJs_4m0ZE
今はシャボン玉という薄い膜しか見つかっていないが、遠い将来に鏡の状態と拡散反射の状態を切り替えられるような魔法の板が開発されると信じている。物体にプロジェクションマッピングが容易にできる世界に進歩する前提では、物体の材質感は自由にコントロールされうる。それは例えば、アルミがいきなり金になったりするはず。そんな世界が来たら、きっとおもしろいし美しい。いったい何がしたいかというと、この世界にデジタルな錬金術が作りたい。他にも視覚以外に、この世界でどうやったらデジタルじゃないものの触覚を変えることが出来るのかという研究もしている。
https://www.youtube.com/watch?v=8ALazXQXpNo
最近やっていることは、物体をどうやって空中にとどめて、どうやって空中で動かすかといういわば人類の夢の一つ。ティンカーベルがピーターパンにメッセージを伝えるとき、魔法の粉で絵を描くことからヒントを得たピクシーダストは、ビームではなく、平面の音響場をコントロールすることで、空中にスクリーンを作ったり、空中で絵を描いたりできるかを試している。利点は、空中に光らないもので絵を描くことが出来る。フォトンは簡単に操作できるが、フォトン以外のものできれいにものを描こうとするのは大変。そのための指針として、空中にコンピュータ制御された場があって、そこで物体が自由に踊るということが出来るといい。これが実現すれば、例えばショーウィンドウでものが飛んで動き回ったり，スタジアムで空中にスクリーンが浮揚したりするはず。
https://www.youtube.com/watch?v=NLgD3EtxwdY
これはコンピュータグラフィクスといえるだろうか？ 昔から、グラフィックスというものは昔からあって、例えば画家が絵を描くのは、絵の具というメディアを使って彼らのイマジネーションを描き出すこと。一方LCD（Liquid-Crystal Display）スクリーンで我々が何をやっているかというと、人の考えをやはりLCDを使って描いてこの世界にレンダリングしている。３Dプリンターは何をやっているかというと、樹脂を使ってデータを物体化するが、空間がポテンシャル場によって記述されグラフィックスを「潜在的に」持っているところに、ものが出会ったら、初めてものが並んで絵が描かれる。それは今の描画行為よりも一次元高いレベルで自由な描画行為だ。物体にはなってないし、まだ物理量は変わってはいないが、そこに何かが加わったときに始めてグラフィックスになりうる場があると、それは新しいジャンルになりえると思う。
彼は、今、物理量をどうやってコンピュータ側からコントロールするかということに興味があるそうだ。世の中は物理から計算へという流れから、逆に計算からもう一回物理に戻ってくるという流れにシフトしている。それは、情報処理を行うことによって実世界で何かをしようと試みることだ。１９４０年にクロード・シャノンが修士論文を書き変えた段階では、情報はアナログ世界の図書館の中ぐらいにしか存在しなかった。１９８２年から２０００年代にかけてインターネットプロトコルが普及し、情報量がwebやPCなど仮想世界に一気に流れた。今になってくると、ブログや動画など仮想世界に情報があふれている。情報が現実世界の方にしみ出したがっている。その橋渡しをすれば、いいチャンスはたくさんあるはずだということを研究している。
講演会終了後も、参加者からの質問に答えてくださり、学生には「数学と物理を勉強すべき」とメッセージを頂きました。個人的には、「情報が仮想世界から物理世界に溢れ出してきている」という考え方がおもしろく、これからの世界を考えるときの鍵になっているように感じました。
次回は９月１９日にソフトウェアエンジニアのための就職・転職講座を行います。少人数の講座となっていますので、興味のある方は早めにお申し込みください。