DWAL-TR-2 014-001 Nov.2 4 2 0 1 4 丸山隆一* 田中美里* * 山川宏* * * Ryuichi Maruyama*, Misato Tanaka** and Hiroshi Yamakawa*** * 全脳アーキテクチャ勉強会若手の会（勤務先：森北出版株式会社） ** 同志社大学理工学部 Faculty of Science and Engineering, Doshisha University *** 株式会社ドワンゴ人工知能研究所 DWANGO Co., ltd. Artiﬁcial Intelligence Laboratory 第 8 回全脳アーキテクチャ勉強会「時系列データ」報告書丸山隆一* 田中美里** 山川宏*** * 全脳アーキテクチャ勉強会若手の会（勤務先：森北出版株式会社） ** 同志社大学理工学部 *** 株式会社ドワンゴ人工知能研究所第 8 回全脳アーキテクチャ勉強会のテーマは，『時系列データ』．脳はいかに時間を扱っているのか，そして最新の人工知能研究は時間系列データをどう扱っているのかをテーマに，認知神経科学・計算論的神経科学・認知ロボティクスの各分野から 3 名の講師が招かれ，講演が行われた．200 名の定員がすぐに埋まってキャンセル待ちが出るほどの盛況ぶりで，当日の会場は熱気に包まれた（図 1）．図 1：勉強会の会場の様子講演①：「脳における時間順序判断の確率論的最適化」(山口大学時間学研究所宮崎真氏) 私たちは，時間の流れのなかに生きている．しかし，私たちに感じられる時間は，物理的な時間と常に一致しているわけではなく，過去の経験によって伸び縮みすることが知られている．そのような主観的時間のずれは，脳のなかでどうつくり出され，ヒトが生きていく上でどのよ 1 うに役に立っているのだろうか．宮崎真氏による最初の講演では，認知神経科学の立場から，脳内で時間のずれが生じるメカニズムの一つとしての「ベイズ推定」に着目した一連の研究が紹介された（図 2）．脳内でベイズ推定が働くとはどういうことだろうか．講演の冒頭では，その意義について野球のバッティングの例を使って分かりやすく説明された（宮崎氏はスポーツ図 2：会場からの質問に答える宮崎氏からヒントを得て認知科学の研究を進めておられるとのこと）．脳が対処しなければならない不確実性には，入力のもつノイズ（野球の例で言えば，ピッチャ―が投げるコースのバラつき）のほかに，神経活動がもつノイズ（知覚したコースと実際のコースのずれ）がある．ベイズ推定を使えば，過去の事前分布（ピッチャーの投げたコース）から，次の試行（投球）の知覚を修正できる．実際にベイズ推定によって神経系のもつノイズの影響を減らせることは数学的にも示せる．次に，そのようなベイズ推定のメカニズムが時間順序判断において実際に働いていることを示す証拠として，ヒトを対象とした心理物理実験が紹介された．この実験は，繰り返される二つの刺激の主観的な順序が過去の刺激の履歴によってどのように変わるかを調べるもので，従来から有力な仮説として知られていた「時差順応」とよばれるメカニズムと「ベイズ推定」のメカニズムのどちらが働くかによって真逆の結果が予想されるような実験パラダイムとなっていた．時差順応とは，音と光などの異種の感覚情報の時間的ずれを調整するために存在すると考えられているメカニズムであり，二つの刺激の反復の時差を打ち消す効果をもつ．一方，ベイズ推定が働くとすると，逆に二つの刺激の時間差に対して鋭敏に反応できることが予想される．繰り返される二つの刺激として，二つとも触覚刺激を使った実験の結果では，音光刺激組の場合と異なり「ベイズ推定モデル」が予測する結果が得られたのだという．これはまた，時差順応が多感覚間の時間的統合のために機能している仮説を支持するものでもある．今回の講演ではこのベイズ推定に焦点が当てられていたが，実際の脳内では両方のメカニズムが拮抗していると考えられるそうだ．講演の後半では，そのベイズ推定が，脳内でどのような機構で実現されているのかを調べた研究が披露された．ベイズ推定課題時に活動する部位が fMRI を用いた実験で特定され，さら 2 に脳波計測を用いることで，それらの部位が活動するタイミングについての手掛かりも得られてきている．また，ある部位に経頭蓋磁気刺激(TMS)を与えて活動を阻害することで，脳のベイズ推定が機能しなくなるという結果も得られているという．会場からは，「ベイズ推定のための事前知識は脳のどこに蓄えられているのか」という，全脳アーキテクチャらしい質問も投げかけられた．主な参考文献： ● Makoto Miyazaki, Shinya Yamamoto, Sunao Uchida & Shigeru Kitazawa. Bayesian calibration of simultaneity in tactile temporal order judgment. Nature Neuroscience 9, 875 - 877 (2006) ● Takeuchi S, Sekiguchi H, Miyazaki M. Effect of transcranial magnetic stimulation applied over the premotor cortices on Bayesian estimation in tactile temporal-order judgment. The 17th World Congress of Psychophysiology (IOP2014), Hiroshima, Japan, Sep. 2327, 2014. 講演 ② ：「順序とタイミングの神経回路モデル」 (電気通信大学山崎匡氏 ) 脳が行う時間処理を神経回路モデルで模倣するためには，神経回路レベルでの情報処理の機構を理解することが必要になるだろう．山崎匡氏による講演では，その具体例となる 2 種類の計算論モデルが紹介された（図 3）．一つめは，大脳皮質における運動の順序の表現に関するモデル．大脳皮質の運動野では，一次運動野→補足運動野→前補足運動野→前頭前野という階層構造がそのまま運動の情報表現の階層構造に対応していることが知られている．それを鮮やかに示すのが，丹治順教授らによって行われた一連の実験である．この実験では，サルに「ものをつかむ，まわす，引っ張る」などという順序のある運動を学習させておいて，運動野のニューロンの活動をみる．すると，一次運動野のニューロンは，特定の行動時に発火するのに対し，より高次の運動野では「二つの行動を交互に繰り返す」といった抽象度の高い「行動のパターン」が表現されるようになる．サルの脳ではこれらの階層的な表現を使って時間順序が学習されていると考えられ，その計算モデルも紹介された．この運動学習の事例は，運動野の階層構造という「ディープ」な構造に，時間処理が託されている例となっている． 3 一方で，ディープでない（「浅い」）脳の構造も，時間を扱っている場合がある．そのような例として，山崎氏自身の小脳に関する研究が紹介された．このモデルが説明するのは「瞬目反射」と呼ばれる条件づけの実験であり，これは音（条件刺激）を鳴らしてから 500msec 後に眼に空気（無条件刺激）を吹きかけると，実際に空気がこなくても音を聞いただけで眼を閉じるよう図 3：小脳の計算モデルについて説明する山崎氏になるというものだ．この条件づけが成立するためには，脳のどこかで実時間がカウントされていなければならないが，それを担っているのが小脳である．小脳での学習において，特定の神経活動が繰り返されるとシナプスの情報伝達効率が弱まる「長期減弱（LTD: Long Term Depression）」が起こることは知られていた．これは、小脳が特定の運動を覚える際に，無駄な情報を削減するために起こると考えられている．このような小脳の LTD を発生させているのが，顆粒細胞とプルキンエ細胞という 2 種類の細胞が形成する 2 層パーセプトロン（無数の顆粒細胞が，一つのプルキンエ細胞に信号を送る構成）であり，それらがどのような学習を行っているかを明らかにする必要がある．先行研究として顆粒層の前の入力が数珠つなぎになっている，顆粒細胞が周期・位相の異なる信号を出力するなど，さまざまなモデルが考えられてきた中で，山崎氏らは，顆粒層が（ゴルジ細胞という別の抑制性細胞を介して）相互に結合していることに着目し，ランダムな時間応答性をもつ顆粒細胞の信号を加算することによってタイミングが計られているとするモデルをつくった．のちにこのモデルは洗練され，小脳がレザボア(Reservoir)・コンピュテーションというニューラルネットの一種を実現しているとするモデルに発展している．レザボア・コンピュテーションは，相互に結合した第 1 層の時空間ダイナミクスのなかに入力の情報を埋め込むという方式のニューラルネットで，入力が貯水池（レザボア）に入ると，波紋のように時系列パターンとして広がっていくことからその名がつけられているそうだ．山崎氏らはこの小脳の計算モデルを GPU に実装しており，講演のなかでは，ロボットが飛んでくるボールのタイミングを学習してバッティングができるようになる様子を映した動画が披露された．このデモは，GPU メーカーの NVIDIA 社のブログにも取り上げられたとのことだ．（リンク：http://blogs.nvidia.com/blog/2013/04/26/better-batting-with-cuda-how-gpu-based- 4 brain-research-helped-japanese-robot-swing-for-the-fences/）．会場からは，現実的なタスクでは，しばしばタイミングを図るための起点自体を見つけ出し，それを連鎖させる必要があるあるのではないかとの質問があったが，そうした機構が小脳とその他の脳器官とのどのような連携によって実現されるかについての解明のためには，さらなる研究が必要となりそうである．今回紹介された二つのモデルの例から，ディープなニューラルネット，ディープでないニューラルネットのどちらも，時間の扱いに関与し得ることが分かる．講演中に「小脳は 2 層しかないから全脳アーキテクチュア的には面白くないかも」とおっしゃる山崎氏に対し，質疑では勉強会主催者の一人である一杉氏が「いや，小脳も重要だし，全脳のディープなネットワークに組みこまれていると見ることも出来るのでは」と返す一幕もあった．昨年より新学術領域研究「こころの時間学」が進行中であることや，山崎氏が前の週に講師を務めたオータムスクール（ASCONE）でも「時間」が主題になっていたとのことなどからも，「時間」がホットトピックになっていることがうかがえる．主な参考文献： ! Keisetsu Shima , Masaki Isoda , Hajime Mushiake & Jun Tanji. Categorization of behavioural sequences in the prefrontal cortex. Nature 445, 315–318 (18 January 2007) ! Tadashi Yamazaki, Jun Igarashi. Realtime Cerebellum: A large-scale spiking network model of the cerebellum that runs in realtime using a graphics processing unit. Neural Networks, 47: 103-111, 2013. (Open Access) 講演 ③ ：「深層学習によるロボットの感覚運動ダイナミクスの学習」 (早稲田大学尾形哲也氏 ) 自分の体を動かしてデータを集めて行動を決めなければならないロボットにとっては，時系列データを扱うことは必須となる．最後の尾形哲也氏の講演では，ディープラーニングを時系列の感覚処理に応用し，ロボットを搭載する研究が紹介された（図 4）．全脳アーキテクチャ勉強会の中心的話題でもあるディープラーニングだが，これまで注目を集めてきた応用の多くは，テキストデータや静止画像といった静的なデータに対するものだった．そこで尾形氏らは，時系列を扱えるようにディープラーニングを拡張し，かつ音声・映像・運動情報という多種の感覚情報を統合して扱うマルチモーダルな学習の手法を開発した．これは，ディープラーニングで脚光を浴びたオートエンコーダと呼ばれる圧縮手法を用いて多次元の時系列データを圧縮し，時間幅のもつ多種感覚情報を丸ごと扱えるようにしたものだ． 5 単一モダリティの場合に比べて，より正確な行動認識（ロボットが今何をしているのかを認識する）ができるだけでなく，ロボットが見ている映像から今の関節の動きを推定したり，逆に関節の動きから見えているはずの映像を再構成したりといった，「連想」が可能になるのが特徴だという．なお，ディープラーニングをロボットに応用した事例はまだ少なく，尾形氏の論文は RAS（Robotics and Autonomous Systems）図 4：深層学習のロボティクスへの応用について語る尾形氏誌の”most downloaded paper”に輝いているとのことだ．より広範囲の「過去＝コンテキスト」を使うための手法として，再帰的ニューラルネットワーク（Recurrent Neural Network：RNN）を使った研究が紹介された．ニューロンの出力が自分に戻ってくるというのが RNN の特徴だが，これはすなわち過去の情報が再び今の自分に影響を与えることを意味する．そのため，RNN をロボットに搭載することで，ロボットが経験した過去，すなわち「コンテキスト」を保持できると考えられる．これを上手く実装するための工夫として，早い時間スケール・遅い時間スケールのコンテキストを表現するためのモジュールを分けて用意することや，自分の「推定のよさ」に応じて戦略を変えるとよいことなどが説明された．本講演では，ロボットに記憶を持たせるためのいくつかの試みが紹介され，特にループ構造をもつリカレントネットワークをディープラーニングに組み合わせていく方向性が示された．また，RNN を記憶装置として使うためのノウハウや知見がすでに集まっている様子が紹介され，参加者の興味を惹きつけていた．この RNN を用いた記憶の研究は Google なども乗り出しており，今後ますます注目されていくことが予想される．主な参考文献： ● Kuniaki Noda, Hiroaki Arie, Yuki Suga, Tetsuya Ogata Multimodal integration learning of robot behavior using deep neural networks. Robotics and Autonomous Systems Volume 62, Issue 6, June 2014, Pages 721–736 6 ● Y. Yamashita and J. Tani: "Emergence of functional hierarchy in a multiple timescale neural network model: a humanoid robot experiment", PLoS Computational Biology, Vol.4, Issue.11, e1000220, 2008. ● J. Namikawa, R. Nishimoto, J. Tani: "A neurodynamic account of spontaneous behaviour", PLoS Computational Biology, Vol.7, Issue.10, e1002221, 2011. ● Wataru HINOSHITA, Horiaki ARIE, Jun TANI, Hiroshi G. OKUNO, Tetsuya OGATA: Emergence of Hierarchical Structure mirroring Linguistic Composition in a Recurrent Neural Network, Neural Networks, Vol.24, No.4, pp.311-320, Jan. 12. 2011. (doi:10.1016/j.neunet.2010.12.006) おわりに時間の経過のなかに生きる私たちは，そのつど外界から情報を受け取り，判断をし，行動を選ばなければならない．その意味で，たとえ大量のテキストデータや画像データをから正確に何かを識別するアルゴリズムがつくれたとしても，その学習が時間的コンテキストのなかで行われるのでなければ，それは知能の一断面としての近似にしかならないだろう．脳は時系列データ（つまり「過去」）をどのように貯めこみ，どう使っているのだろうか．当然，そのメカニズムは一つではないはずだ．時間スケールの違い（0.1 秒前の情報を使うのか，1 年前の記憶を使うのか）もあるし，目的の違い（素振りどおりのスウィングがしたいのか，昨日出会った人の名前を思い出したいのか）によっても変わってくるだろう．ある種の過去は「事前確率」として脳に保持されているかもしれないし，また別種の時間は（小脳の顆粒細胞における時間表現のように）思いもよらない複雑な様式で扱われているかもしれない．そうしたメカニズムのすべてを，人工知能に搭載できるまでに解明するというのは，簡単ではなさそうだ．とはいえ，今回の三つの講演からは，その目標に少しずつでも着実に近づいていることが分かった．認知神経科学からは，「ベイズ推定」という一種の「過去の使い方」が明らかにされ，それを担う脳部位が特定されはじめている．もう一方では，小脳の構造を模したモデルで時間順序の学習が可能になったり，ディープラーニングの拡張的手法がマルチモーダルな情報統合や，時系列データの扱いに応用されたりしてきている．更に時間を扱う神経回路モデルとしても，従来主流であったリカレントニューラルネットワークだけでなく，Reservoir Computing や，さらに Long short term memory などの活用も見直され，その新たな可能性が検討され始めている．こうしたことから，時間を扱うことのできる汎用人工知能の実現に向けた，確かな前進を感じることができた． 7