2015/5/6 コミュニケーション科学とヒューマンインタフェース東京工業大学知能システム科学専攻三宅研究室 [email protected] http://www.myk.dis.titech.ac.jp 4 共に創るコミュニケーション研究テーマ（理学的アプローチ）研究テーマ（工学的アプローチ）  コミュニケーション科学と共創システム  ヒューマンインタフェースと社会システムコミュニケーションと時間に関する認知神経科学共創コミュニケーションの支援システムの開発 ■共創コミュニケーションにおける主観的時間の生成と共有（ミュンヘン大学との共同研究） ■対話コミュニケーションにおける発話と身振りのタイミング生成の分析とモデル化（金沢工大との共同研究） ■合意形成の対話における情報統合プロセスの解析 ■協調タッピングにおけるタイミング共有機構の分析とモデル化 ■細胞間コミュニケーションを介する生物の形態形成モデルの構築 ■共創型介助ロボットWalk-Mateによる脳卒中患者のリハビリテーション支援（日産玉川病院との共同研究）（ホンダ技研との共同研究） ■共創型介助ロボットWalk-Mateによるパーキンソン病患者の歩行安定化（関東中央病院との共同研究） ■ヒューマン・ロボット・インタラクションにおける発話と身振りの「間」（三菱重工との共同研究） ■音楽アンサンブルにおける共感空間の創出  新テーマ  新テーマ同時性知覚の研究への展開（「間(ま)」の研究）社会的ネットワーク支援への展開（サービス科学） ■時間順序判断における同時性知覚の生成機構に関する研究 ■時間知覚における同時性のインターパーソナルな共有機構に関する研究（東北大学・東大との共同研究） 5 ■センサネットワークを用いた社会的コミュニケーションの分析とモデル化（日立製作所との共同研究） ■コミュニティサービスにおける共創的イノベーションの場づくり（介護センターとの共同研究）6 三宅研究室へようこそ！共創コミュニケーションと「間(ま)」  共創コミュニケーションは、主観的時間・空間の共創とそれに基づくインターパーソナルな協調によって特徴づけられる。三宅研２０１４年度メンバー  特に、「間」との関係から主観的時間の共創（主観的同時性）の問題を取り上げ、それに基づく協調機構を明らかにする。助教小川健一朗 (Ken-ichiro OGAWA)  さらに、その仕組みをヒューマンインタフェースに活用する。 yb ya Timeb Timea 明在的プロセス（認知） Explicit process 修士２年徐歩杰 (Houketsu JYO)（中国）河野大器 (Taiki KOHNO) 猿田百合子 (Yuriko SARUTA) 朱谷知洋 (Tomohiro SYUYA) 田端篤 (Atsushi TABATA) QIAO Liang (中国) 修士１年浅見篤 (Atsushi ASAMI) 長尾嵩利 (Takatoshi NAGAO) 橋口裕徳 (Hironori HASHIGUCHI) 松井裕伸 (Hironobu MATSUI) 三浦俊介 (Syunsuke MIURA) Ｇ３棟８２０室で研究室公開中博士４年大良宏樹 (Hiroki OHRA) 内富寛隆 (Hirotaka UCHITOMI） xb xa 秘書冨永弓子 (Yumiko TOMINAGA) 林千枝 (Chie HAYASHI) 社会人博士本橋正成 (Masanari MOTOHASHI) 青田桂士 (Yoshito AOTA・横国大) 研究員野澤孝之 (Takayuki NOZAWA・東北大) 緒方大樹 (Taiki OGATA・東大) 小林洋平 (Yohei KOBAYASHI・脳機能研究所) 奥村圭司 (Keiji OKUMURA・早稲田大) Bの主観的時間 Aの主観的時間教授三宅美博 (Yoshihiro MIYAKE) 共創的情報統合二重性（相補性）博士３年權眞煥 (Jinhwan KWON・韓国) 博士２年太田玲央 (Reo OHTA) Human-A 7 M Human-B 暗在的プロセス（身体） Implicit process 8 博士１年 HAO QIAO（中国） Robin Yap（シンガポール） Miyake Cup 2013 9 卓球大会 2015/5/6 １. コミュニケーションの認知科学コミュニケーションにおける内的視点共創的同時性（「間(ま)」が合うこと） ■ 共創システムではシステムの内側から主観を含む領域として捉える（当事者の視点）． ■ 多様な主観的時空間が共存するシステムにおけるコミュニケーションの問題になる． ■ 共創システムを特徴づける主観的領域において，その時間的側面である「間（ま）」に限定して，その生成と共有（コーディネーション）の問題に取り組む ■ 主観的時間としての「間（ま）」がインターパーソナルに共有され，共創的同時性（「間」が合うこと）が生成するメカニズムについて研究する ■ どうして主観的時空間はインターパーソナルに共有できるのであろうか？「間(ま)」が合うこと Prefrontal Cortex (Brodmann 10) yB dXB/dt=F(XB) 主観的ダイナミクス意識化される時間知覚の生成を担うプロセス xB now Human-A now now now now ΣSB主観的時空間 timeB time 共創的同時性 (Coordination from inside) C B yA dX /dt=F(X ) 主観的ダイナミクス A A xA timeA Right Left Human-B now now now now now now time 共創的システム 10 時間知覚の共有機構の分析共創的同時性（「間」）の生成モデル ■ 主観的同時性（「間」）の共創モデル Stimulus Onset 主観的同時性（「間」）がインターパーソナルに共有される仕組みを分析するために，２人のタップ運動がリズム音を交換しながら同調する協調タッピング課題を用いる Stimulus Onset ITIA(n) ISI Tap Onset auditory stimulus auditory stimulus Subject A Tap Onset tap! Subject A Objective Time (客観的時間) ITIITI[ms] [msec] SE Tone onset 0.2 0.2 0.3 0.3 13 Subject B Subject B Subject E ΣSEB SEA time 1100 1000 200 0 0-0.6 -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 - 0 . 6 - 0 . 5 - 0 . 4 - 0 . 3Synchronization - 0 . 2 - 0 . 1Error [sec] 0 0.1 Tap B(n+1) ITI B(n) S ubject A 900 ISI=900ms Subject A Subject A   SEB ITIA ITIB Tap Motion Tap Motion 1200 S ubject A 100 SE[ms] 5 B(n) Subject B 1300 SE [msec] Data Frequency 15 1 010 Tap onset time SE(n+1) SE(n+1) ITI(n) Subjective Time (主観的時間「間(ま)」) 意識上のプロセス TapA(n+1) SE Tap Subject E SEの時系列解析によって主観的同時性がインターパーソナルに共有されるメカニズムを推定する． 12 SE n ITI (n)  ITI0  h  SE( j) 履歴的ダイナミクス j 1 ↓ 内部モデル（Internal Model）意識下のプロセス ITI (n)  C1  k  SE(n) 相互引き込みダイナミクス ↓ 身体モデル（Body Model）身体的プロセスの共有（「場」の自己組織） 0 -100 -200 客観的時間意識下のプロセスはリズムの相互引き込みのダイナミクスに基づいており，意識上のプロセスは履歴性を有しており，意識下のプロセスからの影響のもとで同時性知覚を生成する．このように共創的同時性の生成機構は二重化されていることが示された ΣSEA tap! Subject B SE(n) TapA(n) SE(n) ISI: Inter Stimulus-onset Interval SE: Synchronization Error ITI: Inter Tap-onset Interval tap! 主観的時間 Miyake, Y., "Co-creation systems: Ma and communication," In E Pöppel, S Han (Ed.), Culture and Neural Frames of Cognition and Communication, pp.139-152, Springer-Verlag, Heidelberg (2011) ■ 協調タッピング課題一定のリズム音に同期させてタップ運動することで主観的同時性（「間」）の生成機構を調べる now now ΣSA主観的時空間 ■ 同期タッピング課題 2 020 客観的時間物理的同時性 (Coordination from outside) 時間知覚の生成機構の分析 3 030 25 主観的時間 A 意識下における時間知覚の生成を担うプロセス Right Cerebellum rhythmic auditory stimulus now 14 時間[taps] Kon, H. & Miyake, Y., "An analysis and modeling of mutual synchronization process in cooperative tapping,” Transaction of Human Interface Society, Vol.7, No.4, pp.61-70 (2005) 15 2015/5/6 ２. リハビリテーション・ロボット歩行リハビリ支援ロボットWalk-Mate 「間」を合わせるリハビリ支援システム ■ 協調歩行における共創的同時性誰かと並んで歩くとき自然と歩調がそろうこと（「間」が合うこと）は身近な経験であるが，そのような共創的同時性を人間と歩行ロボット（仮想ロボット）の間に構成し歩行リハビリに応用する http://www.honda.co.jp/ASIMO/assist/rhythm/index.html 人間 16 安原謙, 三宅美博, "歩行補助装置の制御システム," PCT国際出願PCT/JP2003/09918, 公開WO2004-017890 (2003) 安原謙, 三宅美博, "歩行補助装置の制御システム," 特願2002-240699, 公開2004-73649 (2002) 歩行ロボット 17 「間」を合わせる歩行リハビリスマートフォンへの展開 ■ 相互適応・大域的安定性・一体感・持続性 ■ iPhoneへの実装人間側とロボット側のリズムが相互に適応し同調する．その結果として歩行リズムのグローバルな安定化が実現される．そのような状態は人間側に主観的な一体感を感じさせる持続性一体感大域的安定性 Sustainability Sense of Togetherness Global Stability iPhone 内臓の加速度センサとＭＩＤＩプレーヤを使用し，Walk-MateをiPhoneアプリとして実装．これによってリハビリ支援技術の大規模な社会的実験が可能になる Miyake, Y., “Interpersonal synchronization of body motion and the Walk-Mate walking support robot," IEEE Transactions on Robotics, 25-3, 638-644 (2009) 三宅美博, "非線形制御器および非線形制御方法," PCT国際出願PCT/JP2005/001429 (2005) 三宅美博, "歩行介助装置," PCT国際出願PCT/JP2005/018730 (2005) 18 (2004) 三宅美博, "非線形制御器および非線形制御方法," 特願2004-034174, 公開2005-227909 三宅美博, "歩行介助システム," 特願2004-293136, 公開2006-102156 (2004) ウェアラブル・ロボットへの展開上肢用リズム生成モーター 1.5 歩行周期[秒] スパイラルウェア Human Robot 1.4 Th=1.24 Fh=0.040 1.3 Th=1.20 Th=1.16 Fh=0.024 不安定 1.2 安定 1.1 Tm=1.16 Tm=1.12 1 Tm=1.00 0.9 相互適応 Mutual Adaptation 単独歩行 independent 0.8 0 単独歩行 independent Walk-Mate歩行 interaction 60 時間 [秒] 120 180 19 iPhone 3GS OS: iPhone OS 3.0, CPU: 600 MHz ARM Cortex-A8 Samsung S5PC100, メモリ： 256 MB DRAM, ストレージ: 32 GB, サイズ: 115.5 × 62.1 × 12.3 mm, 重さ: 135 g 20 下肢用リズム生成モーター 2015/5/6 ３. コミュニケーション・ロボット対話における「間」の分析対話における「間」の分析カウンセラーとクライエントの身体運動の同調の分析低評価事例 ■ 対話における発話と身振りのタイミング経過時間（min）対話における「間」の共創機構を調べるために人間同士の対話において，発話と身振りのタイミングを分析している．その結果，発話長と交替潜時，頷き，把持に相関が確認された指示発話応答発話頷き低評価のカウンセリング把持相互相関がほとんど観察されない ↓ 二人の身体運動がほとんど同調していないことを意味している 22 三菱重工（株）との共同研究会話中の身体運動の同調現象はコミュニケーションの質と関係する掴みの遅延時間長(被指示者)(Gp) 発話長(指示者)(Sdi) ■ 指示応答対話における「間」と印象 ■ ヒューマンロボットインタラクションへの応用人間とアバタの指示応答対話において，指示発話と応答発話のあいだの交替潜時長を操作することで，アバタとの対話の印象が変化することが示された． 900ms 発話と交替潜時の同調が対話の印象に影響することが示された．若年者より高齢者において強く影響が現れる傾向がある．交替潜時長(Pd）交替潜時長(Pd） Yamamoto, T., Kobayashi, Y., Muto, Y., Takano, K., Miyake, Y., "Hierarchical timing structure of utterance in human dialogue," Proc. of IEEE Int. Conf. on Systems, Man and Cybernetics (SMC2008), Singapore, Singapore, pp.810-813 (2008) 相互相関関数（cross correlation function） 24 Google Glassへの展開高齢者の対話コミュニケーション支援対話における「間」の制御頷きの先行時間長(被指示者)(Np) 交替潜時長(Pd）非常に強い相互相関が観察される ↓ 二人の身体運動が無意識的に同調していることを意味している経過時間（min）高評価のカウンセリング高評価事例タイミングの制御モデルの有無で有意差 P<0.01 Auditory Stimuli Processor & Accelerometer 高齢者 5 交替潜時[ms] 4 300 600 900 1200 1500 1800 3 2 1 友好的な話しやすい Fast Human Avatar 感じのよい親しみやすい肯定的な落ち着いた誠実な信頼できる時間感覚 5 Near 中200ms 1800ms 短130ms 中200ms 長270ms 4 3 はい “Yes” 3 2 Slow 2 Far 1 300 Time 対話の印象評価 5 長270ms 交替潜時 Switching Pause Communication Assist 丁寧な空間感覚短130ms 4 それとってください “Could you give it to me?” 親切な対話の印象評価若年者 600 900 1200 1500 1800 Switching Pause [ms] 1 300 600 900 1200 1500 1800 Switching Pause [ms] 25 武藤ゆみ子, 高野弘二, 大良宏樹, 小林洋平, 山本知仁, 三宅美博, "音声対話インタフェースにおける発話タイミング制御とその評価," ヒューマンインタフェースシンポジウム2007講演会予稿集, pp.639-642 (2007) 髙杉將司, 山本知仁, 武藤ゆみ子, 阿部浩幸, 三宅美博, "コミュニケーションロボットとの対話を用いた発話と身振りのタイミング機構の分析," 計測自動制御学会論文集, vol.45, no.4, pp.215-223 (2009) 髙杉將司, 吉田祥平, 沖津健吾,横山正典,山本知仁,三宅美博, "コミュニケーションロボットとの対話における交替潜時長と頷き先行時間長の影響評価," 計測自動制御学会論文集, vol.46, no.1, pp.72-81 (2010) 26 Body Rhythm 27 2015/5/6 ４. 社会的コミュニケーション分析社会的コミュニケーションの計測システム社会的コミュニケーションにおける「間」 ■ センサネットワークによる社会的な「間」の計測名札に実装された加速度センサで個人の活動状態の計測を行い，ＩＲセンサで個人の対面状態を計測する．組織における社会的コミュニケーションの「間」の計測方法を開発している個人の活動パターンの計測 ■ 対面状態にある個人のあいだでの身体運動の同調傾向（エントレインメント）観察された振動数の差の分布対面状態において個人間の身体運動リズムの振動数が相互に接近することが示された．社会的コミュニケーションにおいて「間」が合っている可能性がある．加速度センサ活動状態の検出 Frequency of Body Movement 対面状態における身体運動の振動数の差の分布活動度（振動数）の時系列データ 0[Hz] 1[Hz] 2[Hz] 3[Hz] 観察された振動数の差の分布 P x     a  ランダム化された振動数の差の分布社会的ネットワークの計測 Face-to-face Contact ＩＲセンサランダム化された振動数の差の分布対面状態の検出対面時間長のマトリクスデータ日立製作所（株）との共同研究 29 28 Analysis of Synchrony   G  f ij ビジネス顕微鏡（日立製作所） Yano et al. http://www.hitachi-hitec.com /jyouhou/business-microscope/index.html 30 Participants in Organization Organization A R&D Organization D Development Support 31 Organization B Wholesale Organization E Development Organization C Consultant Organization F Development Organization G Development 32 Node: individual participant, Edge: face-to face contact. Color of node: degree of each node