Artificial Intelligence Adv., May 1st, 2013 Do not distribute beyond this class Methodology of conversation analysis based on measurement Nishida Lab Yoshimasa Ohmoto 1 From External to Internal ◎Human behavior was simply copied to agents. → External behavior of agents was similar to human, but internal process was very different. ◎We use diverse information to interact with others. ◎Symbolic information ◎Verbal information and iconic gestures ◎Intentions and emotions ◎Mainly, nonverbal and paralinguistic → This information is very useful to speculate intentions. George de La Tour, The Cheat with the Ace of Diamonds ◎Who is the cheat? Who is the partner? 3 Speculating intentions ◎How do we speculate internal states? ◎Internal states mean what a person is thinking. ◎Very difficult ◎We cannot objectively describe internal states even when we do about ourselves. ◎Our memory of the past is constantly being revised to fit our own recognition of the current state. ◎How do we speculate intentions? ◎In most cases, we just take a shot in the dark. ◎We usually confirm after communication. What is a “scientific” research? ◎There is no strict definition. ◎“consisting in systematic observation, measurement, and experiment, and the formulation, testing, and modification of hypotheses” ◎This means that ◎We cannot discover a “truth” in our researches. ◎We can only find a fact which is relatively correct. ◎The researcher interprets the fact as a evidence of his/her hypothesis. ◎Therefore a paper needs “method,” “result,” and “discussion.” 5 Multi-modal interaction研究の動向(1) ◎AMIプロジェクト（2003～） ◎会議の記録と分析 ◎収録内容をコーパスとして公開 ◎70時間のシナリオ会話と30時間の自由会話 ◎時間、人数、会話の書き起こし、対話行為タグ、話題文節単 位、会議の文節単位、要約情報、感情モデル、頭部と手の ジェスチャ、視線方向、環境カメラ情報、個人カメラ情報、音 声情報、プロジェクタ、ホワイトボードとそのストローク ◎会議分析の遠隔会議発展版として、AMIDA（2006～） ◎4名のうち1名が遠隔地にいる場合におけるインタラクション ◎遠隔地間のコミュニケーションに特化 6 Multi-modal interaction研究の動向(2) ◎CHILプロジェクト（2004～2008） ◎対面で問題解決のために協力している様子を対象 ◎AMIほどは整理された情報を公開していない ◎音声情報、画像情報、センサ情報 ◎データからインタラクションパターンを見つけ出すの が目的 ◎VACEプロジェクト（2000～2007） ◎画像処理を用いた会話構造の特定が目的 ◎ニュース番組を自動的に収集・解析する ◎多人数インタラクションにおけるジェスチャ研究 ◎これまでは、発話とジェスチャ表出時の人間の認知処理過 程に焦点が当てられていた ◎開発された分析手法を実装したアノテーションツール 7 Multi-modal interaction研究の動向(3) ◎インタラクションコーパス（2001～2006）[角 03] ◎人間が、直感的にコンピュータとふれあうインター フェースの開発 ◎インタラクション行動を多角的に観察し、音声情報、注 視情報、生理情報などを取得して、再利用可能なコー パスとして整理する ◎IMADEプロジェクト（2006～2011） ◎西田研など複数の研究者が中心となって行った ◎実世界におけるマルチモーダルインタラクションを分析 ◎映像、音声、ジェスチャ、のみならず、行動データ、生体データ などまで取得 ◎性質の異なる情報を一括して処理することで、人間の認知・ 心理状態の分析とインタラクション行動の規則性を発見する 8 インタラクション研究の技術的展開 ◎なぜ大量のインタラクションデータが必要なのか？ (1) 発見のため、(2) 評価・学習用データとして ◎人工知能研究との関連は？ 1. 対話システム作成 ◎システムと人間のインタラクション ◎タスク・ドメインは限定的だが高い能力を要求 ◎人間がシステムに適応することが多い 2. コミュニケーション支援 ◎人間同士の作業支援（CSCW）やコミュニケーション仲介 ◎介在できる範囲は限定的だが観察から発見する必要がある ◎人間はシステムを空気のように扱う ◎インタラクションデータを理解する必要がある ◎言語・文脈系の、意味処理 ◎運動・反応系の、行動解釈 9 データの扱い ◎生データはほとんどの場合、意味を持たない ◎統計（経験的直感も含む）に基づく解釈が必要 ◎人間が行うアノテーションを分析することもよくある ◎統合的解釈が必要[Kendon 72, 80, 04] ◎内部観測データと外部観測データ ◎分節と連鎖 ◎因果関係と共起関係 ◎インタラクションでは、単独の人物の行為のみに 焦点を当てて分析するだけでは不十分[Clark 96] ◎相手がいる行為がきわめて多い ◎「隣接ペア」「参与構造」など、複数人の関係性が意 味を持つことも多い 10 マルチモーダルインタラクション分析(1) ◎分類的アプローチ ◎機能に基づいてマルチモーダル情報を分類する ◎E.g. 「表象」「例示」「調節」「感情表示」「適応行為」 [Ekman 69] ◎表情分類 ◎基本6感情（喜び、驚き、怒り、恐れ、嫌悪、悲しみ）に基づくも のが多い ◎余談だが、この6感情でさえ明確に分類することは難しい ◎表情筋に基づくアノテーション手法（FACS）が提案されている [Ekman 78] ◎ジェスチャ分類 ◎「拍子」「表象的ジェスチャ」（「映像的ジェスチャ」「暗喩的ジェ スチャ」「直示的ジェスチャ」） [MacNeill 92] ◎批判もある ◎表現そのものが意味を持つとは限らない ◎複数の機能をもつ表現も多くある 11 マルチモーダルインタラクション分析(2) ◎構造的アプローチ ◎インタラクション中の関係性を抽出する ◎主に時間的構造に注目する ◎発話、手の動き、身体の向き、視線などを時間軸上に 配置して、全体の関係性を記述する [Kendon 72]等 ◎「ジェスチャ単位」に基づいて分節化 ◎「ホームポジション」「プレパレーション(P)」「ホールド(H)」「スト ローク(S)」「リトラクション(R)」 ◎ストロークとホールドの連鎖によって、全体として一つのジェ スチャ（ジェスチャ句）として解釈されることもある ◎構造的な関係性の記法がいくつも提案されている ◎ジェスチャ：英語の頭文字と分割記号(|, ||, /)によって表現 ◎視線：何を見ているか「対象名＋アンダーバー」、視線移動中 「・・・」、どのあたりを見ているか「対象名＋ハイフン」 12
© Copyright 2024 ExpyDoc
