顔向きに基づいたリアルタイムでの顧客嗜好予測方法について九州工業大学生命体工学研究科柴田智広教授船谷浩之研究員従来技術人の行動、属性を認識（チームラボハンガー、 NEC 動線解析、自動販売機） UI を持った大きなサイネージ「ソーシャル」と連動（チームラボ, KDDI 等）従来技術とその問題点 1. 人の行動の認識 – 手にとった時点で、かなり好みがはっきりしている場合が多い（サイネージによる介入は、早い方が良い -篠沢 2011) – 動線のみでは、個別の商品の嗜好がわからない – 目線では、嗜好を推定することは難しい 2. 個人情報（ポイントカード、ソーシャルWeb、スマートフォン）を使う – 使えない場合も多い – 購買履歴は「過去の」情報である。その場の顧客の嗜好を読む • 過去の情報を使わず、その場の顧客の顔の様子を観察する事により、嗜好を推定する事が可能 • 手にとる前に、顧客個人に対して推薦商品を変えることが出来る。 • 顔のトラッキングができれば良いため、タブレットサイネージのみで実行が可能実験室心理実験 • 強制２選択課題 • 被験者１６人、１２タスク • 顔、目線、重心の移動と選択商品との関係を調査選択時に顔に顕れる嗜好バイアス ① ② ③ ④ 実店舗における実証実験 • At Kitakyushu Coop, May, 2014 • “チョコレート対決再び” • 顔認識及び推定をタブレットに実装 • 15 days without signage • 5 days with signage ノミネート効果その１ Result: Sales 売り上げ90%増加効果その2Result: Sales Ratio 売れ筋消費の操作 • 嗜好の推定とは逆の商品を推薦した結果、商品の売上比率が有意に変化した。 Chocolate A Chocolate B Total Sales (With Signage) 36 26 Total Sales (Without Signage) 12 20 P<0.05 with one-sided fisher exact test 結果 1. プロモーション効果（広告への誘導効果） 2. 意思決定への介入効果想定される用途 • デジタルサイネージを用いた実店舗における商品のプロモーション • ヒューマノイドロボット等キャラクターを用いた「コミュニケーションのある」店舗体験開発中のロボットサイネージロボットタブレット嗜好推定スマートデバイスのみで顔認識、解析、ロボットの操作が完結するコンパクトなシステムを開発中動線解析実用化に向けた課題 • 現在、アルゴリズムは完成し、実店舗でのデータ収集をしている段階 • ロボットを用いたサイネージも開発中、年度内には生協及びスーパーで実証実験の予定 • 実用化に向けて、タブレットのみでの顔認識の精度をロバストにする必要があり。これに関しては、複数の手法を試行中企業への期待 • 本技術を用いた商品内容、広告戦略を含めた上での実店舗での広告提示手法の立案 – プロモーション内容 – 実店舗本技術に関する知的財産権 • 発明の名称：顧客購買意思予測装置及び顧客購買意思予測方法 • 出願番号：特願2014-206424 • 出願人：国立大学法人九州工業大学 • 発明者：船谷浩之、柴田智広柴田の外部資金獲得現況 • 代表 – JST研究成果展開事業（スパクラ）トライアル事業可能性調査「高齢者・障がい者等の立ち上がり支援に向けた神経科学・リハビリテーション・ロボット工学の融合による自立生活トータルソリューションの提供」研究期間：2014 – 科学研究費新学術領域研究「予測と意思決定の脳内計算機構の解明による人間理解と応用」「実店舗におけるヒトの購買意思決定過程のモデル化と操作研究期間」 2011(-2015予定) – 科学研究費基盤A 「運動学習・支援のための多次元情報記録・提示とモデルベース強化学習」研究期間：2011(-2014予定) • 分担 – 科学研究費基盤A 「脊髄損傷後の随意機能回復を最大化する新たなニューロリハビリテーション戦略」研究期間：2014(-2018予定）第二回2030 年の北九産活検討会保有特許（NAIST, DENSO, ATR, NEC） • • • • • • • • • 柴田智広, 池田和司, 人見謙太郎, 坂東誉司, 深谷直樹．三次元形状復元装置．出願番号：特願2008298478 登録番号：特許第5231183（平成25年3月29日）．共同出願人：株式会社デンソー柴田智広，船谷浩之, 中村彰宏．動体の３次元運動測定装置及び測定方法．特願2012-203488．柴田智広，林浩平，竹之内高志，池田和司，神谷祐樹，國枝和雄．確率モデル更新システム，確率モデル更新装置，確率モデル更新方法およびプログラム．特願2011-171836（平成22年8月5日）．共同出願人：株式会社日本電気柴田智広，池田和司，喜多いずみ，神谷祐樹，加藤大志，國枝和雄．主観評定値検出装置，主観評定値検出方法およびプログラム．特願2009-081748（平成21年3月30日），登録番号：5316945号．共同出願人：株式会社日本電気柴田智広, 稲邑哲也, 李海妍．運動データの生成装置，方法，及びロボット装置．特願2007-236629（平成18年9月 12日）．共同出願人：トヨタ自動車，国立情報学研究所柴田智広, 石井信, 坂東誉司, 深谷直樹, 清水幹郎．三次元形状復元装置．特願2007-102914（平成18年4月10日），公開番号：2008-26166, 登録番号：4971015号5048381, P2006-30J-US．共同出願人：株式会社デンソー柴田智広, 石井信, 坂東誉司, 深谷直樹, 清水幹郎．推定装置．特願2007-102915（平成18年4月10日），公開番号： 2008-262288，登録番号：4971015号．共同出願人：株式会社デンソー柴田智広, 石井信, 坂東誉司, 深谷直樹, 清水幹郎．推定装置．特願2005-368124（平成17年12月21日），公開番号：2007-172237, P2005-12-US．共同出願人：株式会社デンソー柴田智広，他．推定装置，推定方法および推定プログラム．特願2004-203724（平成16年7月9日），公開番号： 2005-44352．出願人：株式会社国際電気通信基礎技術研究所 2014/12/24 北九州e－PORT推進協議会第21回交流会 18 お問い合わせ先国立大学法人九州工業大学大学産学連携推進センター知的財産部門客員教授石田精ＴＥＬ 093－884－3499 ＦＡＸ 093－884－3531 e-mail ishida-s＠ccr.kyutech.ac.jp