Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
一般 社 団 法 人 電 子 情 報 通 信 学 会
THE INSTITUTE OF ELECTRONICS ，
信 学技 報
IEICE　Technical Report
DE2012−10　（
2012−6）
INFORMATION AND COMMUNICATION ENGINEERS
時 間的冗長性
除去 に よ る 調 理 履 歴 映像 の 要 約
の
泰 宏 †　道 満 恵介 †　出
林
大輔 ††　井 手 一 郎 t　村瀬
洋t
口
†名 古 屋 大 学 大 学 院 情 報 科 学研 究 科 〒 464−8601 愛 知 県名 古屋 市 千 種 区不 老 町
††名 古 屋 大 学 情報 連 携 統 括 本 部 〒 464− 8601 愛 知 県 名 古 屋 市 千種 区 不 老 町
E −mail ： †｛
hayashiy
kdoman ｝◎murase ．
m ．
is．
nagoya −u ．
ac ．
◎ nagoya −u ．
jp ††ddeguchi
jp
−
ide
murase
◎
is
．
nagoya
u
．
ac
．
jp
†††｛
｝
，
，
，
，
あ ら ま し　個 人 が 調 理 過 程 を 撮 影 した 映 像 の 要 約 手 法 に つ
注 目 され
．しか
て い る
し ，ラ イ フ
報 告 す る 。近 年
グ は 長時 間 に 渡 り 記 録 さ れ る も の
ロ
常 的 な 創 作活 動 で あ る 料 理 に 着 目 し
は ，ロ グ と し て
い て
タ ーネ
ロ
グが
が 膨 大 で あ る本 報 告 で は ， 日
，他 人 が 調 理 す る 際 の 参 考 映 像 と し て 提 供 す る
・
こ と も で き る ．そ の た め ，映 像 を 要 約 す る こ とで よ り効 率 的 に検 索
閲 覧 で き る と考 え られ る ．提 案 手 法 で は ，映 像 か
ら 時 間 的冗 長 な 区 間 と し て 静 止 区 間 と繰 り 返 し 区 間 を検 出 し ，そ れ ら を 除 去 す る こ とで 調 理 履歴 映 像 を 要 約す る ．実
の
利 用 以 外 に ，イ ン
で あ
り，デ ー タ 量
し た 調理 履 歴 映 像 の 要 約 手 法 を 提 案 す る ．調 理 履 歴 映 像
個人 が 調 理 過 程 を 撮 影
，
個 人 の 生 活 を記 録 す る ラ イ フ
，
際 に 調 理 過 程 を撮 影
ト上 で 公 開 す る な ど し て
ッ
し た 映 像 を 用 い て 区 間検 出実 験 を行 い
62 ，再 現 率 0 ．
92
合 率 0．
キ ーワ ー ド　ラ イ フ
の
98 ，再現 率 O ．
99 ，繰
静止 区 間 は 適 合 率 O ．
，
り返 し 区 間 は 適
精度が 得 られ た ．
グ 映像要約 調 理 履歴 映像 調 理 動作
ロ
，
，
，
Cook −Log　Video　Summarization by Removing Temporal Redundancy
Yasuhiro　HAYASHI
Keisuke　DOMAN
†　，
Daisuke DEGUCHI
†　，
Ichiro
IDE † and Hiroshi
MURASE
††
，
†
，
†GraduateSchool of InfbrmationScience Nagoya University
FUr cho Chikusa−ku Nagoya −shi Aichi 464− 8601　Japan
（｝
，
，
，
，
，
Headquarters Nagoya University
††Infbrmation　and Communications
−
−
Rlr Fcho Chikusa ku Nagoya −shi Aichi 464 8601　Japan
正ンmail
hayashiykdoman ｝◎murasem
．
is．
nagoya 尸
u．
ac ．
jp ††ddeguchi◎ nagoya ．u ．
jp
†｛
ide
murase
◎
is
．
nagoyalu
．
ac
．
jp
†††｛
｝
，
（
，
：
，
，
，
，
，
，
，
．
Abstract We report on a method for　summarizing a video which recorded the　process of cooking by　an individual
−
In　recent years lifelog　which records the daily　life
of an individual
has　been　attracting attention ．
However ，
since
−
lifelog　is　recorded over a long　time ，
the amount
of data
is
huge．
In　this
report
we f cus on cooking
which
is
a
−
and we a cook
log　video which recorded the process
creative activity in dailylife
propose　a method for　summarizing
，
（）
，
−log　video
by　an individual．
A cook
of cooking
，
can
not
only
be　used
−10g，
kind　of life
but　it
can also be　able to
−log　vid o enables
．
Thus summarizing
a cook
as a a8 a reference
正
br other p ople to　cook
be　provided　on the Internet
more
emcient
search
and br wsing
．
The proposed method
detects
the state s tions　and the repetitious
sections
−log　video by　removing
and summarizes
the cook
them ．
We conducted
a section
as temporal redundant sections ，
experiment
using an actual cook −log．
A precision
of O．
98　and a recall of O．
99　were obtained for　detecting
detection
θ
θ
，
σ
the state
Key
section
and
，
62　and a　recall of O ．
92　were obtained
precision　of O ．
a lifelog　video
words
，
summarization
cook
，
−log　video
This
isa technical
article report without
peer
review
and
，
fer　det ting　the repetitious
section
．
operation
一 55 −
its
polished
and
cooking
，
／or extcnded
version
may
be　publishcd
elsewhere ．
γ互礫 數 溘 b署
Library
iJ 解 嬰Service
vi
贈NII-Electronic
。
、。
．
。 。
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
1，
は
の
じ め に
近 年 ，個 人 の 生 活 を 記 録 す る ラ イ フ
日々
ロ
グ が 注 目され て い る
活動 を画像や 映像 な ど で 記録 し て お くこ とで
動 を 確 認 ，分 析
して
供 で き る ．た だ
し
個人の 生活 ス タ イル に
，ラ イ フ
合
っ
，過 去
の
．
行
た サ ービ ス を 提
グ は 長 時 間 に 渡 り記 録 され る もの
ロ
図 1
グ デ ータ
で あ り，デ ータ 量 が 膨 大 と な る，そ の た め ，ラ イ フ
を効 率 的 に 検 索 ・
閲覧 す る 技術 が 必 要 と さ れ て い る ．
畑 田 ら は ，ラ イ フ グ デ ータ の 要 約 手 法 国 に い て 提 案 して
い る ．ラ イ フ
グ デ ータ は 閲覧 され た 回 数 が 多 い も の ほ ど 重 要
な デ ータ で あ る と仮 定 し，デ ータ の 閲 覧 さ れ た 回 数 に 基 づ い て
一
グ デ ータ の 取 得 ・
要 約 し て い る ， 方 ，堀 ら は ，ラ イ フ
検索 ・
2］
．ライ
閲 覧 の た め の ライ フ グ ージ ン トを 提案 して い る ［
ン セ ン サ や GPS
フ
グ の た め に 撮 影 さ れ た 映 像 に ，モ ーシ
デ ータ な ど の 様 々 な デ ータ か ら検 索 キ ーを 設 定す る こ と で 映 像
を 効 率的 に 検 索 ・
閲覧す る こ と を 可 能 に し て い る ．こ の よ うに ，
ライ フ
グ デ ータ を 検 索 ・
閲覧す るた め の 研 究 が 行 われ て い る．
グの 効率的な検索 ・
ライフ
閲覧 は ，特 に 料理 に お い て 必 要
繰 り返 し動 作 の 例
ロ
ロ
つ
そ し て ，第
結果 に つ
い
4 節 で 区 間 検 出 手 法 の 評価 実 験 に つ い て 述 ，そ の
て 考察す る ．最後 に 第 5 節 で 本 報 告 を ま と め る ．
べ
ロ
ロ
ロ
エ
ェ
ロ
ョ
ロ
ロ
と さ れ る ．料 理 は ，豊 富 な 知 識 や 経 験
を 必 要 とす
熟 練 者 の 調 理 を 記 録 し た 映 像 は ，本 人 が
ロ
，
で あ り
るもの
グ と し て 利 用す る だ
も料 理 に 関 す る 映 像 の
像 を効率的 に検索
，そ
，本 研 究 で は ラ イ フ
効 率 的な検 索 ・
閲 覧 に 着 目す
・閲 覧す
こで
るた めの 研 究 と して
ロ
番組
の
3 ］を提 案
要約手法 ［
像要約 を提 案 し て い
して い る
，し か
し
，ラ イ フ
ロ
グ の よ うな個人 ユ
ー
や 編 集 の 有 無 の 違 い か ら，調 理 履 歴 映 像 に 料 理 番 組
法 を 適 用 す る の は 難 しい
影
し た 調理 映
そ
こ
で
．ま た ，こ れ
要約 手
，
い ない
は 個 人 が 調 理 す る様 子 を 撮 影 し た 映 像
，静 止
組 の 要 約 にお い て
が
区 間 お よ び 繰 り 返 し 区 間 に 注 目す る
，こ れ
ぺ
一
の
徴量で ある
CHLAC
特 徴に
．
て 詳 し く説 明す る
提 案 手 法 で は ，動 作
繰 り返 し を 検 出す る が
の
て い て もその 見え
っ
，図
1
よ
の
方 は 変化 す る ．そ こ
本 研 究 で は ，動 き 特 徴 と して 見 え の 変 化 に 頑 健 な
CHLAC
Local　Auto　Correlation
）特 徴 を 利 用 す
下
画素の
，す て を 要 約 映 像 に 含 め る 必 要 は な い と 考 え ら れ る ．
そ こ で ，提 案 手 法 で は こ れ ら を 時 間 的 に 冗 長 な 区 間 と し て 検 出
す る ．静 止 区 間 は 隣 接 フ レ ーム を比 較 す る こ と に よ り 検 出 し ，
繰 り返 し区 間 は 特 徴 量 の 類 似 性 に 着 目 して 検 出 す る．こ の と き ，
繰 り 返 し 区 間 検 出 で 用 い る 特 徴 量 と し て ，調 理 動 作 解析 圏 な ど
で 用 い られ て い る CHLAC
特徴 ［
5］を 利 用 す る ．最 後 に ，こ れ
ら の 検 出 さ れ た 区 間 を 除去 す る こ と で 調 理 履歴 映 像 を 要 約 す る ．
以 降 ，第 2 節 で 関 連 研 究 と して 提 案 手 法 で利 用 す る CHLAC
特徴 に つ い て 説 明 す る ，第 3 節 で は 提 案手 法 で あ る 冗 長 な 区 間
の 検 出 手 法 と そ の 結 果 を利 用 し た 映 像 要 約 手 法 に
い て 述
る．
っ
5 ］を利 用 す
［
うに ，同 じ動 作 を 行
，環 境 変 化
る ．以 降で は ，こ
で きる もの が望
に 頑 健 な特
究で は
っ
，x
は画
6 ）… ・（ ＋ ・ ）
d ・
・
・
局 所領 域 で の
1）
（
・
・
像 中 の あ る 画 素 位 置を 表
らの 変 位 を表 す ．HLAC
ら の 区 間 は 重 要 と さ れ て い る が ，編集
，
つ い
ここで
．料 理 番
べ
特徴
・ ）
・ ＋
・（
・（
行 われ て い な い 調 理 履歴 映 像 で は ，そ の 大 部分 は 冗 長 な 区 間
で あ り
CHLAC
本研
で
1
（
以
下 ，調 理 履 歴 映 像 ） の 要 約 手 法 を 提 案 す る ．調 理 履 歴 映 像 の 要
約 にお い て
．そ こ
，CHLAC 特 徴 の 基 に な る HLAC 特 徴 に い て ま ず 説
明 し，そ の 後 CHLAC 特 徴 に つ い て 説 明 す る．
1 HLAC
2 ．
特徴
ー
の
N 次 自己 相 関 は 以 下 の よ う に 定 義 され る ．
画像デ タ f
ま で の と こ ろ ，個 人 が 撮
像 を 対 象 と し た 要約 手 法 は 研 究 され て
，本 報 告 で
の
ま しい
以
ザ が 調 理 を 行 う様 子 を 撮 影 し た 映 像 を 考 え る と ，撮 影 条 件 の 違
い
質 を 背 景 や 動 作 位 置 な ど に 影 響 され ず に 表 現
研 究 で は 料 理 番 組 映 像 の 特 徴 を 利 用 した 映
る
目す る が ，特徴 量 と し て 動 きの 性
特 徴 は ，1 枚 の 画 像 か ら 特 徴 を 抽 出 す る HLAC
−
Higher order Local Auto Correlation）特 徴 ［
6］を 時 間 軸 方 向
（
を 含 め た 3 次 元 に 拡 張 し た 特徴 で あ る ．
CHLAC
特 徴 は ，画 像 中 で の 局 所 パ タ ーン の 出 現 頻 度 に 基 づ
く 特 徴 で あ り ，画 像 中 の 位 置 に 依 存 し な い 特 徴 量 が 得 ら れ る ．
ま た ，差 分画 像 か ら特 徴抽 出を す る こ と に よ り，背 景 の 影 響 を
抑 制 す る こ とが で き る ．こ の た め ，差 分 画 像 に 対 す る CHLAC
特 徴 を 用 い る こ と で ，背 景や 動 作 位 置 な ど の 違 い に 影 響 を受 け
ず ，動 き の み に 着 目 し た 特 徴 量 を抽 出 す る こ と が で き る ．
，料理 映
，三 浦 ら は ，料
る
れ て い る 映像 か ら必 要 とす る 映像 を検 索 す る こ と に も時 間 を 要
の
，特 徴 量 の 類 似 性 に 着
そ の 際
る ．CHLAC
グの 中 で
っ
す る ．そ こ で ，こ
区間 と し て 繰 り返 し区 間 を 検 出 す る ．
，冗 長 な
は
（
Cubic Higher−order
，料理 番 組 は 教材 映 像 で あ
り，調 理 に 関 す る 教材 と し て 利 用 され て い る ，し か し ，料理 番
組 に は 雑談 な ど の 冗 長 な 部 分 も含 ま れ て い る ．し た が て ，閲
覧 に は あ る 程 度 の 時 間 が 必 要 に な る ．ま た ，大 量 に 録 り溜 め ら
理
提案手 法で
で
け で な く，映像 を公 開す る こ と で 他 人 が 調 理 の 参考 映 像 と し て
利 用 す る こ と もで き る
2． 関 連 研 究
し
，δ1 …
，
，
δN
は x
特 徴 は ， 注 目画 素 とそ の 近 傍 の 3
か
3
×
相 関 を 求 め る こ と で 特 徴量 を 抽 出す る ．特
徴 量 の 算 出 は ，局 所 領 域 の 平 行 移 動 に よ る 冗 長 性 を 省
い
たす べ
タ ーン
は ，N ＝0 の
，変位
場 合 は 1 通 り，N ＝1 の 場 合 は 4 通 り， N ＝2 の 場 合 は ，20
通 り存 在 す る ．HLAC 特 徴 で は N ＝2 ま で の 相 関 を 求 め る た
め ，相 関の 全 パ タ ーン は 25 通 りの パ タ ーン と な る ．よ て ，画
像 か ら求 ま る HLAC
特 徴 の 次 元 数 は 25 次 元 と な る ．
2．
2 CHLAC
特徴
AC 特 徴 を 時 間 軸方 向 に 拡 張 した も の
CHLAC 特 徴 は ，HI．
で あ り，時 間 的 に 連続 し た 複 数 の 画像 か ら抽 出 さ れ る ．こ の と
き ，3
3x3 画 素 の 局 所 領 域 で の 相 関 を 求 め る こ と で 特 徴 量
て の
変 位 の 組 合せ
．つ
で行 う
パ
ま り
っ
×
56 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
時
t＋ 2
’＋
図
t＋
1
’＋
’
’
1次
2次
間
2
’
1
ー
特徴 の 変位 パ タ ン の 例
2CHLAC
b ）繰 り 返
（
a ）静止 区 間
（
し区間
図 3 時 間 的に 冗 長 な区 間
時間 t
，そ の た め ，変位 パ タ ーン は 図 2 の よ うに な る ．式
り，CHLAC 特 徴 で N ＝2 ま で の 相 関 を 求 め る 場 合 ，
を抽 出す る
（1）に よ
局所 領 城 の 平行移 動 に
せ は全 部で
251 通
よ る冗
り とな る
長性 を省 い た すべ
．よ
っ
て
，CHLAC
て の
変位の 組 合
特 徴の 次 元数 は
251
次 元 と な る ，提 案 手 法 で は 動 き 特 徴 と し て 利 用 す る た め
フ レ
ーム 間 差分 画 像 か
らこ の
CHLAC
，
特 徴 を 抽 出す る ．
4　区 間 類 似 度 の
図
隣接 す る フ
で 動 きの あ
レ
っ
ーム の
用 して
提 案 手 法 で は ，調 理 履歴 映 像 に お け る 時 間 的 冗 長 性 に 着
．調 理 履歴 映 像 に お
種 類 が 考 え られ る ．
差 分 画 像 を 生 成 し，そ れ を
た 画 素 と動 き の な か
っ
た画 素
の
っ
た画
け る 時 間 的 冗 長 な 区 間 と して
目す
，以 下 の 2
の
単
，静止
区 間 を検 出
2 値化 す
，
る こ と
る ．こ の 画 像
ー
ム を静止 区
フ
ー
レ
ム に対 して 適
ー
レ
ム 以下 の 小 区
素を 求 め
一定 数 以 下 の
数が
間 と し て 検 出す る ，こ れ を 映像 の す べ て
1　手 法 概 要
3 ．
る
．各 画 素 は 対応 す る 横 軸 上 の 時刻 で
ど 低類 似 度 で あ り 白 い 画 素 ほ ど高 類 似 度 で あ る こ と を 意 味 す る
の 中で 動 きが あ
3． 提 案 手 法
可視化 画 像
位 区 間 と 縦 軸 上 の 時 刻 で の 単 位 区 間 の 類 似度 を示 す ．黒い 画 素 ほ
の フ
一定 フ
し，区 間 長 が
レ
間 を 除 去 し た も の を最 終 的 な 静 止 区 間 と す る ．
3．
2
3 ．
繰
繰 り返 し区 間検 出
り返 し 区 間 は ，類 似 した 特 徴 を 持 っ 区 間 を 探 索す る こ とで
検 出 す る ．こ の と き ，映 像 を
10
ーム
．こ れ
を 最 小 単 位 区 間 と し て 繰 り 返 し 区 間 を 検 出 す る ．ま ず ，こ の 単
・
図 3（
a）
）．
焼 く 煮 る とい た動 作 を行 わ ない 区 間 （
位 区 間 ご と に CHLAC 特 徴 を 算 出 す る ，隣接す る フ レ ーム か ら
（2 ） 繰 り 返 し 区間
差分 画像 を 生 成 し ，そ れ を 2 値 化 す る ，そ の 2 値 化 した 差 分 画
・
b）
）．
切 る 混 ぜ る と い た 同 じ 動 作 を 繰 り返 し 行 う区 間 （図 3 （
像 す べ て を 走査 し，CHLAC 特 徴 の 局 所 パ タ ーン を 数 え 上 げ る
提 案 手 法 で は ，こ れ ら の 時間 的冗 長 な 区 間 を 検 出 し ，そ れ らの
こ と で ，単位 区 間 か ら 1 つ の CHLAC
特 徴 を抽 出 す る．次 に ，
冗 長 な 区 間 を 除 去 す る こ とで 調 理 履歴 映 像 を 要 約す る ．
す て の 単 位 区 間 同 士 で 特 徴 量 間 の 類 似 度 を計 算 す る ．こ れ を
以 降 の 節 で は ，ま ず本 報 告 で 対 象 とす る調 理 履 歴 映 像 に い
可 視 化 し た も の を 図 4 に 示 す ．こ の と き ，特 徴 量 が 類 似 す る 連
て 説 明 し ，そ の 後 ，上 記 の 区 間検 出 方 法 と そ の 結果 を 利 用 し た
続 した 区 間 が あ れ ば ，そ の 区 間 内 の ど の 単位 区間 同 士 の 類 似 度
要約 手 法 につ い て 説 明す る．
も高 く な る た め ，図 4 中 に 矩形 と し て 現 れ る ．つ ま り，こ の 類
2 調理 履歴 映 像
3 ．
似 度 の 画 像 か ら，対 角 線 上 に 存 在 す る 類 似 度 の 高 い 矩 形 を 見
調 理 履歴 映 像 は ，「調 理 台 」 や 「 ン 」 と い
た調 理場 所 ご
け る こ と で ，繰 り返 し 区 間 を 検 出 で き る ．矩 形 検 出 は 対 角 線 上
と に カ メ ラ を 設 置 し ，各調 理 場 所 の 様 子 を 撮 影 し た 映 像 を用 い
の 矩 形 の 内 ，領 域 内 の 平均 類 似 度 が し きい 値 θ1 以 上 ，か つ す
る ．こ の と き ，各 カ メ ラ の 撮 影 領 域 に 重 複 は な い も の とす る ．
て の 類似 度 が し き い 値 θ2 以 上 と な る 矩 形 を 検 出 す る こ と で
こ れ ら の カ メ ラ で 撮 影 され た 各 映 像 か ら ，各 時刻 に お い て 調 理
行 う，た だ し ，静止 区 間 も こ の よ うな 矩 形 を 生 じ る が ，繰 り返
が 行 わ れ て い る場 所 を 検 出 し ，そ れ ら を 切 り替 え て
な ぎ合 わ
し 区 間 に は 含 め な い ．こ れ に よ り，最 終 的 に 検 出 され た 矩 形 領
せ る こ と で 1 本 の 調 理 履歴 映像 を生 成 す る ．た だ し ，調 理 は 同
域 に 対応 す る 映 像 区間 を 繰 り 返 し 区 間 と す る ．
時 に 2 か 所 以 上 の 調 理 場 所 で は 行 わ れ な い も の とす る ．
4 映 像 要 約
3．
3 区 間 検 出
3 ，
前 節 で 検 出 し た 静 止 区 間 ・繰 り 返 し 区 間 の 情 報 を 利 用 し ，調
3．
1　静止 区 間検 出
3．
理 履 歴 映 像 を 要約 す る ，
静 止 区 間は ，フ レ ーム 間差分 を利 用 し，画 像 的変 化 の 小 さい
要約 映像 に 用 い る 区 間 を 図 5 に 示 す ．静 止 区 間 は ，時 間 的 変
フ レ ーム を 静 止 区 間 と み な す こ と で 検 出 す る ，ま ず ，映 像 中の
化 が 重 要 で あ る 考 え られ る た め ，区間 開始 ，区間 終 了 ，区 間 中
（1 ） 静止 区 間
フ レ
ご とに分割 し
っ
っ
ぺ
っ
つ
コ
ロ
っ
べ
っ
一 57 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
E ≡自
：
：
凵
凵 」
Ts
図
順番
ハ
一
一
ーグ」
ンバ
量ヨ置ヨ
：
：
：：
：
■　5　映 像 要 約 に 用 い
1　「
表
の
カメラ
：：
一
る区 間
〔
注 1｝
調 理 手順
手順
1
2
長 ネ ギ と 椎茸 をみ じ ん 切 り に す る ．
3
切
っ
す
，
フ
4
ライ パ ン を
中火 で 温
，バ
め
た材料 をフ ライ パ ン に入れ
と ろみ が出 て きた ら
ーを 溶 か
タ
，
絡 める
，あ
，皿
に移 し
す．
．塩 を 入 れ ，水 気 を 出
．
ら熱 を と る
卵 ・
炒 め た 材 料 を 入 れ ，フ
分 ほ ど した ら ，ボ ウル に 挽 肉 ・
510
ォ
ー
図 6　撮 影 環 境
．胡 椒 ・醤 油 で 味 を 調 え る ，
ど な じ ま せ た ら ，フ ォ ーク で 半分 に 切 り，パ テ を 2
作 り，熱 した フ ライ パ ン で 焼 く ．
テ の 脇 か ら 肉汁 が 出 て き た ら返 して 裏面 を 焼 く．
クで よく混ぜ る
表 2 区間 検 出結 果 の 精度
〜10 分 ほ
65
っ
7
パ
Ts
秒 を そ れ ぞ れ 要約 映像 に 用 い
っ
×
4 ． 実験
提 案手 法 で
要約 にお
，
あ る ．そ こ で ，実験 で
は
は
ハ
バ
ン
ーグの
調 理 を行
撮影 環 境 を 図
コ
，
6 に 示す ．
×
，
，
，
っ
区 間検出 の 精度 評 価 に 際
して
，各 区
間 を人 手で 設 定 した もの
レ ーム
レ ーム
．真値 の 静 止 区 間 は 区 間 数 が 5 ，総 フ
ーム ，繰 り 返 し 区 間 は 区 間数 が 9 ，総 フ
レ ーム で あ
た ．精 度 評 価 は 以 下 の 式 に よ
・F 値 を求 め る こ と で 行 た ．
を真 値 区間 と した
数 が 6 845
，
合率
フ レ
フ
・再 現 率
＝0 ．
95 ，θ2 ＝0 ．
50
ー
パ
さ
に
る
ラ
メ
タ
長
関す
き ，θ1
．ま た ，映像 要 約 で の 各 区 間の
は ，Ts ＝1 秒 ，TR ＝4 秒 と し た ．
4．
2　実 験 結 果
検 出 結 果 の 精 度 を 表 2 に 示 す，静止 区 間 に い て は ，真 値 と
一
し て 設定 し た 区間を誤 検 出 ・
未 検 出 が な く検出 で き た． 方
と した
つ
つ
て は 適合 率 が
い
秒 と な り ，約
4
分の
0．
62
，38％ の 区 間 が 誤
で あ り
1
の
要 約 し た 結 果 ，映 像 長 が
っ
，
り適
8 分 23 秒 で あ っ
分 55 秒 で あ
り ，実 験 結 果 の 映 像 は 極 端
．
3 考 察
3．
1　区 間検 出 の 精度
4．
に 短 い 映 像 とな
っ
4
た，
各 区 間 の 検出精 度
を見 る と ，静 止 区 間 に
を 過 不 足 な く検 出 で き て お り
繰 り返 し 区 間 に つ
して
検出す る こ
い
とや
て は
，繰
，
有効 性 が
，真 値 よ り広 い
つ
い
て は真値 の 区間
確認 で き た
．し か
範 囲 を 繰 り返
し
，
し区間 と
り返 し 区 間 で ない 区 間 も繰 り 返 し 区 間
と誤 検 出 す る傾 向 が あ っ た ．
こ の
原 因 と して
，ま ず CHLAC
特 徴 が 動 き の あ る領 域 の 大 き
さ に 依 存 し て い る こ と が 考 え られ る ．提 案 手 法 で は ，CHLAC
特 徴 は 動 き の あ る 領 域 を基 に 特 徴 抽 出 を 行 っ て お り，動 き の 小
っ
．
com
た ．実 験 結 果 で は
4
さい 区 間で は ，異 な る 動 作 で も CHLAC
（
注 1 ）： http：〃 ceokpad
，要 約
に 短 縮 す る こ とが で きた
7 に 示 す ．要 約 映 像 で は ，冗 長 な 調 理 動
要 約 した 場 合 ，映 像 長 は
っ
ロ
，
，
した と
作 を 省 略で き て い る こ とが 確 認 で き た ．真 値 区 間 を 基 に 映 像 を
は
7 496
規化
と正
され た 映像 の 系列 を図
，「調理 台 ユ と 「 ン 」 の 2 か 所 を そ れ ぞ れ 固定 カ メ
ラ で 撮影 し ，そ れ ら の 映 像 か ら生 成 し た 調 理 履 歴 映 像 を使 用 し
た ．実 験 で 使 用 し た 調 理 履歴 映 像 は ，解像 度 が 1 920
1 080
ー
ー
フ レ
ム レ
20 085
トは 15 fPs 映 像 長 は 22 分 18 秒 （
pixeb
フ レ ーム ） で あ
た．
数が
0
を 1 ，最 小 の も の を
4 分 55
り返 し 区間 の 検 出精 度 を 評 価 し た ，
，表 1 に 示 す よ うな 手 順 で
た 調 理 履 歴 映 像 を使 用 した ． 実 験 で の
実験 で
繰 り返 し 区 間 検 出 で 用 い る しき い 値 は ，全 類似 度 で 最 大 の も の
ま た ，区 間 検 出 の 結 果 を基 に 映 像
実際に 調理
1 実 験 条 件
4．
本 実験 で
検 出 に 成 功 し た フ レ ーム 数
3）
再 現率 ＝
（
真 値 区 間 の 総 フ レ ーム 数
検 出 され た ．
を 行 う様 子 を 固 定 カ メ ラ で 撮 影 した 映 像 に 本 手 法 を 適 用 し，静
・繰
．
620
値
，
990
，
74
検 出 に 成 功 し た フ レ ーム 数
2）
適合率 ＝
（
検 出 し た フ レ ーム 数
繰 り返 し区 間 に
静 止 区 間 と繰 り返 し 区 間 を 高 精
い て
度に 検出す るこ とが 重要で
止 区間
．
990
．
920
，
と 考察
の
再 現率
0．
980
繰 り 返 し区 間
，そ れ 以 外 の フ レ ー
ム は省略す る ．
繰 り返 し区 間 も静 止 区 間 と 同 様 に ，区 間 の 開 始 ，
終 了 ，中 間の TR 秒 をそ れ ぞれ 要 約 映像 に 用 い る が ，調 理 動 作
ーム を 静
そ の も の も 重 要 な の で ，TR ＞ Ts と し ，用 い る フ レ
止 区 間 の 場 合 よ り長 くす る ．よ
て ，各 区 間 か ら 要 約 映 像 に 用
い ら れ る 映 像 の 長 さは ，静 止 区 間 が Ts
3 ，繰 り返 し 区 間 が
TR x3 とな る ．
こ れ ら の 規 則 に 基 づ い て 要 約 す る こ と で ，時 間 的 に 冗 長 な 区
間 を 省 略 し ，短 時 閔 で 調 理 動 作 の 把 握 が 可 能 な 調 理 履 歴 映 像 を
生成す る．
間周 辺 の
F
適合率
静止 区間
な
r ipe／
1452708
／
一
っ
．そ
て しま う
の
た め，
特徴 に 差 が 表 れ
あ らか じ め 動 作 領
に くく
域 を切 り 出す な ど
58 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
表
3
θ1
θ1
繰 り返 し 区 間 検 出 結 果
し きい 値
θ1
再現率
0．
620
，
600
、
59
0．
920
．
830
．
64
＝0 ，
95 ，
θ2 ＝0 ，
50
三〇，
96 ，
θ2 ＝0 ．
50
．
．
0 97，
θ2
0 50
＝
＝
5 。 む す　び
F 値
適合率
0．
740
．
700
．
62
は ，調 理 履歴 映 像 の 要 約 手 法 を 提 案 し た ．提 案 手 法
本報 告 で
，調 理 映 像 の 時 間 的冗 長性 に 着 目 し ，そ れ ら を 除 去 す る こ
と で 映 像 を要 約 し た ．調 理 映 像 に お け る 時 間的 冗長 な 区間 と し
て 静止 区 間 ，繰 り返 し 区 間 を 検 出 し ，そ の 精 度 を 評 価 した ．評
価 実 験 の 結 果 ，F 値 が 静 止 区 間 で は 0 ．
99 ，繰 り 返 し 区 間 で は
0．
74 で あ り 繰 り返 し 区 間 検 出 の 精 度 向 上 が 必 要 で あ る と い
える．
で は
に よ り，動 き の 変 化 を 抽 出 し や す くす る こ と で 改 善 で き る と 考
え られ る ．
，
また別
の
原 因 と し て ，類似 の 条 件 が 緩 く な っ
て しま
っ
て いた
．繰 り返 し 区 間 検 出 で し き い 値 を 変 化 させ た
・再 現 率 ・F 値 を 表 3 に 示 す ．し き い 値 θ1 を 上
こ と が 考 え られ る
ときの
適合率
げ て ，類 似 の 条件 を厳
，適 合 率 は あま り 変 化 が ない
る ．こ れ は ，繰 り返 し 区 間 よ り も 他
し くする と
が ，再 現 率 が 著 し く低 下 す
に 検 出 され や す い 非 繰 り返 し 区 間 が 存
．
在す るこ
と を意味 し て い
，繰 り 返 し 区 間 を 過 剰 に 検 出 し て
し ま う傾 向 が あ る とい え る ．そ の た め ，今 後 は ，大 ま か な 動 作
位 置 や 色 な どの 他 の 情報 を利 用す る こ と で 精度 の 向上 を 図 る ．
3．
2 映像要約 の 精度
4 ．
る
っ
ま り，現 在 の 手法 で は
実 験 で 要約
，冗 長 で な い
した映像 を 見 る と
調 理 手 順 も省 略 さ
れ て お り，不 自然 な 要 約 映 像 と な っ て し ま っ た ．真 値 区 間 を 基
に 生成 した 要約 映 像 が
し た要 約 映
い こ とか
らも，
適切で
5） や 混 ぜ た 材 料
．前 者 で
秒で ある
に対 し
の
，実 験
で生成
像 が 4 分 55 秒 と真 値 映 像 よ り極端 に 映 像 時 間 が 短
され た 手 順 と して
た
8 分 23
は
ない
省 略 が ある こ と が 確 認 で き る ．省 略
，材 料 を 加
え て 混 ぜ 合 わせ る 手 順
（
表 1 手 順 6） が あ
か らパ テ を 作 り焼 く手 順
，卵
を加え る
動作が 要 約 に
表 1 手順
（
含
ま れ て お らず
っ
，
調理
手順 を 把 握す る た め の 映像 と し て は 致命 的 と い え る ，ま た ，後
者 で は ，パ テ を作 る 動 作 か ら 焼 く動 作 ま で を すべ
て 同 じ繰 り返
．し か し ，提 案 手 法 で は 検 出 区 間 の
一部 を 要 約 に 含 め る た め ，要 約 映 像 に パ テ を 作 る 動 作 と 焼 く 動
作 を 部 分 的 に含 め る こ と が で き て い た ．そ の た め ，要 約 映 像 で
は ，部分 的 に 手 順 を含 ん で い れ ば調 理 手 順 の 理 解 が で き る た め ，
要約 に お い て 調理 手 順 の 欠 落 が な い こ と が 重 要 で あ る．
区 間 検 出 結 果 か ら も 分 か る よ うに ，適 切 で な い 省 略 の 原 因 は ，
繰 り 返 し 区 間 の 過 剰 な 検 出 が 原 因 で あ る ．ま た 提 案 手 法 で は ，
終 了 付 近 の フ レ ーム を 要約 映 像 に 用 い
検出 され た 区間 の 開 始 ・
て お り，検 出す る 区 間 の 開始位 置 ・
終 了 位 置 が ずれ る と生 成 さ
し 区 間 と し て しま
っ
て い た
れ る 要 約 映 像 に も影 響 が 出 る
・終 了 位 置 を 正
．そ の
た め ，要 約
確に 検出 する
の
開始 位 置
る
．今 後 は ，区 間検 出 の 精 度 向上
こ とが
ためには区間
特に 重要 と い え
と と も に ，各調 理 動 作 の 境 界
も冗長 な 映像 とな っ
しやすい
て
メ ラで
撮 影 す る た め ，空 間 的 に
お り，要 約 し た だ け で は 調 理 内 容 の 把 握
な 領 域 を 切 り 出 し， 仮 想 的
．そ こ で ，調 理 履歴 映像 か
に カ メ ラ ワ ーク を 生 成 す る こ
り分 か りやす い 映 像 が 生 成 で きる と 考 え られ る
，特 徴 抽
出を 改
善で き る と
考え られ る
シ ピ の 利 用 ：料 理 レ シ ピ を 利 用 し
料理
，料 理
レ
ら必 要
とで よ
．ま た ，前 述 の
，
レ
シ ピの
各 調理 手 順 と映 像 を 対応 づ け る こ と で ，調 理 手 順 も考 慮 し た う
え で 冗 長 な 区 間 を 検 出 で き る ．例 え ば ，複 数 の 材 料 を 切 る こ と
，す べ て の 材 料 を 切 る様 子 を 要 約 に 含 め る
一
必 要 は な く ， 部 の 材 料 を 切 る 様 子 は 省 略 可能 と 考 え ら れ る ．
ま た ，他 の 料 理 レ シ ピ で 使 わ れ て い な い 食 材 ・
調 理 方 法 ほ ど，
が 手順 か ら分 か れ ば
そ の 映 像 で 重 要 な 情 報 と い え る ．そ の た め ，料 理
と と もに ，料 理
用 し，珍
しい
レ
シ ピに
ピの 利用
表れ る 食材や 調 理 方 法の 統 計情 報 を利
・調 理 方 法
食材
レ シ
を優 先 す る こ と で ，よ り短 時 間 で
重 要 な 情 報 を得 られ る 映 像 が 生 成 で き る．
●
空 間的冗 長性
る た め
除去
の
，
不 必 要 な領域ま で
調 理 映 像 は 固 定 カ メ ラ で 撮 影 され
：
撮 影 され
調 理 動 作 や 動 作領 域 に 基 づ い
る こ とが
多い
．そ の
た め
要 な 領 域 を切 り 出す こ と で
て必
，
，
仮 想 的 に カ メ ラ ワ ーク を 生 成 し ，空 間 的 冗 長 性 を 除 去 す る こ と
で
内 容 の 把 握 し や す い 映 像 が 生 成 で き る ，ま た ，動
，よ り調 理
作領域を あ らか
じめ
求め
て お く こ と は 特 徴 抽 出 に お い て も 有効
に 働 く．こ の 調 理 履 歴 映 像 か ら の カ メ ラ ワ ーク の 生 成 に 関 す る
研 究 は 既 に行 われ て お り
，今 後 は ，こ
E7
］
の
研 究 の 手 法 を統 合す
る こ と で よ り分 か りや す い 調 理 履 歴 映 像 の 要 約 を 行 っ て い く 予
，
定で あ る
文 献
“ ーザ の 閲 覧履 歴 を 利 用 し
相澤 清晴
ータ の 要 約 ，
”映 像 情 報 メ デ ィ ア 学 会 誌
237 −240 ，
Feb ．
2010 ．
no2 ，
pp ．
“
2
［］ 堀 鉄 郎 相 澤 清晴 ライ フ グ ビデ オ の た め の ン テ キス ト推
CS2003−152 ，
Dec ．
2003 ．
定 ，信学 技 報 ，
“
3】 三 浦 宏 一，浜 田 玲 子 ，井 手 一郎 ，
坂 井 修 一，
田 中 英 彦 ，動 き
［
づ
に
基
理
映
自
動
約
処
CVIM
研
究
会
vol
44
く料
像
要 ，情 学
論， ．
SIG9 ，
21 −29 ，
Ju1．
2003 ．
no ，
pp ，
“
4 ］ 久原 卓 ，
出 口 大輔，
高橋 友和，
井 手 一郎 ，
村 瀬 洋 ，CHLAC
［
国 畑 田 晃 希
た ラ イ フ
山 崎 俊彦
，
，
ユ
，
グデ
ロ
1voL64
，
ロ
，
”
コ
”
特 徴 の 周 期 性解 析 に よ る 料 理 映 像 中の 繰 り返 し調 理 動 作 区 間 の
抽 出 と識別
”信 学 技 報 ，MVE2010 −144 ，Mar ．2011．
“
5 ］ T ．Kobayashi and
N ，Otsu
Action and
Simultaneous
［
−
Multiple
Person
Identification
Using Cubic Higher −Order
”Proc ．17th Internatio al Confer−
Local AutQ −Correlation
，
741 −744 ，
Aug ．
2004 ．
ence on Pattern Recognition ，pp ．
“
61N
．
Otsu
and
T
．
Kurita
A
New
Scheme
for Practical Flex −
，
［
”
IAPR Workshop
ible and IntelligentVision System ，Proc ．
−
431 435 0ct ．
1988 ．
on Computer VBion pp ，
“
7］ 兵 庫 渉 ，
林 泰宏 ，
野田 雅文，
出口 大輔，
井 手 一郎 ，
村 瀬 洋 ，調
［
1
，
特 徴 抽 出 に お い て も ，あ らか じ め 動 作 領 域 を 切 り出 し て お く こ
とで
●
い
く．
て も検 討 し て
映像 は 生 成 で き ない
精 度 向 上 と と も に ，以 下 の 点 に つ
り返 し 区間 の
い
の
の
を 検 出 す る こ と に も取 り組 ん で い く ．
一方 ，調 理 履歴 映 像 は 固 定 カ
今後 は ，繰
且
，
，
理 手 順 に 従 っ た 撮 影 対 象領 域 の 決 定 に 基 づ く調 理 映 像 を 対 象 と
ー
”
MVE2011 −100 ，
し た デ ィ ジ タ ル カ メ ラ ワ キ ン グ ，信 学 技 報 ，
Mar ．
2012．
一 59 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
図
7
要 約結 果
．数 字 が ○ で 囲 ま れ た
，ロ
もの は 繰 り返 し 区 間 と し て 検 出 され た 区 間
もの は静 止 区 間 と して検 出され た 区 間 を示す
で
囲ま れ た
．
一 60 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library

映像か らの歩行者検出

高速レール試験機の開発 西田 新一, 杉野 和男, 浦島 親

鉄道車両用動揺防止制御システムの開発 藤野 謙司 105

［招待講演］メタ戦略一 問題解決の ための 実践的解法

習熟が容易なウォークスルー操作実現のための経路

FASTECH360による技術開発 堀川 重成 115 (1120)

View!

deformation of face

AR アプリを使用した姫路城の新たな展示 - y

Human Re−identification by Non −−linear Distance