高速カメラと距離センサの統合に基づく 全身運動3次元計測技術の開発

㧗㏿䜹䝯䝷䛸㊥㞳䝉䞁䝃䛾⤫ྜ䛻ᇶ䛵䛟
඲㌟㐠ື䠏ḟඖィ ᢏ⾡䛾㛤Ⓨ
࿴ḷᒣ኱Ꮫ 䝅䝇䝔䝮ᕤᏛ㒊
ᑠᕝཎ ග୍
」ᩘ䜹䝯䝷䜢⏝䛔䛯ືస䛾ィ ౛
Kinect V2䛻䜘䜛㧗㏿ືస䛾ィ ౛䠄䠍䠅
㟢ග㔞䛜ከ䛔䛯䜑䝰䞊䝅䝵䞁䝤䝷䞊䛜Ⓨ⏕
Kinect V2䛻䜘䜛㧗㏿ືస䛾ィ ౛䠄䠎䠅
• 䠍䝣䝺䞊䝮䜢ᢤ䛝ฟ䛧
䝰䞊䝅䝵䞁䝤䝷䞊
୙ṇ☜䛺
䠏ḟඖ䝕䞊䝍
Kinect V2䛻䜘䜛㧗㏿ືస䛾ィ ౛䠄䠏䠅
• 䠍䝣䝺䞊䝮䜢ᢤ䛝ฟ䛧
䝰䞊䝅䝵䞁䝤䝷䞊
୙ṇ☜䛺
䠏ḟඖ䝕䞊䝍
㧗㏿䜹䝯䝷䠄180Hz䠅䛻䜘䜛㧗㏿ືస䛾ィ ౛
75䝣䝺䞊䝮
105䝣䝺䞊䝮
䝰䞊䝅䝵䞁䝤䝷䞊䛿
኱ᖜ䛻ᢚไ䛥䜜䛶䛔䜛
䝅䝱䝑䝍䞊䝇䝢䞊䝗 4ms
◊✲┠ⓗ
• 㧗㏿䜹䝯䝷䛸㊥㞳䝉䞁䝃䜢⤫ྜ䛧䛯䠏ḟඖ඲㌟㐠ືィ ᢏ⾡䛾㛤Ⓨ
ィ ᑐ㇟⪅
0Hz)㽢䠐ྎ䚸㊥㞳䝉䞁䝃(30Hz)㽢䠎ྎ
– ධຊ䠖㧗㏿䜹䝯䝷(180Hz)㽢䠐ྎ䚸㊥㞳䝉䞁䝃(30Hz)㽢䠎ྎ
– ฟຊ䠖ேయ䛾㔜ᚰ఩⨨䞉ጼໃ䛸඲㌟䛾㛵⠇ゅ䜢 180Hz 䛷᥎ᐃ
ᮏⓎ⾲䛷䛿 㐨ල䠄䝷䜿䝑䝖䛺䛹䠅䛾఩⨨䞉ጼໃ䜢 180Hz 䛷᥎ᐃ
ᥦ᱌ᡭἲ䛾ᴫせ
䐟 ㊥㞳䝉䞁䝃䛸㧗㏿䜹䝯䝷䜢ే⏝䛧䛯㐠ື䛾ィ 䐠 ప䝣䝺䞊䝮䝺䞊䝖䠄30Hz䠅䛾㊥㞳䝉䞁䝃䜢౑䛳䛯㐠ື䛾᥎ᐃ
ฎ⌮
ᡭ㡰
䐡 䐠䛾᥎ᐃ⤖ᯝ䠄30Hz䠅䜢ෆᤄ䛧䛯㧗㏿㐠ື䠄180Hz䠅䛾᥎ᐃ
䐢 㧗䝣䝺䞊䝮䝺䞊䝖䠄180Hz䠅䛾㧗㏿䜹䝯䝷䜢౑䛳䛯㐠ື䛾෌᥎ᐃ
㧗㏿䜹䝯䝷
㊥㞳䝉䞁䝃
㊥㞳䝉䞁䝃
䐟㊥㞳䝉䞁䝃䛸㧗㏿䜹䝯䝷䜢ే⏝䛧䛯㐠ືィ • ㊥㞳䝉䞁䝃䛸㧗㏿䜹䝯䝷䛻䜘䜛ྠ᫬᧜ᙳ
– ప䝣䝺䞊䝮䝺䞊䝖(30Hz)䛾㊥㞳⏬ീิ
⏬ീิ
– 㧗䝣䝺䞊䝮䝺䞊䝖(180Hz)䛾㍤ᗘ⏬ീิ
䠎ḟඖ⏬ീ䠄㍯㒌䠅
㧗㏿䜹䝯䝷䠄180Hz䠅
㊥㞳䝉䞁䝃䠄30Hz䠅
㊥㞳⏬ീ
ேయ䝰䝕䝹䛾సᡂ
ேయ䜢䠏ḟඖィ 䛧䛶సᡂ
⮬⏤ᗘ
ᅇ㌿
య⾲㠃䝰䝕䝹
2
2
2
2
୪㐍
2
2
2
2
2
ேయ䝰䝕䝹
2
2
㦵᱁䝰䝕䝹
ࡾ䞉䞉䞉૜
ࢀ䞉䞉䞉૜
㛵⠇ゅ ࣂ䞉䞉䞉૛૛
య⾲㠃䝰䝕䝹䛿㏆ഐ䛾㦵᱁䛻
㏣ᚑ䛧䛶⁥䜙䛛䛻ኚᙧ
䐠ప䝣䝺䞊䝮䝺䞊䝖䛾㐠ື᥎ᐃ
᫬้ t 䛾䠏ḟඖ䝕䞊䝍
㊥㞳䝉䞁䝃
(Kinect 30Hz)
㐍⾜᪉ྥ
ேయ
䝰䝕䝹
䠄ప䝣䝺䞊䝮䝺䞊䝖䠅
䠄ప
㊥㞳⏬ീ
᫬้ t-1 䛾䠏ḟඖ䝕䞊䝍
䐠ప䝣䝺䞊䝮䝺䞊䝖䛾㐠ື᥎ᐃ
• ㊥㞳⏬ീ䜢฼⏝䛧䛯㐠ື᥎ᐃ
– ICP䜰䝹䝂䝸䝈䝮
ㄗᕪ㛵ᩘ
ฟຊ䞉䞉䞉ᅇ㌿䠈୪㐍䠈㛵⠇ゅ ࢖ = ࡾ, ࢀ, ࣂ
‫ ݊݅݉ = ܧ‬෍ ߩ( ࡾ ȉ ݉௜ (ࣂ) + ࢀ െ ‫ݎ‬௜
௜
໙㓄ἲ䛻䜘䜚‫ܧ‬䜢᭱ᑠ໬
߲ࡱ
࢖՚࢖െߙ
߲‫݌‬
ேయ䝰䝕䝹䛾㡬Ⅼ
䛾㡬Ⅼ
ேయ䝰䝕䝹
ଶ
)
ィ 䝕䞊䝍୰䛾ᑐᛂⅬ
㊥㞳⏬ീ
䐡㧗䝣䝺䞊䝮䝺䞊䝖䛾㐠ື䛾ෆᤄ
ప䝣䝺䞊䝮䝺䞊䝖㛫䛾㐠ື䜢䐠䛾᥎ᐃ⤖ᯝ䛾
㛵⠇ゅ䛛䜙⥺ᙧⓗ䛻ෆᤄ䛩䜛
㊥㞳䝉䞁䝃
(Kinect 30Hz)
㐍⾜᪉ྥ
䠄ప䝣䝺䞊䝮䝺䞊䝖䠅
䠄ప
ேయ
䝰䝕䝹
㊥㞳⏬ീ
䐢㧗䝣䝺䞊䝮䝺䞊䝖䛾㐠ື᥎ᐃ
㧗䝣䝺䞊䝮䝺䞊䝖㍤ᗘ⏬ീ䛸
䠏ḟඖேయ䝰䝕䝹䛾఩⨨ྜ䜟䛫
㊥㞳䝉䞁䝃
(Kinect 30Hz)
㐍⾜᪉ྥ
䠄ప䝣䝺䞊䝮䝺䞊䝖䠅
䠄ప
ேయ
䝰䝕䝹
㊥㞳⏬ീ
㧗㏿䜹䝯䝷
180Hz
᫬้ t-1 䛾䠎ḟඖ㍯㒌䝕䞊䝍
䠄㧗䝣䝺䞊䝮䝺䞊䝖䠅
䠎ḟඖ⏬ീ䠄㍯㒌䠅
䐢㧗䝣䝺䞊䝮䝺䞊䝖䛾㐠ື᥎ᐃ
• ㍤ᗘ⏬ീ䜢฼⏝䛧䛯㐠ື᥎ᐃ
– 䠥䠟䠬䜰䝹䝂䝸䝈䝮 ฟຊ䞉䞉䞉ᅇ㌿䠈୪㐍䠈㛵⠇ゅ ࢖ = ࡾ, ࢀ, ࣂ
ㄗᕪ㛵ᩘ
‫ ݊݅݉ = ܧ‬෍ ߩ( ࡾ ȉ ݉௜ (ࣂ) + ࢀ െ ‫ݎ‬௜
௜
ଶ
)
(i)䠏ḟඖ䝰䝕䝹
㍯㒌䛾ᢞᙳ
݉௜ᇱ (ߠ)
‫ݎ‬௜
໙㓄ἲ䛻䜘䜚‫ܧ‬䜢᭱ᑠ໬
࢖՚࢖െߙ
߲‫ܧ‬
߲‫( ݌‬ii)ᑐᛂⅬ᥈⣴
ேయ
(iii)㏫ᢞᙳ 䝰䝕䝹
2ḟඖ⏬ീ(㍯㒌)
ᐇ㦂
ᑐ㇟䛸䛩䜛㐠ື
(i) 䝎䞁䝇
(ii) 䝪䜽䝅䞁䜾
௨ୗ䛾䠏㏻䜚䛾᪉ἲ䛷㐠ື᥎ᐃ⢭ᗘ䛾ẚ㍑᳨ド
ึᮇ᥎ᐃ䠖㊥㞳䝉䞁䝃䠎ྎ䠄30Hz䠅䜢౑䛳䛶㐠ື䜢᥎ᐃ
䐟 ึᮇ᥎ᐃ䜢ෆᤄ䛧䛶180Hz䛾㐠ື䜢᥎ᐃ
䐠 ึᮇ᥎ᐃ䜢ึᮇ್䛸䛧䛶㏻ᖖ䜹䝯䝷䠄30Hz䠅䛷㐠ື䜢᥎ᐃ
䛭䛾⤖ᯝ䜢ෆᤄ䛧䛶180Hz䛾㐠ື䜢᥎ᐃ
ẚ㍑⏝
䐡 ึᮇ᥎ᐃ䜢ෆᤄ䛧䛶180Hz䛾㐠ື䜢᥎ᐃ
䛭䛾⤖ᯝ䜢ึᮇ್䛸䛧䛶㧗㏿䜹䝯䝷䠄180Hz䠅䛷㐠ື䜢᥎ᐃ
ᥦ᱌ᡭἲ
ᐇ㦂⎔ቃ
䝇䝍䝆䜸ᵓᡂ
7m
Kinect
(30Hz)
3m
ィ ⠊ᅖ
㧗㏿䜹䝯䝷(180Hz)
8m
㧗㏿䜹䝯䝷 䝇䝨䝑䜽
㻷㼕㼚㼑㼏㼠 䝇䝨䝑䜽
ᆺ␒
㻳㻾㻭㻿㻙㻞㻜㻿㻠㻯㻙㻯
῝ᗘゎീᗘ
㻢㻠㻜㼤㻠㻤㻜
䜹䝯䝷ゎീᗘ
㻢㻠㻜㼤㻠㻤㻜
䜹䝯䝷ゎീᗘ
㻢㻠㻜㼤㻠㻤㻜
᭱኱䝣䝺䞊䝮䝺䞊䝖
㻞㻜㻜㻲㻼㻿
᭱኱䝣䝺䞊䝮䝺䞊䝖 㻟㻜㻲㻼㻿
䜻䝱䝸䝤䝺䞊䝅䝵䞁ἲ䠄䠍䠅
᪂䛯䛻㛤Ⓨ
1. ᬯ㜌䛾୰䛷LED 䜢⮬⏤䛻ື䛛䛧䛭䜜䜢඲䜹䝯䝷䛷᧜ᙳ
–
ྠᮇ䜹䝯䝷䠄㧗㏿䜹䝯䝷䠒ྎ䠅䛸㠀ྠᮇ䜹䝯䝷䠄㊥㞳䝉䞁䝃䠎ྎ䠅
LED
ྛ䜹䝯䝷䛷᧜ᙳ䛥䜜䛯LED䛾㌶㊧
䜹䝯䝷䠍
䜹䝯䝷䠎
䜻䝱䝸䝤䝺䞊䝅䝵䞁ἲ䠄䠎䠅
᪂䛯䛻㛤Ⓨ
2. ྠᮇ䜹䝯䝷䠒ྎ䛾䜻䝱䝸䝤䝺䞊䝅䝵䞁
–
䛂LED䛾䠎ḟඖ㌶㊧䛃䛛䜙䛂䜹䝯䝷䛾䠏ḟඖ఩⨨䛃䛸䛂LED䛾䠏
ḟඖ㌶㊧䛃䜢᥎ᐃ
1.
2.
Structure-from-Motion ἲ䠄ᅉᏊศゎἲ䠅
᭱㐺໬䠄෌ᢞᙳㄗᕪ᭱ᑠ໬䠖䝞䞁䝗䝹ㄪᩚ䠅
3. 㠀ྠᮇ䜹䝯䝷䠎ྎ䛾䜻䝱䝸䝤䝺䞊䝅䝵䞁
–
䛂LED䛾䠏ḟඖ㌶㊧䛃䛾ᢞᙳㄗᕪ䛜᭱ᑠ䛻䛺䜛䛂䜹䝯䝷䛾䠏
ḟඖ఩⨨䛃䛸䛂ྠᮇ䛪䜜䛃䜢᥎ᐃ
1.
2.
Structure-from-Motion ἲ䠄䜹䝯䝷䛾఩⨨䛾䜏᥎ᐃ䠅
෌ᢞᙳㄗᕪ䛜᭱ᑠ䛸䛺䜛ྠᮇ䛪䜜䜢㑅ᢥ
䜻䝱䝸䝤䝺䞊䝅䝵䞁⤖ᯝ
䜹䝯䝷
(640x480@200fps)
᥎ᐃ䛥䜜䛯䜹䝯䝷఩⨨䛾ྍど໬ᅗ
㊥㞳䝉䞁䝃(Kinect,640x480@30fps)
䜹䝯䝷
ᖹᆒ෌ᢞᙳㄗᕪ [pixel]
ྠᮇ䜹䝯䝷
0.4
㠀ྠᮇ䜹䝯䝷
3.1
㐠ື᥎ᐃ⤖ᯝ䛾ホ౯䐟
㍯㒌䛛䜙䛿䜏ฟ䛯
㒊ศ䛾㠃✚ܵ
ศ䛾㠃✚
ேయ䝰䝕䝹䛾ᢞᙳ㠃✚ ‫ܣ‬
䛿䜏ฟ䛧䛯㒊ศ䛾㠃✚ ܵ
ᢞᙳㄗᕪ
ܵ
Error = × 100 %
‫ܣ‬
㉥䠖㍯㒌እ㒊䛾
䛾
ேయ䝰䝕䝹
ேయ䝰䝕䝹䛾
䛾
ᢞᙳ㠃✚ ‫ܣ‬
㯮䠖㧗㏿䜹䝯䝷⏬ീ㍯㒌
⥳䠖㍯㒌ෆ㒊䛾
ேయ䝰䝕䝹
㐠ື᥎ᐃ⤖ᯝ䛾ホ౯䐠
A) ධຊ⏬ീ䛛䜙ᚓ䜙䜜䜛㛵⠇䛾䠏ḟඖᗙᶆ
B) 3䛴䛾ᡭἲ䛭䜜䛮䜜䛾᥎ᐃᚋ䛾㛵⠇䛾䠏ḟඖᗙᶆ
ධຊ⏬ീ䛛䜙䛾㛵⠇఩⨨
ᡭ㤳
㛵⠇఩⨨
A䛸B䛾
3ḟඖ㊥㞳
᥎ᐃ⤖ᯝ䛾㛵⠇఩⨨
ᡭ㤳
㛵⠇఩⨨
᧜ᙳ⏬ീ(䝎䞁䝇䚸180Hz)
ᐇ㦂⤖ᯝ(䝎䞁䝇)
ධຊ⏬ീ
㊥㞳䝉䞁䝃
᥎ᐃ⤖ᯝ
㏻ᖖ䜹䝯䝷
䠄30Hz䠅
㧗㏿䜹䝯䝷
䠄180Hz䠅
ᥦ᱌ᡭἲ
ᐇ㦂⤖ᯝ䠄䝎䞁䝇䚸ᢞᙳㄗᕪ䠅
䜹䝯䝷䠍␒
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
25.00
Error[%]
20.00
ᥦ᱌ᡭἲ
15.00
10.00
5.00
0.00
1
51
101
151
201
251
301
351
251
301
351
Frame[time]
䜹䝯䝷2␒
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
16.00
14.00
Error[%]
12.00
ᥦ᱌ᡭἲ
10.00
8.00
6.00
4.00
2.00
0.00
1
51
101
151
201
Frame[time]
ᐇ㦂⤖ᯝ(䝎䞁䝇)
ධຊ⏬ീ
㊥㞳䝉䞁䝃䛾䜏౑⏝
ᢞᙳㄗᕪ๭ྜ
9.2%
ᢞᙳㄗᕪ๭ྜ
3.5%
㧗㏿䜹䝯䝷䠎ྎ䛸
㊥㞳䝉䞁䝃䜢౑⏝
ᢞᙳㄗᕪ๭ྜ
2.3%
᧜ᙳ⏬ീ (䝪䜽䝅䞁䜾䚸180Hz)
ᐇ㦂⤖ᯝ(䝪䜽䝅䞁䜾)
ධຊ⏬ീ
㊥㞳䝉䞁䝃
᥎ᐃ⤖ᯝ
㏻ᖖ䜹䝯䝷
䠄30Hz䠅
㧗㏿䜹䝯䝷
䠄180Hz䠅
ᥦ᱌ᡭἲ
ᐇ㦂⤖ᯝ䠄䝪䜽䝅䞁䜾䚸ᢞᙳㄗᕪ䠅
䜹䝯䝷䠍␒
16.00
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
14.00
12.00
Error[%]
10.00
ᥦ᱌ᡭἲ
8.00
6.00
4.00
2.00
0.00
1
51
101
151
201
251
301
351
Frame[time]
䜹䝯䝷2␒
25.00
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
Error[%]
20.00
ᥦ᱌ᡭἲ
15.00
10.00
5.00
0.00
1
51
101
151
201
251
301
351
Frame[time]
ᐇ㦂⤖ᯝ(䝪䜽䝅䞁䜾)
ධຊ⏬ീ
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
ᢞᙳㄗᕪ๭ྜ
15.0%
ᢞᙳㄗᕪ๭ྜ
13.3%
ᢞᙳㄗᕪ๭ྜ
7.1%
㛵⠇఩⨨᥎ᐃ⤖ᯝ(䝪䜽䝅䞁䜾)
ྑ⫝
250
Error[mm]
200
Error[mm]
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
150
100
50
0
10
50
90
130
170
210
250
290
330
370
200
180
160
140
120
100
80
60
40
20
0
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
10
50
ྑᡭ㤳
90
Frame[time]
130
ᕥ⫝
250
290
330
370
ྑᡭ㤳
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
180
160
Error[mm]
Error[mm]
210
200
250
200
170
Frame[time]
150
100
50
ᡭἲ䐟
ᡭἲ䐠
ᡭἲ䐡
140
120
100
80
60
40
20
0
0
10
50
90
130
170
210
250
Frame[time]
290
330
370
10
50
90
130
170
210
250
290
Frame[time]
㐨ල䜢౑⏝䛩䜛㐠ື䛾ணഛᐇ㦂⤖ᯝ
(䝔䝙䝇䝇䜲䞁䜾)
330
370
䜎䛸䜑
• ㊥㞳䝉䞁䝃䛸㧗㏿䜹䝯䝷䜢ే⏝䛧䛯඲㌟㐠ື䠏ḟඖ
ィ ᢏ⾡䜢ᥦ᱌
– 䝇䝫䞊䝒㑅ᡭ䛺䛹䛾㧗㏿䛺඲㌟㐠ື䜢Ᏻᐃ䛻᥎ᐃ
• ௒ᚋ䛾ㄢ㢟
– ㊥㞳䝉䞁䝃䜢౑䛳䛯㐠ື᥎ᐃ䛾Ᏻᐃ໬
• ᶵᲔᏛ⩦䜢฼⏝䛧䛯㆑ูἲ䛾ᑟධ
– 㐨ල䠄䝷䜿䝑䝖䠅䛺䛹䛾㐠ື᥎ᐃ
• ேయ䛾㐠ື᥎ᐃ⤖ᯝ䜢ึᮇ್䛸䛧䛶฼⏝䛧䝰䝕䝹䜢఩⨨ྜ䜟䛫