ラ ンダム ドッ トステ レオグラムを用 いた立体視機構解明の研究
平井 有 三
筑波大学
電子 ・情報工学系 教 授
1 ま
えが き
人の立体視 を成立 させ る手がか りには、物体 の形、陰影、 テクスチ ヤ勾配な ど単眼視 的な も
の もあるが、鮮 明な立体感 を与 える手がか りは両眼視差 で ある。 J u l e s z が
考案 した ラ ンダム
ドッ トス テ レオグラムは、単眼視 による手がか りが全 くな く、両眼視差 のみの手がか りか ら立
体視を知覚させる視覚刺激として多くの研究者に利用されてきた1」
。左右の画像から両眼視
差を検出す るためには、両眼像間の対応問題を解 く必要がある。これまでランダム ドットステ
レオグラムをベ ンチマークとして、対応問題を解 くための多くの両眼視差検出モデルが提案さ
れてきた 12,3,4,5,q。
対応 問題 を解 くた めには、 3次 元世界 の見 え方 に関す る制約 を利用 す ることが 必要 で あ る。
これ まで提案 されて きた制約 には、
1.一 対 一 の制約 :左 眼 の一 つ の刺激 は、右 眼 の高 々一つ の刺激 とのみ対応す る。
2.滑 らか さの制約 :3次 元物体 の表面 の奥行 きは滑 らか に変化す る。
3.順 序保存 の制約 :対 応 の結果 は左 限 と右 眼 の刺激 の順序 を変 えない 。
な どが あ る。 ほ とん どのモデル p,4,5,qは 、_対 一の制約 と滑 らか さの制約 を用 いてい る。
しか しなが ら、両 眼視差 か ら復元で きる表面 の 3次 元的な曲率 は、滑 らか さの制約その ものが
制約 してい る曲率 に大 きく影響 される。また、モデルの性能 は、滑 らか さの制約 を実現 して い
る局所的な果奮性結合領域 の広 さに依存する。
本研究の目的は、以前提案した順序保存の制約い1を、両眼融合のデータ『1から導き出され
た 3次 元 的 な forbidden coneに
拡張 し、その有効性 を、
1,静 的 ラ ンダム ドッ トステ レオ グラム
2.動 的 ラ ンダム ドッ トステ レオ グラム
を用 いて検証す ることにある。 J u l e s z t に
」 よれば、 3 次 元構造 を保 つたままフレーム毎 に ドッ
トの配 置が変化す る動 的 ランダム ドッ トス テ レオグラムは、静的ランダム ドッ トス テ レオグラ
ムよ り知覚 しやす い ことが報告 されてい る。 これまで、動的ラ ンダム ドッ トス テ レオ グラム を
ベ ンチマ ー クとして用 いた研究 はなか った。
2 モ
デ ル の 構 造 と動 作 方 程 式
モ デルの構造 を図 1に示 した。図 (a)は、左右 のラ ンダム ドッ トス テ レオ グラムの k番 目の
行間、す な わ ちエ ピポー ラ線上の点 ′
示 して
夕と け の対応 をとる、 k番 目の disparity neldを
い る。素子 bを
は
,″
=学 ,7=札″
=T
何
の関係 を満たす入力間の対応 をとる照合素子 を表す。素子 b営 とb督 の視差 冴と距離 Dを
,″ ,`間
冴=21ぐ一zl,D=に 一βl
で定義す る。
-
1
-
(b)
( a )
nX碗
・X 砲
,bを
の 定 義 。 2つ の照 合 素 子 bを
,c
,″
図 1:(a)入 力 画像 う
(サ
) と 、 d i S p a r i t y t e l d ( B)た
(サ
),兄
が もつ forbidden coneによる抑制
間の視差 冴と距離 Dを 図 の ように定義 した。 (b)素子 bを
,″
い
領域 の定義。 上下の cone内 のすべ ての素子 との相互抑制結合 により、制約 を表現 して る。
一
一
黒丸 で示 された 素子 は順 序保存 の制約 を、灰色 の素子 は 対 の制約 を破 つて い る素子 で あ
る。
い
定義 を示 してい る。素子 bを
図 (b)は 、本研究で用 いた forbidden coneの
,zがもって る抑制
領域 Ⅵ ″は
2+(Tゾ
2≧
に_ の
に_ っ
の領域で定義される。両眼融合のデータFlから導かれた
の関係を満たす上下の二つのcone状
forbidden coneは
等方的であ るが、本研究では グ方向 に広が つた異方性 の coneを用 いてい る。
この理由は、 研方向の素子 の密度 に比較 して グ方向の素子 の密度が うとなる ことを考慮 したか
らであ る。実験 の結果、ド ッ ト密度が高 い場合 には異方性 の coneの方が精度が よ く、また他
の心理データによつても異方的な処理の存在が示唆されているい1。
の各素子 は、以下 の非線形一次微分方程式 にしたが つて動作す る。
dispがity ield内
T叩 =抑 ど,か Σ牝広r理,O ω
bl,(Cttz
?(竹
) = 乱
{￨lse
告
告
を
二
Tは 素子 の 時定数、 c隊
(サ
)は 両眼か らの入力 で 、
,″
C ,と
(隊)サ1
)サ, 十
T″
)サ= m i n_W(″
桜
(″
で定義 される。各画素は、ド ットがある場合 1、ない場合 0を とるものとする。結合係数 りを
,v,″
,C,ば
への 明 ″内の素子 b!,cか
らの抑制性結合であり、
は、素子 bを
,″
°
(3)b
』
={祥
切
て
ら
広打
F″
縫
:撮
逮
乱
と定義 した。す な わち、行 が離 れるに したが つて両眼視差 の相関 が低 くなる ことを表 現 して い
る。以下 の 実験 で は、 7=0。 6と した。 また、対応 を計算 した範囲 は視差 が ±36ま で 、す な
ー
わち IZI≦18ま でで あ る。 また、微 分方程式 はオイラ 法で解 い てい る。
- 2 -
アルゴリズムplの比較。
表 1:提案したモデルの性能と、Marr_POggloの
Surfaces portrayed ill randoln―
dot stereograms
square
seinisphere
se■
lisphere crossed
saddle
with hollowiseHlicylinders
present network
竹竹碗aむcんcs
ぢ
竹cθNecサ 働aサcんes
MIarr―Poggio
竹化砲 atcんcs
ガ
ηcθTTccむmaを cんcs
92.6°
/0
7.0%
99,5°
/0
96.30/0
95.6%
97.0%
0.5°
/0
2.7%
4.20/0
2.9%
1.0%
0.2%
0.1%
86.0%
92.0%
12.0%
6.3°
/0
2.0%
1.7%
4°
0。
/0
0%
98.80/0
86.8%
0.1%
11.2%
88.1°
/0
8.9%
1.10/0
2.0%
3.0°
/0
3 実 験結果
3.1 静 的 ランダム ドッ トス テ レオグ ラム
図 2の 左 側 に示 した 2枚 の 2次 元 ラ ン ダ ム ドッ トス テ レオ グラム を入 力 画像 と して、式 (1)
を用 い て対応 問題 を解 い た結果 を図の右側 に示 した 。画像 の大 きさは 256× 256で あ り、ド ッ
ト密 度 は 20°
/0で あ る。 これ らの ス テ レオ グラムの奥行 きのエ ッジ部分 の最 大視差 は 12ピ クセ
ルで あ る。 図 の結果 は、平衡状態 に達 した照合素子 の出力値が 1に 近 い もの を用 い て 、検 出 さ
れた形状 を表示 した もので ある。
各ステレオグラムに対する結果を、Marr―
P oggioの
アルゴリズムplと比較して表 1に示し
た。 Marr→
P oggioの
アルゴリズムは、いずれも最大の正解率が得られるようにパラメータを調
節 して得 られた結果 であ り、ド ッ ト密度が変 わればパ ラメー タも調節 しなおす必要がある。表
か ら明 らかなように、四角形 を除いて提案 したモデルの方が高い正解率 を示 してい る。四角形
の場合 で も誤対応 率 は Mttr_POggiOのアル ゴリズム よ り低 い値 となってい る。 これ らの結果か
ら、提案 モ デルの性能 は、ド ッ ト密度な ど画像 の性質に依存せ ず、同 じ回路パ ラメー タで広範
囲な対応問題 を解 くことがで きることが分か つた。
3.2 動 的ラ ンダム ドッ トステ レオグラム
」uleszによれば、 3次 元構造 を保 ったままフレーム毎 に ドッ トの配置が変化す る動的 ラ ンダ
ム ドッ トス テ レオ グラムは、静的 ラ ンダム ドッ トス テレオグラムよ り知覚 しやす いこ とが報告
されてい る [」。
動的 ラ ンダム ドッ トス テ レオグラム を構成す るため に、知覚 される 3次 元形状 は同一で、ド ッ
トの配 置 が異 なる 50組 のステ レオ グラム を用意 し、数値計算 の 1ス テップ毎 にラ ンダム に一
組 を入 力 し、解 を求めた。図 3(a)に一組のラ ンダム ドッ トス テ レオ グラム を示 した。画像 の
大 きさは 128× 128で あ り、 ドッ ト密度 は 20%で ある。脂されてい る形状 は図 2と 同 じくサ ド
ルで あ り、左右 の奥行 きのエ ッジ部 の最大視差 は 12ピ クセルである。
入力画像 の ドッ ト配 置が時間的に変化す るため、静的ランダム ドッ トス テ レオ グラムの場合
のよ うに、正 しい対応 を表す照合素子に常 に 1の 入力が与 えられ続 ける ことはない。 したがっ
て、 これ らの素子 は一度発火 して も、入力がな くなると次第 に出力が減少す る。 この減少速度
は、動作方程式 (1)の時定 数 Tに 依存す る。時定数の効果 を見 るため、図
(b)に示 した よ うに
5つ の時定数 による正解率 (正対応 の割合)の 時間変化 を測 定 した。横軸 は計算 の繰 り返 し回
- 3 -
(b)
( a )
(d)
伯)
は)
lil
図 2 : ラ ンダム ドットステレオグラムの例。平行法で観察すると、右に示 したような曲面が観
測で きる。 これらはモデルで再構成した曲面である。
- 4 -
100
０Ｅ浮ネ革何 Ｅ﹂ Ｘ︶０い︼
０〇 一０
的
∞
範
卸
り００田モ ０せ ０﹂
０
0
一
(a)動 的ラ ンダム ドッ トステレオグラムの 組
(c)提 案 した モ デルによる
検 出結 果。手前 ほ ど明 る
く表示 してい る。
50
100
150
200
Time steps Or numoHcal calcutation
(b)5つ の時定数に対す るモデルの動作。横軸 は
時間、縦軸は正 しい対応が検出で きた割合。
(d)Marr,Poggioの アル
ゴ リズ ムに よる結 果。
図 3:動 的 ラ ンダム ドッ トス テレオグラムによる実験結果
数で 、縦軸が正解率 (correct)で
あ る。平衡状態へ は、約 50回 の繰 り返 しまででllX束
してい
ることが分かる。静的 ラ ンダム ドッ トステ レオグラムの場合 は、 500回以上の繰 り返 し回数が
必要 であ った。モ デルで も、人の知覚 と同様 に、動的ランダム ドッ トス テ レオ グラムの方が容
易 で ある ことが分かる。 この理由は、動的ラ ンダム ドッ トステ レオグラムで は入力画像が変化
す るため、付随す るエ ネルギー関数が時間的に平均化 され、局所解 の谷が平坦化す るか らで あ
ると考 えられる。
図か ら、時定数が 4以 上で性能が飽和 してお り、時走数を 10に した ときの正解率 は 96%以
上で あ った。図 (c)に検 出 した視差 を示 した。手前 ほ ど明る く表示 してい る。比較 のために、
図(d)にMar卜POggioの
アルゴリズムレ1を用いた結果を示した。正解率は43%、誤対応は約
57%で あ った。 この結果 はパ ラメー タを最適 に調整 して得 た結果であ る。
4 ま
とめ
異方性 の fOrbidden cOneを
対応点検 出の制約 として用 い た、両眼視差検 出機構のモデル を
提案 し、従来のモ デルよ り優 れてい ることを示 した。滑 らかさの制約 を用 いたモデルの性能 は
パ ラメー タに強 く依存 す るのに対 して、提案 モデルは依存 しない。 また、人の知覚現象 と同様
- 5 -
に、動的 ラ ンダム ドッ トステ レオグラムの方が静的 ランダム ドッ トステレオグラムよ り検 出が
容易 で あ る ことを示 した。
では、モデルの各素子が、生理
本研究の詳細は、文献 p,10,lJで報告している。文献 11朝
実験により猿の大脳視覚領で発見された4種類の両眼視差検出細胞 い列と類似した反応特性を
示すことが示されている。また、文献 い11では、透明な面や曖味な面の検出について議論 して
い る。
へ の適用 な どに
い
今後 、奥行 きの エ ッジ検 出 に とつて重 要 な単眼視領 域 の取 り扱 、 自然 画像
つい て研 究 を発展 させ る予定 で あ る。
本研 究 の遂行 にあた り多大 な援助 を賜 わつた 、 (財)高 柳記念電子科学技術振興財 団な らびに
関係者各 位 に深 く感謝致 します。
参考文献
[1l B,」ulesz,“Foundations of Cyclopean Perception,"University of Chicago Press,Chicago,
1971.
1 94,
A cooperttive computttion of stereocttcら
disparity,"Scぢ
pl D.Marr,and T,Poggio,“
283-287,1976.
An inference upon the neural■
[31Y.Hirai,and K.Fukushima,“
cal σybcTacttcs,31,209-217,1978.
0:ο
correspondencc,"β お
。ぢ
etwork inding binocular
'β ぢ
cs,52,93-99,1985.
θrο
"Ca!θ ダberneサづ
[41K.Prazd■ y,“Detection of binocular disparitiesギ
PMF:A stereo correspondence algorithm
bi S・B・P01lard,J.E.W.Mayhew and J.P.Frisby,“
' PC負招 ぢ
using a disparity gradient lilnitず pサθれ,14,pp.449-470,1985.
161J.P,Frisby,and S.B.Pollard,“
Computational issues in solving the stereo correspondence
problem,"In:Landy MS and MovshOn」
IT Press,1991.
cessing.Calnbridge,MIA:酌 生
A(eds)COmputational models of visual pro―
SctcnCら 208,
FI P・Burt,and B.Julesz,“ A disparity gradient limit for binocular fusionギ
615-617,1980.
ba…
ss サ
p t t i t y g r a d i e n t s a l l d d e p t h s c t切
t5i胡s
n g , r" rM ぢ
sacん
いl H ・B t l t h O r , a n d M . F a h lDei,s“
eq/7セ CんれοJリダ,A.I.Memo No.1175,C.B.I.P Memo No.39,September 1989.
れサ
D―
pl塚原朋哉,平井有三,“ランダムドットステレオグラムからの曲面再構成ギ信学論 (J7併
II),No.8,pp.1676-1683,1993.
A stereo matching network and its biological implicationsギ
11朝 T・TSukahara and Y.HIrai,“
も1.1,356-361,1996.
Proceedings of ICONIP'96 Hong]Kong,ミ
子情報通信学
[lJ塚原朋哉,平井有三,“透明な面と曖味な面からの両眼視差検出モデル,"電
会 、 ニ ュ ー ロ コンピュ
ー テ イ ング研 究会、 1 9 9 6 年 2 月
Stereoscopic mechanisms in monkey visual
1121G.F.Poggio,F.Gonzalez,and F.Krause,“
cれ
cc,8,
scぢ
N ettTθ
ttTれ
al qメ
。
cortex: Binocular correlation and disparity selectivity,"
rhcブ
4531-4550, 1988.
- 6 -
© Copyright 2024 ExpyDoc
