1. はじめに 2. 提案システム

1. はじめに
近年では、様々な商品をインターネット上で購入す
ることができる。このような通信販売は家にいながら好
きな時に利用できる、お店に直接出向く必要が無い、と
いった利点がある一方で、実際に商品を手にとることが
できないという欠点もある。特に、衣服は試着ができな
いために、実際に着用した様子が分からないという洋服
の通信販売に特有の問題が生じる。
このような問題を解決する手段として、WEB 上でファ
ッションモデル（以降では単に「モデル」とする）やユ
ーザの全身写真に、着用してみたい衣服の画像を重ね合
わせることで、試着したかのような画像を提示する「仮
想試着システム」が提案されている。現在、複数の仮想
試着システムが実用化されている（図 1）が、入力にモデ
ルの写真を使うもの(1)では、ユーザが着用した様子を再
現するわけではない。また、入力にユーザの写真を使う
もの(2)では、服の画像を単に重ねるだけであり、現実に
衣服を着たときのような結果画像を見ることはできない。
これは、現実世界で衣服を試着した場合は、着る人の体
型によって衣服が伸縮するが、既存システムの出力は衣
服画像の単純な切り貼りのため、自分の体型に沿って衣
服がどの程度伸縮するかといった点が考慮されていない
からである。したがって、モデルとユーザの体型が離れ
ている程、図 2 に示すように実際に着用した場合とはか
け離れた結果になる。また、ユーザ画像を入力として使
用することで、モデル側との撮影環境や使用するカメラ
等の違いによって合成感のある結果画像になる。こうし
た問題を解決することで、より実際の試着結果に近い画
像を生成することができると考えられる。
こうした背景をふまえ、本研究では現実の着用結果に
近い画像を生成する仮想試着システムの提案を目指す。
これには、以下に示す二つの条件を満たす必要がある。
①個人の体型による衣服の伸縮を考慮した画像を生成
②ユーザ画像と衣服画像の合成時の違和感を解消
これらの条件を満たすことで、ユーザ自身の体型を考慮
し、できる限り現実世界での着用結果に近い「リアルな
写真画像」を出力することが可能になる。
本研究では、まず画像処理ソフト Photoshop を用いて
衣服画像とユーザ全身画像との合成処理を行うことで仮
想試着システムの一連の流れを考案し、考案したシステ
ムを実現するために解決すべき点を調査し、それらに関
する文献を調査した。また、本研究の核となる体型を考
慮した衣服画像変形と、違和感のない画像合成について
はプログラムを作成して実験を行った。
2. 提案システム
提案システムでは、①ユーザの全身画像、②ユーザが試
図 1:既存の仮想試着システム。モデル画像を用い
たもの(1)(左)とユーザ画像を用いたもの(2)(右）。
図 2：既存システムを用いて生成された仮想試着
画像のイメージ（左）と、実際の着用結果（右）
(a)
(b)
(c)
(d)
図 3：提案システムの出力イメージ。(a):ユーザ
全身画像 (b):切り抜かれた衣服画像(2) (c):単
純な切り貼り画像 (d):提案システムによる出力
着したい衣服画像、③様々な数値データ（ユーザとモデ
ルの体型データ、衣服採寸情報など）を入力とし、その
衣服を実際に着用したときのような仮想試着画像を出力
する。また、実際に通信販売サイトでの実用化を考慮し、
できる限り処理を自動化することを目標とする。
図 3 に、本研究で目標とする出力画像イメージを示す。
図 3(a)のユーザ全身画像と、図 3(b)の切り抜かれた衣服
画像を入力すると、既存システムでは衣服画像がユーザ
画像の上に切り貼りされるだけ（図 3(c)）なのに対し、
提案システムでは以下に示す二通りの画像処理を施す。
A．体型を考慮した衣服の変形
B．違和感のない画像合成
これにより図 3(d)のような結果を得る。
3. 体型を考慮した衣服画像変形
3.1 関連研究
本研究では入力として二次元画像を用いるため、画像
における衣服の伸縮を「衣服画像の輪郭の変化」と「衣
服画像の陰影の変化」の二つの問題に分解する。これは
それぞれ、画像の上下左右方向の衣服の伸縮と、画像の
奥行き方向の衣服の伸縮を表現している。
衣服画像の輪郭の変化
Zhou らは、身長や体重といった、直感的なパラメータ
調整により、画像中の人物の体型を変形させる手法を提
案した(3)。この手法では、ユーザ操作により画像中の人
物と人体の 3D モデルを対応付けし、体重等の直感的な
パラメータ調整によって変形させた 3D モデルの変化を
画像中の人物に適応させるというものである。同時に衣
服も違和感なく変形させることが可能だが、人物の体型
の変化が現実的であるのに対し、試着という位置づけで
は衣服の変形は現実的なものではない。例えば図 4 に示
すように人物を痩せさせた場合、本来なら衣服が緩むは
ずだが、タイトに人物の体にフィットしたままである。
画像からの陰影情報の自動抽出
画像から陰影情報を自動で抽出する手法として、画像
を色情報と陰影情報とに分離する Intrinsic Images と
いうものがある。画像を I、色情報を R、陰影情報を s
とすると、I=sR という、色情報と陰影情報の掛算で画
像を表現できる。画像を分離すると、図 5 に示すような
色情報と陰影情報とに分かれる。Shen らは、自然画像
において、色情報は局所的に連続であるという仮定を用
いてエネルギー関数を定義し、それを最適化することで
既存手法よりも高精度な分離手法を提案した(4)。(1)式は
Shen らが用いたエネルギー関数で、右辺第一項で上記
の仮定を用いている。右辺第二項は、値が小さいほど
I=sR という条件に近づくという制約を与えている。
~
~
(1)
E ( R, s)  ( R 
 R )2  (I s  R )2

iP
i

jN ( i )
ij

j
iP
i
i
i
P は全画素、 N (i) はピクセル i の近傍ピクセル、 R は色
~
情報、  ij は重み、 I i は画素値、 s は陰影情報の逆数を
それぞれ表す。(2)式に示すように、これを最小化する R
~
と s の組み合わせ
~
arg min E ( R, s)
(2)
図 4：元画像（左）と、体重パラメータを変化さ
せたことで痩せた体型になった画像（右）(3)
図 5：元画像（左）の色情報（中央）と陰影情報
（右）への分離(4)
(a)
(b)
(d)
(e)
(c)
(f)
図 6：陰影情報の編集結果。(a):元画像 (b):
皺を多くした画像 (c):皺を少なくした画像
(d):(a)の陰影情報 (e):(b)の陰影情報
(f):(c)の陰影情報
少ない部分と置き換えることによって皺やそれに伴う
陰影を衣服画像に追加する、という手法を提案する。皺
のよった部分を、皺の少ない部分で置き換えれば全体と
しては皺の少ない陰影情報を生成することができる。こ
のように、衣服から取得した陰影情報を直接編集するこ
とでユーザに固有の陰影情報を生成する。
~
R ,s
が求める色情報と陰影情報（の逆数）である。
この手法は色情報と陰影情報を自動で分離する事も
できるが、色情報が一定の場所等をユーザがマウススト
ロークで入力することで精度を上げることもできる。
3.2 提案手法：陰影情報の編集
衣服から得た陰影情報には、皺のよった部分と、そう
でない部分があると考えられる。この考察に基づき、
Shen らの手法を用いて陰影情報を抽出し、衣服全体の
陰影情報の内、皺がよっている一部分を複製して、皺の
3.3 実験結果
Shen らの手法を用いて元画像を色情報と陰影情報に
分解し、求めた陰影情報を、画像編集ソフトである
Photoshop を用いて編集した。皺のある部分を他の場所
へコピーした結果得た画像が図 6(b)、皺のない部分を他
の部分へコピーした結果得た画像が図 6(c)である。図
6(d)から(f)については可視性を高めるためにコントラス
トをあげている。
3-4 考察
実験結果から、個人に特有の陰影情報を生成すること
ができれば、現実の着用結果に近い陰影の付加が可能で
あると考えられる。また、様々な衣服画像の体型別の陰
影情報を観察した結果、陰影の付き方が体型によって異
なったものと、体型によらず一定である衣服とがあった。
このことから、必ずしも陰影情報を考慮する必要はない
が、考慮すればより現実的な結果を生成できる場合もあ
ると言える。本稿で提案した手法は改善の余地があると
考えられ、今後さらに実験を行う予定である。
4. 画像合成手法
4-1 関連研究
例示ベースの画像エンハンスメント手法
Wang らは、機会学習を用いた画像の自動補正手法を
提案した(5)。デジタル画像処理において多用される処理の
一つである、トーンや色の補正は、手動で行うには時間
的コストが高く、自動での補正が望ましいが、明示的に
補正ルールを定めることは非常に難しい。そこで Wang
らは、色やトーンの補正前と補正後のペア画像を大量に
用いて、そこから画像の補正ルールを陰に求める手法を
とった。大域的な画像補正を写像 f と定義すると、写像 f
は空間的に複雑に変化しており、非線形であるために直
接求めることが難しい。そこで、画像を分割し、区分的
に近似する手法をとった。アルゴリズムは以下に示す、
写像の学習と写像の適用の二つにわけられる。
写像の学習ではまず、学習用のペア画像を大量に用意
する。ローエンドカメラで撮影した画像と、ハイエンド
カメラで撮影した画像のペアを用いることでローエンド
カメラの画質補正に用いる写像を求めることができる。
それらの画像から画素ごとに色や標準偏差からなる特徴
量を求め、特徴ベクトルを作成する。次に、特徴ベクト
ルの全体集合を分割し、二分木を作成する。最後に、サ
ポートベクターマシンを用いて特徴量の部分空間を構成
する。二分木は、色の写像とエッジの写像のために二種
類用意する。写像の適用では、入力画像から抽出した特
徴ベクトルを求めた二分木に通して、そのベクトルが属
する部分空間を求め、適用すべき写像を決定する。
この手法を用いることで、
①携帯電話で撮影した画像を高画質に自動補正
②画像への写真家独自の編集スタイルの適用
といった応用が可能になる。
この手法により、本研究における問題の一つである「異
なるカメラで撮影した画像の差異」を軽減できると考え
られる。しかし、合成時に用いる前景画像と背景画像は
照明条件や撮影時のカメラの向きなどが異なっているた
め、同じカメラで撮影したような画像にできたとしても、
合成感を大きく軽減できるとは考えにくい。したがって
他の手法と組み合わせる必要がある。
画像合成における合成感の原因の調査と、合成時の画像
の自動補正
Xue らは、画像合成時に生じる違和感の原因を調査し、
合成画像の質を向上させるための前景画像の自動補正手
法を提案した(6)。Xue らはまず、画像合成においてどの統
計量が前景画像と背景画像で強い相関をもっているのか
を調査した。前景物がセグメンテーションされた 4126 枚
の自然画像を用意し、様々な統計量の相関を計測した。
その結果、ヒストグラムの低い部分（影など）と高い部
分（ハイライトなど）が、ヒストグラム全体よりもより
合致することが分かった。また、輝度、色温度、彩度、
局所的なコントラストが前景物と背景での相関が高いこ
とも分かった。
得られた知見をもとに、背景画像になじむように前景
物の画像を自動補正する手法を提案した。これは、コン
トラストを調整し、それから前景物の輝度、色温度、彩
度のヒストグラムの期待値が背景物のヒストグラムの期
待値に合うように調整するというものである。
本研究の提案手法では、明るさの調整などは手動で行
っているが、Xue らの手法を用いることで画像補正を自
動化できると考えられる。ただし、背景画像と前景物の
ノイズや解像度も合成感の原因と考えられるがそれにつ
いては考慮されておらず、この手法により現在の提案手
法をすべて自動化できるわけではない。
4-2 合成感の調査
ユーザ画像を入力とする既存の仮想試着システム(2)で
は、衣服画像の大きさ調整や、ユーザの身体部位への位
置合わせといった画像処理しか行われておらず、単純な
切り貼りのために結果画像が合成感のあるものになって
しまう。そうした合成感を軽減するために、まずは画像
処理ソフト Photoshop を用いてユーザ画像と衣服画像の
合成処理を行い、処理内容から合成感の原因を調査した。
合成処理の結果を図 7 に示す。また実験によって推定し
た画像合成時の違和感の原因と、その解消に必要な画像
処理を表 1 に示す。
4-3 画像合成実験
表 1 に示した画像処理のうち、下線の引かれた項目を
実装したプログラムを用いて画像合成実験を行った。実
装には C++、
WxWidgets、
OpenCV、
OpenGL を用いた。
表 1 に示す各項目のパラメータをそれぞれスライダで調
整できるようにした。パラメータの調整量は、iPhone や
デジタルカメラなどカメラ毎に固有の値があると考えら
れるので、ユーザ写真の撮影に利用したカメラの種類を
選択すると、あらかじめ設定しておいた調整量が画像に
適用されるようにし、微調整をユーザが手動で行う。画
像の局所変形には、Shaefer らの手法を用いた(7)。これは、
あらかじめ設定した任意の制御点を移動させることで画
像を変形させる、というものである。プログラムを用い
た合成実験の結果を図 8 に示す。単純な切り貼りである
図 8 (b)よりも本研究で必要だと推定した処理を適用した
図 8 (e)の方が、より合成感の少ない画像を得られたとい
える。ただし、図中の衣服を図 8 (a)のユーザが実際に着
用した場合は体型に合わせて衣服が伸び、もっとハリの
ある印象になると考えられる。したがって、実際の試着
結果に近づけるためには前年度の研究内容である体型を
考慮した衣服画像変形が必要であるといえる。
上記の実験では、画像の局所変形を行う際の制御点の
指定と制御はすべて手動で行った。これには 1 分ほどの
時間がかかるため、自動化することでユーザの負担軽減
が期待できる。したがって、以下のアルゴリズムで画像
変形の自動化を試みた。
１．画像全体に格子状に制御点を設置する。
２．衣服画像の内部のすべての制御点を、衣服画像の中
心に向かって、x 方向のみ一定量移動させる
今回の実験では、制御点は 20px ごとに設置し、制御点の
移動量は 20px とした。ただし、20px 移動させることで
画像の中心座標を超えてしまう場合は画像の中心まで移
動させることとした。自動化の実験結果を図 9 に示す。
(a)
(b)
う陰影の変化を再現できる可能性を示した。
違和感のない画像合成手法では、合成感の原因となる
項目を推定し、それらを手動で編集するプログラムを作
成し合成実験を行った。明るさやノイズといった、ユー
ザ側とシステム側の画像間の差異を減少させ、袖と腕の
不一致や、ユーザが元から着用している衣服のはみ出し
を、局所画像変形を用いて調節することで、衣服画像の
単純な切り貼りよりも合成感の無い画像を得た。
今後の課題として、画像合成手法の自動化が挙げられ
る。また、局所画像変形を用いた画像の細部調整の自動
化によってユーザの負担を減らすといった、システムの
改善を行いたい。
(c)
図 7： Photoshop を用いた合成実験結果。(a):
元画像 (b):単純な切り貼り (c):Photoshop を
使用した合成画像
表 1：合成感の原因とその軽減に必要な画像処理
合成感の原因
撮影時のカメラの位置と向き
縮尺の違い
衣服画像の位置のずれ
合成時の輪郭部分
必要な画像処理
射影変換
拡大縮小
画像移動
輪郭部のα値調整
明るさ調整
トーンカーブ調整
色やトーンの違い
レベル補正
露光量補正
色調、彩度調節
ノイズ付加
ノイズや解像度の違い
ぼかし処理
影が無い
ドロップシャドウ
袖と腕の不一致など
画像局所変形
図 9 より、自動変形の結果、後ろの衣服のはみ出しが改
善できていることが分かる。しかし、現状では腕のはみ
出しが改善できておらず、今後アルゴリズムを改善する
必要がある。
5. まとめと今後の課題
本稿では、現実世界での着用結果により近い画像を生
成する新しい仮想試着システムを提案した。また、その
中で重要な画像処理である、個人の体型を考慮した衣服
画像変形手法と、違和感のない画像合成手法についてそ
れぞれ手法を提案し、実験を行った。
個人の体型を考慮した衣服画像変形では、画像におけ
る衣服の伸縮を、輪郭の変形と陰影の変形に分解し、そ
れぞれに有効な手法を調査した。陰影情報の編集では、
衣服画像を色情報と陰影情報とに分解し、編集した陰影
情報を元の色情報とかけ合わせることで衣服の変形に伴
(a)
(b)
(c)
(d)
(e)
図 8：合成実験結果。(a):元画像 (b):単純な切り貼り
(c)明るさなどのみ調整 (d):袖と腕の不一致などのみ
調整 (e):(c)と(d)の組み合わせ
(a)
(b)
図 9：画像局所変形の自動化実験結果。(a):単純な
切り貼り (b):自動変形結果
参考文献
(1)H&M, www.hm.com/jp/dressingroom/
(2)夢展望, http://www.dreamvs.jp/pc/
(3)Zhou, Shizhe and Fu, Hongbo and Liu, Ligang and Cohen-Or,
Daniel and Han, Xiaoguang, “Parametric reshaping of human
bodies in images”, ACM Trans. Graph., Vol. 29, No. 4, (2010)
(4)J.B. Shen, X.S. Yang, Y.D. Jia, X.L. Li. “Intrinsic Images Using
Optimization” IEEE Computer Vision and Pattern Recognition,
(2011).
(5)Wang, Baoyuan and Yu, Yizhou and Xu, Ying-Qing,
“Example-Based Image Color and Tone Style Enhancement”,
ACM Trans. Graph., Vol. 30, No. 4, (2011)
(6)Xue, Su and Agarwala, Aseem and Dorsey, Julie and
Rushmeier, Holly, "Understanding and Improving the Realism
of Image Composites", ACM Trans. Graph., Vol. 31, (2012)
(7)Schaefer, Scott and McPhail, Travis and Warren, Joe, "Image
deformation using moving least squares", ACM Trans. Graph.,
Vol. 25, No. 3, (2006)

Download Report