新生児を対象とした四肢の動き計測システム ―高速・高精度化と Web システムの構築― 信州大学大学院理工学系研究科情報工学専攻井澤研究室 13TM503J 石崎優人１．まえがき 3-1 使用するカメラの見直し未熟児として生まれた新生児には，脳性麻痺や自閉症など PC を用いて USB カメラの信号をエンコードする場合，PC の障がいが潜在する可能性が高く，その兆候をいち早く発見の性能により一定のフレームレートを得ることが困難である．まし，早期のリハビリに繋げることが重要である．これらの障がいた， USB カメラの特性を調べたところ，SN 比や色の再現性には，四肢のギクシャクした動きや，可動範囲の狭さに現れる傾問題があることが判明した．そこで新システムでは，市販のビ向があり，ビデオ映像を解析する手法が用いられている[1]．デオカメラを導入し，様々な解像度の動画像フォーマットに対しかし，一般にモーションキャプチャを流用したシステムが応する機能を追加した．表 1 に新旧システムの比較を示す．多く，限定された撮影環境や煩雑な作業が必要となり，臨床の現場で簡便に計測できるシステムの開発が望まれていた．そこで当研究室では平成 24 年度，長野県立こども病院と共同で新生児の四肢に 4 色のマーカーを装着し，USB カメラを用いて撮影した動画像を解析する計測システムを開発した．しかし，評価実験の結果，計測精度や再現性に関するいくつかの課題が明らかになった．そこで平成 25 年度それらの課題に対策を施した新たなシステムを開発した[2]．本稿の前半では，導入した手法とその評価結果について述べる．次に，このシステムの延長線上に位置すると考えられる Web システムを図 1 新システムの構成と使用するマーカー提案し，第 1 次試作を行った．後半では，その基本構成を中心に述べる．表1 新旧システムの比較入力デバイス２. 旧システム（H24 年度開発）とその課題 2-1 計測手法新生児の四肢に４色のマーカーを装着し，上部に設置した旧シス動画像フォフレームーマットレート USB カメラ AVI ビデオカメラ MP4 解像度 10～30fps 640×480 30fps 1280×720 テム USB カメラを用いて全身像を AVI 形式の動画像ファイルとし新シスて保存する．はじめに，このファイルから代表的なフレームをテム表示し，それぞれのマーカーの領域をユーザがマウスで指定 MTS MPG 640×480 1920×1080 することにより，それらの色分布をヒストグラムとして保存する．次に動画像を開始フレームから順次読み出し，指定した色に 3-2 高速化手法近い閉領域の中から，最も面積の大きい領域をラベリング処フレームレートが向上し，高解像度の画像に対応させると，理により抽出する．その重心をマーカーの位置とし，連続的な演算時間が急激に増大するため，高速化する必要がある．そ動きの軌跡として表示している．こで，ヒストグラム法[2]の解析処理に，以下の改良を加えた. 2-2 課題 (1) ラベリング処理の改良臨床現場における評価実験により，以下の問題が明らかにマーカー検出では，色情報が一致する画素の最大の連結なった．領域を抽出するため，ラベリング処理を施している．旧システ ① フレームレートの変動が大きく，色の再現性も低いため，ムではこのラベリング処理を 1 枚の画像について複数回走査正確なマーカー領域が抽出できず，安定した軌跡が得らさせる必要があった．今回，走査の開始時に，画素に割り当てれない．たインデックスの関係性を示すルックアップテーブルを作成す ② 画像の解像度を上げると，演算時間が急激に増加する．る手法を導入した．これにより，走査が 1 回で済み大幅な高速 ③ 背景にマーカーと同系色の異物がある場合，マーカーと化を実現した．して誤検出されてしまう． (2) 近傍エリアの探索フレームレートが 30fps に上がると，連続するフレーム間で３．新システムの構成とその評価 H25 年度に新たに開発したシステムの構成を図 1 に示す．旧システムの課題について，以下に示す手法を導入している．マーカーの移動距離が短くなる．この性質を用いて，１フレーム前のマーカーの重心位置を中心をとした近傍エリアから探索を開始する手法を用いた． 3-3 探索領域の指定いる．解析サーバは動画解析を担っており，コントローラサー新生児を撮影する臨床の現場で，経管栄養用のチューブやバから割り振られた動画解析の処理を行う．解析アルゴリズムタオルなど，マーカーと同系色の異物が背景の中に撮影されは新システムと同様のものを使用した．なお，解析サーバ数ていることがある．これらの異物がマーカーとして誤検出されるを簡易に増設可能である．ことを防ぐため，計測開始前に，新生児を中心とする探索領域をマウスで指定する機能を新たに追加した．なお，動画ファイルのデコードと解析処理は高速性が要求されるため，C++ （opencv）で記述している．これを DLL 化し，C#で記述した GUI 部から読み出している． 3-4 評価実験新旧の両システムについて，演算速度とマーカーの検出率を比較した結果を図 2 に示す．なお，旧システムの値は，解像度(1920×1080)，フレームレート 30fps における推定値であ図3 Web システムの構成り，手足が交差した際のオクルージョン（マーカーが手前の物 4-3 システムの動作フロー体により隠れること）の影響は除いている．［クライアント側］ (1) ウェブページにアクセスし，撮影した動画をアップロードする． (2) 動画とフレームを選択し，ヒストグラムの学習を行う． (3) 解析を行いたい動画の開始フレームと終了フレームを入力し，データベースに登録する． (4) ウェブページで解析結果を確認する．［サーバ側］ (1) コントローラサーバは受け取った動画ソースをストレージサ図2 演算速度と検出率の比較現在，長野県立こども病院で，新システムの性能についてーバに保存する． (2) コントローラは解析サーバの状態を確認し，解析を行って詳細な検証を進めているが，障がいの判別等の指針として有いないサーバに解析のジョブを振り分ける．効との評価を得ており，他の医療機関にも導入する準備を進 (3) 解析サーバはストレージサーバの動画にアクセスし解析をめている．行う．解析終了後，解析結果をストレージサーバに保存する．４．Web システムの構築同時に解析が完了した旨をコントローラサーバへ通知する．上記システムの延長線上に，Web サーバ上で動作するシス (4) 通知を受け取ったコントローラサーバはデータベースに登テムが想定される．これを実現するため，以下の検討を行った．録してあるタスクの状態を終了にする．タスクのキューが残って 4-1 Web システム化のメリットいる場合は再度解析サーバの状態を確認し，タスクを解析サスタンドアローンのシステムを Web 化することにより，以下に示すメリットが生まれると考えられる． (1) 環境に依存せず，ユーザが自由に利用できる． (2) ソフトウェアのアップデートで再配布の必要性がない． (3) 解析結果の集約・活用の効率化が期待できる．ーバに割り当てる．キューがない場合は次のリクエストまで待ち受け状態になる．５．まとめ及び今後の課題新生児を対象とした四肢の動き計測システムにおいて，その高速・高精度化を実現し，長野県立こども病院における臨これにより，本システムの将来モデルとして Web システム化を床の現場において，その有用性を確認した．さらに次のステ提案し，第 1 次試作を行うことにした．ップとして Web システムの提案を行い，今後ユーザ規模が拡 4-2 Web システムの構成大した場合にも対応できる基盤システムを試作した．今後の課 Web システムは，図 3 に示すようにコントローラサーバとストレージサーバが各１台，解析サーバが２台の計４台のサーバ題は，さらなるユーザビリティの向上と，これらの解析結果を活用した統計学的な情報の創出である．群から構成されている．コントローラサーバはフロントエンドと，参考文献解析のタスクのキュー管理を行っており，ユーザが登録した解 [1] N． Kanemura， et．al : "Specific characteristics of 析のタスクを各解析サーバに割り当てている．ストレージサー spontaneous．．．"，Dev Med Child Neural，2013，pp．713-21 バは動画や画像ファイルを保持し，他の３台のサーバと [2] 石崎他：「新生児を対象とした四肢の動き計測システム」， NFS(Network File System)を通じてこれらのデータを共有して H25年度電子情報通信学会信越支部大会，p．73，2013