夜間の見守りに関して Kinect for Windows を用いた 呼吸数・心拍数の

<2014 職員研究活動援助事業⑥>
夜間の見守りに関して Kinect for Windows を用いた
呼吸数・心拍数の計測についての検証
津久井やまゆり園
生活 2 課
前田 珠美 草山 知徳 宮崎 剛志
総務課
佐藤 直樹
看護課
三浦 とみ子
1.概要
るが、機材は一般に高価なために数を揃えることが難し
いであろうということと、生活の場である居室で、1 人ひと
りの利用者様に有線で接続することは、医療的に必要な
方は別として、馴染まないのではないかということを考慮
した。
本研究は、生活支援を通して、QOL の向上に与する
福祉業界における、労働集約的なマンパワーに頼らざる
を得ない、しかし、人的資源投入が困難な夜間において、
ICT(Information and Communication technolo
gy)を活用し、利用者様の安全確保に大きく寄与するも
のとなる先駆的な手法であると自負するものである。
3.サーモグラフィ
最初に考えたのは、サーモグラフィであった。サーモグ
ラフィとは、人体から放射される赤外線を可視化した雅俗
や装置のことである。しかし、サーモグラフィカメラによる
試験は、気軽に試すというレベルでは、価格が高く(50
万円~200 万円)断念せざるを得なかった。
Kinect for Windowsセンサーを接続したパソコン
(以下 PC)を使用すると、PCモニターを通して、利用者
が生存しているかどうかを可視化(見える化)することがで
きる。このシステムを利用して、夜間の定時巡回における
生存確認の精度を高めることができるかどうかを検証し
た。
結論として、課題はあるものの、利用価値はあると考え
る。
Martiina Viil・CC BY‐SA3.0
http://etm.wikipedia.org/wiki/Soojuskiirgus#
実際の試験の様子
4.非接触式赤外線放射温度計
2.発想の始まり
人体の温度を触れずに図る他の方法を主にインターネ
ットで調べた結果、行き着いたのが非接触式赤外線放射
温度計であった。
価格も約 2,000 円と手ごろであったため、購入し、自身
の皮膚や、身近にある物品で試してみると、簡単に温度
を測れることが分かった。
夜間帯において、利用者様の生存を確認するために
は、就床している利用者様の居室まで行き、目視にて利
用者様の胸の上下の動きを確認するとともに、口元まで
支援者の耳を近づけて、呼吸音を確認する必要がある。
定時巡回は 1 時間おきに行うが、実際に利用者様の近
くに行くとなると、その都度、起こしてしまうことがあり、安
眠妨害となっている事もあるのではないか、また、利用者
様の加齢・重度化に伴う夜間の急変に対して、いち早く
気づける方法はないだろうか、離れたところからでも利用
者様の様子を確認できる手段はないだろうか、という思い
が発想の始まりである。
また、医療用生体情報モニターを使用すれば確実であ
1
<2014 職員研究活動援助事業⑥>
(画像引用)http://www.amazon.co.jp/サインソニ
ック‐非接触式 赤外線放射温度計 レーザーポインタ
ー付‐電池寿命表示‐電池付‐【‐32~+380℃計測可】/d
p/B006CQT7YG
FE)
これは、Kinect for Windowsセンサーを接続したP
Cに『顔・胸部追尾型バイタルモニタ(心拍・呼吸)』【Ver
sion0.18】というソフトウェアをインストールすると、人体の
顔と胸部を認識し、呼吸と脈拍(心拍)を波形として確認
できるというものであった。そして、【Kinectコンテスト
2013】について調べると、“コンピュータビジョンのセカイ今そこにあるミライ(60)Kinectを用いたビジネスのアイ
デアを競う「kinect for Windows Contest」”(http:
//news.mynabi.jp/series/computer_vision/060/)
や、Kinect for Windows Contest 2013 リポート
(3)http://monoist.atmarkit.co.jp/mn/articles
/1310/02/news063.html)などの記事から、このシステ
ムであれば、園内のネットワークとPCを活用しつつ、Kin
ect for Windowsセンサーのみ導入すればよいため、
比較的安価に導入することができ、検証に値するのでは
ないかと考えた。
kinect for Windowsセンサーとは、赤外線を用いた
距離センサー・RGBカメラ・マイクを組み合わせた、マイ
クロソフト社が開発した、いわゆるモーションセンサーのこ
とである。最初はマイクロソフト社が販売している“Xbox
360”というゲーム機のコントローラとして販売された。
医療用の非接触式体温計の製品も販売されており、価
格は約 20,000 円前後のものが多い。価格面から、購入
には至っていない。
(画像引用)http://www.amazon.co.jp/【サーモフ
ォーカス-プロ】非接触式-皮膚赤外線-計測時間わずか
1 秒-THERMOFOCUS/dp/B00AEG6ZRW/
5.体温とは何か
放射温度と体温の違いは何か。調べていくと体温を測
るといった場合、深部体温という体腔温(食道内、直腸内、
膀胱内、鼓膜温度)や肺動脈内血液温を計ることである
と学んだ。
また、調べていく過程で、法医学を紹介するウェブサイ
トにたどり着いた。その中で、死体温についてふれている
部分があり、『死体温は通常直腸内温度で表現する。室
温であれば 1 時間に 0.5~1℃前後低下する。(引用※
1)』
引用※1 名古屋市立大学大学院医学研究科法医学分
野:法病理学講義ノート http://www.med.nagoya
‐cu.ac.jp/legal.dir/lectures/newest/lecturenot
es.html
7.ソフトウェア開発者の紹介と動作原理について
(1)開発者
開発者は、上田智章氏である。『顔・胸部追尾型バイタ
ルモニタ(心拍・呼吸)』【Version0.18】というソフトウェア
を作成した。
(2)ウェブサイト
私設研究所 Neo-Tech-Lab
http://www.neo-tech-lab.co.uk
(3)『顔・胸部追尾型バイタルモニタ(心拍・呼吸)』【versi
on0.18】の動作原理について
6.Kinect(キネクト)センサーとの出会い
以下、Neo-Tech-labウェブサイトより引用
『【kinectで呼吸モニタ】kinectのデプスカメラを使え
ば、1m位離れた位置で大体 2,3mmの精度で距離測定
を行うことができます。kinectはランダム・ドット・パターン
を投影して距離を測定しているので、多数の画素を使え
ば精度を向上させることが可能です。n=40×40=1600
画素の領域を使えば分解能は√n=40 倍に向上させる
ことができるのです。呼吸に伴ってカメラ-胸部間の距離
がわずかに変化する様子を捕捉できれば、非接触で呼
吸をモニタできるはずと考えて実験してみました。なんと
布団をかぶっていても 1m離れて呼吸をモニターすること
に成功しました。【ヘモグロビンの赤外線吸光特性】kine
ctの赤外線ランダム・ドット・パターンは、波長 827nmで
照射されるらしい。kinectブログにもしエミッタの照射を
止めて外部LEDで証明を行うならその波長を使うように
(画像引用)http://www.itmedia.co.jp/news/art
icles/1201/10/news075.html
利用者様には触れずに生存核にする方法を模索する
中で、【kinectコンテスト 2013】非接触バイタルセンシン
グ(呼吸・心拍)というYou Tubeの動画を見つけた(htt
ps://www.youtube.com/watch?v=xQrN5d1rY
2
<2014 職員研究活動援助事業⑥>
アクセスポイント:WHR-HP-G
タブレット:iPadまたはNexus7(2013);VNC(Virtual
Network Computing)アプリにより接続
書いてあったからだ。酸素と結合しないヘモグロビンHb
は赤色光(波長 665nm)では吸光度が高いため、静脈血
は黒っぽくなるが、酸素と結合したヘモグロビンHbO2 が
多くふくまれる動脈血は赤色光(脈長 665nm)では吸光
度が低いので、結果として動脈血は赤色になる。しかし、
HbO2 でも波長 827nmでは吸光度が高いので心拍に伴
って血圧が変化すると、毛細血管の太さが変化するので、
赤外線吸光度も変化する。上述の理由で、波長 827nm
の近赤外光を照射しながら反射した赤外線の強度変化
を捕捉すれば脈拍が計測できるわけだ。でもいろいろな
障害要因(乱反射、室内照明のノイズ等)の影響を避け
なければならないのでソフトウェアは工夫が必要だった。
(引用※2)』
引用※2 http://www.neo-tech-lab.co.uk/ARse
nsing/index.htm
しかし、当法人のネットワーク及びサーバークライアント
の保守会社に上記のネットワーク構成を打診したところ、
iPadによるVNCは有償であるため、推奨できないこと、
また、androidOSの導入実績はなく、セキュリティの観点
から好ましくないことなどを指摘された。そこで、再度検
討し、まずは園内の支援を使って構築し、課題が発生し
たら改めて見直すこととした。タブレットは購入せずに、
古くなっていたアクセスポイントを新しいものに交換する
ことで無線LAN環境を強化した。また、PC間の遠隔操
作はWindowsリモートデスクトップを使用することにし、
Kinect-PC⇔アクセスポイント⇔PCという構成に変更
した。
(構成)
本体:Kinect for WindowsセンサーV1
PC:HP ProBook4540s(OS Windows7Pro)
アクセスポイント:WAPM-1166D
PC:HOP ProBook4540s;Windowsリモートデスクトッ
プにより接続
8.試験環境の構築
(1)被験者について
研究開始に当たり、まず被験者の選出を行った。原
則として、機材に手を触れない方であることと、加齢等に
より、直ちに医療面での配慮は必要ないが、生活支援に
当たり、特に夜間は心配である方を看護課及び生活支
援員間で話し合った上で決めた。
被験者A様:男性、年齢:63 歳、既往歴:脳梗塞・転倒
による外傷性硬膜下血腫・イレウス・誤嚥性肺炎となって
いる。転倒による外傷性硬膜下血腫になる前までは、自
立歩行は可能であったが、現在は車いすの使用となって
いる。立ち上がりや歩行は、現在も可能であるが、職員
が必ず付き添うことになっている。食事中の様子は、特に
水分摂取の際に、むせこみが見られる。夜間の様子は、
仰向けに寝ており、殆ど寝返りを打たず、定時巡回の際
に訪室すると、動きが見られない。睡眠時無呼吸症候群
の可能性や、誤嚥性肺炎の既往があることから、唾液や
舌根沈下による窒息などの可能性があると思われる。な
お、研究を行うに当たり、本人、家族に、研究の趣旨を説
明し、同意をいただいた。
9.検証
夜間のホーム風景
(2)Kinect for Windowsセンサーの選定
Kinect for Windowsセンサーの購入については、
2014 年 9 月にバージョン 2 の情報もあったが、システム
要件をクリアできないことから、バージョン1を、およそ
25,000 円で購入した。
被験者A様
(3)ネットワーク構成について
ネットワーク構成については、園内の無線 LAN を使
用して、当初、Kinect-PC⇔中継器⇔アクセスポイント
⇔タブレットという構成で検討していた。
(構成)
本体:Kinect for WindowsセンサーV1
PC:HP ProBook4540s(OS Windows7Pro)
中継器:WAPS HP G54
3
<2014 職員研究活動援助事業⑥>
とを優先とした。センサーによる呼吸や心拍といった生体
情報の取得は、病院に入院していると当然のように実施
されているが、観察の対象者を生活の場である施設内に
おいて決めるといった場合は、まだコンセンサス(共通理
解)がないものであるため、他の利用者様・他セクション
へ広げづらいものがあった。
(2)Kinect for windowsセンサーの性能
深度センサーの精度によると思われる人体の認識に
時間がかかる。座っている姿勢であれば人体の検知が
ほぼ瞬時に行われるが、寝ている姿勢の場合でも検知さ
れるようにする必要がある。事最の試験では、被験者に
ベッド上で上体を起こしてもらい、Kinect for window
sセンサーに認識させて方、センサーが追尾できるように
ゆっくりと上体をたおして寝てもらうようにしている。また、
その過程でKinect for windowsセンサーの最適な設
置場所を決めるために時間がかかった。
Kinect for Windows センサーの設置
(3)ソフトウェアの課題
オーバーフローエラーが発生することがある。
2015 年 5 月 5 日午前 1 時 39 分
居室にて波形観察中
オーバーフローエラー
(4)アラート昨日の必要性
呼吸や脈が止まった(波形の揺れ幅が極端に小さく
なる)場合にアラート昨日があると良い。
2015 年 5 月 5 日午前 2 時 20 分
支援員室において
Windowsリモートデスクトップを起動して波形観察中
(5)記録機能の必要性
仮に、死亡が確認されて、警察による現場検証が行
われた場合に、証拠資料として、提出出来るよう記録(ロ
グ)機能があると良い。
11.結論
機材を設置し、被験者をKinectに認識させるまでの調
整に時間がかかったが、このシステムを使用した生存確
認の方法は有効であると思われる。身近にあるネットワー
ク環境にKinect for windowsセンサーを導入するこ
とで、利用者様の命の危険をより早く気づくことができると
考える。
2015 年 5 月 5 日午前 3 時 42 分
オーバーフローエラーにより試験終了
10.課題
おわりにあたって
(1)人権への配慮
今回の研究に当たり、被験者の人権への配慮(プライ
バシーの保護)から、本人と家族に説明し、同意を得るこ
本研究に際して、株式会社オフィスメガ(PhosMega
Co.,Ltd)代表取締役 上田智章氏とそのウエブサイト
4
<2014 職員研究活動援助事業⑥>
から様々な知見を学ばさせていただき深謝いたします。
また、実験の際に被験者を快く引き受けてくださったA様
とそのご家族様に感謝いたします。
5