姿勢変化にロバストな斑紋表現方法を用いた乳牛の個体識別三重大学大学院生物資源学研究科生物生産工学専攻生物機械学講座生物環境制御学研究室川口耕司要旨乳牛の個体識別は，血統登録，健康管理，食品安全性などの点から重要であり，血統登録証は記録，管理する上で最も重要な書類であり，血統登録証には，血統登録，斑紋，牛郡検定に関する情報が記載される．特に斑紋は，手書きで左右側面の模様が記載され，個体を証明するものとして最も重要な項目であり，耳標と異なり，牛に接近することなく遠方から識別を行える有用な情報でもある．本研究では，コンピュータビジョンを利用し，ホルスタインの斑紋を画像処理によって定量的に表現することで個体識別を行う方法を検討した．特に，姿勢変化にロバストな識別方法として，画像の濃淡値によるヒストグラムを利用した「斑紋ヒストグラム表現法」を提案し，実験により姿勢変化が識別に及ぼす影響について検討した．さらに，背景が複雑に変動する自然状況下で撮影した画像から牛を抽出し，姿勢変化だけでなく誤って抽出した牛以外の領域が識別に及ぼす影響について調査することにより，本手法の実用化への可能性について検討した．キーワード：斑紋濃淡値表現法，斑紋ヒストグラム表現法，フレーム間差分，抽出誤差緒言乳牛の個体識別は，血統登録，健康管理，人工授精，家畜衛生，食品安全性の点から重要であり，欧米諸国では，90 年代前半に耳標による乳牛の識別制度が確立され，90 年代後半，BSE（牛海綿状脳症），口蹄疫問題が深刻化したことで，耳標装着が義務化され，義務違反への罰則が制定されるなど識別制度が整備されてきた．現在，耳標とハンドヘルドコンピュータによる個体識別システムの開発により，血統や人工授精の情報をリアルタイムに把握でき，乳牛の改良だけでなく，経営管理や防疫面への迅速な対応が可能になっている．我が国では，平成 13 年 9 月に BSE が初めて確認されたのを受け，BSE 緊急対策として，平成 13 年より独立行政法人家畜改良センターが家畜個体識別システムの構築に乗り出した．家畜個体識別システムとは，生涯唯一の番号（耳標）で家畜を識別および管理する一連の仕組みを言い，現在，規格が統一された耳標の装着が進められている．乳牛の個体情報を記録・管理する上で最も重要な書類は血統登録証である．血統登録証には血統情報，斑紋の記載，牛郡検定が記載され，特に斑紋は手書きで左右側面の模様が記載され，個体を証明するものとして最も重要な項目である．また耳標と異なり，牛に接近することなく遠方から識別を行う場合に有効な情報であり，現在，斑紋の自動登録システムおよび自動認識システムは確立されていない．乳牛の斑紋を画像情報として定量的に表現し，個体識別が可能なシステムが構築されれば，耳標やマイクロチップが乳牛に及ぼす肉体的苦痛および精神的苦痛を解消し，極力自然な状態での飼育管理が実現できる．本稿では，姿勢変化にロバストな斑紋表現方法として，画像横方向と縦方向にそれぞれ濃淡値のヒストグラムを求め，ヒストグラムの各階級に対する度数を特徴量とした特徴ベクトルを斑紋表現に利用する方法（斑紋ヒストグラム表現法と呼ぶ）を提案し，実験により姿勢変化が識別に及ぼす影響を調査することにより本手法の有効性を検証する．さらに，背景が複雑に変動し，照明条件が一定でない自然状況下でフレーム間差分により抽出した牛領域を用いて，斑紋ヒストグラム表現法による識別実験を行い，自然状況下における牛の抽出方法としての有効性，抽出誤差および姿勢変化が識別に及ぼす影響を検証する． I 1 II 斑紋の表現方法および識別方法 1. 固有空間を用いた斑紋の表現方法 1) 特徴領域の特定識別に使用する斑紋領域は，血統登録と同様に牛の側面を撮影し，得られる画像から動きの激しい頭部や脚部を除いた部分とする．画像内の牛と背景の区別は，牛の輪郭を手動でトレースし，図 1（a）に示すように背景領域を牛とは異なる色 ( R = 0, G = 0, B = 255 ) に設定することにより行う．図 1（b）に示すように RGB の B 値を用いて 2 値化することによって求めた牛領域から，図 2 のように x 軸 y 軸方向それぞれに牛領域のピクセル個数を投影したヒストグラムを作成し，ヒストグラムを正規化した累積値により動きの激しい頭部および脚部分と斑紋特徴領域との境界線が全ての牛に対してある程度フィットするような値を試行錯誤的に決定する．本研究では頭部と腹部の境界線の割合を 0.5，腹部と脚の境界線の割合を 0.4 とした．図 1（c）に特定した斑紋領域を示す．横に投影（a）元画像マスク画像縦に投影 y 軸投影ヒストグラム 1 累積値(正規化) （b）マスキング画像 0.4 0.8 0.5 0.6 0.4 0.2 0 0 100 （c）斑紋領域図 1 斑紋領域の決定 200 300 400 500 X[pixel] x 軸投影ヒストグラム 600 図 2 投影ヒストグラムを斑紋領域の決定 2) 斑紋濃淡値表現法の特徴ベクトルの作成 YIQ 表色系の Y 値により得られる各牛のモノクロ画像を平坦化した画像に対して，図 3（a）のように斑紋領域を画像 x 軸方向に U 等分割， y 軸方向に V 等分割し，ブロックごとの濃淡値の平均 B j を求める．斑紋の表現は式(1)のように濃淡値 B j を成分とする V × U 次元の特徴ベクトル xi を用いて行う． xi = ( B1 , B2 , B3 ,..., BV ×U )T (1) ここで， xi は i 番目の牛の斑紋特徴ベクトル， B j はブロック j の濃淡値を表し， x T は x の転置を表す．ただし，ベクトル成分 B j は画面の左上から右下に向かってブロックごとの濃淡値を配列して構成する．また，斑紋領域である短形内には，特に牛の背中よりも上，またはお尻の部分より右に牛以外の背景領域が含まれているので，背景領域を含まないように，画像 y 軸方向の分割方法として牛領域の上端から下端までの分割数 V ，画像 x 軸方向の分割方法として斑紋領域左端から牛領域の右端までの分割数 U は一定のままブロック分けを行う． 2 （a）斑紋領域の各ブロック（b）濃淡値平均図 3 斑紋領域の V × U 分割（4×8 ブロック） 3) 斑紋ヒストグラム表現法の特徴ベクトルの作成 YIQ 表色系の Y 値により得られる各牛のモノクロ画像を平坦化した画像に対して，図 4（a）のように特徴領域の腹部より下の脚部分を画像 y 軸方向に W1 分割，図 4（b）のように特徴領域を y 軸方向に W2 分割，図 4（c）のように特徴領域を x 軸方向に W3 分割する．このとき全ての分割幅が h となるように分割数を決定する．特徴ベクトルには得られたブロックごとの濃淡レベルにおける濃淡値の個数をヒストグラムとする濃淡ヒストグラム H j , k を用いる．ヒストグラムの表現は式(2)のように H j , k を成分とする特徴ベクトル xi を用いて表す． xi = ( H1,1 , H1,2 ,..., H j , k ,.., H j ,(W1 +W2 +W3 )×G )T (2) ここで， H j , k はブロック j の濃淡レベル k 階級における濃淡値の個数を表し， x T は x の転置を表す．ただし，ベクトル成分 H j , k は W2 分割の画面上から，次いで W1 分割の画面上から，最後に W3 分割の画面左から順にブロックごとにおける各濃淡レベルの個数を配列して構成する． G は濃淡レベルの階級を表し，特徴ベクトルの次元は合計 (W1 + W2 + W 3 ) × G 次元になる．例えば， W1 を 3 分割にした場合， W2 は 4 分割， W3 は 13 分割となり，濃淡レベルを 4 階級とすると，各ブロックで 4 個のベクトルを得ることになるから， 1 頭につき ( 3 + 4 + 13) × 4 = 80 次元の特徴ベクトルを得ることになる．（a）脚分割（b）上部横分割（c）上部縦分割図 4 ストライプ状の分割 4) KL 展開による固有空間と特徴ベクトルの固有空間への写像および Euclid 距離 M 頭の牛に対して求めた V × U 次元の特徴ベクトル xi の平均 µ を式(3)により求め，特徴ベクトル xi から平均ベクトル µ を引いたベクトルを式(4)のように x% i とし，特徴ベクトル x% i の集合 X を式(5)によって表した場合，集合 X の共分散行列 Q は式(6)により表すことができる． 1 M ∑ xi M i =1 x% i = xi − µ µ= (3) (4) X = [ x%1 , x% 2 ,..., x% M ] (5) 3 Q= 1 XX T M −1 (6) 特徴ベクトル x% i の次元数 V × U を N とし，共分散行列 Q を KL 展開を用いて直交分解することにより，式(7)を満足する行列 Q の固有値 λk ，固有ベクトル ek が得られ，固有空間 E は，固有値の大きさの順に並べた上位 L 個の固有値に対応する固有ベクトルを用いて式(8)のように表すことができる． Qek = λk ek E = [ e1 , e2 ,..., eL ] ただし k = 1, 2,..., Z (7) ただし L < M < Z (8) 固有空間 E において基底 ek への特徴ベクトル x% の写像 pk は，式(9)によって表され，固有空間における写像点 P の座標は式(10)によって表される． pk = (x − µ)T ek = x% T ek (9) P = [ p1 , p 2 ,..., pL ] (10) T m 番目の牛の特徴ベクトルを d 次元の固有空間への写像した場合の写像点を Pmd とした場合， m 番目および n 番目における牛の写像点同士の Euclid 距離 Dmd , n は式(11)によって表すことができる． Dmd , n = Pmd − Pnd ここで， a はベクトルのノルムを表す． (11) 2. 識別方法 1) 固有空間と「距離」による識別および識別率固有空間は，20 頭の特徴ベクトルを KL 展開することにより得られる上位 20 個までの固有値に対応する固有ベクトルを，上位から順に使用することにより作成する．これは，KL 展開により得られた第 21 位以降の固有値がほぼ零値を示したからである．図 5 に示すように，20 頭の特徴ベクトルを固有空間へ写像することにより得られた写像点を各牛の代表点とし，照合用画像に対しても同様に特徴ベクトルを固有空間に写像し照合用パターンを作成する．識別には，20 頭の代表点と照合用パターンとの Euclid 距離の最小値を求めることによって行う．図 6 に識別方法の具体例を示す．入力牛と各牛の代表点の Euclid 距離を求め，その距離が最小値である牛を入力牛の No として確定する．この場合，入力牛と No.3 との距離が最小となるので，入力牛を No.3 と確定する．識別結果を評価する指標として，式(12)に示すような識別率 Rs を定義し，全パターン Nt に対する同一牛を同定できた数 ns の割合として表現する． Rs = ns Nt (12) 4 牛2 20頭のパターン 540パターン写像入力牛写像牛1 牛3 照合用パターン 20頭の代表点データベース牛20 Euclid距離固有空間牛4 図 5 識別方法図 6 No.3 の特定 III 動きを利用した牛の切り出し方法 1. フレーム間差分および論理積（AND）を用いた牛領域の抽出時系列に得られる画像から連続する 2 枚の画像を抽出し，モノクロ画像および微分画像に変換処理する．得られたモノクロ画像および微分画像について，第 i フレームの画素 ( x, y ) における濃淡値を Gi ( x, y ) とした場合，連続する 2 枚のフレーム間差分は， Si ( x, y ) を用いて式（13）で表現できる．フレーム間差分を行うことにより，画像内の輝度が変化した部分，つまり牛の動きを抽出する．式（14）に示すように，フレーム間差分 Si ( x, y ) がしきい値 Th f 以上であれば動き有りとして抽出する．牛の動きが大きい場合に牛が 2 重に抽出されるのを防ぐため，式（15）のように時系列に連続して得られる 3 枚のモノクロ画像および微分画像の前 2 枚のフレーム間差分 I i と，後ろ 2 枚のフレーム間差分 I i の論理積をとることにより，画像 Fi ( x, y ) として牛を抽出する． Si ( x, y ) = Gi −1 ( x, y ) − Gi ( x, y ) 1 Si ( x, y ) > Th f I i ( x, y ) =  0 Si ( x, y ) ≤ Th f Fi ( x, y ) = I i ( x, y ) AND I i +1 ( x, y ) （13）（14）（15） 2. 領域分割にノイズ除去およびラベリングによる領域統合フレーム間差分による抽出結果に残留する牛以外の面積の小さいノイズを除去するため，図 7 に示すように画像を w × w 画素の正方領域 ω j に分割し，式(16)のように領域に占める抽出画素数 c の割合が一定値 Thw 以下であれば領域内の抽出画素をノイズとしてすべて除去する．ただし，抽出画素数の割合がしきい値 Thw 以上であれば何も処理しない． ω j は j 番目の分割領域を示す． c  0 w × w < Thw ωj =  c − ≥ Thw w× w  (16) ノイズ除去後，図 8 のように領域間距離が一定値 Thl 以内の抽出領域に同じラベルを付けるラベリング処理を行うことにより，同一物体の非連結領域にも同じラベルを付け，各抽出領域を物体ごとに区別する．フレーム間差分で抽出できなかった牛各部の隙間を考慮して，領域間の距離に設定するしきい値 Thl を試行錯誤により決定する．最終的に面積が最大の領域を牛領域として抽出する． 5 w ωj w 牛領域 Thl 図 7 領域分割によるノイズ除去図 8 ラベリングによる領域統合 IV 識別実験および結果および考察 1. 識別実験画像撮影は，京都府畜産研究所（綾部市位田町檜前）において，ホルスタイン 20 頭を対象に牛 1 頭につき左側面の画像を，デジタルカメラ（Sony TRV-7）を用いて屋外で撮影した．画像取り込みボード（Sony DVBK-W2000）を用いてコンピュータ内に解像度 640×480 画素，RGB 各 8 ビットのフルカラー画像を取り込んだ．本研究では画面右から左にかけて乳牛の歩行する画像を 27 フレーム使用した．使用したデジタルカメラの画像取り込み速さは 1 フレーム 1/30 秒である．牛と背景を区別するために，マウスを用いた牛の輪郭線をトレースし，背景を青 ( R = 0, G = 0, B = 255 ) に設定したマスク画像を作成する．実験では特に，片面のみの斑紋を用いて識別が可能であることを検証するため，左側面の斑紋のみを対象にした識別を行う．動きを利用した牛の抽出実験には背景を区別していない画像を用いた．試料は，各牛のデータベースを含め，1 頭あたり 27 フレーム，合計 540 パターン（20 頭×27 フレーム）となる． 1 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 4×8 8×16 16×32 32×64 識別率識別率 2. 識別結果および考察 1) 斑紋濃淡値表現法と斑紋ヒストグラム表現法図 9 に斑紋濃淡値表現法について，固有空間の次元数と Euclid 距離による識別結果を示す．横軸は固有空間の次元数を示し，縦軸に識別率を示す．分割数が 4×8，8×16 のときは高い識別率を示したが，いずれの次元数においても 1 に達せず，4×8 の 20 次元における 0.88 が最高であった．分割数が 16× 32，32×64 となると，識別率は極端に低い値を示した．この原因として，分割数が大きいため各ブロックが小さく，姿勢変化によって，識別に使用する斑紋領域の位置がずれ，各ブロックの濃淡値平均が大きく変化したためと考えられる．図 10 に，斑紋濃淡値表現法においてもっとも識別率が高い値を示した 4×8 分割と，斑紋ヒストグラム表現法においてもっとも識別率が高い値を示した分割幅 30，濃淡レベル階級 4 階級の結果を比較した図を示す．濃淡濃淡値表現法ではどの次元数においても識別率が 0.9 に達しなかったが，斑紋ヒストグラム表現法では，8 次元以上で 0.95 を超えた値を示した．したがって，斑紋ヒストグラム表現法は斑紋濃淡値表現法に比べ，姿勢変化にロバストな斑紋表現方法であることが言える． 0.9 0.8 斑紋ヒストグラム表現法（h=30,4階級）斑紋濃淡値表現法（4×8分割） 0.7 0 2 4 6 0 8 10 12 14 16 18 20 固有空間次元数図 9 斑紋濃淡値表現法 2 4 6 8 10 12 14 16 18 20 固有空間次元数図 10 濃淡値法とヒストグラム法の比較 6 2) 抽出誤差が識別に及ぼす影響図 11 に牛の抽出方法に違いによる，斑紋ヒストグラム表現法を用いた識別実験において，分割幅 30，濃淡レベル階級 4 階級おける結果を示す．手動とは手動で牛を抽出した結果を示し，フレーム間差分（モノクロ）および（微分）はモノクロおよび微分画像をフレーム間差分によって，牛を抽出した範囲を牛領域として識別を行った結果を示す．図 11（a）は 20 頭全体の結果を示し，手動抽出の画像による結果は 8 次元以上で識別率が 0.95 を超えるのに対して，モノクロおよび微分画像による結果はいずれの次元数においても識別率が 0.15 に達せず，低い値を示した．図 11（b）に No.1 牛，図 11（c）に No.14 牛のみの識別結果を示す．No.1 では背景一定の画像による結果は，6 次元以上で識別率が 1 に達したのに対し，モノクロ画像による結果は 3 次元以上で 0.9 に達し，微分画像による結果は 3 次元以上で 0.5 に達した．これは背景一定の画像で高い識別率を示し，図 12 （b），（c）に示すように，牛にフィットした，あるいは作業者を含めた抽出となった場合，高い識別率を示す．一方，No.14 では背景一定の画像による結果はいずれの次元数においても 0.9 に達しなかったのに対し，モノクロおよび微分画像による結果はいずれの次元数においても低い識別率を示し，0.1 に達しなかった．これは背景が一定の画像において低い識別率を示すと，図 12（e）に示すように牛にフィットする抽出ができたとしても識別ができないことを示す． 0 2 4 6 8 10 12 14 16 18 20 固有空間次元数 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 識別率 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 識別率識別率手動フレーム間差分（モノクロ）フレーム間差分（微分） 0 2 （a）20 頭全体 4 6 8 10 12 14 16 18 20 固有空間次元数 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 2 （b）No.1 4 6 8 10 12 14 16 18 20 固有空間次元数（c）No.14 図 11 牛抽出方法の違いによる識別結果（a）No.1 Frame 21 （b）モノクロ（c）微分（d）No.14 Frame 10 （e）モノクロ（f）微分図 12 牛の抽出結果 3. 照明変化や泥などの異物付着への対応牛の斑紋が照明条件によって影や照りが生じる場合，人間の目は白い部分に影が生じた，または黒い部分に照りが生じたなどと認識でき，自然状況下で起きる照明の変化の度合に関わらず，斑紋の輪郭形状を把握できる．しかし，デジタルカメラによって計算機に取り込んだ画像の RGB 値だけでは，その判断が困難である．また，斑紋に泥などの異物が付着した場合も把握が困難になる．一定した斑紋の輪郭形状を，照明条件に関係なく取得可能ならば，局所輪郭形状を用いた識別が可能になる．そこで，画像撮影時に RGB 以外の情報として色の波長などを測定できるカメラで撮影し，斑紋の輪郭線が照明変化や異物付着の有無に関係なく認識できるような情報を取得し，検討する必要がある． 7 4. 実用化に向けて 1) 牛の抽出精度自然状況下における牛の切り出しについて，牛にフィットする切り出しができれば識別は高い確率でできる．したがって，牛の切り出し精度を上げる方法を検討する必要がある．特に，画像中に作業者が存在すると，動きがある以上，牛と一緒に切り出してしまう．そこで，牛と作業者を区別する方法を検討する必要がある． 2) 自動認識・追跡システム本研究のシステムでは，画像撮影の条件項目が多い．以下に本研究での画像撮影条件を示す．（a）カメラから牛までの距離を一定にし，どの牛も同じような大きさに映るようにした．（b）カメラを畜舎の壁に向け，背景に他の動物体が入らないようにした．（c）畜舎の方に牛をけん引してもらい，壁に対して平行に歩いてもらうようにした．また，カメラから向かって，牛より前に入らないようにしてもらった．実用化を目指すに当たって，これらの制約を取り払う必要がある．そのために必要なシステムとして，自動認識および追跡システムが挙げられる．乳牛は牧場などで放たれている場合が多い．そこでカメラのズーム機能を用いて自動認識を行い，さらに追跡ができるシステムを構築する．また，1 台のカメラで数頭の認識，追跡が可能になれば，1 日の乳牛の行動により餌の与え方を変えるなどして，各牛に対して最適な飼育が可能になる． V 結言本稿は，姿勢変化にロバストな乳牛の個体識別を行うため，斑紋の濃淡情報を利用した識別方法の検討と自然状況下における牛の抽出の検討を目的とした．姿勢変化にロバストな斑紋表現方法として斑紋ヒストグラム表現法について検討し，フレーム間差分を用いて動きを利用した牛の抽出方法について検討した．実験では手動で抽出した画像を用いて斑紋濃淡値表現法および斑紋ヒストグラム表現法を用いて識別を行い，姿勢変化が識別に及ぼす影響について検証した．また背景が複雑な画像を用いて，モノクロおよび微分画像をフレーム間差分することにより牛の抽出を行い，牛の抽出法についての有効性を検証した．また，切り取った牛領域を斑紋ヒストグラム表現法によって識別実験を行い，抽出誤差および姿勢変化が識別に及ぼす影響について検証した．以下に，本研究の実験により明らかになった項目を示す． 1. 姿勢変化にロバストな斑紋表現方法（1）斑紋濃淡値表現法において，姿勢が変化すると，識別に使用する斑紋領域の位置がずれ，分割した各ブロックの濃淡値平均が変化するため識別率は低い値を示す．（2）斑紋ヒストグラム表現法において，牛全体の横方向，縦方向のブロックを取り，各ブロックの濃淡ヒストグラムを取るため，姿勢が変化してもヒストグラムの値に及ぼす影響は少ない．（3）斑紋ヒストグラム表現法は，斑紋濃淡値表現法に比べ，姿勢変化にロバストな斑紋表現方法である． 2. 自然状況下における牛の抽出方法（1）背景の輝度の差がゼロに近い場合，牛に動きがあれば，フレーム間差分を求めることで牛を抽出できる．（2）フレーム間の差分値に設定したしきい値は，輝度変化の有無を判断するために有効である．しかし，モノクロ画像と微分画像を用いたフレーム間差分毎にしきい値を決める必要がある．（3）モノクロ画像を用いたフレーム間差分はノイズが少なく，牛の動きが大きい場合は抽出でき，動きが小さい場合は抽出できない．また，斑紋の模様がほとんどない場合でも抽出できない．（4）微分画像を用いたフレーム間差分は，画像全体の輪郭形状を抽出するため，牛に少しでも動きがあれば輪郭形状にズレが生じ，牛を抽出可能である．しかし，風などによる背景の変化や太陽などの照明変化に敏感に反応し抽出してしまうため，ノイズが多い． 8