行動認識装置、行動認識方法及びプログラム
【課題】実験動物の各部位の行動をより詳細に定量化する。
【解決手段】輪郭情報取得部１０は、撮像部で撮像されるマウスの撮像画像に基づいて、その撮像画像におけるマウスの重心位置を基準として極座標変換されたマウスの輪郭情報を逐次取得する。変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウスの輪郭情報を、例えば、頭部、尾部、右胴体部、左胴体部等の部位単位で分割し、分割された部位毎にマウスの輪郭情報の変動に関する情報を算出する。行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウスの行動を判別する。
【解決手段】輪郭情報取得部１０は、撮像部で撮像されるマウスの撮像画像に基づいて、その撮像画像におけるマウスの重心位置を基準として極座標変換されたマウスの輪郭情報を逐次取得する。変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウスの輪郭情報を、例えば、頭部、尾部、右胴体部、左胴体部等の部位単位で分割し、分割された部位毎にマウスの輪郭情報の変動に関する情報を算出する。行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウスの行動を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実験動物の行動を自動的に認識する行動認識装置、行動認識方法及びプログラムに関する。
【背景技術】
【０００２】
マウスなどの実験動物は、新薬開発、毒性試験など様々な医用用途で用いられている。動物の疾病の程度をｉｎ ｖｉｖｏレベルで定量化するためには、疾病と密接に関係するモデル行動の解析が重要となる。
【０００３】
このようなモデル行動には、四股を用いた秒間十数回といった繰返し運動を伴う擦過行動やグルーミングなどの高速な行動が含まれる。高速な行動の多くは人間の肉眼や標準のＮＴＳＣ（National Television System Committee）カメラ（３０ｆｐｓ）では正確かつ客観的な観測が困難になる。
【０００４】
一方で、画像に基づく人間の歩様解析の研究が数多く行われているが、その多くは高々３０ｆｐｓのビデオ画像を用いて数Ｈｚの周期的歩様を解析している。これに対し、痒みを示すモデル行動として広く知られる、後肢により頭部を繰返し引っ掻くマウスの擦過運動など、四肢の高速な運動を伴う実験動物のモデル行動を正確かつ客観的に定量化するためには、高フレームレート（ＨＦＲ）のビデオ解析が有効となる。
【０００５】
ビデオ解析における空間解像度の優位性から、実験動物の部位ベースドな画像特徴に基づく行動認識アルゴリズムが提案され、部位ラベリング法、マウス輪郭の不変特徴量、ラット行動解析における機械学習などが報告されている。これらの多くは標準的なビデオ画像（NTSC 30fps）を用いており、十数Ｈｚといった四肢の繰返し運動を正確に捉えるためには十分ではない。これに対し、本発明者らは、ＨＦＲビデオ解析に基づく擦過行動定量化アルゴリズムを提案し、２４０ｆｐｓ実時間画像解析システムを開発した（例えば、非特許文献１、２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】I.Ishii et al,"Automatic Scratching Pattern Detection for Laboratory Mice using High-Speed Video Images. "IEEE Trans, Automat. Sci. Eng., 5(1)176-182, 2008.
【非特許文献２】Y.Nie et al,"Real-time Scratching Behavior Quantification System for Laboratory Mice Using High-speed Vision," J. Real-Time Im.Process., 4(2) 181-190, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記非特許文献１、２に開示された研究では、全画像領域に対するフレーム間差分特徴計算により十数Ｈｚの周期的な輝度変化を擦過運動として検出している。このため、グルーミングなどの類似した高速な動きを伴うモデル行動が多発する場合、擦過運動と誤検出されやすくなる。
【０００８】
また、上記研究では、実験動物の特定の部位の動きまで検出するのは困難である。
【０００９】
本発明は、上記実情に鑑みてなされたものであり、実験動物の各部位の行動をより詳細に定量化することができる行動認識装置、行動認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の第１の観点に係る行動認識装置は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
を備える。
【００１１】
この場合、前記変動情報算出部は、
前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
こととしてもよい。
【００１２】
また、前記輪郭情報の変動に関する情報は、
今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分である前記各部位のフレーム間特徴差分を含む、
こととしてもよい。
【００１３】
また、前記行動判別部は、
前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
前記各部位が運動していると判別する、
こととしてもよい。
【００１４】
また、前記変動情報算出部は、
前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
前記撮像画像における前記実験動物の面積に関する第２の情報と、
前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
をさらに算出し、
前記行動判別部は、
前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
こととしてもよい。
【００１５】
本発明の第２の観点に係る行動認識方法は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
を含む。
【００１６】
本発明の第３の観点に係るプログラムは、
コンピュータを、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
として機能させる。
【発明の効果】
【００１７】
本発明によれば、実験動物の撮像画像から極座標変換された実験動物の各部位の輪郭情報の変動に関する情報を得ることができるので、実験動物の各部位の行動をより詳細に定量化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る行動認識装置の構成を示す斜視図である。
【図２】図１の画像処理部の構成を示すブロック図である。
【図３】モデル行動の類型を表すルックアップテーブルを示す図である。
【図４】図２の輪郭情報取得部の処理を示すフローチャートである。
【図５】図２の変動情報算出部の処理を示すフローチャートである。
【図６】図２の行動判別部の処理を示すフローチャートである。
【図７】図１の行動認識装置で行われる処理を模式的に示す図である。
【発明を実施するための形態】
【００１９】
この発明の実施の形態について、図面を参照して詳細に説明する。
【００２０】
まず、行動認識装置１００の構成について図１を参照して詳細に説明する。図１に示すように、行動認識装置１００は、撮像部１と、画像処理部２とを備える。行動認識装置１００は、尾部及び頭部を有するマウス３の四肢の高速な繰返し運動を含む複数の行動を認識する。マウス３は、例えばＩＣＲ（癌研究学会）マウスである。ＩＣＲマウスは、動物実験に広く用いられているＳｗｉｓｓマウスである。マウス３は、透明アクリル製のケージ４に入れられている。
【００２１】
撮像部１は、例えば、２４０ｆｐｓ程度の高フレームレート（ＨＦＲ）を実現するカメラである。撮像部１は、ケージ４の底面がその撮像視野に収まるように（すなわちマウス３が撮像視野内に収まるように）配置されており、ケージ４内のマウス３を上方から撮像する。撮像部１は、その撮像画像（フレーム画像）を画像処理部２に出力する。この撮像画像は、例えば３２０×４００画素の８ビット濃淡画像である。ケージ４の下には、近赤外平板ＬＥＤ照明（波長９５０ｎｍ）が設置されている。これにより、撮像部１により得られる撮像画像は、マウス３のシルエット画像となる。
【００２２】
画像処理部２は、撮像部１から出力されたマウス３の撮像画像を処理するコンピュータである。画像処理部２は、図示しないＣＰＵ及びメモリを備えており、メモリに格納されたプログラムを、ＣＰＵが実行することにより、図２の各ブロックの機能が実現される。図２に示すように、画像処理部２は、輪郭情報取得部１０と、変動情報算出部１１と、行動判別部１２とを備える。
【００２３】
輪郭情報取得部１０は、撮像部１で撮像されるマウス３の撮像画像に基づいて、その撮像画像におけるマウス３の重心位置を基準として極座標変換されたマウス３の輪郭情報を逐次取得する。
【００２４】
変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウス３の輪郭情報を部位単位で分割し、分割された部位毎にマウス３の輪郭情報の変動に関する情報を算出する。本実施形態では、輪郭情報は、頭部、尾部、右胴体部、左胴体部に分割されるものとする。マウス３の輪郭情報の変動に関する情報には、例えば、今回取得した撮像画像から得られる輪郭情報と、前回取得した撮像画像から得られる輪郭情報との差分であるフレーム間差分特徴がある。
【００２５】
行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウス３の行動を判別する。この行動判別は、図３に示すマウス３のモデル行動の類型を表すルックアップテーブルに基づいて行われる。図３のテーブルには、マウス３が取り得る行動として６つのモデル行動が示されている。
【００２６】
このルックアップテーブルにおいて、ＭＶは、”ｍｏｖｉｎｇ”であり、歩く、又は走る状態を示す。ＲＥは、”ｒｅａｒｉｎｇ”であり、後肢を下に座る、あるいは立つ状態を示している。ＩＭは、”ｉｍｍｏｂｉｌｉｔｙ”であり、一定時間運動がない状態を示している。ＨＧは、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”であり、前肢で頭部を毛繕いする状態である。ＳＬは、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、左後肢で頭部を繰り返し引っ掻く状態である。ＳＲは、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、右後肢で頭部を繰り返し引っ掻く状態である。
【００２７】
上記６つの行動と、マウス３の撮像画像から得られる情報との間には、相関関係が見られる。テーブルにおいて、”○”、”×”、”−”は、この相関関係について、それぞれ”ｌａｒｇｅ”、”ｓｍａｌｌ”、”ｎｏｔ−ｃｏｎｃｅｒｎｅｄ”を意味する。
【００２８】
例えば、撮像画像におけるマウス３の重心の移動速度Ｖ（ｔ）がかなり大きければ、マウス３の状態は、”ｍｏｖｉｎｇ”（○）であると考えられ、”ｒｅａｒｉｎｇ”、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００２９】
また、撮像画像におけるマウス３のシルエット面積Ａ（ｔ）がかなり小さければ、マウス３の状態は、”ｒｅａｒｉｎｇ”（×）であると考えられ、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。
【００３０】
また、撮像画像から得られる全胴体のフレーム間差分特徴Ｆ（ｔ）が小さければ、マウス３の状態は、”ｉｍｍｏｂｉｌｉｔｙ”（×）であると考えられ、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。
【００３１】
また、撮像画像から得られる頭部領域のフレーム間差分特徴Ｆh（ｔ）が大きければ、マウス３の状態は、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”（○）であると考えられ、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００３２】
また、撮像画像から得られる左胴体部のフレーム間差分特徴Ｆl（ｔ）が大きければ、マウス３の状態は、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられ、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００３３】
また、撮像画像から得られる右胴体部のフレーム間差分特徴Ｆr（ｔ）が大きければ、マウス３の状態は、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられる。
【００３４】
変動情報算出部１１は、上述したマウス３の重心の移動速度Ｖ（ｔ）、マウス３のシルエット面積Ａ（ｔ）、全胴体のフレーム間差分特徴Ｆ（ｔ）、頭部領域のフレーム間差分特徴Ｆh（ｔ）、左胴体部のフレーム間差分特徴Ｆl（ｔ）、右胴体部のフレーム間差分特徴Ｆr（ｔ）を算出する。行動判別部１２は、算出されたこれらの情報を用いて、マウス３の行動を判別する。
【００３５】
次に、本実施形態に係る行動認識装置１００の動作について図４乃至図６のフローチャートを中心にして説明する。図４には、輪郭情報取得部１０の処理が示され、図５には、変動情報算出部１１の処理が示され、図６には、行動判別部１２の処理が示されている。これらの処理は、撮像部１からマウス３の撮像画像が入力される度に実行される。
【００３６】
図４に示すように、まず、輪郭情報取得部１０は、入力されたマウス３の撮像画像の二値化を行う（ステップＳ１）。より具体的には、例えば図７に示すように、マウス３のシルエット画像を取得するために、輪郭情報取得部１０は、時刻ｔに入力された撮像画像Ｉ（ｘ，ｙ，ｔ）を閾値Ｔｂ（例えば１００）により二値化し、次式で示される二値化画像を取得する。
【数１】
【００３７】
続いて、輪郭情報取得部１０は、マウス３の位置を特定するために、マウス３のシルエット画像の重心（ｃx（ｔ），ｃy（ｔ））を、以下のモーメント特徴Ｍ0（ｔ）、Ｍx（ｔ）、Ｍy（ｔ）を用いて算出する（ステップＳ２）。
【数２】
Ｄ（ｘ，ｙ，ｔ）は、マウス３の尾や四肢を無視したｒb×ｒb画素カーネルによるＢ（ｘ，ｙ，ｔ）のオープニング画像として算出する。
【００３８】
続いて、輪郭情報取得部１０は、例えば次式に示すＣａｎｎｙエッジ検出器を用いてマウス３のエッジ画像を求めることにより、エッジを検出する（ステップＳ３）。図７には、Ｉ（ｘ，ｙ，ｔ）から求められるエッジ画像Ｃ（ｘ，ｙ，ｔ）の一例が示されている。
【数３】
【００３９】
続いて、輪郭情報取得部１０は、エッジ画像Ｃ（ｘ，ｙ，ｔ）の極座標変換を行う（ステップＳ４）。ここでは、エッジ画像Ｃ（ｘ，ｙ，ｔ）の全ての画素について、重心（ｃx（ｔ），ｃy（ｔ））からの距離及び角度を算出し、極座標系（ｒ，θ）を用いて、Ｃ（ｘ，ｙ，ｔ）を、Ｐ（ｒ，θ，ｔ）へと極座標変換する。
【数４】
ここで、ｘ’＝ｘ−ｃx（ｔ）、ｙ’＝ｙ−ｃy（ｔ）は、マウス３の重心（ｃx（ｔ），ｃy（ｔ））からの相対座標値を指し、δ（ｘ）は次のように与えられる。
【数５】
【００４０】
続いて、輪郭情報取得部１０は、マウス３のシルエットの輪郭情報を抽出する（ステップＳ５）。ここでは、輪郭情報取得部１０は、θの方向にあるＰ（ｒ，θ，ｔ）の全画素について、最小値ｒm（θ，ｔ）を算出し、内側境界を極座標系（ｒ，θ）でのシルエット輪郭として抽出する。図７には、このシルエット輪郭ｒm（θ，ｔ）の一例が示されている。
【数６】
【００４１】
次に、変動情報算出部１１の処理について説明する。図５に示すように、変動情報算出部１１は、シルエット輪郭ｒm（θ，ｔ）に基づいて、尾部の向きθt（ｔ）を検出する（ステップＳ１１）。尾部の向きθt（ｔ）周辺では、輪郭は大きくカーブし、特定方向に鋭い分布を持つため、尾部の向きθt（ｔ）は、次のように決まる。
【数７】
ここで、ｈ（θ，ｔ）は、θ〜θ＋ｄθの方向において、Ｐ（ｒ，θ，ｔ）＝１となる画素数を指す。
【００４２】
続いて、変動情報算出部１１は、シルエット輪郭ｒm（θ，ｔ）に基づいて、頭部の向きθh（ｔ）を検出する（ステップＳ１２）。頭部の向きθh（ｔ）は、尾部を除いて、重心から一番離れている輪郭上の点の方向として決定される。
【数８】
Θaは、例えばπ／３とすることができる。
【００４３】
続いて、変動情報算出部１１は、胴体・部位セグメンテーションを行う（ステップＳ１３）。まず、変動情報算出部１１は、マウス３の胴体部の屈曲や姿勢の影響を抑えるために、角度座標θについて、検出された尾部の向きθt（ｔ）及び頭部の向きθh（ｔ）を用いて、次のような角度座標Φを再定義する。
【数９】
これにより、ｒm（θ，ｔ）は、シフト及び姿勢不変なシルエット輪郭情報ｒ’m（Φ，ｔ）に変換され、以下に示す、尾部領域Ｒ’t、頭部領域Ｒ’h、左胴体領域Ｒ’l、右胴体領域Ｒ’rにセグメントされる。
【数１０】
ここで、尾部領域Ｒ’t、頭部領域Ｒ’hの中心方向及び範囲は、それぞれ（０，Φt）、（０，Φl）に設定されている。
【００４４】
続いて、変動情報算出部１１は、部位毎のフレーム間差分特徴を含むマウス３の動きに関する情報を算出する（ステップＳ１４）。ここでは、フレーム間差分特徴Ｆt（ｔ）、Ｆr（ｔ）、Ｆh（ｔ）、Ｆl（ｔ）が、各部位Ｒ’t、Ｒ’r、Ｒ’h、Ｒ’lの運動特徴として、次式を用いて算出される。
【数１１】
ここで、ｄｔは、フレーム差分計算の時間間隔である。ｄｔは、例えば、４２ｍｓ程度とすることができる。
【００４５】
さらに、変動情報算出部１１は、次式を用いて、重心の移動速度Ｖ（ｔ）を算出する。
【数１２】
さらに、変動情報算出部１１は、次式を用いて、マウス３のシルエット面積Ａ（ｔ）を、次式を用いて求める。
【数１３】
さらに、変動情報算出部１１は、全胴体のフレーム間差分特徴Ｆ（ｔ）を、次式を用いて算出する。
【数１４】
【００４６】
次に、行動判別部１２の処理について説明する。この処理は、上述のように、図３のルックアップテーブルに基づいて定められたものである。
【００４７】
図６に示すように、まず、行動判別部１２は、重心の移動速度Ｖ（ｔ）が閾値Ｔmvより大きいか否かを判定する（ステップＳ２１）。閾値Ｔmvは、例えば１００画素／ｓ程度とすることができる。重心の移動速度Ｖ（ｔ）が閾値Ｔmvより大きい場合（ステップＳ２１；Ｙｅｓ）、”ｍｏｖｉｎｇ”と判定し、変数ｑmv（ｔ）に１を設定する（ステップＳ２２）。すなわち、変数ｑmv（ｔ）は、次式のようになる。
【数１５】
この後、行動判別部１２は、処理を終了する。
【００４８】
一方、重心の移動速度Ｖ（ｔ）が閾値Ｔmv以下の場合（ステップＳ２１；Ｎｏ）、行動判別部１２は、シルエット面積Ａ（ｔ）が閾値Ｔreより大きいか否かを判定する（ステップＳ２３）。閾値Ｔreは、例えば、７．４×１０5画素とすることができる。
【００４９】
シルエット面積Ａ（ｔ）が閾値Ｔreより大きい場合（ステップＳ２３；Ｙｅｓ）、行動判別部１２は、”ｒｅａｒｉｎｇ”と判定し、変数ｑre（ｔ）に１を設定する（ステップＳ２４）。すなわち、変数ｑre（ｔ）は、次式のようになる。
【数１６】
この後、行動判別部１２は、処理を終了する。
【００５０】
一方、シルエット面積Ａ（ｔ）が、閾値Ｔre以下の場合（ステップＳ２３；Ｎｏ）、行動判別部１２は、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔimより小さいか否かを判定する（ステップＳ２５）。閾値Ｔimは、例えば５．３×１０3画素程度とすることができる。
【００５１】
全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔimより小さければ（ステップＳ２５；Ｙｅｓ）、”ｉｍｍｍｏｂｉｌｉｔｙ”と判定し、変数ｑim（ｔ）に１を設定する（ステップＳ２６）。すなわち、変数ｑim（ｔ）は、次式のようになる。
【数１７】
この後、行動判別部１２は、処理を終了する。
【００５２】
一方、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔim以上の場合（ステップＳ２５；Ｎｏ）、行動判別部１２は、頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上であるか否かを判定する（ステップＳ２７）。例えば、閾値Ｔhgを、１００画素とすることができる。
【００５３】
頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上である場合（ステップＳ２７；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ２８）。パルス閾値処理において、まず、行動判別部１２は、運動の有無を示すパルスｐhg（ｔ）に１を設定する。これにより、パルスｐhg（ｔ）は、次式のようになる。
【数１８】
【００５４】
続いて、行動判別部１２は、次式に従って、これまでに蓄積されたパルスｐhg（ｔ）から、短時間パルス信号ｓhg（ｔ）のみを抽出し、パルス時間幅の長いパルスを排除する。
【数１９】
ここで、ｄ（ｔ）は、時刻ｔを含むｓhg＝１の持続時間を示し、τ0は長時間パルス除去のための閾値である。
【００５５】
続いて、行動判別部１２は、パルス信号ｓhg（ｔ）において短時間間隔で短時間パルスが連続する場合、次式のようにして単一パルスｓ’hg（ｔ）として補償する。
【数２０】
【００５６】
続いて、行動判別部１２は、ｓ’hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ2より大きい否か、すなわちパルスが持続しているか否かを判定する（ステップＳ２９）。閾値τ2は、例えば１６７ｍｓとすることができる。
【００５７】
ｓ’hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ２９；Ｙｅｓ）、”head grooming”として判定し、変数ｑhg（ｔ）に１を設定する（ステップＳ３０）。すなわち、変数ｑhg（ｔ）は、次式のようになる。
【数２１】
この後、行動判別部１２は、処理を終了する。
【００５８】
一方、頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上でない場合（ステップＳ２７；Ｎｏ）、行動判別部１２は、左胴体部フレーム間差分特徴Ｆl（ｔ）が、閾値Ｔslより小さいか否かを判定する（ステップＳ３１）。閾値Ｔslは、例えば２５０画素程度とすることができる。
【００５９】
左胴体部のフレーム間差分特徴Ｆl（ｔ）が閾値Ｔsl以上である場合（ステップＳ３１；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３２）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、左胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ0、τ1については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。
【００６０】
続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ2より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３３）。閾値τ2は、例えば２０８ｍｓとすることができる。
【００６１】
持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ３３；Ｙｅｓ）、”left-side scratching”として判定し、変数ｑsl（ｔ）に１を設定する（ステップＳ３４）。すなわち、変数ｑsl（ｔ）は、次式のようになる。
【数２２】
この後、行動判別部１２は、処理を終了する。
【００６２】
一方、左胴体部のフレーム間差分特徴Ｆl（ｔ）が閾値Ｔsl以上でない場合（ステップＳ３１；Ｎｏ）、行動判別部１２は、右胴体部フレーム間差分特徴Ｆr（ｔ）が、閾値Ｔsrより小さいか否かを判定する（ステップＳ３５）。閾値Ｔsrは、例えば２５０画素程度とすることができる。
【００６３】
右胴体部のフレーム間差分特徴Ｆr（ｔ）が閾値Ｔsr以上である場合（ステップＳ３５；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３６）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、右胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ0、τ1については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。
【００６４】
続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ2より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３７）。閾値τ2は、例えば２０８ｍｓとすることができる。
【００６５】
持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ３７；Ｙｅｓ）、”right-side scratching”として判定し、変数ｑsr（ｔ）に１を設定する（ステップＳ３８）。すなわち、変数ｑsr（ｔ）は、次式のようになる。
【数２３】
この後、行動判別部１２は、処理を終了する。
【００６６】
右胴体部のフレーム間差分特徴Ｆr（ｔ）が閾値Ｔsr以上でない場合（ステップＳ３５；Ｎｏ）、行動判別部１２は、分類できない他の行動”ｏｔｈｅｒ ｂｅｈａｖｉｅｒ”を設定し（ステップＳ３９）、処理を終了する。
【００６７】
なお、時刻ｔ＝ｔ1〜ｔ2において判別された行動の持続時間Ｑi（ｔ1：ｔ2）（ｉ＝ｍｖ，ｒｅ，ｉｍ，ｈｇ，ｓｌ，ｓｒ）は、ｑi（ｔ）＝１である時間を積分することで次式を用いて算出される。
【数２４】
これにより、ある時間でのマウス３の行動が明らかになる。
【００６８】
以上詳細に説明したように、本実施形態によれば、マウス３の撮像画像から極座標変換されたマウス３の各部位の輪郭情報の変動に関する情報を得ることができるので、マウス３の行動をより詳細に定量化することができる。
【００６９】
また、本実施形態によれば、マウス３の重心を中心として極座標変換された輪郭情報に基づいてマウス３の動きを検出するので、撮像視野内のマウス３の位置に関らず、マウス３の行動を正確に定量化することができる。さらに、極座標は、マウス３の尾部の向き及び頭部の向きにより再定義されるので、マウス３の胴体部の屈曲や姿勢に左右されずに、マウス３の行動を正確に定量化することができる。
【００７０】
また、本実施形態によれば、各部位の動きの検出に先立って、マウス３の重心移動や、マウス３の姿勢の変化などを検出するので、マウス３の移動等に左右されずに、各部位の行動の検出が可能となる。
【００７１】
本実施形態に係る行動認識装置を用いれば、新薬開発、毒性実験など様々な医用用途において、疾病と密接に関係する各部位のモデル行動（例えば左肢による擦過運動）の解析により、マウス３の疾病の程度をｉｎ ｖｉｖｏレベルで定量化することができる。
【００７２】
なお、本発明では、マウス３を検出対象としたが、ラット、モルモットや他の実験動物（実験小動物）を検出対象としてもよい。
【００７３】
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【００７４】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【００７５】
また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【００７６】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【産業上の利用可能性】
【００７７】
本発明は、尾部及び頭部を有する実験動物の行動の分析に好適である。より具体的には、本発明によれば、実験動物に特化した形で、四肢の高速な繰り返し動作を含む擦過運動やグルーミングなどの複数の行動を同時に自動判別することができる。
【符号の説明】
【００７８】
１ 撮像部
２ 画像処理部
３ マウス
４ ケージ
１０ 輪郭情報取得部
１１ 変動情報算出部
１２ 行動判別部
１００ 行動認識装置
【技術分野】
【０００１】
本発明は、実験動物の行動を自動的に認識する行動認識装置、行動認識方法及びプログラムに関する。
【背景技術】
【０００２】
マウスなどの実験動物は、新薬開発、毒性試験など様々な医用用途で用いられている。動物の疾病の程度をｉｎ ｖｉｖｏレベルで定量化するためには、疾病と密接に関係するモデル行動の解析が重要となる。
【０００３】
このようなモデル行動には、四股を用いた秒間十数回といった繰返し運動を伴う擦過行動やグルーミングなどの高速な行動が含まれる。高速な行動の多くは人間の肉眼や標準のＮＴＳＣ（National Television System Committee）カメラ（３０ｆｐｓ）では正確かつ客観的な観測が困難になる。
【０００４】
一方で、画像に基づく人間の歩様解析の研究が数多く行われているが、その多くは高々３０ｆｐｓのビデオ画像を用いて数Ｈｚの周期的歩様を解析している。これに対し、痒みを示すモデル行動として広く知られる、後肢により頭部を繰返し引っ掻くマウスの擦過運動など、四肢の高速な運動を伴う実験動物のモデル行動を正確かつ客観的に定量化するためには、高フレームレート（ＨＦＲ）のビデオ解析が有効となる。
【０００５】
ビデオ解析における空間解像度の優位性から、実験動物の部位ベースドな画像特徴に基づく行動認識アルゴリズムが提案され、部位ラベリング法、マウス輪郭の不変特徴量、ラット行動解析における機械学習などが報告されている。これらの多くは標準的なビデオ画像（NTSC 30fps）を用いており、十数Ｈｚといった四肢の繰返し運動を正確に捉えるためには十分ではない。これに対し、本発明者らは、ＨＦＲビデオ解析に基づく擦過行動定量化アルゴリズムを提案し、２４０ｆｐｓ実時間画像解析システムを開発した（例えば、非特許文献１、２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】I.Ishii et al,"Automatic Scratching Pattern Detection for Laboratory Mice using High-Speed Video Images. "IEEE Trans, Automat. Sci. Eng., 5(1)176-182, 2008.
【非特許文献２】Y.Nie et al,"Real-time Scratching Behavior Quantification System for Laboratory Mice Using High-speed Vision," J. Real-Time Im.Process., 4(2) 181-190, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記非特許文献１、２に開示された研究では、全画像領域に対するフレーム間差分特徴計算により十数Ｈｚの周期的な輝度変化を擦過運動として検出している。このため、グルーミングなどの類似した高速な動きを伴うモデル行動が多発する場合、擦過運動と誤検出されやすくなる。
【０００８】
また、上記研究では、実験動物の特定の部位の動きまで検出するのは困難である。
【０００９】
本発明は、上記実情に鑑みてなされたものであり、実験動物の各部位の行動をより詳細に定量化することができる行動認識装置、行動認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の第１の観点に係る行動認識装置は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
を備える。
【００１１】
この場合、前記変動情報算出部は、
前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
こととしてもよい。
【００１２】
また、前記輪郭情報の変動に関する情報は、
今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分である前記各部位のフレーム間特徴差分を含む、
こととしてもよい。
【００１３】
また、前記行動判別部は、
前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
前記各部位が運動していると判別する、
こととしてもよい。
【００１４】
また、前記変動情報算出部は、
前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
前記撮像画像における前記実験動物の面積に関する第２の情報と、
前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
をさらに算出し、
前記行動判別部は、
前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
こととしてもよい。
【００１５】
本発明の第２の観点に係る行動認識方法は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
を含む。
【００１６】
本発明の第３の観点に係るプログラムは、
コンピュータを、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
として機能させる。
【発明の効果】
【００１７】
本発明によれば、実験動物の撮像画像から極座標変換された実験動物の各部位の輪郭情報の変動に関する情報を得ることができるので、実験動物の各部位の行動をより詳細に定量化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る行動認識装置の構成を示す斜視図である。
【図２】図１の画像処理部の構成を示すブロック図である。
【図３】モデル行動の類型を表すルックアップテーブルを示す図である。
【図４】図２の輪郭情報取得部の処理を示すフローチャートである。
【図５】図２の変動情報算出部の処理を示すフローチャートである。
【図６】図２の行動判別部の処理を示すフローチャートである。
【図７】図１の行動認識装置で行われる処理を模式的に示す図である。
【発明を実施するための形態】
【００１９】
この発明の実施の形態について、図面を参照して詳細に説明する。
【００２０】
まず、行動認識装置１００の構成について図１を参照して詳細に説明する。図１に示すように、行動認識装置１００は、撮像部１と、画像処理部２とを備える。行動認識装置１００は、尾部及び頭部を有するマウス３の四肢の高速な繰返し運動を含む複数の行動を認識する。マウス３は、例えばＩＣＲ（癌研究学会）マウスである。ＩＣＲマウスは、動物実験に広く用いられているＳｗｉｓｓマウスである。マウス３は、透明アクリル製のケージ４に入れられている。
【００２１】
撮像部１は、例えば、２４０ｆｐｓ程度の高フレームレート（ＨＦＲ）を実現するカメラである。撮像部１は、ケージ４の底面がその撮像視野に収まるように（すなわちマウス３が撮像視野内に収まるように）配置されており、ケージ４内のマウス３を上方から撮像する。撮像部１は、その撮像画像（フレーム画像）を画像処理部２に出力する。この撮像画像は、例えば３２０×４００画素の８ビット濃淡画像である。ケージ４の下には、近赤外平板ＬＥＤ照明（波長９５０ｎｍ）が設置されている。これにより、撮像部１により得られる撮像画像は、マウス３のシルエット画像となる。
【００２２】
画像処理部２は、撮像部１から出力されたマウス３の撮像画像を処理するコンピュータである。画像処理部２は、図示しないＣＰＵ及びメモリを備えており、メモリに格納されたプログラムを、ＣＰＵが実行することにより、図２の各ブロックの機能が実現される。図２に示すように、画像処理部２は、輪郭情報取得部１０と、変動情報算出部１１と、行動判別部１２とを備える。
【００２３】
輪郭情報取得部１０は、撮像部１で撮像されるマウス３の撮像画像に基づいて、その撮像画像におけるマウス３の重心位置を基準として極座標変換されたマウス３の輪郭情報を逐次取得する。
【００２４】
変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウス３の輪郭情報を部位単位で分割し、分割された部位毎にマウス３の輪郭情報の変動に関する情報を算出する。本実施形態では、輪郭情報は、頭部、尾部、右胴体部、左胴体部に分割されるものとする。マウス３の輪郭情報の変動に関する情報には、例えば、今回取得した撮像画像から得られる輪郭情報と、前回取得した撮像画像から得られる輪郭情報との差分であるフレーム間差分特徴がある。
【００２５】
行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウス３の行動を判別する。この行動判別は、図３に示すマウス３のモデル行動の類型を表すルックアップテーブルに基づいて行われる。図３のテーブルには、マウス３が取り得る行動として６つのモデル行動が示されている。
【００２６】
このルックアップテーブルにおいて、ＭＶは、”ｍｏｖｉｎｇ”であり、歩く、又は走る状態を示す。ＲＥは、”ｒｅａｒｉｎｇ”であり、後肢を下に座る、あるいは立つ状態を示している。ＩＭは、”ｉｍｍｏｂｉｌｉｔｙ”であり、一定時間運動がない状態を示している。ＨＧは、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”であり、前肢で頭部を毛繕いする状態である。ＳＬは、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、左後肢で頭部を繰り返し引っ掻く状態である。ＳＲは、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、右後肢で頭部を繰り返し引っ掻く状態である。
【００２７】
上記６つの行動と、マウス３の撮像画像から得られる情報との間には、相関関係が見られる。テーブルにおいて、”○”、”×”、”−”は、この相関関係について、それぞれ”ｌａｒｇｅ”、”ｓｍａｌｌ”、”ｎｏｔ−ｃｏｎｃｅｒｎｅｄ”を意味する。
【００２８】
例えば、撮像画像におけるマウス３の重心の移動速度Ｖ（ｔ）がかなり大きければ、マウス３の状態は、”ｍｏｖｉｎｇ”（○）であると考えられ、”ｒｅａｒｉｎｇ”、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００２９】
また、撮像画像におけるマウス３のシルエット面積Ａ（ｔ）がかなり小さければ、マウス３の状態は、”ｒｅａｒｉｎｇ”（×）であると考えられ、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。
【００３０】
また、撮像画像から得られる全胴体のフレーム間差分特徴Ｆ（ｔ）が小さければ、マウス３の状態は、”ｉｍｍｏｂｉｌｉｔｙ”（×）であると考えられ、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。
【００３１】
また、撮像画像から得られる頭部領域のフレーム間差分特徴Ｆh（ｔ）が大きければ、マウス３の状態は、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”（○）であると考えられ、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００３２】
また、撮像画像から得られる左胴体部のフレーム間差分特徴Ｆl（ｔ）が大きければ、マウス３の状態は、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられ、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。
【００３３】
また、撮像画像から得られる右胴体部のフレーム間差分特徴Ｆr（ｔ）が大きければ、マウス３の状態は、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられる。
【００３４】
変動情報算出部１１は、上述したマウス３の重心の移動速度Ｖ（ｔ）、マウス３のシルエット面積Ａ（ｔ）、全胴体のフレーム間差分特徴Ｆ（ｔ）、頭部領域のフレーム間差分特徴Ｆh（ｔ）、左胴体部のフレーム間差分特徴Ｆl（ｔ）、右胴体部のフレーム間差分特徴Ｆr（ｔ）を算出する。行動判別部１２は、算出されたこれらの情報を用いて、マウス３の行動を判別する。
【００３５】
次に、本実施形態に係る行動認識装置１００の動作について図４乃至図６のフローチャートを中心にして説明する。図４には、輪郭情報取得部１０の処理が示され、図５には、変動情報算出部１１の処理が示され、図６には、行動判別部１２の処理が示されている。これらの処理は、撮像部１からマウス３の撮像画像が入力される度に実行される。
【００３６】
図４に示すように、まず、輪郭情報取得部１０は、入力されたマウス３の撮像画像の二値化を行う（ステップＳ１）。より具体的には、例えば図７に示すように、マウス３のシルエット画像を取得するために、輪郭情報取得部１０は、時刻ｔに入力された撮像画像Ｉ（ｘ，ｙ，ｔ）を閾値Ｔｂ（例えば１００）により二値化し、次式で示される二値化画像を取得する。
【数１】
【００３７】
続いて、輪郭情報取得部１０は、マウス３の位置を特定するために、マウス３のシルエット画像の重心（ｃx（ｔ），ｃy（ｔ））を、以下のモーメント特徴Ｍ0（ｔ）、Ｍx（ｔ）、Ｍy（ｔ）を用いて算出する（ステップＳ２）。
【数２】
Ｄ（ｘ，ｙ，ｔ）は、マウス３の尾や四肢を無視したｒb×ｒb画素カーネルによるＢ（ｘ，ｙ，ｔ）のオープニング画像として算出する。
【００３８】
続いて、輪郭情報取得部１０は、例えば次式に示すＣａｎｎｙエッジ検出器を用いてマウス３のエッジ画像を求めることにより、エッジを検出する（ステップＳ３）。図７には、Ｉ（ｘ，ｙ，ｔ）から求められるエッジ画像Ｃ（ｘ，ｙ，ｔ）の一例が示されている。
【数３】
【００３９】
続いて、輪郭情報取得部１０は、エッジ画像Ｃ（ｘ，ｙ，ｔ）の極座標変換を行う（ステップＳ４）。ここでは、エッジ画像Ｃ（ｘ，ｙ，ｔ）の全ての画素について、重心（ｃx（ｔ），ｃy（ｔ））からの距離及び角度を算出し、極座標系（ｒ，θ）を用いて、Ｃ（ｘ，ｙ，ｔ）を、Ｐ（ｒ，θ，ｔ）へと極座標変換する。
【数４】
ここで、ｘ’＝ｘ−ｃx（ｔ）、ｙ’＝ｙ−ｃy（ｔ）は、マウス３の重心（ｃx（ｔ），ｃy（ｔ））からの相対座標値を指し、δ（ｘ）は次のように与えられる。
【数５】
【００４０】
続いて、輪郭情報取得部１０は、マウス３のシルエットの輪郭情報を抽出する（ステップＳ５）。ここでは、輪郭情報取得部１０は、θの方向にあるＰ（ｒ，θ，ｔ）の全画素について、最小値ｒm（θ，ｔ）を算出し、内側境界を極座標系（ｒ，θ）でのシルエット輪郭として抽出する。図７には、このシルエット輪郭ｒm（θ，ｔ）の一例が示されている。
【数６】
【００４１】
次に、変動情報算出部１１の処理について説明する。図５に示すように、変動情報算出部１１は、シルエット輪郭ｒm（θ，ｔ）に基づいて、尾部の向きθt（ｔ）を検出する（ステップＳ１１）。尾部の向きθt（ｔ）周辺では、輪郭は大きくカーブし、特定方向に鋭い分布を持つため、尾部の向きθt（ｔ）は、次のように決まる。
【数７】
ここで、ｈ（θ，ｔ）は、θ〜θ＋ｄθの方向において、Ｐ（ｒ，θ，ｔ）＝１となる画素数を指す。
【００４２】
続いて、変動情報算出部１１は、シルエット輪郭ｒm（θ，ｔ）に基づいて、頭部の向きθh（ｔ）を検出する（ステップＳ１２）。頭部の向きθh（ｔ）は、尾部を除いて、重心から一番離れている輪郭上の点の方向として決定される。
【数８】
Θaは、例えばπ／３とすることができる。
【００４３】
続いて、変動情報算出部１１は、胴体・部位セグメンテーションを行う（ステップＳ１３）。まず、変動情報算出部１１は、マウス３の胴体部の屈曲や姿勢の影響を抑えるために、角度座標θについて、検出された尾部の向きθt（ｔ）及び頭部の向きθh（ｔ）を用いて、次のような角度座標Φを再定義する。
【数９】
これにより、ｒm（θ，ｔ）は、シフト及び姿勢不変なシルエット輪郭情報ｒ’m（Φ，ｔ）に変換され、以下に示す、尾部領域Ｒ’t、頭部領域Ｒ’h、左胴体領域Ｒ’l、右胴体領域Ｒ’rにセグメントされる。
【数１０】
ここで、尾部領域Ｒ’t、頭部領域Ｒ’hの中心方向及び範囲は、それぞれ（０，Φt）、（０，Φl）に設定されている。
【００４４】
続いて、変動情報算出部１１は、部位毎のフレーム間差分特徴を含むマウス３の動きに関する情報を算出する（ステップＳ１４）。ここでは、フレーム間差分特徴Ｆt（ｔ）、Ｆr（ｔ）、Ｆh（ｔ）、Ｆl（ｔ）が、各部位Ｒ’t、Ｒ’r、Ｒ’h、Ｒ’lの運動特徴として、次式を用いて算出される。
【数１１】
ここで、ｄｔは、フレーム差分計算の時間間隔である。ｄｔは、例えば、４２ｍｓ程度とすることができる。
【００４５】
さらに、変動情報算出部１１は、次式を用いて、重心の移動速度Ｖ（ｔ）を算出する。
【数１２】
さらに、変動情報算出部１１は、次式を用いて、マウス３のシルエット面積Ａ（ｔ）を、次式を用いて求める。
【数１３】
さらに、変動情報算出部１１は、全胴体のフレーム間差分特徴Ｆ（ｔ）を、次式を用いて算出する。
【数１４】
【００４６】
次に、行動判別部１２の処理について説明する。この処理は、上述のように、図３のルックアップテーブルに基づいて定められたものである。
【００４７】
図６に示すように、まず、行動判別部１２は、重心の移動速度Ｖ（ｔ）が閾値Ｔmvより大きいか否かを判定する（ステップＳ２１）。閾値Ｔmvは、例えば１００画素／ｓ程度とすることができる。重心の移動速度Ｖ（ｔ）が閾値Ｔmvより大きい場合（ステップＳ２１；Ｙｅｓ）、”ｍｏｖｉｎｇ”と判定し、変数ｑmv（ｔ）に１を設定する（ステップＳ２２）。すなわち、変数ｑmv（ｔ）は、次式のようになる。
【数１５】
この後、行動判別部１２は、処理を終了する。
【００４８】
一方、重心の移動速度Ｖ（ｔ）が閾値Ｔmv以下の場合（ステップＳ２１；Ｎｏ）、行動判別部１２は、シルエット面積Ａ（ｔ）が閾値Ｔreより大きいか否かを判定する（ステップＳ２３）。閾値Ｔreは、例えば、７．４×１０5画素とすることができる。
【００４９】
シルエット面積Ａ（ｔ）が閾値Ｔreより大きい場合（ステップＳ２３；Ｙｅｓ）、行動判別部１２は、”ｒｅａｒｉｎｇ”と判定し、変数ｑre（ｔ）に１を設定する（ステップＳ２４）。すなわち、変数ｑre（ｔ）は、次式のようになる。
【数１６】
この後、行動判別部１２は、処理を終了する。
【００５０】
一方、シルエット面積Ａ（ｔ）が、閾値Ｔre以下の場合（ステップＳ２３；Ｎｏ）、行動判別部１２は、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔimより小さいか否かを判定する（ステップＳ２５）。閾値Ｔimは、例えば５．３×１０3画素程度とすることができる。
【００５１】
全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔimより小さければ（ステップＳ２５；Ｙｅｓ）、”ｉｍｍｍｏｂｉｌｉｔｙ”と判定し、変数ｑim（ｔ）に１を設定する（ステップＳ２６）。すなわち、変数ｑim（ｔ）は、次式のようになる。
【数１７】
この後、行動判別部１２は、処理を終了する。
【００５２】
一方、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔim以上の場合（ステップＳ２５；Ｎｏ）、行動判別部１２は、頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上であるか否かを判定する（ステップＳ２７）。例えば、閾値Ｔhgを、１００画素とすることができる。
【００５３】
頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上である場合（ステップＳ２７；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ２８）。パルス閾値処理において、まず、行動判別部１２は、運動の有無を示すパルスｐhg（ｔ）に１を設定する。これにより、パルスｐhg（ｔ）は、次式のようになる。
【数１８】
【００５４】
続いて、行動判別部１２は、次式に従って、これまでに蓄積されたパルスｐhg（ｔ）から、短時間パルス信号ｓhg（ｔ）のみを抽出し、パルス時間幅の長いパルスを排除する。
【数１９】
ここで、ｄ（ｔ）は、時刻ｔを含むｓhg＝１の持続時間を示し、τ0は長時間パルス除去のための閾値である。
【００５５】
続いて、行動判別部１２は、パルス信号ｓhg（ｔ）において短時間間隔で短時間パルスが連続する場合、次式のようにして単一パルスｓ’hg（ｔ）として補償する。
【数２０】
【００５６】
続いて、行動判別部１２は、ｓ’hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ2より大きい否か、すなわちパルスが持続しているか否かを判定する（ステップＳ２９）。閾値τ2は、例えば１６７ｍｓとすることができる。
【００５７】
ｓ’hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ２９；Ｙｅｓ）、”head grooming”として判定し、変数ｑhg（ｔ）に１を設定する（ステップＳ３０）。すなわち、変数ｑhg（ｔ）は、次式のようになる。
【数２１】
この後、行動判別部１２は、処理を終了する。
【００５８】
一方、頭部のフレーム間差分特徴Ｆh（ｔ）が閾値Ｔhg以上でない場合（ステップＳ２７；Ｎｏ）、行動判別部１２は、左胴体部フレーム間差分特徴Ｆl（ｔ）が、閾値Ｔslより小さいか否かを判定する（ステップＳ３１）。閾値Ｔslは、例えば２５０画素程度とすることができる。
【００５９】
左胴体部のフレーム間差分特徴Ｆl（ｔ）が閾値Ｔsl以上である場合（ステップＳ３１；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３２）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、左胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ0、τ1については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。
【００６０】
続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ2より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３３）。閾値τ2は、例えば２０８ｍｓとすることができる。
【００６１】
持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ３３；Ｙｅｓ）、”left-side scratching”として判定し、変数ｑsl（ｔ）に１を設定する（ステップＳ３４）。すなわち、変数ｑsl（ｔ）は、次式のようになる。
【数２２】
この後、行動判別部１２は、処理を終了する。
【００６２】
一方、左胴体部のフレーム間差分特徴Ｆl（ｔ）が閾値Ｔsl以上でない場合（ステップＳ３１；Ｎｏ）、行動判別部１２は、右胴体部フレーム間差分特徴Ｆr（ｔ）が、閾値Ｔsrより小さいか否かを判定する（ステップＳ３５）。閾値Ｔsrは、例えば２５０画素程度とすることができる。
【００６３】
右胴体部のフレーム間差分特徴Ｆr（ｔ）が閾値Ｔsr以上である場合（ステップＳ３５；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３６）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、右胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ0、τ1については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。
【００６４】
続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ2より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３７）。閾値τ2は、例えば２０８ｍｓとすることができる。
【００６５】
持続時間ｄ”（ｔ）が閾値τ2より大きい場合（ステップＳ３７；Ｙｅｓ）、”right-side scratching”として判定し、変数ｑsr（ｔ）に１を設定する（ステップＳ３８）。すなわち、変数ｑsr（ｔ）は、次式のようになる。
【数２３】
この後、行動判別部１２は、処理を終了する。
【００６６】
右胴体部のフレーム間差分特徴Ｆr（ｔ）が閾値Ｔsr以上でない場合（ステップＳ３５；Ｎｏ）、行動判別部１２は、分類できない他の行動”ｏｔｈｅｒ ｂｅｈａｖｉｅｒ”を設定し（ステップＳ３９）、処理を終了する。
【００６７】
なお、時刻ｔ＝ｔ1〜ｔ2において判別された行動の持続時間Ｑi（ｔ1：ｔ2）（ｉ＝ｍｖ，ｒｅ，ｉｍ，ｈｇ，ｓｌ，ｓｒ）は、ｑi（ｔ）＝１である時間を積分することで次式を用いて算出される。
【数２４】
これにより、ある時間でのマウス３の行動が明らかになる。
【００６８】
以上詳細に説明したように、本実施形態によれば、マウス３の撮像画像から極座標変換されたマウス３の各部位の輪郭情報の変動に関する情報を得ることができるので、マウス３の行動をより詳細に定量化することができる。
【００６９】
また、本実施形態によれば、マウス３の重心を中心として極座標変換された輪郭情報に基づいてマウス３の動きを検出するので、撮像視野内のマウス３の位置に関らず、マウス３の行動を正確に定量化することができる。さらに、極座標は、マウス３の尾部の向き及び頭部の向きにより再定義されるので、マウス３の胴体部の屈曲や姿勢に左右されずに、マウス３の行動を正確に定量化することができる。
【００７０】
また、本実施形態によれば、各部位の動きの検出に先立って、マウス３の重心移動や、マウス３の姿勢の変化などを検出するので、マウス３の移動等に左右されずに、各部位の行動の検出が可能となる。
【００７１】
本実施形態に係る行動認識装置を用いれば、新薬開発、毒性実験など様々な医用用途において、疾病と密接に関係する各部位のモデル行動（例えば左肢による擦過運動）の解析により、マウス３の疾病の程度をｉｎ ｖｉｖｏレベルで定量化することができる。
【００７２】
なお、本発明では、マウス３を検出対象としたが、ラット、モルモットや他の実験動物（実験小動物）を検出対象としてもよい。
【００７３】
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【００７４】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【００７５】
また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【００７６】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【産業上の利用可能性】
【００７７】
本発明は、尾部及び頭部を有する実験動物の行動の分析に好適である。より具体的には、本発明によれば、実験動物に特化した形で、四肢の高速な繰り返し動作を含む擦過運動やグルーミングなどの複数の行動を同時に自動判別することができる。
【符号の説明】
【００７８】
１ 撮像部
２ 画像処理部
３ マウス
４ ケージ
１０ 輪郭情報取得部
１１ 変動情報算出部
１２ 行動判別部
１００ 行動認識装置
【特許請求の範囲】
【請求項１】
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
を備える行動認識装置。
【請求項２】
前記変動情報算出部は、
前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
ことを特徴とする請求項１に記載の行動認識装置。
【請求項３】
前記輪郭情報の変動に関する情報は、
今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分であるフレーム間特徴差分を含む、
ことを特徴とする請求項１又は２に記載の行動認識装置。
【請求項４】
前記行動判別部は、
前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
前記各部位が運動していると判別する、
ことを特徴とする請求項３に記載の行動認識装置。
【請求項５】
前記変動情報算出部は、
前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
前記撮像画像における前記実験動物の面積に関する第２の情報と、
前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
をさらに算出し、
前記行動判別部は、
前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の行動認識装置。
【請求項６】
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
を含む行動認識方法。
【請求項７】
コンピュータを、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
として機能させるプログラム。
【請求項１】
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
を備える行動認識装置。
【請求項２】
前記変動情報算出部は、
前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
ことを特徴とする請求項１に記載の行動認識装置。
【請求項３】
前記輪郭情報の変動に関する情報は、
今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分であるフレーム間特徴差分を含む、
ことを特徴とする請求項１又は２に記載の行動認識装置。
【請求項４】
前記行動判別部は、
前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
前記各部位が運動していると判別する、
ことを特徴とする請求項３に記載の行動認識装置。
【請求項５】
前記変動情報算出部は、
前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
前記撮像画像における前記実験動物の面積に関する第２の情報と、
前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
をさらに算出し、
前記行動判別部は、
前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の行動認識装置。
【請求項６】
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
を含む行動認識方法。
【請求項７】
コンピュータを、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９０２８０（Ｐ２０１２−１９０２８０Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３４８８（Ｐ２０１１−５３４８８）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（５０４１３６５６８）国立大学法人広島大学 (924)
【Ｆターム（参考）】
[ Back to top ]