薬剤計数装置およびその方法
【課題】薬包の印字に影響されることなく、正確に薬剤を計数可能な薬剤計数装置を提供する。
【解決手段】揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、２点間距離と、測地距離とを算出する距離算出部１０４と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部１０５と、節らしさ算出部１０５が算出した節らしさ特徴量に基づいて、薬包に封入された薬剤を計数する分離計数部１０７とを備える。
【解決手段】揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々がピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、２点間距離と、測地距離とを算出する距離算出部１０４と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部１０５と、節らしさ算出部１０５が算出した節らしさ特徴量に基づいて、薬包に封入された薬剤を計数する分離計数部１０７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体の領域を抽出し計数する技術に関する。特に薬剤（錠剤およびカプセル）のように複数の剛体が接触しながら移動する対象に対して、接触部位を関節とみなして検出し、剛体を分離することにより薬剤を計数する薬剤計数装置に関する。
【背景技術】
【０００２】
医療現場において、多種の薬剤を処方される患者の飲み忘れを防ぐため、一回の服用分を一つの袋（薬包）に封止し（まとめて）、患者に処方することが一般的になっている。封止される薬剤は、薬剤師の手によって封入されることもあるが、大変な手間であることから、近年特に大規模な医療施設においては薬剤自動封止装置により、大量の薬剤が自動封止されている。
【０００３】
薬剤自動封止装置は、薬剤師の手間を軽減すると同時に、計数ミス等のヒューマンエラーを防ぐという点で非常に有効である。一方で、薬剤自動封止の構造上の不具合による薬剤の誤封止が発生することがあり、問題となっている。多くの薬剤は小さく、外周が湾曲しているため取り扱いが難しく、薬剤を薬袋に放出するパイプにおける薬剤詰まりなどの事由に起因する誤封止が、未だ避けられない課題となっている。したがって、患者への誤投与を防ぐためには、自動封止後に再度、薬袋内の薬剤の計数確認を行ない、処方箋どおりに薬剤が正しく封止されたかどうかを確認する必要がある。
【０００４】
現在この確認作業は薬剤師によって行なわれている。多種多様の薬剤について、その数と種類を正確に判別するためには、薬剤師には高度の技術が必要とされ、薬剤封止を自動化したにも関わらず、薬剤師の負担は低減されていないのが現状である。そこで、薬剤師の負担を軽減するため、自動で薬剤の計数を行ない、薬剤数の誤りを確認できる装置が提案されている。薬剤師は、薬剤数が誤っている薬包のみ確認すればよいため、自動薬剤計数技術によれば、薬剤師の負担をかなり低減できることが期待できる。
【０００５】
従来、自動で薬剤計数を行なう技術としては、例えば特許文献１のように、薬袋に格納されるべき薬剤数を予め記憶しておき、薬袋をカメラで撮影した画像に対し、画像処理を施し薬剤（錠剤）を計数し、記憶しておいた薬剤数と比較するという手法が一般的であった。この方法では、薬剤の入った薬包（薬袋）を載せた台の上側に撮像装置を設置し、下側に光源を設置し、撮影画像から薬剤のシルエットを検出し、シルエットの面積に基づき薬剤数を求めている。
【０００６】
一方、特許文献２では、近赤外光を透過するようなインクで薬包に印字を行い、撮像装置にフィルタを設けることで、近赤外光を透過しない薬剤のみを検出し、計数する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特公平４−１７６６４号公報
【特許文献２】特許第４６５２４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般的には薬包には、患者名、薬剤を飲用する時間帯（朝／昼／夜、等）、および処方年月日などが印字される。このため、特許文献１のように薬剤の投影画像をシルエットとして検出した際には、それらの文字も薬剤の領域とみなされ、計数の妨げになるという課題がある。
【０００９】
また、特許文献２によると、近赤外光の透過率の制約を満たさない印字面を有する薬包については正しく計数できない。さらに、特許文献２では複数のカメラにより公知のステレオ法にて距離を求め、距離の差に基づき印字面のみを除去することも提案しているが、カメラを複数設置するためコストがかかる。また、ステレオ法においては基線長が長いほど正確な距離計測ができることが知られている。基線長を長くするとシステムが大きくなり、短い基線長では、精度が低下し計数の失敗に繋がるためシステム設計が困難である。
【００１０】
また、特許文献１および２では、ともに具体的にどのように画像に基づき薬剤を計数するのかが明らかにされていない。特に、サイズも形状も異なる薬剤が複数存在する場合や、複数の薬剤が隣接している場合などは、特許文献１または２で言及されている面積またはラベリングに基づく手法のみでは、例えば複数の小さな薬剤が隣接する場合などに、まとめてひとつの薬剤として誤計数される可能性がある。このため、正しく薬剤を計数することは困難である。
【００１１】
本発明は上記従来の課題に鑑みてなされたものであり、薬包の印字に影響されることなく、正確に薬剤を計数可能な薬剤計数装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明では、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の薬包中の薬剤を計数する。
【００１３】
本発明のある局面に係る薬剤計数装置は、薬包に封入された薬剤を計数する薬剤計数装置であって、揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部とを備える。
【００１４】
この構成によると、揺動部により揺動されている薬剤の動画像から節らしさ特徴量を算出し、節らしさ特徴量に基づいて薬剤を計数している。この節らしさ特徴量は、移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて算出される。このため、薬包の印字面のように静止している部分と、薬剤のように移動している部分とを明確に分離することができる。また、節らしさ特徴量から節の位置が分かるため、薬剤と薬剤とを節の位置で分離することができる。このため、薬包の印字に影響されることなく、正確に薬剤を計数することができる。
【００１５】
なお、本発明は、このような特徴的な処理部を備える薬剤計数装置として実現することができるだけでなく、薬剤計数装置に含まれる特徴的な処理部をステップとする薬剤計数方法として実現することができる。また、薬剤計数方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１６】
本発明によると、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、擬似関節位置を特定し異なる薬剤が接触している位置を求め、さらに異なる動きをする薬剤を別の薬剤と分類して計数することができる。このため、薬包の印字に影響されることなく、確実に薬剤を計数することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１における薬剤計数装置の構成を示す図
【図２Ａ】図１に示した薬剤計数装置にディスプレイを接続したシステム構成を示す図
【図２Ｂ】図１に示した薬剤計数装置にスピーカを接続したシステム構成を示す図
【図２Ｃ】図１に示した薬剤計数装置に薬剤数比較部および停止信号発生部を接続したシステム構成を示す図
【図３Ａ】図２Ａに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図３Ｂ】図２Ｂに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図３Ｃ】図２Ｃに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図４】薬剤計数装置の動作の手順を示すフローチャート
【図５】撮影状況、および撮影される薬包の画像の例を示す図
【図６Ａ】各薬剤上の動きベクトル情報の一例を示す図
【図６Ｂ】移動軌跡の一例を示す図
【図７Ａ】様々な剛体の動きに伴う移動軌跡の一例を示す図
【図７Ｂ】距離経路データに含まれる距離経路インデクスデータの一例を示す図
【図７Ｃ】距離経路データに含まれる移動軌跡リストデータの一例を示す図
【図８Ａ】ピクチャ上の複数の移動軌跡の一例を示す図
【図８Ｂ】移動軌跡のデータの分布およびユークリッド距離を示す図
【図８Ｃ】移動軌跡のデータの分布および測地距離を示す図
【図９Ａ】関節状動きを伴う２つの剛体の測地距離の時間変化を示す図
【図９Ｂ】関節状動きを伴う２つの剛体のユークリッド距離の時間変化を示す図
【図９Ｃ】１つの剛体の測地距離の時間変化を示す図
【図９Ｄ】１つの剛体のユークリッド距離の時間変化を示す図
【図９Ｅ】関節状動きを伴わない２つの剛体の測地距離の時間変化を示す図
【図９Ｆ】関節状動きを伴わない２つの剛体のユークリッド距離の時間変化を示す図
【図１０Ａ】測地距離の時間変化の値およびユークリッド距離の時間変化の値が分布している領域を示す図
【図１０Ｂ】測地距離の時間変化の値およびユークリッド距離の時間変化の値が分布している領域の別の例を示す図
【図１１Ａ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡が関節領域上）
【図１１Ｂ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡が同一剛体上）
【図１１Ｃ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡がアウトライアを含む場合）
【図１２Ａ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１２Ｂ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１２Ｃ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１３】擬似的に関節とみなせる点で接触している２つの薬剤の例を示す図
【図１４】本発明の実施の形態１の変形例における薬剤計数装置の構成を示す図
【図１５】本発明の実施の形態２における薬剤計数装置の構成を示す図
【図１６Ａ】画像入力部が入力として受け付けた画像の例を示す図
【図１６Ｂ】穴領域計数部で計数される２つの穴と、クラスタリング部で計数される３つの領域とを示す図
【図１７】本発明の実施の形態２における薬剤計数装置の別の構成を示す図
【発明を実施するための形態】
【００１８】
以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００１９】
本発明の一実施の形態に係る薬剤計数装置は、薬包に封入された薬剤を計数する薬剤計数装置であって、揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部とを備える。
【００２０】
この構成によると、揺動部により揺動されている薬剤の動画像から節らしさ特徴量を算出し、節らしさ特徴量に基づいて薬剤を計数している。この節らしさ特徴量は、移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて算出される。このため、薬包の印字面のように静止している部分と、薬剤のように移動している部分とを明確に分離することができる。また、節らしさ特徴量から節の位置が分かるため、薬剤と薬剤とを節の位置で分離することができる。このため、薬包の印字に影響されることなく、正確に薬剤を計数することができる。
【００２１】
好ましくは、前記計数部は、前記距離算出部で算出された測地距離の経路上に位置する移動軌跡の節らしさ特徴量が大きいほど測地距離が変換前と比べて大きくなるような変換を施し、変換後の測地距離に基づいて移動軌跡をクラスタリングすることにより、クラス数を薬剤の個数として薬剤を計数する。
【００２２】
この構成によると、異なる薬剤の接触部分を節とみなし、節を経由する測地距離を有する移動軌跡間については、距離が遠くなる変換を行うことができる。これにより、接触した異なる薬剤をより別のものとして計数し易くなるため、正確に薬剤を計数することができる。
【００２３】
具体的には、動きの類似度をあらわす移動軌跡間の距離を求めることにより、異なる動きをする薬剤同士を別の薬剤として、分離して計数する。
【００２４】
特に、薬剤のように複数の剛体が接触し、似た動きで移動する場合には、分離が困難になるため、接触した薬剤間には、それぞれが別の薬剤と分離されやすくなるような重みを移動軌跡の類似度にかけた上で、薬剤の計数を行なうことで、隣接した薬剤であっても同一の薬剤として誤計数されることを防ぐ。具体的には、薬剤の接触部位を、擬似的に関節とみなして検出し、移動軌跡間距離の重み付けをすることで、接触した薬剤が同一の薬剤として誤計数されることを防ぐ。擬似関節の位置は、移動軌跡間距離の時間変化に基づき求めることができるため、異なる薬剤が接触している位置を動きに基づき求めることができる。
【００２５】
なお、本明細書において、「関節状動き」とは、人の関節動きに代表されるような動きのことをさす。従来の薬剤計数手法では、このような関節状の動きを呈し、似た動きをする接触した薬剤は、同一の薬剤として誤って計数される場合が多い。
【００２６】
この構成によると、移動軌跡間の測地距離の時間変化と２点間距離の時間変化とに基づいて、同一の薬剤として誤計数されやすい接触する薬剤間において、接触部位を擬似関節として抽出することで、異なる薬剤として正しく計数することができる。
【００２７】
また、上述の薬剤計数装置は、さらに、前記動画像から、前記動画像に含まれる第１ピクチャにおける薬剤の領域と、複数の薬剤により形成される領域中の穴とを計数する穴領域計数部と、前記節らしさ特徴量に基づいて、前記第１ピクチャにおける節を計数する節計数部とを備え、前記計数部は、前記第１ピクチャにおける領域の個数、穴の個数および節の個数から、前記薬包に封入された薬剤を計数しても良い。
【００２８】
これらから、トポロジカルに薬剤を計数することができる。つまり、薬剤の大きさ等に依存せずに正確に薬剤を計数することができる。
【００２９】
また、上述の薬剤計数装置は、さらに、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する薬剤数比較部を備えても良い。
【００３０】
この構成によると、比較結果に基づいて、使用者である薬剤師は薬剤数が誤っている薬包を知ることができる。このため、薬剤師は、薬包全てを確認する必要なく、誤っている薬包に対してのみ対処を行なえばいいので、負担が軽減される。
【００３１】
また、上述の薬剤計数装置は、さらに、前記薬剤数比較部が、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置を停止させるための信号を発生する停止信号発生部を備えても良い。
【００３２】
好ましくは、前記節らしさ算出部は、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する特徴量算出部と、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、１つの薬剤を１つの剛体であるとみなした場合に、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡を含む領域同士が同一の節を介して接続されているほど、前記第１移動軌跡が節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出する関節特定部とを含む。
【００３３】
また、前記関節特定部は、さらに、算出した前記節らしさ特徴量から節領域を特定しても良い。
【００３４】
また、前記関節特定部は、前記ピクチャ上における、算出した前記節らしさ特徴量の極大値を節として特定しても良い。
【００３５】
また、前記関節特定部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡が含まれる領域が節領域か否かを判定しても良い。
【００３６】
この構成によると、全ての移動軌跡ペアについて処理を行って、節領域を求めることもできる。
【００３７】
また、前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定しても良い。
【００３８】
このようにすることで、効率よく関節の特定を行うことができる。
【００３９】
また、前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定しても良い。
【００４０】
このようにすることで、効率よく関節の特定を行うことができる。
【００４１】
また、前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和であっても良い。
【００４２】
複数フレームにわたる時間変化を用いるため、より確実に移動軌跡間距離の時間変化を捉えることができる。
【００４３】
また、前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和であっても良い。
【００４４】
複数フレームにわたる時間変化を用いるため、より確実に２点間距離の時間変化を捉えることができる。
【００４５】
また、前記特徴量算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出しても良い。
【００４６】
この構成によると、単純な式で関節らしさを表現することができる。なお、２点間距離の時間変化が０の場合、関節特徴量が無限大になることを防ぐためにエラー値を設定しておくとよい。
【００４７】
また、前記特徴量算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出しても良い。
【００４８】
実験などにより、あらかじめデータテーブルを作成しておくことで、より精度よく節領域を特定することができる。
【００４９】
また、前記特徴量算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出しても良い。
【００５０】
適切に測地距離閾値および２点間距離閾値を設定することにより、簡易に関節特徴量を算出することができる。
【００５１】
また、前記特徴量算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出しても良い。
【００５２】
同一剛体特徴量を用いることにより、関節を正確に特定することができる。
【００５３】
なお、本実施の形態に係る薬剤計数装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする薬剤計数方法として実現したり、薬剤計数方法を、コンピュータ上のプログラムによって実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。
【００５４】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
【００５５】
図１は、実施の形態１における薬剤計数装置の構成を示す図である。図１に示すように、薬剤計数装置１００は、画像入力部１０１と、移動軌跡算出部１０２と、薬剤計数部１０３とを備える。
【００５６】
薬剤計数装置１００は、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡に基づき、画像中の薬剤を計数する、薬剤計数装置である。
【００５７】
本実施の形態では、薬剤計数装置１００は、カメラ１２０で撮影した動画像を入力として受け、薬包中の薬剤同士が接触して動く部分を関節（節）とみなし（擬似関節）、各移動軌跡間の類似度を表す距離に基づいて画像中の当該擬似関節位置を求める。また、動きが異なる、或いは動きが類似していても、擬似関節で接触するような薬剤をより別の薬剤にするような距離変換を施すことで、正しく薬剤を計数する。なお本明細書中では、ピクチャのことを画像ともいう。
【００５８】
画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、画像入力部１０１は、カメラ１２０であってもよいし、カメラ１２０と接続された通信インタフェース等であってもよい。なお、画像入力部１０１は、記憶装置に記憶されている動画像を読み出すインタフェースであっても良い。図１には、カメラ１２０と接続された通信インタフェースとしての画像入力部１０１を示している。
【００５９】
移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００６０】
薬剤計数部１０３は、移動軌跡算出部１０２で求められた移動軌跡をもとに、移動軌跡間距離（２点間距離または測地距離）の時間変化に基づいて、擬似関節である薬剤接触領域に基づき薬剤計数する処理部である。薬剤計数部１０３は、距離算出部１０４、節らしさ算出部１０５、および分離計数部１０７を備える。
【００６１】
距離算出部１０４は、移動軌跡間の類似度を表す距離を算出する処理部である。つまり、距離算出部１０４は、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、第１の移動軌跡および第２の移動軌跡以外の移動軌跡を中継点として第１の移動軌跡から第２の移動軌跡にたどりつく経路の距離である測地距離とを算出し、算出した２種類の距離を節らしさ算出部１０５へ出力する。また、各移動軌跡ペア（全ての第１の移動軌跡および第２の移動軌跡のペア）について、前述の２種類の距離、および測地距離の経路として経由する移動軌跡のインデクスを、それぞれ距離経路データ１０６として分離計数部へ出力する。
【００６２】
本実施の形態では、距離算出部１０４は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点であるＮ個の移動軌跡を抽出し、抽出した移動軌跡より、移動軌跡間の類似度を表す２点間距離および測地距離を算出する。
【００６３】
なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。
【００６４】
また、本明細書において「２点間距離」および「測地距離」の２種類の距離を定義しているが、「２点間距離」は２つのデータ間のみから求められる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。
【００６５】
なお、本明細書における「２点間距離」は、移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離であり、必ずしも線形距離である必要はない。「２点間距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０４の説明の部分にて後述する。
【００６６】
節らしさ算出部１０５は、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合い（節の移動軌跡らしさ）を示す節らしさ特徴量を算出する。節らしさ算出部１０５は、特徴量算出部１０８および関節特定部１０９を備える。
【００６７】
特徴量算出部１０８は、距離算出部１０４で算出された測地距離、ユークリッド距離のそれぞれについて、距離の時間変化を求め、求めた距離の時間変化に基づき、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する。つまり、特徴量算出部１０８は、任意の２つの移動軌跡間のユークリッド距離の時間変化および測地距離の時間変化に基づいて、２つの移動軌跡が同一の関節により接続された関節状動きを行う移動軌跡でありそうな度合い（関節特徴量）を算出し、後段に出力する。
【００６８】
関節特定部１０９は、移動軌跡間の関節特徴量に基づいて、同一の剛体に属する移動軌跡を特定し、特定した剛体の情報に基づいて、節らしさ特徴量を算出し、関節（節、節領域）の位置を特定する。
【００６９】
分離計数部１０７は、節らしさ算出部１０５が算出した節らしさ特徴量に基づいて、薬包に封入された薬剤を計数する。分離計数部１０７は、距離変換部１１０およびクラスタリング部１１１を備える。
【００７０】
距離変換部１１０は、距離経路データ１０６より各移動軌跡間距離、および測地距離の経路上の移動軌跡を読み出し、関節特定部１０９の処理で求められた各経路上の移動軌跡の節らしさ特徴量に応じて、各移動軌跡間距離を変換する。すなわち、接触した異なる薬剤を関節とみなし、関節を経由する距離を有する移動軌跡間については、より移動軌跡間距離が遠くなるような変換を行うことで、接触した異なる薬剤をより別のものとして計数されやすくする処理を行う。
【００７１】
クラスタリング部１１１は、距離変換部１１０によって距離変換された移動軌跡間距離に対し、類似した移動軌跡を一つの領域と分類するクラスタリング処理を行い、クラス数を薬剤数として出力する。
【００７２】
本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
【００７３】
図２Ａは、図１に示した薬剤計数装置１００にディスプレイ１３０を接続したシステム構成を示す図である。このシステムでは、薬剤計数部１０３が計数した薬剤数をディスプレイ１３０に表示する。
【００７４】
図２Ｂは、図１に示した薬剤計数装置１００にスピーカ１３５を接続したシステム構成を示す図である。このシステムでは、薬剤計数部１０３が計数した薬剤数をスピーカ１３５が音声で出力する。
【００７５】
図２Ｃは、図１に示した薬剤計数装置１００に薬剤数比較部１１４および停止信号発生部１４０を接続したシステム構成を示す図である。薬剤数比較部１１４は、薬剤計数部１０３により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する。停止信号発生部１４０は、薬剤数比較部１１４が、薬剤計数部１０３により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置１００を停止させるための信号を発生する。
【００７６】
なお、薬剤計数装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、薬剤計数部１０３）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図３Ａは、コンピュータによって構成された本実施の形態における薬剤計数装置のハードウェア構成を示す図である。図３Ａは、図２Ａに示したシステムに含まれる薬剤計数装置１００のコンピュータによるハードウェア構成を示す。図３Ａにおいて、カメラ１２０は薬包のピクチャを撮影して出力し、コンピュータ２００は、カメラ１２０からピクチャを取得して薬剤計数処理を行った結果をディスプレイ１３０上に表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４にロードされる。ＣＰＵ２０２はＲＡＭ２０４にロードされたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１２０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１３０がそのピクチャを表示する。
【００７７】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４にロードされてもよい。
【００７８】
図３Ｂおよび図３Ｃは、図２Ｂおよび図２Ｃに示したシステムに含まれる薬剤計数装置１００のコンピュータによるハードウェア構成を示す。各システムの薬剤計数装置１００のハードウェア構成は、図３Ａに示したものと同一である。このため、その詳細な説明はここでは繰り返さない。
【００７９】
以下、本実施の形態における薬剤計数装置１００の動作を、図４を用いて説明する。
【００８０】
図４は、本実施の形態における薬剤計数装置１００の動作を表すフローチャートである。
【００８１】
図４において、ステップＳ３０１〜Ｓ３１１は、それぞれ図１の各処理部１０１〜１１１に対応している。すなわち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、薬剤計数部１０３では薬剤計数ステップＳ３０３の各動作を実行する。また、薬剤計数ステップＳ３０３は、距離算出ステップＳ３０４、節らしさ算出ステップＳ３０５、分離計数ステップＳ３０７の４つのステップを含む。距離算出部１０４では距離算出ステップＳ３０４、節らしさ算出部１０５では節らしさ算出ステップＳ３０５、分離計数部１０７では分離計数ステップＳ３０７、の各動作を実行する。また、節らしさ算出ステップＳ３０５は、特徴量算出ステップＳ３０８、関節特定ステップＳ３０９の２つのステップを含む。特徴量算出部１０８では特徴量算出ステップＳ３０８、関節特定部１０９では関節特定ステップＳ３０９の各動作を実行する。また、分離計数ステップＳ３０７は、距離変換ステップＳ３１０、クラスタリングステップＳ３１１の２つのステップを含む。距離変換部１１０では距離変換ステップＳ３１０、クラスタリング部１１１ではクラスタリングステップＳ３１１の各動作を実行する。
【００８２】
最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１２０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１２０から取得される動画像は３０フレーム／秒の動画像である。
【００８３】
図５は、撮影状況、および撮影される薬包の画像の一例を示す図である。薬剤計数装置１００は、薬包内に薬剤を封止する薬剤封止システムに設置されている。薬包を複数連ねた薬包シートを送り出すベルトコンベア４００上部などにカメラ１２０が設置される。薬剤計数装置１００は、カメラ１２０により取得した移動する薬包の動画像に対して薬剤計数処理を行う。また、ベルトコンベア４００の下部や横部等には揺動機構１１２０が設置され、タイミング制御部１１２からカメラ撮影タイミングに依存する形で、ベルトコンベア４００の揺動タイミングが指示される。指示に従い揺動機構１１２０は、ベルトコンベア４００を振動させることにより、カメラ１２０の撮像対象となっている薬包に封入された薬剤を揺動させる。
【００８４】
揺動機構１１２０は、ベルトコンベア４００を実際に揺らすための物理的な機構であり、一般的にはモータおよび電気回路等により構成される。
【００８５】
カメラ１２０は、揺動機構１１２０によって揺動されている薬包に封入された薬剤を撮像することにより動画像を撮像する。図５にカメラ１２０により撮像された動画像に含まれるピクチャ１２１の一例を示す。ピクチャ１２１にも示されるように、薬包に封止される薬剤の種類は多種多様である。また、背景やビニール上の印字も複雑なため薬剤との分別が困難であることがわかる。
【００８６】
次に、移動軌跡算出ステップＳ３０２は、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力として受け、ピクチャ間の対応点を検出して、移動軌跡を生成して出力する。複数のピクチャ間の対応点を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。
【００８７】
以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。
【００８８】
例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に入力された２枚のピクチャを用いて、画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力された２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。
【００８９】
上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。
【００９０】
これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求められる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
【００９１】
【非特許文献１】Ｐ．Ａｎａｎｄａｎ，“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９
【非特許文献２】Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， “Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１
【００９２】
さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。
【００９３】
さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。
【００９４】
さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
【００９５】
【非特許文献３】Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ “Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ”， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４
【００９６】
上記手法では、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡｔｉを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘｔｉとｘｔ＋１ｉは式１に示す関係がある。
【００９７】
【数１】
【００９８】
上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。
【００９９】
そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６Ａに示すように、移動軌跡算出部１０２は、各薬剤５０３ａ〜５０３ｃ上の画素の動きを追跡し、各画素の対応点を求める。各画素の対応点を求めることにより、各薬剤上の動きベクトル情報５０２ａ〜５０２ｃを求める。
【０１００】
つまり、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、時刻ｔにおける画素ｉの対応点の画素座標値（ｘｔｉ，ｙｔｉ）とから、式２のように移動軌跡ｘｉを算出する。図６Ｂは、求められた移動軌跡の一例を示す図である。図６Ｂでは、ｔ＝１〜４の４枚のピクチャを示している。例えば、ｔ＝１のピクチャの座標（ａｘ１，ａｙ１）に位置する輝度値ａＣ１の点ａが、ｔ＝２のピクチャの座標（ａｘ２，ａｙ２）の点に対応し、その点の輝度値はａＣ２であることが分かる。
【０１０１】
【数２】
【０１０２】
本実施の形態において、移動軌跡ｘｉは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。
【０１０３】
移動軌跡算出部１０２に入力された動画像は、複数枚のピクチャで構成される。このとき移動軌跡は、１フレームのある画素にそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡は、各ピクチャのピクチャ座標値を要素とするベクトルで表される。
【０１０４】
なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【０１０５】
距離算出ステップＳ３０４は、距離算出部１０４によって実行される。距離算出部１０４は、移動軌跡算出部１０２が算出した複数の移動軌跡ｘｉを用いて、移動軌跡間の類似性を表す距離を算出する。また、距離算出部１０４は、算出したそれぞれの移動軌跡間距離、さらに、移動軌跡間測地距離が辿る経路上の移動軌跡の情報を、距離経路データ１０６として距離変換部１１０へ出力する。
【０１０６】
以下、距離算出部１０４における処理について説明する。
【０１０７】
距離算出部１０４は、画素ｉの移動軌跡と画素ｊの移動軌跡との間のユークリッド距離ｆ（ｉ，ｊ）および測地距離ｇ（ｉ，ｊ）を段階的に算出する。ここで、ユークリッド距離、測地距離はともに、移動軌跡の類似性を表す距離であるため、全く等しい移動軌跡間ではどちらも０となり、逆に移動軌跡間の類似性が低いほど、正のより大きな距離値（∞含む）をとるような距離である。
【０１０８】
距離算出部１０４は、式３により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。
【０１０９】
【数３】
【０１１０】
ここで式３によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘｉの間でのみとなる。
【０１１１】
なお、本実施の形態におけるユークリッド距離は、式３によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、式３と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の式４を用いてもよい。
【０１１２】
【数４】
【０１１３】
式４において、ｗは重み係数であり、設計者が設定するパラメータである。上記式４の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。
【０１１４】
以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦｄｉｓｔとして表す。
【０１１５】
【数５】
【０１１６】
続いて、距離算出部１０４は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。
【０１１７】
以降、距離算出部１０４において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。
【０１１８】
まず、距離算出部１０４は、算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、式６で示される非線形化された距離ｆ´（ｉ，ｊ）を算出する。
【０１１９】
【数６】
【０１２０】
次に、距離算出部１０４は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、および接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。
【０１２１】
したがって、距離算出部１０４は、第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊに辿りつく全ての経路のうちの最短の経路を、測地距離として算出する。
【０１２２】
例えば、移動軌跡ｘｉと移動軌跡ｘｊの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘｓを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式７）。
【０１２３】
【数７】
【０１２４】
式７において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘｓであり、移動軌跡ｘｉから移動軌跡ｘｊに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。
【０１２５】
上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献４のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
【０１２６】
【非特許文献４】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【０１２７】
上記した手順により、距離算出部１０４は、長時間継続する移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。
【０１２８】
また、算出した測地距離ｇ（ｉ，ｊ）は、最短経路を通った際の距離である。したがって、ある測地距離に対応する最短経路上の中継点ｓが、各移動軌跡間に対し１パターン求められる（中継点が存在しない場合も含む。）。距離算出部１０４は、各測地距離に対する中継点のインデクスを、距離経路データ１０６として分離計数部１０７へ渡す。
【０１２９】
図７Ａに様々な剛体の動きに伴う移動軌跡の一例を示し、図７Ｂおよび図７Ｃに距離経路データ１０６の一例を示す。図７Ａのように、４フレームにわたる対応点の組が４つ存在するとする。図７Ａでは、ｔ＝ｔ１〜ｔ４の４枚のピクチャを示している。例えば、ｔ＝ｔ１のピクチャの座標（ｘ１ｔ１，ｙ１ｔ１）の点は、移動軌跡を辿ることにより、ｔ＝ｔ４のピクチャの座標（ｘ１ｔ４，ｙ１ｔ４）の点に対応していることが分かる。ここで、（ｘｊｔｉ，ｙｊｔｉ）は、ｔ＝ｔｉのフレームにおけるｊ番目（ｉｎｄｅｘ＝ｊ）の移動軌跡の点を示している。
【０１３０】
また、距離経路データ１０６は、ある２つのインデクスに対応する移動軌跡間の移動軌跡間距離および中継点のインデクス番号を含む。具体的には、距離経路データ１０６は、図７Ｂに示す距離経路インデクスデータ１０６ａと、図７Ｃに示す各移動軌跡インデクスが対応する移動軌跡の座標を保持する移動軌跡リストデータ１０６ｂとを含む。
【０１３１】
図７Ｂに示す距離経路インデクスデータ１０６ａは、軌跡長と、軌跡数と、移動軌跡のペア毎の移動軌跡間距離と中継点のインデクス番号とを含む。軌跡長は動画像に含まれる移動軌跡の長さ（フレーム数）を示し、図７Ａの例では４である。また、軌跡数は動画像に含まれる移動軌跡の数を示し、図７Ａの例では４である。また、例えば、１番目の移動軌跡と４番目の移動軌跡との間の移動軌跡間距離は、３．７であり、１番目の移動軌跡と４番目の移動軌跡との間に中継点として３番目の移動軌跡が存在することが示されている。
【０１３２】
図７Ｃに示す移動軌跡リストデータ１０６ｂは、軌跡長と、軌跡数と、移動軌跡とを含む。軌跡長および軌跡数は、図７Ｂに示したものと同じである。また、移動軌跡には、移動軌跡インデクス毎の移動軌跡の座標が示されている。例えば、１番目の移動軌跡として、図７Ｃでは「ｘ１ｔ１ ｙ１ｔ１ ｘ１ｔ２ ｙ１ｔ２ ｘ１ｔ３ ｙ１ｔ３ ｘ１ｔ４ ｙ１ｔ４」と示されている。これは、１番目のフレームの座標（ｘ１ｔ１，ｙ１ｔ１）の点、２番目のフレームの座標（ｘ１ｔ２，ｙ１ｔ２）の点、３番目のフレームの座標（ｘ１ｔ３，ｙ１ｔ３）の点、４番目のフレームの座標（ｘ１ｔ４，ｙ１ｔ４）の点を繋げたものが１番目の移動軌跡であることを示す。
【０１３３】
距離経路インデクスデータ１０６ａおよび移動軌跡リストデータ１０６ｂは、それぞれ別のデータとして分離計数部１０７に受け渡されてもいいし、一つのデータとしてまとめて（例えば、１つ目の距離経路データの後ろに２つ目の距離経路データが格納されている形式等で）受け渡されてもよい。また、距離経路データ１０６の形式は例に挙げた距離経路インデクスデータ１０６ａと、移動軌跡リストデータ１０６ｂに限るものではなく、各移動軌跡間の距離を保持すると同時に、測地距離に対応する中継点の移動軌跡を特定できるものであればよい。また、分かりやすさのために、距離経路インデクスデータ１０６ａの例には移動軌跡間距離として測地距離を格納しているが、もちろん２点間の類似度を表す距離であれば測地距離に限らない。
【０１３４】
なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、および２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。
【０１３５】
算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧｄｉｓｔとして表す（式８）。
【０１３６】
【数８】
【０１３７】
以上の手順によって、距離算出部１０４は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧｄｉｓｔとして出力する。
【０１３８】
上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図８Ａ〜図８Ｃの概念図を用いて説明する。
【０１３９】
図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、ここでは背景領域の移動軌跡を図示しないものとする。
【０１４０】
図８Ｂは、各々が式２で示される複数の移動軌跡のデータの分布を示した図である。図８Ｂ中の「×」印の各データ点は、式２で示した画素ｉの移動軌跡ｘｉに相当する。移動軌跡ｘｉは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図８Ｂでは表記の都合上、３次元空間の点として表している。
【０１４１】
図８Ｂ中の矢印６０１は、式３で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離６０１は、データ間を直接結んだ距離になる。
【０１４２】
一方、図８Ｃ中の矢印６０２は、式７で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間の測地距離ｇ（ｉ，ｊ）を表す。図８Ｃに示すように、データ点ｉとデータ点ｊとの測地距離６０２は、中継のデータ点ｓを辿った距離となる。
【０１４３】
移動軌跡間のユークリッド距離は、他の移動軌跡の分布をまったく反映していない。このため、関節で繋がった剛体間において、移動軌跡間の距離は、関節の位置や形状を直接は表さずに変動する。これに対して、測地距離は他の移動軌跡を反映した距離となっている。すなわち関節で繋がった剛体間においては、移動軌跡間の距離は、剛体上と変わらず一定の値をとる。つまり、関節における繋がりがあるかどうかは、これら２種類の距離の変動にあらわれる。
【０１４４】
なお、距離算出部１０４において、ユークリッド距離から測地距離を求める手法として、式６および式７を用いる手法を示したが、測地距離の算出方法をこれに限定するものではない。
【０１４５】
例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える式６の処理の代わりに、ある移動軌跡ｘｉと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。
【０１４６】
また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。
【０１４７】
次に、節らしさ算出ステップＳ３０５は、節らしさ算出部１０５によって実行される。節らしさ算出部１０５は、図１の構成図に示すとおり、特徴量算出部１０８と関節特定部１０９とを含み、特徴量算出部１０８では、移動軌跡間の関節らしさを表す関節特徴量を算出し、関節特定部１０９は、特徴量算出部１０８で算出された各移動軌跡ペアの関節特徴量に基づいて、移動軌跡の節らしさ特徴量を算出する。
【０１４８】
具体的には、特徴量算出ステップＳ３０８において、特徴量算出部１０８は、まず距離算出部１０４で算出された測地距離、ユークリッド距離を元に、移動軌跡間でのユークリッド距離の時間変化、および測地距離の時間変化をそれぞれ算出する。続いて、算出したユークリッド距離の時間変化、および測地距離の時間変化に基づいて、移動軌跡ペア間の関節らしさを表す関節特徴量ｊｒ、および、前記移動軌跡ペア間の関節特徴量ｊｒから求めることのできる前記移動軌跡ペア間の同一剛体らしさを表す同一剛体特徴量ｒｒを求める。
【０１４９】
関節特定ステップＳ３０９において、関節特定部１０９は、移動軌跡ペア間の関節特徴量ｊｒおよび、前記移動軌跡ペア間の関節特徴量ｊｒから求めることのできる同一剛体特徴量ｒｒを利用して、各移動軌跡の節らしさ特徴量Ｘｊｎｔを算出する。
【０１５０】
まず、特徴量算出部１０８において移動軌跡間の「関節らしさ」（各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合い）を表す関節特徴量を算出する方法について説明する。
【０１５１】
はじめに、関節状動きを有する剛体領域上に存在する移動軌跡間距離が特徴的に有する性質について述べ、そのあと、特徴量算出部１０８で実行される処理について説明する。
【０１５２】
ここで、第１の移動軌跡と、別の第２の移動軌跡との間で求められる距離を、移動軌跡間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
【０１５３】
図９Ａ〜図９Ｆは、様々な剛体の動きに伴う、移動軌跡ｘｉ、ｘｊ間の測地距離ｇ（ｘｉ，ｘｊ）、およびユークリッド距離ｆ（ｘｉ，ｘｊ）の時間変化について示した図である。図９Ａおよび図９Ｂは、関節状動きに伴う移動軌跡間距離の時間変化（時刻ｔ＝Ｔから時刻ｔ＝Ｔ＋δへの移動軌跡間距離の変化）を、図９Ｃ〜図９Ｆは、関節状動きではない動きに伴う移動軌跡間距離の時間変化（時刻ｔ＝Ｔから時刻ｔ＝Ｔ＋δへの移動軌跡間距離の変化）を示している。
【０１５４】
なお、図９Ａ〜図９Ｆでは、説明のために、点群（移動軌跡の集まり）について、二つの区別された領域上に示しているが、実際はクラスタリングなどを一切行っておらず、これらの点群がどの領域に属するかといった前処理としての区別は、特徴量算出部１０８でも、特徴量算出部１０８より前の処理部でも行っていない。すなわち、実際は２点間の、ペアワイズな処理のみを行うものとする。これにより、関節で接続された移動体の領域抽出を行うことなく、関節の位置を特定することができる。
【０１５５】
図９Ａおよび図９Ｂにはそれぞれ、２つの移動軌跡ｘｉ、ｘｊが、関節状動きを伴う剛体上にそれぞれ存在する場合の例を示す。それぞれ、移動軌跡間の測地距離およびユークリッド距離の時間変化を分かりやすく示すために、矢印で移動軌跡間距離（移動軌跡間の測地距離およびユークリッド距離）を示している。矢印は、以下の図９Ｃ〜図９Ｆについても同様に移動軌跡間距離を示すものとする。
【０１５６】
一方、図９Ｃおよび図９Ｄにはそれぞれ、２つの移動軌跡ｘｉ、ｘｊが、同一の剛体上にそれぞれ存在する場合の例を示す。見易さのために、２つの移動軌跡ｘｉ、ｘｊが存在する領域をそれぞれ異なるハッチングで示しているが、時刻ｔ＝Ｔと、時刻ｔ＝Ｔ＋δにおける領域全体の形状は変化していない。すなわち、同じハッチングで示された領域のみならず異なるハッチングで示された領域は同一の剛体に属するものであり、移動軌跡ｘｉ、ｘｊが、同一の剛体上で、剛体動きをしている例を示している。
【０１５７】
さらに、図９Ｅおよび図９Ｆでは、移動軌跡ｘｉ、ｘｊが同一の剛体上になく、また、関節状動きを伴う２剛体上の２点でもない、すなわち図９Ａ〜図９Ｄいずれの例にも属さない場合の、移動軌跡間距離の時間変化の一例を示す。すなわち移動軌跡ｘｉ、ｘｊが異なる移動体に属し、さらに、これらの移動軌跡ｘｉ、ｘｊを含む剛体領域が関節状動きを伴わない例を示している。
【０１５８】
ここで、まず移動軌跡間の測地距離（図９Ａおよび図９Ｃおよび図９Ｅ）に着目する。移動軌跡ｘｉ、ｘｊを含む剛体が図９Ａのように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘｉ、ｘｊ間の測地距離は、ほとんど変化しない。測地距離は、移動軌跡ｘｉ、ｘｊと異なる移動軌跡を経由して移動軌跡を「たどる」距離であるため、ある小領域を支点とする回転動きである関節状動きを有する２領域間では、支点の小領域を経由して移動軌跡を「たどる」距離である測地距離は不変となる。したがって、図９Ａの移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化はほぼ一定（ゼロに近い）となる。移動軌跡ｘｉ、ｘｊが図９Ｃのように同一剛体上に存在する場合、移動軌跡ｘｉ、ｘｊ間の移動軌跡を「たどる」最短経路である測地距離は常に一定であり、明らかに移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化はゼロとなる。
【０１５９】
以上の２ケースにあてはまらない場合、図９Ｅに示した例のように、移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化がゼロとならない場合がほとんどである。以上より、移動軌跡ｘｉ、ｘｊを含む剛体が図９Ａのように関節状領域を構成する条件として、移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化がほぼ一定（ゼロに近い）となる必要がある。
【０１６０】
次に、移動軌跡間のユークリッド距離（図９Ｂおよび図９Ｄおよび図９Ｆ）に着目する。移動軌跡ｘｉ、ｘｊを含む剛体が図９Ｂのように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘｉ、ｘｊ間のユークリッド距離は、測地距離と異なり、時間に伴い変化する。特に、関節の動きが大きい場合や、関節状領域の節側よりは末端（節から離れる）の方で大きな変化を伴うことは、図からも容易に理解できる。移動軌跡ｘｉ、ｘｊが図９Ｄのように同一剛体上に存在する場合、移動軌跡ｘｉ、ｘｊ間のユークリッド距離は、測地距離同様常に一定であり、明らかに移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化はゼロとなる。
【０１６１】
以上の２ケースにあてはまらない図９Ｆの場合、図９Ｆに示した例のように、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化は不定であるが、ゼロではない場合がほとんどである。以上より、移動軌跡ｘｉ、ｘｊを含む剛体が図９Ｂのように関節を構成する条件として、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化がゼロではないことが挙げられる。特に、関節の動きが大きいほど、また移動軌跡がそれぞれ関節の節から離れた位置に存在するほど、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化がより大きな値をとるといえる。
【０１６２】
したがって、２つの移動軌跡が関節を構成する剛体上にそれぞれ存在する条件として、測地距離の時間変化、およびユークリッド距離の時間変化に関する以下の２つの条件が挙げられる。すなわち、「移動軌跡間のユークリッド距離ｆの時間変化ｆｔが、より大きく」、かつ「移動軌跡間の測地距離ｇの時間変化ｇｔが、より小さい（ゼロに近い）」ような移動軌跡のペアは、より関節らしいペア（それぞれが関節を構成する剛体上にある移動軌跡らしいペア）と定義することができる。
【０１６３】
本明細書において、「関節状動き」とは、それぞれが関節を構成する剛体上にある移動軌跡ペアがなす動きである。ここでは図９Ａのような例を典型的な関節状動きの例として説明したが、もちろん前述のような動きであれば、図９Ａの例に限らない。
【０１６４】
本明細書ではある移動軌跡ペアの動きが、どれくらい「関節状動き」らしいかを「関節らしさ」と定義し、その「関節らしさ」を表す関節特徴量を特徴量算出部１０８で算出して用いる。
【０１６５】
ここまでに挙げた、３パターンの移動軌跡間の関係について、移動軌跡間の距離の時間変化と、移動軌跡を含む剛体がそれぞれどのような関係にあるかを、図１０Ａに示す。
【０１６６】
すなわち、移動軌跡ｘｉ、ｘｊが、図９Ｃおよび図９Ｄのように同一剛体上にある場合、移動軌跡間の測地距離の時間変化ｇｔ、ユークリッド距離の時間変化ｆｔはともに０である。このパターンを、図１０Ａ上では「同一剛体」と示す。
【０１６７】
また、図９Ａおよび図９Ｂのように、互いに関節状の動きをなす異なる剛体上に存在する場合、ユークリッド距離の時間変化ｆｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇｔがより０に近づくほど、より関節らしくなる。図１０Ａで「関節状動き」と示しているパターンである。つまり、ユークリッド距離の時間変化ｆｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇｔがより０に近づくほど、より「関節らしさ」は高い（つまり、関節らしい）。
【０１６８】
最後に、以上の２パターンにあてはまらない残りの場合については、「その他（非・関節状動き）」と図１０Ａに示している。
【０１６９】
以上を踏まえ、以下で特徴量算出部１０８の処理を説明する。
【０１７０】
まず、特徴量算出部１０８は、それぞれ、指定した処理対象のフレームセットｔ０〜Ｔにわたって対応のとれている移動軌跡について、移動軌跡間測地距離ｇの時間変化ｇｔ、ユークリッド距離ｆの時間変化ｆｔを算出する。具体的には、以下の式９および式１０にしたがって、測地距離ｇおよびユークリッド距離ｆを、それぞれ与えた分割単位ｄｔで微分した値の絶対値を、１連の処理を行うフレームセットｔ０〜Ｔにわたって移動軌跡ごとに加算した値として算出する。
【０１７１】
絶対値として求める理由は、関節動きであるかどうかは距離の時間変化の大きさに依るものであり、距離が時間に伴い増加するか減少するか、すなわち微分値の向きは関与しないからである。
【０１７２】
【数９】
【数１０】
【０１７３】
なお、特徴量算出部１０８における測地距離ｇの時間変化ｇｔ、ユークリッド距離ｆの時間変化ｆｔの求め方については、式９および式１０に限るものではない。微分に類する方法であるが、最も単純な方法としては、ある定めた時間間隔で測地距離ｇ、ユークリッド距離ｆの差分をそれぞれ求めて、その絶対値の和を用いてもよい。特に、２フレーム間での処理であれば、１フレーム目と２フレーム目にそれぞれ対応する移動軌跡間距離の差分の絶対値として求めることができる。また、絶対値の代わりに微分値を２乗した値を用いるなどしてもよい。
【０１７４】
また、処理に利用するフレームセットが、関節動き（閉⇒開⇒閉）の半周期に満たず、ユークリッド距離ｆが単純増加しかしないことがあらかじめ分かっている場合には、式９および式１０の代わりに、以下の式１１および式１２を用いてもよい。すなわち、場合によっては絶対値を必ずここで用いる必要もない。また、逆にユークリッド距離ｆが単純減少しかしないことがあらかじめわかっている場合にも、式１１および式１２に従って絶対値を使わずにｇｔ、ｆｔを求めたうえで、最後に絶対値を計算してもよい。
【０１７５】
【数１１】
【数１２】
【０１７６】
続いて、特徴量算出部１０８で移動軌跡ペア間の関節らしさを表す関節特徴量ｊｒ（ｉ，ｊ）を算出する手順について述べる。
【０１７７】
図１０Ｂに移動軌跡ペア間の関節関係（剛体／関節／その他）と、ｆｔおよびｇｔの関係の別の例を示す。図１０Ａにおける説明は、対応点の誤差がない場合に成り立つが、通常は誤差が存在するため、移動軌跡間の距離の時間変化の関係は、図１０Ｂのようになることが多い。そこで、ここでは、ノイズや拡大縮小がある場合を考え、図１０Ｂに基づく計算を行なうが、もちろん状況に応じて、図１０Ａの関係を利用してもかまわない。
【０１７８】
ここで、ｇｔ＞ｆｔとなる移動軌跡ペアについては、同一剛体上の２点でも、関節動きをする２点でもない場合が経験上ほとんどであるため、予めアウトライアとしておいて問題ない。実際には、ある程度のマージンを定めた上で、アウトライアの条件を設定する。詳細は後述する。
【０１７９】
なお、図１０Ｂでは、「２移動軌跡が同一剛体上」という条件について、理想的な状況下ではｇｔ＝ｆｔ＝０とできる。本実施の形態においては、ｇｔ＝ｆｔという条件（ｇｔおよびｆｔが直線Ｌｆｇに存在するという条件）にまで値域を拡張する。というのも、ある剛体が拡大縮小した場合や、対応点に微小な誤差が乗った場合、ｆｔは必ずしも０にはならない。ただし、この場合も同一剛体上の２点間の測地距離を算出する経路（移動軌跡を「たどる」距離を算出するために「たどる」経路）は、時間不変である。したがって、ユークリッド距離ｆの変動に合わせて測地距離ｇも変化するため、距離の時間変化についてもｆｔ＝ｇｔといえる。
【０１８０】
以上により、実施の形態１より広義の剛体関係を表す条件としてここではｆｔ＝ｇｔ（ｇｔおよびｆｔが直線Ｌｆｇに存在するという条件）を適用する。
【０１８１】
本実施の形態では、節らしさ特徴量の算出に、連続した関節特徴量の値を利用するため、２つの移動軌跡が同一剛体らしいほど大きな値をとる同一剛体特徴量ｒｒを定義し、測地距離の時間変化ｇｔ、ユークリッド距離の時間変化ｆｔより算出する。２つの移動軌跡が同一剛体らしいとは、２つの移動軌跡が同一剛体に含まれる程度が高いことを言う。
【０１８２】
同一剛体特徴量ｒｒは、ｆｔ−ｇｔグラフ上に移動軌跡ペアのｆｔ、ｇｔをプロットした際の、ｆｔ＝ｇｔ（直線Ｌｆｇ）からの距離ｄｌｉ，ｊに基づいて求められる。まず、ｆｔ＝ｇｔ（直線Ｌｆｇ）からの距離ｄｌｉ，ｊについては以下の式１３で求めることができる。
【０１８３】
【数１３】
【０１８４】
なお、直線Ｌｆｇからの距離ｄｌｉ，ｊの算出方法については式１３に限るものではない。発明者らの実験では、よりｆｔが大きいほど関節らしい、すなわち同一剛体らしくない、という結果が得られているため、式１３に対しｆｔの影響を付与した式を用いてもよい。例えば式１４を用いてもよい。もちろん、同様の効果が得られるのであれば、直線Ｌｆｇからの距離ｄｌｉ，ｊの算出方法については式１４に限るものではない。
【０１８５】
【数１４】
【０１８６】
同一剛体上の移動軌跡ペアに関して、理想的にはｄｌｉ，ｊ＝０となるはずであるが、実際には、計算誤差等の影響により、直線Ｌｆｇからずれ、ｄｌｉ，ｊ＝０とならないことがある。そこでマージンとして閾値Ｔｈ１、Ｔｈ２を設定し、以下の式１５で同一剛体特徴量ｒｒを算出する。ｒｒは０から１までの値をとり、１に近くなるほど、移動軌跡ペアが同一剛体上の移動軌跡らしいことを表す。エラー値として、ｒｒは−１をとる。なお、例えば、閾値Ｔｈ１には０．１を、閾値Ｔｈ２には０．０１を用いることができる。ただし、ｇｔ、ｆｔ算出時に、すべての距離を指定値６４を用いて正規化した場合の例である。
【０１８７】
【数１５】
【０１８８】
また、移動軌跡ペアの関節特徴量ｊｒは、同一剛体特徴量ｒｒから、以下の式１６で求める。関節特徴量ｊｒは１に近いほど、移動軌跡ペアが“関節らしい”ことを表し、関節特徴量ｊｒがゼロに近いほど、同一剛体上の２移動軌跡らしいことを表す。
【０１８９】
【数１６】
【０１９０】
同一剛体特徴量ｒｒは０から１までの値のため、関節特徴量ｊｒも０から１までの値をとる。ｊｒは１に近くなるほど、移動軌跡ペアの関節動きが大きいことを表す。なお、エラー値として、ｊｒは−１をとる。
【０１９１】
なお、以下では、同一剛体特徴量ｒｒ、関節特徴量ｊｒの両方を説明のため用いているが、先に述べたとおりこれら２つの特徴量は、互いに依存関係にある変数であるため、実際の処理においては両方を別々のものとして明に定義して用いる必要はなく、どちらかのみに基づいて計算を行えば十分である。
【０１９２】
なお、同一剛体特徴量ｒｒ、および関節特徴量ｊｒの算出方法については式１５、式１６に限るものではなく、同一剛体特徴量ｒｒについてはより直線Ｌｆｇに近いほど値が１に近く、離れるほど値が０に近くなるような関数を、また関節特徴量ｊｒについてはより直線Ｌｆｇに近いほど値が０に近く、離れるほど値が１に近くなるような関数を用いればよい。
【０１９３】
例えば同一剛体特徴量ｒｒについて、以下の式１７、あるいは式１８によって算出してもよい。適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。
【０１９４】
【数１７】
【数１８】
【０１９５】
また、例えば関節特徴量ｊｒについては、以下の式１９、あるいは式２０によって算出してもよい。このさい、必ずしも式１６の形式を満たす必要はなく、式１７、式１８、式１９、式２０、を自由に選択可能である。
【０１９６】
適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。ただしｍａｘ＿ｄｌｉ，ｊはｄｌｉ，ｊ＞０を満たすｄｌｉ，ｊの最大値である。
【０１９７】
【数１９】
【数２０】
【０１９８】
また、先に述べたとおり、理想的な状況下では「２移動軌跡が同一剛体上」という条件をｇｔ＝ｆｔ＝０、「２移動軌跡が関節状動き」である条件をｇｔ＝０、ｆｔ≠０、とできる。そこで、状況によっては、これらの条件に基づいた同一剛体特徴量ｒｒ、および関節特徴量ｊｒを定義してもよい。例えば、任意の移動軌跡間について、測地距離の時間変化があらかじめ定めた測地距離閾値Ｔｇよりも小さく、かつユークリッド距離の時間変化があらかじめ定めたユークリッド距離閾値Ｔｅよりも大きい場合に、関節特徴量ｊｒを１とし、測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、またはユークリッド距離の時間変化があらかじめ定めたユークリッド距離閾値以下の場合に、関節特徴量ｊｒを０とするとしてもよい。以上により、特徴量算出部１０８において、関節特徴量が算出された。
【０１９９】
続いて、関節特定部１０９は、特徴量算出部１０８で算出された各移動軌跡ペアの関節特徴量に基づいて、移動軌跡の節らしさ特徴量を算出する。
【０２００】
ここで、図１１Ａ〜図１１Ｃに、節の移動軌跡Ａ、剛体上の移動軌跡Ｂ、Ｃ、Ｄ、およびアウトライアの移動軌跡Ｅを示す。図１１Ａに、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＣ，ＡＣ）を選択した場合の例を示す。図１１Ａに示すように、移動軌跡ペアＡＢは関節特徴量ｊｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒｒ（ＡＢ）が大きい。移動軌跡ペアＡＣも同様に関節特徴量ｊｒ（ＡＣ）が小さく、同一剛体特徴量ｒｒ（ＡＣ）が大きい。このような場合、移動軌跡Ａは、移動軌跡Ｂとも、移動軌跡Ｃとも、それぞれ同一剛体らしい、といえる。ここで、移動軌跡Ａが節であるためには、移動軌跡Ｂ、Ｃは異なる剛体に属する必要がある。したがって、図１１Ａに示すように、移動軌跡ペアＢＣについては、関節特徴量ｊｒ（ＢＣ）が大きく、同一剛体特徴量ｒｒ（ＢＣ）は小さいということになる。
【０２０１】
先に述べた例と同様、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＤ，ＡＤ）を選択した場合の例を図１１Ｂに示す。図１１Ｂに示すように、移動軌跡ペアＡＢは関節特徴量ｊｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒｒ（ＡＢ）が大きい。移動軌跡ペアＡＤも同様に関節特徴量ｊｒ（ＡＤ）が小さく、同一剛体特徴量ｒｒ（ＡＤ）が大きい。さらに、移動軌跡ペアＢＤも同様に関節特徴量ｊｒ（ＢＤ）が小さく、同一剛体特徴量ｒｒ（ＢＤ）が大きい。このような場合には、３つの移動軌跡Ａ、Ｂ、Ｄが全て同一剛体らしい、という情報が得られる。しかし、どの移動軌跡が節らしいのか、そもそも節らしい移動軌跡があるかどうかの情報すら得られない。
【０２０２】
さらに、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ、ＢＥ、ＡＥ）を選択した場合の例を図１１Ｃに示す。ここで、Ｅはアウトライアの移動軌跡である。
【０２０３】
図１１Ｃのようにアウトライアとの移動軌跡ペアＡＥ、ＢＥに関しては、関節特徴量ｊｒ、同一剛体特徴量ｒｒ、のどちらも−１の値になっているはずである。この場合も、移動軌跡ＡとＢのどちらが節なのか、そもそも節らしい移動軌跡があるかどうかの情報は得られない。
【０２０４】
したがって、図１１Ａの関係を満たす移動軌跡ペアから節らしさ特徴量を求められるようにすればよい。逆に、図１１Ｂおよび図１１Ｃの場合の影響はないようにしたい。そこで、以下の式２１で、移動軌跡Ａ以外の全ての移動軌跡ペアから、移動軌跡Ａの節らしさ特徴量Ｘｊｎｔを算出する。
【０２０５】
【数２１】
【０２０６】
ここで、
【数２２】
より、式２１は、
【数２３】
となるといえる。すなわち、移動軌跡Ａの節らしさ特徴量を、図１１Ａのような関係を満たす３移動軌跡からの情報によって表すことができる。
【０２０７】
逆に、節にない例えば移動軌跡Ｂについては、Ｂ以外の全ての移動軌跡ペアから以下の式２２で節らしさ特徴量Ｘｊｎｔを算出できる。
【０２０８】
【数２４】
【０２０９】
ここで、
【数２５】
より、式２２は、
【数２６】
【０２１０】
すなわち、節以外の移動軌跡に関しては、節らしさ特徴量Ｘｊｎｔの値が小さく抑えられることがわかる。
【０２１１】
以上の構成により、より移動軌跡ｘｋの節らしさを細かく表現する、すなわち、より正確に移動軌跡ｘｋの節らしさ特徴量を求めることができる。
【０２１２】
なお、あらかじめ定めた閾値Ｔｈ１、Ｔｈ２については、例えば、薬剤のサイズや動きの大きさがあらかじめ分かっている場合には、ｇｔ−ｆｔ値の分布が図１２Ａ〜図１２Ｃのように変化することがわかっている。図１２Ａ〜図１２Ｃにおいて、ハッチングを施した箇所がｇｔ値およびｆｔ値の分布している領域を示している。したがって、薬剤のサイズや動きの大きさに応じて、閾値Ｔｈ１、Ｔｈ２を変化させてもよい。たとえば、図１２Ｂのように大きな薬剤、動きに対しては、図１２Ａの場合に用いた閾値Ｔｈ１、Ｔｈ２よりも大きな閾値Ｔｈ１、Ｔｈ２を設定してもよい。
【０２１３】
あるいは、ユーザによる選択モードを備えても良い。薬剤の種類や数、サイズに対して最適な閾値Ｔｈ１、Ｔｈ２を事前に定めておき、本装置使用時に、ユーザが薬剤やサイズを指定できるようにすれば、より適切な閾値Ｔｈ１、Ｔｈ２を用いてより正しく移動軌跡の節らしさ特徴量を求めることができる。あるいは、タッチペンやタッチパッドなどにより、候補領域をユーザがあらかじめインタラクティブに指定してもよい。
【０２１４】
なお、“同一剛体らしい”移動軌跡ペアは、“関節らしい”移動軌跡ペアよりｆｔ＝ｇｔという関係に近いということは先に述べたが、それだけではなく、ｆｔ、ｇｔの値にもある程度の差があるため、これらの情報を追加して関節検出を高精度化することも可能である。
【０２１５】
例えば、図１２Ｃに示すように、閾値ＴｈＲｉｇよりもｆｔ、ｇｔがともに小さい移動軌跡ペアについては、同一剛体特徴量ｒｒがより大きくなる重み付けを行い、閾値ＴｈＲｉｇよりもｆｔ、ｇｔのどちらか大きい移動軌跡ペアについては、同一剛体特徴量ｒｒがより小さくなる重み付けを行うことで、より“同一剛体らしい”ものをより“同一剛体らしい”データとして扱うことができ、節らしさ特徴量の計算をより精度良く行うことができる。
【０２１６】
なお、関節特定部１０９を含む節らしさ算出部１０５は、節らしさ特徴量Ｘｊｎｔをそのまま分離計数部１０７に出力するのではなく、出力前に節らしさ特徴量Ｘｊｎｔの変換を行い、変換後の節らしさ特徴量を分離計数部１０７に出力するようにしてもよい。
【０２１７】
すなわち、関節特定部１０９は、節らしさ特徴量Ｘｊｎｔの値のうち、画素座標系からなる２次元平面上で極大となる点を節として求める。たとえば、節らしさ特徴量Ｘｊｎｔが局所的に極大であれば１をとり、それ以外ではゼロになるような新しい節らしさ特徴量ｎｅｗＸｊｎｔを定義し、関節特定部１０９は、新しい節らしさ特徴量ｎｅｗＸｊｎｔを分離計数部１０７に出力してもよい。ここでは簡単のため２値化したが、多値でももちろんかまわない。この構成によると、局所的に最も節らしさ特徴量Ｘｊｎｔが高い画素位置の情報を分離計数部１０７に渡すことができるため、関節の数が増えた際でも安定して関節領域（節領域、節）を特定することができる。
【０２１８】
以上より、関節特定部１０９は、各節候補領域についての移動軌跡ｘｋの節らしさ特徴量を求め、それらの値を出力する。
【０２１９】
次に、分離計数ステップＳ３０７は、分離計数部１０７によって実行される。
【０２２０】
分離計数部１０７は、図１の構成図に示すとおり、距離変換部１１０とクラスタリング部１１１とを含む。また、分離計数ステップＳ３０７は、距離変換ステップＳ３１０、クラスタリングステップＳ３１１の２つのステップを含む。
【０２２１】
距離変換ステップＳ３１０において、距離変換部１１０は、距離算出部１０４より受け取った距離経路データ１０６が含む、移動軌跡間測地距離の経路上の移動軌跡のうち、経路上の経由点（端点以外）となる移動軌跡における、前記関節特定部１０９で求めた節らしさ特徴量に応じて、該当経由点を経由する移動軌跡間距離を変換する。また、クラスタリングステップＳ３１１において、クラスタリング部１１１は、変換した移動軌跡間距離に基づき、移動軌跡をクラスタリングし、薬剤数として出力する。
【０２２２】
まず距離変換部１１０の動作について説明する。
【０２２３】
擬似的に関節とみなせる点で接触している２つの薬剤の例を図１３に示す。この薬剤上で取得される移動軌跡のうち代表的なものをａ〜ｆに示す。なお、実際にはより多くの移動軌跡が存在する。移動軌跡ペア（ａ，ｅ）のように、異なる薬剤上の移動軌跡間で定義される測地距離の経路について、適切に式６の閾値Ｒを設定した場合、節の移動軌跡ｃを通る経路が選択される。つまり、移動軌跡間測地距離の経路に節を含む２移動軌跡は、それぞれ異なる薬剤上にあるといえる。
【０２２４】
そこで本実施の形態では、このような、軌跡間測地距離の経路に節を含む移動軌跡間の距離を、より分離されやすくするため、１より大きい値で重み付けする。このようにすることで、実際には異なる薬剤であるのに、隣接しているために同一の薬剤と誤計数されやすい薬剤についても、別の薬剤として正しく計数できる。
【０２２５】
具体的に、例えば、移動軌跡（ａ，ｆ）のペアについて考える。距離経路データ１０６に含まれる、移動軌跡（ａ，ｆ）間の、測地距離経路上の移動軌跡をｐａｔｈ（ａ，ｆ）と表現すると、ｐａｔｈ（ａ，ｆ）は、以下の式２３のように表すことができる。
【０２２６】
【数２７】
【０２２７】
各移動軌跡の節らしさ特徴量の値をそれぞれＪ（ｂ），Ｊ（ｃ），Ｊ（ｄ），Ｊ（ｅ）とすると、節である移動軌跡ｃに対応する節らしさ特徴量Ｊ（ｃ）のみが、最大値である１を取り、他の移動軌跡ｂ，ｃ，ｄではそれよりも小さい節らしさ特徴量を持つ。
【０２２８】
【数２８】
【０２２９】
つまり、測地距離経路上の移動軌跡の節らしさ特徴量の最大値に着目することで、移動軌跡間の測地距離経路上に含まれる点について、最も節らしい点が含まれるかどうかを確認することができる。したがって、移動軌跡間の測地距離経路上に含まれる点について、それらの節らしさ特徴量の最大値を用いて重みを決定するものとする。なお、ここでは最大値としているが、例えば、節近辺に複数の移動軌跡が存在する場合などは、最大値から大きい順に、指定した点数の節らしさ特徴量を取得し、それらの平均などで重みを求めてもよい。
【０２３０】
ここで最大値をｍａｘとすると、重みづけ曲線のパラメータαとして、移動軌跡（ａ，ｆ）間の距離に対する重みｋ（ａ，ｆ）は以下の式２５のように求めることができる。
【０２３１】
【数２９】
【０２３２】
したがって、移動軌跡（ａ，ｆ）間の移動軌跡間距離Ｄ（ａ，ｆ）は、変換後の移動軌跡間距離をＤｃ（ａ，ｆ）とすると、以下の式２６のように変換される。
【０２３３】
【数３０】
【０２３４】
他の移動軌跡間に関しても同様の計算を行なうことで、擬似関節点で接触している２移動軌跡間の距離はより遠くなるため、分離が容易になる。
【０２３５】
クラスタリング部１１１は、距離変換部１１０で算出した任意のｉ，ｊ間の移動軌跡間距離Ｄｃ（ｉ，ｊ）を用い、Ｄｃ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。
【０２３６】
関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとの距離Ｄｃ（ｉ，ｊ）が小さいことを意味する。さらに、距離Ｄｃ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。移動軌跡からなる高次元空間は、次元数が２×Ｔの空間である。移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の薬剤に対応することが期待でき、薬剤の検出と領域分割を行うことができる。
【０２３７】
以下で、クラスタリングを行なう方法の一例を説明する。
【０２３８】
【数３１】
【０２３９】
まず、クラスタリング部１１１は、距離Ｄｃ（ｉ，ｊ）から式２７に示すような、新たな非線形化した距離ＤＬ（ｉ，ｊ）を算出する。つまり、距離Ｄｃ（ｉ，ｊ）について、予め定められた閾値Ｒｔｈ以上の距離については、その距離を無限大に変更する。なお、閾値Ｒｔｈは、利用するシーンに応じて経験的に決定される。求められたＤＬ（ｉ，ｊ）のうち、無限大に変更された距離は、距離の分布における不連続点となるため、その不連続点を検出することにより、クラスタリングを行なうことができる。
【０２４０】
ここで、クラスタリングを行なう際に各領域に付与するラベルについて、以下式２８のように表す。Ｍは領域数（未知）である。
【０２４１】
【数３２】
【０２４２】
次に、クラスタリング部１１１は、距離ＤＬ（ｉ，ｊ）が有限の値である移動軌跡について、移動軌跡ｉと移動軌跡ｊに同一領域ラベルθｍを付与する処理を、すべてのｉ，ｊについて行う。最後までラベルのつかなかった移動軌跡については、それらの移動軌跡に対して有限の距離で繋がる移動軌跡が存在しなかったということを示す。したがって、それぞれに他と異なるクラスラベルを付与する。以上の処理により、全ての移動軌跡に対してクラスラベルθが付与される。なお、各領域に属する移動軌跡の数が閾値Ｔｃｌｕｓｔｅｒ個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。
【０２４３】
このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、同一の薬剤に属する移動軌跡と求めることができる。
【０２４４】
なお、クラスタリング部１１１は、距離Ｄｃ（ｉ，ｊ）に基づいてサブクラスを求めるという動作に限定するものではない。つまり、クラスタリング部１１１は、画像からエッジ抽出を行って、エッジ位置からクラスタリングを行うものであってもよい。
【０２４５】
また、クラスタリング部１１１は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のクラスに分類してもよい。以下で、画素の色類似度を元にクラスタリングを行う例について説明する。
【０２４６】
クラスタリング部１１１にてクラス数を算出する手法として、先に説明した類似移動軌跡のラベリングによる方法の代わりに、画素の色類似度をもとに、いわゆる“ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献５等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
【０２４７】
【非特許文献５】Ｐｅｄｒｏ Ｆ． Ｆｅｌｚｅｎｓｚｗａｌｂ ａｎｄ Ｄａｎｉｅｌ Ｐ． Ｈｕｔｔｅｎｌｏｃｈｅｒ “Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７−１８１，Ｓｅｐｔ，２００４
【０２４８】
以上の手順によりピクチャをクラスに分離し、各クラスに属する移動軌跡を、異なる薬剤領域とし、薬剤計数に利用することが可能となる。
【０２４９】
なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３１１の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。
【０２５０】
なお、本実施の形態の薬剤計数装置において、距離算出部１０４が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝２としたが、この数値に限定されるものではない。例えば、検出精度や、１つの薬包にかけることのできる計数時間・メモリ量等に応じて別の数値を用いても良い。
【０２５１】
（実施の形態１の変形例）
図１４は、本変形例における薬剤計数装置１００を含むシステムの機能的な構成を示すブロック図である。このシステムは、揺動機構１１２０と、タイミング制御部１１２と、カメラ１２０と、薬剤計数装置１００と、薬剤数比較部１１４と、警報出力部１１５とを備える。このうち、タイミング制御部１１２、薬剤数データ１１３、薬剤数比較部１１４、警報出力部１１５以外の構成に関しては実施の形態１と同じであるためここでは説明を省略する。
【０２５２】
タイミング制御部１１２は薬剤揺動制御部１１２１と撮影制御部１１２２を備え、撮影と揺動のタイミングを制御する。具体的には、まず撮影制御部１１２２からカメラ１２０に撮影制御信号を送り、１回目の撮影を行なう。撮影終了後、続いて、薬剤揺動制御部１１２１から揺動機構１１２０に薬剤揺動信号を送り、ベルトコンベア４００を振動させることにより、薬包に含まれる薬剤を動かす。揺動終了後、再度撮影制御部１１２２からカメラ１２０に撮影制御信号を送り、２回目の撮影を行なう。このようにすることで、確実に薬剤が移動した動画像を取得でき、より正確に薬剤を分離計数できるようになる。
【０２５３】
薬剤数比較部１１４は、薬剤数データ１１３に示されている薬剤の個数と薬剤計数装置１００により計数された薬剤の個数とを比較する。ここで、薬剤数データ１１３は、撮影対象の薬包に含まれる薬剤の個数（例えば処方箋に含まれる薬剤の個数）を含むデータである。薬剤数データ１１３は、薬剤計数装置１００の内部に記憶されていてもよいし、薬剤計数装置１００の外部の記憶装置に記憶されており、有線または無線を介して薬剤数比較部１１４に接続されていても良い。薬剤数比較部１１４は、薬剤数データ１１３に示されている薬剤の個数と薬剤計数装置１００により計数された薬剤の個数とが異なっている場合は、「誤り」を示す情報を、等しい場合は、「正しい」を示す情報を、警報出力部１１５に送る。
【０２５４】
警報出力部１１５は、薬剤数比較部１１４の判定した結果情報を受けて、誤りであった場合に使用者に対して警報を発する。警報は、ディスプレイ上であってもよいし、音や音声によってもよい。なお、警報は「誤り」であるか「正しい」であるかを利用者が認識できることが目的であるため、「誤り」と「正しい」の場合にそれぞれ異なる警報音を発してもよいし、逆に利用者が認識さえしていれば、「正しい」場合のみ警報音を発するとしてもよい。
【０２５５】
以上のシステムにより、確実に薬剤を計数し、処方箋に対する正誤判定を行なった上で、使用者に結果を伝えることができる。使用者である薬剤師は薬包全てを確認する必要なく、誤っている薬包に対してのみ対処を行なえばいいので、負担が軽減される。
【０２５６】
以上のように、本実施の形態およびその変形例に係る薬剤計数装置および薬剤計数方法によると、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、擬似関節位置を特定し異なる薬剤が接触している位置を求め、さらに異なる動きをする薬剤を別の薬剤と分類して計数する。このため、薬包に印字された文字等の大きさや種類によることなく、確実に薬剤を計数することができる。
【０２５７】
また、上記実施の形態およびその変形例における薬剤計数装置１００は、画像入力部１０１および移動軌跡算出部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、薬剤計数装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３〜Ｓ３１１の処理を実行してもよい。
【０２５８】
また、本発明は、薬剤計数装置１００として実現されたが、薬剤計数部１０３の機能を持つものであれば、動画像において薬剤を計数する画像処理装置として実現することができるのは言うまでもない。
【０２５９】
なお、本実施の形態およびその変形例では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２６０】
また、本発明で用いる「領域」という定義は、多数の軌跡から成る領域のみならず、１つの軌跡のみから成る場合も含む。というのも、少なくとも節の軌跡が１点と、もう２点の移動軌跡が存在すれば、それらの軌跡から各軌跡の節らしさ特徴量を算出することができるからである。
【０２６１】
（実施の形態２）
上記した実施の形態１およびその変形例での薬剤計数装置は、薬剤数の算出手順において、節らしさ特徴量で重み付けした移動軌跡間距離のクラスタリングを用いて、薬剤数を算出している。具体的には、ある移動軌跡間測地距離に対して、測地距離の辿る経路上の移動軌跡の節らしさ特徴量を求め、経路上の移動軌跡の節らしさ特徴量の値に応じて、当該移動軌跡間の距離に対し予め定めた重みをかけることで、関節で接する薬剤をより遠ざけることで、正しく分離してクラスタリングするものである。
【０２６２】
しかし、薬剤の計数方法としては、このような節らしさ特徴量による重み付けは必ずしも必要ではない。節らしさ特徴量による重み付けは、「節らしさ特徴量算出」以外の特別な画像処理を行わずに処理できるという利点がある。しかし、節らしさ算出部において、節らしさ特徴量を各移動軌跡ごとに出力する代わりに、画像中の節の数のみを出力し、他の画像認識による計数結果と統合することで、より正確に錠剤数を求められる場合がある。
【０２６３】
本実施の形態における薬剤計数装置の構成を図１５に示す。薬剤計数装置１００Ｂは、画像入力部１０１と、移動軌跡算出部１０２と、距離算出部１０４と、節らしさ算出部１０５と、節計数部１１８と、クラスタリング部１１１と、穴領域計数部１１６と、計数部１１７とを含む。
【０２６４】
図１と異なる部分は、節計数部１１８、穴領域計数部１１６、計数部１１７のみであるので、上記以外の構成については説明を省略する。また、クラスタリング部１１１にはここでは移動軌跡間距離の入力がない。この場合、実施の形態１の説明で述べた通り、エッジ位置または色に基づくクラスタリングを行なうことができる。
【０２６５】
節計数部１１８は、関節特定部１０９で求めた各移動軌跡の節らしさ特徴量について、予め定めた閾値以上の移動軌跡を節と特定し、その数を数える。
【０２６６】
移動軌跡の密度がそれほど高くない（移動軌跡が通過するグリッドが大きい）場合は、一つの節について一つの移動軌跡が見つかると考えてよい。このため、節らしさ特徴量が閾値以上の移動軌跡の数をそのまま節の数とする。一方、移動軌跡の密度がある程度高い場合は、節らしさ特徴量の極値をとる移動軌跡を複数求める。一つの節が、一つの極値に相当すると考えてよいので、節らしさ特徴量の極値をとる移動軌跡の数をそのまま節の数とする。
【０２６７】
次に、穴領域計数部１１６は、３つ以上の薬剤が互いに接触して、内部に穴様の領域が存在する場合の、穴の数を求める。
【０２６８】
なお、節、穴および領域の数は、同一の画像においてそれぞれ算出される。
【０２６９】
図１６Ａは、画像入力部１０１が入力として受け付けた画像の例を示す図である。図１６Ｂは、穴領域計数部１１６で計数される２つの穴１８１および１８２と、クラスタリング部１１１で計数される３つの領域１９１〜１９３とを示す図である。
【０２７０】
穴領域は、例えば、輪郭検出を行い、輪郭中の閉領域（接触している薬剤群の外周）を抽出したのち、閉領域内部に存在する閉領域の数を求める等により得られる。
【０２７１】
図１６Ａおよび図１６Ｂの画像に対して、節計数部１１８はＮｊ＝８個の節を、クラスタリング部はＮｃ＝３個の領域を、穴領域計数部１１６はＮｈ＝２個の穴領域をそれぞれ算出する。計数部１１７は、これらの値から、以下の式２９に従い薬剤数Ｎを算出する。
【０２７２】
Ｎ＝Ｎｊ＋Ｎｃ−Ｎｈ （式２９）
【０２７３】
図１６Ａおよび図１６Ｂの画像からは、Ｎ＝８＋３−２＝９と求められる。ため、式２９によって正しく薬剤数が求められることがわかる。
【０２７４】
以上のように、本実施の形態によると、トポロジカルに薬剤を計数することができる。つまり、薬剤の大きさ等に依存せずに正確に薬剤を計数することができる。
【０２７５】
なお、薬剤計数装置は、図１７に示すような構成であっても良い。図１７に示す薬剤計数装置１００Ｃでは、クラスタリング部１１１が移動軌跡算出部１０２に接続されている。つまり、クラスタリング部１１１は、移動軌跡算出部１０２で算出された類似する移動軌跡を同一のクラスに分類することにより領域数を求めても良い。
【産業上の利用可能性】
【０２７６】
本発明は、動画像中の薬包内の薬剤の動きに基づき、接触した薬剤間を擬似関節として検出し、さらに動きに基づき異なる薬剤を分別することで、薬包内の薬剤を計数する薬剤計数装置等として、病院や薬局等に設置、利用することが可能である。
【符号の説明】
【０２７７】
１００ 薬剤計数装置
１０１ 画像入力部
１０２ 移動軌跡算出部
１０３ 薬剤計数部
１０４ 距離算出部
１０５ 節らしさ算出部
１０６ 距離経路データ
１０６ａ 距離経路インデクスデータ
１０６ｂ 移動軌跡リストデータ
１０７ 分離計数部
１０８ 特徴量算出部
１０９ 関節特定部
１１０ 距離変換部
１１１ クラスタリング部
１１２ タイミング制御部
１１３ 薬剤数データ
１１４ 薬剤数比較部
１１５ 警報出力部
１１６ 穴領域計数部
１１７ 計数部
１１８ 節計数部
１２０ カメラ
１３０ ディスプレイ
１３５ スピーカ
１４０ 停止信号発生部
２００ コンピュータ
２０１ Ｉ／Ｆ
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＨＤＤ
２０６ ビデオカード
１１２０ 揺動機構
１１２１ 薬剤揺動制御部
１１２２ 撮影制御部
【技術分野】
【０００１】
本発明は、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の移動体の領域を抽出し計数する技術に関する。特に薬剤（錠剤およびカプセル）のように複数の剛体が接触しながら移動する対象に対して、接触部位を関節とみなして検出し、剛体を分離することにより薬剤を計数する薬剤計数装置に関する。
【背景技術】
【０００２】
医療現場において、多種の薬剤を処方される患者の飲み忘れを防ぐため、一回の服用分を一つの袋（薬包）に封止し（まとめて）、患者に処方することが一般的になっている。封止される薬剤は、薬剤師の手によって封入されることもあるが、大変な手間であることから、近年特に大規模な医療施設においては薬剤自動封止装置により、大量の薬剤が自動封止されている。
【０００３】
薬剤自動封止装置は、薬剤師の手間を軽減すると同時に、計数ミス等のヒューマンエラーを防ぐという点で非常に有効である。一方で、薬剤自動封止の構造上の不具合による薬剤の誤封止が発生することがあり、問題となっている。多くの薬剤は小さく、外周が湾曲しているため取り扱いが難しく、薬剤を薬袋に放出するパイプにおける薬剤詰まりなどの事由に起因する誤封止が、未だ避けられない課題となっている。したがって、患者への誤投与を防ぐためには、自動封止後に再度、薬袋内の薬剤の計数確認を行ない、処方箋どおりに薬剤が正しく封止されたかどうかを確認する必要がある。
【０００４】
現在この確認作業は薬剤師によって行なわれている。多種多様の薬剤について、その数と種類を正確に判別するためには、薬剤師には高度の技術が必要とされ、薬剤封止を自動化したにも関わらず、薬剤師の負担は低減されていないのが現状である。そこで、薬剤師の負担を軽減するため、自動で薬剤の計数を行ない、薬剤数の誤りを確認できる装置が提案されている。薬剤師は、薬剤数が誤っている薬包のみ確認すればよいため、自動薬剤計数技術によれば、薬剤師の負担をかなり低減できることが期待できる。
【０００５】
従来、自動で薬剤計数を行なう技術としては、例えば特許文献１のように、薬袋に格納されるべき薬剤数を予め記憶しておき、薬袋をカメラで撮影した画像に対し、画像処理を施し薬剤（錠剤）を計数し、記憶しておいた薬剤数と比較するという手法が一般的であった。この方法では、薬剤の入った薬包（薬袋）を載せた台の上側に撮像装置を設置し、下側に光源を設置し、撮影画像から薬剤のシルエットを検出し、シルエットの面積に基づき薬剤数を求めている。
【０００６】
一方、特許文献２では、近赤外光を透過するようなインクで薬包に印字を行い、撮像装置にフィルタを設けることで、近赤外光を透過しない薬剤のみを検出し、計数する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特公平４−１７６６４号公報
【特許文献２】特許第４６５２４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般的には薬包には、患者名、薬剤を飲用する時間帯（朝／昼／夜、等）、および処方年月日などが印字される。このため、特許文献１のように薬剤の投影画像をシルエットとして検出した際には、それらの文字も薬剤の領域とみなされ、計数の妨げになるという課題がある。
【０００９】
また、特許文献２によると、近赤外光の透過率の制約を満たさない印字面を有する薬包については正しく計数できない。さらに、特許文献２では複数のカメラにより公知のステレオ法にて距離を求め、距離の差に基づき印字面のみを除去することも提案しているが、カメラを複数設置するためコストがかかる。また、ステレオ法においては基線長が長いほど正確な距離計測ができることが知られている。基線長を長くするとシステムが大きくなり、短い基線長では、精度が低下し計数の失敗に繋がるためシステム設計が困難である。
【００１０】
また、特許文献１および２では、ともに具体的にどのように画像に基づき薬剤を計数するのかが明らかにされていない。特に、サイズも形状も異なる薬剤が複数存在する場合や、複数の薬剤が隣接している場合などは、特許文献１または２で言及されている面積またはラベリングに基づく手法のみでは、例えば複数の小さな薬剤が隣接する場合などに、まとめてひとつの薬剤として誤計数される可能性がある。このため、正しく薬剤を計数することは困難である。
【００１１】
本発明は上記従来の課題に鑑みてなされたものであり、薬包の印字に影響されることなく、正確に薬剤を計数可能な薬剤計数装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明では、複数枚の画像から構成される動画像中の動き情報に基づき、画像中の薬包中の薬剤を計数する。
【００１３】
本発明のある局面に係る薬剤計数装置は、薬包に封入された薬剤を計数する薬剤計数装置であって、揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部とを備える。
【００１４】
この構成によると、揺動部により揺動されている薬剤の動画像から節らしさ特徴量を算出し、節らしさ特徴量に基づいて薬剤を計数している。この節らしさ特徴量は、移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて算出される。このため、薬包の印字面のように静止している部分と、薬剤のように移動している部分とを明確に分離することができる。また、節らしさ特徴量から節の位置が分かるため、薬剤と薬剤とを節の位置で分離することができる。このため、薬包の印字に影響されることなく、正確に薬剤を計数することができる。
【００１５】
なお、本発明は、このような特徴的な処理部を備える薬剤計数装置として実現することができるだけでなく、薬剤計数装置に含まれる特徴的な処理部をステップとする薬剤計数方法として実現することができる。また、薬剤計数方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００１６】
本発明によると、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、擬似関節位置を特定し異なる薬剤が接触している位置を求め、さらに異なる動きをする薬剤を別の薬剤と分類して計数することができる。このため、薬包の印字に影響されることなく、確実に薬剤を計数することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１における薬剤計数装置の構成を示す図
【図２Ａ】図１に示した薬剤計数装置にディスプレイを接続したシステム構成を示す図
【図２Ｂ】図１に示した薬剤計数装置にスピーカを接続したシステム構成を示す図
【図２Ｃ】図１に示した薬剤計数装置に薬剤数比較部および停止信号発生部を接続したシステム構成を示す図
【図３Ａ】図２Ａに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図３Ｂ】図２Ｂに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図３Ｃ】図２Ｃに示したシステムに含まれる薬剤計数装置のコンピュータによるハードウェア構成を示す図
【図４】薬剤計数装置の動作の手順を示すフローチャート
【図５】撮影状況、および撮影される薬包の画像の例を示す図
【図６Ａ】各薬剤上の動きベクトル情報の一例を示す図
【図６Ｂ】移動軌跡の一例を示す図
【図７Ａ】様々な剛体の動きに伴う移動軌跡の一例を示す図
【図７Ｂ】距離経路データに含まれる距離経路インデクスデータの一例を示す図
【図７Ｃ】距離経路データに含まれる移動軌跡リストデータの一例を示す図
【図８Ａ】ピクチャ上の複数の移動軌跡の一例を示す図
【図８Ｂ】移動軌跡のデータの分布およびユークリッド距離を示す図
【図８Ｃ】移動軌跡のデータの分布および測地距離を示す図
【図９Ａ】関節状動きを伴う２つの剛体の測地距離の時間変化を示す図
【図９Ｂ】関節状動きを伴う２つの剛体のユークリッド距離の時間変化を示す図
【図９Ｃ】１つの剛体の測地距離の時間変化を示す図
【図９Ｄ】１つの剛体のユークリッド距離の時間変化を示す図
【図９Ｅ】関節状動きを伴わない２つの剛体の測地距離の時間変化を示す図
【図９Ｆ】関節状動きを伴わない２つの剛体のユークリッド距離の時間変化を示す図
【図１０Ａ】測地距離の時間変化の値およびユークリッド距離の時間変化の値が分布している領域を示す図
【図１０Ｂ】測地距離の時間変化の値およびユークリッド距離の時間変化の値が分布している領域の別の例を示す図
【図１１Ａ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡が関節領域上）
【図１１Ｂ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡が同一剛体上）
【図１１Ｃ】３移動軌跡間での関節特徴量の関係について示す図（３移動軌跡がアウトライアを含む場合）
【図１２Ａ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１２Ｂ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１２Ｃ】条件によって測地距離・ユークリッド距離の時間変化の分布が変わることを示す図
【図１３】擬似的に関節とみなせる点で接触している２つの薬剤の例を示す図
【図１４】本発明の実施の形態１の変形例における薬剤計数装置の構成を示す図
【図１５】本発明の実施の形態２における薬剤計数装置の構成を示す図
【図１６Ａ】画像入力部が入力として受け付けた画像の例を示す図
【図１６Ｂ】穴領域計数部で計数される２つの穴と、クラスタリング部で計数される３つの領域とを示す図
【図１７】本発明の実施の形態２における薬剤計数装置の別の構成を示す図
【発明を実施するための形態】
【００１８】
以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００１９】
本発明の一実施の形態に係る薬剤計数装置は、薬包に封入された薬剤を計数する薬剤計数装置であって、揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部とを備える。
【００２０】
この構成によると、揺動部により揺動されている薬剤の動画像から節らしさ特徴量を算出し、節らしさ特徴量に基づいて薬剤を計数している。この節らしさ特徴量は、移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて算出される。このため、薬包の印字面のように静止している部分と、薬剤のように移動している部分とを明確に分離することができる。また、節らしさ特徴量から節の位置が分かるため、薬剤と薬剤とを節の位置で分離することができる。このため、薬包の印字に影響されることなく、正確に薬剤を計数することができる。
【００２１】
好ましくは、前記計数部は、前記距離算出部で算出された測地距離の経路上に位置する移動軌跡の節らしさ特徴量が大きいほど測地距離が変換前と比べて大きくなるような変換を施し、変換後の測地距離に基づいて移動軌跡をクラスタリングすることにより、クラス数を薬剤の個数として薬剤を計数する。
【００２２】
この構成によると、異なる薬剤の接触部分を節とみなし、節を経由する測地距離を有する移動軌跡間については、距離が遠くなる変換を行うことができる。これにより、接触した異なる薬剤をより別のものとして計数し易くなるため、正確に薬剤を計数することができる。
【００２３】
具体的には、動きの類似度をあらわす移動軌跡間の距離を求めることにより、異なる動きをする薬剤同士を別の薬剤として、分離して計数する。
【００２４】
特に、薬剤のように複数の剛体が接触し、似た動きで移動する場合には、分離が困難になるため、接触した薬剤間には、それぞれが別の薬剤と分離されやすくなるような重みを移動軌跡の類似度にかけた上で、薬剤の計数を行なうことで、隣接した薬剤であっても同一の薬剤として誤計数されることを防ぐ。具体的には、薬剤の接触部位を、擬似的に関節とみなして検出し、移動軌跡間距離の重み付けをすることで、接触した薬剤が同一の薬剤として誤計数されることを防ぐ。擬似関節の位置は、移動軌跡間距離の時間変化に基づき求めることができるため、異なる薬剤が接触している位置を動きに基づき求めることができる。
【００２５】
なお、本明細書において、「関節状動き」とは、人の関節動きに代表されるような動きのことをさす。従来の薬剤計数手法では、このような関節状の動きを呈し、似た動きをする接触した薬剤は、同一の薬剤として誤って計数される場合が多い。
【００２６】
この構成によると、移動軌跡間の測地距離の時間変化と２点間距離の時間変化とに基づいて、同一の薬剤として誤計数されやすい接触する薬剤間において、接触部位を擬似関節として抽出することで、異なる薬剤として正しく計数することができる。
【００２７】
また、上述の薬剤計数装置は、さらに、前記動画像から、前記動画像に含まれる第１ピクチャにおける薬剤の領域と、複数の薬剤により形成される領域中の穴とを計数する穴領域計数部と、前記節らしさ特徴量に基づいて、前記第１ピクチャにおける節を計数する節計数部とを備え、前記計数部は、前記第１ピクチャにおける領域の個数、穴の個数および節の個数から、前記薬包に封入された薬剤を計数しても良い。
【００２８】
これらから、トポロジカルに薬剤を計数することができる。つまり、薬剤の大きさ等に依存せずに正確に薬剤を計数することができる。
【００２９】
また、上述の薬剤計数装置は、さらに、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する薬剤数比較部を備えても良い。
【００３０】
この構成によると、比較結果に基づいて、使用者である薬剤師は薬剤数が誤っている薬包を知ることができる。このため、薬剤師は、薬包全てを確認する必要なく、誤っている薬包に対してのみ対処を行なえばいいので、負担が軽減される。
【００３１】
また、上述の薬剤計数装置は、さらに、前記薬剤数比較部が、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置を停止させるための信号を発生する停止信号発生部を備えても良い。
【００３２】
好ましくは、前記節らしさ算出部は、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する特徴量算出部と、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、１つの薬剤を１つの剛体であるとみなした場合に、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡を含む領域同士が同一の節を介して接続されているほど、前記第１移動軌跡が節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出する関節特定部とを含む。
【００３３】
また、前記関節特定部は、さらに、算出した前記節らしさ特徴量から節領域を特定しても良い。
【００３４】
また、前記関節特定部は、前記ピクチャ上における、算出した前記節らしさ特徴量の極大値を節として特定しても良い。
【００３５】
また、前記関節特定部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡が含まれる領域が節領域か否かを判定しても良い。
【００３６】
この構成によると、全ての移動軌跡ペアについて処理を行って、節領域を求めることもできる。
【００３７】
また、前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定しても良い。
【００３８】
このようにすることで、効率よく関節の特定を行うことができる。
【００３９】
また、前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定しても良い。
【００４０】
このようにすることで、効率よく関節の特定を行うことができる。
【００４１】
また、前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和であっても良い。
【００４２】
複数フレームにわたる時間変化を用いるため、より確実に移動軌跡間距離の時間変化を捉えることができる。
【００４３】
また、前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和であっても良い。
【００４４】
複数フレームにわたる時間変化を用いるため、より確実に２点間距離の時間変化を捉えることができる。
【００４５】
また、前記特徴量算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出しても良い。
【００４６】
この構成によると、単純な式で関節らしさを表現することができる。なお、２点間距離の時間変化が０の場合、関節特徴量が無限大になることを防ぐためにエラー値を設定しておくとよい。
【００４７】
また、前記特徴量算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出しても良い。
【００４８】
実験などにより、あらかじめデータテーブルを作成しておくことで、より精度よく節領域を特定することができる。
【００４９】
また、前記特徴量算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出しても良い。
【００５０】
適切に測地距離閾値および２点間距離閾値を設定することにより、簡易に関節特徴量を算出することができる。
【００５１】
また、前記特徴量算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出しても良い。
【００５２】
同一剛体特徴量を用いることにより、関節を正確に特定することができる。
【００５３】
なお、本実施の形態に係る薬剤計数装置は、各処理部をハードウェアにより構成することにより実現されるだけでなく、上記各処理部をステップとする薬剤計数方法として実現したり、薬剤計数方法を、コンピュータ上のプログラムによって実現したり、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、動画像において動きをもつオブジェクトの領域を抽出、または、分割する画像処理装置等として実現することもできる。
【００５４】
（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。
【００５５】
図１は、実施の形態１における薬剤計数装置の構成を示す図である。図１に示すように、薬剤計数装置１００は、画像入力部１０１と、移動軌跡算出部１０２と、薬剤計数部１０３とを備える。
【００５６】
薬剤計数装置１００は、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡に基づき、画像中の薬剤を計数する、薬剤計数装置である。
【００５７】
本実施の形態では、薬剤計数装置１００は、カメラ１２０で撮影した動画像を入力として受け、薬包中の薬剤同士が接触して動く部分を関節（節）とみなし（擬似関節）、各移動軌跡間の類似度を表す距離に基づいて画像中の当該擬似関節位置を求める。また、動きが異なる、或いは動きが類似していても、擬似関節で接触するような薬剤をより別の薬剤にするような距離変換を施すことで、正しく薬剤を計数する。なお本明細書中では、ピクチャのことを画像ともいう。
【００５８】
画像入力部１０１は、動画像を構成する複数枚のピクチャの入力を受け付ける処理部であり、例えば、画像入力部１０１は、カメラ１２０であってもよいし、カメラ１２０と接続された通信インタフェース等であってもよい。なお、画像入力部１０１は、記憶装置に記憶されている動画像を読み出すインタフェースであっても良い。図１には、カメラ１２０と接続された通信インタフェースとしての画像入力部１０１を示している。
【００５９】
移動軌跡算出部１０２は、画像入力部１０１で受け付けられたピクチャを構成する１個以上の画素からなるブロックごとに、動画像を構成する時間的に隣接する２枚のピクチャ間での当該ブロックの動きを検出し、検出した動きを前記複数枚のピクチャについて連結することで、複数の移動軌跡を算出する。ピクチャ間の対応点は、ピクチャの１画素ごとに対応点を求めてもよいし、ピクチャ内の隣接する複数の画素（ブロック）ごとに１つの対応点を求めるとしてもよい。本明細書では、ある対応点が、１画素ごとに求められたか、複数の画素に対して１つ求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【００６０】
薬剤計数部１０３は、移動軌跡算出部１０２で求められた移動軌跡をもとに、移動軌跡間距離（２点間距離または測地距離）の時間変化に基づいて、擬似関節である薬剤接触領域に基づき薬剤計数する処理部である。薬剤計数部１０３は、距離算出部１０４、節らしさ算出部１０５、および分離計数部１０７を備える。
【００６１】
距離算出部１０４は、移動軌跡間の類似度を表す距離を算出する処理部である。つまり、距離算出部１０４は、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、第１の移動軌跡および第２の移動軌跡以外の移動軌跡を中継点として第１の移動軌跡から第２の移動軌跡にたどりつく経路の距離である測地距離とを算出し、算出した２種類の距離を節らしさ算出部１０５へ出力する。また、各移動軌跡ペア（全ての第１の移動軌跡および第２の移動軌跡のペア）について、前述の２種類の距離、および測地距離の経路として経由する移動軌跡のインデクスを、それぞれ距離経路データ１０６として分離計数部へ出力する。
【００６２】
本実施の形態では、距離算出部１０４は、移動軌跡算出部１０２で求めた複数の移動軌跡から、Ｔ枚（Ｔ＞＝２）のピクチャ間にわたる対応点であるＮ個の移動軌跡を抽出し、抽出した移動軌跡より、移動軌跡間の類似度を表す２点間距離および測地距離を算出する。
【００６３】
なお、本明細書における２つの移動軌跡間の「距離」は、対応する２次元画像空間における２点の間の距離だけでなく、後述するように多次元のデータ間の算術的な距離を含む。なお、一般的に距離と類似度は相反する関係がある。すなわち、２つのデータ間の距離が小さい場合、類似度が高く、逆に２つのデータの距離が大きい場合、類似度が低いものとする。
【００６４】
また、本明細書において「２点間距離」および「測地距離」の２種類の距離を定義しているが、「２点間距離」は２つのデータ間のみから求められる距離のことを指し、「測地距離」は、後述するように２つのデータ以外の点を経由することで求められる距離のことを指す。
【００６５】
なお、本明細書における「２点間距離」は、移動軌跡間のピクチャ座標における位置、速度、加速度等といった幾何的な類似度を表す指標となる距離であり、必ずしも線形距離である必要はない。「２点間距離」の代表的なものとして本明細書では「ユークリッド距離」を以降説明のため用いる。前記の距離の詳細な例については、距離算出部１０４の説明の部分にて後述する。
【００６６】
節らしさ算出部１０５は、任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合い（節の移動軌跡らしさ）を示す節らしさ特徴量を算出する。節らしさ算出部１０５は、特徴量算出部１０８および関節特定部１０９を備える。
【００６７】
特徴量算出部１０８は、距離算出部１０４で算出された測地距離、ユークリッド距離のそれぞれについて、距離の時間変化を求め、求めた距離の時間変化に基づき、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する。つまり、特徴量算出部１０８は、任意の２つの移動軌跡間のユークリッド距離の時間変化および測地距離の時間変化に基づいて、２つの移動軌跡が同一の関節により接続された関節状動きを行う移動軌跡でありそうな度合い（関節特徴量）を算出し、後段に出力する。
【００６８】
関節特定部１０９は、移動軌跡間の関節特徴量に基づいて、同一の剛体に属する移動軌跡を特定し、特定した剛体の情報に基づいて、節らしさ特徴量を算出し、関節（節、節領域）の位置を特定する。
【００６９】
分離計数部１０７は、節らしさ算出部１０５が算出した節らしさ特徴量に基づいて、薬包に封入された薬剤を計数する。分離計数部１０７は、距離変換部１１０およびクラスタリング部１１１を備える。
【００７０】
距離変換部１１０は、距離経路データ１０６より各移動軌跡間距離、および測地距離の経路上の移動軌跡を読み出し、関節特定部１０９の処理で求められた各経路上の移動軌跡の節らしさ特徴量に応じて、各移動軌跡間距離を変換する。すなわち、接触した異なる薬剤を関節とみなし、関節を経由する距離を有する移動軌跡間については、より移動軌跡間距離が遠くなるような変換を行うことで、接触した異なる薬剤をより別のものとして計数されやすくする処理を行う。
【００７１】
クラスタリング部１１１は、距離変換部１１０によって距離変換された移動軌跡間距離に対し、類似した移動軌跡を一つの領域と分類するクラスタリング処理を行い、クラス数を薬剤数として出力する。
【００７２】
本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいる。検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
【００７３】
図２Ａは、図１に示した薬剤計数装置１００にディスプレイ１３０を接続したシステム構成を示す図である。このシステムでは、薬剤計数部１０３が計数した薬剤数をディスプレイ１３０に表示する。
【００７４】
図２Ｂは、図１に示した薬剤計数装置１００にスピーカ１３５を接続したシステム構成を示す図である。このシステムでは、薬剤計数部１０３が計数した薬剤数をスピーカ１３５が音声で出力する。
【００７５】
図２Ｃは、図１に示した薬剤計数装置１００に薬剤数比較部１１４および停止信号発生部１４０を接続したシステム構成を示す図である。薬剤数比較部１１４は、薬剤計数部１０３により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する。停止信号発生部１４０は、薬剤数比較部１１４が、薬剤計数部１０３により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置１００を停止させるための信号を発生する。
【００７６】
なお、薬剤計数装置１００を構成する各構成要素（画像入力部１０１、移動軌跡算出部１０２、薬剤計数部１０３）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図３Ａは、コンピュータによって構成された本実施の形態における薬剤計数装置のハードウェア構成を示す図である。図３Ａは、図２Ａに示したシステムに含まれる薬剤計数装置１００のコンピュータによるハードウェア構成を示す。図３Ａにおいて、カメラ１２０は薬包のピクチャを撮影して出力し、コンピュータ２００は、カメラ１２０からピクチャを取得して薬剤計数処理を行った結果をディスプレイ１３０上に表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４にロードされる。ＣＰＵ２０２はＲＡＭ２０４にロードされたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、カメラ１２０で撮影されたピクチャを、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたピクチャを出力し、ディスプレイ１３０がそのピクチャを表示する。
【００７７】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ―ＲＯＭに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４にロードされてもよい。
【００７８】
図３Ｂおよび図３Ｃは、図２Ｂおよび図２Ｃに示したシステムに含まれる薬剤計数装置１００のコンピュータによるハードウェア構成を示す。各システムの薬剤計数装置１００のハードウェア構成は、図３Ａに示したものと同一である。このため、その詳細な説明はここでは繰り返さない。
【００７９】
以下、本実施の形態における薬剤計数装置１００の動作を、図４を用いて説明する。
【００８０】
図４は、本実施の形態における薬剤計数装置１００の動作を表すフローチャートである。
【００８１】
図４において、ステップＳ３０１〜Ｓ３１１は、それぞれ図１の各処理部１０１〜１１１に対応している。すなわち、画像入力部１０１では画像入力ステップＳ３０１、移動軌跡算出部１０２では移動軌跡算出ステップＳ３０２、薬剤計数部１０３では薬剤計数ステップＳ３０３の各動作を実行する。また、薬剤計数ステップＳ３０３は、距離算出ステップＳ３０４、節らしさ算出ステップＳ３０５、分離計数ステップＳ３０７の４つのステップを含む。距離算出部１０４では距離算出ステップＳ３０４、節らしさ算出部１０５では節らしさ算出ステップＳ３０５、分離計数部１０７では分離計数ステップＳ３０７、の各動作を実行する。また、節らしさ算出ステップＳ３０５は、特徴量算出ステップＳ３０８、関節特定ステップＳ３０９の２つのステップを含む。特徴量算出部１０８では特徴量算出ステップＳ３０８、関節特定部１０９では関節特定ステップＳ３０９の各動作を実行する。また、分離計数ステップＳ３０７は、距離変換ステップＳ３１０、クラスタリングステップＳ３１１の２つのステップを含む。距離変換部１１０では距離変換ステップＳ３１０、クラスタリング部１１１ではクラスタリングステップＳ３１１の各動作を実行する。
【００８２】
最初に、画像入力ステップＳ３０１が、画像入力部１０１により実行される。つまり、画像入力部１０１は、カメラ１２０から、動画像を構成する複数のピクチャを取得する。本実施の形態では、カメラ１２０から取得される動画像は３０フレーム／秒の動画像である。
【００８３】
図５は、撮影状況、および撮影される薬包の画像の一例を示す図である。薬剤計数装置１００は、薬包内に薬剤を封止する薬剤封止システムに設置されている。薬包を複数連ねた薬包シートを送り出すベルトコンベア４００上部などにカメラ１２０が設置される。薬剤計数装置１００は、カメラ１２０により取得した移動する薬包の動画像に対して薬剤計数処理を行う。また、ベルトコンベア４００の下部や横部等には揺動機構１１２０が設置され、タイミング制御部１１２からカメラ撮影タイミングに依存する形で、ベルトコンベア４００の揺動タイミングが指示される。指示に従い揺動機構１１２０は、ベルトコンベア４００を振動させることにより、カメラ１２０の撮像対象となっている薬包に封入された薬剤を揺動させる。
【００８４】
揺動機構１１２０は、ベルトコンベア４００を実際に揺らすための物理的な機構であり、一般的にはモータおよび電気回路等により構成される。
【００８５】
カメラ１２０は、揺動機構１１２０によって揺動されている薬包に封入された薬剤を撮像することにより動画像を撮像する。図５にカメラ１２０により撮像された動画像に含まれるピクチャ１２１の一例を示す。ピクチャ１２１にも示されるように、薬包に封止される薬剤の種類は多種多様である。また、背景やビニール上の印字も複雑なため薬剤との分別が困難であることがわかる。
【００８６】
次に、移動軌跡算出ステップＳ３０２は、移動軌跡算出部１０２により実行される。つまり、移動軌跡算出部１０２は、画像入力部１０１から複数のピクチャを入力として受け、ピクチャ間の対応点を検出して、移動軌跡を生成して出力する。複数のピクチャ間の対応点を求める手法として、ここでは１フレームのピクチャ上における全ての画素（Ｉ個）を基準として、２フレームからＴフレームまでの（Ｔ−１）枚のピクチャ上の対応する画素を求める。
【００８７】
以下、本実施の形態では、画素単位の処理について説明するが、複数の画素からなるブロック単位で処理をする場合には、（ｉ）ブロック内で画素値を合計したり、（ｉｉ）ブロック内の画素値の平均値を求めたり、（ｉｉｉ）ブロック内の画素値の中央値を求めたりすることで、ブロックに対応するデータ（代表値）を求め、得られた代表値を用いて画素単位の処理と同様に処理すればよい。
【００８８】
例えば、ステップＳ３０１にてＴ枚のピクチャが入力されたと仮定すると、移動軌跡算出部１０２は、時刻ｔと時刻ｔ＋１に入力された２枚のピクチャを用いて、画素ｉの動きベクトル（ｕｔｉ，ｖｔｉ）を推定する。ここでは、必ずしもフレームが連続している必要はなく、例えば、時刻ｔと時刻ｔ＋ｎに入力された２枚のピクチャを用いて画素の動きを求めてもよい。ただし、ｎは１以上の整数である。
【００８９】
上記した複数のピクチャ間の対応点を算出する具体的な手法としては、非特許文献１または非特許文献２などに開示されている方法を用いてもよい。ともに、オプティカルフローを計算することにより動きベクトルを算出する手法であり、非特許文献１は階層的なブロックマッチングをベースに、オプティカルフローを算出する。画素間の滑らかさを拘束条件とするため、隣り合うオプティカルフロー間で動きベクトルが滑らかに変化するようなオプティカルフローを得る。特に急峻な動きや遮蔽がない場合に効率的かつ正確な対応点が求められる。また、推定の信頼度を計算できるため、後述するように、信頼度がある閾値より低い対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。
【００９０】
これに対して、非特許文献２はグラフカットベースのオプティカルフロー算出手法であり、計算コストは高いが、正確な対応点がピクチャ上で密に求められる。また、この手法によると、オクルージョンの領域も推定できるため、後述するようにオクルージョン領域に位置する対応点を以降の処理より除くことで、全動きベクトルに対する誤った動きベクトルの割合を低減でき、より正確な関節領域の推定を行えるという効果がある。さらなる詳細は各文献に記載されているため、その詳細な説明は省略する。
【００９１】
【非特許文献１】Ｐ．Ａｎａｎｄａｎ，“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．２８３−３１０，１９８９
【非特許文献２】Ｖｌａｄｉｍｉｒ Ｋｏｌｍｏｇｏｒｏｖ ａｎｄ Ｒａｍｉｎ Ｚａｂｉｈ， “Ｃｏｍｐｕｔｉｎｇ Ｖｉｓｕａｌ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｗｉｔｈ Ｏｃｃｌｕｓｉｏｎｓ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００１
【００９２】
さらに、移動軌跡算出部１０２は、画素の動きとして、前記動きベクトルの代わりにアフィンパラメータを推定してもよい。この時、すべての画素について動き情報を求めてもよい。また、より高速に処理を行いたい場合には、ピクチャをグリッドに区切って一定間隔のグリッド上の画素についてのみ動き情報を求めてもよいし、上述したように、ピクチャをブロックに区切ってブロックごとに動き情報を求めてもよい。
【００９３】
さらに、非特許文献１の開示技術を用いて動きベクトルを算出する場合は、前述したようにその信頼度を計算することができるため信頼度の高い動き情報を持つ画素のみを用いてもよい。また、非特許文献２の開示技術を用いて動きベクトルを算出する場合は、前述したようにオクルージョンを推定することができる。そのため、遮蔽（しゃへい）されていない画素の動き情報のみを用いてもよい。
【００９４】
さらに、画素の動きを算出する手法として、前記したブロックの並進移動を仮定して動きベクトルを算出する方法の代わりに、ブロックのアフィン変形を仮定して動きベクトルを算出する方法を用いてもよい。アフィン変形を仮定して動きベクトルを算出する方法は、非特許文献３の開示技術を用いて実現することができる。
【００９５】
【非特許文献３】Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｃａｒｌｏ Ｔｏｍａｓｉ “Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ”， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ５９３−６００，１９９４
【００９６】
上記手法では、時刻ｔと時刻ｔ＋１に入力されたピクチャの画素ｉ近傍の動きに相当するアフィンパラメータＡｔｉを推定する。画素ｉについて、時刻ｔと時刻ｔ＋１におけるピクチャ上での画素位置ｘｔｉとｘｔ＋１ｉは式１に示す関係がある。
【００９７】
【数１】
【００９８】
上記手法では、特に回転運動をする物体に対して、並進移動を仮定して動きベクトルを算出する手法を用いる場合よりも、高精度に画素ｉの動きを推定することができる。
【００９９】
そして、移動軌跡算出部１０２は、時間的に異なるＴ枚のピクチャ間で算出された前記画素の対応点から移動軌跡ｉを算出する。以下、画素ｉの移動軌跡を、移動軌跡ｉと呼ぶこととする。図６Ａに示すように、移動軌跡算出部１０２は、各薬剤５０３ａ〜５０３ｃ上の画素の動きを追跡し、各画素の対応点を求める。各画素の対応点を求めることにより、各薬剤上の動きベクトル情報５０２ａ〜５０２ｃを求める。
【０１００】
つまり、移動軌跡算出部１０２は、１フレームのピクチャ上のある画素ｉの座標値（ｘ１ｉ，ｙ１ｉ）と、時刻ｔにおける画素ｉの対応点の画素座標値（ｘｔｉ，ｙｔｉ）とから、式２のように移動軌跡ｘｉを算出する。図６Ｂは、求められた移動軌跡の一例を示す図である。図６Ｂでは、ｔ＝１〜４の４枚のピクチャを示している。例えば、ｔ＝１のピクチャの座標（ａｘ１，ａｙ１）に位置する輝度値ａＣ１の点ａが、ｔ＝２のピクチャの座標（ａｘ２，ａｙ２）の点に対応し、その点の輝度値はａＣ２であることが分かる。
【０１０１】
【数２】
【０１０２】
本実施の形態において、移動軌跡ｘｉは、１フレームからＴフレームまでのＴ枚のピクチャ間にわたる対応点であるものとする。
【０１０３】
移動軌跡算出部１０２に入力された動画像は、複数枚のピクチャで構成される。このとき移動軌跡は、１フレームのある画素にそれぞれ対応する、２フレームからＴフレームのピクチャ上の対応点の集まりである。移動軌跡は、各ピクチャのピクチャ座標値を要素とするベクトルで表される。
【０１０４】
なお、移動軌跡算出部１０２においてピクチャ間の対応点を求める際、ピクチャの全ての画素ごとに対応点を求める代わりに、ピクチャ内の隣接する複数の画素（ブロック）ごとに対応点を求めるものとしてもよい。本明細書において、ある対応点が１画素ごとに求められたものか、または複数の画素に対して１つの対応点が求められたかを区別しない。また、あるピクチャの画素ｉに対応する他のピクチャの対応点、および、あるピクチャのブロックｉに対応する他のピクチャの対応点を、いずれも画素ｉの移動軌跡と呼ぶものとする。
【０１０５】
距離算出ステップＳ３０４は、距離算出部１０４によって実行される。距離算出部１０４は、移動軌跡算出部１０２が算出した複数の移動軌跡ｘｉを用いて、移動軌跡間の類似性を表す距離を算出する。また、距離算出部１０４は、算出したそれぞれの移動軌跡間距離、さらに、移動軌跡間測地距離が辿る経路上の移動軌跡の情報を、距離経路データ１０６として距離変換部１１０へ出力する。
【０１０６】
以下、距離算出部１０４における処理について説明する。
【０１０７】
距離算出部１０４は、画素ｉの移動軌跡と画素ｊの移動軌跡との間のユークリッド距離ｆ（ｉ，ｊ）および測地距離ｇ（ｉ，ｊ）を段階的に算出する。ここで、ユークリッド距離、測地距離はともに、移動軌跡の類似性を表す距離であるため、全く等しい移動軌跡間ではどちらも０となり、逆に移動軌跡間の類似性が低いほど、正のより大きな距離値（∞含む）をとるような距離である。
【０１０８】
距離算出部１０４は、式３により、画素ｉの移動軌跡と画素ｊの移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）を算出する。
【０１０９】
【数３】
【０１１０】
ここで式３によって算出されるユークリッド距離ｆ（ｉ，ｊ）は、表記の都合上、全ての移動軌跡間について定義したが、ユークリッド距離として有限な値となるのは、Ｎ個の移動軌跡ｘｉの間でのみとなる。
【０１１１】
なお、本実施の形態におけるユークリッド距離は、式３によって算出するとしたが、この式に限定するものではない。ユークリッド距離は、式３と同様に、移動軌跡間のピクチャ座標における位置、動き、加速度、回転速度などのような、幾何的な類似度を表す指標であればよく、例えば、下記の式４を用いてもよい。
【０１１２】
【数４】
【０１１３】
式４において、ｗは重み係数であり、設計者が設定するパラメータである。上記式４の移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）は、移動軌跡間におけるピクチャ座標の距離の時間平均に、ピクチャ座標の距離の時間変動成分を加えたものである。特に移動軌跡間距離の時間変動成分は、移動軌跡の動きの類似度を示すものであり、これによって、形状変化を伴うような場合でも、より正確に移動軌跡間の類似度を捉えることができる。
【０１１４】
以上の手順で算出した移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）の集まりを、ユークリッド距離マトリクスＦｄｉｓｔとして表す。
【０１１５】
【数５】
【０１１６】
続いて、距離算出部１０４は、移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。
【０１１７】
以降、距離算出部１０４において、ユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する動作を詳しく説明する。
【０１１８】
まず、距離算出部１０４は、算出したユークリッド距離ｆ（ｉ，ｊ）に対してあらかじめ定められた閾値Ｒを用いて、式６で示される非線形化された距離ｆ´（ｉ，ｊ）を算出する。
【０１１９】
【数６】
【０１２０】
次に、距離算出部１０４は、非線形化された距離ｆ´（ｉ，ｊ）から、測地距離を算出する。「測地距離」とは、ある空間に定義された複数のデータ点について、それらのデータ点間の接続、および接続されたデータ点間の距離が得られているときに、ある２つのデータ点間を結び得る全ての経路の距離のうちの最短の距離である。
【０１２１】
したがって、距離算出部１０４は、第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊまでの測地距離の算出においては、他の複数の移動軌跡のいずれかを中継点として第ｉの移動軌跡ｘｉから第ｊの移動軌跡ｘｊに辿りつく全ての経路のうちの最短の経路を、測地距離として算出する。
【０１２２】
例えば、移動軌跡ｘｉと移動軌跡ｘｊの２点間を直接結ぶノードの距離ｆ´（ｉ，ｊ）が得られているとする。このとき移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は、２点を直接結ぶノード以外に、別の移動軌跡ｘｓを中継する経路もある。この経路の距離をｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）とする。このような移動軌跡ｘｉと移動軌跡ｘｊの２点間を結ぶ経路は複数あり、それらの距離のうちで最も短い距離を測地距離ｇ（ｉ，ｊ）として算出する（式７）。
【０１２３】
【数７】
【０１２４】
式７において、ｍｉｎ（ｘ，ｙ，…）は、値ｘと値ｙなどのうち最も小さい値を返す関数である。また、ｓは、移動軌跡ｘｓであり、移動軌跡ｘｉから移動軌跡ｘｊに辿（たど）りつくための中継点である。ここで、ｆ´（ｉ，ｓ）＋ｆ´（ｓ，ｊ）における中継点ｓは１点に限るものではない。
【０１２５】
上述した測地距離の算出における２点間の最短経路を探索する手法の詳細は、例えば非特許文献４のダイクストラ法が広く知られているため、ここでは処理手順の詳細説明を省略する。
【０１２６】
【非特許文献４】Ｅ．Ｗ．Ｄｉｊｋｓｔｒａ，“Ａ ｎｏｔｅ ｏｎ ｔｗｏ ｐｒｏｂｌｅｍｓ ｉｎ ｃｏｎｎｅｘｉｏｎ ｗｉｔｈ ｇｒａｐｈｓ”，Ｎｕｍｅｒｉｓｃｈｅ Ｍａｔｈｅｍａｔｉｋ，ｐｐ．２６９−２７１，１９５９
【０１２７】
上記した手順により、距離算出部１０４は、長時間継続する移動軌跡間のユークリッド距離ｆ（ｉ，ｊ）から測地距離ｇ（ｉ，ｊ）を算出する。
【０１２８】
また、算出した測地距離ｇ（ｉ，ｊ）は、最短経路を通った際の距離である。したがって、ある測地距離に対応する最短経路上の中継点ｓが、各移動軌跡間に対し１パターン求められる（中継点が存在しない場合も含む。）。距離算出部１０４は、各測地距離に対する中継点のインデクスを、距離経路データ１０６として分離計数部１０７へ渡す。
【０１２９】
図７Ａに様々な剛体の動きに伴う移動軌跡の一例を示し、図７Ｂおよび図７Ｃに距離経路データ１０６の一例を示す。図７Ａのように、４フレームにわたる対応点の組が４つ存在するとする。図７Ａでは、ｔ＝ｔ１〜ｔ４の４枚のピクチャを示している。例えば、ｔ＝ｔ１のピクチャの座標（ｘ１ｔ１，ｙ１ｔ１）の点は、移動軌跡を辿ることにより、ｔ＝ｔ４のピクチャの座標（ｘ１ｔ４，ｙ１ｔ４）の点に対応していることが分かる。ここで、（ｘｊｔｉ，ｙｊｔｉ）は、ｔ＝ｔｉのフレームにおけるｊ番目（ｉｎｄｅｘ＝ｊ）の移動軌跡の点を示している。
【０１３０】
また、距離経路データ１０６は、ある２つのインデクスに対応する移動軌跡間の移動軌跡間距離および中継点のインデクス番号を含む。具体的には、距離経路データ１０６は、図７Ｂに示す距離経路インデクスデータ１０６ａと、図７Ｃに示す各移動軌跡インデクスが対応する移動軌跡の座標を保持する移動軌跡リストデータ１０６ｂとを含む。
【０１３１】
図７Ｂに示す距離経路インデクスデータ１０６ａは、軌跡長と、軌跡数と、移動軌跡のペア毎の移動軌跡間距離と中継点のインデクス番号とを含む。軌跡長は動画像に含まれる移動軌跡の長さ（フレーム数）を示し、図７Ａの例では４である。また、軌跡数は動画像に含まれる移動軌跡の数を示し、図７Ａの例では４である。また、例えば、１番目の移動軌跡と４番目の移動軌跡との間の移動軌跡間距離は、３．７であり、１番目の移動軌跡と４番目の移動軌跡との間に中継点として３番目の移動軌跡が存在することが示されている。
【０１３２】
図７Ｃに示す移動軌跡リストデータ１０６ｂは、軌跡長と、軌跡数と、移動軌跡とを含む。軌跡長および軌跡数は、図７Ｂに示したものと同じである。また、移動軌跡には、移動軌跡インデクス毎の移動軌跡の座標が示されている。例えば、１番目の移動軌跡として、図７Ｃでは「ｘ１ｔ１ ｙ１ｔ１ ｘ１ｔ２ ｙ１ｔ２ ｘ１ｔ３ ｙ１ｔ３ ｘ１ｔ４ ｙ１ｔ４」と示されている。これは、１番目のフレームの座標（ｘ１ｔ１，ｙ１ｔ１）の点、２番目のフレームの座標（ｘ１ｔ２，ｙ１ｔ２）の点、３番目のフレームの座標（ｘ１ｔ３，ｙ１ｔ３）の点、４番目のフレームの座標（ｘ１ｔ４，ｙ１ｔ４）の点を繋げたものが１番目の移動軌跡であることを示す。
【０１３３】
距離経路インデクスデータ１０６ａおよび移動軌跡リストデータ１０６ｂは、それぞれ別のデータとして分離計数部１０７に受け渡されてもいいし、一つのデータとしてまとめて（例えば、１つ目の距離経路データの後ろに２つ目の距離経路データが格納されている形式等で）受け渡されてもよい。また、距離経路データ１０６の形式は例に挙げた距離経路インデクスデータ１０６ａと、移動軌跡リストデータ１０６ｂに限るものではなく、各移動軌跡間の距離を保持すると同時に、測地距離に対応する中継点の移動軌跡を特定できるものであればよい。また、分かりやすさのために、距離経路インデクスデータ１０６ａの例には移動軌跡間距離として測地距離を格納しているが、もちろん２点間の類似度を表す距離であれば測地距離に限らない。
【０１３４】
なお、ユークリッド距離と測地距離の最も異なる点は、距離を求める２データ点と、他のデータ点との間の関係である。他のデータ点の状態に左右されることなく、２つのデータ点のみから定義されるのがユークリッド距離であり、それに対して、２つのデータ点、および２つのデータ点間を結び得る経路上にある他のデータ点を含む距離として定義される、すなわち他のデータ点の状態から影響を受ける可能性があるのが測地距離である。
【０１３５】
算出した移動軌跡間の測地距離ｇ（ｉ，ｊ）の集まりを、測地距離マトリクスＧｄｉｓｔとして表す（式８）。
【０１３６】
【数８】
【０１３７】
以上の手順によって、距離算出部１０４は、Ｎ個の移動軌跡間の類似度を表す測地距離ｇ（ｉ，ｊ）を算出し、測地距離マトリクスＧｄｉｓｔとして出力する。
【０１３８】
上記した複数の移動軌跡間のユークリッド距離から測地距離を算出する処理について、図８Ａ〜図８Ｃの概念図を用いて説明する。
【０１３９】
図８Ａは、ピクチャ上の複数の移動軌跡の一例を示す図である。なお移動軌跡は、背景領域においても算出されるが、表記を容易にするため、ここでは背景領域の移動軌跡を図示しないものとする。
【０１４０】
図８Ｂは、各々が式２で示される複数の移動軌跡のデータの分布を示した図である。図８Ｂ中の「×」印の各データ点は、式２で示した画素ｉの移動軌跡ｘｉに相当する。移動軌跡ｘｉは独立したＴ×２個の変数からなるベクトルである。したがって、移動軌跡は、本来は最大で（Ｔ×２）次元空間のデータであるが、図８Ｂでは表記の都合上、３次元空間の点として表している。
【０１４１】
図８Ｂ中の矢印６０１は、式３で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間のユークリッド距離ｆ（ｉ，ｊ）を表す。すなわちデータ点ｉとデータ点ｊとのユークリッド距離６０１は、データ間を直接結んだ距離になる。
【０１４２】
一方、図８Ｃ中の矢印６０２は、式７で得られる移動軌跡ｘｉと移動軌跡ｘｊとの間の測地距離ｇ（ｉ，ｊ）を表す。図８Ｃに示すように、データ点ｉとデータ点ｊとの測地距離６０２は、中継のデータ点ｓを辿った距離となる。
【０１４３】
移動軌跡間のユークリッド距離は、他の移動軌跡の分布をまったく反映していない。このため、関節で繋がった剛体間において、移動軌跡間の距離は、関節の位置や形状を直接は表さずに変動する。これに対して、測地距離は他の移動軌跡を反映した距離となっている。すなわち関節で繋がった剛体間においては、移動軌跡間の距離は、剛体上と変わらず一定の値をとる。つまり、関節における繋がりがあるかどうかは、これら２種類の距離の変動にあらわれる。
【０１４４】
なお、距離算出部１０４において、ユークリッド距離から測地距離を求める手法として、式６および式７を用いる手法を示したが、測地距離の算出方法をこれに限定するものではない。
【０１４５】
例えば、あらかじめ定めたＫ個の閾値Ｒｋの代わりに、あらかじめ定めたＫ個の閾値Ｎｋを用いる。そして、ユークリッド距離ｆ（ｉ，ｊ）から非線形化した距離ｆ´ｋ（ｉ，ｊ）を求める処理として、以下の処理を行ってもよい。つまり、閾値Ｒｋ以上のユークリッド距離ｆ（ｉ，ｊ）を無限大に置き換える式６の処理の代わりに、ある移動軌跡ｘｉと他の（Ｉ−１）個の移動軌跡とのユークリッド距離ｆ（ｉ，ｊ）のうちで、小さいほうからＮｋ番目のユークリッド距離よりも大きいユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出してもよい。
【０１４６】
また、ユークリッド距離を無限大に置き換える処理の代わりに、小さいほうからｋ番目の移動軌跡とのユークリッド距離よりも大きい移動軌跡とのユークリッド距離を無限大で置き換えることによって、非線形化した距離ｆ´ｋ（ｉ，ｊ）を算出するとしてもよい。
【０１４７】
次に、節らしさ算出ステップＳ３０５は、節らしさ算出部１０５によって実行される。節らしさ算出部１０５は、図１の構成図に示すとおり、特徴量算出部１０８と関節特定部１０９とを含み、特徴量算出部１０８では、移動軌跡間の関節らしさを表す関節特徴量を算出し、関節特定部１０９は、特徴量算出部１０８で算出された各移動軌跡ペアの関節特徴量に基づいて、移動軌跡の節らしさ特徴量を算出する。
【０１４８】
具体的には、特徴量算出ステップＳ３０８において、特徴量算出部１０８は、まず距離算出部１０４で算出された測地距離、ユークリッド距離を元に、移動軌跡間でのユークリッド距離の時間変化、および測地距離の時間変化をそれぞれ算出する。続いて、算出したユークリッド距離の時間変化、および測地距離の時間変化に基づいて、移動軌跡ペア間の関節らしさを表す関節特徴量ｊｒ、および、前記移動軌跡ペア間の関節特徴量ｊｒから求めることのできる前記移動軌跡ペア間の同一剛体らしさを表す同一剛体特徴量ｒｒを求める。
【０１４９】
関節特定ステップＳ３０９において、関節特定部１０９は、移動軌跡ペア間の関節特徴量ｊｒおよび、前記移動軌跡ペア間の関節特徴量ｊｒから求めることのできる同一剛体特徴量ｒｒを利用して、各移動軌跡の節らしさ特徴量Ｘｊｎｔを算出する。
【０１５０】
まず、特徴量算出部１０８において移動軌跡間の「関節らしさ」（各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合い）を表す関節特徴量を算出する方法について説明する。
【０１５１】
はじめに、関節状動きを有する剛体領域上に存在する移動軌跡間距離が特徴的に有する性質について述べ、そのあと、特徴量算出部１０８で実行される処理について説明する。
【０１５２】
ここで、第１の移動軌跡と、別の第２の移動軌跡との間で求められる距離を、移動軌跡間距離と定義する。ここで、「距離」とはユークリッド距離、測地距離をともに含む概念であるとする。
【０１５３】
図９Ａ〜図９Ｆは、様々な剛体の動きに伴う、移動軌跡ｘｉ、ｘｊ間の測地距離ｇ（ｘｉ，ｘｊ）、およびユークリッド距離ｆ（ｘｉ，ｘｊ）の時間変化について示した図である。図９Ａおよび図９Ｂは、関節状動きに伴う移動軌跡間距離の時間変化（時刻ｔ＝Ｔから時刻ｔ＝Ｔ＋δへの移動軌跡間距離の変化）を、図９Ｃ〜図９Ｆは、関節状動きではない動きに伴う移動軌跡間距離の時間変化（時刻ｔ＝Ｔから時刻ｔ＝Ｔ＋δへの移動軌跡間距離の変化）を示している。
【０１５４】
なお、図９Ａ〜図９Ｆでは、説明のために、点群（移動軌跡の集まり）について、二つの区別された領域上に示しているが、実際はクラスタリングなどを一切行っておらず、これらの点群がどの領域に属するかといった前処理としての区別は、特徴量算出部１０８でも、特徴量算出部１０８より前の処理部でも行っていない。すなわち、実際は２点間の、ペアワイズな処理のみを行うものとする。これにより、関節で接続された移動体の領域抽出を行うことなく、関節の位置を特定することができる。
【０１５５】
図９Ａおよび図９Ｂにはそれぞれ、２つの移動軌跡ｘｉ、ｘｊが、関節状動きを伴う剛体上にそれぞれ存在する場合の例を示す。それぞれ、移動軌跡間の測地距離およびユークリッド距離の時間変化を分かりやすく示すために、矢印で移動軌跡間距離（移動軌跡間の測地距離およびユークリッド距離）を示している。矢印は、以下の図９Ｃ〜図９Ｆについても同様に移動軌跡間距離を示すものとする。
【０１５６】
一方、図９Ｃおよび図９Ｄにはそれぞれ、２つの移動軌跡ｘｉ、ｘｊが、同一の剛体上にそれぞれ存在する場合の例を示す。見易さのために、２つの移動軌跡ｘｉ、ｘｊが存在する領域をそれぞれ異なるハッチングで示しているが、時刻ｔ＝Ｔと、時刻ｔ＝Ｔ＋δにおける領域全体の形状は変化していない。すなわち、同じハッチングで示された領域のみならず異なるハッチングで示された領域は同一の剛体に属するものであり、移動軌跡ｘｉ、ｘｊが、同一の剛体上で、剛体動きをしている例を示している。
【０１５７】
さらに、図９Ｅおよび図９Ｆでは、移動軌跡ｘｉ、ｘｊが同一の剛体上になく、また、関節状動きを伴う２剛体上の２点でもない、すなわち図９Ａ〜図９Ｄいずれの例にも属さない場合の、移動軌跡間距離の時間変化の一例を示す。すなわち移動軌跡ｘｉ、ｘｊが異なる移動体に属し、さらに、これらの移動軌跡ｘｉ、ｘｊを含む剛体領域が関節状動きを伴わない例を示している。
【０１５８】
ここで、まず移動軌跡間の測地距離（図９Ａおよび図９Ｃおよび図９Ｅ）に着目する。移動軌跡ｘｉ、ｘｊを含む剛体が図９Ａのように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘｉ、ｘｊ間の測地距離は、ほとんど変化しない。測地距離は、移動軌跡ｘｉ、ｘｊと異なる移動軌跡を経由して移動軌跡を「たどる」距離であるため、ある小領域を支点とする回転動きである関節状動きを有する２領域間では、支点の小領域を経由して移動軌跡を「たどる」距離である測地距離は不変となる。したがって、図９Ａの移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化はほぼ一定（ゼロに近い）となる。移動軌跡ｘｉ、ｘｊが図９Ｃのように同一剛体上に存在する場合、移動軌跡ｘｉ、ｘｊ間の移動軌跡を「たどる」最短経路である測地距離は常に一定であり、明らかに移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化はゼロとなる。
【０１５９】
以上の２ケースにあてはまらない場合、図９Ｅに示した例のように、移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化がゼロとならない場合がほとんどである。以上より、移動軌跡ｘｉ、ｘｊを含む剛体が図９Ａのように関節状領域を構成する条件として、移動軌跡間測地距離ｇ（ｘｉ、ｘｊ）の時間変化がほぼ一定（ゼロに近い）となる必要がある。
【０１６０】
次に、移動軌跡間のユークリッド距離（図９Ｂおよび図９Ｄおよび図９Ｆ）に着目する。移動軌跡ｘｉ、ｘｊを含む剛体が図９Ｂのように関節（節領域）を介して接続された関節状領域を構成する場合、移動軌跡ｘｉ、ｘｊ間のユークリッド距離は、測地距離と異なり、時間に伴い変化する。特に、関節の動きが大きい場合や、関節状領域の節側よりは末端（節から離れる）の方で大きな変化を伴うことは、図からも容易に理解できる。移動軌跡ｘｉ、ｘｊが図９Ｄのように同一剛体上に存在する場合、移動軌跡ｘｉ、ｘｊ間のユークリッド距離は、測地距離同様常に一定であり、明らかに移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化はゼロとなる。
【０１６１】
以上の２ケースにあてはまらない図９Ｆの場合、図９Ｆに示した例のように、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化は不定であるが、ゼロではない場合がほとんどである。以上より、移動軌跡ｘｉ、ｘｊを含む剛体が図９Ｂのように関節を構成する条件として、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化がゼロではないことが挙げられる。特に、関節の動きが大きいほど、また移動軌跡がそれぞれ関節の節から離れた位置に存在するほど、移動軌跡間ユークリッド距離ｆ（ｘｉ、ｘｊ）の時間変化がより大きな値をとるといえる。
【０１６２】
したがって、２つの移動軌跡が関節を構成する剛体上にそれぞれ存在する条件として、測地距離の時間変化、およびユークリッド距離の時間変化に関する以下の２つの条件が挙げられる。すなわち、「移動軌跡間のユークリッド距離ｆの時間変化ｆｔが、より大きく」、かつ「移動軌跡間の測地距離ｇの時間変化ｇｔが、より小さい（ゼロに近い）」ような移動軌跡のペアは、より関節らしいペア（それぞれが関節を構成する剛体上にある移動軌跡らしいペア）と定義することができる。
【０１６３】
本明細書において、「関節状動き」とは、それぞれが関節を構成する剛体上にある移動軌跡ペアがなす動きである。ここでは図９Ａのような例を典型的な関節状動きの例として説明したが、もちろん前述のような動きであれば、図９Ａの例に限らない。
【０１６４】
本明細書ではある移動軌跡ペアの動きが、どれくらい「関節状動き」らしいかを「関節らしさ」と定義し、その「関節らしさ」を表す関節特徴量を特徴量算出部１０８で算出して用いる。
【０１６５】
ここまでに挙げた、３パターンの移動軌跡間の関係について、移動軌跡間の距離の時間変化と、移動軌跡を含む剛体がそれぞれどのような関係にあるかを、図１０Ａに示す。
【０１６６】
すなわち、移動軌跡ｘｉ、ｘｊが、図９Ｃおよび図９Ｄのように同一剛体上にある場合、移動軌跡間の測地距離の時間変化ｇｔ、ユークリッド距離の時間変化ｆｔはともに０である。このパターンを、図１０Ａ上では「同一剛体」と示す。
【０１６７】
また、図９Ａおよび図９Ｂのように、互いに関節状の動きをなす異なる剛体上に存在する場合、ユークリッド距離の時間変化ｆｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇｔがより０に近づくほど、より関節らしくなる。図１０Ａで「関節状動き」と示しているパターンである。つまり、ユークリッド距離の時間変化ｆｔが０より大きく、大きな値であるほど、また測地距離の時間変化ｇｔがより０に近づくほど、より「関節らしさ」は高い（つまり、関節らしい）。
【０１６８】
最後に、以上の２パターンにあてはまらない残りの場合については、「その他（非・関節状動き）」と図１０Ａに示している。
【０１６９】
以上を踏まえ、以下で特徴量算出部１０８の処理を説明する。
【０１７０】
まず、特徴量算出部１０８は、それぞれ、指定した処理対象のフレームセットｔ０〜Ｔにわたって対応のとれている移動軌跡について、移動軌跡間測地距離ｇの時間変化ｇｔ、ユークリッド距離ｆの時間変化ｆｔを算出する。具体的には、以下の式９および式１０にしたがって、測地距離ｇおよびユークリッド距離ｆを、それぞれ与えた分割単位ｄｔで微分した値の絶対値を、１連の処理を行うフレームセットｔ０〜Ｔにわたって移動軌跡ごとに加算した値として算出する。
【０１７１】
絶対値として求める理由は、関節動きであるかどうかは距離の時間変化の大きさに依るものであり、距離が時間に伴い増加するか減少するか、すなわち微分値の向きは関与しないからである。
【０１７２】
【数９】
【数１０】
【０１７３】
なお、特徴量算出部１０８における測地距離ｇの時間変化ｇｔ、ユークリッド距離ｆの時間変化ｆｔの求め方については、式９および式１０に限るものではない。微分に類する方法であるが、最も単純な方法としては、ある定めた時間間隔で測地距離ｇ、ユークリッド距離ｆの差分をそれぞれ求めて、その絶対値の和を用いてもよい。特に、２フレーム間での処理であれば、１フレーム目と２フレーム目にそれぞれ対応する移動軌跡間距離の差分の絶対値として求めることができる。また、絶対値の代わりに微分値を２乗した値を用いるなどしてもよい。
【０１７４】
また、処理に利用するフレームセットが、関節動き（閉⇒開⇒閉）の半周期に満たず、ユークリッド距離ｆが単純増加しかしないことがあらかじめ分かっている場合には、式９および式１０の代わりに、以下の式１１および式１２を用いてもよい。すなわち、場合によっては絶対値を必ずここで用いる必要もない。また、逆にユークリッド距離ｆが単純減少しかしないことがあらかじめわかっている場合にも、式１１および式１２に従って絶対値を使わずにｇｔ、ｆｔを求めたうえで、最後に絶対値を計算してもよい。
【０１７５】
【数１１】
【数１２】
【０１７６】
続いて、特徴量算出部１０８で移動軌跡ペア間の関節らしさを表す関節特徴量ｊｒ（ｉ，ｊ）を算出する手順について述べる。
【０１７７】
図１０Ｂに移動軌跡ペア間の関節関係（剛体／関節／その他）と、ｆｔおよびｇｔの関係の別の例を示す。図１０Ａにおける説明は、対応点の誤差がない場合に成り立つが、通常は誤差が存在するため、移動軌跡間の距離の時間変化の関係は、図１０Ｂのようになることが多い。そこで、ここでは、ノイズや拡大縮小がある場合を考え、図１０Ｂに基づく計算を行なうが、もちろん状況に応じて、図１０Ａの関係を利用してもかまわない。
【０１７８】
ここで、ｇｔ＞ｆｔとなる移動軌跡ペアについては、同一剛体上の２点でも、関節動きをする２点でもない場合が経験上ほとんどであるため、予めアウトライアとしておいて問題ない。実際には、ある程度のマージンを定めた上で、アウトライアの条件を設定する。詳細は後述する。
【０１７９】
なお、図１０Ｂでは、「２移動軌跡が同一剛体上」という条件について、理想的な状況下ではｇｔ＝ｆｔ＝０とできる。本実施の形態においては、ｇｔ＝ｆｔという条件（ｇｔおよびｆｔが直線Ｌｆｇに存在するという条件）にまで値域を拡張する。というのも、ある剛体が拡大縮小した場合や、対応点に微小な誤差が乗った場合、ｆｔは必ずしも０にはならない。ただし、この場合も同一剛体上の２点間の測地距離を算出する経路（移動軌跡を「たどる」距離を算出するために「たどる」経路）は、時間不変である。したがって、ユークリッド距離ｆの変動に合わせて測地距離ｇも変化するため、距離の時間変化についてもｆｔ＝ｇｔといえる。
【０１８０】
以上により、実施の形態１より広義の剛体関係を表す条件としてここではｆｔ＝ｇｔ（ｇｔおよびｆｔが直線Ｌｆｇに存在するという条件）を適用する。
【０１８１】
本実施の形態では、節らしさ特徴量の算出に、連続した関節特徴量の値を利用するため、２つの移動軌跡が同一剛体らしいほど大きな値をとる同一剛体特徴量ｒｒを定義し、測地距離の時間変化ｇｔ、ユークリッド距離の時間変化ｆｔより算出する。２つの移動軌跡が同一剛体らしいとは、２つの移動軌跡が同一剛体に含まれる程度が高いことを言う。
【０１８２】
同一剛体特徴量ｒｒは、ｆｔ−ｇｔグラフ上に移動軌跡ペアのｆｔ、ｇｔをプロットした際の、ｆｔ＝ｇｔ（直線Ｌｆｇ）からの距離ｄｌｉ，ｊに基づいて求められる。まず、ｆｔ＝ｇｔ（直線Ｌｆｇ）からの距離ｄｌｉ，ｊについては以下の式１３で求めることができる。
【０１８３】
【数１３】
【０１８４】
なお、直線Ｌｆｇからの距離ｄｌｉ，ｊの算出方法については式１３に限るものではない。発明者らの実験では、よりｆｔが大きいほど関節らしい、すなわち同一剛体らしくない、という結果が得られているため、式１３に対しｆｔの影響を付与した式を用いてもよい。例えば式１４を用いてもよい。もちろん、同様の効果が得られるのであれば、直線Ｌｆｇからの距離ｄｌｉ，ｊの算出方法については式１４に限るものではない。
【０１８５】
【数１４】
【０１８６】
同一剛体上の移動軌跡ペアに関して、理想的にはｄｌｉ，ｊ＝０となるはずであるが、実際には、計算誤差等の影響により、直線Ｌｆｇからずれ、ｄｌｉ，ｊ＝０とならないことがある。そこでマージンとして閾値Ｔｈ１、Ｔｈ２を設定し、以下の式１５で同一剛体特徴量ｒｒを算出する。ｒｒは０から１までの値をとり、１に近くなるほど、移動軌跡ペアが同一剛体上の移動軌跡らしいことを表す。エラー値として、ｒｒは−１をとる。なお、例えば、閾値Ｔｈ１には０．１を、閾値Ｔｈ２には０．０１を用いることができる。ただし、ｇｔ、ｆｔ算出時に、すべての距離を指定値６４を用いて正規化した場合の例である。
【０１８７】
【数１５】
【０１８８】
また、移動軌跡ペアの関節特徴量ｊｒは、同一剛体特徴量ｒｒから、以下の式１６で求める。関節特徴量ｊｒは１に近いほど、移動軌跡ペアが“関節らしい”ことを表し、関節特徴量ｊｒがゼロに近いほど、同一剛体上の２移動軌跡らしいことを表す。
【０１８９】
【数１６】
【０１９０】
同一剛体特徴量ｒｒは０から１までの値のため、関節特徴量ｊｒも０から１までの値をとる。ｊｒは１に近くなるほど、移動軌跡ペアの関節動きが大きいことを表す。なお、エラー値として、ｊｒは−１をとる。
【０１９１】
なお、以下では、同一剛体特徴量ｒｒ、関節特徴量ｊｒの両方を説明のため用いているが、先に述べたとおりこれら２つの特徴量は、互いに依存関係にある変数であるため、実際の処理においては両方を別々のものとして明に定義して用いる必要はなく、どちらかのみに基づいて計算を行えば十分である。
【０１９２】
なお、同一剛体特徴量ｒｒ、および関節特徴量ｊｒの算出方法については式１５、式１６に限るものではなく、同一剛体特徴量ｒｒについてはより直線Ｌｆｇに近いほど値が１に近く、離れるほど値が０に近くなるような関数を、また関節特徴量ｊｒについてはより直線Ｌｆｇに近いほど値が０に近く、離れるほど値が１に近くなるような関数を用いればよい。
【０１９３】
例えば同一剛体特徴量ｒｒについて、以下の式１７、あるいは式１８によって算出してもよい。適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。
【０１９４】
【数１７】
【数１８】
【０１９５】
また、例えば関節特徴量ｊｒについては、以下の式１９、あるいは式２０によって算出してもよい。このさい、必ずしも式１６の形式を満たす必要はなく、式１７、式１８、式１９、式２０、を自由に選択可能である。
【０１９６】
適切にパラメータσ、ｐａｒａｍを設定することで、Ｔｈ１，Ｔｈ２を用いずともアウトライアの影響を低減することができる。ただしｍａｘ＿ｄｌｉ，ｊはｄｌｉ，ｊ＞０を満たすｄｌｉ，ｊの最大値である。
【０１９７】
【数１９】
【数２０】
【０１９８】
また、先に述べたとおり、理想的な状況下では「２移動軌跡が同一剛体上」という条件をｇｔ＝ｆｔ＝０、「２移動軌跡が関節状動き」である条件をｇｔ＝０、ｆｔ≠０、とできる。そこで、状況によっては、これらの条件に基づいた同一剛体特徴量ｒｒ、および関節特徴量ｊｒを定義してもよい。例えば、任意の移動軌跡間について、測地距離の時間変化があらかじめ定めた測地距離閾値Ｔｇよりも小さく、かつユークリッド距離の時間変化があらかじめ定めたユークリッド距離閾値Ｔｅよりも大きい場合に、関節特徴量ｊｒを１とし、測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、またはユークリッド距離の時間変化があらかじめ定めたユークリッド距離閾値以下の場合に、関節特徴量ｊｒを０とするとしてもよい。以上により、特徴量算出部１０８において、関節特徴量が算出された。
【０１９９】
続いて、関節特定部１０９は、特徴量算出部１０８で算出された各移動軌跡ペアの関節特徴量に基づいて、移動軌跡の節らしさ特徴量を算出する。
【０２００】
ここで、図１１Ａ〜図１１Ｃに、節の移動軌跡Ａ、剛体上の移動軌跡Ｂ、Ｃ、Ｄ、およびアウトライアの移動軌跡Ｅを示す。図１１Ａに、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＣ，ＡＣ）を選択した場合の例を示す。図１１Ａに示すように、移動軌跡ペアＡＢは関節特徴量ｊｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒｒ（ＡＢ）が大きい。移動軌跡ペアＡＣも同様に関節特徴量ｊｒ（ＡＣ）が小さく、同一剛体特徴量ｒｒ（ＡＣ）が大きい。このような場合、移動軌跡Ａは、移動軌跡Ｂとも、移動軌跡Ｃとも、それぞれ同一剛体らしい、といえる。ここで、移動軌跡Ａが節であるためには、移動軌跡Ｂ、Ｃは異なる剛体に属する必要がある。したがって、図１１Ａに示すように、移動軌跡ペアＢＣについては、関節特徴量ｊｒ（ＢＣ）が大きく、同一剛体特徴量ｒｒ（ＢＣ）は小さいということになる。
【０２０１】
先に述べた例と同様、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ，ＢＤ，ＡＤ）を選択した場合の例を図１１Ｂに示す。図１１Ｂに示すように、移動軌跡ペアＡＢは関節特徴量ｊｒ（ＡＢ）が小さく、すなわち同一剛体特徴量ｒｒ（ＡＢ）が大きい。移動軌跡ペアＡＤも同様に関節特徴量ｊｒ（ＡＤ）が小さく、同一剛体特徴量ｒｒ（ＡＤ）が大きい。さらに、移動軌跡ペアＢＤも同様に関節特徴量ｊｒ（ＢＤ）が小さく、同一剛体特徴量ｒｒ（ＢＤ）が大きい。このような場合には、３つの移動軌跡Ａ、Ｂ、Ｄが全て同一剛体らしい、という情報が得られる。しかし、どの移動軌跡が節らしいのか、そもそも節らしい移動軌跡があるかどうかの情報すら得られない。
【０２０２】
さらに、ある３移動軌跡間の３つの移動軌跡ペア（ＡＢ、ＢＥ、ＡＥ）を選択した場合の例を図１１Ｃに示す。ここで、Ｅはアウトライアの移動軌跡である。
【０２０３】
図１１Ｃのようにアウトライアとの移動軌跡ペアＡＥ、ＢＥに関しては、関節特徴量ｊｒ、同一剛体特徴量ｒｒ、のどちらも−１の値になっているはずである。この場合も、移動軌跡ＡとＢのどちらが節なのか、そもそも節らしい移動軌跡があるかどうかの情報は得られない。
【０２０４】
したがって、図１１Ａの関係を満たす移動軌跡ペアから節らしさ特徴量を求められるようにすればよい。逆に、図１１Ｂおよび図１１Ｃの場合の影響はないようにしたい。そこで、以下の式２１で、移動軌跡Ａ以外の全ての移動軌跡ペアから、移動軌跡Ａの節らしさ特徴量Ｘｊｎｔを算出する。
【０２０５】
【数２１】
【０２０６】
ここで、
【数２２】
より、式２１は、
【数２３】
となるといえる。すなわち、移動軌跡Ａの節らしさ特徴量を、図１１Ａのような関係を満たす３移動軌跡からの情報によって表すことができる。
【０２０７】
逆に、節にない例えば移動軌跡Ｂについては、Ｂ以外の全ての移動軌跡ペアから以下の式２２で節らしさ特徴量Ｘｊｎｔを算出できる。
【０２０８】
【数２４】
【０２０９】
ここで、
【数２５】
より、式２２は、
【数２６】
【０２１０】
すなわち、節以外の移動軌跡に関しては、節らしさ特徴量Ｘｊｎｔの値が小さく抑えられることがわかる。
【０２１１】
以上の構成により、より移動軌跡ｘｋの節らしさを細かく表現する、すなわち、より正確に移動軌跡ｘｋの節らしさ特徴量を求めることができる。
【０２１２】
なお、あらかじめ定めた閾値Ｔｈ１、Ｔｈ２については、例えば、薬剤のサイズや動きの大きさがあらかじめ分かっている場合には、ｇｔ−ｆｔ値の分布が図１２Ａ〜図１２Ｃのように変化することがわかっている。図１２Ａ〜図１２Ｃにおいて、ハッチングを施した箇所がｇｔ値およびｆｔ値の分布している領域を示している。したがって、薬剤のサイズや動きの大きさに応じて、閾値Ｔｈ１、Ｔｈ２を変化させてもよい。たとえば、図１２Ｂのように大きな薬剤、動きに対しては、図１２Ａの場合に用いた閾値Ｔｈ１、Ｔｈ２よりも大きな閾値Ｔｈ１、Ｔｈ２を設定してもよい。
【０２１３】
あるいは、ユーザによる選択モードを備えても良い。薬剤の種類や数、サイズに対して最適な閾値Ｔｈ１、Ｔｈ２を事前に定めておき、本装置使用時に、ユーザが薬剤やサイズを指定できるようにすれば、より適切な閾値Ｔｈ１、Ｔｈ２を用いてより正しく移動軌跡の節らしさ特徴量を求めることができる。あるいは、タッチペンやタッチパッドなどにより、候補領域をユーザがあらかじめインタラクティブに指定してもよい。
【０２１４】
なお、“同一剛体らしい”移動軌跡ペアは、“関節らしい”移動軌跡ペアよりｆｔ＝ｇｔという関係に近いということは先に述べたが、それだけではなく、ｆｔ、ｇｔの値にもある程度の差があるため、これらの情報を追加して関節検出を高精度化することも可能である。
【０２１５】
例えば、図１２Ｃに示すように、閾値ＴｈＲｉｇよりもｆｔ、ｇｔがともに小さい移動軌跡ペアについては、同一剛体特徴量ｒｒがより大きくなる重み付けを行い、閾値ＴｈＲｉｇよりもｆｔ、ｇｔのどちらか大きい移動軌跡ペアについては、同一剛体特徴量ｒｒがより小さくなる重み付けを行うことで、より“同一剛体らしい”ものをより“同一剛体らしい”データとして扱うことができ、節らしさ特徴量の計算をより精度良く行うことができる。
【０２１６】
なお、関節特定部１０９を含む節らしさ算出部１０５は、節らしさ特徴量Ｘｊｎｔをそのまま分離計数部１０７に出力するのではなく、出力前に節らしさ特徴量Ｘｊｎｔの変換を行い、変換後の節らしさ特徴量を分離計数部１０７に出力するようにしてもよい。
【０２１７】
すなわち、関節特定部１０９は、節らしさ特徴量Ｘｊｎｔの値のうち、画素座標系からなる２次元平面上で極大となる点を節として求める。たとえば、節らしさ特徴量Ｘｊｎｔが局所的に極大であれば１をとり、それ以外ではゼロになるような新しい節らしさ特徴量ｎｅｗＸｊｎｔを定義し、関節特定部１０９は、新しい節らしさ特徴量ｎｅｗＸｊｎｔを分離計数部１０７に出力してもよい。ここでは簡単のため２値化したが、多値でももちろんかまわない。この構成によると、局所的に最も節らしさ特徴量Ｘｊｎｔが高い画素位置の情報を分離計数部１０７に渡すことができるため、関節の数が増えた際でも安定して関節領域（節領域、節）を特定することができる。
【０２１８】
以上より、関節特定部１０９は、各節候補領域についての移動軌跡ｘｋの節らしさ特徴量を求め、それらの値を出力する。
【０２１９】
次に、分離計数ステップＳ３０７は、分離計数部１０７によって実行される。
【０２２０】
分離計数部１０７は、図１の構成図に示すとおり、距離変換部１１０とクラスタリング部１１１とを含む。また、分離計数ステップＳ３０７は、距離変換ステップＳ３１０、クラスタリングステップＳ３１１の２つのステップを含む。
【０２２１】
距離変換ステップＳ３１０において、距離変換部１１０は、距離算出部１０４より受け取った距離経路データ１０６が含む、移動軌跡間測地距離の経路上の移動軌跡のうち、経路上の経由点（端点以外）となる移動軌跡における、前記関節特定部１０９で求めた節らしさ特徴量に応じて、該当経由点を経由する移動軌跡間距離を変換する。また、クラスタリングステップＳ３１１において、クラスタリング部１１１は、変換した移動軌跡間距離に基づき、移動軌跡をクラスタリングし、薬剤数として出力する。
【０２２２】
まず距離変換部１１０の動作について説明する。
【０２２３】
擬似的に関節とみなせる点で接触している２つの薬剤の例を図１３に示す。この薬剤上で取得される移動軌跡のうち代表的なものをａ〜ｆに示す。なお、実際にはより多くの移動軌跡が存在する。移動軌跡ペア（ａ，ｅ）のように、異なる薬剤上の移動軌跡間で定義される測地距離の経路について、適切に式６の閾値Ｒを設定した場合、節の移動軌跡ｃを通る経路が選択される。つまり、移動軌跡間測地距離の経路に節を含む２移動軌跡は、それぞれ異なる薬剤上にあるといえる。
【０２２４】
そこで本実施の形態では、このような、軌跡間測地距離の経路に節を含む移動軌跡間の距離を、より分離されやすくするため、１より大きい値で重み付けする。このようにすることで、実際には異なる薬剤であるのに、隣接しているために同一の薬剤と誤計数されやすい薬剤についても、別の薬剤として正しく計数できる。
【０２２５】
具体的に、例えば、移動軌跡（ａ，ｆ）のペアについて考える。距離経路データ１０６に含まれる、移動軌跡（ａ，ｆ）間の、測地距離経路上の移動軌跡をｐａｔｈ（ａ，ｆ）と表現すると、ｐａｔｈ（ａ，ｆ）は、以下の式２３のように表すことができる。
【０２２６】
【数２７】
【０２２７】
各移動軌跡の節らしさ特徴量の値をそれぞれＪ（ｂ），Ｊ（ｃ），Ｊ（ｄ），Ｊ（ｅ）とすると、節である移動軌跡ｃに対応する節らしさ特徴量Ｊ（ｃ）のみが、最大値である１を取り、他の移動軌跡ｂ，ｃ，ｄではそれよりも小さい節らしさ特徴量を持つ。
【０２２８】
【数２８】
【０２２９】
つまり、測地距離経路上の移動軌跡の節らしさ特徴量の最大値に着目することで、移動軌跡間の測地距離経路上に含まれる点について、最も節らしい点が含まれるかどうかを確認することができる。したがって、移動軌跡間の測地距離経路上に含まれる点について、それらの節らしさ特徴量の最大値を用いて重みを決定するものとする。なお、ここでは最大値としているが、例えば、節近辺に複数の移動軌跡が存在する場合などは、最大値から大きい順に、指定した点数の節らしさ特徴量を取得し、それらの平均などで重みを求めてもよい。
【０２３０】
ここで最大値をｍａｘとすると、重みづけ曲線のパラメータαとして、移動軌跡（ａ，ｆ）間の距離に対する重みｋ（ａ，ｆ）は以下の式２５のように求めることができる。
【０２３１】
【数２９】
【０２３２】
したがって、移動軌跡（ａ，ｆ）間の移動軌跡間距離Ｄ（ａ，ｆ）は、変換後の移動軌跡間距離をＤｃ（ａ，ｆ）とすると、以下の式２６のように変換される。
【０２３３】
【数３０】
【０２３４】
他の移動軌跡間に関しても同様の計算を行なうことで、擬似関節点で接触している２移動軌跡間の距離はより遠くなるため、分離が容易になる。
【０２３５】
クラスタリング部１１１は、距離変換部１１０で算出した任意のｉ，ｊ間の移動軌跡間距離Ｄｃ（ｉ，ｊ）を用い、Ｄｃ（ｉ，ｊ）が小さい順に移動軌跡ｉと移動軌跡ｊとを同一クラスとして束ねていく処理を繰り返すことによってクラスタリングを行う。
【０２３６】
関節で繋がった物体である限り、特に近傍における移動軌跡は高い類似性を保持していると仮定できる。ここで、高い類似性とは、移動軌跡ｉと移動軌跡ｊとの距離Ｄｃ（ｉ，ｊ）が小さいことを意味する。さらに、距離Ｄｃ（ｉ，ｊ）が小さいことは、移動軌跡ｉと移動軌跡ｊとが、移動軌跡からなる高次元空間上に近距離に分布していると解釈することができる。移動軌跡からなる高次元空間は、次元数が２×Ｔの空間である。移動軌跡からなる高次元空間上の分布の連続性によって移動軌跡をクラスタリングしていくことによって、移動軌跡間の距離の不連続性をもとにクラスタリングを行う。その結果、各クラスは、個別の薬剤に対応することが期待でき、薬剤の検出と領域分割を行うことができる。
【０２３７】
以下で、クラスタリングを行なう方法の一例を説明する。
【０２３８】
【数３１】
【０２３９】
まず、クラスタリング部１１１は、距離Ｄｃ（ｉ，ｊ）から式２７に示すような、新たな非線形化した距離ＤＬ（ｉ，ｊ）を算出する。つまり、距離Ｄｃ（ｉ，ｊ）について、予め定められた閾値Ｒｔｈ以上の距離については、その距離を無限大に変更する。なお、閾値Ｒｔｈは、利用するシーンに応じて経験的に決定される。求められたＤＬ（ｉ，ｊ）のうち、無限大に変更された距離は、距離の分布における不連続点となるため、その不連続点を検出することにより、クラスタリングを行なうことができる。
【０２４０】
ここで、クラスタリングを行なう際に各領域に付与するラベルについて、以下式２８のように表す。Ｍは領域数（未知）である。
【０２４１】
【数３２】
【０２４２】
次に、クラスタリング部１１１は、距離ＤＬ（ｉ，ｊ）が有限の値である移動軌跡について、移動軌跡ｉと移動軌跡ｊに同一領域ラベルθｍを付与する処理を、すべてのｉ，ｊについて行う。最後までラベルのつかなかった移動軌跡については、それらの移動軌跡に対して有限の距離で繋がる移動軌跡が存在しなかったということを示す。したがって、それぞれに他と異なるクラスラベルを付与する。以上の処理により、全ての移動軌跡に対してクラスラベルθが付与される。なお、各領域に属する移動軌跡の数が閾値Ｔｃｌｕｓｔｅｒ個以下となる領域については、外れ値（Ｏｕｔｌｉｅｒ）として扱い、その後の処理に用いないよう廃棄してもよい。
【０２４３】
このように、類似した移動軌跡に対して、順々に領域ラベルを付与することによって、高次元空間上で連続している移動軌跡を一つのクラスと判断し、移動軌跡間の距離が大きいところを不連続点として、それぞれのクラスを分離することができる。そして、各クラスに属する移動軌跡を、同一の薬剤に属する移動軌跡と求めることができる。
【０２４４】
なお、クラスタリング部１１１は、距離Ｄｃ（ｉ，ｊ）に基づいてサブクラスを求めるという動作に限定するものではない。つまり、クラスタリング部１１１は、画像からエッジ抽出を行って、エッジ位置からクラスタリングを行うものであってもよい。
【０２４５】
また、クラスタリング部１１１は、移動軌跡間での、各移動軌跡に属するブロック同士の色類似度に基づいて、複数の移動軌跡を複数のクラスに分類してもよい。以下で、画素の色類似度を元にクラスタリングを行う例について説明する。
【０２４６】
クラスタリング部１１１にてクラス数を算出する手法として、先に説明した類似移動軌跡のラベリングによる方法の代わりに、画素の色類似度をもとに、いわゆる“ｓｕｐｅｒｐｉｘｅｌ”と呼ばれる複数のサブクラスにピクチャを分割する方法を用いてもよい。ｓｕｐｅｒｐｉｘｅｌを算出する方法については、グラフベースの手法などを用いることができる。処理手順の詳細説明は非特許文献５等に記載されているため省略するが、ピクチャのグラフ表現に基づいて各領域間の境界を推定することで、効率的かつグローバルな特徴を保持しながらピクチャを小領域に分割するというものであり、遮蔽に強いためよりロバストな分割ができるという効果がある。
【０２４７】
【非特許文献５】Ｐｅｄｒｏ Ｆ． Ｆｅｌｚｅｎｓｚｗａｌｂ ａｎｄ Ｄａｎｉｅｌ Ｐ． Ｈｕｔｔｅｎｌｏｃｈｅｒ “Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ，Ｖｏｌ．５９，Ｎｏ．２，ｐｐ．１６７−１８１，Ｓｅｐｔ，２００４
【０２４８】
以上の手順によりピクチャをクラスに分離し、各クラスに属する移動軌跡を、異なる薬剤領域とし、薬剤計数に利用することが可能となる。
【０２４９】
なお、連続して入力される動画像に対して処理を行う場合は、上述したステップＳ３０１〜Ｓ３１１の動作を、Ｔ枚のピクチャが入力されるたびに繰り返し行うとしても良い。
【０２５０】
なお、本実施の形態の薬剤計数装置において、距離算出部１０４が、移動軌跡算出部１０２で生成した移動軌跡から抽出する、移動軌跡のピクチャ数Ｔは、Ｔ＝２としたが、この数値に限定されるものではない。例えば、検出精度や、１つの薬包にかけることのできる計数時間・メモリ量等に応じて別の数値を用いても良い。
【０２５１】
（実施の形態１の変形例）
図１４は、本変形例における薬剤計数装置１００を含むシステムの機能的な構成を示すブロック図である。このシステムは、揺動機構１１２０と、タイミング制御部１１２と、カメラ１２０と、薬剤計数装置１００と、薬剤数比較部１１４と、警報出力部１１５とを備える。このうち、タイミング制御部１１２、薬剤数データ１１３、薬剤数比較部１１４、警報出力部１１５以外の構成に関しては実施の形態１と同じであるためここでは説明を省略する。
【０２５２】
タイミング制御部１１２は薬剤揺動制御部１１２１と撮影制御部１１２２を備え、撮影と揺動のタイミングを制御する。具体的には、まず撮影制御部１１２２からカメラ１２０に撮影制御信号を送り、１回目の撮影を行なう。撮影終了後、続いて、薬剤揺動制御部１１２１から揺動機構１１２０に薬剤揺動信号を送り、ベルトコンベア４００を振動させることにより、薬包に含まれる薬剤を動かす。揺動終了後、再度撮影制御部１１２２からカメラ１２０に撮影制御信号を送り、２回目の撮影を行なう。このようにすることで、確実に薬剤が移動した動画像を取得でき、より正確に薬剤を分離計数できるようになる。
【０２５３】
薬剤数比較部１１４は、薬剤数データ１１３に示されている薬剤の個数と薬剤計数装置１００により計数された薬剤の個数とを比較する。ここで、薬剤数データ１１３は、撮影対象の薬包に含まれる薬剤の個数（例えば処方箋に含まれる薬剤の個数）を含むデータである。薬剤数データ１１３は、薬剤計数装置１００の内部に記憶されていてもよいし、薬剤計数装置１００の外部の記憶装置に記憶されており、有線または無線を介して薬剤数比較部１１４に接続されていても良い。薬剤数比較部１１４は、薬剤数データ１１３に示されている薬剤の個数と薬剤計数装置１００により計数された薬剤の個数とが異なっている場合は、「誤り」を示す情報を、等しい場合は、「正しい」を示す情報を、警報出力部１１５に送る。
【０２５４】
警報出力部１１５は、薬剤数比較部１１４の判定した結果情報を受けて、誤りであった場合に使用者に対して警報を発する。警報は、ディスプレイ上であってもよいし、音や音声によってもよい。なお、警報は「誤り」であるか「正しい」であるかを利用者が認識できることが目的であるため、「誤り」と「正しい」の場合にそれぞれ異なる警報音を発してもよいし、逆に利用者が認識さえしていれば、「正しい」場合のみ警報音を発するとしてもよい。
【０２５５】
以上のシステムにより、確実に薬剤を計数し、処方箋に対する正誤判定を行なった上で、使用者に結果を伝えることができる。使用者である薬剤師は薬包全てを確認する必要なく、誤っている薬包に対してのみ対処を行なえばいいので、負担が軽減される。
【０２５６】
以上のように、本実施の形態およびその変形例に係る薬剤計数装置および薬剤計数方法によると、動画像中、或いは複数の画像中の薬剤を構成する複数の領域にそれぞれ対応する複数の移動軌跡から、擬似関節位置を特定し異なる薬剤が接触している位置を求め、さらに異なる動きをする薬剤を別の薬剤と分類して計数する。このため、薬包に印字された文字等の大きさや種類によることなく、確実に薬剤を計数することができる。
【０２５７】
また、上記実施の形態およびその変形例における薬剤計数装置１００は、画像入力部１０１および移動軌跡算出部１０２を備えたが、本発明は、これらの構成要素を必須とするものではない。つまり、動画像を構成する複数のブロックのそれぞれにおけるピクチャの移動軌跡が予め算出されている場合には、薬剤計数装置１００は、外部から、そのような移動軌跡を取得し、取得した移動軌跡に対して、ステップＳ３０３〜Ｓ３１１の処理を実行してもよい。
【０２５８】
また、本発明は、薬剤計数装置１００として実現されたが、薬剤計数部１０３の機能を持つものであれば、動画像において薬剤を計数する画像処理装置として実現することができるのは言うまでもない。
【０２５９】
なお、本実施の形態およびその変形例では２点間距離としてユークリッド距離を用いたが、前述した通り、ユークリッド距離に限るものではない。前述の２点間距離で定義される任意の距離指標を用いて得られる形態も本発明に含まれるものとする。
【０２６０】
また、本発明で用いる「領域」という定義は、多数の軌跡から成る領域のみならず、１つの軌跡のみから成る場合も含む。というのも、少なくとも節の軌跡が１点と、もう２点の移動軌跡が存在すれば、それらの軌跡から各軌跡の節らしさ特徴量を算出することができるからである。
【０２６１】
（実施の形態２）
上記した実施の形態１およびその変形例での薬剤計数装置は、薬剤数の算出手順において、節らしさ特徴量で重み付けした移動軌跡間距離のクラスタリングを用いて、薬剤数を算出している。具体的には、ある移動軌跡間測地距離に対して、測地距離の辿る経路上の移動軌跡の節らしさ特徴量を求め、経路上の移動軌跡の節らしさ特徴量の値に応じて、当該移動軌跡間の距離に対し予め定めた重みをかけることで、関節で接する薬剤をより遠ざけることで、正しく分離してクラスタリングするものである。
【０２６２】
しかし、薬剤の計数方法としては、このような節らしさ特徴量による重み付けは必ずしも必要ではない。節らしさ特徴量による重み付けは、「節らしさ特徴量算出」以外の特別な画像処理を行わずに処理できるという利点がある。しかし、節らしさ算出部において、節らしさ特徴量を各移動軌跡ごとに出力する代わりに、画像中の節の数のみを出力し、他の画像認識による計数結果と統合することで、より正確に錠剤数を求められる場合がある。
【０２６３】
本実施の形態における薬剤計数装置の構成を図１５に示す。薬剤計数装置１００Ｂは、画像入力部１０１と、移動軌跡算出部１０２と、距離算出部１０４と、節らしさ算出部１０５と、節計数部１１８と、クラスタリング部１１１と、穴領域計数部１１６と、計数部１１７とを含む。
【０２６４】
図１と異なる部分は、節計数部１１８、穴領域計数部１１６、計数部１１７のみであるので、上記以外の構成については説明を省略する。また、クラスタリング部１１１にはここでは移動軌跡間距離の入力がない。この場合、実施の形態１の説明で述べた通り、エッジ位置または色に基づくクラスタリングを行なうことができる。
【０２６５】
節計数部１１８は、関節特定部１０９で求めた各移動軌跡の節らしさ特徴量について、予め定めた閾値以上の移動軌跡を節と特定し、その数を数える。
【０２６６】
移動軌跡の密度がそれほど高くない（移動軌跡が通過するグリッドが大きい）場合は、一つの節について一つの移動軌跡が見つかると考えてよい。このため、節らしさ特徴量が閾値以上の移動軌跡の数をそのまま節の数とする。一方、移動軌跡の密度がある程度高い場合は、節らしさ特徴量の極値をとる移動軌跡を複数求める。一つの節が、一つの極値に相当すると考えてよいので、節らしさ特徴量の極値をとる移動軌跡の数をそのまま節の数とする。
【０２６７】
次に、穴領域計数部１１６は、３つ以上の薬剤が互いに接触して、内部に穴様の領域が存在する場合の、穴の数を求める。
【０２６８】
なお、節、穴および領域の数は、同一の画像においてそれぞれ算出される。
【０２６９】
図１６Ａは、画像入力部１０１が入力として受け付けた画像の例を示す図である。図１６Ｂは、穴領域計数部１１６で計数される２つの穴１８１および１８２と、クラスタリング部１１１で計数される３つの領域１９１〜１９３とを示す図である。
【０２７０】
穴領域は、例えば、輪郭検出を行い、輪郭中の閉領域（接触している薬剤群の外周）を抽出したのち、閉領域内部に存在する閉領域の数を求める等により得られる。
【０２７１】
図１６Ａおよび図１６Ｂの画像に対して、節計数部１１８はＮｊ＝８個の節を、クラスタリング部はＮｃ＝３個の領域を、穴領域計数部１１６はＮｈ＝２個の穴領域をそれぞれ算出する。計数部１１７は、これらの値から、以下の式２９に従い薬剤数Ｎを算出する。
【０２７２】
Ｎ＝Ｎｊ＋Ｎｃ−Ｎｈ （式２９）
【０２７３】
図１６Ａおよび図１６Ｂの画像からは、Ｎ＝８＋３−２＝９と求められる。ため、式２９によって正しく薬剤数が求められることがわかる。
【０２７４】
以上のように、本実施の形態によると、トポロジカルに薬剤を計数することができる。つまり、薬剤の大きさ等に依存せずに正確に薬剤を計数することができる。
【０２７５】
なお、薬剤計数装置は、図１７に示すような構成であっても良い。図１７に示す薬剤計数装置１００Ｃでは、クラスタリング部１１１が移動軌跡算出部１０２に接続されている。つまり、クラスタリング部１１１は、移動軌跡算出部１０２で算出された類似する移動軌跡を同一のクラスに分類することにより領域数を求めても良い。
【産業上の利用可能性】
【０２７６】
本発明は、動画像中の薬包内の薬剤の動きに基づき、接触した薬剤間を擬似関節として検出し、さらに動きに基づき異なる薬剤を分別することで、薬包内の薬剤を計数する薬剤計数装置等として、病院や薬局等に設置、利用することが可能である。
【符号の説明】
【０２７７】
１００ 薬剤計数装置
１０１ 画像入力部
１０２ 移動軌跡算出部
１０３ 薬剤計数部
１０４ 距離算出部
１０５ 節らしさ算出部
１０６ 距離経路データ
１０６ａ 距離経路インデクスデータ
１０６ｂ 移動軌跡リストデータ
１０７ 分離計数部
１０８ 特徴量算出部
１０９ 関節特定部
１１０ 距離変換部
１１１ クラスタリング部
１１２ タイミング制御部
１１３ 薬剤数データ
１１４ 薬剤数比較部
１１５ 警報出力部
１１６ 穴領域計数部
１１７ 計数部
１１８ 節計数部
１２０ カメラ
１３０ ディスプレイ
１３５ スピーカ
１４０ 停止信号発生部
２００ コンピュータ
２０１ Ｉ／Ｆ
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ ＨＤＤ
２０６ ビデオカード
１１２０ 揺動機構
１１２１ 薬剤揺動制御部
１１２２ 撮影制御部
【特許請求の範囲】
【請求項１】
薬包に封入された薬剤を計数する薬剤計数装置であって、
揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、
前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部と
を備える薬剤計数装置。
【請求項２】
前記計数部は、前記距離算出部で算出された測地距離の経路上に位置する移動軌跡の節らしさ特徴量が大きいほど測地距離が変換前と比べて大きくなるような変換を施し、変換後の測地距離に基づいて移動軌跡をクラスタリングすることにより、クラス数を薬剤の個数として薬剤を計数する
請求項１に記載の薬剤計数装置。
【請求項３】
さらに、
前記動画像から、前記動画像に含まれる第１ピクチャにおける薬剤の領域と、複数の薬剤により形成される領域中の穴とを計数する穴領域計数部と、
前記節らしさ特徴量に基づいて、前記第１ピクチャにおける節を計数する節計数部とを備え、
前記計数部は、前記第１ピクチャにおける領域の個数、穴の個数および節の個数から、前記薬包に封入された薬剤を計数する
請求項１に記載の薬剤計数装置。
【請求項４】
さらに、
前記計数部により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する薬剤数比較部を備える
請求項１〜３のいずれか１項に記載の薬剤計数装置。
【請求項５】
さらに、
前記薬剤数比較部が、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置を停止させるための信号を発生する停止信号発生部を備える
請求項４に記載の薬剤計数装置。
【請求項６】
前記節らしさ算出部は、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、１つの薬剤を１つの剛体であるとみなした場合に、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡を含む領域同士が同一の節を介して接続されているほど、前記第１移動軌跡が節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出する関節特定部とを含む
請求項１〜５のいずれか１項に記載の薬剤計数装置。
【請求項７】
前記関節特定部は、さらに、算出した前記節らしさ特徴量から節領域を特定する
請求項６に記載の薬剤計数装置。
【請求項８】
前記関節特定部は、
前記ピクチャ上における、算出した前記節らしさ特徴量の極大値を節として特定する
請求項７記載の薬剤計数装置。
【請求項９】
前記関節特定部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡が含まれる領域が節領域か否かを判定する
請求項７記載の薬剤計数装置。
【請求項１０】
前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定する
請求項６〜９のいずれか１項に記載の薬剤計数装置。
【請求項１１】
前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定する
請求項６〜９のいずれか１項に記載の薬剤計数装置。
【請求項１２】
前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和である
請求項６〜１１のいずれか１項に記載の薬剤計数装置。
【請求項１３】
前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和である
請求項６〜１２のいずれか１項に記載の薬剤計数装置。
【請求項１４】
前記特徴量算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１５】
前記特徴量算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１６】
前記特徴量算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１７】
前記特徴量算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出する
請求項１０または１１に記載の薬剤計数装置。
【請求項１８】
薬包に封入された薬剤を計数する薬剤計数方法であって、
揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出ステップと、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出ステップと、
前記節らしさ算出ステップにおいて算出された節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数ステップと
を含む薬剤計数方法。
【請求項１９】
請求項１８に記載の薬剤計数方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
【請求項１】
薬包に封入された薬剤を計数する薬剤計数装置であって、
揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出部と、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出部と、
前記節らしさ算出部が算出した節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数部と
を備える薬剤計数装置。
【請求項２】
前記計数部は、前記距離算出部で算出された測地距離の経路上に位置する移動軌跡の節らしさ特徴量が大きいほど測地距離が変換前と比べて大きくなるような変換を施し、変換後の測地距離に基づいて移動軌跡をクラスタリングすることにより、クラス数を薬剤の個数として薬剤を計数する
請求項１に記載の薬剤計数装置。
【請求項３】
さらに、
前記動画像から、前記動画像に含まれる第１ピクチャにおける薬剤の領域と、複数の薬剤により形成される領域中の穴とを計数する穴領域計数部と、
前記節らしさ特徴量に基づいて、前記第１ピクチャにおける節を計数する節計数部とを備え、
前記計数部は、前記第１ピクチャにおける領域の個数、穴の個数および節の個数から、前記薬包に封入された薬剤を計数する
請求項１に記載の薬剤計数装置。
【請求項４】
さらに、
前記計数部により計数された薬剤の個数と、処方された薬剤の個数とを比較し、比較結果を出力する薬剤数比較部を備える
請求項１〜３のいずれか１項に記載の薬剤計数装置。
【請求項５】
さらに、
前記薬剤数比較部が、前記計数部により計数された薬剤の個数と、処方された薬剤の個数とが異なることを示す比較結果を出力した場合に、薬剤計数装置を停止させるための信号を発生する停止信号発生部を備える
請求項４に記載の薬剤計数装置。
【請求項６】
前記節らしさ算出部は、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡間に対応する領域同士が同一の節を介して接続されている度合いである関節らしさを表す関節特徴量を算出する特徴量算出部と、
前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、１つの薬剤を１つの剛体であるとみなした場合に、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡を含む領域同士が同一の節を介して接続されているほど、前記第１移動軌跡が節領域に含まれる可能性が高いと判断される節らしさ特徴量を算出する関節特定部とを含む
請求項１〜５のいずれか１項に記載の薬剤計数装置。
【請求項７】
前記関節特定部は、さらに、算出した前記節らしさ特徴量から節領域を特定する
請求項６に記載の薬剤計数装置。
【請求項８】
前記関節特定部は、
前記ピクチャ上における、算出した前記節らしさ特徴量の極大値を節として特定する
請求項７記載の薬剤計数装置。
【請求項９】
前記関節特定部は、着目する移動軌跡を除く前記複数の移動軌跡の中から移動軌跡のペアを複数選択し、選択したペアごとに、前記着目する移動軌跡を前記第１移動軌跡とし、当該移動軌跡のペアを前記第２移動軌跡および前記第３移動軌跡としたときの前記関節特徴量を加算することにより、前記着目する移動軌跡の節らしさ特徴量を算出し、算出した前記節らしさ特徴量から前記着目する移動軌跡が含まれる領域が節領域か否かを判定する
請求項７記載の薬剤計数装置。
【請求項１０】
前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定する
請求項６〜９のいずれか１項に記載の薬剤計数装置。
【請求項１１】
前記関節特定部は、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量が所定の閾値以下となる移動軌跡のみを用いて、前記特徴量算出部が算出した前記任意の移動軌跡間の関節特徴量に基づいて、前記任意の移動軌跡のペアが同一剛体上に存在するか否かを判断することにより同一剛体に含まれる移動軌跡を特定した後、前記第１移動軌跡および前記第２移動軌跡が同一剛体上に存在し、前記第１移動軌跡および前記第３移動軌跡が同一剛体上に存在し、かつ前記第２移動軌跡および前記第３移動軌跡が同一の節を介して接続されているときの前記第１移動軌跡が含まれる領域を節領域として特定する
請求項６〜９のいずれか１項に記載の薬剤計数装置。
【請求項１２】
前記任意の移動軌跡間の測地距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる測地距離の時間変化の絶対値和である
請求項６〜１１のいずれか１項に記載の薬剤計数装置。
【請求項１３】
前記任意の移動軌跡間の２点間距離の時間変化は、あらかじめ定めた一連の処理フレームセットにわたる２点間距離の時間変化の絶対値和である
請求項６〜１２のいずれか１項に記載の薬剤計数装置。
【請求項１４】
前記特徴量算出部は、前記任意の移動軌跡間の測地距離の時間変化を、前記任意の移動軌跡間の２点間距離の時間変化で除した値に基づいて、前記任意の移動軌跡間の関節特徴量を算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１５】
前記特徴量算出部は、前記測地距離の時間変化と前記２点間距離の時間変化と前記関節特徴量との対応関係を示したデータテーブルを参照することにより、前記任意の移動軌跡間の関節特徴量を算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１６】
前記特徴量算出部は、前記任意の移動軌跡間について、前記測地距離の時間変化があらかじめ定めた測地距離閾値よりも小さく、かつ前記２点間距離の時間変化があらかじめ定めた２点間距離閾値よりも大きい場合に、前記関節特徴量を１として算出し、前記測地距離の時間変化があらかじめ定めた測地距離閾値以上の場合、または前記２点間距離の時間変化があらかじめ定めた２点間距離閾値以下の場合に、前記関節特徴量を０として算出する
請求項６〜１３のいずれか１項に記載の薬剤計数装置。
【請求項１７】
前記特徴量算出部は、さらに、縦軸および横軸を移動軌跡のペアの２点間距離の時間変化および測地距離の時間変化とするグラフにおいて、２点間距離の時間変化および測地距離の時間変化が等しくなる直線からの、着目する移動軌跡のペアである着目ペアの２点間距離の時間変化および測地距離の時間変化までの距離に基づいて、当該着目ペアが同一の剛体に含まれる程度を示す同一剛体特徴量を算出する
請求項１０または１１に記載の薬剤計数装置。
【請求項１８】
薬包に封入された薬剤を計数する薬剤計数方法であって、
揺動部により揺動されている薬包に封入された薬剤を撮像した動画像を構成する複数枚のピクチャにわたる、各々が前記ピクチャを構成する１個以上の画素からなるブロックの動きの軌跡である複数の移動軌跡について、第１の移動軌跡と他の第２の移動軌跡とを直接結んだ距離である２点間距離と、前記第１の移動軌跡および前記第２の移動軌跡以外の移動軌跡を中継点として前記第１の移動軌跡から前記第２の移動軌跡にたどりつく経路の距離である測地距離とを算出する距離算出ステップと、
任意の移動軌跡間の２点間距離の時間変化および測地距離の時間変化に基づいて、各移動軌跡が薬剤と薬剤とが接触する部分である節の移動軌跡である度合いを示す節らしさ特徴量を算出する節らしさ算出ステップと、
前記節らしさ算出ステップにおいて算出された節らしさ特徴量に基づいて、前記薬包に封入された薬剤を計数する計数ステップと
を含む薬剤計数方法。
【請求項１９】
請求項１８に記載の薬剤計数方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図９Ｆ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図９Ｅ】
【図９Ｆ】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【公開番号】特開２０１３−１５９２４（Ｐ２０１３−１５９２４Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６８０４（Ｐ２０１１−１４６８０４）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]