画像処理装置
【課題】追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置を提供する。
【解決手段】切り出し画像取得手段１５４ｂは、基準画像の矩形内の画素を切り出し、切り出した画素を、基準画像の矩形位置に対応する暗画像の、上記矩形位置座標データが示す座標位置に展開し嵌め込んで、切り出し画像を取得する。ＯＲ画像取得手段１５４ｃは、複数画面分の切り出し画像を、矩形が交差しない矩形部分について論理和をとり、矩形が重なる矩形部分について平均をとった一画面分のＯＲ画像を取得する処理を行う。
【解決手段】切り出し画像取得手段１５４ｂは、基準画像の矩形内の画素を切り出し、切り出した画素を、基準画像の矩形位置に対応する暗画像の、上記矩形位置座標データが示す座標位置に展開し嵌め込んで、切り出し画像を取得する。ＯＲ画像取得手段１５４ｃは、複数画面分の切り出し画像を、矩形が交差しない矩形部分について論理和をとり、矩形が重なる矩形部分について平均をとった一画面分のＯＲ画像を取得する処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば単眼カメラで撮影した特定画像の追跡処理等、時系列画像を扱う処理に適用して好適な画像処理装置に関する。
【背景技術】
【０００２】
カメラで撮影した画像から動きを伴う画像領域を抽出し追跡する追跡処理技術として、カメラで撮影した画像から変化画素を含む領域を抽出し、抽出した領域を二値の矩形領域に領域化して追跡することで、追跡処理の処理負荷を軽減する技術が開発された。この技術を各種マシンビジョンシステムのオブジェクト追跡処理、監視処理等に適用することで、処理負荷の少ない経済的に有利なシステムを構築するこができる。
【０００３】
この種、追跡処理技術においては、追跡対象となるオブジェクトの位置、時間等をログデータとして採取でき、追跡結果の画像を取得できるが、追跡画像の途中の過程を表現する機能を実現する効率のよい（限られたメモリ領域の中で管理できる）手段が存在しないという問題があった。
【０００４】
この種の画像処理技術として、従来では、カメラの画像データから変化領域をデータ保管する技術が存在する。しかしながら、この技術は、背景画像を含めた画像を処理対象としていることから、ログデータとして管理する場合に大容量の記憶領域を必要とし、画像をログデータとして管理する技術に適合しない。
【特許文献１】特開２０００−２３１４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、従来では、追跡画像の途中の過程を表現できる、画像のログ管理を容易に行うことのできる装置が存在しないという問題があった。
【０００６】
本発明は、上記した従来の問題点を解決するためになされたもので、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域それぞれについて前記矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得する画像処理装置を提供する。
【０００８】
また、本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、前記追跡処理の対象となった矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得する画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置が提供できる。
【発明を実施するための最良の形態】
【００１０】
以下図面を参照して本発明の実施形態を説明する。この実施形態では、本発明の画像処理技術を画像の追跡処理技術に適用しているが、本発明の画像処理技術は、画像の追跡処理技術に留まらず、時系列の画像を扱う各種の画像処理に適用可能である。
【００１１】
本発明の実施形態に係る画像処理装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１２】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。
【００１３】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１４】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。
【００１５】
画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１４を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。
【００１６】
画像処理部１５は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、追跡の対象となる領域の画像をログデータとして、撮影時刻、撮影位置等、通常のログデータに対応付けて保存し管理するログ採取処理部１５３とを具備して構成される。
【００１７】
ログ採取処理部１５３は、画像処理機能部として、残像画像作成処理部１５４と、残像画像出力処理部１５５とを具備して構成される。
【００１８】
残像画像作成処理部１５４は、暗画像取得手段（輝度値０画像取得手段）１５４ａと、切り出し画像取得手段１５４ｂと、ＯＲ（論理和）画像取得手段１５４ｃと、平均画像取得手段１５４ｄとを具備して構成される。
【００１９】
暗画像取得手段１５４ａは、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像（残像処理の対象となる、基準画像となる画像）を時系列に複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像と称す）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する処理を行う。
【００２０】
切り出し画像取得手段１５４ｂは、基準画像の矩形内の画素（イメージ）を切り出し、切り出した画素を、基準画像の矩形位置に対応する暗画像の、上記矩形位置座標データが示す座標位置に展開し嵌め込んで、切り出し画像を取得する。
【００２１】
ＯＲ画像取得手段１５４ｃは、複数画面分の切り出し画像を、矩形が交差しない（重ならない）矩形部分について論理和をとり、矩形が重なる矩形部分について平均をとった一画面分のＯＲ画像を取得する処理を行う。
【００２２】
平均画像取得手段１５４ｄは、上記複数画面分の基準画像について一画面分の平均画像を取得する処理を行う。
【００２３】
残像画像出力処理部１５５は、ＯＲ画像と平均画像または基準画像とをもとに出力画像を取得し、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。
【００２４】
上記した本発明の実施形態に係る画像処理は、透過表示形式の残像画像作成処理機能（１）と、重ね合わせ表示形式の残像画像作成処理機能（２）と、残像表示形式の残像画像作成処理機能（３）とを具備し、任意形式の残像画像作成処理機能を適用可能にしている。
【００２５】
透過表示形式の残像画像作成処理機能（１）は、処理対象として抽出した全ての矩形内部が実際の輝度値の半分程度の輝度値で表示された画像となる。
【００２６】
重ね合わせ表示形式の残像画像作成処理機能（２）は、処理対象として抽出した全ての矩形内部が実際の輝度値のまま表示された画像となる。
【００２７】
残像表示形式の残像画像作成処理機能（３）は、処理対象として抽出した矩形のうち、１矩形のみ（例えば最新画像）が実際の輝度値のまま表示され、それ以外の矩形は実際の輝度値の半分程度の輝度値で表示された画像となる。
【００２８】
残像画像作成処理機能の基本ロジックとしては、処理対象として抽出した矩形を重ね合わせ、矩形が交差しない位置ではＯＲ（論理和）をとり、矩形が公差する位置では平均をとることを基本ロジックとし、ＯＲや平均をとるタイミングによって、３種類のロジックに展開する。
【００２９】
透過表示形式の残像画像作成処理（１）では、全画像（一画面分）の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲ画像と平均画像の平均をとり、矩形外部は平均をとった画像とする。
【００３０】
重ね合わせ表示形式の残像画像作成処理（２）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲをとり、矩形外部は平均をとった画像とする。
【００３１】
残像表示形式の残像画像作成処理（３）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）を作成し、矩形内部をどれか１枚の画像（例えば最前面の画像、または最後面の画像）として、矩形内部はいずれか１枚の画像とＯＲ画像との平均をとった画像とする。
【００３２】
透過表示形式の残像画像作成処理（１）について
透過表示形式の残像画像作成手順を図２に示している。
【００３３】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００３４】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置（上記座標データが示す領域）に対応する暗画像の座標位置（上記座標データが示す領域）に展開し、嵌め込んで、切り出し画像を作成する。
【００３５】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる（重なりが多くなると、その位置のオブジェクトは薄く表示される）。
【００３６】
次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。
【００３７】
次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像と平均画像との平均画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。
【００３８】
重ね合わせ表示形式の残像画像作成処理（２）について
重ね合わせ表示形式の残像画像作成手順を図３に示している。
【００３９】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００４０】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。
【００４１】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。
【００４２】
次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。
【００４３】
次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。
【００４４】
残像表示形式の残像画像作成処理（３）について
残像表示形式の残像画像作成手順を図４に示している。
【００４５】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００４６】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。
【００４７】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。
【００４８】
次に、残像画像出力処理部１５５において、ＯＲ画像の矩形外の部分は、基準画像の内の例えば最前面の画像の輝度値、ＯＲ画像の矩形内部は、矩形内部の画像と基準画像の最前面の画像との平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。
【００４９】
上記した残像画像作成処理では、ＯＲ画像作成時に、矩形が重なった（交差した）場合、その位置でＯＲをとるようになっている。これは、矩形が重なった場合に、重なりが生じた矩形各々の矩形内部の画像（オブジェクト）を表示するためであるが、例えば追跡対象となるオブジェクトの移動範囲が極端に狭い場合やオブジェクトの動きが鈍い場合に上記矩形の重なりが多くなる場合が生じ得る。このような場合、その重なり位置は、重なり回数分の平均を取ることになり、場合によっては、その矩形内のオブジェクトが薄くなり過ぎて見え難くなる可能性がある。このような画像の多数の重なりに対しては、ＯＲ画像を作成するための基準画像の取得タイミング（例えば矩形の抽出間隔、撮像フレームの抽出間隔、矩形の重なり度合いによる画像抽出選択等）を考慮する必要がある。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【図３】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【図４】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【符号の説明】
【００５１】
１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…ログ採取処理部、１５４…残像画像作成処理部、１５４ａ…暗画像取得手段（輝度値０画像取得手段）、１５４ｂ…切り出し画像取得手段、１５４ｃ…ＯＲ（論理和）画像取得手段、１５４ｄ…平均画像取得手段、１５５…残像画像出力処理部。
【技術分野】
【０００１】
本発明は、例えば単眼カメラで撮影した特定画像の追跡処理等、時系列画像を扱う処理に適用して好適な画像処理装置に関する。
【背景技術】
【０００２】
カメラで撮影した画像から動きを伴う画像領域を抽出し追跡する追跡処理技術として、カメラで撮影した画像から変化画素を含む領域を抽出し、抽出した領域を二値の矩形領域に領域化して追跡することで、追跡処理の処理負荷を軽減する技術が開発された。この技術を各種マシンビジョンシステムのオブジェクト追跡処理、監視処理等に適用することで、処理負荷の少ない経済的に有利なシステムを構築するこができる。
【０００３】
この種、追跡処理技術においては、追跡対象となるオブジェクトの位置、時間等をログデータとして採取でき、追跡結果の画像を取得できるが、追跡画像の途中の過程を表現する機能を実現する効率のよい（限られたメモリ領域の中で管理できる）手段が存在しないという問題があった。
【０００４】
この種の画像処理技術として、従来では、カメラの画像データから変化領域をデータ保管する技術が存在する。しかしながら、この技術は、背景画像を含めた画像を処理対象としていることから、ログデータとして管理する場合に大容量の記憶領域を必要とし、画像をログデータとして管理する技術に適合しない。
【特許文献１】特開２０００−２３１４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、従来では、追跡画像の途中の過程を表現できる、画像のログ管理を容易に行うことのできる装置が存在しないという問題があった。
【０００６】
本発明は、上記した従来の問題点を解決するためになされたもので、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域それぞれについて前記矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得する画像処理装置を提供する。
【０００８】
また、本発明は、カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、前記追跡処理の対象となった矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得する画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、追跡画像の途中の過程を表現する機能を容易に実現できる、画像のログ管理に適合した画像処理装置が提供できる。
【発明を実施するための最良の形態】
【００１０】
以下図面を参照して本発明の実施形態を説明する。この実施形態では、本発明の画像処理技術を画像の追跡処理技術に適用しているが、本発明の画像処理技術は、画像の追跡処理技術に留まらず、時系列の画像を扱う各種の画像処理に適用可能である。
【００１１】
本発明の実施形態に係る画像処理装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１２】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。
【００１３】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１４】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。
【００１５】
画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１４を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。
【００１６】
画像処理部１５は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、追跡の対象となる領域の画像をログデータとして、撮影時刻、撮影位置等、通常のログデータに対応付けて保存し管理するログ採取処理部１５３とを具備して構成される。
【００１７】
ログ採取処理部１５３は、画像処理機能部として、残像画像作成処理部１５４と、残像画像出力処理部１５５とを具備して構成される。
【００１８】
残像画像作成処理部１５４は、暗画像取得手段（輝度値０画像取得手段）１５４ａと、切り出し画像取得手段１５４ｂと、ＯＲ（論理和）画像取得手段１５４ｃと、平均画像取得手段１５４ｄとを具備して構成される。
【００１９】
暗画像取得手段１５４ａは、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像（残像処理の対象となる、基準画像となる画像）を時系列に複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像と称す）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する処理を行う。
【００２０】
切り出し画像取得手段１５４ｂは、基準画像の矩形内の画素（イメージ）を切り出し、切り出した画素を、基準画像の矩形位置に対応する暗画像の、上記矩形位置座標データが示す座標位置に展開し嵌め込んで、切り出し画像を取得する。
【００２１】
ＯＲ画像取得手段１５４ｃは、複数画面分の切り出し画像を、矩形が交差しない（重ならない）矩形部分について論理和をとり、矩形が重なる矩形部分について平均をとった一画面分のＯＲ画像を取得する処理を行う。
【００２２】
平均画像取得手段１５４ｄは、上記複数画面分の基準画像について一画面分の平均画像を取得する処理を行う。
【００２３】
残像画像出力処理部１５５は、ＯＲ画像と平均画像または基準画像とをもとに出力画像を取得し、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。
【００２４】
上記した本発明の実施形態に係る画像処理は、透過表示形式の残像画像作成処理機能（１）と、重ね合わせ表示形式の残像画像作成処理機能（２）と、残像表示形式の残像画像作成処理機能（３）とを具備し、任意形式の残像画像作成処理機能を適用可能にしている。
【００２５】
透過表示形式の残像画像作成処理機能（１）は、処理対象として抽出した全ての矩形内部が実際の輝度値の半分程度の輝度値で表示された画像となる。
【００２６】
重ね合わせ表示形式の残像画像作成処理機能（２）は、処理対象として抽出した全ての矩形内部が実際の輝度値のまま表示された画像となる。
【００２７】
残像表示形式の残像画像作成処理機能（３）は、処理対象として抽出した矩形のうち、１矩形のみ（例えば最新画像）が実際の輝度値のまま表示され、それ以外の矩形は実際の輝度値の半分程度の輝度値で表示された画像となる。
【００２８】
残像画像作成処理機能の基本ロジックとしては、処理対象として抽出した矩形を重ね合わせ、矩形が交差しない位置ではＯＲ（論理和）をとり、矩形が公差する位置では平均をとることを基本ロジックとし、ＯＲや平均をとるタイミングによって、３種類のロジックに展開する。
【００２９】
透過表示形式の残像画像作成処理（１）では、全画像（一画面分）の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲ画像と平均画像の平均をとり、矩形外部は平均をとった画像とする。
【００３０】
重ね合わせ表示形式の残像画像作成処理（２）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）と、全画像の平均画像とを作成し、矩形内部はＯＲをとり、矩形外部は平均をとった画像とする。
【００３１】
残像表示形式の残像画像作成処理（３）では、全画像の矩形内部のみのＯＲ画像（重なり位置は平均）を作成し、矩形内部をどれか１枚の画像（例えば最前面の画像、または最後面の画像）として、矩形内部はいずれか１枚の画像とＯＲ画像との平均をとった画像とする。
【００３２】
透過表示形式の残像画像作成処理（１）について
透過表示形式の残像画像作成手順を図２に示している。
【００３３】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データ（画面上の矩形領域を示す座標データ）とともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００３４】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置（上記座標データが示す領域）に対応する暗画像の座標位置（上記座標データが示す領域）に展開し、嵌め込んで、切り出し画像を作成する。
【００３５】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる（重なりが多くなると、その位置のオブジェクトは薄く表示される）。
【００３６】
次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。
【００３７】
次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像と平均画像との平均画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータ（撮影時刻、撮影場所、撮影条件等の通常のログデータ）に対応付けて保存し管理する。
【００３８】
重ね合わせ表示形式の残像画像作成処理（２）について
重ね合わせ表示形式の残像画像作成手順を図３に示している。
【００３９】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００４０】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。
【００４１】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。
【００４２】
次に、平均画像取得手段１５４ｄにおいて、上記複数画面分の基準画像について一画面分の平均画像を作成する。
【００４３】
次に、残像画像出力処理部１５５において、矩形内部はＯＲ画像、矩形外部は平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。
【００４４】
残像表示形式の残像画像作成処理（３）について
残像表示形式の残像画像作成手順を図４に示している。
【００４５】
この処理では、先ず暗画像取得手段１５４ａにおいて、追跡処理部１５２の追跡対象となる矩形の領域をもつ画像を時系列に予め設定した複数画面単位で画面上の矩形位置座標データとともに取得し、取得した複数画面分の画像（基準画像）に対応する枚数の、輝度値を０とした複数画面分の暗画像を用意する。
【００４６】
次に、切り出し画像取得手段１５４ｂにおいて、上記基準画像の矩形内の画素イメージを切り出し、切り出した画素イメージを、基準画像の矩形位置に対応する暗画像の座標位置に展開し、嵌め込んで、切り出し画像を作成する。
【００４７】
次に、ＯＲ画像取得手段１５４ｃにおいて、複数画面分の切り出し画像を重ね合わせ、ＯＲ画像を作成する。このとき、複数画面分の切り出し画像を、矩形が重ならない矩形部分はＯＲをとり、矩形が重なる矩形部分は重なった画像について平均をとる。
【００４８】
次に、残像画像出力処理部１５５において、ＯＲ画像の矩形外の部分は、基準画像の内の例えば最前面の画像の輝度値、ＯＲ画像の矩形内部は、矩形内部の画像と基準画像の最前面の画像との平均画像とした一画面分の画像を作成し、この画像を出力画像として、基準画像のログデータに対応付けて保存し管理する。
【００４９】
上記した残像画像作成処理では、ＯＲ画像作成時に、矩形が重なった（交差した）場合、その位置でＯＲをとるようになっている。これは、矩形が重なった場合に、重なりが生じた矩形各々の矩形内部の画像（オブジェクト）を表示するためであるが、例えば追跡対象となるオブジェクトの移動範囲が極端に狭い場合やオブジェクトの動きが鈍い場合に上記矩形の重なりが多くなる場合が生じ得る。このような場合、その重なり位置は、重なり回数分の平均を取ることになり、場合によっては、その矩形内のオブジェクトが薄くなり過ぎて見え難くなる可能性がある。このような画像の多数の重なりに対しては、ＯＲ画像を作成するための基準画像の取得タイミング（例えば矩形の抽出間隔、撮像フレームの抽出間隔、矩形の重なり度合いによる画像抽出選択等）を考慮する必要がある。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【図３】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【図４】上記実施形態に係る画像処理装置の残像画像作成処理の手順を説明するための動作説明図。
【符号の説明】
【００５１】
１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…ログ採取処理部、１５４…残像画像作成処理部、１５４ａ…暗画像取得手段（輝度値０画像取得手段）、１５４ｂ…切り出し画像取得手段、１５４ｃ…ＯＲ（論理和）画像取得手段、１５４ｄ…平均画像取得手段、１５５…残像画像出力処理部。
【特許請求の範囲】
【請求項１】
カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した領域それぞれについて前記矩形内の画像を取得する矩形内画像取得手段と、
前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、
前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得することを特徴とする画像処理装置。
【請求項２】
カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、
前記追跡処理の対象となった矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、
前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、
前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得することを特徴とする画像処理装置。
【請求項３】
前記残像画像取得手段は、前記矩形が交差しない部分について論理和をとり、前記矩形が交差する部分について平均をとることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記取得した残像画像をログ情報として、前記入力した画像がもつログ情報に対応付けて保存し管理するログ管理手段をさらに具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切り出し画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記複数画面分の基準画像について一画面分の平均画像を取得する平均画像取得手段と、
前記のＯＲ画像と前記平均画像とをもとに、矩形内部はＯＲ画像と平均画像の平均画像、矩形外部は平均画像とした出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切出画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記複数画面分の基準画像について一画面分の平均画像を取得する平均画像取得手段と、
前記のＯＲ画像と前記平均画像とをもとに、矩形内部はＯＲ画像、矩形外部は平均画像とした出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切出画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記ＯＲ画像の矩形外の部分を前記基準画像の最前面の画像の画素値とし、前記ＯＲ画像の矩形内部の部分と前記基準画像の最前面の画像との平均をとった出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項１】
カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した領域それぞれについて前記矩形内の画像を取得する矩形内画像取得手段と、
前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、
前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得することを特徴とする画像処理装置。
【請求項２】
カメラから入力した一画面分の画像について現在画像と過去画像を差分処理し、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した領域を追跡処理の対象として追跡するオブジェクト追跡処理手段と、
前記追跡処理の対象となった矩形の領域それぞれについて、矩形内の画像を取得する矩形内画像取得手段と、
前記矩形内画像取得手段が取得した画像を、複数画面分の画像を単位に、該当する矩形の領域位置上で論理和演算し、一画面上に複数画面分の矩形内の画像を重ねた残像画像を取得する残像画像取得手段とを具備し、
前記残像画像取得手段は、前記矩形が交差する部分について輝度値の平均をとった残像画像を取得することを特徴とする画像処理装置。
【請求項３】
前記残像画像取得手段は、前記矩形が交差しない部分について論理和をとり、前記矩形が交差する部分について平均をとることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記取得した残像画像をログ情報として、前記入力した画像がもつログ情報に対応付けて保存し管理するログ管理手段をさらに具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切り出し画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記複数画面分の基準画像について一画面分の平均画像を取得する平均画像取得手段と、
前記のＯＲ画像と前記平均画像とをもとに、矩形内部はＯＲ画像と平均画像の平均画像、矩形外部は平均画像とした出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切出画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記複数画面分の基準画像について一画面分の平均画像を取得する平均画像取得手段と、
前記のＯＲ画像と前記平均画像とをもとに、矩形内部はＯＲ画像、矩形外部は平均画像とした出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記残像画像取得手段は、
前記残像画像を作成するための複数画面分の基準画像に対応して、輝度値を０とした複数画面分の暗画像を取得する暗画像取得手段と、
前記基準画像の矩形内の画素を切り出し、切り出した画素を前記基準画像の矩形位置に対応する前記暗画像の座標位置に展開し嵌め込んだ、切り出し画像を取得する切出画像取得手段と、
前記複数画面分の切り出し画像を、前記矩形が交差しない矩形部分は論理和をとり、前記矩形が交差する矩形部分は平均をとった一画面分のＯＲ画像を取得するＯＲ画像取得手段と、
前記ＯＲ画像の矩形外の部分を前記基準画像の最前面の画像の画素値とし、前記ＯＲ画像の矩形内部の部分と前記基準画像の最前面の画像との平均をとった出力画像を取得する出力画像取得手段と、
を具備したことを特徴とする請求項１または２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２１２７１１（Ｐ２００９−２１２７１１Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５２４１５（Ｐ２００８−５２４１５）
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]