画像処理装置、画像処理方法及び画像処理用プログラム
【課題】高精度にカメラ移動の検出を可能とする。
【解決手段】移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段２１と、前記対応する行列を用いて共分散行列を生成する生成手段２２と、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段２３と、ユークリッド距離と閾値とを比較して比較値を検出する検出手段２４と、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段２５とを具備する。
【解決手段】移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段２１と、前記対応する行列を用いて共分散行列を生成する生成手段２２と、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段２３と、ユークリッド距離と閾値とを比較して比較値を検出する検出手段２４と、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段２５とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動可能なカメラにより撮像された画像を用いてカメラが移動中であるのか否かを検出する場合に好適な画像処理装置、画像処理方法及び画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理においては、カメラが移動したことを検出することは行われている（特許文献１の００８８欄参照）ものの、この検出のためには、背景差分やフレーム間差分を１画素（ピクセル）単位で行って特徴情報を検出することが必要である。特に、パーンやチルトに止まらず、カメラの位置自体を変化させて移動物体を撮像する場合には、移動物体が動くと共に背景が動くことになるので高精度で検出を行うための閾値設定が難しいという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１９９３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上記のような従来の画像処理における問題点を解決せんとしてなされたもので、その目的は、カメラが移動して背景が時間経過と共に変化するような場合にも高精度にカメラ移動を検出することが可能である画像処理装置、画像処理方法及び画像処理用プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段と、前記対応する行列を用いて共分散行列を生成する生成手段と、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、ユークリッド距離と閾値とを比較して比較値を検出する検出手段と、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置は、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段と、ユークリッド距離を用いて閾値を更新する閾値更新手段を更に備え、前記行列作成手段は前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、前記生成手段は前記行列を用いて共分散行列を生成し、前記演算手段は前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給することを特徴とする。
【０００７】
本発明に係る画像処理装置は、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段を備え、請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うことを特徴とする。
【０００８】
本発明に係る画像処理方法は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成ステップと、前記対応する行列を用いて共分散行列を生成する生成ステップと、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、ユークリッド距離と閾値とを比較して比較値を検出する検出ステップと、前記検出ステップによる検出結果に基づき前記カメラの移動を判定する判定ステップとを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法では、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成ステップと、ユークリッド距離を用いて閾値を更新する閾値更新ステップを更に備え、前記行列作成ステップでは前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、前記生成ステップでは前記行列を用いて共分散行列を生成し、前記演算ステップでは前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新ステップへ供給することを特徴とする。
【００１０】
本発明に係る画像処理方法では、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定ステップを備え、請求項４に記載の各ステップでは、前後のフレームの前記検出領域について処理を行うことを特徴とする。
【００１１】
本発明に係る画像処理用プログラムは、画像処理を行うコンピュータを、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段、前記対応する行列を用いて共分散行列を生成する生成手段、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、ユークリッド距離と閾値とを比較して比較値を検出する検出手段、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段として機能させることを特徴とする。
【００１２】
本発明に係る画像処理用プログラムでは、コンピュータを更に、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段、ユークリッド距離を用いて閾値を更新する閾値更新手段として機能させ、前記行列作成手段として、前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成するように機能させ、前記生成手段として前記行列を用いて共分散行列を生成するように機能させ、前記演算手段として、前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給するように機能させることを特徴とする。
【００１３】
本発明に係る画像処理用プログラムでは、コンピュータを更に、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段として機能させ、請求項７に記載の各手段として、前後のフレームの前記検出領域について処理を行うように機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして行列を作成して、前後のフレームの対応する各ブロック間のユークリッド距離を求め、ユークリッド距離と閾値とを比較して比較値を検出し、検出結果に基づき前記カメラの移動を判定するので、閾値を適宜設定して高精度にカメラ移動を検出することが可能である。
【００１５】
本発明によれば、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成し、仮想画像の１フレームと原画像の１フレームを用いた行列からユークリッド距離を得て、得られたユークリッド距離を用いて閾値を更新するので、周囲環境（周囲画像）の変化に応じた閾値を用いて高精度にカメラ移動を検出できる。
【００１６】
本発明によれば、前後の１フレームそれぞれの中に離れた複数の検出領域を設定し、請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うので、カメラが移動せずに停止しており、大きな移動物体が移動した場合においても、誤検出をなくし高精度にカメラ移動を検出できる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像処理装置の第１の実施形態を示す構成図。
【図２】本発明に係る画像処理装置の実施例によるブロック分けを説明するための図。
【図３】本発明に係る画像処理装置の実施例による行列作成を説明するための図。
【図４】本発明に係る画像処理装置の実施例による行列作成から共分散行列生成までの動作を説明するための図。
【図５】本発明に係る画像処理装置の実施例による共分散行列からユークリッド距離を求めるまでの動作を説明するための図。
【図６】発明に係る画像処理装置の実施例により求められたユークリッド距離をマトリックス状に並べた状態を示す図。
【図７】発明に係る画像処理装置の第１の実施形態による画像処理の動作を説明するためのフローチャート。
【図８】本発明に係る画像処理装置の第２の実施形態を示す構成図。
【図９】発明に係る画像処理装置の第１の実施形態による画像処理の動作を説明するためのフローチャート。
【図１０】本発明に係る画像処理装置の第３の実施形態を示す構成図。
【図１１】発明に係る画像処理装置の第３の実施形態による画像処理のカメラ移動判定動作を説明するための図。
【図１２】発明に係る画像処理装置の第２の実施形態による閾値の更新のために行われる仮想画像の生成を示す概念図。
【発明を実施するための形態】
【００１８】
以下添付図面を用いて本発明に係る画像処理装置、画像処理方法及び画像処理用プログラムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に実施形態に係る画像処理装置の構成図を示す。この画像処理装置は、ＣＰＵ１０とメモリ（主メモリ及び外部記憶メモリ）１１を有し、情報を表示するための表示部１３がＣＰＵ１０に接続されたコンピュータシステムにより構成されている。
【００１９】
メモリ１１には、画像処理用プログラムが記憶されており、この画像処理用プログラムによりＣＰＵ１０が、行列作成手段２１、生成手段２２、演算手段２３、検出手段２４及び判定手段２５として機能する。
【００２０】
行列作成手段２１は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成するものである。上記画像信号は動画画像であり、カメラから送られたものでも、或いは記憶媒体に記憶されていたものでも良い。
【００２１】
例えば、１フレームが３２０×２４０画素により構成される場合、図２に示すように５×５画素を１ブロックとすると、６４×４８ブロックに分けることになる。以下、１ブロックの画素構成を分割粒度という。上記では分割粒度が５×５画素であるが、分割粒度が１０×１０画素や分割粒度が２×２画素であっても良い。
【００２２】
１フレームにおける全ブロックまたは間引いたブロックを行列の作成に使用する。分割粒度が５×５画素として間引く場合には例えば図３に示すように、第１フレームFrame1及び第２フレームFrame2においては、最左列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。第２フレームFrame2及び第３フレームFrame3においては、最左列の次列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。
【００２３】
第３フレームFrame3及び第４フレームFrame4においては、最左列の次列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。第４フレームFrame4及び第５フレームFrame5においては、最左列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）ブロックを用いる。以下、同様にサンプリングを行う。上記のようにインターレース方式でサンプリングすることによって、均等なサンプリングを行うことができる。
【００２４】
全ブロックを用いて行列を作成して処理する場合には、上記よりも高精度な処理を行うことができ、また、分割粒度を小さくすることにより精度を上げることができる。分割粒度を５×５画素として行列を作成する場合には、例えば、４ブロック毎に一つの行列を作成する。
【００２５】
図４に示すように、第１フレームFrame1の１〜４で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。つまり、１により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、２により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、３により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、４により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列１である。
【００２６】
同様に第２フレームFrame2の５〜８で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。即ち、５により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、６により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、７により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、８により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列２である。以下、同様にして全ブロックについて行列を作成する。
【００２７】
生成手段２２は、上記行列作成手段２１によって作成された行列における対応する行列を用いて共分散行列を生成する。図４におけるＳ１１に示されるように、行列１と行列２とを並べた２５行×８列の行列３を生成し、これの転置行列３Ｔを生成する（Ｓ１２）。この転置行列３Ｔは、８行×２５列である。更に、生成手段２２は、図４におけるＳ１３に示すように転置行列３Ｔと行列３との乗算を行い、Ｓ１４に示す共分散行列を生成する。生成手段２２は、以下同様に、前後するフレームの対応ブロックによって作成された行列から共分散行列を生成する。画面が縦長横長或いは正方形である場合において、一般的に、粒度をｍ×ｍ（ｍ：２以上の整数）として、１フレームをＮブロックに分割すると、（２×Ｎ）×（２×Ｎ）の共分散行列が生成される。
【００２８】
演算手段２３は、上記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求めるものである。図５に示すように、まず共分散行列から既知の演算により固有値及び固有ベクトルを求める（Ｓ１５）。求められた固有値をλ1 〜λ8 とし、固有ベクトルＶを次の（式１）とする。
【００２９】
【数１】
【００３０】
次に演算手段２３は、（式１）の固有ベクトルＶと上記（行列３T ）と（行列３）を用いて、（（行列３）・Ｖ）T ・（行列３）を計算して特徴ベクトルを算出する。ここで算出される特徴ベクトルは、次に示す（式２）のように８行８列（一般的にはｋ行ｋ列）であり、（式２）における行方向に並ぶ要素を集合して特徴ベクトルｃ１〜ｃ８を得る。即ち、ｃ１＝｛ｃ11，・・・，ｃ81｝T 、ｃ２＝｛ｃ12，・・・，ｃ82｝T 、・・・、ｃ８＝｛ｃ18，・・・，ｃ88｝T を得る。なお、（式２）においては、行列３をＱにより示している。
【００３１】
【数２】
【００３２】
更に演算手段２３は、特徴ベクトルｃ１〜ｃ８の各要素間の距離を算出するものであり、本実施例では各要素間の距離をｄmnとするとき、次の（式３）により、ユークリッド距離が求められる（図５のＳ１６）。（式３）は、一般式であり、共分散行列が８行×８列である本例では、ｋ＝８である。
【００３３】
【数３】
【００３４】
演算手段２３によって求められたユークリッド距離は、図５に示す距離行列Ｄのように、８行×８列であり、第１フレームFrame1の１〜４で示す４ブロックと第２フレームFrame2の５〜８で示す４ブロックにおいてそれぞれ対応するブロックについての距離は、右上側に斜めに並ぶＤ（１，５）、Ｄ（２，６）、Ｄ（３，７）、Ｄ（４，８）或いは、左下側に斜めに並ぶＤ（５，１）、Ｄ（６，２）、Ｄ（７，３）、Ｄ（８，４）に存在する。図５には、上記以外に第１フレームFrame1のブロック１と第２フレームFrame2のブロック８との距離Ｄ（８，１）の位置と、第２フレームFrame2のブロック６と第２フレームFrame2のブロック７との距離Ｄ（７，６）の位置についても示すことにより、距離行列Ｄの構成を説明している。
【００３５】
演算手段２３は、前後フレームにおける残りの対応するブロックについても同様の演算によりユークリッド距離を求める。ここでは、１フレームが３２０×２４０画素で、分割粒度を５×５画素としたので、全体では６４×４８＝３０７２個のユークリッド距離が求められる。
【００３６】
図１における検出手段２４は、ユークリッド距離と閾値とを比較して比較値をブロック毎に検出する。分割粒度を５×５画素とした場合、前後する１フレームにおいて対応するブロック間のユークリッド距離は６４×４８得られ、図６のマトリックスに並べることができる。これに対し、検出手段２４が用いる閾値は実際にカメラを移動させて上記のような処理を行ってユークリッド距離を求め、例えば全ユークリッド距離を加算して平均を求めて閾値（平均閾値）とすることができる。或いは、上記平均閾値に対し適当な定数を用いて加減乗除等の少なくともいずれかによる演算を行って閾値としても良い。
【００３７】
比較値としては、例えばユークリッド距離と閾値との差、或いはユークリッド距離と閾値との比等を採用することができる。図１における判定手段２５は、検出手段２４による検出結果に基づきカメラの移動を判定する。即ち、比較値である「差」が「０」に近いブロック数が半数（所定割合）以上であるとき、或いは、比較値である「比」が「１」に近いブロック数が半数（所定割合）以上であるとき、カメラ移動中であると判定することができる。
【００３８】
カメラ移動中であることの検出結果は、画像における移動物体検出処理に適用でき、例えば移動物体検出閾値を変更したり、移動物体検出処理のアルゴリズムを変更することができる。また、カメラにより撮像された画像を図１の表示部１３に表示する場合に、「カメラ移動中」の文字を表示したり、適当なマークを表示したりすることにより、視聴している人に知らせることも可能である。
【００３９】
図７は、画像処理用プログラムに対応するフローチャートである。このフローチャートにより図１に示されている各手段が実現されるので、このフローチャートに基づきＣＰＵ１０による動作を説明する。画像処理装置が起動されてスタートとなると、画像信号の第ｉ（当初ｉ＝１）フレームを取り込み（Ｓ２１）、更に画像信号の第ｉ＋１フレームを取り込む（Ｓ２２）。次に、ＣＰＵ１０は、第ｉフレームと第ｉ＋１フレームにおける対応するｊ個のブロックを取り込み、行列を作成する（Ｓ２３）。これによって、１ブロックの分割粒度を５×５画素とした場合には、図２に示される行列が作成される。
【００４０】
次に、ＣＰＵ１０は、上記行列を用いて固有値と固有ベクトルを求め、この固有値と固有ベクトルを用いて既に説明の通りの処理により共分散行列を生成する（Ｓ２４）。この共分散行列は、図４に示されているようである。
【００４１】
ステップＳ２４に続いて、共分散行列を用いて第ｉフレームと第ｉ＋１フレームにおける対応するブロック間のユークリッド距離を求める（Ｓ２５）。求められるユークリッド距離は、図５に示すように８行×８列の距離行列Ｄである。
【００４２】
ステップＳ２５においてユークリッド距離が求められると、全対象ブロックの処理が終了したのかを検出し（Ｓ２６）、ＮＯとなると選択するブロックを更新して（Ｓ２７）、ステップＳ２３へ戻って処理を続ける。また、ステップＳ２６において全対象ブロックの処理が終了したことが検出された場合には、対応ブロックのユークリッド距離と予め用意した閾値を比較し、比較値を検出する（Ｓ２８）。
【００４３】
ステップＳ２８に続き、上記検出された比較値に基づきが画像を撮像したカメラの移動を判定する（Ｓ２９）。既に述べた通り、比較値としては例えばユークリッド距離と閾値との差を採用することができ、比較値である「差」が「０」に近いブロック数が半数（所定割合）以上であるときカメラ移動中であると判定する。判定結果は次の処理や画像表示のために出力され（Ｓ３０）、次のフレームがあるか判定がなされ（Ｓ３１）、次に処理すべきフレームがあればｉを１インクリメントして（Ｓ３２）ステップＳ２２へ戻って処理を続ける。
【００４４】
図８は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。この実施形態では、第１の実施形態と比べてＣＰＵ１０Ａに対して仮想画像生成手段２６と閾値更新手段２７が追加された構成を有している。仮想画像生成手段２６は、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成するものである。閾値更新手段２７は、ユークリッド距離を用いて閾値を更新するものである。カメラ移動検出に関しては、既に説明した図７に示したフローチャートのプログラムに基づき処理を行う。
【００４５】
この第２の実施形態では、図９のフローチャートに示す処理により閾値の更新を行う。例えば、フレーム数が所定値（ここでは５）の倍数となったかを検出し（Ｓ４１）、５の倍数のフレームが到来すると、このフレームの原画像を図１２に示すように例えば右方に５画素ずらし、また下方へ５画素ずらした１フレームの仮想画像を生成する（Ｓ４２）。このとき空白となる画素領域Ｅ（ハッチングで示す）の画素には、白や黒或いはその中間色の輝度値を補充する。
【００４６】
上記原画像の１フレームと仮想画像の１フレームとについて、図７のステップＳ２３からステップＳ２７までと同様にして、全ブロックについてユークリッド距離を求める（Ｓ２３〜Ｓ２７）。更に、上記で求めたユークリッド距離を用いて閾値を作成して、次のフレームについてカメラ移動を検出する閾値を更新する（Ｓ４３）。ユークリッド距離を用いて閾値を作成する場合、例えば全ユークリッド距離を加算して平均を求めて閾値（平均閾値）とすることができる。或いは、上記平均閾値に対し適当な定数を用いて加減乗除等の少なくともいずれかによる演算を行って閾値としても良い。
【００４７】
上記のように閾値を変更するため、カメラ移動によって背景が変ってゆく場合に、これに追随して閾値を更新することになる。このため、適切な閾値により高精度な検出を行うことができる。
【００４８】
次に、第３の実施形態を説明する。この第３の実施形態に係る画像処理装置は、画面に大きな移動物体が現れた場合にカメラ移動であると誤検出することを防止する。即ち、第１の実施形態においては、１フレーム全体を対象として処理を行ったが、図１０に示すように、ＣＰＵ１０Ｂに検出領域設定手段２８が備えられており、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する。
【００４９】
例えば、図１１に示されるように第ｉフレームの画像における左右の端部に幅が１０ブロック程度の短冊状の領域Ａｉ、Ｂｉを設定する。次の第ｉ＋１フレームの画像における左右の端部にも上記と全く同様に、幅が１０ブロック程度の短冊状の領域Ａｉ＋１、Ｂｉ＋１を設定する。この設定領域について（Ａｉ，Ａｉ＋１）の組合せと（Ｂｉ，Ｂｉ＋１）の組合せにより、それぞれ図７に示した処理を行い、カメラ移動の検出を行う。検出結果は２通り得られるので、２つの結果がカメラ移動であることを示している場合のみ、カメラ移動とする。これにより、画面に大きな移動物体が現れた場合には、上記左右の領域が同時に移動物体で覆われることは少なく、誤検出を防止することができる。ここでは、左右の端部に検出領域を設けたが、上下の端部や画面の隅等を検出領域とすることもできる。また、検出領域の数は複数であれば良い。
【００５０】
上記の第３の実施形態により処理を行う場合において、前述の第２の実施形態と同様に閾値を更新する場合は、仮想画像生成手段２６は、上記検出領域それぞれについて仮想画像の生成を行い、閾値更新手段２７は、上記検出領域それぞれについて閾値を得て更新を行うことになる。これにより、適切な閾値により高精度な検出を行うことができる。
【００５１】
尚、上記の実施形態では、各手段をソフトウエアによって実現したが、演算回路や論理回路のようなハードウエアの組み合わせによっても各手段を実現し、これにより画像処理装置を構成するようにしても良い。
【符号の説明】
【００５２】
１０、１０Ａ、１０Ｂ ＣＰＵ
１１ メモリ
１３ 表示部
２１ 行列作成手段
２２ 生成手段
２３ 演算手段
２４ 検出手段
２５ 判定手段
２６ 仮想画像生成手段
２７ 閾値更新手段
２８ 検出領域設定手段
【技術分野】
【０００１】
この発明は、移動可能なカメラにより撮像された画像を用いてカメラが移動中であるのか否かを検出する場合に好適な画像処理装置、画像処理方法及び画像処理用プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理においては、カメラが移動したことを検出することは行われている（特許文献１の００８８欄参照）ものの、この検出のためには、背景差分やフレーム間差分を１画素（ピクセル）単位で行って特徴情報を検出することが必要である。特に、パーンやチルトに止まらず、カメラの位置自体を変化させて移動物体を撮像する場合には、移動物体が動くと共に背景が動くことになるので高精度で検出を行うための閾値設定が難しいという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１９９３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は上記のような従来の画像処理における問題点を解決せんとしてなされたもので、その目的は、カメラが移動して背景が時間経過と共に変化するような場合にも高精度にカメラ移動を検出することが可能である画像処理装置、画像処理方法及び画像処理用プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段と、前記対応する行列を用いて共分散行列を生成する生成手段と、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、ユークリッド距離と閾値とを比較して比較値を検出する検出手段と、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置は、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段と、ユークリッド距離を用いて閾値を更新する閾値更新手段を更に備え、前記行列作成手段は前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、前記生成手段は前記行列を用いて共分散行列を生成し、前記演算手段は前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給することを特徴とする。
【０００７】
本発明に係る画像処理装置は、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段を備え、請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うことを特徴とする。
【０００８】
本発明に係る画像処理方法は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成ステップと、前記対応する行列を用いて共分散行列を生成する生成ステップと、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、ユークリッド距離と閾値とを比較して比較値を検出する検出ステップと、前記検出ステップによる検出結果に基づき前記カメラの移動を判定する判定ステップとを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法では、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成ステップと、ユークリッド距離を用いて閾値を更新する閾値更新ステップを更に備え、前記行列作成ステップでは前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、前記生成ステップでは前記行列を用いて共分散行列を生成し、前記演算ステップでは前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新ステップへ供給することを特徴とする。
【００１０】
本発明に係る画像処理方法では、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定ステップを備え、請求項４に記載の各ステップでは、前後のフレームの前記検出領域について処理を行うことを特徴とする。
【００１１】
本発明に係る画像処理用プログラムは、画像処理を行うコンピュータを、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段、前記対応する行列を用いて共分散行列を生成する生成手段、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、ユークリッド距離と閾値とを比較して比較値を検出する検出手段、前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段として機能させることを特徴とする。
【００１２】
本発明に係る画像処理用プログラムでは、コンピュータを更に、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段、ユークリッド距離を用いて閾値を更新する閾値更新手段として機能させ、前記行列作成手段として、前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成するように機能させ、前記生成手段として前記行列を用いて共分散行列を生成するように機能させ、前記演算手段として、前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給するように機能させることを特徴とする。
【００１３】
本発明に係る画像処理用プログラムでは、コンピュータを更に、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段として機能させ、請求項７に記載の各手段として、前後のフレームの前記検出領域について処理を行うように機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして行列を作成して、前後のフレームの対応する各ブロック間のユークリッド距離を求め、ユークリッド距離と閾値とを比較して比較値を検出し、検出結果に基づき前記カメラの移動を判定するので、閾値を適宜設定して高精度にカメラ移動を検出することが可能である。
【００１５】
本発明によれば、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成し、仮想画像の１フレームと原画像の１フレームを用いた行列からユークリッド距離を得て、得られたユークリッド距離を用いて閾値を更新するので、周囲環境（周囲画像）の変化に応じた閾値を用いて高精度にカメラ移動を検出できる。
【００１６】
本発明によれば、前後の１フレームそれぞれの中に離れた複数の検出領域を設定し、請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うので、カメラが移動せずに停止しており、大きな移動物体が移動した場合においても、誤検出をなくし高精度にカメラ移動を検出できる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像処理装置の第１の実施形態を示す構成図。
【図２】本発明に係る画像処理装置の実施例によるブロック分けを説明するための図。
【図３】本発明に係る画像処理装置の実施例による行列作成を説明するための図。
【図４】本発明に係る画像処理装置の実施例による行列作成から共分散行列生成までの動作を説明するための図。
【図５】本発明に係る画像処理装置の実施例による共分散行列からユークリッド距離を求めるまでの動作を説明するための図。
【図６】発明に係る画像処理装置の実施例により求められたユークリッド距離をマトリックス状に並べた状態を示す図。
【図７】発明に係る画像処理装置の第１の実施形態による画像処理の動作を説明するためのフローチャート。
【図８】本発明に係る画像処理装置の第２の実施形態を示す構成図。
【図９】発明に係る画像処理装置の第１の実施形態による画像処理の動作を説明するためのフローチャート。
【図１０】本発明に係る画像処理装置の第３の実施形態を示す構成図。
【図１１】発明に係る画像処理装置の第３の実施形態による画像処理のカメラ移動判定動作を説明するための図。
【図１２】発明に係る画像処理装置の第２の実施形態による閾値の更新のために行われる仮想画像の生成を示す概念図。
【発明を実施するための形態】
【００１８】
以下添付図面を用いて本発明に係る画像処理装置、画像処理方法及び画像処理用プログラムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に実施形態に係る画像処理装置の構成図を示す。この画像処理装置は、ＣＰＵ１０とメモリ（主メモリ及び外部記憶メモリ）１１を有し、情報を表示するための表示部１３がＣＰＵ１０に接続されたコンピュータシステムにより構成されている。
【００１９】
メモリ１１には、画像処理用プログラムが記憶されており、この画像処理用プログラムによりＣＰＵ１０が、行列作成手段２１、生成手段２２、演算手段２３、検出手段２４及び判定手段２５として機能する。
【００２０】
行列作成手段２１は、移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成するものである。上記画像信号は動画画像であり、カメラから送られたものでも、或いは記憶媒体に記憶されていたものでも良い。
【００２１】
例えば、１フレームが３２０×２４０画素により構成される場合、図２に示すように５×５画素を１ブロックとすると、６４×４８ブロックに分けることになる。以下、１ブロックの画素構成を分割粒度という。上記では分割粒度が５×５画素であるが、分割粒度が１０×１０画素や分割粒度が２×２画素であっても良い。
【００２２】
１フレームにおける全ブロックまたは間引いたブロックを行列の作成に使用する。分割粒度が５×５画素として間引く場合には例えば図３に示すように、第１フレームFrame1及び第２フレームFrame2においては、最左列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。第２フレームFrame2及び第３フレームFrame3においては、最左列の次列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。
【００２３】
第３フレームFrame3及び第４フレームFrame4においては、最左列の次列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。第４フレームFrame4及び第５フレームFrame5においては、最左列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）ブロックを用いる。以下、同様にサンプリングを行う。上記のようにインターレース方式でサンプリングすることによって、均等なサンプリングを行うことができる。
【００２４】
全ブロックを用いて行列を作成して処理する場合には、上記よりも高精度な処理を行うことができ、また、分割粒度を小さくすることにより精度を上げることができる。分割粒度を５×５画素として行列を作成する場合には、例えば、４ブロック毎に一つの行列を作成する。
【００２５】
図４に示すように、第１フレームFrame1の１〜４で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。つまり、１により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、２により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、３により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、４により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列１である。
【００２６】
同様に第２フレームFrame2の５〜８で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。即ち、５により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、６により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、７により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、８により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列２である。以下、同様にして全ブロックについて行列を作成する。
【００２７】
生成手段２２は、上記行列作成手段２１によって作成された行列における対応する行列を用いて共分散行列を生成する。図４におけるＳ１１に示されるように、行列１と行列２とを並べた２５行×８列の行列３を生成し、これの転置行列３Ｔを生成する（Ｓ１２）。この転置行列３Ｔは、８行×２５列である。更に、生成手段２２は、図４におけるＳ１３に示すように転置行列３Ｔと行列３との乗算を行い、Ｓ１４に示す共分散行列を生成する。生成手段２２は、以下同様に、前後するフレームの対応ブロックによって作成された行列から共分散行列を生成する。画面が縦長横長或いは正方形である場合において、一般的に、粒度をｍ×ｍ（ｍ：２以上の整数）として、１フレームをＮブロックに分割すると、（２×Ｎ）×（２×Ｎ）の共分散行列が生成される。
【００２８】
演算手段２３は、上記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求めるものである。図５に示すように、まず共分散行列から既知の演算により固有値及び固有ベクトルを求める（Ｓ１５）。求められた固有値をλ1 〜λ8 とし、固有ベクトルＶを次の（式１）とする。
【００２９】
【数１】
【００３０】
次に演算手段２３は、（式１）の固有ベクトルＶと上記（行列３T ）と（行列３）を用いて、（（行列３）・Ｖ）T ・（行列３）を計算して特徴ベクトルを算出する。ここで算出される特徴ベクトルは、次に示す（式２）のように８行８列（一般的にはｋ行ｋ列）であり、（式２）における行方向に並ぶ要素を集合して特徴ベクトルｃ１〜ｃ８を得る。即ち、ｃ１＝｛ｃ11，・・・，ｃ81｝T 、ｃ２＝｛ｃ12，・・・，ｃ82｝T 、・・・、ｃ８＝｛ｃ18，・・・，ｃ88｝T を得る。なお、（式２）においては、行列３をＱにより示している。
【００３１】
【数２】
【００３２】
更に演算手段２３は、特徴ベクトルｃ１〜ｃ８の各要素間の距離を算出するものであり、本実施例では各要素間の距離をｄmnとするとき、次の（式３）により、ユークリッド距離が求められる（図５のＳ１６）。（式３）は、一般式であり、共分散行列が８行×８列である本例では、ｋ＝８である。
【００３３】
【数３】
【００３４】
演算手段２３によって求められたユークリッド距離は、図５に示す距離行列Ｄのように、８行×８列であり、第１フレームFrame1の１〜４で示す４ブロックと第２フレームFrame2の５〜８で示す４ブロックにおいてそれぞれ対応するブロックについての距離は、右上側に斜めに並ぶＤ（１，５）、Ｄ（２，６）、Ｄ（３，７）、Ｄ（４，８）或いは、左下側に斜めに並ぶＤ（５，１）、Ｄ（６，２）、Ｄ（７，３）、Ｄ（８，４）に存在する。図５には、上記以外に第１フレームFrame1のブロック１と第２フレームFrame2のブロック８との距離Ｄ（８，１）の位置と、第２フレームFrame2のブロック６と第２フレームFrame2のブロック７との距離Ｄ（７，６）の位置についても示すことにより、距離行列Ｄの構成を説明している。
【００３５】
演算手段２３は、前後フレームにおける残りの対応するブロックについても同様の演算によりユークリッド距離を求める。ここでは、１フレームが３２０×２４０画素で、分割粒度を５×５画素としたので、全体では６４×４８＝３０７２個のユークリッド距離が求められる。
【００３６】
図１における検出手段２４は、ユークリッド距離と閾値とを比較して比較値をブロック毎に検出する。分割粒度を５×５画素とした場合、前後する１フレームにおいて対応するブロック間のユークリッド距離は６４×４８得られ、図６のマトリックスに並べることができる。これに対し、検出手段２４が用いる閾値は実際にカメラを移動させて上記のような処理を行ってユークリッド距離を求め、例えば全ユークリッド距離を加算して平均を求めて閾値（平均閾値）とすることができる。或いは、上記平均閾値に対し適当な定数を用いて加減乗除等の少なくともいずれかによる演算を行って閾値としても良い。
【００３７】
比較値としては、例えばユークリッド距離と閾値との差、或いはユークリッド距離と閾値との比等を採用することができる。図１における判定手段２５は、検出手段２４による検出結果に基づきカメラの移動を判定する。即ち、比較値である「差」が「０」に近いブロック数が半数（所定割合）以上であるとき、或いは、比較値である「比」が「１」に近いブロック数が半数（所定割合）以上であるとき、カメラ移動中であると判定することができる。
【００３８】
カメラ移動中であることの検出結果は、画像における移動物体検出処理に適用でき、例えば移動物体検出閾値を変更したり、移動物体検出処理のアルゴリズムを変更することができる。また、カメラにより撮像された画像を図１の表示部１３に表示する場合に、「カメラ移動中」の文字を表示したり、適当なマークを表示したりすることにより、視聴している人に知らせることも可能である。
【００３９】
図７は、画像処理用プログラムに対応するフローチャートである。このフローチャートにより図１に示されている各手段が実現されるので、このフローチャートに基づきＣＰＵ１０による動作を説明する。画像処理装置が起動されてスタートとなると、画像信号の第ｉ（当初ｉ＝１）フレームを取り込み（Ｓ２１）、更に画像信号の第ｉ＋１フレームを取り込む（Ｓ２２）。次に、ＣＰＵ１０は、第ｉフレームと第ｉ＋１フレームにおける対応するｊ個のブロックを取り込み、行列を作成する（Ｓ２３）。これによって、１ブロックの分割粒度を５×５画素とした場合には、図２に示される行列が作成される。
【００４０】
次に、ＣＰＵ１０は、上記行列を用いて固有値と固有ベクトルを求め、この固有値と固有ベクトルを用いて既に説明の通りの処理により共分散行列を生成する（Ｓ２４）。この共分散行列は、図４に示されているようである。
【００４１】
ステップＳ２４に続いて、共分散行列を用いて第ｉフレームと第ｉ＋１フレームにおける対応するブロック間のユークリッド距離を求める（Ｓ２５）。求められるユークリッド距離は、図５に示すように８行×８列の距離行列Ｄである。
【００４２】
ステップＳ２５においてユークリッド距離が求められると、全対象ブロックの処理が終了したのかを検出し（Ｓ２６）、ＮＯとなると選択するブロックを更新して（Ｓ２７）、ステップＳ２３へ戻って処理を続ける。また、ステップＳ２６において全対象ブロックの処理が終了したことが検出された場合には、対応ブロックのユークリッド距離と予め用意した閾値を比較し、比較値を検出する（Ｓ２８）。
【００４３】
ステップＳ２８に続き、上記検出された比較値に基づきが画像を撮像したカメラの移動を判定する（Ｓ２９）。既に述べた通り、比較値としては例えばユークリッド距離と閾値との差を採用することができ、比較値である「差」が「０」に近いブロック数が半数（所定割合）以上であるときカメラ移動中であると判定する。判定結果は次の処理や画像表示のために出力され（Ｓ３０）、次のフレームがあるか判定がなされ（Ｓ３１）、次に処理すべきフレームがあればｉを１インクリメントして（Ｓ３２）ステップＳ２２へ戻って処理を続ける。
【００４４】
図８は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。この実施形態では、第１の実施形態と比べてＣＰＵ１０Ａに対して仮想画像生成手段２６と閾値更新手段２７が追加された構成を有している。仮想画像生成手段２６は、１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成するものである。閾値更新手段２７は、ユークリッド距離を用いて閾値を更新するものである。カメラ移動検出に関しては、既に説明した図７に示したフローチャートのプログラムに基づき処理を行う。
【００４５】
この第２の実施形態では、図９のフローチャートに示す処理により閾値の更新を行う。例えば、フレーム数が所定値（ここでは５）の倍数となったかを検出し（Ｓ４１）、５の倍数のフレームが到来すると、このフレームの原画像を図１２に示すように例えば右方に５画素ずらし、また下方へ５画素ずらした１フレームの仮想画像を生成する（Ｓ４２）。このとき空白となる画素領域Ｅ（ハッチングで示す）の画素には、白や黒或いはその中間色の輝度値を補充する。
【００４６】
上記原画像の１フレームと仮想画像の１フレームとについて、図７のステップＳ２３からステップＳ２７までと同様にして、全ブロックについてユークリッド距離を求める（Ｓ２３〜Ｓ２７）。更に、上記で求めたユークリッド距離を用いて閾値を作成して、次のフレームについてカメラ移動を検出する閾値を更新する（Ｓ４３）。ユークリッド距離を用いて閾値を作成する場合、例えば全ユークリッド距離を加算して平均を求めて閾値（平均閾値）とすることができる。或いは、上記平均閾値に対し適当な定数を用いて加減乗除等の少なくともいずれかによる演算を行って閾値としても良い。
【００４７】
上記のように閾値を変更するため、カメラ移動によって背景が変ってゆく場合に、これに追随して閾値を更新することになる。このため、適切な閾値により高精度な検出を行うことができる。
【００４８】
次に、第３の実施形態を説明する。この第３の実施形態に係る画像処理装置は、画面に大きな移動物体が現れた場合にカメラ移動であると誤検出することを防止する。即ち、第１の実施形態においては、１フレーム全体を対象として処理を行ったが、図１０に示すように、ＣＰＵ１０Ｂに検出領域設定手段２８が備えられており、前後の１フレームそれぞれの中に離れた複数の検出領域を設定する。
【００４９】
例えば、図１１に示されるように第ｉフレームの画像における左右の端部に幅が１０ブロック程度の短冊状の領域Ａｉ、Ｂｉを設定する。次の第ｉ＋１フレームの画像における左右の端部にも上記と全く同様に、幅が１０ブロック程度の短冊状の領域Ａｉ＋１、Ｂｉ＋１を設定する。この設定領域について（Ａｉ，Ａｉ＋１）の組合せと（Ｂｉ，Ｂｉ＋１）の組合せにより、それぞれ図７に示した処理を行い、カメラ移動の検出を行う。検出結果は２通り得られるので、２つの結果がカメラ移動であることを示している場合のみ、カメラ移動とする。これにより、画面に大きな移動物体が現れた場合には、上記左右の領域が同時に移動物体で覆われることは少なく、誤検出を防止することができる。ここでは、左右の端部に検出領域を設けたが、上下の端部や画面の隅等を検出領域とすることもできる。また、検出領域の数は複数であれば良い。
【００５０】
上記の第３の実施形態により処理を行う場合において、前述の第２の実施形態と同様に閾値を更新する場合は、仮想画像生成手段２６は、上記検出領域それぞれについて仮想画像の生成を行い、閾値更新手段２７は、上記検出領域それぞれについて閾値を得て更新を行うことになる。これにより、適切な閾値により高精度な検出を行うことができる。
【００５１】
尚、上記の実施形態では、各手段をソフトウエアによって実現したが、演算回路や論理回路のようなハードウエアの組み合わせによっても各手段を実現し、これにより画像処理装置を構成するようにしても良い。
【符号の説明】
【００５２】
１０、１０Ａ、１０Ｂ ＣＰＵ
１１ メモリ
１３ 表示部
２１ 行列作成手段
２２ 生成手段
２３ 演算手段
２４ 検出手段
２５ 判定手段
２６ 仮想画像生成手段
２７ 閾値更新手段
２８ 検出領域設定手段
【特許請求の範囲】
【請求項１】
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段と、
前記対応する行列を用いて共分散行列を生成する生成手段と、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、
ユークリッド距離と閾値とを比較して比較値を検出する検出手段と、
前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段と
を具備することを特徴とする画像処理装置。
【請求項２】
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段と、
ユークリッド距離を用いて閾値を更新する閾値更新手段を更に備え、
前記行列作成手段は前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、
前記生成手段は前記行列を用いて共分散行列を生成し、
前記演算手段は前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段を備え、
請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成ステップと、
前記対応する行列を用いて共分散行列を生成する生成ステップと、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、
ユークリッド距離と閾値とを比較して比較値を検出する検出ステップと、
前記検出ステップによる検出結果に基づき前記カメラの移動を判定する判定ステップと
を具備することを特徴とする画像処理方法。
【請求項５】
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成ステップと、
ユークリッド距離を用いて閾値を更新する閾値更新ステップを更に備え、
前記行列作成ステップでは前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、
前記生成ステップでは前記行列を用いて共分散行列を生成し、
前記演算ステップでは前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新ステップへ供給すること
を特徴とする請求項４に記載の画像処理方法。
【請求項６】
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定ステップを備え、
請求項４に記載の各ステップでは、前後のフレームの前記検出領域について処理を行うことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像処理を行うコンピュータを、
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段、
前記対応する行列を用いて共分散行列を生成する生成手段、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、
ユークリッド距離と閾値とを比較して比較値を検出する検出手段、
前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段
として機能させることを特徴とする画像処理用プログラム。
【請求項８】
コンピュータを更に、
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段、
ユークリッド距離を用いて閾値を更新する閾値更新手段
として機能させ、
前記行列作成手段として、前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成するように機能させ、
前記生成手段として前記行列を用いて共分散行列を生成するように機能させ、
前記演算手段として、前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給するように機能させること
を特徴とする請求項７に記載の画像処理用プログラム。
【請求項９】
コンピュータを更に、
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段として機能させ、
請求項７に記載の各手段として、前後のフレームの前記検出領域について処理を行うように機能させることを特徴とする請求項８に記載の画像処理用プログラム。
【請求項１】
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段と、
前記対応する行列を用いて共分散行列を生成する生成手段と、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、
ユークリッド距離と閾値とを比較して比較値を検出する検出手段と、
前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段と
を具備することを特徴とする画像処理装置。
【請求項２】
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段と、
ユークリッド距離を用いて閾値を更新する閾値更新手段を更に備え、
前記行列作成手段は前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、
前記生成手段は前記行列を用いて共分散行列を生成し、
前記演算手段は前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段を備え、
請求項１に記載の各手段は、前後のフレームの前記検出領域について処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成ステップと、
前記対応する行列を用いて共分散行列を生成する生成ステップと、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、
ユークリッド距離と閾値とを比較して比較値を検出する検出ステップと、
前記検出ステップによる検出結果に基づき前記カメラの移動を判定する判定ステップと
を具備することを特徴とする画像処理方法。
【請求項５】
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成ステップと、
ユークリッド距離を用いて閾値を更新する閾値更新ステップを更に備え、
前記行列作成ステップでは前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成し、
前記生成ステップでは前記行列を用いて共分散行列を生成し、
前記演算ステップでは前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新ステップへ供給すること
を特徴とする請求項４に記載の画像処理方法。
【請求項６】
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定ステップを備え、
請求項４に記載の各ステップでは、前後のフレームの前記検出領域について処理を行うことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像処理を行うコンピュータを、
移動可能なカメラにより撮像された画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成する行列作成手段、
前記対応する行列を用いて共分散行列を生成する生成手段、
前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、
ユークリッド距離と閾値とを比較して比較値を検出する検出手段、
前記検出手段による検出結果に基づき前記カメラの移動を判定する判定手段
として機能させることを特徴とする画像処理用プログラム。
【請求項８】
コンピュータを更に、
１フレームの原画像を所定方向にずらした仮想画像の１フレームを生成する仮想画像生成手段、
ユークリッド距離を用いて閾値を更新する閾値更新手段
として機能させ、
前記行列作成手段として、前記仮想画像の１フレームと原画像の１フレームを用いた行列を作成するように機能させ、
前記生成手段として前記行列を用いて共分散行列を生成するように機能させ、
前記演算手段として、前記共分散行列から前記仮想画像の１フレームと原画像の１フレームの対応する各ブロック間のユークリッド距離を求めて前記閾値更新手段へ供給するように機能させること
を特徴とする請求項７に記載の画像処理用プログラム。
【請求項９】
コンピュータを更に、
前後の１フレームそれぞれの中に離れた複数の検出領域を設定する検出領域設定手段として機能させ、
請求項７に記載の各手段として、前後のフレームの前記検出領域について処理を行うように機能させることを特徴とする請求項８に記載の画像処理用プログラム。
【図１】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図１１】
【図１２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図１１】
【図１２】
【公開番号】特開２０１１−１５４６３３（Ｐ２０１１−１５４６３３Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１６９９６（Ｐ２０１０−１６９９６）
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（３９１０１６３５８）東芝情報システム株式会社 (149)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（３９１０１６３５８）東芝情報システム株式会社 (149)
【Ｆターム（参考）】
[ Back to top ]