画像処理装置、追跡システム
【課題】解像度の段階的な切り換えを実現させることを課題とする。
【解決手段】イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持し、外部装置の要求に応じて出力する画像処理装置であって、入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、前記各解像度変換回路の出力する各解像度の画像データをそれぞれ保持するデータ記憶部と、前記外部装置の要求に応じて、前記データ記憶部から指定された解像度の画像データを読み出して出力する出力部と、を備える。
【解決手段】イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持し、外部装置の要求に応じて出力する画像処理装置であって、入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、前記各解像度変換回路の出力する各解像度の画像データをそれぞれ保持するデータ記憶部と、前記外部装置の要求に応じて、前記データ記憶部から指定された解像度の画像データを読み出して出力する出力部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及びそれを備えた追跡システムに関する。
【背景技術】
【０００２】
従来から、移動体の位置に追従させるようにカメラを移動させることで、移動体を追跡する追跡システムが広く知られている。この種の追跡システムは、画像の時間的な変化から移動体を検出し、その位置を特定する。そのため、画像の解像度が高く画素数が多いと画像解析処理が追いつかないことがある。このような課題を解決するものとして、下記特許文献１に開示されたものがある。このものでは、画像の解像度を落として画素数を減らすことで、画像解析処理の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８５４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、解像度を落とすと画像が粗くなるので、画像中の小さな変化は検出できなくなる。そのため、移動体の動きが小さいと、検出が難しくなるという問題があった。
本発明は上記のような事情に基づいて完成されたものであって、解像度の段階的な切り換えを実現させ、移動体の検出を高精度に行うことを課題とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持するものであって、入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、前記各解像度変換回路の出力する解像度の異なる画像データを保持するデータ記憶部と、前記データ記憶部に記憶された解像度の異なる複数の画像データから一の画像データを、外部からの指令に従って選択的に読み出して出力する出力部と、を備える。
【０００６】
本発明の追跡システムは、イメージセンサと、前記イメージセンサを角変位させる駆動装置と、本発明の画像処理装置と、前記画像処理装置の出力する画像データに基づいて移動体を検出し、検出した移動体に前記イメージセンサを追尾させるように前記駆動装置を制御する制御装置と、を備える。
【０００７】
この発明では、解像度変換回路を縦続接続しており、各解像度変換回路にて解像度変換処理が行われるごとに解像度が段階的に低がる画像データが生成される。そして、生成された各解像度の画像データはデータ記憶部に記憶される構成となっている。そのため、データ記憶部から必要な解像度の画像データを出力部を通じて選択的に読み出すことで、解像度の段階的な切り換えが可能となる。
【０００８】
この発明の実施態様として、以下の構成とすることが好ましい。
・解像度変換回路を、解像度変換処理を分担して実行する複数の単位変換回路から構成する。このような構成としておけば、解像度を下げる処理を高速化できる。
【０００９】
・各解像度変換回路の解像度変換率を等しくする。このような構成としておけば、各段にて共通の解像度変換回路を用いることが可能となり、画像処理部を安価な構成にできる。
【００１０】
・解像度変換処理を、画像データを構成する各画素ブロックに対して平均値フィルタをかけて画素を統合することにより画像の解像度を落とす処理とする。このようにしておけば、処理の負担も少ないし、画像に含まれる不規則な雑音を除去できる。また、画像中のぶれを吸収できる。
【発明の効果】
【００１１】
本発明によれば、解像度の段階的な切り換えが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に適用した追跡システムの構成を示すブロック図
【図２】画像データＧと解像度との関係を示す図
【図３】移動体の画像を示す図（移動前後を重ねた状態を示す）
【図４】画像処理装置の内部構成を示すブロック図
【図５】画像データを示す図
【図６】単位変換回路の内部構成を示すブロック図
【図７】画像処理装置内におけるデータの流れを説明する図
【図８】アドレスコンバータの作用を説明する図
【図９】実施形態２において、隣接する画素ブロックを重ねて配置した状態を示す図
【発明を実施するための形態】
【００１３】
＜実施形態１＞
１．全体説明
本発明の実施形態１を図１ないし図８によって説明する。
図１は追跡システムＵのブロック図である。本追跡システムＵは追跡装置本体１０、画像処理装置５０、制御装置１００から構成されている。
【００１４】
追跡装置本体１０はカメラ２０と、ジンバル機構３０と、駆動装置４０とを主体に構成されている。カメラ２０は追跡対象を撮影するものであって、集光レンズ２１、イメージセンサ２５、処理部２７などを備える（図４参照）。イメージセンサ２５はＣＣＤ、ＣＭＯＳなどの撮像素子を行列状に配置した二次元イメージセンサである。
【００１５】
処理部２７はイメージセンサ２５より出力される撮像データをディジタルデータ（以下、画像データＧ）に変換して、後述する画像処理装置５０に出力するものである。尚、本明細書を通じて、画像データＧ（Ｇ０〜Ｇ３の総称）はフレーム単位のデータを指すものとする。
【００１６】
ジンバル機構３０は上記カメラ２０を角変位させるものであり、Ｕ字型をなすフレーム３１と、アウタジンバル３３と、インナジンバル３５とを備える。アウタジンバル３３とインナジンバル３５は、枢支軸を直交させており、この実施形態では、フレーム３１に対してアウタジンバル３３がＸ軸周りに回転可能に支持され、アウタジンバル３３に対してインナジンバル３５がＹ軸周りに回転可能に支持されている。そして、インナジンバル３５に対して、カメラ２０が撮影面を、水平に向けた状態で取り付けられている。
【００１７】
また、両ジンバル３３、３５には個々に角度センサ３３Ａ、３５Ａが設けられており、ジンバル３３、３５の角度を検出する構成となっている。
【００１８】
駆動装置４０はモータ制御部４１、Ｘ軸駆動モータ４２及びそのドライブ回路４３、Ｙ軸駆動モータ４４及びそのドライブ回路４５から構成されている。Ｘ軸駆動モータ４２はインナジンバル３５をＸ軸周りに回転させるものであり、また、Ｙ軸駆動モータ４４はアウタジンバル３３をＹ軸周りに回転させるものである。
【００１９】
そして、駆動装置４０には角度センサ３３Ａ、３５Ａから両ジンバルの角度情報が取り込まれると共に、後述する制御装置１００から制御指令Ｓが与えられる構成となっている。そして、制御指令Ｓが与えられると、モータ制御部４１が各ドライブ回路４３、４５を通じてモータ電流を供給し、各モータ４２、４４を駆動させる。これにより、制御指令Ｓに追従させるように両シンバル３３、３５が軸駆動してカメラ２０を水平な姿勢に保ったまま、角変位させる構成となっている。
【００２０】
次に、画像処理装置５０について説明する。画像処理装置５０は、カメラ２０の出力する原画像データＧ０からそれより解像度が低い画像データＧ１〜Ｇ３を生成して保持する機能を担うものであって、画像処理部６０とデータ記憶部８０と出力部９０とを備えてなる。
【００２１】
画像処理部６０は３つの解像度変換回路６１、６２、６３を備える。初段の解像度変換回路６１にはカメラ２０の出力する原画像データＧ０が入力される構成となっている。そして、初段の解像度変換回路６１の出力が２段目の解像度変換回路６２の入力に接続され、２段目の解像度変換回路６２の出力が３段目の解像度変換回路６３の入力に接続されている。このように３つの解像度変換回路６１〜６３は縦続接続されている。
【００２２】
そして、各解像度変換回路６１〜６３は入力された画像データＧの解像度を下げる解像度変換処理を行い、解像度を落とした画像データＧを次の段の解像度変換回路に出力する。これにより、各段の解像度変換回路６１〜６３にて、イメージセンサ２５から出力された原画像データＧ０の解像度を段階的に落とした画像データＧ１〜Ｇ３が生成される。
【００２３】
データ記憶部８０は４つの画像取込部Ｍ０〜Ｍ３により構成されている。画像取込部Ｍ０はイメージセンサ２５の出力ラインにバスを介して接続されており、イメージセンサ２５の出力する原画像データＧ０を記憶する構成となっている。
【００２４】
また、画像取込部Ｍ１は初段の解像度変換回路６１の出力ラインにバスを介して接続され、また画像取込部Ｍ２は２段目の解像度変換回路６２の出力ラインにバスを介して接続され、画像取込部Ｍ３は３段目の解像度変換回路６３の出力ラインにバスを介して接続されている。
【００２５】
これにより、各画像取込部Ｍ１〜Ｍ３は、各解像度変換回路６１〜６３にて所定解像度に落とされた各画像データＧ１〜Ｇ３を、バスを介して取り込んで記憶することが可能となる。このようにデータ記憶部８０には、原画像データＧ０を含めると解像度の異なる４つの画像データＧ０〜Ｇ３が記憶（保持）される構成となっている（図２参照）。
【００２６】
出力部９０は４つのアドレスコンバータＦ０〜Ｂ３から構成されている。これら４つのアドレスコンバータＦ０〜Ｆ３は各画像取込部Ｍ０〜Ｍ３にそれぞれ対応している。各アドレスコンバータＦ０〜Ｆ３は、次に説明する制御装置１００の要求に応じて各画像取込部Ｍ０〜Ｍ３から画像データＧ０〜Ｇ３を読み出す処理を行い、読み出した画像データＧ０〜Ｇ３を制御装置１００に出力する構成となっている。また、出力部９０は各解像度の画像データを制御装置１００の他、外部回路１５０へも出力できる構成となっている。
【００２７】
制御装置１００は本発明の「外部装置」として機能するものであって、画像解析用のプログラムを記憶したＲＯＭ１１０、画像解析用のプログラムを実行するＣＰＵ１２０、画像データＧを一時記憶する画像メモリ１３０、不図示のＲＡＭなどを備えた構成となっている。
【００２８】
上記制御装置１００は、画像処理装置５０から出力される画像データＧについて、画像解析を行って移動体Ｚの有無を検出し、移動体Ｚが検出された場合には、画像データＧから移動体Ｚの変位量、変位方向を算出する。そして得られた変位量、変位方向に基づいて駆動装置４０に制御指令Ｓを出力し、移動体Ｚに追尾させるようにカメラ２０を角変位させる。これにより、視界に入る移動体Ｚをカメラ２０で追跡できる。
【００２９】
また、本追跡システムＵは、解像度を段階的に落とした複数の画像データＧ１〜Ｇ３を画像処理装置５０に記憶させている。そのため、解像度の低い画像データＧ３にて画像解析を行って移動体Ｚの検出を行い、移動体Ｚが検出されたら、後は、移動体Ｚの状況に合わせて、それに合った解像度の画像データＧを画像処理装置５０から読み出して画像解析を行えば、如何なる移動体Ｚも高精度に追跡できる。
【００３０】
すなわち、移動体Ｚの動きが早い場合であれば、画像解析を高速で行う必要がある。従って、このようなときには、解像度の低い画像データＧ３をそのまま使用して画像解析を行ってやるとよい。このようにすることで、図３の（ａ）に示すように移動体Ｚの動きが早くても、それを見失うことなく、確実に追跡できる。
【００３１】
また、移動体Ｚの動きが遅い場合であれば、画像処理装置５０から解像度の高い画像データＧ１を読み出し、それを制御装置１００にて画像解析してやるとよい。このようにすれば、画像の細かい変化を検出できるので、図３の（ｂ）に示すように、移動体Ｚの動きが小さくても、確実に追跡できる。
【００３２】
また、本追跡システムＵでは専用に設けた画像処理装置５０に、解像度を下げる処理（平均値フィルタ処理）を負担させている。そのため、制御装置１００のＣＰＵ１２０は画像解析を行うにあたり、解像度を下げる処理（平均値フィルタ処理）を行う必要がない。そのため、ＣＰＵ１２０の処理負担を大幅に軽減でき、データ処理能力がそれほど高くないＣＰＵの使用が可能となる。また、解像度を落とした画像データＧを画像処理装置５０に記憶させているので、容量の大きなメモリを制御装置１００が持たなくて済む。以上のことから、制御装置１００をシンプル、かつ安価な構成に出来る。
【００３３】
２．詳細説明
次に、図４を参照して画像処理装置５０の具体的な構成を説明する。画像処理装置５０は、既に説明したように、縦続接続された３組の解像度変換回路６１〜６３を備えている。そして、初段の解像度変換回路６１の入力段にはバスラインＢＬ０が設けられ、また、各解像度変換回路６１〜６３の出力段にはバスラインＢＬ１〜ＢＬ３が設けられている。
【００３４】
そして、バスラインＢＬ０には画像取込部Ｍ０が接続され、バスラインＢＬ１には画像取込部Ｍ１が接続され、バスラインＢＬ２には画像取込部Ｍ２が接続され、バスラインＢＬ３には画像取込部Ｍ３がそれぞれ接続されている。
【００３５】
各バスラインＢＬ０〜ＢＬ３は、各画素データＰのアドレス情報を伝送するためのアドレスバスＡと、各画素データＰを伝送するためのデータバスＤの２系統のバスから構成されている。
【００３６】
次に、初段の解像度変換回路６１について説明する。解像度変換回路６１は、同一構造をなすＮ個の単位変換回路７０（７０Ａ〜７０Ｉの総称）から構成されている。尚、図中はＮ個の単位変換回路のうち、７０Ａ〜７０Ｄの４つ単位変換回路のみを示し、他のものは略してある。
【００３７】
これら単位変換回路７０Ａ〜７０Ｄは、図５の（ａ）に示すように、２×２の４画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合することにより、画像の解像度を下げるものである。
【００３８】
図４に示すように、各単位変換回路７０Ａ〜７０Ｄは並列的に接続されている。このように、各単位変換回路７０Ａ〜７０Ｄを並列的に接続することで、バスラインＢＬ０上を伝送されるデータを各単位変換回路７０Ａ〜７０Ｄが共有化でき、平均値フィルタをかける処理を分担して行うことが可能となる。尚、ここで言う分担とは、画素ブロックＢ１に対して平均値フィルタをかける処理を単位変換回路７０Ａが担当し、画素ブロックＢ２に対して平均値フィルタをかける処理を単位変換回路７０Ｂが担当するなど、各単位変換回路７０Ａ〜７０Ｄがそれぞれ別の画素ブロックＢに対して平均値フィルタをかけることを意味する。
【００３９】
係る単位変換回路７０Ａ〜７０Ｄの構成は図６に示す通りであり、アドレスバス選択器７１、データバス選択器７２、アドレス比較器７３、演算回路７５、ＥＥＰＲＯＭ（Electrically Erasable PROM）７６、ＲＡＭ（Random Access Memory）７７などを備える。
【００４０】
アドレスバス選択器７１は単位変換回路７０を入力側のアドレスバスＡ、又は出力側のアドレスバスＡに選択接続させるものである。また、データバス選択器７２は単位変換回路７０を入力側のデータバスＤ、又は出力側のデータバスＤに選択接続させるものである。尚、データバスＤは、Ｄ０、Ｄ１、Ｄ２、Ｄ３の総称であり、アドレスバスＡは、Ａ０、Ａ１、Ａ２、Ａ３の総称である。
【００４１】
アドレス比較器７３は、アドレスバスＡを通じて入力される画素データＰのアドレス情報をＥＥＰＲＯＭ７６に記憶されたアドレス情報と照合し、アドレス情報が一致した時に、それを演算回路７５に通知するものである。
【００４２】
演算回路７５はＥＥＰＲＯＭ７６に記憶された各種データに基づいてデータの入出力を管理すると共に、平均値フィルタ処理を実行して画素ブロックＢの画素を統合するものである。
【００４３】
そして、各単位変換回路７０Ａ〜７０ＤのＥＥＰＲＯＭ７６には、以下のデータが記憶されている。
（１）処理対象となる画素ブロックＢの情報（構成画素のアドレス情報）
（２）統合した画素データＰを出力する際に付すアドレス情報
（３）平均値フィルタを行うために必要となる行列式などの計算値データ
【００４４】
尚、（３）の計算値データは、各単位変換回路７０Ａ〜７０Ｄで同じデータが記憶されており、４つの単位変換回路７０Ａ〜７０Ｄが、同じ平均値フィルタ処理を実行する構成となっている。
【００４５】
また、ＥＥＰＲＯＭ７６は周知のように電気的な操作により情報を書き換えることが可能なＲＯＭであり、例えば、計算値データを変更することで、フィルタの大きさ、フィルタの特性（単なる平均値に替えて、重み付けを追加するなど）を変更できる構成となっている。
【００４６】
そして、２段目の解像度変換回路６２、３段目の解像度変換回路６３も初段の解像度変換回路６１と同様に並列的に接続された複数の単位変換回路７０から構成されており、画素ブロックＢに平均値フィルタをかける処理を各単位変換回路７０にて分担して行う構成となっている。
【００４７】
尚、図４中、２段目の解像度変換回路６２の単位変換回路は７０Ｅ〜７０Ｇの３つ単位変換回路のみを示し、他のものは略してある。また、３段目の解像度変換回路６３の単位変換回路は７０Ｈ、７０Ｉの２つ単位変換回路のみを示し、他のものは略してある。
【００４８】
次に、画像処理装置５０の動作について図７を参照して説明する。尚、画像処理装置５０を構成する各単位変換回路７０は動作前、いずれも入力側のバスに接続されているものとする。また、以下の説明においてカメラ２０から出力される各画素データには符号「Ｐ」を付し、解像度変換回路６１から出力される画素データには「符号Ｐ'」を付し、解像度変換回路６２から出力される画素データには「符号Ｐ''」を付して、これらを識別する。
【００４９】
さて、カメラ２０は一回の撮影を行うと、その都度、撮影した原画像データＧ０を後段の画像処理装置５０に出力する。原画像データＧ０は一列目の画素から順にライン単位で出力される。これにより、画像処理装置５０のデータバスＤ０に、画素データＰ１、画素データＰ２、画素データＰ３、画素データＰ４の順に、画素データＰが出力されてゆく。
【００５０】
そして、カメラ２０は各画素データＰをデータバスＤ０に出力するのと同時に、画素データＰのアドレス情報をアドレスバスＡ０に出力する。これにより、アドレスバスＡ０に、画素データＰ１のアドレスの情報「１」、画素データＰ２のアドレスの情報「２」、画素データＰ３のアドレスの情報「３」、画素データＰ４のアドレス情報「４」が順に出力される。
【００５１】
そして、画像処理装置５０内では、出力された原画像データＧ０を画像取込部Ｍ０に取り込んで記憶する処理と、出力された原画像データＧ０の解像度を初段の解像度変換回路６１にて落とす処理が並行して行われる。
【００５２】
ここでは、初段の解像度変換回路６１にて原画像データＧ０の解像度を如何様に落とすか、その処理を詳しく述べる。まず、解像度変換回路６１を構成する各単位変換回路７０Ａ〜７０Ｄは、アドレスバスＡ０からアドレス情報をアドレスバス選択器７１により継続的に取り込む。
【００５３】
そして、取り込んだアドレス情報が、ＥＥＰＲＯＭ７６に記憶されているアドレス情報と一致しているかアドレス比較器７３にて比較し、一致していれば、演算回路７５の指令により、そのときデータバスＤ０に流れている画素データＰをデータバス選択器７２が取り込む。そして、取り込んだ画素データＰを演算回路７５がＲＡＭ７７に一時記憶させる。
【００５４】
このような取り込み動作を行うことで、各単位変換回路７０Ａ〜７０Ｄには、処理対象となる画素ブロックＢを構成する各画素データＰが順に取り込まれてゆく。例えば、画素ブロックＢ１について平均値フィルタを行う単位変換回路７０Ａには、画素ブロックＢ１を構成する画素データＰ１、画素データＰ２が順に取り込まれる。また、画素ブロックＢ２について平均値フィルタを行う単位変換回路７０Ｂには、画素ブロックＢ２を構成する画素データＰ３、画素データＰ４が順に取り込まれる。
【００５５】
その一方、各単位変換回路７０Ａ〜７０Ｄがこのようなデータの取り込みを行う間も、カメラ２０はデータの読み出しを行い、一列目について各画素データＰを出力し終わると、２列目の画素データＰを先頭から順に読み出して出力する。
【００５６】
これにより、画像処理装置５０のデータバスＤ０に画素データＰ１７、画素データＰ１８、画素データＰ１９、画素データＰ２０の順に、画素データＰが出力されてゆく。そして、カメラ２０は各画素データＰをデータバスＤ０に出力するのと同時に、画素データＰのアドレス情報をアドレスバスＡ０に出力する。
【００５７】
そして、出力されたデータのうち、画素ブロックＢ１を構成する画素データＰ１７、画素データＰ１８の両データは、単位変換回路７０Ａに取り込まれ、ＲＡＭ７７に一時記憶される。また、画素ブロックＢ２を構成する画素データＰ１９、画素データＰ２０は単位変換回路７０Ｂに取り込まれ、ＲＡＭ７７に一時記憶される。
【００５８】
かくして、単位変換回路７０Ａには、画素ブロックＢ１の全画素データＰ１、Ｐ２、Ｐ１７、Ｐ１８が全て取り込まれた状態となり、単位変換回路７０Ｂには、画素ブロックＢ２の全画素データＰ３、Ｐ４、Ｐ１９、Ｐ２０が全て取り込まれた状態となる。
【００５９】
そして、画素データＰの取り込みが完了すると、その単位変換回路７０の演算回路７５は、ＥＥＰＲＯＭ７６から計算値データを読み出す。そして、取り込んだ４画素に対して平均値フィルタをかけて４画素を統合する。
【００６０】
これにより、単位変換回路７０ＡではＰ１、Ｐ２、Ｐ１７、Ｐ１８の４つの画素データの平均値が算出され、これら４つの画素データＰ１、Ｐ２、Ｐ１７、Ｐ１８が算出された平均値のデータに統合される。
【００６１】
また、単位変換回路７０ＢではＰ３、Ｐ４、Ｐ１９、Ｐ２０の４画素の平均値が算出され、これら４つの画素データＰ３、Ｐ４、Ｐ１９、Ｐ２０が算出された平均値のデータに統合される。
【００６２】
各単位変換回路７０は平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０は統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力する。
【００６３】
画像取込部Ｍ１は、アドレスバスＡ１からアドレス情報を取り込み、そのときデータバスＤ１に流れている画素データＰ'を取り込む。そして、取り込んだ画素データＰ'をアドレス情報に対応させて順に記憶させてゆく。このような取り込み動作を行うことで、画像取込部Ｍ１には各単位変換回路７０の出力する画素データＰ'が取り込まれてゆく。
【００６４】
尚、図７の画像取込部Ｍ１中に付されている「１'」は、Ｐ１、Ｐ２、Ｐ１７、Ｐ１８の４つの画素データを統合した画素データ「Ｐ１'」に付されたアドレス情報であり、この「１'」が付された升目には、画素データ「Ｐ１'」が格納される。また、「２'」は、Ｐ３、Ｐ４、Ｐ１８、Ｐ１９の４つの画素データを統合した画素データ「Ｐ２'」に付されたアドレスであり、「２'」が付された升目には、画素データ「Ｐ２'」が格納される。
【００６５】
そして、各単位変換回路７０Ａ〜７０Ｅは統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力すると、再び、接続先を入力側に切り換えてカメラ２０から出力される画素データＰを取り込む処理を行う。すなわち、この実施形態では、各単位変換回路７０Ａ〜７０Ｄが複数の画素ブロックＢを平均値化する設定にしてある。例えば、単位変換回路７０Ａであれば、図１に示す画素ブロックＢ１の他、画素ブロックＢ１８を平均値化する設定となっている。
【００６６】
そして、各単位変換回路７０Ａ〜７０Ｅは、２つ目の画素ブロックＢについて、平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０Ａ〜７０Ｅは統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力する。
【００６７】
そして、原画像データＧ０の全画素ブロックＢについて、これを平均値化する処理が完了し、最後の画素ブロックＢを統合した画素データＰ'が画像取込部Ｍ１に取り込まれると、画像取込部Ｍ１に原画像データＧ０の解像度を落とした画像データＧ１が記憶された状態となる。尚、この実施形態では、解像度変換回路６１で、２×２の４画素からなる画素ブロックＢを平均値化しているから、画像取込部Ｍ１に記憶される画像データＧ１は原画像データＧ０に対して解像度を１／４（解像度変換率２５％）に落としたデータとなる。
【００６８】
このように、初段の解像度変換回路６１では、原画像データＧ０の各画素ブロックＢに平均値フィルタをかけて画素を統合する処理を、全Ｎ個（図中は４個）の単位変換回路７０が分担して実行する。そのため、原画像データＧ０に平均値フィルタをかける処理を極短時間に終わらせることが可能となる。
【００６９】
また、各画素ブロックＢに平均値フィルタをかけることで、いわゆる「ぶれ」を抑えることが可能となり、移動体Ｚの検出を容易にできるという利点がある。というのも、一般に、移動体Ｚの検出は、画像中から時間的な変化をする物体を抽出することにより行われるが、「ぶれ」があると画面全体に変化が現れるので、時間的な変化をする物体の抽出が困難になるからである。
【００７０】
続いて、２段目の解像度変換回路６２の回路動作の説明を行う。２段目の解像度変換回路６２の各単位変換回路７０Ｅ〜７０Ｇは、１段目の解像度変換回路６１からデータが出力されると、アドレスバスＡ１を通じて出力される１'、２'などのアドレス情報を取り込む。
【００７１】
そして、取り込んだアドレス情報が、ＥＥＰＲＯＭ７６に記憶されているアドレス情報と一致しているかアドレス比較器７３により比較し、一致していれば、そのときデータバスＤ１に流れている画素データＰ'を取り込む。そして、取り込んだ画素データＰ'をＲＡＭ７７に一時記憶させる。
【００７２】
このような取り込み動作を行うことで、各単位変換回路７０Ｅ〜７０Ｇには、処理対象となる画素ブロックＢの各画素データＰ'が順に取り込まれてゆく。そして、各単位変換回路７０Ｅ〜７０Ｇの演算回路７５は、処理対象となる画素ブロックＢの画素データＰ'を全て取り込むと、初段の単位変換回路７０Ａ〜７０Ｄと同様に、ＥＥＰＲＯＭ７６から計算値データを読み出して、取り込んだ４画素に対して平均値フィルタをかけて４画素を統合する。
【００７３】
これにより、例えば、単位変換回路７０ＥではＰ１'、Ｐ２'、Ｐ９'、Ｐ１０'の４つの画素データの平均値が算出され、これら４つの画素データＰ１'、Ｐ２'、Ｐ９'、Ｐ１０'が算出された平均値のデータに統合される。
【００７４】
また、単位変換回路７０ＢではＰ３'、Ｐ４'、Ｐ１１'、Ｐ１２'の４画素の平均値が算出され、これら４つの画素データＰ３'、Ｐ４'、Ｐ１１'、Ｐ１２'が算出された平均値のデータに統合される。
【００７５】
このように、本実施形態では、２段目の解像度変換回路６３も初段の解像度変換回路６１と同様に、画像データＧ１の各画素ブロックＢに平均値フィルタをかけて画素を統合する処理を、各単位変換回路７０Ｅ〜７０Ｆが分担して実行する。そのため、画像データＧ１に平均値フィルタをかける処理を極短時間に終わらせることが可能となる。
【００７６】
そして、２段目の解像度変換回路６３を構成する各単位変換回路７０Ｅ〜７０Ｇは平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０Ｅ〜７０Ｇは統合した画素データＰ''をデータバスＤ２に出力し、又そのアドレス情報をアドレスバスＡ２にそれぞれ出力する。
【００７７】
画像取込部Ｍ２は、アドレスバスＡ２からアドレス情報を取り込み、そのときデータバスＤ２に流れている画素データＰ''を取り込む。そして、取り込んだ画素データＰ''をアドレス情報に対応させて順に記憶させてゆく。このような取り込み動作を行うことで、画像取込部Ｍ２には各単位変換回路７０Ｅ〜７０Ｇの出力する画素データＰ''が取り込まれることとなり、画像データＧ１の解像度を落とした画像データＧ２が記憶されることとなる。
【００７８】
尚、この実施形態では、解像度変換回路６２で、２×２の４画素からなる画素ブロックＢに平均値化しているから、画像取込部Ｍ２に記憶される画像データＧ２は、画像データＧ１に対して解像度を１／４に落としたデータとなる。
【００７９】
そして、最終段である３段目の解像度変換回路６３でも、初段、２段目の解像度変換回路６１、６２と同様に画素ブロックＢに２×２の４画素の平均値フィルタをかけて画素を統合することで、解像度を１／４に落とす。そして、画像取込部Ｍ３に、画像データＧ２の解像度を１/４倍に落とした画像データＧ３が記憶されることとなる。
【００８０】
このように、カメラ２０から出力された原画像データＧ０は、画像処理装置５０に取り込まれると、その後、各段の解像度変換回路６１〜６３にて解像度を段階的に落とした画像データＧ１〜Ｇ３が生成され、それら各画像データＧ０〜Ｇ３が画像取込部Ｍ０〜Ｍ３に記憶されるようになっている。
【００８１】
尚、画像処理装置５０では、カメラ２０から原画像データＧ０が出力される度に、解像度を落とす処理が行われるから、各画像取込部Ｍ０〜Ｍ３には各解像度の画像データＧ０〜Ｇ３が時系列を追って記憶されることとなる。
【００８２】
次に、アドレスコンバータＦの動作について説明する。アドレスコンバータＦは、制御装置１００と各画像取込部Ｍとの間にてアドレス情報を変換する機能、変換したアドレス情報に従って画像取込部Ｍ０〜Ｍ３から所定サイズの画素ブロックＢを切り出す機能を担っている。
【００８３】
図８を参照して詳しく説明すると、今、制御装置１００の画像メモリ１３０に、３×３の９画素分のデータを記憶することが出来、それらの格納先には、Ａ〜Ｉの９つのアドレス情報が付されていたとする。
【００８４】
このような場合において、制御装置１００は注目画素のアドレス情報（例えば、Ｄ）をデータとして持つ制御信号Ｓｒを、例えば、アドレスコンバータＦ１に与えるだけで、画像取込部Ｍ１から必要な大きさの画素ブロックを読み出すことができる。
【００８５】
すなわち、制御信号Ｓｒを受けると、アドレスコンバータＦ１はまず、注目画素のアドレス情報を画像取込部Ｍ１上のアドレス情報に変換する。そして、アドレスコンバータＦ１はアドレス情報の変換に続き、変換したアドレス情報の画素を中心画素とする３×３の画素ブロックを割り出す。
【００８６】
その後、アドレスコンバータＦ１は、割り出した画素ブロックを構成する各画素データのアドレス情報を、制御装置１００のアドレス情報に合うように振り直す。そして、各画素データを振り直したアドレス情報と共に制御装置１００に転送する。これにより、図８の例では、画像取込部Ｍ１からアドレス１８'の画素を中心画素とする３×３の画素ブロックが切り出され、これが、アドレスコンバータＦ１を経由して制御装置１００側に取り込まれる。
【００８７】
このように、本実施形態のものは、注目画素のアドレスの情報さえ指定すれば、アドレスコンバータＦが必要な大きさの画素ブロックを画像取込部Ｍから自動的に切り出し、制御装置１００に転送する。従って、制御装置１００は、解像度を落とす処理を含め余分な処理をほとんど行う必要がない。
【００８８】
そのため、画像データＧの画像解析処理にＣＰＵ１２０の処理を集中させることが可能となるので、画像解析処理を高速、高精度に行うことが可能となり、追跡対象となる移動体Ｚを確実に追跡できる。
【００８９】
また、各解像度変換回路６１〜６３は、共に解像度を１／４に落としており、解像度変換率が等しい。このような構成としておけば、共通の単位変換回路７０を用いて解像度変換回路６１〜６３を構成することが可能となり、画像処理部６０を安価な構成にできる。
【００９０】
＜実施形態２＞
次に、本発明の実施形態２を図９によって説明する。
実施形態１では、単位変換回路７０により、２×２の４画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合するものを例示した。これに対して、実施形態２では、平均値フィルタのサイズを一回り大きくして、３×３の９画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合する構成としている。
【００９１】
また、各画素ブロックＢについても、図９に示すように隣接する画素ブロックＢについて画素を一部重ねる設定としている。このように画素の一部を重ねることで、データが離散的にならず連続するから、例えば、エッジ検出など各種の画像処理フィルタを同時にかけることが可能となり、好ましい。
【００９２】
＜他の実施形態＞
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
【００９３】
（１）上記実施形態では、画素ブロックに平均値フィルタをかけて画素を統合することにより画像の解像度を落とすようにしたが、解像度を落とす方法はこれに限定されるものではなく、画素ブロックから特徴点の１画素を抽出するもの、或いは単に画素を間引いて解像度を落とすものであってもよい。また、フィルタも平均値フィルタである必要は必ずしもなく、画素を平滑化できればよい。
【符号の説明】
【００９４】
２０…カメラ
２５…イメージセンサ
４０…駆動装置
５０…画像処理装置
６０…画像処理部
６１〜６３…解像度変換回路
７０…単位変換回路
８０…データ記憶部
９０…出力部
１００…制御装置
Ｕ…追跡システム
【技術分野】
【０００１】
本発明は、画像処理装置、及びそれを備えた追跡システムに関する。
【背景技術】
【０００２】
従来から、移動体の位置に追従させるようにカメラを移動させることで、移動体を追跡する追跡システムが広く知られている。この種の追跡システムは、画像の時間的な変化から移動体を検出し、その位置を特定する。そのため、画像の解像度が高く画素数が多いと画像解析処理が追いつかないことがある。このような課題を解決するものとして、下記特許文献１に開示されたものがある。このものでは、画像の解像度を落として画素数を減らすことで、画像解析処理の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８５４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、解像度を落とすと画像が粗くなるので、画像中の小さな変化は検出できなくなる。そのため、移動体の動きが小さいと、検出が難しくなるという問題があった。
本発明は上記のような事情に基づいて完成されたものであって、解像度の段階的な切り換えを実現させ、移動体の検出を高精度に行うことを課題とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持するものであって、入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、前記各解像度変換回路の出力する解像度の異なる画像データを保持するデータ記憶部と、前記データ記憶部に記憶された解像度の異なる複数の画像データから一の画像データを、外部からの指令に従って選択的に読み出して出力する出力部と、を備える。
【０００６】
本発明の追跡システムは、イメージセンサと、前記イメージセンサを角変位させる駆動装置と、本発明の画像処理装置と、前記画像処理装置の出力する画像データに基づいて移動体を検出し、検出した移動体に前記イメージセンサを追尾させるように前記駆動装置を制御する制御装置と、を備える。
【０００７】
この発明では、解像度変換回路を縦続接続しており、各解像度変換回路にて解像度変換処理が行われるごとに解像度が段階的に低がる画像データが生成される。そして、生成された各解像度の画像データはデータ記憶部に記憶される構成となっている。そのため、データ記憶部から必要な解像度の画像データを出力部を通じて選択的に読み出すことで、解像度の段階的な切り換えが可能となる。
【０００８】
この発明の実施態様として、以下の構成とすることが好ましい。
・解像度変換回路を、解像度変換処理を分担して実行する複数の単位変換回路から構成する。このような構成としておけば、解像度を下げる処理を高速化できる。
【０００９】
・各解像度変換回路の解像度変換率を等しくする。このような構成としておけば、各段にて共通の解像度変換回路を用いることが可能となり、画像処理部を安価な構成にできる。
【００１０】
・解像度変換処理を、画像データを構成する各画素ブロックに対して平均値フィルタをかけて画素を統合することにより画像の解像度を落とす処理とする。このようにしておけば、処理の負担も少ないし、画像に含まれる不規則な雑音を除去できる。また、画像中のぶれを吸収できる。
【発明の効果】
【００１１】
本発明によれば、解像度の段階的な切り換えが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に適用した追跡システムの構成を示すブロック図
【図２】画像データＧと解像度との関係を示す図
【図３】移動体の画像を示す図（移動前後を重ねた状態を示す）
【図４】画像処理装置の内部構成を示すブロック図
【図５】画像データを示す図
【図６】単位変換回路の内部構成を示すブロック図
【図７】画像処理装置内におけるデータの流れを説明する図
【図８】アドレスコンバータの作用を説明する図
【図９】実施形態２において、隣接する画素ブロックを重ねて配置した状態を示す図
【発明を実施するための形態】
【００１３】
＜実施形態１＞
１．全体説明
本発明の実施形態１を図１ないし図８によって説明する。
図１は追跡システムＵのブロック図である。本追跡システムＵは追跡装置本体１０、画像処理装置５０、制御装置１００から構成されている。
【００１４】
追跡装置本体１０はカメラ２０と、ジンバル機構３０と、駆動装置４０とを主体に構成されている。カメラ２０は追跡対象を撮影するものであって、集光レンズ２１、イメージセンサ２５、処理部２７などを備える（図４参照）。イメージセンサ２５はＣＣＤ、ＣＭＯＳなどの撮像素子を行列状に配置した二次元イメージセンサである。
【００１５】
処理部２７はイメージセンサ２５より出力される撮像データをディジタルデータ（以下、画像データＧ）に変換して、後述する画像処理装置５０に出力するものである。尚、本明細書を通じて、画像データＧ（Ｇ０〜Ｇ３の総称）はフレーム単位のデータを指すものとする。
【００１６】
ジンバル機構３０は上記カメラ２０を角変位させるものであり、Ｕ字型をなすフレーム３１と、アウタジンバル３３と、インナジンバル３５とを備える。アウタジンバル３３とインナジンバル３５は、枢支軸を直交させており、この実施形態では、フレーム３１に対してアウタジンバル３３がＸ軸周りに回転可能に支持され、アウタジンバル３３に対してインナジンバル３５がＹ軸周りに回転可能に支持されている。そして、インナジンバル３５に対して、カメラ２０が撮影面を、水平に向けた状態で取り付けられている。
【００１７】
また、両ジンバル３３、３５には個々に角度センサ３３Ａ、３５Ａが設けられており、ジンバル３３、３５の角度を検出する構成となっている。
【００１８】
駆動装置４０はモータ制御部４１、Ｘ軸駆動モータ４２及びそのドライブ回路４３、Ｙ軸駆動モータ４４及びそのドライブ回路４５から構成されている。Ｘ軸駆動モータ４２はインナジンバル３５をＸ軸周りに回転させるものであり、また、Ｙ軸駆動モータ４４はアウタジンバル３３をＹ軸周りに回転させるものである。
【００１９】
そして、駆動装置４０には角度センサ３３Ａ、３５Ａから両ジンバルの角度情報が取り込まれると共に、後述する制御装置１００から制御指令Ｓが与えられる構成となっている。そして、制御指令Ｓが与えられると、モータ制御部４１が各ドライブ回路４３、４５を通じてモータ電流を供給し、各モータ４２、４４を駆動させる。これにより、制御指令Ｓに追従させるように両シンバル３３、３５が軸駆動してカメラ２０を水平な姿勢に保ったまま、角変位させる構成となっている。
【００２０】
次に、画像処理装置５０について説明する。画像処理装置５０は、カメラ２０の出力する原画像データＧ０からそれより解像度が低い画像データＧ１〜Ｇ３を生成して保持する機能を担うものであって、画像処理部６０とデータ記憶部８０と出力部９０とを備えてなる。
【００２１】
画像処理部６０は３つの解像度変換回路６１、６２、６３を備える。初段の解像度変換回路６１にはカメラ２０の出力する原画像データＧ０が入力される構成となっている。そして、初段の解像度変換回路６１の出力が２段目の解像度変換回路６２の入力に接続され、２段目の解像度変換回路６２の出力が３段目の解像度変換回路６３の入力に接続されている。このように３つの解像度変換回路６１〜６３は縦続接続されている。
【００２２】
そして、各解像度変換回路６１〜６３は入力された画像データＧの解像度を下げる解像度変換処理を行い、解像度を落とした画像データＧを次の段の解像度変換回路に出力する。これにより、各段の解像度変換回路６１〜６３にて、イメージセンサ２５から出力された原画像データＧ０の解像度を段階的に落とした画像データＧ１〜Ｇ３が生成される。
【００２３】
データ記憶部８０は４つの画像取込部Ｍ０〜Ｍ３により構成されている。画像取込部Ｍ０はイメージセンサ２５の出力ラインにバスを介して接続されており、イメージセンサ２５の出力する原画像データＧ０を記憶する構成となっている。
【００２４】
また、画像取込部Ｍ１は初段の解像度変換回路６１の出力ラインにバスを介して接続され、また画像取込部Ｍ２は２段目の解像度変換回路６２の出力ラインにバスを介して接続され、画像取込部Ｍ３は３段目の解像度変換回路６３の出力ラインにバスを介して接続されている。
【００２５】
これにより、各画像取込部Ｍ１〜Ｍ３は、各解像度変換回路６１〜６３にて所定解像度に落とされた各画像データＧ１〜Ｇ３を、バスを介して取り込んで記憶することが可能となる。このようにデータ記憶部８０には、原画像データＧ０を含めると解像度の異なる４つの画像データＧ０〜Ｇ３が記憶（保持）される構成となっている（図２参照）。
【００２６】
出力部９０は４つのアドレスコンバータＦ０〜Ｂ３から構成されている。これら４つのアドレスコンバータＦ０〜Ｆ３は各画像取込部Ｍ０〜Ｍ３にそれぞれ対応している。各アドレスコンバータＦ０〜Ｆ３は、次に説明する制御装置１００の要求に応じて各画像取込部Ｍ０〜Ｍ３から画像データＧ０〜Ｇ３を読み出す処理を行い、読み出した画像データＧ０〜Ｇ３を制御装置１００に出力する構成となっている。また、出力部９０は各解像度の画像データを制御装置１００の他、外部回路１５０へも出力できる構成となっている。
【００２７】
制御装置１００は本発明の「外部装置」として機能するものであって、画像解析用のプログラムを記憶したＲＯＭ１１０、画像解析用のプログラムを実行するＣＰＵ１２０、画像データＧを一時記憶する画像メモリ１３０、不図示のＲＡＭなどを備えた構成となっている。
【００２８】
上記制御装置１００は、画像処理装置５０から出力される画像データＧについて、画像解析を行って移動体Ｚの有無を検出し、移動体Ｚが検出された場合には、画像データＧから移動体Ｚの変位量、変位方向を算出する。そして得られた変位量、変位方向に基づいて駆動装置４０に制御指令Ｓを出力し、移動体Ｚに追尾させるようにカメラ２０を角変位させる。これにより、視界に入る移動体Ｚをカメラ２０で追跡できる。
【００２９】
また、本追跡システムＵは、解像度を段階的に落とした複数の画像データＧ１〜Ｇ３を画像処理装置５０に記憶させている。そのため、解像度の低い画像データＧ３にて画像解析を行って移動体Ｚの検出を行い、移動体Ｚが検出されたら、後は、移動体Ｚの状況に合わせて、それに合った解像度の画像データＧを画像処理装置５０から読み出して画像解析を行えば、如何なる移動体Ｚも高精度に追跡できる。
【００３０】
すなわち、移動体Ｚの動きが早い場合であれば、画像解析を高速で行う必要がある。従って、このようなときには、解像度の低い画像データＧ３をそのまま使用して画像解析を行ってやるとよい。このようにすることで、図３の（ａ）に示すように移動体Ｚの動きが早くても、それを見失うことなく、確実に追跡できる。
【００３１】
また、移動体Ｚの動きが遅い場合であれば、画像処理装置５０から解像度の高い画像データＧ１を読み出し、それを制御装置１００にて画像解析してやるとよい。このようにすれば、画像の細かい変化を検出できるので、図３の（ｂ）に示すように、移動体Ｚの動きが小さくても、確実に追跡できる。
【００３２】
また、本追跡システムＵでは専用に設けた画像処理装置５０に、解像度を下げる処理（平均値フィルタ処理）を負担させている。そのため、制御装置１００のＣＰＵ１２０は画像解析を行うにあたり、解像度を下げる処理（平均値フィルタ処理）を行う必要がない。そのため、ＣＰＵ１２０の処理負担を大幅に軽減でき、データ処理能力がそれほど高くないＣＰＵの使用が可能となる。また、解像度を落とした画像データＧを画像処理装置５０に記憶させているので、容量の大きなメモリを制御装置１００が持たなくて済む。以上のことから、制御装置１００をシンプル、かつ安価な構成に出来る。
【００３３】
２．詳細説明
次に、図４を参照して画像処理装置５０の具体的な構成を説明する。画像処理装置５０は、既に説明したように、縦続接続された３組の解像度変換回路６１〜６３を備えている。そして、初段の解像度変換回路６１の入力段にはバスラインＢＬ０が設けられ、また、各解像度変換回路６１〜６３の出力段にはバスラインＢＬ１〜ＢＬ３が設けられている。
【００３４】
そして、バスラインＢＬ０には画像取込部Ｍ０が接続され、バスラインＢＬ１には画像取込部Ｍ１が接続され、バスラインＢＬ２には画像取込部Ｍ２が接続され、バスラインＢＬ３には画像取込部Ｍ３がそれぞれ接続されている。
【００３５】
各バスラインＢＬ０〜ＢＬ３は、各画素データＰのアドレス情報を伝送するためのアドレスバスＡと、各画素データＰを伝送するためのデータバスＤの２系統のバスから構成されている。
【００３６】
次に、初段の解像度変換回路６１について説明する。解像度変換回路６１は、同一構造をなすＮ個の単位変換回路７０（７０Ａ〜７０Ｉの総称）から構成されている。尚、図中はＮ個の単位変換回路のうち、７０Ａ〜７０Ｄの４つ単位変換回路のみを示し、他のものは略してある。
【００３７】
これら単位変換回路７０Ａ〜７０Ｄは、図５の（ａ）に示すように、２×２の４画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合することにより、画像の解像度を下げるものである。
【００３８】
図４に示すように、各単位変換回路７０Ａ〜７０Ｄは並列的に接続されている。このように、各単位変換回路７０Ａ〜７０Ｄを並列的に接続することで、バスラインＢＬ０上を伝送されるデータを各単位変換回路７０Ａ〜７０Ｄが共有化でき、平均値フィルタをかける処理を分担して行うことが可能となる。尚、ここで言う分担とは、画素ブロックＢ１に対して平均値フィルタをかける処理を単位変換回路７０Ａが担当し、画素ブロックＢ２に対して平均値フィルタをかける処理を単位変換回路７０Ｂが担当するなど、各単位変換回路７０Ａ〜７０Ｄがそれぞれ別の画素ブロックＢに対して平均値フィルタをかけることを意味する。
【００３９】
係る単位変換回路７０Ａ〜７０Ｄの構成は図６に示す通りであり、アドレスバス選択器７１、データバス選択器７２、アドレス比較器７３、演算回路７５、ＥＥＰＲＯＭ（Electrically Erasable PROM）７６、ＲＡＭ（Random Access Memory）７７などを備える。
【００４０】
アドレスバス選択器７１は単位変換回路７０を入力側のアドレスバスＡ、又は出力側のアドレスバスＡに選択接続させるものである。また、データバス選択器７２は単位変換回路７０を入力側のデータバスＤ、又は出力側のデータバスＤに選択接続させるものである。尚、データバスＤは、Ｄ０、Ｄ１、Ｄ２、Ｄ３の総称であり、アドレスバスＡは、Ａ０、Ａ１、Ａ２、Ａ３の総称である。
【００４１】
アドレス比較器７３は、アドレスバスＡを通じて入力される画素データＰのアドレス情報をＥＥＰＲＯＭ７６に記憶されたアドレス情報と照合し、アドレス情報が一致した時に、それを演算回路７５に通知するものである。
【００４２】
演算回路７５はＥＥＰＲＯＭ７６に記憶された各種データに基づいてデータの入出力を管理すると共に、平均値フィルタ処理を実行して画素ブロックＢの画素を統合するものである。
【００４３】
そして、各単位変換回路７０Ａ〜７０ＤのＥＥＰＲＯＭ７６には、以下のデータが記憶されている。
（１）処理対象となる画素ブロックＢの情報（構成画素のアドレス情報）
（２）統合した画素データＰを出力する際に付すアドレス情報
（３）平均値フィルタを行うために必要となる行列式などの計算値データ
【００４４】
尚、（３）の計算値データは、各単位変換回路７０Ａ〜７０Ｄで同じデータが記憶されており、４つの単位変換回路７０Ａ〜７０Ｄが、同じ平均値フィルタ処理を実行する構成となっている。
【００４５】
また、ＥＥＰＲＯＭ７６は周知のように電気的な操作により情報を書き換えることが可能なＲＯＭであり、例えば、計算値データを変更することで、フィルタの大きさ、フィルタの特性（単なる平均値に替えて、重み付けを追加するなど）を変更できる構成となっている。
【００４６】
そして、２段目の解像度変換回路６２、３段目の解像度変換回路６３も初段の解像度変換回路６１と同様に並列的に接続された複数の単位変換回路７０から構成されており、画素ブロックＢに平均値フィルタをかける処理を各単位変換回路７０にて分担して行う構成となっている。
【００４７】
尚、図４中、２段目の解像度変換回路６２の単位変換回路は７０Ｅ〜７０Ｇの３つ単位変換回路のみを示し、他のものは略してある。また、３段目の解像度変換回路６３の単位変換回路は７０Ｈ、７０Ｉの２つ単位変換回路のみを示し、他のものは略してある。
【００４８】
次に、画像処理装置５０の動作について図７を参照して説明する。尚、画像処理装置５０を構成する各単位変換回路７０は動作前、いずれも入力側のバスに接続されているものとする。また、以下の説明においてカメラ２０から出力される各画素データには符号「Ｐ」を付し、解像度変換回路６１から出力される画素データには「符号Ｐ'」を付し、解像度変換回路６２から出力される画素データには「符号Ｐ''」を付して、これらを識別する。
【００４９】
さて、カメラ２０は一回の撮影を行うと、その都度、撮影した原画像データＧ０を後段の画像処理装置５０に出力する。原画像データＧ０は一列目の画素から順にライン単位で出力される。これにより、画像処理装置５０のデータバスＤ０に、画素データＰ１、画素データＰ２、画素データＰ３、画素データＰ４の順に、画素データＰが出力されてゆく。
【００５０】
そして、カメラ２０は各画素データＰをデータバスＤ０に出力するのと同時に、画素データＰのアドレス情報をアドレスバスＡ０に出力する。これにより、アドレスバスＡ０に、画素データＰ１のアドレスの情報「１」、画素データＰ２のアドレスの情報「２」、画素データＰ３のアドレスの情報「３」、画素データＰ４のアドレス情報「４」が順に出力される。
【００５１】
そして、画像処理装置５０内では、出力された原画像データＧ０を画像取込部Ｍ０に取り込んで記憶する処理と、出力された原画像データＧ０の解像度を初段の解像度変換回路６１にて落とす処理が並行して行われる。
【００５２】
ここでは、初段の解像度変換回路６１にて原画像データＧ０の解像度を如何様に落とすか、その処理を詳しく述べる。まず、解像度変換回路６１を構成する各単位変換回路７０Ａ〜７０Ｄは、アドレスバスＡ０からアドレス情報をアドレスバス選択器７１により継続的に取り込む。
【００５３】
そして、取り込んだアドレス情報が、ＥＥＰＲＯＭ７６に記憶されているアドレス情報と一致しているかアドレス比較器７３にて比較し、一致していれば、演算回路７５の指令により、そのときデータバスＤ０に流れている画素データＰをデータバス選択器７２が取り込む。そして、取り込んだ画素データＰを演算回路７５がＲＡＭ７７に一時記憶させる。
【００５４】
このような取り込み動作を行うことで、各単位変換回路７０Ａ〜７０Ｄには、処理対象となる画素ブロックＢを構成する各画素データＰが順に取り込まれてゆく。例えば、画素ブロックＢ１について平均値フィルタを行う単位変換回路７０Ａには、画素ブロックＢ１を構成する画素データＰ１、画素データＰ２が順に取り込まれる。また、画素ブロックＢ２について平均値フィルタを行う単位変換回路７０Ｂには、画素ブロックＢ２を構成する画素データＰ３、画素データＰ４が順に取り込まれる。
【００５５】
その一方、各単位変換回路７０Ａ〜７０Ｄがこのようなデータの取り込みを行う間も、カメラ２０はデータの読み出しを行い、一列目について各画素データＰを出力し終わると、２列目の画素データＰを先頭から順に読み出して出力する。
【００５６】
これにより、画像処理装置５０のデータバスＤ０に画素データＰ１７、画素データＰ１８、画素データＰ１９、画素データＰ２０の順に、画素データＰが出力されてゆく。そして、カメラ２０は各画素データＰをデータバスＤ０に出力するのと同時に、画素データＰのアドレス情報をアドレスバスＡ０に出力する。
【００５７】
そして、出力されたデータのうち、画素ブロックＢ１を構成する画素データＰ１７、画素データＰ１８の両データは、単位変換回路７０Ａに取り込まれ、ＲＡＭ７７に一時記憶される。また、画素ブロックＢ２を構成する画素データＰ１９、画素データＰ２０は単位変換回路７０Ｂに取り込まれ、ＲＡＭ７７に一時記憶される。
【００５８】
かくして、単位変換回路７０Ａには、画素ブロックＢ１の全画素データＰ１、Ｐ２、Ｐ１７、Ｐ１８が全て取り込まれた状態となり、単位変換回路７０Ｂには、画素ブロックＢ２の全画素データＰ３、Ｐ４、Ｐ１９、Ｐ２０が全て取り込まれた状態となる。
【００５９】
そして、画素データＰの取り込みが完了すると、その単位変換回路７０の演算回路７５は、ＥＥＰＲＯＭ７６から計算値データを読み出す。そして、取り込んだ４画素に対して平均値フィルタをかけて４画素を統合する。
【００６０】
これにより、単位変換回路７０ＡではＰ１、Ｐ２、Ｐ１７、Ｐ１８の４つの画素データの平均値が算出され、これら４つの画素データＰ１、Ｐ２、Ｐ１７、Ｐ１８が算出された平均値のデータに統合される。
【００６１】
また、単位変換回路７０ＢではＰ３、Ｐ４、Ｐ１９、Ｐ２０の４画素の平均値が算出され、これら４つの画素データＰ３、Ｐ４、Ｐ１９、Ｐ２０が算出された平均値のデータに統合される。
【００６２】
各単位変換回路７０は平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０は統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力する。
【００６３】
画像取込部Ｍ１は、アドレスバスＡ１からアドレス情報を取り込み、そのときデータバスＤ１に流れている画素データＰ'を取り込む。そして、取り込んだ画素データＰ'をアドレス情報に対応させて順に記憶させてゆく。このような取り込み動作を行うことで、画像取込部Ｍ１には各単位変換回路７０の出力する画素データＰ'が取り込まれてゆく。
【００６４】
尚、図７の画像取込部Ｍ１中に付されている「１'」は、Ｐ１、Ｐ２、Ｐ１７、Ｐ１８の４つの画素データを統合した画素データ「Ｐ１'」に付されたアドレス情報であり、この「１'」が付された升目には、画素データ「Ｐ１'」が格納される。また、「２'」は、Ｐ３、Ｐ４、Ｐ１８、Ｐ１９の４つの画素データを統合した画素データ「Ｐ２'」に付されたアドレスであり、「２'」が付された升目には、画素データ「Ｐ２'」が格納される。
【００６５】
そして、各単位変換回路７０Ａ〜７０Ｅは統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力すると、再び、接続先を入力側に切り換えてカメラ２０から出力される画素データＰを取り込む処理を行う。すなわち、この実施形態では、各単位変換回路７０Ａ〜７０Ｄが複数の画素ブロックＢを平均値化する設定にしてある。例えば、単位変換回路７０Ａであれば、図１に示す画素ブロックＢ１の他、画素ブロックＢ１８を平均値化する設定となっている。
【００６６】
そして、各単位変換回路７０Ａ〜７０Ｅは、２つ目の画素ブロックＢについて、平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０Ａ〜７０Ｅは統合した画素データＰ'をデータバスＤ１に出力し、又そのアドレス情報をアドレスバスＡ１にそれぞれ出力する。
【００６７】
そして、原画像データＧ０の全画素ブロックＢについて、これを平均値化する処理が完了し、最後の画素ブロックＢを統合した画素データＰ'が画像取込部Ｍ１に取り込まれると、画像取込部Ｍ１に原画像データＧ０の解像度を落とした画像データＧ１が記憶された状態となる。尚、この実施形態では、解像度変換回路６１で、２×２の４画素からなる画素ブロックＢを平均値化しているから、画像取込部Ｍ１に記憶される画像データＧ１は原画像データＧ０に対して解像度を１／４（解像度変換率２５％）に落としたデータとなる。
【００６８】
このように、初段の解像度変換回路６１では、原画像データＧ０の各画素ブロックＢに平均値フィルタをかけて画素を統合する処理を、全Ｎ個（図中は４個）の単位変換回路７０が分担して実行する。そのため、原画像データＧ０に平均値フィルタをかける処理を極短時間に終わらせることが可能となる。
【００６９】
また、各画素ブロックＢに平均値フィルタをかけることで、いわゆる「ぶれ」を抑えることが可能となり、移動体Ｚの検出を容易にできるという利点がある。というのも、一般に、移動体Ｚの検出は、画像中から時間的な変化をする物体を抽出することにより行われるが、「ぶれ」があると画面全体に変化が現れるので、時間的な変化をする物体の抽出が困難になるからである。
【００７０】
続いて、２段目の解像度変換回路６２の回路動作の説明を行う。２段目の解像度変換回路６２の各単位変換回路７０Ｅ〜７０Ｇは、１段目の解像度変換回路６１からデータが出力されると、アドレスバスＡ１を通じて出力される１'、２'などのアドレス情報を取り込む。
【００７１】
そして、取り込んだアドレス情報が、ＥＥＰＲＯＭ７６に記憶されているアドレス情報と一致しているかアドレス比較器７３により比較し、一致していれば、そのときデータバスＤ１に流れている画素データＰ'を取り込む。そして、取り込んだ画素データＰ'をＲＡＭ７７に一時記憶させる。
【００７２】
このような取り込み動作を行うことで、各単位変換回路７０Ｅ〜７０Ｇには、処理対象となる画素ブロックＢの各画素データＰ'が順に取り込まれてゆく。そして、各単位変換回路７０Ｅ〜７０Ｇの演算回路７５は、処理対象となる画素ブロックＢの画素データＰ'を全て取り込むと、初段の単位変換回路７０Ａ〜７０Ｄと同様に、ＥＥＰＲＯＭ７６から計算値データを読み出して、取り込んだ４画素に対して平均値フィルタをかけて４画素を統合する。
【００７３】
これにより、例えば、単位変換回路７０ＥではＰ１'、Ｐ２'、Ｐ９'、Ｐ１０'の４つの画素データの平均値が算出され、これら４つの画素データＰ１'、Ｐ２'、Ｐ９'、Ｐ１０'が算出された平均値のデータに統合される。
【００７４】
また、単位変換回路７０ＢではＰ３'、Ｐ４'、Ｐ１１'、Ｐ１２'の４画素の平均値が算出され、これら４つの画素データＰ３'、Ｐ４'、Ｐ１１'、Ｐ１２'が算出された平均値のデータに統合される。
【００７５】
このように、本実施形態では、２段目の解像度変換回路６３も初段の解像度変換回路６１と同様に、画像データＧ１の各画素ブロックＢに平均値フィルタをかけて画素を統合する処理を、各単位変換回路７０Ｅ〜７０Ｆが分担して実行する。そのため、画像データＧ１に平均値フィルタをかける処理を極短時間に終わらせることが可能となる。
【００７６】
そして、２段目の解像度変換回路６３を構成する各単位変換回路７０Ｅ〜７０Ｇは平均値フィルタ処理を終えると、アドレスバス選択器７１、データバス選択器７２の接続先を入力側のバスから出力側のバスに切り換える。そして、各単位変換回路７０Ｅ〜７０Ｇは統合した画素データＰ''をデータバスＤ２に出力し、又そのアドレス情報をアドレスバスＡ２にそれぞれ出力する。
【００７７】
画像取込部Ｍ２は、アドレスバスＡ２からアドレス情報を取り込み、そのときデータバスＤ２に流れている画素データＰ''を取り込む。そして、取り込んだ画素データＰ''をアドレス情報に対応させて順に記憶させてゆく。このような取り込み動作を行うことで、画像取込部Ｍ２には各単位変換回路７０Ｅ〜７０Ｇの出力する画素データＰ''が取り込まれることとなり、画像データＧ１の解像度を落とした画像データＧ２が記憶されることとなる。
【００７８】
尚、この実施形態では、解像度変換回路６２で、２×２の４画素からなる画素ブロックＢに平均値化しているから、画像取込部Ｍ２に記憶される画像データＧ２は、画像データＧ１に対して解像度を１／４に落としたデータとなる。
【００７９】
そして、最終段である３段目の解像度変換回路６３でも、初段、２段目の解像度変換回路６１、６２と同様に画素ブロックＢに２×２の４画素の平均値フィルタをかけて画素を統合することで、解像度を１／４に落とす。そして、画像取込部Ｍ３に、画像データＧ２の解像度を１/４倍に落とした画像データＧ３が記憶されることとなる。
【００８０】
このように、カメラ２０から出力された原画像データＧ０は、画像処理装置５０に取り込まれると、その後、各段の解像度変換回路６１〜６３にて解像度を段階的に落とした画像データＧ１〜Ｇ３が生成され、それら各画像データＧ０〜Ｇ３が画像取込部Ｍ０〜Ｍ３に記憶されるようになっている。
【００８１】
尚、画像処理装置５０では、カメラ２０から原画像データＧ０が出力される度に、解像度を落とす処理が行われるから、各画像取込部Ｍ０〜Ｍ３には各解像度の画像データＧ０〜Ｇ３が時系列を追って記憶されることとなる。
【００８２】
次に、アドレスコンバータＦの動作について説明する。アドレスコンバータＦは、制御装置１００と各画像取込部Ｍとの間にてアドレス情報を変換する機能、変換したアドレス情報に従って画像取込部Ｍ０〜Ｍ３から所定サイズの画素ブロックＢを切り出す機能を担っている。
【００８３】
図８を参照して詳しく説明すると、今、制御装置１００の画像メモリ１３０に、３×３の９画素分のデータを記憶することが出来、それらの格納先には、Ａ〜Ｉの９つのアドレス情報が付されていたとする。
【００８４】
このような場合において、制御装置１００は注目画素のアドレス情報（例えば、Ｄ）をデータとして持つ制御信号Ｓｒを、例えば、アドレスコンバータＦ１に与えるだけで、画像取込部Ｍ１から必要な大きさの画素ブロックを読み出すことができる。
【００８５】
すなわち、制御信号Ｓｒを受けると、アドレスコンバータＦ１はまず、注目画素のアドレス情報を画像取込部Ｍ１上のアドレス情報に変換する。そして、アドレスコンバータＦ１はアドレス情報の変換に続き、変換したアドレス情報の画素を中心画素とする３×３の画素ブロックを割り出す。
【００８６】
その後、アドレスコンバータＦ１は、割り出した画素ブロックを構成する各画素データのアドレス情報を、制御装置１００のアドレス情報に合うように振り直す。そして、各画素データを振り直したアドレス情報と共に制御装置１００に転送する。これにより、図８の例では、画像取込部Ｍ１からアドレス１８'の画素を中心画素とする３×３の画素ブロックが切り出され、これが、アドレスコンバータＦ１を経由して制御装置１００側に取り込まれる。
【００８７】
このように、本実施形態のものは、注目画素のアドレスの情報さえ指定すれば、アドレスコンバータＦが必要な大きさの画素ブロックを画像取込部Ｍから自動的に切り出し、制御装置１００に転送する。従って、制御装置１００は、解像度を落とす処理を含め余分な処理をほとんど行う必要がない。
【００８８】
そのため、画像データＧの画像解析処理にＣＰＵ１２０の処理を集中させることが可能となるので、画像解析処理を高速、高精度に行うことが可能となり、追跡対象となる移動体Ｚを確実に追跡できる。
【００８９】
また、各解像度変換回路６１〜６３は、共に解像度を１／４に落としており、解像度変換率が等しい。このような構成としておけば、共通の単位変換回路７０を用いて解像度変換回路６１〜６３を構成することが可能となり、画像処理部６０を安価な構成にできる。
【００９０】
＜実施形態２＞
次に、本発明の実施形態２を図９によって説明する。
実施形態１では、単位変換回路７０により、２×２の４画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合するものを例示した。これに対して、実施形態２では、平均値フィルタのサイズを一回り大きくして、３×３の９画素からなる画素ブロックＢに平均値フィルタをかけて画素を統合する構成としている。
【００９１】
また、各画素ブロックＢについても、図９に示すように隣接する画素ブロックＢについて画素を一部重ねる設定としている。このように画素の一部を重ねることで、データが離散的にならず連続するから、例えば、エッジ検出など各種の画像処理フィルタを同時にかけることが可能となり、好ましい。
【００９２】
＜他の実施形態＞
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
【００９３】
（１）上記実施形態では、画素ブロックに平均値フィルタをかけて画素を統合することにより画像の解像度を落とすようにしたが、解像度を落とす方法はこれに限定されるものではなく、画素ブロックから特徴点の１画素を抽出するもの、或いは単に画素を間引いて解像度を落とすものであってもよい。また、フィルタも平均値フィルタである必要は必ずしもなく、画素を平滑化できればよい。
【符号の説明】
【００９４】
２０…カメラ
２５…イメージセンサ
４０…駆動装置
５０…画像処理装置
６０…画像処理部
６１〜６３…解像度変換回路
７０…単位変換回路
８０…データ記憶部
９０…出力部
１００…制御装置
Ｕ…追跡システム
【特許請求の範囲】
【請求項１】
イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持し、外部装置の要求に応じて出力する画像処理装置であって、
入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、
前記各解像度変換回路の出力する各解像度の画像データをそれぞれ保持するデータ記憶部と、
前記外部装置の要求に応じて、前記データ記憶部から指定された解像度の画像データを読み出して出力する出力部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記解像度変換回路は、前記解像度変換処理を分担して実行する複数の単位変換回路からなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記各解像度変換回路の解像度変換率が等しいことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記解像度変換処理は、画像データを構成する各画素ブロックに対して平均値フィルタをかけて画素を統合することにより画像の解像度を落とす処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
イメージセンサと、
前記イメージセンサを角変位させる駆動装置と、
請求項１ないし請求項４のいずれか一項に記載の画像処理装置と、
前記画像処理装置の出力する画像データに基づいて移動体を検出し、検出した移動体に前記イメージセンサを追尾させるように前記駆動装置を制御する制御装置と、を備える追跡システム。
【請求項１】
イメージセンサの出力する原画像データからそれより解像度が低い画像データを生成して保持し、外部装置の要求に応じて出力する画像処理装置であって、
入力された画像データの解像度を下げる解像度変換処理を行う解像度変換回路を多段に縦続接続してなる画像処理部と、
前記各解像度変換回路の出力する各解像度の画像データをそれぞれ保持するデータ記憶部と、
前記外部装置の要求に応じて、前記データ記憶部から指定された解像度の画像データを読み出して出力する出力部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記解像度変換回路は、前記解像度変換処理を分担して実行する複数の単位変換回路からなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記各解像度変換回路の解像度変換率が等しいことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記解像度変換処理は、画像データを構成する各画素ブロックに対して平均値フィルタをかけて画素を統合することにより画像の解像度を落とす処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
イメージセンサと、
前記イメージセンサを角変位させる駆動装置と、
請求項１ないし請求項４のいずれか一項に記載の画像処理装置と、
前記画像処理装置の出力する画像データに基づいて移動体を検出し、検出した移動体に前記イメージセンサを追尾させるように前記駆動装置を制御する制御装置と、を備える追跡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２２６２１２（Ｐ２０１０−２２６２１２Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−６８５２５（Ｐ２００９−６８５２５）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【Ｆターム（参考）】
[ Back to top ]