説明

移動目標検出装置及びコンピュータプログラム及び移動目標検出方法

【課題】複雑な背景をもつ画像から移動する目標が写っている目標画素を抽出する。
【解決手段】画像記憶部112は、第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとを記憶する。移動先候補抽出部152は、二つの画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とする。移動元候補抽出部151は、二つの画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とする。目標抽出部153は、移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とする。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、時系列的に連続した複数の画像に基づいて、移動する目標を検出する移動目標検出装置に関する。
【背景技術】
【0002】
従来、センサなどが撮影した画像に基づいて目標を検出する目標検出装置が存在する。
【特許文献1】特開平5−266191号公報
【特許文献2】特開平7−334673号公報
【特許文献3】特開2006−319602号公報
【特許文献4】特開2003−298949号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
従来の目標検出装置は、背景領域が所定の均一さを持つ場合や、目標の輝度レベルが背景の輝度レベルに比べて十分大きい場合や、目標が写っている画素が周辺の画素と比較してピークとなる場合などに、目標を検出するものである。
このため、背景領域に雲など複雑なものが写りこんでいる場合や、目標の輝度レベルが背景の輝度レベルに比べてあまり大きくない場合に、目標を検出することは困難である。
【0004】
この発明は、例えば、上記のような課題を解決するためになされたものであり、背景領域に雲などの複雑なものが写っている場合や、目標の輝度レベルが背景の輝度レベルに比べてあまり大きくない場合であっても、目標を検出できることを目的とする。
【課題を解決するための手段】
【0005】
この発明にかかる移動目標検出装置は、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、移動先候補抽出部と、移動元候補抽出部と、目標抽出部とを有し、
上記画像記憶部は、上記記憶装置を用いて、第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとを記憶し、
上記移動先候補抽出部は、上記処理装置を用いて、上記画像記憶部が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とし、
上記移動元候補抽出部は、上記処理装置を用いて、上記画像記憶部が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とし、
上記目標抽出部は、上記処理装置を用いて、上記移動先候補抽出部が抽出した移動先候補画素と、上記移動元候補抽出部が抽出した移動元候補画素とに基づいて、上記移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とすることを特徴とする。
【発明の効果】
【0006】
この発明にかかる移動目標検出装置によれば、例えば、移動先候補抽出部152が抽出した移動先候補画素のなかから、ペアとなる移動元候補画素が存在する移動先候補画素を、目標抽出部153が抽出して目標画素とするので、移動により写っている画素が変化した目標を検出できるという効果を奏する。このとき、点滅欠陥画素などの欠陥画素は、ペアとなる画素が存在しないので、検出されない。
【発明を実施するための最良の形態】
【0007】
実施の形態1.
実施の形態1について、図1〜図14を用いて説明する。
【0008】
図1は、この実施の形態における移動目標検出システム800の全体構成の一例を示すシステム構成図である。
移動目標検出システム800は、航空機などの移動体701を観測し、観測した目標の位置を検出するシステムである。
移動目標検出システム800は、センサ810、移動目標検出装置100、検出結果表示装置820を有する。
【0009】
センサ810は、例えばレーダやカメラなどである。センサ810は、定期的に、所定の範囲を観測し、観測した結果を二次元画像とする。センサ810が観測した結果を示す二次元画像は、例えば、縦M行横N列の画素から構成される。各画素は、センサ810が観測した範囲内の所定の微小範囲における観測の強度(以下「輝度」と呼ぶ。)を表わす。センサ810は、観測結果を示す二次元画像を表わすデータ(以下「画像データ」と呼ぶ。)を出力する。画像データは、各画素の輝度を表わすデータ(以下「輝度データ」と呼ぶ。)を含む。
移動目標検出装置100は、センサ810が観測した時系列の複数の二次元画像に基づいて、移動体701を検出する。センサ810が観測した結果を示す二次元画像上において、移動体701は、非常に小さく写っていて、例えば、一画素程度の大きさである。また、センサ810が観測した結果を示す二次元画像には、移動体701のほか、雲706など複雑な背景が写りこんでいる場合がある。移動目標検出装置100は、二次元画像に写っている雲706などの背景から、移動体701が写っている画素を分離して、識別する。
検出結果表示装置820は、移動目標検出装置100が検出した結果を表示する。例えば、検出結果表示装置820は、センサ810が出力した画像データに基づいて、背景716を含む二次元画像を表示し、その上に、移動目標検出装置100が検出した結果に基づいて、目標画素711を強調する矢印などの強調表示721を重ねて表示する。
【0010】
図2は、この実施の形態における移動目標検出装置100の外観の一例を示す図である。
移動目標検出装置100は、システムユニット910、CRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・Drive)、コンパクトディスク装置905(CDD)、プリンタ装置906、スキャナ装置907などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット910は、コンピュータであり、ファクシミリ機932、電話器931とケーブルで接続され、また、ローカルエリアネットワーク942(LAN)、ゲートウェイ941を介してインターネット940に接続されている。
【0011】
図3は、この実施の形態における移動目標検出装置100のハードウェア資源の一例を示す図である。
移動目標検出装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信装置915、表示装置901、キーボード902、マウス903、FDD904、CDD905、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信装置915、キーボード902、スキャナ装置907、FDD904などは、入力部、入力装置の一例である。
また、通信装置915、表示装置901、プリンタ装置906などは、出力部、出力装置の一例である。
【0012】
通信装置915は、ファクシミリ機932、電話器931、LAN942等に接続されている。通信装置915は、LAN942に限らず、インターネット940、ISDN等のWAN(ワイドエリアネットワーク)などに接続されていても構わない。インターネット940或いはISDN等のWANに接続されている場合、ゲートウェイ941は不用となる。
磁気ディスク装置920には、オペレーティングシステム921(OS)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、オペレーティングシステム921、ウィンドウシステム922により実行される。
【0013】
上記プログラム群923には、以下に述べる実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disk)等の記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【0014】
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
【0015】
図4は、この実施の形態における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図である。
移動目標検出装置100は、画像入力部111、画像記憶部112、パラメータ入力部121、近傍距離記憶部122、移動元閾値記憶部123、移動先閾値記憶部124、判定距離記憶部125、近接移動元閾値記憶部126、近接移動先閾値記憶部127、近接判定距離記憶部128、中心選択部131、近傍選択部138、増分算出部132、増加選択部133、増加得票数算出部134、減少選択部135、減少得票数算出部136、得票数集計部137、最大得票数算出部141、最大得票数記憶部142、得票率算出部143、移動元候補抽出部151、移動先候補抽出部152、目標抽出部153、近接移動元候補抽出部161、近接移動先候補抽出部162、近接目標抽出部163、目標更新部171、目標記憶部172、目標出力部173を有する。
【0016】
パラメータ入力部121は、キーボード902などを用いて、移動目標を検出する感度などを決定するパラメータを入力する。パラメータ入力部121が入力するパラメータには、例えば、近傍距離、移動元閾値、移動先閾値、判定距離、近接移動元閾値、近接移動先閾値、近接判定距離などがある。パラメータ入力部121は、CPU911を用いて、入力したパラメータを表わすデータを出力する。
【0017】
近傍距離とは、中心近傍範囲を決定するための画素数をいう。中心近傍範囲とは、センサ810が生成する二次元画像を構成する複数の画素のうち、ある画素(中心画素)の近傍である複数の画素から構成される範囲をいう。例えば、中心近傍範囲は、中心画素を中心とする矩形状の範囲であり、近傍距離は、中心近傍範囲の一辺の画素数を表わす。あるいは、中心近傍範囲は、中心画素を中心とする円状の範囲であり、近傍距離は、中心近傍範囲の直径を表わす。パラメータ入力部121は、CPU911を用いて、入力した近傍距離を表わすデータ(以下「近傍距離データ」と呼ぶ。)を出力する。近傍距離記憶部122は、CPU911を用いて、パラメータ入力部121が出力した近傍距離データを入力し、磁気ディスク装置920を用いて、記憶する。
【0018】
移動元閾値とは、移動元候補画素を判定するための閾値をいう。移動元候補画素とは、時系列的に前後する二枚の二次元画像のうち、前の画像において、目標が写っている可能性があると判定された画素である。パラメータ入力部121は、CPU911を用いて、入力した移動元閾値を表わすデータ(以下「移動元閾値データ」と呼ぶ。)を出力する。移動元閾値記憶部123は、CPU911を用いて、パラメータ入力部121が出力した移動元閾値データを入力し、磁気ディスク装置920を用いて、記憶する。
【0019】
移動先閾値とは、移動先候補画素を判定するための閾値をいう。移動先候補画素とは、時系列的に前後する二枚の二次元画像のうち、後の画像において、目標が写っている可能性があると判定された画素である。パラメータ入力部121は、CPU911を用いて、入力した移動先閾値を表わすデータ(以下「移動先閾値データ」と呼ぶ。)を出力する。移動先閾値記憶部124は、CPU911を用いて、パラメータ入力部121が出力した移動先閾値データを入力し、磁気ディスク装置920を用いて、記憶する。
【0020】
判定距離とは、移動元候補画素と移動先候補画素とのペアを判定するための画素数をいう。例えば、移動元候補画素と移動先候補画素との間の、画像上における直線距離が判定距離以下の画素数である場合、移動元候補画素と移動先候補画素とがペアであると判定される。あるいは、移動元候補画素と移動先候補画素との間の、画像上における行方向及び列方向がともに判定距離以下の画素数である場合、移動元候補画素と移動先候補画素とがペアであると判定される。パラメータ入力部121は、CPU911を用いて、入力した判定距離を表わすデータ(以下「判定距離データ」と呼ぶ。)を出力する。判定距離記憶部125は、CPU911を用いて、パラメータ入力部121が出力した判定距離データを入力し、磁気ディスク装置920を用いて、記憶する。
【0021】
近接移動元閾値とは、近接移動元候補画素を判定するための閾値をいう。近接移動元候補画素とは、他の目標と近接しているため、移動元閾値を用いた判定では目標が写っている可能性があると判定されないが、より詳しく検出することにより、目標が写っている可能性があると判定される画素である。パラメータ入力部121は、CPU911を用いて、近接移動元閾値を表わすデータ(以下「近接移動元閾値データ」と呼ぶ。)を出力する。近接移動元閾値記憶部126は、CPU911を用いて、パラメータ入力部121が出力した近接移動元閾値データを入力し、磁気ディスク装置920を用いて、記憶する。
【0022】
近接移動先閾値とは、近接移動先候補画素を判定するための閾値をいう。近接移動先候補画素とは、他の目標と近接しているため、移動先閾値を用いた判定では目標が写っている可能性があると判定されないが、より詳しく検出することにより、目標が写っている可能性があると判定される画素である。パラメータ入力部121は、CPU911を用いて、近接移動先閾値を表わすデータ(以下「近接移動先閾値データ」と呼ぶ。)を出力する。近接移動先閾値記憶部127は、CPU911を用いて、パラメータ入力部121が出力した近接移動先閾値データを入力し、磁気ディスク装置920を用いて、記憶する。
【0023】
近接判定距離とは、近接移動元候補画素と近接移動先候補画素とのペアを判定するための画素数をいい、判定距離と同様である。パラメータ入力部121は、CPU911を用いて、入力した近接判定距離を表わすデータ(以下「近接判定距離データ」と呼ぶ。)を出力する。近接判定距離記憶部128は、CPU911を用いて、パラメータ入力部121が出力した近接判定距離データを入力し、磁気ディスク装置920を用いて、入力した近接判定距離データを記憶する。なお、近接判定距離は、判定距離と同じでもよく、その場合、近接判定距離記憶部128は、判定距離記憶部125が兼ねることとしてもよい。
【0024】
中心選択部131は、CPU911を用いて、センサ810が生成する二次元画像を構成する複数の画素のうちから、少なくとも一部の複数の画素を選択して、中心画素とする。この実施の形態において、中心選択部131は、CPU911を用いて、近傍距離記憶部122が記憶した近傍距離データを入力し、入力した近傍距離データに基づいて、中心近傍範囲が二次元画像のなかに収まる画素すべてを選択して、中心画素とする。すなわち、中心近傍範囲が、中心画素を中心とし、近傍距離Lを一辺とする矩形範囲である場合や近傍距離Lを直径とする円形範囲である場合なら、中心選択部131は、CPU911を用いて、二次元画像の端からL/2−1画素以上離れた画素を、中心画素として選択する。中心選択部131は、CPU911を用いて、選択した中心画素を表わすデータ(以下「中心画素データ」と呼ぶ。)を出力する。
なお、中心選択部131は、二次元画像を構成する画素すべてを、中心画素として選択してもよく、その場合、中心選択部131はなくてもよい。
【0025】
近傍選択部138は、CPU911を用いて、中心選択部131が選択した複数の中心画素のそれぞれについて、その中心画素の中心近傍範囲内に位置する画素(以下「中心近傍画素」と呼ぶ。)を選択する。近傍選択部138は、CPU911を用いて、近傍距離記憶部122が記憶した近傍距離データと、中心選択部131が出力した中心画素データとを入力し、入力した近傍距離データと中心画素データとに基づいて、中心画素データが表わす中心画素を中心とし、近傍距離データが表わす近傍距離L1を一辺あるいは直径とする中心近傍範囲のなかに含まれる中心近傍画素を選択する。近傍選択部138は、CPU911を用いて、それぞれの中心画素について選択した中心近傍画素を表わすデータ(以下「近傍画素データ」」と呼ぶ。)を出力する。
【0026】
最大得票数算出部141は、CPU911を用いて、近傍選択部138が出力した近接画素データを入力する。最大得票数算出部141は、CPU911を用いて、入力した近接画素データに基づいて、二次元画像を構成する各画素について、最大得票数を算出する。最大得票数とは、その画素を中心近傍範囲のなかに含む中心画素の数をいう。最大得票数算出部141は、CPU911を用いて、それぞれの画素について算出した最大得票数を表わすデータ(以下「最大得票数データ」と呼ぶ。)を出力する。最大得票数記憶部142は、CPU911を用いて、最大得票数算出部141が出力した最大得票数データを入力し、磁気ディスク装置920を用いて、記憶する。
【0027】
画像入力部111は、通信装置915を用いて、センサ810が出力した画像データを定期的に入力する。画像入力部111は、CPU911を用いて、入力した画像データを出力する。
画像記憶部112は、CPU911を用いて、画像入力部111が出力した画像データを定期的に入力する。画像記憶部112は、磁気ディスク装置920を用いて、入力した画像データを蓄積して記憶する。画像記憶部112は、少なくとも、最新の画像データと二番目に新しい画像データとの二つを保持する。
【0028】
増分算出部132は、CPU911を用いて、画像記憶部112が記憶した画像データのなかから、二つの画像データを入力する。増分算出部132は、CPU911を用いて、入力した二つの画像データに基づいて、二つの画像データが表わす二つの画像に含まれる複数の画素の各画素について、二つの画像データのうち時系列的に後の画像データ(以下「第二の画像データ」と呼ぶ。)が表わす画像(以下「第二の画像」と呼ぶ。)における輝度から、二つの画像データのうち時系列的に前の画像データ(以下「第一の画像データ」と呼ぶ。)が表わす画像(以下「第一の画像」と呼ぶ。)における輝度を差し引いた差(以下「輝度増分」と呼ぶ。)を算出する。増分算出部132は、CPU911を用いて、それぞれの画素について算出した輝度増分を表わすデータ(以下「輝度増分データ」と呼ぶ。)を出力する。
【0029】
目標が写っている画素は、他の画素よりも輝度が高いが、背景が複雑な場合、一定の閾値で判定しても、目標が写っている画素を判別できない。
第一の画像と第二の画像とを比較して、目標の移動により目標が写っている画素が変化した場合、第一の画像で目標が写っていた画素の輝度は減少し、第二の画像で目標が写っている画素の輝度は増加する。そこで、増分算出部132が算出した輝度増分に基づいて、目標が写っている画素を判別する。
【0030】
増加選択部133は、CPU911を用いて、近傍選択部138が出力した近傍画素データと、増分算出部132が出力した輝度増分データとを入力する。増加選択部133は、CPU911を用いて、入力した近傍画素データと輝度増分データとに基づいて、中心選択部131が選択した複数の中心画素の各中心画素について、近傍画素データが表わす中心近傍画素のなかで最も輝度増分が大きい画素(以下「評価増加画素」と呼ぶ。)を求める。増加選択部133は、CPU911を用いて、それぞれの中心画素について、求めた評価増加画素を表わすデータ(以下「評価増加画素データ」と呼ぶ。)を出力する。
【0031】
増加得票数算出部134は、CPU911を用いて、増加選択部133が出力した評価増加画素データを入力する。増加得票数算出部134は、CPU911を用いて、入力した評価増加画素データに基づいて、二つの画像に含まれる複数の画素の各画素について、評価増加画素として選択された回数(以下「増加得票数」と呼ぶ。)を算出する。増加得票数算出部134は、CPU911を用いて、それぞれの画素について、算出した増加得票数を表わすデータ(以下「増加得票数データ」と呼ぶ。)を出力する。
【0032】
減少選択部135は、CPU911を用いて、近傍選択部138が出力した近傍画素データと、増分算出部132が出力した輝度増分データとを入力する。減少選択部135は、CPU911を用いて、入力した近傍画素データと輝度増分データとに基づいて、中心選択部131が選択した複数の中心画素の各中心画素について、近傍画素データが表わす中心近傍画素のなかで最も輝度増分が小さい(すなわち、輝度の減少幅が最も大きい)画素(以下「評価減少画素」と呼ぶ。)を求める。減少選択部135は、CPU911を用いて、それぞれの中心画素について、求めた評価減少画素を表わすデータ(以下「評価減少画素データ」と呼ぶ。)を出力する。
【0033】
減少得票数算出部136は、CPU911を用いて、減少選択部135が出力した評価減少画素データを入力する。減少得票数算出部136は、CPU911を用いて、入力した評価減少画素データに基づいて、二つの画像に含まれる複数の画素の各画素について、評価減少画素として選択された回数(以下「減少得票数」と呼ぶ。)を算出する。減少得票数算出部136は、CPU911を用いて、それぞれの画素について、算出した減少得票数を表わすデータ(以下「減少得票数データ」と呼ぶ。)を出力する。
【0034】
目標が写っている画像の背景が複雑な場合、目標が写っていない画素についても、輝度の増加あるいは減少が起こり得る。そこで、ある画素を中心とした近傍の範囲内で、最も輝度が増加/減少した画素を、目標が写っている/写っていた画素であると推定し、それ以外は背景であると推定する。
この推定方法は、範囲の取り方によって、推定結果が異なる可能性がある。そこで、中心画素を複数選択し、範囲の取り方が違う複数の推定結果を集計することにより、推定結果の信頼性を高める。
【0035】
得票数集計部137は、CPU911を用いて、増加得票数算出部134が出力した増加得票数データと、減少得票数算出部136が出力した減少得票数データとを入力する。得票数集計部137は、入力した増加得票数データと減少得票数データとに基づいて、二つの画像に含まれる複数の画素の各画素について、増加得票数データが表わす増加得票数から、減少得票数データが表わす減少得票数を差し引いた差(以下「集計得票数」と呼ぶ。)を算出する。得票数集計部137は、CPU911を用いて、それぞれの画素について、算出した集計得票数を表わすデータ(以下「集計得票数データ」と呼ぶ。)を出力する。集計得票数は、増加得票数のほうが減少得票数よりも大きければ正の値となり、逆に、減少得票数のほうが増加得票数よりも大きければ負の値となり、増加得票数と減少得票数とが等しければ(多くの場合、両方とも0)、0になる。
【0036】
得票率算出部143は、CPU911を用いて、最大得票数記憶部142が記憶した最大得票数データと、得票数集計部137が出力した集計得票数データとを入力する。得票率算出部143は、CPU911を用いて、入力した最大得票数データと、集計得票数データとに基づいて、二つの画像に含まれる複数の画素の各画素について、集計得票数データが表わす集計得票数を、最大得票数データが表わす最大得票数で割った商(以下「得票率」と呼ぶ。)を算出する。得票率算出部143は、CPU911を用いて、それぞれの画素について、算出した得票率を表わすデータ(以下「得票率データ」と呼ぶ。)を出力する。
【0037】
範囲の取り方が違う複数の推定結果を集計するにあたり、画像の中央に位置する画素と、画像の端に位置する画素とでは中心近傍範囲に入る回数が異なるので、集計得票数をそのまま比較するよりも、得票率を比較するほうが、(特に画像の端に近い画素について)推定結果の信頼性が高まる。
なお、画像の端に位置する画素について目標が写っている画素の検出をしない場合には、集計得票数をそのまま比較してもよい。その場合、最大得票数算出部141、最大得票数記憶部142、得票率算出部143はなくてよい。また、集計得票数を比較するのではなく、増加得票数・減少得票数をそのまま比較してもよい。その場合、得票数集計部137もなくてよい。
【0038】
移動元候補抽出部151は、CPU911を用いて、移動元閾値記憶部123が記憶した移動元閾値データと、得票率算出部143が出力した得票率データとを入力する。移動元候補抽出部151は、CPU911を用いて、入力した移動元閾値データと、得票率データとに基づいて、二つの画像に含まれる複数の画素の各画素について、得票率データが表わす得票率と、移動元閾値データが表わす移動元閾値とを比較して、得票率が移動元閾値より小さい場合、その画素を移動元候補画素とする。この例において、移動元閾値は、−1超0未満の数であり、例えば−0.5である。移動元候補抽出部151は、CPU911を用いて、抽出した移動元候補画素を表わすデータ(以下「移動元候補画素データ」と呼ぶ。)を出力する。
【0039】
移動先候補抽出部152は、CPU911を用いて、移動先閾値記憶部124が記憶した移動先閾値データと、得票率算出部143が出力した得票率データとを入力する。移動先候補抽出部152は、CPU911を用いて、入力した移動先閾値データと、得票率データとに基づいて、二つの画像に含まれる複数の画素の各画素について、得票率データが表わす得票率と、移動先閾値データが表わす移動先閾値とを比較して、得票率が移動先閾値より大きい場合、その画素を移動元候補画素とする。この例において、移動先閾値は、0超1未満の数であり、例えば0.5である。移動先候補抽出部152は、CPU911を用いて、抽出した移動先候補画素を表わすデータ(以下「移動先候補画素データ」と呼ぶ。)を出力する。
【0040】
目標抽出部153は、CPU911を用いて、移動元候補抽出部151が出力した移動元候補データと、移動先候補抽出部152が出力した移動先候補データと、判定距離記憶部125が記憶した判定距離データとを入力する。目標抽出部153は、CPU911を用いて、入力した移動元候補データと、移動先候補データと、判定距離データとに基づいて、移動先候補データが表わす移動先候補画素のなかから、ペアとなる移動元候補画素が、移動元候補データが表わす移動元候補画素のなかにある移動先候補画素を抽出して、目標画素とする。目標抽出部153は、CPU911を用いて、抽出した目標画素を表わすデータ(以下「目標画素データ」と呼ぶ。)を出力する。
ペアとなる移動元候補画素がある移動先候補画素とは、移動先候補画素を中心とする候補近傍範囲内の画素(以下「候補近傍画素」と呼ぶ。)のなかに移動元候補画素がある移動先候補画素をいう。候補近傍範囲とは、判定距離Lによって定まる範囲である。例えば、候補近傍範囲は、移動先候補画素を中心とする、一辺が判定距離Lの矩形範囲である。あるいは、候補近傍範囲は、移動先候補画素を中心とする、直径が判定距離Lの円形範囲である。
【0041】
輝度の増加/減少に基づいて、目標が写っている/写っていた画素を判別する場合、欠陥画素を、目標が写っている/写っていた画素と判別する可能性がある。欠陥画素とは、センサ810の故障などの原因により、目標が写っているか否かとは関係ない輝度を持つ画素のことである。欠陥画素のうち、常に一定の輝度を持つ画素は、輝度増分が0なので、目標画素と誤認する可能性はないが、ランダムな輝度を持つ画素(点滅欠陥画素)は、輝度が変化するので、目標画素と誤認する可能性がある。
目標の移動により目標が写っている画素が変化した場合、輝度が増加する画素と輝度が減少する画素とがペアとなる。これに対し、点滅欠陥画素は、輝度が増加あるいは減少する画素として判別されるが、ペアになる画素が存在しない。そこで、目標抽出部153は、ペアになる移動元候補画素がある移動先候補画素だけを目標画素として抽出し、ペアになる移動元候補画素がない移動先候補画素は目標画素として抽出しない。
【0042】
近接移動元候補抽出部161は、CPU911を用いて、近接移動元閾値記憶部126が記憶した近接移動元閾値データと、得票率算出部143が出力した得票率データとを入力する。近接移動元候補抽出部161は、CPU911を用いて、入力した近接移動元閾値データと、得票率データとに基づいて、二つの画像に含まれる複数の画素の各画素について、得票率データが表わす得票率と、近接移動元閾値データが表わす近接移動元閾値とを比較して、得票率が近接移動元閾値より小さい場合、その画素を近接移動元候補画素とする。この例において、近接移動元閾値は、移動元閾値超、0未満の数であり、例えば−0.2である。近接移動元候補抽出部161は、CPU911を用いて、抽出した近接移動元候補画素を表わすデータ(以下「近接移動元候補画素データ」と呼ぶ。)を出力する。
【0043】
近接移動先候補抽出部162は、CPU911を用いて、近接移動先閾値記憶部127が記憶した近接移動先閾値データと、得票率算出部143が出力した得票率データとを入力する。近接移動先候補抽出部162は、CPU911を用いて、入力した近接移動先閾値データと、得票率データとに基づいて、二つの画像に含まれる複数の画素の各画素について、得票率データが表わす得票率と、近接移動先閾値データが表わす近接移動先閾値とを比較して、得票率が近接移動先閾値より大きい場合、その画素を近接移動元候補画素とする。この例において、近接移動先閾値は、0超、移動先閾値未満の数であり、例えば0.2である。近接移動先候補抽出部162は、CPU911を用いて、抽出した近接移動先候補画素を表わすデータ(以下「近接移動先候補画素データ」と呼ぶ。)を出力する。
【0044】
近接目標抽出部163は、CPU911を用いて、目標抽出部153が出力した目標が素データと、近接移動元候補抽出部161が出力した移動元候補データと、近接移動先候補抽出部162が出力した近接移動先候補データと、近接判定距離記憶部128が記憶した近接判定距離データとを入力する。近接目標抽出部163は、CPU911を用いて、入力した近接移動元候補データと、近接移動先候補データと、近接判定距離データと、目標画素データとに基づいて、近接移動先候補データが表わす近接移動先候補画素のなかから、目標画素データが表わす目標画素の近傍にあり、ペアとなる近接移動元候補画素が、近接移動元候補データが表わす近接移動元候補画素のなかにある近接移動先候補画素を抽出して、目標画素とする。近接目標抽出部163は、CPU911を用いて、抽出した目標画素を表わす目標画素データを出力する。
目標画素の近傍にある近接移動先候補画素とは、目標画素を中心画素とした場合における中心近傍範囲のなかにある近接移動先候補画素をいう。また、ペアとなる近接移動元候補画素がある近接移動先画素とは、近接移動先候補画素を中心とする近接候補近傍範囲内に近接移動元候補画素がある近接移動先候補画素をいう。近接候補近傍範囲とは、近接判定距離Lによって定まる範囲である。
【0045】
複数の目標画素が近接している場合、輝度増分が大きい目標画素に得票が集中し、輝度増分が小さい目標画素は、移動先閾値を超える得票を得ることができない場合がある。移動元候補画素についても同様である。そのため、目標抽出部153が抽出した目標画素の近傍についてのみ閾値を下げて、もう一度、移動先候補画素および移動元候補画素の抽出を行う。これにより、近接した複数の目標画素を抽出することができる。
【0046】
目標更新部171は、CPU911を用いて、目標抽出部153が出力した目標画素データと、近接目標抽出部163が出力した目標画素データとを入力する。目標更新部171は、CPU911を用いて、入力した目標画素データを、目標記憶部172に対して出力する。目標記憶部172は、CPU911を用いて、目標更新部171が出力した目標画素データを入力し、磁気ディスク装置920を用いて、入力した目標画素データを記憶する。
【0047】
目標出力部173は、CPU911を用いて、目標記憶部172が記憶した目標画素データを入力する。目標出力部173は、通信装置915を用いて、入力した目標画素データを出力する。
【0048】
図5は、この実施の形態における移動目標検出装置100が、移動目標を検出する移動目標検出処理の流れの一例を示すフローチャート図である。
【0049】
初期設定処理S510において、移動目標検出装置100は、パラメータの入力などの初期設定をする。
得票率算出処理S520において、移動目標検出装置100は、新たな画像データを入力し、入力した画像データに基づいて、得票率を算出する。
目標抽出処理S560において、移動目標検出装置100は、得票率算出処理S520で算出した得票率に基づいて、目標画素を抽出する。
近接目標抽出処理S570において、移動目標検出装置100は、目標抽出処理S560で抽出した目標画素に近接した目標画素を抽出する。
目標出力処理S580において、移動目標検出装置100は、目標抽出処理S560あるいは近接目標抽出処理S570で抽出した目標画素を出力する。
その後、得票率算出処理S520に戻り、次の画像データを処理する。
【0050】
図6は、この実施の形態における移動目標検出装置100が、移動目標検出処理の初期設定をする初期設定処理S510の流れの一例を示すフローチャート図である。
【0051】
パラメータ入力工程S511において、パラメータ入力部121は、キーボード902などを用いて、近傍距離・移動元閾値・移動先閾値・判定距離・近接移動元閾値・近接移動先閾値・近接判定距離などのパラメータを入力する。近傍距離記憶部122・移動元閾値記憶部123・移動先閾値記憶部124・判定距離記憶部125・近接移動元閾値記憶部126・近接移動先閾値記憶部127・近接判定距離記憶部128は、磁気ディスク装置920を用いて、パラメータ入力部121が入力したそれぞれのパラメータを表わすデータを記憶する。
【0052】
中心画素選択工程S512において、中心選択部131は、CPU911を用いて、パラメータ入力工程S511で近傍距離記憶部122が記憶した近傍距離に基づいて、複数の中心画素を選択する。中心選択部131は、磁気ディスク装置920を用いて、選択した複数の中心画素を表わす中心画素データを記憶する。
【0053】
最大得票数初期化工程S513において、最大得票数算出部141は、CPU911を用いて、二次元画像に含まれるすべての画素について、最大得票数を初期化する。最大得票数記憶部142は、二次元画像に含まれるすべての画素について、最大得票数として0を表わす最大得票数データを記憶する。
【0054】
最大得票数繰り返し工程S514において、近傍選択部138は、CPU911を用いて、中心画素選択工程S512で中心選択部131が記憶した中心画素データを入力する。近傍選択部138は、CPU911を用いて、入力した中心画素データが表わすすべての中心画素のなかから、中心画素を一つずつ選択する。近傍選択部138は、選択した中心画素について、近傍選択工程S515〜近傍繰り返し判定工程S518の処理をする。これを、すべての中心画素について繰り返す。
【0055】
近傍選択工程S515において、近傍選択部138は、CPU911を用いて、最大得票数繰り返し工程S514で選択した中心画素について、その中心画素の近傍に位置する複数の中心近傍画素を選択する。近傍選択部138は、磁気ディスク装置920を用いて、選択した複数の中心近傍画素を表わす近傍画素データを記憶する。
【0056】
近傍繰り返し工程S516において、最大得票数算出部141は、CPU911を用いて、近傍選択工程S515で近傍選択部138が記憶した近傍画素データを入力する。最大得票数算出部141は、CPU911を用いて、入力した近傍画素データが表わすすべての中心近傍画素のなかから、中心近傍画素を一つずつ選択する。最大得票数算出部141は、選択した中心近傍画素について、最大得票数算出工程S517の処理をする。これを、すべての中心近傍画素について繰り返す。
【0057】
最大得票数算出工程S517において、最大得票数算出部141は、CPU911を用いて、近傍繰り返し工程S516で選択した中心近傍画素に基づいて、選択した中心近傍画素について最大得票数記憶部142が記憶した最大得票数データを入力する。最大得票数算出部141は、CPU911を用いて、入力した最大得票数データが表わす最大得票数を一つ増やす。最大得票数記憶部142は、磁気ディスク装置920を用いて、最大得票数算出部141が増やした最大得票数を表わす最大得票数データを記憶する。
【0058】
近傍繰り返し判定工程S518において、最大得票数算出部141は、CPU911を用いて、最大得票数繰り返し工程S513で近傍選択部138が選択した中心画素について近傍選択工程S515で近傍選択部138が選択したすべての中心近傍画素について最大得票数算出工程S517の処理が終わったか判定する。
まだ処理が終わっていない中心近傍画素があると判定した場合、最大得票数算出部141は、CPU911を用いて、近傍繰り返し工程S516に戻り、次の中心近傍画素を選択する。
すべての中心近傍画素についての処理が終わったと判定した場合、最大得票数繰り返し判定工程S519へ進む。
【0059】
最大得票数繰り返し判定工程S515において、近傍選択部138は、CPU911を用いて、中心画素選択工程S512で中心選択部131が選択したすべての中心画素について、近傍選択工程S515〜近傍繰り返し判定工程S518の処理が終わったかを判定する。
まだ処理が終わっていない中心画素があると判定した場合、最大得票数算出部141は、CPU911を用いて、最大得票数繰り返し工程S514に戻り、次の中心画素を選択する。
すべての中心画素についての処理が終わったと判定した場合、初期設定処理S510を終了する。
【0060】
図7は、この実施の形態における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(前半)である。
【0061】
観測工程S521において、センサ810は、画像データを生成し、出力する。
【0062】
画像入力工程S522において、画像入力部111は、通信装置915を用いて、観測工程S521でセンサ810が出力した画像データを入力する。画像記憶部112は、磁気ディスク装置920を用いて、画像入力部111が入力した画像データを記憶する。
【0063】
画像取得工程S531において、増分算出部132は、CPU911を用いて、画像記憶部112が記憶した画像データのなかから、画像入力工程S522で画像記憶部112が記憶した最新の画像データと、二番目に新しい画像データとを取得する。
【0064】
増分繰り返し工程S532において、増分算出部132は、CPU911を用いて、二次元画像に含まれるすべての画素のなかから、画素を一つずつ選択する。増分算出部132は、選択した画素について、増分算出工程S533の処理をする。これを、すべての画素について繰り返す。
【0065】
増分算出工程S533において、増分算出部132は、CPU911を用いて、画像取得工程S531で取得した二つの画像データに基づいて、選択した画素について、輝度増分を算出する。増分算出部132は、磁気ディスク装置920を用いて、算出した輝度増分を表わす輝度増分データを記憶する。
【0066】
増分繰り返し判定工程S534において、増分算出部132は、CPU911を用いて、二次元画像に含まれるすべての画素について、増分算出工程S533の処理が終わったかを判定する。
まだ処理が終わっていない画素があると判定した場合、増分算出部132は、CPU911を用いて、増分繰り返し工程S532に戻り、次の画素を選択する。
すべての画素についての処理が終わったと判定した場合、増加得票数初期化工程S541へ進む。
【0067】
図8は、この実施の形態における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理の流れの一例を示すフローチャート図(後半)である。
【0068】
増加得票数初期化工程S541において、増加得票数算出部134は、CPU911を用いて、二次元画像に含まれる各画素について、増加得票数を0に初期化し、磁気ディスク装置920を用いて、初期化した増加得票数を表わす増加得票数データを記憶する。
【0069】
減少得票数初期化工程S542において、減少得票数算出部136は、CPU911を用いて、二次元画像に含まれる各画素について、減少得票数を0に初期化し、磁気ディスク装置920を用いて、初期化した減少得票数を表わす減少得票数データを記憶する。
【0070】
得票数繰り返し工程S543において、増加選択部133は、CPU911を用いて、中心画素選択工程S512で中心選択部131が記憶した中心画素データに基づいて、中心画素データが表わすすべての中心画素のなかから、中心画素を一つずつ選択する。増加選択部133は、選択した中心画素について、評価増加画素選択工程S544〜減少得票数加算工程S547の処理をする。これを、すべての中心画素について繰り返す。
【0071】
評価増加画素選択工程S544において、増加選択部133は、CPU911を用いて、近傍選択部138が記憶した近傍画素データと、増分算出工程S533で増分算出部132が記憶した輝度増分データに基づいて、得票数繰り返し工程S543で増加選択部133が選択した中心画素の中心近傍画素のなかから、評価増加画素を一つ選択する。
【0072】
増加得票数加算工程S545において、増加得票数算出部134は、CPU911を用いて、評価増加画素選択工程S544で増加選択部133が選択した評価増加画素について記憶した増加得票数データが表わす増加得票数を一つ増やす。増加得票数算出部134は、磁気ディスク装置920を用いて、増やした増加得票数を表わす増加得票数データを記憶する。
【0073】
評価減少画素選択工程S546において、減少選択部135は、CPU911を用いて、近傍選択工程S515で近傍選択部138が記憶した近傍画素データと、増分算出工程S533で増分算出部132が記憶した輝度増分データに基づいて、得票数繰り返し工程S543で増加選択部133が選択した中心画素の中心近傍画素のなかから、評価減少画素を一つ選択する。
【0074】
減少得票数加算工程S547において、減少得票数算出部136は、CPU911を用いて、評価減少画素選択工程S546で減少選択部135が選択した評価減少画素について記憶した現像得票数データが表わす減少得票数を一つ増やす。減少得票数算出部136は、磁気ディスク装置920を用いて、増やした減少得票数を表わす減少得票数データを記憶する。
【0075】
得票数繰り返し判定工程S548において、増加選択部133は、CPU911を用いて、すべての中心画素についての処理が終わったか否かを判定する。
まだ処理していない中心画素があると判定した場合、増加選択部133は、CPU911を用いて、得票数繰り返し工程S543に戻り、次の中心画素を選択する。
すべての中心画素についての処理が終わったと判定した場合、得票率繰り返し工程S551へ進む。
【0076】
得票率繰り返し工程S551において、得票数集計部137は、CPU911を用いて、二次元画像に含まれるすべての画素のなかから、画素を一つずつ選択する。得票数集計部137は、選択した画素について、得票数集計工程S552〜得票率算出工程S553の処理をする。これを、すべての画素について繰り返す。
【0077】
得票数集計工程S552において、得票数集計部137は、CPU911を用いて、増加得票数算出部134が記憶した増加得票数データと、減少得票数算出部136が記憶した減少得票数データとに基づいて、得票率繰り返し工程S551で選択した画素について、集計得票数を算出する。得票数集計部137は、磁気ディスク装置920を用いて、算出した集計得票数を表わす集計投票数データを記憶する。
【0078】
得票率算出工程S553において、得票率算出部143は、CPU911を用いて、最大得票数算出工程S514で最大得票数記憶部142が記憶した最大得票数データと、得票数集計工程S552で得票数集計部137が記憶した集計得票数データとに基づいて、得票率繰り返し工程S551で得票数集計部137が選択した画素について、得票率を算出する。得票率算出部143は、磁気ディスク装置920を用いて、算出した得票率を表わす得票率データを記憶する。
【0079】
得票率繰り返し判定工程S554において、得票数集計部137は、CPU911を用いて、二次元画像に含まれるすべての画素についての処理が終わったか否かを判定する。
まだ処理していない画素があると判定した場合、得票数集計部137は、CPU911を用いて、得票数繰り返し工程S551に戻り、次の画素を選択する。
すべての画素についての処理が終わったと判定した場合、得票率算出処理S520を終了する。
【0080】
図9は、この実施の形態における移動目標検出装置100が、目標画素を抽出する目標抽出処理S560の流れの一例を示すフローチャート図である。
【0081】
候補繰り返し工程S561において、移動元候補抽出部151は、CPU911を用いて、二次元画像に含まれるすべての画素のなかから、画素を一つずつ選択する。移動元候補抽出部151は、選択した画素について、移動元候補判定工程S562〜移動先候補判定工程S563の処理をする。これを、すべての画素について繰り返す。
【0082】
移動元候補判定工程S562において、移動元候補抽出部151は、CPU911を用いて、パラメータ入力工程S511で移動元閾値記憶部123が記憶した移動元閾値データと、得票率算出工程S553で得票率算出部143が記憶した得票率データとに基づいて、候補繰り返し工程S561で選択した画素が移動元候補画素か否かを判定する。
選択した画素が移動元候補画素であると判定した場合、移動元候補抽出部151は、磁気ディスク装置920を用いて、選択した画素を表わす移動元候補画素データを記憶する。
【0083】
移動先候補判定工程S563において、移動先候補抽出部152は、CPU911を用いて、パラメータ入力工程S511で移動先閾値記憶部124が記憶した移動先閾値データと、得票率算出工程S553で得票率算出部143が記憶した得票率データとに基づいて、候補繰り返し工程S561で移動元候補抽出部151が選択した画素が移動先候補画素か否かを判定する。
選択した画素が移動先候補画素であると判定した場合、移動先候補抽出部152は、磁気ディスク装置920を用いて、選択した画素を表わす移動先候補画素データを記憶する。
【0084】
候補繰り返し判定工程S564において、移動元候補抽出部151は、CPU911を用いて、すべての画素についての処理が終わったか否かを判定する。
まだ処理していない画素があると判定した場合、移動元候補抽出部151は、CPU911を用いて、候補繰り返し工程S561に戻り、次の画素を選択する。
すべての画素についての処理が終わったと判定した場合、目標繰り返し工程S565へ進む。
【0085】
目標繰り返し工程S565において、目標抽出部153は、CPU911を用いて、移動先候補判定工程S563で移動先候補抽出部152が記憶した移動先候補画素データに基づいて、移動先候補抽出部152が移動先候補画素であると判定したすべての画素のなかから、画素を一つずつ選択する。目標抽出部153は、選択した移動先候補画素について、目標判定工程S566の処理をする。これを、すべての移動先候補画素について繰り返す。
【0086】
目標判定工程S566において、目標抽出部153は、CPU911を用いて、パラメータ入力工程S511で判定距離記憶部125が記憶した判定距離データと、移動元候補判定工程S562で移動元候補抽出部151が記憶した移動元候補画素データとに基づいて、目標繰り返し工程S565で選択した移動先候補画素が目標画素であるか否かを判定する。
選択した移動先候補画素が目標画素であると判定した場合、目標抽出部153は、磁気ディスク装置920を用いて、選択した移動先候補画素を表わすデータを、目標画素データとして記憶する。
【0087】
目標繰り返し判定工程S567において、目標抽出部153は、CPU911を用いて、すべての移動先候補画素についての処理が終わったか否かを判定する。
まだ処理していない移動先候補画素があると判定した場合、目標抽出部153は、CPU911を用いて、目標繰り返し工程S565に戻り、次の移動先候補画素を選択する。
すべての移動先候補画素についての処理が終わったと判定した場合、目標抽出処理S560を終了する。
【0088】
図10は、この実施の形態における移動目標検出装置100が、目標画素に近接した目標画素を抽出する近接目標抽出処理S570の流れの一例を示すフローチャート図である。
【0089】
近接候補繰り返し工程S571において、近接目標抽出部163は、CPU911を用いて、二次元画像に含まれるすべての画素のなかから、画素を一つずつ選択する。近接目標抽出部163は、選択した画素について、近傍判定工程S572〜近接移動先候補判定工程S574の処理をする。これを、すべての画素について繰り返す。
【0090】
近傍判定工程S572において、近接目標抽出部163は、CPU911を用いて、目標判定工程S566で目標抽出部153が記憶した目標画素データに基づいて、近接候補繰り返し工程S571で選択した画素の近傍にいずれかの目標画素があるか否かを判定する。
選択した画素の近傍に目標画素があると判定した場合、近接移動元候補判定工程S573へ進む。
選択した画素の近傍に目標画素がないと判定した場合、近接候補繰り返し判定工程S575へ進む。
【0091】
近接移動元候補判定工程S573において、近接移動元候補抽出部161は、CPU911を用いて、パラメータ入力工程S511で近接移動元閾値記憶部126が記憶した近接移動元閾値データと、得票率算出工程S553で得票率算出部143が記憶した得票率データとに基づいて、近接候補繰り返し工程S571で近接目標抽出部163が選択した画素が近接移動元候補画素であるか否かを判定する。
選択した画素が近接移動元候補画素であると判定した場合、近接移動元候補抽出部161は、磁気ディスク装置920を用いて、選択した画素を表わす近接移動元候補画素データを記憶する。
【0092】
近接移動先候補判定工程S574において、近接移動先候補抽出部162は、CPU911を用いて、パラメータ入力工程S511で近接移動先閾値記憶部127が記憶した近接移動先閾値データと、得票率算出工程S553で得票率算出部143が記憶した得票率データとに基づいて、近接候補繰り返し工程S571で近接目標抽出部163が選択した画素が近接移動先候補画素であるか否かを判定する。
選択した画素が近接移動先候補画素であると判定した場合、近接移動先候補抽出部162は、磁気ディスク装置920を用いて、選択した画素を表わす近接移動先候補画素データを記憶する。
【0093】
近接候補繰り返し判定工程S575において、近接目標抽出部163は、CPU911を用いて、二次元画像に含まれるすべての画素についての処理が終わったか否かを判定する。
まだ処理していない画素があると判定した場合、近接目標抽出部163は、CPU911を用いて、近傍候補繰り返し工程S571に戻り、次の画素を選択する。
すべての画素についての処理が終わったと判定した場合、近接目標繰り返し工程S576へ進む。
【0094】
近接目標繰り返し工程S576において、近接目標抽出部163は、CPU911を用いて、近接移動先候補判定工程S574で近接移動先候補抽出部162が記憶した近接移動先候補画素データに基づいて、近接移動先候補抽出部162が近接移動先候補画素であると判定したすべての画素のなかから、画素を一つずつ選択する。、近接目標抽出部163は、選択した近接移動先候補画素について、近接目標判定工程S577の処理をする。これを、すべての近接移動先候補画素について繰り返す。
【0095】
近接目標判定工程S577において、近接目標抽出部163は、CPU911を用いて、パラメータ入力工程S511で近接判定距離記憶部128が記憶した近接判定距離データと、近接移動元候補判定工程S573で近接移動元候補抽出部161が記憶した近接移動元候補画素データとに基づいて、近接目標繰り返し工程S576で選択した近接移動先候補画素が目標画素であるか否かを判定する。
選択した近接移動先候補画素が目標画素であると判定した場合、近接目標抽出部163は、磁気ディスク装置920を用いて、選択した近接移動先候補画素を表わす目標画素データを記憶する。
【0096】
近接目標繰り返し判定工程S578において、近接目標抽出部163は、CPU911を用いて、すべての近接移動先候補画素についての処理が終わったか否かを判定する。
まだ処理していない近接移動先候補画素があると判定した場合、近接目標抽出部163は、CPU911を用いて、近接目標繰り返し工程S576に戻り、次の近接移動先候補画素を選択する。
すべての近接移動先候補画素についての処理が終わったと判定した場合、近接目標抽出処理を終了する。
【0097】
次に、具体例を用いて、移動目標検出装置100の動作を説明する。
【0098】
図11は、この実施の形態における中心選択部131が選択する中心画素と、最大得票数算出部141が算出する最大得票数との一例を示す図である。
この例において、二次元画像300は、縦9行横11列合計99個の画素により構成されている。
【0099】
パラメータ入力部121は、キーボード902を用いて、パラメータの一部として、近傍距離を入力する。この例において、パラメータ入力部121は、近傍距離として、「5」を入力したとする。
中心選択部131は、CPU911を用いて、パラメータ入力部121が入力した近傍距離に基づいて、二次元画像300に含まれる画素のなかから、中心近傍範囲が画像のなかに収まる中心画素310を選択する。この例において、中心近傍範囲は、中心画素を中心とし、一辺が近傍距離である矩形範囲であるとする。例えば、太丸で示した中心画素311の中心近傍画素321は、太線に囲まれた中心近傍範囲内の合計25個の画素である。
この場合、中心選択部131は、中心画素310として、斜線でハッチングした縦5行横7列合計35個の画素を選択する。
【0100】
最大得票数算出部141は、CPU911を用いて、中心選択部131が選択した中心画素に基づいて、二次元画像300を構成する99個の画素それぞれについて、最大得票数330を算出する。すなわち、最大得票数算出部141は、99個の画素にそれぞれ対応する99個の最大得票数330を算出する。
図に示したように、画像の中央付近に位置する画素の最大得票数は大きい(最大で、中心近傍画素の数と等しい25)が、画像の端に近くなるほど小さくなる。ただし、最大得票数が0の画素は存在せず、最大得票数の最小値は1である。すなわち、すべての画素が増加得票あるいは減少得票を得る可能性がある。
【0101】
図12は、この実施の形態における画像入力部111が入力する画像データ411,412と、増分算出部132が算出する輝度増分420との一例を示す図である。
【0102】
画像入力部111は、通信装置915を用いて、画像401を表わす画像データ411を入力する。画像データ411は、二次元画像300を構成する99個の画素に対応する99個の輝度データから構成されている。画像記憶部112は、磁気ディスク装置920を用いて、画像入力部111が入力した画像データ411を記憶する。
所定時間が経過したのち、画像入力部111は、通信装置915を用いて、画像402を表わす画像データ412を入力する。画像データ412も同じく、二次元画像300を構成する99個の画素に対応する99個の輝度データから構成されている。画像記憶部112は、磁気ディスク装置920を用いて、画像入力部111が入力した画像データ412を記憶する。
【0103】
増分算出部132は、CPU911を用いて、画像記憶部112が記憶した画像データ411と画像データ412とに基づいて、二次元画像300を構成する99個の画素それぞれについて、輝度増分420を算出する。すなわち、増分算出部132は、99個の画素にそれぞれ対応する99個の輝度増分420を算出する。輝度増分420は、その画素の画像402における輝度のほうが画像401における輝度よりも高ければ正の値をとり、逆に、画像402における輝度のほうが画像401における輝度よりも低ければ負の値をとる。
【0104】
図13は、この実施の形態における増加得票数算出部134、減少得票数算出部136、得票数集計部137、得票率算出部143が算出する増加得票数431、減少得票数432、集計得票数433、得票率434の一例を示す図である。
【0105】
増加選択部133は、CPU911を用いて、増分算出部132が算出した99個の輝度増分420に基づいて、中心選択部131が選択した35個の中心画素それぞれについて、評価増加画素を選択する。すなわち、増加選択部133は、35個の中心画素にそれぞれ対応する35個の評価増加画素を選択する。なお、中心画素が異なっても、同じ画素を評価増加画素として選択する場合があるので、評価増加画素として1回以上選択される画素の総数は35以下であり、この例では5個である。
増加得票数算出部134は、CPU911を用いて、増加選択部133が選択した35個の評価増加画素に基づいて、二次元画像300を構成する99個の画素それぞれについて、増加得票数431を算出する。すなわち、増加得票数算出部134は、99個の画素にそれぞれ対応する99個の増加得票数431を算出する。なお、図では、見易さのため、増加得票数431が0の場合、記載を省略している。減少得票数432、集計得票数433、得票率434についても同様である。
【0106】
減少選択部135は、CPU911を用いて、増分算出部132が算出した99個の輝度増分420に基づいて、中心選択部131が選択した35個の中心画素それぞれについて、評価減少画素を選択する。すなわち、減少選択部135は、35個の中心画素にそれぞれ対応する35個の評価減少画素を選択する。なお、評価増加画素と同様、中心画素が異なっても、同じ画素を輝度現象画素として選択する場合がある。
減少得票数算出部136は、CPU911を用いて、減少選択部135が選択した35個の評価減少画素に基づいて、二次元画像300を構成する99個の画素それぞれについて、減少得票数432を算出する。すなわち、減少得票数算出部136は、99個の画素にそれぞれ対応する99個の減少得票数432を算出する。
【0107】
得票数集計部137は、CPU911を用いて、増加得票数算出部134が算出した99個の増加得票数431と、減少得票数算出部136が算出した99個の減少得票数432とに基づいて、二次元画像300を構成する99個の画素それぞれについて、集計得票数433を算出する。すなわち、得票数集計部137は、99個の画素にそれぞれ対応する99個の集計得票数433を算出する。
【0108】
得票率算出部143は、CPU911を用いて、最大得票数記憶部142が記憶した99個の最大得票数330と、得票数集計部137が算出した99個の集計得票数433とに基づいて、二次元画像300を構成する99個の画素それぞれについて、得票率434を算出する。すなわち、得票率算出部143は、99個の画素にそれぞれ対応する99個の得票率434を算出する。
【0109】
図14は、この実施の形態における目標抽出部153、近接目標抽出部163が抽出する目標画素の一例を示す図である。
【0110】
移動元候補抽出部151は、CPU911を用いて、移動元閾値記憶部123が記憶した移動元閾値と、得票率算出部143が算出した99個の得票率434とに基づいて、二次元画像300を構成する99個の画素のなかから、得票率434が移動元閾値より小さい画素を抽出して、移動元候補画素とする。この例において、移動元閾値記憶部123が移動元閾値「−0.5」を記憶しているとすると、移動元候補抽出部151は、四つの移動元候補画素451〜454を抽出する。
移動先候補抽出部152は、CPU911を用いて、移動先閾値記憶部124が記憶した移動先閾値と、得票率算出部143が算出した99個の得票率434とに基づいて、二次元画像300を構成する99個の画素のなかから、得票率434が移動先閾値より大きい画素を抽出して、移動先候補画素とする。この例において、移動先閾値記憶部124が移動先閾値「0.5」を記憶しているとすると、移動先候補抽出部152は、三つの移動先候補画素441〜443を抽出する。
【0111】
目標抽出部153は、CPU911を用いて、判定距離記憶部125が記憶した判定距離と、移動元候補抽出部151が抽出した移動元候補画素と、移動先候補抽出部152が抽出した移動先候補画素とに基づいて、目標画素を抽出する。この例において、目標抽出部153は、移動先候補画素441の候補近傍範囲461内に移動元候補画素451があるので、移動先候補画素441を目標画素471として抽出する。また、目標抽出部153は、移動先候補画素442の候補近傍範囲462内に移動元候補画素454があるので、移動先候補画素442を目標画素472として抽出する。これに対し、目標抽出部153は、移動先候補画素443の候補近傍範囲463内には移動元候補画素がないので、移動先候補画素443を目標画素として抽出しない。
【0112】
近接移動先候補抽出部162は、CPU911を用いて、近接移動先閾値記憶部127が記憶した近接移動先閾値と、得票率算出部143が算出した99個の得票率434とに基づいて、二次元画像300を構成する99個の画素のなかから、得票率434が近接移動先閾値より大きい画素を抽出して、近接移動先候補画素とする。近接移動先閾値は、移動先閾値よりも小さいので、近接移動先候補抽出部162が抽出する近接移動先候補画素の数は、移動先候補抽出部152が抽出する移動先候補画素の数以上になる。この例において、近接移動先閾値記憶部127が近接移動先閾値「0.2」を記憶しているとすると、近接移動先候補抽出部162は、三つの移動先候補画素441〜443に加えて、一つの近接移動先候補画素444を抽出し、合計四つの近接移動先候補画素441〜444を抽出する。
なお、近接移動先候補抽出部162は、二次元画像300を構成する99個の画素すべてのなかから近接移動先候補画素を抽出するのではなく、抽出元の範囲を、目標抽出部153が抽出した目標画素の近傍に位置する画素に限定して、目標抽出部153が抽出した目標画素の近傍に位置する画素のなかから、近接移動元候補画素を抽出してもよい。また、近接移動先候補抽出部162は、目標抽出部153が目標画素として抽出した画素を除く画素のなかから、近接移動元候補画素を抽出してもよい。
【0113】
近接移動元候補抽出部161は、CPU911を用いて、近接移動元閾値記憶部126が記憶した近接移動元閾値と、得票率算出部143が算出した99個の得票率434とに基づいて、二次元画像300を構成する99個の画素のなかから、得票率434が近接移動元閾値より小さい画素を抽出して、近接移動元候補画素とする。近接移動元閾値は、移動元閾値よりも大きいので、近接移動元候補抽出部161が抽出する近接移動元候補画素の数は、移動元候補抽出部151が抽出する移動元候補画素の数以上になる。この例において、近接移動元閾値記憶部126が近接移動元閾値「−0.2」を記憶しているとすると、近接移動元候補抽出部161は、四つの移動元候補画素451〜454に加えて、三つの近接移動元候補画素455〜457を抽出し、合計七つの近接移動元候補画素451〜457を抽出する。
なお、近接移動元候補抽出部161は、二次元画像300を構成する99個の画素すべてのなかから近接移動元候補画素を抽出するのではなく、抽出元の範囲を、目標抽出部153が抽出した目標画素とペアとなる移動元候補画素の近傍に位置する画素に限定して、目標抽出部153が抽出した目標画素とペアとなる移動元候補画素の近傍に位置する画素のなかから、近接移動先候補画素を抽出してもよい。あるいは、近接移動元候補抽出部161、目標抽出部153が抽出した目標画素とペアとなる移動元候補画素の近傍に位置する画素については近接移動元閾値を基準として、近接移動元候補画素を抽出し、それ以外の画素については、移動元閾値記憶部123が記憶した移動元閾値を基準として、近接移動元候補画素を抽出してもよい。
【0114】
近接目標抽出部163は、CPU911を用いて、目標抽出部153が抽出した目標画素と、近接移動先候補抽出部162が抽出した近接移動先候補画素と、近接移動元候補抽出部161が抽出した近接移動元候補画素とに基づいて、目標画素の近傍に位置する近接移動先候補画素のなかから、ペアとなる近接移動元候補画素がある画素を抽出して、目標画素とする。この例において、近接目標抽出部163は、目標画素471の中心近傍画素322、または、目標画素472の中心近傍画素のなかに含まれる近傍移動先候補画素として、近接移動先候補画素441,442を抽出する。近接目標抽出部163は、移動先候補画素441の候補近傍範囲461に移動元候補画素451があるので、移動先候補画素441を目標画素471として抽出する。また、近接目標抽出部163は、移動先候補画素442の候補近傍範囲462に移動元候補画素454及び近接移動元候補画素455があるので、移動先候補画素442を目標画素472として抽出する。
なお、近接目標抽出部163は、目標抽出部153が既に目標画素として抽出した画素を目標画素として抽出しないこととしてもよい。その場合、近接目標抽出部163は、近接移動先候補画素を抽出しない。
【0115】
以上のようにして、目標抽出部153が抽出した目標画素と、近接目標抽出部163が抽出した目標画素とを合わせたものが、移動目標検出装置100が今回抽出した目標画素となる。この例では、二つの目標画素471,472が抽出される。
【0116】
目標記憶部172は、磁気ディスク装置920を用いて、抽出した二つの目標画素471,472を表わす目標画素データを記憶する。
目標出力部173は、通信装置915を用いて、目標記憶部172が記憶した二つの目標画素471,472を表わす目標画素データを出力する。
【0117】
この実施の形態における移動目標検出装置100は、
データを記憶する記憶装置(磁気ディスク装置920)と、データを処理する処理装置(CPU911)と、画像記憶部112と、移動先候補抽出部152と、移動元候補抽出部151と、目標抽出部153とを有する。
上記画像記憶部112は、上記記憶装置(磁気ディスク装置920)を用いて、第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとを記憶する。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記画像記憶部112が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とする。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記画像記憶部112が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とする。
上記目標抽出部153は、上記処理装置(CPU911)を用いて、上記移動先候補抽出部152が抽出した移動先候補画素と、上記移動元候補抽出部151が抽出した移動元候補画素とに基づいて、上記移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とする。
【0118】
この実施の形態における移動目標検出装置100によれば、移動先候補抽出部152が抽出した移動先候補画素のなかから、ペアとなる移動元候補画素が存在する移動先候補画素を、目標抽出部153が抽出して目標画素とするので、移動により写っている画素が変化した目標を検出できるという効果を奏する。このとき、点滅欠陥画素などの欠陥画素は、ペアとなる画素が存在しないので、検出されない。
【0119】
この実施の形態における目標抽出部153は、上記処理装置(CPU911)を用いて、上記移動先候補抽出部152が抽出した移動先候補画素のうちから、上記移動先候補画素の近傍に位置する複数の候補近傍画素のなかに上記移動元候補抽出部151が抽出した移動元候補画素が存在する移動先候補画素を抽出して、上記目標画素とする。
【0120】
この実施の形態における移動目標検出装置100によれば、移動先候補画素の近傍に位置する候補近傍画素のなかに位置する移動元候補画素を、移動先候補画素とペアとなる移動元候補画素として、目標抽出部153が目標画素を抽出するので、二つの画像において、目標が写っている画素が、候補近傍画素のなかで移動した場合に、目標を検出できるという効果を奏する。
【0121】
この実施の形態における目標抽出部153は、上記処理装置(CPU911)を用いて、上記移動先候補画素を中心とする矩形範囲内の複数の画素を上記複数の候補近傍画素として、上記目標画素を抽出する。
【0122】
この実施の形態における移動目標検出装置100によれば、移動先候補画素を中心とする矩形範囲内の画素を候補近傍画素として、目標抽出部153がペアとなる移動元候補画素があるか判定するので、画素の座標に基づいて、ペアとなる移動元候補画素を判定でき、高速に処理をすることができるという効果を奏する。
【0123】
この実施の形態における目標抽出部153は、上記処理装置(CPU911)を用いて、上記移動先候補画素からの距離が所定の画素数以内の複数の画素を上記複数の候補近傍画素として、上記目標画素を抽出する。
【0124】
この実施の形態における移動目標検出装置100によれば、移動先候補画素からの距離が所定の画素数以内の画素を候補近傍画素として、目標抽出部153がペアとなる移動元候補画素があるか判定するので、あらかじめ目標の最大移動速度から二次元画像上で移動する可能性のある距離を求めておき、その距離を判定距離として設定すれば、的確に目標画素を判定することができるという効果を奏する。
【0125】
この実施の形態における移動目標検出装置100は、更に、増分算出部132と、中心選択部131と、近傍選択部138と、増加選択部133と、減少選択部135とを有する。
上記増分算出部132は、上記処理装置(CPU911)を用いて、上記画像記憶部112が記憶した二つの画像データが表わす二つの画像に基づいて、上記二つの画像にともに含まれる複数の画素の各画素について、上記第二の画像における輝度から上記第一の画像における輝度を差し引いた差をそれぞれ算出して、複数の輝度増分とする。
上記中心選択部131は、上記処理装置(CPU911)を用いて、上記複数の画素のうち少なくともいずれか二以上の画素を選択して、複数の中心画素とする。
上記近傍選択部138は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記中心画素の近傍に位置する複数の画素を選択して、複数の中心近傍画素とする。
上記増加選択部133は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記近傍選択部138が選択した複数の中心近傍画素のなかから、上記増分算出部132が算出した輝度増分が最も大きい中心近傍画素をそれぞれ選択して、複数の評価増加画素とする。
上記減少選択部135は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記近傍選択部138が選択した複数の中心近傍画素のなかから、上記増分算出部132が算出した輝度増分が最も小さい中心近傍画素をそれぞれ選択して、複数の評価減少画素とする。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記増加選択部133が上記評価増加画素として選択した回数(増加得票数)に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出する。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記減少選択部135が上記評価減少画素として選択した回数(減少得票数)に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出する。
【0126】
この実施の形態における移動目標検出装置100によれば、複数の中心画素それぞれの中心近傍画素のなかから輝度増分が最大の画素を、増加選択部133が選択して評価増加画素とし、画素が評価増加画素として選択された回数に基づいて、移動先候補抽出部152が移動先候補画素を抽出し、複数の中心画素それぞれの中心近傍画素のなかから輝度増分が最小の画素を、減少選択部135が選択して評価減少画素とし、画素が評価減少画素として選択された回数に基づいて、移動元候補抽出部151が移動元候補画素を抽出するので、画像に写っている背景が一様でなく複雑な場合であっても、目標が写っている画素を検出できるという効果を奏する。
【0127】
この実施の形態における移動目標検出装置100は、更に、増加得票数算出部134と、減少得票数算出部136とを有する。
上記増加得票数算出部134は、上記処理装置(CPU911)を用いて、上記複数の画素の各画素について、上記増加選択部133が上記評価増加画素として選択した回数をそれぞれ算出して、複数の増加得票数とする。
上記減少得票数算出部136は、上記処理装置(CPU911)を用いて、上記複数の画素の各画素について、上記減少選択部135が上記評価減少画素として選択した回数をそれぞれ算出して、複数の減少得票数とする。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記増加得票数算出部134が算出した複数の増加得票数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出する。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記減少得票数算出部136が算出した複数の減少得票数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出する。
【0128】
この実施の形態における移動目標検出装置100によれば、画素が評価増加画素として選択された回数に基づいて、増加得票数算出部134が増加得票数を算出し、画素が評価減少画素として選択された回数に基づいて、減少得票数算出部136が減少得票数を算出するので、増加得票数および減少得票数に基づいて、移動先候補画素および移動元候補画素を抽出することができ、画像に写っている背景が一様でなく複雑な場合であっても、目標が写っている画素を検出できるという効果を奏する。
【0129】
この実施の形態における移動目標検出装置100は、更に、得票数集計部137を有する。
上記得票数集計部137は、上記処理装置(CPU911)を用いて、上記複数の画素の各画素について、上記増加選択部133が上記評価増加画素として選択した回数(増加得票数)から上記減少選択部135が上記評価減少画素として選択した回数(減少得票数)を差し引いた差をそれぞれ算出して、複数の集計得票数とする。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記得票数集計部137が算出した複数の集計得票数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出する。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記得票数集計部137が算出した複数の集計得票数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出する。
【0130】
この実施の形態における移動目標検出装置100によれば、増加得票数と減少得票数とに基づいて、得票数集計部137が集計得票数を算出し、移動元候補抽出部151及び移動先候補抽出部152が、移動元候補画素及び移動先候補画素を抽出するので、増加得票数及び減少得票数を記憶する記憶領域を早く解放することができる。ある画素が、ある中心画素に対する評価増加画素として選択されるとともに、他の中心画素に対する評価減少画素として選択されることはほとんどない。したがって、増加得票数と減少得票数とをまとめて集計得票数としても、失われる情報はほとんどない。
【0131】
なお、増加得票数と減少得票数とを別々に算出したのちに集計得票数を算出するのではなく、増加選択部133及び増加得票数算出部134の選択結果に基づいて、得票数集計部137が集計得票数を直接算出してもよい。その場合、処理の手順は、次のように変わる。
図8のフローチャート図において、増加得票数初期化工程S541及び減少得票数初期化工程S542に代えて、得票数集計部137が、CPU911を用いて、二次元画像に含まれる各画素について、集計得票数を0に初期化し、磁気ディスク装置920を用いて、初期化した集計得票数を表わす集計得票数データを記憶する集計得票数初期化工程を行う。
増加得票数加算工程S545において、増加得票数算出部134が、CPU911を用いて、評価増加画素選択工程S544で増加選択部133が選択した評価増加画素について、集計得票数を一つ増やす。
減少得票数加算工程S547において、減少得票数算出部136が、CPU911を用いて、評価減少画素選択工程S546で減少選択部135が選択した評価減少画素について、集計得票数を一つ減らす。
得票数集計工程S552の処理は、行わない。
【0132】
これにより、集計得票数を算出するために必要となる記憶領域の大きさが、約半分で済むという効果を奏する。
【0133】
この実施の形態における移動目標検出装置100は、更に、最大得票数記憶部142と、得票率算出部143とを有する。
上記最大得票数記憶部142は、上記記憶装置(磁気ディスク装置920)を用いて、上記複数の画素の各画素について、上記複数の中心画素のうち、上記複数の中心近傍画素のなかに上記画素が含まれる中心画素の数をそれぞれ記憶して、複数の最大得票数とする。
上記得票率算出部143は、上記処理装置(CPU911)を用いて、上記複数の画素の各画素について、上記得票数集計部137が算出した集計得票数を上記最大得票数記憶部142が記憶した最大得票数で割った商をそれぞれ算出して、複数の得票率とする。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記得票率算出部143が算出した複数の得票率に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出する。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記得票率算出部143が算出した複数の得票率に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出する。
【0134】
この実施の形態における移動目標検出装置100によれば、集計得票数を最大得票数で割った得票率に基づいて、移動元候補抽出部151及び移動先候補抽出部152が、移動元候補画素及び移動先候補画素を抽出するので、画像内の位置によって最大得票数が異なる画素間の得票を正しく比較することができ、目標画素抽出の信頼性を高めることができる。
【0135】
この実施の形態における移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記複数の画素のうちから、上記得票率算出部143が算出した得票率が所定の移動先閾値より大きい画素を抽出して、上記移動先候補画素とする。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記複数の画素のうちから、上記得票率算出部143が算出した得票率が所定の移動先閾値より小さい画素を抽出して、上記移動元候補画素とする。
【0136】
この実施の形態における移動目標検出装置100によれば、得票率が移動先閾値より大きい画素を、移動先候補抽出部152が移動先候補画素として抽出し、得票率が移動元閾値より小さい画素を、移動元候補抽出部151が移動元候補画素として抽出するので、画像に写っている背景の影響を小さくすることができ、目標画素検出の信頼性を高めることができる。
【0137】
この実施の形態における移動目標検出装置100は、更に、近接移動先候補抽出部162と、近接移動元候補抽出部161と、近接目標抽出部163とを有する。
上記近接移動先候補抽出部162は、上記処理装置(CPU911)を用いて、上記目標抽出部153が抽出した目標画素の近傍に位置する複数の目標近傍画素のうちから、上記得票率算出部143が算出した得票率が上記所定の移動先閾値よりも小さい近接移動先閾値より大きい画素を抽出して、近接移動先候補画素とする。
上記近接移動元候補抽出部161は、上記処理装置(CPU911)を用いて、上記複数の目標近傍画素のうちから、上記得票率算出部143が算出した得票率が上記所定の移動元閾値よりも大きい近接移動元閾値より小さい画素を抽出して、近接移動元候補画素とする。
上記近接目標抽出部163は、上記処理装置(CPU911)を用いて、上記近接移動先候補抽出部162が抽出した近接移動先候補画素のうちから、上記近接移動先候補画素の近傍に位置する複数の近接近傍画素のなかに上記近接移動元候補抽出部161が抽出した近接移動元候補画素が存在する近接移動先候補画素を抽出して、目標画素とする。
【0138】
この実施の形態における移動目標検出装置100によれば、目標抽出部153が抽出した目標画素の近傍について、得票率が近接移動先閾値より大きい画素を、近接移動先候補抽出部162が近接移動先候補画素として抽出し、得票率が近接移動元閾値より小さい画素を、近接移動元候補抽出部161が近接移動元候補画素として抽出するので、互いに近接している複数の目標画素を検出することができるという効果を奏する。
【0139】
この実施の形態における近傍選択部138は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記中心画素を中心とする矩形範囲内の複数の画素を選択して、上記複数の中心近傍画素とする。
【0140】
この実施の形態における移動目標検出装置100によれば、中心画素を中心とする矩形範囲内の画素を中心近傍画素として、増加選択部133が評価増加画素を選択するので、画素の座標に基づいて、評価増加画素を選択でき、高速に処理をすることができるという効果を奏する。
【0141】
この実施の形態における近傍選択部138は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記中心画素からの距離が所定の画素数以内の複数の画素を選択して、上記複数の中心近傍画素とする。
【0142】
この実施の形態における移動目標検出装置100によれば、中心画素からの距離が所定の画素数以内の画素を中心近傍画素として、増加選択部133が評価増加画素を選択するので、的確に評価増加画素を選択することができるという効果を奏する。
【0143】
この実施の形態における中心選択部131は、上記処理装置(CPU911)を用いて、上記複数の画素のうちから、上記複数の中心近傍画素が上記画像内に収まる複数の画素を上記複数の中心画素とする。
【0144】
この実施の形態における移動目標検出装置100によれば、中心近傍画素が画像内に収まる画素を中心画素とするので、すべての中心画素について、中心近傍画素の数が等しくなり、増加選択部133がある画素を評価増加画素として選択したことの重みも均等となる。このため、目標画素検出の信頼性を高めることができる。
【0145】
この実施の形態における移動目標検出装置100は、更に、データを入力する入力装置(通信装置915)と、画像入力部111とを有する。
上記画像入力部111は、上記入力装置(通信装置915)を用いて、所定の周期に一枚の割合で画像を表わす画像データを入力する。
上記画像記憶部112は、上記記憶装置(磁気ディスク装置920)を用いて、上記画像入力部111が入力した画像データを蓄積して記憶し、記憶した画像データのうちの一つを上記第一の画像データとし、上記第一の画像データの次に上記画像入力部111が入力して記憶した画像データを上記第二の画像データとする。
【0146】
この実施の形態における移動目標検出装置100によれば、時系列的に前後する二つの画像を表わす二つの画像データに基づいて、目標画素を検出するので、移動している目標が写っている目標画素を、検出することができるという効果を奏する。
【0147】
この実施の形態における移動目標検出装置100は、コンピュータを移動目標検出装置100として機能させるコンピュータプログラムを、コンピュータが実行することにより、実現することができる。
【0148】
この実施の形態における移動目標検出装置100としてコンピュータを機能させるコンピュータプログラムによれば、移動により写っている画素が変化した目標を検出するとともに、欠陥画素を誤検出しない移動目標検出装置100を実現することができるという効果を奏する。
【0149】
この実施の形態における移動目標検出装置100が、上記記憶装置(磁気ディスク装置920)が記憶した第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとに基づいて、移動する目標を検出する移動目標検出方法は、以下の工程を有する。
上記処理装置(CPU911)が、上記記憶装置(磁気ディスク装置920)が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とする。
上記処理装置(CPU911)が、上記記憶装置(磁気ディスク装置920)が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とする。
上記処理装置(CPU911)が、抽出した移動先候補画素と、抽出した移動元候補画素とに基づいて、上記移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とする。
【0150】
この実施の形態における移動目標検出方法によれば、移動により写っている画素が変化した目標を検出するとともに、欠陥画素を誤検出しないという効果を奏する。
【0151】
なお、この実施の形態では、近傍距離などのパラメータをパラメータ入力部121が入力するものとして説明したが、近傍距離などのパラメータは、あらかじめ近傍距離記憶部122などが記憶しておいてもよい。
【0152】
以上説明した移動目標検出装置100の動作を、要約して説明する。
【0153】
まず、投票範囲設定部(パラメータ入力部121)が、画素値変動画素探索範囲(中心近傍範囲、投票範囲)を設定する。投票範囲(中心近傍範囲)は、画素Aを中心(中心画素)として、縦横の画素数を同じとする(X軸方向画素数とY軸方向画素数が同じ)任意の探索範囲のことである。この投票範囲(中心近傍範囲)は、入力画像のサイズや、画像の種類によって変更することが可能である。
次に、投票範囲確保可能画素抽出部(中心選択部131)が、連続して入力される画像の最初の画像(第1フレーム)に対し、投票範囲の確保が可能な画素(中心画素となり得る画素)を抽出する。これは、投票範囲が固定であるため、入力される画像の端部では投票範囲の確保ができないため、このような中心画素となり得ない画素に対して中心画素を割当てる処理を行うことを避けるためである。
【0154】
次に、フレーム間評価値差分算出部(増分算出部132)が、第1フレーム評価値(第一の画像における画素の輝度)と、第2フレーム評価値(第二の画像における画素の輝度)を比較し、同一画素を中心画素に持つ投票範囲同士でその差分(輝度増分)を計算する。
次に、フレーム間評価値差分最大値画素探索部(増加選択部133)、フレーム間評価値差分最小値画素探索部(減少選択部135)が、投票範囲(中心近傍範囲)内のフレーム間評価値差分値(輝度増分)の、最大値画素(評価増加画素)と最小値画素(評価減少画素)を探索する。
次に、フレーム間評価値差分最大値画素正票投票部(増加得票数算出部134)、フレーム間評価値差分最小値画素負票投票部(減少得票数算出部136)が、投票範囲(中心近傍範囲)内のフレーム間評価値差分最大値画素(評価増加画素)にプラス票を1票、フレーム間評価値差分最小値画素(評価減少画素)にマイナス票を1票入れる。このどちらでもない画素には何もしない(±ゼロの扱い)。
これらの処理を、第2フレーム内の全ての中心画素に対して行う。
【0155】
次に、フレーム間の全ての画素への投票処理終了後、フレーム間評価値差分正負投票画素得票率変換部(得票率算出部143)が、各画素の得票数(集計得票数)を、その画素が得票し得る最大得票数に対する得票率に変換する。これは、同じフレーム内の画素でも、端部と中心部では投票範囲の配置の関係上、最大得票数が異なるため、評価基準を一定にするために行うものである。
投票範囲のサイズによって、フレーム内の各画素の最大得票数が異なるので、フレーム間評価値差分正負投票画素得票率変換部(得票率算出部143)の処理に先立って、フレーム間評価値差分正負投票画素最大得票数算出部(最大得票数算出部141)が、最大得票数を算出する。
【0156】
次に、フレーム間評価値差分正負投票画素得票率閾値処理部(移動元候補抽出部151、移動先候補抽出部152)が、フレーム間評価値差分正負投票画素得票率(得票率)に対し、プラスの得票率、マイナスの得票率共に、任意の得票率(移動先閾値、移動元閾値)を使った閾値処理を行い、得票率の絶対値が少ない画素を排除する。
次に、抽出画素距離内正負対画素探索部(目標抽出部153)が、フレーム間評価値差分正負投票画素得票率閾値処理部(移動元候補抽出部151、移動先候補抽出部152)により抽出されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)をペアで探索する。抽出画素距離内正負対画素探索部(目標抽出部153)は、プラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)とが、離隔範囲(候補近傍範囲)内にあるときに、ペアであるとみなす。離隔範囲(候補近傍範囲)は、最大許容離隔距離(判定距離、抽出画素距離)に基づいて定まるものであり、抽出画素距離(判定距離)は、抽出画素距離設定部(パラメータ入力部121、判定距離記憶部125)が設定する。抽出画素距離(判定距離)は、目標の速度や入力画像のフレーム間隔によって任意に変更可能である。また、抽出画素距離を注目画素の周辺(上下左右全体)に設定することにより、目標のあらゆる動きに対応することが可能となる。
次に、移動目標画素抽出部(目標抽出部153)が、抽出画素距離内正負対画素探索部(目標抽出部153)で探索されたペアの画素のうち、プラス値画素(移動先候補画素)を、現時刻の目標が存在している画素として抽出し、二値化処理することで、移動目標画素(目標画素)を抽出する。
【0157】
以上のようにして、移動目標検出装置100は、背景に空や雲、陸地といった温度差のばらつきがあるような複雑で、連続して入力される画像中に存在する、大きさは1画素程度の微小サイズで、且つ、背景の輝度の頻度分布と目標の輝度の頻度分布が一部重なるような、目標の輝度レベルが背景の輝度レベルに対して十分大きいとは言えないような低S/N信号であり、フレーム間で1画素以上移動する目標の検出を可能とする。
【0158】
以上説明した移動目標検出装置100は、画像中に存在する目標の検出処理において、1時刻前に入力された第1フレームの画像と、現在入力された第2フレームの画像を比較し、画素値が増加している画素と、画素値が減少している画素をペアで検出する。
これにより、画像中に存在する微小且つ低S/Nな移動目標の検出が可能となる。
【0159】
以上説明した移動目標検出装置100によれば、青空や雲、陸地などが同時に存在する複雑な背景を持つ画像が連続して入力されるレーダなどのセンサからなる観測装置を用いて、低い信号強度且つ入力画像内での大きさが1画素程度の微小目標である、航空機、船舶、車両などの複数の移動体の目標物を、正確に検出することを可能となる。
【0160】
以上説明した移動目標検出装置100は、入力された画像に対し、画素値変動画素探索範囲(中心近傍範囲、投票範囲)として、画素A(中心画素)を中心として縦横の画素数を同じとする任意の探索範囲を設定する投票範囲設定部(パラメータ入力部121、近傍距離記憶部122)を持つ。
【0161】
以上説明した移動目標検出装置100は、入力画像のサイズや画像の種類によって、画素値変動画素探索範囲(中心近傍範囲、投票範囲)の大きさを変更することができる。
【0162】
以上説明した移動目標検出装置100は、入力された画像に対し、投票範囲(中心近傍範囲)の確保が可能な画素(中心画素となり得る画素)のみを抽出し、中心画素となり得ない画素に対しては中心画素を割当てる処理を行うことを避ける投票範囲確保可能画素抽出部(中心選択部131)を持つ。
【0163】
以上説明した移動目標検出装置100は、1時刻前に入力された画像の画素の輝度と、現時刻に入力された画像の画素の輝度とを比較し、同一画素を中心画素に持つ投票範囲(中心近傍範囲)同士でその差分(輝度増分)を計算するフレーム間評価値差分算出部(増分算出部132)を持つ。
【0164】
以上説明した移動目標検出装置100は、算出された投票範囲(中心近傍範囲)内のフレーム間評価値差分値(輝度増分)の最大値画素(評価増加画素)と最小値画素(評価減少画素)を探索するフレーム間評価値差分最大値画素探索部(増加選択部133)とフレーム間評価値差分最小値画素探索部(減少選択部135)を持つ。
【0165】
以上説明した移動目標検出装置100は、探索されたフレーム間評価値差分最大値画素(評価増加画素)と、フレーム間評価値差分最小値画素(評価減少画素)に対し、フレーム間評価値差分最大値画素(評価増加画素)にはプラス票を1票入力し、フレーム間評価値差分最小値画素(評価減少画素)にはマイナス票を1票入力するフレーム間評価値差分最大値画素正票投票部(増加得票数算出部134)とフレーム間評価値差分最小値画素負票投票部(減少得票数算出部136)を持つ。
【0166】
以上説明した移動目標検出装置100は、算出されたフレーム間評価値差分最大値画素正票数(増加得票数)と、フレーム間評価値差分最小値画素負票数(減少得票数)のそれぞれの得票数を、その画素が得票し得る最大得票数に対する得票率に変換するフレーム間評価値差分正負投票画素得票率変換部(得票率算出部143)を持つ。
【0167】
以上説明した移動目標検出装置100は、フレーム間評価値差分正負投票画素得票率(得票率)を算出する際に使用される、フレーム内の各画素の最大得票数を算出するフレーム間評価値差分正負投票画素最大得票数算出部(最大得票数算出部141)を持つ。
【0168】
以上説明した移動目標検出装置100は、算出されたフレーム間評価値差分正負投票画素得票率(得票率)に対し、任意の得票率(移動先閾値、移動元閾値)をもって閾値処理を行い、得票率の高い画素(移動元候補画素、移動先候補画素)を抽出するフレーム間評価値差分正負投票画素得票率閾値処理部(移動元候補抽出部151、移動先候補抽出部152)を持つ。
【0169】
以上説明した移動目標検出装置100は、フレーム間評価値差分正負投票画素得票率閾値処理後に抽出されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)をペアで探索する際に、ペアであるとみなす最大許容離隔距離(判定距離、抽出画素距離)を設定する抽出画素距離設定部(パラメータ入力部121、判定距離記憶部125)を持つ。
【0170】
以上説明した移動目標検出装置100は、目標の速度や入力画像のフレーム間隔によって、抽出画素距離(判定距離)を任意に変更することができる。
【0171】
以上説明した移動目標検出装置100は、抽出画素距離(候補近傍範囲)を注目画素(移動先候補画素)の周辺(上下左右全方向)に設定する。
これにより、目標のあらゆる動きに対応することが可能となる。
【0172】
以上説明した移動目標検出装置100は、フレーム間評価値差分正負投票画素得票率閾値処理後に抽出されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)を、設定した抽出画素距離(判定距離)を用いてプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)をペアで探索する抽出画素距離内正負対画素探索部(目標抽出部153)を持つ。
【0173】
以上説明した移動目標検出装置100は、抽出画素距離内正負対画素探索部(目標抽出部153)によって探索されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)のペアのうち、プラス値画素(移動先候補画素)を抽出し、移動目標画素(目標画素)であるとする移動目標画素抽出部(目標抽出部153)を持つ。
【0174】
以上説明した移動目標検出装置100によれば、背景に雲が存在したりするなど、背景領域が所定の均一さを持たない場合でも、目標を検出することができる。
また、背景の輝度の頻度分布と目標の輝度の頻度分布が一部で重なるような、目標の輝度レベルが背景の輝度レベルに比べて十分に大きくない場合であっても、目標を検出し損なったり、背景を誤検出したりすることがない。
更に、背景の均一さを評価するための基準値を決定する必要がなく、目標を検出するための基準値を決定する際に、背景の状態や目標と背景の輝度差などの先見的な知識を必要としない。
また、点滅欠陥画素や固定欠陥画素といった欠陥画素による高輝度なノイズがある場合、これらのノイズを除去することができる。
また、画像内でピーク画素とならない程度の、輝度レベルが背景の輝度レベルと比較しても十分に低いような目標であっても、検出することができる。
更に、入力される画像内での目標を占める画素が1画素程度の微小目標であり、目標の輝度の頻度分布が背景の輝度の頻度分布に埋もれてしまう場合であっても、目標を検出することができる。
【0175】
欠陥画素には、定常的に同じ異常輝度を出力する固定欠陥画素と、非定常的に異常輝度を出力する点滅欠陥画素とがある。点滅欠陥画素は、あるときは正常な輝度のように動作する一方、他のあるときは異常輝度を出力する等、非定常的な振る舞いをし、その輝度変動には周期性や規則性がほぼない。
以上説明した移動目標検出装置100によれば、点滅欠陥画素を目標画素と誤検出することがないので、出力画像を人間が目視確認することによって点滅欠陥画素の位置をおおよそ特定し、除去するといった作業が必要ない。
【0176】
以上説明した移動目標検出装置100によれば、移動目標なしとの結果が導かれた場合は、前時刻に検出された目標を表示することで、目標が停止しているとの表示が可能となる。
【0177】
以上説明した移動目標検出装置100によれば、入力画像の背景領域の種類に左右されず、どのような背景画像でも対応でき、また、目標領域が1画素程度の極めて小さい目標であっても検出することが可能である。更に、入力画像内に目標と同時に欠陥画素が入力されるような状況下でも、欠陥画素を目標と誤認識することなく、移動目標のみを検出することが可能である。
【0178】
実施の形態2.
実施の形態2について、図15〜図16を用いて説明する。
なお、実施の形態1で説明した移動目標検出装置100と共通する部分については、同一の符号を付し、説明を省略する。
【0179】
この実施の形態では、移動目標検出装置100が、目標抽出部153や近接目標抽出部163が抽出した目標画素をそのまま出力するのではなく、過去に抽出した目標画素と、今回抽出した目標画素とを比較して、目標画素の信頼性を評価し、評価した結果に基づいて抽出した目標画素を出力する。
【0180】
目標記憶部172は、磁気ディスク装置920を用いて、目標画素データに加え、記憶した各目標画素データについて、その目標画素データが表わす目標画素の信頼度を表わすデータ(以下「信頼度データ」と呼ぶ。)を記憶する。信頼度とは、その目標画素に目標が写っている確からしさを表わす数値である。例えば、目標抽出部153や近接目標抽出部163は、目標画素の輝度増分や得票率に基づいて、その目標画素の信頼度を算出する。
【0181】
目標抽出部153や近接目標抽出部163が新たに抽出した目標画素データを記憶するのに先立ち、目標記憶部172は、CPU911を用いて、現在記憶している古い目標画素データが表わす各目標画素について、信頼度を下げる。例えば、目標記憶部172は、CPU911を用いて、記憶した信頼度データが表わす信頼度から所定の値を減算し、あるいは、信頼度に所定の値(0超1未満)を乗算することにより、信頼度を下げる。目標記憶部172は、CPU911を用いて、下げた信頼度を表わす信頼度データを生成し、磁気ディスク装置920を用いて、生成した信頼度データを記憶する。
【0182】
目標更新部171は、CPU911を用いて、目標記憶部172が記憶した古い目標画素データと、目標抽出部153や近接目標抽出部163が出力した新しい目標画素データとを入力する。目標更新部171は、CPU911を用いて、入力した古い目標画素データと新しい目標画素データとに基づいて、新しい目標画素データが表わす新しい目標画素とペアになっている移動元候補画素が、古い目標画素データが表わす古い目標画素と一致するか否かを判定する。
【0183】
移動元候補画素が古い目標画素と一致すると判定した場合、目標更新部171は、CPU911を用いて、その古い目標画素について目標記憶部172が記憶した信頼度データを入力し、入力した信頼度データが表わす古い目標画素の信頼度を上げる。例えば、目標更新部171は、CPU911を用いて、信頼度に所定の値を加算し、あるいは、信頼度に所定の値(1超)を乗算することにより、信頼度を上げる。目標更新部171は、上げた信頼度を、その古い目標画素と一致した移動元候補画素とペアになっている新しい目標画素の信頼度とし、CPU911を用いて、上げた信頼度を表わす信頼度データを生成する。
また、目標更新部171は、CPU911を用いて、その古い目標画素を表わす目標画素データと、その古い目標画素の信頼度を表わす信頼度データとを、目標記憶部172から削除する。
【0184】
移動元候補画素が古い目標画素と一致しないと判定した場合、目標更新部171は、CPU911を用いて、新しい目標画素の信頼度を算出する。例えば、目標更新部171は、所定の初期値を、新しい目標画素の信頼度とする。目標更新部171は、CPU911を用いて、算出した信頼度を表わす信頼度データを生成する。
【0185】
移動元候補画素が古い目標画素と一致すると判定したか否かにかかわらず、目標更新部171は、CPU911を用いて、入力した新しい目標画素データと、生成した信頼度データとを出力する。
目標記憶部172は、CPU911を用いて、目標更新部171が出力した目標画素データと信頼度データとを入力する。目標記憶部172は、磁気ディスク装置920を用いて、既に記憶している古い目標画素データと信頼度データとに加えて、入力した新しい目標画素データと信頼度データとを記憶する。
【0186】
更に、目標記憶部172は、CPU911を用いて、記憶した信頼度データが表わす信頼度と、所定の閾値(以下「削除閾値」と呼ぶ。)とを比較する。目標記憶部172は、CPU911を用いて、信頼度が削除閾値よりも下がった目標画素について、その目標画素を表わす目標画素データと、その目標画素の信頼度を表わす信頼度データとを削除する。
【0187】
目標の移動により目標が写っている画素が変化しなければ、目標抽出部153(及び近接目標抽出部163)は目標を検出しない。そこで、目標抽出部153(及び近接目標抽出部163)が抽出した目標画素のなかに、目標記憶部172が記憶した古い目標画素に対応するものがなければ、その目標が写っている目標画素が変化しなかったものとして、目標記憶部172は、古い目標画素データを保持し続ける。その代わり、目標記憶部172は、古い目標画素の信頼度を少しずつ下げていき、削除閾値よりも信頼度が下がった場合には、その目標を見失ったものとして、目標画素データを削除する。
【0188】
なお、新たに検出した目標については、誤検出である可能性があるため、目標更新部171は、CPU911を用いて、移動元候補画素が古い目標画素と一致しないと判定した目標画素について、削除閾値と等しい値もしくは削除閾値を少しだけ上回る値を、その目標画素の信頼度とする構成としてもよい。削除閾値よりも高い値をその目標画素の信頼度とする場合、目標更新部171は、CPU911を用いて、目標抽出部153(または近接目標抽出部163)が算出した信頼度に基づいて、削除閾値よりどの程度高い値をその目標画素の信頼度とするかを決定する構成としてもよい。
これにより、次の検出時にその目標画素に連続する目標画素が検出されなれば、目標記憶部172がその目標画素の信頼度を下げ、信頼度が削除閾値を下回るので、目標更新部171がその目標画素を表わす目標画素データを削除する。したがって、誤検出された目標をいつまでも保持せず、すぐに削除することができる。
【0189】
また、画像のノイズレベルが高いなど、目標が写っている画素が変化しても、目標抽出部153(または近接目標抽出部163)が目標画素を抽出しない可能性がある場合には、古い目標画素データをそのまま残すのではなく、目標更新部171が、CPU911を用いて、過去の画像における目標画素の動きから、今回の画像内で目標が写っている画素を推定し、目標記憶部172が、磁気ディスク装置920を用いて、目標更新部171が推定した画素を目標画素とする目標画素データを記憶する構成としてもよい。
【0190】
目標出力部173は、CPU911を用いて、目標記憶部172が記憶した目標画素データを入力する。目標出力部173は、通信装置915を用いて、入力した目標画素データを出力する。
【0191】
なお、目標出力部173は、CPU911を用いて、目標記憶部172が記憶した信頼度データを入力し、入力した信頼度データに基づいて、入力した目標画素データが表わす目標画素についての信頼度と、所定の閾値(以下「出力閾値」と呼ぶ。)とを比較し、信頼度が出力閾値より低い目標画素については、目標画素データを出力せず、信頼度が出力閾値以上である目標画素についてのみ、目標画素データを出力する構成としてもよい。当然のことながら、出力閾値は、削除閾値以上の値に設定する。
これにより、信頼度が低く、誤検出であってすぐに削除されてしまう可能性が高い目標については、目標出力部173が目標画素データを出力せず、何回か連続して検出されるなどして信頼度が高くなった目標についてのみ、目標出力部173が目標画素データを出力するので、誤検出の目標を除去することができる。
【0192】
図15は、この実施の形態における移動目標検出装置100が、検出した目標画素を出力する目標出力処理S580の流れの一例を示すフローチャート図である。
【0193】
信頼度繰り返し工程S581において、目標記憶部172は、CPU911を用いて、記憶した目標画素データに基づいて、すべての古い目標画素のなかから、目標画素を一つずつ選択する。目標記憶部172は、選択した目標画素について、信頼度更新工程S582から目標削除工程S583までの処理をする。これを、すべての古い目標画素について繰り返す。
【0194】
信頼度更新工程S582において、目標記憶部172は、CPU911を用いて、記憶した目標画素データに基づいて、信頼度繰り返し工程S581で選択した目標画素についての信頼度を一定の割合で低下させる。目標記憶部172は、磁気ディスク装置920を用いて、低下させた信頼度を表わす信頼度データを含む目標画素データを記憶する。
【0195】
信頼度繰り返し判定工程S583において、目標記憶部172は、CPU911を用いて、すべての古い目標画素についての処理が終わったか否かを判定する。
まだ処理していない古い目標画素があると判定した場合、目標記憶部172は、CPU911を用いて、信頼度繰り返し工程S581に戻り、次の古い目標画素を選択する。
すべての古い目標画素についての処理が終わったと判定した場合、目標記憶部172は、CPU911を用いて、更新繰り返し工程S584へ進む。
【0196】
更新繰り返し工程S584において、目標更新部171は、CPU911を用いて、目標判定工程S566で目標抽出部153が記憶した目標画素データと、近接目標判定工程S577で近接目標抽出部163が記憶した目標画素データとに基づいて、目標抽出部153または近接目標抽出部163が抽出したすべての目標画素のなかから、目標画素を一つずつ選択する。目標更新部171は、選択した目標画素について、連続判定工程S585から目標更新工程S588までの処理をする。これを、すべての目標画素について繰り返す。
【0197】
連続判定工程S585において、目標更新部171は、CPU911を用いて、目標記憶部172が記憶した古い目標画素データに基づいて、古い目標画素のなかに、更新繰り返し工程S584で選択した目標画素とペアの移動元候補画素と一致する画素があるか判定する。
古い目標画素のなかに、選択した目標画素とペアの移動元候補画素と一致する画素があると判定した場合、目標更新部171は、CPU911を用いて、旧画素削除工程S586へ進む。
古い目標画素のなかに、選択した目標画素とペアの移動元候補画素と一致する画素がないと判定した場合、目標更新部171は、CPU911を用いて、信頼度算出工程S587へ進む。
【0198】
旧画素削除工程S586において、目標更新部171は、CPU911を用いて、更新繰り返し工程S584で選択した目標画素とペアの移動元候補画素と一致すると連続判定工程S585で判定した古い目標画素を表わす目標画素データを、目標記憶部172から削除する。
【0199】
信頼度算出工程S587において、目標更新部171は、CPU911を用いて、選択した目標画素について、信頼度を算出する。
【0200】
目標更新工程S588において、目標記憶部172は、磁気ディスク装置920を用いて、更新繰り返し工程S584で目標更新部171が選択した目標画素を表わす目標画素データと、信頼度算出工程S587で目標更新部171が算出した信頼度を表わす信頼度データとを記憶する。
【0201】
更新繰り返し判定工程S589において、目標更新部171は、CPU911を用いて、すべての目標画素についての処理が終わったか否かを判定する。
まだ処理していない目標画素があると判定した場合、目標更新部171は、CPU911を用いて、更新繰り返し工程S584に戻り、次の目標画素を選択する。
すべての目標画素についての処理が終わったと判定した場合、出力繰り返し工程S591へ進む。
【0202】
出力繰り返し工程S590において、目標記憶部172は、CPU911を用いて、記憶した目標画素データに基づいて、すべての目標画素のなかから、目標画素を一つずつ選択する。目標記憶部172は、選択した目標画素について、削除判定工程S591から目標出力工程S593までの処理をする。これを、すべての目標画素について繰り返す。
【0203】
削除判定工程S591において、目標記憶部172は、CPU911を用いて、出力繰り返し工程S590で選択した目標画素の信頼度と、削除閾値及び出力閾値(≧削除閾値)とを比較する。
選択した目標画素の信頼度が削除閾値未満であると判定した場合、目標記憶部172は、CPU911を用いて、目標削除工程S592へ進む。
選択した目標画素の信頼度が出力閾値以上であると判定した場合、目標記憶部172は、CPU911を用いて、目標出力工程S593へ進む。
【0204】
目標削除工程S592において、目標記憶部172は、CPU911を用いて、記憶した目標画素データのうちから、出力繰り返し工程S590で選択した目標画素についての目標画素データを削除する。
その後、出力繰り返し判定工程S594へ進む。
【0205】
目標出力工程S593において、目標出力部173は、通信装置915を用いて、出力繰り返し工程S590で目標記憶部172が選択した目標画素を表わす目標画素データを出力する。
【0206】
出力繰り返し判定工程S594において、目標記憶部172は、CPU911を用いて、すべての目標画素についての処理が終わったか否かを判定する。
まだ処理していない目標画素があると判定した場合、目標記憶部172は、CPU911を用いて、出力繰り返し工程S590に戻り、次の目標画素を一つ選択する。
すべての目標画素についての処理が終わったと判定した場合、目標出力処理を終了する。
【0207】
次に、具体例を用いて、移動目標検出装置100の動作を説明する。
【0208】
図16は、この実施の形態における移動目標検出装置100が抽出する目標画素の一例を示す図である。
【0209】
目標記憶部172は、磁気ディスク装置920を用いて、前回の抽出結果として、三つの目標画素481,482,483を表わす目標画素データを記憶している。
また、目標記憶部172は、磁気ディスク装置920を用いて、目標画素481の信頼度「32」、目標画素482の信頼度「67」、目標画素483の信頼度「34」をそれぞれ表わす信頼度データを記憶している。なお、削除閾値及び出力閾値は「30」であるものとする。
【0210】
まず、目標記憶部172は、CPU911を用いて、記憶した目標画素データが表わす目標画素の信頼度を下げる。例えば、目標記憶部172は、一回につき信頼度を「5」ずつ下げる。
この例において、目標記憶部172は、目標画素481の信頼度を「27」、目標画素482の信頼度を「62」、目標画素483の信頼度を「29」とする。
【0211】
目標更新部171は、CPU911を用いて、目標記憶部172が記憶した前回の目標画素と、目標抽出部153や近接目標抽出部163が抽出した今回の目標画素とに基づいて、前回の目標画素のうち、今回の目標画素とペアとなる移動元候補画素(あるいは近接移動元候補画素)と一致する目標画素を削除し、一致しない目標画素を残す。この例において、目標更新部171は、前回の目標画素481が、今回の目標画素471とペアとなる移動元候補画素451と一致するので、前回の目標画素481を表わす目標画素データを目標記憶部172から削除する。また、目標更新部171は、前回の目標画素482,483が、今回の目標画素471とペアとなる移動元候補画素451とも、今回の目標画素472とペアとなる移動元候補画素454とも一致しないので、前回の目標画素482,483を表わす目標画素データを残す。
【0212】
目標更新部171は、CPU911を用いて、目標抽出部153及び近接目標抽出部163が抽出した今回の目標画素それぞれについて、信頼度を算出する。
目標更新部171は、CPU911を用いて、今回の目標画素のうち、ペアとなる移動元候補画素(あるいは近接移動元候補素)と一致する古い目標画素があった目標画素については、古い目標画素の信頼度を引き継いで、更に上乗せした値を信頼度とする。例えば、目標更新部171は、古い目標画素の信頼度に「7」を加えて、新しい信頼度とする。
また、目標更新部171は、CPU911を用いて、今回の目標画素のうち、ペアとなる移動元候補画素(あるいは近接移動元候補素)と一致する古い目標画素がなかった目標画素については、例えば、削除閾値以上の所定の初期値「32」を、信頼度とする。
この例において、目標更新部171は、目標画素471については、古い目標画素481の信頼度「32」を引き継いで、信頼度を「39」とし、目標画素472については、初期値「32」を信頼度とする。
目標記憶部172は、磁気ディスク装置920を用いて、目標更新部171が削除しないで残した目標画素を表わす目標画素データに加えて、今回の抽出結果である目標画素を表わす目標画素データを記憶する。
この例において、目標記憶部172は、目標更新部171が残した二つの目標画素482,483と、今回の目標画素471,472との合計四つの目標画素471,472,482,484を表わす目標画素データを記憶する。
【0213】
最後に、目標記憶部172は、CPU911を用いて、記憶した目標画素データのうち、信頼度が削除閾値より低い目標画素を表わす目標画素データを削除する。
この例において、残っている四つの目標画素のうち、目標画素471の信頼度は「39」、目標画素472の信頼度は「32」、目標画素482の信頼度は「62」であるから、削除閾値「30」より大きく、目標記憶部172は、三つの目標画素471,472,482を表わす目標画素データを削除せずに残す。
これに対し、目標画素483の信頼度は「29」であるから、目標記憶部172は、目標画素483を表わす目標画素データを削除する。
【0214】
この例では、削除閾値と出力閾値とが同じであるから、以上のようにして抽出された目標画素を表わす目標画素データを、目標出力部173がすべて出力する。
【0215】
出力閾値が削除閾値より大きい場合、目標出力部173は、目標記憶部172が記憶した目標画素データのうち、信頼度が出力閾値以上であるものだけを出力する。
この例において、出力閾値が「35」だとすると、目標出力部173は、抽出された三つの目標画素471,472,482のうち、信頼度が出力閾値より大きい二つの目標画素471,482を表わす目標画素データを出力する。
【0216】
この実施の形態における移動目標検出装置100は、更に、目標更新部171を有する。
上記増分算出部132は、上記処理装置(CPU911)を用いて、上記画像入力部111が画像を入力した場合に、上記画像入力部111が入力し上記画像記憶部112が記憶した画像データのうち最新の画像データを上記第二の画像データとし、上記画像入力部111が入力し上記画像記憶部112が記憶した画像データのうち二番目に新しい画像データを上記第一の画像データとして、上記複数の輝度増分を算出する。
上記目標更新部171は、上記処理装置(CPU911)を用いて、上記目標抽出部153が前回抽出した目標画素のうちから、上記目標抽出部153が今回抽出した目標画素とペアとなる移動元候補画素のなかに一致する画素がない目標画素を抽出する。
【0217】
この実施の形態における移動目標検出装置100によれば、前回抽出した目標画素のうち、今回抽出した目標画素とペアとなる移動元候補画素のなかに一致する画素がない画素を、目標画素として抽出するので、目標の移動速度が遅く、目標が写っている画素が移動しない場合であっても、目標画素を検出することができるという効果を奏する。
【0218】
以上説明した移動目標検出装置100によれば、入力される画像のフレーム間隔が短い場合や、目標の速度が遅く、フレーム間で目標が移動しない場合に、前時刻に検出された目標を代用して表示するので、目標が停止しているとの表示が可能となる。
【0219】
実施の形態3.
実施の形態3について、図17〜図21を用いて説明する。
【0220】
図17は、この実施の形態における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図である。
なお、実施の形態1または実施の形態2で説明した移動目標検出装置100と共通する部分については、同一の符号を付し、ここでは説明を省略する。
【0221】
移動目標検出装置100は、パラメータ入力部121に代えて、パラメータ算出部113を有する。また、移動目標検出装置100は、増分算出部132に代えて、評価値算出部144、評価値記憶部145、評価値差分算出部146を有する。更に、移動目標検出装置100は、増加得票数算出部134、減少得票数算出部136を有さない。
【0222】
パラメータ算出部113は、近傍距離などのパラメータをパラメータ入力部121が入力する代わりに、CPU911を用いて、画像入力部111が入力する画像データが表わす画像のサイズなどから、近傍距離などのパラメータを算出する。パラメータ算出部113は、CPU911を用いて、算出したパラメータを表わすデータを出力する。
近傍距離記憶部122、移動元閾値記憶部123、移動先閾値記憶部124、判定距離記憶部125、近接移動元閾値記憶部126、近接移動先閾値記憶部127、近接判定距離記憶部128は、CPU911を用いて、パラメータ算出部113が算出したそれぞれのパラメータを表わすデータを入力し、磁気ディスク装置920を用いて、記憶する。
なお、実施の形態1と同様、パラメータ入力部121がこれらのパラメータを入力する構成としてもよい。
【0223】
評価値算出部144(第一評価値算出部、第二評価値算出部)は、CPU911を用いて、画像記憶部112が記憶した画像データのなかから、最新の画像データを入力する。評価値算出部144は、CPU911を用いて、近傍選択部138が出力した近傍画素データを入力する。評価値算出部144は、CPU911を用いて、入力した画像データと近傍画素データとに基づいて、中心選択部131が選択した複数の中心画素の各中心画素について近傍選択部138が選択した複数の中心近傍画素の各中心近傍画素について、中心近傍画素の輝度から中心画素の輝度を差し引いた差(以下「輝度評価値」と呼ぶ。)をそれぞれ算出する。評価値算出部144は、中心画素と、その中心画素を中心とする中心近傍範囲内の画素とのペア一つにつき、一つの輝度評価値を算出する。一つの中心画素に対して近傍選択部138が選択する中心近傍画素がp個あるとすると、評価値算出部144は、一つの中心画素について、p個の中心近傍画素と一対一に対応するp個の輝度評価値を算出する。中心選択部131が選択した中心画素が全部でq個あるとすると、評価値算出部144は、q個の中心画素それぞれについてp個の輝度評価値を算出するので、増分算出部132は、全部でp×q個の輝度評価値を算出する。評価値算出部144は、CPU911を用いて、算出した複数の輝度評価値を表わすデータ(以下「輝度評価値データ」と呼ぶ。)を出力する。
【0224】
評価値記憶部145は、CPU911を用いて、評価値算出部144が出力した輝度評価値データを入力する。評価値記憶部145は、磁気ディスク装置920を用いて、入力した輝度評価値データを記憶する。なお、評価値記憶部145は、磁気ディスク装置920を用いて、少なくとも一つ前の画像データについての輝度評価値データを保持する。例えば、評価値記憶部145は、一つ前の画像データについての輝度評価値データと、最新の画像データについての輝度評価値データとを記憶し、評価値算出部144が次の画像データについての輝度評価値データを出力した場合、一つ前の画像データについての輝度評価値データに上書きして、次の画像データについての輝度評価値データを記憶する。あるいは、評価値記憶部145は、一つ前の画像データについての輝度評価値データだけを記憶し、評価値算出部144が最新の画像データについての輝度評価値データを出力した場合、次に説明する評価値差分算出部146による処理が終了するのを待ち、その後、一つ前の画像データについての輝度評価値データに上書きして、最新の画像データについての輝度評価値データを記憶してもよい。
【0225】
評価値差分算出部146は、CPU911を用いて、評価値記憶部145が記憶した一つ前の画像データについての輝度評価値データと、評価値算出部144が算出した最新の画像データについての輝度評価値データとに基づいて、中心選択部131が選択した複数の中心画素の各中心画素について近傍選択部138が選択した複数の中心近傍画素各中心近傍画素について、最新の画像(第二の画像)における輝度評価値(第二輝度評価値)から、一つ前の画像(第一の画像)における輝度評価値(第一輝度評価値)を差し引いた差を算出して、評価値差分とする。評価値差分算出部146が算出する評価値差分の総数は、評価値算出部144が算出する輝度評価値の総数と同じくp×q個である。
評価値差分算出部146は、CPU911を用いて、算出した複数の評価値差分を表わすデータ(以下「評価値差分データ」と呼ぶ。)を出力する。
【0226】
増加選択部133は、CPU911を用いて、近傍選択部138が出力した近傍画素データと、評価値差分算出部146が出力した評価値差分データとを入力する。増加選択部133は、CPU911を用いて、入力した近傍画素データと評価値差分データとに基づいて、中心選択部131が選択した複数の中心画素の各中心画素について、近傍選択部138が選択した複数の中心近傍画素について評価値差分算出部146が算出した複数の評価値差分を比較し、中心近傍画素のなかで最も評価値差分が大きい中心近傍画素を求め、評価増加画素とする。増加選択部133は、一つの中心画素について、評価値差分算出部146が算出したp個の評価値差分を比較し、一つの評価増加画素を求める。増加選択部133は、q個の中心画素と一対一に対応するq個の評価増加画素を求める。増加選択部133は、CPU911を用いて、中心選択部131が選択した複数の中心画素の各中心画素について求めた複数の評価増加画素を表わす評価増加画素データを出力する。
【0227】
同様に、減少選択部135は、CPU911を用いて、近傍選択部138が出力した近傍画素データと、評価値差分算出部146が出力した評価値差分データとを入力し、入力した近傍画素データと評価値差分データとに基づいて、中心選択部131が選択したq個の中心画素と一対一に対応するq個の評価減少画素を求める。減少選択部135は、CPU911を用いて、中心選択部131が選択した複数の中心画素の各中心画素について求めた複数の評価減少画素を表わす評価減少画素データを出力する。
【0228】
得票数集計部137は、CPU911を用いて、増加選択部133が出力した評価増加画素データと、減少選択部135が出力した評価減少画素データとを入力する。得票数集計部137は、CPU911を用いて、入力した評価増加画素データと評価減少画素データとに基づいて、画像を構成するすべての画素について、評価増加画素として選択された回数から、評価減少画素として選択された回数を差し引いた差を算出し、集計得票数とする。
なお、実施の形態1と同様、増加得票数算出部134が増加得票数を算出し、減少得票数算出部136が減少得票数を算出し、算出した増加得票数及び減少得票数に基づいて得票数集計部137が集計得票数を算出してもよい。
【0229】
図18は、この実施の形態における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(前半)である。
なお、実施の形態1で説明した得票率算出処理S520と共通する工程については、同一の符号を付し、ここでは説明を省略する。
【0230】
画像入力工程S522が終わったのち、得票数初期化工程S541’へ進む。
【0231】
得票数初期化工程S541’において、得票数集計部137は、CPU911を用いて、二次元画像に含まれる各画素について、集計得票数を0に初期化し、磁気ディスク装置920を用いて、初期化した集計得票数を表わす集計得票数データを記憶する。
【0232】
得票数繰り返し工程S543において、評価値算出部144は、CPU911を用いて、中心画素選択工程S512で中心選択部131が記憶した中心画素データに基づいて、中心画素データが表わすすべての中心画素のなかから、中心画素を一つずつ選択する。評価値算出部144は、選択した中心画素について、近傍繰り返し工程S535〜得票数減算工程S547’の処理をする。これを、すべての中心画素について繰り返す。
【0233】
近傍繰り返し工程S535において、評価値算出部144は、CPU911を用いて、得票数繰り返し工程S543で選択した中心画素について近傍選択工程S515で近傍選択部138が選択したすべての中心近傍画素のなかから、中心近傍画素を一つずつ選択する。評価値算出部144は、選択した画素について、増分算出工程S533の処理をする。これを、すべての中心近傍画素について繰り返す。
【0234】
評価値算出工程S536において、評価値算出部144は、CPU911を用いて、画像入力工程S522で画像入力部111が入力した画像データに基づいて、近傍繰り返し工程S535で選択した中心近傍画素について、輝度評価値を算出する。評価値算出部144は、磁気ディスク装置920を用いて、算出した輝度評価値を表わす輝度評価値データを記憶する。
【0235】
評価値差分算出工程S537において、評価値差分算出部146は、CPU911を用いて、評価値算出工程S536で評価値算出部144が記憶した輝度評価値データと、一つ前の画像の同じ中心画素についての同じ中心近傍画素について評価値記憶工程S538で評価値記憶部145が記憶した輝度評価値データとを入力する。評価値差分算出部146は、入力した二つの輝度評価値データに基づいて、評価値差分を算出する。評価値差分算出部146は、磁気ディスク装置920を用いて、算出した評価値差分を表わす評価値差分データを記憶する。
【0236】
評価値記憶工程S538において、評価値記憶部145は、CPU911を用いて、評価値算出工程S536で評価値算出部144が記憶した評価値差分データを入力する。評価値記憶部145は、磁気ディスク装置920を用いて、入力した輝度評価値データをを記憶する。評価値記憶部145が記憶した輝度評価値データは、次の画像についての得票率算出処理S520において、評価値差分算出部146が評価値差分を算出するために利用される。
【0237】
近傍繰り返し判定工程S539において、評価値算出部144は、CPU911を用いて、得票数繰り返し工程S543で選択した中心画素を中心とするすべての中心近傍画素について、評価値算出工程S536〜評価値記憶工程S538の処理が終わったかを判定する。
まだ処理が終わっていない中心近傍画素があると判定した場合、評価値算出部144は、CPU911を用いて、近傍繰り返し工程S535に戻り、次の中心近傍画素を選択する。
すべての中心近傍画素についての処理が終わったと判定した場合、評価増加画素選択工程S544へ進む。
【0238】
図19は、この実施の形態における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(後半)である。
【0239】
評価増加画素選択工程S544において、増加選択部133は、CPU911を用いて、得票数繰り返し工程S543で評価値算出部144が選択した中心画素について、評価値差分算出工程S537で評価値差分算出部146が記憶した評価値差分データをすべて入力する。増加選択部133は、CPU911を用いて、入力した評価値差分データに基づいて、評価増加画素を選択する。増加選択部133は、磁気ディスク装置920を用いて、選択した評価増加画素を表わす評価増加画素データを記憶する。
【0240】
得票数加算工程S545’において、得票数集計部137は、CPU911を用いて、評価増加画素選択工程S544で増加選択部133が記憶した評価増加画素データを入力する。得票数集計部137は、CPU911を用いて、入力した評価増加画素データに基づいて、記憶した集計得票数データのうちから、評価増加画素選択工程S544で増加選択部133が選択した評価増加画素についての集計得票数データを取得する。得票数集計部137は、CPU911を用いて、取得した集計得票数データに基づいて、評価増加画素選択工程S544で増加選択部133が選択した評価増加画素についての集計得票数に1を加算する。得票数集計部137は、磁気ディスク装置920を用いて、加算した集計得票数を表わす集計得票数データを、評価増加画素選択工程S544で増加選択部133が選択した評価増加画素についての集計得票数データとして記憶する。
【0241】
評価減少画素選択工程S546において、減少選択部135は、CPU911を用いて、得票数繰り返し工程S543で評価値算出部144が選択した中心画素について、評価値差分算出工程S537で評価値差分算出部146が記憶した評価値差分データをすべて入力する。減少選択部135は、CPU911を用いて、入力した評価値差分データに基づいて、評価減少画素を選択する。減少選択部135は、磁気ディスク装置920を用いて、選択した評価減少画素を表わす評価減少画素データを記憶する。
【0242】
得票数減算工程S547’において、得票数集計部137は、CPU911を用いて、評価減少画素選択工程S546で減少選択部135が記憶した評価減少画素データを入力する。得票数集計部137は、CPU911を用いて、入力した評価減少画素データに基づいて、記憶した集計得票数データのうちから、評価減少画素選択工程S546で減少選択部135が選択した評価減少画素についての集計得票数データを取得する。得票数集計部137は、CPU911を用いて、取得した集計得票数データに基づいて、評価減少画素選択工程S546で減少選択部135が選択した評価減少画素についての集計得票数から1を減算する。得票数集計部137は、磁気ディスク装置920を用いて、減算した集計得票数を表わす集計得票数データを、評価減少画素選択工程S546で減少選択部135が選択した評価減少画素についての集計得票数データとして記憶する。
【0243】
得票数繰り返し判定工程S548において、評価値算出部144は、CPU911を用いて、すべての中心画素についての処理が終わったか否かを判定する。
まだ処理していない中心画素があると判定した場合、評価値算出部144は、CPU911を用いて、得票数繰り返し工程S543に戻り、次の中心画素を選択する。
すべての中心画素についての処理が終わったと判定した場合、得票率繰り返し工程S551へ進む。
【0244】
得票率繰り返し工程S551以降の工程は、実施の形態1で説明したものと同様なので、ここでは説明を省略する。
【0245】
図20は、この実施の形態における評価値算出部144が算出する輝度評価値425の一例を示す図である。
【0246】
画像入力部111は、通信装置915を用いて、画像データ411を入力する。この例において、画像データ411は、二次元画像300を構成する縦9行横11列合計99個の画素に対応する99個の輝度データから構成されている。画像記憶部112は、磁気ディスク装置920を用いて、画像入力部111が入力した画像データ411を記憶する。
二次元画像300を構成する99個の画素のうち、中心選択部131は、35個の画素を中心画素として選択する。また、近傍選択部138は、中心選択部131が選択した中心画素一つ一つに対して、それぞれ25個の中心近傍画素を選択する。
【0247】
評価値算出部144は、CPU911を用いて、画像記憶部112が記憶した最新の画像データ411に基づいて、中心選択部131が選択した35個の中心画素それぞれについて近傍選択部138が選択した25個の中心近傍画素にそれぞれ対応する25×35=875個の輝度評価値425を算出する。
評価値記憶部145は、磁気ディスク装置920を用いて、評価値算出部144が算出した輝度評価値425を表わす輝度評価値データを記憶する。
【0248】
図21は、この実施の形態における評価値差分算出部146が算出する評価値差分427の一例を示す図である。
【0249】
画像入力部111が次の画像データを入力し、入力した画像データを画像記憶部112が記憶する。評価値算出部144は、CPU911を用いて、画像記憶部112が記憶した最新の画像データに基づいて、875個の輝度評価値426を算出する。
評価値差分算出部146は、CPU911を用いて、評価値記憶部145が記憶した輝度評価値データが表わす一つ前の画像についての輝度評価値425と、評価値算出部144が算出した最新の画像についての輝度評価値426とに基づいて、最新の画像についての輝度評価値426から一つ前の画像についての輝度評価値425を差し引いた差を算出して、輝度評価値差分427とする。評価値差分算出部146は、CPU911を用いて、875個の輝度評価値差分427を算出する。
【0250】
増加選択部133は、CPU911を用いて、評価値差分算出部146が算出した輝度評価値差分427に基づいて、中心選択部131が選択した35個の中心画素それぞれについて、25個の中心近傍画素のなかから、輝度評価値差分が最も大きい中心近傍画素を選択して、評価増加画素とする。増加選択部133は、CPU911を用いて、35個の評価増加画素を選択する。
減少選択部135は、CPU911を用いて、評価値差分算出部146が算出した輝度評価値差分427に基づいて、中心選択部131が選択した35個の中心画素それぞれについて、25個の中心近傍画素のなかから、輝度評価値差分が最も小さい中心近傍画素を選択して、評価減少画素とする。減少選択部135は、CPU911を用いて、35個の評価減少画素を選択する。
【0251】
このように、画素の輝度を直接比較するのではなく、中心近傍画素の輝度と中心画素の輝度との差分(輝度評価値)をとったのち、中心近傍画素の輝度と中心画素の輝度との差分の画像(フレーム)間の差分(評価値差分)に基づいて、評価増加画素及び評価減少画素を選択することにより、画像が全体的または部分的に明るくなったり、暗くなったりした場合であっても、目標画素の抽出ができる。
【0252】
この実施の形態における移動目標検出装置100は、更に、中心選択部131と、近傍選択部138と、第一評価値算出部(評価値算出部144)と、第二評価値算出部(評価値算出部144)と、評価値差分算出部146と、増加選択部133と、減少選択部135とを有する。
上記中心選択部131は、上記処理装置(CPU911)を用いて、上記二つの画像にともに含まれる複数の画素のうち少なくともいずれか二以上の画素を選択して、複数の中心画素とする。
上記近傍選択部138は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記中心画素の近傍に位置する複数の画素を選択して、複数の中心近傍画素とする。
上記第一評価値算出部(評価値算出部144)は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について上記近傍選択部138が選択した複数の中心近傍画素の各中心近傍画素について、上記第一の画像における上記中心近傍画素の輝度から、上記第一の画像における上記中心画素の輝度を差し引いた差をそれぞれ算出して、複数の第一輝度評価値(輝度評価値)とする。
上記第二評価値算出部(評価値算出部144)は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について上記近傍選択部138が選択した複数の中心近傍画素の各中心近傍画素について、上記第二の画像における上記中心近傍画素の輝度から、上記第二の画像における上記中心画素の輝度を差し引いた差をそれぞれ算出して、複数の第二輝度評価値(輝度評価値)とする。
上記評価値差分算出部146は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について上記近傍選択部138が選択した複数の中心近傍画素の各中心近傍画素について、上記第二評価値算出部(評価値算出部144)が算出した第二輝度評価値(最新の画像についての輝度評価値)から、上記第一評価値算出部(評価値算出部144)が算出した第一輝度評価値(一つ前の画像についての輝度評価値)を差し引いた差をそれぞれ算出して、複数の評価値差分とする。
上記増加選択部133は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記近傍選択部138が選択した複数の中心近傍画素のなかから、上記評価値差分算出部146が算出した評価値差分が最も大きい中心近傍画素をそれぞれ選択して、複数の評価増加画素とする。
上記減少選択部135は、上記処理装置(CPU911)を用いて、上記中心選択部131が選択した複数の中心画素の各中心画素について、上記近傍選択部138が選択した複数の中心近傍画素のなかから、上記評価値差分算出部146が算出した評価値差分が最も小さい中心近傍画素をそれぞれ選択して、複数の評価減少画素とする。
上記移動先候補抽出部152は、上記処理装置(CPU911)を用いて、上記増加選択部133が上記評価増加画素として選択した回数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出する。
上記移動元候補抽出部151は、上記処理装置(CPU911)を用いて、上記減少選択部135が上記評価減少画素として選択した回数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出する。
【0253】
この実施の形態における移動目標検出装置100によれば、中心近傍画素の輝度と中心画素の輝度との差が、画像間でどれだけ変化したかに基づいて、評価増加画素および評価減少画素を選択するので、画像の明るさが全体的あるいは部分的に変化した場合であっても、目標画素を抽出することができる。
【0254】
以上説明した移動目標検出装置100は、実施の形態1で説明した動作に加えて、更に、以下の動作をする。
【0255】
フレーム内評価値算出部(評価値算出部144)が、投票範囲確保可能画素抽出部(中心選択部131)によって抽出された、第1フレームの画像内に存在する全ての中心画素となり得る画素に対し、自画素の画素値と、自画素を中心画素とした時の投票範囲(中心近傍範囲)内の他の画素の画素値との差分(輝度評価値、第1フレーム評価値)を計算する。フレーム内評価値算出部(評価値算出部144)は、この差分計算を、中心画素対象領域(中心近傍範囲)について、左上から右下へ順次走査しながら行う。
次に、フレーム内評価値算出部(評価値算出部144)は、2枚目に入力される画像(第二の画像、第2フレーム)に対しても、第1フレーム(第一の画像)の時と同様にフレーム内評価値(輝度評価値、第2フレーム評価値)を算出する。
次に、フレーム間評価値差分算出部(評価値差分算出部146)が、第1フレーム評価値(第一の画像における輝度評価値)と、第2フレーム評価値(第二の画像における輝度評価値)を比較し、同一画素を中心画素に持つ投票範囲同士でその差分(輝度増分)を計算する。
【0256】
以上説明した移動目標検出装置100は、入力された画像に対し、投票範囲確保可能画素全ての投票範囲(中心近傍範囲)内の中心画素の画素値と、投票範囲(中心近傍範囲)内の中心画素以外の全ての画素の画素値との差分(輝度評価値)を計算し、この差分値を評価値として保持するフレーム内評価値算出部(評価値記憶部145)を持つ。
【0257】
以上説明した移動目標検出装置100は、フレーム内評価値算出部(評価値算出部144)が、1時刻前に入力された画像(第一の画像)と、現時刻に入力された画像(第二の画像)に対して輝度評価値を算出する。
【0258】
以上説明した移動目標検出装置100は、算出された1時刻前に入力された画像(第一の画像)のフレーム内評価値(輝度評価値、第1フレーム評価値)と、現時刻に入力された画像(第二の画像)のフレーム内評価値(輝度評価値、第2フレーム評価値)とを比較し、同一画素を中心画素に持つ投票範囲(中心近傍範囲)同士でその差分(輝度増分)を計算するフレーム間評価値差分算出部(評価値差分算出部146)を持つ。
【0259】
実施の形態4.
実施の形態4について、図22を用いて説明する。
【0260】
図22は、この実施の形態における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図である。
なお、実施の形態1乃至実施の形態3のいずれかで説明した移動目標検出装置100と共通する部分については、同一の符号を付し、ここでは説明を省略する。
【0261】
目標更新部171は、CPU911を用いて、目標抽出部153及び近接目標抽出部163が出力した目標画素データと、目標記憶部172が記憶した目標画素データとを入力する。目標更新部171は、CPU911を用いて、目標記憶部172が記憶した古い目標画素データに追加して、入力した目標画素データを目標記憶部172に記憶させる。
また、目標更新部171は、CPU911を用いて、入力した目標画素データが表わす目標画素とペアとなる移動元候補画素と一致する目標画素を表わす目標画素データを、目標記憶部172が記憶した古い目標画素データのなかから探す。移動元候補画素と一致する目標画素を表わす目標画素データを見つけた場合、目標更新部171は、CPU911を用いて、古い目標画素データに含まれる信頼度データが表わす信頼度を、新しい目標画素データに含まれる信頼度データが表わす信頼度に加算して、目標画素の信頼度を高くする。目標記憶部172は、磁気ディスク装置920を用いて、高くした信頼度を表わす信頼度データを含む目標画素データを記憶する。また、目標記憶部172は、磁気ディスク装置920を用いて、移動元候補画素と一致した古い目標画素を削除する。
【0262】
ある時点において、一つ前の画像に目標が写っていたと判定された画素(目標画素とペアとなる移動元候補画素)について、一つ前の時点において、その時点の最新の画像に目標が写っていると判定されていたということは、その判定が誤検出である可能性は低く、検出の信頼度が高いことを意味する。このため、目標更新部171は、目標画素の信頼度を高くする。
【0263】
更に、目標更新部171は、CPU911を用いて、目標画素の信頼度を高くした場合に、高くした信頼度を、所定の閾値と比較する。信頼度が所定の閾値より高い場合、目標更新部171は、CPU911を用いて、その目標画素に写っている目標が次回写る目標画素の位置を予測する。目標更新部171は、例えば、CPU911を用いて、新しい目標画素の位置と、古い目標画素(移動元候補画素)の位置との差を算出し、算出した差を、新しい目標画素の位置に加えることにより、次回の目標画素の位置を予測する。
目標更新部171は、CPU911を用いて、新しい目標画素の位置(以下「現在目標位置」と呼ぶ。)を表わすデータ(以下「現在目標データ」と呼ぶ。)と、予測した目標画素の位置(以下「予測目標位置」と呼ぶ。)を表わすデータ(以下「予測目標データ」と呼ぶ。)を出力する。
【0264】
移動元候補抽出部151及び近接移動元候補抽出部161は、CPU911を用いて目標更新部171が出力した現在目標データを入力する。
移動先候補抽出部152及び近接移動先候補抽出部162は、CPU911を用いて、目標更新部171が出力した予測目標データを入力する。
移動元候補抽出部151、移動先候補抽出部152、近接移動元候補抽出部161、近接移動先候補抽出部162は、入力した現在目標データあるいは予測目標データを、次回の処理、すなわち、現段階で最新の画像データを第一の画像データとし、画像入力部111が次に入力する更に新しい画像データを第二の画像データとする処理において、利用する。
【0265】
移動元候補抽出部151は、CPU911を用いて、入力した現在目標データに基づいて、現在目標データが表わす現在目標位置の画素について、移動元閾値記憶部123が記憶した移動先閾値よりも大きい(絶対値が小さい)所定の閾値を基準として、移動元候補画素であるか否かを判定する。
【0266】
同様に、近接移動元候補抽出部161は、CPU911を用いて、入力した現在目標データに基づいて、現在目標データが表わす現在目標位置の画素について、近接移動元閾値記憶部126が記憶した移動元閾値よりも大きい(絶対値が小さい)所定の閾値を基準として、近接移動元画素であるか否かを判定する。
【0267】
移動先候補抽出部152は、CPU911を用いて、入力した予測目標データに基づいて、予測目標データが表わす予測目標位置を中心とする所定の範囲内の画素について、移動先閾値記憶部124が記憶した移動先閾値よりも(絶対値が)小さい所定の閾値を基準として、移動先候補画素であるか否かを判定する。
【0268】
同様に、近接移動先候補抽出部162は、CPU911を用いて、入力した予測目標データに基づいて、予測目標データが表わす予測目標位置を中心とする所定の範囲内の画素について、近接移動先閾値記憶部127が記憶した近接移動先閾値よりも(絶対値が)小さい所定の閾値を基準として、近接移動先候補画素であるか否かを判定する。
【0269】
このように、閾値を調整することにより、過去の判定結果から信頼度が高いと判定された目標画素について、その目標画素に連続する目標画素を検出しやすくなる。これにより、目標を見失うことなく、追尾していくことが可能となる。
【0270】
以上説明した移動目標検出装置100は、抽出画素距離内正負対画素探索部(目標抽出部153)によって探索されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)のペアの並び方をフレーム間にて比較することにより、目標の移動方向を最小値画素方向とし、目標の現時刻での存在画素(目標画素)を最小値画素(移動元候補画素)とする。
これにより、目標の移動方向の認識が可能となる。
【0271】
以上説明した移動目標検出装置100は、抽出画素距離内正負対画素探索部(目標抽出部153)によって探索されたプラス値画素(移動先候補画素)とマイナス値画素(移動元候補画素)のペアにより、マイナス値画素(移動元候補画素)とプラス値画素(移動先候補画素)の並びにより、目標の移動方向を認識する。
【0272】
なお、上記説明した追尾方式のほか、目標更新部171は、CPU911を用いて、目標抽出部153及び近接目標抽出部163が抽出した目標画素と、その目標画素とペアとなる移動元候補画素とに基づいて、目標の移動方向・移動速度を検出し、既知の追尾方式により、目標画素を追尾することとしてもよい。
【図面の簡単な説明】
【0273】
【図1】実施の形態1における移動目標検出システム800の全体構成の一例を示すシステム構成図。
【図2】実施の形態1における移動目標検出装置100の外観の一例を示す図。
【図3】実施の形態1における移動目標検出装置100のハードウェア資源の一例を示す図。
【図4】実施の形態1における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図。
【図5】実施の形態1における移動目標検出装置100が、移動目標を検出する移動目標検出処理の流れの一例を示すフローチャート図。
【図6】実施の形態1における移動目標検出装置100が、移動目標検出処理の初期設定をする初期設定処理S510の流れの一例を示すフローチャート図。
【図7】実施の形態1における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(前半)。
【図8】実施の形態1における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理の流れの一例を示すフローチャート図(後半)。
【図9】実施の形態1における移動目標検出装置100が、目標画素を抽出する目標抽出処理S560の流れの一例を示すフローチャート図。
【図10】実施の形態1における移動目標検出装置100が、目標画素に近接した目標画素を抽出する近接目標抽出処理S570の流れの一例を示すフローチャート図。
【図11】実施の形態1における中心選択部131が選択する中心画素と、最大得票数算出部141が算出する最大得票数との一例を示す図。
【図12】実施の形態1における画像入力部111が入力する画像データ411,412と、増分算出部132が算出する輝度増分420との一例を示す図。
【図13】実施の形態1における増加得票数算出部134、減少得票数算出部136、得票数集計部137、得票率算出部143が算出する増加得票数431、減少得票数432、集計得票数433、得票率434の一例を示す図。
【図14】実施の形態1における目標抽出部153、近接目標抽出部163が抽出する目標画素の一例を示す図。
【図15】実施の形態2における移動目標検出装置100が、検出した目標画素を出力する目標出力処理S580の流れの一例を示すフローチャート図。
【図16】実施の形態2における移動目標検出装置100が抽出する目標画素の一例を示す図。
【図17】実施の形態3における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図。
【図18】実施の形態3における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(前半)。
【図19】実施の形態3における移動目標検出装置100が、各画素の得票率を算出する得票率算出処理S520の流れの一例を示すフローチャート図(後半)。
【図20】実施の形態3における評価値算出部144が算出する輝度評価値425の一例を示す図。
【図21】実施の形態3における評価値差分算出部146が算出する評価値差分427の一例を示す図。
【図22】実施の形態4における移動目標検出装置100の機能ブロックの構成の一例を示すブロック構成図。
【符号の説明】
【0274】
100 移動目標検出装置、111 画像入力部、112 画像記憶部、113 パラメータ算出部、121 パラメータ入力部、122 近傍距離記憶部、123 移動元閾値記憶部、124 移動先閾値記憶部、125 判定距離記憶部、126 近接移動元閾値記憶部、127 近接移動先閾値記憶部、128 近接判定距離記憶部、131 中心選択部、132 増分算出部、133 増加選択部、134 増加得票数算出部、135 減少選択部、136 減少得票数算出部、137 得票数集計部、138 近傍選択部、141 最大得票数算出部、142 最大得票数記憶部、143 得票率算出部、144 評価値算出部、145 評価値記憶部、146 評価値差分算出部、151 移動元候補抽出部、152 移動先候補抽出部、153 目標抽出部、161 近接移動元候補抽出部、162 近接移動先候補抽出部、163 近接目標抽出部、171 目標更新部、172 目標記憶部、173 目標出力部、300 二次元画像、310,311 中心画素、321〜323 中心近傍画素、330 最大得票数、401,402 画像、411,412 画像データ、420 輝度増分、425,426 輝度評価値、427 評価値差分、431 増加得票数、432 減少得票数、433 集計得票数、434 得票率、441〜443 移動先候補画素、444 近接移動先候補画素、451〜454 移動元候補画素、455〜457 近接移動元候補画素、461〜463 候補近傍範囲、471〜472,481〜483 目標画素、701 移動体、706 雲、711 目標画素、716 背景、721 強調表示、800 移動目標検出システム、810 センサ、820 検出結果表示装置、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、910 システムユニット、911 CPU、912 バス、913 ROM、914 RAM、915 通信装置、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、931 電話器、932 ファクシミリ機、940 インターネット、941 ゲートウェイ、942 LAN。

【特許請求の範囲】
【請求項1】
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、移動先候補抽出部と、移動元候補抽出部と、目標抽出部とを有し、
上記画像記憶部は、上記記憶装置を用いて、第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとを記憶し、
上記移動先候補抽出部は、上記処理装置を用いて、上記画像記憶部が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とし、
上記移動元候補抽出部は、上記処理装置を用いて、上記画像記憶部が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とし、
上記目標抽出部は、上記処理装置を用いて、上記移動先候補抽出部が抽出した移動先候補画素と、上記移動元候補抽出部が抽出した移動元候補画素とに基づいて、上記移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とすることを特徴とする移動目標検出装置。
【請求項2】
上記目標抽出部は、上記処理装置を用いて、上記移動先候補抽出部が抽出した移動先候補画素のうちから、上記移動先候補画素の近傍に位置する複数の候補近傍画素のなかに上記移動元候補抽出部が抽出した移動元候補画素が存在する移動先候補画素を抽出して、上記目標画素とすることを特徴とする請求項1に記載の移動目標検出装置。
【請求項3】
上記目標抽出部は、上記処理装置を用いて、上記移動先候補画素を中心とする矩形範囲内の複数の画素を上記複数の候補近傍画素として、上記目標画素を抽出することを特徴とする請求項2に記載の移動目標検出装置。
【請求項4】
上記目標抽出部は、上記処理装置を用いて、上記移動先候補画素からの距離が所定の画素数以内の複数の画素を上記複数の候補近傍画素として、上記目標画素を抽出することを特徴とする請求項2に記載の移動目標検出装置。
【請求項5】
上記移動目標検出装置は、更に、増分算出部と、中心選択部と、近傍選択部と、増加選択部と、減少選択部とを有し、
上記増分算出部は、上記処理装置を用いて、上記画像記憶部が記憶した二つの画像データが表わす二つの画像に基づいて、上記二つの画像にともに含まれる複数の画素の各画素について、上記第二の画像における輝度から上記第一の画像における輝度を差し引いた差をそれぞれ算出して、複数の輝度増分とし、
上記中心選択部は、上記処理装置を用いて、上記複数の画素のうち少なくともいずれか二以上の画素を選択して、複数の中心画素とし、
上記近傍選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記中心画素の近傍に位置する複数の画素を選択して、複数の中心近傍画素とし、
上記増加選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記近傍選択部が選択した複数の中心近傍画素のなかから、上記増分算出部が算出した輝度増分が最も大きい中心近傍画素をそれぞれ選択して、複数の評価増加画素とし、
上記減少選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記近傍選択部が選択した複数の中心近傍画素のなかから、上記増分算出部が算出した輝度増分が最も小さい中心近傍画素をそれぞれ選択して、複数の評価減少画素とし、
上記移動先候補抽出部は、上記処理装置を用いて、上記増加選択部が上記評価増加画素として選択した回数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出し、
上記移動元候補抽出部は、上記処理装置を用いて、上記減少選択部が上記評価減少画素として選択した回数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出することを特徴とする請求項1乃至請求項4のいずれかに記載の移動目標検出装置。
【請求項6】
上記移動目標検出装置は、更に、中心選択部と、近傍選択部と、第一評価値算出部と、第二評価値算出部と、評価値差分算出部と、増加選択部と、減少選択部とを有し、
上記中心選択部は、上記処理装置を用いて、上記二つの画像にともに含まれる複数の画素のうち少なくともいずれか二以上の画素を選択して、複数の中心画素とし、
上記近傍選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記中心画素の近傍に位置する複数の画素を選択して、複数の中心近傍画素とし、
上記第一評価値算出部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について上記近傍選択部が選択した複数の中心近傍画素の各中心近傍画素について、上記第一の画像における上記中心近傍画素の輝度から、上記第一の画像における上記中心画素の輝度を差し引いた差をそれぞれ算出して、複数の第一輝度評価値とし、
上記第二評価値算出部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について上記近傍選択部が選択した複数の中心近傍画素の各中心近傍画素について、上記第二の画像における上記中心近傍画素の輝度から、上記第二の画像における上記中心画素の輝度を差し引いた差をそれぞれ算出して、複数の第二輝度評価値とし、
上記評価値差分算出部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について上記近傍選択部が選択した複数の中心近傍画素の各中心近傍画素について、上記第二評価値算出部が算出した第二輝度評価値から、上記第一評価値算出部が算出した第一輝度評価値を差し引いた差をそれぞれ算出して、複数の評価値差分とし、
上記増加選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記近傍選択部が選択した複数の中心近傍画素のなかから、上記評価値差分算出部が算出した評価値差分が最も大きい中心近傍画素をそれぞれ選択して、複数の評価増加画素とし、
上記減少選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記近傍選択部が選択した複数の中心近傍画素のなかから、上記評価値差分算出部が算出した評価値差分が最も小さい中心近傍画素をそれぞれ選択して、複数の評価減少画素とし、
上記移動先候補抽出部は、上記処理装置を用いて、上記増加選択部が上記評価増加画素として選択した回数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出し、
上記移動元候補抽出部は、上記処理装置を用いて、上記減少選択部が上記評価減少画素として選択した回数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出することを特徴とする請求項1乃至請求項4のいずれかに記載の移動目標検出装置。
【請求項7】
上記移動目標検出装置は、更に、増加得票数算出部と、減少得票数算出部とを有し、
上記増加得票数算出部は、上記処理装置を用いて、上記複数の画素の各画素について、上記増加選択部が上記評価増加画素として選択した回数をそれぞれ算出して、複数の増加得票数とし、
上記減少得票数算出部は、上記処理装置を用いて、上記複数の画素の各画素について、上記減少選択部が上記評価減少画素として選択した回数をそれぞれ算出して、複数の減少得票数とし、
上記移動先候補抽出部は、上記処理装置を用いて、上記増加得票数算出部が算出した複数の増加得票数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出し、
上記移動元候補抽出部は、上記処理装置を用いて、上記減少得票数算出部が算出した複数の減少得票数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出することを特徴とする請求項5または請求項6のいずれかに記載の移動目標検出装置。
【請求項8】
上記移動目標検出装置は、更に、得票数集計部を有し、
上記得票数集計部は、上記処理装置を用いて、上記複数の画素の各画素について、上記増加選択部が上記評価増加画素として選択した回数から、上記減少選択部が上記評価減少画素として選択した回数を差し引いた差をそれぞれ算出して、複数の集計得票数とし、
上記移動先候補抽出部は、上記処理装置を用いて、上記得票数集計部が算出した複数の集計得票数に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出し、
上記移動元候補抽出部は、上記処理装置を用いて、上記得票数集計部が算出した複数の集計得票数に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出することを特徴とする請求項5または請求項6に記載の移動目標検出装置。
【請求項9】
上記移動目標検出装置は、更に、最大得票数記憶部と、得票率算出部とを有し、
上記最大得票数記憶部は、上記記憶装置を用いて、上記複数の画素の各画素について、上記複数の中心画素のうち、上記複数の中心近傍画素のなかに上記画素が含まれる中心画素の数をそれぞれ記憶して、複数の最大得票数とし、
上記得票率算出部は、上記処理装置を用いて、上記複数の画素の各画素について、上記得票数集計部が算出した集計得票数を上記最大得票数記憶部が記憶した最大得票数で割った商をそれぞれ算出して、複数の得票率とし、
上記移動先候補抽出部は、上記処理装置を用いて、上記得票率算出部が算出した複数の得票率に基づいて、上記複数の画素のうちから上記移動先候補画素を抽出し、
上記移動元候補抽出部は、上記処理装置を用いて、上記得票率算出部が算出した複数の得票率に基づいて、上記複数の画素のうちから上記移動元候補画素を抽出することを特徴とする請求項8に記載の移動目標検出装置。
【請求項10】
上記移動先候補抽出部は、上記処理装置を用いて、上記複数の画素のうちから、上記得票率算出部が算出した得票率が所定の移動先閾値より大きい画素を抽出して、上記移動先候補画素とし、
上記移動元候補抽出部は、上記処理装置を用いて、上記複数の画素のうちから、上記得票率算出部が算出した得票率が所定の移動先閾値より小さい画素を抽出して、上記移動元候補画素とすることを特徴とする請求項9に記載の移動目標検出装置。
【請求項11】
上記移動目標検出装置は、更に、近接移動先候補抽出部と、近接移動元候補抽出部と、近接目標抽出部とを有し、
上記近接移動先候補抽出部は、上記処理装置を用いて、上記目標抽出部が抽出した目標画素の近傍に位置する複数の目標近傍画素のうちから、上記得票率算出部が算出した得票率が上記所定の移動先閾値よりも小さい近接移動先閾値より大きい画素を抽出して、近接移動先候補画素とし、
上記近接移動元候補抽出部は、上記処理装置を用いて、上記複数の目標近傍画素のうちから、上記得票率算出部が算出した得票率が上記所定の移動元閾値よりも大きい近接移動元閾値より小さい画素を抽出して、近接移動元候補画素とし、
上記近接目標抽出部は、上記処理装置を用いて、上記近接移動先候補抽出部が抽出した近接移動先候補画素のうちから、上記近接移動先候補画素の近傍に位置する複数の近接近傍画素のなかに上記近接移動元候補抽出部が抽出した近接移動元候補画素が存在する近接移動先候補画素を抽出して、目標画素とすることを特徴とする請求項10に記載の移動目標検出装置。
【請求項12】
上記近傍選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記中心画素を中心とする矩形範囲内の複数の画素を選択して、上記複数の中心近傍画素とすることを特徴とする請求項5乃至請求項11のいずれかに記載の移動目標検出装置。
【請求項13】
上記近傍選択部は、上記処理装置を用いて、上記中心選択部が選択した複数の中心画素の各中心画素について、上記中心画素からの距離が所定の画素数以内の複数の画素を選択して、上記複数の中心近傍画素とすることを特徴とする請求項5乃至請求項11のいずれかに記載の移動目標検出装置。
【請求項14】
上記中心選択部は、上記処理装置を用いて、上記複数の画素のうちから、上記複数の中心近傍画素が上記画像内に収まる複数の画素を選択して、上記複数の中心画素とすることを特徴とする請求項5乃至請求項13のいずれかに記載の移動目標検出装置。
【請求項15】
上記移動目標検出装置は、更に、データを入力する入力装置と、画像入力部とを有し、
上記画像入力部は、上記入力装置を用いて、所定の周期に一枚の割合で画像を表わす画像データを入力し、
上記画像記憶部は、上記記憶装置を用いて、上記画像入力部が入力した画像データを蓄積して記憶し、記憶した画像データのうちの一つを上記第一の画像データとし、上記第一の画像データの次に上記画像入力部が入力して記憶した画像データを上記第二の画像データとすることを特徴とする請求項1乃至請求項14のいずれかに記載の移動目標検出装置。
【請求項16】
上記移動目標検出装置は、更に、目標更新部を有し、
上記増分算出部は、上記処理装置を用いて、上記画像入力部が画像を入力した場合に、上記画像入力部が入力し上記画像記憶部が記憶した画像データのうち最新の画像データを上記第二の画像データとし、上記画像入力部が入力し上記画像記憶部が記憶した画像データのうち二番目に新しい画像データを上記第一の画像データとして、上記複数の輝度増分を算出し、
上記目標更新部は、上記処理装置を用いて、上記目標抽出部が前回抽出した目標画素のうちから、上記目標抽出部が今回抽出した目標画素とペアとなる移動元候補画素のなかに一致する画素がない目標画素を抽出することを特徴とする請求項15に記載の移動目標検出装置。
【請求項17】
請求項1乃至請求項16のいずれかに記載の移動目標検出装置として、コンピュータを機能させることを特徴とするコンピュータプログラム。
【請求項18】
データを記憶する記憶装置と、データを処理する処理装置とを有する移動目標検出装置が、上記記憶装置が記憶した第一の画像を表わす第一の画像データと、第二の画像を表わす第二の画像データとに基づいて、移動する目標を検出する移動目標検出方法において、
上記処理装置が、上記記憶装置が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が増加した画素を抽出して、移動先候補画素とし、
上記処理装置が、上記記憶装置が記憶した二つの画像データが表わす二つの画像に基づいて、上記画像に含まれる複数の画素のうちから輝度が減少した画素を抽出して、移動元候補画素とし、
上記処理装置が、抽出した移動先候補画素と、抽出した移動元候補画素とに基づいて、上記移動先候補画素のうちからペアとなる移動元候補画素が存在する画素を抽出して、目標画素とすることを特徴とする移動目標検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2010−9275(P2010−9275A)
【公開日】平成22年1月14日(2010.1.14)
【国際特許分類】
【出願番号】特願2008−167013(P2008−167013)
【出願日】平成20年6月26日(2008.6.26)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】