画像処理装置、画像表示システム及び画像処理方法
【課題】不要な指標の表示を防止する。
【解決手段】画像表示システム１０では、物体検出部２２ａが、撮影画像中の検出領域に存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、管理テーブル２４ｂに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第１削除部２２ｃが、対応付けできない回数が所定条件を満足する物体データを管理テーブル２４ｂから削除する。さらに、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを、管理テーブル２４ｂから削除する。そして、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されない。
【解決手段】画像表示システム１０では、物体検出部２２ａが、撮影画像中の検出領域に存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、管理テーブル２４ｂに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第１削除部２２ｃが、対応付けできない回数が所定条件を満足する物体データを管理テーブル２４ｂから削除する。さらに、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを、管理テーブル２４ｂから削除する。そして、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体を示す物体データを検出する技術に関する。
【背景技術】
【０００２】
従来より、車両に搭載される車載カメラで得られた画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する画像表示システムが提案されている（例えば、特許文献１，２参照。）。
【０００３】
このような機能を有する画像表示システムとして、例えば、比較的広い範囲を撮影可能なフロントカメラで得られた画像を車室内の表示装置に表示するブラインドコーナモニタシステムが知られている。この画像表示システムは、フロントカメラで得られた画像に基づいて接近する物体を示す物体データを検出し、その物体データの位置を示す指標（例えば、強調枠）を重畳した画像を表示装置に表示する。このような画像表示システムを利用することにより、ユーザ（主にドライバ）は、見通しの悪い交差点などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に認識することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６８６７５号公報
【特許文献２】特開２００８−１０９３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記のような物体データを検出する画像表示システムにおいては、車載カメラで所定の周期で得られる画像を対象に物体データを検出する処理が繰り返される。車載カメラで得られる画像の内容は常に変化することから、同一の物体に係る物体データが時間的に連続する複数の画像において継続的に検出できないことがある。例えば、ある物体の物体データが、一の画像において検出できたが次の画像において検出できないといった場面が生じる。したがって、物体データの検出の可否を指標（例えば、強調枠）の表示の有無に直接的に反映させると、同一の物体に係る物体データの指標が点滅を繰り返す結果となり、かえって視認性が悪くなる。
【０００６】
このため、画像表示システムは、検出した物体データを管理テーブルに登録し、管理テーブルに登録された物体データの指標を表示するとともに、管理テーブルに一旦登録された物体データは所定の条件を満足するまで管理テーブルから削除しないようにしている。このような処理によって、同一物体に係る物体データの指標は点滅せずに継続的に表示される。
【０００７】
しかしながら、この処理を採用すると、管理テーブルに一旦登録された物体データの指標は、当該物体データが検出されなくなった以降においても、物体データを削除するための条件を満足するまでの暫くの期間は表示される。したがって、実際の物体に対応しない不要な指標が表示装置に表示されることになり、注意すべき他の物体にユーザの注意がいかなくなるおそれがある。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、不要な指標の表示を防止できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第１削除手段と、前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第２削除手段と、前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、前記撮影画像を表示装置に出力して表示させる出力手段と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第２削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除する。
【００１１】
また、請求項３の発明は、請求項１に記載の画像処理装置において、前記第２削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除する。
【００１２】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記検出領域の外縁は、前記撮影画像の中央側の部分である。
【００１３】
また、請求項５の発明は、画像を表示する画像表示システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記撮影画像を表示する表示装置と、を備えている。
【００１４】
また、請求項６の発明は、画像を処理する画像処理方法であって、（ａ）車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、（ｃ）過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、（ｄ）前記工程（ｃ）で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、（ｅ）前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、（ｆ）前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、（ｇ）前記撮影画像を表示する工程と、を備えている。
【００１５】
また、請求項７の発明は、画像を処理する画像処理方法であって、（ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、（ｃ）物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、（ｄ）前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、を備えている。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、検出領域の外縁に到達した物体データの指標が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
【００１７】
また、特に請求項２の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
【００１８】
また、特に請求項３の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
【００１９】
また、特に請求項４の発明によれば、撮影画像の中央付近において明瞭に認識可能な物体に係る指標の残留を防止できる。
【図面の簡単な説明】
【００２０】
【図１】図１は、画像表示システムの概略構成を示す図である。
【図２】図２は、車載カメラが配置される位置を示す図である。
【図３】図３は、強調枠が重畳された撮影画像の例を示す図である。
【図４】図４は、物体検出処理の流れを示す図である。
【図５】図５は、特徴点を抽出する処理を説明するための図である。
【図６】図６は、特徴点リストの一例を示す図である。
【図７】図７は、特徴点同士を対応付ける処理を説明するための図である。
【図８】図８は、特徴点を選別する処理を説明するための図である。
【図９】図９は、特徴点のグループ化を説明するための図である。
【図１０】図１０は、特徴点のグループ化を説明するための図である。
【図１１】図１１は、特徴点のグループ化を説明するための図である。
【図１２】図１２は、第１の実施の形態の画像表示システムの全体の動作の流れを示す図である。
【図１３】図１３は、管理テーブルの一例を示す図である。
【図１４】図１４は、物体データを対応付ける処理を説明するための図である。
【図１５】図１５は、物体データを対応付ける処理を説明するための図である。
【図１６】図１６は、車載カメラで得られた複数の撮影画像の検出領域の例を示す図である。
【図１７】図１７は、表示装置に表示される複数の撮影画像の検出領域の例を示す図である。
【図１８】図１８は、予測位置を導出する処理を説明するための図である。
【図１９】図１９は、第２の実施の形態の画像表示システムの全体の動作の流れを示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２２】
＜１．第１の実施の形態＞
＜１−１．システムの構成＞
図１は、本実施の形態の画像表示システム１０の概略構成を示す図である。画像表示システム１０は、自動車などの車両に搭載され、当該車両の前方の領域を示す画像を車室内に表示するブラインドコーナモニタシステムである。この画像表示システム１０は、画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する機能を有している。
【００２３】
画像表示システム１０は、車両の周辺を撮影して撮影画像を得る車載カメラ１と、車載カメラ１で得られた撮影画像を表示する表示装置３とを備えている。表示装置３は、車両の車室内においてユーザ（主に車両のドライバ）が視認可能な位置に配置される。
【００２４】
車載カメラ１は、フロントカメラであり、車両の前方の領域を所定の周期（例えば、１／３０秒）で撮影する。図２は、車載カメラ１が配置される位置を示す図である。図２に示すように車載カメラ１は、車両９の前端に設けられ、その光軸１１は車両９の直進方向に向けられている。車載カメラ１のレンズには魚眼レンズが採用され、車載カメラ１は１８０度以上の画角θを有している。したがって、車載カメラ１を利用することで、車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能となっている。
【００２５】
図１に戻り、画像表示システム１０は、車載カメラ１と表示装置３とともに、画像処理装置２を備えている。画像処理装置２は、車載カメラ１で取得された撮影画像を処理して表示装置３に出力する。画像処理装置２は、画像取得部２１、強調処理部２２、画像出力部２３及び記憶部２４を備えている。
【００２６】
画像取得部２１は、車載カメラ１からアナログの撮影画像を所定の周期（例えば、１／３０秒）で取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１が処理した一の撮影画像は、映像信号の一のフレームとなる。
【００２７】
強調処理部２２は、例えば、画像処理機能を有するハードウェア回路である。強調処理部２２は、画像取得部２１が周期的に取得する撮影画像（フレーム）を対象に物体を示す物体データを検出し、その物体データの位置を明示した撮影画像を生成する。図１に示す、物体検出部２２ａ、対応判定部２２ｂ、第１削除部２２ｃ、第２削除部２２ｄ、及び、枠重畳部２２ｅは、強調処理部２２の機能の一部である。これら機能の詳細については後述する。
【００２８】
画像出力部２３は、強調処理部２２によって処理された撮影画像を、表示装置３に出力する。これにより、物体データの位置を明示した撮影画像が表示装置３に表示される。
【００２９】
また、記憶部２４は、強調処理部２２の処理に用いられる各種のデータを記憶する。記憶部２４には、特徴点リスト２４ａ及び管理テーブル２４ｂが記憶されている。
【００３０】
また、画像表示システム１０は、システム全体を統括的に制御するシステム制御部５と、ユーザが操作可能なスイッチ６とを備えている。システム制御部５は、ユーザのスイッチ６の操作に応答して、車載カメラ１、画像処理装置２及び表示装置３を起動し、車両９の前方を示す撮影画像を表示装置３に表示させる。これにより、ユーザは、見通しの悪い交差点に来たときなどの所望のタイミングにスイッチ６を操作することで、車両９の前方の様子を略リアルタイムに確認できる。
【００３１】
図３の上部は、車載カメラ１の撮影により得られた撮影画像ＳＧの一例を示している。車載カメラ１は広い画角を有していることから、撮影画像ＳＧにおいては車両９の前方の左右に広がる比較的広い範囲が示されている。このような撮影画像ＳＧには、物体データを検出する際に対象とする領域である２つの検出領域ＤＡが設定されている。一方の検出領域（以下、「左側検出領域」という。）ＤＡ１は、撮影画像ＳＧの上下中央付近、かつ、左右中央よりも左側の所定位置に設定されている。また、他方の検出領域（以下、「右側検出領域」という。）ＤＡ２は、撮影画像ＳＧの上下中央付近、かつ、左右中央よりも右側の所定位置に設定されている。
【００３２】
これらの検出領域ＤＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）ＶＰを含むことが望ましい。車両９が交差点に来たときに得られる撮影画像ＳＧにおいては、このような消失点ＶＰが撮影画像ＳＧの左端及び右端それぞれの近傍に現れる。車両９に接近する他の車両等の物体の物体像Ｔは、このような消失点ＶＰから出現することが多い。
【００３３】
強調処理部２２の物体検出部２２ａは、これら左側検出領域ＤＡ１及び右側検出領域ＤＡ２をそれぞれ対象として物体検出処理を実行する。これにより、物体検出部２２ａは、車両９に接近する物体を示す物体データを検出する。この物体データは、撮影画像中において物体を示す物体像Ｔが存在する範囲を示す。
【００３４】
また、強調処理部２２の枠重畳部２２ｅは、物体検出部２２ａが検出した物体データの位置を示す指標である強調枠ＴＦと、２つの検出領域ＤＡの外縁を示す矩形枠ＡＦとを撮影画像に重畳する。したがって、図３の下部に示すように、表示装置３に表示される撮影画像ＤＧにおいては、車両９に接近する物体の物体像Ｔが強調枠ＴＦに囲まれて強調される。ユーザは、この撮影画像ＤＧを視認することにより、車両９の左右から接近する物体を容易に認識することが可能となる。
【００３５】
＜１−２．物体検出処理＞
次に、物体検出部２２ａが、検出領域ＤＡ中の物体データを検出する処理である物体検出処理について説明する。
【００３６】
図４は、物体検出処理の流れを示す図である。この物体検出処理は、画像取得部２１が撮影画像（フレーム）を取得するごとに、直近に取得された撮影画像（フレーム）を対象に物体検出部２２ａにより実行される。したがって、図４に示す物体検出処理は、所定の周期（例えば、１／３０秒）で繰り返し実行される。また、図４に示す物体検出処理は、撮影画像の左側検出領域ＤＡ１及び右側検出領域ＤＡ２のそれぞれに関して個別に行われる。
【００３７】
物体検出処理の対象となる撮影画像においては、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とするＸＹ座標が設定される（図３参照。）。この座標の原点（Ｘ＝０，Ｙ＝０）は、撮影画像の左上の端部に設定される。
【００３８】
物体検出処理では、まず、対象とする検出領域ＤＡに対して平滑化処理がなされ、検出領域ＤＡのノイズ成分が低減される（ステップＳ１）。この平滑化処理においては、例えば、ガウスフィルタなど周知のフィルタが利用できる。
【００３９】
次に、検出領域ＤＡにおける特徴点（際立って検出できる点）を抽出する特徴点抽出処理がなされる（ステップＳ２）。特徴点抽出処理においては、例えば、ハリスオペレータなどの周知の特徴点抽出手法を採用することができる。これにより、例えば図５に示すように、検出領域ＤＡに存在する物体像Ｔのコーナー（エッジの交点）などを含む複数の点が特徴点ＦＰとして抽出される。
【００４０】
次に、ステップＳ２において抽出された特徴点と、過去の物体検出処理で抽出された特徴点とを対応付ける処理がなされる（ステップＳ３）。移動する物体に基づく特徴点は、通常、時間的に連続する撮影画像（フレーム）の間で異なる位置に現れる。このため、この処理により、同一の物体の同一位置に基づく特徴点同士が対応付けられる。
【００４１】
過去の物体検出処理で抽出された特徴点は、記憶部２４に記憶される特徴点リスト２４ａに登録されている。図６は、特徴点リスト２４ａの一例を示す図である。図６に示すように、特徴点リスト２４ａは、複数のレコードＲａを含むテーブル形式のデータである。各レコードＲａは一の特徴点の情報を示しており、「識別番号」「Ｘ座標」「Ｙ座標」及び「更新情報」を含んでいる。
【００４２】
「識別番号」は、当該特徴点を識別する情報である。「Ｘ座標」は当該特徴点の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該特徴点の垂直方向（Ｙ軸方向）の座標位置を示している。
【００４３】
また、「更新情報」は、当該特徴点の座標位置（「Ｘ座標」「Ｙ座標」）が、何回前の物体検出処理において更新されたかを示す情報である。換言すれば、「更新情報」は、当該特徴点が最後に動いたフレームが何フレーム前であるかを示している。例えば、「更新情報」が「１」であれば、前回の物体検出処理において座標位置が更新されたことを示している。また、「更新情報」が「８」であれば、８回前の物体検出処理において座標位置が更新され、直近の７回の物体検出処理においては座標位置が更新されなかったことを示している。
【００４４】
特徴点同士を対応付ける処理は、このような特徴点リスト２４ａに登録された各特徴点ごとに行われる。図７は、特徴点同士を対応付ける処理を説明するための図である。
【００４５】
図中において、黒く塗りつぶした点Ｐ０は、過去の物体検出処理で抽出された、対応付けの対象となる一の特徴点（すなわち、特徴点リスト２４ａに登録された一の特徴点）を示している。一方、白抜きの点Ｐａ〜Ｐｄは、今回の物体検出処理において抽出された特徴点を示している。以下、過去の物体検出処理で抽出された特徴点を「過去特徴点」といい、今回の物体検出処理において抽出された特徴点を「今回特徴点」という。
【００４６】
まず、過去特徴点Ｐ０を中心として、所定サイズ（例えば、水平４０画素×垂直３０画素）の探索領域ＳＡが設定される。次に、この探索領域ＳＡ内に含まれる今回特徴点Ｐａ〜Ｐｃ、及び、過去特徴点Ｐ０のそれぞれの周囲に、特徴点を中心としたブロックｍａが設定される。このブロックｍａは、探索領域ＳＡと比較して十分に小さい所定サイズ（例えば、水平５画素×垂直５画素）の領域である。
【００４７】
次に、周囲のブロックｍａの特徴に基づいて、今回特徴点Ｐａ〜Ｐｃのうちから、過去特徴点Ｐ０に対応するものが判定される。具体的には、過去特徴点Ｐ０のブロックｍａと今回特徴点Ｐａ〜Ｐｃのブロックｍａとにおいて対応する画素同士の差分が導出される。この際、過去特徴点Ｐ０のブロックｍａについては当該過去特徴点Ｐ０が存在した過去の撮影画像の画素が利用され、今回特徴点Ｐａ〜Ｐｃのブロックｍａについては今回の物体検出処理の対象となった撮影画像の画素が利用される。そして、今回特徴点Ｐａ〜Ｐｃのブロックｍａのうち全画素の差分の和が最も小さくなるものが、過去特徴点Ｐ０のブロックｍａに最も近似するブロックｍａであると判定される。この最も近似するブロックｍａの今回特徴点が、過去特徴点Ｐ０に対応する今回特徴点と判断される。
【００４８】
このように過去特徴点に対応する今回特徴点が判断できた場合は、次に、対応する過去特徴点と今回特徴点とで座標位置が異なるか否かが判断される。対応する過去特徴点と今回特徴点とで座標位置が異なる場合は、当該特徴点は動いていることになる。この場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置（「Ｘ座標」「Ｙ座標」）が、最新の座標位置となる今回特徴点の座標位置に更新される。これとともに、当該レコードＲａの「更新情報」の登録内容が「１」とされる。
【００４９】
一方、対応する過去特徴点と今回特徴点とで座標位置が同じとなる場合は、当該特徴点は静止していることになる。この場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置は更新されず、「更新情報」の登録内容に「１」が加算される。
【００５０】
また、探索領域ＳＡ内に今回特徴点が存在しない場合や、対応する今回特徴点が探索領域ＳＡ外となってしまう場合（図７の今回特徴点Ｐｄを参照。）においては、過去特徴点に対応する今回特徴点を判断することができない。このように過去特徴点に対応する今回特徴点が判断できない場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置は更新されず、「更新情報」の登録内容に「１」が加算される。したがってこの場合は、特徴点が静止している場合と同様の扱いとされる。
【００５１】
また、「更新情報」の登録内容に「１」が加算された結果、「更新情報」の登録内容が「３１」になったレコードＲａは、特徴点リスト２４ａから削除される。すなわち、過去３１回の物体検出処理において座標位置が更新されなかった特徴点は、静止している物体に対応する特徴点であると考えられる。このため、このような特徴点に係るレコードＲａが特徴点リスト２４ａから削除される。
【００５２】
また、今回の物体検出処理で抽出された今回特徴点のうち、特徴点リスト２４ａに登録された過去特徴点のいずれとも対応付けされなかったものは、新規の特徴点であると判断される。このような新規の特徴点の情報は、特徴点リスト２４ａの新規のレコードＲａとして登録される。
【００５３】
このような処理により特徴点リスト２４ａの内容が更新され、今回の物体検出処理で抽出された今回特徴点の情報が特徴点リスト２４ａの内容に反映される。
【００５４】
特徴点リスト２４ａの内容が更新されると、次に、更新後の特徴点リスト２４ａにレコードＲａとして登録されている各特徴点の移動方向が判断される（図４のステップＳ４）。具体的には、各レコードＲａに係る過去抽出点と今回特徴点とが参照され、過去抽出点からみた今回特徴点の方向によって、当該レコードＲａの特徴点の移動方向が求められる。このような処理により、特徴点リスト２４ａに登録されている全ての特徴点は、「静止している特徴点」、「移動方向が左方向の特徴点」及び「移動方向が右方向の特徴点」のいずれかに分類される。なお、新規の特徴点については、過去特徴点がないため移動方向は判断されず、「静止している特徴点」に分類される。
【００５５】
次に、ステップＳ４で判断された各特徴点の移動方向に基づいて、特徴点リスト２４ａに登録された全ての特徴点のうちから、撮影画像の中央側に移動する特徴点が選別される（ステップＳ５）。これにより、車両９に接近する物体に係る特徴点が選別される。
【００５６】
具体的には、左側検出領域ＤＡ１を対象とした物体検出処理では、「移動方向が右方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。一方、右側検出領域ＤＡ２を対象とした物体検出処理では、「移動方向が左方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。以降の処理においては、このように選別された特徴点のみが処理の対象とされる。
【００５７】
例えば、図５に例示した左側検出領域ＤＡ１において抽出された複数の特徴点ＦＰは、図８の中央部に示すように、「静止している特徴点」ＦＰ０、「移動方向が左方向の特徴点」ＦＰ１及び「移動方向が右方向の特徴点」ＦＰ２のいずれかに分類される。そして、図８の下部に示すように、複数の特徴点ＦＰのうち、「移動方向が右方向の特徴点」ＦＰ２のみが以降の処理の対象として選別されることになる。
【００５８】
次に、選別された特徴点ＦＰが、座標位置に基づいてグループ化される。そして、このようなグループ化によって得られた一のグループが一の物体データとして検出される（図４のステップＳ６）。図９、図１０及び図１１は、このような特徴点のグループ化を説明するための図である。なお、図９の上部及び中央部に示す検出領域ＤＡは、検出領域ＤＡの一部を拡大したものである。
【００５９】
まず、図９の中央部に示すように、選別された特徴点ＦＰのそれぞれの位置に、水平方向（Ｘ軸方向）に延びる所定サイズ（例えば、５画素）のラインＬが設定される。このラインＬは、特徴点ＦＰを中心とし、各画素の値が「１」である水平画素群である。
【００６０】
次に、これらのラインＬの画素が参照され、横軸をＸ軸の各座標位置、縦軸を度数（画素の数）とするヒストグラムＨＸが生成される。このヒストグラムＨＸにおいては、Ｘ軸の各座標位置において、Ｙ軸方向に存在するラインＬの画素の数が度数として示される。
【００６１】
次に、ヒストグラムＨＸの度数と所定の閾値Ｔａとが比較される。そして、図９の下部に示すように、度数が閾値Ｔａ（例えば、「３」）を超えるＸ軸の座標位置の画素の値を「１」、度数が閾値Ｔａ未満となるＸ軸の座標位置の画素の値を「０」とする一次元のデータが導出される。この一次元のデータのうち、値が「１」の画素が連続する部分は、ラインデータＬＤとして設定される。一次元のデータ内に複数のラインデータＬＤが設定されることもある。ラインデータＬＤは、検出領域ＤＡの水平方向（Ｘ軸方向）において、複数の特徴点ＦＰがひとかたまりに存在していた範囲を示すものとなる。
【００６２】
次に、複数のラインデータＬＤが設定された場合は、図１０に示すように、隣接するラインデータＬＤ同士の間隔Ｐｈが参照される。そして、このラインデータＬＤ同士の間隔Ｐｈが所定の閾値（例えば、「３」画素）以下の場合は、当該部分の画素Ｐの値が「１」に変更される。これにより、近接していた２つのラインデータＬＤが連結され、１つのラインデータＬＤとされる。上述した処理においては、本来は一つの物体にかかるラインデータＬＤが、ノイズ等の影響によって分断されることがある。このため、このような分断されたラインデータＬＤを連結することにより、一つの物体にかかるラインデータＬＤを適切に抽出できる。
【００６３】
次に、図１１に示すように、縦軸をＹ軸の各座標位置、横軸を度数（画素の数）とするヒストグラムＨＹが生成される。このヒストグラムＨＹの作成手法は、図９に示すヒストグラムＨＸの作成手法を、Ｘ軸とＹ軸とで入れ換えたものとなる。また、処理の対象とするＸ軸方向の範囲は、一のラインデータＬＤが存在する範囲のみに限定される。すなわち、一のラインデータＬＤのＸ軸の最小の座標位置Ｘ１から最大の座標位置Ｘ２までの範囲のみを対象にヒストグラムＨＹが生成される。したがって、ラインデータＬＤごとに、このようなヒストグラムＨＹが作成される。
【００６４】
次に、ヒストグラムＨＹの度数と所定の閾値Ｔｂとが比較される。そして、度数が閾値Ｔｂ（例えば、「３」）を超えるＹ軸の座標位置の画素の値を「１」、度数が閾値Ｔａ未満となるＹ軸の座標位置の画素の値を「０」とする一次元のデータが導出される。この一次元のデータのうち、値が「１」の画素が連続する部分は、ラインデータＭＤとして設定される。一次元のデータ内に、複数のラインデータＭＤが設定されることもある。
【００６５】
そして、図１１に示すように、ラインデータＭＤが存在するＹ軸方向の範囲（Ｙ１〜Ｙ２）と、ラインデータＬＤが存在するＸ軸方向の範囲（Ｘ１〜Ｘ２）とで囲まれた矩形領域の範囲を示す情報が、物体データＴＤとして検出される。すなわち、２つのラインデータＬＤ，ＭＤに囲まれる矩形領域に含まれる特徴点ＦＰがグループ化される。そして、この矩形領域の範囲（「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」）が、物体データＴＤの範囲となる。「Ｘ座標」は当該物体データＴＤの左上端部の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該物体データＴＤの左上端部の垂直方向（Ｙ軸方向）の座標位置を示している。また「水平サイズ」は当該物体データＴＤの水平方向（Ｘ軸方向）の画素数を示し、「垂直サイズ」は当該物体データＴＤの垂直方向（Ｙ軸方向）の画素数を示している。
【００６６】
このようにして、撮影画像の中央側に移動する物体（すなわち、車両９に接近する物体）を示す物体データＴＤが検出される。撮影画像の一の検出領域ＤＡ内において、複数の物体データＴＤが検出されることもある。
【００６７】
＜１−３．画像表示システムの全体動作＞
次に、以上説明した物体検出処理を含む、画像表示システム１０の全体の動作について説明する。図１２は、画像表示システム１０の全体の動作の流れを示す図である。この図１２に示す動作も、画像取得部２１が撮影画像（フレーム）を取得する周期（例えば、１／３０秒）で繰り返し実行される。
【００６８】
まず、画像取得部２１が、車載カメラ１から一の撮影画像（フレーム）を取得する（ステップＳ１１）。画像取得部２１は、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。
【００６９】
次に、強調処理部２２の物体検出部２２ａが、画像取得部２１が取得した撮影画像（フレーム）を対象に物体検出処理を実行する（ステップＳ１２）。この物体検出処理は、図４から図１１を用いて上記で説明したものである。これにより、撮影画像中の検出領域ＤＡに存在する物体データが検出される。検出された物体データは、撮影画像の中央側に移動する物体の物体像Ｔの範囲を示すものとなる。
【００７０】
次に、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する（ステップＳ１３）。移動する物体を示す物体データは、通常、時間的に連続する撮影画像（フレーム）の間で異なる位置に現れる。このため、この対応判定処理により、同一の物体を示す物体データ同士が対応付けられる。
【００７１】
過去の物体検出処理で検出された物体データＴＤは、記憶部２４に記憶される管理情報である管理テーブル２４ｂに登録されている。
【００７２】
図１３は、管理テーブル２４ｂの一例を示す図である。図１３に示すように、管理テーブル２４ｂは、複数のレコードＲｂを含むテーブル形式のデータである。各レコードＲｂは、一の物体データの情報を示している。各レコードＲｂは、「識別番号」「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」「非対応回数」「判定回数」を含んでいる。
【００７３】
「識別番号」は、当該物体データを識別する情報である。「Ｘ座標」は当該物体データの左上端部の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該物体データの左上端部の垂直方向（Ｙ軸方向）の座標位置を示している。また、「水平サイズ」は当該物体データの水平方向（Ｘ軸方向）の画素数を示し、「垂直サイズ」は当該物体データの垂直方向（Ｙ軸方向）の画素数を示している。
【００７４】
また、「非対応回数」は、当該物体データが、過去の対応判定処理において対応付けできなかった回数を示している。さらに、「判定回数」は、当該物体データに関して対応判定処理を実行した回数を示している。例えば、「非対応回数」が「１０」で「判定回数」が「２６」であれば、当該物体データは、過去の２６回の対応判定処理において１６回対応付けができ、１０回対応付けができなかったことを示している。また、「非対応回数」が「０」で「判定回数」が「３」であれば、当該物体データは、過去の３回の対応判定処理の全てにおいて対応付けができたことを示している。
【００７５】
物体データ同士を対応付ける処理は、このような管理テーブル２４ｂに登録された各物体データごとに行われる。以下、過去の物体検出処理で検出された物体データ（すなわち、管理テーブル２４ｂに登録された物体データ）を「過去物体データ」といい、直近の物体検出処理において検出された物体データを「今回物体データ」という。
【００７６】
過去物体データと今回物体データとの対応は、互いの範囲の重なりに基づいて判断される。すなわち、図１４に示すように、過去物体データＴＤ０に対して範囲が重なる今回物体データＴＤａが存在する場合は、これらの過去物体データＴＤ０と今回物体データＴＤａとが対応すると判断される。過去物体データ及び今回物体データの範囲は、「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」によって規定される。
【００７７】
また、図１５に示すように、一の過去物体データＴＤ０に対して範囲が重なる複数の今回物体データＴＤａ，ＴＤｂが存在する場合は、これら複数の今回物体データＴＤａ，ＴＤｂを包含する新たな今回物体データＴＤｃが設定される。そして、この新たに設定された今回物体データＴＤｃと過去物体データＴＤ０とが対応付けられる。
【００７８】
管理テーブル２４ｂに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できたときは、管理テーブル２４ｂにおける当該物体データのレコードＲｂの「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」が更新される。具体的には、当該レコードＲｂの「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」が、今回物体データの範囲（「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」）に更新される。また、当該レコードＲｂの「非対応回数」の登録内容はそのまま維持され、「判定回数」の登録内容に「１」が加算される。
【００７９】
一方、管理テーブル２４ｂに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できないときは、管理テーブル２４ｂにおける当該物体データのレコードＲｂの「非対応回数」及び「判定回数」の双方の登録内容に「１」が加算される。このようにして、物体データについて、過去の対応判定処理において対応付けできない回数（「非対応回数」）がカウントされる。
【００８０】
また、直近の物体検出処理で検出された今回物体データのうち、管理テーブル２４ｂに登録された過去物体データのいずれとも対応付けされなかったものは、新規の物体データであると判断される。このような新規の物体データの情報は、管理テーブル２４ｂの新規のレコードＲｂとして登録される。新規の物体データの「非対応回数」及び「判定回数」の登録内容は双方とも「０」とされる。
【００８１】
このような対応判定処理により管理テーブル２４ｂの内容が更新され、直近の物体検出処理で検出された物体データの情報が管理テーブル２４ｂの内容に反映される。
【００８２】
管理テーブル２４ｂの内容が更新されると、次に、第１削除部２２ｃが、更新後の管理テーブル２４ｂに登録されている物体データのうち、「非対応回数」が所定条件を満足する物体データを削除する（図１２のステップＳ１４）。具体的には、第１削除部２２ｃは、管理テーブル２４ｂに登録されている全ての物体データを参照する。そして、第１削除部２２ｃは、これらの物体データのうち、次の式（１）を満足する物体データのレコードＲｂを管理テーブル２４ｂから削除する。式（１）においては、「非対応回数」「判定回数」及び閾値をそれぞれＮｎ、Ｎｄ及びＴｈとしている。
【００８３】
Ｎｎ／Ｎｄ ≧ Ｔｈ …（１）
式（１）に示す閾値Ｔｈは、例えば０．６に設定される。したがって、例えば、過去の１０回の対応判定処理において６回以上対応付けができなかった物体データ（「非対応回数」Ｎｎ≧「６」、「判定回数」Ｎｄ＝「１０」）は、管理テーブル２４ｂから削除されることになる。過去の対応判定処理において対応付けができない割合（「非対応回数」Ｎｎ／「判定回数」Ｎｄ）が所定以上となる物体データについては、対応する物体の物体像Ｔが検出領域ＤＡ内に既に存在しないと考えられる。このため、このような物体データのレコードＲｂが管理テーブル２４ｂから削除される。
【００８４】
なお、閾値Ｔｈは、物体データの追跡能力（物体データ同士を対応付ける能力）を規定する。閾値Ｔｈを大きくすると、物体データの追跡能力が向上して、物体データの未検出率が低下する。しかしながら一方で、閾値Ｔｈを大きくすると、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存することになる。逆に、閾値Ｔｈを小さくすると、物体データの追跡能力が低下して、物体データの未検出率が上昇してしまうことになる。一般には、物体データの未検出率を低下させるため、０．５以上の値とすることが望ましい。本実施の形態では、閾値Ｔｈが０．６であるため、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存する現象が生じる。
【００８５】
このため、画像表示システム１０では、第１削除部２２ｃによる削除処理の後、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを管理テーブル２４ｂからさらに削除するようにしている（図１２のステップＳ１５）。
【００８６】
前述のように、物体データは撮影画像の中央側に移動する物体を示している。このため、検出領域ＤＡの外縁（撮影画像の中央側の部分）に到達した物体データに対応する物体像は、今後すぐに検出領域ＤＡの外側（撮影画像の中央側）に移動すると考えられる。したがって、このような物体データを削除することで、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存することを防止できる。撮影画像の中央近傍に存在する物体像（あるいは、その物体自体）については強調枠で強調するまでもなくユーザが明瞭に認識可能であるため、このような物体像の物体データを削除したとしても問題とはならない。
【００８７】
第２削除部２２ｄは、管理テーブル２４ｂに登録されている全ての物体データを参照する。そして、第２削除部２２ｄは、これらの物体データのうち、検出領域ＤＡの外縁にその端部が接する物体データのレコードＲｂを管理テーブル２４ｂから削除する。
【００８８】
以下の説明において、物体データの「Ｘ座標」「Ｙ座標」「水平サイズ」及び「垂直サイズ」をそれぞれＸｔ、Ｙｔ、Ｗｔ及びＨｔとする。また、検出領域ＤＡの「Ｘ座標」「Ｙ座標」「水平サイズ」及び「垂直サイズ」をそれぞれＸｓ、Ｙｓ、Ｗｓ及びＨｓとする。「Ｘ座標」Ｘｓは検出領域ＤＡの左上端部の水平方向（Ｘ軸方向）の座標位置を示す情報であり、「Ｙ座標」Ｙｓは検出領域ＤＡの左上端部の垂直方向（Ｙ軸方向）の座標位置を示す情報である。また、「水平サイズ」Ｗｓは検出領域ＤＡの水平方向（Ｘ軸方向）の画素数を示す情報であり、「垂直サイズ」Ｈｓは検出領域ＤＡの垂直方向（Ｙ軸方向）の画素数を示す情報である。これらの検出領域ＤＡの範囲を示す情報は、記憶部２４に予め記憶されている。
【００８９】
左側検出領域ＤＡ１の物体データについては、次の式（２）を満足した場合に管理テーブル２４ｂから削除される。
【００９０】
Ｘｔ ＋ Ｗｔ ＝ Ｘｓ ＋ Ｗｓ …（２）
つまり、物体データの右側（撮影画像の中央側）の端部の座標位置（Ｘｔ ＋ Ｗｔ）が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁の座標位置（Ｘｓ ＋ Ｗｓ）に一致した場合に、当該物体データが管理テーブル２４ｂから削除される。
【００９１】
一方、右側検出領域ＤＡ２の物体データについては、次の式（３）を満足した場合に管理テーブル２４ｂから削除される。
【００９２】
Ｘｔ ＝ Ｘｓ …（３）
つまり、物体データの左側（撮影画像の中央側）の端部の座標位置（Ｘｔ）が、右側検出領域ＤＡ２の左側（撮影画像の中央側）の外縁の座標位置（Ｘｓ）に一致した場合に、当該物体データが管理テーブル２４ｂから削除される。
【００９３】
図１６の左側は、車載カメラ１で時間的に連続して得られた複数の撮影画像ＳＧの左側検出領域ＤＡ１を示す図である。これらの左側検出領域ＤＡ１にはそれぞれ、移動する同一の物体に係る物体像Ｔが含まれている。また、図１６中の右側は、その左側検出領域ＤＡ１において検出される物体データＴＤを示している。
【００９４】
物体像Ｔは、連続する複数の撮影画像ＳＧの左側検出領域ＤＡ１において左から右に移動している。そして、このような物体像Ｔの移動に伴って、この物体像Ｔに対応する物体データＴＤが検出される範囲も左側検出領域ＤＡ１における左から右に移動することになる。このように検出される物体データＴＤの範囲は、随時に管理テーブル２４ｂに反映される。そして最終的に、図１６の下部に示すように、物体データＴＤの右側の端部が左側検出領域ＤＡ１の右側の外縁に接すると、当該物体データＴＤは管理テーブル２４ｂから削除されることになる。
【００９５】
このようにして不要な物体データが管理テーブル２４ｂから削除されると、次に、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する（図１２のステップＳ１６）。そして、画像出力部２３が、この撮影画像を表示装置３に出力する。これにより、図３の下部に示すように、物体像Ｔが存在する範囲が強調枠ＴＦに囲まれて強調された撮影画像ＤＧが表示装置３に表示されることになる（ステップＳ１７）。
【００９６】
図１７は、図１６に示した複数の撮影画像ＳＧを処理した結果、表示装置３に表示される撮影画像ＤＧの左側検出領域ＤＡ１を示す図である。図１７に示すように、左側検出領域ＤＡ１において左から右に移動する物体像Ｔに対応して、強調枠ＴＦが示される。そして最終的に、図１７の下部に示すように、物体像Ｔが検出領域ＤＡ１の右側の外縁付近に移動したとき、物体データの右側の端部が左側検出領域ＤＡ１の右側の外縁に接する。このため、この時点で当該物体データは管理テーブル２４ｂから削除されることから、この物体像Ｔを示す強調枠ＴＦが消去される。すなわち、強調枠ＴＦの表示が中止される。したがって、実際の物体に対応しない不要な強調枠ＴＦが残留して表示されることを防止することができる。
【００９７】
以上のように、画像表示システム１０では、物体検出部２２ａが、撮影画像中の検出領域ＤＡに存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、管理テーブル２４ｂに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第１削除部２２ｃが、対応付けできない回数が所定条件を満足する物体データを管理テーブル２４ｂから削除する。さらに、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを、管理テーブル２４ｂから削除する。そして、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
【００９８】
また第２削除部２２ｄは、検出領域ＤＡの外縁に接する物体データを管理テーブル２４ｂから削除するため、不要な指標に係る物体データを単純な手法で削除することができる。
【００９９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１００】
第１の実施の形態では、第２削除部２２ｄは、検出領域ＤＡの外縁に接する物体データを、検出領域ＤＡの外縁に到達した物体データであると判定して管理テーブル２４ｂから削除していた。これに対して、第２の実施の形態では、第２削除部２２ｄは、次回の物体検出処理の時点での物体データの位置を予測し、その予測位置が検出領域ＤＡの外部となる物体データを管理テーブル２４ｂから削除するようにしている。
【０１０１】
図１８は、左側検出領域ＤＡ１において、連続する２回の物体検出処理において検出された同一の物体に係る物体データＴＤ１，ＴＤ２の例を示している。前回の物体検出処理において物体データＴＤ１が検出され、今回の物体検出処理において物体データＴＤ２が検出されたものとする。今回の物体データＴＤ２の右側の端部は、左側検出領域ＤＡ１の右側の外縁に接していない。このため、第１の実施の形態の手法を採用した場合には、この物体データＴＤ２は管理テーブル２４ｂから削除されないことになる。
【０１０２】
第２の実施の形態では、第２削除部２２ｄが、前回の物体データＴＤ１と今回の物体データＴＤ２とに基づいて、次回の物体検出処理の時点での当該物体に係る物体データＴＤ３の位置を予測する。物体データの位置としては、物体データの中心の位置が利用される。
【０１０３】
具体的には、第２削除部２２ｄは、前回の物体データＴＤ１の中心Ｃ１の位置と、今回の物体データＴＤ２の中心Ｃ２の位置との差をとることにより、時間的に連続する撮影画像（フレーム）の間での当該物体データの移動量Ｖｘを導出する。そして、第２削除部２２ｄは、今回の物体データＴＤ２の中心Ｃ２の位置に、導出した移動量Ｖｘを加算することにより、次回の物体検出処理の時点での物体データＴＤ３の中心Ｃ３の予測される位置（予測位置）を求める。
【０１０４】
この予測位置が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁より外側の領域（すなわち、撮影画像の中央近傍）となる場合は、第２削除部２２ｄは、当該物体データは検出領域ＤＡの外縁に到達したと判断して、当該物体データを管理テーブル２４ｂから削除する。なお、予測位置を導出するためには、Ｘ軸の座標位置（Ｘ座標）のみを利用すればよい。
【０１０５】
図１９は、第２の実施の形態の画像表示システム１０の全体の動作の流れを示す図である。この図１９に示す動作も、画像取得部２１が撮影画像（フレーム）を取得する周期（例えば、１／３０秒）で繰り返し実行される。
【０１０６】
ステップＳ３１〜Ｓ３４の処理は、図１２に示すステップＳ１１〜Ｓ１４の処理と同一である。すなわち、まず、画像取得部２１が、車載カメラ１から一の撮影画像（フレーム）を取得する（ステップＳ３１）。次に、物体検出部２２ａが、画像取得部２１が取得した撮影画像（フレーム）を対象に物体検出処理を実行し、検出領域ＤＡに存在する物体データを検出する（ステップＳ３２）。次に、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行し、管理テーブル２４ｂの内容を更新する（ステップＳ３３）。次に、第１削除部２２ｃが、更新後の管理テーブル２４ｂに登録されている物体データのうち「非対応回数」が所定条件を満足する物体データを削除する（ステップＳ３４）。
【０１０７】
次に、第２削除部２２ｄが、管理テーブル２４ｂに登録されている物体データのうち対応判定処理によって対応付けられた物体データに関して、撮影画像（フレーム）の間での移動量Ｖｘを導出する（ステップＳ３５）。具体的には、第２削除部２２ｄは、対応判定処理で対応付けられた前回の物体データと今回の物体データとを参照し、前回の物体データの中心のＸ座標と今回の物体データの中心のＸ座標との差の絶対値を移動量Ｖｘとして導出する。物体データの中心のＸ座標Ｘｃは、その物体データの「Ｘ座標」Ｘｔ及び「水平サイズ」Ｗｔに基づいて次の式（４）によって導出できる。
【０１０８】
Ｘｃ ＝ Ｘｔ ＋ Ｗｔ／２ …（４）
移動量Ｖｘを導出すると、次に、第２削除部２２ｄは、移動量Ｖｘを導出した各物体データに関して、次回の物体検出処理の時点での当該物体データの予測されるＸ座標を予測位置として導出する（ステップＳ３６）。
【０１０９】
左側検出領域ＤＡ１の物体データの予測位置Ｘｐは、今回の物体データの「Ｘ座標」Ｘｔ、「水平サイズ」Ｗｔ及び移動量Ｖｘに基づいて、次の式（５）によって導出される。
【０１１０】
Ｘｐ ＝ Ｘｔ ＋ Ｗｔ／２ ＋ Ｖｘ …（５）
また、右側検出領域ＤＡ２の物体データの予測位置Ｘｐは、今回の物体データの「Ｘ座標」Ｘｔ、「水平サイズ」Ｗｔ及び移動量Ｖｘに基づいて、次の式（６）によって導出される。
【０１１１】
Ｘｐ ＝ Ｘｔ ＋ Ｗｔ／２ − Ｖｘ …（６）
予測位置Ｘｐを導出すると、次に、第２削除部２２ｄは、予測位置Ｘｐを導出した各物体データに関して、予測位置Ｘｐが検出領域ＤＡの外縁より外側となるか否かを判定する。そして、予測位置Ｘｐが検出領域ＤＡの外縁より外側となる物体データを管理テーブル２４ｂから削除する（ステップＳ３７）。
【０１１２】
左側検出領域ＤＡ１の物体データについては、次の式（７）を満足した場合に管理テーブル２４ｂから削除される。
【０１１３】
Ｘｐ ＞ Ｘｓ ＋ Ｗｓ …（７）
つまり、物体データの予測位置（Ｘｐ）が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁の座標位置（Ｘｓ ＋ Ｗｓ）よりも右側となる場合に、当該物体データが管理テーブル２４ｂから削除される。
【０１１４】
一方、右側検出領域ＤＡ２の物体データについては、次の式（８）を満足した場合に管理テーブル２４ｂから削除される。
【０１１５】
Ｘｐ ＜ Ｘｓ …（８）
つまり、物体データの予測位置（Ｘｐ）が、右側検出領域ＤＡ２の左側（撮影画像の中央側）の外縁の座標位置（Ｘｓ）よりも左側となる場合に、当該物体データが管理テーブル２４ｂから削除される。
【０１１６】
このようにして不要な物体データが管理テーブル２４ｂから削除されると、次に、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する（ステップＳ３８）。そして、画像出力部２３がこの撮影画像を表示装置３に出力し、物体像が存在する範囲が強調枠に囲まれて強調された撮影画像が表示装置３に表示される（ステップＳ３９）。
【０１１７】
以上のように、第２の実施の形態の第２削除部２２ｄは、複数回の物体検出処理の結果に基づいて予測した、次回の物体検出処理の時点での予測位置が検出領域ＤＡの外縁より外側となる物体データを、管理テーブル２４ｂから削除する。このため、第２の実施の形態においても、不要な指標に係る物体データを単純な手法で削除することができる。
【０１１８】
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１１９】
第１実施形態では、検出領域ＤＡの外縁に接するという条件を満足した物体データを削除し、第２実施形態では、予測位置が検出領域ＤＡの外縁より外側となるという条件を満足した物体データを削除していた。これに対して、一つの画像表示システムにおいて第１実施形態の条件と第２実施形態の条件との双方を採用し、少なくとも一方の条件を満足した物体データを削除するようにしてもよい。このようにすれば、より多くの不要な物体データを削除することができる。また、ユーザが、２つの条件のうちのいずれの条件を採用するかを選択できるようになっていてもよい。
【０１２０】
また、上記実施の形態では、フロントカメラの画像を表示する画像表示システムについて説明を行った。これに対して、サイドカメラの画像を表示する画像表示システムや、バックカメラの画像を表示する画像表示システムにおいて、上記実施の形態で説明した技術を適用してもよい。
【０１２１】
また、上記実施の形態では、物体データの位置を示す指標は矩形の強調枠であったが、円形枠、十字マーク、イラストなどの他の態様の指標を採用してもよい。
【０１２２】
また、式（１）に示す閾値Ｔｈは、ユーザが所望の値に変更できるようになっていてもよい。
【０１２３】
また、強調枠を消去する際には、瞬時に消去せずにフェードアウトさせてもよい。
【０１２４】
また、上記実施の形態で、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１２５】
１ 車載カメラ
２ 画像処理装置
３ 表示装置
１０ 画像表示システム
２２ 強調処理部
２２ａ 物体検出部
２２ｂ 対応判定部
２２ｃ 第１削除部
２２ｄ 第２削除部
２２ｅ 枠重畳部
２４ａ 特徴点リスト
２４ｂ 管理テーブル
【技術分野】
【０００１】
本発明は、画像中の物体を示す物体データを検出する技術に関する。
【背景技術】
【０００２】
従来より、車両に搭載される車載カメラで得られた画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する画像表示システムが提案されている（例えば、特許文献１，２参照。）。
【０００３】
このような機能を有する画像表示システムとして、例えば、比較的広い範囲を撮影可能なフロントカメラで得られた画像を車室内の表示装置に表示するブラインドコーナモニタシステムが知られている。この画像表示システムは、フロントカメラで得られた画像に基づいて接近する物体を示す物体データを検出し、その物体データの位置を示す指標（例えば、強調枠）を重畳した画像を表示装置に表示する。このような画像表示システムを利用することにより、ユーザ（主にドライバ）は、見通しの悪い交差点などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に認識することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６８６７５号公報
【特許文献２】特開２００８−１０９３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記のような物体データを検出する画像表示システムにおいては、車載カメラで所定の周期で得られる画像を対象に物体データを検出する処理が繰り返される。車載カメラで得られる画像の内容は常に変化することから、同一の物体に係る物体データが時間的に連続する複数の画像において継続的に検出できないことがある。例えば、ある物体の物体データが、一の画像において検出できたが次の画像において検出できないといった場面が生じる。したがって、物体データの検出の可否を指標（例えば、強調枠）の表示の有無に直接的に反映させると、同一の物体に係る物体データの指標が点滅を繰り返す結果となり、かえって視認性が悪くなる。
【０００６】
このため、画像表示システムは、検出した物体データを管理テーブルに登録し、管理テーブルに登録された物体データの指標を表示するとともに、管理テーブルに一旦登録された物体データは所定の条件を満足するまで管理テーブルから削除しないようにしている。このような処理によって、同一物体に係る物体データの指標は点滅せずに継続的に表示される。
【０００７】
しかしながら、この処理を採用すると、管理テーブルに一旦登録された物体データの指標は、当該物体データが検出されなくなった以降においても、物体データを削除するための条件を満足するまでの暫くの期間は表示される。したがって、実際の物体に対応しない不要な指標が表示装置に表示されることになり、注意すべき他の物体にユーザの注意がいかなくなるおそれがある。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、不要な指標の表示を防止できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第１削除手段と、前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第２削除手段と、前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、前記撮影画像を表示装置に出力して表示させる出力手段と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記第２削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除する。
【００１１】
また、請求項３の発明は、請求項１に記載の画像処理装置において、前記第２削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除する。
【００１２】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記検出領域の外縁は、前記撮影画像の中央側の部分である。
【００１３】
また、請求項５の発明は、画像を表示する画像表示システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記撮影画像を表示する表示装置と、を備えている。
【００１４】
また、請求項６の発明は、画像を処理する画像処理方法であって、（ａ）車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、（ｃ）過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、（ｄ）前記工程（ｃ）で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、（ｅ）前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、（ｆ）前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、（ｇ）前記撮影画像を表示する工程と、を備えている。
【００１５】
また、請求項７の発明は、画像を処理する画像処理方法であって、（ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、（ｃ）物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、（ｄ）前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、を備えている。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、検出領域の外縁に到達した物体データの指標が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
【００１７】
また、特に請求項２の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
【００１８】
また、特に請求項３の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
【００１９】
また、特に請求項４の発明によれば、撮影画像の中央付近において明瞭に認識可能な物体に係る指標の残留を防止できる。
【図面の簡単な説明】
【００２０】
【図１】図１は、画像表示システムの概略構成を示す図である。
【図２】図２は、車載カメラが配置される位置を示す図である。
【図３】図３は、強調枠が重畳された撮影画像の例を示す図である。
【図４】図４は、物体検出処理の流れを示す図である。
【図５】図５は、特徴点を抽出する処理を説明するための図である。
【図６】図６は、特徴点リストの一例を示す図である。
【図７】図７は、特徴点同士を対応付ける処理を説明するための図である。
【図８】図８は、特徴点を選別する処理を説明するための図である。
【図９】図９は、特徴点のグループ化を説明するための図である。
【図１０】図１０は、特徴点のグループ化を説明するための図である。
【図１１】図１１は、特徴点のグループ化を説明するための図である。
【図１２】図１２は、第１の実施の形態の画像表示システムの全体の動作の流れを示す図である。
【図１３】図１３は、管理テーブルの一例を示す図である。
【図１４】図１４は、物体データを対応付ける処理を説明するための図である。
【図１５】図１５は、物体データを対応付ける処理を説明するための図である。
【図１６】図１６は、車載カメラで得られた複数の撮影画像の検出領域の例を示す図である。
【図１７】図１７は、表示装置に表示される複数の撮影画像の検出領域の例を示す図である。
【図１８】図１８は、予測位置を導出する処理を説明するための図である。
【図１９】図１９は、第２の実施の形態の画像表示システムの全体の動作の流れを示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２２】
＜１．第１の実施の形態＞
＜１−１．システムの構成＞
図１は、本実施の形態の画像表示システム１０の概略構成を示す図である。画像表示システム１０は、自動車などの車両に搭載され、当該車両の前方の領域を示す画像を車室内に表示するブラインドコーナモニタシステムである。この画像表示システム１０は、画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する機能を有している。
【００２３】
画像表示システム１０は、車両の周辺を撮影して撮影画像を得る車載カメラ１と、車載カメラ１で得られた撮影画像を表示する表示装置３とを備えている。表示装置３は、車両の車室内においてユーザ（主に車両のドライバ）が視認可能な位置に配置される。
【００２４】
車載カメラ１は、フロントカメラであり、車両の前方の領域を所定の周期（例えば、１／３０秒）で撮影する。図２は、車載カメラ１が配置される位置を示す図である。図２に示すように車載カメラ１は、車両９の前端に設けられ、その光軸１１は車両９の直進方向に向けられている。車載カメラ１のレンズには魚眼レンズが採用され、車載カメラ１は１８０度以上の画角θを有している。したがって、車載カメラ１を利用することで、車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能となっている。
【００２５】
図１に戻り、画像表示システム１０は、車載カメラ１と表示装置３とともに、画像処理装置２を備えている。画像処理装置２は、車載カメラ１で取得された撮影画像を処理して表示装置３に出力する。画像処理装置２は、画像取得部２１、強調処理部２２、画像出力部２３及び記憶部２４を備えている。
【００２６】
画像取得部２１は、車載カメラ１からアナログの撮影画像を所定の周期（例えば、１／３０秒）で取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１が処理した一の撮影画像は、映像信号の一のフレームとなる。
【００２７】
強調処理部２２は、例えば、画像処理機能を有するハードウェア回路である。強調処理部２２は、画像取得部２１が周期的に取得する撮影画像（フレーム）を対象に物体を示す物体データを検出し、その物体データの位置を明示した撮影画像を生成する。図１に示す、物体検出部２２ａ、対応判定部２２ｂ、第１削除部２２ｃ、第２削除部２２ｄ、及び、枠重畳部２２ｅは、強調処理部２２の機能の一部である。これら機能の詳細については後述する。
【００２８】
画像出力部２３は、強調処理部２２によって処理された撮影画像を、表示装置３に出力する。これにより、物体データの位置を明示した撮影画像が表示装置３に表示される。
【００２９】
また、記憶部２４は、強調処理部２２の処理に用いられる各種のデータを記憶する。記憶部２４には、特徴点リスト２４ａ及び管理テーブル２４ｂが記憶されている。
【００３０】
また、画像表示システム１０は、システム全体を統括的に制御するシステム制御部５と、ユーザが操作可能なスイッチ６とを備えている。システム制御部５は、ユーザのスイッチ６の操作に応答して、車載カメラ１、画像処理装置２及び表示装置３を起動し、車両９の前方を示す撮影画像を表示装置３に表示させる。これにより、ユーザは、見通しの悪い交差点に来たときなどの所望のタイミングにスイッチ６を操作することで、車両９の前方の様子を略リアルタイムに確認できる。
【００３１】
図３の上部は、車載カメラ１の撮影により得られた撮影画像ＳＧの一例を示している。車載カメラ１は広い画角を有していることから、撮影画像ＳＧにおいては車両９の前方の左右に広がる比較的広い範囲が示されている。このような撮影画像ＳＧには、物体データを検出する際に対象とする領域である２つの検出領域ＤＡが設定されている。一方の検出領域（以下、「左側検出領域」という。）ＤＡ１は、撮影画像ＳＧの上下中央付近、かつ、左右中央よりも左側の所定位置に設定されている。また、他方の検出領域（以下、「右側検出領域」という。）ＤＡ２は、撮影画像ＳＧの上下中央付近、かつ、左右中央よりも右側の所定位置に設定されている。
【００３２】
これらの検出領域ＤＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）ＶＰを含むことが望ましい。車両９が交差点に来たときに得られる撮影画像ＳＧにおいては、このような消失点ＶＰが撮影画像ＳＧの左端及び右端それぞれの近傍に現れる。車両９に接近する他の車両等の物体の物体像Ｔは、このような消失点ＶＰから出現することが多い。
【００３３】
強調処理部２２の物体検出部２２ａは、これら左側検出領域ＤＡ１及び右側検出領域ＤＡ２をそれぞれ対象として物体検出処理を実行する。これにより、物体検出部２２ａは、車両９に接近する物体を示す物体データを検出する。この物体データは、撮影画像中において物体を示す物体像Ｔが存在する範囲を示す。
【００３４】
また、強調処理部２２の枠重畳部２２ｅは、物体検出部２２ａが検出した物体データの位置を示す指標である強調枠ＴＦと、２つの検出領域ＤＡの外縁を示す矩形枠ＡＦとを撮影画像に重畳する。したがって、図３の下部に示すように、表示装置３に表示される撮影画像ＤＧにおいては、車両９に接近する物体の物体像Ｔが強調枠ＴＦに囲まれて強調される。ユーザは、この撮影画像ＤＧを視認することにより、車両９の左右から接近する物体を容易に認識することが可能となる。
【００３５】
＜１−２．物体検出処理＞
次に、物体検出部２２ａが、検出領域ＤＡ中の物体データを検出する処理である物体検出処理について説明する。
【００３６】
図４は、物体検出処理の流れを示す図である。この物体検出処理は、画像取得部２１が撮影画像（フレーム）を取得するごとに、直近に取得された撮影画像（フレーム）を対象に物体検出部２２ａにより実行される。したがって、図４に示す物体検出処理は、所定の周期（例えば、１／３０秒）で繰り返し実行される。また、図４に示す物体検出処理は、撮影画像の左側検出領域ＤＡ１及び右側検出領域ＤＡ２のそれぞれに関して個別に行われる。
【００３７】
物体検出処理の対象となる撮影画像においては、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とするＸＹ座標が設定される（図３参照。）。この座標の原点（Ｘ＝０，Ｙ＝０）は、撮影画像の左上の端部に設定される。
【００３８】
物体検出処理では、まず、対象とする検出領域ＤＡに対して平滑化処理がなされ、検出領域ＤＡのノイズ成分が低減される（ステップＳ１）。この平滑化処理においては、例えば、ガウスフィルタなど周知のフィルタが利用できる。
【００３９】
次に、検出領域ＤＡにおける特徴点（際立って検出できる点）を抽出する特徴点抽出処理がなされる（ステップＳ２）。特徴点抽出処理においては、例えば、ハリスオペレータなどの周知の特徴点抽出手法を採用することができる。これにより、例えば図５に示すように、検出領域ＤＡに存在する物体像Ｔのコーナー（エッジの交点）などを含む複数の点が特徴点ＦＰとして抽出される。
【００４０】
次に、ステップＳ２において抽出された特徴点と、過去の物体検出処理で抽出された特徴点とを対応付ける処理がなされる（ステップＳ３）。移動する物体に基づく特徴点は、通常、時間的に連続する撮影画像（フレーム）の間で異なる位置に現れる。このため、この処理により、同一の物体の同一位置に基づく特徴点同士が対応付けられる。
【００４１】
過去の物体検出処理で抽出された特徴点は、記憶部２４に記憶される特徴点リスト２４ａに登録されている。図６は、特徴点リスト２４ａの一例を示す図である。図６に示すように、特徴点リスト２４ａは、複数のレコードＲａを含むテーブル形式のデータである。各レコードＲａは一の特徴点の情報を示しており、「識別番号」「Ｘ座標」「Ｙ座標」及び「更新情報」を含んでいる。
【００４２】
「識別番号」は、当該特徴点を識別する情報である。「Ｘ座標」は当該特徴点の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該特徴点の垂直方向（Ｙ軸方向）の座標位置を示している。
【００４３】
また、「更新情報」は、当該特徴点の座標位置（「Ｘ座標」「Ｙ座標」）が、何回前の物体検出処理において更新されたかを示す情報である。換言すれば、「更新情報」は、当該特徴点が最後に動いたフレームが何フレーム前であるかを示している。例えば、「更新情報」が「１」であれば、前回の物体検出処理において座標位置が更新されたことを示している。また、「更新情報」が「８」であれば、８回前の物体検出処理において座標位置が更新され、直近の７回の物体検出処理においては座標位置が更新されなかったことを示している。
【００４４】
特徴点同士を対応付ける処理は、このような特徴点リスト２４ａに登録された各特徴点ごとに行われる。図７は、特徴点同士を対応付ける処理を説明するための図である。
【００４５】
図中において、黒く塗りつぶした点Ｐ０は、過去の物体検出処理で抽出された、対応付けの対象となる一の特徴点（すなわち、特徴点リスト２４ａに登録された一の特徴点）を示している。一方、白抜きの点Ｐａ〜Ｐｄは、今回の物体検出処理において抽出された特徴点を示している。以下、過去の物体検出処理で抽出された特徴点を「過去特徴点」といい、今回の物体検出処理において抽出された特徴点を「今回特徴点」という。
【００４６】
まず、過去特徴点Ｐ０を中心として、所定サイズ（例えば、水平４０画素×垂直３０画素）の探索領域ＳＡが設定される。次に、この探索領域ＳＡ内に含まれる今回特徴点Ｐａ〜Ｐｃ、及び、過去特徴点Ｐ０のそれぞれの周囲に、特徴点を中心としたブロックｍａが設定される。このブロックｍａは、探索領域ＳＡと比較して十分に小さい所定サイズ（例えば、水平５画素×垂直５画素）の領域である。
【００４７】
次に、周囲のブロックｍａの特徴に基づいて、今回特徴点Ｐａ〜Ｐｃのうちから、過去特徴点Ｐ０に対応するものが判定される。具体的には、過去特徴点Ｐ０のブロックｍａと今回特徴点Ｐａ〜Ｐｃのブロックｍａとにおいて対応する画素同士の差分が導出される。この際、過去特徴点Ｐ０のブロックｍａについては当該過去特徴点Ｐ０が存在した過去の撮影画像の画素が利用され、今回特徴点Ｐａ〜Ｐｃのブロックｍａについては今回の物体検出処理の対象となった撮影画像の画素が利用される。そして、今回特徴点Ｐａ〜Ｐｃのブロックｍａのうち全画素の差分の和が最も小さくなるものが、過去特徴点Ｐ０のブロックｍａに最も近似するブロックｍａであると判定される。この最も近似するブロックｍａの今回特徴点が、過去特徴点Ｐ０に対応する今回特徴点と判断される。
【００４８】
このように過去特徴点に対応する今回特徴点が判断できた場合は、次に、対応する過去特徴点と今回特徴点とで座標位置が異なるか否かが判断される。対応する過去特徴点と今回特徴点とで座標位置が異なる場合は、当該特徴点は動いていることになる。この場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置（「Ｘ座標」「Ｙ座標」）が、最新の座標位置となる今回特徴点の座標位置に更新される。これとともに、当該レコードＲａの「更新情報」の登録内容が「１」とされる。
【００４９】
一方、対応する過去特徴点と今回特徴点とで座標位置が同じとなる場合は、当該特徴点は静止していることになる。この場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置は更新されず、「更新情報」の登録内容に「１」が加算される。
【００５０】
また、探索領域ＳＡ内に今回特徴点が存在しない場合や、対応する今回特徴点が探索領域ＳＡ外となってしまう場合（図７の今回特徴点Ｐｄを参照。）においては、過去特徴点に対応する今回特徴点を判断することができない。このように過去特徴点に対応する今回特徴点が判断できない場合は、特徴点リスト２４ａにおける当該特徴点のレコードＲａの座標位置は更新されず、「更新情報」の登録内容に「１」が加算される。したがってこの場合は、特徴点が静止している場合と同様の扱いとされる。
【００５１】
また、「更新情報」の登録内容に「１」が加算された結果、「更新情報」の登録内容が「３１」になったレコードＲａは、特徴点リスト２４ａから削除される。すなわち、過去３１回の物体検出処理において座標位置が更新されなかった特徴点は、静止している物体に対応する特徴点であると考えられる。このため、このような特徴点に係るレコードＲａが特徴点リスト２４ａから削除される。
【００５２】
また、今回の物体検出処理で抽出された今回特徴点のうち、特徴点リスト２４ａに登録された過去特徴点のいずれとも対応付けされなかったものは、新規の特徴点であると判断される。このような新規の特徴点の情報は、特徴点リスト２４ａの新規のレコードＲａとして登録される。
【００５３】
このような処理により特徴点リスト２４ａの内容が更新され、今回の物体検出処理で抽出された今回特徴点の情報が特徴点リスト２４ａの内容に反映される。
【００５４】
特徴点リスト２４ａの内容が更新されると、次に、更新後の特徴点リスト２４ａにレコードＲａとして登録されている各特徴点の移動方向が判断される（図４のステップＳ４）。具体的には、各レコードＲａに係る過去抽出点と今回特徴点とが参照され、過去抽出点からみた今回特徴点の方向によって、当該レコードＲａの特徴点の移動方向が求められる。このような処理により、特徴点リスト２４ａに登録されている全ての特徴点は、「静止している特徴点」、「移動方向が左方向の特徴点」及び「移動方向が右方向の特徴点」のいずれかに分類される。なお、新規の特徴点については、過去特徴点がないため移動方向は判断されず、「静止している特徴点」に分類される。
【００５５】
次に、ステップＳ４で判断された各特徴点の移動方向に基づいて、特徴点リスト２４ａに登録された全ての特徴点のうちから、撮影画像の中央側に移動する特徴点が選別される（ステップＳ５）。これにより、車両９に接近する物体に係る特徴点が選別される。
【００５６】
具体的には、左側検出領域ＤＡ１を対象とした物体検出処理では、「移動方向が右方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。一方、右側検出領域ＤＡ２を対象とした物体検出処理では、「移動方向が左方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。以降の処理においては、このように選別された特徴点のみが処理の対象とされる。
【００５７】
例えば、図５に例示した左側検出領域ＤＡ１において抽出された複数の特徴点ＦＰは、図８の中央部に示すように、「静止している特徴点」ＦＰ０、「移動方向が左方向の特徴点」ＦＰ１及び「移動方向が右方向の特徴点」ＦＰ２のいずれかに分類される。そして、図８の下部に示すように、複数の特徴点ＦＰのうち、「移動方向が右方向の特徴点」ＦＰ２のみが以降の処理の対象として選別されることになる。
【００５８】
次に、選別された特徴点ＦＰが、座標位置に基づいてグループ化される。そして、このようなグループ化によって得られた一のグループが一の物体データとして検出される（図４のステップＳ６）。図９、図１０及び図１１は、このような特徴点のグループ化を説明するための図である。なお、図９の上部及び中央部に示す検出領域ＤＡは、検出領域ＤＡの一部を拡大したものである。
【００５９】
まず、図９の中央部に示すように、選別された特徴点ＦＰのそれぞれの位置に、水平方向（Ｘ軸方向）に延びる所定サイズ（例えば、５画素）のラインＬが設定される。このラインＬは、特徴点ＦＰを中心とし、各画素の値が「１」である水平画素群である。
【００６０】
次に、これらのラインＬの画素が参照され、横軸をＸ軸の各座標位置、縦軸を度数（画素の数）とするヒストグラムＨＸが生成される。このヒストグラムＨＸにおいては、Ｘ軸の各座標位置において、Ｙ軸方向に存在するラインＬの画素の数が度数として示される。
【００６１】
次に、ヒストグラムＨＸの度数と所定の閾値Ｔａとが比較される。そして、図９の下部に示すように、度数が閾値Ｔａ（例えば、「３」）を超えるＸ軸の座標位置の画素の値を「１」、度数が閾値Ｔａ未満となるＸ軸の座標位置の画素の値を「０」とする一次元のデータが導出される。この一次元のデータのうち、値が「１」の画素が連続する部分は、ラインデータＬＤとして設定される。一次元のデータ内に複数のラインデータＬＤが設定されることもある。ラインデータＬＤは、検出領域ＤＡの水平方向（Ｘ軸方向）において、複数の特徴点ＦＰがひとかたまりに存在していた範囲を示すものとなる。
【００６２】
次に、複数のラインデータＬＤが設定された場合は、図１０に示すように、隣接するラインデータＬＤ同士の間隔Ｐｈが参照される。そして、このラインデータＬＤ同士の間隔Ｐｈが所定の閾値（例えば、「３」画素）以下の場合は、当該部分の画素Ｐの値が「１」に変更される。これにより、近接していた２つのラインデータＬＤが連結され、１つのラインデータＬＤとされる。上述した処理においては、本来は一つの物体にかかるラインデータＬＤが、ノイズ等の影響によって分断されることがある。このため、このような分断されたラインデータＬＤを連結することにより、一つの物体にかかるラインデータＬＤを適切に抽出できる。
【００６３】
次に、図１１に示すように、縦軸をＹ軸の各座標位置、横軸を度数（画素の数）とするヒストグラムＨＹが生成される。このヒストグラムＨＹの作成手法は、図９に示すヒストグラムＨＸの作成手法を、Ｘ軸とＹ軸とで入れ換えたものとなる。また、処理の対象とするＸ軸方向の範囲は、一のラインデータＬＤが存在する範囲のみに限定される。すなわち、一のラインデータＬＤのＸ軸の最小の座標位置Ｘ１から最大の座標位置Ｘ２までの範囲のみを対象にヒストグラムＨＹが生成される。したがって、ラインデータＬＤごとに、このようなヒストグラムＨＹが作成される。
【００６４】
次に、ヒストグラムＨＹの度数と所定の閾値Ｔｂとが比較される。そして、度数が閾値Ｔｂ（例えば、「３」）を超えるＹ軸の座標位置の画素の値を「１」、度数が閾値Ｔａ未満となるＹ軸の座標位置の画素の値を「０」とする一次元のデータが導出される。この一次元のデータのうち、値が「１」の画素が連続する部分は、ラインデータＭＤとして設定される。一次元のデータ内に、複数のラインデータＭＤが設定されることもある。
【００６５】
そして、図１１に示すように、ラインデータＭＤが存在するＹ軸方向の範囲（Ｙ１〜Ｙ２）と、ラインデータＬＤが存在するＸ軸方向の範囲（Ｘ１〜Ｘ２）とで囲まれた矩形領域の範囲を示す情報が、物体データＴＤとして検出される。すなわち、２つのラインデータＬＤ，ＭＤに囲まれる矩形領域に含まれる特徴点ＦＰがグループ化される。そして、この矩形領域の範囲（「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」）が、物体データＴＤの範囲となる。「Ｘ座標」は当該物体データＴＤの左上端部の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該物体データＴＤの左上端部の垂直方向（Ｙ軸方向）の座標位置を示している。また「水平サイズ」は当該物体データＴＤの水平方向（Ｘ軸方向）の画素数を示し、「垂直サイズ」は当該物体データＴＤの垂直方向（Ｙ軸方向）の画素数を示している。
【００６６】
このようにして、撮影画像の中央側に移動する物体（すなわち、車両９に接近する物体）を示す物体データＴＤが検出される。撮影画像の一の検出領域ＤＡ内において、複数の物体データＴＤが検出されることもある。
【００６７】
＜１−３．画像表示システムの全体動作＞
次に、以上説明した物体検出処理を含む、画像表示システム１０の全体の動作について説明する。図１２は、画像表示システム１０の全体の動作の流れを示す図である。この図１２に示す動作も、画像取得部２１が撮影画像（フレーム）を取得する周期（例えば、１／３０秒）で繰り返し実行される。
【００６８】
まず、画像取得部２１が、車載カメラ１から一の撮影画像（フレーム）を取得する（ステップＳ１１）。画像取得部２１は、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。
【００６９】
次に、強調処理部２２の物体検出部２２ａが、画像取得部２１が取得した撮影画像（フレーム）を対象に物体検出処理を実行する（ステップＳ１２）。この物体検出処理は、図４から図１１を用いて上記で説明したものである。これにより、撮影画像中の検出領域ＤＡに存在する物体データが検出される。検出された物体データは、撮影画像の中央側に移動する物体の物体像Ｔの範囲を示すものとなる。
【００７０】
次に、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する（ステップＳ１３）。移動する物体を示す物体データは、通常、時間的に連続する撮影画像（フレーム）の間で異なる位置に現れる。このため、この対応判定処理により、同一の物体を示す物体データ同士が対応付けられる。
【００７１】
過去の物体検出処理で検出された物体データＴＤは、記憶部２４に記憶される管理情報である管理テーブル２４ｂに登録されている。
【００７２】
図１３は、管理テーブル２４ｂの一例を示す図である。図１３に示すように、管理テーブル２４ｂは、複数のレコードＲｂを含むテーブル形式のデータである。各レコードＲｂは、一の物体データの情報を示している。各レコードＲｂは、「識別番号」「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」「非対応回数」「判定回数」を含んでいる。
【００７３】
「識別番号」は、当該物体データを識別する情報である。「Ｘ座標」は当該物体データの左上端部の水平方向（Ｘ軸方向）の座標位置を示し、「Ｙ座標」は当該物体データの左上端部の垂直方向（Ｙ軸方向）の座標位置を示している。また、「水平サイズ」は当該物体データの水平方向（Ｘ軸方向）の画素数を示し、「垂直サイズ」は当該物体データの垂直方向（Ｙ軸方向）の画素数を示している。
【００７４】
また、「非対応回数」は、当該物体データが、過去の対応判定処理において対応付けできなかった回数を示している。さらに、「判定回数」は、当該物体データに関して対応判定処理を実行した回数を示している。例えば、「非対応回数」が「１０」で「判定回数」が「２６」であれば、当該物体データは、過去の２６回の対応判定処理において１６回対応付けができ、１０回対応付けができなかったことを示している。また、「非対応回数」が「０」で「判定回数」が「３」であれば、当該物体データは、過去の３回の対応判定処理の全てにおいて対応付けができたことを示している。
【００７５】
物体データ同士を対応付ける処理は、このような管理テーブル２４ｂに登録された各物体データごとに行われる。以下、過去の物体検出処理で検出された物体データ（すなわち、管理テーブル２４ｂに登録された物体データ）を「過去物体データ」といい、直近の物体検出処理において検出された物体データを「今回物体データ」という。
【００７６】
過去物体データと今回物体データとの対応は、互いの範囲の重なりに基づいて判断される。すなわち、図１４に示すように、過去物体データＴＤ０に対して範囲が重なる今回物体データＴＤａが存在する場合は、これらの過去物体データＴＤ０と今回物体データＴＤａとが対応すると判断される。過去物体データ及び今回物体データの範囲は、「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」によって規定される。
【００７７】
また、図１５に示すように、一の過去物体データＴＤ０に対して範囲が重なる複数の今回物体データＴＤａ，ＴＤｂが存在する場合は、これら複数の今回物体データＴＤａ，ＴＤｂを包含する新たな今回物体データＴＤｃが設定される。そして、この新たに設定された今回物体データＴＤｃと過去物体データＴＤ０とが対応付けられる。
【００７８】
管理テーブル２４ｂに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できたときは、管理テーブル２４ｂにおける当該物体データのレコードＲｂの「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」が更新される。具体的には、当該レコードＲｂの「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」が、今回物体データの範囲（「Ｘ座標」「Ｙ座標」「水平サイズ」「垂直サイズ」）に更新される。また、当該レコードＲｂの「非対応回数」の登録内容はそのまま維持され、「判定回数」の登録内容に「１」が加算される。
【００７９】
一方、管理テーブル２４ｂに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できないときは、管理テーブル２４ｂにおける当該物体データのレコードＲｂの「非対応回数」及び「判定回数」の双方の登録内容に「１」が加算される。このようにして、物体データについて、過去の対応判定処理において対応付けできない回数（「非対応回数」）がカウントされる。
【００８０】
また、直近の物体検出処理で検出された今回物体データのうち、管理テーブル２４ｂに登録された過去物体データのいずれとも対応付けされなかったものは、新規の物体データであると判断される。このような新規の物体データの情報は、管理テーブル２４ｂの新規のレコードＲｂとして登録される。新規の物体データの「非対応回数」及び「判定回数」の登録内容は双方とも「０」とされる。
【００８１】
このような対応判定処理により管理テーブル２４ｂの内容が更新され、直近の物体検出処理で検出された物体データの情報が管理テーブル２４ｂの内容に反映される。
【００８２】
管理テーブル２４ｂの内容が更新されると、次に、第１削除部２２ｃが、更新後の管理テーブル２４ｂに登録されている物体データのうち、「非対応回数」が所定条件を満足する物体データを削除する（図１２のステップＳ１４）。具体的には、第１削除部２２ｃは、管理テーブル２４ｂに登録されている全ての物体データを参照する。そして、第１削除部２２ｃは、これらの物体データのうち、次の式（１）を満足する物体データのレコードＲｂを管理テーブル２４ｂから削除する。式（１）においては、「非対応回数」「判定回数」及び閾値をそれぞれＮｎ、Ｎｄ及びＴｈとしている。
【００８３】
Ｎｎ／Ｎｄ ≧ Ｔｈ …（１）
式（１）に示す閾値Ｔｈは、例えば０．６に設定される。したがって、例えば、過去の１０回の対応判定処理において６回以上対応付けができなかった物体データ（「非対応回数」Ｎｎ≧「６」、「判定回数」Ｎｄ＝「１０」）は、管理テーブル２４ｂから削除されることになる。過去の対応判定処理において対応付けができない割合（「非対応回数」Ｎｎ／「判定回数」Ｎｄ）が所定以上となる物体データについては、対応する物体の物体像Ｔが検出領域ＤＡ内に既に存在しないと考えられる。このため、このような物体データのレコードＲｂが管理テーブル２４ｂから削除される。
【００８４】
なお、閾値Ｔｈは、物体データの追跡能力（物体データ同士を対応付ける能力）を規定する。閾値Ｔｈを大きくすると、物体データの追跡能力が向上して、物体データの未検出率が低下する。しかしながら一方で、閾値Ｔｈを大きくすると、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存することになる。逆に、閾値Ｔｈを小さくすると、物体データの追跡能力が低下して、物体データの未検出率が上昇してしまうことになる。一般には、物体データの未検出率を低下させるため、０．５以上の値とすることが望ましい。本実施の形態では、閾値Ｔｈが０．６であるため、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存する現象が生じる。
【００８５】
このため、画像表示システム１０では、第１削除部２２ｃによる削除処理の後、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを管理テーブル２４ｂからさらに削除するようにしている（図１２のステップＳ１５）。
【００８６】
前述のように、物体データは撮影画像の中央側に移動する物体を示している。このため、検出領域ＤＡの外縁（撮影画像の中央側の部分）に到達した物体データに対応する物体像は、今後すぐに検出領域ＤＡの外側（撮影画像の中央側）に移動すると考えられる。したがって、このような物体データを削除することで、実際には検出領域ＤＡに存在しない物体像に係る物体データが管理テーブル２４ｂに残存することを防止できる。撮影画像の中央近傍に存在する物体像（あるいは、その物体自体）については強調枠で強調するまでもなくユーザが明瞭に認識可能であるため、このような物体像の物体データを削除したとしても問題とはならない。
【００８７】
第２削除部２２ｄは、管理テーブル２４ｂに登録されている全ての物体データを参照する。そして、第２削除部２２ｄは、これらの物体データのうち、検出領域ＤＡの外縁にその端部が接する物体データのレコードＲｂを管理テーブル２４ｂから削除する。
【００８８】
以下の説明において、物体データの「Ｘ座標」「Ｙ座標」「水平サイズ」及び「垂直サイズ」をそれぞれＸｔ、Ｙｔ、Ｗｔ及びＨｔとする。また、検出領域ＤＡの「Ｘ座標」「Ｙ座標」「水平サイズ」及び「垂直サイズ」をそれぞれＸｓ、Ｙｓ、Ｗｓ及びＨｓとする。「Ｘ座標」Ｘｓは検出領域ＤＡの左上端部の水平方向（Ｘ軸方向）の座標位置を示す情報であり、「Ｙ座標」Ｙｓは検出領域ＤＡの左上端部の垂直方向（Ｙ軸方向）の座標位置を示す情報である。また、「水平サイズ」Ｗｓは検出領域ＤＡの水平方向（Ｘ軸方向）の画素数を示す情報であり、「垂直サイズ」Ｈｓは検出領域ＤＡの垂直方向（Ｙ軸方向）の画素数を示す情報である。これらの検出領域ＤＡの範囲を示す情報は、記憶部２４に予め記憶されている。
【００８９】
左側検出領域ＤＡ１の物体データについては、次の式（２）を満足した場合に管理テーブル２４ｂから削除される。
【００９０】
Ｘｔ ＋ Ｗｔ ＝ Ｘｓ ＋ Ｗｓ …（２）
つまり、物体データの右側（撮影画像の中央側）の端部の座標位置（Ｘｔ ＋ Ｗｔ）が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁の座標位置（Ｘｓ ＋ Ｗｓ）に一致した場合に、当該物体データが管理テーブル２４ｂから削除される。
【００９１】
一方、右側検出領域ＤＡ２の物体データについては、次の式（３）を満足した場合に管理テーブル２４ｂから削除される。
【００９２】
Ｘｔ ＝ Ｘｓ …（３）
つまり、物体データの左側（撮影画像の中央側）の端部の座標位置（Ｘｔ）が、右側検出領域ＤＡ２の左側（撮影画像の中央側）の外縁の座標位置（Ｘｓ）に一致した場合に、当該物体データが管理テーブル２４ｂから削除される。
【００９３】
図１６の左側は、車載カメラ１で時間的に連続して得られた複数の撮影画像ＳＧの左側検出領域ＤＡ１を示す図である。これらの左側検出領域ＤＡ１にはそれぞれ、移動する同一の物体に係る物体像Ｔが含まれている。また、図１６中の右側は、その左側検出領域ＤＡ１において検出される物体データＴＤを示している。
【００９４】
物体像Ｔは、連続する複数の撮影画像ＳＧの左側検出領域ＤＡ１において左から右に移動している。そして、このような物体像Ｔの移動に伴って、この物体像Ｔに対応する物体データＴＤが検出される範囲も左側検出領域ＤＡ１における左から右に移動することになる。このように検出される物体データＴＤの範囲は、随時に管理テーブル２４ｂに反映される。そして最終的に、図１６の下部に示すように、物体データＴＤの右側の端部が左側検出領域ＤＡ１の右側の外縁に接すると、当該物体データＴＤは管理テーブル２４ｂから削除されることになる。
【００９５】
このようにして不要な物体データが管理テーブル２４ｂから削除されると、次に、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する（図１２のステップＳ１６）。そして、画像出力部２３が、この撮影画像を表示装置３に出力する。これにより、図３の下部に示すように、物体像Ｔが存在する範囲が強調枠ＴＦに囲まれて強調された撮影画像ＤＧが表示装置３に表示されることになる（ステップＳ１７）。
【００９６】
図１７は、図１６に示した複数の撮影画像ＳＧを処理した結果、表示装置３に表示される撮影画像ＤＧの左側検出領域ＤＡ１を示す図である。図１７に示すように、左側検出領域ＤＡ１において左から右に移動する物体像Ｔに対応して、強調枠ＴＦが示される。そして最終的に、図１７の下部に示すように、物体像Ｔが検出領域ＤＡ１の右側の外縁付近に移動したとき、物体データの右側の端部が左側検出領域ＤＡ１の右側の外縁に接する。このため、この時点で当該物体データは管理テーブル２４ｂから削除されることから、この物体像Ｔを示す強調枠ＴＦが消去される。すなわち、強調枠ＴＦの表示が中止される。したがって、実際の物体に対応しない不要な強調枠ＴＦが残留して表示されることを防止することができる。
【００９７】
以上のように、画像表示システム１０では、物体検出部２２ａが、撮影画像中の検出領域ＤＡに存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと、管理テーブル２４ｂに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第１削除部２２ｃが、対応付けできない回数が所定条件を満足する物体データを管理テーブル２４ｂから削除する。さらに、第２削除部２２ｄが、検出領域ＤＡの外縁に到達した物体データを、管理テーブル２４ｂから削除する。そして、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
【００９８】
また第２削除部２２ｄは、検出領域ＤＡの外縁に接する物体データを管理テーブル２４ｂから削除するため、不要な指標に係る物体データを単純な手法で削除することができる。
【００９９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び処理は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１００】
第１の実施の形態では、第２削除部２２ｄは、検出領域ＤＡの外縁に接する物体データを、検出領域ＤＡの外縁に到達した物体データであると判定して管理テーブル２４ｂから削除していた。これに対して、第２の実施の形態では、第２削除部２２ｄは、次回の物体検出処理の時点での物体データの位置を予測し、その予測位置が検出領域ＤＡの外部となる物体データを管理テーブル２４ｂから削除するようにしている。
【０１０１】
図１８は、左側検出領域ＤＡ１において、連続する２回の物体検出処理において検出された同一の物体に係る物体データＴＤ１，ＴＤ２の例を示している。前回の物体検出処理において物体データＴＤ１が検出され、今回の物体検出処理において物体データＴＤ２が検出されたものとする。今回の物体データＴＤ２の右側の端部は、左側検出領域ＤＡ１の右側の外縁に接していない。このため、第１の実施の形態の手法を採用した場合には、この物体データＴＤ２は管理テーブル２４ｂから削除されないことになる。
【０１０２】
第２の実施の形態では、第２削除部２２ｄが、前回の物体データＴＤ１と今回の物体データＴＤ２とに基づいて、次回の物体検出処理の時点での当該物体に係る物体データＴＤ３の位置を予測する。物体データの位置としては、物体データの中心の位置が利用される。
【０１０３】
具体的には、第２削除部２２ｄは、前回の物体データＴＤ１の中心Ｃ１の位置と、今回の物体データＴＤ２の中心Ｃ２の位置との差をとることにより、時間的に連続する撮影画像（フレーム）の間での当該物体データの移動量Ｖｘを導出する。そして、第２削除部２２ｄは、今回の物体データＴＤ２の中心Ｃ２の位置に、導出した移動量Ｖｘを加算することにより、次回の物体検出処理の時点での物体データＴＤ３の中心Ｃ３の予測される位置（予測位置）を求める。
【０１０４】
この予測位置が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁より外側の領域（すなわち、撮影画像の中央近傍）となる場合は、第２削除部２２ｄは、当該物体データは検出領域ＤＡの外縁に到達したと判断して、当該物体データを管理テーブル２４ｂから削除する。なお、予測位置を導出するためには、Ｘ軸の座標位置（Ｘ座標）のみを利用すればよい。
【０１０５】
図１９は、第２の実施の形態の画像表示システム１０の全体の動作の流れを示す図である。この図１９に示す動作も、画像取得部２１が撮影画像（フレーム）を取得する周期（例えば、１／３０秒）で繰り返し実行される。
【０１０６】
ステップＳ３１〜Ｓ３４の処理は、図１２に示すステップＳ１１〜Ｓ１４の処理と同一である。すなわち、まず、画像取得部２１が、車載カメラ１から一の撮影画像（フレーム）を取得する（ステップＳ３１）。次に、物体検出部２２ａが、画像取得部２１が取得した撮影画像（フレーム）を対象に物体検出処理を実行し、検出領域ＤＡに存在する物体データを検出する（ステップＳ３２）。次に、対応判定部２２ｂが、直近の物体検出処理で検出された物体データと過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行し、管理テーブル２４ｂの内容を更新する（ステップＳ３３）。次に、第１削除部２２ｃが、更新後の管理テーブル２４ｂに登録されている物体データのうち「非対応回数」が所定条件を満足する物体データを削除する（ステップＳ３４）。
【０１０７】
次に、第２削除部２２ｄが、管理テーブル２４ｂに登録されている物体データのうち対応判定処理によって対応付けられた物体データに関して、撮影画像（フレーム）の間での移動量Ｖｘを導出する（ステップＳ３５）。具体的には、第２削除部２２ｄは、対応判定処理で対応付けられた前回の物体データと今回の物体データとを参照し、前回の物体データの中心のＸ座標と今回の物体データの中心のＸ座標との差の絶対値を移動量Ｖｘとして導出する。物体データの中心のＸ座標Ｘｃは、その物体データの「Ｘ座標」Ｘｔ及び「水平サイズ」Ｗｔに基づいて次の式（４）によって導出できる。
【０１０８】
Ｘｃ ＝ Ｘｔ ＋ Ｗｔ／２ …（４）
移動量Ｖｘを導出すると、次に、第２削除部２２ｄは、移動量Ｖｘを導出した各物体データに関して、次回の物体検出処理の時点での当該物体データの予測されるＸ座標を予測位置として導出する（ステップＳ３６）。
【０１０９】
左側検出領域ＤＡ１の物体データの予測位置Ｘｐは、今回の物体データの「Ｘ座標」Ｘｔ、「水平サイズ」Ｗｔ及び移動量Ｖｘに基づいて、次の式（５）によって導出される。
【０１１０】
Ｘｐ ＝ Ｘｔ ＋ Ｗｔ／２ ＋ Ｖｘ …（５）
また、右側検出領域ＤＡ２の物体データの予測位置Ｘｐは、今回の物体データの「Ｘ座標」Ｘｔ、「水平サイズ」Ｗｔ及び移動量Ｖｘに基づいて、次の式（６）によって導出される。
【０１１１】
Ｘｐ ＝ Ｘｔ ＋ Ｗｔ／２ − Ｖｘ …（６）
予測位置Ｘｐを導出すると、次に、第２削除部２２ｄは、予測位置Ｘｐを導出した各物体データに関して、予測位置Ｘｐが検出領域ＤＡの外縁より外側となるか否かを判定する。そして、予測位置Ｘｐが検出領域ＤＡの外縁より外側となる物体データを管理テーブル２４ｂから削除する（ステップＳ３７）。
【０１１２】
左側検出領域ＤＡ１の物体データについては、次の式（７）を満足した場合に管理テーブル２４ｂから削除される。
【０１１３】
Ｘｐ ＞ Ｘｓ ＋ Ｗｓ …（７）
つまり、物体データの予測位置（Ｘｐ）が、左側検出領域ＤＡ１の右側（撮影画像の中央側）の外縁の座標位置（Ｘｓ ＋ Ｗｓ）よりも右側となる場合に、当該物体データが管理テーブル２４ｂから削除される。
【０１１４】
一方、右側検出領域ＤＡ２の物体データについては、次の式（８）を満足した場合に管理テーブル２４ｂから削除される。
【０１１５】
Ｘｐ ＜ Ｘｓ …（８）
つまり、物体データの予測位置（Ｘｐ）が、右側検出領域ＤＡ２の左側（撮影画像の中央側）の外縁の座標位置（Ｘｓ）よりも左側となる場合に、当該物体データが管理テーブル２４ｂから削除される。
【０１１６】
このようにして不要な物体データが管理テーブル２４ｂから削除されると、次に、枠重畳部２２ｅが、管理テーブル２４ｂに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する（ステップＳ３８）。そして、画像出力部２３がこの撮影画像を表示装置３に出力し、物体像が存在する範囲が強調枠に囲まれて強調された撮影画像が表示装置３に表示される（ステップＳ３９）。
【０１１７】
以上のように、第２の実施の形態の第２削除部２２ｄは、複数回の物体検出処理の結果に基づいて予測した、次回の物体検出処理の時点での予測位置が検出領域ＤＡの外縁より外側となる物体データを、管理テーブル２４ｂから削除する。このため、第２の実施の形態においても、不要な指標に係る物体データを単純な手法で削除することができる。
【０１１８】
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１１９】
第１実施形態では、検出領域ＤＡの外縁に接するという条件を満足した物体データを削除し、第２実施形態では、予測位置が検出領域ＤＡの外縁より外側となるという条件を満足した物体データを削除していた。これに対して、一つの画像表示システムにおいて第１実施形態の条件と第２実施形態の条件との双方を採用し、少なくとも一方の条件を満足した物体データを削除するようにしてもよい。このようにすれば、より多くの不要な物体データを削除することができる。また、ユーザが、２つの条件のうちのいずれの条件を採用するかを選択できるようになっていてもよい。
【０１２０】
また、上記実施の形態では、フロントカメラの画像を表示する画像表示システムについて説明を行った。これに対して、サイドカメラの画像を表示する画像表示システムや、バックカメラの画像を表示する画像表示システムにおいて、上記実施の形態で説明した技術を適用してもよい。
【０１２１】
また、上記実施の形態では、物体データの位置を示す指標は矩形の強調枠であったが、円形枠、十字マーク、イラストなどの他の態様の指標を採用してもよい。
【０１２２】
また、式（１）に示す閾値Ｔｈは、ユーザが所望の値に変更できるようになっていてもよい。
【０１２３】
また、強調枠を消去する際には、瞬時に消去せずにフェードアウトさせてもよい。
【０１２４】
また、上記実施の形態で、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１２５】
１ 車載カメラ
２ 画像処理装置
３ 表示装置
１０ 画像表示システム
２２ 強調処理部
２２ａ 物体検出部
２２ｂ 対応判定部
２２ｃ 第１削除部
２２ｄ 第２削除部
２２ｅ 枠重畳部
２４ａ 特徴点リスト
２４ｂ 管理テーブル
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、
前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、
過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、
前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、
前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第１削除手段と、
前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第２削除手段と、
前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、
前記撮影画像を表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記第２削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除することを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記検出領域の外縁は、前記撮影画像の中央側の部分であることを特徴とする画像処理装置。
【請求項５】
画像を表示する画像表示システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される前記撮影画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項６】
画像を処理する画像処理方法であって、
（ａ）車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、
（ｃ）過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、
（ｄ）前記工程（ｃ）で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、
（ｅ）前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、
（ｆ）前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、
（ｇ）前記撮影画像を表示する工程と、
を備えることを特徴とする画像処理方法。
【請求項７】
画像を処理する画像処理方法であって、
（ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、
（ｃ）物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、
（ｄ）前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、
を備えることを特徴とする画像処理方法。
【請求項１】
画像を処理する画像処理装置であって、
車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、
前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、
過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、
前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、
前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第１削除手段と、
前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第２削除手段と、
前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、
前記撮影画像を表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記第２削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除することを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記検出領域の外縁は、前記撮影画像の中央側の部分であることを特徴とする画像処理装置。
【請求項５】
画像を表示する画像表示システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される前記撮影画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項６】
画像を処理する画像処理方法であって、
（ａ）車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、
（ｃ）過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、
（ｄ）前記工程（ｃ）で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、
（ｅ）前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、
（ｆ）前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、
（ｇ）前記撮影画像を表示する工程と、
を備えることを特徴とする画像処理方法。
【請求項７】
画像を処理する画像処理方法であって、
（ａ）車両の周辺を撮影するカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、
（ｃ）物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、
（ｄ）前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１６９８２６（Ｐ２０１２−１６９８２６Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２８５８９（Ｐ２０１１−２８５８９）
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]