画像判定装置、画像判定方法および画像判定プログラム
【課題】開閉する可動部に応じて方向及び位置が変わる撮像部が適切な位置および方向となっているか否かを効率的かつ正確に判定すること。
【解決手段】画像判定装置１０の記憶部１３が、撮像部１２により可動部１１の開状態で撮影された画像データに含まれる開状態の特徴をなす第１の部分画像データ１３ａを記憶する。また、記憶部１３は、撮像部１２により可動部１１の閉状態で撮影された画像データに含まれる閉状態の特徴をなす第２の部分画像データ１３ｂを記憶する。そして、判定部１４が、記憶部１３に記憶された第１の部分画像データ１３ａ及び第２の部分画像データ１３ｂを用いて、判定対象画像データが閉状態で撮影された画像データであるか否かを判定する。
【解決手段】画像判定装置１０の記憶部１３が、撮像部１２により可動部１１の開状態で撮影された画像データに含まれる開状態の特徴をなす第１の部分画像データ１３ａを記憶する。また、記憶部１３は、撮像部１２により可動部１１の閉状態で撮影された画像データに含まれる閉状態の特徴をなす第２の部分画像データ１３ｂを記憶する。そして、判定部１４が、記憶部１３に記憶された第１の部分画像データ１３ａ及び第２の部分画像データ１３ｂを用いて、判定対象画像データが閉状態で撮影された画像データであるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像判定装置、画像判定方法および画像判定プログラムに関する。
【背景技術】
【０００２】
従来、車両の前後左右に設置された４台の車載カメラがそれぞれ撮影した４つの画像データを合成して合成画像データを生成し、生成した合成画像データを車両内の表示部に出力して合成画像を表示させる車両周辺監視装置が知られている。
【０００３】
図１７は、車両周辺監視装置が生成した合成画像を表示部に表示した一例を示す図である。図１７に示すように、表示部に表示された車両５の合成画像は、あたかも車両５の上方の位置から車両５の全体を撮影した俯瞰画像となるため、該車両５の運転手は、車両５並びに車両５の周辺状況を把握しつつ、該車両５の操作を行うことが可能となる。
【０００４】
ここで、上記４台の車載カメラのうちの左右２台の車載カメラは、車両のドアミラーに設置される場合がある。かかる場合に、ドアミラーが開いた状態で画像を撮影した場合には、適正な俯瞰画像データを生成できる。一方で、ドアミラーが閉じた状態で画像を撮影した場合には、左右２台の車載カメラで撮影した画像に車体が写りこみ、結果的に適正な俯瞰画像データを生成できない可能性がある。ドアミラーに設置された左右２台の車載カメラは、ドアミラーの回転に応じて撮影方向が変化するからである。
【０００５】
図１８は、ドアミラーが開いている場合の４台の車載カメラの撮影領域を説明するための図であり、図１９は、ドアミラーが閉じている場合の４台の車載カメラの撮影領域を説明するための図である。図１８に示すように、車載カメラ１０ａ〜１０ｄの撮影領域２０ａ〜２０ｄは、それぞれ車体の法線方向を視点とした領域となる。このため、車両周辺監視装置が、４台の車載カメラ１０ａ〜１０ｄが撮影した画像データを合成すると、車両５の周囲全てをカバーする俯瞰画像データを生成することができる。
【０００６】
これに対して、図１９では、車載カメラ１０ｃ及び１０ｄの撮影領域２０ｃ及び２０ｄは、それぞれ車体の法線方向を視点とした領域ではないので、車載カメラ１０ｃ及び１０ｄで撮影できない領域３０ａ及び３０ｂが生ずる。このため、車両周辺監視装置が、４台の車載カメラ１０ａ〜１０ｄが撮影した画像データを合成したとしても車両５の周辺全てをカバーする俯瞰画像データを生成することができない。
【０００７】
このように、車両周辺監視装置は、ドアミラーが閉じている場合には欠落箇所を含む俯瞰画像データを生成することになる。このため、車両周辺監視装置は、ドアミラーが閉じている場合には、警告等のメッセージを表示部に表示させる等により、俯瞰画像に欠落箇所が含まれる旨を運転手に通知する必要がある。
【０００８】
画像処理技術を用いて車載カメラの光軸ずれを判定する技術が知られている。具体的には、予め１のテンプレート画像データを準備しておき、車載カメラが画像を撮影したならば、撮影した画像データとテンプレート画像データとのずれを検出することにより、車載カメラの光軸がずれているか否かを判定することになる。このテンプレート画像データには、例えば、車両のボディラインの位置データやウインカの点灯位置のデータが含まれる。そして、従来技術では、車載カメラにより撮影された画像データのボディラインの位置とテンプレート画像データのボディラインの位置とが所定の閾値以上離れている場合には、車載カメラの光軸がずれていると判定する。
【０００９】
また、ウインカの点灯位置を利用する場合には、ウインカの点灯時と非点灯時との差分画像データからウインカの点灯位置を判定する。そして、従来技術では、判定した点灯位置とテンプレート画像データの点灯位置とが所定の閾値以上離れている場合に、車載カメラの光軸がずれていると判定する。かかる従来技術を応用すれば、車載カメラの画像データで車載カメラの光軸のずれを検出できる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４―１６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記ボディラインを用いて開閉状態を検知する従来技術では、車載カメラの撮影した画像データに複雑な背景画像が映り込む場合に、背景画像から得られるエッジラインにより、誤った判定を行う可能性があった。すなわち、ボディラインは本来の位置からずれている、すなわち光軸がすれているにも拘らず、テンプレート画像のボディラインの位置に背景画像の影響によりノイズであるエッジラインが存在する場合、光軸がずれていないと誤判定する可能性がある。
【００１２】
また、実際にボディラインを含んだ画像からボディラインを示すエッジを抽出すると、一本の線状のエッジラインとしてボディラインが抽出されることは稀で、複数の線状のエッジラインが近接した位置に存在しつつ全体としてボディラインを形成するような状態としてエッジが検出されることが多い。従って、このようにボディラインが複数のエッジラインの集合として検出された場合には、いずれのエッジをテンプレート画像データのボディラインとのずれ判定対象とすべきかを特定することが困難になる。
【００１３】
１のテンプレート画像とカメラ画像とのずれの検出を閾値処理によっておこなう上記従来技術では、いかなる閾値を設定すべきかが問題となる。例えば、閾値を小さく設定した場合には、僅かな誤差であっても、車載カメラの光軸がずれていると判定してしまう。一方、閾値を大きくした場合には、車載カメラの光軸がずれている場合でも、車載カメラの光軸がずれていないと判定してしまう。このため、繰り返し試行錯誤して最適な閾値を微調整する際に多大の苦労が必要となる。
【００１４】
開示の技術は、上記従来技術の問題点に鑑みてなされたものであって、開閉する可動部に応じて方向が変わるカメラが適切な方向となっているか否かを背景の影響によらず判定することができる画像判定装置等を提供することを目的とする。
【課題を解決するための手段】
【００１５】
開示の画像判定装置は、可動部に設けられた撮像部により可動部の第１の状態で撮影された画像データのうち第１の状態の特徴を含む第１のデータ、並びに、撮像部により可動部の第２の状態で撮影された画像データのうち第２の状態の特徴を含む第２のデータを記憶する。そして、画像判定装置は、撮像部により撮影された判定対象となる判定対象画像データにつき、記憶部に記憶した第１のデータに対応する判定対象画像データの特徴及び第２のデータに対応する判定対象画像データの特徴を比較する。そして、画像判定装置は、結果に基づいて判定対象画像データが可動部の第１の状態で撮影された画像データであるか否かを判定する。
【発明の効果】
【００１６】
開示の画像判定装置によれば、開閉する可動部に応じて方向が変わる撮像部が適切な方向となっているか否かを背景の影響によらず判定することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施例１にかかる画像判定装置の構成を示す図である。
【図２】図２は、車両と車両に設置された車載カメラとの関係を示す図である。
【図３】図３は、本実施例２にかかる画像処理装置の構成を示す図である。
【図４】図４は、第１のテンプレートデータを生成する処理を説明するための図である。
【図５】図５は、第２のテンプレートデータを生成する処理を説明するための図である。
【図６】図６は、本実施例２にかかるミラー開閉判定部の処理を説明するための図である。
【図７】図７は、図６に示した判定対象画像データに対する第１の尤度と第２の尤度とを示す図である。
【図８】図８は、テンプレート生成部の処理手順を示すフローチャートである。
【図９】図９は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。
【図１０】図１０は、本実施例３にかかる画像処理装置の構成を示す図である。
【図１１】図１１は、本実施例３にかかるミラー開閉判定部の処理を説明するための図である。
【図１２】図１２は、本実施例３にかかる画像処理装置の処理手順を示すフローチャートである。
【図１３】図１３は、その他の特徴部分の例１を説明するための図である。
【図１４】図１４は、その他の特徴部分の例２を説明するための図である。
【図１５】図１５は、その他の特徴部分の例３を説明するための図である。
【図１６】図１６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
【図１７】図１７は、車両周辺監視装置が生成した合成画像を表示部に表示した一例を示す図である。
【図１８】図１８は、ドアミラーが開いている場合の４台の車載カメラの撮影領域を説明するための図である。
【図１９】図１９は、ドアミラーが閉じている場合の４台の車載カメラの撮影領域を説明するための図である。
【発明を実施するための形態】
【００１８】
以下に、本願の開示する画像判定装置、画像判定方法及び画像判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、処理内容を矛盾させない範囲で適宜組合せることが可能である。
【実施例１】
【００１９】
本実施例１にかかる画像判定装置の構成の一例について説明する。図１は、本実施例１にかかる画像判定装置の構成を示す図である。図１に示すように、この画像判定装置１０は、記憶部１３、判定部１４を有する。また、画像判定装置１０は、撮像部１２に接続する。
【００２０】
可動部１１は、第１の状態である開状態と第２の状態である閉状態との２つの状態に可動可能な部位である。撮像部１２は、可動部１１に設けられた撮像装置である。可動部１１に設けられているため、可動部１１の開閉に応じて撮像部１２の撮影方向が変わる。記憶部１３は、第１のデータ１３ａ並びに第２のデータ１３ｂを記憶する記憶部である。第１のデータ１３ａは、撮像部１２により可動部１１の開状態で撮影された画像データに含まれる開状態の特徴をなすデータである。第２のデータ１３ｂは、撮像部１２により可動部１１の閉状態で撮影された画像データに含まれる閉状態の特徴をなすデータである。例えば、第１のデータ１３ａは、可動部１１が開状態のときに撮影された画像データであれば、画像上の特徴が常に現れる領域を特定できるデータである。また例えば、第２のデータ１３ｂは、可動部１１の閉状態のときに撮影された画像データであれば、画像上の特徴が常に現れる領域を特定できるデータである。
【００２１】
判定部１４は、撮像部１２により判定対象となる判定対象画像データが撮影された場合に、記憶部１３に記憶した第１のデータ１３ａ及び第２のデータ１３ｂを取得する。そして、判定部１４は、第１のデータ１３ａに対応する前記判定対象画像データの特徴、及び、第２のデータ１３ｂに対応する前記判定対象画像データの特徴を比較した結果に基づいて判定対象画像データが可動部１１の開状態で撮影された画像データであるか否かを判定する。
【００２２】
一般的に、判定対象画像データに複雑な背景画像が映り込んでいる場合あっても、可動部１１の開状態で撮影された画像データの所定の部分画像には、開状態で撮影されたことを示す特徴が顕著に現れる。同様に、可動部１１の閉状態で撮影された画像データの所定の部分画像には、閉状態で撮影されたことを示す特徴が顕著に現れる。
【００２３】
本実施例１にかかる画像判定装置１０は、開状態で撮影された画像データの特徴および閉状態で撮影された画像データの特徴の両方を利用し、判定対象画像データが有する両特徴のどちらがより大きいかを比較することによって、開状態で撮影された画像データであるか否かを判定する。例えば、可動部１１が閉状態であるにも拘らず、判定画像データ上のノイズがたまたま開状態の特徴があるべき位置に生じていたとしても、閉状態で特徴が検出される判定画像データ上の領域には、本来の閉状態である特徴が顕著に現れるはずである。従って、判定対象画像データが含んでいる両者の状態を比較することで、背景の影響により誤判定する可能性を抑えることができる。
【００２４】
また、例えば、画像判定装置１０が、第１のデータ１３ａおよび第２のデータ１３ｂとして、画像上のエッジが検出される領域を利用することができる。この場合、判定対象画像データから細かいエッジが複数検出されたとしても、第１のデータ１３ａまたは第２のデータ１３ｂの一方との差分を検出するのではなく、第１のデータ１３ａおよび第２のデータ１３ｂにそれぞれ相当する判定対象画像データが有する特徴のうちどちらが大きいかに基づき判断することができる。従って、画像判定装置１０によれば、判定対象画像データ内の複数のエッジのうちいずれを判定対象とすべきかについて考慮する必要が無くなる。
【００２５】
また、画像判定装置１０は、従来技術のように１のテンプレートとの相違を閾値によって判定する必要がないので、作業者は実験等を繰り返して、閾値の値を微調整する必要を生じさせない。また例えば、可動部１１がドアミラーであれば、ドアミラーの開閉状態を検出するためのセンサを必要とせずに、カメラ画像だけで開閉状態を判定できるので、センサを取り付けるコストを抑止することができる。
【実施例２】
【００２６】
まず、車両と車両に設置された車載カメラとの関係の一例について説明する。図２は、車両と車両に設置された車載カメラとの関係を示す図である。図２に示す例では、上方から鉛直下向きに車両５０を見た場合の図であり、車両５０のドアミラー５０ａ，５０ｂは、開状態である。図２に示すように、車両５０の前後左右に４台の車載カメラ６０ａ〜６０ｄが設置される。具体的に、車両５０の前方に車載カメラ６０ａが設置され、車両５０の後方に車載カメラ６０ｂが設置される。また、車載カメラ６０ｃ，６０ｄは、開閉可能なドアミラー５０ａ，５０ｂの下部にそれぞれ設置される。このため、ドアミラー５０ａ，５０ｂの開閉に伴って、車載カメラ６０ｃ，６０ｄの位置や撮影方向が変化する。なお、車載カメラ６０ａ，６０ｂは、例えば、車載カメラの光軸が車両５０のボディラインに対して垂直で、路面と光軸とのなす角が例えば４５度となるように、車両５０に設置されているものとする。また、車載カメラ６０ｃ，６０ｄは、ドアミラー５０ａ，５０ｂが開いている場合に、車載カメラ６０ｃ，６０ｄの光軸が車両５０のボディラインに対して垂直で、路面と光軸とのなす角が例えば４５度となるように、車両５０に設置されているものとする。また、ドアミラー５０ａ，５０ｂは、互いに同期して開閉するものとする。
【００２７】
なお、車載カメラ６０ａ〜６０ｄの光軸と路面とのなす角は、４５度に限られるものではない。例えば、車載カメラ６０ａ〜６０ｄの光軸と路面とのなす角は、４０度〜５０度の範囲に含まれていることが考えられる。車載カメラ６０ｃ、６０ｄは、撮影範囲の中に、車載カメラ６０ｃ、６０ｄを搭載した車両のボディの一部が含まれるような確度に光軸が設定されていることとする。
【００２８】
次に、本実施例２にかかる画像処理装置の構成の一例について説明する。図３は、本実施例２にかかる画像処理装置の構成を示す図である。図３に示すように、この画像処理装置１００は、入力部１１０、画像表示部１２０、テンプレート生成部１３０、記憶部１４０、画像合成部１５０、ミラー開閉判定部１６０、警告部１７０を有する。また、画像処理装置１００は、車載カメラ６０ａ〜６０ｄに接続する。車載カメラ６０ａ〜６０ｄは、図２に示した車載カメラ６０ａ〜６０ｄに対応する。画像処理装置１００は、例えば、車両５０などの移動体に搭載されているものとする。なお、ここでは車載カメラが４台設けられている例を示しているが、これに限る必要は無く、車載カメラ６０ｃまたは車載カメラ６０ｄの１台のみでも構わない。
【００２９】
入力部１１０は、例えば、画像処理装置１００を整備する作業者が画像処理装置１００に各種のデータを入力するための入力装置である。例えば、入力部１１０は、タッチパネルに対応する。画像表示部１２０は、いずれかまたは複数の車載カメラから入力された画像をそのまま、もしくは俯瞰画像等のように合成した画像を表示する表示装置である。ここで、俯瞰画像は、あたかも車両５０の上方の位置から車両５０の全体を撮影したような画像である。画像表示部１２０が俯瞰画像を表示すれば、該表示を見た車両５０の運転者は、車両周囲の状況を容易に確認することが可能になる。また、画像表示部１２０が車載カメラ６０ｃや６０ｄにより撮影された画像を表示すれば、該表示を見た車両５０の運転者は、視認しにくい車両側方の状況を容易に確認することが可能になる。なお、画像表示部１２０は、ディスプレイやタッチパネル等に対応する。
【００３０】
テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが開状態又は閉状態の場合に、車載カメラ６０ｃ，６０ｄがそれぞれ撮影した画像データから特徴を抽出することで、第１のテンプレートデータと第２のテンプレートデータを生成する処理部である。テンプレート生成部１３０は、作成した第１，２のテンプレートデータを記憶部１４０に格納する。なお、第１のテンプレートデータおよび第２のテンプレートデータには、それぞれ、車載カメラ６０ｃ用と車載カメラ６０ｄ用の２種類が含まれる。
【００３１】
ここで、第１のテンプレートデータは、ドアミラー５０ａまたは５０ｂが開状態の場合に、車載カメラ６０ｃまたは６０ｄが撮影した全画像データのうち、開状態で撮影した画像の特徴が現れる部分画像データを含む。例えば、ドアミラー５０ａまたは５０ｂが開状態の場合に、車載カメラ６０ｃまたは６０ｄが画像を撮影すると、かかる画像には、車両５０の横方向のボディラインが映りこむ。このような場合には、例えば、テンプレート生成部１３０は、横方向のボディラインの位置情報を含むデータを第１のテンプレートデータとして生成する。なお、車載カメラ６０ｃが撮影した画像データから生成したデータは、車載カメラ６０ｃ用の第１のテンプレートデータとなり、車載カメラ６０ｄが撮影した画像データから生成したデータは、車載カメラ６０ｄ用の第１のテンプレートデータとなる。
【００３２】
第２のテンプレートデータは、ドアミラー５０ａまたは５０ｂが閉状態の場合に、車載カメラ６０ｃまたは６０ｄが撮影した全画像データのうち、閉状態で撮影した画像の特徴が現れる部分画像データを含む。例えば、ドアミラー５０ａまたは５０ｂが閉状態の場合に、車載カメラ６０ｃまたは６０ｄが画像を撮影すると、かかる画像には、車両５０の斜め横方向のボディラインが映りこむ。このような場合には、例えば、テンプレート生成部１３０は、斜め横方向のボディラインの位置情報を含むデータを第２のテンプレートデータとして生成する。なお、車載カメラ６０ｃが撮影した画像データから生成したデータは、車載カメラ６０ｃ用の第２のテンプレートデータとなり、車載カメラ６０ｄが撮影した画像データから生成したデータは、車載カメラ６０ｄ用の第２のテンプレートデータとなる。テンプレート生成部１３０が第１のテンプレートデータおよび第２のテンプレートデータを生成する具体的な処理の説明は後述する。
【００３３】
記憶部１４０は、第１，２のテンプレートデータ、各車載カメラ６０ａ〜６０ｄの位置や方向を含むパラメータのデータを記憶する記憶部である。図３に示すように、記憶部１４０は、第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂ、パラメータデータ１４０ｃを記憶する。ここで、パラメータデータ１４０ｃは、各車載カメラ６０ａ〜６０ｄの位置や方向のデータを含む。
【００３４】
画像合成部１５０は、パラメータデータ１４０ｃに基づいて、車載カメラ６０ａ〜６０ｄが撮影した各画像データを合成することで、俯瞰画像データを生成する処理部である。画像合成部１５０は、俯瞰画像データを画像表示部１２０に出力する。例えば、画像合成部１５０は、パラメータデータ１４０ｃに基づいて、車載カメラが撮影した画像データ上の座標と、俯瞰画像データ上の座標との対応関係を算出する。そして、画像合成部１５０は、車載カメラが撮影した画像データを対応関係に基づいて俯瞰画像データ上に貼り付けることで、俯瞰画像データを生成する。なお、画像合成部１５０は、予め、車載カメラが撮影した画像データ上の座標と俯瞰画像データ上の座標との対応関係を含んだテーブルを保持し、かかるテーブルに基づいて俯瞰画像データを生成してもよい。なお、車載カメラ６０ｃまたは車載カメラ６０ｄの１台のみもしくは２台のみが搭載されている場合には、画像合成部１５０は俯瞰画像データを生成せずに、車載カメラから得られた画像をそのまま画像表示部１２０に出力しても良い。
【００３５】
ミラー開閉判定部１６０は、車載カメラ６０ｃまたは６０ｄの撮影した判定対象となる画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する処理部である。以下の説明において、車載カメラ６０ｃ，６０ｄの撮影した判定対象となる画像データを判定対象画像データと表記する。ミラー開閉判定部１６０は、判定結果を警告部１７０に出力する。
【００３６】
警告部１７０は、ミラー開閉判定部１６０の判定結果に基づいて、画像表示部１２０に警告等の文字を表示させる処理部である。警告部１７０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである旨の情報が判定結果に含まれている場合に、警告等の文字を画像表示部１２０に表示させる。一方、警告部１７０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが開状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである旨の情報が判定結果に含まれている場合には、警告等の文字を画像表示部１２０に表示させる処理を行わない。
【００３７】
判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである場合には、例えば、本来は俯瞰画像内に含まれるべきであるが含まれない被写領域の欠落箇所を含む俯瞰画像が、画像表示部１２０に表示されてしまう。このような場合には、警告部１７０が警告等の文字を画像表示部１２０に表示させることで、運転手に注意発起を行うことができる。なお、警告部１７０は、車内のスピーカ等の出力装置を利用して警告音を鳴らすことで、運転手に注意発起を行ってもよい。
【００３８】
次に、テンプレート生成部１３０が、第１のテンプレートデータ１４０ａおよび第２のテンプレートデータ１４０ｂを生成する処理の一例について具体的に説明する。まず、テンプレート生成部１３０が、第１のテンプレートデータ１４０ａを生成する処理について説明する。また、ここでは一例として、車載カメラ６０ｃが撮影した画像データを用いて第１のテンプレートデータ１４０ａを生成するものとする。車載カメラ６０ｄが撮影した画像データを用いて第１のテンプレートデータ１４０ａを生成する処理は、車載カメラ６０ｃが撮影した画像データから第１のテンプレートデータ１４０ａを生成する処理と同様である。
【００３９】
図４は、第１のテンプレートデータを生成する処理を説明するための図である。テンプレート生成部１３０は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃから画像データを取得する。図４に示す画像データＡは、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データの一例である。ドアミラー５０ａが開いているか否かは、例えば、作業者が入力部１１０を操作してテンプレート生成部１３０に通知することが考えられる。
【００４０】
テンプレート生成部１３０は、画像データＡに対してエッジ抽出等の画像処理を実行し、画像データＡ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、第１のテンプレートデータ１４０ａを生成する。ここで、テンプレート生成部１３０がエッジを抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。図４に示すように、画像データＡの中央付近から下の部分に車両５０が存在しており、車両５０と車両５０以外の背景画像には輝度差が存在している。このため、車両５０の横方向のボディラインが、エッジ部分として抽出され、第１のテンプレートデータ１４０ａが生成される。
【００４１】
テンプレート生成部１３０は、第１のテンプレートデータ１４０ａを生成した場合に、第１のテンプレートデータ１４０ａを画像表示部１２０に出力し、第１のテンプレートデータ１４０ａの画像を表示させる。かかる画像を参照した作業者は、入力部１１０を操作して、第１のテンプレートデータ１４０ａのエッジ部分のうち、不要なエッジ部分を取り除くことで、第１のテンプレートデータ１４０ａを修正しても良い。以下の説明において、第１のテンプレートデータ１４０ａに含まれる車両５０のボディラインに相当するエッジ部分を第１の特徴部分と表記する。
【００４２】
図５は、第２のテンプレートデータを生成する処理を説明するための図である。テンプレート生成部１３０は、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃから画像データを取得する。図５に示す画像データＢは、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃが撮影した画像データの一例である。ドアミラー５０ａが閉じているか否かは、例えば、作業者が入力部１１０を操作してテンプレート生成部１３０に通知するものとする。
【００４３】
テンプレート生成部１３０は、画像データＢに対してエッジ抽出等の画像処理を実行し、画像データＢ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、第２のテンプレートデータ１４０ｂを生成する。ここで、テンプレート生成部１３０がエッジを抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。図５に示すように、画像データＢの左側に斜めの状態で車両５０が存在しており、車両５０と車両５０以外の背景画像には輝度差が存在している。このため、車両５０の斜めのボディラインが、エッジ部分として抽出され、第２のテンプレートデータ１４０ｂが生成される。
【００４４】
テンプレート生成部１３０は、第２のテンプレートデータ１４０ｂを生成した場合に、第２のテンプレートデータ１４０ｂを画像表示部１２０に出力し、第２のテンプレートデータ１４０ｂの画像を表示させる。かかる画像を参照した作業者は、入力部１１０を操作して、第２のテンプレートデータ１４０ｂのエッジ部分のうち、不要なエッジ部分を取り除くことで、第２のテンプレートデータ１４０ｂを修正しても良い。以下の説明において、第２のテンプレートデータ１４０ｂに含まれる車両５０のボディラインに相当するエッジ部分を第２の特徴部分と表記する。
【００４５】
次に、ミラー開閉判定部１６０の処理を具体的に説明する。図６は、本実施例２にかかるミラー開閉判定部の処理を説明するための図である。なお、ミラー開閉判定部１６０は、一例として、車載カメラ６０ｃが撮影した画像データと、車載カメラ６０ｃ用の第１のテンプレートデータおよび第２のテンプレートデータを用いて、ドアミラー５０ａ，５０ｂの開閉状態を判定するものとする。ミラー開閉判定部１６０は、車載カメラ６０ｄが撮影した画像データを用いる場合でも、車載カメラ６０ｃが撮影した画像データの場合と同様にして、車載カメラ６０ｄ用の第１のテンプレートデータおよび第２のテンプレートデータを用いてドアミラー５０ａ，５０ｂの開閉状態を判定する。
【００４６】
まず、ミラー開閉判定部１６０は、車載カメラ６０ｃの撮影した判定対象画像データを取得する。ミラー開閉判定部１６０は、判定対象画像データに対してエッジ抽出等の画像処理を実行し、判定対象画像データ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、エッジ画像データを生成する。ミラー開閉判定部１６０が判定対象画像データからエッジ部分を抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。判定対象画像データには、車両５０以外にも背景画像が存在しているため、エッジ画像データには、車両５０のボディラインのほかに背景画像の形状がエッジ部分として抽出される。
【００４７】
続いて、ミラー開閉判定部１６０は、エッジ画像データと車載カメラ６０ｃ用の第１のテンプレートデータ１４０ａとを比較し、第１のテンプレートデータ１４０ａの第１の特徴部分に対応するエッジ画像データ上の位置を特定する。そして、ミラー開閉判定部１６０は、エッジ画像データ上で、第１の特徴部分に対応する位置から、特徴画像データとして第１の判定部分画像を特定する。そして、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を計数し合計数を求める。以下の説明において、第１の判定部分画像に含まれるエッジ部分の合計数を第１の尤度と表記する。
【００４８】
ミラー開閉判定部１６０が、エッジ部分の合計数を計数する処理はどのような周知技術を用いても構わない。例えば、ミラー開閉判定部１６０は、第１の判定部分画像に含まれる列毎の「１」の数の分布を示すヒストグラムを生成する。そして、ミラー開閉判定部１６０は、ヒストグラムに含まれる第１の判定部分画像の列毎の「１」の数を合計することで、合計数を計数する。なお、第１の判定部分画像は、第１の特徴部分に対応する位置から所定の画素数までの画像を含む部分画像領域であっても良い。また、フレーム上の該部分画像領域を特定可能な座標情報であってもよい。この場合、所定の画素数については、画像処理装置１００を調整する作業者が任意の値に設定しても良い。
【００４９】
続いて、ミラー開閉判定部１６０は、エッジ画像データと車載カメラ６０ｃ用の第２のテンプレートデータ１４０ｂとを比較し、第２のテンプレートデータ１４０ｂの第２の特徴部分に対応するエッジ画像データ上の位置を特定する。そして、ミラー開閉判定部１６０は、エッジ画像データ上で、第２の特徴部分に対応する位置から、特徴画像データとして第２の判定部分画像を特定する。そして、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を計数し合計数を求める。第２の判定部分画像は、第２の特徴部分に対応する位置から所定の画素数までの画像を含む部分画像領域であっても良い。また、フレーム上の該部分画像領域を特定可能な座標情報であってもよい。この場合、所定の画素数については、画像処理装置１００を調整する作業者が任意の値に設定しても良い。以下の説明において、第２の判定部分画像に含まれるエッジ部分の合計数を第２の尤度と表記する。第２の判定部分画像に含まれるエッジ部分の合計数を計数する処理は、上記ヒストグラムを利用する周知技術を用いればよい。
【００５０】
なお、判定対象画像データから第１の判定部分画像および第２の判定部分画像を特定するまでの処理を、ミラー開閉判定部１６０の中に特徴画像生成部として設ける処理部、もしくは、画像処理装置１００内にミラー開閉判定部１６０とは別に特徴画像生成部として設ける処理部に行わせても良い。
【００５１】
続いて、ミラー開閉判定部１６０は、第１の尤度と第２の尤度とを比較することで、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する。具体的に、ミラー開閉判定部１６０は、第１の尤度が第２の尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部１６０は、第１の尤度が第２の尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の尤度と第２の尤度が等しい場合には、例えば、第１の尤度と第２の尤度を再度計数してもよい。
【００５２】
図７は、図６に示した判定対象画像データに対する第１の尤度と第２の尤度とを示す図である。図７の縦軸は尤度の大きさを示す。図７に示すように、この例では、第２の尤度が第１の尤度よりも大きい。このため、ミラー開閉判定部１６０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態の場合に撮影された画像であると判定する。
【００５３】
次に、図３に示したテンプレート生成部１３０が第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂを生成する処理手順の一例について説明する。図８は、テンプレート生成部の処理手順を示すフローチャートである。テンプレート生成部１３０による図８の処理は、例えば、車載カメラを車両に取り付けた時に行うことが考えられる。また例えば、車検時など、車載カメラが正しい位置及び方向に取り付けられていることが確認できた時点で行うことが考えられる。図８に示すように、テンプレート生成部１３０は、入力部１１０からドアミラー５０ａ，５０ｂの開閉状態に関するデータを取得する（ステップＳ１０１）。例えば、ドアミラー５０ａ，５０ｂの開閉状態に関するデータは、ドアミラー５０ａ，５０ｂが開状態である旨のデータ、または、ドアミラー５０ａ，５０ｂが閉状態である旨のデータを含む。
【００５４】
テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが閉じている場合に（ステップＳ１０２，Ｙｅｓ）、車載カメラ６０ｃ，６０ｄから画像データを取得する（ステップＳ１０３）。テンプレート生成部１３０は、画像データから上述のようにエッジ部分を抽出することで、車載カメラ６０ｃ用および車載カメラ６０ｄ用の第２のテンプレートデータ１４０ｂを生成する（ステップＳ１０４）。そして、テンプレート生成部１３０は、第２のテンプレートデータ１４０ｂを記憶部１４０に格納する（ステップＳ１０５）。
【００５５】
一方、テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが開いている場合に（ステップＳ１０２，Ｎｏ）、車載カメラ６０ｃ，６０ｄから画像データを取得する（ステップＳ１０６）。テンプレート生成部１３０は、画像データから上述のようにエッジ部分を抽出することで、車載カメラ６０ｃ用および車載カメラ６０ｄ用の第１のテンプレートデータ１４０ａを生成する（ステップＳ１０７）。そして、テンプレート生成部１３０は、第１のテンプレートデータ１４０ａを記憶部１４０に格納する（ステップＳ１０８）。
【００５６】
次に、図３に示した画像処理装置１００がドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の一例について説明する。図９は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。ミラー開閉判定部１６０による図９の処理は、例えば、車載カメラを取り付けた車両のエンジンが起動された時点で行うことが考えられる。また例えば、車両走行中の任意のタイミングで行うことが考えられる。また例えば、画像合成部１５０が出力用の画像を生成するのと並行して随時行うことが考えられる。図９に示すように、画像処理装置１００のミラー開閉判定部１６０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得する（ステップＳ２０１）。そして、ミラー開閉判定部１６０は、判定対象画像データに対してエッジ抽出を行い、エッジ画像データを生成する（ステップＳ２０２）。
【００５７】
続いて、ミラー開閉判定部１６０は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する（ステップＳ２０３）。ミラー開閉判定部１６０は、エッジ画像データ上の第１、第２の判定部分画像に含まれるエッジ部分の画素数をそれぞれ計数し、第１の尤度及び第２の尤度を算出する（ステップＳ２０４）。
【００５８】
ミラー開閉判定部１６０は、第１の尤度及び第２の尤度を比較して、判定対象画像データが閉状態で撮影された画像データであるか否かを判定し（ステップＳ２０５）、判定結果を警告部１７０に出力する（ステップＳ２０６）。警告部１７０は、判定対象画像データが開状態で撮影された画像データの場合に（ステップＳ２０７，Ｙｅｓ）、そのまま処理を終了する。一方、警告部１７０は、判定対象画像データが閉状態で撮影された画像データの場合に（ステップＳ２０７，Ｎｏ）、警告を表示させるデータを画像表示部１２０に出力する（ステップＳ２０８）。
【００５９】
なお、ドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の順序は、図９の順序に限られるものではない。例えば、画像処理装置１００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得した後に、車載カメラから判定対象画像データを取得してもよい。また、画像処理装置１００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する処理と、車載カメラから判定対象画像データを取得する処理を並列に実行してもよい。
【００６０】
上述してきたように、画像処理装置１００は、判定対象画像データのうち、第１の判定部分画像に含まれるエッジ部分の量と、第２の判定部分画像に含まれるエッジ部分の量とを利用して、判定対象画像データが閉状態で撮影された画像データか否かを判定する。一般的に、判定対象画像データに複雑な背景画像が映り込んでいる場合であっても、ドアミラー５０ａ，５０ｂが開状態では、第１の判定部分画像に該当する部分画像に車両のボディラインのエッジが顕著に現れる。これに対して、ドアミラー５０ａ，５０ｂが閉状態では、第２の判定部分画像に該当する部分画像に車両のボディラインのエッジが顕著に現れる。このため、画像処理装置１００は、第１、第２の判定部分画像に含まれるエッジ部分の合計数のみを利用し、その他の部分画像は利用しないことで、背景画像の影響を取り除きつつ、効率的に閉状態で撮影された画像であるか否かを判定できる。
【００６１】
また、本実施例２にかかる画像処理装置１００は、第１の尤度と第２の尤度との大小関係により、判定対象画像データが閉状態で撮影された画像データか否かを判定する。このため、従来技術のように閾値を比較対象とする必要がないので、作業者は実験等を繰り返して、閾値の値を微調整することがなくなる。したがって、画像処理装置１００は、作業者にかかる負担を軽減させることができる。
【実施例３】
【００６２】
次に、本実施例３にかかる画像処理装置について説明する。図１０は、本実施例３にかかる画像処理装置２００の構成を示す図である。図１０に示すように、この画像処理装置２００は、入力部１１０、画像表示部１２０、テンプレート生成部１３０、記憶部１４０、画像合成部１５０、警告部１７０、ミラー開閉判定部２１０を有する。また、画像処理装置２００は、車載カメラ６０ａ〜６０ｄに接続する。車載カメラ６０ａ〜６０ｄは、図２に示した車載カメラ６０ａ〜６０ｄに対応する。なお、ここでは車載カメラが４台設けられている例を示しているが、これに限る必要は無く、車載カメラ６０ｃおよび車載カメラ６０ｄの２台のみでも構わない。
【００６３】
このうち、図１０に示す入力部１１０、画像表示部１２０、テンプレート生成部１３０の説明は、図３に示した入力部１１０、画像表示部１２０、テンプレート生成部１３０の説明と同様である。また、図１０に示す記憶部１４０、画像合成部１５０、警告部１７０
の説明は、図３に示した記憶部１４０、画像合成部１５０、警告部１７０の説明と同様である。
【００６４】
ミラー開閉判定部２１０は、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する処理部である。ミラー開閉判定部２１０は、判定結果を警告部１７０に出力する。以下において、ミラー開閉判定部２１０の処理を具体的に説明する。
【００６５】
まず、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得し、各判定対象画像データの第１の尤度及び第２の尤度を求める。ミラー開閉判定部２１０が、判定対象画像データから第１の尤度及び第２の尤度を求める処理は、実施例２のミラー開閉判定部１６０と同様である。
【００６６】
そして、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上の場合には、実施例２のミラー開閉判定部１６０と同じ処理を実行する。すなわち、ミラー開閉判定部２１０は、第１の尤度が第２の尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部２１０は、第１の尤度が第２の尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の尤度及び第２の尤度は、車載カメラ６０ｃが撮影した判定対象画像データの第１の尤度及び第２の尤度でもよいし、車載カメラ６０ｄが撮影した判定対象画像データの第１の尤度及び第２の尤度でもよい。
【００６７】
一方、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値未満の場合には、下記の処理を実行する。すなわち、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄの判定対象画像データから求めた各第１の尤度を合計することで、第１の合計尤度を算出する。また、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄの判定対象画像データから求めた各第２の尤度を合計することで、第２の合計尤度を算出する。
【００６８】
そして、ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを比較することで、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する。具体的に、ミラー開閉判定部２１０は、第１の合計尤度が第２の合計尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部２１０は、第１の合計尤度が第２の合計尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の合計尤度と第２の合計尤度とが等しい場合には、ミラー開閉判定部２１０は、例えば、所定時間が経過した後に、第１の尤度と第２の尤度を再度求め、第１の合計尤度と第２の合計尤度とを再計算してもよい。
【００６９】
ここで、ミラー開閉判定部２１０の処理の一例を具体的に説明する。図１１は、本実施例３にかかるミラー開閉判定部２１０の処理を説明するための図である。図１１（ａ）は、車載カメラ６０ｃが撮影した判定対象画像データから求めた第１の尤度および第２の尤度を示す。図１１（ａ）の縦軸は尤度の大きさを示す。図１１（ａ）に示す例では、第１の尤度と第２の尤度との差が閾値未満であるため、ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを求める。
【００７０】
図１１（ｂ）は、車載カメラ６０ｄが撮影した判定対象画像データから求めた第１の尤度および第２の尤度を示す。図１１（ｂ）の縦軸は尤度の大きさを示す。ミラー開閉判定部２１０は、図１１（ａ）の第１の尤度を図１１（ｂ）の第１の尤度と、図１１（ａ）の第２の尤度を第２の尤度と、それぞれ合計することで、図１１（ｃ）に示す第１の合計尤度と第２の合計尤度とを求める。図１１（ｃ）の縦軸は尤度の大きさを示す。図１１（ｃ）に示すように、第１の合計尤度が第２の合計尤度よりも大きい。このため、ミラー開閉判定部２１０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態の場合に車載カメラ６０ｃ，６０ｄに撮影された画像データであると判定する。
【００７１】
次に、図１０に示した画像処理装置２００がドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の一例について説明する。図１２は、本実施例３にかかる画像処理装置の処理手順を示すフローチャートである。図１２に示すように、画像処理装置２００のミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得する（ステップＳ３０１）。そして、ミラー開閉判定部２１０は、判定対象画像データに対してエッジ抽出を行い、エッジ画像データを生成する（ステップＳ３０２）。
【００７２】
続いて、ミラー開閉判定部２１０は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する（ステップＳ３０３）。ミラー開閉判定部２１０は、第１のテンプレートデータ１４０ａの第１の特徴部分に対応するエッジ画像データ上の位置から、特徴画像データとして第１の判定部分画像を特定する。また、第２のテンプレートデータ１４０ｂの第２の特徴部分に対応するエッジ画像データ上の位置から、特徴画像データとして第２の判定部分画像を特定する。エッジ画像データ上の第１、第２の判定部分画像に含まれるエッジ部分の画素数をそれぞれ計数し、第１の尤度及び第２の尤度を算出する（ステップＳ３０４）。ステップＳ３０４では、ミラー開閉判定部２１０は、車載カメラ６０ｃが撮影した判定対象画像データから第１、第２の尤度を算出すると共に、車載カメラ６０ｄが撮影した判定対象画像データから第１、第２の尤度を算出する。
【００７３】
続いて、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上であるか否かを判定する（ステップＳ３０５）。ステップＳ３０５において、ミラー開閉判定部２１０は、車載カメラ６０ｃが撮影した判定対象画像データから算出した第１、第２の尤度を比較してもよいし、車載カメラ６０ｄが撮影した判定対象画像データから算出した第１、第２の尤度を比較してもよい。ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値未満の場合に（ステップＳ３０６，Ｎｏ）、第１の合計尤度と第２の合計尤度とを算出する（ステップＳ３０７）。
【００７４】
ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを比較して、判定対象画像データが開状態で撮影された画像データであるか否かを判定し（ステップＳ３０８）、判定結果を警告部１７０に出力する（ステップＳ３０９）。警告部１７０は、判定対象画像データが開状態で撮影された画像データの場合に（ステップＳ３１０，Ｙｅｓ）、そのまま処理を終了する。一方、警告部１７０は、判定対象画像データが閉状態で撮影された画像データの場合に（ステップＳ３１０，Ｎｏ）、警告を表示させるデータを画像表示部１２０に出力する（ステップＳ３１１）。
【００７５】
一方、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上の場合に（ステップＳ３０６，Ｙｅｓ）、第１の尤度と第２の尤度とを比較して、判定対象画像データが開状態で撮影された画像データであるか否かを判定する（ステップＳ３１２）。そして、ミラー開閉判定部２１０は、ステップＳ３０９に移行する。
【００７６】
なお、ドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の順序は、図１２の順序に限られるものではない。例えば、画像処理装置２００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得した後に、車載カメラから判定対象画像データを取得してもよい。また、画像処理装置２００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する処理と、車載カメラから判定対象画像データを取得する処理を並列に実行してもよい。
【００７７】
上述した画像処理装置２００は、第１の尤度と第２の尤度との差が閾値未満の場合に、各第１の尤度を合計した第１の合計尤度と各第２の尤度を合計した第２の合計尤度とを基にして、判定対象画像データが閉状態で撮影された画像データか否かを判定する。ドアミラー５０ａとドアミラー５０ｂとは、上述の通り、互いに同期して開閉する。例えば、車室内に設けられた１の操作ボタンを運転者により押下されたことを契機として、両方のドアミラーに対して開くまたは閉じる制御が行われるように、電動により同時に開閉する。そのようなドアミラー５０ａおよび５０ｂであれば、片方が開状態であればもう一方も開状態であり、片方が閉状態であればもう一方も閉状態である。背景画像の影響で、一方の車載カメラが撮影した判定対象画像データの第１の尤度と第２の尤度との差が僅かであっても、他方の車載カメラが撮影した判定対象画像データの第１の尤度と第２の尤度との差が顕著に現れる場合がある。というのは、一方のカメラの画像上に含まれる背景上のノイズであるエッジと同様の位置に、もう一方にもノイズであるエッジが表れる可能性が低いからである。このため、各第１の尤度と各第２の尤度とを合計することで、第１の合計尤度と第２の合計尤度との差が明確となる。したがって、画像処理装置２００は、一方の車載カメラが撮影した判定対象画像データの第１の尤度及び第２の尤度に差が現れない場合であっても、判定対象画像データが開状態で撮影された画像データであるか否かを効率的に判定することができる。
【００７８】
なお、画像処理装置２００は、第１の合計尤度と第２の合計尤度が等しい場合には、車両５０の両側に何らかの障害物が存在し、かかる障害物の影響により、第１の合計尤度と第２の合計尤度が等しくなったと考えられる。このため、画像処理装置２００は、第１の合計尤度と第２の合計尤度が等しい場合には、所定の時間が経過した後に、再度第１の合計尤度と第２の合計尤度とを求めて、判定処理を再度実行しても良い。
【００７９】
車両５０の両側に障害物が存在していても車両５０が移動している場合には、所定時間後には、車載カメラ６０ｃ，６０ｄの撮影方向に存在していた障害物は移動するものと考えられる。このため、所定時間経過後には、判定対象画像データから障害物の影響を除外することができ、画像装置３００は、判定対象画像データが開状態で撮影された画像データであるか否かを正確に判定することができる。
【００８０】
ところで、本実施例２，３では、第１のテンプレートデータ１４０ａの第１の特徴部分及び第２のテンプレートデータ１４０ｂの第２の特徴部分が、車両５０のボディラインとなる場合を例に説明したがこれに限定されるものではない。以下において、その他の特徴部分の例１〜３について説明する。
【００８１】
まず、その他の特徴部分の例１について説明する。図１３は、その他の特徴部分の例１を説明するための図である。図１３に示すように、例えば、車両５０にシールを貼り付け、車載カメラ６０ｃ，６０ｄに撮影された画像データのうち、かかるシールの部分画像を第１、第２の特徴部分としてもよい。図１３（ａ）は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１３（ａ）のシールの形状が、第１の特徴部分となる。図１３（ｂ）は、ドアミラー５０ａが閉状態の場合に車載カメラ６０ｃが撮影した画像データである。このため、図１３（ｂ）のシールの形状が、第２の特徴部分となる。シールの色を車両の色と異なる色にすることで、より正確に第１、第２の特徴部分を検出することができる。
【００８２】
その他の特徴部分の例２について説明する。図１４は、その他の特徴部分の例２を説明するための図である。例えば、車載カメラ６０ｃ，６０ｄに撮影された画像データのうち、車両５０のドアノブの部分画像を第１、第２の特徴部分としてもよい。図１４（ａ）は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１４（ａ）のドアノブの形状が、第１の特徴部分となる。図１４（ｂ）は、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１４（ｂ）のドアノブの形状が、第２の特徴部分となる。
【００８３】
その他の特徴部分の例３について説明する。図１５は、その他の特徴部分の例３を説明するための図である。車両５０が、夜間照明用に近赤外照射装置を有する場合には、画像処理装置１００，２００は、かかる近赤外線照射装置を利用して第１、第２の特徴部分を抽出してもよい。画像データ上において、赤外線に反射される車両部分は、他の部分に比べて輝度値が著しく大きな値となるので、背景画像の影響を受けることなく、赤外線を反射する部分の形状を特徴部分としてより正確に検出することができる。また、ミラー開閉判定部１６０，２１０は、エッジ画像データを生成する場合に、赤外線を車両に照射している場合の画像データと赤外線を車両に照射していない場合の画像データとの差分を取ることで差分画像データを生成してもよい。ミラー開閉判定部１６０，２１０は、差分画像データを用いてエッジ画像データを生成することで、背景画像の影響を取り除くことができ、より正確に、判定対象画像データが閉状態で撮影された画像データであるか否かを効率的に判定することができる。
【００８４】
例えば従来技術ではウインカの点灯・非点灯時に合わせて撮影した画像からウインカ位置を特定し、該特定したウインカ位置を利用してカメラ画像の光軸ずれを検出している。これに対して、上記例１〜３のような特徴部分を利用すれば、撮影タイミングを何かに合わせる必要を生じさせないため、開状態で撮影された画像データであるか否かを容易に行える。
【００８５】
本実施例２，３では、第１、第２の尤度を求める場合に、第１，２の判定部分画像に含まれるエッジ部分の画素数を計数することで求め、尤度を直接比較していたが、これに限定されるものではない。以下において、第１、第２について、尤度ではなく、事後確率を求め、事後確率を比較するその他の例１及び例２を示す。
【００８６】
まず、第１、第２の尤度を求めるその他の例１について説明する。例えば、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を、第１のテンプレートデータ１４０ａに含まれる全画素数で除算することで、第１の尤度を求める。また、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を、第２のテンプレートデータ１４０ｂに含まれる全画素数で除算することで、第２の尤度を求める。ミラー開閉判定部２１０もミラー開閉判定部１６０と同様に、第１、第２の尤度を求めることができる。
【００８７】
次に、第１、第２の尤度を求めるその他の例２について説明する。例えば、ミラー開閉判定部１６０、２１０は、ベイズの定理を利用して、第１、第２の尤度を求めてもよい。ここで、第１の事後確率は、ベイズの定理を利用すると、
【数１】
によって表すことができる。
【００８８】
式１に含まれる尤度Ｐ（Ｄ｜ｘ＝開）は、判定対象画像データが、開状態で撮影された「らしさ」を示すものである。具体的に、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を、第１のテンプレートデータ１４０ａに含まれる全画素数で除算することで求めることができる。
【００８９】
式１に含まれるＰ（Ｄ｜ｘ＝閉）は、判定対象画像データが、閉状態で撮影された「らしさ」を示すものである。具体的に、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を、第２のテンプレートデータ１４０ｂに含まれる全画素数で除算することで求めることができる。
【００９０】
式１に含まれるＰ（ｘ＝開）、Ｐ（ｘ＝閉）はそれぞれ、開状態、閉状態となる場合の事前確率である。事前に開状態、閉状態の傾向が不明の場合には、ミラー開閉判定部１６０は、Ｐ（ｘ＝開）＝０．５、Ｐ（ｘ＝閉）＝０．５として、第１の尤度を算出する。なお、事前に開状態、閉状態の傾向が分かっている場合には、かかる傾向に合わせて、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）の値を調整する。例えば、ミラー開閉判定部１６０は、閉状態よりも開状態となる傾向が高い場合には、Ｐ（ｘ＝開）＝０．６、Ｐ（ｘ＝閉）＝０．４として、第１の尤度を算出する。なお、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）の値は、作業者が入力部１１０を操作して、ミラー開閉判定部１６０に入力するものとする。
【００９１】
第２の尤度は、ベイズの定理を利用すると、
【数２】
によって表すことができる。式２に含まれるＰ（Ｄ｜ｘ＝開）、Ｐ（Ｄ｜ｘ＝閉）、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）は、式１で説明したＰ（Ｄ｜ｘ＝開）、Ｐ（Ｄ｜ｘ＝閉）、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）と同様である。
【００９２】
ミラー開閉判定部１６０、２１０が、ベイズの定理を用いて第１、第２の事後確率を算出すると、尤度に対して事前確率による重み付けが行える。このため、ミラー開閉判定部１６０は、運転手のドアミラー５０ａ，５０ｂの開閉する傾向をさらに考慮して判定対象画像データが閉状態で撮影された画像データであるか否かを判定することができる。なお、ミラー開閉判定部２１０もミラー開閉判定部１６０と同様に、ベイズの定理を用いて第１、第２の尤度を求めることができる。
【００９３】
なお、本実施例２，３にかかるミラー開閉判定部１６０，２１０は、判定対象画像データのエッジ方向をさらに利用して、第１、第２の尤度を求めてもよい。ここでは、図２で説明した状態で車載カメラ６０ｃ，６０ｄが車両５０に設置されている場合を例にして説明する。この場合、ドアミラー５０ａ，５０ｂが開状態で車載カメラ６０ｃ，６０ｄが撮影した画像データには、横方向および縦方向のエッジが多く含まれる傾向がある。これに対して、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データには、横方向および縦方向のエッジが少なくなり斜め方向のエッジが多くなる傾向がある。
【００９４】
このため、ミラー開閉判定部１６０，２１０は、判定対象画像データの第１の判定部分画像に含まれる横方向及び縦方向のエッジ部分の画素数を計数することで、第１の尤度を算出する。また、ミラー開閉判定部１６０，２１０は、判定対象画像データの第２の判定部分画像に含まれる横方向及び縦方向以外のエッジ部分の画素数を計数することで、第２の尤度を算出する。ミラー開閉判定部１６０，２１０が、判定対象画像データから横方向及び縦方向のエッジを抽出する場合には、例えば、Ｓｏｂｅｌフィルタ等の周知技術を用いればよい。また、ミラー開閉判定部１６０，２１０は、例えば、微分エッジ検出などで抽出したエッジから横方向・縦方向のエッジを取り除くことで、横方向及び縦方向以外のエッジを抽出することができる。
【００９５】
上記のように、ミラー開閉判定部１６０，２１０が、判定対象画像データのエッジ方向をさらに利用して、第１、第２の尤度を算出することで、より正確に、判定対象画像データが閉状態で撮影された画像データであるか否かを判定することができる。
【００９６】
なお、本実施例２，３では、移動体の一例として、車両を用いて実施例の説明を行ったがこれに限定されるものではない。例えば、路面電車、自動二輪車等の車両を含む移動体にも同様にして本願発明を適用することができる。
【００９７】
ここで、図３および図１０に示したテンプレート生成部１３０、画像合成部１５０、ミラー開閉判定部１６０、２１０、警告部１７０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。または、上記処理部１３０、１５０、１６０、２１０、１７０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。図３に示した記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。図１０に示したミラー開閉判定部２１０は、ＡＳＩＣやＦＰＧＡなどの集積装置、ＣＰＵ、ＭＰＵなどの電子回路に対応する。
【００９８】
ところで、図３，１０に示した画像処理装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００，２００の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、テンプレート生成部１３０、記憶部１４０、画像合成部１５０をカーナビゲーションシステムなどの車内の別の装置に組み込んでもよい。また、ミラー開閉判定部１６０，２１０、記憶部１４０を、着脱可能な外部装置または携帯端末等に搭載し、かかる外部装置または携帯端末等を画像処理装置１００に有線または無線で接続するようにしてもよい。
【００９９】
なお、画像処理装置１００，２００は、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置に、画像処理装置１００，２００の各機能を搭載することによって実現することもできる。
【０１００】
図１６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図１６に示すように、このコンピュータ３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、モニタ３０３を有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る媒体読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置３０５を有する。また、コンピュータ３００は、画像を撮影する複数のカメラ３０６と、各種情報を一時記憶するＲＡＭ（Random Access Memory）３０７と、ハードディスク装置３０８を有する。各装置３０１〜３０８は、バス３０９に接続される。
【０１０１】
そして、ハードディスク装置３０８には、図３，１０に示したミラー開閉判定部１６０，２１０と同様の機能を有する開閉判定プログラム３０８ａを記憶する。また、ハードディスク装置３０８は、図３，１０に示した第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂにそれぞれ対応する第１のテンプレートデータ３０８ｂ、第２のテンプレートデータ３０８ｃを記憶する。
【０１０２】
ＣＰＵ３０１が開閉判定プログラム３０８ａをハードディスク装置３０８から読み出してＲＡＭ３０７に展開することにより、開閉判定プログラム３０８ａは、開閉判定プロセス３０７ａとして機能するようになる。そして、開閉判定プロセス３０７ａは、第１のテンプレートデータ３０８ｂ、第２のテンプレートデータ３０８ｃを利用して、判定対象画像データが開状態で撮影された画像データであるか否かを判定する。
【０１０３】
なお、上記の開閉判定プログラム３０８ａは、必ずしもハードディスク装置３０８に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１０４】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０５】
（付記１）可動部に設けられた撮像部により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像部により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像部により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定部と
を備えたことを特徴とする画像判定装置。
【０１０６】
（付記２）前記判定対象画像データから特徴を抽出した特徴画像データを生成する特徴画像生成部を更に備え、前記判定部は、前記特徴画像データのうち前記第１のデータに該当する部分画像の特徴量を第１の尤度として抽出し、前記特徴画像データのうち前記第２のデータに該当する部分画像の特徴量を第２の尤度として抽出し、前記第１の尤度及び第２の尤度を比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする付記１に記載の画像判定装置。
【０１０７】
（付記３）前記特徴画像生成部は、複数の前記撮像部によりそれぞれ撮影された判定対象画像データを取得し、前記判定対象画像データ毎に前記特徴画像データを生成し、前記判定部は、前記特徴画像データ毎に第１の尤度及び第２の尤度を抽出し、各第１の尤度の合計と各第２の尤度の合計とを比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする付記２に記載の画像判定装置。
【０１０８】
（付記４）画像判定装置により実行される方法であって、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定ステップ
を含んだことを特徴とする画像判定方法。
【０１０９】
（付記５）コンピュータに、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定手順
を実行させることを特徴とする画像判定プログラム。
【０１１０】
（付記６）可動部に設けられた撮像装置と、前記撮像装置により撮像された画像データが如何なる状態で撮影された画像データなのかを判定する画像判定装置と、前記画像判定装置の判定結果に応じた出力を行う出力装置とを有する画像判定システムであって、
前記画像判定装置は、
前記撮像装置により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像装置により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像装置により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定し、判定結果を前記出力装置に通知する判定部と
を備えたことを特徴とする画像判定システム。
【符号の説明】
【０１１１】
１０ 画像判定装置
１１ 可動部
１２ 撮像部
１３ 記憶部
１３ａ 第１の部分画像データ
１３ｂ 第２の部分画像データ
１４ 判定部
【技術分野】
【０００１】
本発明は、画像判定装置、画像判定方法および画像判定プログラムに関する。
【背景技術】
【０００２】
従来、車両の前後左右に設置された４台の車載カメラがそれぞれ撮影した４つの画像データを合成して合成画像データを生成し、生成した合成画像データを車両内の表示部に出力して合成画像を表示させる車両周辺監視装置が知られている。
【０００３】
図１７は、車両周辺監視装置が生成した合成画像を表示部に表示した一例を示す図である。図１７に示すように、表示部に表示された車両５の合成画像は、あたかも車両５の上方の位置から車両５の全体を撮影した俯瞰画像となるため、該車両５の運転手は、車両５並びに車両５の周辺状況を把握しつつ、該車両５の操作を行うことが可能となる。
【０００４】
ここで、上記４台の車載カメラのうちの左右２台の車載カメラは、車両のドアミラーに設置される場合がある。かかる場合に、ドアミラーが開いた状態で画像を撮影した場合には、適正な俯瞰画像データを生成できる。一方で、ドアミラーが閉じた状態で画像を撮影した場合には、左右２台の車載カメラで撮影した画像に車体が写りこみ、結果的に適正な俯瞰画像データを生成できない可能性がある。ドアミラーに設置された左右２台の車載カメラは、ドアミラーの回転に応じて撮影方向が変化するからである。
【０００５】
図１８は、ドアミラーが開いている場合の４台の車載カメラの撮影領域を説明するための図であり、図１９は、ドアミラーが閉じている場合の４台の車載カメラの撮影領域を説明するための図である。図１８に示すように、車載カメラ１０ａ〜１０ｄの撮影領域２０ａ〜２０ｄは、それぞれ車体の法線方向を視点とした領域となる。このため、車両周辺監視装置が、４台の車載カメラ１０ａ〜１０ｄが撮影した画像データを合成すると、車両５の周囲全てをカバーする俯瞰画像データを生成することができる。
【０００６】
これに対して、図１９では、車載カメラ１０ｃ及び１０ｄの撮影領域２０ｃ及び２０ｄは、それぞれ車体の法線方向を視点とした領域ではないので、車載カメラ１０ｃ及び１０ｄで撮影できない領域３０ａ及び３０ｂが生ずる。このため、車両周辺監視装置が、４台の車載カメラ１０ａ〜１０ｄが撮影した画像データを合成したとしても車両５の周辺全てをカバーする俯瞰画像データを生成することができない。
【０００７】
このように、車両周辺監視装置は、ドアミラーが閉じている場合には欠落箇所を含む俯瞰画像データを生成することになる。このため、車両周辺監視装置は、ドアミラーが閉じている場合には、警告等のメッセージを表示部に表示させる等により、俯瞰画像に欠落箇所が含まれる旨を運転手に通知する必要がある。
【０００８】
画像処理技術を用いて車載カメラの光軸ずれを判定する技術が知られている。具体的には、予め１のテンプレート画像データを準備しておき、車載カメラが画像を撮影したならば、撮影した画像データとテンプレート画像データとのずれを検出することにより、車載カメラの光軸がずれているか否かを判定することになる。このテンプレート画像データには、例えば、車両のボディラインの位置データやウインカの点灯位置のデータが含まれる。そして、従来技術では、車載カメラにより撮影された画像データのボディラインの位置とテンプレート画像データのボディラインの位置とが所定の閾値以上離れている場合には、車載カメラの光軸がずれていると判定する。
【０００９】
また、ウインカの点灯位置を利用する場合には、ウインカの点灯時と非点灯時との差分画像データからウインカの点灯位置を判定する。そして、従来技術では、判定した点灯位置とテンプレート画像データの点灯位置とが所定の閾値以上離れている場合に、車載カメラの光軸がずれていると判定する。かかる従来技術を応用すれば、車載カメラの画像データで車載カメラの光軸のずれを検出できる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４―１６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記ボディラインを用いて開閉状態を検知する従来技術では、車載カメラの撮影した画像データに複雑な背景画像が映り込む場合に、背景画像から得られるエッジラインにより、誤った判定を行う可能性があった。すなわち、ボディラインは本来の位置からずれている、すなわち光軸がすれているにも拘らず、テンプレート画像のボディラインの位置に背景画像の影響によりノイズであるエッジラインが存在する場合、光軸がずれていないと誤判定する可能性がある。
【００１２】
また、実際にボディラインを含んだ画像からボディラインを示すエッジを抽出すると、一本の線状のエッジラインとしてボディラインが抽出されることは稀で、複数の線状のエッジラインが近接した位置に存在しつつ全体としてボディラインを形成するような状態としてエッジが検出されることが多い。従って、このようにボディラインが複数のエッジラインの集合として検出された場合には、いずれのエッジをテンプレート画像データのボディラインとのずれ判定対象とすべきかを特定することが困難になる。
【００１３】
１のテンプレート画像とカメラ画像とのずれの検出を閾値処理によっておこなう上記従来技術では、いかなる閾値を設定すべきかが問題となる。例えば、閾値を小さく設定した場合には、僅かな誤差であっても、車載カメラの光軸がずれていると判定してしまう。一方、閾値を大きくした場合には、車載カメラの光軸がずれている場合でも、車載カメラの光軸がずれていないと判定してしまう。このため、繰り返し試行錯誤して最適な閾値を微調整する際に多大の苦労が必要となる。
【００１４】
開示の技術は、上記従来技術の問題点に鑑みてなされたものであって、開閉する可動部に応じて方向が変わるカメラが適切な方向となっているか否かを背景の影響によらず判定することができる画像判定装置等を提供することを目的とする。
【課題を解決するための手段】
【００１５】
開示の画像判定装置は、可動部に設けられた撮像部により可動部の第１の状態で撮影された画像データのうち第１の状態の特徴を含む第１のデータ、並びに、撮像部により可動部の第２の状態で撮影された画像データのうち第２の状態の特徴を含む第２のデータを記憶する。そして、画像判定装置は、撮像部により撮影された判定対象となる判定対象画像データにつき、記憶部に記憶した第１のデータに対応する判定対象画像データの特徴及び第２のデータに対応する判定対象画像データの特徴を比較する。そして、画像判定装置は、結果に基づいて判定対象画像データが可動部の第１の状態で撮影された画像データであるか否かを判定する。
【発明の効果】
【００１６】
開示の画像判定装置によれば、開閉する可動部に応じて方向が変わる撮像部が適切な方向となっているか否かを背景の影響によらず判定することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施例１にかかる画像判定装置の構成を示す図である。
【図２】図２は、車両と車両に設置された車載カメラとの関係を示す図である。
【図３】図３は、本実施例２にかかる画像処理装置の構成を示す図である。
【図４】図４は、第１のテンプレートデータを生成する処理を説明するための図である。
【図５】図５は、第２のテンプレートデータを生成する処理を説明するための図である。
【図６】図６は、本実施例２にかかるミラー開閉判定部の処理を説明するための図である。
【図７】図７は、図６に示した判定対象画像データに対する第１の尤度と第２の尤度とを示す図である。
【図８】図８は、テンプレート生成部の処理手順を示すフローチャートである。
【図９】図９は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。
【図１０】図１０は、本実施例３にかかる画像処理装置の構成を示す図である。
【図１１】図１１は、本実施例３にかかるミラー開閉判定部の処理を説明するための図である。
【図１２】図１２は、本実施例３にかかる画像処理装置の処理手順を示すフローチャートである。
【図１３】図１３は、その他の特徴部分の例１を説明するための図である。
【図１４】図１４は、その他の特徴部分の例２を説明するための図である。
【図１５】図１５は、その他の特徴部分の例３を説明するための図である。
【図１６】図１６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
【図１７】図１７は、車両周辺監視装置が生成した合成画像を表示部に表示した一例を示す図である。
【図１８】図１８は、ドアミラーが開いている場合の４台の車載カメラの撮影領域を説明するための図である。
【図１９】図１９は、ドアミラーが閉じている場合の４台の車載カメラの撮影領域を説明するための図である。
【発明を実施するための形態】
【００１８】
以下に、本願の開示する画像判定装置、画像判定方法及び画像判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、処理内容を矛盾させない範囲で適宜組合せることが可能である。
【実施例１】
【００１９】
本実施例１にかかる画像判定装置の構成の一例について説明する。図１は、本実施例１にかかる画像判定装置の構成を示す図である。図１に示すように、この画像判定装置１０は、記憶部１３、判定部１４を有する。また、画像判定装置１０は、撮像部１２に接続する。
【００２０】
可動部１１は、第１の状態である開状態と第２の状態である閉状態との２つの状態に可動可能な部位である。撮像部１２は、可動部１１に設けられた撮像装置である。可動部１１に設けられているため、可動部１１の開閉に応じて撮像部１２の撮影方向が変わる。記憶部１３は、第１のデータ１３ａ並びに第２のデータ１３ｂを記憶する記憶部である。第１のデータ１３ａは、撮像部１２により可動部１１の開状態で撮影された画像データに含まれる開状態の特徴をなすデータである。第２のデータ１３ｂは、撮像部１２により可動部１１の閉状態で撮影された画像データに含まれる閉状態の特徴をなすデータである。例えば、第１のデータ１３ａは、可動部１１が開状態のときに撮影された画像データであれば、画像上の特徴が常に現れる領域を特定できるデータである。また例えば、第２のデータ１３ｂは、可動部１１の閉状態のときに撮影された画像データであれば、画像上の特徴が常に現れる領域を特定できるデータである。
【００２１】
判定部１４は、撮像部１２により判定対象となる判定対象画像データが撮影された場合に、記憶部１３に記憶した第１のデータ１３ａ及び第２のデータ１３ｂを取得する。そして、判定部１４は、第１のデータ１３ａに対応する前記判定対象画像データの特徴、及び、第２のデータ１３ｂに対応する前記判定対象画像データの特徴を比較した結果に基づいて判定対象画像データが可動部１１の開状態で撮影された画像データであるか否かを判定する。
【００２２】
一般的に、判定対象画像データに複雑な背景画像が映り込んでいる場合あっても、可動部１１の開状態で撮影された画像データの所定の部分画像には、開状態で撮影されたことを示す特徴が顕著に現れる。同様に、可動部１１の閉状態で撮影された画像データの所定の部分画像には、閉状態で撮影されたことを示す特徴が顕著に現れる。
【００２３】
本実施例１にかかる画像判定装置１０は、開状態で撮影された画像データの特徴および閉状態で撮影された画像データの特徴の両方を利用し、判定対象画像データが有する両特徴のどちらがより大きいかを比較することによって、開状態で撮影された画像データであるか否かを判定する。例えば、可動部１１が閉状態であるにも拘らず、判定画像データ上のノイズがたまたま開状態の特徴があるべき位置に生じていたとしても、閉状態で特徴が検出される判定画像データ上の領域には、本来の閉状態である特徴が顕著に現れるはずである。従って、判定対象画像データが含んでいる両者の状態を比較することで、背景の影響により誤判定する可能性を抑えることができる。
【００２４】
また、例えば、画像判定装置１０が、第１のデータ１３ａおよび第２のデータ１３ｂとして、画像上のエッジが検出される領域を利用することができる。この場合、判定対象画像データから細かいエッジが複数検出されたとしても、第１のデータ１３ａまたは第２のデータ１３ｂの一方との差分を検出するのではなく、第１のデータ１３ａおよび第２のデータ１３ｂにそれぞれ相当する判定対象画像データが有する特徴のうちどちらが大きいかに基づき判断することができる。従って、画像判定装置１０によれば、判定対象画像データ内の複数のエッジのうちいずれを判定対象とすべきかについて考慮する必要が無くなる。
【００２５】
また、画像判定装置１０は、従来技術のように１のテンプレートとの相違を閾値によって判定する必要がないので、作業者は実験等を繰り返して、閾値の値を微調整する必要を生じさせない。また例えば、可動部１１がドアミラーであれば、ドアミラーの開閉状態を検出するためのセンサを必要とせずに、カメラ画像だけで開閉状態を判定できるので、センサを取り付けるコストを抑止することができる。
【実施例２】
【００２６】
まず、車両と車両に設置された車載カメラとの関係の一例について説明する。図２は、車両と車両に設置された車載カメラとの関係を示す図である。図２に示す例では、上方から鉛直下向きに車両５０を見た場合の図であり、車両５０のドアミラー５０ａ，５０ｂは、開状態である。図２に示すように、車両５０の前後左右に４台の車載カメラ６０ａ〜６０ｄが設置される。具体的に、車両５０の前方に車載カメラ６０ａが設置され、車両５０の後方に車載カメラ６０ｂが設置される。また、車載カメラ６０ｃ，６０ｄは、開閉可能なドアミラー５０ａ，５０ｂの下部にそれぞれ設置される。このため、ドアミラー５０ａ，５０ｂの開閉に伴って、車載カメラ６０ｃ，６０ｄの位置や撮影方向が変化する。なお、車載カメラ６０ａ，６０ｂは、例えば、車載カメラの光軸が車両５０のボディラインに対して垂直で、路面と光軸とのなす角が例えば４５度となるように、車両５０に設置されているものとする。また、車載カメラ６０ｃ，６０ｄは、ドアミラー５０ａ，５０ｂが開いている場合に、車載カメラ６０ｃ，６０ｄの光軸が車両５０のボディラインに対して垂直で、路面と光軸とのなす角が例えば４５度となるように、車両５０に設置されているものとする。また、ドアミラー５０ａ，５０ｂは、互いに同期して開閉するものとする。
【００２７】
なお、車載カメラ６０ａ〜６０ｄの光軸と路面とのなす角は、４５度に限られるものではない。例えば、車載カメラ６０ａ〜６０ｄの光軸と路面とのなす角は、４０度〜５０度の範囲に含まれていることが考えられる。車載カメラ６０ｃ、６０ｄは、撮影範囲の中に、車載カメラ６０ｃ、６０ｄを搭載した車両のボディの一部が含まれるような確度に光軸が設定されていることとする。
【００２８】
次に、本実施例２にかかる画像処理装置の構成の一例について説明する。図３は、本実施例２にかかる画像処理装置の構成を示す図である。図３に示すように、この画像処理装置１００は、入力部１１０、画像表示部１２０、テンプレート生成部１３０、記憶部１４０、画像合成部１５０、ミラー開閉判定部１６０、警告部１７０を有する。また、画像処理装置１００は、車載カメラ６０ａ〜６０ｄに接続する。車載カメラ６０ａ〜６０ｄは、図２に示した車載カメラ６０ａ〜６０ｄに対応する。画像処理装置１００は、例えば、車両５０などの移動体に搭載されているものとする。なお、ここでは車載カメラが４台設けられている例を示しているが、これに限る必要は無く、車載カメラ６０ｃまたは車載カメラ６０ｄの１台のみでも構わない。
【００２９】
入力部１１０は、例えば、画像処理装置１００を整備する作業者が画像処理装置１００に各種のデータを入力するための入力装置である。例えば、入力部１１０は、タッチパネルに対応する。画像表示部１２０は、いずれかまたは複数の車載カメラから入力された画像をそのまま、もしくは俯瞰画像等のように合成した画像を表示する表示装置である。ここで、俯瞰画像は、あたかも車両５０の上方の位置から車両５０の全体を撮影したような画像である。画像表示部１２０が俯瞰画像を表示すれば、該表示を見た車両５０の運転者は、車両周囲の状況を容易に確認することが可能になる。また、画像表示部１２０が車載カメラ６０ｃや６０ｄにより撮影された画像を表示すれば、該表示を見た車両５０の運転者は、視認しにくい車両側方の状況を容易に確認することが可能になる。なお、画像表示部１２０は、ディスプレイやタッチパネル等に対応する。
【００３０】
テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが開状態又は閉状態の場合に、車載カメラ６０ｃ，６０ｄがそれぞれ撮影した画像データから特徴を抽出することで、第１のテンプレートデータと第２のテンプレートデータを生成する処理部である。テンプレート生成部１３０は、作成した第１，２のテンプレートデータを記憶部１４０に格納する。なお、第１のテンプレートデータおよび第２のテンプレートデータには、それぞれ、車載カメラ６０ｃ用と車載カメラ６０ｄ用の２種類が含まれる。
【００３１】
ここで、第１のテンプレートデータは、ドアミラー５０ａまたは５０ｂが開状態の場合に、車載カメラ６０ｃまたは６０ｄが撮影した全画像データのうち、開状態で撮影した画像の特徴が現れる部分画像データを含む。例えば、ドアミラー５０ａまたは５０ｂが開状態の場合に、車載カメラ６０ｃまたは６０ｄが画像を撮影すると、かかる画像には、車両５０の横方向のボディラインが映りこむ。このような場合には、例えば、テンプレート生成部１３０は、横方向のボディラインの位置情報を含むデータを第１のテンプレートデータとして生成する。なお、車載カメラ６０ｃが撮影した画像データから生成したデータは、車載カメラ６０ｃ用の第１のテンプレートデータとなり、車載カメラ６０ｄが撮影した画像データから生成したデータは、車載カメラ６０ｄ用の第１のテンプレートデータとなる。
【００３２】
第２のテンプレートデータは、ドアミラー５０ａまたは５０ｂが閉状態の場合に、車載カメラ６０ｃまたは６０ｄが撮影した全画像データのうち、閉状態で撮影した画像の特徴が現れる部分画像データを含む。例えば、ドアミラー５０ａまたは５０ｂが閉状態の場合に、車載カメラ６０ｃまたは６０ｄが画像を撮影すると、かかる画像には、車両５０の斜め横方向のボディラインが映りこむ。このような場合には、例えば、テンプレート生成部１３０は、斜め横方向のボディラインの位置情報を含むデータを第２のテンプレートデータとして生成する。なお、車載カメラ６０ｃが撮影した画像データから生成したデータは、車載カメラ６０ｃ用の第２のテンプレートデータとなり、車載カメラ６０ｄが撮影した画像データから生成したデータは、車載カメラ６０ｄ用の第２のテンプレートデータとなる。テンプレート生成部１３０が第１のテンプレートデータおよび第２のテンプレートデータを生成する具体的な処理の説明は後述する。
【００３３】
記憶部１４０は、第１，２のテンプレートデータ、各車載カメラ６０ａ〜６０ｄの位置や方向を含むパラメータのデータを記憶する記憶部である。図３に示すように、記憶部１４０は、第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂ、パラメータデータ１４０ｃを記憶する。ここで、パラメータデータ１４０ｃは、各車載カメラ６０ａ〜６０ｄの位置や方向のデータを含む。
【００３４】
画像合成部１５０は、パラメータデータ１４０ｃに基づいて、車載カメラ６０ａ〜６０ｄが撮影した各画像データを合成することで、俯瞰画像データを生成する処理部である。画像合成部１５０は、俯瞰画像データを画像表示部１２０に出力する。例えば、画像合成部１５０は、パラメータデータ１４０ｃに基づいて、車載カメラが撮影した画像データ上の座標と、俯瞰画像データ上の座標との対応関係を算出する。そして、画像合成部１５０は、車載カメラが撮影した画像データを対応関係に基づいて俯瞰画像データ上に貼り付けることで、俯瞰画像データを生成する。なお、画像合成部１５０は、予め、車載カメラが撮影した画像データ上の座標と俯瞰画像データ上の座標との対応関係を含んだテーブルを保持し、かかるテーブルに基づいて俯瞰画像データを生成してもよい。なお、車載カメラ６０ｃまたは車載カメラ６０ｄの１台のみもしくは２台のみが搭載されている場合には、画像合成部１５０は俯瞰画像データを生成せずに、車載カメラから得られた画像をそのまま画像表示部１２０に出力しても良い。
【００３５】
ミラー開閉判定部１６０は、車載カメラ６０ｃまたは６０ｄの撮影した判定対象となる画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する処理部である。以下の説明において、車載カメラ６０ｃ，６０ｄの撮影した判定対象となる画像データを判定対象画像データと表記する。ミラー開閉判定部１６０は、判定結果を警告部１７０に出力する。
【００３６】
警告部１７０は、ミラー開閉判定部１６０の判定結果に基づいて、画像表示部１２０に警告等の文字を表示させる処理部である。警告部１７０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである旨の情報が判定結果に含まれている場合に、警告等の文字を画像表示部１２０に表示させる。一方、警告部１７０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが開状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである旨の情報が判定結果に含まれている場合には、警告等の文字を画像表示部１２０に表示させる処理を行わない。
【００３７】
判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データである場合には、例えば、本来は俯瞰画像内に含まれるべきであるが含まれない被写領域の欠落箇所を含む俯瞰画像が、画像表示部１２０に表示されてしまう。このような場合には、警告部１７０が警告等の文字を画像表示部１２０に表示させることで、運転手に注意発起を行うことができる。なお、警告部１７０は、車内のスピーカ等の出力装置を利用して警告音を鳴らすことで、運転手に注意発起を行ってもよい。
【００３８】
次に、テンプレート生成部１３０が、第１のテンプレートデータ１４０ａおよび第２のテンプレートデータ１４０ｂを生成する処理の一例について具体的に説明する。まず、テンプレート生成部１３０が、第１のテンプレートデータ１４０ａを生成する処理について説明する。また、ここでは一例として、車載カメラ６０ｃが撮影した画像データを用いて第１のテンプレートデータ１４０ａを生成するものとする。車載カメラ６０ｄが撮影した画像データを用いて第１のテンプレートデータ１４０ａを生成する処理は、車載カメラ６０ｃが撮影した画像データから第１のテンプレートデータ１４０ａを生成する処理と同様である。
【００３９】
図４は、第１のテンプレートデータを生成する処理を説明するための図である。テンプレート生成部１３０は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃから画像データを取得する。図４に示す画像データＡは、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データの一例である。ドアミラー５０ａが開いているか否かは、例えば、作業者が入力部１１０を操作してテンプレート生成部１３０に通知することが考えられる。
【００４０】
テンプレート生成部１３０は、画像データＡに対してエッジ抽出等の画像処理を実行し、画像データＡ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、第１のテンプレートデータ１４０ａを生成する。ここで、テンプレート生成部１３０がエッジを抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。図４に示すように、画像データＡの中央付近から下の部分に車両５０が存在しており、車両５０と車両５０以外の背景画像には輝度差が存在している。このため、車両５０の横方向のボディラインが、エッジ部分として抽出され、第１のテンプレートデータ１４０ａが生成される。
【００４１】
テンプレート生成部１３０は、第１のテンプレートデータ１４０ａを生成した場合に、第１のテンプレートデータ１４０ａを画像表示部１２０に出力し、第１のテンプレートデータ１４０ａの画像を表示させる。かかる画像を参照した作業者は、入力部１１０を操作して、第１のテンプレートデータ１４０ａのエッジ部分のうち、不要なエッジ部分を取り除くことで、第１のテンプレートデータ１４０ａを修正しても良い。以下の説明において、第１のテンプレートデータ１４０ａに含まれる車両５０のボディラインに相当するエッジ部分を第１の特徴部分と表記する。
【００４２】
図５は、第２のテンプレートデータを生成する処理を説明するための図である。テンプレート生成部１３０は、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃから画像データを取得する。図５に示す画像データＢは、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃが撮影した画像データの一例である。ドアミラー５０ａが閉じているか否かは、例えば、作業者が入力部１１０を操作してテンプレート生成部１３０に通知するものとする。
【００４３】
テンプレート生成部１３０は、画像データＢに対してエッジ抽出等の画像処理を実行し、画像データＢ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、第２のテンプレートデータ１４０ｂを生成する。ここで、テンプレート生成部１３０がエッジを抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。図５に示すように、画像データＢの左側に斜めの状態で車両５０が存在しており、車両５０と車両５０以外の背景画像には輝度差が存在している。このため、車両５０の斜めのボディラインが、エッジ部分として抽出され、第２のテンプレートデータ１４０ｂが生成される。
【００４４】
テンプレート生成部１３０は、第２のテンプレートデータ１４０ｂを生成した場合に、第２のテンプレートデータ１４０ｂを画像表示部１２０に出力し、第２のテンプレートデータ１４０ｂの画像を表示させる。かかる画像を参照した作業者は、入力部１１０を操作して、第２のテンプレートデータ１４０ｂのエッジ部分のうち、不要なエッジ部分を取り除くことで、第２のテンプレートデータ１４０ｂを修正しても良い。以下の説明において、第２のテンプレートデータ１４０ｂに含まれる車両５０のボディラインに相当するエッジ部分を第２の特徴部分と表記する。
【００４５】
次に、ミラー開閉判定部１６０の処理を具体的に説明する。図６は、本実施例２にかかるミラー開閉判定部の処理を説明するための図である。なお、ミラー開閉判定部１６０は、一例として、車載カメラ６０ｃが撮影した画像データと、車載カメラ６０ｃ用の第１のテンプレートデータおよび第２のテンプレートデータを用いて、ドアミラー５０ａ，５０ｂの開閉状態を判定するものとする。ミラー開閉判定部１６０は、車載カメラ６０ｄが撮影した画像データを用いる場合でも、車載カメラ６０ｃが撮影した画像データの場合と同様にして、車載カメラ６０ｄ用の第１のテンプレートデータおよび第２のテンプレートデータを用いてドアミラー５０ａ，５０ｂの開閉状態を判定する。
【００４６】
まず、ミラー開閉判定部１６０は、車載カメラ６０ｃの撮影した判定対象画像データを取得する。ミラー開閉判定部１６０は、判定対象画像データに対してエッジ抽出等の画像処理を実行し、判定対象画像データ上のエッジ部分の画素を「１」、エッジ部分以外の画素を「０」とすることで、エッジ画像データを生成する。ミラー開閉判定部１６０が判定対象画像データからエッジ部分を抽出する場合には、例えば、微分エッジ検出等の周知技術を用いればよい。判定対象画像データには、車両５０以外にも背景画像が存在しているため、エッジ画像データには、車両５０のボディラインのほかに背景画像の形状がエッジ部分として抽出される。
【００４７】
続いて、ミラー開閉判定部１６０は、エッジ画像データと車載カメラ６０ｃ用の第１のテンプレートデータ１４０ａとを比較し、第１のテンプレートデータ１４０ａの第１の特徴部分に対応するエッジ画像データ上の位置を特定する。そして、ミラー開閉判定部１６０は、エッジ画像データ上で、第１の特徴部分に対応する位置から、特徴画像データとして第１の判定部分画像を特定する。そして、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を計数し合計数を求める。以下の説明において、第１の判定部分画像に含まれるエッジ部分の合計数を第１の尤度と表記する。
【００４８】
ミラー開閉判定部１６０が、エッジ部分の合計数を計数する処理はどのような周知技術を用いても構わない。例えば、ミラー開閉判定部１６０は、第１の判定部分画像に含まれる列毎の「１」の数の分布を示すヒストグラムを生成する。そして、ミラー開閉判定部１６０は、ヒストグラムに含まれる第１の判定部分画像の列毎の「１」の数を合計することで、合計数を計数する。なお、第１の判定部分画像は、第１の特徴部分に対応する位置から所定の画素数までの画像を含む部分画像領域であっても良い。また、フレーム上の該部分画像領域を特定可能な座標情報であってもよい。この場合、所定の画素数については、画像処理装置１００を調整する作業者が任意の値に設定しても良い。
【００４９】
続いて、ミラー開閉判定部１６０は、エッジ画像データと車載カメラ６０ｃ用の第２のテンプレートデータ１４０ｂとを比較し、第２のテンプレートデータ１４０ｂの第２の特徴部分に対応するエッジ画像データ上の位置を特定する。そして、ミラー開閉判定部１６０は、エッジ画像データ上で、第２の特徴部分に対応する位置から、特徴画像データとして第２の判定部分画像を特定する。そして、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を計数し合計数を求める。第２の判定部分画像は、第２の特徴部分に対応する位置から所定の画素数までの画像を含む部分画像領域であっても良い。また、フレーム上の該部分画像領域を特定可能な座標情報であってもよい。この場合、所定の画素数については、画像処理装置１００を調整する作業者が任意の値に設定しても良い。以下の説明において、第２の判定部分画像に含まれるエッジ部分の合計数を第２の尤度と表記する。第２の判定部分画像に含まれるエッジ部分の合計数を計数する処理は、上記ヒストグラムを利用する周知技術を用いればよい。
【００５０】
なお、判定対象画像データから第１の判定部分画像および第２の判定部分画像を特定するまでの処理を、ミラー開閉判定部１６０の中に特徴画像生成部として設ける処理部、もしくは、画像処理装置１００内にミラー開閉判定部１６０とは別に特徴画像生成部として設ける処理部に行わせても良い。
【００５１】
続いて、ミラー開閉判定部１６０は、第１の尤度と第２の尤度とを比較することで、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する。具体的に、ミラー開閉判定部１６０は、第１の尤度が第２の尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部１６０は、第１の尤度が第２の尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の尤度と第２の尤度が等しい場合には、例えば、第１の尤度と第２の尤度を再度計数してもよい。
【００５２】
図７は、図６に示した判定対象画像データに対する第１の尤度と第２の尤度とを示す図である。図７の縦軸は尤度の大きさを示す。図７に示すように、この例では、第２の尤度が第１の尤度よりも大きい。このため、ミラー開閉判定部１６０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態の場合に撮影された画像であると判定する。
【００５３】
次に、図３に示したテンプレート生成部１３０が第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂを生成する処理手順の一例について説明する。図８は、テンプレート生成部の処理手順を示すフローチャートである。テンプレート生成部１３０による図８の処理は、例えば、車載カメラを車両に取り付けた時に行うことが考えられる。また例えば、車検時など、車載カメラが正しい位置及び方向に取り付けられていることが確認できた時点で行うことが考えられる。図８に示すように、テンプレート生成部１３０は、入力部１１０からドアミラー５０ａ，５０ｂの開閉状態に関するデータを取得する（ステップＳ１０１）。例えば、ドアミラー５０ａ，５０ｂの開閉状態に関するデータは、ドアミラー５０ａ，５０ｂが開状態である旨のデータ、または、ドアミラー５０ａ，５０ｂが閉状態である旨のデータを含む。
【００５４】
テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが閉じている場合に（ステップＳ１０２，Ｙｅｓ）、車載カメラ６０ｃ，６０ｄから画像データを取得する（ステップＳ１０３）。テンプレート生成部１３０は、画像データから上述のようにエッジ部分を抽出することで、車載カメラ６０ｃ用および車載カメラ６０ｄ用の第２のテンプレートデータ１４０ｂを生成する（ステップＳ１０４）。そして、テンプレート生成部１３０は、第２のテンプレートデータ１４０ｂを記憶部１４０に格納する（ステップＳ１０５）。
【００５５】
一方、テンプレート生成部１３０は、ドアミラー５０ａ，５０ｂが開いている場合に（ステップＳ１０２，Ｎｏ）、車載カメラ６０ｃ，６０ｄから画像データを取得する（ステップＳ１０６）。テンプレート生成部１３０は、画像データから上述のようにエッジ部分を抽出することで、車載カメラ６０ｃ用および車載カメラ６０ｄ用の第１のテンプレートデータ１４０ａを生成する（ステップＳ１０７）。そして、テンプレート生成部１３０は、第１のテンプレートデータ１４０ａを記憶部１４０に格納する（ステップＳ１０８）。
【００５６】
次に、図３に示した画像処理装置１００がドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の一例について説明する。図９は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。ミラー開閉判定部１６０による図９の処理は、例えば、車載カメラを取り付けた車両のエンジンが起動された時点で行うことが考えられる。また例えば、車両走行中の任意のタイミングで行うことが考えられる。また例えば、画像合成部１５０が出力用の画像を生成するのと並行して随時行うことが考えられる。図９に示すように、画像処理装置１００のミラー開閉判定部１６０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得する（ステップＳ２０１）。そして、ミラー開閉判定部１６０は、判定対象画像データに対してエッジ抽出を行い、エッジ画像データを生成する（ステップＳ２０２）。
【００５７】
続いて、ミラー開閉判定部１６０は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する（ステップＳ２０３）。ミラー開閉判定部１６０は、エッジ画像データ上の第１、第２の判定部分画像に含まれるエッジ部分の画素数をそれぞれ計数し、第１の尤度及び第２の尤度を算出する（ステップＳ２０４）。
【００５８】
ミラー開閉判定部１６０は、第１の尤度及び第２の尤度を比較して、判定対象画像データが閉状態で撮影された画像データであるか否かを判定し（ステップＳ２０５）、判定結果を警告部１７０に出力する（ステップＳ２０６）。警告部１７０は、判定対象画像データが開状態で撮影された画像データの場合に（ステップＳ２０７，Ｙｅｓ）、そのまま処理を終了する。一方、警告部１７０は、判定対象画像データが閉状態で撮影された画像データの場合に（ステップＳ２０７，Ｎｏ）、警告を表示させるデータを画像表示部１２０に出力する（ステップＳ２０８）。
【００５９】
なお、ドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の順序は、図９の順序に限られるものではない。例えば、画像処理装置１００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得した後に、車載カメラから判定対象画像データを取得してもよい。また、画像処理装置１００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する処理と、車載カメラから判定対象画像データを取得する処理を並列に実行してもよい。
【００６０】
上述してきたように、画像処理装置１００は、判定対象画像データのうち、第１の判定部分画像に含まれるエッジ部分の量と、第２の判定部分画像に含まれるエッジ部分の量とを利用して、判定対象画像データが閉状態で撮影された画像データか否かを判定する。一般的に、判定対象画像データに複雑な背景画像が映り込んでいる場合であっても、ドアミラー５０ａ，５０ｂが開状態では、第１の判定部分画像に該当する部分画像に車両のボディラインのエッジが顕著に現れる。これに対して、ドアミラー５０ａ，５０ｂが閉状態では、第２の判定部分画像に該当する部分画像に車両のボディラインのエッジが顕著に現れる。このため、画像処理装置１００は、第１、第２の判定部分画像に含まれるエッジ部分の合計数のみを利用し、その他の部分画像は利用しないことで、背景画像の影響を取り除きつつ、効率的に閉状態で撮影された画像であるか否かを判定できる。
【００６１】
また、本実施例２にかかる画像処理装置１００は、第１の尤度と第２の尤度との大小関係により、判定対象画像データが閉状態で撮影された画像データか否かを判定する。このため、従来技術のように閾値を比較対象とする必要がないので、作業者は実験等を繰り返して、閾値の値を微調整することがなくなる。したがって、画像処理装置１００は、作業者にかかる負担を軽減させることができる。
【実施例３】
【００６２】
次に、本実施例３にかかる画像処理装置について説明する。図１０は、本実施例３にかかる画像処理装置２００の構成を示す図である。図１０に示すように、この画像処理装置２００は、入力部１１０、画像表示部１２０、テンプレート生成部１３０、記憶部１４０、画像合成部１５０、警告部１７０、ミラー開閉判定部２１０を有する。また、画像処理装置２００は、車載カメラ６０ａ〜６０ｄに接続する。車載カメラ６０ａ〜６０ｄは、図２に示した車載カメラ６０ａ〜６０ｄに対応する。なお、ここでは車載カメラが４台設けられている例を示しているが、これに限る必要は無く、車載カメラ６０ｃおよび車載カメラ６０ｄの２台のみでも構わない。
【００６３】
このうち、図１０に示す入力部１１０、画像表示部１２０、テンプレート生成部１３０の説明は、図３に示した入力部１１０、画像表示部１２０、テンプレート生成部１３０の説明と同様である。また、図１０に示す記憶部１４０、画像合成部１５０、警告部１７０
の説明は、図３に示した記憶部１４０、画像合成部１５０、警告部１７０の説明と同様である。
【００６４】
ミラー開閉判定部２１０は、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する処理部である。ミラー開閉判定部２１０は、判定結果を警告部１７０に出力する。以下において、ミラー開閉判定部２１０の処理を具体的に説明する。
【００６５】
まず、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得し、各判定対象画像データの第１の尤度及び第２の尤度を求める。ミラー開閉判定部２１０が、判定対象画像データから第１の尤度及び第２の尤度を求める処理は、実施例２のミラー開閉判定部１６０と同様である。
【００６６】
そして、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上の場合には、実施例２のミラー開閉判定部１６０と同じ処理を実行する。すなわち、ミラー開閉判定部２１０は、第１の尤度が第２の尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部２１０は、第１の尤度が第２の尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の尤度及び第２の尤度は、車載カメラ６０ｃが撮影した判定対象画像データの第１の尤度及び第２の尤度でもよいし、車載カメラ６０ｄが撮影した判定対象画像データの第１の尤度及び第２の尤度でもよい。
【００６７】
一方、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値未満の場合には、下記の処理を実行する。すなわち、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄの判定対象画像データから求めた各第１の尤度を合計することで、第１の合計尤度を算出する。また、ミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄの判定対象画像データから求めた各第２の尤度を合計することで、第２の合計尤度を算出する。
【００６８】
そして、ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを比較することで、判定対象画像データが、ドアミラー５０ａ，５０ｂの開閉いずれの状態で撮影された画像データであるかを判定する。具体的に、ミラー開閉判定部２１０は、第１の合計尤度が第２の合計尤度よりも大きい場合には、判定対象画像データが開状態で撮影された画像データであると判定する。一方、ミラー開閉判定部２１０は、第１の合計尤度が第２の合計尤度よりも小さい場合には、判定対象画像データが閉状態で撮影された画像データであると判定する。なお、第１の合計尤度と第２の合計尤度とが等しい場合には、ミラー開閉判定部２１０は、例えば、所定時間が経過した後に、第１の尤度と第２の尤度を再度求め、第１の合計尤度と第２の合計尤度とを再計算してもよい。
【００６９】
ここで、ミラー開閉判定部２１０の処理の一例を具体的に説明する。図１１は、本実施例３にかかるミラー開閉判定部２１０の処理を説明するための図である。図１１（ａ）は、車載カメラ６０ｃが撮影した判定対象画像データから求めた第１の尤度および第２の尤度を示す。図１１（ａ）の縦軸は尤度の大きさを示す。図１１（ａ）に示す例では、第１の尤度と第２の尤度との差が閾値未満であるため、ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを求める。
【００７０】
図１１（ｂ）は、車載カメラ６０ｄが撮影した判定対象画像データから求めた第１の尤度および第２の尤度を示す。図１１（ｂ）の縦軸は尤度の大きさを示す。ミラー開閉判定部２１０は、図１１（ａ）の第１の尤度を図１１（ｂ）の第１の尤度と、図１１（ａ）の第２の尤度を第２の尤度と、それぞれ合計することで、図１１（ｃ）に示す第１の合計尤度と第２の合計尤度とを求める。図１１（ｃ）の縦軸は尤度の大きさを示す。図１１（ｃ）に示すように、第１の合計尤度が第２の合計尤度よりも大きい。このため、ミラー開閉判定部２１０は、判定対象画像データが、ドアミラー５０ａ，５０ｂが閉状態の場合に車載カメラ６０ｃ，６０ｄに撮影された画像データであると判定する。
【００７１】
次に、図１０に示した画像処理装置２００がドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の一例について説明する。図１２は、本実施例３にかかる画像処理装置の処理手順を示すフローチャートである。図１２に示すように、画像処理装置２００のミラー開閉判定部２１０は、車載カメラ６０ｃ，６０ｄから判定対象画像データを取得する（ステップＳ３０１）。そして、ミラー開閉判定部２１０は、判定対象画像データに対してエッジ抽出を行い、エッジ画像データを生成する（ステップＳ３０２）。
【００７２】
続いて、ミラー開閉判定部２１０は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する（ステップＳ３０３）。ミラー開閉判定部２１０は、第１のテンプレートデータ１４０ａの第１の特徴部分に対応するエッジ画像データ上の位置から、特徴画像データとして第１の判定部分画像を特定する。また、第２のテンプレートデータ１４０ｂの第２の特徴部分に対応するエッジ画像データ上の位置から、特徴画像データとして第２の判定部分画像を特定する。エッジ画像データ上の第１、第２の判定部分画像に含まれるエッジ部分の画素数をそれぞれ計数し、第１の尤度及び第２の尤度を算出する（ステップＳ３０４）。ステップＳ３０４では、ミラー開閉判定部２１０は、車載カメラ６０ｃが撮影した判定対象画像データから第１、第２の尤度を算出すると共に、車載カメラ６０ｄが撮影した判定対象画像データから第１、第２の尤度を算出する。
【００７３】
続いて、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上であるか否かを判定する（ステップＳ３０５）。ステップＳ３０５において、ミラー開閉判定部２１０は、車載カメラ６０ｃが撮影した判定対象画像データから算出した第１、第２の尤度を比較してもよいし、車載カメラ６０ｄが撮影した判定対象画像データから算出した第１、第２の尤度を比較してもよい。ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値未満の場合に（ステップＳ３０６，Ｎｏ）、第１の合計尤度と第２の合計尤度とを算出する（ステップＳ３０７）。
【００７４】
ミラー開閉判定部２１０は、第１の合計尤度と第２の合計尤度とを比較して、判定対象画像データが開状態で撮影された画像データであるか否かを判定し（ステップＳ３０８）、判定結果を警告部１７０に出力する（ステップＳ３０９）。警告部１７０は、判定対象画像データが開状態で撮影された画像データの場合に（ステップＳ３１０，Ｙｅｓ）、そのまま処理を終了する。一方、警告部１７０は、判定対象画像データが閉状態で撮影された画像データの場合に（ステップＳ３１０，Ｎｏ）、警告を表示させるデータを画像表示部１２０に出力する（ステップＳ３１１）。
【００７５】
一方、ミラー開閉判定部２１０は、第１の尤度と第２の尤度との差が閾値以上の場合に（ステップＳ３０６，Ｙｅｓ）、第１の尤度と第２の尤度とを比較して、判定対象画像データが開状態で撮影された画像データであるか否かを判定する（ステップＳ３１２）。そして、ミラー開閉判定部２１０は、ステップＳ３０９に移行する。
【００７６】
なお、ドアミラー５０ａ，５０ｂの開閉状態を判定し警告を行う処理の順序は、図１２の順序に限られるものではない。例えば、画像処理装置２００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得した後に、車載カメラから判定対象画像データを取得してもよい。また、画像処理装置２００は、第１のテンプレートデータ１４０ａ及び第２のテンプレートデータ１４０ｂを記憶部１４０から取得する処理と、車載カメラから判定対象画像データを取得する処理を並列に実行してもよい。
【００７７】
上述した画像処理装置２００は、第１の尤度と第２の尤度との差が閾値未満の場合に、各第１の尤度を合計した第１の合計尤度と各第２の尤度を合計した第２の合計尤度とを基にして、判定対象画像データが閉状態で撮影された画像データか否かを判定する。ドアミラー５０ａとドアミラー５０ｂとは、上述の通り、互いに同期して開閉する。例えば、車室内に設けられた１の操作ボタンを運転者により押下されたことを契機として、両方のドアミラーに対して開くまたは閉じる制御が行われるように、電動により同時に開閉する。そのようなドアミラー５０ａおよび５０ｂであれば、片方が開状態であればもう一方も開状態であり、片方が閉状態であればもう一方も閉状態である。背景画像の影響で、一方の車載カメラが撮影した判定対象画像データの第１の尤度と第２の尤度との差が僅かであっても、他方の車載カメラが撮影した判定対象画像データの第１の尤度と第２の尤度との差が顕著に現れる場合がある。というのは、一方のカメラの画像上に含まれる背景上のノイズであるエッジと同様の位置に、もう一方にもノイズであるエッジが表れる可能性が低いからである。このため、各第１の尤度と各第２の尤度とを合計することで、第１の合計尤度と第２の合計尤度との差が明確となる。したがって、画像処理装置２００は、一方の車載カメラが撮影した判定対象画像データの第１の尤度及び第２の尤度に差が現れない場合であっても、判定対象画像データが開状態で撮影された画像データであるか否かを効率的に判定することができる。
【００７８】
なお、画像処理装置２００は、第１の合計尤度と第２の合計尤度が等しい場合には、車両５０の両側に何らかの障害物が存在し、かかる障害物の影響により、第１の合計尤度と第２の合計尤度が等しくなったと考えられる。このため、画像処理装置２００は、第１の合計尤度と第２の合計尤度が等しい場合には、所定の時間が経過した後に、再度第１の合計尤度と第２の合計尤度とを求めて、判定処理を再度実行しても良い。
【００７９】
車両５０の両側に障害物が存在していても車両５０が移動している場合には、所定時間後には、車載カメラ６０ｃ，６０ｄの撮影方向に存在していた障害物は移動するものと考えられる。このため、所定時間経過後には、判定対象画像データから障害物の影響を除外することができ、画像装置３００は、判定対象画像データが開状態で撮影された画像データであるか否かを正確に判定することができる。
【００８０】
ところで、本実施例２，３では、第１のテンプレートデータ１４０ａの第１の特徴部分及び第２のテンプレートデータ１４０ｂの第２の特徴部分が、車両５０のボディラインとなる場合を例に説明したがこれに限定されるものではない。以下において、その他の特徴部分の例１〜３について説明する。
【００８１】
まず、その他の特徴部分の例１について説明する。図１３は、その他の特徴部分の例１を説明するための図である。図１３に示すように、例えば、車両５０にシールを貼り付け、車載カメラ６０ｃ，６０ｄに撮影された画像データのうち、かかるシールの部分画像を第１、第２の特徴部分としてもよい。図１３（ａ）は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１３（ａ）のシールの形状が、第１の特徴部分となる。図１３（ｂ）は、ドアミラー５０ａが閉状態の場合に車載カメラ６０ｃが撮影した画像データである。このため、図１３（ｂ）のシールの形状が、第２の特徴部分となる。シールの色を車両の色と異なる色にすることで、より正確に第１、第２の特徴部分を検出することができる。
【００８２】
その他の特徴部分の例２について説明する。図１４は、その他の特徴部分の例２を説明するための図である。例えば、車載カメラ６０ｃ，６０ｄに撮影された画像データのうち、車両５０のドアノブの部分画像を第１、第２の特徴部分としてもよい。図１４（ａ）は、ドアミラー５０ａが開状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１４（ａ）のドアノブの形状が、第１の特徴部分となる。図１４（ｂ）は、ドアミラー５０ａが閉状態の場合に、車載カメラ６０ｃが撮影した画像データである。このため、図１４（ｂ）のドアノブの形状が、第２の特徴部分となる。
【００８３】
その他の特徴部分の例３について説明する。図１５は、その他の特徴部分の例３を説明するための図である。車両５０が、夜間照明用に近赤外照射装置を有する場合には、画像処理装置１００，２００は、かかる近赤外線照射装置を利用して第１、第２の特徴部分を抽出してもよい。画像データ上において、赤外線に反射される車両部分は、他の部分に比べて輝度値が著しく大きな値となるので、背景画像の影響を受けることなく、赤外線を反射する部分の形状を特徴部分としてより正確に検出することができる。また、ミラー開閉判定部１６０，２１０は、エッジ画像データを生成する場合に、赤外線を車両に照射している場合の画像データと赤外線を車両に照射していない場合の画像データとの差分を取ることで差分画像データを生成してもよい。ミラー開閉判定部１６０，２１０は、差分画像データを用いてエッジ画像データを生成することで、背景画像の影響を取り除くことができ、より正確に、判定対象画像データが閉状態で撮影された画像データであるか否かを効率的に判定することができる。
【００８４】
例えば従来技術ではウインカの点灯・非点灯時に合わせて撮影した画像からウインカ位置を特定し、該特定したウインカ位置を利用してカメラ画像の光軸ずれを検出している。これに対して、上記例１〜３のような特徴部分を利用すれば、撮影タイミングを何かに合わせる必要を生じさせないため、開状態で撮影された画像データであるか否かを容易に行える。
【００８５】
本実施例２，３では、第１、第２の尤度を求める場合に、第１，２の判定部分画像に含まれるエッジ部分の画素数を計数することで求め、尤度を直接比較していたが、これに限定されるものではない。以下において、第１、第２について、尤度ではなく、事後確率を求め、事後確率を比較するその他の例１及び例２を示す。
【００８６】
まず、第１、第２の尤度を求めるその他の例１について説明する。例えば、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を、第１のテンプレートデータ１４０ａに含まれる全画素数で除算することで、第１の尤度を求める。また、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を、第２のテンプレートデータ１４０ｂに含まれる全画素数で除算することで、第２の尤度を求める。ミラー開閉判定部２１０もミラー開閉判定部１６０と同様に、第１、第２の尤度を求めることができる。
【００８７】
次に、第１、第２の尤度を求めるその他の例２について説明する。例えば、ミラー開閉判定部１６０、２１０は、ベイズの定理を利用して、第１、第２の尤度を求めてもよい。ここで、第１の事後確率は、ベイズの定理を利用すると、
【数１】
によって表すことができる。
【００８８】
式１に含まれる尤度Ｐ（Ｄ｜ｘ＝開）は、判定対象画像データが、開状態で撮影された「らしさ」を示すものである。具体的に、ミラー開閉判定部１６０は、第１の判定部分画像に含まれるエッジ部分の画素数を、第１のテンプレートデータ１４０ａに含まれる全画素数で除算することで求めることができる。
【００８９】
式１に含まれるＰ（Ｄ｜ｘ＝閉）は、判定対象画像データが、閉状態で撮影された「らしさ」を示すものである。具体的に、ミラー開閉判定部１６０は、第２の判定部分画像に含まれるエッジ部分の画素数を、第２のテンプレートデータ１４０ｂに含まれる全画素数で除算することで求めることができる。
【００９０】
式１に含まれるＰ（ｘ＝開）、Ｐ（ｘ＝閉）はそれぞれ、開状態、閉状態となる場合の事前確率である。事前に開状態、閉状態の傾向が不明の場合には、ミラー開閉判定部１６０は、Ｐ（ｘ＝開）＝０．５、Ｐ（ｘ＝閉）＝０．５として、第１の尤度を算出する。なお、事前に開状態、閉状態の傾向が分かっている場合には、かかる傾向に合わせて、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）の値を調整する。例えば、ミラー開閉判定部１６０は、閉状態よりも開状態となる傾向が高い場合には、Ｐ（ｘ＝開）＝０．６、Ｐ（ｘ＝閉）＝０．４として、第１の尤度を算出する。なお、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）の値は、作業者が入力部１１０を操作して、ミラー開閉判定部１６０に入力するものとする。
【００９１】
第２の尤度は、ベイズの定理を利用すると、
【数２】
によって表すことができる。式２に含まれるＰ（Ｄ｜ｘ＝開）、Ｐ（Ｄ｜ｘ＝閉）、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）は、式１で説明したＰ（Ｄ｜ｘ＝開）、Ｐ（Ｄ｜ｘ＝閉）、Ｐ（ｘ＝開）、Ｐ（ｘ＝閉）と同様である。
【００９２】
ミラー開閉判定部１６０、２１０が、ベイズの定理を用いて第１、第２の事後確率を算出すると、尤度に対して事前確率による重み付けが行える。このため、ミラー開閉判定部１６０は、運転手のドアミラー５０ａ，５０ｂの開閉する傾向をさらに考慮して判定対象画像データが閉状態で撮影された画像データであるか否かを判定することができる。なお、ミラー開閉判定部２１０もミラー開閉判定部１６０と同様に、ベイズの定理を用いて第１、第２の尤度を求めることができる。
【００９３】
なお、本実施例２，３にかかるミラー開閉判定部１６０，２１０は、判定対象画像データのエッジ方向をさらに利用して、第１、第２の尤度を求めてもよい。ここでは、図２で説明した状態で車載カメラ６０ｃ，６０ｄが車両５０に設置されている場合を例にして説明する。この場合、ドアミラー５０ａ，５０ｂが開状態で車載カメラ６０ｃ，６０ｄが撮影した画像データには、横方向および縦方向のエッジが多く含まれる傾向がある。これに対して、ドアミラー５０ａ，５０ｂが閉状態で車載カメラ６０ｃ，６０ｄが撮影した画像データには、横方向および縦方向のエッジが少なくなり斜め方向のエッジが多くなる傾向がある。
【００９４】
このため、ミラー開閉判定部１６０，２１０は、判定対象画像データの第１の判定部分画像に含まれる横方向及び縦方向のエッジ部分の画素数を計数することで、第１の尤度を算出する。また、ミラー開閉判定部１６０，２１０は、判定対象画像データの第２の判定部分画像に含まれる横方向及び縦方向以外のエッジ部分の画素数を計数することで、第２の尤度を算出する。ミラー開閉判定部１６０，２１０が、判定対象画像データから横方向及び縦方向のエッジを抽出する場合には、例えば、Ｓｏｂｅｌフィルタ等の周知技術を用いればよい。また、ミラー開閉判定部１６０，２１０は、例えば、微分エッジ検出などで抽出したエッジから横方向・縦方向のエッジを取り除くことで、横方向及び縦方向以外のエッジを抽出することができる。
【００９５】
上記のように、ミラー開閉判定部１６０，２１０が、判定対象画像データのエッジ方向をさらに利用して、第１、第２の尤度を算出することで、より正確に、判定対象画像データが閉状態で撮影された画像データであるか否かを判定することができる。
【００９６】
なお、本実施例２，３では、移動体の一例として、車両を用いて実施例の説明を行ったがこれに限定されるものではない。例えば、路面電車、自動二輪車等の車両を含む移動体にも同様にして本願発明を適用することができる。
【００９７】
ここで、図３および図１０に示したテンプレート生成部１３０、画像合成部１５０、ミラー開閉判定部１６０、２１０、警告部１７０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。または、上記処理部１３０、１５０、１６０、２１０、１７０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。図３に示した記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。図１０に示したミラー開閉判定部２１０は、ＡＳＩＣやＦＰＧＡなどの集積装置、ＣＰＵ、ＭＰＵなどの電子回路に対応する。
【００９８】
ところで、図３，１０に示した画像処理装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００，２００の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、テンプレート生成部１３０、記憶部１４０、画像合成部１５０をカーナビゲーションシステムなどの車内の別の装置に組み込んでもよい。また、ミラー開閉判定部１６０，２１０、記憶部１４０を、着脱可能な外部装置または携帯端末等に搭載し、かかる外部装置または携帯端末等を画像処理装置１００に有線または無線で接続するようにしてもよい。
【００９９】
なお、画像処理装置１００，２００は、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置に、画像処理装置１００，２００の各機能を搭載することによって実現することもできる。
【０１００】
図１６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図１６に示すように、このコンピュータ３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、モニタ３０３を有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る媒体読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置３０５を有する。また、コンピュータ３００は、画像を撮影する複数のカメラ３０６と、各種情報を一時記憶するＲＡＭ（Random Access Memory）３０７と、ハードディスク装置３０８を有する。各装置３０１〜３０８は、バス３０９に接続される。
【０１０１】
そして、ハードディスク装置３０８には、図３，１０に示したミラー開閉判定部１６０，２１０と同様の機能を有する開閉判定プログラム３０８ａを記憶する。また、ハードディスク装置３０８は、図３，１０に示した第１のテンプレートデータ１４０ａ、第２のテンプレートデータ１４０ｂにそれぞれ対応する第１のテンプレートデータ３０８ｂ、第２のテンプレートデータ３０８ｃを記憶する。
【０１０２】
ＣＰＵ３０１が開閉判定プログラム３０８ａをハードディスク装置３０８から読み出してＲＡＭ３０７に展開することにより、開閉判定プログラム３０８ａは、開閉判定プロセス３０７ａとして機能するようになる。そして、開閉判定プロセス３０７ａは、第１のテンプレートデータ３０８ｂ、第２のテンプレートデータ３０８ｃを利用して、判定対象画像データが開状態で撮影された画像データであるか否かを判定する。
【０１０３】
なお、上記の開閉判定プログラム３０８ａは、必ずしもハードディスク装置３０８に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１０４】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０５】
（付記１）可動部に設けられた撮像部により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像部により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像部により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定部と
を備えたことを特徴とする画像判定装置。
【０１０６】
（付記２）前記判定対象画像データから特徴を抽出した特徴画像データを生成する特徴画像生成部を更に備え、前記判定部は、前記特徴画像データのうち前記第１のデータに該当する部分画像の特徴量を第１の尤度として抽出し、前記特徴画像データのうち前記第２のデータに該当する部分画像の特徴量を第２の尤度として抽出し、前記第１の尤度及び第２の尤度を比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする付記１に記載の画像判定装置。
【０１０７】
（付記３）前記特徴画像生成部は、複数の前記撮像部によりそれぞれ撮影された判定対象画像データを取得し、前記判定対象画像データ毎に前記特徴画像データを生成し、前記判定部は、前記特徴画像データ毎に第１の尤度及び第２の尤度を抽出し、各第１の尤度の合計と各第２の尤度の合計とを比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする付記２に記載の画像判定装置。
【０１０８】
（付記４）画像判定装置により実行される方法であって、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定ステップ
を含んだことを特徴とする画像判定方法。
【０１０９】
（付記５）コンピュータに、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定手順
を実行させることを特徴とする画像判定プログラム。
【０１１０】
（付記６）可動部に設けられた撮像装置と、前記撮像装置により撮像された画像データが如何なる状態で撮影された画像データなのかを判定する画像判定装置と、前記画像判定装置の判定結果に応じた出力を行う出力装置とを有する画像判定システムであって、
前記画像判定装置は、
前記撮像装置により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像装置により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像装置により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定し、判定結果を前記出力装置に通知する判定部と
を備えたことを特徴とする画像判定システム。
【符号の説明】
【０１１１】
１０ 画像判定装置
１１ 可動部
１２ 撮像部
１３ 記憶部
１３ａ 第１の部分画像データ
１３ｂ 第２の部分画像データ
１４ 判定部
【特許請求の範囲】
【請求項１】
可動部に設けられた撮像部により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像部により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像部により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定部と
を備えたことを特徴とする画像判定装置。
【請求項２】
前記判定対象画像データから特徴を抽出した特徴画像データを生成する特徴画像生成部を更に備え、前記判定部は、前記特徴画像データのうち前記第１のデータに該当する部分画像の特徴量を第１の尤度として抽出し、前記特徴画像データのうち前記第２のデータに該当する部分画像の特徴量を第２の尤度として抽出し、前記第１の尤度及び第２の尤度を比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする請求項１に記載の画像判定装置。
【請求項３】
前記特徴画像生成部は、複数の前記撮像部によりそれぞれ撮影された判定対象画像データを取得し、前記判定対象画像データ毎に前記特徴画像データを生成し、前記判定部は、前記特徴画像データ毎に第１の尤度及び第２の尤度を抽出し、各第１の尤度の合計と各第２の尤度の合計とを比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする請求項２に記載の画像判定装置。
【請求項４】
画像判定装置により実行される方法であって、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定ステップ
を含んだことを特徴とする画像判定方法。
【請求項５】
コンピュータに、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定手順
を実行させることを特徴とする画像判定プログラム。
【請求項１】
可動部に設けられた撮像部により前記可動部の第１の状態で撮影された画像データのうち前記第１の状態の特徴を含む第１のデータ、並びに、前記撮像部により前記可動部の第２の状態で撮影された画像データのうち前記第２の状態の特徴を含む第２のデータを記憶する記憶部と、
前記撮像部により撮影された判定対象となる判定対象画像データにつき、前記記憶部に記憶した第１のデータに対応する前記判定対象画像データの特徴及び第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定部と
を備えたことを特徴とする画像判定装置。
【請求項２】
前記判定対象画像データから特徴を抽出した特徴画像データを生成する特徴画像生成部を更に備え、前記判定部は、前記特徴画像データのうち前記第１のデータに該当する部分画像の特徴量を第１の尤度として抽出し、前記特徴画像データのうち前記第２のデータに該当する部分画像の特徴量を第２の尤度として抽出し、前記第１の尤度及び第２の尤度を比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする請求項１に記載の画像判定装置。
【請求項３】
前記特徴画像生成部は、複数の前記撮像部によりそれぞれ撮影された判定対象画像データを取得し、前記判定対象画像データ毎に前記特徴画像データを生成し、前記判定部は、前記特徴画像データ毎に第１の尤度及び第２の尤度を抽出し、各第１の尤度の合計と各第２の尤度の合計とを比較することで、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定することを特徴とする請求項２に記載の画像判定装置。
【請求項４】
画像判定装置により実行される方法であって、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定ステップ
を含んだことを特徴とする画像判定方法。
【請求項５】
コンピュータに、
可動部に設けられた撮像部により判定対象となる判定対象画像データが撮影された場合に、前記可動部が第１の状態の時に前記撮像部により撮影された画像データのうち前記第１の状態の特徴を含む第１のデータに対応する前記判定対象画像データの特徴、及び、前記可動部が第２の状態の時に前記撮像部により撮影された画像データのうち前記第２の状態の特徴を含む第２のデータに対応する前記判定対象画像データの特徴を比較した結果に基づいて、前記判定対象画像データが前記可動部の第１の状態で撮影された画像データであるか否かを判定する判定手順
を実行させることを特徴とする画像判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１１３２９２（Ｐ２０１１−１１３２９２Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６８９４６（Ｐ２００９−２６８９４６）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]