消失点推定装置及びプログラム
【課題】複数の直線が検出されない場合であっても、安定して消失点の位置を推定することができるようにする。
【解決手段】前回撮像された画像に基づいて生成された存在度合い分布に基づいて、時刻ｔにおける予測仮説点を生成し（１０６）、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し（１０８）、撮像画像から特徴点を複数抽出して（１１０）、少なくとも１本の直線を撮像画像から検出する（１１２）。そして、検出された直線と予測仮説点との間の距離に基づいて、予測仮説点の各々における重みを更新して存在度合い分布を生成し（１１４）、存在度合い分布から、最大の重みとなる予測仮説点を検索し、撮像画像上において、検索された予測仮説点の位置を消失点の位置として推定する（１１６）。
【解決手段】前回撮像された画像に基づいて生成された存在度合い分布に基づいて、時刻ｔにおける予測仮説点を生成し（１０６）、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し（１０８）、撮像画像から特徴点を複数抽出して（１１０）、少なくとも１本の直線を撮像画像から検出する（１１２）。そして、検出された直線と予測仮説点との間の距離に基づいて、予測仮説点の各々における重みを更新して存在度合い分布を生成し（１１４）、存在度合い分布から、最大の重みとなる予測仮説点を検索し、撮像画像上において、検索された予測仮説点の位置を消失点の位置として推定する（１１６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消失点推定装置及びプログラムに係り、特に、撮像画像中の消失点の位置を推定する消失点推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像から取得した３本の直線から、各直線対の交点を算出し、交点の平均位置から消失点の位置を算出する手法が知られている（特許文献１）。
【特許文献１】特開２０００−１２３３００
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の技術では、消失点の位置を算出する際に、常に３本の白線等の直線を検出する必要があるため、走行環境によって複数の直線を検出できない場合には、消失点位置が算出できず、安定して消失点の位置を推定することができない、という問題がある。
【０００４】
本発明は、上記の問題点を解決するためになされたもので、複数の直線が検出されない場合であっても、安定して消失点の位置を推定することができる消失点推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために第１の発明に係る消失点推定装置は、所定時間間隔で所定領域を撮像する撮像手段と、前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段と、前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段とを含んで構成されている。
【０００６】
第２の発明に係るプログラムは、コンピュータを、所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段、及び前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段として機能させるためのプログラムである。
【０００７】
第１の発明及び第２の発明によれば、撮像手段によって、所定時間間隔で所定領域を撮像し、検出手段によって、撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する。
【０００８】
そして、更新手段によって、撮像手段によって過去に撮像された画像に基づいて生成した該画像上における複数の仮説点の位置を表わす分布、及び検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、複数の仮説点の位置を更新して、分布を生成する。
【０００９】
そして、推定手段によって、更新手段によって生成された分布に基づいて、画像上の消失点の位置を推定する。
【００１０】
このように、過去に撮像された画像に基づいて生成した仮説点の位置の分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて複数の仮説点の位置を更新して仮説点の位置の分布を生成するため、複数の直線が検出されない場合であっても、仮説点の位置の分布を生成することができ、安定して消失点の位置を推定することができる。
【００１１】
第１の発明に係る推定手段は、仮説点の位置の分布に基づいて定まる仮説点の密度に基づいて、画像上の消失点の位置を推定することができる。これによって、仮説点の密度が高い位置を消失点の位置として推定することができる。
【００１２】
第３の発明に係る消失点推定装置は、所定時間間隔で所定領域を撮像する撮像手段と、前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段と、前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段とを含んで構成されている。
【００１３】
第４の発明に係るプログラムは、コンピュータを、所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段、及び前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段として機能させるためのプログラムである。
【００１４】
第３の発明及び第４の発明によれば、撮像手段によって、所定時間間隔で所定領域を撮像し、検出手段によって、撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する。
【００１５】
そして、更新手段によって、撮像手段によって過去に撮像された画像に基づいて生成した該画像上における複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、複数の仮説点の位置及び各仮説点の消失点が存在する度合いの少なくとも一方を更新して、分布を生成する。
【００１６】
そして、推定手段によって、更新手段によって生成された分布に基づいて、画像上の消失点の位置を推定する。
【００１７】
このように、過去に撮像された画像に基づいて生成した仮説点の位置と消失点が存在する度合いとを表わす分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて複数の仮説点の位置又は消失点が存在する度合いを更新して仮説点の位置と消失点が存在する度合いとを表わす分布を生成するため、複数の直線が検出されない場合であっても、仮説点の位置と消失点が存在する度合いとを表わす分布を生成することができ、安定して消失点の位置を推定することができる。
【００１８】
第３の発明に係る更新手段は、検出手段によって検出された直線との距離が近い仮説点ほど、高くなるように度合いを更新することができる。これによって、直線との距離が近い仮説点の位置が消失点の位置として推定されるようになる。
【００１９】
第３の発明に係る推定手段は、分布に基づいて定まる仮説点の密度及び各仮説点の度合いの少なくとも一方に基づいて、画像上の消失点の位置を推定することができる。これによって、仮説点の密度が高い位置又は度合いが高い仮説点の位置を、消失点の位置として推定することができる。
【００２０】
第３の発明に係る推定手段は、度合いが最大となる仮説点の位置を、消失点の位置として推定することができる。
【００２１】
第３の発明に係る推定手段は、度合いを重みとして、複数の仮説点の位置を重み付き平均した点の位置を算出し、算出された点の位置を、消失点の位置として推定することができる。
【発明の効果】
【００２２】
以上説明したように、本発明の消失点推定装置及びプログラムによれば、複数の直線が検出されない場合であっても、仮説点の位置の分布又は仮説点の位置と消失点が存在する度合いとを表わす分布を生成することができ、安定して消失点の位置を推定することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、計測対象物までの距離を計測する計測装置に本発明を適用した場合を例に説明する。
【００２４】
図１に示すように、第１の実施の形態に係る計測装置１０は、車両（図示省略）に搭載され、かつ、計測対象物を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる画像に基づいて、計測対象物までの距離を計測する計測処理ルーチンを実現するための計測プログラムを格納したコンピュータ１４と、計測結果を表示する表示装置１６とを備えている。
【００２５】
撮像装置１２は、計測対象物を含む領域を所定時間間隔で連続して撮像し、画像の画像信号を生成するカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２６】
コンピュータ１４は、ＣＰＵ、後述する計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力される各時刻の濃淡画像である撮像画像を入力する画像入力部２０と、撮像画像から特徴点を抽出する特徴点抽出部２２と、撮像画像から直線を検出する直線検出部２４と、撮像画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとで表わされる存在度合い分布を生成する分布生成部２６と、過去に生成された存在度合い分布を記憶する分布記憶部２８と、存在度合い分布に基づいて、消失点の位置を推定する消失点位置推定部３０と、撮像画像から計測対象物を検出する計測対象物検出部３２と、推定された消失点の位置及び検出された計測対象物の位置に基づいて、撮像装置１２から計測対象物までの距離を計測する距離計測部３４とを備えている。
【００２７】
特徴点抽出部２２は、撮像画像から、例えば輝度の変化点（エッジ点）を特徴点として抽出する。エッジ点を抽出する場合には、例えばソーベルフィルタなどの微分フィルタを用いて特徴点を抽出すればよい。
【００２８】
直線検出部２４は、直線上に並ぶ特徴点を検出して、少なくとも１本の直線を検出する。直線を検出する方法としては、従来既知の方法を用いればよく、例えば、ハフ変換を用いて、撮像画像から直線を検出すればよい。
【００２９】
図５に示すように、存在度合い分布は、消失点の存在が仮定される複数の仮説点の位置と、各仮説点の消失点が存在する度合いとしての重みとで表わされる。分布生成部２６は、消失点の存在が仮定される仮説点を撮像画像上にｎ個設定する仮説設定部３８と、直線検出部２４によって検出された少なくとも１本の直線に基づいて、各仮説点の重みを更新する更新部４０とを備えている。
【００３０】
仮説設定部３８は、分布記憶部２８に記憶された各仮説点の重みに比例する割合で、ｎ個の仮説点を設定する。更新部４０は、直線検出部２４で検出された直線を観測ベクトルとして、撮像画像上に設定されたｎ個の仮説点の重みを更新する。更新部４０では、仮説点と直線との間の距離に基づいて、距離が短いほど、大きい重みとなるように各仮説点の重みを更新する。
【００３１】
消失点位置推定部３０は、分布生成部２６によって生成されたｎ個の仮説点と重みとで表される存在度合い分布から、重みが最も大きい仮説点を検索し、検索された仮説点の位置を、消失点の位置として推定する。
【００３２】
計測対象物検出部３２は、例えばパターンマッチング手法を用いて、撮像画像から計測対象物を検出する。距離計測部３４は、計測対象物検出部３２で検出された計測対象物の位置と、消失点位置推定部３０によって推定された消失点の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測する。なお、計測対象物までの距離の計測方法は、従来既知の方法を用いればよく、本実施の形態では、計測方法の詳細な説明を省略する。
【００３３】
次に、第１の実施の形態に係る計測装置１０の作用について説明する。
【００３４】
まず、撮像装置１２が、計測対象物を含む領域に向けられ、撮像装置１２によって計測対象物を含む領域が所定時間間隔で連続して撮像されると、コンピュータ１４において、図２に示す計測処理ルーチンが実行される。
【００３５】
ステップ１００において、時刻を識別する変数ｔを初期値である０に設定し、ステップ１０２において、消失点位置の存在度合い分布を初期化して、分布記憶部２８に存在度合い分布を記憶する。
【００３６】
ここで、時刻ｔにおける消失点位置Ｘｔ（＝（ｘｔ、ｙｔ））の存在度合い分布を、ｎ個の仮説点ｓｉｔと、各仮説点に対する重みπｉｔ（ｉ＝１，・・・，ｎ）とで表現する。なお、仮説点の集合をＳｔ＝｛ｓ０ｔ，・・・，ｓｎｔ｝とする。また、初期化された存在度合い分布は、予め定められた仮説点の位置ｓｉ０と各仮説点に対する予め定められた重みπｉ０とで表わされる分布であり、πｉ０＝１／ｎ、すなわち、Σπｉ０＝１である。
【００３７】
そして、ステップ１０４において、ｔをインクリメントし、ステップ１０６において、前回（時刻ｔ−１）撮像された画像に基づいて生成された存在度合い分布を分布記憶部２８から読み込み、時刻ｔ−１の各仮説点ｓｉｔ−１をシステムモデルに従い遷移させ、時刻ｔにおける予測仮説点ｓｉｔ／ｔ−１を生成する。ここで、システムモデルは、例えば、撮像装置１２の移動を表わすモデルであり、撮像装置１２の移動に応じて、各仮説点を遷移させる。
【００３８】
次のステップ１０８では、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し、ステップ１１０において、上記ステップ１０８で取得した撮像画像から、ソーベルフィルタを用いて、エッジ点である特徴点を複数抽出する。
【００３９】
そして、ステップ１１２では、上記ステップ１１０で抽出した特徴点から、ハフ変換を用いて、直線上に並ぶ特徴点を検出して、少なくとも１本の直線を撮像画像から検出する。検出した直線群を観測ベクトルｚｔとすると、観測ベクトルｚｔは以下の（１）式で表わされる。
【００４０】
【数１】
【００４１】
ここで、ｒｉｔは撮像画像中の直線、ｍｔは、時刻ｔで検出された直線の数である。
【００４２】
そして、ステップ１１４において、観測ベクトルｚｔを用いて、予測仮説点ｓｉｔ／ｔ−１の各々における重みπｉｔ（ｉ＝１，・・・，ｎ）を更新する。上記ステップ１１４では、各直線ｒｊｔ（ｊ＝１，・・・，ｍｔ）について、予測仮説点ｓｉｔ／ｔ−１と直線ｒｊｔとから、後述する関数を用いて、ｗｉｊｔを算出し、以下の（２）式により、予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔを更新する。
【００４３】
【数２】
【００４４】
ここで、ｗｉｊｔは消失点位置Ｘｔが予測仮説点ｓｉｔの位置であったときに、観測ベクトルｒｊｔを得る確率（尤度）である。例えば、図３に示すように、予測仮説点ｓｉｔと直線を表わす観測ベクトルｒｊｔとの距離をｄとした場合、図４に示すような関数を用いてｗｉｊｔが得られる。上記図４に示すように、検出された直線との距離が近い予測仮説点ほど、対応する重みが大きい重みとなるように更新され、一方、検出された直線との距離が遠い予測仮説点ほど、対応する重みが小さい重みとなるように更新される。また、πｉｔは、以下の（３）式を満たすように正規化される。
【００４５】
【数３】
【００４６】
次のステップ１１６では、上記ステップ１０６で生成された予測仮説点の位置と上記ステップ１１４で更新された各予測仮説点に対する重みとで表わされる存在度合い分布を分布記憶部２８に記憶し、ステップ１１８において、図５に示すように、存在度合い分布から、最大の重みとなる仮説点を検索し、撮像画像上において、検索された仮説点の位置を消失点の位置として推定する。
【００４７】
そして、ステップ１２０では、上記ステップ１０８で取得された撮像画像から、計測対象物を検出し、ステップ１２２において、上記ステップ１１８で推定された撮像画像上の消失点の位置と、上記ステップ１２０で検出された計測対象物の撮像画像上の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測し、ステップ１２４において、上記ステップ１２２で計測された計測対象物までの距離を、表示装置１６に表示させる。
【００４８】
次のステップ１２６では、計測処理を終了するか否かを判定し、計測処理の終了指示がオペレータからあった場合には、計測処理ルーチンを終了するが、一方、計測処理の終了指示がなかった場合には、ステップ１２８において、分布記憶部２８に記憶された存在度合い分布を更新して、上記ステップ１０４に戻り、時刻ｔ＋１に撮像された撮像画像について、上記ステップ１０４〜ステップ１２４の処理を実行する。
【００４９】
上記ステップ１２８の更新では、ｎ個の予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔに比例する割合で、撮像画像上からｎ個の仮説点を抽出して、ｎ個の仮説点の位置を更新し、仮説点の集合Ｓｔ＝｛ｓ１ｔ、・・・、ｓｎｔ｝を得る。また、各仮説点の重みは再びπｉｔ＝１／ｎとする。
【００５０】
以上説明したように、第１の実施の形態に係る計測装置によれば、前回撮像された画像に基づいて生成した仮説点の位置と重みとで表わされる存在度合い分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて、各仮説点に対する重みを更新して存在度合い分布を生成するため、複数の直線が検出されない場合であっても、存在度合い分布を生成することができ、存在度合い分布を用いて安定して消失点の位置を推定することができる。また、推定された消失点の位置を用いて、安定して計測対象物までの距離を計測することができる。
【００５１】
従来技術であっても、過去の推定値を用いて今回の推定値を求めることは可能であるが、今回の撮像画像から取得した情報を有効に利用していないため、推定精度が低かった。一方、本発明では、今回の撮像画像から検出された少なくとも一本の直線を用いて、存在度合い分布を生成するため、今回の撮像画像から取得した情報を有効に利用して、消失点位置を精度よく推定することができる。
【００５２】
また、撮像画像中の消失点の位置を推定するために用いられる存在度合い分布を、複数の仮説点の位置と各仮説点に対する重みとで表現し、検出した直線の情報により各仮説点の重みを更新して存在度合い分布を生成し、消失点の存在度合い分布から消失点の位置を推定する。これによって、消失点の位置の候補となる直線の交点座標を直接算出せずに、各仮説点と直線との位置関係から仮説点に対する重みを評価することで、安定して存在度合い分布を生成することができるため、消失点位置の推定を安定化させることができる。
【００５３】
また、消失点が交点となるような直線の組が検出されない場合にも、仮説点の重みを評価することが可能であり、消失点位置の推定が安定する。
【００５４】
なお、上記の実施の形態では、存在度合い分布を、仮説点の位置と各仮説点に対する重みとで表わした場合を例に説明したが、存在度合い分布を、仮説点の位置と各仮説点に消失点が存在する存在確率とで表わすようにしてもよい。この場合には、観測ベクトルの履歴をＺｔ＝｛ｚ１，・・・，ｚｔ｝としたとき、存在確率の分布ｐ（Ｘｔ｜Ｚｔ）を、ｎ個の離散的な状態の仮説点ｓｉｔと各仮説点に対する重みπｉｔとを用いて算出すればよい。また、消失点の位置を推定する際には、最大の存在確率となる仮説点の位置を検索し、検索された仮説点の位置を、消失点の位置として推定すればよい。
【００５５】
また、検出された直線と各仮説点の位置との間の距離を用いて、各仮説点の重みを算出する場合を例に説明したが、検出された直線上に存在する特徴点数を更に考慮して、各仮説点の重みを算出するようにしてもよい。例えば、複数の直線が検出される場合に、直線上に存在する特徴点数が多い直線に近い仮説点に対して、大きい重みを算出し、一方、直線上に存在する特徴点数が少ない直線に近い仮説点に対して、小さい重みを算出する。
【００５６】
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００５７】
第２の実施の形態では、存在度合い分布から定まる仮説点の密度と各仮説点の重みとに基づいて、消失点の位置を推定している点が第１の実施の形態と異なっている。
【００５８】
第２の実施の形態に係る計測処理ルーチンにおける消失点の位置を推定する処理では、存在度合い分布から定まる仮説点の密度を、各仮説点の位置について算出し、重みと密度とを乗算した値が最大となる仮説点の位置を、消失点の位置として推定する。
【００５９】
例えば、上述した第１の実施の形態に係る計測処理ルーチンのステップ１２８において、予測仮説点の各々に対する重みに比例する割合で、ｎ個の仮説点を抽出した結果、複数の仮説点が、同じ位置で抽出された場合には、その位置の仮説点の密度が高くなり、また、仮説点の密度が高い位置の仮説点の重みが大きければ、この仮説点の位置が、消失点の位置として推定される可能性が高くなる。
【００６０】
このように、存在度合い分布から定まる仮説点の密度と各仮説点の重みとに基づいて、仮説点の密度が高く、かつ、重みが大きい仮説点の位置を、消失点の位置を推定することにより、高精度に消失点の位置を推定することができる。
【００６１】
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００６２】
第３の実施の形態では、仮説点の位置の重み付き平均によって算出される位置を、消失点の位置として推定している点が第１の実施の形態と異なっている。
【００６３】
第３の実施の形態に係る計測処理ルーチンにおける消失点の位置を推定する処理では、図６に示すように、存在度合い分布の各仮説点の位置と、各仮説点に対する重みとに基づいて、仮説点の位置の重み付き平均を算出し、算出された位置を、消失点の位置として推定する。
【００６４】
このように、仮説点の位置の重み付き平均によって算出される位置を、消失点の位置として推定することにより、高精度に消失点の位置を推定することができる。
【００６５】
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００６６】
第４の実施の形態では、存在度合い分布が消失点の位置の分布で表わされる点と、存在度合い分布から定まる仮説点の密度に基づいて、消失点の位置を推定している点と、が第１の実施の形態と異なっている。
【００６７】
第４の実施の形態に係る計測装置１０の分布生成部２６は、ｎ個の仮説点の位置の分布で表わされる存在度合い分布を生成する。仮説点の各々には重みが設定され、また、存在度合い分布から定まる仮説点の密度が、撮像画像上の各位置について得られる。
【００６８】
消失点位置推定部３０は、存在度合い分布から定まる仮説点の密度が最も高い位置を、消失点の位置として推定する。
【００６９】
次に、第４の実施の形態に係る計測処理ルーチンについて図７を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７０】
まず、ステップ１００において、時刻を識別する変数ｔを０に設定し、ステップ１０２において、消失点位置の存在度合い分布を初期化して、分布記憶部２８に記憶する。
【００７１】
ここで、時刻ｔにおける消失点位置Ｘｔ（＝（ｘｔ、ｙｔ））の存在度合い分布を、ｎ個の仮説点ｓｉｔの位置の分布で表現する。初期化された存在度合い分布は、予め定められた仮説点の位置ｓｉ０の分布であり、各仮説点に対して予め定められた重みπｉ０を設定する。なお、πｉ０＝１／ｎ、すなわち、Σπｉ０＝１である。
【００７２】
そして、ステップ１０４において、ｔをインクリメントし、ステップ１０６において、前回（時刻ｔ−１）撮像された画像に基づいて生成された存在度合い分布を分布記憶部２８から読み込み、時刻ｔ−１の各仮説点ｓｉｔ−１をシステムモデルに従い遷移させ、時刻ｔにおける予測仮説点ｓｉｔ／ｔ−１を生成する。次のステップ１０８では、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し、ステップ１１０において、上記ステップ１０８で取得した撮像画像から、エッジ点である特徴点を複数抽出する。
【００７３】
そして、ステップ１１２では、少なくとも１本の直線を撮像画像から検出し、ステップ１１４において、検出された直線を表わす観測ベクトルｚｔを用いて、予測仮説点ｓｉｔ／ｔ−１の各々に設定される重みπｉｔ（ｉ＝１，・・・，ｎ）を更新する。
【００７４】
次のステップ４００において、ｎ個の予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔに比例する割合で、撮像画像上からｎ個の仮説点を抽出して、ｎ個の仮説点の位置を更新し、仮説点の集合Ｓｔ＝｛ｓ１ｔ、・・・、ｓｎｔ｝を得る。また、各仮説点の重みを再びπｉｔ＝１／ｎに設定する。
【００７５】
そして、ステップ４０２において、上記ステップ４００で更新された仮説点の位置の分布で表わされる存在度合い分布を分布記憶部２８に記憶し、ステップ４０４において、存在度合い分布から定まる仮説点の密度を、撮像画像上の各位置について算出すると共に、仮説点の密度が最大となる位置を検索して、撮像画像上において、検索された位置を消失点の位置として推定する。
【００７６】
そして、ステップ１２０では、上記ステップ１０８で取得された撮像画像から、計測対象物を検出し、ステップ１２２において、上記ステップ４０４で推定された撮像画像上の消失点の位置と、上記ステップ１２０で検出された計測対象物の撮像画像上の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測し、ステップ１２４において、上記ステップ１２２で計測された計測対象物までの距離を、表示装置１６に表示させる。
【００７７】
次のステップ１２６では、計測処理を終了するか否かを判定し、計測処理の終了指示がオペレータからあった場合には、計測処理ルーチンを終了するが、一方、計測処理の終了指示がなかった場合には、上記ステップ１０４に戻る。
【００７８】
以上説明したように、第４の実施の形態に係る計測装置によれば、前回撮像された画像に基づいて生成した仮説点の位置の分布で表わされる存在度合い分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて、複数の仮説点の位置を更新して存在度合い分布を生成するため、複数の直線が検出されない場合であっても、消失点の存在度合い分布を生成することができ、存在度合い分布を用いて安定して消失点の位置を推定することができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る計測装置を示すブロック図である。
【図２】本発明の第１の実施の形態に係る計測装置における計測処理ルーチンの内容を示すフローチャートである。
【図３】検出された直線と仮説点との間の距離を示すイメージ図である。
【図４】仮説点及び直線の間の距離と仮説点に対する重みとの関係を示すグラフである。
【図５】存在度合い分布を示すイメージ図である。
【図６】存在度合い分布から仮説点の位置の重み付き平均を算出する様子を示すイメージ図である。
【図７】本発明の第４の実施の形態に係る計測装置における計測処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【００８０】
１０ 計測装置
１２ 撮像装置
１４ コンピュータ
２２ 特徴点抽出部
２４ 直線検出部
２６ 分布生成部
２８ 分布記憶部
３０ 消失点位置推定部
３２ 計測対象物検出部
３４ 距離計測部
【技術分野】
【０００１】
本発明は、消失点推定装置及びプログラムに係り、特に、撮像画像中の消失点の位置を推定する消失点推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像から取得した３本の直線から、各直線対の交点を算出し、交点の平均位置から消失点の位置を算出する手法が知られている（特許文献１）。
【特許文献１】特開２０００−１２３３００
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の技術では、消失点の位置を算出する際に、常に３本の白線等の直線を検出する必要があるため、走行環境によって複数の直線を検出できない場合には、消失点位置が算出できず、安定して消失点の位置を推定することができない、という問題がある。
【０００４】
本発明は、上記の問題点を解決するためになされたもので、複数の直線が検出されない場合であっても、安定して消失点の位置を推定することができる消失点推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために第１の発明に係る消失点推定装置は、所定時間間隔で所定領域を撮像する撮像手段と、前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段と、前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段とを含んで構成されている。
【０００６】
第２の発明に係るプログラムは、コンピュータを、所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段、及び前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段として機能させるためのプログラムである。
【０００７】
第１の発明及び第２の発明によれば、撮像手段によって、所定時間間隔で所定領域を撮像し、検出手段によって、撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する。
【０００８】
そして、更新手段によって、撮像手段によって過去に撮像された画像に基づいて生成した該画像上における複数の仮説点の位置を表わす分布、及び検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、複数の仮説点の位置を更新して、分布を生成する。
【０００９】
そして、推定手段によって、更新手段によって生成された分布に基づいて、画像上の消失点の位置を推定する。
【００１０】
このように、過去に撮像された画像に基づいて生成した仮説点の位置の分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて複数の仮説点の位置を更新して仮説点の位置の分布を生成するため、複数の直線が検出されない場合であっても、仮説点の位置の分布を生成することができ、安定して消失点の位置を推定することができる。
【００１１】
第１の発明に係る推定手段は、仮説点の位置の分布に基づいて定まる仮説点の密度に基づいて、画像上の消失点の位置を推定することができる。これによって、仮説点の密度が高い位置を消失点の位置として推定することができる。
【００１２】
第３の発明に係る消失点推定装置は、所定時間間隔で所定領域を撮像する撮像手段と、前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段と、前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段とを含んで構成されている。
【００１３】
第４の発明に係るプログラムは、コンピュータを、所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段、及び前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段として機能させるためのプログラムである。
【００１４】
第３の発明及び第４の発明によれば、撮像手段によって、所定時間間隔で所定領域を撮像し、検出手段によって、撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する。
【００１５】
そして、更新手段によって、撮像手段によって過去に撮像された画像に基づいて生成した該画像上における複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、複数の仮説点の位置及び各仮説点の消失点が存在する度合いの少なくとも一方を更新して、分布を生成する。
【００１６】
そして、推定手段によって、更新手段によって生成された分布に基づいて、画像上の消失点の位置を推定する。
【００１７】
このように、過去に撮像された画像に基づいて生成した仮説点の位置と消失点が存在する度合いとを表わす分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて複数の仮説点の位置又は消失点が存在する度合いを更新して仮説点の位置と消失点が存在する度合いとを表わす分布を生成するため、複数の直線が検出されない場合であっても、仮説点の位置と消失点が存在する度合いとを表わす分布を生成することができ、安定して消失点の位置を推定することができる。
【００１８】
第３の発明に係る更新手段は、検出手段によって検出された直線との距離が近い仮説点ほど、高くなるように度合いを更新することができる。これによって、直線との距離が近い仮説点の位置が消失点の位置として推定されるようになる。
【００１９】
第３の発明に係る推定手段は、分布に基づいて定まる仮説点の密度及び各仮説点の度合いの少なくとも一方に基づいて、画像上の消失点の位置を推定することができる。これによって、仮説点の密度が高い位置又は度合いが高い仮説点の位置を、消失点の位置として推定することができる。
【００２０】
第３の発明に係る推定手段は、度合いが最大となる仮説点の位置を、消失点の位置として推定することができる。
【００２１】
第３の発明に係る推定手段は、度合いを重みとして、複数の仮説点の位置を重み付き平均した点の位置を算出し、算出された点の位置を、消失点の位置として推定することができる。
【発明の効果】
【００２２】
以上説明したように、本発明の消失点推定装置及びプログラムによれば、複数の直線が検出されない場合であっても、仮説点の位置の分布又は仮説点の位置と消失点が存在する度合いとを表わす分布を生成することができ、安定して消失点の位置を推定することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、計測対象物までの距離を計測する計測装置に本発明を適用した場合を例に説明する。
【００２４】
図１に示すように、第１の実施の形態に係る計測装置１０は、車両（図示省略）に搭載され、かつ、計測対象物を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる画像に基づいて、計測対象物までの距離を計測する計測処理ルーチンを実現するための計測プログラムを格納したコンピュータ１４と、計測結果を表示する表示装置１６とを備えている。
【００２５】
撮像装置１２は、計測対象物を含む領域を所定時間間隔で連続して撮像し、画像の画像信号を生成するカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２６】
コンピュータ１４は、ＣＰＵ、後述する計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から出力される各時刻の濃淡画像である撮像画像を入力する画像入力部２０と、撮像画像から特徴点を抽出する特徴点抽出部２２と、撮像画像から直線を検出する直線検出部２４と、撮像画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとで表わされる存在度合い分布を生成する分布生成部２６と、過去に生成された存在度合い分布を記憶する分布記憶部２８と、存在度合い分布に基づいて、消失点の位置を推定する消失点位置推定部３０と、撮像画像から計測対象物を検出する計測対象物検出部３２と、推定された消失点の位置及び検出された計測対象物の位置に基づいて、撮像装置１２から計測対象物までの距離を計測する距離計測部３４とを備えている。
【００２７】
特徴点抽出部２２は、撮像画像から、例えば輝度の変化点（エッジ点）を特徴点として抽出する。エッジ点を抽出する場合には、例えばソーベルフィルタなどの微分フィルタを用いて特徴点を抽出すればよい。
【００２８】
直線検出部２４は、直線上に並ぶ特徴点を検出して、少なくとも１本の直線を検出する。直線を検出する方法としては、従来既知の方法を用いればよく、例えば、ハフ変換を用いて、撮像画像から直線を検出すればよい。
【００２９】
図５に示すように、存在度合い分布は、消失点の存在が仮定される複数の仮説点の位置と、各仮説点の消失点が存在する度合いとしての重みとで表わされる。分布生成部２６は、消失点の存在が仮定される仮説点を撮像画像上にｎ個設定する仮説設定部３８と、直線検出部２４によって検出された少なくとも１本の直線に基づいて、各仮説点の重みを更新する更新部４０とを備えている。
【００３０】
仮説設定部３８は、分布記憶部２８に記憶された各仮説点の重みに比例する割合で、ｎ個の仮説点を設定する。更新部４０は、直線検出部２４で検出された直線を観測ベクトルとして、撮像画像上に設定されたｎ個の仮説点の重みを更新する。更新部４０では、仮説点と直線との間の距離に基づいて、距離が短いほど、大きい重みとなるように各仮説点の重みを更新する。
【００３１】
消失点位置推定部３０は、分布生成部２６によって生成されたｎ個の仮説点と重みとで表される存在度合い分布から、重みが最も大きい仮説点を検索し、検索された仮説点の位置を、消失点の位置として推定する。
【００３２】
計測対象物検出部３２は、例えばパターンマッチング手法を用いて、撮像画像から計測対象物を検出する。距離計測部３４は、計測対象物検出部３２で検出された計測対象物の位置と、消失点位置推定部３０によって推定された消失点の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測する。なお、計測対象物までの距離の計測方法は、従来既知の方法を用いればよく、本実施の形態では、計測方法の詳細な説明を省略する。
【００３３】
次に、第１の実施の形態に係る計測装置１０の作用について説明する。
【００３４】
まず、撮像装置１２が、計測対象物を含む領域に向けられ、撮像装置１２によって計測対象物を含む領域が所定時間間隔で連続して撮像されると、コンピュータ１４において、図２に示す計測処理ルーチンが実行される。
【００３５】
ステップ１００において、時刻を識別する変数ｔを初期値である０に設定し、ステップ１０２において、消失点位置の存在度合い分布を初期化して、分布記憶部２８に存在度合い分布を記憶する。
【００３６】
ここで、時刻ｔにおける消失点位置Ｘｔ（＝（ｘｔ、ｙｔ））の存在度合い分布を、ｎ個の仮説点ｓｉｔと、各仮説点に対する重みπｉｔ（ｉ＝１，・・・，ｎ）とで表現する。なお、仮説点の集合をＳｔ＝｛ｓ０ｔ，・・・，ｓｎｔ｝とする。また、初期化された存在度合い分布は、予め定められた仮説点の位置ｓｉ０と各仮説点に対する予め定められた重みπｉ０とで表わされる分布であり、πｉ０＝１／ｎ、すなわち、Σπｉ０＝１である。
【００３７】
そして、ステップ１０４において、ｔをインクリメントし、ステップ１０６において、前回（時刻ｔ−１）撮像された画像に基づいて生成された存在度合い分布を分布記憶部２８から読み込み、時刻ｔ−１の各仮説点ｓｉｔ−１をシステムモデルに従い遷移させ、時刻ｔにおける予測仮説点ｓｉｔ／ｔ−１を生成する。ここで、システムモデルは、例えば、撮像装置１２の移動を表わすモデルであり、撮像装置１２の移動に応じて、各仮説点を遷移させる。
【００３８】
次のステップ１０８では、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し、ステップ１１０において、上記ステップ１０８で取得した撮像画像から、ソーベルフィルタを用いて、エッジ点である特徴点を複数抽出する。
【００３９】
そして、ステップ１１２では、上記ステップ１１０で抽出した特徴点から、ハフ変換を用いて、直線上に並ぶ特徴点を検出して、少なくとも１本の直線を撮像画像から検出する。検出した直線群を観測ベクトルｚｔとすると、観測ベクトルｚｔは以下の（１）式で表わされる。
【００４０】
【数１】
【００４１】
ここで、ｒｉｔは撮像画像中の直線、ｍｔは、時刻ｔで検出された直線の数である。
【００４２】
そして、ステップ１１４において、観測ベクトルｚｔを用いて、予測仮説点ｓｉｔ／ｔ−１の各々における重みπｉｔ（ｉ＝１，・・・，ｎ）を更新する。上記ステップ１１４では、各直線ｒｊｔ（ｊ＝１，・・・，ｍｔ）について、予測仮説点ｓｉｔ／ｔ−１と直線ｒｊｔとから、後述する関数を用いて、ｗｉｊｔを算出し、以下の（２）式により、予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔを更新する。
【００４３】
【数２】
【００４４】
ここで、ｗｉｊｔは消失点位置Ｘｔが予測仮説点ｓｉｔの位置であったときに、観測ベクトルｒｊｔを得る確率（尤度）である。例えば、図３に示すように、予測仮説点ｓｉｔと直線を表わす観測ベクトルｒｊｔとの距離をｄとした場合、図４に示すような関数を用いてｗｉｊｔが得られる。上記図４に示すように、検出された直線との距離が近い予測仮説点ほど、対応する重みが大きい重みとなるように更新され、一方、検出された直線との距離が遠い予測仮説点ほど、対応する重みが小さい重みとなるように更新される。また、πｉｔは、以下の（３）式を満たすように正規化される。
【００４５】
【数３】
【００４６】
次のステップ１１６では、上記ステップ１０６で生成された予測仮説点の位置と上記ステップ１１４で更新された各予測仮説点に対する重みとで表わされる存在度合い分布を分布記憶部２８に記憶し、ステップ１１８において、図５に示すように、存在度合い分布から、最大の重みとなる仮説点を検索し、撮像画像上において、検索された仮説点の位置を消失点の位置として推定する。
【００４７】
そして、ステップ１２０では、上記ステップ１０８で取得された撮像画像から、計測対象物を検出し、ステップ１２２において、上記ステップ１１８で推定された撮像画像上の消失点の位置と、上記ステップ１２０で検出された計測対象物の撮像画像上の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測し、ステップ１２４において、上記ステップ１２２で計測された計測対象物までの距離を、表示装置１６に表示させる。
【００４８】
次のステップ１２６では、計測処理を終了するか否かを判定し、計測処理の終了指示がオペレータからあった場合には、計測処理ルーチンを終了するが、一方、計測処理の終了指示がなかった場合には、ステップ１２８において、分布記憶部２８に記憶された存在度合い分布を更新して、上記ステップ１０４に戻り、時刻ｔ＋１に撮像された撮像画像について、上記ステップ１０４〜ステップ１２４の処理を実行する。
【００４９】
上記ステップ１２８の更新では、ｎ個の予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔに比例する割合で、撮像画像上からｎ個の仮説点を抽出して、ｎ個の仮説点の位置を更新し、仮説点の集合Ｓｔ＝｛ｓ１ｔ、・・・、ｓｎｔ｝を得る。また、各仮説点の重みは再びπｉｔ＝１／ｎとする。
【００５０】
以上説明したように、第１の実施の形態に係る計測装置によれば、前回撮像された画像に基づいて生成した仮説点の位置と重みとで表わされる存在度合い分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて、各仮説点に対する重みを更新して存在度合い分布を生成するため、複数の直線が検出されない場合であっても、存在度合い分布を生成することができ、存在度合い分布を用いて安定して消失点の位置を推定することができる。また、推定された消失点の位置を用いて、安定して計測対象物までの距離を計測することができる。
【００５１】
従来技術であっても、過去の推定値を用いて今回の推定値を求めることは可能であるが、今回の撮像画像から取得した情報を有効に利用していないため、推定精度が低かった。一方、本発明では、今回の撮像画像から検出された少なくとも一本の直線を用いて、存在度合い分布を生成するため、今回の撮像画像から取得した情報を有効に利用して、消失点位置を精度よく推定することができる。
【００５２】
また、撮像画像中の消失点の位置を推定するために用いられる存在度合い分布を、複数の仮説点の位置と各仮説点に対する重みとで表現し、検出した直線の情報により各仮説点の重みを更新して存在度合い分布を生成し、消失点の存在度合い分布から消失点の位置を推定する。これによって、消失点の位置の候補となる直線の交点座標を直接算出せずに、各仮説点と直線との位置関係から仮説点に対する重みを評価することで、安定して存在度合い分布を生成することができるため、消失点位置の推定を安定化させることができる。
【００５３】
また、消失点が交点となるような直線の組が検出されない場合にも、仮説点の重みを評価することが可能であり、消失点位置の推定が安定する。
【００５４】
なお、上記の実施の形態では、存在度合い分布を、仮説点の位置と各仮説点に対する重みとで表わした場合を例に説明したが、存在度合い分布を、仮説点の位置と各仮説点に消失点が存在する存在確率とで表わすようにしてもよい。この場合には、観測ベクトルの履歴をＺｔ＝｛ｚ１，・・・，ｚｔ｝としたとき、存在確率の分布ｐ（Ｘｔ｜Ｚｔ）を、ｎ個の離散的な状態の仮説点ｓｉｔと各仮説点に対する重みπｉｔとを用いて算出すればよい。また、消失点の位置を推定する際には、最大の存在確率となる仮説点の位置を検索し、検索された仮説点の位置を、消失点の位置として推定すればよい。
【００５５】
また、検出された直線と各仮説点の位置との間の距離を用いて、各仮説点の重みを算出する場合を例に説明したが、検出された直線上に存在する特徴点数を更に考慮して、各仮説点の重みを算出するようにしてもよい。例えば、複数の直線が検出される場合に、直線上に存在する特徴点数が多い直線に近い仮説点に対して、大きい重みを算出し、一方、直線上に存在する特徴点数が少ない直線に近い仮説点に対して、小さい重みを算出する。
【００５６】
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００５７】
第２の実施の形態では、存在度合い分布から定まる仮説点の密度と各仮説点の重みとに基づいて、消失点の位置を推定している点が第１の実施の形態と異なっている。
【００５８】
第２の実施の形態に係る計測処理ルーチンにおける消失点の位置を推定する処理では、存在度合い分布から定まる仮説点の密度を、各仮説点の位置について算出し、重みと密度とを乗算した値が最大となる仮説点の位置を、消失点の位置として推定する。
【００５９】
例えば、上述した第１の実施の形態に係る計測処理ルーチンのステップ１２８において、予測仮説点の各々に対する重みに比例する割合で、ｎ個の仮説点を抽出した結果、複数の仮説点が、同じ位置で抽出された場合には、その位置の仮説点の密度が高くなり、また、仮説点の密度が高い位置の仮説点の重みが大きければ、この仮説点の位置が、消失点の位置として推定される可能性が高くなる。
【００６０】
このように、存在度合い分布から定まる仮説点の密度と各仮説点の重みとに基づいて、仮説点の密度が高く、かつ、重みが大きい仮説点の位置を、消失点の位置を推定することにより、高精度に消失点の位置を推定することができる。
【００６１】
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００６２】
第３の実施の形態では、仮説点の位置の重み付き平均によって算出される位置を、消失点の位置として推定している点が第１の実施の形態と異なっている。
【００６３】
第３の実施の形態に係る計測処理ルーチンにおける消失点の位置を推定する処理では、図６に示すように、存在度合い分布の各仮説点の位置と、各仮説点に対する重みとに基づいて、仮説点の位置の重み付き平均を算出し、算出された位置を、消失点の位置として推定する。
【００６４】
このように、仮説点の位置の重み付き平均によって算出される位置を、消失点の位置として推定することにより、高精度に消失点の位置を推定することができる。
【００６５】
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る計測装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【００６６】
第４の実施の形態では、存在度合い分布が消失点の位置の分布で表わされる点と、存在度合い分布から定まる仮説点の密度に基づいて、消失点の位置を推定している点と、が第１の実施の形態と異なっている。
【００６７】
第４の実施の形態に係る計測装置１０の分布生成部２６は、ｎ個の仮説点の位置の分布で表わされる存在度合い分布を生成する。仮説点の各々には重みが設定され、また、存在度合い分布から定まる仮説点の密度が、撮像画像上の各位置について得られる。
【００６８】
消失点位置推定部３０は、存在度合い分布から定まる仮説点の密度が最も高い位置を、消失点の位置として推定する。
【００６９】
次に、第４の実施の形態に係る計測処理ルーチンについて図７を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７０】
まず、ステップ１００において、時刻を識別する変数ｔを０に設定し、ステップ１０２において、消失点位置の存在度合い分布を初期化して、分布記憶部２８に記憶する。
【００７１】
ここで、時刻ｔにおける消失点位置Ｘｔ（＝（ｘｔ、ｙｔ））の存在度合い分布を、ｎ個の仮説点ｓｉｔの位置の分布で表現する。初期化された存在度合い分布は、予め定められた仮説点の位置ｓｉ０の分布であり、各仮説点に対して予め定められた重みπｉ０を設定する。なお、πｉ０＝１／ｎ、すなわち、Σπｉ０＝１である。
【００７２】
そして、ステップ１０４において、ｔをインクリメントし、ステップ１０６において、前回（時刻ｔ−１）撮像された画像に基づいて生成された存在度合い分布を分布記憶部２８から読み込み、時刻ｔ−１の各仮説点ｓｉｔ−１をシステムモデルに従い遷移させ、時刻ｔにおける予測仮説点ｓｉｔ／ｔ−１を生成する。次のステップ１０８では、時刻ｔに撮像された撮像画像を、撮像装置１２から取得し、ステップ１１０において、上記ステップ１０８で取得した撮像画像から、エッジ点である特徴点を複数抽出する。
【００７３】
そして、ステップ１１２では、少なくとも１本の直線を撮像画像から検出し、ステップ１１４において、検出された直線を表わす観測ベクトルｚｔを用いて、予測仮説点ｓｉｔ／ｔ−１の各々に設定される重みπｉｔ（ｉ＝１，・・・，ｎ）を更新する。
【００７４】
次のステップ４００において、ｎ個の予測仮説点ｓｉｔ／ｔ−１の各々に対する重みπｉｔに比例する割合で、撮像画像上からｎ個の仮説点を抽出して、ｎ個の仮説点の位置を更新し、仮説点の集合Ｓｔ＝｛ｓ１ｔ、・・・、ｓｎｔ｝を得る。また、各仮説点の重みを再びπｉｔ＝１／ｎに設定する。
【００７５】
そして、ステップ４０２において、上記ステップ４００で更新された仮説点の位置の分布で表わされる存在度合い分布を分布記憶部２８に記憶し、ステップ４０４において、存在度合い分布から定まる仮説点の密度を、撮像画像上の各位置について算出すると共に、仮説点の密度が最大となる位置を検索して、撮像画像上において、検索された位置を消失点の位置として推定する。
【００７６】
そして、ステップ１２０では、上記ステップ１０８で取得された撮像画像から、計測対象物を検出し、ステップ１２２において、上記ステップ４０４で推定された撮像画像上の消失点の位置と、上記ステップ１２０で検出された計測対象物の撮像画像上の位置とに基づいて、撮像装置１２から計測対象物までの距離を計測し、ステップ１２４において、上記ステップ１２２で計測された計測対象物までの距離を、表示装置１６に表示させる。
【００７７】
次のステップ１２６では、計測処理を終了するか否かを判定し、計測処理の終了指示がオペレータからあった場合には、計測処理ルーチンを終了するが、一方、計測処理の終了指示がなかった場合には、上記ステップ１０４に戻る。
【００７８】
以上説明したように、第４の実施の形態に係る計測装置によれば、前回撮像された画像に基づいて生成した仮説点の位置の分布で表わされる存在度合い分布、及び検出された少なくとも１本の直線と各仮説点との間の距離に基づいて、複数の仮説点の位置を更新して存在度合い分布を生成するため、複数の直線が検出されない場合であっても、消失点の存在度合い分布を生成することができ、存在度合い分布を用いて安定して消失点の位置を推定することができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る計測装置を示すブロック図である。
【図２】本発明の第１の実施の形態に係る計測装置における計測処理ルーチンの内容を示すフローチャートである。
【図３】検出された直線と仮説点との間の距離を示すイメージ図である。
【図４】仮説点及び直線の間の距離と仮説点に対する重みとの関係を示すグラフである。
【図５】存在度合い分布を示すイメージ図である。
【図６】存在度合い分布から仮説点の位置の重み付き平均を算出する様子を示すイメージ図である。
【図７】本発明の第４の実施の形態に係る計測装置における計測処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【００８０】
１０ 計測装置
１２ 撮像装置
１４ コンピュータ
２２ 特徴点抽出部
２４ 直線検出部
２６ 分布生成部
２８ 分布記憶部
３０ 消失点位置推定部
３２ 計測対象物検出部
３４ 距離計測部
【特許請求の範囲】
【請求項１】
所定時間間隔で所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段と、
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段と、
を含む消失点推定装置。
【請求項２】
前記推定手段は、前記分布に基づいて定まる仮説点の密度に基づいて、前記画像上の消失点の位置を推定する請求項１記載の消失点推定装置。
【請求項３】
所定時間間隔で所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段と、
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段と、
を含む消失点推定装置。
【請求項４】
前記更新手段は、前記検出手段によって検出された前記直線との距離が近い仮説点ほど、高くなるように前記度合いを更新する請求項３記載の消失点推定装置。
【請求項５】
前記推定手段は、前記分布に基づいて定まる仮説点の密度及び各仮説点の前記度合いの少なくとも一方に基づいて、前記画像上の消失点の位置を推定する請求項３又は４記載の消失点推定装置。
【請求項６】
前記推定手段は、前記度合いが最大となる仮説点の位置を、消失点の位置として推定する請求項３〜請求項５の何れか１項記載の消失点推定装置。
【請求項７】
前記推定手段は、前記度合いを重みとして、前記複数の仮説点の位置を重み付き平均した点の位置を算出し、算出された点の位置を、消失点の位置として推定する請求項３〜請求項５の何れか１項記載の消失点推定装置。
【請求項８】
コンピュータを、
所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段、及び
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段
として機能させるためのプログラム。
【請求項９】
コンピュータを、
所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段、及び
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段
として機能させるためのプログラム。
【請求項１】
所定時間間隔で所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段と、
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段と、
を含む消失点推定装置。
【請求項２】
前記推定手段は、前記分布に基づいて定まる仮説点の密度に基づいて、前記画像上の消失点の位置を推定する請求項１記載の消失点推定装置。
【請求項３】
所定時間間隔で所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段と、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段と、
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段と、
を含む消失点推定装置。
【請求項４】
前記更新手段は、前記検出手段によって検出された前記直線との距離が近い仮説点ほど、高くなるように前記度合いを更新する請求項３記載の消失点推定装置。
【請求項５】
前記推定手段は、前記分布に基づいて定まる仮説点の密度及び各仮説点の前記度合いの少なくとも一方に基づいて、前記画像上の消失点の位置を推定する請求項３又は４記載の消失点推定装置。
【請求項６】
前記推定手段は、前記度合いが最大となる仮説点の位置を、消失点の位置として推定する請求項３〜請求項５の何れか１項記載の消失点推定装置。
【請求項７】
前記推定手段は、前記度合いを重みとして、前記複数の仮説点の位置を重み付き平均した点の位置を算出し、算出された点の位置を、消失点の位置として推定する請求項３〜請求項５の何れか１項記載の消失点推定装置。
【請求項８】
コンピュータを、
所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置を表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置を更新して、前記分布を生成する更新手段、及び
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段
として機能させるためのプログラム。
【請求項９】
コンピュータを、
所定時間間隔で所定領域を撮像する撮像手段によって撮像された各画像から、少なくとも１本の直線を検出する検出手段、
前記撮像手段によって過去に撮像された画像に基づいて生成した該画像上における消失点が存在すると仮定される複数の仮説点の位置と各仮説点の位置に消失点が存在する度合いとを表わす分布、及び前記検出手段によって今回撮像された画像から検出された少なくとも１本の直線と各仮説点の位置との間の距離に基づいて、前記複数の仮説点の位置及び各仮説点の前記度合いの少なくとも一方を更新して、前記分布を生成する更新手段、及び
前記更新手段によって生成された前記分布に基づいて、前記画像上の消失点の位置を推定する推定手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２９３１７２（Ｐ２００８−２９３１７２Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３６４１９（Ｐ２００７−１３６４１９）
【出願日】平成１９年５月２３日（２００７．５．２３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２３日（２００７．５．２３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]