画像処理装置
【課題】本発明は撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出し、算出された所定点でのオプティカルフローから該所定点の奥行きを算出し、前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を乗算して補正奥行きを算出し、前記補正奥行きから所定点における三次元情報を復元する。
【解決手段】本発明の画像処理装置は、前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出し、算出された所定点でのオプティカルフローから該所定点の奥行きを算出し、前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を乗算して補正奥行きを算出し、前記補正奥行きから所定点における三次元情報を復元する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像のエッジ表現をもとに仮想濃度勾配に基づいて撮像画像間のマッチングを求めてオプティカルフローを算出し、このオプティカルフローに基づいて撮像画像を正確な奥行きの３次元情報に復元することが可能な画像処理装置に関する。
【背景技術】
【０００２】
自動車の安全な走行を促進するため、車載カメラを用いて走行中に映し出される画像を分析・処理することにより自動車の走行を妨げる要因となる障害物の検出を行い、その検出結果に基づいて、ドライバーに対して警告を行なったり、車速やステアリングなどを制御する技術が知られている。このような障害物の検出を行なうための画像処理技術として、撮像対象の濃度の動きをベクトルで表現するオプティカルフローを用いるものがあり、撮像画像を処理して得られたオプティカルフローから３次元情報を推定することにより、障害物の検出を行なうことができる。
【０００３】
このオプティカルフローを推定するための代表的な方法として、ブロックマッチング法と勾配法とが存在する。ブロックマッチング法とは、撮像画像中のある大きさの領域をフレームのブロックとし、次フレームの画像中を全探索し、前フレームの評価するブロックと次フレームの注目ブロック との差分評価関数の値を最小とする点を対応点とする手法である。
しかしながら、ブロックマッチング法を用いた手法では、輝度値の急激に変化する所でもフローの誤差が少なく雑音にも強いという利点はあるが、全探索を行うので計算時間が膨大となるという問題がある。また、拡大・縮小、回転運動に弱いという問題もある。
【０００４】
一方、勾配法とは、パターンの特徴を表す濃淡分布が運動に際して不変に保たれるとの仮定のもとに、オプティカルフローの拘束式を導出し、この拘束式に基づいてオプティカルフローを決定する方法である。この勾配法を用いた手法は、対応点検索をおこなう必要がないという利点がある。
【０００５】
ここで車載カメラから得られた撮像画像の画像処理では、撮像画像の特徴がそのエッジに表れていると考え、このエッジにおけるオプティカルフローを決定する方法があるが、上記の勾配法では濃淡の変化が不連続な（輝度が急変する）エッジに対してはオプティカルフローの推定精度が悪いという問題があった。
この問題を解決するために、エッジの近傍に線形の仮想濃度値を設定することによりオプティカルフローの拘束式を導出し、この拘束式を用いてオプティカルフローを決定する仮想濃度勾配法という技術も考え出されている（例えば、特許文献１〜３、非特許文献１）。
【０００６】
しかしながら、このエッジを用いた仮想濃度勾配法においても車載カメラからの撮像画像から推定されたオプティカルフローでは車両の進行方向（奥行き）を正確に復元できないという問題が残されていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−３０７８３０号公報
【特許文献２】特開２００３−２９６７３９号公報
【特許文献３】特開２００８−７１１４３号公報
【非特許文献】
【０００８】
【非特許文献１】田中志歩、伊東敏夫、大川剛直、「時系列画像のエッジを利用した剛体仮定によるマッチング法の提案」、電気学会論文誌Ｃ, Vol.127-C, No.4, pp577-582,2007,4
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、以上の事情に鑑みて創作されたものであり、エッジ表現を用いた仮想濃度勾配法において車載カメラからの撮像画像から推定されたオプティカルフローから奥行き方向の三次元情報を正確に推定できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の画像処理装置では、撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出するオプティカルフロー算出手段と、算出された所定点でのオプティカルフローから該所定点の奥行きを算出する奥行き算出手段と、前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を係数して補正奥行きを算出する補正奥行き算出手段と、前記補正奥行きから所定点における三次元情報を復元する復元手段と、を有する画像処理装置を提供する。
【発明の効果】
【００１１】
本発明によれば、エッジ表現を用いた仮想濃度勾配法において車載カメラからの撮像画像から推定されたオプティカルフローを算出し、これから算出される一般的な奥行きにＹ座標に依存して変化する上記係数を乗算し、この乗算結果を3次元情報に復元すると、エッジ部の正確な奥行きを推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る画像処理ＥＣＵの機能ブロック図である。
【図２】本実施形態にかかる画像処理装置の処理対象となる車載カメラの撮像画像のイメージ図である。
【図３】奥行きＺを算出するための位置関係を表すグラフ図である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る画像処理装置を自動車に搭載される画像処理ＥＣＵ用として使用した場合の実施形態について図１〜図３に基づいて説明する。
【００１４】
本実施形態における画像処理ＥＣＵ１について、図１のブロック図に基づき簡単に説明する。この画像処理ＥＣＵ１は、ＣＣＤカメラ（撮像手段の一例）２とともに自動車に搭載され、ＣＣＤカメラ２によって撮像して得られた自動車周辺の障害物（撮像対象の一例）などの動画像のフレーム画像を取得し、取得されたフレーム画像間での撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する。そして、算出されたオプティカルフローは、車内に設けられたディスプレイ３に表示されるとともに、自動車に搭載された車速制御ＥＣＵなどの各種ＥＣＵに転送され、各種ＥＣＵでは転送されたオプティカルフロー情報に基づいて車速制御などの車両制御を行なう。
【００１５】
画像処理ＥＣＵ１は、ＣＣＤカメラ２によって撮像して得られた動画像のフレーム画像を取得する画像入力部１１と、画像入力部１１を通じて取得したフレーム画像を保持するメモリ１２と、フレーム画像における撮像対象のエッジを抽出するエッジ抽出部１３と、エッジを構成するエッジ画素を含むエッジ周辺画素に仮想濃度値を設定する仮想濃度値設定部１４と、設定する仮想濃度値が登録された複数種類の仮想濃度値テーブル１５と、設定された仮想濃度値に基づいてオプティカルフローを算出するオプティカルフロー算出部１６と、算出されたオプティカルフローをディスプレイ３に表示するための処理を行うオプティカルフロー画像生成部１７とを備えている。なお、これらの機能は、ＣＰＵを中核部材として、ハードウェア又はソフトウェア或いはその両方で実現されている。
【００１６】
エッジ抽出部１３は、フレーム画像の濃度値について一次微分値を算出し、この値が閾値以下の場合は濃度値を０とし、閾値を超える場合には所定の濃度値を与える２値化処理を施すことによりエッジ抽出を行う。また、オプティカルフロー算出部１６は、オプティカルフローを算出するフロー算出部１６ａを備えており、非特許文献１に示す手法と同様に既知の仮想濃度勾配法に基づいてオプティカルフローが算出される。
【００１７】
ここで図１に示す画像処理ＥＣＵ１では、仮想濃度値テーブル１５を複数有しており、仮想濃度値テーブル毎に仮想濃度値の設定パターンがそれぞれ相違しており、この設定パターンに対応して仮想濃度値モデルが構成される。そして、仮想濃度値テーブル１５を複数用いて仮想濃度値が設定され、仮想濃度値に対応して種々のオプティカルフローが算出される。
【００１８】
このように仮想濃度値テーブル１５を参照して仮想濃度値設定部１４が仮想濃度値を設定することで、エッジ周辺画素について、隣接する画素間における仮想濃度値が非均一となるように設定することができる。
【００１９】
再びオプティカルフロー算出部１６について説明すれば、オプティカルフロー算出部１６はフロー算出部１６ａ以外に、奥行き（Ｚ）算出部１６ｂと、補正奥行き（Ｚ´）算出部１６ｃと、三次元情報復元部１６ｄとを有している（詳細には後述する）。
【００２０】
ここでフロー算出部１６ａで算出されたオプティカルフローから三次元情報を復元する方法について説明する。
まず、図２を参照すれば車載カメラからの撮像画像の模式図が示されており、中心にＦＯＥ（camera’s focus of expansion ）が示されており、前方の車体等の物体２０の任意のエッジ２１（垂直エッジ以外）上の点ｐが示されている。
【００２１】
この図２において、
ＦＯＥの座標：（ｘFOE,ｙFOE）
点ｐの座標：（ｘp,ｙp）
点ｐのオプティカルフロー：ｕ
点ｐのＦＯＥからの距離：ｒp
自車移動距離：Ｄ
としたときに、
【００２２】
この点ｐの奥行きＺを算出する。
Ｚ＝（ｒp／ｕ）＊Ｄ …式(1)
これは奥行き（Ｚ）算出部１６ｂで実行される。
オプティカルフローｕはフロー算出部１６ａで既に導出されており、また自車の移動距離は自車速度より解るものであるため奥行き（Ｚ）は容易に算出できる。
【００２３】
ここでオプティカルフローｕは同じエッジ２１上にある点であっても、ＦＯＥのｙ座標から距離に応じてオプティカルフローｕが変わるということが理解される。図２のエッジ２１とこのエッジ２１上にある点ｐと点ｐ前後の点ｐ’、ｐ”について検証すると、本来同じオプティカルフローであるはずが点ｐ’、点ｐ、点ｐ”の順にオプティカルフローが小さくなっていくこととなる。これはオプティカルフローは点ｐ’、ｐ、ｐ”についての画面上でのＦＯＥからのｙ座標距離（＝ｙp−ｙFOE）に依存して変化するからである。なお、垂直エッジ２２上にある点についてはこの関係は当てはまらない。
【００２４】
このことからＦＯＥからのｙ座標距離と逆になるように式(1)の奥行き（Ｚ）を補正するとエッジ上の点に関して正確な奥行きを推定することができると考えられる。例えば、図２の点ｐ'、ｐ、ｐ”、について順に小さくなる係数を奥行きＺに乗算することで奥行きの補正がなされる。具体的には、
Ｚ’＝（ｒp／ｕ）＊Ｄ＊ｆ（ｙp−ｙFOE） … 式(2)
ｆ（ｙp−ｙFOE）：点ｐのＦＯＥからのｙ座標距離に依存する係数（関数）
により、補正奥行きＺ’として正確な奥行きが推定される。
なお、この補正奥行きＺ’の算出は、補正奥行きＺ’算出部１６ｃで実行される。
【００２５】
この補正奥行きＺ’を求める式(2)から以下の式(3)が算出され、三次元情報（Ｘ,Ｙ）が復元される。
Ｘ＝Ｚ’（ｘp−ｘFOE）
Ｙ＝Ｚ’（ｙp−ｙFOE） … 式(3)
【００２６】
ここで奥行きＺを算出する式(1)について説明する。
図３を参照すれば、自車の車載カメラを焦点Ｏから距離ｆの位置で画像中心から距離ｒの位置にある点と、自車の車載カメラが距離Ｄだけ移動した焦点Ｏ'から距離ｆの位置で画像中心から距離ｒ'の位置にある点と、の関係から奥行きｚを検討する。図３はＸ軸方向視であり、ＹＺ座標で示されている。
【００２７】
この図３からも理解されるようにｒ、ｒ、ｆ、Ｄ、ｚ、αは、
ｒ'／ｆ＝α／ｚ … 式(4)
ｒ／ｆ＝α／（Ｄ＋ｚ） … 式(5)
との関係を有する。
【００２８】
また、式(4),式(5)からα、ｆとを消去することができ、
ｚ＝ｒＤ／（ｒ'−ｒ） … 式(6)
か得られる。
この式(6)のｒ'−ｒ、ｒは、それぞれ式(1)のオプティカルフローｕ、ｒpに相当する。
したがって、式(1)は妥当であることが検証される。
【００２９】
このように非特許文献１に示す手法で推定されるオプティカルフローから求めた奥行きに対して補正することで撮像画像を正確な奥行きの３次元情報に復元することができる。
【００３０】
以上、本発明の画像処理装置についての実施形態およびその概念について説明してきたが本発明はこれに限定されるものではなく特許請求の範囲および明細書等に記載の精神や教示を逸脱しない範囲で他の変形例、改良例が得られることは当業者は理解できるであろう。
【符号の説明】
【００３１】
１ 画像処理ＥＣＵ（画像処理装置）
２ ＣＣＤカメラ
３ ディスプレイ
１１ 画像入力部
１２ メモリ
１３ エッジ抽出部
１４ 仮想濃度値設定部
１５ 仮想濃度値テーブル
１６ オプティカルフロー算出部
１６ａ フロー算出部
１６ｂ 奥行き（Ｚ）算出部
１６ｃ 補正奥行き（Ｚ’）算出部
１６ｄ 三次元情報復元部
１７ オプティカルフロー画像生成部
【技術分野】
【０００１】
本発明は、時系列画像のエッジ表現をもとに仮想濃度勾配に基づいて撮像画像間のマッチングを求めてオプティカルフローを算出し、このオプティカルフローに基づいて撮像画像を正確な奥行きの３次元情報に復元することが可能な画像処理装置に関する。
【背景技術】
【０００２】
自動車の安全な走行を促進するため、車載カメラを用いて走行中に映し出される画像を分析・処理することにより自動車の走行を妨げる要因となる障害物の検出を行い、その検出結果に基づいて、ドライバーに対して警告を行なったり、車速やステアリングなどを制御する技術が知られている。このような障害物の検出を行なうための画像処理技術として、撮像対象の濃度の動きをベクトルで表現するオプティカルフローを用いるものがあり、撮像画像を処理して得られたオプティカルフローから３次元情報を推定することにより、障害物の検出を行なうことができる。
【０００３】
このオプティカルフローを推定するための代表的な方法として、ブロックマッチング法と勾配法とが存在する。ブロックマッチング法とは、撮像画像中のある大きさの領域をフレームのブロックとし、次フレームの画像中を全探索し、前フレームの評価するブロックと次フレームの注目ブロック との差分評価関数の値を最小とする点を対応点とする手法である。
しかしながら、ブロックマッチング法を用いた手法では、輝度値の急激に変化する所でもフローの誤差が少なく雑音にも強いという利点はあるが、全探索を行うので計算時間が膨大となるという問題がある。また、拡大・縮小、回転運動に弱いという問題もある。
【０００４】
一方、勾配法とは、パターンの特徴を表す濃淡分布が運動に際して不変に保たれるとの仮定のもとに、オプティカルフローの拘束式を導出し、この拘束式に基づいてオプティカルフローを決定する方法である。この勾配法を用いた手法は、対応点検索をおこなう必要がないという利点がある。
【０００５】
ここで車載カメラから得られた撮像画像の画像処理では、撮像画像の特徴がそのエッジに表れていると考え、このエッジにおけるオプティカルフローを決定する方法があるが、上記の勾配法では濃淡の変化が不連続な（輝度が急変する）エッジに対してはオプティカルフローの推定精度が悪いという問題があった。
この問題を解決するために、エッジの近傍に線形の仮想濃度値を設定することによりオプティカルフローの拘束式を導出し、この拘束式を用いてオプティカルフローを決定する仮想濃度勾配法という技術も考え出されている（例えば、特許文献１〜３、非特許文献１）。
【０００６】
しかしながら、このエッジを用いた仮想濃度勾配法においても車載カメラからの撮像画像から推定されたオプティカルフローでは車両の進行方向（奥行き）を正確に復元できないという問題が残されていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−３０７８３０号公報
【特許文献２】特開２００３−２９６７３９号公報
【特許文献３】特開２００８−７１１４３号公報
【非特許文献】
【０００８】
【非特許文献１】田中志歩、伊東敏夫、大川剛直、「時系列画像のエッジを利用した剛体仮定によるマッチング法の提案」、電気学会論文誌Ｃ, Vol.127-C, No.4, pp577-582,2007,4
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、以上の事情に鑑みて創作されたものであり、エッジ表現を用いた仮想濃度勾配法において車載カメラからの撮像画像から推定されたオプティカルフローから奥行き方向の三次元情報を正確に推定できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の画像処理装置では、撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出するオプティカルフロー算出手段と、算出された所定点でのオプティカルフローから該所定点の奥行きを算出する奥行き算出手段と、前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を係数して補正奥行きを算出する補正奥行き算出手段と、前記補正奥行きから所定点における三次元情報を復元する復元手段と、を有する画像処理装置を提供する。
【発明の効果】
【００１１】
本発明によれば、エッジ表現を用いた仮想濃度勾配法において車載カメラからの撮像画像から推定されたオプティカルフローを算出し、これから算出される一般的な奥行きにＹ座標に依存して変化する上記係数を乗算し、この乗算結果を3次元情報に復元すると、エッジ部の正確な奥行きを推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る画像処理ＥＣＵの機能ブロック図である。
【図２】本実施形態にかかる画像処理装置の処理対象となる車載カメラの撮像画像のイメージ図である。
【図３】奥行きＺを算出するための位置関係を表すグラフ図である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る画像処理装置を自動車に搭載される画像処理ＥＣＵ用として使用した場合の実施形態について図１〜図３に基づいて説明する。
【００１４】
本実施形態における画像処理ＥＣＵ１について、図１のブロック図に基づき簡単に説明する。この画像処理ＥＣＵ１は、ＣＣＤカメラ（撮像手段の一例）２とともに自動車に搭載され、ＣＣＤカメラ２によって撮像して得られた自動車周辺の障害物（撮像対象の一例）などの動画像のフレーム画像を取得し、取得されたフレーム画像間での撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する。そして、算出されたオプティカルフローは、車内に設けられたディスプレイ３に表示されるとともに、自動車に搭載された車速制御ＥＣＵなどの各種ＥＣＵに転送され、各種ＥＣＵでは転送されたオプティカルフロー情報に基づいて車速制御などの車両制御を行なう。
【００１５】
画像処理ＥＣＵ１は、ＣＣＤカメラ２によって撮像して得られた動画像のフレーム画像を取得する画像入力部１１と、画像入力部１１を通じて取得したフレーム画像を保持するメモリ１２と、フレーム画像における撮像対象のエッジを抽出するエッジ抽出部１３と、エッジを構成するエッジ画素を含むエッジ周辺画素に仮想濃度値を設定する仮想濃度値設定部１４と、設定する仮想濃度値が登録された複数種類の仮想濃度値テーブル１５と、設定された仮想濃度値に基づいてオプティカルフローを算出するオプティカルフロー算出部１６と、算出されたオプティカルフローをディスプレイ３に表示するための処理を行うオプティカルフロー画像生成部１７とを備えている。なお、これらの機能は、ＣＰＵを中核部材として、ハードウェア又はソフトウェア或いはその両方で実現されている。
【００１６】
エッジ抽出部１３は、フレーム画像の濃度値について一次微分値を算出し、この値が閾値以下の場合は濃度値を０とし、閾値を超える場合には所定の濃度値を与える２値化処理を施すことによりエッジ抽出を行う。また、オプティカルフロー算出部１６は、オプティカルフローを算出するフロー算出部１６ａを備えており、非特許文献１に示す手法と同様に既知の仮想濃度勾配法に基づいてオプティカルフローが算出される。
【００１７】
ここで図１に示す画像処理ＥＣＵ１では、仮想濃度値テーブル１５を複数有しており、仮想濃度値テーブル毎に仮想濃度値の設定パターンがそれぞれ相違しており、この設定パターンに対応して仮想濃度値モデルが構成される。そして、仮想濃度値テーブル１５を複数用いて仮想濃度値が設定され、仮想濃度値に対応して種々のオプティカルフローが算出される。
【００１８】
このように仮想濃度値テーブル１５を参照して仮想濃度値設定部１４が仮想濃度値を設定することで、エッジ周辺画素について、隣接する画素間における仮想濃度値が非均一となるように設定することができる。
【００１９】
再びオプティカルフロー算出部１６について説明すれば、オプティカルフロー算出部１６はフロー算出部１６ａ以外に、奥行き（Ｚ）算出部１６ｂと、補正奥行き（Ｚ´）算出部１６ｃと、三次元情報復元部１６ｄとを有している（詳細には後述する）。
【００２０】
ここでフロー算出部１６ａで算出されたオプティカルフローから三次元情報を復元する方法について説明する。
まず、図２を参照すれば車載カメラからの撮像画像の模式図が示されており、中心にＦＯＥ（camera’s focus of expansion ）が示されており、前方の車体等の物体２０の任意のエッジ２１（垂直エッジ以外）上の点ｐが示されている。
【００２１】
この図２において、
ＦＯＥの座標：（ｘFOE,ｙFOE）
点ｐの座標：（ｘp,ｙp）
点ｐのオプティカルフロー：ｕ
点ｐのＦＯＥからの距離：ｒp
自車移動距離：Ｄ
としたときに、
【００２２】
この点ｐの奥行きＺを算出する。
Ｚ＝（ｒp／ｕ）＊Ｄ …式(1)
これは奥行き（Ｚ）算出部１６ｂで実行される。
オプティカルフローｕはフロー算出部１６ａで既に導出されており、また自車の移動距離は自車速度より解るものであるため奥行き（Ｚ）は容易に算出できる。
【００２３】
ここでオプティカルフローｕは同じエッジ２１上にある点であっても、ＦＯＥのｙ座標から距離に応じてオプティカルフローｕが変わるということが理解される。図２のエッジ２１とこのエッジ２１上にある点ｐと点ｐ前後の点ｐ’、ｐ”について検証すると、本来同じオプティカルフローであるはずが点ｐ’、点ｐ、点ｐ”の順にオプティカルフローが小さくなっていくこととなる。これはオプティカルフローは点ｐ’、ｐ、ｐ”についての画面上でのＦＯＥからのｙ座標距離（＝ｙp−ｙFOE）に依存して変化するからである。なお、垂直エッジ２２上にある点についてはこの関係は当てはまらない。
【００２４】
このことからＦＯＥからのｙ座標距離と逆になるように式(1)の奥行き（Ｚ）を補正するとエッジ上の点に関して正確な奥行きを推定することができると考えられる。例えば、図２の点ｐ'、ｐ、ｐ”、について順に小さくなる係数を奥行きＺに乗算することで奥行きの補正がなされる。具体的には、
Ｚ’＝（ｒp／ｕ）＊Ｄ＊ｆ（ｙp−ｙFOE） … 式(2)
ｆ（ｙp−ｙFOE）：点ｐのＦＯＥからのｙ座標距離に依存する係数（関数）
により、補正奥行きＺ’として正確な奥行きが推定される。
なお、この補正奥行きＺ’の算出は、補正奥行きＺ’算出部１６ｃで実行される。
【００２５】
この補正奥行きＺ’を求める式(2)から以下の式(3)が算出され、三次元情報（Ｘ,Ｙ）が復元される。
Ｘ＝Ｚ’（ｘp−ｘFOE）
Ｙ＝Ｚ’（ｙp−ｙFOE） … 式(3)
【００２６】
ここで奥行きＺを算出する式(1)について説明する。
図３を参照すれば、自車の車載カメラを焦点Ｏから距離ｆの位置で画像中心から距離ｒの位置にある点と、自車の車載カメラが距離Ｄだけ移動した焦点Ｏ'から距離ｆの位置で画像中心から距離ｒ'の位置にある点と、の関係から奥行きｚを検討する。図３はＸ軸方向視であり、ＹＺ座標で示されている。
【００２７】
この図３からも理解されるようにｒ、ｒ、ｆ、Ｄ、ｚ、αは、
ｒ'／ｆ＝α／ｚ … 式(4)
ｒ／ｆ＝α／（Ｄ＋ｚ） … 式(5)
との関係を有する。
【００２８】
また、式(4),式(5)からα、ｆとを消去することができ、
ｚ＝ｒＤ／（ｒ'−ｒ） … 式(6)
か得られる。
この式(6)のｒ'−ｒ、ｒは、それぞれ式(1)のオプティカルフローｕ、ｒpに相当する。
したがって、式(1)は妥当であることが検証される。
【００２９】
このように非特許文献１に示す手法で推定されるオプティカルフローから求めた奥行きに対して補正することで撮像画像を正確な奥行きの３次元情報に復元することができる。
【００３０】
以上、本発明の画像処理装置についての実施形態およびその概念について説明してきたが本発明はこれに限定されるものではなく特許請求の範囲および明細書等に記載の精神や教示を逸脱しない範囲で他の変形例、改良例が得られることは当業者は理解できるであろう。
【符号の説明】
【００３１】
１ 画像処理ＥＣＵ（画像処理装置）
２ ＣＣＤカメラ
３ ディスプレイ
１１ 画像入力部
１２ メモリ
１３ エッジ抽出部
１４ 仮想濃度値設定部
１５ 仮想濃度値テーブル
１６ オプティカルフロー算出部
１６ａ フロー算出部
１６ｂ 奥行き（Ｚ）算出部
１６ｃ 補正奥行き（Ｚ’）算出部
１６ｄ 三次元情報復元部
１７ オプティカルフロー画像生成部
【特許請求の範囲】
【請求項１】
撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、
前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出するオプティカルフロー算出手段と、
算出された所定点でのオプティカルフローから該所定点の奥行きを算出する奥行き算出手段と、
前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を係数して補正奥行きを算出する補正奥行き算出手段と、
前記補正奥行きから所定点における三次元情報を復元する復元手段と、を有する画像処理装置。
【請求項１】
撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、
前記フレーム画像における前記撮像対象のエッジを抽出し、該エッジを構成する所定点でのオプティカルフローを算出するオプティカルフロー算出手段と、
算出された所定点でのオプティカルフローから該所定点の奥行きを算出する奥行き算出手段と、
前記所定点での奥行きにＦＯＥのＹ座標からの距離に応じて変化する変数を係数して補正奥行きを算出する補正奥行き算出手段と、
前記補正奥行きから所定点における三次元情報を復元する復元手段と、を有する画像処理装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−２０９０７０（Ｐ２０１１−２０９０７０Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７６２８９（Ｐ２０１０−７６２８９）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]