画像を評価するための方法および装置
【課題】本発明は画像を評価するための改良された方法および装置を提供する。
【解決手段】画像を評価する方法であって、画像を表す画像データ（４０；８０）を検索することと、画像の画像面（７１）に対する、その一部が該画像データ（４０；８０）によって表される物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索することと、距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成することであって、画像データ（４０；８０）のリサンプリングされる部分（４３、４５、４６；８１、８５）は、物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、こととを包含する、方法。
【解決手段】画像を評価する方法であって、画像を表す画像データ（４０；８０）を検索することと、画像の画像面（７１）に対する、その一部が該画像データ（４０；８０）によって表される物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索することと、距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成することであって、画像データ（４０；８０）のリサンプリングされる部分（４３、４５、４６；８１、８５）は、物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、こととを包含する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を評価するための方法および装置に関する。特に、本発明は、車両に搭載の運転手支援システム、または監視システムなどの様々な環境における物体認識のために利用され得る、画像を評価するための方法および装置に関する。
【背景技術】
【０００２】
今日、車両を制御する際に運転手を支援するために、および／または運転の安全性を向上させるために、車両は複数の運転手支援機能を提供する。かかる運転手支援機能の例は、駐車補助と、衝突予測機能と、制御論理に従って作動され得るエアバッグまたはシートベルトリトラクタを含む安全機構とを含む。これらの運転手支援機能のうちの一部は、例えば、接近する障害物を検知するために自動的に評価される画像データの形式の、車両の周囲に関する情報に依存したり、少なくとも、その情報を活用したりし得る。一部の運転手支援機能において、車両付近の物体の存在だけでなく、物体の「タイプ」または物体の「種類」、例えば車両または歩行者なども、決定された物体の種類に基づいて適切な行動を取るために自動的に決定され得る。これは、例えば、基準データと比較され得る画像データによって表される、物体の特徴的な幾何形状特徴およびサイズに基づいて、車両の周囲の一部分に対応する視野を有する画像を捕捉し、そして、その画像を表す画像データを評価することにより、物体を検知し、そして、それぞれの物体の種類を決定することよって達成され得る。かかる画像評価に対する従来の手法は、多くの場合に、画像評価と関連付けられる欠点を有する。例えば、画像データが基準データと直接的に比較されるときには、物体の分類の信頼度は、運転手支援機能が設置されている車両に対する物体の距離に依存し得る。例えば、車両から遠く離れた距離の貨物自動車は、貨物自動車の大きな横方向の寸法が原因となって、車両からより近い距離の自動車として誤って識別され得、またはその逆もあり得る。
【０００３】
同様の課題が、画像内の物体の自動識別が望ましい他の状況、例えば、公共の場または私有地に設置される監視カメラシステムに存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、画像を評価するための、改良された方法および装置に対する必要性が、当該分野に存在する。特に、評価される画像を捕捉するカメラに対する物体の距離の変動によってもたらされる誤差をあまり起こさない結果を提供する、画像を評価するための改良された方法および装置に対する必要性がある。
【課題を解決するための手段】
【０００５】
例えば、本発明は以下のものを提供する。
【０００６】
（項目１）
画像を評価する方法であって、
該画像を表す画像データ（４０；８０）を検索するステップと、
該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索するステップであって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像データ（４０；８０）によって表される、ステップと、
該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するステップであって、該画像データ（４０；８０）の該リサンプリングされる部分（４３、４５、４６；８１、８５）は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、ステップと
を包含する、方法。
【０００７】
（項目２）
上記画像データ（４０；８０）の上記一部分は、上記物体（４３、４５、４６；６８、７０）の上記距離（ｄＡ、ｄＢ、ｄＣ）と上記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によってリサンプリングされる、項目１に記載の方法。
【０００８】
（項目３）
上記物体（４５、４６；７０）の上記距離（ｄＣ）が、上記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、上記画像データ（４０；８０）の上記一部分は、アップサンプリングされる、項目１または項目２に記載の方法。
【０００９】
（項目４）
上記物体（４３；６８）の上記距離（ｄＡ）が、上記基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、上記画像データ（４０；８０）の上記一部分は、ダウンサンプリングされる、項目１〜項目３のうちのいずれか１項に記載の方法。
【００１０】
（項目５）
上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素は、上記画像面（７１）から上記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の上記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応している、項目１〜項目４のうちのいずれか１項に記載の方法。
【００１１】
（項目６）
さらなる画像データ（１１０）を獲得するステップであって、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、上記画像の視野と重複する、ステップ
を包含する、項目１〜項目５のうちのいずれか１項に記載の方法。
【００１２】
（項目７）
上記深度情報に基づいて、上記物体（６８〜７０）の少なくとも一部を表す、上記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）を識別するステップ
を包含する、項目６に記載の方法。
【００１３】
（項目８）
上記さらなる画像データ（１１０）の上記識別された一部分（１１１、１１３、１１５）に基づいて、上記画像データ（４０；８０）の上記リサンプリングされる部分（４３、４５、４６；８１、８５）を選択するステップ
を包含する、項目７に記載の方法。
【００１４】
（項目９）
上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）を選択する上記ステップは、該画像データ（４０；８０）の少なくとも１つの画素を識別することを包含し、該画像データ（４０；８０）の少なくとも１つの画素は、上記さらなる画像データ（１１０）の上記一部分（１１１、１１３、１１５）によって含まれる、該さらなる画像データ（１１０）の画素に対応する、項目８に記載の方法。
【００１５】
（項目１０）
上記さらなる画像データ（１１０）に基づいて上記距離情報を決定するステップを包含する、項目６〜項目９のうちのいずれか１項に記載の方法。
【００１６】
（項目１１）
ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を利用して、上記３次元画像を捕捉するステップを包含する、項目６〜項目１０のうちのいずれか１項に記載の方法。
【００１７】
（項目１２）
２Ｄカメラ（６；１７７、１７８）を利用して上記画像を捕捉するステップを包含する、項目１〜項目１１のうちのいずれか１項に記載の方法。
【００１８】
（項目１３）
複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、
該基準データに基づいて上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、上記物体を該複数の物体のタイプに分類するステップと
を包含する、項目１〜項目１２のうちのいずれか１項に記載の方法。
【００１９】
（項目１４）
上記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、項目１３に記載の方法。
【００２０】
（項目１５）
上記基準データは、上記基準距離（ｄｒｅｆ）にほぼ等しい、上記画像面（７１）からの距離における、上記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、項目１３または項目１４に記載の方法。
【００２１】
（項目１６）
上記距離情報を検索するステップと、上記リサンプリングするステップと、上記分析するステップとはそれぞれ、上記画像データ（４０；８０）によって表された複数の物体（４３、４５、４６；６８、７０）のそれぞれに対して行われる、項目１３〜項目１５のうちのいずれか１項に記載の方法。
【００２２】
（項目１７）
上記分析の結果を運転手支援デバイス（１２）に提供するステップを包含する、項目１３〜項目１６のうちのいずれか１項に記載の方法。
【００２３】
（項目１８）
その中に格納された命令を有するデータ格納媒体であって、該命令は、電子演算デバイス（２；１７２）のプロセッサ（３；１７３）によって実行されたときには、該演算デバイス（２；１７２）に、項目１〜項目１７のいずれか１項に記載の方法を行うように指示する、データ格納媒体。
【００２４】
（項目１９）
画像を評価する装置であって、
該画像を表す画像データ（４０；８０）を受信する入力（４；１７４）と、該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を受信するさらなる入力（５；１７５）とを有する処理デバイス（３；１７３）であって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像によって表される、処理デバイス（３；１７３）
を備え、
該処理デバイス（３；１７３）は、該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するように構成されており、該画像データ（４０；８０）の該リサンプリングされた一部分は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、装置。
【００２５】
（項目２０）
上記さらなる入力に結合された３Ｄカメラデバイス（７；１７６）であって、該３Ｄカメラデバイス（７；１７６）は、さらなる画像データ（１１０）を捕捉するように構成され、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、上記画像の視野と重複する、３Ｄカメラデバイス（７；１７６）
を備えている、項目１９に記載の装置。
【００２６】
（項目２１）
上記３Ｄカメラデバイス（７；１７６）は、ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を備えている、項目２０に記載の装置。
【００２７】
（項目２２）
上記３Ｄカメラデバイス（７；１７６）は、物体識別デバイス（９；１７９）を備え、該物体識別デバイス（９；１７９）は、上記さらなる画像データ（１１０）に基づいて、物体（４３〜４６；６８〜７０）と、該物体（４３〜４６；６８〜７０）のそれぞれの距離（ｄＡ、ｄＢ、ｄＣ）とを識別するように構成されている、項目２０または項目２１に記載の装置。
【００２８】
（項目２３）
上記物体識別デバイス（９；１７９）は、上記さらなる画像データ（１１０）に基づいて上記距離情報を決定し、そして、該距離情報を上記処理デバイス（３；１７３）に提供するように構成されている、項目２２に記載の装置。
【００２９】
（項目２４）
上記３Ｄカメラデバイス（７；１７６）は、上記物体の少なくとも一部を表す上記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）に関する情報を上記処理デバイス（３；１７３）に提供するように構成されている、項目２０〜項目２３のうちのいずれか１項に記載の装置。
【００３０】
（項目２５）
上記処理デバイス（３；１７３）は、上記さらなる画像データ（１１０）の上記一部分（１１１、１１３、１１５）に関する上記情報に基づいて、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）を選択するように構成されている、項目２４に記載の装置。
【００３１】
（項目２６）
上記処理デバイス（３；１７３）の上記入力に結合され、かつ、上記画像を捕捉するように構成されている２Ｄカメラ（６；１７７、１７８）を備えている、項目１９〜項目２５のうちのいずれか１項の記載の装置。
【００３２】
（項目２７）
上記２Ｄカメラ（６）は、ＣＣＤカメラまたはＣＭＯＳカメラを含む、項目２６に記載の装置。
【００３３】
（項目２８）
上記処理デバイス（３；１７３）は、上記物体の上記距離（ｄＡ、ｄＢ、ｄＣ）と上記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によって、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、項目１９〜項目２７のうちのいずれか１項に記載の装置。
【００３４】
（項目２９）
上記処理デバイス（３；１７３）は、上記物体（４５、４６；７０）の上記距離（ｄＣ）が、上記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、上記画像データ（４０；８０）の上記一部分（４５、４６；８５）をアップサンプリングするように構成され、かつ、上記物体（４３；６８）の上記距離（ｄＡ）が、該基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、該画像データ（４０；８０）の上記一部分（４６；８１）をダウンサンプリングするように構成されている、項目１９〜項目２８のうちのいずれか１項に記載の装置。
【００３５】
（項目３０）
上記処理デバイス（３；１７３）は、上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素が、上記画像面（７１）から上記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の上記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応するように、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、項目１９〜項目２９のうちのいずれか１項に記載の装置。
【００３６】
（項目３１）
その中に格納された、複数の物体のタイプを表す複数の基準物体に関する基準データを有する格納デバイス（１０；１８０）であって、上記処理デバイス（３；１７３）は、該基準データを検索するために該格納デバイス（１０；１８０）に結合されており、そして、該基準データに基づいて上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、該物体（４３〜４６；６８〜７０）を該複数の物体のタイプのうちの１つに分類するように構成されている、項目１９〜項目３０のうちのいずれか１項に記載の装置。
【００３７】
（項目３２）
上記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、項目３１に記載の装置。
【００３８】
（項目３３）
上記基準データは、上記基準距離（ｄｒｅｆ）にほぼ等しい、上記画像面（７１）からの距離における、上記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、項目３１または項目３２のうちのいずれか１項に記載の装置。
【００３９】
（項目３４）
項目１９〜項目３３のうちのいずれか１項に記載の装置（２；１７２）を含む運転手支援システム。
【００４０】
（項目３５）
上記装置（２；１７２）によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニット（１４）を備えている、項目３４に記載の運転手支援システム。
【００４１】
（項目３６）
乗員および／または歩行者保護システム（１５）であって、該乗員および／または歩行者保護システム（１５）は、上記装置（２；１７２）に結合されており、かつ、該装置（２；１７２）によって行なわれた画像評価の結果に基づいて作動されるように構成されている、乗員および／または歩行者保護システム（１５）を備えている、項目３４または項目３５に記載の運転手支援システム。
【００４２】
（項目３７）
画像を評価する方法であって、
該画像を捕捉することと、
深度情報を含む３次元画像を捕捉することであって、該３次元画像の視野は、該画像の視野と重複する、ことと、
該３次元画像に基づいて、該画像の少なくとも一部分をリサンプリングすることと
を包含する、方法。
【００４３】
（項目３８）
上記３次元画像はＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉される、項目３７に記載の方法。
【００４４】
（項目３９）
画像を評価する装置であって、
該画像を捕捉するように構成されたカメラデバイスと、
深度情報を含む３次元画像を捕捉するように構成された３Ｄカメラデバイスであって、該３次元画像の視野は、該画像の視野と重複する、３Ｄカメラデバイスと、
処理デバイスであって、該処理デバイスは、該カメラデバイスから該画像を表す画像データを受信するために該カメラデバイスに結合され、かつ、該３Ｄカメラデバイスから該３次元画像を表すさらなる画像データを受信するために該３Ｄカメラデバイス結合されており、該処理デバイスは、該さらなる画像データに基づいて該画像データの少なくとも一部分をリサンプリングするように構成されている、処理デバイスと
を備えている、装置。
【００４５】
（項目４０）
上記３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラを含む、項目３９に記載の装置。
【００４６】
(開示の概要)
画像を評価する方法および装置が提供される。該装置は、処理デバイス（３）を備えており、該処理デバイス（３）は、画像を表す画像データを受信する入力（４）と、画像の画像面に対する、物体の距離に関する距離情報を受信するさらなる入力（５）とを有する。距離情報は、３Ｄカメラデバイス（７）を利用して捕捉された深度情報を含む３次元画像に基づいて決定され得る。処理デバイス（３）は、距離情報と所定の基準距離との両方に基づいて画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するように構成されている。画像データのリサンプリングされる部分は物体の少なくとも一部を表す。
【００４７】
(概要)
本発明に従って、この必要性は、独立請求項に定義されるような方法および装置によって対処される。従属請求項は、好適な実施形態または有利な実施形態を定義する。
【００４８】
本発明の一局面に従って、画像を評価する方法が提供され、該方法は、画像を表す画像データを検索するステップと、画像の画像面に対する物体の距離に関する距離情報を検索するステップであって、物体の少なくとも一部は、画像データによって表される、ステップと、距離情報と所定の基準距離との両方に基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するステップであって、画像データのリサンプリングされた部分は、物体の少なくとも一部を表す、ステップとを包含する。本明細書において使用される場合、用語「画像面」は、評価される画像が、画像を捕捉する光学システムによってマッピングされる（通常は仮想の）面を呼ぶ。この方法に従って、関心のある物体を表す、画像データの一部分が、画像面に対する物体の距離と、所定の基準距離とに基づいてリサンプリングされる。従って、続く、リサンプリングされたデータの分析は、画像面に対するリサンプリングされた画像データの距離によってはあまり影響されない。なぜならば、本方法は、距離に関する影響が画像データの一部分をリサンプリングすることによって少なくとも部分的に考慮に入れられることを可能にするからである。
【００４９】
一実施形態において、リサンプリング係数が、物体の距離と基準距離との比較に基づいて決定され得、該リサンプリング係数によって、画像データの一部分がリサンプリングされ得る。例えば、物体の距離が、基準距離以上である所定の閾値を超過したときには、画像データの一部分は、アップサンプリングされ得、および／または物体の距離が、基準距離以下であるさらなる所定の閾値を下回ったときには、画像データの一部分は、ダウンサンプリングされ得る。所定の閾値とさらなる所定の閾値とは、両方とも、基準距離にほぼ等しくなるように選択され得る。例えば、１つの例示的な実施形態において、物体の距離が基準距離を下回るときには、画像データの一部分は、物体の距離によって除算された基準距離とほぼ等しいダウンサンプリング係数によってダウンサンプリングされ得、物体の距離が基準距離を上回るときには、画像データの一部分は、基準距離によって除算された物体の距離とほぼ等しいアップサンプリング係数によってアップサンプリングされ得る。物体の距離と基準距離との比較に基づいてリサンプリング係数を選択することによって、物体を表す、画像データの一部分は、物体の画像のサイズの変動を物体の距離の関数として少なくとも部分的に受け入れるためにサイズを増加または減少させ得る。例えば、リサンプリングされた画像データの画素が、画像面から基準距離で位置決めされた物体の画像データにおける１画素当たりの幅にほぼ等しい、物体の幅に対応するように、画像データの一部分はリサンプリングされ得、それにより物体が基準距離において画像化されたときに、物体が有するサイズを概ね有するように、物体の画像は規模を縮小される。
【００５０】
本方法は、さらなる画像データを獲得するステップをさらに包含し得、該さらなる画像データは、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、画像の視野と重複する。３次元画像を表すさらなる画像データを利用することによって、物体を表す、画像データの一部分が便利にも識別され得、画像面に対する物体の距離もまた、さらなる画像データから決定され得る。この方法で、画像が画像データとさらなる画像データとの両方を使用することによって評価され得、すなわち、２次元（２Ｄ）画像の情報と３次元（３Ｄ）画像の情報とを組み合わせることによって評価され得る。本明細書において使用される場合、用語「深度情報」は、３次元画像の画素によって表された複数の視点方向に沿って位置決めされた物体の距離に関する情報を指す。
【００５１】
本方法は、深度情報に基づいて、物体の少なくとも一部を表す、さらなる画像データの一部分を識別することを包含し得る。例えば、ほぼ等しい深度値または少なくとも同様な深度値に対応するさらなる画像データの多数の画素が、物体の少なくとも一部を表す、さらなる画像データの一部分に割り当てられ得る。一実施形態において、複数の物体が、さらなる画像データにおいて、この方法で識別されることにより、様々な物体に対する位置情報および深度情報を含む物体リストを作成し得る。追加の論理機能が、例えば、類似した深度値を有する画素の形状および／または対称性を評価することによって、さらなる画像データ内の物体を識別するために利用され得る。車両が画像データにおいて識別されようとしている場合、例えば、正方形の形状または台形の形状を有する、さらなる画像データ内の画素の構造だけが、さらなる処理のために選択され得る。この方法で、画像データを評価することが、画像データの関連部分に制限され、それにより処理速度を向上させる。
【００５２】
さらなる画像データの一部分が、画像データのリサンプリングされる部分を選択する際に利用され得る。すなわち、画像データのリサンプリングされる部分が、さらなる画像データ内で識別された物体に基づいて選択され得る。これは、物体の一部を表す、さらなる画像データの一部分によって、すなわち、さらなる画像データから画像データまで画素のマッピングを行うことによって構成されるさらなる画像データの画素に対応する画像データの画素を識別することを含み得る。
【００５３】
３次元画像が、光パルスの伝達時間に基づいた技術を利用して捕捉され、例えば、ＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉され得る。３次元画像がまたステレオカメラを利用して捕捉され得る。画像は、２Ｄカメラ、例えば、ＣＭＯＳカメラまたはＣＣＤカメラを利用して捕捉され得る。
【００５４】
リサンプリングされた画像データは、物体を分類するためにさらに分析され得る。本明細書において使用される場合、物体の「分類」という用語は、物体が、多数の所与の物体のタイプまたは多数の所与の物体の種類、例えば、自動車、貨物自動車、オートバイ、信号、および／または歩行者などのうちの１つに属するかが決定されるプロセスを指すために使用される。本方法は、複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、基準データに基づいてリサンプリングされた画像データを分析することにより、物体を分類するステップとを包含する。基準データは様々な形式を有し得、対応するように、分析することは、様々な方法で実装され得る。例えば、所謂学習アルゴリズムが、リサンプリングされた画像データを分析するために利用され得、該学習アルゴリズムは、所与の物体のタイプの多数の有効な物体または妥当な物体に関して教育されることにより、次に、この物体のタイプの物体を識別する。この場合、基準データは、学習アルゴリズムを教育することによって獲得されたリサンプリングされた画像データを分析するためのパラメータを含み得る。基準データは、特定の物体のタイプに対して特徴的な形状および／または色に関する情報も含み得、リサンプリングされた画像データは、かかる特徴的な形状および／または色を識別することによって分析されることにより、物体を物体のタイプに適合させる。基準データは、所与の物体のタイプのうちの１つの物体またはいくつかの物体に対する画像データ、例えば、いくつかの異なる自動車またはいくつかの異なる貨物自動車を表す画像データも含み得、リサンプリングされた画像データがこの基準データと比較されることにより物体を物体のタイプに適合させ得る。
【００５５】
分析するステップの特定の実装に関わらず、基準データが基準距離とほぼ等しい画像面からある程度の距離で位置決めされた基準物体のうちの少なくとも１つの画像に基づいて生成され得る。次に、分析するステップは、リサンプリングされた画像データに基づいて物体を分類するように充分に適応されており、該リサンプリングされた画像データは、距離依存のリサンプリングによって獲得されたものである。
【００５６】
本方法は、画像データによって表されたいくつかの物体を分類するために利用され得る。例えば、複数の物体と、それらの距離とを含む物体リストが、３次元画像を表すさらなる画像データに基づいて生成され得、距離情報を検索するステップと、リサンプリングするステップと、分析するステップとがそれぞれ、複数の物体のそれぞれに対して行われ得る。
【００５７】
分析するステップの結果は、運転手支援システムに出力され得る。例えば、接近する物体に関する物体のタイプ、例えば、歩行者、自動車、または貨物自動車に関する情報が、運転手支援システムに出力され得、該運転手補助システムは、安全デバイスを作動させ、および／または物体のタイプに関する情報に基づいて警告信号を出力する。
【００５８】
本発明の別の局面に従って、命令を格納したデータ格納媒体が提供され、該命令は、電子演算デバイスのプロセッサによって実行されたときには、演算デバイスに、本発明の任意の一実施形態に従った方法を行わせる。電子演算デバイスは、画像データおよびさらなる画像データを受信する入力を有する汎用プロセッサとして構成され得る。電子演算デバイスはまた、プロセッサと、ＣＭＯＳカメラまたはＣＣＤカメラと、ＰＭＤカメラとを備え得、該プロセッサは、画像データをＣＭＯＳカメラまたはＣＣＤカメラから検索し、さらなる画像データをＰＭＤカメラから検索する。
【００５９】
本発明の別の局面に従って、画像を評価する装置が提供され、該画像を評価する装置は、画像を表す画像データを受信する入力と、画像の画像面に対する物体の距離に関する距離情報を受信するさらなる入力とを有する処理デバイスを備え、物体の少なくとも一部が、画像によって表される。処理デバイスは、距離情報と所定の基準距離との両方に基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するように構成されており、画像データのリサンプリングされた部分は、物体の少なくとも一部を表す。画像面に対する物体の距離と、所定の基準距離との両方に基づいて、関心のある物体を表す、画像データの一部分をリサンプリングすることによって、この装置においては、リサンプリングされた画像データを分析する前、例えば、物体の分類を分析する前に、距離関連の影響が、少なくとも部分的に考慮され得る。
【００６０】
装置は、さらなる入力に結合された３Ｄカメラデバイスを備え得、該３Ｄカメラデバイスは、さらなる画像データを捕捉するように構成され、該さらなる画像データは、３次元画像を表し、かつ、深度情報を含み、３次元画像の視野は、画像の視野と重複する。３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラまたはステレオカメラを含み得る。３Ｄカメラデバイスは、さらに、物体識別デバイスを含み得、該物体識別デバイスは、さらなる画像データに基づいて、物体と、物体それぞれの距離とを識別するように構成されている。物体識別デバイスは、さらに、さらなる画像データに基づいて距離情報を決定し、かつ、距離情報を処理デバイスに提供するように構成されている。３Ｄカメラデバイスがこの構成を有すると、物体の存在と、画像面に対する物体のそれぞれの距離とが、さらなる画像データに基づいて識別され得る。例えば、３Ｄカメラデバイスは、物体の位置および距離に関する情報を含む物体リストを処理デバイスに提供し得る。
【００６１】
３Ｄカメラデバイスは、物体の少なくとも一部を表す、さらなる画像データの一部分に関する情報を処理デバイスに提供するように構成され得、次に、該処理デバイスは、さらなる画像データの一部分に関する情報に基づいて、画像データの一部分を選択するように構成され得る。この方法で、リサンプリングされる画像データの一部分が、さらなる画像データから獲得された、物体の一部分に関する情報に基づいて選択され得る。
【００６２】
装置は、さらに、処理デバイスの入力に結合され、かつ、画像を捕捉するように構成されている２Ｄカメラを備え得る。２Ｄカメラは、ＣＣＤカメラまたはＣＭＯＳカメラを含み得る。
【００６３】
処理デバイスは、物体の距離と基準距離との比較に基づいて決定されたリサンプリング係数によって、画像データの一部分をリサンプリングするように構成され得る。物体の距離と基準距離との比較に基づいて、リサンプリングは、アップサンプリングまたはダウンサンプリングを含み得る。特に、処理デバイスは、リサンプリングされた画像データの画素が、画像面から基準距離で位置決めされた物体の画像データにおける１画素当たりの幅にほぼ等しい物体の幅に対応するように、画像データの一部分をリサンプリングするように構成され得る。この方法で、画像内の物体の表示は、画像のさらなる評価を容易にするように規模を縮小され得る。
【００６４】
装置は、複数の物体のタイプを表す複数の基準物体に関する基準データを格納している格納デバイスも備え得る。次に、処理デバイスは、基準データを検索するために格納デバイスに結合され得、そして、基準データに基づいてリサンプリングされた画像データを分析することにより、物体を複数の物体のタイプに分類するように構成され得る。基準データは、基準距離にほぼ等しい、画像面からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成され得る。画像データの一部分が、基準データを利用してリサンプリングされた画像データを分析することによって、物体の距離と基準距離との両方に基づいてリサンプリングされるので、画像化された物体における距離依存の変動によって誘起される影響が低減され得る。
【００６５】
装置は、運転手支援システムによって含まれ得る。運転手支援システムはさらに、装置によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニットを備え得る。運転手支援システムは、例えば、画像評価の結果に基づいて警告信号を出力し得る。追加的に、または代替的に、運転手支援システムは、乗員および／または歩行者保護システムを備え得、該乗員および／または歩行者保護システムは、装置に結合されており、かつ、装置によって行なわれた画像評価の結果に基づいて作動されるように構成されている。例えば、保護システムは、画像評価の結果に基づいて、車両との衝突が生じることを予測されたときに作動される乗客のエアバッグと、歩行者との衝突が生じることを予測されたときに作動される歩行者エアバッグとを備え得る。
【００６６】
本発明の適用範囲の１つは、車両に搭載の運転手支援システムにおけるものであるということが想定される。しかしながら、本発明の様々な実施形態は、この特定の用途に限定されず、多種多様な分野における用途を見出し得、例えば、公共の場の監視などの安全保障関連の用途において捕捉された画像を評価することにおける用途を見出し得る。
【００６７】
本発明の追加の特徴および追加の利点は、添付の図面を参照して、好適な実施形態または有利な実施形態に関する以下の詳細な記述からさらに容易に理解される。
【発明を実施するための最良の形態】
【００６８】
以下で、本発明の例示的な実施形態が図面を参照して述べられる。以下の記述は、本発明をより良く述べる目的のためだけに与えられており、限定する意味に取られるべきではないということが理解される。特に断りがない場合には、以下で記述される様々な実施形態の特徴は、互いに組み合わされ得るということがまた理解される。
【００６９】
図１は、運転手支援システム１の概略的ブロック図の表示であり、該運転手支援システム１は、一実施形態に従った、画像を評価する装置２と、支援デバイス１２とを含む。装置２は、処理デバイス３を含み、該処理デバイス３は、評価される画像を表す画像データを受信する入力４と、画像面に対する物体の距離に関する距離情報を受信するさらなる入力５とを有する。処理デバイス３は、さらに、格納デバイス１０に結合されており、該格納デバイス１０は、物体の分類のための基準データを格納している。
【００７０】
処理デバイス３の入力４は、２Ｄカメラ６に結合され、該２Ｄカメラ６は、画像を捕捉し、画像を表す画像データを処理デバイス３に提供する。２Ｄカメラ６は、例えば、ＣＭＯＳカメラまたはＣＣＤカメラとして構成され得、画像データを処理デバイス３に出力する前に画像データを処理する追加の回路網を含み得る。例えば、処理デバイス３に出力される前に、画像データはフィルタリングされたり、適切に符号化されたりし得る。
【００７１】
処理デバイス３のさらなる入力５は、３Ｄカメラデバイス７に結合され、該３Ｄカメラデバイス７は、３Ｄカメラ８と物体識別デバイス９とを含み、該物体識別デバイス９は、３Ｄカメラ８に結合されている。３Ｄカメラ８は、さらなる画像データを捕捉し、該さらなる画像データは、複数の視点に対する深度情報、すなわち、複数の視点方向のうちの１つにおける視線に沿って位置決めされたもっとも近い障害物の距離に関する情報を含む３次元画像を表す。物体識別デバイス９は、３Ｄカメラ８から３次元画像を表すさらなる画像データを受信し、深度情報に基づいて、３Ｄカメラ８の視野の範囲内の物体の横方向の位置と、障害物それぞれの距離とを決定する。物体識別デバイス９は、セグメント化アルゴリズムを行うように構成され得、該セグメント化アルゴリズムにおいては、３Ｄカメラからかなりの距離を有する隣接する画素が、１つの物体に属するように割り当てられる。追加の論理機能が、物体識別デバイス９に組み込まれ得る。例えば、車両だけが画像データにおいて識別される場合には、車両に対して一般的に見出される形状を有していない物体が、画像データを評価するときには考慮されないように、長方形の形状または台形の形状に似た形状を有するさらなる画像データにおける画素の範囲だけが識別され得る。物体識別デバイス９が、さらなる画像データにおける関心のある全ての物体の横方向の位置を識別し得、すなわち、物体が位置決めされた領域の座標を識別し得、そして、３Ｄカメラ８に対するそれぞれの物体の距離を決定し得る。次に、以下において「物体リスト」とも呼ばれるこのデータが、処理デバイス３に提供される。
【００７２】
２Ｄカメラ６の視野が３Ｄカメラ８の視野と重複するように、３Ｄカメラデバイス７の２Ｄカメラ６と３Ｄカメラ８とは配置および構成される。一実施形態において、視野は実質的に一致する。簡素化するために、２Ｄカメラ６と３Ｄカメラ８とが互いに充分近くに配置されることにより、３Ｄカメラによって捕捉された深度情報が、２Ｄカメラ６の画像面からのそれぞれの物体の距離に対する充分な概算も提供するということが想定される。一実施形態において、２Ｄカメラ６と３Ｄカメラ８とはまた、互いに離れて配置され得、その場合、２Ｄカメラ６に対する３Ｄカメラ８の位置が既知であるときには、２Ｄカメラ６の画像面に対する物体の距離が、３Ｄカメラ８によって捕捉された深度情報から導き出され得るということが想定される。
【００７３】
処理デバイス３は、３Ｄカメラデバイス７から物体リストを受信し、該物体リストは、少なくとも１つの物体の距離情報、通常は、複数の物体の距離情報を含み、該距離情報は、２Ｄカメラ６によって捕捉された画像で表示される。以下で、図２および図３を参照してさらに詳細に述べられるように、処理デバイス３は、画像データによって表された物体の距離情報と所定の基準距離とに基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成し、次に、該リサンプリングされた画像データがさらに評価される。
【００７４】
装置２が、バス１１を介して支援デバイス１２に結合されることにより、画像評価の結果を支援デバイス１２に提供する。支援デバイス１２は、制御デバイス１３と、警告デバイス１４と、乗員および／または歩行者保護デバイス１５とを含み、該乗員および／または歩行者保護デバイス１５は、制御デバイス１３に結合されている。バス１１を介して装置２から受信された信号に基づいて、制御デバイス１３は、警告デバイス１４と乗員および／または歩行者保護デバイス１５とのうちの１つまたは両方を作動させる。
【００７５】
図２は、方法２０の流れ図の表示であり、該方法２０は、装置２の処理デバイス３によって行われ得る。２１において、画像を表す画像データが検索される。画像データは、カメラ、例えば、２Ｄカメラ６から直接的に検索され得るか、または格納媒体から直接的に検索され得る。２２において、画像面からの物体の距離に関する距離情報が検索される。距離情報は、単一の数値であり得るが、その他任意の適切な形式で提供もされ得、例えば、１つの物体または複数の物体の横方向の位置および距離に関する情報を含む物体リストの形式でも提供され得る。２３において、リサンプリングされる画像データの一部分が選択される。リサンプリングされる画像データの一部分は、様々な方法で選択され得る。距離情報が３Ｄ画像を表すさらなる画像データから獲得された場合には、ステップ２３は、物体の少なくとも一部を表す、さらなる（３Ｄ）画像データの一部分に対応する画像データの部分を識別し、それにより画像データとさらなる画像データとを適合させることを含み得る。２４において、２３において選択された部分が、距離情報と所定の基準距離との両方に基づいてリサンプリングされる。一実施形態において、リサンプリング係数が、距離情報と基準距離との両方に基づいて選択される。以下で図４を参照してさらに詳細に述べられるように、リサンプリングされた画像データにおいて、物体が画像面から基準距離で位置決めされたときに画像化された物体に対する１画素当たりの幅にほぼ等しい画像化された物体の幅に対応するように、リサンプリング係数は選択され得る。この方法で、画像面に対する距離変動によってもたらされる、物体のサイズの変動が、少なくとも部分的に考慮される。２５において、リサンプリングされた画像データがさらに分析され得る。
【００７６】
簡素化の目的で、方法２０が、関心のある１つの物体だけが画像データによって表されている場合を参照して上で述べられてきた。関心のある複数の物体が画像内で見ることができるときには、ステップ２２〜ステップ２５が、物体のそれぞれに対して行われ得るか、または、例えば、概略的に長方形の境界または台形の境界を有していない物体を切り捨てることによって関心のある物体のタイプに従って選択され得る物体のサブセットに対して行われ得る。２２において検索された距離情報は、異なる物体に対しては変動し得るということと、それに応じて、２４において行われたリサンプリングは、画像面に対する異なる距離に従って変動し得るということとが理解される。画像データがいくつかの物体を表すときには、ステップ２２〜ステップ２５が、全ての物体に対して連続的に行われ得るか、またはステップ２２が、最初に、物体のそれぞれに対して行われ得、続けて、ステップ２３が物体のそれぞれに対して行われるなどである。
【００７７】
ステップ２５における、リサンプリングされた画像データのさらなる分析は、例えば、リサンプリングされた画像データを基準データと比較することにより、物体を分類することを含み得る。リサンプリングされたデータのさらなる分析はまた、リサンプリングされた画像データを利用することにより、例えば、画像化された物体のデータベースを構築したり、画像認識アルゴリズムを教育したりなどすることを含む。
【００７８】
一実施形態において、ステップ２５における分析は、物体を分類することを含み、すなわち、複数の物体のタイプまたは複数の物体の種類のうちの１つに物体を割り当てることを含む。図１を参照すると、装置２は格納デバイス１０を含むことにより、物体を分類するために検索される基準データを格納する。基準データは、複数の異なる物体のタイプに関する情報を含み、該複数の異なる物体のタイプは、自動車、貨物自動車、オートバイ、歩行者、信号などを含む群から選択される。これらの物体のタイプの任意のものに対して、この物体のタイプが、所定の基準距離にほぼ等しい、２Ｄカメラ６の画像面からの距離で位置決めされている間に、基準データが、例えば、自動車などの、この物体のタイプを有する物体の画像を捕捉することによって生成される。この方法で、画像面から所定の基準距離で位置決めされた基準物体の画像とほぼ同じサイズを有する物体の画像を認識するように、基準データが調節される。
【００７９】
格納デバイス１０に格納された基準データは、ステップ２５における分析の特定の実装に依存した様々な形式を有し得る。例えば、２５における分析は、特定の物体のタイプを認識するように教育された学習アルゴリズムに基づき得る。この場合、基準データは、一組のパラメータであり得、該一組のパラメータは、学習アルゴリズムの動作を制御し、かつ、画像面から基準距離で位置決めされた基準物体の画像を使用して教育されている。別の実施形態において、２５における分析は、リサンプリングされた画像データによって表された物体が、特定の幾何形状特徴、特定の色、特定の色のパターン、または特定のサイズを有するか否かを決定することを含み、これらは、基準データによって特定され得る。別の実施形態において、２５における分析は、基準物体が画像面からほぼ基準距離で位置決めされたときに取られた様々な物体のタイプの基準物体の複数の画像と、リサンプリングされた画像データとのビットに関する比較を含む。
【００８０】
２２において検索された距離情報は、任意の適切な方法で獲得され得、該距離情報に基づいて、画像の一部分が、２４においてリサンプリングされる。図１の装置において、距離情報は、深度情報を含む３Ｄ画像を捕捉し評価することによって獲得される。従って、装置２は、２Ｄカメラ６と３Ｄカメラデバイス７とのセンサ融合に基づいて、２Ｄカメラ６によって捕捉された画像を評価する。
【００８１】
図３は、方法３０の流れ図の表示であり、該方法３０は、装置２によって行われ得る。３１において、２Ｄ画像が捕捉され、該２Ｄ画像は画像データによって表される。３２において、３Ｄ画像が捕捉され、該３Ｄ画像は、さらなる画像データによって表される。３３において、さらなる画像データが評価されることにより、画像をそれぞれ表すさらなる画像データの一部分、すなわち、３Ｄ画像内の範囲を識別し、それにより物体リストを生成し、該物体リストはそれぞれ、物体の距離に関する距離情報を含む。物体リストは、深度情報に基づいてセグメント化アルゴリズムを利用して生成され得、一方、追加の論理機能が、任意的に利用され得、該追加の論理機能は、物体の対称性またはサイズに基づいて利用され得る。距離情報は、３Ｄ画像の深度情報から推測され得る。３１における、２Ｄ画像の捕捉と、３２における、３Ｄ画像の捕捉とは、同時に行われ得るか、または２Ｄ画像において画像化された物体と３Ｄ画像において画像化された物体との動きが小さいままであるように充分に短い、２Ｄ画像の捕捉と３Ｄ画像の捕捉との間の時間遅延を伴って連続的に行われ得る。
【００８２】
３４において、画像データの一部分が、さらなる画像データに基づいて選択される。３３において生成された物体リストは、物体を表すさらなる画像データにおける画素または画素範囲に関する情報を含む。画像データの一部分が、物体リストによって特定された、さらなる画像データにおける画素または画素範囲に対応する画像データにおける画素を識別することによって選択される。２Ｄ画像と３Ｄ画像とが、同一の解像度と同一な視野とを有する場合には、画像データにおける画素と、さらなる画像データにおける画素との間には一対一の対応関係が存在する。しかしながら、３Ｄ画像が２Ｄ画像よりも低い解像度を有する場合には、画像データのいくつかの画素がさらなる画像データの１つの画素に対応する。
【００８３】
３５において、２３において選択された画像データの一部分が、物体リストに含まれる距離情報と、所定の基準距離とに基づいてリサンプリングされることにより、方法２０のステップ２４を参照して上述されたように、リサンプリングされた画像データを生成する。３６において、リサンプリングされた画像データが分析されることにより、リサンプリングされた画像データの一部分によって表された物体を分類する。
【００８４】
画像面から様々な距離を有するいくつかの物体が、さらなる画像データにおいて識別されたときには、物体のうちの１つを表す画像データの一部分のそれぞれが、それぞれの距離情報と所定の基準距離とに基づいてリサンプリングされる。
【００８５】
図４を参照して述べられるように、次に、物体のうちの１つを表す画像データの一部分をリサンプリングすることによって、距離の変動によってもたらされる、物体の画像のサイズの変動が、画像を評価する際に少なくとも部分的に考慮され得る。図４（ａ）は、道路４１を表す２Ｄ画像４０を概略的に例示する。地平線が概略的に４２で示されている。４つの物体４３〜４６、例えば、車両が、画像面から４つの異なる距離で、道路上で位置決めされ、それに対応して物体の画像のサイズは変動する。画像面から物体４４とほぼ同じ距離で位置決めされた、基準距離を定める基準物体に関して教育された学習アルゴリズムは、物体４４の物体分類においては、よい結果を提供するが、距離誘発のサイズの差が原因となり、物体４３、物体４５、および物体４６の分類においては不充分な結果をもたらし得る。
【００８６】
図４（ｂ）に概略的に例示されているように、物体４３を表す、画像４０の一部分をダウンサンプリングすることによって、リサンプリングされた画像データ５３が生成され、該リサンプリングされた画像データ５３は、物体４４を表す、画像４０の一部分とサイズが同様であり、該物体４４はまた、５４として、図４（ｂ）に概略的に例示される。同様に、物体４５および物体４６を表す、画像４０の一部分をアップサンプリングすることによって、リサンプリングされた画像データ５５およびリサンプリングされた画像データ５６が生成され、該リサンプリングされた画像データ５５および該リサンプリングされた画像データ５６は、物体４４を表す、画像４０の一部分とサイズが同様である。従って、画像面に対する物体の距離と基準距離とに基づいて、画像データの一部分を適切にダウンサンプリングまたはアップサンプリングすることによって、リサンプリングされた画像データが生成され得、該リサンプリングされた画像データにおいては、物体が画像面から所定の基準距離において位置決めされたときには、１つの画素が元々の画像データによって表された物体のうちの１つとほぼ等しい物体の幅に対応する。従って、画像面からの距離が、物体が元々の画像データのうちの数画素だけで表されるほど大きくない場合には、物体が画像面から様々な距離で画像化されたときであっても、画素で測定されると、物体は、リサンプリングされた画像データにおいては、ほぼ等しいサイズを有する。従って、図４（ｂ）に概略的に示されているように、物体は、事実上、同じ画像面にもたらされ得、図４（ｂ）においては、全ての物体５３〜物体５６が、事実上、画像面から基準距離で位置決めされている。リサンプリングされた画像データは、新たな画像を形成するために画像データの残りの部分と組み合わされる必要はなく、別々に評価され得るので、図４（ｂ）は、単なる概略であるということが理解される。
【００８７】
３Ｄ画像に基づいて、物体を表す、画像データの一部分のリサンプリングが、次に、図５〜図８を参照してさらに詳細に述べられる。
【００８８】
図５は、３つの車線６１〜車線６３を有する道路の概略的上面図６０であり、該３つの車線６１〜車線６３は、車線マーカ６４と車線マーカ６５とによって境界を定められている。車両６６は、中央車線６２に位置決めされており、該中央車線に、装置６７は設置され、該装置６７は、図１に示された装置２として構成され得る。装置６７は、少なくとも、画像面７１を有する２Ｄカメラと３Ｄカメラとを含む。３台の他の車両６８〜車両７０は、車両６６から３つの異なる距離ｄＡ、ｄＢ、およびｄＣでそれぞれ、車両６６の後方に位置決めされている。距離ｄＡ、ｄＢ、およびｄＣはそれぞれ、画像面７１と、車両６８〜車両７０の最前部に対応する物体面７２〜物体面７４との間の距離として画定される。画像面７１と、車両６９に関連付けられる物体面７３との間の距離ｄＢは、基準距離ｄｒｅｆと等しく、すなわち、車両６９は、基準距離と等しい画像面からの距離で位置決めされている。
【００８９】
図６は、装置６７の２Ｄカメラを使用して捕捉された画像データ８０の概略的表示である。画像データは、車両６８の画像８２を表す部分８１と、車両６９の画像８４を表す部分８３と、車両７０の画像８６を表す部分８５とを有する。２Ｄカメラの有限の画素解像度が原因となり、画像データの画素は概略的に示されている。車両６８〜車両７０を表す画像８２と画像８４と画像８６とのサイズは、画像面からの車両の距離の増加に伴い減少する。画像面からの距離に伴う、車両の画像のサイズの変動は、装置６７の２Ｄカメラの特定の光学特性に依存する。例示のために、車両の画像８２と車両の画像８４と車両の画像８６とのサイズは、画像面７１からの距離ｄＡ、ｄＢ、およびｄＣそれぞれにほぼ反比例するということが想定される。例示的な画像データにおいて、段差のある外形９１、ヘッドライト９２、ナンバープレート９３、およびタイヤ９４などの、車両６９の特徴的な形が、画像面から基準距離で位置決めされた車両６９の画像８４において識別され得る。全てのこれらの特徴が、車両６８を表す画像８２においても見ることができる。しかしながら、画像８６のより小さいサイズと、画像データ８０の有限の画素解像度が原因となり、これらの特徴の全てが、車両７０を表す画像８６においては、識別されないことがあり得る。例えば、段差のある外形とナンバープレートとが、画像８６によっては表されていない。ヘッドライト９５およびタイヤ９６などの他の特徴は、有限の画素解像度が原因となり、歪ませられている。
【００９０】
図７は、装置６７の３Ｄカメラを使用して捕捉されたさらなる画像データ１１０の概略的表示である。画像データは、車両６８の画像１１２を表す一部分１１１と、車両６９の画像１１４を表す一部分１１３と、車両７０の画像１１６を表す一部分１１５とを有する。３Ｄカメラの有限の画素解像度による画像データの画素が、概略的に示されている。例示された例において、３Ｄカメラの画素解像度は２Ｄカメラの画素解像度よりも低く、３Ｄ画像の１つの画素は、２Ｄ画像の４ｘ４画素に対応する。さらに、例示された例において、２Ｄカメラの視野は、３Ｄカメラの視野と同一である。さらなる画像データは、さらなる画像データは、深度情報を含み、すなわち、複数の視点方向に沿って位置決めされた障害物の距離に関する情報を含む。異なる深度が、図７における異なるパターンによって概略的に示されている。車両６８の画像１１２において、車両６８の客室およびタイヤを表す部分１２１および１２２はそれぞれ、車両６８のボンネットを表す部分１２３のうちの１つよりも大きい３Ｄカメラに対する距離を有する。車両６８の画像１１１全体の距離の値のこれらの変動に関わらず、距離の変動が、車両の特徴的な長さの尺度の範囲内にある限り、セグメント化アルゴリズムは、さらなる画像データの一部分１１１を１台の車両に割り当てることが可能である。同様に、客室およびボンネットを表す部分１２４および部分１２５それぞれが、車両６９の画像１１４における画像面から異なる距離を有する間に、さらなる画像データの一部分１１３が、再び、１台の車両に割り当てられる。画像１１２と比較すると、画像１１４の異なるパターンによって概略的に示されるように、さらなる画像データの深度情報は、車両６９が車両６８よりも遠く離れて位置決めされるということを示す。同様に、部分１１６に対する画素の値は、画像１１６によって表された車両７０が車両６９よりも遠く離れて位置決めされているということを示す。
【００９１】
さらなる画像データ１１０に基づいて、セグメント化アルゴリズムは、一部分１１１と一部分１１３と一部分１１５とを識別し、一部分１１１と一部分１１３と一部分１１５とを物体リストの異なる物体に割り当てる。物体のそれぞれに対して、距離の値が、例えば、画像１１２、画像１１４、および画像１１６のそれぞれのうちの１つにおける最低の距離の値として決定されるか、またはそれぞれの画像における距離の値の重み付けられた平均として決定される。
【００９２】
明確にするために、図７には示されていないが、さらなる画像データは、車両６８〜車両７０以外の物体も同様に示す深度情報を含み、例えば、車両が位置決めされる道路、道路脇の樹木などを示す深度情報を含むということが理解される。かかる背景信号は、例えば、樹木の特徴的な形状に基づいて、または車両は、多くの場合に、隣接する数画素に渡って同等の距離の値だけ突出する垂直方向に延びる部分を含むという事実に基づいて、車両を示す信号から区別され得る。
【００９３】
さらなる画像データ１１０における一部分１１１と一部分１１３と一部分１１５との横方向の位置に基づいて、次に、図６の画像データ８０における対応する部分がリサンプリングされる。リサンプリングは、さらなる画像データの一部分１１１と一部分１１３と一部分１１５とにおける画素のそれぞれに対して、画像データ８０における対応する画素を識別することを含み、それにより画像データ８０のリサンプリングされる部分を決定する。例示された例において、画像データのこれらの部分は、一部分８１と一部分８３と一部分８５とのそれぞれに対応する。画像データのこれらの部分のそれぞれに対して、その部分がリサンプリングされるか否かが決定される。その部分がリサンプリングされる場合には、リサンプリング係数が、それぞれの物体の距離と所定の基準距離とに基づいて決定される。
【００９４】
一実施形態において、物体が、所定の基準距離ｄｒｅｆを上回る画像面からの距離ｄで位置決めされたときには、物体を表す画像データの一部分がアップサンプリングされ、アップサンプリング係数は、
ｓｆｕｐ＝ｄ／ｄｒｅｆ （１）
となり、物体が、所定の基準距離ｄｒｅｆを下回る画像面からの距離ｄで位置決めされたときには、画像データの一部分がダウンサンプリングされ、ダウンサンプリング係数は、
ｓｆｄｏｗｎ＝ｄｒｅｆ／ｄ （２）
となる。
【００９５】
一実施形態において、アップサンプリング係数またはダウンサンプリング係数を決定するために、方程式（１）および方程式（２）の右側の分数が、分子と分母とのそれぞれにおいてあまりにも大きな数値を有していない有理数によって概算されるか、または右側は、整数によって概算され得る。
【００９６】
他の実施形態において、アップサンプリング係数ｓｆｕｐおよびダウンサンプリング係数ｓｆｄｏｗｎはそれぞれ、他の方法で決定され得る。例えば、２Ｄカメラの焦点長が、物体の距離に伴う画像サイズの変動をモデリングするために考慮され得、リサンプリング係数は、画像面から基準距離で位置決めされた物体に対して獲得された画素における画像サイズを、実際の物体の距離に対して獲得された、画素における画像のサイズによって除算することによって決定され得る。
【００９７】
図５〜図７の例に戻ると、画像データ８０の一部分８１が、係数ｓｆｄｏｗｎ＝ｄｒｅｆ／ｄＡ＝２によってダウンサンプリングされるが、一方、画像データ８０の一部分８５は、係数ｓｆｕｐ＝ｄＣ／ｄｒｅｆ＝２によってアップサンプリングされる。整数のアップサンプリング係数ｎによって画像データの一部分をアップサンプリングすることは、最初に、中間の画像を生成するために、その部分におけるあらゆる行をｎ−１回複写し、次に、中間の画像のあらゆる列をｎ−１回複写することによって実装され得る。同様に、整数のダウンサンプリング係数ｎによってダウンサンプリングすることは、中間画像を生成するために、その部分をｎ行毎に保持し、次に、リサンプリングされた画像データを生成するために、中間画像のｎ列毎に保持することによって実装され得る。ｐおよびｑが整数である、分数のサンプリング係数ｓｆ＝ｐ／ｑによってアップサンプリングすることは、サンプリング係数ｐによってアップサンプリングし、次に、サンプリング係数ｑによってダウンサンプリングすることによって実装され得る。分数のサンプリング係数によってダウンサンプリングすることは、対応する方法で実装され得る。
【００９８】
図８は、画像データ８０の一部分８１と一部分８５とをリサンプリングすることによって獲得されたリサンプリングされた画像データを概略的に例示する。図８（ａ）は、ｓｆｄｏｗｎ＝２によって画像データの部分８１をダウンサンプリングすることによって獲得されたリサンプリングされた画像データ１３１を示す。結果として生じる画像１３２は、基準距離で位置決めされた車両６９の画像８４とほぼ同じレベルの詳細およびほぼ同じサイズを有する車両６８を示す。上で述べられたように、リサンプリングされた画像データ１３１は、部分８１から１行おきに画素の行を取り除き、かつ、一部分８１から１列おきに画素の列を取り除くことによって獲得される。例えば、画像データ１３１の列１４１は、列内で１画素おきに画素を取り除かれると、部分８１の列１０１に対応する。
【００９９】
図８（ｃ）は、ｓｆｕｐ＝２によって画像データの部分８５をアップサンプリングすることによって獲得されたリサンプリングされた画像データ１３５を示す。アップサンプリングされた画像データにおいて、部分８５のあらゆる画素が２ｘ２画素へ複写される。例えば、リサンプリングされた画像データ１３５の列１４２は、実質的に隣接する画素に一部分８５の列の１０５のあらゆる画素を複写することによって生成され、列１４３は列１４２の複写である。同様に、リサンプリングされた画像データの列１４４と列１４５とは、一部分８５の列１０６から獲得される。車両７０の結果として生じる画像１３６は、元々の画像データにおける画像８６と比較すると、追加の詳細を含まず、車両画像１３６のサイズ全体と、ヘッドライト１４６およびタイヤ１４７などの特定の特徴のサイズ全体とが、画像面に対して基準距離で位置決めされた車両６９の画像８４のうちの１つと同様になる。
【０１００】
図８（ｂ）は、車両６９の画像８４を示す。一部分８３は、リサンプリングされる必要はない。なぜならば、車両６９は基準距離で位置決めされるからである。
【０１０１】
図８（ａ）および図８（ｃ）から見られ得るように、画像データの一部分をリサンプリングすることによって、車両６８の画像１３２と車両７０の画像１３６とが尺度を合わされて、車両が、事実上、画像面から基準距離にもたらされる。車両が基準距離で位置決めされたときに捕捉された基準データに依存する画像データのさらなる分析または評価が、リサンプリングによって容易にされる。例えば、画像認識のための学習アルゴリズムが、車両の画像８４に関して教育されたときには、学習アルゴリズムが画像データ内の画像８２および画像８６を正確に識別することは、困難であり得るが、一方、リサンプリングされた画像データにおける画像１３２および画像１３６は、車両としてより容易に分類され得る。
【０１０２】
画像データの一部分のアップサンプリングとダウンサンプリングとは、上に記述された方法以外の方法でも行われ得る。例えば、ダウンサンプリングにおいて、フィルタが利用され得、該フィルタは、車両が画像面からさらに離れて位置決めされたときの解像度の変化をモデリングする。それによりリサンプリングされた画像データにおいてまだ認識され得る詳細のレベルが、さらに正確に制御され得る。アップサンプリングすることは、例えば、より多くの画素を追加するときに画素の色の値を補間する補間関数を使用することによっても行われ得る。アップサンプリングすることは、アップサンプリングされる部分が位置決めされた視野の新たな画像を捕捉することによっても行われ得、すなわち、新たなより解像度の高い画像を捕捉するために２Ｄカメラを使用して、この視野に近づくことによっても行われ得る。
【０１０３】
図９は、方法１５０の流れ図の表示であり、該方法１５０は、図１の装置２または図５の装置６７によって行われ得る。方法１５０において、１５１における２Ｄ画像の捕捉と、１５２における３Ｄ画像の捕捉と、１５３における、３Ｄ画像に基づいた物体リストの生成とが行われる。これらのステップは、上で図３を参照して述べられたように実装され得る。
【０１０４】
１５４において、物体が物体リストから選択され、画像面に対する物体の距離が検索される。１５５において、物体の少なくとも一部を含む、２Ｄ画像を表す画像データの一部分が決定される。１５５における決定は、ここでもやはり、例えば、３Ｄ画像の画素を２Ｄ画像の対応する画素に写像することによって、２Ｄ画像を３Ｄ画像に適合させることを含み得る。
【０１０５】
１５６において、物体リストから検索された距離ｄは、基準距離ｄｒｅｆと比較される。ｄがｄｒｅｆ以下である場合には、１５７において、画像データの一部分がサンプリング係数ｓｆｕｐによってアップサンプリングされ、該サンプリング係数ｓｆｕｐは、例えば、上で方程式（１）を参照して述べられたように決定され得る。ｄがｄｒｅｆを上回る場合には、１５６において、画像データの一部分がダウンサンプリング係数ｓｆｄｏｗｎによってダウンサンプリングされ、該ダウンサンプリング係数ｓｆｄｏｗｎは、例えば、上で方程式（２）を参照して述べられたように決定され得る。
【０１０６】
１５９において、次に、物体が、リサンプリングされた画像データに基づいて分類される。物体の分類は、図３においてステップ３６を参照して述べられたように行われ得る。
【０１０７】
１６０において、新たな物体が、物体リストから選択され、物体の距離情報が検索され、ステップ１５５〜ステップ１５９が繰り返される。
【０１０８】
方法１５０は、規則的な時間間隔で繰り返され得る。例えば、装置２が車両に搭載して設置されたときに、方法１５０は、準継続的な方法で車両の周囲をモニタリングするために、毎秒数回繰り返され得る。
【０１０９】
図１に示された画像を評価する装置２の構成は、単なる例示であるということと、様々な他の構成が他の実施形態においては実装され得るということとが理解される。
【０１１０】
図１０は、運転手支援システム１７１の概略的ブロック図の表示であり、該運転手支援システム１７１は、別の実施形態に従った、画像を評価する装置１７２と、支援デバイス１２とを含む。バス１８１を介して装置１７２に結合された支援デバイス１２は、上で図１を参照して記述されたように構成され得る。
【０１１１】
装置１７２は、処理デバイス１７３を含み、該処理デバイス１７３は、評価される画像を表す画像データを受信する入力１７４と、画像面に対する画像によって表される物体の距離に関する距離情報を受信するさらなる入力１７５とを有する。処理デバイス１７３は、さらに、格納デバイス１８０に結合され、該格納デバイス１８０は、物体の分類のための基準データを格納している。
【０１１２】
装置１７２は、さらに、３Ｄカメラデバイス１７６を備え、該３Ｄカメラデバイス１７６は、例えば、ステレオカメラなどの３Ｄカメラ１７７と、物体識別デバイス１７９と、画像プロセッサ１７８とを含む。物体識別デバイス１７９は、３Ｄカメラ１７７に結合されることにより、３Ｄカメラ１７７によって取られた３Ｄ画像における物体、例えば、ステレオカメラによって取られた２つの画像における物体と、３Ｄカメラ１７７の画像面に対する物体の位置とを識別し、かつ、この情報を入力１７５において処理デバイス１７３に提供する。画像プロセッサ１７８は、３Ｄカメラ１７７に結合されることにより、３Ｄカメラ１７７によって取られた３Ｄ画像に基づいて、２Ｄ画像を表す画像データを生成する。例えば、３Ｄカメラがステレオカメラである場合には、画像プロセッサ１７８は、ステレオカメラによって捕捉された２つの画像からデータを融合することによって２Ｄ画像を生成し得るか、または２Ｄ画像が、ステレオカメラによって捕捉された２つの画像のうちの１つと同一になるように設定され得る。２Ｄ画像を表す画像データが、入力１７４において処理デバイス１７３に提供される。
【０１１３】
処理デバイス１７３は、入力１７５において距離情報を受信し、入力１７４において画像データを受信し、そして、距離情報と所定の基準距離とに基づいて画像データの一部分をリサンプリングする。処理デバイス１７３は、上で図２〜図９を参照して述べられた方法のうちの任意のものに従って動作し得る。
【０１１４】
図１１は、方法１９０の流れ図の表示であり、該方法１９０は、図１０の装置１７１によって行われ得る。１９１において、３Ｄ画像が捕捉され、該３Ｄ画像は３Ｄ画像データによって表されている。１９２において、画像によって表された物体の距離情報を含む物体リストは、３Ｄ画像データに基づいて生成される。１９３において、２Ｄ画像を表す画像データが３Ｄ画像に基づいて生成される。１９４において、画像データの一部分が物体リストに基づいて選択され、すなわち、３Ｄ画像データの分析に基づいて選択される。１９５において、画像データの少なくとも一部分が、距離情報と所定の基準距離とに基づいてリサンプリングされ、それによりリサンプリングされた画像データを生成する。１９６において、リサンプリングされた画像データが、例えば、物体の分類を行うことによって評価される。
【０１１５】
実施形態の上記の記述は、限定ではなく例示であるということと、様々な改変が他の実施形態において実装され得るということとが理解される。例えば、装置２の物体識別デバイス９と装置１７２の物体識別デバイス１７９とは、３Ｄカメラデバイス７および３Ｄカメラデバイス１７６それぞれによって構成されるように示されているが、物体識別デバイスはまた、処理デバイス３および処理デバイス１７３それぞれと一体で形成され得る。すなわち、物体リストが処理デバイスによって生成され得る。
【０１１６】
様々な物理的実体、例えば、装置の２Ｄカメラ、３Ｄカメラ、処理デバイス、物体識別デバイスおよび格納デバイスが、任意の適切なハードウェア、ソフトウェアまたはそれらの組み合わせによって実装され得るということも理解される。例えば、２Ｄカメラは、ＣＭＯＳカメラ、ＣＣＤカメラ、もしくはその他任意のカメラ、または画像データを提供する光学的コンポーネントの組み合わせであり得る。同様に、３Ｄカメラは、ＰＭＤカメラ、ステレオカメラ、または深度情報を捕捉するのに適したその他任意のデバイスとして構成され得る。処理デバイスは、適切にプログラミングされた専用目的の回路または汎用目的のプロセッサであり得る。
【０１１７】
さらに、図１および図１０、または上に述べられたその他任意の実施形態において示された装置の様々なコンポーネントは、一体で形成され得るか、またはまとめられ得ることにより、予定した用途に適したようなデバイスを形成する。例えば、１つの例示的な実施形態において、図１の処理デバイス３と格納デバイス１０とが運転手支援システム１２によって構成されたり、図１０の処理デバイス１７３と格納デバイス１８０とが運転手支援システム１２によって構成されたりし得る。またさらに、物体識別デバイス９もまた、運転手支援システム１２によって構成され得る。処理デバイス３および処理デバイス１７３は、制御ユニット１３と一体で形成され得、または運転手支援デバイス１２のプロセッサ、すなわち、運転手支援デバイス１２内に提供される１つのプロセッサが、警告デバイス１４および／または保護デバイス１５の両方の制御を行い得、その他任意の実施形態に従った画像を評価する方法を行い得る。またさらに、運転手支援システムの物体識別デバイス、処理デバイスおよび制御デバイスが一体に形成され得る。他の改変が他の実施形態において実装され得、該他の実施形態においては、様々なコンポーネントがその他任意の適切な方法で配置および相互接続されるということが理解される。
【０１１８】
本発明の実施形態が運転手支援システムにおける用途を参照して記述されてきたが、本発明は、この用途に限定されず、画像が評価される任意の用途に対して容易に使用され得る。例えば、本発明の実施形態は、公共の場の監視、または生物学的用途、医学的用途もしくは他の科学的用途に対する画像分析においても利用され得る。
【図面の簡単な説明】
【０１１９】
【図１】図１は、本発明の実施形態に従った、画像を評価する装置を含む運転手支援システムの概略的ブロック図を示す。
【図２】図２は、本発明の実施形態に従った方法の流れ図の表示である。
【図３】図３は、本発明の別の実施形態に従った方法の流れ図の表示である。
【図４ａ】図４（ａ）は、２Ｄ画像の概略的表示である。
【図４ｂ】図４（ｂ）は、図４（ａ）の画像の一部分のリサンプリングを概略的に例示する。
【図５】図５は、道路セグメントを示す概略的上面図であり、該道路セグメントに関して、本発明の実施形態に従った方法が述べられる。
【図６】図６は、図５の道路セグメントの２Ｄ画像を概略的に示す。
【図７】図７は、図５の道路セグメントの３Ｄ画像を概略的に示す。
【図８】図８は、図６の２Ｄ画像のリサンプリングされた部分を概略的に示す。
【図９】図９は、本発明の別の実施形態に従った方法の流れ図の表示である。
【図１０】図１０は、本発明の別の実施形態に従った、画像を評価する装置を含む運転手支援システムの概略的ブロック図を示す。
【図１１】図１１は、本発明の別の実施形態に従った方法の流れ図の表示である。
【技術分野】
【０００１】
本発明は、画像を評価するための方法および装置に関する。特に、本発明は、車両に搭載の運転手支援システム、または監視システムなどの様々な環境における物体認識のために利用され得る、画像を評価するための方法および装置に関する。
【背景技術】
【０００２】
今日、車両を制御する際に運転手を支援するために、および／または運転の安全性を向上させるために、車両は複数の運転手支援機能を提供する。かかる運転手支援機能の例は、駐車補助と、衝突予測機能と、制御論理に従って作動され得るエアバッグまたはシートベルトリトラクタを含む安全機構とを含む。これらの運転手支援機能のうちの一部は、例えば、接近する障害物を検知するために自動的に評価される画像データの形式の、車両の周囲に関する情報に依存したり、少なくとも、その情報を活用したりし得る。一部の運転手支援機能において、車両付近の物体の存在だけでなく、物体の「タイプ」または物体の「種類」、例えば車両または歩行者なども、決定された物体の種類に基づいて適切な行動を取るために自動的に決定され得る。これは、例えば、基準データと比較され得る画像データによって表される、物体の特徴的な幾何形状特徴およびサイズに基づいて、車両の周囲の一部分に対応する視野を有する画像を捕捉し、そして、その画像を表す画像データを評価することにより、物体を検知し、そして、それぞれの物体の種類を決定することよって達成され得る。かかる画像評価に対する従来の手法は、多くの場合に、画像評価と関連付けられる欠点を有する。例えば、画像データが基準データと直接的に比較されるときには、物体の分類の信頼度は、運転手支援機能が設置されている車両に対する物体の距離に依存し得る。例えば、車両から遠く離れた距離の貨物自動車は、貨物自動車の大きな横方向の寸法が原因となって、車両からより近い距離の自動車として誤って識別され得、またはその逆もあり得る。
【０００３】
同様の課題が、画像内の物体の自動識別が望ましい他の状況、例えば、公共の場または私有地に設置される監視カメラシステムに存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、画像を評価するための、改良された方法および装置に対する必要性が、当該分野に存在する。特に、評価される画像を捕捉するカメラに対する物体の距離の変動によってもたらされる誤差をあまり起こさない結果を提供する、画像を評価するための改良された方法および装置に対する必要性がある。
【課題を解決するための手段】
【０００５】
例えば、本発明は以下のものを提供する。
【０００６】
（項目１）
画像を評価する方法であって、
該画像を表す画像データ（４０；８０）を検索するステップと、
該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索するステップであって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像データ（４０；８０）によって表される、ステップと、
該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するステップであって、該画像データ（４０；８０）の該リサンプリングされる部分（４３、４５、４６；８１、８５）は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、ステップと
を包含する、方法。
【０００７】
（項目２）
上記画像データ（４０；８０）の上記一部分は、上記物体（４３、４５、４６；６８、７０）の上記距離（ｄＡ、ｄＢ、ｄＣ）と上記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によってリサンプリングされる、項目１に記載の方法。
【０００８】
（項目３）
上記物体（４５、４６；７０）の上記距離（ｄＣ）が、上記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、上記画像データ（４０；８０）の上記一部分は、アップサンプリングされる、項目１または項目２に記載の方法。
【０００９】
（項目４）
上記物体（４３；６８）の上記距離（ｄＡ）が、上記基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、上記画像データ（４０；８０）の上記一部分は、ダウンサンプリングされる、項目１〜項目３のうちのいずれか１項に記載の方法。
【００１０】
（項目５）
上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素は、上記画像面（７１）から上記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の上記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応している、項目１〜項目４のうちのいずれか１項に記載の方法。
【００１１】
（項目６）
さらなる画像データ（１１０）を獲得するステップであって、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、上記画像の視野と重複する、ステップ
を包含する、項目１〜項目５のうちのいずれか１項に記載の方法。
【００１２】
（項目７）
上記深度情報に基づいて、上記物体（６８〜７０）の少なくとも一部を表す、上記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）を識別するステップ
を包含する、項目６に記載の方法。
【００１３】
（項目８）
上記さらなる画像データ（１１０）の上記識別された一部分（１１１、１１３、１１５）に基づいて、上記画像データ（４０；８０）の上記リサンプリングされる部分（４３、４５、４６；８１、８５）を選択するステップ
を包含する、項目７に記載の方法。
【００１４】
（項目９）
上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）を選択する上記ステップは、該画像データ（４０；８０）の少なくとも１つの画素を識別することを包含し、該画像データ（４０；８０）の少なくとも１つの画素は、上記さらなる画像データ（１１０）の上記一部分（１１１、１１３、１１５）によって含まれる、該さらなる画像データ（１１０）の画素に対応する、項目８に記載の方法。
【００１５】
（項目１０）
上記さらなる画像データ（１１０）に基づいて上記距離情報を決定するステップを包含する、項目６〜項目９のうちのいずれか１項に記載の方法。
【００１６】
（項目１１）
ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を利用して、上記３次元画像を捕捉するステップを包含する、項目６〜項目１０のうちのいずれか１項に記載の方法。
【００１７】
（項目１２）
２Ｄカメラ（６；１７７、１７８）を利用して上記画像を捕捉するステップを包含する、項目１〜項目１１のうちのいずれか１項に記載の方法。
【００１８】
（項目１３）
複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、
該基準データに基づいて上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、上記物体を該複数の物体のタイプに分類するステップと
を包含する、項目１〜項目１２のうちのいずれか１項に記載の方法。
【００１９】
（項目１４）
上記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、項目１３に記載の方法。
【００２０】
（項目１５）
上記基準データは、上記基準距離（ｄｒｅｆ）にほぼ等しい、上記画像面（７１）からの距離における、上記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、項目１３または項目１４に記載の方法。
【００２１】
（項目１６）
上記距離情報を検索するステップと、上記リサンプリングするステップと、上記分析するステップとはそれぞれ、上記画像データ（４０；８０）によって表された複数の物体（４３、４５、４６；６８、７０）のそれぞれに対して行われる、項目１３〜項目１５のうちのいずれか１項に記載の方法。
【００２２】
（項目１７）
上記分析の結果を運転手支援デバイス（１２）に提供するステップを包含する、項目１３〜項目１６のうちのいずれか１項に記載の方法。
【００２３】
（項目１８）
その中に格納された命令を有するデータ格納媒体であって、該命令は、電子演算デバイス（２；１７２）のプロセッサ（３；１７３）によって実行されたときには、該演算デバイス（２；１７２）に、項目１〜項目１７のいずれか１項に記載の方法を行うように指示する、データ格納媒体。
【００２４】
（項目１９）
画像を評価する装置であって、
該画像を表す画像データ（４０；８０）を受信する入力（４；１７４）と、該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を受信するさらなる入力（５；１７５）とを有する処理デバイス（３；１７３）であって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像によって表される、処理デバイス（３；１７３）
を備え、
該処理デバイス（３；１７３）は、該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するように構成されており、該画像データ（４０；８０）の該リサンプリングされた一部分は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、装置。
【００２５】
（項目２０）
上記さらなる入力に結合された３Ｄカメラデバイス（７；１７６）であって、該３Ｄカメラデバイス（７；１７６）は、さらなる画像データ（１１０）を捕捉するように構成され、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、上記画像の視野と重複する、３Ｄカメラデバイス（７；１７６）
を備えている、項目１９に記載の装置。
【００２６】
（項目２１）
上記３Ｄカメラデバイス（７；１７６）は、ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を備えている、項目２０に記載の装置。
【００２７】
（項目２２）
上記３Ｄカメラデバイス（７；１７６）は、物体識別デバイス（９；１７９）を備え、該物体識別デバイス（９；１７９）は、上記さらなる画像データ（１１０）に基づいて、物体（４３〜４６；６８〜７０）と、該物体（４３〜４６；６８〜７０）のそれぞれの距離（ｄＡ、ｄＢ、ｄＣ）とを識別するように構成されている、項目２０または項目２１に記載の装置。
【００２８】
（項目２３）
上記物体識別デバイス（９；１７９）は、上記さらなる画像データ（１１０）に基づいて上記距離情報を決定し、そして、該距離情報を上記処理デバイス（３；１７３）に提供するように構成されている、項目２２に記載の装置。
【００２９】
（項目２４）
上記３Ｄカメラデバイス（７；１７６）は、上記物体の少なくとも一部を表す上記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）に関する情報を上記処理デバイス（３；１７３）に提供するように構成されている、項目２０〜項目２３のうちのいずれか１項に記載の装置。
【００３０】
（項目２５）
上記処理デバイス（３；１７３）は、上記さらなる画像データ（１１０）の上記一部分（１１１、１１３、１１５）に関する上記情報に基づいて、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）を選択するように構成されている、項目２４に記載の装置。
【００３１】
（項目２６）
上記処理デバイス（３；１７３）の上記入力に結合され、かつ、上記画像を捕捉するように構成されている２Ｄカメラ（６；１７７、１７８）を備えている、項目１９〜項目２５のうちのいずれか１項の記載の装置。
【００３２】
（項目２７）
上記２Ｄカメラ（６）は、ＣＣＤカメラまたはＣＭＯＳカメラを含む、項目２６に記載の装置。
【００３３】
（項目２８）
上記処理デバイス（３；１７３）は、上記物体の上記距離（ｄＡ、ｄＢ、ｄＣ）と上記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によって、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、項目１９〜項目２７のうちのいずれか１項に記載の装置。
【００３４】
（項目２９）
上記処理デバイス（３；１７３）は、上記物体（４５、４６；７０）の上記距離（ｄＣ）が、上記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、上記画像データ（４０；８０）の上記一部分（４５、４６；８５）をアップサンプリングするように構成され、かつ、上記物体（４３；６８）の上記距離（ｄＡ）が、該基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、該画像データ（４０；８０）の上記一部分（４６；８１）をダウンサンプリングするように構成されている、項目１９〜項目２８のうちのいずれか１項に記載の装置。
【００３５】
（項目３０）
上記処理デバイス（３；１７３）は、上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素が、上記画像面（７１）から上記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の上記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応するように、上記画像データ（４０；８０）の上記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、項目１９〜項目２９のうちのいずれか１項に記載の装置。
【００３６】
（項目３１）
その中に格納された、複数の物体のタイプを表す複数の基準物体に関する基準データを有する格納デバイス（１０；１８０）であって、上記処理デバイス（３；１７３）は、該基準データを検索するために該格納デバイス（１０；１８０）に結合されており、そして、該基準データに基づいて上記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、該物体（４３〜４６；６８〜７０）を該複数の物体のタイプのうちの１つに分類するように構成されている、項目１９〜項目３０のうちのいずれか１項に記載の装置。
【００３７】
（項目３２）
上記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、項目３１に記載の装置。
【００３８】
（項目３３）
上記基準データは、上記基準距離（ｄｒｅｆ）にほぼ等しい、上記画像面（７１）からの距離における、上記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、項目３１または項目３２のうちのいずれか１項に記載の装置。
【００３９】
（項目３４）
項目１９〜項目３３のうちのいずれか１項に記載の装置（２；１７２）を含む運転手支援システム。
【００４０】
（項目３５）
上記装置（２；１７２）によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニット（１４）を備えている、項目３４に記載の運転手支援システム。
【００４１】
（項目３６）
乗員および／または歩行者保護システム（１５）であって、該乗員および／または歩行者保護システム（１５）は、上記装置（２；１７２）に結合されており、かつ、該装置（２；１７２）によって行なわれた画像評価の結果に基づいて作動されるように構成されている、乗員および／または歩行者保護システム（１５）を備えている、項目３４または項目３５に記載の運転手支援システム。
【００４２】
（項目３７）
画像を評価する方法であって、
該画像を捕捉することと、
深度情報を含む３次元画像を捕捉することであって、該３次元画像の視野は、該画像の視野と重複する、ことと、
該３次元画像に基づいて、該画像の少なくとも一部分をリサンプリングすることと
を包含する、方法。
【００４３】
（項目３８）
上記３次元画像はＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉される、項目３７に記載の方法。
【００４４】
（項目３９）
画像を評価する装置であって、
該画像を捕捉するように構成されたカメラデバイスと、
深度情報を含む３次元画像を捕捉するように構成された３Ｄカメラデバイスであって、該３次元画像の視野は、該画像の視野と重複する、３Ｄカメラデバイスと、
処理デバイスであって、該処理デバイスは、該カメラデバイスから該画像を表す画像データを受信するために該カメラデバイスに結合され、かつ、該３Ｄカメラデバイスから該３次元画像を表すさらなる画像データを受信するために該３Ｄカメラデバイス結合されており、該処理デバイスは、該さらなる画像データに基づいて該画像データの少なくとも一部分をリサンプリングするように構成されている、処理デバイスと
を備えている、装置。
【００４５】
（項目４０）
上記３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラを含む、項目３９に記載の装置。
【００４６】
(開示の概要)
画像を評価する方法および装置が提供される。該装置は、処理デバイス（３）を備えており、該処理デバイス（３）は、画像を表す画像データを受信する入力（４）と、画像の画像面に対する、物体の距離に関する距離情報を受信するさらなる入力（５）とを有する。距離情報は、３Ｄカメラデバイス（７）を利用して捕捉された深度情報を含む３次元画像に基づいて決定され得る。処理デバイス（３）は、距離情報と所定の基準距離との両方に基づいて画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するように構成されている。画像データのリサンプリングされる部分は物体の少なくとも一部を表す。
【００４７】
(概要)
本発明に従って、この必要性は、独立請求項に定義されるような方法および装置によって対処される。従属請求項は、好適な実施形態または有利な実施形態を定義する。
【００４８】
本発明の一局面に従って、画像を評価する方法が提供され、該方法は、画像を表す画像データを検索するステップと、画像の画像面に対する物体の距離に関する距離情報を検索するステップであって、物体の少なくとも一部は、画像データによって表される、ステップと、距離情報と所定の基準距離との両方に基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するステップであって、画像データのリサンプリングされた部分は、物体の少なくとも一部を表す、ステップとを包含する。本明細書において使用される場合、用語「画像面」は、評価される画像が、画像を捕捉する光学システムによってマッピングされる（通常は仮想の）面を呼ぶ。この方法に従って、関心のある物体を表す、画像データの一部分が、画像面に対する物体の距離と、所定の基準距離とに基づいてリサンプリングされる。従って、続く、リサンプリングされたデータの分析は、画像面に対するリサンプリングされた画像データの距離によってはあまり影響されない。なぜならば、本方法は、距離に関する影響が画像データの一部分をリサンプリングすることによって少なくとも部分的に考慮に入れられることを可能にするからである。
【００４９】
一実施形態において、リサンプリング係数が、物体の距離と基準距離との比較に基づいて決定され得、該リサンプリング係数によって、画像データの一部分がリサンプリングされ得る。例えば、物体の距離が、基準距離以上である所定の閾値を超過したときには、画像データの一部分は、アップサンプリングされ得、および／または物体の距離が、基準距離以下であるさらなる所定の閾値を下回ったときには、画像データの一部分は、ダウンサンプリングされ得る。所定の閾値とさらなる所定の閾値とは、両方とも、基準距離にほぼ等しくなるように選択され得る。例えば、１つの例示的な実施形態において、物体の距離が基準距離を下回るときには、画像データの一部分は、物体の距離によって除算された基準距離とほぼ等しいダウンサンプリング係数によってダウンサンプリングされ得、物体の距離が基準距離を上回るときには、画像データの一部分は、基準距離によって除算された物体の距離とほぼ等しいアップサンプリング係数によってアップサンプリングされ得る。物体の距離と基準距離との比較に基づいてリサンプリング係数を選択することによって、物体を表す、画像データの一部分は、物体の画像のサイズの変動を物体の距離の関数として少なくとも部分的に受け入れるためにサイズを増加または減少させ得る。例えば、リサンプリングされた画像データの画素が、画像面から基準距離で位置決めされた物体の画像データにおける１画素当たりの幅にほぼ等しい、物体の幅に対応するように、画像データの一部分はリサンプリングされ得、それにより物体が基準距離において画像化されたときに、物体が有するサイズを概ね有するように、物体の画像は規模を縮小される。
【００５０】
本方法は、さらなる画像データを獲得するステップをさらに包含し得、該さらなる画像データは、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、画像の視野と重複する。３次元画像を表すさらなる画像データを利用することによって、物体を表す、画像データの一部分が便利にも識別され得、画像面に対する物体の距離もまた、さらなる画像データから決定され得る。この方法で、画像が画像データとさらなる画像データとの両方を使用することによって評価され得、すなわち、２次元（２Ｄ）画像の情報と３次元（３Ｄ）画像の情報とを組み合わせることによって評価され得る。本明細書において使用される場合、用語「深度情報」は、３次元画像の画素によって表された複数の視点方向に沿って位置決めされた物体の距離に関する情報を指す。
【００５１】
本方法は、深度情報に基づいて、物体の少なくとも一部を表す、さらなる画像データの一部分を識別することを包含し得る。例えば、ほぼ等しい深度値または少なくとも同様な深度値に対応するさらなる画像データの多数の画素が、物体の少なくとも一部を表す、さらなる画像データの一部分に割り当てられ得る。一実施形態において、複数の物体が、さらなる画像データにおいて、この方法で識別されることにより、様々な物体に対する位置情報および深度情報を含む物体リストを作成し得る。追加の論理機能が、例えば、類似した深度値を有する画素の形状および／または対称性を評価することによって、さらなる画像データ内の物体を識別するために利用され得る。車両が画像データにおいて識別されようとしている場合、例えば、正方形の形状または台形の形状を有する、さらなる画像データ内の画素の構造だけが、さらなる処理のために選択され得る。この方法で、画像データを評価することが、画像データの関連部分に制限され、それにより処理速度を向上させる。
【００５２】
さらなる画像データの一部分が、画像データのリサンプリングされる部分を選択する際に利用され得る。すなわち、画像データのリサンプリングされる部分が、さらなる画像データ内で識別された物体に基づいて選択され得る。これは、物体の一部を表す、さらなる画像データの一部分によって、すなわち、さらなる画像データから画像データまで画素のマッピングを行うことによって構成されるさらなる画像データの画素に対応する画像データの画素を識別することを含み得る。
【００５３】
３次元画像が、光パルスの伝達時間に基づいた技術を利用して捕捉され、例えば、ＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉され得る。３次元画像がまたステレオカメラを利用して捕捉され得る。画像は、２Ｄカメラ、例えば、ＣＭＯＳカメラまたはＣＣＤカメラを利用して捕捉され得る。
【００５４】
リサンプリングされた画像データは、物体を分類するためにさらに分析され得る。本明細書において使用される場合、物体の「分類」という用語は、物体が、多数の所与の物体のタイプまたは多数の所与の物体の種類、例えば、自動車、貨物自動車、オートバイ、信号、および／または歩行者などのうちの１つに属するかが決定されるプロセスを指すために使用される。本方法は、複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、基準データに基づいてリサンプリングされた画像データを分析することにより、物体を分類するステップとを包含する。基準データは様々な形式を有し得、対応するように、分析することは、様々な方法で実装され得る。例えば、所謂学習アルゴリズムが、リサンプリングされた画像データを分析するために利用され得、該学習アルゴリズムは、所与の物体のタイプの多数の有効な物体または妥当な物体に関して教育されることにより、次に、この物体のタイプの物体を識別する。この場合、基準データは、学習アルゴリズムを教育することによって獲得されたリサンプリングされた画像データを分析するためのパラメータを含み得る。基準データは、特定の物体のタイプに対して特徴的な形状および／または色に関する情報も含み得、リサンプリングされた画像データは、かかる特徴的な形状および／または色を識別することによって分析されることにより、物体を物体のタイプに適合させる。基準データは、所与の物体のタイプのうちの１つの物体またはいくつかの物体に対する画像データ、例えば、いくつかの異なる自動車またはいくつかの異なる貨物自動車を表す画像データも含み得、リサンプリングされた画像データがこの基準データと比較されることにより物体を物体のタイプに適合させ得る。
【００５５】
分析するステップの特定の実装に関わらず、基準データが基準距離とほぼ等しい画像面からある程度の距離で位置決めされた基準物体のうちの少なくとも１つの画像に基づいて生成され得る。次に、分析するステップは、リサンプリングされた画像データに基づいて物体を分類するように充分に適応されており、該リサンプリングされた画像データは、距離依存のリサンプリングによって獲得されたものである。
【００５６】
本方法は、画像データによって表されたいくつかの物体を分類するために利用され得る。例えば、複数の物体と、それらの距離とを含む物体リストが、３次元画像を表すさらなる画像データに基づいて生成され得、距離情報を検索するステップと、リサンプリングするステップと、分析するステップとがそれぞれ、複数の物体のそれぞれに対して行われ得る。
【００５７】
分析するステップの結果は、運転手支援システムに出力され得る。例えば、接近する物体に関する物体のタイプ、例えば、歩行者、自動車、または貨物自動車に関する情報が、運転手支援システムに出力され得、該運転手補助システムは、安全デバイスを作動させ、および／または物体のタイプに関する情報に基づいて警告信号を出力する。
【００５８】
本発明の別の局面に従って、命令を格納したデータ格納媒体が提供され、該命令は、電子演算デバイスのプロセッサによって実行されたときには、演算デバイスに、本発明の任意の一実施形態に従った方法を行わせる。電子演算デバイスは、画像データおよびさらなる画像データを受信する入力を有する汎用プロセッサとして構成され得る。電子演算デバイスはまた、プロセッサと、ＣＭＯＳカメラまたはＣＣＤカメラと、ＰＭＤカメラとを備え得、該プロセッサは、画像データをＣＭＯＳカメラまたはＣＣＤカメラから検索し、さらなる画像データをＰＭＤカメラから検索する。
【００５９】
本発明の別の局面に従って、画像を評価する装置が提供され、該画像を評価する装置は、画像を表す画像データを受信する入力と、画像の画像面に対する物体の距離に関する距離情報を受信するさらなる入力とを有する処理デバイスを備え、物体の少なくとも一部が、画像によって表される。処理デバイスは、距離情報と所定の基準距離との両方に基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成するように構成されており、画像データのリサンプリングされた部分は、物体の少なくとも一部を表す。画像面に対する物体の距離と、所定の基準距離との両方に基づいて、関心のある物体を表す、画像データの一部分をリサンプリングすることによって、この装置においては、リサンプリングされた画像データを分析する前、例えば、物体の分類を分析する前に、距離関連の影響が、少なくとも部分的に考慮され得る。
【００６０】
装置は、さらなる入力に結合された３Ｄカメラデバイスを備え得、該３Ｄカメラデバイスは、さらなる画像データを捕捉するように構成され、該さらなる画像データは、３次元画像を表し、かつ、深度情報を含み、３次元画像の視野は、画像の視野と重複する。３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラまたはステレオカメラを含み得る。３Ｄカメラデバイスは、さらに、物体識別デバイスを含み得、該物体識別デバイスは、さらなる画像データに基づいて、物体と、物体それぞれの距離とを識別するように構成されている。物体識別デバイスは、さらに、さらなる画像データに基づいて距離情報を決定し、かつ、距離情報を処理デバイスに提供するように構成されている。３Ｄカメラデバイスがこの構成を有すると、物体の存在と、画像面に対する物体のそれぞれの距離とが、さらなる画像データに基づいて識別され得る。例えば、３Ｄカメラデバイスは、物体の位置および距離に関する情報を含む物体リストを処理デバイスに提供し得る。
【００６１】
３Ｄカメラデバイスは、物体の少なくとも一部を表す、さらなる画像データの一部分に関する情報を処理デバイスに提供するように構成され得、次に、該処理デバイスは、さらなる画像データの一部分に関する情報に基づいて、画像データの一部分を選択するように構成され得る。この方法で、リサンプリングされる画像データの一部分が、さらなる画像データから獲得された、物体の一部分に関する情報に基づいて選択され得る。
【００６２】
装置は、さらに、処理デバイスの入力に結合され、かつ、画像を捕捉するように構成されている２Ｄカメラを備え得る。２Ｄカメラは、ＣＣＤカメラまたはＣＭＯＳカメラを含み得る。
【００６３】
処理デバイスは、物体の距離と基準距離との比較に基づいて決定されたリサンプリング係数によって、画像データの一部分をリサンプリングするように構成され得る。物体の距離と基準距離との比較に基づいて、リサンプリングは、アップサンプリングまたはダウンサンプリングを含み得る。特に、処理デバイスは、リサンプリングされた画像データの画素が、画像面から基準距離で位置決めされた物体の画像データにおける１画素当たりの幅にほぼ等しい物体の幅に対応するように、画像データの一部分をリサンプリングするように構成され得る。この方法で、画像内の物体の表示は、画像のさらなる評価を容易にするように規模を縮小され得る。
【００６４】
装置は、複数の物体のタイプを表す複数の基準物体に関する基準データを格納している格納デバイスも備え得る。次に、処理デバイスは、基準データを検索するために格納デバイスに結合され得、そして、基準データに基づいてリサンプリングされた画像データを分析することにより、物体を複数の物体のタイプに分類するように構成され得る。基準データは、基準距離にほぼ等しい、画像面からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成され得る。画像データの一部分が、基準データを利用してリサンプリングされた画像データを分析することによって、物体の距離と基準距離との両方に基づいてリサンプリングされるので、画像化された物体における距離依存の変動によって誘起される影響が低減され得る。
【００６５】
装置は、運転手支援システムによって含まれ得る。運転手支援システムはさらに、装置によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニットを備え得る。運転手支援システムは、例えば、画像評価の結果に基づいて警告信号を出力し得る。追加的に、または代替的に、運転手支援システムは、乗員および／または歩行者保護システムを備え得、該乗員および／または歩行者保護システムは、装置に結合されており、かつ、装置によって行なわれた画像評価の結果に基づいて作動されるように構成されている。例えば、保護システムは、画像評価の結果に基づいて、車両との衝突が生じることを予測されたときに作動される乗客のエアバッグと、歩行者との衝突が生じることを予測されたときに作動される歩行者エアバッグとを備え得る。
【００６６】
本発明の適用範囲の１つは、車両に搭載の運転手支援システムにおけるものであるということが想定される。しかしながら、本発明の様々な実施形態は、この特定の用途に限定されず、多種多様な分野における用途を見出し得、例えば、公共の場の監視などの安全保障関連の用途において捕捉された画像を評価することにおける用途を見出し得る。
【００６７】
本発明の追加の特徴および追加の利点は、添付の図面を参照して、好適な実施形態または有利な実施形態に関する以下の詳細な記述からさらに容易に理解される。
【発明を実施するための最良の形態】
【００６８】
以下で、本発明の例示的な実施形態が図面を参照して述べられる。以下の記述は、本発明をより良く述べる目的のためだけに与えられており、限定する意味に取られるべきではないということが理解される。特に断りがない場合には、以下で記述される様々な実施形態の特徴は、互いに組み合わされ得るということがまた理解される。
【００６９】
図１は、運転手支援システム１の概略的ブロック図の表示であり、該運転手支援システム１は、一実施形態に従った、画像を評価する装置２と、支援デバイス１２とを含む。装置２は、処理デバイス３を含み、該処理デバイス３は、評価される画像を表す画像データを受信する入力４と、画像面に対する物体の距離に関する距離情報を受信するさらなる入力５とを有する。処理デバイス３は、さらに、格納デバイス１０に結合されており、該格納デバイス１０は、物体の分類のための基準データを格納している。
【００７０】
処理デバイス３の入力４は、２Ｄカメラ６に結合され、該２Ｄカメラ６は、画像を捕捉し、画像を表す画像データを処理デバイス３に提供する。２Ｄカメラ６は、例えば、ＣＭＯＳカメラまたはＣＣＤカメラとして構成され得、画像データを処理デバイス３に出力する前に画像データを処理する追加の回路網を含み得る。例えば、処理デバイス３に出力される前に、画像データはフィルタリングされたり、適切に符号化されたりし得る。
【００７１】
処理デバイス３のさらなる入力５は、３Ｄカメラデバイス７に結合され、該３Ｄカメラデバイス７は、３Ｄカメラ８と物体識別デバイス９とを含み、該物体識別デバイス９は、３Ｄカメラ８に結合されている。３Ｄカメラ８は、さらなる画像データを捕捉し、該さらなる画像データは、複数の視点に対する深度情報、すなわち、複数の視点方向のうちの１つにおける視線に沿って位置決めされたもっとも近い障害物の距離に関する情報を含む３次元画像を表す。物体識別デバイス９は、３Ｄカメラ８から３次元画像を表すさらなる画像データを受信し、深度情報に基づいて、３Ｄカメラ８の視野の範囲内の物体の横方向の位置と、障害物それぞれの距離とを決定する。物体識別デバイス９は、セグメント化アルゴリズムを行うように構成され得、該セグメント化アルゴリズムにおいては、３Ｄカメラからかなりの距離を有する隣接する画素が、１つの物体に属するように割り当てられる。追加の論理機能が、物体識別デバイス９に組み込まれ得る。例えば、車両だけが画像データにおいて識別される場合には、車両に対して一般的に見出される形状を有していない物体が、画像データを評価するときには考慮されないように、長方形の形状または台形の形状に似た形状を有するさらなる画像データにおける画素の範囲だけが識別され得る。物体識別デバイス９が、さらなる画像データにおける関心のある全ての物体の横方向の位置を識別し得、すなわち、物体が位置決めされた領域の座標を識別し得、そして、３Ｄカメラ８に対するそれぞれの物体の距離を決定し得る。次に、以下において「物体リスト」とも呼ばれるこのデータが、処理デバイス３に提供される。
【００７２】
２Ｄカメラ６の視野が３Ｄカメラ８の視野と重複するように、３Ｄカメラデバイス７の２Ｄカメラ６と３Ｄカメラ８とは配置および構成される。一実施形態において、視野は実質的に一致する。簡素化するために、２Ｄカメラ６と３Ｄカメラ８とが互いに充分近くに配置されることにより、３Ｄカメラによって捕捉された深度情報が、２Ｄカメラ６の画像面からのそれぞれの物体の距離に対する充分な概算も提供するということが想定される。一実施形態において、２Ｄカメラ６と３Ｄカメラ８とはまた、互いに離れて配置され得、その場合、２Ｄカメラ６に対する３Ｄカメラ８の位置が既知であるときには、２Ｄカメラ６の画像面に対する物体の距離が、３Ｄカメラ８によって捕捉された深度情報から導き出され得るということが想定される。
【００７３】
処理デバイス３は、３Ｄカメラデバイス７から物体リストを受信し、該物体リストは、少なくとも１つの物体の距離情報、通常は、複数の物体の距離情報を含み、該距離情報は、２Ｄカメラ６によって捕捉された画像で表示される。以下で、図２および図３を参照してさらに詳細に述べられるように、処理デバイス３は、画像データによって表された物体の距離情報と所定の基準距離とに基づいて、画像データの少なくとも一部分をリサンプリングすることにより、リサンプリングされた画像データを生成し、次に、該リサンプリングされた画像データがさらに評価される。
【００７４】
装置２が、バス１１を介して支援デバイス１２に結合されることにより、画像評価の結果を支援デバイス１２に提供する。支援デバイス１２は、制御デバイス１３と、警告デバイス１４と、乗員および／または歩行者保護デバイス１５とを含み、該乗員および／または歩行者保護デバイス１５は、制御デバイス１３に結合されている。バス１１を介して装置２から受信された信号に基づいて、制御デバイス１３は、警告デバイス１４と乗員および／または歩行者保護デバイス１５とのうちの１つまたは両方を作動させる。
【００７５】
図２は、方法２０の流れ図の表示であり、該方法２０は、装置２の処理デバイス３によって行われ得る。２１において、画像を表す画像データが検索される。画像データは、カメラ、例えば、２Ｄカメラ６から直接的に検索され得るか、または格納媒体から直接的に検索され得る。２２において、画像面からの物体の距離に関する距離情報が検索される。距離情報は、単一の数値であり得るが、その他任意の適切な形式で提供もされ得、例えば、１つの物体または複数の物体の横方向の位置および距離に関する情報を含む物体リストの形式でも提供され得る。２３において、リサンプリングされる画像データの一部分が選択される。リサンプリングされる画像データの一部分は、様々な方法で選択され得る。距離情報が３Ｄ画像を表すさらなる画像データから獲得された場合には、ステップ２３は、物体の少なくとも一部を表す、さらなる（３Ｄ）画像データの一部分に対応する画像データの部分を識別し、それにより画像データとさらなる画像データとを適合させることを含み得る。２４において、２３において選択された部分が、距離情報と所定の基準距離との両方に基づいてリサンプリングされる。一実施形態において、リサンプリング係数が、距離情報と基準距離との両方に基づいて選択される。以下で図４を参照してさらに詳細に述べられるように、リサンプリングされた画像データにおいて、物体が画像面から基準距離で位置決めされたときに画像化された物体に対する１画素当たりの幅にほぼ等しい画像化された物体の幅に対応するように、リサンプリング係数は選択され得る。この方法で、画像面に対する距離変動によってもたらされる、物体のサイズの変動が、少なくとも部分的に考慮される。２５において、リサンプリングされた画像データがさらに分析され得る。
【００７６】
簡素化の目的で、方法２０が、関心のある１つの物体だけが画像データによって表されている場合を参照して上で述べられてきた。関心のある複数の物体が画像内で見ることができるときには、ステップ２２〜ステップ２５が、物体のそれぞれに対して行われ得るか、または、例えば、概略的に長方形の境界または台形の境界を有していない物体を切り捨てることによって関心のある物体のタイプに従って選択され得る物体のサブセットに対して行われ得る。２２において検索された距離情報は、異なる物体に対しては変動し得るということと、それに応じて、２４において行われたリサンプリングは、画像面に対する異なる距離に従って変動し得るということとが理解される。画像データがいくつかの物体を表すときには、ステップ２２〜ステップ２５が、全ての物体に対して連続的に行われ得るか、またはステップ２２が、最初に、物体のそれぞれに対して行われ得、続けて、ステップ２３が物体のそれぞれに対して行われるなどである。
【００７７】
ステップ２５における、リサンプリングされた画像データのさらなる分析は、例えば、リサンプリングされた画像データを基準データと比較することにより、物体を分類することを含み得る。リサンプリングされたデータのさらなる分析はまた、リサンプリングされた画像データを利用することにより、例えば、画像化された物体のデータベースを構築したり、画像認識アルゴリズムを教育したりなどすることを含む。
【００７８】
一実施形態において、ステップ２５における分析は、物体を分類することを含み、すなわち、複数の物体のタイプまたは複数の物体の種類のうちの１つに物体を割り当てることを含む。図１を参照すると、装置２は格納デバイス１０を含むことにより、物体を分類するために検索される基準データを格納する。基準データは、複数の異なる物体のタイプに関する情報を含み、該複数の異なる物体のタイプは、自動車、貨物自動車、オートバイ、歩行者、信号などを含む群から選択される。これらの物体のタイプの任意のものに対して、この物体のタイプが、所定の基準距離にほぼ等しい、２Ｄカメラ６の画像面からの距離で位置決めされている間に、基準データが、例えば、自動車などの、この物体のタイプを有する物体の画像を捕捉することによって生成される。この方法で、画像面から所定の基準距離で位置決めされた基準物体の画像とほぼ同じサイズを有する物体の画像を認識するように、基準データが調節される。
【００７９】
格納デバイス１０に格納された基準データは、ステップ２５における分析の特定の実装に依存した様々な形式を有し得る。例えば、２５における分析は、特定の物体のタイプを認識するように教育された学習アルゴリズムに基づき得る。この場合、基準データは、一組のパラメータであり得、該一組のパラメータは、学習アルゴリズムの動作を制御し、かつ、画像面から基準距離で位置決めされた基準物体の画像を使用して教育されている。別の実施形態において、２５における分析は、リサンプリングされた画像データによって表された物体が、特定の幾何形状特徴、特定の色、特定の色のパターン、または特定のサイズを有するか否かを決定することを含み、これらは、基準データによって特定され得る。別の実施形態において、２５における分析は、基準物体が画像面からほぼ基準距離で位置決めされたときに取られた様々な物体のタイプの基準物体の複数の画像と、リサンプリングされた画像データとのビットに関する比較を含む。
【００８０】
２２において検索された距離情報は、任意の適切な方法で獲得され得、該距離情報に基づいて、画像の一部分が、２４においてリサンプリングされる。図１の装置において、距離情報は、深度情報を含む３Ｄ画像を捕捉し評価することによって獲得される。従って、装置２は、２Ｄカメラ６と３Ｄカメラデバイス７とのセンサ融合に基づいて、２Ｄカメラ６によって捕捉された画像を評価する。
【００８１】
図３は、方法３０の流れ図の表示であり、該方法３０は、装置２によって行われ得る。３１において、２Ｄ画像が捕捉され、該２Ｄ画像は画像データによって表される。３２において、３Ｄ画像が捕捉され、該３Ｄ画像は、さらなる画像データによって表される。３３において、さらなる画像データが評価されることにより、画像をそれぞれ表すさらなる画像データの一部分、すなわち、３Ｄ画像内の範囲を識別し、それにより物体リストを生成し、該物体リストはそれぞれ、物体の距離に関する距離情報を含む。物体リストは、深度情報に基づいてセグメント化アルゴリズムを利用して生成され得、一方、追加の論理機能が、任意的に利用され得、該追加の論理機能は、物体の対称性またはサイズに基づいて利用され得る。距離情報は、３Ｄ画像の深度情報から推測され得る。３１における、２Ｄ画像の捕捉と、３２における、３Ｄ画像の捕捉とは、同時に行われ得るか、または２Ｄ画像において画像化された物体と３Ｄ画像において画像化された物体との動きが小さいままであるように充分に短い、２Ｄ画像の捕捉と３Ｄ画像の捕捉との間の時間遅延を伴って連続的に行われ得る。
【００８２】
３４において、画像データの一部分が、さらなる画像データに基づいて選択される。３３において生成された物体リストは、物体を表すさらなる画像データにおける画素または画素範囲に関する情報を含む。画像データの一部分が、物体リストによって特定された、さらなる画像データにおける画素または画素範囲に対応する画像データにおける画素を識別することによって選択される。２Ｄ画像と３Ｄ画像とが、同一の解像度と同一な視野とを有する場合には、画像データにおける画素と、さらなる画像データにおける画素との間には一対一の対応関係が存在する。しかしながら、３Ｄ画像が２Ｄ画像よりも低い解像度を有する場合には、画像データのいくつかの画素がさらなる画像データの１つの画素に対応する。
【００８３】
３５において、２３において選択された画像データの一部分が、物体リストに含まれる距離情報と、所定の基準距離とに基づいてリサンプリングされることにより、方法２０のステップ２４を参照して上述されたように、リサンプリングされた画像データを生成する。３６において、リサンプリングされた画像データが分析されることにより、リサンプリングされた画像データの一部分によって表された物体を分類する。
【００８４】
画像面から様々な距離を有するいくつかの物体が、さらなる画像データにおいて識別されたときには、物体のうちの１つを表す画像データの一部分のそれぞれが、それぞれの距離情報と所定の基準距離とに基づいてリサンプリングされる。
【００８５】
図４を参照して述べられるように、次に、物体のうちの１つを表す画像データの一部分をリサンプリングすることによって、距離の変動によってもたらされる、物体の画像のサイズの変動が、画像を評価する際に少なくとも部分的に考慮され得る。図４（ａ）は、道路４１を表す２Ｄ画像４０を概略的に例示する。地平線が概略的に４２で示されている。４つの物体４３〜４６、例えば、車両が、画像面から４つの異なる距離で、道路上で位置決めされ、それに対応して物体の画像のサイズは変動する。画像面から物体４４とほぼ同じ距離で位置決めされた、基準距離を定める基準物体に関して教育された学習アルゴリズムは、物体４４の物体分類においては、よい結果を提供するが、距離誘発のサイズの差が原因となり、物体４３、物体４５、および物体４６の分類においては不充分な結果をもたらし得る。
【００８６】
図４（ｂ）に概略的に例示されているように、物体４３を表す、画像４０の一部分をダウンサンプリングすることによって、リサンプリングされた画像データ５３が生成され、該リサンプリングされた画像データ５３は、物体４４を表す、画像４０の一部分とサイズが同様であり、該物体４４はまた、５４として、図４（ｂ）に概略的に例示される。同様に、物体４５および物体４６を表す、画像４０の一部分をアップサンプリングすることによって、リサンプリングされた画像データ５５およびリサンプリングされた画像データ５６が生成され、該リサンプリングされた画像データ５５および該リサンプリングされた画像データ５６は、物体４４を表す、画像４０の一部分とサイズが同様である。従って、画像面に対する物体の距離と基準距離とに基づいて、画像データの一部分を適切にダウンサンプリングまたはアップサンプリングすることによって、リサンプリングされた画像データが生成され得、該リサンプリングされた画像データにおいては、物体が画像面から所定の基準距離において位置決めされたときには、１つの画素が元々の画像データによって表された物体のうちの１つとほぼ等しい物体の幅に対応する。従って、画像面からの距離が、物体が元々の画像データのうちの数画素だけで表されるほど大きくない場合には、物体が画像面から様々な距離で画像化されたときであっても、画素で測定されると、物体は、リサンプリングされた画像データにおいては、ほぼ等しいサイズを有する。従って、図４（ｂ）に概略的に示されているように、物体は、事実上、同じ画像面にもたらされ得、図４（ｂ）においては、全ての物体５３〜物体５６が、事実上、画像面から基準距離で位置決めされている。リサンプリングされた画像データは、新たな画像を形成するために画像データの残りの部分と組み合わされる必要はなく、別々に評価され得るので、図４（ｂ）は、単なる概略であるということが理解される。
【００８７】
３Ｄ画像に基づいて、物体を表す、画像データの一部分のリサンプリングが、次に、図５〜図８を参照してさらに詳細に述べられる。
【００８８】
図５は、３つの車線６１〜車線６３を有する道路の概略的上面図６０であり、該３つの車線６１〜車線６３は、車線マーカ６４と車線マーカ６５とによって境界を定められている。車両６６は、中央車線６２に位置決めされており、該中央車線に、装置６７は設置され、該装置６７は、図１に示された装置２として構成され得る。装置６７は、少なくとも、画像面７１を有する２Ｄカメラと３Ｄカメラとを含む。３台の他の車両６８〜車両７０は、車両６６から３つの異なる距離ｄＡ、ｄＢ、およびｄＣでそれぞれ、車両６６の後方に位置決めされている。距離ｄＡ、ｄＢ、およびｄＣはそれぞれ、画像面７１と、車両６８〜車両７０の最前部に対応する物体面７２〜物体面７４との間の距離として画定される。画像面７１と、車両６９に関連付けられる物体面７３との間の距離ｄＢは、基準距離ｄｒｅｆと等しく、すなわち、車両６９は、基準距離と等しい画像面からの距離で位置決めされている。
【００８９】
図６は、装置６７の２Ｄカメラを使用して捕捉された画像データ８０の概略的表示である。画像データは、車両６８の画像８２を表す部分８１と、車両６９の画像８４を表す部分８３と、車両７０の画像８６を表す部分８５とを有する。２Ｄカメラの有限の画素解像度が原因となり、画像データの画素は概略的に示されている。車両６８〜車両７０を表す画像８２と画像８４と画像８６とのサイズは、画像面からの車両の距離の増加に伴い減少する。画像面からの距離に伴う、車両の画像のサイズの変動は、装置６７の２Ｄカメラの特定の光学特性に依存する。例示のために、車両の画像８２と車両の画像８４と車両の画像８６とのサイズは、画像面７１からの距離ｄＡ、ｄＢ、およびｄＣそれぞれにほぼ反比例するということが想定される。例示的な画像データにおいて、段差のある外形９１、ヘッドライト９２、ナンバープレート９３、およびタイヤ９４などの、車両６９の特徴的な形が、画像面から基準距離で位置決めされた車両６９の画像８４において識別され得る。全てのこれらの特徴が、車両６８を表す画像８２においても見ることができる。しかしながら、画像８６のより小さいサイズと、画像データ８０の有限の画素解像度が原因となり、これらの特徴の全てが、車両７０を表す画像８６においては、識別されないことがあり得る。例えば、段差のある外形とナンバープレートとが、画像８６によっては表されていない。ヘッドライト９５およびタイヤ９６などの他の特徴は、有限の画素解像度が原因となり、歪ませられている。
【００９０】
図７は、装置６７の３Ｄカメラを使用して捕捉されたさらなる画像データ１１０の概略的表示である。画像データは、車両６８の画像１１２を表す一部分１１１と、車両６９の画像１１４を表す一部分１１３と、車両７０の画像１１６を表す一部分１１５とを有する。３Ｄカメラの有限の画素解像度による画像データの画素が、概略的に示されている。例示された例において、３Ｄカメラの画素解像度は２Ｄカメラの画素解像度よりも低く、３Ｄ画像の１つの画素は、２Ｄ画像の４ｘ４画素に対応する。さらに、例示された例において、２Ｄカメラの視野は、３Ｄカメラの視野と同一である。さらなる画像データは、さらなる画像データは、深度情報を含み、すなわち、複数の視点方向に沿って位置決めされた障害物の距離に関する情報を含む。異なる深度が、図７における異なるパターンによって概略的に示されている。車両６８の画像１１２において、車両６８の客室およびタイヤを表す部分１２１および１２２はそれぞれ、車両６８のボンネットを表す部分１２３のうちの１つよりも大きい３Ｄカメラに対する距離を有する。車両６８の画像１１１全体の距離の値のこれらの変動に関わらず、距離の変動が、車両の特徴的な長さの尺度の範囲内にある限り、セグメント化アルゴリズムは、さらなる画像データの一部分１１１を１台の車両に割り当てることが可能である。同様に、客室およびボンネットを表す部分１２４および部分１２５それぞれが、車両６９の画像１１４における画像面から異なる距離を有する間に、さらなる画像データの一部分１１３が、再び、１台の車両に割り当てられる。画像１１２と比較すると、画像１１４の異なるパターンによって概略的に示されるように、さらなる画像データの深度情報は、車両６９が車両６８よりも遠く離れて位置決めされるということを示す。同様に、部分１１６に対する画素の値は、画像１１６によって表された車両７０が車両６９よりも遠く離れて位置決めされているということを示す。
【００９１】
さらなる画像データ１１０に基づいて、セグメント化アルゴリズムは、一部分１１１と一部分１１３と一部分１１５とを識別し、一部分１１１と一部分１１３と一部分１１５とを物体リストの異なる物体に割り当てる。物体のそれぞれに対して、距離の値が、例えば、画像１１２、画像１１４、および画像１１６のそれぞれのうちの１つにおける最低の距離の値として決定されるか、またはそれぞれの画像における距離の値の重み付けられた平均として決定される。
【００９２】
明確にするために、図７には示されていないが、さらなる画像データは、車両６８〜車両７０以外の物体も同様に示す深度情報を含み、例えば、車両が位置決めされる道路、道路脇の樹木などを示す深度情報を含むということが理解される。かかる背景信号は、例えば、樹木の特徴的な形状に基づいて、または車両は、多くの場合に、隣接する数画素に渡って同等の距離の値だけ突出する垂直方向に延びる部分を含むという事実に基づいて、車両を示す信号から区別され得る。
【００９３】
さらなる画像データ１１０における一部分１１１と一部分１１３と一部分１１５との横方向の位置に基づいて、次に、図６の画像データ８０における対応する部分がリサンプリングされる。リサンプリングは、さらなる画像データの一部分１１１と一部分１１３と一部分１１５とにおける画素のそれぞれに対して、画像データ８０における対応する画素を識別することを含み、それにより画像データ８０のリサンプリングされる部分を決定する。例示された例において、画像データのこれらの部分は、一部分８１と一部分８３と一部分８５とのそれぞれに対応する。画像データのこれらの部分のそれぞれに対して、その部分がリサンプリングされるか否かが決定される。その部分がリサンプリングされる場合には、リサンプリング係数が、それぞれの物体の距離と所定の基準距離とに基づいて決定される。
【００９４】
一実施形態において、物体が、所定の基準距離ｄｒｅｆを上回る画像面からの距離ｄで位置決めされたときには、物体を表す画像データの一部分がアップサンプリングされ、アップサンプリング係数は、
ｓｆｕｐ＝ｄ／ｄｒｅｆ （１）
となり、物体が、所定の基準距離ｄｒｅｆを下回る画像面からの距離ｄで位置決めされたときには、画像データの一部分がダウンサンプリングされ、ダウンサンプリング係数は、
ｓｆｄｏｗｎ＝ｄｒｅｆ／ｄ （２）
となる。
【００９５】
一実施形態において、アップサンプリング係数またはダウンサンプリング係数を決定するために、方程式（１）および方程式（２）の右側の分数が、分子と分母とのそれぞれにおいてあまりにも大きな数値を有していない有理数によって概算されるか、または右側は、整数によって概算され得る。
【００９６】
他の実施形態において、アップサンプリング係数ｓｆｕｐおよびダウンサンプリング係数ｓｆｄｏｗｎはそれぞれ、他の方法で決定され得る。例えば、２Ｄカメラの焦点長が、物体の距離に伴う画像サイズの変動をモデリングするために考慮され得、リサンプリング係数は、画像面から基準距離で位置決めされた物体に対して獲得された画素における画像サイズを、実際の物体の距離に対して獲得された、画素における画像のサイズによって除算することによって決定され得る。
【００９７】
図５〜図７の例に戻ると、画像データ８０の一部分８１が、係数ｓｆｄｏｗｎ＝ｄｒｅｆ／ｄＡ＝２によってダウンサンプリングされるが、一方、画像データ８０の一部分８５は、係数ｓｆｕｐ＝ｄＣ／ｄｒｅｆ＝２によってアップサンプリングされる。整数のアップサンプリング係数ｎによって画像データの一部分をアップサンプリングすることは、最初に、中間の画像を生成するために、その部分におけるあらゆる行をｎ−１回複写し、次に、中間の画像のあらゆる列をｎ−１回複写することによって実装され得る。同様に、整数のダウンサンプリング係数ｎによってダウンサンプリングすることは、中間画像を生成するために、その部分をｎ行毎に保持し、次に、リサンプリングされた画像データを生成するために、中間画像のｎ列毎に保持することによって実装され得る。ｐおよびｑが整数である、分数のサンプリング係数ｓｆ＝ｐ／ｑによってアップサンプリングすることは、サンプリング係数ｐによってアップサンプリングし、次に、サンプリング係数ｑによってダウンサンプリングすることによって実装され得る。分数のサンプリング係数によってダウンサンプリングすることは、対応する方法で実装され得る。
【００９８】
図８は、画像データ８０の一部分８１と一部分８５とをリサンプリングすることによって獲得されたリサンプリングされた画像データを概略的に例示する。図８（ａ）は、ｓｆｄｏｗｎ＝２によって画像データの部分８１をダウンサンプリングすることによって獲得されたリサンプリングされた画像データ１３１を示す。結果として生じる画像１３２は、基準距離で位置決めされた車両６９の画像８４とほぼ同じレベルの詳細およびほぼ同じサイズを有する車両６８を示す。上で述べられたように、リサンプリングされた画像データ１３１は、部分８１から１行おきに画素の行を取り除き、かつ、一部分８１から１列おきに画素の列を取り除くことによって獲得される。例えば、画像データ１３１の列１４１は、列内で１画素おきに画素を取り除かれると、部分８１の列１０１に対応する。
【００９９】
図８（ｃ）は、ｓｆｕｐ＝２によって画像データの部分８５をアップサンプリングすることによって獲得されたリサンプリングされた画像データ１３５を示す。アップサンプリングされた画像データにおいて、部分８５のあらゆる画素が２ｘ２画素へ複写される。例えば、リサンプリングされた画像データ１３５の列１４２は、実質的に隣接する画素に一部分８５の列の１０５のあらゆる画素を複写することによって生成され、列１４３は列１４２の複写である。同様に、リサンプリングされた画像データの列１４４と列１４５とは、一部分８５の列１０６から獲得される。車両７０の結果として生じる画像１３６は、元々の画像データにおける画像８６と比較すると、追加の詳細を含まず、車両画像１３６のサイズ全体と、ヘッドライト１４６およびタイヤ１４７などの特定の特徴のサイズ全体とが、画像面に対して基準距離で位置決めされた車両６９の画像８４のうちの１つと同様になる。
【０１００】
図８（ｂ）は、車両６９の画像８４を示す。一部分８３は、リサンプリングされる必要はない。なぜならば、車両６９は基準距離で位置決めされるからである。
【０１０１】
図８（ａ）および図８（ｃ）から見られ得るように、画像データの一部分をリサンプリングすることによって、車両６８の画像１３２と車両７０の画像１３６とが尺度を合わされて、車両が、事実上、画像面から基準距離にもたらされる。車両が基準距離で位置決めされたときに捕捉された基準データに依存する画像データのさらなる分析または評価が、リサンプリングによって容易にされる。例えば、画像認識のための学習アルゴリズムが、車両の画像８４に関して教育されたときには、学習アルゴリズムが画像データ内の画像８２および画像８６を正確に識別することは、困難であり得るが、一方、リサンプリングされた画像データにおける画像１３２および画像１３６は、車両としてより容易に分類され得る。
【０１０２】
画像データの一部分のアップサンプリングとダウンサンプリングとは、上に記述された方法以外の方法でも行われ得る。例えば、ダウンサンプリングにおいて、フィルタが利用され得、該フィルタは、車両が画像面からさらに離れて位置決めされたときの解像度の変化をモデリングする。それによりリサンプリングされた画像データにおいてまだ認識され得る詳細のレベルが、さらに正確に制御され得る。アップサンプリングすることは、例えば、より多くの画素を追加するときに画素の色の値を補間する補間関数を使用することによっても行われ得る。アップサンプリングすることは、アップサンプリングされる部分が位置決めされた視野の新たな画像を捕捉することによっても行われ得、すなわち、新たなより解像度の高い画像を捕捉するために２Ｄカメラを使用して、この視野に近づくことによっても行われ得る。
【０１０３】
図９は、方法１５０の流れ図の表示であり、該方法１５０は、図１の装置２または図５の装置６７によって行われ得る。方法１５０において、１５１における２Ｄ画像の捕捉と、１５２における３Ｄ画像の捕捉と、１５３における、３Ｄ画像に基づいた物体リストの生成とが行われる。これらのステップは、上で図３を参照して述べられたように実装され得る。
【０１０４】
１５４において、物体が物体リストから選択され、画像面に対する物体の距離が検索される。１５５において、物体の少なくとも一部を含む、２Ｄ画像を表す画像データの一部分が決定される。１５５における決定は、ここでもやはり、例えば、３Ｄ画像の画素を２Ｄ画像の対応する画素に写像することによって、２Ｄ画像を３Ｄ画像に適合させることを含み得る。
【０１０５】
１５６において、物体リストから検索された距離ｄは、基準距離ｄｒｅｆと比較される。ｄがｄｒｅｆ以下である場合には、１５７において、画像データの一部分がサンプリング係数ｓｆｕｐによってアップサンプリングされ、該サンプリング係数ｓｆｕｐは、例えば、上で方程式（１）を参照して述べられたように決定され得る。ｄがｄｒｅｆを上回る場合には、１５６において、画像データの一部分がダウンサンプリング係数ｓｆｄｏｗｎによってダウンサンプリングされ、該ダウンサンプリング係数ｓｆｄｏｗｎは、例えば、上で方程式（２）を参照して述べられたように決定され得る。
【０１０６】
１５９において、次に、物体が、リサンプリングされた画像データに基づいて分類される。物体の分類は、図３においてステップ３６を参照して述べられたように行われ得る。
【０１０７】
１６０において、新たな物体が、物体リストから選択され、物体の距離情報が検索され、ステップ１５５〜ステップ１５９が繰り返される。
【０１０８】
方法１５０は、規則的な時間間隔で繰り返され得る。例えば、装置２が車両に搭載して設置されたときに、方法１５０は、準継続的な方法で車両の周囲をモニタリングするために、毎秒数回繰り返され得る。
【０１０９】
図１に示された画像を評価する装置２の構成は、単なる例示であるということと、様々な他の構成が他の実施形態においては実装され得るということとが理解される。
【０１１０】
図１０は、運転手支援システム１７１の概略的ブロック図の表示であり、該運転手支援システム１７１は、別の実施形態に従った、画像を評価する装置１７２と、支援デバイス１２とを含む。バス１８１を介して装置１７２に結合された支援デバイス１２は、上で図１を参照して記述されたように構成され得る。
【０１１１】
装置１７２は、処理デバイス１７３を含み、該処理デバイス１７３は、評価される画像を表す画像データを受信する入力１７４と、画像面に対する画像によって表される物体の距離に関する距離情報を受信するさらなる入力１７５とを有する。処理デバイス１７３は、さらに、格納デバイス１８０に結合され、該格納デバイス１８０は、物体の分類のための基準データを格納している。
【０１１２】
装置１７２は、さらに、３Ｄカメラデバイス１７６を備え、該３Ｄカメラデバイス１７６は、例えば、ステレオカメラなどの３Ｄカメラ１７７と、物体識別デバイス１７９と、画像プロセッサ１７８とを含む。物体識別デバイス１７９は、３Ｄカメラ１７７に結合されることにより、３Ｄカメラ１７７によって取られた３Ｄ画像における物体、例えば、ステレオカメラによって取られた２つの画像における物体と、３Ｄカメラ１７７の画像面に対する物体の位置とを識別し、かつ、この情報を入力１７５において処理デバイス１７３に提供する。画像プロセッサ１７８は、３Ｄカメラ１７７に結合されることにより、３Ｄカメラ１７７によって取られた３Ｄ画像に基づいて、２Ｄ画像を表す画像データを生成する。例えば、３Ｄカメラがステレオカメラである場合には、画像プロセッサ１７８は、ステレオカメラによって捕捉された２つの画像からデータを融合することによって２Ｄ画像を生成し得るか、または２Ｄ画像が、ステレオカメラによって捕捉された２つの画像のうちの１つと同一になるように設定され得る。２Ｄ画像を表す画像データが、入力１７４において処理デバイス１７３に提供される。
【０１１３】
処理デバイス１７３は、入力１７５において距離情報を受信し、入力１７４において画像データを受信し、そして、距離情報と所定の基準距離とに基づいて画像データの一部分をリサンプリングする。処理デバイス１７３は、上で図２〜図９を参照して述べられた方法のうちの任意のものに従って動作し得る。
【０１１４】
図１１は、方法１９０の流れ図の表示であり、該方法１９０は、図１０の装置１７１によって行われ得る。１９１において、３Ｄ画像が捕捉され、該３Ｄ画像は３Ｄ画像データによって表されている。１９２において、画像によって表された物体の距離情報を含む物体リストは、３Ｄ画像データに基づいて生成される。１９３において、２Ｄ画像を表す画像データが３Ｄ画像に基づいて生成される。１９４において、画像データの一部分が物体リストに基づいて選択され、すなわち、３Ｄ画像データの分析に基づいて選択される。１９５において、画像データの少なくとも一部分が、距離情報と所定の基準距離とに基づいてリサンプリングされ、それによりリサンプリングされた画像データを生成する。１９６において、リサンプリングされた画像データが、例えば、物体の分類を行うことによって評価される。
【０１１５】
実施形態の上記の記述は、限定ではなく例示であるということと、様々な改変が他の実施形態において実装され得るということとが理解される。例えば、装置２の物体識別デバイス９と装置１７２の物体識別デバイス１７９とは、３Ｄカメラデバイス７および３Ｄカメラデバイス１７６それぞれによって構成されるように示されているが、物体識別デバイスはまた、処理デバイス３および処理デバイス１７３それぞれと一体で形成され得る。すなわち、物体リストが処理デバイスによって生成され得る。
【０１１６】
様々な物理的実体、例えば、装置の２Ｄカメラ、３Ｄカメラ、処理デバイス、物体識別デバイスおよび格納デバイスが、任意の適切なハードウェア、ソフトウェアまたはそれらの組み合わせによって実装され得るということも理解される。例えば、２Ｄカメラは、ＣＭＯＳカメラ、ＣＣＤカメラ、もしくはその他任意のカメラ、または画像データを提供する光学的コンポーネントの組み合わせであり得る。同様に、３Ｄカメラは、ＰＭＤカメラ、ステレオカメラ、または深度情報を捕捉するのに適したその他任意のデバイスとして構成され得る。処理デバイスは、適切にプログラミングされた専用目的の回路または汎用目的のプロセッサであり得る。
【０１１７】
さらに、図１および図１０、または上に述べられたその他任意の実施形態において示された装置の様々なコンポーネントは、一体で形成され得るか、またはまとめられ得ることにより、予定した用途に適したようなデバイスを形成する。例えば、１つの例示的な実施形態において、図１の処理デバイス３と格納デバイス１０とが運転手支援システム１２によって構成されたり、図１０の処理デバイス１７３と格納デバイス１８０とが運転手支援システム１２によって構成されたりし得る。またさらに、物体識別デバイス９もまた、運転手支援システム１２によって構成され得る。処理デバイス３および処理デバイス１７３は、制御ユニット１３と一体で形成され得、または運転手支援デバイス１２のプロセッサ、すなわち、運転手支援デバイス１２内に提供される１つのプロセッサが、警告デバイス１４および／または保護デバイス１５の両方の制御を行い得、その他任意の実施形態に従った画像を評価する方法を行い得る。またさらに、運転手支援システムの物体識別デバイス、処理デバイスおよび制御デバイスが一体に形成され得る。他の改変が他の実施形態において実装され得、該他の実施形態においては、様々なコンポーネントがその他任意の適切な方法で配置および相互接続されるということが理解される。
【０１１８】
本発明の実施形態が運転手支援システムにおける用途を参照して記述されてきたが、本発明は、この用途に限定されず、画像が評価される任意の用途に対して容易に使用され得る。例えば、本発明の実施形態は、公共の場の監視、または生物学的用途、医学的用途もしくは他の科学的用途に対する画像分析においても利用され得る。
【図面の簡単な説明】
【０１１９】
【図１】図１は、本発明の実施形態に従った、画像を評価する装置を含む運転手支援システムの概略的ブロック図を示す。
【図２】図２は、本発明の実施形態に従った方法の流れ図の表示である。
【図３】図３は、本発明の別の実施形態に従った方法の流れ図の表示である。
【図４ａ】図４（ａ）は、２Ｄ画像の概略的表示である。
【図４ｂ】図４（ｂ）は、図４（ａ）の画像の一部分のリサンプリングを概略的に例示する。
【図５】図５は、道路セグメントを示す概略的上面図であり、該道路セグメントに関して、本発明の実施形態に従った方法が述べられる。
【図６】図６は、図５の道路セグメントの２Ｄ画像を概略的に示す。
【図７】図７は、図５の道路セグメントの３Ｄ画像を概略的に示す。
【図８】図８は、図６の２Ｄ画像のリサンプリングされた部分を概略的に示す。
【図９】図９は、本発明の別の実施形態に従った方法の流れ図の表示である。
【図１０】図１０は、本発明の別の実施形態に従った、画像を評価する装置を含む運転手支援システムの概略的ブロック図を示す。
【図１１】図１１は、本発明の別の実施形態に従った方法の流れ図の表示である。
【特許請求の範囲】
【請求項１】
画像を評価する方法であって、
該画像を表す画像データ（４０；８０）を検索するステップと、
該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索するステップであって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像データ（４０；８０）によって表される、ステップと、
該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するステップであって、該画像データ（４０；８０）の該リサンプリングされる部分（４３、４５、４６；８１、８５）は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、ステップと
を包含する、方法。
【請求項２】
前記画像データ（４０；８０）の前記一部分は、前記物体（４３、４５、４６；６８、７０）の前記距離（ｄＡ、ｄＢ、ｄＣ）と前記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によってリサンプリングされる、請求項１に記載の方法。
【請求項３】
前記物体（４５、４６；７０）の前記距離（ｄＣ）が、前記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、前記画像データ（４０；８０）の前記一部分は、アップサンプリングされる、請求項１または請求項２に記載の方法。
【請求項４】
前記物体（４３；６８）の前記距離（ｄＡ）が、前記基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、前記画像データ（４０；８０）の前記一部分は、ダウンサンプリングされる、請求項１〜請求項３のうちのいずれか１項に記載の方法。
【請求項５】
前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素は、前記画像面（７１）から前記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の前記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応している、請求項１〜請求項４のうちのいずれか１項に記載の方法。
【請求項６】
さらなる画像データ（１１０）を獲得するステップであって、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、前記画像の視野と重複する、ステップ
を包含する、請求項１〜請求項５のうちのいずれか１項に記載の方法。
【請求項７】
前記深度情報に基づいて、前記物体（６８〜７０）の少なくとも一部を表す、前記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）を識別するステップ
を包含する、請求項６に記載の方法。
【請求項８】
前記さらなる画像データ（１１０）の前記識別された一部分（１１１、１１３、１１５）に基づいて、前記画像データ（４０；８０）の前記リサンプリングされる部分（４３、４５、４６；８１、８５）を選択するステップ
を包含する、請求項７に記載の方法。
【請求項９】
前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）を選択する前記ステップは、該画像データ（４０；８０）の少なくとも１つの画素を識別することを包含し、該画像データ（４０；８０）の少なくとも１つの画素は、前記さらなる画像データ（１１０）の前記一部分（１１１、１１３、１１５）によって含まれる、該さらなる画像データ（１１０）の画素に対応する、請求項８に記載の方法。
【請求項１０】
前記さらなる画像データ（１１０）に基づいて前記距離情報を決定するステップを包含する、請求項６〜請求項９のうちのいずれか１項に記載の方法。
【請求項１１】
ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を利用して、前記３次元画像を捕捉するステップを包含する、請求項６〜請求項１０のうちのいずれか１項に記載の方法。
【請求項１２】
２Ｄカメラ（６；１７７、１７８）を利用して前記画像を捕捉するステップを包含する、請求項１〜請求項１１のうちのいずれか１項に記載の方法。
【請求項１３】
複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、
該基準データに基づいて前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、前記物体を該複数の物体のタイプに分類するステップと
を包含する、請求項１〜請求項１２のうちのいずれか１項に記載の方法。
【請求項１４】
前記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、請求項１３に記載の方法。
【請求項１５】
前記基準データは、前記基準距離（ｄｒｅｆ）にほぼ等しい、前記画像面（７１）からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、請求項１３または請求項１４に記載の方法。
【請求項１６】
前記距離情報を検索するステップと、前記リサンプリングするステップと、前記分析するステップとはそれぞれ、前記画像データ（４０；８０）によって表された複数の物体（４３、４５、４６；６８、７０）のそれぞれに対して行われる、請求項１３〜請求項１５のうちのいずれか１項に記載の方法。
【請求項１７】
前記分析の結果を運転手支援デバイス（１２）に提供するステップを包含する、請求項１３〜請求項１６のうちのいずれか１項に記載の方法。
【請求項１８】
その中に格納された命令を有するデータ格納媒体であって、該命令は、電子演算デバイス（２；１７２）のプロセッサ（３；１７３）によって実行されたときには、該演算デバイス（２；１７２）に、請求項１〜請求項１７のいずれか１項に記載の方法を行うように指示する、データ格納媒体。
【請求項１９】
画像を評価する装置であって、
該画像を表す画像データ（４０；８０）を受信する入力（４；１７４）と、該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を受信するさらなる入力（５；１７５）とを有する処理デバイス（３；１７３）であって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像によって表される、処理デバイス（３；１７３）
を備え、
該処理デバイス（３；１７３）は、該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するように構成されており、該画像データ（４０；８０）の該リサンプリングされた一部分は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、装置。
【請求項２０】
前記さらなる入力に結合された３Ｄカメラデバイス（７；１７６）であって、該３Ｄカメラデバイス（７；１７６）は、さらなる画像データ（１１０）を捕捉するように構成され、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、前記画像の視野と重複する、３Ｄカメラデバイス（７；１７６）
を備えている、請求項１９に記載の装置。
【請求項２１】
前記３Ｄカメラデバイス（７；１７６）は、ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を備えている、請求項２０に記載の装置。
【請求項２２】
前記３Ｄカメラデバイス（７；１７６）は、物体識別デバイス（９；１７９）を備え、該物体識別デバイス（９；１７９）は、前記さらなる画像データ（１１０）に基づいて、物体（４３〜４６；６８〜７０）と、該物体（４３〜４６；６８〜７０）のそれぞれの距離（ｄＡ、ｄＢ、ｄＣ）とを識別するように構成されている、請求項２０または請求項２１に記載の装置。
【請求項２３】
前記物体識別デバイス（９；１７９）は、前記さらなる画像データ（１１０）に基づいて前記距離情報を決定し、そして、該距離情報を前記処理デバイス（３；１７３）に提供するように構成されている、請求項２２に記載の装置。
【請求項２４】
前記３Ｄカメラデバイス（７；１７６）は、前記物体の少なくとも一部を表す前記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）に関する情報を前記処理デバイス（３；１７３）に提供するように構成されている、請求項２０〜請求項２３のうちのいずれか１項に記載の装置。
【請求項２５】
前記処理デバイス（３；１７３）は、前記さらなる画像データ（１１０）の前記一部分（１１１、１１３、１１５）に関する前記情報に基づいて、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）を選択するように構成されている、請求項２４に記載の装置。
【請求項２６】
前記処理デバイス（３；１７３）の前記入力に結合され、かつ、前記画像を捕捉するように構成されている２Ｄカメラ（６；１７７、１７８）を備えている、請求項１９〜請求項２５のうちのいずれか１項の記載の装置。
【請求項２７】
前記２Ｄカメラ（６）は、ＣＣＤカメラまたはＣＭＯＳカメラを含む、請求項２６に記載の装置。
【請求項２８】
前記処理デバイス（３；１７３）は、前記物体の前記距離（ｄＡ、ｄＢ、ｄＣ）と前記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によって、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、請求項１９〜請求項２７のうちのいずれか１項に記載の装置。
【請求項２９】
前記処理デバイス（３；１７３）は、前記物体（４５、４６；７０）の前記距離（ｄＣ）が、前記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、前記画像データ（４０；８０）の前記一部分（４５、４６；８５）をアップサンプリングするように構成され、かつ、前記物体（４３；６８）の前記距離（ｄＡ）が、該基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、該画像データ（４０；８０）の前記一部分（４６；８１）をダウンサンプリングするように構成されている、請求項１９〜請求項２８のうちのいずれか１項に記載の装置。
【請求項３０】
前記処理デバイス（３；１７３）は、前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素が、前記画像面（７１）から前記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の前記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応するように、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、請求項１９〜請求項２９のうちのいずれか１項に記載の装置。
【請求項３１】
その中に格納された、複数の物体のタイプを表す複数の基準物体に関する基準データを有する格納デバイス（１０；１８０）であって、前記処理デバイス（３；１７３）は、該基準データを検索するために該格納デバイス（１０；１８０）に結合されており、そして、該基準データに基づいて前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、該物体（４３〜４６；６８〜７０）を該複数の物体のタイプのうちの１つに分類するように構成されている、請求項１９〜請求項３０のうちのいずれか１項に記載の装置。
【請求項３２】
前記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、請求項３１に記載の装置。
【請求項３３】
前記基準データは、前記基準距離（ｄｒｅｆ）にほぼ等しい、前記画像面（７１）からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、請求項３１または請求項３２のうちのいずれか１項に記載の装置。
【請求項３４】
請求項１９〜請求項３３のうちのいずれか１項に記載の装置（２；１７２）を含む運転手支援システム。
【請求項３５】
前記装置（２；１７２）によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニット（１４）を備えている、請求項３４に記載の運転手支援システム。
【請求項３６】
乗員および／または歩行者保護システム（１５）であって、該乗員および／または歩行者保護システム（１５）は、前記装置（２；１７２）に結合されており、かつ、該装置（２；１７２）によって行なわれた画像評価の結果に基づいて作動されるように構成されている、乗員および／または歩行者保護システム（１５）を備えている、請求項３４または請求項３５に記載の運転手支援システム。
【請求項３７】
画像を評価する方法であって、
該画像を捕捉することと、
深度情報を含む３次元画像を捕捉することであって、該３次元画像の視野は、該画像の視野と重複する、ことと、
該３次元画像に基づいて、該画像の少なくとも一部分をリサンプリングすることと
を包含する、方法。
【請求項３８】
前記３次元画像はＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉される、請求項３７に記載の方法。
【請求項３９】
画像を評価する装置であって、
該画像を捕捉するように構成されたカメラデバイスと、
深度情報を含む３次元画像を捕捉するように構成された３Ｄカメラデバイスであって、該３次元画像の視野は、該画像の視野と重複する、３Ｄカメラデバイスと、
処理デバイスであって、該処理デバイスは、該カメラデバイスから該画像を表す画像データを受信するために該カメラデバイスに結合され、かつ、該３Ｄカメラデバイスから該３次元画像を表すさらなる画像データを受信するために該３Ｄカメラデバイス結合されており、該処理デバイスは、該さらなる画像データに基づいて該画像データの少なくとも一部分をリサンプリングするように構成されている、処理デバイスと
を備えている、装置。
【請求項４０】
前記３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラを含む、請求項３９に記載の装置。
【請求項１】
画像を評価する方法であって、
該画像を表す画像データ（４０；８０）を検索するステップと、
該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を検索するステップであって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像データ（４０；８０）によって表される、ステップと、
該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するステップであって、該画像データ（４０；８０）の該リサンプリングされる部分（４３、４５、４６；８１、８５）は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、ステップと
を包含する、方法。
【請求項２】
前記画像データ（４０；８０）の前記一部分は、前記物体（４３、４５、４６；６８、７０）の前記距離（ｄＡ、ｄＢ、ｄＣ）と前記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によってリサンプリングされる、請求項１に記載の方法。
【請求項３】
前記物体（４５、４６；７０）の前記距離（ｄＣ）が、前記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、前記画像データ（４０；８０）の前記一部分は、アップサンプリングされる、請求項１または請求項２に記載の方法。
【請求項４】
前記物体（４３；６８）の前記距離（ｄＡ）が、前記基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、前記画像データ（４０；８０）の前記一部分は、ダウンサンプリングされる、請求項１〜請求項３のうちのいずれか１項に記載の方法。
【請求項５】
前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素は、前記画像面（７１）から前記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の前記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応している、請求項１〜請求項４のうちのいずれか１項に記載の方法。
【請求項６】
さらなる画像データ（１１０）を獲得するステップであって、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、前記画像の視野と重複する、ステップ
を包含する、請求項１〜請求項５のうちのいずれか１項に記載の方法。
【請求項７】
前記深度情報に基づいて、前記物体（６８〜７０）の少なくとも一部を表す、前記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）を識別するステップ
を包含する、請求項６に記載の方法。
【請求項８】
前記さらなる画像データ（１１０）の前記識別された一部分（１１１、１１３、１１５）に基づいて、前記画像データ（４０；８０）の前記リサンプリングされる部分（４３、４５、４６；８１、８５）を選択するステップ
を包含する、請求項７に記載の方法。
【請求項９】
前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）を選択する前記ステップは、該画像データ（４０；８０）の少なくとも１つの画素を識別することを包含し、該画像データ（４０；８０）の少なくとも１つの画素は、前記さらなる画像データ（１１０）の前記一部分（１１１、１１３、１１５）によって含まれる、該さらなる画像データ（１１０）の画素に対応する、請求項８に記載の方法。
【請求項１０】
前記さらなる画像データ（１１０）に基づいて前記距離情報を決定するステップを包含する、請求項６〜請求項９のうちのいずれか１項に記載の方法。
【請求項１１】
ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を利用して、前記３次元画像を捕捉するステップを包含する、請求項６〜請求項１０のうちのいずれか１項に記載の方法。
【請求項１２】
２Ｄカメラ（６；１７７、１７８）を利用して前記画像を捕捉するステップを包含する、請求項１〜請求項１１のうちのいずれか１項に記載の方法。
【請求項１３】
複数の物体のタイプを表す複数の基準物体に関する基準データを検索するステップと、
該基準データに基づいて前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、前記物体を該複数の物体のタイプに分類するステップと
を包含する、請求項１〜請求項１２のうちのいずれか１項に記載の方法。
【請求項１４】
前記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、請求項１３に記載の方法。
【請求項１５】
前記基準データは、前記基準距離（ｄｒｅｆ）にほぼ等しい、前記画像面（７１）からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、請求項１３または請求項１４に記載の方法。
【請求項１６】
前記距離情報を検索するステップと、前記リサンプリングするステップと、前記分析するステップとはそれぞれ、前記画像データ（４０；８０）によって表された複数の物体（４３、４５、４６；６８、７０）のそれぞれに対して行われる、請求項１３〜請求項１５のうちのいずれか１項に記載の方法。
【請求項１７】
前記分析の結果を運転手支援デバイス（１２）に提供するステップを包含する、請求項１３〜請求項１６のうちのいずれか１項に記載の方法。
【請求項１８】
その中に格納された命令を有するデータ格納媒体であって、該命令は、電子演算デバイス（２；１７２）のプロセッサ（３；１７３）によって実行されたときには、該演算デバイス（２；１７２）に、請求項１〜請求項１７のいずれか１項に記載の方法を行うように指示する、データ格納媒体。
【請求項１９】
画像を評価する装置であって、
該画像を表す画像データ（４０；８０）を受信する入力（４；１７４）と、該画像の画像面（７１）に対する、物体（４３〜４６；６８〜７０）の距離（ｄＡ、ｄＢ、ｄＣ）に関する距離情報を受信するさらなる入力（５；１７５）とを有する処理デバイス（３；１７３）であって、該物体（４３〜４６；６８〜７０）の少なくとも一部は、該画像によって表される、処理デバイス（３；１７３）
を備え、
該処理デバイス（３；１７３）は、該距離情報と所定の基準距離（ｄｒｅｆ）との両方に基づいて、該画像データ（４０；８０）の少なくとも一部分（４３、４５、４６；８１、８５）をリサンプリングすることにより、リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を生成するように構成されており、該画像データ（４０；８０）の該リサンプリングされた一部分は、該物体（４３、４５、４６；６８、７０）の少なくとも一部を表す、装置。
【請求項２０】
前記さらなる入力に結合された３Ｄカメラデバイス（７；１７６）であって、該３Ｄカメラデバイス（７；１７６）は、さらなる画像データ（１１０）を捕捉するように構成され、該さらなる画像データ（１１０）は、３次元画像を表し、かつ、深度情報を含み、該３次元画像の視野は、前記画像の視野と重複する、３Ｄカメラデバイス（７；１７６）
を備えている、請求項１９に記載の装置。
【請求項２１】
前記３Ｄカメラデバイス（７；１７６）は、ＰＭＤ（フォトニックミキサデバイス）カメラ（８）またはステレオカメラ（１７７）を備えている、請求項２０に記載の装置。
【請求項２２】
前記３Ｄカメラデバイス（７；１７６）は、物体識別デバイス（９；１７９）を備え、該物体識別デバイス（９；１７９）は、前記さらなる画像データ（１１０）に基づいて、物体（４３〜４６；６８〜７０）と、該物体（４３〜４６；６８〜７０）のそれぞれの距離（ｄＡ、ｄＢ、ｄＣ）とを識別するように構成されている、請求項２０または請求項２１に記載の装置。
【請求項２３】
前記物体識別デバイス（９；１７９）は、前記さらなる画像データ（１１０）に基づいて前記距離情報を決定し、そして、該距離情報を前記処理デバイス（３；１７３）に提供するように構成されている、請求項２２に記載の装置。
【請求項２４】
前記３Ｄカメラデバイス（７；１７６）は、前記物体の少なくとも一部を表す前記さらなる画像データ（１１０）の一部分（１１１、１１３、１１５）に関する情報を前記処理デバイス（３；１７３）に提供するように構成されている、請求項２０〜請求項２３のうちのいずれか１項に記載の装置。
【請求項２５】
前記処理デバイス（３；１７３）は、前記さらなる画像データ（１１０）の前記一部分（１１１、１１３、１１５）に関する前記情報に基づいて、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）を選択するように構成されている、請求項２４に記載の装置。
【請求項２６】
前記処理デバイス（３；１７３）の前記入力に結合され、かつ、前記画像を捕捉するように構成されている２Ｄカメラ（６；１７７、１７８）を備えている、請求項１９〜請求項２５のうちのいずれか１項の記載の装置。
【請求項２７】
前記２Ｄカメラ（６）は、ＣＣＤカメラまたはＣＭＯＳカメラを含む、請求項２６に記載の装置。
【請求項２８】
前記処理デバイス（３；１７３）は、前記物体の前記距離（ｄＡ、ｄＢ、ｄＣ）と前記基準距離（ｄｒｅｆ）との比較に基づいて決定されたリサンプリング係数によって、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、請求項１９〜請求項２７のうちのいずれか１項に記載の装置。
【請求項２９】
前記処理デバイス（３；１７３）は、前記物体（４５、４６；７０）の前記距離（ｄＣ）が、前記基準距離（ｄｒｅｆ）以上である所定の閾値を超過したときには、前記画像データ（４０；８０）の前記一部分（４５、４６；８５）をアップサンプリングするように構成され、かつ、前記物体（４３；６８）の前記距離（ｄＡ）が、該基準距離（ｄｒｅｆ）以下であるさらなる所定の閾値を下回ったときには、該画像データ（４０；８０）の前記一部分（４６；８１）をダウンサンプリングするように構成されている、請求項１９〜請求項２８のうちのいずれか１項に記載の装置。
【請求項３０】
前記処理デバイス（３；１７３）は、前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）の画素が、前記画像面（７１）から前記基準距離（ｄｒｅｆ）で位置決めされた物体（４４；６９）の前記画像データ（４０；８０）における１画素当たりの幅にほぼ等しい、物体の幅に対応するように、前記画像データ（４０；８０）の前記一部分（４３、４５、４６；８１、８５）をリサンプリングするように構成されている、請求項１９〜請求項２９のうちのいずれか１項に記載の装置。
【請求項３１】
その中に格納された、複数の物体のタイプを表す複数の基準物体に関する基準データを有する格納デバイス（１０；１８０）であって、前記処理デバイス（３；１７３）は、該基準データを検索するために該格納デバイス（１０；１８０）に結合されており、そして、該基準データに基づいて前記リサンプリングされた画像データ（５３、５５、５６；１３１、１３５）を分析することにより、該物体（４３〜４６；６８〜７０）を該複数の物体のタイプのうちの１つに分類するように構成されている、請求項１９〜請求項３０のうちのいずれか１項に記載の装置。
【請求項３２】
前記複数の物体のタイプは、自動車、貨物自動車、オートバイ、信号、および歩行者を含む群から選択される、請求項３１に記載の装置。
【請求項３３】
前記基準データは、前記基準距離（ｄｒｅｆ）にほぼ等しい、前記画像面（７１）からの距離における、前記基準物体のうちの少なくとも１つの基準物体の画像に基づいて生成される、請求項３１または請求項３２のうちのいずれか１項に記載の装置。
【請求項３４】
請求項１９〜請求項３３のうちのいずれか１項に記載の装置（２；１７２）を含む運転手支援システム。
【請求項３５】
前記装置（２；１７２）によって行なわれる画像評価の結果に基づいて、光学出力信号、音響出力信号、または触覚出力信号のうちの少なくとも１つを提供する出力ユニット（１４）を備えている、請求項３４に記載の運転手支援システム。
【請求項３６】
乗員および／または歩行者保護システム（１５）であって、該乗員および／または歩行者保護システム（１５）は、前記装置（２；１７２）に結合されており、かつ、該装置（２；１７２）によって行なわれた画像評価の結果に基づいて作動されるように構成されている、乗員および／または歩行者保護システム（１５）を備えている、請求項３４または請求項３５に記載の運転手支援システム。
【請求項３７】
画像を評価する方法であって、
該画像を捕捉することと、
深度情報を含む３次元画像を捕捉することであって、該３次元画像の視野は、該画像の視野と重複する、ことと、
該３次元画像に基づいて、該画像の少なくとも一部分をリサンプリングすることと
を包含する、方法。
【請求項３８】
前記３次元画像はＰＭＤ（フォトニックミキサデバイス）カメラを利用して捕捉される、請求項３７に記載の方法。
【請求項３９】
画像を評価する装置であって、
該画像を捕捉するように構成されたカメラデバイスと、
深度情報を含む３次元画像を捕捉するように構成された３Ｄカメラデバイスであって、該３次元画像の視野は、該画像の視野と重複する、３Ｄカメラデバイスと、
処理デバイスであって、該処理デバイスは、該カメラデバイスから該画像を表す画像データを受信するために該カメラデバイスに結合され、かつ、該３Ｄカメラデバイスから該３次元画像を表すさらなる画像データを受信するために該３Ｄカメラデバイス結合されており、該処理デバイスは、該さらなる画像データに基づいて該画像データの少なくとも一部分をリサンプリングするように構成されている、処理デバイスと
を備えている、装置。
【請求項４０】
前記３Ｄカメラデバイスは、ＰＭＤ（フォトニックミキサデバイス）カメラを含む、請求項３９に記載の装置。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−３７６２２（Ｐ２００９−３７６２２Ａ）
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−２００２５６（Ｐ２００８−２００２５６）
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００８−２００２５６（Ｐ２００８−２００２５６）
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（５０４１４７９３３）ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー (165)
【Ｆターム（参考）】
[ Back to top ]