画像生成器
車両内に配置される画像生成器を提案する。この画像生成器は、自己監視を実行するように構成されている。これは不変パターンの評価、測定信号経過特性に関する経験知識に基づいて、センサの結合の冗長性を利用して、または時間的な冗長性を利用して行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
従来技術
本発明は、独立請求項の上位概念に記載された画像生成器に関する。
【０００２】
ＷＯ０１／６０６６２Ａ１号から既に、車両内に配置される画像生成器が公知である。ここで画像生成器は座席占有識別に使用される。
【０００３】
発明の利点
独立請求項の特徴部分の構成を有する本発明の画像生成器は、この画像生成器が自身の画像信号に基づいて自身の機能正常性を監視するという利点を有している。これによって、このような画像識別システムに対する安全要求が満たされる。この場合に画像生成器は乗員識別、すなわち乗員の姿勢を突き止めるためにも、占有状態をクラス分けするためにも使用される。しかし画像生成器は周囲監視にも、かつここでは例えばロールオーバー識別にも使用される。これによって殊に、機能正常性を監視するための付加的なセンサ装置がもはや必要でなくなる、ないしは付加的な監視装置に対する要求が低減される。殊にここでは画像生成器は、例えば乗員保護システムのような安全に関する用途に使用される。ここではまさに画像生成器の機能正常性が、機能正常性のために不可欠である。
【０００４】
従属請求項に記載された措置および発展形態によって、独立請求項に記載された画像生成器を有利に改善することができる。
【０００５】
殊に有利には、画像生成器は評価ユニットを有している。この評価ユニットは画像信号から少なくとも１つの値を導出し、評価ユニットはこの値を、機能正常性監視のために少なくとも１つの限界値と比較する。この場合には、測定信号経過特性に関する経験知識が影響を与える。殊にここでは、画像生成器に割当てられているメモリ内に格納されている限界値組を比較することが可能である。複数の限界値と比較することによって殊にシステム状態が突き止められる。その後有利にはこのようなシステム状態は、インターフェースを介して別のシステムに伝達される。このようなインターフェースは、制御装置への二線式インターフェースとして構成されている。しかしこのようなインターフェースがバスインターフェースとして構成されていてもよい。このためには例えば、光学式、電子式または無線式バス構造が使用される。
【０００６】
さらに有利には、画像生成器は少なくとも１つの不変パターンに基づいて、画像信号を生成する。このような不変の画像信号はその後、内部基準パターンと比較されることによって、自己監視に使用される。このためには自然に生じる、周囲の不変的な特徴または、例えば照明モジュールを用いてシステムから自動的に帰納される（induzierete）不変的な特徴、またはテスト画像方法によって、例えば設けられたターゲットの周囲の人工的に帰納される不変的な特徴が生成される。テスト画像方法では、シミュレートされたセンサ信号が評価ユニットに供給される。これに属する測定信号が設定される。偏差が生じると、誤りが通知される。
【０００７】
さらに有利には、画像生成器は画像信号の経過特性に基づいて、自身の機能正常性を監視する。これは例えば画像生成器の隣接する領域を簡単に比較することによって実行される。パターン比較、すなわち質的な信号特性との比較もここでは可能である。傾向または統計的なパラメータが分析されてもよい。または画像信号経過特性に対する相関方法が使用され得る。しかしフーリエスペクトル、ウェーブレットスペクトルまたはコントラストスペクトルの分析等のスペクトル方法もここでは使用可能である。
【０００８】
さらに画像生成器が少なくとも２つの画像生成式センサを使用するのは有利である。これらの２つの画像生成式センサの出力信号を比較することによって、その機能正常性が検査される。これによって高解像センサの結合（例えばアレイまたはステレオカメラでもある）の冗長性が利用される。ここでも画像信号経過特性分析方法が使用可能である。センサ信号の時間的な分析ないしは記録されたダイナミックな経過の分析による時間的な冗長の利用もここでは可能である。
【０００９】
画像生成器の自己監視は、初期化フェーズにおいて、または作動中に継続的または断続的に実行される。
【００１０】
さらに有利には、画像生成器は診断ユニットと接続可能である。この診断ユニットは画像生成器の自己監視をアクティブにする。このような診断ユニットは車両内、または車両外に配置されており、無線接続を介して自己監視を実行する。診断ユニットによるアクティブ化の場合には、拡張されたテストプログラムを実行することも可能である。なぜなら、例えばパターンデータファイルを伝送すること、または長時間テストを実行することも可能だからである。画像生成器が手動で自己監視のためにアクティブ化可能であることも、さらに有利である。画像生成器はこのために、相応の操作エレメントまたはインターフェースを有する。これらは、機器が操作されることによって自己監視を開始する。
【００１１】
画像生成器は殊に距離画像を生成するように構成される。すなわち例えば２つの画像センサが使用されて、対象の奥行き解像度が得られる。このためには、画像センサのマトリックスまたはアレイが使用される。例えば伝播時間法則または構造化された照明の法則等の他の物理的な法則に従って作動する距離画像センサも可能である。
【００１２】
自己監視のために（しかし他の目的のためにも）、画像生成器に割り当てられている照明装置を有しているのは有利である。
【００１３】
図面
本発明の実施例を図示し、以下の明細書においてより詳細に説明する。
【００１４】
図１には、本発明による画像生成器の第１のブロック回路図が示されており、
図２には、本発明による画像生成器の第２のブロック回路図が示されており、
図３には、本発明による画像生成器の第３のブロック回路図が示されており、
図４には、第４のブロック回路図が示されており、
図５には、第５のブロック回路図が示されている。
【００１５】
説明
高度に発展した、高解像度の画像生成式測定システムないしは距離画像生成式測定システムを自動車技術において使用することはますます注目されている。ここではビデオベースのアシスタントシステムおよび安全システムとして、特別な用途が設けられている。人間の負荷が軽減されるほど、これらの測定システムは信頼されるものでなければならない。これに関連して、故障を検出して、適切な措置を導入するシステムの機能も重要になる。本発明ではここで、自己監視機能を有する画像生成器が提案される。ここでこのような画像生成器は自動車内に組み込まれる。本発明の中心となるのは、このような自己監視機能を高解像度で画像ないし距離画像を生成する測定システムに統合することである。
【００１６】
測定値を生成するこのような測定システムは、少なくとも１つの機能的な評価ユニットを有しているので、次のことによって自己監視機能が実現される。すなわち評価ユニットを用いた信号処理方法によって、センサ信号自体から、センサないしは測定システムの機能正常性を推測することができる量が求められることによって、自己監視機能が実現される。信号経過特性に関する予備知識または経験知識が適切に評価される。最も簡単な場合には、画像信号から導出された特性量が、画像生成器に割り当てられているメモリ内に格納されている限界値ないしは限界値組と比較される。
【００１７】
複数の種々異なる量に基づいてシステム状態を評価することも可能である。限界値を上回ると、または他の方法でセンサ故障までに機能が制限されていることが確認されると、適切なインターフェースを介して相応の状態報告が伝達される。しかし少なくとも画像生成器の故障が通達される。別の場合にはインターフェースを介して、画像生成器の機能正常性が伝達される。自己監視は、画像生成器の初期化フェーズの間に、特定の時点でまたは継続的に実行される。しかし自己監視が外部から、すなわち診断ユニット等の上位システムによってアクティブにされてもよいし、または手動でアクティブにされてもよい。診断システムによってアクティブにされる場合には、拡張されたテストプログラムを実行することも可能である。なぜなら例えばパターンデータファイルを伝送する、または長時間テストを実行することも可能だからである。
【００１８】
図１には、本発明による画像生成器の第１のブロック回路図が示されている。物理的な過程１０（シーン）が、センサ１２によって画像信号として結像される。センサ１２は、処理ユニット１３とともに測定システムを構成する。センサ１２によって生成された画像信号は、処理ユニット１３によって前処理され、処理される。第１のインターフェース１４を介して測定信号（すなわち画像信号）は、さらなるシステム（例えば乗員識別のための制御機器）に伝達される。
【００１９】
別のインターフェース１５を介して、ここであらわされた画像生成器の状態が伝達され、画像信号に基づいて確認される。上述したように、画像生成器の状態、すなわちその自己監視が、自身の不変のパターンに関する予備知識を利用して、または測定信号経過特性関する経験知識を利用して、またはセンサの結合の冗長性を利用して、または時間的な冗長性を利用して実行される。インターフェース１４および１５を１つのインターフェースにまとめることもでき、この場合にはこれらは論理的にのみ分離される。これらのインターフェースはここでは二線式インターフェース、またはバスシステムに対するインターフェースである。
【００２０】
図２には、画像撮影のために１つより多いセンサを有しており、従って距離画像生成のためにも構造化されている画像生成器が示されている。例えばここでは３つのセンサ２２〜２４が示されている。しかし、２つのセンサのみを使用することも、またはより多くのセンサを使用することも可能である。従って測定システム２１は、センサ２２〜２４および処理ユニット２５から構成されている。物理的な過程２０（シーン）は、センサ２２〜２４によって結像される。処理ユニット２５は、画像センサ２２〜２４の画像信号を受信し、これを処理し、その後、この画像信号の評価に依存して信号をインターフェース２６および２７に供給し、一方で画像生成器の状態を、他方で測定信号自体を伝達する。センサ２２〜２４は、処理ユニット２５の個々のインターフェースモジュールに接続されている。しかしセンサがマルチプレクサまたは内部バスを介して処理ユニット２５と接続されていてもよい。画像生成器は、内部にインターフェース２６および２７が集積されている、１つの構造的なユニットに構造されていてもよい。しかしこれらのコンポーネント全体に対してハウジングが設けられておらず、これらが別個に配置されていてもよい。この場合に処理ユニット２５は上述したように画像信号を分析して、画像生成器の自己監視を行う。
【００２１】
図３には本発明による画像生成器の第３のブロック回路図が示されている。ここでは２つのセンサがビデオカメラ３１および３２として設けられている。これらのビデオカメラは処理ユニット３３に接続されている。これは、センサデータを処理するためのプログラム３４および自己監視のためのプログラム３５を有している。自己監視３５は、ビデオカメラ３１および３２の画像信号で実施される。付加的に処理ユニット３３は、照明ユニットないしは信号生成器３６を駆動制御し、例えば内部表示と自己帰納パターンを比較することによって自己監視が実行される。処理ユニット３３は、さらにインターフェース３７および３８と接続されている。これらのインターフェースはそれぞれ、測定信号、すなわち画像または距離画像および状態ないしは自己監視の結果を伝達するために用いられる。すなわち測定システム３０は、ビデオカメラ３１および３２、処理ユニット３３および照明ユニット３６から構成される。画像生成器全体には、インターフェース３７および３８が付加される。センサ３１および３２はここではビデオカメラとして構成されている。出力信号は評価ユニット３３に供給される。この評価ユニットは、空間的なデータを生成するための適切な処理ステップ（例えば画像処理、相関方法または三角測量）を実行する。しかしこのような処理ユニット３３は、測定システムの自己監視のための適切な方法も実行する。ステレオビデオ測定システムの出力信号は、この実施例では画像、距離画像および測定システム３０の状態信号である。
【００２２】
以下の表では、説明された測定システムの機能を制限する可能性のある、生じ得る問題が記載されている。欄２および３には、制限された機能正常性を確認するための適切なデータおよび信号処理方法が記載されている。
【００２３】
【表１】
【００２４】
【表２】
【００２５】
ステレオビデオベースの測定システムは、高解像度で画像ないしは距離画像を生成する測定システムの典型的な例として理解される。このシステムには、自己監視のための上述した信号処理方法ないしはパターン識別方法のうちの多くを適用することができる。殊に実質的に依存していない個別センサ信号の生成によって、機能的な自己監視機能が可能になる。
【００２６】
図４には、本発明による画像生成器の第４のブロック回路図が示されている。ビデオセンサシステム４０はカメラシステム４２を有している。このカメラシステムは一方ではビデオ事前処理部４３と接続されており、他方ではビデオセンサシステムの出力側と接続されている。ビデオ事前処理部４３は比較ユニット４４と接続されており、この比較ユニットは出力側を介して評価ユニット４５と接続されており、入力側を介して構造化された照明のための装置と接続されている。評価ユニット４５は、ビデオセンサシステム４０の出力側を介してセンサ状態を供給する。
【００２７】
構造化された照明のための装置４１は、構造化された光を基準パターンとして、ビデオセンサシステム４０の周囲に照射し、殊に表面４７を照射し、この表面上に基準パターンが結像される。この表面は基準表面４７と称される。基準表面４７は剛性であり、位置固定されている。基準表面としては、ビデオセンサシステム４０の検出領域内に存在する対象物表面が可能である。これは例えば自動車室内の監視にセンサが使用されている場合には、屋根天井である。しかし、例えば製造過程中に、所定の位置および向きに収容された特別な較正体も可能である。
【００２８】
１つまたは複数のカメラから成るカメラシステム４２は、基準表面４７上の基準パターンを検出する。２次元のカメラ画像は、比較ユニット４４において基準パターンと比較される。ここでは、択一的な画像事前処理部４３内で前処理された二次元カメラ画像であってもよい。このような前処理はフィルタリングであり得る。比較ユニット４４が記憶ユニットを有していてもよい。基準パターンが構造化された照明のためのユニットによって信号の形で供給されない場合には、この記憶ユニット内に例えば基準パターンが記憶される。評価ユニット４５内では、比較ユニット４４の結果に基づいてセンサ状態が求められる。センサ状態としては例えば、センサが遮蔽されているまたは遮蔽されていない、および／またはセンサ光学系がフォーカシングされているおよび／またはデフォーカシングされているおよび／または光学的な結像がひずんでいるまたはひずんでいないことが見られる。評価ユニット４５はメモリも含む。ここでこのメモリ内には例えば、障害のあるビデオセンサシステムのカメラ画像と基準パターンとを比較する時に生じる特定のパターンが記憶される。
【００２９】
例えば、上述の装置によってセンサのデフォーカシングが確認される。これは、基準パターンの鮮明な画像がカメラ画像内に存在するか否かを分析することによって確認される。さらにセンサが完全に遮蔽されていること、または部分的に遮蔽されていることが検出される。これは基準パターンが完全にかつひずまずにカメラ画像内に結像されているか否かが検査されることによって検出される。光学結像のひずみは、カメラ画像において基準パターンのひずんだ結像を生じさせ、これは比較ユニット４４および評価ユニット４５によって確認される。このシステムによって検出される他の欠陥は、光学系の汚れおよび絶対的な較正部の不正アライメント（Dejustierung）である。ここでは、結果として生じる、基準パターンのずれおよびひずみが検出される。このようなデータに関してはむしろ初期に較正される、または追従較正される。
【００３０】
構造化された照明のための装置４１が、ビデオセンサ内に集積されていてもよい。しかし特に工場における製造プロセスにおいて、およびビデオセンサの検査のためには、ビデオセンサから別個にされた、構造化された照明のための装置でもよい。この場合には、ビデオセンサに関連した、構造化された照明のための装置の定められた配向が必要である。従ってこのような方法では最も簡単な場合には、構造化された照明のビデオ画像が直接的に解釈される。３次元画像の評価も可能である。
【００３１】
図５には、別のブロック回路図が示されている。ビデオセンサシステム５０は、２つのカメラ５２および５３を有している。これらのカメラはそのカメラ画像をそれぞれ３次元の測定値を定めるユニット５４に供給する。ここから３次元の点雲（ポイント・クラウド）が生じる。この点雲は、一方では信号事前処理部５５に供給され、他方ではビデオセンサシステム５０の出力側に供給される。信号事前処理部５５は、比較ユニット５６と接続されている。接続ユニットには、構造化された照明のための装置５１も接続されている。比較ユニット５６は、データ出力側を介して評価ユニット５７に接続されている。この評価ユニットは同じようにセンサ状態を出力する。
【００３２】
構造化された照明のための装置５１は、ビデオセンサの周辺５８における基準照明を照射する。反射されたパターンは、カメラ５２および５３によって撮影される。ユニット５４は、ステレオ測定法則に基づいて、カメラ画像から３次元の点雲を突き止める。付加的に３次元の点雲を突き止めるために、２次元のカメラ画像も直接的に評価される。３次元の測定値を、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ法則に従って作動する距離センサを用いて評価することも可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明による画像生成器の第１のブロック回路図
【図２】本発明による画像生成器の第２のブロック回路図
【図３】本発明による画像生成器の第３のブロック回路図
【図４】第４のブロック回路図
【図５】第５のブロック回路図
【技術分野】
【０００１】
従来技術
本発明は、独立請求項の上位概念に記載された画像生成器に関する。
【０００２】
ＷＯ０１／６０６６２Ａ１号から既に、車両内に配置される画像生成器が公知である。ここで画像生成器は座席占有識別に使用される。
【０００３】
発明の利点
独立請求項の特徴部分の構成を有する本発明の画像生成器は、この画像生成器が自身の画像信号に基づいて自身の機能正常性を監視するという利点を有している。これによって、このような画像識別システムに対する安全要求が満たされる。この場合に画像生成器は乗員識別、すなわち乗員の姿勢を突き止めるためにも、占有状態をクラス分けするためにも使用される。しかし画像生成器は周囲監視にも、かつここでは例えばロールオーバー識別にも使用される。これによって殊に、機能正常性を監視するための付加的なセンサ装置がもはや必要でなくなる、ないしは付加的な監視装置に対する要求が低減される。殊にここでは画像生成器は、例えば乗員保護システムのような安全に関する用途に使用される。ここではまさに画像生成器の機能正常性が、機能正常性のために不可欠である。
【０００４】
従属請求項に記載された措置および発展形態によって、独立請求項に記載された画像生成器を有利に改善することができる。
【０００５】
殊に有利には、画像生成器は評価ユニットを有している。この評価ユニットは画像信号から少なくとも１つの値を導出し、評価ユニットはこの値を、機能正常性監視のために少なくとも１つの限界値と比較する。この場合には、測定信号経過特性に関する経験知識が影響を与える。殊にここでは、画像生成器に割当てられているメモリ内に格納されている限界値組を比較することが可能である。複数の限界値と比較することによって殊にシステム状態が突き止められる。その後有利にはこのようなシステム状態は、インターフェースを介して別のシステムに伝達される。このようなインターフェースは、制御装置への二線式インターフェースとして構成されている。しかしこのようなインターフェースがバスインターフェースとして構成されていてもよい。このためには例えば、光学式、電子式または無線式バス構造が使用される。
【０００６】
さらに有利には、画像生成器は少なくとも１つの不変パターンに基づいて、画像信号を生成する。このような不変の画像信号はその後、内部基準パターンと比較されることによって、自己監視に使用される。このためには自然に生じる、周囲の不変的な特徴または、例えば照明モジュールを用いてシステムから自動的に帰納される（induzierete）不変的な特徴、またはテスト画像方法によって、例えば設けられたターゲットの周囲の人工的に帰納される不変的な特徴が生成される。テスト画像方法では、シミュレートされたセンサ信号が評価ユニットに供給される。これに属する測定信号が設定される。偏差が生じると、誤りが通知される。
【０００７】
さらに有利には、画像生成器は画像信号の経過特性に基づいて、自身の機能正常性を監視する。これは例えば画像生成器の隣接する領域を簡単に比較することによって実行される。パターン比較、すなわち質的な信号特性との比較もここでは可能である。傾向または統計的なパラメータが分析されてもよい。または画像信号経過特性に対する相関方法が使用され得る。しかしフーリエスペクトル、ウェーブレットスペクトルまたはコントラストスペクトルの分析等のスペクトル方法もここでは使用可能である。
【０００８】
さらに画像生成器が少なくとも２つの画像生成式センサを使用するのは有利である。これらの２つの画像生成式センサの出力信号を比較することによって、その機能正常性が検査される。これによって高解像センサの結合（例えばアレイまたはステレオカメラでもある）の冗長性が利用される。ここでも画像信号経過特性分析方法が使用可能である。センサ信号の時間的な分析ないしは記録されたダイナミックな経過の分析による時間的な冗長の利用もここでは可能である。
【０００９】
画像生成器の自己監視は、初期化フェーズにおいて、または作動中に継続的または断続的に実行される。
【００１０】
さらに有利には、画像生成器は診断ユニットと接続可能である。この診断ユニットは画像生成器の自己監視をアクティブにする。このような診断ユニットは車両内、または車両外に配置されており、無線接続を介して自己監視を実行する。診断ユニットによるアクティブ化の場合には、拡張されたテストプログラムを実行することも可能である。なぜなら、例えばパターンデータファイルを伝送すること、または長時間テストを実行することも可能だからである。画像生成器が手動で自己監視のためにアクティブ化可能であることも、さらに有利である。画像生成器はこのために、相応の操作エレメントまたはインターフェースを有する。これらは、機器が操作されることによって自己監視を開始する。
【００１１】
画像生成器は殊に距離画像を生成するように構成される。すなわち例えば２つの画像センサが使用されて、対象の奥行き解像度が得られる。このためには、画像センサのマトリックスまたはアレイが使用される。例えば伝播時間法則または構造化された照明の法則等の他の物理的な法則に従って作動する距離画像センサも可能である。
【００１２】
自己監視のために（しかし他の目的のためにも）、画像生成器に割り当てられている照明装置を有しているのは有利である。
【００１３】
図面
本発明の実施例を図示し、以下の明細書においてより詳細に説明する。
【００１４】
図１には、本発明による画像生成器の第１のブロック回路図が示されており、
図２には、本発明による画像生成器の第２のブロック回路図が示されており、
図３には、本発明による画像生成器の第３のブロック回路図が示されており、
図４には、第４のブロック回路図が示されており、
図５には、第５のブロック回路図が示されている。
【００１５】
説明
高度に発展した、高解像度の画像生成式測定システムないしは距離画像生成式測定システムを自動車技術において使用することはますます注目されている。ここではビデオベースのアシスタントシステムおよび安全システムとして、特別な用途が設けられている。人間の負荷が軽減されるほど、これらの測定システムは信頼されるものでなければならない。これに関連して、故障を検出して、適切な措置を導入するシステムの機能も重要になる。本発明ではここで、自己監視機能を有する画像生成器が提案される。ここでこのような画像生成器は自動車内に組み込まれる。本発明の中心となるのは、このような自己監視機能を高解像度で画像ないし距離画像を生成する測定システムに統合することである。
【００１６】
測定値を生成するこのような測定システムは、少なくとも１つの機能的な評価ユニットを有しているので、次のことによって自己監視機能が実現される。すなわち評価ユニットを用いた信号処理方法によって、センサ信号自体から、センサないしは測定システムの機能正常性を推測することができる量が求められることによって、自己監視機能が実現される。信号経過特性に関する予備知識または経験知識が適切に評価される。最も簡単な場合には、画像信号から導出された特性量が、画像生成器に割り当てられているメモリ内に格納されている限界値ないしは限界値組と比較される。
【００１７】
複数の種々異なる量に基づいてシステム状態を評価することも可能である。限界値を上回ると、または他の方法でセンサ故障までに機能が制限されていることが確認されると、適切なインターフェースを介して相応の状態報告が伝達される。しかし少なくとも画像生成器の故障が通達される。別の場合にはインターフェースを介して、画像生成器の機能正常性が伝達される。自己監視は、画像生成器の初期化フェーズの間に、特定の時点でまたは継続的に実行される。しかし自己監視が外部から、すなわち診断ユニット等の上位システムによってアクティブにされてもよいし、または手動でアクティブにされてもよい。診断システムによってアクティブにされる場合には、拡張されたテストプログラムを実行することも可能である。なぜなら例えばパターンデータファイルを伝送する、または長時間テストを実行することも可能だからである。
【００１８】
図１には、本発明による画像生成器の第１のブロック回路図が示されている。物理的な過程１０（シーン）が、センサ１２によって画像信号として結像される。センサ１２は、処理ユニット１３とともに測定システムを構成する。センサ１２によって生成された画像信号は、処理ユニット１３によって前処理され、処理される。第１のインターフェース１４を介して測定信号（すなわち画像信号）は、さらなるシステム（例えば乗員識別のための制御機器）に伝達される。
【００１９】
別のインターフェース１５を介して、ここであらわされた画像生成器の状態が伝達され、画像信号に基づいて確認される。上述したように、画像生成器の状態、すなわちその自己監視が、自身の不変のパターンに関する予備知識を利用して、または測定信号経過特性関する経験知識を利用して、またはセンサの結合の冗長性を利用して、または時間的な冗長性を利用して実行される。インターフェース１４および１５を１つのインターフェースにまとめることもでき、この場合にはこれらは論理的にのみ分離される。これらのインターフェースはここでは二線式インターフェース、またはバスシステムに対するインターフェースである。
【００２０】
図２には、画像撮影のために１つより多いセンサを有しており、従って距離画像生成のためにも構造化されている画像生成器が示されている。例えばここでは３つのセンサ２２〜２４が示されている。しかし、２つのセンサのみを使用することも、またはより多くのセンサを使用することも可能である。従って測定システム２１は、センサ２２〜２４および処理ユニット２５から構成されている。物理的な過程２０（シーン）は、センサ２２〜２４によって結像される。処理ユニット２５は、画像センサ２２〜２４の画像信号を受信し、これを処理し、その後、この画像信号の評価に依存して信号をインターフェース２６および２７に供給し、一方で画像生成器の状態を、他方で測定信号自体を伝達する。センサ２２〜２４は、処理ユニット２５の個々のインターフェースモジュールに接続されている。しかしセンサがマルチプレクサまたは内部バスを介して処理ユニット２５と接続されていてもよい。画像生成器は、内部にインターフェース２６および２７が集積されている、１つの構造的なユニットに構造されていてもよい。しかしこれらのコンポーネント全体に対してハウジングが設けられておらず、これらが別個に配置されていてもよい。この場合に処理ユニット２５は上述したように画像信号を分析して、画像生成器の自己監視を行う。
【００２１】
図３には本発明による画像生成器の第３のブロック回路図が示されている。ここでは２つのセンサがビデオカメラ３１および３２として設けられている。これらのビデオカメラは処理ユニット３３に接続されている。これは、センサデータを処理するためのプログラム３４および自己監視のためのプログラム３５を有している。自己監視３５は、ビデオカメラ３１および３２の画像信号で実施される。付加的に処理ユニット３３は、照明ユニットないしは信号生成器３６を駆動制御し、例えば内部表示と自己帰納パターンを比較することによって自己監視が実行される。処理ユニット３３は、さらにインターフェース３７および３８と接続されている。これらのインターフェースはそれぞれ、測定信号、すなわち画像または距離画像および状態ないしは自己監視の結果を伝達するために用いられる。すなわち測定システム３０は、ビデオカメラ３１および３２、処理ユニット３３および照明ユニット３６から構成される。画像生成器全体には、インターフェース３７および３８が付加される。センサ３１および３２はここではビデオカメラとして構成されている。出力信号は評価ユニット３３に供給される。この評価ユニットは、空間的なデータを生成するための適切な処理ステップ（例えば画像処理、相関方法または三角測量）を実行する。しかしこのような処理ユニット３３は、測定システムの自己監視のための適切な方法も実行する。ステレオビデオ測定システムの出力信号は、この実施例では画像、距離画像および測定システム３０の状態信号である。
【００２２】
以下の表では、説明された測定システムの機能を制限する可能性のある、生じ得る問題が記載されている。欄２および３には、制限された機能正常性を確認するための適切なデータおよび信号処理方法が記載されている。
【００２３】
【表１】
【００２４】
【表２】
【００２５】
ステレオビデオベースの測定システムは、高解像度で画像ないしは距離画像を生成する測定システムの典型的な例として理解される。このシステムには、自己監視のための上述した信号処理方法ないしはパターン識別方法のうちの多くを適用することができる。殊に実質的に依存していない個別センサ信号の生成によって、機能的な自己監視機能が可能になる。
【００２６】
図４には、本発明による画像生成器の第４のブロック回路図が示されている。ビデオセンサシステム４０はカメラシステム４２を有している。このカメラシステムは一方ではビデオ事前処理部４３と接続されており、他方ではビデオセンサシステムの出力側と接続されている。ビデオ事前処理部４３は比較ユニット４４と接続されており、この比較ユニットは出力側を介して評価ユニット４５と接続されており、入力側を介して構造化された照明のための装置と接続されている。評価ユニット４５は、ビデオセンサシステム４０の出力側を介してセンサ状態を供給する。
【００２７】
構造化された照明のための装置４１は、構造化された光を基準パターンとして、ビデオセンサシステム４０の周囲に照射し、殊に表面４７を照射し、この表面上に基準パターンが結像される。この表面は基準表面４７と称される。基準表面４７は剛性であり、位置固定されている。基準表面としては、ビデオセンサシステム４０の検出領域内に存在する対象物表面が可能である。これは例えば自動車室内の監視にセンサが使用されている場合には、屋根天井である。しかし、例えば製造過程中に、所定の位置および向きに収容された特別な較正体も可能である。
【００２８】
１つまたは複数のカメラから成るカメラシステム４２は、基準表面４７上の基準パターンを検出する。２次元のカメラ画像は、比較ユニット４４において基準パターンと比較される。ここでは、択一的な画像事前処理部４３内で前処理された二次元カメラ画像であってもよい。このような前処理はフィルタリングであり得る。比較ユニット４４が記憶ユニットを有していてもよい。基準パターンが構造化された照明のためのユニットによって信号の形で供給されない場合には、この記憶ユニット内に例えば基準パターンが記憶される。評価ユニット４５内では、比較ユニット４４の結果に基づいてセンサ状態が求められる。センサ状態としては例えば、センサが遮蔽されているまたは遮蔽されていない、および／またはセンサ光学系がフォーカシングされているおよび／またはデフォーカシングされているおよび／または光学的な結像がひずんでいるまたはひずんでいないことが見られる。評価ユニット４５はメモリも含む。ここでこのメモリ内には例えば、障害のあるビデオセンサシステムのカメラ画像と基準パターンとを比較する時に生じる特定のパターンが記憶される。
【００２９】
例えば、上述の装置によってセンサのデフォーカシングが確認される。これは、基準パターンの鮮明な画像がカメラ画像内に存在するか否かを分析することによって確認される。さらにセンサが完全に遮蔽されていること、または部分的に遮蔽されていることが検出される。これは基準パターンが完全にかつひずまずにカメラ画像内に結像されているか否かが検査されることによって検出される。光学結像のひずみは、カメラ画像において基準パターンのひずんだ結像を生じさせ、これは比較ユニット４４および評価ユニット４５によって確認される。このシステムによって検出される他の欠陥は、光学系の汚れおよび絶対的な較正部の不正アライメント（Dejustierung）である。ここでは、結果として生じる、基準パターンのずれおよびひずみが検出される。このようなデータに関してはむしろ初期に較正される、または追従較正される。
【００３０】
構造化された照明のための装置４１が、ビデオセンサ内に集積されていてもよい。しかし特に工場における製造プロセスにおいて、およびビデオセンサの検査のためには、ビデオセンサから別個にされた、構造化された照明のための装置でもよい。この場合には、ビデオセンサに関連した、構造化された照明のための装置の定められた配向が必要である。従ってこのような方法では最も簡単な場合には、構造化された照明のビデオ画像が直接的に解釈される。３次元画像の評価も可能である。
【００３１】
図５には、別のブロック回路図が示されている。ビデオセンサシステム５０は、２つのカメラ５２および５３を有している。これらのカメラはそのカメラ画像をそれぞれ３次元の測定値を定めるユニット５４に供給する。ここから３次元の点雲（ポイント・クラウド）が生じる。この点雲は、一方では信号事前処理部５５に供給され、他方ではビデオセンサシステム５０の出力側に供給される。信号事前処理部５５は、比較ユニット５６と接続されている。接続ユニットには、構造化された照明のための装置５１も接続されている。比較ユニット５６は、データ出力側を介して評価ユニット５７に接続されている。この評価ユニットは同じようにセンサ状態を出力する。
【００３２】
構造化された照明のための装置５１は、ビデオセンサの周辺５８における基準照明を照射する。反射されたパターンは、カメラ５２および５３によって撮影される。ユニット５４は、ステレオ測定法則に基づいて、カメラ画像から３次元の点雲を突き止める。付加的に３次元の点雲を突き止めるために、２次元のカメラ画像も直接的に評価される。３次元の測定値を、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ法則に従って作動する距離センサを用いて評価することも可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明による画像生成器の第１のブロック回路図
【図２】本発明による画像生成器の第２のブロック回路図
【図３】本発明による画像生成器の第３のブロック回路図
【図４】第４のブロック回路図
【図５】第５のブロック回路図
【特許請求の範囲】
【請求項１】
車両内に配置される画像生成器であって、
当該画像生成器は、画像生成器が画像信号に基づいて自身の機能正常性を監視するように構成されている、
ことを特徴とする画像生成器。
【請求項２】
前記画像生成器は評価ユニット（１３，２５，３３）を有しており、
当該評価ユニットは、画像信号から少なくとも１つの値を導出し、
前記評価ユニット（１３，２５，３３）は、機能正常性を監視するために当該値を少なくとも１つの限界値と比較する、請求項１記載の画像生成器。
【請求項３】
前記画像生成器はインターフェース（１５，２６，３７）を有しており、当該インターフェースは、インターフェース（１５，２６，３７）を介して、画像生成器の機能正常性が伝達されるように構成されている、請求項１または２記載の画像生成器。
【請求項４】
前記画像生成器は、画像生成器が少なくとも１つの不変パターンに基づいて画像信号を生成するように構成されている、請求項１から３までのいずれか１項記載の画像生成器。
【請求項５】
前記画像生成器は、画像生成器が画像信号の経過特性に基づいて自身の機能正常性を監視するように構成されている、請求項１から４までのいずれか１項記載の画像生成器。
【請求項６】
前記画像生成器は、少なくとも２つの画像生成センサ（３１，３２）を有しており、
前記画像生成器は、当該少なくとも２つの画像生成センサ（３１，３２）の出力信号を比較することによって、自身の機能正常性を検査する、請求項１から５までのいずれか１項記載の画像生成器。
【請求項７】
前記画像生成器は、画像生成器が初期化フェーズ中に自身の機能正常性を監視するように構成されている、請求項１から６までのいずれか１項記載の画像生成器。
【請求項８】
前記画像生成器は診断ユニットと接続されており、当該診断ユニットは画像生成器の自己監視をアクティブにする、請求項１から７までのいずれか１項記載の画像生成器。
【請求項９】
前記画像生成器は、自己監視が手動でアクティブにされるように構成されている、請求項１から８までのいずれか１項記載の画像生成器。
【請求項１０】
前記画像生成器は、距離画像を生成するように構成されている、請求項１から９までのいずれか１項記載の画像生成器。
【請求項１１】
前記画像生成器は照明のための手段（３６）を有している、請求項１から１０までのいずれか１項記載の画像生成器。
【請求項１】
車両内に配置される画像生成器であって、
当該画像生成器は、画像生成器が画像信号に基づいて自身の機能正常性を監視するように構成されている、
ことを特徴とする画像生成器。
【請求項２】
前記画像生成器は評価ユニット（１３，２５，３３）を有しており、
当該評価ユニットは、画像信号から少なくとも１つの値を導出し、
前記評価ユニット（１３，２５，３３）は、機能正常性を監視するために当該値を少なくとも１つの限界値と比較する、請求項１記載の画像生成器。
【請求項３】
前記画像生成器はインターフェース（１５，２６，３７）を有しており、当該インターフェースは、インターフェース（１５，２６，３７）を介して、画像生成器の機能正常性が伝達されるように構成されている、請求項１または２記載の画像生成器。
【請求項４】
前記画像生成器は、画像生成器が少なくとも１つの不変パターンに基づいて画像信号を生成するように構成されている、請求項１から３までのいずれか１項記載の画像生成器。
【請求項５】
前記画像生成器は、画像生成器が画像信号の経過特性に基づいて自身の機能正常性を監視するように構成されている、請求項１から４までのいずれか１項記載の画像生成器。
【請求項６】
前記画像生成器は、少なくとも２つの画像生成センサ（３１，３２）を有しており、
前記画像生成器は、当該少なくとも２つの画像生成センサ（３１，３２）の出力信号を比較することによって、自身の機能正常性を検査する、請求項１から５までのいずれか１項記載の画像生成器。
【請求項７】
前記画像生成器は、画像生成器が初期化フェーズ中に自身の機能正常性を監視するように構成されている、請求項１から６までのいずれか１項記載の画像生成器。
【請求項８】
前記画像生成器は診断ユニットと接続されており、当該診断ユニットは画像生成器の自己監視をアクティブにする、請求項１から７までのいずれか１項記載の画像生成器。
【請求項９】
前記画像生成器は、自己監視が手動でアクティブにされるように構成されている、請求項１から８までのいずれか１項記載の画像生成器。
【請求項１０】
前記画像生成器は、距離画像を生成するように構成されている、請求項１から９までのいずれか１項記載の画像生成器。
【請求項１１】
前記画像生成器は照明のための手段（３６）を有している、請求項１から１０までのいずれか１項記載の画像生成器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００６−５０６９２４（Ｐ２００６−５０６９２４Ａ）
【公表日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００４−５７０２５９（Ｐ２００４−５７０２５９）
【出願日】平成１５年７月２５日（２００３．７．２５）
【国際出願番号】ＰＣＴ／ＤＥ２００３／００２５０７
【国際公開番号】ＷＯ２００４／０４５９１２
【国際公開日】平成１６年６月３日（２００４．６．３）
【出願人】（３９００２３７１１）ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング (2,908)
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
【公表日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１５年７月２５日（２００３．７．２５）
【国際出願番号】ＰＣＴ／ＤＥ２００３／００２５０７
【国際公開番号】ＷＯ２００４／０４５９１２
【国際公開日】平成１６年６月３日（２００４．６．３）
【出願人】（３９００２３７１１）ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング (2,908)
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
【Ｆターム（参考）】
[ Back to top ]