画像処理装置及び車載用撮像システム
【課題】車載用撮像システムに搭載して用いる画像処理装置において、入力画像データのフレームレートが低下した場合に、フレームバッファメモリから読み出される画像データの遅延時間を抑えるようにする。
【解決手段】少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリ３００と、入力される画像データのフレームレートで画像データをメモリ３００に書き込み、表示装置４００の表示フレームレートでメモリから画像データを読み出すメモリインターフェース手段２００と、メモリ３００から読み出された画像データを表示装置４００の表示形式に適した映像信号に変換して出力する画像出力手段２４０とを有し、メモリインターフェース手段２２０は、入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うようにする。
【解決手段】少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリ３００と、入力される画像データのフレームレートで画像データをメモリ３００に書き込み、表示装置４００の表示フレームレートでメモリから画像データを読み出すメモリインターフェース手段２００と、メモリ３００から読み出された画像データを表示装置４００の表示形式に適した映像信号に変換して出力する画像出力手段２４０とを有し、メモリインターフェース手段２２０は、入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像を処理して表示画像を出力する画像処理装置及びそれを備えた車載用撮像システムに関する。
【背景技術】
【０００２】
従来から、魚眼レンズのような広角レンズを用いた車載カメラなどの撮像システムにおいては、広角レンズで撮影された画像を変形処理して、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像（見下ろし画像）に変形処理したりして表示画像を出力する画像処理装置を用いられている。このような画像処理装置においては、一般に２フレーム（画面）分のメモリ領域を持つフレームバッファメモリを備えて、一方のメモリ領域に入力された画像データを書き込むと同時に、もう一方のメモリ領域から変形処理された画像データを読み出し、これを１フレーム単位で交互に繰り返すダブルバッファ方式が採用されている（例えば、特許文献１）。また、書き込み動作は、画像データを走査線順に書き込むプログレッシブ方式をとり、読み出し動作は、ＮＴＳＣ方式の表示に合わせるため、最初は１フレームの画像データの奇数番目の走査線（奇数フィールド）を読み出し、次に偶数番目の走査線（偶数フィールド）を読み出すインタレース方式をとっている。
【０００３】
ここで、メモリからの読み出し速度は、使用する表示装置の性能で決まり一般に一定である。一方、バッファメモリへの書き込み速度は、入力される画像データのフレームレートに依存する。いま、読み出しと書き込みの速度が共に同じ場合（例えば共に３０ｆｐｓ）、一方のメモリ領域（領域Ａとする）へ１フレームの画像データが書き込まれた時点では、もう一方のメモリ領域（領域Ｂとする）からは同様に１フレームの画像データの読み出しが終了しており、直ちに、今度は領域Ｂへ画像データの書き込みを開始し、同時に領域Ａから画像データの読み出しを開始することができる。
【０００４】
しかしながら、入力される画像データのフレームレートが低下して、バッファメモリへの書き込み速度がバッファメモリからの読み出し速度より遅くなった場合、先のもう一方のメモリ領域（領域Ｂ）から１フレームの画像データが読み出された時点では、もう一方のメモリ領域（領域Ａ）では未だ１フレームの画像データの書き込みが終了しておらず、該１フレームの画像データの書き込みが終了するのを待って、領域Ａからの画像データの読み出しを開始する必要があり、読み出しに遅延が発生する。例えば、入力される画像データが３０ｆｐｓから１５ｆｐｓに落ちた場合、ダブルバッファ方式では書き込み読み出しのフレーム同期をとるため、画像データを読み出す時間が３０ｆｐｓより２倍かかり、表示装置（モニタ）に画像を映すまで２フレーム分の遅延（６６．６ｍｓ）が発生することになる。
【０００５】
車載カメラなどの撮像システムにおいては、上記のような遅延時間によって、障害物の実際位置とモニタに表示された障害物の位置とのずれが生じるため、ドライバーが物体の位置を認識しづらくする問題がある。そのため、例えば夜間等の場合、急に車の前方や後方などに入った人間を見つけることが困難となり、不足の事態を招きかねない。夜間等、撮像素子の入射光量が不足する場合、感度低下を補うために、撮像素子から出力する画像データのフレームレートを落とすのが一般的であり、不足の事態を招きやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来の上記のような問題に鑑みてなされたものであって、ダブルバッファ方式を採用し、撮影された画像を処理して表示画像を出力する画像処理装置において、入力された画像データのフレームレートが低下した場合に、バッファメモリから読み出される画像データの遅延時間を最小限に抑えることを目的とする。
【０００７】
また、本発明は、車載用撮像システムにおいて、このような画像処理装置を搭載することによって、夜間の使用の場合など、撮影された画像のフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれをなくし、事故を防止することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１の発明は、入力される画像データを処理して表示装置に出力する画像処理装置において、少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリと、入力される画像データのフレームレートで画像データを前記メモリに書き込み、表示装置の表示フレームレートで前記メモリから画像データを読み出すメモリインターフェース手段と、前記メモリから読み出された画像データを表示装置の表示形式に適した映像信号に変換して出力する画像出力手段とを有し、前記メモリインターフェース手段は、前記入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うことを特徴とする。
【０００９】
請求項２の発明は、請求項１記載の画像処理装置において、前記入力される画像データのフレームレートをあらかじめ定めた閾値と比較するフレームレート閾値比較手段を有し、前記メモリインターフェース手段は、前記入力される画像データのフレームレートが前記閾値以上の場合にはダブルバッファ方式を選択し、閾値以下の場合にはシングルバッファ方式を選択することを特徴とする。
【００１０】
請求項３の発明は、請求項１又は２に記載の画像処理装置において、前記メモリインターフェース手段は、ダブルバッファ方式では、前記メモリに少なくとも２フレーム分のメモリ領域を確保して、一方のメモリ領域に現フレームの画像データを書き込むと共に、これと並行してもう一方のメモリ領域から前フレームの画像デーを読み出し、これをフレーム単位で交互に繰り返し、シングルバッファ方式では、前記メモリに少なくとも１フレーム分のメモリ領域を確保して、該メモリ領域に現フレームの画像データを書き込むと共に、これと並行して該メモリ領域から当該現フレームの画像データを読み出し、これを各フレームについて繰り返すことを特徴とする。
【００１１】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記メモリインターフェース手段は、前記メモリへの書き込みをプログレッシブ方式で行い、前記メモリからの読み出しをインタレース方式で行うことを特徴とする。
【００１２】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置において、前記メモリから画像データを読み出す際に座標変換により画像の変形を行うために、前記メモリインターフェース手段から座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算して出力する座標変換手段を有し、前記メモリインターフェース手段は、前記座標変換手段から出力される座標変換元の座標値に基づいて前記メモリから画像データを読み出すことを特徴とする。
【００１３】
請求項６の発明は、車の周辺を撮影して画像データを取得し出力するセンサユニットと、前記センサユニットから出力される画像データを処理し映像信号を出力する請求項１乃至５のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される映像信号をモニタ表示する表示装置とを具備してなる車載用撮像システムを特徴とする。
【００１４】
請求項７の発明は、請求項６記載の車載用撮像システムにおいて、前記センサユニットは、周辺の明るさが暗くなると、出力する画像データのフレームレートを低下させることを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、入力された画像データのフレームレートが低下した場合、ダブルバッファ方式からシングルバッファ方式に切り替えることで、バッファメモリから読み出される画像データの遅延時間を抑えることが可能になる。したがって、本発明の画像処理装置を備えた車載用撮像システムでは、夜間などで、撮影された画像のフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれがなくなり、不測の事故を防止することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置を備えた車載用撮像システムの一実施形態の全体構成図である。
【図２】図１中のフレーム閾値比較部とメモリインターフェース部の処理フローチャートである。
【図３】図１中の座標変換部の処理を説明する図である。
【図４】書き込み速度と読み出し速度が同じ場合のダブルバッファ方式の具体的処理例を示す図である。
【図５】読み出し速度に対し書き込み速度が遅い場合のダブルバッファ方式の具体的処理例を示す図である。
【図６】読み出し速度に対し書き込み速度が遅い場合のシングルバッファ方式の具体的処理例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態について図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明に係る画像処理装置を備えた車載用撮像システムの一実施形態の全体構成図を示す。図１において、１００は撮像素子を含むセンサユニット、２００は該センサユニット１００から出力される画像データを処理する画像処理ユニット、３００は少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリ（フレームバッファメモリ）、４００は画像処理ユニット２００から出力されたＮＴＳＣ方式などの映像信号をモニタ表示する表示装置である。センサユニット１００、画像処理ユニット２００及びメモリ３００は筐体内に一体に収納され、車の後部等に設置されて使用される。表示装置４００は車内の運転席近くに設置され、画像処理ユニット２００とはケーブルなどで接続されている。本発明の画像処理装置は画像処理ユニット２００及びメモリ３００の総称である。
【００１９】
センサユニット１００は、図１では省略したが、撮像素子やＡ／Ｄ変換機などを内蔵している。撮像素子はＣＣＤやＣＭＯＳセンサなどで構成され、光学レンズを通して撮影された光学像を電気信号のアナログ信号に変換する。Ａ／Ｄ変換器は、撮像素子から出力されるアナログ信号をデジタル信号に変換する。このデジタル信号を画像データと称す。さらに、センサユニット１００は同期信号発生器を内蔵しており、その同期信号に同期して、撮像素子やＡ／Ｄ変換器が動作する。センサユニット１００は、画像データと共に該同期信号を出力する。
【００２０】
ここで、画像データのフレームレートについて述べる。センサユニット１００から出力される画像データ、すなわち、画像処理ユニット２００に入力される画像データのフレームレートは、同期信号発生器から出力される同期信号の周期に依存する。すなわち、同期信号の周期を遅くすると、画像データのフレームレートは低下する。一般に、夜間等、撮像素子の入射光量が不足する場合、感度低下を補うために、同期信号発生器の同期信号の周期を遅らせて、画像データのフレームレートを落とすようにしている。これは、ドライバーが手動で行うか、あるいは、センサユニット１００に輝度センサを設けて、該輝度センサで検出された輝度信号の値に応じて、同期信号発生器が自動的に同期信号の周期を変えるかすることで行われる。
【００２１】
図１に戻り、画像処理ユニット２００は、画像処理部２１０、メモリインターフェース部２２０、画像出力部２３０、座標変換部２４０、フレームレート閾値比較部２５０などから構成される。画像処理ユニット２００は、他に各部を制御する制御部を備えているが、図１では省略してある。この画像処理ユニット２００はＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）などで構成される。
【００２２】
ここで、画像処理部２１０は、センサユニット１００から出力される画像データについて所定の画像処理を実施する。所定の画像処理とは、例えば、ベイヤー補間処理、ＭＴＦ補正処理、ガンマ補正処理などである。画像処理部２１０では、所定の画像処理の施された画像データを出力する。この時、センサユニット１００からの同期信号も出力される。
【００２３】
メモリインターフェース部２２０は、画像処理部２１０から出力される画像データを、該画像処理部２１０を通して与えられるセンサユニット１００からの同期信号に基づいて該画像データのフレームレートでメモリ３００へ書き込み、該メモリ３００に書き込んだ画像データを表示装置４００の予め定められ表示フレームレートで読み出す。ここでは、メモリ３００への書き込み動作はプログレシッブ方式をとり、読み出し動作はインタレース方式をとるとする。インタレースにより画面表示させると、映像のちらつきを防ぐことができるため都合がよい。
【００２４】
本発明の特徴は、このメモリインターフェース部２２０が、入力される画像データのフレームレートに応じて、メモリ３００の書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式に切り替えることにある。具体的には、入力される画像データのフレームレートが所定の閾値（例えば、１５ｆｐｓ）を超えた場合はダブルバッファ方式を選択し、該閾値以下の場合にはシングルバッファ方式を選択する。これについては後で詳述する。
【００２５】
座標変換部２３０は、メモリインターフェース部２２０によりメモリ３００から画像データを読出す際に、座標変換により画像の変形を行うために、画像の変形を反映した座標値を計算する。具体的には、メモリインターフェース部２２０からの座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算し、メモリインターフェース部２２０へ戻す。メモリインターフェース部２２０は、該座標変換元の座標値に基づいてメモリ３００から画像データを読み出す。
【００２６】
図３に座標変換部２３０の処理イメージを示す。これは、入力画像を９０°回転変形した画像を出力する例を示したものである。ここで、図３（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図３（ｂ）は、メモリ３００に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。
【００２７】
座標変換部２３０では、メモリ３００からの画像データの読み出しの際に、出力画像上の座標（Ｘ１，Ｙ１）（座標変換先の座標）の画素として、入力画像上の座標（ｘ１，ｙ１）（座標変換元の座標）の画素の画素データが読出されるように、座標値を計算する。また、出力画像の座標（Ｘ２，Ｙ２）座標変換先の座標）の画素としては、入力画像上の座標（ｘ２，ｙ２）（座標変換元の座標）の画素の画像データが読出されるように座標値を計算する。メモリインターフェース部２２０では、この座標値をメモリ３００のアドレスに変換し、メモリ３００の対応するアドレスから画像データを読出す。これにより、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２８】
座標変換部２３０は、通常、ＬＳＩとして実装される。車載用撮像システムでは、歪み補正や回転補正や見下ろし補正やその他、利用状況などに応じて多種多様の画像変形が必要とされており、全ての種類の画像変形処理に対応するＬＳＩを実装するのは、開発コストおよび回路規模の制限がある場合、実現困難である。そのため、ＬＳＩでは、画像変形処理のタイプに依存しない双線形補完処理のみを行うようにし、別途ソフトウェアなどで、各画像変形処理のタイプ対応に、双線形補間に利用する複数種類の座標変換テーブル（ＬＵＴ）を作成して、ＰＲＯＭなどに記録しておく。
【００２９】
なお、このような座標変換部２３０は、従来から色々提案されているので（例えば、特許文献２、特許文献３など）、具体的な構成等については省略する。
【００３０】
画像出力部２４０は、メモリインターフェース部２２０から出力される画像データを入力し、それを表示装置４００の表示形式に適した映像信号に変換（デジタル／アナログ変換）して出力する。ここでは、ＮＴＳＣ方式の映像信号に変換して出力する。
【００３１】
フレームレート閾値比較部２５０は、画像処理部２１０が出力する同期信号、すなわち、センサユニット１００が出力する同期信号を取り込み、該同期信号をもとに、センサユニット１００から出力される画像データのフレームレートを検出し、該フレームレートを予め設定された閾値と比較する。メモリインターフェース部２２０は、このフレームレート閾値比較部２５０の比較結果に基づいて、メモリ３００の書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式に切り替える。
【００３２】
図２は、フレームレート閾値比較部２５０とメモリインターフェース部２２０の処理フローチャートを示したものである。フレームレート閾値比較部２５０では、画像処理部２１０を通して、センサユニット１００が出力する同期信号を監視しており、該同期信号を基にセンサユニット１００から出力される画像データのフレームレートを検出する（ステップ１１）。これは、例えば１秒当たりの垂直同期信号の数をカウントすることで可能である。次に、フレームレート閾値比較部２５０では、検出したフレームレートをあらかじめ設定された閾値（例えば１５ｆｐｓ）と比較し、比較結果をメモリインターフェース部２２０に通知する（ステップ１２）。例えば、フレームレート値＞閾値の場合は“０”（正常）、フレームレート値≦閾値の場合は“１”（低下）を通知する。メモリインターフェース部２２０では、フレームレート閾値比較部２５０から“０”（正常）が通知された場合にはダブルバッファ方式を選択し（ステップ１３）、“１”（低下）が通知された場合にはシングルバッファ方式を選択する（ステップ１４）。そして、この選択した方式でメモリ３００に対する書き込み・読み出し動作を行う（ステップ１５）。
【００３３】
図４乃至図６に具体的処理例を示す。ここでは、表示装置４００の表示フレームレートは３０ｆｐｓで一定、センサユニット１００から出力される画像データのフレームレートは、通常は３０ｆｐｓであるが、夜間などでは１５ｆｐｓに低下し、３０ｆｐｓの場合はダブルバッファ方式を選択し、１５ｆｐｓの場合はシングルバッファ方式を選択するとする。また、メモリ３００への書き込みはプログレシッブ方式、読み出しはインタレース方式とする。１フレームの画像データは図示の簡単化のため２０行（ライン）とする。
【００３４】
図４は、ダブルバッファ方式の例で、メモリへの書き込みと読み出しの速度が共に３０ｆｐｓである。ダブルバッファ方式は、メモリを２フレーム分のメモリ領域に分け、書き込みと読み出しを同期させて、一方のメモリ領域にデータを書き込むと同時に他方のメモリ領域からデータを読み出し、これを１フレーム単位で交互に繰り返す方式である。図４（ａ）は、メモリ領域Ａの１行目への書き込みとメモリ領域Ｂの１行目からの読出しを同時に開始し、メモリ領域Ａに現フレームの１〜１０行目まで書き込まれた時点で、メモリ領域Ｂから前フレームの奇数フィールド（１，３，・・・，１９行）が読み出された状態を示している。図４（ｂ）は、メモリ領域Ａに、引き続き現フレームの１１〜２０行目まで書き込まれた時点で、メモリ領域Ｂから前フレームの偶数フィールド（２，４，・・・，２０行）が読み出された状態を示している。すなわち、メモリ領域Ａへの現フレームの書き込みが終了すると、同時に、メモリ領域Ｂから前フレームの読み出しが終了する。図４（ｃ）と（ｄ）は、メモリ領域Ｂが書き込み、メモリ領域Ａが読み出しとなるだけで、図４（ａ），（ｂ）と同様である。図４（ｄ）の後、図４（ａ）に戻る。
【００３５】
図４に示すように、画像データのフレームレートが３０ｆｐｓで、メモリへの書き込みと読み出しの速度が共に３０ｆｐｓの場合、ダブルバッファ方式を選択して、１フレーム毎にメモリ領域ＡとＢで交互に書き込みあるいは読み出しを繰り返すことで、各フレームの画像を連続して出力することができる。
【００３６】
しかしながら、画像データのフレームレートが例えば１５ｆｐｓに低下し、メモリへの書き込み速度が１５ｆｐｓになった場合（読出し速度はそのまま３０ｆｐｓ）、そのままダブルバッファ方式を続けると、一方のメモリ領域（Ｂ領域とする）から前フレームの画像データが読み出された時点で、他方のメモリ領域（Ａ領域とする）では未だ現フレームの画像データの書き込みが終了しておらず、１フレーム分の現画像データのメモリ領域Ａへの書き込みが終了するまで、該メモリＡ領域から画像データを読み出すことができない。
【００３７】
図５は、ダブルバッファ方式で、メモリへの書き込み速度が１５ｆｐｓで、読み出し速度が３０ｆｐｓの場合を示したものである。図５（ａ）は、メモリ領域Ａの１行目への書き込みとメモリ領域Ｂの１行目からの読出しを同時に開始したが、メモリ領域Ｂから前フレームの奇数及び偶数フィールドが読み出された時点、すなわち、１フレームのデータの読み出しが終了した時、メモリ領域Ａには、現フレームの１〜１０行目までしか書き込まれていないことを示している。この場合、図５（ｂ）に示すように、メモリ領域Ａに現フレームの全データ（１〜２０行）が書き込まれるまで待つことになる。一般には、この間、メモリ領域Ｂの前フレームをもう一度読み出すようにして、表示画面のちらつきを防いでいる。メモリ領域Ａに１フレームの画像データの書き込みが終了すると、今度は該メモリ領域Ａの１行目からの読み出しとメモリ領域Ｂの１行目への書き込みを同時に開始して、メモリ領域Ａから画像データを読み出し、メモリ領域Ｂへ次の画像データを書き込んでいく。図５（ｃ）は、この状態を示している。この場合も、メモリ領域Ａから１フレームの奇数及び偶数フィールドの読み出しが終了した時、メモリ領域Ｂには、１フレームの半分のデータしか書き込まれない。したがって、図５（ｄ）に示すように、メモリ領域Ｂに１フレームのデータが書き込まれるまで再び待つことになる。そして、メモリ領域Ｂに１フレームのデータが書き込まれたなら、再び該メモリ領域Ｂから画像データを読み出し、メモリ領域Ａへ次のフレームの画像データを書き込むようにする（図５（ａ））。
【００３８】
図６は、ダブルバッファ方式に代えてシングルバッファ方式で画像データの書き込み・読出しを行う場合を示したものである。ここで、図５と同様に、メモリへの書き込み速度は１５ｆｐｓで、読出し速度は３０ｆｐｓである。シングルバッファ方式は、メモリにデータを書き込むと共に、これを平行にして該メモリからデータを読み出す方式である。通常、メモリに対して、書き込みと読み出しを同時に行うことはできないため、所定の行毎に書込みと読み出しを交互に繰り返すことになる。図６では、フレームバッファメモリとしてメモリ領域Ａを使用し、１フレームの画像データについて、１行（ライン）分の書き込みを行っては、奇数あるいは偶数の２行分の読出しを行う動作を繰り返すとしている。
【００３９】
図６（ａ）は、メモリ領域Ａに現フレームの１〜１０行目が書き込まれるまでに、該メモリ領域Ａから１フレーム分の奇数及び偶数フィールドが読み出されることを示している。具体的には、メモリ領域Ａの１〜５行目まで書き込まれる間に、該メモリ領域Ａの奇数フィールド（１，３，・・・，１９行）が読み出され、メモリ領域Ａの６〜１０行目まで書き込まれる間に、該メモリ領域Ａの偶数フィールド（２，４，・・・，２０行）が読み出される。図６（ｂ）は、メモリ領域Ａに、引き続いて現フレームの１１〜２０行目まで書き込まれるまでに、該メモリ領域Ａから再度、１フレーム分の奇数及び偶数フィールドが読み出されることを示している。ここで、網掛け部分は現フレームの画像データを示し、白部分は前フレームの画像データを示している。
【００４０】
図６に示すように、画像データのフレームレートが低下した場合、ダブルバッファ方式にかえてシングルバッファ方式を選択することにより、各フレームで画像データの書き込みと平行して該画像データの読出しが行われるため、読み出しにフレーム単位での遅延時間の発生がなくなる。このため、夜間等、画像データのフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれがなくなり、事故を防止することができる。
【００４１】
一方、例えば図６（ａ）に示すように、１フレーム分の書き込みが終わらないうちに、読み出しが追い越してしまうため、モニタに前フレームの一部が残像として現れ、画質が劣化する。本発明は、このような残像が現れるというような、あえて画質が劣化することになっても、安全のために、リアルタイムの応答を優先させるものである。しかも、フレームレートが低下するのは、夜間等に限られ、通常はダブルバッファ方式を採用することで、残像現象を抑え、画質が劣化することはない。
【００４２】
以上、本発明の一実施形態について説明したが、本発明は、これまでの説明に限られるものではない。例えば、メモリの書き込みと読み出しは、ともにプログレッシブ方式でもよい。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平１１−０５３５２８号公報
【特許文献２】特開２００８−０８２６０２号公報
【特許文献３】特開２００９−０１０７３０号公報
【符号の説明】
【００４４】
１００ センサユニット
２００ 画像処理ユニット
２１０ 画像処理部
２２０ メモリインターフェース部
２３０ 座標変換部
２４０ 画像出力部
２５０ フレームレート閾値比較部
３００ メモリ
４００ 表示装置
【技術分野】
【０００１】
本発明は、撮影された画像を処理して表示画像を出力する画像処理装置及びそれを備えた車載用撮像システムに関する。
【背景技術】
【０００２】
従来から、魚眼レンズのような広角レンズを用いた車載カメラなどの撮像システムにおいては、広角レンズで撮影された画像を変形処理して、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像（見下ろし画像）に変形処理したりして表示画像を出力する画像処理装置を用いられている。このような画像処理装置においては、一般に２フレーム（画面）分のメモリ領域を持つフレームバッファメモリを備えて、一方のメモリ領域に入力された画像データを書き込むと同時に、もう一方のメモリ領域から変形処理された画像データを読み出し、これを１フレーム単位で交互に繰り返すダブルバッファ方式が採用されている（例えば、特許文献１）。また、書き込み動作は、画像データを走査線順に書き込むプログレッシブ方式をとり、読み出し動作は、ＮＴＳＣ方式の表示に合わせるため、最初は１フレームの画像データの奇数番目の走査線（奇数フィールド）を読み出し、次に偶数番目の走査線（偶数フィールド）を読み出すインタレース方式をとっている。
【０００３】
ここで、メモリからの読み出し速度は、使用する表示装置の性能で決まり一般に一定である。一方、バッファメモリへの書き込み速度は、入力される画像データのフレームレートに依存する。いま、読み出しと書き込みの速度が共に同じ場合（例えば共に３０ｆｐｓ）、一方のメモリ領域（領域Ａとする）へ１フレームの画像データが書き込まれた時点では、もう一方のメモリ領域（領域Ｂとする）からは同様に１フレームの画像データの読み出しが終了しており、直ちに、今度は領域Ｂへ画像データの書き込みを開始し、同時に領域Ａから画像データの読み出しを開始することができる。
【０００４】
しかしながら、入力される画像データのフレームレートが低下して、バッファメモリへの書き込み速度がバッファメモリからの読み出し速度より遅くなった場合、先のもう一方のメモリ領域（領域Ｂ）から１フレームの画像データが読み出された時点では、もう一方のメモリ領域（領域Ａ）では未だ１フレームの画像データの書き込みが終了しておらず、該１フレームの画像データの書き込みが終了するのを待って、領域Ａからの画像データの読み出しを開始する必要があり、読み出しに遅延が発生する。例えば、入力される画像データが３０ｆｐｓから１５ｆｐｓに落ちた場合、ダブルバッファ方式では書き込み読み出しのフレーム同期をとるため、画像データを読み出す時間が３０ｆｐｓより２倍かかり、表示装置（モニタ）に画像を映すまで２フレーム分の遅延（６６．６ｍｓ）が発生することになる。
【０００５】
車載カメラなどの撮像システムにおいては、上記のような遅延時間によって、障害物の実際位置とモニタに表示された障害物の位置とのずれが生じるため、ドライバーが物体の位置を認識しづらくする問題がある。そのため、例えば夜間等の場合、急に車の前方や後方などに入った人間を見つけることが困難となり、不足の事態を招きかねない。夜間等、撮像素子の入射光量が不足する場合、感度低下を補うために、撮像素子から出力する画像データのフレームレートを落とすのが一般的であり、不足の事態を招きやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来の上記のような問題に鑑みてなされたものであって、ダブルバッファ方式を採用し、撮影された画像を処理して表示画像を出力する画像処理装置において、入力された画像データのフレームレートが低下した場合に、バッファメモリから読み出される画像データの遅延時間を最小限に抑えることを目的とする。
【０００７】
また、本発明は、車載用撮像システムにおいて、このような画像処理装置を搭載することによって、夜間の使用の場合など、撮影された画像のフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれをなくし、事故を防止することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１の発明は、入力される画像データを処理して表示装置に出力する画像処理装置において、少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリと、入力される画像データのフレームレートで画像データを前記メモリに書き込み、表示装置の表示フレームレートで前記メモリから画像データを読み出すメモリインターフェース手段と、前記メモリから読み出された画像データを表示装置の表示形式に適した映像信号に変換して出力する画像出力手段とを有し、前記メモリインターフェース手段は、前記入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うことを特徴とする。
【０００９】
請求項２の発明は、請求項１記載の画像処理装置において、前記入力される画像データのフレームレートをあらかじめ定めた閾値と比較するフレームレート閾値比較手段を有し、前記メモリインターフェース手段は、前記入力される画像データのフレームレートが前記閾値以上の場合にはダブルバッファ方式を選択し、閾値以下の場合にはシングルバッファ方式を選択することを特徴とする。
【００１０】
請求項３の発明は、請求項１又は２に記載の画像処理装置において、前記メモリインターフェース手段は、ダブルバッファ方式では、前記メモリに少なくとも２フレーム分のメモリ領域を確保して、一方のメモリ領域に現フレームの画像データを書き込むと共に、これと並行してもう一方のメモリ領域から前フレームの画像デーを読み出し、これをフレーム単位で交互に繰り返し、シングルバッファ方式では、前記メモリに少なくとも１フレーム分のメモリ領域を確保して、該メモリ領域に現フレームの画像データを書き込むと共に、これと並行して該メモリ領域から当該現フレームの画像データを読み出し、これを各フレームについて繰り返すことを特徴とする。
【００１１】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記メモリインターフェース手段は、前記メモリへの書き込みをプログレッシブ方式で行い、前記メモリからの読み出しをインタレース方式で行うことを特徴とする。
【００１２】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置において、前記メモリから画像データを読み出す際に座標変換により画像の変形を行うために、前記メモリインターフェース手段から座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算して出力する座標変換手段を有し、前記メモリインターフェース手段は、前記座標変換手段から出力される座標変換元の座標値に基づいて前記メモリから画像データを読み出すことを特徴とする。
【００１３】
請求項６の発明は、車の周辺を撮影して画像データを取得し出力するセンサユニットと、前記センサユニットから出力される画像データを処理し映像信号を出力する請求項１乃至５のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される映像信号をモニタ表示する表示装置とを具備してなる車載用撮像システムを特徴とする。
【００１４】
請求項７の発明は、請求項６記載の車載用撮像システムにおいて、前記センサユニットは、周辺の明るさが暗くなると、出力する画像データのフレームレートを低下させることを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、入力された画像データのフレームレートが低下した場合、ダブルバッファ方式からシングルバッファ方式に切り替えることで、バッファメモリから読み出される画像データの遅延時間を抑えることが可能になる。したがって、本発明の画像処理装置を備えた車載用撮像システムでは、夜間などで、撮影された画像のフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれがなくなり、不測の事故を防止することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置を備えた車載用撮像システムの一実施形態の全体構成図である。
【図２】図１中のフレーム閾値比較部とメモリインターフェース部の処理フローチャートである。
【図３】図１中の座標変換部の処理を説明する図である。
【図４】書き込み速度と読み出し速度が同じ場合のダブルバッファ方式の具体的処理例を示す図である。
【図５】読み出し速度に対し書き込み速度が遅い場合のダブルバッファ方式の具体的処理例を示す図である。
【図６】読み出し速度に対し書き込み速度が遅い場合のシングルバッファ方式の具体的処理例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態について図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明に係る画像処理装置を備えた車載用撮像システムの一実施形態の全体構成図を示す。図１において、１００は撮像素子を含むセンサユニット、２００は該センサユニット１００から出力される画像データを処理する画像処理ユニット、３００は少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリ（フレームバッファメモリ）、４００は画像処理ユニット２００から出力されたＮＴＳＣ方式などの映像信号をモニタ表示する表示装置である。センサユニット１００、画像処理ユニット２００及びメモリ３００は筐体内に一体に収納され、車の後部等に設置されて使用される。表示装置４００は車内の運転席近くに設置され、画像処理ユニット２００とはケーブルなどで接続されている。本発明の画像処理装置は画像処理ユニット２００及びメモリ３００の総称である。
【００１９】
センサユニット１００は、図１では省略したが、撮像素子やＡ／Ｄ変換機などを内蔵している。撮像素子はＣＣＤやＣＭＯＳセンサなどで構成され、光学レンズを通して撮影された光学像を電気信号のアナログ信号に変換する。Ａ／Ｄ変換器は、撮像素子から出力されるアナログ信号をデジタル信号に変換する。このデジタル信号を画像データと称す。さらに、センサユニット１００は同期信号発生器を内蔵しており、その同期信号に同期して、撮像素子やＡ／Ｄ変換器が動作する。センサユニット１００は、画像データと共に該同期信号を出力する。
【００２０】
ここで、画像データのフレームレートについて述べる。センサユニット１００から出力される画像データ、すなわち、画像処理ユニット２００に入力される画像データのフレームレートは、同期信号発生器から出力される同期信号の周期に依存する。すなわち、同期信号の周期を遅くすると、画像データのフレームレートは低下する。一般に、夜間等、撮像素子の入射光量が不足する場合、感度低下を補うために、同期信号発生器の同期信号の周期を遅らせて、画像データのフレームレートを落とすようにしている。これは、ドライバーが手動で行うか、あるいは、センサユニット１００に輝度センサを設けて、該輝度センサで検出された輝度信号の値に応じて、同期信号発生器が自動的に同期信号の周期を変えるかすることで行われる。
【００２１】
図１に戻り、画像処理ユニット２００は、画像処理部２１０、メモリインターフェース部２２０、画像出力部２３０、座標変換部２４０、フレームレート閾値比較部２５０などから構成される。画像処理ユニット２００は、他に各部を制御する制御部を備えているが、図１では省略してある。この画像処理ユニット２００はＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）などで構成される。
【００２２】
ここで、画像処理部２１０は、センサユニット１００から出力される画像データについて所定の画像処理を実施する。所定の画像処理とは、例えば、ベイヤー補間処理、ＭＴＦ補正処理、ガンマ補正処理などである。画像処理部２１０では、所定の画像処理の施された画像データを出力する。この時、センサユニット１００からの同期信号も出力される。
【００２３】
メモリインターフェース部２２０は、画像処理部２１０から出力される画像データを、該画像処理部２１０を通して与えられるセンサユニット１００からの同期信号に基づいて該画像データのフレームレートでメモリ３００へ書き込み、該メモリ３００に書き込んだ画像データを表示装置４００の予め定められ表示フレームレートで読み出す。ここでは、メモリ３００への書き込み動作はプログレシッブ方式をとり、読み出し動作はインタレース方式をとるとする。インタレースにより画面表示させると、映像のちらつきを防ぐことができるため都合がよい。
【００２４】
本発明の特徴は、このメモリインターフェース部２２０が、入力される画像データのフレームレートに応じて、メモリ３００の書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式に切り替えることにある。具体的には、入力される画像データのフレームレートが所定の閾値（例えば、１５ｆｐｓ）を超えた場合はダブルバッファ方式を選択し、該閾値以下の場合にはシングルバッファ方式を選択する。これについては後で詳述する。
【００２５】
座標変換部２３０は、メモリインターフェース部２２０によりメモリ３００から画像データを読出す際に、座標変換により画像の変形を行うために、画像の変形を反映した座標値を計算する。具体的には、メモリインターフェース部２２０からの座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算し、メモリインターフェース部２２０へ戻す。メモリインターフェース部２２０は、該座標変換元の座標値に基づいてメモリ３００から画像データを読み出す。
【００２６】
図３に座標変換部２３０の処理イメージを示す。これは、入力画像を９０°回転変形した画像を出力する例を示したものである。ここで、図３（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図３（ｂ）は、メモリ３００に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。
【００２７】
座標変換部２３０では、メモリ３００からの画像データの読み出しの際に、出力画像上の座標（Ｘ１，Ｙ１）（座標変換先の座標）の画素として、入力画像上の座標（ｘ１，ｙ１）（座標変換元の座標）の画素の画素データが読出されるように、座標値を計算する。また、出力画像の座標（Ｘ２，Ｙ２）座標変換先の座標）の画素としては、入力画像上の座標（ｘ２，ｙ２）（座標変換元の座標）の画素の画像データが読出されるように座標値を計算する。メモリインターフェース部２２０では、この座標値をメモリ３００のアドレスに変換し、メモリ３００の対応するアドレスから画像データを読出す。これにより、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２８】
座標変換部２３０は、通常、ＬＳＩとして実装される。車載用撮像システムでは、歪み補正や回転補正や見下ろし補正やその他、利用状況などに応じて多種多様の画像変形が必要とされており、全ての種類の画像変形処理に対応するＬＳＩを実装するのは、開発コストおよび回路規模の制限がある場合、実現困難である。そのため、ＬＳＩでは、画像変形処理のタイプに依存しない双線形補完処理のみを行うようにし、別途ソフトウェアなどで、各画像変形処理のタイプ対応に、双線形補間に利用する複数種類の座標変換テーブル（ＬＵＴ）を作成して、ＰＲＯＭなどに記録しておく。
【００２９】
なお、このような座標変換部２３０は、従来から色々提案されているので（例えば、特許文献２、特許文献３など）、具体的な構成等については省略する。
【００３０】
画像出力部２４０は、メモリインターフェース部２２０から出力される画像データを入力し、それを表示装置４００の表示形式に適した映像信号に変換（デジタル／アナログ変換）して出力する。ここでは、ＮＴＳＣ方式の映像信号に変換して出力する。
【００３１】
フレームレート閾値比較部２５０は、画像処理部２１０が出力する同期信号、すなわち、センサユニット１００が出力する同期信号を取り込み、該同期信号をもとに、センサユニット１００から出力される画像データのフレームレートを検出し、該フレームレートを予め設定された閾値と比較する。メモリインターフェース部２２０は、このフレームレート閾値比較部２５０の比較結果に基づいて、メモリ３００の書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式に切り替える。
【００３２】
図２は、フレームレート閾値比較部２５０とメモリインターフェース部２２０の処理フローチャートを示したものである。フレームレート閾値比較部２５０では、画像処理部２１０を通して、センサユニット１００が出力する同期信号を監視しており、該同期信号を基にセンサユニット１００から出力される画像データのフレームレートを検出する（ステップ１１）。これは、例えば１秒当たりの垂直同期信号の数をカウントすることで可能である。次に、フレームレート閾値比較部２５０では、検出したフレームレートをあらかじめ設定された閾値（例えば１５ｆｐｓ）と比較し、比較結果をメモリインターフェース部２２０に通知する（ステップ１２）。例えば、フレームレート値＞閾値の場合は“０”（正常）、フレームレート値≦閾値の場合は“１”（低下）を通知する。メモリインターフェース部２２０では、フレームレート閾値比較部２５０から“０”（正常）が通知された場合にはダブルバッファ方式を選択し（ステップ１３）、“１”（低下）が通知された場合にはシングルバッファ方式を選択する（ステップ１４）。そして、この選択した方式でメモリ３００に対する書き込み・読み出し動作を行う（ステップ１５）。
【００３３】
図４乃至図６に具体的処理例を示す。ここでは、表示装置４００の表示フレームレートは３０ｆｐｓで一定、センサユニット１００から出力される画像データのフレームレートは、通常は３０ｆｐｓであるが、夜間などでは１５ｆｐｓに低下し、３０ｆｐｓの場合はダブルバッファ方式を選択し、１５ｆｐｓの場合はシングルバッファ方式を選択するとする。また、メモリ３００への書き込みはプログレシッブ方式、読み出しはインタレース方式とする。１フレームの画像データは図示の簡単化のため２０行（ライン）とする。
【００３４】
図４は、ダブルバッファ方式の例で、メモリへの書き込みと読み出しの速度が共に３０ｆｐｓである。ダブルバッファ方式は、メモリを２フレーム分のメモリ領域に分け、書き込みと読み出しを同期させて、一方のメモリ領域にデータを書き込むと同時に他方のメモリ領域からデータを読み出し、これを１フレーム単位で交互に繰り返す方式である。図４（ａ）は、メモリ領域Ａの１行目への書き込みとメモリ領域Ｂの１行目からの読出しを同時に開始し、メモリ領域Ａに現フレームの１〜１０行目まで書き込まれた時点で、メモリ領域Ｂから前フレームの奇数フィールド（１，３，・・・，１９行）が読み出された状態を示している。図４（ｂ）は、メモリ領域Ａに、引き続き現フレームの１１〜２０行目まで書き込まれた時点で、メモリ領域Ｂから前フレームの偶数フィールド（２，４，・・・，２０行）が読み出された状態を示している。すなわち、メモリ領域Ａへの現フレームの書き込みが終了すると、同時に、メモリ領域Ｂから前フレームの読み出しが終了する。図４（ｃ）と（ｄ）は、メモリ領域Ｂが書き込み、メモリ領域Ａが読み出しとなるだけで、図４（ａ），（ｂ）と同様である。図４（ｄ）の後、図４（ａ）に戻る。
【００３５】
図４に示すように、画像データのフレームレートが３０ｆｐｓで、メモリへの書き込みと読み出しの速度が共に３０ｆｐｓの場合、ダブルバッファ方式を選択して、１フレーム毎にメモリ領域ＡとＢで交互に書き込みあるいは読み出しを繰り返すことで、各フレームの画像を連続して出力することができる。
【００３６】
しかしながら、画像データのフレームレートが例えば１５ｆｐｓに低下し、メモリへの書き込み速度が１５ｆｐｓになった場合（読出し速度はそのまま３０ｆｐｓ）、そのままダブルバッファ方式を続けると、一方のメモリ領域（Ｂ領域とする）から前フレームの画像データが読み出された時点で、他方のメモリ領域（Ａ領域とする）では未だ現フレームの画像データの書き込みが終了しておらず、１フレーム分の現画像データのメモリ領域Ａへの書き込みが終了するまで、該メモリＡ領域から画像データを読み出すことができない。
【００３７】
図５は、ダブルバッファ方式で、メモリへの書き込み速度が１５ｆｐｓで、読み出し速度が３０ｆｐｓの場合を示したものである。図５（ａ）は、メモリ領域Ａの１行目への書き込みとメモリ領域Ｂの１行目からの読出しを同時に開始したが、メモリ領域Ｂから前フレームの奇数及び偶数フィールドが読み出された時点、すなわち、１フレームのデータの読み出しが終了した時、メモリ領域Ａには、現フレームの１〜１０行目までしか書き込まれていないことを示している。この場合、図５（ｂ）に示すように、メモリ領域Ａに現フレームの全データ（１〜２０行）が書き込まれるまで待つことになる。一般には、この間、メモリ領域Ｂの前フレームをもう一度読み出すようにして、表示画面のちらつきを防いでいる。メモリ領域Ａに１フレームの画像データの書き込みが終了すると、今度は該メモリ領域Ａの１行目からの読み出しとメモリ領域Ｂの１行目への書き込みを同時に開始して、メモリ領域Ａから画像データを読み出し、メモリ領域Ｂへ次の画像データを書き込んでいく。図５（ｃ）は、この状態を示している。この場合も、メモリ領域Ａから１フレームの奇数及び偶数フィールドの読み出しが終了した時、メモリ領域Ｂには、１フレームの半分のデータしか書き込まれない。したがって、図５（ｄ）に示すように、メモリ領域Ｂに１フレームのデータが書き込まれるまで再び待つことになる。そして、メモリ領域Ｂに１フレームのデータが書き込まれたなら、再び該メモリ領域Ｂから画像データを読み出し、メモリ領域Ａへ次のフレームの画像データを書き込むようにする（図５（ａ））。
【００３８】
図６は、ダブルバッファ方式に代えてシングルバッファ方式で画像データの書き込み・読出しを行う場合を示したものである。ここで、図５と同様に、メモリへの書き込み速度は１５ｆｐｓで、読出し速度は３０ｆｐｓである。シングルバッファ方式は、メモリにデータを書き込むと共に、これを平行にして該メモリからデータを読み出す方式である。通常、メモリに対して、書き込みと読み出しを同時に行うことはできないため、所定の行毎に書込みと読み出しを交互に繰り返すことになる。図６では、フレームバッファメモリとしてメモリ領域Ａを使用し、１フレームの画像データについて、１行（ライン）分の書き込みを行っては、奇数あるいは偶数の２行分の読出しを行う動作を繰り返すとしている。
【００３９】
図６（ａ）は、メモリ領域Ａに現フレームの１〜１０行目が書き込まれるまでに、該メモリ領域Ａから１フレーム分の奇数及び偶数フィールドが読み出されることを示している。具体的には、メモリ領域Ａの１〜５行目まで書き込まれる間に、該メモリ領域Ａの奇数フィールド（１，３，・・・，１９行）が読み出され、メモリ領域Ａの６〜１０行目まで書き込まれる間に、該メモリ領域Ａの偶数フィールド（２，４，・・・，２０行）が読み出される。図６（ｂ）は、メモリ領域Ａに、引き続いて現フレームの１１〜２０行目まで書き込まれるまでに、該メモリ領域Ａから再度、１フレーム分の奇数及び偶数フィールドが読み出されることを示している。ここで、網掛け部分は現フレームの画像データを示し、白部分は前フレームの画像データを示している。
【００４０】
図６に示すように、画像データのフレームレートが低下した場合、ダブルバッファ方式にかえてシングルバッファ方式を選択することにより、各フレームで画像データの書き込みと平行して該画像データの読出しが行われるため、読み出しにフレーム単位での遅延時間の発生がなくなる。このため、夜間等、画像データのフレームレートが低下しても、障害物の実際位置とモニタに表示される障害物の位置とのずれがなくなり、事故を防止することができる。
【００４１】
一方、例えば図６（ａ）に示すように、１フレーム分の書き込みが終わらないうちに、読み出しが追い越してしまうため、モニタに前フレームの一部が残像として現れ、画質が劣化する。本発明は、このような残像が現れるというような、あえて画質が劣化することになっても、安全のために、リアルタイムの応答を優先させるものである。しかも、フレームレートが低下するのは、夜間等に限られ、通常はダブルバッファ方式を採用することで、残像現象を抑え、画質が劣化することはない。
【００４２】
以上、本発明の一実施形態について説明したが、本発明は、これまでの説明に限られるものではない。例えば、メモリの書き込みと読み出しは、ともにプログレッシブ方式でもよい。
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平１１−０５３５２８号公報
【特許文献２】特開２００８−０８２６０２号公報
【特許文献３】特開２００９−０１０７３０号公報
【符号の説明】
【００４４】
１００ センサユニット
２００ 画像処理ユニット
２１０ 画像処理部
２２０ メモリインターフェース部
２３０ 座標変換部
２４０ 画像出力部
２５０ フレームレート閾値比較部
３００ メモリ
４００ 表示装置
【特許請求の範囲】
【請求項１】
入力される画像データを処理して表示装置に出力する画像処理装置において、
少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリと、
入力される画像データのフレームレートで画像データを前記メモリに書き込み、表示装置の表示フレームレートで前記メモリから画像データを読み出すメモリインターフェース手段と、
前記メモリから読み出された画像データを表示装置の表示形式に適した映像信号に変換して出力する画像出力手段とを有し、
前記メモリインターフェース手段は、前記入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うことを特徴とする画像処理装置。
【請求項２】
前記入力される画像データのフレームレートをあらかじめ定めた閾値と比較するフレームレート閾値比較手段を有し、
前記メモリインターフェース手段は、前記入力される画像データのフレームレートが前記閾値以上の場合にはダブルバッファ方式を選択し、閾値以下の場合にはシングルバッファ方式を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記メモリインターフェース手段は、
ダブルバッファ方式では、前記メモリに少なくとも２フレーム分のメモリ領域を確保して、一方のメモリ領域に現フレームの画像データを書き込むと共に、これと並行してもう一方のメモリ領域から前フレームの画像デーを読み出し、これをフレーム単位で交互に繰り返し、
シングルバッファ方式では、前記メモリに少なくとも１フレーム分のメモリ領域を確保して、該メモリ領域に現フレームの画像データを書き込むと共に、これと並行して該メモリ領域から当該現フレームの画像データを読み出し、これを各フレームについて繰り返す、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記メモリインターフェース手段は、前記メモリへの書き込みをプログレッシブ方式で行い、前記メモリからの読み出しをインタレース方式で行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記メモリから画像データを読み出す際に座標変換により画像の変形を行うために、前記メモリインターフェース手段から座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算して出力する座標変換手段を有し、
前記メモリインターフェース手段は、前記座標変換手段から出力される座標変換元の座標値に基づいて前記メモリから画像データを読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
車の周辺を撮影して画像データを取得し出力するセンサユニットと、前記センサユニットから出力される画像データを処理し映像信号を出力する請求項１乃至５のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される映像信号をモニタ表示する表示装置とを具備してなる車載用撮像システム。
【請求項７】
前記センサユニットは、周辺の明るさが暗くなると、出力する画像データのフレームレートを低下させることを特徴とする請求項６記載の車載用撮像システム。
【請求項１】
入力される画像データを処理して表示装置に出力する画像処理装置において、
少なくとも２フレーム分の画像データを格納する記憶容量を備えたメモリと、
入力される画像データのフレームレートで画像データを前記メモリに書き込み、表示装置の表示フレームレートで前記メモリから画像データを読み出すメモリインターフェース手段と、
前記メモリから読み出された画像データを表示装置の表示形式に適した映像信号に変換して出力する画像出力手段とを有し、
前記メモリインターフェース手段は、前記入力される画像データのフレームレートに応じて、前記メモリの書き込み・読み出し動作をダブルバッファ方式あるいはシングルバッファ方式で行うことを特徴とする画像処理装置。
【請求項２】
前記入力される画像データのフレームレートをあらかじめ定めた閾値と比較するフレームレート閾値比較手段を有し、
前記メモリインターフェース手段は、前記入力される画像データのフレームレートが前記閾値以上の場合にはダブルバッファ方式を選択し、閾値以下の場合にはシングルバッファ方式を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記メモリインターフェース手段は、
ダブルバッファ方式では、前記メモリに少なくとも２フレーム分のメモリ領域を確保して、一方のメモリ領域に現フレームの画像データを書き込むと共に、これと並行してもう一方のメモリ領域から前フレームの画像デーを読み出し、これをフレーム単位で交互に繰り返し、
シングルバッファ方式では、前記メモリに少なくとも１フレーム分のメモリ領域を確保して、該メモリ領域に現フレームの画像データを書き込むと共に、これと並行して該メモリ領域から当該現フレームの画像データを読み出し、これを各フレームについて繰り返す、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記メモリインターフェース手段は、前記メモリへの書き込みをプログレッシブ方式で行い、前記メモリからの読み出しをインタレース方式で行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記メモリから画像データを読み出す際に座標変換により画像の変形を行うために、前記メモリインターフェース手段から座標変換先の座標値を入力して、画像の変形を反映した座標変換元の座標値を計算して出力する座標変換手段を有し、
前記メモリインターフェース手段は、前記座標変換手段から出力される座標変換元の座標値に基づいて前記メモリから画像データを読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
車の周辺を撮影して画像データを取得し出力するセンサユニットと、前記センサユニットから出力される画像データを処理し映像信号を出力する請求項１乃至５のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される映像信号をモニタ表示する表示装置とを具備してなる車載用撮像システム。
【請求項７】
前記センサユニットは、周辺の明るさが暗くなると、出力する画像データのフレームレートを低下させることを特徴とする請求項６記載の車載用撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−６６４９８（Ｐ２０１１−６６４９８Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３１０７（Ｐ２００９−２１３１０７）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]