車載カメラシステム
【課題】単一の撮像装置を用いて、複数の画角の画像を得ることができる車載カメラシステムを提供する。
【解決手段】車両周辺の画像を撮像する撮像手段と、撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、画像の光軸と、画像サイズが広角画像と一致するように、撮像手段によって得られた画像から所定領域の画像を切り出して所望のサイズの標準画像を生成する標準画像生成手段と、広角画像と標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段とを備えた。
【解決手段】車両周辺の画像を撮像する撮像手段と、撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、画像の光軸と、画像サイズが広角画像と一致するように、撮像手段によって得られた画像から所定領域の画像を切り出して所望のサイズの標準画像を生成する標準画像生成手段と、広角画像と標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視する車載カメラシステムに関する。
【背景技術】
【０００２】
従来から、車両周辺を撮像した映像を車両に設置された表示装置に表示するために、車両の周辺を撮像するカメラと、車両に設置された表示装置と、カメラで撮像した画像データをウェーブレット変換を利用して符号化または復号化する画像処理手段とを備え、車両の周辺を監視する車両周辺監視装置が知られている。近年、周辺情報の取得を目的として動画像を利用する車載カメラシステムの車両への搭載が増えている。このような車載カメラシステムによれば、運転席の左右にある障害物のために、進入しようとする交差点の左右の状況が視認できないときに、車両前方の画像を表示装置上に表示して、交差点の状況を確認することができる（例えば、特許文献１参照）。
【０００３】
ところで、車載カメラシステムを用いた車両の前方または後方の監視装置においては、監視する対象によって、監視するべき領域が異なるため、カメラにより撮像した画像の画角を変えることができることが望ましい。例えば、遠方の先行車、障害物、標識などを認識するためには、狭い画角の画像が得られることが望ましく、一方、近傍の並走車、障害物、歩行者、標識などを認識するためには、広い画角の画像が得られることが望ましい。
【０００４】
しかし、少なくとも２つの画角の画像を得るために、２台のカメラを設けると、システムのコストが増大するため現実的でないという問題がある。このような問題を解決するために、撮像素子の数を低減するとともに遠距離と近距離の広い距離範囲で被写体を精度良く撮像することができる車外監視装置が知られている（例えば、特許文献２参照）。この車外監視装置は、遠距離用の撮像レンズ系と近距離用の撮像レンズ系とを備えることにより、画角の異なる画像を得るようにしたものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３４５０号公報
【特許文献２】特開２０１０−２７１４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の車外監視装置にあっては、２系統の光学レンズを備える構成であるため、装置構成が複雑になり、装置全体が大きくなってしまうとともに、装置のコストアップになってしまい、車載に適さないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、単一の撮像装置を用いて、複数の画角の画像を得ることができる車載カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両周辺の画像を撮像する撮像手段と、前記撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、画像の光軸と、画像サイズが前記広角画像と一致するように、前記撮像手段によって得られた画像から所定領域の画像を切り出して前記所望のサイズの標準画像を生成する標準画像生成手段と、前記広角画像と前記標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段とを備えたことを特徴とする。
【０００９】
本発明は、前記撮像手段は、ＷＱＸＧＡサイズの画像を撮像し、前記広角画像と前記標準画像は、ＶＧＡサイズの画像であることを特徴とする。
【００１０】
本発明は、画像に対して、デモザイキング処理を施すデモザイキング処理手段をさらに備え、前記広角画像生成手段と、前記標準画像生成手段は、前記デモザイキング処理手段によるデモザイキング処理後の画像からそれぞれ広角画像と標準画像を生成すること特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像手段によって得られた画像から所定領域の画像を切り出して所望のサイズの標準画像を生成するようにしたため、得られた画角の異なる画像の光軸が一致しているとともに、得られた画像の取得時刻が一致している画像を得ることができるという効果が得られる。これにより、狭い画角の画像を用いて、画像処理を実行することにより遠方の先行車、障害物、標識などを認識することができる。また、広い画角の画像を用いて、画像処理を実行することにより、近傍の並走車、障害物、歩行者、標識などを認識することができるようになるという効果も得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】画面サイズと画角の関係を示す説明図である。
【図３】広角画像と標準画像における画素の位置関係を示す説明図である。
【図４】図１に示す切り出し処理部４の動作を示す説明図である。
【図５】図１に示す縮小処理部５の動作を示す説明図である。
【図６】図１に示す縮小処理部５の動作を示す説明図である。
【図７】車両と画角の関係を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の一実施形態による車載カメラシステムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、車両の周辺のカラー画像を撮像するカメラである。カメラ１は、イメージセンサと光学系レンズを備えている。イメージセンサは、ＷＱＸＧＡサイズ（２５６０Ｈ×１６００Ｖ画素）の画像を得ることが可能である。符号２は、カメラ１から出力する画像の１フレーム分を記憶するフレームバッファである。符号３は、フレームバッファ２に記憶されている１フレーム分の画像に対してデモザイキング処理を施して、その結果を撮像画像が記憶されている領域とは異なるフレームバッファ中の領域に記憶するデモザイキング処理部である。デモザイキング処理後のフレームバッファには、カメラ１によって撮像した画像と、デモザイキング処理後の画像とが記憶されていることになる。
【００１４】
符号４は、フレームバッファ２に記憶されている画像から所定の領域を切り出してＶＧＡサイズ（６４０Ｈ×４８０Ｈ画素）の画像を生成する切り出し処理部である。符号５は、フレームバッファ２に記憶されている画像を縮小してＶＧＡサイズ（６４０Ｈ×４８０Ｈ画素）の画像を生成する縮小処理部である。符号６は、切り出し処理部４から出力する画像に基づき、アプリケーション（遠方の先行車、障害物、標識などを認識する処理）を実行するアプリケーション処理部である。符号７は、縮小処理部５から出力する画像に基づき、アプリケーション（近傍の並走車、障害物、歩行者、標識などを認識する処理）を実行するアプリケーション処理部である。
【００１５】
以下の説明において、切り出し処理部４から出力する画像を標準画像と称し、縮小処理部５から出力する画像を広角画像と称する。ここで、図２を参照して、標準画像及び広角画像と、イメージセンサ、光学レンズとの関係について説明する。イメージセンサの撮像面は、横幅が５．３８５ｍｍ（２５６０画素）、縦幅が３．３６５ｍｍ（１６００画素）である。光学レンズは、焦点距離ｆ＝１．５５ｍｍである。イメージセンサの撮像面に対して、焦点距離１．５５ｍｍの光学レンズを用いて像を結像させると、水平方向の画角１２０度の広角画像（縮小処理前）が得られ、これを縮小処理すると、６４０Ｈ×４８０Ｈ画素の広角画像が得られることになる。また、縮小処理前の広角画像（イメージセンサで撮像した画像）から光軸を変化させることなく６４０Ｈ×４８０Ｈ画素の画像を切り出すことによって、水平画角が４６度で６４０Ｈ×４８０Ｈ画素の標準画像が得られることになる。
【００１６】
図３に、広角画像と標準画像における画素の位置関係を示す。広角画像は、２５６０Ｈ×１６００Ｖ画素の画像であるので、左上隅の画素が（０，０）、右上隅の画素が（２５５９，０）、左下隅の画素が（０，１５９９）、右下隅の画素が（２５５９，１５９９）である。これに対して、標準画像は、６４０Ｈ×４８０Ｈ画素の画像であるので、広角画像上の画素の位置は、左上隅の画素が（９６０，５６０）、右下隅の画素が（１５５９，１０３９）である。
【００１７】
次に、図１、図４〜図６を参照して、図１に示す車載カメラシステムの動作を説明する。まず、カメラ１は、画像を撮像して、得られた画像（２５６０Ｈ×１６００Ｖ画素）をフレームバッファ２に記憶する。フレームバッファ２に新たな画像が記憶されると、デモザイキング処理部３は、フレームバッファ２に記憶された画像に対して、デモザイキング処理を行う。デモザイキング処理は、ＲＧＢ Ｂａｙｅｒタイプのカラーイメージセンサを使用する場合、イメージセンサの出力信号から輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像を生成する処理である。デモザイキング処理は、公知の処理であるので、ここでは、詳細な処理動作の説明を省略する。デモザイキング処理部３は、デモザイキング処理によって得られた輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像をフレームバッファに記憶する。このとき、カメラ１により撮像した画像とは異なるフレームバッファ２上の領域に記憶する。
【００１８】
次に、切り出し処理部４は、デモザイキング処理後の輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれから、画素位置が（９６０，５６０）、（１５５９，５６０）、（９６０，１０３９）、（１５５９，１０３９）である４つの画素で囲まれた矩形領域内の画素の値を用いて、標準画角のＶＧＡサイズ画像を切り出して、標準画像を生成する（図４参照）。これにより、標準画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像が得られることになる。切り出し処理部４において生成された標準画像（標準画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像）は、アプリケーション処理部６に対して出力され、アプリケーション処理部６においてアプリケーション処理が実行される。アプリケーション処理部６は、例えば、遠方の先行車、障害物、標識などを認識する処理を実行する。
【００１９】
一方、縮小処理部５は、切り出し処理部４の処理動作と並行して、デモザイキング処理後の輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれから、（１）式によって、縮小後画像の画素の値を求める。すなわち、４×４画素の画素値を全て加算し、１６で除算して、１６画素の平均画素値を求めることにより、縮小後の画像（広角画像）の画素値を求める。縮小処理部５は、デモザイキング処理後の画像の全面に対して、４×４画素の位置を変えながら、この処理を実行することにより、広角画像を生成する（図５参照）。これにより、広角画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像が得られることになる。縮小処理部５において生成された広角画像（広角画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像）は、アプリケーション処理部７に対して出力され、アプリケーション処理部７においてアプリケーション処理が実行される。アプリケーション処理部７は、例えば、近傍の並走車、障害物、歩行者、標識などを認識する処理を行う。
【数１】
【００２０】
なお、前述した説明においては、デモザイキング処理部３によるデモザイキング処理後の画像から広角画像を生成する処理動作を説明したが、デモザイキング処理は、必ずしも行う必要はなく、ＲＧＢ Ｂａｙｅｒタイプのカラーイメージセンサから出力する画像から直接広角画像を生成するようにしてもよい。この場合、縮小処理部５は、フレームバッファ２に記憶されているカメラ１の出力画像から直接広角画像を生成する。縮小処理部５は、フレームバッファ２に記憶されているカメラ１の出力画像（ＲＧＢ Ｂａｙｅｒタイプの画像）から、（２）式、（３）式によって縮小後画像の画素の値を求めればよい（図６参照）。
【数２】
【００２１】
【表１】
【００２２】
また、カメラ１は、モノクロ画像（輝度画像）を出力するカメラであってもよい。この場合でも、前述した処理によって、撮像した画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像した画像から所定領域の画像を切り出して所望のサイズの標準画像を生成することができる。
【００２３】
また、図１に示す２つのアプリケーション処理部を統合して１つのアプリケーション処理部が、２つの画像（標準画像と広角画像）を入力して、アプリケーション処理を実行するようにしてもよい。
【００２４】
また、前述した説明においては、画角４６度の標準画像と、画角１２０度の広角画像の２種類の画角の画像を生成する処理動作を説明したが、画角は、この角度以外であってもよい。画角は、撮像面の大きさと光学レンズの焦点距離の関係で決まるため、必要に応じて、これらを調整して、任意の画角の画像を生成するようにしてもよい。
【００２５】
さらに、生成する画像の画角は２種類に限らず、３種類以上の画角の異なる画像を生成するようにしてもよい。水平画角１２０度の広角画像を最大画角の画像とし、水平画角４６度の標準画像を最小画角の画像とし、任意の画角の画像を切り出した後、縮小を行えば任意の画角の画像を生成することができる。例えば、切り出し処理部４が、水平画角１２０度の広角画像から水平画角が１００度となるように画像を切り出し、切り出した画像を縮小処理部５へ出力し、縮小処理部５がＶＧＡサイズ（６４０Ｈ×４８０Ｖ画素）の画像になるように縮小処理を行えば、任意の画角の画像を生成することが可能となる。これにより、アプリケーション処理において必要な画角の画像を生成することができるように、アプリケーション処理の機能を向上させることが可能となる。
【００２６】
以上説明したように、撮像した画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像した画像から所定領域の画像を切り出して所望のサイズの標準画像を生成するようにしたため、得られた画角の異なる画像の光軸が一致しているとともに、得られた画像の取得時刻が一致している画像を得ることができる。また、図７に示すように、単一の撮像手段のみで複数の画角を有する画像を生成することができるため、撮像領域の異なる画像を用いてアプリケーションを実行することができるようになる。これにより、狭い画角の画像（標準画像）を用いて、画像処理を実行することにより遠方の先行車、障害物、標識などを認識することができる。また、広い画角の画像（広角画像）を用いて、画像処理を実行することにより、近傍の並走車、障害物、歩行者、標識などを認識することができる。
【００２７】
また、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００２９】
単一のイメージセンサを用いて、画角が異なる複数の画像を得ることが不可欠な用途に適用できる。
【符号の説明】
【００３０】
１・・・カメラ、２・・・フレームバッファ、３・・・デモザイキング処理部、４・・・切り出し処理部、５・・・縮小処理部、６、７・・・アプリケーション処理部
【技術分野】
【０００１】
本発明は、車両の周辺を監視する車載カメラシステムに関する。
【背景技術】
【０００２】
従来から、車両周辺を撮像した映像を車両に設置された表示装置に表示するために、車両の周辺を撮像するカメラと、車両に設置された表示装置と、カメラで撮像した画像データをウェーブレット変換を利用して符号化または復号化する画像処理手段とを備え、車両の周辺を監視する車両周辺監視装置が知られている。近年、周辺情報の取得を目的として動画像を利用する車載カメラシステムの車両への搭載が増えている。このような車載カメラシステムによれば、運転席の左右にある障害物のために、進入しようとする交差点の左右の状況が視認できないときに、車両前方の画像を表示装置上に表示して、交差点の状況を確認することができる（例えば、特許文献１参照）。
【０００３】
ところで、車載カメラシステムを用いた車両の前方または後方の監視装置においては、監視する対象によって、監視するべき領域が異なるため、カメラにより撮像した画像の画角を変えることができることが望ましい。例えば、遠方の先行車、障害物、標識などを認識するためには、狭い画角の画像が得られることが望ましく、一方、近傍の並走車、障害物、歩行者、標識などを認識するためには、広い画角の画像が得られることが望ましい。
【０００４】
しかし、少なくとも２つの画角の画像を得るために、２台のカメラを設けると、システムのコストが増大するため現実的でないという問題がある。このような問題を解決するために、撮像素子の数を低減するとともに遠距離と近距離の広い距離範囲で被写体を精度良く撮像することができる車外監視装置が知られている（例えば、特許文献２参照）。この車外監視装置は、遠距離用の撮像レンズ系と近距離用の撮像レンズ系とを備えることにより、画角の異なる画像を得るようにしたものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３０３４５０号公報
【特許文献２】特開２０１０−２７１４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の車外監視装置にあっては、２系統の光学レンズを備える構成であるため、装置構成が複雑になり、装置全体が大きくなってしまうとともに、装置のコストアップになってしまい、車載に適さないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、単一の撮像装置を用いて、複数の画角の画像を得ることができる車載カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両周辺の画像を撮像する撮像手段と、前記撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、画像の光軸と、画像サイズが前記広角画像と一致するように、前記撮像手段によって得られた画像から所定領域の画像を切り出して前記所望のサイズの標準画像を生成する標準画像生成手段と、前記広角画像と前記標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段とを備えたことを特徴とする。
【０００９】
本発明は、前記撮像手段は、ＷＱＸＧＡサイズの画像を撮像し、前記広角画像と前記標準画像は、ＶＧＡサイズの画像であることを特徴とする。
【００１０】
本発明は、画像に対して、デモザイキング処理を施すデモザイキング処理手段をさらに備え、前記広角画像生成手段と、前記標準画像生成手段は、前記デモザイキング処理手段によるデモザイキング処理後の画像からそれぞれ広角画像と標準画像を生成すること特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像手段によって得られた画像から所定領域の画像を切り出して所望のサイズの標準画像を生成するようにしたため、得られた画角の異なる画像の光軸が一致しているとともに、得られた画像の取得時刻が一致している画像を得ることができるという効果が得られる。これにより、狭い画角の画像を用いて、画像処理を実行することにより遠方の先行車、障害物、標識などを認識することができる。また、広い画角の画像を用いて、画像処理を実行することにより、近傍の並走車、障害物、歩行者、標識などを認識することができるようになるという効果も得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】画面サイズと画角の関係を示す説明図である。
【図３】広角画像と標準画像における画素の位置関係を示す説明図である。
【図４】図１に示す切り出し処理部４の動作を示す説明図である。
【図５】図１に示す縮小処理部５の動作を示す説明図である。
【図６】図１に示す縮小処理部５の動作を示す説明図である。
【図７】車両と画角の関係を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の一実施形態による車載カメラシステムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、車両の周辺のカラー画像を撮像するカメラである。カメラ１は、イメージセンサと光学系レンズを備えている。イメージセンサは、ＷＱＸＧＡサイズ（２５６０Ｈ×１６００Ｖ画素）の画像を得ることが可能である。符号２は、カメラ１から出力する画像の１フレーム分を記憶するフレームバッファである。符号３は、フレームバッファ２に記憶されている１フレーム分の画像に対してデモザイキング処理を施して、その結果を撮像画像が記憶されている領域とは異なるフレームバッファ中の領域に記憶するデモザイキング処理部である。デモザイキング処理後のフレームバッファには、カメラ１によって撮像した画像と、デモザイキング処理後の画像とが記憶されていることになる。
【００１４】
符号４は、フレームバッファ２に記憶されている画像から所定の領域を切り出してＶＧＡサイズ（６４０Ｈ×４８０Ｈ画素）の画像を生成する切り出し処理部である。符号５は、フレームバッファ２に記憶されている画像を縮小してＶＧＡサイズ（６４０Ｈ×４８０Ｈ画素）の画像を生成する縮小処理部である。符号６は、切り出し処理部４から出力する画像に基づき、アプリケーション（遠方の先行車、障害物、標識などを認識する処理）を実行するアプリケーション処理部である。符号７は、縮小処理部５から出力する画像に基づき、アプリケーション（近傍の並走車、障害物、歩行者、標識などを認識する処理）を実行するアプリケーション処理部である。
【００１５】
以下の説明において、切り出し処理部４から出力する画像を標準画像と称し、縮小処理部５から出力する画像を広角画像と称する。ここで、図２を参照して、標準画像及び広角画像と、イメージセンサ、光学レンズとの関係について説明する。イメージセンサの撮像面は、横幅が５．３８５ｍｍ（２５６０画素）、縦幅が３．３６５ｍｍ（１６００画素）である。光学レンズは、焦点距離ｆ＝１．５５ｍｍである。イメージセンサの撮像面に対して、焦点距離１．５５ｍｍの光学レンズを用いて像を結像させると、水平方向の画角１２０度の広角画像（縮小処理前）が得られ、これを縮小処理すると、６４０Ｈ×４８０Ｈ画素の広角画像が得られることになる。また、縮小処理前の広角画像（イメージセンサで撮像した画像）から光軸を変化させることなく６４０Ｈ×４８０Ｈ画素の画像を切り出すことによって、水平画角が４６度で６４０Ｈ×４８０Ｈ画素の標準画像が得られることになる。
【００１６】
図３に、広角画像と標準画像における画素の位置関係を示す。広角画像は、２５６０Ｈ×１６００Ｖ画素の画像であるので、左上隅の画素が（０，０）、右上隅の画素が（２５５９，０）、左下隅の画素が（０，１５９９）、右下隅の画素が（２５５９，１５９９）である。これに対して、標準画像は、６４０Ｈ×４８０Ｈ画素の画像であるので、広角画像上の画素の位置は、左上隅の画素が（９６０，５６０）、右下隅の画素が（１５５９，１０３９）である。
【００１７】
次に、図１、図４〜図６を参照して、図１に示す車載カメラシステムの動作を説明する。まず、カメラ１は、画像を撮像して、得られた画像（２５６０Ｈ×１６００Ｖ画素）をフレームバッファ２に記憶する。フレームバッファ２に新たな画像が記憶されると、デモザイキング処理部３は、フレームバッファ２に記憶された画像に対して、デモザイキング処理を行う。デモザイキング処理は、ＲＧＢ Ｂａｙｅｒタイプのカラーイメージセンサを使用する場合、イメージセンサの出力信号から輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像を生成する処理である。デモザイキング処理は、公知の処理であるので、ここでは、詳細な処理動作の説明を省略する。デモザイキング処理部３は、デモザイキング処理によって得られた輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像をフレームバッファに記憶する。このとき、カメラ１により撮像した画像とは異なるフレームバッファ２上の領域に記憶する。
【００１８】
次に、切り出し処理部４は、デモザイキング処理後の輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれから、画素位置が（９６０，５６０）、（１５５９，５６０）、（９６０，１０３９）、（１５５９，１０３９）である４つの画素で囲まれた矩形領域内の画素の値を用いて、標準画角のＶＧＡサイズ画像を切り出して、標準画像を生成する（図４参照）。これにより、標準画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像が得られることになる。切り出し処理部４において生成された標準画像（標準画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像）は、アプリケーション処理部６に対して出力され、アプリケーション処理部６においてアプリケーション処理が実行される。アプリケーション処理部６は、例えば、遠方の先行車、障害物、標識などを認識する処理を実行する。
【００１９】
一方、縮小処理部５は、切り出し処理部４の処理動作と並行して、デモザイキング処理後の輝度（Ｙ）画像、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれから、（１）式によって、縮小後画像の画素の値を求める。すなわち、４×４画素の画素値を全て加算し、１６で除算して、１６画素の平均画素値を求めることにより、縮小後の画像（広角画像）の画素値を求める。縮小処理部５は、デモザイキング処理後の画像の全面に対して、４×４画素の位置を変えながら、この処理を実行することにより、広角画像を生成する（図５参照）。これにより、広角画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像が得られることになる。縮小処理部５において生成された広角画像（広角画角のＶＧＡサイズの輝度画像、Ｒ画像、Ｇ画像、Ｂ画像）は、アプリケーション処理部７に対して出力され、アプリケーション処理部７においてアプリケーション処理が実行される。アプリケーション処理部７は、例えば、近傍の並走車、障害物、歩行者、標識などを認識する処理を行う。
【数１】
【００２０】
なお、前述した説明においては、デモザイキング処理部３によるデモザイキング処理後の画像から広角画像を生成する処理動作を説明したが、デモザイキング処理は、必ずしも行う必要はなく、ＲＧＢ Ｂａｙｅｒタイプのカラーイメージセンサから出力する画像から直接広角画像を生成するようにしてもよい。この場合、縮小処理部５は、フレームバッファ２に記憶されているカメラ１の出力画像から直接広角画像を生成する。縮小処理部５は、フレームバッファ２に記憶されているカメラ１の出力画像（ＲＧＢ Ｂａｙｅｒタイプの画像）から、（２）式、（３）式によって縮小後画像の画素の値を求めればよい（図６参照）。
【数２】
【００２１】
【表１】
【００２２】
また、カメラ１は、モノクロ画像（輝度画像）を出力するカメラであってもよい。この場合でも、前述した処理によって、撮像した画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像した画像から所定領域の画像を切り出して所望のサイズの標準画像を生成することができる。
【００２３】
また、図１に示す２つのアプリケーション処理部を統合して１つのアプリケーション処理部が、２つの画像（標準画像と広角画像）を入力して、アプリケーション処理を実行するようにしてもよい。
【００２４】
また、前述した説明においては、画角４６度の標準画像と、画角１２０度の広角画像の２種類の画角の画像を生成する処理動作を説明したが、画角は、この角度以外であってもよい。画角は、撮像面の大きさと光学レンズの焦点距離の関係で決まるため、必要に応じて、これらを調整して、任意の画角の画像を生成するようにしてもよい。
【００２５】
さらに、生成する画像の画角は２種類に限らず、３種類以上の画角の異なる画像を生成するようにしてもよい。水平画角１２０度の広角画像を最大画角の画像とし、水平画角４６度の標準画像を最小画角の画像とし、任意の画角の画像を切り出した後、縮小を行えば任意の画角の画像を生成することができる。例えば、切り出し処理部４が、水平画角１２０度の広角画像から水平画角が１００度となるように画像を切り出し、切り出した画像を縮小処理部５へ出力し、縮小処理部５がＶＧＡサイズ（６４０Ｈ×４８０Ｖ画素）の画像になるように縮小処理を行えば、任意の画角の画像を生成することが可能となる。これにより、アプリケーション処理において必要な画角の画像を生成することができるように、アプリケーション処理の機能を向上させることが可能となる。
【００２６】
以上説明したように、撮像した画像を縮小処理して所望のサイズの広角画像を生成するとともに、画像の光軸と、画像サイズが広角画像と一致するように、撮像した画像から所定領域の画像を切り出して所望のサイズの標準画像を生成するようにしたため、得られた画角の異なる画像の光軸が一致しているとともに、得られた画像の取得時刻が一致している画像を得ることができる。また、図７に示すように、単一の撮像手段のみで複数の画角を有する画像を生成することができるため、撮像領域の異なる画像を用いてアプリケーションを実行することができるようになる。これにより、狭い画角の画像（標準画像）を用いて、画像処理を実行することにより遠方の先行車、障害物、標識などを認識することができる。また、広い画角の画像（広角画像）を用いて、画像処理を実行することにより、近傍の並走車、障害物、歩行者、標識などを認識することができる。
【００２７】
また、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００２９】
単一のイメージセンサを用いて、画角が異なる複数の画像を得ることが不可欠な用途に適用できる。
【符号の説明】
【００３０】
１・・・カメラ、２・・・フレームバッファ、３・・・デモザイキング処理部、４・・・切り出し処理部、５・・・縮小処理部、６、７・・・アプリケーション処理部
【特許請求の範囲】
【請求項１】
車両周辺の画像を撮像する撮像手段と、
前記撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、
画像の光軸と、画像サイズが前記広角画像と一致するように、前記撮像手段によって得られた画像から所定領域の画像を切り出して前記所望のサイズの標準画像を生成する標準画像生成手段と、
前記広角画像と前記標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段と
を備えたことを特徴とする車載カメラシステム。
【請求項２】
前記撮像手段は、ＷＱＸＧＡサイズの画像を撮像し、前記広角画像と前記標準画像は、ＶＧＡサイズの画像であることを特徴とする請求項１に記載の車載カメラシステム。
【請求項３】
画像に対して、デモザイキング処理を施すデモザイキング処理手段をさらに備え、前記広角画像生成手段と、前記標準画像生成手段は、前記デモザイキング処理手段によるデモザイキング処理後の画像からそれぞれ広角画像と標準画像を生成すること特徴とする請求項１または２に記載の車載カメラシステム。
【請求項１】
車両周辺の画像を撮像する撮像手段と、
前記撮像手段によって得られた画像を縮小処理して所望のサイズの広角画像を生成する広角画像生成手段と、
画像の光軸と、画像サイズが前記広角画像と一致するように、前記撮像手段によって得られた画像から所定領域の画像を切り出して前記所望のサイズの標準画像を生成する標準画像生成手段と、
前記広角画像と前記標準画像のそれぞれを用いてアプリケーション処理を実行するアプリケーション処理手段と
を備えたことを特徴とする車載カメラシステム。
【請求項２】
前記撮像手段は、ＷＱＸＧＡサイズの画像を撮像し、前記広角画像と前記標準画像は、ＶＧＡサイズの画像であることを特徴とする請求項１に記載の車載カメラシステム。
【請求項３】
画像に対して、デモザイキング処理を施すデモザイキング処理手段をさらに備え、前記広角画像生成手段と、前記標準画像生成手段は、前記デモザイキング処理手段によるデモザイキング処理後の画像からそれぞれ広角画像と標準画像を生成すること特徴とする請求項１または２に記載の車載カメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２２６６４（Ｐ２０１２−２２２６６４Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８７５８５（Ｐ２０１１−８７５８５）
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
[ Back to top ]