車載用撮像装置および車載用撮像装置の撮像方法
【課題】画像内の注目領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供すること。
【解決手段】運転者の操作情報を検出し、検出結果に基づいて画像内の注目領域の露出を制御することにより、画像中の注目領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【解決手段】運転者の操作情報を検出し、検出結果に基づいて画像内の注目領域の露出を制御することにより、画像中の注目領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用撮像装置および車載用撮像装置の撮像方法に関し、特に、画像内の注目領域を決定し、注目領域に基づいて画像内の注目領域を含む領域の露出を制御する車載用撮像装置および車載用撮像装置の撮像方法に関する。
【背景技術】
【０００２】
従来の車載用撮像装置においては、例えば走行中に道路上の車両や路側の人物や道路標識をカーナビゲーションシステムのモニタに映し出すために、あるいは、撮像した動画像から道路上の障害物や路側からの人物の飛び出し等を検知して警告を行う安全運転支援システムのために、車載カメラが撮像可能な最大の解像度よりも低い解像度の画像を高フレームレートで撮像することにより、限られた画像信号転送速度の中でフレーム間の画像の変化があまり大きくない滑らかな動画像を得るような工夫が行われている。
【０００３】
しかし、この方法では滑らかな動画像が得られるという意味では画質は向上するが、得られる画像の解像度が低いために、例えばモニタに映し出された画像中の物体が何であるか（例えば車両か建物か等）の判別がつきにくく、特に車線変更時の後側方や減速時の後方の車両の有無や、右左折時の進行方向の人物や車両の有無の確認において誤認の可能性があり、それによる事故等の危険が発生したりする。
【０００４】
つまり、少なくとも車線変更時の後側方や減速時の後方、あるいは右左折時の進行方向のような、画像中の運転者が注目したいあるいは注目すべき領域の解像度については、可能な限り高解像度にしたいという要求がある。また、画像の露出についても、視認性の向上の意味から、画像中の運転者が注目したいあるいは注目すべき領域が適正な露出となることが望ましい。
【０００５】
そこで、例えば、テレビ会議システムにおいて発言者の画像を鮮明に表示するための方法として、ステレオマイクから得られた音声信号により発言者の位置を推定し、推定された位置を中心に所定の範囲の画像領域を他の画像領域より高解像度にする方法が提案されている（例えば、特許文献１参照）。あるいは、車載カメラシステムにおいて、自車の運行速度に応じて撮影ズーム率を変更することにより撮影距離を変更して撮影することで、鮮明な画像を取得し、危険障害物の検知を容易にする方法が提案されている（例えば、特許文献２参照）。
【０００６】
また、スチルカメラの露出制御において、主要部測光エリア内に主要部以外の背景を含む率を少なくして主要部の測光精度を向上させるための方法として、測距回路により求められた主要被写体までの距離に基づいて主要被写体の顔サイズを決定し、決定された顔サイズをほぼカバーする主要部測光エリアを求め、主要部測光エリア内に位置する多分割測光素子の出力により露出制御を行う方法が提案されている（例えば、特許文献３参照）。
【０００７】
さらに、車載用カメラにおいて、画面の高輝度部分の影響を排除して自車が走行する車線部分の輝度レベルを安定に保つために、画像内の自車が走行する車線部分を検出し、車線部分の輝度が予め定められた目標輝度となるようにアイリスあるいはシャッタを調節して露出制御を行う方法が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−２１７２７６号公報
【特許文献２】特開２００５−２７４５１８号公報
【特許文献３】特開平５−６６４５８号公報
【特許文献４】特開平８−２４０８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１の方法では、音声信号により発言者を特定しているため、テレビ会議システムのような室内の限られた条件下では発言者を特定できても、車載用撮像装置のような屋外で距離も様々で騒音も多いといった条件下では適用は困難である。
【００１０】
また、特許文献２の方法では、車速に応じてズームされるために、例えば高速走行時は画角が狭くなって周囲の画像が得られない状態、つまり視野が狭くなった状態となり、自車の側方等から向かって来る障害物を見落とすという問題が発生する。
【００１１】
さらに、特許文献３の方法では、主要被写体までの距離情報を得るために測距回路が必須でシステムが複雑で大掛かりとなり、さらに対象を人物に限定しているために、車載用撮像装置のように多様な物体を撮像対象とするシステムにはそぐわない。
【００１２】
また、特許文献４の方法では、道路に露出を合わせるようになっており、画像中の運転者が注目したいあるいは注目すべき領域が必ずしも適正な露出となるわけではない。
【００１３】
本発明は、上記事情に鑑みてなされたもので、画像内の運転者が注目したいあるいは注目すべき領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
１．本発明の車載用撮像装置は、撮像される画像の露出を制御する露出制御部を有する撮像部を備えた車載用撮像装置において、前記撮像部で撮像される画像中の注目領域を決定する注目領域決定部と、前記撮像部で撮像される画像の中の前記注目領域を含む領域の露出を前記露出制御部に制御させるための制御信号を出力する撮像制御部とを備え、前記注目領域決定部は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定する。
【００１５】
２．運転者の操作情報を検出する操作情報検出部を更に備え、前記注目領域決定部は、前記操作情報検出部の出力に基づいて、前記注目領域を決定することが好ましい。
【００１６】
３．前記撮像制御部は、前記露出制御部に、前記撮像部で撮像される画像の中の前記注目領域を含む領域の画像の露出が所定の露出となるように制御させるための制御信号を出力することが好ましい。
【００１７】
４．前記撮像制御部の制御信号に従って前記露出制御部によって制御された露出で撮像された画像を表示する表示部を備えたことが好ましい。
【００１８】
５．本発明の撮像方法は、撮像を行う撮像工程と、前記撮像工程で撮像される画像中の注目領域を決定する注目領域決定工程と、前記撮像工程で撮像される画像の中の前記注目領域決定工程によって決定された注目領域を含む領域の露出を制御する撮像制御工程とを備え、前記注目領域決定工程は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定する。
【発明の効果】
【００１９】
本発明によれば、画像内の運転者が注目したいあるいは注目すべき領域の露出を制御することにより、画像中の運転者が注目したいあるいは注目すべき領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】車載用撮像装置の概要を示す模式図である。
【図２】車載用撮像装置の構成を示すブロック図である。
【図３】撮像部の構成を示すブロック図である。
【図４】撮像素子の間引き撮像を説明する模式図である。
【図５】ステアリング検出部でのステアリングの操舵角の検出と注目領域の位置の設定方法とを説明するための模式図である。
【図６】方向指示器検出部での方向指示器の操作状況の検出と注目領域の位置の設定方法とを説明するためのグラフである。
【図７】速度検出部での自車の走行速度の検出と注目領域の大きさの設定方法とを説明するための模式図である。
【図８】撮像素子の駆動方法を説明するための撮像素子の撮像面上の画像の模式図である。
【図９】画像処理部の構成を示すブロック図である。
【図１０】画像処理部における解像度制御を説明するためのタイミングチャートである。
【図１１】撮像制御部で行われる露出制御について説明するための撮像素子の撮像面上の画像の模式図である。
【図１２】本実施の形態における動作の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
【００２２】
まず最初に、本発明における車載用撮像装置の一例について、図１を用いて説明する。図１は車載用撮像装置１００の概要を示す模式図で、図１（ａ）は車載用撮像装置１００を搭載した車両２００が道路上を走行している状態を上空から見た模式図、図１（ｂ）はその時の車載用撮像装置１００で撮像された画像の模式図である。
【００２３】
図１（ａ）および（ｂ）において、車両の後方を撮像する車載用撮像装置１００を搭載した車両２００は、白線２４１と２４２とで示された車線２５１上を紙面の右から左に走行している。車両２００の後方には、同一車線２５１上に車両２１０が、白線２４２と２４３とで示された車線２５２上に車両２２０がそれぞれ車両２００と同方向に走行している。
【００２４】
本例においては、上述した画像内の運転者が注目したいあるいは注目すべき領域（以下、注目領域ＮＡと言う）に相当するのは、例えば減速時には自車の後方の領域であり、そこには車両２１０が存在し、例えば右側の車線２５２に車線変更する場合には自車の右後側方の領域であり、そこには車両２２０が存在する。なお、図１（ｂ）に示した画像は例えばカーナビゲーションシステムのモニタやフロントガラス上に画像等を表示するヘッドアップディスプレイ等に表示された表示画像ＤＰで、本例においては、後方の状況を把握しやすくするために、左右がルームミラーで見たと同じ状態となるように、車載用撮像装置１００で撮像された画像を左右反転させて表示している。
【００２５】
また、ここでは車載用撮像装置１００として車両後方を撮像する例を示したが、これに限るものではなく、車両前方、側方を撮像するものであってもよい。また、ステアリングの操舵角に応じて車載用撮像装置１００の撮像光軸を可変に制御するものであってもよい。車両後方、前方、側方あるいはステアリングの操舵角に応じて撮像光軸を可変に制御等して撮像する場合の表示画像については、運転者が視認しやすいように適宜左右反転等を行って表示することが望ましい。
【００２６】
次に、車載用撮像装置１００の実施の形態について、図２を用いて説明する。図２は、車載用撮像装置１００の構成を示すブロック図である。
【００２７】
図２において、車載用撮像装置１００は、撮像部１１０、操作情報検出部１２０、注目領域決定部１３０、撮像制御部１４０、画像処理部１５０および表示部１６０等で構成されている。操作情報検出部１２０は、ステアリング検出部１２１、方向指示器検出部１２２および速度検出部１２３等で構成されている。
【００２８】
撮像部１１０は、行単位での間引き読出駆動が可能な撮像素子を備えたカメラである。詳細な構成は図３に示す。操作情報検出部１２０において、ステアリング検出部１２１はステアリングの操舵角を検出し、方向指示器検出部１２２は方向指示器の操作状況を検出し、速度検出部１２３は車両の走行速度を検出し、それぞれの検出結果を注目領域決定部１３０へ出力する。注目領域決定部１３０は、操作情報検出部１２０の各検出部の検出結果に基づいて注目領域ＮＡを決定し、注目領域ＮＡの位置を注目領域情報１３０ａとして撮像制御部１４０へ出力する。
【００２９】
撮像制御部１４０は、注目領域情報１３０ａに基づいて、注目領域ＮＡの解像度および露出を変更するための制御信号１４０ａを撮像部１１０および画像処理部１５０へ出力するとともに、注目領域情報１３０ａを画像処理部１５０へ出力する。画像処理部１５０は、撮像制御部１４０の制御信号１４０ａおよび注目領域情報１３０ａに基づいて撮像部１１０の画像信号１１０ａに画像として表示するための既定の画像処理を施し、処理信号１５０ａを表示部１６０に出力する。
【００３０】
表示部１６０は、例えばカーナビゲーションシステムのモニタやフロントガラス上に画像等を表示するヘッドアップディスプレイ等で構成され、処理信号１５０ａを画像として表示する。ここでは、表示部１６０はＶＧＡ（水平６４０画素×垂直４８０行）の画像を毎秒６０フレーム（以下、６０ｆｐｓと言う）で表示可能なものとする。
【００３１】
以上のような構成で、通常は、撮像部１１０が持つ最大解像度よりも低い解像度で撮像（所謂間引き撮像）された画像信号１１０ａが、画像処理部１５０を介して表示部１６０に表示される。一方、操作情報検出部１２０で何らかの運転者の操作が検出された（例えば右側の車線に車線変更するために右の方向指示器を操作することで、方向指示器検出部１２２により右の方向指示器の操作が検出された）場合、注目領域決定部１３０で注目領域ＮＡ（上述した例によれば、画面右下部）が決定され、注目領域情報１３０ａが撮像制御部１４０に向けて出力される。
【００３２】
注目領域情報１３０ａに従って、撮像部１１０、撮像制御部１４０および画像処理部１５０によって、注目領域ＮＡの解像度が高く、露出が適正に制御された画像が撮像され、表示部１６０に表示され、運転者の操作に応じた画像が自動的に視認できる状態となる。各部の詳細な動作については、図３以降に述べる。
【００３３】
なお、本実施の形態においては処理信号１５０ａを表示部１６０に出力するとしたが、その代わりに、例えば処理信号１５０ａあるいは処理信号１５０ａの中の注目領域ＮＡの画像信号を、特定の被写体を抽出することで危険を警告したり、自動的に危険回避運転を行ったりする安全運転支援システムに入力することでもよい。
【００３４】
次に、図２に示した各部の詳細について、図３乃至図１２を用いて説明する。
【００３５】
図３は、上述した撮像部１１０の構成を示すブロック図である。図３において、撮像部１１０は、撮像レンズ１１１、絞り１１２、撮像素子１１３、アンプ１１４、アナログデジタル（Ａ／Ｄ）変換器１１５、インターフェース１１６、タイミングジェネレータ１１７、絞り制御部１１８等で構成されている。
【００３６】
撮像レンズ１１１で結像され、絞り制御部１１８によって制御された絞り１１２で光量制御された被写体からの光は撮像素子１１３で光電変換され、アンプ１１４で増幅され、Ａ／Ｄ変換器でデジタルデータに変換され、インターフェース１１６を介して画像信号１１０ａとして出力される。これらの一連の撮像動作およびアンプ１１４の増幅率は、タイミングジェネレータ１１７によって制御される。
【００３７】
一方、上述した撮像制御部１４０からの制御信号１４０ａはインターフェース１１６を介してタイミングジェネレータ１１７および絞り制御部１１８に入力され、制御信号１４０ａに従って、撮像素子１１３の読出の解像度、露出時間およびアンプ１１４の増幅率、および絞り１１２の絞り値等の制御が行われる。ここに、タイミングジェネレータ１１７は本発明における解像度制御部として機能し、タイミングジェネレータ１１７および絞り制御部１１８は本発明における露出制御部として機能する。
【００３８】
図４は、撮像素子１１３の間引き撮像を説明する模式図で、図４（ａ）は撮像素子１１３の仕様を例示した模式図、図４（ｂ）は垂直方向を１／２に間引き撮像する場合の駆動方法を例示した模式図、図４（ｃ）は間引き撮像によって生成される間引き画像を例示した模式図である。
【００３９】
図４（ａ）において、撮像素子１１３は、例えば、画素数がＶＧＡ（水平６４０画素×垂直４８０行）で、３０ｆｐｓのフレームレートで撮像可能な撮像素子であるとする。この撮像素子１１３を、図４（ｂ）に示すように垂直方向に２行読み出し、続く２行を読み出さずに読み飛ばすという垂直１／２間引き撮像駆動すると、図４（ｃ）に示すような水平６４０画素×垂直２４０行の垂直１／２間引き画像を得ることができ、この場合のフレームレートは６０ｆｐｓとなり、高速読出が可能となる。
【００４０】
ここで、「垂直方向に２行読み出し、続く２行を読み飛ばす」としているのは、撮像素子１１３が例えばベイヤ配列の原色（ＲＧＢ）カラーフィルタを備えている場合を想定しており、その場合に色情報の欠落を起こさずに垂直１／２間引き駆動が可能となる駆動方法を示している。撮像素子１１３がモノクロームの場合や、所謂ナイトビジョンと呼ばれる遠赤外線カメラの画像等の場合には、「垂直方向に１行読み出し、続く１行を読み飛ばす」ことで垂直１／２間引き駆動が可能となる。ここでは垂直１／２間引き駆動のみを説明したが、例えば垂直２／３間引き駆動や垂直１／４間引き等も、上述した色情報の欠落等に配慮すれば可能である。
【００４１】
図５は、ステアリング検出部１２１でのステアリングの操舵角θの検出と注目領域ＮＡの位置の設定方法とを説明するための模式図であり、図５（ａ）は表示画像ＤＰ上の注目領域ＮＡの位置の移動を示す模式図、図５（ｂ）は操舵角θと注目領域ＮＡの中心点の位置の関係を示す模式的なグラフである。
【００４２】
図５（ａ）において、表示画像ＤＰの水平中央を注目領域ＮＡの中心点の位置Ｄの基本位置０（ゼロ）とし、右方向へ１．０、左方向に−１．０と中心点の位置Ｄの左右への移動量を決定する。中心点の位置Ｄの左右への移動量は任意であり、理論計算や実験等によって決定されればよい。次に、図５（ｂ）に示す関係に従って操舵角θから注目領域ＮＡの中心点の位置Ｄを決定することで、注目領域ＮＡを操舵角θに合わせて移動させることができる。例えばステアリングが右方向に操舵角θ１だけきられたとすると、図５（ａ）に破線で示したように、注目領域ＮＡの位置は表示画像ＤＰの水平中央から右にｄ１だけ移動される。
【００４３】
なお、図５（ｂ）では操舵角θと注目領域ＮＡの中心点の位置Ｄとは略線形の関係として図示してあるが、これに限るものではなく、理論計算や実験等によって任意の関係に決定すればよい。また、ステアリング検出部１２１の検出結果が注目領域ＮＡの位置に反映されるのは、図６で説明する方向指示器検出部１２２による検出で方向指示器が未操作の場合のみである。
【００４４】
図６は、方向指示器検出部１２２での方向指示器の操作状況の検出と注目領域ＮＡの位置の設定方法とを説明するためのグラフである。
【００４５】
図６において、方向指示器検出部１２２での検出の結果、方向指示器が未操作であると判断された場合は、注目領域ＮＡの中心点の位置Ｄは方向指示器検出部１２２の検出結果によっては変更されず、図５で説明したステアリング検出部１２１の検出結果が反映される。
【００４６】
方向指示器が右に操作されたと検出された場合には、注目領域ＮＡの中心点の位置Ｄは図５で予め決定された移動量の右端の位置（１．０の位置）に移動される。逆に、方向指示器が左に操作されたと検出された場合には、注目領域ＮＡの中心点の位置Ｄは左端の位置（−１．０の位置）に移動される。この場合には、運転者が左右どちらかへ曲がるあるいは車線変更するといった意思を示していると判断し、ステアリング検出部１２１の検出結果は反映されない。
【００４７】
図７は、速度検出部１２３での自車の走行速度Ｖの検出と注目領域ＮＡの大きさの設定方法とを説明するための模式図であり、図７（ａ）は走行速度Ｖと注目領域ＮＡの大きさの関係を示す模式的なグラフ、図７（ｂ）は表示画像ＤＰ上の注目領域ＮＡの大きさの関係を示す模式図である。
【００４８】
図７（ａ）において、注目領域ＮＡの大きさは、速度Ａから速度Ｂの間では速度が速くなるにつれて最大の大きさＮＡｍａｘから最少の大きさＮＡｍｉｎへと徐々に小さくなる。これを模式的に示したのが図７（ｂ）である。これは、走行速度Ｖが速くなるほどより遠距離の情報が必要となるが、同じ大きさの物体でも遠距離になるほど画像が小さくなるので、注目領域ＮＡの大きさは小さくて済むからである。また、走行速度Ｖが早くなるほど高フレームレートでの撮像を維持する必要があるが、上述したように注目領域ＮＡの大きさが小さくて済めば、間引き撮像の範囲が広く設定できるためにフレームレートの低下を防止することができる。
【００４９】
また、速度Ａ以下では注目領域ＮＡの大きさは最大の大きさＮＡｍａｘで維持され、速度Ｂ以上では最少の大きさＮＡｍｉｎで維持される。最大の大きさＮＡｍａｘは、例えば運転者が視認する必要のある対象物体（例えば後続の車両等）が近接距離にある場合に撮像画面上で視認できる大きさに設定され、最少の大きさＮＡｍｉｎは、例えば運転者が視認する必要のある対象物体（例えば後続の車両等）が遠距離にある場合に撮像画面上で視認できる大きさに設定される。
【００５０】
なお、図７（ａ）では、速度Ａから速度Ｂの間では走行速度Ｖと注目領域ＮＡの大きさとは略反比例の関係として図示したが、これに限るものではなく、理論計算や実験等によって任意の関係に決定すればよい。また、注目領域ＮＡの形状も、図５や図７に示したような正方形に限るものではなく、車両の形状に合わせた横長の長方形であってもよいし、人物に合わせた縦長の長方形であってもよい。さらにこれらの組み合わせであってもよい。
【００５１】
図８は、撮像素子１１３の駆動方法を説明するための撮像素子１１３の撮像面上の画像の模式図である。ここでは、撮像素子１１３の撮像面上の右下部に注目領域ＮＡが１つだけ存在する例を示している。上述したような方法で注目領域ＮＡの位置と大きさが決定されると、撮像素子１１３は、注目領域ＮＡが存在しない領域Ａおよび領域Ｃでは、図４に示したと同様に垂直１／２間引き駆動され、注目領域ＮＡが存在する領域Ｂでは間引き駆動を行わずに全行を読み出す全行読出駆動が行われる。
【００５２】
図９は、画像処理部１５０の構成を示すブロック図である。図２に示したように、撮像部１１０の画像信号１１０ａは画像処理部１５０に入力され、表示するための既定の画像処理が施され、処理信号１５０ａとして表示部１６０へ出力される。ここでは、画像処理部１５０で施される解像度制御についてのみ説明し、色変換、ガンマ変換等の一般的な画像処理については、通常の場合の処理と同じであるので説明は省略する。
【００５３】
図９において、画像処理部１５０は、水平間引き部１５１およびフレームレート制御部１５３等で構成される。水平間引き部１５１は、遅延部１５１ａおよびセレクタ１５１ｂ等で構成され、フレームレート制御部１５３はフレームメモリ１５３ａ等で構成される。
【００５４】
まず水平間引き部１５１について説明する。画像処理部１５０に入力された画像信号１１０ａは、セレクタ１５１ｂのＡ入力と遅延部１５１ａとに入力される。遅延部１５１ａは、例えばメモリ等で構成され、入力された画像信号１１０ａを２画素分遅延させて遅延信号１５１ｃとしてセレクタ１５１ｂのＢ入力に入力する。セレクタ１５１ｂは、撮像制御部１４０から入力された注目領域情報１３０ａに従って、Ａ入力またはＢ入力のどちらかの信号を選択してセレクタ出力１５１ｄとして出力する。これらの動作はデータクロックＤ−ＣＬＫに同期して行われる。
【００５５】
画像信号１１０ａは、注目領域ＮＡ以外は垂直方向が間引き駆動により本来の１／２の行数しか存在しないのに対して、水平方向の画素の画像信号は常に全画素（ここでは６４０画素）分のデータが存在している。そこで、水平方向も、色情報が欠落しないように配慮しながら、１／２の３２０画素分のデータに間引きする。
【００５６】
間引きの方法は、注目領域ＮＡ以外の領域では遅延部１５１ａとセレクタ１５１ｂを用いて、画像信号１１０ａとそれを２画素分遅延させた遅延信号１５１ｃとを２画素毎に切り換えることで水平１／２間引きを行ってセレクタ出力１５１ｄとし、注目領域ＮＡではセレクタ１５１ｂが常にＡ入力を選択するようにして、間引きは行わず、画像信号１１０ａをセレクタ出力１５１ｄとする。
【００５７】
次に、フレームレート制御部１５３について説明する。セレクタ出力１５１ｄは、フレームレート制御部１５３のフレームメモリ１５３ａに入力され、記憶される。記憶されたセレクタ出力１５１ｄは、表示部１６０の画像表示のフレームレートに合わせて、処理信号１５０ａとして表示部１６０に向けて出力される。上述した各動作は、データクロックＤ−ＣＬＫに同期して行われる。
【００５８】
画像信号１１０ａのフレームレートは最大で６０ｆｐｓで、注目領域ＮＡの大きさによって変化する。そのため、処理信号１５０ａのフレームレートも変化する。それに対して、表示部１６０での画像表示は常に６０ｆｐｓの既定のフレームレートで動作している。従って、処理信号１５０ａの信号の更新が表示部１６０での表示のフレームレートに追いつけなくなる場合が発生するため、何らかのフレームの挿入を行って、表示がとぎれることを防止する必要がある。
【００５９】
ここでは、フレームメモリ１５３ａに複数フレームの処理信号１５０ａを記憶しておき、フレーム挿入が必要となった場合には、直前のフレームの処理信号１５０ａを繰り返し出力することでフレーム挿入とする。
【００６０】
また、フレームレート制御部１５３では垂直補間処理も行われ、注目領域ＮＡ以外の領域では、垂直２行の画像信号１１０ａを出力した後、再び同じ垂直２行の画像信号１１０ａを出力することで、垂直補間が行われる。注目領域ＮＡでは各垂直行の画像信号１１０ａがそのまま出力される。
【００６１】
図１０は、上述した画像処理部１５０における解像度制御を説明するためのタイミングチャートで、図１０（ａ）は水平間引き部１５１の動作を説明するためのタイミングチャート、図１０（ｂ）はフレームレート制御部１５３の動作を説明するためのタイミングチャートである。
【００６２】
図１０（ａ）において、撮像制御部１４０からセレクタ１５１ｂに入力される注目領域情報１３０ａが低電位（Ｌ）、すなわち注目領域ＮＡでない場合、セレクタ１５１ｂでの入力端子の選択は、データクロックＤ−ＣＬＫに同期して、Ａ、Ａ、Ｂ、ＢとＡ入力とＢ入力とが２度ずつ交互に選択される。一方、画像信号１１０ａは、０（ゼロ）画素目、１画素目、２画素目と画素順にセレクタ１５１ｂのＡ入力と遅延部１５１ａとに入力される。遅延部では画像信号１１０ａが２画素分遅延されて遅延信号１５１ｃとされる。
【００６３】
よって、セレクタ出力１５１ｄは、０（ゼロ）画素目、１画素目、０画素目、１画素目、４画素目、５画素目、４画素目、５画素目となり、２画素目、３画素目が間引かれた水平１／２間引きが行われたことになる。なお、セレクタ出力１５１ｄは、データクロックＤ−ＣＬＫに同期して出力されるために、画像信号１１０ａに対して１Ｄ−ＣＬＫ分遅延される。
【００６４】
また、注目領域情報１３０ａが高電位（Ｈ）、すなわち注目領域ＮＡの場合、セレクタ１５１ｂでの入力端子の選択は、データクロックＤ−ＣＬＫに同期して、Ａ、Ａ、Ａ、ＡとＡ入力だけが選択される。よって、セレクタ出力１５１ｄは、８画素目、９画素目、１０画素目、１１画素目となり、水平間引きは行われない。このようにして、注目領域ＮＡについては高解像度の画像が出力され、注目領域ＮＡ以外の領域では１／２間引きされた低解像度の画像が出力される。
【００６５】
図１０（ｂ）において、セレクタ出力１５１ｄは、０（ゼロ）フレーム目ＦＬ０、１フレーム目ＦＬ１、２フレーム目ＦＬ２と、６０ｆｐｓ以下の注目領域ＮＡの大きさに依存する可変のフレームレートで順次出力される。フレームレート制御部１５３では、入力された複数フレーム分のセレクタ出力１５１ｄをフレームメモリ１５３ａに記憶し、表示部１６０のフレームレートに合わせて、セレクタ出力１５１ｄにフレーム挿入を行いながら処理信号１５０ａとして出力する。図１０（ｂ）の処理信号１５０ａで、破線で示したフレーム（例えば２つ目のＦＬ１）がフレーム挿入されたフレームである。
【００６６】
図１１は、撮像制御部１４０で行われる露出制御について説明するための撮像素子１１３の撮像面上の画像の模式図である。ここでは、図８と同じく、撮像素子１１３の撮像面上の右下部に注目領域ＮＡが１つだけ存在する例を示している。
【００６７】
図１１において、撮像制御部１４０では、注目領域決定部１３０によって決定された注目領域ＮＡ内の画像信号１１０ａの各色信号（ＲＧＢ）毎の平均値Ｒａ、Ｇａ、Ｂａから、以下の（１式）により注目領域内輝度Ｙｎａが算出される。
Ｙｎａ＝０．２９８９×Ｒａ＋０．５８６６×Ｇａ＋０．１１４５×Ｂａ・・・（１式）
【００６８】
次に、算出された注目領域内輝度Ｙｎａが表示部１６０での適正な輝度となるように、撮像部１１０の絞り１１２の絞り値、撮像素子１１３の露出時間、アンプ１１４の増幅率等の制御値が算出され、制御信号１４０ａとして撮像部１１０に向けて出力される。撮像部１１０では、制御信号１４０ａの指示する絞り値、露出時間、増幅率等に従って撮像が行われ、注目領域ＮＡが表示部１６０で適正な明るさに表示される。
【００６９】
ここでは、注目領域ＮＡ内の画像信号１１０ａのみを用いて撮像部１１０の露出を決定する例を示したが、これに限るものではなく、注目領域ＮＡとそれ以外の領域とで重み付けを変えて注目領域ＮＡ重点の露出とする等、カメラで培われた露出制御技術を適用してもよい。
【００７０】
図１２は、本実施の形態における動作の流れを説明するためのフローチャートである。図１２において、まず最初に、ステップＳ１０１で垂直１／２間引き駆動にて１フレーム分の撮像が行われる。ステップＳ１０３で方向指示器の操作が行われたか否かが方向指示器検出部１２２により確認される。方向指示器の操作が行われた場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１１１で、検出結果に基づき、図６に示した方法にて注目領域ＮＡの位置が決定され、ステップＳ１４１に進む。
【００７１】
方向指示器の操作が行われなかった場合（ステップＳ１０３；Ｎｏ）、ステップＳ１２１でステアリングの操作が行われたか否かがステアリング検出部１２１により確認される。ステアリングの操作が行われた場合（ステップＳ１２１；Ｙｅｓ）、ステップＳ１３１で、検出結果に基づき、図５に示した方法にて注目領域ＮＡの位置が決定され、ステップＳ１４１に進む。
【００７２】
ステアリングの操作が行われなかった場合（ステップＳ１２１；Ｎｏ）、ステップＳ１５１でステップＳ１０１で撮像された画像が表示部１６０に表示される。ステップＳ１５３で撮像動作を終了するか否かが確認され、終了する場合（ステップＳ１５３；Ｙｅｓ）はそのまま動作が終了され、終了しない場合（ステップＳ１２１；Ｎｏ）はステップＳ１０１に戻って上述した撮像動作を繰り返す。
【００７３】
ステップＳ１４１で、速度検出部１２３により自車の車速が検出され、検出結果に基づき、図７に示した方法にて、ステップＳ１１１またはステップＳ１３１で位置が決定された注目領域ＮＡの大きさが決定される。ステップＳ１４３で図１１に示した方法にて注目領域ＮＡ内が所定の露出となるような露出の制御値が決定される。ステップＳ１４５で、ステップＳ１４３で決定された露出の制御値に従って撮像部１１０により撮像が行われる。
【００７４】
ステップＳ１５１でステップＳ１０１で撮像された画像が表示部１６０に表示される。フレーム挿入が必要な場合は、挿入が行われる。ステップＳ１５３で撮像動作を終了するか否かが確認され、終了する場合（ステップＳ１５３；Ｙｅｓ）はそのまま動作が終了され、終了しない場合（ステップＳ１２１；Ｎｏ）はステップＳ１０１に戻って上述した撮像動作を繰り返す。
【００７５】
ここに、ステップＳ１０１およびステップＳ１４５は本発明における撮像工程として、ステップＳ１０３およびステップＳ１２１は本発明における操作情報検出工程として、ステップＳ１１１、ステップＳ１３１およびステップＳ１４１は本発明における注目領域決定工程として、ステップＳ１４３は本発明における撮像制御工程として、ステップＳ１５１は本発明における表示工程として機能する。
【００７６】
以上に述べたように、本実施の形態によれば、方向指示器、ステアリング等の操作状況によって運転者の意思を検知し、運転者の操作情報から運転者が注目したい、あるいは注目すべき領域即ち注目領域を決定し、注目領域の画像を高解像度で所定の露出で表示することにより、運転者にとって重要度の高い領域の画像を高解像度かつ所定の露出で正確に視認できるようになり、重要度の高い物体の誤認や、衝突、人身事故等の危険を回避する安全運転に大きく寄与することができる。
【００７７】
以上に述べたように、本発明によれば、運転者の操作情報を検出し、検出結果に基づいて画像内の注目領域の解像度および露出の何れか一方あるいは両方を制御することにより、画像中の注目領域の解像度および露出の何れか一方あるいは両方が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【００７８】
尚、本発明に係る車載用撮像装置および車載用撮像装置の撮像方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【００７９】
１００ 車載用撮像装置
１１０ 撮像部
１１１ 撮像レンズ
１１２ 絞り
１１３ 撮像素子
１１４ アンプ
１１５ アナログデジタル（Ａ／Ｄ）変換器
１１６ インターフェース
１１７ タイミングジェネレータ
１１８ 絞り制御部
１２０ 操作情報検出部
１３０ 注目領域決定部
１４０ 撮像制御部
１５０ 画像処理部
１６０ 表示部
２００ 車両
２１０ 車両
２２０ 車両
２４１ 白線
２４２ 白線
２４３ 白線
２５１ 車線
２５２ 車線
ＮＡ 注目領域
【技術分野】
【０００１】
本発明は、車載用撮像装置および車載用撮像装置の撮像方法に関し、特に、画像内の注目領域を決定し、注目領域に基づいて画像内の注目領域を含む領域の露出を制御する車載用撮像装置および車載用撮像装置の撮像方法に関する。
【背景技術】
【０００２】
従来の車載用撮像装置においては、例えば走行中に道路上の車両や路側の人物や道路標識をカーナビゲーションシステムのモニタに映し出すために、あるいは、撮像した動画像から道路上の障害物や路側からの人物の飛び出し等を検知して警告を行う安全運転支援システムのために、車載カメラが撮像可能な最大の解像度よりも低い解像度の画像を高フレームレートで撮像することにより、限られた画像信号転送速度の中でフレーム間の画像の変化があまり大きくない滑らかな動画像を得るような工夫が行われている。
【０００３】
しかし、この方法では滑らかな動画像が得られるという意味では画質は向上するが、得られる画像の解像度が低いために、例えばモニタに映し出された画像中の物体が何であるか（例えば車両か建物か等）の判別がつきにくく、特に車線変更時の後側方や減速時の後方の車両の有無や、右左折時の進行方向の人物や車両の有無の確認において誤認の可能性があり、それによる事故等の危険が発生したりする。
【０００４】
つまり、少なくとも車線変更時の後側方や減速時の後方、あるいは右左折時の進行方向のような、画像中の運転者が注目したいあるいは注目すべき領域の解像度については、可能な限り高解像度にしたいという要求がある。また、画像の露出についても、視認性の向上の意味から、画像中の運転者が注目したいあるいは注目すべき領域が適正な露出となることが望ましい。
【０００５】
そこで、例えば、テレビ会議システムにおいて発言者の画像を鮮明に表示するための方法として、ステレオマイクから得られた音声信号により発言者の位置を推定し、推定された位置を中心に所定の範囲の画像領域を他の画像領域より高解像度にする方法が提案されている（例えば、特許文献１参照）。あるいは、車載カメラシステムにおいて、自車の運行速度に応じて撮影ズーム率を変更することにより撮影距離を変更して撮影することで、鮮明な画像を取得し、危険障害物の検知を容易にする方法が提案されている（例えば、特許文献２参照）。
【０００６】
また、スチルカメラの露出制御において、主要部測光エリア内に主要部以外の背景を含む率を少なくして主要部の測光精度を向上させるための方法として、測距回路により求められた主要被写体までの距離に基づいて主要被写体の顔サイズを決定し、決定された顔サイズをほぼカバーする主要部測光エリアを求め、主要部測光エリア内に位置する多分割測光素子の出力により露出制御を行う方法が提案されている（例えば、特許文献３参照）。
【０００７】
さらに、車載用カメラにおいて、画面の高輝度部分の影響を排除して自車が走行する車線部分の輝度レベルを安定に保つために、画像内の自車が走行する車線部分を検出し、車線部分の輝度が予め定められた目標輝度となるようにアイリスあるいはシャッタを調節して露出制御を行う方法が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−２１７２７６号公報
【特許文献２】特開２００５−２７４５１８号公報
【特許文献３】特開平５−６６４５８号公報
【特許文献４】特開平８−２４０８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１の方法では、音声信号により発言者を特定しているため、テレビ会議システムのような室内の限られた条件下では発言者を特定できても、車載用撮像装置のような屋外で距離も様々で騒音も多いといった条件下では適用は困難である。
【００１０】
また、特許文献２の方法では、車速に応じてズームされるために、例えば高速走行時は画角が狭くなって周囲の画像が得られない状態、つまり視野が狭くなった状態となり、自車の側方等から向かって来る障害物を見落とすという問題が発生する。
【００１１】
さらに、特許文献３の方法では、主要被写体までの距離情報を得るために測距回路が必須でシステムが複雑で大掛かりとなり、さらに対象を人物に限定しているために、車載用撮像装置のように多様な物体を撮像対象とするシステムにはそぐわない。
【００１２】
また、特許文献４の方法では、道路に露出を合わせるようになっており、画像中の運転者が注目したいあるいは注目すべき領域が必ずしも適正な露出となるわけではない。
【００１３】
本発明は、上記事情に鑑みてなされたもので、画像内の運転者が注目したいあるいは注目すべき領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
１．本発明の車載用撮像装置は、撮像される画像の露出を制御する露出制御部を有する撮像部を備えた車載用撮像装置において、前記撮像部で撮像される画像中の注目領域を決定する注目領域決定部と、前記撮像部で撮像される画像の中の前記注目領域を含む領域の露出を前記露出制御部に制御させるための制御信号を出力する撮像制御部とを備え、前記注目領域決定部は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定する。
【００１５】
２．運転者の操作情報を検出する操作情報検出部を更に備え、前記注目領域決定部は、前記操作情報検出部の出力に基づいて、前記注目領域を決定することが好ましい。
【００１６】
３．前記撮像制御部は、前記露出制御部に、前記撮像部で撮像される画像の中の前記注目領域を含む領域の画像の露出が所定の露出となるように制御させるための制御信号を出力することが好ましい。
【００１７】
４．前記撮像制御部の制御信号に従って前記露出制御部によって制御された露出で撮像された画像を表示する表示部を備えたことが好ましい。
【００１８】
５．本発明の撮像方法は、撮像を行う撮像工程と、前記撮像工程で撮像される画像中の注目領域を決定する注目領域決定工程と、前記撮像工程で撮像される画像の中の前記注目領域決定工程によって決定された注目領域を含む領域の露出を制御する撮像制御工程とを備え、前記注目領域決定工程は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定する。
【発明の効果】
【００１９】
本発明によれば、画像内の運転者が注目したいあるいは注目すべき領域の露出を制御することにより、画像中の運転者が注目したいあるいは注目すべき領域の露出が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】車載用撮像装置の概要を示す模式図である。
【図２】車載用撮像装置の構成を示すブロック図である。
【図３】撮像部の構成を示すブロック図である。
【図４】撮像素子の間引き撮像を説明する模式図である。
【図５】ステアリング検出部でのステアリングの操舵角の検出と注目領域の位置の設定方法とを説明するための模式図である。
【図６】方向指示器検出部での方向指示器の操作状況の検出と注目領域の位置の設定方法とを説明するためのグラフである。
【図７】速度検出部での自車の走行速度の検出と注目領域の大きさの設定方法とを説明するための模式図である。
【図８】撮像素子の駆動方法を説明するための撮像素子の撮像面上の画像の模式図である。
【図９】画像処理部の構成を示すブロック図である。
【図１０】画像処理部における解像度制御を説明するためのタイミングチャートである。
【図１１】撮像制御部で行われる露出制御について説明するための撮像素子の撮像面上の画像の模式図である。
【図１２】本実施の形態における動作の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
【００２２】
まず最初に、本発明における車載用撮像装置の一例について、図１を用いて説明する。図１は車載用撮像装置１００の概要を示す模式図で、図１（ａ）は車載用撮像装置１００を搭載した車両２００が道路上を走行している状態を上空から見た模式図、図１（ｂ）はその時の車載用撮像装置１００で撮像された画像の模式図である。
【００２３】
図１（ａ）および（ｂ）において、車両の後方を撮像する車載用撮像装置１００を搭載した車両２００は、白線２４１と２４２とで示された車線２５１上を紙面の右から左に走行している。車両２００の後方には、同一車線２５１上に車両２１０が、白線２４２と２４３とで示された車線２５２上に車両２２０がそれぞれ車両２００と同方向に走行している。
【００２４】
本例においては、上述した画像内の運転者が注目したいあるいは注目すべき領域（以下、注目領域ＮＡと言う）に相当するのは、例えば減速時には自車の後方の領域であり、そこには車両２１０が存在し、例えば右側の車線２５２に車線変更する場合には自車の右後側方の領域であり、そこには車両２２０が存在する。なお、図１（ｂ）に示した画像は例えばカーナビゲーションシステムのモニタやフロントガラス上に画像等を表示するヘッドアップディスプレイ等に表示された表示画像ＤＰで、本例においては、後方の状況を把握しやすくするために、左右がルームミラーで見たと同じ状態となるように、車載用撮像装置１００で撮像された画像を左右反転させて表示している。
【００２５】
また、ここでは車載用撮像装置１００として車両後方を撮像する例を示したが、これに限るものではなく、車両前方、側方を撮像するものであってもよい。また、ステアリングの操舵角に応じて車載用撮像装置１００の撮像光軸を可変に制御するものであってもよい。車両後方、前方、側方あるいはステアリングの操舵角に応じて撮像光軸を可変に制御等して撮像する場合の表示画像については、運転者が視認しやすいように適宜左右反転等を行って表示することが望ましい。
【００２６】
次に、車載用撮像装置１００の実施の形態について、図２を用いて説明する。図２は、車載用撮像装置１００の構成を示すブロック図である。
【００２７】
図２において、車載用撮像装置１００は、撮像部１１０、操作情報検出部１２０、注目領域決定部１３０、撮像制御部１４０、画像処理部１５０および表示部１６０等で構成されている。操作情報検出部１２０は、ステアリング検出部１２１、方向指示器検出部１２２および速度検出部１２３等で構成されている。
【００２８】
撮像部１１０は、行単位での間引き読出駆動が可能な撮像素子を備えたカメラである。詳細な構成は図３に示す。操作情報検出部１２０において、ステアリング検出部１２１はステアリングの操舵角を検出し、方向指示器検出部１２２は方向指示器の操作状況を検出し、速度検出部１２３は車両の走行速度を検出し、それぞれの検出結果を注目領域決定部１３０へ出力する。注目領域決定部１３０は、操作情報検出部１２０の各検出部の検出結果に基づいて注目領域ＮＡを決定し、注目領域ＮＡの位置を注目領域情報１３０ａとして撮像制御部１４０へ出力する。
【００２９】
撮像制御部１４０は、注目領域情報１３０ａに基づいて、注目領域ＮＡの解像度および露出を変更するための制御信号１４０ａを撮像部１１０および画像処理部１５０へ出力するとともに、注目領域情報１３０ａを画像処理部１５０へ出力する。画像処理部１５０は、撮像制御部１４０の制御信号１４０ａおよび注目領域情報１３０ａに基づいて撮像部１１０の画像信号１１０ａに画像として表示するための既定の画像処理を施し、処理信号１５０ａを表示部１６０に出力する。
【００３０】
表示部１６０は、例えばカーナビゲーションシステムのモニタやフロントガラス上に画像等を表示するヘッドアップディスプレイ等で構成され、処理信号１５０ａを画像として表示する。ここでは、表示部１６０はＶＧＡ（水平６４０画素×垂直４８０行）の画像を毎秒６０フレーム（以下、６０ｆｐｓと言う）で表示可能なものとする。
【００３１】
以上のような構成で、通常は、撮像部１１０が持つ最大解像度よりも低い解像度で撮像（所謂間引き撮像）された画像信号１１０ａが、画像処理部１５０を介して表示部１６０に表示される。一方、操作情報検出部１２０で何らかの運転者の操作が検出された（例えば右側の車線に車線変更するために右の方向指示器を操作することで、方向指示器検出部１２２により右の方向指示器の操作が検出された）場合、注目領域決定部１３０で注目領域ＮＡ（上述した例によれば、画面右下部）が決定され、注目領域情報１３０ａが撮像制御部１４０に向けて出力される。
【００３２】
注目領域情報１３０ａに従って、撮像部１１０、撮像制御部１４０および画像処理部１５０によって、注目領域ＮＡの解像度が高く、露出が適正に制御された画像が撮像され、表示部１６０に表示され、運転者の操作に応じた画像が自動的に視認できる状態となる。各部の詳細な動作については、図３以降に述べる。
【００３３】
なお、本実施の形態においては処理信号１５０ａを表示部１６０に出力するとしたが、その代わりに、例えば処理信号１５０ａあるいは処理信号１５０ａの中の注目領域ＮＡの画像信号を、特定の被写体を抽出することで危険を警告したり、自動的に危険回避運転を行ったりする安全運転支援システムに入力することでもよい。
【００３４】
次に、図２に示した各部の詳細について、図３乃至図１２を用いて説明する。
【００３５】
図３は、上述した撮像部１１０の構成を示すブロック図である。図３において、撮像部１１０は、撮像レンズ１１１、絞り１１２、撮像素子１１３、アンプ１１４、アナログデジタル（Ａ／Ｄ）変換器１１５、インターフェース１１６、タイミングジェネレータ１１７、絞り制御部１１８等で構成されている。
【００３６】
撮像レンズ１１１で結像され、絞り制御部１１８によって制御された絞り１１２で光量制御された被写体からの光は撮像素子１１３で光電変換され、アンプ１１４で増幅され、Ａ／Ｄ変換器でデジタルデータに変換され、インターフェース１１６を介して画像信号１１０ａとして出力される。これらの一連の撮像動作およびアンプ１１４の増幅率は、タイミングジェネレータ１１７によって制御される。
【００３７】
一方、上述した撮像制御部１４０からの制御信号１４０ａはインターフェース１１６を介してタイミングジェネレータ１１７および絞り制御部１１８に入力され、制御信号１４０ａに従って、撮像素子１１３の読出の解像度、露出時間およびアンプ１１４の増幅率、および絞り１１２の絞り値等の制御が行われる。ここに、タイミングジェネレータ１１７は本発明における解像度制御部として機能し、タイミングジェネレータ１１７および絞り制御部１１８は本発明における露出制御部として機能する。
【００３８】
図４は、撮像素子１１３の間引き撮像を説明する模式図で、図４（ａ）は撮像素子１１３の仕様を例示した模式図、図４（ｂ）は垂直方向を１／２に間引き撮像する場合の駆動方法を例示した模式図、図４（ｃ）は間引き撮像によって生成される間引き画像を例示した模式図である。
【００３９】
図４（ａ）において、撮像素子１１３は、例えば、画素数がＶＧＡ（水平６４０画素×垂直４８０行）で、３０ｆｐｓのフレームレートで撮像可能な撮像素子であるとする。この撮像素子１１３を、図４（ｂ）に示すように垂直方向に２行読み出し、続く２行を読み出さずに読み飛ばすという垂直１／２間引き撮像駆動すると、図４（ｃ）に示すような水平６４０画素×垂直２４０行の垂直１／２間引き画像を得ることができ、この場合のフレームレートは６０ｆｐｓとなり、高速読出が可能となる。
【００４０】
ここで、「垂直方向に２行読み出し、続く２行を読み飛ばす」としているのは、撮像素子１１３が例えばベイヤ配列の原色（ＲＧＢ）カラーフィルタを備えている場合を想定しており、その場合に色情報の欠落を起こさずに垂直１／２間引き駆動が可能となる駆動方法を示している。撮像素子１１３がモノクロームの場合や、所謂ナイトビジョンと呼ばれる遠赤外線カメラの画像等の場合には、「垂直方向に１行読み出し、続く１行を読み飛ばす」ことで垂直１／２間引き駆動が可能となる。ここでは垂直１／２間引き駆動のみを説明したが、例えば垂直２／３間引き駆動や垂直１／４間引き等も、上述した色情報の欠落等に配慮すれば可能である。
【００４１】
図５は、ステアリング検出部１２１でのステアリングの操舵角θの検出と注目領域ＮＡの位置の設定方法とを説明するための模式図であり、図５（ａ）は表示画像ＤＰ上の注目領域ＮＡの位置の移動を示す模式図、図５（ｂ）は操舵角θと注目領域ＮＡの中心点の位置の関係を示す模式的なグラフである。
【００４２】
図５（ａ）において、表示画像ＤＰの水平中央を注目領域ＮＡの中心点の位置Ｄの基本位置０（ゼロ）とし、右方向へ１．０、左方向に−１．０と中心点の位置Ｄの左右への移動量を決定する。中心点の位置Ｄの左右への移動量は任意であり、理論計算や実験等によって決定されればよい。次に、図５（ｂ）に示す関係に従って操舵角θから注目領域ＮＡの中心点の位置Ｄを決定することで、注目領域ＮＡを操舵角θに合わせて移動させることができる。例えばステアリングが右方向に操舵角θ１だけきられたとすると、図５（ａ）に破線で示したように、注目領域ＮＡの位置は表示画像ＤＰの水平中央から右にｄ１だけ移動される。
【００４３】
なお、図５（ｂ）では操舵角θと注目領域ＮＡの中心点の位置Ｄとは略線形の関係として図示してあるが、これに限るものではなく、理論計算や実験等によって任意の関係に決定すればよい。また、ステアリング検出部１２１の検出結果が注目領域ＮＡの位置に反映されるのは、図６で説明する方向指示器検出部１２２による検出で方向指示器が未操作の場合のみである。
【００４４】
図６は、方向指示器検出部１２２での方向指示器の操作状況の検出と注目領域ＮＡの位置の設定方法とを説明するためのグラフである。
【００４５】
図６において、方向指示器検出部１２２での検出の結果、方向指示器が未操作であると判断された場合は、注目領域ＮＡの中心点の位置Ｄは方向指示器検出部１２２の検出結果によっては変更されず、図５で説明したステアリング検出部１２１の検出結果が反映される。
【００４６】
方向指示器が右に操作されたと検出された場合には、注目領域ＮＡの中心点の位置Ｄは図５で予め決定された移動量の右端の位置（１．０の位置）に移動される。逆に、方向指示器が左に操作されたと検出された場合には、注目領域ＮＡの中心点の位置Ｄは左端の位置（−１．０の位置）に移動される。この場合には、運転者が左右どちらかへ曲がるあるいは車線変更するといった意思を示していると判断し、ステアリング検出部１２１の検出結果は反映されない。
【００４７】
図７は、速度検出部１２３での自車の走行速度Ｖの検出と注目領域ＮＡの大きさの設定方法とを説明するための模式図であり、図７（ａ）は走行速度Ｖと注目領域ＮＡの大きさの関係を示す模式的なグラフ、図７（ｂ）は表示画像ＤＰ上の注目領域ＮＡの大きさの関係を示す模式図である。
【００４８】
図７（ａ）において、注目領域ＮＡの大きさは、速度Ａから速度Ｂの間では速度が速くなるにつれて最大の大きさＮＡｍａｘから最少の大きさＮＡｍｉｎへと徐々に小さくなる。これを模式的に示したのが図７（ｂ）である。これは、走行速度Ｖが速くなるほどより遠距離の情報が必要となるが、同じ大きさの物体でも遠距離になるほど画像が小さくなるので、注目領域ＮＡの大きさは小さくて済むからである。また、走行速度Ｖが早くなるほど高フレームレートでの撮像を維持する必要があるが、上述したように注目領域ＮＡの大きさが小さくて済めば、間引き撮像の範囲が広く設定できるためにフレームレートの低下を防止することができる。
【００４９】
また、速度Ａ以下では注目領域ＮＡの大きさは最大の大きさＮＡｍａｘで維持され、速度Ｂ以上では最少の大きさＮＡｍｉｎで維持される。最大の大きさＮＡｍａｘは、例えば運転者が視認する必要のある対象物体（例えば後続の車両等）が近接距離にある場合に撮像画面上で視認できる大きさに設定され、最少の大きさＮＡｍｉｎは、例えば運転者が視認する必要のある対象物体（例えば後続の車両等）が遠距離にある場合に撮像画面上で視認できる大きさに設定される。
【００５０】
なお、図７（ａ）では、速度Ａから速度Ｂの間では走行速度Ｖと注目領域ＮＡの大きさとは略反比例の関係として図示したが、これに限るものではなく、理論計算や実験等によって任意の関係に決定すればよい。また、注目領域ＮＡの形状も、図５や図７に示したような正方形に限るものではなく、車両の形状に合わせた横長の長方形であってもよいし、人物に合わせた縦長の長方形であってもよい。さらにこれらの組み合わせであってもよい。
【００５１】
図８は、撮像素子１１３の駆動方法を説明するための撮像素子１１３の撮像面上の画像の模式図である。ここでは、撮像素子１１３の撮像面上の右下部に注目領域ＮＡが１つだけ存在する例を示している。上述したような方法で注目領域ＮＡの位置と大きさが決定されると、撮像素子１１３は、注目領域ＮＡが存在しない領域Ａおよび領域Ｃでは、図４に示したと同様に垂直１／２間引き駆動され、注目領域ＮＡが存在する領域Ｂでは間引き駆動を行わずに全行を読み出す全行読出駆動が行われる。
【００５２】
図９は、画像処理部１５０の構成を示すブロック図である。図２に示したように、撮像部１１０の画像信号１１０ａは画像処理部１５０に入力され、表示するための既定の画像処理が施され、処理信号１５０ａとして表示部１６０へ出力される。ここでは、画像処理部１５０で施される解像度制御についてのみ説明し、色変換、ガンマ変換等の一般的な画像処理については、通常の場合の処理と同じであるので説明は省略する。
【００５３】
図９において、画像処理部１５０は、水平間引き部１５１およびフレームレート制御部１５３等で構成される。水平間引き部１５１は、遅延部１５１ａおよびセレクタ１５１ｂ等で構成され、フレームレート制御部１５３はフレームメモリ１５３ａ等で構成される。
【００５４】
まず水平間引き部１５１について説明する。画像処理部１５０に入力された画像信号１１０ａは、セレクタ１５１ｂのＡ入力と遅延部１５１ａとに入力される。遅延部１５１ａは、例えばメモリ等で構成され、入力された画像信号１１０ａを２画素分遅延させて遅延信号１５１ｃとしてセレクタ１５１ｂのＢ入力に入力する。セレクタ１５１ｂは、撮像制御部１４０から入力された注目領域情報１３０ａに従って、Ａ入力またはＢ入力のどちらかの信号を選択してセレクタ出力１５１ｄとして出力する。これらの動作はデータクロックＤ−ＣＬＫに同期して行われる。
【００５５】
画像信号１１０ａは、注目領域ＮＡ以外は垂直方向が間引き駆動により本来の１／２の行数しか存在しないのに対して、水平方向の画素の画像信号は常に全画素（ここでは６４０画素）分のデータが存在している。そこで、水平方向も、色情報が欠落しないように配慮しながら、１／２の３２０画素分のデータに間引きする。
【００５６】
間引きの方法は、注目領域ＮＡ以外の領域では遅延部１５１ａとセレクタ１５１ｂを用いて、画像信号１１０ａとそれを２画素分遅延させた遅延信号１５１ｃとを２画素毎に切り換えることで水平１／２間引きを行ってセレクタ出力１５１ｄとし、注目領域ＮＡではセレクタ１５１ｂが常にＡ入力を選択するようにして、間引きは行わず、画像信号１１０ａをセレクタ出力１５１ｄとする。
【００５７】
次に、フレームレート制御部１５３について説明する。セレクタ出力１５１ｄは、フレームレート制御部１５３のフレームメモリ１５３ａに入力され、記憶される。記憶されたセレクタ出力１５１ｄは、表示部１６０の画像表示のフレームレートに合わせて、処理信号１５０ａとして表示部１６０に向けて出力される。上述した各動作は、データクロックＤ−ＣＬＫに同期して行われる。
【００５８】
画像信号１１０ａのフレームレートは最大で６０ｆｐｓで、注目領域ＮＡの大きさによって変化する。そのため、処理信号１５０ａのフレームレートも変化する。それに対して、表示部１６０での画像表示は常に６０ｆｐｓの既定のフレームレートで動作している。従って、処理信号１５０ａの信号の更新が表示部１６０での表示のフレームレートに追いつけなくなる場合が発生するため、何らかのフレームの挿入を行って、表示がとぎれることを防止する必要がある。
【００５９】
ここでは、フレームメモリ１５３ａに複数フレームの処理信号１５０ａを記憶しておき、フレーム挿入が必要となった場合には、直前のフレームの処理信号１５０ａを繰り返し出力することでフレーム挿入とする。
【００６０】
また、フレームレート制御部１５３では垂直補間処理も行われ、注目領域ＮＡ以外の領域では、垂直２行の画像信号１１０ａを出力した後、再び同じ垂直２行の画像信号１１０ａを出力することで、垂直補間が行われる。注目領域ＮＡでは各垂直行の画像信号１１０ａがそのまま出力される。
【００６１】
図１０は、上述した画像処理部１５０における解像度制御を説明するためのタイミングチャートで、図１０（ａ）は水平間引き部１５１の動作を説明するためのタイミングチャート、図１０（ｂ）はフレームレート制御部１５３の動作を説明するためのタイミングチャートである。
【００６２】
図１０（ａ）において、撮像制御部１４０からセレクタ１５１ｂに入力される注目領域情報１３０ａが低電位（Ｌ）、すなわち注目領域ＮＡでない場合、セレクタ１５１ｂでの入力端子の選択は、データクロックＤ−ＣＬＫに同期して、Ａ、Ａ、Ｂ、ＢとＡ入力とＢ入力とが２度ずつ交互に選択される。一方、画像信号１１０ａは、０（ゼロ）画素目、１画素目、２画素目と画素順にセレクタ１５１ｂのＡ入力と遅延部１５１ａとに入力される。遅延部では画像信号１１０ａが２画素分遅延されて遅延信号１５１ｃとされる。
【００６３】
よって、セレクタ出力１５１ｄは、０（ゼロ）画素目、１画素目、０画素目、１画素目、４画素目、５画素目、４画素目、５画素目となり、２画素目、３画素目が間引かれた水平１／２間引きが行われたことになる。なお、セレクタ出力１５１ｄは、データクロックＤ−ＣＬＫに同期して出力されるために、画像信号１１０ａに対して１Ｄ−ＣＬＫ分遅延される。
【００６４】
また、注目領域情報１３０ａが高電位（Ｈ）、すなわち注目領域ＮＡの場合、セレクタ１５１ｂでの入力端子の選択は、データクロックＤ−ＣＬＫに同期して、Ａ、Ａ、Ａ、ＡとＡ入力だけが選択される。よって、セレクタ出力１５１ｄは、８画素目、９画素目、１０画素目、１１画素目となり、水平間引きは行われない。このようにして、注目領域ＮＡについては高解像度の画像が出力され、注目領域ＮＡ以外の領域では１／２間引きされた低解像度の画像が出力される。
【００６５】
図１０（ｂ）において、セレクタ出力１５１ｄは、０（ゼロ）フレーム目ＦＬ０、１フレーム目ＦＬ１、２フレーム目ＦＬ２と、６０ｆｐｓ以下の注目領域ＮＡの大きさに依存する可変のフレームレートで順次出力される。フレームレート制御部１５３では、入力された複数フレーム分のセレクタ出力１５１ｄをフレームメモリ１５３ａに記憶し、表示部１６０のフレームレートに合わせて、セレクタ出力１５１ｄにフレーム挿入を行いながら処理信号１５０ａとして出力する。図１０（ｂ）の処理信号１５０ａで、破線で示したフレーム（例えば２つ目のＦＬ１）がフレーム挿入されたフレームである。
【００６６】
図１１は、撮像制御部１４０で行われる露出制御について説明するための撮像素子１１３の撮像面上の画像の模式図である。ここでは、図８と同じく、撮像素子１１３の撮像面上の右下部に注目領域ＮＡが１つだけ存在する例を示している。
【００６７】
図１１において、撮像制御部１４０では、注目領域決定部１３０によって決定された注目領域ＮＡ内の画像信号１１０ａの各色信号（ＲＧＢ）毎の平均値Ｒａ、Ｇａ、Ｂａから、以下の（１式）により注目領域内輝度Ｙｎａが算出される。
Ｙｎａ＝０．２９８９×Ｒａ＋０．５８６６×Ｇａ＋０．１１４５×Ｂａ・・・（１式）
【００６８】
次に、算出された注目領域内輝度Ｙｎａが表示部１６０での適正な輝度となるように、撮像部１１０の絞り１１２の絞り値、撮像素子１１３の露出時間、アンプ１１４の増幅率等の制御値が算出され、制御信号１４０ａとして撮像部１１０に向けて出力される。撮像部１１０では、制御信号１４０ａの指示する絞り値、露出時間、増幅率等に従って撮像が行われ、注目領域ＮＡが表示部１６０で適正な明るさに表示される。
【００６９】
ここでは、注目領域ＮＡ内の画像信号１１０ａのみを用いて撮像部１１０の露出を決定する例を示したが、これに限るものではなく、注目領域ＮＡとそれ以外の領域とで重み付けを変えて注目領域ＮＡ重点の露出とする等、カメラで培われた露出制御技術を適用してもよい。
【００７０】
図１２は、本実施の形態における動作の流れを説明するためのフローチャートである。図１２において、まず最初に、ステップＳ１０１で垂直１／２間引き駆動にて１フレーム分の撮像が行われる。ステップＳ１０３で方向指示器の操作が行われたか否かが方向指示器検出部１２２により確認される。方向指示器の操作が行われた場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１１１で、検出結果に基づき、図６に示した方法にて注目領域ＮＡの位置が決定され、ステップＳ１４１に進む。
【００７１】
方向指示器の操作が行われなかった場合（ステップＳ１０３；Ｎｏ）、ステップＳ１２１でステアリングの操作が行われたか否かがステアリング検出部１２１により確認される。ステアリングの操作が行われた場合（ステップＳ１２１；Ｙｅｓ）、ステップＳ１３１で、検出結果に基づき、図５に示した方法にて注目領域ＮＡの位置が決定され、ステップＳ１４１に進む。
【００７２】
ステアリングの操作が行われなかった場合（ステップＳ１２１；Ｎｏ）、ステップＳ１５１でステップＳ１０１で撮像された画像が表示部１６０に表示される。ステップＳ１５３で撮像動作を終了するか否かが確認され、終了する場合（ステップＳ１５３；Ｙｅｓ）はそのまま動作が終了され、終了しない場合（ステップＳ１２１；Ｎｏ）はステップＳ１０１に戻って上述した撮像動作を繰り返す。
【００７３】
ステップＳ１４１で、速度検出部１２３により自車の車速が検出され、検出結果に基づき、図７に示した方法にて、ステップＳ１１１またはステップＳ１３１で位置が決定された注目領域ＮＡの大きさが決定される。ステップＳ１４３で図１１に示した方法にて注目領域ＮＡ内が所定の露出となるような露出の制御値が決定される。ステップＳ１４５で、ステップＳ１４３で決定された露出の制御値に従って撮像部１１０により撮像が行われる。
【００７４】
ステップＳ１５１でステップＳ１０１で撮像された画像が表示部１６０に表示される。フレーム挿入が必要な場合は、挿入が行われる。ステップＳ１５３で撮像動作を終了するか否かが確認され、終了する場合（ステップＳ１５３；Ｙｅｓ）はそのまま動作が終了され、終了しない場合（ステップＳ１２１；Ｎｏ）はステップＳ１０１に戻って上述した撮像動作を繰り返す。
【００７５】
ここに、ステップＳ１０１およびステップＳ１４５は本発明における撮像工程として、ステップＳ１０３およびステップＳ１２１は本発明における操作情報検出工程として、ステップＳ１１１、ステップＳ１３１およびステップＳ１４１は本発明における注目領域決定工程として、ステップＳ１４３は本発明における撮像制御工程として、ステップＳ１５１は本発明における表示工程として機能する。
【００７６】
以上に述べたように、本実施の形態によれば、方向指示器、ステアリング等の操作状況によって運転者の意思を検知し、運転者の操作情報から運転者が注目したい、あるいは注目すべき領域即ち注目領域を決定し、注目領域の画像を高解像度で所定の露出で表示することにより、運転者にとって重要度の高い領域の画像を高解像度かつ所定の露出で正確に視認できるようになり、重要度の高い物体の誤認や、衝突、人身事故等の危険を回避する安全運転に大きく寄与することができる。
【００７７】
以上に述べたように、本発明によれば、運転者の操作情報を検出し、検出結果に基づいて画像内の注目領域の解像度および露出の何れか一方あるいは両方を制御することにより、画像中の注目領域の解像度および露出の何れか一方あるいは両方が自動的に最良の状態となるような車載用撮像装置および車載用撮像装置の撮像方法を提供することができる。
【００７８】
尚、本発明に係る車載用撮像装置および車載用撮像装置の撮像方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【００７９】
１００ 車載用撮像装置
１１０ 撮像部
１１１ 撮像レンズ
１１２ 絞り
１１３ 撮像素子
１１４ アンプ
１１５ アナログデジタル（Ａ／Ｄ）変換器
１１６ インターフェース
１１７ タイミングジェネレータ
１１８ 絞り制御部
１２０ 操作情報検出部
１３０ 注目領域決定部
１４０ 撮像制御部
１５０ 画像処理部
１６０ 表示部
２００ 車両
２１０ 車両
２２０ 車両
２４１ 白線
２４２ 白線
２４３ 白線
２５１ 車線
２５２ 車線
ＮＡ 注目領域
【特許請求の範囲】
【請求項１】
撮像される画像の露出を制御する露出制御部を有する撮像部を備えた車載用撮像装置において、
前記撮像部で撮像される画像中の注目領域を決定する注目領域決定部と、
前記撮像部で撮像される画像の中の前記注目領域を含む領域の露出を前記露出制御部に制御させるための制御信号を出力する撮像制御部とを備え、
前記注目領域決定部は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定することを特徴とする車載用撮像装置。
【請求項２】
運転者の操作情報を検出する操作情報検出部を更に備え、
前記注目領域決定部は、前記操作情報検出部の出力に基づいて、前記注目領域を決定する請求項１記載の車載用撮像装置。
【請求項３】
前記撮像制御部は、前記露出制御部に、前記撮像部で撮像される画像の中の前記注目領域を含む領域の画像の露出が所定の露出となるように制御させるための制御信号を出力することを特徴とする請求項１又は２記載の車載用撮像装置。
【請求項４】
前記撮像制御部の制御信号に従って前記露出制御部によって制御された露出で撮像された画像を表示する表示部を備えたことを特徴とする請求項１〜３のいずれかに記載の車載用撮像装置。
【請求項５】
撮像を行う撮像工程と、
前記撮像工程で撮像される画像中の注目領域を決定する注目領域決定工程と、
前記撮像工程で撮像される画像の中の前記注目領域決定工程によって決定された注目領域を含む領域の露出を制御する撮像制御工程とを備え、
前記注目領域決定工程は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定することを特徴とする車載用撮像装置の撮像方法。
【請求項１】
撮像される画像の露出を制御する露出制御部を有する撮像部を備えた車載用撮像装置において、
前記撮像部で撮像される画像中の注目領域を決定する注目領域決定部と、
前記撮像部で撮像される画像の中の前記注目領域を含む領域の露出を前記露出制御部に制御させるための制御信号を出力する撮像制御部とを備え、
前記注目領域決定部は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定することを特徴とする車載用撮像装置。
【請求項２】
運転者の操作情報を検出する操作情報検出部を更に備え、
前記注目領域決定部は、前記操作情報検出部の出力に基づいて、前記注目領域を決定する請求項１記載の車載用撮像装置。
【請求項３】
前記撮像制御部は、前記露出制御部に、前記撮像部で撮像される画像の中の前記注目領域を含む領域の画像の露出が所定の露出となるように制御させるための制御信号を出力することを特徴とする請求項１又は２記載の車載用撮像装置。
【請求項４】
前記撮像制御部の制御信号に従って前記露出制御部によって制御された露出で撮像された画像を表示する表示部を備えたことを特徴とする請求項１〜３のいずれかに記載の車載用撮像装置。
【請求項５】
撮像を行う撮像工程と、
前記撮像工程で撮像される画像中の注目領域を決定する注目領域決定工程と、
前記撮像工程で撮像される画像の中の前記注目領域決定工程によって決定された注目領域を含む領域の露出を制御する撮像制御工程とを備え、
前記注目領域決定工程は、自車の走行速度が速くなるにつれて注目領域のサイズを小さく設定することを特徴とする車載用撮像装置の撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１２４９６３（Ｐ２０１２−１２４９６３Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１２−５８４３４（Ｐ２０１２−５８４３４）
【出願日】平成２４年３月１５日（２０１２．３．１５）
【分割の表示】特願２００６−２３１８２７（Ｐ２００６−２３１８２７）の分割
【原出願日】平成１８年８月２９日（２００６．８．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２４年３月１５日（２０１２．３．１５）
【分割の表示】特願２００６−２３１８２７（Ｐ２００６−２３１８２７）の分割
【原出願日】平成１８年８月２９日（２００６．８．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]