画像処理装置、サーバ、携帯端末装置、及び画像処理方法
【課題】走行速度の増減によって画質を切り替える場合でも、表示させる撮像画像としての品質を向上する。
【解決手段】画質設定値の明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている明るさLs,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させる。
【解決手段】画質設定値の明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている明るさLs,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載して周囲を撮像し、その画像の画質を制御して表示する画像処理装置、サーバ、携帯端末装置、及び画像処理方法に関する。
【背景技術】
【0002】
従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。
【0003】
例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−142210号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。
【0006】
一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、渋滞などによって車両が走行と停止を高い頻度で繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、表示させる画像としての品質が低下する。そのため、走行速度の増減によって画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。
【0007】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0009】
上記課題を解決するために、請求項9記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0010】
上記課題を解決するために、請求項10記載の発明は、請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、前記撮像手段で撮像した前記画像を記録する記録手段を有する。
【0011】
上記課題を解決するために、請求項11記載の発明は、移動体に搭載可能な携帯端末装置であって、前記移動体の周囲の画像を撮像する撮像手段と、外部から取得した前記移動体の移動する速度である移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0012】
上記課題を解決するために、請求項12記載の発明は、画像処理方法であって、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【図面の簡単な説明】
【0013】
【図1】本発明の画像処理装置を搭載した車両の構成例の一例を示す斜視図である。
【図2】実施形態の画像処理装置のシステム構成の一例を示すブロック図である。
【図3】走行中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図4】停車中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図5】従来比較例の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図6】実施形態で適用する画質設定値の変化設定を表す車速対明るさのチャートの一例である。
【図7】実施形態の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図8】イメージングユニットのCPUが実行する制御内容を表すフローチャートの一例である。
【図9】渋滞用固定速度領域を設定した場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図10】連続変化速度領域を2つに分けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図11】高速道路用の固定速度領域を設けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図12】連続変化速度領域で曲線状に変化させる場合の明るさの変化設定を表す車両速度対明るさのチャートの一例である。
【図13】サーバ型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。
【図14】電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。
【図15】各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。
【図16】各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面を参照しつつ説明する。
【0015】
図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。
【0016】
図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
【0017】
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。
【0018】
ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
【0019】
イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。
【0020】
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。
【0021】
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【0022】
GPS13は、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【0023】
カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。
【0024】
車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。
【0025】
グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。
【0026】
以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。
【0027】
図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。
【0028】
図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。
【0029】
また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。
【0030】
図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。
【0031】
画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。
【0032】
一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。
【0033】
そこで本実施形態では、図6に例示するような画像の明るさの変化設定を適用することで、前方画像の明滅の発生を抑制する。図6では、車両速度Vを横軸とし、画像の明るさLを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさLを参照設定値Lsとしている。また、車両速度Vが参照速度Vs以上の状態では、明るさLを参照設定値Lcに固定している。ここで、参照設定値Lsは停止時設定値に相当し、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。
【0034】
そして、図6に示す明るさの変化設定で最も特徴としている点は、この例の画質設定値である明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させている。
【0035】
このような画像の明るさの変化設定を適用することで、車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図7に示すように、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。
【0036】
図8は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
【0037】
図8において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。
【0038】
ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。
【0039】
ステップS15へ移り、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS20へ移る。
【0040】
ステップS20では、明るさL=((Lc−Ls)/Vs)・V+Lsを算出し設定してからステップS30へ移る。
【0041】
一方、上記ステップS15の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS25へ移る。
【0042】
ステップS25では、明るさL=Lcに固定的に設定してからステップS30へ移る。
【0043】
ステップS30では、明るさLに対応する露光となるようカメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。
【0044】
ステップS33へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。
【0045】
ステップS35へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS40へ移る。
【0046】
ステップS40では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS53へ移る。
【0047】
一方、上記ステップS35の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS45へ移る。
【0048】
ステップS45では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS50へ移る。
【0049】
ステップS50では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS53へ移る。
【0050】
また一方、上記ステップS45の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS53へ移る。なお、上記のステップS35〜S50の手順が、各請求項記載の認識手段に相当する。
【0051】
ステップS53では、上記ステップS33で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS40の信号機認識処理又はステップS50の前方車両認識処理で認識した内容も併せて表示する。なお、このステップS53の手順が、各請求項記載の表示工程に相当する。
【0052】
ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。
【0053】
一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。
【0054】
ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。
【0055】
ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。
【0056】
一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。
【0057】
ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。
【0058】
ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。
【0059】
一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。
【0060】
ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。
【0061】
以上のフローチャートにおいて、ステップS15〜ステップS25の手順(算出手段、算出工程に相当)を実行することで、本実施形態での画像設定値の一例である画像の明るさLの設定が行われ、ステップS30の手順で明るさLに対応したフロントカメラ1の露光制御が行われる。上記フローチャートの見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさLの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさL=((Lc−Ls)/Vs)・V+Lsの算出において、車両速度V=0の停車状態では明るさL=Lsに固定設定していることになる。このため実質的には、V=0(停車状態)の固定速度領域においてL=Lsに固定設定し、0<V<Vsの連続変化速度領域においてL=((Lc−Ls)/Vs)・V+Lsで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。
【0062】
以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車速センサ15が検出した車両速度Vに応じて前記フロントカメラ1が画像を撮像する際の明るさL(画質設定値に相当)を算出するステップS15〜S25の手順(算出手段に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS30の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS35〜S50の手順(認識手段に相当)と、を有し、前記ステップS15〜S25の手順は、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前記前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0063】
また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS33の手順(撮像工程に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出するステップS10の手順(検出工程に相当)と、前記ステップS10の手順で検出した前記車両速度Vに応じて前記ステップS33の手順で画像を撮像する際の明るさLを算出するステップS15〜S25の手順(算出工程に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記ステップS33の手順で撮像する画像の画質を制御するステップS30の手順(制御工程に相当)と、前記ステップS33の手順で撮像した画像を表示するステップS53の手順(表示工程に相当)と、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記ステップS33の手順で撮像した画像中から認識するステップS35〜S50の手順(認識工程に相当)と、を実行し、前記ステップS15〜S25の手順では、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0064】
このようにすると、固定速度領域どうしの間に設けられた連続変化速度領域においては、それに隣接する2つの固定速度領域にそれぞれ固定設定された異なる明るさLの設定値Ls,Lcの間で連続的に明るさLを変化させることができる。これにより、2つの固定速度領域に渡って車両速度Vを加速・減速した場合でも、明るさLの急激な切り替えを防ぐことができる。すなわち、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、走行速度の増減によって明るさLを切り替える場合でも、表示させる撮像画像としての品質を向上できる。さらに、明るさLの設定値を各認識対象別に適切に設定することができ、複数の認識対象を固定速度領域別に切り替えて認識可能な画像認識処理を高い精度で実行可能となる。
【0065】
なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。
【0066】
上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。
【0067】
このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。
【0068】
なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさLなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。
【0069】
上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS35〜S50の手順は、車両速度Vが停止状態付近である固定速度領域では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS15〜S25の手順は、算出する対象の前記画質設定値を画像の明るさLとし、車両速度Vが停止状態付近である固定速度領域では明るさLを参照設定値Ls(停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさLを参照設定値Lsより明るく設定する。
【0070】
このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い参照設定値Lsに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記参照設定値Lsより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。
【0071】
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさLを参照設定値Lsより明るい参照設定値Lcに設定する。
【0072】
このようにすると、赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさLsで画像の明るさLを設定でき、また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさLcで画像の明るさLを設定できる。
【0073】
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさL=((Lc−Ls)/Vs)・V+Lsを変化させる。
【0074】
このようにすると、連続変化速度領域における明るさLの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさLを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさLの変化は動画品質を向上させるよう機能する。
【0075】
なお、上記図6に例示した明るさLの変化設定以外にも、多様なパターンの変化設定を適用してもよい。例えば、上記図6に対応する図9に示すように、信号機認識に適した明るさLsに対応する固定速度領域を、停車状態のV=0から渋滞中に出し得る参照速度Vs1(図示する例では15km/h)までの間に設定する。また、前方車両認識に適した明るさLcに対応する固定速度領域を、前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)以上に設定する。すなわち、明るさLの算出手順においては、車両速度Vが渋滞中に出し得る参照速度Vs1以下である固定速度領域では明るさLの設定値を参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域では明るさLの設定値を参照設定値Lsより明るい参照設定値Lcに設定する。
【0076】
またこの場合、連続変化速度領域をそれら固定速度領域の間(Vs1<V<Vs2)に設定し、この連続変化速度領域においては明るさLをL=((Lc−Ls)/(Vs2−Vs1))・(V−Vs1)+Lsで線形比例させて算出する。
【0077】
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗を全く変化させずに済むことができる。
【0078】
または、図10に例示するように、連続変化速度領域を停車状態のV=0より大きく前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)未満(0<V<Vs2)に設定し、当該連続変化速度領域の内訳として渋滞中に出し得る参照速度Vs1(図示する例では20km/h)の前後で2つに分けてもよい。そして、参照速度Vs1未満の連続変化速度領域(0<V<Vs1)では、車両速度Vに対する明るさLの変化率を所定の渋滞時変化率(図示する例の(Lm−Ls)/Vs1=15/20lux/km/h)に設定し、参照速度Vs1以上の連続変化速度領域(Vs1≦V<Vs2)では、車両速度Vに対する明るさLの変化率を上記渋滞変化率より大きく設定(図示する例の(Lc−Lm)/(Vs2−Vs1)=25/10lux/km/h)する。
【0079】
すなわち、明るさLの算出手順においては、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域(V≧Vs2)では明るさLを上記参照設定値Lsより明るい参照設定値Lcに設定し、車両速度Vが停止状態より大きく渋滞中に出し得る参照速度Vs1以下である連続変化速度領域(0<V<Vs1)では明るさLの変化率を所定の渋滞時変化率に設定し、車両速度Vが渋滞中に出し得る参照速度Vs1より大きく前記前方車両との車間距離を検出すべき参照速度Vs2未満である連続変化速度領域(Vs1≦V<Vs2)では明るさLの変化率を上記渋滞時変化率より大きく設定する。
【0080】
この場合、明るさLmをLcとLsの平均よりも暗い明るさとして、連続変化速度領域(0<V<Vs1)においては明るさLをL=((Lm−Ls)/Vs1)・V+Lsで線形比例させて算出し、連続変化速度領域(Vs1≦V<Vs2)においては明るさLをL=((Lc−Lm)/(Vs2−Vs1))・(V−Vs1)+Lmで線形比例させて算出する。
【0081】
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗の変化を比較的少なく抑えることができ、また渋滞から抜け出して通常の走行状態に戻る際にも前方画像の明暗の変化を比較的緩やかに抑えることができる。
【0082】
または、図11に例示するように、前方車両との車間距離を検出すべき固定速度領域を、一般道用と高速道路用の2つに分けてもよい。すなわち、明るさLの算出手順においては、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs1より大きく一般道で出し得る参照速度Vs2(図示する例では70km/h)以下である固定速度領域(Vs1<V≦Vs2)では明るさLを参照設定値Lsより明るい参照設定値Lc1(図示する例では80lux)に設定し、車両速度Vが高速道路で出し得る参照速度Vs3(図示する例では90km/h)以上である固定速度領域(Vs2≦V)では明るさLをさらに明るい参照設定値Lc2(図示する例では90lux)に設定する。
【0083】
またこの場合、それら一般道と高速道路にそれぞれ対応する固定速度領域の間の連続変化速度領域(Vs2<V<Vs3)においては、明るさLをL=((Lc2−Lc1)/(Vs3−Vs2))・(V−Vs2)+Lc1で線形比例させて算出する。
【0084】
このようにすると、一般道の場合よりもさらに遠方の前方車両の認識まで必要とする高速道路において、より明るいLで画像を撮像でき、前方車両認識の精度が向上する。
【0085】
また、連続変化速度領域における明るさLの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の増減に限定されない。例えば図12に例示するように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。
【0086】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【0087】
(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図13に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
【0088】
これにより、ナビゲーション装置SAの記憶媒体12cで過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。
【0089】
(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラとディスプレイを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図14参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさL(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
【0090】
この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさLを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。
【0091】
また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。
【0092】
なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図15と図16に示す。
【0093】
まず図15は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
【0094】
図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
【0095】
次に図16は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図16に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。
【0096】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【0097】
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
【技術分野】
【0001】
本発明は、車両に搭載して周囲を撮像し、その画像の画質を制御して表示する画像処理装置、サーバ、携帯端末装置、及び画像処理方法に関する。
【背景技術】
【0002】
従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。
【0003】
例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−142210号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。
【0006】
一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、渋滞などによって車両が走行と停止を高い頻度で繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、表示させる画像としての品質が低下する。そのため、走行速度の増減によって画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。
【0007】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0009】
上記課題を解決するために、請求項9記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0010】
上記課題を解決するために、請求項10記載の発明は、請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、前記撮像手段で撮像した前記画像を記録する記録手段を有する。
【0011】
上記課題を解決するために、請求項11記載の発明は、移動体に搭載可能な携帯端末装置であって、前記移動体の周囲の画像を撮像する撮像手段と、外部から取得した前記移動体の移動する速度である移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0012】
上記課題を解決するために、請求項12記載の発明は、画像処理方法であって、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【図面の簡単な説明】
【0013】
【図1】本発明の画像処理装置を搭載した車両の構成例の一例を示す斜視図である。
【図2】実施形態の画像処理装置のシステム構成の一例を示すブロック図である。
【図3】走行中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図4】停車中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図5】従来比較例の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図6】実施形態で適用する画質設定値の変化設定を表す車速対明るさのチャートの一例である。
【図7】実施形態の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図8】イメージングユニットのCPUが実行する制御内容を表すフローチャートの一例である。
【図9】渋滞用固定速度領域を設定した場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図10】連続変化速度領域を2つに分けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図11】高速道路用の固定速度領域を設けた場合の画質設定値の変化設定を表す車両速度対明るさのチャートの一例である。
【図12】連続変化速度領域で曲線状に変化させる場合の明るさの変化設定を表す車両速度対明るさのチャートの一例である。
【図13】サーバ型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。
【図14】電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。
【図15】各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。
【図16】各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面を参照しつつ説明する。
【0015】
図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。
【0016】
図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
【0017】
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。
【0018】
ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
【0019】
イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。
【0020】
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。
【0021】
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【0022】
GPS13は、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【0023】
カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。
【0024】
車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。
【0025】
グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。
【0026】
以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。
【0027】
図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。
【0028】
図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。
【0029】
また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。
【0030】
図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。
【0031】
画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。
【0032】
一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。
【0033】
そこで本実施形態では、図6に例示するような画像の明るさの変化設定を適用することで、前方画像の明滅の発生を抑制する。図6では、車両速度Vを横軸とし、画像の明るさLを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさLを参照設定値Lsとしている。また、車両速度Vが参照速度Vs以上の状態では、明るさLを参照設定値Lcに固定している。ここで、参照設定値Lsは停止時設定値に相当し、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。
【0034】
そして、図6に示す明るさの変化設定で最も特徴としている点は、この例の画質設定値である明るさLが参照設定値Lsに固定された停車速度域(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさLを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさLを変化させている。つまり、停車速度域(V=0)では明るさL=Lsに固定し、連続変化速度領域(0<V<Vs)では明るさL=((Lc−Ls)/Vs)・V+Lsで比例変化させ、走行速度域(V≧Vs)では明るさL=Lcに固定させている。
【0035】
このような画像の明るさの変化設定を適用することで、車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図7に示すように、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。
【0036】
図8は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
【0037】
図8において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。
【0038】
ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。
【0039】
ステップS15へ移り、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS20へ移る。
【0040】
ステップS20では、明るさL=((Lc−Ls)/Vs)・V+Lsを算出し設定してからステップS30へ移る。
【0041】
一方、上記ステップS15の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS25へ移る。
【0042】
ステップS25では、明るさL=Lcに固定的に設定してからステップS30へ移る。
【0043】
ステップS30では、明るさLに対応する露光となるようカメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。
【0044】
ステップS33へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。
【0045】
ステップS35へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS40へ移る。
【0046】
ステップS40では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS53へ移る。
【0047】
一方、上記ステップS35の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS45へ移る。
【0048】
ステップS45では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS50へ移る。
【0049】
ステップS50では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS53へ移る。
【0050】
また一方、上記ステップS45の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS53へ移る。なお、上記のステップS35〜S50の手順が、各請求項記載の認識手段に相当する。
【0051】
ステップS53では、上記ステップS33で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS40の信号機認識処理又はステップS50の前方車両認識処理で認識した内容も併せて表示する。なお、このステップS53の手順が、各請求項記載の表示工程に相当する。
【0052】
ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。
【0053】
一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。
【0054】
ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。
【0055】
ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。
【0056】
一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。
【0057】
ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。
【0058】
ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。
【0059】
一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。
【0060】
ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。
【0061】
以上のフローチャートにおいて、ステップS15〜ステップS25の手順(算出手段、算出工程に相当)を実行することで、本実施形態での画像設定値の一例である画像の明るさLの設定が行われ、ステップS30の手順で明るさLに対応したフロントカメラ1の露光制御が行われる。上記フローチャートの見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさLの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさL=((Lc−Ls)/Vs)・V+Lsの算出において、車両速度V=0の停車状態では明るさL=Lsに固定設定していることになる。このため実質的には、V=0(停車状態)の固定速度領域においてL=Lsに固定設定し、0<V<Vsの連続変化速度領域においてL=((Lc−Ls)/Vs)・V+Lsで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。
【0062】
以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車速センサ15が検出した車両速度Vに応じて前記フロントカメラ1が画像を撮像する際の明るさL(画質設定値に相当)を算出するステップS15〜S25の手順(算出手段に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS30の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS35〜S50の手順(認識手段に相当)と、を有し、前記ステップS15〜S25の手順は、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前記前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0063】
また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS33の手順(撮像工程に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出するステップS10の手順(検出工程に相当)と、前記ステップS10の手順で検出した前記車両速度Vに応じて前記ステップS33の手順で画像を撮像する際の明るさLを算出するステップS15〜S25の手順(算出工程に相当)と、前記ステップS15〜S25の手順で算出した前記明るさLに対応して前記ステップS33の手順で撮像する画像の画質を制御するステップS30の手順(制御工程に相当)と、前記ステップS33の手順で撮像した画像を表示するステップS53の手順(表示工程に相当)と、明るさLがそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された信号機と前方車両(認識対象に相当)を前記ステップS33の手順で撮像した画像中から認識するステップS35〜S50の手順(認識工程に相当)と、を実行し、前記ステップS15〜S25の手順では、前記複数の固定速度領域のそれぞれにおける明るさLを前記信号機及び前方車両に対応して設定するとともに、前記複数の固定速度領域の間に、明るさLを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0064】
このようにすると、固定速度領域どうしの間に設けられた連続変化速度領域においては、それに隣接する2つの固定速度領域にそれぞれ固定設定された異なる明るさLの設定値Ls,Lcの間で連続的に明るさLを変化させることができる。これにより、2つの固定速度領域に渡って車両速度Vを加速・減速した場合でも、明るさLの急激な切り替えを防ぐことができる。すなわち、前方画像における明暗を緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、走行速度の増減によって明るさLを切り替える場合でも、表示させる撮像画像としての品質を向上できる。さらに、明るさLの設定値を各認識対象別に適切に設定することができ、複数の認識対象を固定速度領域別に切り替えて認識可能な画像認識処理を高い精度で実行可能となる。
【0065】
なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。
【0066】
上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。
【0067】
このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。
【0068】
なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさLなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。
【0069】
上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS35〜S50の手順は、車両速度Vが停止状態付近である固定速度領域では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS15〜S25の手順は、算出する対象の前記画質設定値を画像の明るさLとし、車両速度Vが停止状態付近である固定速度領域では明るさLを参照設定値Ls(停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさLを参照設定値Lsより明るく設定する。
【0070】
このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い参照設定値Lsに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記参照設定値Lsより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。
【0071】
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさLを参照設定値Lsより明るい参照設定値Lcに設定する。
【0072】
このようにすると、赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさLsで画像の明るさLを設定でき、また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさLcで画像の明るさLを設定できる。
【0073】
上述した構成に加えてさらに、前記ステップS15〜S25の手順は、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさL=((Lc−Ls)/Vs)・V+Lsを変化させる。
【0074】
このようにすると、連続変化速度領域における明るさLの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさLを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさLの変化は動画品質を向上させるよう機能する。
【0075】
なお、上記図6に例示した明るさLの変化設定以外にも、多様なパターンの変化設定を適用してもよい。例えば、上記図6に対応する図9に示すように、信号機認識に適した明るさLsに対応する固定速度領域を、停車状態のV=0から渋滞中に出し得る参照速度Vs1(図示する例では15km/h)までの間に設定する。また、前方車両認識に適した明るさLcに対応する固定速度領域を、前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)以上に設定する。すなわち、明るさLの算出手順においては、車両速度Vが渋滞中に出し得る参照速度Vs1以下である固定速度領域では明るさLの設定値を参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域では明るさLの設定値を参照設定値Lsより明るい参照設定値Lcに設定する。
【0076】
またこの場合、連続変化速度領域をそれら固定速度領域の間(Vs1<V<Vs2)に設定し、この連続変化速度領域においては明るさLをL=((Lc−Ls)/(Vs2−Vs1))・(V−Vs1)+Lsで線形比例させて算出する。
【0077】
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗を全く変化させずに済むことができる。
【0078】
または、図10に例示するように、連続変化速度領域を停車状態のV=0より大きく前方車両との車間距離を検出すべき参照速度Vs2(図示する例では30km/h)未満(0<V<Vs2)に設定し、当該連続変化速度領域の内訳として渋滞中に出し得る参照速度Vs1(図示する例では20km/h)の前後で2つに分けてもよい。そして、参照速度Vs1未満の連続変化速度領域(0<V<Vs1)では、車両速度Vに対する明るさLの変化率を所定の渋滞時変化率(図示する例の(Lm−Ls)/Vs1=15/20lux/km/h)に設定し、参照速度Vs1以上の連続変化速度領域(Vs1≦V<Vs2)では、車両速度Vに対する明るさLの変化率を上記渋滞変化率より大きく設定(図示する例の(Lc−Lm)/(Vs2−Vs1)=25/10lux/km/h)する。
【0079】
すなわち、明るさLの算出手順においては、車両速度Vが停止状態である固定速度領域(V=0)では明るさLを参照設定値Lsに設定し、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs2以上である固定速度領域(V≧Vs2)では明るさLを上記参照設定値Lsより明るい参照設定値Lcに設定し、車両速度Vが停止状態より大きく渋滞中に出し得る参照速度Vs1以下である連続変化速度領域(0<V<Vs1)では明るさLの変化率を所定の渋滞時変化率に設定し、車両速度Vが渋滞中に出し得る参照速度Vs1より大きく前記前方車両との車間距離を検出すべき参照速度Vs2未満である連続変化速度領域(Vs1≦V<Vs2)では明るさLの変化率を上記渋滞時変化率より大きく設定する。
【0080】
この場合、明るさLmをLcとLsの平均よりも暗い明るさとして、連続変化速度領域(0<V<Vs1)においては明るさLをL=((Lm−Ls)/Vs1)・V+Lsで線形比例させて算出し、連続変化速度領域(Vs1≦V<Vs2)においては明るさLをL=((Lc−Lm)/(Vs2−Vs1))・(V−Vs1)+Lmで線形比例させて算出する。
【0081】
このようにすると、渋滞中の車両100がその渋滞時に出し得る速度以下で停車と走行を繰り返しても、その間は前方画像の明暗の変化を比較的少なく抑えることができ、また渋滞から抜け出して通常の走行状態に戻る際にも前方画像の明暗の変化を比較的緩やかに抑えることができる。
【0082】
または、図11に例示するように、前方車両との車間距離を検出すべき固定速度領域を、一般道用と高速道路用の2つに分けてもよい。すなわち、明るさLの算出手順においては、車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs1より大きく一般道で出し得る参照速度Vs2(図示する例では70km/h)以下である固定速度領域(Vs1<V≦Vs2)では明るさLを参照設定値Lsより明るい参照設定値Lc1(図示する例では80lux)に設定し、車両速度Vが高速道路で出し得る参照速度Vs3(図示する例では90km/h)以上である固定速度領域(Vs2≦V)では明るさLをさらに明るい参照設定値Lc2(図示する例では90lux)に設定する。
【0083】
またこの場合、それら一般道と高速道路にそれぞれ対応する固定速度領域の間の連続変化速度領域(Vs2<V<Vs3)においては、明るさLをL=((Lc2−Lc1)/(Vs3−Vs2))・(V−Vs2)+Lc1で線形比例させて算出する。
【0084】
このようにすると、一般道の場合よりもさらに遠方の前方車両の認識まで必要とする高速道路において、より明るいLで画像を撮像でき、前方車両認識の精度が向上する。
【0085】
また、連続変化速度領域における明るさLの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の増減に限定されない。例えば図12に例示するように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。
【0086】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【0087】
(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図13に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
【0088】
これにより、ナビゲーション装置SAの記憶媒体12cで過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。
【0089】
(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラとディスプレイを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図14参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさL(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
【0090】
この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさLを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。
【0091】
また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。
【0092】
なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図15と図16に示す。
【0093】
まず図15は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
【0094】
図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
【0095】
次に図16は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図16に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。
【0096】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【0097】
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
【特許請求の範囲】
【請求項1】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、さらに、
前記撮像手段で撮像した画像を記録する記録手段を有することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1又は2記載の画像処理装置。
【請求項4】
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記算出手段は、
前記移動速度が渋滞中に出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項6】
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が停止状態より大きく渋滞中に出し得る速度以下である連続変化速度領域では前記画質設定値の変化率を所定の渋滞時変化率に設定し、
前記移動速度が渋滞中に出し得る速度より大きく前記前方車両との車間距離を検出すべき速度未満である連続変化速度領域では前記画質設定値の変化率を前記所定の渋滞時変化率より大きく設定することを特徴とする請求項3記載の画像処理装置。
【請求項7】
前記算出手段は、
前記移動速度が前記前方車両との車間距離を検出すべき速度より大きく一般道で出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が高速道路で出し得る速度以上である固定速度領域では前記画質設定値をさらに明るく設定することを特徴とする請求項4乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記算出手段は、前記連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域のそれぞれに固定的に設定されている画質設定値の間で、前記移動速度に対し線形比例するよう画質設定値を変化させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項10】
請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、
前記撮像手段で撮像した前記画像を記録する記録手段を有することを特徴とするサーバ。
【請求項11】
移動体に搭載可能な携帯端末装置であって、
前記移動体の周囲の画像を撮像する撮像手段と、
外部から取得した前記移動体の移動する速度である移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする携帯端末装置。
【請求項12】
移動体の周囲の画像を撮像する撮像工程と、
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、
前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理方法。
【請求項1】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、さらに、
前記撮像手段で撮像した画像を記録する記録手段を有することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態付近である固定速度領域では信号機を認識対象とし、前記移動速度が所定速度以上である固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態付近である固定速度領域では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1又は2記載の画像処理装置。
【請求項4】
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記算出手段は、
前記移動速度が渋滞中に出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項6】
前記算出手段は、
前記移動速度が停止状態である固定速度領域では前記画質設定値を前記所定の停止時設定値に設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が停止状態より大きく渋滞中に出し得る速度以下である連続変化速度領域では前記画質設定値の変化率を所定の渋滞時変化率に設定し、
前記移動速度が渋滞中に出し得る速度より大きく前記前方車両との車間距離を検出すべき速度未満である連続変化速度領域では前記画質設定値の変化率を前記所定の渋滞時変化率より大きく設定することを特徴とする請求項3記載の画像処理装置。
【請求項7】
前記算出手段は、
前記移動速度が前記前方車両との車間距離を検出すべき速度より大きく一般道で出し得る速度以下である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定し、
前記移動速度が高速道路で出し得る速度以上である固定速度領域では前記画質設定値をさらに明るく設定することを特徴とする請求項4乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記算出手段は、前記連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域のそれぞれに固定的に設定されている画質設定値の間で、前記移動速度に対し線形比例するよう画質設定値を変化させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記検出手段が検出した前記移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項10】
請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、
前記撮像手段で撮像した前記画像を記録する記録手段を有することを特徴とするサーバ。
【請求項11】
移動体に搭載可能な携帯端末装置であって、
前記移動体の周囲の画像を撮像する撮像手段と、
外部から取得した前記移動体の移動する速度である移動速度に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする携帯端末装置。
【請求項12】
移動体の周囲の画像を撮像する撮像工程と、
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記検出工程で検出した前記移動速度に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
画質設定値がそれぞれ固定的に設定された複数の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を実行し、
前記算出工程では、前記複数の固定速度領域のそれぞれにおける画質設定値を前記認識対象に対応して設定するとともに、前記複数の固定速度領域の間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−109638(P2013−109638A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−255162(P2011−255162)
【出願日】平成23年11月22日(2011.11.22)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月22日(2011.11.22)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
[ Back to top ]