画像処理装置、サーバ、携帯端末装置、及び画像処理方法
【課題】渋滞時においても走行速度の増減により画質を切り替える場合でも、表示させる撮像画像としての品質を向上する。
【解決手段】最終的な画質設定値である明るさ出力値Lが、次信号離間距離Dに応じた明るさ切片値Cが設定される停車状態(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさ出力値Lを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている明るさ出力値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさ出力値Lを変化させている。また明るさ切片値Cは、車両100が信号機200に近づくに従って変化させている。
【解決手段】最終的な画質設定値である明るさ出力値Lが、次信号離間距離Dに応じた明るさ切片値Cが設定される停車状態(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさ出力値Lを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている。この連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている明るさ出力値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさ出力値Lを変化させている。また明るさ切片値Cは、車両100が信号機200に近づくに従って変化させている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載して周囲を撮像し、その画像の画質を制御して表示する画像処理装置、サーバ、携帯端末装置、及び画像処理方法に関する。
【背景技術】
【0002】
従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。
【0003】
例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−142210号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。
【0006】
一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、車両が走行と停止を繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、特に渋滞時においては走行と停止を高い頻度で繰り返すため撮像画像の急激な明滅の頻度が高くなり、表示させる画像としての品質が低下する。そのため、渋滞時においても走行速度の増減により画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。
【0007】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記移動体の地理的状況を取得する取得手段と、前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0009】
上記課題を解決するために、請求項9記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記移動体の地理的状況を取得する取得手段と、前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0010】
上記課題を解決するために、請求項10記載の発明は、請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、前記撮像手段で撮像した前記画像を記録する記録手段を有する。
【0011】
上記課題を解決するために、請求項11記載の発明は、移動体に搭載可能な携帯端末装置であって、前記移動体の周囲の画像を撮像する撮像手段と、前記移動体の地理的状況を取得する取得手段と、外部の検出手段が検出した前記移動体の移動する速度である移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0012】
上記課題を解決するために、請求項12記載の発明は、画像処理方法であって、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記移動体の地理的状況を取得する取得工程と、前記検出工程で検出した前記移動速度および前記取得工程で取得した前記地理的状況に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を有し、前記算出工程では、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【図面の簡単な説明】
【0013】
【図1】本発明の画像処理装置を搭載した車両の構成例の一例を示す斜視図である。
【図2】実施形態の画像処理装置のシステム構成の一例を示すブロック図である。
【図3】走行中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図4】停車中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図5】従来比較例の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図6】実施形態で適用する画質設定値の変化設定を表す車両速度対明るさ出力値のチャートの一例である。
【図7】実施形態で適用する画質設定値の変化設定を表す次信号離間距離対明るさ切片値のチャートの一例である。
【図8】車両が信号機から十分長い距離で離れている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図9】車両が信号機から連続変化距離領域で離れている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図10】車両が信号機に十分近づいている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図11】実施形態の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図12】イメージングユニットのCPUが実行する制御内容を表すフローチャートの一例である。
【図13】上記図12におけるステップS100の明るさ出力値算出処理で行われる制御内容の詳細を表すフローチャートの一例である。
【図14】連続変化速度領域で曲線状に変化させる場合の明るさ出力値の変化設定を表す車両速度対明るさのチャートの一例である。
【図15】サーバ型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。
【図16】電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。
【図17】各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。
【図18】各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面を参照しつつ説明する。
【0015】
図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。
【0016】
図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
【0017】
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。
【0018】
ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
【0019】
イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。
【0020】
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。
【0021】
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【0022】
GPS13は取得手段に相当し、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。特に本実施形態の例においてこのGPS13は、上記所定経路上において車両100が次に到達する予定の信号機までの離間距離を地理的状況として取得する(後に詳述する)。
【0023】
カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。
【0024】
車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。
【0025】
グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。
【0026】
以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。
【0027】
図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。
【0028】
図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。
【0029】
また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。
【0030】
図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。
【0031】
画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。
【0032】
一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。
【0033】
そこで本実施形態では、図6、図7に例示するような画像の明るさの変化設定を適用することで、特に渋滞時における前方画像の明滅の発生を抑制する。まず図6では、車両速度Vを横軸とし、画像の明るさ出力値Lを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさ出力値Lを明るさ切片値Cで設定している。この明るさ切片値Cは停止時設定値に相当し、後に詳述するように、当該車両100が次に到達する予定の信号機までの離間距離に応じて、参照設定値Lsから参照設定値Lcまでの間で減少するよう設定される値である。また、車両速度Vが参照速度Vs以上の状態では、明るさ出力値Lを参照設定値Lcに固定している。
【0034】
ここで、信号認識設定値に相当する参照設定値Lsは、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。
【0035】
次に図7では、上述した当該車両100が次に到達する予定の信号機までの次信号離間距離Dを横軸とし、明るさ切片値Cを縦軸として対応する設定値の変化を示している。つまり、明るさ切片値Cの設定を、次信号離間距離Dに対応させて変化させている。なお、上記次信号離間距離Dは、上記GPS13が探索した誘導経路上において、当該GPS13が車両100と次に到達する予定の信号機までの間の距離を算出し、取得する。この図7において、次信号離間距離Dが参照距離Ds1より短い状態では、明るさ切片値Cを参照設定値Lsに固定している。また、次信号離間距離Dが参照距離Ds2以上の状態では、明るさ切片値Cを参照設定値Lcに固定している。ここで、参照距離Ds1は次の信号機を確実に認識する必要のある距離であり(図示する例では、50m)、参照距離Ds2は次の信号機をまだ認識する必要のない距離である。
【0036】
そして、図6、図7に示す明るさの変化設定で、最も特徴としている点は、この例の最終的な画質設定値である明るさ出力値Lが、この例の地理的状況である次信号離間距離Dに応じた明るさ切片値Cが設定される停車状態(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさ出力値Lを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。
【0037】
上記図6の連続変化速度領域においては、停車状態(V=0)で上記次信号離間距離Dに応じて減少する明るさ切片値Cと、固定速度領域(V>Vs)に固定的に設定されている参照設定値Lcとの間で、車両速度Vに対し線形比例するよう明るさ出力値Lを変化させている。つまり、停車速度域(V=0)では明るさ切片値Cが2つの参照設定値Ls,Lcの間で減少し、連続変化速度領域(0<V<Vs)では明るさ出力値L=((Lc−C)/Vs)・V+Cで比例変化させ、走行速度域(V≧Vs)では明るさ出力値L=Lcに固定させている。
【0038】
上記図7においては、明るさ切片値Cが参照設定値Lsに固定された次信号離間距離領域(D≦Ds1)と、参照設定値Lcに固定された次信号離間距離領域(Ds2<D)との間に、明るさ切片値Cを次信号離間距離Dに対応して連続的に減少させる連続変化距離領域(Ds1<D≦Ds2)を設けている。この連続変化距離領域においては、当該連続変化距離領域を挟む2つの固定距離領域(D≦Ds1、Ds2<D)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で次信号離間距離Dに対し線形比例するよう明るさ切片値Cを減少させている。つまり、次信号が近い固定距離領域(D≦Ds1)では明るさ切片値C=Lsに固定し、連続変化距離領域(Ds1<D≦Ds2)では明るさ切片値C=((Lc−Ls)/(Ds2−Ds1))・(D−Ds1)+Lsで比例変化させ、次信号が遠い固定距離領域(Ds2<D)では明るさ切片値C=Lcに固定させている。
【0039】
この図7に示したように明るさ切片値Cを変化設定することで、車両速度Vに対応する明るさ出力値Lの変化設定は、以下の図8〜図10に例示するように変化する。
【0040】
まず図8に示すように、車両100が信号機200から参照距離Ds2よりも遠く離れている場合、つまり車両100が上述した遠い方の固定距離領域(Ds2<D)に位置している場合には、まだ次の信号機200をまだ認識する必要がない。これに対応して、明るさ切片値Cは前方車両認識の場合と同じ参照設定値Lcに固定的に設定されるため(上記図7参照)、明るさ出力値Lは停車・走行のいずれの状態に係わらず常に参照設定値Lcに維持される。
【0041】
次に図9に示すように、車両100が上述した連続変化距離領域(Ds1<D≦Ds2)に位置している場合には、次の信号機200に近づくに従って認識する必要が増加していく。これに対応して、明るさ切片値Cは次信号離間距離Dに比例して減少される(上記図7参照)。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合、明るさ出力値Lは、明るさ切片値Cを最小値として車両速度Vに比例して変化する(L=((Lc−C)/Vs)・V+C)。なお、車両100が通常に走行している場合、つまり車両速度Vが参照速度Vsよりも大きい場合には、車両100がいくら信号機200に近づいても明るさ出力値Lは前方車両認識に適した参照設定値Lcに維持される。
【0042】
次に図10に示すように、車両100が信号機200に対して参照距離Ds1よりも近くに位置している場合、つまり車両100が上述した近い方の固定距離領域(D<Ds1)に位置している場合には、次の信号機200を確実に認識する必要がある。これに対応して、明るさ切片値Cは信号機認識に適した参照設定値Lsに固定的に設定される(上記図7参照)。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合には、明るさ出力値Lは、参照設定値Lsを最小値として車両速度Vに比例して変化する(L=((Lc−Ls)/Vs)・V+Ls)。なお、車両100が停車(V=0)している場合、明るさ出力値Lは信号機認識に適した参照設定値Lsとなる。また、車両100が通常に走行している場合、つまり車両速度Vが参照速度Vsよりも大きい場合には、車両100がいくら信号機200に近づいても明るさ出力値Lは前方車両認識に適した参照設定値Lcに維持される。
【0043】
以上のような画像の明るさの変化設定を適用することで、信号機認識の必要性に応じて画質設定値の切り替え幅を変化させ、さらに車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図11に示すように、次信号離間距離が十分長い場合には停車・走行の区別なく前方画像の明るさが一定に維持される。そして、次信号離間距離が短くなるに従って前方画像の明るさの切り替え幅を順次増加させ、その明暗を緩やかに変化させることができ、特に長距離渋滞時における前方画像の明滅の発生を抑制できる。
【0044】
図12は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
【0045】
図12において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。
【0046】
ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。
【0047】
ステップS15へ移り、GPS13で次に到達する予定の信号機までの次信号離間距離Dを取得する。なお、このステップS15の手順が、各請求項記載の取得工程に相当する。
【0048】
ステップS100へ移り、上記ステップS10で検出した車両速度Vと、上記ステップS15で取得した次信号離間距離に基づいて明るさ出力値Lを算出する明るさ出力値算出処理を実行する(後述の図13参照)。
【0049】
ステップS20へ移り、上記ステップS100で算出した明るさ出力値Lに対応する露光となるよう、カメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。
【0050】
ステップS25へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。
【0051】
ステップS30へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS35へ移る。
【0052】
ステップS35では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS50へ移る。
【0053】
一方、上記ステップS30の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS40へ移る。
【0054】
ステップS40では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS45へ移る。
【0055】
ステップS45では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS50へ移る。
【0056】
また一方、上記ステップS40の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS50へ移る。なお、上記のステップS30〜S45の手順が、各請求項記載の認識手段に相当する。
【0057】
ステップS50では、上記ステップS25で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS35の信号機認識処理又はステップS45の前方車両認識処理で認識した内容も併せて表示する。なお、特に図示しないが、上記ステップS15で取得した次信号離間距離Dも併せて表示してもよい。また、このステップS50の手順が、各請求項記載の表示工程に相当する。
【0058】
ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。
【0059】
一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。
【0060】
ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。
【0061】
ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。
【0062】
一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。
【0063】
ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。
【0064】
ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。
【0065】
一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。
【0066】
ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。
【0067】
図13は、上記ステップS100の明るさ出力値算出処理で行われる制御内容の詳細を表すフローチャートの一例である。
【0068】
図13において、まずステップS105において、上記ステップS15で取得した次信号離間距離Dが参照距離Ds2より長いか否かを判定する。次信号離間距離Dが参照距離Ds2より長い場合、判定が満たされ、ステップS110へ移る。
【0069】
ステップS110では、明るさ切片値C=Lcに設定してからステップS130へ移る。
【0070】
一方、上記ステップS105の判定において、次信号離間距離Dが参照距離Ds2以下である場合、判定は満たされず、ステップS115へ移る。
【0071】
ステップS115では、次信号離間距離Dが参照距離Ds1以下であるか否かを判定する。次信号離間距離Dが参照距離Ds1より長い場合、判定は満たされず、ステップS120へ移る。
【0072】
ステップS120では、明るさ切片値C=((Lc−Ls)/(Ds2−Ds1))・(D−Ds1)+Lsを算出し設定してからステップS130へ移る。
【0073】
また一方、上記ステップS115の判定において、次信号離間距離Dが参照距離Ds1以下である場合、判定が満たされ、ステップS125へ移る。
【0074】
ステップS125では、明るさ切片値C=Lsに設定してからステップS130へ移る。
【0075】
ステップS130では、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS135へ移る。
【0076】
ステップS135では、明るさ出力値L=((Lc−C)/Vs)・V+Cを算出し設定し、このフローを終了する。
【0077】
一方、上記ステップS130の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS140へ移る。
【0078】
ステップS140では、明るさ出力値L=Lcに固定的に設定し、このフローを終了する。
【0079】
以上のフローチャートにおいて、ステップS100の明るさ出力値算出処理(算出手段、算出工程に相当)を実行することで、本実施形態での画質設定値の一例である画像の明るさ出力値Lの設定が行われ、ステップS20の手順で明るさ出力値Lに対応したフロントカメラ1の露光制御が行われる。上記ステップS130〜ステップS140の見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさ出力値Lの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさ出力値L=((Lc−C)/Vs)・V+Cの算出において、車両速度V=0の停車状態では明るさ出力値L=明るさ切片値Cに設定していることになる。このため実質的には、V=0の停止状態において明るさ出力値Lが次信号離間距離Dに応じて設定し、0<V<Vsの連続変化速度領域においてL=((Lc−C)/Vs)・V+Cで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。
【0080】
以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車両100の次信号離間距離D(地理的状況)を取得するGPS13と、前記車速センサ15が検出した前記車両速度Vおよび前記GPS13が取得した次信号離間距離Dに応じて前記フロントカメラ1が画像を撮像する際の明るさ出力値L(画質設定値に相当)を算出するステップS100の明るさ出力値設定処理(算出手段に相当)と、前記ステップS100の明るさ出力値算出処理で算出した前記明るさ出力値Lに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS20の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、前記次信号離間距離Dに応じて明るさ出力値L(明るさ切片値C)が設定される停止状態と、明るさ出力値Lが固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された信号機及び前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS30〜S45の手順(認識手段に相当)と、を有し、前記ステップS100の明るさ出力値設定処理では、前記停止状態と前記固定速度領域のそれぞれにおける明るさ出力値Lを前記信号機及び前記前方車両に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、明るさ出力値Lを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0081】
また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS25の手順(撮像工程に相当)と、前記車両100の移動する速度である移動速度を検出するステップS10の手順(検出工程に相当)と、前記車両100の次信号離間距離D(地理的状況に相当)を取得するステップS15の手順と、前記ステップS10の手順で検出した前記車両速度Vおよび前記ステップS15で取得した前記次信号離間距離Dに応じて前記ステップS25の手順で画像を撮像する際の明るさ出力値Lを算出するステップS100の明るさ出力値算出処理(算出工程に相当)と、前記ステップS100の明るさ出力値算出処理で算出した前記明るさ出力値Lに対応して前記ステップS25の手順で撮像する画像の画質を制御するステップS20の手順(制御工程に相当)と、前記ステップS25の手順で撮像した画像を表示するステップS50の手順(表示工程に相当)と、前記次信号離間距離Dに応じて明るさ出力値L(明るさ切片値C)が設定される停止状態と、明るさ出力値Lが固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された信号機及び前方車両(認識対象に相当)を前記ステップS25の手順で撮像した画像中から認識するステップS30〜S45の手順(認識工程に相当)と、を有し、前記ステップS100の明るさ出力値設定処理では、前記停止状態と前記固定速度領域のそれぞれにおける明るさ出力値Lを前記信号機及び前記前方車両に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、明るさ出力値Lを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0082】
このようにすると、停止状態の明るさ出力値L(明るさ切片値C)をその時点の車両100における次信号離間距離Dなどの地理的状況に応じて変化設定できる。また、停止状態と固定速度領域の間に設けられた連続変化速度領域においては、停止状態と固定速度領域にそれぞれ設定された2つの異なる明るさ出力値Lの設定値(明るさ切片値C、参照設定値Lc)の間で連続的に明るさ出力値Lを変化させることができる。これにより、停止状態における明るさ出力値Lには、例えば信号機認識処理の必要性に関連する次信号離間距離Dなどの地理的状況を反映させることができる。また、停止状態と固定速度領域との間に渡って車両速度Vを加速・減速した場合でも、明るさ出力値Lの急激な切り替えを防ぐことができる。すなわち、前方画像における不要な明暗変化を回避できるとともに、必要な明暗変化に対しても緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、渋滞時においても走行速度の増減により画質を切り替える場合でも、表示させる撮像画像としての品質を向上できるさらに、明るさ出力値Lの設定値を各認識対象別に適切に設定することができ、複数の認識対象を停止状態と固定速度領域とで切り替えて認識可能な画像認識処理を高い精度で実行可能となる。
【0083】
なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。
【0084】
上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。
【0085】
このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。
【0086】
なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさ出力値Lなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。
【0087】
上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS30〜S45の手順は、車両速度Vが停止状態では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS100の明るさ出力値算出処理では、算出する対象の前記画質設定値を画像の明るさ出力値Lとし、車両速度Vが停止状態では明るさ出力値Lを明るさ切片値C(所定の停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさ出力値Lを明るさ切片値Cより明るく設定する。
【0088】
このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い明るさ切片値Cに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記明るさ切片値Cより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。
【0089】
上述した構成に加えてさらに、前記ステップS15の手順は、当該車両100の次の信号機までの次信号離間距離Dを前記地理的状況として取得し、前記ステップS100の明るさ出力値算出処理では、車両速度Vが停止状態では明るさ出力値Lを前記次信号離間距離Dに応じた明るさ切片値Cに設定し、前記車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさ出力値Lを明るさ切片値Cより明るい参照設定値Lcに設定する。
【0090】
このようにすると、信号機認識が必要な程度に次信号離間距離Dが近くなっている場合で、さらに赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさ出力値Lsで画像の明るさ出力値Lを設定できる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさ出力値Lcで画像の明るさ出力値Lを設定できる。
【0091】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記停止状態の場合の明るさ切片値Cがそれぞれ固定的に設定された複数の固定距離領域(D≦Ds1、Ds2<D)の間に、前記停止状態の場合の明るさ切片値Cを前記次信号離間距離Dに対応して連続的に減少させる連続変化距離領域(Ds1<D≦Ds2)を設けている。
【0092】
このようにすると、固定距離領域どうしの間に設けられた連続変化距離領域においては、それに隣接する2つの固定距離領域にそれぞれ固定設定された異なる明るさ切片値Cの設定値Ls,Lcの間で連続的に明るさ切片値Cを変化させることができる。これにより、2つの固定距離領域の間の連続変化距離領域(Ds1<D≦Ds2)に位置する車両100は、停車状態と走行状態の間の明るさ出力値Lの増減幅を信号機に近づくに従って連続的に大きくすることができ、その際に車両100が加速・減速した場合でも明るさ出力値Lの増減幅をできるだけ小さくして前方画像の明暗変化を緩やかにできる。
【0093】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記次信号離間距離Dが次の信号機を確実に認識する必要のある距離未満である固定距離領域(D≦Ds1)では前記停止状態の場合の明るさ切片値Cを参照設定値Ls(信号認識設定値に相当)に設定し、前記次信号離間距離Dが次の信号機を認識する必要のない距離より長い距離である固定距離領域(Ds2<D)では前記停止状態の場合の明るさ切片値Cを上記参照設定値Lsより明るい参照設定値Lcに設定する。
【0094】
このようにすると、次の信号機をまだ認識する必要のない位置(Ds2<D)では、明るさ切片値Cが前方車両認識の場合と同じ参照設定値Lcに固定的に設定されるため、明るさ出力値Lは停車・走行のいずれの状態に係わらず常に前方車両認識に適した参照設定値Lcに維持される(L=Lc)。また、次の信号機を確実に認識する必要のある位置(D≦Ds1)では、停止状態での明るさ切片値Cが信号機認識の場合と同じ参照設定値Lsに固定的に設定される。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合には、明るさ出力値Lは、信号機認識に適した参照設定値Lsを最小値として車両速度Vに比例して変化する(L=((Lc−Ls)/Vs)・V+Ls)。
【0095】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記連続変化距離領域(Ds1<D≦Ds2)においては、当該連続変化距離領域を挟む2つの固定距離領域(D≦Ds1、Ds2<D)のそれぞれに固定的に設定されている前記参照設定値Lc,Lsの間で、前記次信号離間距離Dに対し線形比例するよう前記停止状態の場合の明るさ切片値Cを減少させる。
【0096】
このようにすると、連続変化距離領域における明るさ切片値Cは、2つの固定された2つの参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。つまり、車両100が連続変化距離領域に位置している際に、信号機に近づくに従って停止状態と走行状態との間の明るさ出力値Lの増減幅を連続的に順次増加させることができる。これは、明るさ切片値CがLcからLsに離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさ切片値Cの変化は動画品質を向上させるよう機能する。
【0097】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさ出力値L=((Lc−C)/Vs)・V+Cを変化させる。
【0098】
このようにすると、連続変化速度領域における明るさ出力値Lの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさ出力値Lを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさ出力値Lの変化は動画品質を向上させるよう機能する。
【0099】
また、連続変化速度領域における明るさ出力値Lの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の変化に限定されない。例えば図14に示すように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。
【0100】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【0101】
(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図15に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
【0102】
これにより、ナビゲーション装置SAの記憶媒体12cの方で過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。
【0103】
(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラ、ディスプレイ、又はGPSを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図16参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさ出力値L(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
【0104】
この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、これに装備されているGPSが取得手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさ出力値Lを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。
【0105】
また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。
【0106】
なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図17と図18に示す。
【0107】
まず図17は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、GPSは車載装置か携帯端末のいずれに装備させてもよいが、データセンターには装備できない。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
【0108】
図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、GPS、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
【0109】
次に図18は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図18に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれかの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。
【0110】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【0111】
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
13 GPS(取得手段に相当)
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
【技術分野】
【0001】
本発明は、車両に搭載して周囲を撮像し、その画像の画質を制御して表示する画像処理装置、サーバ、携帯端末装置、及び画像処理方法に関する。
【背景技術】
【0002】
従来より、車両に搭載されたカメラで周囲の画像を撮像し、この周囲画像を利用して当該車両の周囲の状況を監視する技術が利用されている。そして、車両の走行状態に応じて例えば画像の明るさなどといった画質設定値を調整することで撮像画像の視認性を向上させる技術も提案されている。
【0003】
例えば、特許文献1に記載されているように、車両の走行速度が増加する程、撮像された周辺領域画像中において遠方領域に対応する範囲を測光領域とし、この測光領域を参照して撮像画像の明るさを調整する。これにより、走行速度が増加するにつれて運転者の視点が遠方へ向くことに対応し、撮像画像の明るさを適切に調整できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−142210号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術における撮像画像の画質調整は、運転者が注視する画像領域に合わせて明るさを調整するため、単に運転者の視認性を向上させるだけのものでしかない。
【0006】
一方、近年では画像認識処理により撮像画像中の他車両や信号機などの特定対象物を認識し、それらに関する状態情報を取得して詳細に監視する技術が利用されている。そして、その画像認識処理の精度と処理速度を向上させるためには、各認識対象物にそれぞれ適した画質設定値で撮像画像の画質を調整する必要がある。また、認識対象物は走行速度の増減によって切り替わる場合が多い。このため、車両が走行と停止を繰り返した場合には、それに合わせて撮像画像の画質が頻繁に切り替えられてしまう。例えば調整する画質設定値が明るさである場合には、撮像画像の明暗が急激かつ頻繁に切り替えられて明滅することになり、特に渋滞時においては走行と停止を高い頻度で繰り返すため撮像画像の急激な明滅の頻度が高くなり、表示させる画像としての品質が低下する。そのため、渋滞時においても走行速度の増減により画質を切り替える場合でも、表示させる撮像画像としての品質を向上できる技術が要望されていた。
【0007】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記移動体の地理的状況を取得する取得手段と、前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0009】
上記課題を解決するために、請求項9記載の発明は、画像処理装置であって、移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、前記移動体の移動する速度である移動速度を検出する検出手段と、前記移動体の地理的状況を取得する取得手段と、前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0010】
上記課題を解決するために、請求項10記載の発明は、請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、前記撮像手段で撮像した前記画像を記録する記録手段を有する。
【0011】
上記課題を解決するために、請求項11記載の発明は、移動体に搭載可能な携帯端末装置であって、前記移動体の周囲の画像を撮像する撮像手段と、前記移動体の地理的状況を取得する取得手段と、外部の検出手段が検出した前記移動体の移動する速度である移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、前記撮像手段で撮像した画像を表示する表示手段と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【0012】
上記課題を解決するために、請求項12記載の発明は、画像処理方法であって、移動体の周囲の画像を撮像する撮像工程と、前記移動体の移動する速度である移動速度を検出する検出工程と、前記移動体の地理的状況を取得する取得工程と、前記検出工程で検出した前記移動速度および前記取得工程で取得した前記地理的状況に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、前記撮像工程で撮像した画像を表示する表示工程と、前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を有し、前記算出工程では、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設ける。
【図面の簡単な説明】
【0013】
【図1】本発明の画像処理装置を搭載した車両の構成例の一例を示す斜視図である。
【図2】実施形態の画像処理装置のシステム構成の一例を示すブロック図である。
【図3】走行中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図4】停車中にフロントカメラで撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図5】従来比較例の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図6】実施形態で適用する画質設定値の変化設定を表す車両速度対明るさ出力値のチャートの一例である。
【図7】実施形態で適用する画質設定値の変化設定を表す次信号離間距離対明るさ切片値のチャートの一例である。
【図8】車両が信号機から十分長い距離で離れている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図9】車両が信号機から連続変化距離領域で離れている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図10】車両が信号機に十分近づいている場合の状況と、車両速度対明るさ出力値のチャートの一例である。
【図11】実施形態の手法で並行して実行される画像認識とドライブレコーダーの各処理を比較して示すタイムチャートの一例である。
【図12】イメージングユニットのCPUが実行する制御内容を表すフローチャートの一例である。
【図13】上記図12におけるステップS100の明るさ出力値算出処理で行われる制御内容の詳細を表すフローチャートの一例である。
【図14】連続変化速度領域で曲線状に変化させる場合の明るさ出力値の変化設定を表す車両速度対明るさのチャートの一例である。
【図15】サーバ型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。
【図16】電子携帯端末を利用した形態の画像処理装置を搭載した車両の構成例を示す斜視図の一例である。
【図17】各形態での各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示した図である。
【図18】各形態での各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面を参照しつつ説明する。
【0015】
図1は、本実施形態に係る画像処理装置としてのナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図1において、ナビゲーション装置Sは、移動体である車両100の車内におけるルームミラー101の前方側位置に単独のフロントカメラ1を設けている。フロントカメラ1は、当該車両100の前方画像を撮像可能な姿勢で取り付けられている。
【0016】
図2は、ナビゲーション装置Sのハードウェア構成例を示すブロック図である。この図2において、ナビゲーション装置Sは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
【0017】
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して上述した当該車両100の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。また、この例のフロントカメラ1は、絞りなどの機構的手段又は撮像素子のシャッタースピードなどの電子的手段によって露光調整が可能な構成となっている。
【0018】
ディスプレイ3は表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
【0019】
イメージングユニット2は、CPU11、記憶装置12、GPS13、カメラコントローラ14、車速センサ15、グラフィックコントローラ16を有している。
【0020】
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、信号機認識装置S全体を制御する機能を有する。
【0021】
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【0022】
GPS13は取得手段に相当し、車両100の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。特に本実施形態の例においてこのGPS13は、上記所定経路上において車両100が次に到達する予定の信号機までの離間距離を地理的状況として取得する(後に詳述する)。
【0023】
カメラコントローラ14は、フロントカメラ1に対してCPU11から指定された画質設定値に対応した画質制御を行う機能を有する。本実施形態の例では、この制御対象となる画質設定値は画像の明るさであり、それに対応してカメラコントローラ14はフロントカメラ1の露光制御を行う。
【0024】
車速センサ15は検出手段に相当し、自車の走行速度を検出する機能を有する。CPU11は、この車速センサ15の検出信号に基づき、当該車両100が停止中の状態であるか、走行中の状態であるか(どのくらいの走行速度か)を識別することができる。
【0025】
グラフィックコントローラ16は、CPU11の制御によってビデオRAM(図示せず)及び上記GPS13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ3に表示させる機能を有する。
【0026】
以下、本実施形態のナビゲーション装置Sによる画像処理手法について詳細に説明する。
【0027】
図3は、上記図1に示したフロントカメラ1が車両走行中に撮像した前方画像のディスプレイ3での表示例を表している。この図3において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中で自車両100の前方を走行している前方車両を認識している。また、ナビゲーション装置Sはこの前方車両の認識によって、自車両100との車間距離も検出し表示している。このような前方車両の認識や車間距離の検出は、特に自車両100が所定速度以上で走行している間に有用となる。そして、このような前方車両の画像認識を行う際には、車道の見通しをよくして遠方に位置する車両も認識しやすいように前方画像自体の明るさを比較的明るくする必要がある。
【0028】
図4は、フロントカメラ1が車両停止中に撮像した前方画像のディスプレイ3での表示例を表している。この図4において、図示する表示例では、当該ナビゲーション装置Sがディスプレイ3に前方画像を表示させているとともに、画像認識処理によって前方画像中の信号機を認識している。また、ナビゲーション装置Sは、この信号機が赤色点灯している状態も認識し表示している。このような信号機とその点灯内容の認識は、特に自車両100が停止している間に有用となる。そして、このような信号機の画像認識を行う際には、自ら発光している信号機の色情報を取得するため、前方画像自体の明るさを比較的暗くする必要がある(図中の前方画像部分参照)。これは、前方画像自体が明るいと信号機の点灯部分が前方画像の明るさ分布の中で飽和してしまい、色情報を取得できない場合があるからである。
【0029】
また、当該ナビゲーション装置Sは、上記の前方車両及び信号機の画像認識処理とは別に、任意の期間で前方画像を記録し続けるドライブレコーダーの機能も有している。このドライブレコーダーは、記録開始操作の入力時から記録終了操作の入力時までの間、継続的に前方画像の動画を記憶媒体12cに記録し続け、その後に記録した前方画像を再生・編集する。
【0030】
図5は、そのような画像認識とドライブレコーダーの各処理を従来比較例の手法により並行して実行した場合のタイムチャートの一例を表している。
【0031】
画像認識の処理においては、自車両100が少しでも動いて走行している間は前方車両を認識するアプリケーション(図中ではアプリと略記)が作動し、自車両100が停車している間は信号機を認識するアプリケーションが作動する。つまり、自車両100が走行中であるか停車中であるかに応じて、それぞれ画像認識の対象物が切り替わる。そして、そのような画像認識の対象物の切り替えに対応して、前方画像の明るさの設定値も切り替わる。比較従来例の手法では、この画像認識に対応した前方画像の明るさの設定値を、図示するように走行中と停車中の区別に対応して離散的に切り替える。この場合、走行と停車の切り替え時には、ディスプレイ3に表示される前方画像の明暗が急激に変化してしまう。特に、渋滞などで走行と停車を高い頻度で繰り返した場合には、前方画像が明滅してしまい動画表示の品質が低下してしまう。
【0032】
一方で、上記画像認識の処理と並行して実行されるドライブレコーダーの処理においては、自車両100が走行中、停車中に係わらず継続的に録画し続ける。このため、特にドライブレコーダーにおける動画品質を考慮すると、上述した前方画像における明滅の発生をできるだけ抑制したい。
【0033】
そこで本実施形態では、図6、図7に例示するような画像の明るさの変化設定を適用することで、特に渋滞時における前方画像の明滅の発生を抑制する。まず図6では、車両速度Vを横軸とし、画像の明るさ出力値Lを縦軸として対応する設定値の変化を示している。つまり、画像の明るさの設定を、車両速度に対応させて変化させている。この図6において、車両速度Vが0つまり停車している状態では、明るさ出力値Lを明るさ切片値Cで設定している。この明るさ切片値Cは停止時設定値に相当し、後に詳述するように、当該車両100が次に到達する予定の信号機までの離間距離に応じて、参照設定値Lsから参照設定値Lcまでの間で減少するよう設定される値である。また、車両速度Vが参照速度Vs以上の状態では、明るさ出力値Lを参照設定値Lcに固定している。
【0034】
ここで、信号認識設定値に相当する参照設定値Lsは、信号機の認識に好適な明るさであり(図示する例では40lux)、上記図4に示したように前方画像を比較的暗くさせる設定値である。また、参照設定値Lcは、前方車両の認識に好適な明るさであり(図示する例では80lux)、上記図3に示したように前方画像を比較的明るくさせる設定値である。また、参照速度Vsは、前方車両の認識と車間距離の検出が必要とされる車両速度であり(図示する例では30km/h)、渋滞中の状態では出し得ない車両速度である。
【0035】
次に図7では、上述した当該車両100が次に到達する予定の信号機までの次信号離間距離Dを横軸とし、明るさ切片値Cを縦軸として対応する設定値の変化を示している。つまり、明るさ切片値Cの設定を、次信号離間距離Dに対応させて変化させている。なお、上記次信号離間距離Dは、上記GPS13が探索した誘導経路上において、当該GPS13が車両100と次に到達する予定の信号機までの間の距離を算出し、取得する。この図7において、次信号離間距離Dが参照距離Ds1より短い状態では、明るさ切片値Cを参照設定値Lsに固定している。また、次信号離間距離Dが参照距離Ds2以上の状態では、明るさ切片値Cを参照設定値Lcに固定している。ここで、参照距離Ds1は次の信号機を確実に認識する必要のある距離であり(図示する例では、50m)、参照距離Ds2は次の信号機をまだ認識する必要のない距離である。
【0036】
そして、図6、図7に示す明るさの変化設定で、最も特徴としている点は、この例の最終的な画質設定値である明るさ出力値Lが、この例の地理的状況である次信号離間距離Dに応じた明るさ切片値Cが設定される停車状態(V=0)と、参照設定値Lcに固定された走行速度域(V≧Vs)との間に、明るさ出力値Lを車両速度Vに対応して連続的に変化させる連続変化速度領域(0<V<Vs)を設けている点である。
【0037】
上記図6の連続変化速度領域においては、停車状態(V=0)で上記次信号離間距離Dに応じて減少する明るさ切片値Cと、固定速度領域(V>Vs)に固定的に設定されている参照設定値Lcとの間で、車両速度Vに対し線形比例するよう明るさ出力値Lを変化させている。つまり、停車速度域(V=0)では明るさ切片値Cが2つの参照設定値Ls,Lcの間で減少し、連続変化速度領域(0<V<Vs)では明るさ出力値L=((Lc−C)/Vs)・V+Cで比例変化させ、走行速度域(V≧Vs)では明るさ出力値L=Lcに固定させている。
【0038】
上記図7においては、明るさ切片値Cが参照設定値Lsに固定された次信号離間距離領域(D≦Ds1)と、参照設定値Lcに固定された次信号離間距離領域(Ds2<D)との間に、明るさ切片値Cを次信号離間距離Dに対応して連続的に減少させる連続変化距離領域(Ds1<D≦Ds2)を設けている。この連続変化距離領域においては、当該連続変化距離領域を挟む2つの固定距離領域(D≦Ds1、Ds2<D)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で次信号離間距離Dに対し線形比例するよう明るさ切片値Cを減少させている。つまり、次信号が近い固定距離領域(D≦Ds1)では明るさ切片値C=Lsに固定し、連続変化距離領域(Ds1<D≦Ds2)では明るさ切片値C=((Lc−Ls)/(Ds2−Ds1))・(D−Ds1)+Lsで比例変化させ、次信号が遠い固定距離領域(Ds2<D)では明るさ切片値C=Lcに固定させている。
【0039】
この図7に示したように明るさ切片値Cを変化設定することで、車両速度Vに対応する明るさ出力値Lの変化設定は、以下の図8〜図10に例示するように変化する。
【0040】
まず図8に示すように、車両100が信号機200から参照距離Ds2よりも遠く離れている場合、つまり車両100が上述した遠い方の固定距離領域(Ds2<D)に位置している場合には、まだ次の信号機200をまだ認識する必要がない。これに対応して、明るさ切片値Cは前方車両認識の場合と同じ参照設定値Lcに固定的に設定されるため(上記図7参照)、明るさ出力値Lは停車・走行のいずれの状態に係わらず常に参照設定値Lcに維持される。
【0041】
次に図9に示すように、車両100が上述した連続変化距離領域(Ds1<D≦Ds2)に位置している場合には、次の信号機200に近づくに従って認識する必要が増加していく。これに対応して、明るさ切片値Cは次信号離間距離Dに比例して減少される(上記図7参照)。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合、明るさ出力値Lは、明るさ切片値Cを最小値として車両速度Vに比例して変化する(L=((Lc−C)/Vs)・V+C)。なお、車両100が通常に走行している場合、つまり車両速度Vが参照速度Vsよりも大きい場合には、車両100がいくら信号機200に近づいても明るさ出力値Lは前方車両認識に適した参照設定値Lcに維持される。
【0042】
次に図10に示すように、車両100が信号機200に対して参照距離Ds1よりも近くに位置している場合、つまり車両100が上述した近い方の固定距離領域(D<Ds1)に位置している場合には、次の信号機200を確実に認識する必要がある。これに対応して、明るさ切片値Cは信号機認識に適した参照設定値Lsに固定的に設定される(上記図7参照)。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合には、明るさ出力値Lは、参照設定値Lsを最小値として車両速度Vに比例して変化する(L=((Lc−Ls)/Vs)・V+Ls)。なお、車両100が停車(V=0)している場合、明るさ出力値Lは信号機認識に適した参照設定値Lsとなる。また、車両100が通常に走行している場合、つまり車両速度Vが参照速度Vsよりも大きい場合には、車両100がいくら信号機200に近づいても明るさ出力値Lは前方車両認識に適した参照設定値Lcに維持される。
【0043】
以上のような画像の明るさの変化設定を適用することで、信号機認識の必要性に応じて画質設定値の切り替え幅を変化させ、さらに車両速度Vを加速・減速した場合でも画質設定値の急激な切り替えを防ぐことができる。すなわち、本実施形態の例では、上記図5に対応する図11に示すように、次信号離間距離が十分長い場合には停車・走行の区別なく前方画像の明るさが一定に維持される。そして、次信号離間距離が短くなるに従って前方画像の明るさの切り替え幅を順次増加させ、その明暗を緩やかに変化させることができ、特に長距離渋滞時における前方画像の明滅の発生を抑制できる。
【0044】
図12は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行する。
【0045】
図12において、まずステップS5において、ドライブレコーダーの録画操作の有無を示すスイッチ変数SWの値を0にリセットする。
【0046】
ステップS10へ移り、車速センサ15で自車両100の車両速度Vを検出する。なお、このステップS10の手順が、各請求項記載の検出工程に相当する。
【0047】
ステップS15へ移り、GPS13で次に到達する予定の信号機までの次信号離間距離Dを取得する。なお、このステップS15の手順が、各請求項記載の取得工程に相当する。
【0048】
ステップS100へ移り、上記ステップS10で検出した車両速度Vと、上記ステップS15で取得した次信号離間距離に基づいて明るさ出力値Lを算出する明るさ出力値算出処理を実行する(後述の図13参照)。
【0049】
ステップS20へ移り、上記ステップS100で算出した明るさ出力値Lに対応する露光となるよう、カメラコントローラ14にフロントカメラ1を制御させる。なお、このステップS30の手順が、各請求項記載の制御手段及び制御工程に相当する。
【0050】
ステップS25へ移り、フロントカメラ1で前方画像を撮像する。なお、このステップS33の手順が、各請求項記載の撮像工程に相当する。
【0051】
ステップS30へ移り、上記ステップS10で検出した車両速度Vが0であるか、つまり自車両100が現在停車状態にあるか否かを判定する。車両速度Vが0である場合、判定が満たされ、ステップS35へ移る。
【0052】
ステップS35では、信号機認識アプリケーションを起動して前方画像中の信号機とその点灯内容の認識を行う。次にステップS50へ移る。
【0053】
一方、上記ステップS30の判定において、車両速度Vが0でなかった場合、判定は満たされず、ステップS40へ移る。
【0054】
ステップS40では、車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS45へ移る。
【0055】
ステップS45では、前方車両認識アプリケーションを起動して前方画像中の前方車両の認識と車間距離の検出を行う。次にステップS50へ移る。
【0056】
また一方、上記ステップS40の判定において、車両速度Vが参照速度Vs未満である場合、判定は満たされず、そのままステップS50へ移る。なお、上記のステップS30〜S45の手順が、各請求項記載の認識手段に相当する。
【0057】
ステップS50では、上記ステップS25で撮像した前方画像をディスプレイ3に表示する。なおこの表示においては、上記ステップS10で検出した車両速度と、上記ステップS35の信号機認識処理又はステップS45の前方車両認識処理で認識した内容も併せて表示する。なお、特に図示しないが、上記ステップS15で取得した次信号離間距離Dも併せて表示してもよい。また、このステップS50の手順が、各請求項記載の表示工程に相当する。
【0058】
ステップS55へ移り、その時点でドライブレコーダーの録画に関する操作入力があったか否かを判定する。録画操作入力がなかった場合、判定は満たされず、ステップS75へ移る。
【0059】
一方、上記ステップS55の判定において、録画操作入力があった場合、判定が満たされ、ステップS60へ移る。
【0060】
ステップS60では、上記ステップS55の判定で入力があったとされる録画操作が録画開始操作(ON操作)であるか、録画終了操作(OFF操作)であるかを判定する。録画開始操作が入力されていた場合、ステップS65へ移る。
【0061】
ステップS65では、スイッチ変数SWの値を1にしてステップS75へ移る。
【0062】
一方、上記ステップS60の判定において、録画終了操作が入力されていた場合、ステップS70へ移る。
【0063】
ステップS70では、スイッチ変数SWの値を0にしてステップS75へ移る。
【0064】
ステップS75では、スイッチ変数SWの値が0であるか否かを判定する。スイッチ変数SWの値が0である場合、判定が満たされ、ステップS10へ戻り同様の手順を繰り返す。
【0065】
一方、上記ステップS75の判定において、スイッチ変数SWの値が1である場合、判定は満たされず、ステップS80へ移る。
【0066】
ステップS80では、ドライブレコーダーのアプリケーション機能により、前回からその時点までフロントカメラ1で撮像した分の前方画像を上記記憶媒体12cなどに録画する。そして、ステップS10へ戻り同様の手順を繰り返す。なお、上記のステップS55〜S80の手順が、各請求項記載の記録手段に相当する。
【0067】
図13は、上記ステップS100の明るさ出力値算出処理で行われる制御内容の詳細を表すフローチャートの一例である。
【0068】
図13において、まずステップS105において、上記ステップS15で取得した次信号離間距離Dが参照距離Ds2より長いか否かを判定する。次信号離間距離Dが参照距離Ds2より長い場合、判定が満たされ、ステップS110へ移る。
【0069】
ステップS110では、明るさ切片値C=Lcに設定してからステップS130へ移る。
【0070】
一方、上記ステップS105の判定において、次信号離間距離Dが参照距離Ds2以下である場合、判定は満たされず、ステップS115へ移る。
【0071】
ステップS115では、次信号離間距離Dが参照距離Ds1以下であるか否かを判定する。次信号離間距離Dが参照距離Ds1より長い場合、判定は満たされず、ステップS120へ移る。
【0072】
ステップS120では、明るさ切片値C=((Lc−Ls)/(Ds2−Ds1))・(D−Ds1)+Lsを算出し設定してからステップS130へ移る。
【0073】
また一方、上記ステップS115の判定において、次信号離間距離Dが参照距離Ds1以下である場合、判定が満たされ、ステップS125へ移る。
【0074】
ステップS125では、明るさ切片値C=Lsに設定してからステップS130へ移る。
【0075】
ステップS130では、上記ステップS10で検出した車両速度Vが参照速度Vs以上であるか否かを判定する。車両速度Vが参照速度Vs未満である場合、判定は満たされず、ステップS135へ移る。
【0076】
ステップS135では、明るさ出力値L=((Lc−C)/Vs)・V+Cを算出し設定し、このフローを終了する。
【0077】
一方、上記ステップS130の判定において、車両速度Vが参照速度Vs以上である場合、判定が満たされ、ステップS140へ移る。
【0078】
ステップS140では、明るさ出力値L=Lcに固定的に設定し、このフローを終了する。
【0079】
以上のフローチャートにおいて、ステップS100の明るさ出力値算出処理(算出手段、算出工程に相当)を実行することで、本実施形態での画質設定値の一例である画像の明るさ出力値Lの設定が行われ、ステップS20の手順で明るさ出力値Lに対応したフロントカメラ1の露光制御が行われる。上記ステップS130〜ステップS140の見かけ上の手順の一例としては、車両速度Vが参照速度Vs未満である場合と、参照速度Vs以上である場合の2通りに場合分けしてそれぞれ対応する明るさ出力値Lの設定を行っている。しかし、車両速度Vが参照速度Vs未満である場合に行う明るさ出力値L=((Lc−C)/Vs)・V+Cの算出において、車両速度V=0の停車状態では明るさ出力値L=明るさ切片値Cに設定していることになる。このため実質的には、V=0の停止状態において明るさ出力値Lが次信号離間距離Dに応じて設定し、0<V<Vsの連続変化速度領域においてL=((Lc−C)/Vs)・V+Cで線形比例させて設定し、V≧Vsの固定速度領域においてL=Lcに固定設定するといった3通りの速度領域の場合分けができていると見なせる。
【0080】
以上説明したように、上記実施形態のナビゲーション装置Sにおいては、車両100(移動体に相当)に搭載して当該車両100の周囲の画像を撮像するフロントカメラ1(撮像手段に相当)と、前記車両100の移動する速度である車両速度V(移動速度に相当)を検出する車速センサ15(検出手段に相当)と、前記車両100の次信号離間距離D(地理的状況)を取得するGPS13と、前記車速センサ15が検出した前記車両速度Vおよび前記GPS13が取得した次信号離間距離Dに応じて前記フロントカメラ1が画像を撮像する際の明るさ出力値L(画質設定値に相当)を算出するステップS100の明るさ出力値設定処理(算出手段に相当)と、前記ステップS100の明るさ出力値算出処理で算出した前記明るさ出力値Lに対応して前記フロントカメラ1が撮像する画像の画質を制御するステップS20の手順(制御手段に相当)と、前記フロントカメラ1で撮像した画像を表示するディスプレイ3(表示手段に相当)と、前記次信号離間距離Dに応じて明るさ出力値L(明るさ切片値C)が設定される停止状態と、明るさ出力値Lが固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された信号機及び前方車両(認識対象に相当)を前記フロントカメラ1で撮像した画像中から認識するステップS30〜S45の手順(認識手段に相当)と、を有し、前記ステップS100の明るさ出力値設定処理では、前記停止状態と前記固定速度領域のそれぞれにおける明るさ出力値Lを前記信号機及び前記前方車両に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、明るさ出力値Lを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0081】
また、上記実施形態のナビゲーション装置Sが実行する画像処理方法においては、車両100(移動体に相当)の周囲の画像を撮像するステップS25の手順(撮像工程に相当)と、前記車両100の移動する速度である移動速度を検出するステップS10の手順(検出工程に相当)と、前記車両100の次信号離間距離D(地理的状況に相当)を取得するステップS15の手順と、前記ステップS10の手順で検出した前記車両速度Vおよび前記ステップS15で取得した前記次信号離間距離Dに応じて前記ステップS25の手順で画像を撮像する際の明るさ出力値Lを算出するステップS100の明るさ出力値算出処理(算出工程に相当)と、前記ステップS100の明るさ出力値算出処理で算出した前記明るさ出力値Lに対応して前記ステップS25の手順で撮像する画像の画質を制御するステップS20の手順(制御工程に相当)と、前記ステップS25の手順で撮像した画像を表示するステップS50の手順(表示工程に相当)と、前記次信号離間距離Dに応じて明るさ出力値L(明るさ切片値C)が設定される停止状態と、明るさ出力値Lが固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された信号機及び前方車両(認識対象に相当)を前記ステップS25の手順で撮像した画像中から認識するステップS30〜S45の手順(認識工程に相当)と、を有し、前記ステップS100の明るさ出力値設定処理では、前記停止状態と前記固定速度領域のそれぞれにおける明るさ出力値Lを前記信号機及び前記前方車両に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、明るさ出力値Lを前記車両速度Vに対応して連続的に変化させる連続変化速度領域を設ける。
【0082】
このようにすると、停止状態の明るさ出力値L(明るさ切片値C)をその時点の車両100における次信号離間距離Dなどの地理的状況に応じて変化設定できる。また、停止状態と固定速度領域の間に設けられた連続変化速度領域においては、停止状態と固定速度領域にそれぞれ設定された2つの異なる明るさ出力値Lの設定値(明るさ切片値C、参照設定値Lc)の間で連続的に明るさ出力値Lを変化させることができる。これにより、停止状態における明るさ出力値Lには、例えば信号機認識処理の必要性に関連する次信号離間距離Dなどの地理的状況を反映させることができる。また、停止状態と固定速度領域との間に渡って車両速度Vを加速・減速した場合でも、明るさ出力値Lの急激な切り替えを防ぐことができる。すなわち、前方画像における不要な明暗変化を回避できるとともに、必要な明暗変化に対しても緩やかに変化させることができ、前方画像の明滅の発生を抑制できる。この結果、渋滞時においても走行速度の増減により画質を切り替える場合でも、表示させる撮像画像としての品質を向上できるさらに、明るさ出力値Lの設定値を各認識対象別に適切に設定することができ、複数の認識対象を停止状態と固定速度領域とで切り替えて認識可能な画像認識処理を高い精度で実行可能となる。
【0083】
なお、本実施形態の例では調整する対象の画質設定値を画像の明るさとしていたが、本発明はこれに限られない。他にも、コントラストやシャープネスなどの他の画質設定値を調整対象としてもよく、この場合にはカメラコントローラ14がフロントカメラ1に対して上記の画質設定値を調整制御すればよい。または、フロントカメラ1に対するハードウェア的な調整制御は行わず、撮像された画像に対してソフトウェア的に画質を調整制御する手法を用いてもよい。
【0084】
上述した構成に加えてさらに、前記フロントカメラ1で撮像した画像を記録するステップS55〜S80の手順を有する。
【0085】
このようにすると、ドライブレコーダーとして機能することが可能となり、任意の走行区間における前方画像の動画を記録する上で、明滅の発生を抑制して撮像画像としての品質を向上できる。
【0086】
なお、ドライブレコーダーの作動時において、前方画像の記録とともに、その撮像時における明るさ出力値Lなどの画質設定値も併せて逐次記録しておくことで、後の画像再生時において画像補正に利用することができる。このようにすると、記録した前方画像のみから補正を行うよりも適切な補正が可能となる。
【0087】
上述した構成に加えてさらに、前記フロントカメラ1は、前記車両100の前方画像を撮像し、前記ステップS30〜S45の手順は、車両速度Vが停止状態では信号機を認識対象とし、車両速度Vが参照速度Vs以上である固定速度領域では前方車両を認識対象とし、前記ステップS100の明るさ出力値算出処理では、算出する対象の前記画質設定値を画像の明るさ出力値Lとし、車両速度Vが停止状態では明るさ出力値Lを明るさ切片値C(所定の停止時設定値に相当)に設定し、車両速度Vが参照速度Vs以上である固定速度領域では明るさ出力値Lを明るさ切片値Cより明るく設定する。
【0088】
このようにすると、赤信号待ちなどで停車しているときだけ信号機の認識を行い、その際には前方画像自体の明るさを比較的暗い明るさ切片値Cに設定することで、周囲の看板などの赤色表示部分と区別して自ら発光している信号機だけを認識しやすくできる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両の認識を行い、その際には前方画像自体の明るさを上記明るさ切片値Cより明るくすることで、車道の見通しをよくして遠方に位置する車両も認識しやすくできる。
【0089】
上述した構成に加えてさらに、前記ステップS15の手順は、当該車両100の次の信号機までの次信号離間距離Dを前記地理的状況として取得し、前記ステップS100の明るさ出力値算出処理では、車両速度Vが停止状態では明るさ出力値Lを前記次信号離間距離Dに応じた明るさ切片値Cに設定し、前記車両速度Vが前記前方車両との車間距離を検出すべき参照速度Vs以上である固定速度領域(V≧Vs)では明るさ出力値Lを明るさ切片値Cより明るい参照設定値Lcに設定する。
【0090】
このようにすると、信号機認識が必要な程度に次信号離間距離Dが近くなっている場合で、さらに赤信号待ちなどで停車しているときだけ信号機認識に適切な明るさ出力値Lsで画像の明るさ出力値Lを設定できる。また、前方車両との車間距離を高い精度で検出する必要のある参照速度Vs以上の走行状態の間だけ前方車両認識に適切な明るさ出力値Lcで画像の明るさ出力値Lを設定できる。
【0091】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記停止状態の場合の明るさ切片値Cがそれぞれ固定的に設定された複数の固定距離領域(D≦Ds1、Ds2<D)の間に、前記停止状態の場合の明るさ切片値Cを前記次信号離間距離Dに対応して連続的に減少させる連続変化距離領域(Ds1<D≦Ds2)を設けている。
【0092】
このようにすると、固定距離領域どうしの間に設けられた連続変化距離領域においては、それに隣接する2つの固定距離領域にそれぞれ固定設定された異なる明るさ切片値Cの設定値Ls,Lcの間で連続的に明るさ切片値Cを変化させることができる。これにより、2つの固定距離領域の間の連続変化距離領域(Ds1<D≦Ds2)に位置する車両100は、停車状態と走行状態の間の明るさ出力値Lの増減幅を信号機に近づくに従って連続的に大きくすることができ、その際に車両100が加速・減速した場合でも明るさ出力値Lの増減幅をできるだけ小さくして前方画像の明暗変化を緩やかにできる。
【0093】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記次信号離間距離Dが次の信号機を確実に認識する必要のある距離未満である固定距離領域(D≦Ds1)では前記停止状態の場合の明るさ切片値Cを参照設定値Ls(信号認識設定値に相当)に設定し、前記次信号離間距離Dが次の信号機を認識する必要のない距離より長い距離である固定距離領域(Ds2<D)では前記停止状態の場合の明るさ切片値Cを上記参照設定値Lsより明るい参照設定値Lcに設定する。
【0094】
このようにすると、次の信号機をまだ認識する必要のない位置(Ds2<D)では、明るさ切片値Cが前方車両認識の場合と同じ参照設定値Lcに固定的に設定されるため、明るさ出力値Lは停車・走行のいずれの状態に係わらず常に前方車両認識に適した参照設定値Lcに維持される(L=Lc)。また、次の信号機を確実に認識する必要のある位置(D≦Ds1)では、停止状態での明るさ切片値Cが信号機認識の場合と同じ参照設定値Lsに固定的に設定される。このため、車両100が渋滞中などで連続変化速度領域(0<V<Vs)で走行している場合には、明るさ出力値Lは、信号機認識に適した参照設定値Lsを最小値として車両速度Vに比例して変化する(L=((Lc−Ls)/Vs)・V+Ls)。
【0095】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記連続変化距離領域(Ds1<D≦Ds2)においては、当該連続変化距離領域を挟む2つの固定距離領域(D≦Ds1、Ds2<D)のそれぞれに固定的に設定されている前記参照設定値Lc,Lsの間で、前記次信号離間距離Dに対し線形比例するよう前記停止状態の場合の明るさ切片値Cを減少させる。
【0096】
このようにすると、連続変化距離領域における明るさ切片値Cは、2つの固定された2つの参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。つまり、車両100が連続変化距離領域に位置している際に、信号機に近づくに従って停止状態と走行状態との間の明るさ出力値Lの増減幅を連続的に順次増加させることができる。これは、明るさ切片値CがLcからLsに離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさ切片値Cの変化は動画品質を向上させるよう機能する。
【0097】
上述した構成に加えてさらに、前記ステップS100の明るさ出力値算出処理では、前記連続変化速度領域(0<V<Vs)においては、当該連続変化速度領域を挟む2つの固定速度領域(V=0、V≧Vs)のそれぞれに固定的に設定されている参照設定値Ls,Lcの間で車両速度Vに対し線形比例するよう明るさ出力値L=((Lc−C)/Vs)・V+Cを変化させる。
【0098】
このようにすると、連続変化速度領域における明るさ出力値Lの変化は、2つの固定された参照設定値Ls,Lcの間の変化を最も自然かつ緩やかに繋ぐように変化させることができる。明るさ出力値Lを2つの参照設定値Ls,Lcの間で離散的に変化させた場合に画像の明暗が急激に変化してしまうことと比較して、上記のような緩やかな明るさ出力値Lの変化は動画品質を向上させるよう機能する。
【0099】
また、連続変化速度領域における明るさ出力値Lの変化は、前後2つの固定設定値を連続的に繋ぐよう変化するのであれば上述した線形比例の変化に限定されない。例えば図14に示すように、適宜の曲線を描いてゆるやかに繋ぐよう変化させてもよい。
【0100】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【0101】
(1)前方画像を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置Sが自ら撮像した前方画像を利用して、自ら画像認識処理を行ったりその前方画像を内部に備えた記憶媒体12cに記録させるいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図15に示すように、ナビゲーション装置SAが無線通信装置21(通信手段に相当)とアンテナ22を備え、中継局23との無線通信を介した通信ネットワークで外部のデータセンター24に備えたデータベースサーバ25に前方画像を送信し、そのデータベースサーバ25に前方画像の画像認識や記録を行わせるいわゆるサーバ型としてもよい。
【0102】
これにより、ナビゲーション装置SAの記憶媒体12cの方で過去の前方画像を誤って消去してしまった場合でも、データセンター24のデータベースサーバ25に記録させた前方画像をバックアップとして利用できる。
【0103】
(2)電子携帯端末を利用して構成する場合
上記実施形態及び上記第1変形例は、いずれも車両100に搭載する機器構成がナビゲーション装置S、SAだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末31にカメラ、ディスプレイ、又はGPSを装備しているモデルが多く、これを例えば上記車速センサ15に接続されたクレードル32に着脱可能に取り付けて車両100に搭載する場合がある(図16参照)。そして、この電子携帯端末31に前方画像を撮像させ、同じ電子携帯端末31が備えるCPUに所定の画像認識処理を行わせることで、画像処理装置として機能させることができる。このような構成の画像処理装置においても、上記実施形態で例示した明るさ出力値L(画質設定値)の変化設定を適用させて前方画像の画質を調整することができる。
【0104】
この場合には、電子携帯端末31が各請求項記載の携帯端末装置に相当し、これに装備されているカメラが撮像手段に相当し、これに装備されているGPSが取得手段に相当し、当該電子携帯端末31のCPUが処理する制御手順のうち明るさ出力値Lを算出する手順が算出手段に相当し、カメラに対して露光調整する手順が制御手段に相当し、電子携帯端末31に装備されているディスプレイが表示手段に相当する。
【0105】
また、特に図示しないが、電子携帯端末31を利用した構成でも上述したサーバ型とすることは可能である。この場合には、電子携帯端末31に通信手段が備えられ、データセンター24のデータベースサーバ25が前方画像を記録するサーバに相当する。
【0106】
なお、以上説明した実施形態、第1変形例、及び第2変形例はいずれも必要とする基本的なハードウェア構成要素及びソフトウェア処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図17と図18に示す。
【0107】
まず図17は、各構成機器間におけるハードウェア構成要素の分担の組み合わせ例を示している。この図15のハードウェア構成要素における記憶部とは前方画像を記録する記憶媒体12cやデータベースサーバ25に相当するものであり、通信部とは上記無線通信装置21に相当するものである。また構成機器における車載装置(ナビゲーション装置、クレードル)には車速センサ15の装備が必須であり、データセンターには記憶部の装備が必須である。また、GPSは車載装置か携帯端末のいずれに装備させてもよいが、データセンターには装備できない。また、サーバ型の場合には、携帯端末と車載装置のいずれかと、データセンターにそれぞれ通信部の装備が必須である。
【0108】
図示する分担例以外でも、カメラとディスプレイは、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末、車載装置、及びデータセンターのいずれかが装備すればよい。なお、各ハードウェア構成要素はそれぞれ装備可能ないずれかの構成機器に1つずつ備えてあればよいが、例えば携帯端末と車載装置の両方に重複してディスプレイを備える構成としてもよい。また、携帯端末利用形態において、車載装置がカメラ、ディスプレイ、GPS、記憶部、及び通信部のいずれかを備えて利用する場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
【0109】
次に図18は、各構成機器間におけるソフトウェア処理内容の分担の組み合わせ例を示している。この図18に示すソフトウェア処理内容としては、画質設定値を算出する算出処理、画質設定値に基づいて画像の画質を調整する調整制御処理、画像から信号機や前方車両を認識する画像認識処理、及び画像を記録するドライブレコーダーの記録処理の4つである。このソフトウェア処理内容の分担については、十分な処理能力を有するCPUが各構成機器に搭載されて互いに情報の送受が可能であれば、基本的にはどの処理内容もいずれかの構成機器に分担処理させればよい。図示する分担例はあくまで主な例であり、他にも多様な組み合わせが可能である。
【0110】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【0111】
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット
3 ディスプレイ(表示手段に相当)
11 CPU
12c 記憶媒体
13 GPS(取得手段に相当)
14 カメラコントローラ
15 車速センサ(検出手段に相当)
16 グラフィックコントローラ
21 無線通信装置(通信手段に相当)
24 データセンター
25 データベース(外部サーバ、サーバに相当)
31 電子携帯端末(携帯端末装置に相当)
100 車両
S,SA,SB ナビゲーション装置
【特許請求の範囲】
【請求項1】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記移動体の地理的状況を取得する取得手段と、
前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、さらに、
前記撮像手段で撮像した画像を記録する記録手段を有することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態では信号機を認識対象とし、前記移動速度が前記所定速度以上である前記固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である前記固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1又は2記載の画像処理装置。
【請求項4】
前記取得手段は、
当該移動体の次の信号機までの次信号離間距離を前記地理的状況として取得し、
前記算出手段は、
前記移動速度が停止状態では前記所定の停止時設定値を前記次信号離間距離に応じて設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記算出手段は、
前記停止状態の場合の前記画質設定値がそれぞれ固定的に設定された複数の固定距離領域の間に、前記停止状態の場合の前記画質設定値を前記次信号離間距離に対応して連続的に減少させる連続変化距離領域を設けていることを特徴とする請求項4記載の画像処理装置。
【請求項6】
前記算出手段は、
前記次信号離間距離が次の信号機を確実に認識する必要のある距離未満である固定距離領域では前記停止状態の場合の前記所定の停止時設定値を所定の信号認識設定値に設定し、
前記次信号離間距離が次の信号機を認識する必要のない距離より長い距離である固定距離領域では前記停止状態の場合の前記所定の停止時設定値を前記所定の信号認識設定値より明るく設定することを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記算出手段は、前記連続変化距離領域においては、当該連続変化距離領域を挟む2つの固定距離領域のそれぞれに固定的に設定されている前記所定の停止時設定値の間で、前記次信号離間距離に対し線形比例するよう前記所定の停止時設定値を減少させることを特徴とする請求項5又は6記載の画像処理装置。
【請求項8】
前記算出手段は、前記連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域のそれぞれに固定的に設定されている画質設定値の間で、前記移動速度に対し線形比例するよう画質設定値を変化させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記移動体の地理的状況を取得する取得手段と、
前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項10】
請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、
前記撮像手段で撮像した前記画像を記録する記録手段を有することを特徴とするサーバ。
【請求項11】
移動体に搭載可能な携帯端末装置であって、
前記移動体の周囲の画像を撮像する撮像手段と、
前記移動体の地理的状況を取得する取得手段と、
外部の検出手段が検出した前記移動体の移動する速度である移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする携帯端末装置。
【請求項12】
移動体の周囲の画像を撮像する撮像工程と、
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記移動体の地理的状況を取得する取得工程と、
前記検出工程で検出した前記移動速度および前記取得工程で取得した前記地理的状況に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を有し、
前記算出工程では、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理方法。
【請求項1】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記移動体の地理的状況を取得する取得手段と、
前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項2】
前記画像処理装置は、さらに、
前記撮像手段で撮像した画像を記録する記録手段を有することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記撮像手段は、前記移動体の前方画像を撮像し、
前記認識手段は、前記移動速度が停止状態では信号機を認識対象とし、前記移動速度が前記所定速度以上である前記固定速度領域では前方車両を認識対象とし、
前記算出手段は、算出する対象の前記画質設定値を画像の明るさとし、前記移動速度が停止状態では前記画質設定値を所定の停止時設定値に設定し、前記移動速度が前記所定速度以上である前記固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項1又は2記載の画像処理装置。
【請求項4】
前記取得手段は、
当該移動体の次の信号機までの次信号離間距離を前記地理的状況として取得し、
前記算出手段は、
前記移動速度が停止状態では前記所定の停止時設定値を前記次信号離間距離に応じて設定し、
前記移動速度が前記前方車両との車間距離を検出すべき速度以上である固定速度領域では前記画質設定値を前記所定の停止時設定値より明るく設定することを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記算出手段は、
前記停止状態の場合の前記画質設定値がそれぞれ固定的に設定された複数の固定距離領域の間に、前記停止状態の場合の前記画質設定値を前記次信号離間距離に対応して連続的に減少させる連続変化距離領域を設けていることを特徴とする請求項4記載の画像処理装置。
【請求項6】
前記算出手段は、
前記次信号離間距離が次の信号機を確実に認識する必要のある距離未満である固定距離領域では前記停止状態の場合の前記所定の停止時設定値を所定の信号認識設定値に設定し、
前記次信号離間距離が次の信号機を認識する必要のない距離より長い距離である固定距離領域では前記停止状態の場合の前記所定の停止時設定値を前記所定の信号認識設定値より明るく設定することを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記算出手段は、前記連続変化距離領域においては、当該連続変化距離領域を挟む2つの固定距離領域のそれぞれに固定的に設定されている前記所定の停止時設定値の間で、前記次信号離間距離に対し線形比例するよう前記所定の停止時設定値を減少させることを特徴とする請求項5又は6記載の画像処理装置。
【請求項8】
前記算出手段は、前記連続変化速度領域においては、当該連続変化速度領域を挟む2つの固定速度領域のそれぞれに固定的に設定されている画質設定値の間で、前記移動速度に対し線形比例するよう画質設定値を変化させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
移動体に搭載して当該移動体の周囲の画像を撮像する撮像手段と、
前記移動体の移動する速度である移動速度を検出する検出手段と、
前記移動体の地理的状況を取得する取得手段と、
前記検出手段が検出した前記移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を外部サーバへ送受信する通信手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理装置。
【請求項10】
請求項9記載の画像処理装置の前記通信手段と前記画像を送受信するサーバであって、
前記撮像手段で撮像した前記画像を記録する記録手段を有することを特徴とするサーバ。
【請求項11】
移動体に搭載可能な携帯端末装置であって、
前記移動体の周囲の画像を撮像する撮像手段と、
前記移動体の地理的状況を取得する取得手段と、
外部の検出手段が検出した前記移動体の移動する速度である移動速度および前記取得手段が取得した前記地理的状況に応じて前記撮像手段が画像を撮像する際の画質設定値を算出する算出手段と、
前記算出手段が算出した前記画質設定値に対応して前記撮像手段が撮像する画像の画質を制御する制御手段と、
前記撮像手段で撮像した画像を表示する表示手段と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像手段で撮像した画像中から認識する認識手段と、を有し、
前記算出手段は、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする携帯端末装置。
【請求項12】
移動体の周囲の画像を撮像する撮像工程と、
前記移動体の移動する速度である移動速度を検出する検出工程と、
前記移動体の地理的状況を取得する取得工程と、
前記検出工程で検出した前記移動速度および前記取得工程で取得した前記地理的状況に応じて前記撮像工程で画像を撮像する際の画質設定値を算出する算出工程と、
前記算出工程で算出した前記画質設定値に対応して前記撮像工程で撮像する画像の画質を制御する制御工程と、
前記撮像工程で撮像した画像を表示する表示工程と、
前記地理的状況に応じて画質設定値が設定される停止状態と、画質設定値が固定的に設定された所定速度以上の固定速度領域にそれぞれ対応して設定された認識対象を前記撮像工程で撮像した画像中から認識する認識工程と、を有し、
前記算出工程では、前記停止状態と前記固定速度領域のそれぞれにおける画像設定値を前記所定の認識対象に対応して設定するとともに、前記停止状態と前記固定速度領域との間に、画質設定値を前記移動速度に対応して連続的に変化させる連続変化速度領域を設けることを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2013−109639(P2013−109639A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−255163(P2011−255163)
【出願日】平成23年11月22日(2011.11.22)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月22日(2011.11.22)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
[ Back to top ]