説明

表示制御装置およびナビゲーション装置

【課題】ディスプレイが存在する環境の影響をリアルタイムに反映させた表示制御を行う。
【解決手段】表示データを表示するディスプレイ3を撮影するカメラ4と、カメラ4の撮影データからディスプレイ3を認識する画像認識部5と、画像認識部5が認識したディスプレイ3の表示座標毎のRGB値を算出する表示内容復元部6と、ディスプレイ3に表示される表示データから、基準色が表示される座標を特定し、表示内容復元部6が算出した表示座標毎のRGB値の中から、基準色が表示される座標におけるRGB値を算出し、基準色が表示される座標におけるRGB値に基づいて、ディスプレイ3の表示設定の制御量を算出する制御量演算部7と、制御量演算部7が算出した制御量に基づいて、ディスプレイ3の表示設定を制御するディスプレイ制御部8とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示機器の視認性を制御する表示制御装置および当該制御機能を備えたナビゲーション装置に関するものである。
【背景技術】
【0002】
車載ディスプレイなどの表示機器は、車両の走行に伴って、周囲の明るさ、外部からの光の入光角度、温度による表示機器の特性変化などのような表示画面の視認性を左右する外部環境がダイナミックに変化する。そのため、これら外部環境の変化に追従して、輝度やコントラスト、色調などを調整し、常に良好な視認性を確保できるように制御する必要がある。従来より、周囲の明るさをセンサで検出して、表示機器の輝度を変化させる技術が実用化されているが、センサの検出結果とユーザから表示画面がどのように見えるかには差異があり、さらに高精度な表示制御が望まれていた。
【0003】
外部の状況に合わせて表示機器の表示画面を調整する従来の技術として、特許文献1の車載機の照明色調整装置では、インストルメントパネル(インパネ)の照明が点灯された状態で、撮像装置によって撮影されたインパネの照明部分の画像データをRGBデータに変換し、当該RGB値に基づいて車載機の照明色を設定している。
また、特許文献2に記載される液晶ディスプレイ検査装置では、検査対象の液晶ディスプレイの画面に調整用の特定の画像パターンなどを表示させて、この表示画面を撮像した画像について画像間演算、画像の2値化、ラベル付け、面積/重心の計測を行い、これらの結果から表示画面の切り替えやコントラスト値の調整を行っている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−206030号公報
【特許文献2】特開平06−337653号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に代表される従来の技術では、インパネの照明部分が静的な状態で撮影された画像データに基づいて車載機の照明色の調整を行っているため、表示機器の外部環境の変化に追従して表示画面を調整することができないという課題があった。
【0006】
また、特許文献2に代表される従来の技術では、画面に調整用の特定の画像パターンを表示させる必要がある。一方、車載の表示機器においては、例えば、ナビゲーション処理における地図表示などのように車両の走行中に運転者に提供すべき表示内容がある。
従って、車両の走行に伴った表示機器の外部環境の変化に追従して表示画面を調整する場合に、従来の技術を適用すると、その都度、特定の画像パターンが表示されることになり、車両の走行中に運転者に提供すべき表示内容を提供できなくなる。すなわち、車両の走行中に表示画面をリアルタイムに調整できない。
【0007】
この発明は、上記のような課題を解決するためになされたもので、表示機器の特性変化や表示機器が存在する環境の影響をリアルタイムに反映させた表示制御を行うことを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る表示制御装置は、表示データを表示する表示機器の画面内容を検出する検出部と、検出部の検出結果から画面内容を認識する画像認識部と、画像認識部が認識した画面内容から、当該画面の表示座標毎の色成分を表す数値データを算出する表示内容復元部と、表示機器に表示される表示データから基準色が表示される座標を特定し、表示内容復元部が算出した表示座標毎の色成分を表す数値データの中から、基準色が表示される座標の色成分を表す数値データを算出し、当該算出した基準色が表示される座標の色成分を表す数値データに基づいて、表示機器における画面の制御量を算出する制御量演算部と、制御量演算部が算出した制御量に基づいて、表示機器における画面の表示を制御する制御部とを備えるものである。
【発明の効果】
【0009】
この発明によれば、表示機器の特性変化や表示機器が存在する環境の影響をリアルタイムに反映させた表示制御を行うことができるという効果がある。
【図面の簡単な説明】
【0010】
【図1】実施の形態1による表示制御装置の構成を示すブロック図である。
【図2】実施の形態1による表示制御装置の撮影結果データの取得例を示す図である。
【図3】実施の形態1による表示制御装置の動作を示すフローチャートである。
【図4】実施の形態1による表示制御装置のコントラスト制御を示す説明図である。
【図5】実施の形態1による表示制御装置のバックライト制御量算出テーブルの一例を示す説明図である。
【図6】実施の形態1による表示制御装置の色調制御量算出テーブルの一例を示す説明図である。
【図7】実施の形態1による表示制御装置の基準色を表示する領域の算出を示す図である。
【図8】実施の形態1による表示制御装置の動作を示すフローチャートである。
【図9】実施の形態1による表示制御装置の制御量算出テーブルの一例を示す説明図である。
【図10】実施の形態2による表示制御装置の構成を示すブロック図である。
【図11】実施の形態2による表示制御装の動作を示すフローチャートである。
【図12】実施の形態3による表示制御装置の構成を示すブロック図である。
【図13】実施の形態4による表示制御装置の構成を示すブロック図である。
【図14】実施の形態4による表示制御装置の動作を示すフローチャートである。
【図15】実施の形態4による表示制御装置の動作を示すフローチャートである。
【図16】実施の形態5による表示制御装置の構成を示すブロック図である。
【図17】実施の形態5による表示制御装置の制御量テーブルの一例を示す説明図である。
【図18】実施の形態6による表示制御装置の構成を示すブロック図である。
【図19】実施の形態6による表示制御装置の制御量テーブルの一例を示す説明図である。
【図20】実施の形態7による表示制御装置の構成を示すブロック図である。
【図21】実施の形態7による表示制御装置の制御量テーブルの一例を示す説明図である。
【図22】実施の形態1の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【図23】自車のトンネル通過を示す説明図である。
【図24】ナビゲーション装置の制御許可/抑止判定部の動作を示すフローチャートである。
【図25】実施の形態3の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【図26】実施の形態4の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【図27】実施の形態5の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【図28】実施の形態6の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【図29】実施の形態7の表示制御装置の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
実施の形態1.
図1は、この発明の実施の形態1による表示制御装置の構成を示すブロック図である。表示制御装置100は、カメラ4、画像認識部5、表示内容復元部6、制御量演算部7、ディスプレイ制御部8で構成されている。また、表示制御装置100が制御する映像データを出力する構成として、映像データ出力部1、信号生成部2およびディスプレイ3が設けられている。
【0012】
映像データ出力部1は、映像信号を出力する。出力する映像信号はデジタル信号であり、ディスプレイ3の座標毎に(RGB)の値を指定する情報を有している。この(RGB)値はディスプレイ3に対する座標ごとの色の指定値に相当する。以下では、映像データ出力部1が出力するデータを表示データと称する。信号生成部2は、表示データ出力部1から出力される表示データに基づき、ディスプレイ3を駆動するための電気信号を生成する。ディスプレイ3は、信号生成部2から出力される電気信号に基づき映像を表示する。
【0013】
カメラ4は、ディスプレイ3の表示内容を撮影する。画像認識部5は、カメラ4の撮影データから、ディスプレイ3の表示範囲を特定する。表示内容復元部6は、カメラ4の撮影データに基づき、ディスプレイ3の座標毎のRGB値を復元する。RGB値の復元は、ディスプレイ3の出力について、座標毎の色の計測結果に相当する。以下では、ディスプレイ3の座標に対してRGB値を復元および特定したデータを撮影結果データと称する。なお、表示内容復元部6の復元処理は、ディスプレイ3の全座標に対して撮影結果データを出力してもよいし、特定座標に対してのみ撮影結果データを出力してもよい。
【0014】
制御量演算部7は、表示データから基準色が表示された座標を特定し、表示内容復元部6が算出した撮影結果データから基準色が表示される(の)座標のRGB値を求め、ディスプレイ3に対する輝度制御量、コントラスト制御量および色調制御量などを算出する。ディスプレイ制御部8は、制御量演算部7において算出された制御量に基づき、ディスプレイ3の輝度、コントラスト、あるいは色調の制御を行う。なお、輝度の制御はディスプレイ3のバックライトの明るさを制御する。
【0015】
図2は、この発明の実施の形態1による表示制御装置の撮影結果データの取得例を示す説明図である。図2(a)は、映像データ出力部1から出力される表示データをイメージで表わしたものである。表示データは、どの座標でどの色を表示するかについてディスプレイ3に対する指定値で構成されている。図2(b)は、図2(a)の表示データをディスプレイ3に表示した際に、ディスプレイ3をカメラ4で撮影した画像を示している。ここでは、ディスプレイ3全体が撮影範囲に収まっている場合を示している。カメラ4は、車内の運転者の頭部に近い位置に設置することにより、カメラ4の撮影条件を運転者の視認条件に近似させることができる。
【0016】
図2(c)は、図2(b)の撮影画像から画像認識部5によりディスプレイ3の表示範囲が特定されると共に、表示内容復元部6により復元されたディスプレイ3の座標ごとのRGB値をイメージで表わしたものである。表示内容復元部6による復元値は、カメラ4で撮影されたRGB値をディスプレイ3の座標毎に特定した色の計測値である。そのため、図2(c)に示す撮影結果データは、ディスプレイ3の座標ごとのRGB値を示すデジタルデータの集まりであり、ディスプレイ3の表示内容がどのように見えているかをデジタルデータで表わしたものである。ディスプレイ3の表示内容の見え方は、周囲の明るさ、外部からの光の入光角度、温度による表示機器の特性変化などの外乱によって変化する。そのため、同一の表示データをディスプレイ3に表示した場合でも、これらの外乱に依存して撮影結果データのRGB値は変化する。図2(a)の表示データと図2(c)の撮影結果データを比較した場合に、同一座標においてRGB値は近い値であるか、または理想的には一致することが望ましい。
【0017】
次に、表示制御装置100の動作について説明を行う。図3は、実施の形態1による表示制御装置の動作を示すフローチャートである。
ディスプレイ3に映像データが表示されると(ステップST1)、カメラ4がディスプレイ3を撮影する(ステップST2)。画像認識部5は、ステップST2の撮影画像からディスプレイ3の表示範囲を特定する(ステップST3)。表示内容復元部6は、ステップST3で特定された表示範囲の各座標についてRGB値を復元した撮影結果データを生成する(ステップST4)。
【0018】
制御量演算部7は、表示データから基準色を表示する座標を特定し(ステップST5)、ステップST4で生成された撮影結果データからステップST5で特定した基準色を表示する座標のRGB値を求める(ステップST6)。さらに制御量演算部7は、ステップST6で求めたRGB値に基づき制御量算出テーブルから制御量を算出する(ステップST7)。ディスプレイ制御部8は、ステップST7で算出された制御量に基づきディスプレイ3を制御し(ステップST8)、処理を終了する。
【0019】
上述した制御量演算部7によるステップST7の制御量の算出処理についてより詳しく説明を行う。制御量演算部7は、図2(a)の表示データのフィードバック値である図2(c)の撮影結果データに基づいて最適な制御量を算出するが、その制御として、コントラスト、輝度および色調の制御に分けてそれぞれ詳しく説明を行う。
【0020】
・コントラストの制御
ディスプレイ3のコントラストを制御する際の制御量は、参考文献1または参考文献2に開示されているように、黒色を表示意図としたときの表示結果と白色を表示意図としたときの表示結果から求めることができる。
[参考文献1]
特開2002−122513号公報(横河電機)
[参考文献2]
特開平8−95004号公報(オークマ株式会社)
【0021】
制御量演算部7は、映像データ出力部1から出力される表示データから黒色を表示意図としている座標(以下、黒色表示座標と称する)と、白色を表示意図としている座標(以下、白色表示座標と称する)を求める。これは表示データの座標毎のRGB値を座標毎に逐一確認し、当該RGB値が黒色に該当すれば該当座標が黒色表示座標であり、またRGB値が白色に該当すれば該当座標が白色表示座標である。また、黒色あるいは白色かの判定は、例えばRGB値においてR<20、G<20、B<20なら黒色と判定し、R>240、G>240、B>240なら白色と判定するなど、あらかじめ基準値を保有しているものとする。
【0022】
図4は、実施の形態1による表示制御装置のコントラスト制御を示す説明図であり、黒色/白色表示座標の検出の一例を示している。図4(a)は、表示データの一例を示し、表示範囲Aの拡大図を図4(b)に示している。図4(b)では、「7」の数字を表示した領域における黒色表示座標および白色表示座標を特定した例を示している。さらに制御量演算部7は、表示内容復元部6が算出した撮影結果データから特定した黒色表示座標および白色表示座標のRGB値を算出する。黒色表示座標と白色表示座標は各々表示データから前述方法で特定されるものである。撮影結果データにおけるこの黒色表示座標でのRGB値を黒色表示結果と称する。また撮影結果データにおけるこの白色表示座標でのRGB値を白色表示結果と称する。算出結果は、黒色撮影結果および白色撮影結果となる。
【0023】
制御量演算部7は、黒色撮影結果および白色撮影結果に基づき、図4(c)に示したコントラスト制御量算出テーブルから、コントラスト制御量を算出する。なお、コントラスト制御量算出テーブルは、黒色撮影結果および白色撮影結果の各々の値について、実験により最適な制御量を各々あらかじめ算出してテーブルに記憶させたものである。コントラスト制御量算出テーブルは、黒色撮影結果として取り得る全てのRGB値と、白色撮影結果としてとり得る全てのRGB値の組み合わせ毎にコントラスト制御量が定義されている。コントラスト制御量の算出方法は、黒色撮影結果および白色撮影結果の組み合わせが当てはまるコントラスト制御量算出テーブルの行を検索し、その行に定義されたコントラス制御量を求めることである。
【0024】
・輝度の制御
上述したコントラスト制御と同様に、制御量演算部7は表示データから黒色表示座標および白色表示座標を特定し、撮影結果データにおける黒色表示座標および白色表示座標でのRGB値を算出する。これらのRGB値が黒色表示結果および白色表示結果である。算出結果である黒色撮影結果および白色撮影結果に基づき、図5に示したバックライト制御量算出テーブルを検索することによってバックライト制御量を算出する。輝度の制御では、バックライトの明るさを調整することにより輝度を制御する。バックライト制御量算出テーブルは、黒色撮影結果および白色撮影結果の各々の値について、実験により最適な制御量を各々あらかじめ算出してテーブルに記憶させたものであり、黒色撮影結果として取り得る全てのRGB値と、白色撮影結果としてとり得る全てのRGB値の組み合わせ毎にバックライト制御量が定義されている。なお、バックライト制御量はバックライトの明るさを指定する量である。
【0025】
・色調の制御
色調の制御とはディスプレイの表示特性において、例えば赤色、緑色、青色の各々の表示の強さを調節することである。これはディスプレイ等の表示機器が赤色、緑色、青色の各々の強さを調節する方式にて色調を調整する場合に適用できるものであり、以下では代表例としてこの赤色、緑色、青色の3色を基準色とする場合を述べる。ディスプレイの色調調整のパラメータが赤色、緑色、青色以外の色に関して表示強度を調節する方式の場合はそれぞれに応じた色を基準色とする。
制御量演算部7は、映像データ出力部1から出力される表示データから赤色、緑色、青色を表示意図としている座標(以下、赤色表示座標、緑色表示座標、青色表示座標と称する)を特定する。座標の特定は、座標のRGB値について例えば次のような条件に基づき行われる。
・R>240、G<20、B<20ならば、当該座標を赤色表示座標と判定する。
・R<20、G>240、B<20ならば、当該座標を緑色表示座標と判定する。
・R<20、G<20、B>240ならば、当該座標を青色表示座標と判定する。
【0026】
次に制御量演算部7は、表示内容復元部6が算出した撮影結果データにおける赤色、緑色、青色表示座標のRGB値を算出する。このようにして算出された、撮影結果データにおける上記の赤色表示座標/緑色表示座標/青色表示座標でのRGB値を、各々赤色撮影結果/緑色撮影結果/青色撮影結果と称する。この赤色/緑色/青色撮影結果の値に基づき、図6(a)から図6(c)に示した色調制御量算出テーブルを検索して、赤色/緑色/青色制御量を算出する。なお、色調制御量算出テーブルは、実験により最適な制御量を各々あらかじめ算出してテーブルに記憶させたものである。
【0027】
このように、制御量演算部7は、表示データから黒/白/赤/緑/青色などの基準となる表示色を表示している座標を特定し、撮影結果データにて当該座標のRGB値を取得する。さらに、取得したRGB値に基づき制御量算出テーブルから制御量を算出する。
撮影結果データは、例えば運転者の頭部近くに設置したカメラ4から撮影した結果であることから、周囲の明るさ、外部からの光の入光角度、ディスプレイ3の表面での光の反射、温度による表示機器の特性変化などに左右された結果、運転者に視認されるという最終目的に至るまでの外乱を全て含んでいる。いわば運転者の網膜に映っている内容と同等の映像である。このようにフィードバックされた撮影結果に基づきコントラスト、バックライトあるいは色調の制御を行うので、制御効果が高い。
【0028】
上記では、制御量演算部7が表示データから基準色を表示する座標を特定する構成を示したが、基準色を表示する領域(例えば、中心座標と半径から特定される円領域)を算出するように構成してもよい。図7は、実施の形態1による表示制御装置の基準色を表示する領域の算出を示す図である。図7に示す例では、領域Bは黒色を表示している円形領域であり、領域Wは白色を表示している円形領域である。
【0029】
制御量演算部7は、まず表示データから黒色表示領域および白色表示領域を特定し、撮影結果データから特定した黒色表示領域および白色表示領域に属する画素のRGB値の平均を算出する。この構成においては、黒色表示領域および白色表示領域に属する画素のRGB値の平均値が、黒色撮影結果および白色撮影結果となる。さらに取得した黒色撮影結果および白色撮影結果に基づき、図4(c)で示したコントラスト制御量算出テーブル、および図5で示したバックライト制御量算出テーブルから制御量を算出する。
【0030】
ユーザは、表示データの個々の画素を個別に見るのではなく、領域的に視認しているため、表示データから基準色を表示する領域を算出することにより、より確実に制御を行うことができる。また撮影結果データの領域内のRGB値を平均した後にフィードバックするため、より確実に撮影結果における色調をフィードバックすることができる。例えばディスプレイの表面に局所的にゴミが付着していた場合、そのゴミが付着している箇所の画素の座標の撮影結果を一点でフィードバックさせると明らかに不都合であるが、撮影結果データの領域内のRGB値の平均をフィードバックさせるとこのような不都合を軽減することができる。
【0031】
また上記では、制御量演算部7が基準色を表示する座標あるいは領域を特定する構成を示したが、基準とする表示色の選定により自由度を持たせて構成してもよい。例えば、白と黒との混色で得られる無彩色の座標あるいは領域を用いて、当該無彩色の座標あるいは領域のうち明るさが最大の地点を白色表示座標あるいは白色表示領域の代用とし、明るさが最小の地点を黒色表示座標あるいは黒色表示領域の代用とする。
【0032】
具体的に説明すると、ある座標あるいは領域のRGB値が以下の式(1)を満たす場合、当該座標あるいは領域の表示色を無彩色とみなす。
|R−G|+|G−B|+|B−R|<ε ・・・(1)
ここで、εは所定の閾値である。さらにこの無彩色の座標あるいは領域の明るさは以下の式(2)で表わされる。
L=(1/3)(R+G+B) ・・・(2)
ここで、Lは無彩色座標あるいは領域の明るさを示す。この明るさが最大Lmaxの座標あるいは領域を明色点(白色の代用)とし、明るさが最小Lminの座標あるいは領域を暗色点(黒色の代用)とする。
【0033】
次に、この明色点および暗色点を用いた制御量の算出について説明を行う。図8は、実施の形態1による表示制御装置の動作を示すフローチャートであり、明色点および暗色点を用いた制御量の算出を示す。なお、図3で示したフローチャートと同一のステップには同一の符号を付し、説明を省略または簡略化する。
制御量演算部7は、映像データ出力部1から表示データを取得し、表示内容復元部6から撮影結果データを取得する(ステップST11)。さらに、表示データから明るさ最大の無彩色座標である明色点座標を特定し(ステップST12)、撮影結果データから特定した明色点座標のRGB値を取得する(ステップST13)。ステップST13で取得した明色点座標のRGB値から明るさを算出する(ステップST14)。
【0034】
同様に制御量演算部7は、表示データから明るさ最小の無彩色座標である暗色点座標を特定し(ステップST15)、撮影結果データから特定した暗色点座標のRGB値を取得する(ステップST16)。ステップST16で取得した暗色点座標のRGB値から明るさを算出する(ステップST17)。制御量演算部7は、ステップST12および14で取得した表示データおよび撮影結果データの明色点座標の明るさ、およびステップST15および17で取得した表示データおよび撮影結果データの暗色点座標の明るさに基づき、制御量算出テーブルから制御量を算出する(ステップST18)。
【0035】
ステップST18で制御量演算部7が参照する制御量算出テーブルを図9に示している。図9の制御量算出テーブルは、4つの明るさを表わす値の組み合わせの各々について輝度制御量(バックライトへの制御値)およびコントラスト制御量が定義されており、当該制御量算出テーブルを検索することにより輝度制御量およびコントラスト制御量が算出される。ディスプレイ制御部8は、ステップST18で算出された制御量に基づきディスプレイ3を制御し(ステップST8)、処理を終了する。
このように基準色の選定により自由度を持たせて構成した場合には、表示データおよび撮影結果データのRGB値から算出した明るさを用いて制御量を算出する。また、無彩色を用いた制御量の算出では、表示データに無彩色が存在すれば制御が可能であり、表示データに特別な基準表示色が存在しない場合であっても制御することができる。
【0036】
以上のように、この実施の形態1によれば、ディスプレイ3を撮影するカメラ4と、カメラ4の撮影データからディスプレイ3の表示範囲を特定する画像認識部5と、画像認識部5が特定した表示範囲のRGB値を復元する表示内容復元部6と、表示データから基準色を表示する座標あるいは領域を特定し、撮影結果データにおいて当該座標または領域のRGB値を求め、求めたRGB値を用いて制御量を算出する制御量演算部7とを備えるように構成したので、ディスプレイ3表面での光の反射状況や周囲の明るさ、温度による表示機器の特性変化などの外乱を全て含んだ上でユーザにどのように視認されるかを示す撮影結果データを用いて制御量を算出することができ、高い制御効果を得ることができる。
【0037】
また、この実施の形態1によれば、表示データから基準色を表示する座標あるいは領域を特定し、撮影結果データにおいて当該座標または領域のRGB値を求め、求めたRGB値を用いて制御量を算出する制御量演算部7を備え、通常のディスプレイ3に入力される表示データから、その都度基準色を表示する座標を特定してリアルタイムに制御するように構成したので、ユーザの運転中にリアルタイムでディスプレイを制御することが可能となる。また、運転中は表示データが都度変化しており、かつ車内の明るさなど外部条件も都度変化しているが、両者の変化に追従したダイナミックな調整を行うことができる。
また、実際のナビゲーション画面や車両後方のカメラ映像など、運転に必要な表示内容を表示しているときに、そこから基準となる表示色を表示している座標を都度抽出するので、運転中に制御することが可能である。これは例えば、従来はコントラストを調整するのに故意に白画面および黒画面を表示する必要があったが、本発明ではこのような調整目的の表示を行う必要がなく、運転者が見たい内容を表示しつつディスプレイの調整が可能である。
【0038】
さらに、この実施の形態1によれば、制御量演算部7は、ある座標あるいは領域の表示色があらかじめ設定された範囲に含まれている場合には、所定の表示色を意図している座標あるいは領域であると判断するように構成したので、あらかじめ設定された所定の範囲をもってRGB値を判定することができ、基準色が表示データ中に存在する割合が向上し、制御量の算出割合を向上させることができる。
【0039】
さらに、この実施の形態1によれば、基準となる表示色の選定により自由度を持たせて構成した場合、表示データと撮影結果データの4つの明るさを表わす値の組み合わせの制御量テーブルを参照して制御量を算出するように構成したので、表示データと撮影結果データを加味して制御量を算出することができ、良好な制御結果を得ることができる。
【0040】
実施の形態2.
上述した実施の形態1では、表示内容復元部6がカメラ4の撮影データに基づき、ディスプレイ3に表示されるすべての座標についてRGB値を復元する構成を示したが、この実施の形態2では表示内容復元部6の演算処理の負荷を軽減する構成を示す。
【0041】
図10は、この発明の実施の形態2による表示制御装置の制御量演算部および表示内容復元部の構成を示すブロック図である。
制御量演算部7は、映像データ出力部1から出力される表示データから、黒、白、赤、緑、青といった基準色が表示された座標あるいは領域を特定し、表示内容復元部6に出力する。表示内容復元部6は、制御量演算部7から入力される座標あるいは領域のRGB値を復元し、撮影結果データとして制御量演算部7に返す。制御量演算部7は、表示内容復元部6から入力された撮影結果データ、すなわち制御量演算部7が特定した座標あるいは領域のRGB値を用いて制御量算出テーブルから制御量を算出する。
【0042】
なお、その他の構成については実施の形態1の表示制御装置の構成と同一であるため、説明を省略する。また、実施の形態1と同様に、基準色の選定により自由度を持たせて構成してもよい。
【0043】
次に、図11のフローチャートを参照しながら、実施の形態2の表示制御装置の動作について説明を行う。なお、実施の形態1による表示制御装置と同一ステップには図3で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST3において、画像認識部5が撮影画像からディスプレイ3の表示範囲を特定すると、制御量演算部7は映像データ出力部1から入力される表示データから基準色が表示された座標あるいは領域を特定し、特定した座標あるいは領域に関する情報を表示内容復元部6に出力する(ステップST21)。
【0044】
表示内容復元部6は、ステップST3で特定された表示範囲から、ステップST21で入力された特定された座標あるいは領域のRGB値を復元し、撮影結果データを生成する(ステップST22)。制御量演算部7は、ステップST22で復元されたRGB値を用いて制御量算出テーブルから制御量を算出する(ステップST23)。ディスプレイ制御部8は、ステップST23で算出された制御量に基づきディスプレイ3を制御し(ステップST8)、処理を終了する。このように、表示内容復元部6が復元するデータは、制御量演算部7が特定した基準色が表示される座標あるいは領域に限定される。
【0045】
以上のように、この実施の形態2によれば、制御量演算部7が表示データから基準色が表示された座標あるいは領域を特定し、当該特定した座標あるいは領域について表示内容復元部6がRGB値を復元するように構成したので、表示内容復元部6の演算処理量を抑制することができる。
【0046】
なお、上述した実施の形態1および実施の形態2では、基準となる表示色を黒、白、赤、緑、青として説明したが、これらとは異なる表示色を基準色としてもよい。さらに、常時は黒、白、赤、緑、青を基準色とし、表示データにおいてこれらの基準色である座標が見つからなかった場合に異なる表示色を基準とする切り替え制御を行う構成としてもよい。これにより、表示データから黒、白、赤、緑、青に該当する座標が検索できなかった場合でも、他の基準色が表示される座標を検索することにより、処理を継続させることができる。
【0047】
また、この実施の形態2の構成は、以下の実施の形態3から実施の形態7にも適用可能である。
【0048】
実施の形態3.
次に、デジタル処理によって表示データのRGB値を補正する構成について説明を行う。図12は、実施の形態3による表示制御装置の構成を示すブロック図である。
実施の形態3の表示制御装置100は、実施の形態1で示した制御量演算部7に替えて補正量演算部9を追加して設けている。さらに、映像データ出力部1と信号生成部2との間には、補正量演算部9が演算した補正量に基づき表示データのRGB値を補正する映像データ補正部10を追加して設けている。なお、以下では、実施の形態1の表示制御装置100の構成要素と同一または相当する部分には実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
【0049】
補正量演算部9は、実施の形態1で示した制御量演算部7の色調の制御と同様の処理により演算した色調補正量に基づいて、表示データのRGB値に加える補正量ΔR,ΔG,ΔBを演算する。つまり、演算した色調補正量の演算に加え、色調補正量に対応した補正量ΔR,ΔG,ΔBを演算する処理を行う。映像データ補正部10は、表示データ(R_in,G_in,B_in)に、補正量演算部9が演算した補正量ΔR,ΔG,ΔBを加算して補正後のデータ(R_out,G_out,B_out)を生成し、信号生成部2に出力する。RGB値の補正後のデータは以下のように表わされる。
【0050】
R_out=R_in+ΔR
G_out=G_in+ΔG
B_out=B_in+ΔB
ここで、R_out,G_out,B_outは映像データ補正部10が出力する補正後のデータのRGB値、R_in,G_in,B_inは表示データのRGB値、ΔR,ΔG,ΔBは補正量演算部9が演算した補正量を示す。補正量演算部9が演算する補正量は、全ての座標で同一の値(ΔR,ΔG,ΔBを同一の値に設定)としてもよいし、座標毎に補正量を変化させる(ΔR,ΔG,ΔBを座標毎に定義する)ように構成してもよい。
【0051】
なお、補正量演算部9が演算する補正量は図6に示したテーブルと同様のテーブルを用いる。ただし実施の形態3においてはこのテーブルにおいて、制御量に替えて補正量が定義されている。また、補正量を演算する方法は図6によって色調制御量を演算する方法と同様である。
実施の形態3における表示データの補正は、表示データのRGB値をデジタル処理によって直接変更するものであるから、実施の形態1におけるディスプレイの色調制御に比べて細かい補正が可能である。たとえば画面の領域毎に独立した異なる補正が可能である。例えば、画面の表示領域を上下に2分割し、表示データにおいて上側領域で赤、緑、青の表示座標を検出するとともに下側領域でも赤、緑、青の表示座標を検出する。その結果、合計6箇所の座標を表示データから特定する。これら6箇所の座標において、撮影結果データから各々座標でのRGB値を求める。このような構成とすると、画面の上部と下部で各々独立して実施の形態3を適用することができる。図6における色調制御量は上下の補正で同一のテーブルを用いても良いし、異なるテーブルを用いても良い。
【0052】
表示データにおいて、例えば、上下の赤色座標におけるRGB値は同じである。一方、ディスプレイの上部のみ光が反射しているなど、表示条件が上下で異なる場合があるので、撮影結果データでの各々の当該座標のRGB値は、上下で異なる場合がある。このような場合について画面の上部下部で各々の表示条件に応じた適切な補正が実施できる。
ここに述べた上下分割の方式を拡張すると、結局画面を更に細かい多数の領域に分割した場合において、各々独立して補正することができる。また、表示内容(表示コンテンツ)の変化に応じて、領域の分割方法を変化させてもよい。
【0053】
以上のように、この実施の形態3によれば、色調補正量を演算すると共に、演算した色調補正量に対応した補正量を演算する補正量演算部9を備えるように構成したので、表示データに直接補正を行うことができ、良好な表示結果を得ることができる。
【0054】
なお、上述した構成は、表示データの座標を補正の対象としてもよいし、表示データの領域を補正の対象としてもよい。また、基準色の選定により自由度を持たせて構成してもよい。さらに、上述した構成は、実施の形態2にも適用可能である。
【0055】
実施の形態4.
この実施の形態4では、表示データと撮影結果データを比較して、ディスプレイ3における視認性を定量的に評価し、当該評価に基づき画面デザインを切り替える構成について説明を行う。
図13は、実施の形態4による表示制御装置の構成を示すブロック図である。この実施の形態4の表示制御装置は、実施の形態1で示した制御量演算部7に替えて視認性判定部11を設けている。
【0056】
まず、視認性判定部11が行う視認性の定量的評価について説明する。映像データ出力部1が出力する表示データの表示コンテンツが、例えば赤色を主体とした画面デザインに基づく表示と、青色を主体とした画面デザインに基づく表示の2種類が表示可能であるとする。その場合、ユーザの選択あるいは装置側の制御として、赤色を主体とした画面デザインと青色を主体とした画面デザインを選択的に切り替えて表示することができると想定する。そこで、視認性判定部11において、赤色を主体とした場合と青色を主体とした場合のどちらを選択すると視認性が良好な表示を行えるか判定を行い、当該判定に応じた色を主体とした画面デザインに切り替える。
【0057】
次に視認性判定部11の詳細な構成について説明を行う。
視認性判定部11は、表示データから所定の基準色が表示された座標を特定し、特定した座標のRGB値を求める。さらに、表示内容復元部6から入力される撮影結果データから、これと同じ座標でのRGB値を求める。次に、表示データのRGB値と撮影結果データのRGB値を用いて、以下の式(3)から色調乖離度Dを算出する。
D=|R1−R2|+|G1−G2|+|B1−B2| ・・・(3)
R1,G1,B1は表示データにおいて所定の基準色が表示された座標のRGB値、R2,G2,B2は撮影結果データにおいて同じ座標でのRGB値である。
視認性判定部11は、算出した色調乖離度Dに基づいて、視認性が良好となる画面デザインを選択し、選択した画面デザインへの切り替えを指示するコンテンツ選択指示を作成し、映像データ出力部1に出力する。
【0058】
色調乖離度の定義:
色調乖離度とは、一つの基準色について、表示データでのRGB値と、同じ座標での撮影結果データでのRGB値の乖離の度合いを数値で示すものである。
色調乖離度の算出方法:
表示データから当該基準色を表示している座標を求める。座標の求め方は上述した実施の形態1と同様である。この座標について表示データでのRGB値と、撮影結果データでのRGB値から上記の式(3)Dにより求める。本実施例では色調乖離度Dとして上述の式を用いたが、2個のRGB値の乖離の度合いを数値で表す量を算出するものであれば他の算出方法を用いてもよい。例えば以下の式(3´)を用いてもよい。
D=(R1−R2)+(G1−G2)+(B1−B2) ・・・(3´)
【0059】
ここで、色調乖離度Dに基づいた画面デザインの選択について説明を行う。
色調乖離度Dが大きい場合、当該の基準色について、表示データと撮影結果データのRGB値に大きな差が生じていることを示し、表示条件あるいは外乱条件として悪条件であることを示している。一方、色調乖離度Dが小さい場合、表示データと撮影結果データのRGB値の差が小さいことを示し、表示条件あるいは外乱条件として好条件であることを示している。
【0060】
本実施の形態では、赤色を基準色とした場合の色調乖離度Dと青色を基準色とした場合の色調乖離度Dを各々算出する。そして両者の色調乖離度を比較する。その結果、D>Dであった場合、表示条件あるいは外乱条件として青色の表示条件が赤色よりも良好である。したがって、赤色を主体とした画面デザインよりも、青色を主体とした画面デザインの方が好条件であると判定することができる。視認性判定部11は、この判定結果に基づいて青色を主体とした画面デザインへの切り替えを指示するコンテンツ選択指示を作成する。
【0061】
次に、この実施の形態4の表示制御装置100の動作を、視認性判定の処理を中心に説明する。図14は、実施の形態4の表示制御装置による視認性判定部の動作を示すフローチャートである。なお、以下の説明では、赤色を主体とした画面デザインと青色を主体とした画面デザインの視認性の判定を例に説明を行う。
視認性判定部11は、映像データ出力部1から表示データを取得し、表示内容復元部6から撮影結果データを取得する(ステップST31)。ステップST31で取得した表示データから赤色座標および青色座標を特定する(ステップST32)。
【0062】
まず、ステップST32で特定した赤色座標の処理について述べる。
視認性判定部11は、表示データからステップST32で特定した赤色座標のRGB値を求める(ステップST33)。さらに、ステップST31で取得した撮影結果データからステップST32で特定した赤色座標のRGB値を求める(ステップST34)。次に、ステップST33で求めた表示データのRGB値と、ステップST34で求めたRGB値を用いて上述した式(3)から色調乖離度Dを算出する(ステップST35)。
【0063】
青色座標についても同様に色調乖離度を求める。
視認性判定部11は、表示データからステップST32で特定した青色座標のRGB値を求める(ステップST36)。さらに、ステップST31で取得した撮影結果データからステップST32で特定した青色座標のRGB値を求める(ステップST37)。次に、ステップST36で求めた表示データのRGB値と、ステップST37で求めたRGB値を用いて上述した式(3)から色調乖離度Dを算出する(ステップST38)。
【0064】
視認性判定部11は、ステップST35で算出した色調乖離度Dと、ステップST38で算出した色調乖離度Dの大小を比較する。比較した結果、D<Dであった場合、表示条件あるいは外乱条件として赤色の表示条件が青色よりも良好である。したがって、赤色を主体とした画面デザインを選択する。また、D<Dであった場合、表示条件あるいは外乱条件として青色の表示条件が赤色よりも良好である。したがって、青色を主体とした画面デザインを選択する。
【0065】
このようにして、赤色を主体とする画面デザインと、青色を主体とする画面デザインのどちらを選択すべきか判定を行い(ステップST39)、コンテンツ選択指示を生成し(ステップST40)、処理を終了する。その後、映像データ出力部1は、入力されたコンテンツ選択指示に基づいて自動的に画面デザインを切り替えてもよいし、ディスプレイ3に画面デザインの切り替えを提案するメッセージを表示し、ユーザの切り替え操作入力に基づいて画面デザインを切り替えてもよい。
【0066】
この実施の形態4では、2種類の基準色(赤と青)についておのおの色調乖離度を算出して、コンテンツ選択指令を判定する方式を示したが、判定材料とする基準色の種類や数は任意である。(どんな色の基準色を何種類用いても良い。)例えば、一種類(例えば黒)の基準色についてのみ色調乖離度を算出し、この色調乖離度の大小のみからコンテンツ選択指令を判定してもよい。あるいは3種類以上の基準色の各々について色調乖離度を算出し、これら複数の色調乖離度の算出結果から総合的にコンテンツ選択指令を判定してもよい。
【0067】
この実施の形態4では、表示コンテンツの選択例として、画面デザインの配色を変更する場合について述べたが、表示コンテンツの選択肢はこれに限るものではない。表示データと撮影結果データの色調乖離度の評価結果から合理的に判定できるものであれば、どのような表示コンテンツを選択してもよい。
【0068】
次に、この実施の形態4の表示制御装置100による視認性判定部11を用いた異なる構成について説明を行う。上述した構成では、異なる色を主体とした画面デザインの視認性を判定して良好な視認性を有する画面デザインを選択する構成を示したが、以下では1つの表示画面における2色の識別度合いに基づき、表示対象の識別性を判定する構成について説明を行う。
【0069】
ディスプレイ3は、ユーザが表示内容を正確に認識可能な表示を行う必要がある。具体的には、白色の背景に黒色の表示対象を表示すると、表示対象の認識性は高く、識別性が良好であると言える。逆に、黒色の背景に茶色のような暗色の表示対象を表示すると、表示対象の認識は低く、識別性が悪いと言える。このように、画面デザインにおける配色は文字や記号などの表示対象が容易に認識できるように、2色の識別性を確保することが考慮されている。しかし、実際に画面を表示させた場合に、表示機器の特性変化や光の反射などの外部の条件に依存して意図したとおりの識別性が確保しにくい場合が存在する。
そこで、以下の構成では視認性判定部11において、2色の識別度合いDを用いて表示データの識別性を判定し、常に識別性が良好な画面デザインが表示されるように切り替えを行う。
【0070】
まず、視認性判定部11の詳細な構成について説明を行う。説明では異なる2色の組み合わせについて、表示上その識別性が良好であるか否か定量的に評価する場合を例に説明するが、色の組み合わせは2色に限定されるものではなく、2色より大きい数であれば適宜変更可能である。
視認性判定部11は、表示データから異なる2色を表示している座標(以下、座標Aおよび座標Bと称する)を特定する。座標の求め方は上述した実施の形態1と同様である。特定した座標Aおよび座標BのRGB値を求める。表示データから取得したRGB値をそれぞれ(R3,G3,B3)と(R4,G4,B4)とする。さらに、撮影結果データにて当該座標Aおよび座標BのRGB値を取得する。取得したRGB値をそれぞれ(R5,G5,B5)と(R6,G6,B6)とする。
【0071】
視認性判定部11は、表示データの座標Aおよび座標BのRGB値、および撮影結果データの座標Aおよび座標BのRGB値を用いて、上述した式(3)から2色の識別度合いDを算出する。表示データのRGB値により算出した2色の識別度合いDは、識別性の期待値を表す。また、撮影結果データのRGB値により算出した2色の識別度合いDは、識別性の実効値を表す。この2色の識別度合いDが大きいほど当該の2色の識別性は良好であり、小さいほど当該の2色の識別は困難になる。
【0072】
具体的には、視認性判定部11は、表示データのRGB値および撮影結果データのRGB値を用いて以下の式(4)および式(5)から識別性期待値Dpおよび識別性実効値Drを算出する。
識別性期待値Dp=|R3−R4|+|G3−G4|+|B3−B4| ・・・(4)
識別性実効値Dr=|R5−R6|+|G5−G6|+|B5−B6| ・・・(5)
ここで、識別性期待値Dpは(R3,G3,B3)と(R4,G4,B4)のみで決まるが、識別性実効値Drは表示データのRGB値である(R3,G3,B3)と(R4,G4,B4)に依存するほか、周囲の明るさ、外部からの光の入光角度、ディスプレイ3の表面での光の反射、温度による表示機器の特性変化などそのときの条件に左右されて数値が変動する。
【0073】
視認性判定部11は、算出した識別性期待値Dpおよび識別性実効値Drを用いて以下の式(6)から識別性維持率を算出する。
識別性維持率=識別性実効値Dr/識別性期待値Dp ・・・(6)
算出された識別性維持率を評価することにより、異なる2色の識別性が表示条件に応じて期待通りか否か、あるいは期待値に対してどの程度実効性が得られているか評価することができる。識別性維持率が大きいと、当該の2色は意図したとおりの識別性をもって表示されていることを示す。一方、識別性維持率が小さいと、当該の2色は意図したとおりの識別性をもって表示されていないことを示す。当該評価に基づき識別性が良好となる画面デザインを選択し、選択した画面デザインへの切り替えを指示するコンテンツ選択指示を作成し、映像データ出力部1に出力する。
【0074】
次に、識別性判定の処理を図15のフローチャートに従って説明する。なお以下の説明では、画面デザインとしてデザイン1(赤色と青色のコントラストによって視認性(識別性)を確保する配色デザイン)とデザイン2(赤色と緑色のコントラストによって視認性(識別性)を確保する配色デザイン)の2種類が備えられ、オプションによりデザイン1とデザイン2を切り替える構成を例に説明を行う。
【0075】
視認性判定部11は、映像データ出力部1から表示データを取得し、表示内容復元部6から撮影結果データを取得する(ステップST31)。次に取得した表示データから赤色座標、青色座標および緑色座標を特定する(ステップST41)。さらに、表示データから赤色座標のRGB値(ステップST42)、青色座標のRGB値(ステップST43)、緑色座標のRGB値(ステップST44)を各々求める。次に上述した式(4)から赤色と青色の識別性期待値Dp(赤/青)および赤色と緑色の識別性期待値Dp(赤/緑)を算出する(ステップST45)。
【0076】
同様に視認性判定部11は、ステップST31で取得した撮影結果データから、ステップST41にて特定された各々の座標について赤色座標のRGB値(ステップST46)、青色座標のRGB値(ステップST47)、緑色座標のRGB値(ステップST48)を求め、上述した式(5)から赤色と青色の識別性実効値Dr(赤/青)および赤色と緑色の識別性実効値Dr(赤/緑)を算出する(ステップST49)。
【0077】
同様に視認性判定部11は、ステップST31で取得した撮影結果データから、特定された赤色座標のRGB値(ステップST46)、青色座標のRGB値(ステップST47)、緑色座標のRGB値(ステップST48)を求め、上述した式(5)から赤色座標と青色座標の識別性実効値Dr(赤/青)および赤色座標と緑色座標の識別性実効値Dr(赤/緑)を算出する(ステップST49)。
【0078】
さらに視認性判定部11は、上述した式(6)から赤色と青色、赤色と緑色の組み合わせそれぞれの識別性維持率Dr(赤/青)/Dp(赤/青)とDr(赤/緑)/Dp(赤/緑)を算出する(ステップST50)。さらに、ステップST50で算出した識別性維持率Dr(赤/青)/Dp(赤/青)とDr(赤/緑)/Dp(赤/緑)の大小を比較し、デザイン1とデザイン2のどちらを選択すべきか判定を行い(ステップST51)、識別性維持率の高い色の組み合わせのコントラストであるデザインの選択を指示するコンテンツ選択指示を生成し(ステップST52)、処理を終了する。
【0079】
なお、ステップST51では以下のように判定してデザイン1またはデザイン2を選択する。
下記の式(7)が成立する場合、赤と青の識別性維持率が、赤と緑の識別性維持率より良好であることを示す。デザイン1は赤色と青色のコントラストによって識別性を確保する配色デザインであり、デザイン2は赤色と緑色のコントラストによって識別性を確保する配色デザインであるから、この場合はデザイン1を選択する。

下記の式(8)が成立する場合、赤と緑の識別性維持率が、赤と青の識別性維持率より良好であることを示す。この場合はデザイン2を選択する。

【0080】
このように識別性維持率に基づきコンテンツを選択すると、例えばこれまで赤色と青色の識別性が良好であったが、外部の光線状態が変化するなどして赤色と青色の識別性が悪化し、逆に赤色と緑色の識別性が良好になった場合など、外部の光線状態や車内の明るさなどに応じてその都度画面デザインを切り替えることができ、効果的に表示制御を行うことができる。
【0081】
以上のように、この実施の形態4によれば、表示意図としている色調を示す表示データと、ユーザが視認している色調を示す撮影結果データとを比較する視認性判定部11を備えるように構成したので、どのような色調について表示条件が良好であるか的確に判定することができる。さらにその判定結果を加味して表示コンテンツの選択を行うことができ、その時々の表示条件の元で適切なコンテンツの切り替え判定を行うことができる。
【0082】
また、この実施の形態4によれば、表示データと撮影結果データのRGB値を用いて色調乖離度Dを算出し、当該色調乖離度Dに基づき視認性が良好となる画面デザインを選択する視認性判定部11を備えるように構成したので、例えば赤色表示と青色表示のどちらが現在の表示条件から有利であるかを判定して画面デザインを切り替えることができ、適切な画面デザインを提供することができる。
【0083】
さらに、この実施の形態4によれば、表示データの2色のRGB値から識別性期待値Dpを、撮影結果データの各々同じ座標における2色のRGB値から識別性実効値Drを算出し、当該識別性期待値Dpと識別性実効値Drから識別性維持率を算出し、算出した識別性維持率から識別性が良好となる画面デザインを選択する視認性判定部11を備えるように構成したので、画面デザインの識別性維持率を都度判定して画面デザインを選択することができ、効果的に画面デザインを切り替えることができる。
【0084】
なお、識別度合いを評価する対象とする2色の選択は、異なる色であれば任意の2色を選んでよい。また上述した実施の形態4では、赤と青、赤と緑の2組の2色について識別性維持率を比較したが、識別性維持率を比較する2色の組は何組でもよい。
【0085】
また、上述した実施の形態4では、2色の識別性の度合いを数値で表すために上述の式を用いたが、2個のRGB値の識別性の度合いを数値で表すものであれば他の算出方法を用いても良い。例えば識別性の期待値および識別性の実効値について、以下の式(4´)および式(5´)でもよい。
Dp=(R3−R4)+(G3−G4)+(B3−B4) ・・・(4´)
Dr=(R5−R6)+(G5−G6)+(B5−B6) ・・・(5´)
【0086】
また、上述した実施の形態4では、表示コンテンツの選択として、画面デザインを選択する例を示したが、2色の識別性維持率の評価結果から合理的に判定できるものであれば、どのような表示コンテンツを選択してもよい。
【0087】
実施の形態5.
移動体の運転者は前方を見ながら、時折ディスプレイ3を確認する。そのため、ディスプレイ3の視認性の向上は前方の映像に依存していると言える。そこでこの実施の形態5では、移動体前方の明るさを考慮して制御量を算出する構成について説明する。なお、この実施の形態5では、移動体として車両を例に説明を行うが、車両以外にも適宜適用可能である。
【0088】
図16は、実施の形態5による表示制御装置の構成を示すブロック図である。図1で示した実施の形態1による表示制御装置に、車外撮影カメラ12および車外明度演算部13を追加して設けている。車外撮影カメラ12は、車両の前方、すなわちディスプレイ3の後方を撮影する撮影手段である。この車外撮影カメラ12は、車両前方の障害物などを検出する際に用いる運転支援用のカメラと兼用としてもよい。車外明度演算部13は、車外撮影カメラ12の撮影データから、以下の式(9)を用いて車外の明度を算出する。

ここでiMAXおよびjMAXは画像の縦横の画素であり、明るさLfは画像の全画素についてR値、G値およびB値を加算したものである。
【0089】
制御量演算部7は、車外明度演算部13が算出した車外の明度も考慮し、制御量算出テーブルから制御量を算出する。図17は、この実施の形態5の表示制御装置の比較算出部が保有する制御量算出テーブルの一例を示す。この制御量算出テーブルは、4つの明るさを表わす値の組み合わせおよび移動体前方の明るさの各々について輝度制御量(バックライトへの制御値)およびコントラスト制御量が定義されている。ディスプレイ制御部8は、制御量演算部7において車外明度を考慮して算出された輝度制御量およびコントラスト制御量を用いてディスプレイ3を制御する。
【0090】
以上のように、この実施の形態5によれば、移動体前方を撮影する車外撮影カメラ12と、移動体前方の明るさを算出する車外明度演算部13と、移動体前方の明るさを考慮した制御量を算出する制御量演算部7とを備えるように構成したので、移動体前方、すなわちディスプレイ3後方の明るさに基づいてディスプレイ3の輝度およびコントラストを適切に制御することができる。
【0091】
なお、上述した実施の形態5では、移動体前方の明るさのみを考慮した構成を示したが、前方を撮影した撮影データから色調を検出し、当該色調に調和するようにディスプレイ3の表示内容を制御するように構成してもよい。
なお、ここで言う「色調」とは、画面の全体的な赤み度合い、緑度合い、青み度合いを意味するもので、例えば以下の式(10)から式(12)で算出された結果のRf,Gf,Bfなる3個で一組の数値データで表すことができる。

「当該色調に調和するように制御する」とは、図17において、Lfの代わりにRf,Gf,Bfを組とした数値を参照することである。
【0092】
また、上述した実施の形態5は、実施の形態1以外にも、実施の形態2および実施の形態3の構成に適用可能である。
【0093】
実施の形態6.
この実施の形態6では、制御量演算部7が制御量としてディスプレイ3の角度を制御する構成を示す。ディスプレイ3はその角度によって、光の反射状況が変化する。そのためディスプレイ3の角度は表示データと撮影結果データの差分を左右する要因の一つとなる。ディスプレイ3の角度を制御する場合に、表示データと撮影結果データを比較した結果を制御量算出の入力とすると、制御効果が非常に高い。また、光の反射状況は車両の向きや走行している場所にも依存し、常に変化する。そのため、常時表示データと撮影結果データを入力して比較し、制御することで、外部状況の変化にリアルタイムで応答した制御が可能となる。
【0094】
図18は、実施の形態6による表示制御装置の構成を示すブロック図である。実施の形態1で示した表示制御装置に、ディスプレイ角度制御部14を追加して設けている。
ディスプレイ角度制御部14は、制御量演算部7から出力される制御量に基づきディスプレイ3の角度を制御する。制御量演算部7は、例えば図19に示す制御量算出テーブルを保有しており、当該制御量算出テーブルから最適なディスプレイ3の角度を算出し、制御量として出力する、図19に示す制御量算出テーブルは、4つの明るさを表わす値の組み合わせの各々について最適なディスプレイ3の角度が定義されている。
【0095】
以上のように、この実施の形態6によれば、制御量演算部7から出力される制御量に基づきディスプレイ3の角度を制御するディスプレイ角度制御部14を備えるように構成したので、ディスプレイ3における光の反射状況の変化などに対応した制御を適切に行うことができる。
【0096】
なお、上述した実施の形態6では、カメラ4を車内の運転者の視点に近い位置に設置することにより、カメラ4の撮影条件を運転者の視認条件に近似させることができる。
【0097】
また、上述した実施の形態6は、実施の形態1以外にも、実施の形態2、実施の形態3および実施の形態5の構成に適用可能である。
【0098】
実施の形態7.
この実施の形態7では、制御量演算部7が制御量として窓のフィルタ遮光量を制御する構成を示す。ディスプレイ3の光の反射状況は、車両の窓のフィルタ遮光量により変化し、窓のフィルタ遮光量は表示データと撮影結果データの差分を左右する要因の一つとなる。窓のフィルタ遮光量を制御する場合に、表示データと撮影結果データを比較した結果を制御量算出の入力とすると、制御効果が非常に高い。また、光の反射状況は車両の向きや走行している場所にも依存し、常に変化する。そのため、常時表示データと撮影結果データを入力して比較し、制御することで外部状況の変化にリアルタイムで応答した制御が可能となる。
【0099】
図20は、実施の形態7による表示制御装置の構成を示すブロック図である。実施の形態1で示した表示制御装置に、遮光フィルタ制御部15を追加して設けている。
遮光フィルタ制御部15は、制御量演算部7から出力される制御量に基づき遮光フィルタ(図示せず)のフィルタ遮光量を制御する。制御量演算部7は、例えば図21に示す制御量算出テーブルを保有しており、当該制御量算出テーブルから最適なフィルタ遮光量を算出し、制御量として出力する。図21に示す制御量算出テーブルは、4つの明るさを表わす値の組み合わせの各々についてフィルタ遮光量が定義されている。
【0100】
以上のように、この実施の形態7によれば、制御量演算部7から出力される制御量に基づき遮光フィルタのフィルタ遮光量を制御する遮光フィルタ制御部15を備えるように構成したので、ディスプレイ3における光の反射状況の変化などに対応した制御を適切に行うことができる。
【0101】
また、上述した実施の形態7では、カメラ4を車内の運転者の視点に近い位置に設置することにより、カメラ4の撮影条件を運転者の視認条件に近似させることができる。
【0102】
さらに、上述した実施の形態7は、実施の形態1以外にも、実施の形態2、実施の形態3、実施の形態5および実施の形態6の構成に適用可能である。
【0103】
さらに、本発明では、ディスプレイ3に対する制御としてコントラスト、輝度および色調の制御について述べたが、ディスプレイ3に対する制御はこれらに限定されるものではない。例えば、ディスプレイ3の反射光分布の制御に本願発明を適用することも可能である。
【0104】
本発明では、カメラ4を用いてディスプレイ3の表示内容を撮影し、撮影データから撮影結果データを取得する構成を示したが、ディスプレイ3にセンサを設け、当該センサによりディスプレイ3の表示内容を認識し、上述した撮影結果データに相当するデータを取得するように構成してもよい。
【0105】
また、本発明をナビゲーション装置と連動させるように構成してもよい。目的地に向かって経路上を走行中にトンネル等を通過する際に周囲の明るさ等の外部環境が変化することが予測される。しかし、例えば短いトンネルを通過するような際に、表示制御をすると表示制御が頻繁に行なわれることになり、ユーザにとってかえって見づらくなることが起こる。本発明をナビゲーション装置と連動させることによって、経路上にある所定距離以下のトンネル等の特徴物を通過する際に表示制御をしないように構成することで、表示のパタツキを防止することが可能である。
【0106】
図22は、実施の形態1で示した表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
ナビゲーション装置200は、上述した実施の形態1で示した表示制御装置100と同一の構成に加え、目的地設定部21、地図データ格納部22、経路探索部23、経路案内部24、GPS受信機25、車速検出部26、自車位置検出部27および制御許可/抑止判定部28を備えている。
【0107】
目的地設定部21は、自車の目的地を設定する。地図データ格納部22は、地図データを格納する。経路探索部23は、地図データを参照し、設定された目的地までの経路探索を行う。経路案内部24は、経路探索部23により探索された経路の案内を行う。GPS受信機25は、GPS信号を受信する。車速検出部26は、自車の車速を検出する。自車位置検出部27は、GPS受信機25から受信したGPS信号に基づき、自車位置の緯度経度を検出する。自車位置と地図データを照合することにより走行中の道路を特定するとともに、当該道路上で何処を走行中であるかを特定する。
【0108】
制御許可/抑止判定部28は、ディスプレイ制御部8のディスプレイ3への制御に関し、制御を許可するか抑止するかの判定を行い、判定結果を制御許可信号として出力する。制御許可信号は「許可」/「抑止」の2値からなる。なお、制御を許可するか抑止するかの判定は、自車位置検出部27から入力される現在の自車の位置情報、車速検出部26から入力される車速情報、および地図データに基づいて行われる。ディスプレイ制御部8は、制御許可/抑止判定部28から入力される信号値を確認し、信号値が「許可」ならば制御を実施し、「抑止」であれば制御を行わない。
【0109】
次に、図23および図24を参照しながら制御許可/抑止判定部28の動作を説明する。図23は、車両AがトンネルBを通過する時間を予測し、予測した時間が短い場合(例えば、1秒以下の場合)に制御を抑止し、ディスプレイ3のチャタリング(パタツキやチラツキ)を防止する例を示している。図24は、図23で示した例において、ナビゲーション装置200の制御許可/抑止判定部28の動作を示すフローチャートである。
制御許可/抑止判定部28は、自車位置情報、車両Aが走行中である道路情報、および自車の車速情報を検出し(ステップST61)、車両Aの現在位置がトンネルBに入る1秒前であるか否か判定を行う(ステップST62)。
【0110】
車両Aの現在位置がトンネルBに入る1秒前でない場合(ステップST62;NO)、ステップST61の処理に戻る。一方、車両Aの現在位置がトンネルBに入る1秒前である場合(ステップST62;YES)、制御許可/抑止判定部28は、車両AがトンネルBを通過する際に要する時間を算出する(ステップST63)。ステップST63の算出では、車両Aの車速情報に関して、その時点の車速がトンネルB通過まで一定に保たれると仮定する。また、地図データを参照し、トンネル長の情報を取得する。これらの車両Aの車速情報およびトンネル長の情報から、車両AがトンネルB通過に要する時間は(トンネル長)/(車速)により算出することができる。
【0111】
制御許可/抑止判定部28は、ステップST63で算出した車両AがトンネルBを通過する際に要する時間が1秒以上であるか否か判定を行う(ステップST64)。トンネルBを通過する際に要する時間が1秒以上である場合(ステップST64;YES)、制御許可/抑止状態を「許可」に変化させ(ステップST65)、ステップST61の処理に戻る。
一方、トンネルBを通過する際に要する時間が1秒未満である場合(ステップST64;NO)、制御許可/抑止状態を「抑止」に変化させる(ステップST66)。さらに、5秒経過すると(ステップST67;YES)、制御許可/抑止状態を「許可」に変化させ(ステップST68)、ステップST61の処理に戻る。
【0112】
以上のように、ディスプレイ制御部8に対してディスプレイ3への制御を許可するか抑止するかの判定を行い、判定結果を制御許可信号として出力する制御許可/抑止判定部28を備えたナビゲーション装置200と連動させるように構成したので、トンネル通過時間が短い(例えば、1秒以内)場合に、当該状況を予測し、トンネルに進入する1秒前から5秒間はディスプレイの制御を抑制することができ、短いトンネルを通過する際の表示のチャタリング(パタツキやチラツキ)を防止することができる。
一方、トンネル通過時間が長い場合(本実施例の場合は1秒以上)ディスプレイの制御を抑制しない。その結果、トンネル進入による外部の光線条件の変化に応じてディスプレイへの制御が実施されるので、実施の形態1に述べた効果が適切に提供されるという効果がある。
【0113】
なお、図25から図29は、実施の形態3から実施の形態7で示した表示制御装置を構成する機能とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。
図25は、上述した実施の形態3の表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。さらに、上述した制御許可/抑止判定部28と同様の機能を有する補正許可/抑止判定部29を備えている。補正許可/抑止判定部29は、補正量演算部9の映像データ補正部10への色調補正を許可するか抑止するかの判定を行い、判定結果を補正許可信号として出力する。
【0114】
図26は、上述した実施の形態4の表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。上述した制御許可/抑止判定部28を備えている。制御許可/抑止判定部28は、視認性判定部11のコンテンツ選択の制御を許可するか抑止するかの判定を行い、判定結果を制御許可信号として出力する。
【0115】
図27は、上述した実施の形態5の表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。上述した制御許可/抑止判定部28を備えている。制御許可/抑止判定部28は、ディスプレイ制御装置8へのディスプレイ3の制御を許可するか抑止するかの判定を行い、判定結果を制御許可信号として出力する。
【0116】
図28は、上述した実施の形態6の表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。上述した制御許可/抑止判定部28を備えている。制御許可/抑止判定部28は、ディスプレイ角度制御部14へのディスプレイ3の角度の制御を許可するか抑止するかの判定を行い、判定結果を制御許可信号として出力する。
【0117】
図29は、上述した実施の形態7の表示制御装置100と同一の構成とナビゲーション機能を連動させたナビゲーション装置の構成を示すブロック図である。上述した制御許可/抑止判定部28を備えている。制御許可/抑止判定部28は、遮光フィルタ制御部15の遮光フィルタの制御を許可するか抑止するかの判定を行い、判定結果を制御信号として出力する。
【0118】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0119】
1 映像データ出力部、2 信号生成部、3 ディスプレイ、4 カメラ、5 画像認識部、6 表示内容復元部、7 制御量演算部、8 ディスプレイ制御部、9 補正量演算部、10 映像データ補正部、11 視認性判定部、12 車外撮影カメラ、13 車外明度演算部、14 ディスプレイ角度制御部、15 遮光フィルタ制御部、21 目的地設定部、22 地図データ格納部、23 経路探索部、24 経路案内部、25 GPS受信機、26 車速検出部、27 自車位置検出部、28 制御許可/抑止判定部、100 表示制御装置、200 ナビゲーション装置、A 車両、B トンネル。

【特許請求の範囲】
【請求項1】
表示機器による表示データの表示を制御する表示制御装置において、
前記表示データを表示する前記表示機器の画面内容を検出する検出部と、
前記検出部の検出結果から前記画面内容を認識する画像認識部と、
前記画像認識部が認識した前記画面内容から、当該画面の表示座標毎の色成分を表す数値データを算出する表示内容復元部と、
前記表示機器に表示される前記表示データから基準色が表示される座標を特定し、前記表示内容復元部が算出した表示座標毎の色成分を表す数値データの中から、前記基準色が表示される座標の色成分を表す数値データを算出し、当該算出した基準色が表示される座標の色成分を表す数値データに基づいて、前記表示機器の表示設定の制御量を算出する制御量演算部と、
前記制御量演算部が算出した制御量に基づいて、前記表示機器の表示設定を制御する制御部とを備えたことを特徴とする表示制御装置。
【請求項2】
表示機器による表示データの表示を制御する表示制御装置において、
前記表示データを表示する前記表示機器の画面内容を検出する検出部と、
前記検出部の検出結果から前記画面内容を認識する画像認識部と、
前記画像認識部が認識した前記画面内容から、当該画面の表示座標毎の色成分を表す数値データを算出する表示内容復元部と、
前記表示機器に表示される前記表示データから基準色が表示される領域の座標を特定し、前記表示内容復元部が算出した表示座標毎の色成分を表す数値データの中から、前記基準色が表示される領域の座標における色成分を表す数値データを算出すると共に、前記表示データから前記基準色が表示される領域の座標における色成分を表す数値データを算出し、算出した前記基準色が表示される領域の座標における双方の前記色成分を表す数値データに基づいて、前記表示機器の表示設定の制御量を算出する制御量演算部と、
前記制御量演算部が算出した制御量に基づいて、前記表示機器の表示設定を制御する制御部とを備えたことを特徴とする表示制御装置。
【請求項3】
前記基準色は、色成分を表す数値データが所定の数値範囲にある色であることを特徴とする請求項2記載の表示制御装置。
【請求項4】
前記色成分を表す数値データが所定の数値範囲にある色は、無彩色の明色および暗色であることを特徴とする請求項3記載の表示制御装置。
【請求項5】
前記制御量演算部は、前記表示機器に表示される前記表示データから、基準色が表示される座標を特定し、
前記表示内容復元部は、前記画像認識部で認識された前記画面内容から、前記制御量演算部が特定した前記基準色が表示される座標における色成分を表す数値データを算出し、前記制御量演算部に通知することを特徴とする請求項1から請求項4のうちのいずれか1項記載の表示制御装置。
【請求項6】
前記検出部は、前記表示機器の画面内容を撮影するカメラであり、
画像認識部は、前記カメラの撮影画像から前記画面内容を認識することを特徴とする請求項1から請求項5のうちのいずれか1項記載の表示制御装置。
【請求項7】
前記カメラは、ユーザの視点から前記表示機器の画面内容を撮影するカメラであることを特徴とする請求項6記載の表示制御装置。
【請求項8】
前記表示機器が移動体前方に配置され、当該移動体の進行方向を撮影した撮像画像の画像特性を算出する前方特性演算部を備え、
前記制御量演算部は、前記色成分を表す数値データに加えて、前記前方特性演算部が算出した前記画像特性に基づいて、前記表示機器における前記画面の制御量を算出することを特徴とする請求項1から請求項5のうちのいずれか1項記載の表示制御装置。
【請求項9】
前記制御量演算部が算出した制御量に基づいて、前記表示機器の角度を制御する画面角度制御部を備えたことを特徴とする請求項1または請求項2記載の表示制御装置。
【請求項10】
前記制御量演算部が算出した制御量に基づいて、前記表示機器の画面に照射される光の遮光量を制御する遮光量制御部を備えたことを特徴とする請求項1または請求項2記載の表示制御装置。
【請求項11】
表示データを表示する表示機器と接続可能に構成され、
前記表示データを表示する前記表示機器の画面内容を検出する検出部と、
前記検出部の検出結果から前記画面内容を認識する画像認識部と、
前記画像認識部が認識した前記画面内容から、当該画面の表示座標毎の色成分を表す数値データを算出する表示内容復元部と、
前記表示機器に表示される前記表示データから基準色が表示される座標を特定し、前記表示内容復元部が算出した表示座標毎の色成分を表す数値データの中から、前記基準色が表示される座標の色成分を表す数値データを算出し、当該算出した基準色が表示される座標の色成分を表す数値データに基づいて、前記表示機器の表示設定の制御量を算出する制御量演算部と、
前記制御量演算部が算出した制御量に基づいて、前記表示機器の表示設定を制御する制御部とを備えたナビゲーション装置。
【請求項12】
表示データを表示する表示機器と接続可能に構成され、
前記表示データを表示する前記表示機器の画面内容を検出する検出部と、
前記検出部の検出結果から前記画面内容を認識する画像認識部と、
前記画像認識部が認識した前記画面内容から、当該画面の表示座標毎の色成分を表す数値データを算出する表示内容復元部と、
前記表示機器に表示される前記表示データから基準色が表示される領域の座標を特定し、前記表示内容復元部が算出した表示座標毎の色成分を表す数値データの中から、前記基準色が表示される領域の座標における色成分を表す数値データを算出すると共に、前記表示データから前記基準色が表示される領域の座標における色成分を表す数値データを算出し、算出した前記基準色が表示される領域の座標における双方の前記色成分を表す数値データに基づいて、前記表示機器の表示設定の制御量を算出する制御量演算部と、
前記制御量演算部が算出した制御量に基づいて、前記表示機器の表示設定を制御する制御部とを備えたナビゲーション装置。
【請求項13】
地図を格納する地図データ格納部と、
前記地図上で自車の走行位置を検出する自車位置検出部と、
前記地図上にある特徴物を自車が通過する前に、前記特徴物と前記自車位置との距離および車速から、前記特徴物を通過するのに要する時間を算出し、該時間が所定時間以下の場合に制御部に対して表示制御を抑止する制御許可抑止判定部とを備えたことを特徴とする請求項11または請求項12記載のナビゲーション装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate


【公開番号】特開2013−7950(P2013−7950A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2011−141631(P2011−141631)
【出願日】平成23年6月27日(2011.6.27)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】