説明

画像表示装置

【課題】画像表示装置において、撮像手段から所定距離以上離れた対象物を隠す(マスキング)ことで、画像を視る者が距離感を得る。
【解決手段】画像表示装置1は、動画像を撮像する撮像手段2と、撮像手段2により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段3と、画像処理手段3で処理をした動画像を表示する画像表示手段4とを備える。前記撮像手段は、ステレオ撮像手段であり、前記画像処理手段は、前記ステレオ撮像手段により撮像したステレオ画像を構成する第1のモノラル画像を複数のエリアに分割し、この第1のモノラル画像の各エリアに対して、第2のモノラル画像上で前記第1のモノラル画像上と同―位置にエリアを設定して、第1のパターンマッチング値と第2のパターンマッチング値とに基づいて画像上の対象物との距離を判定する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像表示装置に係り、特に両眼視差を用いずに、1つの画面から距離感を得る手法を備えた画像表示装置に関する。
【背景技術】
【0002】
従来、車両の画像表示装置としては、ビデオ透過ヘッドマウントディスプレイと、光学透過ヘッドマウントディスプレイとがある。
ビデオ透過ヘッドマウントディスプレイは、装着すると外の様子を見ることはできないが、ディスプレイ(画像表示手段)に外の様子が映し出されている(但し、ディスプレイ装置だけでなくビデオカメラも装着する必要がある)。
一方、光学透過ヘッドマウントディスプレイは、ディスプレイ装置(画像表示手段)がハーフミラーであって、外の様子が視え、また、片目のみに、ディスプレイ装置(画像表示手段)が付いているものもある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−147922号公報
【0004】
特許文献1に係る画像処理方法、画像表示システム、およびコンピュータプログラムは、人間の目のピント調節機能を画像処理で予め行うことで、動画像を見る者に、背景だけではなく、動きのある部分にピントが合っている感覚を与えて、2次元の動画像の奥行き感や、立体感を高めるものである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来、人間は、両眼視差から距離感を得ているため、ビデオ透過ヘッドマウントディスプレイが単眼カメラ画像で外の様子を映す場合に、両眼視差を得られず、距離感を喪失する不具合がある。
ヘッドマウントディスプレイは移動しながら使用するが、距離感を喪失した状態での移動は、使用者にとって問題がある。人間の脳には、記憶により距離感を補う機能(大きさを記憶し、見かけの大きさで距離を判断する。物の配置を記憶しておく。位置を記憶したものの前後関係から距離を判断する。)がある物の、これには、脳の疲労を伴う不具合がある。
光学透過ヘッドマウントディスプレイや、ビデオ透過ヘッドマウントディスプレイの改善策として、視差のついた画像を左右それぞれの眼に表示する技術もあるが、ヘッドマウントディスプレイで付加表示しようとする情報が、限られた領域の小さな表示となる不具合があった。
【0006】
また、従来、ディスプレイへの表示に距離情報を用いるにあたり、以下のように、ステレオカメラ画像からの距離計測の方法がある。
図5の距離判定のフローチャートに示すように、対象物の位置(X1、Y1)の任意のエリアを左側ビデオカメラ(L)の画像から選択し(ステップB01)、そして、右側ビデオカメラ(R)の画像から、探索してパターンマッチング値を得る(ステップB02)。この探索は、繰り返し行われる場合もある(ステップB03)。
そして、最もパターンマッチング値の高い位置(Xr、Yr)を対応点とし(ステップB04)、対象物の位置(X1、Y1)と高い位置(Xr、Yr)による視差から距離を計算する(ステップB05)。
その後、左側ビデオカメラ(L)の画像の全てに対して繰り返し(ステップB06)、そして、所定距離により、遠近を判定する(ステップB07)。
従って、正確な距離が分かるが、処理時間がかかる。正確な距離を必要としない場合、処理完了して表示するのが遅くなるという不都合があった。
即ち、このような距離計測の方法では、左右の画像から特徴点を探索するため、処理時間が長くなる不具合があることから、移動しながら使用するヘッドマウントディスプレイでは、高速な画面更新のために、高速な画像処理が必要であった。
また、上記の引用文献1では、画像上の移動体を強調する方法であって、画像を視る者が十分な距離感を得られなかった。
【0007】
そこで、この発明の目的は、撮像手段から所定距離以上離れた対象物を隠す(マスキング)ことで、画像を視る者が距離感を得ることができる画像表示装置を提供することにある。
【課題を解決するための手段】
【0008】
この発明は、動画像を撮像する撮像手段と、この撮像手段により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段と、この画像処理手段で処理をした動画像を表示する画像表示手段とを備えることを特徴とする。
【発明の効果】
【0009】
この発明の画像表示装置は、撮像手段から所定距離以上離れた対象物を隠す(マスキング)ので、画像を視る者が距離感を得ることができる。
【図面の簡単な説明】
【0010】
【図1】図1は画像表示装置のシステム構成図である。(実施例)
【図2】図2は所定距離以上を隠した状態を説明する画像の図である。(実施例)
【図3】図3はステレオカメラと視差とについて説明する画像の図である。(実施例
【図4】図4は画像表示制御における距離判定のフローチャートである。(実施例))
【図5】図5は従来において距離計測(パターンマッチイング)のフローチャートである。(実施例)
【発明を実施するための形態】
【0011】
この発明は、画像を視る者が距離感を得る目的を、撮像手段から所定距離以上離れた対象物を隠す(マスキング)ことで実現するものである。
【実施例】
【0012】
図1〜図4は、この発明の実施例を示すものである。
図1において、1は車両に搭載される画像表示装置である。
この画像表示装置1は、ビデオ透過ヘッドマウントディスプレイからなり、撮像手段2と、画像処理手段3と、画像表示手段4と、設定スイッチ5とを備える。
撮像手段2は、動画像を撮像するものであって、ステレオ動画像を撮像するステレオ撮像手段(ステレオビデオカメラ)6からなる。このステレオ撮像手段6は、右側ビデオカメラ(R)7と、左側ビデオカメラ(L)8とを備える。
【0013】
画像処理手段3は、撮像手段2により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキング(隠す)する。この画像処理手段3は、画像処理中央演算部(CPU)9と、画像入力端子10と、画像出力端子11と、スイッチ入力ポート12とを備える。画像入力端子10には、撮像手段2の右側ビデオカメラ(R)7と左側ビデオカメラ(L)8とが接続する。
この所定距離以上離れた対象物をマスキング(隠す)した画像においては、図2に示すように、表示が使用者自身に対して近いものに選定されることで(図2の(B)で示す)、注意する対象を減らすことができ、そして、使用者に近づく対象が隠された部分から出現することで(図2の(C)で示す)、使用者へ注視することができると共に、対象の距離と設定距離とを同じくして、距離感を得ることができる。
即ち、所定距離以上を隠した(マスキング)画像を使用者に提供することで、使用者に距離感を与えること、また、所定距離以上を隠した画像を作成するにあたり、従来のように、探索を行わない分割画像同士のパターンマッチングを使用することを目的とし、これを用いることで、使用者が外の様子を距離情報が付加した状態で視えるようにするものである。
【0014】
画像表示手段4は、画像処理手段3で処理をした動画像を表示するディスプレイであって、右側ディスプレイ(R)13と、左側ディスプレイ(L)14とを備える。画像表示手段4には、外部機器15が接続している。この外部機器15は、使用者が求める付加情報(テレビ放映・ナビゲーション情報等)を右側ディスプレイ(R)13に出力する映像出力部16を備える。左側ディスプレイ(L)14は、画像処理手段3で処理をした動画像の信号を出力するを表示する画像出力端子11に接続する。
設定スイッチ5は、対象の距離を設定すめ距離設定部17と、使用者が適宜隠さない未処理の画像を選択可能とするリセットスイッチ18とを備える。このリセットスイッチ18は、画像処理手段3のスイッチ入力ポート12に接続する。
【0015】
このよう構成の画像表示装置1においては、外部機器15からの付加情報を右側ディスプレイ(R)13により使用者の右目で視ることができ、また、画像処理手段3を経て所定距離以上を隠した画像を左側ディスプレイ(L)14により使用者の左目で視ることができる。
なお、この場合、右側ディスプレイ(R)13と左側ディスプレイ(L)14とを、入れ替えて、各画像を表示させることも可能である。
ステレオカメラと視差とについては、図3に示すように、左側ディスプレイ(L)14の画像(図3の(A)で示す)と、右側ディスプレイ(R)13の画像(図3の(B)で示す)とでは、左側の画像と右側の画像との視差が近い程大きくなり、そして、左側と右側との重ね画像(図3の(C)で示す)となる。
この図3におけるステレオカメラと視差とにおいては、画像におけるパターンマッチング方法が、一致した画像程、高いマッチング値が得られれば良く、回転等考慮した特殊な関数でもよいが、正規表現を用いた一般的な関数でよい。
【0016】
このように、画像上で撮像手段2から所定距離以上離れた対象物を隠す(マスキング)するため、画像を視る者は距離感を得ることができる。特に、片目だけで画像を視る場合に有効である。また、画像上で撮像手段2から所定距離以上離れた対象物を隠す(マスキング)するため、画像を視る者は注意する対象を減らすことができる。更に、所定距離未満に近づいた対象物は隠された状態から出現するため、画像を視る者は対象物が接近していることを容易に認識することができる。
【0017】
また、画像処理手段3は、ステレオ撮像手段6により撮像したステレオ画像を構成する第1のモノラル画像を複数のエリアに分割し、この第1のモノラル画像の各エリアに対して、第2のモノラル画像上で前記第1のモノラル画像上と同―位置にエリアを設定して、前記第1のモノラル画像上のエリアと前記第2のモノラル画像上のエリアとの第1のパターンマッチング値を算出し、前記第2のモノラル画像上で所定距離に相当する画素数だけずらした位置にエリアを設定して、前記第1のモノラル画像上のエリアと前記第2のモノラル画像上のエリアとの第2のパターンマッチング値を算出し、前記第1のパターンマッチング値と前記第2のパターンマッチング値とに基づいて画像上の対象物との距離が所定距離以上であるか否かを判定する。
【0018】
具体的には、図4の距離判定のフローチャートで示すように、対象物の位置(X1、Y1)の任意のエリアを左側ディスプレイ(L)14の画像から選択し(ステップA01)、そして、右側ディスプレイ(R)13の画像における位置(X1、Y1)の第1のパターンマッチング値(P1)を得て(ステップA02)、さらに、所定距離に対応する画素(d)分ずらした(X1+d、Y1)の第2のパターンマッチング値(P2)を得て(ステップA03)、その後、左側ディスプレイ(L)14の画像の全てに対して繰り返す(ステップA04)。
第1のパターンマッチング値(P1)は、遠い程、一致する(高い)。第2のパターンマッチング値(P2)は、所定距離に近い程、一致する(高い)。
このような条件の下、第2のパターンマッチング値(P2)の分布から、所定距離近傍のマッチング閾値(K)を決定し、以下のように、距離を判定する(ステップA05)。
P1>Kでは、所定距離近傍と判定する。
P1<K∩P1>P2では、所定距離よりも遠いと判定して、マスキング(隠す)する。
P1<K∩P1<P2では、所定距離よりも近いと判定してマスキング(隠す)せずに、表示する。
この場合、対象までの距離計測が必要ではなく、所定距離との遠近が分かれば良いものである。従って、正確な距離が分からないが、処理時間を速くできる。
これにより、画像上で撮像手段2から所定距離以上離れた対象物をマスキング(隠す)する画像処理を高速で行なうことができ、このため、画像の更新周期を早くすることができる。
つまり、従来の図5に示すようなステレオカメラによる距離計測方法を用いて、この実施例に係る所定距離以上を隠した画像を得ることも可能であるが、この実施例では、所定距離を隠すために必要となるのは、所定距離よりも近いか遠いかの判定のみであり、従来のステレオカメラによる距離計測におけるパターンマッチング値の探索の繰り返しを省いて、高速に距離判定のみを行うことができる。
【0019】
なお、この発明では、距離認識動画像表示を利用して移動する分野として、自動車のバックモニタが考えられる。現状の用途としては、駐車支援が主体であり、遠近の距離感を必要とすることはないが、Uターンが不可能な狭い道を引き返す等、長いバック(後退)走行をしなければならない場合で、バックモニタで所定距離よりも遠い物をマスキング(隠す)して画像表示する場合には、効果がある。
画像表示装置として、付加情報を片眼で使用する場合に限らず、病気や事故などで片眼が使用できない場合に、片眼で外界の距離感を得るためにも、応用可能である。
また、隠す部分は輝度を低下しているため、サングラスのような使い方も可能である。これにより、従来のサングラスが、全体的に輝度を低下しているのに対し、この発明では、近傍の輝度を維持したまま、遠方(注意を必要としない範囲)の輝度を低下した視界を得ることが可能である。
【産業上の利用可能性】
【0020】
この発明の画像表示装置は、各種車両に適用できる。
【符号の説明】
【0021】
1 画像表示装置
2 撮像手段
3 画像処理手段
4 画像表示手段
5 設定スイッチ
6 ステレオ撮像手段
7 右側ビデオカメラ
8 左側ビデオカメラ
9 画像処理中央演算部
10 画像入力端子
11 画像出力端子
12 スイッチ入力ポート
13 右側ディスプレイ
14 左側ディスプレイ
15 外部機器
16 映像出力部
17 距離設定部
18 リセットスイッチ

【特許請求の範囲】
【請求項1】
動画像を撮像する撮像手段と、この撮像手段により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段と、この画像処理手段で処理をした動画像を表示する画像表示手段とを備えることを特徴とする画像表示装置。
【請求項2】
前記撮像手段は、ステレオ動画像を撮像するステレオ撮像手段であり、前記画像処理手段は、前記ステレオ撮像手段により撮像したステレオ画像を構成する第1のモノラル画像を複数のエリアに分割し、この第1のモノラル画像の各エリアに対して、第2のモノラル画像上で前記第1のモノラル画像上と同―位置にエリアを設定して、前記第1のモノラル画像上のエリアと前記第2のモノラル画像上のエリアとの第1のパターンマッチング値を算出し、前記第2のモノラル画像上で所定距離に相当する画素数だけずらした位置にエリアを設定して、前記第1のモノラル画像上のエリアと前記第2のモノラル画像上のエリアとの第2のパターンマッチング値を算出し、前記第1のパターンマッチング値と前記第2のパターンマッチング値とに基づいて画像上の対象物との距離が所定距離以上であるか否かを判定することを特徴とする請求項1に記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−249067(P2012−249067A)
【公開日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願番号】特願2011−119059(P2011−119059)
【出願日】平成23年5月27日(2011.5.27)
【出願人】(000002082)スズキ株式会社 (3,196)
【Fターム(参考)】