説明

画像表示システムおよび電子情報機器

【課題】3D画像を表示する画像表示システムにおいて、視聴者が常に3D画像を適切な位置で視聴することを可能にする。
【解決手段】表示画面111a上に左眼で見られるよう左眼用画像を表示し、右眼で見られるよう右眼用画像を表示する画像表示システムにおいて、視聴者を被写体として撮影して撮像信号Dvを出力するカメラ102aと、表示画面111aから視聴者Hまでの距離を検出して距離情報Ddを出力する距離センサ102bと、3D画像を表示する3D表示部110と、3D表示部110に前記視聴者へのガイドを指示するガイド指示部120とを備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システムおよび電子情報機器に関し、特に最適な3D画像あるいは最適なマルチビュー画像を見るための、視聴者と3D表示装置およびマルチビュー表示装置との距離あるいは相対位置を検知して、視聴者に最適な視聴位置を通知する機能に関するものである。
【背景技術】
【0002】
近年、薄型テレビなどの3D映像を表示する表示機器(画像表示装置)が普及してきている。
【0003】
図13は、このような従来の画像表示装置で、裸眼で見ることが可能な3D映像が形成される原理を説明する図である。
【0004】
図13に示すように、画像表示装置の表示画面Ds上には、左目用画像を形成する画素PXaと右目用画像を形成する画素PXbとが水平方向に交互に配列されている。また、この表示画面の前面側(視聴者側)には、左目用画像を形成する画素PXaからの光を左目の方向に方向付け、右目用画像を形成する画素PXbからの光を右目の方向に方向付けるように構成された視差光学素子(視差バリア)Bが配置されている。
【0005】
そして、表示画面Dsに、左目用画像と右目用画像とを交互に表示させる。視聴者と表示画面との距離Dbが適正である場合、右目用画素からの左目用画像は視差バリアにより遮蔽され、かつ左目用画素からの右目用画像は視差バリアにより遮蔽されることとなり、標準的な離間間隔Aを有する視聴者の左眼には、左目用画像のみが見え、右目には右目用画像のみが見えることとなる。
【0006】
このように、裸眼で3D画像を見ることが可能な画像表示装置では、視差バリアなどを使用し左右の目から見える位置を制限し、その位置によって右目用、左目用の画像を表示している。
【0007】
なお、このような裸眼で3D画像を見ることが可能な画像表示装置としては、特許文献1などに開示のものがある。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−262191号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところが、上記従来の裸眼で3D画像を見ることが可能な画像表示装置では、視聴位置によっては、右目用、左目用の画像が適切に見えず、画像がぶれたり良好な3D画像に見えないことがあるという問題点がある。
【0010】
従って、従来は、表示画面を正面から視聴する位置を変えながら立体的に見える位置を感覚的に探す必要があり、3D画像を適切な3Dの見え方で無い状態や3Dに見えていない状態で視聴していても、これに気づかないという問題もあった。
【0011】
本発明は、上記のような問題点を解決するためになされたものであり、3D画像あるいはマルチビュー画像を適切な位置で視聴することができる画像表示システムおよびこのような画像表示システムを搭載した電子情報機器を得ることを目的とする。
【課題を解決するための手段】
【0012】
そこで、本件発明者は、携帯できる電話やゲーム機などでは自分撮り用のカメラが内蔵されているものも多く、テレビにもコミュニケーション用カメラを取り付けられるものが発売され始めていることに着目し、上記目的を達成するため、インカメラを有する、裸眼で3D画像を見ることができる画像表示装置において、インカメラにより撮影した画像の解析により視聴者の2眼間の距離、及び表示装置までの距離を検出し、3D画像に見える最適距離をガイドするという発明に想到した。
【0013】
本発明に係る画像表示システムは、表示画面上に第1の方向から見られるよう第1の画像を表示し、該第1の方向とは異なる第2の方向から見られるよう第2の画像を表示する画像表示システムであって、該第1の画像及び該第2の画像の少なくとも一方を見る視聴者の位置を検出する位置検出部と、検出した視聴者の位置に基づいて、該視聴者が見る画像に応じた最適な位置に該視聴者をガイドするガイド指示部とを備えたものであり、そのことにより上記目的が達成される。
【0014】
本発明は、上記画像表示システムにおいて、前記第1及び第2の画像は、両眼視差により立体画像が見られるよう空間的に多重化されていることが好ましい。
【0015】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、表示画面上でのメッセージの表示、テロップの表示、及び記号の表示の少なくとも1つにより、前記視聴者が見る画像に応じた最適な位置に該視聴者をガイドすることが好ましい。
【0016】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、前記視聴者が見る画像に応じた最適な位置に該視聴者を音声によりガイドすることが好ましい。
【0017】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、前記視聴者の最適位置へのガイドを行う動作モードと、該視聴者の最適位置を登録する登録モードとを有し、該登録モードでは、テスト表示された調整用左右別画像が左右両方とも良好に見える最適位置での視聴者の顔の画像を登録し、該動作モードでは、表示画面に表示された画像を視聴者が視聴している状態での撮影により得られた視聴者の顔の画像を、該最適位置での視聴者の顔の画像と比較し、この画像比較の結果に基づいて該視聴者のガイドを行うことが好ましい。
【0018】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、前記視聴者の最適位置へのガイドを行うガイドモードと、該視聴者の最適位置へのガイドを行わない非ガイドモードとを有し、該視聴者の操作により該ガイドモードと該非ガイドモードとを切換え可能に構成されていることが好ましい。
【0019】
本発明は、上記画像表示システムにおいて、複数の画素をマトリクス状に配列してなり、前記第1および第2の画像を表示するように構成された液晶表示パネルと、該第1の画像を形成する画素からの光を前記第1の方向に方向付け、該第2の画像を形成する画素からの光を前記第2の方向に方向付けるように構成された視差光学素子とを有することが好ましい。
【0020】
本発明は、上記画像表示システムにおいて、前記視聴者を撮影するカメラを備え、前記ガイド指示部は、該カメラにより撮影により得られた視聴者の画像を解析して、該視聴者の画像上での該視聴者の両眼の距離情報を生成する画像処理部と、該視聴者の両眼の距離情報に基づいて、該視聴者に視聴位置を音声あるいは表示によりガイドするためのガイド信号を生成するガイド制御部とを備えていることが好ましい。
【0021】
本発明は、上記画像表示システムにおいて、前記画像処理部は、前記視聴者の画像の解析により該視聴者の顔認識を行い、該顔認識により前記視聴者と前記表示画面との位置関係を示す位置関係情報を生成することが好ましい。
【0022】
本発明は、上記画像表示システムにおいて、前記画像処理部は、前記視聴者の画像の解析により顔認識を行い、該顔認識により得られる該視聴者の画像上での該視聴者の両眼の距離情報に基づいて、該視聴者と該表示画面までの距離情報を検出し、前記ガイド指示部は、該該視聴者と該表示画面までの距離情報に基づいて、前記視聴者の最適位置へのガイドを行うことが好ましい。
【0023】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、前記位置関係情報に基づいて、前記視聴者に前記表示画面に対して前後方向に移動するようガイドすることが好ましい。
【0024】
本発明は、上記画像表示システムにおいて、前記ガイド指示部は、前記位置関係情報に基づいて、前記視聴者に前記表示画面に対して左右方向に移動するようガイドすることが好ましい。
【0025】
本発明は、上記画像表示システムにおいて、前記カメラは、携帯機器に搭載されたインカメラであり、前記画像処理部は、前記顔認識から、目鼻輪郭の位置によって顔の傾きを検出し、前記ガイド指示部は、該顔の傾きに基づいて、前記視聴者に表示画面に正対するようガイドすることが好ましい。
【0026】
本発明に係る電子情報機器は、画像表示部を備えた電子情報機器であって、該画像表示部は、上述した本発明に係る画像表示システムであり、そのことにより上記目的が達成される。
【0027】
次に作用について説明する。
【0028】
本発明においては、表示画面上に左眼で見られるよう左眼用画像を表示し、右眼で見られるよう右眼用画像を表示する画像表示システムにおいて、視聴者の位置を検出し、検出した視聴者の位置に基づいて、該視聴者が見る画像に応じた最適な位置に該視聴者をガイドするので、視聴者は常に3D画像あるいはマルチビュー画像を適切な位置で視聴することができる。
【0029】
本発明においては、カメラにより撮影した視聴者の画像を解析して視聴者の顔認識を行い、この顔認識から得られる両眼距離に基づいて視聴者と表示画面との距離情報を求めるので、距離センサが不要となる。
【0030】
本発明においては、テスト表示された調整用左右別画像が左右両方とも良好に見える最適位置での視聴者の顔の画像を予め登録し、表示画面に表示された画像を視聴者が視聴している状態での撮影により得られた視聴者の顔の画像を、該最適位置での視聴者の顔の画像と比較し、この画像比較の結果に基づいて該視聴者のガイドを行うので、視聴者に対する視聴位置のガイドをより精度よく行うことが可能となる。
【0031】
本発明においては、視聴者の入力操作に応じた操作信号により、上記ガイド動作を行うガイドモードと、上記ガイド動作を行わない非ガイドモードとを切換え可能としているので、視聴者に対する視聴位置のガイドが不要な場合にはガイド動作を停止させることができる。
【0032】
本発明においては、1つの表示画面に異なる2つの画像を、その一方(第1の画像)を第1の視聴者が観察でき、その他方(第2の画像)を第2の視聴者が観察できるよう表示し、その際、それぞれの視聴者の視聴位置が、対応する画像を観察するのに最適な位置になるよう、これらの視聴者を最適位置にガイドすることで、第1及び第2の視聴者及びは、異なる方向からそれぞれが見たい、マルチビュー表示装置の画像を常に適切な位置で視聴することができる。
【発明の効果】
【0033】
以上のように、本発明によれば、D画像あるいはマルチビュー画像を適切な位置で視聴することができる画像表示装置およびこのような画像表示装置を搭載した電子情報機器を得ることができる。
【図面の簡単な説明】
【0034】
【図1】図1は、本発明の実施形態1による画像表示システムを説明する図であり、図1(a)は、全体構成を示し、図1(b)は、表示画面上でのガイド表示を示している。
【図2】図2は、本発明の実施形態1による画像表示システムのより具体的な構成を説明する図であり、図2(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図2(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【図3】図3は、本発明の実施形態1による画像表示システムの動作を説明する図であり、図3(a)は、視聴者が3D画像を見る様子を概念的に示し、図3(b)は、表示画面と視聴者の両眼の位置関係を示し、図3(c)〜図3(e)は、視聴者の位置による3D画像の見え方の違いを示している。
【図4】図4は、本発明の実施形態2による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【図5】図5は、本発明の実施形態2による画像表示システムのより具体的な構成を説明する図であり、図5(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図5(b)は、ガイド指示部における画像処理部の構成を示している。
【図6】図6は、本発明の実施形態2の変形例による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【図7】図7は、本発明の実施形態2の変形例による画像表示システムのより具体的な構成を説明する図であり、該画像表示システムを構成するガイド指示部および3D表示部の構成を示している。
【図8】図8は、本発明の実施形態3による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【図9】図9は、本発明の実施形態3による画像表示システムのより具体的な構成を説明する図であり、図9(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図9(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【図10】図10は、本発明の実施形態4による画像表示システムを説明する図であり、図10(a)は、全体構成を示し、図10(b)は、表示画面上でのガイド表示を示している。
【図11】図11は、本発明の実施形態4による画像表示システムのより具体的な構成を説明する図であり、図11(a)は、該画像表示システムを構成するガイド指示部およびマルチビュー表示部の構成を示し、図11(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【図12】図12は、本発明の実施形態4による画像表示システムの動作を説明する図であり、図12(a)は、視聴者がマルチビュー画像を見る様子を概念的に示し、図12(b)は、表示画面と二人の視聴者の位置関係を示し、図12(c)〜図12(e)は、視聴者の位置によるマルチビュー画像の見え方の違いを示している。
【図13】従来の画像表示機器で裸眼で見ることが可能な3D映像を形成する原理を説明する図である。
【発明を実施するための形態】
【0035】
以下、本発明の実施形態について図面を参照しながら説明する。
【0036】
(実施形態1)
図1は、本発明の実施形態1による画像表示システムを説明する図であり、図1(a)は、全体構成を示し、図1(b)は、表示画面上でのガイド表示を示している。
【0037】
図2は、本発明の実施形態1による画像表示システムのより具体的な構成を説明する図であり、図2(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図2(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【0038】
この画像表示システム100は、表示画面111a上に第1の方向から見られるよう第1の画像を表示し、該第1の方向とは異なる第2の方向から見られるよう第2の画像を表示する画像表示システムであって、該第1の画像及び該第2の画像をそれぞれ左目用画像及び右目用画像として見る視聴者Hの位置を検出し、検出した視聴者Hの位置に基づいて、該視聴者が見る画像に応じた最適な位置に該視聴者をガイドするものである。
【0039】
つまり、前記第1及び第2の画像は、視聴者Hの両眼視差により立体画像が見られるよう空間的に多重化されている。なお、図1(a)中、Leは視聴者Hの左眼を示し、Reは視聴者Hの右眼を示している。
【0040】
また、この画像表示システムでは、視聴者のガイドは、音声によるものと、表示画面上でのテロップ114の表示によるものと、矢印などの移動すべき方向を示す記号112a、112b、113a、113bの表示によるものが同時に行われるようになっている。但し、視聴者のガイドは、これらのうちの少なくとも1つにより行われればよい。
【0041】
以下具体的な構成について説明する。
【0042】
この画像表示システム100は、視聴者を被写体として撮影して撮像信号Dvを出力するカメラ102aと、表示画面111aから視聴者Hまでの距離を検出して距離情報Ddを出力する距離センサ102bと、3D画像を表示する3D表示部110と、3D表示部110に前記視聴者へのガイドを指示するガイド指示部120と、映像データのソース130と、スピーカ103a、103bとを有している。なお、ここでは、スピーカ103a、103bには、ガイド指示部120から直接、視聴者に位置をガイドするための音声信号を供給する構成としている。
【0043】
ここで、映像データのソースである映像ソース130は、映像データを格納した記録メディアあるいは放送信号やインターネットなどの回線から映像データを受信する受信部などであり、映像データVsを前記3D表示部110に供給する。
【0044】
また、3D表示部110は、ガイド指示部120からの表示ガイド信号Gdiにより表示画面111aに視聴者へのガイドを示すテロップ114を表示するよう構成されている。つまり、3D表示部110は、表示画面111aを含む液晶表示パネル111と、該液晶表示パネル111を表示ガイド信号Gdiにより表示制御する表示制御部112とを有している。
【0045】
なお、ここで、液晶表示パネル111は、複数の画素をマトリクス状に配列したものであり、第1および第2の画像として右目用画像及び左目用画像を表示可能な構成となっており、また、液晶表示パネル111の前面側には、第1の画像(右目用画像)を形成する画素からの光を第1の方向(右眼方向)に方向付け、第2の画像(左目用画像)を形成する画素からの光を第2の方向(左眼方向)に方向付けるように構成された、視差バリアなどの視差光学素子(図示せず)が配置されている。
【0046】
また、ガイド指示部120は、カメラ102aからの撮像信号Dvに基づいて画像解析を行い、該視聴者の顔認識を行い、この顔認識に基づいて、表示画面の基準位置(例えば、中心位置)と視聴者の両目の中心位置との横方向の相対距離を示す相対距離情報を含む画像解析情報Pfを生成する画像処理部121と、両眼の距離の基準値を示す距離基準値Prを格納したデータ記憶部122と、距離基準値Prと画像解析情報Pfと、さらに距離情報(センサ出力)Ddとに基づいて上記音声ガイド信号Gau、表示ガイド信号Gdiをそれぞれスピーカ103a及び表示制御部112に供給するガイド制御部123とを有している。
【0047】
このガイド制御部123は、上記のとおり、距離基準値Pr、画像解析情報Pf、距離情報(センサ出力)Ddとに基づいて、適正な位置からの視聴者Hのズレ量、具体的には表示画面の基準位置に対する左右のズレ、また、表示画面から視聴者Hまでの適正距離に対する実際の距離の差分(前後のズレ)を算出し、左右のズレ及び前後のズレを示すズレ情報Pdを生成する位置ズレ判定部123aと、ズレ情報Pdに基づいて、視聴者を左右前後のいずれの方向に移動させるべきかを示すガイド情報Gsを生成するガイド情報生成部123bと、このガイド情報Gsに基づいて、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』というテロップのデータである表示ガイド信号Gdiを生成する表示ガイド部123cと、上記ガイド情報Gsに基づいて、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』という音声をスピーカから出力するための音声データである音声ガイド信号Gauを生成する音声ガイド部123dとを有している。
【0048】
次に動作について説明する。
【0049】
図3は、本発明の実施形態1による画像表示システムの動作を説明する図であり、図3(a)は、視聴者が3D画像を見る様子を概念的に示し、図3(b)は、表示画面と視聴者の両眼の位置関係を示し、図3(c)〜図3(e)は、視聴者の位置による3D画像の見え方の違いを示している。
【0050】
このような構成の画像表示システム100では、映像ソース130から、3D画像を形成するための右眼用画像及び左眼用画像を表示するための3D画像データが映像データVsとして3D表示部110の表示制御部112に供給されると、該表示制御部112が、液晶表示パネル111を制御して、図11に示す従来の画像表示装置と同様に、該液晶表示パネル111の右眼用画素により右眼用画像が表示され、その左眼用画素により左眼用画像が表示される。これにより、視聴者が表示画面111aに対して適正な位置に位置しているときには、つまり、視聴者Hの表示画面111aまでの実際の距離Bが、眼球距離Aに対する適正距離Cと一致するときには、視聴者は、図3(e)に示すような正常な3D画像が見られ、実際の距離Bと、眼球距離Aに対する適正距離Cとがずれている場合は、視聴者が見る3D画像は、図3(c)及び図3(d)に示すようなぼけた画像となる。
【0051】
この実施形態の画像表示システム100では、実際の距離Bと、眼球距離Aに対する適正距離Cとがずれている場合には、視聴者を適正位置にガイドするガイド動作が行われる。
【0052】
具体的には、この画像表示システム100では、カメラ102aにより視聴者の画像が撮像され、また、距離センサ102bにより視聴者Hと表示画面111aとの距離がモニタされている。
【0053】
そして、ガイド指示部120では、距離センサ102bからのセンサ出力Ddとカメラ102aからの撮像信号Dvに基づいて、視聴者と表示画面との位置ズレの検出が行われる。
【0054】
つまり、画像処理部121では、撮像信号Dvの処理により視聴者の顔認識が行われ、ガイド制御部123の位置ズレ判定部123aでは、画像処理部121での顔認識を示す画像解析情報Pfにより視聴者と表示画面との左右方向の相対位置ずれが検出され、データ記憶部122の距離基準値Prとセンサ出力Ddとに基づいて、視聴者と表示画面との距離が、適正距離からどの程度ずれているかが判定され、ズレ情報Pdが出力される。
【0055】
そして、ガイド情報生成部123bでは、ズレ情報Pdに基づいて、視聴者を左右前後のいずれの方向に移動させるべきかを示すガイド情報Gsが生成され、このガイド情報Gsに基づいて、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』というテロップのデータである表示ガイド信号Gdiが表示ガイド部123cで生成され、上記ガイド情報Gsに基づいて、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』という音声をスピーカから出力するための音声データである音声ガイド信号Gauが音声ガイド部123dで生成される。
【0056】
そして表示画面上では、テロップにより『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』といった表示ガイドが行われ、また、スピーカ103a、103bからは、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』といったガイド音声が出力される。
【0057】
このように本実施形態では、表示画面111a上に左眼で見られるよう左眼用画像を表示し、右眼で見られるよう右眼用画像を表示する画像表示システム100において、視聴者Hの位置を検出し、検出した視聴者Hの位置に基づいて、該視聴者が見る画像に応じた最適な位置に該視聴者をガイドするので、視聴者は常に3D画像を適切な位置で視聴することができるという効果がある。
【0058】
また、この実施形態では、画像表示システムのカメラとして、携帯電話などに予め搭載されているインカメラを用いることで、別途、画像解析用のカメラを設ける必要はない。
【0059】
さらに、この実施形態では、視聴者が適切な3D画像を見るために、視聴者の位置に合わせて、表示装置側で表示画像に対する処理を行うのではなく、視聴者の位置を、適切な位置にガイドするので、画像表示システム側に別途、信号処理部などを設ける必要がなく、また、映像ソースからの画像情報として供給される画像の撮像時に、画面上に視聴者の位置を調整するための特殊な加工を施したりすることも必要としない。
(実施形態2)
図4は、本発明の実施形態2による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【0060】
図5は、本発明の実施形態2による画像表示システムのより具体的な構成を説明する図であり、図5(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図5(b)は、ガイド指示部における画像処理部の構成を示している。
【0061】
この実施形態2の画像表示システム200は、実施形態1の画像表示システム100における距離センサ102bによるセンサ出力に変えて、カメラから得られる撮像信号に対する画像解析処理により顔検出を行い、さらにこの顔検出結果に基づいて、撮像画像における視聴者の両眼距離を検出し、この両眼距離から、視聴者と表示画面との距離を算出するようにしたものであり、その他の構成は実施形態1の画像表示システム100と同一である。
【0062】
つまり、この画像表示システム200では、実施形態1の画像表示システム100における距離センサ102bは設けられておらず、この距離センサ102bの代わりに、画像処理部221は、撮像信号Dvの画像解析により顔検出を行う顔検出部121aに加えて、この顔検出出力Dfに基づいて視聴者の両眼距離情報Deを検出する両眼距離検出部121bを有している。また、ガイド制御部223の位置ズレ判定部(図2(b)参照)では、両眼距離情報Deと顔検出出力Dfに基づいて位置ズレ判定を行う。その他の構成は実施形態1と同様である。
【0063】
このような構成の本実施形態2では、実施形態1の効果に加えて、距離センサが不要となる効果がある。
(実施形態2の変形例)
図6は、本発明の実施形態2による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【0064】
図7は、本発明の実施形態2による画像表示システムのより具体的な構成を説明する図であり、該画像表示システムを構成するガイド指示部および3D表示部の構成を示している。
【0065】
この実施形態2の変形例による画像表示システム200aは、実施形態2の画像表示システム200におけるガイド指示部220に代えて、予め登録した視聴者の顔の画像に基づいて視聴者に対するガイドを行うガイド指示部220aを備えたものである。
【0066】
このガイド指示部220aは、登録モードでは、ユーザの入力操作信号Smにより、予め左右の眼の適正位置を判別するための調整用左右別画像の表示を行い、左右それぞれの調整用画像を適切な位置で見たときの視聴者の顔の画像を登録しておき、動作モードでは、該登録した視聴者の顔の画像と、実際に視聴者が視聴している状態での視聴者の顔の画像との比較により、視聴者を適切な位置にガイドするよう構成されている。
【0067】
具体的には、上記ガイド指示部220aは、実施形態2の画像処理部221に代えて、入力操作信号Smに基づいてカメラ102aでの撮影を行い、撮影した画像における視聴者の顔の画像をデータ記憶部122aに予め格納する。
【0068】
具体的には、画像処理部221aは、この画像表示システム200aの登録モードでは、データ記憶部122aに格納されている調整用左画像LTv及び調整用右画像RTvを表示させ、視聴者がこれらの画像を左眼及び右眼で適切に見えると判断したときの操作信号に基づいて、この位置での視聴者の顔の画像データDv1をカメラ102aでの撮像画像から取り込んでデータ記憶部122aに格納する。
【0069】
そして、画像処理部221aは、画像表示システムの通常動作モードでは、カメラ102aで撮影された撮像画像データDvに対する画像処理により視聴者の顔認識を行い、この顔認識により得られた視聴者の顔の画像のデータを、予めデータ記憶部122aに格納した視聴者の顔の画像のデータDv1との比較結果を、画像解析情報Pfとしてガイド制御部123に出力するものである。
【0070】
ガイド制御部123では、画像解析情報Pfaに基づいて、視聴者と表示画面との距離及び、視聴者と表示画面との左右方向の相対位置を算出し、上記実施形態2の画像表示システムと同様に音声やテロップによる視聴者のガイドを行う。
【0071】
このような構成の本実施形態2の変形例2による画像表示システム200aでは、事前に調整用左右別画像のテスト表示を行い、このテスト表示が左右両方とも良好に見える最適位置での視聴者の顔の画像を登録することで、表示画面に表示された3D画像を実際に視聴者が視聴している状態での撮影により得られた視聴者の顔の画像を上記最適位置での視聴者の顔の画像と比較可能となり、これにより視聴者に対する視聴位置のガイドをより精度よく行うことが可能となる効果がある。
(実施形態3)
図8は、本発明の実施形態3による画像表示システムを説明する図であり、この画像表示システムの全体構成を示している。
【0072】
図9は、本発明の実施形態3による画像表示システムのより具体的な構成を説明する図であり、図9(a)は、該画像表示システムを構成するガイド指示部および3D表示部の構成を示し、図9(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【0073】
この実施形態3の画像表示システム300は、実施形態1の画像表示システム100におけるガイド指示部120に代えて、視聴者の入力操作に応じた操作信号Scにより、上記ガイド動作を行うガイドモードと、上記ガイド動作を行わない非ガイドモードとを切換え可能としたものであり、その他の構成は実施形態1の画像表示システム100と同一である。
【0074】
つまり、この実施形態3の画像表示システム300は、実施形態1の画像表示システム100におけるガイド指示部120に代わるガイド指示部320を備えており、このガイド指示部320を構成するガイド制御部323は、上記の視聴者の入力操作に応じた操作信号Scにより、上記ガイド動作を行うガイドモードと、上記ガイド動作を行わない非ガイドモードとを切換えるよう構成されている。
【0075】
具体的には、ガイド制御部323は、位置ズレ判定部323a、ガイド情報生成部323b、表示ガイド部323c、音声ガイド部323dを有し、位置ズレ判定部323a、表示ガイド部323c、及び音声ガイド部323dを、実施形態1の画像表示システム100におけるガイド制御部123のものと同一構成とし、ガイド情報生成部323bは、上記実施形態1のガイド情報生成部123bの構成に加えて、上記操作信号Scに応じて、ガイド情報Gsを表示ガイド部323c及び音声ガイド部323dに出力するか否かを切り替える構成となっている。
【0076】
このような構成の本実施形態3の画像表示システム300では、上記実施形態1の効果に加えて、視聴者に対する視聴位置のガイドが不要な場合にはガイド動作を停止させることができる効果がある。
(実施形態4)
図10は、本発明の実施形態4による画像表示システムを説明する図であり、図10(a)は、全体構成を示し、図10(b)は、表示画面上でのガイド表示を示している。
【0077】
図11は、本発明の実施形態4による画像表示システムのより具体的な構成を説明する図であり、図11(a)は、該画像表示システムを構成するガイド指示部およびマルチビュー表示部の構成を示し、図11(b)は、ガイド指示部におけるガイド制御部の構成を示している。
【0078】
この実施形態4の画像表示システム400は、上記実施形態1〜3の画像表示システム100、200、300とは異なり、1つの表示画面に異なる2つの画像を、その一方(第1の画像)を第1の視聴者H1(図12(a)参照)が観察でき、その他方(第2の画像)を第2の視聴者H2(図12(a)参照)が観察できるよう表示し、その際、それぞれの視聴者H1及びH2の視聴位置が、対応する画像を観察するのに最適な位置になるよう、これらの視聴者を最適位置にガイドするものである。
【0079】
つまり、前記第1及び第2の画像は、第1及び第2の視聴者H1及びH2により観察されるよう空間的に多重化されている。
【0080】
また、この画像表示システムでは、視聴者のガイドは、実施形態1と同様、音声によるものと、表示画面上でのテロップ141、151表示によるものと、矢印などの移動すべき方向を示す記号142a、142b、143a、143b、152a、152b、153a、153bの表示によるものが同時に行われるようになっている。但し、視聴者H1及びH2に対する視聴位置のガイドは、これらの音声、テロップ、記号うちの少なくとも1つにより行われればよい。
【0081】
以下具体的な構成について説明する。
【0082】
この画像表示システム400は、視聴者を被写体として撮影して撮像信号Dvを出力するカメラ102aと、表示画面111aから視聴者H1及びH2までの距離を検出して距離情報Dd1、Dd2を出力する第1及び第2の距離センサ102b1及び102b2と、マルチビュー画像を表示するマルチビュー表示部410と、マルチビュー表示部410に前記視聴者へのガイドを指示するガイド指示部420と、映像データのソース130と、スピーカ103a、103bとを有している。
【0083】
なお、ここでは、スピーカ103a、103bには、ガイド指示部420から直接、視聴者に位置をガイドするための音声信号を供給する構成としている。
【0084】
また、映像データのソースである映像ソース130は、実施形態1と同様、映像データを格納した記録メディアあるいは放送信号やインターネットなどの回線から映像データを受信する受信部などであり、種々の映像データVsを前記マルチビュー表示部410に供給する。
【0085】
また、マルチビュー表示部410は、ガイド指示部420からの表示ガイド信号Gdiにより表示画面411aに第1及び第2の視聴者H1及びH2へのガイドを示すテロップ141及び151を表示するよう構成されている。つまり、マルチビュー表示部410は、表示画面411aを含む液晶表示パネル411と、該液晶表示パネル411を表示ガイド信号Gdiにより表示制御する表示制御部412とを有している。
【0086】
なお、ここで、液晶表示パネル411は、複数の画素をマトリクス状に配列したものであり、第1および第2の画像として第1の視聴者用画像及び第2の視聴者用画像を表示可能な構成となっており、また、液晶表示パネル411の前面側には、第1の画像(第1の視聴者用画像)を形成する画素からの光を第1の方向に方向付け、第2の画像(第2の視聴者用画像)を形成する画素からの光を第2の方向に方向付けるように構成された、視差バリアなどの視差光学素子(図示せず)が配置されている。
【0087】
また、ガイド指示部420は、カメラ102aからの撮像信号Dvに基づいて画像解析を行い、該視聴者の顔を認識して、表示画面の基準位置(例えば、中心位置)と第1及び第2の視聴者の両目の中心位置との相対距離を示す相対距離情報Pf1及びPf2を生成する画像処理部421と、それぞれの視聴者と表示画面との基準距離を示す距離基準値Pr1、Pr2を格納したデータ記憶部422と、距離基準値Pr1及びPr2と、各視聴者と表示画面との左右方向のズレを示す相対位置情報Pf1及びPf2と、2つの距離センサの出力Dd1及びDd2とに基づいて上記音声ガイド信号Gau、表示ガイド信号Gdiをそれぞれスピーカ103a及び表示制御部412に供給するガイド制御部423とを有している。
【0088】
さらに、このガイド制御部423は、相対距離情報Pf1及びPf2、距離基準値Pr1及びPr2、距離情報(センサ出力)Dd1及びDd2とに基づいて、適正な位置からの視聴者H1及びH2の位置ズレ量、具体的には表示画面の基準位置に対する左右のズレ、また、表示画面から視聴者H1及びH2までの適正距離に対する実際の距離の差分(前後のズレ)を算出し、左右のズレ及び前後のズレを示すズレ情報Pdを生成する位置ズレ判定部423aと、ズレ情報Pdに基づいて、第1及び第2の視聴者H1及びH2を左右前後のいずれの方向に移動させるべきかを示すガイド情報Gsを生成するガイド情報生成部423bと、このガイド情報Gsに基づいて、それぞれの視聴者H1、H2に対して、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』というテロップを表示するための表示データである表示ガイド信号Gdiを生成する表示ガイド部423cと、上記ガイド情報Gsに基づいて、それぞれの視聴者H1、H2に対して、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』という音声をスピーカから出力するための音声データである音声ガイド信号Gauを生成する音声ガイド部423dとを有している。
【0089】
次に動作について説明する。
【0090】
図12は、本発明の実施形態4による画像表示システムの動作を説明する図であり、図12(a)は、視聴者がマルチビュー画像を見る様子を概念的に示し、図12(b)は、表示画面と二人の視聴者の位置関係を示し、図12(c)〜図12(e)は、視聴者の位置による3D画像の見え方の違いを示している。
【0091】
このような構成の画像表示システム400では、映像ソース130から、マルチビュー画像を形成するための第1の画像及び第2の画像を表示するためのマルチビュー画像データが映像データVsとしてマルチビュー表示部410の表示制御部412に供給されると、該表示制御部412が、液晶表示パネル411を制御して、該液晶表示パネル411の第1視聴者用画素により第1視聴者用画像が表示され、その第2視聴者用画素により第2視聴者用画像が表示される。これにより、第1及び第2の視聴者H1及びH2が表示画面411aに対して適正な位置に位置しているときには、つまり、第1、第2の視聴者H1、H2の表示画面411aまでの実際の距離が、それぞれに対応する画像を見るのに適した適正距離と一致するときには、第1の視聴者H1(図10(a)の左側視聴者)は、図10(c)に示すような正常な風景画像が見られ、第2の視聴者H2(図10(a)の右側視聴者)は、図10(e)に示すような正常な文字配列画像が見られる。一方、実際の距離と、第1及び第2の視聴者が対応する画像を見るのに適切な適正距離とがずれている場合は、第1及び第2の視聴者が見る画像は、図3(b)及び図3(d)に示すような、2つの画像が重なり、ぼけた画像となる。
【0092】
この実施形態の画像表示システム400では、第1及び第2の視聴者の実際の位置と適正位置とがずれている場合には、それぞれ視聴者を適正位置にガイドするガイド動作が行われる。
【0093】
具体的には、この画像表示システム400では、カメラ102aにより視聴者の画像が撮像され、また、距離センサ102b1及び102b2により視聴者H1、H2と表示画面111aとの距離がモニタされている。
【0094】
そして、ガイド指示部420では、距離センサ102b1及び102b2からのセンサ出力Dd1及びDd2とカメラ102aからの撮像信号Dvに基づいて、視聴者と表示画面との位置ズレの検出が行われる。
【0095】
つまり、画像処理部421では、撮像信号Dvの処理により第1及び第2の視聴者H1及びH2の顔認識が行われる。ガイド制御部423の位置ズレ判定部423aでは、画像処理部421での顔認識による視聴者H1及びH2の位置に関する情報Pf1及びPf2により、各視聴者H1及びH2と表示画面411aとの左右方向の相対位置ずれが検出され、また、データ記憶部122に格納されている、各視聴者H1及びH2に対応する距離基準値Pr1及びPr2と、各位置センサ102b1及び102b2のセンサ出力Dd1及びDd2とに基づいて、各視聴者H1及びH2と表示画面411aとの距離が、適正距離からどの程度ずれているかが判定され、それぞれの視聴者のズレ量を含むズレ情報Pdが出力される。
【0096】
そして、ガイド情報生成部423bでは、ズレ情報Pdに基づいて、各視聴者H1及びH2を左右前後のいずれの方向に移動させるべきかを示すガイド情報Gsが生成され、このガイド情報Gsに基づいて、それぞれの視聴者H1、H2に対して、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』というテロップを表示するための表示データである表示ガイド信号Gdiが表示ガイド部123cで生成され、それぞれの視聴者H1、H2に対して、上記ガイド情報Gsに基づいて、『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』という音声をスピーカから出力するための音声データである音声ガイド信号Gauが音声ガイド部423dで生成される。
【0097】
そして表示画面上では、第1の視聴者H1のためのテロップ141と、第2の視聴者H2のためのテロップ151により『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』といった表示ガイドが行われ、また、スピーカ103a、103bからは、それぞれの視聴者H1及びH2に対する『もっと前へ』、『もっと後ろへ』、『もっと左へ!!』、『もっと右へ!!』、『good!!』といったガイド音声が出力される。このとき、表示画面411aでは、矢印などの記号142a、142b、143a、143bの少なくとも1つをハイライトすることにより、第1の視聴者H1に対する位置ガイドを行い、矢印などの記号152a、152b、153a、153bの少なくとも1つをハイライトすることにより、第2の視聴者H2に対する位置ガイドを行ってもよい。
【0098】
このように本実施形態では、表示画面411a上に第1の視聴者H1が見られるよう第1の視聴者用画像を表示し、第2の視聴者H2が見られるよう第2の視聴者用画像を表示する画像表示システムにおいて、各視聴者H1及びH2の位置を検出し、検出した視聴者H1及びH2の位置に基づいて、それぞれの視聴者H1及びH2を、それぞれの画像に応じた最適な位置にガイドするので、第1及び第2の視聴者H1及びH2は、異なる方向からそれぞれが見たい画像を常に適切な位置で視聴することができるという効果がある。
【0099】
なお、前記実施形態1〜4においては、前記カメラは、携帯機器に搭載されたインカメラとし、前記ガイド指示部の画像処理部は、前記顔認識から、目鼻輪郭の位置によって顔の傾きを検出し正対するよう注意表示するようにしてもよい。
【0100】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【0101】
本発明は、画像表示システムおよび電子情報機器の分野において、最適な3D画像あるいは最適なマルチビュー画像を得るための、視聴者と3D表示装置およびマルチビュー表示装置との距離あるいは相対位置を検知して、視聴者に最適な視聴位置を通知することで、3D画像あるいはマルチビュー画像を適切な位置で視聴することができる携帯機器などの電子情報機器を提供できるものである。
【符号の説明】
【0102】
100、200、300、400 画像表示システム
101 装置筐体
102a インカメラ
102b 距離センサ
103a、103b スピーカ
110 画像表示部
111 液晶表示パネル
111a 表示画面
112 表示制御部
112a 左誘導記号
112b 右誘導記号
113a 後退誘導記号
113b 前進誘導記号
114 誘導案内表示領域
120、220、320、420 指示部
121、221 画像処理部
122 データ記憶部
123、223 ガイド制御部
123a 位置ズレ判定部
123b ガイド情報生成部
123c 表示ガイド部
123d 音声ガイド部
130 受信部

【特許請求の範囲】
【請求項1】
表示画面上に第1の方向から見られるよう第1の画像を表示し、該第1の方向とは異なる第2の方向から見られるよう第2の画像を表示する画像表示システムであって、
該第1の画像及び該第2の画像の少なくとも一方を見る視聴者の位置を検出する位置検出部と、
検出した視聴者の位置に基づいて、該視聴者が見る画像に応じた最適な位置に該視聴者をガイドするガイド指示部とを備えた、画像表示システム。
【請求項2】
請求項1に記載の画像表示システムにおいて、
前記第1及び第2の画像は、両眼視差により立体画像が見られるよう空間的に多重化されている、画像表示システム。
【請求項3】
請求項1に記載の画像表示システムにおいて、
前記ガイド指示部は、表示画面上でのメッセージの表示、テロップの表示、及び記号の表示の少なくとも1つにより、前記視聴者が見る画像に応じた最適な位置に該視聴者をガイドする、画像表示システム。
【請求項4】
請求項1に記載の画像表示システムにおいて、
前記ガイド指示部は、前記視聴者が見る画像に応じた最適な位置に該視聴者を音声によりガイドする、画像表示システム。
【請求項5】
請求項1に記載の画像表示システムにおいて、
前記ガイド指示部は、前記視聴者の最適位置へのガイドを行う動作モードと、該視聴者の最適位置を登録する登録モードとを有し、
該登録モードでは、テスト表示された調整用左右別画像が左右両方とも良好に見える最適位置での視聴者の顔の画像を登録し、
該動作モードでは、表示画面に表示された画像を視聴者が視聴している状態での撮影により得られた視聴者の顔の画像を、該最適位置での視聴者の顔の画像と比較し、この画像比較の結果に基づいて該視聴者のガイドを行う、画像表示システム。
【請求項6】
請求項1に記載の画像表示システムにおいて、
前記ガイド指示部は、前記視聴者の最適位置へのガイドを行うガイドモードと、該視聴者の最適位置へのガイドを行わない非ガイドモードとを有し、
該視聴者の操作により該ガイドモードと該非ガイドモードとを切換え可能に構成されている、画像表示システム。
【請求項7】
請求項2に記載の画像表示システムにおいて、
複数の画素をマトリクス状に配列してなり、前記第1および第2の画像を表示するように構成された液晶表示パネルと、
該第1の画像を形成する画素からの光を前記第1の方向に方向付け、該第2の画像を形成する画素からの光を前記第2の方向に方向付けるように構成された視差光学素子とを有する、画像表示システム。
【請求項8】
請求項2に記載の画像表示システムにおいて、
前記視聴者を撮影するカメラを備え、
前記ガイド指示部は、
該カメラにより撮影により得られた視聴者の画像を解析して、該視聴者の画像上での該視聴者の両眼の距離情報を生成する画像処理部と、
該視聴者の両眼の距離情報に基づいて、該視聴者に視聴位置を音声あるいは表示によりガイドするためのガイド信号を生成するガイド制御部とを備えている、画像表示システム。
【請求項9】
請求項8に記載の画像表示システムにおいて、
前記画像処理部は、前記視聴者の画像の解析により該視聴者の顔認識を行い、該顔認識により前記視聴者と前記表示画面との位置関係を示す位置関係情報を生成する、画像表示システム。
【請求項10】
請求項9に記載の画像表示システムにおいて、
前記画像処理部は、前記視聴者の画像の解析により顔認識を行い、該顔認識により得られる該視聴者の画像上での該視聴者の両眼の距離情報に基づいて、該視聴者と該表示画面までの距離情報を検出し、
前記ガイド指示部は、該該視聴者と該表示画面までの距離情報に基づいて、前記視聴者の最適位置へのガイドを行う、画像表示システム。
【請求項11】
請求項9に記載の画像表示システムにおいて、
前記ガイド指示部は、前記位置関係情報に基づいて、前記視聴者に前記表示画面に対して前後方向に移動するようガイドする、画像表示システム。
【請求項12】
請求項9に記載の画像表示システムにおいて、
前記ガイド指示部は、前記位置関係情報に基づいて、前記視聴者に前記表示画面に対して左右方向に移動するようガイドする、画像表示システム。
【請求項13】
請求項10に記載の画像表示システムにおいて、
前記カメラは、携帯機器に搭載されたインカメラであり、
前記画像処理部は、前記顔認識から、目鼻輪郭の位置によって顔の傾きを検出し、
前記ガイド指示部は、該顔の傾きに基づいて、前記視聴者に表示画面に正対するようガイドする、画像表示システム。
【請求項14】
画像表示部を備えた電子情報機器であって、
該画像表示部は、請求項1に記載の画像表示システムである電子情報機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−199701(P2012−199701A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−61746(P2011−61746)
【出願日】平成23年3月18日(2011.3.18)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】