説明

表示装置

【課題】視聴者の状態の検出精度を向上させる。
【解決手段】3次元映像を表示面に表示可能な表示装置であって、表示装置の外部を撮像するための撮像部と、上記撮像部によって撮像された画像を入力し、当該画像を解析する画像解析部とを備え、上記画像解析部は、上記画像から3次元映像を視聴するための眼鏡装置である3D視聴用メガネに付された複数の特定のマークを抽出し、当該抽出した複数のマークに基づいて、少なくとも表示装置に対する視聴者の位置および顔の向きを検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元映像を表示面に表示可能な表示装置に関する。
【背景技術】
【0002】
テレビジョンに対するユーザ(視聴者)の位置を検出し、その検出結果に応じて映像の画質を調整等するテレビジョンが知られている。
【0003】
関連技術として、3次元画像を表示する装置であって、装置とユーザ(ユーザの目、鼻、顔面及び口)との距離をセンサで検知し、この距離において観察される3次元画像を提供するために右画像及び左画像はレンダリング又は変換及び移動される構成が知られている(特許文献1参照。)。また、テレビは、カメラ画像から視聴者の顔を検出し、視聴角度と視聴者までの距離とを算出し、その視聴角度と距離とに応じて液晶ディスプレイに表示される映像の画質を調整する構成が知られている(特許文献2参照。)。また、携帯端末装置は、本体に設けられたカメラ部により撮影した画像に基づいて使用者の顔の情報を取得し、顔の向きと本体の向きとの相対的な位置関係を把握し、把握した位置関係に従って表示画面に表示する情報の向きを決定する構成が知られている(特許文献3参照。)。また、被写体の画像データから第1の領域と第2の領域を抽出し、第1の領域と第2の領域の面積比を演算し、演算結果に基づいて被写体の向きを演算する画像処理装置が知られている(特許文献4参照。)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2008‐503779号公報
【特許文献2】特開2007‐212664号公報
【特許文献3】特開2007‐17596号公報
【特許文献4】特開2000‐268180号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
これまでカメラで視聴者の位置を把握する手法は、撮像画像を解析することによる人物検出(いわゆる顔認識)であった。しかしながら、視聴者の顔は個人毎に異なる。そのため、顔認識は誤検出の可能性が比較的高く、検出結果に基づく上記調整を行う際に実際の視聴者の状態に最適な調整が実行されない場合が有り得る。
【0006】
本発明は上記課題を解決するためになされたものであり、視聴者の状態を正確に検出することが可能な表示装置を提供する。
【課題を解決するための手段】
【0007】
本発明の態様の一つは、3次元映像を表示面に表示可能な表示装置であって、表示装置の外部を撮像するための撮像部と、上記撮像部によって撮像された画像を入力し、当該画像を解析する画像解析部とを備え、上記画像解析部は、上記画像から3次元映像を視聴するための眼鏡装置である3D視聴用メガネに付された複数の特定のマークを抽出し、当該抽出した複数のマークに基づいて、少なくとも表示装置に対する視聴者の位置および顔の向きを検出する構成としてある。
【0008】
当該構成によれば、表示装置は、自機が備える撮像部により視聴者が装着している3D視聴用メガネを含む外部風景を撮像し、画像解析部は、撮像画像からの、3D視聴用メガネに付された複数の特定のマークの抽出結果に基づいて視聴者の位置および顔の向きを検出する。そのため、従来のように顔認識に基づいて視聴者の位置等を検出するよりも遥かに高い精度で当該検出を行なうことができる。
【図面の簡単な説明】
【0009】
【図1】表示装置を含むシステムを簡易的に示す斜視図である。
【図2】3D視聴用メガネを正面側から見た図である。
【図3】表示装置の要部を示したブロック構成図である。
【図4】本実施形態にかかる処理を示すフローチャートである。
【図5】撮像部が送信した画像データから抽出された各マークを例示する図である。
【発明を実施するための形態】
【0010】
本発明の実施形態として、上記画像解析部は、上記画像内における上記複数のマークの位置および大きさに基づいて、視聴者の位置を検出する構成としてもよい。
また、本発明の実施形態として、上記画像解析部は、上記複数のマーク間における大きさの比較に基づいて、視聴者の顔の向きを検出する構成としてもよい。
また、本発明の実施形態として、上記撮像部は、焦点距離を異ならせた各状態で撮像することにより複数の画像を生成し、上記画像解析部は、各画像間における上記複数のマークについての鮮鋭度の違いに基づいて、視聴者の顔の向きを検出する構成としてもよい。
また、本発明の実施形態として、表示装置は、視聴対象となるコンテンツデータに基づいて3次元映像を表示面に表示し且つ音声をスピーカから出力させる3Dテレビジョンであり、上記視聴者の位置および顔の向きの検出結果に基づいて、映像の表示態様、音声の出力態様および表示面の向き、の少なくとも一つについて調整を実行する調整部を備える構成としてもよい。
【0011】
以下、図面を参照しながら本発明の実施形態を説明する。
図1は、本実施形態にかかる表示装置10を含むシステムを簡易的に示す斜視図である。当該システムは、表示装置10と3D視聴用メガネ20とを含む。表示装置10は、視聴対象となるコンテンツデータ(テレビジョン放送信号や各種メディアに保存されたデジタルコンテンツデータ等)に基づいて3次元映像を表示面11(表示パネル11)に表示可能な3Dテレビジョンである。表示パネル11は、例えば液晶パネルである。3D視聴用メガネ20は、視聴者が3次元映像を視聴するために装着するメガネである。表示装置10は、外部を撮像するための撮像部12を内蔵する。撮像部12は、撮像レンズや撮像素子を備えたカメラであり、例えば、表示装置10の正面側であって、表示パネル11の上下左右を縁取る表示装置10のフロントキャビネットの下縁(あるいは上縁)中央位置から撮像レンズを外部に向けた状態で内蔵されている。
【0012】
図2は、3D視聴用メガネ20を正面側から見た状態を例示している。図2では、参考のため3D視聴用メガネ20を装着した視聴者Pの顔の輪郭を鎖線で例示している。図2に示すように、3D視聴用メガネ20は、メガネを構成するフレーム21の所定箇所に、複数の特定のマーク22C,22L,22Rを付している。具体的には、フレーム21上の、視聴者の左目の目尻近傍の場所にマーク22Lを付し、視聴者の右目の目尻近傍の場所にマーク22Rを付し、中央位置(視聴者の眉間に対応する位置)にマーク22Cを付している。マーク22L,22Rは、左右対称の位置に付された同じマークである。マーク22C,22L,22Rの具体的なデザイン(形や色)は特に限られないが、予め決められたデザインとされている。これらマークは、例えば、表示装置10や3D視聴用メガネ20を製造するメーカのブランドロゴ等であってもよい。
【0013】
図3は、表示装置10の要部を示したブロック構成図である。表示装置10は、表示パネル11、撮像部12の他に、SoC(システムオンチップ)14、FRC(フレームレートコンバータ)15、マイコン(マイクロコンピュータ)13、音声処理部16、スピーカ17、スイーベル機構部18等を備える。むろん、表示装置10は、これら図示した構成以外にも、チューナや、電源回路や、外部入力端子や、入力切替回路や、リモコン信号受信回路など、テレビジョンとして一般的な各種構成を備え得る。
【0014】
SoC14には、コンテンツデータから分離された3D映像信号(例えば、右目用画像と左目用画像とが並べて合成されて1枚のフレーム画像となった信号)あるいは2D映像信号が入力され、入力される映像のフレームレート(例えば60Hz)を変更せずに各種画像処理等を行う。SoC14は、例えば、入力される映像信号に対し、輝度やコントラスト等の画質調整を行い、FRC15へ出力する。FRC15は、例えば、入力した3D映像信号のフレーム画像の左半分を切り出して幅方向を2倍に拡大することにより左目用画像を復元し、当該フレーム画像の右半分を切り出して幅方向を2倍に拡大することにより右目用画像を復元する。このようにして復元した左目用画像と右目用画像を、表示パネル11に交互に出力させる。
【0015】
音声処理部16には、コンテンツデータから分離された音声信号が入力され、音声処理部16は、音声信号に対する増幅等を行なった上でスピーカ17から音声を出力させる。マイコン13は、CPU、ROM、RAM等を備え、CPUがROMに記憶された所定のプログラムに従った処理をRAM上で実行することにより、表示装置10全体を制御する。スイーベル機構部18は、表示装置10のいわゆるスイーベル(首振り)機能を実現するための機構であり、マイコン13からの制御に応じて表示装置10の向きを変化させる。スイーベル機構部18は、表示装置10の上下方向の中心軸(図1に示した鎖線。)を中心として表示装置10を回転させる(首振りさせる)ことができる。
【0016】
図4は、本実施形態において主にマイコン13が制御主体となって実行する処理をフローチャートにより示している。ステップS100では、マイコン13は、本実施形態にかかる検出処理を開始するか否かを継続的に判定し、開始すべきと判定した場合にステップS110以降へ進む。マイコン13は、例えば、視聴者による外部からのリモコン操作によって表示装置10の主電源がオンにされた後の所定タイミングで、当該検出処理を開始すべきと判定する。あるいは、マイコン13は、所定の記憶領域に保存済みのEPG(電子番組ガイド)を参照して、リモコン操作によって視聴対象として選局された受信チャンネルにおける放送番組が3D映像のコンテンツであることを認識した場合に、当該検出処理を開始すべきと判定する。
【0017】
ステップS110では、マイコン13は撮像部12に対して撮像の指令を出力し、撮像部12に表示装置10外部の撮像をさせる。ここでは、表示装置10で所望のコンテンツを視聴しようとして3D視聴用メガネ20を装着した状態の視聴者を含む風景が撮像部12により撮像される。撮像部12は、当該撮像の結果生成した画像データを、マイコン13へ送信する。撮像部12から送信される画像データのサイズ(縦横の画素数)は一定である。また、撮像部12の撮像レンズが向く方向と、表示装置10の表示パネル11が向く方向とは常に一致している。
【0018】
ステップS120では、マイコン13は、撮像部12から送信された画像データを解析して、画像内から上記マーク22C,22L,22Rに相当する画像領域を抽出する。このようなマーク22C,22L,22Rの抽出は、例えば、予め保存されたテンプレートとの比較によるパターンマッチングの技法により実行できる。マーク22C,22L,22Rはそれぞれ色や形が予め決められた特定の目印であるため、マイコン13はこれらマーク22C,22L,22Rを容易かつ正確に抽出することができる。
【0019】
ステップS130では、マイコン13は、ステップS120で抽出した複数のマーク22C,22L,22Rに基づいて、表示装置10に対する視聴者の“位置”および“顔の向き”を検出する。まず、視聴者の“位置”は、表示装置10に対する視聴者の“距離”と“角度”により定まる。マイコン13は、撮像部12から送信された画像データにおけるマーク22L,22Rの大きさに基づいて、視聴者の“距離”を検出する。具体的には、当該画像データの領域に占めるマーク22Lおよびマーク22Rに該当する領域の比率に応じて、視聴者の距離を検出する。上述したように撮像部12から送信される画像データのサイズは一定であるため、当該比率が高ければ視聴者は表示装置10に近い位置に居り、逆に当該比率が低ければ視聴者は表示装置10から遠い位置に居ると言える。マイコン13は、予め当該比率と表示装置10から視聴者までの距離との対応関係を規定したテーブル(第一テーブル)等を所定の記憶領域に保持しており、ステップS120で抽出したマーク22L,22Rに基づく当該比率と当該テーブル(第一テーブル)とを参照することにより視聴者の距離を決定する。
【0020】
また、マイコン13は、撮像部12から送信された画像データにおけるマーク22Cの位置に基づいて、視聴者の“角度”を検出する。具体的には、当該画像データの領域内のマーク22Cの位置と当該画像データの中心位置との当該画像データの左右方向(水平方向)におけるずれに応じて、視聴者の角度を検出する。当該ずれが画像内の左側へ生じている場合には視聴者は表示装置10の正面方向(角度=0°)を基準として(表示装置10側から見て)左側(角度=+側とする。)の位置に居り、逆に当該ずれが画像内の右側へ生じている場合には視聴者は表示装置10の正面方向(角度=0°)を基準として(表示装置10側から見て)右側(角度=−側とする。)の位置に居ると言える。マイコン13は、予め当該ずれ(ずれ量及びずれの方向(+/−))と表示装置10から見た視聴者の角度との対応関係を規定したテーブル(第二テーブル)等を所定の記憶領域に保持しており、ステップS120で抽出したマーク22Cの位置に基づく上記ずれと当該テーブル(第二テーブル)とを参照することにより視聴者の角度を決定する。以上により視聴者の“位置”が検出できたことになる。
【0021】
さらにマイコン13は、上記抽出したマーク22Lとマーク22Rとの相対的な大きさに基づいて、視聴者の“顔の向き”を検出する。つまり、上記画像データ内におけるマーク22Lに該当する領域の大きさとマーク22Rに該当する領域の大きさとを比較し、この比較結果に応じて、視聴者の顔の向きを検出する。マーク22Lに該当する領域の方がマーク22Rに該当する領域よりも大きければ視聴者の顔は表示装置10から見て左側を向いており(視聴者自身は右側を向いている。)、マーク22Rに該当する領域の方がマーク22Lに該当する領域よりも大きければ視聴者の顔は表示装置10から見て右側を向いている(視聴者自身は左側を向いている。)と言える。マイコン13は、予めマーク22Lに該当する領域の大きさとマーク22Rに該当する領域の大きさとの比率と表示装置10から見た視聴者の顔の向きとの対応関係を規定したテーブル(第三テーブル)等を所定の記憶領域に保持しており、ステップS120で抽出した両マーク22L,22R間の比率と当該テーブル(第三テーブル)とを参照することにより視聴者の顔の向きを決定する。
【0022】
図5A,B,Cは、撮像部12から送信された画像データDから抽出されたマーク22C,22L,22Rを例示している。図5Aの例が抽出された場合、マーク22Cは画像データDの中心に位置し、かつマーク22Lとマーク22Rとの大きさは等しいため、視聴者は表示装置10から見て角度=0°のある距離の位置において、顔の向きが正面向きの状態で居ることが検出される。一方、図5Bの例が抽出された場合、図5Aの例と比較して、マーク22Cは画像データDの中心よりも左側に位置し、画像内でマーク22L,22Rが占める比率はより高く、かつマーク22Rの方がマーク22Lより大きいため、視聴者は表示装置10から見て、+側の角度且つ図5Aの例よりも近い位置に顔の向きが右向き(視聴者自身は左向き)の状態で居ることが検出される。また、図5Cの例が抽出された場合、図5Aの例と比較して、マーク22Cは画像データDの中心よりも右側に位置し、画像内でマーク22L,22Rが占める比率はより低く、かつマーク22Lの方がマーク22Rより大きいため、視聴者は表示装置10から見て、−側の角度且つ図5Aの例よりも遠い位置に顔の向きが左向き(視聴者自身は右向き)の状態で居ることが検出される。
【0023】
なお、マイコン13は、視聴者の“顔の向き”を検出する場合に、上記複数のマークについての鮮鋭度の違いに基づいて検出を行なうとしてもよい。具体的には、マイコン13は、ステップS110において撮像部12に、焦点距離を異ならせた各状態で複数回の撮像を実行させる。撮像部12は、撮像レンズを移動させて、焦点(ピント)の位置を表示装置10に近い位置から遠い位置へと徐々に移動させるとともに、当該移動の過程において、複数の画像データを生成し、この生成した焦点距離が異なる複数の画像データをマイコン13へ送信する。マイコン13は、これら複数の画像データそれぞれを対象として、マーク22L,22Rを抽出し(ステップS120)且つマーク22L,22Rの鮮鋭度(シャープネス)を計測する。鮮鋭度は、例えば、対象とする画像領域の空間周波数成分を計測したり、エッジ量を評価することにより得られる。このように複数の画像データそれぞれを対象としてマーク22L,22Rの鮮鋭度を計測した場合、視聴者の顔が正面を向いていれば、いずれか一つの画像データ内でマーク22L,22Rそれぞれについて最も高い鮮鋭度が得られるが、視聴者の顔が正面を向いていない場合、異なる画像データからマーク22L,22Rそれぞれについて最も高い鮮鋭度が得られる。
【0024】
そこで、マイコン13は、いずれか一つの画像データ内でマーク22L,22Rそれぞれについて最も高い鮮鋭度が得られた場合には、視聴者の顔の向きを正面向きと検出する。一方、異なる画像データからマーク22L,22Rそれぞれについて最も高い鮮鋭度が得られた場合には、マーク22Lについて最も高い鮮鋭度が得られた画像データが対応する焦点距離(距離D1)とマーク22Rについて最も高い鮮鋭度が得られた画像データが対応する焦点距離(距離D2)との比較結果に基づいて視聴者の顔の向きを検出する。具体的には、D1/D2の値が大きいほどマーク22Lの方がマーク22Rよりも遠くに在るため視聴者は表示装置10から見て右向き(視聴者自身は左向き)の度合いが深いと検出し、逆に、D1/D2の値が小さいほどマーク22Rの方がマーク22Lよりも遠くに在るため視聴者は表示装置10から見て左向き(視聴者自身は右向き)の度合いが深いと検出する(ステップS130)。
【0025】
このような、マーク22L,22Rの鮮鋭度の違いに基づく検出を、上記マーク22L,22R間の大きさの比較に基づく検出に加えて実行することで、視聴者の顔の向きをより詳細に(右又は左にどの程度向いているのか)検出することができる。なおマイコン13は、上記のように異なる焦点距離に対応した複数の画像データを取得した場合には、各マーク22C,22L,22Rの位置や大きさについては、ある共通の画像データに基づいて確定するようにしてもよいし、それぞれのマークの鮮鋭度が最も高い各画像データに基づいて確定するようにしてもよい。
ステップS120,S130を実行可能な点で、マイコン13は画像解析部として機能すると言える。
【0026】
ステップS140では、マイコン13は、ステップS130における視聴者の位置および顔の向きの検出結果に基づいて、映像の表示態様、音声の出力態様および表示面(表示パネル11)の向き、の少なくとも一つについて調整を実行する。ステップS140を実行可能な点で、マイコン13は調整部として機能すると言える。この調整の具体的内容は多岐に渡り、以下に述べる調整の一部あるいは全部が実行される。例えば、マイコン13は、上記検出した視聴者の位置に応じた輝度調整をSoC14に指示する。この場合、SoC14は上記検出された視聴者の位置が表示装置10から遠いものであるほど、映像信号の輝度を上昇させる処理を行なう。また、マイコン13は、上記検出した視聴者の位置に応じた3D効果(奥行きの深度)の調整をFRC15に指示する。この場合、FRC15は上記検出された視聴者の位置が表示装置10から遠いものであるほど、3D効果(奥行きの深度)を上昇させる処理を行なう。またマイコン13は、上記検出した視聴者の位置に応じた音量調整を音声処理部16に指示する。音声処理部16は、上記検出された視聴者の位置が表示装置10から遠いものであるほど、スピーカ17から出力する音量を上昇させる処理を行なう。
【0027】
また、マイコン13は、上記検出した視聴者の位置や顔の向きに応じたスイーベルの調整をスイーベル機構部18に指示する。この場合、スイーベル機構部18は、上記検出された視聴者の角度および顔の向きに応じた適切な向きに、表示装置10の向きを調整する(視聴者の角度および顔の向きと、表示装置10の最適な向きとの対応関係は予め決められている)。このような調整以外にも、視聴者の位置や顔の向きに応じた種々の調整を行うことができる。例えば、視聴者の顔の向きが右又は左に向いている場合、マイコン13は、その顔の向きの状態にとって最適な3D効果(例えば、左目用画像、右目用画像の表示位置をそれぞれ変更する等。)をFRC15に実現させるとしてもよい。また、マイコン13は、ステップS130において、抽出したマーク22Lとマーク22Rとを結ぶ線と、上記撮像された画像データの水平方向の線とが成す角度に基づいて視聴者の顔の傾き(顔の上下方向の傾き)を検出し、ステップS140では、当該顔の傾きに応じて映像の向きを変えるとしてもよい。具体的には、抽出したマーク22Lとマーク22Rとを結ぶ線が水平方向に対してほぼ垂直である場合には、視聴者は寝転んでいると推測されるため、表示パネル11に出力する映像を90°回転させて表示させる。
【0028】
さらにはマイコン13は、ステップS120でマーク22C,22L,22Rの抽出を試みた結果、マーク22C,22L,22Rを画像データから抽出できなかった場合には、所定の警告を表示パネル11に表示させるとしてもよい。この場合、視聴者が3D視聴用メガネ20を装着していないことが想定されるため、3D視聴用メガネ20を装着すべき旨や、このままでは最適な視聴環境を構築できない旨の警告メッセージを表示させた上でステップS110に戻る。ステップS110,S120および警告表示を所定回数繰り返してもマーク抽出に成功しない場合は、ステップS130以降に進むことなく、当該フローチャートを終了させる。
【0029】
このように本実施形態によれば、表示装置10は、自機が備える撮像部12により視聴者が装着している3D視聴用メガネ20を含む外部風景を撮像し、撮像により生成された画像データから、3D視聴用メガネ20に付された複数のマーク22C,22L,22Rを抽出した結果に基づいて、視聴者の位置および顔の向きを検出する。つまり、視聴者が誰であるかにかかわらず画像認識の対象は3D視聴用メガネ20に付された複数のマーク22C,22L,22Rであるため、従来のように顔認識に基づいて視聴者の位置等を検出するよりも遥かに高い精度で当該検出を行なうことができる。また、その結果、視聴者の真の状態に応じた画質や音量や表示面の向き等の最適な調整を行なうことができる。
【符号の説明】
【0030】
10…表示装置、11…表示パネル、12…撮像部、13…マイコン、14…SoC、15…FRC、16…音声処理部、17…スピーカ、18…スイーベル機構部、20…3D視聴用メガネ、22C,22L,22R…マーク

【特許請求の範囲】
【請求項1】
3次元映像を表示面に表示可能な表示装置であって、
表示装置の外部を撮像するための撮像部と、
上記撮像部によって撮像された画像を入力し、当該画像を解析する画像解析部とを備え、
上記画像解析部は、上記画像から3次元映像を視聴するための眼鏡装置である3D視聴用メガネに付された複数の特定のマークを抽出し、当該抽出した複数のマークに基づいて、少なくとも表示装置に対する視聴者の位置および顔の向きを検出する、ことを特徴とする表示装置。
【請求項2】
上記画像解析部は、上記画像内における上記複数のマークの位置および大きさに基づいて、視聴者の位置を検出することを特徴とする請求項1に記載の表示装置。
【請求項3】
上記画像解析部は、上記複数のマーク間における大きさの比較に基づいて、視聴者の顔の向きを検出することを特徴とする請求項1または請求項2に記載の表示装置。
【請求項4】
上記撮像部は、焦点距離を異ならせた各状態で撮像することにより複数の画像を生成し、上記画像解析部は、各画像間における上記複数のマークについての鮮鋭度の違いに基づいて、視聴者の顔の向きを検出することを特徴とする請求項1〜請求項3のいずれかに記載の表示装置。
【請求項5】
視聴対象となるコンテンツデータに基づいて3次元映像を表示面に表示し且つ音声をスピーカから出力させる3Dテレビジョンであり、
上記視聴者の位置および顔の向きの検出結果に基づいて、映像の表示態様、音声の出力態様および表示面の向き、の少なくとも一つについて調整を実行する調整部を備えることを特徴とする請求項4に記載の表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−253566(P2012−253566A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−124544(P2011−124544)
【出願日】平成23年6月2日(2011.6.2)
【出願人】(000201113)船井電機株式会社 (7,855)
【Fターム(参考)】