立体映像処理装置
【課題】テレビに対する視聴者の位置や距離に応じて立体映像の視差を調整する際に、複数人で視聴する場合の最適な視差調整を提供する。
【解決手段】複数の視聴者で立体映像を視聴する場合は、各視聴者の位置と顔の傾きによる視聴態度の推定から、各視聴者に対する重み付けをして、視差調整を行う。このようにすると、映像に興味の無い視聴者の影響を無視して、映像に興味の有る視聴者に対する最適の視差を映像に付加することができる。
【解決手段】複数の視聴者で立体映像を視聴する場合は、各視聴者の位置と顔の傾きによる視聴態度の推定から、各視聴者に対する重み付けをして、視差調整を行う。このようにすると、映像に興味の無い視聴者の影響を無視して、映像に興味の有る視聴者に対する最適の視差を映像に付加することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体映像処理装置に関する。より詳しくは、立体映像の視差を調整する立体映像処理装置に関する。
【背景技術】
【０００２】
近年、立体映像を表示する表示装置の開発が進んでいる。
【０００３】
従来、立体映像を表示する表示装置では、メガネに搭載された座標検出からの座標に応じて、視差量を調整するものが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１４１３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の技術によれば、テレビに対する視聴者の位置や距離に応じた視差を付加することで、適切な立体映像が表示される。
【０００６】
しかし、複数人が同時に立体映像を視聴した際には適切に立体映像を表示することが出来ない。
【０００７】
例えば視聴者Ａ、Ｂの２人が立体映像を視聴していたとする。ここで、視聴者Ａの位置、距離に合わせて視差の調整を行うと、調整された視差が視聴者Ｂに対しては不適切なものとなるおそれがある。結果として、視聴者Ｂが過度の立体効果を感じ、あるいは、立体効果を得られないおそれがある。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決する為に、本発明の立体映像視聴装置は、立体映像を視聴している視聴者の画像を取得する視聴者画像取得部と、前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの顔の傾きを検出する傾き検出部と、前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの視聴位置を検出する位置検出部と、前記傾き検出部で検出した視聴者ごとの顔の傾きと、前記位置検出部で検出した視聴者ごとの視聴位置とに基づいて、視聴者ごとに視差量調整の重み付けを行う視差量調整部と、前記視差量調整部の重み付けに基づいて、前記立体映像を構成する左目用映像と右目用映像とに視差を付加する視差合成部と、を有する立体映像処理装置とした。
【発明の効果】
【０００９】
本発明の立体映像処理装置によれば、複数の視聴者のテレビに対する位置、視聴状態を判別するので、視聴者全員に対して適した視差を立体映像に付加することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる映像処理装置、及び当該映像処理装置に対する外部入力を含むブロック図
【図２】実施の形態１にかかる傾き検出部のブロック図
【図３】実施の形態１にかかる重み算出部のブロック図
【図４】実施の形態１にかかる映像処理装置を用いる視聴者の態様を示した図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照しながら説明する。
（実施の形態１）
以下、図１から図４を参照しながら、実施の形態１について説明する。
（機器の構成）
以下、図１を参照しながら実施の形態１にかかる映像処理装置の構成を説明する。
【００１２】
図１は実施の形態１にかかる映像処理装置、及び当該映像処理装置に対する外部入力を含むブロック図である。
【００１３】
以下、図１に示された各構成要素について説明を行う。
【００１４】
映像処理装置１００は、外部から取得した視聴者の画像に基づいて、映像コンテンツに視差を付加するものである。映像処理装置１００は、映像解析部１０４と視差生成部１０５と視差合成部１０６とを含む。映像処理装置１００は具体的にはＬＳＩなどの大規模回路素子、あるいはプログラムの処理によって実現される。
【００１５】
左目用映像取得部１０１は、立体映像における左目用の映像信号を取得、あるいは生成するものである。左目用映像取得部１０１は立体表示記録対応カメラや立体表示コンテンツが収録されたパッケージメディアや放送信号などから左目用の映像信号を取得する。左目用映像取得部１０１が立体表示記録対応カメラから左目用の映像信号を取得するには、例えば左目用の映像を撮像する撮像素子からの信号を取得すれば良い。左目用映像取得部１０１がパッケージメディアや放送信号から左目用の映像信号を取得するには、デコードされた映像信号から左目用映像に該当するフレームを構成する信号を取得すれば良い。具体的に当該フレームを構成する信号を取得するには、映像信号から一定の規約に従って偶数フレーム、あるいは奇数フレームを構成する信号を選択的に取得することが一例として挙げられる。あるいは、映像信号の特定のフレームが左目用映像と右目用映像の組み合わせから構成されている場合には当該フレームの特定の領域を構成する映像信号を選択的に取得することが一例として挙げられる。映像信号の特定のフレームが左目用映像と右目用映像の組み合わせから構成されている場合とは、具体的にはサイドバイサイドやトップアンドボトムなどのフォーマット形式に従って映像信号が構成されている場合である。また、左目用映像取得部１０１が左目用の映像信号を生成する一例としては、立体のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）など、外部映像源に依存しない映像を生成する場合が挙げられる。
【００１６】
右目用映像取得部１０２は、立体映像における右目用の映像信号を取得、あるいは生成するものである。詳しい機能は左目用映像取得部１０１の説明と同様である。
【００１７】
視聴者画像取得部１０３は、視聴者を撮影した画像を取得するものである。視聴者画像取得部１０３は具体的には、カメラなどの外部機器が撮影した画像を取得する。カメラは映像処理装置１００に内蔵されたものでもよいし、視聴者の周囲に配置されたものでもよいが、映像処理装置１００で処理された映像を表示するディスプレイの近辺から視聴者に正対する位置に配置することが望ましい。後述する映像解析部１０４が視聴者画像取得部１０３が取得した画像からディスプレイに対する視聴者の位置を検出する必要があるからである。
【００１８】
映像解析部１０４は視聴者画像取得部１０３で取得した画像を解析する。
【００１９】
視差生成部１０５は左目用映像と右目用映像から原映像の視差を取得する。さらに、視差生成部１０５は取得した視差と、映像解析部での解析結果に基づいて、左目用映像と右目用映像に合成すべき視差量を算出する。
【００２０】
視差合成部１０６は前記視差生成部１０５で生成された視差を左目用映像と右目用映像に合成する。
【００２１】
以下、映像解析部１０４の各構成要素について説明する。
【００２２】
顔領域検出部４０１は視聴者画像取得部１０３で取得した画像から視聴者の顔の存在を検出する。具体的には、顔領域検出部４０１は取得した画像から肌色の円形領域を検出することによって顔の存在を検出する。
【００２３】
傾き検出部４０２は顔領域検出部４０１で検出されたそれぞれの顔について傾きを検出する。具体的には、傾き検出部４０２は顔領域において黒い矩形領域を切り出し、その矩形領域の傾きを計算する。黒い矩形領域とは、視聴者の装着している立体表示用メガネの領域に相当する。視聴者が首を傾けていれば、視聴者の装着しているメガネも傾く。よって黒い矩形領域の傾きを視聴者の首の傾きとみなすことが可能となる。
【００２４】
傾き検出部４０２について図２を用いてさらに詳細に説明する。図２は実施の形態１にかかる傾き検出部のブロック図である。
【００２５】
傾き検出部４０２を詳細に機能ブロック図で表現すると、傾き検出部４０２はメガネ領域検出部４２１と傾き検出部４２２とを有する。
【００２６】
メガネ領域検出部４２１は顔領域検出部４０１で検出された顔領域からさらに立体表示用メガネの領域を検出するものである。具体的には検出された顔領域において、黒色領域が顔領域の一定以上の面積を占めつつ、黒領域の四角さの度合いが高いことを検出するものである。黒色領域の検出は画素の輝度に従って行うことができる。四角さの度合いは黒色領域のＸ軸範囲とＹ軸範囲とを算出し、矩形領域を定義した後に、その矩形領域に占める黒色の割合で判断することができる。
【００２７】
傾き検出部４２２はメガネ領域検出部４２１で検出された立体表示用メガネの領域が、テレビに対してどの程度傾いているかを検出するものである。傾きを検出するには、検出されたメガネ領域に対して、あらかじめ定められた数種類の角度別に用意した矩形領域をマッチングさせ、該当パタンから傾きを検出する。
【００２８】
再び図１に戻って残りの構成要素の説明を行う。
【００２９】
位置検出部４０３は、顔領域検出部４０１で検出された顔から視聴者の位置を検出する。具体的には、位置検出部４０３は視聴者画像取得部１０３で取得された画像中において、顔領域検出部４０１で検出された顔がどの位置に存在するかを検出する。メガネ領域検出部４２１からメガネ領域を取得して行う方法が挙げられる。取得したメガネ領域の中心に視聴者がいると仮定することによって視聴者の位置を判断する。ここで、位置とは画像の中心からの顔の距離（視聴者が正面にいるか端にいるか）を少なくとも検出する。また、顔のサイズ（顔が近辺にあるか遠方にあるか）をさらに検出しても良い。
【００３０】
視聴者数検出部４０４は顔領域検出部４０１または位置検出部４０３で検出される視聴者の顔または位置情報をカウントして視聴者の数を特定するものである。
【００３１】
重み算出部４０５は、傾き検出部４０２の出力および位置検出部４０３の出力を基に視聴者の視聴状況を判断し、各視聴者に対して視差量調整の重みづけを行う。
【００３２】
図３を用いて重み算出部４０５について詳細に説明する。図３は実施の形態１にかかる重み算出部のブロック図である。
【００３３】
第一の重み算出部４５１は傾き検出部４０２で検出された傾き量から視差量調整のための重みを算出するものである。具体的には、第一の重み算出部４５１は傾き検出部４０２で検出された傾きがテレビに対して平行に近いほど、当該視聴者に対する重みを大きくする。
【００３４】
第二の重み算出部４５２は位置検出部４０３で検出された視聴者のテレビに対する位置から視差量調整のための重みを算出するためのものである。具体的には、第二の重み検出部は位置検出部４０３で検出された視聴者の位置情報をもとに取得画像の左右中央に位置する視聴者に対する重みを大きくする。
【００３５】
重み合成部４５３は第一の重み算出部４５１、第二の重み算出部４５２で算出された各重みと４０４で検出された視聴者数から視差量を調整する際の最終的な重みを決定するものである。詳細は後述する。
（重み付けについて）
以下図４を用いて、上述のように構成した映像処理装置における映像処理について述べる。
【００３６】
図４は実施の形態１にかかる映像処理装置を用いる視聴者の態様を示した図である。
【００３７】
図４（ａ）は各視聴者が正対して、かつ、画面の中央に対し略均等に位置して、映像処理装置によって処理された映像を鑑賞する様子を表す図である。
【００３８】
第一の重み算出部４５１は各視聴者に対する重み付けを均等に行う。各視聴者の顔の傾きが平行であるからである。
【００３９】
第二の重み算出部４５２は中央に位置する視聴者に対して左右に位置する視聴者より重く重み付けを行う。
【００４０】
このような場合、視差合成部１０６は現映像と等しい視差を用いて視差を合成する。
【００４１】
図４（ｂ）は各視聴者が正対して、かつ、右側の視聴者がやや中央からずれて、左側の視聴者が中央から大きくずれて視聴している様子を表す図である。
【００４２】
第一の重み算出部４５１は各視聴者に対する重み付けを均等に行う。各視聴者の顔の傾きが平行であるからである。
【００４３】
第二の重み算出部４５２は右側の視聴者に対する重み付けを重く行う。左側の視聴者は画面に興味がないと判断できるからである。
【００４４】
このような場合、視差合成部１０６は中央に位置する視聴者に合せて視差合成を行う。
【００４５】
図４（ｃ）は左側の視聴者が横になって視聴している様子を表す図である。
【００４６】
第一の重み算出部４５１は右側の視聴者に対する重み付けを重く行う。左側の視聴者は顔が傾いているので画面に集中していないと判断できるからである。
【００４７】
第二の重み算出部４５２は各視聴者に対する重み付けを均等に行う。左右の視聴者ともに中央からの距離はほぼ等しいからである。
【００４８】
このような場合、視差合成部１０６は右側に位置する視聴者に合せて視差合成を行う。
【００４９】
図４（ｄ）は左側の視聴者が横になって視聴して、かつ、右側の視聴者が中央から離れて視聴している様子を表す図である。
【００５０】
第一の重み算出部４５１は右側の視聴者に対する重み付けを重く行う。左側の視聴者は顔が傾いているので画面に集中していないと判断できるからである。
【００５１】
第二の重み算出部４５２は左側の視聴者に対する重み付けを重く行う。右側の視聴者は画面に興味がないと判断できるからである。
【００５２】
このような場合、視差合成部１０６が、第一の重み算出部４５１の重み付けと、第二の重み算出部４５２の重み付けとのどちらを重視するかを、適宜視聴者が設定できるように映像処理装置１００を構成しておくことが考えられる。このようにすれば、第一の重み算出部４５１の算出結果と、第二の重み算出部４５２の算出結果とが相反する場合に指針を与えることができるからである。
【００５３】
なお、第一の重み算出部４５１では、メガネの傾きに応じてリニアに重みを置くが、数〜数十段階のステップで重みを設定しても良い。同様に、第二の重み算出部４５２も画面中央からの距離に応じてリニアで重みを設定、もしくはステップ状の重みを設定しても良い。
【産業上の利用可能性】
【００５４】
本発明は、家庭用のテレビなどにおける映像処理装置として有効である。
【符号の説明】
【００５５】
１００ 映像処理装置
１０１ 左目用映像取得部
１０２ 右目用映像取得部
１０３ 視聴者画像取得部
１０４ 映像解析部
１０５ 視差生成部
１０６ 視差合成部
４０１ 顔領域検出部
４０２ 傾き検出部
４０３ 位置検出部
４０４ 視聴者数検出部
４０５ 重み算出部
４２１ メガネ領域検出部
４２２ 傾き検出部
４５１ 第一の重み算出部
４５２ 第二の重み算出部
４５３ 重み合成部
【技術分野】
【０００１】
本発明は立体映像処理装置に関する。より詳しくは、立体映像の視差を調整する立体映像処理装置に関する。
【背景技術】
【０００２】
近年、立体映像を表示する表示装置の開発が進んでいる。
【０００３】
従来、立体映像を表示する表示装置では、メガネに搭載された座標検出からの座標に応じて、視差量を調整するものが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１４１３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の技術によれば、テレビに対する視聴者の位置や距離に応じた視差を付加することで、適切な立体映像が表示される。
【０００６】
しかし、複数人が同時に立体映像を視聴した際には適切に立体映像を表示することが出来ない。
【０００７】
例えば視聴者Ａ、Ｂの２人が立体映像を視聴していたとする。ここで、視聴者Ａの位置、距離に合わせて視差の調整を行うと、調整された視差が視聴者Ｂに対しては不適切なものとなるおそれがある。結果として、視聴者Ｂが過度の立体効果を感じ、あるいは、立体効果を得られないおそれがある。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決する為に、本発明の立体映像視聴装置は、立体映像を視聴している視聴者の画像を取得する視聴者画像取得部と、前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの顔の傾きを検出する傾き検出部と、前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの視聴位置を検出する位置検出部と、前記傾き検出部で検出した視聴者ごとの顔の傾きと、前記位置検出部で検出した視聴者ごとの視聴位置とに基づいて、視聴者ごとに視差量調整の重み付けを行う視差量調整部と、前記視差量調整部の重み付けに基づいて、前記立体映像を構成する左目用映像と右目用映像とに視差を付加する視差合成部と、を有する立体映像処理装置とした。
【発明の効果】
【０００９】
本発明の立体映像処理装置によれば、複数の視聴者のテレビに対する位置、視聴状態を判別するので、視聴者全員に対して適した視差を立体映像に付加することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる映像処理装置、及び当該映像処理装置に対する外部入力を含むブロック図
【図２】実施の形態１にかかる傾き検出部のブロック図
【図３】実施の形態１にかかる重み算出部のブロック図
【図４】実施の形態１にかかる映像処理装置を用いる視聴者の態様を示した図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照しながら説明する。
（実施の形態１）
以下、図１から図４を参照しながら、実施の形態１について説明する。
（機器の構成）
以下、図１を参照しながら実施の形態１にかかる映像処理装置の構成を説明する。
【００１２】
図１は実施の形態１にかかる映像処理装置、及び当該映像処理装置に対する外部入力を含むブロック図である。
【００１３】
以下、図１に示された各構成要素について説明を行う。
【００１４】
映像処理装置１００は、外部から取得した視聴者の画像に基づいて、映像コンテンツに視差を付加するものである。映像処理装置１００は、映像解析部１０４と視差生成部１０５と視差合成部１０６とを含む。映像処理装置１００は具体的にはＬＳＩなどの大規模回路素子、あるいはプログラムの処理によって実現される。
【００１５】
左目用映像取得部１０１は、立体映像における左目用の映像信号を取得、あるいは生成するものである。左目用映像取得部１０１は立体表示記録対応カメラや立体表示コンテンツが収録されたパッケージメディアや放送信号などから左目用の映像信号を取得する。左目用映像取得部１０１が立体表示記録対応カメラから左目用の映像信号を取得するには、例えば左目用の映像を撮像する撮像素子からの信号を取得すれば良い。左目用映像取得部１０１がパッケージメディアや放送信号から左目用の映像信号を取得するには、デコードされた映像信号から左目用映像に該当するフレームを構成する信号を取得すれば良い。具体的に当該フレームを構成する信号を取得するには、映像信号から一定の規約に従って偶数フレーム、あるいは奇数フレームを構成する信号を選択的に取得することが一例として挙げられる。あるいは、映像信号の特定のフレームが左目用映像と右目用映像の組み合わせから構成されている場合には当該フレームの特定の領域を構成する映像信号を選択的に取得することが一例として挙げられる。映像信号の特定のフレームが左目用映像と右目用映像の組み合わせから構成されている場合とは、具体的にはサイドバイサイドやトップアンドボトムなどのフォーマット形式に従って映像信号が構成されている場合である。また、左目用映像取得部１０１が左目用の映像信号を生成する一例としては、立体のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）など、外部映像源に依存しない映像を生成する場合が挙げられる。
【００１６】
右目用映像取得部１０２は、立体映像における右目用の映像信号を取得、あるいは生成するものである。詳しい機能は左目用映像取得部１０１の説明と同様である。
【００１７】
視聴者画像取得部１０３は、視聴者を撮影した画像を取得するものである。視聴者画像取得部１０３は具体的には、カメラなどの外部機器が撮影した画像を取得する。カメラは映像処理装置１００に内蔵されたものでもよいし、視聴者の周囲に配置されたものでもよいが、映像処理装置１００で処理された映像を表示するディスプレイの近辺から視聴者に正対する位置に配置することが望ましい。後述する映像解析部１０４が視聴者画像取得部１０３が取得した画像からディスプレイに対する視聴者の位置を検出する必要があるからである。
【００１８】
映像解析部１０４は視聴者画像取得部１０３で取得した画像を解析する。
【００１９】
視差生成部１０５は左目用映像と右目用映像から原映像の視差を取得する。さらに、視差生成部１０５は取得した視差と、映像解析部での解析結果に基づいて、左目用映像と右目用映像に合成すべき視差量を算出する。
【００２０】
視差合成部１０６は前記視差生成部１０５で生成された視差を左目用映像と右目用映像に合成する。
【００２１】
以下、映像解析部１０４の各構成要素について説明する。
【００２２】
顔領域検出部４０１は視聴者画像取得部１０３で取得した画像から視聴者の顔の存在を検出する。具体的には、顔領域検出部４０１は取得した画像から肌色の円形領域を検出することによって顔の存在を検出する。
【００２３】
傾き検出部４０２は顔領域検出部４０１で検出されたそれぞれの顔について傾きを検出する。具体的には、傾き検出部４０２は顔領域において黒い矩形領域を切り出し、その矩形領域の傾きを計算する。黒い矩形領域とは、視聴者の装着している立体表示用メガネの領域に相当する。視聴者が首を傾けていれば、視聴者の装着しているメガネも傾く。よって黒い矩形領域の傾きを視聴者の首の傾きとみなすことが可能となる。
【００２４】
傾き検出部４０２について図２を用いてさらに詳細に説明する。図２は実施の形態１にかかる傾き検出部のブロック図である。
【００２５】
傾き検出部４０２を詳細に機能ブロック図で表現すると、傾き検出部４０２はメガネ領域検出部４２１と傾き検出部４２２とを有する。
【００２６】
メガネ領域検出部４２１は顔領域検出部４０１で検出された顔領域からさらに立体表示用メガネの領域を検出するものである。具体的には検出された顔領域において、黒色領域が顔領域の一定以上の面積を占めつつ、黒領域の四角さの度合いが高いことを検出するものである。黒色領域の検出は画素の輝度に従って行うことができる。四角さの度合いは黒色領域のＸ軸範囲とＹ軸範囲とを算出し、矩形領域を定義した後に、その矩形領域に占める黒色の割合で判断することができる。
【００２７】
傾き検出部４２２はメガネ領域検出部４２１で検出された立体表示用メガネの領域が、テレビに対してどの程度傾いているかを検出するものである。傾きを検出するには、検出されたメガネ領域に対して、あらかじめ定められた数種類の角度別に用意した矩形領域をマッチングさせ、該当パタンから傾きを検出する。
【００２８】
再び図１に戻って残りの構成要素の説明を行う。
【００２９】
位置検出部４０３は、顔領域検出部４０１で検出された顔から視聴者の位置を検出する。具体的には、位置検出部４０３は視聴者画像取得部１０３で取得された画像中において、顔領域検出部４０１で検出された顔がどの位置に存在するかを検出する。メガネ領域検出部４２１からメガネ領域を取得して行う方法が挙げられる。取得したメガネ領域の中心に視聴者がいると仮定することによって視聴者の位置を判断する。ここで、位置とは画像の中心からの顔の距離（視聴者が正面にいるか端にいるか）を少なくとも検出する。また、顔のサイズ（顔が近辺にあるか遠方にあるか）をさらに検出しても良い。
【００３０】
視聴者数検出部４０４は顔領域検出部４０１または位置検出部４０３で検出される視聴者の顔または位置情報をカウントして視聴者の数を特定するものである。
【００３１】
重み算出部４０５は、傾き検出部４０２の出力および位置検出部４０３の出力を基に視聴者の視聴状況を判断し、各視聴者に対して視差量調整の重みづけを行う。
【００３２】
図３を用いて重み算出部４０５について詳細に説明する。図３は実施の形態１にかかる重み算出部のブロック図である。
【００３３】
第一の重み算出部４５１は傾き検出部４０２で検出された傾き量から視差量調整のための重みを算出するものである。具体的には、第一の重み算出部４５１は傾き検出部４０２で検出された傾きがテレビに対して平行に近いほど、当該視聴者に対する重みを大きくする。
【００３４】
第二の重み算出部４５２は位置検出部４０３で検出された視聴者のテレビに対する位置から視差量調整のための重みを算出するためのものである。具体的には、第二の重み検出部は位置検出部４０３で検出された視聴者の位置情報をもとに取得画像の左右中央に位置する視聴者に対する重みを大きくする。
【００３５】
重み合成部４５３は第一の重み算出部４５１、第二の重み算出部４５２で算出された各重みと４０４で検出された視聴者数から視差量を調整する際の最終的な重みを決定するものである。詳細は後述する。
（重み付けについて）
以下図４を用いて、上述のように構成した映像処理装置における映像処理について述べる。
【００３６】
図４は実施の形態１にかかる映像処理装置を用いる視聴者の態様を示した図である。
【００３７】
図４（ａ）は各視聴者が正対して、かつ、画面の中央に対し略均等に位置して、映像処理装置によって処理された映像を鑑賞する様子を表す図である。
【００３８】
第一の重み算出部４５１は各視聴者に対する重み付けを均等に行う。各視聴者の顔の傾きが平行であるからである。
【００３９】
第二の重み算出部４５２は中央に位置する視聴者に対して左右に位置する視聴者より重く重み付けを行う。
【００４０】
このような場合、視差合成部１０６は現映像と等しい視差を用いて視差を合成する。
【００４１】
図４（ｂ）は各視聴者が正対して、かつ、右側の視聴者がやや中央からずれて、左側の視聴者が中央から大きくずれて視聴している様子を表す図である。
【００４２】
第一の重み算出部４５１は各視聴者に対する重み付けを均等に行う。各視聴者の顔の傾きが平行であるからである。
【００４３】
第二の重み算出部４５２は右側の視聴者に対する重み付けを重く行う。左側の視聴者は画面に興味がないと判断できるからである。
【００４４】
このような場合、視差合成部１０６は中央に位置する視聴者に合せて視差合成を行う。
【００４５】
図４（ｃ）は左側の視聴者が横になって視聴している様子を表す図である。
【００４６】
第一の重み算出部４５１は右側の視聴者に対する重み付けを重く行う。左側の視聴者は顔が傾いているので画面に集中していないと判断できるからである。
【００４７】
第二の重み算出部４５２は各視聴者に対する重み付けを均等に行う。左右の視聴者ともに中央からの距離はほぼ等しいからである。
【００４８】
このような場合、視差合成部１０６は右側に位置する視聴者に合せて視差合成を行う。
【００４９】
図４（ｄ）は左側の視聴者が横になって視聴して、かつ、右側の視聴者が中央から離れて視聴している様子を表す図である。
【００５０】
第一の重み算出部４５１は右側の視聴者に対する重み付けを重く行う。左側の視聴者は顔が傾いているので画面に集中していないと判断できるからである。
【００５１】
第二の重み算出部４５２は左側の視聴者に対する重み付けを重く行う。右側の視聴者は画面に興味がないと判断できるからである。
【００５２】
このような場合、視差合成部１０６が、第一の重み算出部４５１の重み付けと、第二の重み算出部４５２の重み付けとのどちらを重視するかを、適宜視聴者が設定できるように映像処理装置１００を構成しておくことが考えられる。このようにすれば、第一の重み算出部４５１の算出結果と、第二の重み算出部４５２の算出結果とが相反する場合に指針を与えることができるからである。
【００５３】
なお、第一の重み算出部４５１では、メガネの傾きに応じてリニアに重みを置くが、数〜数十段階のステップで重みを設定しても良い。同様に、第二の重み算出部４５２も画面中央からの距離に応じてリニアで重みを設定、もしくはステップ状の重みを設定しても良い。
【産業上の利用可能性】
【００５４】
本発明は、家庭用のテレビなどにおける映像処理装置として有効である。
【符号の説明】
【００５５】
１００ 映像処理装置
１０１ 左目用映像取得部
１０２ 右目用映像取得部
１０３ 視聴者画像取得部
１０４ 映像解析部
１０５ 視差生成部
１０６ 視差合成部
４０１ 顔領域検出部
４０２ 傾き検出部
４０３ 位置検出部
４０４ 視聴者数検出部
４０５ 重み算出部
４２１ メガネ領域検出部
４２２ 傾き検出部
４５１ 第一の重み算出部
４５２ 第二の重み算出部
４５３ 重み合成部
【特許請求の範囲】
【請求項１】
立体映像を視聴している視聴者の画像を取得する視聴者画像取得部と、
前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの顔の傾きを検出する傾き検出部と、
前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの視聴位置を検出する位置検出部と、
前記傾き検出部で検出した視聴者ごとの顔の傾きと、前記位置検出部で検出した視聴者ごとの視聴位置とに基づいて、視聴者ごとに視差量調整の重み付けを行う視差量調整部と、
前記視差量調整部の重み付けに基づいて、前記立体映像を構成する左目用映像と右目用映像とに視差を付加する視差合成部と、
を有する立体映像処理装置。
【請求項１】
立体映像を視聴している視聴者の画像を取得する視聴者画像取得部と、
前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの顔の傾きを検出する傾き検出部と、
前記視聴者画像取得部が取得した前記画像を解析して、視聴者ごとの視聴位置を検出する位置検出部と、
前記傾き検出部で検出した視聴者ごとの顔の傾きと、前記位置検出部で検出した視聴者ごとの視聴位置とに基づいて、視聴者ごとに視差量調整の重み付けを行う視差量調整部と、
前記視差量調整部の重み付けに基づいて、前記立体映像を構成する左目用映像と右目用映像とに視差を付加する視差合成部と、
を有する立体映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−８５０５４（Ｐ２０１３−８５０５４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２４７６（Ｐ２０１１−２２２４７６）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]