画像表示装置、画像表示システム、及び３次元眼鏡
【課題】水平視差を利用した立体視画像の視聴において、視聴者が頭部を傾けると両目に縦方向の視差が生じ、疲労や立体視の異常を起こす。
【解決手段】画像表示システムは、視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを有する。
【解決手段】画像表示システムは、視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示システム、及び３次元眼鏡に関する。
【背景技術】
【０００２】
近年、映画等を３次元映像で見る機会が増えている。３次元映像を視聴できる家庭用のテレビ及びコンピュータディスプレイの普及とともに、３次元映像のテレビコンテンツ又は３次元映像のゲームも広まりつつある。
【０００３】
３次元映像は、右目に提示する画像と左目に提示する画像との間に視差を作ることで、視聴者に奥行きがあるように錯覚させる。１つのディスプレイで左右の目に異なる画像を提示する方法は、大きく分けて２種類ある。
【０００４】
ディスプレイ面においたレンズ又はバリアにより、ディスプレイから出力する光の向きを調節して左右の目に異なる画像を提示する方法がある。この方法は、眼鏡を使用しない。
【０００５】
また、専用の眼鏡を用いて、フィルタまたはシャッタにより左右の目に届く光を選択する方法がある。
【０００６】
レンズやバリアによる方式は、右目用の画像、左目用の画像を垂直方向に細かく分割して、特定の視点の視聴者の右目に右目用の画像のみが提示され、左目に左目用の画像のみが提示される。
【０００７】
レンティキュラレンズを利用する方法では、垂直方向に細かく分割された右目用画像と左目用画像とを水平方向に交互に並べて同時に提示し、レンズの屈折率の違いを利用して、水平方向に並べられた右目用画像と左目用画像をそれぞれ視聴者の右目方向と左目方向へ提示する。
【０００８】
パララックスバリアと呼ばれる遮光バリアを利用する方式では、右目用画像と左目用画像を交互に提示し、右目用画像を提示する期間では、パララックスバリアにより視聴者の左目方向への光を遮断し、左目用画像を提示する期間では、パララックスバリアにより視聴者の右目方向への光を遮断する。
【０００９】
左右の目への画像の提示を６０Ｈｚ程度より早くすることで、視聴者は左右の画像の切り替えに気づかず、両目の情報を融像して立体視することができる。
【００１０】
専用眼鏡のシャッタによる方式では、左右の画像を交互に提示し、右目用画像が提示されている期間は右目のみシャッタを開き、左目用画像が提示されている期間は左目のみシャッタを開くことで、右目用画像を右目のみに提示し、左目用画像を左目のみに提示する。
【００１１】
左右画像の切り替えを６０Ｈｚ程度以上の速さで行うことで、視聴者は左右の画像の時間差を感じることなく、左右の画像を融像して立体視することができる。
【００１２】
図１（ａ）に、上記のような立体視の仕組みにおける、ディスプレイ表示と目の位置および知覚される奥行き、すなわち仮想位置を模式的に示したものである。
【００１３】
左目及び右目に視差のある画像を提示することにより、人間はその画像を立体に見ることができる。「視差」とは、左右の目の間の距離により、同一対象物を見た場合に生じる画像の差である。
【００１４】
現在の立体視画像による映画、ゲーム、又はビデオの映像コンテンツは、左右の視差を画面の水平軸方向に作っている。すなわち視聴者は図１（ａ）の右から見た配置および頭の後ろから透過した配置に示すように、画面の水平軸に両目を結んだ線をあわせて見ることで、立体映像を楽しむことができる。
【００１５】
しかしながら、人間は頭の向きを長時間まっすぐに保っていることができない。視聴者は、映像コンテンツを見ている間、いすにもたれる、あるいは寄りかかる等、姿勢を変える。視聴者が体を傾けたり、首を傾けたりすることで、視聴者の両目を結んだ線は画面の水平軸とずれてしまう。
【００１６】
また、ヨガやフィットネスやダンスの練習用コンテンツのように、視聴者が映像コンテンツにしたがって身体を動かすコンテンツもある。このようなコンテンツでは、映像コンテンツにあわせて視聴者が体や頭を傾けたり、横臥するため、視聴者の両目を結んだ線は画面の水平軸とずれてしまう。すなわち、リラックスした姿勢でコンテンツを視聴する場合や体を動かすためのコンテンツに従って体を動かす場合には、立体映像を視聴することができなくなる。
【００１７】
図１（ｂ）に、頭を画面に向かって左に傾けた状態で立体映像を見る状態を模式的に示す。図１（ｂ）の右図の頭の後ろから透過した配置の図では、図１（ａ）に比べて、視聴者の右目が画面下方向へ移動し、視聴者の左目は画面上方向へ移動している。図１（ｂ）の頭の後ろから透過した配置に示すとおり、視聴者の両目を結んだ線は画面の水平軸とずれている。頭を傾けても両目の間の距離は変わらないため、画面の水平方向と平行な方向では、視聴者の両目の間の距離は図１（ａ）の正しく立体視できる状態と比べて短くなる。また、図１（ａ）の正しく立体視できる状態では生じなかった視聴者の両目を結んだ線と垂直の方向、すなわち視聴者の頭の縦方向に画像のずれが生じる。すなわち、視聴者の右目に見える画像と左目に見える画像の上下位置がずれて見えることになる。実空間で１つの対象物を両目で見る場合には、左右の視差は目の位置の違いにのみ依存するため、同一の対象物は必ず両目を結んだ線上に見える。図１（ｂ）に示すような、両目を結んだ線と垂直の方向のずれは、実空間でものを見る際には起こらない。そのため、両目を結んだ線と垂直の方向の画像のずれは視聴者にとって非常に不自然で負荷の高いものとなる。
【００１８】
上記のような課題に対して、バーチャルリアリティを利用して遠隔操作を行うシステムでは特許文献１のように、視聴者に提供する画像の水平、垂直軸を視聴者の頭部姿勢にあわせて移動させ、画像の水平方向と視聴者の両目を結んだ線とのずれをなくす方法がある。
【００１９】
特許文献２には、縦方向のずれを補正する方法が開示されている。具体的には、撮像時に、正確なフレーム位置等を記録し、それに基づいて出力画像をトリミングして縦ずれを補正する。
【００２０】
特許文献３は、互いに異なる複数の位置から撮像した画像を用いて、視聴者の視聴姿勢に合わせて画像を提示する方法を開示している。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開平９−０６６４８９号公報
【特許文献２】特開２００６−１２８８４２号公報
【特許文献３】特開２０１０−２５８５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
映像製作時、映像の配信時、あるいは映像の表示時に、立体映像として左右の画像の視差を正しく調整したとしても、映像を視聴する際の視聴者の頭部の傾きを予測することはできない。また、視聴者の頭部の傾きを計測し、左右の画像の水平方向を視聴者の両目を結んだ線とあわせて表示した場合には、画面は頭部とともに傾き、視聴者の両目に正しい視差で画像を表示することができる。しかしながら、画面が頭部とともに傾くと、画面の垂直軸と実際の視聴空間での垂直軸とがずれてしまう。人間は前庭器官により重力加速度を感じており、実際の空間の垂直軸と、画面の垂直軸のずれにより酔ってしまう。立体映像視聴時の視聴者の頭部の傾きに対して、実際の視聴空間の垂直軸を合わせると、正しい視差で左右の画像を提示することができないため視聴者にとって不自然な目の動きを強いることとなり、正しい視差で左右の画像を提示すると実空間との垂直軸のずれから映像酔いを誘発するという課題を有していた。
【課題を解決するための手段】
【００２３】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備える。これにより、撮像時に生成された両目の視差の方向と視聴時の視聴者の頭部の傾きすなわち、両目を結んだ直線の方向とを合致させることができ、視聴者の姿勢にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００２４】
前記撮像時の左カメラと右カメラは水平面上に配置されており、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量は前記視聴者の左眼球と右眼球の水平面からの位置の差分量であることを特徴とする。
【００２５】
これにより、撮像時に生成された両目の視差の方向を求める必要がなく、視聴者の左右の眼球の位置のみから画像を補正することができる。
【００２６】
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサを備え、
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する前記左右眼球水平差分量検出部は前記傾きセンサによって測定された前記視聴者の頭部の傾きを用いて左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する。
【００２７】
これにより、左右の眼球の位置を検出必要がなく、頭部の傾きから左右の目を結んだ線の傾きを得ることができる。
【００２８】
前記左目に提示する画像を前記視聴者の左目のみに提示し、前記右目に提示する画像を前記視聴者の右目のみに提示するためのアクティブシャッタを眼鏡のレンズ部に設けた立体視用眼鏡を備え、前記傾きセンサは前記立体視用眼鏡に設置されている。
【００２９】
これにより、傾きセンサを別途視聴者に設置する必要がなく、視聴者は負荷なく立体視画像の視聴を行う際に傾きセンサを装着できる。さらに、立体視画像の視聴時に傾きセンサの装着を忘れることがない。
【００３０】
前記立体視用眼鏡は送信部を備え、前記傾きセンサは加速度情報または傾きベクトル情報を受信部を備えたテレビあるいはゲーム機あるいはパーソナルコンピュータに送信する。
【００３１】
これにより、視聴者を拘束することなく、画像処理等を行うテレビあるいはゲーム機あるいはパーソナルコンピュータに傾きセンサの情報を伝達することができる。
【００３２】
画像を表示する画面部を備え、前記左右眼球水平差分量検出部は前記傾きセンサにより測定された前記視聴者の頭部の傾き情報を用いて、前記画面部の表面の平面と前記視聴者の両目を結んだ線との角度を求め、前記視聴者の左右の眼球間距離の値を補正する。
【００３３】
これにより視聴者の姿勢のみでなく、画面に対する顔面の向きによる、撮像時の量が視差と視聴時の両目視差の違いに対しても補正を行い、視聴者の顔面の画面に対する角度にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００３４】
画像を焦点範囲とそれ以外とに分割する画像分割部を備え、前記補正量決定部は前記焦点範囲の前記奥行き情報に基づいて前記画像蓄積部で蓄積されている画像の補正量を決定する。
【００３５】
これにより奥行きによって補正量が異なる場合でも、視聴者が注視する焦点範囲の補正を正しく行うことができ、視聴者の注視する範囲で適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００３６】
前記焦点範囲は画像の中心部を含む。
【００３７】
これにより、視聴者が注視する画面の中心部を焦点範囲とすることができ、補正を正しく行うことができる。
【００３８】
前記焦点範囲は画像中の奥行きの最も小さい部分を含む。
【００３９】
これにより、視聴者が注視する画面の中心部を焦点範囲とすることができ、補正を正しく行うことができる。
【００４０】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部であって、左目用視点と右目用視点の中点を中心とし、左目用視点と右目用視点の間の距離を直径とする円周上に、円の中心に対して点対象に配置した２視点からの画像を対にして蓄積し、前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサで測定した前記視聴者の頭部の傾きに基づいて、前記画像蓄積部で蓄積されている画像を選択する画像選択部とを備える。
【００４１】
これにより、補正計算なしに撮像時に生成された両目の視差の方向と視聴時の視聴者の頭部の傾きすなわち、両目を結んだ直線の方向とをすばやく合致させることができ、視聴者の姿勢にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。また、処理時間が短いため、速い姿勢の変動にも追随できる。
【００４２】
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備え、前記画像選択部で選択部で選択された前記画像蓄積部で蓄積されている画像を前記画像処理部で補正する。
【００４３】
これにより、視聴者の両目を結ぶ直線の傾きにより近い傾きで撮像された画像から補正を行うことができ、補正量が少なくなり、画像処理による画像の劣化を抑えて適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【発明の効果】
【００４４】
本発明の画像表示装置によれば、頭部を傾けて視聴する場合において、視聴者の感じる疲労又は映像酔いを起こす可能性を低減することができる。すなわち、視聴者は、寝転がる又はもたれるなどの自由な姿勢で、立体視映像を楽しむことができる。
【図面の簡単な説明】
【００４５】
【図１】目の位置とディスプレイ表面での対象物の画像の位置と対象物の仮想位置との関係を説明する模式図。
【図２Ａ】視聴者が頭部を傾けて立体視を行う際に見られる左右の目で逆方向の目の動きの模式図。
【図２Ｂ】視聴者が正立した状態で立体画像を視聴した際の左右眼球の視点の動きを示す図。
【図２Ｃ】目の動きを示す目電位の一例を示すグラフと模式図。
【図３Ａ】実施の形態１における画像表示装置の構成の一例を示すブロック図。
【図３Ｂ】視聴者が画像表示システムを利用している様子を示す図。
【図３Ｃ】画像表示装置を示す図。
【図３Ｄ】３次元眼鏡を装着した視聴者を示す図。
【図４】実施の形態１における画像表示装置を構成する立体視用アクティブシャッタつき眼鏡の一例を示す模式図。
【図５】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図６】実施の形態１における両目の垂直方向と水平方向のずれ量の求め方の一例を示す模式図。
【図７】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図８Ａ】仮想位置と仮想カメラ位置とを説明する図。
【図８Ｂ】実施の形態１における視聴者が頭部を傾けて立体視を行う際の視聴者が注視している対象物の仮想位置と補正方向と補正量の関係を示す模式図。
【図９】実施の形態１における奥行き情報の一例を示す模式図。
【図１０】実施の形態１における補正情報の一例を示す模式図。
【図１１】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図１２】実施の形態１にける画像表示装置の処理の流れの一例を示すフローチャート。
【図１３Ａ】実施の形態１における頭部傾き計測ステップの詳細な処理のながれの一例を示すフローチャート。
【図１３Ｂ】実施の形態１における頭部傾き計算での座標系を示した模式図。
【図１４】実施の形態１における眼球の垂直、水平のずれ量計算の詳細な処理の流れの一例を示すフローチャート。
【図１５】実施の形態１における画面平面に対する視聴者の顔面の角度の関係を説明する模式図。
【図１６】実施の形態１における領域分割ステップの詳細な処理のながれの一例を示すフローチャート。
【図１７】実施の形態１における補正量決定ステップの詳細な処理のながれの一例を示すフローチャート。
【図１８】実施の形態１における画像補正処理ステップの詳細な処理のながれの一例を示すフローチャート。
【図１９】実施の形態２における画像表示装置の構成の一例を示すブロック図。
【図２０】実施の形態２における画像データの一例を示す模式図。
【図２１Ａ】左右のカメラの位置が水平から傾いた画像の組を複数組一度に撮像するためのカメラシステムの一例を示す図。
【図２１Ｂ】左右のカメラの位置が水平から傾いた状態で撮像した左右の画像と視聴者の頭部の傾きが合致する場合に正常な立体視のための両目視差を実現できることを模式的に示した図。
【図２１Ｃ】実施の形態２における画像表示装置が蓄積する画像データを撮像するカメラシステムの一例を示す模式図とカメラの組により水平から傾いた方向の視差と視聴者の頭部の傾きの関係を説明する模式図。
【図２２】実施の形態２にける画像表示装置の処理の流れの一例を示すフローチャート。
【図２３】実施の形態３における画像表示装置の構成の一例を示すブロック図。
【図２４】実施の形態３における奥行き情報の一例を示す模式図。
【図２５】実施の形態２にける画像表示装置の処理の流れの一例を示すフローチャート。
【図２６Ａ】実施の形態４における画像表示システムの構成の一例を示すブロック図。
【図２６Ｂ】実施の形態４における画像表示装置と３Ｄ眼鏡の間の通信手順を説明する図。
【図２７】実施の形態４における３Ｄ眼鏡から画像表示装置へ送信されるデータの形式の一例を示した図。
【図２８】実施の形態４における画像表示装置から３Ｄ眼鏡へ送信されるデータの形式の一例を示した図。
【図２９】実施の形態４における画像表示システムにおいて３Ｄ眼鏡が複数ある場合の構成の一例を示すブロック図。
【図３０】実施の形態４における画像表示システムにおいて画像表示装置からそれぞれの３Ｄ眼鏡へ送信されるデータの形式の一例を示す図。
【図３１】画像表示システムのハードウェア構成を示す図。
【発明を実施するための形態】
【００４６】
本願発明者らは、実験により、視聴者が頭を傾けて立体視を行う際に、左目及び右目が異なる上下の動きをするという新たな知見を明らかにした。従来、左目が上に動く時は、右目も上に動くと考えられてきた。しかし、本願発明者らは、視聴者が頭を傾けて立体視する際又は画像自体が傾いている際、視聴者の目は傾きによって生じた縦ずれを修正する方向に動くことを見出した。すなわち、頭を傾けたことにより下に位置する目は上向きに動き、上に位置する目は下向きに動く。
【００４７】
図２Ａは、視聴者が頭を傾けた場合に生じる頭の縦方向のずれに対して視聴者の目が動く方向を模式的に示す。
【００４８】
図２Ｂは、右に１０度回転させて表示した立体画像を、視聴者が正立した状態で、視聴した際の左右眼球の視点の動きを示す。図２Ｂは、視線検出装置で、視聴者の視点の動きを検出した結果である。
【００４９】
図２Ｃは、視線検出装置の概略図と視線検出に用いる目の映像の例を示す。
【００５０】
視線検出装置は、視聴者の眼球に向けて近赤外線を照射し、角膜表面での反射光と瞳孔中心位置を画像処理により求める。それらの相対位置の関係を利用することで、視線を検出する。
【００５１】
視線位置が変わると反射光の位置は変わらないが、瞳孔中心位置が変わる。この両者の相対位置関係の変化を利用して、左右の視線を独立に検出する。
【００５２】
図２Ｂに、４つの動きを示す。図２Ｂ（ａ）に、画像の傾きがなく、視聴者の両目を結ぶ線と立体画像の水平軸すなわち視差の方向が一致している際の水平方向の視線の動きを示す。図２Ｂ（ｂ）に、垂直方向の視線の動きを示す。図２Ｂ（ｃ）に画像が視聴者から見て右周りに１０度回転し、視聴者の両目を結ぶ線と立体画像の水平軸が１０度ずれた条件での水平方向の視線の動きを示す。図２Ｂ（ｄ）に、垂直方向の視線の動きを示す。
【００５３】
図２Ｂ（ａ）−（ｄ）の縦軸はディスプレイ上位置に換算された視線の相対移動量である。図２Ｃのディスプレイの表示サイズを１とする。すなわち、水平方向の移動量はディスプレイの横幅を１とした比で表され、垂直方向の移動量はディスプレイの高さを１とした比で表される。何も出力されていない暗い画面を見ている状態（ターゲットなし）での視線位置の平均を０とする。
【００５４】
図２Ｂ（ａ）及び（ｃ）においては、左方向への移動が負の値、右方向への移動が正の値として示されている。
【００５５】
図２Ｂ（ｂ）及び（ｄ）においては、上方向への移動が負の値、下方向への移動が正の値として示されている。図２Ｂの横軸は時間を表しており、単位は秒である。約１７ｍｓごとに測定された左目の視線を○で示し、右目の視線を×で示している。
【００５６】
データは４０代女性のデータである。ディスプレイは視聴者顔面から９０ｃｍの位置に配置した。黒の背景に白抜きの十字図形をターゲットとして提示した。ターゲットは視聴者正面に提示され、立体画像として、図形の奥行きがディスプレイ面より奥３０ｃｍ、１０ｃｍ、ディスプレイ面より手前１０ｃｍ、３０ｃｍ、５０ｃｍ、７０ｃｍとなるように視差を調節した。ターゲットなしの画面を５秒提示した後、上記の順で各奥行き設定の画面を５秒ずつ提示した。
【００５７】
図２Ｂ（ａ）では、ディスプレイより奥のターゲットに対しては右目が右(負側)を、左目が左(正側)を見ている。ディスプレイより手前のターゲットに対しては右目が左(負側)を、左目が右（正側）を見ている。
【００５８】
図２Ｂ（ｂ）では、ターゲットが提示されている間は、奥行きにかかわらず両目の垂直方向の位置は一定である。
【００５９】
画面の水平軸と視聴者の両目を結んだ線とが平行でない場合は、図２（ｃ）に示した水平方向の視線は図２（ａ）の傾きがない場合に比べて移動量が減っている。
【００６０】
図２Ｂ（ｄ）に示した垂直方向の視線はディスプレイより奥ではわずかに右目が下（正側）を、左目が上（負側）を見ており、ディスプレイより手前では右目が上を、左目が下を見ている。
【００６１】
ただし、ディスプレイの手前７０ｃｍでは左目の視線は右目と同様の位置を見ている。これはディスプレイの手前７０ｃｍの条件では左右画像の融像ができなかった（視聴者内観報告）ことと合致している。この実験により、視聴者が頭を傾ける等、画面の水平軸と視聴者の両目を結んだ線とが平行でない場合には、実空間あるいは平面画像を見る際には起こらない上下逆向きの目の動きが起こることが示された。これにより、頭を傾けて立体画像を視聴することの負荷が非常に高いことが示された。
【００６２】
（実施の形態１）
図３Ａは、本実施の形態による画像表示システム１の構成図である。
【００６３】
画像表示システム１は、３次元眼鏡４００と、左右眼球水平差分量検出部１２０と、画像蓄積部１３０と、情報記憶部１４０と、補正量決定部１５０と、画像処理部１６０と、画像提示部１７０とを備えている。それぞれの構成要素は、有線又は無線により接続されており、相互に情報を送受信する。説明の便宜上、視聴者１００を記載している。
なお、画像表示システム１の３次元眼鏡４００を除いた構成を、画像表示装置１０１とも表記する。
【００６４】
３次元眼鏡４００は、傾きセンサ１１０と、右目画像遮蔽部４０１と、左目画像遮蔽部４０２と、信号受信部４０３とを備える。３次元眼鏡４００とは、３次元映像を視聴するために用いる眼鏡である。
【００６５】
図３Ｂに、視聴者１００が画像表示システム１を利用している様子を示す。
【００６６】
視聴者１００は、３次元眼鏡４００を装着し、画像提示部１７０に提示される画像を視聴する。画像提示部１７０は、３次元画像及び２次元画像のいずれも表示する。
【００６７】
図３Ｃ（ａ）及び（ｂ）は、図３Ｂに示す画像表示部１を拡大した図である。図３Ｃ（ａ）は、画像表示装置１０１を正面から見た図であり、図３Ｃ（ｂ）は、画像表示装置１０１を側面から見た図である。
【００６８】
本明細書において、画像提示部１７０に含まれる表示画面の上端を通る方向を、「画面の水平軸」とも表記する。画面の水平軸は、表示画面の横方向と平行な軸である。図３Ｃ（ａ）に示す点線Ａが画面の水平軸である。また、図３Ｃ（ｂ）に示す紙面に直交する軸が画面の水平軸である。画面の水平軸は、画像表示装置１０１が設置されている面と平行な軸としても良い。
【００６９】
画像提示部１７０に含まれる表示画面の側端を通る方向を、「画面の垂直軸」とも表記する。画面の垂直軸は、表示画面の縦方向と平行な軸である。図３Ｃ（ａ）及び（ｂ）に示す点線Ｂが画面の垂直軸である。画面の垂直軸は、重力方向としても良い。画面の垂直軸は、画像表示装置１０１が設置されている面と垂直な軸としても良い。
【００７０】
図３Ｄは、図３Ｂに示す３次元眼鏡４００を装着した視聴者１００を拡大した図である。本明細書において、視聴者１００の顎の先から頭部の頂点を結ぶ方向を、視聴者１００の頭部の上下軸とも表記する。頭部の上下軸は、正中線とも呼ばれる。正中線とは、
左右対称形の生物体で、前面・背面の中央を頭から縦にまっすぐ通る線である。
【００７１】
図３Ｄに示す点線は、上下軸と、視聴者１００の左目及び右目を結ぶ線とである。以下、視聴者１００の頭部の傾きは、上下軸、又は視聴者１００の左目及び右目を結ぶ線を用いて説明している。
【００７２】
視聴者１００の頭部が傾くことによって、上下軸と視聴者１００の左目及び右目を結ぶ線とは同様に傾く。例えば、重力方向等の基準に対する、上下軸又は視聴者１００の左目及び右目を結ぶ線の傾きにより、視聴者１００の頭部の傾きを取得できる。
【００７３】
以下、各構成要素について、説明する。
【００７４】
傾きセンサ１１０は、視聴者１００の頭部の傾きを測定する。図４に示すように、傾きセンサ１１０は、３次元眼鏡４００に形成されている。
【００７５】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の傾きの情報に基づいて、視聴者１００の左目及び右目を結ぶ線と、画面の水平軸と平行な軸との距離を計算する。
【００７６】
画像蓄積部１３０は、視聴者１００の左目に提示する画像と右目に提示する画像とを蓄積している。画像は、複数の領域を含んでいる。画像蓄積部１３０は、画像と、画像の領域毎の奥行き情報と対応付けて蓄積しても良い。
【００７７】
画像蓄積部１３０は、複数の画像を含む映像情報を蓄積する。映像情報の例は、映画又はＴＶ放送の番組である。画像蓄積部１３０は、放送波から映像情報を受信して、一時的に蓄積しても良い。
【００７８】
奥行き情報記憶部１４０は、画像の奥行き情報を記憶する。画像蓄積部１３０が画像と奥行き情報と対応付けて蓄積している場合は、奥行き情報記憶部１４０から取得した奥行き情報を記憶する。
【００７９】
補正量決定部１５０は、左右眼球水平差分量検出部１２０で求められた左目及び右目の垂直方向の距離と、奥行き情報記憶部１４０に記憶された画像の奥行き情報とに従って、提示する画像の補正方向と補正量とを決定する。
【００８０】
画像処理部１６０は、補正量決定部１５０で決定された補正方向と補正量とにしたがって、画像蓄積部１３０に蓄積された画像を補正する。
【００８１】
画像提示部１７０は、画像処理部１６０で処理された画像を表示する。画像提示部１７０は、ディスプレイ等の表示画面を含む。
【００８２】
信号受信部４０３は、画像提示部１７０が右目に提示する画像及び左目に提示する画像を表示するタイミングを、画像表示装置１０１から受け付ける。例えば、画像表示装置１０１に含まれる画像提示部１７０から受け付ける。タイミングとは、提示する時刻でも良いし、提示するまでの時間等でも良い。
【００８３】
左目画像遮蔽部４０１は、右目に提示する画像が提示されるタイミングにおいて、左目が画像を見えないように遮蔽する。一方、右目画像遮蔽部４０２は、左目に提示する画像が提示されるタイミングにおいて、右目が画像を見えないように遮蔽する。左目画像遮蔽部４０１及び右目画像遮蔽部４０２は、例えば、液晶シャッター等により構成される。
【００８４】
図３１は、画像表示装置１０１のハードウェア構成を示す。画像表示装置１０１は、ＣＰＵ３０と、メモリ３１とを備えている。ＣＰＵ３０と、メモリ３１とは、互いにバス３４で接続されており、相互に情報を送受信する。
【００８５】
ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。左右眼球水平差分量検出部１２０と、補正量決定部１５０と、画像処理部１６０とは、ＣＰＵ３０とメモリ３１で構成される。画像蓄積部１３０と奥行き情報記憶部１４０とは、メモリ３１で構成される。メモリ３１は、一次記録装置又は二次記録装置でも良い。
【００８６】
複数のＣＰＵ３０及び複数のメモリ３１で構成されても良い。具体的には、左右眼球水平差分量検出部１２０、補正量決定部１５０、及び画像処理部１６０がそれぞれ異なるＣＰＵ３０で構成され、画像蓄積部１３０及び奥行き情報記憶部１４０がそれぞれ異なるメモリ３１で構成されても良い。
【００８７】
図５は、画像表示システム１に含まれる傾きセンサ１１０の詳細な構成を示す。傾きセンサ１１０は、ジャイロセンサ１１１と、傾き計算部１１２と、送信部１１３とを備える。
【００８８】
ジャイロセンサ１１１は、視聴者１００の頭部の角速度を計測する。
【００８９】
傾き計算部１１２は、ジャイロセンサ１１１から出力された加速度情報から視聴者の頭部の上下軸の傾きを計算する。
【００９０】
送信部１１３は、傾き計算部１１２で計算された頭部の傾きの情報を、無線、赤外線、又は光通信を用いて、画像表示装置１０１に送信する。送信部１１３は、例えば、左右眼球水平差分量検出部１２０に、頭部の傾きの情報を送信する。
【００９１】
傾き計算部１１２は、例えば、製造時、出荷時、又は販売時に、眼鏡の左右のレンズが水平である場合に、重力加速度方向を傾き−９０度、かつ、重力加速度方向と逆向きを傾き９０度として調整する。
【００９２】
本実施の形態１では、視聴者１００が３次元眼鏡４００を正しくかけた場合に、眼鏡の水平軸が、視聴者１００の両目を結んだ直線と平行になると仮定する。３次元眼鏡４００の装着によるずれ又は傾きは無視しうる。
【００９３】
図６は、画面平面の垂直軸方向に対して、視聴者１００の右目と左目との距離の計算方法を示す。
【００９４】
左右眼球水平差分量検出部１２０は、視聴者１００の右目と左目との距離の情報を予め保持する。左右眼球水平差分量検出部１２０は、傾きセンサ１１２で計算した視聴者１００の頭部の傾きの情報（θ）を受け付ける。視聴者１００の右目と左目との距離の情報は、例えば、両目の瞳孔中心の間の距離（ｗ）である。
【００９５】
左右眼球水平差分量検出部１２０は、視聴者の頭部の傾きに基づいて、画面平面の垂直軸方向において視聴者１００の右目と左目との距離を計算する。図６に示すように、画面平面の垂直軸方向において視聴者１００の右目と左目との距離は、ｗｓｉｎθである。
【００９６】
図７は、補正量決定部１５０の詳細な構成を示す。補正量決定部１５０は、焦点対象範囲決定部１５１と、補正領域分割部１５３と、補正量計算部１５２とを備える。
【００９７】
焦点対象範囲決定部１５１は、奥行き情報記憶部１４０に記憶された奥行き情報に従って、焦点対象物の候補が提示されている画像範囲を決定する。
【００９８】
「焦点対象物」とは、画像中の視聴者１００が注視する対象物を指す。焦点対象物は、画面の中心にある対象物、又は、最も手前に見える対象物である。ここでは、画像中の最も手前、すなわち仮想位置が視聴者に近い位置に設定されている対象物を焦点対象物とする。
【００９９】
図８Ａ（ａ）及び（ｂ）に、仮想位置と仮想カメラ位置と位置関係を示す。視聴者１００を上面から見た図である。図８Ａ（ａ）において、表示画面より視聴者１００に近づいた位置に対象物８０がある。これは、視聴者１００は、表示画面から飛び出している対象物８０が見えていることを意味する。図８Ａ（ｂ）において、表示画面より視聴者１００に遠い位置に対象物８０がある。これは、視聴者１００は、表示画面より奥に対象物８０が見えていることを意味する。
【０１００】
本明細書では、対象物８０の位置を「仮想位置」と表記する。視聴者１００の目の位置を「仮想カメラ位置」と表記する。
【０１０１】
補正領域分割部１５３は、画面の全体を複数の領域に分割する。
【０１０２】
補正量計算部１５２は、左右眼球水平差分量検出部１２０で計算された両目の垂直軸方向の距離と焦点対象範囲の奥行き情報に基づいて焦点対象範囲の垂直方向の補正量を計算する。
【０１０３】
図８Ｂは、補正量の計算方法を模式的に示す。
【０１０４】
補正量決定部１５０は、左右眼球推定差分量検出部１２０で検出された両目の垂直方向の距離に基づいて、焦点対象物の表示位置の補正量を計算する。
【０１０５】
このとき、両目の視野中で視聴者の頭の上下軸の上で同じ高さに焦点対象物が提示されるには、画面表示位置を垂直にずらすことで、両目の垂直方向のずれ分を補償する必要がある。
【０１０６】
焦点対象物の仮想位置が画面より視聴者１００に近い位置である場合には、視聴者１００の左右の目の高さの位置関係とは逆方向に画面上の焦点対象部物を移動することで補正する。
【０１０７】
焦点対象物の仮想位置が画面より奥、すなわち画面より視聴者から遠い位置にある場合には、視聴者の左右の目の垂直方向の位置関係と同じ方向に画面上の焦点対象物を移動することで補正する。
【０１０８】
焦点対象物の補正量の計算は、両目の瞳孔中心の間の距離をｗとすると図５に示したように垂直方向の両目間の距離はｗｓｉｎθとなる。
【０１０９】
画面から視聴者の両目の中点までの距離をＬとし、視聴者の顔面から立体画像で表示される焦点対象物の仮想位置までの距離をｄとする。このとき補正量δはδ＝ｗｓｉｎθ（Ｌ−ｄ）／ｄで表される。
【０１１０】
図９（ａ）に、奥行き情報記憶部１４０が記憶する奥行き情報の一例を示す。画面を領域に分割し、撮像時のカメラ位置または想定カメラ位置から領域内の被写体までの距離情報が記憶されている。これはカメラ位置と視聴者の目の位置が同じとして、図８（ｄ）にあたる。図９（ａ）の例では、画面から２．７ｍ（２７００ｍｍ）の位置を想定カメラ位置としている。画面から３ｍはなれた場所にいる視聴者１００が、映像を視聴していることを想定している。
【０１１１】
画面の高さ対する３倍離れた位置で、視聴者は画面に表示された映像を視聴するのが良いとされている。
【０１１２】
図９（ａ）は、１６：９の横と縦の比を有し、その縦の長さが約９０ｃｍである、７０インチの大きさを有する画面の例である。これより小さい画面あるいは大きい画面においては、その画面サイズに合わせて、奥行き情報が記憶されている。
【０１１３】
図９（ａ）では、画面を１６の領域に分割している。しかし、さらに細かく分割しても、あるいは１ピクセルごとに奥行き情報を蓄積してよい。
【０１１４】
奥行き情報は、例えば、画面上の位置を特定するインデックスと、領域内のカメラに近い点におけるカメラ位置から被写体までの距離と、表示画面平面からの相対位置とを含む。
【０１１５】
表示画面に平行な平面からの相対位置は、表示画面に平行な平面の位置を０として、視聴者から遠ざかる方向を正、視聴者に近づく方向を負の数値で表す。表示画面に平行な平面を、「表示画面平面」とも表記する。図８に示すＬ−ｄが相対位置の例である。
【０１１６】
領域内の距離の代表値は、領域内のカメラ位置から被写体までの距離の平均、中央値、最頻値でもよい。また領域内の最もカメラから遠い点におけるカメラ位置からの被写体までの距離としてもよい。
【０１１７】
焦点対象範囲決定部１５１は、図９に示された距離情報を用いて、最も奥行きすなわち視聴者からの距離が小さい領域２１及び領域３１を、焦点対象範囲として決定する。補正量計算部１５２は、焦点対象範囲決定部１５１が決定した焦点範囲である領域２１及び領域３１に対する補正量と、それ以外の領域に対する補正量とを決定する。
【０１１８】
図１０は、補正計算部１５２が出力する補正量情報の一例を示す。画面を領域に分割し、焦点対象範囲として決定された領域とその領域に対応する補正量が補正量計算部１５２より出力される。
【０１１９】
図１０に示す値は、視聴者の両目を結んだ線は画面平面に対して平行であり、画面の水平軸に対して１０度の傾きがある場合の値である。
【０１２０】
図１０は、補正計算部１５２が出力した値を、図９に示した奥行き情報記憶部１４０の領域分割に従って示す。奥行き情報の領域分割がより細かい場合には、奥行き情報の勾配に従って、領域分割しても良い。例えば、同様の奥行きを持つ領域をまとめて、新たな領域分割の境界を設定する。
【０１２１】
図１０は、焦点対象範囲である領域２１及び領域３１に、同一の補正量を設定している。垂直方向と水平方向の補正量は領域２１の奥行き情報に基づいて計算された値を適用する。図１０では、垂直方向の補正量を２２．５７ｍｍとし、水平方向の補正量を１．９７ｍｍとする。
【０１２２】
それ以外の領域については水平方向の補正量は１ｍｍより小さく２．７ｍ離れて見る視聴者への影響が小さいため０ｍｍとする。領域１１と領域２２は表示内容が、表示画面より視聴者に近い位置にあり、領域２１と領域３１についで奥行きが小さく、補正量が大きい。そこで、領域１１、領域１２と領域２２とを１つにまとめ、垂直方向の補正量はより奥行きの小さい領域１１の奥行き情報に基づいて計算された値を適用する。例えば、最も小さい奥行き量から所定の範囲内の奥行き量を有する領域を１つにまとめる。
【０１２３】
表示内容までの距離が表示画面より遠い場合、遠ければ遠いほど画像位置のずれは計算上大きくなるが、実際には表示画面より遠い対象物におけるずれの影響は小さいことが知られている。そこで距離情報が無限遠となっている領域００、領域０１、領域０３では視聴者からの距離３７００ｍｍすなわち表示画面の後方約１ｍの位置の補正量にあわせて垂直方向の補正量を３ｍｍとする。上記以外の領域は表示画面の前後１ｍ程度であり、これらの領域のずれ量は比較的小さいため、垂直補正値、水平補正値とも０ｍｍとする。
【０１２４】
なお、図９（ａ）に示す数値は一例であるので、これ以外の数値でもよい。焦点対象範囲とそれ以外に分割して補正値を決定するとしてもよい。また、焦点対象範囲の表示内容が表示画面より視聴者に近い位置にある場合は、領域を、焦点対象範囲と、焦点対象範囲以外で表示内容が表示画面より視聴者に近い位置にある領域と、表示内容が表示画面より視聴者から遠い位置にある領域との３つに分割して補正値を決定するとしてもよい。所定の基準により、表示画面の全領域を３つの領域に分割する。例えば、それぞれの領域に関する所定の割合に基づいて、
この場合、焦点対象範囲の表示内容が表示画面より視聴者から遠い位置にある場合には、焦点対象範囲とそれ以外の２つの領域に分割して補正値を決定する。
【０１２５】
なお、ここでは焦点対象範囲を表示内容が視聴者に最も近い位置にある領域としたが、焦点対象範囲を画面の中心部とした場合には、焦点対象範囲として取り扱う領域の広さを、表示内容の位置の分布より調節するとしてもよい。中心からの距離と表示内容の位置の分布とに従って領域を分割して補正値を決定するとしてもよい。
【０１２６】
図１１は、本実施の形態による画像表示システム１の詳細な構成を示す構成図の一部である。画像処理部１６０は、画像蓄積部１３０に蓄積された画像に対して、補正量決定部１５０から出力された補正量情報に基づき、各領域の表示位置を補正する領域補正処理部１６１と、領域ごとに異なる補正量による表示位置の補正により発生した領域境界の空白部とその周辺に対して補間処理を行う境界領域処理部１６２により構成される。
【０１２７】
図１２は、本実施の形態の画像表示システム１の処理手順を示すフローチャートである。図１３Ａ、図１４は画像表示システム１の処理手順の一部を詳細に示したものである。以下処理手順を図１１から図１３Ａに従って説明する。
【０１２８】
画像表示システム１に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。入力部は例えば視聴者が入力するボタン等である。画像表示指示信号は、例えば視聴者が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０１２９】
画像表示システム１の図示しない制御部は、画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。制御部が、画像表示終了信号の入力があると確認した場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において、制御部が、画像表示終了信号の入力がないと確認した場合、ステップＳ１０３０に進む。
【０１３０】
傾きセンサ１１０が、視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については後述する。
【０１３１】
左右眼球水平差分量検出部１２０は、所定の基準を用いて、視聴者１００の頭部が傾いているか否かを判断する（Ｓ１０４０）。例えば、所定の基準を５度とする。視聴者１００の頭部が、視聴者１００の両目を結ぶ直線が水平面から５度以上傾いている場合に、視聴者１００の頭部が傾いていると判断する。所定の基準は、所定の閾値のみではなく、所定の範囲でも良い。
【０１３２】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の傾きの情報を用いて、左右眼球の垂直方向と水平方向とのずれ量を計算する（Ｓ１０５０）。ずれ量の計算手順については後述する。
【０１３３】
補正量決定部１５０は、同一の補正処理を施す１つ以上の領域を決定する。補正量決定部１５０は、決定した領域を分割する（Ｓ１０６０）。補正量決定部１５０は、分割した領域ごとの補正量を決定する（Ｓ１０７０）。領域分割の方法と補正量の決定方法は後述する。
【０１３４】
画像処理部１６０は、ステップＳ１０７０で決定された領域ごとの補正量に基づいて画像の補正処理を行う（Ｓ１０８０）。画像の補正方法については後述する。
【０１３５】
画像提示部１７０は、ステップＳ１０８０で補正処理された画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０１３６】
図１３Ａに、ステップＳ１０３０の詳細な処理を示す。
【０１３７】
ジャイロセンサ１１１は、左目用と右目用の画像を分離するための眼鏡４００にかかっている加速度を計測する（Ｓ１０３１）。加速度は、例えば眼鏡４００のシャッタ面を構成する垂直の上下２軸と、水平の左右２軸と、さらにシャッタ面に直交する水平平面上で奥行き方向の２軸との、合わせて６軸の加速度を計測する。例えば、５０ｍｓ毎に１回計測する。
【０１３８】
傾き計算部１１２は、ジャイロセンサ１１１で計測された加速度を蓄積する。例えば、１０回分（０．５秒間）の各軸の加速度を、傾き計算部１１２が有する蓄積部に蓄積する。
【０１３９】
傾き計算部１１２は、０．５秒間の６軸それぞれに加えられた加速度の変動を求める。傾き計算部１１２は、所定の基準を用いて、変動が大きいか否かを判断する（Ｓ１０３２）。変動は、例えば加速度の分散、標準偏差または最大値と最小値の差分等である。
【０１４０】
本実施の形態では変動を示す値としてシャッタ面を構成する垂直の上下２軸における加速度を、上を正、下を負としてまとめ、標準偏差を計算する。例えばシャッタ面上下軸で、０．５秒間で計測された加速度の標準偏差が０．５Ｇを超える場合は変動が大きいと判断する。
【０１４１】
ステップＳ１０３２で変動が大きいと判断された場合は、ステップＳ１０３１に戻りジャイロセンサ１１１は、再度加速度を計測する。ステップＳ１０３２で変動が大きくないと判断された場合は、ステップＳ１０３３に進む。変動が大きくない場合、視聴者１００の頭部の傾きが計算できる。
【０１４２】
傾き計算部１１２は、６軸それぞれに加えられた加速度から重力加速度のベクトルを合成する（Ｓ１０３３）。頭部にかかる加速度は、重力加速度と運動による加速度の２つである。計測される加速度は重力加速度と運動による加速度の合成ベクトルを６軸に分解される。激しい運動が行われていない場合、運動加速度は小さく、重力加速度１Ｇに対して無視できる。そこで、６軸の合成ベクトルを重力加速度ベクトルとする。
【０１４３】
このベクトル方向が鉛直方向である。傾き計算部１１２は、Ｓ１０３３で合成された重力加速度ベクトルと、眼鏡４００のｘ軸、ｙ軸、ｚ軸との角度ωｘ、ωｙ、ωｚを求める（Ｓ１０３４）。
【０１４４】
図１３Ｂ（ａ）及び（ｂ）に、ジャイロセンサ１１１の計測座標系及び重力加速度を基準として、計測されるユーザの頭部の傾きを模式的に示す。図１３Ｂ（ａ）は、視聴者１００を正面から見た図である。
【０１４５】
６軸に含まれるｘ軸は、眼鏡４００のシャッタ面上の水平軸である。例えば、図１３Ｂ（ａ）に示す視聴者１００の右側（左目側）を正、視聴者１００の左側（右目側）を負とする。
【０１４６】
６軸に含まれるｙ軸は、シャッタ面上の垂直軸である。例えば、視聴者１００の頭部の上側（頭頂側）を正、視聴者１００の下側（あご側）を負とする。
【０１４７】
６軸に含まれるｚ軸は、シャッタ面と直交する軸である。シャッタ面と直交する軸とは、視聴者１００の身体の前後方向の軸である。例えば、視聴者１００の前側を正、視聴者１００の後ろ側を負とする。
【０１４８】
図１３Ｂ（ａ）に、視聴者１００の頭部が真っ直ぐ立っている状態を示す。図１３Ｂ（ａ）に示す場合、重力加速度によりｙ軸方向に、１Ｇの力が働く。ｘ軸及びｚ軸方向には、重力加速度により力が働かない。
【０１４９】
図１３Ｂ（ｂ）に、視聴者１００の頭部が傾く状態を示す。図１３Ｂ（ｂ）に示す場合、視聴者１００の頭部の傾きにより眼鏡が傾くと、眼鏡４００に固定されたジャイロセンサ１１１の計測軸が傾く。
【０１５０】
重力加速度は一定であるため、傾いた計測軸と重力加速度との角度ができる。傾き計算部１１２は、重力加速度ベクトルと計測軸のｘ軸、ｙ軸、ｚ軸との角度ωｘ、ωｙ、ωｚを求め、左右眼球水平差分量検出部１２０に出力する。
【０１５１】
図１４に、ステップＳ１０５０の詳細な処理を示す。
【０１５２】
左右眼球水平差分量検出部１２０は、傾き計算部１１２より出力された視聴者の頭部の角度が表示画面に対して平行かどうかを判断する（Ｓ１０５１）。具体的には、視聴者１００の両目を結んだ線と、表示画面に平行な面との角度が平行か否かを判断する。視聴者１００の頭部が表示画面に対して平行な場合、視聴者１００の頭部が表示画面に対して正面を向いているとみなせる。
【０１５３】
視聴者１００が映像を視聴している際、通常、表示画面に対して視聴者１００の頭部は正面を向いている。視聴者１００が座っている椅子の配置、又は視聴者１００の姿勢によって、表示画面に対して視聴者１００の頭部が正面を向いていない場合がある。この場合は、表示画面に平行な平面から見た視聴者１００の右目及び左目との距離は小さくなるため、右目と左目との間の距離補正を行う。
【０１５４】
ただし、以下の場合には、表示画面に対して視聴者１００の頭部が正面を向いていない場合でも、視聴者１００の両目間の距離を補正する必要が無い。例えば、視聴者１００が表示画面に対して下を向いているとき、視聴者１００が表示画面に対して上を向いている場合、視聴者１００が表示画面を全く見ていない場合がある。また、視聴者１００が表示画面を見ている場合でも、視聴者１００が伏目になっている場合がある。この場合は、両目が視聴者１００の顎に近づいている。しかし、表示画面に平行な面から見た両目の距離は変わらない。視聴者１００が上目遣いになっている場合も同様である。
【０１５５】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の前後方向の傾きωｚが所定の基準を満たすか否かを判断する。例えば、所定の基準は、１０度以上である。又は、所定の基準は、１０度から３０度の範囲である。
【０１５６】
傾きωｚが１０度以上である場合は、左右眼球水平差分量検出部１２０は、視聴者１００の左右の眼球の間の距離を補正する（Ｓ１０５２）。
【０１５７】
図１５に、表示画面と視聴者１００の眼球とを上面から見た様子を示す。図１５に示すように、表示画面に平行な面（１５００）と、視聴者１００の右目及び左目を結んだ線（１５０１）とが平行ではない。この場合、表示画面に平行な面と、視聴者１００の両目を結んだ線とがなす角がωｚである。よって、視聴者１００の右目及び左目の距離はｗｃｏｓωｚとなる。
【０１５８】
ｗ＝６．５ｃｍの場合、視聴者１００の右目及び左目の距離は６．５×ｃｏｓωｚ（ｃｍ）である。例えば、ωｚが１０度の場合の視聴者１００の右目及び左目の距離は、ωｚが０度の場合の視聴者１００の右目及び左目の距離と比べて、約１．５％短い６．４ｃｍとなる。
【０１５９】
ωｚが１０度以上である場合、視聴者１００の右目及び左目の距離をｗｃｏｓωｚに補正する。ステップＳ１０５１においてωｚが１０度未満であれば、両目間距離の補正を行わず、ステップＳ１０５２へ進む。ステップＳ１０５２では、（表示画面と平行な面において、両目の位置が画面の水平方向、垂直方向からずれる距離を求める（Ｓ１０５３）。
【０１６０】
図６に示すように、画面垂直方向の左右の目の位置の差は両目の距離のｓｉｎωｘ倍すなわちｗｓｉｎωｘである。画面水平方向の左右の目の位置の差はｗ（１−ｃｏｓωｘ）となる。ステップＳ１０５１でωｚが１０度以上であった場合は、垂直軸上の左右眼球の距離はｗｃｏｓωｚ・ｓｉｎωｘとなる。水平方向の左右の目の位置の差はｗｃｏｓωｚ（１−ｃｏｓωｘ）となる。
【０１６１】
図１６に、ステップＳ１０６０とステップＳ１０７０の詳細な処理を示す。
【０１６２】
焦点対象範囲決定部１５１は、奥行き情報記憶部１４０に記憶された奥行き情報に基づき、処理時点の映像中にある被写体のうち、仮想位置が最も視聴者に近い被写体が占める画面上の領域を焦点領域として決定する（Ｓ１０６１）。
【０１６３】
補正領域分割部１５３は、各領域内の被写体の仮想位置に従って、前方補正領域と後方補正領域とに映像領域を分割する（Ｓ１０６３）。
【０１６４】
補正領域分割部１５３が、表示画面の全領域のうち、焦点領域以外の領域を、前方補正領域又は後方補正領域と決定する（Ｓ１０６２）。
【０１６５】
所定の基準より小さい飛び出し量を有する領域を、前方補正領域と決定する。例えば、所定の基準は、１ｍ未満である。
【０１６６】
所定の基準以上の飛び出し量を有する領域を、後方補正領域と決定する。例えば、所定の基準は、１ｍ以上である。
【０１６７】
補正領域分割部１５３は、ステップＳ１０６１で決定した焦点領域を補正領域と決定する。表示画面の全領域のうち、焦点領域以外の領域（前方補正領域及び後方補正領域）を、非補正領域と決定する。非補正領域に存在する物体の仮想位置は、補正領域に存在する物体のより、表示画面に近いため、補正しない。
【０１６８】
非補正領域は仮想位置が表示画面平面から視聴者側へ１ｍ飛び出した位置から表示画面より１ｍ視聴者から遠ざかった位置までの領域である。
【０１６９】
図９（ａ）に示す例では、非補正領域は、領域０２、１０、１２、１３、２０、２３、３０、３２、３３である。
【０１７０】
本実施の形態では、表示画面からの飛び出し１ｍ未満と遠ざかる位置１ｍ未満を非補正領域としたが、表示画面と視聴者１００との距離（例えば、２．７ｍ）にも基づいて決定してもよい。または、表示画面と視聴者１００との所定の距離の割合の位置の比で設定しても良い。具体的には、表示画面と対象物との距離、及び対象物と視聴者１００との距離の比である。
【０１７１】
奥行き情報記憶部１４０が、図９（ａ）に示すように、表示画面を１６個に分割した領域毎に、奥行き情報を保持している場合について説明する。図９（ｂ）に、各領域の奥行き情報の分布を示す。図９（ｂ）の縦軸は、領域の数であり、横軸は、奥行き量である。
【０１７２】
図９（ｂ）に示すように、２つの領域が有する５００ｍｍ以上１０００ｍｍ以下の奥行き量は、その他の領域が有する奥行き量に比べて小さい。小さい奥行き量を有する領域に存在する被写体は、その他の領域の被写体より仮想位置が視聴者に近い。
図９（ａ）の例では、領域２１及び領域３１の２つの領域を、焦点領域として決定する。小さい奥行き量を有する領域を抽出するために、奥行き量の分布を用いて行ったが、
奥行き情報記憶部１４０がより細かく分割した領域毎に奥行き量を有している場合には、最も小さい奥行き量を有する領域から順に所定の数の領域を、焦点領域と決定してもよい。所定の数ではなく、全ての領域の数に対する所定の割合としても良い。例えば、所定の割合を１０％とする。
【０１７３】
また、最も小さい奥行き量を有する領域に基づいて、全ての領域の数に対する所定の割合の領域を補正領域と決定してもよい。具体的には、最も小さい奥行き量を有する領域を決定し、最も小さい奥行き量を有する領域と隣り合う領域のうち、最も小さい奥行き量を有する領域を決定する。次に、決定した領域と隣り合う領域のうち、最も小さい奥行き量を有する領域を決定する。
【０１７４】
最も小さい奥行き量を有する領域と加えた領域との数が、所定の割合と一致するように、領域決定する。または、最も小さい奥行き量を有する領域と加えた領域の面積が、全領域の面積に対して所定の割合になるように、領域を決定する。決定した領域を、補正領域とする。
【０１７５】
また、最も小さい奥行き量を有する領域から、同じ輻輳角で融像可能な奥行き範囲（立体視の深度）に基づき、最も奥行きの小さい領域を注視した際の輻輳角で融像可能な奥行き範囲を焦点領域として決定するとしても良い。
【０１７６】
ステップＳ１０７０では、補正量計算部１５２は、Ｓ１０６１で決定した焦点領域である領域２１及び領域３１と、前方補正領域及び後方補正領域とに対する垂直と水平の補正量とを決定する。
【０１７７】
図１７に、ステップＳ１０７０の処理の詳細を示す。
【０１７８】
補正量計算部１５２は、焦点領域の補正量を決定するために、全ての焦点領域の奥行きの代表値を決定する（Ｓ１０７１）。
【０１７９】
図９に示す例では、領域２１の奥行き情報を、領域２１及び領域３１の奥行き情報の代表値とする。
【０１８０】
従って、より小さい奥行き量を有する領域にあわせて、補正する。本実施の形態の例では、最も奥行きの小さい領域の奥行き情報に合わせて、焦点領域の補正値を定めるとしたが、焦点領域の奥行き分布を作成して、奥行きの最頻値を用いて補正値を定めるとしても良い。また、焦点領域の奥行きの平均あるいは中央値を用いるとしても良い。
【０１８１】
補正量計算部１５２は、焦点領域の奥行きとして設定された領域２１の奥行きとステップＳ１０５０で求められた画面平面上での視聴者の両目の位置に対して、左右の画像の補正値を求める（Ｓ１０７２）。
【０１８２】
仮想カメラ位置、すなわち視聴者の眼球は、画面平面から２．７ｍの位置にあり、領域２１の奥行きは眼球位置から９００ｍｍ（図９中の代表値）である。よって、被写体の仮想位置は、画面平面より視聴者に近い。
【０１８３】
従って、垂直方向の補正値は、視聴者の目の上下位置とは反対の方向に行う。視聴者の頭部の傾きにより右目が左目より高い位置にある場合は右目用画像の垂直位置を下げ、左目用画像の垂直位置を上げる。ステップＳ１０５３で計算された頭部の傾き１０度に従って図１０中の領域２１と領域３１の垂直補正量２２．５７ｍｍ、水平補正量１．９７ｍｍを計算する。
【０１８４】
補正量計算部１５２は、前方補正領域の補正値を決定するための、奥行き情報の代表値を決定する（Ｓ１０７３）。前方補正領域は、領域１１と領域２２である。補正量計算部１５２は、領域２２の奥行き情報を、領域２２と領域１１との奥行き情報の代表値とする。仮想位置の代表値がより視聴者に近い領域の代表値を、前方補正領域の代表値とする。本実施の形態では最も奥行きの小さい領域の奥行き情報に合わせて、焦点領域の補正値を定めるものとしたが、焦点領域の奥行き分布を作成して、奥行きの最頻値を用いて補正値を定めるとしても良い。
【０１８５】
補正量計算部１５２は、前方補正領域の補正値を決定する（Ｓ１０７４）。ステップＳ１０７３で決定された代表値と、ステップＳ１０５３で計算された頭部の傾き１０度とに従って、領域１１及び領域２２の垂直補正量と水平補正量とを計算する。図１０に計算した結果を示す。領域１１及び領域２２の垂直補正量６．６３ｍｍ、水平補正量０．５８ｍｍである。
【０１８６】
水平補正量が１ｍｍに満たず、２．７ｍはなれた位置から視聴する際の影響が無視できるため水平補正量を０とする。ここでは１ｍｍ未満の補正量を０としたが、視聴者と画面との距離に応じて基準を調整するあるいは、視聴者と画面との標準距離に対する比で基準を決定するとしても良い。
【０１８７】
さらに補正量計算部１５２は後方補正領域の補正値を計算する（Ｓ１０７４）。後方補正領域は本実施の形態では仮想位置が画面から奥へ１ｍ以上離れた領域である。後方補正領域について、補正値は仮想位置が画面から奥へ１ｍの条件を固定して計算する。ステップＳ１０５３で計算された頭部の傾き１０度に基づき、図１０中の領域００、領域０１、領域０３の垂直補正量３．０ｍｍ、水平補正量０．２６ｍｍを計算する。水平補正量が１ｍｍに満たないため水平補正量は０とする。
【０１８８】
ステップＳ１０８０の動作について、図１８に従って詳細を説明する。領域補正処理部１６１は、後方補正領域を切り出す（Ｓ１０８１）。
【０１８９】
図１０の例では、ステップＳ１０６０で決定された後方補正領域は領域００、領域０１、領域０３である。例えば、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、右目用の画面が左目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９０】
図１０の例では当該領域の垂直補正量は３．０ｍｍ、水平補正量は０なので、左右の画像で１．５ｍｍずつ移動する。移動方向あるいは移動量の異なる他の領域との境界で、画像に隙間ができないよう、ステップＳ１０８１での領域の切り出しは、移動方向と反対向きに領域を移動量だけ拡張して切り出す。
【０１９１】
図１０の例では当該領域はいずれも画像の上端部分であり、当該領域より垂直方向の上の位置には画像データが存在しない。本実施の形態の例では垂直方向下向きの移動の際には領域を拡張できないが、垂直方向上向きの移動では移動量に相当する部分を垂直方向下向きに拡張して画像を切り出す。
【０１９２】
領域補正処理部１６１は、ステップＳ１０８１で切り出した右目用画像を垂直方向下向きに１．５ｍｍ移動し、ステップ１０８１で切り出した左目用画像を垂直方向上向きに１．５ｍｍ移動する（Ｓ１０８２）。この際、右目用画像では垂直方向下向きに隣接する領域と当該領域が重なる。重なり部分についての処理は後述する。また、左目用画像では領域の上辺１．５ｍｍは画面に提示されなくなる。
【０１９３】
さらに領域補正処理部１６１は、前方補正領域を切り出す（Ｓ１０８３）。後方補正領域と同様に移動方向と反対向きの領域を移動量だけ拡張して切り出す。
【０１９４】
図１０の例では前方補正領域は領域１１と領域２２である。当該領域の補正量は垂直補正値が６．６３ｍｍ、水平補正値が０である。前方補正領域では、被写体の仮想位置が画面平面より視聴者側にあるため、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、左目用の画面が右目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９５】
本実施の形態の例では右目用の画像については領域を垂直方向下向きに３．３１５ｍｍ拡張した範囲を切り出す。左目用の画像については領域を垂直上向きに３．３１５ｍｍ拡張した範囲を切り出す。領域補正処理部１６１はステップＳ１０８３で切り出した右目用画像を垂直方向上向きに３．３１５ｍｍ移動し、ステップＳ１０８３で切り出した左目用画像を垂直方向下向きに３．３１５ｍｍ移動する（Ｓ１０８４）。
【０１９６】
さらに領域補正処理部１６１は焦点範囲を切り出す（Ｓ１０８５）。ステップＳ１０８１、ステップＳ１０８３と同様に移動方向と反対向きの領域を移動量だけ拡張して切り出す。図１０の例では焦点範囲は領域２１と領域３１である。当該領域の補正量は垂直補正値が２２．５７ｍｍ、水平補正値が１．９７ｍｍである。
【０１９７】
本実施の形態では焦点範囲は仮想位置が画面平面より視聴者側にあるため、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、左目用の画面が右目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９８】
右目用の画像については領域３１が画面の下端であるため、垂直方向下向きへの拡張は不可能である。水平方向には右目用の画像を水平方向左へ０．９８５ｍｍ移動するため領域を右へ０．９８５ｍｍ拡張した範囲を切り出す。左目用の画像については垂直方向上向きに１１．２８５ｍｍ拡張し、水平方向には左へ０．９８５ｍｍ拡張した範囲を切り出す。領域補正処理部１６１はステップＳ１０８５で切り出した右目用画像を垂直方向上向きに１１．２８５ｍｍ移動し、水平方向左向きに０．９８５ｍｍ移動する（Ｓ１０８７）。
【０１９９】
境界領域処理部１６２は、各領域の移動により画像が重なった部分について仮想位置が視聴者からより遠い領域の画像を消去する（Ｓ１０８７）。
【０２００】
本実施の形態では後方補正領域と他の領域との重なり部分は後方補正領域の画像を消去し、非補正領域と前方補正領域または焦点範囲との重なり部分は非補正領域の画像を消去する。
【０２０１】
前方補正領域と焦点範囲との重なり部分は前方補正領域の画像を消去する。境界領域処理部１６２は領域間の隙間部分が画面の４辺すなわち上端、下端、左端、右端のいずれかに接しているか否かを判断する（Ｓ１０８８）。ステップＳ１０８８で領域間の隙間部分が上端、下端、左端、右端のいずれかに接している場合、境界領域処理部１６２は隙間部分が接している端の画像のうち、隙間より外側にある部分を消去する（Ｓ１０８９）。ステップＳ１０８８で領域間の隙間部分が上端、下端、左端、右端のいずれかに接していない場合はステップＳ１０９１に進む。
【０２０２】
ステップＳ１０９１では、境界領域処理部１６２は画像の４辺に接していない隙間について、隣接する領域のうち仮想位置が視聴者からより遠い領域の画像により補完する（Ｓ１０９１）。
【０２０３】
境界領域処理部１６２はステップＳ１０６０で分割した各領域の領域間の境界を挟む部分に対して境界処理を行う（Ｓ１０９２）。
【０２０４】
なお、本実施の形態１では補正のための領域分割を焦点範囲と前方補正領域、後方補正領域、非補正領域に分割したが、焦点範囲のみ補正し、他の領域を補正しないものとしても良い。また、画像をあらかじめ定められた奥行き範囲ごとに分割し、奥行きに従って画像の移動および境界領域処理を行うとしても良い。
【０２０５】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、頭部傾きによって視聴者の両目の左右軸と画面の水平軸とのずれをもとめ、頭部傾きによって生じる視聴者の目の上下方向の画像の位置ずれを計算して、被写体の奥行きごとに画像を傾けることなく表示位置を補正して、視差を視聴者の頭部の傾きに合わせてつけた左右映像を表示する。
【０２０６】
これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、画像の水平軸と実環境の水平軸がずれないため、映像酔いを起こすことなく映像の視聴を続けることができる。
【０２０７】
また、ヨガや体操あるいはダンスのように体を視聴者がコンテンツの内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。
【０２０８】
なお、本実施の形態１では奥行き情報記憶部１４０に画像中の被写体ごとまたは画像領域ごとの奥行き情報が記憶され、この奥行き情報に基づいて領域を分割して画像に補正処理を施すとしたが、奥行き情報生成部を設けて、左右の画像の対応点の位置から画像中の被写体ごとまたは画像領域ごとの奥行き情報を生成するとしてもよい。
【０２０９】
（実施の形態２）
図１９は、本実施の形態による画像表示装置２の構成図である。実施の形態１では、左目用の画像、右目用の画像に対して、奥行き情報を用いて画像処理を施すことで、視聴者の顔が傾いたときの映像を自動的に生成した。本実施の形態においては、撮影時において、事前に複数組のカメラで撮影された画像を用いて、視聴者の顔が傾いたときに違和感のない、適切な画像を提供するものである。
【０２１０】
実施の形態１と同一の構成については同一の記号を付して説明する。画像表示装置２は、傾きセンサ１１０と、画像蓄積部２３０と、画像選択部２４０と、画像提示部１７０とを備える。
【０２１１】
傾きセンサ１１０は、視聴者１００の頭部の傾きを測定する。
【０２１２】
画像蓄積部２３０は、視聴者１００の左目に提示する画像及び右目に提示する複数組の画像を、撮像時の左右のカメラの傾きの角度ごとに、蓄積している。
【０２１３】
画像選択部２４０は、視聴者１００の頭部の傾きに従って、画像蓄積部２３０が蓄積している画像の組から視聴者１００の頭部の傾きに最も近い撮像時の角度をもつ画像の組を選択する。
【０２１４】
画像提示部１７０は、画像選択部２４０で選択した１組の画像を、表示画面に表示する。
【０２１５】
画像選択部２４０は１つ以上のＣＰＵと１つ以上のメモリとによって実現される。また、画像蓄積部２３０は１つ以上のメモリによって実現される。画像選択部２４０を実現するメモリと、画像蓄積部２３０とを実現するメモリは、独立のものであっても、共通のものであってもよい。
【０２１６】
図２０は、画像蓄積部２３０が蓄積する画像データの一例を示す。図２１Ａは左右のカメラの位置が水平から傾いた画像の組を複数組一度に撮像するためのカメラシステムの一例である。図２１Ｂは、左右のカメラの位置が水平から傾いた状態で撮像した左右の画像と視聴者の頭部の傾きが合致する場合に正常な立体視のための両目視差を実現できることを模式的に示した図である。
【０２１７】
画像蓄積部２３０は、左目用例えば図２１Ａのように両目間距離６．５ｃｍを直径とする円周上に配置したカメラを用いて、円の中心に対して点対照の位置にある２つのカメラで撮像された画像を左目用、右目用各々の画像とする画像データの組を蓄積する。各画像の組のデータに加え、２つのカメラを結ぶ角度が、水平軸から何度傾いていたかもあわせて蓄積する。カメラは図２１Ａの例では１２あり、各カメラの水平軸は、撮像空間の水平軸と平行である。カメラ３０とカメラ２４との組が傾き０であり、カメラ２１と２７が９０度である。カメラ３１とカメラ２５との組が３０度、カメラ３２とカメラ２６の組が６０度のように３０度ごとに配置されたカメラによって６組の画像が蓄積される。１２のカメラは同時に撮像を行っており、どのシーンにおいてもカメラの位置が３０度ごとに配置された６組の画像が蓄積されている。
【０２１８】
ここで注意しなければいけないのが、図２１Ｃに示すようにカメラの画角は傾けることなく、図２１Ａに示すようにカメラの画角はすべてのカメラで同一になるようなカメラの設置を用いる。
【０２１９】
視聴者１００は前庭器官で常に重力加速度を知覚しており、頭部を傾けても周辺環境の鉛直軸を基準として空間を認識している。すなわち、実空間において頭部を傾けて立体視する際に、人間は目の位置のみを斜めに配置して、それぞれの目から入力される視覚情報は鉛直軸を維持して処理されている。このような人間の視覚特性に合わせて、カメラの画角は鉛直軸をそろえて配置されるべきである。
【０２２０】
図２２は、本実施の形態の画像表示装置２の処理手順を示すフォローチャートである。以下処理手順を図２２に従って説明する。
【０２２１】
画像表示装置２に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。入力部は例えば視聴者１００が入力するボタン等である。画像表示指示信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０２２２】
画像表示装置２の図示しない制御部は画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。画像表示終了信号の入力がある場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において画像表示終了信号の入力がない場合、ステップＳ１０３０に進む。ステップＳ１０３０では傾きセンサ１１０が視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については実施の形態１と同様である。次に画像選択部２４０はステップS１０３０で計測された視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組を1組、画像蓄積部２３０に蓄積された画像データの組から選択する。視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組とは、例えば図２１Ａのカメラシステムで撮像された６組の画像から、図２１Ｂのように傾いた視聴者１００の頭部の傾きと最も近い角度の傾きになるカメラの組によって撮像された画像データをさす。図２１Ｂの例ではカメラ２９とカメラ２３により水平から３０度傾いた画像の組である。視聴者１００の頭部が傾いていない場合は、水平からの傾き０度の画像の組、図２１Ａの例ではカメラ３０とカメラ２４により撮像された画像の組を選択する。視聴者１００の頭が完全に横になっており、９０度傾いている場合には、水平からの傾き９０度の画像の組、図２１Ａの例ではカメラ２１とカメラ２７により撮像された画像の組を選択する（Ｓ２０６０）。画像蓄積部２３０はステップＳ２０６０で選択された画像の組を画像提示部１７０に出力し、画像提示部１７０はその画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０２２３】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、複数の傾きをもって撮像された画像の組のうち、視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択して表示することで、両目の視差を視聴者の頭部の傾きに合わせた左右映像を表示する。これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、撮像時のカメラの水平軸は撮像する空間の水平軸と合致しているため、画像の水平軸と実環境の水平軸も合致し、映像酔いを起こすことなく映像の視聴を続けることができる。また、ヨガや体操あるいはダンスのように体を視聴者がコンテンツの内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択して表示することで、画像処理を行わず瞬時に画像を切り替えることができ、頭部の運動が比較的速い場合にも追随して、視聴者の頭部の傾きに合わせた画像を提示することができる。
【０２２４】
(実施の形態３)
図２３は、本実施の形態による画像表示装置３の構成図である。実施の形態２では、複数組の撮像装置で撮影された映像を用いて、視聴者の顔面の傾きに応じた映像提供を行った。しかしながら、事前に撮影する映像の組は、有限であるため、さらに詳細な顔の傾きに対応することが困難である。そこで、本実施の形態では、実施の形態２で述べたように、複数組の撮像装置で撮影した映像に対して、奥行き情報を付与し、実施の形態１で述べた画像処理を融合することで、視聴者にとって、さらに、違和感の少ない映像を提供するものである。
【０２２５】
実施の形態１および実施の形態２と同一の構成については同一の記号を付して説明する。画像表示装置３は視聴者１００の頭部の傾きを測定する傾きセンサ１１０と、視聴者１００の左目に提示する画像と右目に提示する画像を撮像時の左右のカメラの傾きの角度ごとに複数組蓄積している画像蓄積部２３０と、前記画像蓄積部２３０に蓄積されている画像の奥行き情報を抽出して記憶する奥行き情報記憶部３４０と、前記傾きセンサ１１０で測定された視聴者１００の頭部の傾きに従って、前記画像蓄積部２３０が蓄積している画像の組から視聴者１００の頭部の傾きに最も近い撮像時の角度をもつ画像の組を選択する画像選択部２４０と、前記画像選択部２４０が選択した前記画像蓄積部２３０に蓄積された画像の傾きと、前記傾きセンサ１１０で測定された視聴者１００の頭部の傾きとの差より、前記画像選択部２４０が選択した前記画像蓄積部２３０に蓄積された画像の視差方向に対して視聴者１００の左右それぞれの眼球が画面の水平軸と平行な軸からどれだけ離れているかを計算する左右眼球水平差分量検出部３２０と、前記左右眼球水平差分量検出部３２０で求められた左右の眼球の垂直方向の距離と、前記奥行き情報記憶部３４０に記憶された画像の奥行き情報に従って、提示する画像の補正方向と補正量を決定する補正量決定部３５０と、前記補正量決定部３５０で決定された補正方向と補正量にしたがって、前記画像蓄積部２３０に蓄積された画像を補正する画像処理部１６０と、前記画像処理部１６０で処理された画像を表示する画像提示部１７０とを備えている。画像選択部２４０、左右眼球水平差分量検出部３２０、補正量決定部３５０、画像処理部１６０は1つ以上のＣＰＵと1つ以上のメモリとによって実現される。また、画像蓄積部２３０と奥行き情報記憶部３４０は1つ以上のメモリによって実現される。画像選択部２４０、左右眼球水平差分量検出部３２０、補正量決定部３５０、画像処理部１６０を実現するメモリと、画像蓄積部２３０と奥行き情報記憶部３４０を実現するメモリは、独立のものであっても、共通のものであってもよい。
図２４は奥行き情報記憶部３４０に記憶する奥行き情報の一例である。奥行き情報記憶部３４０は、図９に示したような奥行き情報を記録時間ごと（サンプル点ごと）にもち、サンプルごとの奥行き情報を、画像蓄積部２３０が左右眼球用画像と合わせて蓄積している左右カメラの傾きごとに記憶する。
【０２２６】
図２５は、本実施の形態の画像表示装置３の処理手順を示すフォローチャートである。以下処理手順を図２５に従って説明する。
【０２２７】
画像表示装置３に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。
【０２２８】
入力部は、例えば、視聴者１００が入力するボタン等である。画像表示指示信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０２２９】
画像表示装置３の図示しない制御部は、画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。
【０２３０】
画像表示終了信号の入力がある場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において画像表示終了信号の入力がない場合、ステップＳ１０３０に進む。ステップＳ１０３０では傾きセンサ１１０が視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については実施の形態１と同様である。
【０２３１】
次に画像選択部２４０はステップＳ１０３０で計測された視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組を１組、画像蓄積部２３０に蓄積された画像データの組から選択する（Ｓ２０６０）。左右眼球推定差分量検出部３２０は、ステップＳ１０３０で計測された視聴者１００の頭部の傾きと、ステップＳ２０６０で選択された画像データの組のカメラ位置がなす角度とを比較する（Ｓ３０７０）。ステップＳ３０７０において視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との差が、あらかじめ定められた角度未満、例えば５度未満、である場合に左右眼球推定差分量検出部３２０は視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差がないと判断し、ステップＳ１０９０へ進む。ステップＳ３０７０において、視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との差が、あらかじめ定められた角度以上、例えば５度以上である場合に、左右眼球推定差分量検出部３２０は視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差があると判断する。ステップＳ３０７０において、視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差があると判断された場合は左右眼球推定差分量検出部３２０は左右眼球の垂直方向と水平方向の、ステップＳ２０６０で選択された画像組とのずれ量を計算する（Ｓ１０５０）。ずれ量の計算は実施の形態１のステップＳ１０５０と同様に行う。ただし、実施の形態１のＳ１０５０において、画面の水平方向に対して、視聴者１００の左右眼球のずれ量を計算したのに対してここでは、ステップＳ２０６０で選択された画像組のカメラ位置がなす角度を基準として、カメラ位置がなす角度に対して視聴者１００の左右眼球を結ぶ直線の角度を求め、カメラ位置がなす角度と平行な軸上でのずれ量を左右眼球の水平方向のずれ量とし、カメラ位置がなす角度と直行する軸上でのずれ量を左右眼球の垂直方向のずれ量として計算する。
【０２３２】
補正量決定部３５０は。同一の補正処理を施す領域を１つ以上決定して、領域を分割し（Ｓ１０６０）、さらにその領域ごとの補正量を決定する（Ｓ１０７０）。領域分割の方法と補正量の決定方法は実施の形態１と同様の処理で実現できる。画像処理部１６０はステップＳ１０７０で決定された領域ごとの補正量に基づいて画像の補正処理を行う（Ｓ１０８０）。画像の補正方法については後述する。画像提示部１７０はステップＳ１０８０で補正処理された画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０２３３】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、複数の傾きをもって撮像された画像の組のうち、視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択し、さらに選択された画像の組の傾きと視聴者の頭部の傾きの差によって生じる視聴者の目の上下方向の画像のずれを計算して、表示位置を補正して視差を視聴者の頭部の傾きに合わせてつけた左右映像を表示する。これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、画像の水平軸と実環境の水平軸がずれないため、映像酔いを起こすことなく映像の視聴を続けることができる。また、ヨガや体操あるいはダンスのように視聴者が画面表示の内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。また、視聴者の頭部の傾きに近い画像から補正を行うため、補正量が少なく、画像処理による画像の劣化を少なくすることができる。
【０２３４】
なお、実施の形態２および実施の形態３において、画像蓄積部２３０は左右のカメラの角度が異なる６組の画像を蓄積するものとしたが、コンテンツの継続時間すべてにおいて６組の画像を蓄積しておくとしてもよいし、コンテンツの継続時間中の特定の部分に対して特定の角度の範囲の画像を蓄積しておくとしてもよい。特に、ヨガや体操あるいはダンスのように視聴者が画面表示の内容に合わせて身体を動かすコンテンツにおいては、画面に身体あるいは頭部を傾けることを指示する内容が表示される時間区間のみ２つのカメラが水平以外の角度で撮像した画像を蓄積してもよい。さらに、画面で指示する角度あるいは指示する角度を含む一定の範囲の角度で撮像した画像を蓄積してもよい。また、戦闘機やロケットのように３次元に移動可能な乗り物のシミュレーション等、画像への反応として身体を傾けることが自然な画像の場合には、コンテンツの内容から、視聴者が身体を傾けることが予測される時間区間においてのみ２つのカメラが水平以外の角度で撮像した画像を蓄積してもよい。
【０２３５】
（実施の形態４）
本実施の形態では、３Ｄ眼鏡と画像を表示する装置とが双方向の通信を行う画像表示システム４の構成について説明する。図２６Ａに、画像表示システム４の構成の一例を示す。図２６Ａにおいては、実施の形態１で説明したブロックに関しては、同一の番号を付与している。
【０２３６】
画像表示システム４は、表示装置システム１の構成に加えて、傾き送信情報生成部２６００と、傾き情報送信部２６０１と、傾き情報受信部２６０２と、同期信号送信部２６０３と、同期信号受信部２６０４と、シャッタ制御部２６０５とを備える。
【０２３７】
傾き送信情報生成部２６００は、傾きセンサ１１０で測定された３Ｄ眼鏡の傾きデータを所定の送信フォーマットに加工する。
【０２３８】
傾き情報受信部２６０２は、傾き送信情報生成部２６００で生成された３Ｄ眼鏡の傾き情報を送信する。
【０２３９】
同期信号送信部２６０３は、画像提示部１７０で提示される画像に対して、左目用画像と右目用画像の切替制御の同期信号を送信する。
【０２４０】
同期信号受信部２６０４は、テレビの同期信号送信部２６０３から送信された信号を受信する。
【０２４１】
シャッタ制御部２６０５は、同期信号受信部２６０４で受信した信号に基づき、３Ｄ眼鏡の右目のシャッタ及び左目のシャッタを制御する。右目のシャッタは、右目に画像が提示されないように右目への映像を遮蔽する。左目のシャッタは、左目に画像が提示されないように左目への映像を遮蔽する。
【０２４２】
上記のように構成されたシステムにおいては、実施の形態１で説明したモジュールについては、同様の動作を行う。
【０２４３】
本実施の形態においては、３Ｄ眼鏡とテレビとの通信内容をさらに説明する。本システムでの眼鏡とテレビとの通信は、BluetoothやZigBee、無線ＬＡＮ等に代表されるような近距離の無線通信を想定している。図２６Ｂは、画像表示装置と３Ｄ眼鏡の通信手順を示す。
【０２４４】
３Ｄ眼鏡の電源が入力されると同時に、３Ｄ眼鏡は自らのＩＤを発信し(通信１)、テレビに対して所定ＩＤの眼鏡の電源が入力されたことを知らせる。
【０２４５】
その信号をテレビ側で受信し、３Ｄ眼鏡のＩＤが登録される。その後、登録された３Ｄ眼鏡に対して、眼鏡の液晶シャッタの開閉に関する制御信号が送信される(通信２)。
【０２４６】
このとき、実施の形態１でも述べたように、傾きセンサ１１０で検出された眼鏡の傾きデータを所定のタイミングでテレビ側に発信する（通信３）。
【０２４７】
傾き生成情報生成部２６００は、図２７に示すように、眼鏡ＩＤ、送信日時、送信時刻、送信先表示機器ＩＤ、Ｘ軸傾きデータ、Ｙ軸傾きデータ、Ｚ軸傾きデータを含む送信情報を生成する。
【０２４８】
傾き情報生成部２６０１は、傾き情報送信部２６０１では、傾き送信情報生成部２６００で生成された、図２７の情報をテレビに向けて送信する。
【０２４９】
図２７に示すように、送信するデータについては、図２７に示すようにバイナリデータやテキストデータ、または、ＸＭＬフォーマットで記述されているデータを送信する(通信３)。
【０２５０】
また、３Ｄテレビ等の表示装置は、画像提示部１７０の左目用画像、右目用画像の表示と同期させるためのタイミング信号を同期信号送信部２６０３から３Ｄ眼鏡に対して送信する。
【０２５１】
図２８に示すように、送信する信号は、送信元のテレビＩＤ、送信日時、送信時刻、送信先眼鏡ＩＤ、シャッタの制御信号を含む。図２８に示すように、バイナリデータ、テキストデータ、または、ＸＭＬフォーマットで記述されているデータとしてを送信する。このようにして、３Ｄ眼鏡と３Ｄテレビとの双方向の無線通信を利用することで、視聴者の眼鏡の傾き情報に応じた３Ｄテレビの画像の制御が可能になる。
【０２５２】
なお、３Ｄテレビを視聴するユーザは、一人とは限らない。複数人が視聴する場合もある。そのときは、図２９に示すように、３Ｄ眼鏡４００１と３Ｄ眼鏡４００２がそれぞれ、３Ｄテレビと双方向通信を行うことになる。実施の形態１から３で述べてきたように、視聴者の眼鏡の傾きにより、提供する画像を修正する。しかしながら、複数の視聴者が閲覧している場合には、一人の視聴者の眼鏡の傾きが検出された場合に、その視聴者に応じて提供する画像を修正すると、もう一人の視聴者が正常に視聴できなくなる。
【０２５３】
そこで、本実施の形態においては、例えば、３Ｄ眼鏡４００２からの傾き情報として、眼鏡の傾きが検出された場合には、３Ｄ眼鏡４００２に対して、左目用の画像を提供しているときに、左目、右目のシャッタを開き、右目用の画像を提供しているときに、左目、右目のシャッタを閉じることで、２Ｄ映像を提供するようにする。そのときの通信内容を図３０に示す。図３０で示すように、眼鏡４００１に対しては、左右のシャッタを交互に開くようにテレビが送信する一方、眼鏡４００２に対しては、左右のシャッタを同期させて開閉するような内容の送信を行う。一方、眼鏡４００１、眼鏡４００２ともに同じくらいの角度だけ傾いている場合には、実施の形態１から３で述べてきたように、提供する画像を補正することで、同様の３Ｄ映像を提供する。これにより、複数のユーザが３Ｄ映像を視聴している場合でも、不具合映像を提供することなく、実現することが可能になる。
【産業上の利用可能性】
【０２５４】
本発明にかかる画像表示装置は、立体映像を表示する場合に広く利用可能であり、映画やビデオ等の収録済みコンテンツを視聴する際に有用である。特にコンテンツの内容に合わせて視聴者が身体や頭部を動かす、ヨガや体操あるいはダンスの練習用コンテンツや、３次元動作する乗り物のシミュレーション等に有用である。ゲームや教育、訓練用のシステム等の用途に応用できる。
【符号の説明】
【０２５５】
１ 画像表示システム
１１０ 傾きセンサ
１１１ ジャイロセンサ
１１２ 傾き計算部
１１３ 送信部
１２０、３２０ 左右眼球水平差分量検出部
１３０、２３０ 画像蓄積部
１４０、３４０ 奥行き情報記憶部
１５０、３５０ 補正量決定部
１５１ 焦点対象範囲決定部
１５２ 補正量計算部
１５３ 補正領域分割部
１６０ 画像処理部
１６１ 領域補正処理部
１６２ 境界領域処理部
１７０ 画像提示部
２４０ 画像選択部
２６００ 傾き送信情報生成部
２６０１ 傾き情報送信部
２６０２ 傾き情報受信部
２６０３ 同期信号送信部
２６０４ 同期信号受信部
２６０５ シャッタ制御部
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示システム、及び３次元眼鏡に関する。
【背景技術】
【０００２】
近年、映画等を３次元映像で見る機会が増えている。３次元映像を視聴できる家庭用のテレビ及びコンピュータディスプレイの普及とともに、３次元映像のテレビコンテンツ又は３次元映像のゲームも広まりつつある。
【０００３】
３次元映像は、右目に提示する画像と左目に提示する画像との間に視差を作ることで、視聴者に奥行きがあるように錯覚させる。１つのディスプレイで左右の目に異なる画像を提示する方法は、大きく分けて２種類ある。
【０００４】
ディスプレイ面においたレンズ又はバリアにより、ディスプレイから出力する光の向きを調節して左右の目に異なる画像を提示する方法がある。この方法は、眼鏡を使用しない。
【０００５】
また、専用の眼鏡を用いて、フィルタまたはシャッタにより左右の目に届く光を選択する方法がある。
【０００６】
レンズやバリアによる方式は、右目用の画像、左目用の画像を垂直方向に細かく分割して、特定の視点の視聴者の右目に右目用の画像のみが提示され、左目に左目用の画像のみが提示される。
【０００７】
レンティキュラレンズを利用する方法では、垂直方向に細かく分割された右目用画像と左目用画像とを水平方向に交互に並べて同時に提示し、レンズの屈折率の違いを利用して、水平方向に並べられた右目用画像と左目用画像をそれぞれ視聴者の右目方向と左目方向へ提示する。
【０００８】
パララックスバリアと呼ばれる遮光バリアを利用する方式では、右目用画像と左目用画像を交互に提示し、右目用画像を提示する期間では、パララックスバリアにより視聴者の左目方向への光を遮断し、左目用画像を提示する期間では、パララックスバリアにより視聴者の右目方向への光を遮断する。
【０００９】
左右の目への画像の提示を６０Ｈｚ程度より早くすることで、視聴者は左右の画像の切り替えに気づかず、両目の情報を融像して立体視することができる。
【００１０】
専用眼鏡のシャッタによる方式では、左右の画像を交互に提示し、右目用画像が提示されている期間は右目のみシャッタを開き、左目用画像が提示されている期間は左目のみシャッタを開くことで、右目用画像を右目のみに提示し、左目用画像を左目のみに提示する。
【００１１】
左右画像の切り替えを６０Ｈｚ程度以上の速さで行うことで、視聴者は左右の画像の時間差を感じることなく、左右の画像を融像して立体視することができる。
【００１２】
図１（ａ）に、上記のような立体視の仕組みにおける、ディスプレイ表示と目の位置および知覚される奥行き、すなわち仮想位置を模式的に示したものである。
【００１３】
左目及び右目に視差のある画像を提示することにより、人間はその画像を立体に見ることができる。「視差」とは、左右の目の間の距離により、同一対象物を見た場合に生じる画像の差である。
【００１４】
現在の立体視画像による映画、ゲーム、又はビデオの映像コンテンツは、左右の視差を画面の水平軸方向に作っている。すなわち視聴者は図１（ａ）の右から見た配置および頭の後ろから透過した配置に示すように、画面の水平軸に両目を結んだ線をあわせて見ることで、立体映像を楽しむことができる。
【００１５】
しかしながら、人間は頭の向きを長時間まっすぐに保っていることができない。視聴者は、映像コンテンツを見ている間、いすにもたれる、あるいは寄りかかる等、姿勢を変える。視聴者が体を傾けたり、首を傾けたりすることで、視聴者の両目を結んだ線は画面の水平軸とずれてしまう。
【００１６】
また、ヨガやフィットネスやダンスの練習用コンテンツのように、視聴者が映像コンテンツにしたがって身体を動かすコンテンツもある。このようなコンテンツでは、映像コンテンツにあわせて視聴者が体や頭を傾けたり、横臥するため、視聴者の両目を結んだ線は画面の水平軸とずれてしまう。すなわち、リラックスした姿勢でコンテンツを視聴する場合や体を動かすためのコンテンツに従って体を動かす場合には、立体映像を視聴することができなくなる。
【００１７】
図１（ｂ）に、頭を画面に向かって左に傾けた状態で立体映像を見る状態を模式的に示す。図１（ｂ）の右図の頭の後ろから透過した配置の図では、図１（ａ）に比べて、視聴者の右目が画面下方向へ移動し、視聴者の左目は画面上方向へ移動している。図１（ｂ）の頭の後ろから透過した配置に示すとおり、視聴者の両目を結んだ線は画面の水平軸とずれている。頭を傾けても両目の間の距離は変わらないため、画面の水平方向と平行な方向では、視聴者の両目の間の距離は図１（ａ）の正しく立体視できる状態と比べて短くなる。また、図１（ａ）の正しく立体視できる状態では生じなかった視聴者の両目を結んだ線と垂直の方向、すなわち視聴者の頭の縦方向に画像のずれが生じる。すなわち、視聴者の右目に見える画像と左目に見える画像の上下位置がずれて見えることになる。実空間で１つの対象物を両目で見る場合には、左右の視差は目の位置の違いにのみ依存するため、同一の対象物は必ず両目を結んだ線上に見える。図１（ｂ）に示すような、両目を結んだ線と垂直の方向のずれは、実空間でものを見る際には起こらない。そのため、両目を結んだ線と垂直の方向の画像のずれは視聴者にとって非常に不自然で負荷の高いものとなる。
【００１８】
上記のような課題に対して、バーチャルリアリティを利用して遠隔操作を行うシステムでは特許文献１のように、視聴者に提供する画像の水平、垂直軸を視聴者の頭部姿勢にあわせて移動させ、画像の水平方向と視聴者の両目を結んだ線とのずれをなくす方法がある。
【００１９】
特許文献２には、縦方向のずれを補正する方法が開示されている。具体的には、撮像時に、正確なフレーム位置等を記録し、それに基づいて出力画像をトリミングして縦ずれを補正する。
【００２０】
特許文献３は、互いに異なる複数の位置から撮像した画像を用いて、視聴者の視聴姿勢に合わせて画像を提示する方法を開示している。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開平９−０６６４８９号公報
【特許文献２】特開２００６−１２８８４２号公報
【特許文献３】特開２０１０−２５８５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
映像製作時、映像の配信時、あるいは映像の表示時に、立体映像として左右の画像の視差を正しく調整したとしても、映像を視聴する際の視聴者の頭部の傾きを予測することはできない。また、視聴者の頭部の傾きを計測し、左右の画像の水平方向を視聴者の両目を結んだ線とあわせて表示した場合には、画面は頭部とともに傾き、視聴者の両目に正しい視差で画像を表示することができる。しかしながら、画面が頭部とともに傾くと、画面の垂直軸と実際の視聴空間での垂直軸とがずれてしまう。人間は前庭器官により重力加速度を感じており、実際の空間の垂直軸と、画面の垂直軸のずれにより酔ってしまう。立体映像視聴時の視聴者の頭部の傾きに対して、実際の視聴空間の垂直軸を合わせると、正しい視差で左右の画像を提示することができないため視聴者にとって不自然な目の動きを強いることとなり、正しい視差で左右の画像を提示すると実空間との垂直軸のずれから映像酔いを誘発するという課題を有していた。
【課題を解決するための手段】
【００２３】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備える。これにより、撮像時に生成された両目の視差の方向と視聴時の視聴者の頭部の傾きすなわち、両目を結んだ直線の方向とを合致させることができ、視聴者の姿勢にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００２４】
前記撮像時の左カメラと右カメラは水平面上に配置されており、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量は前記視聴者の左眼球と右眼球の水平面からの位置の差分量であることを特徴とする。
【００２５】
これにより、撮像時に生成された両目の視差の方向を求める必要がなく、視聴者の左右の眼球の位置のみから画像を補正することができる。
【００２６】
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサを備え、
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する前記左右眼球水平差分量検出部は前記傾きセンサによって測定された前記視聴者の頭部の傾きを用いて左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する。
【００２７】
これにより、左右の眼球の位置を検出必要がなく、頭部の傾きから左右の目を結んだ線の傾きを得ることができる。
【００２８】
前記左目に提示する画像を前記視聴者の左目のみに提示し、前記右目に提示する画像を前記視聴者の右目のみに提示するためのアクティブシャッタを眼鏡のレンズ部に設けた立体視用眼鏡を備え、前記傾きセンサは前記立体視用眼鏡に設置されている。
【００２９】
これにより、傾きセンサを別途視聴者に設置する必要がなく、視聴者は負荷なく立体視画像の視聴を行う際に傾きセンサを装着できる。さらに、立体視画像の視聴時に傾きセンサの装着を忘れることがない。
【００３０】
前記立体視用眼鏡は送信部を備え、前記傾きセンサは加速度情報または傾きベクトル情報を受信部を備えたテレビあるいはゲーム機あるいはパーソナルコンピュータに送信する。
【００３１】
これにより、視聴者を拘束することなく、画像処理等を行うテレビあるいはゲーム機あるいはパーソナルコンピュータに傾きセンサの情報を伝達することができる。
【００３２】
画像を表示する画面部を備え、前記左右眼球水平差分量検出部は前記傾きセンサにより測定された前記視聴者の頭部の傾き情報を用いて、前記画面部の表面の平面と前記視聴者の両目を結んだ線との角度を求め、前記視聴者の左右の眼球間距離の値を補正する。
【００３３】
これにより視聴者の姿勢のみでなく、画面に対する顔面の向きによる、撮像時の量が視差と視聴時の両目視差の違いに対しても補正を行い、視聴者の顔面の画面に対する角度にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００３４】
画像を焦点範囲とそれ以外とに分割する画像分割部を備え、前記補正量決定部は前記焦点範囲の前記奥行き情報に基づいて前記画像蓄積部で蓄積されている画像の補正量を決定する。
【００３５】
これにより奥行きによって補正量が異なる場合でも、視聴者が注視する焦点範囲の補正を正しく行うことができ、視聴者の注視する範囲で適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【００３６】
前記焦点範囲は画像の中心部を含む。
【００３７】
これにより、視聴者が注視する画面の中心部を焦点範囲とすることができ、補正を正しく行うことができる。
【００３８】
前記焦点範囲は画像中の奥行きの最も小さい部分を含む。
【００３９】
これにより、視聴者が注視する画面の中心部を焦点範囲とすることができ、補正を正しく行うことができる。
【００４０】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部であって、左目用視点と右目用視点の中点を中心とし、左目用視点と右目用視点の間の距離を直径とする円周上に、円の中心に対して点対象に配置した２視点からの画像を対にして蓄積し、前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサで測定した前記視聴者の頭部の傾きに基づいて、前記画像蓄積部で蓄積されている画像を選択する画像選択部とを備える。
【００４１】
これにより、補正計算なしに撮像時に生成された両目の視差の方向と視聴時の視聴者の頭部の傾きすなわち、両目を結んだ直線の方向とをすばやく合致させることができ、視聴者の姿勢にかかわらず、適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。また、処理時間が短いため、速い姿勢の変動にも追随できる。
【００４２】
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備え、前記画像選択部で選択部で選択された前記画像蓄積部で蓄積されている画像を前記画像処理部で補正する。
【００４３】
これにより、視聴者の両目を結ぶ直線の傾きにより近い傾きで撮像された画像から補正を行うことができ、補正量が少なくなり、画像処理による画像の劣化を抑えて適切な視差で画像を提示することで、疲労や立体視の異常を防ぐことができる。
【発明の効果】
【００４４】
本発明の画像表示装置によれば、頭部を傾けて視聴する場合において、視聴者の感じる疲労又は映像酔いを起こす可能性を低減することができる。すなわち、視聴者は、寝転がる又はもたれるなどの自由な姿勢で、立体視映像を楽しむことができる。
【図面の簡単な説明】
【００４５】
【図１】目の位置とディスプレイ表面での対象物の画像の位置と対象物の仮想位置との関係を説明する模式図。
【図２Ａ】視聴者が頭部を傾けて立体視を行う際に見られる左右の目で逆方向の目の動きの模式図。
【図２Ｂ】視聴者が正立した状態で立体画像を視聴した際の左右眼球の視点の動きを示す図。
【図２Ｃ】目の動きを示す目電位の一例を示すグラフと模式図。
【図３Ａ】実施の形態１における画像表示装置の構成の一例を示すブロック図。
【図３Ｂ】視聴者が画像表示システムを利用している様子を示す図。
【図３Ｃ】画像表示装置を示す図。
【図３Ｄ】３次元眼鏡を装着した視聴者を示す図。
【図４】実施の形態１における画像表示装置を構成する立体視用アクティブシャッタつき眼鏡の一例を示す模式図。
【図５】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図６】実施の形態１における両目の垂直方向と水平方向のずれ量の求め方の一例を示す模式図。
【図７】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図８Ａ】仮想位置と仮想カメラ位置とを説明する図。
【図８Ｂ】実施の形態１における視聴者が頭部を傾けて立体視を行う際の視聴者が注視している対象物の仮想位置と補正方向と補正量の関係を示す模式図。
【図９】実施の形態１における奥行き情報の一例を示す模式図。
【図１０】実施の形態１における補正情報の一例を示す模式図。
【図１１】実施の形態１における画像表示装置の詳細な構成の一例を示すブロック図。
【図１２】実施の形態１にける画像表示装置の処理の流れの一例を示すフローチャート。
【図１３Ａ】実施の形態１における頭部傾き計測ステップの詳細な処理のながれの一例を示すフローチャート。
【図１３Ｂ】実施の形態１における頭部傾き計算での座標系を示した模式図。
【図１４】実施の形態１における眼球の垂直、水平のずれ量計算の詳細な処理の流れの一例を示すフローチャート。
【図１５】実施の形態１における画面平面に対する視聴者の顔面の角度の関係を説明する模式図。
【図１６】実施の形態１における領域分割ステップの詳細な処理のながれの一例を示すフローチャート。
【図１７】実施の形態１における補正量決定ステップの詳細な処理のながれの一例を示すフローチャート。
【図１８】実施の形態１における画像補正処理ステップの詳細な処理のながれの一例を示すフローチャート。
【図１９】実施の形態２における画像表示装置の構成の一例を示すブロック図。
【図２０】実施の形態２における画像データの一例を示す模式図。
【図２１Ａ】左右のカメラの位置が水平から傾いた画像の組を複数組一度に撮像するためのカメラシステムの一例を示す図。
【図２１Ｂ】左右のカメラの位置が水平から傾いた状態で撮像した左右の画像と視聴者の頭部の傾きが合致する場合に正常な立体視のための両目視差を実現できることを模式的に示した図。
【図２１Ｃ】実施の形態２における画像表示装置が蓄積する画像データを撮像するカメラシステムの一例を示す模式図とカメラの組により水平から傾いた方向の視差と視聴者の頭部の傾きの関係を説明する模式図。
【図２２】実施の形態２にける画像表示装置の処理の流れの一例を示すフローチャート。
【図２３】実施の形態３における画像表示装置の構成の一例を示すブロック図。
【図２４】実施の形態３における奥行き情報の一例を示す模式図。
【図２５】実施の形態２にける画像表示装置の処理の流れの一例を示すフローチャート。
【図２６Ａ】実施の形態４における画像表示システムの構成の一例を示すブロック図。
【図２６Ｂ】実施の形態４における画像表示装置と３Ｄ眼鏡の間の通信手順を説明する図。
【図２７】実施の形態４における３Ｄ眼鏡から画像表示装置へ送信されるデータの形式の一例を示した図。
【図２８】実施の形態４における画像表示装置から３Ｄ眼鏡へ送信されるデータの形式の一例を示した図。
【図２９】実施の形態４における画像表示システムにおいて３Ｄ眼鏡が複数ある場合の構成の一例を示すブロック図。
【図３０】実施の形態４における画像表示システムにおいて画像表示装置からそれぞれの３Ｄ眼鏡へ送信されるデータの形式の一例を示す図。
【図３１】画像表示システムのハードウェア構成を示す図。
【発明を実施するための形態】
【００４６】
本願発明者らは、実験により、視聴者が頭を傾けて立体視を行う際に、左目及び右目が異なる上下の動きをするという新たな知見を明らかにした。従来、左目が上に動く時は、右目も上に動くと考えられてきた。しかし、本願発明者らは、視聴者が頭を傾けて立体視する際又は画像自体が傾いている際、視聴者の目は傾きによって生じた縦ずれを修正する方向に動くことを見出した。すなわち、頭を傾けたことにより下に位置する目は上向きに動き、上に位置する目は下向きに動く。
【００４７】
図２Ａは、視聴者が頭を傾けた場合に生じる頭の縦方向のずれに対して視聴者の目が動く方向を模式的に示す。
【００４８】
図２Ｂは、右に１０度回転させて表示した立体画像を、視聴者が正立した状態で、視聴した際の左右眼球の視点の動きを示す。図２Ｂは、視線検出装置で、視聴者の視点の動きを検出した結果である。
【００４９】
図２Ｃは、視線検出装置の概略図と視線検出に用いる目の映像の例を示す。
【００５０】
視線検出装置は、視聴者の眼球に向けて近赤外線を照射し、角膜表面での反射光と瞳孔中心位置を画像処理により求める。それらの相対位置の関係を利用することで、視線を検出する。
【００５１】
視線位置が変わると反射光の位置は変わらないが、瞳孔中心位置が変わる。この両者の相対位置関係の変化を利用して、左右の視線を独立に検出する。
【００５２】
図２Ｂに、４つの動きを示す。図２Ｂ（ａ）に、画像の傾きがなく、視聴者の両目を結ぶ線と立体画像の水平軸すなわち視差の方向が一致している際の水平方向の視線の動きを示す。図２Ｂ（ｂ）に、垂直方向の視線の動きを示す。図２Ｂ（ｃ）に画像が視聴者から見て右周りに１０度回転し、視聴者の両目を結ぶ線と立体画像の水平軸が１０度ずれた条件での水平方向の視線の動きを示す。図２Ｂ（ｄ）に、垂直方向の視線の動きを示す。
【００５３】
図２Ｂ（ａ）−（ｄ）の縦軸はディスプレイ上位置に換算された視線の相対移動量である。図２Ｃのディスプレイの表示サイズを１とする。すなわち、水平方向の移動量はディスプレイの横幅を１とした比で表され、垂直方向の移動量はディスプレイの高さを１とした比で表される。何も出力されていない暗い画面を見ている状態（ターゲットなし）での視線位置の平均を０とする。
【００５４】
図２Ｂ（ａ）及び（ｃ）においては、左方向への移動が負の値、右方向への移動が正の値として示されている。
【００５５】
図２Ｂ（ｂ）及び（ｄ）においては、上方向への移動が負の値、下方向への移動が正の値として示されている。図２Ｂの横軸は時間を表しており、単位は秒である。約１７ｍｓごとに測定された左目の視線を○で示し、右目の視線を×で示している。
【００５６】
データは４０代女性のデータである。ディスプレイは視聴者顔面から９０ｃｍの位置に配置した。黒の背景に白抜きの十字図形をターゲットとして提示した。ターゲットは視聴者正面に提示され、立体画像として、図形の奥行きがディスプレイ面より奥３０ｃｍ、１０ｃｍ、ディスプレイ面より手前１０ｃｍ、３０ｃｍ、５０ｃｍ、７０ｃｍとなるように視差を調節した。ターゲットなしの画面を５秒提示した後、上記の順で各奥行き設定の画面を５秒ずつ提示した。
【００５７】
図２Ｂ（ａ）では、ディスプレイより奥のターゲットに対しては右目が右(負側)を、左目が左(正側)を見ている。ディスプレイより手前のターゲットに対しては右目が左(負側)を、左目が右（正側）を見ている。
【００５８】
図２Ｂ（ｂ）では、ターゲットが提示されている間は、奥行きにかかわらず両目の垂直方向の位置は一定である。
【００５９】
画面の水平軸と視聴者の両目を結んだ線とが平行でない場合は、図２（ｃ）に示した水平方向の視線は図２（ａ）の傾きがない場合に比べて移動量が減っている。
【００６０】
図２Ｂ（ｄ）に示した垂直方向の視線はディスプレイより奥ではわずかに右目が下（正側）を、左目が上（負側）を見ており、ディスプレイより手前では右目が上を、左目が下を見ている。
【００６１】
ただし、ディスプレイの手前７０ｃｍでは左目の視線は右目と同様の位置を見ている。これはディスプレイの手前７０ｃｍの条件では左右画像の融像ができなかった（視聴者内観報告）ことと合致している。この実験により、視聴者が頭を傾ける等、画面の水平軸と視聴者の両目を結んだ線とが平行でない場合には、実空間あるいは平面画像を見る際には起こらない上下逆向きの目の動きが起こることが示された。これにより、頭を傾けて立体画像を視聴することの負荷が非常に高いことが示された。
【００６２】
（実施の形態１）
図３Ａは、本実施の形態による画像表示システム１の構成図である。
【００６３】
画像表示システム１は、３次元眼鏡４００と、左右眼球水平差分量検出部１２０と、画像蓄積部１３０と、情報記憶部１４０と、補正量決定部１５０と、画像処理部１６０と、画像提示部１７０とを備えている。それぞれの構成要素は、有線又は無線により接続されており、相互に情報を送受信する。説明の便宜上、視聴者１００を記載している。
なお、画像表示システム１の３次元眼鏡４００を除いた構成を、画像表示装置１０１とも表記する。
【００６４】
３次元眼鏡４００は、傾きセンサ１１０と、右目画像遮蔽部４０１と、左目画像遮蔽部４０２と、信号受信部４０３とを備える。３次元眼鏡４００とは、３次元映像を視聴するために用いる眼鏡である。
【００６５】
図３Ｂに、視聴者１００が画像表示システム１を利用している様子を示す。
【００６６】
視聴者１００は、３次元眼鏡４００を装着し、画像提示部１７０に提示される画像を視聴する。画像提示部１７０は、３次元画像及び２次元画像のいずれも表示する。
【００６７】
図３Ｃ（ａ）及び（ｂ）は、図３Ｂに示す画像表示部１を拡大した図である。図３Ｃ（ａ）は、画像表示装置１０１を正面から見た図であり、図３Ｃ（ｂ）は、画像表示装置１０１を側面から見た図である。
【００６８】
本明細書において、画像提示部１７０に含まれる表示画面の上端を通る方向を、「画面の水平軸」とも表記する。画面の水平軸は、表示画面の横方向と平行な軸である。図３Ｃ（ａ）に示す点線Ａが画面の水平軸である。また、図３Ｃ（ｂ）に示す紙面に直交する軸が画面の水平軸である。画面の水平軸は、画像表示装置１０１が設置されている面と平行な軸としても良い。
【００６９】
画像提示部１７０に含まれる表示画面の側端を通る方向を、「画面の垂直軸」とも表記する。画面の垂直軸は、表示画面の縦方向と平行な軸である。図３Ｃ（ａ）及び（ｂ）に示す点線Ｂが画面の垂直軸である。画面の垂直軸は、重力方向としても良い。画面の垂直軸は、画像表示装置１０１が設置されている面と垂直な軸としても良い。
【００７０】
図３Ｄは、図３Ｂに示す３次元眼鏡４００を装着した視聴者１００を拡大した図である。本明細書において、視聴者１００の顎の先から頭部の頂点を結ぶ方向を、視聴者１００の頭部の上下軸とも表記する。頭部の上下軸は、正中線とも呼ばれる。正中線とは、
左右対称形の生物体で、前面・背面の中央を頭から縦にまっすぐ通る線である。
【００７１】
図３Ｄに示す点線は、上下軸と、視聴者１００の左目及び右目を結ぶ線とである。以下、視聴者１００の頭部の傾きは、上下軸、又は視聴者１００の左目及び右目を結ぶ線を用いて説明している。
【００７２】
視聴者１００の頭部が傾くことによって、上下軸と視聴者１００の左目及び右目を結ぶ線とは同様に傾く。例えば、重力方向等の基準に対する、上下軸又は視聴者１００の左目及び右目を結ぶ線の傾きにより、視聴者１００の頭部の傾きを取得できる。
【００７３】
以下、各構成要素について、説明する。
【００７４】
傾きセンサ１１０は、視聴者１００の頭部の傾きを測定する。図４に示すように、傾きセンサ１１０は、３次元眼鏡４００に形成されている。
【００７５】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の傾きの情報に基づいて、視聴者１００の左目及び右目を結ぶ線と、画面の水平軸と平行な軸との距離を計算する。
【００７６】
画像蓄積部１３０は、視聴者１００の左目に提示する画像と右目に提示する画像とを蓄積している。画像は、複数の領域を含んでいる。画像蓄積部１３０は、画像と、画像の領域毎の奥行き情報と対応付けて蓄積しても良い。
【００７７】
画像蓄積部１３０は、複数の画像を含む映像情報を蓄積する。映像情報の例は、映画又はＴＶ放送の番組である。画像蓄積部１３０は、放送波から映像情報を受信して、一時的に蓄積しても良い。
【００７８】
奥行き情報記憶部１４０は、画像の奥行き情報を記憶する。画像蓄積部１３０が画像と奥行き情報と対応付けて蓄積している場合は、奥行き情報記憶部１４０から取得した奥行き情報を記憶する。
【００７９】
補正量決定部１５０は、左右眼球水平差分量検出部１２０で求められた左目及び右目の垂直方向の距離と、奥行き情報記憶部１４０に記憶された画像の奥行き情報とに従って、提示する画像の補正方向と補正量とを決定する。
【００８０】
画像処理部１６０は、補正量決定部１５０で決定された補正方向と補正量とにしたがって、画像蓄積部１３０に蓄積された画像を補正する。
【００８１】
画像提示部１７０は、画像処理部１６０で処理された画像を表示する。画像提示部１７０は、ディスプレイ等の表示画面を含む。
【００８２】
信号受信部４０３は、画像提示部１７０が右目に提示する画像及び左目に提示する画像を表示するタイミングを、画像表示装置１０１から受け付ける。例えば、画像表示装置１０１に含まれる画像提示部１７０から受け付ける。タイミングとは、提示する時刻でも良いし、提示するまでの時間等でも良い。
【００８３】
左目画像遮蔽部４０１は、右目に提示する画像が提示されるタイミングにおいて、左目が画像を見えないように遮蔽する。一方、右目画像遮蔽部４０２は、左目に提示する画像が提示されるタイミングにおいて、右目が画像を見えないように遮蔽する。左目画像遮蔽部４０１及び右目画像遮蔽部４０２は、例えば、液晶シャッター等により構成される。
【００８４】
図３１は、画像表示装置１０１のハードウェア構成を示す。画像表示装置１０１は、ＣＰＵ３０と、メモリ３１とを備えている。ＣＰＵ３０と、メモリ３１とは、互いにバス３４で接続されており、相互に情報を送受信する。
【００８５】
ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。左右眼球水平差分量検出部１２０と、補正量決定部１５０と、画像処理部１６０とは、ＣＰＵ３０とメモリ３１で構成される。画像蓄積部１３０と奥行き情報記憶部１４０とは、メモリ３１で構成される。メモリ３１は、一次記録装置又は二次記録装置でも良い。
【００８６】
複数のＣＰＵ３０及び複数のメモリ３１で構成されても良い。具体的には、左右眼球水平差分量検出部１２０、補正量決定部１５０、及び画像処理部１６０がそれぞれ異なるＣＰＵ３０で構成され、画像蓄積部１３０及び奥行き情報記憶部１４０がそれぞれ異なるメモリ３１で構成されても良い。
【００８７】
図５は、画像表示システム１に含まれる傾きセンサ１１０の詳細な構成を示す。傾きセンサ１１０は、ジャイロセンサ１１１と、傾き計算部１１２と、送信部１１３とを備える。
【００８８】
ジャイロセンサ１１１は、視聴者１００の頭部の角速度を計測する。
【００８９】
傾き計算部１１２は、ジャイロセンサ１１１から出力された加速度情報から視聴者の頭部の上下軸の傾きを計算する。
【００９０】
送信部１１３は、傾き計算部１１２で計算された頭部の傾きの情報を、無線、赤外線、又は光通信を用いて、画像表示装置１０１に送信する。送信部１１３は、例えば、左右眼球水平差分量検出部１２０に、頭部の傾きの情報を送信する。
【００９１】
傾き計算部１１２は、例えば、製造時、出荷時、又は販売時に、眼鏡の左右のレンズが水平である場合に、重力加速度方向を傾き−９０度、かつ、重力加速度方向と逆向きを傾き９０度として調整する。
【００９２】
本実施の形態１では、視聴者１００が３次元眼鏡４００を正しくかけた場合に、眼鏡の水平軸が、視聴者１００の両目を結んだ直線と平行になると仮定する。３次元眼鏡４００の装着によるずれ又は傾きは無視しうる。
【００９３】
図６は、画面平面の垂直軸方向に対して、視聴者１００の右目と左目との距離の計算方法を示す。
【００９４】
左右眼球水平差分量検出部１２０は、視聴者１００の右目と左目との距離の情報を予め保持する。左右眼球水平差分量検出部１２０は、傾きセンサ１１２で計算した視聴者１００の頭部の傾きの情報（θ）を受け付ける。視聴者１００の右目と左目との距離の情報は、例えば、両目の瞳孔中心の間の距離（ｗ）である。
【００９５】
左右眼球水平差分量検出部１２０は、視聴者の頭部の傾きに基づいて、画面平面の垂直軸方向において視聴者１００の右目と左目との距離を計算する。図６に示すように、画面平面の垂直軸方向において視聴者１００の右目と左目との距離は、ｗｓｉｎθである。
【００９６】
図７は、補正量決定部１５０の詳細な構成を示す。補正量決定部１５０は、焦点対象範囲決定部１５１と、補正領域分割部１５３と、補正量計算部１５２とを備える。
【００９７】
焦点対象範囲決定部１５１は、奥行き情報記憶部１４０に記憶された奥行き情報に従って、焦点対象物の候補が提示されている画像範囲を決定する。
【００９８】
「焦点対象物」とは、画像中の視聴者１００が注視する対象物を指す。焦点対象物は、画面の中心にある対象物、又は、最も手前に見える対象物である。ここでは、画像中の最も手前、すなわち仮想位置が視聴者に近い位置に設定されている対象物を焦点対象物とする。
【００９９】
図８Ａ（ａ）及び（ｂ）に、仮想位置と仮想カメラ位置と位置関係を示す。視聴者１００を上面から見た図である。図８Ａ（ａ）において、表示画面より視聴者１００に近づいた位置に対象物８０がある。これは、視聴者１００は、表示画面から飛び出している対象物８０が見えていることを意味する。図８Ａ（ｂ）において、表示画面より視聴者１００に遠い位置に対象物８０がある。これは、視聴者１００は、表示画面より奥に対象物８０が見えていることを意味する。
【０１００】
本明細書では、対象物８０の位置を「仮想位置」と表記する。視聴者１００の目の位置を「仮想カメラ位置」と表記する。
【０１０１】
補正領域分割部１５３は、画面の全体を複数の領域に分割する。
【０１０２】
補正量計算部１５２は、左右眼球水平差分量検出部１２０で計算された両目の垂直軸方向の距離と焦点対象範囲の奥行き情報に基づいて焦点対象範囲の垂直方向の補正量を計算する。
【０１０３】
図８Ｂは、補正量の計算方法を模式的に示す。
【０１０４】
補正量決定部１５０は、左右眼球推定差分量検出部１２０で検出された両目の垂直方向の距離に基づいて、焦点対象物の表示位置の補正量を計算する。
【０１０５】
このとき、両目の視野中で視聴者の頭の上下軸の上で同じ高さに焦点対象物が提示されるには、画面表示位置を垂直にずらすことで、両目の垂直方向のずれ分を補償する必要がある。
【０１０６】
焦点対象物の仮想位置が画面より視聴者１００に近い位置である場合には、視聴者１００の左右の目の高さの位置関係とは逆方向に画面上の焦点対象部物を移動することで補正する。
【０１０７】
焦点対象物の仮想位置が画面より奥、すなわち画面より視聴者から遠い位置にある場合には、視聴者の左右の目の垂直方向の位置関係と同じ方向に画面上の焦点対象物を移動することで補正する。
【０１０８】
焦点対象物の補正量の計算は、両目の瞳孔中心の間の距離をｗとすると図５に示したように垂直方向の両目間の距離はｗｓｉｎθとなる。
【０１０９】
画面から視聴者の両目の中点までの距離をＬとし、視聴者の顔面から立体画像で表示される焦点対象物の仮想位置までの距離をｄとする。このとき補正量δはδ＝ｗｓｉｎθ（Ｌ−ｄ）／ｄで表される。
【０１１０】
図９（ａ）に、奥行き情報記憶部１４０が記憶する奥行き情報の一例を示す。画面を領域に分割し、撮像時のカメラ位置または想定カメラ位置から領域内の被写体までの距離情報が記憶されている。これはカメラ位置と視聴者の目の位置が同じとして、図８（ｄ）にあたる。図９（ａ）の例では、画面から２．７ｍ（２７００ｍｍ）の位置を想定カメラ位置としている。画面から３ｍはなれた場所にいる視聴者１００が、映像を視聴していることを想定している。
【０１１１】
画面の高さ対する３倍離れた位置で、視聴者は画面に表示された映像を視聴するのが良いとされている。
【０１１２】
図９（ａ）は、１６：９の横と縦の比を有し、その縦の長さが約９０ｃｍである、７０インチの大きさを有する画面の例である。これより小さい画面あるいは大きい画面においては、その画面サイズに合わせて、奥行き情報が記憶されている。
【０１１３】
図９（ａ）では、画面を１６の領域に分割している。しかし、さらに細かく分割しても、あるいは１ピクセルごとに奥行き情報を蓄積してよい。
【０１１４】
奥行き情報は、例えば、画面上の位置を特定するインデックスと、領域内のカメラに近い点におけるカメラ位置から被写体までの距離と、表示画面平面からの相対位置とを含む。
【０１１５】
表示画面に平行な平面からの相対位置は、表示画面に平行な平面の位置を０として、視聴者から遠ざかる方向を正、視聴者に近づく方向を負の数値で表す。表示画面に平行な平面を、「表示画面平面」とも表記する。図８に示すＬ−ｄが相対位置の例である。
【０１１６】
領域内の距離の代表値は、領域内のカメラ位置から被写体までの距離の平均、中央値、最頻値でもよい。また領域内の最もカメラから遠い点におけるカメラ位置からの被写体までの距離としてもよい。
【０１１７】
焦点対象範囲決定部１５１は、図９に示された距離情報を用いて、最も奥行きすなわち視聴者からの距離が小さい領域２１及び領域３１を、焦点対象範囲として決定する。補正量計算部１５２は、焦点対象範囲決定部１５１が決定した焦点範囲である領域２１及び領域３１に対する補正量と、それ以外の領域に対する補正量とを決定する。
【０１１８】
図１０は、補正計算部１５２が出力する補正量情報の一例を示す。画面を領域に分割し、焦点対象範囲として決定された領域とその領域に対応する補正量が補正量計算部１５２より出力される。
【０１１９】
図１０に示す値は、視聴者の両目を結んだ線は画面平面に対して平行であり、画面の水平軸に対して１０度の傾きがある場合の値である。
【０１２０】
図１０は、補正計算部１５２が出力した値を、図９に示した奥行き情報記憶部１４０の領域分割に従って示す。奥行き情報の領域分割がより細かい場合には、奥行き情報の勾配に従って、領域分割しても良い。例えば、同様の奥行きを持つ領域をまとめて、新たな領域分割の境界を設定する。
【０１２１】
図１０は、焦点対象範囲である領域２１及び領域３１に、同一の補正量を設定している。垂直方向と水平方向の補正量は領域２１の奥行き情報に基づいて計算された値を適用する。図１０では、垂直方向の補正量を２２．５７ｍｍとし、水平方向の補正量を１．９７ｍｍとする。
【０１２２】
それ以外の領域については水平方向の補正量は１ｍｍより小さく２．７ｍ離れて見る視聴者への影響が小さいため０ｍｍとする。領域１１と領域２２は表示内容が、表示画面より視聴者に近い位置にあり、領域２１と領域３１についで奥行きが小さく、補正量が大きい。そこで、領域１１、領域１２と領域２２とを１つにまとめ、垂直方向の補正量はより奥行きの小さい領域１１の奥行き情報に基づいて計算された値を適用する。例えば、最も小さい奥行き量から所定の範囲内の奥行き量を有する領域を１つにまとめる。
【０１２３】
表示内容までの距離が表示画面より遠い場合、遠ければ遠いほど画像位置のずれは計算上大きくなるが、実際には表示画面より遠い対象物におけるずれの影響は小さいことが知られている。そこで距離情報が無限遠となっている領域００、領域０１、領域０３では視聴者からの距離３７００ｍｍすなわち表示画面の後方約１ｍの位置の補正量にあわせて垂直方向の補正量を３ｍｍとする。上記以外の領域は表示画面の前後１ｍ程度であり、これらの領域のずれ量は比較的小さいため、垂直補正値、水平補正値とも０ｍｍとする。
【０１２４】
なお、図９（ａ）に示す数値は一例であるので、これ以外の数値でもよい。焦点対象範囲とそれ以外に分割して補正値を決定するとしてもよい。また、焦点対象範囲の表示内容が表示画面より視聴者に近い位置にある場合は、領域を、焦点対象範囲と、焦点対象範囲以外で表示内容が表示画面より視聴者に近い位置にある領域と、表示内容が表示画面より視聴者から遠い位置にある領域との３つに分割して補正値を決定するとしてもよい。所定の基準により、表示画面の全領域を３つの領域に分割する。例えば、それぞれの領域に関する所定の割合に基づいて、
この場合、焦点対象範囲の表示内容が表示画面より視聴者から遠い位置にある場合には、焦点対象範囲とそれ以外の２つの領域に分割して補正値を決定する。
【０１２５】
なお、ここでは焦点対象範囲を表示内容が視聴者に最も近い位置にある領域としたが、焦点対象範囲を画面の中心部とした場合には、焦点対象範囲として取り扱う領域の広さを、表示内容の位置の分布より調節するとしてもよい。中心からの距離と表示内容の位置の分布とに従って領域を分割して補正値を決定するとしてもよい。
【０１２６】
図１１は、本実施の形態による画像表示システム１の詳細な構成を示す構成図の一部である。画像処理部１６０は、画像蓄積部１３０に蓄積された画像に対して、補正量決定部１５０から出力された補正量情報に基づき、各領域の表示位置を補正する領域補正処理部１６１と、領域ごとに異なる補正量による表示位置の補正により発生した領域境界の空白部とその周辺に対して補間処理を行う境界領域処理部１６２により構成される。
【０１２７】
図１２は、本実施の形態の画像表示システム１の処理手順を示すフローチャートである。図１３Ａ、図１４は画像表示システム１の処理手順の一部を詳細に示したものである。以下処理手順を図１１から図１３Ａに従って説明する。
【０１２８】
画像表示システム１に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。入力部は例えば視聴者が入力するボタン等である。画像表示指示信号は、例えば視聴者が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０１２９】
画像表示システム１の図示しない制御部は、画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。制御部が、画像表示終了信号の入力があると確認した場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において、制御部が、画像表示終了信号の入力がないと確認した場合、ステップＳ１０３０に進む。
【０１３０】
傾きセンサ１１０が、視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については後述する。
【０１３１】
左右眼球水平差分量検出部１２０は、所定の基準を用いて、視聴者１００の頭部が傾いているか否かを判断する（Ｓ１０４０）。例えば、所定の基準を５度とする。視聴者１００の頭部が、視聴者１００の両目を結ぶ直線が水平面から５度以上傾いている場合に、視聴者１００の頭部が傾いていると判断する。所定の基準は、所定の閾値のみではなく、所定の範囲でも良い。
【０１３２】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の傾きの情報を用いて、左右眼球の垂直方向と水平方向とのずれ量を計算する（Ｓ１０５０）。ずれ量の計算手順については後述する。
【０１３３】
補正量決定部１５０は、同一の補正処理を施す１つ以上の領域を決定する。補正量決定部１５０は、決定した領域を分割する（Ｓ１０６０）。補正量決定部１５０は、分割した領域ごとの補正量を決定する（Ｓ１０７０）。領域分割の方法と補正量の決定方法は後述する。
【０１３４】
画像処理部１６０は、ステップＳ１０７０で決定された領域ごとの補正量に基づいて画像の補正処理を行う（Ｓ１０８０）。画像の補正方法については後述する。
【０１３５】
画像提示部１７０は、ステップＳ１０８０で補正処理された画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０１３６】
図１３Ａに、ステップＳ１０３０の詳細な処理を示す。
【０１３７】
ジャイロセンサ１１１は、左目用と右目用の画像を分離するための眼鏡４００にかかっている加速度を計測する（Ｓ１０３１）。加速度は、例えば眼鏡４００のシャッタ面を構成する垂直の上下２軸と、水平の左右２軸と、さらにシャッタ面に直交する水平平面上で奥行き方向の２軸との、合わせて６軸の加速度を計測する。例えば、５０ｍｓ毎に１回計測する。
【０１３８】
傾き計算部１１２は、ジャイロセンサ１１１で計測された加速度を蓄積する。例えば、１０回分（０．５秒間）の各軸の加速度を、傾き計算部１１２が有する蓄積部に蓄積する。
【０１３９】
傾き計算部１１２は、０．５秒間の６軸それぞれに加えられた加速度の変動を求める。傾き計算部１１２は、所定の基準を用いて、変動が大きいか否かを判断する（Ｓ１０３２）。変動は、例えば加速度の分散、標準偏差または最大値と最小値の差分等である。
【０１４０】
本実施の形態では変動を示す値としてシャッタ面を構成する垂直の上下２軸における加速度を、上を正、下を負としてまとめ、標準偏差を計算する。例えばシャッタ面上下軸で、０．５秒間で計測された加速度の標準偏差が０．５Ｇを超える場合は変動が大きいと判断する。
【０１４１】
ステップＳ１０３２で変動が大きいと判断された場合は、ステップＳ１０３１に戻りジャイロセンサ１１１は、再度加速度を計測する。ステップＳ１０３２で変動が大きくないと判断された場合は、ステップＳ１０３３に進む。変動が大きくない場合、視聴者１００の頭部の傾きが計算できる。
【０１４２】
傾き計算部１１２は、６軸それぞれに加えられた加速度から重力加速度のベクトルを合成する（Ｓ１０３３）。頭部にかかる加速度は、重力加速度と運動による加速度の２つである。計測される加速度は重力加速度と運動による加速度の合成ベクトルを６軸に分解される。激しい運動が行われていない場合、運動加速度は小さく、重力加速度１Ｇに対して無視できる。そこで、６軸の合成ベクトルを重力加速度ベクトルとする。
【０１４３】
このベクトル方向が鉛直方向である。傾き計算部１１２は、Ｓ１０３３で合成された重力加速度ベクトルと、眼鏡４００のｘ軸、ｙ軸、ｚ軸との角度ωｘ、ωｙ、ωｚを求める（Ｓ１０３４）。
【０１４４】
図１３Ｂ（ａ）及び（ｂ）に、ジャイロセンサ１１１の計測座標系及び重力加速度を基準として、計測されるユーザの頭部の傾きを模式的に示す。図１３Ｂ（ａ）は、視聴者１００を正面から見た図である。
【０１４５】
６軸に含まれるｘ軸は、眼鏡４００のシャッタ面上の水平軸である。例えば、図１３Ｂ（ａ）に示す視聴者１００の右側（左目側）を正、視聴者１００の左側（右目側）を負とする。
【０１４６】
６軸に含まれるｙ軸は、シャッタ面上の垂直軸である。例えば、視聴者１００の頭部の上側（頭頂側）を正、視聴者１００の下側（あご側）を負とする。
【０１４７】
６軸に含まれるｚ軸は、シャッタ面と直交する軸である。シャッタ面と直交する軸とは、視聴者１００の身体の前後方向の軸である。例えば、視聴者１００の前側を正、視聴者１００の後ろ側を負とする。
【０１４８】
図１３Ｂ（ａ）に、視聴者１００の頭部が真っ直ぐ立っている状態を示す。図１３Ｂ（ａ）に示す場合、重力加速度によりｙ軸方向に、１Ｇの力が働く。ｘ軸及びｚ軸方向には、重力加速度により力が働かない。
【０１４９】
図１３Ｂ（ｂ）に、視聴者１００の頭部が傾く状態を示す。図１３Ｂ（ｂ）に示す場合、視聴者１００の頭部の傾きにより眼鏡が傾くと、眼鏡４００に固定されたジャイロセンサ１１１の計測軸が傾く。
【０１５０】
重力加速度は一定であるため、傾いた計測軸と重力加速度との角度ができる。傾き計算部１１２は、重力加速度ベクトルと計測軸のｘ軸、ｙ軸、ｚ軸との角度ωｘ、ωｙ、ωｚを求め、左右眼球水平差分量検出部１２０に出力する。
【０１５１】
図１４に、ステップＳ１０５０の詳細な処理を示す。
【０１５２】
左右眼球水平差分量検出部１２０は、傾き計算部１１２より出力された視聴者の頭部の角度が表示画面に対して平行かどうかを判断する（Ｓ１０５１）。具体的には、視聴者１００の両目を結んだ線と、表示画面に平行な面との角度が平行か否かを判断する。視聴者１００の頭部が表示画面に対して平行な場合、視聴者１００の頭部が表示画面に対して正面を向いているとみなせる。
【０１５３】
視聴者１００が映像を視聴している際、通常、表示画面に対して視聴者１００の頭部は正面を向いている。視聴者１００が座っている椅子の配置、又は視聴者１００の姿勢によって、表示画面に対して視聴者１００の頭部が正面を向いていない場合がある。この場合は、表示画面に平行な平面から見た視聴者１００の右目及び左目との距離は小さくなるため、右目と左目との間の距離補正を行う。
【０１５４】
ただし、以下の場合には、表示画面に対して視聴者１００の頭部が正面を向いていない場合でも、視聴者１００の両目間の距離を補正する必要が無い。例えば、視聴者１００が表示画面に対して下を向いているとき、視聴者１００が表示画面に対して上を向いている場合、視聴者１００が表示画面を全く見ていない場合がある。また、視聴者１００が表示画面を見ている場合でも、視聴者１００が伏目になっている場合がある。この場合は、両目が視聴者１００の顎に近づいている。しかし、表示画面に平行な面から見た両目の距離は変わらない。視聴者１００が上目遣いになっている場合も同様である。
【０１５５】
左右眼球水平差分量検出部１２０は、視聴者１００の頭部の前後方向の傾きωｚが所定の基準を満たすか否かを判断する。例えば、所定の基準は、１０度以上である。又は、所定の基準は、１０度から３０度の範囲である。
【０１５６】
傾きωｚが１０度以上である場合は、左右眼球水平差分量検出部１２０は、視聴者１００の左右の眼球の間の距離を補正する（Ｓ１０５２）。
【０１５７】
図１５に、表示画面と視聴者１００の眼球とを上面から見た様子を示す。図１５に示すように、表示画面に平行な面（１５００）と、視聴者１００の右目及び左目を結んだ線（１５０１）とが平行ではない。この場合、表示画面に平行な面と、視聴者１００の両目を結んだ線とがなす角がωｚである。よって、視聴者１００の右目及び左目の距離はｗｃｏｓωｚとなる。
【０１５８】
ｗ＝６．５ｃｍの場合、視聴者１００の右目及び左目の距離は６．５×ｃｏｓωｚ（ｃｍ）である。例えば、ωｚが１０度の場合の視聴者１００の右目及び左目の距離は、ωｚが０度の場合の視聴者１００の右目及び左目の距離と比べて、約１．５％短い６．４ｃｍとなる。
【０１５９】
ωｚが１０度以上である場合、視聴者１００の右目及び左目の距離をｗｃｏｓωｚに補正する。ステップＳ１０５１においてωｚが１０度未満であれば、両目間距離の補正を行わず、ステップＳ１０５２へ進む。ステップＳ１０５２では、（表示画面と平行な面において、両目の位置が画面の水平方向、垂直方向からずれる距離を求める（Ｓ１０５３）。
【０１６０】
図６に示すように、画面垂直方向の左右の目の位置の差は両目の距離のｓｉｎωｘ倍すなわちｗｓｉｎωｘである。画面水平方向の左右の目の位置の差はｗ（１−ｃｏｓωｘ）となる。ステップＳ１０５１でωｚが１０度以上であった場合は、垂直軸上の左右眼球の距離はｗｃｏｓωｚ・ｓｉｎωｘとなる。水平方向の左右の目の位置の差はｗｃｏｓωｚ（１−ｃｏｓωｘ）となる。
【０１６１】
図１６に、ステップＳ１０６０とステップＳ１０７０の詳細な処理を示す。
【０１６２】
焦点対象範囲決定部１５１は、奥行き情報記憶部１４０に記憶された奥行き情報に基づき、処理時点の映像中にある被写体のうち、仮想位置が最も視聴者に近い被写体が占める画面上の領域を焦点領域として決定する（Ｓ１０６１）。
【０１６３】
補正領域分割部１５３は、各領域内の被写体の仮想位置に従って、前方補正領域と後方補正領域とに映像領域を分割する（Ｓ１０６３）。
【０１６４】
補正領域分割部１５３が、表示画面の全領域のうち、焦点領域以外の領域を、前方補正領域又は後方補正領域と決定する（Ｓ１０６２）。
【０１６５】
所定の基準より小さい飛び出し量を有する領域を、前方補正領域と決定する。例えば、所定の基準は、１ｍ未満である。
【０１６６】
所定の基準以上の飛び出し量を有する領域を、後方補正領域と決定する。例えば、所定の基準は、１ｍ以上である。
【０１６７】
補正領域分割部１５３は、ステップＳ１０６１で決定した焦点領域を補正領域と決定する。表示画面の全領域のうち、焦点領域以外の領域（前方補正領域及び後方補正領域）を、非補正領域と決定する。非補正領域に存在する物体の仮想位置は、補正領域に存在する物体のより、表示画面に近いため、補正しない。
【０１６８】
非補正領域は仮想位置が表示画面平面から視聴者側へ１ｍ飛び出した位置から表示画面より１ｍ視聴者から遠ざかった位置までの領域である。
【０１６９】
図９（ａ）に示す例では、非補正領域は、領域０２、１０、１２、１３、２０、２３、３０、３２、３３である。
【０１７０】
本実施の形態では、表示画面からの飛び出し１ｍ未満と遠ざかる位置１ｍ未満を非補正領域としたが、表示画面と視聴者１００との距離（例えば、２．７ｍ）にも基づいて決定してもよい。または、表示画面と視聴者１００との所定の距離の割合の位置の比で設定しても良い。具体的には、表示画面と対象物との距離、及び対象物と視聴者１００との距離の比である。
【０１７１】
奥行き情報記憶部１４０が、図９（ａ）に示すように、表示画面を１６個に分割した領域毎に、奥行き情報を保持している場合について説明する。図９（ｂ）に、各領域の奥行き情報の分布を示す。図９（ｂ）の縦軸は、領域の数であり、横軸は、奥行き量である。
【０１７２】
図９（ｂ）に示すように、２つの領域が有する５００ｍｍ以上１０００ｍｍ以下の奥行き量は、その他の領域が有する奥行き量に比べて小さい。小さい奥行き量を有する領域に存在する被写体は、その他の領域の被写体より仮想位置が視聴者に近い。
図９（ａ）の例では、領域２１及び領域３１の２つの領域を、焦点領域として決定する。小さい奥行き量を有する領域を抽出するために、奥行き量の分布を用いて行ったが、
奥行き情報記憶部１４０がより細かく分割した領域毎に奥行き量を有している場合には、最も小さい奥行き量を有する領域から順に所定の数の領域を、焦点領域と決定してもよい。所定の数ではなく、全ての領域の数に対する所定の割合としても良い。例えば、所定の割合を１０％とする。
【０１７３】
また、最も小さい奥行き量を有する領域に基づいて、全ての領域の数に対する所定の割合の領域を補正領域と決定してもよい。具体的には、最も小さい奥行き量を有する領域を決定し、最も小さい奥行き量を有する領域と隣り合う領域のうち、最も小さい奥行き量を有する領域を決定する。次に、決定した領域と隣り合う領域のうち、最も小さい奥行き量を有する領域を決定する。
【０１７４】
最も小さい奥行き量を有する領域と加えた領域との数が、所定の割合と一致するように、領域決定する。または、最も小さい奥行き量を有する領域と加えた領域の面積が、全領域の面積に対して所定の割合になるように、領域を決定する。決定した領域を、補正領域とする。
【０１７５】
また、最も小さい奥行き量を有する領域から、同じ輻輳角で融像可能な奥行き範囲（立体視の深度）に基づき、最も奥行きの小さい領域を注視した際の輻輳角で融像可能な奥行き範囲を焦点領域として決定するとしても良い。
【０１７６】
ステップＳ１０７０では、補正量計算部１５２は、Ｓ１０６１で決定した焦点領域である領域２１及び領域３１と、前方補正領域及び後方補正領域とに対する垂直と水平の補正量とを決定する。
【０１７７】
図１７に、ステップＳ１０７０の処理の詳細を示す。
【０１７８】
補正量計算部１５２は、焦点領域の補正量を決定するために、全ての焦点領域の奥行きの代表値を決定する（Ｓ１０７１）。
【０１７９】
図９に示す例では、領域２１の奥行き情報を、領域２１及び領域３１の奥行き情報の代表値とする。
【０１８０】
従って、より小さい奥行き量を有する領域にあわせて、補正する。本実施の形態の例では、最も奥行きの小さい領域の奥行き情報に合わせて、焦点領域の補正値を定めるとしたが、焦点領域の奥行き分布を作成して、奥行きの最頻値を用いて補正値を定めるとしても良い。また、焦点領域の奥行きの平均あるいは中央値を用いるとしても良い。
【０１８１】
補正量計算部１５２は、焦点領域の奥行きとして設定された領域２１の奥行きとステップＳ１０５０で求められた画面平面上での視聴者の両目の位置に対して、左右の画像の補正値を求める（Ｓ１０７２）。
【０１８２】
仮想カメラ位置、すなわち視聴者の眼球は、画面平面から２．７ｍの位置にあり、領域２１の奥行きは眼球位置から９００ｍｍ（図９中の代表値）である。よって、被写体の仮想位置は、画面平面より視聴者に近い。
【０１８３】
従って、垂直方向の補正値は、視聴者の目の上下位置とは反対の方向に行う。視聴者の頭部の傾きにより右目が左目より高い位置にある場合は右目用画像の垂直位置を下げ、左目用画像の垂直位置を上げる。ステップＳ１０５３で計算された頭部の傾き１０度に従って図１０中の領域２１と領域３１の垂直補正量２２．５７ｍｍ、水平補正量１．９７ｍｍを計算する。
【０１８４】
補正量計算部１５２は、前方補正領域の補正値を決定するための、奥行き情報の代表値を決定する（Ｓ１０７３）。前方補正領域は、領域１１と領域２２である。補正量計算部１５２は、領域２２の奥行き情報を、領域２２と領域１１との奥行き情報の代表値とする。仮想位置の代表値がより視聴者に近い領域の代表値を、前方補正領域の代表値とする。本実施の形態では最も奥行きの小さい領域の奥行き情報に合わせて、焦点領域の補正値を定めるものとしたが、焦点領域の奥行き分布を作成して、奥行きの最頻値を用いて補正値を定めるとしても良い。
【０１８５】
補正量計算部１５２は、前方補正領域の補正値を決定する（Ｓ１０７４）。ステップＳ１０７３で決定された代表値と、ステップＳ１０５３で計算された頭部の傾き１０度とに従って、領域１１及び領域２２の垂直補正量と水平補正量とを計算する。図１０に計算した結果を示す。領域１１及び領域２２の垂直補正量６．６３ｍｍ、水平補正量０．５８ｍｍである。
【０１８６】
水平補正量が１ｍｍに満たず、２．７ｍはなれた位置から視聴する際の影響が無視できるため水平補正量を０とする。ここでは１ｍｍ未満の補正量を０としたが、視聴者と画面との距離に応じて基準を調整するあるいは、視聴者と画面との標準距離に対する比で基準を決定するとしても良い。
【０１８７】
さらに補正量計算部１５２は後方補正領域の補正値を計算する（Ｓ１０７４）。後方補正領域は本実施の形態では仮想位置が画面から奥へ１ｍ以上離れた領域である。後方補正領域について、補正値は仮想位置が画面から奥へ１ｍの条件を固定して計算する。ステップＳ１０５３で計算された頭部の傾き１０度に基づき、図１０中の領域００、領域０１、領域０３の垂直補正量３．０ｍｍ、水平補正量０．２６ｍｍを計算する。水平補正量が１ｍｍに満たないため水平補正量は０とする。
【０１８８】
ステップＳ１０８０の動作について、図１８に従って詳細を説明する。領域補正処理部１６１は、後方補正領域を切り出す（Ｓ１０８１）。
【０１８９】
図１０の例では、ステップＳ１０６０で決定された後方補正領域は領域００、領域０１、領域０３である。例えば、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、右目用の画面が左目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９０】
図１０の例では当該領域の垂直補正量は３．０ｍｍ、水平補正量は０なので、左右の画像で１．５ｍｍずつ移動する。移動方向あるいは移動量の異なる他の領域との境界で、画像に隙間ができないよう、ステップＳ１０８１での領域の切り出しは、移動方向と反対向きに領域を移動量だけ拡張して切り出す。
【０１９１】
図１０の例では当該領域はいずれも画像の上端部分であり、当該領域より垂直方向の上の位置には画像データが存在しない。本実施の形態の例では垂直方向下向きの移動の際には領域を拡張できないが、垂直方向上向きの移動では移動量に相当する部分を垂直方向下向きに拡張して画像を切り出す。
【０１９２】
領域補正処理部１６１は、ステップＳ１０８１で切り出した右目用画像を垂直方向下向きに１．５ｍｍ移動し、ステップ１０８１で切り出した左目用画像を垂直方向上向きに１．５ｍｍ移動する（Ｓ１０８２）。この際、右目用画像では垂直方向下向きに隣接する領域と当該領域が重なる。重なり部分についての処理は後述する。また、左目用画像では領域の上辺１．５ｍｍは画面に提示されなくなる。
【０１９３】
さらに領域補正処理部１６１は、前方補正領域を切り出す（Ｓ１０８３）。後方補正領域と同様に移動方向と反対向きの領域を移動量だけ拡張して切り出す。
【０１９４】
図１０の例では前方補正領域は領域１１と領域２２である。当該領域の補正量は垂直補正値が６．６３ｍｍ、水平補正値が０である。前方補正領域では、被写体の仮想位置が画面平面より視聴者側にあるため、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、左目用の画面が右目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９５】
本実施の形態の例では右目用の画像については領域を垂直方向下向きに３．３１５ｍｍ拡張した範囲を切り出す。左目用の画像については領域を垂直上向きに３．３１５ｍｍ拡張した範囲を切り出す。領域補正処理部１６１はステップＳ１０８３で切り出した右目用画像を垂直方向上向きに３．３１５ｍｍ移動し、ステップＳ１０８３で切り出した左目用画像を垂直方向下向きに３．３１５ｍｍ移動する（Ｓ１０８４）。
【０１９６】
さらに領域補正処理部１６１は焦点範囲を切り出す（Ｓ１０８５）。ステップＳ１０８１、ステップＳ１０８３と同様に移動方向と反対向きの領域を移動量だけ拡張して切り出す。図１０の例では焦点範囲は領域２１と領域３１である。当該領域の補正量は垂直補正値が２２．５７ｍｍ、水平補正値が１．９７ｍｍである。
【０１９７】
本実施の形態では焦点範囲は仮想位置が画面平面より視聴者側にあるため、ステップＳ１０５３で計算された頭部の傾きが視聴者の右側が下がる方向に１０度とすると、左目用の画面が右目用の画面より垂直方向に下がった位置になるように左右の画像の当該領域を移動する。
【０１９８】
右目用の画像については領域３１が画面の下端であるため、垂直方向下向きへの拡張は不可能である。水平方向には右目用の画像を水平方向左へ０．９８５ｍｍ移動するため領域を右へ０．９８５ｍｍ拡張した範囲を切り出す。左目用の画像については垂直方向上向きに１１．２８５ｍｍ拡張し、水平方向には左へ０．９８５ｍｍ拡張した範囲を切り出す。領域補正処理部１６１はステップＳ１０８５で切り出した右目用画像を垂直方向上向きに１１．２８５ｍｍ移動し、水平方向左向きに０．９８５ｍｍ移動する（Ｓ１０８７）。
【０１９９】
境界領域処理部１６２は、各領域の移動により画像が重なった部分について仮想位置が視聴者からより遠い領域の画像を消去する（Ｓ１０８７）。
【０２００】
本実施の形態では後方補正領域と他の領域との重なり部分は後方補正領域の画像を消去し、非補正領域と前方補正領域または焦点範囲との重なり部分は非補正領域の画像を消去する。
【０２０１】
前方補正領域と焦点範囲との重なり部分は前方補正領域の画像を消去する。境界領域処理部１６２は領域間の隙間部分が画面の４辺すなわち上端、下端、左端、右端のいずれかに接しているか否かを判断する（Ｓ１０８８）。ステップＳ１０８８で領域間の隙間部分が上端、下端、左端、右端のいずれかに接している場合、境界領域処理部１６２は隙間部分が接している端の画像のうち、隙間より外側にある部分を消去する（Ｓ１０８９）。ステップＳ１０８８で領域間の隙間部分が上端、下端、左端、右端のいずれかに接していない場合はステップＳ１０９１に進む。
【０２０２】
ステップＳ１０９１では、境界領域処理部１６２は画像の４辺に接していない隙間について、隣接する領域のうち仮想位置が視聴者からより遠い領域の画像により補完する（Ｓ１０９１）。
【０２０３】
境界領域処理部１６２はステップＳ１０６０で分割した各領域の領域間の境界を挟む部分に対して境界処理を行う（Ｓ１０９２）。
【０２０４】
なお、本実施の形態１では補正のための領域分割を焦点範囲と前方補正領域、後方補正領域、非補正領域に分割したが、焦点範囲のみ補正し、他の領域を補正しないものとしても良い。また、画像をあらかじめ定められた奥行き範囲ごとに分割し、奥行きに従って画像の移動および境界領域処理を行うとしても良い。
【０２０５】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、頭部傾きによって視聴者の両目の左右軸と画面の水平軸とのずれをもとめ、頭部傾きによって生じる視聴者の目の上下方向の画像の位置ずれを計算して、被写体の奥行きごとに画像を傾けることなく表示位置を補正して、視差を視聴者の頭部の傾きに合わせてつけた左右映像を表示する。
【０２０６】
これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、画像の水平軸と実環境の水平軸がずれないため、映像酔いを起こすことなく映像の視聴を続けることができる。
【０２０７】
また、ヨガや体操あるいはダンスのように体を視聴者がコンテンツの内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。
【０２０８】
なお、本実施の形態１では奥行き情報記憶部１４０に画像中の被写体ごとまたは画像領域ごとの奥行き情報が記憶され、この奥行き情報に基づいて領域を分割して画像に補正処理を施すとしたが、奥行き情報生成部を設けて、左右の画像の対応点の位置から画像中の被写体ごとまたは画像領域ごとの奥行き情報を生成するとしてもよい。
【０２０９】
（実施の形態２）
図１９は、本実施の形態による画像表示装置２の構成図である。実施の形態１では、左目用の画像、右目用の画像に対して、奥行き情報を用いて画像処理を施すことで、視聴者の顔が傾いたときの映像を自動的に生成した。本実施の形態においては、撮影時において、事前に複数組のカメラで撮影された画像を用いて、視聴者の顔が傾いたときに違和感のない、適切な画像を提供するものである。
【０２１０】
実施の形態１と同一の構成については同一の記号を付して説明する。画像表示装置２は、傾きセンサ１１０と、画像蓄積部２３０と、画像選択部２４０と、画像提示部１７０とを備える。
【０２１１】
傾きセンサ１１０は、視聴者１００の頭部の傾きを測定する。
【０２１２】
画像蓄積部２３０は、視聴者１００の左目に提示する画像及び右目に提示する複数組の画像を、撮像時の左右のカメラの傾きの角度ごとに、蓄積している。
【０２１３】
画像選択部２４０は、視聴者１００の頭部の傾きに従って、画像蓄積部２３０が蓄積している画像の組から視聴者１００の頭部の傾きに最も近い撮像時の角度をもつ画像の組を選択する。
【０２１４】
画像提示部１７０は、画像選択部２４０で選択した１組の画像を、表示画面に表示する。
【０２１５】
画像選択部２４０は１つ以上のＣＰＵと１つ以上のメモリとによって実現される。また、画像蓄積部２３０は１つ以上のメモリによって実現される。画像選択部２４０を実現するメモリと、画像蓄積部２３０とを実現するメモリは、独立のものであっても、共通のものであってもよい。
【０２１６】
図２０は、画像蓄積部２３０が蓄積する画像データの一例を示す。図２１Ａは左右のカメラの位置が水平から傾いた画像の組を複数組一度に撮像するためのカメラシステムの一例である。図２１Ｂは、左右のカメラの位置が水平から傾いた状態で撮像した左右の画像と視聴者の頭部の傾きが合致する場合に正常な立体視のための両目視差を実現できることを模式的に示した図である。
【０２１７】
画像蓄積部２３０は、左目用例えば図２１Ａのように両目間距離６．５ｃｍを直径とする円周上に配置したカメラを用いて、円の中心に対して点対照の位置にある２つのカメラで撮像された画像を左目用、右目用各々の画像とする画像データの組を蓄積する。各画像の組のデータに加え、２つのカメラを結ぶ角度が、水平軸から何度傾いていたかもあわせて蓄積する。カメラは図２１Ａの例では１２あり、各カメラの水平軸は、撮像空間の水平軸と平行である。カメラ３０とカメラ２４との組が傾き０であり、カメラ２１と２７が９０度である。カメラ３１とカメラ２５との組が３０度、カメラ３２とカメラ２６の組が６０度のように３０度ごとに配置されたカメラによって６組の画像が蓄積される。１２のカメラは同時に撮像を行っており、どのシーンにおいてもカメラの位置が３０度ごとに配置された６組の画像が蓄積されている。
【０２１８】
ここで注意しなければいけないのが、図２１Ｃに示すようにカメラの画角は傾けることなく、図２１Ａに示すようにカメラの画角はすべてのカメラで同一になるようなカメラの設置を用いる。
【０２１９】
視聴者１００は前庭器官で常に重力加速度を知覚しており、頭部を傾けても周辺環境の鉛直軸を基準として空間を認識している。すなわち、実空間において頭部を傾けて立体視する際に、人間は目の位置のみを斜めに配置して、それぞれの目から入力される視覚情報は鉛直軸を維持して処理されている。このような人間の視覚特性に合わせて、カメラの画角は鉛直軸をそろえて配置されるべきである。
【０２２０】
図２２は、本実施の形態の画像表示装置２の処理手順を示すフォローチャートである。以下処理手順を図２２に従って説明する。
【０２２１】
画像表示装置２に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。入力部は例えば視聴者１００が入力するボタン等である。画像表示指示信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０２２２】
画像表示装置２の図示しない制御部は画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。画像表示終了信号の入力がある場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において画像表示終了信号の入力がない場合、ステップＳ１０３０に進む。ステップＳ１０３０では傾きセンサ１１０が視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については実施の形態１と同様である。次に画像選択部２４０はステップS１０３０で計測された視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組を1組、画像蓄積部２３０に蓄積された画像データの組から選択する。視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組とは、例えば図２１Ａのカメラシステムで撮像された６組の画像から、図２１Ｂのように傾いた視聴者１００の頭部の傾きと最も近い角度の傾きになるカメラの組によって撮像された画像データをさす。図２１Ｂの例ではカメラ２９とカメラ２３により水平から３０度傾いた画像の組である。視聴者１００の頭部が傾いていない場合は、水平からの傾き０度の画像の組、図２１Ａの例ではカメラ３０とカメラ２４により撮像された画像の組を選択する。視聴者１００の頭が完全に横になっており、９０度傾いている場合には、水平からの傾き９０度の画像の組、図２１Ａの例ではカメラ２１とカメラ２７により撮像された画像の組を選択する（Ｓ２０６０）。画像蓄積部２３０はステップＳ２０６０で選択された画像の組を画像提示部１７０に出力し、画像提示部１７０はその画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０２２３】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、複数の傾きをもって撮像された画像の組のうち、視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択して表示することで、両目の視差を視聴者の頭部の傾きに合わせた左右映像を表示する。これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、撮像時のカメラの水平軸は撮像する空間の水平軸と合致しているため、画像の水平軸と実環境の水平軸も合致し、映像酔いを起こすことなく映像の視聴を続けることができる。また、ヨガや体操あるいはダンスのように体を視聴者がコンテンツの内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択して表示することで、画像処理を行わず瞬時に画像を切り替えることができ、頭部の運動が比較的速い場合にも追随して、視聴者の頭部の傾きに合わせた画像を提示することができる。
【０２２４】
(実施の形態３)
図２３は、本実施の形態による画像表示装置３の構成図である。実施の形態２では、複数組の撮像装置で撮影された映像を用いて、視聴者の顔面の傾きに応じた映像提供を行った。しかしながら、事前に撮影する映像の組は、有限であるため、さらに詳細な顔の傾きに対応することが困難である。そこで、本実施の形態では、実施の形態２で述べたように、複数組の撮像装置で撮影した映像に対して、奥行き情報を付与し、実施の形態１で述べた画像処理を融合することで、視聴者にとって、さらに、違和感の少ない映像を提供するものである。
【０２２５】
実施の形態１および実施の形態２と同一の構成については同一の記号を付して説明する。画像表示装置３は視聴者１００の頭部の傾きを測定する傾きセンサ１１０と、視聴者１００の左目に提示する画像と右目に提示する画像を撮像時の左右のカメラの傾きの角度ごとに複数組蓄積している画像蓄積部２３０と、前記画像蓄積部２３０に蓄積されている画像の奥行き情報を抽出して記憶する奥行き情報記憶部３４０と、前記傾きセンサ１１０で測定された視聴者１００の頭部の傾きに従って、前記画像蓄積部２３０が蓄積している画像の組から視聴者１００の頭部の傾きに最も近い撮像時の角度をもつ画像の組を選択する画像選択部２４０と、前記画像選択部２４０が選択した前記画像蓄積部２３０に蓄積された画像の傾きと、前記傾きセンサ１１０で測定された視聴者１００の頭部の傾きとの差より、前記画像選択部２４０が選択した前記画像蓄積部２３０に蓄積された画像の視差方向に対して視聴者１００の左右それぞれの眼球が画面の水平軸と平行な軸からどれだけ離れているかを計算する左右眼球水平差分量検出部３２０と、前記左右眼球水平差分量検出部３２０で求められた左右の眼球の垂直方向の距離と、前記奥行き情報記憶部３４０に記憶された画像の奥行き情報に従って、提示する画像の補正方向と補正量を決定する補正量決定部３５０と、前記補正量決定部３５０で決定された補正方向と補正量にしたがって、前記画像蓄積部２３０に蓄積された画像を補正する画像処理部１６０と、前記画像処理部１６０で処理された画像を表示する画像提示部１７０とを備えている。画像選択部２４０、左右眼球水平差分量検出部３２０、補正量決定部３５０、画像処理部１６０は1つ以上のＣＰＵと1つ以上のメモリとによって実現される。また、画像蓄積部２３０と奥行き情報記憶部３４０は1つ以上のメモリによって実現される。画像選択部２４０、左右眼球水平差分量検出部３２０、補正量決定部３５０、画像処理部１６０を実現するメモリと、画像蓄積部２３０と奥行き情報記憶部３４０を実現するメモリは、独立のものであっても、共通のものであってもよい。
図２４は奥行き情報記憶部３４０に記憶する奥行き情報の一例である。奥行き情報記憶部３４０は、図９に示したような奥行き情報を記録時間ごと（サンプル点ごと）にもち、サンプルごとの奥行き情報を、画像蓄積部２３０が左右眼球用画像と合わせて蓄積している左右カメラの傾きごとに記憶する。
【０２２６】
図２５は、本実施の形態の画像表示装置３の処理手順を示すフォローチャートである。以下処理手順を図２５に従って説明する。
【０２２７】
画像表示装置３に対して、図示しない入力部より、画像表示指示信号の入力に従って処理を開始する（Ｓ１０１０）。
【０２２８】
入力部は、例えば、視聴者１００が入力するボタン等である。画像表示指示信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である。
【０２２９】
画像表示装置３の図示しない制御部は、画像表示終了信号の入力の有無を確認する。画像表示終了信号は、例えば視聴者１００が入力するボタン等の信号やタイマーなどにより自動で生成された信号である（Ｓ１０２０）。
【０２３０】
画像表示終了信号の入力がある場合、画像表示システム１は処理を終了する（Ｓ１１００）。ステップＳ１０２０において画像表示終了信号の入力がない場合、ステップＳ１０３０に進む。ステップＳ１０３０では傾きセンサ１１０が視聴者１００の頭部の傾きを計測する（Ｓ１０３０）。計測の手順については実施の形態１と同様である。
【０２３１】
次に画像選択部２４０はステップＳ１０３０で計測された視聴者１００の頭部の傾きに最も近い傾きを持つ画像の組を１組、画像蓄積部２３０に蓄積された画像データの組から選択する（Ｓ２０６０）。左右眼球推定差分量検出部３２０は、ステップＳ１０３０で計測された視聴者１００の頭部の傾きと、ステップＳ２０６０で選択された画像データの組のカメラ位置がなす角度とを比較する（Ｓ３０７０）。ステップＳ３０７０において視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との差が、あらかじめ定められた角度未満、例えば５度未満、である場合に左右眼球推定差分量検出部３２０は視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差がないと判断し、ステップＳ１０９０へ進む。ステップＳ３０７０において、視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との差が、あらかじめ定められた角度以上、例えば５度以上である場合に、左右眼球推定差分量検出部３２０は視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差があると判断する。ステップＳ３０７０において、視聴者１００の頭部の傾きと画像データの組のカメラ位置がなす角度との間に差があると判断された場合は左右眼球推定差分量検出部３２０は左右眼球の垂直方向と水平方向の、ステップＳ２０６０で選択された画像組とのずれ量を計算する（Ｓ１０５０）。ずれ量の計算は実施の形態１のステップＳ１０５０と同様に行う。ただし、実施の形態１のＳ１０５０において、画面の水平方向に対して、視聴者１００の左右眼球のずれ量を計算したのに対してここでは、ステップＳ２０６０で選択された画像組のカメラ位置がなす角度を基準として、カメラ位置がなす角度に対して視聴者１００の左右眼球を結ぶ直線の角度を求め、カメラ位置がなす角度と平行な軸上でのずれ量を左右眼球の水平方向のずれ量とし、カメラ位置がなす角度と直行する軸上でのずれ量を左右眼球の垂直方向のずれ量として計算する。
【０２３２】
補正量決定部３５０は。同一の補正処理を施す領域を１つ以上決定して、領域を分割し（Ｓ１０６０）、さらにその領域ごとの補正量を決定する（Ｓ１０７０）。領域分割の方法と補正量の決定方法は実施の形態１と同様の処理で実現できる。画像処理部１６０はステップＳ１０７０で決定された領域ごとの補正量に基づいて画像の補正処理を行う（Ｓ１０８０）。画像の補正方法については後述する。画像提示部１７０はステップＳ１０８０で補正処理された画像を表示する（Ｓ１０９０）。ステップＳ１０２０からステップＳ１０９０を繰り返して画像表示終了信号が入力されるまで画像表示を継続する。
【０２３３】
以上のような立体視映像のための画像表示装置は、視聴者の頭部の傾きを計測して、複数の傾きをもって撮像された画像の組のうち、視聴者の頭部の傾きに最も近い傾きを持ってあらかじめ撮像された左目用、右目用の画像の組を選択し、さらに選択された画像の組の傾きと視聴者の頭部の傾きの差によって生じる視聴者の目の上下方向の画像のずれを計算して、表示位置を補正して視差を視聴者の頭部の傾きに合わせてつけた左右映像を表示する。これにより、視聴者が横になったりもたれたりして、両目の左右軸が画面の水平軸とずれても、視聴者は正しい視差で映像を見ることができ、さらに、画像の水平軸と実環境の水平軸がずれないため、映像酔いを起こすことなく映像の視聴を続けることができる。また、ヨガや体操あるいはダンスのように視聴者が画面表示の内容に合わせて身体や頭を傾けるコンテンツに対しても立体映像を利用することができ、身体の動作を習得する際に２次元画像より有効とされる立体映像の利点をより活かすことができる。また、視聴者の頭部の傾きに近い画像から補正を行うため、補正量が少なく、画像処理による画像の劣化を少なくすることができる。
【０２３４】
なお、実施の形態２および実施の形態３において、画像蓄積部２３０は左右のカメラの角度が異なる６組の画像を蓄積するものとしたが、コンテンツの継続時間すべてにおいて６組の画像を蓄積しておくとしてもよいし、コンテンツの継続時間中の特定の部分に対して特定の角度の範囲の画像を蓄積しておくとしてもよい。特に、ヨガや体操あるいはダンスのように視聴者が画面表示の内容に合わせて身体を動かすコンテンツにおいては、画面に身体あるいは頭部を傾けることを指示する内容が表示される時間区間のみ２つのカメラが水平以外の角度で撮像した画像を蓄積してもよい。さらに、画面で指示する角度あるいは指示する角度を含む一定の範囲の角度で撮像した画像を蓄積してもよい。また、戦闘機やロケットのように３次元に移動可能な乗り物のシミュレーション等、画像への反応として身体を傾けることが自然な画像の場合には、コンテンツの内容から、視聴者が身体を傾けることが予測される時間区間においてのみ２つのカメラが水平以外の角度で撮像した画像を蓄積してもよい。
【０２３５】
（実施の形態４）
本実施の形態では、３Ｄ眼鏡と画像を表示する装置とが双方向の通信を行う画像表示システム４の構成について説明する。図２６Ａに、画像表示システム４の構成の一例を示す。図２６Ａにおいては、実施の形態１で説明したブロックに関しては、同一の番号を付与している。
【０２３６】
画像表示システム４は、表示装置システム１の構成に加えて、傾き送信情報生成部２６００と、傾き情報送信部２６０１と、傾き情報受信部２６０２と、同期信号送信部２６０３と、同期信号受信部２６０４と、シャッタ制御部２６０５とを備える。
【０２３７】
傾き送信情報生成部２６００は、傾きセンサ１１０で測定された３Ｄ眼鏡の傾きデータを所定の送信フォーマットに加工する。
【０２３８】
傾き情報受信部２６０２は、傾き送信情報生成部２６００で生成された３Ｄ眼鏡の傾き情報を送信する。
【０２３９】
同期信号送信部２６０３は、画像提示部１７０で提示される画像に対して、左目用画像と右目用画像の切替制御の同期信号を送信する。
【０２４０】
同期信号受信部２６０４は、テレビの同期信号送信部２６０３から送信された信号を受信する。
【０２４１】
シャッタ制御部２６０５は、同期信号受信部２６０４で受信した信号に基づき、３Ｄ眼鏡の右目のシャッタ及び左目のシャッタを制御する。右目のシャッタは、右目に画像が提示されないように右目への映像を遮蔽する。左目のシャッタは、左目に画像が提示されないように左目への映像を遮蔽する。
【０２４２】
上記のように構成されたシステムにおいては、実施の形態１で説明したモジュールについては、同様の動作を行う。
【０２４３】
本実施の形態においては、３Ｄ眼鏡とテレビとの通信内容をさらに説明する。本システムでの眼鏡とテレビとの通信は、BluetoothやZigBee、無線ＬＡＮ等に代表されるような近距離の無線通信を想定している。図２６Ｂは、画像表示装置と３Ｄ眼鏡の通信手順を示す。
【０２４４】
３Ｄ眼鏡の電源が入力されると同時に、３Ｄ眼鏡は自らのＩＤを発信し(通信１)、テレビに対して所定ＩＤの眼鏡の電源が入力されたことを知らせる。
【０２４５】
その信号をテレビ側で受信し、３Ｄ眼鏡のＩＤが登録される。その後、登録された３Ｄ眼鏡に対して、眼鏡の液晶シャッタの開閉に関する制御信号が送信される(通信２)。
【０２４６】
このとき、実施の形態１でも述べたように、傾きセンサ１１０で検出された眼鏡の傾きデータを所定のタイミングでテレビ側に発信する（通信３）。
【０２４７】
傾き生成情報生成部２６００は、図２７に示すように、眼鏡ＩＤ、送信日時、送信時刻、送信先表示機器ＩＤ、Ｘ軸傾きデータ、Ｙ軸傾きデータ、Ｚ軸傾きデータを含む送信情報を生成する。
【０２４８】
傾き情報生成部２６０１は、傾き情報送信部２６０１では、傾き送信情報生成部２６００で生成された、図２７の情報をテレビに向けて送信する。
【０２４９】
図２７に示すように、送信するデータについては、図２７に示すようにバイナリデータやテキストデータ、または、ＸＭＬフォーマットで記述されているデータを送信する(通信３)。
【０２５０】
また、３Ｄテレビ等の表示装置は、画像提示部１７０の左目用画像、右目用画像の表示と同期させるためのタイミング信号を同期信号送信部２６０３から３Ｄ眼鏡に対して送信する。
【０２５１】
図２８に示すように、送信する信号は、送信元のテレビＩＤ、送信日時、送信時刻、送信先眼鏡ＩＤ、シャッタの制御信号を含む。図２８に示すように、バイナリデータ、テキストデータ、または、ＸＭＬフォーマットで記述されているデータとしてを送信する。このようにして、３Ｄ眼鏡と３Ｄテレビとの双方向の無線通信を利用することで、視聴者の眼鏡の傾き情報に応じた３Ｄテレビの画像の制御が可能になる。
【０２５２】
なお、３Ｄテレビを視聴するユーザは、一人とは限らない。複数人が視聴する場合もある。そのときは、図２９に示すように、３Ｄ眼鏡４００１と３Ｄ眼鏡４００２がそれぞれ、３Ｄテレビと双方向通信を行うことになる。実施の形態１から３で述べてきたように、視聴者の眼鏡の傾きにより、提供する画像を修正する。しかしながら、複数の視聴者が閲覧している場合には、一人の視聴者の眼鏡の傾きが検出された場合に、その視聴者に応じて提供する画像を修正すると、もう一人の視聴者が正常に視聴できなくなる。
【０２５３】
そこで、本実施の形態においては、例えば、３Ｄ眼鏡４００２からの傾き情報として、眼鏡の傾きが検出された場合には、３Ｄ眼鏡４００２に対して、左目用の画像を提供しているときに、左目、右目のシャッタを開き、右目用の画像を提供しているときに、左目、右目のシャッタを閉じることで、２Ｄ映像を提供するようにする。そのときの通信内容を図３０に示す。図３０で示すように、眼鏡４００１に対しては、左右のシャッタを交互に開くようにテレビが送信する一方、眼鏡４００２に対しては、左右のシャッタを同期させて開閉するような内容の送信を行う。一方、眼鏡４００１、眼鏡４００２ともに同じくらいの角度だけ傾いている場合には、実施の形態１から３で述べてきたように、提供する画像を補正することで、同様の３Ｄ映像を提供する。これにより、複数のユーザが３Ｄ映像を視聴している場合でも、不具合映像を提供することなく、実現することが可能になる。
【産業上の利用可能性】
【０２５４】
本発明にかかる画像表示装置は、立体映像を表示する場合に広く利用可能であり、映画やビデオ等の収録済みコンテンツを視聴する際に有用である。特にコンテンツの内容に合わせて視聴者が身体や頭部を動かす、ヨガや体操あるいはダンスの練習用コンテンツや、３次元動作する乗り物のシミュレーション等に有用である。ゲームや教育、訓練用のシステム等の用途に応用できる。
【符号の説明】
【０２５５】
１ 画像表示システム
１１０ 傾きセンサ
１１１ ジャイロセンサ
１１２ 傾き計算部
１１３ 送信部
１２０、３２０ 左右眼球水平差分量検出部
１３０、２３０ 画像蓄積部
１４０、３４０ 奥行き情報記憶部
１５０、３５０ 補正量決定部
１５１ 焦点対象範囲決定部
１５２ 補正量計算部
１５３ 補正領域分割部
１６０ 画像処理部
１６１ 領域補正処理部
１６２ 境界領域処理部
１７０ 画像提示部
２４０ 画像選択部
２６００ 傾き送信情報生成部
２６０１ 傾き情報送信部
２６０２ 傾き情報受信部
２６０３ 同期信号送信部
２６０４ 同期信号受信部
２６０５ シャッタ制御部
【特許請求の範囲】
【請求項１】
視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の左眼球及び右眼球の位置と、前記左目に提示する画像を撮像時の左カメラの想定位置及び前記右目に提示する画像を撮像時の右カメラの想定位置との差分量を検出する左右眼球水平差分量検出部と、
前記画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた画像表示装置。
【請求項２】
前記撮像時の左カメラと右カメラは水平面上に配置されており、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量は前記視聴者の左眼球と右眼球の水平面からの位置の差分量である、
請求項１に記載の画像表示装置。
【請求項３】
請求項１に記載の画像表示装置と、
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサとを備え、
前記左右眼球水平差分量検出部は、前記傾きセンサによって測定された前記視聴者の頭部の傾きを用いて左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する、
画像表示システム。
【請求項４】
前記左目に提示する画像を前記視聴者の左目のみに提示し、前記右目に提示する画像を前記視聴者の右目のみに提示するためのアクティブシャッタを有する立体視用眼鏡をさらに備え、
前記傾きセンサは前記立体視用眼鏡に設置されている、
請求項３に記載の画像表示システム。
【請求項５】
前記立体視用眼鏡は、さらに送信部を備え、
前記傾きセンサは、加速度情報または傾きベクトル情報を、受信部を備えた電子機器に送信する、
請求項４に記載の画像表示システム。
【請求項６】
画像を表示する画面部を備え、
前記左右眼球水平差分量検出部は前記傾きセンサにより測定された前記視聴者の頭部の傾き情報を用いて、前記画面部の表面の平面と前記視聴者の両目を結んだ線との角度を求め、前記視聴者の左右の眼球間距離の値を補正する、
請求項３に記載の画像表示装置。
【請求項７】
画像を焦点範囲とそれ以外とに分割する画像分割部を備え、
前記補正量決定部は前記焦点範囲の前記奥行き情報に基づいて前記画像蓄積部で蓄積されている画像の補正量を決定する、
請求項１に記載の画像表示システム。
【請求項８】
前記焦点範囲は画像の中心部を含む、
請求項７記載の画像表示システム。
【請求項９】
前記焦点範囲は画像中の奥行きの最も小さい部分を含む、
請求項７記載の画像表示システム。
【請求項１０】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサで測定した前記視聴者の頭部の傾きに基づいて、前記画像蓄積部で蓄積されている画像を選択する画像選択部と、
前記画像蓄積部は、左目用視点と右目用視点の中点を中心とし、左目用視点と右目用視点の間の距離を直径とする円周上に、円の中心に対して点対象に配置した２視点からの画像であって、すべての視点の画像の画角は鉛直軸に対して一定である画像を対にして蓄積している、
画像表示装置。
【請求項１１】
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、
前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備え、
前記画像選択部で選択された前記画像蓄積部で蓄積されている画像を前記画像処理部で補正する、
請求項１０に記載の画像表示装置。
【請求項１２】
視聴者に、左目に提示する画像及び右目に提示する画像を提示する画像提示部と、
前記視聴者の左目及び右目に提示する画像を、前記画像を構成する複数の領域毎の奥行き情報と対応付けて蓄積している画像蓄積部と、
前記視聴者が装着する眼鏡に形成されている、前記視聴者の頭部の傾きを計測する傾きセンサから前記視聴者の頭部の傾きを受信し、前記視聴者の頭部の傾きと、前記複数の領域毎の奥行き情報とを用いて、前記複数の領域毎に、補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた３次元眼鏡。
【請求項１３】
３次元映像を表示する画像表示装置と、前記３次元映像を視聴するための３次元眼鏡とを備えた画像表示システムであって、
前記３次元眼鏡は、
前記３次元眼鏡の傾きを計測する傾きセンサと、
前記傾きセンサが計測した傾き情報を含む傾き情報を、前記３次元映像を表示する画像提示部を有する画像表示装置に送信する傾き情報送信部とを備え、
前記画像表示装置は、
視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
前記画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた画像表示システム。
【請求項１４】
左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元眼鏡であって、
左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、
前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、
前記３次元眼鏡の傾きを計測する傾きセンサと、
前記傾きセンサが計測した傾き情報を含む傾き情報を、前記３次元映像を表示する画像提示部を有する画像表示装置に送信する傾き情報送信部と
を備えた３次元眼鏡。
【請求項１】
視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の左眼球及び右眼球の位置と、前記左目に提示する画像を撮像時の左カメラの想定位置及び前記右目に提示する画像を撮像時の右カメラの想定位置との差分量を検出する左右眼球水平差分量検出部と、
前記画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた画像表示装置。
【請求項２】
前記撮像時の左カメラと右カメラは水平面上に配置されており、前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量は前記視聴者の左眼球と右眼球の水平面からの位置の差分量である、
請求項１に記載の画像表示装置。
【請求項３】
請求項１に記載の画像表示装置と、
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサとを備え、
前記左右眼球水平差分量検出部は、前記傾きセンサによって測定された前記視聴者の頭部の傾きを用いて左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する、
画像表示システム。
【請求項４】
前記左目に提示する画像を前記視聴者の左目のみに提示し、前記右目に提示する画像を前記視聴者の右目のみに提示するためのアクティブシャッタを有する立体視用眼鏡をさらに備え、
前記傾きセンサは前記立体視用眼鏡に設置されている、
請求項３に記載の画像表示システム。
【請求項５】
前記立体視用眼鏡は、さらに送信部を備え、
前記傾きセンサは、加速度情報または傾きベクトル情報を、受信部を備えた電子機器に送信する、
請求項４に記載の画像表示システム。
【請求項６】
画像を表示する画面部を備え、
前記左右眼球水平差分量検出部は前記傾きセンサにより測定された前記視聴者の頭部の傾き情報を用いて、前記画面部の表面の平面と前記視聴者の両目を結んだ線との角度を求め、前記視聴者の左右の眼球間距離の値を補正する、
請求項３に記載の画像表示装置。
【請求項７】
画像を焦点範囲とそれ以外とに分割する画像分割部を備え、
前記補正量決定部は前記焦点範囲の前記奥行き情報に基づいて前記画像蓄積部で蓄積されている画像の補正量を決定する、
請求項１に記載の画像表示システム。
【請求項８】
前記焦点範囲は画像の中心部を含む、
請求項７記載の画像表示システム。
【請求項９】
前記焦点範囲は画像中の奥行きの最も小さい部分を含む、
請求項７記載の画像表示システム。
【請求項１０】
視聴者の左目に提示する画像と右目に提示する画像を蓄積している画像蓄積部と、
前記視聴者の頭部に設置され、前記視聴者の頭部の傾きを測定する傾きセンサで測定した前記視聴者の頭部の傾きに基づいて、前記画像蓄積部で蓄積されている画像を選択する画像選択部と、
前記画像蓄積部は、左目用視点と右目用視点の中点を中心とし、左目用視点と右目用視点の間の距離を直径とする円周上に、円の中心に対して点対象に配置した２視点からの画像であって、すべての視点の画像の画角は鉛直軸に対して一定である画像を対にして蓄積している、
画像表示装置。
【請求項１１】
前記視聴者の左眼球と右眼球の位置と撮像時の左カメラと右カメラの位置の差分量を検出する左右眼球水平差分量検出部と、
前記画像蓄積部で蓄積されている画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて前記画像蓄積部で蓄積されている画像を補正する画像処理部とを備え、
前記画像選択部で選択された前記画像蓄積部で蓄積されている画像を前記画像処理部で補正する、
請求項１０に記載の画像表示装置。
【請求項１２】
視聴者に、左目に提示する画像及び右目に提示する画像を提示する画像提示部と、
前記視聴者の左目及び右目に提示する画像を、前記画像を構成する複数の領域毎の奥行き情報と対応付けて蓄積している画像蓄積部と、
前記視聴者が装着する眼鏡に形成されている、前記視聴者の頭部の傾きを計測する傾きセンサから前記視聴者の頭部の傾きを受信し、前記視聴者の頭部の傾きと、前記複数の領域毎の奥行き情報とを用いて、前記複数の領域毎に、補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた３次元眼鏡。
【請求項１３】
３次元映像を表示する画像表示装置と、前記３次元映像を視聴するための３次元眼鏡とを備えた画像表示システムであって、
前記３次元眼鏡は、
前記３次元眼鏡の傾きを計測する傾きセンサと、
前記傾きセンサが計測した傾き情報を含む傾き情報を、前記３次元映像を表示する画像提示部を有する画像表示装置に送信する傾き情報送信部とを備え、
前記画像表示装置は、
視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
前記画像の奥行き情報と、前記左右眼球水平差分量検出部で検出された前記位置の差分量とを用いて、前記画像蓄積部で蓄積されている画像の補正量を決定する補正量決定部と、
前記補正量決定部で決定された補正量に基づいて、前記画像蓄積部で蓄積されている画像を補正する画像処理部と、
前記補正した画像を表示する画像提示部と
を備えた画像表示システム。
【請求項１４】
左目に提示する画像及び右目に提示する画像を含む３次元映像を視聴するための３次元眼鏡であって、
左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、
前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、
前記３次元眼鏡の傾きを計測する傾きセンサと、
前記傾きセンサが計測した傾き情報を含む傾き情報を、前記３次元映像を表示する画像提示部を有する画像表示装置に送信する傾き情報送信部と
を備えた３次元眼鏡。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２１Ｃ】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６Ａ】
【図２６Ｂ】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１２−２４４４５３（Ｐ２０１２−２４４４５３Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３１６３（Ｐ２０１１−１１３１６３）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]