画像処理装置、画像処理方法およびプログラム
【課題】コンテンツの閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することを可能にする。
【解決手段】コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、を備える画像処理装置が提供される。
【解決手段】コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、立体的な視覚を閲覧者に提供する３次元ディスプレイが広く知られている。当該３次元ディスプレイでは、立体視画像は、左眼用の画像および右眼用の画像の組合せとして表示され、それにより閲覧者の両目に視差を生じさせる。その結果、閲覧者は、立体視画像の一部または全部が飛び出している、または引っ込んでいるように知覚する。
【０００３】
立体視画像は、平面画像よりもより豊かな表現を可能にする一方で、閲覧者の眼に負担を与える。そのため、閲覧者の眼に負担を与えないように立体視画像の表示を制御する技術も存在する。
【０００４】
例えば、特許文献１では、立体視画像の閲覧者の操作に応じて立体視画像の深度を変更する技術が開示されている。これにより、閲覧者に適した立体視表示が可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３７６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１の技術は、閲覧者の操作に応じて予め定められた段階で立体視画像の深度を調整することができるものの、閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することはできない。例えば、Ｗｅｂページのようなコンテンツの表示領域内に立体視画像が配置される場合、上記特許文献１の技術によると、閲覧者は、当該立体視画像全てを一括で、または当該立体視画像毎に個別に、操作により深度を調整し、適切な深度を判断しなければならない。そのため、閲覧の度に調整の手間が発生すると共に、眼に対する負担がより小さくなるように深度を適切に調整することは難しい。
【０００７】
そこで、本開示では、コンテンツの閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することを可能にする、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、を含む画像処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータを、コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
本開示に係る画像処理装置、画像処理方法およびプログラムによれば、コンテンツの閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係るコンテンツの一例を説明するための説明図である。
【図２】従来におけるコンテンツの表示の一例を説明するための説明図である。
【図３】コンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。
【図４】従来におけるコンテンツを閲覧する場合の輻輳変動の一例を説明するための説明図である。
【図５】一実施形態に係る画像処理装置の論理的な構成の一例を示すブロック図である。
【図６】立体視画像内の深度の抽出結果の一例を説明するための説明図である。
【図７】深度別の画素数の一例を説明するための説明図である。
【図８】基準深度を決定するために利用する画素の範囲の一例を説明するための説明図である。
【図９】シフトによる立体視画像の深度の変化の一例を説明するための説明図である。
【図１０】シフト後の立体視画像のトリミングの第１の例を説明するための説明図である。
【図１１】シフト後の立体視画像のトリミングの第２の例を説明するための説明図である。
【図１２】一実施形態により表示されるコンテンツの一例を説明するための説明図である。
【図１３】一実施形態により表示されるコンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。
【図１４】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図１５】一実施形態に係るにおける画像処理の概略的な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．はじめに
２．画像処理装置の構成
２．１．画像処理装置の論理的な構成
２．２．画像処理装置のハードウェア構成
３．処理の流れ
４．まとめ
【００１５】
＜１．はじめに＞
まず、図１〜図４を参照して、本実施形態に係るコンテンツの一例、および従来における当該コンテンツの表示の問題点を説明する。
【００１６】
（本実施形態に係るコンテンツ）
図１を参照して、本実施形態に係るコンテンツの一例を説明する。図１は、本実施形態に係るコンテンツの一例を説明するための説明図である。図１を参照すると、コンテンツは、表示装置１０の画面内のコンテンツ表示領域２０に表示されている。ここで、当該コンテンツは、例えば、ＨＴＭＬ形式のＷｅｂページである。また、表示装置１０は、立体的な視覚を閲覧者に提供する３次元ディスプレイである。また、コンテンツ表示領域２０は、例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、表示装置１０の画面におけるＷｅｂブラウザの表示領域である。
【００１７】
コンテンツ表示領域２０は、所定の深度を有する。当該深度は、閲覧者により知覚される、閲覧対象の画面上からの飛び出しまたは引っ込みの程度である。より具体的に、本実施形態では、深度は、例えば、正の数であれば画面からの飛び出し量を示し、負の数であれば絶対値が画面からの引っ込み量を示す数値である。コンテンツ表示領域２０の深度は、例えば０である。すなわち、コンテンツ表示領域２０は、立体的に表示されることなく、表示装置１０の画面上にあるように知覚される。
【００１８】
また、コンテンツは、立体視画像４０を含む。立体視画像４０は、例えば、ステレオＪＰＥＧ（ＪＰＳ）フォーマット、ステレオＰＮＧ（ＰＮＳ）フォーマット等の立体視画像である。立体視画像４０は、コンテンツ表示領域２０内で、立体視画像４０のための表示区域３０に配置される。例えば、図１を参照すると、コンテンツ表示領域２０には、立体視画像４０ａ、４０ｂ、４０ｃおよび４０ｄが、それぞれの表示区域３０ａ、３０ｂ、３０ｃおよび３０ｄに配置されている。
【００１９】
また、立体視画像４０は、単一の深度の立体視画像であり、または異なる深度の複数の部分を含む立体視画像である。図１を参照すると、例えば、立体視画像４０は、背景部分４３、顔部分４５および物体部分４７を含む。そして、背景部分４３の深度および顔部分４５の深度は同一であり、物体部分４７の深度は、背景部分４３および顔部分４５の深度とは異なる。
【００２０】
また、コンテンツは、例えば、立体視画像以外のオブジェクトも含む。当該オブジェクトは、例えば、テキスト５０である。テキスト５０は、コンテンツ表示領域２０内に配置される。また、テキスト５０の深度は、コンテンツ表示領域２０の深度と同一である。
【００２１】
なお、コンテンツは、例えば、電子書籍、電子文書、電子アルバム、スライド、ゲーム画面等の立体視画像４０を含む別のコンテンツであってもよい。また、コンテンツ表示領域２０も、アプリケーション画面、デスクトップ画面等であってもよい。また、立体視画像４０は、静止画像であってもよく、または動画像であってもよい。また、表示装置１０は、いずれかの立体視方式の表示装置に限定されず、液晶シャッタ、偏光フィルタ等のメガネ方式、および、レンチキュラ、パララックスバリア等の裸眼方式を含む任意の立体視方式の表示装置であってもよい。
【００２２】
（コンテンツの表示における問題点）
次に、図２〜図４を参照して、従来におけるコンテンツの表示の問題点を説明する。図２は、従来におけるコンテンツの表示の一例を説明するための説明図である。図２は、図１に示された各立体視画像４０が、従来どおり表示された場合にどのような深度で閲覧者に知覚されるかをイメージとして示す。図２を参照すると、例えば、立体視画像４０ａのうち、背景部分４３ａおよび顔部分４５ａの深度は、コンテンツ表示領域２０の深度よりも大きい。また、物体部分４５ａの深度は、背景部分４３ａおよび顔部分４５ａの深度よりもさらに大きい。このように、立体視画像４０では、背景部分４３および顔部分４５の深度は、コンテンツ表示領域２０の深度と異なり、さらに、物体部分４５の深度は、背景部分４３および顔部分４５の深度と異なる。このように、コンテンツ表示領域２０には、様々な深度の部分が存在する。
【００２３】
図３は、コンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。図３を参照すると、閲覧者は、例えば、コンテンツ表示領域２０において、ポイントＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４およびＰ５を順に通過するように視点を移動させる。この場合に、閲覧者は、Ｐ０〜Ｐ１で、表示区域３０ａに配置される立体視画像４０ａとテキスト５０ａとを閲覧し、Ｐ１〜Ｐ２で、表示区域３０ｂに配置される立体視画像４０ｂとテキスト５０ｂとを閲覧する。Ｐ３〜Ｐ４およびＰ４〜Ｐ５でも同様に、閲覧者は、立体視画像４０ｃ、４０ｄとテキスト５０ｃ、５０ｄとを閲覧する。
【００２４】
図４は、従来におけるコンテンツを閲覧する場合の輻輳変動の一例を説明するための説明図である。図４を参照すると、視点が図３に示されるポイントＰ０〜Ｐ５を順に通って移動する場合に、瞳孔間隔がＬである閲覧者の両眼は、輻輳開散運動を行う。すなわち、閲覧者の両眼は、閲覧の対象に焦点を合わせるために、両眼をより内側に寄せる輻輳運動を行い、または両眼をより外側に開く開散運動を行う。例えば、ポイントＰ０〜Ｐ１では、立体視画像４０ａにおいて、閲覧者の両眼は、背景部分４３ａから物体部分４７ａに視点を移動させるために輻輳運動を行い、その後、物体部分４７ａから背景部分４３ａに移動させるために開散運動を行う。さらに、閲覧者の両眼は、立体視画像４０ａの背景部分４３ａからテキスト５０ａに視点を移動させるために開散運動を行う。このように、視点がＰ０〜Ｐ５を順に通って移動する際に、閲覧者の両眼は頻繁に輻輳開散運動を行う。
【００２５】
以上のように、従来におけるコンテンツの表示によれば、閲覧者の両眼が頻繁に輻輳開散運動を行うため、閲覧者の両眼に多大な負担を与える。
【００２６】
さらに、従来におけるコンテンツの表示によれば、輻輳調節矛盾も頻繁に発生する。より詳細に説明すると、閲覧者は、輻輳開散運動に加えて、表示装置１０の画面を見る場合に、両眼のレンズのピントを合わせる調節を行う。さらに、人間の立体視機能には、輻輳で知覚した深度の位置に調節を誘導する輻輳性調節と呼ばれる機能がある。しかし、立体視画像４０は実際には左眼用画像および右眼用画像として画面上に表示されるため、閲覧者の両眼は、輻輳で知覚した深度の位置ではなく、表示装置１０の画面上の位置にピントを合わせる。よって、輻輳と調節との間に矛盾が生じる。その結果、閲覧者の両眼に負担を与える。
【００２７】
そこで、本実施形態は、輻輳開散運動および輻輳調節矛盾による閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像４０の深度を調整することを可能にする。以降、＜２．画像処理装置の構成＞、＜３．処理の流れ＞において、その具体的な内容を説明する。
【００２８】
＜２．画像処理装置の構成＞
まず、図５〜図１４を参照して、本実施形態に係る画像処理装置１００の構成について説明する。
【００２９】
［２．１ 論理的な構成］
ここでは、図５〜図１３を参照して、本実施形態に係る画像処理装置１００の論理的な構成について説明する。図５は、本実施形態に係る画像処理装置１００の論理的な構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、通信部１１０、記憶部１２０、解析部１３０、デコード部１４０、深度抽出部１５０、深度決定部１６０、深度変化部１７０および描画部１８０を備える。ここで、解析部１２０は、取得部の一例である。
【００３０】
（通信部１１０）
通信部１１０は、ネットワークを介して他の装置と通信する。例えば、通信部１１０は、表示装置１０の画面に表示するコンテンツを他の装置から受信する。より具体的には、例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、通信部１１０は、ＨＴＭＬドキュメントおよび立体視画像４０等を含むＷｅｂページのデータを、Ｗｅｂサーバから受信する。そして、通信部１１０は、受信したコンテンツのデータを解析部１３０に出力する。
【００３１】
（記憶部１２０）
記憶部１２０は、画像処理装置１００において一時的にまたは恒久的に保持すべき情報を記憶する。例えば、記憶部１２０は、表示装置１０の画面に表示するコンテンツのデータを記憶する。
【００３２】
（解析部１３０）
解析部１３０は、表示装置１０の画面に表示するコンテンツを解析する。例えば、解析部１３０は、まず、通信部１１０により出力されたコンテンツを取得し、または記憶部１２０に記憶されているコンテンツを取得する。次に、解析部１３０は、取得したコンテンツを解析する。ここで、解析部１３０は、コンテンツに含まれる立体視画像４０を取得する。そして、解析部１３０は、取得した立体視画像４０をデコード部１４０に出力する。
【００３３】
ここで、立体視画像４０の取得についてより具体的に説明する。例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、解析部１３０は、コンテンツのドキュメントオブジェクトモデル（以下、ＤＯＭ）を利用して立体視画像４０を取得する。すなわち、解析部１３０は、ＨＴＭＬドキュメントを取得すると、ドキュメントオブジェクトモデルを利用して当該ＨＴＭＬドキュメントをツリー構造に展開する。次に、解析部１３０は、当該ツリー構造を参照して、ステレオＪＰＥＧ（ＪＰＳ）フォーマット、ステレオＰＮＧ（ＰＮＳ）フォーマット等の立体視画像４０を特定する。そして、解析部１３０は、Ｗｅｂページに含まれる立体視画像４０を取得する。このようにコンテンツがＨＴＭＬ形式のＷｅｂページである場合に、解析部１３０は、例えば、ＨＴＭＬパーサにより実装される。
【００３４】
なお、解析部１３０は、例えば、コンテンツに含まれる平面画像も併せて取得し、デコード部１４０に出力する。また、解析部１３０は、コンテンツのうちの画像以外のオブジェクトを描画部１８０に出力する。また、解析部１３０は、コンテンツ単位でコンテンツ表示領域２０の深度が設定されている場合に、当該コンテンツ表示領域２０の深度の情報も併せて取得し、当該深度の情報を深度決定部１６０に出力する。
【００３５】
（デコード部１４０）
デコード部１４０は、立体視画像４０をデコードする。例えば、デコード部１４０は、まず、解析部１３０により出力された立体視画像４０を取得する。次に、解析部１３０は、当該立体視画像４０のフォーマットを識別し、フォーマットに応じて圧縮された当該立体視画像４０を復元する。次に、デコード部１４０は、復元された立体視画像４０を左眼用画像と右眼用画像とに分割する。そして、デコード部１４０は、左眼用画像および右眼用画像を深度抽出部１５０に出力する。なお、デコード部１４０は、平面画像も併せてデコードし、描画部１８０に出力する。
【００３６】
（深度抽出部１５０）
深度抽出部１５０は、立体視画像４０の左眼用画像および右眼用画像から、立体視画像４０内の深度を抽出する。例えば、深度抽出部１５０は、デコード部１４０により出力された立体視画像４０の左眼用画像および右眼用画像を取得する。次に、深度抽出部１５０は、ステレオマッチングにより、当該左眼用画像と右眼用画像との間の水平方向のずれを計測する。当該水平方向のずれは、画素の単位または所定の画素群の単位で計測される。さらに、深度抽出部１５０は、水平方向のずれ幅から、立体視画像４０内の深度を特定する。そして、深度抽出部１５０は、このように抽出した立体視画像４０内の深度を、深度決定部１６０に出力する。
【００３７】
ここで、深度抽出部１５０は、例えば、抽出した立体視画像４０内の深度をデプスマップの形式で出力する。当該デプスマップは、立体視画像４０の深度を単色の階調で表現した画像である。一例として、デプスマップは、画面上に表示される場合に、より深度が大きい（すなわち、より飛び出している）部分をより白に近い色で表現し、より深度が小さい（すなわち、より引っ込んでいる）部分をより黒に近い色で表現する。以下、立体視画像４０内の深度の抽出について、図６を参照して具体例を説明する。
【００３８】
図６は、立体視画像４０内の深度の抽出結果の一例を説明するための説明図である。図６を参照すると、例えば、立体視画像４０ｄ内で、背景部分４３ｄの深度および顔部分４５ｄの深度は同一であり、コンテンツ表示領域２０の深度よりも小さい。また、物体部分４５ａの深度は、背景部分４３ａおよび顔部分４５ａの深度よりも大きい。したがって、立体視画像４０ｄのデプスマップ６０ｄでは、背景部分４３ｄおよび顔部分４５ｄに対応する部分６３ｄおよび部分６５ｄが、より黒に近い色で表現される。また、物体部分４７ｄに対応する部分６７ｄが、より白に近い色で表現される。
【００３９】
（深度決定部１６０）
深度決定部１６０は、コンテンツの表示領域２０内に配置される立体視画像４０の基準深度を決定する。当該基準深度は、立体視画像４０に含まれる部分の深度または当該深度に近い深度である。
【００４０】
例えば、深度決定部１６０は、立体視画像４０の深度別の画素数から、上記基準深度を決定する。例えば、深度決定部１６０は、まず、深度抽出部１５０により出力された立体視画像４０のデプスマップを取得し、当該デプスマップから深度別の画素数をカウントする。そして、深度決定部１６０は、より多くの画素の深度が基準深度に近くなるように基準深度を決定する。当該基準深度の決定の具体例を、図７を参照して説明する。
【００４１】
図７は、深度別の画素数の一例を説明するための説明図である。図７を参照すると、図６において説明された立体視画像４０ｄのデプスマップ６０ｄが示されている。当該デプスマップ６０ｄは、より小さい深度Ｄ１を有する部分６３ｄおよび６５ｄと、より大きい深度Ｄ２を有する部分６７ｄとを含む。深度決定部１６０は、当該デプスマップ６０ｄから深度別の画素数をカウントする。その結果、多数の画素数が深度Ｄ１にカウントされ、より少数の画素数が深度Ｄ２にカウントされる。この深度別の画素数のカウント結果は、ヒストグラム７０のように表される。当該深度別の画素数に基づいて、深度決定部１６０は、例えば、画素数が最も多い深度Ｄ１を基準深度として決定する。すなわち、深度決定部１６０は、立体視画像４０ｄ内の背景部分４３ｄおよび顔部分４５ｄの深度と同一の深度を、基準深度として決定する。なお、深度決定部１６０は、単一の深度のうちの画素数が最も多いものを基準深度として決定せずに、所定幅の深度（例えば、Ｄｍ〜Ｄｎ）のうちの画素数が最も多いものを特定し、特定された所定幅の深度のうちのいずれかの深度を基準深度として決定してもよい。また、深度決定部１６０は、画素数を重みとする深度の加重平均を基準深度として決定してもよい。
【００４２】
このように、深度別の画素数を用いることにより、立体視画像４０内のより多くの部分の深度に近い基準深度を得ることができる。換言すると、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分をより多くすることができる。
【００４３】
なお、深度別の画素数から基準深度を決定する代わりに、深度決定部１６０は、立体視画像４０の画素別の深度のうちの最大の深度と最小の深度とから、上記基準深度を決定してもよい。より具体的には、深度決定部１６０は、例えば、深度抽出部１５０により出力された立体視画像４０のデプスマップを取得し、当該デプスマップから、最大の深度と最小の深度とを特定する。そして、深度決定部１６０は、最大の深度と最小の深度との間のいずれかの深度、例えば最大の深度と最小の深度との平均の深度を、基準深度として決定してもよい。
【００４４】
このように、最大の深度または最小の深度から基準深度を決定することにより、立体視画像４０内の深度にばらつきがある場合に、立体視画像４０に含まれる部分の深度に近い深度を概算することができる。また、このような単純な概算により、基準深度の決定のための処理量を減らすことができる。
【００４５】
また、基準深度の決定に用いる上記画素は、例えば、上記立体視画像４０の縁部に含まれる画素であってもよい。すなわち、深度抽出部１５０は、例えば、立体視画像４０全体の画素からではなく、立体視画像４０の縁部に含まれる画素から、基準深度を決定する。当該縁部の具体例を図８を参照して説明する。
【００４６】
図８は、基準深度を決定するために利用する画素の範囲の一例を説明するための説明図である。図８を参照すると、立体視画像４０の縁部４９は、例えば、立体視画像４０の上下左右の各辺から所定の幅を有する範囲である。この場合に、深度決定部１６０は、縁部４９に含まれる画素から、例えば、深度別の画素数をカウントし、または最大の深度および最小の深度を特定する。そして、深度決定部１６０は、当該深度別の画素数または最大の深度および最小の深度から、基準深度を決定する。
【００４７】
このように、立体視画像４０全体の画素ではなく、立体視画像４０の縁部に含まれる画素を用いることにより、コンテンツ表示領域２０と連続して位置する部分の深度に近い基準深度を得ることができる。換言すると、コンテンツ表示領域２０と連続して位置する部分の深度は、基準深度に近い深度になる。
【００４８】
以上のように、深度決定部１６０は基準深度を決定する。そして、深度決定部１６０は、決定した基準深度を深度変化部１７０に出力する。
【００４９】
また、深度決定部１６０は、例えば、コンテンツ表示領域２０の深度も決定する。例えば、深度決定部１６０は、まず、解析部１３０により出力されたコンテンツ表示領域２０の深度の情報を取得する。そして、深度決定部１６０は、取得した情報に示されている深度を、コンテンツ表示領域２０の深度として決定する。また、コンテンツ表示領域２０の深度がコンテンツに設定されていない場合には、深度決定部１６０は、所定の深度（例えば０）をコンテンツ表示領域２０の深度として決定する。そして、深度決定部１６０は、決定したコンテンツ表示領域２０の深度を深度変化部１７０に出力する。
【００５０】
（深度変化部１７０）
深度変化部１７０は、コンテンツの表示領域２０の深度と決定された上記基準深度とが一致するように、立体視画像４０の少なくとも一部の深度を変化させる。すなわち、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０との差分だけ、立体視画像４０の深度を変化させる。これにより、例えば、基準深度がコンテンツ表示領域２０の深度よりも大きければ、立体視画像４０の深度は上記差分だけ減少する。また、例えば、基準深度がコンテンツ表示領域２０の深度よりも小さければ、立体視画像４０の深度は上記差分だけ増加する。このような深度の変化により、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分（以下、「基準深度部分」）が、コンテンツ表示領域２０と同一の深度または近い深度で知覚されるようになる。ここでは、コンテンツ表示領域２０の深度が０である例を説明する。なお、本実施形態では、深度変化部１７０は、基本的には、立体視画像４０の全体の深度を変化させる。ただし、深度変化部１７０は、立体視画像４０の全体ではなく一部のみを変化させてもよい。
【００５１】
より具体的には、深度変化部１７０は、立体視画像４０の左眼用画像または右眼用画像を左右方向にシフトさせることにより、立体視画像４０の深度を変化させる。すなわち、コンテンツ表示領域２０の深度が０であるとすると、深度変化部１７０は、立体視画像４０のうちの基準深度部分について、左眼用画像での位置と右眼用画像での位置とが一致し、または近づくように、左眼用画像および右眼用画像をシフトさせる。当該シフトの具体例を、図９を参照して説明する。
【００５２】
図９は、シフトによる立体視画像４０の深度の変化の一例を説明するための説明図である。図９を参照すると、立体視画像４０の右眼用画像８０および左眼用画像９０が示されている。この例では、当該立体視画像４０は、図６および図７で説明された立体視画像４０ｄである。図７を参照して説明されたとおり、立体視画像４０ｄのうちの背景部分４３ｄおよび顔部分４５ｄの深度が基準深度として決定されている。すなわち、立体視画像４０ｄのうちの基準深度部分は、背景部分４３ｄおよび顔部分４５ｄである。そして、当該背景部分４３ｄおよび顔部分４５ｄは、右眼用画像８０における右眼用背景部分８３および右眼用顔部分８５に対応し、左眼用画像９０における左眼用背景部分９３および左眼用顔部分９５に対応する。
【００５３】
この場合に、深度変化部１７０は、例えば、右眼用顔部分８５における左眼の位置８６と、左眼用顔部分９５における左眼の位置９６とを特徴点として特定する。次に、深度変化部１７０は、左眼の位置９６から左眼の位置８６への方向および距離を算出する。そして、深度変化部１７０は、算出された方向に算出された距離だけ左眼用画像をシフトする。その結果、右眼用背景部分８３および右眼用顔部分８５の位置と、左眼用背景部分９３および左眼用顔部分９５の位置とが一致する。すなわち、シフト後の背景部分４３および顔部分８５の深度がコンテンツ表示領域２０の深度である０と一致する。ここでは、左眼用画素像９０のみをシフトする例を示したが、当然ながら、右眼用画像８０のみをシフトしてもよく、または右眼用画像８０および左眼用画像９０の両方をシフトしてもよい。
【００５４】
このように、基準深度とコンテンツ表示領域２０の深度とが一致するように深度を変化させることで、コンテンツ表示領域２０の深度と立体視画像４０内の基準深度部分の深度とが、一致し、または近くなる。その結果、コンテンツ表示領域２０と立体視画像４０内の基準深度部分との間で視点を移動させたとしても、輻輳開散運動はほとんど起こらない。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。よって、コンテンツの閲覧者の眼の負担を小さくすることができる。
【００５５】
なお、コンテンツ表示領域２０の深度が０であって、基準深度の特徴点が存在する場合について説明したが、コンテンツ表示領域２０の深度が０でなく、特徴点が存在しない場合にも、同様に深度を変化させることができる。例えば、コンテンツ表示領域２０の深度をＤ０とし、基準深度をＤ１とすると、深度変化部１７０が変化させるべき深度は、Ｄ０−Ｄ１である。したがって、深度変化部１７０は、Ｄ０−Ｄ１だけ深度を変化させるためのシフトの方向および距離を算出する。そして、深度変化部１７０は、算出された方向に算出された距離だけ左眼用画像または右眼用画像をシフトする。
【００５６】
以上のように、シフトによる深度の変化について説明したが、右眼用画像８０および左眼用画像９０をシフトすることにより、シフト後の立体視画像４０の幅が表示区域３０の幅よりも大きくなる可能性がある。よって、深度変化部１７０は、例えば、コンテンツの表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きい場合に、表示区域３０に合わせてシフト後の立体視画像４０の一部をトリミングする。この点について、図１０を参照して具体例を説明する。
【００５７】
図１０は、シフト後の立体視画像４０のトリミングの第１の例を説明するための説明図である。図１０を参照すると、立体視画像４０の右眼用画像８０とシフト後の左眼用画像９０Ｓとが示されている。ここで、立体視画像４０が配置される表示区域３０の幅をＷとする。ここで、シフト後の立体視画像４０は、右眼用画像８０とシフト後の左眼用画像９０Ｓとの組合せであるため、シフト後の立体視画像４０の幅は、表示区域３０の幅Ｗよりも大きい。よって、深度変化部１７０は、例えば、シフト後の立体視画像４０が表示区域３０に収まるように、右眼用画像８０の端部８９とシフト後の左眼用画像９０Ｓの端部９９とをトリミングする。その結果、トリミング後の右眼用画像８０Ｔおよび左眼用画像９０Ｔは、表示区域３０の幅Ｗに収まる。
【００５８】
このようなトリミングにより、シフトにより立体視画像４０の深度を変化させたとしても、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。
【００５９】
上記トリミングによると、左眼用画像または右眼用画像に含まれる飛び出し部分もトリミングされる場合がある。すなわち、立体視画像４０のうちの飛び出し部分が一部欠損する場合がある。その結果、表示区域３０の枠を画枠とする画枠ひずみが発生する。すなわち、閲覧者は、飛び出し部分が欠けているように見えるため違和感を覚える。また、左眼用画像または右眼用画像のうちの片方のみが欠落していれば、閲覧者のいずれか一方の眼のみで見える部分が存在するため、閲覧者は、当該部分にも違和感を覚える。よって、深度変化部１７０は、例えば、上記基準深度よりもより飛び出して見える部分以外の、シフト後の立体視画像４０の一部をトリミングする。この点について、図１１を参照して具体例を説明する。
【００６０】
図１１は、シフト後の立体視画像４０のトリミングの第２の例を説明するための説明図である。図１１を参照すると、図１０と同様に、立体視画像４０の右眼用画像８０とシフト後の左眼用画像９０Ｓとが示されている。しかし、これらの右眼用画像８０を単純にトリミングすると、基準深度よりも大きい深度の左眼用物体部分８７の一部８８までトリミングされる。よって、深度変化部１７０は、左眼用物体部分８７の一部８８以外の部分をトリミングする。その結果、トリミング後の右眼用画像８０Ｔは、左眼用物体部分８７の一部８８を含む。
【００６１】
このようなトリミングにより、飛び出し部分の欠損を回避することができる。すなわち、シフトによる深度の変化に起因する画枠ひずみの発生を防ぐことができる。
【００６２】
以上のようなトリミングの代わりに、深度変化部１７０は、コンテンツ表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きい場合に、表示区域３０に合わせてシフト後の立体視画像４０のサイズを縮小してもよい。このような縮小によっても、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。
【００６３】
また、深度変化部１７０は、必ずしも、コンテンツ表示領域２０に配置される全ての立体視画像４０の深度を変える必要はない。例えば、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０の深度と差の大きさが所定の閾値を超える場合に、立体視画像４０の少なくとも一部の深度を変化させる。すわなち、コンテンツ表示領域２０の深度をＤ０とし、基準深度をＤ１とすると、｜Ｄ０−Ｄ１｜が所定の閾値を超える場合に、立体視画像４０の深度を変化させ、｜Ｄ０−Ｄ１｜が所定の閾値以下である場合に、立体視画像４０の深度を変化させない。このように、深度を変化させる立体視画像４０を限定することにより、輻輳開散運動および輻輳調節矛盾をほとんど発生させない立体視画像４０を処理対象から除外することができる。その結果、立体視画像４０の深度の変化についての処理量を減らすことができる。
【００６４】
以上のように、深度変化部１７０は立体視画像４０の深度を変化させる。そして、例えば、深度変化部１７０は、深度の変化後の立体視画像４０を描画部１８０に出力する。また、深度変化部１７０は、深度決定部１６０により決定されたコンテンツ表示領域２０の深度も併せて描画部１８０に出力する。
【００６５】
（描画部１８０）
描画部１８０は、コンテンツ表示領域２０にコンテンツを描画する。例えば、描画部１８０は、コンテンツ表示領域２０内の表示区域３０に、深度の変化後の立体視画像４０を描画する。描画されるコンテンツの例を、図１２および図１３を参照して説明する。
【００６６】
図１２は、本実施形態により表示されるコンテンツの一例を説明するための説明図である。図１２は、図１に示された各立体視画像４０が、本実施形態の画像処理により表示された場合にどのような深度で閲覧者に知覚されるかをイメージとして示す。図１２を参照すると、例えば、立体視画像４０のうちの基準深度部分である背景部分４３および顔部分４５の深度は、コンテンツ表示領域２０およびテキスト５０の深度と同一である。そして、立体視画像４０のうちの物体部分４７の深度のみが、コンテンツ表示領域２０の深度と異なる。
【００６７】
図１３は、本実施形態により表示されるコンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。図１３を参照すると、視点が図３に示されるポイントＰ０〜Ｐ５を順に通って移動する場合に、瞳孔間隔がＬである閲覧者の両眼は、物体部分４７からその他の部分へ視点を移動させ、またはその他の部分から物体部分４７へ視点を移動させる際にのみ、輻輳開散運動を行う。このように、本実施形態に係る画像処理によりコンテンツが表示されると、図２および図４のように従来どおりにコンテンツが表示される場合よりも、輻輳開散運動の頻度を少なくすることができる。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。このように、本実施形態によれば、閲覧者の両眼に対する負担を小さくすることが可能になる。
【００６８】
なお、図１１を参照して説明されたように飛び出し部分以外をトリミングする場合に、描画部１８０は、例えば、コンテンツ表示領域２０のうちの、立体視画像４０以外の部分を描画した上で、トリミングされた立体視画像４０を描画する。このような描画の順序により、トリミングされなかった飛び出し部分が、コンテンツ表示領域２０に表示される他のオブジェクト（例えば、テキスト５０）により上書きされることによって、飛び出し部分の欠損が発生することを防ぐことができる。
【００６９】
なお、描画部１８０は、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、例えば、ＨＴＭＬレンダラにより実装される。
【００７０】
以上、画像処理装置１００の論理的な構成について説明された。一例として、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、画像処理装置１００の構成要素のうちの、解析部１３０、デコード部１４０、深度抽出部１５０、深度決定部１６０、深度変化部１７０および描画部１８０は、例えば、Ｗｅｂブラウザにより実装される。
【００７１】
［２．２ ハードウェア構成］
次に、図１４を参照して、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図１４は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図１４を参照すると、画像処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０５、バス２０７、記憶装置２０９、通信装置２１１および入出力インターフェース２１３を備える。
【００７２】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、ＲＯＭ２０３または記憶装置２０９に記録された各種プログラムに従って、画像処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ２０３は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０５は、ＣＰＵ２０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。バス２０７は、ＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５を相互に接続する。バス２０７には、さらに、記憶装置２０９、通信装置２１１および入出力インターフェース２１３が接続される。
【００７３】
記録媒体２０９は、例えば、ＯＳ（Operating System）などの基本ソフトウェアや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体２０９としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられるが、上記に限られない。
【００７４】
通信装置２１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インターフェースである。通信装置２１１は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置２１１は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。当該通信装置２１１は、他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【００７５】
入出力インターフェース２１３は、例えば、画像処理装置１００に表示装置１０を接続する。ここで、入出力インターフェース２１３としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子などが挙げられるが、上記に限られない。
【００７６】
＜３．処理の流れ＞
以下では、図１５を参照して、本実施形態に係る画像処理の一例について説明する。図１５は、本実施形態に係るにおける画像処理の概略的な流れの一例を示すフローチャートである。
【００７７】
まず、ステップＳ３０１で、解析部１３０は、通信部１１０により出力されたコンテンツを取得し、または記憶部１２０に記憶されているコンテンツを取得する。次に、ステップＳ３０３で、解析部１３０は、当該コンテンツを解析する。また、ステップＳ３０３で、解析部１３０は、解析するコンテンツに含まれる立体視画像４０を取得する。そして、ステップＳ３０７で、処理済の立体視画像４０をカウントするためのカウンタｋが０に設定される。
【００７８】
次に、ステップＳ３０９で、デコード部１４０は、立体視画像４０をデコードする。そして、ステップＳ３１１で、深度抽出部１５０は、立体視画像４０の左眼用画像および右眼用画像から、立体視画像４０内の深度を抽出する。
【００７９】
次に、ステップＳ３１３で、深度決定部１６０は、コンテンツの表示領域２０内に配置される立体視画像４０の基準深度を決定する。
【００８０】
次に、ステップＳ３１５で、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０の深度と差の大きさが所定の閾値Ｔを超えるか否かを判定する。当該差の大きさが閾値Ｔを超える場合には、処理はステップＳ３１７へ進む。一方、そうでなければ、処理はステップＳ３２３へ進む。
【００８１】
ステップＳ３１７で、深度変化部１７０は、立体視画像４０の右眼用画像８０または左眼用画像９０を左右方向にシフトさせることにより、立体視画像４０の深度を変化させる。そして、ステップＳ３１９で、深度変化部１７０は、コンテンツの表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きいか否かを判定する。シフト後の立体視画像４０の幅の方が大きい場合には、処理は、ステップＳ３２１へ進む。一方、そうでなければ、処理はステップＳ３２３へ進む。
【００８２】
ステップＳ３２１で、深度変化部１７０は、表示区域３０に合わせてシフト後の立体視画像４０の一部をトリミングする
【００８３】
ステップＳ３２３で、処理済の立体視画像４０をカウントするためのカウンタｋが１だけインクリメントされる。そして、ステップＳ３２５で、カウンタｋがコンテンツ表示領域２０に配置される立体視画像４０の数と等しければ、処理は、ステップＳ３２７へ進む。そうでなければ、処理は、ステップＳ３０９へ戻る。
【００８４】
ステップＳ３２７で、描画部１８０は、コンテンツ表示領域２０のうちの、立体視画像４０以外の部分を描画する。そして、ステップＳ３２９で、描画部１８０は、トリミングされた立体視画像４０を含む立体視画像４０を描画する。
【００８５】
＜４．まとめ＞
ここまで、図１〜１５を用いて、本開示の一実施形態に係る画像処理装置１００について説明した。本実施形態によれば、基準深度とコンテンツ表示領域２０の深度とが一致するように深度を変化させることで、コンテンツ表示領域２０の深度と立体視画像４０内の基準深度部分の深度とが、一致し、または近くなる。その結果、コンテンツ表示領域２０と立体視画像４０内の基準深度部分との間で視点を移動させたとしても、輻輳開散運動はほとんど起こらない。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。よって、コンテンツの閲覧者の眼の負担を小さくすることができる。
【００８６】
また、基準深度の決定において深度別の画素数を用いることにより、立体視画像４０内のより多くの部分の深度に近い基準深度を得ることができる。換言すると、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分、すなわち基準深度部分をより多くすることができる。その結果、深度を変化させた後に、コンテンツ表示領域２０の深度と立体視画像４０内のより多くの部分（基準深度部分）の深度とが、一致し、または近くなる。よって、輻輳開散運動の頻度をより小さくすることができる。
【００８７】
また、立体視画像４０全体の画素ではなく、立体視画像４０の縁部に含まれる画素を用いることにより、コンテンツ表示領域２０と連続して位置する部分の深度に近い基準深度を得ることができる。換言すると、コンテンツ表示領域２０と連続して位置する部分の深度は、基準深度に近い深度になる。その結果、深度を変化させた後に、コンテンツ表示領域２０の深度とそれに連続して位置する立体視画像４０の部分の深度とが、一致し、または近くなる。よって、視点を順に移動させていく場合において、輻輳開散運動の頻度をより小さくすることができる。
【００８８】
また、シフト後の立体視画像４０のトリミングにより、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。また、基準深度よりもより飛び出して見える部分以外をトリミングすることにより、立体視画像４０における飛び出し部分の欠損を回避することができる。すなわち、シフトによる深度の変化に起因する画枠ひずみの発生を防ぐことができる。
【００８９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９０】
例えば、本明細書の画像処理における各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理する必要はない。例えば、画像処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００９１】
また、画像処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭ等のハードウェアを、上記画像処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
【００９２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
を備える画像処理装置。
（２）
前記深度変化部は、前記立体視画像の左眼用画像または右眼用画像を左右方向にシフトさせることにより、前記立体視画像の深度を変化させる、前記（１）に記載の画像処理装置。
（３）
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像の一部をトリミングする、前記（２）に記載の画像処理装置。
（４）
前記深度変化部は、前記基準深度よりもより飛び出して見える部分以外の、シフト後の前記立体視画像の一部をトリミングする、前記（３）に記載の画像処理装置。
（５）
前記コンテンツの表示領域のうちの、前記立体視画像以外の部分を描画した上で、トリミングされた前記立体視画像を描画する描画部をさらに備える、前記（４）に記載の画像処理装置。
（６）
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像のサイズを縮小する、前記（２）に記載の画像処理装置。
（７）
前記深度変化部は、前記立体視画像の前記基準深度と前記コンテンツの表示領域の前記深度と差の大きさが所定の閾値を超える場合に、当該立体視画像の少なくとも一部の深度を変化させる、前記（１）から（６）のいずれか１項に記載の画像処理装置。
（８）
前記深度決定部は、前記立体視画像の深度別の画素数から、前記基準深度を決定する、前記（１）から（７）のいずれか１項に記載の画像処理装置。
（９）
前記深度決定部は、前記立体視画像の画素別の深度のうちの最大の深度と最小の深度とから、前記基準深度を決定する、前記（１）から（７）のいずれか１項に記載の画像処理装置。
（１０）
前記画素は、前記立体視画像の縁部に含まれる画素である、前記（８）または（９）に記載の画像処理装置。
（１１）
前記コンテンツは、ＨＴＭＬ形式のＷｅｂページであり、
前記画像処理装置は、前記コンテンツのドキュメントオブジェクトモデルを利用して前記立体視画像を取得する取得部をさらに備える、
前記（１）から（１０）のいずれか１項に記載の画像処理装置。
（１２）
コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、
を含む画像処理方法。
（１３）
コンピュータを、
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
として機能させるためのプログラム。
【符号の説明】
【００９３】
１０ 表示装置
２０ コンテンツ表示領域
３０ 表示区域
４０ 立体視画像
６０ デプスマップ
８０ 右眼用画像
９０ 左眼用画像
１００ 画像処理装置
１１０ 通信部
１２０ 記憶部
１３０ 解析部
１４０ デコード部
１５０ 深度抽出部
１６０ 深度決定部
１７０ 深度変化部
１８０ 描画部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、立体的な視覚を閲覧者に提供する３次元ディスプレイが広く知られている。当該３次元ディスプレイでは、立体視画像は、左眼用の画像および右眼用の画像の組合せとして表示され、それにより閲覧者の両目に視差を生じさせる。その結果、閲覧者は、立体視画像の一部または全部が飛び出している、または引っ込んでいるように知覚する。
【０００３】
立体視画像は、平面画像よりもより豊かな表現を可能にする一方で、閲覧者の眼に負担を与える。そのため、閲覧者の眼に負担を与えないように立体視画像の表示を制御する技術も存在する。
【０００４】
例えば、特許文献１では、立体視画像の閲覧者の操作に応じて立体視画像の深度を変更する技術が開示されている。これにより、閲覧者に適した立体視表示が可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３７６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１の技術は、閲覧者の操作に応じて予め定められた段階で立体視画像の深度を調整することができるものの、閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することはできない。例えば、Ｗｅｂページのようなコンテンツの表示領域内に立体視画像が配置される場合、上記特許文献１の技術によると、閲覧者は、当該立体視画像全てを一括で、または当該立体視画像毎に個別に、操作により深度を調整し、適切な深度を判断しなければならない。そのため、閲覧の度に調整の手間が発生すると共に、眼に対する負担がより小さくなるように深度を適切に調整することは難しい。
【０００７】
そこで、本開示では、コンテンツの閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することを可能にする、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、を備える画像処理装置が提供される。
【０００９】
また、本開示によれば、コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、を含む画像処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータを、コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
本開示に係る画像処理装置、画像処理方法およびプログラムによれば、コンテンツの閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像の深度を調整することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係るコンテンツの一例を説明するための説明図である。
【図２】従来におけるコンテンツの表示の一例を説明するための説明図である。
【図３】コンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。
【図４】従来におけるコンテンツを閲覧する場合の輻輳変動の一例を説明するための説明図である。
【図５】一実施形態に係る画像処理装置の論理的な構成の一例を示すブロック図である。
【図６】立体視画像内の深度の抽出結果の一例を説明するための説明図である。
【図７】深度別の画素数の一例を説明するための説明図である。
【図８】基準深度を決定するために利用する画素の範囲の一例を説明するための説明図である。
【図９】シフトによる立体視画像の深度の変化の一例を説明するための説明図である。
【図１０】シフト後の立体視画像のトリミングの第１の例を説明するための説明図である。
【図１１】シフト後の立体視画像のトリミングの第２の例を説明するための説明図である。
【図１２】一実施形態により表示されるコンテンツの一例を説明するための説明図である。
【図１３】一実施形態により表示されるコンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。
【図１４】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図１５】一実施形態に係るにおける画像処理の概略的な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．はじめに
２．画像処理装置の構成
２．１．画像処理装置の論理的な構成
２．２．画像処理装置のハードウェア構成
３．処理の流れ
４．まとめ
【００１５】
＜１．はじめに＞
まず、図１〜図４を参照して、本実施形態に係るコンテンツの一例、および従来における当該コンテンツの表示の問題点を説明する。
【００１６】
（本実施形態に係るコンテンツ）
図１を参照して、本実施形態に係るコンテンツの一例を説明する。図１は、本実施形態に係るコンテンツの一例を説明するための説明図である。図１を参照すると、コンテンツは、表示装置１０の画面内のコンテンツ表示領域２０に表示されている。ここで、当該コンテンツは、例えば、ＨＴＭＬ形式のＷｅｂページである。また、表示装置１０は、立体的な視覚を閲覧者に提供する３次元ディスプレイである。また、コンテンツ表示領域２０は、例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、表示装置１０の画面におけるＷｅｂブラウザの表示領域である。
【００１７】
コンテンツ表示領域２０は、所定の深度を有する。当該深度は、閲覧者により知覚される、閲覧対象の画面上からの飛び出しまたは引っ込みの程度である。より具体的に、本実施形態では、深度は、例えば、正の数であれば画面からの飛び出し量を示し、負の数であれば絶対値が画面からの引っ込み量を示す数値である。コンテンツ表示領域２０の深度は、例えば０である。すなわち、コンテンツ表示領域２０は、立体的に表示されることなく、表示装置１０の画面上にあるように知覚される。
【００１８】
また、コンテンツは、立体視画像４０を含む。立体視画像４０は、例えば、ステレオＪＰＥＧ（ＪＰＳ）フォーマット、ステレオＰＮＧ（ＰＮＳ）フォーマット等の立体視画像である。立体視画像４０は、コンテンツ表示領域２０内で、立体視画像４０のための表示区域３０に配置される。例えば、図１を参照すると、コンテンツ表示領域２０には、立体視画像４０ａ、４０ｂ、４０ｃおよび４０ｄが、それぞれの表示区域３０ａ、３０ｂ、３０ｃおよび３０ｄに配置されている。
【００１９】
また、立体視画像４０は、単一の深度の立体視画像であり、または異なる深度の複数の部分を含む立体視画像である。図１を参照すると、例えば、立体視画像４０は、背景部分４３、顔部分４５および物体部分４７を含む。そして、背景部分４３の深度および顔部分４５の深度は同一であり、物体部分４７の深度は、背景部分４３および顔部分４５の深度とは異なる。
【００２０】
また、コンテンツは、例えば、立体視画像以外のオブジェクトも含む。当該オブジェクトは、例えば、テキスト５０である。テキスト５０は、コンテンツ表示領域２０内に配置される。また、テキスト５０の深度は、コンテンツ表示領域２０の深度と同一である。
【００２１】
なお、コンテンツは、例えば、電子書籍、電子文書、電子アルバム、スライド、ゲーム画面等の立体視画像４０を含む別のコンテンツであってもよい。また、コンテンツ表示領域２０も、アプリケーション画面、デスクトップ画面等であってもよい。また、立体視画像４０は、静止画像であってもよく、または動画像であってもよい。また、表示装置１０は、いずれかの立体視方式の表示装置に限定されず、液晶シャッタ、偏光フィルタ等のメガネ方式、および、レンチキュラ、パララックスバリア等の裸眼方式を含む任意の立体視方式の表示装置であってもよい。
【００２２】
（コンテンツの表示における問題点）
次に、図２〜図４を参照して、従来におけるコンテンツの表示の問題点を説明する。図２は、従来におけるコンテンツの表示の一例を説明するための説明図である。図２は、図１に示された各立体視画像４０が、従来どおり表示された場合にどのような深度で閲覧者に知覚されるかをイメージとして示す。図２を参照すると、例えば、立体視画像４０ａのうち、背景部分４３ａおよび顔部分４５ａの深度は、コンテンツ表示領域２０の深度よりも大きい。また、物体部分４５ａの深度は、背景部分４３ａおよび顔部分４５ａの深度よりもさらに大きい。このように、立体視画像４０では、背景部分４３および顔部分４５の深度は、コンテンツ表示領域２０の深度と異なり、さらに、物体部分４５の深度は、背景部分４３および顔部分４５の深度と異なる。このように、コンテンツ表示領域２０には、様々な深度の部分が存在する。
【００２３】
図３は、コンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。図３を参照すると、閲覧者は、例えば、コンテンツ表示領域２０において、ポイントＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４およびＰ５を順に通過するように視点を移動させる。この場合に、閲覧者は、Ｐ０〜Ｐ１で、表示区域３０ａに配置される立体視画像４０ａとテキスト５０ａとを閲覧し、Ｐ１〜Ｐ２で、表示区域３０ｂに配置される立体視画像４０ｂとテキスト５０ｂとを閲覧する。Ｐ３〜Ｐ４およびＰ４〜Ｐ５でも同様に、閲覧者は、立体視画像４０ｃ、４０ｄとテキスト５０ｃ、５０ｄとを閲覧する。
【００２４】
図４は、従来におけるコンテンツを閲覧する場合の輻輳変動の一例を説明するための説明図である。図４を参照すると、視点が図３に示されるポイントＰ０〜Ｐ５を順に通って移動する場合に、瞳孔間隔がＬである閲覧者の両眼は、輻輳開散運動を行う。すなわち、閲覧者の両眼は、閲覧の対象に焦点を合わせるために、両眼をより内側に寄せる輻輳運動を行い、または両眼をより外側に開く開散運動を行う。例えば、ポイントＰ０〜Ｐ１では、立体視画像４０ａにおいて、閲覧者の両眼は、背景部分４３ａから物体部分４７ａに視点を移動させるために輻輳運動を行い、その後、物体部分４７ａから背景部分４３ａに移動させるために開散運動を行う。さらに、閲覧者の両眼は、立体視画像４０ａの背景部分４３ａからテキスト５０ａに視点を移動させるために開散運動を行う。このように、視点がＰ０〜Ｐ５を順に通って移動する際に、閲覧者の両眼は頻繁に輻輳開散運動を行う。
【００２５】
以上のように、従来におけるコンテンツの表示によれば、閲覧者の両眼が頻繁に輻輳開散運動を行うため、閲覧者の両眼に多大な負担を与える。
【００２６】
さらに、従来におけるコンテンツの表示によれば、輻輳調節矛盾も頻繁に発生する。より詳細に説明すると、閲覧者は、輻輳開散運動に加えて、表示装置１０の画面を見る場合に、両眼のレンズのピントを合わせる調節を行う。さらに、人間の立体視機能には、輻輳で知覚した深度の位置に調節を誘導する輻輳性調節と呼ばれる機能がある。しかし、立体視画像４０は実際には左眼用画像および右眼用画像として画面上に表示されるため、閲覧者の両眼は、輻輳で知覚した深度の位置ではなく、表示装置１０の画面上の位置にピントを合わせる。よって、輻輳と調節との間に矛盾が生じる。その結果、閲覧者の両眼に負担を与える。
【００２７】
そこで、本実施形態は、輻輳開散運動および輻輳調節矛盾による閲覧者の眼に対する負担がより小さくなるように自動的に立体視画像４０の深度を調整することを可能にする。以降、＜２．画像処理装置の構成＞、＜３．処理の流れ＞において、その具体的な内容を説明する。
【００２８】
＜２．画像処理装置の構成＞
まず、図５〜図１４を参照して、本実施形態に係る画像処理装置１００の構成について説明する。
【００２９】
［２．１ 論理的な構成］
ここでは、図５〜図１３を参照して、本実施形態に係る画像処理装置１００の論理的な構成について説明する。図５は、本実施形態に係る画像処理装置１００の論理的な構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、通信部１１０、記憶部１２０、解析部１３０、デコード部１４０、深度抽出部１５０、深度決定部１６０、深度変化部１７０および描画部１８０を備える。ここで、解析部１２０は、取得部の一例である。
【００３０】
（通信部１１０）
通信部１１０は、ネットワークを介して他の装置と通信する。例えば、通信部１１０は、表示装置１０の画面に表示するコンテンツを他の装置から受信する。より具体的には、例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、通信部１１０は、ＨＴＭＬドキュメントおよび立体視画像４０等を含むＷｅｂページのデータを、Ｗｅｂサーバから受信する。そして、通信部１１０は、受信したコンテンツのデータを解析部１３０に出力する。
【００３１】
（記憶部１２０）
記憶部１２０は、画像処理装置１００において一時的にまたは恒久的に保持すべき情報を記憶する。例えば、記憶部１２０は、表示装置１０の画面に表示するコンテンツのデータを記憶する。
【００３２】
（解析部１３０）
解析部１３０は、表示装置１０の画面に表示するコンテンツを解析する。例えば、解析部１３０は、まず、通信部１１０により出力されたコンテンツを取得し、または記憶部１２０に記憶されているコンテンツを取得する。次に、解析部１３０は、取得したコンテンツを解析する。ここで、解析部１３０は、コンテンツに含まれる立体視画像４０を取得する。そして、解析部１３０は、取得した立体視画像４０をデコード部１４０に出力する。
【００３３】
ここで、立体視画像４０の取得についてより具体的に説明する。例えば、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、解析部１３０は、コンテンツのドキュメントオブジェクトモデル（以下、ＤＯＭ）を利用して立体視画像４０を取得する。すなわち、解析部１３０は、ＨＴＭＬドキュメントを取得すると、ドキュメントオブジェクトモデルを利用して当該ＨＴＭＬドキュメントをツリー構造に展開する。次に、解析部１３０は、当該ツリー構造を参照して、ステレオＪＰＥＧ（ＪＰＳ）フォーマット、ステレオＰＮＧ（ＰＮＳ）フォーマット等の立体視画像４０を特定する。そして、解析部１３０は、Ｗｅｂページに含まれる立体視画像４０を取得する。このようにコンテンツがＨＴＭＬ形式のＷｅｂページである場合に、解析部１３０は、例えば、ＨＴＭＬパーサにより実装される。
【００３４】
なお、解析部１３０は、例えば、コンテンツに含まれる平面画像も併せて取得し、デコード部１４０に出力する。また、解析部１３０は、コンテンツのうちの画像以外のオブジェクトを描画部１８０に出力する。また、解析部１３０は、コンテンツ単位でコンテンツ表示領域２０の深度が設定されている場合に、当該コンテンツ表示領域２０の深度の情報も併せて取得し、当該深度の情報を深度決定部１６０に出力する。
【００３５】
（デコード部１４０）
デコード部１４０は、立体視画像４０をデコードする。例えば、デコード部１４０は、まず、解析部１３０により出力された立体視画像４０を取得する。次に、解析部１３０は、当該立体視画像４０のフォーマットを識別し、フォーマットに応じて圧縮された当該立体視画像４０を復元する。次に、デコード部１４０は、復元された立体視画像４０を左眼用画像と右眼用画像とに分割する。そして、デコード部１４０は、左眼用画像および右眼用画像を深度抽出部１５０に出力する。なお、デコード部１４０は、平面画像も併せてデコードし、描画部１８０に出力する。
【００３６】
（深度抽出部１５０）
深度抽出部１５０は、立体視画像４０の左眼用画像および右眼用画像から、立体視画像４０内の深度を抽出する。例えば、深度抽出部１５０は、デコード部１４０により出力された立体視画像４０の左眼用画像および右眼用画像を取得する。次に、深度抽出部１５０は、ステレオマッチングにより、当該左眼用画像と右眼用画像との間の水平方向のずれを計測する。当該水平方向のずれは、画素の単位または所定の画素群の単位で計測される。さらに、深度抽出部１５０は、水平方向のずれ幅から、立体視画像４０内の深度を特定する。そして、深度抽出部１５０は、このように抽出した立体視画像４０内の深度を、深度決定部１６０に出力する。
【００３７】
ここで、深度抽出部１５０は、例えば、抽出した立体視画像４０内の深度をデプスマップの形式で出力する。当該デプスマップは、立体視画像４０の深度を単色の階調で表現した画像である。一例として、デプスマップは、画面上に表示される場合に、より深度が大きい（すなわち、より飛び出している）部分をより白に近い色で表現し、より深度が小さい（すなわち、より引っ込んでいる）部分をより黒に近い色で表現する。以下、立体視画像４０内の深度の抽出について、図６を参照して具体例を説明する。
【００３８】
図６は、立体視画像４０内の深度の抽出結果の一例を説明するための説明図である。図６を参照すると、例えば、立体視画像４０ｄ内で、背景部分４３ｄの深度および顔部分４５ｄの深度は同一であり、コンテンツ表示領域２０の深度よりも小さい。また、物体部分４５ａの深度は、背景部分４３ａおよび顔部分４５ａの深度よりも大きい。したがって、立体視画像４０ｄのデプスマップ６０ｄでは、背景部分４３ｄおよび顔部分４５ｄに対応する部分６３ｄおよび部分６５ｄが、より黒に近い色で表現される。また、物体部分４７ｄに対応する部分６７ｄが、より白に近い色で表現される。
【００３９】
（深度決定部１６０）
深度決定部１６０は、コンテンツの表示領域２０内に配置される立体視画像４０の基準深度を決定する。当該基準深度は、立体視画像４０に含まれる部分の深度または当該深度に近い深度である。
【００４０】
例えば、深度決定部１６０は、立体視画像４０の深度別の画素数から、上記基準深度を決定する。例えば、深度決定部１６０は、まず、深度抽出部１５０により出力された立体視画像４０のデプスマップを取得し、当該デプスマップから深度別の画素数をカウントする。そして、深度決定部１６０は、より多くの画素の深度が基準深度に近くなるように基準深度を決定する。当該基準深度の決定の具体例を、図７を参照して説明する。
【００４１】
図７は、深度別の画素数の一例を説明するための説明図である。図７を参照すると、図６において説明された立体視画像４０ｄのデプスマップ６０ｄが示されている。当該デプスマップ６０ｄは、より小さい深度Ｄ１を有する部分６３ｄおよび６５ｄと、より大きい深度Ｄ２を有する部分６７ｄとを含む。深度決定部１６０は、当該デプスマップ６０ｄから深度別の画素数をカウントする。その結果、多数の画素数が深度Ｄ１にカウントされ、より少数の画素数が深度Ｄ２にカウントされる。この深度別の画素数のカウント結果は、ヒストグラム７０のように表される。当該深度別の画素数に基づいて、深度決定部１６０は、例えば、画素数が最も多い深度Ｄ１を基準深度として決定する。すなわち、深度決定部１６０は、立体視画像４０ｄ内の背景部分４３ｄおよび顔部分４５ｄの深度と同一の深度を、基準深度として決定する。なお、深度決定部１６０は、単一の深度のうちの画素数が最も多いものを基準深度として決定せずに、所定幅の深度（例えば、Ｄｍ〜Ｄｎ）のうちの画素数が最も多いものを特定し、特定された所定幅の深度のうちのいずれかの深度を基準深度として決定してもよい。また、深度決定部１６０は、画素数を重みとする深度の加重平均を基準深度として決定してもよい。
【００４２】
このように、深度別の画素数を用いることにより、立体視画像４０内のより多くの部分の深度に近い基準深度を得ることができる。換言すると、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分をより多くすることができる。
【００４３】
なお、深度別の画素数から基準深度を決定する代わりに、深度決定部１６０は、立体視画像４０の画素別の深度のうちの最大の深度と最小の深度とから、上記基準深度を決定してもよい。より具体的には、深度決定部１６０は、例えば、深度抽出部１５０により出力された立体視画像４０のデプスマップを取得し、当該デプスマップから、最大の深度と最小の深度とを特定する。そして、深度決定部１６０は、最大の深度と最小の深度との間のいずれかの深度、例えば最大の深度と最小の深度との平均の深度を、基準深度として決定してもよい。
【００４４】
このように、最大の深度または最小の深度から基準深度を決定することにより、立体視画像４０内の深度にばらつきがある場合に、立体視画像４０に含まれる部分の深度に近い深度を概算することができる。また、このような単純な概算により、基準深度の決定のための処理量を減らすことができる。
【００４５】
また、基準深度の決定に用いる上記画素は、例えば、上記立体視画像４０の縁部に含まれる画素であってもよい。すなわち、深度抽出部１５０は、例えば、立体視画像４０全体の画素からではなく、立体視画像４０の縁部に含まれる画素から、基準深度を決定する。当該縁部の具体例を図８を参照して説明する。
【００４６】
図８は、基準深度を決定するために利用する画素の範囲の一例を説明するための説明図である。図８を参照すると、立体視画像４０の縁部４９は、例えば、立体視画像４０の上下左右の各辺から所定の幅を有する範囲である。この場合に、深度決定部１６０は、縁部４９に含まれる画素から、例えば、深度別の画素数をカウントし、または最大の深度および最小の深度を特定する。そして、深度決定部１６０は、当該深度別の画素数または最大の深度および最小の深度から、基準深度を決定する。
【００４７】
このように、立体視画像４０全体の画素ではなく、立体視画像４０の縁部に含まれる画素を用いることにより、コンテンツ表示領域２０と連続して位置する部分の深度に近い基準深度を得ることができる。換言すると、コンテンツ表示領域２０と連続して位置する部分の深度は、基準深度に近い深度になる。
【００４８】
以上のように、深度決定部１６０は基準深度を決定する。そして、深度決定部１６０は、決定した基準深度を深度変化部１７０に出力する。
【００４９】
また、深度決定部１６０は、例えば、コンテンツ表示領域２０の深度も決定する。例えば、深度決定部１６０は、まず、解析部１３０により出力されたコンテンツ表示領域２０の深度の情報を取得する。そして、深度決定部１６０は、取得した情報に示されている深度を、コンテンツ表示領域２０の深度として決定する。また、コンテンツ表示領域２０の深度がコンテンツに設定されていない場合には、深度決定部１６０は、所定の深度（例えば０）をコンテンツ表示領域２０の深度として決定する。そして、深度決定部１６０は、決定したコンテンツ表示領域２０の深度を深度変化部１７０に出力する。
【００５０】
（深度変化部１７０）
深度変化部１７０は、コンテンツの表示領域２０の深度と決定された上記基準深度とが一致するように、立体視画像４０の少なくとも一部の深度を変化させる。すなわち、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０との差分だけ、立体視画像４０の深度を変化させる。これにより、例えば、基準深度がコンテンツ表示領域２０の深度よりも大きければ、立体視画像４０の深度は上記差分だけ減少する。また、例えば、基準深度がコンテンツ表示領域２０の深度よりも小さければ、立体視画像４０の深度は上記差分だけ増加する。このような深度の変化により、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分（以下、「基準深度部分」）が、コンテンツ表示領域２０と同一の深度または近い深度で知覚されるようになる。ここでは、コンテンツ表示領域２０の深度が０である例を説明する。なお、本実施形態では、深度変化部１７０は、基本的には、立体視画像４０の全体の深度を変化させる。ただし、深度変化部１７０は、立体視画像４０の全体ではなく一部のみを変化させてもよい。
【００５１】
より具体的には、深度変化部１７０は、立体視画像４０の左眼用画像または右眼用画像を左右方向にシフトさせることにより、立体視画像４０の深度を変化させる。すなわち、コンテンツ表示領域２０の深度が０であるとすると、深度変化部１７０は、立体視画像４０のうちの基準深度部分について、左眼用画像での位置と右眼用画像での位置とが一致し、または近づくように、左眼用画像および右眼用画像をシフトさせる。当該シフトの具体例を、図９を参照して説明する。
【００５２】
図９は、シフトによる立体視画像４０の深度の変化の一例を説明するための説明図である。図９を参照すると、立体視画像４０の右眼用画像８０および左眼用画像９０が示されている。この例では、当該立体視画像４０は、図６および図７で説明された立体視画像４０ｄである。図７を参照して説明されたとおり、立体視画像４０ｄのうちの背景部分４３ｄおよび顔部分４５ｄの深度が基準深度として決定されている。すなわち、立体視画像４０ｄのうちの基準深度部分は、背景部分４３ｄおよび顔部分４５ｄである。そして、当該背景部分４３ｄおよび顔部分４５ｄは、右眼用画像８０における右眼用背景部分８３および右眼用顔部分８５に対応し、左眼用画像９０における左眼用背景部分９３および左眼用顔部分９５に対応する。
【００５３】
この場合に、深度変化部１７０は、例えば、右眼用顔部分８５における左眼の位置８６と、左眼用顔部分９５における左眼の位置９６とを特徴点として特定する。次に、深度変化部１７０は、左眼の位置９６から左眼の位置８６への方向および距離を算出する。そして、深度変化部１７０は、算出された方向に算出された距離だけ左眼用画像をシフトする。その結果、右眼用背景部分８３および右眼用顔部分８５の位置と、左眼用背景部分９３および左眼用顔部分９５の位置とが一致する。すなわち、シフト後の背景部分４３および顔部分８５の深度がコンテンツ表示領域２０の深度である０と一致する。ここでは、左眼用画素像９０のみをシフトする例を示したが、当然ながら、右眼用画像８０のみをシフトしてもよく、または右眼用画像８０および左眼用画像９０の両方をシフトしてもよい。
【００５４】
このように、基準深度とコンテンツ表示領域２０の深度とが一致するように深度を変化させることで、コンテンツ表示領域２０の深度と立体視画像４０内の基準深度部分の深度とが、一致し、または近くなる。その結果、コンテンツ表示領域２０と立体視画像４０内の基準深度部分との間で視点を移動させたとしても、輻輳開散運動はほとんど起こらない。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。よって、コンテンツの閲覧者の眼の負担を小さくすることができる。
【００５５】
なお、コンテンツ表示領域２０の深度が０であって、基準深度の特徴点が存在する場合について説明したが、コンテンツ表示領域２０の深度が０でなく、特徴点が存在しない場合にも、同様に深度を変化させることができる。例えば、コンテンツ表示領域２０の深度をＤ０とし、基準深度をＤ１とすると、深度変化部１７０が変化させるべき深度は、Ｄ０−Ｄ１である。したがって、深度変化部１７０は、Ｄ０−Ｄ１だけ深度を変化させるためのシフトの方向および距離を算出する。そして、深度変化部１７０は、算出された方向に算出された距離だけ左眼用画像または右眼用画像をシフトする。
【００５６】
以上のように、シフトによる深度の変化について説明したが、右眼用画像８０および左眼用画像９０をシフトすることにより、シフト後の立体視画像４０の幅が表示区域３０の幅よりも大きくなる可能性がある。よって、深度変化部１７０は、例えば、コンテンツの表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きい場合に、表示区域３０に合わせてシフト後の立体視画像４０の一部をトリミングする。この点について、図１０を参照して具体例を説明する。
【００５７】
図１０は、シフト後の立体視画像４０のトリミングの第１の例を説明するための説明図である。図１０を参照すると、立体視画像４０の右眼用画像８０とシフト後の左眼用画像９０Ｓとが示されている。ここで、立体視画像４０が配置される表示区域３０の幅をＷとする。ここで、シフト後の立体視画像４０は、右眼用画像８０とシフト後の左眼用画像９０Ｓとの組合せであるため、シフト後の立体視画像４０の幅は、表示区域３０の幅Ｗよりも大きい。よって、深度変化部１７０は、例えば、シフト後の立体視画像４０が表示区域３０に収まるように、右眼用画像８０の端部８９とシフト後の左眼用画像９０Ｓの端部９９とをトリミングする。その結果、トリミング後の右眼用画像８０Ｔおよび左眼用画像９０Ｔは、表示区域３０の幅Ｗに収まる。
【００５８】
このようなトリミングにより、シフトにより立体視画像４０の深度を変化させたとしても、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。
【００５９】
上記トリミングによると、左眼用画像または右眼用画像に含まれる飛び出し部分もトリミングされる場合がある。すなわち、立体視画像４０のうちの飛び出し部分が一部欠損する場合がある。その結果、表示区域３０の枠を画枠とする画枠ひずみが発生する。すなわち、閲覧者は、飛び出し部分が欠けているように見えるため違和感を覚える。また、左眼用画像または右眼用画像のうちの片方のみが欠落していれば、閲覧者のいずれか一方の眼のみで見える部分が存在するため、閲覧者は、当該部分にも違和感を覚える。よって、深度変化部１７０は、例えば、上記基準深度よりもより飛び出して見える部分以外の、シフト後の立体視画像４０の一部をトリミングする。この点について、図１１を参照して具体例を説明する。
【００６０】
図１１は、シフト後の立体視画像４０のトリミングの第２の例を説明するための説明図である。図１１を参照すると、図１０と同様に、立体視画像４０の右眼用画像８０とシフト後の左眼用画像９０Ｓとが示されている。しかし、これらの右眼用画像８０を単純にトリミングすると、基準深度よりも大きい深度の左眼用物体部分８７の一部８８までトリミングされる。よって、深度変化部１７０は、左眼用物体部分８７の一部８８以外の部分をトリミングする。その結果、トリミング後の右眼用画像８０Ｔは、左眼用物体部分８７の一部８８を含む。
【００６１】
このようなトリミングにより、飛び出し部分の欠損を回避することができる。すなわち、シフトによる深度の変化に起因する画枠ひずみの発生を防ぐことができる。
【００６２】
以上のようなトリミングの代わりに、深度変化部１７０は、コンテンツ表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きい場合に、表示区域３０に合わせてシフト後の立体視画像４０のサイズを縮小してもよい。このような縮小によっても、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。
【００６３】
また、深度変化部１７０は、必ずしも、コンテンツ表示領域２０に配置される全ての立体視画像４０の深度を変える必要はない。例えば、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０の深度と差の大きさが所定の閾値を超える場合に、立体視画像４０の少なくとも一部の深度を変化させる。すわなち、コンテンツ表示領域２０の深度をＤ０とし、基準深度をＤ１とすると、｜Ｄ０−Ｄ１｜が所定の閾値を超える場合に、立体視画像４０の深度を変化させ、｜Ｄ０−Ｄ１｜が所定の閾値以下である場合に、立体視画像４０の深度を変化させない。このように、深度を変化させる立体視画像４０を限定することにより、輻輳開散運動および輻輳調節矛盾をほとんど発生させない立体視画像４０を処理対象から除外することができる。その結果、立体視画像４０の深度の変化についての処理量を減らすことができる。
【００６４】
以上のように、深度変化部１７０は立体視画像４０の深度を変化させる。そして、例えば、深度変化部１７０は、深度の変化後の立体視画像４０を描画部１８０に出力する。また、深度変化部１７０は、深度決定部１６０により決定されたコンテンツ表示領域２０の深度も併せて描画部１８０に出力する。
【００６５】
（描画部１８０）
描画部１８０は、コンテンツ表示領域２０にコンテンツを描画する。例えば、描画部１８０は、コンテンツ表示領域２０内の表示区域３０に、深度の変化後の立体視画像４０を描画する。描画されるコンテンツの例を、図１２および図１３を参照して説明する。
【００６６】
図１２は、本実施形態により表示されるコンテンツの一例を説明するための説明図である。図１２は、図１に示された各立体視画像４０が、本実施形態の画像処理により表示された場合にどのような深度で閲覧者に知覚されるかをイメージとして示す。図１２を参照すると、例えば、立体視画像４０のうちの基準深度部分である背景部分４３および顔部分４５の深度は、コンテンツ表示領域２０およびテキスト５０の深度と同一である。そして、立体視画像４０のうちの物体部分４７の深度のみが、コンテンツ表示領域２０の深度と異なる。
【００６７】
図１３は、本実施形態により表示されるコンテンツを閲覧する場合の視点移動の一例を説明するための説明図である。図１３を参照すると、視点が図３に示されるポイントＰ０〜Ｐ５を順に通って移動する場合に、瞳孔間隔がＬである閲覧者の両眼は、物体部分４７からその他の部分へ視点を移動させ、またはその他の部分から物体部分４７へ視点を移動させる際にのみ、輻輳開散運動を行う。このように、本実施形態に係る画像処理によりコンテンツが表示されると、図２および図４のように従来どおりにコンテンツが表示される場合よりも、輻輳開散運動の頻度を少なくすることができる。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。このように、本実施形態によれば、閲覧者の両眼に対する負担を小さくすることが可能になる。
【００６８】
なお、図１１を参照して説明されたように飛び出し部分以外をトリミングする場合に、描画部１８０は、例えば、コンテンツ表示領域２０のうちの、立体視画像４０以外の部分を描画した上で、トリミングされた立体視画像４０を描画する。このような描画の順序により、トリミングされなかった飛び出し部分が、コンテンツ表示領域２０に表示される他のオブジェクト（例えば、テキスト５０）により上書きされることによって、飛び出し部分の欠損が発生することを防ぐことができる。
【００６９】
なお、描画部１８０は、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、例えば、ＨＴＭＬレンダラにより実装される。
【００７０】
以上、画像処理装置１００の論理的な構成について説明された。一例として、コンテンツがＨＴＭＬ形式のＷｅｂページである場合に、画像処理装置１００の構成要素のうちの、解析部１３０、デコード部１４０、深度抽出部１５０、深度決定部１６０、深度変化部１７０および描画部１８０は、例えば、Ｗｅｂブラウザにより実装される。
【００７１】
［２．２ ハードウェア構成］
次に、図１４を参照して、本実施形態に係る画像処理装置１００のハードウェア構成について説明する。図１４は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図１４を参照すると、画像処理装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０５、バス２０７、記憶装置２０９、通信装置２１１および入出力インターフェース２１３を備える。
【００７２】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、ＲＯＭ２０３または記憶装置２０９に記録された各種プログラムに従って、画像処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ２０３は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０５は、ＣＰＵ２０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。バス２０７は、ＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５を相互に接続する。バス２０７には、さらに、記憶装置２０９、通信装置２１１および入出力インターフェース２１３が接続される。
【００７３】
記録媒体２０９は、例えば、ＯＳ（Operating System）などの基本ソフトウェアや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体２０９としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられるが、上記に限られない。
【００７４】
通信装置２１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インターフェースである。通信装置２１１は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置２１１は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。当該通信装置２１１は、他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【００７５】
入出力インターフェース２１３は、例えば、画像処理装置１００に表示装置１０を接続する。ここで、入出力インターフェース２１３としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子などが挙げられるが、上記に限られない。
【００７６】
＜３．処理の流れ＞
以下では、図１５を参照して、本実施形態に係る画像処理の一例について説明する。図１５は、本実施形態に係るにおける画像処理の概略的な流れの一例を示すフローチャートである。
【００７７】
まず、ステップＳ３０１で、解析部１３０は、通信部１１０により出力されたコンテンツを取得し、または記憶部１２０に記憶されているコンテンツを取得する。次に、ステップＳ３０３で、解析部１３０は、当該コンテンツを解析する。また、ステップＳ３０３で、解析部１３０は、解析するコンテンツに含まれる立体視画像４０を取得する。そして、ステップＳ３０７で、処理済の立体視画像４０をカウントするためのカウンタｋが０に設定される。
【００７８】
次に、ステップＳ３０９で、デコード部１４０は、立体視画像４０をデコードする。そして、ステップＳ３１１で、深度抽出部１５０は、立体視画像４０の左眼用画像および右眼用画像から、立体視画像４０内の深度を抽出する。
【００７９】
次に、ステップＳ３１３で、深度決定部１６０は、コンテンツの表示領域２０内に配置される立体視画像４０の基準深度を決定する。
【００８０】
次に、ステップＳ３１５で、深度変化部１７０は、立体視画像４０の基準深度とコンテンツ表示領域２０の深度と差の大きさが所定の閾値Ｔを超えるか否かを判定する。当該差の大きさが閾値Ｔを超える場合には、処理はステップＳ３１７へ進む。一方、そうでなければ、処理はステップＳ３２３へ進む。
【００８１】
ステップＳ３１７で、深度変化部１７０は、立体視画像４０の右眼用画像８０または左眼用画像９０を左右方向にシフトさせることにより、立体視画像４０の深度を変化させる。そして、ステップＳ３１９で、深度変化部１７０は、コンテンツの表示領域２０内で立体視画像４０が配置される表示区域３０の幅よりもシフト後の立体視画像４０の幅の方が大きいか否かを判定する。シフト後の立体視画像４０の幅の方が大きい場合には、処理は、ステップＳ３２１へ進む。一方、そうでなければ、処理はステップＳ３２３へ進む。
【００８２】
ステップＳ３２１で、深度変化部１７０は、表示区域３０に合わせてシフト後の立体視画像４０の一部をトリミングする
【００８３】
ステップＳ３２３で、処理済の立体視画像４０をカウントするためのカウンタｋが１だけインクリメントされる。そして、ステップＳ３２５で、カウンタｋがコンテンツ表示領域２０に配置される立体視画像４０の数と等しければ、処理は、ステップＳ３２７へ進む。そうでなければ、処理は、ステップＳ３０９へ戻る。
【００８４】
ステップＳ３２７で、描画部１８０は、コンテンツ表示領域２０のうちの、立体視画像４０以外の部分を描画する。そして、ステップＳ３２９で、描画部１８０は、トリミングされた立体視画像４０を含む立体視画像４０を描画する。
【００８５】
＜４．まとめ＞
ここまで、図１〜１５を用いて、本開示の一実施形態に係る画像処理装置１００について説明した。本実施形態によれば、基準深度とコンテンツ表示領域２０の深度とが一致するように深度を変化させることで、コンテンツ表示領域２０の深度と立体視画像４０内の基準深度部分の深度とが、一致し、または近くなる。その結果、コンテンツ表示領域２０と立体視画像４０内の基準深度部分との間で視点を移動させたとしても、輻輳開散運動はほとんど起こらない。また、コンテンツ表示領域２０の深度が０である、すなわちコンテンツ表示領域２０が画面上にあると閲覧者により知覚される場合には、輻輳調節矛盾の頻度を少なくすることもできる。よって、コンテンツの閲覧者の眼の負担を小さくすることができる。
【００８６】
また、基準深度の決定において深度別の画素数を用いることにより、立体視画像４０内のより多くの部分の深度に近い基準深度を得ることができる。換言すると、立体視画像４０のうちの基準深度と同一の深度または近い深度の部分、すなわち基準深度部分をより多くすることができる。その結果、深度を変化させた後に、コンテンツ表示領域２０の深度と立体視画像４０内のより多くの部分（基準深度部分）の深度とが、一致し、または近くなる。よって、輻輳開散運動の頻度をより小さくすることができる。
【００８７】
また、立体視画像４０全体の画素ではなく、立体視画像４０の縁部に含まれる画素を用いることにより、コンテンツ表示領域２０と連続して位置する部分の深度に近い基準深度を得ることができる。換言すると、コンテンツ表示領域２０と連続して位置する部分の深度は、基準深度に近い深度になる。その結果、深度を変化させた後に、コンテンツ表示領域２０の深度とそれに連続して位置する立体視画像４０の部分の深度とが、一致し、または近くなる。よって、視点を順に移動させていく場合において、輻輳開散運動の頻度をより小さくすることができる。
【００８８】
また、シフト後の立体視画像４０のトリミングにより、シフト後の立体視画像４０をコンテンツ表示領域２０内の表示区域３０に収めることができる。また、基準深度よりもより飛び出して見える部分以外をトリミングすることにより、立体視画像４０における飛び出し部分の欠損を回避することができる。すなわち、シフトによる深度の変化に起因する画枠ひずみの発生を防ぐことができる。
【００８９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９０】
例えば、本明細書の画像処理における各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理する必要はない。例えば、画像処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００９１】
また、画像処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭ等のハードウェアを、上記画像処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
【００９２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
を備える画像処理装置。
（２）
前記深度変化部は、前記立体視画像の左眼用画像または右眼用画像を左右方向にシフトさせることにより、前記立体視画像の深度を変化させる、前記（１）に記載の画像処理装置。
（３）
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像の一部をトリミングする、前記（２）に記載の画像処理装置。
（４）
前記深度変化部は、前記基準深度よりもより飛び出して見える部分以外の、シフト後の前記立体視画像の一部をトリミングする、前記（３）に記載の画像処理装置。
（５）
前記コンテンツの表示領域のうちの、前記立体視画像以外の部分を描画した上で、トリミングされた前記立体視画像を描画する描画部をさらに備える、前記（４）に記載の画像処理装置。
（６）
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像のサイズを縮小する、前記（２）に記載の画像処理装置。
（７）
前記深度変化部は、前記立体視画像の前記基準深度と前記コンテンツの表示領域の前記深度と差の大きさが所定の閾値を超える場合に、当該立体視画像の少なくとも一部の深度を変化させる、前記（１）から（６）のいずれか１項に記載の画像処理装置。
（８）
前記深度決定部は、前記立体視画像の深度別の画素数から、前記基準深度を決定する、前記（１）から（７）のいずれか１項に記載の画像処理装置。
（９）
前記深度決定部は、前記立体視画像の画素別の深度のうちの最大の深度と最小の深度とから、前記基準深度を決定する、前記（１）から（７）のいずれか１項に記載の画像処理装置。
（１０）
前記画素は、前記立体視画像の縁部に含まれる画素である、前記（８）または（９）に記載の画像処理装置。
（１１）
前記コンテンツは、ＨＴＭＬ形式のＷｅｂページであり、
前記画像処理装置は、前記コンテンツのドキュメントオブジェクトモデルを利用して前記立体視画像を取得する取得部をさらに備える、
前記（１）から（１０）のいずれか１項に記載の画像処理装置。
（１２）
コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、
を含む画像処理方法。
（１３）
コンピュータを、
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
として機能させるためのプログラム。
【符号の説明】
【００９３】
１０ 表示装置
２０ コンテンツ表示領域
３０ 表示区域
４０ 立体視画像
６０ デプスマップ
８０ 右眼用画像
９０ 左眼用画像
１００ 画像処理装置
１１０ 通信部
１２０ 記憶部
１３０ 解析部
１４０ デコード部
１５０ 深度抽出部
１６０ 深度決定部
１７０ 深度変化部
１８０ 描画部
【特許請求の範囲】
【請求項１】
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
を備える画像処理装置。
【請求項２】
前記深度変化部は、前記立体視画像の左眼用画像または右眼用画像を左右方向にシフトさせることにより、前記立体視画像の深度を変化させる、請求項１に記載の画像処理装置。
【請求項３】
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像の一部をトリミングする、請求項２に記載の画像処理装置。
【請求項４】
前記深度変化部は、前記基準深度よりもより飛び出して見える部分以外の、シフト後の前記立体視画像の一部をトリミングする、請求項３に記載の画像処理装置。
【請求項５】
前記コンテンツの表示領域のうちの、前記立体視画像以外の部分を描画した上で、トリミングされた前記立体視画像を描画する描画部をさらに備える、請求項４に記載の画像処理装置。
【請求項６】
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像のサイズを縮小する、請求項２に記載の画像処理装置。
【請求項７】
前記深度変化部は、前記立体視画像の前記基準深度と前記コンテンツの表示領域の前記深度と差の大きさが所定の閾値を超える場合に、当該立体視画像の少なくとも一部の深度を変化させる、請求項１に記載の画像処理装置。
【請求項８】
前記深度決定部は、前記立体視画像の深度別の画素数から、前記基準深度を決定する、請求項１に記載の画像処理装置。
【請求項９】
前記深度決定部は、前記立体視画像の画素別の深度のうちの最大の深度と最小の深度とから、前記基準深度を決定する、請求項１に記載の画像処理装置。
【請求項１０】
前記画素は、前記立体視画像の縁部に含まれる画素である、請求項８に記載の画像処理装置。
【請求項１１】
前記コンテンツは、ＨＴＭＬ形式のＷｅｂページであり、
前記画像処理装置は、前記コンテンツのドキュメントオブジェクトモデルを利用して前記立体視画像を取得する取得部をさらに備える、
請求項１に記載の画像処理装置。
【請求項１２】
コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、
を含む画像処理方法。
【請求項１３】
コンピュータを、
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
として機能させるためのプログラム。
【請求項１】
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
を備える画像処理装置。
【請求項２】
前記深度変化部は、前記立体視画像の左眼用画像または右眼用画像を左右方向にシフトさせることにより、前記立体視画像の深度を変化させる、請求項１に記載の画像処理装置。
【請求項３】
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像の一部をトリミングする、請求項２に記載の画像処理装置。
【請求項４】
前記深度変化部は、前記基準深度よりもより飛び出して見える部分以外の、シフト後の前記立体視画像の一部をトリミングする、請求項３に記載の画像処理装置。
【請求項５】
前記コンテンツの表示領域のうちの、前記立体視画像以外の部分を描画した上で、トリミングされた前記立体視画像を描画する描画部をさらに備える、請求項４に記載の画像処理装置。
【請求項６】
前記深度変化部は、前記コンテンツの表示領域内で前記立体視画像が配置される表示区域の幅よりもシフト後の当該立体視画像の幅の方が大きい場合に、前記表示区域に合わせてシフト後の当該立体視画像のサイズを縮小する、請求項２に記載の画像処理装置。
【請求項７】
前記深度変化部は、前記立体視画像の前記基準深度と前記コンテンツの表示領域の前記深度と差の大きさが所定の閾値を超える場合に、当該立体視画像の少なくとも一部の深度を変化させる、請求項１に記載の画像処理装置。
【請求項８】
前記深度決定部は、前記立体視画像の深度別の画素数から、前記基準深度を決定する、請求項１に記載の画像処理装置。
【請求項９】
前記深度決定部は、前記立体視画像の画素別の深度のうちの最大の深度と最小の深度とから、前記基準深度を決定する、請求項１に記載の画像処理装置。
【請求項１０】
前記画素は、前記立体視画像の縁部に含まれる画素である、請求項８に記載の画像処理装置。
【請求項１１】
前記コンテンツは、ＨＴＭＬ形式のＷｅｂページであり、
前記画像処理装置は、前記コンテンツのドキュメントオブジェクトモデルを利用して前記立体視画像を取得する取得部をさらに備える、
請求項１に記載の画像処理装置。
【請求項１２】
コンテンツの表示領域内に配置される立体視画像の基準深度を決定することと、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させることと、
を含む画像処理方法。
【請求項１３】
コンピュータを、
コンテンツの表示領域内に配置される立体視画像の基準深度を決定する深度決定部と、
前記コンテンツの表示領域の深度と決定された前記基準深度とが一致するように前記立体視画像の少なくとも一部の深度を変化させる深度変化部と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−９００３１（Ｐ２０１３−９００３１Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６６６０（Ｐ２０１１−２２６６６０）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]