画像処理装置、画像処理方法、表示装置及びプログラム
【課題】様々な表示環境において好ましい立体視を実現する。
【解決手段】移動通信端末１１０，１３０は、例えば通話及びデータ通信が可能な携帯電話機などのコンピュータであり、移動通信網１００を介して他の移動通信端末１０と通話やデータ通信を行ったり、画像データ変換装置１２０とデータ通信を行う。画像データ変換装置１２０は、例えばデータ通信が可能なサーバ装置などのコンピュータであり、立体視が可能となるように画像データの変換処理を行う。このとき画像データ変換装置１２０は、移動通信端末１３０の機種を特定し、その表示環境に応じた画像データの変換処理を行う。これにより、移動通信端末１３０の表示環境において好ましい立体視が実現される。
【解決手段】移動通信端末１１０，１３０は、例えば通話及びデータ通信が可能な携帯電話機などのコンピュータであり、移動通信網１００を介して他の移動通信端末１０と通話やデータ通信を行ったり、画像データ変換装置１２０とデータ通信を行う。画像データ変換装置１２０は、例えばデータ通信が可能なサーバ装置などのコンピュータであり、立体視が可能となるように画像データの変換処理を行う。このとき画像データ変換装置１２０は、移動通信端末１３０の機種を特定し、その表示環境に応じた画像データの変換処理を行う。これにより、移動通信端末１３０の表示環境において好ましい立体視が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置において立体視を実現するための技術に関する。
【背景技術】
【０００２】
近年では、携帯電話機、パーソナルコンピュータ或いはテレビジョンなどの、表示機能を有する電子機器において、立体感がある画像を表示することが可能なディスプレイが実装されつつある。一方で、このような立体感のある画像を表示するための画像データを生成する機能を備えた電子機器も普及しつつある。例えば、一定の距離を隔てて設けられた２つのカメラで同時に被写体を撮影して１組の画像データを生成するといったものが知られている。また、特に被写体が静止している場合には、１つのカメラの位置を移動させてそれぞれ１回ずつ撮影することで、上記のような１組の画像データを生成することも可能である。これら１組の画像は、人間の右目と左目にそれぞれ対応しており、ステレオ画像と呼ばれている。
【０００３】
このようなステレオ画像以外にも、一定の距離を隔てて設けられた３以上の複数のカメラで同時に被写体を撮影して得られた１組の画像や、１つのカメラを移動させて３回以上撮影することで得られた１組の画像などが、立体感のある画像を表示するものとして知られている。また、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一または複数の画像も、立体視を実現するものである。これら画像の画像データは、いずれも、利用者の左目及び右目に異なる映像を提示して立体感のある画像（立体画像）を表示可能とする画像データであり、以下では、立体画像データと呼ぶこととする。
【０００４】
このように、エンドユーザがステレオ画像を含む各種の立体画像データを作成し得る環境が整いつつあるが、これを表示する電子機器においては、ディスプレイの大きさや、利用者の視点からディスプレイまでの距離（視距離という）などの表示環境に応じて、画像の立体感が変化する。このため、立体画像データの生成時に想定していた表示環境と、それを現実に表示する電子機器における表示環境とが整合していないと、例えば立体感が乏しくて迫力が無い画像が表示されるとか、逆に、立体感が強すぎて両目で見た画像を一つの画像として認識すること（融像という）が困難になる場合がある。さらに、ディスプレイが立体視を前提とした表示方式であるか否かとか、また、立体視を前提とした表示方式であったときの視点数なども、立体画像の見え方に大きな影響を与える。このような理由から、立体視を前提とした立体画像データを生成する際には、それを現実に表示する表示装置におけるディスプレイの物理的サイズ、表示方式、視点数または視距離等の、様々な表示環境を予め正確に特定しておかないと、好ましい立体視が実現できない。
【０００５】
例えば特許文献１には、ディスプレイを有する電子機器が自身のディスプレイの表示環境に適合するように画像データを変換する技術が開示されている。特許文献２には、ステレオ画像の拡大または縮小時に、最大視差と最小視差の情報を用いた視差調整を行って、過度な立体感を抑制する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２１６９９号公報
【特許文献２】特開２００４−３４９７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術は、ディスプレイを有する電子機器自身が画像データの変換を行うため、電子機器にとってその変換にかかる処理負担が大きいという問題がある。特にこの電子機器が携帯電話機などのリソースに乏しい小型の電子機器である場合には、このような処理負担の増大は無視できない。また、例えばパーソナルコンピュータに接続されたディスプレイを新たなものに交換するような場合を想定すると、特許文献１に記載の技術では、新しいディスプレイの表示環境を逐一入力又は指定するという煩雑な作業が利用者に強いられることになる。また、特許文献２に記載の技術は、画像の拡大時または縮小時においてのみ視差調整を実現するものに過ぎず、その適用範囲が限定的であるため、例えば、世の中に流通している様々な表示環境の電子機器において好ましい立体視を実現する手段として活用するには不十分である。
【０００８】
そこで、本発明の目的は、様々な表示環境において好ましい立体視を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明は、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信する受信手段と、画像を表示する表示装置における表示環境を特定する特定手段と、前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段とを備えることを特徴とする画像処理装置を提供する。
【００１０】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記表示装置の表示環境に応じて前記立体画像データにおける右目と左目に提示する画像の視差量を調整する処理が含まれるようにしてもよい。
【００１１】
前記表示装置における表示環境として、２視点よりも視点数が多い多視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記多視点の視点数分の立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。
【００１２】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。
【００１３】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを補間により生成する処理とが含まれるようにしてもよい。
【００１４】
前記表示装置における表示環境として、前記受信された立体画像データにおける視点数よりも少ない視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記受信された立体画像データに含まれる複数の画像から、当該表示装置における視点数分の画像を選択する処理が含まれるようにしてもよい。
【００１５】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記立体画像データに含まれるオブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記表示装置で提示する画像の視点数より多い数の画像データを前記受信された立体画像データから生成する処理と、生成された複数の画像データから前記表示装置で提示する画像の視点数分の画像データを選択する処理とが含まれるようにしてもよい。
【００１６】
また、本発明は、画像処理装置において、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信するステップと、画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップとを備えることを特徴とする画像処理方法を提供する。
【００１７】
また、本発明は、画像の立体視に対応していない表示手段と、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを備えることを特徴とする表示装置を提供する。
【００１８】
また、本発明は、画像の立体視に対応していない表示手段を備えるコンピュータに、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを実現させるためのプログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、様々な表示環境の表示装置において好ましい立体視を実現することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る通信システムの構成を示す図である。
【図２】画像データ変換装置のハードウェアの構成を示すブロック図である。
【図３】移動通信端末のハードウェアの構成を示すブロック図である。
【図４】画像データ変換装置及び移動通信端末の機能的構成を示すブロック図である。
【図５】機種情報テーブルの一例を示す図である。
【図６】移動通信端末の動作を示すフローチャートである。
【図７】画像データ変換装置の動作を示すフローチャートである。
【図８】画像データ変換装置の動作を示すフローチャートである。
【図９】平行化処理を説明する図である。
【図１０】最大視差及び最小視差を説明する図である。
【図１１】多視点の画像を説明する図である。
【図１２】画像の補間を説明する図である。
【図１３】円弧状の仮想視点を例示する図である。
【図１４】変形例における移動通信端末の機能的構成を示すブロック図である。
【図１５】ローパスフィルタの効果を説明する図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について説明する。
＜構成＞
図１は、実施形態にかかる通信システム１の全体構成を示す図である。通信システム１は、利用者によって所持される移動通信端末１１０、１３０と、広範なエリアに設けられた移動通信網１００と、この移動通信網１００に接続された画像データ変換装置１２０とを備えている。なお、この通信システム１において移動通信端末は多数存在し得るが、図１では、説明の便宜のため、被写体を撮影する撮影装置として機能する移動通信端末１１０と、その被写体の画像を表示する表示装置として機能する移動通信端末１３０のみを示している。
【００２２】
移動通信端末１１０，１３０は、例えば通話及びデータ通信が可能な携帯電話機などのコンピュータであり、移動通信網１００を介して他の移動通信端末１１０との間で通話やデータ通信を行ったり、移動通信網１００を介して画像データ変換装置１２０との間でデータ通信を行う。画像データ変換装置１２０は、例えばデータ通信が可能なサーバ装置などのコンピュータであり、主に画像データの変換処理等を行う画像処理装置として機能する。移動通信網１００は、移動通信端末１１０，１３０に通話サービス及びデータ通信サービスを提供するネットワークシステムである。この移動通信網１００は、移動通信端末１１０，１３０と無線通信を行う基地局、網内のルーティングを行う交換局、及び移動通信端末１１０，１３０の位置登録などを行う制御局などの各種ノードと、これらのノード間を相互に接続する通信線とを備えている。
【００２３】
図２は、画像データ変換装置１２０のハードウェアの構成を示すブロック図である。画像データ変換装置１２０は、制御部１１と、記憶部１２と、通信部１３とを備えている。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリとを備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行することによって、画像データ変換装置１２０の各部の動作を制御する。記憶部１２は、ＨＤＤ（Hard Disk Drive）等の、大容量で不揮発性の記憶装置であり、制御部１１が実行するプログラムや画像データなどを記憶する。通信部１３は、移動通信網１００を介してデータ通信を行うインタフェース装置である。
【００２４】
図３は、移動通信端末１１０，１３０のハードウェアの構成を示すブロック図である。移動通信端末１１０，１３０の構成は共通であり、いずれも、制御部１５と、無線通信部１６と、操作部１７と、ディスプレイ部１８と、音声入出力部１９と、撮影部２０と、センサ部２１とを備えている。制御部１５は、ＣＰＵ、ＲＯＭ及びＲＡＭのほか、書き込み可能な不揮発性の記憶手段として、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）を備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭやＥＥＰＲＯＭ等に記憶されたプログラムを実行することにより、移動通信端末１１０，１３０の各部の動作を制御する。無線通信部１６は、アンテナや無線通信回路を備えており、移動通信網１００の基地局との間で無線通信を行う。操作部１７は、複数のキーやタッチスクリーンなどの操作子を備え、利用者の操作に応じた操作信号を制御部１５に供給する。制御部１５は、この操作信号に応じた処理を行う。
【００２５】
ディスプレイ部１８は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部１５からの指示に応じて各種の情報を表示する。このディスプレイ部１８における表示環境は、移動通信端末の機種ごとに様々に異なっている。ここでいう表示環境とは、立体視を前提として人間の右目と左目にそれぞれ対応した、異なる視点の画像を表示する能力に関する環境のことをいう。音声入出力部１９は、小型のマイクロホンやスピーカを備えており、移動通信端末１１０，１３０における音声の入出力を行う。撮影部２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子と、ＡＳＩＣ（Application Specific Integrated Circuit）などの画像信号処理回路とを備え、撮像素子によって２つ以上の異なる視点から撮影された画像を１組とした画像データを生成する。具体的には、例えば、撮像部２０において複数の撮像素子が一定の距離を隔てて設けられており、被写体を同時に撮影するものであってもよいし、また、被写体が静止している場合には、１つの撮像素子が異なる視点から被写体を撮影するものであってもよい。センサ部２１は、移動通信端末１１０，１３０の、或る基準方向に対する傾きの方向及び量を検出する（以下では単に、傾きを検出する、という）手段であり、例えば加速度センサ、ジャイロセンサ、地磁気センサまたは撮像素子などである。
【００２６】
図４は、画像データ変換装置１２０及び移動通信端末１１０，１３０の機能的な構成を示すブロック図である。これら画像データ変換装置１２０及び移動通信端末１１０，１３０において、各々の制御部１１，１５がプログラムを実行し、自装置又は自端末の各部の動作を制御することによって、図４に示した各機能を実現する。
【００２７】
移動通信端末１１０において、画像データ生成部１１１は、主に制御部１５及び撮影部２０によって実現される機能であり、送信部１１２は、主に制御部１５及び無線通信部１６によって実現される機能である。例えば、画像データ生成部１１１は、２つ以上の異なる視点から被写体をそれぞれ静止画として撮影して立体画像データを生成する。また、画像データ生成部１１１は、深度情報を含む、単視点または複数視点の画像を表す立体画像データを生成するようにしてもよい。送信部１１２は、利用者によって指定された宛先である移動通信端末１３０に対し、この画像データを電子メールに添付するなどして送信する。このとき、送信部１１２は、立体画像データをファイル形式にして電子メールに添付するが、このファイル形式を立体画像データであることを意味するものにしておく。例えば、２視点から被写体を静止画として撮影したステレオ画像の場合は、その拡張子が「.MPO」、「.JPS」、「.STJ」、「.SSI」等のファイル形式である。
【００２８】
移動通信端末１３０において、機種情報記憶部１３２は主に制御部１５によって実現される機能であり、アップロード部１３３、ダウンロード部１３４及び受信部１３１は主に制御部１５及び無線通信部１６によって実現される機能であり、表示部１３５は、主に制御部１５、ディスプレイ部１８及びセンサ部２１によって実現される機能である。受信部１３１は、移動通信端末１１０から送信された電子メールに添付されているデータを受信すると、このデータのファイル形式を参照して、立体画像データに対応するファイル形式であるか否かを判断する。機種情報記憶部１３２は、移動通信端末１３０の機種を特定し得る機種情報を記憶している。この機種情報は、例えば移動通信端末１３０に割り当てられ、制御部１５のＲＯＭに記憶されている個体識別情報である。この固体識別情報の上位ビット列が機種情報そのものを意味しているか、或いは、各々の固体識別情報がどのような機種の移動通信端末のものであるかが予め分かっている。アップロード部１３３は、受信した立体画像データ及び機種情報を画像データ変換装置１２０にアップロードする。ダウンロード部１３４は、画像データ変換装置１２０から画像データをダウンロードする。表示部１３５は、ダウンロードされた画像データに応じた画像を表示する。
【００２９】
画像データ変換装置１２０において、受信部１２１、機種情報取得部１２２及び送信部１２６は、主に制御部１１及び通信部１３によって実現される機能であり、表示環境特定部１２３、変換要否判断部１２４及び画像データ変換部１２５は主に制御部１１及び記憶部１２によって実現される機能である。
【００３０】
受信部１２１は、移動通信端末１３０から送信されてくる立体画像データを受信し、変換要否判断部１２４に渡す。機種情報取得部１２２は、移動通信端末１３０から送信されてくる機種情報を受信し、表示環境特定部１２３に渡す。表示環境特定部１２３は、この機種情報から、その機種情報の送信元である移動通信端末１３０における表示環境を特定する。このため、表示環境特定部１２３（ハードウェアとしては記憶部１２）は、図５に示すような、移動通信端末の全機種の表示環境を表す機種別表示環境情報を記憶している。この機種別表示環境情報には、機種の別を意味する機種情報の一例である機種名と、その機種に該当する移動通信端末のディスプレイ部１８の表示面の物理的サイズと、そのディスプレイ部１８の解像度と、そのディスプレイ部１８が３Ｄディスプレイ（画像の立体視に対応したディスプレイ）であるか又は２Ｄディスプレイ（画像の立体視に対応していない通常のディスプレイ）であるかと、３Ｄディスプレイの方式及びその視点数と、そのディスプレイ部１８において予め想定されている視距離である想定視距離と、画像の表示に関係する物理量を検知するセンサに関するセンサ情報とが含まれている。３Ｄディスプレイの方式としては、視差バリア方式とか、レンチキュラー方式とか、時分割方式などが知られている。表示環境特定部１２３は、この機種別表示環境情報を参照して、取得した機種情報に対応する表示環境を特定する。
【００３１】
変換要否判断部１２４は、立体画像データに対して画像データ変換部１２５が画像データ変換処理を施す必要があるか否かを判断する。画像データ変換処理が必要ないと判断する場合とは、表示環境特定部１２３が特定した表示環境が、“移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであり且つセンサ部２１がない（つまり機種別表示環境情報にセンサ情報が含まれていない）”と判断した場合である。それ以外の場合には、立体画像データに対して画像データ変換処理を施す必要があると判断されるが、この場合、画像データ変換部１２５は、移動通信端末１３０において適切な立体視を実現するため、その表示環境に応じた画像データ変換処理を行う。一方、立体画像データに対して画像データ変換処理を施す必要がないと判断された場合には、画像データ変換部１２５は、この立体画像データに含まれる画像のうち、いずれかの視点以外の画像を削除するとか、各視点の画像をアニメーション合成するなどして、２Ｄディスプレイでの表示に対応した１つの画像データ（例えば、ＪＰＥＧ(Joint Photographic Experts Group)、ビットマップ、或いはアニメーションＧＩＦ(Graphic Interchange Format)などの形式の画像データ）を生成する。送信部１２６は、画像データ変換部１２５から供給される変換処理後の画像データを、上記の機種情報及び立体画像データの送信元である移動通信端末１３０に送信する。
【００３２】
＜動作＞
次に実施形態の動作を説明する。以下では、立体画像データとして、２視点から被写体を静止画として撮影したステレオ画像の画像データを用いる場合を例に挙げて、動作説明を行う。
図６は、移動通信端末１３０の制御部１５の動作を示す図である。まず移動通信端末１１０において、ステレオ画像である立体画像データが生成され、この立体画像データが移動通信端末１１０から移動通信端末１３０に送信されてくる。この立体画像データは、移動通信端末１１０が予め想定している表示環境に対応したものであり、本動作例では、２視点の３Ｄディスプレイという表示環境に対応したものとなっている。移動通信端末１３０の制御部１５は、移動通信端末１１０から送信される立体画像データを受信して取得すると（ステップＳ１）、この立体画像データのファイル形式を参照して、ステレオ画像に対応するファイル形式であるか否かを判断する（ステップＳ２）。前述のようなステレオ画像に対応するファイル形式である場合には（ステップＳ２；ＹＥＳ）、制御部１５は、機種情報を読み出して取得し（ステップＳ３）、立体画像データと機種情報とを画像データ変換装置１２０にアップロードする（ステップＳ４）。より具体的には、まず制御部１５は、立体画像データの送信に先立って、画像データ変換装置１２０に対してＨＴＴＰ（Hyper Text Transfer Protocol）リクエストを送信する。このＨＴＴＰリクエストヘッダには、ユーザエージェントと呼ばれる領域があるから、制御部１５は、このユーザエージェントに、機種情報を記述することで、これを画像データ変換装置１２０に通知する。
【００３３】
次に、制御部１５は、上記ＨＴＴＰリクエストに対する画像データ変換装置１２０からの応答を受け取ると、立体画像データを画像データ変換装置１２０に送信する。この後、画像データ変換装置１２０によって画像データ変換処理がなされる。移動通信端末１３０の制御部１５は、画像データ変換装置１２０によって画像データ変換処理がなされた画像データを、その画像データ変換装置１２０からダウンロードし（ステップＳ５）、これを解釈して、立体視が可能な画像をディスプレイ部１８に表示する（ステップＳ６）。なお、制御部１５は、ステップＳ１にて取得した画像データがステレオ画像（立体画像データ）に対応するものでない場合には（ステップＳ２；ＮＯ）、これを解釈して、通常どおりの画像をディスプレイ部１８に表示する（ステップＳ６）。
【００３４】
次に、図７は、画像データ変換装置１２０の制御部１１の動作を示す図である。制御部１１は、移動通信端末１３０から立体画像データ及び機種情報を受信して取得すると（ステップＳ１１）、受信した機種情報から、その機種情報の送信元である移動通信端末１３０の表示環境を特定し、特定した表示環境に基づいて、受信した画像データに画像データ変換処理を施す必要があるか否かを判断する（ステップ１２）。前述したように、移動通信端末の表示環境が２Ｄディスプレイであり且つセンサ部２１が無いというケース以外の場合には、受信した画像データに画像データ変換処理を施す必要があると判断される。立体画像データに対して画像データ変換処理を施す必要があると判断された場合には（ステップＳ１３；ＹＥＳ）、制御部１１は、画像データ変換処理を行う（ステップＳ１４）。そして、制御部１１は、画像データ変換処理を経て得た画像データを移動通信端末１３０に送信する（ステップＳ１５）。一方、前述したように、表示環境が２Ｄディスプレイであり且つセンサ部２１が無い場合には、画像データに対して画像データ変換処理を施す必要がないと判断されて（ステップＳ１３；ＮＯ）、制御部１１は、前述した所定の処理を実施する。つまり、制御部１２は、１つの視点の画像にするか又は各視点の画像をアニメーション合成するなどした上で、ファイル形式をＪＰＥＧ、ビットマップ、或いはアニメーションＧＩＦなどに変換してから（ステップＳ１６）、これを移動通信端末１３０に送信する（ステップＳ１５）。
【００３５】
次に、図８は、上記のステップＳ１４における画像データ変換処理の詳細を示す図である。まず、制御部１１は、立体画像データに対して平行化処理を実行する（ステップＳ２１）。これは、ステレオ画像に含まれる１組の画像どうしの縦ズレを小さくするために行われる処理である。制御部１１は、図９に示すように、ステレオ画像に含まれる画像のうち、左目に対応する画像（左画像という）と右目に対応する画像（右画像という）とが、利用者の視点から見て上下方向（Ｘ方向）にずれている場合には、いずれか一方の画像（ここでは右画像）をＸ軸方向にズレ量に応じた量だけ移動させることで、ズレを小さくする。制御部１１は、この平行化処理を行うために、左画像と右画像との間で互いに対応する特徴点を求める必要があるが、これには、例えばＳＩＦＴ法(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded-Up Robust Features)法などの、画像から特徴点を抽出するための周知の手法を用いればよい。制御部１１は、この特徴点の対応関係からエピポーラ拘束条件を用いて得られた基礎行列（Fundamental Matrix）を用いた演算を行って、Ｘ軸方向のずれを小さくした立体画像データを得る。なお、あらかじめ撮影部２０に対するキャリブレーション処理を経て、撮影部２０の内部環境に関するパラメータ及び外部環境に関するパラメータを制御部１１が取得できている場合は、上記のような特徴点の対応関係を取得しなくても平行化処理を実現可能である。
【００３６】
次に、制御部１１は、平行化処理を施した立体画像データにおいて、画像に含まれるオブジェクトの深度に関する情報（深度情報）を取得し、その深度情報から、ステレオ画像の最大視差及び最小視差を特定する（ステップＳ２２）。図１０は、画像中のオブジェクトの深度と視差との関係を説明するための模式図であり、ディスプレイ部１８の表示面に平行な方向から見たときの様子を表している。図１０において、利用者の視点から見たときのディスプレイ部１８の左右方向（Ｙ方向）のサイズをｓ[cm]、左右の目の間隔をe[cm]、ディスプレイ部１８の表示面から、左右の目を結んだ線分までの距離（視距離）をｄ[cm]、最大視差をＤｍａｘ[pixel]、最小視差をＤｍｉｎ[pixel]とする。このステレオ画像によって実現される仮想的な３次元空間において、最も大きい飛び出し量を持つ（深度が浅い）点と、最も大きい奥行き量を持つ（深度が深い）点と、ディスプレイ部１８の表示面上の点とに対する、左右の目の輻輳角をそれぞれα、β、γとする。制御部１１は、ステレオ画像から特定し得る深度情報から、そのステレオ画像に含まれるオブジェクトの、表示面からの最大飛び出し量ｐ[cm]および最大奥行き量ｑ[cm]を特定し、さらに、図示のような幾何学的関係から最大視差Ｄｍａｘ及び最小視差Ｄｍｉｎを算出する。最大飛び出し量ｐに対応する最大視差Ｄｍａｘは正の値をとり、最大奥行き量ｑに対応する最小視差Ｄｍｉｎは負の値をとる。なお、ステレオ画像から深度情報を求める手法としては、例えばピクセルマッチング、ブロックマッチング、グラフカット、または、動的計画法といった手法が知られているので、制御部１１はこれらを用いればよい。また、立体画像データがそもそも深度情報を含む単視点の画像を表す画像データである場合は、制御部１１は上記処理を行わず、その立体画像データが有する深度情報をそのまま用いればよい。
【００３７】
図８の説明に戻り、制御部１１は、図６のステップＳ３にて取得した機種情報に基づいて、移動通信端末１３０のディスプレイ部１８が２視点の３Ｄディスプレイであるか否かを判断する（ステップＳ２３）。移動通信端末１３０のディスプレイ部が２視点の３Ｄディスプレイである場合には（ステップＳ２３；ＹＥＳ）、制御部１１は、移動通信端末１３０のディスプレイ部１８の表示面の物理的サイズに応じて、右目と左目の視差量を調整する視差調整処理を行う（ステップＳ２４）。具体的には、制御部１１は、まず、移動通信端末１３０のディスプレイ部１８において快適に立体視を行い得る最大視差及び最小視差の範囲である適正視差範囲を特定する。制御部１１は、この適正視差範囲の具体的な数値については、例えば３Ｄコンソーシアムガイドライン（http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf）で定義される「快適な立体視」が可能となる視差量に基づいて求めればよい。図１０において、輻輳角の差の絶対値|α-γ|及び|γ-β|を視差角と呼ぶ。上記３Ｄコンソーシアムガイドラインにおいては、これらを各々１度以内にすることが推奨されている。また、３Ｄコンソーシアムガイドラインによれば、輻輳角の差|α-β|も１度以内であることが推奨されている。
【００３８】
ここで、図１０においては、γ＝２ｔａｎ-1（ｅ／２ｄ）という数式が成り立つ。また、ディスプレイの左右方向（Ｙ方向）の解像度をｒ[pixel]として、最大視差Ｄｍａｘのときに最大飛び出し量ｐとなるという条件から、Ｄｍａｘ＝２ｐ・ｒ／ｓ・ｔａｎ（α／２）いう数式が成り立つ。ここで、輻輳角の差が１度以内という上記３Ｄコンソーシアムガイドラインに基づくと、α＝γ+１が限界条件であるから、制御部１１は、これを上記の数式に代入することで、適正視差範囲における最大視差Ｄｍａｘを求めることができる。制御部１１は、同様にして、適正視差範囲における最小視差Ｄｍｉｎも求めることができる。そして、制御部１１は、図８のステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていなければ、移動通信端末１３０において過度な立体感は発生しないと判断し、視差調整処理を行わない。一方、制御部１１は、ステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていれば、視差調整処理を行う。なお、制御部１１は、適切な見え方となる輻輳角の条件を用いて最大視差Ｄｍａｘを求め、ステレオ画像の最大視差が適性視差範囲内だがその大きさをもう少し大きくしたいというような場合にも、ステレオ画像の最大視差が最大視差Ｄｍａｘになるように視差調整を行ってもよい。
【００３９】
この視差調整処理には、２つの方法があることが知られている。１つは、ステレオ画像に含まれる１組の画像のうち、いずれか一方を左右方向（Ｙ方向）にシフトして、最大視差及び最小視差の差を適正視差範囲に収める方法である。この方法は、最大視差及び最小視差のいずれか一方が適正視差範囲を超え、かつ、いずれか一方の画像をシフトした場合に、シフト後のステレオ画像における最大視差及び最小視差が適正視差範囲に収まる場合に好適である。この方法は、比較的簡易な手法である点がメリットであるが、いずれか一方の画像全体をシフトするため、視差の正負が逆転し、本来表現したかった立体の凹凸が逆になってしまう可能性があることが知られている。もう１つの視差調整の方法としては、ステレオ画像に含まれるオブジェクトごとにその深度を求めて、その深度に応じた量だけ各々のオブジェクトをシフトする方法である。この方法による処理は、後述する補間処理を行って補間した画像と補間前のステレオ画像から、適正視差に収まる２枚の画像を選択して、これらを新たにステレオ画像とするということに相当する。この方法では、上述した画像全体のシフトとは異なり、同じ深度を持つオブジェクト単位でシフトするから、上記のような視差の正負の逆転は起きない。よって、本来表現したかった立体の凹凸を維持したまま、全体的な立体感を調整し得るという効果がある。
【００４０】
図８の説明に戻り、移動通信端末１３０のディスプレイ部１８が多視点の３Ｄディスプレイであるときの動作を説明する。この場合、ステップＳ２３において２視点の３Ｄディスプレイではないと判断されるから（ステップＳ２３；ＮＯ）、制御部１１は、２視点よりも多い数の多視点の３Ｄディスプレイであるとして、補間処理を行う（ステップＳ２５）。補間処理とは、多視点に対応するべく、移動通信端末１１０において実際には撮影されていない視点から見たときの画像を、実際に撮影された視点から見たときの画像と、その画像に含まれるオブジェクトの深度情報とを元に予測的に生成することで、撮影された画像における視点数（ステレオ画像の場合は２）よりも多い視点数の画像を得る処理である。まず、制御部１１は、機種情報から特定される表示環境や上記の適正視差量に基づいて、移動通信端末１１０において実際には撮影されていない視点である仮想視点を決める。例えば５視点の３Ｄディスプレイに提示する画像をステレオ画像から生成する場合は、制御部１１は、図１１に模式的に示すように、ステレオ画像に含まれている、２視点に対応する１組の画像５３ａ，５３ｅから、仮想視点に対応する画像（仮想視点画像という）５３ｂ，５３ｃ，５３ｄを生成する。５視点の３Ｄディスプレイには、この５３ａ〜５３ｅの画像が提示される。なお、図１１では２視点のステレオ画像から間の３視点分の画像を補間し合計５視点としているが、画像の深度情報を持っていれば、入力画像の視点数や、補間する仮想視点の数に制限はない。
【００４１】
ここで、より具体的な補間処理の内容を説明すると、以下のとおりである。制御部１１は、特定した深度情報に基づき、３次元空間における各オブジェクトの視差を求め、さらに、このオブジェクトが仮想視点からどのように見えるかを３次元的に予測する。つまり、制御部１１は、深度情報から求められた視差を元に、仮想視点画像における各画素に投影されるオブジェクトが、実際に撮影された画像のどの画素に投影されているかを特定し、特定した後者の画素（参照画素という）の輝度を元に、仮想視点画像における各画素の輝度を決定して、仮想視点画像を生成する。制御部１１は、輝度を決定する際に、参照画素が一つの場合は、その参照画素の輝度をコピーして仮想視点画像における各画素の輝度を決定するし、参照画素が複数の場合は、線形補間等の処理を実施して仮想視点画像における各画素の輝度を決定する。
【００４２】
図１２を参照しながら、具体的な例を上げて説明する。これは、一定の距離を隔てて配置された２つの撮像素子から撮影された画像５３ａ，５３ｅから、２つの撮像素子の中間にあると仮想した仮想視点（以下、中間視点という）より見たときの画像５３ｃを補間によって求める例である。ここで、予め特定された深度情報から画像５３ａ，５３ｅ間の視差がＤ[pixel]であると分かっている場合、中間視点から見たときの仮想視点画像５３ｃのオブジェクトは、その半分であるＤ／２の視差を、画像５３ａ，５３ｅに対してそれぞれ有する。よって、制御部１１は、仮想視点画像５３ｃのオブジェクトに含まれる画素６３ｃの輝度を求める場合は、画像５３ａ，５３ｅにおいてそれぞれＤ／２の視差を持つ画素６３ａ，６３ｅを参照画素とし、この参照画素の輝度を元に画素６３ｃの輝度を決定する。輝度決定に関しては、前述のように線形補間等の処理を用いればよい。例えば図１２の例において線形補間を用いる場合は、制御部１１は、画素６３ｃの輝度＝（画素６３ａの輝度／２）＋（画素６３ｅの輝度／２）という数式で画素６３ｃの輝度を求めればよい。制御部１１は、中間視点から見たときの仮想視点画像に含まれる各画素に対し、上記と同様の処理を実施することで、画像５３ｃを生成する。
【００４３】
また、制御部１１は次のようにしてもよい。例えば、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイで、さらにセンサ部２１によってディスプレイ部１８の表示面に対する利用者の正対方向のズレを認識できる場合は、制御部１１は、ステレオ画像から特定した各オブジェクトの深度情報に基づき、例えば仮想視点を±３０度の範囲において円弧状に１度ずつずらしたときの仮想視点画像を上記のような補間処理を用いて生成する。この場合には、合計６１枚の画像を表す画像データが生成される。このときの動作の概念図を図１３に示す。この図の例では仮想視点が５つであり、図示のように円弧状の仮想視点画像７３ａ〜７３ｅが制御部１１によって生成される。
以上のようにして得られた画像データは移動通信端末１３０に送信される。
【００４４】
移動通信端末１３０において、制御部１５は、受信した画像データを解釈してディスプレイ部１８に表示する。移動通信端末１３０が２視点の３Ｄディスプレイに対応した機種であり、かつ、受信した画像データが平行化処理や視差調整処理の施された、２視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５がこの画像データに応じた画像を表示するだけで、利用者にとって好ましい立体視が可能となる。また、受信した画像データが多視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５は、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうちいずれか２つを選択して表示することで、表示面に対して移動する利用者の視線に応じた立体視、いわゆる運動視差に応じた立体視が可能となる。また、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであっても、センサ部２１がある場合には、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうち、移動通信端末１３０で提示する画像の視点数分のものを選択して表示することで、表示面に対する利用者の視線に応じた擬似的な立体視、つまり運動視差に応じた擬似的な立体視が可能となる。これはつまり、図１３で例示した円弧状に補間された仮想視点画像７３ａ〜７３ｅを移動通信端末１３０の傾きに応じて選択的に表示することに相当する。
【００４５】
次に、受信した画像データに３以上の多視点の画像が含まれる場合について説明する。まず、移動通信端末１３０のディスプレイ部１８が、２視点の３Ｄディスプレイである場合、制御部１５は、上記のような複数の多視点画像から適正視差範囲内の画像を２つ（つまり移動通信端末１３０のディスプレイ部１８における視点数分）だけ選択して、ステレオ画像を生成する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。
【００４６】
また、移動通信端末１３０が、受信した画像データにおける視点数よりも少ない視点数の、多視点の３Ｄディスプレイである場合、制御部１５は、複数の多視点画像から適正視差範囲内の画像を、移動通信端末１３０のディスプレイ部１８における視点数分だけ選択する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。
【００４７】
また、移動通信端末１３０が、受信した画像データにおける視点数よりも多い視点数の、多視点の３Ｄディスプレイである場合、または、受信した画像データにおける視点数よりも少ない視点数の多視点の３Ｄディスプレイであって、上記画像データにおける最大視差及び最小視差が適正視差範囲を超えている場合は、制御部１５は、多視点画像に対して補間処理を行って、適正視差範囲に収まる画像であって、ディスプレイ部１８における視点数分の画像を生成する。このとき用いられる補間アルゴリズムは前述したステレオ画像の補間処理と同様のものである。
【００４８】
以上説明した実施形態によれば、様々な表示環境において好ましい立体視を実現することができる。また、画像データ変換装置１２０が画像データの変換処理を行うので、表示端末としての移動通信端末１３０のリソースが乏しい場合であっても、移動通信端末１３０の処理負担は、自身が画像データ変換処理を行う場合に比べて小さくなる。
【００４９】
＜変形例＞
上述した実施形態は次のような変形が可能である。以下の変形例を互いに組み合わせて実施してもよい。
＜変形例１＞
画像データ変換装置１２０が立体画像データから、その立体画像データに含まれる各オブジェクトの深度のみを求めて、それを立体画像データとともに、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０が、立体視に対応していない２Ｄディスプレイであるときには、次のような処理を行う。図１４は、この場合の移動通信端末１３０の機能的構成を示すブロック図である。移動通信端末１３０において、制御部１５がプログラムを実行して各部の動作を制御することによって、図１４に示した各機能を実現する。端末傾き検出部１４４は、センサ部２１によって実現され、或る基準方向に対する、移動通信端末１３０の傾きの量及び方向を検出する。３次元モデル生成部１４３は、画像データ変換装置１２０から送信されてくる立体画像データ及び深度を取得し、取得した立体画像データが表す画像に含まれる各オブジェクトの各画素をその深度に応じて３次元空間に投影し、その３次元空間における各オブジェクトの位置・輝度を求めることで３次元モデルを構築する。レンダリング部１４７は、各オブジェクトを、例えば±３０度の範囲において１度ずつ視点をずらして見たときにどのように見えるかを予測してレンダリングを行う。レンダリングとは、３次元モデルに対し、ある仮想的な視点を設定してその視点からの画像を生成することを言う。このとき、例えばオブジェクトの一部または全部をコピーして、新たな視点で見えるはずのオブジェクトの面に貼り付けるなどの、補間アルゴリズムを用いてレンダリングを行う。これにより、視点がそれぞれ異なる複数の立体画像データが生成されることになる。表示部１４８は、レンダリング部１４７で得られた複数の立体画像データから、端末傾き検出部１４４によって検出された移動通信端末１３０の傾きの量及び方向に応じた画像データを選択し、選択した画像データに応じた画像を表示する。なお、端末傾き取得部１４４は、センサ部２１によって検出された値に対し、図１５に示すように、ローパスフィルタを適用したり、ヒステリシス特性を持たせることで、検出値の微小な増減によって視点が細かくぶれながら移動するチャタリングを防止することができる。このようなローパスフィルタやヒステリシス特性は、実施形態で説明した内容に対しても適用可能である
【００５０】
＜変形例２＞
実施形態では、表示装置としての移動通信端末１３０が、撮影装置としての移動通信端末１１０から立体画像データを受信してから、画像データ変換装置１２０にその立体画像データを送信するようにしていた。これを、撮影装置としての移動通信端末１１０が、立体画像データの宛先である表示装置としての移動通信端末１３０の機種情報とともに、立体画像データを画像データ変換装置１２０に送信し、これに応じて画像データ変換装置１２０から得た画像データを移動通信端末１３０に送信するようにしてもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。
【００５１】
＜変形例３＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、移動通信端末１３０自身が画像データ変換処理を行ってもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。
【００５２】
＜変形例４＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、撮影装置としての移動通信端末１１０が立体画像データに画像データ変換処理を行ってから移動通信端末１３０に送信してもよい。
【００５３】
＜変形例５＞
画像データ変換装置１２０が立体画像データから深度のみを求めて、それを、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０は、受信した深度に関する情報に基づいて、画像データ変換装置１２０に代わって実施形態で説明した視差調整や補間処理を行う。このようにすれば、移動通信端末１３０が画像データ変換装置１２０から受信するデータのサイズを減らすことができる。
【００５４】
＜変形例６＞
実施形態及び上記の変形例２，５において、表示装置としての移動通信端末１３０の通信環境や移動通信端末１３０のスペックに応じて、画像データ変換処理を、画像データ変換装置１２０と移動通信端末１３０とで役割分担して行ってもよい。例えば、移動通信端末１３０のスペックが高い場合は、深度のみを画像データ変換装置１２０で特定し、視差調整や補間処理を移動通信端末１３０で行う。これにより、多視点の３Ｄディスプレイや２Ｄディスプレイにおいては、画像データ変換装置１２０と移動通信端末１３０との間で多視点の画像データを送受信する必要がないため、通信にかかるデータ量を削減することが可能となる。また、実施形態及び変形例２，５において、既に一度生成して送信した立体画像データを、別の表示装置に送信する際に、画像データ変換装置１２０において、以前に特定した深度や視差調整処理の結果等を保有していれば、これを再度利用してもよい。これにより、画像データ変換装置１２０における処理量を減らすことが可能となる。
【００５５】
＜変形例７＞
例えば、移動通信網１００などのネットワーク上のサーバ装置に、移動通信端末の機種ごとに、前述した画像データ変換処理に含まれる処理である視差調整等が既に施され、適正視差範囲内に最適化された立体画像データが予め記憶されていてもよい。この場合、表示装置としての移動通信端末１３０がそのサーバ装置に対して、ＨＴＴＰリクエストのユーザエージェントに機種情報を記述して通知し、サーバ装置が、通知された機種情報に対応する立体画像データを移動通信端末１３０に送信する。このようにすれば、ダウンロードするたびにリアルタイムで画像データ変換処理を行う必要が無くなり、多くの利用者が見る画像（例えば立体視が可能なプロモーションビデオ等）を配信する際にサーバ装置の処理負担を軽減することができる。
【００５６】
＜変形例８＞
図６のステップ２の判断において、利用者が操作部１７を用いて自らの意思で、ステレオ画像か否か、つまり、画像データ変換装置１２０による処理を行うか否かを選択するようにしてもよい。このようにすれば、利用者自らの意思により、移動通信端末において、立体画像データを変換することなくそのまま表示させることが可能となる。
【００５７】
＜変形例９＞
表示装置や撮影装置は、実施形態で例示した携帯電話機以外に、例えばノートパソコン、デジタルフォトフレームまたはテレビジョンなどの電子機器であってもよい。
画像データ変換装置１２０の機能を分散化して複数の装置が実装してもよい。
立体画像データは、１つのカメラ（単眼カメラ）で少しずれた位置で二回以上撮影した１組の画像であっても、３以上の複数のカメラで同時に撮影した画像でも、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一又は複数の画像であってもよい。
移動通信端末１１０から移動通信端末１３０へ画像データを送信するときの形態は、実施形態で例示した電子メールのほか、ブルートゥース（登録商標）、ＩｒＤＡ（Infrared Data Association）または無線ＬＡＮなどのデータ授受手段を用いてもよい。また、メモリーカードやＨＤＭＩ等の物理Ｉ／Ｏなどのデータ授受手段を用いてもよい。
また、立体画像データは静止画に限らず、動画であってもよい。
【００５８】
＜変形例１０＞
上述した実施形態におけるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で、画像データ変換装置や移動通信端末に提供し得る。この場合には、記録媒体を読み取るインターフェースをこれらの画像データ変換装置や移動通信端末に設ければよい。また、ネットワーク経由でこれらの画像データ変換装置や移動通信端末にダウンロードさせることも可能である。
【符号の説明】
【００５９】
１・・・通信システム、１１０，１３０・・・移動通信端末、１２０・・・画像データ変換装置、１１・・・制御部、１２・・・記憶部、１３・・・通信部、１５・・・制御部、１６・・・無線通信部、１７・・・操作部、１８・・・ディスプレイ部、１９・・・音声入出力部、２０・・・撮影部、２１・・・センサ部。
【技術分野】
【０００１】
本発明は、表示装置において立体視を実現するための技術に関する。
【背景技術】
【０００２】
近年では、携帯電話機、パーソナルコンピュータ或いはテレビジョンなどの、表示機能を有する電子機器において、立体感がある画像を表示することが可能なディスプレイが実装されつつある。一方で、このような立体感のある画像を表示するための画像データを生成する機能を備えた電子機器も普及しつつある。例えば、一定の距離を隔てて設けられた２つのカメラで同時に被写体を撮影して１組の画像データを生成するといったものが知られている。また、特に被写体が静止している場合には、１つのカメラの位置を移動させてそれぞれ１回ずつ撮影することで、上記のような１組の画像データを生成することも可能である。これら１組の画像は、人間の右目と左目にそれぞれ対応しており、ステレオ画像と呼ばれている。
【０００３】
このようなステレオ画像以外にも、一定の距離を隔てて設けられた３以上の複数のカメラで同時に被写体を撮影して得られた１組の画像や、１つのカメラを移動させて３回以上撮影することで得られた１組の画像などが、立体感のある画像を表示するものとして知られている。また、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一または複数の画像も、立体視を実現するものである。これら画像の画像データは、いずれも、利用者の左目及び右目に異なる映像を提示して立体感のある画像（立体画像）を表示可能とする画像データであり、以下では、立体画像データと呼ぶこととする。
【０００４】
このように、エンドユーザがステレオ画像を含む各種の立体画像データを作成し得る環境が整いつつあるが、これを表示する電子機器においては、ディスプレイの大きさや、利用者の視点からディスプレイまでの距離（視距離という）などの表示環境に応じて、画像の立体感が変化する。このため、立体画像データの生成時に想定していた表示環境と、それを現実に表示する電子機器における表示環境とが整合していないと、例えば立体感が乏しくて迫力が無い画像が表示されるとか、逆に、立体感が強すぎて両目で見た画像を一つの画像として認識すること（融像という）が困難になる場合がある。さらに、ディスプレイが立体視を前提とした表示方式であるか否かとか、また、立体視を前提とした表示方式であったときの視点数なども、立体画像の見え方に大きな影響を与える。このような理由から、立体視を前提とした立体画像データを生成する際には、それを現実に表示する表示装置におけるディスプレイの物理的サイズ、表示方式、視点数または視距離等の、様々な表示環境を予め正確に特定しておかないと、好ましい立体視が実現できない。
【０００５】
例えば特許文献１には、ディスプレイを有する電子機器が自身のディスプレイの表示環境に適合するように画像データを変換する技術が開示されている。特許文献２には、ステレオ画像の拡大または縮小時に、最大視差と最小視差の情報を用いた視差調整を行って、過度な立体感を抑制する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２１６９９号公報
【特許文献２】特開２００４−３４９７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術は、ディスプレイを有する電子機器自身が画像データの変換を行うため、電子機器にとってその変換にかかる処理負担が大きいという問題がある。特にこの電子機器が携帯電話機などのリソースに乏しい小型の電子機器である場合には、このような処理負担の増大は無視できない。また、例えばパーソナルコンピュータに接続されたディスプレイを新たなものに交換するような場合を想定すると、特許文献１に記載の技術では、新しいディスプレイの表示環境を逐一入力又は指定するという煩雑な作業が利用者に強いられることになる。また、特許文献２に記載の技術は、画像の拡大時または縮小時においてのみ視差調整を実現するものに過ぎず、その適用範囲が限定的であるため、例えば、世の中に流通している様々な表示環境の電子機器において好ましい立体視を実現する手段として活用するには不十分である。
【０００８】
そこで、本発明の目的は、様々な表示環境において好ましい立体視を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明は、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信する受信手段と、画像を表示する表示装置における表示環境を特定する特定手段と、前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段とを備えることを特徴とする画像処理装置を提供する。
【００１０】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記表示装置の表示環境に応じて前記立体画像データにおける右目と左目に提示する画像の視差量を調整する処理が含まれるようにしてもよい。
【００１１】
前記表示装置における表示環境として、２視点よりも視点数が多い多視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記多視点の視点数分の立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。
【００１２】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを前記受信された立体画像データから生成する処理とが含まれるようにしてもよい。
【００１３】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを補間により生成する処理とが含まれるようにしてもよい。
【００１４】
前記表示装置における表示環境として、前記受信された立体画像データにおける視点数よりも少ない視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記受信された立体画像データに含まれる複数の画像から、当該表示装置における視点数分の画像を選択する処理が含まれるようにしてもよい。
【００１５】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記立体画像データに含まれるオブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記表示装置で提示する画像の視点数より多い数の画像データを前記受信された立体画像データから生成する処理と、生成された複数の画像データから前記表示装置で提示する画像の視点数分の画像データを選択する処理とが含まれるようにしてもよい。
【００１６】
また、本発明は、画像処理装置において、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信するステップと、画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップとを備えることを特徴とする画像処理方法を提供する。
【００１７】
また、本発明は、画像の立体視に対応していない表示手段と、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを備えることを特徴とする表示装置を提供する。
【００１８】
また、本発明は、画像の立体視に対応していない表示手段を備えるコンピュータに、立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、基準方向に対する自装置の傾きを検出する検出手段と、取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段とを実現させるためのプログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、様々な表示環境の表示装置において好ましい立体視を実現することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る通信システムの構成を示す図である。
【図２】画像データ変換装置のハードウェアの構成を示すブロック図である。
【図３】移動通信端末のハードウェアの構成を示すブロック図である。
【図４】画像データ変換装置及び移動通信端末の機能的構成を示すブロック図である。
【図５】機種情報テーブルの一例を示す図である。
【図６】移動通信端末の動作を示すフローチャートである。
【図７】画像データ変換装置の動作を示すフローチャートである。
【図８】画像データ変換装置の動作を示すフローチャートである。
【図９】平行化処理を説明する図である。
【図１０】最大視差及び最小視差を説明する図である。
【図１１】多視点の画像を説明する図である。
【図１２】画像の補間を説明する図である。
【図１３】円弧状の仮想視点を例示する図である。
【図１４】変形例における移動通信端末の機能的構成を示すブロック図である。
【図１５】ローパスフィルタの効果を説明する図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について説明する。
＜構成＞
図１は、実施形態にかかる通信システム１の全体構成を示す図である。通信システム１は、利用者によって所持される移動通信端末１１０、１３０と、広範なエリアに設けられた移動通信網１００と、この移動通信網１００に接続された画像データ変換装置１２０とを備えている。なお、この通信システム１において移動通信端末は多数存在し得るが、図１では、説明の便宜のため、被写体を撮影する撮影装置として機能する移動通信端末１１０と、その被写体の画像を表示する表示装置として機能する移動通信端末１３０のみを示している。
【００２２】
移動通信端末１１０，１３０は、例えば通話及びデータ通信が可能な携帯電話機などのコンピュータであり、移動通信網１００を介して他の移動通信端末１１０との間で通話やデータ通信を行ったり、移動通信網１００を介して画像データ変換装置１２０との間でデータ通信を行う。画像データ変換装置１２０は、例えばデータ通信が可能なサーバ装置などのコンピュータであり、主に画像データの変換処理等を行う画像処理装置として機能する。移動通信網１００は、移動通信端末１１０，１３０に通話サービス及びデータ通信サービスを提供するネットワークシステムである。この移動通信網１００は、移動通信端末１１０，１３０と無線通信を行う基地局、網内のルーティングを行う交換局、及び移動通信端末１１０，１３０の位置登録などを行う制御局などの各種ノードと、これらのノード間を相互に接続する通信線とを備えている。
【００２３】
図２は、画像データ変換装置１２０のハードウェアの構成を示すブロック図である。画像データ変換装置１２０は、制御部１１と、記憶部１２と、通信部１３とを備えている。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリとを備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行することによって、画像データ変換装置１２０の各部の動作を制御する。記憶部１２は、ＨＤＤ（Hard Disk Drive）等の、大容量で不揮発性の記憶装置であり、制御部１１が実行するプログラムや画像データなどを記憶する。通信部１３は、移動通信網１００を介してデータ通信を行うインタフェース装置である。
【００２４】
図３は、移動通信端末１１０，１３０のハードウェアの構成を示すブロック図である。移動通信端末１１０，１３０の構成は共通であり、いずれも、制御部１５と、無線通信部１６と、操作部１７と、ディスプレイ部１８と、音声入出力部１９と、撮影部２０と、センサ部２１とを備えている。制御部１５は、ＣＰＵ、ＲＯＭ及びＲＡＭのほか、書き込み可能な不揮発性の記憶手段として、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）を備えている。ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭやＥＥＰＲＯＭ等に記憶されたプログラムを実行することにより、移動通信端末１１０，１３０の各部の動作を制御する。無線通信部１６は、アンテナや無線通信回路を備えており、移動通信網１００の基地局との間で無線通信を行う。操作部１７は、複数のキーやタッチスクリーンなどの操作子を備え、利用者の操作に応じた操作信号を制御部１５に供給する。制御部１５は、この操作信号に応じた処理を行う。
【００２５】
ディスプレイ部１８は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部１５からの指示に応じて各種の情報を表示する。このディスプレイ部１８における表示環境は、移動通信端末の機種ごとに様々に異なっている。ここでいう表示環境とは、立体視を前提として人間の右目と左目にそれぞれ対応した、異なる視点の画像を表示する能力に関する環境のことをいう。音声入出力部１９は、小型のマイクロホンやスピーカを備えており、移動通信端末１１０，１３０における音声の入出力を行う。撮影部２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子と、ＡＳＩＣ（Application Specific Integrated Circuit）などの画像信号処理回路とを備え、撮像素子によって２つ以上の異なる視点から撮影された画像を１組とした画像データを生成する。具体的には、例えば、撮像部２０において複数の撮像素子が一定の距離を隔てて設けられており、被写体を同時に撮影するものであってもよいし、また、被写体が静止している場合には、１つの撮像素子が異なる視点から被写体を撮影するものであってもよい。センサ部２１は、移動通信端末１１０，１３０の、或る基準方向に対する傾きの方向及び量を検出する（以下では単に、傾きを検出する、という）手段であり、例えば加速度センサ、ジャイロセンサ、地磁気センサまたは撮像素子などである。
【００２６】
図４は、画像データ変換装置１２０及び移動通信端末１１０，１３０の機能的な構成を示すブロック図である。これら画像データ変換装置１２０及び移動通信端末１１０，１３０において、各々の制御部１１，１５がプログラムを実行し、自装置又は自端末の各部の動作を制御することによって、図４に示した各機能を実現する。
【００２７】
移動通信端末１１０において、画像データ生成部１１１は、主に制御部１５及び撮影部２０によって実現される機能であり、送信部１１２は、主に制御部１５及び無線通信部１６によって実現される機能である。例えば、画像データ生成部１１１は、２つ以上の異なる視点から被写体をそれぞれ静止画として撮影して立体画像データを生成する。また、画像データ生成部１１１は、深度情報を含む、単視点または複数視点の画像を表す立体画像データを生成するようにしてもよい。送信部１１２は、利用者によって指定された宛先である移動通信端末１３０に対し、この画像データを電子メールに添付するなどして送信する。このとき、送信部１１２は、立体画像データをファイル形式にして電子メールに添付するが、このファイル形式を立体画像データであることを意味するものにしておく。例えば、２視点から被写体を静止画として撮影したステレオ画像の場合は、その拡張子が「.MPO」、「.JPS」、「.STJ」、「.SSI」等のファイル形式である。
【００２８】
移動通信端末１３０において、機種情報記憶部１３２は主に制御部１５によって実現される機能であり、アップロード部１３３、ダウンロード部１３４及び受信部１３１は主に制御部１５及び無線通信部１６によって実現される機能であり、表示部１３５は、主に制御部１５、ディスプレイ部１８及びセンサ部２１によって実現される機能である。受信部１３１は、移動通信端末１１０から送信された電子メールに添付されているデータを受信すると、このデータのファイル形式を参照して、立体画像データに対応するファイル形式であるか否かを判断する。機種情報記憶部１３２は、移動通信端末１３０の機種を特定し得る機種情報を記憶している。この機種情報は、例えば移動通信端末１３０に割り当てられ、制御部１５のＲＯＭに記憶されている個体識別情報である。この固体識別情報の上位ビット列が機種情報そのものを意味しているか、或いは、各々の固体識別情報がどのような機種の移動通信端末のものであるかが予め分かっている。アップロード部１３３は、受信した立体画像データ及び機種情報を画像データ変換装置１２０にアップロードする。ダウンロード部１３４は、画像データ変換装置１２０から画像データをダウンロードする。表示部１３５は、ダウンロードされた画像データに応じた画像を表示する。
【００２９】
画像データ変換装置１２０において、受信部１２１、機種情報取得部１２２及び送信部１２６は、主に制御部１１及び通信部１３によって実現される機能であり、表示環境特定部１２３、変換要否判断部１２４及び画像データ変換部１２５は主に制御部１１及び記憶部１２によって実現される機能である。
【００３０】
受信部１２１は、移動通信端末１３０から送信されてくる立体画像データを受信し、変換要否判断部１２４に渡す。機種情報取得部１２２は、移動通信端末１３０から送信されてくる機種情報を受信し、表示環境特定部１２３に渡す。表示環境特定部１２３は、この機種情報から、その機種情報の送信元である移動通信端末１３０における表示環境を特定する。このため、表示環境特定部１２３（ハードウェアとしては記憶部１２）は、図５に示すような、移動通信端末の全機種の表示環境を表す機種別表示環境情報を記憶している。この機種別表示環境情報には、機種の別を意味する機種情報の一例である機種名と、その機種に該当する移動通信端末のディスプレイ部１８の表示面の物理的サイズと、そのディスプレイ部１８の解像度と、そのディスプレイ部１８が３Ｄディスプレイ（画像の立体視に対応したディスプレイ）であるか又は２Ｄディスプレイ（画像の立体視に対応していない通常のディスプレイ）であるかと、３Ｄディスプレイの方式及びその視点数と、そのディスプレイ部１８において予め想定されている視距離である想定視距離と、画像の表示に関係する物理量を検知するセンサに関するセンサ情報とが含まれている。３Ｄディスプレイの方式としては、視差バリア方式とか、レンチキュラー方式とか、時分割方式などが知られている。表示環境特定部１２３は、この機種別表示環境情報を参照して、取得した機種情報に対応する表示環境を特定する。
【００３１】
変換要否判断部１２４は、立体画像データに対して画像データ変換部１２５が画像データ変換処理を施す必要があるか否かを判断する。画像データ変換処理が必要ないと判断する場合とは、表示環境特定部１２３が特定した表示環境が、“移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであり且つセンサ部２１がない（つまり機種別表示環境情報にセンサ情報が含まれていない）”と判断した場合である。それ以外の場合には、立体画像データに対して画像データ変換処理を施す必要があると判断されるが、この場合、画像データ変換部１２５は、移動通信端末１３０において適切な立体視を実現するため、その表示環境に応じた画像データ変換処理を行う。一方、立体画像データに対して画像データ変換処理を施す必要がないと判断された場合には、画像データ変換部１２５は、この立体画像データに含まれる画像のうち、いずれかの視点以外の画像を削除するとか、各視点の画像をアニメーション合成するなどして、２Ｄディスプレイでの表示に対応した１つの画像データ（例えば、ＪＰＥＧ(Joint Photographic Experts Group)、ビットマップ、或いはアニメーションＧＩＦ(Graphic Interchange Format)などの形式の画像データ）を生成する。送信部１２６は、画像データ変換部１２５から供給される変換処理後の画像データを、上記の機種情報及び立体画像データの送信元である移動通信端末１３０に送信する。
【００３２】
＜動作＞
次に実施形態の動作を説明する。以下では、立体画像データとして、２視点から被写体を静止画として撮影したステレオ画像の画像データを用いる場合を例に挙げて、動作説明を行う。
図６は、移動通信端末１３０の制御部１５の動作を示す図である。まず移動通信端末１１０において、ステレオ画像である立体画像データが生成され、この立体画像データが移動通信端末１１０から移動通信端末１３０に送信されてくる。この立体画像データは、移動通信端末１１０が予め想定している表示環境に対応したものであり、本動作例では、２視点の３Ｄディスプレイという表示環境に対応したものとなっている。移動通信端末１３０の制御部１５は、移動通信端末１１０から送信される立体画像データを受信して取得すると（ステップＳ１）、この立体画像データのファイル形式を参照して、ステレオ画像に対応するファイル形式であるか否かを判断する（ステップＳ２）。前述のようなステレオ画像に対応するファイル形式である場合には（ステップＳ２；ＹＥＳ）、制御部１５は、機種情報を読み出して取得し（ステップＳ３）、立体画像データと機種情報とを画像データ変換装置１２０にアップロードする（ステップＳ４）。より具体的には、まず制御部１５は、立体画像データの送信に先立って、画像データ変換装置１２０に対してＨＴＴＰ（Hyper Text Transfer Protocol）リクエストを送信する。このＨＴＴＰリクエストヘッダには、ユーザエージェントと呼ばれる領域があるから、制御部１５は、このユーザエージェントに、機種情報を記述することで、これを画像データ変換装置１２０に通知する。
【００３３】
次に、制御部１５は、上記ＨＴＴＰリクエストに対する画像データ変換装置１２０からの応答を受け取ると、立体画像データを画像データ変換装置１２０に送信する。この後、画像データ変換装置１２０によって画像データ変換処理がなされる。移動通信端末１３０の制御部１５は、画像データ変換装置１２０によって画像データ変換処理がなされた画像データを、その画像データ変換装置１２０からダウンロードし（ステップＳ５）、これを解釈して、立体視が可能な画像をディスプレイ部１８に表示する（ステップＳ６）。なお、制御部１５は、ステップＳ１にて取得した画像データがステレオ画像（立体画像データ）に対応するものでない場合には（ステップＳ２；ＮＯ）、これを解釈して、通常どおりの画像をディスプレイ部１８に表示する（ステップＳ６）。
【００３４】
次に、図７は、画像データ変換装置１２０の制御部１１の動作を示す図である。制御部１１は、移動通信端末１３０から立体画像データ及び機種情報を受信して取得すると（ステップＳ１１）、受信した機種情報から、その機種情報の送信元である移動通信端末１３０の表示環境を特定し、特定した表示環境に基づいて、受信した画像データに画像データ変換処理を施す必要があるか否かを判断する（ステップ１２）。前述したように、移動通信端末の表示環境が２Ｄディスプレイであり且つセンサ部２１が無いというケース以外の場合には、受信した画像データに画像データ変換処理を施す必要があると判断される。立体画像データに対して画像データ変換処理を施す必要があると判断された場合には（ステップＳ１３；ＹＥＳ）、制御部１１は、画像データ変換処理を行う（ステップＳ１４）。そして、制御部１１は、画像データ変換処理を経て得た画像データを移動通信端末１３０に送信する（ステップＳ１５）。一方、前述したように、表示環境が２Ｄディスプレイであり且つセンサ部２１が無い場合には、画像データに対して画像データ変換処理を施す必要がないと判断されて（ステップＳ１３；ＮＯ）、制御部１１は、前述した所定の処理を実施する。つまり、制御部１２は、１つの視点の画像にするか又は各視点の画像をアニメーション合成するなどした上で、ファイル形式をＪＰＥＧ、ビットマップ、或いはアニメーションＧＩＦなどに変換してから（ステップＳ１６）、これを移動通信端末１３０に送信する（ステップＳ１５）。
【００３５】
次に、図８は、上記のステップＳ１４における画像データ変換処理の詳細を示す図である。まず、制御部１１は、立体画像データに対して平行化処理を実行する（ステップＳ２１）。これは、ステレオ画像に含まれる１組の画像どうしの縦ズレを小さくするために行われる処理である。制御部１１は、図９に示すように、ステレオ画像に含まれる画像のうち、左目に対応する画像（左画像という）と右目に対応する画像（右画像という）とが、利用者の視点から見て上下方向（Ｘ方向）にずれている場合には、いずれか一方の画像（ここでは右画像）をＸ軸方向にズレ量に応じた量だけ移動させることで、ズレを小さくする。制御部１１は、この平行化処理を行うために、左画像と右画像との間で互いに対応する特徴点を求める必要があるが、これには、例えばＳＩＦＴ法(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded-Up Robust Features)法などの、画像から特徴点を抽出するための周知の手法を用いればよい。制御部１１は、この特徴点の対応関係からエピポーラ拘束条件を用いて得られた基礎行列（Fundamental Matrix）を用いた演算を行って、Ｘ軸方向のずれを小さくした立体画像データを得る。なお、あらかじめ撮影部２０に対するキャリブレーション処理を経て、撮影部２０の内部環境に関するパラメータ及び外部環境に関するパラメータを制御部１１が取得できている場合は、上記のような特徴点の対応関係を取得しなくても平行化処理を実現可能である。
【００３６】
次に、制御部１１は、平行化処理を施した立体画像データにおいて、画像に含まれるオブジェクトの深度に関する情報（深度情報）を取得し、その深度情報から、ステレオ画像の最大視差及び最小視差を特定する（ステップＳ２２）。図１０は、画像中のオブジェクトの深度と視差との関係を説明するための模式図であり、ディスプレイ部１８の表示面に平行な方向から見たときの様子を表している。図１０において、利用者の視点から見たときのディスプレイ部１８の左右方向（Ｙ方向）のサイズをｓ[cm]、左右の目の間隔をe[cm]、ディスプレイ部１８の表示面から、左右の目を結んだ線分までの距離（視距離）をｄ[cm]、最大視差をＤｍａｘ[pixel]、最小視差をＤｍｉｎ[pixel]とする。このステレオ画像によって実現される仮想的な３次元空間において、最も大きい飛び出し量を持つ（深度が浅い）点と、最も大きい奥行き量を持つ（深度が深い）点と、ディスプレイ部１８の表示面上の点とに対する、左右の目の輻輳角をそれぞれα、β、γとする。制御部１１は、ステレオ画像から特定し得る深度情報から、そのステレオ画像に含まれるオブジェクトの、表示面からの最大飛び出し量ｐ[cm]および最大奥行き量ｑ[cm]を特定し、さらに、図示のような幾何学的関係から最大視差Ｄｍａｘ及び最小視差Ｄｍｉｎを算出する。最大飛び出し量ｐに対応する最大視差Ｄｍａｘは正の値をとり、最大奥行き量ｑに対応する最小視差Ｄｍｉｎは負の値をとる。なお、ステレオ画像から深度情報を求める手法としては、例えばピクセルマッチング、ブロックマッチング、グラフカット、または、動的計画法といった手法が知られているので、制御部１１はこれらを用いればよい。また、立体画像データがそもそも深度情報を含む単視点の画像を表す画像データである場合は、制御部１１は上記処理を行わず、その立体画像データが有する深度情報をそのまま用いればよい。
【００３７】
図８の説明に戻り、制御部１１は、図６のステップＳ３にて取得した機種情報に基づいて、移動通信端末１３０のディスプレイ部１８が２視点の３Ｄディスプレイであるか否かを判断する（ステップＳ２３）。移動通信端末１３０のディスプレイ部が２視点の３Ｄディスプレイである場合には（ステップＳ２３；ＹＥＳ）、制御部１１は、移動通信端末１３０のディスプレイ部１８の表示面の物理的サイズに応じて、右目と左目の視差量を調整する視差調整処理を行う（ステップＳ２４）。具体的には、制御部１１は、まず、移動通信端末１３０のディスプレイ部１８において快適に立体視を行い得る最大視差及び最小視差の範囲である適正視差範囲を特定する。制御部１１は、この適正視差範囲の具体的な数値については、例えば３Ｄコンソーシアムガイドライン（http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf）で定義される「快適な立体視」が可能となる視差量に基づいて求めればよい。図１０において、輻輳角の差の絶対値|α-γ|及び|γ-β|を視差角と呼ぶ。上記３Ｄコンソーシアムガイドラインにおいては、これらを各々１度以内にすることが推奨されている。また、３Ｄコンソーシアムガイドラインによれば、輻輳角の差|α-β|も１度以内であることが推奨されている。
【００３８】
ここで、図１０においては、γ＝２ｔａｎ-1（ｅ／２ｄ）という数式が成り立つ。また、ディスプレイの左右方向（Ｙ方向）の解像度をｒ[pixel]として、最大視差Ｄｍａｘのときに最大飛び出し量ｐとなるという条件から、Ｄｍａｘ＝２ｐ・ｒ／ｓ・ｔａｎ（α／２）いう数式が成り立つ。ここで、輻輳角の差が１度以内という上記３Ｄコンソーシアムガイドラインに基づくと、α＝γ+１が限界条件であるから、制御部１１は、これを上記の数式に代入することで、適正視差範囲における最大視差Ｄｍａｘを求めることができる。制御部１１は、同様にして、適正視差範囲における最小視差Ｄｍｉｎも求めることができる。そして、制御部１１は、図８のステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていなければ、移動通信端末１３０において過度な立体感は発生しないと判断し、視差調整処理を行わない。一方、制御部１１は、ステップＳ２２で特定したステレオ画像の深度情報から求められた最大視差及び最小視差が、この適正視差範囲を超えていれば、視差調整処理を行う。なお、制御部１１は、適切な見え方となる輻輳角の条件を用いて最大視差Ｄｍａｘを求め、ステレオ画像の最大視差が適性視差範囲内だがその大きさをもう少し大きくしたいというような場合にも、ステレオ画像の最大視差が最大視差Ｄｍａｘになるように視差調整を行ってもよい。
【００３９】
この視差調整処理には、２つの方法があることが知られている。１つは、ステレオ画像に含まれる１組の画像のうち、いずれか一方を左右方向（Ｙ方向）にシフトして、最大視差及び最小視差の差を適正視差範囲に収める方法である。この方法は、最大視差及び最小視差のいずれか一方が適正視差範囲を超え、かつ、いずれか一方の画像をシフトした場合に、シフト後のステレオ画像における最大視差及び最小視差が適正視差範囲に収まる場合に好適である。この方法は、比較的簡易な手法である点がメリットであるが、いずれか一方の画像全体をシフトするため、視差の正負が逆転し、本来表現したかった立体の凹凸が逆になってしまう可能性があることが知られている。もう１つの視差調整の方法としては、ステレオ画像に含まれるオブジェクトごとにその深度を求めて、その深度に応じた量だけ各々のオブジェクトをシフトする方法である。この方法による処理は、後述する補間処理を行って補間した画像と補間前のステレオ画像から、適正視差に収まる２枚の画像を選択して、これらを新たにステレオ画像とするということに相当する。この方法では、上述した画像全体のシフトとは異なり、同じ深度を持つオブジェクト単位でシフトするから、上記のような視差の正負の逆転は起きない。よって、本来表現したかった立体の凹凸を維持したまま、全体的な立体感を調整し得るという効果がある。
【００４０】
図８の説明に戻り、移動通信端末１３０のディスプレイ部１８が多視点の３Ｄディスプレイであるときの動作を説明する。この場合、ステップＳ２３において２視点の３Ｄディスプレイではないと判断されるから（ステップＳ２３；ＮＯ）、制御部１１は、２視点よりも多い数の多視点の３Ｄディスプレイであるとして、補間処理を行う（ステップＳ２５）。補間処理とは、多視点に対応するべく、移動通信端末１１０において実際には撮影されていない視点から見たときの画像を、実際に撮影された視点から見たときの画像と、その画像に含まれるオブジェクトの深度情報とを元に予測的に生成することで、撮影された画像における視点数（ステレオ画像の場合は２）よりも多い視点数の画像を得る処理である。まず、制御部１１は、機種情報から特定される表示環境や上記の適正視差量に基づいて、移動通信端末１１０において実際には撮影されていない視点である仮想視点を決める。例えば５視点の３Ｄディスプレイに提示する画像をステレオ画像から生成する場合は、制御部１１は、図１１に模式的に示すように、ステレオ画像に含まれている、２視点に対応する１組の画像５３ａ，５３ｅから、仮想視点に対応する画像（仮想視点画像という）５３ｂ，５３ｃ，５３ｄを生成する。５視点の３Ｄディスプレイには、この５３ａ〜５３ｅの画像が提示される。なお、図１１では２視点のステレオ画像から間の３視点分の画像を補間し合計５視点としているが、画像の深度情報を持っていれば、入力画像の視点数や、補間する仮想視点の数に制限はない。
【００４１】
ここで、より具体的な補間処理の内容を説明すると、以下のとおりである。制御部１１は、特定した深度情報に基づき、３次元空間における各オブジェクトの視差を求め、さらに、このオブジェクトが仮想視点からどのように見えるかを３次元的に予測する。つまり、制御部１１は、深度情報から求められた視差を元に、仮想視点画像における各画素に投影されるオブジェクトが、実際に撮影された画像のどの画素に投影されているかを特定し、特定した後者の画素（参照画素という）の輝度を元に、仮想視点画像における各画素の輝度を決定して、仮想視点画像を生成する。制御部１１は、輝度を決定する際に、参照画素が一つの場合は、その参照画素の輝度をコピーして仮想視点画像における各画素の輝度を決定するし、参照画素が複数の場合は、線形補間等の処理を実施して仮想視点画像における各画素の輝度を決定する。
【００４２】
図１２を参照しながら、具体的な例を上げて説明する。これは、一定の距離を隔てて配置された２つの撮像素子から撮影された画像５３ａ，５３ｅから、２つの撮像素子の中間にあると仮想した仮想視点（以下、中間視点という）より見たときの画像５３ｃを補間によって求める例である。ここで、予め特定された深度情報から画像５３ａ，５３ｅ間の視差がＤ[pixel]であると分かっている場合、中間視点から見たときの仮想視点画像５３ｃのオブジェクトは、その半分であるＤ／２の視差を、画像５３ａ，５３ｅに対してそれぞれ有する。よって、制御部１１は、仮想視点画像５３ｃのオブジェクトに含まれる画素６３ｃの輝度を求める場合は、画像５３ａ，５３ｅにおいてそれぞれＤ／２の視差を持つ画素６３ａ，６３ｅを参照画素とし、この参照画素の輝度を元に画素６３ｃの輝度を決定する。輝度決定に関しては、前述のように線形補間等の処理を用いればよい。例えば図１２の例において線形補間を用いる場合は、制御部１１は、画素６３ｃの輝度＝（画素６３ａの輝度／２）＋（画素６３ｅの輝度／２）という数式で画素６３ｃの輝度を求めればよい。制御部１１は、中間視点から見たときの仮想視点画像に含まれる各画素に対し、上記と同様の処理を実施することで、画像５３ｃを生成する。
【００４３】
また、制御部１１は次のようにしてもよい。例えば、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイで、さらにセンサ部２１によってディスプレイ部１８の表示面に対する利用者の正対方向のズレを認識できる場合は、制御部１１は、ステレオ画像から特定した各オブジェクトの深度情報に基づき、例えば仮想視点を±３０度の範囲において円弧状に１度ずつずらしたときの仮想視点画像を上記のような補間処理を用いて生成する。この場合には、合計６１枚の画像を表す画像データが生成される。このときの動作の概念図を図１３に示す。この図の例では仮想視点が５つであり、図示のように円弧状の仮想視点画像７３ａ〜７３ｅが制御部１１によって生成される。
以上のようにして得られた画像データは移動通信端末１３０に送信される。
【００４４】
移動通信端末１３０において、制御部１５は、受信した画像データを解釈してディスプレイ部１８に表示する。移動通信端末１３０が２視点の３Ｄディスプレイに対応した機種であり、かつ、受信した画像データが平行化処理や視差調整処理の施された、２視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５がこの画像データに応じた画像を表示するだけで、利用者にとって好ましい立体視が可能となる。また、受信した画像データが多視点の３Ｄディスプレイに対応したステレオ画像を表すものである場合には、制御部１５は、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうちいずれか２つを選択して表示することで、表示面に対して移動する利用者の視線に応じた立体視、いわゆる運動視差に応じた立体視が可能となる。また、移動通信端末１３０のディスプレイ部１８が２Ｄディスプレイであっても、センサ部２１がある場合には、センサ部２１によって検出された移動通信端末１３０の傾きに応じて、この画像データに含まれる多視点の画像データのうち、移動通信端末１３０で提示する画像の視点数分のものを選択して表示することで、表示面に対する利用者の視線に応じた擬似的な立体視、つまり運動視差に応じた擬似的な立体視が可能となる。これはつまり、図１３で例示した円弧状に補間された仮想視点画像７３ａ〜７３ｅを移動通信端末１３０の傾きに応じて選択的に表示することに相当する。
【００４５】
次に、受信した画像データに３以上の多視点の画像が含まれる場合について説明する。まず、移動通信端末１３０のディスプレイ部１８が、２視点の３Ｄディスプレイである場合、制御部１５は、上記のような複数の多視点画像から適正視差範囲内の画像を２つ（つまり移動通信端末１３０のディスプレイ部１８における視点数分）だけ選択して、ステレオ画像を生成する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。
【００４６】
また、移動通信端末１３０が、受信した画像データにおける視点数よりも少ない視点数の、多視点の３Ｄディスプレイである場合、制御部１５は、複数の多視点画像から適正視差範囲内の画像を、移動通信端末１３０のディスプレイ部１８における視点数分だけ選択する。この画像選択の際には、前述したステレオ画像の視差調整時と同様に、制御部１５は、異なる視点の画像間の最大視差・最小視差に基づいて適正視差範囲に収まる画像を選択する。
【００４７】
また、移動通信端末１３０が、受信した画像データにおける視点数よりも多い視点数の、多視点の３Ｄディスプレイである場合、または、受信した画像データにおける視点数よりも少ない視点数の多視点の３Ｄディスプレイであって、上記画像データにおける最大視差及び最小視差が適正視差範囲を超えている場合は、制御部１５は、多視点画像に対して補間処理を行って、適正視差範囲に収まる画像であって、ディスプレイ部１８における視点数分の画像を生成する。このとき用いられる補間アルゴリズムは前述したステレオ画像の補間処理と同様のものである。
【００４８】
以上説明した実施形態によれば、様々な表示環境において好ましい立体視を実現することができる。また、画像データ変換装置１２０が画像データの変換処理を行うので、表示端末としての移動通信端末１３０のリソースが乏しい場合であっても、移動通信端末１３０の処理負担は、自身が画像データ変換処理を行う場合に比べて小さくなる。
【００４９】
＜変形例＞
上述した実施形態は次のような変形が可能である。以下の変形例を互いに組み合わせて実施してもよい。
＜変形例１＞
画像データ変換装置１２０が立体画像データから、その立体画像データに含まれる各オブジェクトの深度のみを求めて、それを立体画像データとともに、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０が、立体視に対応していない２Ｄディスプレイであるときには、次のような処理を行う。図１４は、この場合の移動通信端末１３０の機能的構成を示すブロック図である。移動通信端末１３０において、制御部１５がプログラムを実行して各部の動作を制御することによって、図１４に示した各機能を実現する。端末傾き検出部１４４は、センサ部２１によって実現され、或る基準方向に対する、移動通信端末１３０の傾きの量及び方向を検出する。３次元モデル生成部１４３は、画像データ変換装置１２０から送信されてくる立体画像データ及び深度を取得し、取得した立体画像データが表す画像に含まれる各オブジェクトの各画素をその深度に応じて３次元空間に投影し、その３次元空間における各オブジェクトの位置・輝度を求めることで３次元モデルを構築する。レンダリング部１４７は、各オブジェクトを、例えば±３０度の範囲において１度ずつ視点をずらして見たときにどのように見えるかを予測してレンダリングを行う。レンダリングとは、３次元モデルに対し、ある仮想的な視点を設定してその視点からの画像を生成することを言う。このとき、例えばオブジェクトの一部または全部をコピーして、新たな視点で見えるはずのオブジェクトの面に貼り付けるなどの、補間アルゴリズムを用いてレンダリングを行う。これにより、視点がそれぞれ異なる複数の立体画像データが生成されることになる。表示部１４８は、レンダリング部１４７で得られた複数の立体画像データから、端末傾き検出部１４４によって検出された移動通信端末１３０の傾きの量及び方向に応じた画像データを選択し、選択した画像データに応じた画像を表示する。なお、端末傾き取得部１４４は、センサ部２１によって検出された値に対し、図１５に示すように、ローパスフィルタを適用したり、ヒステリシス特性を持たせることで、検出値の微小な増減によって視点が細かくぶれながら移動するチャタリングを防止することができる。このようなローパスフィルタやヒステリシス特性は、実施形態で説明した内容に対しても適用可能である
【００５０】
＜変形例２＞
実施形態では、表示装置としての移動通信端末１３０が、撮影装置としての移動通信端末１１０から立体画像データを受信してから、画像データ変換装置１２０にその立体画像データを送信するようにしていた。これを、撮影装置としての移動通信端末１１０が、立体画像データの宛先である表示装置としての移動通信端末１３０の機種情報とともに、立体画像データを画像データ変換装置１２０に送信し、これに応じて画像データ変換装置１２０から得た画像データを移動通信端末１３０に送信するようにしてもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。
【００５１】
＜変形例３＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、移動通信端末１３０自身が画像データ変換処理を行ってもよい。このようにすれば、表示装置としての移動通信端末１３０は、画像データ変換装置１２０に立体画像データを送信する手間が省ける。
【００５２】
＜変形例４＞
実施形態では、画像データ変換装置１２０が、表示装置としての移動通信端末１３０から受信した立体画像データに画像データ変換処理を施していたが、撮影装置としての移動通信端末１１０が立体画像データに画像データ変換処理を行ってから移動通信端末１３０に送信してもよい。
【００５３】
＜変形例５＞
画像データ変換装置１２０が立体画像データから深度のみを求めて、それを、表示装置としての移動通信端末１３０に送信するようにしてもよい。この場合、移動通信端末１３０は、受信した深度に関する情報に基づいて、画像データ変換装置１２０に代わって実施形態で説明した視差調整や補間処理を行う。このようにすれば、移動通信端末１３０が画像データ変換装置１２０から受信するデータのサイズを減らすことができる。
【００５４】
＜変形例６＞
実施形態及び上記の変形例２，５において、表示装置としての移動通信端末１３０の通信環境や移動通信端末１３０のスペックに応じて、画像データ変換処理を、画像データ変換装置１２０と移動通信端末１３０とで役割分担して行ってもよい。例えば、移動通信端末１３０のスペックが高い場合は、深度のみを画像データ変換装置１２０で特定し、視差調整や補間処理を移動通信端末１３０で行う。これにより、多視点の３Ｄディスプレイや２Ｄディスプレイにおいては、画像データ変換装置１２０と移動通信端末１３０との間で多視点の画像データを送受信する必要がないため、通信にかかるデータ量を削減することが可能となる。また、実施形態及び変形例２，５において、既に一度生成して送信した立体画像データを、別の表示装置に送信する際に、画像データ変換装置１２０において、以前に特定した深度や視差調整処理の結果等を保有していれば、これを再度利用してもよい。これにより、画像データ変換装置１２０における処理量を減らすことが可能となる。
【００５５】
＜変形例７＞
例えば、移動通信網１００などのネットワーク上のサーバ装置に、移動通信端末の機種ごとに、前述した画像データ変換処理に含まれる処理である視差調整等が既に施され、適正視差範囲内に最適化された立体画像データが予め記憶されていてもよい。この場合、表示装置としての移動通信端末１３０がそのサーバ装置に対して、ＨＴＴＰリクエストのユーザエージェントに機種情報を記述して通知し、サーバ装置が、通知された機種情報に対応する立体画像データを移動通信端末１３０に送信する。このようにすれば、ダウンロードするたびにリアルタイムで画像データ変換処理を行う必要が無くなり、多くの利用者が見る画像（例えば立体視が可能なプロモーションビデオ等）を配信する際にサーバ装置の処理負担を軽減することができる。
【００５６】
＜変形例８＞
図６のステップ２の判断において、利用者が操作部１７を用いて自らの意思で、ステレオ画像か否か、つまり、画像データ変換装置１２０による処理を行うか否かを選択するようにしてもよい。このようにすれば、利用者自らの意思により、移動通信端末において、立体画像データを変換することなくそのまま表示させることが可能となる。
【００５７】
＜変形例９＞
表示装置や撮影装置は、実施形態で例示した携帯電話機以外に、例えばノートパソコン、デジタルフォトフレームまたはテレビジョンなどの電子機器であってもよい。
画像データ変換装置１２０の機能を分散化して複数の装置が実装してもよい。
立体画像データは、１つのカメラ（単眼カメラ）で少しずれた位置で二回以上撮影した１組の画像であっても、３以上の複数のカメラで同時に撮影した画像でも、レンジセンサによる計測処理や所定の画像処理等を経て取得された被写体の深度情報を含む単一又は複数の画像であってもよい。
移動通信端末１１０から移動通信端末１３０へ画像データを送信するときの形態は、実施形態で例示した電子メールのほか、ブルートゥース（登録商標）、ＩｒＤＡ（Infrared Data Association）または無線ＬＡＮなどのデータ授受手段を用いてもよい。また、メモリーカードやＨＤＭＩ等の物理Ｉ／Ｏなどのデータ授受手段を用いてもよい。
また、立体画像データは静止画に限らず、動画であってもよい。
【００５８】
＜変形例１０＞
上述した実施形態におけるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で、画像データ変換装置や移動通信端末に提供し得る。この場合には、記録媒体を読み取るインターフェースをこれらの画像データ変換装置や移動通信端末に設ければよい。また、ネットワーク経由でこれらの画像データ変換装置や移動通信端末にダウンロードさせることも可能である。
【符号の説明】
【００５９】
１・・・通信システム、１１０，１３０・・・移動通信端末、１２０・・・画像データ変換装置、１１・・・制御部、１２・・・記憶部、１３・・・通信部、１５・・・制御部、１６・・・無線通信部、１７・・・操作部、１８・・・ディスプレイ部、１９・・・音声入出力部、２０・・・撮影部、２１・・・センサ部。
【特許請求の範囲】
【請求項１】
利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信する受信手段と、
画像を表示する表示装置における表示環境を特定する特定手段と、
前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、
前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記表示装置の表示環境に応じて前記立体画像データにおける右目と左目に提示する画像の視差量を調整する処理が含まれる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示装置における表示環境として、２視点よりも視点数が多い多視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記多視点の視点数分の立体画像データを前記受信された立体画像データから生成する処理とが含まれる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを前記受信された立体画像データから生成する処理とが含まれる
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを補間により生成する処理とが含まれる
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項６】
前記表示装置における表示環境として、前記受信された立体画像データにおける視点数よりも少ない視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記受信された立体画像データに含まれる複数の画像から、当該表示装置における視点数分の画像を選択する処理が含まれる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記立体画像データに含まれるオブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記表示装置で提示する画像の視点数より多い数の画像データを前記受信された立体画像データから生成する処理と、生成された複数の画像データから前記表示装置で提示する画像の視点数分の画像データを選択する処理とが含まれる
ことを特徴とする請求項１、２または６のいずれかに記載の画像処理装置。
【請求項８】
画像処理装置において、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信するステップと、
画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、
画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、
画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップと
を備えることを特徴とする画像処理方法。
【請求項９】
画像の立体視に対応していない表示手段と、
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を備えることを特徴とする表示装置。
【請求項１０】
画像の立体視に対応していない表示手段を備えるコンピュータに、
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を実現させるためのプログラム。
【請求項１】
利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信する受信手段と、
画像を表示する表示装置における表示環境を特定する特定手段と、
前記受信手段によって受信された立体画像データに対し、前記特定手段によって特定された表示環境に応じた画像データ変換処理を施す画像データ変換手段と、
前記画像データ変換手段によって画像データ変換処理が施された立体画像データを前記表示装置に送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記表示装置の表示環境に応じて前記立体画像データにおける右目と左目に提示する画像の視差量を調整する処理が含まれる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示装置における表示環境として、２視点よりも視点数が多い多視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記多視点の視点数分の立体画像データを前記受信された立体画像データから生成する処理とが含まれる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを前記受信された立体画像データから生成する処理とが含まれる
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記表示装置における表示環境として、画像の立体視に対応した表示装置でないことが前記特定手段によって特定された場合、前記画像データ変換手段が行う変換処理には、前記立体画像データに含まれる各オブジェクトの深度を特定する処理と、特定した当該深度に基づいて、視点がそれぞれ異なる立体画像データを補間により生成する処理とが含まれる
ことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項６】
前記表示装置における表示環境として、前記受信された立体画像データにおける視点数よりも少ない視点での画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記受信された立体画像データに含まれる複数の画像から、当該表示装置における視点数分の画像を選択する処理が含まれる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記表示装置における表示環境として、画像の立体視に対応した表示装置であることが前記特定手段によって特定された場合、前記画像データ変換手段が行う画像データ変換処理には、前記立体画像データに含まれるオブジェクトの深度を特定する処理と、特定した当該深度に基づいて前記表示装置で提示する画像の視点数より多い数の画像データを前記受信された立体画像データから生成する処理と、生成された複数の画像データから前記表示装置で提示する画像の視点数分の画像データを選択する処理とが含まれる
ことを特徴とする請求項１、２または６のいずれかに記載の画像処理装置。
【請求項８】
画像処理装置において、利用者の左目及び右目にそれぞれ異なる画像を提示可能な立体画像データを受信するステップと、
画像処理装置において、画像を表示する表示装置における表示環境を特定するステップと、
画像処理装置において、受信された前記立体画像データに対して、特定された前記表示環境に応じた画像データ変換処理を施すステップと、
画像処理装置において、前記画像データ変換処理が施された立体画像データを前記表示装置に送信するステップと
を備えることを特徴とする画像処理方法。
【請求項９】
画像の立体視に対応していない表示手段と、
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を備えることを特徴とする表示装置。
【請求項１０】
画像の立体視に対応していない表示手段を備えるコンピュータに、
立体画像データ及び当該立体画像データが表す画像に含まれる各オブジェクトの深度とを取得する取得手段と、
基準方向に対する自装置の傾きを検出する検出手段と、
取得した前記立体画像データが表す画像に含まれる各オブジェクトをその深度に応じて３次元空間に投影することで３次元モデルを構築し、視点がそれぞれ異なる複数の立体画像データを補間により生成するレンダリング手段と、
前記検出手段により検出された傾きに応じて、前記レンダリング手段により生成された複数の立体画像データを選択的に前記表示手段に表示させる表示制御手段と
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２３４８８（Ｐ２０１２−２３４８８Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１５８７５１（Ｐ２０１０−１５８７５１）
【出願日】平成２２年７月１３日（２０１０．７．１３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１３日（２０１０．７．１３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]