画像処理プログラム、画像処理装置、及び画像処理方法
【課題】２Ｄ３Ｄ変換に必要なパラメータの調整作業の効率を高める。
【解決手段】三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、三次元パラメータを調整するためのユーザ入力に応じて、三次元パラメータ記憶部に記憶されている三次元パラメータを更新し、二次元映像記憶部に記憶されている二次元映像と、三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて三次元映像を生成し、調整用画面を用いて三次元パラメータを調整可能な状態において、第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、生成された三次元映像を表示する。
【解決手段】三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、三次元パラメータを調整するためのユーザ入力に応じて、三次元パラメータ記憶部に記憶されている三次元パラメータを更新し、二次元映像記憶部に記憶されている二次元映像と、三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて三次元映像を生成し、調整用画面を用いて三次元パラメータを調整可能な状態において、第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、生成された三次元映像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、映画やテレビにおいて三次元（３Ｄ）映像を鑑賞する環境が整備され、３Ｄ映像に対する関心が高まっている。しかしながら、３Ｄ映像を作成するためには、例えば、３Ｄ映像を撮影するためのカメラ等の特殊な機材が必要となり、映像作成のコストが高くなってしまう。そのため、３Ｄ映像のコンテンツの拡充には至っていないのが現状である。
【０００３】
そこで、既に作成されている二次元（２Ｄ）映像を３Ｄ映像に変換する技術、すなわち２Ｄ３Ｄ変換技術が注目されている。このような２Ｄ３Ｄ変換技術を用いることにより、既存の多くのコンテンツを３Ｄ映像として楽しむことが可能となる。例えば、特許文献１には、２Ｄ３Ｄ変換の際に必要となるパラメータを調整するための手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−８０９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、特許文献１に開示されているような手法を用いることにより、２Ｄ３Ｄ変換のパラメータを調整することが可能である。しかしながら、特許文献１に開示されている手法では、ある１つのフレーム画像に対するパラメータを調整中に、このフレーム画像に対応する３Ｄ画像を確認することはできるものの、元の２Ｄ映像から生成される３Ｄ映像を確認することはできない。
【０００６】
一般的に、フレームごとの３Ｄ画像の表示だけでは、３Ｄ映像における３Ｄの表示効果が適切であるかどうかを判断することは難しい。そのため、パラメータの調整結果がどのように３Ｄ映像に反映されているかを確認するためには、パラメータの調整作業を一旦終了したうえで、最終的な３Ｄ映像を出力するためのレンダリング処理を実行する必要がある。そして、レンダリングにより出力された３Ｄ映像を３Ｄ表示に対応したディスプレイに表示することにより、３Ｄの表示が適切に行われているかどうかを確認することとなる。
【０００７】
このように、２Ｄ３Ｄ変換に際しては、フレームごとのパラメータ調整とレンダリングとを繰り返す必要があり、調整作業に非常に手間がかかってしまう。
【０００８】
そこで、本発明は、２Ｄ３Ｄ変換に必要なパラメータの調整作業の効率を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面に係る画像処理プログラムは、二次元映像を記憶する二次元映像記憶部と、二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータに、三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、三次元パラメータを調整するためのユーザ入力に応じて、三次元パラメータ記憶部に記憶されている三次元パラメータを更新する三次元パラメータ調整機能と、二次元映像記憶部に記憶されている二次元映像と、三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成機能と、調整用画面を用いて三次元パラメータを調整可能な状態において、第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、生成された三次元映像を表示する三次元映像表示機能と、を実現させるためのものである。
【００１０】
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
【発明の効果】
【００１１】
本発明によれば、２Ｄ３Ｄ変換に必要なパラメータの調整作業の効率を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である画像処理システムの構成を示す図である。
【図２】２Ｄ映像から各オブジェクトの輪郭を抜き出す処理のイメージを示す図である。
【図３】レイヤーデータを合成して深度画像を生成する処理のイメージを示す図である。
【図４】深度値にグラデーションをつける処理のイメージを示す図である。
【図５】３Ｄパラメータ調整中の画面の一例を示す図である。
【図６】深度画像内のエッジの一例を示す図である。
【図７】確認用３Ｄディスプレイ１４における画素パターンの一例を示す図である。
【図８】３Ｄ映像を生成する処理のイメージを示す図である。
【図９】３視点以上の多視点の場合における最大視差量の一例を示す図である。
【図１０】２Ｄ３Ｄ変換処理全体の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態である画像処理システムの構成を示す図である。画像処理システムは、二次元（２Ｄ）映像を三次元（３Ｄ）映像に変換するためのシステムであり、画像処理装置１０、作業用二次元ディスプレイ１２、及び確認用３Ｄディスプレイ１４を含んで構成されている。画像処理装置１０は、２Ｄ３Ｄ変換処理を行うための情報処理装置であり、パーソナルコンピュータやサーバなどを用いて実現される。なお、画像処理装置１０は、複数台の情報処理装置を用いて構成されていてもよい。作業用２Ｄディスプレイ１２は、画像処理装置１０において２Ｄ３Ｄ変換のための作業を行う際に必要な各種情報を表示するためのものであり、２Ｄ表示が可能なディスプレイ装置である。確認用３Ｄディスプレイ１４は、画像処理装置１０によって生成される３Ｄ映像を表示するためのものであり、３Ｄ表示が可能なディスプレイ装置である。なお、確認用３Ｄディスプレイ１４は、３Ｄ表示に対応していればよく、３Ｄ表示の方式は任意である。例えば、偏光フィルタ方式や液晶シャッタ方式等の、３Ｄ視聴時にメガネを用いるものであってもよいし、パララックスバリア方式やレンチキュラ方式等の、裸眼での３Ｄ視聴が可能なものであってもよい。
【００１４】
図１に示すように、画像処理装置１０は、２Ｄ映像記憶部２０、マスク作成部２２、レイヤーデータ作成部２４、レイヤーデータ記憶部２６、深度映像生成部２８、３Ｄパラメータ記憶部３０、３Ｄパラメータ調整部３２、深度映像表示部３４、３Ｄ映像生成部３６、３Ｄ映像記憶部３８、３Ｄ映像表示部４０、及び３Ｄ映像出力部４２を含んで構成される。画像処理装置１０を構成する各部は、例えば、メモリや記憶装置等の記憶領域を用いたり、記憶領域に格納されているプログラムを実行したりすることにより実現することができる。
【００１５】
２Ｄ映像記憶部２０には、３Ｄ映像への変換元となる２Ｄ映像が格納されている。２Ｄ映像は、連続する複数の２Ｄ画像により構成されている。２Ｄ映像は任意の形式であってよいが、ここでは、２Ｄ映像のフレームごとに１つの２Ｄ画像が生成された状態で２Ｄ映像記憶部２０に格納されていることとする。なお、ＭＰＥＧ形式等の圧縮された２Ｄ映像を用いる場合であれば、圧縮された２Ｄ映像をデコードすることにより、フレームごとの２Ｄ画像を生成することが可能である。本実施形態では、２Ｄ映像中の１つのフレームの画像のことを単にフレーム画像と記載する場合もある。
【００１６】
マスク作成部２２は、３Ｄ表示の対象となる各オブジェクトの輪郭を２Ｄ映像の中から抜き出すためのものである。図２に、２Ｄ映像から各オブジェクトの輪郭を抜き出す処理のイメージ図が示されている。図２には、２Ｄ映像中に三角形８０、四角形８２，８４の３つのオブジェクトが示されている。マスク作成部２２は、例えば、２Ｄ映像の１つのフレーム画像を作業用２Ｄディスプレイ１２に表示し、各オブジェクトの範囲を指定するためのユーザ入力を受け付ける。そして、オブジェクトの範囲が指定されると、マスク生成部２２は、２Ｄ映像の後続フレームのフレーム画像に対してオブジェクトの追従処理を行い、各フレーム画像においてオブジェクトの輪郭を切り取る。なお、マスク作成部２２は、フレーム画像を解析することにより、ユーザ入力によらず自動的にオブジェクトの輪郭を切り抜くこととしてもよい。また、マスク作成部２２は、オブジェクトの追従結果を作業用２Ｄディスプレイ１２に表示し、追従が正しく行われていない部分について、ユーザ入力に応じて補正を行うことも可能である。
【００１７】
レイヤーデータ作成部２４は、マスク作成部２２の処理結果に基づいて、３Ｄ表示の対象となるオブジェクトごとのレイヤーデータを作成し、レイヤーデータ記憶部２６に格納する。また、レイヤーデータ作成部２４は、あるオブジェクトのレイヤーデータを作業用２Ｄディスプレイ１２に表示し、当該オブジェクトの傾きや凹凸を指定するためのユーザ入力を受け付けることも可能である。
【００１８】
深度映像生成部２８は、レイヤーデータ作成部２４により作成された複数のオブジェクトのレイヤーデータをフレームごとに合成することにより深度映像を生成し、３Ｄパラメータ記憶部２４内の深度映像記憶部５０に格納する。図３には、あるフレームのレイヤーデータを合成した深度画像が表示されている。深度画像は、画像中の画素ごとの深度を示すものであり、デプスマップと呼ばれる。深度画像は、２Ｄ映像のフレーム画像と同じ大きさであり、各画素の画素値は深度を表す深度値となっている。本実施形態では、深度画像は、各画素の値を２５６段階のグレースケール値で表したグレースケール画像とする。そして、図３に示すように、深度値０が最も奥の深度を表し、深度値２５５が最も手前の深度を表すこととする。
【００１９】
深度映像生成部２８では、各深度画像に対して、各レイヤーの深度値を初期設定することができる。また、深度映像生成部２８では、オブジェクトの傾きや凹凸に応じて、オブジェクト内の深度値を変更することが可能である。例えば、図４に示すように、深度映像生成部２８は、オブジェクトの傾きに応じて深度値にグラデーションをつけることも可能である。なお、深度値の初期設定は、各フレームの深度画像に対して個別に行うことも可能であるし、例えば、いくつかのフレームの深度画像に対して深度値を設定することにより、その他のフレームの深度画像の深度値を補間により算出することも可能である。このように、深度映像生成部２８では、２Ｄ映像の各フレームに対応する深度画像を生成することにより、２Ｄ映像に対応する深度映像を生成することができる。
【００２０】
３Ｄパラメータ調整部３２は、２Ｄ映像を３Ｄ映像に変換するために必要となる３Ｄパラメータを調整するための機能を有している。上述した深度映像も３Ｄパラメータの１つである。３Ｄパラメータには、深度映像の他に、視差量、輻輳位置、及び３Ｄモードが含まれる。図１に示すように、これらの３Ｄパラメータは、３Ｄパラメータ記憶部３０内の深度映像記憶部５０、視差量記憶部５２、輻輳位置記憶部５４、及び３Ｄモード記憶部５６に格納されている。３Ｄパラメータ調整部３２では、これらの３Ｄパラメータを調整するための調整用画面を作業用２Ｄディスプレイ１２に表示し、当該画面に対するユーザ入力に応じて３Ｄパラメータを更新することが可能である。
【００２１】
図５には、調整用画面の一例が示されている。図５に示すように、調整用画面１００には、深度映像を表示するための表示領域１１０に加えて、深度映像の再生を制御するためのボタン、３Ｄパラメータを調整するためのボタン、３Ｄ映像のレンダリングを指示するためのボタンが設けられている。
【００２２】
再生／一時停止ボタン１２０は、深度映像の再生や一時停止を指示するためのものである。この再生／一時停止ボタン１２０の操作入力に応じて、深度映像表示部３４が、深度映像記憶部５０に格納されている深度映像の再生や一時停止を行う。また、深度映像表示部３４は、フレーム指定ボタン１２２で指定されたフレームの深度画像を表示させたり、戻しボタン１２４や送りボタン１２６の操作入力に応じてフレームを戻したり進めたりすることが可能である。
【００２３】
深度値ボタン１３０は、表示領域１１０に表示されている深度画像の深度値を調整する際に用いられる。例えば、ユーザは、表示領域１１０において調整対象のレイヤー（オブジェクト）を選択し、選択されたレイヤーに対する深度値を入力することができる。３Ｄパラメータ調整部３２は、このように入力される深度値により、深度映像記憶部５０に格納されている、対象の深度画像における深度値を更新する。なお、３Ｄパラメータ調整部３２は、オブジェクトに設定されている傾きや凹凸を考慮したうえで深度値を更新することが可能である。
【００２４】
深度値範囲ボタン１３２は、各レイヤーの深度値の範囲を入力する際に用いられる。例えば、ユーザは、表示領域１１０において調整対象のレイヤーを選択し、選択されたレイヤーに対する深度値の範囲を入力することができる。３Ｄパラメータ調整部３２は、ここで指定される範囲内において、当該レイヤーの深度値を調整することができる。３Ｄパラメータ調整部３２は、あるフレームの深度画像の深度値が調整されることに伴って、例えば、初期設定時と同様の手法により、他のフレームの深度画像の深度値を自動的に更新することができる。このとき、３Ｄパラメータ調整部３２は、ユーザに指定された範囲内となるように深度値を更新することができる。
【００２５】
視差量ボタン１３４は、隣り合う視点間における最大視差を示す最大視差量を調整する際に用いられる。最大視差量は、３Ｄ映像における立体感を調整するためのパラメータであり、最大視差量が大きくなるほど立体感が強くなる反面、最大視差量を大きくしすぎると立体感が破綻したり、３Ｄ映像に乱れが生じたりすることがある。３Ｄパラメータ調整部３２は、このように入力される最大視差量を視差量記憶部５２に格納する。なお、本実施形態では、入力される最大視差量は深度映像の全フレームに対して適用されることとするが、フレームごとや区間ごとに最大視差量を調整可能であることとしてもよい。フレームごとや区間ごとに最大視差量が調整される場合、視差量記憶部５２には、フレームや区間を識別するための情報と最大視差量とが対応付けて記憶されることとすればよい。
【００２６】
輻輳位置ボタン１３６は、３Ｄ映像における輻輳位置を調整する際に用いられる。輻輳位置は、３Ｄ映像を表示する際にスクリーン面に位置する深度値を指定するものである。例えば、図３に示したように、奥から手前に向かって０から２５５まで深度値が規定されている場合において、輻輳位置を０とすると、深度値０（無限遠）がスクリーン面に位置することになる。この場合、映像が全てスクリーン面から飛び出したものとなる。３Ｄパラメータ調整部３２は、このように入力される輻輳位置を輻輳位置記憶部５４に格納する。なお、本実施形態では、入力される輻輳位置は深度映像の全フレームに対して適用されることとするが、フレームごとや区間ごとに輻輳位置を調整可能であることとしてもよい。フレームごとや区間ごとに輻輳位置が調整される場合、輻輳位置記憶部５４には、フレームや区間を識別するための情報と輻輳位置とが対応付けて記憶されることとすればよい。
【００２７】
エッジ補正ボタン１３８は、深度画像内のエッジを補正する際に用いられる。エッジとは、深度値の変化量が大きい部分であり、例えば図６に示すように、レイヤーの境目部分などに存在する。３Ｄパラメータ調整部３２は、表示領域１１０に表示されている深度画像内のエッジを検出し、検出されたエッジ周辺の深度値の変化が緩やかになるように深度値を更新することができる。ここで、エッジの検出は、例えば隣接する画素間における深度値の変化量が所定レベル以上であるかどうかを判定することなどにより行うことが可能である。３Ｄパラメータ調整部３２は、表示領域１１０においてユーザから指定される範囲内のエッジを補正することも可能である。また、３Ｄパラメータ調整部３２は、表示領域１１０に表示されている深度画像だけではなく、他のフレームの深度画像に含まれるエッジについても同様に補正することが可能である。
【００２８】
３Ｄモード選択ボタン１４０は、３Ｄ映像の生成や表示を行う際のモードを示す３Ｄモードを選択する際に用いられる。例えば、３Ｄモードとして、パラレル、クロス、アナグリフ、インターレース、多視点などを選択することが可能である。ここで、多視点とは、視点数が３つ以上のものであり、視点数を入力することが可能である。３Ｄパラメータ調整部３２は、このように入力される３Ｄモードを３Ｄモード記憶部５６に格納する。なお、３Ｄモード記憶部５６には、確認用３Ｄディスプレイ１４における３Ｄ表示に関連する仕様を示すディスプレイ情報が、３Ｄモードの一部として予め格納されていてもよい。このようなディスプレイ情報には、例えば、確認用３Ｄディスプレイ１４における画素配列のパターンを示す情報が含まれる。図７には、確認用３Ｄディスプレイ１４が８視点の３Ｄ映像の表示に対応している場合における、画素パターンの一例が示されている。図７の例では、確認用３Ｄディスプレイ１４の表示面は、横８画素×縦６画素ごとにグループ分けされており、各グループに対して同じ画素パターンが規定されている。なお、３Ｄパラメータ調整部３２は、このような画素パターン等を示すディスプレイ情報を確認用３Ｄディスプレイ１４から取得して３Ｄモード記憶部５６に格納してもよい。
【００２９】
図１に戻り、３Ｄ映像生成部３６は、２Ｄ映像記憶部２０に記憶されている２Ｄ映像と、３Ｄパラメータ記憶部３０に記憶されている３Ｄパラメータとに基づいて３Ｄ映像を生成し、３Ｄ映像記憶部３８に格納する。図８は、３Ｄ映像の生成処理のイメージが示されている。図８に示すように、３Ｄ映像生成部３６は、２Ｄ映像の各フレーム画像から、３Ｄパラメータを考慮して、３Ｄモードに応じた視点数のフレーム画像を生成する。例えば、視点数が８であれば、１フレームの２Ｄ画像から、対応する８枚の３Ｄ画像が生成されることとなる。
【００３０】
２Ｄ映像のフレーム画像から３Ｄ映像のフレーム画像を生成する処理の一例について説明する。本実施形態では、上述したように、深度画像は変換元の２Ｄ画像と幅、高さが同じサイズで、Ｒ・Ｇ・Ｂ値が全て共通の２５６段階のグレースケール画像とする。３Ｄ映像生成部３６は、深度画像の各画素の輝度値、すなわち深度値を取得し、変換元の２Ｄ画像の対応する画素を深度値に従って水平方向に移動させることにより３Ｄ画像を生成する。画素の移動量をｓｈｉｆｔ、最大視差量をｓｈｉｆｔ＿ｍａｘ、深度値をｐとすると、例えば、２視点の場合であれば次式（１）によって移動量ｓｈｉｆｔを求めることができる。
【００３１】
ｓｈｉｆｔ＝（ｓｈｉｆｔ＿ｍａｘ×ｐ）／２５５ ・・・（１）
ここで、２視点の場合、画素の移動方向は、右目用の３Ｄ画像が左方向、左目用の３Ｄ画像が右方向となる。なお、変換元の２Ｄ画像の対象画素を水平方向に移動しただけでは、対象画素の隣の画素の深度値に変化があった場合、生成された３Ｄ画像において画素間に隙間が発生してしまう。そこで、３Ｄ映像生成部３６は、例えば移動量分を変換元の２Ｄ画像の対象画素で埋めるなどにより、画素間に隙間が生じないように３Ｄ画像を生成することができる。３Ｄ映像生成部３６は、例えば、深度値０から深度値２５５の順番等、深度値ごとに上述の処理を行うようにすることができる。
【００３２】
さらに、３Ｄ映像生成部３６は、輻輳位置を考慮して３Ｄ画像を生成することができる。輻輳位置は、スクリーン平面に位置させたい深度値を示すものであるため、深度画像が２５６段階のグレースケールの画像の場合であれば、輻輳位置の値も０〜２５５の範囲となる。ここで、輻輳位置をｓ＿ｐｏｓとすると、次式（２）によって移動量を求めることができる。
【００３３】
ｓｈｉｆｔ＝（ｓｈｉｆｔ＿ｍａｘ）×（ｐ−ｓ＿ｐｏｓ）／２５５ ・・・（２）
これにより、深度画像上の輻輳位置と同じ深度値を有する画素の移動幅がゼロとなる。また、深度画像上の他の深度値の画素の移動方向は、輻輳位置を境界として逆方向となる。結果的に生成される３Ｄ画像は、深度値が輻輳位置より大きい部分は飛び出し、深度値が輻輳位置より小さい部分は引っ込んだものとなる。
【００３４】
簡単な例として２視点の場合について説明したが、３Ｄ映像生成部３６は、視点ごとに最大視差量を変更して上式に適用することにより、多視点の３Ｄ画像を生成することができる。１視点あたりの視差量をｓｈｉｆｔ０、視点数をｖｎとすると、多視点３Ｄ画像を生成する際の最大視差量は０〜（ｓｈｉｆｔ０×（ｖｎ−１））／２の範囲となる。そして、３Ｄ変換による画質劣化を抑えるために、変換元の２Ｄ画像を中心位置に配置することとすると、多視点３Ｄ画像を生成する際の最大視差量は、−（（ｓｈｉｆｔ０×（ｖｎ−１））／２）〜（ｓｈｉｆｔ０×（ｖｎ−１））／２の範囲となる。３Ｄ映像生成部３６は、この範囲を均等に区切った位置を各視点の最大視差量として用いることができる。図９（ａ）には、視点数が奇数（例えば５視点Ｖ１〜Ｖ５）の場合の各視点の最大視差量の一例が示されている。また、図９（ｂ）には、視点数が偶数（例えば６視点Ｖ１〜Ｖ６）の場合の各視点の最大視差量の一例が示されている。
【００３５】
図１に戻り、３Ｄ映像表示部４０は、３Ｄ映像生成部３６により生成されて３Ｄ映像記憶部３８に格納される３Ｄ映像を参照し、確認用３Ｄディスプレイ１４に表示することができる。なお、３Ｄ映像表示部４０は、３Ｄパラメータ調整部３２によって３Ｄパラメータが調整されている際に、その時点での３Ｄパラメータに基づいて生成された３Ｄ映像をリアルタイムで確認用３Ｄディスプレイ１４に表示することができる。すなわち、図５に示すように、作業用２Ｄディスプレイ１２において３Ｄパラメータを調整している際に、調整された３Ｄパラメータ値を反映した３Ｄ映像を確認用３Ｄディスプレイ１４に表示することができる。また、３Ｄ映像表示部４０は、作業用２Ｄディスプレイ１２の表示領域１１０に表示されている深度映像と同期させて３Ｄ映像を確認用３Ｄディスプレイ１４に表示することができる。つまり、２Ｄ画像の同一のフレームに対応する深度画像と３Ｄ画像とを表示することが可能となる。２Ｄ画像、深度画像、及び３Ｄ画像の間におけるフレームの対応関係は、例えば、対応するフレームにはファイル名の一部に同じ文字列を含めるなど、任意の手法により行うことができる。また、深度映像と３Ｄ映像との同期は、例えば、深度映像表示部３４が、作業用２Ｄディスプレイ１２に表示中の深度画像のフレームを示す情報を３Ｄ映像表示部４０に通知するなど、任意の手法により行うことができる。
【００３６】
図１に戻り、３Ｄ映像出力部４２は、３Ｄパラメータの調整が完了した後に、３Ｄ映像のレンダリングを行って出力する。例えば、３Ｄ映像出力部４２は、図５に示した調整用画面１００でレンダリングボタン１４２が押下されると、３Ｄ映像記憶部３８から３Ｄ映像を読み出し、最終的な３Ｄ映像として記憶媒体や外部の情報処理装置に出力する。
【００３７】
図１０は、２Ｄ３Ｄ変換処理全体の流れの一例を示すフローチャートである。まず、マスク作成部２２は、２Ｄ映像記憶部２０に記憶されている２Ｄ映像を読み込み（Ｓ１００１）、例えばユーザ入力によって各オブジェクトに対するマスクを作成する（Ｓ１００２）。マスクが作成されると、レイヤーデータ作成部２４は、各オブジェクトに対応するレイヤーデータを作成し、レイヤーデータ記憶部２６に格納する（Ｓ１００３）。深度映像生成部２８は、レイヤーデータを合成し（Ｓ１００４）、さらに、深度値を設定した深度映像を生成して深度映像記憶部５０に格納する（Ｓ１００５）。
【００３８】
その後、３Ｄパラメータ調整部３２は、作業用２Ｄディスプレイ１２に調整用画面１００を表示し、ユーザからの入力に基づいて、視差調整（Ｓ１００６）や、輻輳位置調整（Ｓ１００７）、エッジ補正（Ｓ１００８）などの３Ｄパラメータ調整処理を行い、深度映像記憶部５０に格納されている深度映像を更新する。このように３Ｄパラメータの調整が行われている際に、３Ｄ映像生成部３６は、その時点での３Ｄパラメータに基づいて３Ｄ映像を生成し、３Ｄ映像記憶部３８に格納する（Ｓ１００９）。
【００３９】
そして、３Ｄ映像記憶部３８に格納される３Ｄ映像は、３Ｄ映像表示部４０によってリアルタイムに参照され、作業用２Ｄディスプレイ１２に表示される深度映像と同期した状態で、確認用３Ｄディスプレイ１４に表示される（Ｓ１０１０）。ユーザは３Ｄパラメータの調整結果をリアルタイムに確認用３Ｄディスプレイ１４上で確認して３Ｄ映像をチェックする。チェック結果がＮＧである場合（Ｓ１０１１：ＮＧ）、３Ｄパラメータの調整作業が繰り返し実行される。チェック結果がＯＫとなれば（Ｓ１０１１：ＯＫ）、３Ｄ映像出力部４２は、３Ｄ映像記憶部３８に格納されている３Ｄ映像をレンダリングし、最終的な３Ｄ映像を出力する（Ｓ１０１２）。なお、チェック結果がＯＫであることの判定は、例えば、調整用画面１００においてレンダリングボタン１４２が押下されたことにより行うことができる。
【００４０】
以上、本実施形態について説明した。本実施形態によれば、作業用２Ｄディスプレイ１２において調整用画面１００を用いて３Ｄパラメータの調整作業を行いつつ、３Ｄパラメータの調整結果を反映した３Ｄ映像を確認用３Ｄディスプレイ１４においてリアルタイムに確認することが可能である。したがって、３Ｄパラメータの調整をする際に、調整作業を一旦終了したうえでレンダリングを実行して３Ｄ映像を確認し、その確認結果に基づいて再度３Ｄパラメータの調整を行うなどの煩雑な調整作業が不要となる。これにより、２Ｄ３Ｄ変換に必要な３Ｄパラメータの調整作業の効率を高めることが可能となる。
【００４１】
また、本実施形態では、調整用画面１００に深度映像が表示されるため、現在の深度値によって３Ｄ映像がどのように表示されているかを把握することが容易である。さらに、本実施形態では、深度映像と３Ｄ映像とが同期した状態で表示されるため、現在の深度値と３Ｄ映像との関係をより容易に把握することができる。
【００４２】
また、本実施形態では、調整用画面１００において、深度映像を一時停止可能であるため、深度映像の確認が容易である。そして、一時停止により表示されている深度画像に対する３Ｄパラメータを調整可能であるため、３Ｄパラメータの調整作業を行いやすい。
【００４３】
また、本実施形態では、深度画像内にエッジが存在する場合に、隣接する画素間における深度値の差が小さくなるようにエッジ補正を行うことが可能である。これにより、３Ｄ映像の見え方をより自然なものとすることが可能である。
【００４４】
また、本実施形態では、レイヤーごとに３Ｄパラメータを調整可能であるため、３Ｄパラメータの調整作業が容易となり、作業効率を高めることが可能となる。
【００４５】
また、本実施形態では、２Ｄ映像と３Ｄパラメータとに基づいて、３視点以上の多視点の３Ｄ映像を生成することが可能である。これにより、２Ｄ映像をもとに、より自然な３Ｄ映像を生成することができる。
【００４６】
また、本実施形態では、確認用３Ｄディスプレイ１４から３Ｄ表示に関連する仕様を示すディスプレイ情報を取得して、該ディスプレイ情報を用いて３Ｄ映像を生成することが可能である。そのため、３Ｄディスプレイに応じた適切な３Ｄ映像が生成され、その表示結果を３Ｄディスプレイ上で確認しながら、３Ｄパラメータの調整を行うことが可能となる。
【００４７】
なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
【符号の説明】
【００４８】
１０ 画像処理装置
１２ 作業用２Ｄディスプレイ
１４ 確認用３Ｄディスプレイ
２０ ２Ｄ映像記憶部
２２ マスク作成部
２４ レイヤーデータ作成部
２６ レイヤーデータ記憶部
２８ 深度映像生成部
３０ ３Ｄパラメータ記憶部
３２ ３Ｄパラメータ調整部
３４ 深度映像表示部
３６ ３Ｄ映像生成部
３８ ３Ｄ映像記憶部
４０ ３Ｄ映像表示部
４２ ３Ｄ映像出力部
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、映画やテレビにおいて三次元（３Ｄ）映像を鑑賞する環境が整備され、３Ｄ映像に対する関心が高まっている。しかしながら、３Ｄ映像を作成するためには、例えば、３Ｄ映像を撮影するためのカメラ等の特殊な機材が必要となり、映像作成のコストが高くなってしまう。そのため、３Ｄ映像のコンテンツの拡充には至っていないのが現状である。
【０００３】
そこで、既に作成されている二次元（２Ｄ）映像を３Ｄ映像に変換する技術、すなわち２Ｄ３Ｄ変換技術が注目されている。このような２Ｄ３Ｄ変換技術を用いることにより、既存の多くのコンテンツを３Ｄ映像として楽しむことが可能となる。例えば、特許文献１には、２Ｄ３Ｄ変換の際に必要となるパラメータを調整するための手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−８０９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、特許文献１に開示されているような手法を用いることにより、２Ｄ３Ｄ変換のパラメータを調整することが可能である。しかしながら、特許文献１に開示されている手法では、ある１つのフレーム画像に対するパラメータを調整中に、このフレーム画像に対応する３Ｄ画像を確認することはできるものの、元の２Ｄ映像から生成される３Ｄ映像を確認することはできない。
【０００６】
一般的に、フレームごとの３Ｄ画像の表示だけでは、３Ｄ映像における３Ｄの表示効果が適切であるかどうかを判断することは難しい。そのため、パラメータの調整結果がどのように３Ｄ映像に反映されているかを確認するためには、パラメータの調整作業を一旦終了したうえで、最終的な３Ｄ映像を出力するためのレンダリング処理を実行する必要がある。そして、レンダリングにより出力された３Ｄ映像を３Ｄ表示に対応したディスプレイに表示することにより、３Ｄの表示が適切に行われているかどうかを確認することとなる。
【０００７】
このように、２Ｄ３Ｄ変換に際しては、フレームごとのパラメータ調整とレンダリングとを繰り返す必要があり、調整作業に非常に手間がかかってしまう。
【０００８】
そこで、本発明は、２Ｄ３Ｄ変換に必要なパラメータの調整作業の効率を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面に係る画像処理プログラムは、二次元映像を記憶する二次元映像記憶部と、二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータに、三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、三次元パラメータを調整するためのユーザ入力に応じて、三次元パラメータ記憶部に記憶されている三次元パラメータを更新する三次元パラメータ調整機能と、二次元映像記憶部に記憶されている二次元映像と、三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成機能と、調整用画面を用いて三次元パラメータを調整可能な状態において、第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、生成された三次元映像を表示する三次元映像表示機能と、を実現させるためのものである。
【００１０】
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
【発明の効果】
【００１１】
本発明によれば、２Ｄ３Ｄ変換に必要なパラメータの調整作業の効率を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態である画像処理システムの構成を示す図である。
【図２】２Ｄ映像から各オブジェクトの輪郭を抜き出す処理のイメージを示す図である。
【図３】レイヤーデータを合成して深度画像を生成する処理のイメージを示す図である。
【図４】深度値にグラデーションをつける処理のイメージを示す図である。
【図５】３Ｄパラメータ調整中の画面の一例を示す図である。
【図６】深度画像内のエッジの一例を示す図である。
【図７】確認用３Ｄディスプレイ１４における画素パターンの一例を示す図である。
【図８】３Ｄ映像を生成する処理のイメージを示す図である。
【図９】３視点以上の多視点の場合における最大視差量の一例を示す図である。
【図１０】２Ｄ３Ｄ変換処理全体の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態である画像処理システムの構成を示す図である。画像処理システムは、二次元（２Ｄ）映像を三次元（３Ｄ）映像に変換するためのシステムであり、画像処理装置１０、作業用二次元ディスプレイ１２、及び確認用３Ｄディスプレイ１４を含んで構成されている。画像処理装置１０は、２Ｄ３Ｄ変換処理を行うための情報処理装置であり、パーソナルコンピュータやサーバなどを用いて実現される。なお、画像処理装置１０は、複数台の情報処理装置を用いて構成されていてもよい。作業用２Ｄディスプレイ１２は、画像処理装置１０において２Ｄ３Ｄ変換のための作業を行う際に必要な各種情報を表示するためのものであり、２Ｄ表示が可能なディスプレイ装置である。確認用３Ｄディスプレイ１４は、画像処理装置１０によって生成される３Ｄ映像を表示するためのものであり、３Ｄ表示が可能なディスプレイ装置である。なお、確認用３Ｄディスプレイ１４は、３Ｄ表示に対応していればよく、３Ｄ表示の方式は任意である。例えば、偏光フィルタ方式や液晶シャッタ方式等の、３Ｄ視聴時にメガネを用いるものであってもよいし、パララックスバリア方式やレンチキュラ方式等の、裸眼での３Ｄ視聴が可能なものであってもよい。
【００１４】
図１に示すように、画像処理装置１０は、２Ｄ映像記憶部２０、マスク作成部２２、レイヤーデータ作成部２４、レイヤーデータ記憶部２６、深度映像生成部２８、３Ｄパラメータ記憶部３０、３Ｄパラメータ調整部３２、深度映像表示部３４、３Ｄ映像生成部３６、３Ｄ映像記憶部３８、３Ｄ映像表示部４０、及び３Ｄ映像出力部４２を含んで構成される。画像処理装置１０を構成する各部は、例えば、メモリや記憶装置等の記憶領域を用いたり、記憶領域に格納されているプログラムを実行したりすることにより実現することができる。
【００１５】
２Ｄ映像記憶部２０には、３Ｄ映像への変換元となる２Ｄ映像が格納されている。２Ｄ映像は、連続する複数の２Ｄ画像により構成されている。２Ｄ映像は任意の形式であってよいが、ここでは、２Ｄ映像のフレームごとに１つの２Ｄ画像が生成された状態で２Ｄ映像記憶部２０に格納されていることとする。なお、ＭＰＥＧ形式等の圧縮された２Ｄ映像を用いる場合であれば、圧縮された２Ｄ映像をデコードすることにより、フレームごとの２Ｄ画像を生成することが可能である。本実施形態では、２Ｄ映像中の１つのフレームの画像のことを単にフレーム画像と記載する場合もある。
【００１６】
マスク作成部２２は、３Ｄ表示の対象となる各オブジェクトの輪郭を２Ｄ映像の中から抜き出すためのものである。図２に、２Ｄ映像から各オブジェクトの輪郭を抜き出す処理のイメージ図が示されている。図２には、２Ｄ映像中に三角形８０、四角形８２，８４の３つのオブジェクトが示されている。マスク作成部２２は、例えば、２Ｄ映像の１つのフレーム画像を作業用２Ｄディスプレイ１２に表示し、各オブジェクトの範囲を指定するためのユーザ入力を受け付ける。そして、オブジェクトの範囲が指定されると、マスク生成部２２は、２Ｄ映像の後続フレームのフレーム画像に対してオブジェクトの追従処理を行い、各フレーム画像においてオブジェクトの輪郭を切り取る。なお、マスク作成部２２は、フレーム画像を解析することにより、ユーザ入力によらず自動的にオブジェクトの輪郭を切り抜くこととしてもよい。また、マスク作成部２２は、オブジェクトの追従結果を作業用２Ｄディスプレイ１２に表示し、追従が正しく行われていない部分について、ユーザ入力に応じて補正を行うことも可能である。
【００１７】
レイヤーデータ作成部２４は、マスク作成部２２の処理結果に基づいて、３Ｄ表示の対象となるオブジェクトごとのレイヤーデータを作成し、レイヤーデータ記憶部２６に格納する。また、レイヤーデータ作成部２４は、あるオブジェクトのレイヤーデータを作業用２Ｄディスプレイ１２に表示し、当該オブジェクトの傾きや凹凸を指定するためのユーザ入力を受け付けることも可能である。
【００１８】
深度映像生成部２８は、レイヤーデータ作成部２４により作成された複数のオブジェクトのレイヤーデータをフレームごとに合成することにより深度映像を生成し、３Ｄパラメータ記憶部２４内の深度映像記憶部５０に格納する。図３には、あるフレームのレイヤーデータを合成した深度画像が表示されている。深度画像は、画像中の画素ごとの深度を示すものであり、デプスマップと呼ばれる。深度画像は、２Ｄ映像のフレーム画像と同じ大きさであり、各画素の画素値は深度を表す深度値となっている。本実施形態では、深度画像は、各画素の値を２５６段階のグレースケール値で表したグレースケール画像とする。そして、図３に示すように、深度値０が最も奥の深度を表し、深度値２５５が最も手前の深度を表すこととする。
【００１９】
深度映像生成部２８では、各深度画像に対して、各レイヤーの深度値を初期設定することができる。また、深度映像生成部２８では、オブジェクトの傾きや凹凸に応じて、オブジェクト内の深度値を変更することが可能である。例えば、図４に示すように、深度映像生成部２８は、オブジェクトの傾きに応じて深度値にグラデーションをつけることも可能である。なお、深度値の初期設定は、各フレームの深度画像に対して個別に行うことも可能であるし、例えば、いくつかのフレームの深度画像に対して深度値を設定することにより、その他のフレームの深度画像の深度値を補間により算出することも可能である。このように、深度映像生成部２８では、２Ｄ映像の各フレームに対応する深度画像を生成することにより、２Ｄ映像に対応する深度映像を生成することができる。
【００２０】
３Ｄパラメータ調整部３２は、２Ｄ映像を３Ｄ映像に変換するために必要となる３Ｄパラメータを調整するための機能を有している。上述した深度映像も３Ｄパラメータの１つである。３Ｄパラメータには、深度映像の他に、視差量、輻輳位置、及び３Ｄモードが含まれる。図１に示すように、これらの３Ｄパラメータは、３Ｄパラメータ記憶部３０内の深度映像記憶部５０、視差量記憶部５２、輻輳位置記憶部５４、及び３Ｄモード記憶部５６に格納されている。３Ｄパラメータ調整部３２では、これらの３Ｄパラメータを調整するための調整用画面を作業用２Ｄディスプレイ１２に表示し、当該画面に対するユーザ入力に応じて３Ｄパラメータを更新することが可能である。
【００２１】
図５には、調整用画面の一例が示されている。図５に示すように、調整用画面１００には、深度映像を表示するための表示領域１１０に加えて、深度映像の再生を制御するためのボタン、３Ｄパラメータを調整するためのボタン、３Ｄ映像のレンダリングを指示するためのボタンが設けられている。
【００２２】
再生／一時停止ボタン１２０は、深度映像の再生や一時停止を指示するためのものである。この再生／一時停止ボタン１２０の操作入力に応じて、深度映像表示部３４が、深度映像記憶部５０に格納されている深度映像の再生や一時停止を行う。また、深度映像表示部３４は、フレーム指定ボタン１２２で指定されたフレームの深度画像を表示させたり、戻しボタン１２４や送りボタン１２６の操作入力に応じてフレームを戻したり進めたりすることが可能である。
【００２３】
深度値ボタン１３０は、表示領域１１０に表示されている深度画像の深度値を調整する際に用いられる。例えば、ユーザは、表示領域１１０において調整対象のレイヤー（オブジェクト）を選択し、選択されたレイヤーに対する深度値を入力することができる。３Ｄパラメータ調整部３２は、このように入力される深度値により、深度映像記憶部５０に格納されている、対象の深度画像における深度値を更新する。なお、３Ｄパラメータ調整部３２は、オブジェクトに設定されている傾きや凹凸を考慮したうえで深度値を更新することが可能である。
【００２４】
深度値範囲ボタン１３２は、各レイヤーの深度値の範囲を入力する際に用いられる。例えば、ユーザは、表示領域１１０において調整対象のレイヤーを選択し、選択されたレイヤーに対する深度値の範囲を入力することができる。３Ｄパラメータ調整部３２は、ここで指定される範囲内において、当該レイヤーの深度値を調整することができる。３Ｄパラメータ調整部３２は、あるフレームの深度画像の深度値が調整されることに伴って、例えば、初期設定時と同様の手法により、他のフレームの深度画像の深度値を自動的に更新することができる。このとき、３Ｄパラメータ調整部３２は、ユーザに指定された範囲内となるように深度値を更新することができる。
【００２５】
視差量ボタン１３４は、隣り合う視点間における最大視差を示す最大視差量を調整する際に用いられる。最大視差量は、３Ｄ映像における立体感を調整するためのパラメータであり、最大視差量が大きくなるほど立体感が強くなる反面、最大視差量を大きくしすぎると立体感が破綻したり、３Ｄ映像に乱れが生じたりすることがある。３Ｄパラメータ調整部３２は、このように入力される最大視差量を視差量記憶部５２に格納する。なお、本実施形態では、入力される最大視差量は深度映像の全フレームに対して適用されることとするが、フレームごとや区間ごとに最大視差量を調整可能であることとしてもよい。フレームごとや区間ごとに最大視差量が調整される場合、視差量記憶部５２には、フレームや区間を識別するための情報と最大視差量とが対応付けて記憶されることとすればよい。
【００２６】
輻輳位置ボタン１３６は、３Ｄ映像における輻輳位置を調整する際に用いられる。輻輳位置は、３Ｄ映像を表示する際にスクリーン面に位置する深度値を指定するものである。例えば、図３に示したように、奥から手前に向かって０から２５５まで深度値が規定されている場合において、輻輳位置を０とすると、深度値０（無限遠）がスクリーン面に位置することになる。この場合、映像が全てスクリーン面から飛び出したものとなる。３Ｄパラメータ調整部３２は、このように入力される輻輳位置を輻輳位置記憶部５４に格納する。なお、本実施形態では、入力される輻輳位置は深度映像の全フレームに対して適用されることとするが、フレームごとや区間ごとに輻輳位置を調整可能であることとしてもよい。フレームごとや区間ごとに輻輳位置が調整される場合、輻輳位置記憶部５４には、フレームや区間を識別するための情報と輻輳位置とが対応付けて記憶されることとすればよい。
【００２７】
エッジ補正ボタン１３８は、深度画像内のエッジを補正する際に用いられる。エッジとは、深度値の変化量が大きい部分であり、例えば図６に示すように、レイヤーの境目部分などに存在する。３Ｄパラメータ調整部３２は、表示領域１１０に表示されている深度画像内のエッジを検出し、検出されたエッジ周辺の深度値の変化が緩やかになるように深度値を更新することができる。ここで、エッジの検出は、例えば隣接する画素間における深度値の変化量が所定レベル以上であるかどうかを判定することなどにより行うことが可能である。３Ｄパラメータ調整部３２は、表示領域１１０においてユーザから指定される範囲内のエッジを補正することも可能である。また、３Ｄパラメータ調整部３２は、表示領域１１０に表示されている深度画像だけではなく、他のフレームの深度画像に含まれるエッジについても同様に補正することが可能である。
【００２８】
３Ｄモード選択ボタン１４０は、３Ｄ映像の生成や表示を行う際のモードを示す３Ｄモードを選択する際に用いられる。例えば、３Ｄモードとして、パラレル、クロス、アナグリフ、インターレース、多視点などを選択することが可能である。ここで、多視点とは、視点数が３つ以上のものであり、視点数を入力することが可能である。３Ｄパラメータ調整部３２は、このように入力される３Ｄモードを３Ｄモード記憶部５６に格納する。なお、３Ｄモード記憶部５６には、確認用３Ｄディスプレイ１４における３Ｄ表示に関連する仕様を示すディスプレイ情報が、３Ｄモードの一部として予め格納されていてもよい。このようなディスプレイ情報には、例えば、確認用３Ｄディスプレイ１４における画素配列のパターンを示す情報が含まれる。図７には、確認用３Ｄディスプレイ１４が８視点の３Ｄ映像の表示に対応している場合における、画素パターンの一例が示されている。図７の例では、確認用３Ｄディスプレイ１４の表示面は、横８画素×縦６画素ごとにグループ分けされており、各グループに対して同じ画素パターンが規定されている。なお、３Ｄパラメータ調整部３２は、このような画素パターン等を示すディスプレイ情報を確認用３Ｄディスプレイ１４から取得して３Ｄモード記憶部５６に格納してもよい。
【００２９】
図１に戻り、３Ｄ映像生成部３６は、２Ｄ映像記憶部２０に記憶されている２Ｄ映像と、３Ｄパラメータ記憶部３０に記憶されている３Ｄパラメータとに基づいて３Ｄ映像を生成し、３Ｄ映像記憶部３８に格納する。図８は、３Ｄ映像の生成処理のイメージが示されている。図８に示すように、３Ｄ映像生成部３６は、２Ｄ映像の各フレーム画像から、３Ｄパラメータを考慮して、３Ｄモードに応じた視点数のフレーム画像を生成する。例えば、視点数が８であれば、１フレームの２Ｄ画像から、対応する８枚の３Ｄ画像が生成されることとなる。
【００３０】
２Ｄ映像のフレーム画像から３Ｄ映像のフレーム画像を生成する処理の一例について説明する。本実施形態では、上述したように、深度画像は変換元の２Ｄ画像と幅、高さが同じサイズで、Ｒ・Ｇ・Ｂ値が全て共通の２５６段階のグレースケール画像とする。３Ｄ映像生成部３６は、深度画像の各画素の輝度値、すなわち深度値を取得し、変換元の２Ｄ画像の対応する画素を深度値に従って水平方向に移動させることにより３Ｄ画像を生成する。画素の移動量をｓｈｉｆｔ、最大視差量をｓｈｉｆｔ＿ｍａｘ、深度値をｐとすると、例えば、２視点の場合であれば次式（１）によって移動量ｓｈｉｆｔを求めることができる。
【００３１】
ｓｈｉｆｔ＝（ｓｈｉｆｔ＿ｍａｘ×ｐ）／２５５ ・・・（１）
ここで、２視点の場合、画素の移動方向は、右目用の３Ｄ画像が左方向、左目用の３Ｄ画像が右方向となる。なお、変換元の２Ｄ画像の対象画素を水平方向に移動しただけでは、対象画素の隣の画素の深度値に変化があった場合、生成された３Ｄ画像において画素間に隙間が発生してしまう。そこで、３Ｄ映像生成部３６は、例えば移動量分を変換元の２Ｄ画像の対象画素で埋めるなどにより、画素間に隙間が生じないように３Ｄ画像を生成することができる。３Ｄ映像生成部３６は、例えば、深度値０から深度値２５５の順番等、深度値ごとに上述の処理を行うようにすることができる。
【００３２】
さらに、３Ｄ映像生成部３６は、輻輳位置を考慮して３Ｄ画像を生成することができる。輻輳位置は、スクリーン平面に位置させたい深度値を示すものであるため、深度画像が２５６段階のグレースケールの画像の場合であれば、輻輳位置の値も０〜２５５の範囲となる。ここで、輻輳位置をｓ＿ｐｏｓとすると、次式（２）によって移動量を求めることができる。
【００３３】
ｓｈｉｆｔ＝（ｓｈｉｆｔ＿ｍａｘ）×（ｐ−ｓ＿ｐｏｓ）／２５５ ・・・（２）
これにより、深度画像上の輻輳位置と同じ深度値を有する画素の移動幅がゼロとなる。また、深度画像上の他の深度値の画素の移動方向は、輻輳位置を境界として逆方向となる。結果的に生成される３Ｄ画像は、深度値が輻輳位置より大きい部分は飛び出し、深度値が輻輳位置より小さい部分は引っ込んだものとなる。
【００３４】
簡単な例として２視点の場合について説明したが、３Ｄ映像生成部３６は、視点ごとに最大視差量を変更して上式に適用することにより、多視点の３Ｄ画像を生成することができる。１視点あたりの視差量をｓｈｉｆｔ０、視点数をｖｎとすると、多視点３Ｄ画像を生成する際の最大視差量は０〜（ｓｈｉｆｔ０×（ｖｎ−１））／２の範囲となる。そして、３Ｄ変換による画質劣化を抑えるために、変換元の２Ｄ画像を中心位置に配置することとすると、多視点３Ｄ画像を生成する際の最大視差量は、−（（ｓｈｉｆｔ０×（ｖｎ−１））／２）〜（ｓｈｉｆｔ０×（ｖｎ−１））／２の範囲となる。３Ｄ映像生成部３６は、この範囲を均等に区切った位置を各視点の最大視差量として用いることができる。図９（ａ）には、視点数が奇数（例えば５視点Ｖ１〜Ｖ５）の場合の各視点の最大視差量の一例が示されている。また、図９（ｂ）には、視点数が偶数（例えば６視点Ｖ１〜Ｖ６）の場合の各視点の最大視差量の一例が示されている。
【００３５】
図１に戻り、３Ｄ映像表示部４０は、３Ｄ映像生成部３６により生成されて３Ｄ映像記憶部３８に格納される３Ｄ映像を参照し、確認用３Ｄディスプレイ１４に表示することができる。なお、３Ｄ映像表示部４０は、３Ｄパラメータ調整部３２によって３Ｄパラメータが調整されている際に、その時点での３Ｄパラメータに基づいて生成された３Ｄ映像をリアルタイムで確認用３Ｄディスプレイ１４に表示することができる。すなわち、図５に示すように、作業用２Ｄディスプレイ１２において３Ｄパラメータを調整している際に、調整された３Ｄパラメータ値を反映した３Ｄ映像を確認用３Ｄディスプレイ１４に表示することができる。また、３Ｄ映像表示部４０は、作業用２Ｄディスプレイ１２の表示領域１１０に表示されている深度映像と同期させて３Ｄ映像を確認用３Ｄディスプレイ１４に表示することができる。つまり、２Ｄ画像の同一のフレームに対応する深度画像と３Ｄ画像とを表示することが可能となる。２Ｄ画像、深度画像、及び３Ｄ画像の間におけるフレームの対応関係は、例えば、対応するフレームにはファイル名の一部に同じ文字列を含めるなど、任意の手法により行うことができる。また、深度映像と３Ｄ映像との同期は、例えば、深度映像表示部３４が、作業用２Ｄディスプレイ１２に表示中の深度画像のフレームを示す情報を３Ｄ映像表示部４０に通知するなど、任意の手法により行うことができる。
【００３６】
図１に戻り、３Ｄ映像出力部４２は、３Ｄパラメータの調整が完了した後に、３Ｄ映像のレンダリングを行って出力する。例えば、３Ｄ映像出力部４２は、図５に示した調整用画面１００でレンダリングボタン１４２が押下されると、３Ｄ映像記憶部３８から３Ｄ映像を読み出し、最終的な３Ｄ映像として記憶媒体や外部の情報処理装置に出力する。
【００３７】
図１０は、２Ｄ３Ｄ変換処理全体の流れの一例を示すフローチャートである。まず、マスク作成部２２は、２Ｄ映像記憶部２０に記憶されている２Ｄ映像を読み込み（Ｓ１００１）、例えばユーザ入力によって各オブジェクトに対するマスクを作成する（Ｓ１００２）。マスクが作成されると、レイヤーデータ作成部２４は、各オブジェクトに対応するレイヤーデータを作成し、レイヤーデータ記憶部２６に格納する（Ｓ１００３）。深度映像生成部２８は、レイヤーデータを合成し（Ｓ１００４）、さらに、深度値を設定した深度映像を生成して深度映像記憶部５０に格納する（Ｓ１００５）。
【００３８】
その後、３Ｄパラメータ調整部３２は、作業用２Ｄディスプレイ１２に調整用画面１００を表示し、ユーザからの入力に基づいて、視差調整（Ｓ１００６）や、輻輳位置調整（Ｓ１００７）、エッジ補正（Ｓ１００８）などの３Ｄパラメータ調整処理を行い、深度映像記憶部５０に格納されている深度映像を更新する。このように３Ｄパラメータの調整が行われている際に、３Ｄ映像生成部３６は、その時点での３Ｄパラメータに基づいて３Ｄ映像を生成し、３Ｄ映像記憶部３８に格納する（Ｓ１００９）。
【００３９】
そして、３Ｄ映像記憶部３８に格納される３Ｄ映像は、３Ｄ映像表示部４０によってリアルタイムに参照され、作業用２Ｄディスプレイ１２に表示される深度映像と同期した状態で、確認用３Ｄディスプレイ１４に表示される（Ｓ１０１０）。ユーザは３Ｄパラメータの調整結果をリアルタイムに確認用３Ｄディスプレイ１４上で確認して３Ｄ映像をチェックする。チェック結果がＮＧである場合（Ｓ１０１１：ＮＧ）、３Ｄパラメータの調整作業が繰り返し実行される。チェック結果がＯＫとなれば（Ｓ１０１１：ＯＫ）、３Ｄ映像出力部４２は、３Ｄ映像記憶部３８に格納されている３Ｄ映像をレンダリングし、最終的な３Ｄ映像を出力する（Ｓ１０１２）。なお、チェック結果がＯＫであることの判定は、例えば、調整用画面１００においてレンダリングボタン１４２が押下されたことにより行うことができる。
【００４０】
以上、本実施形態について説明した。本実施形態によれば、作業用２Ｄディスプレイ１２において調整用画面１００を用いて３Ｄパラメータの調整作業を行いつつ、３Ｄパラメータの調整結果を反映した３Ｄ映像を確認用３Ｄディスプレイ１４においてリアルタイムに確認することが可能である。したがって、３Ｄパラメータの調整をする際に、調整作業を一旦終了したうえでレンダリングを実行して３Ｄ映像を確認し、その確認結果に基づいて再度３Ｄパラメータの調整を行うなどの煩雑な調整作業が不要となる。これにより、２Ｄ３Ｄ変換に必要な３Ｄパラメータの調整作業の効率を高めることが可能となる。
【００４１】
また、本実施形態では、調整用画面１００に深度映像が表示されるため、現在の深度値によって３Ｄ映像がどのように表示されているかを把握することが容易である。さらに、本実施形態では、深度映像と３Ｄ映像とが同期した状態で表示されるため、現在の深度値と３Ｄ映像との関係をより容易に把握することができる。
【００４２】
また、本実施形態では、調整用画面１００において、深度映像を一時停止可能であるため、深度映像の確認が容易である。そして、一時停止により表示されている深度画像に対する３Ｄパラメータを調整可能であるため、３Ｄパラメータの調整作業を行いやすい。
【００４３】
また、本実施形態では、深度画像内にエッジが存在する場合に、隣接する画素間における深度値の差が小さくなるようにエッジ補正を行うことが可能である。これにより、３Ｄ映像の見え方をより自然なものとすることが可能である。
【００４４】
また、本実施形態では、レイヤーごとに３Ｄパラメータを調整可能であるため、３Ｄパラメータの調整作業が容易となり、作業効率を高めることが可能となる。
【００４５】
また、本実施形態では、２Ｄ映像と３Ｄパラメータとに基づいて、３視点以上の多視点の３Ｄ映像を生成することが可能である。これにより、２Ｄ映像をもとに、より自然な３Ｄ映像を生成することができる。
【００４６】
また、本実施形態では、確認用３Ｄディスプレイ１４から３Ｄ表示に関連する仕様を示すディスプレイ情報を取得して、該ディスプレイ情報を用いて３Ｄ映像を生成することが可能である。そのため、３Ｄディスプレイに応じた適切な３Ｄ映像が生成され、その表示結果を３Ｄディスプレイ上で確認しながら、３Ｄパラメータの調整を行うことが可能となる。
【００４７】
なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
【符号の説明】
【００４８】
１０ 画像処理装置
１２ 作業用２Ｄディスプレイ
１４ 確認用３Ｄディスプレイ
２０ ２Ｄ映像記憶部
２２ マスク作成部
２４ レイヤーデータ作成部
２６ レイヤーデータ記憶部
２８ 深度映像生成部
３０ ３Ｄパラメータ記憶部
３２ ３Ｄパラメータ調整部
３４ 深度映像表示部
３６ ３Ｄ映像生成部
３８ ３Ｄ映像記憶部
４０ ３Ｄ映像表示部
４２ ３Ｄ映像出力部
【特許請求の範囲】
【請求項１】
二次元映像を記憶する二次元映像記憶部と、前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータに、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新する三次元パラメータ調整機能と、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成機能と、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する三次元映像表示機能と、
を実現させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
前記三次元パラメータには、前記二次元映像における深度値を表す深度映像が含まれ、
前記三次元パラメータ調整機能では、前記調整用画面に前記深度映像を表示可能である、
画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
前記深度映像及び前記三次元映像は、同期した状態で、前記第１及び第２のディスプレイに表示される、
画像処理プログラム。
【請求項４】
請求項２または３に記載の画像処理プログラムであって、
前記第１のディスプレイに表示されている前記深度映像を、該深度映像に含まれる任意の深度画像が表示されている状態で一時停止可能である、
画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムであって、
前記三次元パラメータ調整機能では、前記任意の深度画像に対する前記三次元パラメータを調整可能である、
画像処理プログラム。
【請求項６】
請求項２〜５の何れか一項に記載のプログラムであって、
前記三次元パラメータ調整機能では、前記深度映像に含まれる深度画像内の隣接する画素間における深度値の差が所定値以上である場合に、該深度値の差が小さくなるように該隣接する画素の深度値を調整可能である、
画像処理プログラム。
【請求項７】
請求項１〜６の何れか一項に記載のプログラムであって、
前記コンピュータは、前記二次元映像におけるレイヤーを表すレイヤーデータを記憶するレイヤーデータ記憶部をさらに有し、
前記三次元パラメータ調整機能では、前記レイヤーデータ記憶部に記憶されているレイヤーデータに基づいて、前記調整用画面で指定されるレイヤーに対する前記三次元パラメータを調整可能である、
画像処理プログラム。
【請求項８】
請求項１〜７の何れか一項に記載のプログラムであって、
前記三次元パラメータには、前記三次元映像を生成する際の視差量が含まれる、
画像処理プログラム。
【請求項９】
請求項１〜８の何れか一項に記載のプログラムであって、
前記三次元パラメータには、前記三次元映像を生成する際の輻輳位置が含まれる、
画像処理プログラム。
【請求項１０】
請求項１〜９の何れか一項に記載のプログラムであって、
前記三次元映像生成機能では、前記二次元映像と、前記三次元パラメータとに基づいて、３視点以上の視点を有する前記三次元映像を生成可能である、
画像処理プログラム。
【請求項１１】
請求項１〜１０の何れか一項に記載のプログラムであって、
前記三次元映像生成機能では、前記第２のディスプレイにおける三次元表示に関連する仕様を示すディスプレイ情報を前記第２のディスプレイから取得し、前記二次元映像と、前記三次元パラメータと、前記ディスプレイ情報とに基づいて、前記三次元映像を生成可能である、
画像処理プログラム。
【請求項１２】
二次元映像を記憶する二次元映像記憶部と、
前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部と、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新する三次元パラメータ調整部と、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成部と、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する三次元映像表示部と、
を備える画像処理装置。
【請求項１３】
二次元映像を記憶する二次元映像記憶部と、前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータが、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新し、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて三次元映像を生成し、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する、
画像処理方法。
【請求項１】
二次元映像を記憶する二次元映像記憶部と、前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータに、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新する三次元パラメータ調整機能と、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成機能と、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する三次元映像表示機能と、
を実現させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
前記三次元パラメータには、前記二次元映像における深度値を表す深度映像が含まれ、
前記三次元パラメータ調整機能では、前記調整用画面に前記深度映像を表示可能である、
画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
前記深度映像及び前記三次元映像は、同期した状態で、前記第１及び第２のディスプレイに表示される、
画像処理プログラム。
【請求項４】
請求項２または３に記載の画像処理プログラムであって、
前記第１のディスプレイに表示されている前記深度映像を、該深度映像に含まれる任意の深度画像が表示されている状態で一時停止可能である、
画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムであって、
前記三次元パラメータ調整機能では、前記任意の深度画像に対する前記三次元パラメータを調整可能である、
画像処理プログラム。
【請求項６】
請求項２〜５の何れか一項に記載のプログラムであって、
前記三次元パラメータ調整機能では、前記深度映像に含まれる深度画像内の隣接する画素間における深度値の差が所定値以上である場合に、該深度値の差が小さくなるように該隣接する画素の深度値を調整可能である、
画像処理プログラム。
【請求項７】
請求項１〜６の何れか一項に記載のプログラムであって、
前記コンピュータは、前記二次元映像におけるレイヤーを表すレイヤーデータを記憶するレイヤーデータ記憶部をさらに有し、
前記三次元パラメータ調整機能では、前記レイヤーデータ記憶部に記憶されているレイヤーデータに基づいて、前記調整用画面で指定されるレイヤーに対する前記三次元パラメータを調整可能である、
画像処理プログラム。
【請求項８】
請求項１〜７の何れか一項に記載のプログラムであって、
前記三次元パラメータには、前記三次元映像を生成する際の視差量が含まれる、
画像処理プログラム。
【請求項９】
請求項１〜８の何れか一項に記載のプログラムであって、
前記三次元パラメータには、前記三次元映像を生成する際の輻輳位置が含まれる、
画像処理プログラム。
【請求項１０】
請求項１〜９の何れか一項に記載のプログラムであって、
前記三次元映像生成機能では、前記二次元映像と、前記三次元パラメータとに基づいて、３視点以上の視点を有する前記三次元映像を生成可能である、
画像処理プログラム。
【請求項１１】
請求項１〜１０の何れか一項に記載のプログラムであって、
前記三次元映像生成機能では、前記第２のディスプレイにおける三次元表示に関連する仕様を示すディスプレイ情報を前記第２のディスプレイから取得し、前記二次元映像と、前記三次元パラメータと、前記ディスプレイ情報とに基づいて、前記三次元映像を生成可能である、
画像処理プログラム。
【請求項１２】
二次元映像を記憶する二次元映像記憶部と、
前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部と、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新する三次元パラメータ調整部と、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて、三次元映像を生成する三次元映像生成部と、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する三次元映像表示部と、
を備える画像処理装置。
【請求項１３】
二次元映像を記憶する二次元映像記憶部と、前記二次元映像を三次元映像に変換するために必要となる三次元パラメータを記憶する三次元パラメータ記憶部とを有するコンピュータが、
前記三次元パラメータを調整するための調整用画面を第１のディスプレイに表示し、前記三次元パラメータを調整するためのユーザ入力に応じて、前記三次元パラメータ記憶部に記憶されている前記三次元パラメータを更新し、
前記二次元映像記憶部に記憶されている二次元映像と、前記三次元パラメータ記憶部に記憶されている三次元パラメータとに基づいて三次元映像を生成し、
前記調整用画面を用いて前記三次元パラメータを調整可能な状態において、前記第１のディスプレイとは別の、三次元表示に対応した第２のディスプレイに、前記生成された三次元映像を表示する、
画像処理方法。
【図１】
【図７】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図７】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【公開番号】特開２０１３−５３７６（Ｐ２０１３−５３７６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７２１１（Ｐ２０１１−１３７２１１）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（５０１０５９９５８）株式会社オフィスサンサーラ (1)
【出願人】（５１１２４８８４７）株式会社フレディシステム (1)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（５０１０５９９５８）株式会社オフィスサンサーラ (1)
【出願人】（５１１２４８８４７）株式会社フレディシステム (1)
【Ｆターム（参考）】
[ Back to top ]