奥行き製作支援装置、奥行き製作支援方法、およびプログラム
【課題】視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することができる奥行き製作支援装置等を提供する。
【解決手段】ボタン群２１が押下されると、奥行き画像を製作する入力画像群が読み込まれる。開始フレーム表示エリア２３、終了フレーム表示エリア２４には、マスク選択プルダウン２５で選択されているマスクの開始フレームと終了フレームのマスク画像がそれぞれ表示され、２次元画像表示エリア２８には、２次元画像のプレビューが表示され、奥行き設定画面２６には、読み込まれた複数のマスクの奥行き値曲線が表示される。フレームスライダーバー３４、奥行き値スライダーバー３７がスライドされると、奥行き設定フレームと奥行き値の変更を行うことができる。
【解決手段】ボタン群２１が押下されると、奥行き画像を製作する入力画像群が読み込まれる。開始フレーム表示エリア２３、終了フレーム表示エリア２４には、マスク選択プルダウン２５で選択されているマスクの開始フレームと終了フレームのマスク画像がそれぞれ表示され、２次元画像表示エリア２８には、２次元画像のプレビューが表示され、奥行き設定画面２６には、読み込まれた複数のマスクの奥行き値曲線が表示される。フレームスライダーバー３４、奥行き値スライダーバー３７がスライドされると、奥行き設定フレームと奥行き値の変更を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、奥行き製作支援装置、奥行き製作支援方法、およびプログラムに関し、特に、立体視を実現するための視差画像を生成する視差画像生成装置が利用する奥行き画像を製作する奥行き製作支援装置等に関する。
【背景技術】
【０００２】
従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。
【０００３】
最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。
【０００４】
また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。
【０００５】
さらに、ほとんどの映像はＣＧ画像ではなく実写であり、実写から３次元映像を作成することが求められている。
【０００６】
実写映像による多視差映像を制作する為に、平面（２Ｄ）映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する。
【０００７】
しかしながら、多視差映像に変換する手法では、奥行き情報がない。そのため全てのシーン（フレーム）において手作業で１枚ずつ奥行き情報を作成する必要が生じ、非常に作業負荷が高かった。
【０００８】
そこで、奥行き値を設定するための手法として、例えば、特許文献１には、ユーザ指示に応じてメッシュ形状を変形させ、奥行き値を設定する技術が提案されている。また例えば、非特許文献１には、３次元空間内において、映像の選択部分をユーザが移動・回転させ、奥行き値を設定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２０１０−５１６１５５号公報
【非特許文献】
【００１０】
【非特許文献１】Depth Director: A System forAdding Depth to Movies
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に記載の技術は、操作すべき項目が多く、１フレーム分の奥行き情報を設定するための長時間を要し、設定した奥行き値が確認し難いという課題がある。
【００１２】
これに対し、非特許文献１に記載の技術は、設定方法は簡略化されているものの、異なるフレームにおける奥行き値の比較ができないため、位置関係の矛盾が生じやすいという課題があった。
【００１３】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することを支援する奥行き製作支援装置等を提供することである。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために、第１の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置であって、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込手段と、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示手段と、前記奥行き値曲線表示手段において、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定手段と、前記設定手段において奥行き値が設定された前記フレームの前後の奥行き値を補間する補間手段と、前記補間手段による補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成手段と、を具備することを特徴とする奥行き製作支援装置である。
第１の発明によって、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することが可能となる。
【００１５】
前記設定手段は、前記奥行き値曲線表示手段において奥行き値を指定するための画面部品である奥行き値指定部品を有し、前記奥行き値指定部品の移動に連動して、前記奥行き値を示す画素値を変えながら、前記奥行き画像のプレビューを表示する奥行き画像表示手段をさらに備える。
これにより、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【００１６】
前記設定手段は、前記奥行き値曲線表示手段において時刻を指定するための画面部品である時刻指定部品を有し、前記奥行き画像表示手段は、前記時刻指定部品の移動に連動して、奥行き画像のフレームを変更する。
これにより、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。
【００１７】
前記時刻指定部品の移動に連動して、映像の時刻を変えながら前記元の映像を表示する映像表示手段をさらに備える。
これにより、ユーザは、奥行き画像の仕上りを容易に確認することができる。
【００１８】
前記補間手段による補間結果に基づいて、前記元の映像を構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を作成するラベル画像作成手段をさらに備える。
これにより、奥行き画像と合わせてラベル画像も作成することができる。
【００１９】
いずれか１つのマスク画像に被写体が存在するフレームの範囲を検出し、奥行き値設定範囲の開始フレームおよび終了フレームを決定するマスク範囲検出手段をさらに備える。
これにより、奥行き値の設定が必要なフレームだけを表示手段に表示させることができ、利便性が高まる。
【００２０】
第２の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置の奥行き製作支援方法であって、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、前記補間ステップによる補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成ステップと、を含むことを特徴とする。
第２の発明によって、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することが可能となる。
【００２１】
第３の発明は、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、前記補間ステップによる補間結果に基づいて、立体視を実現するための視差画像の生成処理に利用する奥行き画像を作成する奥行き画像作成ステップと、を実行させるためのプログラムである。
【００２２】
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る奥行き製作支援装置を得ることができる。
【発明の効果】
【００２３】
本発明により、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することができる奥行き製作支援装置等を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る奥行き製作支援装置のハードウエア構成図である。
【図２】奥行き製作支援装置および視差画像生成装置の入出力データを示す図である。
【図３】２次元画像の一例を示す図である。
【図４】図３に示した２次元画像に基づいて生成された背景画像の一例を示す図である。
【図５】マスク画像の一例を示す図である。
【図６】他のマスク画像の一例を示す図である。
【図７】他のマスク画像の一例を示す図である。
【図８】奥行き画像の一例を示す図である。
【図９】入出力画像の対応付けを説明するための図である。
【図１０】奥行き製作支援処理を説明するフローチャートである。
【図１１】奥行き製作支援画面の表示例である。
【図１２】奥行き設定画面を拡大した表示例である。
【図１３】奥行き設定画面の他の表示例である。
【図１４】奥行き設定画面の他の表示例である。
【図１５】奥行き設定画面の他の表示例である。
【図１６】奥行き設定画面の他の表示例である。
【図１７】ラベル画像の作成を説明する図である。
【発明を実施するための形態】
【００２５】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００２６】
［本発明の実施の形態］
図１は、本発明の実施の形態に係る奥行き製作支援装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２７】
奥行き製作支援装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２８】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ ＯｎｌＹ ＭｅｍｏｒＹ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ＭｅｍｏｒＹ）等で構成される。
【００２９】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、奥行き製作支援装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、奥行き製作支援装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３０】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を奥行き製作支援装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３１】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３２】
通信制御部１４は、通信制御装置、通信ポート等を有し、奥行き製作支援装置１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３３】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、奥行き製作支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
【００３４】
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して奥行き製作支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３５】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、奥行き製作支援装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して奥行き製作支援装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００３６】
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３７】
図２は、奥行き製作支援装置１および視差画像生成装置２の入出力データを示す図である。図２に示すように、奥行き製作支援装置１は、２次元画像３、背景画像４、マスク画像５、及び奥行き値６を入力データとし、奥行き画像７、およびラベル画像８を出力データとする。視差画像生成装置２は、２次元画像３、奥行き画像７、およびラベル画像８を入力データとし、視差画像９を出力データとする。
【００３８】
２次元画像３、背景画像４、及びマスク画像５は、奥行き製作支援装置１の制御部１１が生成しても良いし、メディア入出力部１３、通信制御部１４等を介して外部から取得しても良い。また、奥行き値６は、奥行き製作支援装置１の入力部１５を介して入力しても良いし、予め奥行き値６が定義されたファイルを外部から取得しても良い。
【００３９】
２次元画像３は、動画像（平面映像）の１枚分のフレーム画像または静止画像である。動画像（平面映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。
【００４０】
背景画像４は、背景の奥行き感を示す画像である。背景画像４は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４１】
マスク画像５は、特定の被写体を識別するための２値化画像である。マスク画像５は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４２】
奥行き値６は、被写体の奥行き方向の位置を定義する値である。本発明では、奥行き値６の画素値の範囲を０〜２５５の２５６階調として表現する。０が黒、２５５が白、１〜２５４がグレー（中間調）に対応する。
【００４３】
奥行き製作支援装置１は、２次元画像３、背景画像４、マスク画像５、および奥行き値６に基づいて、奥行き画像７の製作を支援するものであって、特に奥行き値６を設定し、その結果を確認するための画面インターフェース（後述する図１１〜図１６）に特徴を有するものである。
【００４４】
奥行き画像７は、２次元画像３に係るカメラから被写体までの奥行き値を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置２の内部処理において定義される仮想的なカメラを意味する。
【００４５】
奥行き画像７は、例えば、画素値の範囲が０〜２５５（８ビット）のグレースケールであり、０（黒）が最も奥、２５５（白）が最も手前を意味する場合が多いが、逆であっても良い。以下では、説明を分かり易くするために、奥行き画像７は、画素値の範囲が０〜２５５であり、０（黒）が最も奥、２５５（白）が最も手前を意味するものとする。
【００４６】
ラベル画像８は、それぞれの２次元画像３に対応付けて、２次元画像３に記録されたシーンを構成する被写体を識別する固有の数値（ラベル値）によって領域分けし、このラベル値を画素値に置き換えた（ラベリングされた）画像である。例えば、背景、建物、及び人物から構成されるシーンにおいて、背景、建物、及び人物に相当するラベル値として、それぞれＬ０、Ｌ１、Ｌ２を割り当て、対応する２次元画像３の各画素がどの被写体に属しているかを、Ｌ０、Ｌ１、Ｌ２の画素値に置き換えることによって表現する。
【００４７】
ラベル画像８は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、本発明のように、奥行き製作支援装置１が自動的に生成してもよい。
【００４８】
視差画像９は、立体視を実現するための画像である。本発明の実施の形態では、視差画像９は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。
【００４９】
尚、本発明の実施の形態では詳細に述べないが、複数の視差画像９をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像９の合成処理については、公知の技術を利用すれば良い。
【００５０】
視差画像生成装置２は、２次元画像３、奥行き画像７、およびラベル画像８に基づいて視差画像９を生成するものである。視差画像生成装置２の詳細は、本出願人が先に出願した、特願２０１０−１７６８６４号、および特願２０１１−５５８７８号に記載されている。
【００５１】
次に、図３〜図８を参照して、奥行き製作支援装置１の入出力データの表示例について説明する。
【００５２】
図３は、２次元画像３の一例を示している。図３の例では、複数人でスポールブールというボール競技をしている動画像の１フレーム分を示している。図４は、図３に示した２次元画像３に基づいて生成された背景画像４の一例を示している。図３および図４は、同一フレームである。なお、背景画像４の奥行き感は、厳密でなくてよい。また背景画像４はなくてもよい。
【００５３】
図５は、図３に示した２次元画像３と同一フレームのマスク画像５の一例を示している。図５の例では、球技参加者であるプレー中の人物（特定の被写体）を識別するための２値化画像であり、そのプレー中の人物の画素が白、それ以外の画素が黒にされている。以下、図５のマスク画像５を、適宜、マスクＡのマスク画像と称する。
【００５４】
図６は、他のマスク画像５の一例を示している。図６の例では、対戦している様子を少し離れて見物している２人の人物（特定の被写体）を識別するための２値化画像であり、その２人の人物の画素が白、それ以外の画素が黒にされている。図６は、図３〜図５、図７とは別フレーム（異なる時刻）である。以下、図６のマスク画像５を、適宜、マスクＢのマスク画像と称する。
【００５５】
図７は、他のマスク画像５の一例を示している。図７の例では、対戦相手の人物（特定の被写体）を識別するための２値化画像であり、その対戦相手の人物の画素が白、それ以外の画素が黒にされている。図７は、図３〜図６とは別フレームである。以下、図７のマスク画像５を、適宜、マスクＣのマスク画像と称する。
【００５６】
なお、図３に示す２次元画像３において、マスクＢの被写体（見物している２人の人物）の中の１人は、マスクＡの被写体（プレー中の人物）に隠れており映っていない。また、マスクＣの被写体は、マスクＢの被写体よりも右側に位置しており、図３に示す２次元画像３に映っていない。
【００５７】
以上のように、奥行き製作支援装置１は、フレームごとに、マスクＡのマスク画像（図５）、マスクＢのマスク画像（図６）、およびマスクＣのマスク画像（図７）を予め用意しておき、それらのマスク画像５と奥行き値６に基づいて、フレームごとに奥行き画像７を製作する。
【００５８】
図８は、奥行き画像７の一例を示している。奥行き画像７は、複数の被写体同士の奥行き方向の相対的な位置関係が、模擬的に定義された画像である。図８は、図３〜図７とは別フレームであり、プレー中の人物がボールを投げる直前のフレームである。図８の例では、一番手前（白の領域）にマスクＡの被写体（プレー中の人物）、奥（グレーの領域）にマスクＢの被写体（見物している２人の人物）が存在するという奥行き方向の位置関係が定義されている。また、背景画像４の奥行き情報も付加されている。
【００５９】
図９は、奥行き製作支援装置１が扱う入出力画像の対応付けを説明するための図である。
【００６０】
図９に示すように、入力画像群は、フレームごとに、２次元画像、マスクＡのマスク画像、マスクＢのマスク画像、マスクＣのマスク画像、および背景画像の５枚の画像が１組となっている。また出力画像群は、フレームごとに、奥行き画像、およびラベル画像の２枚の画像が１組となっている。例えば、フレーム数が１０００枚の場合、２次元画像は１０００枚、マスク画像は３０００枚、背景画像は１０００枚準備され、奥行き画像は１０００枚、ラベル画像は１０００枚出力されることになる。
【００６１】
図１０は、奥行き製作支援装置１が実行する奥行き製作支援処理を説明するフローチャートである。図１０の説明に当たり、図１１〜図１７を参照し、具体的な操作内容も説明する。
【００６２】
まず、ユーザは、奥行き製作支援処理を開始するにあたり、図１１に示すような奥行き製作支援画面２０を表示部１６に表示させる。図１１の例の場合、奥行き製作支援画面２０には、「マスク読み込み」、「ムービー読み込み」、「背景読み込み」のボタン群２１、マスク範囲検出チェックボタン２２、開始フレーム表示エリア２３、終了フレーム表示エリア２４、マスク選択プルダウン２５、奥行き設定画面２６、奥行き画像表示エリア２７、２次元画像表示エリア２８、および書き出しボタン２９が表示されている。
【００６３】
ボタン群２１は、マスク読み込み、ムービー読み込み、背景読み込みを行う場合に操作（押下）される。マスク範囲検出チェックボタン２２は、選択されているマスクの被写体が存在するフレームの範囲を検出する場合に操作される。開始フレーム表示エリア２３には、検出範囲における開始フレームのマスクが表示され、終了フレーム表示エリア２４には、検出範囲における終了フレームのマスクが表示される。マスク選択プルダウン２５は、奥行き設定するマスクを選択する場合に操作される。奥行き設定画面２６は、マスク選択プルダウン２５で選択されたマスクの奥行き値を変更するための設定画面である。
【００６４】
奥行き画像表示エリア２７には、読み込まれた複数のマスクに基づいて奥行き方向の位置関係が模擬的に定義された奥行き画像のプレビューが表示される。２次元画像表示エリア２８には、読み込まれた２次元画像のプレビューが表示される。書き出しボタン２９は、奥行き画像を保存する場合に選択される。
【００６５】
図１２は、奥行き設定画面２６を拡大した表示例である。
【００６６】
図１２に示すように、奥行き設定画面２６の縦軸は、デプス値（奥行き値）を表し、横軸は、Ｔｉｍｅ（フレーム）を表している。奥行き設定画面２６内において、奥行き値曲線３１ａ、３１ｂ、３１ｃは、それぞれ、マスクＡ、マスクＢ、マスクＣの奥行き値を示す曲線であって、初期画面では、３つが重なって表示される。開始位置３２は、開始フレームの位置を示し、終了位置３３は、終了フレームの位置を示している。
【００６７】
フレームスライダーバー３４は、奥行き値を設定するフレームを指定する場合に横方向にスライド（移動）される。番号３５は、フレームスライダーバー３４によって指定されているフレームの番号を示す。フレーム位置３６は、フレームスライダーバー３４によって指定されているフレーム方向の位置を示し、初期画面では、開始位置３２とフレーム位置３６は重なって表示される。奥行き値スライダーバー３７は、奥行き値を指定する場合に縦方向にスライドされる。キーフレーム削除ボタン３８は、現在選択されているマスクのキーフレーム（変化が定義されているフレーム）を削除する場合に選択される。
【００６８】
以上のような奥行き製作支援画面２０において、ユーザは、ボタン群２１を押下し、奥行き画像を製作するための入力画像群の読み込みを指示する。
【００６９】
ステップＳ１において、奥行き製作支援装置１の制御部１１は、ユーザからの指示に基づいて、入力画像群を読み込む。例えば、図９に示したように、フレームごとに、２次元画像、マスクＡのマスク画像、マスクＢのマスク画像、マスクＣのマスク画像、および背景画像の５枚の画像が１組となった入力画像群が読み込まれる。また、ユーザによって、マスク範囲検出チェックボタン２２が押下されることで、奥行き値の設定が必要なフレーム範囲が検出される。
【００７０】
これにより、奥行き製作支援画面２０において、開始フレーム表示エリア２３には、マスク選択プルダウン２５で選択されているマスクの開始フレームのマスク画像が表示され、終了フレーム表示エリア２４には、マスク選択プルダウン２５で選択されているマスクの終了フレームのマスク画像が表示され、２次元画像表示エリア２８には、２次元画像のプレビューが表示される。また、奥行き設定画面２６には、読み込まれた複数のマスクの奥行き値曲線が表示される。
【００７１】
ステップＳ２において、奥行き製作支援装置１の制御部１１は、ユーザによってマスク選択プルダウンの入力指示があったか否か、つまり、図１１のマスク選択プルダウン２５で新たにマスクが選択されたか否かを判定し、マスク選択プルダウンの入力指示があったと判定した場合、ステップＳ３に進む。ステップＳ３において、奥行き製作支援装置１の制御部１１は、ユーザからの入力指示に基づいて奥行き設定するマスクを変更する。
【００７２】
奥行き製作支援装置１の制御部１１は、ステップＳ２において、マスク選択プルダウンの入力指示がないと判定した場合、または、ステップＳ３において、奥行き設定するマスクを変更した後、ステップＳ４に進む。
【００７３】
ステップＳ４において、奥行き製作支援装置１の制御部１１は、ユーザによってフレームスライダーバーの変更指示があったか否か、つまり、図１２のフレームスライダーバー３４がスライドされたか否かを判定し、フレームスライダーバーの変更指示があったと判定した場合、ステップＳ５に進む。
【００７４】
例えば、ユーザは、図１２に示す奥行き設定画面２６の初期画面において、フレームスライダーバー３４を右方向にスライドすることで奥行き設定フレームの変更を行うことができる。
【００７５】
図１３は、図１２に示す奥行き設定画面２６の状態から、マスク選択プルダウン２５によって単一のマスク（例えば、マスクＡ）が選択され、フレームスライダーバー３４がスライドされた状態を示している。マスク選択プルダウン２５によってマスクＡが選択されたことにより、開始フレームと終了フレームが、自動的にキーフレーム４１ａ、４２ａとして設定される。また、フレームスライダーバー３４のスライドに連動して、フレーム位置３６もスライドされる。このとき、奥行き設定フレームの変更操作に連動して、奥行き画像表示エリア２７に複数フレームの奥行き画像のプレビューが連続的に表示されるとともに、２次元画像表示エリア２８に複数フレームの２次元画像のプレビューが連続的に表示される。
【００７６】
以上のようにして、ユーザは、簡単な操作で、奥行き設定フレームの変更を行うことができる。また、複数フレームの奥行き画像を連続的に表示させることができるため、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。さらに、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させることができるため、奥行き画像の仕上がりを容易に確認することができる。
【００７７】
図１０の説明に戻る。ステップＳ５において、奥行き製作支援装置１の制御部１１は、ユーザによる変更指示に基づいて奥行き設定フレームの変更を行う。
【００７８】
奥行き製作支援装置１の制御部１１は、ステップＳ４において、フレームスライダーバーの変更指示がないと判定した場合、または、ステップＳ５において、奥行き設定フレームを変更した後、ステップＳ６に進む。
【００７９】
ステップＳ６において、奥行き製作支援装置１の制御部１１は、ユーザによって奥行き値スライダーバーの変更指示があったか否か、つまり、図１２の奥行き値スライダーバー３７がスライドされたか否かを判定し、奥行き値スライダーバーの変更指示があったと判定した場合、ステップＳ７に進む。
【００８０】
例えば、ユーザは、図１３に示す奥行き設定画面２６において、奥行き値スライダーバー３７を上方向にスライドすることで奥行き値の変更を行うことができる。
【００８１】
図１４は、図１３に示す奥行き設定画面２６の状態から、奥行き値スライダーバー３７がスライドされた状態を示している。奥行き値スライダーバー３７のスライドに連動して、奥行き値曲線３１ａが変形される。具体的には、フレームスライダーバー３４によって指定されているフレーム位置３４と、奥行き値スライダーバー３７によって指定されるデプス値方向の位置の交点（移動点）が上下にスライドされ、その交点の位置を確定すると（例えば、奥行き値スライダーバー３７の選択を解除する操作であるマウスの左クリックを離すと）、交点にキーフレーム４３ａが設定される。このとき、奥行き値の変更操作に連動して、奥行き値を示す画素値を変えながら、奥行き画像表示エリア２７に表示される奥行き画像のプレビューも連続的に変化される。
【００８２】
以上のようにして、ユーザは、簡単な操作で、奥行き値の変更を行うことができる。また、奥行き値を変化させたときに、奥行き画像がどのように変化するのかを連続的に表示させることができるため、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【００８３】
図１０の説明に戻る。ステップＳ７において、奥行き製作支援装置１の制御部１１は、ユーザによる変更指示に基づいて奥行き値の設定を行う。ステップＳ８において、奥行き製作支援装置１の制御部１１は、ステップＳ７で設定した奥行き値に基づいて、奥行き値の補間を行う。具体的には、図１４に示すキーフレーム４３ａと、そのキーフレーム４３ａに隣接するキーフレーム４１ａ、キーフレーム４２ａとの間が補間される。図１４の例では、線形補間を適用しているが、これに限らず、例えば、多項式補間、スプライン補間、ベジェ曲線補間などでもよい。
【００８４】
このように、一部のフレームについて奥行き値を設定すれば、他のフレームについては、違和感のない範囲で自動的に補間されるため、全フレームの奥行き値を手作業する手間が省け、作業効率が大幅に良くなる。
【００８５】
ステップＳ９において、奥行き製作支援装置１の制御部１１は、ステップＳ８の処理で補間された奥行き値に応じて奥行き方向の位置関係が模擬的に定義された奥行き画像を作成し、奥行き画像表示エリア２７に表示させる。
【００８６】
奥行き製作支援装置１の制御部１１は、ステップＳ６において、奥行き値スライダーバーの変更指示がないと判定した場合、または、ステップＳ９において、奥行き画像の作成、表示が行われた後、ステップＳ１０に進む。
【００８７】
ステップＳ１０において、奥行き製作支援装置１の制御部１１は、書き出しボタンの押下指示があったか否か、つまり、図１１の書き出しボタン２９が押下されたか否かを判定し、まだ書き出しボタン押下指示がないと判定した場合、ステップＳ２に戻り、上述した処理を繰り返し実行する。
【００８８】
例えば、ユーザは、図１４に示す奥行き設定画面２６において、さらに、フレームスライダーバー３４を右方向にスライドすることで奥行き設定フレームの変更を再度行うことができる。
【００８９】
図１５は、図１４に示す奥行き設定画面２６の状態から、フレームスライダーバー３４をスライドさせ、奥行き値スライダーバー３７をスライドさせることにより新たにキーフレームを作成した状態を示している。フレームスライダーバー３４のスライドに連動して、フレーム位置３６もスライドされる。また、奥行き値スライダーバー３７のスライドに連動して、新たなキーフレームが作成されたり、キーフレームが移動したりする。
【００９０】
具体的には、奥行き値スライダーバー３７を動かした際、そのフレームにキーフレームが存在しなければ新たなキーフレームが作成され、キーフレームが存在すればそのキーフレームが移動する。このとき、奥行き設定フレームの変更操作に連動して、奥行き画像表示エリア２７に複数フレームの奥行き画像のプレビューが連続的に表示されるとともに、２次元画像表示エリア２８に複数フレームの２次元画像のプレビューが連続的に表示される。
【００９１】
以上のようにして、ユーザは、簡単な操作で、奥行き設定フレームと奥行き値の変更を何度も行うことができるため、１つのマスクに対して複数個のキーフレームを設定することが可能である。また、複数フレームの奥行き画像を連続的に表示させたり、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させたりすることができるため、ユーザは、フレーム間で違和感がないかどうか、奥行き画像の仕上がりを容易に確認することができる。
【００９２】
また例えば、図１５に示す奥行き設定画面２６の状態において、ユーザは、マスク選択プルダウン２５から別のマスク（例えば、マスクＢ）を選択し、上述したような奥行き設定フレームと奥行き値の変更を行うこともできる。
【００９３】
図１６は、図１５に示す奥行き設定画面２６の状態において、マスク選択プルダウン２５からマスクＢが選択され、奥行き値スライダーバー３７がスライドされた状態を示している。マスク選択プルダウン２５によってマスクＢが選択されたことにより、開始フレームと終了フレームが、自動的にキーフレーム４１ｂ、４２として設定される。そして、奥行き値スライダーバー３７のスライドに連動して、キーフレーム４１ｂが上下にスライドされ、位置確定により、キーフレーム４１ｂの位置が変更される。このとき、奥行き値の変更操作に連動して、奥行き値を示す画素値を変えながら、奥行き画像表示エリア２７に表示される奥行き画像のプレビューも連続的に変化される。
【００９４】
以上のようにして、ユーザは、簡単な操作で、別のマスクについても奥行き設定フレームや奥行き値の変更を行うことができる。また、別のマスクについても、奥行き画像がどのように変化するのかを連続的に表示させたり、複数フレームの奥行き画像を連続的に表示させたり、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させたりすることができるため、ユーザは、同一フレームにおける被写体間で違和感がないかどうか、フレーム間で違和感がないかどうか、奥行き画像の仕上がりを容易に確認することができる。
【００９５】
図１０の説明に戻る。ステップＳ１０において、奥行き製作支援装置１の制御部１１は、書き出しボタンの押下指示があったと判定した場合、ステップＳ１１に進み、以上のようにして奥行き設定フレームや奥行き値が変更（補間）された奥行き画像７を記憶部１２に保存する。ステップＳ１２において、奥行き製作支援装置１の制御部１１は、２次元画像３に対応付けてラベル画像８を作成し、記憶部１２に保存する。
【００９６】
図１７は、ラベル画像８の作成を説明する図である。
【００９７】
例えば、図１７（ａ）に示すように、マスク画像５ｄは、四角の物体の被写体のマスクＤであり、マスク画像５ｅは、円の物体の被写体のマスクＥであるとする。上述したような奥行き値の設定により、図１７（ｂ）に示すように、マスクＤの被写体７ｄが最も手前（白）、マスクＥの被写体７ｅの被写体が最も奥（黒）となるように奥行き値が設定され、奥行き画像７が生成されたとする。
【００９８】
図１７（ｃ）に示すように、手前の被写体７ｄに対応するラベルＤについては、マスク画像５Ｄと同様の領域が、ラベルＤのラベリング領域８ｄとしてラベリングされる。
【００９９】
図１７（ｃ）に示すように、奥の被写体７ｅに対応するラベルＥについては、マスク画像５ｅの領域からラベルＤとの重複部分を除いた領域（斜線部の領域）が、ラベルＥのラベリング領域８ｅとしてラベリングされる。
【０１００】
以上のように、ラベル画像８には、他のマスク画像５と重複していない、又は他のマスク画像５よりも手前の被写体については、マスク画像５と同じ領域がラベリングされる（図１７のラベルＤ）。また、ラベル画像８には、他のマスク画像５と重複しており、他のマスク画像５よりも奥の被写体については、マスク画像５の領域から重複部分を除外した領域がラベリングされる（図１７のラベルＥ）。
【０１０１】
［発明の実施の形態における効果］
１．同一被写体の複数フレームに対する奥行き値を互いに比較表示させながら、奥行き値の設定ができるので、フレーム間で違和感のない奥行き値を設定することが可能となる。これにより、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。
【０１０２】
２．同一フレームの複数被写体に対する奥行き値を互いに比較表示させながら、奥行き値の設定ができるので、同一フレームにおける被写体間で違和感のない奥行き値を設定することが可能となる。これにより、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【０１０３】
３．一部のフレームについて奥行き値を設定すれば、他のフレームについては、装置が違和感のない範囲で自動的に補間するので、全フレームの奥行き値を手作業で設定していた従来と比較して、作業効率が大幅に良くなる。
【０１０４】
４．奥行き画像と元映像を連動させて、複数フレームを連続的に表示させることができるので、奥行き画像の仕上りを容易に確認することができる。
【０１０５】
５．奥行き値の設定が必要なフレームだけを表示させることができ、利便性が高まる。
【０１０６】
以上、添付図面を参照しながら、本発明に係る奥行き製作支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０７】
１………奥行き製作支援装置
３………２次元画像
４………背景画像
５………マスク画像
６………奥行き値
７………奥行き画像
８………ラベル画像
【技術分野】
【０００１】
本発明は、奥行き製作支援装置、奥行き製作支援方法、およびプログラムに関し、特に、立体視を実現するための視差画像を生成する視差画像生成装置が利用する奥行き画像を製作する奥行き製作支援装置等に関する。
【背景技術】
【０００２】
従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。
【０００３】
最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。
【０００４】
また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。
【０００５】
さらに、ほとんどの映像はＣＧ画像ではなく実写であり、実写から３次元映像を作成することが求められている。
【０００６】
実写映像による多視差映像を制作する為に、平面（２Ｄ）映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する。
【０００７】
しかしながら、多視差映像に変換する手法では、奥行き情報がない。そのため全てのシーン（フレーム）において手作業で１枚ずつ奥行き情報を作成する必要が生じ、非常に作業負荷が高かった。
【０００８】
そこで、奥行き値を設定するための手法として、例えば、特許文献１には、ユーザ指示に応じてメッシュ形状を変形させ、奥行き値を設定する技術が提案されている。また例えば、非特許文献１には、３次元空間内において、映像の選択部分をユーザが移動・回転させ、奥行き値を設定する技術が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２０１０−５１６１５５号公報
【非特許文献】
【００１０】
【非特許文献１】Depth Director: A System forAdding Depth to Movies
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に記載の技術は、操作すべき項目が多く、１フレーム分の奥行き情報を設定するための長時間を要し、設定した奥行き値が確認し難いという課題がある。
【００１２】
これに対し、非特許文献１に記載の技術は、設定方法は簡略化されているものの、異なるフレームにおける奥行き値の比較ができないため、位置関係の矛盾が生じやすいという課題があった。
【００１３】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することを支援する奥行き製作支援装置等を提供することである。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために、第１の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置であって、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込手段と、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示手段と、前記奥行き値曲線表示手段において、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定手段と、前記設定手段において奥行き値が設定された前記フレームの前後の奥行き値を補間する補間手段と、前記補間手段による補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成手段と、を具備することを特徴とする奥行き製作支援装置である。
第１の発明によって、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することが可能となる。
【００１５】
前記設定手段は、前記奥行き値曲線表示手段において奥行き値を指定するための画面部品である奥行き値指定部品を有し、前記奥行き値指定部品の移動に連動して、前記奥行き値を示す画素値を変えながら、前記奥行き画像のプレビューを表示する奥行き画像表示手段をさらに備える。
これにより、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【００１６】
前記設定手段は、前記奥行き値曲線表示手段において時刻を指定するための画面部品である時刻指定部品を有し、前記奥行き画像表示手段は、前記時刻指定部品の移動に連動して、奥行き画像のフレームを変更する。
これにより、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。
【００１７】
前記時刻指定部品の移動に連動して、映像の時刻を変えながら前記元の映像を表示する映像表示手段をさらに備える。
これにより、ユーザは、奥行き画像の仕上りを容易に確認することができる。
【００１８】
前記補間手段による補間結果に基づいて、前記元の映像を構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を作成するラベル画像作成手段をさらに備える。
これにより、奥行き画像と合わせてラベル画像も作成することができる。
【００１９】
いずれか１つのマスク画像に被写体が存在するフレームの範囲を検出し、奥行き値設定範囲の開始フレームおよび終了フレームを決定するマスク範囲検出手段をさらに備える。
これにより、奥行き値の設定が必要なフレームだけを表示手段に表示させることができ、利便性が高まる。
【００２０】
第２の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置の奥行き製作支援方法であって、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、前記補間ステップによる補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成ステップと、を含むことを特徴とする。
第２の発明によって、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することが可能となる。
【００２１】
第３の発明は、元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、前記補間ステップによる補間結果に基づいて、立体視を実現するための視差画像の生成処理に利用する奥行き画像を作成する奥行き画像作成ステップと、を実行させるためのプログラムである。
【００２２】
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る奥行き製作支援装置を得ることができる。
【発明の効果】
【００２３】
本発明により、視差画像生成装置が利用する奥行き画像を精度良く、かつ、効率的に製作することができる奥行き製作支援装置等を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る奥行き製作支援装置のハードウエア構成図である。
【図２】奥行き製作支援装置および視差画像生成装置の入出力データを示す図である。
【図３】２次元画像の一例を示す図である。
【図４】図３に示した２次元画像に基づいて生成された背景画像の一例を示す図である。
【図５】マスク画像の一例を示す図である。
【図６】他のマスク画像の一例を示す図である。
【図７】他のマスク画像の一例を示す図である。
【図８】奥行き画像の一例を示す図である。
【図９】入出力画像の対応付けを説明するための図である。
【図１０】奥行き製作支援処理を説明するフローチャートである。
【図１１】奥行き製作支援画面の表示例である。
【図１２】奥行き設定画面を拡大した表示例である。
【図１３】奥行き設定画面の他の表示例である。
【図１４】奥行き設定画面の他の表示例である。
【図１５】奥行き設定画面の他の表示例である。
【図１６】奥行き設定画面の他の表示例である。
【図１７】ラベル画像の作成を説明する図である。
【発明を実施するための形態】
【００２５】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００２６】
［本発明の実施の形態］
図１は、本発明の実施の形態に係る奥行き製作支援装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２７】
奥行き製作支援装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２８】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ ＯｎｌＹ ＭｅｍｏｒＹ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ＭｅｍｏｒＹ）等で構成される。
【００２９】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、奥行き製作支援装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、奥行き製作支援装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３０】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を奥行き製作支援装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３１】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３２】
通信制御部１４は、通信制御装置、通信ポート等を有し、奥行き製作支援装置１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３３】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、奥行き製作支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
【００３４】
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して奥行き製作支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３５】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、奥行き製作支援装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して奥行き製作支援装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００３６】
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３７】
図２は、奥行き製作支援装置１および視差画像生成装置２の入出力データを示す図である。図２に示すように、奥行き製作支援装置１は、２次元画像３、背景画像４、マスク画像５、及び奥行き値６を入力データとし、奥行き画像７、およびラベル画像８を出力データとする。視差画像生成装置２は、２次元画像３、奥行き画像７、およびラベル画像８を入力データとし、視差画像９を出力データとする。
【００３８】
２次元画像３、背景画像４、及びマスク画像５は、奥行き製作支援装置１の制御部１１が生成しても良いし、メディア入出力部１３、通信制御部１４等を介して外部から取得しても良い。また、奥行き値６は、奥行き製作支援装置１の入力部１５を介して入力しても良いし、予め奥行き値６が定義されたファイルを外部から取得しても良い。
【００３９】
２次元画像３は、動画像（平面映像）の１枚分のフレーム画像または静止画像である。動画像（平面映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。
【００４０】
背景画像４は、背景の奥行き感を示す画像である。背景画像４は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４１】
マスク画像５は、特定の被写体を識別するための２値化画像である。マスク画像５は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４２】
奥行き値６は、被写体の奥行き方向の位置を定義する値である。本発明では、奥行き値６の画素値の範囲を０〜２５５の２５６階調として表現する。０が黒、２５５が白、１〜２５４がグレー（中間調）に対応する。
【００４３】
奥行き製作支援装置１は、２次元画像３、背景画像４、マスク画像５、および奥行き値６に基づいて、奥行き画像７の製作を支援するものであって、特に奥行き値６を設定し、その結果を確認するための画面インターフェース（後述する図１１〜図１６）に特徴を有するものである。
【００４４】
奥行き画像７は、２次元画像３に係るカメラから被写体までの奥行き値を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置２の内部処理において定義される仮想的なカメラを意味する。
【００４５】
奥行き画像７は、例えば、画素値の範囲が０〜２５５（８ビット）のグレースケールであり、０（黒）が最も奥、２５５（白）が最も手前を意味する場合が多いが、逆であっても良い。以下では、説明を分かり易くするために、奥行き画像７は、画素値の範囲が０〜２５５であり、０（黒）が最も奥、２５５（白）が最も手前を意味するものとする。
【００４６】
ラベル画像８は、それぞれの２次元画像３に対応付けて、２次元画像３に記録されたシーンを構成する被写体を識別する固有の数値（ラベル値）によって領域分けし、このラベル値を画素値に置き換えた（ラベリングされた）画像である。例えば、背景、建物、及び人物から構成されるシーンにおいて、背景、建物、及び人物に相当するラベル値として、それぞれＬ０、Ｌ１、Ｌ２を割り当て、対応する２次元画像３の各画素がどの被写体に属しているかを、Ｌ０、Ｌ１、Ｌ２の画素値に置き換えることによって表現する。
【００４７】
ラベル画像８は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、本発明のように、奥行き製作支援装置１が自動的に生成してもよい。
【００４８】
視差画像９は、立体視を実現するための画像である。本発明の実施の形態では、視差画像９は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。
【００４９】
尚、本発明の実施の形態では詳細に述べないが、複数の視差画像９をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像９の合成処理については、公知の技術を利用すれば良い。
【００５０】
視差画像生成装置２は、２次元画像３、奥行き画像７、およびラベル画像８に基づいて視差画像９を生成するものである。視差画像生成装置２の詳細は、本出願人が先に出願した、特願２０１０−１７６８６４号、および特願２０１１−５５８７８号に記載されている。
【００５１】
次に、図３〜図８を参照して、奥行き製作支援装置１の入出力データの表示例について説明する。
【００５２】
図３は、２次元画像３の一例を示している。図３の例では、複数人でスポールブールというボール競技をしている動画像の１フレーム分を示している。図４は、図３に示した２次元画像３に基づいて生成された背景画像４の一例を示している。図３および図４は、同一フレームである。なお、背景画像４の奥行き感は、厳密でなくてよい。また背景画像４はなくてもよい。
【００５３】
図５は、図３に示した２次元画像３と同一フレームのマスク画像５の一例を示している。図５の例では、球技参加者であるプレー中の人物（特定の被写体）を識別するための２値化画像であり、そのプレー中の人物の画素が白、それ以外の画素が黒にされている。以下、図５のマスク画像５を、適宜、マスクＡのマスク画像と称する。
【００５４】
図６は、他のマスク画像５の一例を示している。図６の例では、対戦している様子を少し離れて見物している２人の人物（特定の被写体）を識別するための２値化画像であり、その２人の人物の画素が白、それ以外の画素が黒にされている。図６は、図３〜図５、図７とは別フレーム（異なる時刻）である。以下、図６のマスク画像５を、適宜、マスクＢのマスク画像と称する。
【００５５】
図７は、他のマスク画像５の一例を示している。図７の例では、対戦相手の人物（特定の被写体）を識別するための２値化画像であり、その対戦相手の人物の画素が白、それ以外の画素が黒にされている。図７は、図３〜図６とは別フレームである。以下、図７のマスク画像５を、適宜、マスクＣのマスク画像と称する。
【００５６】
なお、図３に示す２次元画像３において、マスクＢの被写体（見物している２人の人物）の中の１人は、マスクＡの被写体（プレー中の人物）に隠れており映っていない。また、マスクＣの被写体は、マスクＢの被写体よりも右側に位置しており、図３に示す２次元画像３に映っていない。
【００５７】
以上のように、奥行き製作支援装置１は、フレームごとに、マスクＡのマスク画像（図５）、マスクＢのマスク画像（図６）、およびマスクＣのマスク画像（図７）を予め用意しておき、それらのマスク画像５と奥行き値６に基づいて、フレームごとに奥行き画像７を製作する。
【００５８】
図８は、奥行き画像７の一例を示している。奥行き画像７は、複数の被写体同士の奥行き方向の相対的な位置関係が、模擬的に定義された画像である。図８は、図３〜図７とは別フレームであり、プレー中の人物がボールを投げる直前のフレームである。図８の例では、一番手前（白の領域）にマスクＡの被写体（プレー中の人物）、奥（グレーの領域）にマスクＢの被写体（見物している２人の人物）が存在するという奥行き方向の位置関係が定義されている。また、背景画像４の奥行き情報も付加されている。
【００５９】
図９は、奥行き製作支援装置１が扱う入出力画像の対応付けを説明するための図である。
【００６０】
図９に示すように、入力画像群は、フレームごとに、２次元画像、マスクＡのマスク画像、マスクＢのマスク画像、マスクＣのマスク画像、および背景画像の５枚の画像が１組となっている。また出力画像群は、フレームごとに、奥行き画像、およびラベル画像の２枚の画像が１組となっている。例えば、フレーム数が１０００枚の場合、２次元画像は１０００枚、マスク画像は３０００枚、背景画像は１０００枚準備され、奥行き画像は１０００枚、ラベル画像は１０００枚出力されることになる。
【００６１】
図１０は、奥行き製作支援装置１が実行する奥行き製作支援処理を説明するフローチャートである。図１０の説明に当たり、図１１〜図１７を参照し、具体的な操作内容も説明する。
【００６２】
まず、ユーザは、奥行き製作支援処理を開始するにあたり、図１１に示すような奥行き製作支援画面２０を表示部１６に表示させる。図１１の例の場合、奥行き製作支援画面２０には、「マスク読み込み」、「ムービー読み込み」、「背景読み込み」のボタン群２１、マスク範囲検出チェックボタン２２、開始フレーム表示エリア２３、終了フレーム表示エリア２４、マスク選択プルダウン２５、奥行き設定画面２６、奥行き画像表示エリア２７、２次元画像表示エリア２８、および書き出しボタン２９が表示されている。
【００６３】
ボタン群２１は、マスク読み込み、ムービー読み込み、背景読み込みを行う場合に操作（押下）される。マスク範囲検出チェックボタン２２は、選択されているマスクの被写体が存在するフレームの範囲を検出する場合に操作される。開始フレーム表示エリア２３には、検出範囲における開始フレームのマスクが表示され、終了フレーム表示エリア２４には、検出範囲における終了フレームのマスクが表示される。マスク選択プルダウン２５は、奥行き設定するマスクを選択する場合に操作される。奥行き設定画面２６は、マスク選択プルダウン２５で選択されたマスクの奥行き値を変更するための設定画面である。
【００６４】
奥行き画像表示エリア２７には、読み込まれた複数のマスクに基づいて奥行き方向の位置関係が模擬的に定義された奥行き画像のプレビューが表示される。２次元画像表示エリア２８には、読み込まれた２次元画像のプレビューが表示される。書き出しボタン２９は、奥行き画像を保存する場合に選択される。
【００６５】
図１２は、奥行き設定画面２６を拡大した表示例である。
【００６６】
図１２に示すように、奥行き設定画面２６の縦軸は、デプス値（奥行き値）を表し、横軸は、Ｔｉｍｅ（フレーム）を表している。奥行き設定画面２６内において、奥行き値曲線３１ａ、３１ｂ、３１ｃは、それぞれ、マスクＡ、マスクＢ、マスクＣの奥行き値を示す曲線であって、初期画面では、３つが重なって表示される。開始位置３２は、開始フレームの位置を示し、終了位置３３は、終了フレームの位置を示している。
【００６７】
フレームスライダーバー３４は、奥行き値を設定するフレームを指定する場合に横方向にスライド（移動）される。番号３５は、フレームスライダーバー３４によって指定されているフレームの番号を示す。フレーム位置３６は、フレームスライダーバー３４によって指定されているフレーム方向の位置を示し、初期画面では、開始位置３２とフレーム位置３６は重なって表示される。奥行き値スライダーバー３７は、奥行き値を指定する場合に縦方向にスライドされる。キーフレーム削除ボタン３８は、現在選択されているマスクのキーフレーム（変化が定義されているフレーム）を削除する場合に選択される。
【００６８】
以上のような奥行き製作支援画面２０において、ユーザは、ボタン群２１を押下し、奥行き画像を製作するための入力画像群の読み込みを指示する。
【００６９】
ステップＳ１において、奥行き製作支援装置１の制御部１１は、ユーザからの指示に基づいて、入力画像群を読み込む。例えば、図９に示したように、フレームごとに、２次元画像、マスクＡのマスク画像、マスクＢのマスク画像、マスクＣのマスク画像、および背景画像の５枚の画像が１組となった入力画像群が読み込まれる。また、ユーザによって、マスク範囲検出チェックボタン２２が押下されることで、奥行き値の設定が必要なフレーム範囲が検出される。
【００７０】
これにより、奥行き製作支援画面２０において、開始フレーム表示エリア２３には、マスク選択プルダウン２５で選択されているマスクの開始フレームのマスク画像が表示され、終了フレーム表示エリア２４には、マスク選択プルダウン２５で選択されているマスクの終了フレームのマスク画像が表示され、２次元画像表示エリア２８には、２次元画像のプレビューが表示される。また、奥行き設定画面２６には、読み込まれた複数のマスクの奥行き値曲線が表示される。
【００７１】
ステップＳ２において、奥行き製作支援装置１の制御部１１は、ユーザによってマスク選択プルダウンの入力指示があったか否か、つまり、図１１のマスク選択プルダウン２５で新たにマスクが選択されたか否かを判定し、マスク選択プルダウンの入力指示があったと判定した場合、ステップＳ３に進む。ステップＳ３において、奥行き製作支援装置１の制御部１１は、ユーザからの入力指示に基づいて奥行き設定するマスクを変更する。
【００７２】
奥行き製作支援装置１の制御部１１は、ステップＳ２において、マスク選択プルダウンの入力指示がないと判定した場合、または、ステップＳ３において、奥行き設定するマスクを変更した後、ステップＳ４に進む。
【００７３】
ステップＳ４において、奥行き製作支援装置１の制御部１１は、ユーザによってフレームスライダーバーの変更指示があったか否か、つまり、図１２のフレームスライダーバー３４がスライドされたか否かを判定し、フレームスライダーバーの変更指示があったと判定した場合、ステップＳ５に進む。
【００７４】
例えば、ユーザは、図１２に示す奥行き設定画面２６の初期画面において、フレームスライダーバー３４を右方向にスライドすることで奥行き設定フレームの変更を行うことができる。
【００７５】
図１３は、図１２に示す奥行き設定画面２６の状態から、マスク選択プルダウン２５によって単一のマスク（例えば、マスクＡ）が選択され、フレームスライダーバー３４がスライドされた状態を示している。マスク選択プルダウン２５によってマスクＡが選択されたことにより、開始フレームと終了フレームが、自動的にキーフレーム４１ａ、４２ａとして設定される。また、フレームスライダーバー３４のスライドに連動して、フレーム位置３６もスライドされる。このとき、奥行き設定フレームの変更操作に連動して、奥行き画像表示エリア２７に複数フレームの奥行き画像のプレビューが連続的に表示されるとともに、２次元画像表示エリア２８に複数フレームの２次元画像のプレビューが連続的に表示される。
【００７６】
以上のようにして、ユーザは、簡単な操作で、奥行き設定フレームの変更を行うことができる。また、複数フレームの奥行き画像を連続的に表示させることができるため、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。さらに、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させることができるため、奥行き画像の仕上がりを容易に確認することができる。
【００７７】
図１０の説明に戻る。ステップＳ５において、奥行き製作支援装置１の制御部１１は、ユーザによる変更指示に基づいて奥行き設定フレームの変更を行う。
【００７８】
奥行き製作支援装置１の制御部１１は、ステップＳ４において、フレームスライダーバーの変更指示がないと判定した場合、または、ステップＳ５において、奥行き設定フレームを変更した後、ステップＳ６に進む。
【００７９】
ステップＳ６において、奥行き製作支援装置１の制御部１１は、ユーザによって奥行き値スライダーバーの変更指示があったか否か、つまり、図１２の奥行き値スライダーバー３７がスライドされたか否かを判定し、奥行き値スライダーバーの変更指示があったと判定した場合、ステップＳ７に進む。
【００８０】
例えば、ユーザは、図１３に示す奥行き設定画面２６において、奥行き値スライダーバー３７を上方向にスライドすることで奥行き値の変更を行うことができる。
【００８１】
図１４は、図１３に示す奥行き設定画面２６の状態から、奥行き値スライダーバー３７がスライドされた状態を示している。奥行き値スライダーバー３７のスライドに連動して、奥行き値曲線３１ａが変形される。具体的には、フレームスライダーバー３４によって指定されているフレーム位置３４と、奥行き値スライダーバー３７によって指定されるデプス値方向の位置の交点（移動点）が上下にスライドされ、その交点の位置を確定すると（例えば、奥行き値スライダーバー３７の選択を解除する操作であるマウスの左クリックを離すと）、交点にキーフレーム４３ａが設定される。このとき、奥行き値の変更操作に連動して、奥行き値を示す画素値を変えながら、奥行き画像表示エリア２７に表示される奥行き画像のプレビューも連続的に変化される。
【００８２】
以上のようにして、ユーザは、簡単な操作で、奥行き値の変更を行うことができる。また、奥行き値を変化させたときに、奥行き画像がどのように変化するのかを連続的に表示させることができるため、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【００８３】
図１０の説明に戻る。ステップＳ７において、奥行き製作支援装置１の制御部１１は、ユーザによる変更指示に基づいて奥行き値の設定を行う。ステップＳ８において、奥行き製作支援装置１の制御部１１は、ステップＳ７で設定した奥行き値に基づいて、奥行き値の補間を行う。具体的には、図１４に示すキーフレーム４３ａと、そのキーフレーム４３ａに隣接するキーフレーム４１ａ、キーフレーム４２ａとの間が補間される。図１４の例では、線形補間を適用しているが、これに限らず、例えば、多項式補間、スプライン補間、ベジェ曲線補間などでもよい。
【００８４】
このように、一部のフレームについて奥行き値を設定すれば、他のフレームについては、違和感のない範囲で自動的に補間されるため、全フレームの奥行き値を手作業する手間が省け、作業効率が大幅に良くなる。
【００８５】
ステップＳ９において、奥行き製作支援装置１の制御部１１は、ステップＳ８の処理で補間された奥行き値に応じて奥行き方向の位置関係が模擬的に定義された奥行き画像を作成し、奥行き画像表示エリア２７に表示させる。
【００８６】
奥行き製作支援装置１の制御部１１は、ステップＳ６において、奥行き値スライダーバーの変更指示がないと判定した場合、または、ステップＳ９において、奥行き画像の作成、表示が行われた後、ステップＳ１０に進む。
【００８７】
ステップＳ１０において、奥行き製作支援装置１の制御部１１は、書き出しボタンの押下指示があったか否か、つまり、図１１の書き出しボタン２９が押下されたか否かを判定し、まだ書き出しボタン押下指示がないと判定した場合、ステップＳ２に戻り、上述した処理を繰り返し実行する。
【００８８】
例えば、ユーザは、図１４に示す奥行き設定画面２６において、さらに、フレームスライダーバー３４を右方向にスライドすることで奥行き設定フレームの変更を再度行うことができる。
【００８９】
図１５は、図１４に示す奥行き設定画面２６の状態から、フレームスライダーバー３４をスライドさせ、奥行き値スライダーバー３７をスライドさせることにより新たにキーフレームを作成した状態を示している。フレームスライダーバー３４のスライドに連動して、フレーム位置３６もスライドされる。また、奥行き値スライダーバー３７のスライドに連動して、新たなキーフレームが作成されたり、キーフレームが移動したりする。
【００９０】
具体的には、奥行き値スライダーバー３７を動かした際、そのフレームにキーフレームが存在しなければ新たなキーフレームが作成され、キーフレームが存在すればそのキーフレームが移動する。このとき、奥行き設定フレームの変更操作に連動して、奥行き画像表示エリア２７に複数フレームの奥行き画像のプレビューが連続的に表示されるとともに、２次元画像表示エリア２８に複数フレームの２次元画像のプレビューが連続的に表示される。
【００９１】
以上のようにして、ユーザは、簡単な操作で、奥行き設定フレームと奥行き値の変更を何度も行うことができるため、１つのマスクに対して複数個のキーフレームを設定することが可能である。また、複数フレームの奥行き画像を連続的に表示させたり、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させたりすることができるため、ユーザは、フレーム間で違和感がないかどうか、奥行き画像の仕上がりを容易に確認することができる。
【００９２】
また例えば、図１５に示す奥行き設定画面２６の状態において、ユーザは、マスク選択プルダウン２５から別のマスク（例えば、マスクＢ）を選択し、上述したような奥行き設定フレームと奥行き値の変更を行うこともできる。
【００９３】
図１６は、図１５に示す奥行き設定画面２６の状態において、マスク選択プルダウン２５からマスクＢが選択され、奥行き値スライダーバー３７がスライドされた状態を示している。マスク選択プルダウン２５によってマスクＢが選択されたことにより、開始フレームと終了フレームが、自動的にキーフレーム４１ｂ、４２として設定される。そして、奥行き値スライダーバー３７のスライドに連動して、キーフレーム４１ｂが上下にスライドされ、位置確定により、キーフレーム４１ｂの位置が変更される。このとき、奥行き値の変更操作に連動して、奥行き値を示す画素値を変えながら、奥行き画像表示エリア２７に表示される奥行き画像のプレビューも連続的に変化される。
【００９４】
以上のようにして、ユーザは、簡単な操作で、別のマスクについても奥行き設定フレームや奥行き値の変更を行うことができる。また、別のマスクについても、奥行き画像がどのように変化するのかを連続的に表示させたり、複数フレームの奥行き画像を連続的に表示させたり、奥行き画像と元映像とを連動させて、複数フレームを連続的に表示させたりすることができるため、ユーザは、同一フレームにおける被写体間で違和感がないかどうか、フレーム間で違和感がないかどうか、奥行き画像の仕上がりを容易に確認することができる。
【００９５】
図１０の説明に戻る。ステップＳ１０において、奥行き製作支援装置１の制御部１１は、書き出しボタンの押下指示があったと判定した場合、ステップＳ１１に進み、以上のようにして奥行き設定フレームや奥行き値が変更（補間）された奥行き画像７を記憶部１２に保存する。ステップＳ１２において、奥行き製作支援装置１の制御部１１は、２次元画像３に対応付けてラベル画像８を作成し、記憶部１２に保存する。
【００９６】
図１７は、ラベル画像８の作成を説明する図である。
【００９７】
例えば、図１７（ａ）に示すように、マスク画像５ｄは、四角の物体の被写体のマスクＤであり、マスク画像５ｅは、円の物体の被写体のマスクＥであるとする。上述したような奥行き値の設定により、図１７（ｂ）に示すように、マスクＤの被写体７ｄが最も手前（白）、マスクＥの被写体７ｅの被写体が最も奥（黒）となるように奥行き値が設定され、奥行き画像７が生成されたとする。
【００９８】
図１７（ｃ）に示すように、手前の被写体７ｄに対応するラベルＤについては、マスク画像５Ｄと同様の領域が、ラベルＤのラベリング領域８ｄとしてラベリングされる。
【００９９】
図１７（ｃ）に示すように、奥の被写体７ｅに対応するラベルＥについては、マスク画像５ｅの領域からラベルＤとの重複部分を除いた領域（斜線部の領域）が、ラベルＥのラベリング領域８ｅとしてラベリングされる。
【０１００】
以上のように、ラベル画像８には、他のマスク画像５と重複していない、又は他のマスク画像５よりも手前の被写体については、マスク画像５と同じ領域がラベリングされる（図１７のラベルＤ）。また、ラベル画像８には、他のマスク画像５と重複しており、他のマスク画像５よりも奥の被写体については、マスク画像５の領域から重複部分を除外した領域がラベリングされる（図１７のラベルＥ）。
【０１０１】
［発明の実施の形態における効果］
１．同一被写体の複数フレームに対する奥行き値を互いに比較表示させながら、奥行き値の設定ができるので、フレーム間で違和感のない奥行き値を設定することが可能となる。これにより、ユーザは、フレーム間で違和感がないかどうかを容易に確認することができる。
【０１０２】
２．同一フレームの複数被写体に対する奥行き値を互いに比較表示させながら、奥行き値の設定ができるので、同一フレームにおける被写体間で違和感のない奥行き値を設定することが可能となる。これにより、ユーザは、同一フレームにおける被写体間で違和感がないかどうかを容易に確認することができる。
【０１０３】
３．一部のフレームについて奥行き値を設定すれば、他のフレームについては、装置が違和感のない範囲で自動的に補間するので、全フレームの奥行き値を手作業で設定していた従来と比較して、作業効率が大幅に良くなる。
【０１０４】
４．奥行き画像と元映像を連動させて、複数フレームを連続的に表示させることができるので、奥行き画像の仕上りを容易に確認することができる。
【０１０５】
５．奥行き値の設定が必要なフレームだけを表示させることができ、利便性が高まる。
【０１０６】
以上、添付図面を参照しながら、本発明に係る奥行き製作支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０７】
１………奥行き製作支援装置
３………２次元画像
４………背景画像
５………マスク画像
６………奥行き値
７………奥行き画像
８………ラベル画像
【特許請求の範囲】
【請求項１】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置であって、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込手段と、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示手段と、
前記奥行き値曲線表示手段において、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定手段と、
前記設定手段において奥行き値が設定された前記フレームの前後の奥行き値を補間する補間手段と、
前記補間手段による補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成手段と、
を備えることを特徴とする奥行き製作支援装置。
【請求項２】
前記設定手段は、前記奥行き値曲線表示手段において奥行き値を指定するための画面部品である奥行き値指定部品を有し、
前記奥行き値指定部品の移動に連動して、前記奥行き値を示す画素値を変えながら、前記奥行き画像のプレビューを表示する奥行き画像表示手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項３】
前記設定手段は、前記奥行き値曲線表示手段において時刻を指定するための画面部品である時刻指定部品を有し、
前記奥行き画像表示手段は、前記時刻指定部品の移動に連動して、奥行き画像のフレームを変更する
ことを特徴とする請求項２に記載の奥行き製作支援装置。
【請求項４】
前記時刻指定部品の移動に連動して、映像の時刻を変えながら前記元の映像を表示する映像表示手段をさらに備える
ことを特徴とする請求項３に記載の奥行き製作支援装置。
【請求項５】
前記補間手段による補間結果に基づいて、前記元の映像を構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を作成するラベル画像作成手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項６】
いずれか１つのマスク画像に被写体が存在するフレームの範囲を検出し、奥行き値設定範囲の開始フレームおよび終了フレームを決定するマスク範囲検出手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項７】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置の奥行き製作支援方法であって、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、
前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、
前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、
前記補間ステップによる補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成ステップと、
を含むことを特徴とする奥行き製作支援方法。
【請求項８】
コンピュータに、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、
前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、
前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、
前記補間ステップによる補間結果に基づいて、立体視を実現するための視差画像の生成処理に利用する奥行き画像を作成する奥行き画像作成ステップと、
を実行させるためのプログラム。
【請求項１】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置であって、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込手段と、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示手段と、
前記奥行き値曲線表示手段において、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定手段と、
前記設定手段において奥行き値が設定された前記フレームの前後の奥行き値を補間する補間手段と、
前記補間手段による補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成手段と、
を備えることを特徴とする奥行き製作支援装置。
【請求項２】
前記設定手段は、前記奥行き値曲線表示手段において奥行き値を指定するための画面部品である奥行き値指定部品を有し、
前記奥行き値指定部品の移動に連動して、前記奥行き値を示す画素値を変えながら、前記奥行き画像のプレビューを表示する奥行き画像表示手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項３】
前記設定手段は、前記奥行き値曲線表示手段において時刻を指定するための画面部品である時刻指定部品を有し、
前記奥行き画像表示手段は、前記時刻指定部品の移動に連動して、奥行き画像のフレームを変更する
ことを特徴とする請求項２に記載の奥行き製作支援装置。
【請求項４】
前記時刻指定部品の移動に連動して、映像の時刻を変えながら前記元の映像を表示する映像表示手段をさらに備える
ことを特徴とする請求項３に記載の奥行き製作支援装置。
【請求項５】
前記補間手段による補間結果に基づいて、前記元の映像を構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を作成するラベル画像作成手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項６】
いずれか１つのマスク画像に被写体が存在するフレームの範囲を検出し、奥行き値設定範囲の開始フレームおよび終了フレームを決定するマスク範囲検出手段をさらに備える
ことを特徴とする請求項１に記載の奥行き製作支援装置。
【請求項７】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を製作する奥行き製作支援装置の奥行き製作支援方法であって、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、
前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、
前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、
前記補間ステップによる補間結果に基づいて、前記奥行き画像を作成する奥行き画像作成ステップと、
を含むことを特徴とする奥行き製作支援方法。
【請求項８】
コンピュータに、
元の映像の各フレームに対して、特定の被写体を識別するために２値化された複数のマスク画像を読み込む読込ステップと、
前記マスク画像毎に、各フレームにおける奥行き値を示す奥行き値曲線を表示する奥行き値曲線表示ステップと、
前記奥行き値曲線表示ステップにおいて、選択された単一のマスク画像の奥行き値曲線における単一のフレームの奥行き値を設定する設定ステップと、
前記設定ステップにおいて奥行き値が設定された前記フレームの前後の奥行き値を補間する補間ステップと、
前記補間ステップによる補間結果に基づいて、立体視を実現するための視差画像の生成処理に利用する奥行き画像を作成する奥行き画像作成ステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図２】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【公開番号】特開２０１３−３４０８４（Ｐ２０１３−３４０８４Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８９２０（Ｐ２０１１−１６８９２０）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]