画像処理装置、画像処理方法及びプログラム
【課題】立体視画像を有するコンテンツを簡易に作成することが可能な、新規かつ改良された画像処理装置を提供する。
【解決手段】複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。その作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換した立体視画像のデータを得る。そして、複数の平面画像を作成する編集画面を表示する。その編集画面は、複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる。
【解決手段】複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。その作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換した立体視画像のデータを得る。そして、複数の平面画像を作成する編集画面を表示する。その編集画面は、複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関し、特に立体視画像を生成させる技術に関する。
【背景技術】
【０００２】
近年、ユーザに立体的な画像として知覚させることができる画像（立体視画像：いわゆる３Ｄ画像）を表示する映像表示装置が発売され、普及し始めている（例えば特許文献１参照）。そのような立体視画像を表示できる装置としては、テレビジョン受像機その他の映像表示装置に限られず、パーソナルコンピュータにおいても、立体視画像を表示することができるものが存在する。
【０００３】
パーソナルコンピュータで動作するアプリケーションの中には、立体視画像を有するコンテンツを生成することが可能なものがある。そのようなアプリケーションでコンテンツを生成することで、ユーザはそのコンテンツを所定の方法で閲覧すると、コンテンツに含まれる画像を立体的な画像として知覚することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１０７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の立体視画像を有するコンテンツの作成は、専用のソフトウェアを用いて位置関係を設定するなどして行わなければならず、エンドユーザにとっては、そのようなコンテンツを作成するのは非常に困難であるという問題があった。
【０００６】
本開示は、立体視画像を有するコンテンツを簡易に作成することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の画像処理装置は、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部を備える。
そして、画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部を備える。
また、立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部を備える。
さらに、画像作成部で作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部を備える。
さらにまた、編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備える。
【０００８】
本開示の画像処理方法は、画像作成ステップと、立体視画像変換ステップと、立体視画像生成ステップと、編集画面生成ステップと、入力ステップとを備える。
画像作成ステップは、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。
立体視画像変換ステップは、画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する。
立体視画像生成ステップは、立体視画像変換ステップで変換された立体視画像のデータを出力する。
編集画面生成ステップは、画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する。
入力ステップは、編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける。
【０００９】
本開示のプログラムは、画像処理をコンピュータに実行させるプログラムであって、画像作成ステップと、立体視画像変換ステップと、立体視画像生成ステップと、編集画面生成ステップと、入力ステップとを実行する。
画像作成ステップは、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。
立体視画像変換ステップは、画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する。
立体視画像生成ステップは、立体視画像変換ステップで変換された立体視画像のデータを出力する。
編集画面生成ステップは、画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する。
入力ステップは、編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける。
【００１０】
本開示によると、複数の平面画像を適切に表示させて、ユーザが所望の立体視画像を簡単な操作で生成して表示させることができる。
【発明の効果】
【００１１】
本開示によると、立体視画像を有するコンテンツを簡易に作成することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施の形態による画像処理装置の構成例を示すブロック図である。
【図２】本開示の一実施の形態による編集画面の例（全レイヤを表示した例）を示す説明図である。
【図３】本開示の一実施の形態による各レイヤの画像例を示す説明図である。
【図４】本開示の一実施の形態による深度表示画面の例を示す説明図である。
【図５】複数のレイヤの画像から立体視画像への変換の概念を示す説明図である。
【図６】複数のレイヤの画像から立体視画像への変換状態を示す説明図である。
【図７】複数のレイヤの画像から立体視用の左右のチャンネルの画像への変換例を示す説明図である。
【図８】複数のレイヤの画像から生成される立体視画像の例を示す説明図である。
【図９】仮想ディスプレイ面よりも手前を仮想位置としたレイヤがある場合の変換状態を示す説明図である。
【図１０】仮想ディスプレイ面よりも手前を仮想位置としたレイヤがある場合の立体視画像の例を示す説明図である。
【図１１】本開示の一実施の形態による編集画面表示処理の流れの例を示すフローチャートである。
【図１２】本開示の一実施の形態による編集画面の例（第３レイヤを表示した例）を示す説明図である。
【図１３】本開示の一実施の形態による編集画面の例（第２レイヤを表示した例）を示す説明図である。
【図１４】本開示の一実施の形態による編集画面の例（第１レイヤを表示した例）を示す説明図である。
【図１５】本開示の一実施の形態による深度画面表示処理の流れの例を示すフローチャートである。
【図１６】本開示の一実施の形態による深度画面表示例（例１）を示す説明図である。
【図１７】本開示の一実施の形態による深度画面表示例（例２）を示す説明図である。
【図１８】本開示の一実施の形態による深度画面表示例（例３）を示す説明図である。
【図１９】本開示の一実施の形態による深度画面表示例（例４）を示す説明図である。
【図２０】本開示の一実施の形態による地平線設定処理の流れの例を示すフローチャートである。
【図２１】本開示の一実施の形態による地平線設定画面の例を示す説明図である。
【図２２】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例１）を示す説明図である。
【図２３】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例２）を示す説明図である。
【図２４】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例３）を示す説明図である。
【図２５】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例４）を示す説明図である。
【図２６】本開示の一実施の形態によるカメラ画像取り込み時の表示画面の例を示す説明図である。
【図２７】本開示の一実施の形態によるカメラ画像を合成した立体視画像の表示例を示す説明図である。
【図２８】本開示の一実施の形態による画像ファイル取り込み時の表示画面の例を示す説明図である。
【図２９】本開示の一実施の形態による画像ファイル取り込み時の取り込み範囲設定例を示す説明図である。
【図３０】本開示の一実施の形態による画像ファイルからの取り込み画像を合成した立体視画像の表示例を示す説明図である。
【図３１】本開示の一実施の形態による作品の一覧表示画面例を示す説明図である。
【図３２】本発明の一実施形態にかかる画像処理装置の詳細なハードウェアの例を示すブロック図である。
【発明を実施するための形態】
【００１３】
添付図面を参照しながら、以下の順序で、本開示の好適な実施の形態について詳細に説明する。
＜１．本発明の一実施の形態例＞
［１−１．画像処理装置の構成（図１）］
［１−２．立体視画像の概要（図３〜図１０）］
［１−３．編集画面の表示例（図２，図１１〜図１４）］
［１−４．深度調整画面の表示例（図１５〜図１９）］
［１−５．地面設定画面の表示例（図２０〜図２５）］
［１−６．カメラ画像の取り込み例（図２６，図２７）］
［１−７．画像ファイルの取り込み例（図２８〜図３０）］
［１−８．作成画像の一覧表示例（図３１）］
［１−９．具体的なハードウェア構成例（図３２）］
【００１４】
＜１．本発明の一実施形態＞
［１−１．画像処理装置の機能構成］
まず、本開示の一実施の形態例（以下、「本例」と称する）にかかる画像処理装置の構成について説明する。図１は、本例の画像処理装置１００の構成を示す図である。
【００１５】
図１に示した本例の画像処理装置１００は、ユーザの操作で画像を作成し、その作成した画像を、表示し保存することが可能に構成されている。図１に示すように画像処理装置１００は、画像作成処理部１１０と、画像保存部１２０と、入力部１３０と、画像表示部１４０と、を含んで構成される。
【００１６】
画像作成処理部１１０は、ユーザに対して画像表示部１４０を通じて画像作成画面を提示したり、ユーザが作成した画像から、立体視画像を作成したりするものである。図１に示したように、本例の画像処理装置１００が備える画像作成処理部１１０は、画像作成部１１２と、立体視画像変換部１１４と、立体視画像生成部１１６と、編集画面生成部１１８とを含んで構成される。編集画面生成部１１８は、各部での画像作成などを制御する画像制御部としても機能する。あるいは、編集画面生成部１１８とは別に、各部での画像作成などを制御する画像制御部を備える構成としてもよい。
【００１７】
画像作成処理部１１０は、画像作成用の編集画面を画像表示部１４０に表示させた状態でのユーザ操作に基づいて、複数の平面画像（例えば３枚の画像）を作成し、その作成した複数枚の平面画像（二次元画像）から立体視画像を生成する。画像作成用の編集画面は、例えば図２に示す画面であり、作成中の画像を中央に表示し、画像の周囲に操作ボタンやタブなどを表示させる。この図２に示した編集画面の詳細については後述する。作成される複数枚の平面画像のそれぞれには、基準となる位置（例えば仮想ディスプレイ面）からの深度の情報を設定して、その深度に基づいて立体視画像とする。
そして、画像作成処理部１１０が生成した立体視画像の画像データを画像表示部１４０に供給し、画像表示部１４０が立体視画像を表示する。ユーザがその立体視画像を所定の手法で（例えば時分割駆動方式のシャッタ目鏡を着用して）見ることで、画像表示部１４０に表示された立体視画像を、立体的な画像としてユーザが知覚する。
【００１８】
画像作成部１１２は、画像作成用の編集画面を画像表示部１４０に表示させ、ユーザ操作で画像を生成させるものである。画像作成部１１２が提示した画像作成画面を用いて、複数のレイヤからなる画像が作成されると、その複数のレイヤからなる画像は、立体視画像変換部１１４及び立体視画像生成部１１６によって立体視画像に変換される。また、画像作成部１１２で作成された複数のレイヤからなる画像は、ユーザによる操作に応じて画像保存部１２０に保存される。
【００１９】
立体視画像変換部１１４は、画像作成部１１２から送られる複数のレイヤからなる画像を、画像表示部１４０へ立体視画像として表示するための変換処理を実行する。本例の画像処理装置１００は、ユーザの目球距離及びユーザとディスプレイ面との距離を予め想定し、レイヤ間の仮想的な距離（画像のレイヤ深度情報）から、画像表示部１４０へ立体視画像として表示するための変換処理を実行する。より具体的には、複数のレイヤからなる画像を座標変換することによって立体視画像を生成するため、立体視画像変換部１１４は、複数のレイヤからなる画像に対する座標変換処理を実行する。
【００２０】
この立体視画像変換部１１４での変換処理時には、画像表示部１４０へ立体視画像を表示させながら、ユーザが画像のレイヤ深度を調整して奥行きの状態を変更すると、その変更に応じて、立体視画像変換部１１４がリアルタイムで変換処理を実行する。これにより、ユーザは、画像のレイヤ深度を調整するだけで、調整後の立体視画像を編集画面での表示で、リアルタイムで確認することができる。画像のレイヤ深度を調整する処理例の詳細については後述する。
【００２１】
また、画像処理装置１００は、ユーザが生成した複数のレイヤからなる平面画像から立体視画像を作成する際に、立体視画像のプレビュー表示を実行する。立体視画像のプレビュー表示によって、ユーザに対して、作成した画像を立体視画像として保存する前に、どのように立体的に見えるかを予め把握させることができる。
【００２２】
立体視画像生成部１１６は、立体視画像変換部１１４によって実行された変換処理に基づいて、複数のレイヤからなる画像から立体視画像を生成するものである。立体視画像生成部１１６が生成した立体視画像は画像表示部１４０へ表示される他、ユーザによる入力部１３０の操作に応じて画像保存部１２０に保存される。
【００２３】
編集画面生成部１１８は、入力部１３０での入力操作の受け付け状態に基づいて、編集画面の表示データを生成する。編集画面生成部１１８が生成した表示データを、画像表示部１４０に供給して、編集画面を表示させる。
【００２４】
画像保存部１２０は、画像作成処理部１１０で作成された複数のレイヤからなる画像や、複数のレイヤからなる画像を変換して生成した立体視画像を保存する。画像保存部１２０に保存されたこれらの画像は、ユーザによる入力部１３０の操作に応じて画像保存部１２０から読み出され、画像作成処理部１１０で画像処理が行われ、また画像表示部１４０で表示される。
【００２５】
入力部１３０は、ユーザによる画像処理装置１００に対する入力操作を実行するための各種入力デバイスであり、例えば、キーボード、マウス、グラフィックタブレット、タッチパネル等で構成される。ユーザは入力部１３０を操作することで、複数のレイヤからなる画像を作成することができると共に、立体視画像への変換の際に画像のレイヤ深度を調整することができる。
【００２６】
画像表示部１４０は、画像を表示するディスプレイであり、例えば、画像作成処理部１１０で作成された複数のレイヤからなる画像や、複数のレイヤからなる画像を変換して生成した立体視画像を表示する。また画像表示部１４０は、それらの画像を画像処理装置１００のユーザに作成させるための画面も表示する。表示画面の例については後述する。なお、画像表示部１４０の画像表示面にタッチパネルを配置して、表示された画像中のボタンなどをユーザが直接操作できるように構成してもよい。この画像表示部１４０が備えるタッチパネルは、入力部１３０の一部として機能する。なお、画像表示部１４０は、画像処理装置１００とは別体のディスプレイであってもよい。
【００２７】
画像表示部１４０は、立体視画像の表示を可能とする表示装置で構成してもよい。なお、立体視画像の表示手法は特定のものに限定されないが、一例を挙げれば、立体視画像の表示手法には、右目用の画像と左目用の画像とを高速で切り替えて表示する手法がある。そして、画像表示部１４０への立体視画像の伝送手法には、例えばフレームシーケンシャル方式、サイドバイサイド方式、トップアンドボトム方式等がある。
【００２８】
また、画像作成処理部１１０で作成された画像を、画像処理装置１００に接続した立体視画像の表示が可能なテレビジョン受像機その他の表示装置へ出力するようにしてもよい。
【００２９】
［１−２．立体視画像の生成の概要］
次に、本発明の一実施形態にかかる画像処理装置１００による立体視画像の生成の概要について、図３〜図１０を参照して説明する。
本例の画像処理装置１００は、まず図３に示したように、例えば遠景・中景・近景の３つのレイヤからなる平面画像２５１，２５２，２５３をユーザに作成させる。そして、この遠景・中景・近景の３つのレイヤからなる平面画像２５１，２５２，２５３を合成して、立体視画像変換部１１４で立体視画像に変換する。このように、３つのレイヤからなる画像を立体視画像に変換することで、ユーザが複雑な画像処理を行うこと無く、立体視画像を生成することができる。
【００３０】
図３の例では、遠景の平面画像２５１に、山，太陽，道，地平線のオブジェクトａ，ｂ，ｃ，ｇが描かれ、中景の平面画像２５２に、樹木のオブジェクトｄが描かれ、近景の平面画像２５３に、犬と虫のオブジェクトｅ，ｆが描かれている。
なお、レイヤを３つとしたのは１つの例であり、複数のレイヤであればよい。
【００３１】
それぞれのレイヤの画像は、基準となる位置からの距離で示される深度が設定してある。図４は、この深度の設定状況を説明した図である。なお、図４に示した設定状態は、後述する編集画面中の３Ｄ状態サムネイルタブ２０２として、図面に記載した状態が縮小表示されると共に、３Ｄ状態サムネイルタブ２０２を選択したとき、図４に示した設定状態が、編集画面上に拡大表示される。
【００３２】
図４の深度の設定状態について説明すると、表示画面と直交する方向に深度軸３０１を設定し、その深度軸３０１上に、それぞれのレイヤ画像３１１，３１２，３１３の深度位置を設定してある。図４の例では、深度軸３０１は、所定の角度を持たせた斜めの軸として示してある。なお、図４に破線で示した画枠は、ディスプレイの画像表示面の位置である仮想ディスプレイ面３０４を示す。仮想ディスプレイ面３０４は、深度軸３０１上の深度位置３０１ａとしてある。深度軸３０１の最も手前の位置を、前縁部３０２として示す。
【００３３】
そして、図４の例では、遠景である第１レイヤ画像３１１を深度軸３０１上の最も奥に深度位置３０１ｂとし、中景である第２レイヤ画像３１２を深度軸３０１上のほぼ中央付近の深度位置３０１ｃとする。また、近景である第３レイヤ画像３１３を深度軸３０１上の仮想ディスプレイ面３０４より手前の深度位置３０１ｄとしてある。なお、この例では近景のレイヤ画像３１３を仮想ディスプレイ面３０４より手前の深度にしてあるが、近景のレイヤ画像３１３が仮想ディスプレイ面３０４より奥（遠景寄り）であってもよい。
なお、このように３つのレイヤ画像を用意した場合には、例えば初期状態で、第１レイヤ画像３１１として遠景に適した予め決められた深度位置に自動的に設定してもよい。同様に、第２レイヤ画像３１２として中景に適した予め決められた深度位置に自動的に設定し、第３レイヤ画像３１３として近景に適した予め決められた深度位置に自動的に設定してもよい。
【００３４】
図４に示すように、各レイヤ画像３１１，３１２，３１３内のオブジェクトａ〜ｇが、仮想立体空間内で、それぞれのレイヤ画像の深度位置に配置されるように立体視画像が生成される。
但し、遠景のレイヤ画像３１１に対して、地平線ｃの位置を地平線位置３２１として設定した場合、その遠景のレイヤ画像３１１の地平線位置３２１よりも下側の画像部分は、立体空間上で斜めに傾斜して手前にせり出すような配置とされる。すなわち、地平線ｃよりも下側の画像部分が、下側になるに従って、レイヤ画像３１１の深度位置３０１ｂから前縁部３０２に徐々に手前にせり出すような傾斜面３０３になる。図４の例では、レイヤ画像３１１内で、地平線位置３２１より下側に描かれた道のオブジェクトｇが、この傾斜面３０３に配置される。
なお、図４の例では、傾斜面３０３は、第３レイヤ画像３１３よりも手前の前縁部３０２までせり出すようにしてあるが、例えば、傾斜面３０３として、仮想ディスプレイ面３０４までせり出すようにしてもよい。この場合、最も手前のレイヤ（第３レイヤ画像３１３）は、傾斜面３０３の手前終点よりも前に出るようになる。
【００３５】
また、このように遠景の第１レイヤ画像３１１に対して地平線の設定を行い、かつ他のレイヤ画像３１２，３１３内のオブジェクトに対して、地平線と合わせる設定を行った場合、傾斜面３０３の上に、各オブジェクトが自動的に適正に配置される。あるいは、オブジェクトの適正でない部分を消去する処理が行われる。これらの地平線の設定と、その地平線に関連した処理の具体例は後述する。
【００３６】
次に、立体視画像変換部１１４での立体視画像への変換処理例について説明する。
図５は、複数のレイヤからなる通常の二次元画像から立体視画像への変換の概念を示す図である。図５では、複数のレイヤの二次元画像（平面画像２５１，２５２，２５３）から、ユーザが右目で見るための右目用画像２５０Ｒと、左目で見るための左目用画像２５０Ｌとに変換する様子を示したものである。但し図５では、上述した地平線の処理は省略してある。立体視画像変換部１１４は、二次元画像から右目用画像２５０Ｒと左目用画像２５０Ｌとを生成するために、右目用画像及び左目用画像の描画位置を計算する。
【００３７】
次に、具体的な右目用画像及び左目用画像の描画位置の計算方法について、例を挙げて説明する。
【００３８】
図６〜図８は、複数のレイヤからなる通常の二次元画像から立体視画像への変換例について示す説明図である。図６は、図７に示すような３つのレイヤからなる二次元画像から右目用画像及び左目用画像を生成する際の座標変換について示したものであり、図８に示すように、３つのレイヤともディスプレイ面より奥に見える場合の座標変換について示している。図６は、各レイヤ及びディスプレイ面を上から見た状態を模式的に示したものである。
【００３９】
図６に示すように、左目と右目の間の目球距離Ｅと、仮想視聴距離Ｌを予め想定しておく。そして、立体視画像変換部１１４は、仮想ディスプレイ面２５９と各レイヤとの間のレイヤ深度Ｄ１、Ｄ２、Ｄ３を用いて、右目用画像用の投影座標変換及び左目用画像用の投影座標変換を実行する。この投影座標変換で、各レイヤの画像中のオブジェクトの仮想ディスプレイ面２５９での画素位置を算出する。
【００４０】
このように立体視画像変換部１１４が仮想ディスプレイ面２５９への投影座標変換を実行することで、画像処理装置１００は、複数のレイヤからなる通常の二次元画像を立体視画像へ変換することが可能になる。
【００４１】
図６〜図８の例は、各レイヤが仮想ディスプレイ面２５９より奥の深度に設定した例であるが、仮想ディスプレイ面２５９より手前の深度に設定することもできる。
図９〜図１０は、仮想ディスプレイ面２５９′より手前に、近景のレイヤの画像が配置される場合の、二次元画像から立体視画像への変換例である。図９は、図１０に示すような３つのレイヤからなる二次元画像から右目用画像及び左目用の画像を生成する際の座標変換を、上から見た状態で模式的に示したものである。
【００４２】
図９に示したように、仮想ディスプレイ面２５９′より手前のレイヤの画像中のオブジェクトを仮想ディスプレイ面２５９′に投影した右目用と左目用の画像の画素位置は、仮想ディスプレイ面２５９′より奥のレイヤと左右が入れ替わった位置になる。
この例の場合には、図１０に示すように、近景のレイヤに配置したオブジェクトｅ，ｆが、ディスプレイ面よりも手前に飛び出して見える立体視画像が得られる。
【００４３】
［１−３．編集画面の表示例］
次に、立体視画像を生成させるために必要な、編集画面を使用した画像作成処理について説明する。
編集画面は、編集画面生成部１１８での処理に基づいて、画像表示部１４０に表示される図２に示した画面である。
図１１のフローチャートは、編集画面生成部１１８での処理の流れを示した図である。図１１に従って説明すると、まず編集画面を表示させるユーザ操作の受け付けが入力部１３０であるか否かを判断する（ステップＳ１１）。ここで、該当するユーザ操作がない場合待機し、編集画面を表示させるユーザ操作を受け付けた場合、図２に示した３Ｄ編集画面を表示させる処理が行われる（ステップＳ１２）。この状態での３Ｄ編集画面では、例えば、表示される作成中の画像として全レイヤを重ねた表示が行われる。また、レイヤの数に対応した複数のレイヤサムネイルが表示される。
【００４４】
そして、入力部１３０で表示された複数のレイヤサムネイルの内の何れかを選択する操作の受け付けがあるか否かを判断し（ステップＳ１３）、該当する操作の受け付けがない場合、そのまま待機して、編集画面中の画像を変更しない。
そして、レイヤサムネイルの内の何れかを選択する操作の受け付けがある場合には、選択されたレイヤサムネイルに対応したレイヤの画像を、編集画面内に表示させる（ステップＳ１４）。但し、この場合の各レイヤの画像表示は、他のレイヤの画像の表示輝度を落として同時に表示させて、立体視画像全体が判る表示とする。
【００４５】
ステップＳ１４で特定のレイヤの画像を表示させた状態では、レイヤサムネイルの選択により、別のレイヤに変更する操作があるか否かを判断する（ステップＳ１５）。ここで、別のレイヤに変更する操作があったと判断した場合には、編集画面に表示させるレイヤの変更処理を行い（ステップＳ１６）、ステップＳ１４に戻って変更後のレイヤの画像表示を行う。
ステップＳ１５で別のレイヤに変更する操作がないと判断した場合には、全レイヤを重ねた表示に変更する操作があるか否かを判断する（ステップＳ１７）。ここで、全レイヤを重ねた表示に変更する操作があったと判断した場合に、全レイヤを重ねた表示に変更して、ステップＳ１２での３Ｄ編集画面表示に戻る。
【００４６】
また、ステップＳ１７で、全レイヤを重ねた表示に変更する操作がないと判断した場合には、ステップＳ１４での選択されたレイヤの画面表示を継続して行う。
【００４７】
次に、図２，図１２〜図１４を参照して、具体的な編集画面の表示例について説明する。
図２は、作成中の画像を全レイヤ重ねて表示させた状態の編集画面の例である。編集画面では、中央部に比較的大きな画像で、編集中画像表示２０３を行うようにしてある。この図２の例では、編集中画像表示２０３として、図３に示した３つのレイヤの画像２５１〜２５３を重ねて表示させた画像としてある。また、３つのレイヤの画像２５１，２５２，２５３から構成される画像であることを示すために、編集中画像表示２０３の上側の縁部については、第１レイヤ縁部２０３ａと第２レイヤ縁部２０３ｂと第３レイヤ縁部２０３ｃとの３つを重ねて示してある。この３つの画像の縁部２０３ａ〜２０３ｃは、選択したタブに対応した画像の縁部（例えば縁部２０３ａ）を手前に表示し、他の画像の縁部を奥に表示する。
【００４８】
そして、編集画面内の編集中画像表示２０３の上側に、表示画像を選択するための複数のタブ２０１，２０２，２１１〜２１３が配置してある。それぞれのタブ２０１，２０２，２１１〜２１３は、タッチパネル操作などで該当するタブ表示箇所を選択するユーザ操作があるとき、その選択されたタブに割り当てられた画像を表示するためのものである。
【００４９】
各タブに割り当てられた画像について説明すると、レイヤサムネイルタブ２１１，２１２，２１３は、それぞれのレイヤを個別に表示させるタブである。具体的には、第１レイヤサムネイルタブ２１１は、第１レイヤ画像を表示させるタブであり、第２レイヤサムネイルタブ２１２は、第２レイヤ画像を表示させるタブであり、第３レイヤサムネイルタブ２１３は、第３レイヤ画像を表示させるタブである。それぞれのサムネイルタブ２１１〜２１３には、サムネイル画像として、それぞれのレイヤの画像を縮小表示させてある。したがって、各レイヤの画像が修正された場合には、サムネイル画像も同様に修正される。
【００５０】
レイヤサムネイルタブ２１１，２１２，２１３と並べて表示されたタブ２０１は、レイヤ画像を追加するタブである。すなわち、タブ２０１が選択されたとき、新規にレイヤ画像が追加され、その新規に追加されたレイヤ画像の編集画面表示となる。
【００５１】
また、編集中画像表示２０３の上側の右寄りに配置した３Ｄ状態サムネイルタブ２０２は、各レイヤの画像の深度状態を表示させるタブである。この３Ｄ状態サムネイルタブ２０２を選択したときには、図４に示した深度状態の表示画面が、編集中画像表示２０３の箇所に拡大表示される。また、３Ｄ状態サムネイルタブ２０２は、図４に示した深度状態の表示画面が縮小表示される。３Ｄ状態サムネイルタブ２０２内の縮小表示についても、深度状態が調整されることで、表示内容が対応して変化する。
【００５２】
図２に示した編集画面の編集中画像表示２０３の周囲を説明すると、編集中画像表示２０３の左端には、複数のボタン２２１〜２２５が配置してある。この例では、ファイル取り込みボタン２２１と、カメラ取り込みボタン２２２と、スタンプボタン２２３と、文字入力ボタン２２４と、深度操作ボタン２２５とを用意してある。
【００５３】
ファイル取り込みボタン２２１を選択するユーザ操作があると、画像保存部１２０や外部メモリなどに用意されたファイル画像を取り込む処理が開始される。
カメラ取り込みボタン２２２を選択するユーザ操作があると、装置に接続されたカメラ装置から画像データを取り込む処理が開始される。
スタンプボタン２２３と文字入力ボタン２２４は、それぞれのボタンのユーザ操作で、予め用意された図形や文字を入力する処理が開始される。
深度操作ボタン２２５を選択するユーザ操作があると、編集中画像表示２０３に深度調整画面を表示する。この深度調整画面の表示処理については後述する。
【００５４】
編集中画像表示２０３の右端には、図２に示すように、作成開始ボタン２４１と、保存ボタン２４２と、立体視表示ボタン２４３とが表示されている。作成開始ボタン２４１は、新規の立体視画像の作成を指示するボタンである。保存ボタン２４２は、作成中の画像を画像保存部１２０などへの保存を指示するボタンである。立体視表示ボタン２４３は、編集中画像表示２０３に表示された画像の立体視表示と通常表示（２Ｄ表示）とを切り替えるボタンである。
また、編集中画像表示２０３の右端の下側には、ペンツール２９０を表示させてある。この例のペンツール２９０は、第１ペン２９１と第２ペン２９２と第３ペンと消しゴム２９４とを表示させてある。そして、各ペン２９１，２９２，２９３の表示箇所を選択するユーザ操作があると、それぞれのペンに割り当てられた色や線種類などで描画することができ、また、消しゴム２９４の表示箇所を選択するユーザ操作があると、描画された線などの消去が行える。ペンツール２９０として、その他の描画や消去をサポートする機能を備えてもよい。
【００５５】
編集中画像表示２０３の下端には、図２に示すように、オブジェクト表示部２３１〜２３７を設けてある。この複数のオブジェクト表示部２３１〜２３７には、例えばユーザが使用した最新のオブジェクトを７個表示させてある。図２の例では、作成中の画像中の各オブジェクトなどを示してある。
なお、図２では、編集中画像表示２０３に各レイヤの画像を重畳表示した例を示してあるが、編集中画像表示２０３に他の画像を表示させた場合にも、編集中画像表示２０３の周囲に同様の表示が行われる。また、図２の編集画面では、図２に示した各レイヤの画像を重ねた重畳表示を選択するタブは特に設けていないが、この重畳表示を選択するタブを、各レイヤの画像用のタブとは別に用意してもよい。この各レイヤの画像を重ねた重畳表示を選択するタブを設けた場合、各レイヤの画像を重畳した画像を縮小表示したサムネイル画像を、このタブに表示させる。したがって、各レイヤごとの画像が修正された場合、重畳画像を縮小表示したサムネイル画像についても対応して修正される。
【００５６】
図１２は、編集中画像表示２０３に、第３レイヤの画像（図３の近景の画像２５３）を表示させた例を示したものである。この第３レイヤの画像表示は、第３レイヤサムネイルタブ２１３のユーザ操作による選択で行われる。
この第３レイヤの画像２５３を表示させた際には、この第３レイヤの画像中のオブジェクトｅ，ｆを、設定された色や輝度で表示させる。また、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。すなわち、第３レイヤの画像だけをハイライト表示させ、その他のレイヤの画像をグレーアウトさせた表示としてある。
この図１２に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第３レイヤの画像の作成や編集が行える。
【００５７】
図１３は、編集中画像表示２０３に、第２レイヤの画像（図３の中景の画像２５２）を表示させた例を示したものである。この第２レイヤの画像表示は、第２レイヤサムネイルタブ２１２のユーザ操作による選択で行われる。
この第２レイヤの画像２５２を表示させた際には、この第２レイヤの画像中のオブジェクトｄを、設定された輝度や色で表示させる。また、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。
この図１３に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第２レイヤの画像の作成や編集が行える。
【００５８】
図１４は、編集中画像表示２０３に、第１レイヤの画像（図３の遠景の画像２５１）を表示させた例を示したものである。この第１レイヤの画像表示は、第１レイヤサムネイルタブ２１１のユーザ操作による選択で行われる。
この第１レイヤの画像２５１を表示させた際には、この第１レイヤの画像中のオブジェクトａ，ｃ，ｇを、設定された輝度や色で表示させる。また、この表示時には、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。
この図１４に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第１レイヤの画像の作成や編集が行える。
なお、図１２〜図１４の表示例では、選択されたレイヤの画像をハイライト表示して、その他のレイヤの画像をグレーアウトさせる例とした。これに対して、編集中画像として、選択されたレイヤの画像中のオブジェクトだけを表示させ、他のレイヤの画像中のオブジェクトは表示させないようにしてもよい。
【００５９】
［１−４．深度調整画面の表示例］
次に、各レイヤの画像の深度調整処理の流れを、図１５のフローチャートを参照して説明する。
深度調整処理は、例えば図２などに示した編集画面中の深度操作ボタン２２５を選択するユーザ操作で開始される。すなわち、図１５に示すように、編集画面生成部１１８は、編集画面を表示させた状態で、深度操作ボタン２２５を選択する操作があるか否かを判断する（ステップＳ２１）。深度操作ボタン２２５を選択する操作がない場合、該当する操作があるまで待機する。
【００６０】
そして、ステップＳ２１で、深度操作ボタン２２５を選択する操作があると判断した場合には、編集中画像表示２０３として、全レイヤの画像の重畳表示を行うと共に、編集中画像表示２０３の上側に、深度バーを表示する（ステップＳ２２）。深度バーは、各レイヤの深度を示すスケールであり、本例のように３つのレイヤの画像で構成される場合、深度バーで３つのレイヤの深度位置を表示する。さらに、編集中画像表示２０３の下側に、深度の調節ボタンを表示する。具体的な表示例については後述するが、本例ではそれぞれのレイヤ毎に、画像の深度を奥に移動させる調整ボタンと、画像の深度を手前に移動させる調整ボタンを用意して表示する。
【００６１】
そして、編集画面生成部１１８は、いずれかの調節ボタンのユーザ操作があるか否かを判断する（ステップＳ２３）。ここで、調節ボタンの操作がないと判断した場合には、ステップＳ２２の表示を継続する。そして、調節ボタンが操作されたと判断した場合には、編集中画像表示２０３として、操作された調節ボタンに対応したレイヤの画像を表示する（ステップＳ２４）。さらに、調整ボタンの操作状況に対応して、該当するレイヤの画像に設定された深度位置を変更し、深度バー表示中の深度位置についても、対応した位置とする（ステップＳ２５）。ステップＳ２５で設定や表示を変更した後、ステップＳ２２の表示に戻る。但し、編集中画像表示２０３は、次の操作があるまで、操作があったレイヤだけの表示としてもよい。
【００６２】
図１６は、深度バーの表示例を示す図である。
編集画面の深度操作ボタン２２５の操作があったとき、図１６に示すように、編集中画像表示２０３として、全レイヤの画像の重畳表示となり、編集中画像表示２０３の上側に、深度バー４０１が表示される。
この例では、１本の深度バー４０１の中に、３つのレイヤの画像の深度位置を示してある。すなわち、深度バー４０１の中に、第１レイヤの画像の深度位置４０１ａと、第２レイヤの画像の深度位置４０１ｂと、第３レイヤの画像の深度位置４０１ｃとを、表示色を変えて示すようにしてある。
深度バー４０１に付与された目盛りは、［０］が仮想ディスプレイ面の深度位置を示し、それより奥側をマイナスの値とし、手前側をプラスの値（プラスの表示は省略してある）としてある。
【００６３】
また、編集中画像表示２０３の下側に、各レイヤの画像ごとに深度位置を調整するボタンを表示させてある。具体的には、第１レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４１１と、深度を奥に異動させる深度調整ボタン４１２とを表示させてある。また、第２レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４２１と、深度を奥に異動させる深度調整ボタン４２２とを表示させてある。さらに、第３レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４３１と、深度を奥に異動させる深度調整ボタン４３２とを表示させてある。
【００６４】
そして、これらの深度調整ボタン４１１〜４３２の表示箇所を選択するユーザ操作があると、それぞれのレイヤの画像の深度の設定が変更される。例えば、深度調整ボタン４１１，４１２の操作で、第１レイヤの画像の深度位置が変更され、対応して深度バー４０１での第１レイヤの画像の深度位置４０１ａの表示が、矢印Ｌａで示すように移動する。
また、深度調整ボタン４２１，４２２の操作で、第２レイヤの画像の深度位置が変更され、対応して深度バー４０１での第２レイヤの画像の深度位置４０１ｂの表示が、矢印Ｌｂで示すように移動する。
また、深度調整ボタン４３１，４３２の操作で、第３レイヤの画像の深度位置が変更され、対応して深度バー４０１での第３レイヤの画像の深度位置４０１ｃの表示が、矢印Ｌｃで示すように移動する。
【００６５】
なお、各深度調整ボタン４１１〜４３２は、となりのレイヤの画像の深度位置に隣接した位置までに制限される。例えば、第１レイヤの画像の移動Ｌａの範囲は、一番奥の位置から、となりの第２レイヤの画像の深度位置に隣接した位置までになる。
【００６６】
図１７は、深度バーの別の表示例を示したものである。
この例では、編集中画像表示２０３に、選択された１つのレイヤの画像（この例では第３レイヤの画像）を強調表示している。そして、深度バー５０１として、その強調表示中のレイヤの深度位置５０２だけを示している。この図１７の例の場合は、深度バー５０１として、画像処理装置１００で設定可能な全ての範囲を示してあり、仮想ディスプレイ面の位置表示５０３を示している。
図１７の例の場合、深度調整ボタンについても、選択中のレイヤである第３レイヤの画像用の深度調整ボタン５１１，５１２だけを表示させてある。深度調整ボタン５１１，５１２の操作で、強調表示中のレイヤの画像の深度位置が調整され、矢印Ｌｄで示すように、深度バー５０１の深度位置５０２の表示位置が変化する。
【００６７】
図１８は、深度バーのさらに別の表示例を示したものである。
この図１８の例では、図１７の例と同様に、編集中画像表示２０３に、選択された１つのレイヤの画像（この例では第２レイヤの画像）を強調表示している。そして、深度バー６０１として、そのレイヤの画像が深度調整可能な範囲だけを目盛りで表示させて、その深度バー６０１に深度位置６０２を表示させている。つまり、第２レイヤの画像の深度は、奥側は第１レイヤの画像の深度位置で制限され、手前側は第３レイヤの画像の深度位置で制限され、それらの制限が行われて調整可能な範囲が、深度バー６０１の目盛り表示範囲となっている。
したがって、深度調整ボタン６１１，６１２の操作で、深度位置を調整したとき、深度位置６０２は、この表示された深度バー６０１の範囲内で矢印Ｌｅとして示すように移動する。
【００６８】
図１９は、深度バーのさらに別の表示例を示したものである。
この図１９の例では、編集中画像表示２０３で、全レイヤの画像を重畳表示し、深度バー７０１として、深度を調整中のレイヤの画像の深度位置７０２を示している。また、仮想ディスプレイ面の位置７０３を示している。
深度調整ボタン７１１，７１２，７２１，７２２，７３１，７３２については、図１６の例と同様に、レイヤごとに設けてあり、ボタン操作で深度を調整することで、矢印Ｌｆで示すように深度位置７０２が変化する。
【００６９】
そして、深度調整ボタン７１１，７１２，７２１，７２２，７３１，７３２の操作で、ある特定のレイヤの深度を調整したとき、その深度の調整で対応したレイヤの画像の位置を、編集中画像表示２０３の中に、四隅の画枠７０４で示す。
さらに、画像中のほぼ中央に、深度の設定位置を示す数値（この例では「−２５」）の表示７０５を行う。
このようにして、表示画像から深度の設定がわかる表示を行うようにしてもよい。
【００７０】
［１−５．地面設定画面の表示例］
次に、画像の地面の設定処理の流れを、図２０のフローチャートを参照して説明する。
地面の設定処理は、例えば図２などに示した編集画面中で、地面の設定を指示するボタン（図示せず）のユーザ操作で開始される。すなわち、図２０に示すように、編集画面生成部１１８は、編集画面を表示させた状態で、地面の設定を指示する操作があるか否かを判断する（ステップＳ３１）。地面設定の操作がない場合、該当する操作があるまで待機する。
【００７１】
そして、ステップＳ３１で、地面設定の操作があると判断した場合には、編集中画像表示２０３として、全レイヤの画像の重畳表示を行うと共に、編集中画像表示２０３の端に、垂直方向に地平線調整用のスライダバーを表示する（ステップＳ３２）。地平線調整用のスライダバーには、地平線位置を示すスライダハンドルを表示してあり、そのスライダハンドルのドラッグ操作があるか否かを判断する（ステップＳ３３）。
【００７２】
そして、スライダハンドルの操作があると判断したとき、操作に対応して地平線位置の変更処理を行う（ステップＳ３４）。この地平線位置の変更に応じて、一番奥側のレイヤ（第１レイヤ）の画像中の地平線より下側を、立体視空間上での傾斜面に設定する。この傾斜面の設定は、図４で既に説明した処理であり、傾斜面が地面に相当する。
【００７３】
そして次に、第１レイヤ以外のレイヤの画像で、地面より下を消去するモードが設定されているか否かを判断する（ステップＳ３５）。ここで、地面より下を消去するモードが設定されている場合には、第１レイヤ以外のレイヤの画像の傾斜面（地面）より下になる位置のオブジェクトを消去させる（ステップＳ３６）。
【００７４】
また、ステップＳ３５で、地面より下を消去するモードでないと判断したとき、各レイヤの画像中のオブジェクトで、地面に置くように設定されたオブジェクトがあるか否かを判断する（ステップＳ３７）。ここで、地面に置くように設定されたオブジェクトがあると判断したとき、該当するオブジェクトの下端の位置を、そのオブジェクトがあるレイヤの画像内で、傾斜面と交差する位置に調整する（ステップＳ３８）。
【００７５】
ステップＳ３３でドラッグ操作がないと判断した場合と、ステップＳ３６及びステップＳ３８の処理を行った後と、ステップＳ３７で地面に置くオブジェクトがないと判断した場合には、ステップＳ３２の地平線スライダーバー表示処理に戻る。
【００７６】
次に、地平線の調整時の具体的な表示例について説明する。
図２１は、編集画面内の編集中画像表示２０３に、地平線スライダーバーである地平線調整バー２６１を表示した例を示す。この地平線調整バー２６１には、地面設定位置表示２６２を示してある。この例では、第１レイヤの画像内に描画された地平線ｃに、地面設定位置表示２６２を合わせてある。この合わせる処理は、ユーザ操作で行われる。
【００７７】
このように地平線を設定することで、第１レイヤの画像の地平線より下の地面が、図４に示した傾斜面として設定されるが、第１レイヤ以外の画像（第２レイヤ及び第３レイヤの画像）中に、地面の位置を表示してもよい。
【００７８】
例えば図２２に示すように、編集画面内の編集中画像表示２０３として、第２レイヤの画像２５２と地面（傾斜面）とが交差する地面位置表示２７１を、破線で行う。このように表示させることで、このレイヤの画像２５２内のオブジェクト（この例では樹木のオブジェクトｄ）の配置位置が適正かどうか、地面位置の表示から判るようになる。すなわち、樹木のオブジェクトｄの下端が、破線で示した地面位置表示２７１とほぼ一致することで適正な立体視画像となる。これに対して、樹木のオブジェクトｄの下端が、破線で示した地面位置表示２７１よりも上側であるとき、樹木が浮いた状態となり、逆に地面位置表示２７１よりも下側であるとき、樹木が地面に沈んだ状態となり、いずれも不自然な立体視画像になってしまう。図２２のように地面位置表示２７１を行うことで、このような不自然な立体視画像となるのを効果的に防止できる。
【００７９】
図２３は、地面の位置を表示する別の例である。この図２３の例では、例えば第２レイヤの画像として、地面と交差する位置よりも上だけを表示させてあり、地面よりも下は無表示部分２７２（黒表示部分）としてある。図２３では、第２レイヤよりも手前の第３レイヤの画像は、例えば輝度を落として表示してあるが、この第３レイヤの画像内のオブジェクトｅ，ｆは表示させなくてもよい。
【００８０】
図２４は、編集画面内の編集中画像表示２０３として、遠景である第１レイヤ以外で、傾斜面である地面より下のオブジェクトを消して表示させる例である。この図２４の処理は、図２０のフローチャートのステップＳ３６での処理に相当する。
図２４の例では、近景の第３レイヤの犬のオブジェクトｅの下半分が、地面より下になった例である。このとき、地面より下のオブジェクトｅの下半分が、消去された状態で表示される。
このようにして地面より下になるオブジェクトを表示させないことで、作成された画像を立体視したとき、地面より下にオブジェクトが存在する不自然な表示となるのを防止できる。なお、この図２４に示すようなオブジェクトの一部消去処理は、例えば立体画像表示に行い、各レイヤの画像を個別に表示した際には、該当するオブジェクトを全て表示させてもよい。
【００８１】
図２５は、編集画面内の編集中画像表示２０３として、各レイヤの画像内のオブジェクトの下端を、傾斜面である地面に合わせて表示さえる場合の操作画面の例である。この図２５の処理は、図２０のフローチャートのステップＳ３８での処理に相当する。
図２５の例では、近景の第３レイヤの犬のオブジェクトｅについての操作画面を示す。
この例では、図２５に示すように、位置移動ボタン２８１，２８２と、戻しボタン２８３と、消去ボタン２８４と、地面調整ボタン２８５を、オブジェクトｅの周囲に表示させてある。
【００８２】
ユーザがそれぞれのボタンを選択する操作を行うことで、オブジェクトｅの位置などの修正が行える。ここで、地面調整ボタン２８５を選択する操作があった場合、編集画面生成部１１８は、オブジェクトｅの下端位置を、地面との交差面に自動的に合わせる処理を行う。
したがって、地面調整ボタン２８５を選択することで、対応したオブジェクトｅが自動的に地面に配置されて、適正な立体視画像を作成できる。
【００８３】
［１−６．カメラ画像の取り込み例］
図２６及び図２７は、作成中の画像にカメラ画像を取り込む例を示したものである。
例えば図２に示した編集画面内のカメラ取り込みボタン２２２を選択する操作があると、図２６に示すように、編集画面内に、カメラ取り込み操作画面８１０が表示される。そのカメラ取り込み操作画面８１０を使用した操作で、画像処理装置１００に接続された外部のカメラ装置（又はカメラ画像が記憶された記憶装置）から、カメラ画像を読み込む処理が行われる。そして、読み込みが行われることで、図２６に示すように、カメラ取り込み画像８１１の表示が行われる。さらに、カメラ取り込み操作画面８１０での操作で、カメラ取り込み画像８１１から背景を除去した抽出画像８１２を得る。
この抽出画像８１２をいずれかのレイヤの画像に配置することで、例えば図２７に示すように、作成画像中のオブジェクトの１つとして、抽出画像８１２を配置できる。なお、どの深度位置のレイヤに配置するのかは、カメラ取り込み操作画面８１０などでユーザが選択する。あるいは、カメラ取り込み画像については、自動的に最も手前（近景）のレイヤに配置するようにしてもよい。
【００８４】
［１−７．画像ファイルの取り込み例］
図２８〜図３０は、作成中の画像にファイル画像を取り込む例を示したものである。
例えば図２に示した編集画面内のファイル取り込みボタン２２１を選択する操作があると、図２８に示すように、編集画面内に、画像ファイル取り込み操作画面８２０が表示される。その画像ファイル取り込み操作画面８２０を使用した操作で、指定された箇所に記憶された画像ファイルから、選択された画像データを読み込む処理が行われる。そして、読み込みが行われることで、図２８に示すように、取り込み画像８２１の表示が行われる。
さらに、図２９に示したように、画像ファイル取り込み操作画面８２０での操作で、取り込み画像８２１から一部を抽出した抽出画像８２２を得る。
【００８５】
この抽出画像８２２をいずれかのレイヤの画像に配置することで、例えば図３０に示すように、作成画像中のオブジェクトの１つとして、抽出画像８２２を配置できる。この場合にも、どの深度位置のレイヤに配置するのかは、画像ファイル取り込み操作画面８２０などでユーザが選択する。
【００８６】
［１−８．作成画像の一覧表示例］
ここまで説明した処理で編集画面を使用して作成された立体視画像は、画像処理装置１００の画像保存部１２０に保存される。保存された立体視画像のデータは、１つの画面上に一覧表示させることができる。
図３１は、一覧表示させた例である。この例では、作成画像１１，１２，１３，・・・を、縮小表示させてある。この場合の各画像の表示は、二次元画像と三次元画像のいずれでもよい。
それぞれの作成画像表示の欄には、図形でレイヤ数を示したレイヤ数表示１１ａ，１２ａ，１３ａ，・・・を行うようにしてある。ここでの図形でのレイヤ数の表示としては、例えば３つのレイヤで構成される場合、３枚を重ねた図形とする。
このような一覧表示を行うことで、作成された画像を容易に選択できるようになる。選択された画像は、例えば図２などに示した編集画面内に表示させて、編集作業を行うようにしてもよい。
【００８７】
［１−９．具体的なハードウェア構成例］
次に、図３２を参照して、本例の画像処理装置１００のハードウェア構成の具体例について説明する。図３２は、画像処理装置１００を、コンピュータ装置などの情報処理装置として構成した例である。
【００８８】
画像処理装置１００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、撮像装置９１８と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【００８９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【００９０】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【００９１】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、画像処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。画像処理装置１００のユーザは、この入力装置９１５を操作することにより、画像処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００９２】
出力装置９１７は、例えば、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、画像処理装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【００９３】
撮像装置９１８は、例えばディスプレイ装置の上部に設けられており、画像処理装置１００のユーザの静止画像または動画像を撮影することが出来る。撮像装置９１８は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えており、レンズで集光した光を電気信号に変換することで静止画像または動画像を撮影することができる。
【００９４】
ストレージ装置９１９は、画像処理装置１００の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
【００９５】
ドライブ９２１は、記録媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Secure Digital memory card）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。
【００９６】
接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポート等の、機器を画像処理装置１００に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置１００は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。
【００９７】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Wireless USB）用の通信カード、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【００９８】
以上、本例の画像処理装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【００９９】
また、本例の画像処理装置１００で実行される各処理ステップを実行するプログラム（ソフトウェア）を作成して、そのプログラムを、汎用のコンピュータ装置などに実装させて、同様の処理を行うようにしてもよい。プログラムは、各種媒体に記録させるか、あるいはサーバ側からインターネットなどを介してコンピュータ装置にダウンロードさせてもよい。
【０１００】
なお、本開示は以下のような構成も取ることができる。
（１）複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部と、
前記画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部と、
前記立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部と、
前記画像作成部で作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部と、
前記編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備えた
画像処理装置。
【０１０１】
（２）前記編集画面生成部が生成する編集画面は、それぞれのタブに対応した平面画像を縮小したサムネイル画像を表示する、前記平面画像ごとのタブを備え、
前記入力部でのいずれかのタブの選択操作で、そのタブに対応した平面画像を編集画面に表示する
（１）記載の画像処理装置。
【０１０２】
（３）前記編集画面生成部が生成する編集画面は、前記複数の平面画像の仮想的な距離を示した画像を縮小したサムネイル画像を表示するタブを備え、
（１）又は（２）記載の画像処理装置。
【０１０３】
（４）前記編集画面生成部が生成する編集画面に、前記それぞれの平面画像の仮想的な距離の設定を示す距離スケールと、平面画像の仮想的な距離を前記入力部で操作するための操作箇所とを表示する
（１）〜（３）のいずれか１項に記載の画像処理装置。
【０１０４】
（５）前記距離スケールの中に、前記複数の平面画像のそれぞれの距離の設定を区別して表示すると共に、前記操作箇所をそれぞれの平面画像ごとに用意した
（１）〜（４）のいずれか１記載の画像処理装置。
【０１０５】
（６）前記距離スケールの中に、仮想ディスプレイ面の位置を示す表示を行う
（１）〜（５）のいずれか１記載の画像処理装置。
【０１０６】
（７）前記立体視画像変換部は、複数の平面画像中の１つの特定の平面画像に設定した地平線位置から下側の画像部分が、仮想的な距離から徐々に変化する傾斜面となる立体視画像に変換する
（１）〜（６）のいずれか１記載の画像処理装置。
【０１０７】
（８）前記編集画面生成部が生成する編集画面は、前記地平線位置の設定を示す地平線位置スケールを表示し、前記入力部での操作の受け付けにより前記地平線位置スケールで示される地平線位置を変更する
（１）〜（７）のいずれか１記載の画像処理装置。
【０１０８】
（９）編集画面生成部が生成する編集画面は、前記特定の平面画像以外の平面画像が、立体視画像中で前記傾斜面と交差する位置を表示する
（１）〜（８）のいずれか１記載の画像処理装置。
【０１０９】
（１０）前記立体視画像変換部は、前記特定の平面画像以外の平面画像について、立体視画像中で前記傾斜面と交差する位置より下側になるオブジェクトを消去する
（１）〜（９）のいずれか１記載の画像処理装置。
【０１１０】
（１１）前記画像作成部は、前記特定の平面画像以外の平面画像中の指定されたオブジェクトの下端を、立体視画像中で前記傾斜面と交差する位置と一致した位置とする
（１）〜（１０）のいずれか１記載の画像処理装置。
【０１１１】
（１２）表示部に表示させる画像を制御する画像制御部と、
それぞれに奥行き方向の仮想的な距離を有する複数の平面画像から、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像を生成する立体視画像生成部と、
ユーザからの操作を受け付ける入力部と
を備え、
前記画像制御部は、前記複数の平面画像及び前記平面画像を重畳した画像を奥行き方向が見える所定の角度から表示させた重畳画像を縮小したサムネイル画像を表示させ、
前記画像制御部は、さらに前記入力部があるサムネイル画像を選択する命令を受け付けると該選択されたサムネイル画像に対応する平面画像或いは重畳画像を編集可能な状態で、なおかつ前記複数の平面画像及び前記重畳画像のサムネイル画像と一緒に表示させる
画像処理装置。
【０１１２】
（１３）前記画像制御部は、前記平面画像及び前記重畳画像を重ねた状態で表示させるとともに、前記サムネイル画像を前記複数の平面画像及び前記重畳画像のそれぞれのタブとして表示させる
（１２）記載の画像処理装置。
【０１１３】
（１４）前記画像制御部は、平面画像の追加を受け付けるためのタブをさらに表示させる
（１２）又は（１３）記載の画像処理装置。
【０１１４】
（１５）前記画像制御部は、前記重畳画像に対応するサムネイル画像が選択された場合には、該重畳画像を前面に表示させるとともに選択されていない平面画像は前記タブのみを表示させ、
前記入力部は、前記重畳画像内に表示されている前記それぞれの平面画像のうち、選択した平面画像の奥行き方向の仮想的な距離を変更させる入力を受け付ける
（１２）〜（１４）のいずれか１項に記載の画像処理装置。
【０１１５】
（１６）前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、該平面画像の画面内の画像のみがハイライトされた画面を前面に表示させる
（１２）〜（１５）のいずれか１項に記載の画像処理装置。
【０１１６】
（１７）前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、選択されなかった平面画像の画面内の画像がグレーアウトされた画面を前面に表示させる
（１２）〜（１６）のいずれか１項に記載の画像処理装置。
【０１１７】
（１８）前記画像制御部は、前記それぞれの平面画像の奥行き方向の仮想的な距離を示す距離スケールと、編集可能な状態で表示されている平面画像の奥行き方向の仮想的な距離を前記入力部で操作するための奥行き変更操作入力部とを表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、該平面画像内の画像の作成又は編集の操作を受け付けるとともに、前記奥行き変更操作入力部への操作を受け付ける
（１２）〜（１７）のいずれか１項に記載の画像処理装置。
【０１１８】
（１９）前記奥行き変更操作入力部は、前記編集可能な状態で表示された平面画像の奥行き方向の仮想的な距離を手前に移動させるボタンと、奥に移動させるボタンとを有する
（１２）〜（１８）のいずれか１項に記載の画像処理装置。
【０１１９】
（２０）前記奥行き変更操作入力部は、前記距離スケール上に前記編集可能な状態で表示された平面画像に対応するオブジェクトである
（１２）〜（１９）のいずれか１項に記載の画像処理装置。
【０１２０】
（２１）前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置を前記入力部で操作するための地平線変更操作入力部を表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、前記地平線変更操作入力部への操作を受け付ける
（１２）〜（２０）のいずれか１項に記載の画像処理装置。
【０１２１】
（２２）前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置より下の画像を表示させない
（１２）〜（２１）のいずれか１項に記載の画像処理装置。
【０１２２】
（２３）前記立体視画像生成部は、それぞれの平面画像内で設定されている地平線位置より下の画像は生成する立体視画像に反映させない
（１２）〜（２２）のいずれか１項に記載の画像処理装置。
【０１２３】
（２４）前記画像制御部は、選択されたサムネイル画像に対応する平面画像が編集された場合には、前記重畳画像のサムネイル画像に該編集の結果を反映させるよう制御する
（１２）〜（２３）のいずれか１項に記載の画像処理装置。
【０１２４】
（２５）さらに前記表示部を備える
（１２）〜（２４）のいずれか１項に記載の画像処理装置。
【０１２５】
（２６）複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを有する
画像処理方法。
【０１２６】
（２７）情報処理装置に実装して画像処理を実行するプログラムであって、
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを実行する
プログラム。
【符号の説明】
【０１２７】
ａ〜ｆ…表示オブジェクト、１１，１２，１３…作成画像、１１ａ，１２ａ，１３ａ…レイヤ数表示、１００…画像処理装置、１１０…画像作成処理部、１１２…画像作成部、１１４…立体視画像変換部、１１６…立体視画像生成部、１１８…編集画面生成部、１２０…画像保存部、１３０…入力部、１４０…画像表示部、２０１…タブ、２０２…３Ｄ状態サムネイルタブ、２０３…編集中画像表示、２０３ａ…第１レイヤ縁部、２０３ｂ…第２レイヤ縁部、２０３ｃ…第３レイヤ縁部、２１１〜２１３…レイヤサムネイルタブ、２２１…ファイル取り込みボタン、２２２…カメラ取り込みボタン、２２３…スタンプボタン、２２４…文字入力ボタン、２２５…深度操作ボタン、２３１〜２３７…オブジェクト表示部、２４１…作成開始ボタン、２４２…保存ボタン、２４３…立体視表示ボタン、２５０Ｌ…左目用画像、２５０Ｒ…右目用画像、２５１，２５１′…第１レイヤ画像、２５２，２５２′…第２レイヤ画像、２５３，２５３′…第３レイヤ画像、２５９，２５９′…ディスプレイ面、２６１…地平線調整バー、２６２…地面設定位置表示、２７１…レイヤ内地面位置表示、２７２…無表示部分、２８１，２８２…位置移動ボタン、２８３…戻しボタン、２８４…消去ボタン、２８５…地面調整ボタン、２９０…ペンツール、２９１…第１ペン、２９２…第２ペン、２９３…第３ペン、２９４…消しゴム、３０１…深度軸、３０１ａ〜３０１ｄ…深度位置、３０２…前縁部、３０３…地面設定位置、３０４…仮想ディスプレイ面、３１１…第１レイヤ画像、３１２…第２レイヤ画像、３１３…第３レイヤ画像、３２１…地平線位置、４０１…深度バー表示、４０１ａ，４０１ｂ，４０１ｃ…レイヤ位置、４１１，４１２，４２１，４２２，４３１，４３２…深度調整ボタン、５０１…深度バー表示、５０２…仮想ディスプレイ面位置、５０３…レイヤ位置、５１１，５１２…深度調整ボタン、６０１…深度バー表示、６０３…レイヤ位置、６１１，６１２…深度調整ボタン、７０１…深度バー表示、７０２…仮想ディスプレイ面位置、７０３…レイヤ位置、７０４…深度枠、７０５…深度値表示、７１１，７１２，７２１，７２２，７３１，７３２…深度調整ボタン、８１０…カメラ取り込み操作画面、８１１…カメラ取り込み画像、８１２…抽出画像、８２０…画像ファイル取り込み操作画面、８２１…取り込み画像、８２２…抽出画像
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関し、特に立体視画像を生成させる技術に関する。
【背景技術】
【０００２】
近年、ユーザに立体的な画像として知覚させることができる画像（立体視画像：いわゆる３Ｄ画像）を表示する映像表示装置が発売され、普及し始めている（例えば特許文献１参照）。そのような立体視画像を表示できる装置としては、テレビジョン受像機その他の映像表示装置に限られず、パーソナルコンピュータにおいても、立体視画像を表示することができるものが存在する。
【０００３】
パーソナルコンピュータで動作するアプリケーションの中には、立体視画像を有するコンテンツを生成することが可能なものがある。そのようなアプリケーションでコンテンツを生成することで、ユーザはそのコンテンツを所定の方法で閲覧すると、コンテンツに含まれる画像を立体的な画像として知覚することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１０７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の立体視画像を有するコンテンツの作成は、専用のソフトウェアを用いて位置関係を設定するなどして行わなければならず、エンドユーザにとっては、そのようなコンテンツを作成するのは非常に困難であるという問題があった。
【０００６】
本開示は、立体視画像を有するコンテンツを簡易に作成することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の画像処理装置は、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部を備える。
そして、画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部を備える。
また、立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部を備える。
さらに、画像作成部で作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部を備える。
さらにまた、編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備える。
【０００８】
本開示の画像処理方法は、画像作成ステップと、立体視画像変換ステップと、立体視画像生成ステップと、編集画面生成ステップと、入力ステップとを備える。
画像作成ステップは、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。
立体視画像変換ステップは、画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する。
立体視画像生成ステップは、立体視画像変換ステップで変換された立体視画像のデータを出力する。
編集画面生成ステップは、画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する。
入力ステップは、編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける。
【０００９】
本開示のプログラムは、画像処理をコンピュータに実行させるプログラムであって、画像作成ステップと、立体視画像変換ステップと、立体視画像生成ステップと、編集画面生成ステップと、入力ステップとを実行する。
画像作成ステップは、複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する。
立体視画像変換ステップは、画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する。
立体視画像生成ステップは、立体視画像変換ステップで変換された立体視画像のデータを出力する。
編集画面生成ステップは、画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する。
入力ステップは、編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける。
【００１０】
本開示によると、複数の平面画像を適切に表示させて、ユーザが所望の立体視画像を簡単な操作で生成して表示させることができる。
【発明の効果】
【００１１】
本開示によると、立体視画像を有するコンテンツを簡易に作成することが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施の形態による画像処理装置の構成例を示すブロック図である。
【図２】本開示の一実施の形態による編集画面の例（全レイヤを表示した例）を示す説明図である。
【図３】本開示の一実施の形態による各レイヤの画像例を示す説明図である。
【図４】本開示の一実施の形態による深度表示画面の例を示す説明図である。
【図５】複数のレイヤの画像から立体視画像への変換の概念を示す説明図である。
【図６】複数のレイヤの画像から立体視画像への変換状態を示す説明図である。
【図７】複数のレイヤの画像から立体視用の左右のチャンネルの画像への変換例を示す説明図である。
【図８】複数のレイヤの画像から生成される立体視画像の例を示す説明図である。
【図９】仮想ディスプレイ面よりも手前を仮想位置としたレイヤがある場合の変換状態を示す説明図である。
【図１０】仮想ディスプレイ面よりも手前を仮想位置としたレイヤがある場合の立体視画像の例を示す説明図である。
【図１１】本開示の一実施の形態による編集画面表示処理の流れの例を示すフローチャートである。
【図１２】本開示の一実施の形態による編集画面の例（第３レイヤを表示した例）を示す説明図である。
【図１３】本開示の一実施の形態による編集画面の例（第２レイヤを表示した例）を示す説明図である。
【図１４】本開示の一実施の形態による編集画面の例（第１レイヤを表示した例）を示す説明図である。
【図１５】本開示の一実施の形態による深度画面表示処理の流れの例を示すフローチャートである。
【図１６】本開示の一実施の形態による深度画面表示例（例１）を示す説明図である。
【図１７】本開示の一実施の形態による深度画面表示例（例２）を示す説明図である。
【図１８】本開示の一実施の形態による深度画面表示例（例３）を示す説明図である。
【図１９】本開示の一実施の形態による深度画面表示例（例４）を示す説明図である。
【図２０】本開示の一実施の形態による地平線設定処理の流れの例を示すフローチャートである。
【図２１】本開示の一実施の形態による地平線設定画面の例を示す説明図である。
【図２２】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例１）を示す説明図である。
【図２３】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例２）を示す説明図である。
【図２４】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例３）を示す説明図である。
【図２５】本開示の一実施の形態による地平線設定時の特定レイヤの表示画面の例（例４）を示す説明図である。
【図２６】本開示の一実施の形態によるカメラ画像取り込み時の表示画面の例を示す説明図である。
【図２７】本開示の一実施の形態によるカメラ画像を合成した立体視画像の表示例を示す説明図である。
【図２８】本開示の一実施の形態による画像ファイル取り込み時の表示画面の例を示す説明図である。
【図２９】本開示の一実施の形態による画像ファイル取り込み時の取り込み範囲設定例を示す説明図である。
【図３０】本開示の一実施の形態による画像ファイルからの取り込み画像を合成した立体視画像の表示例を示す説明図である。
【図３１】本開示の一実施の形態による作品の一覧表示画面例を示す説明図である。
【図３２】本発明の一実施形態にかかる画像処理装置の詳細なハードウェアの例を示すブロック図である。
【発明を実施するための形態】
【００１３】
添付図面を参照しながら、以下の順序で、本開示の好適な実施の形態について詳細に説明する。
＜１．本発明の一実施の形態例＞
［１−１．画像処理装置の構成（図１）］
［１−２．立体視画像の概要（図３〜図１０）］
［１−３．編集画面の表示例（図２，図１１〜図１４）］
［１−４．深度調整画面の表示例（図１５〜図１９）］
［１−５．地面設定画面の表示例（図２０〜図２５）］
［１−６．カメラ画像の取り込み例（図２６，図２７）］
［１−７．画像ファイルの取り込み例（図２８〜図３０）］
［１−８．作成画像の一覧表示例（図３１）］
［１−９．具体的なハードウェア構成例（図３２）］
【００１４】
＜１．本発明の一実施形態＞
［１−１．画像処理装置の機能構成］
まず、本開示の一実施の形態例（以下、「本例」と称する）にかかる画像処理装置の構成について説明する。図１は、本例の画像処理装置１００の構成を示す図である。
【００１５】
図１に示した本例の画像処理装置１００は、ユーザの操作で画像を作成し、その作成した画像を、表示し保存することが可能に構成されている。図１に示すように画像処理装置１００は、画像作成処理部１１０と、画像保存部１２０と、入力部１３０と、画像表示部１４０と、を含んで構成される。
【００１６】
画像作成処理部１１０は、ユーザに対して画像表示部１４０を通じて画像作成画面を提示したり、ユーザが作成した画像から、立体視画像を作成したりするものである。図１に示したように、本例の画像処理装置１００が備える画像作成処理部１１０は、画像作成部１１２と、立体視画像変換部１１４と、立体視画像生成部１１６と、編集画面生成部１１８とを含んで構成される。編集画面生成部１１８は、各部での画像作成などを制御する画像制御部としても機能する。あるいは、編集画面生成部１１８とは別に、各部での画像作成などを制御する画像制御部を備える構成としてもよい。
【００１７】
画像作成処理部１１０は、画像作成用の編集画面を画像表示部１４０に表示させた状態でのユーザ操作に基づいて、複数の平面画像（例えば３枚の画像）を作成し、その作成した複数枚の平面画像（二次元画像）から立体視画像を生成する。画像作成用の編集画面は、例えば図２に示す画面であり、作成中の画像を中央に表示し、画像の周囲に操作ボタンやタブなどを表示させる。この図２に示した編集画面の詳細については後述する。作成される複数枚の平面画像のそれぞれには、基準となる位置（例えば仮想ディスプレイ面）からの深度の情報を設定して、その深度に基づいて立体視画像とする。
そして、画像作成処理部１１０が生成した立体視画像の画像データを画像表示部１４０に供給し、画像表示部１４０が立体視画像を表示する。ユーザがその立体視画像を所定の手法で（例えば時分割駆動方式のシャッタ目鏡を着用して）見ることで、画像表示部１４０に表示された立体視画像を、立体的な画像としてユーザが知覚する。
【００１８】
画像作成部１１２は、画像作成用の編集画面を画像表示部１４０に表示させ、ユーザ操作で画像を生成させるものである。画像作成部１１２が提示した画像作成画面を用いて、複数のレイヤからなる画像が作成されると、その複数のレイヤからなる画像は、立体視画像変換部１１４及び立体視画像生成部１１６によって立体視画像に変換される。また、画像作成部１１２で作成された複数のレイヤからなる画像は、ユーザによる操作に応じて画像保存部１２０に保存される。
【００１９】
立体視画像変換部１１４は、画像作成部１１２から送られる複数のレイヤからなる画像を、画像表示部１４０へ立体視画像として表示するための変換処理を実行する。本例の画像処理装置１００は、ユーザの目球距離及びユーザとディスプレイ面との距離を予め想定し、レイヤ間の仮想的な距離（画像のレイヤ深度情報）から、画像表示部１４０へ立体視画像として表示するための変換処理を実行する。より具体的には、複数のレイヤからなる画像を座標変換することによって立体視画像を生成するため、立体視画像変換部１１４は、複数のレイヤからなる画像に対する座標変換処理を実行する。
【００２０】
この立体視画像変換部１１４での変換処理時には、画像表示部１４０へ立体視画像を表示させながら、ユーザが画像のレイヤ深度を調整して奥行きの状態を変更すると、その変更に応じて、立体視画像変換部１１４がリアルタイムで変換処理を実行する。これにより、ユーザは、画像のレイヤ深度を調整するだけで、調整後の立体視画像を編集画面での表示で、リアルタイムで確認することができる。画像のレイヤ深度を調整する処理例の詳細については後述する。
【００２１】
また、画像処理装置１００は、ユーザが生成した複数のレイヤからなる平面画像から立体視画像を作成する際に、立体視画像のプレビュー表示を実行する。立体視画像のプレビュー表示によって、ユーザに対して、作成した画像を立体視画像として保存する前に、どのように立体的に見えるかを予め把握させることができる。
【００２２】
立体視画像生成部１１６は、立体視画像変換部１１４によって実行された変換処理に基づいて、複数のレイヤからなる画像から立体視画像を生成するものである。立体視画像生成部１１６が生成した立体視画像は画像表示部１４０へ表示される他、ユーザによる入力部１３０の操作に応じて画像保存部１２０に保存される。
【００２３】
編集画面生成部１１８は、入力部１３０での入力操作の受け付け状態に基づいて、編集画面の表示データを生成する。編集画面生成部１１８が生成した表示データを、画像表示部１４０に供給して、編集画面を表示させる。
【００２４】
画像保存部１２０は、画像作成処理部１１０で作成された複数のレイヤからなる画像や、複数のレイヤからなる画像を変換して生成した立体視画像を保存する。画像保存部１２０に保存されたこれらの画像は、ユーザによる入力部１３０の操作に応じて画像保存部１２０から読み出され、画像作成処理部１１０で画像処理が行われ、また画像表示部１４０で表示される。
【００２５】
入力部１３０は、ユーザによる画像処理装置１００に対する入力操作を実行するための各種入力デバイスであり、例えば、キーボード、マウス、グラフィックタブレット、タッチパネル等で構成される。ユーザは入力部１３０を操作することで、複数のレイヤからなる画像を作成することができると共に、立体視画像への変換の際に画像のレイヤ深度を調整することができる。
【００２６】
画像表示部１４０は、画像を表示するディスプレイであり、例えば、画像作成処理部１１０で作成された複数のレイヤからなる画像や、複数のレイヤからなる画像を変換して生成した立体視画像を表示する。また画像表示部１４０は、それらの画像を画像処理装置１００のユーザに作成させるための画面も表示する。表示画面の例については後述する。なお、画像表示部１４０の画像表示面にタッチパネルを配置して、表示された画像中のボタンなどをユーザが直接操作できるように構成してもよい。この画像表示部１４０が備えるタッチパネルは、入力部１３０の一部として機能する。なお、画像表示部１４０は、画像処理装置１００とは別体のディスプレイであってもよい。
【００２７】
画像表示部１４０は、立体視画像の表示を可能とする表示装置で構成してもよい。なお、立体視画像の表示手法は特定のものに限定されないが、一例を挙げれば、立体視画像の表示手法には、右目用の画像と左目用の画像とを高速で切り替えて表示する手法がある。そして、画像表示部１４０への立体視画像の伝送手法には、例えばフレームシーケンシャル方式、サイドバイサイド方式、トップアンドボトム方式等がある。
【００２８】
また、画像作成処理部１１０で作成された画像を、画像処理装置１００に接続した立体視画像の表示が可能なテレビジョン受像機その他の表示装置へ出力するようにしてもよい。
【００２９】
［１−２．立体視画像の生成の概要］
次に、本発明の一実施形態にかかる画像処理装置１００による立体視画像の生成の概要について、図３〜図１０を参照して説明する。
本例の画像処理装置１００は、まず図３に示したように、例えば遠景・中景・近景の３つのレイヤからなる平面画像２５１，２５２，２５３をユーザに作成させる。そして、この遠景・中景・近景の３つのレイヤからなる平面画像２５１，２５２，２５３を合成して、立体視画像変換部１１４で立体視画像に変換する。このように、３つのレイヤからなる画像を立体視画像に変換することで、ユーザが複雑な画像処理を行うこと無く、立体視画像を生成することができる。
【００３０】
図３の例では、遠景の平面画像２５１に、山，太陽，道，地平線のオブジェクトａ，ｂ，ｃ，ｇが描かれ、中景の平面画像２５２に、樹木のオブジェクトｄが描かれ、近景の平面画像２５３に、犬と虫のオブジェクトｅ，ｆが描かれている。
なお、レイヤを３つとしたのは１つの例であり、複数のレイヤであればよい。
【００３１】
それぞれのレイヤの画像は、基準となる位置からの距離で示される深度が設定してある。図４は、この深度の設定状況を説明した図である。なお、図４に示した設定状態は、後述する編集画面中の３Ｄ状態サムネイルタブ２０２として、図面に記載した状態が縮小表示されると共に、３Ｄ状態サムネイルタブ２０２を選択したとき、図４に示した設定状態が、編集画面上に拡大表示される。
【００３２】
図４の深度の設定状態について説明すると、表示画面と直交する方向に深度軸３０１を設定し、その深度軸３０１上に、それぞれのレイヤ画像３１１，３１２，３１３の深度位置を設定してある。図４の例では、深度軸３０１は、所定の角度を持たせた斜めの軸として示してある。なお、図４に破線で示した画枠は、ディスプレイの画像表示面の位置である仮想ディスプレイ面３０４を示す。仮想ディスプレイ面３０４は、深度軸３０１上の深度位置３０１ａとしてある。深度軸３０１の最も手前の位置を、前縁部３０２として示す。
【００３３】
そして、図４の例では、遠景である第１レイヤ画像３１１を深度軸３０１上の最も奥に深度位置３０１ｂとし、中景である第２レイヤ画像３１２を深度軸３０１上のほぼ中央付近の深度位置３０１ｃとする。また、近景である第３レイヤ画像３１３を深度軸３０１上の仮想ディスプレイ面３０４より手前の深度位置３０１ｄとしてある。なお、この例では近景のレイヤ画像３１３を仮想ディスプレイ面３０４より手前の深度にしてあるが、近景のレイヤ画像３１３が仮想ディスプレイ面３０４より奥（遠景寄り）であってもよい。
なお、このように３つのレイヤ画像を用意した場合には、例えば初期状態で、第１レイヤ画像３１１として遠景に適した予め決められた深度位置に自動的に設定してもよい。同様に、第２レイヤ画像３１２として中景に適した予め決められた深度位置に自動的に設定し、第３レイヤ画像３１３として近景に適した予め決められた深度位置に自動的に設定してもよい。
【００３４】
図４に示すように、各レイヤ画像３１１，３１２，３１３内のオブジェクトａ〜ｇが、仮想立体空間内で、それぞれのレイヤ画像の深度位置に配置されるように立体視画像が生成される。
但し、遠景のレイヤ画像３１１に対して、地平線ｃの位置を地平線位置３２１として設定した場合、その遠景のレイヤ画像３１１の地平線位置３２１よりも下側の画像部分は、立体空間上で斜めに傾斜して手前にせり出すような配置とされる。すなわち、地平線ｃよりも下側の画像部分が、下側になるに従って、レイヤ画像３１１の深度位置３０１ｂから前縁部３０２に徐々に手前にせり出すような傾斜面３０３になる。図４の例では、レイヤ画像３１１内で、地平線位置３２１より下側に描かれた道のオブジェクトｇが、この傾斜面３０３に配置される。
なお、図４の例では、傾斜面３０３は、第３レイヤ画像３１３よりも手前の前縁部３０２までせり出すようにしてあるが、例えば、傾斜面３０３として、仮想ディスプレイ面３０４までせり出すようにしてもよい。この場合、最も手前のレイヤ（第３レイヤ画像３１３）は、傾斜面３０３の手前終点よりも前に出るようになる。
【００３５】
また、このように遠景の第１レイヤ画像３１１に対して地平線の設定を行い、かつ他のレイヤ画像３１２，３１３内のオブジェクトに対して、地平線と合わせる設定を行った場合、傾斜面３０３の上に、各オブジェクトが自動的に適正に配置される。あるいは、オブジェクトの適正でない部分を消去する処理が行われる。これらの地平線の設定と、その地平線に関連した処理の具体例は後述する。
【００３６】
次に、立体視画像変換部１１４での立体視画像への変換処理例について説明する。
図５は、複数のレイヤからなる通常の二次元画像から立体視画像への変換の概念を示す図である。図５では、複数のレイヤの二次元画像（平面画像２５１，２５２，２５３）から、ユーザが右目で見るための右目用画像２５０Ｒと、左目で見るための左目用画像２５０Ｌとに変換する様子を示したものである。但し図５では、上述した地平線の処理は省略してある。立体視画像変換部１１４は、二次元画像から右目用画像２５０Ｒと左目用画像２５０Ｌとを生成するために、右目用画像及び左目用画像の描画位置を計算する。
【００３７】
次に、具体的な右目用画像及び左目用画像の描画位置の計算方法について、例を挙げて説明する。
【００３８】
図６〜図８は、複数のレイヤからなる通常の二次元画像から立体視画像への変換例について示す説明図である。図６は、図７に示すような３つのレイヤからなる二次元画像から右目用画像及び左目用画像を生成する際の座標変換について示したものであり、図８に示すように、３つのレイヤともディスプレイ面より奥に見える場合の座標変換について示している。図６は、各レイヤ及びディスプレイ面を上から見た状態を模式的に示したものである。
【００３９】
図６に示すように、左目と右目の間の目球距離Ｅと、仮想視聴距離Ｌを予め想定しておく。そして、立体視画像変換部１１４は、仮想ディスプレイ面２５９と各レイヤとの間のレイヤ深度Ｄ１、Ｄ２、Ｄ３を用いて、右目用画像用の投影座標変換及び左目用画像用の投影座標変換を実行する。この投影座標変換で、各レイヤの画像中のオブジェクトの仮想ディスプレイ面２５９での画素位置を算出する。
【００４０】
このように立体視画像変換部１１４が仮想ディスプレイ面２５９への投影座標変換を実行することで、画像処理装置１００は、複数のレイヤからなる通常の二次元画像を立体視画像へ変換することが可能になる。
【００４１】
図６〜図８の例は、各レイヤが仮想ディスプレイ面２５９より奥の深度に設定した例であるが、仮想ディスプレイ面２５９より手前の深度に設定することもできる。
図９〜図１０は、仮想ディスプレイ面２５９′より手前に、近景のレイヤの画像が配置される場合の、二次元画像から立体視画像への変換例である。図９は、図１０に示すような３つのレイヤからなる二次元画像から右目用画像及び左目用の画像を生成する際の座標変換を、上から見た状態で模式的に示したものである。
【００４２】
図９に示したように、仮想ディスプレイ面２５９′より手前のレイヤの画像中のオブジェクトを仮想ディスプレイ面２５９′に投影した右目用と左目用の画像の画素位置は、仮想ディスプレイ面２５９′より奥のレイヤと左右が入れ替わった位置になる。
この例の場合には、図１０に示すように、近景のレイヤに配置したオブジェクトｅ，ｆが、ディスプレイ面よりも手前に飛び出して見える立体視画像が得られる。
【００４３】
［１−３．編集画面の表示例］
次に、立体視画像を生成させるために必要な、編集画面を使用した画像作成処理について説明する。
編集画面は、編集画面生成部１１８での処理に基づいて、画像表示部１４０に表示される図２に示した画面である。
図１１のフローチャートは、編集画面生成部１１８での処理の流れを示した図である。図１１に従って説明すると、まず編集画面を表示させるユーザ操作の受け付けが入力部１３０であるか否かを判断する（ステップＳ１１）。ここで、該当するユーザ操作がない場合待機し、編集画面を表示させるユーザ操作を受け付けた場合、図２に示した３Ｄ編集画面を表示させる処理が行われる（ステップＳ１２）。この状態での３Ｄ編集画面では、例えば、表示される作成中の画像として全レイヤを重ねた表示が行われる。また、レイヤの数に対応した複数のレイヤサムネイルが表示される。
【００４４】
そして、入力部１３０で表示された複数のレイヤサムネイルの内の何れかを選択する操作の受け付けがあるか否かを判断し（ステップＳ１３）、該当する操作の受け付けがない場合、そのまま待機して、編集画面中の画像を変更しない。
そして、レイヤサムネイルの内の何れかを選択する操作の受け付けがある場合には、選択されたレイヤサムネイルに対応したレイヤの画像を、編集画面内に表示させる（ステップＳ１４）。但し、この場合の各レイヤの画像表示は、他のレイヤの画像の表示輝度を落として同時に表示させて、立体視画像全体が判る表示とする。
【００４５】
ステップＳ１４で特定のレイヤの画像を表示させた状態では、レイヤサムネイルの選択により、別のレイヤに変更する操作があるか否かを判断する（ステップＳ１５）。ここで、別のレイヤに変更する操作があったと判断した場合には、編集画面に表示させるレイヤの変更処理を行い（ステップＳ１６）、ステップＳ１４に戻って変更後のレイヤの画像表示を行う。
ステップＳ１５で別のレイヤに変更する操作がないと判断した場合には、全レイヤを重ねた表示に変更する操作があるか否かを判断する（ステップＳ１７）。ここで、全レイヤを重ねた表示に変更する操作があったと判断した場合に、全レイヤを重ねた表示に変更して、ステップＳ１２での３Ｄ編集画面表示に戻る。
【００４６】
また、ステップＳ１７で、全レイヤを重ねた表示に変更する操作がないと判断した場合には、ステップＳ１４での選択されたレイヤの画面表示を継続して行う。
【００４７】
次に、図２，図１２〜図１４を参照して、具体的な編集画面の表示例について説明する。
図２は、作成中の画像を全レイヤ重ねて表示させた状態の編集画面の例である。編集画面では、中央部に比較的大きな画像で、編集中画像表示２０３を行うようにしてある。この図２の例では、編集中画像表示２０３として、図３に示した３つのレイヤの画像２５１〜２５３を重ねて表示させた画像としてある。また、３つのレイヤの画像２５１，２５２，２５３から構成される画像であることを示すために、編集中画像表示２０３の上側の縁部については、第１レイヤ縁部２０３ａと第２レイヤ縁部２０３ｂと第３レイヤ縁部２０３ｃとの３つを重ねて示してある。この３つの画像の縁部２０３ａ〜２０３ｃは、選択したタブに対応した画像の縁部（例えば縁部２０３ａ）を手前に表示し、他の画像の縁部を奥に表示する。
【００４８】
そして、編集画面内の編集中画像表示２０３の上側に、表示画像を選択するための複数のタブ２０１，２０２，２１１〜２１３が配置してある。それぞれのタブ２０１，２０２，２１１〜２１３は、タッチパネル操作などで該当するタブ表示箇所を選択するユーザ操作があるとき、その選択されたタブに割り当てられた画像を表示するためのものである。
【００４９】
各タブに割り当てられた画像について説明すると、レイヤサムネイルタブ２１１，２１２，２１３は、それぞれのレイヤを個別に表示させるタブである。具体的には、第１レイヤサムネイルタブ２１１は、第１レイヤ画像を表示させるタブであり、第２レイヤサムネイルタブ２１２は、第２レイヤ画像を表示させるタブであり、第３レイヤサムネイルタブ２１３は、第３レイヤ画像を表示させるタブである。それぞれのサムネイルタブ２１１〜２１３には、サムネイル画像として、それぞれのレイヤの画像を縮小表示させてある。したがって、各レイヤの画像が修正された場合には、サムネイル画像も同様に修正される。
【００５０】
レイヤサムネイルタブ２１１，２１２，２１３と並べて表示されたタブ２０１は、レイヤ画像を追加するタブである。すなわち、タブ２０１が選択されたとき、新規にレイヤ画像が追加され、その新規に追加されたレイヤ画像の編集画面表示となる。
【００５１】
また、編集中画像表示２０３の上側の右寄りに配置した３Ｄ状態サムネイルタブ２０２は、各レイヤの画像の深度状態を表示させるタブである。この３Ｄ状態サムネイルタブ２０２を選択したときには、図４に示した深度状態の表示画面が、編集中画像表示２０３の箇所に拡大表示される。また、３Ｄ状態サムネイルタブ２０２は、図４に示した深度状態の表示画面が縮小表示される。３Ｄ状態サムネイルタブ２０２内の縮小表示についても、深度状態が調整されることで、表示内容が対応して変化する。
【００５２】
図２に示した編集画面の編集中画像表示２０３の周囲を説明すると、編集中画像表示２０３の左端には、複数のボタン２２１〜２２５が配置してある。この例では、ファイル取り込みボタン２２１と、カメラ取り込みボタン２２２と、スタンプボタン２２３と、文字入力ボタン２２４と、深度操作ボタン２２５とを用意してある。
【００５３】
ファイル取り込みボタン２２１を選択するユーザ操作があると、画像保存部１２０や外部メモリなどに用意されたファイル画像を取り込む処理が開始される。
カメラ取り込みボタン２２２を選択するユーザ操作があると、装置に接続されたカメラ装置から画像データを取り込む処理が開始される。
スタンプボタン２２３と文字入力ボタン２２４は、それぞれのボタンのユーザ操作で、予め用意された図形や文字を入力する処理が開始される。
深度操作ボタン２２５を選択するユーザ操作があると、編集中画像表示２０３に深度調整画面を表示する。この深度調整画面の表示処理については後述する。
【００５４】
編集中画像表示２０３の右端には、図２に示すように、作成開始ボタン２４１と、保存ボタン２４２と、立体視表示ボタン２４３とが表示されている。作成開始ボタン２４１は、新規の立体視画像の作成を指示するボタンである。保存ボタン２４２は、作成中の画像を画像保存部１２０などへの保存を指示するボタンである。立体視表示ボタン２４３は、編集中画像表示２０３に表示された画像の立体視表示と通常表示（２Ｄ表示）とを切り替えるボタンである。
また、編集中画像表示２０３の右端の下側には、ペンツール２９０を表示させてある。この例のペンツール２９０は、第１ペン２９１と第２ペン２９２と第３ペンと消しゴム２９４とを表示させてある。そして、各ペン２９１，２９２，２９３の表示箇所を選択するユーザ操作があると、それぞれのペンに割り当てられた色や線種類などで描画することができ、また、消しゴム２９４の表示箇所を選択するユーザ操作があると、描画された線などの消去が行える。ペンツール２９０として、その他の描画や消去をサポートする機能を備えてもよい。
【００５５】
編集中画像表示２０３の下端には、図２に示すように、オブジェクト表示部２３１〜２３７を設けてある。この複数のオブジェクト表示部２３１〜２３７には、例えばユーザが使用した最新のオブジェクトを７個表示させてある。図２の例では、作成中の画像中の各オブジェクトなどを示してある。
なお、図２では、編集中画像表示２０３に各レイヤの画像を重畳表示した例を示してあるが、編集中画像表示２０３に他の画像を表示させた場合にも、編集中画像表示２０３の周囲に同様の表示が行われる。また、図２の編集画面では、図２に示した各レイヤの画像を重ねた重畳表示を選択するタブは特に設けていないが、この重畳表示を選択するタブを、各レイヤの画像用のタブとは別に用意してもよい。この各レイヤの画像を重ねた重畳表示を選択するタブを設けた場合、各レイヤの画像を重畳した画像を縮小表示したサムネイル画像を、このタブに表示させる。したがって、各レイヤごとの画像が修正された場合、重畳画像を縮小表示したサムネイル画像についても対応して修正される。
【００５６】
図１２は、編集中画像表示２０３に、第３レイヤの画像（図３の近景の画像２５３）を表示させた例を示したものである。この第３レイヤの画像表示は、第３レイヤサムネイルタブ２１３のユーザ操作による選択で行われる。
この第３レイヤの画像２５３を表示させた際には、この第３レイヤの画像中のオブジェクトｅ，ｆを、設定された色や輝度で表示させる。また、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。すなわち、第３レイヤの画像だけをハイライト表示させ、その他のレイヤの画像をグレーアウトさせた表示としてある。
この図１２に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第３レイヤの画像の作成や編集が行える。
【００５７】
図１３は、編集中画像表示２０３に、第２レイヤの画像（図３の中景の画像２５２）を表示させた例を示したものである。この第２レイヤの画像表示は、第２レイヤサムネイルタブ２１２のユーザ操作による選択で行われる。
この第２レイヤの画像２５２を表示させた際には、この第２レイヤの画像中のオブジェクトｄを、設定された輝度や色で表示させる。また、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。
この図１３に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第２レイヤの画像の作成や編集が行える。
【００５８】
図１４は、編集中画像表示２０３に、第１レイヤの画像（図３の遠景の画像２５１）を表示させた例を示したものである。この第１レイヤの画像表示は、第１レイヤサムネイルタブ２１１のユーザ操作による選択で行われる。
この第１レイヤの画像２５１を表示させた際には、この第１レイヤの画像中のオブジェクトａ，ｃ，ｇを、設定された輝度や色で表示させる。また、この表示時には、他のレイヤの画像中のオブジェクトを、表示輝度を低下させて重畳表示させる。
この図１４に示した状態で、編集中画像表示２０３内の画像にオブジェクトを追加する操作や描画をユーザが行うことで、第１レイヤの画像の作成や編集が行える。
なお、図１２〜図１４の表示例では、選択されたレイヤの画像をハイライト表示して、その他のレイヤの画像をグレーアウトさせる例とした。これに対して、編集中画像として、選択されたレイヤの画像中のオブジェクトだけを表示させ、他のレイヤの画像中のオブジェクトは表示させないようにしてもよい。
【００５９】
［１−４．深度調整画面の表示例］
次に、各レイヤの画像の深度調整処理の流れを、図１５のフローチャートを参照して説明する。
深度調整処理は、例えば図２などに示した編集画面中の深度操作ボタン２２５を選択するユーザ操作で開始される。すなわち、図１５に示すように、編集画面生成部１１８は、編集画面を表示させた状態で、深度操作ボタン２２５を選択する操作があるか否かを判断する（ステップＳ２１）。深度操作ボタン２２５を選択する操作がない場合、該当する操作があるまで待機する。
【００６０】
そして、ステップＳ２１で、深度操作ボタン２２５を選択する操作があると判断した場合には、編集中画像表示２０３として、全レイヤの画像の重畳表示を行うと共に、編集中画像表示２０３の上側に、深度バーを表示する（ステップＳ２２）。深度バーは、各レイヤの深度を示すスケールであり、本例のように３つのレイヤの画像で構成される場合、深度バーで３つのレイヤの深度位置を表示する。さらに、編集中画像表示２０３の下側に、深度の調節ボタンを表示する。具体的な表示例については後述するが、本例ではそれぞれのレイヤ毎に、画像の深度を奥に移動させる調整ボタンと、画像の深度を手前に移動させる調整ボタンを用意して表示する。
【００６１】
そして、編集画面生成部１１８は、いずれかの調節ボタンのユーザ操作があるか否かを判断する（ステップＳ２３）。ここで、調節ボタンの操作がないと判断した場合には、ステップＳ２２の表示を継続する。そして、調節ボタンが操作されたと判断した場合には、編集中画像表示２０３として、操作された調節ボタンに対応したレイヤの画像を表示する（ステップＳ２４）。さらに、調整ボタンの操作状況に対応して、該当するレイヤの画像に設定された深度位置を変更し、深度バー表示中の深度位置についても、対応した位置とする（ステップＳ２５）。ステップＳ２５で設定や表示を変更した後、ステップＳ２２の表示に戻る。但し、編集中画像表示２０３は、次の操作があるまで、操作があったレイヤだけの表示としてもよい。
【００６２】
図１６は、深度バーの表示例を示す図である。
編集画面の深度操作ボタン２２５の操作があったとき、図１６に示すように、編集中画像表示２０３として、全レイヤの画像の重畳表示となり、編集中画像表示２０３の上側に、深度バー４０１が表示される。
この例では、１本の深度バー４０１の中に、３つのレイヤの画像の深度位置を示してある。すなわち、深度バー４０１の中に、第１レイヤの画像の深度位置４０１ａと、第２レイヤの画像の深度位置４０１ｂと、第３レイヤの画像の深度位置４０１ｃとを、表示色を変えて示すようにしてある。
深度バー４０１に付与された目盛りは、［０］が仮想ディスプレイ面の深度位置を示し、それより奥側をマイナスの値とし、手前側をプラスの値（プラスの表示は省略してある）としてある。
【００６３】
また、編集中画像表示２０３の下側に、各レイヤの画像ごとに深度位置を調整するボタンを表示させてある。具体的には、第１レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４１１と、深度を奥に異動させる深度調整ボタン４１２とを表示させてある。また、第２レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４２１と、深度を奥に異動させる深度調整ボタン４２２とを表示させてある。さらに、第３レイヤの画像用の調整ボタンとして、深度を手前に異動させる深度調整ボタン４３１と、深度を奥に異動させる深度調整ボタン４３２とを表示させてある。
【００６４】
そして、これらの深度調整ボタン４１１〜４３２の表示箇所を選択するユーザ操作があると、それぞれのレイヤの画像の深度の設定が変更される。例えば、深度調整ボタン４１１，４１２の操作で、第１レイヤの画像の深度位置が変更され、対応して深度バー４０１での第１レイヤの画像の深度位置４０１ａの表示が、矢印Ｌａで示すように移動する。
また、深度調整ボタン４２１，４２２の操作で、第２レイヤの画像の深度位置が変更され、対応して深度バー４０１での第２レイヤの画像の深度位置４０１ｂの表示が、矢印Ｌｂで示すように移動する。
また、深度調整ボタン４３１，４３２の操作で、第３レイヤの画像の深度位置が変更され、対応して深度バー４０１での第３レイヤの画像の深度位置４０１ｃの表示が、矢印Ｌｃで示すように移動する。
【００６５】
なお、各深度調整ボタン４１１〜４３２は、となりのレイヤの画像の深度位置に隣接した位置までに制限される。例えば、第１レイヤの画像の移動Ｌａの範囲は、一番奥の位置から、となりの第２レイヤの画像の深度位置に隣接した位置までになる。
【００６６】
図１７は、深度バーの別の表示例を示したものである。
この例では、編集中画像表示２０３に、選択された１つのレイヤの画像（この例では第３レイヤの画像）を強調表示している。そして、深度バー５０１として、その強調表示中のレイヤの深度位置５０２だけを示している。この図１７の例の場合は、深度バー５０１として、画像処理装置１００で設定可能な全ての範囲を示してあり、仮想ディスプレイ面の位置表示５０３を示している。
図１７の例の場合、深度調整ボタンについても、選択中のレイヤである第３レイヤの画像用の深度調整ボタン５１１，５１２だけを表示させてある。深度調整ボタン５１１，５１２の操作で、強調表示中のレイヤの画像の深度位置が調整され、矢印Ｌｄで示すように、深度バー５０１の深度位置５０２の表示位置が変化する。
【００６７】
図１８は、深度バーのさらに別の表示例を示したものである。
この図１８の例では、図１７の例と同様に、編集中画像表示２０３に、選択された１つのレイヤの画像（この例では第２レイヤの画像）を強調表示している。そして、深度バー６０１として、そのレイヤの画像が深度調整可能な範囲だけを目盛りで表示させて、その深度バー６０１に深度位置６０２を表示させている。つまり、第２レイヤの画像の深度は、奥側は第１レイヤの画像の深度位置で制限され、手前側は第３レイヤの画像の深度位置で制限され、それらの制限が行われて調整可能な範囲が、深度バー６０１の目盛り表示範囲となっている。
したがって、深度調整ボタン６１１，６１２の操作で、深度位置を調整したとき、深度位置６０２は、この表示された深度バー６０１の範囲内で矢印Ｌｅとして示すように移動する。
【００６８】
図１９は、深度バーのさらに別の表示例を示したものである。
この図１９の例では、編集中画像表示２０３で、全レイヤの画像を重畳表示し、深度バー７０１として、深度を調整中のレイヤの画像の深度位置７０２を示している。また、仮想ディスプレイ面の位置７０３を示している。
深度調整ボタン７１１，７１２，７２１，７２２，７３１，７３２については、図１６の例と同様に、レイヤごとに設けてあり、ボタン操作で深度を調整することで、矢印Ｌｆで示すように深度位置７０２が変化する。
【００６９】
そして、深度調整ボタン７１１，７１２，７２１，７２２，７３１，７３２の操作で、ある特定のレイヤの深度を調整したとき、その深度の調整で対応したレイヤの画像の位置を、編集中画像表示２０３の中に、四隅の画枠７０４で示す。
さらに、画像中のほぼ中央に、深度の設定位置を示す数値（この例では「−２５」）の表示７０５を行う。
このようにして、表示画像から深度の設定がわかる表示を行うようにしてもよい。
【００７０】
［１−５．地面設定画面の表示例］
次に、画像の地面の設定処理の流れを、図２０のフローチャートを参照して説明する。
地面の設定処理は、例えば図２などに示した編集画面中で、地面の設定を指示するボタン（図示せず）のユーザ操作で開始される。すなわち、図２０に示すように、編集画面生成部１１８は、編集画面を表示させた状態で、地面の設定を指示する操作があるか否かを判断する（ステップＳ３１）。地面設定の操作がない場合、該当する操作があるまで待機する。
【００７１】
そして、ステップＳ３１で、地面設定の操作があると判断した場合には、編集中画像表示２０３として、全レイヤの画像の重畳表示を行うと共に、編集中画像表示２０３の端に、垂直方向に地平線調整用のスライダバーを表示する（ステップＳ３２）。地平線調整用のスライダバーには、地平線位置を示すスライダハンドルを表示してあり、そのスライダハンドルのドラッグ操作があるか否かを判断する（ステップＳ３３）。
【００７２】
そして、スライダハンドルの操作があると判断したとき、操作に対応して地平線位置の変更処理を行う（ステップＳ３４）。この地平線位置の変更に応じて、一番奥側のレイヤ（第１レイヤ）の画像中の地平線より下側を、立体視空間上での傾斜面に設定する。この傾斜面の設定は、図４で既に説明した処理であり、傾斜面が地面に相当する。
【００７３】
そして次に、第１レイヤ以外のレイヤの画像で、地面より下を消去するモードが設定されているか否かを判断する（ステップＳ３５）。ここで、地面より下を消去するモードが設定されている場合には、第１レイヤ以外のレイヤの画像の傾斜面（地面）より下になる位置のオブジェクトを消去させる（ステップＳ３６）。
【００７４】
また、ステップＳ３５で、地面より下を消去するモードでないと判断したとき、各レイヤの画像中のオブジェクトで、地面に置くように設定されたオブジェクトがあるか否かを判断する（ステップＳ３７）。ここで、地面に置くように設定されたオブジェクトがあると判断したとき、該当するオブジェクトの下端の位置を、そのオブジェクトがあるレイヤの画像内で、傾斜面と交差する位置に調整する（ステップＳ３８）。
【００７５】
ステップＳ３３でドラッグ操作がないと判断した場合と、ステップＳ３６及びステップＳ３８の処理を行った後と、ステップＳ３７で地面に置くオブジェクトがないと判断した場合には、ステップＳ３２の地平線スライダーバー表示処理に戻る。
【００７６】
次に、地平線の調整時の具体的な表示例について説明する。
図２１は、編集画面内の編集中画像表示２０３に、地平線スライダーバーである地平線調整バー２６１を表示した例を示す。この地平線調整バー２６１には、地面設定位置表示２６２を示してある。この例では、第１レイヤの画像内に描画された地平線ｃに、地面設定位置表示２６２を合わせてある。この合わせる処理は、ユーザ操作で行われる。
【００７７】
このように地平線を設定することで、第１レイヤの画像の地平線より下の地面が、図４に示した傾斜面として設定されるが、第１レイヤ以外の画像（第２レイヤ及び第３レイヤの画像）中に、地面の位置を表示してもよい。
【００７８】
例えば図２２に示すように、編集画面内の編集中画像表示２０３として、第２レイヤの画像２５２と地面（傾斜面）とが交差する地面位置表示２７１を、破線で行う。このように表示させることで、このレイヤの画像２５２内のオブジェクト（この例では樹木のオブジェクトｄ）の配置位置が適正かどうか、地面位置の表示から判るようになる。すなわち、樹木のオブジェクトｄの下端が、破線で示した地面位置表示２７１とほぼ一致することで適正な立体視画像となる。これに対して、樹木のオブジェクトｄの下端が、破線で示した地面位置表示２７１よりも上側であるとき、樹木が浮いた状態となり、逆に地面位置表示２７１よりも下側であるとき、樹木が地面に沈んだ状態となり、いずれも不自然な立体視画像になってしまう。図２２のように地面位置表示２７１を行うことで、このような不自然な立体視画像となるのを効果的に防止できる。
【００７９】
図２３は、地面の位置を表示する別の例である。この図２３の例では、例えば第２レイヤの画像として、地面と交差する位置よりも上だけを表示させてあり、地面よりも下は無表示部分２７２（黒表示部分）としてある。図２３では、第２レイヤよりも手前の第３レイヤの画像は、例えば輝度を落として表示してあるが、この第３レイヤの画像内のオブジェクトｅ，ｆは表示させなくてもよい。
【００８０】
図２４は、編集画面内の編集中画像表示２０３として、遠景である第１レイヤ以外で、傾斜面である地面より下のオブジェクトを消して表示させる例である。この図２４の処理は、図２０のフローチャートのステップＳ３６での処理に相当する。
図２４の例では、近景の第３レイヤの犬のオブジェクトｅの下半分が、地面より下になった例である。このとき、地面より下のオブジェクトｅの下半分が、消去された状態で表示される。
このようにして地面より下になるオブジェクトを表示させないことで、作成された画像を立体視したとき、地面より下にオブジェクトが存在する不自然な表示となるのを防止できる。なお、この図２４に示すようなオブジェクトの一部消去処理は、例えば立体画像表示に行い、各レイヤの画像を個別に表示した際には、該当するオブジェクトを全て表示させてもよい。
【００８１】
図２５は、編集画面内の編集中画像表示２０３として、各レイヤの画像内のオブジェクトの下端を、傾斜面である地面に合わせて表示さえる場合の操作画面の例である。この図２５の処理は、図２０のフローチャートのステップＳ３８での処理に相当する。
図２５の例では、近景の第３レイヤの犬のオブジェクトｅについての操作画面を示す。
この例では、図２５に示すように、位置移動ボタン２８１，２８２と、戻しボタン２８３と、消去ボタン２８４と、地面調整ボタン２８５を、オブジェクトｅの周囲に表示させてある。
【００８２】
ユーザがそれぞれのボタンを選択する操作を行うことで、オブジェクトｅの位置などの修正が行える。ここで、地面調整ボタン２８５を選択する操作があった場合、編集画面生成部１１８は、オブジェクトｅの下端位置を、地面との交差面に自動的に合わせる処理を行う。
したがって、地面調整ボタン２８５を選択することで、対応したオブジェクトｅが自動的に地面に配置されて、適正な立体視画像を作成できる。
【００８３】
［１−６．カメラ画像の取り込み例］
図２６及び図２７は、作成中の画像にカメラ画像を取り込む例を示したものである。
例えば図２に示した編集画面内のカメラ取り込みボタン２２２を選択する操作があると、図２６に示すように、編集画面内に、カメラ取り込み操作画面８１０が表示される。そのカメラ取り込み操作画面８１０を使用した操作で、画像処理装置１００に接続された外部のカメラ装置（又はカメラ画像が記憶された記憶装置）から、カメラ画像を読み込む処理が行われる。そして、読み込みが行われることで、図２６に示すように、カメラ取り込み画像８１１の表示が行われる。さらに、カメラ取り込み操作画面８１０での操作で、カメラ取り込み画像８１１から背景を除去した抽出画像８１２を得る。
この抽出画像８１２をいずれかのレイヤの画像に配置することで、例えば図２７に示すように、作成画像中のオブジェクトの１つとして、抽出画像８１２を配置できる。なお、どの深度位置のレイヤに配置するのかは、カメラ取り込み操作画面８１０などでユーザが選択する。あるいは、カメラ取り込み画像については、自動的に最も手前（近景）のレイヤに配置するようにしてもよい。
【００８４】
［１−７．画像ファイルの取り込み例］
図２８〜図３０は、作成中の画像にファイル画像を取り込む例を示したものである。
例えば図２に示した編集画面内のファイル取り込みボタン２２１を選択する操作があると、図２８に示すように、編集画面内に、画像ファイル取り込み操作画面８２０が表示される。その画像ファイル取り込み操作画面８２０を使用した操作で、指定された箇所に記憶された画像ファイルから、選択された画像データを読み込む処理が行われる。そして、読み込みが行われることで、図２８に示すように、取り込み画像８２１の表示が行われる。
さらに、図２９に示したように、画像ファイル取り込み操作画面８２０での操作で、取り込み画像８２１から一部を抽出した抽出画像８２２を得る。
【００８５】
この抽出画像８２２をいずれかのレイヤの画像に配置することで、例えば図３０に示すように、作成画像中のオブジェクトの１つとして、抽出画像８２２を配置できる。この場合にも、どの深度位置のレイヤに配置するのかは、画像ファイル取り込み操作画面８２０などでユーザが選択する。
【００８６】
［１−８．作成画像の一覧表示例］
ここまで説明した処理で編集画面を使用して作成された立体視画像は、画像処理装置１００の画像保存部１２０に保存される。保存された立体視画像のデータは、１つの画面上に一覧表示させることができる。
図３１は、一覧表示させた例である。この例では、作成画像１１，１２，１３，・・・を、縮小表示させてある。この場合の各画像の表示は、二次元画像と三次元画像のいずれでもよい。
それぞれの作成画像表示の欄には、図形でレイヤ数を示したレイヤ数表示１１ａ，１２ａ，１３ａ，・・・を行うようにしてある。ここでの図形でのレイヤ数の表示としては、例えば３つのレイヤで構成される場合、３枚を重ねた図形とする。
このような一覧表示を行うことで、作成された画像を容易に選択できるようになる。選択された画像は、例えば図２などに示した編集画面内に表示させて、編集作業を行うようにしてもよい。
【００８７】
［１−９．具体的なハードウェア構成例］
次に、図３２を参照して、本例の画像処理装置１００のハードウェア構成の具体例について説明する。図３２は、画像処理装置１００を、コンピュータ装置などの情報処理装置として構成した例である。
【００８８】
画像処理装置１００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、撮像装置９１８と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【００８９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【００９０】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【００９１】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、画像処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。画像処理装置１００のユーザは、この入力装置９１５を操作することにより、画像処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００９２】
出力装置９１７は、例えば、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、画像処理装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【００９３】
撮像装置９１８は、例えばディスプレイ装置の上部に設けられており、画像処理装置１００のユーザの静止画像または動画像を撮影することが出来る。撮像装置９１８は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えており、レンズで集光した光を電気信号に変換することで静止画像または動画像を撮影することができる。
【００９４】
ストレージ装置９１９は、画像処理装置１００の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
【００９５】
ドライブ９２１は、記録媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（CompactFlash：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Secure Digital memory card）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Integrated Circuit card）または電子機器等であってもよい。
【００９６】
接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポート等の、機器を画像処理装置１００に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置１００は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。
【００９７】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Wireless USB）用の通信カード、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【００９８】
以上、本例の画像処理装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【００９９】
また、本例の画像処理装置１００で実行される各処理ステップを実行するプログラム（ソフトウェア）を作成して、そのプログラムを、汎用のコンピュータ装置などに実装させて、同様の処理を行うようにしてもよい。プログラムは、各種媒体に記録させるか、あるいはサーバ側からインターネットなどを介してコンピュータ装置にダウンロードさせてもよい。
【０１００】
なお、本開示は以下のような構成も取ることができる。
（１）複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部と、
前記画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部と、
前記立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部と、
前記画像作成部で作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部と、
前記編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備えた
画像処理装置。
【０１０１】
（２）前記編集画面生成部が生成する編集画面は、それぞれのタブに対応した平面画像を縮小したサムネイル画像を表示する、前記平面画像ごとのタブを備え、
前記入力部でのいずれかのタブの選択操作で、そのタブに対応した平面画像を編集画面に表示する
（１）記載の画像処理装置。
【０１０２】
（３）前記編集画面生成部が生成する編集画面は、前記複数の平面画像の仮想的な距離を示した画像を縮小したサムネイル画像を表示するタブを備え、
（１）又は（２）記載の画像処理装置。
【０１０３】
（４）前記編集画面生成部が生成する編集画面に、前記それぞれの平面画像の仮想的な距離の設定を示す距離スケールと、平面画像の仮想的な距離を前記入力部で操作するための操作箇所とを表示する
（１）〜（３）のいずれか１項に記載の画像処理装置。
【０１０４】
（５）前記距離スケールの中に、前記複数の平面画像のそれぞれの距離の設定を区別して表示すると共に、前記操作箇所をそれぞれの平面画像ごとに用意した
（１）〜（４）のいずれか１記載の画像処理装置。
【０１０５】
（６）前記距離スケールの中に、仮想ディスプレイ面の位置を示す表示を行う
（１）〜（５）のいずれか１記載の画像処理装置。
【０１０６】
（７）前記立体視画像変換部は、複数の平面画像中の１つの特定の平面画像に設定した地平線位置から下側の画像部分が、仮想的な距離から徐々に変化する傾斜面となる立体視画像に変換する
（１）〜（６）のいずれか１記載の画像処理装置。
【０１０７】
（８）前記編集画面生成部が生成する編集画面は、前記地平線位置の設定を示す地平線位置スケールを表示し、前記入力部での操作の受け付けにより前記地平線位置スケールで示される地平線位置を変更する
（１）〜（７）のいずれか１記載の画像処理装置。
【０１０８】
（９）編集画面生成部が生成する編集画面は、前記特定の平面画像以外の平面画像が、立体視画像中で前記傾斜面と交差する位置を表示する
（１）〜（８）のいずれか１記載の画像処理装置。
【０１０９】
（１０）前記立体視画像変換部は、前記特定の平面画像以外の平面画像について、立体視画像中で前記傾斜面と交差する位置より下側になるオブジェクトを消去する
（１）〜（９）のいずれか１記載の画像処理装置。
【０１１０】
（１１）前記画像作成部は、前記特定の平面画像以外の平面画像中の指定されたオブジェクトの下端を、立体視画像中で前記傾斜面と交差する位置と一致した位置とする
（１）〜（１０）のいずれか１記載の画像処理装置。
【０１１１】
（１２）表示部に表示させる画像を制御する画像制御部と、
それぞれに奥行き方向の仮想的な距離を有する複数の平面画像から、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像を生成する立体視画像生成部と、
ユーザからの操作を受け付ける入力部と
を備え、
前記画像制御部は、前記複数の平面画像及び前記平面画像を重畳した画像を奥行き方向が見える所定の角度から表示させた重畳画像を縮小したサムネイル画像を表示させ、
前記画像制御部は、さらに前記入力部があるサムネイル画像を選択する命令を受け付けると該選択されたサムネイル画像に対応する平面画像或いは重畳画像を編集可能な状態で、なおかつ前記複数の平面画像及び前記重畳画像のサムネイル画像と一緒に表示させる
画像処理装置。
【０１１２】
（１３）前記画像制御部は、前記平面画像及び前記重畳画像を重ねた状態で表示させるとともに、前記サムネイル画像を前記複数の平面画像及び前記重畳画像のそれぞれのタブとして表示させる
（１２）記載の画像処理装置。
【０１１３】
（１４）前記画像制御部は、平面画像の追加を受け付けるためのタブをさらに表示させる
（１２）又は（１３）記載の画像処理装置。
【０１１４】
（１５）前記画像制御部は、前記重畳画像に対応するサムネイル画像が選択された場合には、該重畳画像を前面に表示させるとともに選択されていない平面画像は前記タブのみを表示させ、
前記入力部は、前記重畳画像内に表示されている前記それぞれの平面画像のうち、選択した平面画像の奥行き方向の仮想的な距離を変更させる入力を受け付ける
（１２）〜（１４）のいずれか１項に記載の画像処理装置。
【０１１５】
（１６）前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、該平面画像の画面内の画像のみがハイライトされた画面を前面に表示させる
（１２）〜（１５）のいずれか１項に記載の画像処理装置。
【０１１６】
（１７）前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、選択されなかった平面画像の画面内の画像がグレーアウトされた画面を前面に表示させる
（１２）〜（１６）のいずれか１項に記載の画像処理装置。
【０１１７】
（１８）前記画像制御部は、前記それぞれの平面画像の奥行き方向の仮想的な距離を示す距離スケールと、編集可能な状態で表示されている平面画像の奥行き方向の仮想的な距離を前記入力部で操作するための奥行き変更操作入力部とを表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、該平面画像内の画像の作成又は編集の操作を受け付けるとともに、前記奥行き変更操作入力部への操作を受け付ける
（１２）〜（１７）のいずれか１項に記載の画像処理装置。
【０１１８】
（１９）前記奥行き変更操作入力部は、前記編集可能な状態で表示された平面画像の奥行き方向の仮想的な距離を手前に移動させるボタンと、奥に移動させるボタンとを有する
（１２）〜（１８）のいずれか１項に記載の画像処理装置。
【０１１９】
（２０）前記奥行き変更操作入力部は、前記距離スケール上に前記編集可能な状態で表示された平面画像に対応するオブジェクトである
（１２）〜（１９）のいずれか１項に記載の画像処理装置。
【０１２０】
（２１）前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置を前記入力部で操作するための地平線変更操作入力部を表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、前記地平線変更操作入力部への操作を受け付ける
（１２）〜（２０）のいずれか１項に記載の画像処理装置。
【０１２１】
（２２）前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置より下の画像を表示させない
（１２）〜（２１）のいずれか１項に記載の画像処理装置。
【０１２２】
（２３）前記立体視画像生成部は、それぞれの平面画像内で設定されている地平線位置より下の画像は生成する立体視画像に反映させない
（１２）〜（２２）のいずれか１項に記載の画像処理装置。
【０１２３】
（２４）前記画像制御部は、選択されたサムネイル画像に対応する平面画像が編集された場合には、前記重畳画像のサムネイル画像に該編集の結果を反映させるよう制御する
（１２）〜（２３）のいずれか１項に記載の画像処理装置。
【０１２４】
（２５）さらに前記表示部を備える
（１２）〜（２４）のいずれか１項に記載の画像処理装置。
【０１２５】
（２６）複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを有する
画像処理方法。
【０１２６】
（２７）情報処理装置に実装して画像処理を実行するプログラムであって、
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを実行する
プログラム。
【符号の説明】
【０１２７】
ａ〜ｆ…表示オブジェクト、１１，１２，１３…作成画像、１１ａ，１２ａ，１３ａ…レイヤ数表示、１００…画像処理装置、１１０…画像作成処理部、１１２…画像作成部、１１４…立体視画像変換部、１１６…立体視画像生成部、１１８…編集画面生成部、１２０…画像保存部、１３０…入力部、１４０…画像表示部、２０１…タブ、２０２…３Ｄ状態サムネイルタブ、２０３…編集中画像表示、２０３ａ…第１レイヤ縁部、２０３ｂ…第２レイヤ縁部、２０３ｃ…第３レイヤ縁部、２１１〜２１３…レイヤサムネイルタブ、２２１…ファイル取り込みボタン、２２２…カメラ取り込みボタン、２２３…スタンプボタン、２２４…文字入力ボタン、２２５…深度操作ボタン、２３１〜２３７…オブジェクト表示部、２４１…作成開始ボタン、２４２…保存ボタン、２４３…立体視表示ボタン、２５０Ｌ…左目用画像、２５０Ｒ…右目用画像、２５１，２５１′…第１レイヤ画像、２５２，２５２′…第２レイヤ画像、２５３，２５３′…第３レイヤ画像、２５９，２５９′…ディスプレイ面、２６１…地平線調整バー、２６２…地面設定位置表示、２７１…レイヤ内地面位置表示、２７２…無表示部分、２８１，２８２…位置移動ボタン、２８３…戻しボタン、２８４…消去ボタン、２８５…地面調整ボタン、２９０…ペンツール、２９１…第１ペン、２９２…第２ペン、２９３…第３ペン、２９４…消しゴム、３０１…深度軸、３０１ａ〜３０１ｄ…深度位置、３０２…前縁部、３０３…地面設定位置、３０４…仮想ディスプレイ面、３１１…第１レイヤ画像、３１２…第２レイヤ画像、３１３…第３レイヤ画像、３２１…地平線位置、４０１…深度バー表示、４０１ａ，４０１ｂ，４０１ｃ…レイヤ位置、４１１，４１２，４２１，４２２，４３１，４３２…深度調整ボタン、５０１…深度バー表示、５０２…仮想ディスプレイ面位置、５０３…レイヤ位置、５１１，５１２…深度調整ボタン、６０１…深度バー表示、６０３…レイヤ位置、６１１，６１２…深度調整ボタン、７０１…深度バー表示、７０２…仮想ディスプレイ面位置、７０３…レイヤ位置、７０４…深度枠、７０５…深度値表示、７１１，７１２，７２１，７２２，７３１，７３２…深度調整ボタン、８１０…カメラ取り込み操作画面、８１１…カメラ取り込み画像、８１２…抽出画像、８２０…画像ファイル取り込み操作画面、８２１…取り込み画像、８２２…抽出画像
【特許請求の範囲】
【請求項１】
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部と、
前記画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部と、
前記立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部と、
前記画像作成部で作成された複数の平面画像を個別又は重畳して表示させ、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部と、
前記編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備えた
画像処理装置。
【請求項２】
前記編集画面生成部が生成する編集画面は、それぞれのタブに対応した平面画像を縮小したサムネイル画像を表示する、前記平面画像ごとのタブを備え、
前記入力部でのいずれかのタブの選択操作で、そのタブに対応した平面画像を編集画面に表示させる
請求項１記載の画像処理装置。
【請求項３】
前記編集画面生成部が生成する編集画面は、前記複数の平面画像の仮想的な距離を示した画像を縮小したサムネイル画像を表示するタブを備えた
請求項２記載の画像処理装置。
【請求項４】
前記編集画面生成部が生成する編集画面に、前記それぞれの平面画像の仮想的な距離の設定を示す距離スケールと、平面画像の仮想的な距離を前記入力部で操作するための操作箇所とを表示させる
請求項１記載の画像処理装置。
【請求項５】
前記距離スケールの中に、前記複数の平面画像のそれぞれの距離の設定を区別して表示させると共に、前記操作箇所をそれぞれの平面画像ごとに用意した
請求項４記載の画像処理装置。
【請求項６】
前記距離スケールの中に、仮想ディスプレイ面の位置を示す表示をさせる
請求項４記載の画像処理装置。
【請求項７】
前記立体視画像変換部は、複数の平面画像中の１つの特定の平面画像に設定した地平線位置から下側の画像部分が、仮想的な距離から徐々に変化する傾斜面となる立体視画像に変換する
請求項１記載の画像処理装置。
【請求項８】
前記編集画面生成部が生成する編集画面で、前記地平線位置の設定を示す地平線位置スケールを表示させ、前記入力部での操作の受け付けにより前記地平線位置スケールで示される地平線位置を変更する
請求項７記載の画像処理装置。
【請求項９】
編集画面生成部が生成する編集画面で、前記特定の平面画像以外の平面画像が、立体視画像中で前記傾斜面と交差する位置を表示させる
請求項８記載の画像処理装置。
【請求項１０】
前記立体視画像変換部は、前記特定の平面画像以外の平面画像について、立体視画像中で前記傾斜面と交差する位置より下側になるオブジェクトを消去する
請求項８記載の画像処理装置。
【請求項１１】
前記画像作成部は、前記特定の平面画像以外の平面画像中の指定されたオブジェクトの下端を、立体視画像中で前記傾斜面と交差する位置と一致した位置とする
請求項８記載の画像処理装置。
【請求項１２】
表示部に表示させる画像を制御する画像制御部と、
それぞれに奥行き方向の仮想的な距離を有する複数の平面画像から、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像を生成する立体視画像生成部と、
ユーザからの操作を受け付ける入力部と
を備え、
前記画像制御部は、前記複数の平面画像及び前記平面画像を重畳した画像を奥行き方向が見える所定の角度から表示させた重畳画像を縮小したサムネイル画像を表示させ、
前記画像制御部は、さらに前記入力部があるサムネイル画像を選択する命令を受け付けると該選択されたサムネイル画像に対応する平面画像或いは重畳画像を編集可能な状態で、なおかつ前記複数の平面画像及び前記重畳画像のサムネイル画像と一緒に表示させる画像処理装置。
【請求項１３】
前記画像制御部は、前記平面画像及び前記重畳画像を重ねた状態で表示させるとともに、前記サムネイル画像を前記複数の平面画像及び前記重畳画像のそれぞれのタブとして表示させる請求項１２記載の画像処理装置。
【請求項１４】
前記画像制御部は、平面画像の追加を受け付けるためのタブをさらに表示させる請求項１３記載の画像処理装置。
【請求項１５】
前記画像制御部は、前記重畳画像に対応するサムネイル画像が選択された場合には、該重畳画像を前面に表示させるとともに選択されていない平面画像は前記タブのみを表示させ、
前記入力部は、前記重畳画像内に表示されている前記それぞれの平面画像のうち、選択した平面画像の奥行き方向の仮想的な距離を変更させる入力を受け付ける請求項１２記載の画像処理装置。
【請求項１６】
前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、該平面画像の画面内の画像のみがハイライトされた画面を前面に表示させる請求項１２記載の画像処理装置。
【請求項１７】
前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、選択されなかった平面画像の画面内の画像がグレーアウトされた画面を前面に表示させる請求項１２記載の画像処理装置。
【請求項１８】
前記画像制御部は、前記それぞれの平面画像の奥行き方向の仮想的な距離を示す距離スケールと、編集可能な状態で表示されている平面画像の奥行き方向の仮想的な距離を前記入力部で操作するための奥行き変更操作入力部とを表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、該平面画像内の画像の作成又は編集の操作を受け付けるとともに、前記奥行き変更操作入力部への操作を受け付ける請求項１２記載の画像処理装置。
【請求項１９】
前記奥行き変更操作入力部は、前記編集可能な状態で表示された平面画像の奥行き方向の仮想的な距離を手前に移動させるボタンと、奥に移動させるボタンとを有する請求項１８記載の画像処理装置。
【請求項２０】
前記奥行き変更操作入力部は、前記距離スケール上に前記編集可能な状態で表示された平面画像に対応するオブジェクトである請求項１８記載の画像処理装置。
【請求項２１】
前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置を前記入力部で操作するための地平線変更操作入力部を表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、前記地平線変更操作入力部への操作を受け付ける請求項１２記載の画像処理装置。
【請求項２２】
前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置より下の画像を表示させない請求項２１記載の画像処理装置。
【請求項２３】
前記立体視画像生成部は、それぞれの平面画像内で設定されている地平線位置より下の画像は生成する立体視画像に反映させない請求項２１記載の画像処理装置。
【請求項２４】
前記画像制御部は、選択されたサムネイル画像に対応する平面画像が編集された場合には、前記重畳画像のサムネイル画像に該編集の結果を反映させるよう制御する請求項１３〜２３のいずれか１項に記載の画像処理装置。
【請求項２５】
さらに前記表示部を備える請求項１２記載の画像処理装置。
【請求項２６】
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを含む
画像処理方法。
【請求項２７】
画像処理をコンピュータに実行させるためのプログラムであって、
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとをコンピュータに実行させるための
プログラム。
【請求項１】
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成部と、
前記画像作成部で作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換部と、
前記立体視画像変換部で変換された立体視画像のデータを出力する立体視画像生成部と、
前記画像作成部で作成された複数の平面画像を個別又は重畳して表示させ、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成部と、
前記編集画面生成部で生成された編集画面内の画像の作成又は編集の操作を受け付ける入力部とを備えた
画像処理装置。
【請求項２】
前記編集画面生成部が生成する編集画面は、それぞれのタブに対応した平面画像を縮小したサムネイル画像を表示する、前記平面画像ごとのタブを備え、
前記入力部でのいずれかのタブの選択操作で、そのタブに対応した平面画像を編集画面に表示させる
請求項１記載の画像処理装置。
【請求項３】
前記編集画面生成部が生成する編集画面は、前記複数の平面画像の仮想的な距離を示した画像を縮小したサムネイル画像を表示するタブを備えた
請求項２記載の画像処理装置。
【請求項４】
前記編集画面生成部が生成する編集画面に、前記それぞれの平面画像の仮想的な距離の設定を示す距離スケールと、平面画像の仮想的な距離を前記入力部で操作するための操作箇所とを表示させる
請求項１記載の画像処理装置。
【請求項５】
前記距離スケールの中に、前記複数の平面画像のそれぞれの距離の設定を区別して表示させると共に、前記操作箇所をそれぞれの平面画像ごとに用意した
請求項４記載の画像処理装置。
【請求項６】
前記距離スケールの中に、仮想ディスプレイ面の位置を示す表示をさせる
請求項４記載の画像処理装置。
【請求項７】
前記立体視画像変換部は、複数の平面画像中の１つの特定の平面画像に設定した地平線位置から下側の画像部分が、仮想的な距離から徐々に変化する傾斜面となる立体視画像に変換する
請求項１記載の画像処理装置。
【請求項８】
前記編集画面生成部が生成する編集画面で、前記地平線位置の設定を示す地平線位置スケールを表示させ、前記入力部での操作の受け付けにより前記地平線位置スケールで示される地平線位置を変更する
請求項７記載の画像処理装置。
【請求項９】
編集画面生成部が生成する編集画面で、前記特定の平面画像以外の平面画像が、立体視画像中で前記傾斜面と交差する位置を表示させる
請求項８記載の画像処理装置。
【請求項１０】
前記立体視画像変換部は、前記特定の平面画像以外の平面画像について、立体視画像中で前記傾斜面と交差する位置より下側になるオブジェクトを消去する
請求項８記載の画像処理装置。
【請求項１１】
前記画像作成部は、前記特定の平面画像以外の平面画像中の指定されたオブジェクトの下端を、立体視画像中で前記傾斜面と交差する位置と一致した位置とする
請求項８記載の画像処理装置。
【請求項１２】
表示部に表示させる画像を制御する画像制御部と、
それぞれに奥行き方向の仮想的な距離を有する複数の平面画像から、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像を生成する立体視画像生成部と、
ユーザからの操作を受け付ける入力部と
を備え、
前記画像制御部は、前記複数の平面画像及び前記平面画像を重畳した画像を奥行き方向が見える所定の角度から表示させた重畳画像を縮小したサムネイル画像を表示させ、
前記画像制御部は、さらに前記入力部があるサムネイル画像を選択する命令を受け付けると該選択されたサムネイル画像に対応する平面画像或いは重畳画像を編集可能な状態で、なおかつ前記複数の平面画像及び前記重畳画像のサムネイル画像と一緒に表示させる画像処理装置。
【請求項１３】
前記画像制御部は、前記平面画像及び前記重畳画像を重ねた状態で表示させるとともに、前記サムネイル画像を前記複数の平面画像及び前記重畳画像のそれぞれのタブとして表示させる請求項１２記載の画像処理装置。
【請求項１４】
前記画像制御部は、平面画像の追加を受け付けるためのタブをさらに表示させる請求項１３記載の画像処理装置。
【請求項１５】
前記画像制御部は、前記重畳画像に対応するサムネイル画像が選択された場合には、該重畳画像を前面に表示させるとともに選択されていない平面画像は前記タブのみを表示させ、
前記入力部は、前記重畳画像内に表示されている前記それぞれの平面画像のうち、選択した平面画像の奥行き方向の仮想的な距離を変更させる入力を受け付ける請求項１２記載の画像処理装置。
【請求項１６】
前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、該平面画像の画面内の画像のみがハイライトされた画面を前面に表示させる請求項１２記載の画像処理装置。
【請求項１７】
前記画像制御部は、ある平面画像に対応するサムネイル画像が選択された場合には、選択されなかった平面画像の画面内の画像がグレーアウトされた画面を前面に表示させる請求項１２記載の画像処理装置。
【請求項１８】
前記画像制御部は、前記それぞれの平面画像の奥行き方向の仮想的な距離を示す距離スケールと、編集可能な状態で表示されている平面画像の奥行き方向の仮想的な距離を前記入力部で操作するための奥行き変更操作入力部とを表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、該平面画像内の画像の作成又は編集の操作を受け付けるとともに、前記奥行き変更操作入力部への操作を受け付ける請求項１２記載の画像処理装置。
【請求項１９】
前記奥行き変更操作入力部は、前記編集可能な状態で表示された平面画像の奥行き方向の仮想的な距離を手前に移動させるボタンと、奥に移動させるボタンとを有する請求項１８記載の画像処理装置。
【請求項２０】
前記奥行き変更操作入力部は、前記距離スケール上に前記編集可能な状態で表示された平面画像に対応するオブジェクトである請求項１８記載の画像処理装置。
【請求項２１】
前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置を前記入力部で操作するための地平線変更操作入力部を表示させ、
前記入力部は、前記平面画像が編集可能な状態で表示された場合には、前記地平線変更操作入力部への操作を受け付ける請求項１２記載の画像処理装置。
【請求項２２】
前記画像制御部は、編集可能な状態で表示されている平面画像の該平面画像内に設定された地平線位置より下の画像を表示させない請求項２１記載の画像処理装置。
【請求項２３】
前記立体視画像生成部は、それぞれの平面画像内で設定されている地平線位置より下の画像は生成する立体視画像に反映させない請求項２１記載の画像処理装置。
【請求項２４】
前記画像制御部は、選択されたサムネイル画像に対応する平面画像が編集された場合には、前記重畳画像のサムネイル画像に該編集の結果を反映させるよう制御する請求項１３〜２３のいずれか１項に記載の画像処理装置。
【請求項２５】
さらに前記表示部を備える請求項１２記載の画像処理装置。
【請求項２６】
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとを含む
画像処理方法。
【請求項２７】
画像処理をコンピュータに実行させるためのプログラムであって、
複数の平面画像を作成し、作成された複数の平面画像のそれぞれに奥行き方向の仮想的な距離を設定する画像作成ステップと、
画像作成ステップで作成された複数の平面画像に設定された仮想的な距離に基づいて、それぞれの平面画像中のオブジェクトの空間位置を設定した立体視画像に変換する立体視画像変換ステップと、
立体視画像変換ステップで変換された立体視画像のデータを出力する立体視画像生成ステップと、
前記画像作成ステップで作成された複数の平面画像を個別又は重畳して表示させると共に、平面画像のそれぞれにタブを付与して表示させる編集画面の表示データを生成する編集画面生成ステップと、
前記編集画面生成ステップで生成された編集画面内の画像の作成又は編集の操作を受け付ける入力ステップとをコンピュータに実行させるための
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図３０】
【図３２】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１８】
【図２６】
【図２７】
【図２８】
【図２９】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図３０】
【図３２】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１８】
【図２６】
【図２７】
【図２８】
【図２９】
【図３１】
【公開番号】特開２０１２−９４１１１（Ｐ２０１２−９４１１１Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−１２６７９２（Ｐ２０１１−１２６７９２）
【出願日】平成２３年６月６日（２０１１．６．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]