合成画像作成装置、合成画像作成プログラム、および、撮像装置
【課題】遠近感や立体感のある画像を生成するために、被写体の大きさ、位置、明暗、濃淡、鮮明、彩度、色和などを変更する複雑な画像処理を施す必要があった。
【解決手段】合成画像作成装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部１１２と、レイヤー作成部１１２によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部１１３と、を備える。
【解決手段】合成画像作成装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部１１２と、レイヤー作成部１１２によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部１１３と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元画像から立体感のある画像を作成する技術に関する。
【背景技術】
【０００２】
画像をデジタル化することによって、画像の加工が容易になり、様々な画像処理・加工技術が開発されている。例えば、画像から特定の人物を抽出するカメラ（特許文献１参照）や、画面上で特定の被写体の範囲を特定する輪郭抽出機能を有するカメラ（特許文献２参照）が知られている。
【０００３】
一方、最近では、撮影により得られた画像に対して画像処理を施すことによって、創作的な画像を生成するカメラが求められ始めている。その１つとして、立体感のある画像を生成できるカメラがいくつか提案されている。例えば、二次元のロゴマークを立体的な画像に合成する画像合成方法が知られている（特許文献３参照）。また、撮影により得られた画像を、遠近感や立体感を強調した画像に変換する画像処理装置も提案されている（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０９８４０４号公報
【特許文献２】特開２０１０−２１３１０５号公報
【特許文献３】特開２００１−２２３８７７号公報
【特許文献４】特開２０１０−１５４４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影により得られた画像を、遠近感や立体感を強調した画像に変換する特許文献４に記載の技術では、被写体の大きさ、位置、明暗、濃淡、鮮明、彩度、色和などを変更する複雑な画像処理を施す必要があった。
【０００６】
本発明は、複雑な画像処理を施すことなく、立体感のある画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る合成画像作成装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、を備える。
【０００８】
本発明の別の態様に係る撮像装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、画像を表示する表示部と、撮影時にライブビュー画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記レイヤー合成部によって作成された立体感のある合成画像を前記ライブビュー画像として前記表示部に表示させる。
【０００９】
本発明のさらに別の態様に係る合成画像作成プログラムは、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するステップと、前記作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するステップとをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、被写体の大きさ等を変更する複雑な画像処理を施すことなく、立体感のある画像を容易に生成することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施の形態における合成画像作成装置を備えたデジタルカメラの構成を示すブロック図である。
【図２】ライブビュー画像の一例を示す図である。
【図３】レイヤー画像数が５に設定された場合のレイヤー画像の生成方法について説明するための図である。
【図４】図３に示す５つのレイヤー画像を合成することによって生成される、立体感のある画像の一例を示す図である。
【図５】図５（Ａ）は、レイヤー画像数を９つとした場合の合成画像の一例を示す図であり、図５（Ｂ）は、レイヤー画像数が５の場合であって、レイヤー画像に影を付加する処理を行った場合の合成画像の一例を示す図である。
【図６】視点が変化したような表示効果を表現する原理を説明するための図である。
【図７】図７（Ａ）は、図４に示す合成画像に対して、Ｌ視点から見たような表示を行った状態を示す図であり、図７（Ｂ）は、図４に示す合成画像に対して、Ｒ視点から見たような表示を行った状態を示す図である。
【図８】図８（Ａ）は、デジタルカメラを傾けていない状態において、表示部に表示される合成画像の一例を示す図であり、図８（Ｂ）は、デジタルカメラが右側に傾けられた状態において、表示部に表示される合成画像の一例を示す図である。
【図９】レイヤー画像に含める被写体を、ユーザが指定するための画面の一例を示す図である。
【図１０】一実施の形態における合成画像作成装置を備えたデジタルカメラによって行われる処理内容を示すフローチャートである。
【図１１】立体ライブビュー表示処理の詳細な内容を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、一実施の形態におけるデジタルカメラ１の構成を示すブロック図である。このデジタルカメラ１は、撮影機能を有する撮像装置であり、また、立体感のある合成画像を作成する合成画像作成装置５でもある。デジタルカメラ１は、制御部１１と、プログラム／データ記憶部１２と、操作部１３と、角度センサ１４と、撮像部１５と、ＳＤＲＡＭ１６と、画像処理部１７と、表示ドライバー部１８と、表示部１９と、圧縮伸長部２０と、再生部２１と、記録部２２と、画像記憶部２３とを備える。
【００１３】
制御部（ＣＰＵ）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、表示制御部１１１、レイヤー作成部１１２、レイヤー合成部１１３、および、傾き検出部１１４が設けられている。表示制御部１１１、レイヤー作成部１１２、レイヤー合成部１１３、および、傾き検出部１１４は、制御プログラムにより実行される処理の一部であるため、制御部１１に含まれる機能部として説明する。
【００１４】
表示制御部１１１は、後述する表示部１９に静止画および動画を含む再生画像を表示する際の表示制御を行う。
【００１５】
レイヤー作成部１１２は、画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定する。レイヤー作成部１１２はさらに、特定した各被写体形状の位置関係に基づいて、レイヤー画像を作成する。レイヤー画像の詳細は後述する。
【００１６】
レイヤー合成部１１３は、レイヤー作成部１１２で作成された複数のレイヤー画像を合成して、立体感のある合成画像を生成する。
【００１７】
傾き検出部１１４は、角度センサ１４で検出されるデジタルカメラ１の角度に基づいて、デジタルカメラ１の傾きを検出する。
【００１８】
制御部１１には、プログラム／データ記憶部１２、操作部１３、角度センサ１４、および、バス２５が接続されている。プログラム／データ記憶部１２には、前述したように。制御部１１において実行するプログラムが記憶されており、各種データも記憶されている。
【００１９】
操作部１３は、ユーザがカメラに指示を与えるための各種操作部材およびタッチパネルを有する。各種操作部材には、例えば、電源釦、レリーズ釦、ＯＫ釦、十字釦、再生釦、テレワイド釦等が含まれる。
【００２０】
バス２５には、制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバー部１８、圧縮伸長部２０、再生部２１、および、記録部２２が接続されている。
【００２１】
撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、および、これらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された静止画像や連続画像の画像データはバス２５に出力される。
【００２２】
ＳＤＲＡＭ１６は、電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される静止画像や連続画像の画像データの一時記憶に用いられる。
【００２３】
画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成、インデックス画像（縮小画像）生成等の各種画像処理を行う。
【００２４】
圧縮伸長部２０は、ＳＤＲＡＭ１６に一時記憶された静止画像や連続画像の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸長するための回路である。なお、画像圧縮は、ＪＰＥＧ、ＴＩＦＦ、ＭＰＥＧに限らず、他の圧縮方式も適用できる。
【００２５】
表示ドライバー部１８は、表示部１９と接続されており、表示部１９に画像を表示させる。表示部１９は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイである。
【００２６】
再生部２１は、画像記憶部２３に記憶されている画像の再生を行う。特に、再生部２１は、画像記憶部２３から、表示部１９に表示するための画像データを読み出す。読み出された画像データは、圧縮伸長部２０において伸長され、伸長された画像データに基づいて、表示部１９に画像が再生表示される。
【００２７】
記録部２２は、圧縮伸長部２０で圧縮された画像データを画像記憶部２３に記録させる。画像記憶部２３は、再生部２１および記録部２２に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。
【００２８】
デジタルカメラ１は、カメラの設定として、立体的な画像を作成して表示する立体撮影モードを設定することができる。立体撮影モードの設定時には、ライブビュー表示するためのライブビュー画像に対して、立体感のある画像を生成するための画像処理が施される。
【００２９】
図２は、ライブビュー画像の一例を示す図である。立体撮影モードの設定時には、ライブビュー画像とともに、立体撮影モードに設定されていることを示す「ＳＥ」（Stereo Effect）という文字３１、および、レイヤー画像数を設定するためのレイヤー設定ウインドウ３２が表示部１９に表示される。
【００３０】
レイヤー設定ウインドウ３２では、「Ａ」、「Ｍ」、「３」、「４」、「５」の５種類の設定が可能である。ユーザが「Ａ」を選択すると、ＡＵＴＯ、すなわち、レイヤー画像数が自動的に設定される。例えば、画像中の被写体数に応じて、レイヤー画像数が設定される。ユーザが「Ｍ」を選択すると、ＭＡＮＵＡＬ、すなわち、レイヤー画像（レイヤー画像数）をユーザが決定することができる。ユーザが「３」、「４」、「５」を選択すると、レイヤー画像数が３、４、５に設定される。
【００３１】
以下では、図２のライブビュー画像を用いて、立体感のある画像を生成する方法について説明する。
【００３２】
図３は、レイヤー画像数が５に設定された場合のレイヤー画像の生成方法について説明するための図である。レイヤー作成部１１２は、処理対象の画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定する。これは、既知の方法を用いて行うことができる。図２に示すライブビュー画像では、ｐ１〜ｐ１０の被写体が特定されている。なお、ｐ１は猫、ｐ２は人物、ｐ３は花、ｐ４は木、ｐ５は車、ｐ６は家、ｐ７〜ｐ９は木、ｐ１０は山をそれぞれ表している。
【００３３】
レイヤー作成部１１２はさらに、特定した各被写体形状の位置関係に基づいて、画像上で遠近感が共通する被写体ごとに、レイヤー画像を作成する。ここでは、レイヤー画像数が５に設定されているため、レイヤー作成部１１２は、５つのレイヤー画像を作成する。具体的には、各被写体の重なり状態、および、画像上の位置関係に基づいて、５つのレイヤー画像を作成する。
【００３４】
１つのレイヤー画像には、遠近感が共通する複数の被写体を含めることができる。遠近感は、画像上での被写体の重なり状態から判断する。すなわち、ある被写体が別の被写体と重なって、その一部が隠れているように見える場合には、一部が隠れている被写体の方がカメラからの距離が遠いと判断する。また、画像上の位置関係からも、遠近感を判断することができる。すなわち、一般的には、カメラからの距離が遠い被写体ほど画像の上の方に位置し、距離が近い被写体ほど、画像の下の方に位置する。従って、画像の上の方に位置している被写体は、画像の下の方に位置している被写体よりも、カメラからの距離が遠いと推定する。さらに、撮影時に撮像部１５でレンズ位置の合焦処理が行われるが、この合焦情報を利用して、各被写体の前後位置関係を解析するようにしてもよい。そして、このような条件の１つ、あるいはいくつかの条件を総合して、被写体の遠近関係を判断する。
【００３５】
図２に示す例では、被写体ｐ２とｐ５の重なり状態から、被写体ｐ２と被写体ｐ５は遠近感が共通しないと判断して、それぞれ別のレイヤー画像に含める。また、被写体ｐ５とｐ６の重なり状態、および、被写体ｐ４とｐ６の重なり状態から、被写体ｐ４と被写体ｐ６はそれぞれ別のレイヤー画像に含め、被写体ｐ５と被写体ｐ６はそれぞれ別のレイヤー画像に含める。同様に、被写体ｐ６とｐ８の重なり状態から、被写体ｐ６と被写体ｐ８はそれぞれ別のレイヤー画像に含め、被写体ｐ８とｐ１０の重なり状態から、被写体ｐ８と被写体ｐ１０はそれぞれ別のレイヤー画像に含める。
【００３６】
レイヤー作成部１１２は、上述した原理に基づいて、５つのレイヤー画像Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５を作成する。図３（Ａ）〜図３（Ｅ）は、レイヤー画像Ｌ１〜Ｌ５の一例を示す図である。
【００３７】
図３（Ａ）に示すように、レイヤー画像Ｌ１には、遠近感が共通すると考えられる被写体ｐ１、ｐ２、ｐ３が含まれている。被写体ｐ１、ｐ２、ｐ３は、画像の下の方に位置しており、被写体ｐ１〜ｐ１０の中でカメラからの距離が最も近いと考えられる被写体である。
【００３８】
レイヤー画像の作成では、画像上で遠近感が共通すると考えられる被写体を縁取りして切り取る処理を行う。この処理は、画像から被写体を切り出す処理であるが、切り出す際に、被写体の輪郭に沿って切り出すのではなく、被写体の輪郭から縁取り部分を残して切り出す。縁取り部分の大きさは、予め設定しておけばよい。また、１つのレイヤー画像に、遠近感が共通する複数の被写体が含まれる場合には、各被写体を別々に切り出さずに、全ての被写体が含まれるように切り出す。図３（Ａ）に示す例では、被写体ｐ１、ｐ２、ｐ３が含まれるように切り出している。
【００３９】
図３（Ｂ）に示すように、レイヤー画像Ｌ２には、遠近感が共通すると考えられる被写体ｐ４、ｐ５が含まれている。この場合も、被写体ｐ４、ｐ５を別々に切り出さずに、被写体ｐ４、ｐ５が含まれるように切り出している。
【００４０】
図３（Ｃ）に示すように、レイヤー画像Ｌ３には、被写体ｐ６が含まれている。
【００４１】
図３（Ｄ）に示すように、レイヤー画像Ｌ４には、遠近感が共通すると考えられる被写体ｐ７、ｐ８、ｐ９が含まれている。この場合も、被写体ｐ７、ｐ８、ｐ９を別々に切り出さずに、被写体ｐ７、ｐ８、ｐ９が含まれるように切り出している。
【００４２】
図３（Ｅ）に示すように、レイヤー画像Ｌ５には、被写体ｐ１〜ｐ１０の中で、カメラからの距離が最も遠いと考えられる被写体ｐ１０が含まれている。本実施形態では、カメラからの距離が最も遠いと考えられる被写体ｐ１０に対しては、縁取り処理を行わないものとする。ただし、カメラからの距離が最も遠いと考えられる被写体に対しても、縁取り処理を行うようにしてもよい。
【００４３】
レイヤー画像ごとに、縁取り部分に異なる色を付加するようにしてもよい。例えば、レイヤー画像Ｌ１の縁取り部分３５を赤色に、レイヤー画像Ｌ２の縁取り部分３６を青色に、レイヤー画像Ｌ３の縁取り部分３７を黄色に、レイヤー画像Ｌ４の縁取り部分Ｌ４を緑色にする。このように、各レイヤー画像の縁取り部分に異なる色を付加することにより、各レイヤー画像を合成することによって生成される合成画像は、カラフルな楽しい画像となる。また、レイヤー画像間の相違が際だつので、合成画像の立体感をより強調させることができる。
【００４４】
図４は、図３に示す５つのレイヤー画像Ｌ１〜Ｌ５を合成することによって生成される、立体感のある合成画像の一例を示す図である。レイヤー合成部１１３は、レイヤー作成部１１２によって作成された５つのレイヤー画像Ｌ１〜Ｌ５を合成する。
【００４５】
レイヤー画像の合成では、カメラからの距離が遠いと考えられる被写体のレイヤー画像から順に合成を行う。図３に示す例では、カメラからの距離が最も遠いと考えられる被写体ｐ１０を含むレイヤー画像Ｌ５から、Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に合成を行う。従って、合成後の画像上では、レイヤー画像Ｌ５が一番下に位置し、レイヤー画像Ｌ１が一番上に位置する。なお、各被写体の相対位置関係は、元の撮影画像と合成画像とで変化はない。
【００４６】
図４に示すように、遠近感が共通する被写体を含むレイヤー画像を複数合成することによって生成される合成画像は、飛び出す絵本のような立体感のある画像となる。
【００４７】
図５（Ａ）は、レイヤー画像数を９つとした場合に、レイヤー合成部１１３による合成処理によって生成された合成画像の一例を示す図である。レイヤー画像数が９つの場合、レイヤー作成部１１２は、９つのレイヤー画像Ｌ１〜Ｌ９を作成する。図５（Ａ）に示す例では、図２の被写体ｐ１がレイヤー画像Ｌ１に、被写体ｐ２がレイヤー画像Ｌ２に、被写体ｐ３がレイヤー画像Ｌ３に、被写体ｐ４がレイヤー画像Ｌ４に、被写体ｐ５がレイヤー画像Ｌ５に、被写体ｐ６がレイヤー画像Ｌ６に含まれるように、レイヤー画像が作成されている。また、被写体ｐ８、ｐ９がレイヤー画像Ｌ７に、被写体ｐ７がレイヤー画像Ｌ８に、被写体ｐ１０がレイヤー画像Ｌ９に含まれるように、レイヤー画像が作成されている。
【００４８】
図５（Ｂ）は、レイヤー画像数が５の場合であって、レイヤー画像に影を付加する処理を行った場合の合成画像の一例を示す図である。レイヤー作成部１１２は、上述した方法によって、５つのレイヤー画像を作成するとともに、作成したレイヤー画像に対して、影を付ける処理を行う。影の付加は、既知の方法を用いることができる。
【００４９】
影の付加は、カメラからの距離が近いと考えられる被写体を含むレイヤー画像に対して行う。また、カメラからの距離が近い被写体を含むレイヤー画像ほど、大きい影を付加する。図５（Ｂ）に示す例では、レイヤー画像Ｌ１、Ｌ２に対して、影５１、５２がそれぞれ付加され、レイヤー画像Ｌ３、Ｌ４、Ｌ５に対しては、影が付加されていない。影５１、５２はそれぞれ、左方向から光が照射された場合に生じる影を表している。また、レイヤー画像Ｌ１に付加される影５１は、レイヤー画像Ｌ２に付加される影５２よりも大きい。これにより、レイヤー画像Ｌ１〜Ｌ５を合成することによって生成される合成画像では、より立体感を表現することができる。
【００５０】
本実施形態では、デジタルカメラ１の左右方向における回転操作に応じて、ユーザの視点が変化したような表示方法を行う。この表示方法について、図６および図７を用いて説明する。
【００５１】
図６は、視点が変化したような表示効果を表現する原理を説明するための図である。図６（Ａ）は、３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３を重ねた状態を示す図である。図６（Ａ）では、３つの画像が重なっていることを分かりやすく表示するために、画像の正面から見た図ではなく、右斜め上方から見た図として表している。ここでは、画像の正面から見る視点を正面視点、正面視点に対して、画像を左側から見る視点をＬ視点、正面視点に対して、画像を右側から見る視点をＲ視点と呼ぶ。
【００５２】
図６（Ｂ）は、Ｌ視点から見たような表示効果を表現する表示方法の一例を示す図である。図６（Ｂ）に示すように、重ねられた３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３のうち、真ん中に位置するレイヤー画像Ｌ２を、一番奥に位置するレイヤー画像Ｌ３に対して右側にずらし、一番手前に位置するレイヤー画像Ｌ１をレイヤー画像Ｌ２よりも右側にずらす。この各レイヤー画像の相対位置を変更する処理は、レイヤー合成部１１３によって行う。また、各レイヤー画像Ｌ１、Ｌ２、Ｌ３を、画像の上下方向が左側に行くに従って徐々に拡大するように変形する。レイヤー画像Ｌ１、Ｌ２、Ｌ３の左側に行くに従って徐々に拡大する処理は、レイヤー作成部１１２によって行う。
【００５３】
本実施形態では、デジタルカメラ１を構えたユーザがカメラを右方向に回転させる操作、すなわち、デジタルカメラ１の右側を奥（被写体側）に、かつ、左側を手前（ユーザ側）に動かす操作が行われると、Ｌ視点から見たような表示効果を表現する表示を行う。
【００５４】
図６（Ｃ）は、Ｒ視点から見たような表示効果を表現する表示方法の一例を示す図である。図６（Ｃ）に示すように、重ねられた３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３のうち、真ん中に位置するレイヤー画像Ｌ２を、一番奥に位置するレイヤー画像Ｌ３に対して左側にずらし、一番手前に位置するレイヤー画像Ｌ１をレイヤー画像Ｌ２よりも左側にずらす。この各レイヤー画像の相対位置を変更する処理は、レイヤー合成部１１３によって行う。また、各レイヤー画像Ｌ１、Ｌ２、Ｌ３を、画像の上下方向が右側に行くに従って徐々に拡大するように変形する。レイヤー画像Ｌ１、Ｌ２、Ｌ３の右側に行くに従って徐々に拡大する処理は、レイヤー作成部１１２によって行う。
【００５５】
本実施形態では、デジタルカメラ１を構えたユーザがカメラを左方向に回転させる操作、すなわち、デジタルカメラ１の左側を奥（被写体側）に、かつ、右側を手前（ユーザ側）に動かす操作が行われると、Ｒ視点から見たような表示効果を表現する表示を行う。
【００５６】
図７（Ａ）は、図４に示す合成画像に対して、Ｌ視点から見たような表示を行った状態を示す図である。図４に示す合成画像が表示部１９に表示されている状態で、デジタルカメラ１を右方向に回転させる操作が行われると、表示部１９には、図７（Ａ）に示すような合成画像が表示される。ただし、図７（Ａ）には、説明のため、レイヤー画像をずらしたことを示す矢印７１〜７３も合わせて表示している。
【００５７】
上述したように、Ｌ視点から見たような表示を行う場合には、一番奥に位置するレイヤー画像Ｌ５に対して、レイヤー画像Ｌ１〜Ｌ４を右側にずらす。このとき、手前に位置するレイヤー画像ほど、右側にずらす量を大きくする。従って、レイヤー画像Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に、右側にずらす量は大きくなる。また、本実施形態では、最も奥に位置するレイヤー画像Ｌ５の左端を表示部１９の表示画面の左端と一致させる。さらに、各レイヤー画像Ｌ１〜Ｌ５の左側を画像の上下方向に拡大する。
【００５８】
特に、本実施形態では、角度センサ１４で検出されるデジタルカメラ１の角度に応じて、表示方法を変更する。すなわち、デジタルカメラ１の右方向の回転角度が大きくなるほど、Ｌ視点から見たような表示効果が大きくなるような表示を行う。具体的には、デジタルカメラ１の右方向の回転角度が大きくなるほど、レイヤー画像を右側にずらす量を大きくするとともに、各レイヤー画像の左側を上下方向に拡大する量を大きくする。
【００５９】
図７（Ｂ）は、図４に示す合成画像に対して、Ｒ視点から見たような表示を行った状態を示す図である。図４に示す合成画像が表示部１９に表示されている状態で、デジタルカメラ１を左方向に回転させる操作が行われると、表示部１９には、図７（Ｂ）に示すような合成画像が表示される。ただし、図７（Ｂ）には、説明のため、レイヤー画像をずらしたことを示す矢印７４〜７６も合わせて表示している。
【００６０】
上述したように、Ｒ視点から見たような表示を行う場合には、一番奥に位置するレイヤー画像Ｌ５に対して、レイヤー画像Ｌ１〜Ｌ４を左側にずらす。このとき、手前に位置するレイヤー画像ほど、左側にずらす量を大きくする。従って、レイヤー画像Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に、左側にずらす量は大きくなる。また、本実施形態では、最も奥に位置するレイヤー画像Ｌ５の右端を表示部１９の表示画面の右端と一致させる。さらに、各レイヤー画像Ｌ１〜Ｌ５の右側を画像の上下方向に拡大する。
【００６１】
また、Ｌ視点から見たような表示を行う場合と同様に、デジタルカメラ１の左方向の回転角度が大きくなるほど、Ｒ視点から見たような表示効果が大きくなるような表示を行う。具体的には、デジタルカメラ１の左方向の回転角度が大きくなるほど、レイヤー画像を左側にずらす量を大きくするとともに、各レイヤー画像の右側を上下方向に拡大する量を大きくする。
【００６２】
本実施形態では、デジタルカメラ１の傾け操作に応じて、合成画像の表示を変更する。デジタルカメラ１の傾け操作に応じた合成画像の表示方法について、図８を用いて説明する。
【００６３】
図８（Ａ）は、デジタルカメラ１を傾けていない状態において、表示部１９に表示される合成画像の一例を示す図である。また、図８（Ｂ）は、デジタルカメラ１が右側に傾けられた状態において、表示部１９に表示される合成画像の一例を示す図である。
【００６４】
図８（Ｂ）に示すように、デジタルカメラ１が右側に傾けられると、傾けられた角度に応じて、各レイヤー画像Ｌ１〜Ｌ５を右側にずらし、ずらした状態で各レイヤー画像Ｌ１〜Ｌ５を合成する。各レイヤー画像Ｌ１〜Ｌ５を右側にずらす量は、傾けられた角度が大きいほど大きくする。従って、デジタルカメラ１を徐々に右側に傾けていくと、各レイヤー画像Ｌ１〜Ｌ５が徐々に右側に滑っていくような表示が行われる。
【００６５】
図示はしないが、デジタルカメラ１が左側に傾けられると、傾けられた角度に応じて、各レイヤー画像Ｌ１〜Ｌ５を左側にずらして、合成する処理を行う。各レイヤー画像Ｌ１〜Ｌ５を左側にずらす量は、傾けられた角度が大きいほど大きくする。従って、デジタルカメラ１を徐々に左側に傾けていくと、各レイヤー画像Ｌ１〜Ｌ５が徐々に左側に滑っていくような表示が行われる。
【００６６】
また、デジタルカメラ１が傾けられた状態から、傾いていない状態に戻されると、各レイヤー画像Ｌ１〜Ｌ５を元の位置（図８（Ａ）参照）に戻す処理を行う。
【００６７】
レイヤー設定ウインドウ３２が「Ｍ」（Manual）に設定された場合に、ユーザがレイヤー画像に含める被写体を指定する方法について説明する。図９は、レイヤー画像に含める被写体を、ユーザが指定するための画面の一例を示す図である。レイヤー設定ウインドウ３２が「Ｍ」に設定されると、カーソル９１が画面上に表示される。ユーザは、画面上に表示されるカーソル９１を操作することによって、レイヤー画像に含める被写体を指定することができる。図９では、人物の被写体９２と、山の被写体９３がそれぞれ指定されて、連番の白抜きの番号が付された状態を示している。
【００６８】
レイヤー作成部１１２は、カーソル９１で指定された被写体をそれぞれ別のレイヤー画像として作成する。指定されなかった被写体は、その近傍で指定された被写体と同じレイヤーに自動的に含まれるようにする。
【００６９】
なお、レイヤー画像に含める被写体を指定する方法は、カーソルを用いる方法に限定されることはない。例えば、表示部１９の前面、または、表示部１９と一体的にタッチパネルを設け、タッチパネルの操作によって、レイヤー画像に含める被写体を指定するようにしてもよい。
【００７０】
図１０は、一実施の形態における合成画像作成装置５を備えたデジタルカメラ１によって行われる処理内容を示すフローチャートである。デジタルカメラ１が撮影を行う撮影モードに設定されると、制御部１１は、ステップＳ１１の処理を開始する。
【００７１】
ステップＳ１１では、デジタルカメラ１が立体撮影モードに設定されたか否かを判定する。デジタルカメラ１が立体撮影モードに設定されていないと判定すると、ステップＳ１９に進む。
【００７２】
ステップＳ１９では、通常のライブビュー表示処理を行う。すなわち、ライブビュー画像を表示部１９に表示させる。
【００７３】
一方、ステップＳ１１において、デジタルカメラ１が立体撮影モードに設定されていると判定すると、ステップＳ１２に進む。ステップＳ１２では、立体ライブビュー表示処理を行う。立体ライブビュー表示処理の詳細な内容を、図１１に示すフローチャートを用いて説明する。
【００７４】
図１１のステップＳ３１では、レイヤー設定がマニュアルに設定されているか否か、すなわち、レイヤー設定ウインドウ３２（図２参照）が「Ｍ」に設定されているか否かを判定する。レイヤー設定がマニュアルに設定されていないと判定すると、ステップＳ３２に進み、レイヤー設定がマニュアルに設定されていると判定すると、ステップＳ４０に進む。
【００７５】
ステップＳ３２では、レイヤー画像数を設定する。レイヤー設定ウインドウ３２（図２参照）で、ユーザが「３」、「４」、「５」などの数字を選択した場合には、選択された数字をレイヤー画像数に設定する。レイヤー設定ウインドウ３２で、ユーザが「Ａ」を選択した場合には、レイヤー画像数を任意に設定する。例えば、画像上の被写体を抽出し、抽出した被写体の数をレイヤー画像数に設定してもよいし、上述したように、遠近感が共通する複数の被写体を一つのレイヤー画像に含めるように、レイヤー画像数を設定してもよい。
【００７６】
一方、ステップＳ４０では、レイヤー画像を指定する入力操作が完了したか否かを判定する。上述したように、ユーザは、画像に重畳して表示されるカーソル９１を操作することによって、レイヤー画像に含める被写体、すなわち、レイヤー画像を指定することができる。ユーザは、レイヤー画像の指定が終了すると、図示しない確定釦を押す。確定釦が押されておらず、レイヤー画像を指定する入力操作が完了していないと判定するとステップＳ４０で待機し、確定釦が押されると、レイヤー画像を指定する入力操作が完了したと判定して、ステップＳ３３に進む。
【００７７】
ステップＳ３３では、レイヤー作成部１１２によって、レイヤー画像を作成する。レイヤー画像を作成する方法については既に説明したので、ここでは詳しい説明は省略する。
【００７８】
ステップＳ３４では、デジタルカメラ１の左右方向における回転操作を検出したか否かを判定する。この判定は、角度センサ１４によって検出されるデジタルカメラ１の角度に基づいて、制御部１１の傾き検出部１１４が行う。デジタルカメラ１の左右方向における回転操作を検出したと判定するとステップＳ４１に進み、回転操作を検出していないと判定するとステップＳ３５に進む。
【００７９】
ステップＳ３５では、視点をデフォルトに設定する。デフォルトの視点とは、正面視点（図６（Ａ）参照）である。
【００８０】
ステップＳ３６では、レイヤー合成部１１３によって、ステップＳ３３で作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を生成する。
【００８１】
一方、ステップＳ４１では、傾き検出部１１４によって、角度センサ１４から入力される角度に基づいて、デジタルカメラ１の回転方向および回転角度を検出する。
【００８２】
ステップＳ４２では、レイヤー合成部１１３によって、ステップＳ４１で検出されたデジタルカメラ１の回転方向および回転角度に応じて、ユーザの視点が変化したような合成画像が生成されるように、ステップＳ３３で作成された複数のレイヤー画像を変形し合成する。
【００８３】
上述したように、デジタルカメラ１の右方向の回転操作を検出すると、Ｌ視点から見たような合成画像（図７（Ａ）参照）を生成する。このとき、デジタルカメラ１の右方向の回転角度が大きくなるほど、Ｌ視点から見たような表示効果が大きくなるような合成画像を生成する。
【００８４】
また、デジタルカメラ１の左方向の回転操作を検出すると、Ｒ視点から見たような合成画像（図７（Ｂ）参照）を生成する。このとき、デジタルカメラ１の左方向の回転角度が大きくなるほど、Ｒ視点から見たような表示効果が大きくなるような合成画像を生成する。
【００８５】
ステップＳ３７では、ステップＳ３６またはステップＳ４２で生成された合成画像を、ライブビュー画像として表示部１９に表示する。これにより、表示部１９には、立体感のあるライブビュー画像が表示される。
【００８６】
ステップＳ３８では、デジタルカメラ１の傾き操作を検出したか否かを判定する。この判定は、角度センサ１４によって検出されるデジタルカメラ１の角度に基づいて、制御部１１の傾き検出部１１４が行う。デジタルカメラ１の傾き操作を検出したと判定するとステップＳ４４に進み、傾き操作を検出していないと判定すると、図１０に示すフローチャートの処理に戻る。
【００８７】
ステップＳ４４では、レイヤー合成部１１３によって、デジタルカメラ１の傾き角度に応じて、各レイヤー画像を傾けられた方向にずらし、ずらした状態で、各レイヤー画像を合成する。そして、生成された合成画像を、ライブビュー画像として表示部１９に表示する。
【００８８】
図１０に示すフローチャートに戻って説明を続ける。ステップＳ１３では、ユーザによってレリーズ釦が押されたか否かを判定する。ユーザによってレリーズ釦が押されていないと判定するとステップＳ１３で待機し、レリーズ釦が押されたと判定すると、ステップＳ１４に進む。
【００８９】
ステップＳ１４では、レリーズ釦の押圧操作に応じて、撮影処理を行う。この撮影処理は、静止画を撮影するための処理である。
【００９０】
ステップＳ１５では、ステップＳ１４の撮影処理で得られた画像データ（立体撮影モードの場合には、レイヤー合成画像）を画像記憶部２３に記録させる。
【００９１】
ステップＳ１６では、ステップＳ１４の撮影処理で得られた画像を表示部１９に短時間だけ表示させるレックビュー表示を行う。
【００９２】
ステップＳ１７では、撮影が終了したか否かを判定する。例えば、ユーザによって、電源オフ操作や、画像再生操作が行われると、撮影が終了したと判定して、フローチャートの処理を終了する。一方、撮影が終了していないと判定すると、ステップＳ１１に戻る。
【００９３】
以上、一実施の形態における合成画像作成装置によれば、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成し、作成した複数のレイヤー画像を合成することによって、立体感のある合成画像を作成する。これにより、複雑な画像処理を必要とせずに、通常の二次元画像から立体感のある画像を作成することができる。
【００９４】
レイヤー作成部１１２は、指定された数のレイヤー画像を作成するので、ユーザは、レイヤー画像数を指定することによって、合成画像上の立体感を変更することができる。
【００９５】
レイヤー作成部１１２は、指定された被写体がそれぞれ別のレイヤー画像に含まれるように、複数のレイヤー画像を作成する。これにより、ユーザは、レイヤー画像に含める被写体を指定することによって、合成画像上の立体感を変更することができる。
【００９６】
特に、レイヤー作成部１１２は、画像上の被写体の重なり方に基づいて遠近感を判断して、各レイヤー画像を作成するので、被写体の距離情報を取得しなくても、立体感のある画像を作成することができる。
【００９７】
一実施の形態における合成画像作成装置によれば、レイヤー作成部１１２は、設定された視点に応じたレイヤー画像を作成し、レイヤー合成部１１３は、設定された視点に応じて各レイヤー画像の相対位置を設定し、設定した相対位置にて、複数のレイヤー画像を合成する。これにより、設定された視点に応じて、視点が変化したような表示効果を表現することができる。
【００９８】
また、レイヤー合成部１１３によって生成される立体感のある合成画像を、ライブビュー画像としてカメラ１の表示部１９に表示させることにより、適切な画角や被写体の設定を行うことができる。
【００９９】
さらに、カメラ１の傾きに応じて、各レイヤー画像の相対位置を設定し、設定した相対位置にて、複数のレイヤー画像を合成するので、カメラ１の傾きに応じた面白みのある印象的な合成画像を作成することができる。
【０１００】
上記実施形態では、撮影時にレイヤー合成画像を作成して記録することを説明したが、再生時に、すでに撮影された画像データからレイヤー合成画像を作成して記録するようにしてもよい。撮影された画像データでも、画像データという観点では、撮影時のライブビュー画像と同等だからである。
【０１０１】
なお、上述した一実施の形態の説明では、合成画像作成装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータでソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを合成画像作成プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている合成画像作成プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の合成画像作成装置と同様の処理を実現させる。
【０１０２】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この合成画像作成プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該合成画像作成プログラムを実行するようにしても良い。
【０１０３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１０４】
上述した一実施の形態では、合成画像作成装置を搭載したカメラをデジタルカメラとして説明したが、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【０１０５】
レイヤー作成部１１２は、画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定するとともに、特定した各被写体形状の位置関係に基づいて、レイヤー画像を作成した。しかし、撮影時に各被写体の被写体距離を検出し、検出した被写体距離に基づいて、レイヤー画像を作成するようにしてもよい。
【０１０６】
上述した実施形態では、デジタルカメラ１の右（左）方向の回転角度が大きくなるほど、Ｌ（Ｒ）視点から見たような表示効果が大きくなるような表示を行ったが、２段階や３段階のように、多段階でＬ（Ｒ）視点から見たような表示効果が大きくなるような表示を行うようにしてもよい。
【０１０７】
上述した実施形態では、立体撮影モードに設定されたライブビュー表示時に、立体感のある合成画像をライブビュー画像として表示するようにしたが、上述したように、静止画の再生時に、立体感のある合成画像を再生表示するようにしてもよい。
【符号の説明】
【０１０８】
１１…制御部
１４…角度センサ
１５…撮像部
１９…表示部
１１１…表示制御部
１１２…レイヤー作成部
１１３…レイヤー合成部
１１４…傾き検出部
【技術分野】
【０００１】
本発明は、二次元画像から立体感のある画像を作成する技術に関する。
【背景技術】
【０００２】
画像をデジタル化することによって、画像の加工が容易になり、様々な画像処理・加工技術が開発されている。例えば、画像から特定の人物を抽出するカメラ（特許文献１参照）や、画面上で特定の被写体の範囲を特定する輪郭抽出機能を有するカメラ（特許文献２参照）が知られている。
【０００３】
一方、最近では、撮影により得られた画像に対して画像処理を施すことによって、創作的な画像を生成するカメラが求められ始めている。その１つとして、立体感のある画像を生成できるカメラがいくつか提案されている。例えば、二次元のロゴマークを立体的な画像に合成する画像合成方法が知られている（特許文献３参照）。また、撮影により得られた画像を、遠近感や立体感を強調した画像に変換する画像処理装置も提案されている（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０９８４０４号公報
【特許文献２】特開２０１０−２１３１０５号公報
【特許文献３】特開２００１−２２３８７７号公報
【特許文献４】特開２０１０−１５４４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影により得られた画像を、遠近感や立体感を強調した画像に変換する特許文献４に記載の技術では、被写体の大きさ、位置、明暗、濃淡、鮮明、彩度、色和などを変更する複雑な画像処理を施す必要があった。
【０００６】
本発明は、複雑な画像処理を施すことなく、立体感のある画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る合成画像作成装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、を備える。
【０００８】
本発明の別の態様に係る撮像装置は、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、画像を表示する表示部と、撮影時にライブビュー画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記レイヤー合成部によって作成された立体感のある合成画像を前記ライブビュー画像として前記表示部に表示させる。
【０００９】
本発明のさらに別の態様に係る合成画像作成プログラムは、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するステップと、前記作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するステップとをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、被写体の大きさ等を変更する複雑な画像処理を施すことなく、立体感のある画像を容易に生成することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施の形態における合成画像作成装置を備えたデジタルカメラの構成を示すブロック図である。
【図２】ライブビュー画像の一例を示す図である。
【図３】レイヤー画像数が５に設定された場合のレイヤー画像の生成方法について説明するための図である。
【図４】図３に示す５つのレイヤー画像を合成することによって生成される、立体感のある画像の一例を示す図である。
【図５】図５（Ａ）は、レイヤー画像数を９つとした場合の合成画像の一例を示す図であり、図５（Ｂ）は、レイヤー画像数が５の場合であって、レイヤー画像に影を付加する処理を行った場合の合成画像の一例を示す図である。
【図６】視点が変化したような表示効果を表現する原理を説明するための図である。
【図７】図７（Ａ）は、図４に示す合成画像に対して、Ｌ視点から見たような表示を行った状態を示す図であり、図７（Ｂ）は、図４に示す合成画像に対して、Ｒ視点から見たような表示を行った状態を示す図である。
【図８】図８（Ａ）は、デジタルカメラを傾けていない状態において、表示部に表示される合成画像の一例を示す図であり、図８（Ｂ）は、デジタルカメラが右側に傾けられた状態において、表示部に表示される合成画像の一例を示す図である。
【図９】レイヤー画像に含める被写体を、ユーザが指定するための画面の一例を示す図である。
【図１０】一実施の形態における合成画像作成装置を備えたデジタルカメラによって行われる処理内容を示すフローチャートである。
【図１１】立体ライブビュー表示処理の詳細な内容を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、一実施の形態におけるデジタルカメラ１の構成を示すブロック図である。このデジタルカメラ１は、撮影機能を有する撮像装置であり、また、立体感のある合成画像を作成する合成画像作成装置５でもある。デジタルカメラ１は、制御部１１と、プログラム／データ記憶部１２と、操作部１３と、角度センサ１４と、撮像部１５と、ＳＤＲＡＭ１６と、画像処理部１７と、表示ドライバー部１８と、表示部１９と、圧縮伸長部２０と、再生部２１と、記録部２２と、画像記憶部２３とを備える。
【００１３】
制御部（ＣＰＵ）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、表示制御部１１１、レイヤー作成部１１２、レイヤー合成部１１３、および、傾き検出部１１４が設けられている。表示制御部１１１、レイヤー作成部１１２、レイヤー合成部１１３、および、傾き検出部１１４は、制御プログラムにより実行される処理の一部であるため、制御部１１に含まれる機能部として説明する。
【００１４】
表示制御部１１１は、後述する表示部１９に静止画および動画を含む再生画像を表示する際の表示制御を行う。
【００１５】
レイヤー作成部１１２は、画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定する。レイヤー作成部１１２はさらに、特定した各被写体形状の位置関係に基づいて、レイヤー画像を作成する。レイヤー画像の詳細は後述する。
【００１６】
レイヤー合成部１１３は、レイヤー作成部１１２で作成された複数のレイヤー画像を合成して、立体感のある合成画像を生成する。
【００１７】
傾き検出部１１４は、角度センサ１４で検出されるデジタルカメラ１の角度に基づいて、デジタルカメラ１の傾きを検出する。
【００１８】
制御部１１には、プログラム／データ記憶部１２、操作部１３、角度センサ１４、および、バス２５が接続されている。プログラム／データ記憶部１２には、前述したように。制御部１１において実行するプログラムが記憶されており、各種データも記憶されている。
【００１９】
操作部１３は、ユーザがカメラに指示を与えるための各種操作部材およびタッチパネルを有する。各種操作部材には、例えば、電源釦、レリーズ釦、ＯＫ釦、十字釦、再生釦、テレワイド釦等が含まれる。
【００２０】
バス２５には、制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバー部１８、圧縮伸長部２０、再生部２１、および、記録部２２が接続されている。
【００２１】
撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、および、これらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された静止画像や連続画像の画像データはバス２５に出力される。
【００２２】
ＳＤＲＡＭ１６は、電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される静止画像や連続画像の画像データの一時記憶に用いられる。
【００２３】
画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成、インデックス画像（縮小画像）生成等の各種画像処理を行う。
【００２４】
圧縮伸長部２０は、ＳＤＲＡＭ１６に一時記憶された静止画像や連続画像の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸長するための回路である。なお、画像圧縮は、ＪＰＥＧ、ＴＩＦＦ、ＭＰＥＧに限らず、他の圧縮方式も適用できる。
【００２５】
表示ドライバー部１８は、表示部１９と接続されており、表示部１９に画像を表示させる。表示部１９は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイである。
【００２６】
再生部２１は、画像記憶部２３に記憶されている画像の再生を行う。特に、再生部２１は、画像記憶部２３から、表示部１９に表示するための画像データを読み出す。読み出された画像データは、圧縮伸長部２０において伸長され、伸長された画像データに基づいて、表示部１９に画像が再生表示される。
【００２７】
記録部２２は、圧縮伸長部２０で圧縮された画像データを画像記憶部２３に記録させる。画像記憶部２３は、再生部２１および記録部２２に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。
【００２８】
デジタルカメラ１は、カメラの設定として、立体的な画像を作成して表示する立体撮影モードを設定することができる。立体撮影モードの設定時には、ライブビュー表示するためのライブビュー画像に対して、立体感のある画像を生成するための画像処理が施される。
【００２９】
図２は、ライブビュー画像の一例を示す図である。立体撮影モードの設定時には、ライブビュー画像とともに、立体撮影モードに設定されていることを示す「ＳＥ」（Stereo Effect）という文字３１、および、レイヤー画像数を設定するためのレイヤー設定ウインドウ３２が表示部１９に表示される。
【００３０】
レイヤー設定ウインドウ３２では、「Ａ」、「Ｍ」、「３」、「４」、「５」の５種類の設定が可能である。ユーザが「Ａ」を選択すると、ＡＵＴＯ、すなわち、レイヤー画像数が自動的に設定される。例えば、画像中の被写体数に応じて、レイヤー画像数が設定される。ユーザが「Ｍ」を選択すると、ＭＡＮＵＡＬ、すなわち、レイヤー画像（レイヤー画像数）をユーザが決定することができる。ユーザが「３」、「４」、「５」を選択すると、レイヤー画像数が３、４、５に設定される。
【００３１】
以下では、図２のライブビュー画像を用いて、立体感のある画像を生成する方法について説明する。
【００３２】
図３は、レイヤー画像数が５に設定された場合のレイヤー画像の生成方法について説明するための図である。レイヤー作成部１１２は、処理対象の画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定する。これは、既知の方法を用いて行うことができる。図２に示すライブビュー画像では、ｐ１〜ｐ１０の被写体が特定されている。なお、ｐ１は猫、ｐ２は人物、ｐ３は花、ｐ４は木、ｐ５は車、ｐ６は家、ｐ７〜ｐ９は木、ｐ１０は山をそれぞれ表している。
【００３３】
レイヤー作成部１１２はさらに、特定した各被写体形状の位置関係に基づいて、画像上で遠近感が共通する被写体ごとに、レイヤー画像を作成する。ここでは、レイヤー画像数が５に設定されているため、レイヤー作成部１１２は、５つのレイヤー画像を作成する。具体的には、各被写体の重なり状態、および、画像上の位置関係に基づいて、５つのレイヤー画像を作成する。
【００３４】
１つのレイヤー画像には、遠近感が共通する複数の被写体を含めることができる。遠近感は、画像上での被写体の重なり状態から判断する。すなわち、ある被写体が別の被写体と重なって、その一部が隠れているように見える場合には、一部が隠れている被写体の方がカメラからの距離が遠いと判断する。また、画像上の位置関係からも、遠近感を判断することができる。すなわち、一般的には、カメラからの距離が遠い被写体ほど画像の上の方に位置し、距離が近い被写体ほど、画像の下の方に位置する。従って、画像の上の方に位置している被写体は、画像の下の方に位置している被写体よりも、カメラからの距離が遠いと推定する。さらに、撮影時に撮像部１５でレンズ位置の合焦処理が行われるが、この合焦情報を利用して、各被写体の前後位置関係を解析するようにしてもよい。そして、このような条件の１つ、あるいはいくつかの条件を総合して、被写体の遠近関係を判断する。
【００３５】
図２に示す例では、被写体ｐ２とｐ５の重なり状態から、被写体ｐ２と被写体ｐ５は遠近感が共通しないと判断して、それぞれ別のレイヤー画像に含める。また、被写体ｐ５とｐ６の重なり状態、および、被写体ｐ４とｐ６の重なり状態から、被写体ｐ４と被写体ｐ６はそれぞれ別のレイヤー画像に含め、被写体ｐ５と被写体ｐ６はそれぞれ別のレイヤー画像に含める。同様に、被写体ｐ６とｐ８の重なり状態から、被写体ｐ６と被写体ｐ８はそれぞれ別のレイヤー画像に含め、被写体ｐ８とｐ１０の重なり状態から、被写体ｐ８と被写体ｐ１０はそれぞれ別のレイヤー画像に含める。
【００３６】
レイヤー作成部１１２は、上述した原理に基づいて、５つのレイヤー画像Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５を作成する。図３（Ａ）〜図３（Ｅ）は、レイヤー画像Ｌ１〜Ｌ５の一例を示す図である。
【００３７】
図３（Ａ）に示すように、レイヤー画像Ｌ１には、遠近感が共通すると考えられる被写体ｐ１、ｐ２、ｐ３が含まれている。被写体ｐ１、ｐ２、ｐ３は、画像の下の方に位置しており、被写体ｐ１〜ｐ１０の中でカメラからの距離が最も近いと考えられる被写体である。
【００３８】
レイヤー画像の作成では、画像上で遠近感が共通すると考えられる被写体を縁取りして切り取る処理を行う。この処理は、画像から被写体を切り出す処理であるが、切り出す際に、被写体の輪郭に沿って切り出すのではなく、被写体の輪郭から縁取り部分を残して切り出す。縁取り部分の大きさは、予め設定しておけばよい。また、１つのレイヤー画像に、遠近感が共通する複数の被写体が含まれる場合には、各被写体を別々に切り出さずに、全ての被写体が含まれるように切り出す。図３（Ａ）に示す例では、被写体ｐ１、ｐ２、ｐ３が含まれるように切り出している。
【００３９】
図３（Ｂ）に示すように、レイヤー画像Ｌ２には、遠近感が共通すると考えられる被写体ｐ４、ｐ５が含まれている。この場合も、被写体ｐ４、ｐ５を別々に切り出さずに、被写体ｐ４、ｐ５が含まれるように切り出している。
【００４０】
図３（Ｃ）に示すように、レイヤー画像Ｌ３には、被写体ｐ６が含まれている。
【００４１】
図３（Ｄ）に示すように、レイヤー画像Ｌ４には、遠近感が共通すると考えられる被写体ｐ７、ｐ８、ｐ９が含まれている。この場合も、被写体ｐ７、ｐ８、ｐ９を別々に切り出さずに、被写体ｐ７、ｐ８、ｐ９が含まれるように切り出している。
【００４２】
図３（Ｅ）に示すように、レイヤー画像Ｌ５には、被写体ｐ１〜ｐ１０の中で、カメラからの距離が最も遠いと考えられる被写体ｐ１０が含まれている。本実施形態では、カメラからの距離が最も遠いと考えられる被写体ｐ１０に対しては、縁取り処理を行わないものとする。ただし、カメラからの距離が最も遠いと考えられる被写体に対しても、縁取り処理を行うようにしてもよい。
【００４３】
レイヤー画像ごとに、縁取り部分に異なる色を付加するようにしてもよい。例えば、レイヤー画像Ｌ１の縁取り部分３５を赤色に、レイヤー画像Ｌ２の縁取り部分３６を青色に、レイヤー画像Ｌ３の縁取り部分３７を黄色に、レイヤー画像Ｌ４の縁取り部分Ｌ４を緑色にする。このように、各レイヤー画像の縁取り部分に異なる色を付加することにより、各レイヤー画像を合成することによって生成される合成画像は、カラフルな楽しい画像となる。また、レイヤー画像間の相違が際だつので、合成画像の立体感をより強調させることができる。
【００４４】
図４は、図３に示す５つのレイヤー画像Ｌ１〜Ｌ５を合成することによって生成される、立体感のある合成画像の一例を示す図である。レイヤー合成部１１３は、レイヤー作成部１１２によって作成された５つのレイヤー画像Ｌ１〜Ｌ５を合成する。
【００４５】
レイヤー画像の合成では、カメラからの距離が遠いと考えられる被写体のレイヤー画像から順に合成を行う。図３に示す例では、カメラからの距離が最も遠いと考えられる被写体ｐ１０を含むレイヤー画像Ｌ５から、Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に合成を行う。従って、合成後の画像上では、レイヤー画像Ｌ５が一番下に位置し、レイヤー画像Ｌ１が一番上に位置する。なお、各被写体の相対位置関係は、元の撮影画像と合成画像とで変化はない。
【００４６】
図４に示すように、遠近感が共通する被写体を含むレイヤー画像を複数合成することによって生成される合成画像は、飛び出す絵本のような立体感のある画像となる。
【００４７】
図５（Ａ）は、レイヤー画像数を９つとした場合に、レイヤー合成部１１３による合成処理によって生成された合成画像の一例を示す図である。レイヤー画像数が９つの場合、レイヤー作成部１１２は、９つのレイヤー画像Ｌ１〜Ｌ９を作成する。図５（Ａ）に示す例では、図２の被写体ｐ１がレイヤー画像Ｌ１に、被写体ｐ２がレイヤー画像Ｌ２に、被写体ｐ３がレイヤー画像Ｌ３に、被写体ｐ４がレイヤー画像Ｌ４に、被写体ｐ５がレイヤー画像Ｌ５に、被写体ｐ６がレイヤー画像Ｌ６に含まれるように、レイヤー画像が作成されている。また、被写体ｐ８、ｐ９がレイヤー画像Ｌ７に、被写体ｐ７がレイヤー画像Ｌ８に、被写体ｐ１０がレイヤー画像Ｌ９に含まれるように、レイヤー画像が作成されている。
【００４８】
図５（Ｂ）は、レイヤー画像数が５の場合であって、レイヤー画像に影を付加する処理を行った場合の合成画像の一例を示す図である。レイヤー作成部１１２は、上述した方法によって、５つのレイヤー画像を作成するとともに、作成したレイヤー画像に対して、影を付ける処理を行う。影の付加は、既知の方法を用いることができる。
【００４９】
影の付加は、カメラからの距離が近いと考えられる被写体を含むレイヤー画像に対して行う。また、カメラからの距離が近い被写体を含むレイヤー画像ほど、大きい影を付加する。図５（Ｂ）に示す例では、レイヤー画像Ｌ１、Ｌ２に対して、影５１、５２がそれぞれ付加され、レイヤー画像Ｌ３、Ｌ４、Ｌ５に対しては、影が付加されていない。影５１、５２はそれぞれ、左方向から光が照射された場合に生じる影を表している。また、レイヤー画像Ｌ１に付加される影５１は、レイヤー画像Ｌ２に付加される影５２よりも大きい。これにより、レイヤー画像Ｌ１〜Ｌ５を合成することによって生成される合成画像では、より立体感を表現することができる。
【００５０】
本実施形態では、デジタルカメラ１の左右方向における回転操作に応じて、ユーザの視点が変化したような表示方法を行う。この表示方法について、図６および図７を用いて説明する。
【００５１】
図６は、視点が変化したような表示効果を表現する原理を説明するための図である。図６（Ａ）は、３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３を重ねた状態を示す図である。図６（Ａ）では、３つの画像が重なっていることを分かりやすく表示するために、画像の正面から見た図ではなく、右斜め上方から見た図として表している。ここでは、画像の正面から見る視点を正面視点、正面視点に対して、画像を左側から見る視点をＬ視点、正面視点に対して、画像を右側から見る視点をＲ視点と呼ぶ。
【００５２】
図６（Ｂ）は、Ｌ視点から見たような表示効果を表現する表示方法の一例を示す図である。図６（Ｂ）に示すように、重ねられた３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３のうち、真ん中に位置するレイヤー画像Ｌ２を、一番奥に位置するレイヤー画像Ｌ３に対して右側にずらし、一番手前に位置するレイヤー画像Ｌ１をレイヤー画像Ｌ２よりも右側にずらす。この各レイヤー画像の相対位置を変更する処理は、レイヤー合成部１１３によって行う。また、各レイヤー画像Ｌ１、Ｌ２、Ｌ３を、画像の上下方向が左側に行くに従って徐々に拡大するように変形する。レイヤー画像Ｌ１、Ｌ２、Ｌ３の左側に行くに従って徐々に拡大する処理は、レイヤー作成部１１２によって行う。
【００５３】
本実施形態では、デジタルカメラ１を構えたユーザがカメラを右方向に回転させる操作、すなわち、デジタルカメラ１の右側を奥（被写体側）に、かつ、左側を手前（ユーザ側）に動かす操作が行われると、Ｌ視点から見たような表示効果を表現する表示を行う。
【００５４】
図６（Ｃ）は、Ｒ視点から見たような表示効果を表現する表示方法の一例を示す図である。図６（Ｃ）に示すように、重ねられた３つのレイヤー画像Ｌ１、Ｌ２、Ｌ３のうち、真ん中に位置するレイヤー画像Ｌ２を、一番奥に位置するレイヤー画像Ｌ３に対して左側にずらし、一番手前に位置するレイヤー画像Ｌ１をレイヤー画像Ｌ２よりも左側にずらす。この各レイヤー画像の相対位置を変更する処理は、レイヤー合成部１１３によって行う。また、各レイヤー画像Ｌ１、Ｌ２、Ｌ３を、画像の上下方向が右側に行くに従って徐々に拡大するように変形する。レイヤー画像Ｌ１、Ｌ２、Ｌ３の右側に行くに従って徐々に拡大する処理は、レイヤー作成部１１２によって行う。
【００５５】
本実施形態では、デジタルカメラ１を構えたユーザがカメラを左方向に回転させる操作、すなわち、デジタルカメラ１の左側を奥（被写体側）に、かつ、右側を手前（ユーザ側）に動かす操作が行われると、Ｒ視点から見たような表示効果を表現する表示を行う。
【００５６】
図７（Ａ）は、図４に示す合成画像に対して、Ｌ視点から見たような表示を行った状態を示す図である。図４に示す合成画像が表示部１９に表示されている状態で、デジタルカメラ１を右方向に回転させる操作が行われると、表示部１９には、図７（Ａ）に示すような合成画像が表示される。ただし、図７（Ａ）には、説明のため、レイヤー画像をずらしたことを示す矢印７１〜７３も合わせて表示している。
【００５７】
上述したように、Ｌ視点から見たような表示を行う場合には、一番奥に位置するレイヤー画像Ｌ５に対して、レイヤー画像Ｌ１〜Ｌ４を右側にずらす。このとき、手前に位置するレイヤー画像ほど、右側にずらす量を大きくする。従って、レイヤー画像Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に、右側にずらす量は大きくなる。また、本実施形態では、最も奥に位置するレイヤー画像Ｌ５の左端を表示部１９の表示画面の左端と一致させる。さらに、各レイヤー画像Ｌ１〜Ｌ５の左側を画像の上下方向に拡大する。
【００５８】
特に、本実施形態では、角度センサ１４で検出されるデジタルカメラ１の角度に応じて、表示方法を変更する。すなわち、デジタルカメラ１の右方向の回転角度が大きくなるほど、Ｌ視点から見たような表示効果が大きくなるような表示を行う。具体的には、デジタルカメラ１の右方向の回転角度が大きくなるほど、レイヤー画像を右側にずらす量を大きくするとともに、各レイヤー画像の左側を上下方向に拡大する量を大きくする。
【００５９】
図７（Ｂ）は、図４に示す合成画像に対して、Ｒ視点から見たような表示を行った状態を示す図である。図４に示す合成画像が表示部１９に表示されている状態で、デジタルカメラ１を左方向に回転させる操作が行われると、表示部１９には、図７（Ｂ）に示すような合成画像が表示される。ただし、図７（Ｂ）には、説明のため、レイヤー画像をずらしたことを示す矢印７４〜７６も合わせて表示している。
【００６０】
上述したように、Ｒ視点から見たような表示を行う場合には、一番奥に位置するレイヤー画像Ｌ５に対して、レイヤー画像Ｌ１〜Ｌ４を左側にずらす。このとき、手前に位置するレイヤー画像ほど、左側にずらす量を大きくする。従って、レイヤー画像Ｌ４、Ｌ３、Ｌ２、Ｌ１の順に、左側にずらす量は大きくなる。また、本実施形態では、最も奥に位置するレイヤー画像Ｌ５の右端を表示部１９の表示画面の右端と一致させる。さらに、各レイヤー画像Ｌ１〜Ｌ５の右側を画像の上下方向に拡大する。
【００６１】
また、Ｌ視点から見たような表示を行う場合と同様に、デジタルカメラ１の左方向の回転角度が大きくなるほど、Ｒ視点から見たような表示効果が大きくなるような表示を行う。具体的には、デジタルカメラ１の左方向の回転角度が大きくなるほど、レイヤー画像を左側にずらす量を大きくするとともに、各レイヤー画像の右側を上下方向に拡大する量を大きくする。
【００６２】
本実施形態では、デジタルカメラ１の傾け操作に応じて、合成画像の表示を変更する。デジタルカメラ１の傾け操作に応じた合成画像の表示方法について、図８を用いて説明する。
【００６３】
図８（Ａ）は、デジタルカメラ１を傾けていない状態において、表示部１９に表示される合成画像の一例を示す図である。また、図８（Ｂ）は、デジタルカメラ１が右側に傾けられた状態において、表示部１９に表示される合成画像の一例を示す図である。
【００６４】
図８（Ｂ）に示すように、デジタルカメラ１が右側に傾けられると、傾けられた角度に応じて、各レイヤー画像Ｌ１〜Ｌ５を右側にずらし、ずらした状態で各レイヤー画像Ｌ１〜Ｌ５を合成する。各レイヤー画像Ｌ１〜Ｌ５を右側にずらす量は、傾けられた角度が大きいほど大きくする。従って、デジタルカメラ１を徐々に右側に傾けていくと、各レイヤー画像Ｌ１〜Ｌ５が徐々に右側に滑っていくような表示が行われる。
【００６５】
図示はしないが、デジタルカメラ１が左側に傾けられると、傾けられた角度に応じて、各レイヤー画像Ｌ１〜Ｌ５を左側にずらして、合成する処理を行う。各レイヤー画像Ｌ１〜Ｌ５を左側にずらす量は、傾けられた角度が大きいほど大きくする。従って、デジタルカメラ１を徐々に左側に傾けていくと、各レイヤー画像Ｌ１〜Ｌ５が徐々に左側に滑っていくような表示が行われる。
【００６６】
また、デジタルカメラ１が傾けられた状態から、傾いていない状態に戻されると、各レイヤー画像Ｌ１〜Ｌ５を元の位置（図８（Ａ）参照）に戻す処理を行う。
【００６７】
レイヤー設定ウインドウ３２が「Ｍ」（Manual）に設定された場合に、ユーザがレイヤー画像に含める被写体を指定する方法について説明する。図９は、レイヤー画像に含める被写体を、ユーザが指定するための画面の一例を示す図である。レイヤー設定ウインドウ３２が「Ｍ」に設定されると、カーソル９１が画面上に表示される。ユーザは、画面上に表示されるカーソル９１を操作することによって、レイヤー画像に含める被写体を指定することができる。図９では、人物の被写体９２と、山の被写体９３がそれぞれ指定されて、連番の白抜きの番号が付された状態を示している。
【００６８】
レイヤー作成部１１２は、カーソル９１で指定された被写体をそれぞれ別のレイヤー画像として作成する。指定されなかった被写体は、その近傍で指定された被写体と同じレイヤーに自動的に含まれるようにする。
【００６９】
なお、レイヤー画像に含める被写体を指定する方法は、カーソルを用いる方法に限定されることはない。例えば、表示部１９の前面、または、表示部１９と一体的にタッチパネルを設け、タッチパネルの操作によって、レイヤー画像に含める被写体を指定するようにしてもよい。
【００７０】
図１０は、一実施の形態における合成画像作成装置５を備えたデジタルカメラ１によって行われる処理内容を示すフローチャートである。デジタルカメラ１が撮影を行う撮影モードに設定されると、制御部１１は、ステップＳ１１の処理を開始する。
【００７１】
ステップＳ１１では、デジタルカメラ１が立体撮影モードに設定されたか否かを判定する。デジタルカメラ１が立体撮影モードに設定されていないと判定すると、ステップＳ１９に進む。
【００７２】
ステップＳ１９では、通常のライブビュー表示処理を行う。すなわち、ライブビュー画像を表示部１９に表示させる。
【００７３】
一方、ステップＳ１１において、デジタルカメラ１が立体撮影モードに設定されていると判定すると、ステップＳ１２に進む。ステップＳ１２では、立体ライブビュー表示処理を行う。立体ライブビュー表示処理の詳細な内容を、図１１に示すフローチャートを用いて説明する。
【００７４】
図１１のステップＳ３１では、レイヤー設定がマニュアルに設定されているか否か、すなわち、レイヤー設定ウインドウ３２（図２参照）が「Ｍ」に設定されているか否かを判定する。レイヤー設定がマニュアルに設定されていないと判定すると、ステップＳ３２に進み、レイヤー設定がマニュアルに設定されていると判定すると、ステップＳ４０に進む。
【００７５】
ステップＳ３２では、レイヤー画像数を設定する。レイヤー設定ウインドウ３２（図２参照）で、ユーザが「３」、「４」、「５」などの数字を選択した場合には、選択された数字をレイヤー画像数に設定する。レイヤー設定ウインドウ３２で、ユーザが「Ａ」を選択した場合には、レイヤー画像数を任意に設定する。例えば、画像上の被写体を抽出し、抽出した被写体の数をレイヤー画像数に設定してもよいし、上述したように、遠近感が共通する複数の被写体を一つのレイヤー画像に含めるように、レイヤー画像数を設定してもよい。
【００７６】
一方、ステップＳ４０では、レイヤー画像を指定する入力操作が完了したか否かを判定する。上述したように、ユーザは、画像に重畳して表示されるカーソル９１を操作することによって、レイヤー画像に含める被写体、すなわち、レイヤー画像を指定することができる。ユーザは、レイヤー画像の指定が終了すると、図示しない確定釦を押す。確定釦が押されておらず、レイヤー画像を指定する入力操作が完了していないと判定するとステップＳ４０で待機し、確定釦が押されると、レイヤー画像を指定する入力操作が完了したと判定して、ステップＳ３３に進む。
【００７７】
ステップＳ３３では、レイヤー作成部１１２によって、レイヤー画像を作成する。レイヤー画像を作成する方法については既に説明したので、ここでは詳しい説明は省略する。
【００７８】
ステップＳ３４では、デジタルカメラ１の左右方向における回転操作を検出したか否かを判定する。この判定は、角度センサ１４によって検出されるデジタルカメラ１の角度に基づいて、制御部１１の傾き検出部１１４が行う。デジタルカメラ１の左右方向における回転操作を検出したと判定するとステップＳ４１に進み、回転操作を検出していないと判定するとステップＳ３５に進む。
【００７９】
ステップＳ３５では、視点をデフォルトに設定する。デフォルトの視点とは、正面視点（図６（Ａ）参照）である。
【００８０】
ステップＳ３６では、レイヤー合成部１１３によって、ステップＳ３３で作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を生成する。
【００８１】
一方、ステップＳ４１では、傾き検出部１１４によって、角度センサ１４から入力される角度に基づいて、デジタルカメラ１の回転方向および回転角度を検出する。
【００８２】
ステップＳ４２では、レイヤー合成部１１３によって、ステップＳ４１で検出されたデジタルカメラ１の回転方向および回転角度に応じて、ユーザの視点が変化したような合成画像が生成されるように、ステップＳ３３で作成された複数のレイヤー画像を変形し合成する。
【００８３】
上述したように、デジタルカメラ１の右方向の回転操作を検出すると、Ｌ視点から見たような合成画像（図７（Ａ）参照）を生成する。このとき、デジタルカメラ１の右方向の回転角度が大きくなるほど、Ｌ視点から見たような表示効果が大きくなるような合成画像を生成する。
【００８４】
また、デジタルカメラ１の左方向の回転操作を検出すると、Ｒ視点から見たような合成画像（図７（Ｂ）参照）を生成する。このとき、デジタルカメラ１の左方向の回転角度が大きくなるほど、Ｒ視点から見たような表示効果が大きくなるような合成画像を生成する。
【００８５】
ステップＳ３７では、ステップＳ３６またはステップＳ４２で生成された合成画像を、ライブビュー画像として表示部１９に表示する。これにより、表示部１９には、立体感のあるライブビュー画像が表示される。
【００８６】
ステップＳ３８では、デジタルカメラ１の傾き操作を検出したか否かを判定する。この判定は、角度センサ１４によって検出されるデジタルカメラ１の角度に基づいて、制御部１１の傾き検出部１１４が行う。デジタルカメラ１の傾き操作を検出したと判定するとステップＳ４４に進み、傾き操作を検出していないと判定すると、図１０に示すフローチャートの処理に戻る。
【００８７】
ステップＳ４４では、レイヤー合成部１１３によって、デジタルカメラ１の傾き角度に応じて、各レイヤー画像を傾けられた方向にずらし、ずらした状態で、各レイヤー画像を合成する。そして、生成された合成画像を、ライブビュー画像として表示部１９に表示する。
【００８８】
図１０に示すフローチャートに戻って説明を続ける。ステップＳ１３では、ユーザによってレリーズ釦が押されたか否かを判定する。ユーザによってレリーズ釦が押されていないと判定するとステップＳ１３で待機し、レリーズ釦が押されたと判定すると、ステップＳ１４に進む。
【００８９】
ステップＳ１４では、レリーズ釦の押圧操作に応じて、撮影処理を行う。この撮影処理は、静止画を撮影するための処理である。
【００９０】
ステップＳ１５では、ステップＳ１４の撮影処理で得られた画像データ（立体撮影モードの場合には、レイヤー合成画像）を画像記憶部２３に記録させる。
【００９１】
ステップＳ１６では、ステップＳ１４の撮影処理で得られた画像を表示部１９に短時間だけ表示させるレックビュー表示を行う。
【００９２】
ステップＳ１７では、撮影が終了したか否かを判定する。例えば、ユーザによって、電源オフ操作や、画像再生操作が行われると、撮影が終了したと判定して、フローチャートの処理を終了する。一方、撮影が終了していないと判定すると、ステップＳ１１に戻る。
【００９３】
以上、一実施の形態における合成画像作成装置によれば、画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成し、作成した複数のレイヤー画像を合成することによって、立体感のある合成画像を作成する。これにより、複雑な画像処理を必要とせずに、通常の二次元画像から立体感のある画像を作成することができる。
【００９４】
レイヤー作成部１１２は、指定された数のレイヤー画像を作成するので、ユーザは、レイヤー画像数を指定することによって、合成画像上の立体感を変更することができる。
【００９５】
レイヤー作成部１１２は、指定された被写体がそれぞれ別のレイヤー画像に含まれるように、複数のレイヤー画像を作成する。これにより、ユーザは、レイヤー画像に含める被写体を指定することによって、合成画像上の立体感を変更することができる。
【００９６】
特に、レイヤー作成部１１２は、画像上の被写体の重なり方に基づいて遠近感を判断して、各レイヤー画像を作成するので、被写体の距離情報を取得しなくても、立体感のある画像を作成することができる。
【００９７】
一実施の形態における合成画像作成装置によれば、レイヤー作成部１１２は、設定された視点に応じたレイヤー画像を作成し、レイヤー合成部１１３は、設定された視点に応じて各レイヤー画像の相対位置を設定し、設定した相対位置にて、複数のレイヤー画像を合成する。これにより、設定された視点に応じて、視点が変化したような表示効果を表現することができる。
【００９８】
また、レイヤー合成部１１３によって生成される立体感のある合成画像を、ライブビュー画像としてカメラ１の表示部１９に表示させることにより、適切な画角や被写体の設定を行うことができる。
【００９９】
さらに、カメラ１の傾きに応じて、各レイヤー画像の相対位置を設定し、設定した相対位置にて、複数のレイヤー画像を合成するので、カメラ１の傾きに応じた面白みのある印象的な合成画像を作成することができる。
【０１００】
上記実施形態では、撮影時にレイヤー合成画像を作成して記録することを説明したが、再生時に、すでに撮影された画像データからレイヤー合成画像を作成して記録するようにしてもよい。撮影された画像データでも、画像データという観点では、撮影時のライブビュー画像と同等だからである。
【０１０１】
なお、上述した一実施の形態の説明では、合成画像作成装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータでソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを合成画像作成プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている合成画像作成プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の合成画像作成装置と同様の処理を実現させる。
【０１０２】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この合成画像作成プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該合成画像作成プログラムを実行するようにしても良い。
【０１０３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１０４】
上述した一実施の形態では、合成画像作成装置を搭載したカメラをデジタルカメラとして説明したが、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【０１０５】
レイヤー作成部１１２は、画像の輝度差およびコントラストから、各被写体の輪郭を検出し、さらに被写体の色や形の情報を考慮して、各被写体の形状を特定するとともに、特定した各被写体形状の位置関係に基づいて、レイヤー画像を作成した。しかし、撮影時に各被写体の被写体距離を検出し、検出した被写体距離に基づいて、レイヤー画像を作成するようにしてもよい。
【０１０６】
上述した実施形態では、デジタルカメラ１の右（左）方向の回転角度が大きくなるほど、Ｌ（Ｒ）視点から見たような表示効果が大きくなるような表示を行ったが、２段階や３段階のように、多段階でＬ（Ｒ）視点から見たような表示効果が大きくなるような表示を行うようにしてもよい。
【０１０７】
上述した実施形態では、立体撮影モードに設定されたライブビュー表示時に、立体感のある合成画像をライブビュー画像として表示するようにしたが、上述したように、静止画の再生時に、立体感のある合成画像を再生表示するようにしてもよい。
【符号の説明】
【０１０８】
１１…制御部
１４…角度センサ
１５…撮像部
１９…表示部
１１１…表示制御部
１１２…レイヤー作成部
１１３…レイヤー合成部
１１４…傾き検出部
【特許請求の範囲】
【請求項１】
画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、
前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、
を備えることを特徴とする合成画像作成装置。
【請求項２】
前記レイヤー作成部は、指定された数のレイヤー画像を作成する、
ことを特徴とする請求項１に記載の合成画像作成装置。
【請求項３】
前記レイヤー作成部は、指定された被写体がそれぞれ別のレイヤー画像に含まれるように、複数のレイヤー画像を作成する、
ことを特徴とする請求項１または請求項２に記載の合成画像作成装置。
【請求項４】
前記レイヤー作成部は、画像上の被写体の重なり方に基づいて遠近感を判断して、各レイヤー画像を作成する、
ことを特徴とする請求項１または請求項２に記載の合成画像作成装置。
【請求項５】
前記レイヤー作成部は、設定された視点に応じたレイヤー画像を作成し、
前記レイヤー合成部は、設定された視点に応じて各レイヤー画像の相対位置を設定し、設定した相対位置にて、前記レイヤー作成部によって作成されたレイヤー画像を合成する、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の合成画像作成装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の合成画像作成装置と、
画像を表示する表示部と、
撮影時にライブビュー画像を前記表示部に表示させる表示制御部と、
を備え、
前記表示制御部は、前記レイヤー合成部によって作成された立体感のある合成画像を前記ライブビュー画像として前記表示部に表示させる、
ことを特徴とする撮像装置。
【請求項７】
撮像装置の傾きを検出する傾き検出部をさらに備え、
前記レイヤー合成部は、前記傾き検出部によって検出された撮像装置の傾きに応じて、各レイヤー画像の相対位置を設定し、設定した相対位置にて、前記レイヤー作成部によって作成されたレイヤー画像を合成する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するステップと、
前記作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するステップと、
をコンピュータに実行させるための合成画像作成プログラム。
【請求項１】
画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するレイヤー作成部と、
前記レイヤー作成部によって作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するレイヤー合成部と、
を備えることを特徴とする合成画像作成装置。
【請求項２】
前記レイヤー作成部は、指定された数のレイヤー画像を作成する、
ことを特徴とする請求項１に記載の合成画像作成装置。
【請求項３】
前記レイヤー作成部は、指定された被写体がそれぞれ別のレイヤー画像に含まれるように、複数のレイヤー画像を作成する、
ことを特徴とする請求項１または請求項２に記載の合成画像作成装置。
【請求項４】
前記レイヤー作成部は、画像上の被写体の重なり方に基づいて遠近感を判断して、各レイヤー画像を作成する、
ことを特徴とする請求項１または請求項２に記載の合成画像作成装置。
【請求項５】
前記レイヤー作成部は、設定された視点に応じたレイヤー画像を作成し、
前記レイヤー合成部は、設定された視点に応じて各レイヤー画像の相対位置を設定し、設定した相対位置にて、前記レイヤー作成部によって作成されたレイヤー画像を合成する、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の合成画像作成装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の合成画像作成装置と、
画像を表示する表示部と、
撮影時にライブビュー画像を前記表示部に表示させる表示制御部と、
を備え、
前記表示制御部は、前記レイヤー合成部によって作成された立体感のある合成画像を前記ライブビュー画像として前記表示部に表示させる、
ことを特徴とする撮像装置。
【請求項７】
撮像装置の傾きを検出する傾き検出部をさらに備え、
前記レイヤー合成部は、前記傾き検出部によって検出された撮像装置の傾きに応じて、各レイヤー画像の相対位置を設定し、設定した相対位置にて、前記レイヤー作成部によって作成されたレイヤー画像を合成する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
画像上で遠近感が共通する被写体を縁取りして切り取ることによって、１つのレイヤー画像とし、被写体の遠近感に応じて複数のレイヤー画像を作成するステップと、
前記作成された複数のレイヤー画像を合成することによって、立体感のある合成画像を作成するステップと、
をコンピュータに実行させるための合成画像作成プログラム。
【図６】
【図１０】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５１７２４（Ｐ２０１２−１５１７２４Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−９６２０（Ｐ２０１１−９６２０）
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]