撮像装置及び画像通信システム
【課題】３Ｄ表示可能な被写体画像を背景画像と合成した合成画像であって、違和感の少ない合成画像を手軽に生成することができる撮像装置等を提供する。
【解決手段】撮像部と、２つの画像に基づく３次元画像を表示可能な表示部と、撮像部により生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、２つの撮影画像から背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、画像抜出し部により抜き出された２つの主要被写体画像を背景画像に貼り付けて、右目及び左目に対応する２つの合成画像を生成する画像合成部と、タッチパネルと、該パッチパネルへの入力に応じて２つの合成画像における主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部とを備える。
【解決手段】撮像部と、２つの画像に基づく３次元画像を表示可能な表示部と、撮像部により生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、２つの撮影画像から背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、画像抜出し部により抜き出された２つの主要被写体画像を背景画像に貼り付けて、右目及び左目に対応する２つの合成画像を生成する画像合成部と、タッチパネルと、該パッチパネルへの入力に応じて２つの合成画像における主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像して表示する撮像装置、及び該撮像装置を含み、所定の通信規格にしたがって画像の通信を行う画像通信システムに関する。
【背景技術】
【０００２】
近年、同一の被写体に対して複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を撮像するデジタルステレオカメラ等の撮像装置が普及しつつある。最近では、３Ｄの動画撮影を行うことができるデジタルカメラや、３Ｄ画像を視聴できるテレビも登場している。
【０００３】
一方、従来、合成写真を作成する様々な機器が開発されている。例えば、特許文献１には、背景画像と人物等の写真画像とフレーム画像とを重ねて表示する写真撮影遊戯機が開示されている。また、連写された画像を元に動画の合成写真を作成するデジタルカメラも開発されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６５１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、３Ｄ表示可能な人物等の被写体画像を別の背景画像に合成する場合、被写体画像の飛び出し感や引っ込み感といった立体感が背景画像とマッチせず、合成画像を３Ｄ表示すると全体的に不自然になることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、３Ｄ表示可能な被写体画像を背景画像と合成した合成画像であって、違和感の少ない３Ｄ合成画像を手軽に生成することができる撮像装置と、そのような撮像装置を含み、画像の通信を行う画像通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、２つの画像に基づく３次元画像を表示可能な表示部と、前記撮像部によって生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、前記２つの撮影画像から、背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、前記画像抜出し部によって抜き出された前記２つの主要被写体画像を所定の背景画像に貼り付けることにより、右目及び左目に対応する２つの合成画像を生成する画像合成部と、外部からの操作の入力を受け付ける入力受付部と、前記入力受付部によって受け付けられた入力に応じて、前記２つの合成画像における前記２つの主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部と、を備えることを特徴とする。
【０００８】
上記撮像装置において、前記主要被写体は、前記２つの撮影画像における視野の前方又は中央部に位置する画像であることを特徴とする。
【０００９】
上記撮像装置において、前記主要被写体は、前記２つの撮影画像において最も視差が大きい画像であることを特徴とする。
【００１０】
上記撮像装置は、前記撮像部の視野領域を照明する発光部をさらに備え、前記主要被写体は、前記発光部を発光させた場合、反射光が最も強くなる領域の画像であることを特徴とする。
【００１１】
上記撮像装置において、前記画像合成部は、前記２つの主要被写体画像を同一の背景画像に貼り付けることにより、背景が２次元画像として表示される前記２つの合成画像を生成することを特徴とする。
【００１２】
上記撮像装置において、前記画像合成部は、前記２つの主要被写体画像を、視野の左右方向の一端部同士が互いに重なる２つの背景画像にそれぞれ貼り付けることにより、背景が３次元画像として表示可能な前記２つの合成画像を生成することを特徴とする。
【００１３】
上記撮像装置は、フレームシーケンシャル方式で３次元画像を表示する表示画面を高速連写撮影することにより生成された撮影画像から、右目及び左目に対応する２つの表示画面撮影画像を取得する画像取得部をさらに備え、前記画像合成部は、前記画像取得部によって取得された前記２つの表示画面撮影画像に前記２つの主要被写体画像をそれぞれ貼り付けることにより、前記２つの合成画像を生成することを特徴とする。
【００１４】
上記撮像装置は、前記画像取得部によって取得された前記２つの表示画面撮影画像に基づく３次元画像が表示された場合に、該３次元画像が表示画面から仮想的に引っ込んで見えるように、前記２つの表示画面撮影画像の右目と左目との対応を判別する左右画像判別部をさらに備えることを特徴とする。
【００１５】
上記撮像装置は、前記表示部に対し、２つの画像に基づく３次元画像の表示と、２つの画像を重ね合わせた２次元画像の表示との内のいずれかを、外部から入力される信号に従い切り換えて表示させる表示制御部をさらに備えることを特徴とする。
【００１６】
上記撮像装置において、前記入力受付部は、前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルであり、前記位置調整部は、前記タッチパネルに接触した物体の軌跡に応じて前記主要被写体画像の視差を調整することを特徴とする。
【００１７】
上記撮像装置において、前記位置調整部は、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像の左右方向の一端部同士が重なる重なり領域を前記軌跡に応じて変化させることにより視差を調整することを特徴とする。
【００１８】
上記撮像装置において、前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて移動させることにより、前記背景画像に対する前記主要被写体画像の位置を移動させることを特徴とする。
【００１９】
上記撮像装置において、前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて回転させることにより、前記背景画像の面内で前記主要被写体画像を回転させることを特徴とする。
【００２０】
上記撮像装置は、前記２つの画像を用いて、前記外部機器で表示させるために送信する送信用画像を生成する送信用画像生成部と、前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部とをさらに備えることを特徴とする。
【００２１】
上記撮像装置において、前記撮像部は、前記２つの画像をそれぞれ撮像する２つの光学系を有することを特徴とする。
【００２２】
上記撮像装置において、前記撮像部は、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有し、前記画像生成部は、前記撮像部が連続的に撮像した画像の中から前記２つの画像を抽出することを特徴とする。
【００２３】
上記撮像装置において、前記表示制御部は、前記２つの画像にそれぞれ対応する２つの画像データを、前記表示画面における水平方向の１画素ごとに交互に並べて前記表示部に出力する制御を行うことを特徴とする。
【００２４】
本発明に係る画像通信システムは、上記撮像装置と、前記撮像装置と所定の通信規格にしたがって通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置とを備えることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、背景画像に貼り付けられた主要被写体画像の視差を容易に調整可能とするので、背景と主要被写体画像との間の違和感を低減することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の実施の形態１に係る撮像装置の構成を示す図である。
【図２】図２は、図１に示す撮像装置が備える表示部の概略構成を示す模式図である。
【図３】図３は、図１に示す撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【図４】図４は、図３に示す状況下で撮像部が被写体に対して互いの視野の左右方向の一端部同士が重なりを有する２つの画像データに対応する画像の一例を示す図である。
【図５】図５は、図３に示す状況下で撮像部が生成した右目画像と左目画像とを仮想的に重ね合わせた画像の一例を示す図である。
【図６】図６は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第１例を説明する図である。
【図７】図７は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第２例を説明する図である。
【図８】図８は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第３例を説明する図である。
【図９】図９は、テンプレート画像の一例を示す図である。
【図１０】図１０は、テンプレート画像に主要被写体画像を貼り付けた合成画像の一例を示す図である。
【図１１】図１１は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整（飛び出し距離を増加）する様子を示す模式図である。
【図１２】図１２は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の位置を調整する様子を示す模式図である。
【図１３】図１３は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整（引っ込み距離を増加）する様子を示す模式図である。
【図１４】図１４は、図１に示す撮像装置の動作を示すフローチャートである。
【図１５】図１５は、テンプレート画像選択画面の一例を示す図である。
【図１６】図１６は、主要被写体を撮影する様子を示す模式図である。
【図１７】図１７は、図１に示す撮像装置の再生表示処理における動作を示すフローチャートである。
【図１８】図１８は、右目合成画像と左目合成画像との重ね合わせ画像を表示する撮像装置の背面側を示す模式図である。
【図１９】図１９は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整する様子を示す模式図である。
【図２０】図２０は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整する様子を示す模式図である。
【図２１】図２１は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図２２】図２２は、図２１に示す撮像装置でテレビの表示画面を撮影する様子を示す模式図である。
【図２３】図２３は、テレビに表示された映像から撮像装置に画像を取り込む方法を説明する図である。
【図２４】図２４は、右目画像と左目画像との判別方法を説明する図である。
【図２５】図２５は、図２１に示す撮像装置の動作を示すフローチャートである。
【図２６】図２６は、本発明の実施の形態３に係る画像通信システムの構成を示す模式図である。
【図２７】図２７は、図２６に示す撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置１の構成を示すブロック図である。図１に示すように、撮像装置１は、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像に対応する画像データを生成する撮像部２と、撮像装置１の姿勢を検出する姿勢検出部３と、撮像装置１の各種情報の入力を受け付ける操作入力部４と、撮影日時の判定機能やタイマ機能を有する時計５と、２次元画像（以下、「２Ｄ画像」という）または３Ｄ画像を表示する表示部６と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル７と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部８と、撮像装置１の動作を制御する制御部９とを備える。
【００２９】
撮像部２は、互いに異なる光学系を有する第１撮像部２１と、第２撮像部２２と、発光部（ストロボ）２３とを備える。第１撮像部２１及び第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。
【００３０】
第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈとを有する。
【００３１】
レンズ部２１ａは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等によって構成され、レンズ部２１ａのフォーカスレンズやズームレンズ等を光軸Ｌ１上で移動させることにより、レンズ部２１ａのピント位置や焦点距離の変更を行う。
【００３２】
絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。
【００３３】
シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。
【００３４】
撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部２１ｈに出力する。
【００３５】
信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。
【００３６】
第２撮像部２２は、第１撮像部２１と同一の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈとを有する。
発光部２３は、第１撮像部２１及び第２撮像部２２の視野領域を照明する。
【００３７】
姿勢検出部３は、加速度センサによって構成され、撮像装置１の加速度を検出することにより、撮像装置１の姿勢を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。
【００３８】
操作入力部４は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ４１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ４２と、撮像装置１の各種撮影モードや各種設定の切換える切換スイッチ４３と、撮像部２のズーム操作を行うズームスイッチ４４と、表示部６における表示態様を２Ｄ画像用と３Ｄ画像用とで切り換える２Ｄ／３Ｄ切換スイッチ４５とを有する。
【００３９】
時計５は、撮像装置１の動作の基準となる時間信号を生成する。これにより、制御部９は、画像データの取得時間や撮像素子２１ｇ、２２ｇの露光時間等を設定することができる。時計５は、時間計測用のタイマとしての機能も有する。
【００４０】
図２は、表示部６の概略構成を示す模式図である。図１に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３とを有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥRと左目ＥLとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。
【００４１】
以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に右目画像と左目画像との順で交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、右目画像が右目ＥRのみ、左目画像が左目ＥLのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、右目画像または左目画像のどちらか一方が表示パネル６２に出力される。
【００４２】
タッチパネル７は、表示部６の表示画面上に重ねて設けられる。タッチパネル７は、ユーザが表示部６で表示される情報や画像に基づいて接触した（タッチした）位置や軌跡を検出し、この接触位置や軌跡に応じた操作の入力を受け付ける入力受付部として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００４３】
記憶部８は、撮像部２が撮影した画像データを記憶する撮影画像データ記憶部８１と、合成画像の背景となる画像（背景画像）に対応するデータを記憶する背景画像データ記憶部８２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部８３とを有する。背景画像データ記憶部８２には、テンプレートとして予め用意された画像（テンプレート画像）に対応する画像データも記憶される。記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００４４】
制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部４からの操作信号等に応じて記憶部８のプログラム記憶部８３から各種プログラムを読み出し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。制御部９は、画像処理部９１と、表示用画像生成部９２と、合成画像生成部９３と、位置調整部９４と、表示制御部９５とを有する。
【００４５】
画像処理部９１は、信号処理部２１ｈ、２２ｈからそれぞれ出力された左目画像データ及び右目画像データに対して各種の画像処理を施し、記憶部８の撮影画像データ記憶部８１へ出力する。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データ及び右目画像データに対して、エッジ強調、色補正及びγ補正等の処理を施す。
【００４６】
表示用画像生成部９２は、画像処理部９１によって生成された画像データ、後述する合成画像生成部９３によって生成された合成画像データ、又は撮影画像データ記憶部８１に記憶された画像データに基づいて、表示部６が表示する表示用画像の画像データを生成する。具体的には、表示用画像生成部９２は、表示用画像として３Ｄ画像または２Ｄ画像に対応する画像データを生成する。このうち、画像処理部９１によって生成された画像データに基づいて３Ｄ画像の表示用画像データを生成する際には、画像処理された左目画像及び右目画像を所定の縦横比（例えば３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、表示用画像生成部９２が左目画像及び右目画像からそれぞれ切り出す縦横比を切換スイッチ４３で変更できるようにしてもよい。また、表示用画像生成部９２は、２Ｄ画像の表示用画像データを生成する場合、左目画像と右目画像とを重ね合せて表示するための重ね合わせ画像データを生成するか、または左目画像及び右目画像のうち一方を用いて表示用画像の画像データを生成する。
【００４７】
合成画像生成部９３は、画像処理部９１によって画像処理された左目画像及び右目画像から人物等の主要被写体画像の部分を抜き出し、ユーザ所望のテンプレート画像に貼り付けることにより、左目合成画像及び右目合成画像を生成する。なお、この合成画像生成処理の詳細については後述する。
【００４８】
位置調整部９４は、タッチパネル７に外部から接触した物体の軌跡に応じて、合成画像生成部９３が生成した左目及び右目合成画像における主要被写体画像の位置を変化させることにより、合成画像に含まれる主要被写体画像の視差を調整したり、位置を移動させたりする。
【００４９】
表示制御部９５は、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、表示用画像生成部９２が表示用画像として生成した画像データに対応する３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９５は、表示部６に３Ｄ画像を表示させる場合、表示用画像生成部９２が生成した３Ｄ画像の左目画像と右目画像とを表示部６の表示画面における水平方向の１画素毎に交互に並べた３Ｄ画像を表示部６に出力する制御を行う。
【００５０】
これに対し、表示部６に２Ｄ画像を表示させる場合、表示制御部９５は、視差バリア６３に印加する電源をオン状態からオフ状態にすることによって視差バリア６３を遮光状態から透過状態にするとともに、表示用画像生成部９２によって生成された表示用画像としての左目画像若しくは右目画像、又は左目画像と右目画像との重ね合わせ画像を表示部６に出力させる制御を行う。
【００５１】
以上の構成を有する撮像装置１において、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像を生成する際の状況について説明する。図３は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像を生成する際の状況を示す模式図である。図３に示すように、まず撮像部２は、撮像部２からの距離が異なる主要被写体ＯＢ１（距離ｄ１）及び背景被写体ＯＢ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１及び第２撮像部２２で撮影することにより、右目画像データと左目画像データとを生成する。
【００５２】
その後、表示用画像生成部９２は、第１撮像部２１及び第２撮像部２２によって生成された右目画像データ及び左目画像データに対応する画像をそれぞれ所定の縦横比で切り出すことによって右目画像ＷＲ１及び左目画像ＷＬ１を生成する。図４は、図３に示す状況下で撮像部２が生成する２つの画像データに対応する２つの画像の一例を示す図である。図４において、右目画像ＷＲ１は、表示用画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出すことにより生成されたものである。また、図４において、左目画像ＷＬ１は、表示用画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出すことにより生成されたものである。図５は、図３に示す状況下で表示用画像生成部９２が生成した右目画像と左目画像とを仮想的に重ね合せた画像の一例を示す図である。
【００５３】
図４及び図５に示す破線及び一点鎖線は、第１撮像部２１及び第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。以下、図５〜図８においても、破線及び一点鎖線は、図４等と同様の画像領域を意味する。
【００５４】
次に、合成画像生成部９３が行う合成画像生成処理について説明する。図３に示すように、合成画像生成部９３は、画像抜出し部９３ａと、合成部９３ｂと、左右画像判別部９３ｃとを含む。
【００５５】
画像抜出し部９３ａは、第１撮像部２１及び第２撮像部２２により撮影された右目画像ＷＲ１及び左目画像ＷＬ１（図４参照）から、主要被写体ＯＢ１を表す右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）（これらをまとめて主要被写体画像Ａ１ともいう）をそれぞれ抽出する。具体的な抜出し方法としては、例えば、次の３つの方法が挙げられる。
【００５６】
図６は、主要被写体画像の抜出し方法の第１例を説明する図である。図６に示すように、まず、画像抜出し部９３ａは、右目画像ＷＲ１と左目画像ＷＬ１と重ね合わせる。このとき、図３に示すように、右目画像ＷＲ１と左目画像ＷＬ１との間では、視野の手前又は中央部に存在する被写体（例えば主要被写体ＯＢ１）ほど画像の視差が大きくなり、視野の後方又は周辺部に存在する被写体（例えば背景被写体ＯＢ２）ほど画像の視差が小さくなる。そこで、画像抜出し部９３ａは、右目画像ＷＲ１と左目画像ＷＬ１との重ね合わせ画像上で画像が一致しない領域、即ち、主要被写体画像Ａ１（Ｒ）とＡ１（Ｌ）との左右方向の一端部同士で重なりを有する領域（斜線の白抜き部分）を抽出する。さらに、この抽出された領域と、元の右目画像ＷＲ１と左目画像ＷＬ１とがそれぞれ重なり合う領域を抽出することにより、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を抜き出すことができる。
【００５７】
図７は、主要被写体画像Ａ１の抜出し方法の第２例を説明する図である。図７に示すように、画面の中央部付近の画像が一致するように右目画像ＷＲ１と左目画像ＷＬ１とを重ね合わせ、右目画像ＷＲ１と左目画像ＷＬ１とで一致した領域を主要被写体画像Ａ１として抽出しても良い。或いは、右目画像ＷＲ１及び左目画像ＷＬ１の各々において鮮鋭度が最大となる領域（即ち、ピントが合っている領域）が重なるように、両画像を重ね合わせても良い。
【００５８】
図８は、主要被写体画像Ａ１の抜出し方法の第３例を説明する図である。図８に示すように、発光部２３（図１）を発光させ、強い光が反射された領域を右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）として、右目画像ＷＲ１及び左目画像ＷＬ１からそれぞれ抜き出しても良い。
【００５９】
合成部９３ｂは、画像抜出し部９３ａによって抜き出された主要被写体画像Ａ１を、ユーザ所望の背景画像に貼り付けることによって合成画像を生成する。実施の形態１においては、背景画像として、予め用意されたテンプレート画像の内からユーザにより選択されたテンプレート画像が用いられる。図９は、そのようなテンプレート画像の一例を示す図である。ここで、背景画像としては、図９のテンプレート画像ＴＰ１に示すような２Ｄ画像を用いても良いし、３Ｄ表示可能な画像を用いても良い。合成部９３ｂは、背景画像として２Ｄ画像が選択された場合、図１０（ａ）に示すように、同一の背景画像（テンプレート画像ＴＰ１）に右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）をそれぞれ貼り付けて、右目合成画像ＷＲ２及び左目合成画像ＷＬ２を生成する。右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の配置は、図１０（ｂ）に示すように、右目合成画像ＷＲ２と左目合成画像ＷＬ２とを仮想的に重ね合せたときに、互いの左右方向の一端同士が重なり合うように（即ち、視差が生じるように）決定される。このような右目合成画像ＷＲ２及び左目合成画像ＷＬ２に基づき３Ｄ表示を行うと、テンプレート画像ＴＰ１上に主要被写体画像Ａ１が仮想的に浮き出した３Ｄ合成画像ＷＴ２が得られる（図１０（ｃ）参照）。
【００６０】
一方、合成部９３ｂは、背景画像として３Ｄ画像が選択された場合、右目背景画像に右目被写体画像Ａ１（Ｒ）を貼り付け、左目背景画像に左目被写体画像Ａ１（Ｌ）を貼り付けることにより、右目合成画像及び左目合成画像を生成する。
【００６１】
左右画像判別部９３ｃは、画像合成用の素材（画像抜出し部９３ａにより抜き出された主要被写体画像や背景画像として用いられる３Ｄ画像）が、右目用の画像であるか、又は左目用の画像であるかを判別する。例えば、左右画像判別部９３ｃは、図５に示すように左右方向の一端部同士が互いに重なり合う主要被写体画像Ａ１が取得された場合、３Ｄ画像として表示した際に主要被写体画像Ａ１が画面から浮き出て見えるように、画面に向かって左側を右目被写体画像とし、画面に向かって右側を左目被写体画像とする。
【００６２】
次に、位置調整部９４が行う処理について説明する。位置調整部９４は、図１０（ｂ）に示す右目合成画像ＷＲ２と左目合成画像ＷＬ２との重ね合わせ画像ＷＤ２が表示部６に表示されている間、タッチパネル７に接触した物体の軌跡に応じて、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の相対的な位置を変化させることにより視差を調整する。また、位置調整部９４は、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を、相対的な位置関係を維持しつつ移動させることにより、背景画像に対する位置を変化させる。
【００６３】
例えば、図１１（ａ）に示すように、ユーザが左目被写体画像Ａ１（Ｌ）にタッチして右方向に移動させる入力動作を行った場合、位置調整部９４は、タッチの軌跡に応じて右目被写体画像Ａ１（Ｒ）と左目被写体画像Ａ１（Ｌ）との重なりを小さくする（即ち、視差を大きくする）。その結果、図１１（ｂ）に示すように、３Ｄ合成画像ＷＴ２において、主要被写体画像Ａ１が表示画面と直交する方向に仮想的に飛び出す距離（以下、「飛び出し距離」という）Ｄが大きくなる。反対に、ユーザが左目被写体画像Ａ１（Ｌ）にタッチし、右目被写体画像Ａ１（Ｒ）を越えない範囲で左方向に移動させる入力動作を行った場合、位置調整部９４は、タッチの軌跡に応じて右目被写体画像Ａ１（Ｒ）と左目被写体画像Ａ１（Ｌ）との重なりを大きくする（即ち、視差を小さくする）。この場合、３Ｄ画像として表示された合成画像において、主要被写体画像Ａ１の飛び出し距離Ｄは小さくなる。
【００６４】
なお、このような操作を行っている間、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作して随時３Ｄ表示に切り換えることにより、飛び出し距離Ｄをリアルタイムに確認することができる。例えば、図１１に示すように、主要被写体画像Ａ１をテンプレート画像ＴＰ１内のオブジェクト（キャラクター等）の上に重なるように貼り付ける場合、主要被写体画像Ａ１をキャラクターよりも飛び出して見せると良く、このとき、ユーザは、合成画像全体として自然に見えるように、飛び出し距離Ｄを調整すると良い。
【００６５】
また、図１２に示すように、ユーザが右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の両方にタッチし、上下左右のいずれかの方向に移動させる入力動作を行った場合、位置調整部９４は、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の位置を、両者の相対的な位置関係を変えずに、タッチの軌跡に応じて背景画像ＴＰ１に対して移動させる。その際に、ユーザが軌跡を回転させる入力動作を行った場合、位置調整部９４は、この軌跡に応じて右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を背景画像ＴＰ１の面内で回転させても良い。
【００６６】
さらに、図１３（ａ）に示すように、ユーザが左目被写体画像Ａ１（Ｌ）にタッチし、右目被写体画像Ａ１（Ｒ）よりも左側まで移動させる等して、左目被写体画像Ａ１（Ｌ）と右目被写体画像Ａ１（Ｒ）との左右関係を逆転させる入力動作を行った場合（即ち、右目被写体画像Ａ１（Ｒ）の左端と左目被写体画像Ａ１（Ｌ）の右端とが重なり合う状態の場合）、位置調整部９４は、主要被写体画像Ａ１が表示画面と直交する方向に、引っ込み距離Ｄ’だけ仮想的に引っ込んで見えるように、視差を調整する（図１３（ｂ）参照）。例えば、主要被写体画像Ａ１がテンプレート画像ＴＰ１内のオブジェクト（キャラクター等）よりも後方に存在するように見せたい場合には、主要被写体画像Ａ１をキャラクターよりも引っ込んで見せると良い。このとき、ユーザは、合成画像全体として自然に見えるように、引っ込み距離Ｄ’を調整すると良い。
【００６７】
なお、位置調整部９４は、主要被写体画像Ａ１の視差を調整する際にタッチの軌跡が３Ｄ画像の表示可能な視差の限界値を超えた場合、視差を限界値で固定しても良い。
【００６８】
次に、撮像装置１が行う処理について説明する。図１４は、撮像装置１の動作を示すフローチャートである。図１４において、まず、制御部９は、撮像装置１の電源がオンになっているか否かを判断する（ステップＳ１０１）。撮像装置１の電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２に移行する。一方、撮像装置１の電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は本処理を終了する。
【００６９】
続いて、制御部９は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０２）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、２Ｄ又は３Ｄで表示部６に表示させる（ステップＳ１０３）。
【００７０】
ステップＳ１０４において、制御部９は、撮像装置１が画像合成モードに設定されているか否かを判断する。撮像装置１が画像合成モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）、続いて制御部９は、テンプレート画像が選択されているか否かを判断する（ステップＳ１０５）。テンプレート画像が既に選択されている場合（ステップＳ１０５：Ｙｅｓ）、表示制御部９５は、選択されたテンプレート画像を表示部６に表示させる（ステップＳ１０７）。一方、テンプレート画像がまだ選択されていない場合（ステップＳ１０５：Ｎｏ）、表示制御部９５は、テンプレート画像選択画面を表示部６に表示させ、ユーザに所望のテンプレート画像を選択させる（ステップＳ１０６）。
【００７１】
図１５は、ステップＳ１０６において表示部６に表示されるテンプレート画像選択画面の一例を示す模式図である。このテンプレート画像選択画面１００は、背景画像データ記憶部８２に記憶されたテンプレート画像データに基づいてサムネイル表示されたテンプレートの縮小画像１０１〜１０６と、ＯＫボタン１０７とを含む。タッチパネル７への外部からの物体の接触により、いずれかの縮小画像とＯＫボタン１０７とを選択する信号が入力されると（ステップＳ１０６）、選択された縮小画像に対応するテンプレート画像が表示部６に表示される（ステップＳ１０７）。
【００７２】
なお、表示制御部９５は、ステップＳ１０５においてテンプレート画像が既に選択されている場合であっても、テンプレート画像選択画面１００を表示部６に表示させ、選択済みのテンプレート画像を強調表示する等して、ユーザに確認させるようにしても良い。
【００７３】
ステップＳ１０８において、画像抜出し部９３ａは、スルー画表示された画像から、撮像装置１の視野に入った主要被写体ＯＢ１を表す主要被写体画像Ａ１を抜き出す。主要被写体画像Ａ１の抜出し方法については、図６〜図８を参照して説明したいずれの方法を用いても良い。
【００７４】
続くステップＳ１０９において、合成部９３ｂは、主要被写体画像Ａ１をテンプレート画像ＴＰ１に貼り付けた右目合成画像及び左目合成画像を生成し、表示制御部９５は、これらの合成画像を表示部６に表示させる（図１６参照）。なお、この間、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作して、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示と、右目合成画像及び左目合成画像に基づく３Ｄ画像の表示とを所望のタイミングで切り換えることができる。図１６は、重ね合わせ画像ＷＤ２が表示される場合を示している。また、図１６に示すように、ユーザは、主要被写体ＯＢ１に対する撮像部２の向きを変化させることにより、テンプレート画像ＴＰ１上における主要被写体画像Ａ１の位置を調節することができる。
【００７５】
ステップＳ１１０において、位置調整部９４は、表示部６が２Ｄ画像の表示を行っている間、重ね合わせ画像ＷＤ２上の主要被写体画像Ａ１の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合（ステップＳ１１０：Ｙｅｓ）、位置調整部９４は、タッチの軌跡に応じて、主要被写体画像Ａ１の視差及び位置を調整する（ステップＳ１１１）。一方、タッチ操作がない場合（ステップＳ１１０：Ｎｏ）、当初の視差のまま、動作はステップＳ１１２に移行する。
【００７６】
ステップＳ１１２において、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、撮像部２は撮影を行う（ステップＳ１１３）。なお、このとき、表示制御部９５は、撮影された画像を所定時間表示する所謂レックビュー表示を行うよう表示部６を制御しても良い。
【００７７】
続いて、制御部９は、撮影により得られた画像データを撮影画像データ記憶部８１に記憶させると共に、関連情報として、主要被写体画像Ａ１として撮影画像から抜き出す領域（抜出し領域情報）、選択されたテンプレート画像ＴＰ１を特定する情報（背景画像情報）、テンプレート画像ＴＰ１上における主要被写体画像Ａ１の位置（合成位置情報）、及び調整された視差の量（視差情報）等の情報を撮影画像データに関連付けて記憶させる（ステップＳ１１４）。なお、制御部９は、撮影画像データとは別に、主要被写体画像データを別途生成し、そこに背景画像情報、合成位置情報、及び視差情報を関連付けて記憶させても良い。その後、撮像装置１の動作はステップＳ１０１に戻る。
【００７８】
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ１１２：Ｎｏ）、撮像装置１の動作はステップＳ１０１に戻る。
【００７９】
次に、撮像装置１が画像合成モードに設定されていない場合（ステップＳ１０４：Ｎｏ）について説明する。この場合、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ１１５）。表示部６におけるスルー画の開始後、所定時間内に、撮影を指示するレリーズ信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、撮像部２は撮影を行い（ステップＳ１１６）、制御部９は、撮影により得られた撮影画像データを記憶部８に記憶させる（ステップＳ１１７）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。その後、動作はステップＳ１０１に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ１１５：Ｎｏ）、撮像装置１の動作はステップＳ１０１に戻る。
【００８０】
次に、ステップＳ１０２において、撮像装置１が撮影モードに設定されていない場合を説明する（ステップＳ１０２：Ｎｏ）。この場合、撮像装置１は、撮影した画像データを表示部６に表示する再生表示処理を実行する（ステップＳ１２０）。
【００８１】
図１７は、再生表示処理における撮像装置１の動作を示すフローチャートである。図１７において、まず、表示制御部９５は、撮影画像データ記憶部８１に記憶された画像ファイルに基づき、複数の画像をまとめて表示した画像選択画面を表示部６に表示させる（ステップＳ１２１）。
【００８２】
ステップＳ１２２において、制御部９は、ユーザがタッチパネル７を操作することによって画像選択画面の中から画像が選択されたか否かを判断する。画像が選択されない場合（ステップＳ１２２：Ｎｏ）、動作はステップＳ１２１に戻る。一方、画像が選択された場合（ステップＳ１２２：Ｙｅｓ）、続いて制御部９は、選択された画像の関連情報に基づいて、当該画像が合成画像であるか否かを判断する（ステップＳ１２３）。制御部９は、例えば関連情報に背景画像情報が含まれる場合、当該画像が合成画像であると判断する。
【００８３】
選択された画像が合成画像でない場合（ステップＳ１２３：Ｎｏ）、表示制御部９５は、当該画像に対応する撮影画像データを記憶部８から読み出し、表示部６に拡大画像を表示させる（ステップＳ１２４）。
【００８４】
一方、選択された画像が合成画像である場合（ステップＳ１２３：Ｙｅｓ）、合成部９３ｂは、撮影画像データ（又は被写体画像データ）を記憶部８から読み出すと共に、関連情報に基づいてテンプレート画像データを読み出し、視差情報及び合成位置情報に基づいて、主要被写体画像をテンプレート画像に貼り付けた合成画像データを生成する。さらに、表示用画像生成部９２は、この合成画像データに基づいて表示用の画像データを生成し、表示制御部９５は、表示用の画像データに基づいて合成画像の拡大画像を表示部６に表示させる（ステップＳ１２５）。
【００８５】
図１８は、ステップＳ１２５において表示部６に表示される画像の表示例を示す模式図である。表示部６の表示画面には、画像選択用の複数の縮小画像１１２及び１１３が表示される画像一覧表示領域１１１と、選択された縮小画像１１２を拡大した拡大画像表示領域１１４とが設けられる。このとき、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作することにより、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示と、右目合成画像及び左目合成画像合成画像に基づく３Ｄ画像の表示とを所望のタイミングで切り換えることができる。図１８は、２Ｄ画像として表示された重ね合わせ画像ＷＤ２を示している。
【００８６】
制御部９は、表示部６が重ね合わせ画像ＷＤ２を表示している間、重ね合わせ画像ＷＤ２上の主要被写体画像Ａ１の表示領域に対して、タッチパネル７へのタッチ操作（即ち、タッチパネル７の外部からの接触位置に応じた信号が入力）があったか否かを判断する（ステップＳ１２６）。タッチ操作があった場合（ステップＳ１２６：Ｙｅｓ）、制御部９は、タッチされた軌跡に応じて、主要被写体画像Ａ１の視差及び位置を調整する（ステップＳ１２７）。視差及び位置の調整方法については、図１１〜図１３を参照して説明したものと同様である。
【００８７】
なお、視差及び位置を調整する際、ユーザは、例えば図１９に示すように、主要被写体画像Ａ１の表示領域上の１箇所に指をタッチさせて操作入力を行っても良いし、図２０に示すように、主要被写体画像Ａ１の表示領域上の２箇所に指をタッチさせ、左右方向に指の間隔を広げたり、反対に、指の間隔を狭めたりする操作入力（ピンチ操作）を行っても良い。後者の場合、位置調整部９４は、このような操作を、主要被写体画像Ａ１の視差を大きく（又は小さく）する信号の入力として受け付ける。
【００８８】
一方、タッチ操作がない場合（ステップＳ１２６：Ｎｏ）、位置調整部９４は、主要被写体画像Ａ１に関して視差及び位置の調整は行わず、動作はステップＳ１２８に移行する。
【００８９】
画像一覧表示領域１１１から別の縮小画像１１３のいずれかを選択する信号入力等により、現在表示されている画像の拡大表示を終了する操作入力があった場合（ステップＳ１２８：Ｙｅｓ）、制御部９は、視差及び位置調整後の視差情報及び合成位置情報を、当該撮影画像データの関連情報として記憶部８に上書き記憶させる（ステップＳ１２９）。このとき、制御部９は、視差情報及び合成位置情報を保存するか否かのメッセージを表示部６に表示させ、ユーザにより入力された信号に基づいて、視差情報及び合成位置情報を上書きさせるようにしても良い。一方、現在表示されている画像の拡大表示を終了する操作入力がない場合（ステップＳ１２８：Ｎｏ）、動作はステップＳ１２６に戻る。
【００９０】
切換スイッチ４３を介した入力信号により、撮像装置１の再生モードが終了すると（ステップＳ１３０：Ｙｅｓ）、動作はメインルーチンに戻る。一方、再生モードが継続している場合（ステップＳ１３０：Ｎｏ）、動作はステップＳ１２１に戻る。
【００９１】
以上説明したように、実施の形態１によれば、撮影画像から主要被写体の画像を抜き出し、背景として予め用意されたテンプレート画像に合成するので、身近な人物等の被写体が写し出された合成画像を手軽に生成することができる。また、合成画像を生成又は表示する際に、右目画像と左目画像との重ね合わせ画像上でのタッチ操作により視差を変更できるので、ユーザは、主要被写体画像の立体感を直感的な動作で調整することが可能となる。その結果、背景画像に対する主要被写体画像の立体感（飛び出し感や引っ込み感）が自然で、違和感の少ない３Ｄ画像を表示することが可能となる。
【００９２】
以上説明した実施の形態１においては、テンプレート画像を表示部６に表示させた状態で、撮影画像を取り込んで主要被写体画像を抜き出したが、主要被写体画像の抜出しを行った後でテンプレート画像の選択や表示を行うようにしても良い。
【００９３】
また、上記実施の形態１において、予めユーザが撮影した画像を背景画像として背景画像データ記憶部８２に記憶させておき、これを用いて合成画像を生成しても良い。
【００９４】
（実施の形態２）
次に、本発明の実施の形態２に係る撮像装置について説明する。本実施の形態２に係る撮像装置は、右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式によって３Ｄ画像を表示する３Ｄテレビ等の表示画面を撮影することにより取得した画像信号に基づいて、３Ｄの背景画像を生成することを特徴とする。
【００９５】
図２１は、実施の形態２に係る撮像装置の構成を示すブロック図である。図２１に示すように、撮像装置２０１は、３Ｄテレビ等の表示画面を撮影した撮影画像データから、３Ｄ表示可能な背景画像データを取り込む３Ｄ背景画像取得部９６を備える。撮像装置２０１のその他の構成については、図１に示すものと同様である。
【００９６】
まず、本実施の形態２における背景画像の生成方法について説明する。図２２は、フレームシーケンシャル方式の３Ｄテレビである表示装置２０２を撮像装置２０１で撮影する様子を示す模式図である。表示装置２０２の表示画面２０３には、図２３（ａ）及び（ｂ）に示すように、右目画像及び左目画像が所定の周期で交互に表示される。このような表示画面に対し、図２３（ｃ）に示すような撮像タイミングで高速連写撮影を行うと、右目画像及び左目画像がそれぞれ所定の周期で撮影画像に写り込む。
【００９７】
３Ｄ背景画像取得部９６は、撮像装置１がテレビ（ＴＶ）撮影モードに設定されている間、高速連写撮影により生成された撮影画像データを所定のタイミングで取り込むことにより、背景画像として使用される右目画像及び左目画像に対応する画像データを取得する。
【００９８】
また、合成画像生成部９３の左右画像判別部９３ｃは、３Ｄ背景画像取得部９６が取り込んだ背景画像を左右いずれの背景画像とするかを判別する。ここで、図２４に示すように、合成画像の背景として使用される画像は、現実の表示画面Ｐ１よりも仮想的に奥（ユーザ２０４から離れる方）に引っ込んで見えるようにすると良い。そのためには、表示画面Ｐ１の位置において、画面の右寄りに表示される画像がユーザ２０４の右目に入り、画面の左寄りに表示される画像がユーザ２０４の左目に入るようにすれば良い。そこで、左右画像判別部９３ｃは、画像が画面の右寄りに写っているものを右目背景画像、画像が画面の左寄りに写っているものを左目背景画像として振り分ける（図２３（ｄ）参照）。
【００９９】
さらに、制御部９は、右目背景画像及び左目背景画像として振り分けられた画像の内から、それぞれ、鮮鋭度の高い画像を抽出して背景画像データ記憶部８２に記憶させる。
【０１００】
図２５は、撮像装置２０１の動作を示すフローチャートである。図２５において、まず、制御部９は、撮像装置２０１の電源がオンになっているか否かを判断する（ステップＳ２０１）。撮像装置２０１の電源がオンになっている場合（ステップＳ２０１：Ｙｅｓ）、撮像装置２０１はステップＳ２０２に移行する。一方、撮像装置２０１の電源がオンになっていない場合（ステップＳ２０１：Ｎｏ）、撮像装置２０１は動作を終了する。
【０１０１】
ステップＳ２０２において、制御部９は、撮像装置２０１が撮影モードに設定されているか否かを判断する。撮影装置２０１が撮影モードに設定されていない場合（ステップＳ２０２：Ｎｏ）、動作はステップＳ１２０に移行する。なお、ステップＳ１２０における動作は、実施の形態１において説明したものと同様である。
【０１０２】
一方、撮像装置２０１が撮影モードに設定されている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、２Ｄ画像又は３Ｄ画像で表示部６に表示させる（ステップＳ２０３）。
【０１０３】
続くステップＳ２０４において、制御部９は、撮像装置２０１がテレビ（ＴＶ）撮影モードに設定されているか否かを判断する（ステップＳ２０４）。テレビ撮影モードに設定されていない場合（ステップＳ２０４：Ｎｏ）、動作は直接ステップＳ２０９に移行する。
【０１０４】
撮像装置２０１がテレビ撮影モードに設定されている場合（ステップＳ２０４：Ｙｅｓ）、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ２０５）。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２０５：Ｙｅｓ）、撮像部２は高速連写撮影を行い、３Ｄ背景画像取得部９６は所定のタイミングで撮影画像データを取り込む（ステップＳ２０６）。続いて、左右画像判別部９３ｃは、３Ｄ背景画像取得部９６によって取り込まれた撮影画像データに対応する画像を、左目背景画像と右目背景画像とに振り分ける処理を行う（ステップＳ２０７）。さらに、制御部９は、左目背景画像と右目背景画像とに振り分けられた画像の内から鮮鋭度の高い画像をそれぞれ抽出して、背景画像データ記憶部８２に記憶させる（ステップＳ２０８）。
【０１０５】
続くステップＳ２０９において、制御部９は、撮像装置２０１が画像合成モードに設定されているか否かを判断する。画像合成モードに設定されている場合（ステップＳ２０９：Ｙｅｓ）、制御部９は、画像合成に用いられる背景画像が設定されているか否かを判断する（ステップＳ２１０）。例えば、ステップＳ２０４〜Ｓ２０８において背景画像が生成された場合には、生成された背景画像が設定されているものと判断される。
【０１０６】
背景画像が設定されている場合（ステップＳ２１０：Ｙｅｓ）、表示制御部９５は、設定された背景画像を表示部６に表示させる（ステップＳ２１２）。一方、背景画像がまだ設定されていない場合（ステップＳ２１０：Ｎｏ）、表示制御部９５は、背景画像選択画面を表示部６に表示させ、ユーザに所望の背景画像を選択させる（ステップＳ２１１）。この背景画像選択画面には、過去に生成された背景画像や、実施の形態１において用いられたテンプレート画像が表示されるようにしても良い。
【０１０７】
ステップＳ２１３において、画像抜出し部９３ａは、スルー画表示された画像から主要被写体画像を抜き出す。主要被写体画像の抜出し方法については、図６〜図８を参照して説明したいずれの方法を用いても良い。
【０１０８】
ステップＳ２１４において、合成部９３ｂは、主要被写体画像を背景画像に貼り付けた右目合成画像及び左目合成画像を生成する。さらに、表示用画像生成部９２は、これらの合成画像に基づく表示用の画像データを生成し、表示制御部９５は、表示用の画像データに基づいて合成画像を表示部６に表示させる。このとき、表示制御部９５は、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従って、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示、又は、右目合成画像及び左目合成画像に基づく３Ｄ画像の表示を行うよう、表示部６を制御する（図１０（ｂ）及び（ｃ）参照）。
【０１０９】
ステップＳ２１５において、位置調整部９４は、表示部６が２Ｄ画像の表示を行っている間、重ね合わせ画像上の主要被写体画像の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合（ステップＳ２１５：Ｙｅｓ）、位置調整部９４は、タッチされた軌跡に応じて、主要被写体画像Ａ１の視差を調整する（ステップＳ２１６）。一方、タッチ操作がない場合（ステップＳ２１５：Ｎｏ）、当初の視差のまま、動作はステップＳ２１７に移行する。
【０１１０】
ステップＳ２１７において、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２１７：Ｙｅｓ）、撮像部２は撮影を行う（ステップＳ２１８）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。
【０１１１】
続いて、制御部９は、撮影により得られた画像データを撮影画像データ記憶部８１に記憶させると共に、背景画像を特定する情報（背景画像情報）、背景画像上における主要被写体画像の位置（合成位置情報）、及びステップＳ２１６において調整された視差の量（視差情報）を含む関連情報を、撮影画像データに関連付けて記憶させる（ステップＳ２１９）。その後、動作はステップＳ２０１に戻る。
【０１１２】
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ２１７：Ｎｏ）、動作はそのままステップＳ２０１に戻る。
【０１１３】
次に、撮像装置２０１が画像合成モードに設定されていない場合（ステップＳ２０９：Ｎｏ）について説明する。この場合、制御部９は、撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ２３１）。表示部６がスルー画を表示し始めてから所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２３１：Ｙｅｓ）、撮像部２は撮影を行い（ステップＳ２３２）、制御部９は、撮影により得られた撮影画像データを記憶部８に記憶させる（ステップＳ２３３）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。その後、動作はステップＳ２０１に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ２３１：Ｎｏ）、動作はステップＳ２０１に戻る。
【０１１４】
以上説明した実施の形態２によれば、３Ｄ画像の表示が可能なテレビを利用して、３Ｄの背景画像を手軽に生成することができる。従って、ユーザは、お気に入りのキャラクターや風景が写し出された背景画像に、身近な人物等の主要被写体画像を合成して鑑賞することが可能となる。また、実施の形態２によれば、背景画像の立体感に合わせて主要被写体画像の立体感を調整することにより、違和感のない合成画像を生成して表示することが可能となる。
【０１１５】
（実施の形態３）
次に、本発明の実施の形態３に係る画像通信システムについて説明する。実施の形態３においては、撮像装置において生成された合成画像を、３Ｄ画像を表示可能なテレビ等の表示装置に出力して表示させることを特徴とする。
【０１１６】
図２６は、実施の形態３に係る画像通信システムの構成を示す模式図である。図２６に示す画像通信システム３００は、デジタルステレオカメラである撮像装置３０１と、撮像装置３０１と電気的に接続され、撮像装置３０１からの画像データを受信し、３Ｄ画像を表示することが可能な外部機器としての表示装置３０２とを備える。
【０１１７】
図２７は、撮像装置３０１の構成を示すブロック図である。図２７に示すように、撮像装置３０１は、外部機器との間でデータの送受信を行う通信部１０と、送信用画像生成部９７と、通信状態検出部９８とを備える。その他の構成については、図１に示す撮像装置１と同様である。或いは、撮像装置３０１は、図２１に示す撮像装置２０１と同様に、３Ｄ背景画像取得部９６をさらに備えても良い。
【０１１８】
送信用画像生成部９７は、通信部１０を介して外部接続された表示装置３０２の表示画面３０３で表示させるために表示装置３０２へ送信する送信用画像の画像データを生成する。
【０１１９】
通信状態検出部９８は、撮像装置３０１と表示装置３０２との通信状態を検出する。例えば、撮像装置３０１と表示装置３０２との間がＨＤＭＩ（登録商標）を介して接続される場合、通信状態検出部９８は、ＣＥＣプロトコルにしたがって撮像装置３０１と表示装置３０２との通信状態を検出する。また、撮像装置３０１と表示装置３０２との間がインターネットを介して接続される場合、通信状態検出部９８は、ＴＣＰ／ＩＰプロトコルにしたがって撮像装置３０１と表示装置３０２との通信状態を検出する。なお、撮像装置３０１と表示装置３０２との間の通信は、無線通信であってもよい。
【０１２０】
表示装置３０２は、例えば、表示画面３０３で表示する右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式、または液晶パネルからなる表示画面３０３に偏光フィルムが組み込まれた偏光フィルム方式によって３Ｄ画像を表示する３Ｄテレビである。このような３Ｄテレビが表示する３Ｄ画像をユーザが見る場合には、方式に応じた専用のメガネ３０４をかける必要がある。フレームシーケンシャル方式の場合に適用されるメガネ３０４は、画像の切り換えに同期して、表示される画像を見るための目と逆の目を閉じることが可能な構成を有する液晶シャッタメガネである。また、偏光方式の場合に適用されるメガネ３０４は、左目には左目画像のみが届き、右目には右目画像のみが届くように偏光フィルタが貼付された構成を有する。
【０１２１】
このような画像通信システム３００において、撮像装置３０１は、切換スイッチ４３への操作により撮影モードに設定されている間、実施の形態１と同様に、被写体を撮影して合成画像を生成する（図１４参照）。或いは、撮像装置３０１は、実施の形態２と同様に、表示装置３０２を利用して背景画像の生成を行っても良い（図２５参照）。また、撮像装置３０１は、切換スイッチ４３への操作により再生表示モードに設定されている間、撮影画像や合成画像を自身に備えられた表示部６に表示させる（図１７参照）。
【０１２２】
また、撮像装置３０１は、表示装置３０２と接続されている間、表示部６に表示されている画像に対応する画像を表示装置３０２に表示させる。具体的には、表示用画像生成部９２が撮影画像データ又は合成画像データに基づく表示用の画像データを生成する際に、送信用画像生成部９７は、同じ撮影画像データ又は合成画像データに基づく送信用の画像データを生成し、通信部１０を介して表示装置３０２に送信する。このとき、切換スイッチ４３への操作により、送信用画像データを送信するか否かを切り換えるようにしても良い。また、撮像装置３０１における画像の表示態様によらず、表示装置３０２において、右目画像と左目画像との重ね合わせ画像を２Ｄ画像として表示する態様と、右目画像又は左目画像を通常の２Ｄ画像として表示させる態様と、右目画像及び左目画像に基づいて３Ｄ画像を表示させる態様とを、切換スイッチ４３への操作により切り替えられるようにしても良い。
【０１２３】
以上説明した実施の形態３によれば、ユーザは、撮像装置において生成した合成画像を外部機器（表示装置）に表示させて鑑賞することができる。また、その際に、ユーザは、外部機器に合成画像を３Ｄ表示させて立体感をリアルタイムで確認しながら、撮像装置のタッチパネル上で主要被写体画像の視差を調整することができるので、外部機器の表示画面において自然に見える合成画像を、直感的な操作により生成することが可能となる。
【０１２４】
以上説明した実施の形態１〜３においては、画像データの関連情報として、主要被写体画像の視差情報及び合成位置情報を記憶しているが、それらに加えて、主要被写体画像の凹凸等の立体感を表す情報を記憶するようにしても良い。それによって、リアルな立体感が再現された合成画像を表示することが可能となる。特に、立体の背景に違和感なく立体画像を合成するためには、ユーザによるトライアンドエラーの繰り返しが発生するため、簡単に目視確認ができ、簡単（容易）に効果を確認できる工夫が必要である。本発明の実施の形態１〜３によれば、直感的な操作を追求しており、即座（リアルタイム）に調整しながらその場で立体感の確認が出来、自然で違和感のない合成画像が誰にでも手軽に作れるという効果を奏する。
【０１２５】
また、以上説明した実施の形態１〜３においては、タッチパネルへの操作により合成画像上での主要被写体画像の視差及び位置を調整したが、それ以外にも、マウスやタッチペン等のポインティングデバイスや、その他種々の入力デバイスを用いて、上述した実施の形態１〜３で説明した同等の考え方を採用し、視差及び位置の調整を行っても良い。
【０１２６】
さらに、以上説明した実施の形態１〜３においては、２つの画像をそれぞれ撮像する２つの光学系により撮像部２を構成したが、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有する撮像部を設け、該撮像部が連続的に撮像した画像の中から、表示用画像生成部が視野の左右方向の一端部が互いに重なる２つの画像を抽出することにより、右目用及び左目用の撮影画像を生成するようにしても良い。
【０１２７】
また、以上説明した実施の形態１〜３においては、静止画である合成画像を生成する場合を説明したが、これらの実施の形態を動画に適応しても良い。
【０１２８】
本発明に係る撮像装置は、デジタルステレオカメラ以外にも、例えばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能及び表示機能を備えた各種電子機器に適用することができる。
【０１２９】
また、本発明において、外部機器としての表示装置は３Ｄテレビに限られるわけではなく、３Ｄ画像を表示可能な表示部を有していれば、いかなる電子機器であってもかまわない。
【符号の説明】
【０１３０】
１、２０１、３０１ 撮像装置
２ 撮像部
３ 姿勢検出部
４ 操作入力部
５ 時計
６ 表示部
７ タッチパネル
８ 記憶部
９ 制御部
１０ 通信部
２１、２２ 撮像部
２１ａ、２２ａ レンズ部
２１ｂ、２２ｂ レンズ駆動部
２１ｃ、２２ｃ 絞り
２１ｄ、２２ｄ 絞り駆動部
２１ｅ、２２ｅ シャッタ
２１ｆ、２２ｆ シャッタ駆動部
２１ｇ、２２ｇ 撮像素子
２１ｈ、２２ｈ 信号処理部
２３ 発光部
４１ 電源スイッチ
４２ レリーズスイッチ
４３ 切換スイッチ
４４ ズームスイッチ
４５ ２Ｄ／３Ｄ切換スイッチ
６１ バックライト
６２ 表示パネル
６３ 視差バリア
８１ 撮影画像データ記憶部
８２ 背景画像データ記憶部
８３ プログラム記憶部
９１ 画像処理部
９２ 表示用画像生成部
９３ 合成画像生成部
９３ａ 画像抜出し部
９３ｂ 合成部
９３ｃ 左右画像判別部
９４ 位置調整部
９５ 表示制御部
９６ ３Ｄ背景画像取得部
９７ 送信用画像生成部
９８ 通信状態検出部
１００ テンプレート画像選択画面
１０１〜１０６ 縮小画像
１０７ ＯＫボタン
１１１ 画像一覧表示領域
１１２、１１３ 縮小画像
１１４ 拡大画像表示領域
２０２、３０２ 表示装置
２０３、３０３ 表示画面
２０４ ユーザ
３００ 画像通信システム
【技術分野】
【０００１】
本発明は、画像を撮像して表示する撮像装置、及び該撮像装置を含み、所定の通信規格にしたがって画像の通信を行う画像通信システムに関する。
【背景技術】
【０００２】
近年、同一の被写体に対して複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を撮像するデジタルステレオカメラ等の撮像装置が普及しつつある。最近では、３Ｄの動画撮影を行うことができるデジタルカメラや、３Ｄ画像を視聴できるテレビも登場している。
【０００３】
一方、従来、合成写真を作成する様々な機器が開発されている。例えば、特許文献１には、背景画像と人物等の写真画像とフレーム画像とを重ねて表示する写真撮影遊戯機が開示されている。また、連写された画像を元に動画の合成写真を作成するデジタルカメラも開発されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６５１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、３Ｄ表示可能な人物等の被写体画像を別の背景画像に合成する場合、被写体画像の飛び出し感や引っ込み感といった立体感が背景画像とマッチせず、合成画像を３Ｄ表示すると全体的に不自然になることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、３Ｄ表示可能な被写体画像を背景画像と合成した合成画像であって、違和感の少ない３Ｄ合成画像を手軽に生成することができる撮像装置と、そのような撮像装置を含み、画像の通信を行う画像通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、２つの画像に基づく３次元画像を表示可能な表示部と、前記撮像部によって生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、前記２つの撮影画像から、背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、前記画像抜出し部によって抜き出された前記２つの主要被写体画像を所定の背景画像に貼り付けることにより、右目及び左目に対応する２つの合成画像を生成する画像合成部と、外部からの操作の入力を受け付ける入力受付部と、前記入力受付部によって受け付けられた入力に応じて、前記２つの合成画像における前記２つの主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部と、を備えることを特徴とする。
【０００８】
上記撮像装置において、前記主要被写体は、前記２つの撮影画像における視野の前方又は中央部に位置する画像であることを特徴とする。
【０００９】
上記撮像装置において、前記主要被写体は、前記２つの撮影画像において最も視差が大きい画像であることを特徴とする。
【００１０】
上記撮像装置は、前記撮像部の視野領域を照明する発光部をさらに備え、前記主要被写体は、前記発光部を発光させた場合、反射光が最も強くなる領域の画像であることを特徴とする。
【００１１】
上記撮像装置において、前記画像合成部は、前記２つの主要被写体画像を同一の背景画像に貼り付けることにより、背景が２次元画像として表示される前記２つの合成画像を生成することを特徴とする。
【００１２】
上記撮像装置において、前記画像合成部は、前記２つの主要被写体画像を、視野の左右方向の一端部同士が互いに重なる２つの背景画像にそれぞれ貼り付けることにより、背景が３次元画像として表示可能な前記２つの合成画像を生成することを特徴とする。
【００１３】
上記撮像装置は、フレームシーケンシャル方式で３次元画像を表示する表示画面を高速連写撮影することにより生成された撮影画像から、右目及び左目に対応する２つの表示画面撮影画像を取得する画像取得部をさらに備え、前記画像合成部は、前記画像取得部によって取得された前記２つの表示画面撮影画像に前記２つの主要被写体画像をそれぞれ貼り付けることにより、前記２つの合成画像を生成することを特徴とする。
【００１４】
上記撮像装置は、前記画像取得部によって取得された前記２つの表示画面撮影画像に基づく３次元画像が表示された場合に、該３次元画像が表示画面から仮想的に引っ込んで見えるように、前記２つの表示画面撮影画像の右目と左目との対応を判別する左右画像判別部をさらに備えることを特徴とする。
【００１５】
上記撮像装置は、前記表示部に対し、２つの画像に基づく３次元画像の表示と、２つの画像を重ね合わせた２次元画像の表示との内のいずれかを、外部から入力される信号に従い切り換えて表示させる表示制御部をさらに備えることを特徴とする。
【００１６】
上記撮像装置において、前記入力受付部は、前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルであり、前記位置調整部は、前記タッチパネルに接触した物体の軌跡に応じて前記主要被写体画像の視差を調整することを特徴とする。
【００１７】
上記撮像装置において、前記位置調整部は、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像の左右方向の一端部同士が重なる重なり領域を前記軌跡に応じて変化させることにより視差を調整することを特徴とする。
【００１８】
上記撮像装置において、前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて移動させることにより、前記背景画像に対する前記主要被写体画像の位置を移動させることを特徴とする。
【００１９】
上記撮像装置において、前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて回転させることにより、前記背景画像の面内で前記主要被写体画像を回転させることを特徴とする。
【００２０】
上記撮像装置は、前記２つの画像を用いて、前記外部機器で表示させるために送信する送信用画像を生成する送信用画像生成部と、前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部とをさらに備えることを特徴とする。
【００２１】
上記撮像装置において、前記撮像部は、前記２つの画像をそれぞれ撮像する２つの光学系を有することを特徴とする。
【００２２】
上記撮像装置において、前記撮像部は、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有し、前記画像生成部は、前記撮像部が連続的に撮像した画像の中から前記２つの画像を抽出することを特徴とする。
【００２３】
上記撮像装置において、前記表示制御部は、前記２つの画像にそれぞれ対応する２つの画像データを、前記表示画面における水平方向の１画素ごとに交互に並べて前記表示部に出力する制御を行うことを特徴とする。
【００２４】
本発明に係る画像通信システムは、上記撮像装置と、前記撮像装置と所定の通信規格にしたがって通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置とを備えることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、背景画像に貼り付けられた主要被写体画像の視差を容易に調整可能とするので、背景と主要被写体画像との間の違和感を低減することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の実施の形態１に係る撮像装置の構成を示す図である。
【図２】図２は、図１に示す撮像装置が備える表示部の概略構成を示す模式図である。
【図３】図３は、図１に示す撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【図４】図４は、図３に示す状況下で撮像部が被写体に対して互いの視野の左右方向の一端部同士が重なりを有する２つの画像データに対応する画像の一例を示す図である。
【図５】図５は、図３に示す状況下で撮像部が生成した右目画像と左目画像とを仮想的に重ね合わせた画像の一例を示す図である。
【図６】図６は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第１例を説明する図である。
【図７】図７は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第２例を説明する図である。
【図８】図８は、図３に示す状況下で撮像部が生成した右目画像及び左目画像から主要被写体画像を抜き出す方法の第３例を説明する図である。
【図９】図９は、テンプレート画像の一例を示す図である。
【図１０】図１０は、テンプレート画像に主要被写体画像を貼り付けた合成画像の一例を示す図である。
【図１１】図１１は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整（飛び出し距離を増加）する様子を示す模式図である。
【図１２】図１２は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の位置を調整する様子を示す模式図である。
【図１３】図１３は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整（引っ込み距離を増加）する様子を示す模式図である。
【図１４】図１４は、図１に示す撮像装置の動作を示すフローチャートである。
【図１５】図１５は、テンプレート画像選択画面の一例を示す図である。
【図１６】図１６は、主要被写体を撮影する様子を示す模式図である。
【図１７】図１７は、図１に示す撮像装置の再生表示処理における動作を示すフローチャートである。
【図１８】図１８は、右目合成画像と左目合成画像との重ね合わせ画像を表示する撮像装置の背面側を示す模式図である。
【図１９】図１９は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整する様子を示す模式図である。
【図２０】図２０は、右目合成画像と左目合成画像との重ね合わせ画像上で主要被写体画像の視差を調整する様子を示す模式図である。
【図２１】図２１は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図２２】図２２は、図２１に示す撮像装置でテレビの表示画面を撮影する様子を示す模式図である。
【図２３】図２３は、テレビに表示された映像から撮像装置に画像を取り込む方法を説明する図である。
【図２４】図２４は、右目画像と左目画像との判別方法を説明する図である。
【図２５】図２５は、図２１に示す撮像装置の動作を示すフローチャートである。
【図２６】図２６は、本発明の実施の形態３に係る画像通信システムの構成を示す模式図である。
【図２７】図２７は、図２６に示す撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置１の構成を示すブロック図である。図１に示すように、撮像装置１は、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像に対応する画像データを生成する撮像部２と、撮像装置１の姿勢を検出する姿勢検出部３と、撮像装置１の各種情報の入力を受け付ける操作入力部４と、撮影日時の判定機能やタイマ機能を有する時計５と、２次元画像（以下、「２Ｄ画像」という）または３Ｄ画像を表示する表示部６と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル７と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部８と、撮像装置１の動作を制御する制御部９とを備える。
【００２９】
撮像部２は、互いに異なる光学系を有する第１撮像部２１と、第２撮像部２２と、発光部（ストロボ）２３とを備える。第１撮像部２１及び第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。
【００３０】
第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈとを有する。
【００３１】
レンズ部２１ａは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等によって構成され、レンズ部２１ａのフォーカスレンズやズームレンズ等を光軸Ｌ１上で移動させることにより、レンズ部２１ａのピント位置や焦点距離の変更を行う。
【００３２】
絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。
【００３３】
シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。
【００３４】
撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部２１ｈに出力する。
【００３５】
信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。
【００３６】
第２撮像部２２は、第１撮像部２１と同一の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈとを有する。
発光部２３は、第１撮像部２１及び第２撮像部２２の視野領域を照明する。
【００３７】
姿勢検出部３は、加速度センサによって構成され、撮像装置１の加速度を検出することにより、撮像装置１の姿勢を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。
【００３８】
操作入力部４は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ４１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ４２と、撮像装置１の各種撮影モードや各種設定の切換える切換スイッチ４３と、撮像部２のズーム操作を行うズームスイッチ４４と、表示部６における表示態様を２Ｄ画像用と３Ｄ画像用とで切り換える２Ｄ／３Ｄ切換スイッチ４５とを有する。
【００３９】
時計５は、撮像装置１の動作の基準となる時間信号を生成する。これにより、制御部９は、画像データの取得時間や撮像素子２１ｇ、２２ｇの露光時間等を設定することができる。時計５は、時間計測用のタイマとしての機能も有する。
【００４０】
図２は、表示部６の概略構成を示す模式図である。図１に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３とを有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥRと左目ＥLとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。
【００４１】
以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に右目画像と左目画像との順で交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、右目画像が右目ＥRのみ、左目画像が左目ＥLのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、右目画像または左目画像のどちらか一方が表示パネル６２に出力される。
【００４２】
タッチパネル７は、表示部６の表示画面上に重ねて設けられる。タッチパネル７は、ユーザが表示部６で表示される情報や画像に基づいて接触した（タッチした）位置や軌跡を検出し、この接触位置や軌跡に応じた操作の入力を受け付ける入力受付部として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００４３】
記憶部８は、撮像部２が撮影した画像データを記憶する撮影画像データ記憶部８１と、合成画像の背景となる画像（背景画像）に対応するデータを記憶する背景画像データ記憶部８２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部８３とを有する。背景画像データ記憶部８２には、テンプレートとして予め用意された画像（テンプレート画像）に対応する画像データも記憶される。記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００４４】
制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部４からの操作信号等に応じて記憶部８のプログラム記憶部８３から各種プログラムを読み出し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。制御部９は、画像処理部９１と、表示用画像生成部９２と、合成画像生成部９３と、位置調整部９４と、表示制御部９５とを有する。
【００４５】
画像処理部９１は、信号処理部２１ｈ、２２ｈからそれぞれ出力された左目画像データ及び右目画像データに対して各種の画像処理を施し、記憶部８の撮影画像データ記憶部８１へ出力する。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データ及び右目画像データに対して、エッジ強調、色補正及びγ補正等の処理を施す。
【００４６】
表示用画像生成部９２は、画像処理部９１によって生成された画像データ、後述する合成画像生成部９３によって生成された合成画像データ、又は撮影画像データ記憶部８１に記憶された画像データに基づいて、表示部６が表示する表示用画像の画像データを生成する。具体的には、表示用画像生成部９２は、表示用画像として３Ｄ画像または２Ｄ画像に対応する画像データを生成する。このうち、画像処理部９１によって生成された画像データに基づいて３Ｄ画像の表示用画像データを生成する際には、画像処理された左目画像及び右目画像を所定の縦横比（例えば３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、表示用画像生成部９２が左目画像及び右目画像からそれぞれ切り出す縦横比を切換スイッチ４３で変更できるようにしてもよい。また、表示用画像生成部９２は、２Ｄ画像の表示用画像データを生成する場合、左目画像と右目画像とを重ね合せて表示するための重ね合わせ画像データを生成するか、または左目画像及び右目画像のうち一方を用いて表示用画像の画像データを生成する。
【００４７】
合成画像生成部９３は、画像処理部９１によって画像処理された左目画像及び右目画像から人物等の主要被写体画像の部分を抜き出し、ユーザ所望のテンプレート画像に貼り付けることにより、左目合成画像及び右目合成画像を生成する。なお、この合成画像生成処理の詳細については後述する。
【００４８】
位置調整部９４は、タッチパネル７に外部から接触した物体の軌跡に応じて、合成画像生成部９３が生成した左目及び右目合成画像における主要被写体画像の位置を変化させることにより、合成画像に含まれる主要被写体画像の視差を調整したり、位置を移動させたりする。
【００４９】
表示制御部９５は、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、表示用画像生成部９２が表示用画像として生成した画像データに対応する３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９５は、表示部６に３Ｄ画像を表示させる場合、表示用画像生成部９２が生成した３Ｄ画像の左目画像と右目画像とを表示部６の表示画面における水平方向の１画素毎に交互に並べた３Ｄ画像を表示部６に出力する制御を行う。
【００５０】
これに対し、表示部６に２Ｄ画像を表示させる場合、表示制御部９５は、視差バリア６３に印加する電源をオン状態からオフ状態にすることによって視差バリア６３を遮光状態から透過状態にするとともに、表示用画像生成部９２によって生成された表示用画像としての左目画像若しくは右目画像、又は左目画像と右目画像との重ね合わせ画像を表示部６に出力させる制御を行う。
【００５１】
以上の構成を有する撮像装置１において、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像を生成する際の状況について説明する。図３は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像を生成する際の状況を示す模式図である。図３に示すように、まず撮像部２は、撮像部２からの距離が異なる主要被写体ＯＢ１（距離ｄ１）及び背景被写体ＯＢ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１及び第２撮像部２２で撮影することにより、右目画像データと左目画像データとを生成する。
【００５２】
その後、表示用画像生成部９２は、第１撮像部２１及び第２撮像部２２によって生成された右目画像データ及び左目画像データに対応する画像をそれぞれ所定の縦横比で切り出すことによって右目画像ＷＲ１及び左目画像ＷＬ１を生成する。図４は、図３に示す状況下で撮像部２が生成する２つの画像データに対応する２つの画像の一例を示す図である。図４において、右目画像ＷＲ１は、表示用画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出すことにより生成されたものである。また、図４において、左目画像ＷＬ１は、表示用画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出すことにより生成されたものである。図５は、図３に示す状況下で表示用画像生成部９２が生成した右目画像と左目画像とを仮想的に重ね合せた画像の一例を示す図である。
【００５３】
図４及び図５に示す破線及び一点鎖線は、第１撮像部２１及び第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。以下、図５〜図８においても、破線及び一点鎖線は、図４等と同様の画像領域を意味する。
【００５４】
次に、合成画像生成部９３が行う合成画像生成処理について説明する。図３に示すように、合成画像生成部９３は、画像抜出し部９３ａと、合成部９３ｂと、左右画像判別部９３ｃとを含む。
【００５５】
画像抜出し部９３ａは、第１撮像部２１及び第２撮像部２２により撮影された右目画像ＷＲ１及び左目画像ＷＬ１（図４参照）から、主要被写体ＯＢ１を表す右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）（これらをまとめて主要被写体画像Ａ１ともいう）をそれぞれ抽出する。具体的な抜出し方法としては、例えば、次の３つの方法が挙げられる。
【００５６】
図６は、主要被写体画像の抜出し方法の第１例を説明する図である。図６に示すように、まず、画像抜出し部９３ａは、右目画像ＷＲ１と左目画像ＷＬ１と重ね合わせる。このとき、図３に示すように、右目画像ＷＲ１と左目画像ＷＬ１との間では、視野の手前又は中央部に存在する被写体（例えば主要被写体ＯＢ１）ほど画像の視差が大きくなり、視野の後方又は周辺部に存在する被写体（例えば背景被写体ＯＢ２）ほど画像の視差が小さくなる。そこで、画像抜出し部９３ａは、右目画像ＷＲ１と左目画像ＷＬ１との重ね合わせ画像上で画像が一致しない領域、即ち、主要被写体画像Ａ１（Ｒ）とＡ１（Ｌ）との左右方向の一端部同士で重なりを有する領域（斜線の白抜き部分）を抽出する。さらに、この抽出された領域と、元の右目画像ＷＲ１と左目画像ＷＬ１とがそれぞれ重なり合う領域を抽出することにより、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を抜き出すことができる。
【００５７】
図７は、主要被写体画像Ａ１の抜出し方法の第２例を説明する図である。図７に示すように、画面の中央部付近の画像が一致するように右目画像ＷＲ１と左目画像ＷＬ１とを重ね合わせ、右目画像ＷＲ１と左目画像ＷＬ１とで一致した領域を主要被写体画像Ａ１として抽出しても良い。或いは、右目画像ＷＲ１及び左目画像ＷＬ１の各々において鮮鋭度が最大となる領域（即ち、ピントが合っている領域）が重なるように、両画像を重ね合わせても良い。
【００５８】
図８は、主要被写体画像Ａ１の抜出し方法の第３例を説明する図である。図８に示すように、発光部２３（図１）を発光させ、強い光が反射された領域を右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）として、右目画像ＷＲ１及び左目画像ＷＬ１からそれぞれ抜き出しても良い。
【００５９】
合成部９３ｂは、画像抜出し部９３ａによって抜き出された主要被写体画像Ａ１を、ユーザ所望の背景画像に貼り付けることによって合成画像を生成する。実施の形態１においては、背景画像として、予め用意されたテンプレート画像の内からユーザにより選択されたテンプレート画像が用いられる。図９は、そのようなテンプレート画像の一例を示す図である。ここで、背景画像としては、図９のテンプレート画像ＴＰ１に示すような２Ｄ画像を用いても良いし、３Ｄ表示可能な画像を用いても良い。合成部９３ｂは、背景画像として２Ｄ画像が選択された場合、図１０（ａ）に示すように、同一の背景画像（テンプレート画像ＴＰ１）に右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）をそれぞれ貼り付けて、右目合成画像ＷＲ２及び左目合成画像ＷＬ２を生成する。右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の配置は、図１０（ｂ）に示すように、右目合成画像ＷＲ２と左目合成画像ＷＬ２とを仮想的に重ね合せたときに、互いの左右方向の一端同士が重なり合うように（即ち、視差が生じるように）決定される。このような右目合成画像ＷＲ２及び左目合成画像ＷＬ２に基づき３Ｄ表示を行うと、テンプレート画像ＴＰ１上に主要被写体画像Ａ１が仮想的に浮き出した３Ｄ合成画像ＷＴ２が得られる（図１０（ｃ）参照）。
【００６０】
一方、合成部９３ｂは、背景画像として３Ｄ画像が選択された場合、右目背景画像に右目被写体画像Ａ１（Ｒ）を貼り付け、左目背景画像に左目被写体画像Ａ１（Ｌ）を貼り付けることにより、右目合成画像及び左目合成画像を生成する。
【００６１】
左右画像判別部９３ｃは、画像合成用の素材（画像抜出し部９３ａにより抜き出された主要被写体画像や背景画像として用いられる３Ｄ画像）が、右目用の画像であるか、又は左目用の画像であるかを判別する。例えば、左右画像判別部９３ｃは、図５に示すように左右方向の一端部同士が互いに重なり合う主要被写体画像Ａ１が取得された場合、３Ｄ画像として表示した際に主要被写体画像Ａ１が画面から浮き出て見えるように、画面に向かって左側を右目被写体画像とし、画面に向かって右側を左目被写体画像とする。
【００６２】
次に、位置調整部９４が行う処理について説明する。位置調整部９４は、図１０（ｂ）に示す右目合成画像ＷＲ２と左目合成画像ＷＬ２との重ね合わせ画像ＷＤ２が表示部６に表示されている間、タッチパネル７に接触した物体の軌跡に応じて、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の相対的な位置を変化させることにより視差を調整する。また、位置調整部９４は、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を、相対的な位置関係を維持しつつ移動させることにより、背景画像に対する位置を変化させる。
【００６３】
例えば、図１１（ａ）に示すように、ユーザが左目被写体画像Ａ１（Ｌ）にタッチして右方向に移動させる入力動作を行った場合、位置調整部９４は、タッチの軌跡に応じて右目被写体画像Ａ１（Ｒ）と左目被写体画像Ａ１（Ｌ）との重なりを小さくする（即ち、視差を大きくする）。その結果、図１１（ｂ）に示すように、３Ｄ合成画像ＷＴ２において、主要被写体画像Ａ１が表示画面と直交する方向に仮想的に飛び出す距離（以下、「飛び出し距離」という）Ｄが大きくなる。反対に、ユーザが左目被写体画像Ａ１（Ｌ）にタッチし、右目被写体画像Ａ１（Ｒ）を越えない範囲で左方向に移動させる入力動作を行った場合、位置調整部９４は、タッチの軌跡に応じて右目被写体画像Ａ１（Ｒ）と左目被写体画像Ａ１（Ｌ）との重なりを大きくする（即ち、視差を小さくする）。この場合、３Ｄ画像として表示された合成画像において、主要被写体画像Ａ１の飛び出し距離Ｄは小さくなる。
【００６４】
なお、このような操作を行っている間、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作して随時３Ｄ表示に切り換えることにより、飛び出し距離Ｄをリアルタイムに確認することができる。例えば、図１１に示すように、主要被写体画像Ａ１をテンプレート画像ＴＰ１内のオブジェクト（キャラクター等）の上に重なるように貼り付ける場合、主要被写体画像Ａ１をキャラクターよりも飛び出して見せると良く、このとき、ユーザは、合成画像全体として自然に見えるように、飛び出し距離Ｄを調整すると良い。
【００６５】
また、図１２に示すように、ユーザが右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の両方にタッチし、上下左右のいずれかの方向に移動させる入力動作を行った場合、位置調整部９４は、右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）の位置を、両者の相対的な位置関係を変えずに、タッチの軌跡に応じて背景画像ＴＰ１に対して移動させる。その際に、ユーザが軌跡を回転させる入力動作を行った場合、位置調整部９４は、この軌跡に応じて右目被写体画像Ａ１（Ｒ）及び左目被写体画像Ａ１（Ｌ）を背景画像ＴＰ１の面内で回転させても良い。
【００６６】
さらに、図１３（ａ）に示すように、ユーザが左目被写体画像Ａ１（Ｌ）にタッチし、右目被写体画像Ａ１（Ｒ）よりも左側まで移動させる等して、左目被写体画像Ａ１（Ｌ）と右目被写体画像Ａ１（Ｒ）との左右関係を逆転させる入力動作を行った場合（即ち、右目被写体画像Ａ１（Ｒ）の左端と左目被写体画像Ａ１（Ｌ）の右端とが重なり合う状態の場合）、位置調整部９４は、主要被写体画像Ａ１が表示画面と直交する方向に、引っ込み距離Ｄ’だけ仮想的に引っ込んで見えるように、視差を調整する（図１３（ｂ）参照）。例えば、主要被写体画像Ａ１がテンプレート画像ＴＰ１内のオブジェクト（キャラクター等）よりも後方に存在するように見せたい場合には、主要被写体画像Ａ１をキャラクターよりも引っ込んで見せると良い。このとき、ユーザは、合成画像全体として自然に見えるように、引っ込み距離Ｄ’を調整すると良い。
【００６７】
なお、位置調整部９４は、主要被写体画像Ａ１の視差を調整する際にタッチの軌跡が３Ｄ画像の表示可能な視差の限界値を超えた場合、視差を限界値で固定しても良い。
【００６８】
次に、撮像装置１が行う処理について説明する。図１４は、撮像装置１の動作を示すフローチャートである。図１４において、まず、制御部９は、撮像装置１の電源がオンになっているか否かを判断する（ステップＳ１０１）。撮像装置１の電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２に移行する。一方、撮像装置１の電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は本処理を終了する。
【００６９】
続いて、制御部９は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０２）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、２Ｄ又は３Ｄで表示部６に表示させる（ステップＳ１０３）。
【００７０】
ステップＳ１０４において、制御部９は、撮像装置１が画像合成モードに設定されているか否かを判断する。撮像装置１が画像合成モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）、続いて制御部９は、テンプレート画像が選択されているか否かを判断する（ステップＳ１０５）。テンプレート画像が既に選択されている場合（ステップＳ１０５：Ｙｅｓ）、表示制御部９５は、選択されたテンプレート画像を表示部６に表示させる（ステップＳ１０７）。一方、テンプレート画像がまだ選択されていない場合（ステップＳ１０５：Ｎｏ）、表示制御部９５は、テンプレート画像選択画面を表示部６に表示させ、ユーザに所望のテンプレート画像を選択させる（ステップＳ１０６）。
【００７１】
図１５は、ステップＳ１０６において表示部６に表示されるテンプレート画像選択画面の一例を示す模式図である。このテンプレート画像選択画面１００は、背景画像データ記憶部８２に記憶されたテンプレート画像データに基づいてサムネイル表示されたテンプレートの縮小画像１０１〜１０６と、ＯＫボタン１０７とを含む。タッチパネル７への外部からの物体の接触により、いずれかの縮小画像とＯＫボタン１０７とを選択する信号が入力されると（ステップＳ１０６）、選択された縮小画像に対応するテンプレート画像が表示部６に表示される（ステップＳ１０７）。
【００７２】
なお、表示制御部９５は、ステップＳ１０５においてテンプレート画像が既に選択されている場合であっても、テンプレート画像選択画面１００を表示部６に表示させ、選択済みのテンプレート画像を強調表示する等して、ユーザに確認させるようにしても良い。
【００７３】
ステップＳ１０８において、画像抜出し部９３ａは、スルー画表示された画像から、撮像装置１の視野に入った主要被写体ＯＢ１を表す主要被写体画像Ａ１を抜き出す。主要被写体画像Ａ１の抜出し方法については、図６〜図８を参照して説明したいずれの方法を用いても良い。
【００７４】
続くステップＳ１０９において、合成部９３ｂは、主要被写体画像Ａ１をテンプレート画像ＴＰ１に貼り付けた右目合成画像及び左目合成画像を生成し、表示制御部９５は、これらの合成画像を表示部６に表示させる（図１６参照）。なお、この間、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作して、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示と、右目合成画像及び左目合成画像に基づく３Ｄ画像の表示とを所望のタイミングで切り換えることができる。図１６は、重ね合わせ画像ＷＤ２が表示される場合を示している。また、図１６に示すように、ユーザは、主要被写体ＯＢ１に対する撮像部２の向きを変化させることにより、テンプレート画像ＴＰ１上における主要被写体画像Ａ１の位置を調節することができる。
【００７５】
ステップＳ１１０において、位置調整部９４は、表示部６が２Ｄ画像の表示を行っている間、重ね合わせ画像ＷＤ２上の主要被写体画像Ａ１の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合（ステップＳ１１０：Ｙｅｓ）、位置調整部９４は、タッチの軌跡に応じて、主要被写体画像Ａ１の視差及び位置を調整する（ステップＳ１１１）。一方、タッチ操作がない場合（ステップＳ１１０：Ｎｏ）、当初の視差のまま、動作はステップＳ１１２に移行する。
【００７６】
ステップＳ１１２において、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、撮像部２は撮影を行う（ステップＳ１１３）。なお、このとき、表示制御部９５は、撮影された画像を所定時間表示する所謂レックビュー表示を行うよう表示部６を制御しても良い。
【００７７】
続いて、制御部９は、撮影により得られた画像データを撮影画像データ記憶部８１に記憶させると共に、関連情報として、主要被写体画像Ａ１として撮影画像から抜き出す領域（抜出し領域情報）、選択されたテンプレート画像ＴＰ１を特定する情報（背景画像情報）、テンプレート画像ＴＰ１上における主要被写体画像Ａ１の位置（合成位置情報）、及び調整された視差の量（視差情報）等の情報を撮影画像データに関連付けて記憶させる（ステップＳ１１４）。なお、制御部９は、撮影画像データとは別に、主要被写体画像データを別途生成し、そこに背景画像情報、合成位置情報、及び視差情報を関連付けて記憶させても良い。その後、撮像装置１の動作はステップＳ１０１に戻る。
【００７８】
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ１１２：Ｎｏ）、撮像装置１の動作はステップＳ１０１に戻る。
【００７９】
次に、撮像装置１が画像合成モードに設定されていない場合（ステップＳ１０４：Ｎｏ）について説明する。この場合、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ１１５）。表示部６におけるスルー画の開始後、所定時間内に、撮影を指示するレリーズ信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、撮像部２は撮影を行い（ステップＳ１１６）、制御部９は、撮影により得られた撮影画像データを記憶部８に記憶させる（ステップＳ１１７）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。その後、動作はステップＳ１０１に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ１１５：Ｎｏ）、撮像装置１の動作はステップＳ１０１に戻る。
【００８０】
次に、ステップＳ１０２において、撮像装置１が撮影モードに設定されていない場合を説明する（ステップＳ１０２：Ｎｏ）。この場合、撮像装置１は、撮影した画像データを表示部６に表示する再生表示処理を実行する（ステップＳ１２０）。
【００８１】
図１７は、再生表示処理における撮像装置１の動作を示すフローチャートである。図１７において、まず、表示制御部９５は、撮影画像データ記憶部８１に記憶された画像ファイルに基づき、複数の画像をまとめて表示した画像選択画面を表示部６に表示させる（ステップＳ１２１）。
【００８２】
ステップＳ１２２において、制御部９は、ユーザがタッチパネル７を操作することによって画像選択画面の中から画像が選択されたか否かを判断する。画像が選択されない場合（ステップＳ１２２：Ｎｏ）、動作はステップＳ１２１に戻る。一方、画像が選択された場合（ステップＳ１２２：Ｙｅｓ）、続いて制御部９は、選択された画像の関連情報に基づいて、当該画像が合成画像であるか否かを判断する（ステップＳ１２３）。制御部９は、例えば関連情報に背景画像情報が含まれる場合、当該画像が合成画像であると判断する。
【００８３】
選択された画像が合成画像でない場合（ステップＳ１２３：Ｎｏ）、表示制御部９５は、当該画像に対応する撮影画像データを記憶部８から読み出し、表示部６に拡大画像を表示させる（ステップＳ１２４）。
【００８４】
一方、選択された画像が合成画像である場合（ステップＳ１２３：Ｙｅｓ）、合成部９３ｂは、撮影画像データ（又は被写体画像データ）を記憶部８から読み出すと共に、関連情報に基づいてテンプレート画像データを読み出し、視差情報及び合成位置情報に基づいて、主要被写体画像をテンプレート画像に貼り付けた合成画像データを生成する。さらに、表示用画像生成部９２は、この合成画像データに基づいて表示用の画像データを生成し、表示制御部９５は、表示用の画像データに基づいて合成画像の拡大画像を表示部６に表示させる（ステップＳ１２５）。
【００８５】
図１８は、ステップＳ１２５において表示部６に表示される画像の表示例を示す模式図である。表示部６の表示画面には、画像選択用の複数の縮小画像１１２及び１１３が表示される画像一覧表示領域１１１と、選択された縮小画像１１２を拡大した拡大画像表示領域１１４とが設けられる。このとき、ユーザは、２Ｄ／３Ｄ切換スイッチ４５を操作することにより、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示と、右目合成画像及び左目合成画像合成画像に基づく３Ｄ画像の表示とを所望のタイミングで切り換えることができる。図１８は、２Ｄ画像として表示された重ね合わせ画像ＷＤ２を示している。
【００８６】
制御部９は、表示部６が重ね合わせ画像ＷＤ２を表示している間、重ね合わせ画像ＷＤ２上の主要被写体画像Ａ１の表示領域に対して、タッチパネル７へのタッチ操作（即ち、タッチパネル７の外部からの接触位置に応じた信号が入力）があったか否かを判断する（ステップＳ１２６）。タッチ操作があった場合（ステップＳ１２６：Ｙｅｓ）、制御部９は、タッチされた軌跡に応じて、主要被写体画像Ａ１の視差及び位置を調整する（ステップＳ１２７）。視差及び位置の調整方法については、図１１〜図１３を参照して説明したものと同様である。
【００８７】
なお、視差及び位置を調整する際、ユーザは、例えば図１９に示すように、主要被写体画像Ａ１の表示領域上の１箇所に指をタッチさせて操作入力を行っても良いし、図２０に示すように、主要被写体画像Ａ１の表示領域上の２箇所に指をタッチさせ、左右方向に指の間隔を広げたり、反対に、指の間隔を狭めたりする操作入力（ピンチ操作）を行っても良い。後者の場合、位置調整部９４は、このような操作を、主要被写体画像Ａ１の視差を大きく（又は小さく）する信号の入力として受け付ける。
【００８８】
一方、タッチ操作がない場合（ステップＳ１２６：Ｎｏ）、位置調整部９４は、主要被写体画像Ａ１に関して視差及び位置の調整は行わず、動作はステップＳ１２８に移行する。
【００８９】
画像一覧表示領域１１１から別の縮小画像１１３のいずれかを選択する信号入力等により、現在表示されている画像の拡大表示を終了する操作入力があった場合（ステップＳ１２８：Ｙｅｓ）、制御部９は、視差及び位置調整後の視差情報及び合成位置情報を、当該撮影画像データの関連情報として記憶部８に上書き記憶させる（ステップＳ１２９）。このとき、制御部９は、視差情報及び合成位置情報を保存するか否かのメッセージを表示部６に表示させ、ユーザにより入力された信号に基づいて、視差情報及び合成位置情報を上書きさせるようにしても良い。一方、現在表示されている画像の拡大表示を終了する操作入力がない場合（ステップＳ１２８：Ｎｏ）、動作はステップＳ１２６に戻る。
【００９０】
切換スイッチ４３を介した入力信号により、撮像装置１の再生モードが終了すると（ステップＳ１３０：Ｙｅｓ）、動作はメインルーチンに戻る。一方、再生モードが継続している場合（ステップＳ１３０：Ｎｏ）、動作はステップＳ１２１に戻る。
【００９１】
以上説明したように、実施の形態１によれば、撮影画像から主要被写体の画像を抜き出し、背景として予め用意されたテンプレート画像に合成するので、身近な人物等の被写体が写し出された合成画像を手軽に生成することができる。また、合成画像を生成又は表示する際に、右目画像と左目画像との重ね合わせ画像上でのタッチ操作により視差を変更できるので、ユーザは、主要被写体画像の立体感を直感的な動作で調整することが可能となる。その結果、背景画像に対する主要被写体画像の立体感（飛び出し感や引っ込み感）が自然で、違和感の少ない３Ｄ画像を表示することが可能となる。
【００９２】
以上説明した実施の形態１においては、テンプレート画像を表示部６に表示させた状態で、撮影画像を取り込んで主要被写体画像を抜き出したが、主要被写体画像の抜出しを行った後でテンプレート画像の選択や表示を行うようにしても良い。
【００９３】
また、上記実施の形態１において、予めユーザが撮影した画像を背景画像として背景画像データ記憶部８２に記憶させておき、これを用いて合成画像を生成しても良い。
【００９４】
（実施の形態２）
次に、本発明の実施の形態２に係る撮像装置について説明する。本実施の形態２に係る撮像装置は、右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式によって３Ｄ画像を表示する３Ｄテレビ等の表示画面を撮影することにより取得した画像信号に基づいて、３Ｄの背景画像を生成することを特徴とする。
【００９５】
図２１は、実施の形態２に係る撮像装置の構成を示すブロック図である。図２１に示すように、撮像装置２０１は、３Ｄテレビ等の表示画面を撮影した撮影画像データから、３Ｄ表示可能な背景画像データを取り込む３Ｄ背景画像取得部９６を備える。撮像装置２０１のその他の構成については、図１に示すものと同様である。
【００９６】
まず、本実施の形態２における背景画像の生成方法について説明する。図２２は、フレームシーケンシャル方式の３Ｄテレビである表示装置２０２を撮像装置２０１で撮影する様子を示す模式図である。表示装置２０２の表示画面２０３には、図２３（ａ）及び（ｂ）に示すように、右目画像及び左目画像が所定の周期で交互に表示される。このような表示画面に対し、図２３（ｃ）に示すような撮像タイミングで高速連写撮影を行うと、右目画像及び左目画像がそれぞれ所定の周期で撮影画像に写り込む。
【００９７】
３Ｄ背景画像取得部９６は、撮像装置１がテレビ（ＴＶ）撮影モードに設定されている間、高速連写撮影により生成された撮影画像データを所定のタイミングで取り込むことにより、背景画像として使用される右目画像及び左目画像に対応する画像データを取得する。
【００９８】
また、合成画像生成部９３の左右画像判別部９３ｃは、３Ｄ背景画像取得部９６が取り込んだ背景画像を左右いずれの背景画像とするかを判別する。ここで、図２４に示すように、合成画像の背景として使用される画像は、現実の表示画面Ｐ１よりも仮想的に奥（ユーザ２０４から離れる方）に引っ込んで見えるようにすると良い。そのためには、表示画面Ｐ１の位置において、画面の右寄りに表示される画像がユーザ２０４の右目に入り、画面の左寄りに表示される画像がユーザ２０４の左目に入るようにすれば良い。そこで、左右画像判別部９３ｃは、画像が画面の右寄りに写っているものを右目背景画像、画像が画面の左寄りに写っているものを左目背景画像として振り分ける（図２３（ｄ）参照）。
【００９９】
さらに、制御部９は、右目背景画像及び左目背景画像として振り分けられた画像の内から、それぞれ、鮮鋭度の高い画像を抽出して背景画像データ記憶部８２に記憶させる。
【０１００】
図２５は、撮像装置２０１の動作を示すフローチャートである。図２５において、まず、制御部９は、撮像装置２０１の電源がオンになっているか否かを判断する（ステップＳ２０１）。撮像装置２０１の電源がオンになっている場合（ステップＳ２０１：Ｙｅｓ）、撮像装置２０１はステップＳ２０２に移行する。一方、撮像装置２０１の電源がオンになっていない場合（ステップＳ２０１：Ｎｏ）、撮像装置２０１は動作を終了する。
【０１０１】
ステップＳ２０２において、制御部９は、撮像装置２０１が撮影モードに設定されているか否かを判断する。撮影装置２０１が撮影モードに設定されていない場合（ステップＳ２０２：Ｎｏ）、動作はステップＳ１２０に移行する。なお、ステップＳ１２０における動作は、実施の形態１において説明したものと同様である。
【０１０２】
一方、撮像装置２０１が撮影モードに設定されている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従い、２Ｄ画像又は３Ｄ画像で表示部６に表示させる（ステップＳ２０３）。
【０１０３】
続くステップＳ２０４において、制御部９は、撮像装置２０１がテレビ（ＴＶ）撮影モードに設定されているか否かを判断する（ステップＳ２０４）。テレビ撮影モードに設定されていない場合（ステップＳ２０４：Ｎｏ）、動作は直接ステップＳ２０９に移行する。
【０１０４】
撮像装置２０１がテレビ撮影モードに設定されている場合（ステップＳ２０４：Ｙｅｓ）、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ２０５）。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２０５：Ｙｅｓ）、撮像部２は高速連写撮影を行い、３Ｄ背景画像取得部９６は所定のタイミングで撮影画像データを取り込む（ステップＳ２０６）。続いて、左右画像判別部９３ｃは、３Ｄ背景画像取得部９６によって取り込まれた撮影画像データに対応する画像を、左目背景画像と右目背景画像とに振り分ける処理を行う（ステップＳ２０７）。さらに、制御部９は、左目背景画像と右目背景画像とに振り分けられた画像の内から鮮鋭度の高い画像をそれぞれ抽出して、背景画像データ記憶部８２に記憶させる（ステップＳ２０８）。
【０１０５】
続くステップＳ２０９において、制御部９は、撮像装置２０１が画像合成モードに設定されているか否かを判断する。画像合成モードに設定されている場合（ステップＳ２０９：Ｙｅｓ）、制御部９は、画像合成に用いられる背景画像が設定されているか否かを判断する（ステップＳ２１０）。例えば、ステップＳ２０４〜Ｓ２０８において背景画像が生成された場合には、生成された背景画像が設定されているものと判断される。
【０１０６】
背景画像が設定されている場合（ステップＳ２１０：Ｙｅｓ）、表示制御部９５は、設定された背景画像を表示部６に表示させる（ステップＳ２１２）。一方、背景画像がまだ設定されていない場合（ステップＳ２１０：Ｎｏ）、表示制御部９５は、背景画像選択画面を表示部６に表示させ、ユーザに所望の背景画像を選択させる（ステップＳ２１１）。この背景画像選択画面には、過去に生成された背景画像や、実施の形態１において用いられたテンプレート画像が表示されるようにしても良い。
【０１０７】
ステップＳ２１３において、画像抜出し部９３ａは、スルー画表示された画像から主要被写体画像を抜き出す。主要被写体画像の抜出し方法については、図６〜図８を参照して説明したいずれの方法を用いても良い。
【０１０８】
ステップＳ２１４において、合成部９３ｂは、主要被写体画像を背景画像に貼り付けた右目合成画像及び左目合成画像を生成する。さらに、表示用画像生成部９２は、これらの合成画像に基づく表示用の画像データを生成し、表示制御部９５は、表示用の画像データに基づいて合成画像を表示部６に表示させる。このとき、表示制御部９５は、２Ｄ／３Ｄ切換スイッチ４５への操作による設定に従って、右目合成画像と左目合成画像とを重ね合わせた２Ｄ画像の表示、又は、右目合成画像及び左目合成画像に基づく３Ｄ画像の表示を行うよう、表示部６を制御する（図１０（ｂ）及び（ｃ）参照）。
【０１０９】
ステップＳ２１５において、位置調整部９４は、表示部６が２Ｄ画像の表示を行っている間、重ね合わせ画像上の主要被写体画像の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合（ステップＳ２１５：Ｙｅｓ）、位置調整部９４は、タッチされた軌跡に応じて、主要被写体画像Ａ１の視差を調整する（ステップＳ２１６）。一方、タッチ操作がない場合（ステップＳ２１５：Ｎｏ）、当初の視差のまま、動作はステップＳ２１７に移行する。
【０１１０】
ステップＳ２１７において、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部６におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２１７：Ｙｅｓ）、撮像部２は撮影を行う（ステップＳ２１８）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。
【０１１１】
続いて、制御部９は、撮影により得られた画像データを撮影画像データ記憶部８１に記憶させると共に、背景画像を特定する情報（背景画像情報）、背景画像上における主要被写体画像の位置（合成位置情報）、及びステップＳ２１６において調整された視差の量（視差情報）を含む関連情報を、撮影画像データに関連付けて記憶させる（ステップＳ２１９）。その後、動作はステップＳ２０１に戻る。
【０１１２】
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ２１７：Ｎｏ）、動作はそのままステップＳ２０１に戻る。
【０１１３】
次に、撮像装置２０１が画像合成モードに設定されていない場合（ステップＳ２０９：Ｎｏ）について説明する。この場合、制御部９は、撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ２３１）。表示部６がスルー画を表示し始めてから所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ２３１：Ｙｅｓ）、撮像部２は撮影を行い（ステップＳ２３２）、制御部９は、撮影により得られた撮影画像データを記憶部８に記憶させる（ステップＳ２３３）。なお、このとき、表示制御部９５は、レックビュー表示を行うよう表示部６を制御しても良い。その後、動作はステップＳ２０１に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合（ステップＳ２３１：Ｎｏ）、動作はステップＳ２０１に戻る。
【０１１４】
以上説明した実施の形態２によれば、３Ｄ画像の表示が可能なテレビを利用して、３Ｄの背景画像を手軽に生成することができる。従って、ユーザは、お気に入りのキャラクターや風景が写し出された背景画像に、身近な人物等の主要被写体画像を合成して鑑賞することが可能となる。また、実施の形態２によれば、背景画像の立体感に合わせて主要被写体画像の立体感を調整することにより、違和感のない合成画像を生成して表示することが可能となる。
【０１１５】
（実施の形態３）
次に、本発明の実施の形態３に係る画像通信システムについて説明する。実施の形態３においては、撮像装置において生成された合成画像を、３Ｄ画像を表示可能なテレビ等の表示装置に出力して表示させることを特徴とする。
【０１１６】
図２６は、実施の形態３に係る画像通信システムの構成を示す模式図である。図２６に示す画像通信システム３００は、デジタルステレオカメラである撮像装置３０１と、撮像装置３０１と電気的に接続され、撮像装置３０１からの画像データを受信し、３Ｄ画像を表示することが可能な外部機器としての表示装置３０２とを備える。
【０１１７】
図２７は、撮像装置３０１の構成を示すブロック図である。図２７に示すように、撮像装置３０１は、外部機器との間でデータの送受信を行う通信部１０と、送信用画像生成部９７と、通信状態検出部９８とを備える。その他の構成については、図１に示す撮像装置１と同様である。或いは、撮像装置３０１は、図２１に示す撮像装置２０１と同様に、３Ｄ背景画像取得部９６をさらに備えても良い。
【０１１８】
送信用画像生成部９７は、通信部１０を介して外部接続された表示装置３０２の表示画面３０３で表示させるために表示装置３０２へ送信する送信用画像の画像データを生成する。
【０１１９】
通信状態検出部９８は、撮像装置３０１と表示装置３０２との通信状態を検出する。例えば、撮像装置３０１と表示装置３０２との間がＨＤＭＩ（登録商標）を介して接続される場合、通信状態検出部９８は、ＣＥＣプロトコルにしたがって撮像装置３０１と表示装置３０２との通信状態を検出する。また、撮像装置３０１と表示装置３０２との間がインターネットを介して接続される場合、通信状態検出部９８は、ＴＣＰ／ＩＰプロトコルにしたがって撮像装置３０１と表示装置３０２との通信状態を検出する。なお、撮像装置３０１と表示装置３０２との間の通信は、無線通信であってもよい。
【０１２０】
表示装置３０２は、例えば、表示画面３０３で表示する右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式、または液晶パネルからなる表示画面３０３に偏光フィルムが組み込まれた偏光フィルム方式によって３Ｄ画像を表示する３Ｄテレビである。このような３Ｄテレビが表示する３Ｄ画像をユーザが見る場合には、方式に応じた専用のメガネ３０４をかける必要がある。フレームシーケンシャル方式の場合に適用されるメガネ３０４は、画像の切り換えに同期して、表示される画像を見るための目と逆の目を閉じることが可能な構成を有する液晶シャッタメガネである。また、偏光方式の場合に適用されるメガネ３０４は、左目には左目画像のみが届き、右目には右目画像のみが届くように偏光フィルタが貼付された構成を有する。
【０１２１】
このような画像通信システム３００において、撮像装置３０１は、切換スイッチ４３への操作により撮影モードに設定されている間、実施の形態１と同様に、被写体を撮影して合成画像を生成する（図１４参照）。或いは、撮像装置３０１は、実施の形態２と同様に、表示装置３０２を利用して背景画像の生成を行っても良い（図２５参照）。また、撮像装置３０１は、切換スイッチ４３への操作により再生表示モードに設定されている間、撮影画像や合成画像を自身に備えられた表示部６に表示させる（図１７参照）。
【０１２２】
また、撮像装置３０１は、表示装置３０２と接続されている間、表示部６に表示されている画像に対応する画像を表示装置３０２に表示させる。具体的には、表示用画像生成部９２が撮影画像データ又は合成画像データに基づく表示用の画像データを生成する際に、送信用画像生成部９７は、同じ撮影画像データ又は合成画像データに基づく送信用の画像データを生成し、通信部１０を介して表示装置３０２に送信する。このとき、切換スイッチ４３への操作により、送信用画像データを送信するか否かを切り換えるようにしても良い。また、撮像装置３０１における画像の表示態様によらず、表示装置３０２において、右目画像と左目画像との重ね合わせ画像を２Ｄ画像として表示する態様と、右目画像又は左目画像を通常の２Ｄ画像として表示させる態様と、右目画像及び左目画像に基づいて３Ｄ画像を表示させる態様とを、切換スイッチ４３への操作により切り替えられるようにしても良い。
【０１２３】
以上説明した実施の形態３によれば、ユーザは、撮像装置において生成した合成画像を外部機器（表示装置）に表示させて鑑賞することができる。また、その際に、ユーザは、外部機器に合成画像を３Ｄ表示させて立体感をリアルタイムで確認しながら、撮像装置のタッチパネル上で主要被写体画像の視差を調整することができるので、外部機器の表示画面において自然に見える合成画像を、直感的な操作により生成することが可能となる。
【０１２４】
以上説明した実施の形態１〜３においては、画像データの関連情報として、主要被写体画像の視差情報及び合成位置情報を記憶しているが、それらに加えて、主要被写体画像の凹凸等の立体感を表す情報を記憶するようにしても良い。それによって、リアルな立体感が再現された合成画像を表示することが可能となる。特に、立体の背景に違和感なく立体画像を合成するためには、ユーザによるトライアンドエラーの繰り返しが発生するため、簡単に目視確認ができ、簡単（容易）に効果を確認できる工夫が必要である。本発明の実施の形態１〜３によれば、直感的な操作を追求しており、即座（リアルタイム）に調整しながらその場で立体感の確認が出来、自然で違和感のない合成画像が誰にでも手軽に作れるという効果を奏する。
【０１２５】
また、以上説明した実施の形態１〜３においては、タッチパネルへの操作により合成画像上での主要被写体画像の視差及び位置を調整したが、それ以外にも、マウスやタッチペン等のポインティングデバイスや、その他種々の入力デバイスを用いて、上述した実施の形態１〜３で説明した同等の考え方を採用し、視差及び位置の調整を行っても良い。
【０１２６】
さらに、以上説明した実施の形態１〜３においては、２つの画像をそれぞれ撮像する２つの光学系により撮像部２を構成したが、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有する撮像部を設け、該撮像部が連続的に撮像した画像の中から、表示用画像生成部が視野の左右方向の一端部が互いに重なる２つの画像を抽出することにより、右目用及び左目用の撮影画像を生成するようにしても良い。
【０１２７】
また、以上説明した実施の形態１〜３においては、静止画である合成画像を生成する場合を説明したが、これらの実施の形態を動画に適応しても良い。
【０１２８】
本発明に係る撮像装置は、デジタルステレオカメラ以外にも、例えばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能及び表示機能を備えた各種電子機器に適用することができる。
【０１２９】
また、本発明において、外部機器としての表示装置は３Ｄテレビに限られるわけではなく、３Ｄ画像を表示可能な表示部を有していれば、いかなる電子機器であってもかまわない。
【符号の説明】
【０１３０】
１、２０１、３０１ 撮像装置
２ 撮像部
３ 姿勢検出部
４ 操作入力部
５ 時計
６ 表示部
７ タッチパネル
８ 記憶部
９ 制御部
１０ 通信部
２１、２２ 撮像部
２１ａ、２２ａ レンズ部
２１ｂ、２２ｂ レンズ駆動部
２１ｃ、２２ｃ 絞り
２１ｄ、２２ｄ 絞り駆動部
２１ｅ、２２ｅ シャッタ
２１ｆ、２２ｆ シャッタ駆動部
２１ｇ、２２ｇ 撮像素子
２１ｈ、２２ｈ 信号処理部
２３ 発光部
４１ 電源スイッチ
４２ レリーズスイッチ
４３ 切換スイッチ
４４ ズームスイッチ
４５ ２Ｄ／３Ｄ切換スイッチ
６１ バックライト
６２ 表示パネル
６３ 視差バリア
８１ 撮影画像データ記憶部
８２ 背景画像データ記憶部
８３ プログラム記憶部
９１ 画像処理部
９２ 表示用画像生成部
９３ 合成画像生成部
９３ａ 画像抜出し部
９３ｂ 合成部
９３ｃ 左右画像判別部
９４ 位置調整部
９５ 表示制御部
９６ ３Ｄ背景画像取得部
９７ 送信用画像生成部
９８ 通信状態検出部
１００ テンプレート画像選択画面
１０１〜１０６ 縮小画像
１０７ ＯＫボタン
１１１ 画像一覧表示領域
１１２、１１３ 縮小画像
１１４ 拡大画像表示領域
２０２、３０２ 表示装置
２０３、３０３ 表示画面
２０４ ユーザ
３００ 画像通信システム
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
２つの画像に基づく３次元画像を表示可能な表示部と、
前記撮像部によって生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、
前記２つの撮影画像から背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、
前記画像抜出し部によって抜き出された前記２つの主要被写体画像を所定の背景画像に貼り付けることにより、右目及び左目に対応する２つの合成画像を生成する画像合成部と、
外部からの操作の入力を受け付ける入力受付部と、
前記入力受付部によって受け付けられた入力に応じて、前記２つの合成画像における前記２つの主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記主要被写体は、前記２つの撮影画像における視野の前方又は中央部に位置する画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記主要被写体は、前記２つの撮影画像において最も視差が大きい画像であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像部の視野領域を照明する発光部をさらに備え、
前記主要被写体は、前記発光部を発光させた場合、反射光が最も強くなる領域の画像であることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記画像合成部は、前記２つの主要被写体画像を同一の背景画像に貼り付けることにより、背景が２次元画像として表示される前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像合成部は、前記２つの主要被写体画像を、視野の左右方向の一端部同士が互いに重なる２つの背景画像にそれぞれ貼り付けることにより、背景が３次元画像として表示可能な前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項７】
フレームシーケンシャル方式で３次元画像を表示する表示画面を高速連写撮影することにより生成された撮影画像から、右目及び左目に対応する２つの表示画面撮影画像を取得する画像取得部をさらに備え、
前記画像合成部は、前記画像取得部によって取得された前記２つの表示画面撮影画像に前記２つの主要被写体画像をそれぞれ貼り付けることにより、前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項８】
前記画像取得部によって取得された前記２つの表示画面撮影画像に基づく３次元画像が表示された場合に、該３次元画像が表示画面から仮想的に引っ込んで見えるように、前記２つの表示画面撮影画像の右目と左目との対応を判別する左右画像判別部をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記表示部に対し、２つの画像に基づく３次元画像の表示と、２つの画像を重ね合わせた２次元画像の表示との内のいずれかを、外部から入力される信号に従い切り換えて表示させる表示制御部をさらに備えることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記入力受付部は、前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルであり、
前記位置調整部は、前記タッチパネルに接触した物体の軌跡に応じて前記主要被写体画像の視差を調整することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記位置調整部は、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像の左右方向の一端部同士が重なる重なり領域を前記軌跡に応じて変化させることにより視差を調整することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて移動させることにより、前記背景画像に対する前記主要被写体画像の位置を移動させることを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて回転させることにより、前記背景画像の面内で前記主要被写体画像を回転させることを特徴とする請求項１０〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記２つの画像を用いて、前記外部機器で表示させるために送信する送信用画像を生成する送信用画像生成部と、
前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部と、
をさらに備えることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記撮像部は、前記２つの画像をそれぞれ撮像する２つの光学系を有することを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記撮像部は、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有し、
前記画像生成部は、前記撮像部が連続的に撮像した画像の中から前記２つの画像を抽出することを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１７】
前記表示制御部は、
前記２つの画像にそれぞれ対応する２つの画像データを、前記表示画面における水平方向の１画素ごとに交互に並べて前記表示部に出力する制御を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１８】
請求項１〜１７のいずれか１項に記載の撮像装置と、
前記撮像装置と所定の通信規格にしたがって通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置と、
を備えることを特徴とする画像通信システム。
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
２つの画像に基づく３次元画像を表示可能な表示部と、
前記撮像部によって生成された画像データに基づいて、３次元画像の基となる右目及び左目に対応する２つの撮影画像を生成する画像生成部と、
前記２つの撮影画像から背景を除いた主要被写体を表す画像をそれぞれ抜き出すことにより、右目及び左目に対応する２つの主要被写体画像を取得する画像抜出し部と、
前記画像抜出し部によって抜き出された前記２つの主要被写体画像を所定の背景画像に貼り付けることにより、右目及び左目に対応する２つの合成画像を生成する画像合成部と、
外部からの操作の入力を受け付ける入力受付部と、
前記入力受付部によって受け付けられた入力に応じて、前記２つの合成画像における前記２つの主要被写体画像の相対的な位置を変化させることにより視差を調整する位置調整部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記主要被写体は、前記２つの撮影画像における視野の前方又は中央部に位置する画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記主要被写体は、前記２つの撮影画像において最も視差が大きい画像であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像部の視野領域を照明する発光部をさらに備え、
前記主要被写体は、前記発光部を発光させた場合、反射光が最も強くなる領域の画像であることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記画像合成部は、前記２つの主要被写体画像を同一の背景画像に貼り付けることにより、背景が２次元画像として表示される前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像合成部は、前記２つの主要被写体画像を、視野の左右方向の一端部同士が互いに重なる２つの背景画像にそれぞれ貼り付けることにより、背景が３次元画像として表示可能な前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項７】
フレームシーケンシャル方式で３次元画像を表示する表示画面を高速連写撮影することにより生成された撮影画像から、右目及び左目に対応する２つの表示画面撮影画像を取得する画像取得部をさらに備え、
前記画像合成部は、前記画像取得部によって取得された前記２つの表示画面撮影画像に前記２つの主要被写体画像をそれぞれ貼り付けることにより、前記２つの合成画像を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項８】
前記画像取得部によって取得された前記２つの表示画面撮影画像に基づく３次元画像が表示された場合に、該３次元画像が表示画面から仮想的に引っ込んで見えるように、前記２つの表示画面撮影画像の右目と左目との対応を判別する左右画像判別部をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記表示部に対し、２つの画像に基づく３次元画像の表示と、２つの画像を重ね合わせた２次元画像の表示との内のいずれかを、外部から入力される信号に従い切り換えて表示させる表示制御部をさらに備えることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記入力受付部は、前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルであり、
前記位置調整部は、前記タッチパネルに接触した物体の軌跡に応じて前記主要被写体画像の視差を調整することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記位置調整部は、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像の左右方向の一端部同士が重なる重なり領域を前記軌跡に応じて変化させることにより視差を調整することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて移動させることにより、前記背景画像に対する前記主要被写体画像の位置を移動させることを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記位置調整部は、さらに、前記２つの合成画像を重ね合わせた２次元画像において、前記２つの主要被写体画像を、相対的な位置関係を維持しつつ前記軌跡に応じて回転させることにより、前記背景画像の面内で前記主要被写体画像を回転させることを特徴とする請求項１０〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記２つの画像を用いて、前記外部機器で表示させるために送信する送信用画像を生成する送信用画像生成部と、
前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部と、
をさらに備えることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記撮像部は、前記２つの画像をそれぞれ撮像する２つの光学系を有することを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記撮像部は、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有し、
前記画像生成部は、前記撮像部が連続的に撮像した画像の中から前記２つの画像を抽出することを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１７】
前記表示制御部は、
前記２つの画像にそれぞれ対応する２つの画像データを、前記表示画面における水平方向の１画素ごとに交互に並べて前記表示部に出力する制御を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１８】
請求項１〜１７のいずれか１項に記載の撮像装置と、
前記撮像装置と所定の通信規格にしたがって通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置と、
を備えることを特徴とする画像通信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−７０１０３（Ｐ２０１２−７０１０３Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１１４４６（Ｐ２０１０−２１１４４６）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]