撮像装置
【課題】 装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得すること。
【解決手段】 装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、装置本体の背面に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部と、第2の撮像部の撮像により取得された2つの視差画像データから第2の主要被写体の画像データを切り出す切出部と、第1の撮像画像データと切出部により切り出された第2の主要被写体の画像データとを予め設定された合成条件に従って合成して合成画像データを作成する画像処理制御部とを備える。
【解決手段】 装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、装置本体の背面に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部と、第2の撮像部の撮像により取得された2つの視差画像データから第2の主要被写体の画像データを切り出す切出部と、第1の撮像画像データと切出部により切り出された第2の主要被写体の画像データとを予め設定された合成条件に従って合成して合成画像データを作成する画像処理制御部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば主要被写体である人物の顔部を自分自身で撮影するという所謂自分撮りにより取得した画像データを装置本体の背面に設けられた撮像部により取得した画像データに合成することを可能とする撮像装置に関する。
【背景技術】
【0002】
かかる撮像装置の技術としては、例えば特許文献1がある。この特許文献1は、筐体の第一の表面に第一のカメラを搭載し、筐体の第一の表面の裏側の第二の表面にも第二のカメラを搭載し、第一のカメラで自分の顔を撮影したり、第二のカメラで自分が見ている風景を撮影したり、両者を同時に撮影したり、第一のカメラと第二のカメラで撮影したそれぞれの画像を合成して合成写真を撮影することを開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−147046号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1は、第一のカメラと第二のカメラとで撮影したそれぞれの画像を合成しているが、ただ単に、第一のカメラと第二のカメラとで撮影した各画像を合成しただけでは、これら画像の合成写真を鑑賞するに際し、第一のカメラで撮影した自分の顔と第二のカメラで撮影した風景とが不自然に合成させている印象を与えることがある。例えば、画像中に写っている影の方向がそれぞれの画像で異なっていることがある。又、カメラを持った撮影者であるユーザが第一のカメラにより例えばユーザの家族を撮影し、これと同時にカメラを持ったユーザが第一の表面の裏面の第二のカメラにより自分撮りを行い、これら撮影により取得された各画像を合成した合成写真を鑑賞するに際にも、筐体の第一の表面の第一のカメラとその裏面の第二のカメラにより撮影を行うために、例えばユーザと家族との太陽光の照射される方向が異なるために不自然な印象を与えることがある。又、合成写真中、ユーザと家族との配置位置等の構図に不自然な印象を与えることもある。
【0005】
本発明の目的は、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の主要な局面に係る撮像装置は、装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、前記装置本体の背面に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部と、前記第2の撮像部の撮像により取得された前記2つの視差画像データから前記第2の主要被写体の画像データを切り出す切出部と、前記第1の撮像画像データと前記切出部により切り出された前記第2の主要被写体の画像データとを予め設定された合成条件に従って合成して合成画像データを作成する画像処理制御部とを具備する。
【発明の効果】
【0007】
本発明によれば、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る撮像装置の第1の実施の形態を示すブロック構成図。
【図2】同装置の外観を示す図。
【図3】同装置を用いてのユーザの自分撮りの様子を示す図。
【図4】同装置における背面撮像部の概略構成図。
【図5】同装置におけるユーザの画像データのみを切り出す作用を説明するための摸式図。
【図6】同装置により合成画像データを作成するための撮像状況の一例を示す図。
【図7】同装置により合成が不適当であると判定される影部の反転の一例を示す摸式図。
【図8】同装置により右手にカメラ本体を持って撮影したときの2つの撮像画像データから切り出されるユーザの顔部の画像データを示す模式図。
【図9】同装置における全身像の母親及び子と顔部だけのユーザとのバランスの極端に悪いと感じる画像データを示す模式図。
【図10】同装置により取得される第1の撮像画像データ中にユーザの顔部の画像データを合成するためのスペースが存在するか否かの判定を説明するための摸式図。
【図11】同装置における画像合成が適当である場合の判定を説明するための図。
【図12】同装置における画像合成が適当である場合の判定を説明するための図。
【図13】同装置における画像合成が適当である場合の判定を説明するための図。
【図14】同装置により取得される母親及び子の画像にユーザの画像を合成した合成画像データを示す図。
【図15】同装置により取得されるユーザの右手を画像の構図から外して右手を隠すようにした合成画像データを示す図。
【図16】同装置により取得されるユーザの右手の画像データ部分を切り出した合成画像データを示す図。
【図17】同装置における撮影時の最適な傾き状態を示す図。
【図18】同装置における撮影時のカメラ本体の不最適な傾き状態の一例を示す図。
【図19】同装置における撮影時のカメラ本体の不最適な傾き状態の他の例を示す図。
【図20】同装置における画像合成を含むカメラ制御フローチャート。
【図21】同装置におけるスライド移動の制御フローチャート。
【図22】同装置におけるユーザの画像のスライド移動の操作を示す図。
【図23】同装置におけるユーザの画像のスライド移動を示す図。
【図24】同装置の機能を簡略化したブロック構成図。
【図25】本発明に係る撮像装置の第2の実施の形態を示すブロック構成図。
【図26】同装置の外観を示す図。
【図27】同装置における主撮像部と背面撮像部とにより第1のタイミングで同時に撮像を行うときの撮像状態を示す図。
【図28】同装置における主撮像部と背面撮像部とにより第2のタイミングで同時に撮像を行うときの撮像状態を示す図。
【図29】同装置における主撮像部によりタイミングT1の撮像により取得される第1の撮像画像データを示す図。
【図30】同装置における主撮像部によりタイミングT2の撮像により取得される第1の撮像画像データを示す図。
【図31】同装置におけるユーザの画像のスライド移動の操作を示す図。
【図32】同装置におけるユーザの画像のスライド移動を示す図。
【発明を実施するための形態】
【0009】
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は撮像装置(カメラ)のブロック構成図を示し、図2(a)(b)は本装置の外観図を示し、このうち図2(a)は正面外観図を示し、同図(b)は背面外観図を示す。
装置本体(カメラ本体)1には、マイクロコンピュータを搭載する画像処理制御部2が設けられている。この画像処理制御部2は、予め記憶されているカメラ制御プログラムを実行することにより、写真撮影を行うときのシャッタ動作や露光処理、絞り調整、画像処理等の一連の動作制御を行って撮像画像データを取得するための撮像制御、記録された撮像画像データの再生動作の制御等を行う。この画像処理制御部2には、第1の撮像部としての主撮像部3と、第2の撮像部としての背面撮像部4と、操作部5と、記録部6と、表示部7と、タッチパネル8と、姿勢センサとしての加速度センサ9と、時計部10とが接続されている。
カメラ本体1の正面には、図2(a)に示すように撮像部(以下、主撮像部と称する)3のレンズ光学系3aが設けられ、かつカメラ本体1の上部には、操作部5としてのレリーズボタン5aが設けられている。
カメラ本体1の背面には、図2(b)に示すように表示部7と、背面撮像部4とが設けられている。
主撮像部3は、人物等の第1の主要被写体を含む被写体からの光像を撮像して第1の画像信号を出力する。この主撮像部3は、例えば撮影を行うユーザの家族等を撮像する。この主撮像部3は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
背面撮像部4は、例えば自分撮りに使用するもので、ユーザ等の人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部4は、例えば撮影を行うユーザ自身を撮像する自分撮りに用いられる。この背面撮像部4は、3次元(3D)用の一対の撮像部、すなわち左右(LR)の各撮像部4a、4bを有する。これら撮像部4a、4bは、視差を持つ左右(LR)の2つの視差画像データを取得するための2つの第2の画像信号を出力する。
【0010】
操作部5は、ユーザの操作を受けるもので、例えば電源ボタン、レリーズボタン5a、再生ボタン、動画ボタン、自分撮りボタン等を備え、動画モード又は静止画モードの切り替え、自分撮りモードへの切り替え、自分撮り及び画像合成モードへの切り替え、絞りの調整等を行う。
【0011】
記録部6は、撮影時に画像処理制御部2により取得された撮像画像データ、すなわち主撮像部3から出力される第1の画像信号を画像処理して取得される第1の撮像画像データと、背面撮像部4から出力される互いに視差を有する第2の画像信号を画像処理して取得される2つの視差画像データとを記録する。
【0012】
表示部7は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部7は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル8が設けられている。このタッチパネル8は、ユーザのタッチ操作を受け、このタッチ位置に対応するタッチ位置信号を出力する。
【0013】
カメラ本体の移動や姿勢を検出するために、加速度センサ9を設けており、カメラを動かす時にかかる加速度の大きさや向きが分かるように3軸のものを想定している。
この加速度センサ9は、重力加速度に応じた信号も出力するので、カメラ本体の傾きなど姿勢を判定することも可能である。
【0014】
カメラ本体の移動を検出する場合、地磁気センサなどを併用し、カメラの向けられている方位を判定し、移動検出時の補助としても良い。
【0015】
時計部10は、計時の経過をカウントする。
上記画像処理制御部2は、主撮像部3から出力される第1の画像信号を画像処理して第1の撮像画像データを取得し、背面撮像部4から出力される互いに視差を有する第2の画像信号を画像処理して2つの視差画像データを取得し、このうち2つの視差画像データを画像処理して第2の主要被写体の画像データを切り出し、第1の撮像画像データと切り出された第2の主要被写体の画像データとを合成して合成画像データを作成する。この画像処理制御部2は、仮記録部21と、顔検出部22と、人物像切出し部23と、合成判定部24と、合成部25とを有する。
仮記録部21は、主撮像部3の撮像によって取得された第1の撮像画像データや、背面撮像部4の撮像によって取得された2つの視差画像データを一時的に記録する。
【0016】
顔検出部22は、第1の撮像画像データ中から第1の主要被写体として人物等の顔部を検出する。なお、顔検出部22は、人物等の顔部の各パーツ、例えば眼部、鼻部、口部等の配置を検出するものである。
人物像切出し部23は、2つの視差画像データから第2の主要被写体の画像データを切り出す。
ここで、人物像切出し部23によるユーザ自身の顔部の画像データの切り出しについて説明する。
図3はユーザHの自分撮りの様子を示す。ユーザHは、例えば右手でカメラ本体1を持って自分撮りしている。カメラ本体1は、背面撮像部4である左右(LR)の各撮像部4a、4bの各画角4a−g、4b−gを示す。
【0017】
図4は背面撮像部4の概略構成図を示す。この背面撮像部4は、上記の通り3D用のカメラであって、2つの撮影レンズ30、31と、2つの撮像素子32、33とを有する。これら撮影レンズ30、31は、間隔X1だけずれて配置されている。
図5に示す2つの撮像画像データK1、K2は、それぞれ視差画像データであり、間隔X1だけずれた各撮影レンズ30、31の各場所から例えば撮影を行うユーザHの画像を示している。これら撮像画像データK1、K2は、各撮影レンズ30、31の間隔X1に対応する視差を持つ。ユーザHと背景Bの距離とに差がある場合、三角測量の原理に従ってユーザーHと背景Bとの各像がそれぞれ各撮影レンズ30、31を通して各撮像素子32、33に入射する相対位置が異なる。すなわち、一方の撮像素子32上においてユーザーHと背景Bの各入射位置の差がX11であり、他方の撮像素子33上においてユーザーHと背景Bの各入射位置の差がX12であり、これらX11、X12が撮影レンズ30、31の間隔X1に対応する視差となる。これらX11、X12は、互いに異なり、X11≠X12の関係となる。
【0018】
従って、当該3D用の背面撮像部4によって視差を有する撮影を行って図5に示すような例えば2つの撮像画像データK1、K2を取得する。図5に示すように2つの撮像画像データK1、K2のユーザHの顔部の画像データの位置を揃えて配置すると、2つの撮像画像データK1、K2においてユーザHの各画像データは一致度が高いが、背景部は一致度が低くなる。従って、一致度が高い部分の画像データを2つの撮像画像データK1、K2のうちいずれか一方から切り出せば、ユーザHの顔部の画像データLのみを切り出すことが可能である。
【0019】
画像合成部25は、人物像切出し部23により切り出されたユーザHの顔部の画像データLを予め設定された合成条件に従って主撮像部3の撮像により取得された第1の撮像画像データに合成する。
合成判定部24は、第1の撮像画像データを取得するときの合成条件として例えばユーザHの家族を含む第1の撮像画像データの構図に基づき、当該第1の撮像画像データに対して人物像切出し部23により切り出されたユーザHの顔部の画像データLを合成可能か否かを判定する。
【0020】
この合成判定部24は、合成条件としてユーザHの顔部等の影部の位置、第1の撮像画像データ内での例えばユーザHの家族の位置に基づくユーザHの顔部等の合成スペースの有無、ユーザHの顔部を撮像して取得されているか否か、又は例えばユーザHの家族の顔部とユーザHの顔部とが同一高さ位置で撮像されているか否かの少なくとも1つを判定する。
【0021】
ここで、合成が不適当である場合の判定について説明する。先ず、第1の合成判定である。
図6は合成画像データを作成するための撮像状況の一例を示す。ここでは利用シーンをわかり易くするために、ユーザHは、母親Mとその子Cとで家族を構成する父親Fである。以下、ユーザHは、父親FであるとしてユーザFとして称する。ユーザFは、カメラ本体1を持ち、主撮像部3を母親M及び子Cに向けて第1の撮像画像データを取得し、これと同時に背面撮像部4としての左右(LR)の各撮像部4a、4bをユーザF自身に向けて2つの視差画像データ、例えば図5に示す2つの撮像画像データK1、K2を取得する。このときの撮影状況は、太陽から強い照度の太陽光の照射を受け、図面上のユーザF、母親M及び子Cの顔部の斜め右下部にそれぞれ影部30h、30m、30cが作られている。
【0022】
かかる撮影状況での撮影により取得された母親Mとその子Cとを含む第1の撮像画像データに対して2つの撮像画像データK1、K2から切り出したユーザFの顔部の画像データを合成すると、この合成画像データG1中において、図7に示すように母親M及び子Cの各影部30m、30cとユーザFの影部30hとの位置が反転してしまい、母親M及び子Cの各影部30m、30cは顔部の斜め右下部に形成されているが、ユーザFの影部30hは顔部の斜め左下部に反転して形成され、不自然である。
従って、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを検出し、これら各影部30m、30c、30hの各位置を母親M、子C及びユーザFの各顔部の位置と対比し、各影部30m、30c、30hの各位置が反転していないか否かを判定し、反転していれば、合成が不適当であると判定する。なお、合成判定部24は、輝度レベルが周囲よりも所定の輝度レベル以下に低下している部分を各影部30m、30c、30hとして検出する。又、母親M、子C及びユーザFの各顔部の位置は、それぞれ顔検出部22によって検出される。また、影の傾きも、顔の左右の明るさ分布を比較することで判定可能である。
【0023】
次に、第2の合成判定についての説明である。ユーザFは、例えば図6に示すように右手にカメラ本体1を持って撮影の操作をすると、2つの撮像画像データK1、K2から切り出されるユーザFの顔部の画像データは、例えば図8に示すように右腕Frを突き出したような上半身の画像となる。
一方、第1の撮像画像データが図9に示すように母親M及び子Cが全身像を撮像した取得したものであると、その合成画像データG2は、全身像の母親M及び子Cと顔部だけのユーザFとで主要被写体としてバランスが極端に悪いと感じる画像となるおそれがある。
従って、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とを検出し、これら顔部の各位置が水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。なお、水平方向は、加速度センサ9によるカメラ本体1の姿勢の検出結果から得られる。
【0024】
次に、第3の合成判定である。図10は第1の撮像画像データS1の一例の模式図を示す。この第1の撮像画像データS1は、画像データ内の殆どが母親M及び子Cにより占められている。このため、当該第1の撮像画像データS1中には、ユーザFの顔部の画像データを合成するためのスペースが存在しない。
従って、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、母親M及び子Cの画像データの占める割合を算出してユーザFの顔部の画像データを合成するためのスペースの領域を算出し、これらスペースの領域とユーザFの顔部の画像データの占める領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
【0025】
次に、画像合成が適当である場合の判定について図11乃至図13を参照して具体的に説明する。
図11に示すように主撮像部3の撮像により取得される例えば母親M及び子Cの第1の撮像画像データS2は、背面撮像部4の撮像によって取得されるユーザFの顔部の画像データと同様に、母親M及び子Cの各上半身を撮影して取得したものであることが好ましい。母親M及び子Cの各上半身は、それぞれの顔部の高さの3倍程度である。
従って、図12に示すように母親Mの顔部の中心部から画像データの下端までの距離をYfとし、母親Mの顔部の高さをDfとすると、上記距離Yfは、
Yf≦2.5Df …(1)
程度まで許可するものとする。
【0026】
図12に示すように合成画像データG3には、ユーザFの肩幅Hkの画像データを合成するための幅スペースが必要である。ユーザFの肩幅Hkを母親Mの顔部の高さDfの倍程度とすると、母親Mの例えば左側には、
Hk≒2×Df …(2)
以上の幅スペースが必要である。この必要な条件を満たすためには、
Xf>3×Df …(3)
の条件が必要である。なお、Xfは、画像データの例えば左端と母親Mの顔部の中心部との間の距離である。
【0027】
従って、顔検出部22は、母親Mの顔部の中心部の位置を検出する。
合成判定部24は、顔検出部22によって検出された母親Mの顔部の中心部の位置を受け取り、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求めると共に、母親Mの顔部の高さ(長さ)Dfを求める。この合成判定部24は、上記式(3)の条件満たすか否かを判定し、条件満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定する。
【0028】
図13は母親M、子Cの画像にユーザFの画像を合成した合成画像データG4を示す。この合成画像データG4における母親M、子Cの画像は、例えば上記図11に示す母親M、子Cの画像よりも小さく写っている。このような合成画像データG4を作成するには、合成判定部24は、ユーザFの顔部の画像データを合成する前に、例えば第1の撮像画像データ中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在すると判定すると、ユーザFの顔部の画像データを縮小し、母親M、子Cの画像の大きさに合わせて第1の撮像画像データ中に合成する。
【0029】
図14は母親M、子Cの画像にユーザFの画像を合成した合成画像データG5を示す。この合成画像データG5におけるユーザFは、カメラ本体1を持つ例えば右手Frが不自然となって写る。このような場合、図15に示す合成画像データG6のようにユーザFの右手Frを画像の構図から外し、右手Frを隠すように画像処理すれば、ユーザFの右手Frの不自然さが解消される。
【0030】
この場合、ユーザFの顔部の高さDf1は、母親Mの顔部の高さDfと等しく(Df1=Df)し、さらに、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1とユーザFの顔部の高さDf1とを等しくし(Xf1=Df1)、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと画像データの例えば下端と母親Mの顔部の中心部との距離Yf1とを等しくし(Yf=Yf1)することで不自然さを解消できるが、さらに、ユーザFが撮影することを想定して、これらの関係Df1=Df、Xf1=Df1、Yf1=Yfを少し大きくする、例えば1.1倍にすれば、すなわち
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
とすれば、確実にユーザFの右手Frの不自然さを解消できる。この場合、母親M、子Cの画像は、肩部から顔部を写したものであるものとする。
【0031】
従って、合成判定部24は、
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
の関係となるように図14に示す合成画像データG5を画像処理する。
なお、図15に示す合成画像データG6において、画像データの例えば下端とユーザFの顔部の中心部との距離YfとユーザFの顔部の高さ(長さ)Df1とが等しければ(Yf=Df1)、ユーザFの右手Frが画像の構図から外れ、ユーザFの右手Frの不自然さが解消される。
【0032】
又、上記図14に示すようにユーザFの右手Frが不自然な合成画像データG5であっても、図16に示すように当該合成画像データG5内において、ユーザFの右手Frが画像の構図の画像データ部分G5aを切り出せば、ユーザFの右手Frの不自然さを解消した合成画像データを得ることができる。
【0033】
次に、合成画像データを作成するためのカメラ本体1の傾きについて図17乃至図19を参照して説明する。
図17は撮影時のカメラ本体1の最適な傾き状態を示す。カメラ本体1の撮影光軸Qは、ユーザFと母親M、子Cとに対して直線上に配置され、ユーザFと母親M、子Cとがカメラ本体1を介して対面するように配置されるのがよい。最良にの撮影状況は、カメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されるのがよい。カメラ本体1の撮影光軸Qが水平に配置されるのは、画像処理制御部2によって加速度センサ9から出力される方位信号からカメラ本体1の傾きを求めることにより判定可能である。
【0034】
これに対して図18は撮影時のカメラ本体1の不最適な傾き状態の一例を示す。カメラ本体1の撮影光軸Qは水平に配置されているが、ユーザFと子Cとでは、互いの身長が異なり、例えばカメラ本体1の高さ位置を子Cに合わせると、カメラ本体1は、主撮像部3により子Cの顔部を撮像できる。しかしながら、背面撮像部4は、ユーザFに対して胸部を撮像するものとなり、ユーザFの顔部を撮像できるものでなく、不自然である。
従って、合成判定部24は、主撮像部3の撮像により取得された子Cの顔部の撮像画像データと、背面撮像部4の撮像により取得されたユーザFの胸部の画像データとの相違を検出することにより合成が不適当であることを判定する。
【0035】
図19は撮影時のカメラ本体1の不最適な傾き状態の他の例を示す。カメラ本体1の撮影光軸Qは水平に対して傾いて配置されている。このカメラ本体1の傾きθは、身長差のあるユーザFと子Cとの各顔部を直線上に結ぶために形成されている。この場合、主撮像部3の撮像により取得される子Cの顔部の画像データには、例えば地面が撮像される。このため、合成画像データを作成すると、ユーザFの顔部が例えば地面上に配置されることがあり、不自然となる。
従って、画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の傾きθを求め、カメラ本体1の傾きθがあれば、合成が不適当であることを判定する。
【0036】
画像処理制御部2は、上記合成判定部24の判定の結果、第1の撮像画像データに対する人物像切出し切出部23により切り出されたユーザFの顔部の画像データの合成が不可能であれば、当該不可能な旨を報知する、例えば表示部7にユーザFの顔部の画像データの合成が不可能である旨を表示する。
画像処理制御部2は、顔検出部22により検出された母親M、子Cの位置に基づいて人物像切出し切出部23により切り出されたユーザFの顔部の画像データを合成可能か否かを判定する。
画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の姿勢、例えばカメラ本体1の傾きθを求め、このカメラ本体1の傾きθに基づいて母親M、子CとユーザFとが同一高さ位置で撮像されているか否かを判定する。
【0037】
合成部25は、合成判定部24の判定の結果、合成可能である判定結果が出されると、仮記録部21に記録されている第1の撮像画像データに、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを合成する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを拡大、縮小して第1の撮像画像データに合成する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを第1の撮像画像データ中にスライド移動可能である。
【0038】
次に、カメラを用いた画像合成を含むカメラ制御について図20に示すカメラ制御フローチャートに従って説明する。
ユーザによる操作部5の操作によりカメラ本体1の動作モードが設定される。画像処理制御部2は、ステップS101において、操作部5に対するユーザ操作の各種ボタンを読み取り、動作モードが撮影モードか否かを判定する。この判定の結果、撮影モードであれば、画像処理制御部2は、ステップS102において、カメラ本体1の背面に設けられている背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データ中に例えばユーザFの顔部の画像があるか否かを判定する。
【0039】
この判定の結果、2つの視差画像データ中に例えばユーザFの顔部の画像がなければ、合成判定部24は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを、主撮像部3の撮像により取得された第1の撮像画像データに合成することが不可能であると判定する。
【0040】
画像処理制御部2は、ステップS103において、主撮像部3から出力される画像信号を画像処理し、スルー画像として表示部7に表示する。
画像処理制御部2は、ステップS104において、ユーザの操作部5に対する操作により撮影開始指示がなされたか否かを判定する。この判定の結果、撮影開始指示がなされると、画像処理制御部2は、ステップS105において、例えば静止画の撮影の場合、撮像部2を動作させることで静止画像データを取得する静止画撮影を実行する。動画撮影の場合、画像処理制御部2は、同ステップS105において、主撮像部3を連続動作させて動画像データを取得する動画撮影を実行する。
静止画撮影又は動画撮影の終了後、画像処理制御部2は、ステップS106において、静止画又は動画の画像ファイルを作成し、作成した画像ファイルを記録部6に記録する。画像ファイルの作成後、画像処理制御部2は、静止画又は動画のデータを表示部7に表示する。
【0041】
次に、画像処理制御部2は、ステップS108において、ユーザによる操作部5の操作により電源オフの指示がなされたか否かを判定する。電源オフの指示があれば、画像処理制御部2は、カメラ制御を終了する。電源オフの指示が無ければ、画像処理制御部2は、ステップS101に戻る。
【0042】
カメラ1の動作モードが撮影モードでなければ、画像処理制御部2は、ステップS101からステップS111に移り、再生モードであるか否かを判定する。この判定の結果、再生モードであれば、画像処理制御部2は、ステップS112において、記録部6に記録されている静止画及び動画の各ファイルを表示部7上に一覧表示(サムネイル表示)する。これら静止画及び動画の各ファイルのいずれかが表示部7上でユーザのタッチにより選択されると、タッチパルネ8は、ステップS113において、タッチ位置に対応するタッチ位置信号を出力する。
【0043】
画像処理制御部2は、ステップS114において、タッチパルネ8からのタッチ位置信号から表示部7上に一覧表示されている静止画及び動画の各ファイルからタッチにより選択された静止画又は動画を表示部7に再生する。
ユーザのタッチにより静止画及び動画のファイルの選択がなければ、画像処理制御部2は、ステップS115において、再生モードを終了し、次のステップS108において、電源オフの指示がなされたか否かを判定する。電源オフの指示がなければ、画像処理制御部2は、ステップS109において、再度、撮影モード又は再生モードの変更操作の受付を行い、ステップS101に戻る。
【0044】
一方、画像処理制御部2は、ステップS102において、カメラ本体1の背面に設けられている背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データ中に例えばユーザFの顔部の画像が存在すれば、ステップS121に移り、加速度センサ9から出力される方位信号からカメラ本体1の姿勢、例えばカメラ本体1の傾きθを求め、カメラ本体1に傾きが水平であるか否かを判定する。
この判定の結果、上記2つの視差画像データ中に例えばユーザFの顔部の画像が存在し、かつカメラ本体1の傾きθが水平であり、例えば上記図17に示すように撮影時のカメラ本体1が最適な傾き状態、すなわちカメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されていると、画像処理制御部2は、ステップS122において、カメラ本体1の前方、すなわち主撮像部3の撮像により取得される第1の撮像画像データ、例えば図11に示す第1の撮像画像データS2中に人物が存在するか否かを判定する。ここでは母親M、子Cが存在すると判定する。
なお、カメラ本体1に傾きが水平でなければ、画像処理制御部2は、ステップS127に移り、カメラ本体1に傾きが水平でない旨の警告を例えば表示部7に表示したり、当該警告を音声により発する。
【0045】
このように母親M、子Cが存在すると、画像処理制御部2は、ステップS123において、第1の撮像画像データS2中において一番高い位置の顔部の高さ位置を判定する。ここで、顔検出部22は、第1の撮像画像データS1中から母親M、子Cの各顔部を検出する。画像処理制御部2は、顔検出部22により検出された母親M、子Cの各顔部の高さ、その位置を求め、これら顔部の高さ、その位置から第1の撮像画像データS1中において一番高い位置の顔部、ここでは母親Mの高さ、その位置を判定する。
【0046】
画像処理制御部2は、ステップS124において、例えば図12に示すように母親Mの顔部の中心部から画像データの下端までの距離をYfとし、母親Mの顔部の高さ(長さ)をDfとしたときの上記距離Yfが上記式(1)のYf≦2.5Dfを満たすか否かを判定する。
この判定の結果、上記式(1)を満たせば、画像処理制御部2は、ステップS125において、図11に示す第1の撮像画像データS2中において左端に存在する人物、ここでは母親Mの顔部の位置を判定する。母親Mの顔部の位置は、上記顔検出部22により検出済みである。
【0047】
画像処理制御部2は、ステップS126において、上記図12に示すように合成画像データG3中においてユーザFの肩幅Hkの画像データを合成するための幅スペースを必要とするために、上記式(3)のXf>3×Dfを満たすか否かを判定する。
この判定の結果、上記式(3)を満たせば、画像処理制御部2は、ステップS131において、人物像切出し部23に対してユーザFの顔部の画像データの切り出しを指令する。この人物像切出し部23は、背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データからユーザFの顔部の画像データを切り出す。画像合成部25は、人物像切出し部23により切り出されたユーザHの顔部の画像データを主撮像部3の撮像により取得された第1の撮像画像データに合成する。
画像処理制御部2は、切り出したユーザFの顔部の画像データから当該ユーザFの顔部の高さ(長さ)Df1を母親Mの顔部の高さ(長さ)をDfの1.1倍、すなわち、
Df1=1.1×Df
に合わせる。
【0048】
画像処理制御部2は、ステップS132において、例えば図12の合成画像データG6に示すようにユーザFの顔部の高さ(長さ)Df1を母親Mの顔部の高さ(長さ)Dfと等しく(Df1=Df)し、さらに、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1とユーザFの顔部の高さ(長さ)Df1とを等しくし(Xf1=Df1)、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと画像データの例えば下端と母親Mの顔部の中心部との距離Yf1とを等しくし(Yf=Yf1)する。これにより、図12又は図15に示すようにユーザFの右手Frを画像の構図から外し、右手Frを隠すように画像処理することで、ユーザFの右手Frの不自然さが解消される合成画像データG3となる。
画像処理制御部2は、ステップS133において、図12又は図13に示す合成画像データG3を画像処理し、スルー画像として表示部7に表示する。
画像処理制御部2は、ステップS134において、例えば図22に示す合成画像データG7中において、ユーザFの画像をスライド移動するか否かを判定する。
【0049】
図21はスライド移動の制御フローチャートを示す。ユーザFは、図22に示すように表示部7の画面上においてスライド移動しようとするユーザFの画像上をタッチする。タッチパネル8は、ユーザのタッチを受け、このタッチ位置に対応するタッチ位置信号を出力する。
画像処理制御部2は、ステップS201において、タッチパネル8からのタッチ位置信号から表示部7の画像上でタッチされた位置を求め、このタッチ位置がユーザFの顔部の画像上に対応するか否かを判定する。
【0050】
この判定の結果、タッチ位置がユーザFの顔部の画像上に対応すれば、画像処理制御部2は、ステップS202において、タッチパネル8からのタッチ位置信号からタッチ位置のスライド移動を追跡する。すなわち、ユーザFは、タッチ位置を例えば図23に示すように所望の位置に移動する。画像処理制御部2は、タッチ位置のスライド移動に追従してユーザFの画像を合成画像データG3の画像上でスライド移動する。
【0051】
ユーザFの画像のスライド移動後、画像処理制御部2は、ステップS202において、ユーザFの画像データを合成するための幅スペースを有するか否かを判定するために、上記式(3)に示すXf>3×Dfの条件を満たすか否かを判定する。
この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、ステップS202において、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成し、ステップS104に移る。
【0052】
上記Xf>3×Dfの条件を満たさなければ、画像処理制御部2は、ステップS203に移り、例えば図15に示すように合成画像データG6において、画像データの例えば下端とユーザFの顔部の中心部との距離YfがユーザFの顔部の高さ(長さ)Df1よりも小さいか否か(Yf≦Df1)を判定する。この判定の結果、当該Yf≦Df1を満たせば、画像処理制御部2は、ステップS202において、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成する。Yf≦Df1を満たさなければ、画像処理制御部2は、ステップS205において、合成が不可能である旨の警告を例えば表示部7に表示したり、当該警告を音声により発する。
【0053】
図24は当該カメラ本体1の機能を簡略化したブロック構成図を示す。このカメラ本体1は、画像処理制御部2と、主撮像部3と、背面撮像部4と、操作部5と、表示部7と、人物像切出し部23と、合成部25とを有する。画像処理制御部2は、第1の撮像画像データ中におけるユーザFの顔部の画像データの合成位置を決定する。
背面撮像部4は、3Dのカメラ用に2つの撮像素子32、33等を有するものでなく、1つの撮像素子を備えるものでも良い。1つの撮像素子を備えるカメラ本体1であれば、後述するように異なるタイミングで互いに視差を持つ2つの視差画像データを取得するようにすればよい。
【0054】
このように上記第1の実施の形態によれば、主撮像部3により例えばユーザFの家族を撮像した第1の撮像画像データを取得し、背面撮像部4により例えばユーザFを撮像した視差を持つ2つの視差画像データを取得し、これら視差画像データからユーザFの顔部の画像データを切り出し、この切り出したユーザFの顔部の画像データを予め設定された合成条件に従ってユーザFの家族を撮像した第1の撮像画像データに合成する。合成条件としては、例えばユーザFの家族を含む第1の撮像画像データの構図、ユーザFの顔部等の影部の位置、第1の撮像画像データ内での例えばユーザFの家族の位置に基づくユーザFの顔部等の合成スペースの有無、ユーザFの顔部を撮像して取得されているか否か、又は例えばユーザFの家族の顔部とユーザFの顔部とが同一高さ位置で撮像されているか否かなどである。これにより、画像の合成写真を鑑賞するに際し、例えばユーザFとその家族(母親M、子C)や風景とが不自然に合成されることなく、ユーザFを家族(母親M、子C)や風景に馴染んだ印象を与える合成写真を得ることができ、さらにユーザと家族との配置位置等にも自然な構図の印象を与えることができる。
【0055】
又、具体的に、合成が不適当であることの判定ができる。
第1に、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを対比し、各影部30m、30c、30hの各位置が反転していれば、合成が不適当であると判定する。
第2に、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とが水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。
第3に、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、例えばユーザFの顔部の画像データを合成するためのスペースの領域とユーザFの顔部の領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
【0056】
次に、合成が適当である場合の判定ができる。
合成判定部24は、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求め、かつ母親Mの顔部の高さ(長さ)Dfを求め、上記式(3)の条件(Xf>3×Df)満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定し、ユーザFの顔部の画像データを合成することができる。
ユーザFのカメラ本体1を持つ例えば不自然な右手Frは、右手Frを隠すように画像処理することにより、ユーザFの右手Frの不自然さを解消できる。この場合、ユーザFの顔部の高さDf1と、母親Mの顔部の高さ(長さ)Dfと、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1、ユーザFの顔部の高さ(長さ)Df1と、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと、画像データの例えば下端と母親Mの顔部の中心部との距離Yf1との関係を、Df1=1.1×Df、Xf1=1.1×Df1、Yf1=1.1×Yfとすることにより、確実にユーザFの右手Frの不自然さを解消できる。
【0057】
次に、カメラ本体1の最適な傾き状態を判定できる。すなわち、カメラ本体1の撮影光軸Qは、ユーザFと母親M、子Cとに対して直線上に配置され、ユーザFと母親M、子Cとがカメラ本体1を介して対面するように配置されるのが最良に撮影状況である。従って、画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の傾きθを求め、カメラ本体1の傾きθがあれば、合成が不適当であることを判定できる。
【0058】
次に、本発明の第2の実施の形態について図面を参照して説明する。
図25は撮像装置(カメラ)のブロック構成図を示し、図26(a)(b)は本装置の外観図を示し、このうち同図(a)は正面外観図を示し、同図(b)は背面外観図を示す。なお、図1及び図2(a)(b)と同一部分には同一符号を付してその詳しい説明は省略する。
背面撮像部30は、2次元用のカメラであり、主撮像部3と同様に、人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部30は、例えば撮影を行うユーザF自身を撮像する。この背面撮像部30は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
【0059】
表示部31は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部31は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル8が設けられている。この表示部31は、視差を持つ左右(LR)の各画像データを同時に表示することにより3次元(3D)表示をすることが可能である。
ガイダンス操作ボタン32は、主撮像部3の撮像により取得された第1の撮像画像データと背面主撮像部30の撮像により取得された第2の撮像画像データとを合成するときの操作方法のガイダンスを例えば表示器6に表示するためのユーザの操作用のボタンである。この操作方法のガイダンスでは、背面撮像部30により撮像を行うときに、例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示器6に表示する。このガイダンス「カメラ本体を横にずらして再度撮影してください」は、スピーカ等の鳴動機により音声により報知してもよい。移動は、加速度センサや地磁気センサで判定すれば良い。
【0060】
次に、カメラを用いた画像合成を含むカメラ制御について説明する。
画像処理制御部2は、操作部5に対するユーザ操作の各種ボタンを読み取り、画像合成モードに設定されていると、主撮像部3と背面撮像部30とで同時に撮像を行う。これら主撮像部3と背面撮像部30とは、図27に示すように例えばタイミングT1時にレリーズボタンが押し操作されると、このときに同時に撮像を行う。主撮像部3は例えばユーザFの家族である母親M、子Cを撮像し、これと同時に、背面撮像部30は、例えばユーザFの顔部を撮像する。
【0061】
この撮像が終了し、ガイダンス操作ボタン32が押し操作されると、画像処理制御部2は、表示器6に例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示する。ユーザFは、ガイダンスに従い、例えば図28に示すようにカメラ本体1を矢印方向に水平に移動する。水平移動が終了し、タイミングT1の後のタイミングT2時にレリーズボタンが押し操作されると、このときに主撮像部3と背面撮像部30とは、同時に撮像を行う。主撮像部3は例えばユーザFの家族である母親M、子Cを撮像し、これと同時に背面撮像部30は、例えばユーザFの顔部を撮像する。
【0062】
主撮像部3により各タイミングT1、T2の撮像により取得される各第1の撮像画像データは、互いに視差を有する。この視差は、各タイミングT1、T2での主撮像部3の各撮像位置の間隔に対応する。図29はタイミングT1の撮像により取得される第1の撮像画像データJ1を示し、図30はタイミングT2の撮像により取得される第1の撮像画像データJ2を示す。これら第1の撮像画像データJ1、J2では、画像中において母親M、子Cの位置が異なる。
背面撮像部30により各タイミングT1、T2の撮像により取得される各第2の撮像画像データも、各タイミングT1、T2での背面撮像部30の各撮像位置の間隔に対応する視差を有する。
【0063】
画像処理制御部2は、主撮像部3による各タイミングT1、T2での撮像により取得された第1の撮像画像データJ1、J2から母親M、子Cの画像データを切り出す。これと共に画像処理制御部2は、背面撮像部30による各タイミングT1、T2での撮像により取得された各第1の撮像画像データからユーザFの顔部の画像データを切り出す。
従って、母親M、子Cの画像データとユーザFの顔部の画像データとは、それぞれを切り出されるので、それぞれ例えば第1の撮像画像データJ1と分離可能で、当該第1の撮像画像データJ1上で移動可能である。
【0064】
従って、画像処理制御部2は、上記図21に示すスライド移動の制御フローチャートに従ってユーザFの画像データを第1の撮像画像データJ1上でスライド移動する。すなわち、ユーザFは、図31に示すように表示部7の画面上においてスライド移動しようとするユーザFの画像上をタッチする。ユーザFは、タッチ位置を例えば図32に示すように所望の位置にスライド移動する。
このとき、画像処理制御部2は、ユーザFの画像データを合成するための幅スペースを有するか否かを判定するために、上記式(3)に示すXf>3×Dfの条件を満たすか否かを判定する。この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成する。
【0065】
このように上記第2の実施の形態によれば、背面主撮像部30を2次元用のカメラとし、カメラ本体1を横方向にずらし、かつ異なるタイミングT1、T2で撮像を行うので、主撮像部3と背面撮像部30とでそれぞれ視差を持つ2つの第1、第2の撮像画像データを取得でき、これら画像データからユーザFの顔部の画像データ、母親M、子Cの画像データを切り出すことができる。これにより、切り出したユーザFの顔部の画像データを予め設定された合成条件に従ってユーザFの家族を撮像した第1の撮像画像データに合成でき、上記第1の実施の形態と同様の効果を奏することができる。
又、ユーザFの顔部の画像データ、母親M、子Cの画像データを切り出すことができるので、例えばユーザFの腕部の画像データを母親M、子Cの画像データの背後に隠す合成や、後ろに並んだように重ねた合成ができる。
以上説明したものは、第2画像から背景を除去したものの合成になっていたが、背景から分離された人物を加工して、痩身させたりメイクしたり、アバター化して合成してもよい。
【0066】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0067】
1:装置本体(カメラ本体)、2:画像処理制御部、3:主撮像部、3a:レンズ光学系、4:背面撮像部、5:操作部、5a:レリーズボタン、6:記録部、7:表示部、8:タッチパネル、9:加速度センサ、10:時計部、21:仮記録部、22:顔検出部、23:人物像切出し部、24:合成判定部、25:画像合成部、30:背面撮像部、31:表示部、32:ガイダンス操作ボタン。
【技術分野】
【0001】
本発明は、例えば主要被写体である人物の顔部を自分自身で撮影するという所謂自分撮りにより取得した画像データを装置本体の背面に設けられた撮像部により取得した画像データに合成することを可能とする撮像装置に関する。
【背景技術】
【0002】
かかる撮像装置の技術としては、例えば特許文献1がある。この特許文献1は、筐体の第一の表面に第一のカメラを搭載し、筐体の第一の表面の裏側の第二の表面にも第二のカメラを搭載し、第一のカメラで自分の顔を撮影したり、第二のカメラで自分が見ている風景を撮影したり、両者を同時に撮影したり、第一のカメラと第二のカメラで撮影したそれぞれの画像を合成して合成写真を撮影することを開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−147046号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1は、第一のカメラと第二のカメラとで撮影したそれぞれの画像を合成しているが、ただ単に、第一のカメラと第二のカメラとで撮影した各画像を合成しただけでは、これら画像の合成写真を鑑賞するに際し、第一のカメラで撮影した自分の顔と第二のカメラで撮影した風景とが不自然に合成させている印象を与えることがある。例えば、画像中に写っている影の方向がそれぞれの画像で異なっていることがある。又、カメラを持った撮影者であるユーザが第一のカメラにより例えばユーザの家族を撮影し、これと同時にカメラを持ったユーザが第一の表面の裏面の第二のカメラにより自分撮りを行い、これら撮影により取得された各画像を合成した合成写真を鑑賞するに際にも、筐体の第一の表面の第一のカメラとその裏面の第二のカメラにより撮影を行うために、例えばユーザと家族との太陽光の照射される方向が異なるために不自然な印象を与えることがある。又、合成写真中、ユーザと家族との配置位置等の構図に不自然な印象を与えることもある。
【0005】
本発明の目的は、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の主要な局面に係る撮像装置は、装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、前記装置本体の背面に設けられ、第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得する第2の撮像部と、前記第2の撮像部の撮像により取得された前記2つの視差画像データから前記第2の主要被写体の画像データを切り出す切出部と、前記第1の撮像画像データと前記切出部により切り出された前記第2の主要被写体の画像データとを予め設定された合成条件に従って合成して合成画像データを作成する画像処理制御部とを具備する。
【発明の効果】
【0007】
本発明によれば、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る撮像装置の第1の実施の形態を示すブロック構成図。
【図2】同装置の外観を示す図。
【図3】同装置を用いてのユーザの自分撮りの様子を示す図。
【図4】同装置における背面撮像部の概略構成図。
【図5】同装置におけるユーザの画像データのみを切り出す作用を説明するための摸式図。
【図6】同装置により合成画像データを作成するための撮像状況の一例を示す図。
【図7】同装置により合成が不適当であると判定される影部の反転の一例を示す摸式図。
【図8】同装置により右手にカメラ本体を持って撮影したときの2つの撮像画像データから切り出されるユーザの顔部の画像データを示す模式図。
【図9】同装置における全身像の母親及び子と顔部だけのユーザとのバランスの極端に悪いと感じる画像データを示す模式図。
【図10】同装置により取得される第1の撮像画像データ中にユーザの顔部の画像データを合成するためのスペースが存在するか否かの判定を説明するための摸式図。
【図11】同装置における画像合成が適当である場合の判定を説明するための図。
【図12】同装置における画像合成が適当である場合の判定を説明するための図。
【図13】同装置における画像合成が適当である場合の判定を説明するための図。
【図14】同装置により取得される母親及び子の画像にユーザの画像を合成した合成画像データを示す図。
【図15】同装置により取得されるユーザの右手を画像の構図から外して右手を隠すようにした合成画像データを示す図。
【図16】同装置により取得されるユーザの右手の画像データ部分を切り出した合成画像データを示す図。
【図17】同装置における撮影時の最適な傾き状態を示す図。
【図18】同装置における撮影時のカメラ本体の不最適な傾き状態の一例を示す図。
【図19】同装置における撮影時のカメラ本体の不最適な傾き状態の他の例を示す図。
【図20】同装置における画像合成を含むカメラ制御フローチャート。
【図21】同装置におけるスライド移動の制御フローチャート。
【図22】同装置におけるユーザの画像のスライド移動の操作を示す図。
【図23】同装置におけるユーザの画像のスライド移動を示す図。
【図24】同装置の機能を簡略化したブロック構成図。
【図25】本発明に係る撮像装置の第2の実施の形態を示すブロック構成図。
【図26】同装置の外観を示す図。
【図27】同装置における主撮像部と背面撮像部とにより第1のタイミングで同時に撮像を行うときの撮像状態を示す図。
【図28】同装置における主撮像部と背面撮像部とにより第2のタイミングで同時に撮像を行うときの撮像状態を示す図。
【図29】同装置における主撮像部によりタイミングT1の撮像により取得される第1の撮像画像データを示す図。
【図30】同装置における主撮像部によりタイミングT2の撮像により取得される第1の撮像画像データを示す図。
【図31】同装置におけるユーザの画像のスライド移動の操作を示す図。
【図32】同装置におけるユーザの画像のスライド移動を示す図。
【発明を実施するための形態】
【0009】
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は撮像装置(カメラ)のブロック構成図を示し、図2(a)(b)は本装置の外観図を示し、このうち図2(a)は正面外観図を示し、同図(b)は背面外観図を示す。
装置本体(カメラ本体)1には、マイクロコンピュータを搭載する画像処理制御部2が設けられている。この画像処理制御部2は、予め記憶されているカメラ制御プログラムを実行することにより、写真撮影を行うときのシャッタ動作や露光処理、絞り調整、画像処理等の一連の動作制御を行って撮像画像データを取得するための撮像制御、記録された撮像画像データの再生動作の制御等を行う。この画像処理制御部2には、第1の撮像部としての主撮像部3と、第2の撮像部としての背面撮像部4と、操作部5と、記録部6と、表示部7と、タッチパネル8と、姿勢センサとしての加速度センサ9と、時計部10とが接続されている。
カメラ本体1の正面には、図2(a)に示すように撮像部(以下、主撮像部と称する)3のレンズ光学系3aが設けられ、かつカメラ本体1の上部には、操作部5としてのレリーズボタン5aが設けられている。
カメラ本体1の背面には、図2(b)に示すように表示部7と、背面撮像部4とが設けられている。
主撮像部3は、人物等の第1の主要被写体を含む被写体からの光像を撮像して第1の画像信号を出力する。この主撮像部3は、例えば撮影を行うユーザの家族等を撮像する。この主撮像部3は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
背面撮像部4は、例えば自分撮りに使用するもので、ユーザ等の人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部4は、例えば撮影を行うユーザ自身を撮像する自分撮りに用いられる。この背面撮像部4は、3次元(3D)用の一対の撮像部、すなわち左右(LR)の各撮像部4a、4bを有する。これら撮像部4a、4bは、視差を持つ左右(LR)の2つの視差画像データを取得するための2つの第2の画像信号を出力する。
【0010】
操作部5は、ユーザの操作を受けるもので、例えば電源ボタン、レリーズボタン5a、再生ボタン、動画ボタン、自分撮りボタン等を備え、動画モード又は静止画モードの切り替え、自分撮りモードへの切り替え、自分撮り及び画像合成モードへの切り替え、絞りの調整等を行う。
【0011】
記録部6は、撮影時に画像処理制御部2により取得された撮像画像データ、すなわち主撮像部3から出力される第1の画像信号を画像処理して取得される第1の撮像画像データと、背面撮像部4から出力される互いに視差を有する第2の画像信号を画像処理して取得される2つの視差画像データとを記録する。
【0012】
表示部7は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部7は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル8が設けられている。このタッチパネル8は、ユーザのタッチ操作を受け、このタッチ位置に対応するタッチ位置信号を出力する。
【0013】
カメラ本体の移動や姿勢を検出するために、加速度センサ9を設けており、カメラを動かす時にかかる加速度の大きさや向きが分かるように3軸のものを想定している。
この加速度センサ9は、重力加速度に応じた信号も出力するので、カメラ本体の傾きなど姿勢を判定することも可能である。
【0014】
カメラ本体の移動を検出する場合、地磁気センサなどを併用し、カメラの向けられている方位を判定し、移動検出時の補助としても良い。
【0015】
時計部10は、計時の経過をカウントする。
上記画像処理制御部2は、主撮像部3から出力される第1の画像信号を画像処理して第1の撮像画像データを取得し、背面撮像部4から出力される互いに視差を有する第2の画像信号を画像処理して2つの視差画像データを取得し、このうち2つの視差画像データを画像処理して第2の主要被写体の画像データを切り出し、第1の撮像画像データと切り出された第2の主要被写体の画像データとを合成して合成画像データを作成する。この画像処理制御部2は、仮記録部21と、顔検出部22と、人物像切出し部23と、合成判定部24と、合成部25とを有する。
仮記録部21は、主撮像部3の撮像によって取得された第1の撮像画像データや、背面撮像部4の撮像によって取得された2つの視差画像データを一時的に記録する。
【0016】
顔検出部22は、第1の撮像画像データ中から第1の主要被写体として人物等の顔部を検出する。なお、顔検出部22は、人物等の顔部の各パーツ、例えば眼部、鼻部、口部等の配置を検出するものである。
人物像切出し部23は、2つの視差画像データから第2の主要被写体の画像データを切り出す。
ここで、人物像切出し部23によるユーザ自身の顔部の画像データの切り出しについて説明する。
図3はユーザHの自分撮りの様子を示す。ユーザHは、例えば右手でカメラ本体1を持って自分撮りしている。カメラ本体1は、背面撮像部4である左右(LR)の各撮像部4a、4bの各画角4a−g、4b−gを示す。
【0017】
図4は背面撮像部4の概略構成図を示す。この背面撮像部4は、上記の通り3D用のカメラであって、2つの撮影レンズ30、31と、2つの撮像素子32、33とを有する。これら撮影レンズ30、31は、間隔X1だけずれて配置されている。
図5に示す2つの撮像画像データK1、K2は、それぞれ視差画像データであり、間隔X1だけずれた各撮影レンズ30、31の各場所から例えば撮影を行うユーザHの画像を示している。これら撮像画像データK1、K2は、各撮影レンズ30、31の間隔X1に対応する視差を持つ。ユーザHと背景Bの距離とに差がある場合、三角測量の原理に従ってユーザーHと背景Bとの各像がそれぞれ各撮影レンズ30、31を通して各撮像素子32、33に入射する相対位置が異なる。すなわち、一方の撮像素子32上においてユーザーHと背景Bの各入射位置の差がX11であり、他方の撮像素子33上においてユーザーHと背景Bの各入射位置の差がX12であり、これらX11、X12が撮影レンズ30、31の間隔X1に対応する視差となる。これらX11、X12は、互いに異なり、X11≠X12の関係となる。
【0018】
従って、当該3D用の背面撮像部4によって視差を有する撮影を行って図5に示すような例えば2つの撮像画像データK1、K2を取得する。図5に示すように2つの撮像画像データK1、K2のユーザHの顔部の画像データの位置を揃えて配置すると、2つの撮像画像データK1、K2においてユーザHの各画像データは一致度が高いが、背景部は一致度が低くなる。従って、一致度が高い部分の画像データを2つの撮像画像データK1、K2のうちいずれか一方から切り出せば、ユーザHの顔部の画像データLのみを切り出すことが可能である。
【0019】
画像合成部25は、人物像切出し部23により切り出されたユーザHの顔部の画像データLを予め設定された合成条件に従って主撮像部3の撮像により取得された第1の撮像画像データに合成する。
合成判定部24は、第1の撮像画像データを取得するときの合成条件として例えばユーザHの家族を含む第1の撮像画像データの構図に基づき、当該第1の撮像画像データに対して人物像切出し部23により切り出されたユーザHの顔部の画像データLを合成可能か否かを判定する。
【0020】
この合成判定部24は、合成条件としてユーザHの顔部等の影部の位置、第1の撮像画像データ内での例えばユーザHの家族の位置に基づくユーザHの顔部等の合成スペースの有無、ユーザHの顔部を撮像して取得されているか否か、又は例えばユーザHの家族の顔部とユーザHの顔部とが同一高さ位置で撮像されているか否かの少なくとも1つを判定する。
【0021】
ここで、合成が不適当である場合の判定について説明する。先ず、第1の合成判定である。
図6は合成画像データを作成するための撮像状況の一例を示す。ここでは利用シーンをわかり易くするために、ユーザHは、母親Mとその子Cとで家族を構成する父親Fである。以下、ユーザHは、父親FであるとしてユーザFとして称する。ユーザFは、カメラ本体1を持ち、主撮像部3を母親M及び子Cに向けて第1の撮像画像データを取得し、これと同時に背面撮像部4としての左右(LR)の各撮像部4a、4bをユーザF自身に向けて2つの視差画像データ、例えば図5に示す2つの撮像画像データK1、K2を取得する。このときの撮影状況は、太陽から強い照度の太陽光の照射を受け、図面上のユーザF、母親M及び子Cの顔部の斜め右下部にそれぞれ影部30h、30m、30cが作られている。
【0022】
かかる撮影状況での撮影により取得された母親Mとその子Cとを含む第1の撮像画像データに対して2つの撮像画像データK1、K2から切り出したユーザFの顔部の画像データを合成すると、この合成画像データG1中において、図7に示すように母親M及び子Cの各影部30m、30cとユーザFの影部30hとの位置が反転してしまい、母親M及び子Cの各影部30m、30cは顔部の斜め右下部に形成されているが、ユーザFの影部30hは顔部の斜め左下部に反転して形成され、不自然である。
従って、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを検出し、これら各影部30m、30c、30hの各位置を母親M、子C及びユーザFの各顔部の位置と対比し、各影部30m、30c、30hの各位置が反転していないか否かを判定し、反転していれば、合成が不適当であると判定する。なお、合成判定部24は、輝度レベルが周囲よりも所定の輝度レベル以下に低下している部分を各影部30m、30c、30hとして検出する。又、母親M、子C及びユーザFの各顔部の位置は、それぞれ顔検出部22によって検出される。また、影の傾きも、顔の左右の明るさ分布を比較することで判定可能である。
【0023】
次に、第2の合成判定についての説明である。ユーザFは、例えば図6に示すように右手にカメラ本体1を持って撮影の操作をすると、2つの撮像画像データK1、K2から切り出されるユーザFの顔部の画像データは、例えば図8に示すように右腕Frを突き出したような上半身の画像となる。
一方、第1の撮像画像データが図9に示すように母親M及び子Cが全身像を撮像した取得したものであると、その合成画像データG2は、全身像の母親M及び子Cと顔部だけのユーザFとで主要被写体としてバランスが極端に悪いと感じる画像となるおそれがある。
従って、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とを検出し、これら顔部の各位置が水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。なお、水平方向は、加速度センサ9によるカメラ本体1の姿勢の検出結果から得られる。
【0024】
次に、第3の合成判定である。図10は第1の撮像画像データS1の一例の模式図を示す。この第1の撮像画像データS1は、画像データ内の殆どが母親M及び子Cにより占められている。このため、当該第1の撮像画像データS1中には、ユーザFの顔部の画像データを合成するためのスペースが存在しない。
従って、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、母親M及び子Cの画像データの占める割合を算出してユーザFの顔部の画像データを合成するためのスペースの領域を算出し、これらスペースの領域とユーザFの顔部の画像データの占める領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
【0025】
次に、画像合成が適当である場合の判定について図11乃至図13を参照して具体的に説明する。
図11に示すように主撮像部3の撮像により取得される例えば母親M及び子Cの第1の撮像画像データS2は、背面撮像部4の撮像によって取得されるユーザFの顔部の画像データと同様に、母親M及び子Cの各上半身を撮影して取得したものであることが好ましい。母親M及び子Cの各上半身は、それぞれの顔部の高さの3倍程度である。
従って、図12に示すように母親Mの顔部の中心部から画像データの下端までの距離をYfとし、母親Mの顔部の高さをDfとすると、上記距離Yfは、
Yf≦2.5Df …(1)
程度まで許可するものとする。
【0026】
図12に示すように合成画像データG3には、ユーザFの肩幅Hkの画像データを合成するための幅スペースが必要である。ユーザFの肩幅Hkを母親Mの顔部の高さDfの倍程度とすると、母親Mの例えば左側には、
Hk≒2×Df …(2)
以上の幅スペースが必要である。この必要な条件を満たすためには、
Xf>3×Df …(3)
の条件が必要である。なお、Xfは、画像データの例えば左端と母親Mの顔部の中心部との間の距離である。
【0027】
従って、顔検出部22は、母親Mの顔部の中心部の位置を検出する。
合成判定部24は、顔検出部22によって検出された母親Mの顔部の中心部の位置を受け取り、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求めると共に、母親Mの顔部の高さ(長さ)Dfを求める。この合成判定部24は、上記式(3)の条件満たすか否かを判定し、条件満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定する。
【0028】
図13は母親M、子Cの画像にユーザFの画像を合成した合成画像データG4を示す。この合成画像データG4における母親M、子Cの画像は、例えば上記図11に示す母親M、子Cの画像よりも小さく写っている。このような合成画像データG4を作成するには、合成判定部24は、ユーザFの顔部の画像データを合成する前に、例えば第1の撮像画像データ中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在すると判定すると、ユーザFの顔部の画像データを縮小し、母親M、子Cの画像の大きさに合わせて第1の撮像画像データ中に合成する。
【0029】
図14は母親M、子Cの画像にユーザFの画像を合成した合成画像データG5を示す。この合成画像データG5におけるユーザFは、カメラ本体1を持つ例えば右手Frが不自然となって写る。このような場合、図15に示す合成画像データG6のようにユーザFの右手Frを画像の構図から外し、右手Frを隠すように画像処理すれば、ユーザFの右手Frの不自然さが解消される。
【0030】
この場合、ユーザFの顔部の高さDf1は、母親Mの顔部の高さDfと等しく(Df1=Df)し、さらに、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1とユーザFの顔部の高さDf1とを等しくし(Xf1=Df1)、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと画像データの例えば下端と母親Mの顔部の中心部との距離Yf1とを等しくし(Yf=Yf1)することで不自然さを解消できるが、さらに、ユーザFが撮影することを想定して、これらの関係Df1=Df、Xf1=Df1、Yf1=Yfを少し大きくする、例えば1.1倍にすれば、すなわち
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
とすれば、確実にユーザFの右手Frの不自然さを解消できる。この場合、母親M、子Cの画像は、肩部から顔部を写したものであるものとする。
【0031】
従って、合成判定部24は、
Df1=1.1×Df
Xf1=1.1×Df1
Yf1=1.1×Yf
の関係となるように図14に示す合成画像データG5を画像処理する。
なお、図15に示す合成画像データG6において、画像データの例えば下端とユーザFの顔部の中心部との距離YfとユーザFの顔部の高さ(長さ)Df1とが等しければ(Yf=Df1)、ユーザFの右手Frが画像の構図から外れ、ユーザFの右手Frの不自然さが解消される。
【0032】
又、上記図14に示すようにユーザFの右手Frが不自然な合成画像データG5であっても、図16に示すように当該合成画像データG5内において、ユーザFの右手Frが画像の構図の画像データ部分G5aを切り出せば、ユーザFの右手Frの不自然さを解消した合成画像データを得ることができる。
【0033】
次に、合成画像データを作成するためのカメラ本体1の傾きについて図17乃至図19を参照して説明する。
図17は撮影時のカメラ本体1の最適な傾き状態を示す。カメラ本体1の撮影光軸Qは、ユーザFと母親M、子Cとに対して直線上に配置され、ユーザFと母親M、子Cとがカメラ本体1を介して対面するように配置されるのがよい。最良にの撮影状況は、カメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されるのがよい。カメラ本体1の撮影光軸Qが水平に配置されるのは、画像処理制御部2によって加速度センサ9から出力される方位信号からカメラ本体1の傾きを求めることにより判定可能である。
【0034】
これに対して図18は撮影時のカメラ本体1の不最適な傾き状態の一例を示す。カメラ本体1の撮影光軸Qは水平に配置されているが、ユーザFと子Cとでは、互いの身長が異なり、例えばカメラ本体1の高さ位置を子Cに合わせると、カメラ本体1は、主撮像部3により子Cの顔部を撮像できる。しかしながら、背面撮像部4は、ユーザFに対して胸部を撮像するものとなり、ユーザFの顔部を撮像できるものでなく、不自然である。
従って、合成判定部24は、主撮像部3の撮像により取得された子Cの顔部の撮像画像データと、背面撮像部4の撮像により取得されたユーザFの胸部の画像データとの相違を検出することにより合成が不適当であることを判定する。
【0035】
図19は撮影時のカメラ本体1の不最適な傾き状態の他の例を示す。カメラ本体1の撮影光軸Qは水平に対して傾いて配置されている。このカメラ本体1の傾きθは、身長差のあるユーザFと子Cとの各顔部を直線上に結ぶために形成されている。この場合、主撮像部3の撮像により取得される子Cの顔部の画像データには、例えば地面が撮像される。このため、合成画像データを作成すると、ユーザFの顔部が例えば地面上に配置されることがあり、不自然となる。
従って、画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の傾きθを求め、カメラ本体1の傾きθがあれば、合成が不適当であることを判定する。
【0036】
画像処理制御部2は、上記合成判定部24の判定の結果、第1の撮像画像データに対する人物像切出し切出部23により切り出されたユーザFの顔部の画像データの合成が不可能であれば、当該不可能な旨を報知する、例えば表示部7にユーザFの顔部の画像データの合成が不可能である旨を表示する。
画像処理制御部2は、顔検出部22により検出された母親M、子Cの位置に基づいて人物像切出し切出部23により切り出されたユーザFの顔部の画像データを合成可能か否かを判定する。
画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の姿勢、例えばカメラ本体1の傾きθを求め、このカメラ本体1の傾きθに基づいて母親M、子CとユーザFとが同一高さ位置で撮像されているか否かを判定する。
【0037】
合成部25は、合成判定部24の判定の結果、合成可能である判定結果が出されると、仮記録部21に記録されている第1の撮像画像データに、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを合成する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを拡大、縮小して第1の撮像画像データに合成する。
画像処理制御部2は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを第1の撮像画像データ中にスライド移動可能である。
【0038】
次に、カメラを用いた画像合成を含むカメラ制御について図20に示すカメラ制御フローチャートに従って説明する。
ユーザによる操作部5の操作によりカメラ本体1の動作モードが設定される。画像処理制御部2は、ステップS101において、操作部5に対するユーザ操作の各種ボタンを読み取り、動作モードが撮影モードか否かを判定する。この判定の結果、撮影モードであれば、画像処理制御部2は、ステップS102において、カメラ本体1の背面に設けられている背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データ中に例えばユーザFの顔部の画像があるか否かを判定する。
【0039】
この判定の結果、2つの視差画像データ中に例えばユーザFの顔部の画像がなければ、合成判定部24は、人物像切出し切出部23により切り出されたユーザFの顔部の画像データを、主撮像部3の撮像により取得された第1の撮像画像データに合成することが不可能であると判定する。
【0040】
画像処理制御部2は、ステップS103において、主撮像部3から出力される画像信号を画像処理し、スルー画像として表示部7に表示する。
画像処理制御部2は、ステップS104において、ユーザの操作部5に対する操作により撮影開始指示がなされたか否かを判定する。この判定の結果、撮影開始指示がなされると、画像処理制御部2は、ステップS105において、例えば静止画の撮影の場合、撮像部2を動作させることで静止画像データを取得する静止画撮影を実行する。動画撮影の場合、画像処理制御部2は、同ステップS105において、主撮像部3を連続動作させて動画像データを取得する動画撮影を実行する。
静止画撮影又は動画撮影の終了後、画像処理制御部2は、ステップS106において、静止画又は動画の画像ファイルを作成し、作成した画像ファイルを記録部6に記録する。画像ファイルの作成後、画像処理制御部2は、静止画又は動画のデータを表示部7に表示する。
【0041】
次に、画像処理制御部2は、ステップS108において、ユーザによる操作部5の操作により電源オフの指示がなされたか否かを判定する。電源オフの指示があれば、画像処理制御部2は、カメラ制御を終了する。電源オフの指示が無ければ、画像処理制御部2は、ステップS101に戻る。
【0042】
カメラ1の動作モードが撮影モードでなければ、画像処理制御部2は、ステップS101からステップS111に移り、再生モードであるか否かを判定する。この判定の結果、再生モードであれば、画像処理制御部2は、ステップS112において、記録部6に記録されている静止画及び動画の各ファイルを表示部7上に一覧表示(サムネイル表示)する。これら静止画及び動画の各ファイルのいずれかが表示部7上でユーザのタッチにより選択されると、タッチパルネ8は、ステップS113において、タッチ位置に対応するタッチ位置信号を出力する。
【0043】
画像処理制御部2は、ステップS114において、タッチパルネ8からのタッチ位置信号から表示部7上に一覧表示されている静止画及び動画の各ファイルからタッチにより選択された静止画又は動画を表示部7に再生する。
ユーザのタッチにより静止画及び動画のファイルの選択がなければ、画像処理制御部2は、ステップS115において、再生モードを終了し、次のステップS108において、電源オフの指示がなされたか否かを判定する。電源オフの指示がなければ、画像処理制御部2は、ステップS109において、再度、撮影モード又は再生モードの変更操作の受付を行い、ステップS101に戻る。
【0044】
一方、画像処理制御部2は、ステップS102において、カメラ本体1の背面に設けられている背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データ中に例えばユーザFの顔部の画像が存在すれば、ステップS121に移り、加速度センサ9から出力される方位信号からカメラ本体1の姿勢、例えばカメラ本体1の傾きθを求め、カメラ本体1に傾きが水平であるか否かを判定する。
この判定の結果、上記2つの視差画像データ中に例えばユーザFの顔部の画像が存在し、かつカメラ本体1の傾きθが水平であり、例えば上記図17に示すように撮影時のカメラ本体1が最適な傾き状態、すなわちカメラ本体1が傾かず、ユーザFと母親M、子Cとが略同一高さ位置で、かつカメラ本体1の撮影光軸Qが水平に配置されていると、画像処理制御部2は、ステップS122において、カメラ本体1の前方、すなわち主撮像部3の撮像により取得される第1の撮像画像データ、例えば図11に示す第1の撮像画像データS2中に人物が存在するか否かを判定する。ここでは母親M、子Cが存在すると判定する。
なお、カメラ本体1に傾きが水平でなければ、画像処理制御部2は、ステップS127に移り、カメラ本体1に傾きが水平でない旨の警告を例えば表示部7に表示したり、当該警告を音声により発する。
【0045】
このように母親M、子Cが存在すると、画像処理制御部2は、ステップS123において、第1の撮像画像データS2中において一番高い位置の顔部の高さ位置を判定する。ここで、顔検出部22は、第1の撮像画像データS1中から母親M、子Cの各顔部を検出する。画像処理制御部2は、顔検出部22により検出された母親M、子Cの各顔部の高さ、その位置を求め、これら顔部の高さ、その位置から第1の撮像画像データS1中において一番高い位置の顔部、ここでは母親Mの高さ、その位置を判定する。
【0046】
画像処理制御部2は、ステップS124において、例えば図12に示すように母親Mの顔部の中心部から画像データの下端までの距離をYfとし、母親Mの顔部の高さ(長さ)をDfとしたときの上記距離Yfが上記式(1)のYf≦2.5Dfを満たすか否かを判定する。
この判定の結果、上記式(1)を満たせば、画像処理制御部2は、ステップS125において、図11に示す第1の撮像画像データS2中において左端に存在する人物、ここでは母親Mの顔部の位置を判定する。母親Mの顔部の位置は、上記顔検出部22により検出済みである。
【0047】
画像処理制御部2は、ステップS126において、上記図12に示すように合成画像データG3中においてユーザFの肩幅Hkの画像データを合成するための幅スペースを必要とするために、上記式(3)のXf>3×Dfを満たすか否かを判定する。
この判定の結果、上記式(3)を満たせば、画像処理制御部2は、ステップS131において、人物像切出し部23に対してユーザFの顔部の画像データの切り出しを指令する。この人物像切出し部23は、背面撮像部(LRの各撮像部4a、4b)4の撮像により取得される2つの視差画像データからユーザFの顔部の画像データを切り出す。画像合成部25は、人物像切出し部23により切り出されたユーザHの顔部の画像データを主撮像部3の撮像により取得された第1の撮像画像データに合成する。
画像処理制御部2は、切り出したユーザFの顔部の画像データから当該ユーザFの顔部の高さ(長さ)Df1を母親Mの顔部の高さ(長さ)をDfの1.1倍、すなわち、
Df1=1.1×Df
に合わせる。
【0048】
画像処理制御部2は、ステップS132において、例えば図12の合成画像データG6に示すようにユーザFの顔部の高さ(長さ)Df1を母親Mの顔部の高さ(長さ)Dfと等しく(Df1=Df)し、さらに、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1とユーザFの顔部の高さ(長さ)Df1とを等しくし(Xf1=Df1)、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと画像データの例えば下端と母親Mの顔部の中心部との距離Yf1とを等しくし(Yf=Yf1)する。これにより、図12又は図15に示すようにユーザFの右手Frを画像の構図から外し、右手Frを隠すように画像処理することで、ユーザFの右手Frの不自然さが解消される合成画像データG3となる。
画像処理制御部2は、ステップS133において、図12又は図13に示す合成画像データG3を画像処理し、スルー画像として表示部7に表示する。
画像処理制御部2は、ステップS134において、例えば図22に示す合成画像データG7中において、ユーザFの画像をスライド移動するか否かを判定する。
【0049】
図21はスライド移動の制御フローチャートを示す。ユーザFは、図22に示すように表示部7の画面上においてスライド移動しようとするユーザFの画像上をタッチする。タッチパネル8は、ユーザのタッチを受け、このタッチ位置に対応するタッチ位置信号を出力する。
画像処理制御部2は、ステップS201において、タッチパネル8からのタッチ位置信号から表示部7の画像上でタッチされた位置を求め、このタッチ位置がユーザFの顔部の画像上に対応するか否かを判定する。
【0050】
この判定の結果、タッチ位置がユーザFの顔部の画像上に対応すれば、画像処理制御部2は、ステップS202において、タッチパネル8からのタッチ位置信号からタッチ位置のスライド移動を追跡する。すなわち、ユーザFは、タッチ位置を例えば図23に示すように所望の位置に移動する。画像処理制御部2は、タッチ位置のスライド移動に追従してユーザFの画像を合成画像データG3の画像上でスライド移動する。
【0051】
ユーザFの画像のスライド移動後、画像処理制御部2は、ステップS202において、ユーザFの画像データを合成するための幅スペースを有するか否かを判定するために、上記式(3)に示すXf>3×Dfの条件を満たすか否かを判定する。
この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、ステップS202において、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成し、ステップS104に移る。
【0052】
上記Xf>3×Dfの条件を満たさなければ、画像処理制御部2は、ステップS203に移り、例えば図15に示すように合成画像データG6において、画像データの例えば下端とユーザFの顔部の中心部との距離YfがユーザFの顔部の高さ(長さ)Df1よりも小さいか否か(Yf≦Df1)を判定する。この判定の結果、当該Yf≦Df1を満たせば、画像処理制御部2は、ステップS202において、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成する。Yf≦Df1を満たさなければ、画像処理制御部2は、ステップS205において、合成が不可能である旨の警告を例えば表示部7に表示したり、当該警告を音声により発する。
【0053】
図24は当該カメラ本体1の機能を簡略化したブロック構成図を示す。このカメラ本体1は、画像処理制御部2と、主撮像部3と、背面撮像部4と、操作部5と、表示部7と、人物像切出し部23と、合成部25とを有する。画像処理制御部2は、第1の撮像画像データ中におけるユーザFの顔部の画像データの合成位置を決定する。
背面撮像部4は、3Dのカメラ用に2つの撮像素子32、33等を有するものでなく、1つの撮像素子を備えるものでも良い。1つの撮像素子を備えるカメラ本体1であれば、後述するように異なるタイミングで互いに視差を持つ2つの視差画像データを取得するようにすればよい。
【0054】
このように上記第1の実施の形態によれば、主撮像部3により例えばユーザFの家族を撮像した第1の撮像画像データを取得し、背面撮像部4により例えばユーザFを撮像した視差を持つ2つの視差画像データを取得し、これら視差画像データからユーザFの顔部の画像データを切り出し、この切り出したユーザFの顔部の画像データを予め設定された合成条件に従ってユーザFの家族を撮像した第1の撮像画像データに合成する。合成条件としては、例えばユーザFの家族を含む第1の撮像画像データの構図、ユーザFの顔部等の影部の位置、第1の撮像画像データ内での例えばユーザFの家族の位置に基づくユーザFの顔部等の合成スペースの有無、ユーザFの顔部を撮像して取得されているか否か、又は例えばユーザFの家族の顔部とユーザFの顔部とが同一高さ位置で撮像されているか否かなどである。これにより、画像の合成写真を鑑賞するに際し、例えばユーザFとその家族(母親M、子C)や風景とが不自然に合成されることなく、ユーザFを家族(母親M、子C)や風景に馴染んだ印象を与える合成写真を得ることができ、さらにユーザと家族との配置位置等にも自然な構図の印象を与えることができる。
【0055】
又、具体的に、合成が不適当であることの判定ができる。
第1に、合成判定部24は、例えば図7に示す合成画像データG1中において、母親M及び子Cの各影部30m、30cの位置と、ユーザFの影部30hの位置とを対比し、各影部30m、30c、30hの各位置が反転していれば、合成が不適当であると判定する。
第2に、合成判定部24は、例えば図9に示す合成画像データG2中において、母親M及び子Cの顔部の各位置と、ユーザFの顔部の位置とが水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。
第3に、合成判定部24は、例えば図10に示す第1の撮像画像データS1中において、例えばユーザFの顔部の画像データを合成するためのスペースの領域とユーザFの顔部の領域とを対比して、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。
【0056】
次に、合成が適当である場合の判定ができる。
合成判定部24は、母親Mの顔部の中心部と当該同第1の撮像画像データS2の左端との距離Xfを求め、かつ母親Mの顔部の高さ(長さ)Dfを求め、上記式(3)の条件(Xf>3×Df)満たせば、第1の撮像画像データS1中にユーザFの顔部の画像データを合成するためのスペースが存在するものと判定し、ユーザFの顔部の画像データを合成することができる。
ユーザFのカメラ本体1を持つ例えば不自然な右手Frは、右手Frを隠すように画像処理することにより、ユーザFの右手Frの不自然さを解消できる。この場合、ユーザFの顔部の高さDf1と、母親Mの顔部の高さ(長さ)Dfと、画像データの例えば左端とユーザFの顔部の中心部との間の距離Xf1、ユーザFの顔部の高さ(長さ)Df1と、画像データの例えば下端とユーザFの顔部の中心部との距離Yfと、画像データの例えば下端と母親Mの顔部の中心部との距離Yf1との関係を、Df1=1.1×Df、Xf1=1.1×Df1、Yf1=1.1×Yfとすることにより、確実にユーザFの右手Frの不自然さを解消できる。
【0057】
次に、カメラ本体1の最適な傾き状態を判定できる。すなわち、カメラ本体1の撮影光軸Qは、ユーザFと母親M、子Cとに対して直線上に配置され、ユーザFと母親M、子Cとがカメラ本体1を介して対面するように配置されるのが最良に撮影状況である。従って、画像処理制御部2は、加速度センサ9から出力される方位信号からカメラ本体1の傾きθを求め、カメラ本体1の傾きθがあれば、合成が不適当であることを判定できる。
【0058】
次に、本発明の第2の実施の形態について図面を参照して説明する。
図25は撮像装置(カメラ)のブロック構成図を示し、図26(a)(b)は本装置の外観図を示し、このうち同図(a)は正面外観図を示し、同図(b)は背面外観図を示す。なお、図1及び図2(a)(b)と同一部分には同一符号を付してその詳しい説明は省略する。
背面撮像部30は、2次元用のカメラであり、主撮像部3と同様に、人物等の第2の主要被写体を含む被写体からの光像を撮像して第2の画像信号を出力する。この背面撮像部30は、例えば撮影を行うユーザF自身を撮像する。この背面撮像部30は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
【0059】
表示部31は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部31は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル8が設けられている。この表示部31は、視差を持つ左右(LR)の各画像データを同時に表示することにより3次元(3D)表示をすることが可能である。
ガイダンス操作ボタン32は、主撮像部3の撮像により取得された第1の撮像画像データと背面主撮像部30の撮像により取得された第2の撮像画像データとを合成するときの操作方法のガイダンスを例えば表示器6に表示するためのユーザの操作用のボタンである。この操作方法のガイダンスでは、背面撮像部30により撮像を行うときに、例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示器6に表示する。このガイダンス「カメラ本体を横にずらして再度撮影してください」は、スピーカ等の鳴動機により音声により報知してもよい。移動は、加速度センサや地磁気センサで判定すれば良い。
【0060】
次に、カメラを用いた画像合成を含むカメラ制御について説明する。
画像処理制御部2は、操作部5に対するユーザ操作の各種ボタンを読み取り、画像合成モードに設定されていると、主撮像部3と背面撮像部30とで同時に撮像を行う。これら主撮像部3と背面撮像部30とは、図27に示すように例えばタイミングT1時にレリーズボタンが押し操作されると、このときに同時に撮像を行う。主撮像部3は例えばユーザFの家族である母親M、子Cを撮像し、これと同時に、背面撮像部30は、例えばユーザFの顔部を撮像する。
【0061】
この撮像が終了し、ガイダンス操作ボタン32が押し操作されると、画像処理制御部2は、表示器6に例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示する。ユーザFは、ガイダンスに従い、例えば図28に示すようにカメラ本体1を矢印方向に水平に移動する。水平移動が終了し、タイミングT1の後のタイミングT2時にレリーズボタンが押し操作されると、このときに主撮像部3と背面撮像部30とは、同時に撮像を行う。主撮像部3は例えばユーザFの家族である母親M、子Cを撮像し、これと同時に背面撮像部30は、例えばユーザFの顔部を撮像する。
【0062】
主撮像部3により各タイミングT1、T2の撮像により取得される各第1の撮像画像データは、互いに視差を有する。この視差は、各タイミングT1、T2での主撮像部3の各撮像位置の間隔に対応する。図29はタイミングT1の撮像により取得される第1の撮像画像データJ1を示し、図30はタイミングT2の撮像により取得される第1の撮像画像データJ2を示す。これら第1の撮像画像データJ1、J2では、画像中において母親M、子Cの位置が異なる。
背面撮像部30により各タイミングT1、T2の撮像により取得される各第2の撮像画像データも、各タイミングT1、T2での背面撮像部30の各撮像位置の間隔に対応する視差を有する。
【0063】
画像処理制御部2は、主撮像部3による各タイミングT1、T2での撮像により取得された第1の撮像画像データJ1、J2から母親M、子Cの画像データを切り出す。これと共に画像処理制御部2は、背面撮像部30による各タイミングT1、T2での撮像により取得された各第1の撮像画像データからユーザFの顔部の画像データを切り出す。
従って、母親M、子Cの画像データとユーザFの顔部の画像データとは、それぞれを切り出されるので、それぞれ例えば第1の撮像画像データJ1と分離可能で、当該第1の撮像画像データJ1上で移動可能である。
【0064】
従って、画像処理制御部2は、上記図21に示すスライド移動の制御フローチャートに従ってユーザFの画像データを第1の撮像画像データJ1上でスライド移動する。すなわち、ユーザFは、図31に示すように表示部7の画面上においてスライド移動しようとするユーザFの画像上をタッチする。ユーザFは、タッチ位置を例えば図32に示すように所望の位置にスライド移動する。
このとき、画像処理制御部2は、ユーザFの画像データを合成するための幅スペースを有するか否かを判定するために、上記式(3)に示すXf>3×Dfの条件を満たすか否かを判定する。この判定の結果、当該Xf>3×Dfの条件を満たせば、画像処理制御部2は、スライド移動した後の位置で、ユーザFの画像データを合成画像データG3の画像上に合成する。
【0065】
このように上記第2の実施の形態によれば、背面主撮像部30を2次元用のカメラとし、カメラ本体1を横方向にずらし、かつ異なるタイミングT1、T2で撮像を行うので、主撮像部3と背面撮像部30とでそれぞれ視差を持つ2つの第1、第2の撮像画像データを取得でき、これら画像データからユーザFの顔部の画像データ、母親M、子Cの画像データを切り出すことができる。これにより、切り出したユーザFの顔部の画像データを予め設定された合成条件に従ってユーザFの家族を撮像した第1の撮像画像データに合成でき、上記第1の実施の形態と同様の効果を奏することができる。
又、ユーザFの顔部の画像データ、母親M、子Cの画像データを切り出すことができるので、例えばユーザFの腕部の画像データを母親M、子Cの画像データの背後に隠す合成や、後ろに並んだように重ねた合成ができる。
以上説明したものは、第2画像から背景を除去したものの合成になっていたが、背景から分離された人物を加工して、痩身させたりメイクしたり、アバター化して合成してもよい。
【0066】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0067】
1:装置本体(カメラ本体)、2:画像処理制御部、3:主撮像部、3a:レンズ光学系、4:背面撮像部、5:操作部、5a:レリーズボタン、6:記録部、7:表示部、8:タッチパネル、9:加速度センサ、10:時計部、21:仮記録部、22:顔検出部、23:人物像切出し部、24:合成判定部、25:画像合成部、30:背面撮像部、31:表示部、32:ガイダンス操作ボタン。
【特許請求の範囲】
【請求項1】
装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、
前記装置本体の背面に設けられ、第2の主要被写体を撮像して第2の撮像画像データを取得する第2の撮像部と、
前記第2の撮像部の撮像により取得された前記2つの視差画像データから前記第2の主要被写体の画像データを切り出す切出部と、
前記第1の撮像画像データと前記切出部により切り出された前記第2の主要被写体の画像データとを前記第1の画像データによって決定される合成条件に従って合成して合成画像データを作成する画像処理制御部と、
を具備することを特徴とする撮像装置。
【請求項2】
前記画像処理制御部は、前記合成条件として少なくとも前記第1の主要被写体を含む前記第1の撮像画像データの構図に基づいて前記第1の撮像画像データに対して前記切出部により切り出された前記第2の主要被写体の画像データを合成可能か否かを判定する合成判定部を有することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記合成判定部は、前記合成条件として前記第2の主要被写体の影部の位置、前記第1の撮像画像データ内での前記第1の主要被写体の位置に基づく前記第2の主要被写体の合成スペースの有無、前記第2の主要被写体として人物であれば前記第2の撮像画像データが顔部を撮像して取得されているか否か、又は前記第1の主要被写体と前記第2の主要被写体とが同一高さ位置で撮像されているか否かの少なくとも1つを判定することを特徴とする請求項2記載の撮像装置。
【請求項4】
前記画像処理制御部は、前記第1の撮像画像データに対する前記切出部により切り出された前記第2の主要被写体の画像データの合成が不可能であれば、当該不可能な旨を報知することを特徴とする請求項1記載の撮像装置。
【請求項5】
前記第1の撮像画像データ中から前記第1の主要被写体の前記顔部を検出する顔検出部を有し、
前記合成判定部は、前記顔検出部により検出された前記第1の主要被写体の位置に基づいて前記切出部により切り出された前記第2の主要被写体の画像データを合成可能か否かを判定する、
ことを特徴とする請求項1記載の撮像装置。
【請求項6】
前記装置本体の姿勢を検出する姿勢センサを有し、
前記画像処理制御部は、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが同一高さ位置で撮像されているか否かを判定する、
ことを特徴とする請求項3記載の撮像装置。
【請求項7】
前記姿勢センサは、加速度センサ又は方位センサを含むことを特徴とする請求項6記載の撮像装置。
【請求項8】
前記画像処理制御部は、前記切り出した前記第2の主要被写体の画像データを拡大、縮小して前記第1の撮像画像データに合成することを特徴とする請求項1記載の撮像装置。
【請求項9】
前記画像処理制御部は、前記切り出した前記第2の主要被写体の画像データを前記第1の撮像画像データ中に移動可能であることを特徴とする請求項1記載の撮像装置。
【請求項10】
第2の撮像部は、上記第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得することを特徴とする請求項1記載の撮像装置。
【請求項11】
前記第2の撮像部は、3次元用のカメラにより前記2つの視差画像データを取得することを特徴とする請求項1記載の撮像装置。
【請求項12】
前記第2の撮像部は、2次元用のカメラにより撮像タイミングを異ならせて前記2つの視差画像データを取得することを特徴とする請求項1記載の撮像装置。
【請求項1】
装置本体の正面に設けられ、第1の主要被写体を撮像して第1の撮像画像データを取得する第1の撮像部と、
前記装置本体の背面に設けられ、第2の主要被写体を撮像して第2の撮像画像データを取得する第2の撮像部と、
前記第2の撮像部の撮像により取得された前記2つの視差画像データから前記第2の主要被写体の画像データを切り出す切出部と、
前記第1の撮像画像データと前記切出部により切り出された前記第2の主要被写体の画像データとを前記第1の画像データによって決定される合成条件に従って合成して合成画像データを作成する画像処理制御部と、
を具備することを特徴とする撮像装置。
【請求項2】
前記画像処理制御部は、前記合成条件として少なくとも前記第1の主要被写体を含む前記第1の撮像画像データの構図に基づいて前記第1の撮像画像データに対して前記切出部により切り出された前記第2の主要被写体の画像データを合成可能か否かを判定する合成判定部を有することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記合成判定部は、前記合成条件として前記第2の主要被写体の影部の位置、前記第1の撮像画像データ内での前記第1の主要被写体の位置に基づく前記第2の主要被写体の合成スペースの有無、前記第2の主要被写体として人物であれば前記第2の撮像画像データが顔部を撮像して取得されているか否か、又は前記第1の主要被写体と前記第2の主要被写体とが同一高さ位置で撮像されているか否かの少なくとも1つを判定することを特徴とする請求項2記載の撮像装置。
【請求項4】
前記画像処理制御部は、前記第1の撮像画像データに対する前記切出部により切り出された前記第2の主要被写体の画像データの合成が不可能であれば、当該不可能な旨を報知することを特徴とする請求項1記載の撮像装置。
【請求項5】
前記第1の撮像画像データ中から前記第1の主要被写体の前記顔部を検出する顔検出部を有し、
前記合成判定部は、前記顔検出部により検出された前記第1の主要被写体の位置に基づいて前記切出部により切り出された前記第2の主要被写体の画像データを合成可能か否かを判定する、
ことを特徴とする請求項1記載の撮像装置。
【請求項6】
前記装置本体の姿勢を検出する姿勢センサを有し、
前記画像処理制御部は、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第1の主要被写体と前記第2の主要被写体とが同一高さ位置で撮像されているか否かを判定する、
ことを特徴とする請求項3記載の撮像装置。
【請求項7】
前記姿勢センサは、加速度センサ又は方位センサを含むことを特徴とする請求項6記載の撮像装置。
【請求項8】
前記画像処理制御部は、前記切り出した前記第2の主要被写体の画像データを拡大、縮小して前記第1の撮像画像データに合成することを特徴とする請求項1記載の撮像装置。
【請求項9】
前記画像処理制御部は、前記切り出した前記第2の主要被写体の画像データを前記第1の撮像画像データ中に移動可能であることを特徴とする請求項1記載の撮像装置。
【請求項10】
第2の撮像部は、上記第2の主要被写体を撮像して視差を有する少なくとも2つの視差画像データを含む第2の撮像画像データを取得することを特徴とする請求項1記載の撮像装置。
【請求項11】
前記第2の撮像部は、3次元用のカメラにより前記2つの視差画像データを取得することを特徴とする請求項1記載の撮像装置。
【請求項12】
前記第2の撮像部は、2次元用のカメラにより撮像タイミングを異ならせて前記2つの視差画像データを取得することを特徴とする請求項1記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【公開番号】特開2012−182581(P2012−182581A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−42871(P2011−42871)
【出願日】平成23年2月28日(2011.2.28)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願日】平成23年2月28日(2011.2.28)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]