撮像装置、画像合成方法、及びプログラム
【課題】撮影者を含む複数人数での集合写真を容易に撮影可能とする。
【解決手段】デジタルカメラ1において、合成撮影モードが指示された直後に、一人の撮影者によって他の被撮影者(複数)の撮影画像aが撮影される。次いで、他の被撮影者の誰かにデジタルカメラ1に渡され、先の撮影者一人の撮影画像bが撮影される。そして、所定の合成条件、例えば、一方の撮影画像内に所定サイズ以上の複数の顔があり、かつ、他方の撮影画像内に所定サイズ以上の顔が1つある場合や、2つの撮影画像a、bの各々で検出される顔の人物構成が異なる場合に、連続して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、他方に合成した新たな合成画像cを作成する。これにより、複数人数全てが撮影された集合写真を容易に合成する。
【解決手段】デジタルカメラ1において、合成撮影モードが指示された直後に、一人の撮影者によって他の被撮影者(複数)の撮影画像aが撮影される。次いで、他の被撮影者の誰かにデジタルカメラ1に渡され、先の撮影者一人の撮影画像bが撮影される。そして、所定の合成条件、例えば、一方の撮影画像内に所定サイズ以上の複数の顔があり、かつ、他方の撮影画像内に所定サイズ以上の顔が1つある場合や、2つの撮影画像a、bの各々で検出される顔の人物構成が異なる場合に、連続して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、他方に合成した新たな合成画像cを作成する。これにより、複数人数全てが撮影された集合写真を容易に合成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、集合写真を撮像する際に好適な撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、複数人数での集合写真では、複数人数のうちの一人が撮影者となって撮影すると、集合写真に撮影者が写らないため、第三者に依頼するか、カメラを三脚に固定してセルフタイマを用いて撮影していた。
【0003】
しかしながら、第三者がいない場合や、三脚がない場合には、カメラを何かの上面に設置してセルフタイマ撮影することになるが、設置場所によっては、画角設定が難しいという問題がある。また、セルフタイマ撮影では、撮影者を除く被撮影者が撮影視野に入るように画角を設定してシャッタボタンを押下し、その後、素早く撮影者が被撮影者として撮影視野に入ることになる。このとき、撮影者が入る位置によっては、撮影者が設定画角からはみ出したり、被撮影者全体の位置が変わり、設定画角内に収まらなくなるという問題がある。
【0004】
そこで、まず、撮影者を除く被撮影者を撮影し、次いで、撮影者を撮影し、2つの撮影画像を適宜合成することで、複数人数全員が写った集合写真を生成する技術が提案されている(例えば、特許文献1参照)。
【0005】
該従来技術では、本体の正面と背面との双方に撮像部を備えている携帯電話を想定し、第1カメラ部で撮像した撮影者側の画像データから撮影者の顔領域を検出し、第2カメラ部で撮像した被撮影者側の画像データから被撮影者の領域と、被撮影者が含まれない領域とを判別し、該判別結果に基づいて、被撮影者が含まれない領域に、検出された撮影者の顔領域を合成する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−94741号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記従来技術では、第1カメラ部と第2カメラ部とで、撮影者と被撮影者とを一度に撮影することで、撮影の手間を軽減することができるようになっているが、一般的なデジタルカメラなどを想定した場合には、2つの撮影部を備えること、特に、集合写真の撮影のためだけに2つの撮影部を備えることは、コストアップにつながるとともに、非効率的であるという問題があった。
【0008】
そこで本発明は、撮影者を含む複数人数での集合写真を容易に撮影することができる撮像装置、画像合成方法、及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的達成のため、請求項1記載の発明は、被写体を撮像する撮像手段を備えた撮像装置であって、連続して撮像された2つの撮影画像を特定する特定手段と、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定手段によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段によって抽出された顔画像を、前記特定手段により特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成手段とを備えることを特徴とする撮像装置である。
【0010】
また、好ましい態様として、例えば請求項2記載のように、請求項1に記載の撮像装置において、前記特定手段は、自己の撮像装置で連続して撮像された2つの撮影画像を特定することを特徴とする。
【0011】
また、好ましい態様として、例えば請求項3記載のように、請求項1に記載の撮像装置において、前記特定手段は、自己の撮像装置と他の撮像装置とで連続して撮像された2つの撮影画像を特定し、前記自己の撮像装置で撮影された撮影画像を、前記他の撮像装置に転送する転送手段を更に備え、前記2つの撮像画像は、転送先の前記他の撮像装置上で合成されることを特徴とする。
【0012】
また、好ましい態様として、例えば請求項4記載のように、請求項3に記載の撮像装置において、周囲に存在する他の撮像装置に対して協調撮影を催促する協調撮影催促手段を更に備え、前記特定手段は、前記協調撮影催促手段による協調撮影の催促後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影催促手段による協調撮影の催促に応じて前記他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする。
【0013】
また、好ましい態様として、例えば請求項5記載のように、請求項3または4に記載の撮像装置において、前記顔画像抽出手段は、前記撮像手段により撮像された撮影画像から顔画像を抽出し、前記転送手段は、前記顔画像抽出手段によって抽出された顔画像を、前記他の撮像装置に送信することを特徴とする。
【0014】
また、好ましい態様として、例えば請求項6記載のように、請求項3に記載の撮像装置において、前記特定手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影を催促した他の撮像装置で撮影された撮影画像とを、前記撮像された2つの撮影画像として特定することを特徴とする。
【0015】
また、好ましい態様として、例えば請求項7記載のように、請求項6に記載の撮像装置において、前記顔画像抽出手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した場合に、前記2つの撮影画像の合成を指示する指示操作が行われたと判断し、前記自己の撮像装置により撮像された撮影画像と前記他の撮像装置で撮影された撮影画像との2つの撮影画像のうち、一方の撮影画像から顔画像を抽出し、前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0016】
また、好ましい態様として、例えば請求項8記載のように、請求項1ないし7のいずれかに記載の撮像装置において、前記合成手段による画像合成に先だって、所定の合成条件を満たすか否かを判定する判定手段を更に備え、前記合成手段は、前記判定手段によって所定の合成条件を満たしたと判定された場合に、前記顔画像抽出手段によって抽出された顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0017】
また、好ましい態様として、例えば請求項9記載のように、請求項8に記載の撮像装置において、前記所定の合成条件は、前記一方の撮影画像内に所定サイズ以上の1つの顔があり、かつ、前記他方の撮影画像内に所定サイズ以上の複数の顔がある場合とすることを特徴とする。
【0018】
また、好ましい態様として、例えば請求項10記載のように、請求項8に記載の撮像装置において、前記所定の合成条件は、前記2つの撮影画像の各々で検出される顔の人物構成が異なる場合とすることを特徴とする。
【0019】
また、好ましい態様として、例えば請求項11記載のように、請求項1ないし10のいずれかに記載の撮像装置において、前記合成手段は、前記2つの撮影画像の背景が共通する場合、それぞれの撮影画像での背景と人物との位置関係を維持するように、前記一方の撮影画像の顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0020】
また、好ましい態様として、例えば請求項12記載のように、請求項1ないし11のいずれかに記載の撮像装置において、前記2つの撮影画像に含まれる顔画像の数を比較する比較手段を更に備え、前記顔画像抽出手段は、前記比較手段による比較結果に基づいて、顔画像の数がより少ない撮影画像から顔画像を抽出し、前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、前記顔の数がより多い撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0021】
また、好ましい態様として、例えば請求項13記載のように、請求項1ないし12のいずれかに記載の撮像装置において、前記特定手段により特定された2つの撮影画像を対応付けて記憶する記憶手段を更に備えることを特徴とする。
【0022】
また、上記目的達成のため、請求項14記載の発明は、被写体を撮像する撮像手段を備えた撮像装置での画像合成方法であって、連続して撮像された2つの撮影画像を特定する特定ステップと、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定ステップで特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出された顔画像を、前記特定ステップで特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成ステップとを含むことを特徴とする画像合成方法である。
【0023】
また、上記目的達成のため、請求項15記載の発明は、被写体を撮像する撮像手段を備えた撮像装置のコンピュータに、連続して撮像された2つの撮影画像を特定する特定機能、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定機能によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出機能、前記顔画像抽出機能によって抽出された顔画像を、前記特定機能によって特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成機能を実行させることを特徴とするプログラムである。
【発明の効果】
【0024】
この発明によれば、撮影者を含む複数人数での集合写真を容易に撮影することができるという利点が得られる。
【図面の簡単な説明】
【0025】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。
【図3】本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図4】本第1実施形態によるデジタルカメラの動作において合成条件例を示すフローチャートである。
【図5】本第1実施形態によるデジタルカメラの動作において合成条件例を示すフローチャートである。
【図6】本第1実施形態による、上述したステップS26での一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。
【図7】本第1実施形態において、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。
【図8】本第1実施形態において、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。
【図9】本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図10】本第3実施形態による、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。
【図11】本第4実施形態によるデジタルカメラの構成を示すブロック図である。
【図12】本第4実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。
【図13】本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図14】本第4実施形態によるデジタルカメラ1−1、1−2の動作を説明するためのシーケンス図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施の形態を、図面を参照して説明する。
【0027】
A.第1実施形態
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing
Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0028】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0029】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0030】
ユニット回路(CDS/AGC/AD)7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0031】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、撮影画像を合成する処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0032】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、CPU11は、一定時間内に撮影された2つの撮影画像の被写体の顔認識、顔位置の推定、一方の撮影画像の顔部分(あるいは被写体全身)の他方の撮影画像への合成を行う。なお、画像合成の詳細については後述する。
【0033】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データ、合成画像データなどを保存しておく記録媒体である。
【0034】
画像表示部15は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ14や、メモリ・カード18から読み出され、伸張された記録画像を表示する。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0035】
図2(a)〜(c)は、本第1実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。まず、図2(a)に示すように、合成撮影モードが指示された直後に、一人の撮影者のユーザ操作(シャッタボタンの押下)によって他の被撮影者(複数)の撮影画像aが撮影され、次いで、図2(b)に示すように、他の被撮影者の誰かにデジタルカメラ1に渡され、ユーザ操作によって先の撮影者一人の撮影画像bが撮影される。そして、所定の合成条件(後述)に合致すると、カメラの受け渡しに必要な所定の時間内に連続して行われたユーザ操作に応じて、連像して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、図2(c)に示すように、他方に合成した新たな合成画像cを作成する。これにより、複数人数全てが撮影された集合写真を容易に合成することができる。
【0036】
なお、上記所定の時間とは、撮影画像aが撮影された後、他の被撮影者の誰かにデジタルカメラ1に渡され、該他の被撮影者の一人によって撮影画像bが撮影されるまでの時間であり、例えば、3秒〜30秒程度の範囲を想定している。このため、単に連続して撮影された2つの撮影画像を合成処理の対象としてもよいが、撮影間隔の上限や下限を上記所定時間として予め設定しておき、この所定時間(下限)に満たない場合、あるいはこの所定の時間(上限)内に次の撮影が行われない場合には、最初の撮影画像aを通常撮影と同様に扱い、当該合成処理は行われないようにしてもよい。言い換えると、所定の時間内に連続して撮影された2つの撮影画像が合成すべき2つの撮影画像として特定されることになる。
【0037】
また、合成条件に合致して合成処理を行う場合、あるいは合成処理を行わない場合のいずれにおいても、上記合成撮影モードが指示された直後に、所定の時間内に連続して行われたユーザ操作に応じて、連続して撮影された撮影画像aと撮影画像bとを関連性があると判断し、撮影画像aと撮影画像bとを関連付けする。ここで、関連付けの方法としては、データにtagとして付加するなどの方法がある。例えば、集合写真を撮った後、その撮影者が自分撮りを行うことにより、それら2枚の撮影画像が関連付けられるので、写真を撮った人も、そのとき、その場にいたことを後から確認することが容易となる。
【0038】
図3は、本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、ユーザ操作により撮影モードを入力させる(ステップS10)。次に、入力された撮影モードが合成撮影モードであるか否かを判断し(ステップS12)、合成撮影モードでなければ、その他の撮影モード、例えば、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS14)。その後、当該処理を終了する(または、ステップS10に戻る)。
【0039】
一方、入力された撮影モードが合成撮影モードであった場合には、撮影者のユーザ操作に応じて、デジタルカメラ1で撮影画像aを撮影する(ステップS16)。次に、撮影画像aの顔認識を行うとともに、該顔認識結果に基づいて、顔の存在する位置を撮影画像a内で推定する(ステップS18)。次に、撮影者のユーザ操作に応じて、撮影画像bを撮影し(ステップS20)、撮影画像bの顔認識を行うとともに、該顔認識結果に基づいて、顔の存在する位置を撮影画像b内で推定する(ステップS22)。つまり、上記撮影画像a、bが、連続して撮像された合成すべき2つの撮影画像として特定されたことになる。
【0040】
次に、合成条件に合致するか否かを判断する(ステップS24)。合成条件としては、図4に示すように、一方の撮影画像(例えば、撮影画像b)内に所定サイズ以上の1つの顔があり、かつ、他方の撮影画像(例えば、撮影画像a)内に所定サイズ以上の複数の顔があるか否か(ステップS24a)、あるいは、図5に示すように、2つの撮影画像a、bの各々で検出される顔の人物構成が異なるか否かとする(ステップS24b)。このような合成条件を設定することで、顔画像がないような撮影画像を合成したり、人物構成が同じであるような撮影画像を合成したりするなどの無駄な合成処理を行わずに済む。
【0041】
そして、合成条件に合致する場合には、一方の撮影画像(例えば、撮影画像b)の顔部分を検出するとともに、該顔部分を合成するための、他方の撮影画像(例えば、撮影画a)の埋込位置を決定する(ステップS26)。なお、該ステップS26における、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理の詳細については後述する。
【0042】
次に、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存する(ステップS28)。次に、撮影画像aと撮影画像bとを関連付けする(ステップS30)。その後、当該処理を終了する(または、ステップS10に戻る)。
【0043】
一方、ステップS20で、合成条件に合致しない場合には、合成処理を行うことなく、ステップS30で、撮影画像aと撮影画像bとを関連付けする。その後、当該処理を終了する(または、ステップS10に戻る)。
【0044】
図6は、本第1実施形態による、上述したステップS26での一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。また、図7、及び図8は、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。なお、以下では、一方の撮影画像を撮影画像a、他方の撮影画像を撮影画像bとして説明する。
【0045】
まず、予め設定されている設定内容を読み込む(ステップS40)。設定内容は、例えば、撮影画像bの顔画像を撮影画像aに埋め込むに当たって、その埋め込む顔画像を端にぴったりと付けては見栄えが悪いので、撮影画像bの顔部分画像を、撮影画像aにおける左右上下の端の埋め込みができない範囲の指定(例として図7で示された値aやbがそれに相当)や、埋め込む画像の最大縦横ドット数、撮影画像aに対する最大比などを設定しておく。
【0046】
次に、撮影画像bで認識された顔部分に基づいて、挿入用顔範囲を決定する(ステップS42)。図7に示す斜線部分が挿入用顔範囲に相当する。次に、その部分を設定内容に基づいて、撮影画像aの顔の大きさに合わせるべく、適当な大きさ(x、y)に拡大、縮小し、撮影画像bの挿入用顔画像として作成する(ステップS44)。次に、撮影画像aにおいて上記撮影画像bの挿入用顔画像を重ね合わせて、撮影画像bから得られた(撮影者の)挿入用顔画像を加えるための挿入可能位置を抽出する(ステップS46)。
【0047】
次に、図7に示すように、まず、撮影画像aの左上に挿入用顔画像を置き、挿入用顔画像が置かれた範囲に、撮影画像aの顔画像(または、既に重畳された挿入用顔画像)が存在しなければ、下方向にずらして、また右から左へ移動させていき、最初に撮影画像aの顔画像(または、既に重畳された挿入用顔画像)が存在した位置の直前の位置(重ならない位置)を、撮影画像aにおける、撮影画像bの挿入用顔画像の挿入位置として確定する(ステップS48)。
【0048】
例えば、図8に示すように、撮影画像aに人物A、B、Cが存在したとすると、撮影画像bの挿入用顔画像は、撮影画像aの人物A、B、C(の顔画像)に重ならない位置が挿入位置として確定される。この時点において、撮影画像a上に撮影画像bの挿入用顔画像の挿入位置が確定されたので、撮影画像aにおける挿入可能位置は、確定された挿入位置を除くものとなる。
【0049】
次に、撮影画像bの顔画像全てが挿入済みであるか否かを判断し(ステップS50)、まだ挿入していない顔画像がある場合には、ステップS46に戻り、上述した処理を繰り返すことにより、上記撮影画像aにおける挿入可能位置に、撮影画像bの挿入用顔画像の挿入位置を確定していく。当然、挿入用顔画像と撮影画像aの顔画像、あるいは、挿入された挿入用顔画像同士が重ならないように、挿入位置が確定されていくことになる。
【0050】
上述した第1実施形態によれば、2つの撮影画像の合成を指示する指示操作が行われた場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて、連続して撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、撮影者を含む複数人数での集合写真を容易に撮影することができる。
【0051】
また、一方の撮影画像内に検出される所定サイズ以上の顔が複数であり、かつ、他方の撮影画像内に検出される所定サイズ以上の顔が1つである場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、撮影者を含む複数人数での集合写真を、より確実に、かつ容易に撮影することができる。
【0052】
また、2つの撮影画像の各々で検出される顔の人物構成が異なる場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、2つの撮影画像に重複する人物が合成されなくなるので、撮影者を含む複数人数での集合写真を、無駄なく、かつ容易に撮影することができる。
【0053】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、旅行などで、同じ風景(山や海など、あるいは建造物など)を背景に集合写真を撮影したい場合を想定している。そこで、本第2実施形態では、所定の時間内に連続して行われたユーザ操作に応じて撮影された撮影画像a、bの背景が共通する場合、それぞれの撮影画像a、bでの背景と人物との位置関係を維持するように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定し、撮影画像a、bの背景が共通しない場合には、前述した第1実施形態と同様に、単に、顔が重ならないように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0054】
図9は、本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。なお、図3に対応する部分には同一のステップを付している。図3とは、ステップS24c、ステップS26a、26bが異なる。
【0055】
上述した第1実施形態と同様に、ステップS10〜S22で、撮影モードとして合成撮影モードが入力された直後に、所定の時間内に連続して行われたユーザ操作に応じて撮影される撮影画像a、bの顔認識&顔位置を推定した後、撮影画像a、bの背景が共通するか否かを判断する(ステップS24c)。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されたことになる。そして、撮影画像a、bの背景が共通する場合、それぞれの撮影画像a、bでの背景と人物との位置関係を維持するように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定する(ステップS26a)。
【0056】
一方、撮影画像a、bの背景が共通しない場合には、前述した第1実施形態と同様に、単に、顔が重ならないように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定する(ステップS26b)。
【0057】
以下、上述した第1実施形態と同様に、ステップS28で、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存し、ステップS30で、撮影画像aと撮影画像bとを関連付けし、当該処理を終了する(または、ステップS10に戻る)。
【0058】
なお、図9に示すステップS24c、ステップS26a、26bを簡単に説明しているが、挿入位置の確定方法については、基本的に、前述した、図6に示すフローチャートに従ったものとなる。
【0059】
上述した第2実施形態によれば、異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作に応じて撮影された2つの撮影画像が共通する背景を有する場合に、背景と人物との位置関係を維持しつつ合成することで、共通する背景上に撮影者を含む複数人数での集合写真を背景と人物との位置関係を維持しつつ容易に撮影することができる。
【0060】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、撮影画像a、bの各々に含まれる顔の数を検出し、顔の数がより少ない撮影画像から顔画像を切り出して、顔の数がより多い撮影画像に合成することを特徴とする。これより、顔画像の切り出し、合成の処理を軽減することが可能となる。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。また、メイン処理は、第1実施形態(図3)、あるいは第2実施形態(図9)と同じであるので説明を省略する。
【0061】
図10は、本第3実施形態による、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。まず、予め設定されている設定内容を読み込む(ステップS60)。設定内容は、左右上下の端の埋め込みができない範囲の指定や、埋め込む画像の最大縦横ドット数、合成される側の撮影画像に対する最大比などを設定しておく。
【0062】
次に、撮影画像aに含まれる、認識された顔の数を検出し(ステップS62)、撮影画像bに含まれる、認識された顔の数を検出する(ステップS64)。次に、顔の数がより少ない撮影画像から挿入用顔範囲を決定し(ステップS66)、顔の数がより少ない撮影画像の挿入用顔画像を作成する(ステップS68)。このとき、その部分を設定内容に基づいて、顔の数がより多い撮影画像の顔の大きさに合わせるべく、適当な大きさに拡大、縮小してもよい。次に、顔の数がより多い撮影画像において上記挿入用顔画像を重ね合わせて、挿入用顔画像を合成するための挿入可能位置を抽出する(ステップS70)。
【0063】
次に、顔の数がより多い撮影画像の左上に挿入用顔画像を置き、挿入用顔画像が置かれた範囲に、顔の数がより多い撮影画像の顔画像(または、既に重畳された挿入用顔画像)が存在しなければ、下方向にずらして、また右から左へ移動させていき、最初に顔の数がより多い撮影画像の顔画像(または、既に重畳された挿入用顔画像)が存在した位置の直前の位置(重ならない位置)を、顔の数がより多い撮影画像の顔画像における、顔の数がより少ない撮影画像の挿入用顔画像の挿入位置として確定する(ステップS72)。
【0064】
次に、顔の数がより少ない撮影画像の顔画像全てが挿入済みであるか否かを判断し(ステップS74)、まだ挿入していない顔画像がある場合には、ステップS70に戻り、上述した処理を繰り返すことにより、上記顔の数がより多い撮影画像における挿入可能位置に、顔の数がより少ない撮影画像の挿入用顔画像の挿入位置を確定していく。当然、挿入用顔画像と撮影画像aの顔画像、あるいは、挿入された挿入用顔画像同士が重ならないように、挿入位置が確定されていくことになる。
【0065】
上述した第3実施形態によれば、2つの撮影画像の各々に含まれる顔の数を検出し、顔の数がより少ない撮影画像から顔部分を切り出して、顔の数がより多い撮影画像に合成するようにしたので、撮影者を含む複数人数での集合写真を、効率的に、かつ容易に撮影することができる。
【0066】
なお、上述した第1から第3実施形態では、撮影モードとして合成撮影モードが入力された直後に、所定の時間内に連続して行われるユーザ操作に応じて連続して撮影される撮影画像aと撮影画像bとを、連続して撮像された合成すべき2つの撮影画像として特定し、該特定した2つの撮像画像a、bを合成するようにしたが、これに限らず、撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作に応じて連続して撮影された直後に、合成撮影モードが入力された場合に、撮影画像aと撮影画像bとを、連続して撮像された合成すべき2つの撮影画像として特定し、該特定した2つの撮像画像a、bを合成するようにしてもよい。この場合、合成撮影モードが入力されなければ、合成することなく、通常の撮影と同様に、撮影画像aと撮影画像bとを個別の撮影画像として記録保存する。
【0067】
なお、合成撮影モードが入力された直後に撮影する(または撮影する直前に合成撮影モードを入力する)とは、合成撮影モードが入力された後、電源がOFFされたり、合成撮影モード以外の他の動作モードに切り換えられる前に所定の時間内に連続して行われたユーザ操作によって撮影を行うことをいう。また、撮影画像aと撮影画像bが連続して撮影された直後に合成撮影モードを入力する(または合成撮影モードが入力される直前に撮影画像aと撮影画像bとを撮影する)とは、撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作によって撮影された後、他の画像が撮影されたり、電源がOFFされたり、合成撮影モード以外の他の動作モードに切り換えられたりする前に合成撮影モードを入力すること、または撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作によって撮影された後、所定時間が経過する前に合成撮影モードを入力することをいう。
【0068】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
図11は、本第4実施形態によるデジタルカメラの構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図において、通信部19は、近距離無線(赤外線通信、Bluetothなど)により、周囲に存在する他のデジタルカメラとの間で通信を行う。特に、本第4実施形態では、周囲に存在する他のデジタルカメラと協調撮影を行うために用いられる。
【0069】
図12(a)〜(e)は、本第4実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。まず、協調撮影モードが指示されると、図12(a)に示すように、デジタルカメラ1−1とデジタルカメラ1−2との間で、協調撮影モードが設定される。次いで、図12(b)に示すように、一人の撮影者のユーザ操作に応じてデジタルカメラ1−1で他の被撮影者(複数)の撮影画像aが撮影され、図12(c)に示すように、撮影終了を他方のデジタルカメラ1−2に通知する。次いで、図12(d)に示すように、該撮影終了を受信したデジタルカメラ1−2で、他の撮影者の誰かのユーザ操作に応じて、先の撮影者一人の撮影画像bが撮影され、図12(e)に示すように、撮影終了をデジタルカメラ1−1に通知する。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されたことになる。
【0070】
その後、デジタルカメラ1−1、1−2で、互いに相手のデジタルカメラで撮影された撮影画像a、bを送受信し、所定の合成条件に合致すると、所定の時間内に連続して行われるユーザ操作に応じて連続して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、他方に合成した新たな合成画像を作成する。これにより、複数人数全てが撮影された集合写真が容易に合成することができる。
【0071】
また、合成条件に合致して合成処理を行った場合、あるいは合成処理を行わなかった場合のいずれにおいても、上記協調撮影モードが指示された直後にそれぞれのデジタルカメラ1−1、1−2でユーザ操作に応じて連続して撮影された撮影画像aと撮影画像bとを関連性があると判断し、撮影画像aと撮影画像bとを関連付けする。ここで、関連付けの方法としては、データにtagとして付加するなどの方法がある。例えば、集合写真を撮った後、その撮影者が自分撮りを行うことにより、それら2枚の撮影画像が関連付けられるので、写真を撮った人も、そのとき、その場にいたことを後から確認することが容易となる。
【0072】
図13は、本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図14は、本第4実施形態によるデジタルカメラ1−1、1−2の動作を説明するためのシーケンス図である。まず、いずれか一方のデジタルカメラでのユーザ操作により撮影モードを入力させる(ステップS80)。次に、入力された撮影モードが協調撮影モードであるか否かを判断し(ステップS82)、協調撮影モードでなければ、その他の撮影モード、例えば、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS88)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0073】
一方、入力された撮影モードが協調撮影モードであった場合には、通信部19により所定の通信方法を用いて、周囲に存在するであろう同機能を有するデジタルカメラに対して協調撮影を催促する(ステップS84:図12(a)を参照)。デジタルカメラ1−1の周囲に他のデジタルカメラ1−2があり、該他のデジタルカメラ1−2が協調撮影の催促に対して応答する。より具体的には、デジタルカメラ1−2は、協調撮影の催促を受信すると、その旨を表示するなどしてユーザに報知する。ユーザは、協調撮影の催促を受信したことを確認し、協調撮影するか否かをキー入力部16などから指示する。
【0074】
なお、他のデジタルカメラ1−2がデジタルカメラ1−1からの協調撮影の催促に応答するか否かは、予めデジタルカメラ1−2に対して協調撮影の催促に応答する設定がなされているか否かで決定するようにしてもよい。また、予め相手方のデジタルカメラのID情報(1または複数)を登録しておき、この登録したIDを持つデジタルカメラからの協調撮影の催促だけに応答するようにしてもよい。
【0075】
デジタルカメラ1では、周囲のデジタルカメラから応答があったか、すなわち周囲に協調撮影するデジタルカメラがあったか否かを判断する(ステップS86)。そして、周囲に協調撮影するデジタルカメラがなかった場合には、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS88)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0076】
一方、周囲に協調撮影するデジタルカメラがある場合(例えば、デジタルカメラ1−2から応答があった場合)には、相手のデジタルカメラ1−2に対して、協調撮影の設定条件を送信する(ステップS90)。該協調撮影の設定条件としては、例えば、どちらのデジタルカメラで合成処理を行うかや、どちらからどちらへ画像を送信するかや、画像の転送量を少なくするために切り出し済みの顔画像だけを他方のデジタルカメラに送信するか、撮影した画像全体を他方のデジタルカメラに送信するか、あるいは、撮影画像をネットワーク上のサーバに送信してサーバ上で画像合成を行うかなどの条件が考えられる。なお、以下の説明では、相互に撮影画像を交換し、双方のデジタルカメラ1−1、1−2で画像合成を行う場合について説明する。
【0077】
次に、相手のデジタルカメラ1−2から設定条件を確認、設定したことを示すOK信号を受信したか否かを判断する(ステップS92)。そして、OK信号を受信した場合には、ユーザに対して撮影OKである旨を、画像表示部15や、音で報知し、これを確認したユーザによるシャッタボタンの操作に応じて、撮影画像aを撮影する(ステップS94:図12(b)を参照)。その後、撮影終了した旨を相手のデジタルカメラ1−2に送信する(ステップS96:図12(c)を参照)。
【0078】
相手のデジタルカメラ1−2では、上記撮影終了を受信すると、ユーザに対して撮影OKである旨を、画像表示部15や、音で報知し、これを確認したユーザによるシャッタボタンの操作に応じて、撮影画像bを撮影する(図12(d)、図14のステップS200を参照)。その後、撮影終了した旨を相手のデジタルカメラ1−2に送信する(ステップS96:図12(e)を参照)。
【0079】
デジタルカメラ1−1では、相手のデジタルカメラ1−2から撮影終了を受信したか否かを判断し(ステップS98)、撮影終了を受信すると、通信部19によって撮影画像aを相手のデジタルカメラ1−2に送信する(ステップS100)。デジタルカメラ1−2では、デジタルカメラ1−1からの撮影画像aを受信する。同様に、デジタルカメラ1−2では、デジタルカメラ1−1から撮影画像aを受信すると、撮影画像bをデジタルカメラ1−1に送信する(図14のステップS202を参照)。デジタルカメラ1−1では、相手のデジタルカメラ1−2からの撮影画像bを受信する(ステップS102)。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されることになる。
【0080】
デジタルカメラ1−1では、前述した第1実施形態と同様に、合成条件に合致するか否かを判断する(ステップS104)。そして、合成条件に合致する場合には、一方の撮影画像(例えば、撮影画像b)の顔部分を検出するとともに、該顔部分を合成するための、他方の撮影画像(例えば、撮影画像a)の埋込位置を決定する(ステップS106)。
【0081】
次に、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存する(ステップS108)。次に、撮影画像aと撮影画像bとを関連付けする(ステップS110)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0082】
一方、ステップS106で、合成条件に合致しない場合には、合成処理を行うことなく、ステップS110で、撮影画像aと撮影画像bとを関連付けする。その後、当該処理を終了する(または、ステップS80に戻る)。
【0083】
上記協調撮影の設定条件において、デジタルカメラ1−2でも合成処理を行うよう設定した場合には、デジタルカメラ1−2においても、上述したように、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存し、撮影画像aと撮影画像bとを関連付けして処理を終了する(図14のステップS203を参照)。
【0084】
なお、上述した第4実施形態では、デジタルカメラ1−1、1−2のそれぞれで画像合成することを説明したが、協調撮影の設定条件によっては、いずれか一方のデジタルカメラだけで合成処理を行ってもよく、また、画像交換後、ユーザが所望するタイミングでネットワーク上のサーバに撮影画像a、bを送信し、サーバ上で合成処理を行うようにしてもよい。
【0085】
また、本第4実施形態において、上記所定の時間とは、デジタルカメラ1−1がデジタルカメラ1−2に対して協調撮影の催促を行うとともに撮影画像aが撮影された後、デジタルカメラ1−2が協調撮影の催促に応答して撮影画像bが撮影されるまでの待ち時間であり、最初の撮影を行う撮影者が撮影後にカメラを下ろしてポーズを取るまでの準備時間として、例えば、1秒〜10秒程度の範囲を想定している。
【0086】
また、本第4実施形態において、デジタルカメラ1−2では、ユーザ操作によって撮影画像bを撮影するようにしたが、これに限らず、所定の時間に達すると、自動撮影するようにしてもよい。
【0087】
上述した第4実施形態によれば、複数の人物が各々のデジタルカメラで互いを撮影するだけで、複数の人物をあたかも1台のカメラで同時に撮影したように、撮影者を含む複数人数での集合写真を、容易に撮影することができる。
【0088】
また、合成条件として、一方のデジタルカメラだけに撮影画像を送信するか、切り出し済みの顔画像だけを合成する側のデジタルカメラに送信するようにすれば、画像の転送量を少なくすることができ、撮影者を含む複数人数での集合写真を、より効率的に、かつ容易に撮影することができる。
【符号の説明】
【0089】
1、1−1、1−2 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15画像表示部
16キー入力部
17 カードI/F
18 メモリ・カード
19 通信部
【技術分野】
【0001】
本発明は、集合写真を撮像する際に好適な撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、複数人数での集合写真では、複数人数のうちの一人が撮影者となって撮影すると、集合写真に撮影者が写らないため、第三者に依頼するか、カメラを三脚に固定してセルフタイマを用いて撮影していた。
【0003】
しかしながら、第三者がいない場合や、三脚がない場合には、カメラを何かの上面に設置してセルフタイマ撮影することになるが、設置場所によっては、画角設定が難しいという問題がある。また、セルフタイマ撮影では、撮影者を除く被撮影者が撮影視野に入るように画角を設定してシャッタボタンを押下し、その後、素早く撮影者が被撮影者として撮影視野に入ることになる。このとき、撮影者が入る位置によっては、撮影者が設定画角からはみ出したり、被撮影者全体の位置が変わり、設定画角内に収まらなくなるという問題がある。
【0004】
そこで、まず、撮影者を除く被撮影者を撮影し、次いで、撮影者を撮影し、2つの撮影画像を適宜合成することで、複数人数全員が写った集合写真を生成する技術が提案されている(例えば、特許文献1参照)。
【0005】
該従来技術では、本体の正面と背面との双方に撮像部を備えている携帯電話を想定し、第1カメラ部で撮像した撮影者側の画像データから撮影者の顔領域を検出し、第2カメラ部で撮像した被撮影者側の画像データから被撮影者の領域と、被撮影者が含まれない領域とを判別し、該判別結果に基づいて、被撮影者が含まれない領域に、検出された撮影者の顔領域を合成する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−94741号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記従来技術では、第1カメラ部と第2カメラ部とで、撮影者と被撮影者とを一度に撮影することで、撮影の手間を軽減することができるようになっているが、一般的なデジタルカメラなどを想定した場合には、2つの撮影部を備えること、特に、集合写真の撮影のためだけに2つの撮影部を備えることは、コストアップにつながるとともに、非効率的であるという問題があった。
【0008】
そこで本発明は、撮影者を含む複数人数での集合写真を容易に撮影することができる撮像装置、画像合成方法、及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的達成のため、請求項1記載の発明は、被写体を撮像する撮像手段を備えた撮像装置であって、連続して撮像された2つの撮影画像を特定する特定手段と、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定手段によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段によって抽出された顔画像を、前記特定手段により特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成手段とを備えることを特徴とする撮像装置である。
【0010】
また、好ましい態様として、例えば請求項2記載のように、請求項1に記載の撮像装置において、前記特定手段は、自己の撮像装置で連続して撮像された2つの撮影画像を特定することを特徴とする。
【0011】
また、好ましい態様として、例えば請求項3記載のように、請求項1に記載の撮像装置において、前記特定手段は、自己の撮像装置と他の撮像装置とで連続して撮像された2つの撮影画像を特定し、前記自己の撮像装置で撮影された撮影画像を、前記他の撮像装置に転送する転送手段を更に備え、前記2つの撮像画像は、転送先の前記他の撮像装置上で合成されることを特徴とする。
【0012】
また、好ましい態様として、例えば請求項4記載のように、請求項3に記載の撮像装置において、周囲に存在する他の撮像装置に対して協調撮影を催促する協調撮影催促手段を更に備え、前記特定手段は、前記協調撮影催促手段による協調撮影の催促後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影催促手段による協調撮影の催促に応じて前記他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする。
【0013】
また、好ましい態様として、例えば請求項5記載のように、請求項3または4に記載の撮像装置において、前記顔画像抽出手段は、前記撮像手段により撮像された撮影画像から顔画像を抽出し、前記転送手段は、前記顔画像抽出手段によって抽出された顔画像を、前記他の撮像装置に送信することを特徴とする。
【0014】
また、好ましい態様として、例えば請求項6記載のように、請求項3に記載の撮像装置において、前記特定手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影を催促した他の撮像装置で撮影された撮影画像とを、前記撮像された2つの撮影画像として特定することを特徴とする。
【0015】
また、好ましい態様として、例えば請求項7記載のように、請求項6に記載の撮像装置において、前記顔画像抽出手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した場合に、前記2つの撮影画像の合成を指示する指示操作が行われたと判断し、前記自己の撮像装置により撮像された撮影画像と前記他の撮像装置で撮影された撮影画像との2つの撮影画像のうち、一方の撮影画像から顔画像を抽出し、前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0016】
また、好ましい態様として、例えば請求項8記載のように、請求項1ないし7のいずれかに記載の撮像装置において、前記合成手段による画像合成に先だって、所定の合成条件を満たすか否かを判定する判定手段を更に備え、前記合成手段は、前記判定手段によって所定の合成条件を満たしたと判定された場合に、前記顔画像抽出手段によって抽出された顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0017】
また、好ましい態様として、例えば請求項9記載のように、請求項8に記載の撮像装置において、前記所定の合成条件は、前記一方の撮影画像内に所定サイズ以上の1つの顔があり、かつ、前記他方の撮影画像内に所定サイズ以上の複数の顔がある場合とすることを特徴とする。
【0018】
また、好ましい態様として、例えば請求項10記載のように、請求項8に記載の撮像装置において、前記所定の合成条件は、前記2つの撮影画像の各々で検出される顔の人物構成が異なる場合とすることを特徴とする。
【0019】
また、好ましい態様として、例えば請求項11記載のように、請求項1ないし10のいずれかに記載の撮像装置において、前記合成手段は、前記2つの撮影画像の背景が共通する場合、それぞれの撮影画像での背景と人物との位置関係を維持するように、前記一方の撮影画像の顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0020】
また、好ましい態様として、例えば請求項12記載のように、請求項1ないし11のいずれかに記載の撮像装置において、前記2つの撮影画像に含まれる顔画像の数を比較する比較手段を更に備え、前記顔画像抽出手段は、前記比較手段による比較結果に基づいて、顔画像の数がより少ない撮影画像から顔画像を抽出し、前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、前記顔の数がより多い撮影画像の顔画像が含まれない領域に合成することを特徴とする。
【0021】
また、好ましい態様として、例えば請求項13記載のように、請求項1ないし12のいずれかに記載の撮像装置において、前記特定手段により特定された2つの撮影画像を対応付けて記憶する記憶手段を更に備えることを特徴とする。
【0022】
また、上記目的達成のため、請求項14記載の発明は、被写体を撮像する撮像手段を備えた撮像装置での画像合成方法であって、連続して撮像された2つの撮影画像を特定する特定ステップと、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定ステップで特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出された顔画像を、前記特定ステップで特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成ステップとを含むことを特徴とする画像合成方法である。
【0023】
また、上記目的達成のため、請求項15記載の発明は、被写体を撮像する撮像手段を備えた撮像装置のコンピュータに、連続して撮像された2つの撮影画像を特定する特定機能、前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定機能によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出機能、前記顔画像抽出機能によって抽出された顔画像を、前記特定機能によって特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成機能を実行させることを特徴とするプログラムである。
【発明の効果】
【0024】
この発明によれば、撮影者を含む複数人数での集合写真を容易に撮影することができるという利点が得られる。
【図面の簡単な説明】
【0025】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。
【図3】本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図4】本第1実施形態によるデジタルカメラの動作において合成条件例を示すフローチャートである。
【図5】本第1実施形態によるデジタルカメラの動作において合成条件例を示すフローチャートである。
【図6】本第1実施形態による、上述したステップS26での一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。
【図7】本第1実施形態において、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。
【図8】本第1実施形態において、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。
【図9】本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図10】本第3実施形態による、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。
【図11】本第4実施形態によるデジタルカメラの構成を示すブロック図である。
【図12】本第4実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。
【図13】本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図14】本第4実施形態によるデジタルカメラ1−1、1−2の動作を説明するためのシーケンス図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施の形態を、図面を参照して説明する。
【0027】
A.第1実施形態
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing
Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0028】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0029】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0030】
ユニット回路(CDS/AGC/AD)7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0031】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、撮影画像を合成する処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0032】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、CPU11は、一定時間内に撮影された2つの撮影画像の被写体の顔認識、顔位置の推定、一方の撮影画像の顔部分(あるいは被写体全身)の他方の撮影画像への合成を行う。なお、画像合成の詳細については後述する。
【0033】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データ、合成画像データなどを保存しておく記録媒体である。
【0034】
画像表示部15は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ14や、メモリ・カード18から読み出され、伸張された記録画像を表示する。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0035】
図2(a)〜(c)は、本第1実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。まず、図2(a)に示すように、合成撮影モードが指示された直後に、一人の撮影者のユーザ操作(シャッタボタンの押下)によって他の被撮影者(複数)の撮影画像aが撮影され、次いで、図2(b)に示すように、他の被撮影者の誰かにデジタルカメラ1に渡され、ユーザ操作によって先の撮影者一人の撮影画像bが撮影される。そして、所定の合成条件(後述)に合致すると、カメラの受け渡しに必要な所定の時間内に連続して行われたユーザ操作に応じて、連像して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、図2(c)に示すように、他方に合成した新たな合成画像cを作成する。これにより、複数人数全てが撮影された集合写真を容易に合成することができる。
【0036】
なお、上記所定の時間とは、撮影画像aが撮影された後、他の被撮影者の誰かにデジタルカメラ1に渡され、該他の被撮影者の一人によって撮影画像bが撮影されるまでの時間であり、例えば、3秒〜30秒程度の範囲を想定している。このため、単に連続して撮影された2つの撮影画像を合成処理の対象としてもよいが、撮影間隔の上限や下限を上記所定時間として予め設定しておき、この所定時間(下限)に満たない場合、あるいはこの所定の時間(上限)内に次の撮影が行われない場合には、最初の撮影画像aを通常撮影と同様に扱い、当該合成処理は行われないようにしてもよい。言い換えると、所定の時間内に連続して撮影された2つの撮影画像が合成すべき2つの撮影画像として特定されることになる。
【0037】
また、合成条件に合致して合成処理を行う場合、あるいは合成処理を行わない場合のいずれにおいても、上記合成撮影モードが指示された直後に、所定の時間内に連続して行われたユーザ操作に応じて、連続して撮影された撮影画像aと撮影画像bとを関連性があると判断し、撮影画像aと撮影画像bとを関連付けする。ここで、関連付けの方法としては、データにtagとして付加するなどの方法がある。例えば、集合写真を撮った後、その撮影者が自分撮りを行うことにより、それら2枚の撮影画像が関連付けられるので、写真を撮った人も、そのとき、その場にいたことを後から確認することが容易となる。
【0038】
図3は、本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、ユーザ操作により撮影モードを入力させる(ステップS10)。次に、入力された撮影モードが合成撮影モードであるか否かを判断し(ステップS12)、合成撮影モードでなければ、その他の撮影モード、例えば、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS14)。その後、当該処理を終了する(または、ステップS10に戻る)。
【0039】
一方、入力された撮影モードが合成撮影モードであった場合には、撮影者のユーザ操作に応じて、デジタルカメラ1で撮影画像aを撮影する(ステップS16)。次に、撮影画像aの顔認識を行うとともに、該顔認識結果に基づいて、顔の存在する位置を撮影画像a内で推定する(ステップS18)。次に、撮影者のユーザ操作に応じて、撮影画像bを撮影し(ステップS20)、撮影画像bの顔認識を行うとともに、該顔認識結果に基づいて、顔の存在する位置を撮影画像b内で推定する(ステップS22)。つまり、上記撮影画像a、bが、連続して撮像された合成すべき2つの撮影画像として特定されたことになる。
【0040】
次に、合成条件に合致するか否かを判断する(ステップS24)。合成条件としては、図4に示すように、一方の撮影画像(例えば、撮影画像b)内に所定サイズ以上の1つの顔があり、かつ、他方の撮影画像(例えば、撮影画像a)内に所定サイズ以上の複数の顔があるか否か(ステップS24a)、あるいは、図5に示すように、2つの撮影画像a、bの各々で検出される顔の人物構成が異なるか否かとする(ステップS24b)。このような合成条件を設定することで、顔画像がないような撮影画像を合成したり、人物構成が同じであるような撮影画像を合成したりするなどの無駄な合成処理を行わずに済む。
【0041】
そして、合成条件に合致する場合には、一方の撮影画像(例えば、撮影画像b)の顔部分を検出するとともに、該顔部分を合成するための、他方の撮影画像(例えば、撮影画a)の埋込位置を決定する(ステップS26)。なお、該ステップS26における、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理の詳細については後述する。
【0042】
次に、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存する(ステップS28)。次に、撮影画像aと撮影画像bとを関連付けする(ステップS30)。その後、当該処理を終了する(または、ステップS10に戻る)。
【0043】
一方、ステップS20で、合成条件に合致しない場合には、合成処理を行うことなく、ステップS30で、撮影画像aと撮影画像bとを関連付けする。その後、当該処理を終了する(または、ステップS10に戻る)。
【0044】
図6は、本第1実施形態による、上述したステップS26での一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。また、図7、及び図8は、撮影画像aの挿入位置を決定するための一動作例を示す概念図である。なお、以下では、一方の撮影画像を撮影画像a、他方の撮影画像を撮影画像bとして説明する。
【0045】
まず、予め設定されている設定内容を読み込む(ステップS40)。設定内容は、例えば、撮影画像bの顔画像を撮影画像aに埋め込むに当たって、その埋め込む顔画像を端にぴったりと付けては見栄えが悪いので、撮影画像bの顔部分画像を、撮影画像aにおける左右上下の端の埋め込みができない範囲の指定(例として図7で示された値aやbがそれに相当)や、埋め込む画像の最大縦横ドット数、撮影画像aに対する最大比などを設定しておく。
【0046】
次に、撮影画像bで認識された顔部分に基づいて、挿入用顔範囲を決定する(ステップS42)。図7に示す斜線部分が挿入用顔範囲に相当する。次に、その部分を設定内容に基づいて、撮影画像aの顔の大きさに合わせるべく、適当な大きさ(x、y)に拡大、縮小し、撮影画像bの挿入用顔画像として作成する(ステップS44)。次に、撮影画像aにおいて上記撮影画像bの挿入用顔画像を重ね合わせて、撮影画像bから得られた(撮影者の)挿入用顔画像を加えるための挿入可能位置を抽出する(ステップS46)。
【0047】
次に、図7に示すように、まず、撮影画像aの左上に挿入用顔画像を置き、挿入用顔画像が置かれた範囲に、撮影画像aの顔画像(または、既に重畳された挿入用顔画像)が存在しなければ、下方向にずらして、また右から左へ移動させていき、最初に撮影画像aの顔画像(または、既に重畳された挿入用顔画像)が存在した位置の直前の位置(重ならない位置)を、撮影画像aにおける、撮影画像bの挿入用顔画像の挿入位置として確定する(ステップS48)。
【0048】
例えば、図8に示すように、撮影画像aに人物A、B、Cが存在したとすると、撮影画像bの挿入用顔画像は、撮影画像aの人物A、B、C(の顔画像)に重ならない位置が挿入位置として確定される。この時点において、撮影画像a上に撮影画像bの挿入用顔画像の挿入位置が確定されたので、撮影画像aにおける挿入可能位置は、確定された挿入位置を除くものとなる。
【0049】
次に、撮影画像bの顔画像全てが挿入済みであるか否かを判断し(ステップS50)、まだ挿入していない顔画像がある場合には、ステップS46に戻り、上述した処理を繰り返すことにより、上記撮影画像aにおける挿入可能位置に、撮影画像bの挿入用顔画像の挿入位置を確定していく。当然、挿入用顔画像と撮影画像aの顔画像、あるいは、挿入された挿入用顔画像同士が重ならないように、挿入位置が確定されていくことになる。
【0050】
上述した第1実施形態によれば、2つの撮影画像の合成を指示する指示操作が行われた場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて、連続して撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、撮影者を含む複数人数での集合写真を容易に撮影することができる。
【0051】
また、一方の撮影画像内に検出される所定サイズ以上の顔が複数であり、かつ、他方の撮影画像内に検出される所定サイズ以上の顔が1つである場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、撮影者を含む複数人数での集合写真を、より確実に、かつ容易に撮影することができる。
【0052】
また、2つの撮影画像の各々で検出される顔の人物構成が異なる場合に、1台のデジタルカメラで異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作(シャッタボタンの押下)に応じて撮影された2つの撮影画像を特定し、該特定した2つの撮影画像を合成することで、2つの撮影画像に重複する人物が合成されなくなるので、撮影者を含む複数人数での集合写真を、無駄なく、かつ容易に撮影することができる。
【0053】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、旅行などで、同じ風景(山や海など、あるいは建造物など)を背景に集合写真を撮影したい場合を想定している。そこで、本第2実施形態では、所定の時間内に連続して行われたユーザ操作に応じて撮影された撮影画像a、bの背景が共通する場合、それぞれの撮影画像a、bでの背景と人物との位置関係を維持するように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定し、撮影画像a、bの背景が共通しない場合には、前述した第1実施形態と同様に、単に、顔が重ならないように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0054】
図9は、本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。なお、図3に対応する部分には同一のステップを付している。図3とは、ステップS24c、ステップS26a、26bが異なる。
【0055】
上述した第1実施形態と同様に、ステップS10〜S22で、撮影モードとして合成撮影モードが入力された直後に、所定の時間内に連続して行われたユーザ操作に応じて撮影される撮影画像a、bの顔認識&顔位置を推定した後、撮影画像a、bの背景が共通するか否かを判断する(ステップS24c)。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されたことになる。そして、撮影画像a、bの背景が共通する場合、それぞれの撮影画像a、bでの背景と人物との位置関係を維持するように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定する(ステップS26a)。
【0056】
一方、撮影画像a、bの背景が共通しない場合には、前述した第1実施形態と同様に、単に、顔が重ならないように、一方の撮影画像の挿入用顔画像の、他方の撮影画像への挿入位置を確定する(ステップS26b)。
【0057】
以下、上述した第1実施形態と同様に、ステップS28で、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存し、ステップS30で、撮影画像aと撮影画像bとを関連付けし、当該処理を終了する(または、ステップS10に戻る)。
【0058】
なお、図9に示すステップS24c、ステップS26a、26bを簡単に説明しているが、挿入位置の確定方法については、基本的に、前述した、図6に示すフローチャートに従ったものとなる。
【0059】
上述した第2実施形態によれば、異なるタイミング、すなわち所定の時間内に連続して行われたユーザ操作に応じて撮影された2つの撮影画像が共通する背景を有する場合に、背景と人物との位置関係を維持しつつ合成することで、共通する背景上に撮影者を含む複数人数での集合写真を背景と人物との位置関係を維持しつつ容易に撮影することができる。
【0060】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、撮影画像a、bの各々に含まれる顔の数を検出し、顔の数がより少ない撮影画像から顔画像を切り出して、顔の数がより多い撮影画像に合成することを特徴とする。これより、顔画像の切り出し、合成の処理を軽減することが可能となる。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。また、メイン処理は、第1実施形態(図3)、あるいは第2実施形態(図9)と同じであるので説明を省略する。
【0061】
図10は、本第3実施形態による、一方の撮影画像の顔部分検出&他方の撮影画像の埋込位置決定処理を説明するためのフローチャートである。まず、予め設定されている設定内容を読み込む(ステップS60)。設定内容は、左右上下の端の埋め込みができない範囲の指定や、埋め込む画像の最大縦横ドット数、合成される側の撮影画像に対する最大比などを設定しておく。
【0062】
次に、撮影画像aに含まれる、認識された顔の数を検出し(ステップS62)、撮影画像bに含まれる、認識された顔の数を検出する(ステップS64)。次に、顔の数がより少ない撮影画像から挿入用顔範囲を決定し(ステップS66)、顔の数がより少ない撮影画像の挿入用顔画像を作成する(ステップS68)。このとき、その部分を設定内容に基づいて、顔の数がより多い撮影画像の顔の大きさに合わせるべく、適当な大きさに拡大、縮小してもよい。次に、顔の数がより多い撮影画像において上記挿入用顔画像を重ね合わせて、挿入用顔画像を合成するための挿入可能位置を抽出する(ステップS70)。
【0063】
次に、顔の数がより多い撮影画像の左上に挿入用顔画像を置き、挿入用顔画像が置かれた範囲に、顔の数がより多い撮影画像の顔画像(または、既に重畳された挿入用顔画像)が存在しなければ、下方向にずらして、また右から左へ移動させていき、最初に顔の数がより多い撮影画像の顔画像(または、既に重畳された挿入用顔画像)が存在した位置の直前の位置(重ならない位置)を、顔の数がより多い撮影画像の顔画像における、顔の数がより少ない撮影画像の挿入用顔画像の挿入位置として確定する(ステップS72)。
【0064】
次に、顔の数がより少ない撮影画像の顔画像全てが挿入済みであるか否かを判断し(ステップS74)、まだ挿入していない顔画像がある場合には、ステップS70に戻り、上述した処理を繰り返すことにより、上記顔の数がより多い撮影画像における挿入可能位置に、顔の数がより少ない撮影画像の挿入用顔画像の挿入位置を確定していく。当然、挿入用顔画像と撮影画像aの顔画像、あるいは、挿入された挿入用顔画像同士が重ならないように、挿入位置が確定されていくことになる。
【0065】
上述した第3実施形態によれば、2つの撮影画像の各々に含まれる顔の数を検出し、顔の数がより少ない撮影画像から顔部分を切り出して、顔の数がより多い撮影画像に合成するようにしたので、撮影者を含む複数人数での集合写真を、効率的に、かつ容易に撮影することができる。
【0066】
なお、上述した第1から第3実施形態では、撮影モードとして合成撮影モードが入力された直後に、所定の時間内に連続して行われるユーザ操作に応じて連続して撮影される撮影画像aと撮影画像bとを、連続して撮像された合成すべき2つの撮影画像として特定し、該特定した2つの撮像画像a、bを合成するようにしたが、これに限らず、撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作に応じて連続して撮影された直後に、合成撮影モードが入力された場合に、撮影画像aと撮影画像bとを、連続して撮像された合成すべき2つの撮影画像として特定し、該特定した2つの撮像画像a、bを合成するようにしてもよい。この場合、合成撮影モードが入力されなければ、合成することなく、通常の撮影と同様に、撮影画像aと撮影画像bとを個別の撮影画像として記録保存する。
【0067】
なお、合成撮影モードが入力された直後に撮影する(または撮影する直前に合成撮影モードを入力する)とは、合成撮影モードが入力された後、電源がOFFされたり、合成撮影モード以外の他の動作モードに切り換えられる前に所定の時間内に連続して行われたユーザ操作によって撮影を行うことをいう。また、撮影画像aと撮影画像bが連続して撮影された直後に合成撮影モードを入力する(または合成撮影モードが入力される直前に撮影画像aと撮影画像bとを撮影する)とは、撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作によって撮影された後、他の画像が撮影されたり、電源がOFFされたり、合成撮影モード以外の他の動作モードに切り換えられたりする前に合成撮影モードを入力すること、または撮影画像aと撮影画像bが所定の時間内に連続して行われたユーザ操作によって撮影された後、所定時間が経過する前に合成撮影モードを入力することをいう。
【0068】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
図11は、本第4実施形態によるデジタルカメラの構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図において、通信部19は、近距離無線(赤外線通信、Bluetothなど)により、周囲に存在する他のデジタルカメラとの間で通信を行う。特に、本第4実施形態では、周囲に存在する他のデジタルカメラと協調撮影を行うために用いられる。
【0069】
図12(a)〜(e)は、本第4実施形態によるデジタルカメラで集合写真を撮影する際の基本的な流れを示す概念図である。まず、協調撮影モードが指示されると、図12(a)に示すように、デジタルカメラ1−1とデジタルカメラ1−2との間で、協調撮影モードが設定される。次いで、図12(b)に示すように、一人の撮影者のユーザ操作に応じてデジタルカメラ1−1で他の被撮影者(複数)の撮影画像aが撮影され、図12(c)に示すように、撮影終了を他方のデジタルカメラ1−2に通知する。次いで、図12(d)に示すように、該撮影終了を受信したデジタルカメラ1−2で、他の撮影者の誰かのユーザ操作に応じて、先の撮影者一人の撮影画像bが撮影され、図12(e)に示すように、撮影終了をデジタルカメラ1−1に通知する。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されたことになる。
【0070】
その後、デジタルカメラ1−1、1−2で、互いに相手のデジタルカメラで撮影された撮影画像a、bを送受信し、所定の合成条件に合致すると、所定の時間内に連続して行われるユーザ操作に応じて連続して撮影された2枚の撮影画像a、bのどちらか一方に含まれる顔画像を、他方に合成した新たな合成画像を作成する。これにより、複数人数全てが撮影された集合写真が容易に合成することができる。
【0071】
また、合成条件に合致して合成処理を行った場合、あるいは合成処理を行わなかった場合のいずれにおいても、上記協調撮影モードが指示された直後にそれぞれのデジタルカメラ1−1、1−2でユーザ操作に応じて連続して撮影された撮影画像aと撮影画像bとを関連性があると判断し、撮影画像aと撮影画像bとを関連付けする。ここで、関連付けの方法としては、データにtagとして付加するなどの方法がある。例えば、集合写真を撮った後、その撮影者が自分撮りを行うことにより、それら2枚の撮影画像が関連付けられるので、写真を撮った人も、そのとき、その場にいたことを後から確認することが容易となる。
【0072】
図13は、本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図14は、本第4実施形態によるデジタルカメラ1−1、1−2の動作を説明するためのシーケンス図である。まず、いずれか一方のデジタルカメラでのユーザ操作により撮影モードを入力させる(ステップS80)。次に、入力された撮影モードが協調撮影モードであるか否かを判断し(ステップS82)、協調撮影モードでなければ、その他の撮影モード、例えば、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS88)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0073】
一方、入力された撮影モードが協調撮影モードであった場合には、通信部19により所定の通信方法を用いて、周囲に存在するであろう同機能を有するデジタルカメラに対して協調撮影を催促する(ステップS84:図12(a)を参照)。デジタルカメラ1−1の周囲に他のデジタルカメラ1−2があり、該他のデジタルカメラ1−2が協調撮影の催促に対して応答する。より具体的には、デジタルカメラ1−2は、協調撮影の催促を受信すると、その旨を表示するなどしてユーザに報知する。ユーザは、協調撮影の催促を受信したことを確認し、協調撮影するか否かをキー入力部16などから指示する。
【0074】
なお、他のデジタルカメラ1−2がデジタルカメラ1−1からの協調撮影の催促に応答するか否かは、予めデジタルカメラ1−2に対して協調撮影の催促に応答する設定がなされているか否かで決定するようにしてもよい。また、予め相手方のデジタルカメラのID情報(1または複数)を登録しておき、この登録したIDを持つデジタルカメラからの協調撮影の催促だけに応答するようにしてもよい。
【0075】
デジタルカメラ1では、周囲のデジタルカメラから応答があったか、すなわち周囲に協調撮影するデジタルカメラがあったか否かを判断する(ステップS86)。そして、周囲に協調撮影するデジタルカメラがなかった場合には、通常の撮影であると判断し、通常の撮影処理を実行する(ステップS88)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0076】
一方、周囲に協調撮影するデジタルカメラがある場合(例えば、デジタルカメラ1−2から応答があった場合)には、相手のデジタルカメラ1−2に対して、協調撮影の設定条件を送信する(ステップS90)。該協調撮影の設定条件としては、例えば、どちらのデジタルカメラで合成処理を行うかや、どちらからどちらへ画像を送信するかや、画像の転送量を少なくするために切り出し済みの顔画像だけを他方のデジタルカメラに送信するか、撮影した画像全体を他方のデジタルカメラに送信するか、あるいは、撮影画像をネットワーク上のサーバに送信してサーバ上で画像合成を行うかなどの条件が考えられる。なお、以下の説明では、相互に撮影画像を交換し、双方のデジタルカメラ1−1、1−2で画像合成を行う場合について説明する。
【0077】
次に、相手のデジタルカメラ1−2から設定条件を確認、設定したことを示すOK信号を受信したか否かを判断する(ステップS92)。そして、OK信号を受信した場合には、ユーザに対して撮影OKである旨を、画像表示部15や、音で報知し、これを確認したユーザによるシャッタボタンの操作に応じて、撮影画像aを撮影する(ステップS94:図12(b)を参照)。その後、撮影終了した旨を相手のデジタルカメラ1−2に送信する(ステップS96:図12(c)を参照)。
【0078】
相手のデジタルカメラ1−2では、上記撮影終了を受信すると、ユーザに対して撮影OKである旨を、画像表示部15や、音で報知し、これを確認したユーザによるシャッタボタンの操作に応じて、撮影画像bを撮影する(図12(d)、図14のステップS200を参照)。その後、撮影終了した旨を相手のデジタルカメラ1−2に送信する(ステップS96:図12(e)を参照)。
【0079】
デジタルカメラ1−1では、相手のデジタルカメラ1−2から撮影終了を受信したか否かを判断し(ステップS98)、撮影終了を受信すると、通信部19によって撮影画像aを相手のデジタルカメラ1−2に送信する(ステップS100)。デジタルカメラ1−2では、デジタルカメラ1−1からの撮影画像aを受信する。同様に、デジタルカメラ1−2では、デジタルカメラ1−1から撮影画像aを受信すると、撮影画像bをデジタルカメラ1−1に送信する(図14のステップS202を参照)。デジタルカメラ1−1では、相手のデジタルカメラ1−2からの撮影画像bを受信する(ステップS102)。つまり、上記撮影画像a、bが、連続して撮像された2つの撮影画像として特定されることになる。
【0080】
デジタルカメラ1−1では、前述した第1実施形態と同様に、合成条件に合致するか否かを判断する(ステップS104)。そして、合成条件に合致する場合には、一方の撮影画像(例えば、撮影画像b)の顔部分を検出するとともに、該顔部分を合成するための、他方の撮影画像(例えば、撮影画像a)の埋込位置を決定する(ステップS106)。
【0081】
次に、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存する(ステップS108)。次に、撮影画像aと撮影画像bとを関連付けする(ステップS110)。その後、当該処理を終了する(または、ステップS80に戻る)。
【0082】
一方、ステップS106で、合成条件に合致しない場合には、合成処理を行うことなく、ステップS110で、撮影画像aと撮影画像bとを関連付けする。その後、当該処理を終了する(または、ステップS80に戻る)。
【0083】
上記協調撮影の設定条件において、デジタルカメラ1−2でも合成処理を行うよう設定した場合には、デジタルカメラ1−2においても、上述したように、一方の撮影画像(例えば、撮影画像b)の顔部分を、他方の撮影画像(例えば、撮影画像a)の埋込位置に合成し、1つの合成画像cを作成して保存し、撮影画像aと撮影画像bとを関連付けして処理を終了する(図14のステップS203を参照)。
【0084】
なお、上述した第4実施形態では、デジタルカメラ1−1、1−2のそれぞれで画像合成することを説明したが、協調撮影の設定条件によっては、いずれか一方のデジタルカメラだけで合成処理を行ってもよく、また、画像交換後、ユーザが所望するタイミングでネットワーク上のサーバに撮影画像a、bを送信し、サーバ上で合成処理を行うようにしてもよい。
【0085】
また、本第4実施形態において、上記所定の時間とは、デジタルカメラ1−1がデジタルカメラ1−2に対して協調撮影の催促を行うとともに撮影画像aが撮影された後、デジタルカメラ1−2が協調撮影の催促に応答して撮影画像bが撮影されるまでの待ち時間であり、最初の撮影を行う撮影者が撮影後にカメラを下ろしてポーズを取るまでの準備時間として、例えば、1秒〜10秒程度の範囲を想定している。
【0086】
また、本第4実施形態において、デジタルカメラ1−2では、ユーザ操作によって撮影画像bを撮影するようにしたが、これに限らず、所定の時間に達すると、自動撮影するようにしてもよい。
【0087】
上述した第4実施形態によれば、複数の人物が各々のデジタルカメラで互いを撮影するだけで、複数の人物をあたかも1台のカメラで同時に撮影したように、撮影者を含む複数人数での集合写真を、容易に撮影することができる。
【0088】
また、合成条件として、一方のデジタルカメラだけに撮影画像を送信するか、切り出し済みの顔画像だけを合成する側のデジタルカメラに送信するようにすれば、画像の転送量を少なくすることができ、撮影者を含む複数人数での集合写真を、より効率的に、かつ容易に撮影することができる。
【符号の説明】
【0089】
1、1−1、1−2 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15画像表示部
16キー入力部
17 カードI/F
18 メモリ・カード
19 通信部
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段を備えた撮像装置であって、
連続して撮像された2つの撮影画像を特定する特定手段と、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定手段によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段によって抽出された顔画像を、前記特定手段により特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記特定手段は、自己の撮像装置で連続して撮像された2つの撮影画像を特定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記特定手段は、自己の撮像装置と他の撮像装置とで連続して撮像された2つの撮影画像を特定し、
前記自己の撮像装置で撮影された撮影画像を、前記他の撮像装置に転送する転送手段を更に備え、
前記2つの撮像画像は、転送先の前記他の撮像装置上で合成されることを特徴とする請求項1に記載の撮像装置。
【請求項4】
周囲に存在する他の撮像装置に対して協調撮影を催促する協調撮影催促手段を更に備え、
前記特定手段は、前記協調撮影催促手段による協調撮影の催促後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影催促手段による協調撮影の催促に応じて前記他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記顔画像抽出手段は、
前記撮像手段により撮像された撮影画像から顔画像を抽出し、
前記転送手段は、
前記顔画像抽出手段によって抽出された顔画像を、前記他の撮像装置に送信することを特徴とする請求項3または4に記載の撮像装置。
【請求項6】
前記特定手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影を催促した他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする請求項3に記載の撮像装置。
【請求項7】
前記顔画像抽出手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した場合に、前記2つの撮影画像の合成を指示する指示操作が行われたと判断し、前記自己の撮像装置により撮像された撮影画像と前記他の撮像装置で撮影された撮影画像との2つの撮影画像のうち、一方の撮影画像から顔画像を抽出し、
前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記合成手段による画像合成に先だって、所定の合成条件を満たすか否かを判定する判定手段を更に備え、
前記合成手段は、
前記判定手段によって所定の合成条件を満たしたと判定された場合に、前記顔画像抽出手段によって抽出された顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし7のいずれかに記載の撮像装置。
【請求項9】
前記所定の合成条件は、
前記一方の撮影画像内に所定サイズ以上の1つの顔があり、かつ、前記他方の撮影画像内に所定サイズ以上の複数の顔がある場合とすることを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記所定の合成条件は、
前記2つの撮影画像の各々で検出される顔の人物構成が異なる場合とすることを特徴とする請求項8に記載の撮像装置。
【請求項11】
前記合成手段は、
前記2つの撮影画像の背景が共通する場合、それぞれの撮影画像での背景と人物との位置関係を維持するように、前記一方の撮影画像の顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし10のいずれかに記載の撮像装置。
【請求項12】
前記2つの撮影画像に含まれる顔画像の数を比較する比較手段を更に備え、
前記顔画像抽出手段は、
前記比較手段による比較結果に基づいて、顔画像の数がより少ない撮影画像から顔画像を抽出し、
前記合成手段は、
前記顔画像抽出手段によって抽出された顔画像を、前記顔の数がより多い撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし11のいずれかに記載の撮像装置。
【請求項13】
前記特定手段により特定された2つの撮影画像を対応付けて記憶する記憶手段を更に備えることを特徴とする請求項1ないし12のいずれかに記載の撮像装置。
【請求項14】
被写体を撮像する撮像手段を備えた撮像装置での画像合成方法であって、
連続して撮像された2つの撮影画像を特定する特定ステップと、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定ステップで特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップで抽出された顔画像を、前記特定ステップで特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成ステップと
を含むことを特徴とする画像合成方法。
【請求項15】
被写体を撮像する撮像手段を備えた撮像装置のコンピュータに、
連続して撮像された2つの撮影画像を特定する特定機能、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定機能によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出機能、
前記顔画像抽出機能によって抽出された顔画像を、前記特定機能によって特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成機能
を実行させることを特徴とするプログラム。
【請求項1】
被写体を撮像する撮像手段を備えた撮像装置であって、
連続して撮像された2つの撮影画像を特定する特定手段と、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定手段によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段によって抽出された顔画像を、前記特定手段により特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記特定手段は、自己の撮像装置で連続して撮像された2つの撮影画像を特定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記特定手段は、自己の撮像装置と他の撮像装置とで連続して撮像された2つの撮影画像を特定し、
前記自己の撮像装置で撮影された撮影画像を、前記他の撮像装置に転送する転送手段を更に備え、
前記2つの撮像画像は、転送先の前記他の撮像装置上で合成されることを特徴とする請求項1に記載の撮像装置。
【請求項4】
周囲に存在する他の撮像装置に対して協調撮影を催促する協調撮影催促手段を更に備え、
前記特定手段は、前記協調撮影催促手段による協調撮影の催促後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影催促手段による協調撮影の催促に応じて前記他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記顔画像抽出手段は、
前記撮像手段により撮像された撮影画像から顔画像を抽出し、
前記転送手段は、
前記顔画像抽出手段によって抽出された顔画像を、前記他の撮像装置に送信することを特徴とする請求項3または4に記載の撮像装置。
【請求項6】
前記特定手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した後に、自己の撮像装置で撮像した撮影画像と、前記協調撮影を催促した他の撮像装置で撮影された撮影画像とを、前記2つの撮影画像として特定することを特徴とする請求項3に記載の撮像装置。
【請求項7】
前記顔画像抽出手段は、周囲に存在する他の撮像装置から前記協調撮影の催促を受信した場合に、前記2つの撮影画像の合成を指示する指示操作が行われたと判断し、前記自己の撮像装置により撮像された撮影画像と前記他の撮像装置で撮影された撮影画像との2つの撮影画像のうち、一方の撮影画像から顔画像を抽出し、
前記合成手段は、前記顔画像抽出手段によって抽出された顔画像を、他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記合成手段による画像合成に先だって、所定の合成条件を満たすか否かを判定する判定手段を更に備え、
前記合成手段は、
前記判定手段によって所定の合成条件を満たしたと判定された場合に、前記顔画像抽出手段によって抽出された顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし7のいずれかに記載の撮像装置。
【請求項9】
前記所定の合成条件は、
前記一方の撮影画像内に所定サイズ以上の1つの顔があり、かつ、前記他方の撮影画像内に所定サイズ以上の複数の顔がある場合とすることを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記所定の合成条件は、
前記2つの撮影画像の各々で検出される顔の人物構成が異なる場合とすることを特徴とする請求項8に記載の撮像装置。
【請求項11】
前記合成手段は、
前記2つの撮影画像の背景が共通する場合、それぞれの撮影画像での背景と人物との位置関係を維持するように、前記一方の撮影画像の顔画像を、前記他方の撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし10のいずれかに記載の撮像装置。
【請求項12】
前記2つの撮影画像に含まれる顔画像の数を比較する比較手段を更に備え、
前記顔画像抽出手段は、
前記比較手段による比較結果に基づいて、顔画像の数がより少ない撮影画像から顔画像を抽出し、
前記合成手段は、
前記顔画像抽出手段によって抽出された顔画像を、前記顔の数がより多い撮影画像の顔画像が含まれない領域に合成することを特徴とする請求項1ないし11のいずれかに記載の撮像装置。
【請求項13】
前記特定手段により特定された2つの撮影画像を対応付けて記憶する記憶手段を更に備えることを特徴とする請求項1ないし12のいずれかに記載の撮像装置。
【請求項14】
被写体を撮像する撮像手段を備えた撮像装置での画像合成方法であって、
連続して撮像された2つの撮影画像を特定する特定ステップと、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定ステップで特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップで抽出された顔画像を、前記特定ステップで特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成ステップと
を含むことを特徴とする画像合成方法。
【請求項15】
被写体を撮像する撮像手段を備えた撮像装置のコンピュータに、
連続して撮像された2つの撮影画像を特定する特定機能、
前記撮像手段により撮影画像が撮像される直前、または直後に、2つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定機能によって特定された2つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出機能、
前記顔画像抽出機能によって抽出された顔画像を、前記特定機能によって特定された2つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成機能
を実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−109693(P2012−109693A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2010−255460(P2010−255460)
【出願日】平成22年11月16日(2010.11.16)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願日】平成22年11月16日(2010.11.16)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]