撮像装置とその制御方法及びプログラムに関する
【課題】撮像装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる仕組みを提供すること。
【解決手段】画像を記憶する記憶手段を備える撮像装置であって、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備えることを特徴とする。
【解決手段】画像を記憶する記憶手段を備える撮像装置であって、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
撮影した画像を合成する撮像装置とその制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラにおいて、同じ位置から撮影した複数の写真を合成し、パノラマ写真とする仕組みは存在する。また、ＰＣの画像処理ソフトウェアでは、背景と被写体の合成や複数の写真の合成など、さまざまな画像加工が可能である。しかし、別々の場所で撮影した異なる被写体を、デジタルカメラ上で好きな位置に合成するためには、合成対象となる被写体のサイズや色調を一致させる必要がある。
【０００３】
そこで、特許文献１には、カメラ付き携帯電話機によって被写体のサイズを演算するシステムが記載されている。また、特許文献２には、写真画像と縮尺を算出したスケール画像をＰＣ上で合成するシステムが記載さされており、特許文献３では、撮影した写真内の被写体を、インターネット上で算出するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２７１０４号公報
【特許文献２】特開平１０−２８１７２８号公報
【特許文献３】特開２００２−１３３１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、外出先で家具、家電などを購入する際に、配置位置に収まるサイズか、部屋のイメージに合った色かを正確に把握できず、買い物に失敗する場合がある。また、ネットショッピングなどのサイズデータを把握可能な場合においては、配置位置との大小関係は把握できるが、実際に配置した際のイメージ（色合い、明るさなど）までは分からない。
【０００６】
上記特許文献１では、カメラ付き携帯電話機で撮影し、被写体までの距離データを用いて被写体のサイズを算出する。しかしながら、ユーザが常に被写体までの距離データを認識して写真を撮影するというのは現実的でない。合成対象の被写体サイズがそれぞれ算出出来たとしても、対象物体の縮尺は算出できるが、配置イメージは確認できない。
【０００７】
特許文献２では、デジタルカメラにて、写真画像をノートＰＣに取り込み、ＰＣ上の画像データ処理ソフトウェアにて、予め登録されたスケール画像（配置したい物体の枠線のみの画像）を写真画像上で重ね合わせ、スケール画像と写真画像内の建築物との距離を算出するもので、配置イメージを確認するものではない。
【０００８】
特許文献３では、寸法が未知である対象物体と寸法が既知である基準物体とが撮影されたデジタル画像の寸法を、インターネットサーバ上で導出し出来るが、別の場所で撮影された被写体の大小関係や配置イメージは分からなかった。
【０００９】
また、上述の技術を組み合わせても、デジタルカメラにおける簡単な操作でユーザが所望する合成画像を作成し、配置イメージを取得することはできなかった。
【００１０】
そこで、本発明の目的は、撮像装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる仕組みを提供することである。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、画像を記憶する記憶手段を備える撮像装置であって、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置のハードウエア構成を示す図である。
【図２Ａ】本発明における配置モード撮影の際の画面構成図である。
【図２Ｂ】本発明における配置モード撮影の際の画面構成図である。
【図３】本発明における配置モード合成の際の画面構成図である。
【図４Ａ】本発明における配置モード撮影処理の一例を示すフローチャートである。
【図４Ｂ】本発明における配置モード撮影処理の一例を示すフローチャートである。
【図４Ｃ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｄ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｅ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｆ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｇ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｈ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ａ】本発明における配置モード合成処理の一例を示すフローチャートである。
【図５Ｂ】本発明における配置モード合成処理の一例を示すフローチャートである。
【図５Ｃ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ｄ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ｅ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図６】本発明における合成後写真用テーブルの一例を示すデータ構成図である。
【発明を実施するための形態】
【００１４】
図１は、本実施形態に係る撮像装置の構成を示す図である。撮像装置は、光学系（レンズ）１０１と、撮像素子（ＣＣＤ）１０２と、カメラ信号処理部１０３と、画像処理部１０４と、記録媒体１１５と、レンズ制御部１２７と、システムコントローラ１１０と、操作部１２０とを含んで構成される。
【００１５】
光学系１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。
【００１６】
撮像素子１０２は、光学系１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
【００１７】
カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。
【００１８】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０に接続されている
【００１９】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００２０】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００２１】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２２】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２３】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０に接続されている。またコントローラ１１０には、ＣＰＵやＭＰＵが備わっており、コントローラにより各種装置やソフトウェアを動作させる。
【００２４】
バッファメモリ１１１には、画像処理部１０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮影装置の各種設定情報や、ユーザ認証情報が保存される。Ｉ／Ｆ回路１１３は、コントローラ１１０から出力される画像データを、記録媒体１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、記録媒体１１５から読み出された画像データ等を、コントローラ１１０で処理可能なデータ形式に変換する。
【００２５】
カードホルダ１１４は、記憶媒体である記録媒体１１５を撮影装置に着脱可能にする機構を備えると共に、記録媒体１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記憶媒体である。記録媒体１１５には、撮影装置で撮影された画像データを記録することができる。
【００２６】
ディスプレイドライバ１１６は、コントローラ１１０から出力される画像データを液晶ディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、コントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２７】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３、カーソルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２８】
モードダイヤル（選択ボタン）１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮影動作モードを選択することが可能である。
【００２９】
閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン１２６の押下に限定されず、液晶ディスプレイ１１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００３０】
閲覧モードでは、コントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されている記録媒体１１５から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、記録媒体１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３１】
記録媒体１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データを液晶ディスプレイ１１７に表示させる。
【００３２】
カーソルキー１２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー１２４により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー１２４により、液晶ディスプレイ１１７にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー１２４により、撮影装置で撮影された画像データを液晶ディスプレイ１１７上にレビュー表示させることができる。
【００３３】
レンズ制御部１２７は、光学系１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３４】
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮伸長処理部１０４において、映像と音声が多重化される。
【００３５】
図２Ａ、図２Ｂは、本発明における配置モード撮影の際の画面例である。画面例については、図４又は図４のフローチャートの説明にて詳述する。また、図３は、本発明における配置モード合成の際の画面構成図である。画面例については、図４又は図４のフローチャートの説明にて詳述する。
【００３６】
次に、図４（図４Ａ〜図４Ｈ）を参照して、本実施形態の配置モード写真撮影処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００３７】
図４では配置モード選択時の写真撮影処理について説明する。ユーザが合成対象写真を撮影する際の一連の処理フローを記載している。まず図４Ａのフローチャートを用いて説明する。
【００３８】
ステップＳ１０１では、写真撮影開始時に写真撮影の際の撮影モード選択画面（２０１）を表示する。
【００３９】
ステップＳ１０２にて、配置モード（２０２）の選択を受信すると、ステップＳ１０３にて撮影目的選択ポップアップ（２０３）が表示し、撮影目的選択処理を実行する。撮影目的選択処理については、図４Ａ（撮影目的選択処理フロー）にて説明する。配置モードはすなわち、合成撮影モードである。また、ステップＳ１０３は、合成撮影モードの場合に、合成元画像と基準対象物の画像を決定するための画像と、合成先画像を撮影する処理である。
【００４０】
ステップＳ１０４にてユーザによる写真撮影完了受信すると、ステップＳ１０５で写真データをバッファメモリ（１１１）一時保存する。ここで保存される写真データは、通常モードで撮影された写真データと同等とする。
【００４１】
ステップＳ１０６にて、撮影した写真に対して被写体のアウトラインデータを抽出し、ステップＳ１０７で被写体アウトライン確認中画面（２０５）を表示する。この画面は、自動抽出されたアウトライン枠（２０６）が実際に対象としたい物体と一致するかをユーザが確認する画面である。本画面を表示後、ステップＳ１０８アウトライン調整処理を実行する。アウトライン調整処理については、図４Ｂ（アウトライン調整処理フロー）にて説明する。すなわち、画像から合成するための合成元画像を決定する処理である。
【００４２】
アウトライン調整処理結果をステップＳ１０９で確認し、結果が「調整完了」以外の場合は、ステップＳ１０７に戻る。結果が「調整完了」の場合は、次に基準物体のアウトライン検出（ステップＳ１１０）を行う。基準物体とは、対象物体のサイズ（縮尺）を示すための基準値となる物体で、本物体の大小関係から合成対象物体の大小関係を算出する。算出方法は、例えば、特許文献２の技術を用いて算出する。
【００４３】
ステップＳ１１１では、基準物体のアウトラインが妥当か否かを確認するために、アウトラインチェック処理を実行する。アウトラインチェック処理については、図４Ｃ（アウトラインチェックフロー）にて説明する。
【００４４】
ステップＳ１１２で、妥当性の確認が完了した基準物体アウトラインを画面に表示する（基準物体アウトライン確認中画面（２０９））。
【００４５】
ステップＳ１１３，ステップＳ１１４は、前述の被写体アウトライン確認処理フロー（ステップＳ１０８〜ステップＳ１０９）と同等の処理を実行する。処理は同じため説明を省略する。すなわち、合成する際に基準となる基準対象物の画像を決定する処理である。
【００４６】
続いて、図４Ｂのフローチャートを用いて説明する。ステップＳ１１５にて、データテーブルに登録されている写真の種別（６１１）が「ベース写真」の場合は、ステップＳ１１６で同データテーブルのベース写真数（６０１）を加算する。「ベース写真」とは、合成する際にベースとなる写真のことを指しており、この写真に上に他の合成対象物体を合成して配置状態を確認する。ベース写真の設定は、後述するステップＳ２０３にて実行される。
【００４７】
写真の種別（６１１）が「ベース写真」以外の場合は合成対象写真とみなし、ステップＳ１１７で登録済みベース写真数（６０１）を確認する。登録済みベース写真が１枚でもあれば、ステップＳ１１８にてベース写真の基準物体と被写体の基準物体から被写体の縮尺を算出し、Ｓ１１９の合成撮影処理を実行する。合成撮影処理は、撮影中の対象物体をその場で他の画像と合成し、配置状態を即座に確認出来る処理のことで、図４Ｄ（合成撮影処理フロー）にて記載する。
【００４８】
ステップＳ１２０、ステップＳ１２１では、撮影または合成撮影が完了した写真に対して、配置状態が確認出来る写真であるために関連データ（６０２〜６１２）と、Ｓ１０５で一時保存しておいた撮影写真そのものを、メモリカード（１１５）に保存する。
【００４９】
ステップＳ１２２で、撮影した写真に対して合成処理を行ったか否かを判定し、合成処理を行っている場合は、ステップＳ１２３にて合成後の写真データもメモリカード（１１５）に保存する。
【００５０】
次に、図４Ｃを用いて、ステップＳ１０３にて撮影目的選択ポップアップ画面を表示した際の処理を説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００５１】
ステップＳ２０１で、撮影目的選択ポップアップ画面２０３を表示し、ステップＳ２０２でユーザによる撮影目的の選択を受信する。
【００５２】
ステップＳ２０２で受信した撮影目的を判定し、ステップＳ２０３にて、データテーブルの写真種別（６１２）を目的に応じて設定する。
【００５３】
次に、図４Ｄを用いて、ステップＳ１０７で被写体アウトライン確認中画面を表示した際の処理を記載する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００５４】
ステップＳ３０１で、タイムアウト時間が経過しているかを判定する。タイムアウト時間が既に経過している場合は、ステップＳ３０２にて、被写体アウトラインデータ（６０２ ｏｒ ６０３）をバッファメモリ（１１１）に一時保存して終了する。
【００５５】
タイムアウト時間が経過していない場合は、ステップＳ３０３で、ユーザによって調整完了ボタン（２１４）が押下されたかを確認する。調整完了ボタンが押下された場合は、ステップＳ３０２でデータを一時保存し終了する。
【００５６】
タイムアウト時間内で、調整完了ボタンが押下されていない場合は、ステップＳ３０４でアウトライン調整ボタン（２０８）が押下されたかを確認する。アウトライン調整ボタンは、アウトライン確認中画面に表示されたアウトラインが、実際に対象としたい物体と不一致な場合に、ユーザが好きな位置にアウトラインを調整出来る処理を実行するためのボタンである。
【００５７】
アウトライン調整ボタンが押下された場合は現在のタイムアウト用経過時間は不要となるため、ステップＳ３０５でタイムアウト時間をリセットし、ステップＳ３０６でアウトライン調整画面（２１２）を表示する。アウトラインにてユーザによるアウトラインの調整（２１３）が実施され、ボタンが押下されたか否かをステップＳ３０７で判定する。アウトラインはユーザがタッチパネル上で指定することで決定してもよい。
【００５８】
ステップＳ３０７で押下されたボタンがＯＫボタン（２１４）の場合は、ステップＳ３０２を実行する。押下されたボタンがキャンセルボタン（２１５）の場合は、アウトラインデータは保存せずにキャンセル終了する。
【００５９】
次に、図４Ｅを用いて、ステップＳ１１１の基準物体のアウトラインデータのチェック処理を説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６０】
ステップＳ４０１で、基準物体のアウトラインデータが、一時保存中の被写体アウトラインデータと一致するかを確認する。
【００６１】
アウトラインデータが一致する場合は、基準物体のアウトラインをユーザに調整してもらうために、アウトライン調整画面（２１２）を表示する。この後の処理はステップＳ３０７と同等であるが、ここでは必ず基準物体を異なる物体に設定する必要があるため、ボタンはＯＫボタン（２１４）のみ選択可能とする。調整が完了し、ステップＳ４０３でＯＫボタンが押下されたことを確認し、処理を終了する。
【００６２】
次に、図４Ｆを用いて、ステップＳ１１７の合成撮影処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６３】
ステップＳ５０１で合成確認画面（２１６）を表示する。この画面では、登録されているベース写真（２１６）に対して、撮影した被写体のアウトライン（２１７）が基準物体の位置に表示される。ベース写真が複数ある場合は、最新のタイムスタンプのものを合成用に使用する。また、アウトラインはステップＳ１１８によってベース写真と縮尺が合っているものが表示される。
【００６４】
ステップＳ５０２で、合成確認画面にてタイムアウト時間経過もしくは決定ボタン（２１８）が押下された場合は、ステップＳ５０３色調補正処理を実行する。
【００６５】
ステップＳ５０２にて、調整ボタン（２１９）が押下された場合は、ステップＳ５０４のベース写真決定処理と、ステップＳ５０５のアウトライン位置決定処理を実行する。ベース写真決定処理については図４Ｇ、アウトライン位置決定処理については図４Ｈにて記載する。
【００６６】
ここまでで、背景となるベース写真とその中に配置される合成対象写真の位置が決定するため、ステップＳ５０３の色調補正処理と、ステップＳ５０６の写真合成処理を実行する。合成処理が完了すると、ステップＳ５０７にて写真種別（６１４）に「合成後写真」を設定することで、合成処理を実行した写真であることを示す。また、ステップＳ５０８で合成写真に用いたベース写真の情報と被写体写真情報（６１５〜６１７）を保存する。
【００６７】
ステップＳ５０９で合成処理後の写真のプレビュー画面（２２０）を表示し、合成写真の仕上がり状態をユーザに提示する。プレビュー写真は一定時間表示させる（ステップＳ５１０）。すなわち、一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に合成元画像を、合成先となる合成先画像と合成表示する処理である。
【００６８】
図４Ｇ、図４Ｈのフローチャートを用いて、ステップＳ５０４にて実行されるベース写真決定処理と、ステップＳ５０５にて実行されるアウトライン位置決定処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６９】
ステップＳ６０１にて、登録済みのベース写真一覧（３００）を表示する。ただし、ここでユーザは写真を１枚のみ指定可能である。ステップＳ６０２にて、ユーザによるベース画面選択完了通知を受信すると、ステップＳ６０３にて選択されたベース写真を用いた合成確認画面（２１６）を表示させる。
【００７０】
図４Ｈのベース写真決定処理が完了すると、ステップＳ７０１のアウトライン調整画面（２１２）を表示し、アウトライン位置を調整する。ここでは、既にアウトラインの縮尺は決定しているため位置の調整のみ可能とする。ステップＳ７０２にてアウトライン位置調整完了を受信すると、ステップＳ７０３で対象物体のアウトライン情報を、データテーブル（６０３）に保存する。
【００７１】
ここまでが、撮影時に合成処理を行う図４の配置モード写真撮影処理の説明である。
【００７２】
次に、図５（図５Ａ〜図５Ｅ）のフローチャートを用いて、本実施形態の配置モード合成処理について説明する。「配置モード合成処理」は、図４で説明した配置モード撮影で保存された複数の写真を、最大４枚まで合成し、複数の物体の配置状態を一度に確認できるように構成されている。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００７３】
ステップＳ８０１で、写真再生開始時に再生モードを選択する画面を表示する。
【００７４】
ステップＳ８０２にて、配置モード（合成）の選択を受信すると、ステップＳ８０３で、合成対象となる写真データが存在するかを確認するための、合成対象写真検索処理を実行する。合成対象写真検索処理については、図５Ｃにて説明する。
【００７５】
ステップＳ８０４で、合成対象写真総数（６００）を確認し、２枚以上存在すればステップＳ８０５の合成対象選択画面（３００）を表示する。合成対象写真総数が１枚以下の場合は合成処理が実行できないため、配置モード（合成）は終了する。
【００７６】
ステップＳ８０６にて、合成対象写真選択処理を実行する。これはユーザに最大４枚まで合成対象写真を選択させるための処理で、図５Ｄにて詳細を説明する。
【００７７】
合成対象写真選択処理が成功（ステップＳ８０７）すると、ステップＳ８０８で対象写真データのアウトラインに不整合が無いか確認する。この対象写真アウトラインデータ不整合チェック処理については、図５Ｅにて記載する。
【００７８】
ステップＳ８０９で、不整合チェック結果を判定し、チェック結果ＮＧであれば、配置モード（合成）は終了する。不整合チェック結果がＯＫであれば、図５Ｂのフローチャートへ処理を移し、ステップＳ８１０のループ処理を実行する。ループ処理では、まず、選択された複数の写真の中で写真番号が若いものから順に、ステップＳ８１１〜Ｓ８１４を選択写真数分繰り返し実行する。
【００７９】
ステップＳ８１１では、合成対象物体の縮尺を算出処理（配置モード撮影でのステップＳ１１８と同様）を実行する。続いて、ステップＳ８１２で合成位置決定画面（３０６）を表示する。
【００８０】
ステップＳ８１３のアウトライン調整処理と、その調整結果の判定（ステップＳ８１４）については、前述の配置モード撮影でのステップＳ１０８、ステップＳ１０９と同様であるため説明を省略する。
【００８１】
選択された合成対象写真全てのアウトライン位置が決定すると、ステップＳ８１５〜ステップＳ８１９で、色調補正と合成処理、各種情報の保存処理を実行する。これは、前述の配置モード撮影でのステップＳ５０３〜Ｓ５０８と同様の処理フローであるため説明を省略する。
【００８２】
ステップＳ８１９にて表示される合成写真プレビュー画面（３０９）は、配置モード撮影での合成写真プレビュー（２２０）と異なり、タイムアウト時間を設けず、ユーザによるＯＫボタン（３１０）押下を受信して、ステップＳ８２１の合成写真保存処理を実行する。また、ステップＳ８２０にてキャンセルボタン（３１１）が押下された場合は、ステップＳ８１０のアウトライン調整処理に戻り、再度合成処理を実行する。
【００８３】
図５Ｃを用いて、合成対象写真一覧を表示するための合成対象写真検索処理を説明する。合成対象写真検索処理は、保存されている全ての写真画像から、配置モードで撮影された写真の枚数をカウントする処理である。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００８４】
ステップＳ９０１にて、メモリカード（１１５）に保存されている全写真画像枚数までのループ処理を開始する。ステップＳ９０２にて写真番号順に写真種別情報（６１１）を確認し、「ベース写真」または「合成対象写真」が設定されている場合は、ステップＳ９０３の合成対象写真総数（６００）を加算する。ステップＳ９０４では、一覧画面の元データを構成するために、写真番号情報（６１２）をデータテーブルから取得し、一時保存する。
【００８５】
図５Ｄを用いて、ユーザによる合成対象写真の選択の処理を説明する。ここでは、ユーザからの写真選択の受信と、選択された写真で合成処理が可能かのチェックを実行する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００８６】
ステップＳ１００１にて、写真の選択を最大４回まで受信するループを開始する。
【００８７】
まず、ステップＳ１００２にて対象写真一覧から１枚の写真をユーザが選択したことを受信する。ユーザが写真を選択すると、画面上の写真サムネイル左上にチェックマーク（３０１）が表示される。
【００８８】
ステップＳ１００３にて、選択された写真に基準物体アウトラインデータが含まれているかをチェックし、含まれていない場合はエラー終了する。基準物体データが無ければ合成対象物体の縮小率を算出出来ないためである。
【００８９】
基準物体アウトラインデータが含まれていることが確認出来たら、ステップＳ１００４にて、合成対象写真数（６１３）を加算する。合成対象写真数の最大数は４で、合成に用いられる写真数を示している。
【００９０】
ステップＳ１００５でＯＫボタンの押下を受信した場合は、ユーザが４枚未満の写真データを合成対象として選択したことを意味しており、ここでループを抜けて次のチェック処理へ進む。ＯＫボタンの押下を受信していない場合は、４回までループ処理を繰り返す。
【００９１】
ステップＳ１００６にて、ベース写真の有無を確認し、選択された写真の中にベース写真が無い、あるいは複数枚ある場合は、ステップＳ１００７にてベース写真選択要求をユーザに通知する。ユーザによるベース写真選択完了をステップＳ１００８で受信し、ステップＳ１００９で、選択された写真の写真種別を、一時的に「ベース写真」、それ以外の写真を「合成対象写真」とする。
【００９２】
図５Ｅを用いて、対象写真のアウトラインデータ不整合チェック処理について説明する。これは、合成対象写真の縮尺を決定するためにベース写真の基準物体と合成対象写真の基準物体のサイズ比率をチェックする処理である。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００９３】
ステップＳ２００１にて、合成対象写真数−１回のループ処理を開始する。合成対象写真は最大４枚のため、このループ処理回数は最大３回である。
【００９４】
ステップＳ２００２で、ベース写真の基準物体と、合成対象写真の基準物体の縦横比をを比較する。縦横比が異なっている場合は、基準物体が異なるとみなし、データ不整合としてエラー終了する。縦横比が同じ場合は、基準物体が同一とみなし、次の合成対象写真のチェックを行う。すなわち、合成先となる画像からステップＳ１０７、ステップＳ１０８で決定した基準対象物と一致する基準対象物を判定する処理である。
【００９５】
次に、図６を用いて本実施形態で用いるデータについて説明する。図６は本実施形態で用いるデータテーブルのイメージ図である。
【００９６】
図６に示すように、合成処理に必要なデータは、大きく分類すると処理用データと写真データの２種類となる。前者の処理用データは、合成処理が可能な写真の総数を示す合成対象写真総数６００と、写真種別がベース写真の写真総数を示す登録済みベース写真数６０１がから構成される。
【００９７】
合成対象写真データ（６０２〜６１２）は、合成処理が可能な写真が持つべきデータで、アウトラインデータ、色調情報（６０４〜６０７）、サイズ情報（６０８〜６１０）、写真種別６１１、写真番号６１２から構成される。
【００９８】
また、合成後写真データ（６１３〜６１６）は、合成処理実行後に保存される合成写真に関連するデータで、合成対象写真数６１３、写真種別６１４、合成元写真情報（６１５，６１６）から構成される。
【００９９】
色調情報、サイズ情報、写真番号については従来のデジタルカメラ撮影においても保存される写真データであり、合成時の色調補正や合成対象の縮尺算出に使用される。
【０１００】
写真種別（６１１，６１４）は、配置合成モードで撮影した写真にのみ付与される識別用データで、撮影開始時に選択された撮影目的が「ベース写真の撮影」の場合は種別に「１：ベース写真」を、「合成対象物の撮影」の場合は「２：合成対象写真」を設定する。また、合成処理が実行された合成写真の場合は、「３：合成後写真」を設定する。
【０１０１】
基準物体アウトラインデータ６０２と対象物体アウトラインデータ６０３は、配置モード撮影時に自動検出とユーザによる調整によって保存されたアウトラインデータで、このデータを使用して合成時の被写体の縮尺の決定や合成位置の調整を行う。
【０１０２】
６０４〜６０７の色調に関するデータと、６０８〜６１０のサイズ情報は従来のデジタルカメラ撮影においても保存されるデータと同等で、色調データは合成時の色調補正に、サイズ情報は合成対象の縮尺の算出に使用される。
【０１０３】
なお、本実施形態で説明した画像の合成は、撮影後の画像を合成するものとして説明したが、合成対象物の撮影時に、撮影ボタン１２３を半押しすることでフォーカスを固定する指示があった場合に行うように構成してもよい。
【０１０４】
例えば、ベース画像から決定された被写体の画像（合成画像）、つまり、ステップＳ１０８で確定されたアウトラインの画像をディスプレイ１１７に表示する。この時、ステップＳ１１３で決定したアウトラインの画像（基準物体の画像）と同じ画像をフォーカスした映像に対する画像から検知し、基準物体の画像の縮尺比に応じて合成画像を拡大又は縮小して、基準物体の画像の位置に表示する。なお、基準物体の位置に表示する際には基準物体の横、又は上など指定できるように構成されている。
【０１０５】
また、フォーカスした映像に対する画像から基準物体の画像を検知する方法としては、画像マッチングの技術を用いて特定してもよいし、ユーザがディスプレイ１１７で基準物体を指定（タッチパネルでアウトラインを指定するなど）することでも実現可能である。
【０１０６】
そして、撮影ボタン１２３が完全に押下されたことを検知すると、撮影された画像に拡大又は縮小された合成画像が合成された画像が生成される。
【０１０７】
上述のように半押し状態で合成画像を表示させることで、撮影時に配置などを確認でき、容易に合成画像を得ることができる。
【０１０８】
上述によれば、画像を記憶する記憶手段を備える撮影装置は、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備える。
【０１０９】
また、前記判定手段は、ユーザによる撮影操作によって得られる画像を合成先となる画像として、前記決定手段で決定した基準対象物と一致する基準対象物を判定する。
【０１１０】
また、前記判定手段は、前記決定手段で決定した基準対象物と縦横比の一致によって判定し、前記合成表示手段は、前記判定手段で縦横比が一致した箇所の位置を基準として前記合成先画像に前記合成元画像を配置して表示する。
【０１１１】
更に、前記撮影装置は、画像を合成するための合成撮影モードを備え、前記合成撮影モードの場合に、前記合成元画像と前記基準対象物の画像を決定するための画像と、前記合成先画像を撮影する撮影手段と、前記合成表示手段は、前記撮影手段で撮影した画像を用いて合成表示する。
【０１１２】
以上説明したように、本実施形態によれば撮影装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる。
【０１１３】
そのほか、ＰＣのない外出先でも配置位置と配置物体の配置状態が確認可能となるため、家具の配置やオフィスのレイアウトなどに活用できる。また、本発明の仕組を用いて撮影された写真であれば、別のカメラで撮影された写真も合成可能であるため、さまざまな物体の配置状態を確認することが可能となる。
【０１１４】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１１５】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１６】
また、本発明におけるプログラムは、図４、図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４、図５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図４、図５の各装置の処理方法ごとのプログラムであってもよい。
【０１１７】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１１８】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【０１１９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【０１２０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２３】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２４】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１２５】
１００ 撮像装置
１０１ 光学系（レンズ）
１０２ 撮像素子（ＣＣＤ）
１０３ カメラ信号処理部
１０４ 画像処理部
１１５ 記録媒体
１２７ レンズ制御部
１１０ システムコントローラ
１２０ 操作部
【技術分野】
【０００１】
撮影した画像を合成する撮像装置とその制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラにおいて、同じ位置から撮影した複数の写真を合成し、パノラマ写真とする仕組みは存在する。また、ＰＣの画像処理ソフトウェアでは、背景と被写体の合成や複数の写真の合成など、さまざまな画像加工が可能である。しかし、別々の場所で撮影した異なる被写体を、デジタルカメラ上で好きな位置に合成するためには、合成対象となる被写体のサイズや色調を一致させる必要がある。
【０００３】
そこで、特許文献１には、カメラ付き携帯電話機によって被写体のサイズを演算するシステムが記載されている。また、特許文献２には、写真画像と縮尺を算出したスケール画像をＰＣ上で合成するシステムが記載さされており、特許文献３では、撮影した写真内の被写体を、インターネット上で算出するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２７１０４号公報
【特許文献２】特開平１０−２８１７２８号公報
【特許文献３】特開２００２−１３３１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、外出先で家具、家電などを購入する際に、配置位置に収まるサイズか、部屋のイメージに合った色かを正確に把握できず、買い物に失敗する場合がある。また、ネットショッピングなどのサイズデータを把握可能な場合においては、配置位置との大小関係は把握できるが、実際に配置した際のイメージ（色合い、明るさなど）までは分からない。
【０００６】
上記特許文献１では、カメラ付き携帯電話機で撮影し、被写体までの距離データを用いて被写体のサイズを算出する。しかしながら、ユーザが常に被写体までの距離データを認識して写真を撮影するというのは現実的でない。合成対象の被写体サイズがそれぞれ算出出来たとしても、対象物体の縮尺は算出できるが、配置イメージは確認できない。
【０００７】
特許文献２では、デジタルカメラにて、写真画像をノートＰＣに取り込み、ＰＣ上の画像データ処理ソフトウェアにて、予め登録されたスケール画像（配置したい物体の枠線のみの画像）を写真画像上で重ね合わせ、スケール画像と写真画像内の建築物との距離を算出するもので、配置イメージを確認するものではない。
【０００８】
特許文献３では、寸法が未知である対象物体と寸法が既知である基準物体とが撮影されたデジタル画像の寸法を、インターネットサーバ上で導出し出来るが、別の場所で撮影された被写体の大小関係や配置イメージは分からなかった。
【０００９】
また、上述の技術を組み合わせても、デジタルカメラにおける簡単な操作でユーザが所望する合成画像を作成し、配置イメージを取得することはできなかった。
【００１０】
そこで、本発明の目的は、撮像装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる仕組みを提供することである。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、画像を記憶する記憶手段を備える撮像装置であって、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置のハードウエア構成を示す図である。
【図２Ａ】本発明における配置モード撮影の際の画面構成図である。
【図２Ｂ】本発明における配置モード撮影の際の画面構成図である。
【図３】本発明における配置モード合成の際の画面構成図である。
【図４Ａ】本発明における配置モード撮影処理の一例を示すフローチャートである。
【図４Ｂ】本発明における配置モード撮影処理の一例を示すフローチャートである。
【図４Ｃ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｄ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｅ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｆ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｇ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図４Ｈ】図４Ａ／図４Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ａ】本発明における配置モード合成処理の一例を示すフローチャートである。
【図５Ｂ】本発明における配置モード合成処理の一例を示すフローチャートである。
【図５Ｃ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ｄ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図５Ｅ】図５Ａ／図５Ｂにおけるサブルーチン処理の一例を示すフローチャートである。
【図６】本発明における合成後写真用テーブルの一例を示すデータ構成図である。
【発明を実施するための形態】
【００１４】
図１は、本実施形態に係る撮像装置の構成を示す図である。撮像装置は、光学系（レンズ）１０１と、撮像素子（ＣＣＤ）１０２と、カメラ信号処理部１０３と、画像処理部１０４と、記録媒体１１５と、レンズ制御部１２７と、システムコントローラ１１０と、操作部１２０とを含んで構成される。
【００１５】
光学系１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。
【００１６】
撮像素子１０２は、光学系１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
【００１７】
カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。
【００１８】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０に接続されている
【００１９】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００２０】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００２１】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２２】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２３】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、ＵＳＢドライバ１１８、および操作部１２０に接続されている。またコントローラ１１０には、ＣＰＵやＭＰＵが備わっており、コントローラにより各種装置やソフトウェアを動作させる。
【００２４】
バッファメモリ１１１には、画像処理部１０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮影装置の各種設定情報や、ユーザ認証情報が保存される。Ｉ／Ｆ回路１１３は、コントローラ１１０から出力される画像データを、記録媒体１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、記録媒体１１５から読み出された画像データ等を、コントローラ１１０で処理可能なデータ形式に変換する。
【００２５】
カードホルダ１１４は、記憶媒体である記録媒体１１５を撮影装置に着脱可能にする機構を備えると共に、記録媒体１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記憶媒体である。記録媒体１１５には、撮影装置で撮影された画像データを記録することができる。
【００２６】
ディスプレイドライバ１１６は、コントローラ１１０から出力される画像データを液晶ディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、コントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２７】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３、カーソルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２８】
モードダイヤル（選択ボタン）１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮影動作モードを選択することが可能である。
【００２９】
閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン１２６の押下に限定されず、液晶ディスプレイ１１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００３０】
閲覧モードでは、コントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されている記録媒体１１５から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、記録媒体１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３１】
記録媒体１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データを液晶ディスプレイ１１７に表示させる。
【００３２】
カーソルキー１２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー１２４により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー１２４により、液晶ディスプレイ１１７にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー１２４により、撮影装置で撮影された画像データを液晶ディスプレイ１１７上にレビュー表示させることができる。
【００３３】
レンズ制御部１２７は、光学系１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３４】
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮伸長処理部１０４において、映像と音声が多重化される。
【００３５】
図２Ａ、図２Ｂは、本発明における配置モード撮影の際の画面例である。画面例については、図４又は図４のフローチャートの説明にて詳述する。また、図３は、本発明における配置モード合成の際の画面構成図である。画面例については、図４又は図４のフローチャートの説明にて詳述する。
【００３６】
次に、図４（図４Ａ〜図４Ｈ）を参照して、本実施形態の配置モード写真撮影処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００３７】
図４では配置モード選択時の写真撮影処理について説明する。ユーザが合成対象写真を撮影する際の一連の処理フローを記載している。まず図４Ａのフローチャートを用いて説明する。
【００３８】
ステップＳ１０１では、写真撮影開始時に写真撮影の際の撮影モード選択画面（２０１）を表示する。
【００３９】
ステップＳ１０２にて、配置モード（２０２）の選択を受信すると、ステップＳ１０３にて撮影目的選択ポップアップ（２０３）が表示し、撮影目的選択処理を実行する。撮影目的選択処理については、図４Ａ（撮影目的選択処理フロー）にて説明する。配置モードはすなわち、合成撮影モードである。また、ステップＳ１０３は、合成撮影モードの場合に、合成元画像と基準対象物の画像を決定するための画像と、合成先画像を撮影する処理である。
【００４０】
ステップＳ１０４にてユーザによる写真撮影完了受信すると、ステップＳ１０５で写真データをバッファメモリ（１１１）一時保存する。ここで保存される写真データは、通常モードで撮影された写真データと同等とする。
【００４１】
ステップＳ１０６にて、撮影した写真に対して被写体のアウトラインデータを抽出し、ステップＳ１０７で被写体アウトライン確認中画面（２０５）を表示する。この画面は、自動抽出されたアウトライン枠（２０６）が実際に対象としたい物体と一致するかをユーザが確認する画面である。本画面を表示後、ステップＳ１０８アウトライン調整処理を実行する。アウトライン調整処理については、図４Ｂ（アウトライン調整処理フロー）にて説明する。すなわち、画像から合成するための合成元画像を決定する処理である。
【００４２】
アウトライン調整処理結果をステップＳ１０９で確認し、結果が「調整完了」以外の場合は、ステップＳ１０７に戻る。結果が「調整完了」の場合は、次に基準物体のアウトライン検出（ステップＳ１１０）を行う。基準物体とは、対象物体のサイズ（縮尺）を示すための基準値となる物体で、本物体の大小関係から合成対象物体の大小関係を算出する。算出方法は、例えば、特許文献２の技術を用いて算出する。
【００４３】
ステップＳ１１１では、基準物体のアウトラインが妥当か否かを確認するために、アウトラインチェック処理を実行する。アウトラインチェック処理については、図４Ｃ（アウトラインチェックフロー）にて説明する。
【００４４】
ステップＳ１１２で、妥当性の確認が完了した基準物体アウトラインを画面に表示する（基準物体アウトライン確認中画面（２０９））。
【００４５】
ステップＳ１１３，ステップＳ１１４は、前述の被写体アウトライン確認処理フロー（ステップＳ１０８〜ステップＳ１０９）と同等の処理を実行する。処理は同じため説明を省略する。すなわち、合成する際に基準となる基準対象物の画像を決定する処理である。
【００４６】
続いて、図４Ｂのフローチャートを用いて説明する。ステップＳ１１５にて、データテーブルに登録されている写真の種別（６１１）が「ベース写真」の場合は、ステップＳ１１６で同データテーブルのベース写真数（６０１）を加算する。「ベース写真」とは、合成する際にベースとなる写真のことを指しており、この写真に上に他の合成対象物体を合成して配置状態を確認する。ベース写真の設定は、後述するステップＳ２０３にて実行される。
【００４７】
写真の種別（６１１）が「ベース写真」以外の場合は合成対象写真とみなし、ステップＳ１１７で登録済みベース写真数（６０１）を確認する。登録済みベース写真が１枚でもあれば、ステップＳ１１８にてベース写真の基準物体と被写体の基準物体から被写体の縮尺を算出し、Ｓ１１９の合成撮影処理を実行する。合成撮影処理は、撮影中の対象物体をその場で他の画像と合成し、配置状態を即座に確認出来る処理のことで、図４Ｄ（合成撮影処理フロー）にて記載する。
【００４８】
ステップＳ１２０、ステップＳ１２１では、撮影または合成撮影が完了した写真に対して、配置状態が確認出来る写真であるために関連データ（６０２〜６１２）と、Ｓ１０５で一時保存しておいた撮影写真そのものを、メモリカード（１１５）に保存する。
【００４９】
ステップＳ１２２で、撮影した写真に対して合成処理を行ったか否かを判定し、合成処理を行っている場合は、ステップＳ１２３にて合成後の写真データもメモリカード（１１５）に保存する。
【００５０】
次に、図４Ｃを用いて、ステップＳ１０３にて撮影目的選択ポップアップ画面を表示した際の処理を説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００５１】
ステップＳ２０１で、撮影目的選択ポップアップ画面２０３を表示し、ステップＳ２０２でユーザによる撮影目的の選択を受信する。
【００５２】
ステップＳ２０２で受信した撮影目的を判定し、ステップＳ２０３にて、データテーブルの写真種別（６１２）を目的に応じて設定する。
【００５３】
次に、図４Ｄを用いて、ステップＳ１０７で被写体アウトライン確認中画面を表示した際の処理を記載する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００５４】
ステップＳ３０１で、タイムアウト時間が経過しているかを判定する。タイムアウト時間が既に経過している場合は、ステップＳ３０２にて、被写体アウトラインデータ（６０２ ｏｒ ６０３）をバッファメモリ（１１１）に一時保存して終了する。
【００５５】
タイムアウト時間が経過していない場合は、ステップＳ３０３で、ユーザによって調整完了ボタン（２１４）が押下されたかを確認する。調整完了ボタンが押下された場合は、ステップＳ３０２でデータを一時保存し終了する。
【００５６】
タイムアウト時間内で、調整完了ボタンが押下されていない場合は、ステップＳ３０４でアウトライン調整ボタン（２０８）が押下されたかを確認する。アウトライン調整ボタンは、アウトライン確認中画面に表示されたアウトラインが、実際に対象としたい物体と不一致な場合に、ユーザが好きな位置にアウトラインを調整出来る処理を実行するためのボタンである。
【００５７】
アウトライン調整ボタンが押下された場合は現在のタイムアウト用経過時間は不要となるため、ステップＳ３０５でタイムアウト時間をリセットし、ステップＳ３０６でアウトライン調整画面（２１２）を表示する。アウトラインにてユーザによるアウトラインの調整（２１３）が実施され、ボタンが押下されたか否かをステップＳ３０７で判定する。アウトラインはユーザがタッチパネル上で指定することで決定してもよい。
【００５８】
ステップＳ３０７で押下されたボタンがＯＫボタン（２１４）の場合は、ステップＳ３０２を実行する。押下されたボタンがキャンセルボタン（２１５）の場合は、アウトラインデータは保存せずにキャンセル終了する。
【００５９】
次に、図４Ｅを用いて、ステップＳ１１１の基準物体のアウトラインデータのチェック処理を説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６０】
ステップＳ４０１で、基準物体のアウトラインデータが、一時保存中の被写体アウトラインデータと一致するかを確認する。
【００６１】
アウトラインデータが一致する場合は、基準物体のアウトラインをユーザに調整してもらうために、アウトライン調整画面（２１２）を表示する。この後の処理はステップＳ３０７と同等であるが、ここでは必ず基準物体を異なる物体に設定する必要があるため、ボタンはＯＫボタン（２１４）のみ選択可能とする。調整が完了し、ステップＳ４０３でＯＫボタンが押下されたことを確認し、処理を終了する。
【００６２】
次に、図４Ｆを用いて、ステップＳ１１７の合成撮影処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６３】
ステップＳ５０１で合成確認画面（２１６）を表示する。この画面では、登録されているベース写真（２１６）に対して、撮影した被写体のアウトライン（２１７）が基準物体の位置に表示される。ベース写真が複数ある場合は、最新のタイムスタンプのものを合成用に使用する。また、アウトラインはステップＳ１１８によってベース写真と縮尺が合っているものが表示される。
【００６４】
ステップＳ５０２で、合成確認画面にてタイムアウト時間経過もしくは決定ボタン（２１８）が押下された場合は、ステップＳ５０３色調補正処理を実行する。
【００６５】
ステップＳ５０２にて、調整ボタン（２１９）が押下された場合は、ステップＳ５０４のベース写真決定処理と、ステップＳ５０５のアウトライン位置決定処理を実行する。ベース写真決定処理については図４Ｇ、アウトライン位置決定処理については図４Ｈにて記載する。
【００６６】
ここまでで、背景となるベース写真とその中に配置される合成対象写真の位置が決定するため、ステップＳ５０３の色調補正処理と、ステップＳ５０６の写真合成処理を実行する。合成処理が完了すると、ステップＳ５０７にて写真種別（６１４）に「合成後写真」を設定することで、合成処理を実行した写真であることを示す。また、ステップＳ５０８で合成写真に用いたベース写真の情報と被写体写真情報（６１５〜６１７）を保存する。
【００６７】
ステップＳ５０９で合成処理後の写真のプレビュー画面（２２０）を表示し、合成写真の仕上がり状態をユーザに提示する。プレビュー写真は一定時間表示させる（ステップＳ５１０）。すなわち、一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に合成元画像を、合成先となる合成先画像と合成表示する処理である。
【００６８】
図４Ｇ、図４Ｈのフローチャートを用いて、ステップＳ５０４にて実行されるベース写真決定処理と、ステップＳ５０５にて実行されるアウトライン位置決定処理について説明する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００６９】
ステップＳ６０１にて、登録済みのベース写真一覧（３００）を表示する。ただし、ここでユーザは写真を１枚のみ指定可能である。ステップＳ６０２にて、ユーザによるベース画面選択完了通知を受信すると、ステップＳ６０３にて選択されたベース写真を用いた合成確認画面（２１６）を表示させる。
【００７０】
図４Ｈのベース写真決定処理が完了すると、ステップＳ７０１のアウトライン調整画面（２１２）を表示し、アウトライン位置を調整する。ここでは、既にアウトラインの縮尺は決定しているため位置の調整のみ可能とする。ステップＳ７０２にてアウトライン位置調整完了を受信すると、ステップＳ７０３で対象物体のアウトライン情報を、データテーブル（６０３）に保存する。
【００７１】
ここまでが、撮影時に合成処理を行う図４の配置モード写真撮影処理の説明である。
【００７２】
次に、図５（図５Ａ〜図５Ｅ）のフローチャートを用いて、本実施形態の配置モード合成処理について説明する。「配置モード合成処理」は、図４で説明した配置モード撮影で保存された複数の写真を、最大４枚まで合成し、複数の物体の配置状態を一度に確認できるように構成されている。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００７３】
ステップＳ８０１で、写真再生開始時に再生モードを選択する画面を表示する。
【００７４】
ステップＳ８０２にて、配置モード（合成）の選択を受信すると、ステップＳ８０３で、合成対象となる写真データが存在するかを確認するための、合成対象写真検索処理を実行する。合成対象写真検索処理については、図５Ｃにて説明する。
【００７５】
ステップＳ８０４で、合成対象写真総数（６００）を確認し、２枚以上存在すればステップＳ８０５の合成対象選択画面（３００）を表示する。合成対象写真総数が１枚以下の場合は合成処理が実行できないため、配置モード（合成）は終了する。
【００７６】
ステップＳ８０６にて、合成対象写真選択処理を実行する。これはユーザに最大４枚まで合成対象写真を選択させるための処理で、図５Ｄにて詳細を説明する。
【００７７】
合成対象写真選択処理が成功（ステップＳ８０７）すると、ステップＳ８０８で対象写真データのアウトラインに不整合が無いか確認する。この対象写真アウトラインデータ不整合チェック処理については、図５Ｅにて記載する。
【００７８】
ステップＳ８０９で、不整合チェック結果を判定し、チェック結果ＮＧであれば、配置モード（合成）は終了する。不整合チェック結果がＯＫであれば、図５Ｂのフローチャートへ処理を移し、ステップＳ８１０のループ処理を実行する。ループ処理では、まず、選択された複数の写真の中で写真番号が若いものから順に、ステップＳ８１１〜Ｓ８１４を選択写真数分繰り返し実行する。
【００７９】
ステップＳ８１１では、合成対象物体の縮尺を算出処理（配置モード撮影でのステップＳ１１８と同様）を実行する。続いて、ステップＳ８１２で合成位置決定画面（３０６）を表示する。
【００８０】
ステップＳ８１３のアウトライン調整処理と、その調整結果の判定（ステップＳ８１４）については、前述の配置モード撮影でのステップＳ１０８、ステップＳ１０９と同様であるため説明を省略する。
【００８１】
選択された合成対象写真全てのアウトライン位置が決定すると、ステップＳ８１５〜ステップＳ８１９で、色調補正と合成処理、各種情報の保存処理を実行する。これは、前述の配置モード撮影でのステップＳ５０３〜Ｓ５０８と同様の処理フローであるため説明を省略する。
【００８２】
ステップＳ８１９にて表示される合成写真プレビュー画面（３０９）は、配置モード撮影での合成写真プレビュー（２２０）と異なり、タイムアウト時間を設けず、ユーザによるＯＫボタン（３１０）押下を受信して、ステップＳ８２１の合成写真保存処理を実行する。また、ステップＳ８２０にてキャンセルボタン（３１１）が押下された場合は、ステップＳ８１０のアウトライン調整処理に戻り、再度合成処理を実行する。
【００８３】
図５Ｃを用いて、合成対象写真一覧を表示するための合成対象写真検索処理を説明する。合成対象写真検索処理は、保存されている全ての写真画像から、配置モードで撮影された写真の枚数をカウントする処理である。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００８４】
ステップＳ９０１にて、メモリカード（１１５）に保存されている全写真画像枚数までのループ処理を開始する。ステップＳ９０２にて写真番号順に写真種別情報（６１１）を確認し、「ベース写真」または「合成対象写真」が設定されている場合は、ステップＳ９０３の合成対象写真総数（６００）を加算する。ステップＳ９０４では、一覧画面の元データを構成するために、写真番号情報（６１２）をデータテーブルから取得し、一時保存する。
【００８５】
図５Ｄを用いて、ユーザによる合成対象写真の選択の処理を説明する。ここでは、ユーザからの写真選択の受信と、選択された写真で合成処理が可能かのチェックを実行する。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００８６】
ステップＳ１００１にて、写真の選択を最大４回まで受信するループを開始する。
【００８７】
まず、ステップＳ１００２にて対象写真一覧から１枚の写真をユーザが選択したことを受信する。ユーザが写真を選択すると、画面上の写真サムネイル左上にチェックマーク（３０１）が表示される。
【００８８】
ステップＳ１００３にて、選択された写真に基準物体アウトラインデータが含まれているかをチェックし、含まれていない場合はエラー終了する。基準物体データが無ければ合成対象物体の縮小率を算出出来ないためである。
【００８９】
基準物体アウトラインデータが含まれていることが確認出来たら、ステップＳ１００４にて、合成対象写真数（６１３）を加算する。合成対象写真数の最大数は４で、合成に用いられる写真数を示している。
【００９０】
ステップＳ１００５でＯＫボタンの押下を受信した場合は、ユーザが４枚未満の写真データを合成対象として選択したことを意味しており、ここでループを抜けて次のチェック処理へ進む。ＯＫボタンの押下を受信していない場合は、４回までループ処理を繰り返す。
【００９１】
ステップＳ１００６にて、ベース写真の有無を確認し、選択された写真の中にベース写真が無い、あるいは複数枚ある場合は、ステップＳ１００７にてベース写真選択要求をユーザに通知する。ユーザによるベース写真選択完了をステップＳ１００８で受信し、ステップＳ１００９で、選択された写真の写真種別を、一時的に「ベース写真」、それ以外の写真を「合成対象写真」とする。
【００９２】
図５Ｅを用いて、対象写真のアウトラインデータ不整合チェック処理について説明する。これは、合成対象写真の縮尺を決定するためにベース写真の基準物体と合成対象写真の基準物体のサイズ比率をチェックする処理である。なお、以下で説明する各ステップは、コントローラ１１０（ＣＰＵ等の演算処理部）が処理を実行する。
【００９３】
ステップＳ２００１にて、合成対象写真数−１回のループ処理を開始する。合成対象写真は最大４枚のため、このループ処理回数は最大３回である。
【００９４】
ステップＳ２００２で、ベース写真の基準物体と、合成対象写真の基準物体の縦横比をを比較する。縦横比が異なっている場合は、基準物体が異なるとみなし、データ不整合としてエラー終了する。縦横比が同じ場合は、基準物体が同一とみなし、次の合成対象写真のチェックを行う。すなわち、合成先となる画像からステップＳ１０７、ステップＳ１０８で決定した基準対象物と一致する基準対象物を判定する処理である。
【００９５】
次に、図６を用いて本実施形態で用いるデータについて説明する。図６は本実施形態で用いるデータテーブルのイメージ図である。
【００９６】
図６に示すように、合成処理に必要なデータは、大きく分類すると処理用データと写真データの２種類となる。前者の処理用データは、合成処理が可能な写真の総数を示す合成対象写真総数６００と、写真種別がベース写真の写真総数を示す登録済みベース写真数６０１がから構成される。
【００９７】
合成対象写真データ（６０２〜６１２）は、合成処理が可能な写真が持つべきデータで、アウトラインデータ、色調情報（６０４〜６０７）、サイズ情報（６０８〜６１０）、写真種別６１１、写真番号６１２から構成される。
【００９８】
また、合成後写真データ（６１３〜６１６）は、合成処理実行後に保存される合成写真に関連するデータで、合成対象写真数６１３、写真種別６１４、合成元写真情報（６１５，６１６）から構成される。
【００９９】
色調情報、サイズ情報、写真番号については従来のデジタルカメラ撮影においても保存される写真データであり、合成時の色調補正や合成対象の縮尺算出に使用される。
【０１００】
写真種別（６１１，６１４）は、配置合成モードで撮影した写真にのみ付与される識別用データで、撮影開始時に選択された撮影目的が「ベース写真の撮影」の場合は種別に「１：ベース写真」を、「合成対象物の撮影」の場合は「２：合成対象写真」を設定する。また、合成処理が実行された合成写真の場合は、「３：合成後写真」を設定する。
【０１０１】
基準物体アウトラインデータ６０２と対象物体アウトラインデータ６０３は、配置モード撮影時に自動検出とユーザによる調整によって保存されたアウトラインデータで、このデータを使用して合成時の被写体の縮尺の決定や合成位置の調整を行う。
【０１０２】
６０４〜６０７の色調に関するデータと、６０８〜６１０のサイズ情報は従来のデジタルカメラ撮影においても保存されるデータと同等で、色調データは合成時の色調補正に、サイズ情報は合成対象の縮尺の算出に使用される。
【０１０３】
なお、本実施形態で説明した画像の合成は、撮影後の画像を合成するものとして説明したが、合成対象物の撮影時に、撮影ボタン１２３を半押しすることでフォーカスを固定する指示があった場合に行うように構成してもよい。
【０１０４】
例えば、ベース画像から決定された被写体の画像（合成画像）、つまり、ステップＳ１０８で確定されたアウトラインの画像をディスプレイ１１７に表示する。この時、ステップＳ１１３で決定したアウトラインの画像（基準物体の画像）と同じ画像をフォーカスした映像に対する画像から検知し、基準物体の画像の縮尺比に応じて合成画像を拡大又は縮小して、基準物体の画像の位置に表示する。なお、基準物体の位置に表示する際には基準物体の横、又は上など指定できるように構成されている。
【０１０５】
また、フォーカスした映像に対する画像から基準物体の画像を検知する方法としては、画像マッチングの技術を用いて特定してもよいし、ユーザがディスプレイ１１７で基準物体を指定（タッチパネルでアウトラインを指定するなど）することでも実現可能である。
【０１０６】
そして、撮影ボタン１２３が完全に押下されたことを検知すると、撮影された画像に拡大又は縮小された合成画像が合成された画像が生成される。
【０１０７】
上述のように半押し状態で合成画像を表示させることで、撮影時に配置などを確認でき、容易に合成画像を得ることができる。
【０１０８】
上述によれば、画像を記憶する記憶手段を備える撮影装置は、記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段とを備える。
【０１０９】
また、前記判定手段は、ユーザによる撮影操作によって得られる画像を合成先となる画像として、前記決定手段で決定した基準対象物と一致する基準対象物を判定する。
【０１１０】
また、前記判定手段は、前記決定手段で決定した基準対象物と縦横比の一致によって判定し、前記合成表示手段は、前記判定手段で縦横比が一致した箇所の位置を基準として前記合成先画像に前記合成元画像を配置して表示する。
【０１１１】
更に、前記撮影装置は、画像を合成するための合成撮影モードを備え、前記合成撮影モードの場合に、前記合成元画像と前記基準対象物の画像を決定するための画像と、前記合成先画像を撮影する撮影手段と、前記合成表示手段は、前記撮影手段で撮影した画像を用いて合成表示する。
【０１１２】
以上説明したように、本実施形態によれば撮影装置での簡単な操作で、異なる場所にある２つの対象物の配置イメージを作成できる。
【０１１３】
そのほか、ＰＣのない外出先でも配置位置と配置物体の配置状態が確認可能となるため、家具の配置やオフィスのレイアウトなどに活用できる。また、本発明の仕組を用いて撮影された写真であれば、別のカメラで撮影された写真も合成可能であるため、さまざまな物体の配置状態を確認することが可能となる。
【０１１４】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１１５】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１６】
また、本発明におけるプログラムは、図４、図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４、図５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図４、図５の各装置の処理方法ごとのプログラムであってもよい。
【０１１７】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１１８】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【０１１９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【０１２０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２３】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２４】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１２５】
１００ 撮像装置
１０１ 光学系（レンズ）
１０２ 撮像素子（ＣＣＤ）
１０３ カメラ信号処理部
１０４ 画像処理部
１１５ 記録媒体
１２７ レンズ制御部
１１０ システムコントローラ
１２０ 操作部
【特許請求の範囲】
【請求項１】
画像を記憶する記憶手段を備える撮像装置であって、
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、
前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、
前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記判定手段は、ユーザによる撮影操作によって得られる画像を合成先となる画像として、前記決定手段で決定した基準対象物と一致する基準対象物を判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記決定手段で決定した基準対象物と縦横比の一致によって判定し、
前記合成表示手段は、前記判定手段で縦横比が一致した箇所の位置を基準として前記合成先画像に前記合成元画像を配置して表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、画像を合成するための合成撮影モードを備え、
前記合成撮影モードの場合に、前記合成元画像と前記基準対象物の画像を決定するための画像と、前記合成先画像を撮像する撮像手段と、
前記合成表示手段は、前記撮像手段で撮像した画像を用いて合成表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
画像を記憶する記憶手段を備える撮像装置の制御方法であって、
前記撮像装置が、
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定ステップと、
前記合成先となる画像から前記決定ステップで決定した基準対象物と一致する基準対象物を判定する判定ステップと、
前記判定ステップで、前記決定ステップで決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示ステップと
を実行することを特徴とする制御方法。
【請求項６】
画像を記憶する記憶手段を備える撮像装置で実行可能なプログラムであって、
前記撮像装置を
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、
前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、
前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段と
して機能させることを特徴とするプログラム。
【請求項１】
画像を記憶する記憶手段を備える撮像装置であって、
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、
前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、
前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記判定手段は、ユーザによる撮影操作によって得られる画像を合成先となる画像として、前記決定手段で決定した基準対象物と一致する基準対象物を判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記決定手段で決定した基準対象物と縦横比の一致によって判定し、
前記合成表示手段は、前記判定手段で縦横比が一致した箇所の位置を基準として前記合成先画像に前記合成元画像を配置して表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、画像を合成するための合成撮影モードを備え、
前記合成撮影モードの場合に、前記合成元画像と前記基準対象物の画像を決定するための画像と、前記合成先画像を撮像する撮像手段と、
前記合成表示手段は、前記撮像手段で撮像した画像を用いて合成表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
画像を記憶する記憶手段を備える撮像装置の制御方法であって、
前記撮像装置が、
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定ステップと、
前記合成先となる画像から前記決定ステップで決定した基準対象物と一致する基準対象物を判定する判定ステップと、
前記判定ステップで、前記決定ステップで決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示ステップと
を実行することを特徴とする制御方法。
【請求項６】
画像を記憶する記憶手段を備える撮像装置で実行可能なプログラムであって、
前記撮像装置を
記憶手段から取得した画像から合成するための合成元画像と、当該合成元画像を合成する際に基準となる基準対象物の画像を決定する決定手段と、
前記合成先となる画像から前記決定手段で決定した基準対象物と一致する基準対象物を判定する判定手段と、
前記判定手段で、前記決定手段で決定した基準対象物と一致する基準対象物があると判定される場合に、一致する基準対象物に対応する位置に前記合成元画像を、合成先となる合成先画像と合成表示する合成表示手段と
して機能させることを特徴とするプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図４Ｇ】
【図４Ｈ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図４Ｇ】
【図４Ｈ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【公開番号】特開２０１３−１０２３５１（Ｐ２０１３−１０２３５１Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４７５３（Ｐ２０１１−２４４７５３）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
[ Back to top ]