電子カメラ、画像表示装置、プログラム及び記録媒体
【課題】 本発明は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供する。
【解決手段】 電子カメラは、撮像部と、認識部と、選択部と、第１算出部と、第２算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第１画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第１算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第２算出部は、第１算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【解決手段】 電子カメラは、撮像部と、認識部と、選択部と、第１算出部と、第２算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第１画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第１算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第２算出部は、第１算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラ、画像表示装置、プログラム及びそのプログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来、主要被写体の複数の部位における３次元位置を測定する３次元入力装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１７１２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の３次元入力装置は、主要被写体に向かって参照光を投射する投光系と、互いに離れた第１及び第２の位置で同時に物体からの反射光を取り込む複数の撮影光学系とを備える。そして、上記の３次元入力装置は、複数の撮影光学系からの反射光を撮像し、得られた画像信号に基づいて３角測量の原理で複数の部位の３次元位置を測定する。これにより、上記の３次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。
【０００５】
ところで、電子カメラを用いてサイズ情報を取得しようとした場合、上記の３次元入力装置の測定手段を用いるのでは、電子カメラの装置が大型化すると共に装置の構成が複雑化してしまうという問題が生じる。
【０００６】
そこで、本発明は、上記事情に鑑み、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様の電子カメラは、撮像部と、認識部と、選択部と、第１算出部と、第２算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第１画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第１算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第２算出部は、第１算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【０００８】
本発明の一態様の画像表示装置は、画像受付部と、画像選択部と、画像合成部と、画像表示制御部とを備える。画像受付部は、請求項１から請求項４の何れか１項に記載の電子カメラで撮影された異なる複数の第２画像の入力を受け付ける。画像選択部は、主要被写体を含む第２画像と、主要被写体を重ねて表示する合成用の第２画像とを選択する。画像合成部は、サイズ情報に基づいて、主要被写体の領域を合成用の第２画像に合成する。画像表示制御部は、画像合成部が合成した後の第３画像を表示装置に表示させる。
【０００９】
本発明の一態様のプログラムは、撮像処理と、認識処理と、選択処理と、第１算出処理と、第２算出処理と、記録処理とをコンピュータに実行させることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第１画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第１算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第２算出処理は、第１算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【００１０】
本発明の一態様の記録媒体は、撮像処理と、認識処理と、選択処理と、第１算出処理と、第２算出処理と、記録処理とをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体であることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第１画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第１算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第２算出処理は、第１算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【発明の効果】
【００１１】
本発明は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供できる。
【図面の簡単な説明】
【００１２】
【図１】電子カメラ１の構成例を示すブロック図
【図２】図１に示す電子カメラ１の背面図
【図３】電子カメラ１の動作の一例を示すフローチャート
【図４】各測距点の測距処理のサブルーチンを示すフローチャート
【図５】測距点の設定処理及び選択処理を説明する図
【図６】測距処理を説明する図
【図７】本画像の画像ファイルの構成を説明する図
【図８】第２実施形態の電子カメラ２の構成例を示すブロック図
【図９】電子カメラ２の動作の一例を示すフローチャート
【図１０】注目被写体の認識処理、測距点の設定処理及び選択処理を説明する図
【図１１】ステップＳ３０５からステップＳ３０８までの処理の概念図
【図１２】サイズ比の算出処理の一例を説明する図
【図１３】主要被写体の重畳表示の一例を説明する図
【図１４】実際の実用例を説明する図
【図１５】画像表示装置５０の構成例を示すブロック図
【図１６】画像表示装置５０の動作の一例を示すフローチャート
【図１７】本画像と合成後の本画像の一例を示す図
【図１８】コンピュータ６０の構成例を説明するブロック図
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、電子カメラ１の構成例を示すブロック図である。ここで、本発明の電子カメラ１は、主要被写体の大きさを示すサイズ情報を取得する「サイズ情報の取得モード」を有している。サイズ情報の取得モードでは、電子カメラ１の絶対位置座標として例えば撮影光学系における合焦位置を原点とした場合、主要被写体の各測定点から得られる絶対位置座標に基づいて、サイズ情報を取得するモードである（詳細は後述する）。
【００１４】
電子カメラ１は、撮影光学系１０と、レンズ駆動部１１と、撮像素子１２と、信号処理部１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、画像処理部１５と、フラッシュメモリ１６と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）１７と、表示インターフェース部（以下「表示Ｉ／Ｆ部」という）１８と、表示モニタ１９と、レリーズ釦２０と、操作部２１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、データバス２３とを備える。
【００１５】
このうち、信号処理部１３、ＲＡＭ１４、画像処理部１５、フラッシュメモリ１６、記録Ｉ／Ｆ部１７、表示Ｉ／Ｆ部１８及びＣＰＵ２２は、データバス２３を介して互いに接続されている。また、レンズ駆動部１１、信号処理部１３、レリーズ釦２０及び操作部２１は、ＣＰＵ２２に接続されている。
【００１６】
撮影光学系１０は、焦点距離を調整するズームレンズと、撮像素子１２の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部１１は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２２の指示に応じて光軸（図中Ｌ）方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。
【００１７】
撮像素子１２は、撮影光学系１０を通過した被写体の像を撮像し、アナログの画像信号を取得する。そして、撮像素子１２が出力するアナログの画像信号は、信号処理部１３に入力される。なお、撮像素子１２の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１２の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。
【００１８】
ここで、撮像素子１２は、後述のレリーズ釦２０の全押し操作に応答して記録用画像（以下「本画像」という）を撮像する。また、撮像素子１２は、撮影待機時において、記録媒体３０に記録する本画像に比べて画像の解像度が低いスルー画像を所定間隔ごとに連続的に撮像する。
【００１９】
なお、撮像素子１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサである。
【００２０】
信号処理部１３は、撮像素子１２が出力するアナログの画像信号をデジタル信号（画像データ）に変換しデータバス２３に出力する。
【００２１】
ＲＡＭ１４は、揮発性のメモリであり、信号処理部１３が出力する画像データは、データバス２３を介して画像データとしてＲＡＭ１４に一時記録される。画像処理部１５は、ＲＡＭ１４に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。また、画像処理部１５は、画像信号を解析して、画素ごとの輝度を検出する。具体的には、画像処理部１５は、ＲＧＢ信号の画像データを輝度信号（Ｙ信号）と、色差信号（Ｃｒ、Ｃｂ信号）の画像データに変換（ＹＣ変換）する。
【００２２】
フラッシュメモリ１６は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１６には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２２は、このプログラムに従い、一例として後述の図３、４に示すフローの処理を実行する。
【００２３】
記録Ｉ／Ｆ部１７には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１７は、そのコネクタに接続された記録媒体３０にアクセスして本画像の記録処理等を行なう。この記録媒体３０は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。
【００２４】
表示Ｉ／Ｆ部１８は、ＲＡＭ１４に一時記録された再生用の静止画像や電子カメラ１の操作メニューを示す画像等を表示モニタ１９に出力する。また、表示Ｉ／Ｆ部１８は、撮影待機時において、スルー画像を表示モニタ１９に出力する。例えば、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、３０フレーム毎秒（３０ｆｐｓ）でスルー画像を表示モニタ１９に出力させる。表示モニタ１９は、例えば液晶表示媒体により構成される。
【００２５】
レリーズ釦２０は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（本画像を取得するための撮像動作開始）との指示入力とを受け付ける。操作部２１は、撮影者の操作を受け付ける複数の釦を有しており、電子カメラ１を操作するための指示入力を受け付ける。
【００２６】
図２は、図１に示す電子カメラ１の背面図である。図１に示す操作部２１は、図２に示す通り、広角ズーム釦２１ａと、望遠ズーム釦２１ｂと、モード選択釦２１ｃと、メニュー釦２１ｄと、選択・決定釦２１ｅと、電源釦２４とを含む。
【００２７】
広角ズーム釦２１ａは、焦点距離を広角側に変更し、望遠ズーム釦２１ｂは、焦点距離を望遠側に変更する。モード選択釦２１ｃは、撮影モード若しくは再生モードに切り替える操作をユーザから受け付ける。メニュー釦２１ｄは、メニュー画面を立ち上げるための操作をユーザから受け付ける。選択・決定釦２１ｅは、電子カメラ１の操作メニューにおける設定条件等の項目選択又は項目決定をユーザから受け付ける。ここで、選択・決定釦２１ｅは、決定釦２１ｆとダイヤル２１ｇとを有する。ダイヤル２１ｇの全体形状は、環状であって、ダイヤル２１ｇの内周側には決定釦２１ｆが配置されている。そして、ダイヤル２１ｇは、例えばメニュー画面等での項目選択の入力をユーザから受け付ける。また、決定釦２１ｆは、メニュー画面等での項目決定の入力をユーザから受け付ける。例えば、サイズ情報の取得モードでは、サイズ情報の取得開始の操作が決定釦２１ｆに割り当てられている。また、レリーズ釦２０と電源釦２４とは、図２に示す通り、電子カメラ１の筐体の上面に備えられている。
【００２８】
なお、表示モニタ１９の表示画面上には、透明のタッチパネル（不図示）が配置されているものとする。これにより、タッチパネルは、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネルは、検出した位置情報をＣＰＵ２２に出力することで撮影者からの操作を受け付ける。
【００２９】
再び、図１の説明に戻り、ＣＰＵ２２は、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２２は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。ＣＰＵ２２は、認識部２２ａと、選択部２２ｂと、第１算出部２２ｃと、第２算出部２２ｄと、記録処理部２２ｅとしても機能する。
【００３０】
認識部２２ａは、画像から主要被写体を認識する。例えば、認識部２２ａは、スルー画像を解析して人物の顔を抽出し、その顔の人物を主要被写体として認識する。具体的には、認識部２２ａは、画像処理部１５が検出した画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。また、認識部２２ａは、顔を検出した場合、さらに顔の特徴部位を検出しても良い。すなわち、認識部２２ａは、一例として、特開２００１−１６５７３号公報に記載された特徴点抽出処理によって、目、鼻、耳、唇等の顔の特徴部位を画像から検出する。これにより、認識部２２ａは、人物の顔の領域を容易に認識できる。
【００３１】
さらに、認識部２２ａは、スルー画像を解析して、主要被写体の輪郭を抽出する。具体的には、認識部２２ａは、一例として、特開２００９−００９２０６号公報に記載された輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。
【００３２】
また、認識部２２ａは、表示モニタ１９の表示画面上のタッチパネルを介して、撮影者により指定された領域を主要被写体として認識しても良い。これにより、認識部２２ａは、撮影者が指定した領域を主要被写体とすることができる。
【００３３】
或いは、認識部２２ａは、画像の画像データを量子化することにより主要被写体と背景とを分離し、その主要被写体を認識しても良い。具体的には、認識部２２ａは、画像データを２値化するため、画像データの輝度に基づいて２値化の基準となる画素の明るさを選択する。そして、認識部２２ａは、その画素の明るさを基準にして、基準となる画素値よりも明るい画素値は白、基準以下の暗い画素値は黒とすることで、画像データを２値化する。これにより、認識部２２ａは、主要被写体を示す領域と背景を示す領域とが分離した画像を得ることができる。
【００３４】
選択部２２ｂは、主要被写体に応じた複数の測定点（以下「測距点」という）を選択する。具体的には、ＣＰＵ２２は、先ず、撮影画面内に複数の測距点を設定する。そして、選択部２２ｂは、主要被写体の輪郭を含む領域のうち測距点と重なる領域に対し、距離を算出する測距点として選択する（詳細は後述する）。
【００３５】
第１算出部２２ｃは、選択部２２ｂが選択した測距点ごとに、各々の測距点に対し距離を算出する。具体的には、先ず、ＣＰＵ２２は、一例として、主要被写体が撮影画面内の中央に存在する場合、その中央の測距点に対して、鮮鋭度（コントラスト状態）を示す評価値が最大値となる合焦位置を探索するコントラストＡＦの処理を行なう。これにより、ＣＰＵ２２は、合焦位置から撮影画面内の中央の測距点までの被写体距離を算出する。続いて、第１算出部２２ｃは、その被写体距離を利用して、選択部２２ｂが選択した測距点ごとに合焦位置から測距点までの距離を算出する。なお、本実施形態では、コントラストＡＦの処理によって算出される距離を被写体距離と言い、第１算出部２２ｃにより算出される合焦位置から各測距点までの距離を、単に距離と言う。
【００３６】
第２算出部２２ｄは、第１算出部２２ｃが算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。具体的には、第２算出部２２ｄは、各々の距離に基づいて、サイズ情報として実空間における絶対座標（Ｘ、Ｙ、Ｚ）を測距点ごとに算出する。また、第２算出部２２ｄは、サイズ情報として、２次元の撮影画面内での各測距点の座標（ｍ、ｎ）を算出する。なお、撮影画面内に設定される測距点が矩形状の場合、第２算出部２２ｄは、測距点の中心点を測距点の座標（ｍ、ｎ）として算出する。
【００３７】
記録処理部２２ｅは、撮像素子１２が生成する主要被写体を含む本画像とサイズ情報とを関連付けて記録媒体３０又はフラッシュメモリ１６に記録する。具体的には、記録処理部２２ｅは、一例として本画像の画像ファイルのヘッダ領域にサイズ情報を記録する。なお、本画像の画像ファイルは、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルフォーマットに準拠している。
【００３８】
また、ＣＰＵ２２は、主要被写体の動き検出処理を行なう。具体的には、ＣＰＵ２２は、現フレームと前フレームとのフレーム間差分により主要被写体の動きを検出し、画像内で主要被写体を追尾する。ＣＰＵ２２は、一例としてスルー画像を１６画素×１６画素のブロックに分割し、ブロックごとに各画素のフレーム間の差分信号が予め設定した差分信号用の閾値以上になる画素を算出することにより主要被写体の動きを検出する。なお、ＣＰＵ２２は、スルー画像を間引き読み出しすることによりフレーム間差分を行なっても良い。
【００３９】
次に、電子カメラ１の動作の一例を説明する。図３は、電子カメラ１の動作の一例を示すフローチャートである。このフローチャートは、サイズ情報の取得モード時に実行される。図４は、各測距点の測距処理のサブルーチンを示すフローチャートである。このサブルーチンは、図３のステップＳ１０３の処理において実行される。
【００４０】
以下の動作例では、電源オンの後、先ず、ＣＰＵ２２は、撮像素子１２を駆動させてスルー画像の撮像を開始する。そして、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、スルー画像を表示モニタ１９に出力させる。その後、操作部２１は、サイズ情報の取得モードの指示入力を受け付けると、ＣＰＵ２２は、図３に示すフローの処理を開始する。なお、以下のフローの処理では、説明をわかりやすくするため、人物の全体像の被写体を含む被写界を撮影することとする。
【００４１】
ステップＳ１０１：ＣＰＵ２２の認識部２２ａは、主要被写体の認識処理を行なう。具体的には、認識部２２ａは、スルー画像の画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。続いて、認識部２２ａは、前述した特徴点抽出処理によって、顔の特徴部位を画像から検出する。その結果、認識部２２ａは、その顔の人物を主要被写体として認識する。そして、ＣＰＵ２２は、ステップＳ１０２の処理に移行する。
【００４２】
ステップＳ１０２：認識部２２ａは、主要被写体の輪郭の抽出処理を行なう。具体的には、認識部２２ａは、前述の輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。そして、ＣＰＵ２２は、ステップＳ１０３の処理に移行する。
【００４３】
ステップＳ１０３：ＣＰＵ２２は、各測距点の測距処理を行なう。そのため、ＣＰＵ２２は、図４に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。
【００４４】
ステップＳ２０１：ＣＰＵ２２は、測距点の設定処理を行なう。具体的には、ＣＰＵ２２は、先ず、撮影画面内に複数の測距点を設定する。
【００４５】
図５は、測距点の設定処理及び選択処理を説明する図である。図５において、ＣＰＵ２２は、点線枠Ｓで示す複数の測距点を撮影画面内に設定する。そして、ＣＰＵ２２は、ステップＳ２０２の処理に移行する。なお、図５では、撮影画面をスルー画像に対応づけており、スルー画像の座標を（ｍ、ｎ）で表している。
【００４６】
ステップＳ２０２：ＣＰＵ２２の選択部２２ｂは、測距点の選択処理を行なう。具体的には、選択部２２ｂは、図５において、主要被写体（人物Ｐ）の輪郭を含む領域のうち測距点Ｓと重なる領域（図中、斜線で示した測距点）に対し、距離を算出する測距点として選択する。これにより、選択部２２ｂは、主要被写体（人物Ｐ）の領域内のうち測距点Ｓと重なる全ての領域を測距点として選択しなくても良い。そのため、本実施形態では、サイズ情報の算出処理の演算時間を効率化することができる。なお、図５では、説明の便宜上、代表的な５点を測距点としてさらにサンプリングしている。そして、ＣＰＵ２２は、ステップＳ２０３の処理に移行する。
【００４７】
ステップＳ２０３：ＣＰＵ２２は、オートフォーカス（ＡＦ）操作による測距処理を行なう。具体的には、ＣＰＵ２２は、コントラストＡＦの処理を行なう。
【００４８】
図６は、測距処理を説明する図である。図６（ａ）は、測距処理の概念図を示す。ＣＰＵ２２は、コントラストＡＦの処理により、レンズ駆動部１１を介して撮影光学系１０のフォーカスレンズの位置を制御する。この際、ＣＰＵ２２は、撮像素子１２が出力する画像信号から抽出したコントラスト情報と、フォーカスレンズ位置とを蓄積して、鮮鋭度（コントラスト状態）を示す評価値が最大値となる合焦位置を検出する。この測距処理により、ＣＰＵ２２は、レンズ駆動部１１が出力するフォーカスレンズの焦点距離、フォーカスレンズの合焦位置、被写体距離等の撮影情報を算出する。例えば、ＣＰＵ２２は、主要被写体が撮影画面内の中央に存在する場合、その撮影画面内の中央の測距点に対して、コントラストＡＦの処理を行ない、被写体距離を算出する。（図６（ａ）参照）。そして、ＣＰＵ２２は、ステップＳ２０４の処理に移行する。
【００４９】
ステップＳ２０４：ＣＰＵ２２の第１算出部２２ｃは、選択部２２ｂが選択した測距点ごとに距離を算出する。すなわち、第１算出部２２ｃは、例えば、図５に示す５つの測距点に対して、ステップＳ２０４の処理が繰り返されるごとに合焦位置から測距点までの距離を順次算出する。
【００５０】
ここで、図６（ｂ）では、電子カメラ１の筐体の上面図を表しており、光軸Ｌに対する方位角を規定している。また、図６（ｃ）では、電子カメラ１の筐体の側面図を表しており、光軸Ｌに対する仰角を規定している。つまり、第２算出部２２ｄは、被写体距離と、方位角と、仰角とに基づいて、合焦位置から特定の測距点までの距離を算出する。なお、本実施形態では、方位角と仰角とを測距用の画角として、撮影画面内の撮影画角と区別して用いる。そして、ＣＰＵ２２は、ステップＳ２０５の処理に移行する。
【００５１】
ステップＳ２０５：ＣＰＵ２２の第２算出部２２ｄは、主要被写体の大きさを示すサイズ情報を算出する。具体的には、第２算出部２２ｄは、第１算出部２２ｃが算出した各々の距離に応じてサイズ情報を算出する。そのため、第２算出部２２ｄは、距離と測距用の画角とに基づいて、絶対座標（Ｘ、Ｙ、Ｚ）を測距点ごとに算出する。
【００５２】
すなわち、第２算出部２２ｄは、ステップＳ２０４にて、既に当該算出対象の測距点の距離を算出している。したがって、第２算出部２２ｄは、その距離と、測距用の画角とに基づいて、合焦位置である原点（０、０、０）を基準として、当該算出対象の測距点の絶対座標（Ｘ、Ｙ、Ｚ）を算出する。また、第２算出部２２ｄは、撮影画面上での測距点の中心座標（ｍ、ｎ）を算出する。つまり、第２算出部２２ｄは、単一の撮影光学系１０を介して、測距点の距離を算出することで、その測距点のサイズ情報を算出することができる。そして、第２算出部２２ｄは、当該算出対象の測距点について、サイズ情報を算出すると、ＣＰＵ２２は、ステップＳ２０６の処理に移行する。
【００５３】
ステップＳ２０６：ＣＰＵ２２は、ＲＡＭ１４にサイズ情報を一時記録する。そして、ＣＰＵ２２は、ステップＳ２０７の処理に移行する。
【００５４】
ステップＳ２０７：ＣＰＵ２２は、選択部２２ｂが選択した全ての測距点について、サイズ情報を取得したか否かを判定する。全ての測距点についてサイズ情報を取得していない場合（ステップＳ２０７：Ｎｏ）、ＣＰＵ２２は、ステップＳ２０３の処理に戻る。一方、全ての測距点についてサイズ情報を取得した場合（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２２は、図４に示すフローの処理を終了し、図３に示すステップＳ１０４の処理に戻る。なお、図４に示すフローの処理において、第１算出部２２ｃは、スルー画像を解析することにより、各測距点までの距離を算出した。したがって、第２算出部２２ｄは、スルー画像を用いてサイズ情報を算出することができる。
【００５５】
ステップＳ１０４：ＣＰＵ２２は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合（ステップＳ１０４：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０６の処理に移行する。一方、全押し操作の指示入力が無かった場合（ステップＳ１０４：Ｎｏ）、ＣＰＵ２２は、ステップＳ１０５の処理に移行する。
【００５６】
ステップＳ１０５：ＣＰＵ２２は、主要被写体が移動したか否かを判定する。具体的には、ＣＰＵ２２は、サイズ情報の取得モードにおいて、フレーム間差分によりの主要被写体の移動状態を監視している。そして、ステップＳ１０３の測距処理が行なわれた後、主要被写体が移動した場合には（ステップＳ１０５：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０３の測距処理を再度行なうため、ステップＳ１０３の処理に戻る。一方、主要被写体が移動していない場合には（ステップＳ１０５：Ｎｏ）、サイズ情報に変更は生じないため、ＣＰＵ２２は、ステップＳ１０４の処理に戻り、全押し操作の指示入力の有無を判定する処理を繰り返す。
【００５７】
ステップＳ１０６：ＣＰＵ２２の記録処理部２２ｅは、本画像の記録処理を行なう。具体的には、先ず、ＣＰＵ２２は、撮影処理を行なう。すなわち、ＣＰＵ２２は、撮像素子１２を駆動する。信号処理部１３は、画像信号のゲイン調整やＡ／Ｄ変換等を行なう。この信号処理部１３が出力する画像信号は、ＲＡＭ１４に画像データとして一旦記録される。画像処理部１５は、ＲＡＭ１４に記録されている画像データを読み出し、各種の画像処理を施す。そして、記録処理部２２ｅは、各種の画像処理が施された後の本画像の画像データを有する画像ファイルを記録媒体３０に記録する。
【００５８】
図７は、本画像の画像ファイルの構成を説明する図である。図７（ａ）は、Ｅｘｉｆ形式の画像ファイルの構成を模式的に示した図である。図７（ｂ）は、サイズ情報を示す図であり、測距点ごとに画像上の座標（ｍ、ｎ）、絶対座標（Ｘ、Ｙ、Ｚ）の組み合わせからなる。なお、図中の内容の欄は、説明の便宜上記載している。図７（ｃ）は、本画像を示す。
【００５９】
ここで、画像ファイルは、ヘッダ領域と画像データ領域とを有する。カメラ情報（焦点距離等の撮影情報）は、タグデータとしてヘッダ領域に記録される。また、図７（ｃ）に示す本画像の画像データは、図７（ａ）に示す画像データ領域に記録される。
【００６０】
なお、ヘッダ領域には、メーカ独自のフォーマットでデータを記録できるメーカノートの領域がある。記録処理部２２ｅは、ＲＡＭ１４から一時記録されたサイズ情報を読み出して画像ファイルのメーカノートの領域に書き込む。また、記録処理部２２ｅは、ＲＡＭ１４から一時記録された本画像の画像データを読み出して画像ファイルの画像データ領域に書き込む。記録処理部２２ｅは、その画像ファイルを記録媒体３０に記録する。この記録処理により、画像ファイルでは、本画像の画像データとサイズ情報とを分けて管理することができる。そして、ＣＰＵ２２は、図４に示すフローの処理を終了させる。
【００６１】
以上より、第１実施形態の電子カメラ１は、複数の撮影光学系を必要とせず、単一の撮影光学系で容易にサイズ情報を取得できる。したがって、電子カメラ１は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。
（第２実施形態）
次に本発明の第２実施形態の電子カメラについて説明する。前述の通り、上記の３次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。ところで、従来、電子カメラで撮影した画像に対して、サイズ情報を利用してユーザの利便性を高める手段が提供されているとは言い難い。そこで、第２実施形態以降の実施の形態では、サイズ情報を利用してユーザの利便性を高める手段を提供する。
【００６２】
なお、本発明の第１実施形態と本発明の第２実施形態とでは、同じ要素については同じ符号を付して説明を省略する。
【００６３】
図８は、第２実施形態の電子カメラ２の構成例を示すブロック図である。ここで、電子カメラ２は、前述した「サイズ情報の取得モード」に加え、サイズ情報に基づいて本画像内の主要被写体を切り出してスルー画像に合成して重畳表示する「第１表示モード」を有する（詳細は後述する）。
【００６４】
図１に示す電子カメラ１と図８に示す電子カメラ２とでは、ＣＰＵ２２の内部構成が異なる。具体的には、電子カメラ２のＣＰＵ２２は、図８に示す通り、画像切出部２２ｆ、画像合成部２２ｇ及び画像表示制御部２２ｈの機能をさらに有する。
【００６５】
画像切出部２２ｆは、本画像を解析して主要被写体の領域を切り出す。具体的には、画像切出部２２ｆは、認識部２２ａが認識した主要被写体について、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。画像合成部２２ｇは、画像切出部２２ｆが切り出した主要被写体の領域を、本画像と異なる構図のスルー画像に合成する。一例として、画像合成部２２ｇは、主要被写体の領域の各画素値をスルー画像に重ねる領域の各画素値と置換することにより合成し、重畳表示用のスルー画像を生成する（詳細は後述する）。画像表示制御部２２ｈは、画像合成部２２ｇによる合成後の重畳表示用のスルー画像を表示モニタ１９に表示させる。
【００６６】
次に、第１表示モード時における電子カメラ２の動作の一例を説明する。
【００６７】
図９は、電子カメラ２の動作の一例を示すフローチャートである。以下の動作例において、先ず、操作部２１は、第１表示モードの指示入力を受け付けると、ＣＰＵ２２は、図９に示すフローの処理を開始する。なお、第２実施形態では、スルー画像内の主要被写体を注目被写体とすることで、本画像の主要被写体と区別することとする。また、第１実施形態で説明した図７に示す画像ファイルが記録媒体３０に記録されていることとする。
【００６８】
ステップＳ３０１：ＣＰＵ２２は、スルー画像の表示処理を行なう。具体的には、ＣＰＵ２２は、撮像素子１２を駆動させてスルー画像の撮像を開始する。そして、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、スルー画像を表示モニタ１９に出力させる。なお、以下のフローの処理では、説明をわかりやすくするため、ＣＰＵ２２は、一例として、樹木の全体像の注目被写体を含む被写界のスルー画像を表示モニタ１９に出力させる。
【００６９】
ステップＳ３０２：ＣＰＵ２２は、主要被写体の画像ファイルの読み出し処理を行なう。具体的には、ＣＰＵ２２は、記録媒体３０から図７に示す画像ファイルを読み出し、ＲＡＭ１４に一時記録する。そして、ＣＰＵ２２は、ステップＳ３０３の処理に移行する。
【００７０】
ステップＳ３０３：ＣＰＵ２２の認識部２２ａは、注目被写体の認識処理を行なう。具体的には、認識部２２ａは、先ず、顔検出処理を行なう。しかし、注目被写体は人物ではないため、認識部２２ａは、続いて、画像の画像データを量子化することにより注目被写体と背景とを分離し、その注目被写体を認識する。そして、ＣＰＵ２２は、ステップＳ３０４の処理に移行する。
【００７１】
図１０は、注目被写体の認識処理、測距点の設定処理及び選択処理を説明する図である。認識部２２ａは、図１０に示す樹木Ｔ１を注目被写体として認識する。
【００７２】
ステップＳ３０４：認識部２２ａは、注目被写体の輪郭の抽出処理を行なう。具体的には、認識部２２ａは、前述した輪郭抽出処理によって注目被写体の輪郭を抽出する。そして、ＣＰＵ２２は、ステップＳ３０５の処理に移行する。
【００７３】
ステップＳ３０５：ＣＰＵ２２は、各測距点の測距処理を行なう。そのため、ＣＰＵ２２は、図４に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。ここで、図１０に示す通り、ＣＰＵ２２は、点線枠Ｓで示す複数の測距点を撮影画面内に設定する（ステップＳ２０１）。さらに、ＣＰＵ２２の選択部２２ｂは、測距点の選択処理を行なう。具体的には、選択部２２ｂは、注目被写体（樹木Ｔ１）の輪郭を含む領域の座標データに基づいて、測距点Ｓと重なる領域に対し、距離を算出する測距点として選択する（ステップＳ２０２）。その後のサブルーチンのフローの処理（ステップＳ２０３〜ステップＳ２０７）は同様であるので、説明を省略する。この一連のサブルーチンのフローの処理により、注目被写体（樹木Ｔ１）のサイズ情報がＲＡＭ１４に一時記録される。
【００７４】
図１１は、ステップＳ３０５からステップＳ３０８までの処理の概念図である。測距処理は、図６に示す測距処理と同様であるが、ＣＰＵ２２は、各測距点の測距処理を行なった後、後述する通り、本画像から主要被写体を切り出し、サイズ比が合うようにスルー画像に合成して、表示モニタ１９に重畳表示させる。このサイズ比の算出は、ステップＳ３０６で行なわれる。
【００７５】
ステップＳ３０６：ＣＰＵ２２の画像合成部２２ｇは、画像を合成するために、サイズ比の算出処理を行なう。具体的には、画像合成部２２ｇは、ＲＡＭ１４に一時記録されている主要被写体のサイズ情報と注目被写体のサイズ情報とに基づいてサイズ比を算出する。
【００７６】
図１２は、サイズ比の算出処理の一例を説明する図である。図１２（ａ）は、主要被写体（人物Ｐ）のサイズ（高さ：Ｌ１）の算出例を示す図である。図１２（ｂ）は、注目被写体（樹木Ｔ１）のサイズ（高さ：Ｌ２）の算出例を示す図である。
【００７７】
画像合成部２２ｇは、先ず、主要被写体（人物Ｐ）の画像ファイルのヘッダ領域から各測距点（Ｓ１からＳ５の５点）の絶対座標のデータをＲＡＭ１４から読み出す。
【００７８】
図１２（ａ）では、説明の便宜上、各測距点を主要被写体（人物Ｐ）に重畳させて描いている。続いて、画像合成部２２ｇは、主要被写体（人物Ｐ）の高さＬ１を算出するため、計算に用いる測距点を選択する。さらに、画像合成部２２ｇは、測距点Ｓ１に対応する絶対座標と、測距点Ｓ３に対応する絶対座標とに基づいて、主要被写体（人物Ｐ）の高さＬ１を算出する。
【００７９】
また、画像合成部２２ｇは、ステップＳ３０５の各測距点の測距処理で取得された各測距点（Ｓ６からＳ９の４点）の絶対座標のデータ（サイズ情報）をＲＡＭ１４から読み出す。図１２（ｂ）では、説明の便宜上、各測距点を注目被写体（樹木Ｔ１）に重畳させて描いている。続いて、画像合成部２２ｇは、注目被写体（樹木Ｔ１）の高さＬ２を算出するため、計算に用いる測距点を選択する。さらに、画像合成部２２ｇは、測距点Ｓ６に対応する絶対座標と、測距点Ｓ８に対応する絶対座標とに基づいて、注目被写体（樹木Ｔ１）の高さＬ２を算出する。
【００８０】
次に、画像合成部２２ｇは、主要被写体（人物Ｐ）の高さＬ１と注目被写体（樹木Ｔ１）の高さＬ２とに基づいて、サイズ比（例えばＬ１／Ｌ２）を算出する。そして、ＣＰＵ２２は、ステップＳ３０７の処理に移行する。
【００８１】
ステップＳ３０７：ＣＰＵ２２の画像切出部２２ｆは、主要被写体の領域を切り出す。具体的には、画像切出部２２ｆは、ＲＡＭ１４に一時記録されている本画像から、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。そして、画像切出部２２ｆは、切り出した主要被写体の領域を新たな画像としてＲＡＭ１４に一時記録する。続いて、画像合成部２２ｇは、画像切出部２２ｆが切り出した主要被写体の領域をスルー画像に合成する。具体的には、画像合成部２２ｇは、主要被写体の領域をサイズ比に合わせて拡大又は縮小して合成前のスルー画像に合成する。ここで、画像合成部２２ｇは、スルー画像上での座標系（ｍ、ｎ）において、前述した算出手段と同様にしてスルー画像上での注目被写体の高さＬ３を算出する。これにより、画像合成部２２ｇは、サイズ比に基づいて、Ｌ３にサイズ比を乗算した高さＬ４を算出する。この高さＬ４が、スルー画像上で表示する主要被写体の高さになる。そこで、画像合成部２２ｇは、主要被写体の高さがＬ４になるように、切り出した主要被写体の画像を縮小して合成前のスルー画像に合成する。これにより、画像合成部２２ｇは、重畳表示用のスルー画像を生成する。
【００８２】
なお、画像合成部２２ｇは、主要被写体の領域を拡大させる場合には、例えばその領域の画素を補間する補間処理を行なう。また、主要被写体の領域を縮小させる場合には、例えばその領域の画素を間引く間引き処理を行なう。
【００８３】
ステップＳ３０８：ＣＰＵ２２の画像表示制御部２２ｈは、主要被写体の重畳表示を行なう。具体的には、画像表示制御部２２ｈは、画像合成部２２ｇによる合成後の重畳表示用のスルー画像を表示モニタ１９に表示させる。
【００８４】
図１３は、主要被写体の重畳表示の一例を説明する図である。図１３（ａ）は、合成前のスルー画像を表している。図１３（ｂ）は、合成後のスルー画像であって、主要被写体の重畳表示を表している。なお、図１３では、説明の便宜上、高さＬ３、Ｌ４を重畳させて描いているが、実際には表示されないこととする。
【００８５】
ステップＳ３０９：ＣＰＵ２２は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合（ステップＳ３０９：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ３１１の処理に移行する。一方、全押し操作の指示入力が無かった場合（ステップＳ３０９：Ｎｏ）、ＣＰＵ２２は、ステップＳ３１０の処理に移行する。
【００８６】
ステップＳ３１０：ＣＰＵ２２は、注目被写体が移動したか否かを判定する。注目被写体が移動した場合には（ステップＳ３１０：Ｙｅｓ）、ＣＰＵ２２は、測距処理を再度行なうため、ステップＳ３０５の処理に戻る。一方、被写体が移動していない場合には（ステップＳ３１０：Ｎｏ）、ＣＰＵ２２は、ステップＳ３０９の処理に戻り、全押し操作の指示入力の有無の判定を繰り返す。
【００８７】
ステップＳ３１１：ＣＰＵ２２の記録処理部２２ｅは、本画像の記録処理を行なう。具体的には、先ず、ＣＰＵ２２は、図３に示すステップＳ１０６で説明した処理と同様に、撮影処理を行なう。なお、この際、画像合成部２２ｇは、ＲＡＭ１４に一時記録されている画像処理後の本画像の画像データを読み出して、本画像の画像データの重畳表示させる領域の画素値とＲＡＭ１４に一時記録されている主要被写体の領域の画素値とを置換する。これにより、画像合成部２２ｇは、合成した本画像を生成する。そして、記録処理部２２ｅは、画像ファイルの画像データ領域に合成後の本画像の画像データを書き込む。また、記録処理部２２ｅは、画像ファイルのヘッダ領域にサイズ情報を記録する。そして、記録処理部２２ｅは、その画像ファイルを記録媒体３０に記録する。そして、ＣＰＵ２２は、図９に示すフローの処理を終了させる。
【００８８】
ここで、実際の実用例について説明する。図１４は、実際の実用例を説明する図である。図１４（ａ）は、実空間における部屋の中の一例を表している。ここで、一例として、ユーザが掛け時計を購入して部屋に掛けたい場合、時計店で展示されている実物の掛け時計の撮影をユーザが電子カメラ２で行なったとする。この場合、電子カメラ２は、サイズ情報の取得モードにより、記録画像として掛け時計（主要被写体）の画像とサイズ情報との画像ファイルを記録媒体３０に記録する。
【００８９】
ユーザが自宅の部屋に戻った後、電子カメラ２は、第１表示モードの指示入力を受け付けたとする。図１４（ｂ）は、第１表示モード下での表示モニタ１９に表示されているスルー画像を表している。電子カメラ２は、主要被写体（時計Ｗ１）をスルー画像に合成することにより、表示モニタ１９に重畳表示させる。なお、注目被写体は例えば、図１４（ｂ）のコンピュータ４１とする。
【００９０】
ここで、画像表示制御部２２ｈは、タッチパネル上でユーザの指Ｆ１の移動軌跡による入力信号を受け付ける。この場合、画像合成部２２ｇは、ユーザの指Ｆ１の移動軌跡に応じて、主要被写体（時計Ｗ１）をスルー画像に合成させることにより重畳表示させたスルー画像を順次生成する。画像表示制御部２２ｈは、重畳表示させたスルー画像を順次出力する、これにより、主要被写体（時計Ｗ１）は、スルー画像内でユーザの指Ｆ１の移動軌跡に応じた位置に移動されながら表示される。
【００９１】
図１４（ｃ）は、ユーザのタッチパネル操作後のスルー画像を表している。電子カメラ２は、実サイズの主要被写体（時計Ｗ１）をスルー画像上で表示することができる。
【００９２】
また、別の実用例としては、電子カメラ２で家具（主要被写体）を撮影して、部屋のスルー画像を表示しながら、家具（主要被写体）を重畳表示させることにより、ユーザは、サイズを含めた検討を行なうことができる。
【００９３】
以上より、第２実施形態の電子カメラ２では、スルー画像表示時に、既に撮影した主要被写体の画像を切り出して重畳表示させることができる。この際、電子カメラ２では、サイズ情報に基づいて、スルー画像上で主要被写体のサイズ比が合うように表示することができる。そのため、撮影者であるユーザにとっては、表示モニタ１９上で実サイズの主要被写体が表示されることにより直感的に見やすい画像となる。したがって、電子カメラ２は、サイズ情報を利用してユーザの利便性を高めることができる。なお、第２実施形態の電子カメラ２では、スルー画像に代えて、既に撮影した本画像に主要被写体の画像を切り出して重畳表示させても良い。
（第３実施形態）
次に本発明の第３実施形態の画像表示装置について説明する。第３実施形態の画像表示装置は、「第２表示モード」を有している。第２表示モードは、電子カメラ１において「サイズ情報の取得モード」で撮影された構図の異なる複数（例えば２枚）の本画像の入力を受け付けて、サイズ情報に基づいて画像を合成して重畳表示する（詳細は後述する）。
【００９４】
図１５は、画像表示装置５０の構成例を示すブロック図である。画像表示装置５０は、
ＲＡＭ５１と、フラッシュメモリ５２と、記録Ｉ／Ｆ部５３と、表示Ｉ／Ｆ部５４と、表示モニタ５５と、操作部５６と、ＣＰＵ５７と、データバス５８とを備える。このうち、ＲＡＭ５１、フラッシュメモリ５２、記録Ｉ／Ｆ部５３、表示Ｉ／Ｆ部５４、表示モニタ５５及びＣＰＵ５７は、データバス５８を介して互いに接続されている。
【００９５】
ＲＡＭ５１は、揮発性のメモリである。記録媒体３０に記録されている本画像のデータは、データバス５８を介してＲＡＭ５１に一時記録される。
【００９６】
フラッシュメモリ５２は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ５２には、画像表示装置５０の制御を行なうプログラム等が予め記録されている。ＣＰＵ５７は、このプログラムに従い、一例として後述の図１６に示すフローの処理を実行する。記録Ｉ／Ｆ部５３は、記録媒体３０を接続するためのコネクタ（不図示）が形成されている。表示Ｉ／Ｆ部５４は、ＲＡＭ５１に一時記録された本画像や画像表示装置５０の操作メニューを示す画像等を表示モニタ５５に出力する。表示モニタ５５は、例えば液晶表示媒体により構成される。
【００９７】
ＣＰＵ５７は、画像受付部５７ａと、画像選択部５７ｂと、サイズ比算出部５７ｃと、画像切出部５７ｄと、画像合成部５７ｅと、画像表示制御部５７ｆとしても機能する。画像受付部５７ａは、電子カメラ１で撮影された構図の異なる複数の本画像の入力を受け付ける。画像選択部５７ｂは、主要被写体を含む本画像と、主要被写体を重ねて表示する合成用の本画像とを選択する。例えば、本画像がサムネイル形式の画像として、表示モニタ５５に出力される。画像選択部５７ｂは、ユーザの選択入力に応じて、主要被写体を含む本画像と合成用の本画像とを選択する。
【００９８】
サイズ比算出部５７ｃは、主要被写体を含む本画像のサイズ情報と合成用の本画像のサイズ情報とに基づいて、サイズ比を算出する。画像切出部５７ｄは、主要被写体を含む本画像を解析してその主要被写体の領域を切り出す。画像合成部５７ｅは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像に合成する。具体的には、画像合成部５７ｅは、画像切出部５７ｄが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。画像表示制御部５７ｆは、画像合成部５７ｅが合成した後の本画像を表示モニタ５５に表示させる。
【００９９】
次に、画像表示装置５０の動作の一例を説明する。図１６は、画像表示装置５０の動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、操作部５６が第２表示モードの指示入力を受け付けると、ＣＰＵ５７は、図１６に示すフローの処理を開始する。
【０１００】
ステップＳ４０１：ＣＰＵ５７の画像受付部５７ａは、画像の入力の受付処理を行なう。具体的には、画像受付部５７ａは、記録媒体３０から本画像を読み出して、ＲＡＭ５１に一時記録する。そして、ＣＰＵ５７は、ステップＳ４０２の処理に移行する。
【０１０１】
図１７は、本画像と合成後の本画像の一例を示す図である。図１７（ａ）は、人物Ｐが電子カメラ１で撮影された本画像３１である。図１７（ｂ）は、樹木Ｔ１が電子カメラ１で撮影された本画像３２である。これらの本画像のヘッダ領域にはサイズ情報が格納されている。なお、図１７（ｃ）については後述する。
【０１０２】
ステップＳ４０２：ＣＰＵ５７の画像選択部５７ｂは、本画像の選択処理を行なう。具体的には、ＣＰＵ５７は、本画像３１及び本画像３２をサムネイル表示形式で表示モニタ５５に出力する。操作部５６は、ユーザの選択入力を受け付ける。この選択入力に応じて、画像選択部５７ｂは、例えば、主要被写体（人物Ｐ）を含む本画像３１と、主要被写体を重ねて表示する合成用の本画像３２とを選択する。そして、ＣＰＵ５７は、ステップＳ４０３の処理に移行する。
【０１０３】
ステップＳ４０３：ＣＰＵ５７のサイズ比算出部５７ｃは、サイズ比の算出処理を行なう。具体的には、サイズ比算出部５７ｃは、主要被写体を含む本画像３１のサイズ情報と合成用の本画像３２のサイズ情報とに基づいて、サイズ比を算出する。
そして、ＣＰＵ５７は、ステップＳ４０４の処理に移行する。
【０１０４】
ステップＳ４０４：ＣＰＵ５７の画像切出部５７ｄは、主要被写体の領域の切出し処理を行なう。具体的には、画像切出部５７ｄは、主要被写体を含む本画像３１を解析してその主要被写体の領域を切り出す。そして、ＣＰＵ５７は、ステップＳ４０５の処理に移行する。
【０１０５】
ステップＳ４０５：ＣＰＵ５７の画像合成部５７ｅは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像３２に合成する。具体的には、画像合成部５７ｅは、画像切出部５７ｄが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。これにより、画像合成部５７ｅは、図１７（ｃ）に示す合成後の本画像３３を生成する。そして、ＣＰＵ５７は、ステップＳ４０６の処理に移行する。
【０１０６】
ステップＳ４０６：ＣＰＵ５７の画像表示制御部５７ｆは、合成後の本画像３３を表示モニタ５５に表示させる。そして、ＣＰＵ５７は、図１６に示すフローの処理を終了する。なお、ＣＰＵ５７は、合成後の本画像３３を記録媒体３０に記録しても良い。
【０１０７】
以上より、第３実施形態の画像表示装置５０では、電子カメラ１で撮影された記録用の本画像を用いて、画像再生時に、既に撮影した主要被写体の画像を切り出して別の本画像に重畳表示させることができる。この際、画像表示装置５０では、サイズ情報に基づいて、再生画像上で主要被写体のサイズ比が合うように表示することができる。したがって、画像表示装置５０は、サイズ情報を利用してユーザの利便性を高めることができる。
（第４実施形態）
次に、本発明の第４実施形態のコンピュータについて説明する。第４実施形態では、記録媒体４０に記録されているプログラムをコンピュータにインストールして、上記のサイズ情報の取得モードと第１表示モードと同様の処理を実行する。
【０１０８】
図１８は、コンピュータ６０の構成例を説明するブロック図である。なお、図８に示す電子カメラ２のブロック図と同様の機能のブロックについては、説明を省略又は簡略化する。図１８に示す通り、コンピュータ６０は、例えば可搬性のコンピュータであって、カメラ部６１と、本体部６０ａとを有する。本体部６０ａは、通信インターフェース部（以下「通信Ｉ／Ｆ部」という）６２と、ＲＡＭ６３と、画像処理部６４と、フラッシュメモリ６５と、記録Ｉ／Ｆ部６６と、表示Ｉ／Ｆ部６７と、表示モニタ６８と、操作部６９と、ＣＰＵ７０と、データバス７１とを備える。
【０１０９】
カメラ部６１は、撮影光学系６１ａと、撮像部６１ｂと、レンズ駆動部６１ｃとを備える。通信Ｉ／Ｆ部６２は、カメラ部６１との通信インターフェースを提供する。これにより、撮像部６１ｂが出力する画像信号は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続により通信Ｉ／Ｆ部６２を介してＲＡＭ６３に記録される。画像処理部６４は、第１実施形態の電子カメラ１の画像処理部１５と同様の処理を行なう。フラッシュメモリ６５は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ６５は、ＣＰＵ７０の制御により記録媒体４０に記録されているプログラムを格納する。
【０１１０】
記録Ｉ／Ｆ部６６は、コネクタ（不図示）に接続された記録媒体３０や記録媒体４０にアクセスする。表示Ｉ／Ｆ部６７は、撮像部６１ｂが出力するスルー画像を、例えば、所定のフレームレートで表示モニタ６８に出力する。また、表示Ｉ／Ｆ部６７は、再生用の静止画像やコンピュータ６０の操作メニュー等を表示モニタ６８に出力する。なお、表示モニタ６８の表示画面上には、操作部６９の透明のタッチパネルが配置されているものとする。
【０１１１】
操作部６９は、表示モニタ６８の表面に配置された透明のタッチパネルである。操作部６９は、タッチパネル表面に接触した指先等の位置を検出して撮影者からの操作を受け付ける。また、操作部６９は、カメラ部６１のレリーズ釦の機能を有する。
【０１１２】
ＣＰＵ７０は、コンピュータ６０の制御を行なうプロセッサである。ＣＰＵ７０は、フラッシュメモリ６５に予め格納されたシーケンスプログラムを実行することにより、コンピュータ６０の各部の制御等を行なう。また、ＣＰＵ７０は、記録媒体４０からプログラムをフラッシュメモリ６５に格納することにより、認識部７０ａと、選択部７０ｂと、第１算出部７０ｃと、第２算出部７０ｄと、記録処理部７０ｅと、画像切出部７０ｆ、画像合成部７０ｇ及び画像表示制御部７０ｈの機能ブロックとしても機能する。なお、これらの機能ブロックは、第１実施形態及び第２実施形態で説明した、認識部２２ａと、選択部２２ｂと、第１算出部２２ｃと、第２算出部２２ｄと、記録処理部２２ｅと、画像切出部２２ｆ、画像合成部２２ｇと、画像表示制御部２２ｈと各々機能が同様であるので、ここでは、説明を省略する。
【０１１３】
また、上記プログラムを用いたコンピュータ６０の動作については、図３、図４及び図９で説明したフローの処理と同様であるので説明を省略する。
【０１１４】
以上、本実施形態のプログラムを組み込んだコンピュータ６０は、前述した電子カメラ１と同様にして、サイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。また、コンピュータ６０は、前述した電子カメラ２と同様にして、サイズ情報を利用してユーザの利便性を高めることができる。
（上記実施形態の補足事項）
（１）上記実施形態において、測距点の設定は、撮影画面上で特に限定されるのではなく、例えば、図５に示した例よりも細かく設定しても良い。一例として、主要被写体の輪郭線に沿って測距点を設定することにより、第１算出部２２ｃは、いわゆる３Ｄ（３次元）の画像を生成するための絶対座標のデータを算出しても良い。
【０１１５】
（２）上記実施形態において、選択部２２ｃは、輪郭を含む領域と重なる複数の領域の測距点のうちから、距離を算出する測距点を選択したが、例えば輪郭を含む領域と重なる全ての領域の測距点を選択しても良い。これにより、精度の高いサイズ情報が得られる。
【０１１６】
（３）上記実施形態において、画像合成部２２ｇは、主要被写体の領域をサイズ比に合わせて拡大又は縮小したが、ＣＰＵ２２は、主要被写体のサイズに合うように注目被写体を含むスルー画像のズーム倍率を変更しても良い。
【０１１７】
（４）上記実施形態において、画像合成部２２ｇは、注目被写体を含むスルー画像に主要被写体を合成したが、注目被写体と主要被写体とが重なる場合には、重なりを避けるように合成しても良い。また、画像合成部２２ｇは、注目被写体と主要被写体との絶対座標に応じて、例えば、主要被写体を注目被写体の手前に配置するようにしても良い。
【０１１８】
（５）上記実施形態において、ＣＰＵ２２は、コントラスト方式のＡＦの処理を行なったが、これは一例であって、例えば、位相差検出方式のＡＦの処理を行なっても良い。
【０１１９】
また、上記実施形態において、ＣＰＵ２２は、コントラスト方式のＡＦの処理により、被写体距離を算出し、その被写体距離を利用して測距点ごとに合焦位置から測距点までの距離を算出した。ここで、ＣＰＵ２２は、測距点ごとにコントラスト方式のＡＦの処理を行ない、距離を算出しても良い。
【０１２０】
（６）上記実施形態では、サイズ情報として、測距点ごとの画像上の座標（ｍ、ｎ）と絶対座標（Ｘ、Ｙ、Ｚ）との組み合わせとしたが、絶対座標（Ｘ、Ｙ、Ｚ）の代わりに、距離と測距用の画角のデータを採用しても良い。
【０１２１】
（７）上記実施形態において、コンピュータ６０は、第２実施形態の電子カメラ２の一部、例えば、ＣＰＵ２２、認識部２２ａ、選択部２２ｂ、第１算出部２２ｃ、第２算出部２２ｄ、記録処理部２２ｅ、画像切出部２２ｆ、画像合成部２２ｇ及び画像表示制御部２２ｈの機能をコンピュータで実現するようにしても良い。この場合、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【０１２２】
（８）なお、（７）でいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。さらに（７）でいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体（例えば記録媒体４０）、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに前述の「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでも良い。また上記のプログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせにより実現するものであっても良い。
【符号の説明】
【０１２３】
１、２・・・電子カメラ、１２・・・撮像素子、２２ａ・・・認識部、２２ｂ・・・選択部、２２ｃ・・・第１算出部、２２ｄ・・・第２算出部、２２ｅ・・・記録処理部、５０・・・画像表示装置、５７ａ・・・画像受付部、５７ｂ・・・画像選択部、５７ｅ・・・画像合成部、５７ｆ・・・画像表示制御部、６０・・・コンピュータ
【技術分野】
【０００１】
本発明は、電子カメラ、画像表示装置、プログラム及びそのプログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来、主要被写体の複数の部位における３次元位置を測定する３次元入力装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１７１２２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の３次元入力装置は、主要被写体に向かって参照光を投射する投光系と、互いに離れた第１及び第２の位置で同時に物体からの反射光を取り込む複数の撮影光学系とを備える。そして、上記の３次元入力装置は、複数の撮影光学系からの反射光を撮像し、得られた画像信号に基づいて３角測量の原理で複数の部位の３次元位置を測定する。これにより、上記の３次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。
【０００５】
ところで、電子カメラを用いてサイズ情報を取得しようとした場合、上記の３次元入力装置の測定手段を用いるのでは、電子カメラの装置が大型化すると共に装置の構成が複雑化してしまうという問題が生じる。
【０００６】
そこで、本発明は、上記事情に鑑み、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様の電子カメラは、撮像部と、認識部と、選択部と、第１算出部と、第２算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第１画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第１算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第２算出部は、第１算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【０００８】
本発明の一態様の画像表示装置は、画像受付部と、画像選択部と、画像合成部と、画像表示制御部とを備える。画像受付部は、請求項１から請求項４の何れか１項に記載の電子カメラで撮影された異なる複数の第２画像の入力を受け付ける。画像選択部は、主要被写体を含む第２画像と、主要被写体を重ねて表示する合成用の第２画像とを選択する。画像合成部は、サイズ情報に基づいて、主要被写体の領域を合成用の第２画像に合成する。画像表示制御部は、画像合成部が合成した後の第３画像を表示装置に表示させる。
【０００９】
本発明の一態様のプログラムは、撮像処理と、認識処理と、選択処理と、第１算出処理と、第２算出処理と、記録処理とをコンピュータに実行させることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第１画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第１算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第２算出処理は、第１算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【００１０】
本発明の一態様の記録媒体は、撮像処理と、認識処理と、選択処理と、第１算出処理と、第２算出処理と、記録処理とをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体であることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第１画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第１算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第２算出処理は、第１算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第２画像とサイズ情報とを関連付けてメモリに記録する。
【発明の効果】
【００１１】
本発明は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供できる。
【図面の簡単な説明】
【００１２】
【図１】電子カメラ１の構成例を示すブロック図
【図２】図１に示す電子カメラ１の背面図
【図３】電子カメラ１の動作の一例を示すフローチャート
【図４】各測距点の測距処理のサブルーチンを示すフローチャート
【図５】測距点の設定処理及び選択処理を説明する図
【図６】測距処理を説明する図
【図７】本画像の画像ファイルの構成を説明する図
【図８】第２実施形態の電子カメラ２の構成例を示すブロック図
【図９】電子カメラ２の動作の一例を示すフローチャート
【図１０】注目被写体の認識処理、測距点の設定処理及び選択処理を説明する図
【図１１】ステップＳ３０５からステップＳ３０８までの処理の概念図
【図１２】サイズ比の算出処理の一例を説明する図
【図１３】主要被写体の重畳表示の一例を説明する図
【図１４】実際の実用例を説明する図
【図１５】画像表示装置５０の構成例を示すブロック図
【図１６】画像表示装置５０の動作の一例を示すフローチャート
【図１７】本画像と合成後の本画像の一例を示す図
【図１８】コンピュータ６０の構成例を説明するブロック図
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、電子カメラ１の構成例を示すブロック図である。ここで、本発明の電子カメラ１は、主要被写体の大きさを示すサイズ情報を取得する「サイズ情報の取得モード」を有している。サイズ情報の取得モードでは、電子カメラ１の絶対位置座標として例えば撮影光学系における合焦位置を原点とした場合、主要被写体の各測定点から得られる絶対位置座標に基づいて、サイズ情報を取得するモードである（詳細は後述する）。
【００１４】
電子カメラ１は、撮影光学系１０と、レンズ駆動部１１と、撮像素子１２と、信号処理部１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、画像処理部１５と、フラッシュメモリ１６と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）１７と、表示インターフェース部（以下「表示Ｉ／Ｆ部」という）１８と、表示モニタ１９と、レリーズ釦２０と、操作部２１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、データバス２３とを備える。
【００１５】
このうち、信号処理部１３、ＲＡＭ１４、画像処理部１５、フラッシュメモリ１６、記録Ｉ／Ｆ部１７、表示Ｉ／Ｆ部１８及びＣＰＵ２２は、データバス２３を介して互いに接続されている。また、レンズ駆動部１１、信号処理部１３、レリーズ釦２０及び操作部２１は、ＣＰＵ２２に接続されている。
【００１６】
撮影光学系１０は、焦点距離を調整するズームレンズと、撮像素子１２の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部１１は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２２の指示に応じて光軸（図中Ｌ）方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。
【００１７】
撮像素子１２は、撮影光学系１０を通過した被写体の像を撮像し、アナログの画像信号を取得する。そして、撮像素子１２が出力するアナログの画像信号は、信号処理部１３に入力される。なお、撮像素子１２の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１２の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。
【００１８】
ここで、撮像素子１２は、後述のレリーズ釦２０の全押し操作に応答して記録用画像（以下「本画像」という）を撮像する。また、撮像素子１２は、撮影待機時において、記録媒体３０に記録する本画像に比べて画像の解像度が低いスルー画像を所定間隔ごとに連続的に撮像する。
【００１９】
なお、撮像素子１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサである。
【００２０】
信号処理部１３は、撮像素子１２が出力するアナログの画像信号をデジタル信号（画像データ）に変換しデータバス２３に出力する。
【００２１】
ＲＡＭ１４は、揮発性のメモリであり、信号処理部１３が出力する画像データは、データバス２３を介して画像データとしてＲＡＭ１４に一時記録される。画像処理部１５は、ＲＡＭ１４に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。また、画像処理部１５は、画像信号を解析して、画素ごとの輝度を検出する。具体的には、画像処理部１５は、ＲＧＢ信号の画像データを輝度信号（Ｙ信号）と、色差信号（Ｃｒ、Ｃｂ信号）の画像データに変換（ＹＣ変換）する。
【００２２】
フラッシュメモリ１６は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１６には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２２は、このプログラムに従い、一例として後述の図３、４に示すフローの処理を実行する。
【００２３】
記録Ｉ／Ｆ部１７には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１７は、そのコネクタに接続された記録媒体３０にアクセスして本画像の記録処理等を行なう。この記録媒体３０は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。
【００２４】
表示Ｉ／Ｆ部１８は、ＲＡＭ１４に一時記録された再生用の静止画像や電子カメラ１の操作メニューを示す画像等を表示モニタ１９に出力する。また、表示Ｉ／Ｆ部１８は、撮影待機時において、スルー画像を表示モニタ１９に出力する。例えば、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、３０フレーム毎秒（３０ｆｐｓ）でスルー画像を表示モニタ１９に出力させる。表示モニタ１９は、例えば液晶表示媒体により構成される。
【００２５】
レリーズ釦２０は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の動作開始の指示入力）と全押し操作（本画像を取得するための撮像動作開始）との指示入力とを受け付ける。操作部２１は、撮影者の操作を受け付ける複数の釦を有しており、電子カメラ１を操作するための指示入力を受け付ける。
【００２６】
図２は、図１に示す電子カメラ１の背面図である。図１に示す操作部２１は、図２に示す通り、広角ズーム釦２１ａと、望遠ズーム釦２１ｂと、モード選択釦２１ｃと、メニュー釦２１ｄと、選択・決定釦２１ｅと、電源釦２４とを含む。
【００２７】
広角ズーム釦２１ａは、焦点距離を広角側に変更し、望遠ズーム釦２１ｂは、焦点距離を望遠側に変更する。モード選択釦２１ｃは、撮影モード若しくは再生モードに切り替える操作をユーザから受け付ける。メニュー釦２１ｄは、メニュー画面を立ち上げるための操作をユーザから受け付ける。選択・決定釦２１ｅは、電子カメラ１の操作メニューにおける設定条件等の項目選択又は項目決定をユーザから受け付ける。ここで、選択・決定釦２１ｅは、決定釦２１ｆとダイヤル２１ｇとを有する。ダイヤル２１ｇの全体形状は、環状であって、ダイヤル２１ｇの内周側には決定釦２１ｆが配置されている。そして、ダイヤル２１ｇは、例えばメニュー画面等での項目選択の入力をユーザから受け付ける。また、決定釦２１ｆは、メニュー画面等での項目決定の入力をユーザから受け付ける。例えば、サイズ情報の取得モードでは、サイズ情報の取得開始の操作が決定釦２１ｆに割り当てられている。また、レリーズ釦２０と電源釦２４とは、図２に示す通り、電子カメラ１の筐体の上面に備えられている。
【００２８】
なお、表示モニタ１９の表示画面上には、透明のタッチパネル（不図示）が配置されているものとする。これにより、タッチパネルは、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネルは、検出した位置情報をＣＰＵ２２に出力することで撮影者からの操作を受け付ける。
【００２９】
再び、図１の説明に戻り、ＣＰＵ２２は、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２２は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。ＣＰＵ２２は、認識部２２ａと、選択部２２ｂと、第１算出部２２ｃと、第２算出部２２ｄと、記録処理部２２ｅとしても機能する。
【００３０】
認識部２２ａは、画像から主要被写体を認識する。例えば、認識部２２ａは、スルー画像を解析して人物の顔を抽出し、その顔の人物を主要被写体として認識する。具体的には、認識部２２ａは、画像処理部１５が検出した画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。また、認識部２２ａは、顔を検出した場合、さらに顔の特徴部位を検出しても良い。すなわち、認識部２２ａは、一例として、特開２００１−１６５７３号公報に記載された特徴点抽出処理によって、目、鼻、耳、唇等の顔の特徴部位を画像から検出する。これにより、認識部２２ａは、人物の顔の領域を容易に認識できる。
【００３１】
さらに、認識部２２ａは、スルー画像を解析して、主要被写体の輪郭を抽出する。具体的には、認識部２２ａは、一例として、特開２００９−００９２０６号公報に記載された輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。
【００３２】
また、認識部２２ａは、表示モニタ１９の表示画面上のタッチパネルを介して、撮影者により指定された領域を主要被写体として認識しても良い。これにより、認識部２２ａは、撮影者が指定した領域を主要被写体とすることができる。
【００３３】
或いは、認識部２２ａは、画像の画像データを量子化することにより主要被写体と背景とを分離し、その主要被写体を認識しても良い。具体的には、認識部２２ａは、画像データを２値化するため、画像データの輝度に基づいて２値化の基準となる画素の明るさを選択する。そして、認識部２２ａは、その画素の明るさを基準にして、基準となる画素値よりも明るい画素値は白、基準以下の暗い画素値は黒とすることで、画像データを２値化する。これにより、認識部２２ａは、主要被写体を示す領域と背景を示す領域とが分離した画像を得ることができる。
【００３４】
選択部２２ｂは、主要被写体に応じた複数の測定点（以下「測距点」という）を選択する。具体的には、ＣＰＵ２２は、先ず、撮影画面内に複数の測距点を設定する。そして、選択部２２ｂは、主要被写体の輪郭を含む領域のうち測距点と重なる領域に対し、距離を算出する測距点として選択する（詳細は後述する）。
【００３５】
第１算出部２２ｃは、選択部２２ｂが選択した測距点ごとに、各々の測距点に対し距離を算出する。具体的には、先ず、ＣＰＵ２２は、一例として、主要被写体が撮影画面内の中央に存在する場合、その中央の測距点に対して、鮮鋭度（コントラスト状態）を示す評価値が最大値となる合焦位置を探索するコントラストＡＦの処理を行なう。これにより、ＣＰＵ２２は、合焦位置から撮影画面内の中央の測距点までの被写体距離を算出する。続いて、第１算出部２２ｃは、その被写体距離を利用して、選択部２２ｂが選択した測距点ごとに合焦位置から測距点までの距離を算出する。なお、本実施形態では、コントラストＡＦの処理によって算出される距離を被写体距離と言い、第１算出部２２ｃにより算出される合焦位置から各測距点までの距離を、単に距離と言う。
【００３６】
第２算出部２２ｄは、第１算出部２２ｃが算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。具体的には、第２算出部２２ｄは、各々の距離に基づいて、サイズ情報として実空間における絶対座標（Ｘ、Ｙ、Ｚ）を測距点ごとに算出する。また、第２算出部２２ｄは、サイズ情報として、２次元の撮影画面内での各測距点の座標（ｍ、ｎ）を算出する。なお、撮影画面内に設定される測距点が矩形状の場合、第２算出部２２ｄは、測距点の中心点を測距点の座標（ｍ、ｎ）として算出する。
【００３７】
記録処理部２２ｅは、撮像素子１２が生成する主要被写体を含む本画像とサイズ情報とを関連付けて記録媒体３０又はフラッシュメモリ１６に記録する。具体的には、記録処理部２２ｅは、一例として本画像の画像ファイルのヘッダ領域にサイズ情報を記録する。なお、本画像の画像ファイルは、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式のファイルフォーマットに準拠している。
【００３８】
また、ＣＰＵ２２は、主要被写体の動き検出処理を行なう。具体的には、ＣＰＵ２２は、現フレームと前フレームとのフレーム間差分により主要被写体の動きを検出し、画像内で主要被写体を追尾する。ＣＰＵ２２は、一例としてスルー画像を１６画素×１６画素のブロックに分割し、ブロックごとに各画素のフレーム間の差分信号が予め設定した差分信号用の閾値以上になる画素を算出することにより主要被写体の動きを検出する。なお、ＣＰＵ２２は、スルー画像を間引き読み出しすることによりフレーム間差分を行なっても良い。
【００３９】
次に、電子カメラ１の動作の一例を説明する。図３は、電子カメラ１の動作の一例を示すフローチャートである。このフローチャートは、サイズ情報の取得モード時に実行される。図４は、各測距点の測距処理のサブルーチンを示すフローチャートである。このサブルーチンは、図３のステップＳ１０３の処理において実行される。
【００４０】
以下の動作例では、電源オンの後、先ず、ＣＰＵ２２は、撮像素子１２を駆動させてスルー画像の撮像を開始する。そして、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、スルー画像を表示モニタ１９に出力させる。その後、操作部２１は、サイズ情報の取得モードの指示入力を受け付けると、ＣＰＵ２２は、図３に示すフローの処理を開始する。なお、以下のフローの処理では、説明をわかりやすくするため、人物の全体像の被写体を含む被写界を撮影することとする。
【００４１】
ステップＳ１０１：ＣＰＵ２２の認識部２２ａは、主要被写体の認識処理を行なう。具体的には、認識部２２ａは、スルー画像の画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。続いて、認識部２２ａは、前述した特徴点抽出処理によって、顔の特徴部位を画像から検出する。その結果、認識部２２ａは、その顔の人物を主要被写体として認識する。そして、ＣＰＵ２２は、ステップＳ１０２の処理に移行する。
【００４２】
ステップＳ１０２：認識部２２ａは、主要被写体の輪郭の抽出処理を行なう。具体的には、認識部２２ａは、前述の輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。そして、ＣＰＵ２２は、ステップＳ１０３の処理に移行する。
【００４３】
ステップＳ１０３：ＣＰＵ２２は、各測距点の測距処理を行なう。そのため、ＣＰＵ２２は、図４に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。
【００４４】
ステップＳ２０１：ＣＰＵ２２は、測距点の設定処理を行なう。具体的には、ＣＰＵ２２は、先ず、撮影画面内に複数の測距点を設定する。
【００４５】
図５は、測距点の設定処理及び選択処理を説明する図である。図５において、ＣＰＵ２２は、点線枠Ｓで示す複数の測距点を撮影画面内に設定する。そして、ＣＰＵ２２は、ステップＳ２０２の処理に移行する。なお、図５では、撮影画面をスルー画像に対応づけており、スルー画像の座標を（ｍ、ｎ）で表している。
【００４６】
ステップＳ２０２：ＣＰＵ２２の選択部２２ｂは、測距点の選択処理を行なう。具体的には、選択部２２ｂは、図５において、主要被写体（人物Ｐ）の輪郭を含む領域のうち測距点Ｓと重なる領域（図中、斜線で示した測距点）に対し、距離を算出する測距点として選択する。これにより、選択部２２ｂは、主要被写体（人物Ｐ）の領域内のうち測距点Ｓと重なる全ての領域を測距点として選択しなくても良い。そのため、本実施形態では、サイズ情報の算出処理の演算時間を効率化することができる。なお、図５では、説明の便宜上、代表的な５点を測距点としてさらにサンプリングしている。そして、ＣＰＵ２２は、ステップＳ２０３の処理に移行する。
【００４７】
ステップＳ２０３：ＣＰＵ２２は、オートフォーカス（ＡＦ）操作による測距処理を行なう。具体的には、ＣＰＵ２２は、コントラストＡＦの処理を行なう。
【００４８】
図６は、測距処理を説明する図である。図６（ａ）は、測距処理の概念図を示す。ＣＰＵ２２は、コントラストＡＦの処理により、レンズ駆動部１１を介して撮影光学系１０のフォーカスレンズの位置を制御する。この際、ＣＰＵ２２は、撮像素子１２が出力する画像信号から抽出したコントラスト情報と、フォーカスレンズ位置とを蓄積して、鮮鋭度（コントラスト状態）を示す評価値が最大値となる合焦位置を検出する。この測距処理により、ＣＰＵ２２は、レンズ駆動部１１が出力するフォーカスレンズの焦点距離、フォーカスレンズの合焦位置、被写体距離等の撮影情報を算出する。例えば、ＣＰＵ２２は、主要被写体が撮影画面内の中央に存在する場合、その撮影画面内の中央の測距点に対して、コントラストＡＦの処理を行ない、被写体距離を算出する。（図６（ａ）参照）。そして、ＣＰＵ２２は、ステップＳ２０４の処理に移行する。
【００４９】
ステップＳ２０４：ＣＰＵ２２の第１算出部２２ｃは、選択部２２ｂが選択した測距点ごとに距離を算出する。すなわち、第１算出部２２ｃは、例えば、図５に示す５つの測距点に対して、ステップＳ２０４の処理が繰り返されるごとに合焦位置から測距点までの距離を順次算出する。
【００５０】
ここで、図６（ｂ）では、電子カメラ１の筐体の上面図を表しており、光軸Ｌに対する方位角を規定している。また、図６（ｃ）では、電子カメラ１の筐体の側面図を表しており、光軸Ｌに対する仰角を規定している。つまり、第２算出部２２ｄは、被写体距離と、方位角と、仰角とに基づいて、合焦位置から特定の測距点までの距離を算出する。なお、本実施形態では、方位角と仰角とを測距用の画角として、撮影画面内の撮影画角と区別して用いる。そして、ＣＰＵ２２は、ステップＳ２０５の処理に移行する。
【００５１】
ステップＳ２０５：ＣＰＵ２２の第２算出部２２ｄは、主要被写体の大きさを示すサイズ情報を算出する。具体的には、第２算出部２２ｄは、第１算出部２２ｃが算出した各々の距離に応じてサイズ情報を算出する。そのため、第２算出部２２ｄは、距離と測距用の画角とに基づいて、絶対座標（Ｘ、Ｙ、Ｚ）を測距点ごとに算出する。
【００５２】
すなわち、第２算出部２２ｄは、ステップＳ２０４にて、既に当該算出対象の測距点の距離を算出している。したがって、第２算出部２２ｄは、その距離と、測距用の画角とに基づいて、合焦位置である原点（０、０、０）を基準として、当該算出対象の測距点の絶対座標（Ｘ、Ｙ、Ｚ）を算出する。また、第２算出部２２ｄは、撮影画面上での測距点の中心座標（ｍ、ｎ）を算出する。つまり、第２算出部２２ｄは、単一の撮影光学系１０を介して、測距点の距離を算出することで、その測距点のサイズ情報を算出することができる。そして、第２算出部２２ｄは、当該算出対象の測距点について、サイズ情報を算出すると、ＣＰＵ２２は、ステップＳ２０６の処理に移行する。
【００５３】
ステップＳ２０６：ＣＰＵ２２は、ＲＡＭ１４にサイズ情報を一時記録する。そして、ＣＰＵ２２は、ステップＳ２０７の処理に移行する。
【００５４】
ステップＳ２０７：ＣＰＵ２２は、選択部２２ｂが選択した全ての測距点について、サイズ情報を取得したか否かを判定する。全ての測距点についてサイズ情報を取得していない場合（ステップＳ２０７：Ｎｏ）、ＣＰＵ２２は、ステップＳ２０３の処理に戻る。一方、全ての測距点についてサイズ情報を取得した場合（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２２は、図４に示すフローの処理を終了し、図３に示すステップＳ１０４の処理に戻る。なお、図４に示すフローの処理において、第１算出部２２ｃは、スルー画像を解析することにより、各測距点までの距離を算出した。したがって、第２算出部２２ｄは、スルー画像を用いてサイズ情報を算出することができる。
【００５５】
ステップＳ１０４：ＣＰＵ２２は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合（ステップＳ１０４：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０６の処理に移行する。一方、全押し操作の指示入力が無かった場合（ステップＳ１０４：Ｎｏ）、ＣＰＵ２２は、ステップＳ１０５の処理に移行する。
【００５６】
ステップＳ１０５：ＣＰＵ２２は、主要被写体が移動したか否かを判定する。具体的には、ＣＰＵ２２は、サイズ情報の取得モードにおいて、フレーム間差分によりの主要被写体の移動状態を監視している。そして、ステップＳ１０３の測距処理が行なわれた後、主要被写体が移動した場合には（ステップＳ１０５：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ１０３の測距処理を再度行なうため、ステップＳ１０３の処理に戻る。一方、主要被写体が移動していない場合には（ステップＳ１０５：Ｎｏ）、サイズ情報に変更は生じないため、ＣＰＵ２２は、ステップＳ１０４の処理に戻り、全押し操作の指示入力の有無を判定する処理を繰り返す。
【００５７】
ステップＳ１０６：ＣＰＵ２２の記録処理部２２ｅは、本画像の記録処理を行なう。具体的には、先ず、ＣＰＵ２２は、撮影処理を行なう。すなわち、ＣＰＵ２２は、撮像素子１２を駆動する。信号処理部１３は、画像信号のゲイン調整やＡ／Ｄ変換等を行なう。この信号処理部１３が出力する画像信号は、ＲＡＭ１４に画像データとして一旦記録される。画像処理部１５は、ＲＡＭ１４に記録されている画像データを読み出し、各種の画像処理を施す。そして、記録処理部２２ｅは、各種の画像処理が施された後の本画像の画像データを有する画像ファイルを記録媒体３０に記録する。
【００５８】
図７は、本画像の画像ファイルの構成を説明する図である。図７（ａ）は、Ｅｘｉｆ形式の画像ファイルの構成を模式的に示した図である。図７（ｂ）は、サイズ情報を示す図であり、測距点ごとに画像上の座標（ｍ、ｎ）、絶対座標（Ｘ、Ｙ、Ｚ）の組み合わせからなる。なお、図中の内容の欄は、説明の便宜上記載している。図７（ｃ）は、本画像を示す。
【００５９】
ここで、画像ファイルは、ヘッダ領域と画像データ領域とを有する。カメラ情報（焦点距離等の撮影情報）は、タグデータとしてヘッダ領域に記録される。また、図７（ｃ）に示す本画像の画像データは、図７（ａ）に示す画像データ領域に記録される。
【００６０】
なお、ヘッダ領域には、メーカ独自のフォーマットでデータを記録できるメーカノートの領域がある。記録処理部２２ｅは、ＲＡＭ１４から一時記録されたサイズ情報を読み出して画像ファイルのメーカノートの領域に書き込む。また、記録処理部２２ｅは、ＲＡＭ１４から一時記録された本画像の画像データを読み出して画像ファイルの画像データ領域に書き込む。記録処理部２２ｅは、その画像ファイルを記録媒体３０に記録する。この記録処理により、画像ファイルでは、本画像の画像データとサイズ情報とを分けて管理することができる。そして、ＣＰＵ２２は、図４に示すフローの処理を終了させる。
【００６１】
以上より、第１実施形態の電子カメラ１は、複数の撮影光学系を必要とせず、単一の撮影光学系で容易にサイズ情報を取得できる。したがって、電子カメラ１は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。
（第２実施形態）
次に本発明の第２実施形態の電子カメラについて説明する。前述の通り、上記の３次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。ところで、従来、電子カメラで撮影した画像に対して、サイズ情報を利用してユーザの利便性を高める手段が提供されているとは言い難い。そこで、第２実施形態以降の実施の形態では、サイズ情報を利用してユーザの利便性を高める手段を提供する。
【００６２】
なお、本発明の第１実施形態と本発明の第２実施形態とでは、同じ要素については同じ符号を付して説明を省略する。
【００６３】
図８は、第２実施形態の電子カメラ２の構成例を示すブロック図である。ここで、電子カメラ２は、前述した「サイズ情報の取得モード」に加え、サイズ情報に基づいて本画像内の主要被写体を切り出してスルー画像に合成して重畳表示する「第１表示モード」を有する（詳細は後述する）。
【００６４】
図１に示す電子カメラ１と図８に示す電子カメラ２とでは、ＣＰＵ２２の内部構成が異なる。具体的には、電子カメラ２のＣＰＵ２２は、図８に示す通り、画像切出部２２ｆ、画像合成部２２ｇ及び画像表示制御部２２ｈの機能をさらに有する。
【００６５】
画像切出部２２ｆは、本画像を解析して主要被写体の領域を切り出す。具体的には、画像切出部２２ｆは、認識部２２ａが認識した主要被写体について、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。画像合成部２２ｇは、画像切出部２２ｆが切り出した主要被写体の領域を、本画像と異なる構図のスルー画像に合成する。一例として、画像合成部２２ｇは、主要被写体の領域の各画素値をスルー画像に重ねる領域の各画素値と置換することにより合成し、重畳表示用のスルー画像を生成する（詳細は後述する）。画像表示制御部２２ｈは、画像合成部２２ｇによる合成後の重畳表示用のスルー画像を表示モニタ１９に表示させる。
【００６６】
次に、第１表示モード時における電子カメラ２の動作の一例を説明する。
【００６７】
図９は、電子カメラ２の動作の一例を示すフローチャートである。以下の動作例において、先ず、操作部２１は、第１表示モードの指示入力を受け付けると、ＣＰＵ２２は、図９に示すフローの処理を開始する。なお、第２実施形態では、スルー画像内の主要被写体を注目被写体とすることで、本画像の主要被写体と区別することとする。また、第１実施形態で説明した図７に示す画像ファイルが記録媒体３０に記録されていることとする。
【００６８】
ステップＳ３０１：ＣＰＵ２２は、スルー画像の表示処理を行なう。具体的には、ＣＰＵ２２は、撮像素子１２を駆動させてスルー画像の撮像を開始する。そして、ＣＰＵ２２は、表示Ｉ／Ｆ部１８を介して、スルー画像を表示モニタ１９に出力させる。なお、以下のフローの処理では、説明をわかりやすくするため、ＣＰＵ２２は、一例として、樹木の全体像の注目被写体を含む被写界のスルー画像を表示モニタ１９に出力させる。
【００６９】
ステップＳ３０２：ＣＰＵ２２は、主要被写体の画像ファイルの読み出し処理を行なう。具体的には、ＣＰＵ２２は、記録媒体３０から図７に示す画像ファイルを読み出し、ＲＡＭ１４に一時記録する。そして、ＣＰＵ２２は、ステップＳ３０３の処理に移行する。
【００７０】
ステップＳ３０３：ＣＰＵ２２の認識部２２ａは、注目被写体の認識処理を行なう。具体的には、認識部２２ａは、先ず、顔検出処理を行なう。しかし、注目被写体は人物ではないため、認識部２２ａは、続いて、画像の画像データを量子化することにより注目被写体と背景とを分離し、その注目被写体を認識する。そして、ＣＰＵ２２は、ステップＳ３０４の処理に移行する。
【００７１】
図１０は、注目被写体の認識処理、測距点の設定処理及び選択処理を説明する図である。認識部２２ａは、図１０に示す樹木Ｔ１を注目被写体として認識する。
【００７２】
ステップＳ３０４：認識部２２ａは、注目被写体の輪郭の抽出処理を行なう。具体的には、認識部２２ａは、前述した輪郭抽出処理によって注目被写体の輪郭を抽出する。そして、ＣＰＵ２２は、ステップＳ３０５の処理に移行する。
【００７３】
ステップＳ３０５：ＣＰＵ２２は、各測距点の測距処理を行なう。そのため、ＣＰＵ２２は、図４に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。ここで、図１０に示す通り、ＣＰＵ２２は、点線枠Ｓで示す複数の測距点を撮影画面内に設定する（ステップＳ２０１）。さらに、ＣＰＵ２２の選択部２２ｂは、測距点の選択処理を行なう。具体的には、選択部２２ｂは、注目被写体（樹木Ｔ１）の輪郭を含む領域の座標データに基づいて、測距点Ｓと重なる領域に対し、距離を算出する測距点として選択する（ステップＳ２０２）。その後のサブルーチンのフローの処理（ステップＳ２０３〜ステップＳ２０７）は同様であるので、説明を省略する。この一連のサブルーチンのフローの処理により、注目被写体（樹木Ｔ１）のサイズ情報がＲＡＭ１４に一時記録される。
【００７４】
図１１は、ステップＳ３０５からステップＳ３０８までの処理の概念図である。測距処理は、図６に示す測距処理と同様であるが、ＣＰＵ２２は、各測距点の測距処理を行なった後、後述する通り、本画像から主要被写体を切り出し、サイズ比が合うようにスルー画像に合成して、表示モニタ１９に重畳表示させる。このサイズ比の算出は、ステップＳ３０６で行なわれる。
【００７５】
ステップＳ３０６：ＣＰＵ２２の画像合成部２２ｇは、画像を合成するために、サイズ比の算出処理を行なう。具体的には、画像合成部２２ｇは、ＲＡＭ１４に一時記録されている主要被写体のサイズ情報と注目被写体のサイズ情報とに基づいてサイズ比を算出する。
【００７６】
図１２は、サイズ比の算出処理の一例を説明する図である。図１２（ａ）は、主要被写体（人物Ｐ）のサイズ（高さ：Ｌ１）の算出例を示す図である。図１２（ｂ）は、注目被写体（樹木Ｔ１）のサイズ（高さ：Ｌ２）の算出例を示す図である。
【００７７】
画像合成部２２ｇは、先ず、主要被写体（人物Ｐ）の画像ファイルのヘッダ領域から各測距点（Ｓ１からＳ５の５点）の絶対座標のデータをＲＡＭ１４から読み出す。
【００７８】
図１２（ａ）では、説明の便宜上、各測距点を主要被写体（人物Ｐ）に重畳させて描いている。続いて、画像合成部２２ｇは、主要被写体（人物Ｐ）の高さＬ１を算出するため、計算に用いる測距点を選択する。さらに、画像合成部２２ｇは、測距点Ｓ１に対応する絶対座標と、測距点Ｓ３に対応する絶対座標とに基づいて、主要被写体（人物Ｐ）の高さＬ１を算出する。
【００７９】
また、画像合成部２２ｇは、ステップＳ３０５の各測距点の測距処理で取得された各測距点（Ｓ６からＳ９の４点）の絶対座標のデータ（サイズ情報）をＲＡＭ１４から読み出す。図１２（ｂ）では、説明の便宜上、各測距点を注目被写体（樹木Ｔ１）に重畳させて描いている。続いて、画像合成部２２ｇは、注目被写体（樹木Ｔ１）の高さＬ２を算出するため、計算に用いる測距点を選択する。さらに、画像合成部２２ｇは、測距点Ｓ６に対応する絶対座標と、測距点Ｓ８に対応する絶対座標とに基づいて、注目被写体（樹木Ｔ１）の高さＬ２を算出する。
【００８０】
次に、画像合成部２２ｇは、主要被写体（人物Ｐ）の高さＬ１と注目被写体（樹木Ｔ１）の高さＬ２とに基づいて、サイズ比（例えばＬ１／Ｌ２）を算出する。そして、ＣＰＵ２２は、ステップＳ３０７の処理に移行する。
【００８１】
ステップＳ３０７：ＣＰＵ２２の画像切出部２２ｆは、主要被写体の領域を切り出す。具体的には、画像切出部２２ｆは、ＲＡＭ１４に一時記録されている本画像から、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。そして、画像切出部２２ｆは、切り出した主要被写体の領域を新たな画像としてＲＡＭ１４に一時記録する。続いて、画像合成部２２ｇは、画像切出部２２ｆが切り出した主要被写体の領域をスルー画像に合成する。具体的には、画像合成部２２ｇは、主要被写体の領域をサイズ比に合わせて拡大又は縮小して合成前のスルー画像に合成する。ここで、画像合成部２２ｇは、スルー画像上での座標系（ｍ、ｎ）において、前述した算出手段と同様にしてスルー画像上での注目被写体の高さＬ３を算出する。これにより、画像合成部２２ｇは、サイズ比に基づいて、Ｌ３にサイズ比を乗算した高さＬ４を算出する。この高さＬ４が、スルー画像上で表示する主要被写体の高さになる。そこで、画像合成部２２ｇは、主要被写体の高さがＬ４になるように、切り出した主要被写体の画像を縮小して合成前のスルー画像に合成する。これにより、画像合成部２２ｇは、重畳表示用のスルー画像を生成する。
【００８２】
なお、画像合成部２２ｇは、主要被写体の領域を拡大させる場合には、例えばその領域の画素を補間する補間処理を行なう。また、主要被写体の領域を縮小させる場合には、例えばその領域の画素を間引く間引き処理を行なう。
【００８３】
ステップＳ３０８：ＣＰＵ２２の画像表示制御部２２ｈは、主要被写体の重畳表示を行なう。具体的には、画像表示制御部２２ｈは、画像合成部２２ｇによる合成後の重畳表示用のスルー画像を表示モニタ１９に表示させる。
【００８４】
図１３は、主要被写体の重畳表示の一例を説明する図である。図１３（ａ）は、合成前のスルー画像を表している。図１３（ｂ）は、合成後のスルー画像であって、主要被写体の重畳表示を表している。なお、図１３では、説明の便宜上、高さＬ３、Ｌ４を重畳させて描いているが、実際には表示されないこととする。
【００８５】
ステップＳ３０９：ＣＰＵ２２は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合（ステップＳ３０９：Ｙｅｓ）、ＣＰＵ２２は、ステップＳ３１１の処理に移行する。一方、全押し操作の指示入力が無かった場合（ステップＳ３０９：Ｎｏ）、ＣＰＵ２２は、ステップＳ３１０の処理に移行する。
【００８６】
ステップＳ３１０：ＣＰＵ２２は、注目被写体が移動したか否かを判定する。注目被写体が移動した場合には（ステップＳ３１０：Ｙｅｓ）、ＣＰＵ２２は、測距処理を再度行なうため、ステップＳ３０５の処理に戻る。一方、被写体が移動していない場合には（ステップＳ３１０：Ｎｏ）、ＣＰＵ２２は、ステップＳ３０９の処理に戻り、全押し操作の指示入力の有無の判定を繰り返す。
【００８７】
ステップＳ３１１：ＣＰＵ２２の記録処理部２２ｅは、本画像の記録処理を行なう。具体的には、先ず、ＣＰＵ２２は、図３に示すステップＳ１０６で説明した処理と同様に、撮影処理を行なう。なお、この際、画像合成部２２ｇは、ＲＡＭ１４に一時記録されている画像処理後の本画像の画像データを読み出して、本画像の画像データの重畳表示させる領域の画素値とＲＡＭ１４に一時記録されている主要被写体の領域の画素値とを置換する。これにより、画像合成部２２ｇは、合成した本画像を生成する。そして、記録処理部２２ｅは、画像ファイルの画像データ領域に合成後の本画像の画像データを書き込む。また、記録処理部２２ｅは、画像ファイルのヘッダ領域にサイズ情報を記録する。そして、記録処理部２２ｅは、その画像ファイルを記録媒体３０に記録する。そして、ＣＰＵ２２は、図９に示すフローの処理を終了させる。
【００８８】
ここで、実際の実用例について説明する。図１４は、実際の実用例を説明する図である。図１４（ａ）は、実空間における部屋の中の一例を表している。ここで、一例として、ユーザが掛け時計を購入して部屋に掛けたい場合、時計店で展示されている実物の掛け時計の撮影をユーザが電子カメラ２で行なったとする。この場合、電子カメラ２は、サイズ情報の取得モードにより、記録画像として掛け時計（主要被写体）の画像とサイズ情報との画像ファイルを記録媒体３０に記録する。
【００８９】
ユーザが自宅の部屋に戻った後、電子カメラ２は、第１表示モードの指示入力を受け付けたとする。図１４（ｂ）は、第１表示モード下での表示モニタ１９に表示されているスルー画像を表している。電子カメラ２は、主要被写体（時計Ｗ１）をスルー画像に合成することにより、表示モニタ１９に重畳表示させる。なお、注目被写体は例えば、図１４（ｂ）のコンピュータ４１とする。
【００９０】
ここで、画像表示制御部２２ｈは、タッチパネル上でユーザの指Ｆ１の移動軌跡による入力信号を受け付ける。この場合、画像合成部２２ｇは、ユーザの指Ｆ１の移動軌跡に応じて、主要被写体（時計Ｗ１）をスルー画像に合成させることにより重畳表示させたスルー画像を順次生成する。画像表示制御部２２ｈは、重畳表示させたスルー画像を順次出力する、これにより、主要被写体（時計Ｗ１）は、スルー画像内でユーザの指Ｆ１の移動軌跡に応じた位置に移動されながら表示される。
【００９１】
図１４（ｃ）は、ユーザのタッチパネル操作後のスルー画像を表している。電子カメラ２は、実サイズの主要被写体（時計Ｗ１）をスルー画像上で表示することができる。
【００９２】
また、別の実用例としては、電子カメラ２で家具（主要被写体）を撮影して、部屋のスルー画像を表示しながら、家具（主要被写体）を重畳表示させることにより、ユーザは、サイズを含めた検討を行なうことができる。
【００９３】
以上より、第２実施形態の電子カメラ２では、スルー画像表示時に、既に撮影した主要被写体の画像を切り出して重畳表示させることができる。この際、電子カメラ２では、サイズ情報に基づいて、スルー画像上で主要被写体のサイズ比が合うように表示することができる。そのため、撮影者であるユーザにとっては、表示モニタ１９上で実サイズの主要被写体が表示されることにより直感的に見やすい画像となる。したがって、電子カメラ２は、サイズ情報を利用してユーザの利便性を高めることができる。なお、第２実施形態の電子カメラ２では、スルー画像に代えて、既に撮影した本画像に主要被写体の画像を切り出して重畳表示させても良い。
（第３実施形態）
次に本発明の第３実施形態の画像表示装置について説明する。第３実施形態の画像表示装置は、「第２表示モード」を有している。第２表示モードは、電子カメラ１において「サイズ情報の取得モード」で撮影された構図の異なる複数（例えば２枚）の本画像の入力を受け付けて、サイズ情報に基づいて画像を合成して重畳表示する（詳細は後述する）。
【００９４】
図１５は、画像表示装置５０の構成例を示すブロック図である。画像表示装置５０は、
ＲＡＭ５１と、フラッシュメモリ５２と、記録Ｉ／Ｆ部５３と、表示Ｉ／Ｆ部５４と、表示モニタ５５と、操作部５６と、ＣＰＵ５７と、データバス５８とを備える。このうち、ＲＡＭ５１、フラッシュメモリ５２、記録Ｉ／Ｆ部５３、表示Ｉ／Ｆ部５４、表示モニタ５５及びＣＰＵ５７は、データバス５８を介して互いに接続されている。
【００９５】
ＲＡＭ５１は、揮発性のメモリである。記録媒体３０に記録されている本画像のデータは、データバス５８を介してＲＡＭ５１に一時記録される。
【００９６】
フラッシュメモリ５２は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ５２には、画像表示装置５０の制御を行なうプログラム等が予め記録されている。ＣＰＵ５７は、このプログラムに従い、一例として後述の図１６に示すフローの処理を実行する。記録Ｉ／Ｆ部５３は、記録媒体３０を接続するためのコネクタ（不図示）が形成されている。表示Ｉ／Ｆ部５４は、ＲＡＭ５１に一時記録された本画像や画像表示装置５０の操作メニューを示す画像等を表示モニタ５５に出力する。表示モニタ５５は、例えば液晶表示媒体により構成される。
【００９７】
ＣＰＵ５７は、画像受付部５７ａと、画像選択部５７ｂと、サイズ比算出部５７ｃと、画像切出部５７ｄと、画像合成部５７ｅと、画像表示制御部５７ｆとしても機能する。画像受付部５７ａは、電子カメラ１で撮影された構図の異なる複数の本画像の入力を受け付ける。画像選択部５７ｂは、主要被写体を含む本画像と、主要被写体を重ねて表示する合成用の本画像とを選択する。例えば、本画像がサムネイル形式の画像として、表示モニタ５５に出力される。画像選択部５７ｂは、ユーザの選択入力に応じて、主要被写体を含む本画像と合成用の本画像とを選択する。
【００９８】
サイズ比算出部５７ｃは、主要被写体を含む本画像のサイズ情報と合成用の本画像のサイズ情報とに基づいて、サイズ比を算出する。画像切出部５７ｄは、主要被写体を含む本画像を解析してその主要被写体の領域を切り出す。画像合成部５７ｅは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像に合成する。具体的には、画像合成部５７ｅは、画像切出部５７ｄが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。画像表示制御部５７ｆは、画像合成部５７ｅが合成した後の本画像を表示モニタ５５に表示させる。
【００９９】
次に、画像表示装置５０の動作の一例を説明する。図１６は、画像表示装置５０の動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、操作部５６が第２表示モードの指示入力を受け付けると、ＣＰＵ５７は、図１６に示すフローの処理を開始する。
【０１００】
ステップＳ４０１：ＣＰＵ５７の画像受付部５７ａは、画像の入力の受付処理を行なう。具体的には、画像受付部５７ａは、記録媒体３０から本画像を読み出して、ＲＡＭ５１に一時記録する。そして、ＣＰＵ５７は、ステップＳ４０２の処理に移行する。
【０１０１】
図１７は、本画像と合成後の本画像の一例を示す図である。図１７（ａ）は、人物Ｐが電子カメラ１で撮影された本画像３１である。図１７（ｂ）は、樹木Ｔ１が電子カメラ１で撮影された本画像３２である。これらの本画像のヘッダ領域にはサイズ情報が格納されている。なお、図１７（ｃ）については後述する。
【０１０２】
ステップＳ４０２：ＣＰＵ５７の画像選択部５７ｂは、本画像の選択処理を行なう。具体的には、ＣＰＵ５７は、本画像３１及び本画像３２をサムネイル表示形式で表示モニタ５５に出力する。操作部５６は、ユーザの選択入力を受け付ける。この選択入力に応じて、画像選択部５７ｂは、例えば、主要被写体（人物Ｐ）を含む本画像３１と、主要被写体を重ねて表示する合成用の本画像３２とを選択する。そして、ＣＰＵ５７は、ステップＳ４０３の処理に移行する。
【０１０３】
ステップＳ４０３：ＣＰＵ５７のサイズ比算出部５７ｃは、サイズ比の算出処理を行なう。具体的には、サイズ比算出部５７ｃは、主要被写体を含む本画像３１のサイズ情報と合成用の本画像３２のサイズ情報とに基づいて、サイズ比を算出する。
そして、ＣＰＵ５７は、ステップＳ４０４の処理に移行する。
【０１０４】
ステップＳ４０４：ＣＰＵ５７の画像切出部５７ｄは、主要被写体の領域の切出し処理を行なう。具体的には、画像切出部５７ｄは、主要被写体を含む本画像３１を解析してその主要被写体の領域を切り出す。そして、ＣＰＵ５７は、ステップＳ４０５の処理に移行する。
【０１０５】
ステップＳ４０５：ＣＰＵ５７の画像合成部５７ｅは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像３２に合成する。具体的には、画像合成部５７ｅは、画像切出部５７ｄが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。これにより、画像合成部５７ｅは、図１７（ｃ）に示す合成後の本画像３３を生成する。そして、ＣＰＵ５７は、ステップＳ４０６の処理に移行する。
【０１０６】
ステップＳ４０６：ＣＰＵ５７の画像表示制御部５７ｆは、合成後の本画像３３を表示モニタ５５に表示させる。そして、ＣＰＵ５７は、図１６に示すフローの処理を終了する。なお、ＣＰＵ５７は、合成後の本画像３３を記録媒体３０に記録しても良い。
【０１０７】
以上より、第３実施形態の画像表示装置５０では、電子カメラ１で撮影された記録用の本画像を用いて、画像再生時に、既に撮影した主要被写体の画像を切り出して別の本画像に重畳表示させることができる。この際、画像表示装置５０では、サイズ情報に基づいて、再生画像上で主要被写体のサイズ比が合うように表示することができる。したがって、画像表示装置５０は、サイズ情報を利用してユーザの利便性を高めることができる。
（第４実施形態）
次に、本発明の第４実施形態のコンピュータについて説明する。第４実施形態では、記録媒体４０に記録されているプログラムをコンピュータにインストールして、上記のサイズ情報の取得モードと第１表示モードと同様の処理を実行する。
【０１０８】
図１８は、コンピュータ６０の構成例を説明するブロック図である。なお、図８に示す電子カメラ２のブロック図と同様の機能のブロックについては、説明を省略又は簡略化する。図１８に示す通り、コンピュータ６０は、例えば可搬性のコンピュータであって、カメラ部６１と、本体部６０ａとを有する。本体部６０ａは、通信インターフェース部（以下「通信Ｉ／Ｆ部」という）６２と、ＲＡＭ６３と、画像処理部６４と、フラッシュメモリ６５と、記録Ｉ／Ｆ部６６と、表示Ｉ／Ｆ部６７と、表示モニタ６８と、操作部６９と、ＣＰＵ７０と、データバス７１とを備える。
【０１０９】
カメラ部６１は、撮影光学系６１ａと、撮像部６１ｂと、レンズ駆動部６１ｃとを備える。通信Ｉ／Ｆ部６２は、カメラ部６１との通信インターフェースを提供する。これにより、撮像部６１ｂが出力する画像信号は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続により通信Ｉ／Ｆ部６２を介してＲＡＭ６３に記録される。画像処理部６４は、第１実施形態の電子カメラ１の画像処理部１５と同様の処理を行なう。フラッシュメモリ６５は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ６５は、ＣＰＵ７０の制御により記録媒体４０に記録されているプログラムを格納する。
【０１１０】
記録Ｉ／Ｆ部６６は、コネクタ（不図示）に接続された記録媒体３０や記録媒体４０にアクセスする。表示Ｉ／Ｆ部６７は、撮像部６１ｂが出力するスルー画像を、例えば、所定のフレームレートで表示モニタ６８に出力する。また、表示Ｉ／Ｆ部６７は、再生用の静止画像やコンピュータ６０の操作メニュー等を表示モニタ６８に出力する。なお、表示モニタ６８の表示画面上には、操作部６９の透明のタッチパネルが配置されているものとする。
【０１１１】
操作部６９は、表示モニタ６８の表面に配置された透明のタッチパネルである。操作部６９は、タッチパネル表面に接触した指先等の位置を検出して撮影者からの操作を受け付ける。また、操作部６９は、カメラ部６１のレリーズ釦の機能を有する。
【０１１２】
ＣＰＵ７０は、コンピュータ６０の制御を行なうプロセッサである。ＣＰＵ７０は、フラッシュメモリ６５に予め格納されたシーケンスプログラムを実行することにより、コンピュータ６０の各部の制御等を行なう。また、ＣＰＵ７０は、記録媒体４０からプログラムをフラッシュメモリ６５に格納することにより、認識部７０ａと、選択部７０ｂと、第１算出部７０ｃと、第２算出部７０ｄと、記録処理部７０ｅと、画像切出部７０ｆ、画像合成部７０ｇ及び画像表示制御部７０ｈの機能ブロックとしても機能する。なお、これらの機能ブロックは、第１実施形態及び第２実施形態で説明した、認識部２２ａと、選択部２２ｂと、第１算出部２２ｃと、第２算出部２２ｄと、記録処理部２２ｅと、画像切出部２２ｆ、画像合成部２２ｇと、画像表示制御部２２ｈと各々機能が同様であるので、ここでは、説明を省略する。
【０１１３】
また、上記プログラムを用いたコンピュータ６０の動作については、図３、図４及び図９で説明したフローの処理と同様であるので説明を省略する。
【０１１４】
以上、本実施形態のプログラムを組み込んだコンピュータ６０は、前述した電子カメラ１と同様にして、サイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。また、コンピュータ６０は、前述した電子カメラ２と同様にして、サイズ情報を利用してユーザの利便性を高めることができる。
（上記実施形態の補足事項）
（１）上記実施形態において、測距点の設定は、撮影画面上で特に限定されるのではなく、例えば、図５に示した例よりも細かく設定しても良い。一例として、主要被写体の輪郭線に沿って測距点を設定することにより、第１算出部２２ｃは、いわゆる３Ｄ（３次元）の画像を生成するための絶対座標のデータを算出しても良い。
【０１１５】
（２）上記実施形態において、選択部２２ｃは、輪郭を含む領域と重なる複数の領域の測距点のうちから、距離を算出する測距点を選択したが、例えば輪郭を含む領域と重なる全ての領域の測距点を選択しても良い。これにより、精度の高いサイズ情報が得られる。
【０１１６】
（３）上記実施形態において、画像合成部２２ｇは、主要被写体の領域をサイズ比に合わせて拡大又は縮小したが、ＣＰＵ２２は、主要被写体のサイズに合うように注目被写体を含むスルー画像のズーム倍率を変更しても良い。
【０１１７】
（４）上記実施形態において、画像合成部２２ｇは、注目被写体を含むスルー画像に主要被写体を合成したが、注目被写体と主要被写体とが重なる場合には、重なりを避けるように合成しても良い。また、画像合成部２２ｇは、注目被写体と主要被写体との絶対座標に応じて、例えば、主要被写体を注目被写体の手前に配置するようにしても良い。
【０１１８】
（５）上記実施形態において、ＣＰＵ２２は、コントラスト方式のＡＦの処理を行なったが、これは一例であって、例えば、位相差検出方式のＡＦの処理を行なっても良い。
【０１１９】
また、上記実施形態において、ＣＰＵ２２は、コントラスト方式のＡＦの処理により、被写体距離を算出し、その被写体距離を利用して測距点ごとに合焦位置から測距点までの距離を算出した。ここで、ＣＰＵ２２は、測距点ごとにコントラスト方式のＡＦの処理を行ない、距離を算出しても良い。
【０１２０】
（６）上記実施形態では、サイズ情報として、測距点ごとの画像上の座標（ｍ、ｎ）と絶対座標（Ｘ、Ｙ、Ｚ）との組み合わせとしたが、絶対座標（Ｘ、Ｙ、Ｚ）の代わりに、距離と測距用の画角のデータを採用しても良い。
【０１２１】
（７）上記実施形態において、コンピュータ６０は、第２実施形態の電子カメラ２の一部、例えば、ＣＰＵ２２、認識部２２ａ、選択部２２ｂ、第１算出部２２ｃ、第２算出部２２ｄ、記録処理部２２ｅ、画像切出部２２ｆ、画像合成部２２ｇ及び画像表示制御部２２ｈの機能をコンピュータで実現するようにしても良い。この場合、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【０１２２】
（８）なお、（７）でいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。さらに（７）でいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体（例えば記録媒体４０）、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに前述の「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでも良い。また上記のプログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせにより実現するものであっても良い。
【符号の説明】
【０１２３】
１、２・・・電子カメラ、１２・・・撮像素子、２２ａ・・・認識部、２２ｂ・・・選択部、２２ｃ・・・第１算出部、２２ｄ・・・第２算出部、２２ｅ・・・記録処理部、５０・・・画像表示装置、５７ａ・・・画像受付部、５７ｂ・・・画像選択部、５７ｅ・・・画像合成部、５７ｆ・・・画像表示制御部、６０・・・コンピュータ
【特許請求の範囲】
【請求項１】
撮影光学系を介して被写体の像を撮像する撮像部と、
前記撮像部が生成する第１画像から主要被写体を認識する認識部と、
前記主要被写体に応じた複数の測定点を選択する選択部と、
前記選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する第１算出部と、
前記第１算出部が算出した各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出部と、
前記撮像部が生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理部と
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記第１画像は、前記第２画像よりも低解像度の画像であって、
前記認識部は、前記第１画像から前記主要被写体を認識し、
前記第１算出部は、前記第１画像に対して、前記距離を前記測定点ごとに算出することを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
前記認識部は、前記第１画像を解析して、前記主要被写体の輪郭を抽出し、
前記選択部は、前記輪郭を含む領域のうち前記測定点と重なる領域を、前記距離を算出する測定点として選択することを特徴とする電子カメラ。
【請求項４】
請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
前記記録処理部は、前記第２画像の画像ファイルのヘッダ領域に前記サイズ情報を記録することを特徴とする電子カメラ。
【請求項５】
請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
前記第２画像を解析して前記主要被写体の領域を切り出す画像切出部と、
前記画像切出部が切り出した前記主要被写体の領域を、前記第２画像と異なる第１画像に合成する画像合成部と、
前記画像合成部が合成した後の第３画像を表示装置に表示させる画像表示制御部をさらに備えることを特徴とする電子カメラ。
【請求項６】
請求項５に記載の電子カメラにおいて、
前記認識部は、前記第１画像内から前記主要被写体と異なる主要被写体として注目被写体を認識し、
前記選択部は、前記注目被写体を測距する測定点を撮影画面内で選択し、
前記第１算出部は、前記選択部が選択した測定点ごとに、前記注目被写体への距離を算出し、
前記第２算出部は、前記第１算出部が算出した各々の前記距離に基づいて、前記注目被写体のサイズ情報を算出し、
前記画像合成部は、前記主要被写体のサイズ情報と前記注目被写体のサイズ情報とに基づいてサイズ比を算出すると共に、前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して前記第１画像に合成することを特徴とする電子カメラ。
【請求項７】
請求項１から請求項４の何れか１項に記載の電子カメラで撮影された異なる複数の第２画像の入力を受け付ける画像受付部と、
前記主要被写体を含む第２画像と、前記主要被写体を重ねて表示する合成用の第２画像とを選択する画像選択部と、
前記サイズ情報に基づいて、前記主要被写体の領域を合成用の前記第２画像に合成する画像合成部と、
前記画像合成部が合成した後の第３画像を表示装置に表示させる画像表示制御部と
を備えることを特徴とする画像表示装置。
【請求項８】
請求項７に記載の画像表示装置において、
前記主要被写体を含む第２画像を解析して該主要被写体の領域を切り出す画像切出部と、
前記主要被写体を含む前記第２画像のサイズ情報と合成用の前記第２画像のサイズ情報とに基づいて、サイズ比を算出するサイズ比算出部とをさらに備え、
前記画像合成部は、前記画像切出部が切り出した前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して、合成用の前記第２画像に合成することを特徴とする画像表示装置。
【請求項９】
撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第１画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第１算出処理と、
前記第１算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出処理と、
前記撮像処理により生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第１画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第１算出処理と、
前記第１算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出処理と、
前記撮像処理により生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体。
【請求項１】
撮影光学系を介して被写体の像を撮像する撮像部と、
前記撮像部が生成する第１画像から主要被写体を認識する認識部と、
前記主要被写体に応じた複数の測定点を選択する選択部と、
前記選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する第１算出部と、
前記第１算出部が算出した各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出部と、
前記撮像部が生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理部と
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記第１画像は、前記第２画像よりも低解像度の画像であって、
前記認識部は、前記第１画像から前記主要被写体を認識し、
前記第１算出部は、前記第１画像に対して、前記距離を前記測定点ごとに算出することを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
前記認識部は、前記第１画像を解析して、前記主要被写体の輪郭を抽出し、
前記選択部は、前記輪郭を含む領域のうち前記測定点と重なる領域を、前記距離を算出する測定点として選択することを特徴とする電子カメラ。
【請求項４】
請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
前記記録処理部は、前記第２画像の画像ファイルのヘッダ領域に前記サイズ情報を記録することを特徴とする電子カメラ。
【請求項５】
請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
前記第２画像を解析して前記主要被写体の領域を切り出す画像切出部と、
前記画像切出部が切り出した前記主要被写体の領域を、前記第２画像と異なる第１画像に合成する画像合成部と、
前記画像合成部が合成した後の第３画像を表示装置に表示させる画像表示制御部をさらに備えることを特徴とする電子カメラ。
【請求項６】
請求項５に記載の電子カメラにおいて、
前記認識部は、前記第１画像内から前記主要被写体と異なる主要被写体として注目被写体を認識し、
前記選択部は、前記注目被写体を測距する測定点を撮影画面内で選択し、
前記第１算出部は、前記選択部が選択した測定点ごとに、前記注目被写体への距離を算出し、
前記第２算出部は、前記第１算出部が算出した各々の前記距離に基づいて、前記注目被写体のサイズ情報を算出し、
前記画像合成部は、前記主要被写体のサイズ情報と前記注目被写体のサイズ情報とに基づいてサイズ比を算出すると共に、前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して前記第１画像に合成することを特徴とする電子カメラ。
【請求項７】
請求項１から請求項４の何れか１項に記載の電子カメラで撮影された異なる複数の第２画像の入力を受け付ける画像受付部と、
前記主要被写体を含む第２画像と、前記主要被写体を重ねて表示する合成用の第２画像とを選択する画像選択部と、
前記サイズ情報に基づいて、前記主要被写体の領域を合成用の前記第２画像に合成する画像合成部と、
前記画像合成部が合成した後の第３画像を表示装置に表示させる画像表示制御部と
を備えることを特徴とする画像表示装置。
【請求項８】
請求項７に記載の画像表示装置において、
前記主要被写体を含む第２画像を解析して該主要被写体の領域を切り出す画像切出部と、
前記主要被写体を含む前記第２画像のサイズ情報と合成用の前記第２画像のサイズ情報とに基づいて、サイズ比を算出するサイズ比算出部とをさらに備え、
前記画像合成部は、前記画像切出部が切り出した前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して、合成用の前記第２画像に合成することを特徴とする画像表示装置。
【請求項９】
撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第１画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第１算出処理と、
前記第１算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出処理と、
前記撮像処理により生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第１画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第１算出処理と、
前記第１算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第２算出処理と、
前記撮像処理により生成する記録用の第２画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１８６５３８（Ｐ２０１２−１８６５３８Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４６４４６（Ｐ２０１１−４６４４６）
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]