説明

構図選択装置及びプログラム

【課題】撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができるようにする。
【解決手段】撮像光学系11および撮像部12により撮影画像を取得すると、制御部13Aは、撮影画像に含まれている注目被写体を検出し、当該検出された注目被写体の数を計数する。制御部13Aは、注目被写体の数に基づいて、あらかじめ保存記録装置14Cに記録した複数の構図のうち撮像画像全体を記録するための構図を選択する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像の記録に際し、構図を選択する構図選択装置及びプログラムに関する。
【背景技術】
【0002】
従来より、被写体を撮像するときにユーザに対して撮影構図を提示する技術としては、下記の特許文献1に記載された電子カメラが知られている。
【0003】
この電子カメラは、以前に行った定点撮影時の撮影画像を構図化処理して構図画像とする。そして、電子カメラは、今回の定点撮影時にファインダ画像と構図画像とを重畳表示して位置合わせを行うと共に、前回の撮影画像の撮影条件を今回の撮影条件として設定して、定点撮影を行っている。このような電子カメラは、前回の撮影終了後に元画像の撮影条件と対応させて構図画像を保存し、今回の撮影時に構図を再生表示している。更に、この電子カメラは、前回の撮影画像のうちから構図とする画像を選択し、当該撮影画像を構図化してスルー画像に重畳表示できるとしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−094854号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した技術では、撮影構図の選択をユーザの手動によって行っていたので、構図選択のための操作がユーザにとって煩雑となるものであった。
【0006】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
第1の発明は、撮影画像を取得する画像取得手段と、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、当該被写体検出手段により検出された注目被写体の数を計数する計数手段と、複数の構図を記録した構図記録手段と、前記計数手段によって計数された注目被写体の数に基づいて、前記構図記録手段に記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段と、を備える。
【0008】
第2の発明は、前記撮像画像に含まれている注目被写体について解析する解析手段を更に備え、前記構図選択手段は、前記計数手段によって計数された注目被写体の数に加え、前記解析手段による解析結果に基づいて構図を選択する。
【0009】
第3の発明は、前記撮像画像に含まれている注目被写体の解析方法を複数種記憶する解析方法記憶手段と、当該解析方法記憶手段に記憶される複数種の解析方法から前記解析手段が行うべき解析方法を所定数選択する解析方法選択手段と、を更に備え、前記解析手段は、前記解析方法選択手段によって選択された解析方法で前記注目被写体について解析する。
【0010】
第4の発明は、前記解析方法には、現在日時又は季節に基づく解析、当該撮像装置の縦横姿勢に基づく解析、前記撮像画像に対する各注目被写体の大きさに基づく解析、各注目被写体が登録されているか否かの解析、各注目被写体の年齢に基づく解析、各注目被写体の性別に基づく解析、全注目被写体同士の組み合わせに基づく解析、全注目被写体の位置関係に基づく解析が含まれる。
【0011】
第5の発明は、顔部分を認識する認識手段を更に備え、前記計数手段は、前記認識手段によって認識された顔部分の数を前記注目被写体の数として計数する。
【0012】
第6の発明は、前記構図選択手段によって選択される構図の数を設定する設定手段を更に備える。
【0013】
第7の発明は、予め複数の構図を記録したメモリを有するコンピュータを、撮影画像を取得する画像取得手段、当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段、当該被写体検出手段により検出された注目被写体の数を計数する計数手段、当該計数手段によって計数された注目被写体の数に基づいて、前記メモリに記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段、として機能させる。
【発明の効果】
【0014】
本願発明によれば、撮像画像内の注目被写体の数を計数し、注目被写体の数に基づいて、予め記録した複数の構図からのうち撮像画像全体を記録するための構図を選択するので、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態として示す撮像装置のブロック図である。
【図2】本発明の実施形態として示す撮像装置の全体の処理手順を示すフローチャートである。
【図3】本発明の実施形態として示す撮像装置によるライブビュー画像の表示設定処理の処理手順を示すフローチャートである。
【図4】本発明の実施形態として示す撮像装置による解析処理の処理手順を示すフローチャートである。
【図5】本発明の実施形態として示す撮像装置における利用解析結果情報を示す図である。
【図6】本発明の実施形態として示す撮像装置にて保持する利用解析結果情報及び構図番号を示す図である。
【図7】本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、(a)はライブビュー画像、(b)は注目被写体抽出後のライブビュー画像、(c)はライブビュー画像及び撮影構図パターンを含む画像である。
【図8】図7の具体例において、ライブビュー画像の解析結果及び解析結果同士の比較結果を示す図であり、(a)はライブビュー画像の解析結果、(b)〜(d)は撮影構図パターンの解析結果及び比較結果である。
【図9】本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、(a)は注目被写体抽出後のライブビュー画像、(b)はライブビュー画像及び撮影構図パターンを含む画像である。
【図10】図9の具体例において、ライブビュー画像の解析結果及び解析結果同士の比較結果を示す図であり、(a)はライブビュー画像の解析結果、(b)〜(d)は撮影構図パターンの解析結果及び比較結果である。
【図11】本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、(a)は注目被写体抽出後のライブビュー画像、(b)はライブビュー画像及び撮影構図パターンを含む画像である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について図面を参照して説明する。
【0017】
[撮像装置の構成]
まず、図1を用いて、本発明の実施の形態として示す撮像装置の機能的な構成について説明する。この撮像装置は、撮影時にライブビュー画像を表示させている時に、注目被写体を含む画像全体における撮影構図を選択する構図選択機能を備えたものである。したがって、以下に説明する構図選択装置としての機能は、必ずしも撮像装置に搭載されている実施の形態に限定されず、例えばパーソナルコンピュータに構図選択装置としての機能を実現させることもできる。
【0018】
図1に示すように、撮像装置は、撮像光学系11と、撮像部12と、撮像装置における情報処理を担う情報処理領域13と、撮像装置におけるデータ記録動作を担う記録領域14と、撮像装置における操作入力動作を担う操作入力領域15とを備える。
【0019】
ここで、情報処理領域13,記録領域14,操作入力領域15はそれぞれ、撮像装置において必要な機能を区分して示したものである。情報処理領域13,記録領域14,操作入力領域15はそれぞれ、例えば1チップで構成されていても構わないし、複数のチップで構成されていても構わない。したがって、情報処理領域13,記録領域14,操作入力領域15はそれぞれ、情報処理、データ記録、ユーザの操作入力にとって必要な各種の構成を備えている。情報処理領域13,記録領域14,操作入力領域15内の構成は、図1及び以下に説明する例には限定されず、必要に応じて構成が追加又は削除がされていても本発明の本質的部分を逸脱するものではない。また、情報処理領域13,記録領域14,操作入力領域15内の構成は、近接して設けられていても良く、別個に設けられたものであっても良い。
【0020】
また、撮像装置は、撮像装置のユーザに各種情報を表示するための構成として、メイン表示制御部16と、メイン表示部17とを備える。また、このメイン表示部17には、メインタッチパネル18が内蔵されている。
【0021】
更に撮像装置は、当該撮像装置の付随的な機能として、姿勢検出部19と、計時部20と、音処理部21と、音出力部22とを備える。なお、この撮像装置の付随的な機能は、以下の説明において必要なもののみを示している。
【0022】
撮像光学系11は、主として、モータ、レンズユニット、等からなる。このレンズユニットは、外光を入射するための複数のレンズ群からなる。レンズユニットは、所定範囲の撮像領域の外光をCMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子に結像するための光学系である。ここでは撮像素子はCMOSとするが、CCDであっても構わない。レンズユニットは、図示しないシャッターユニット、絞りユニットを備えている。これらシャッターユニット、絞りユニットは、モータの駆動により合焦位置や絞り位置が移動される。このレンズユニットは、制御部13Aの制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズも備えている。
【0023】
撮像部12は、前述したCMOSなどの撮像素子を含む。CMOSは、例えばRGBの原色系のカラーフィルタを形成している。CMOSは、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。CMOSは、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
【0024】
撮像部12は、制御部13Aによる制御に従って動作するコントローラと、A/D変換処理回路等を含む。この撮像部12におけるコントローラ、後述する情報処理領域13における制御部13Aの制御に従って、撮像光学系11におけるレンズユニット及びCMOSの動作を制御する。A/D変換処理回路は、サンプルホールド回路、A/D変換器を含む。A/D変換処理回路は、CMOSから出力された光電変換出力に所望の処理を施す。具体的には、CMOSからの光電変換出力に対して、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整する。その後、サンプルホールド回路によってサンプルホールドし、A/D変換器によってデジタル撮影画像データに変換し、情報処理領域13における撮像処理部13Cに出力する。
【0025】
情報処理領域13は、情報処理を担う構成として、制御部13Aと、画像圧縮部13Bと、撮像処理部13Cとを備える。
【0026】
撮像処理部13Cは、撮像部12から供給された撮影画像データに対して所定の画像処理を施す。この撮像処理部13Cは、RGBデータとして供給された撮影画像データの変換処理、画素補間処理、γ補正処理、及びマトリックス演算を行う。この撮像処理部13Cによって所定の画像処理が施された撮影画像データは、記録領域14における一時記録装置14Dに供給される。
【0027】
この撮影画像データは、ライブビュー画像として用いられることもあれば、記録用画像として用いられることもある。ここでは、ライブビュー画像として用いるときは、画像サイズをメイン表示部17と同じサイズとするものとし、記録用画像として用いるときは、使用者の所望のサイズとするものとする。
【0028】
制御部13Aは、当該撮像装置を統括して制御する。制御部13Aは、保存記録装置14C中のプログラム記録エリアに記録されたプログラムに従って動作することによって、当該撮像装置に必要な各種の制御を行う。
【0029】
特に、制御部13Aは、保存記録装置14C中のプログラム記録エリアに記録されたプログラムに従った処理を行う。この撮影構図画像を選択するためのプログラムに従って処理を実行することにより、制御部13Aは、撮影画像に含まれている注目被写体を検出する被写体検出処理、当該検出された注目被写体の数を計数する計数手段、当該注目被写体を各種解析する解析処理、計数手段による計数結果と解析手段の解析結果とに基づいて保存記録装置14C中の撮影構図パターン記録エリアに記録された複数の撮影構図パターンのうち注目被写体を含む画像全体における撮影構図パターンを選択する構図選択処理を行う。なお、このような制御部13Aによる撮影構図選択処理の詳細については後述する。
【0030】
そして、制御部13Aは、所定の画面内レイアウトに従って選択された撮影構図パターンをメイン表示部17に表示させる。これにより、撮像装置は、現在撮影しようとしている状況における注目被写体にとって好ましい撮影構図パターンを、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像に重畳させて提示することができる。
【0031】
画像圧縮部13Bは、制御部13Aの制御に応じて、一時記録装置14Dに格納された撮影画像データに対してJPEG(Joint Photograph coding Experts Group)規格に従ったADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)処理を行って、データ圧縮をする。この圧縮済みのデータは、外部記録用のデータとして記録領域14における外部記録装置14Bに記録される。
【0032】
記録領域14は、データ記録を担う構成として、外部記録装着部14A、外部記録装置14B、保存記録装置14C及び一時記録装置14Dを備えている。外部記録装着部14A及び外部記録装置14Bは、記録媒体であるメモリーカードの記録再生装置からなる。保存記録装置14Cは、不揮発性メモリからなる。一時記録装置14Dは、揮発性メモリからなる。
【0033】
外部記録装着部14Aは、外部記録装置14Bによって記録再生可能な外部記録媒体(メモリーカード)が着脱可能な構造を有している。外部記録装置14Bは、撮像装置に備えられたメモリーカードの記録再生機構を含む。この外部記録装置14Bは、制御部13Aの制御に従って、当該撮像装置によって撮像された撮影画像データをメモリーカードに記録する。また、外部記録装置14Bは、制御部13Aの制御に従って、メモリーカードに記録された撮影画像データを再生して出力する。
【0034】
保存記録装置14Cは、撮影構図パターン記録エリアを含む。撮影構図パターン記録エリアは、複数の撮影構図パターンを記録する構図記録手段として機能する。この撮影構図パターンは、画像全体における注目被写体の配置を示す。撮影構図パターンは、撮影画像内に含まれる注目被写体の数に応じてそれぞれ異なったものとなる。また、この撮影構図パターンは、注目被写体の数のみならず、「撮影を行う現在日時又は季節、当該撮像装置の縦横姿勢、撮像画像に対する各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」に応じて、異なるものであっても良い。撮影構図パターン記録エリアは、複数の撮影構図パターンをテーブル化した、構図パターンテーブルとして記録している。この撮影構図パターン記録エリアに記録された撮影構図パターンは、制御部13Aの制御に従って選択される。
【0035】
なお、この撮像装置は、撮影構図パターン記録エリアに撮影構図パターンを示す構図パターンデータを記録しているが、この実施形態に限られず、構図パターンデータを通信回線を介してダウンロードして、後述するように複数の撮影構図パターンのうち何れかの撮影構図パターンを決定しても良い。
【0036】
操作入力領域15は、ユーザが操作を入力するための構成として、撮像指示部15A、決定指示部15B、モード設定部15C、移動操作部15D、メニュー操作部15E、電源操作部15Fを備えている。
【0037】
操作入力領域15における各部15A〜15Fは、当該撮像装置のユーザによって操作される。操作入力領域15における各部15A〜15Fは、押圧釦、十字キーなどによって構成されるキー群である。なお、図1においては、操作入力領域15における各部15A〜15Fを機能的に区分して示しているが、単一の釦や十字キーに複数の役割を与えても良いことは勿論である。操作入力領域15における各部15A〜15Fは、制御部13Aに接続されており、各釦の操作内容を示す操作信号が制御部13Aによって読み込まれる。
【0038】
メイン表示制御部16は、一時記録装置14Dに格納された撮影画像データを定期的に読み出し、これらのデータを元にビデオ信号を発生してメイン表示部17に出力する。また、メイン表示制御部16は、制御部13Aから撮影構図パターンが選択された場合に、当該撮影構図パターンを表す撮影構図画像が供給される。そして、メイン表示制御部16は、現在において撮像装置が取得しているリアルタイムのライブビュー画像と共に、所定のレイアウトによって撮影構図パターンの画像データをメイン表示部17に供給する。
【0039】
メイン表示部17は、図示しないが、撮像装置の筐体の背面側に設けられている。メイン表示部17は、撮影モード時にはモニタ表示部(電子ファインダ)として機能する。この撮影モード時において、メイン表示部17は、メイン表示制御部16からのビデオ信号に基づいた表示を行う。これにより、撮像装置は、その時点でメイン表示制御部16から取り込んでいるライブビュー画像をリアルタイムに表示する。また、メイン表示部17は、ライブビュー画像に、撮影構図画像を含む表示データが供給された時には、ライブビュー画像と共に撮影構図画像を表示する。
【0040】
このように、メイン表示部17に、その時点での撮影画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像の表示状態で、撮像装置は、撮像可能な状態となる。そして、撮影を行いたいタイミングで、撮像指示部15Aが操作されると、制御部13Aに対して半押し状態又は全押し状態を表すトリガ信号が発生される。制御部13Aは、このトリガ信号に応じて、その時点で撮像光学系11のから取り込んでいる1画面分の撮影画像データを一時記録装置14Dに格納させる。
【0041】
メインタッチパネル18は、メイン表示部17の表示面に内蔵されている。メインタッチパネル18は、メイン表示部17の表示面に対する押圧位置を座標データとして出力する。この座標データは、制御部13Aによって読み取られる。制御部13Aは、現在にメイン表示部17に表示させているメニュー画面等の表示状態と、座標データとに基づいて、メインタッチパネル18に対してユーザが行った操作を識別し、当該操作に従った制御を行う。このメインタッチパネル18は、撮影構図を決定するためにライブビュー画像内の注目被写体を採用するか否かを決定する際に、ユーザによって注目被写体の選択又は非選択を設定可能にするものである。
【0042】
姿勢検出部19は、撮像装置自体の姿勢を検出する。姿勢検出部19は、撮像装置が縦方向であるか横方向であるかの姿勢情報を生成して、制御部13Aに供給する。姿勢検出部19は、例えば球状物が撮像装置の姿勢によって移動し、当該球状物の位置を光学的に検出する構成など、既知の技術を用いることによって実現できる。
【0043】
計時部20は、撮像装置のタイマ、カレンダー機能によって実現される。計時部20によって計時している、年、月、日、時刻を示す計時情報が制御部13Aによって読み取られる。
【0044】
音処理部21は、小型スピーカである音出力部22から所定のシャッター音、選択した構図で撮像を行うための案内音声などを出力させる。音出力部22から音を出力するための音データは、制御部13Aから音処理部21に供給される。音処理部21は、供給された音データを用いて音出力部22を駆動させる。このような音処理部21及び音出力部22は、制御部13Aの制御に従って、撮影構図をライブビュー画像と共に表示させると共に、音声によって撮影構図を指示することができる。このとき音出力部22は、注目被写体と撮影構図画像との差異を演算し、当該差異を小さくするために、例えば「カメラを右(又は左、上、下)へ向けてください」、「ズームイン(又はズームアウト)してください」との音声を音出力部22から出力させる。
【0045】
[撮像装置の全体処理]
このように構成された撮像装置は、当該撮像装置がユーザに把持されて被写体を撮像する操作が行われる時に、図2乃至図4に示す処理を行うことによって、撮影構図選択処理を含む処理を実行する。
【0046】
撮像装置は、先ずステップS1にて、制御部13Aによって、現在の撮影モードの設定状態を読み出す。次のステップS2において、制御部13Aは、メニュー操作部15Eが操作されたことによるメニュー画面の表示指示命令が発生したか否かを判定する。メニュー画面の表示指示命令が発生していない場合には、ステップS4に処理を進める。メニュー画面の表示指示命令が発生した場合には、ステップS3にて、メニュー画面を表示させ、当該メニュー画面に応じて決定指示部15Bや移動操作部15Dが操作されたことに対する動作を行うメニュー処理を行って、ステップS4に処理を進める。このメニュー処理としては、例えば撮像装置自体の撮影モードの変更、画像処理の設定変更、フラッシュ動作の設定変更などが挙げられる。
【0047】
次のステップS4において、撮像装置は、ライブビュー画像の撮影処理を行う。この撮影処理は、撮像光学系11及び撮像部12によって撮像したRGBデータを撮像処理部13Cが取り込み、所定の画像処理を施した撮影画像データを一時記録装置14Dに格納する。この所定の画像処理としては、自動ホワイトバランス処理などが含まれる。そして、制御部13Aは、一時記録装置14Dに格納された撮影画像データを所定期間ごとにメイン表示制御部16によって取り込ませ、メイン表示部17に表示させる。これにより、撮像装置が撮像しているリアルタイムのライブビュー画像をメイン表示部17に表示させることができる。
【0048】
次のステップS5において、制御部13Aは、ライブビュー画像と共に表示する撮影構図の案内情報を設定する。この撮影構図の案内情報は、現在のライブビュー画像にて好ましい撮影構図で撮像を行わせる時に、ユーザに提示する情報である。この案内情報は、後述する図7における撮影構図パターン102A〜102Cに相当する。このような案内情報を提示するために、制御部13Aは、現在のライブビュー画像に対して好ましい撮影構図パターンを選択する構図選択処理を行う。また、ステップS5において、制御部13Aは、例えば注目被写体の顔部分に表示されるフォーカス枠の設定、画面内に升目状のグリッド表示を行うための設定を行う。
【0049】
次のステップS6において、制御部13Aは、メイン表示部17にライブビュー画像を表示させる。このとき、制御部13Aは、ステップS5にて設定された案内情報を表示させても良い。これにより、ユーザは、現状のライブビュー画像を撮像するために、案内情報を見ながら、撮像装置が選択した撮影構図に従って撮像を行うことができる。
【0050】
次のステップS7において、制御部13Aは、シャッター釦である撮像指示部15Aが半押し操作されたことを示す半押しフラグがオンとなっているか否かを判定する。この半押しフラグは、撮像指示部15Aが半押し操作された状態において、制御部13Aによってオンとされる。半押しフラグがオンとなっている場合にはステップS11に処理を進め、半押しフラグがオンとなっていない場合にはステップS8に処理を進める。
【0051】
ステップS8において、制御部13Aは、撮像指示部15Aが半押し操作されたトリガ信号を検出したか否かを判定する。トリガ信号を検出していない場合には、ステップS11に処理を進める。そしてステップS11において、制御部13Aは、通常撮影モードが終了している場合には処理を終了し、そうでない場合にはステップS2に処理を戻す。
【0052】
一方、トリガ信号を検出した場合には、ステップS9に処理を進める。制御部13Aは、ステップS9において半押しフラグをオン状態にし、ステップS10において基本撮影条件の設定処理を行う。この基本撮影条件の設定処理は、例えば通常撮影モードにて設定されているフォーカス状態、フラッシュ状態、画像処理についての設定処理を行う。ステップS10の後には、ステップS11に処理を進める。
【0053】
ステップS12において、制御部13Aは、撮像指示部15Aが操作されていることによるトリガ信号を監視し、半押し状態が維持されているか否かを判定する。半押し状態が維持されている場合にはステップS14に処理を進める。半押し状態が維持されていない場合にはステップS13において、半押しフラグをオフとしてステップS14に処理を進める。
【0054】
ステップS14において、制御部13Aは、撮像指示部15Aからのトリガ信号によって全押し状態にまで操作されたか否かを判定する。全押しを検出した場合にはステップS15に処理を進め、全押しを検出していない場合にはステップS11に処理を進める。
【0055】
ステップS15において、撮像光学系11、撮像部12、撮像処理部13C及び画像圧縮部13Bによって、記録用画像の撮影処理を行う。この記録用画像の撮影処理は、撮像処理部13Cの制御に従って、所定の画像処理が施された撮影画像データに対して、画像圧縮部13Bによって所定のデータ圧縮処理を施す。この所定の画像処理としては、自動ホワイトバランス処理などが含まれる。そして、ステップS16において、外部記録装置14Bは、画像圧縮部13Bによって圧縮された記録用の撮影画像をメモリーカードに記録する。
【0056】
次のステップS17において、制御部13Aは、ステップS16にてメモリーカードに記録した撮影画像を、メイン表示部17に確認のために表示させるようにメイン表示制御部16を制御する。その後、制御部13Aは、ステップS18において、半押しフラグをオフにして、処理をステップS11に戻す。
【0057】
「ライブビュー画像の表示設定処理」
つぎに、図2を参照して説明した撮像装置の全体動作におけるステップS5のライブビュー画像表示設定処理について、図3を参照して説明する。
【0058】
このライブビュー画像表示設定処理は、先ずステップS21において、制御部13Aにより、撮影構図画像のセットを設定するタイミングであるか否かを判定する。この設定タイミングか否かは、撮像装置が起動している最中における所定時間ごと、ライブビュー画像の撮影回数ごと、ライブビュー画像の絵柄に大きな変化を検出したタイミングなどを判定する。所定時間ごとか否かは、計時部20の計時情報を参照して制御部13Aが判断する。ライブビュー画像の撮影回数ごとかは、一時記録装置14Dによって撮像されたライブビュー画像をメイン表示制御部16によって更新する回数を制御部13Aによって判断する。ライブビュー画像の絵柄に大きな変化を検出したタイミングは、一時記録装置14Dに一時記録されたライブビュー画像の時系列的な差分を制御部13Aによって演算することによって判断される。撮影構図画像のセットの設定タイミングであると判定した場合にはステップS22に処理を進め、そうではない場合には処理を終了する。
【0059】
ステップS22において、制御部13Aは、ライブビュー画像を用いたパターンマッチングを行うことにより、注目被写体を検出する。このとき、制御部13Aは、予め保存記録装置14Cに記録されていた人物全体、人物の顔のパターン画像を読み出し、ライブビュー画像と比較する。その結果、制御部13Aは、ライブビュー画像に含まれる人物、当該人物の顔を抽出することができる。この抽出結果は、注目被写体ごとに生成される。
【0060】
次のステップS23において、制御部13Aは、ライブビュー画像に含まれる注目被写体の状態の解析処理、撮影構図を決定するために必要な情報の解析処理を行う。撮影構図を決定するために必要な情報の解析処理とは、姿勢検出部19によって計時している現在日時又は季節を取得する処理、姿勢検出部19により検出される縦横姿勢を取得する処理などが挙げられる。ライブビュー画像に含まれる注目被写体の状態の解析処理とは、「各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか否か、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」を取得する処理が挙げられる。この解析処理においては、注目被写体の数を含む少なくとも2つの解析結果を得ることが望ましい。
【0061】
このような解析処理は、例えば図4に示すように、ステップS31からステップS39の順序に沿って実行される。この解析処理の処理順序は、処理負荷が軽い処理を優先して行う。すなわち、ステップS31にて計時部20で計時している日付・期間の解析処理を行って解析結果Aを取得し、ステップS32にて姿勢検出部19にて検出している撮像装置の縦横状態の解析処理を行って解析結果Bを取得する。ステップS33以降は、制御部13Aによって行われる、ステップS22にて抽出された注目被写体を用いた解析処理である。ステップS33は、各注目被写体に係る大きさを解析して解析結果Cを取得する。ステップS34は、全注目被写体に係る被写体数を解析して解析結果Dを取得する。ステップS35は、各注目被写体に係る登場人物が登録人物として登録されているか否かを解析して解析結果Eを取得する。ステップS36は、各注目被写体に係る年齢を解析して解析結果Fを取得する。ステップS37は、各注目被写体に係る性別を解析して解析結果Gを取得する。ステップS38は、全注目被写体に係る組み合わせを解析して解析結果Hを取得する。ステップS39は、全注目被写体に係る位置関係を解析して解析結果Iを取得する。
【0062】
次のステップS24において、制御部13Aは、ステップS23にて取得した解析結果と、ユーザの操作によって設定される利用解析結果情報Rとに基づいて、ユーザに対して撮影構図の候補として提示する複数の撮影構図である撮影構図セットを設定する。この撮影構図セットの設定により、構図選択処理が実現されている。利用解析結果情報Rの設定処理は、構図画像撮影モード開始時に、当該利用解析結果情報Rを選択するメニュー画面を表示し、ユーザが移動操作部15Dにて選択して決定指示部15Bにて決定した操作に従って、利用解析結果情報Rが決定される。ここで、利用解析結果情報R及び構図番号Nは、初期段階において、図6に示すようにフラグデータとして保存記録装置14Cに記録されている。
【0063】
利用解析結果情報Rは、図5に示すように、当該利用解析結果情報Rの識別番号「1」〜「9」に対応して、撮影構図セットを設定するために利用する解析結果が設定されている。このような利用解析結果情報Rは、その全てにおいて、各種の解析結果のうち全注目被写体に係る被写体数を示す解析結果Dを用いるように設定されている。利用解析結果情報Rの識別番号が「1」に操作されている場合には、解析結果Dである注目被写体の数のみを用いて撮影構図セットを設定する。そして、利用解析結果情報Rの識別番号が高くなるほど、注目被写体の数とは異なる解析結果を加重して撮影構図セットを設定する。この利用解析結果情報Rの設定処理により、ユーザの操作によって生じた信号に基づいて、解析結果の種類又は数を決定できる。
【0064】
利用解析結果情報Rが設定されると、当該利用解析結果情報Rが特定されステップS23にて求められたライブビュー画像の解析結果と、予め保存記録装置14Cに保存された撮影構図パターンについて設定されている解析結果とを比較する。ステップS23にて求められたライブビュー画像の解析結果と、撮影構図パターンについて設定されている解析結果とが近似しているほど、現在のライブビュー画像に合致した撮影構図パターンである。制御部13Aは、ステップS23にて求めたライブビュー画像の解析結果に近似している解析結果の撮影構図パターンを複数選択して、撮影構図セットを設定する。
【0065】
また、このステップS24においては、ユーザにより設定された利用解析結果情報Rに基づいて設定された撮影構図セットのうち、撮影構図パターン間の優先順位(提示順番)を決定する。この優先順位は、ステップS23にて求めたライブビュー画像の解析結果に近似している撮影構図パターンほど、高くされる。なお、この優先順位の決定処理については、具体的なライブビュー画像及び解析結果を用いて説明するものとする。
【0066】
そして、制御部13Aは、決定した優先順位の高い所定数(例えば「3」個)の撮影構図パターンの画像を保存記録装置14Cから読み出して、メイン表示制御部16に供給する。これにより、メイン表示制御部16は、供給された撮影構図パターンの画像とライブビュー画像とを組み合わせた表示用画像を作成して、メイン表示部17に表示させることができる。なお、メイン表示制御部16は、図7に示したように撮影構図パターン102A〜102Cのうち優先順位が高いものを画面内上部に表示させる例のみならず、他の表示形態であっても良く、優先順位の最も高い撮影構図パターンのみをライブビュー画像に重畳させても良い。
【0067】
次のステップS25において、制御部13Aは、利用解析結果情報Rと、ユーザの操作によって決定される撮影構図パターンの構図番号Nとに基づいて、現在のライブビュー画像に対して選択した撮影構図パターンの画像を決定する。このとき、撮像装置では、ステップS24にて設定した撮影構図セットをメイン表示部17に表示させた状態で、ユーザが移動操作部15Dによって何れかの撮影構図パターンを選択し決定指示部15Bによって決定されたことにより、撮影構図パターンの構図番号Nが決定される。このような処理により、フラグデータとして記録されている構図番号Nが変更される。
【0068】
以上説明したライブビュー画像の表示設定処理によれば、撮像光学系11及び撮像部12によって撮影画像を取得してメイン表示部17にライブビュー画像を表示する時に、ライブビュー画像に含まれている注目被写体を検出し(ステップS22)、当該検出された注目被写体の数を判断する(ステップS23)。そして、撮像装置は、予め保存記録装置14Cに記録された複数の撮影構図パターンのうち撮像画像全体を記録するための撮影構図パターンを、注目被写体の数に基づいて選択することができる(ステップS24,ステップS25)。
【0069】
このように撮影構図パターンを選択した後(ステップS24)、選択した撮影構図パターンをメイン表示部17に表示させることにより、実際の撮像画像全体の撮影に用いる撮影構図パターンをユーザに選択させることができる。
【0070】
以上詳細に説明したように本発明の実施形態として示す撮像装置によれば、ライブビュー画像内の注目被写体の数を判断し、注目被写体の数に基づいて、予め記録した複数の構図からのうち撮像画像全体を記録するための構図を選択するので、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。
【0071】
また、この撮像装置によれば、「現在日時又は季節、当該撮像装置の縦横姿勢、撮像画像に対する各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか否か、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」のうち少なくとも一つの解析結果に基づいて、複数の構図を選択するので、より好ましい撮影構図を選択することができる。
【0072】
更に、この撮像装置によれば、複数の構図を選択した場合に、当該複数の構図における提示順番(優先順位)を設定するので、より好ましい撮影構図を優先してユーザに提示することができる。
【0073】
更にまた、この撮像装置によれば、ユーザが操作した信号に基づいて、解析結果の種類又は数を決定するので、ユーザの指示に沿った好ましい撮影構図を選択することができる。
【0074】
更にまた、この撮像装置によれば、注目被写体の顔部分の数に基づいて構図を選択するので、人物の撮像に好ましい撮影構図を選択して、ユーザに提示することができる。
【0075】
「構図選択の具体的説明」
つぎに、上述したような動作を行う撮像装置において、具体的なライブビュー画像を参照して、撮影構図を選択する処理について説明する。
【0076】
図7は、父、母、子供からなるファミリーを撮像する場合を示している。
【0077】
図7(a)に示すライブビュー画像100を表示している状態にて、撮影構図セットの設定タイミングとなると(ステップS21)、制御部13Aによって、当該ライブビュー画像100からパターンマッチングによって注目被写体を抽出する処理を実行する(ステップS22)。注目被写体の抽出処理は、予め保存記録装置14Cに記録しておいた人物顔部分のパターン画像と、ライブビュー画像100とでパターンマッチングを行う。
【0078】
パターンマッチングの結果、制御部13Aは、図7(b)に示すように人物の顔部分を検出することができる。この注目被写体の抽出処理によって、制御部13Aは、人物の顔部分を表す注目被写体枠101を表示するようにメイン表示制御部16を制御し、メイン表示制御部16によってライブビュー画像100に注目被写体枠101を重畳表示させる。なお、注目被写体枠101は、ライブビュー画像100において注目被写体が動いたことに対して追従することとなる。
【0079】
制御部13Aは、注目被写体の抽出後、当該注目被写体の解析処理を行う。ここで、この注目被写体の解析処理は、注目被写体枠101内の注目被写体画像を用い、図4に示した全解析処理を行って、解析結果A〜Iを得るものとする。なお、注目被写体枠101内の画像データに限らず、人物全体を解析処理の対象データとしても良い。
【0080】
この解析結果は、図8(a)のようになり、注目被写体の数(解析結果D)は「3人」、注目被写体の大きさ(解析結果C)は「中サイズ2人、小サイズ1人」、撮像装置の姿勢(解析結果B)は「横」、注目被写体の登場人物が登録人物として登録されているか否か(解析結果E)は「父親、母親、子供」が登録されている、注目被写体の位置関係(解析結果I)は「3つの顔(注目被写体)が略水平に並んでいる」、注目被写体の性別(解析結果G)は「男2人、女1人」、注目被写体の年齢(解析結果F)は「大人2人、子供1人」、注目被写体の組み合わせ(解析結果H)は「父親、子供、母親」、日付・期間(解析結果A)は「10月」となる。そして、この解析結果A〜Iは、保存記録装置14Cに記録された撮影構図パターンについて設定されている解析結果と比較とされる。
【0081】
解析結果同士の比較の結果、図7(c)に示す撮影構図パターン102A、102B、102Bを含む撮影構図セットを選択することができる。撮影構図パターン102Aの解析結果は図8(b)のようになっており、撮影構図パターン102Bの解析結果は図8(c)のようになっており、撮影構図パターン102Cの解析結果は図8(d)のようになっている。撮影構図パターン102A、102B、102Cの解析結果として日付・期間(解析結果A)は設定されていないので、ライブビュー画像100から得た解析結果Aとの比較は行われない。なお、撮影構図パターンの解析結果は、解析結果A〜Iのうち、少なくとも注目被写体の数(解析結果D)が含まれていれば良い。
【0082】
ライブビュー画像100から得た解析結果と撮影構図パターン102Aの解析結果との比較結果は、図8(b)に示すようになり、注目被写体の組み合わせ(解析結果H)以外は、完全一致(◎)する。ライブビュー画像100から得た解析結果と撮影構図パターン102Bの解析結果との比較結果は、図8(c)に示すようになり、注目被写体の位置関係(解析結果I)が略不一致(△)であり、注目被写体の組み合わせ(解析結果H)が略一致(○)であることを除いて、完全一致(◎)する。ライブビュー画像100から得た解析結果と撮影構図パターン102Cの解析結果との比較結果は、図8(d)に示すようになり、撮像装置の縦横状態(解析結果B)が不一致(×)であり、注目被写体の位置関係(解析結果I)が略一致(○)であり、注目被写体の組み合わせ(解析結果H)が略一致(○)であることを除いて、完全一致(◎)となる。
【0083】
このような比較結果から分かるように、撮影構図パターン102A〜102Cの解析結果うち、ライブビュー画像100から得た解析結果と最も近似しているのは、図8(b)に示した撮影構図パターン102Aの解析結果である。撮影構図パターン102Aの解析結果の次に、撮影構図パターン102Bの解析結果がライブビュー画像100の解析結果と近似する。撮影構図パターン102Bの解析結果の次に、撮影構図パターン102Cの解析結果がライブビュー画像100の解析結果と近似する。従って、制御部13Aは、撮影構図パターン102Aの優先順位が最も高く、撮影構図パターン102B、撮影構図パターン102Cの順に優先順位を低く設定することができる。
【0084】
このような構図選択処理を含むライブビュー画像の表示設定処理によれば、ライブビュー画像100に隣接して、3つの撮影構図パターン102A〜102Cを表示することができる。そして、移動操作部15Dの操作を制御部13Aが認識して何れかの撮影構図パターンが選択され、決定指示部15Bの操作を制御部13Aが認識すると、当該選択された撮影構図パターンの構図番号Nが決定される。
【0085】
その後、撮像装置は、例えば、決定された構図番号Nの撮影構図パターンをライブビュー画像100に重畳表示する処理、音出力部22からカメラ方向やズームの案内音声を出力する処理を行う。これにより、ライブビュー画像100を撮影構図パターンに近づけさせることができる。
【0086】
他の具体例を図9に示す。図9(a)に示すライブビュー画像100は、入学式での小学生を撮像する時のものを示している。
【0087】
図9(a)に示すライブビュー画像100に対してパターンマッチングを行うと、図9(b)に示すように人物の顔部分を検出することができ、当該顔部分が注目被写体と認識される。そして、制御部13Aは、注目被写体の抽出後に当該注目被写体の解析処理を行い、図10(a)に示す解析結果A〜Iを得ることができる。
【0088】
ライブビュー画像100の解析結果は、図10(a)のようになり、注目被写体の数(解析結果D)は「1人」、注目被写体の大きさ(解析結果C)は「中サイズ1人」、撮像装置の姿勢(解析結果B)は「横」、注目被写体の登場人物が登録人物として登録されているか否か(解析結果E)は「子供」が登録されている、注目被写体の位置関係(解析結果I)は「右上に位置」、注目被写体の性別(解析結果G)は「男1人」、注目被写体の年齢(解析結果F)は「子供1人」、注目被写体の組み合わせ(解析結果H)は「上記のように子供1人」、日付・期間(解析結果A)は「4月上旬」となる。そして、この解析結果A〜Iは、保存記録装置14Cに記録された撮影構図パターンについて設定されている解析結果とを比較とされる。
【0089】
解析結果同士の比較の結果、図9(b)に示す撮影構図パターン102A、102B、102Bを含む撮影構図セットを選択することができる。撮影構図パターン102Aの解析結果は図10(b)のようになっており、撮影構図パターン102Bの解析結果は図10(c)のようになっており、撮影構図パターン102Cの解析結果は図10(d)のようになっている。なお、撮影構図パターンの解析結果は、解析結果A〜Iは、少なくとも注目被写体の数(解析結果D)が含まれていれば良い。
【0090】
ライブビュー画像100から得た解析結果と撮影構図パターン102Aの解析結果との比較結果は、図10(b)に示すようになる。ライブビュー画像100から得た解析結果と撮影構図パターン102Bの解析結果との比較結果は、図10(c)に示すようになる。ライブビュー画像100から得た解析結果と撮影構図パターン102Cの解析結果との比較結果は、図10(d)に示すようになる。
【0091】
このような比較結果から分かるように、撮影構図パターン102A〜102Cの解析結果うち、ライブビュー画像100から得た解析結果と最も近似しているのは、撮影構図パターン102Aの解析結果である。従って、制御部13Aは、撮影構図パターン102Aの優先順位が最も高く、撮影構図パターン102B、撮影構図パターン102Cの順に優先順位を低く設定することができる。特に、撮像装置は、現在の時期に合致した入学式シーズン用の撮影構図パターンを選択することができる。
【0092】
このような構図選択処理を含むライブビュー画像の表示設定処理によれば、注目被写体の数が「1人」であっても、現在の時期、登録人物などの他の解析結果を組み合わせて、好ましい撮影構図パターンを提示することができる。
【0093】
更に他の具体例を図11に示す。図11に示すライブビュー画像100は、多数の人物が一列に並んだ様子を撮像したものである。
【0094】
このようなライブビュー画像100に対してパターンマッチングを行うことにより、図11(a)に示すような略直線状に並んで注目被写体としての人物の顔部分を抽出することができる。このような注目被写体に対して解析処理を行うことにより、制御部13Aは、注目被写体の数(解析結果D)が多数である解析結果、注目被写体の位置関係(I)が一列である解析結果を得ることができる。
【0095】
このような解析結果に対し、制御部13Aは、注目被写体の位置関係を表す撮影構図パターンを保存記録装置14Cから読み出す。そして、各注目被写体の位置関係を表す撮影構図パターンと、ライブビュー画像100から得た解析結果との比較を行う。その結果、図11(b)に示すように、多数の注目被写体の位置関係を表す撮影構図パターン102A〜102Cとして表示することができる。
【0096】
このような構図選択処理を含むライブビュー画像の表示設定処理によれば、注目被写体の数が「多数」であっても、当該注目被写体の位置関係のうちで好ましい撮影構図パターンを提示することができる。
【0097】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【符号の説明】
【0098】
11 撮像光学系
12 撮像部
13 情報処理領域
13A 制御部
13B 画像圧縮部
13C 撮像処理部
14 記録領域
14A 外部記録装着部
14B 外部記録装置
14C 保存記録装置
14D 一時記録装置
15 操作入力領域
15A 撮像指示部
15B 決定指示部
15C モード設定部
15D 移動操作部
15E メニュー操作部
15F 電源操作部
16 メイン表示制御部
17 メイン表示部
18 メインタッチパネル
19 姿勢検出部
20 計時部
21 音処理部
22 音出力部
100 ライブビュー画像
101 注目被写体枠
102A〜102C 撮影構図パターン

【特許請求の範囲】
【請求項1】
撮影画像を取得する画像取得手段と、
当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段と、
当該被写体検出手段により検出された注目被写体の数を計数する計数手段と、
複数の構図を記録した構図記録手段と、
前記計数手段によって計数された注目被写体の数に基づいて、前記構図記録手段に記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段と、
を備えることを特徴とする構図選択装置。
【請求項2】
前記撮像画像に含まれている注目被写体について解析する解析手段を更に備え、
前記構図選択手段は、前記計数手段によって計数された注目被写体の数に加え、前記解析手段による解析結果に基づいて構図を選択することを特徴とする請求項1に記載の構図選択装置。
【請求項3】
前記撮像画像に含まれている注目被写体の解析方法を複数種記憶する解析方法記憶手段と、
当該解析方法記憶手段に記憶される複数種の解析方法から前記解析手段が行うべき解析方法を所定数選択する解析方法選択手段と、
を更に備え、
前記解析手段は、前記解析方法選択手段によって選択された解析方法で前記注目被写体について解析することを特徴とする請求項2に記載の構図選択装置。
【請求項4】
前記解析方法には、現在日時又は季節に基づく解析、当該撮像装置の縦横姿勢に基づく解析、前記撮像画像に対する各注目被写体の大きさに基づく解析、各注目被写体が登録されているか否かの解析、各注目被写体の年齢に基づく解析、各注目被写体の性別に基づく解析、全注目被写体同士の組み合わせに基づく解析、全注目被写体の位置関係に基づく解析が含まれることを特徴とする請求項3に記載の構図選択装置。
【請求項5】
顔部分を認識する認識手段を更に備え、
前記計数手段は、前記認識手段によって認識された顔部分の数を前記注目被写体の数として計数することを特徴とする請求項1乃至請求項4の何れか一項に記載の構図選択装置。
【請求項6】
前記構図選択手段によって選択される構図の数を設定する設定手段を更に備えることを特徴とする請求項1乃至請求項5の何れか一項に記載の構図選択装置。
【請求項7】
予め複数の構図を記録したメモリを有するコンピュータを、
撮影画像を取得する画像取得手段、
当該画像取得手段によって取得された撮影画像に含まれている注目被写体を検出する被写体検出手段、
当該被写体検出手段により検出された注目被写体の数を計数する計数手段、
当該計数手段によって計数された注目被写体の数に基づいて、前記メモリに記録された複数の構図のうち前記撮像画像全体を記録するための構図を選択する構図選択手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−102467(P2013−102467A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2012−278810(P2012−278810)
【出願日】平成24年12月21日(2012.12.21)
【分割の表示】特願2009−1579(P2009−1579)の分割
【原出願日】平成21年1月7日(2009.1.7)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】