撮像装置
【課題】容易に持ち運びできる撮像装置において、対象となる被写体が、適切な大きさに配置された複数の画角の画像を自動的に得られるようにする。
【解決手段】対象となる被写体である人物を撮影する際に、画像中で検出した特定部分である顔とその大きさ及び位置に基づいて、その人物の顔が画像中で所定の大きさ及び位置となるようにレンズ部のズーム倍率及び光軸シフト部による光の入射位置のシフト量を自動的に制御し、撮影する。
【解決手段】対象となる被写体である人物を撮影する際に、画像中で検出した特定部分である顔とその大きさ及び位置に基づいて、その人物の顔が画像中で所定の大きさ及び位置となるようにレンズ部のズーム倍率及び光軸シフト部による光の入射位置のシフト量を自動的に制御し、撮影する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画角の調整が可能な撮像装置及びその撮影方法に関するもので、特に対象とする被写体に対して自動的な画角の調整を行う撮影方法に関する。
【背景技術】
【０００２】
各種デジタル技術の発展に伴い、デジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置が現在広く普及しており、ＣＣＤ（Charge Coupled Device）
やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の
画素数の向上により高精細な画像が撮影できるようになっている。さらに、光学ズームレンズを備え、オートフォーカス機能を有するものも一般的となっており、カメラに慣れていない人でも広角や望遠に自由にズーム倍率を設定して画角を変更しつつ、しかもピントの合った画像を容易に撮影できるようになっている。
【０００３】
しかし、撮影の際の構図の設定は、特に撮影の初心者にとって難しく、対象とした被写体が大きすぎたり小さすぎたり、関係のない後景がその被写体よりも広く写っていたりと、撮影後に画像を観察すると撮影者の意図したような構図で撮影できていないことがある。
【０００４】
そこで、例えば特許文献１ではズームレンズを備えたカメラで、撮影時に設定されているズーム倍率の他に複数のズーム倍率でも自動的に撮影して、広角、望遠及びその中間の画角の画像を一度に得られるようにし、撮影者が撮影後に適切な画角の画像を選択できるようにする撮影方法が提案されている。
【０００５】
特許文献２では、ズームレンズを備えたデジタルカメラで、撮影時に設定されているズーム倍率よりも広角側にズーム倍率を変更して撮影し、その広い画角の画像から、撮影者の意図した撮影範囲の画像と、撮影者の設定したズーム倍率であって撮影者の意図した撮影範囲からずらした撮影範囲の画像を自動的に切り出して生成し、撮影者が適当な撮影範囲の画像を選択できるようにする方法が提案されている。
【０００６】
又、特許文献３では、特に人物を被写体とし、目、耳、鼻等の顔の特徴部分を検出する手段を用いて検出した顔の特徴部分がフレーム内の基準領域内に位置するように、移動機構によってカメラの位置、姿勢を制御して、撮影される顔の位置及び大きさを制御する方法が提案されている。
【特許文献１】特開平６−２２２６３号公報
【特許文献２】特開２００４−１０９２４７号公報
【特許文献３】特開２００５−１１７３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１で提案された方法では、対象とする被写体の画像内での位置を考慮せず、ズーム倍率を変えて撮影するだけであるため、自動的に撮影された画像が対象となる被写体が下の方に偏っていたり、画像の縁で切れてしまったりしたものとなる可能性がある。
【０００８】
又、特許文献２で提案された方法では、画像を切り出すため、従来の固体撮像素子をそのまま使ったのでは、得られる画像は従来よりも精細さの劣るものとなる。一方、従来の画像の精細さを維持するためには固体撮像素子を従来よりも大きなものとしなければならず、撮像装置の大型化が避けられない。
【０００９】
特許文献３で提案された方法では、１箇所に固定されたカメラを用いるものであり、カメラの位置、姿勢の制御するための移動機構が回転モータやチルトモータなどの多くのモータ等を備えた大掛かりなものであるため、持ち運びには適さない。
【００１０】
そこで、本発明は、対象とする被写体が適切な大きさに配置され、かつ変化に富んだ複数の画角の画像を容易に得られ、又、容易に持ち運びできる撮像装置及びこのような撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の撮像装置は、撮像信号を出力する撮像部と、該撮像信号に対応する画像から被写体である人物の顔領域を検出する顔検出部と、前記画像上において、前記顔検出部で検出された顔領域が水平方向の中心付近に存在する場合には、前記顔領域が水平方向の中心から左方向又は右方向にずれるように制御する制御部と、を備えたことを特徴とする。撮像部としては、レンズ及びレンズから入射した光を電気信号に光電変換する固体撮像素子を用いることができる。第１制御部と第２制御部とは同一の制御装置であっても構わない。又、前記対象となる被写体の特定部分を、所定の大きさとする方法としてはレンズのズーム機能を用いることができ、所定の位置とする方法としては光軸シフト機能や画像のトリミングを用いることができる。
【００１２】
又、本発明の撮像装置は、光学ズーム機能を有するレンズを備えたレンズ部と、レンズ部から入射した光を電気信号に光電変換する固体撮像素子と、前記固体撮像素子で取得した電気信号による画像から対象となる被写体の特定部分を検出する画像処理部と、前記レンズ部を介して前記固体撮像素子に入射させる光軸の位置を調整する光軸シフト部と、を備える撮像装置において、前記画像処理部によって検出された、前記対象となる被写体の特定部分の大きさ及び位置に基づいて、前記特定部分を所定の大きさ及び位置とする前記レンズ部のズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を算出する制御部を備え、前記対象となる被写体の撮影を行う際、前記制御部で前記対象となる被写体の特定部分の大きさ及び位置より前記ズーム倍率及び前記シフト量を算出し、前記レンズ部のズーム倍率を前記制御部で算出された前記ズーム倍率に設定するとともに、前記光軸シフト部のシフト量を前記制御部で算出された前記シフト量に設定し、前記被写体の特定部分が前記所定の大きさ及び位置となる自動設定構図画像を撮影することを特徴とする。光軸シフト部としては、結像用のレンズと固体撮像素子との間に設けられた駆動可能なシフトレンズや、受光面に対して平行に移動可能な固体撮像素子を用いることができる。対象となる被写体が人物である場合、顔を特定部分とすることができる。
【００１３】
前記レンズ部のズーム倍率を算出する条件である、前記対象となる被写体の特定部分の所定の大きさを複数備え、前記自動設定構図画像を複数撮影するものとしても構わない。
【００１４】
又、前記自動設定構図画像が、前記特定部分の中心が画面の上半分に位置するものとしても構わないし、前記自動設定構図画像が、前記対象となる被写体の略全体が写るもの、前記対象となる被写体の前記特定部分を含む略半分が写るもの及び前記特定部分が主となるものからなるものとしても構わない。又、画像の中心を通る画像の水平方向に平行な線から前記特定部分の中心までの距離が、画角が広角側の前記自動設定構図画像ほど大きく、望遠側の前記自動設定構図画像ほど小さいものとしても構わない。
【００１５】
又、前記光軸シフト部による光の入射位置のシフト量を算出する条件である、前記対象となる被写体の特定部分の所定の位置を複数備え、前記自動設定構図画像を複数撮影するものとしても構わない。
【００１６】
又、前記自動設定構図画像が、同一の画角において、前記特定部分が画像の水平方向に対して左方、中心及び右方の少なくとも１つに位置するものであるものとしても構わない。
【００１７】
又、前記特定部分が複数検出された場合、全ての前記特定部分を含む領域の高さと、前記特定部分の高さのうち最大の高さと、画像の高さとを基準として前記自動設定構図の画像とするための前記レンズのズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を決定するものとしても構わない。
【００１８】
又、前記制御部で算出したズーム倍率及びシフト量のうち少なくとも一方が前記レンズのズーム倍率又は前記光軸シフト部のシフト量の可変範囲から逸脱する前記自動設定構図画像の撮影を禁止するものとしても構わない。
【００１９】
更に、前記自動設定構図画像の撮影とともに、前記撮影指示時点でのズーム倍率及びシフト量による構図画像の撮影をも行うものとしても構わない。
【００２０】
又、本発明の撮影方法は、入射光を電気信号に光電変換する固体撮像素子から得られる電気信号による画像から対象となる被写体の特定部分を検出する特定部分検出ステップを備える撮影方法において、前記特定部分検出ステップにおいて検出された前記対象となる被写体の特定部分の大きさ及び位置に基づいて、前記特定部分を所定の大きさ及び位置とするレンズ部のズーム倍率及び光軸シフト部による前記レンズ部を介して前記固体撮像素子に入射する光の入射位置のシフト量を算出するズーム・シフト量算出ステップと、前記レンズ部のズーム倍率を前記ズーム・シフト量算出ステップで算出された前記ズーム倍率に設定し、前記光軸シフト部による前記光の入射位置のシフト量を前記ズーム・シフト量算出ステップで算出されたシフト量に設定するズーム・シフト設定ステップと、前記被写体の特定部分が前記所定の大きさ及び位置となる自動設定構図画像を撮影する自動設定構図画像撮影ステップとを備えることを特徴とする。
【００２１】
又、前記ズーム・シフト量算出ステップにおいて前記レンズ部のズーム倍率を算出する条件及び前記光軸シフト部による光の入射位置のシフト量を算出する条件である、前記対象となる被写体の特定部分の所定の大きさを複数備え、前記自動設定構図画像撮影ステップにおいて前記自動設定構図画像を複数撮影するものとしても、ものとしても構わない。
【００２２】
又、自動設定構図画像撮影ステップで撮影する前記自動設定構図画像が、前記特定部分の中心が画面の上半分に位置するものとしても構わないし、前記自動設定構図画像が、前記対象となる被写体の略全体が写るもの、前記対象となる被写体の前記特定部分を含む略半分が写るもの及び前記特定部分が主となるものからなるものとしても構わない。又、画像の中心を通る画像の水平方向に平行な線から前記特定部分の中心までの距離が、画角が広角側の前記自動設定構図画像ほど大きく、望遠側の前記自動設定構図画像ほど小さいものとしても構わない。又、同一の画角において、前記特定部分が画像の水平方向に対して左方、中心及び右方の少なくとも１つに位置するものであるものとしても構わない。
【００２３】
又、前記特定部分検出ステップにおいて前記特定部分が複数検出された場合、全ての前記特定部分を含む領域の高さと、前記特定部分の高さのうち最大の高さと、画像の高さとを基準として前記自動設定構図の画像とするための前記レンズのズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を決定するものとしても構わない。
【発明の効果】
【００２４】
本発明によると、持ち運び容易な撮像装置で、対象とする被写体を適切な大きさ、位置に配置した画像を、複数の画角に対して自動的に得ることができる。そのため、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
【００２６】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２７】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータを有するレンズ部１８と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して顔検出処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、静止画を撮影する場合は画像処理部４からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。レンズ部１８は、画像処理部４で検出した画像信号に応じてＣＰＵ１３が、モータを駆動してフォーカス、絞り、光学ズーム倍率、光軸シフトの制御を行うものである。レンズ部１８は、図２に示すように、結像用のレンズ１８ａとイメージセンサ１との間に設けられた、イメージセンサ１の受光面に対して平行に移動可能なシフトレンズ１８ｂを備えている。シフトレンズ１８ｂはＣＰＵ１３によって位置を制御可能であり、結像用のレンズ１８ａから入射した光の光軸をイメージセンサ１の所定の位置となるようにシフトすることができる。
【００２８】
（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ１０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードを自動的にプレビューモードに設定する（ＳＴＥＰ１０２）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２においてデジタル信号に変換されて、画像処理部４で画像処理が施され、圧縮処理部６で圧縮された現時点の画像に対する画像信号が外部メモリ２０に一時的に記録される。この圧縮信号は、ドライバ部７を経て、伸長処理部８で伸長され、現時点で設定されているレンズ部１８のズーム倍率での画角の画像がディスプレイ部９に表示される。
【００２９】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ１０３）。その際、画像処理部４に入力された画像信号を基にＣＰＵ１３によってレンズ部１８を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ１０４）。ユーザが撮影画角、構図を決定し、操作部１５のシャッタボタンを半押しすると（ＳＴＥＰ１０５）、ＡＥ及びＡＦの最適化処理を行う（ＳＴＥＰ１０６）。
【００３０】
撮影用のＡＥ・ＡＦが設定された後、シャッタボタンが全押しされたら（ＳＴＥＰ１０７）、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、画像処理部４及び圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、画像処理部４において入力された画像信号に所定以上の大きさの顔があるかどうかを検出する（ＳＴＥＰ１０８）。この顔検出処理については後述する。所定大きさ以上の顔が検出されなければ通常撮影を行い、所定大きさ以上の顔が検出されれば後述する画角ブラケット撮影を行う。
【００３１】
画像信号中に所定以上の大きさの顔が検出されなかった場合、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ１２５）、イメージセンサ１から出力されるアナログ信号である画像信号のＲａｗＤＡＴＡをＡＦＥ２でデジタル信号に変換して一旦メモリ１４に書き込む（ＳＴＥＰ１２６）。このデジタル信号がメモリ１４から読み込まれ、画像処理部４において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号を圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮（ＳＴＥＰ１２７）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。
【００３２】
（顔検出処理）
次に、この撮像装置の顔検出処理について説明する。画像処理部４は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。
【００３３】
図４は、顔検出装置４０の構成を示している。顔検出装置４０は、ＡＦＥ２によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像および縮小画像から構成される各階層画像とメモリ１４に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、および顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、入力画像を基準とする検出された顔の大きさと位置とを出力する。
【００３４】
又、メモリ１４に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００３５】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００３６】
図５は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率Ｒを０．８に設定した場合に、生成される複数の階層画像を示している。図５において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００３７】
図６は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図６において、５０は入力画像を示し、６１は入力画像内に設定された判定領域を示している。
【００３８】
各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。このようにして、検出された顔の位置及び大きさは検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００３９】
（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号のＲａｗＤＡＴＡがデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００４０】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００４１】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００４２】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００４３】
（画角ブラケット撮影）
次に画角ブラケット撮影について説明する。本発明の撮像装置では、光学ズームと顔検出機能と光軸シフト機能とを組み合わせることにより、画像内の人物が所定の位置で所定の大きさとなる構図の単数又は複数の画角の画像を自動的に一度に撮影できる。以下、この撮影方法を画角ブラケット撮影と呼ぶ。
【００４４】
図３のＳＴＥＰ１０８において画像信号中に所定大きさ以上の顔が検出された場合、シャッターボタンが押された時点での焦点距離と画像の高さに対する顔の比率を算出する（ＳＴＥＰ１０９）。
【００４５】
次に、ルーズショット（ＬＳ）、ミドルショット（ＭＳ）、タイトショット（ＴＳ）の撮影に必要な焦点距離（ズーム倍率、画角）及び光軸のシフト量を算出する（ＳＴＥＰ１１０）。ここで、ＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図のことを言う。レンズ部１８のレンズの焦点距離の可変範囲内に必要な焦点距離が入ってないショットを抽出し、撮影対象から外す（ＳＴＥＰ１１１）。
【００４６】
図７にレンズ部１８のレンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図を示す。図７において焦点距離は、左側ほど短く、右側ほど長い。いずれの場合もユーザの設定した現時点での焦点距離は、レンズの焦点距離の可変範囲であれば任意である。（１）の場合は、ＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離が全てレンズの焦点距離の可変範囲に収まっており、撮影対象から外すショットはない。（２）は人物が遠い場合の例であり、ＴＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも長く、ＴＳが撮影対象から外すショットとなる。さらに人物が遠い場合にはＭＳも撮影対象から外すこととなる。（３）は人物が近い場合の例であり、ＬＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも短く、ＬＳが撮影対象から外すショットとなる。さらに人物が近い場合にはＭＳも撮影対象から外すこととなる。
【００４７】
イメージセンサ１の駆動モードを静止画撮影モードに設定（ＳＴＥＰ１１２）し、画像処理部４に保持されている、ユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１３）。
【００４８】
ＬＳ撮影が可能であれば（ＳＴＥＰ１１４）、ＳＴＥＰ１１０で算出したＬＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１５）。ステップ１１５で撮影して得たＬＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１６）。ＬＳ撮影が可能でなければＭＳ撮影に移行する。
【００４９】
ＭＳ撮影が可能であれば（ＳＴＥＰ１１７）、ＳＴＥＰ１１０で算出したＭＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１８）。ステップ１１８で撮影して得たＭＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１９）。ＭＳ撮影が可能でなければＴＳ撮影に移行する。
【００５０】
ＴＳ撮影が可能であれば（ＳＴＥＰ１２０）、ＳＴＥＰ１１０で算出したＴＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１２１）。ステップ１２１で撮影して得たＴＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１２２）。ＴＳ撮影が可能でなければ圧縮画像の生成に移行する。
【００５１】
ユーザが設定した画角の画像と自動的に撮影された最大で３つの画角の画像、すなわち最大で合計４枚の画像のデジタル信号に画像処理部４において各種画像処理を施し、各々ＪＰＥＧ形式に圧縮（ＳＴＥＰ１２３）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。
【００５２】
尚、ＳＴＥＰ１１３のユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込むステップを省略してもよい。ＳＴＥＰ１１３を省略した場合、１回のシャッタ動作で撮影される画像は最大で３枚となる。又、同時に撮影した一連の画像ファイルを、撮像装置において１個のファイル群として管理してもよいし、別個の独立したファイルとして管理してもよく、操作部１５の操作によりユーザがいずれかを選択できるようにしてもよい。１個のファイル群とした場合は、その撮影自体が不要である場合などに、このグループの画像を全て一括して消去でき、別個の独立したファイルとした場合は、不要なショットだけを消去する場合など、それぞれを選択して消去できる。又、顔を画像の所定の位置とする方法として、光軸をシフトする方法ではなく、撮影した画像のトリミング（切り出し）による方法を用いてもよい。
【００５３】
次に、ＬＳ、ＭＳ、ＴＳでの画像の高さに対する顔の比率、顔の画像における位置について説明する。以下に説明する比率、位置は一例であり、適宜変更して構わない。
【００５４】
図８は顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図であり、ユーザの設定する画角はこの範囲内であっても、この範囲から外れていても構わない。又、上述のようにＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図であり、それぞれ図９、図１０及び図１１に示すような画像である。ここで、画像の縦方向の長さすなわち高さをＨ、顔エリアの高さをＦＨ、画像の中心を通る画像の水平方向に平行な線から顔エリアの中心までの距離をＳＨとする。
【００５５】
ＬＳでは、人物のほぼ全身が画像に収まる構図とするため、例えばＨ／９≦ＦＨ≦Ｈ／７の範囲で顔エリアの高さＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上三分の一より上とし、ＳＨ＞Ｈ／６とする。さらに、頭の先が画像から外れないように、Ｈ／２≧ＦＨ／２＋ＳＨ、すなわちＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、Ｈ／６＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。
【００５６】
ＭＳでは、人物の上半身が画像に収まる構図とするため、例えばＨ／５≦ＦＨ≦Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して光軸のシフト量を決定する。
【００５７】
ＴＳでは、人物の顔全体が大きめに画像に収まる構図とするため、例えばＨ／３≦ＦＨ≦２Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。
【００５８】
尚、ＳＨは、広角側のショットほど大きく、望遠側のショットほど小さいことが好ましい。これは、広角側の画角のショットでは顔が画像の上の方となり、望遠側のショットでは顔が画像の中心から上となりすぎないようにするためである。よって、例えばＬＳではＳＨ＞Ｈ／５が好ましく、ＴＳではＳＨ＜Ｈ／８が好ましい。表１にＨ、ＦＨ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。
【表１】
【００５９】
このように、画角ブラケット撮影することにより、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。
【００６０】
以上では、対象とする被写体が人物であり、一人だけである場合について説明したが、対象とする被写体が複数人の人物であってもよい。この場合、図１２に示すように、ＳＴＥＰ１０８において複数人の顔を検出したのち、最も大きいＦＨをＦＨｍａｘとし、さらに全員の顔エリアを含む領域の高さであるＦＨａｌｌを算出する。そして、画角の算出は、ＦＨが最大の顔領域を基準としつつ、全員の顔エリアを含む領域とＦＨが最大の顔領域との高さの差（ＦＨａｌｌ−ＦＨｍａｘ）を加味するため、ＦＨｍａｘと、Ｈ−（ＦＨａｌｌ−ＦＨｍａｘ）との比を基準とする。尚、ＳＨは、全員の顔エリアを含む領域の中心を基準とする。
【００６１】
対象とする被写体が複数人の人物である場合、ＬＳ、ＭＳ、ＴＳに対するＦＨｍａｘの設定範囲は、上述した、対象とする被写体が一人の人物である場合におけるＨをＨ−（ＦＨａｌｌ−ＦＨｍａｘ）に置き換えればよい。ＳＨについては、対象とする被写体が一人の人物である場合と同様である。表２にＨ、ＦＨｍａｘ、ＦＨａｌｌ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。
【表２】
【００６２】
以上では、対象とする被写体が画像の水平方向の中心となるような画角ブラケット撮影について説明した。しかし、本発明の画角ブラケット撮影は、このようなものに限られず、シフトレンズ１８ｂによる光軸のシフトによって、対象となる被写体が画像の水平方向に左右にずれた構図となるものとしてもよい。対象とする画像の水平方向の中心となる構図と、水平方向に左右にずれたものとなる構図のうち少なくとも１つで複数の画角で撮影するものとしてもよく、これらの構図全てで複数の画角で撮影するものとしてもよい。図１３には、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して左、中心、右となる構図の（ａ）〜（ｉ）の９枚の画像の例を示す。この場合、ＳＴＥＰ１１０で各構図についての光軸のシフト量を算出し、ＳＴＥＰ１１５、ＳＴＥＰ１１８、ＳＴＥＰ１２１で光軸を左右及び中心に移動させ、撮影することとなる。
【００６３】
尚、ユーザが設定した画角及び構図において対象となる被写体が水平方向に左右のいずれかにずれたものである場合、シフトレンズ１８ｂによる光軸のシフト範囲の限界により、そのずれた方向と反対側に対象となる被写体をずらした構図では撮影できない場合がある。例えば、ユーザが設定した画角及び構図が図１３の画像（ａ）に近い場合、画像（ｃ） や画像（ｆ）の構図とするための光軸のシフト量がシフト範囲から外れることがある
。その場合には、ＳＴＥＰ１１１でその構図を撮影対象から外せばよい。
【００６４】
尚、本実施形態では、画角ブラケット撮影で自動的に設定される既定の画角はＬＳ、ＭＳ、ＴＳの３種類としたが、４種類以上であってもよく、ユーザがこれらの既定の画角のうちいずれの画角を画角ブラケット撮影で用いるかを設定できるものとしてもよい。又、光軸のシフトはシフトレンズ１８ｂを用いて行うものに限られず、イメージセンサ１をその受光面に対して平行に移動させて行うものであってもよい。
【産業上の利用可能性】
【００６５】
本発明は、光学ズーム機能、顔検出機能及び光軸シフト機能を有する撮像装置に適用することができる。
【図面の簡単な説明】
【００６６】
【図１】は、本発明の撮像装置の内部構成を示すブロック図である。
【図２】は、結像用のレンズとシフトレンズとイメージセンサの関係を示す概略図である。
【図３】は、本発明の撮像装置の基本動作及び画角ブラケット撮影を説明するためのフローチャートである。
【図４】は、顔検出装置の構成を示すブロック図である。
【図５】は、縮小画像生成手段によって得られる階層画像の一例である。
【図６】は、顔検出処理を説明するための図である。
【図７】は、レンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図である。
【図８】は、顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図である。
【図９】は、ＬＳの画像の一例である。
【図１０】は、ＭＳの画像の一例である。
【図１１】は、ＴＳの画像の一例である。
【図１２】は、複数人の顔を検出した場合の顔エリアを説明するための図である。
【図１３】は、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して右、中心、左となる構図の画像の一例である。
【符号の説明】
【００６７】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６ バス回線
１７ バス回線
１８ レンズ部
１８ａ 結像用レンズ
１８ｂ シフトレンズ
２０ 外部メモリ
４０ 顔検出装置
４２ 縮小画像生成手段
４５ 顔判定手段
４６ 検出結果出力手段
５０ 入力画像
５１ 縮小画像
５２ 縮小画像
５３ 縮小画像
５４ 縮小画像
５５ 縮小画像
６１ 判定領域
【技術分野】
【０００１】
本発明は画角の調整が可能な撮像装置及びその撮影方法に関するもので、特に対象とする被写体に対して自動的な画角の調整を行う撮影方法に関する。
【背景技術】
【０００２】
各種デジタル技術の発展に伴い、デジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置が現在広く普及しており、ＣＣＤ（Charge Coupled Device）
やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子の
画素数の向上により高精細な画像が撮影できるようになっている。さらに、光学ズームレンズを備え、オートフォーカス機能を有するものも一般的となっており、カメラに慣れていない人でも広角や望遠に自由にズーム倍率を設定して画角を変更しつつ、しかもピントの合った画像を容易に撮影できるようになっている。
【０００３】
しかし、撮影の際の構図の設定は、特に撮影の初心者にとって難しく、対象とした被写体が大きすぎたり小さすぎたり、関係のない後景がその被写体よりも広く写っていたりと、撮影後に画像を観察すると撮影者の意図したような構図で撮影できていないことがある。
【０００４】
そこで、例えば特許文献１ではズームレンズを備えたカメラで、撮影時に設定されているズーム倍率の他に複数のズーム倍率でも自動的に撮影して、広角、望遠及びその中間の画角の画像を一度に得られるようにし、撮影者が撮影後に適切な画角の画像を選択できるようにする撮影方法が提案されている。
【０００５】
特許文献２では、ズームレンズを備えたデジタルカメラで、撮影時に設定されているズーム倍率よりも広角側にズーム倍率を変更して撮影し、その広い画角の画像から、撮影者の意図した撮影範囲の画像と、撮影者の設定したズーム倍率であって撮影者の意図した撮影範囲からずらした撮影範囲の画像を自動的に切り出して生成し、撮影者が適当な撮影範囲の画像を選択できるようにする方法が提案されている。
【０００６】
又、特許文献３では、特に人物を被写体とし、目、耳、鼻等の顔の特徴部分を検出する手段を用いて検出した顔の特徴部分がフレーム内の基準領域内に位置するように、移動機構によってカメラの位置、姿勢を制御して、撮影される顔の位置及び大きさを制御する方法が提案されている。
【特許文献１】特開平６−２２２６３号公報
【特許文献２】特開２００４−１０９２４７号公報
【特許文献３】特開２００５−１１７３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１で提案された方法では、対象とする被写体の画像内での位置を考慮せず、ズーム倍率を変えて撮影するだけであるため、自動的に撮影された画像が対象となる被写体が下の方に偏っていたり、画像の縁で切れてしまったりしたものとなる可能性がある。
【０００８】
又、特許文献２で提案された方法では、画像を切り出すため、従来の固体撮像素子をそのまま使ったのでは、得られる画像は従来よりも精細さの劣るものとなる。一方、従来の画像の精細さを維持するためには固体撮像素子を従来よりも大きなものとしなければならず、撮像装置の大型化が避けられない。
【０００９】
特許文献３で提案された方法では、１箇所に固定されたカメラを用いるものであり、カメラの位置、姿勢の制御するための移動機構が回転モータやチルトモータなどの多くのモータ等を備えた大掛かりなものであるため、持ち運びには適さない。
【００１０】
そこで、本発明は、対象とする被写体が適切な大きさに配置され、かつ変化に富んだ複数の画角の画像を容易に得られ、又、容易に持ち運びできる撮像装置及びこのような撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の撮像装置は、撮像信号を出力する撮像部と、該撮像信号に対応する画像から被写体である人物の顔領域を検出する顔検出部と、前記画像上において、前記顔検出部で検出された顔領域が水平方向の中心付近に存在する場合には、前記顔領域が水平方向の中心から左方向又は右方向にずれるように制御する制御部と、を備えたことを特徴とする。撮像部としては、レンズ及びレンズから入射した光を電気信号に光電変換する固体撮像素子を用いることができる。第１制御部と第２制御部とは同一の制御装置であっても構わない。又、前記対象となる被写体の特定部分を、所定の大きさとする方法としてはレンズのズーム機能を用いることができ、所定の位置とする方法としては光軸シフト機能や画像のトリミングを用いることができる。
【００１２】
又、本発明の撮像装置は、光学ズーム機能を有するレンズを備えたレンズ部と、レンズ部から入射した光を電気信号に光電変換する固体撮像素子と、前記固体撮像素子で取得した電気信号による画像から対象となる被写体の特定部分を検出する画像処理部と、前記レンズ部を介して前記固体撮像素子に入射させる光軸の位置を調整する光軸シフト部と、を備える撮像装置において、前記画像処理部によって検出された、前記対象となる被写体の特定部分の大きさ及び位置に基づいて、前記特定部分を所定の大きさ及び位置とする前記レンズ部のズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を算出する制御部を備え、前記対象となる被写体の撮影を行う際、前記制御部で前記対象となる被写体の特定部分の大きさ及び位置より前記ズーム倍率及び前記シフト量を算出し、前記レンズ部のズーム倍率を前記制御部で算出された前記ズーム倍率に設定するとともに、前記光軸シフト部のシフト量を前記制御部で算出された前記シフト量に設定し、前記被写体の特定部分が前記所定の大きさ及び位置となる自動設定構図画像を撮影することを特徴とする。光軸シフト部としては、結像用のレンズと固体撮像素子との間に設けられた駆動可能なシフトレンズや、受光面に対して平行に移動可能な固体撮像素子を用いることができる。対象となる被写体が人物である場合、顔を特定部分とすることができる。
【００１３】
前記レンズ部のズーム倍率を算出する条件である、前記対象となる被写体の特定部分の所定の大きさを複数備え、前記自動設定構図画像を複数撮影するものとしても構わない。
【００１４】
又、前記自動設定構図画像が、前記特定部分の中心が画面の上半分に位置するものとしても構わないし、前記自動設定構図画像が、前記対象となる被写体の略全体が写るもの、前記対象となる被写体の前記特定部分を含む略半分が写るもの及び前記特定部分が主となるものからなるものとしても構わない。又、画像の中心を通る画像の水平方向に平行な線から前記特定部分の中心までの距離が、画角が広角側の前記自動設定構図画像ほど大きく、望遠側の前記自動設定構図画像ほど小さいものとしても構わない。
【００１５】
又、前記光軸シフト部による光の入射位置のシフト量を算出する条件である、前記対象となる被写体の特定部分の所定の位置を複数備え、前記自動設定構図画像を複数撮影するものとしても構わない。
【００１６】
又、前記自動設定構図画像が、同一の画角において、前記特定部分が画像の水平方向に対して左方、中心及び右方の少なくとも１つに位置するものであるものとしても構わない。
【００１７】
又、前記特定部分が複数検出された場合、全ての前記特定部分を含む領域の高さと、前記特定部分の高さのうち最大の高さと、画像の高さとを基準として前記自動設定構図の画像とするための前記レンズのズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を決定するものとしても構わない。
【００１８】
又、前記制御部で算出したズーム倍率及びシフト量のうち少なくとも一方が前記レンズのズーム倍率又は前記光軸シフト部のシフト量の可変範囲から逸脱する前記自動設定構図画像の撮影を禁止するものとしても構わない。
【００１９】
更に、前記自動設定構図画像の撮影とともに、前記撮影指示時点でのズーム倍率及びシフト量による構図画像の撮影をも行うものとしても構わない。
【００２０】
又、本発明の撮影方法は、入射光を電気信号に光電変換する固体撮像素子から得られる電気信号による画像から対象となる被写体の特定部分を検出する特定部分検出ステップを備える撮影方法において、前記特定部分検出ステップにおいて検出された前記対象となる被写体の特定部分の大きさ及び位置に基づいて、前記特定部分を所定の大きさ及び位置とするレンズ部のズーム倍率及び光軸シフト部による前記レンズ部を介して前記固体撮像素子に入射する光の入射位置のシフト量を算出するズーム・シフト量算出ステップと、前記レンズ部のズーム倍率を前記ズーム・シフト量算出ステップで算出された前記ズーム倍率に設定し、前記光軸シフト部による前記光の入射位置のシフト量を前記ズーム・シフト量算出ステップで算出されたシフト量に設定するズーム・シフト設定ステップと、前記被写体の特定部分が前記所定の大きさ及び位置となる自動設定構図画像を撮影する自動設定構図画像撮影ステップとを備えることを特徴とする。
【００２１】
又、前記ズーム・シフト量算出ステップにおいて前記レンズ部のズーム倍率を算出する条件及び前記光軸シフト部による光の入射位置のシフト量を算出する条件である、前記対象となる被写体の特定部分の所定の大きさを複数備え、前記自動設定構図画像撮影ステップにおいて前記自動設定構図画像を複数撮影するものとしても、ものとしても構わない。
【００２２】
又、自動設定構図画像撮影ステップで撮影する前記自動設定構図画像が、前記特定部分の中心が画面の上半分に位置するものとしても構わないし、前記自動設定構図画像が、前記対象となる被写体の略全体が写るもの、前記対象となる被写体の前記特定部分を含む略半分が写るもの及び前記特定部分が主となるものからなるものとしても構わない。又、画像の中心を通る画像の水平方向に平行な線から前記特定部分の中心までの距離が、画角が広角側の前記自動設定構図画像ほど大きく、望遠側の前記自動設定構図画像ほど小さいものとしても構わない。又、同一の画角において、前記特定部分が画像の水平方向に対して左方、中心及び右方の少なくとも１つに位置するものであるものとしても構わない。
【００２３】
又、前記特定部分検出ステップにおいて前記特定部分が複数検出された場合、全ての前記特定部分を含む領域の高さと、前記特定部分の高さのうち最大の高さと、画像の高さとを基準として前記自動設定構図の画像とするための前記レンズのズーム倍率及び前記光軸シフト部による光の入射位置のシフト量を決定するものとしても構わない。
【発明の効果】
【００２４】
本発明によると、持ち運び容易な撮像装置で、対象とする被写体を適切な大きさ、位置に配置した画像を、複数の画角に対して自動的に得ることができる。そのため、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
【００２６】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２７】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータを有するレンズ部１８と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対して顔検出処理を含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、静止画を撮影する場合は画像処理部４からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ部９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ部１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１５と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。レンズ部１８は、画像処理部４で検出した画像信号に応じてＣＰＵ１３が、モータを駆動してフォーカス、絞り、光学ズーム倍率、光軸シフトの制御を行うものである。レンズ部１８は、図２に示すように、結像用のレンズ１８ａとイメージセンサ１との間に設けられた、イメージセンサ１の受光面に対して平行に移動可能なシフトレンズ１８ｂを備えている。シフトレンズ１８ｂはＣＰＵ１３によって位置を制御可能であり、結像用のレンズ１８ａから入射した光の光軸をイメージセンサ１の所定の位置となるようにシフトすることができる。
【００２８】
（撮像装置の基本動作 静止画撮影時）
次に、この撮像装置の静止画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置の電源をＯＮにすると（ＳＴＥＰ１０１）、撮像装置の撮影モードつまりイメージセンサ１の駆動モードを自動的にプレビューモードに設定する（ＳＴＥＰ１０２）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２においてデジタル信号に変換されて、画像処理部４で画像処理が施され、圧縮処理部６で圧縮された現時点の画像に対する画像信号が外部メモリ２０に一時的に記録される。この圧縮信号は、ドライバ部７を経て、伸長処理部８で伸長され、現時点で設定されているレンズ部１８のズーム倍率での画角の画像がディスプレイ部９に表示される。
【００２９】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ１０３）。その際、画像処理部４に入力された画像信号を基にＣＰＵ１３によってレンズ部１８を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・フォーカス制御（Auto Focus；ＡＦ）が行われる（ＳＴＥＰ１０４）。ユーザが撮影画角、構図を決定し、操作部１５のシャッタボタンを半押しすると（ＳＴＥＰ１０５）、ＡＥ及びＡＦの最適化処理を行う（ＳＴＥＰ１０６）。
【００３０】
撮影用のＡＥ・ＡＦが設定された後、シャッタボタンが全押しされたら（ＳＴＥＰ１０７）、タイミングジェネレータ１２より、イメージセンサ１、ＡＦＥ２、画像処理部４及び圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、画像処理部４において入力された画像信号に所定以上の大きさの顔があるかどうかを検出する（ＳＴＥＰ１０８）。この顔検出処理については後述する。所定大きさ以上の顔が検出されなければ通常撮影を行い、所定大きさ以上の顔が検出されれば後述する画角ブラケット撮影を行う。
【００３１】
画像信号中に所定以上の大きさの顔が検出されなかった場合、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ１２５）、イメージセンサ１から出力されるアナログ信号である画像信号のＲａｗＤＡＴＡをＡＦＥ２でデジタル信号に変換して一旦メモリ１４に書き込む（ＳＴＥＰ１２６）。このデジタル信号がメモリ１４から読み込まれ、画像処理部４において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号を圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮（ＳＴＥＰ１２７）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。
【００３２】
（顔検出処理）
次に、この撮像装置の顔検出処理について説明する。画像処理部４は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。
【００３３】
図４は、顔検出装置４０の構成を示している。顔検出装置４０は、ＡＦＥ２によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像および縮小画像から構成される各階層画像とメモリ１４に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、および顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、入力画像を基準とする検出された顔の大きさと位置とを出力する。
【００３４】
又、メモリ１４に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００３５】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによ
って、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００３６】
図５は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率Ｒを０．８に設定した場合に、生成される複数の階層画像を示している。図５において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００３７】
図６は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図６において、５０は入力画像を示し、６１は入力画像内に設定された判定領域を示している。
【００３８】
各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。このようにして、検出された顔の位置及び大きさは検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００３９】
（撮像装置の基本動作 動画撮影時）
動画撮影時の動作について説明する。この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号のＲａｗＤＡＴＡがデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００４０】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００４１】
このように撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００４２】
又、外部メモリ２０に記録された動画又は画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。又、圧縮信号が画像信号のみより成るときは、ディスプレイ部９に画像のみが再生されることとなる。
【００４３】
（画角ブラケット撮影）
次に画角ブラケット撮影について説明する。本発明の撮像装置では、光学ズームと顔検出機能と光軸シフト機能とを組み合わせることにより、画像内の人物が所定の位置で所定の大きさとなる構図の単数又は複数の画角の画像を自動的に一度に撮影できる。以下、この撮影方法を画角ブラケット撮影と呼ぶ。
【００４４】
図３のＳＴＥＰ１０８において画像信号中に所定大きさ以上の顔が検出された場合、シャッターボタンが押された時点での焦点距離と画像の高さに対する顔の比率を算出する（ＳＴＥＰ１０９）。
【００４５】
次に、ルーズショット（ＬＳ）、ミドルショット（ＭＳ）、タイトショット（ＴＳ）の撮影に必要な焦点距離（ズーム倍率、画角）及び光軸のシフト量を算出する（ＳＴＥＰ１１０）。ここで、ＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図のことを言う。レンズ部１８のレンズの焦点距離の可変範囲内に必要な焦点距離が入ってないショットを抽出し、撮影対象から外す（ＳＴＥＰ１１１）。
【００４６】
図７にレンズ部１８のレンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図を示す。図７において焦点距離は、左側ほど短く、右側ほど長い。いずれの場合もユーザの設定した現時点での焦点距離は、レンズの焦点距離の可変範囲であれば任意である。（１）の場合は、ＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離が全てレンズの焦点距離の可変範囲に収まっており、撮影対象から外すショットはない。（２）は人物が遠い場合の例であり、ＴＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも長く、ＴＳが撮影対象から外すショットとなる。さらに人物が遠い場合にはＭＳも撮影対象から外すこととなる。（３）は人物が近い場合の例であり、ＬＳの撮影に必要な焦点距離がレンズの焦点距離の可変範囲よりも短く、ＬＳが撮影対象から外すショットとなる。さらに人物が近い場合にはＭＳも撮影対象から外すこととなる。
【００４７】
イメージセンサ１の駆動モードを静止画撮影モードに設定（ＳＴＥＰ１１２）し、画像処理部４に保持されている、ユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１３）。
【００４８】
ＬＳ撮影が可能であれば（ＳＴＥＰ１１４）、ＳＴＥＰ１１０で算出したＬＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１５）。ステップ１１５で撮影して得たＬＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１６）。ＬＳ撮影が可能でなければＭＳ撮影に移行する。
【００４９】
ＭＳ撮影が可能であれば（ＳＴＥＰ１１７）、ＳＴＥＰ１１０で算出したＭＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１１８）。ステップ１１８で撮影して得たＭＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１１９）。ＭＳ撮影が可能でなければＴＳ撮影に移行する。
【００５０】
ＴＳ撮影が可能であれば（ＳＴＥＰ１２０）、ＳＴＥＰ１１０で算出したＴＳのズーム倍率に自動的に設定し、顔が画像の所定の位置となるように光軸をシフトして撮影する（ＳＴＥＰ１２１）。ステップ１２１で撮影して得たＴＳでのＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込む（ＳＴＥＰ１２２）。ＴＳ撮影が可能でなければ圧縮画像の生成に移行する。
【００５１】
ユーザが設定した画角の画像と自動的に撮影された最大で３つの画角の画像、すなわち最大で合計４枚の画像のデジタル信号に画像処理部４において各種画像処理を施し、各々ＪＰＥＧ形式に圧縮（ＳＴＥＰ１２３）後、外部メモリ２０に圧縮画像を書き込み（ＳＴＥＰ１２４）、撮影を完了する。その後、撮影待機状態とするためプレービューモードに戻る（ＳＴＥＰ１０２）。
【００５２】
尚、ＳＴＥＰ１１３のユーザが設定した画角の画像のＲａｗＤＡＴＡをデジタル信号に変換してメモリ１４に書き込むステップを省略してもよい。ＳＴＥＰ１１３を省略した場合、１回のシャッタ動作で撮影される画像は最大で３枚となる。又、同時に撮影した一連の画像ファイルを、撮像装置において１個のファイル群として管理してもよいし、別個の独立したファイルとして管理してもよく、操作部１５の操作によりユーザがいずれかを選択できるようにしてもよい。１個のファイル群とした場合は、その撮影自体が不要である場合などに、このグループの画像を全て一括して消去でき、別個の独立したファイルとした場合は、不要なショットだけを消去する場合など、それぞれを選択して消去できる。又、顔を画像の所定の位置とする方法として、光軸をシフトする方法ではなく、撮影した画像のトリミング（切り出し）による方法を用いてもよい。
【００５３】
次に、ＬＳ、ＭＳ、ＴＳでの画像の高さに対する顔の比率、顔の画像における位置について説明する。以下に説明する比率、位置は一例であり、適宜変更して構わない。
【００５４】
図８は顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図であり、ユーザの設定する画角はこの範囲内であっても、この範囲から外れていても構わない。又、上述のようにＬＳとは人物の全身、ＭＳとは人物の上半身、ＴＳとは顔のアップを対象とした画角及び構図であり、それぞれ図９、図１０及び図１１に示すような画像である。ここで、画像の縦方向の長さすなわち高さをＨ、顔エリアの高さをＦＨ、画像の中心を通る画像の水平方向に平行な線から顔エリアの中心までの距離をＳＨとする。
【００５５】
ＬＳでは、人物のほぼ全身が画像に収まる構図とするため、例えばＨ／９≦ＦＨ≦Ｈ／７の範囲で顔エリアの高さＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上三分の一より上とし、ＳＨ＞Ｈ／６とする。さらに、頭の先が画像から外れないように、Ｈ／２≧ＦＨ／２＋ＳＨ、すなわちＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、Ｈ／６＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。
【００５６】
ＭＳでは、人物の上半身が画像に収まる構図とするため、例えばＨ／５≦ＦＨ≦Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、体がなるべく広い範囲で画像に収まるよう、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して光軸のシフト量を決定する。
【００５７】
ＴＳでは、人物の顔全体が大きめに画像に収まる構図とするため、例えばＨ／３≦ＦＨ≦２Ｈ／３の範囲でＦＨを設定して焦点距離を算出する基準とする。そして、顔エリアの位置は、例えば顔エリアの中心が画像の上半分となるように、ＳＨ＞０とする。さらに、頭の先が画像から外れないように、ＳＨ＜（Ｈ−ＦＨ）／２とする。したがってこの場合、０＜ＳＨ＜（Ｈ−ＦＨ）／２の範囲でＳＨを決定して顔エリアの位置すなわち光軸のシフト量を決定する。
【００５８】
尚、ＳＨは、広角側のショットほど大きく、望遠側のショットほど小さいことが好ましい。これは、広角側の画角のショットでは顔が画像の上の方となり、望遠側のショットでは顔が画像の中心から上となりすぎないようにするためである。よって、例えばＬＳではＳＨ＞Ｈ／５が好ましく、ＴＳではＳＨ＜Ｈ／８が好ましい。表１にＨ、ＦＨ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。
【表１】
【００５９】
このように、画角ブラケット撮影することにより、撮影者が設定した画角で撮影した画像では人物の位置、大きさが偏っていたり、中途半端であったりする構図であっても、複数の理想的な画角、構図の画像が自動的に撮影されているため、撮影の失敗を少なくすることができる。
【００６０】
以上では、対象とする被写体が人物であり、一人だけである場合について説明したが、対象とする被写体が複数人の人物であってもよい。この場合、図１２に示すように、ＳＴＥＰ１０８において複数人の顔を検出したのち、最も大きいＦＨをＦＨｍａｘとし、さらに全員の顔エリアを含む領域の高さであるＦＨａｌｌを算出する。そして、画角の算出は、ＦＨが最大の顔領域を基準としつつ、全員の顔エリアを含む領域とＦＨが最大の顔領域との高さの差（ＦＨａｌｌ−ＦＨｍａｘ）を加味するため、ＦＨｍａｘと、Ｈ−（ＦＨａｌｌ−ＦＨｍａｘ）との比を基準とする。尚、ＳＨは、全員の顔エリアを含む領域の中心を基準とする。
【００６１】
対象とする被写体が複数人の人物である場合、ＬＳ、ＭＳ、ＴＳに対するＦＨｍａｘの設定範囲は、上述した、対象とする被写体が一人の人物である場合におけるＨをＨ−（ＦＨａｌｌ−ＦＨｍａｘ）に置き換えればよい。ＳＨについては、対象とする被写体が一人の人物である場合と同様である。表２にＨ、ＦＨｍａｘ、ＦＨａｌｌ、ＳＨを基準としたＬＳ、ＭＳ、ＴＳの設定例を示す。
【表２】
【００６２】
以上では、対象とする被写体が画像の水平方向の中心となるような画角ブラケット撮影について説明した。しかし、本発明の画角ブラケット撮影は、このようなものに限られず、シフトレンズ１８ｂによる光軸のシフトによって、対象となる被写体が画像の水平方向に左右にずれた構図となるものとしてもよい。対象とする画像の水平方向の中心となる構図と、水平方向に左右にずれたものとなる構図のうち少なくとも１つで複数の画角で撮影するものとしてもよく、これらの構図全てで複数の画角で撮影するものとしてもよい。図１３には、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して左、中心、右となる構図の（ａ）〜（ｉ）の９枚の画像の例を示す。この場合、ＳＴＥＰ１１０で各構図についての光軸のシフト量を算出し、ＳＴＥＰ１１５、ＳＴＥＰ１１８、ＳＴＥＰ１２１で光軸を左右及び中心に移動させ、撮影することとなる。
【００６３】
尚、ユーザが設定した画角及び構図において対象となる被写体が水平方向に左右のいずれかにずれたものである場合、シフトレンズ１８ｂによる光軸のシフト範囲の限界により、そのずれた方向と反対側に対象となる被写体をずらした構図では撮影できない場合がある。例えば、ユーザが設定した画角及び構図が図１３の画像（ａ）に近い場合、画像（ｃ） や画像（ｆ）の構図とするための光軸のシフト量がシフト範囲から外れることがある
。その場合には、ＳＴＥＰ１１１でその構図を撮影対象から外せばよい。
【００６４】
尚、本実施形態では、画角ブラケット撮影で自動的に設定される既定の画角はＬＳ、ＭＳ、ＴＳの３種類としたが、４種類以上であってもよく、ユーザがこれらの既定の画角のうちいずれの画角を画角ブラケット撮影で用いるかを設定できるものとしてもよい。又、光軸のシフトはシフトレンズ１８ｂを用いて行うものに限られず、イメージセンサ１をその受光面に対して平行に移動させて行うものであってもよい。
【産業上の利用可能性】
【００６５】
本発明は、光学ズーム機能、顔検出機能及び光軸シフト機能を有する撮像装置に適用することができる。
【図面の簡単な説明】
【００６６】
【図１】は、本発明の撮像装置の内部構成を示すブロック図である。
【図２】は、結像用のレンズとシフトレンズとイメージセンサの関係を示す概略図である。
【図３】は、本発明の撮像装置の基本動作及び画角ブラケット撮影を説明するためのフローチャートである。
【図４】は、顔検出装置の構成を示すブロック図である。
【図５】は、縮小画像生成手段によって得られる階層画像の一例である。
【図６】は、顔検出処理を説明するための図である。
【図７】は、レンズの焦点距離の可変範囲と、算出されたＬＳ、ＭＳ及びＴＳの撮影に必要な焦点距離の関係図である。
【図８】は、顔エリアとＬＳ、ＭＳ、ＴＳの画角の関係を示す図である。
【図９】は、ＬＳの画像の一例である。
【図１０】は、ＭＳの画像の一例である。
【図１１】は、ＴＳの画像の一例である。
【図１２】は、複数人の顔を検出した場合の顔エリアを説明するための図である。
【図１３】は、ＬＳ、ＭＳ、ＴＳのそれぞれの画角について対象となる被写体が画像の水平方向に対して右、中心、左となる構図の画像の一例である。
【符号の説明】
【００６７】
１ イメージセンサ
２ ＡＦＥ
３ マイク
４ 画像処理部
５ 音声処理部
６ 圧縮処理部
７ ドライバ部
８ 伸長処理部
９ ディスプレイ部
１０ 音声出力回路部
１１ スピーカ部
１２ タイミングジェネレータ
１３ ＣＰＵ
１４ メモリ
１５ 操作部
１６ バス回線
１７ バス回線
１８ レンズ部
１８ａ 結像用レンズ
１８ｂ シフトレンズ
２０ 外部メモリ
４０ 顔検出装置
４２ 縮小画像生成手段
４５ 顔判定手段
４６ 検出結果出力手段
５０ 入力画像
５１ 縮小画像
５２ 縮小画像
５３ 縮小画像
５４ 縮小画像
５５ 縮小画像
６１ 判定領域
【特許請求の範囲】
【請求項１】
撮像信号を出力する撮像部と、
該撮像信号に対応する画像から被写体である人物の顔領域を検出する顔検出部と、
前記画像上において、前記顔検出部で検出された顔領域が水平方向の中心付近に存在する場合には、前記顔領域が水平方向の中心から左方向又は右方向にずれるように制御する制御部と、
を備えたことを特徴とする撮像装置。
【請求項１】
撮像信号を出力する撮像部と、
該撮像信号に対応する画像から被写体である人物の顔領域を検出する顔検出部と、
前記画像上において、前記顔検出部で検出された顔領域が水平方向の中心付近に存在する場合には、前記顔領域が水平方向の中心から左方向又は右方向にずれるように制御する制御部と、
を備えたことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１４２６４４（Ｐ２０１１−１４２６４４Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１１−２２８２９（Ｐ２０１１−２２８２９）
【出願日】平成２３年２月４日（２０１１．２．４）
【分割の表示】特願２００７−９０９２３（Ｐ２００７−９０９２３）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２３年２月４日（２０１１．２．４）
【分割の表示】特願２００７−９０９２３（Ｐ２００７−９０９２３）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]