撮像装置
【課題】使用者の所作を受けて撮影動作を実行しその結果得られる画像データに各種信号処理を施すことで自然な構図で違和感のない静止画像を取得し得る撮像装置を提供する。
【解決手段】撮像部２と撮像部からの出力信号に基く画像信号を記録する記録部４とを具備する撮像装置１において、撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部６と、姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部１１とを具備してなる。
【解決手段】撮像部２と撮像部からの出力信号に基く画像信号を記録する記録部４とを具備する撮像装置１において、撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部６と、姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部１１とを具備してなる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置、詳しくは手で構えることなくハンズフリーの状態でも撮影動作を行い得る撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮影光学系により結像された光学像を固体撮像素子等の光電変換素子によって順次画像信号に変換し、こうして得られた画像信号を所定の形態の画像データとして記録媒体に記録し得ると共に、この記録媒体に記録された画像データを画像として再生表示する液晶表示装置（ＬＣＤ）等の画像表示装置を備えて構成されるデジタルカメラ等の撮像装置が一般に実用化され、広く普及している。
【０００３】
このような形態の撮像装置によって取得され記録される画像データは、主にデジタルデータである。このデジタルデータは、取り扱いが極めて容易なものである。例えば、従来の撮像装置においては、撮像素子により取得された画像データに対して内部処理回路を用いて種々の信号処理が施される。そうして生成された信号処理済みの画像データが記録媒体に記録されるようになっている。
【０００４】
つまり、従来の撮像装置においては、固体撮像素子等によって取得された画像信号に対して撮像装置内の処理回路を用いて各種の信号処理を適切に実行することによって、様々な撮影状況に対応しながら、常に適切な画像を取得するようになっている。
【０００５】
また、従来の撮像装置においては、撮影動作を開始させる操作としては、例えば機械的なスイッチ（メカスイッチ）等に連動するレリーズボタン等の操作部材を使用者が操作するといった手段が普通であった。
【０００６】
この場合、レリーズボタン等の操作部材の操作が行われると、まず撮影動作の予備動作、即ち自動露出設定動作，自動焦点調節動作，オートホワイトバランス動作等等が実行された後、続いてレリーズ動作、即ち撮像素子，シャッター機構，絞り機構等が駆動される露出動作と、その後の画像処理動作，記録動作等といった一連の動作処理が実行されるようになっている。
【０００７】
近年の撮像装置においては、このようなレリーズボタン等の操作部材に代えて、例えば画像表示装置の表面を使用者が指等で触れる（タッチする）ことによって一連の撮影動作処理を実行することができるようにしたもの等、従来とは異なる方式の操作体系についての種々の提案が、例えば特開２００７−３６４９２号公報等によってなされている。
【０００８】
上記特開２００７−３６４９２号公報によって開示されている撮像装置等、従来の撮像装置では、使用者が撮像装置を手に保持した状態で、または三脚等を用いて撮像装置自体を固定した状態で、所定の操作を行なうことで一連の撮影動作が開始されることが前提となっている。
【０００９】
その一方で、近年においては、使用者が撮像装置を手に保持することなく所望の撮影動作を実行し得るようにする工夫が、例えば特開２００６−６０５８４号公報等によって種々提案されている。
【００１０】
上記特開２００６−６０５８４号公報によって開示されている撮像装置は、手の平又は手の甲に表示装置を有する本体部を、手指に撮像部をそれぞれ装着すると共に、複数本の手指の曲がりを検出する検出手段を有し、検出手段が検出する複数本の手指の曲がりの状態に応じて動作モードを切り換えるように制御するというものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−３６４９２号公報
【特許文献２】特開２００６−６０５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、上記特開２００６−６０５８４号公報等によって開示されている撮像装置は、手指の曲がり具合を検出する等、動作制御のための検出手段等が必要となることから、所定の用途に特化した専用装置であると言える。
【００１３】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮像装置を用いて撮影を行う際に、使用者は撮像装置を手に保持して構えることなく、また撮像装置の操作部材を操作することなく、身体の一部に撮像装置を装着した状態で自然な動作を行うことで撮影動作を実行し得ると共に、この撮影動作によって得られた画像データについて各種の信号処理を施すことによって自然な構図で違和感のない静止画像を取得し得るように構成した撮像装置を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明による撮像装置は、撮像部と上記撮像部からの出力信号に基く画像信号を記録する記録部とを具備する撮像装置において、上記撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部と、上記姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部と、を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像装置を用いて撮影を行う際に、使用者は撮像装置を手に保持して構えることなく、また撮像装置の操作部材を操作することなく、身体の一部に撮像装置を装着した状態で自然な動作を行うことで撮影動作を実行し得ると共に、この撮影動作によって得られた画像データについて各種の信号処理を施すことによって自然な構図で違和感のない静止画像を取得し得るように構成した撮像装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態の撮像装置の内部構成の概略を示すブロック構成図、
【図２】図１の撮像装置における加速度検出部を取り出して、その構造を示す概略斜視図、
【図３】図１の撮像装置における加速度検出部の配置状態の概略を示す配置図、
【図４】図１の撮像装置におけるカメラ制御の作用の概略を示すフローチャート、
【図５】図４のカメラ制御の処理シーケンスのうち所定条件識別処理（ステップＳ１０２の処理）の詳細（サブルーチン）を示すフローチャート、
【図６】図４のカメラ制御の処理シーケンスのうち連続撮影処理（ステップＳ１０３の処理）の詳細（サブルーチン）を示すフローチャート、
【図７】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図、
【図８】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図、
【図９】図１の撮像装置を図８に示す状況下において使用する際の作用を説明する図、
【図１０】図１の撮像装置を図８に示す状況下において使用する際の作用を説明する図、
【図１１】図６の連続撮影動作が行われた場合に取得される複数画像の一例（ａ）と、これら複数画像から合成画像処理の結果生成される合成画像の一例（ｂ）を示す図、
【図１２】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の他の一例を示す図、
【図１３】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の別の一例を示す図、
【図１４】図１の撮像装置によるカメラ制御が実行される際の具体的な状況のさらに別の一例を示す図、
【図１５】図１３，図１４の使用状況下における撮像装置の姿勢変化を示し、（ａ）は重力方向に対して正位置となる姿勢を、（ｂ）はあおり動作がなされた場合の姿勢を、それぞれ示す図、
【図１６】図１の撮像装置による連続撮影動作時の撮影結果の例を示し、（ａ）は重複領域が大となる例を、（ｂ）は重複領域の適例を、（ｃ）は重複領域が得られなかった例をそれぞれ示す図、
【図１７】図１２の使用状況下における撮像装置の移動状況を示す図、
【図１８】図９〜図１０若しくは図１３，図１４の使用状況下における撮像装置の移動状況を示す図、
【図１９】図１の撮像装置による連続撮影動作時の撮影結果の他の例を示す図、
【図２０】図１９の撮影結果に基いて実行される合成画像処理の流れを説明する概念図
【発明を実施するための形態】
【００１７】
以下、図示の実施の形態によって本発明を説明する。
【００１８】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換した後、生成されたデジタル画像データを記録媒体に記録する一方、記録媒体に記録されたデジタル画像データに基く静止画像又は動画像を表示装置を用いて再生表示し得るように構成されるデジタルカメラ等の撮像装置を一例として示すものである。
【００１９】
なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
【００２０】
図１〜図２０は、本発明の一実施形態を説明する図である。このうち、図１は本実施形態の撮像装置の内部構成の概略を示すブロック構成図である。図２は、図１の撮像装置における加速度検出部を取り出してその構造を示す概略斜視図である。図３は、図１の撮像装置における加速度検出部の配置状態の概略を示す配置図である。図４は、図１の撮像装置におけるカメラ制御の作用の概略を示すフローチャートである。図５は、図４のカメラ制御の処理シーケンスのうち所定条件識別処理（ステップＳ１０２の処理）の詳細（サブルーチン）を示すフローチャートである。図６は、図４のカメラ制御の処理シーケンスのうち連続撮影処理（ステップＳ１０３の処理）の詳細（サブルーチン）を示すフローチャートである。図７〜図１０は、図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図である。図１１は、図６の連続撮影動作が行われた際に取得される複数画像の一例（ａ）と、これら複数画像から合成画像処理の結果生成される合成画像の一例（ｂ）を示す図である。
【００２１】
図１２〜図１４は、本実施形態の撮像装置によるカメラ制御が実行される際の具体的な状況における異なる例をそれぞれ示している。図１５は、図１３，図１４の使用状況下における撮像装置の姿勢変化を示し、このうち、（ａ）は重力方向に対して正位置となる姿勢を、（ｂ）はあおり動作がなされた場合の姿勢を、それぞれ示している。図１６は、本実施形態の撮像装置による連続撮影動作時の撮影結果の例を示す図であって、このうち（ａ）は重複領域が大となる例を、（ｂ）は重複領域の適例を、（ｃ）は重複領域が得られなかった例をそれぞれ示している。図１７は、図１２の使用状況下における撮像装置の移動状況を示している。図１８は、図９〜図１０若しくは図１３，図１４の使用状況下における撮像装置の移動状況を示している。
【００２２】
図１９は、本実施形態の撮像装置による連続撮影動作時の撮影結果の他の例を示している。図２０は、図１９の例の撮影結果に基いて実行される合成画像処理の流れを説明する概念図である。
【００２３】
まず、本発明の一実施形態の撮像装置１の内部構成の概略を、図１のブロック図を用いて以下に説明する。
【００２４】
本実施形態の撮像装置１は、撮像部２と、顔検出部３と、記録部４と、マイクロフォン５と、加速度検出部６と、操作部７と、表示部８と、タッチパネル８ｂと、時計９と、信号処理・制御部１１と、通信部１２と、レンズユニット２０（図１では不図示；図３等を参照）等を具備して構成されている。
【００２５】
信号処理・制御部１１は、撮像装置１の全体を統括的に制御する制御回路であって、撮像装置１内の各構成ブロックから入力される各種の信号を受けて各種の制御処理を行う制御回路である。信号処理・制御部１１は、内部に表示制御部１１ｂ，信号圧縮伸張部１１ｃ，画像信号加工処理部１１ｄ，トリミング部１１ｅ等の回路部を有している。
【００２６】
このうち、表示制御部１１ｂは、撮像部２から連続的に出力される画像信号に基くリアルタイム画像の連続表示や記録済み画像の再生表示、若しくは各種設定のためのメニュー表示やタッチパネル８ｂに対応する操作用表示（例えばソフトウエアキーボードの表示等）等を表示部８の表示画面に表示させる表示関連の制御を行う制御部である。
【００２７】
信号圧縮伸張部１１ｃは、撮像部２によって取得された画像信号を受けて記録媒体に記録するのに最適な形態の画像データに変換するための信号圧縮処理を行ったり、記録媒体に記録済みの圧縮画像データを読み込んで、例えば表示部８等を用いて再生表示するのに最適な形態の画像信号に変換するための信号伸張処理等の信号処理を実行する処理回路である。なお、信号圧縮伸張部１１ｃは、画像信号（静止画像，動画像）の圧縮伸長処理のほかに、音声信号の圧縮伸長処理を扱うことができるようになっている。
【００２８】
画像信号加工処理部１１ｄは、撮像部２によって取得された画像信号であって、後述する第１仮記録部４ａに一時記録されている複数の画像信号に基いて所定の画像加工を施す所定の信号処理、例えばパノラマ合成処理（画像繋ぎ処理）等の画像合成処理等を行なう処理回路である。
【００２９】
トリミング部１１ｅは、上記画像信号加工処理部１１ｄによって生成された合成画像信号であって、後述する第２仮記録部４ｂに一時記録されているに画像信号に基いて必要な画像領域を切り取り加工を施すトリミング処理を行う処理回路である。
【００３０】
撮像部２は、レンズユニット２０によって結像された光学像を受光して、該光学像に対応する電気信号に変換する光電変換素子と、この光電変換素子により生成された画像信号の前処理を行う信号処理回路等によって構成される。撮像部２により生成された画像信号は、信号処理・制御部１１へと出力される。なお、光電変換素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化膜半導体）等の固体撮像素子等が適用される。
【００３１】
顔検出部３は、撮像部２によって取得された画像信号に基く画像の中から、例えば人間の顔領域を検出するいわゆる顔検出機能を実現するための構成ブロックである。この顔検出機能を実現する技術については、従来、撮像装置において広く普及しているものである。本実施形態の撮像装置１においても、従来の技術と同様のものが適用されるものとして、その詳細説明は省略する。
【００３２】
記録部４は、撮像部２によって取得され信号処理・制御部１１において各種の信号処理が施された後、最終的に信号圧縮伸張部１１ｃにおいて生成される記録用画像データを受けて記録蓄積するための記録媒体と、該記録媒体に対する画像データの記録処理や記録済み画像データの読み出し処理等、記録媒体を駆動する駆動回路等からなる。
【００３３】
なお、記録部４には、トリミング部１１ｅにおいてトリミング処理が施されて生成された画像信号（即ち、後述する自動撮影モードによって取得される最終形態の画像を表わす画像信号）に対応する記録用画像データも記録されるようになっている。
【００３４】
また、本実施形態の撮像装置１における記録部４は、第１仮記録部４ａ及び第２仮記録部４ｂ等を内部に具備している。
【００３５】
第１仮記録部４ａは、上記自動撮影モードで撮影動作を実行した時に撮像部２によって連続的に取得された複数の静止画像に対応する複数の画像信号を一時的に記録する記録領域である。
【００３６】
第２仮記録部４ｂは、信号処理・制御部１１の画像信号加工処理部１１ｄによって生成された合成画像信号を一時的に記録する記録領域である。
【００３７】
マイクロフォン（以下、単にマイクという）５は、音声等を電気信号に変換する構成部である。マイク５によって取得された音声信号は、信号処理・制御部１１において所定の信号処理が施された後、音声データとして記録部４の記録媒体に記録される。
【００３８】
なお、信号処理・制御部１１において記録用の音声信号に対して施される所定の信号処理としては、例えば圧縮処理や記録用音声データへの変換処理、若しくは画像データと関連付ける処理等、各種の処理が動作モードや設定条件にしたがって適宜実行される。
【００３９】
通常の場合、音声データは、動画像若しくは静止画像の撮影動作時に音声記録動作を同時に行なって記録されるほか、音声のみを単独で記録する動作モード時に記録される。
【００４０】
また、本実施形態の撮像装置１においては、マイク５によって取得された音声信号は、所定の動作モード時に記録されるほか、例えば自動撮影モードで取得された複数画像から主要被写体１０１を検出するのに利用するようにしてもよい（詳細は後述する）。
【００４１】
加速度検出部６は、撮像装置１の姿勢変化や移動状況等を検出する姿勢検出部である。この加速度検出部６は、例えば加速度を検出する加速度センサ等からなる検出センサと、この検出センサの出力信号を受信して所定の指示信号を発生させる回路等により構成される。なお、姿勢検出部としては、上記加速度センサに代えて、角速度を検出する角速度センサ（ジャイロスコープ）を適用することもできる。
【００４２】
つまり、加速度検出部６は、これを配置した撮像装置１に加えられた重力加速度や振動等を検出することによって、使用者による撮像装置１の保持状態、即ち手振れ状態や、撮像装置１の傾き状態等の姿勢検出や移動状況の検出を行う構成部である。
【００４３】
従来の撮像装置１においては、加速度検出部６の検出結果に基いて、手ブレ補正機構を駆動制御することによって手ブレ補正機能を実現している。
【００４４】
これに加えて、本実施形態の撮像装置１においては、加速度検出部６の出力信号を用いて、撮影動作を行う際の制御にも利用するようにしている。
【００４５】
ここで、加速度検出部６における検出センサの構成及び作用の概略を、図２，図３を用いて簡単に説明する。
【００４６】
本実施形態の撮像装置１における加速度検出部６における検出センサは、図２に示すように、架橋された金属部６ａとチップ表面の金属部６ｂとの位置が加速度によって変化する構造を内部に有する構成部材である。
【００４７】
このように構成される加速度検出部６の検出センサは、その姿勢が変化した時には、検出センサに対する重力のかかり具合によって金属部６ａに撓みが生じる。これにより、金属部６ａ，６ｂの相対的な位置変化が生じて、出力信号が変化するようになっている。
【００４８】
このような形態の検出センサを、例えば図３に示すように撮像装置１の内部において上面１ｘ，一方の側面１ｙ，底面１ｘの各面部に配置したとする。
【００４９】
この場合において、撮像装置１の上面１ｘに配置する検出センサを符号６ｘａ，６ｘｂで、一側面１ｙに配置する検出センサを符号６ｙで、底面１ｚに配置する検出センサを符号６ｚで、それぞれ示す。
【００５０】
ここで、撮像装置１のレンズユニット２０の撮影レンズ２０ａが設けられている面を撮像装置１の前面というものとする。また、撮影レンズ２０ａの光軸は、この撮像装置１の前面に対して直交する方向に配置されているものとする。そして、図３に示すように、撮影レンズ２０ａの光軸に沿う方向をＺ方向と、このＺ方向に対し水平に直交する方向をＸ方向と、Ｚ方向に対し鉛直に直交する方向をＹ方向と、それぞれいうものとする。
【００５１】
したがって、撮像装置１の上面１ｘ，底面１ｚはＸ方向及びＺ方向を含む面で構成されるものとする。このとき、上面１ｘと底面１ｚとは所定の距離だけ離して互いに対向するように配置される。また、撮像装置１の一側面１ｙはＹ方向及びＺ方向を含む面で構成されるものとする。
【００５２】
この場合において、検出センサ６ｘａ，６ｘｂはＸ方向の姿勢変化や移動状況を検出するように、その検出方向が設定配置されている。また、検出センサ６ｙはＹ方向の姿勢変化や移動状況を検出するように、その検出方向が設定配置されている。検出センサ６ｚはＺ方向の姿勢変化を検出するように、その検出方向が設定配置されている。
【００５３】
撮像装置１の姿勢が変化する状況（急激な移動変化を含む）としては、例えば撮像装置１が机上等に載置された状態から使用者が持ち上げた場合や、使用者が撮像装置１を手に保持した状態である状態から任意の方向へと振り向けた場合（あおり動作若しくは，振り返り動作等）等が考えられる。
【００５４】
上述のような姿勢変化が生じたとき、図３に示すように、Ｘ軸，Ｙ軸，Ｚ軸の３軸に対応させて撮像装置１の内部の所定部位に設置した各検出センサ６ｘａ，６ｘｂ，６ｙ，６ｚの出力信号の変化を監視することにより、撮像装置１がどのように動いたか、どのように姿勢変化したかを判定することができるようになっている。
【００５５】
また、Ｘ軸方向については、同方向の水平方向の移動を検出するには、１つの検出センサを設ければよいが、２つの検出センサ６ｘａ，６ｘｂを設けることにより、例えば撮像装置１が水平面に対しては水平方向のみに移動されつつ、光軸に直交する軸のうちＹ軸周りに回転するような移動が行われる場合の状況を検出することができる。この場合には、撮像装置１が所定方向に回転されるときの回転半径の外側に位置する検出センサ（６ｘａ）と内側に位置する検出センサ（６ｘｂ）との間に加速度の相違が検出されることになることから判定が可能である。
【００５６】
図１に戻って、操作部７は、撮像装置１の外面に設けられる各種の操作部材（図示せず）と、これら操作部材にそれぞれ連動する複数のスイッチ等と、操作部材が使用者により操作されることによって生じる指示信号を信号処理・制御部１１へと伝達する処理回路等からなる。操作部７には、例えばシャッターレリーズボタン（及び同スイッチ）や、動作モード切り換えダイヤル（及び同スイッチ）等等がある。
【００５７】
表示部８は、信号処理・制御部１１の表示制御部１１ｂによる信号処理の結果生成された表示用画像信号に基く画像表示や設定メニュー表示，操作用表示等を表示させる表示装置である。この表示部８としては、例えば液晶表示装置（ＬＣＤ）や有機ＥＬディスプレイ等が適用される。
【００５８】
撮像装置１を撮影動作モードで使用する時、使用者は表示部８に表示されるリアルタイム画像を見ながら構図やシャッターレリーズを行うタイミングを決定する。つまり、撮影動作時には、表示部８は主にファインダーとして機能する。また、表示部８に設定メニュー表示を表示させた時には、使用者は各種の操作部材を利用して撮像装置１の各種の設定選択操作を行なうことができる。さらに、撮像装置１を再生動作モードで使用する時、表示部８には記録済み画像データに基く画像等が表示される。
【００５９】
これに加えて、本実施形態における表示部８は、特に図示していないが、例えばマイク５によって取得された音声信号若しくは記録部４に記録済みの音声データ等に基いて音声を発音させるスピーカ等の音声出力装置を含むものとする。
【００６０】
タッチパネル８ｂは、表示部８の表示画面上に配置される位置入力装置と、表示部８に表示される操作用表示等によって構成される。
【００６１】
使用者がタッチパネル８ｂに対して所定のタッチ操作（接触操作）を行うと、タッチパネル８ｂは、タッチ操作された位置若しくは領域等に関する信号を発生させて信号処理・制御部１１へと出力する。これを受けて、信号処理・制御部１１（のタッチ点判定部（図示せず））は、表示部８の表示画面上におけるタッチ操作のタッチポイント等を検出し判定する。さらに、タッチ操作の変化等を検出することで、タッチ操作時における使用者の指の動かし方等をも検出し判定する。
【００６２】
そして、タッチパネル８ｂに対するタッチ操作の検出結果にしたがって表示制御部１１ｂは、表示部８の表示画面に表示される内容を制御するようになっている。これにより、タッチパネル８ｂは、操作部７による操作の補助をする役目をしている。例えば、撮像装置１が撮影動作モードにおける所定の撮影モード（例えばプログラム撮影モード等）で動作している時（かつ電源オン状態にある時）、操作部７若しくはタッチパネル８ｂが使用者により操作されると、撮影動作モードのうち他の撮影モード（例えば絞り優先自動露出（ＡＥ）モード，シャッター速度優先自動露出モード等）への切り換え設定等や、各撮影モード内での個々の撮影条件の任意の設定変更等を容易に行うことができるようになっている。
【００６３】
このタッチパネル８ｂは、従来一般に普及し実用化されているデジタルカメラ等の撮像装置に適用されるものと略同様構成のものが適用される。したがって、本実施形態の構成を説明するのに際しては、タッチパネル８ｂの構成の詳細な図示及び説明は省略する。
【００６４】
時計９は、本撮像装置１における内部電気回路の制御等において必要となる計時動作等に寄与する計時回路等からなる。なお、本実施形態の説明では、時計９を単独の構成ブロックとして適用した例を示すが（図１参照）、これに代えて信号処理・制御部１１の内部に含めて構成するような形態としてもよい。
【００６５】
通信部１２は、撮像装置１に対して接続される外部機器との間で通信を行うための通信回路等からなる。外部機器との間の通信形態としては、ケーブル接続による有線通信や、無線接続による無線通信等、各種の形態が適用可能である。したがって、本撮像装置１によって取得された画像データ等は、通信部１２を介して外部機器へと出力することが可能となっている。
【００６６】
レンズユニット２０（図３等参照）は、撮影対象物（被写体）からの光束を集光して撮像部２の受光面上に結像させる複数の光学レンズと、これら複数の光学レンズをそれぞれ保持するレンズ保持枠及びその駆動部と、絞り機構やシャッター機構及びその駆動部等のほか、その他電気的な構成部材等を含んで構成されている。このレンズユニット２０は、従来一般に普及し実用化されているデジタルカメラ等の撮像装置に適用されるものと略同様構成のものが適用される。したがって、本実施形態の構成を説明するのに際しては、レンズユニット２０の構成の詳細な図示及び説明は省略する。なお、レンズユニット２０は、撮像装置１に対して着脱自在に構成したもの、若しくは撮像装置１と一体に構成したもの等、種々の形態のものが適用され得る。
【００６７】
本実施形態の撮像装置１は、上述した構成部材以外にも、種々の構成部材を具備して構成されるものであるが、上述の構成部材以外の構成については、本発明に直接関連しない構成である。したがって、上述の構成部材以外の構成は図面の煩雑化を避けるために、その図示を省略すると共に、従来の撮像装置等と同様の構成を有するものとして、それらの詳細説明を省略する。
【００６８】
このように構成された本実施形態の撮像装置１を用いて撮影を行う際の作用について、図４〜図６のフローチャート及び図７〜図１８等を用いて以下に説明する。
【００６９】
まず、撮像装置１による「カメラ制御」に関する処理シーケンスが実行される際の概略的な使用状況について、図７，図８を用いて簡単に説明する。
【００７０】
図７に示すように、本撮像装置１の使用者１００は、例えば外出先等において両手に荷物等を持っているような状態であり、したがって、使用者１００は、手を用いて撮像装置１を保持することができない状況にあるものとする。さらに、このとき使用者１００は、被写体１０１となる子供を連れて歩いているものとする。
【００７１】
このような状況下においても、使用者１００は、子供を撮影対象としての被写体１０１として撮影したいと思う瞬間が多々あるハズである。しかしながら、上述したように撮像装置１を手に持つことができない状況にある場合、従来の撮像装置では、撮影を行うことは困難であり、子供との貴重なひとときや、せっかくのシャッターチャンスを逃してしまうことになる。
【００７２】
そこで、本実施形態の撮像装置１においては、このような状況下にあっても、撮像装置１を手に保持することなく、使用者１００が所定の所作等による使用者１００の意思をトリガー（起点）として撮像装置１を作動させて連続撮影を行い、これによって取得された複数の撮影画像の各画像信号についての所定の信号処理（例えばパノラマ合成処理，画像繋ぎ処理，トリミング処理等の画像合成処理等）を行って、そうして生成された合成画像信号を記録するといった一連の撮影処理シーケンスを自動的に行う撮影モードとしての「自動撮影モード」を具備している。
【００７３】
なお、作動開始のトリガーとしての所定の所作としては、例えば撮像装置１を保持する使用者１００が背後に居る被写体１０１の側に振り返る所作を想定している。それだけでなく、これに加えてさらに、使用者１００と被写体１０１間の会話（音声）を検出したり、取得された画像信号に基いて被写体１０１の顔検出を行う等の技術を用いることにより、より高精度に適切な撮影を行なうことができるようになる。なお、このような補助的な技術を合わせて適用する場合には、これらの検出を行う以前に、撮影動作を開始しておく必要がある。
【００７４】
そのために、使用者１００は、図７，図８に示すように、ベルト状の保持部材１ａを用いて、自身の腕等に本実施形態の撮像装置１を固定保持することができるようになっている。ここで、使用者１００が撮像装置１を自身の腕等に固定保持した時、当該撮像装置１は、撮影レンズが外方を向くような姿勢で固定している。また、撮像装置１は、撮影動作を実行し得るように電源オン状態となっており、かつ動作モードが撮影動作モードに設定されているものとする。
【００７５】
なお、撮像装置１が完全に電源オン状態になっている必要は無く、例えば信号処理・制御部１１の一部の機能だけが起動しており、撮像部２，表示部８等、消費電力が比較的大きな構成ブロックを待機させた状態とする省電力モード等による待機状態となっているようにしてもよい。
【００７６】
この場合には、撮像装置１は、使用者１００によるなんらかの所作、例えば図９に示すように使用者１００が被写体１０１に対して声をかけたり、被写体１０１の方に振り向いたり、または、立ち止まったりといった所作等をトリガーとして、待機状態にある撮像装置１が即座に撮影可能状態に復帰するような処理シーケンスを設ければよい。
【００７７】
撮像装置１が、このような状況下にあるとき、まず、図４のステップＳ１０１において、信号処理・制御部１１は、加速度検出部６からの出力信号等を監視して撮像装置１の姿勢状態を判定する。ここで、撮像装置１の姿勢等の状態がノーファインダー状態であるか否かの確認を行う。
【００７８】
このノーファインダー状態とは、使用者１００が表示部８の表示画面の確認をせずに撮影を行う際の状態をいうものとする。
【００７９】
通常の場合、撮像装置１を用いて撮影を行う際には、使用者１００は、撮像装置１を手に保持した状態（若しくは三脚等の固定具に固定した状態）で、該撮像装置１の背面側に通常設けられるファインダー装置としての表示部８の表示画面に連続的に表示される画像を観察しながら構図等を決定した上で、シャッターレリーズ等の操作を行う。
【００８０】
しかしながら、上述したように、撮像装置１が、図７，図８等に示すような状態で固定保持されている状態では、使用者１００は、撮像装置１の表示部８の表示画面を確認することができない。したがって、表示部８の表示画面による正しいフレーミングや意図する構図での撮影を行うことができないが、使用者１００は、撮像装置１の光軸方向と撮影レンズによる撮影画角等を考慮することにより、表示画面を確認することなく所望の被写体を撮影画角内にとらえることはある程度できる。このように、使用者１００がファインダー装置（表示部）を確認せずに撮影を行うことは、ノーファインダー撮影といわれるものであって、写真撮影手法としては、従来一般に行われている撮影手法のひとつである。
【００８１】
しかしながら、ノーファインダー撮影は、構図を確認することなく撮影動作を行うことになるので、その結果は得られる画像は、使用者が意図する画像になるとは限らない。
【００８２】
そこで、本実施形態の撮像装置１においては、ノーファインダー撮影による連続撮影を行なって複数の撮影画像を取得し、取得した複数画像を繋ぎ合わせて一つの画像となるように合成する等の信号処理を行なったり、さらにこの合成画像のうち所望の部分、例えば被写体１０１の像を中心とする所定の一領域を切り出すトリミング処理等の信号処理を駆使して所望の静止画像を生成するようにしている。
【００８３】
撮像装置１がノーファインダー状態にあるか否かの判断は、上述のように、加速度検出部６からの出力信号等に基いて行われる。
【００８４】
また、それ以外にも、例えば保持部材１ａの装着状態を検出する手段を設けてもよいし、表示部８に対向する位置に撮影者が存在するか否かの検出を行う手段を設けてもよいし、撮像装置１のグリップ部（撮像装置１を通常状態で手で保持するときに手がかかる部位）等に使用者の手がかかっているかの検出を行う手段を設ける等、各種の検出手段によって撮像装置１の状態を検出するようにしてもよい。
【００８５】
さらに、これらの状態検出手段に代えて、撮影動作のモード設定のうちに「ノーファインダーモード」を設け、上記ステップＳ１０１の処理において信号処理・制御部１１が設定されているモードを確認するようにしてもよい。
【００８６】
なお、上述したような所作等（図９参照））をトリガーとして撮像装置１を待機状態から撮影可能状態に復帰させる処理シーケンスを挿入する場合には、その復帰処理の後、ただちに上記ステップＳ１０１の処理を行うようにすればよい。
【００８７】
上記ステップＳ１０１の処理において、撮像装置１が「ノーファインダー状態」にあることが確認された場合には、次のステップＳ１０２の処理に進む。そして、このステップＳ１０２以降の処理において、信号処理・制御部１１は「自動撮影モード」による処理シーケンスを実行する。
【００８８】
ステップＳ１０２において、信号処理・制御部１１は、加速度検出部６の出力信号やマイク５により取得される音声信号等を監視して、「自動撮影モード」を実行するのに適した「所定条件」が満たされているか否かの確認を行う。この「所定条件」確認の処理シーケンスの詳細は図５に示す通りである。
【００８９】
ここで、「自動撮影モード」の処理シーケンスを実行するための「所定条件」を確認する処理シーケンスの詳細を、図５のフローチャートによって説明する。
【００９０】
まず、図５のステップＳ１５１において、信号処理・制御部１１は、加速度検出部６の出力信号に基いて撮像装置１に加わる重力方向を判定する重力方向判定処理を実行する。その後、ステップＳ１５２の処理に進む。
【００９１】
ステップＳ１５２において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、撮像装置１において重力方向（図３のＹ軸方向）及び光軸方向（図３のＺ軸方向）に直交する方向（図３のＸ軸方向；水平方向）の加速度が生じているか否かの確認を行う。ここで、水平（Ｘ軸）方向の加速度が生じていることが確認された場合には、次のステップＳ１５３の処理に進む。また、水平（Ｘ軸）方向の加速度が生じていないことが確認された場合には、ステップＳ１６１の処理に進む。
【００９２】
続いてステップＳ１５３において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、重力（Ｙ軸）方向における変化の有無を確認する。ここで、重力（Ｙ軸）方向における変化が無いことが確認された場合には、次のステップＳ１５４の処理に進む。また、上述のステップＳ１５３の処理において、重力（Ｙ軸）方向における変化が確認された場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【００９３】
つまり、上述のステップＳ１５１の処理にて、水平（Ｘ軸）方向の加速度が確認され、かつ上述のステップＳ１５４の処理にて、重力（Ｙ軸）方向の変化が確認される場合、即ち撮像装置１が主に水平（Ｘ軸）方向に移動した場合の状況としては、例えば図９，図１０に示すような状況が考えられる。
【００９４】
即ち、図８に示すような状況下にあるとき、使用者１００が、図９，図１０に示す矢印Ｒ方向に振り向いた場合を考えてみる。
【００９５】
このときの状況を、図９，図１０に示すように使用者１００の頭上より俯瞰してみたとすると、使用者１００の腕に固定された撮像装置１は、使用者１００の身体を回転中心として図９，図１０の矢印Ｒ方向に弧を描くように移動することになる。この場合における移動に際しては、撮像装置１に対して水平（Ｘ軸）方向の加速度がかかる一方、重力（Ｙ軸）方向に変化はみられない。
【００９６】
また、図９，図１０に示す状況とは別の状況として、撮像装置１が水平（Ｘ軸）方向に移動する場合の例としては、例えば図１２に示すような状況も考えられる。
【００９７】
図１２に示す状況は、撮像装置１を上述の図８〜図１０と同様の方法で腕に保持した状態の使用者１００が自転車等の乗り物に乗車して移動している状況を示している。
【００９８】
この場合において、使用者１００が図１２に示す地点［Ａ］から地点［Ｂ］へと移動した場合を考えてみる。
【００９９】
このとき撮像装置１は、地点［Ａ］から地点［Ｂ］の間で水平（Ｘ軸）方向に移動するのみである。したがって、撮像装置１に対しては、水平（Ｘ軸）方向の加速度がかかる一方、重力（Ｙ軸）方向に変化はみられない。
【０１００】
図５に戻って、ステップＳ１５４において、信号処理・制御部１１は、マイク５により取得される音声信号を監視して、使用者（撮影者）１００の声が検出されたか否かの確認を行う。
【０１０１】
ここで、「自動撮影モード」開始条件項目として、上述の撮像装置１の状態変化だけでなく、これに加えて音声信号の検出による撮影者の声の確認処理を挿入している。これにより、「自動撮影モード」の開始条件を厳しくして誤動作を防止することができる。
【０１０２】
なお、マイク５により取得された音声信号から、使用者（撮影者）１００の声を検出するための手段としては、例えば予め使用者（撮影者）の声を記録部４等に登録しておき、その音声データに基くとマイク５で取得した音声信号とを比較することにより可能である。
【０１０３】
上述のステップＳ１５４の処理において、撮影者の声に基く音声信号の検出が確認された場合には、次のステップＳ１５５の処理に進む。また、撮影者の声に基く音声信号の検出が確認されない場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１０４】
次に、ステップＳ１５５において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて得られる撮像装置１の移動方向（移動パターン），加速度等の状態情報を図示しない一時記録部若しくは記録部４の記録媒体等に記録する。その後、「所定条件」は適する状態にあると判断して一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされているものとして、図４のステップＳ１０３の処理に進む。
【０１０５】
一方、図５のステップＳ１５２において、水平（Ｘ軸）方向の加速度が確認されずに、ステップＳ１６１の処理に進むと、このステップＳ１６１において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、重力（Ｙ軸）方向における加速度の有無を確認する。ここで、重力（Ｙ軸）方向における加速度が生じていることが確認された場合には、次のステップＳ１６２の処理に進む。また、重力（Ｙ軸）方向における加速度が生じていないことが確認された場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１０６】
ステップＳ１６２の処理において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、撮像装置１のあおり角に変化が生じたか否かの確認を行う。このあおり角とは、水平方向のＸ軸と光軸方向のＺ軸とのなす角度をいう。
【０１０７】
ここで、撮像装置１のあおり角の変化が生じる場合の状況としては、例えば図１３，図１４に示すような状況が考えられる。
【０１０８】
このうち図１３に示す状況は、使用者１００が、撮像装置１を上述の図８〜図１０と同様の方法で腕に保持した状態の使用者１００が腕を振って歩行している状況を示している。
【０１０９】
この場合において、使用者１００が図１３に示す地点［Ａ］から地点［Ｂ］へと移動した場合を考えてみる。
【０１１０】
このとき撮像装置１は、使用者１００が歩行するのにしたがって振られる腕と共に所定の範囲で移動する。使用者１００が地点［Ａ］から地点［Ｂ］へと歩行するとき、撮像装置１のあおり角、即ち光軸（Ｚ軸）の向く方向が変化する。この変化によって加速度検出部６の出力信号にも変化が生じることになる。
【０１１１】
また、図１４に示す状況は、使用者１００が、撮像装置１を自身の身体の前面、例えば胸上に保持部材を用いて固定した状態において、被写体となる人物１０３に対面している場合を想定している。
【０１１２】
そして、使用者１００が人物１０３に対して略正対している状態（不図示）にあるとき、使用者１００が図１４の矢印Ｒに示す方向に胸を反らせるような所作を行ったとする。この場合において、撮像装置１は、使用者１００の所作に伴って、その光軸（Ｚ軸）が上向くことになる。つまり、撮像装置１のあおり角（光軸（Ｚ軸）の向く方向）が変化する。
【０１１３】
この場合の撮像装置１の挙動は、図１５のように示すことができる。即ち、図１４の状況下において、使用者１００が人物１０３に正対している時、撮像装置１は図１５（ａ）の状態となる。この状態において、撮像装置１には重力（Ｙ軸）方向の力量Ｆがかかっている。
【０１１４】
この状態から、上述したように使用者１００が胸を反らす所作を行うと、撮像装置１は図１５（ａ）の状態から図１５（ｂ）の状態へと姿勢を変化させる。この姿勢変化（あおり角の変化）に伴って、重力（Ｙ軸）方向の力量Ｆが撮像装置１に対してかかる方向に変化が生じる。この変化によって加速度検出部６の出力信号にも変化が生じることになる。
【０１１５】
図５に戻って、上述のステップＳ１６２の処理において、撮像装置１のあおり角に変化が生じたことが確認された場合には、上述のステップＳ１５４の処理に進み、以降同様の処理が行われる。また、撮像装置１のあおり角の変化が確認されない場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１１６】
以上のように、「所定条件」確認の処理シーケンス（図５）を含む上述のステップＳ１０２の処理（図４）において、「所定条件」が満たされていないことが確認されると、上述のステップＳ１０１の処理に戻って以降の処理を繰り返す一方、「所定条件」が満たされていることが確認されると、次のステップＳ１０３の処理に進む。
【０１１７】
続いて、ステップＳ１０３において、信号処理・制御部１１は、所定の構成ブロックを制御して複数の撮影動作を連続的に実行する連続撮影動作を実行する。この連続撮影動作は、通常の静止画像の取得動作を連続的に行う動作である。
【０１１８】
例えば、図８，図９の状況下において使用者１００が振り向く所作を行ったとき、撮像装置１も図９，図１０の矢印Ｒ方向に回転移動することになる。この所作の期間中に連続撮影動作が行われてたとすると、その連続撮影動作によって取得される複数の撮影画像は、例えば図１１（ａ）に示すようになる。
【０１１９】
図１１（ａ）は、一連の連続撮影動作によって取得される複数画像を左から順に並べて示すものである。ここで、図１１（ａ）に示す符号［Ｎｏ．ｘ］（ｘ＝１〜５）は、撮影された撮影画像の順番を示している。このとき、各撮影画像の長辺方向（即ち撮像装置１の移動方向である）の端部領域に重複領域Ｗが存在するようになっているのが望ましい。本発明においては、この重複領域Ｗを利用して後述する画像合成処理を行うようにしている。
【０１２０】
しかしながら、連続撮影が行われる際における撮像装置１の姿勢変化や移動の状況によっては、例えば図１６（ａ）に示すように１枚分の撮影画像領域に比較して重複領域Ｗが大きくなってしまったり、図１６（ｃ）に示すように連続する前後の画像に重複する領域が得られない場合もあり得る。図１６（ａ）のように重複領域Ｗが大きい場合には、必要となる画像数が多くなる等の理由から、画像合成処理を行うのに負担が大きくなってしまう。また、図１６（ｃ）のように重複領域を得られなければ画像合成処理を行うことができないことになる。
【０１２１】
撮像装置１の姿勢変化や移動状況としては、例えば図１２で示す例のように撮像装置１が高速で直進移動する場合（簡略に示すと図１７のようになる。符号Ｕが直進移動方向）と、図９，図１０若しくは図１３や図１４で示す例のように撮像装置１が水平又は垂直方向に移動する際に回転を伴って移動する場合（簡略に示すと図１８のようになる。符号Ｒが回転方向）等が考えられ、前者と後者とでは撮像装置１自体の移動速度が異なる。
【０１２２】
したがって、迅速かつ正確な画像合成処理を行うためには、連続撮影動作によって得られる複数枚の画像を適切なものとする必要がある。そのために、連続撮影動作によって取得される画像数はできるだけ少なく、かつ図１６（ｂ）に示すように重複領域Ｗを得ながらも、その重複領域Ｗが少ない面積であるのが望ましいといえる。
【０１２３】
このことを実現するために、本実施形態における連続撮影動作の処理シーケンスでは、撮像装置１の姿勢変化や移動状況にしたがって連続撮影速度を制御するようにしている。
【０１２４】
ここで、上述のステップＳ１０３の連続撮影動作の処理シーケンスの詳細を、図６のフローチャートを用いて説明する。
【０１２５】
上述した手順にて図４のステップＳ１０３の処理において連続撮影動作が実行されると、まず、図６のサブルーチンのステップＳ１７１において、信号処理・制御部１１は、連続的に行う撮影動作（以下、連写という）をできる限り高速で実行する「高フレームレート撮影」処理を実行する。
【０１２６】
次いで、ステップＳ１７２において、信号処理・制御部１１は、上述の図５のステップＳ１５５の処理にて一時的に記録してある状態情報に基いて主要移動方向の加速度を判定する処理を行う。
【０１２７】
続いて、ステップＳ１７３において、信号処理・制御部１１は、上述のステップＳ１７２の処理における判定結果に基いて、撮像装置１の姿勢変化や移動状況として、回転（角度変化）を伴っているか否かの確認を行う。ここで、回転を伴っていないことが確認された場合には、次のステップＳ１７４の処理に進む。
【０１２８】
ここで、回転を伴っていない移動状況とは、例えば上述の図１２，図１７で示すような移動である。この場合には画像の変化が少ないので、連写した複数画像のうち隣接する画像は、図１６（ａ）に示す例のように重複領域Ｗが大きくなる可能性がある。
【０１２９】
したがって、次のステップＳ１７４の処理において、信号処理・制御部１１は、上述のステップＳ１７２の処理の判定結果に基く加速度情報にしたがって、記録フレームの取捨選択処理を行った上、選択画像のみが第１仮記録部４ａに一時的に記録されるようにするための処理を行う。なお、実際の記録処理は、一連の連続撮影処理の終了後に行われる（後述する図４のステップＳ１０４参照）。
【０１３０】
ここで行われる記録フレームの取捨選択処理の例としては、例えば加速度が大きい場合には連写された一連の複数画像から一コマ置きに選択し、加速度が小さい場合には二コマ置きに選択する等の処理である。その後、ステップＳ１７６の処理に進む。
【０１３１】
一方、上述のステップＳ１７３の処理にて、回転を伴っていることが確認された場合には、ステップＳ１７５の処理に進む。
【０１３２】
ここで、回転を伴う移動状況とは、例えば上述の図９，図１０や図１３や図１４等、図１８で簡略的に示されるような移動である。この場合には、画像の変化が大きいので、連写した複数画像のうち隣接する画像は、図１６（ｂ）に示す例のように重複領域Ｗが小さくなる可能性がある。
【０１３３】
したがって、ステップＳ１７５の処理において、信号処理・制御部１１は、連写によって得られた複数画像の全てを、第１仮記録部４ａに一時的に記録されるようにするための処理を行う。なお、実際の記録処理は、一連の連続撮影処理の終了後に行われる（後述する図４のステップＳ１０４参照）。その後、ステップＳ１７６の処理に進む。
【０１３４】
ステップＳ１７６において、信号処理・制御部１１は、加速度検出部６の出力信号を監視して撮像装置１の移動状況が略停止したか否かの確認を行う。ここで、撮像装置１が未だ移動中であり停止していないことが確認された場合には、上述のステップＳ１７２の処理に戻り、以降の処理を繰り返す。また、撮像装置１が移動を停止したことが確認された場合には、次のステップＳ１７７の処理に進む。
【０１３５】
ステップＳ１７７において、信号処理・制御部１１は、撮影動作を終了する処理を実行し、その後、一連の処理を終了し、元の処理に戻る（リターン）。
【０１３６】
図４に戻って、上述のようにして図６のサブルーチン、即ちステップＳ１０３の処理が終了したら、次のステップＳ１０４の処理に進む。
【０１３７】
ステップＳ１０４において、信号処理・制御部１１は、上述のステップＳ１０３の処理によって取得し、記録されるべきものとされている複数の画像信号を第１仮記録部４ａに一時的に記録する。その後、ステップＳ１０５の処理に進む。
【０１３８】
ステップＳ１０５において、信号処理・制御部１１の画像信号加工処理部１１ｄは、第１仮記録部４ａに一時記録された複数の画像信号を繋ぎ合わせるパノラマ合成処理（画像繋ぎ処理）を実行し、その処理結果の合成画像信号を第２仮記録部４ｂに一時的に記録する。その後、ステップＳ１０６の処理に進む。
【０１３９】
ここで、画像信号加工処理部１１ｄにより実行されるパノラマ合成処理（画像繋ぎ処理）は、次のような処理となる。
【０１４０】
例えば、図１１（ａ）に示す［Ｎｏ．１］〜［Ｎｏ．５］の一連の複数画像が取得されているものとすると、これら複数画像の各重複領域Ｗを合致させて繋ぎ合わせる画像合成処理である。この処理によって生成されるパノラマ合成画像は、図４（ａ）の符号Ｇで示される横長の画像となる。
【０１４１】
続いて、ステップＳ１０６において、信号処理・制御部１１のトリミング部１１ｅは、第２仮記録部４ｂに一時記録された合成画像信号に基いて主要被写体を中心とする所定の領域の画像を切り出し処理するトリミング処理を実行する。その後、ステップＳ１０７の処理に進む。
【０１４２】
ここで、トリミング部１１ｅにより実行されるトリミング処理は、次のような処理である。
【０１４３】
例えば、図１１（ａ）に示すように連続撮影によって取得された複数画像（図１１の例では５枚）から生成されたパノラマ合成画像Ｇのうち所望の主要な被写体１０１の像は、［Ｎｏ．４］，［Ｎｏ．５］に撮影されているものとする。
【０１４４】
トリミング処理は、このパノラマ合成画像Ｇのうち主要被写体１０１が画面の略中心となるように所定の領域Ｔを切り出す処理である。その結果生成されるトリミング画像は、図４（ｂ）で示すような画像となる。
【０１４５】
なお、上記トリミング処理を行う際に、パノラマ合成画像Ｇの中から主要被写体１０１を検出する手段としては、予め被写体１０１の顔画像を登録しておき、その登録情報に基いて顔検出部３を利用することにより可能である。
【０１４６】
続いて、図４のステップＳ１０７において、信号処理・制御部１１は、上述のステップＳ１０６の処理により生成されたトリミング画像信号を、所定の処理を施した後に、記録部４の記録媒体に記録する。その後、一連の処理を終了する（リターン）。
【０１４７】
なお、このステップＳ１０７の処理において、記録部４の記録媒体に記録される画像データとしては、トリミング処理済みの合成画像信号のみでなく、一連の連続撮影動作によって取得され第１仮記録部４ａに一時記録されている複数の画像信号や、第２仮記録部４ｂに一時記録されているパノラマ合成画像等を含めてもよい。
【０１４８】
本実施形態の撮像装置１による「カメラ制御」（図４）のうち「自動撮影モード」時の処理シーケンスは、以上である。
【０１４９】
一方、上述のステップＳ１０１の処理において、撮像装置１が「ノーファインダー状態」ではないことが確認された場合には、ステップＳ１１１の処理に進む。そして、このステップＳ１１１以降において、信号処理・制御部１１は通常の動作モードによる処理シーケンスを実行する。
【０１５０】
まず、ステップＳ１１１において、信号処理・制御部１１は、操作部７からの出力信号を監視して、撮影動作の開始を指示するシャッターレリーズ信号が生じているか否かの確認を行う。この確認は、例えば使用者１００によって操作部７のうち撮影動作を指示する所定の操作、即ちシャッターレリーズボタン等の操作が行われたか否かの確認を行う。ここで、シャッターレリーズ信号が確認された場合には、次のステップＳ１１２の処理に進む。
【０１５１】
ステップＳ１１２において、従来の撮像装置１において一般に行われているような通常撮影処理が実行される。その後、ステップＳ１０７の処理に進む。
【０１５２】
また、上記ステップＳ１１１の処理において、信号処理・制御部１１は、レリーズ信号が確認されない場合には、ステップＳ１２１の処理に進む。
【０１５３】
ステップＳ１２１において、信号処理・制御部１１は、操作部７からの出力信号を監視して再生モードへの切換指示信号が生じているか否かの確認を行う。ここで、再生モードへの切換信号により動作モードが再生モードに設定されたことが確認されると、次のステップＳ１２２の処理に進む。また、再生モードへの切換信号が確認されない場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１５４】
ステップＳ１２２において、信号処理・制御部１１は、所定の構成ブロックを制御して画像再生処理を実行する。その後、上述のステップＳ１２１の処理に戻り、以降の処理を繰り返す。
【０１５５】
なお、上述の実施形態において、パノラマ合成処理やトリミング処理等を行う際には、マイク５によって取得される被写体からの音声信号を利用するといったことも考えられる。
【０１５６】
例えば、連続撮影動作を行なって取得された複数の画像の例として、図１９に示すよう場合を考えてみる。
【０１５７】
図１９において、矢印Ｓは、撮像装置１が移動しながら連続撮影を行なった際の移動方向を示している。図１９に示す例では、連続撮影動作によって三枚分の画像［Ｎｏ．１］．［Ｎｏ．２］，［Ｎｏ．３］が取得されたものとし、そのいずれの撮影コマにも、主要な被写体１０１の像が撮影されている物とする。
【０１５８】
ここで、図１９に示す３つの画像［Ｎｏ．１］．［Ｎｏ．２］，［Ｎｏ．３］に基いてパノラマ合成処理を実行するのに際して、３つの画像のうちのいずれの主要被写体１０１の像を選択するべきかの条件として、被写体１０１が返事をしたタイミングで撮影された画像を優先的に選択する。
【０１５９】
例えば、図９のように使用者１００が被写体１０１に向けて声をかけたて振り向く所作を行った場合を考えてみる。
【０１６０】
このとき、例えば撮像装置１が起動すると共に、連続撮影動作を開始したとする。したがって、使用者１００の声が発生した時点から連続撮影動作が始まり、使用者が振り向く所作の間、連続撮影は継続する。そして、その間に被写体１０１が返事をしたとすると、その発音タイミングが記録される。この発音タイミングの情報は、パノラマ合成処理等の信号処理等の信号処理が行われる際に適宜参照される。
【０１６１】
ここで、図１９に示す連続撮影の結果得られる個々の画像を分解して示すと図２０（ａ）のようになる。ここで、被写体１０１が発音したタイミングと略同等のタイミングで撮影された画像を符号［Ｎｏ．３］で示す画像とする。
【０１６２】
この場合において、パノラマ画像処理を実行すると、主要被写体１０１を含む画像としては、画像［Ｎｏ．３］が優先して選択され、次いで、これに隣接する画像［Ｎｏ．２］が選択される。そして、画像［Ｎｏ．３］の被写体１０１の部分が前面になるように、図２０（ｂ）に示すように画像［Ｎｏ．２］とのパノラマ合成処理がなされる。
【０１６３】
図１９，図２０の例では、図１９の矢印Ｓで示すように、撮像装置１は若干斜め方向に移動しているので、長方形状の画像を生成するためには、処理済みのパノラマ合成画像の高さ方向についてのトリミングが必要になる。
【０１６４】
そこで、図２０（ｂ）に示すように、領域Ｔの部分を切り取るトリミング処理を行って、その結果生成される画像が符号Ｔ（幅Ｐ×高さＨで示される長方形画像）で示すようになる。
【０１６５】
このように、マイク５により取得し得る音声信号を画像加工処理時に有効利用することによって、例えば使用者１００と被写体１０１との間でコミュニケーションがなされた瞬間前後の画像記録を行うことができる。
【０１６６】
以上説明したように上記第１の実施形態によれば、撮像装置１がノーファインダー状態で保持した使用者１００の所作等を加速度検出部６の出力信号に基いて判定して、所定の条件が合致した時には、連続撮影動作を実行し、これによって連続した複数の一連の画像を取得する。そして、これら複数の画像を繋ぎ合わせるパノラマ合成処理を行い、さらに、生成されたパノラマ合成画像について所望の被写体を略中心とする所定の範囲の領域を切り出すトリミング処理を実行して、最終的に生成された一つの静止画像を記録するようにしている。
【０１６７】
このような一連の処理が自動的に実行されるように構成したので、使用者は、撮像装置を手に保持しつつ構図を意識したり撮影のための操作を行うことなく、いわゆるノーファインダー状態において所定の所作を行うことにより適確に所望の被写体を含む静止画像を取得することが容易にできる。
【０１６８】
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１６９】
本発明は、デジタルカメラ等の撮影機能に特化した電子機器としての撮像装置の形態に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば録音機器，携帯電話，電子手帳，パーソナルコンピューター，ゲーム機器，デジタルメディアプレーヤー，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器に広く適用することができる。
【符号の説明】
【０１７０】
１……撮像装置
１ａ……保持部材
２……撮像部
３……顔検出部
４……記録部
４ａ……第１仮記録部
４ｂ……第２仮記録部
５……マイクロフォン
６……加速度検出部
７……操作部
８……表示部
８ｂ……タッチパネル
１１……信号処理・制御部
１１ｂ……表示制御部
１１ｃ……信号圧縮伸張部
１１ｄ……画像信号加工処理部
１１ｅ……トリミング部
２０……レンズユニット
２０ａ……撮影レンズ
【技術分野】
【０００１】
この発明は、撮像装置、詳しくは手で構えることなくハンズフリーの状態でも撮影動作を行い得る撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮影光学系により結像された光学像を固体撮像素子等の光電変換素子によって順次画像信号に変換し、こうして得られた画像信号を所定の形態の画像データとして記録媒体に記録し得ると共に、この記録媒体に記録された画像データを画像として再生表示する液晶表示装置（ＬＣＤ）等の画像表示装置を備えて構成されるデジタルカメラ等の撮像装置が一般に実用化され、広く普及している。
【０００３】
このような形態の撮像装置によって取得され記録される画像データは、主にデジタルデータである。このデジタルデータは、取り扱いが極めて容易なものである。例えば、従来の撮像装置においては、撮像素子により取得された画像データに対して内部処理回路を用いて種々の信号処理が施される。そうして生成された信号処理済みの画像データが記録媒体に記録されるようになっている。
【０００４】
つまり、従来の撮像装置においては、固体撮像素子等によって取得された画像信号に対して撮像装置内の処理回路を用いて各種の信号処理を適切に実行することによって、様々な撮影状況に対応しながら、常に適切な画像を取得するようになっている。
【０００５】
また、従来の撮像装置においては、撮影動作を開始させる操作としては、例えば機械的なスイッチ（メカスイッチ）等に連動するレリーズボタン等の操作部材を使用者が操作するといった手段が普通であった。
【０００６】
この場合、レリーズボタン等の操作部材の操作が行われると、まず撮影動作の予備動作、即ち自動露出設定動作，自動焦点調節動作，オートホワイトバランス動作等等が実行された後、続いてレリーズ動作、即ち撮像素子，シャッター機構，絞り機構等が駆動される露出動作と、その後の画像処理動作，記録動作等といった一連の動作処理が実行されるようになっている。
【０００７】
近年の撮像装置においては、このようなレリーズボタン等の操作部材に代えて、例えば画像表示装置の表面を使用者が指等で触れる（タッチする）ことによって一連の撮影動作処理を実行することができるようにしたもの等、従来とは異なる方式の操作体系についての種々の提案が、例えば特開２００７−３６４９２号公報等によってなされている。
【０００８】
上記特開２００７−３６４９２号公報によって開示されている撮像装置等、従来の撮像装置では、使用者が撮像装置を手に保持した状態で、または三脚等を用いて撮像装置自体を固定した状態で、所定の操作を行なうことで一連の撮影動作が開始されることが前提となっている。
【０００９】
その一方で、近年においては、使用者が撮像装置を手に保持することなく所望の撮影動作を実行し得るようにする工夫が、例えば特開２００６−６０５８４号公報等によって種々提案されている。
【００１０】
上記特開２００６−６０５８４号公報によって開示されている撮像装置は、手の平又は手の甲に表示装置を有する本体部を、手指に撮像部をそれぞれ装着すると共に、複数本の手指の曲がりを検出する検出手段を有し、検出手段が検出する複数本の手指の曲がりの状態に応じて動作モードを切り換えるように制御するというものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−３６４９２号公報
【特許文献２】特開２００６−６０５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、上記特開２００６−６０５８４号公報等によって開示されている撮像装置は、手指の曲がり具合を検出する等、動作制御のための検出手段等が必要となることから、所定の用途に特化した専用装置であると言える。
【００１３】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮像装置を用いて撮影を行う際に、使用者は撮像装置を手に保持して構えることなく、また撮像装置の操作部材を操作することなく、身体の一部に撮像装置を装着した状態で自然な動作を行うことで撮影動作を実行し得ると共に、この撮影動作によって得られた画像データについて各種の信号処理を施すことによって自然な構図で違和感のない静止画像を取得し得るように構成した撮像装置を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明による撮像装置は、撮像部と上記撮像部からの出力信号に基く画像信号を記録する記録部とを具備する撮像装置において、上記撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部と、上記姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部と、を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像装置を用いて撮影を行う際に、使用者は撮像装置を手に保持して構えることなく、また撮像装置の操作部材を操作することなく、身体の一部に撮像装置を装着した状態で自然な動作を行うことで撮影動作を実行し得ると共に、この撮影動作によって得られた画像データについて各種の信号処理を施すことによって自然な構図で違和感のない静止画像を取得し得るように構成した撮像装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態の撮像装置の内部構成の概略を示すブロック構成図、
【図２】図１の撮像装置における加速度検出部を取り出して、その構造を示す概略斜視図、
【図３】図１の撮像装置における加速度検出部の配置状態の概略を示す配置図、
【図４】図１の撮像装置におけるカメラ制御の作用の概略を示すフローチャート、
【図５】図４のカメラ制御の処理シーケンスのうち所定条件識別処理（ステップＳ１０２の処理）の詳細（サブルーチン）を示すフローチャート、
【図６】図４のカメラ制御の処理シーケンスのうち連続撮影処理（ステップＳ１０３の処理）の詳細（サブルーチン）を示すフローチャート、
【図７】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図、
【図８】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図、
【図９】図１の撮像装置を図８に示す状況下において使用する際の作用を説明する図、
【図１０】図１の撮像装置を図８に示す状況下において使用する際の作用を説明する図、
【図１１】図６の連続撮影動作が行われた場合に取得される複数画像の一例（ａ）と、これら複数画像から合成画像処理の結果生成される合成画像の一例（ｂ）を示す図、
【図１２】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の他の一例を示す図、
【図１３】図１の撮像装置によるカメラ制御が実行される際の具体的な状況の別の一例を示す図、
【図１４】図１の撮像装置によるカメラ制御が実行される際の具体的な状況のさらに別の一例を示す図、
【図１５】図１３，図１４の使用状況下における撮像装置の姿勢変化を示し、（ａ）は重力方向に対して正位置となる姿勢を、（ｂ）はあおり動作がなされた場合の姿勢を、それぞれ示す図、
【図１６】図１の撮像装置による連続撮影動作時の撮影結果の例を示し、（ａ）は重複領域が大となる例を、（ｂ）は重複領域の適例を、（ｃ）は重複領域が得られなかった例をそれぞれ示す図、
【図１７】図１２の使用状況下における撮像装置の移動状況を示す図、
【図１８】図９〜図１０若しくは図１３，図１４の使用状況下における撮像装置の移動状況を示す図、
【図１９】図１の撮像装置による連続撮影動作時の撮影結果の他の例を示す図、
【図２０】図１９の撮影結果に基いて実行される合成画像処理の流れを説明する概念図
【発明を実施するための形態】
【００１７】
以下、図示の実施の形態によって本発明を説明する。
【００１８】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換した後、生成されたデジタル画像データを記録媒体に記録する一方、記録媒体に記録されたデジタル画像データに基く静止画像又は動画像を表示装置を用いて再生表示し得るように構成されるデジタルカメラ等の撮像装置を一例として示すものである。
【００１９】
なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
【００２０】
図１〜図２０は、本発明の一実施形態を説明する図である。このうち、図１は本実施形態の撮像装置の内部構成の概略を示すブロック構成図である。図２は、図１の撮像装置における加速度検出部を取り出してその構造を示す概略斜視図である。図３は、図１の撮像装置における加速度検出部の配置状態の概略を示す配置図である。図４は、図１の撮像装置におけるカメラ制御の作用の概略を示すフローチャートである。図５は、図４のカメラ制御の処理シーケンスのうち所定条件識別処理（ステップＳ１０２の処理）の詳細（サブルーチン）を示すフローチャートである。図６は、図４のカメラ制御の処理シーケンスのうち連続撮影処理（ステップＳ１０３の処理）の詳細（サブルーチン）を示すフローチャートである。図７〜図１０は、図１の撮像装置によるカメラ制御が実行される際の具体的な状況の一例を示す図である。図１１は、図６の連続撮影動作が行われた際に取得される複数画像の一例（ａ）と、これら複数画像から合成画像処理の結果生成される合成画像の一例（ｂ）を示す図である。
【００２１】
図１２〜図１４は、本実施形態の撮像装置によるカメラ制御が実行される際の具体的な状況における異なる例をそれぞれ示している。図１５は、図１３，図１４の使用状況下における撮像装置の姿勢変化を示し、このうち、（ａ）は重力方向に対して正位置となる姿勢を、（ｂ）はあおり動作がなされた場合の姿勢を、それぞれ示している。図１６は、本実施形態の撮像装置による連続撮影動作時の撮影結果の例を示す図であって、このうち（ａ）は重複領域が大となる例を、（ｂ）は重複領域の適例を、（ｃ）は重複領域が得られなかった例をそれぞれ示している。図１７は、図１２の使用状況下における撮像装置の移動状況を示している。図１８は、図９〜図１０若しくは図１３，図１４の使用状況下における撮像装置の移動状況を示している。
【００２２】
図１９は、本実施形態の撮像装置による連続撮影動作時の撮影結果の他の例を示している。図２０は、図１９の例の撮影結果に基いて実行される合成画像処理の流れを説明する概念図である。
【００２３】
まず、本発明の一実施形態の撮像装置１の内部構成の概略を、図１のブロック図を用いて以下に説明する。
【００２４】
本実施形態の撮像装置１は、撮像部２と、顔検出部３と、記録部４と、マイクロフォン５と、加速度検出部６と、操作部７と、表示部８と、タッチパネル８ｂと、時計９と、信号処理・制御部１１と、通信部１２と、レンズユニット２０（図１では不図示；図３等を参照）等を具備して構成されている。
【００２５】
信号処理・制御部１１は、撮像装置１の全体を統括的に制御する制御回路であって、撮像装置１内の各構成ブロックから入力される各種の信号を受けて各種の制御処理を行う制御回路である。信号処理・制御部１１は、内部に表示制御部１１ｂ，信号圧縮伸張部１１ｃ，画像信号加工処理部１１ｄ，トリミング部１１ｅ等の回路部を有している。
【００２６】
このうち、表示制御部１１ｂは、撮像部２から連続的に出力される画像信号に基くリアルタイム画像の連続表示や記録済み画像の再生表示、若しくは各種設定のためのメニュー表示やタッチパネル８ｂに対応する操作用表示（例えばソフトウエアキーボードの表示等）等を表示部８の表示画面に表示させる表示関連の制御を行う制御部である。
【００２７】
信号圧縮伸張部１１ｃは、撮像部２によって取得された画像信号を受けて記録媒体に記録するのに最適な形態の画像データに変換するための信号圧縮処理を行ったり、記録媒体に記録済みの圧縮画像データを読み込んで、例えば表示部８等を用いて再生表示するのに最適な形態の画像信号に変換するための信号伸張処理等の信号処理を実行する処理回路である。なお、信号圧縮伸張部１１ｃは、画像信号（静止画像，動画像）の圧縮伸長処理のほかに、音声信号の圧縮伸長処理を扱うことができるようになっている。
【００２８】
画像信号加工処理部１１ｄは、撮像部２によって取得された画像信号であって、後述する第１仮記録部４ａに一時記録されている複数の画像信号に基いて所定の画像加工を施す所定の信号処理、例えばパノラマ合成処理（画像繋ぎ処理）等の画像合成処理等を行なう処理回路である。
【００２９】
トリミング部１１ｅは、上記画像信号加工処理部１１ｄによって生成された合成画像信号であって、後述する第２仮記録部４ｂに一時記録されているに画像信号に基いて必要な画像領域を切り取り加工を施すトリミング処理を行う処理回路である。
【００３０】
撮像部２は、レンズユニット２０によって結像された光学像を受光して、該光学像に対応する電気信号に変換する光電変換素子と、この光電変換素子により生成された画像信号の前処理を行う信号処理回路等によって構成される。撮像部２により生成された画像信号は、信号処理・制御部１１へと出力される。なお、光電変換素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化膜半導体）等の固体撮像素子等が適用される。
【００３１】
顔検出部３は、撮像部２によって取得された画像信号に基く画像の中から、例えば人間の顔領域を検出するいわゆる顔検出機能を実現するための構成ブロックである。この顔検出機能を実現する技術については、従来、撮像装置において広く普及しているものである。本実施形態の撮像装置１においても、従来の技術と同様のものが適用されるものとして、その詳細説明は省略する。
【００３２】
記録部４は、撮像部２によって取得され信号処理・制御部１１において各種の信号処理が施された後、最終的に信号圧縮伸張部１１ｃにおいて生成される記録用画像データを受けて記録蓄積するための記録媒体と、該記録媒体に対する画像データの記録処理や記録済み画像データの読み出し処理等、記録媒体を駆動する駆動回路等からなる。
【００３３】
なお、記録部４には、トリミング部１１ｅにおいてトリミング処理が施されて生成された画像信号（即ち、後述する自動撮影モードによって取得される最終形態の画像を表わす画像信号）に対応する記録用画像データも記録されるようになっている。
【００３４】
また、本実施形態の撮像装置１における記録部４は、第１仮記録部４ａ及び第２仮記録部４ｂ等を内部に具備している。
【００３５】
第１仮記録部４ａは、上記自動撮影モードで撮影動作を実行した時に撮像部２によって連続的に取得された複数の静止画像に対応する複数の画像信号を一時的に記録する記録領域である。
【００３６】
第２仮記録部４ｂは、信号処理・制御部１１の画像信号加工処理部１１ｄによって生成された合成画像信号を一時的に記録する記録領域である。
【００３７】
マイクロフォン（以下、単にマイクという）５は、音声等を電気信号に変換する構成部である。マイク５によって取得された音声信号は、信号処理・制御部１１において所定の信号処理が施された後、音声データとして記録部４の記録媒体に記録される。
【００３８】
なお、信号処理・制御部１１において記録用の音声信号に対して施される所定の信号処理としては、例えば圧縮処理や記録用音声データへの変換処理、若しくは画像データと関連付ける処理等、各種の処理が動作モードや設定条件にしたがって適宜実行される。
【００３９】
通常の場合、音声データは、動画像若しくは静止画像の撮影動作時に音声記録動作を同時に行なって記録されるほか、音声のみを単独で記録する動作モード時に記録される。
【００４０】
また、本実施形態の撮像装置１においては、マイク５によって取得された音声信号は、所定の動作モード時に記録されるほか、例えば自動撮影モードで取得された複数画像から主要被写体１０１を検出するのに利用するようにしてもよい（詳細は後述する）。
【００４１】
加速度検出部６は、撮像装置１の姿勢変化や移動状況等を検出する姿勢検出部である。この加速度検出部６は、例えば加速度を検出する加速度センサ等からなる検出センサと、この検出センサの出力信号を受信して所定の指示信号を発生させる回路等により構成される。なお、姿勢検出部としては、上記加速度センサに代えて、角速度を検出する角速度センサ（ジャイロスコープ）を適用することもできる。
【００４２】
つまり、加速度検出部６は、これを配置した撮像装置１に加えられた重力加速度や振動等を検出することによって、使用者による撮像装置１の保持状態、即ち手振れ状態や、撮像装置１の傾き状態等の姿勢検出や移動状況の検出を行う構成部である。
【００４３】
従来の撮像装置１においては、加速度検出部６の検出結果に基いて、手ブレ補正機構を駆動制御することによって手ブレ補正機能を実現している。
【００４４】
これに加えて、本実施形態の撮像装置１においては、加速度検出部６の出力信号を用いて、撮影動作を行う際の制御にも利用するようにしている。
【００４５】
ここで、加速度検出部６における検出センサの構成及び作用の概略を、図２，図３を用いて簡単に説明する。
【００４６】
本実施形態の撮像装置１における加速度検出部６における検出センサは、図２に示すように、架橋された金属部６ａとチップ表面の金属部６ｂとの位置が加速度によって変化する構造を内部に有する構成部材である。
【００４７】
このように構成される加速度検出部６の検出センサは、その姿勢が変化した時には、検出センサに対する重力のかかり具合によって金属部６ａに撓みが生じる。これにより、金属部６ａ，６ｂの相対的な位置変化が生じて、出力信号が変化するようになっている。
【００４８】
このような形態の検出センサを、例えば図３に示すように撮像装置１の内部において上面１ｘ，一方の側面１ｙ，底面１ｘの各面部に配置したとする。
【００４９】
この場合において、撮像装置１の上面１ｘに配置する検出センサを符号６ｘａ，６ｘｂで、一側面１ｙに配置する検出センサを符号６ｙで、底面１ｚに配置する検出センサを符号６ｚで、それぞれ示す。
【００５０】
ここで、撮像装置１のレンズユニット２０の撮影レンズ２０ａが設けられている面を撮像装置１の前面というものとする。また、撮影レンズ２０ａの光軸は、この撮像装置１の前面に対して直交する方向に配置されているものとする。そして、図３に示すように、撮影レンズ２０ａの光軸に沿う方向をＺ方向と、このＺ方向に対し水平に直交する方向をＸ方向と、Ｚ方向に対し鉛直に直交する方向をＹ方向と、それぞれいうものとする。
【００５１】
したがって、撮像装置１の上面１ｘ，底面１ｚはＸ方向及びＺ方向を含む面で構成されるものとする。このとき、上面１ｘと底面１ｚとは所定の距離だけ離して互いに対向するように配置される。また、撮像装置１の一側面１ｙはＹ方向及びＺ方向を含む面で構成されるものとする。
【００５２】
この場合において、検出センサ６ｘａ，６ｘｂはＸ方向の姿勢変化や移動状況を検出するように、その検出方向が設定配置されている。また、検出センサ６ｙはＹ方向の姿勢変化や移動状況を検出するように、その検出方向が設定配置されている。検出センサ６ｚはＺ方向の姿勢変化を検出するように、その検出方向が設定配置されている。
【００５３】
撮像装置１の姿勢が変化する状況（急激な移動変化を含む）としては、例えば撮像装置１が机上等に載置された状態から使用者が持ち上げた場合や、使用者が撮像装置１を手に保持した状態である状態から任意の方向へと振り向けた場合（あおり動作若しくは，振り返り動作等）等が考えられる。
【００５４】
上述のような姿勢変化が生じたとき、図３に示すように、Ｘ軸，Ｙ軸，Ｚ軸の３軸に対応させて撮像装置１の内部の所定部位に設置した各検出センサ６ｘａ，６ｘｂ，６ｙ，６ｚの出力信号の変化を監視することにより、撮像装置１がどのように動いたか、どのように姿勢変化したかを判定することができるようになっている。
【００５５】
また、Ｘ軸方向については、同方向の水平方向の移動を検出するには、１つの検出センサを設ければよいが、２つの検出センサ６ｘａ，６ｘｂを設けることにより、例えば撮像装置１が水平面に対しては水平方向のみに移動されつつ、光軸に直交する軸のうちＹ軸周りに回転するような移動が行われる場合の状況を検出することができる。この場合には、撮像装置１が所定方向に回転されるときの回転半径の外側に位置する検出センサ（６ｘａ）と内側に位置する検出センサ（６ｘｂ）との間に加速度の相違が検出されることになることから判定が可能である。
【００５６】
図１に戻って、操作部７は、撮像装置１の外面に設けられる各種の操作部材（図示せず）と、これら操作部材にそれぞれ連動する複数のスイッチ等と、操作部材が使用者により操作されることによって生じる指示信号を信号処理・制御部１１へと伝達する処理回路等からなる。操作部７には、例えばシャッターレリーズボタン（及び同スイッチ）や、動作モード切り換えダイヤル（及び同スイッチ）等等がある。
【００５７】
表示部８は、信号処理・制御部１１の表示制御部１１ｂによる信号処理の結果生成された表示用画像信号に基く画像表示や設定メニュー表示，操作用表示等を表示させる表示装置である。この表示部８としては、例えば液晶表示装置（ＬＣＤ）や有機ＥＬディスプレイ等が適用される。
【００５８】
撮像装置１を撮影動作モードで使用する時、使用者は表示部８に表示されるリアルタイム画像を見ながら構図やシャッターレリーズを行うタイミングを決定する。つまり、撮影動作時には、表示部８は主にファインダーとして機能する。また、表示部８に設定メニュー表示を表示させた時には、使用者は各種の操作部材を利用して撮像装置１の各種の設定選択操作を行なうことができる。さらに、撮像装置１を再生動作モードで使用する時、表示部８には記録済み画像データに基く画像等が表示される。
【００５９】
これに加えて、本実施形態における表示部８は、特に図示していないが、例えばマイク５によって取得された音声信号若しくは記録部４に記録済みの音声データ等に基いて音声を発音させるスピーカ等の音声出力装置を含むものとする。
【００６０】
タッチパネル８ｂは、表示部８の表示画面上に配置される位置入力装置と、表示部８に表示される操作用表示等によって構成される。
【００６１】
使用者がタッチパネル８ｂに対して所定のタッチ操作（接触操作）を行うと、タッチパネル８ｂは、タッチ操作された位置若しくは領域等に関する信号を発生させて信号処理・制御部１１へと出力する。これを受けて、信号処理・制御部１１（のタッチ点判定部（図示せず））は、表示部８の表示画面上におけるタッチ操作のタッチポイント等を検出し判定する。さらに、タッチ操作の変化等を検出することで、タッチ操作時における使用者の指の動かし方等をも検出し判定する。
【００６２】
そして、タッチパネル８ｂに対するタッチ操作の検出結果にしたがって表示制御部１１ｂは、表示部８の表示画面に表示される内容を制御するようになっている。これにより、タッチパネル８ｂは、操作部７による操作の補助をする役目をしている。例えば、撮像装置１が撮影動作モードにおける所定の撮影モード（例えばプログラム撮影モード等）で動作している時（かつ電源オン状態にある時）、操作部７若しくはタッチパネル８ｂが使用者により操作されると、撮影動作モードのうち他の撮影モード（例えば絞り優先自動露出（ＡＥ）モード，シャッター速度優先自動露出モード等）への切り換え設定等や、各撮影モード内での個々の撮影条件の任意の設定変更等を容易に行うことができるようになっている。
【００６３】
このタッチパネル８ｂは、従来一般に普及し実用化されているデジタルカメラ等の撮像装置に適用されるものと略同様構成のものが適用される。したがって、本実施形態の構成を説明するのに際しては、タッチパネル８ｂの構成の詳細な図示及び説明は省略する。
【００６４】
時計９は、本撮像装置１における内部電気回路の制御等において必要となる計時動作等に寄与する計時回路等からなる。なお、本実施形態の説明では、時計９を単独の構成ブロックとして適用した例を示すが（図１参照）、これに代えて信号処理・制御部１１の内部に含めて構成するような形態としてもよい。
【００６５】
通信部１２は、撮像装置１に対して接続される外部機器との間で通信を行うための通信回路等からなる。外部機器との間の通信形態としては、ケーブル接続による有線通信や、無線接続による無線通信等、各種の形態が適用可能である。したがって、本撮像装置１によって取得された画像データ等は、通信部１２を介して外部機器へと出力することが可能となっている。
【００６６】
レンズユニット２０（図３等参照）は、撮影対象物（被写体）からの光束を集光して撮像部２の受光面上に結像させる複数の光学レンズと、これら複数の光学レンズをそれぞれ保持するレンズ保持枠及びその駆動部と、絞り機構やシャッター機構及びその駆動部等のほか、その他電気的な構成部材等を含んで構成されている。このレンズユニット２０は、従来一般に普及し実用化されているデジタルカメラ等の撮像装置に適用されるものと略同様構成のものが適用される。したがって、本実施形態の構成を説明するのに際しては、レンズユニット２０の構成の詳細な図示及び説明は省略する。なお、レンズユニット２０は、撮像装置１に対して着脱自在に構成したもの、若しくは撮像装置１と一体に構成したもの等、種々の形態のものが適用され得る。
【００６７】
本実施形態の撮像装置１は、上述した構成部材以外にも、種々の構成部材を具備して構成されるものであるが、上述の構成部材以外の構成については、本発明に直接関連しない構成である。したがって、上述の構成部材以外の構成は図面の煩雑化を避けるために、その図示を省略すると共に、従来の撮像装置等と同様の構成を有するものとして、それらの詳細説明を省略する。
【００６８】
このように構成された本実施形態の撮像装置１を用いて撮影を行う際の作用について、図４〜図６のフローチャート及び図７〜図１８等を用いて以下に説明する。
【００６９】
まず、撮像装置１による「カメラ制御」に関する処理シーケンスが実行される際の概略的な使用状況について、図７，図８を用いて簡単に説明する。
【００７０】
図７に示すように、本撮像装置１の使用者１００は、例えば外出先等において両手に荷物等を持っているような状態であり、したがって、使用者１００は、手を用いて撮像装置１を保持することができない状況にあるものとする。さらに、このとき使用者１００は、被写体１０１となる子供を連れて歩いているものとする。
【００７１】
このような状況下においても、使用者１００は、子供を撮影対象としての被写体１０１として撮影したいと思う瞬間が多々あるハズである。しかしながら、上述したように撮像装置１を手に持つことができない状況にある場合、従来の撮像装置では、撮影を行うことは困難であり、子供との貴重なひとときや、せっかくのシャッターチャンスを逃してしまうことになる。
【００７２】
そこで、本実施形態の撮像装置１においては、このような状況下にあっても、撮像装置１を手に保持することなく、使用者１００が所定の所作等による使用者１００の意思をトリガー（起点）として撮像装置１を作動させて連続撮影を行い、これによって取得された複数の撮影画像の各画像信号についての所定の信号処理（例えばパノラマ合成処理，画像繋ぎ処理，トリミング処理等の画像合成処理等）を行って、そうして生成された合成画像信号を記録するといった一連の撮影処理シーケンスを自動的に行う撮影モードとしての「自動撮影モード」を具備している。
【００７３】
なお、作動開始のトリガーとしての所定の所作としては、例えば撮像装置１を保持する使用者１００が背後に居る被写体１０１の側に振り返る所作を想定している。それだけでなく、これに加えてさらに、使用者１００と被写体１０１間の会話（音声）を検出したり、取得された画像信号に基いて被写体１０１の顔検出を行う等の技術を用いることにより、より高精度に適切な撮影を行なうことができるようになる。なお、このような補助的な技術を合わせて適用する場合には、これらの検出を行う以前に、撮影動作を開始しておく必要がある。
【００７４】
そのために、使用者１００は、図７，図８に示すように、ベルト状の保持部材１ａを用いて、自身の腕等に本実施形態の撮像装置１を固定保持することができるようになっている。ここで、使用者１００が撮像装置１を自身の腕等に固定保持した時、当該撮像装置１は、撮影レンズが外方を向くような姿勢で固定している。また、撮像装置１は、撮影動作を実行し得るように電源オン状態となっており、かつ動作モードが撮影動作モードに設定されているものとする。
【００７５】
なお、撮像装置１が完全に電源オン状態になっている必要は無く、例えば信号処理・制御部１１の一部の機能だけが起動しており、撮像部２，表示部８等、消費電力が比較的大きな構成ブロックを待機させた状態とする省電力モード等による待機状態となっているようにしてもよい。
【００７６】
この場合には、撮像装置１は、使用者１００によるなんらかの所作、例えば図９に示すように使用者１００が被写体１０１に対して声をかけたり、被写体１０１の方に振り向いたり、または、立ち止まったりといった所作等をトリガーとして、待機状態にある撮像装置１が即座に撮影可能状態に復帰するような処理シーケンスを設ければよい。
【００７７】
撮像装置１が、このような状況下にあるとき、まず、図４のステップＳ１０１において、信号処理・制御部１１は、加速度検出部６からの出力信号等を監視して撮像装置１の姿勢状態を判定する。ここで、撮像装置１の姿勢等の状態がノーファインダー状態であるか否かの確認を行う。
【００７８】
このノーファインダー状態とは、使用者１００が表示部８の表示画面の確認をせずに撮影を行う際の状態をいうものとする。
【００７９】
通常の場合、撮像装置１を用いて撮影を行う際には、使用者１００は、撮像装置１を手に保持した状態（若しくは三脚等の固定具に固定した状態）で、該撮像装置１の背面側に通常設けられるファインダー装置としての表示部８の表示画面に連続的に表示される画像を観察しながら構図等を決定した上で、シャッターレリーズ等の操作を行う。
【００８０】
しかしながら、上述したように、撮像装置１が、図７，図８等に示すような状態で固定保持されている状態では、使用者１００は、撮像装置１の表示部８の表示画面を確認することができない。したがって、表示部８の表示画面による正しいフレーミングや意図する構図での撮影を行うことができないが、使用者１００は、撮像装置１の光軸方向と撮影レンズによる撮影画角等を考慮することにより、表示画面を確認することなく所望の被写体を撮影画角内にとらえることはある程度できる。このように、使用者１００がファインダー装置（表示部）を確認せずに撮影を行うことは、ノーファインダー撮影といわれるものであって、写真撮影手法としては、従来一般に行われている撮影手法のひとつである。
【００８１】
しかしながら、ノーファインダー撮影は、構図を確認することなく撮影動作を行うことになるので、その結果は得られる画像は、使用者が意図する画像になるとは限らない。
【００８２】
そこで、本実施形態の撮像装置１においては、ノーファインダー撮影による連続撮影を行なって複数の撮影画像を取得し、取得した複数画像を繋ぎ合わせて一つの画像となるように合成する等の信号処理を行なったり、さらにこの合成画像のうち所望の部分、例えば被写体１０１の像を中心とする所定の一領域を切り出すトリミング処理等の信号処理を駆使して所望の静止画像を生成するようにしている。
【００８３】
撮像装置１がノーファインダー状態にあるか否かの判断は、上述のように、加速度検出部６からの出力信号等に基いて行われる。
【００８４】
また、それ以外にも、例えば保持部材１ａの装着状態を検出する手段を設けてもよいし、表示部８に対向する位置に撮影者が存在するか否かの検出を行う手段を設けてもよいし、撮像装置１のグリップ部（撮像装置１を通常状態で手で保持するときに手がかかる部位）等に使用者の手がかかっているかの検出を行う手段を設ける等、各種の検出手段によって撮像装置１の状態を検出するようにしてもよい。
【００８５】
さらに、これらの状態検出手段に代えて、撮影動作のモード設定のうちに「ノーファインダーモード」を設け、上記ステップＳ１０１の処理において信号処理・制御部１１が設定されているモードを確認するようにしてもよい。
【００８６】
なお、上述したような所作等（図９参照））をトリガーとして撮像装置１を待機状態から撮影可能状態に復帰させる処理シーケンスを挿入する場合には、その復帰処理の後、ただちに上記ステップＳ１０１の処理を行うようにすればよい。
【００８７】
上記ステップＳ１０１の処理において、撮像装置１が「ノーファインダー状態」にあることが確認された場合には、次のステップＳ１０２の処理に進む。そして、このステップＳ１０２以降の処理において、信号処理・制御部１１は「自動撮影モード」による処理シーケンスを実行する。
【００８８】
ステップＳ１０２において、信号処理・制御部１１は、加速度検出部６の出力信号やマイク５により取得される音声信号等を監視して、「自動撮影モード」を実行するのに適した「所定条件」が満たされているか否かの確認を行う。この「所定条件」確認の処理シーケンスの詳細は図５に示す通りである。
【００８９】
ここで、「自動撮影モード」の処理シーケンスを実行するための「所定条件」を確認する処理シーケンスの詳細を、図５のフローチャートによって説明する。
【００９０】
まず、図５のステップＳ１５１において、信号処理・制御部１１は、加速度検出部６の出力信号に基いて撮像装置１に加わる重力方向を判定する重力方向判定処理を実行する。その後、ステップＳ１５２の処理に進む。
【００９１】
ステップＳ１５２において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、撮像装置１において重力方向（図３のＹ軸方向）及び光軸方向（図３のＺ軸方向）に直交する方向（図３のＸ軸方向；水平方向）の加速度が生じているか否かの確認を行う。ここで、水平（Ｘ軸）方向の加速度が生じていることが確認された場合には、次のステップＳ１５３の処理に進む。また、水平（Ｘ軸）方向の加速度が生じていないことが確認された場合には、ステップＳ１６１の処理に進む。
【００９２】
続いてステップＳ１５３において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、重力（Ｙ軸）方向における変化の有無を確認する。ここで、重力（Ｙ軸）方向における変化が無いことが確認された場合には、次のステップＳ１５４の処理に進む。また、上述のステップＳ１５３の処理において、重力（Ｙ軸）方向における変化が確認された場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【００９３】
つまり、上述のステップＳ１５１の処理にて、水平（Ｘ軸）方向の加速度が確認され、かつ上述のステップＳ１５４の処理にて、重力（Ｙ軸）方向の変化が確認される場合、即ち撮像装置１が主に水平（Ｘ軸）方向に移動した場合の状況としては、例えば図９，図１０に示すような状況が考えられる。
【００９４】
即ち、図８に示すような状況下にあるとき、使用者１００が、図９，図１０に示す矢印Ｒ方向に振り向いた場合を考えてみる。
【００９５】
このときの状況を、図９，図１０に示すように使用者１００の頭上より俯瞰してみたとすると、使用者１００の腕に固定された撮像装置１は、使用者１００の身体を回転中心として図９，図１０の矢印Ｒ方向に弧を描くように移動することになる。この場合における移動に際しては、撮像装置１に対して水平（Ｘ軸）方向の加速度がかかる一方、重力（Ｙ軸）方向に変化はみられない。
【００９６】
また、図９，図１０に示す状況とは別の状況として、撮像装置１が水平（Ｘ軸）方向に移動する場合の例としては、例えば図１２に示すような状況も考えられる。
【００９７】
図１２に示す状況は、撮像装置１を上述の図８〜図１０と同様の方法で腕に保持した状態の使用者１００が自転車等の乗り物に乗車して移動している状況を示している。
【００９８】
この場合において、使用者１００が図１２に示す地点［Ａ］から地点［Ｂ］へと移動した場合を考えてみる。
【００９９】
このとき撮像装置１は、地点［Ａ］から地点［Ｂ］の間で水平（Ｘ軸）方向に移動するのみである。したがって、撮像装置１に対しては、水平（Ｘ軸）方向の加速度がかかる一方、重力（Ｙ軸）方向に変化はみられない。
【０１００】
図５に戻って、ステップＳ１５４において、信号処理・制御部１１は、マイク５により取得される音声信号を監視して、使用者（撮影者）１００の声が検出されたか否かの確認を行う。
【０１０１】
ここで、「自動撮影モード」開始条件項目として、上述の撮像装置１の状態変化だけでなく、これに加えて音声信号の検出による撮影者の声の確認処理を挿入している。これにより、「自動撮影モード」の開始条件を厳しくして誤動作を防止することができる。
【０１０２】
なお、マイク５により取得された音声信号から、使用者（撮影者）１００の声を検出するための手段としては、例えば予め使用者（撮影者）の声を記録部４等に登録しておき、その音声データに基くとマイク５で取得した音声信号とを比較することにより可能である。
【０１０３】
上述のステップＳ１５４の処理において、撮影者の声に基く音声信号の検出が確認された場合には、次のステップＳ１５５の処理に進む。また、撮影者の声に基く音声信号の検出が確認されない場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１０４】
次に、ステップＳ１５５において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて得られる撮像装置１の移動方向（移動パターン），加速度等の状態情報を図示しない一時記録部若しくは記録部４の記録媒体等に記録する。その後、「所定条件」は適する状態にあると判断して一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされているものとして、図４のステップＳ１０３の処理に進む。
【０１０５】
一方、図５のステップＳ１５２において、水平（Ｘ軸）方向の加速度が確認されずに、ステップＳ１６１の処理に進むと、このステップＳ１６１において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、重力（Ｙ軸）方向における加速度の有無を確認する。ここで、重力（Ｙ軸）方向における加速度が生じていることが確認された場合には、次のステップＳ１６２の処理に進む。また、重力（Ｙ軸）方向における加速度が生じていないことが確認された場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１０６】
ステップＳ１６２の処理において、信号処理・制御部１１は、上述のステップＳ１５１の処理による判定結果に基いて、撮像装置１のあおり角に変化が生じたか否かの確認を行う。このあおり角とは、水平方向のＸ軸と光軸方向のＺ軸とのなす角度をいう。
【０１０７】
ここで、撮像装置１のあおり角の変化が生じる場合の状況としては、例えば図１３，図１４に示すような状況が考えられる。
【０１０８】
このうち図１３に示す状況は、使用者１００が、撮像装置１を上述の図８〜図１０と同様の方法で腕に保持した状態の使用者１００が腕を振って歩行している状況を示している。
【０１０９】
この場合において、使用者１００が図１３に示す地点［Ａ］から地点［Ｂ］へと移動した場合を考えてみる。
【０１１０】
このとき撮像装置１は、使用者１００が歩行するのにしたがって振られる腕と共に所定の範囲で移動する。使用者１００が地点［Ａ］から地点［Ｂ］へと歩行するとき、撮像装置１のあおり角、即ち光軸（Ｚ軸）の向く方向が変化する。この変化によって加速度検出部６の出力信号にも変化が生じることになる。
【０１１１】
また、図１４に示す状況は、使用者１００が、撮像装置１を自身の身体の前面、例えば胸上に保持部材を用いて固定した状態において、被写体となる人物１０３に対面している場合を想定している。
【０１１２】
そして、使用者１００が人物１０３に対して略正対している状態（不図示）にあるとき、使用者１００が図１４の矢印Ｒに示す方向に胸を反らせるような所作を行ったとする。この場合において、撮像装置１は、使用者１００の所作に伴って、その光軸（Ｚ軸）が上向くことになる。つまり、撮像装置１のあおり角（光軸（Ｚ軸）の向く方向）が変化する。
【０１１３】
この場合の撮像装置１の挙動は、図１５のように示すことができる。即ち、図１４の状況下において、使用者１００が人物１０３に正対している時、撮像装置１は図１５（ａ）の状態となる。この状態において、撮像装置１には重力（Ｙ軸）方向の力量Ｆがかかっている。
【０１１４】
この状態から、上述したように使用者１００が胸を反らす所作を行うと、撮像装置１は図１５（ａ）の状態から図１５（ｂ）の状態へと姿勢を変化させる。この姿勢変化（あおり角の変化）に伴って、重力（Ｙ軸）方向の力量Ｆが撮像装置１に対してかかる方向に変化が生じる。この変化によって加速度検出部６の出力信号にも変化が生じることになる。
【０１１５】
図５に戻って、上述のステップＳ１６２の処理において、撮像装置１のあおり角に変化が生じたことが確認された場合には、上述のステップＳ１５４の処理に進み、以降同様の処理が行われる。また、撮像装置１のあおり角の変化が確認されない場合には、加速度条件が不適（ＮＧ）であると判断されて、一連の処理シーケンスを終了する。そして、図４のステップＳ１０２の処理にて「所定条件」が満たされていないものとして、図４のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１１６】
以上のように、「所定条件」確認の処理シーケンス（図５）を含む上述のステップＳ１０２の処理（図４）において、「所定条件」が満たされていないことが確認されると、上述のステップＳ１０１の処理に戻って以降の処理を繰り返す一方、「所定条件」が満たされていることが確認されると、次のステップＳ１０３の処理に進む。
【０１１７】
続いて、ステップＳ１０３において、信号処理・制御部１１は、所定の構成ブロックを制御して複数の撮影動作を連続的に実行する連続撮影動作を実行する。この連続撮影動作は、通常の静止画像の取得動作を連続的に行う動作である。
【０１１８】
例えば、図８，図９の状況下において使用者１００が振り向く所作を行ったとき、撮像装置１も図９，図１０の矢印Ｒ方向に回転移動することになる。この所作の期間中に連続撮影動作が行われてたとすると、その連続撮影動作によって取得される複数の撮影画像は、例えば図１１（ａ）に示すようになる。
【０１１９】
図１１（ａ）は、一連の連続撮影動作によって取得される複数画像を左から順に並べて示すものである。ここで、図１１（ａ）に示す符号［Ｎｏ．ｘ］（ｘ＝１〜５）は、撮影された撮影画像の順番を示している。このとき、各撮影画像の長辺方向（即ち撮像装置１の移動方向である）の端部領域に重複領域Ｗが存在するようになっているのが望ましい。本発明においては、この重複領域Ｗを利用して後述する画像合成処理を行うようにしている。
【０１２０】
しかしながら、連続撮影が行われる際における撮像装置１の姿勢変化や移動の状況によっては、例えば図１６（ａ）に示すように１枚分の撮影画像領域に比較して重複領域Ｗが大きくなってしまったり、図１６（ｃ）に示すように連続する前後の画像に重複する領域が得られない場合もあり得る。図１６（ａ）のように重複領域Ｗが大きい場合には、必要となる画像数が多くなる等の理由から、画像合成処理を行うのに負担が大きくなってしまう。また、図１６（ｃ）のように重複領域を得られなければ画像合成処理を行うことができないことになる。
【０１２１】
撮像装置１の姿勢変化や移動状況としては、例えば図１２で示す例のように撮像装置１が高速で直進移動する場合（簡略に示すと図１７のようになる。符号Ｕが直進移動方向）と、図９，図１０若しくは図１３や図１４で示す例のように撮像装置１が水平又は垂直方向に移動する際に回転を伴って移動する場合（簡略に示すと図１８のようになる。符号Ｒが回転方向）等が考えられ、前者と後者とでは撮像装置１自体の移動速度が異なる。
【０１２２】
したがって、迅速かつ正確な画像合成処理を行うためには、連続撮影動作によって得られる複数枚の画像を適切なものとする必要がある。そのために、連続撮影動作によって取得される画像数はできるだけ少なく、かつ図１６（ｂ）に示すように重複領域Ｗを得ながらも、その重複領域Ｗが少ない面積であるのが望ましいといえる。
【０１２３】
このことを実現するために、本実施形態における連続撮影動作の処理シーケンスでは、撮像装置１の姿勢変化や移動状況にしたがって連続撮影速度を制御するようにしている。
【０１２４】
ここで、上述のステップＳ１０３の連続撮影動作の処理シーケンスの詳細を、図６のフローチャートを用いて説明する。
【０１２５】
上述した手順にて図４のステップＳ１０３の処理において連続撮影動作が実行されると、まず、図６のサブルーチンのステップＳ１７１において、信号処理・制御部１１は、連続的に行う撮影動作（以下、連写という）をできる限り高速で実行する「高フレームレート撮影」処理を実行する。
【０１２６】
次いで、ステップＳ１７２において、信号処理・制御部１１は、上述の図５のステップＳ１５５の処理にて一時的に記録してある状態情報に基いて主要移動方向の加速度を判定する処理を行う。
【０１２７】
続いて、ステップＳ１７３において、信号処理・制御部１１は、上述のステップＳ１７２の処理における判定結果に基いて、撮像装置１の姿勢変化や移動状況として、回転（角度変化）を伴っているか否かの確認を行う。ここで、回転を伴っていないことが確認された場合には、次のステップＳ１７４の処理に進む。
【０１２８】
ここで、回転を伴っていない移動状況とは、例えば上述の図１２，図１７で示すような移動である。この場合には画像の変化が少ないので、連写した複数画像のうち隣接する画像は、図１６（ａ）に示す例のように重複領域Ｗが大きくなる可能性がある。
【０１２９】
したがって、次のステップＳ１７４の処理において、信号処理・制御部１１は、上述のステップＳ１７２の処理の判定結果に基く加速度情報にしたがって、記録フレームの取捨選択処理を行った上、選択画像のみが第１仮記録部４ａに一時的に記録されるようにするための処理を行う。なお、実際の記録処理は、一連の連続撮影処理の終了後に行われる（後述する図４のステップＳ１０４参照）。
【０１３０】
ここで行われる記録フレームの取捨選択処理の例としては、例えば加速度が大きい場合には連写された一連の複数画像から一コマ置きに選択し、加速度が小さい場合には二コマ置きに選択する等の処理である。その後、ステップＳ１７６の処理に進む。
【０１３１】
一方、上述のステップＳ１７３の処理にて、回転を伴っていることが確認された場合には、ステップＳ１７５の処理に進む。
【０１３２】
ここで、回転を伴う移動状況とは、例えば上述の図９，図１０や図１３や図１４等、図１８で簡略的に示されるような移動である。この場合には、画像の変化が大きいので、連写した複数画像のうち隣接する画像は、図１６（ｂ）に示す例のように重複領域Ｗが小さくなる可能性がある。
【０１３３】
したがって、ステップＳ１７５の処理において、信号処理・制御部１１は、連写によって得られた複数画像の全てを、第１仮記録部４ａに一時的に記録されるようにするための処理を行う。なお、実際の記録処理は、一連の連続撮影処理の終了後に行われる（後述する図４のステップＳ１０４参照）。その後、ステップＳ１７６の処理に進む。
【０１３４】
ステップＳ１７６において、信号処理・制御部１１は、加速度検出部６の出力信号を監視して撮像装置１の移動状況が略停止したか否かの確認を行う。ここで、撮像装置１が未だ移動中であり停止していないことが確認された場合には、上述のステップＳ１７２の処理に戻り、以降の処理を繰り返す。また、撮像装置１が移動を停止したことが確認された場合には、次のステップＳ１７７の処理に進む。
【０１３５】
ステップＳ１７７において、信号処理・制御部１１は、撮影動作を終了する処理を実行し、その後、一連の処理を終了し、元の処理に戻る（リターン）。
【０１３６】
図４に戻って、上述のようにして図６のサブルーチン、即ちステップＳ１０３の処理が終了したら、次のステップＳ１０４の処理に進む。
【０１３７】
ステップＳ１０４において、信号処理・制御部１１は、上述のステップＳ１０３の処理によって取得し、記録されるべきものとされている複数の画像信号を第１仮記録部４ａに一時的に記録する。その後、ステップＳ１０５の処理に進む。
【０１３８】
ステップＳ１０５において、信号処理・制御部１１の画像信号加工処理部１１ｄは、第１仮記録部４ａに一時記録された複数の画像信号を繋ぎ合わせるパノラマ合成処理（画像繋ぎ処理）を実行し、その処理結果の合成画像信号を第２仮記録部４ｂに一時的に記録する。その後、ステップＳ１０６の処理に進む。
【０１３９】
ここで、画像信号加工処理部１１ｄにより実行されるパノラマ合成処理（画像繋ぎ処理）は、次のような処理となる。
【０１４０】
例えば、図１１（ａ）に示す［Ｎｏ．１］〜［Ｎｏ．５］の一連の複数画像が取得されているものとすると、これら複数画像の各重複領域Ｗを合致させて繋ぎ合わせる画像合成処理である。この処理によって生成されるパノラマ合成画像は、図４（ａ）の符号Ｇで示される横長の画像となる。
【０１４１】
続いて、ステップＳ１０６において、信号処理・制御部１１のトリミング部１１ｅは、第２仮記録部４ｂに一時記録された合成画像信号に基いて主要被写体を中心とする所定の領域の画像を切り出し処理するトリミング処理を実行する。その後、ステップＳ１０７の処理に進む。
【０１４２】
ここで、トリミング部１１ｅにより実行されるトリミング処理は、次のような処理である。
【０１４３】
例えば、図１１（ａ）に示すように連続撮影によって取得された複数画像（図１１の例では５枚）から生成されたパノラマ合成画像Ｇのうち所望の主要な被写体１０１の像は、［Ｎｏ．４］，［Ｎｏ．５］に撮影されているものとする。
【０１４４】
トリミング処理は、このパノラマ合成画像Ｇのうち主要被写体１０１が画面の略中心となるように所定の領域Ｔを切り出す処理である。その結果生成されるトリミング画像は、図４（ｂ）で示すような画像となる。
【０１４５】
なお、上記トリミング処理を行う際に、パノラマ合成画像Ｇの中から主要被写体１０１を検出する手段としては、予め被写体１０１の顔画像を登録しておき、その登録情報に基いて顔検出部３を利用することにより可能である。
【０１４６】
続いて、図４のステップＳ１０７において、信号処理・制御部１１は、上述のステップＳ１０６の処理により生成されたトリミング画像信号を、所定の処理を施した後に、記録部４の記録媒体に記録する。その後、一連の処理を終了する（リターン）。
【０１４７】
なお、このステップＳ１０７の処理において、記録部４の記録媒体に記録される画像データとしては、トリミング処理済みの合成画像信号のみでなく、一連の連続撮影動作によって取得され第１仮記録部４ａに一時記録されている複数の画像信号や、第２仮記録部４ｂに一時記録されているパノラマ合成画像等を含めてもよい。
【０１４８】
本実施形態の撮像装置１による「カメラ制御」（図４）のうち「自動撮影モード」時の処理シーケンスは、以上である。
【０１４９】
一方、上述のステップＳ１０１の処理において、撮像装置１が「ノーファインダー状態」ではないことが確認された場合には、ステップＳ１１１の処理に進む。そして、このステップＳ１１１以降において、信号処理・制御部１１は通常の動作モードによる処理シーケンスを実行する。
【０１５０】
まず、ステップＳ１１１において、信号処理・制御部１１は、操作部７からの出力信号を監視して、撮影動作の開始を指示するシャッターレリーズ信号が生じているか否かの確認を行う。この確認は、例えば使用者１００によって操作部７のうち撮影動作を指示する所定の操作、即ちシャッターレリーズボタン等の操作が行われたか否かの確認を行う。ここで、シャッターレリーズ信号が確認された場合には、次のステップＳ１１２の処理に進む。
【０１５１】
ステップＳ１１２において、従来の撮像装置１において一般に行われているような通常撮影処理が実行される。その後、ステップＳ１０７の処理に進む。
【０１５２】
また、上記ステップＳ１１１の処理において、信号処理・制御部１１は、レリーズ信号が確認されない場合には、ステップＳ１２１の処理に進む。
【０１５３】
ステップＳ１２１において、信号処理・制御部１１は、操作部７からの出力信号を監視して再生モードへの切換指示信号が生じているか否かの確認を行う。ここで、再生モードへの切換信号により動作モードが再生モードに設定されたことが確認されると、次のステップＳ１２２の処理に進む。また、再生モードへの切換信号が確認されない場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。
【０１５４】
ステップＳ１２２において、信号処理・制御部１１は、所定の構成ブロックを制御して画像再生処理を実行する。その後、上述のステップＳ１２１の処理に戻り、以降の処理を繰り返す。
【０１５５】
なお、上述の実施形態において、パノラマ合成処理やトリミング処理等を行う際には、マイク５によって取得される被写体からの音声信号を利用するといったことも考えられる。
【０１５６】
例えば、連続撮影動作を行なって取得された複数の画像の例として、図１９に示すよう場合を考えてみる。
【０１５７】
図１９において、矢印Ｓは、撮像装置１が移動しながら連続撮影を行なった際の移動方向を示している。図１９に示す例では、連続撮影動作によって三枚分の画像［Ｎｏ．１］．［Ｎｏ．２］，［Ｎｏ．３］が取得されたものとし、そのいずれの撮影コマにも、主要な被写体１０１の像が撮影されている物とする。
【０１５８】
ここで、図１９に示す３つの画像［Ｎｏ．１］．［Ｎｏ．２］，［Ｎｏ．３］に基いてパノラマ合成処理を実行するのに際して、３つの画像のうちのいずれの主要被写体１０１の像を選択するべきかの条件として、被写体１０１が返事をしたタイミングで撮影された画像を優先的に選択する。
【０１５９】
例えば、図９のように使用者１００が被写体１０１に向けて声をかけたて振り向く所作を行った場合を考えてみる。
【０１６０】
このとき、例えば撮像装置１が起動すると共に、連続撮影動作を開始したとする。したがって、使用者１００の声が発生した時点から連続撮影動作が始まり、使用者が振り向く所作の間、連続撮影は継続する。そして、その間に被写体１０１が返事をしたとすると、その発音タイミングが記録される。この発音タイミングの情報は、パノラマ合成処理等の信号処理等の信号処理が行われる際に適宜参照される。
【０１６１】
ここで、図１９に示す連続撮影の結果得られる個々の画像を分解して示すと図２０（ａ）のようになる。ここで、被写体１０１が発音したタイミングと略同等のタイミングで撮影された画像を符号［Ｎｏ．３］で示す画像とする。
【０１６２】
この場合において、パノラマ画像処理を実行すると、主要被写体１０１を含む画像としては、画像［Ｎｏ．３］が優先して選択され、次いで、これに隣接する画像［Ｎｏ．２］が選択される。そして、画像［Ｎｏ．３］の被写体１０１の部分が前面になるように、図２０（ｂ）に示すように画像［Ｎｏ．２］とのパノラマ合成処理がなされる。
【０１６３】
図１９，図２０の例では、図１９の矢印Ｓで示すように、撮像装置１は若干斜め方向に移動しているので、長方形状の画像を生成するためには、処理済みのパノラマ合成画像の高さ方向についてのトリミングが必要になる。
【０１６４】
そこで、図２０（ｂ）に示すように、領域Ｔの部分を切り取るトリミング処理を行って、その結果生成される画像が符号Ｔ（幅Ｐ×高さＨで示される長方形画像）で示すようになる。
【０１６５】
このように、マイク５により取得し得る音声信号を画像加工処理時に有効利用することによって、例えば使用者１００と被写体１０１との間でコミュニケーションがなされた瞬間前後の画像記録を行うことができる。
【０１６６】
以上説明したように上記第１の実施形態によれば、撮像装置１がノーファインダー状態で保持した使用者１００の所作等を加速度検出部６の出力信号に基いて判定して、所定の条件が合致した時には、連続撮影動作を実行し、これによって連続した複数の一連の画像を取得する。そして、これら複数の画像を繋ぎ合わせるパノラマ合成処理を行い、さらに、生成されたパノラマ合成画像について所望の被写体を略中心とする所定の範囲の領域を切り出すトリミング処理を実行して、最終的に生成された一つの静止画像を記録するようにしている。
【０１６７】
このような一連の処理が自動的に実行されるように構成したので、使用者は、撮像装置を手に保持しつつ構図を意識したり撮影のための操作を行うことなく、いわゆるノーファインダー状態において所定の所作を行うことにより適確に所望の被写体を含む静止画像を取得することが容易にできる。
【０１６８】
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１６９】
本発明は、デジタルカメラ等の撮影機能に特化した電子機器としての撮像装置の形態に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば録音機器，携帯電話，電子手帳，パーソナルコンピューター，ゲーム機器，デジタルメディアプレーヤー，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器に広く適用することができる。
【符号の説明】
【０１７０】
１……撮像装置
１ａ……保持部材
２……撮像部
３……顔検出部
４……記録部
４ａ……第１仮記録部
４ｂ……第２仮記録部
５……マイクロフォン
６……加速度検出部
７……操作部
８……表示部
８ｂ……タッチパネル
１１……信号処理・制御部
１１ｂ……表示制御部
１１ｃ……信号圧縮伸張部
１１ｄ……画像信号加工処理部
１１ｅ……トリミング部
２０……レンズユニット
２０ａ……撮影レンズ
【特許請求の範囲】
【請求項１】
撮像部と、上記撮像部からの出力信号に基く画像信号を記録する記録部と、を具備する撮像装置において、
上記撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部と、
上記姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記姿勢検出部は、上記撮像装置に加わる加速度を検出する加速度センサを含む加速度検出部であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記制御部は、上記加速度検出部の出力信号に基いて上記撮像装置の姿勢変化を検出したとき、連続撮影動作を開始させるよう制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記制御部は、上記加速度検出部の出力信号に基いて上記撮像装置の姿勢変化の加速度を検出し、検出した加速度に応じて連続撮影動作の撮影速度を制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記撮像部からの出力信号に基いて信号処理を行う信号処理部を、さらに具備し、
上記信号処理部は、上記連続撮影動作によって取得された一連の複数の画像信号に基いて画像合成処理を行う画像信号加工処理部と、トリミング処理を行うトリミング部と、を有することを特徴とする請求項３に記載の撮像装置。
【請求項６】
上記画像信号加工処理部は、上記一連の複数画像信号により現わされる画像を繋ぎ合わせるパノラマ画像合成処理を行い、
上記トリミング部は、上記画像信号加工処理部により生成されたパノラマ画像のうちの一部の領域を切り出すトリミング処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
音声を電気信号に変換するマイクロフォンを、さらに具備し、
上記制御部は、上記連続撮影動作の実行を制御する際に、上記マイクロフォンの出力信号をも考慮することを特徴とする請求項１に記載の撮像装置。
【請求項８】
音声を電気信号に変換するマイクロフォンを、さらに具備し、
上記トリミング部は、上記マイクロフォンの出力信号に基いて上記トリミング処理におけるトリミング領域を設定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
顔検出部を、さらに具備し、
上記トリミング部は、上記顔検出部による検出結果に基いて上記トリミング処理におけるトリミング領域を設定することを特徴とする請求項６に記載の撮像装置。
【請求項１】
撮像部と、上記撮像部からの出力信号に基く画像信号を記録する記録部と、を具備する撮像装置において、
上記撮像装置の姿勢変化若しくは移動状況を検出する姿勢検出部と、
上記姿勢検出部の出力信号に基いて連続撮影動作の実行を制御する制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記姿勢検出部は、上記撮像装置に加わる加速度を検出する加速度センサを含む加速度検出部であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記制御部は、上記加速度検出部の出力信号に基いて上記撮像装置の姿勢変化を検出したとき、連続撮影動作を開始させるよう制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記制御部は、上記加速度検出部の出力信号に基いて上記撮像装置の姿勢変化の加速度を検出し、検出した加速度に応じて連続撮影動作の撮影速度を制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記撮像部からの出力信号に基いて信号処理を行う信号処理部を、さらに具備し、
上記信号処理部は、上記連続撮影動作によって取得された一連の複数の画像信号に基いて画像合成処理を行う画像信号加工処理部と、トリミング処理を行うトリミング部と、を有することを特徴とする請求項３に記載の撮像装置。
【請求項６】
上記画像信号加工処理部は、上記一連の複数画像信号により現わされる画像を繋ぎ合わせるパノラマ画像合成処理を行い、
上記トリミング部は、上記画像信号加工処理部により生成されたパノラマ画像のうちの一部の領域を切り出すトリミング処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
音声を電気信号に変換するマイクロフォンを、さらに具備し、
上記制御部は、上記連続撮影動作の実行を制御する際に、上記マイクロフォンの出力信号をも考慮することを特徴とする請求項１に記載の撮像装置。
【請求項８】
音声を電気信号に変換するマイクロフォンを、さらに具備し、
上記トリミング部は、上記マイクロフォンの出力信号に基いて上記トリミング処理におけるトリミング領域を設定することを特徴とする請求項６に記載の撮像装置。
【請求項９】
顔検出部を、さらに具備し、
上記トリミング部は、上記顔検出部による検出結果に基いて上記トリミング処理におけるトリミング領域を設定することを特徴とする請求項６に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１３０１８０（Ｐ２０１１−１３０１８０Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８６６５８（Ｐ２００９−２８６６５８）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]