撮像装置及びプログラム
【課題】 撮像装置を動かすという、撮影者による直感的な操作に基づいて、撮影倍率を制御することによって、撮影者の所望する撮影倍率を設定可能な撮像装置を提供すること。
【解決手段】 撮像装置は、被写体を撮像して被写体画像を取得する被写体撮像部１０と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部１０における撮像倍率の制御処理を行う撮像倍率制御部４８と、を含み、動き情報取得部４９は、撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、動き情報比較部４７は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、撮像倍率制御部４８は、動き情報比較部４７における比較処理の結果に基づいて、撮像倍率の制御処理を行う。
【解決手段】 撮像装置は、被写体を撮像して被写体画像を取得する被写体撮像部１０と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部１０における撮像倍率の制御処理を行う撮像倍率制御部４８と、を含み、動き情報取得部４９は、撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、動き情報比較部４７は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、撮像倍率制御部４８は、動き情報比較部４７における比較処理の結果に基づいて、撮像倍率の制御処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びプログラム等に関する。
【背景技術】
【０００２】
撮像装置（被写体を所望の倍率で撮像する撮像装置。カメラ付き携帯電話、電子スチルカメラ、電子ビデオカメラなどを含む）がズームレバー、ズーム釦などの操作部を含む場合には、操作部を操作することで撮影倍率を制御することができる。しかし、撮影倍率を制御するには、撮影者自らが操作部を操作する必要がある。従って、操作部を確認するのに手間取ったり、間違って逆方向に誤操作したりする可能性があり、操作部の操作が煩雑であるという課題がある。
【０００３】
この課題を解決するために、操作部を使用しないで撮影者、操作者の直感的な動作で操作をさせるような提案がされている。撮像装置としては、例えば特許文献１、特許文献２で提案されている。また、表示装置、電子機器としては、例えば特許文献３、特許文献４でそれぞれ提案されている。
【０００４】
特許文献１では、撮像装置がモーションセンサを含み、撮像装置を光軸方向に移動させることで撮影倍率を制御する。特許文献２では、操作者が決まった動作を撮像装置に行うことで表示画面を変更する。特許文献３では、撮影者の顔画像を解析し、撮影者が撮像装置に近づくかまたは撮像装置から離れるかを判断して表示倍率を制御する。特許文献４では、筐体に加速度センサが備わっており加速度を検出し、検出した加速度を距離に変換しその距離に応じて撮影倍率を制御する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６-２１１４５８号公報
【特許文献２】特開２０１０-１９３０６７号公報
【特許文献３】特開２０１０-１７６１７０号公報
【特許文献４】特開２０１０-００８８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影者の直感的な動作を意図として汲み取って操作するということにおいては、例えば、特許文献１では、撮影者が撮像装置を前後に動かすことにより撮影倍率を制御しようとしている。つまり、撮影者が撮像倍率を変更したいという意志を汲み取ったうえで、直感的な動作により撮像倍率を制御する。しかしながら、粗く撮影倍率を変更することはできるかもしれないが、微調整したい場合においても所定の倍率感度で倍率制御されてしまうので微小に前後に動かした場合は、撮影倍率が行き過ぎたり戻りすぎたりして撮影者が所望する撮影倍率に制御することは困難である。
【０００７】
特許文献２では、操作者に決まった動きをさせてその動きを加速度センサで検出して表示画面を変更しようとしている。しかしながら、操作者に決まった動きをすることを強いているので直感的ではなく意図を汲み取っているとは言えない。
【０００８】
特許文献３では、撮影者の顔を撮影して距離を算出して表示倍率を制御しようとしている。しかしながら、一般的な画像から撮影者の顔を検出する方法（データベース参照型）では、外乱光の影響によって撮影者の意図していない表示倍率に変更されてしまう。また、人間は完全に静止することができないため、微小な体や顔の揺れによって意図していない表示倍率に変更されてしまう恐れがある。従って、これも十分に撮影者の意図に見合った操作をすることは困難である。
【０００９】
特許文献４では、筐体に加速度センサが備わっており筐体を動かしたときに発生する加速度を検出して距離に変換してその距離に応じて撮影倍率を決定しようとしている。また、発生する加速度の大きさを用いて撮影倍率を決定しようとしている。しかしながら、撮影者が発生させる加速度の大きさを厳密に調整することができない。従って、撮影者の所望する撮影倍率にすることは困難である。
【００１０】
本発明によれば、撮像装置を動かすという、撮影者による直感的な操作に基づいて、撮影倍率を制御することによって、撮影者の意図した撮影倍率を設定可能な撮像装置を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、被写体を撮像して被写体画像を取得する被写体撮像部と、撮像装置の動き情報を取得する動き情報取得部と、動き情報比較部と、前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部と、を含み、前記動き情報取得部は、前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、前記動き情報比較部は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行う撮像装置に関係する。
【００１２】
本発明の一態様では、第１の動き情報と第２の動き情報を取得し、取得した動き情報の比較結果に基づいて撮像倍率の制御処理を行う。そのため、動き量の相対的な情報に基づいて撮像倍率の制御処理を行うこと等が可能になる。
【００１３】
また、本発明の一態様では、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記動き情報によって表される動きに応じた前記撮像倍率の変倍率の設定を行ってもよい。
【００１４】
これにより、撮像倍率の制御処理として、動き情報に対する撮像倍率の変倍率を設定する処理が可能になる。
【００１５】
また、本発明の一態様では、前記動き情報取得部は、前記撮像装置が移動開始後、静止するまでの動きの情報を、前記第１の動き情報として取得し、前記第１の動き情報を取得した後における、前記撮像装置が静止状態から移動を開始し、その後静止するまでの動きの情報を、前記第２の動き情報として取得してもよい。
【００１６】
これにより、撮像装置が静止したことをもって、各動き情報の分離をすることが可能になる。
【００１７】
また、本発明の一態様では、前記動き情報比較部は、前記第１の動き情報と前記第２の動き情報の比較処理により、前記第２の動き情報により表される前記第２の動きが、前記撮像倍率又は撮像画像の構図についての粗調整動作であるか、微調整動作であるかの判定を行い、前記撮像倍率制御部は、前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記動き情報に対する、前記撮像倍率の変倍率の設定を行ってもよい。
【００１８】
これにより、微調整動作か粗調整動作かという、動きの大きさに関わる情報に基づいて、撮像倍率の変倍率（撮像倍率の感度）を設定すること等が可能になる。
【００１９】
また、本発明の一態様では、前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記微調整動作であると判定された場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２０】
これにより、微調整動作のときは変倍率を下げるため、直感的な操作が可能になる。
【００２１】
また、本発明の一態様では、前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記粗調整動作であると判定された場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００２２】
これにより、粗調整動作のときには変倍率を所与の設定値に設定するため、直感的な操作が可能になる。
【００２３】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における微調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２４】
これにより、被写体撮像部の光軸方向に沿った方向での動きが続いた場合の処理を決定することが可能になる。
【００２５】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における粗調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００２６】
これにより、被写体撮像部の光軸方向に沿った方向での動きが続いた場合の処理を決定することが可能になる。
【００２７】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における微調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２８】
これにより、被写体撮像部の光軸方向に沿った方向での動きの後に、光軸方向と交差する平面での動きがあった場合の処理を決定することが可能になる。
【００２９】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における粗調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００３０】
これにより、被写体撮像部の光軸方向に沿った方向での動きの後に、光軸方向と交差する平面での動きがあった場合の処理を決定することが可能になる。
【００３１】
また、本発明の一態様では、前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における微調整動作である場合には、前記撮像倍率制御部は、一旦前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を停止前の変倍率よりも下げてもよい。
【００３２】
これにより、被写体撮像部の光軸方向と交差する平面での動きが続いた場合の処理を決定することが可能になる。
【００３３】
また、本発明の一態様では、前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における粗調整動作である場合には、前記撮像倍率制御部は、一旦前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００３４】
これにより、被写体撮像部の光軸方向と交差する平面での動きが続いた場合の処理を決定することが可能になる。
【００３５】
また、本発明の一態様では、前記撮像倍率制御部は、前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記第２の動きの後の動きである第３の動きに対する前記撮像倍率の変倍率の設定を行ってもよい。
【００３６】
これにより、ある動きの情報を用いて、それより後の動きに対する撮像倍率の変倍率を設定することが可能になる。
【００３７】
また、本発明の一態様では、前記動き情報取得部は、前記第１の動き情報及び前記第２の動き情報として、前記撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００３８】
これにより、加速度情報、速度情報、距離情報及び角度情報という、取得及び処理が容易な情報を動き情報として用いることが可能になる。
【００３９】
また、本発明の一態様では、前記動き情報取得部は、モーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記センサ情報取得部は、前記モーションセンサからのセンサ情報に基づいて、前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００４０】
これにより、モーションセンサを用いることで、直接的かつ容易に動き情報を取得すること等が可能になる。
【００４１】
また、本発明の一態様では、前記動き情報取得部は、撮影者を撮像し、撮影者画像を取得する撮影者撮像部を含み、前記撮影者撮像部は、前記撮影者画像から、前記撮影者の特徴点を検出し、検出した特徴点に基づいて前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００４２】
これにより、撮影者撮像部により撮影者画像を用いることで、センサ等を用いずに動き情報を取得すること等が可能になる。
【００４３】
また、本発明の一態様では、前記動き情報取得部は、前記撮影者画像における前記撮影者の顔の位置から、前記特徴点を検出してもよい。
【００４４】
これにより、撮影者の顔領域から動き情報を取得することが可能になる。
【００４５】
本発明の他の態様は、被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、撮像装置の動き情報を取得する動き情報取得部と、動き情報比較部と、前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部として、コンピュータを機能させ、前記動き情報取得部は、前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、前記動き情報比較部は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うプログラムに関係する。
【図面の簡単な説明】
【００４６】
【図１】本装置によるズーム操作を説明する図。
【図２】撮像倍率の変倍率を説明する図。
【図３】本実施形態のシステム構成例。
【図４】本実施形態の撮像装置の構成例。
【図５】第２の動きが光軸方向での粗調整動作である場合の加速度の例。
【図６】第２の動きが光軸負方向での微調整動作である場合の加速度の例。
【図７】第２の動きが光軸正方向での微調整動作である場合の加速度の例。
【図８】第２の動きが光軸と交差する平面における粗調整動作である場合の加速度の例。
【図９】第２の動きが光軸と交差する平面における微調整動作である場合の加速度の例。
【図１０】動き情報として加速度、速度及び距離を取得する場合の具体例。
【図１１】動き情報のパターンの組み合わせ及びその時の倍率制御の例。
【図１２】動き情報のパターンによる撮影倍率の変倍率変更の例。
【図１３】本実施形態の倍率変倍率設定処理を説明するためのフローチャート。
【図１４】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【図１５】動き情報の取得処理を説明するためのフローチャート。
【図１６】動き情報の算出処理を説明するためのフローチャート。
【図１７】動き情報の比較処理を説明するためのフローチャート。
【図１８】本実施形態の撮像装置の他の構成例。
【図１９】撮影者撮像部による撮影者画像から動き情報を取得する手法の説明図。
【図２０】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【図２１】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【発明を実施するための形態】
【００４７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４８】
１．本実施形態の手法
【００４９】
本実施形態の撮像装置は、撮像装置の光軸方向への移動に基づいて撮像倍率の変更（ズーム動作）を行う。本装置では、図１に示したように、撮像装置の移動量情報（もしくは撮影者からの距離情報）に基づいて撮像倍率を変更する。例えば、撮像装置を１００ｍｍ動かす（もしくは撮影者からの距離が５０ｍｍから１５０ｍｍに遠ざかる）ことで、撮像倍率を１倍から２倍に変更する撮像装置等が考えられる。
【００５０】
しかし、移動情報と撮像倍率を単純に対応付けるような本装置の手法では撮像倍率の微調整が難しいという問題がある。なぜなら、撮像装置の移動可能範囲は撮影者の腕の長さによる制限を受けてしまう。例えば、撮影者の腕の長さが５００ｍｍであり、腕の曲げ伸ばしにより撮像装置が実現可能な撮像倍率全てを取り得るように設定する場合には、５００ｍｍと最大ズームが対応付けられることになる。最大ズームが光学６倍ズームであるとすれば、０ｍｍで１倍、１００ｍｍで２倍、２００ｍｍで３倍、５００ｍｍで６倍といったような対応付けが考えられる。そのため、ズームの微調整を行うためには、数十ｍｍ程度の細かい調整が必要になってしまう。しかし、撮影者の手ぶれの影響や、動きを検出するためのセンサ等のノイズの影響により、撮像倍率の微調整は難しい。
【００５１】
そこで、本出願人は以下の手法を提案する。つまり、撮像倍率の微調整を行う際には、撮像倍率の変倍率を変化させる。ここで、撮像倍率の変倍率とは、動き情報に対する撮像倍率の変化率のことである。例えば、単位移動距離あたりの撮像倍率の変化量を表す。この場合は、図２に示したように、縦軸に倍率の変化量をとり、横軸に撮像装置の移動距離をとると、変倍率はグラフの傾きの大きさによって表される。つまり、傾きの大きいＡ１では、１０ｍｍの移動に対して撮像倍率は＋０．１倍だけ変化するため、１００ｍｍの移動で倍率は＋１倍変化し、２００ｍｍで＋２倍、３００ｍｍで＋３倍だけの変化となり、上述したような通常の大きさの変倍率となる。それに対して傾きの小さいＡ２では、１０ｍｍの移動に対して撮像倍率は＋０．０５倍しか変化しない。そのため、１００ｍｍ移動させたとしても倍率の変化量は＋０．５倍にとどまり、通常の状態に比べて、変倍率が低くなる。
【００５２】
本実施形態の手法では、具体的には、撮像倍率の微調整を行う際には撮像倍率の変倍率を低く設定する。図２の例でいえば、Ａ１からＡ２へと変倍率を変化させればよい。このようにすることで、微調整の際に撮像装置を移動させてもよい範囲が広がり、調整が容易になる。具体例を以下に示す。撮影者が微調整のため、±０．１５倍程度の範囲で、撮像倍率の調整を望んでいるとする。その場合、変倍率がＡ１の状態であれば３０ｍｍ（±１５ｍｍ）の範囲で撮像装置の位置を決める必要がある。それに対して、撮像倍率の変倍率がＡ２に設定されたとすれば、変倍率が１／２であるため、２倍の６０ｍｍの範囲で撮像装置の位置を決めればよいことになり、調整が容易となる。図２の例では２通りの変倍率のみであるが、３通り以上の変倍率を設定可能なことはいうまでもない。よって、変倍率を下げれば下げるほど、撮像装置の移動可能な範囲が広がり、調整を容易にすることが可能になる。
【００５３】
しかし、常時撮像倍率の変倍率を下げて設定しておくことはできない。大きく倍率を変化させたいときには、撮像倍率の変倍率が下がっていることは好ましくないからである。そこで本実施形態では、複数の動き情報の比較を行うことで、対象となっている動き情報が微調整動作であるのか粗調整動作であるのかを判定している。ここでの微調整動作、粗調整動作とは、撮像倍率に関する動作のことである。撮像倍率の微調整動作とは、撮影者による撮像装置を光軸方向に移動させる動作（倍率を変化させるための動作）が小さい状態を表し、粗調整動作とは、撮像装置を光軸方向に移動させる動作が大きい状態を表す。ここで、動作の大小は動き情報として用いる物理量等の値の大小を表す。つまり、動き情報として距離を用いた場合には、動きが大きいとは移動距離が長いことであるし、動き情報として速度を用いた場合には、動きが大きいとは速度が早いことを表す。また、微調整動作は撮影者が撮像倍率の微調整を意図している動作であり、粗調整動作は撮影者が撮像倍率の粗調整を意図している動作である。また、本実施形態においては、動作の大きい小さいは相対的な評価により判定されてもよい。つまり、複数の動作（動き情報）を比較した結果として、対象の動作が微調整動作であるか、粗調整動作であるかの判定を行う。微調整動作を行っていると判定された場合には、上述のように変倍率を下げることで撮像倍率の微調整を可能にする。また、粗調整動作を行っていると判定された場合には、変倍率を上げる（もしくは初期状態に戻す）ことで撮像倍率の大きな変化を可能にする。微調整動作、粗調整動作の判定手法の詳細については後述する。
【００５４】
以下、基本構成を説明した後、第１の実施形態として、動き情報をモーションセンサから取得する例を説明し、第２の実施形態として、動き情報を撮影者撮影部（撮影者を撮影する撮像部）から取得する例を説明する。
【００５５】
２．基本構成
【００５６】
図３に、本実施形態の撮像装置の構成例を示す。図３に示すように、撮像装置１００は、撮像部（被写体撮像部）１０と、動き検出部５１と、第１の動き情報取得部４５と、第２の動き情報取得部４６と、第１の動き情報取得部で取得された第１の動き情報（狭義には第１の軌跡）と、第２の動き情報取得部で取得された第２の動き情報（狭義には第２の軌跡）とを比較する動き情報比較部４７と、比較結果に基づいて撮影倍率を制御する撮影倍率制御部４８と、を含む。被写体撮像部の光軸方向は被写体方向としている。
【００５７】
図３の例では、動き検出部５１は、モーションセンサであり、モーションセンサで検出したモーション情報で撮像装置の動きを検出する。また、動き検出部５１は、撮影者撮像部であってもよく、撮影者側の画像情報で撮像装置の動きを検出することができる。また、動き検出部５１は、モーションセンサと撮影者撮像部を同時に搭載して撮像装置の動きを検出してもよい。
【００５８】
第１の動き情報取得部４５及び第２の動き情報取得部４６は、モーションセンサのモーション情報及び撮影者撮像部からの撮影者画像情報の少なくとも一方を利用して検出した撮像装置１００の動き情報を取得してメモリ４４で保持することができる。モーション情報とは、例えば、加速度センサ、角速度センサなどを用いて検出した加速度や角速度のことをいう。撮影者画像情報とは、撮影者撮像部で撮影者を撮影して、撮影者から得た情報のことをいう。以上の情報を時系列的にその変化を検出、取得していくことで動き情報を取得、保持することができる。
【００５９】
動き情報比較部４７は、第１の動き情報取得部４５で算出、保持した第１の動き情報と第２の動き情報取得部４６で算出、保持した第２の動き情報とを比較する。比較する動き情報は、加速度情報、速度情報、距離情報、姿勢（角度）情報を用いることができる。また、加速度の絶対値、距離の変化量、姿勢の変化量などを用いることができる。具体的な動き情報の比較方法として、加速度、速度、距離、姿勢（角度）の変化量の大きさ、絶対値での比較、変化率などで比較することができる。この比較によって、撮影者が撮像装置をどのように動かされたのかを判断することができる。
【００６０】
例えば、動き情報として距離を取得した場合において、第１の動き情報取得部４５で算出した距離Ｌ１を１００［ｍｍ］、第２の動き情報取得部４６で算出した距離Ｌ２を５０［ｍｍ］とする。この場合、Ｌ１＞Ｌ２となるので、距離が徐々に短くなる。従って、撮影者は撮像倍率（画角）の調整をしようとしていると考えられるので第１の動き情報を「粗調」、第２の動き情報を「微調」とすることができる。
【００６１】
撮影倍率制御部４８は、前記動き情報比較部４７の比較結果に基づいて、次の動き情報を検出、算出、保持するときの撮影倍率を制御することができる。例えば上述の例では、第１の動き情報で「粗調」、第２の動き情報で「微調」と判定されたので撮影倍率の変倍率を変更する。また、Ｌ１≦Ｌ２の場合では、第１の動き情報を「粗調」、第２の動き情報を「粗調」とみなすので撮影倍率の変倍率は通常のままの制御とする。
【００６２】
３．第１の実施形態
【００６３】
以下に説明する撮像装置（カメラ）は光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置であって、例えばデジタルスチルカメラがこれに含まれる。
【００６４】
第１の実施形態を図４〜図１７を用いて説明する。図４の例では、撮像装置１００は、被写体撮像部１０として、光学素子１１及び撮像素子１２（例えばＣＣＤ或いはＣＭＯＳイメージセンサなど）を含む。光学素子１１は、撮像素子１２の撮像面上に被写体像を形成する。
【００６５】
図４の例では、撮像装置１００は、撮影者（ユーザ）が種々の操作を行うための操作部３０を含むことができる。また、撮像装置１００は、一時的に画像データ（画像情報）を格納するバッファメモリ４１（ワーク領域）を含むことができる。さらに、撮像装置１００は、撮像素子１２を介して取得している画像情報を連続的に表すスルー画像情報（動画）や、撮像素子１２を介して取得した１つの画像情報を表す撮像画像情報（静止画）を表示部３２に表示するための表示演算部４２を含むことができる。
【００６６】
図４の例では、撮像装置１００は、操作部３０として、電源釦３０ａ、ズーム釦３０ｂ、シャッタ釦３０ｃ及びモード選択部３０ｄを含むことができる。モード選択部３０ｄは、例えば、ズーム釦３０ｂの操作量だけによって撮影倍率を制御する第１のモードを設定することができる。また、モード選択部３０ｄは、例えば、撮像装置１００の動き情報（時間当たりの一連の軌跡）によって撮影倍率を制御する第２のモードを設定することができる。
【００６７】
図４の例では、撮像装置１００は、モーションセンサ５１を搭載している。これにより、撮影者が撮像装置を動かしたときに発生する加速度情報、角速度情報等を検出することができる。検出した加速度情報、角速度情報で撮像装置に生じている加速度、速度、移動距離や姿勢（角度）を算出することができる。検出した加速度、角速度や算出した速度や距離（移動量）、姿勢（角度）に応じて撮影倍率を制御することができる。また、モーションセンサから出力されるモーション情報は実際にはノイズが含まれているのでノイズの影響を減らすために閾値を設けたり、移動平均、標準偏差、微分値などをとったりすることで除去することができる。また、同様に手振れや人の体の揺れによるモーション情報においても、閾値を設けたり、周波数特性（ＦＦＴなど）を利用したりすることなどで除去することができる。
【００６８】
モーションセンサから出力されたモーション情報は処理部４３に入力される。処理部４３は、前記第１の動き情報取得部４５、前記第２の動き情報取得部４６、動き情報を保持するメモリ４４、前記動き情報を比較する動き情報比較部４７、前記動き情報の比較結果から撮影倍率を制御する撮影倍率制御部４８を含む。動き情報を保持するメモリ４４は処理部の内部に設けるのではなく、外付けのメモリ４４を用意してもよい。
【００６９】
次に、光軸方向以外の動きがあった場合について説明する。例えば、撮像装置を上下、左右方向に動かすことは撮影者が構図の調整動作を行っている場合に相当する。ここで、構図とは、撮像装置の撮像範囲に収められる画面の構成を指す。つまり、構図の調整動作とは、被写体を撮像範囲に収めるにあたって、光軸方向に直交する方向に撮像装置を移動させる動作のことである。このときの上下、左右方向の動きを検出し閾値以下の動きと判定された場合は、ゆっくり動かして構図の微調整動作を行っていると考えられる。この場合は、当然、光軸方向への移動は無いので撮影倍率の変更は行わない。また、次の動きはゆっくり動かして撮影倍率を調整するものと考えられる。よって、ゆっくりした上下、左右方向の動きをした後の撮影倍率の変倍率を下げておくことによって撮像倍率の微調整をスムーズに実施できるものと考えられる。
【００７０】
また、上下、左右方向の動きを検出し閾値以上の動きと判断した場合は、早く動かして構図の粗調整動作を行っているものと考えられる。この場合は、被写体が静止しておらず撮影者が被写体の動きを追って上下、左右方向に撮像装置を激しく動かしていると考えられる。よって、被写体の動きを撮影者が予測できずに撮像倍率・構図調整に苦労しているため、この場合シャッタチャンスが限られているので通常の撮影倍率のままにしておく方がよい。なお、本発明における撮影倍率の変更は、電子ズームに限らず光学ズームで行ってもよい。
【００７１】
ここでの、微調整動作、粗調整動作とは、上述した撮像倍率の微調整動作、粗調整動作とは異なり、構図の微調整動作、粗調整動作を指す。構図の微調整動作とは、撮影者による、撮像装置を光軸方向と直交する平面内で移動させる動作（構図を変化させるための動作）が小さい状態を表し、粗調整動作とは、撮像装置を光軸方向と直交する平面内で移動させる動作が大きい状態を表す。また、微調整動作は撮影者が構図の微調整を意図している動作であり、粗調整動作は撮影者が構図の粗調整を意図している動作であるとも言える。また、本実施形態においては、動作の大きい小さいは相対的な評価により判定されてもよい。つまり、複数の動作（動き情報）を比較した結果として、対象の動作が微調整動作であるか、粗調整動作であるかの判定を行う。
【００７２】
また、始めにズーム釦３０ｂで光学ズームを行った後に撮影者が前後に動かす動作をしたことを検出してから再度ズーム釦３０ｂで光学ズームを行ったときは、撮影倍率の変倍率を制御できるようにしてもよい。
【００７３】
次に、具体的な撮影者による撮像装置の動かし方と、動かしたときの加速度の変化を示した図の例を図５〜図９に示す。
【００７４】
図５の例１において、第１の動き情報（第１の軌跡）は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報（第２の軌跡）は、（２）で撮影者が前に出した撮像装置を再度撮影者側へ戻したときの動きと、その時に発生した加速度を表している。この場合は、第２の動き情報により表される第２の動きが、微調整動作であるか微調整動作であるかの判定（動き情報比較部４７で行われる）を、例えば加速度の絶対値の大きさの比較等により行う。以下、図６〜図９の例でも同様であるが、比較の基準が加速度の絶対値に限定されないことはいうまでもない。ここでは、第２の動きにおける加速度の絶対値は、第１の動きにおける加速度の絶対値と同程度の大きさである。そのため、第１の動き情報及び第２の動き情報はそれぞれ「粗調」とみなされ、次の動き情報を検出しているときの撮影倍率の変倍率は通常の変倍率のままとする。
【００７５】
なお、第２の動きにおける加速度が第１の動きにおける加速度よりも同程度か（または大きいか小さいか）の判断は、例えば、２つの加速度の比をとって所与の閾値との比較を行うことで判定できる。ただし、大小の比較の手法はこれに限定されるものではない。
【００７６】
図６の例２において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が撮像倍率の微調整を行おうとして撮影者側に撮像装置を微小に戻したときの動きと、その時に発生した加速度を表している。この場合は、第１の動きにおける加速度の絶対値に比べて、第２の動きにおける加速度の絶対値は小さい値になっている。そのため、第１の動き情報は「粗調」、第２の動き情報は「微調」とみなされる。よって、撮影者が撮像倍率の微調整の体勢に入ったものとみなして、次の動き情報を検出しているときの撮影倍率の変倍率を変更することによって、撮影者はスムーズな撮影倍率の変更を行うことができる。
【００７７】
図７の例３において、波形は図６の波形例とほぼ同様だが、第２の動き情報は、（２）で再度光軸方向への微調を行っている動きとその時に発生した加速度を表している。第２の動きが、光軸の正方向か負方向かという違いはあるが、これも図６の波形例の説明同様に撮影者が撮像倍率の微調整の体勢に入ったものとみなすことができるため、撮影倍率の変倍率を変更している。
【００７８】
図８の例４において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が上下もしくは左右方向に撮像装置を大きく動かしたときの動きとその時に発生した加速度を表している。この場合は、加速度の方向こそ異なるものの、第２の動きにおける加速度の絶対値は、第１の動きにおける加速度の絶対値と同程度の大きさである。そのため、第１の動き情報で倍率の粗調整動作を行い、第２の動き情報で上下もしくは左右方向の粗調整動作（構図の粗調整動作）をしていると考えられる。よって、例えば上下もしくは左右方向に動いている被写体に対して、撮像倍率や構図を合わせようとしているケースが想定される。この場合には、まずおおまかに撮像倍率や構図をあわせる動作が行われるのであり、倍率の微調整が行われることは考えにくいため、撮影倍率は通常の撮影倍率のままとする。
【００７９】
図９の例５において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きとその時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が上下もしくは左右方向に撮像装置を微小に動かしたときの動きと、その時に発生した加速度を表している。この場合は、加速度の方向こそ異なるものの、第１の動きにおける加速度の絶対値に比べて、第２の動きにおける加速度の絶対値は小さい値になっている。そのため、第１の動き情報は倍率の粗調整動作であり、第２の動き情報は構図の微調整動作とみなされる。この場合は、構図の微調整動作を行っているため、被写体に対して撮像倍率のおおまかな設定（粗調整動作）は完了していることが想定される。そのため、その後に行われる倍率の調整動作は微調整動作であると考えられる。従って、撮影倍率の変倍率は変更される。
【００８０】
また、図１０に加速度−速度−距離に変換したときの波形例の一例を示す。図１０は、モーションセンサからのモーション情報（ここでは、加速度）を単位時間当たりで積分をしていったときに算出することができる速度及び距離を表した一例の図である。図１０からわかるように、ここでは、第１の動き情報（光軸正方向への大きな動き）、第２の動き情報（光軸負方向への小さな動き）及び第３の動き情報（光軸正方向への小さな動き）を取得している。第１の動き情報、第２の動き情報及び第３の動き情報は時系列的に取得されるものであり、撮像装置が静止したことを持って動きが終了したとみなすものとする。ただし、各動き情報を切り分ける手法は静止の検出に限定されるものではない。
【００８１】
各動き情報により表される動きが、粗調整動作であるか微調整動作であるかの判断は加速度、速度、距離のいずれを用いてもよい。加速度を用いるのであれば、ａ１、ａ２、ａ３の比較が行われる。同様に速度であればｖ１、ｖ２、ｖ３の比較となる。距離については移動量の比較が考えられるため、Ｌ１、Ｌ１−Ｌ３、Ｌ２−Ｌ３の比較等が行われる。
【００８２】
図１０の例では、第１の動きに対して、第２の動きは小さいため、第１の動きは粗調整動作であり、第２の動きは微調整動作であると判定される。よって第３の動き情報に対する撮像倍率の変倍率を低くする。また、第２の動き（微調整動作）に比べて第３の動きは小さいため、第３の動きも微調整動作であると判定される。そのため、図示されていないが第４の動き情報に対する撮像倍率の変倍率はさらに低くなることが考えられる。
【００８３】
また、図１１に動き情報のパターンの組み合わせ及びその時の倍率制御例の一例を示す。粗調整動作、微調整動作＿前、微調整動作＿後、上下左右＿大、上下左右＿小については、図５〜図９で上述したとおりである。また、シャッタが半押しされた場合には、構図や倍率の調整はほぼ完了していると考えられるため、ズームが停止される。また、シャッタが全押しされた場合（撮影が行われた場合）には、ズームの停止に加えて、画像の取得が行われる。そして、ズーム変倍率はズーム停止前の値が保持される。これは、撮影は何枚も連続して行われることが想定されるためである。つまり、１枚撮影した後には、同じ条件の下で再度撮影される可能性があるため、撮影開始時の条件を保持しておくことが望ましいと考えられる。
【００８４】
また、図１２に動き情報のパターンによる撮影倍率の変更の一例を示す。ここでは第１の動きが粗調整動作であり、第２の動きが微調整動作、第３の動きが粗調整動作、第４の動きが微調整動作、第５の動きが微調整動作、第６の動きが粗調整動作である場合の変倍率の変化例を示している。第１の動き及び第２の動きの間は倍率の変倍率は所与の値（初期値、通常の倍率変倍率）をとっている。そして、第２の動きが微調整動作であると判定されたため、第３の動きに対する倍率の変倍率は下げられる。その後、第３の動きが粗調と判定されたため、第４の動きに対する倍率は所与の値に戻される。第４の動きが微調整動作であると判定され、再度倍率の変倍率は下げられ、第５の動きも微調整動作であると判定され、倍率の変倍率はさらに下げられる。そして、第６の動きが粗調整動作であると判定され、倍率の変倍率は所与の値に戻ることになる。以上のように、２つの動き情報の比較に基づいて、次に動き情報に対する撮像倍率の変倍率を決定するという処理を時系列的に行っていく。
【００８５】
次に、撮像装置の動き検出部にモーションセンサを用いたときの全体処理フローについて図１３を用いて説明する。まず、撮像装置のＭｅｎｕ操作によってＳＺモードでズームを行うことを撮影者が選択する。次に、Ｓ１０２で、初期化設定を行う。初期化設定として、第１の動き情報フラグ及び第２の動き情報フラグをＯＦＦにし、動き情報カウンタの値を"０"に設定する。また、初期の撮影倍率変倍率を設定する。
【００８６】
Ｓ１０３で、被写体撮像部で被写体画像を取得する。そして、Ｓ１０４で、モーションセンサからモーション情報を取得する（詳細は、図１５を参照）。Ｓ１０５で、Ｓ１０４で取得したモーション情報から動き情報を算出する（詳細は、図１６を参照）。
【００８７】
Ｓ１０６で、撮影者によって撮像装置が動かされたか否かを光軸方向の動き情報から判断する。この際の判断はＡｚ≠０を満たすか否かにより行われる。
【００８８】
Ｓ１０６において、判定がＹｅｓ（撮像装置を動かされた）の場合、Ｓ１０７へ移行する。また、判定がＮｏ（撮像装置を動かしていない）の場合、Ｓ１２６へ移行する。まず、Ｓ１２６へ移行した場合について説明する。
【００８９】
Ｓ１２６へ移行したら、保持した動き情報から被写体画像の変倍率を決定してＳ１２７へ移行する。そして、Ｓ１２７で、Ｓ１２６で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ１２８でシャッタ釦が押されたか否かの判定を行い、押されなかった場合はＳ１０３に戻る。Ｓ１２８でシャッタ釦が押された場合には、Ｓ１２９で被写体の静止画像を表示して、Ｓ１３０で静止画像をメモリに保存する。そして、Ｓ１０２に戻る。
【００９０】
次に、Ｓ１０６において、判定がＹｅｓとなり、Ｓ１０７へ移行した場合について説明する。Ｓ１０７で、第１の動き情報フラグがＯＮになっているか否かを判断する。Ｙｅｓ（フラグＯＮ）の場合、Ｓ１０９へ移行し、Ｎｏ（フラグＯＦＦ）の場合、Ｓ１０８へ移行する。
【００９１】
Ｓ１０８で、動き情報を第１の動き情報として保持してＳ１１０へ移行し、Ｓ１１０で、第１の動き情報フラグをＯＮにしてＳ１１２へ移行する。そして、Ｓ１１２で、保持した第１の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ１１４へ移行する。
【００９２】
また、Ｓ１０９で、動き情報を第２の動き情報として保持してＳ１１１へ移行し、Ｓ１１１で、第２の動き情報フラグをＯＮにしてＳ１１３へ移行する。そして、Ｓ１１３で、保持した第２の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ１１４へ移行する。
【００９３】
Ｓ１１４からの処理を、図１４を用いて説明する。Ｓ１１４で、Ｓ１１２或いはＳ１１３で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ１１５で、撮影者によって動かされていた撮像装置が静止したか否かを判断し、Ｙｅｓ（静止した）の場合には、Ｓ１１６へ移行し、Ｎｏ（静止していない）の場合には、Ｓ１０３へ移行する。
【００９４】
Ｓ１１６で、動き情報カウンタに"１"を足し、Ｓ１１７で、シャッタ釦が押下されたか否かを判断する。Ｙｅｓ（押下された）の場合には、Ｓ１２９へ移行して変倍された被写体画像を取得（Ｓ１２９）、表示（Ｓ１２９）、保存（Ｓ１３０）してＳ１０２へ戻る。
【００９５】
Ｎｏ（押下されていない）の場合、Ｓ１１８へ移行する。Ｓ１１８で、第１の動き情報フラグと第２の動き情報フラグがともにＯＮになっているか否かを判断する。Ｙｅｓ（ともにＯＮ）の場合、Ｓ１１９へ移行し、Ｎｏ（片方のみＯＮ）の場合、Ｓ１０３へ移行する。
【００９６】
そして、Ｓ１１９で、第１の動き情報と第２の動き情報を比較して、Ｓ１２０で、Ｓ１１９の比較結果に応じて撮影倍率変倍率を決定してＳ１２１へ移行する。
【００９７】
Ｓ１２１で、動き情報カウンタの値が偶数か奇数かの判断を行い、偶数の場合、Ｓ１２２へ移行し、奇数の場合、Ｓ１２３へ移行する。Ｓ１２２では、第１の動き情報フラグをＯＦＦにしてＳ１０３へ移行する。また、Ｓ１２３では、第２の動き情報フラグをＯＦＦにしてＳ１０３へ移行する。
【００９８】
また、図１５にＳ１０４の詳細な処理フローを示す。この処理が開始されると、Ｓ２０１で３軸の加速度ＡＸ１、ＡＹ１、ＡＺ１及び３軸の角速度ＧＸ１、ＧＹ１、ＧＺ１を取得する。そして、Ｓ２０２で撮像装置の姿勢補正を行う。これにより、例えば、重力加速度の影響等を補正することが可能になる。
【００９９】
また、図１６にＳ１０５の詳細な処理フローを示す。この処理が開始されると、Ｓ４０３で姿勢補正後の加速度ＡＺ１を算出、保持する。そして、Ｓ４０４でＡＺを積分することで速度Ｖ１を算出、保持する。さらに、Ｓ４０５でＶ１を積分することで距離Ｌ１を算出、保持する。これにより、動き情報として加速度、角速度に加えて、速度、距離を取得することができる。ここではＳ４０６で、撮影倍率α１を距離Ｌ１に応じて決定するものとしているが、他の動き情報を用いてもよいことは言うまでもない。
【０１００】
また、図１７にＳ１１９の詳細な処理フローを示す。この処理が開始されると、Ｓ５０１で第１の動き情報を読み出し、Ｓ５０２で第２の動き情報を読み出す。そして、Ｓ５０３で第１の動き情報と第２の動き情報の比較が行われる。
【０１０１】
第１の動き情報が第２の動き情報に比べて大きい場合には、Ｓ５０４で、第１の動き情報が粗調整動作であり、第２の動き情報が微調整動作であると判定される。あるいは、第１の動き情報が微調整動作であり、第２の動き情報も微調整動作であると判定される。この場合には、Ｓ５０６で撮影倍率の変倍率が変更される。
【０１０２】
また、第１の動き情報が第２の動き情報に比べて大きくない場合には、Ｓ５０５で、第１の動き情報が粗調整動作であり、第２の動き情報も粗調整動作であると判定される。あるいは、第１の動き情報が微調整動作であり、第２の動き情報は粗調整動作であると判定される。この場合には、Ｓ５０６で撮影倍率の変倍率は所定の値（通常値）に設定される。
【０１０３】
以上の本実施形態では、図３に示したように、撮像装置は被写体を撮像して被写体画像を取得する被写体撮像部１０と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部における撮像倍率の制御処理を行う撮影倍率制御部４８とを含む。そして、動き情報取得部４９は、撮像装置の第１の動き情報と、第２の動き情報を取得する。動き情報比較部４７は、取得した第１の動き情報と第２の動き情報の比較処理を行う。撮影倍率制御部４８は、動き情報の比較処理の結果に基づいて撮像倍率の制御処理を行う。
【０１０４】
ここで、撮像倍率の制御処理とは、撮像倍率の決定処理と、撮像倍率の変倍率の設定処理との両方を含む。撮像倍率の変倍率は後述するように、動き情報に対する倍率の変化率である。撮像倍率の決定処理とは、そのときの変倍率に基づいて、動き情報に対応するだけ撮像倍率を変化させる処理のことである。例えば、現在の倍率が１倍であり、変倍率が１００ｍｍの移動あたり倍率を１だけ増加させる設定になっている場合に、３００ｍｍ撮像装置が移動したとする。この場合には、撮像倍率の決定処理とは、１＋３００／１００＝４倍に撮像倍率を決定する処理になる。
【０１０５】
これにより、２つの動き情報を取得した上で、取得した動き情報を比較し、比較処理の結果に基づいて撮像倍率を制御することが可能になる。よって、単純に１つの動き情報だけを用いて撮像倍率を制御する場合に比べて、絶対的な動き情報の大きさに加えて相対的な動き情報の大きさを用いて処理を行うことができるため、より細かい処理ができる。具体的には、ある大きさの動き情報を取得した場合にも、大きい値から小さくなった結果その値になったのか、小さい値から大きくなった結果その値になったのか、或いはずっと同じ値をとっているのか、といった状況に応じて処理を変えることが可能になる。
【０１０６】
また、撮影倍率制御部４８は、動き情報比較部４７における比較処理の結果に基づいて、動き情報に対する撮像倍率の変倍率の設定を行う。
【０１０７】
ここで、撮像倍率の変倍率とは、上述したように動き情報に対する撮像倍率の変化率のことであり、例えば、倍率の増加量／移動距離等で表すことができる。例えば、１００ｍｍの移動に対して倍率が１増える（１倍から２倍に変化する等）とすれば、変倍率は１０ｍｍあたり１／１０となる。よって、変倍率を下げる処理とは、上述の例に対して、１００ｍｍの移動でも倍率が０．５しか増えないようにする処理等になる。
【０１０８】
これにより、撮像倍率の変倍率を変更することが可能になる。本装置においては、撮像倍率を変化させる（ズーム操作を行う）際に、撮像装置を光軸方向へ移動させる。この移動に対応する動き情報を時系列的に取得し、取得した複数の（ここでは２つだが、３つ以上であってもよい）動き情報を比較することで、撮像倍率の変倍率を変更することができる。つまり、撮影者は動き（移動量等）を大きくしたり、小さくしたりするだけで、自動的に変倍率を変更することができる。本装置の特性上、大きく動かしているときは粗い調整であり、小さく動かしているときは細かい調整を行いたいと考えるのが通常である。よって例えば大きな動きの時は変倍率を上げ、小さい動きの時は変倍率を下げるような設定を行えば、撮影者にとって自然な動きで、かつ、使いやすいズーム機能を実現することが可能になる。さらに上述したように、大小の判断を絶対値で行うのではなく、相対値で行うことになるため、撮影者の違いによる動き量の傾向の違いを吸収すること等ができる。
【０１０９】
また、動き情報取得部４９は、撮像装置が移動開始後、静止するまでの動きの情報を第１の動き情報として取得する。また、第１の動き情報を取得した後における、撮像装置が移動を開始後、静止するまでの動きを第２の動き情報として取得する。
【０１１０】
これにより、時系列的に取得される動き情報を、撮像装置が静止したか否かを基準として、各動き情報に分割することが可能になる。図１０の例でいえば、速度が０になる点を検出してもよいし、距離の値が所定の時間変化しないことを検出してもよい。
【０１１１】
また、動き情報比較部４７は、第１の動き情報と第２の動き情報の比較処理により、第２の動き情報により表される第２の動きが、粗調整動作であるか微調整動作であるかの判定を行う。そして、撮影倍率制御部４８は、第２の動きが粗調整動作であるか微調整動作であるかの判定結果に基づいて、動き情報に対する撮像倍率の変倍率の設定を行う。
【０１１２】
ここで、粗調整動作、微調整動作とは、光軸方向に沿った方向で行われる、撮像倍率の調整のための動作であってもよいし、光軸方向と交差する平面で行われる、構図の調整のための動作であってもよい。
【０１１３】
これにより、動き情報の比較処理として、第２の動き情報が粗調整動作であるか微調整動作であるかの判定処理を行うことが可能になる。よって、動きが大きいか、小さいかに基づいた処理が可能になるため、動きが大きいときに変倍率を上げ、動きが小さいときに変倍率を下げるといった処理ができる。よって、撮影者にとって直感的な動作を行うだけで、使いやすい変倍率が設定することが可能になる。
【０１１４】
また、動き情報比較部４７において、第２の動きが微調整動作であると判定された場合には、撮影倍率制御部４８は、動き情報に対する撮像倍率の変倍率を下げる。また、第２の動きが粗調整動作であると判定された場合には、撮影倍率制御部４８は、動き情報に対する撮像倍率の変倍率を所与の設定値に設定する。
【０１１５】
これにより、微調整動作の時は変倍率を下げて、より細かな倍率調整を可能にするとともに、粗調整動作の時は変倍率を所与の設定値（通常値）にして、大きな倍率変化を可能にすることができる。そのため、撮影者にとって直感的な操作が可能になる。
【０１１６】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向における微調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を下げる。
【０１１７】
これにより、図６のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが小さい場合であり、撮影者は微調整を行おうとしていることが想定される。そのため、変倍率は下げることになる。
【０１１８】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向における粗調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を所与の設定値に設定する。
【０１１９】
これにより、図５のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが同程度（或いは大きい）場合であり、撮影者は粗調整（ズーム倍率を大きく変化させる処理）を行おうとしていることが想定される。そのため、変倍率は所与の設定値に設定される。
【０１２０】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向に交差する平面における微調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を下げる。
【０１２１】
これにより、図９のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが小さい場合であり、撮影者は構図の微調整を行っている。そのため、この次の動きが光軸方向であった場合には、倍率の微調整を行おうとしていることが想定される。そのため、変倍率は下げることになる。
【０１２２】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向に交差する平面における粗調整動作である場合には、撮影倍率制御部４８は、撮像倍率を所与の設定値に設定する。
【０１２３】
これにより、図８のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが同程度（或いは大きい）場合であり、撮影者は構図の粗調整を行っている（例えば大きく動く被写体を追いかけている等）。そのため、この次の動きが光軸方向であった場合には、倍率の粗調整を行おうとしていることが想定される。よって、変倍率は所与の設定値に設定される。
【０１２４】
また、第１の動きが被写体撮像部１０の光軸方向と交差する平面における動きであり、かつ、第２の動きが光軸方向と交差する平面における微調整動作である場合には、撮影倍率制御部４８は、一旦撮像倍率の変化を停止する制御を行い、その後、撮像倍率の変倍率を停止前の変倍率よりも下げてもよい。
【０１２５】
また、第１の動きが被写体撮像部１０の光軸方向と交差する平面における動きであり、かつ、第２の動きが光軸方向と交差する平面における粗調整動作である場合には、撮影倍率制御部４８は、一旦撮像倍率の変化を停止する制御を行い、その後、撮像倍率の変倍率を所与の設定値に設定する。
【０１２６】
これにより、被写体撮像部の光軸方向と交差する平面における動作が続いた場合には、ズーム動作を一旦停止してから、変倍率を設定する処理が可能になる。光軸方向と交差する平面における動作とは、倍率調整ではなく、構図の変更を意図していると考えられる。構図の変更動作が続いた場合には、次の動作においても構図変更を行う可能性が高く、よって、倍率変更をする可能性は比較的低いと考えられるため、不必要に撮影倍率が変動しないように倍率制御を停止する。
【０１２７】
また、撮影倍率制御部４８は、第２の動きが粗調整動作であるか微調整動作であるかの判定結果に基づいて、第２の動きの後の動きである第３の動きに対する、撮像倍率の変倍率の設定を行ってもよい。
【０１２８】
これにより、図１２に示したように、対象となる動きより前である２つの動きの情報に基づいて、対象となる動きに対する倍率の変倍率を設定することが可能になる。第２の動きが粗調整動作か微調整動作かの判断は、第２の動きの途中で判定することは難しい。よって、第２の動きの情報に基づいて、第２の動きより後である第３の動きに対して倍率の変倍率制御を行うことが自然であり、処理も容易である。
【０１２９】
また、動き情報取得部４９は、動き情報（例えば第１の動き情報と第２の動き情報）として、撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【０１３０】
これにより、図１０に示したように、動き情報として加速度、速度、距離、角度（例えば角速度情報等）の情報を取得することができる。
【０１３１】
また、動き情報取得部は、モーションセンサからのセンサ情報を取得するセンサ情報取得部を含む。そして、センサ情報取得部は、モーションセンサからのセンサ情報に基づいて、動き情報である加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得する。
【０１３２】
これにより、モーションセンサ等のセンサを使って動き情報を取得することができる。よって、センサからのセンサ情報により直接的、かつ、容易に動き情報を取得することができる。
【０１３３】
また、本実施形態は、被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部における撮像倍率の制御処理を行う撮影倍率制御部４８としてコンピュータを機能させるプログラムに関係する。そして、動き情報取得部４９は、撮像装置の第１の動き情報と、第２の動き情報を取得する。動き情報比較部４７は、取得した第１の動き情報と第２の動き情報の比較処理を行う。撮影倍率制御部４８は、動き情報の比較処理の結果に基づいて撮像倍率の制御処理を行う。
【０１３４】
これにより、本実施形態は、撮像装置のように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。
【０１３５】
４．第２の実施形態
【０１３６】
第２の実施形態について図１８〜図２１を用いて説明する。図１８の例では、撮像装置１００は、撮影者撮像部５１を含む。撮影者と撮像装置１００との間の距離を検出するために、撮影者撮像部５１は、撮影者（例えば顔）を表す画像情報（撮影者画像情報）を取得する。処理部４３は、撮影者の特徴点を用いて動き情報を検出することが出来る。検出する動き情報は、例えば顔検出を行い、顔の大きさの変化から、撮影者と撮像装置１００との間の距離を検出（算出）する。そして、検出した動き情報から撮影倍率を制御することができる。
【０１３７】
なお、撮影者の特徴点の検出において、特徴点が外乱光や人の体の揺れにより影響を受けることが考えられる。これに対しては、例えば、外乱光ではＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）のシャッタ値、絞り値、ゲインなどの変化から影響を検出して、影響を抑止する処理を行ってもよい。また、人の体の揺れの影響を、例えば、周期的な特徴点の微小な変化をｐｉｘｅｌ単位での閾値などを設けることによって検出して、影響を抑止してもよい。
【０１３８】
図１９で、撮影者が撮像装置を前方へ動かしたときの動きとそのときに撮影者撮像部５１から得た撮影者画像情報の例を示す。ここでの撮影者画像情報は、撮影者の顔の大きさとしている。撮影者が撮像装置を前方へ動かした時の撮影者画像情報を毎フレーム取得すると（１）⇒（２）⇒（３）の順で撮影者の顔の大きさの変化が得られる（第１の動き情報）。（１）⇒（２）⇒（３）の順で動かされたことによって撮影者の顔の大きさは徐々に小さくなっていく。これによって撮像装置が前方へ動かされているということが分かる。撮影者が撮像装置を動かしたもしくは止めたか否かの判断は、数フレームの撮影者の顔の大きさの変化があるかないかで判断できる。なお、撮像装置の静止の判断手法はこれに限定されるものではない。また、顔の大きさの変化の閾値を設けておいて過剰に顔の大きさの変化を検出しないようにしてもよい。次に、前方へ動かした撮像装置を再度撮影者の方へ戻した時の撮影者画像情報を毎フレーム取得すると（４）⇒（５）⇒（６）の順で撮影者の顔の大きさの変化が得られる（第２の動き情報）。この例の場合、第１の動き情報で求められた顔の変化から求まった距離と第２の動き情報で求められた顔の変化から求まった距離を比較する。この場合、第１の動き情報を「粗調」、第２の動き情報を「粗調」と判断したとすると、次の軌跡を検出するときの撮像倍率は通常のままとする。
【０１３９】
次に、撮像装置の動き検出部に撮影者撮像部を用いたときの全体処理フローについて図２０、図２１を用いて説明する。まず、撮像装置のＭｅｎｕ操作によってＳＺモードでズームを行うことを撮影者が選択する。
【０１４０】
Ｓ６０１で、初期化設定を行う。初期化設定として、第１の動き情報フラグ及び第２の動き情報フラグをＯＦＦにし、動き情報カウンタの値を"０"に設定する。また、初期の撮影倍率変倍率を設定する。
【０１４１】
Ｓ６０２で、被写体撮像部で被写体画像を取得するとともに、Ｓ６０３で、撮影者撮像部で撮影者画像を取得する。そして、Ｓ６０４で、撮影者画像から撮影者の特徴点を検出し、Ｓ６０５で、撮影者の特徴点を検出できたか否かを判断する。Ｙｅｓ（検出できた）の場合、Ｓ６０６へ移行し、Ｎｏ（検出できない）の場合、Ｓ６０２へ移行する。
【０１４２】
Ｓ６０６で、撮影者の特徴点の変化から動き情報を算出し、Ｓ６０７で、撮影者によって撮像装置が動かされたか否かを光軸方向の動き情報から判断する。Ｙｅｓ（撮像装置を動かされた）の場合、Ｓ６０８へ移行し、Ｎｏ（撮像装置を動かしていない）の場合、Ｓ６２５へ移行する。
【０１４３】
Ｓ６２５へ移行したら、保持した動き情報から被写体画像の変倍率を決定してＳ６２６へ移行する。Ｓ６２６で、Ｓ６２５で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ６１８でシャッタ釦が押されたか否かの判定を行い、押されなかった場合はＳ６０２に戻る。Ｓ６１８でシャッタ釦が押された場合には、Ｓ６２８で被写体の静止画像を表示して、Ｓ６２９で静止画像をメモリに保存する。そして、Ｓ６０１に戻る。
【０１４４】
また、Ｓ６０７でＹｅｓと判定された場合には、Ｓ６０８で、第１の動き情報フラグがＯＮになっているか否かを判断する。Ｙｅｓ（フラグＯＮ）の場合、Ｓ６１０へ移行し、Ｎｏ（フラグＯＦＦ）の場合、Ｓ６０９へ移行する。
【０１４５】
Ｓ６０９では、動き情報を第１の動き情報として保持し、Ｓ６１１で、第１の動き情報フラグをＯＮにしてＳ６１３へ移行する。Ｓ６１３で、保持した第１の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ６１５へ移行する。
【０１４６】
また、Ｓ６１０では、動き情報を第２の動き情報として保持し、Ｓ６１２で、第２の動き情報フラグをＯＮにしてＳ６１４へ移行する。Ｓ６１４で、保持した第２の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ６１５へ移行する。
【０１４７】
そして、Ｓ６１５で、Ｓ６１３或いはＳ６１４で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ６１６では、撮影者によって動かされていた撮像装置が静止したか否かを判断する。Ｙｅｓ（静止した）の場合、Ｓ６１７へ移行し、Ｎｏ（静止していない）の場合、Ｓ６０２へ移行する。
【０１４８】
Ｓ６１７で、動き情報カウンタに"１"を足して、Ｓ６１８で、シャッタ釦が押下されたか否かを判断する。Ｙｅｓ（押下された）の場合、変倍された被写体画像を取得、表示（Ｓ６２８）、保存（Ｓ６２９）してＳ６０１へ戻る。Ｎｏ（押下されていない）の場合、Ｓ６１９へ移行する。
【０１４９】
Ｓ６１９で、第１の動き情報フラグと第２の動き情報フラグがともにＯＮになっているか否かを判断する。Ｙｅｓ（ともにＯＮ）の場合、Ｓ６２０へ移行し、Ｎｏ（片方のみＯＮ）の場合、Ｓ６０２へ移行する。
【０１５０】
Ｓ６２０では、第１の動き情報と第２の動き情報を比較して、Ｓ６２１で、Ｓ６２０の比較結果に応じて撮影倍率変倍率を決定する。Ｓ６２２では、動き情報カウンタの値が偶数か奇数かの判断をする。偶数の場合、Ｓ６２３へ移行し、奇数の場合、Ｓ６２４へ移行する。
【０１５１】
Ｓ６２３では、第１の動き情報フラグをＯＦＦにしてＳ６０２へ移行する。また、Ｓ６２４で、第２の動き情報フラグをＯＦＦにしてＳ６０２へ移行する。
【０１５２】
以上から、手振れ、人間の体の揺れ、外乱光などの影響によらず撮影者の直感的でかつ意図を汲み取った操作（「粗調」、「微調」、「構図合わせ（上下、左右方向の動き）」）で撮影倍率の制御を行うことができる。
【０１５３】
以上の本実施形態では、撮像装置１００は、撮影者を撮像する撮影者撮像部５１を含む。撮影者撮像部は、撮影者画像から撮影者の特徴点を検出し、検出した特徴点に基づいて、動き情報である加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得する。また、特徴点の検出は、撮影者画像における撮影者の顔の位置から検出されてもよい。
【０１５４】
これにより、撮影者画像から動き情報を取得することが可能になる。撮影者画像（例えば撮影者の顔領域の大きさ）と動き情報（例えば撮影者から撮像装置までの距離情報）との対応付け行うテーブルデータ等を保持しておけば、撮影者画像から容易に動き情報を求めることが可能になる。また、撮影者撮像部５１も撮像装置１００に設けられることを鑑みれば、撮影者画像においては、顔領域が大きな割合を占める可能性が高く、顔の位置から特徴点を求めることで、動き情報検出の精度向上等をはかることができる。
【０１５５】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５６】
１０ 被写体撮像部、１１ 光学素子、１２ 撮像素子、３０ 操作部、
３０ａ 電源釦、３０ｂ ズーム釦、３０ｃ シャッタ釦、
３０ｄ モード選択部、３２ 表示部、４１ バッファメモリ、４２ 表示演算部、
４３ 処理部、４４ メモリ、４５ 第１の動き情報取得部、
４６ 第２の動き情報取得部、４７ 動き情報比較部、４８ 撮影倍率制御部、
４９ 動き情報取得部、５１ 動き検出部（モーションセンサ、撮影者撮像部）
【技術分野】
【０００１】
本発明は、撮像装置及びプログラム等に関する。
【背景技術】
【０００２】
撮像装置（被写体を所望の倍率で撮像する撮像装置。カメラ付き携帯電話、電子スチルカメラ、電子ビデオカメラなどを含む）がズームレバー、ズーム釦などの操作部を含む場合には、操作部を操作することで撮影倍率を制御することができる。しかし、撮影倍率を制御するには、撮影者自らが操作部を操作する必要がある。従って、操作部を確認するのに手間取ったり、間違って逆方向に誤操作したりする可能性があり、操作部の操作が煩雑であるという課題がある。
【０００３】
この課題を解決するために、操作部を使用しないで撮影者、操作者の直感的な動作で操作をさせるような提案がされている。撮像装置としては、例えば特許文献１、特許文献２で提案されている。また、表示装置、電子機器としては、例えば特許文献３、特許文献４でそれぞれ提案されている。
【０００４】
特許文献１では、撮像装置がモーションセンサを含み、撮像装置を光軸方向に移動させることで撮影倍率を制御する。特許文献２では、操作者が決まった動作を撮像装置に行うことで表示画面を変更する。特許文献３では、撮影者の顔画像を解析し、撮影者が撮像装置に近づくかまたは撮像装置から離れるかを判断して表示倍率を制御する。特許文献４では、筐体に加速度センサが備わっており加速度を検出し、検出した加速度を距離に変換しその距離に応じて撮影倍率を制御する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６-２１１４５８号公報
【特許文献２】特開２０１０-１９３０６７号公報
【特許文献３】特開２０１０-１７６１７０号公報
【特許文献４】特開２０１０-００８８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影者の直感的な動作を意図として汲み取って操作するということにおいては、例えば、特許文献１では、撮影者が撮像装置を前後に動かすことにより撮影倍率を制御しようとしている。つまり、撮影者が撮像倍率を変更したいという意志を汲み取ったうえで、直感的な動作により撮像倍率を制御する。しかしながら、粗く撮影倍率を変更することはできるかもしれないが、微調整したい場合においても所定の倍率感度で倍率制御されてしまうので微小に前後に動かした場合は、撮影倍率が行き過ぎたり戻りすぎたりして撮影者が所望する撮影倍率に制御することは困難である。
【０００７】
特許文献２では、操作者に決まった動きをさせてその動きを加速度センサで検出して表示画面を変更しようとしている。しかしながら、操作者に決まった動きをすることを強いているので直感的ではなく意図を汲み取っているとは言えない。
【０００８】
特許文献３では、撮影者の顔を撮影して距離を算出して表示倍率を制御しようとしている。しかしながら、一般的な画像から撮影者の顔を検出する方法（データベース参照型）では、外乱光の影響によって撮影者の意図していない表示倍率に変更されてしまう。また、人間は完全に静止することができないため、微小な体や顔の揺れによって意図していない表示倍率に変更されてしまう恐れがある。従って、これも十分に撮影者の意図に見合った操作をすることは困難である。
【０００９】
特許文献４では、筐体に加速度センサが備わっており筐体を動かしたときに発生する加速度を検出して距離に変換してその距離に応じて撮影倍率を決定しようとしている。また、発生する加速度の大きさを用いて撮影倍率を決定しようとしている。しかしながら、撮影者が発生させる加速度の大きさを厳密に調整することができない。従って、撮影者の所望する撮影倍率にすることは困難である。
【００１０】
本発明によれば、撮像装置を動かすという、撮影者による直感的な操作に基づいて、撮影倍率を制御することによって、撮影者の意図した撮影倍率を設定可能な撮像装置を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、被写体を撮像して被写体画像を取得する被写体撮像部と、撮像装置の動き情報を取得する動き情報取得部と、動き情報比較部と、前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部と、を含み、前記動き情報取得部は、前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、前記動き情報比較部は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行う撮像装置に関係する。
【００１２】
本発明の一態様では、第１の動き情報と第２の動き情報を取得し、取得した動き情報の比較結果に基づいて撮像倍率の制御処理を行う。そのため、動き量の相対的な情報に基づいて撮像倍率の制御処理を行うこと等が可能になる。
【００１３】
また、本発明の一態様では、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記動き情報によって表される動きに応じた前記撮像倍率の変倍率の設定を行ってもよい。
【００１４】
これにより、撮像倍率の制御処理として、動き情報に対する撮像倍率の変倍率を設定する処理が可能になる。
【００１５】
また、本発明の一態様では、前記動き情報取得部は、前記撮像装置が移動開始後、静止するまでの動きの情報を、前記第１の動き情報として取得し、前記第１の動き情報を取得した後における、前記撮像装置が静止状態から移動を開始し、その後静止するまでの動きの情報を、前記第２の動き情報として取得してもよい。
【００１６】
これにより、撮像装置が静止したことをもって、各動き情報の分離をすることが可能になる。
【００１７】
また、本発明の一態様では、前記動き情報比較部は、前記第１の動き情報と前記第２の動き情報の比較処理により、前記第２の動き情報により表される前記第２の動きが、前記撮像倍率又は撮像画像の構図についての粗調整動作であるか、微調整動作であるかの判定を行い、前記撮像倍率制御部は、前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記動き情報に対する、前記撮像倍率の変倍率の設定を行ってもよい。
【００１８】
これにより、微調整動作か粗調整動作かという、動きの大きさに関わる情報に基づいて、撮像倍率の変倍率（撮像倍率の感度）を設定すること等が可能になる。
【００１９】
また、本発明の一態様では、前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記微調整動作であると判定された場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２０】
これにより、微調整動作のときは変倍率を下げるため、直感的な操作が可能になる。
【００２１】
また、本発明の一態様では、前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記粗調整動作であると判定された場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００２２】
これにより、粗調整動作のときには変倍率を所与の設定値に設定するため、直感的な操作が可能になる。
【００２３】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における微調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２４】
これにより、被写体撮像部の光軸方向に沿った方向での動きが続いた場合の処理を決定することが可能になる。
【００２５】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における粗調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００２６】
これにより、被写体撮像部の光軸方向に沿った方向での動きが続いた場合の処理を決定することが可能になる。
【００２７】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における微調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を下げてもよい。
【００２８】
これにより、被写体撮像部の光軸方向に沿った方向での動きの後に、光軸方向と交差する平面での動きがあった場合の処理を決定することが可能になる。
【００２９】
また、本発明の一態様では、前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における粗調整動作である場合には、前記撮像倍率制御部は、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００３０】
これにより、被写体撮像部の光軸方向に沿った方向での動きの後に、光軸方向と交差する平面での動きがあった場合の処理を決定することが可能になる。
【００３１】
また、本発明の一態様では、前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における微調整動作である場合には、前記撮像倍率制御部は、一旦前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を停止前の変倍率よりも下げてもよい。
【００３２】
これにより、被写体撮像部の光軸方向と交差する平面での動きが続いた場合の処理を決定することが可能になる。
【００３３】
また、本発明の一態様では、前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における粗調整動作である場合には、前記撮像倍率制御部は、一旦前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定してもよい。
【００３４】
これにより、被写体撮像部の光軸方向と交差する平面での動きが続いた場合の処理を決定することが可能になる。
【００３５】
また、本発明の一態様では、前記撮像倍率制御部は、前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記第２の動きの後の動きである第３の動きに対する前記撮像倍率の変倍率の設定を行ってもよい。
【００３６】
これにより、ある動きの情報を用いて、それより後の動きに対する撮像倍率の変倍率を設定することが可能になる。
【００３７】
また、本発明の一態様では、前記動き情報取得部は、前記第１の動き情報及び前記第２の動き情報として、前記撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００３８】
これにより、加速度情報、速度情報、距離情報及び角度情報という、取得及び処理が容易な情報を動き情報として用いることが可能になる。
【００３９】
また、本発明の一態様では、前記動き情報取得部は、モーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記センサ情報取得部は、前記モーションセンサからのセンサ情報に基づいて、前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００４０】
これにより、モーションセンサを用いることで、直接的かつ容易に動き情報を取得すること等が可能になる。
【００４１】
また、本発明の一態様では、前記動き情報取得部は、撮影者を撮像し、撮影者画像を取得する撮影者撮像部を含み、前記撮影者撮像部は、前記撮影者画像から、前記撮影者の特徴点を検出し、検出した特徴点に基づいて前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【００４２】
これにより、撮影者撮像部により撮影者画像を用いることで、センサ等を用いずに動き情報を取得すること等が可能になる。
【００４３】
また、本発明の一態様では、前記動き情報取得部は、前記撮影者画像における前記撮影者の顔の位置から、前記特徴点を検出してもよい。
【００４４】
これにより、撮影者の顔領域から動き情報を取得することが可能になる。
【００４５】
本発明の他の態様は、被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、撮像装置の動き情報を取得する動き情報取得部と、動き情報比較部と、前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部として、コンピュータを機能させ、前記動き情報取得部は、前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、前記動き情報比較部は、取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、前記撮像倍率制御部は、前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うプログラムに関係する。
【図面の簡単な説明】
【００４６】
【図１】本装置によるズーム操作を説明する図。
【図２】撮像倍率の変倍率を説明する図。
【図３】本実施形態のシステム構成例。
【図４】本実施形態の撮像装置の構成例。
【図５】第２の動きが光軸方向での粗調整動作である場合の加速度の例。
【図６】第２の動きが光軸負方向での微調整動作である場合の加速度の例。
【図７】第２の動きが光軸正方向での微調整動作である場合の加速度の例。
【図８】第２の動きが光軸と交差する平面における粗調整動作である場合の加速度の例。
【図９】第２の動きが光軸と交差する平面における微調整動作である場合の加速度の例。
【図１０】動き情報として加速度、速度及び距離を取得する場合の具体例。
【図１１】動き情報のパターンの組み合わせ及びその時の倍率制御の例。
【図１２】動き情報のパターンによる撮影倍率の変倍率変更の例。
【図１３】本実施形態の倍率変倍率設定処理を説明するためのフローチャート。
【図１４】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【図１５】動き情報の取得処理を説明するためのフローチャート。
【図１６】動き情報の算出処理を説明するためのフローチャート。
【図１７】動き情報の比較処理を説明するためのフローチャート。
【図１８】本実施形態の撮像装置の他の構成例。
【図１９】撮影者撮像部による撮影者画像から動き情報を取得する手法の説明図。
【図２０】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【図２１】本実施形態の倍率変倍率設定処理を説明するための他のフローチャート。
【発明を実施するための形態】
【００４７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４８】
１．本実施形態の手法
【００４９】
本実施形態の撮像装置は、撮像装置の光軸方向への移動に基づいて撮像倍率の変更（ズーム動作）を行う。本装置では、図１に示したように、撮像装置の移動量情報（もしくは撮影者からの距離情報）に基づいて撮像倍率を変更する。例えば、撮像装置を１００ｍｍ動かす（もしくは撮影者からの距離が５０ｍｍから１５０ｍｍに遠ざかる）ことで、撮像倍率を１倍から２倍に変更する撮像装置等が考えられる。
【００５０】
しかし、移動情報と撮像倍率を単純に対応付けるような本装置の手法では撮像倍率の微調整が難しいという問題がある。なぜなら、撮像装置の移動可能範囲は撮影者の腕の長さによる制限を受けてしまう。例えば、撮影者の腕の長さが５００ｍｍであり、腕の曲げ伸ばしにより撮像装置が実現可能な撮像倍率全てを取り得るように設定する場合には、５００ｍｍと最大ズームが対応付けられることになる。最大ズームが光学６倍ズームであるとすれば、０ｍｍで１倍、１００ｍｍで２倍、２００ｍｍで３倍、５００ｍｍで６倍といったような対応付けが考えられる。そのため、ズームの微調整を行うためには、数十ｍｍ程度の細かい調整が必要になってしまう。しかし、撮影者の手ぶれの影響や、動きを検出するためのセンサ等のノイズの影響により、撮像倍率の微調整は難しい。
【００５１】
そこで、本出願人は以下の手法を提案する。つまり、撮像倍率の微調整を行う際には、撮像倍率の変倍率を変化させる。ここで、撮像倍率の変倍率とは、動き情報に対する撮像倍率の変化率のことである。例えば、単位移動距離あたりの撮像倍率の変化量を表す。この場合は、図２に示したように、縦軸に倍率の変化量をとり、横軸に撮像装置の移動距離をとると、変倍率はグラフの傾きの大きさによって表される。つまり、傾きの大きいＡ１では、１０ｍｍの移動に対して撮像倍率は＋０．１倍だけ変化するため、１００ｍｍの移動で倍率は＋１倍変化し、２００ｍｍで＋２倍、３００ｍｍで＋３倍だけの変化となり、上述したような通常の大きさの変倍率となる。それに対して傾きの小さいＡ２では、１０ｍｍの移動に対して撮像倍率は＋０．０５倍しか変化しない。そのため、１００ｍｍ移動させたとしても倍率の変化量は＋０．５倍にとどまり、通常の状態に比べて、変倍率が低くなる。
【００５２】
本実施形態の手法では、具体的には、撮像倍率の微調整を行う際には撮像倍率の変倍率を低く設定する。図２の例でいえば、Ａ１からＡ２へと変倍率を変化させればよい。このようにすることで、微調整の際に撮像装置を移動させてもよい範囲が広がり、調整が容易になる。具体例を以下に示す。撮影者が微調整のため、±０．１５倍程度の範囲で、撮像倍率の調整を望んでいるとする。その場合、変倍率がＡ１の状態であれば３０ｍｍ（±１５ｍｍ）の範囲で撮像装置の位置を決める必要がある。それに対して、撮像倍率の変倍率がＡ２に設定されたとすれば、変倍率が１／２であるため、２倍の６０ｍｍの範囲で撮像装置の位置を決めればよいことになり、調整が容易となる。図２の例では２通りの変倍率のみであるが、３通り以上の変倍率を設定可能なことはいうまでもない。よって、変倍率を下げれば下げるほど、撮像装置の移動可能な範囲が広がり、調整を容易にすることが可能になる。
【００５３】
しかし、常時撮像倍率の変倍率を下げて設定しておくことはできない。大きく倍率を変化させたいときには、撮像倍率の変倍率が下がっていることは好ましくないからである。そこで本実施形態では、複数の動き情報の比較を行うことで、対象となっている動き情報が微調整動作であるのか粗調整動作であるのかを判定している。ここでの微調整動作、粗調整動作とは、撮像倍率に関する動作のことである。撮像倍率の微調整動作とは、撮影者による撮像装置を光軸方向に移動させる動作（倍率を変化させるための動作）が小さい状態を表し、粗調整動作とは、撮像装置を光軸方向に移動させる動作が大きい状態を表す。ここで、動作の大小は動き情報として用いる物理量等の値の大小を表す。つまり、動き情報として距離を用いた場合には、動きが大きいとは移動距離が長いことであるし、動き情報として速度を用いた場合には、動きが大きいとは速度が早いことを表す。また、微調整動作は撮影者が撮像倍率の微調整を意図している動作であり、粗調整動作は撮影者が撮像倍率の粗調整を意図している動作である。また、本実施形態においては、動作の大きい小さいは相対的な評価により判定されてもよい。つまり、複数の動作（動き情報）を比較した結果として、対象の動作が微調整動作であるか、粗調整動作であるかの判定を行う。微調整動作を行っていると判定された場合には、上述のように変倍率を下げることで撮像倍率の微調整を可能にする。また、粗調整動作を行っていると判定された場合には、変倍率を上げる（もしくは初期状態に戻す）ことで撮像倍率の大きな変化を可能にする。微調整動作、粗調整動作の判定手法の詳細については後述する。
【００５４】
以下、基本構成を説明した後、第１の実施形態として、動き情報をモーションセンサから取得する例を説明し、第２の実施形態として、動き情報を撮影者撮影部（撮影者を撮影する撮像部）から取得する例を説明する。
【００５５】
２．基本構成
【００５６】
図３に、本実施形態の撮像装置の構成例を示す。図３に示すように、撮像装置１００は、撮像部（被写体撮像部）１０と、動き検出部５１と、第１の動き情報取得部４５と、第２の動き情報取得部４６と、第１の動き情報取得部で取得された第１の動き情報（狭義には第１の軌跡）と、第２の動き情報取得部で取得された第２の動き情報（狭義には第２の軌跡）とを比較する動き情報比較部４７と、比較結果に基づいて撮影倍率を制御する撮影倍率制御部４８と、を含む。被写体撮像部の光軸方向は被写体方向としている。
【００５７】
図３の例では、動き検出部５１は、モーションセンサであり、モーションセンサで検出したモーション情報で撮像装置の動きを検出する。また、動き検出部５１は、撮影者撮像部であってもよく、撮影者側の画像情報で撮像装置の動きを検出することができる。また、動き検出部５１は、モーションセンサと撮影者撮像部を同時に搭載して撮像装置の動きを検出してもよい。
【００５８】
第１の動き情報取得部４５及び第２の動き情報取得部４６は、モーションセンサのモーション情報及び撮影者撮像部からの撮影者画像情報の少なくとも一方を利用して検出した撮像装置１００の動き情報を取得してメモリ４４で保持することができる。モーション情報とは、例えば、加速度センサ、角速度センサなどを用いて検出した加速度や角速度のことをいう。撮影者画像情報とは、撮影者撮像部で撮影者を撮影して、撮影者から得た情報のことをいう。以上の情報を時系列的にその変化を検出、取得していくことで動き情報を取得、保持することができる。
【００５９】
動き情報比較部４７は、第１の動き情報取得部４５で算出、保持した第１の動き情報と第２の動き情報取得部４６で算出、保持した第２の動き情報とを比較する。比較する動き情報は、加速度情報、速度情報、距離情報、姿勢（角度）情報を用いることができる。また、加速度の絶対値、距離の変化量、姿勢の変化量などを用いることができる。具体的な動き情報の比較方法として、加速度、速度、距離、姿勢（角度）の変化量の大きさ、絶対値での比較、変化率などで比較することができる。この比較によって、撮影者が撮像装置をどのように動かされたのかを判断することができる。
【００６０】
例えば、動き情報として距離を取得した場合において、第１の動き情報取得部４５で算出した距離Ｌ１を１００［ｍｍ］、第２の動き情報取得部４６で算出した距離Ｌ２を５０［ｍｍ］とする。この場合、Ｌ１＞Ｌ２となるので、距離が徐々に短くなる。従って、撮影者は撮像倍率（画角）の調整をしようとしていると考えられるので第１の動き情報を「粗調」、第２の動き情報を「微調」とすることができる。
【００６１】
撮影倍率制御部４８は、前記動き情報比較部４７の比較結果に基づいて、次の動き情報を検出、算出、保持するときの撮影倍率を制御することができる。例えば上述の例では、第１の動き情報で「粗調」、第２の動き情報で「微調」と判定されたので撮影倍率の変倍率を変更する。また、Ｌ１≦Ｌ２の場合では、第１の動き情報を「粗調」、第２の動き情報を「粗調」とみなすので撮影倍率の変倍率は通常のままの制御とする。
【００６２】
３．第１の実施形態
【００６３】
以下に説明する撮像装置（カメラ）は光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置であって、例えばデジタルスチルカメラがこれに含まれる。
【００６４】
第１の実施形態を図４〜図１７を用いて説明する。図４の例では、撮像装置１００は、被写体撮像部１０として、光学素子１１及び撮像素子１２（例えばＣＣＤ或いはＣＭＯＳイメージセンサなど）を含む。光学素子１１は、撮像素子１２の撮像面上に被写体像を形成する。
【００６５】
図４の例では、撮像装置１００は、撮影者（ユーザ）が種々の操作を行うための操作部３０を含むことができる。また、撮像装置１００は、一時的に画像データ（画像情報）を格納するバッファメモリ４１（ワーク領域）を含むことができる。さらに、撮像装置１００は、撮像素子１２を介して取得している画像情報を連続的に表すスルー画像情報（動画）や、撮像素子１２を介して取得した１つの画像情報を表す撮像画像情報（静止画）を表示部３２に表示するための表示演算部４２を含むことができる。
【００６６】
図４の例では、撮像装置１００は、操作部３０として、電源釦３０ａ、ズーム釦３０ｂ、シャッタ釦３０ｃ及びモード選択部３０ｄを含むことができる。モード選択部３０ｄは、例えば、ズーム釦３０ｂの操作量だけによって撮影倍率を制御する第１のモードを設定することができる。また、モード選択部３０ｄは、例えば、撮像装置１００の動き情報（時間当たりの一連の軌跡）によって撮影倍率を制御する第２のモードを設定することができる。
【００６７】
図４の例では、撮像装置１００は、モーションセンサ５１を搭載している。これにより、撮影者が撮像装置を動かしたときに発生する加速度情報、角速度情報等を検出することができる。検出した加速度情報、角速度情報で撮像装置に生じている加速度、速度、移動距離や姿勢（角度）を算出することができる。検出した加速度、角速度や算出した速度や距離（移動量）、姿勢（角度）に応じて撮影倍率を制御することができる。また、モーションセンサから出力されるモーション情報は実際にはノイズが含まれているのでノイズの影響を減らすために閾値を設けたり、移動平均、標準偏差、微分値などをとったりすることで除去することができる。また、同様に手振れや人の体の揺れによるモーション情報においても、閾値を設けたり、周波数特性（ＦＦＴなど）を利用したりすることなどで除去することができる。
【００６８】
モーションセンサから出力されたモーション情報は処理部４３に入力される。処理部４３は、前記第１の動き情報取得部４５、前記第２の動き情報取得部４６、動き情報を保持するメモリ４４、前記動き情報を比較する動き情報比較部４７、前記動き情報の比較結果から撮影倍率を制御する撮影倍率制御部４８を含む。動き情報を保持するメモリ４４は処理部の内部に設けるのではなく、外付けのメモリ４４を用意してもよい。
【００６９】
次に、光軸方向以外の動きがあった場合について説明する。例えば、撮像装置を上下、左右方向に動かすことは撮影者が構図の調整動作を行っている場合に相当する。ここで、構図とは、撮像装置の撮像範囲に収められる画面の構成を指す。つまり、構図の調整動作とは、被写体を撮像範囲に収めるにあたって、光軸方向に直交する方向に撮像装置を移動させる動作のことである。このときの上下、左右方向の動きを検出し閾値以下の動きと判定された場合は、ゆっくり動かして構図の微調整動作を行っていると考えられる。この場合は、当然、光軸方向への移動は無いので撮影倍率の変更は行わない。また、次の動きはゆっくり動かして撮影倍率を調整するものと考えられる。よって、ゆっくりした上下、左右方向の動きをした後の撮影倍率の変倍率を下げておくことによって撮像倍率の微調整をスムーズに実施できるものと考えられる。
【００７０】
また、上下、左右方向の動きを検出し閾値以上の動きと判断した場合は、早く動かして構図の粗調整動作を行っているものと考えられる。この場合は、被写体が静止しておらず撮影者が被写体の動きを追って上下、左右方向に撮像装置を激しく動かしていると考えられる。よって、被写体の動きを撮影者が予測できずに撮像倍率・構図調整に苦労しているため、この場合シャッタチャンスが限られているので通常の撮影倍率のままにしておく方がよい。なお、本発明における撮影倍率の変更は、電子ズームに限らず光学ズームで行ってもよい。
【００７１】
ここでの、微調整動作、粗調整動作とは、上述した撮像倍率の微調整動作、粗調整動作とは異なり、構図の微調整動作、粗調整動作を指す。構図の微調整動作とは、撮影者による、撮像装置を光軸方向と直交する平面内で移動させる動作（構図を変化させるための動作）が小さい状態を表し、粗調整動作とは、撮像装置を光軸方向と直交する平面内で移動させる動作が大きい状態を表す。また、微調整動作は撮影者が構図の微調整を意図している動作であり、粗調整動作は撮影者が構図の粗調整を意図している動作であるとも言える。また、本実施形態においては、動作の大きい小さいは相対的な評価により判定されてもよい。つまり、複数の動作（動き情報）を比較した結果として、対象の動作が微調整動作であるか、粗調整動作であるかの判定を行う。
【００７２】
また、始めにズーム釦３０ｂで光学ズームを行った後に撮影者が前後に動かす動作をしたことを検出してから再度ズーム釦３０ｂで光学ズームを行ったときは、撮影倍率の変倍率を制御できるようにしてもよい。
【００７３】
次に、具体的な撮影者による撮像装置の動かし方と、動かしたときの加速度の変化を示した図の例を図５〜図９に示す。
【００７４】
図５の例１において、第１の動き情報（第１の軌跡）は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報（第２の軌跡）は、（２）で撮影者が前に出した撮像装置を再度撮影者側へ戻したときの動きと、その時に発生した加速度を表している。この場合は、第２の動き情報により表される第２の動きが、微調整動作であるか微調整動作であるかの判定（動き情報比較部４７で行われる）を、例えば加速度の絶対値の大きさの比較等により行う。以下、図６〜図９の例でも同様であるが、比較の基準が加速度の絶対値に限定されないことはいうまでもない。ここでは、第２の動きにおける加速度の絶対値は、第１の動きにおける加速度の絶対値と同程度の大きさである。そのため、第１の動き情報及び第２の動き情報はそれぞれ「粗調」とみなされ、次の動き情報を検出しているときの撮影倍率の変倍率は通常の変倍率のままとする。
【００７５】
なお、第２の動きにおける加速度が第１の動きにおける加速度よりも同程度か（または大きいか小さいか）の判断は、例えば、２つの加速度の比をとって所与の閾値との比較を行うことで判定できる。ただし、大小の比較の手法はこれに限定されるものではない。
【００７６】
図６の例２において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が撮像倍率の微調整を行おうとして撮影者側に撮像装置を微小に戻したときの動きと、その時に発生した加速度を表している。この場合は、第１の動きにおける加速度の絶対値に比べて、第２の動きにおける加速度の絶対値は小さい値になっている。そのため、第１の動き情報は「粗調」、第２の動き情報は「微調」とみなされる。よって、撮影者が撮像倍率の微調整の体勢に入ったものとみなして、次の動き情報を検出しているときの撮影倍率の変倍率を変更することによって、撮影者はスムーズな撮影倍率の変更を行うことができる。
【００７７】
図７の例３において、波形は図６の波形例とほぼ同様だが、第２の動き情報は、（２）で再度光軸方向への微調を行っている動きとその時に発生した加速度を表している。第２の動きが、光軸の正方向か負方向かという違いはあるが、これも図６の波形例の説明同様に撮影者が撮像倍率の微調整の体勢に入ったものとみなすことができるため、撮影倍率の変倍率を変更している。
【００７８】
図８の例４において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きと、その時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が上下もしくは左右方向に撮像装置を大きく動かしたときの動きとその時に発生した加速度を表している。この場合は、加速度の方向こそ異なるものの、第２の動きにおける加速度の絶対値は、第１の動きにおける加速度の絶対値と同程度の大きさである。そのため、第１の動き情報で倍率の粗調整動作を行い、第２の動き情報で上下もしくは左右方向の粗調整動作（構図の粗調整動作）をしていると考えられる。よって、例えば上下もしくは左右方向に動いている被写体に対して、撮像倍率や構図を合わせようとしているケースが想定される。この場合には、まずおおまかに撮像倍率や構図をあわせる動作が行われるのであり、倍率の微調整が行われることは考えにくいため、撮影倍率は通常の撮影倍率のままとする。
【００７９】
図９の例５において、第１の動き情報は、（１）で撮影者が光軸方向へ撮像装置を前に出したときの動きとその時に発生した加速度を表している。第２の動き情報は、（２）で撮影者が上下もしくは左右方向に撮像装置を微小に動かしたときの動きと、その時に発生した加速度を表している。この場合は、加速度の方向こそ異なるものの、第１の動きにおける加速度の絶対値に比べて、第２の動きにおける加速度の絶対値は小さい値になっている。そのため、第１の動き情報は倍率の粗調整動作であり、第２の動き情報は構図の微調整動作とみなされる。この場合は、構図の微調整動作を行っているため、被写体に対して撮像倍率のおおまかな設定（粗調整動作）は完了していることが想定される。そのため、その後に行われる倍率の調整動作は微調整動作であると考えられる。従って、撮影倍率の変倍率は変更される。
【００８０】
また、図１０に加速度−速度−距離に変換したときの波形例の一例を示す。図１０は、モーションセンサからのモーション情報（ここでは、加速度）を単位時間当たりで積分をしていったときに算出することができる速度及び距離を表した一例の図である。図１０からわかるように、ここでは、第１の動き情報（光軸正方向への大きな動き）、第２の動き情報（光軸負方向への小さな動き）及び第３の動き情報（光軸正方向への小さな動き）を取得している。第１の動き情報、第２の動き情報及び第３の動き情報は時系列的に取得されるものであり、撮像装置が静止したことを持って動きが終了したとみなすものとする。ただし、各動き情報を切り分ける手法は静止の検出に限定されるものではない。
【００８１】
各動き情報により表される動きが、粗調整動作であるか微調整動作であるかの判断は加速度、速度、距離のいずれを用いてもよい。加速度を用いるのであれば、ａ１、ａ２、ａ３の比較が行われる。同様に速度であればｖ１、ｖ２、ｖ３の比較となる。距離については移動量の比較が考えられるため、Ｌ１、Ｌ１−Ｌ３、Ｌ２−Ｌ３の比較等が行われる。
【００８２】
図１０の例では、第１の動きに対して、第２の動きは小さいため、第１の動きは粗調整動作であり、第２の動きは微調整動作であると判定される。よって第３の動き情報に対する撮像倍率の変倍率を低くする。また、第２の動き（微調整動作）に比べて第３の動きは小さいため、第３の動きも微調整動作であると判定される。そのため、図示されていないが第４の動き情報に対する撮像倍率の変倍率はさらに低くなることが考えられる。
【００８３】
また、図１１に動き情報のパターンの組み合わせ及びその時の倍率制御例の一例を示す。粗調整動作、微調整動作＿前、微調整動作＿後、上下左右＿大、上下左右＿小については、図５〜図９で上述したとおりである。また、シャッタが半押しされた場合には、構図や倍率の調整はほぼ完了していると考えられるため、ズームが停止される。また、シャッタが全押しされた場合（撮影が行われた場合）には、ズームの停止に加えて、画像の取得が行われる。そして、ズーム変倍率はズーム停止前の値が保持される。これは、撮影は何枚も連続して行われることが想定されるためである。つまり、１枚撮影した後には、同じ条件の下で再度撮影される可能性があるため、撮影開始時の条件を保持しておくことが望ましいと考えられる。
【００８４】
また、図１２に動き情報のパターンによる撮影倍率の変更の一例を示す。ここでは第１の動きが粗調整動作であり、第２の動きが微調整動作、第３の動きが粗調整動作、第４の動きが微調整動作、第５の動きが微調整動作、第６の動きが粗調整動作である場合の変倍率の変化例を示している。第１の動き及び第２の動きの間は倍率の変倍率は所与の値（初期値、通常の倍率変倍率）をとっている。そして、第２の動きが微調整動作であると判定されたため、第３の動きに対する倍率の変倍率は下げられる。その後、第３の動きが粗調と判定されたため、第４の動きに対する倍率は所与の値に戻される。第４の動きが微調整動作であると判定され、再度倍率の変倍率は下げられ、第５の動きも微調整動作であると判定され、倍率の変倍率はさらに下げられる。そして、第６の動きが粗調整動作であると判定され、倍率の変倍率は所与の値に戻ることになる。以上のように、２つの動き情報の比較に基づいて、次に動き情報に対する撮像倍率の変倍率を決定するという処理を時系列的に行っていく。
【００８５】
次に、撮像装置の動き検出部にモーションセンサを用いたときの全体処理フローについて図１３を用いて説明する。まず、撮像装置のＭｅｎｕ操作によってＳＺモードでズームを行うことを撮影者が選択する。次に、Ｓ１０２で、初期化設定を行う。初期化設定として、第１の動き情報フラグ及び第２の動き情報フラグをＯＦＦにし、動き情報カウンタの値を"０"に設定する。また、初期の撮影倍率変倍率を設定する。
【００８６】
Ｓ１０３で、被写体撮像部で被写体画像を取得する。そして、Ｓ１０４で、モーションセンサからモーション情報を取得する（詳細は、図１５を参照）。Ｓ１０５で、Ｓ１０４で取得したモーション情報から動き情報を算出する（詳細は、図１６を参照）。
【００８７】
Ｓ１０６で、撮影者によって撮像装置が動かされたか否かを光軸方向の動き情報から判断する。この際の判断はＡｚ≠０を満たすか否かにより行われる。
【００８８】
Ｓ１０６において、判定がＹｅｓ（撮像装置を動かされた）の場合、Ｓ１０７へ移行する。また、判定がＮｏ（撮像装置を動かしていない）の場合、Ｓ１２６へ移行する。まず、Ｓ１２６へ移行した場合について説明する。
【００８９】
Ｓ１２６へ移行したら、保持した動き情報から被写体画像の変倍率を決定してＳ１２７へ移行する。そして、Ｓ１２７で、Ｓ１２６で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ１２８でシャッタ釦が押されたか否かの判定を行い、押されなかった場合はＳ１０３に戻る。Ｓ１２８でシャッタ釦が押された場合には、Ｓ１２９で被写体の静止画像を表示して、Ｓ１３０で静止画像をメモリに保存する。そして、Ｓ１０２に戻る。
【００９０】
次に、Ｓ１０６において、判定がＹｅｓとなり、Ｓ１０７へ移行した場合について説明する。Ｓ１０７で、第１の動き情報フラグがＯＮになっているか否かを判断する。Ｙｅｓ（フラグＯＮ）の場合、Ｓ１０９へ移行し、Ｎｏ（フラグＯＦＦ）の場合、Ｓ１０８へ移行する。
【００９１】
Ｓ１０８で、動き情報を第１の動き情報として保持してＳ１１０へ移行し、Ｓ１１０で、第１の動き情報フラグをＯＮにしてＳ１１２へ移行する。そして、Ｓ１１２で、保持した第１の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ１１４へ移行する。
【００９２】
また、Ｓ１０９で、動き情報を第２の動き情報として保持してＳ１１１へ移行し、Ｓ１１１で、第２の動き情報フラグをＯＮにしてＳ１１３へ移行する。そして、Ｓ１１３で、保持した第２の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ１１４へ移行する。
【００９３】
Ｓ１１４からの処理を、図１４を用いて説明する。Ｓ１１４で、Ｓ１１２或いはＳ１１３で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ１１５で、撮影者によって動かされていた撮像装置が静止したか否かを判断し、Ｙｅｓ（静止した）の場合には、Ｓ１１６へ移行し、Ｎｏ（静止していない）の場合には、Ｓ１０３へ移行する。
【００９４】
Ｓ１１６で、動き情報カウンタに"１"を足し、Ｓ１１７で、シャッタ釦が押下されたか否かを判断する。Ｙｅｓ（押下された）の場合には、Ｓ１２９へ移行して変倍された被写体画像を取得（Ｓ１２９）、表示（Ｓ１２９）、保存（Ｓ１３０）してＳ１０２へ戻る。
【００９５】
Ｎｏ（押下されていない）の場合、Ｓ１１８へ移行する。Ｓ１１８で、第１の動き情報フラグと第２の動き情報フラグがともにＯＮになっているか否かを判断する。Ｙｅｓ（ともにＯＮ）の場合、Ｓ１１９へ移行し、Ｎｏ（片方のみＯＮ）の場合、Ｓ１０３へ移行する。
【００９６】
そして、Ｓ１１９で、第１の動き情報と第２の動き情報を比較して、Ｓ１２０で、Ｓ１１９の比較結果に応じて撮影倍率変倍率を決定してＳ１２１へ移行する。
【００９７】
Ｓ１２１で、動き情報カウンタの値が偶数か奇数かの判断を行い、偶数の場合、Ｓ１２２へ移行し、奇数の場合、Ｓ１２３へ移行する。Ｓ１２２では、第１の動き情報フラグをＯＦＦにしてＳ１０３へ移行する。また、Ｓ１２３では、第２の動き情報フラグをＯＦＦにしてＳ１０３へ移行する。
【００９８】
また、図１５にＳ１０４の詳細な処理フローを示す。この処理が開始されると、Ｓ２０１で３軸の加速度ＡＸ１、ＡＹ１、ＡＺ１及び３軸の角速度ＧＸ１、ＧＹ１、ＧＺ１を取得する。そして、Ｓ２０２で撮像装置の姿勢補正を行う。これにより、例えば、重力加速度の影響等を補正することが可能になる。
【００９９】
また、図１６にＳ１０５の詳細な処理フローを示す。この処理が開始されると、Ｓ４０３で姿勢補正後の加速度ＡＺ１を算出、保持する。そして、Ｓ４０４でＡＺを積分することで速度Ｖ１を算出、保持する。さらに、Ｓ４０５でＶ１を積分することで距離Ｌ１を算出、保持する。これにより、動き情報として加速度、角速度に加えて、速度、距離を取得することができる。ここではＳ４０６で、撮影倍率α１を距離Ｌ１に応じて決定するものとしているが、他の動き情報を用いてもよいことは言うまでもない。
【０１００】
また、図１７にＳ１１９の詳細な処理フローを示す。この処理が開始されると、Ｓ５０１で第１の動き情報を読み出し、Ｓ５０２で第２の動き情報を読み出す。そして、Ｓ５０３で第１の動き情報と第２の動き情報の比較が行われる。
【０１０１】
第１の動き情報が第２の動き情報に比べて大きい場合には、Ｓ５０４で、第１の動き情報が粗調整動作であり、第２の動き情報が微調整動作であると判定される。あるいは、第１の動き情報が微調整動作であり、第２の動き情報も微調整動作であると判定される。この場合には、Ｓ５０６で撮影倍率の変倍率が変更される。
【０１０２】
また、第１の動き情報が第２の動き情報に比べて大きくない場合には、Ｓ５０５で、第１の動き情報が粗調整動作であり、第２の動き情報も粗調整動作であると判定される。あるいは、第１の動き情報が微調整動作であり、第２の動き情報は粗調整動作であると判定される。この場合には、Ｓ５０６で撮影倍率の変倍率は所定の値（通常値）に設定される。
【０１０３】
以上の本実施形態では、図３に示したように、撮像装置は被写体を撮像して被写体画像を取得する被写体撮像部１０と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部における撮像倍率の制御処理を行う撮影倍率制御部４８とを含む。そして、動き情報取得部４９は、撮像装置の第１の動き情報と、第２の動き情報を取得する。動き情報比較部４７は、取得した第１の動き情報と第２の動き情報の比較処理を行う。撮影倍率制御部４８は、動き情報の比較処理の結果に基づいて撮像倍率の制御処理を行う。
【０１０４】
ここで、撮像倍率の制御処理とは、撮像倍率の決定処理と、撮像倍率の変倍率の設定処理との両方を含む。撮像倍率の変倍率は後述するように、動き情報に対する倍率の変化率である。撮像倍率の決定処理とは、そのときの変倍率に基づいて、動き情報に対応するだけ撮像倍率を変化させる処理のことである。例えば、現在の倍率が１倍であり、変倍率が１００ｍｍの移動あたり倍率を１だけ増加させる設定になっている場合に、３００ｍｍ撮像装置が移動したとする。この場合には、撮像倍率の決定処理とは、１＋３００／１００＝４倍に撮像倍率を決定する処理になる。
【０１０５】
これにより、２つの動き情報を取得した上で、取得した動き情報を比較し、比較処理の結果に基づいて撮像倍率を制御することが可能になる。よって、単純に１つの動き情報だけを用いて撮像倍率を制御する場合に比べて、絶対的な動き情報の大きさに加えて相対的な動き情報の大きさを用いて処理を行うことができるため、より細かい処理ができる。具体的には、ある大きさの動き情報を取得した場合にも、大きい値から小さくなった結果その値になったのか、小さい値から大きくなった結果その値になったのか、或いはずっと同じ値をとっているのか、といった状況に応じて処理を変えることが可能になる。
【０１０６】
また、撮影倍率制御部４８は、動き情報比較部４７における比較処理の結果に基づいて、動き情報に対する撮像倍率の変倍率の設定を行う。
【０１０７】
ここで、撮像倍率の変倍率とは、上述したように動き情報に対する撮像倍率の変化率のことであり、例えば、倍率の増加量／移動距離等で表すことができる。例えば、１００ｍｍの移動に対して倍率が１増える（１倍から２倍に変化する等）とすれば、変倍率は１０ｍｍあたり１／１０となる。よって、変倍率を下げる処理とは、上述の例に対して、１００ｍｍの移動でも倍率が０．５しか増えないようにする処理等になる。
【０１０８】
これにより、撮像倍率の変倍率を変更することが可能になる。本装置においては、撮像倍率を変化させる（ズーム操作を行う）際に、撮像装置を光軸方向へ移動させる。この移動に対応する動き情報を時系列的に取得し、取得した複数の（ここでは２つだが、３つ以上であってもよい）動き情報を比較することで、撮像倍率の変倍率を変更することができる。つまり、撮影者は動き（移動量等）を大きくしたり、小さくしたりするだけで、自動的に変倍率を変更することができる。本装置の特性上、大きく動かしているときは粗い調整であり、小さく動かしているときは細かい調整を行いたいと考えるのが通常である。よって例えば大きな動きの時は変倍率を上げ、小さい動きの時は変倍率を下げるような設定を行えば、撮影者にとって自然な動きで、かつ、使いやすいズーム機能を実現することが可能になる。さらに上述したように、大小の判断を絶対値で行うのではなく、相対値で行うことになるため、撮影者の違いによる動き量の傾向の違いを吸収すること等ができる。
【０１０９】
また、動き情報取得部４９は、撮像装置が移動開始後、静止するまでの動きの情報を第１の動き情報として取得する。また、第１の動き情報を取得した後における、撮像装置が移動を開始後、静止するまでの動きを第２の動き情報として取得する。
【０１１０】
これにより、時系列的に取得される動き情報を、撮像装置が静止したか否かを基準として、各動き情報に分割することが可能になる。図１０の例でいえば、速度が０になる点を検出してもよいし、距離の値が所定の時間変化しないことを検出してもよい。
【０１１１】
また、動き情報比較部４７は、第１の動き情報と第２の動き情報の比較処理により、第２の動き情報により表される第２の動きが、粗調整動作であるか微調整動作であるかの判定を行う。そして、撮影倍率制御部４８は、第２の動きが粗調整動作であるか微調整動作であるかの判定結果に基づいて、動き情報に対する撮像倍率の変倍率の設定を行う。
【０１１２】
ここで、粗調整動作、微調整動作とは、光軸方向に沿った方向で行われる、撮像倍率の調整のための動作であってもよいし、光軸方向と交差する平面で行われる、構図の調整のための動作であってもよい。
【０１１３】
これにより、動き情報の比較処理として、第２の動き情報が粗調整動作であるか微調整動作であるかの判定処理を行うことが可能になる。よって、動きが大きいか、小さいかに基づいた処理が可能になるため、動きが大きいときに変倍率を上げ、動きが小さいときに変倍率を下げるといった処理ができる。よって、撮影者にとって直感的な動作を行うだけで、使いやすい変倍率が設定することが可能になる。
【０１１４】
また、動き情報比較部４７において、第２の動きが微調整動作であると判定された場合には、撮影倍率制御部４８は、動き情報に対する撮像倍率の変倍率を下げる。また、第２の動きが粗調整動作であると判定された場合には、撮影倍率制御部４８は、動き情報に対する撮像倍率の変倍率を所与の設定値に設定する。
【０１１５】
これにより、微調整動作の時は変倍率を下げて、より細かな倍率調整を可能にするとともに、粗調整動作の時は変倍率を所与の設定値（通常値）にして、大きな倍率変化を可能にすることができる。そのため、撮影者にとって直感的な操作が可能になる。
【０１１６】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向における微調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を下げる。
【０１１７】
これにより、図６のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが小さい場合であり、撮影者は微調整を行おうとしていることが想定される。そのため、変倍率は下げることになる。
【０１１８】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向における粗調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を所与の設定値に設定する。
【０１１９】
これにより、図５のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが同程度（或いは大きい）場合であり、撮影者は粗調整（ズーム倍率を大きく変化させる処理）を行おうとしていることが想定される。そのため、変倍率は所与の設定値に設定される。
【０１２０】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向に交差する平面における微調整動作である場合には、撮影倍率制御部４８は、撮像倍率の変倍率を下げる。
【０１２１】
これにより、図９のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが小さい場合であり、撮影者は構図の微調整を行っている。そのため、この次の動きが光軸方向であった場合には、倍率の微調整を行おうとしていることが想定される。そのため、変倍率は下げることになる。
【０１２２】
また、第１の動きが被写体撮像部の光軸方向における動きであり、かつ、第２の動きが光軸方向に交差する平面における粗調整動作である場合には、撮影倍率制御部４８は、撮像倍率を所与の設定値に設定する。
【０１２３】
これにより、図８のようなケースに対応することが可能になる。第１の動きに比べて第２の動きが同程度（或いは大きい）場合であり、撮影者は構図の粗調整を行っている（例えば大きく動く被写体を追いかけている等）。そのため、この次の動きが光軸方向であった場合には、倍率の粗調整を行おうとしていることが想定される。よって、変倍率は所与の設定値に設定される。
【０１２４】
また、第１の動きが被写体撮像部１０の光軸方向と交差する平面における動きであり、かつ、第２の動きが光軸方向と交差する平面における微調整動作である場合には、撮影倍率制御部４８は、一旦撮像倍率の変化を停止する制御を行い、その後、撮像倍率の変倍率を停止前の変倍率よりも下げてもよい。
【０１２５】
また、第１の動きが被写体撮像部１０の光軸方向と交差する平面における動きであり、かつ、第２の動きが光軸方向と交差する平面における粗調整動作である場合には、撮影倍率制御部４８は、一旦撮像倍率の変化を停止する制御を行い、その後、撮像倍率の変倍率を所与の設定値に設定する。
【０１２６】
これにより、被写体撮像部の光軸方向と交差する平面における動作が続いた場合には、ズーム動作を一旦停止してから、変倍率を設定する処理が可能になる。光軸方向と交差する平面における動作とは、倍率調整ではなく、構図の変更を意図していると考えられる。構図の変更動作が続いた場合には、次の動作においても構図変更を行う可能性が高く、よって、倍率変更をする可能性は比較的低いと考えられるため、不必要に撮影倍率が変動しないように倍率制御を停止する。
【０１２７】
また、撮影倍率制御部４８は、第２の動きが粗調整動作であるか微調整動作であるかの判定結果に基づいて、第２の動きの後の動きである第３の動きに対する、撮像倍率の変倍率の設定を行ってもよい。
【０１２８】
これにより、図１２に示したように、対象となる動きより前である２つの動きの情報に基づいて、対象となる動きに対する倍率の変倍率を設定することが可能になる。第２の動きが粗調整動作か微調整動作かの判断は、第２の動きの途中で判定することは難しい。よって、第２の動きの情報に基づいて、第２の動きより後である第３の動きに対して倍率の変倍率制御を行うことが自然であり、処理も容易である。
【０１２９】
また、動き情報取得部４９は、動き情報（例えば第１の動き情報と第２の動き情報）として、撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得してもよい。
【０１３０】
これにより、図１０に示したように、動き情報として加速度、速度、距離、角度（例えば角速度情報等）の情報を取得することができる。
【０１３１】
また、動き情報取得部は、モーションセンサからのセンサ情報を取得するセンサ情報取得部を含む。そして、センサ情報取得部は、モーションセンサからのセンサ情報に基づいて、動き情報である加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得する。
【０１３２】
これにより、モーションセンサ等のセンサを使って動き情報を取得することができる。よって、センサからのセンサ情報により直接的、かつ、容易に動き情報を取得することができる。
【０１３３】
また、本実施形態は、被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、撮像装置の動き情報を取得する動き情報取得部４９と、動き情報比較部４７と、動き情報に基づいて、被写体撮像部における撮像倍率の制御処理を行う撮影倍率制御部４８としてコンピュータを機能させるプログラムに関係する。そして、動き情報取得部４９は、撮像装置の第１の動き情報と、第２の動き情報を取得する。動き情報比較部４７は、取得した第１の動き情報と第２の動き情報の比較処理を行う。撮影倍率制御部４８は、動き情報の比較処理の結果に基づいて撮像倍率の制御処理を行う。
【０１３４】
これにより、本実施形態は、撮像装置のように、画像を取得し、システム内で画像処理を行うものに限定されず、例えば、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うものにも適用することが可能になる。
【０１３５】
４．第２の実施形態
【０１３６】
第２の実施形態について図１８〜図２１を用いて説明する。図１８の例では、撮像装置１００は、撮影者撮像部５１を含む。撮影者と撮像装置１００との間の距離を検出するために、撮影者撮像部５１は、撮影者（例えば顔）を表す画像情報（撮影者画像情報）を取得する。処理部４３は、撮影者の特徴点を用いて動き情報を検出することが出来る。検出する動き情報は、例えば顔検出を行い、顔の大きさの変化から、撮影者と撮像装置１００との間の距離を検出（算出）する。そして、検出した動き情報から撮影倍率を制御することができる。
【０１３７】
なお、撮影者の特徴点の検出において、特徴点が外乱光や人の体の揺れにより影響を受けることが考えられる。これに対しては、例えば、外乱光ではＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）のシャッタ値、絞り値、ゲインなどの変化から影響を検出して、影響を抑止する処理を行ってもよい。また、人の体の揺れの影響を、例えば、周期的な特徴点の微小な変化をｐｉｘｅｌ単位での閾値などを設けることによって検出して、影響を抑止してもよい。
【０１３８】
図１９で、撮影者が撮像装置を前方へ動かしたときの動きとそのときに撮影者撮像部５１から得た撮影者画像情報の例を示す。ここでの撮影者画像情報は、撮影者の顔の大きさとしている。撮影者が撮像装置を前方へ動かした時の撮影者画像情報を毎フレーム取得すると（１）⇒（２）⇒（３）の順で撮影者の顔の大きさの変化が得られる（第１の動き情報）。（１）⇒（２）⇒（３）の順で動かされたことによって撮影者の顔の大きさは徐々に小さくなっていく。これによって撮像装置が前方へ動かされているということが分かる。撮影者が撮像装置を動かしたもしくは止めたか否かの判断は、数フレームの撮影者の顔の大きさの変化があるかないかで判断できる。なお、撮像装置の静止の判断手法はこれに限定されるものではない。また、顔の大きさの変化の閾値を設けておいて過剰に顔の大きさの変化を検出しないようにしてもよい。次に、前方へ動かした撮像装置を再度撮影者の方へ戻した時の撮影者画像情報を毎フレーム取得すると（４）⇒（５）⇒（６）の順で撮影者の顔の大きさの変化が得られる（第２の動き情報）。この例の場合、第１の動き情報で求められた顔の変化から求まった距離と第２の動き情報で求められた顔の変化から求まった距離を比較する。この場合、第１の動き情報を「粗調」、第２の動き情報を「粗調」と判断したとすると、次の軌跡を検出するときの撮像倍率は通常のままとする。
【０１３９】
次に、撮像装置の動き検出部に撮影者撮像部を用いたときの全体処理フローについて図２０、図２１を用いて説明する。まず、撮像装置のＭｅｎｕ操作によってＳＺモードでズームを行うことを撮影者が選択する。
【０１４０】
Ｓ６０１で、初期化設定を行う。初期化設定として、第１の動き情報フラグ及び第２の動き情報フラグをＯＦＦにし、動き情報カウンタの値を"０"に設定する。また、初期の撮影倍率変倍率を設定する。
【０１４１】
Ｓ６０２で、被写体撮像部で被写体画像を取得するとともに、Ｓ６０３で、撮影者撮像部で撮影者画像を取得する。そして、Ｓ６０４で、撮影者画像から撮影者の特徴点を検出し、Ｓ６０５で、撮影者の特徴点を検出できたか否かを判断する。Ｙｅｓ（検出できた）の場合、Ｓ６０６へ移行し、Ｎｏ（検出できない）の場合、Ｓ６０２へ移行する。
【０１４２】
Ｓ６０６で、撮影者の特徴点の変化から動き情報を算出し、Ｓ６０７で、撮影者によって撮像装置が動かされたか否かを光軸方向の動き情報から判断する。Ｙｅｓ（撮像装置を動かされた）の場合、Ｓ６０８へ移行し、Ｎｏ（撮像装置を動かしていない）の場合、Ｓ６２５へ移行する。
【０１４３】
Ｓ６２５へ移行したら、保持した動き情報から被写体画像の変倍率を決定してＳ６２６へ移行する。Ｓ６２６で、Ｓ６２５で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ６１８でシャッタ釦が押されたか否かの判定を行い、押されなかった場合はＳ６０２に戻る。Ｓ６１８でシャッタ釦が押された場合には、Ｓ６２８で被写体の静止画像を表示して、Ｓ６２９で静止画像をメモリに保存する。そして、Ｓ６０１に戻る。
【０１４４】
また、Ｓ６０７でＹｅｓと判定された場合には、Ｓ６０８で、第１の動き情報フラグがＯＮになっているか否かを判断する。Ｙｅｓ（フラグＯＮ）の場合、Ｓ６１０へ移行し、Ｎｏ（フラグＯＦＦ）の場合、Ｓ６０９へ移行する。
【０１４５】
Ｓ６０９では、動き情報を第１の動き情報として保持し、Ｓ６１１で、第１の動き情報フラグをＯＮにしてＳ６１３へ移行する。Ｓ６１３で、保持した第１の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ６１５へ移行する。
【０１４６】
また、Ｓ６１０では、動き情報を第２の動き情報として保持し、Ｓ６１２で、第２の動き情報フラグをＯＮにしてＳ６１４へ移行する。Ｓ６１４で、保持した第２の動き情報と現在の撮影倍率変倍率から被写体画像の変倍率を決定してＳ６１５へ移行する。
【０１４７】
そして、Ｓ６１５で、Ｓ６１３或いはＳ６１４で決定した変倍率で被写体画像を変倍して表示部へ表示する。Ｓ６１６では、撮影者によって動かされていた撮像装置が静止したか否かを判断する。Ｙｅｓ（静止した）の場合、Ｓ６１７へ移行し、Ｎｏ（静止していない）の場合、Ｓ６０２へ移行する。
【０１４８】
Ｓ６１７で、動き情報カウンタに"１"を足して、Ｓ６１８で、シャッタ釦が押下されたか否かを判断する。Ｙｅｓ（押下された）の場合、変倍された被写体画像を取得、表示（Ｓ６２８）、保存（Ｓ６２９）してＳ６０１へ戻る。Ｎｏ（押下されていない）の場合、Ｓ６１９へ移行する。
【０１４９】
Ｓ６１９で、第１の動き情報フラグと第２の動き情報フラグがともにＯＮになっているか否かを判断する。Ｙｅｓ（ともにＯＮ）の場合、Ｓ６２０へ移行し、Ｎｏ（片方のみＯＮ）の場合、Ｓ６０２へ移行する。
【０１５０】
Ｓ６２０では、第１の動き情報と第２の動き情報を比較して、Ｓ６２１で、Ｓ６２０の比較結果に応じて撮影倍率変倍率を決定する。Ｓ６２２では、動き情報カウンタの値が偶数か奇数かの判断をする。偶数の場合、Ｓ６２３へ移行し、奇数の場合、Ｓ６２４へ移行する。
【０１５１】
Ｓ６２３では、第１の動き情報フラグをＯＦＦにしてＳ６０２へ移行する。また、Ｓ６２４で、第２の動き情報フラグをＯＦＦにしてＳ６０２へ移行する。
【０１５２】
以上から、手振れ、人間の体の揺れ、外乱光などの影響によらず撮影者の直感的でかつ意図を汲み取った操作（「粗調」、「微調」、「構図合わせ（上下、左右方向の動き）」）で撮影倍率の制御を行うことができる。
【０１５３】
以上の本実施形態では、撮像装置１００は、撮影者を撮像する撮影者撮像部５１を含む。撮影者撮像部は、撮影者画像から撮影者の特徴点を検出し、検出した特徴点に基づいて、動き情報である加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得する。また、特徴点の検出は、撮影者画像における撮影者の顔の位置から検出されてもよい。
【０１５４】
これにより、撮影者画像から動き情報を取得することが可能になる。撮影者画像（例えば撮影者の顔領域の大きさ）と動き情報（例えば撮影者から撮像装置までの距離情報）との対応付け行うテーブルデータ等を保持しておけば、撮影者画像から容易に動き情報を求めることが可能になる。また、撮影者撮像部５１も撮像装置１００に設けられることを鑑みれば、撮影者画像においては、顔領域が大きな割合を占める可能性が高く、顔の位置から特徴点を求めることで、動き情報検出の精度向上等をはかることができる。
【０１５５】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５６】
１０ 被写体撮像部、１１ 光学素子、１２ 撮像素子、３０ 操作部、
３０ａ 電源釦、３０ｂ ズーム釦、３０ｃ シャッタ釦、
３０ｄ モード選択部、３２ 表示部、４１ バッファメモリ、４２ 表示演算部、
４３ 処理部、４４ メモリ、４５ 第１の動き情報取得部、
４６ 第２の動き情報取得部、４７ 動き情報比較部、４８ 撮影倍率制御部、
４９ 動き情報取得部、５１ 動き検出部（モーションセンサ、撮影者撮像部）
【特許請求の範囲】
【請求項１】
被写体を撮像して被写体画像を取得する被写体撮像部と、
撮像装置の動き情報を取得する動き情報取得部と、
動き情報比較部と、
前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部と、
を含み、
前記動き情報取得部は、
前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、
前記動き情報比較部は、
取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記動き情報によって表される動きに応じた前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記動き情報取得部は、
前記撮像装置が移動開始後、静止するまでの動きの情報を、前記第１の動き情報として取得し、
前記第１の動き情報を取得した後における、前記撮像装置が静止状態から移動を開始し、その後静止するまでの動きの情報を、前記第２の動き情報として取得することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記動き情報比較部は、
前記第１の動き情報と前記第２の動き情報の比較処理により、前記第２の動き情報により表される前記第２の動きが、前記撮像倍率又は撮像画像の構図についての粗調整動作であるか、微調整動作であるかの判定を行い、
前記撮像倍率制御部は、
前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記動き情報に対する前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記微調整動作であると判定された場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項６】
請求項４において、
前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記粗調整動作であると判定された場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項７】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項８】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項９】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項１０】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項１１】
請求項４乃至６のいずれかにおいて、
前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を停止前の変倍率よりも下げることを特徴とする撮像装置。
【請求項１２】
請求項４乃至６のいずれかにおいて、
前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記撮像倍率制御部は、
前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記第２の動きの後の動きである第３の動きに対する前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記動き情報取得部は、
前記第１の動き情報及び前記第２の動き情報として、前記撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１５】
請求項１乃至１４において、
前記動き情報取得部は、
モーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記センサ情報取得部は、
前記モーションセンサからのセンサ情報に基づいて、前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１６】
請求項１乃至１５において、
撮影者を撮像し、撮影者画像を取得する撮影者撮像部を含み、
前記動き情報取得部は、
前記撮影者画像から、前記撮影者の特徴点を検出し、検出した特徴点に基づいて前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１７】
請求項１６において、
前記動き情報取得部は、
前記撮影者画像における前記撮影者の顔の位置から、前記特徴点を検出することを特徴とする撮像装置。
【請求項１８】
被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、
撮像装置の動き情報を取得する動き情報取得部と、
動き情報比較部と、
前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部として、
コンピュータを機能させ、
前記動き情報取得部は、
前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、
前記動き情報比較部は、
取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うことを特徴とするプログラム。
【請求項１】
被写体を撮像して被写体画像を取得する被写体撮像部と、
撮像装置の動き情報を取得する動き情報取得部と、
動き情報比較部と、
前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部と、
を含み、
前記動き情報取得部は、
前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、
前記動き情報比較部は、
取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記動き情報によって表される動きに応じた前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記動き情報取得部は、
前記撮像装置が移動開始後、静止するまでの動きの情報を、前記第１の動き情報として取得し、
前記第１の動き情報を取得した後における、前記撮像装置が静止状態から移動を開始し、その後静止するまでの動きの情報を、前記第２の動き情報として取得することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記動き情報比較部は、
前記第１の動き情報と前記第２の動き情報の比較処理により、前記第２の動き情報により表される前記第２の動きが、前記撮像倍率又は撮像画像の構図についての粗調整動作であるか、微調整動作であるかの判定を行い、
前記撮像倍率制御部は、
前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記動き情報に対する前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記微調整動作であると判定された場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項６】
請求項４において、
前記動き情報比較部において、前記第２の動きが、前記撮像倍率又は前記撮像画像の構図についての前記粗調整動作であると判定された場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項７】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項８】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項９】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を下げることを特徴とする撮像装置。
【請求項１０】
請求項４乃至６のいずれかにおいて、
前記第１の動きが、前記被写体撮像部の光軸方向における動きであり、かつ、前記第２の動きが、前記被写体撮像部の光軸方向と交差する平面内における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項１１】
請求項４乃至６のいずれかにおいて、
前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における前記微調整動作である場合には、
前記撮像倍率制御部は、
前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を停止前の変倍率よりも下げることを特徴とする撮像装置。
【請求項１２】
請求項４乃至６のいずれかにおいて、
前記第１の動きが前記被写体撮像部の光軸方向と交差する平面内における動きであり、かつ、前記第２の動きが前記被写体撮像部の光軸方向と交差する平面内における前記粗調整動作である場合には、
前記撮像倍率制御部は、
前記被写体撮像部における前記撮像倍率の変化を停止する制御を行い、その後、前記動き情報に対する前記撮像倍率の変倍率を所与の設定値に設定することを特徴とする撮像装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記撮像倍率制御部は、
前記第２の動きが前記粗調整動作であるか前記微調整動作であるかの判定結果に基づいて、前記第２の動きの後の動きである第３の動きに対する前記撮像倍率の変倍率の設定を行うことを特徴とする撮像装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記動き情報取得部は、
前記第１の動き情報及び前記第２の動き情報として、前記撮像装置の加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１５】
請求項１乃至１４において、
前記動き情報取得部は、
モーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記センサ情報取得部は、
前記モーションセンサからのセンサ情報に基づいて、前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１６】
請求項１乃至１５において、
撮影者を撮像し、撮影者画像を取得する撮影者撮像部を含み、
前記動き情報取得部は、
前記撮影者画像から、前記撮影者の特徴点を検出し、検出した特徴点に基づいて前記第１の動き情報及び前記第２の動き情報である、加速度情報、速度情報、距離情報及び角度情報の少なくとも１つを取得することを特徴とする撮像装置。
【請求項１７】
請求項１６において、
前記動き情報取得部は、
前記撮影者画像における前記撮影者の顔の位置から、前記特徴点を検出することを特徴とする撮像装置。
【請求項１８】
被写体を撮像する被写体撮像部から被写体画像を取得する被写体画像取得部と、
撮像装置の動き情報を取得する動き情報取得部と、
動き情報比較部と、
前記動き情報に基づいて、前記被写体撮像部における撮像倍率の制御処理を行う撮像倍率制御部として、
コンピュータを機能させ、
前記動き情報取得部は、
前記撮像装置の第１の動きを表す情報である第１の動き情報と、第２の動きを表す情報である第２の動き情報とを取得し、
前記動き情報比較部は、
取得した前記第１の動き情報と前記第２の動き情報の比較処理を行い、
前記撮像倍率制御部は、
前記動き情報比較部における比較処理の結果に基づいて、前記撮像倍率の制御処理を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１４５６１６（Ｐ２０１２−１４５６１６Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−１６８５（Ｐ２０１１−１６８５）
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]