撮像装置および撮像方法、並びにプログラム
【課題】撮像した画像の天地方向を正確に検出して記録する。
【解決手段】顔検出情報には、画像上における顔の位置、顔のサイズ、検出結果が顔であることの確かさを示す信頼度、および、顔が検出されたときの画像の回転角が含まれる。この顔検出情報はメタ情報に含められ、静止画像ファイルまたは動画像ファイルに対応付けて記録メディアの管理情報記録領域に記録される。そして、静止画像ファイルまたは動画像ファイルが再生されるとき、メタ情報から画像の回転角が取得され、この回転角に従って画像が回転されて表示される。本発明は、デジタルスチルカメラ、デジタルビデオカメラなどに適用できる。
【解決手段】顔検出情報には、画像上における顔の位置、顔のサイズ、検出結果が顔であることの確かさを示す信頼度、および、顔が検出されたときの画像の回転角が含まれる。この顔検出情報はメタ情報に含められ、静止画像ファイルまたは動画像ファイルに対応付けて記録メディアの管理情報記録領域に記録される。そして、静止画像ファイルまたは動画像ファイルが再生されるとき、メタ情報から画像の回転角が取得され、この回転角に従って画像が回転されて表示される。本発明は、デジタルスチルカメラ、デジタルビデオカメラなどに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法、並びにプログラムに関し、特に、撮像した画像の天地方向を画像信号に対応付けて記録するようにした撮像装置および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラで撮影した画像をディスプレイに表示する際、画像が横に９０°傾いて表示されたり、上下逆さまに表示されたりしないように、撮像時に画像の天地方向を示す情報を取得することが望ましい。
【０００３】
従来、撮像時に画像天地方向を取得する方法として、重力方向を検出する重力センサをカメラに設け、検知した重力方向を画像天地方向とする方法がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平１０−１７３９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、重力方向を画像の天地方向とする方法は、重力センサを設けることによりコスト高となってしまう。また例えば加速中の乗り物内で撮影した場合、重力方向と画像の天地方向とが一致しなかったりすることがあった。また例えば、高所から下方を見下ろして被写体を撮像するような場合、重力方向がカメラの光軸と一致し、画像の天地方向が判断できないことがあった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、重力センサなどを新たに設けることなく、画像の天地方向を正確に検出し、記録できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面である撮像装置は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置において、被写体を撮影して前記被写体に対応する画像信号を生成する生成手段と、生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段と、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段と、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段とを含む。
【０００８】
前記検出手段は、生成された前記画像信号の画像に回転角を設定し、回転した状態の前記画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報としての前記回転角を含む顔検出情報を生成するようにすることができる。
【０００９】
本発明の一側面である撮像装置は、撮像時の手ブレを検知する検知手段をさらに含むことができ、前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、検知された前記手ブレに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成するようにすることができる。
【００１０】
本発明の一側面である撮像装置は、生成された前記画像信号を符号化する符号化手段をさらに含むことができ、前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、前記符号化の過程で算出される前記画像信号の画像上の動きベクトルと、検知された前記手ブレとに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成するようにすることができる。
【００１１】
前記記録手段は、前記記録媒体の異なる記録領域に前記画像信号と前記メタ情報とを対応付けて記録するようにすることができる。
【００１２】
本発明の一側面である撮像装置は、前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段をさらに含むことができる。
【００１３】
本発明の一側面である撮像方法は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の撮像方法において、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録するステップを含む。
【００１４】
本発明の一側面であるプログラムは、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の制御用のプログラムであって、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録させるステップを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面においては、被写体に対応する画像信号の画像上から人の顔が検出され、検出された顔の上下方向の画像における相対的な方向を示す第１の方向情報を含む顔検出情報が生成され、この顔検出情報を含めて画像信号に対応するメタ情報が生成され、画像信号とメタ情報とが対応付けて記録媒体に記録される。
【発明の効果】
【００１６】
本発明の一側面によれば、画像の天地方向を正確に検出し、記録することができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１８】
請求項１に記載の撮像装置は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置（例えば、図１の撮像装置１０）において、被写体を撮影して前記被写体に対応する画像信号を生成する生成手段（例えば、図１の撮像部１１）と、生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段（例えば、図３の顔検出部５２）と、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段（例えば、図１の制御部２１）と、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段（例えば、図１のメディアドライブ１６）とを含む。
【００１９】
請求項３に記載の撮像装置は、撮像時の手ブレを検知する検知手段（例えば、図１の手ブレ検知部１２）をさらに含む。
【００２０】
請求項４に記載の撮像装置は、生成された前記画像信号を符号化する符号化手段（例えば、図１の符号化復号部１５）をさらに含む。
【００２１】
請求項６に記載の撮像装置は、前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段（例えば、図２の画像信号回転部３９）をさらに含む。
【００２２】
請求項７に記載の撮像方法および請求項８に記載のプログラムは、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し（例えば、図７のステップＳ１）、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し（例えば、図７のステップＳ３）、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する（例えば、図７のステップＳ４）ステップを含む。
【００２３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２４】
図１は、本発明の一実施の形態である撮像装置の構成例を示している。この撮像装置１０は、動画像や静止画像を撮像して記録メディアに記録し、また記録メディアから再生した動画像や静止画像を表示するものである。
【００２５】
この撮像装置１０は、被写体の光学像に対応する画像信号を生成する撮像部１１、画像信号に所定の画像処理を行う画像信号処理部１４、画像信号を符号化した、また復号する符号化復号部１５、記録メディア１７に対して画像信号などを記録し、また読み出すメディアドライブ１６、撮像された画像や各種の設定画面などを表示する表示部１８、ユーザの操作を受け付ける操作部１９、およびメモリ２０に記録されている制御用プログラムを実行することによって撮像装置１０の全体を制御する制御部２１から構成される。
【００２６】
撮像部１１は、レンズ群、絞り、およびCCD(Charge Coupled Device)などの撮像素子を含み、レンズ群によって集束された被写体の光学像を撮像素子によって画像信号に変換して画像信号処理部１４に出力する。また撮像部１１は、手ブレ検知部１２および手ブレ補正部１３をないぞうジャイロセンサなどから成り、ユーザの手ブレを検知する手ブレ検知部１２、手ブレに起因する画像信号の劣化を補正する手ブレ補正部１３を内蔵する。なお、検知された手ブレを示す情報は制御部２１にも通知され、画像の回転角の決定に利用される。
【００２７】
画像信号処理部１４は、撮像部１１から入力される画像信号や符号化復号部１５から入力される復号された画像信号に所定の画像処理を施して符号化復号部１５または表示部１８に出力する。また画像信号処理部１４は、撮像部１１から入力される画像信号の画像上から人の顔を検出し、検出結果として顔検出情報を制御部２１に通知する。通知された顔検出情報はメタ情報に含めて記録され、画像を再生して表示するとき、画像の回転角の決定に利用される。
【００２８】
図２は、画像信号処理部１４の構成例を示している。画像信号処理部１４は、画像信号のノイズ成分を除去するノイズ除去部３１、画像信号の画枠サイズを変更するサイズ変更部３３、画像信号に所定の画像処理を施す信号変換部３４、画像信号の画像上から人の顔を検出する画像情報検出部３５、画像信号の画像に他の画像を合成する画像合成部３６、画像信号の出力先を切り換えるセレクタ３８、および、表示されたとき見易くなるように画像回転角に基づいて画像を回転させる画像信号回転部３９から構成される。
【００２９】
ノイズ除去部３１は、撮像部１１から入力される画像信号とフレームメモリ３２に記録されている１フレーム前のノイズ除去済みの画像信号とを比較することにより、撮像部１１から入力される画像信号のノイズ成分を検出し、検出したノイズ成分を当該画像信号から除去する。ノイズ成分を除去した画像信号は、後段のサイズ変更部３３に供給されるとともに、フレームメモリ３２に上書き保存される。
【００３０】
サイズ変更部３３は、前段から入力される画像信号の画枠サイズを、適宜、拡大または縮小して信号変換部３４に出力する。信号変換部３４は、ユーザからの設定に基づき、前段から入力される画像信号にセピアカラー化処理、モザイク化処理、モノクロ化処理などを施して後段の画像情報検出部３５および画像合成部３６に出力する。
【００３１】
画像情報検出部３５は、図３に示すように、前段から入力される画像信号に基づいて静止画像を生成する静止画像生成部５１、静止画像上に存在する人の顔を検出する顔検出部５２、および、入力された静止画像のサムネイル画像を生成するサムネイル生成部５３から構成される。
【００３２】
静止画像生成部５１は、動画像撮像時にのみ静止画像を生成し、静止画像撮像時には前段からの静止画像の画像信号をそのまま後段に出力する。顔検出部５２は、静止画像を９０°単位で回転させ、回転した静止画像の輝度分布に基づいて画像上に存在する人の顔を検出し、検出できた場合だけ顔検出情報を生成して制御部１９に通知する。
【００３３】
なお、顔検出部５２は、静止画像を各回転角に回転させた状態において、直立している人の顔を検出することができる。例えば、図４Ａに示す静止画像の場合、回転角０°のときに人の顔が検出される。図４Ｂに示す静止画像の場合、回転角２７０°のときに人の顔が検出される。図４Ｃに示す静止画像の場合、回転角１８０°のときに人の顔が検出される。図４Ｄに示す静止画像の場合、回転角９０°のときに人の顔が検出される。
【００３４】
顔検出情報には、図５に示すように、画像上における顔の位置（座標）、顔のサイズ、検出結果が顔であることの確かさを示す信頼度、および、顔が検出されたときの画像の回転角が含まれる。
【００３５】
なお、例えば図４Ｄのように、１フレームの静止画像から複数の顔が検出された場合、検出された顔の数だけ顔検出情報が生成されて制御部１９に通知される。
【００３６】
サムネイル画像生成部５３は、生成したサムネイル画像を制御部１９に出力する。
【００３７】
図２に戻る。画像合成部３６は、ユーザからの設定に基づき、入力された画像信号に対してフェードイン処理、フェードアウト処理、あるいは予めメモリ３７に記録されている画像を合成するグラフィック合成処理を施してセレクタ３８に出力する。セレクタ３８は、画像合成部３６から入力される画像信号を、符号化復号部１５と表示部１８の両方または一方に出力する。
【００３８】
画像信号回転部３９は、符号化復号部１５から入力される復号された画像信号を、表示した時にユーザが見易くなるよう、対応するメタ情報に含まれる顔検出情報の画像回転角に基づいて回転し、後段のサイズ変更部１３に出力する。
【００３９】
なお、図２に示された画像信号処理部１４の構成例は、ハードウェアまたはソフトウェアのいずれによって実現してもよい。
【００４０】
図１に戻る。符号化復号部１５は、画像信号処理部１４から入力される画像信号を所定の符号化方式（例えば、動画像の場合にはMPEG(Moving Picture Experts Group)２方式、静止画像の場合にはJPEG(Joint Photographic Experts Group)方式など）に従って符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。また、符号化復号部１５は、符号化時に検出される画像の動きベクトルを制御部２１に通知する。通知された動きベクトルは、画像の回転角の決定に利用される。
【００４１】
さらに符号化復号部１５は、メディアドライブ１６によって記録メディア１７から読み出される符号化画像信号を復号し、その結果得られる画像信号を画像信号処理部１４に出力する。
【００４２】
メディアドライブ１６は、符号化復号部１５から入力される符号化画像信号を記録メディア１７に記録する。またメディアドライブ１６は、制御部２１から入力されるファイル管理情報を記録メディア１７に記録する。
【００４３】
図６は、記録メディア１７に設けられたファイル記録領域７１とファイル管理情報記録領域７２を示している。
【００４４】
ファイル記録領域７１には符号化画像信号が記録される。以下、静止画像に対応する符号化画像信号を静止画像ファイル、動画像に対応する符号化画像信号を動画像ファイルとも記述する。なお、ファイル記録領域７１には、動画像ファイルに対応する音声ファイルも記録される。
【００４５】
ファイル管理情報記録領域７２には、静止画像ファイル、動画像ファイル、音声画像ファイルなどの各コンテンツファイルが記録されている記録メディア１７上の位置を示す記録位置情報、各コンテンツファイルに基づいて生成されたサムネイル画像、および各コンテンツファイルのメタ情報（顔検出情報を含む）が各コンテンツファイルに対応付けて記録される。
【００４６】
図１に戻る。表示部１８は、LCD(Liquid Crystal Display)などから成り、画像信号処理部１４から入力される画像信号に基づき、撮像時に構図を決定するためのスルー画像、記録メディア１７に記録されている静止画像ファイルまたは動画像ファイルを再生した再生画像、各種の設定画面などを表示する。
【００４７】
操作部１９は、ボタン、スイッチ、あるいは表示部１８に重畳して設置されるタッチパネルなどから成り、電源のオン・オフ、シャッタ操作、録画開始・終了の指示、各種設定の入力などを行うユーザの操作を受け付けて、それに対応する操作信号を制御部２１に出力する。
【００４８】
制御部２１は、画像信号処理部１４から顔検出情報が入力された場合、メタ情報に顔検出情報を含めてサムネイル画像とともにメディアドライブ１６に出力して記録メディア１７のファイル管理情報記録領域７２に記録させる。画像信号処理部１４から顔検出情報が入力されない場合、手ブレ検知部１２からの手ブレ情報に基づき、画像を表示した時に見易くなる画像の回転角を決定し、画像の回転角を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力して記録メディア１７のファイル管理情報記録領域７２に記録させる。
【００４９】
次に、撮像装置１０の動作について説明する。撮像装置１０の電源がオンにされると、撮像部１１から画像信号処理部１４に、光電変換によって得られた画像信号が連続的に出力される。画像信号処理部１４では、入力された画像信号が画素の間引くなどにより縮小されて表示部１８に出力される。表示部１８では、入力された画像信号に基づいて構図決定用のスルー画像が表示される。
【００５０】
そして例えば、ユーザから静止画像の撮影が指示された場合（シャッタ操作が行われた場合）、画像信号処理部１４は、そのシャッタ操作のタイミングに対応する静止画像の画像信号を符号化復号部１５に出力するとともに、この静止画像に対する顔検出情報とサムネイル画像を生成して制御部２１に出力する。ただし、静止画像上から顔が検出されず顔検出情報が出力されない場合もある。
【００５１】
符号化復号部１５は、入力された静止画像の画像信号を符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。メディアドライブ１６は、入力された符号化画像信号を静止画像ファイルとして記録メディア１７のファイル記録領域７１に記録する。
【００５２】
一方、制御部２１は、画像信号処理部１４から入力された顔検出情報を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力する。なお、画像信号処理部１４から顔検出情報が入力されない場合、手ブレ情報に基づいて画像の回転角を決定し、決定した画像回転角をメタ情報に含める。
【００５３】
メディアドライブ１６は、制御部１９から入力されたサムネイル画像とメタ情報を記録メディア１７のファイル管理情報記録領域７２に記録する。さらに、メディアドライブ１６は、制御部２１からの制御に従い、記録した静止画像ファイルに対応して、ファイル管理情報記録領域７２の記録位置情報を更新する。
【００５４】
また例えば、ユーザから動画像の録画開始が指示された場合、画像信号処理部１４は、符号化復号部１５に画像信号を継続して出力するとともに、動画像の先頭の画像信号に基づいて静止画像を生成し、静止画像に対する顔検出情報とサムネイル画像を生成して制御部２１に出力する。なお、動画像を撮像している間、所定の周期毎、静止画像を生成して顔を検出するとともにサムネイル画像を生成し、顔検出情報とサムネイル画像を制御部２１に周期的に出力するようにしてもよい。
【００５５】
符号化復号部１５は、順次入力される画像信号を符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。メディアドライブ１６は、入力された符号化画像信号を動画像ファイルとして記録メディア１７のファイル記録領域７１に記録する。
【００５６】
一方、制御部２１は、画像信号処理部１４から入力された顔検出情報を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力する。なお、画像信号処理部１４から顔検出情報が入力されない場合、手ブレ情報や画像内の動きベクトルに基づいて画像の回転角を決定し、決定した画像回転角をメタ情報に含める。
【００５７】
メディアドライブ１６は、制御部１９から入力されるサムネイル画像とメタ情報を記録メディア１７のファイル管理情報記録領域７２に記録する。なお、画像信号処理部１４から顔検出情報とサムネイル画像が周期的に出力される場合、顔検出情報を含むメタ情報とサムネイル画像も周期的にファイル管理情報記録領域７２に記録するようにする。
【００５８】
そして、動画像の録画終了が指示された場合、画像信号処理部１４は、画像信号の符号化を終了する。メディアドライブ１６は、記録中の動画像ファイルを閉じ、制御部２１からの制御に従い、記録した動画像ファイルに対応して、ファイル管理情報記録領域７２の記録位置情報を更新する。
【００５９】
以上説明した撮像装置１０の動作のうち、画像信号の回転角を記録する処理（以下、画像回転角記録処理と称する）の詳細について、図７のフローチャートを参照して説明する。
【００６０】
ステップＳ１において、画像信号処理部１４の画像情報検出部３５は、前段から入力される画像信号の画像上から人の顔を検出する。このステップＳ１の処理について、図８のフローチャートを参照して説明する。
【００６１】
ステップＳ１１において、静止画像生成部５１は、前段から入力された画像信号が動画像に対応するものである場合、その画像信号に基づいて静止画像を生成して顔検出部５２およびサムネイル生成部５３に出力する。前段から入力された画像信号が静止画像に対応するものである場合、そのまま画像信号を顔検出部５２およびサムネイル生成部５３に出力する。
【００６２】
ステップＳ１２において、顔検出部５２は、入力された静止画像の回転角を０°に設定する。すなわち、画像を回転させず入力された状態を維持する。サムネイル生成部５３は、入力された静止画像に対応するサムネイル画像を生成して制御部２１に出力する。
【００６３】
ステップＳ１３において、顔検出部５２は、回転角が設定された静止画像の輝度分布に基づき、静止画像上から人の顔を検出する。ステップＳ１４において、顔検出部５２は、静止画像上から人の顔が検出されたか否かを判定し、人の顔が検出されたと判定した場合、処理をステップＳ１５に進める。
【００６４】
ステップＳ１５において、顔検出部１５は、検出した人の顔に対応して、図５に示された各項目の情報を含む顔検出情報を生成する。なお、顔検出情報の画像回転角には、現在の静止画像が設定されている回転角が記録される。生成された顔検出情報は、制御部２１に出力される。なお、ステップＳ１４の処理で、人の顔が検出されないと判定された場合、ステップＳ１５の処理はスキップされる。
【００６５】
ステップＳ１６において、顔検出部５２は、静止画像の現在の回転角が２７０°であるか否かを判定し、２７０°ではない場合、処理をステップＳ１７に進める。ステップＳ１７において、顔検出部５２は、静止画像の現在の回転角を９０°だけ増して設定し、処理をステップＳ１３に戻す。これ以降、ステップＳ１３乃至Ｓ１７の処理が繰り返される。これにより、静止画像の回転角が順次、０°，９０°，１８０°，２７０°に設定されて人の顔が検出されることになる。そして、ステップＳ１６で静止画像の現在の回転角が２７０°であると判定された場合、処理は図７のステップＳ２にリターンする。
【００６６】
ステップＳ２において、制御部２１は、画像信号処理部１４から顔検出情報が入力されたか否かを判定する。顔検出情報が入力されたと判定した場合、処理をステップＳ３に進める。ステップＳ３において、制御部２１は、入力された顔検出情報を含めて画像信号のメタ情報を生成する。ステップＳ４において、制御部２１は、生成したメタ情報と画像信号処理部１４から入力されたサムネイル画像をメディアドライブ１６に出力し、記録メディア１７のファイル管理情報記録領域７２に記録させる。
【００６７】
反対に、ステップＳ２において、画像信号処理部１４から顔検出情報が入力されないと判定された場合、処理をステップＳ５に進められる。ステップＳ５において、制御部２１は、手ブレ検知部１２から入力される手ブレ情報、および符号化復号部１５から入力される画像上の動きベクトルに基づいて画像の回転角を決定する。ただし、符号化復号部１５から画像上の動きベクトルが入力されるのは、動画像撮像時に限られるので、静止画像撮像時には、手ブレ検知部１２から入力される手ブレ情報のみに基づいて画像の回転角を決定する。
【００６８】
ステップＳ６の処理の詳細について、図９のフローチャートを参照して説明する。
【００６９】
ステップＳ２１において、制御部２１は、手ブレ検知部１２から手ブレ情報を取得する。ステップＳ２２において、制御部２２は、符号化復号部１５から符号化する画像信号に対応する画像上の動きベクトルを取得する。
【００７０】
ステップＳ２３において、制御部２１は、取得した手ブレ情報と動きベクトルとに基づき、撮像部１１の光軸のブレの軌跡を算出し、ステップ２４において、制御部２１は、当該軌跡に基づいて画像の天地方向（表示する時の回転角）を決定する。
【００７１】
具体的には、通常、手ぶれによる撮像部１１の光軸のブレの軌跡は、１０に示すように楕円軌道を描くことが知られている。この楕円軌道のうち、長軸の振幅はユーザの呼吸に同期して発生する上下方向の手ブレに起因することが知られているので、この楕円移動の長軸の方向を画像の天地方向とみなし、この角度に最も近い０°，９０°，１８０°または２７０°を回転角に決定する。回転角を決定した後、処理は図７のステップＳ７にリターンする。
【００７２】
ステップＳ７において、制御部２１は、手ブレに基づいて決定した回転角を含めて画像信号のメタ情報を生成する。この後、処理はステップＳ４に進められ、生成されたメタ情報とサムネイル画像が記録メディア１７のファイル管理情報記録領域７２に記録される。
【００７３】
以上説明したように、撮像装置１０によれば、動画像あるいは再生画像の撮像時に、当該画像を表示するときの回転角がメタ情報の一部として、動画像ファイルまたは静止画像ファイルに対応付けて記録メディア１７に記録される。
【００７４】
次に、記録メディア１７に記録された静止画像ファイルあるいは動画像を再生、表示する時、対応して記録されたメタ情報に含まれる画像回転角を利用して、当該画像を見易く表示する処理（以下、画像表示処理と称する）について、図１１のフローチャートを参照して説明する。
【００７５】
例えば、記録メディア１７に記録された静止画像ファイルの再生を指示する操作がユーザから入力された場合、メディアドライブ１６によって記録メディア１７から再生が指示された静止画像ファイルとそれに対応するメタデータが読み出されて符号化復号部１５に出力される。符号化復号部１５では、符号化されている静止画像ファイルを復号し、その結果得られた画像信号とメタ情報を画像信号処理部１４に出力する。
【００７６】
ステップＳ３１において、画像信号処理部１４の画像信号回転部３９は、入力されたメタ情報から画像の回転角を取得する。なお、この１フレームの画像上に複数の人の顔が存在する場合、メタ情報に複数の顔検出情報が含まれていて、各顔検出情報から回転角が取得できる。このように、複数の顔検出情報が存在する場合、各顔検出情報のうち、含まれる信頼度が最も高いものを選択し、選択した顔検出情報から画像回転角を取得するようにする。
【００７７】
ステップＳ３２において、画像信号回転部３９は、取得した画像回転角に基づいて画像信号を回転させて後段に出力する。これにより、後段の処理を経て表示部１８に表示される画像は、被写体の天地方向と表示の上下方向が一致した見易いものとなっているはずである。しかしながら、画像の表示の方向がユーザの意に合致しない場合もあるので、ステップＳ３３以降の処理によって、画像の表示の方向をユーザの意に合致させる。
【００７８】
ステップＳ３３において、制御部２１は、所定の時間、表示されている画像の表示の向きを変更させるように指示する操作がユーザから入力されたか否かを判定する。画像の表示の向きを変更するように指示する操作が入力されたと判定された場合、処理はステップＳ３４に進められる。ステップＳ３４において、画像信号回転部３９は、変更が指示された向きに合わせて表示中の画像信号の回転角を変更する。ステップＳ３５において、制御部２１は、変更された回転角に対応し、記録メディア１７に記録されているメタ情報に含まれる画像回転角を更新する。ただし、ユーザが一時的に画像を回転させただけの場合も起こり得るので、ユーザに対し、メタ情報の更新を実行してよいか否かを確認するようにしてもよい。
【００７９】
なお、ステップＳ３３において、所定の時間待機しても、画像の表示の向きを変更するように指示する操作が入力されていないと判定された場合、ステップＳ３４およびＳ３５の処理はスキップされる。
【００８０】
以上説明した画像処理時処理によれば、静止画像を表示するとき、対応するメタ情報に含まれる画像回転角に基づいて画像を回転してから表示するので、被写体の天地方向と表示の上下方向が一致した見易いものとなる。
【００８１】
さらに、この表示結果がユーザにとって見易くない場合、その表示も向きを変更することができ、さらにこの変更結果をメタ情報に反映せることができる。従って、アナ自生し画像を次回以降表示する際には、速やかに見易い向きで画像を表示することができる。
【００８２】
なお、動画像の表示に際しても同様に回転表示することができる。ただし、動画像を頻繁に回転し表示させると見難くなる場合があるので、対応するメタ情報に含まれる画像回転角は、対応するサムネイル画像を表示するときに参照し、サムネイル画像を回転して表示するようにしてもよい。元論、静止画像のサムネイル画像を表示する時にも、メタ情報に含まれる画像回転角を取得して回転表示するようにすることができる。
【００８３】
さらに、メタ情報に含まれる画像回転角は、静止画像ファイルや動画像ファイルの画像を表示する時のみならず、例えば記録メディア１７に記録されている静止画像ファイルや動画像ファイルの一覧を示すためにサムネイル画像だけを表示するような場合にも利用できる。
【００８４】
この場合、記録メディア１７のファイル記録領域７１を読み出すことなく、ファイル管理情報記録領域７２のメタ情報とサムネイル情報を読み出せばよいので、速やかにサムネイル画像の一覧を、各サムネイル画像が見易い向きで表示することができる。
【００８５】
以上説明したように、本発明を適用した撮像装置１０によれば、画像の天地方向を決定する為に専用のセンサ（重力センサなど）を設けることなく、画像が見易くなる表示の向き、すなわち、回転角を決定することができる。
【００８６】
特に、重力センサを用いないので、撮影時の姿勢や振動、加速度、重力の方向に影響されず、画像の見易い回転角を決定することができる。
【００８７】
さらに、画像上から人の顔が検出できない場合にも、手ブレ補正に用いる手ブレ検知部
１２の検知結果を流用して、画像の見易い回転角を決定することができる。
【００８８】
なお、本発明は、デジタルスチルカメラやデジタルビデオカメラに限らず、画像信号を処理するあらゆる電子機器に適用することができる。
【００８９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００９０】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９２】
【図１】本発明を適用した撮像装置の構成例を示すブロック図である。
【図２】図１の画像信号処理部の構成例を示すブロック図である。
【図３】図２の画像情報検出部の構成例を示すブロック図である。
【図４】顔検出部の処理を説明するための図である。
【図５】顔検出情報の各項目を示す図である。
【図６】記録メディアのファイル記録領域とファイル管理情報記録領域を示す図である。
【図７】画像回転角記録処理を説明するフローチャートである。
【図８】図７のステップＳ１の詳細を説明するフローチャートである。
【図９】図７のステップＳ６の詳細を説明するフローチャートである。
【図１０】手ブレに起因する光軸の軌跡を示す図である。
【図１１】画像表示処理を説明するフローチャートである。
【符号の説明】
【００９３】
１０ 撮像装置， １１ 撮像部， １２ 手ブレ検知部， １３ 手ブレ補正部， １４ 画像信号処理部， １５ 符号化復号部， １６ メディアドライブ， １７ 記録メディア， １８ 表示部， １９ 操作部， ２０ メモリ， ２１ 制御部， ３５ 画像信号検出部， ３９ 画像信号回転部， ５１ 静止画像生成部， ５２ 顔検出部， ５３ サムネイル生成部，
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法、並びにプログラムに関し、特に、撮像した画像の天地方向を画像信号に対応付けて記録するようにした撮像装置および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラで撮影した画像をディスプレイに表示する際、画像が横に９０°傾いて表示されたり、上下逆さまに表示されたりしないように、撮像時に画像の天地方向を示す情報を取得することが望ましい。
【０００３】
従来、撮像時に画像天地方向を取得する方法として、重力方向を検出する重力センサをカメラに設け、検知した重力方向を画像天地方向とする方法がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平１０−１７３９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、重力方向を画像の天地方向とする方法は、重力センサを設けることによりコスト高となってしまう。また例えば加速中の乗り物内で撮影した場合、重力方向と画像の天地方向とが一致しなかったりすることがあった。また例えば、高所から下方を見下ろして被写体を撮像するような場合、重力方向がカメラの光軸と一致し、画像の天地方向が判断できないことがあった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、重力センサなどを新たに設けることなく、画像の天地方向を正確に検出し、記録できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面である撮像装置は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置において、被写体を撮影して前記被写体に対応する画像信号を生成する生成手段と、生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段と、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段と、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段とを含む。
【０００８】
前記検出手段は、生成された前記画像信号の画像に回転角を設定し、回転した状態の前記画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報としての前記回転角を含む顔検出情報を生成するようにすることができる。
【０００９】
本発明の一側面である撮像装置は、撮像時の手ブレを検知する検知手段をさらに含むことができ、前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、検知された前記手ブレに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成するようにすることができる。
【００１０】
本発明の一側面である撮像装置は、生成された前記画像信号を符号化する符号化手段をさらに含むことができ、前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、前記符号化の過程で算出される前記画像信号の画像上の動きベクトルと、検知された前記手ブレとに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成するようにすることができる。
【００１１】
前記記録手段は、前記記録媒体の異なる記録領域に前記画像信号と前記メタ情報とを対応付けて記録するようにすることができる。
【００１２】
本発明の一側面である撮像装置は、前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段をさらに含むことができる。
【００１３】
本発明の一側面である撮像方法は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の撮像方法において、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録するステップを含む。
【００１４】
本発明の一側面であるプログラムは、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の制御用のプログラムであって、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録させるステップを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面においては、被写体に対応する画像信号の画像上から人の顔が検出され、検出された顔の上下方向の画像における相対的な方向を示す第１の方向情報を含む顔検出情報が生成され、この顔検出情報を含めて画像信号に対応するメタ情報が生成され、画像信号とメタ情報とが対応付けて記録媒体に記録される。
【発明の効果】
【００１６】
本発明の一側面によれば、画像の天地方向を正確に検出し、記録することができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１８】
請求項１に記載の撮像装置は、撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置（例えば、図１の撮像装置１０）において、被写体を撮影して前記被写体に対応する画像信号を生成する生成手段（例えば、図１の撮像部１１）と、生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段（例えば、図３の顔検出部５２）と、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段（例えば、図１の制御部２１）と、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段（例えば、図１のメディアドライブ１６）とを含む。
【００１９】
請求項３に記載の撮像装置は、撮像時の手ブレを検知する検知手段（例えば、図１の手ブレ検知部１２）をさらに含む。
【００２０】
請求項４に記載の撮像装置は、生成された前記画像信号を符号化する符号化手段（例えば、図１の符号化復号部１５）をさらに含む。
【００２１】
請求項６に記載の撮像装置は、前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段（例えば、図２の画像信号回転部３９）をさらに含む。
【００２２】
請求項７に記載の撮像方法および請求項８に記載のプログラムは、被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し（例えば、図７のステップＳ１）、前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し（例えば、図７のステップＳ３）、前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する（例えば、図７のステップＳ４）ステップを含む。
【００２３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２４】
図１は、本発明の一実施の形態である撮像装置の構成例を示している。この撮像装置１０は、動画像や静止画像を撮像して記録メディアに記録し、また記録メディアから再生した動画像や静止画像を表示するものである。
【００２５】
この撮像装置１０は、被写体の光学像に対応する画像信号を生成する撮像部１１、画像信号に所定の画像処理を行う画像信号処理部１４、画像信号を符号化した、また復号する符号化復号部１５、記録メディア１７に対して画像信号などを記録し、また読み出すメディアドライブ１６、撮像された画像や各種の設定画面などを表示する表示部１８、ユーザの操作を受け付ける操作部１９、およびメモリ２０に記録されている制御用プログラムを実行することによって撮像装置１０の全体を制御する制御部２１から構成される。
【００２６】
撮像部１１は、レンズ群、絞り、およびCCD(Charge Coupled Device)などの撮像素子を含み、レンズ群によって集束された被写体の光学像を撮像素子によって画像信号に変換して画像信号処理部１４に出力する。また撮像部１１は、手ブレ検知部１２および手ブレ補正部１３をないぞうジャイロセンサなどから成り、ユーザの手ブレを検知する手ブレ検知部１２、手ブレに起因する画像信号の劣化を補正する手ブレ補正部１３を内蔵する。なお、検知された手ブレを示す情報は制御部２１にも通知され、画像の回転角の決定に利用される。
【００２７】
画像信号処理部１４は、撮像部１１から入力される画像信号や符号化復号部１５から入力される復号された画像信号に所定の画像処理を施して符号化復号部１５または表示部１８に出力する。また画像信号処理部１４は、撮像部１１から入力される画像信号の画像上から人の顔を検出し、検出結果として顔検出情報を制御部２１に通知する。通知された顔検出情報はメタ情報に含めて記録され、画像を再生して表示するとき、画像の回転角の決定に利用される。
【００２８】
図２は、画像信号処理部１４の構成例を示している。画像信号処理部１４は、画像信号のノイズ成分を除去するノイズ除去部３１、画像信号の画枠サイズを変更するサイズ変更部３３、画像信号に所定の画像処理を施す信号変換部３４、画像信号の画像上から人の顔を検出する画像情報検出部３５、画像信号の画像に他の画像を合成する画像合成部３６、画像信号の出力先を切り換えるセレクタ３８、および、表示されたとき見易くなるように画像回転角に基づいて画像を回転させる画像信号回転部３９から構成される。
【００２９】
ノイズ除去部３１は、撮像部１１から入力される画像信号とフレームメモリ３２に記録されている１フレーム前のノイズ除去済みの画像信号とを比較することにより、撮像部１１から入力される画像信号のノイズ成分を検出し、検出したノイズ成分を当該画像信号から除去する。ノイズ成分を除去した画像信号は、後段のサイズ変更部３３に供給されるとともに、フレームメモリ３２に上書き保存される。
【００３０】
サイズ変更部３３は、前段から入力される画像信号の画枠サイズを、適宜、拡大または縮小して信号変換部３４に出力する。信号変換部３４は、ユーザからの設定に基づき、前段から入力される画像信号にセピアカラー化処理、モザイク化処理、モノクロ化処理などを施して後段の画像情報検出部３５および画像合成部３６に出力する。
【００３１】
画像情報検出部３５は、図３に示すように、前段から入力される画像信号に基づいて静止画像を生成する静止画像生成部５１、静止画像上に存在する人の顔を検出する顔検出部５２、および、入力された静止画像のサムネイル画像を生成するサムネイル生成部５３から構成される。
【００３２】
静止画像生成部５１は、動画像撮像時にのみ静止画像を生成し、静止画像撮像時には前段からの静止画像の画像信号をそのまま後段に出力する。顔検出部５２は、静止画像を９０°単位で回転させ、回転した静止画像の輝度分布に基づいて画像上に存在する人の顔を検出し、検出できた場合だけ顔検出情報を生成して制御部１９に通知する。
【００３３】
なお、顔検出部５２は、静止画像を各回転角に回転させた状態において、直立している人の顔を検出することができる。例えば、図４Ａに示す静止画像の場合、回転角０°のときに人の顔が検出される。図４Ｂに示す静止画像の場合、回転角２７０°のときに人の顔が検出される。図４Ｃに示す静止画像の場合、回転角１８０°のときに人の顔が検出される。図４Ｄに示す静止画像の場合、回転角９０°のときに人の顔が検出される。
【００３４】
顔検出情報には、図５に示すように、画像上における顔の位置（座標）、顔のサイズ、検出結果が顔であることの確かさを示す信頼度、および、顔が検出されたときの画像の回転角が含まれる。
【００３５】
なお、例えば図４Ｄのように、１フレームの静止画像から複数の顔が検出された場合、検出された顔の数だけ顔検出情報が生成されて制御部１９に通知される。
【００３６】
サムネイル画像生成部５３は、生成したサムネイル画像を制御部１９に出力する。
【００３７】
図２に戻る。画像合成部３６は、ユーザからの設定に基づき、入力された画像信号に対してフェードイン処理、フェードアウト処理、あるいは予めメモリ３７に記録されている画像を合成するグラフィック合成処理を施してセレクタ３８に出力する。セレクタ３８は、画像合成部３６から入力される画像信号を、符号化復号部１５と表示部１８の両方または一方に出力する。
【００３８】
画像信号回転部３９は、符号化復号部１５から入力される復号された画像信号を、表示した時にユーザが見易くなるよう、対応するメタ情報に含まれる顔検出情報の画像回転角に基づいて回転し、後段のサイズ変更部１３に出力する。
【００３９】
なお、図２に示された画像信号処理部１４の構成例は、ハードウェアまたはソフトウェアのいずれによって実現してもよい。
【００４０】
図１に戻る。符号化復号部１５は、画像信号処理部１４から入力される画像信号を所定の符号化方式（例えば、動画像の場合にはMPEG(Moving Picture Experts Group)２方式、静止画像の場合にはJPEG(Joint Photographic Experts Group)方式など）に従って符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。また、符号化復号部１５は、符号化時に検出される画像の動きベクトルを制御部２１に通知する。通知された動きベクトルは、画像の回転角の決定に利用される。
【００４１】
さらに符号化復号部１５は、メディアドライブ１６によって記録メディア１７から読み出される符号化画像信号を復号し、その結果得られる画像信号を画像信号処理部１４に出力する。
【００４２】
メディアドライブ１６は、符号化復号部１５から入力される符号化画像信号を記録メディア１７に記録する。またメディアドライブ１６は、制御部２１から入力されるファイル管理情報を記録メディア１７に記録する。
【００４３】
図６は、記録メディア１７に設けられたファイル記録領域７１とファイル管理情報記録領域７２を示している。
【００４４】
ファイル記録領域７１には符号化画像信号が記録される。以下、静止画像に対応する符号化画像信号を静止画像ファイル、動画像に対応する符号化画像信号を動画像ファイルとも記述する。なお、ファイル記録領域７１には、動画像ファイルに対応する音声ファイルも記録される。
【００４５】
ファイル管理情報記録領域７２には、静止画像ファイル、動画像ファイル、音声画像ファイルなどの各コンテンツファイルが記録されている記録メディア１７上の位置を示す記録位置情報、各コンテンツファイルに基づいて生成されたサムネイル画像、および各コンテンツファイルのメタ情報（顔検出情報を含む）が各コンテンツファイルに対応付けて記録される。
【００４６】
図１に戻る。表示部１８は、LCD(Liquid Crystal Display)などから成り、画像信号処理部１４から入力される画像信号に基づき、撮像時に構図を決定するためのスルー画像、記録メディア１７に記録されている静止画像ファイルまたは動画像ファイルを再生した再生画像、各種の設定画面などを表示する。
【００４７】
操作部１９は、ボタン、スイッチ、あるいは表示部１８に重畳して設置されるタッチパネルなどから成り、電源のオン・オフ、シャッタ操作、録画開始・終了の指示、各種設定の入力などを行うユーザの操作を受け付けて、それに対応する操作信号を制御部２１に出力する。
【００４８】
制御部２１は、画像信号処理部１４から顔検出情報が入力された場合、メタ情報に顔検出情報を含めてサムネイル画像とともにメディアドライブ１６に出力して記録メディア１７のファイル管理情報記録領域７２に記録させる。画像信号処理部１４から顔検出情報が入力されない場合、手ブレ検知部１２からの手ブレ情報に基づき、画像を表示した時に見易くなる画像の回転角を決定し、画像の回転角を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力して記録メディア１７のファイル管理情報記録領域７２に記録させる。
【００４９】
次に、撮像装置１０の動作について説明する。撮像装置１０の電源がオンにされると、撮像部１１から画像信号処理部１４に、光電変換によって得られた画像信号が連続的に出力される。画像信号処理部１４では、入力された画像信号が画素の間引くなどにより縮小されて表示部１８に出力される。表示部１８では、入力された画像信号に基づいて構図決定用のスルー画像が表示される。
【００５０】
そして例えば、ユーザから静止画像の撮影が指示された場合（シャッタ操作が行われた場合）、画像信号処理部１４は、そのシャッタ操作のタイミングに対応する静止画像の画像信号を符号化復号部１５に出力するとともに、この静止画像に対する顔検出情報とサムネイル画像を生成して制御部２１に出力する。ただし、静止画像上から顔が検出されず顔検出情報が出力されない場合もある。
【００５１】
符号化復号部１５は、入力された静止画像の画像信号を符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。メディアドライブ１６は、入力された符号化画像信号を静止画像ファイルとして記録メディア１７のファイル記録領域７１に記録する。
【００５２】
一方、制御部２１は、画像信号処理部１４から入力された顔検出情報を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力する。なお、画像信号処理部１４から顔検出情報が入力されない場合、手ブレ情報に基づいて画像の回転角を決定し、決定した画像回転角をメタ情報に含める。
【００５３】
メディアドライブ１６は、制御部１９から入力されたサムネイル画像とメタ情報を記録メディア１７のファイル管理情報記録領域７２に記録する。さらに、メディアドライブ１６は、制御部２１からの制御に従い、記録した静止画像ファイルに対応して、ファイル管理情報記録領域７２の記録位置情報を更新する。
【００５４】
また例えば、ユーザから動画像の録画開始が指示された場合、画像信号処理部１４は、符号化復号部１５に画像信号を継続して出力するとともに、動画像の先頭の画像信号に基づいて静止画像を生成し、静止画像に対する顔検出情報とサムネイル画像を生成して制御部２１に出力する。なお、動画像を撮像している間、所定の周期毎、静止画像を生成して顔を検出するとともにサムネイル画像を生成し、顔検出情報とサムネイル画像を制御部２１に周期的に出力するようにしてもよい。
【００５５】
符号化復号部１５は、順次入力される画像信号を符号化し、その結果得られる符号化画像信号をメディアドライブ１６に出力する。メディアドライブ１６は、入力された符号化画像信号を動画像ファイルとして記録メディア１７のファイル記録領域７１に記録する。
【００５６】
一方、制御部２１は、画像信号処理部１４から入力された顔検出情報を含めてメタ情報を生成し、サムネイル画像とともにメディアドライブ１６に出力する。なお、画像信号処理部１４から顔検出情報が入力されない場合、手ブレ情報や画像内の動きベクトルに基づいて画像の回転角を決定し、決定した画像回転角をメタ情報に含める。
【００５７】
メディアドライブ１６は、制御部１９から入力されるサムネイル画像とメタ情報を記録メディア１７のファイル管理情報記録領域７２に記録する。なお、画像信号処理部１４から顔検出情報とサムネイル画像が周期的に出力される場合、顔検出情報を含むメタ情報とサムネイル画像も周期的にファイル管理情報記録領域７２に記録するようにする。
【００５８】
そして、動画像の録画終了が指示された場合、画像信号処理部１４は、画像信号の符号化を終了する。メディアドライブ１６は、記録中の動画像ファイルを閉じ、制御部２１からの制御に従い、記録した動画像ファイルに対応して、ファイル管理情報記録領域７２の記録位置情報を更新する。
【００５９】
以上説明した撮像装置１０の動作のうち、画像信号の回転角を記録する処理（以下、画像回転角記録処理と称する）の詳細について、図７のフローチャートを参照して説明する。
【００６０】
ステップＳ１において、画像信号処理部１４の画像情報検出部３５は、前段から入力される画像信号の画像上から人の顔を検出する。このステップＳ１の処理について、図８のフローチャートを参照して説明する。
【００６１】
ステップＳ１１において、静止画像生成部５１は、前段から入力された画像信号が動画像に対応するものである場合、その画像信号に基づいて静止画像を生成して顔検出部５２およびサムネイル生成部５３に出力する。前段から入力された画像信号が静止画像に対応するものである場合、そのまま画像信号を顔検出部５２およびサムネイル生成部５３に出力する。
【００６２】
ステップＳ１２において、顔検出部５２は、入力された静止画像の回転角を０°に設定する。すなわち、画像を回転させず入力された状態を維持する。サムネイル生成部５３は、入力された静止画像に対応するサムネイル画像を生成して制御部２１に出力する。
【００６３】
ステップＳ１３において、顔検出部５２は、回転角が設定された静止画像の輝度分布に基づき、静止画像上から人の顔を検出する。ステップＳ１４において、顔検出部５２は、静止画像上から人の顔が検出されたか否かを判定し、人の顔が検出されたと判定した場合、処理をステップＳ１５に進める。
【００６４】
ステップＳ１５において、顔検出部１５は、検出した人の顔に対応して、図５に示された各項目の情報を含む顔検出情報を生成する。なお、顔検出情報の画像回転角には、現在の静止画像が設定されている回転角が記録される。生成された顔検出情報は、制御部２１に出力される。なお、ステップＳ１４の処理で、人の顔が検出されないと判定された場合、ステップＳ１５の処理はスキップされる。
【００６５】
ステップＳ１６において、顔検出部５２は、静止画像の現在の回転角が２７０°であるか否かを判定し、２７０°ではない場合、処理をステップＳ１７に進める。ステップＳ１７において、顔検出部５２は、静止画像の現在の回転角を９０°だけ増して設定し、処理をステップＳ１３に戻す。これ以降、ステップＳ１３乃至Ｓ１７の処理が繰り返される。これにより、静止画像の回転角が順次、０°，９０°，１８０°，２７０°に設定されて人の顔が検出されることになる。そして、ステップＳ１６で静止画像の現在の回転角が２７０°であると判定された場合、処理は図７のステップＳ２にリターンする。
【００６６】
ステップＳ２において、制御部２１は、画像信号処理部１４から顔検出情報が入力されたか否かを判定する。顔検出情報が入力されたと判定した場合、処理をステップＳ３に進める。ステップＳ３において、制御部２１は、入力された顔検出情報を含めて画像信号のメタ情報を生成する。ステップＳ４において、制御部２１は、生成したメタ情報と画像信号処理部１４から入力されたサムネイル画像をメディアドライブ１６に出力し、記録メディア１７のファイル管理情報記録領域７２に記録させる。
【００６７】
反対に、ステップＳ２において、画像信号処理部１４から顔検出情報が入力されないと判定された場合、処理をステップＳ５に進められる。ステップＳ５において、制御部２１は、手ブレ検知部１２から入力される手ブレ情報、および符号化復号部１５から入力される画像上の動きベクトルに基づいて画像の回転角を決定する。ただし、符号化復号部１５から画像上の動きベクトルが入力されるのは、動画像撮像時に限られるので、静止画像撮像時には、手ブレ検知部１２から入力される手ブレ情報のみに基づいて画像の回転角を決定する。
【００６８】
ステップＳ６の処理の詳細について、図９のフローチャートを参照して説明する。
【００６９】
ステップＳ２１において、制御部２１は、手ブレ検知部１２から手ブレ情報を取得する。ステップＳ２２において、制御部２２は、符号化復号部１５から符号化する画像信号に対応する画像上の動きベクトルを取得する。
【００７０】
ステップＳ２３において、制御部２１は、取得した手ブレ情報と動きベクトルとに基づき、撮像部１１の光軸のブレの軌跡を算出し、ステップ２４において、制御部２１は、当該軌跡に基づいて画像の天地方向（表示する時の回転角）を決定する。
【００７１】
具体的には、通常、手ぶれによる撮像部１１の光軸のブレの軌跡は、１０に示すように楕円軌道を描くことが知られている。この楕円軌道のうち、長軸の振幅はユーザの呼吸に同期して発生する上下方向の手ブレに起因することが知られているので、この楕円移動の長軸の方向を画像の天地方向とみなし、この角度に最も近い０°，９０°，１８０°または２７０°を回転角に決定する。回転角を決定した後、処理は図７のステップＳ７にリターンする。
【００７２】
ステップＳ７において、制御部２１は、手ブレに基づいて決定した回転角を含めて画像信号のメタ情報を生成する。この後、処理はステップＳ４に進められ、生成されたメタ情報とサムネイル画像が記録メディア１７のファイル管理情報記録領域７２に記録される。
【００７３】
以上説明したように、撮像装置１０によれば、動画像あるいは再生画像の撮像時に、当該画像を表示するときの回転角がメタ情報の一部として、動画像ファイルまたは静止画像ファイルに対応付けて記録メディア１７に記録される。
【００７４】
次に、記録メディア１７に記録された静止画像ファイルあるいは動画像を再生、表示する時、対応して記録されたメタ情報に含まれる画像回転角を利用して、当該画像を見易く表示する処理（以下、画像表示処理と称する）について、図１１のフローチャートを参照して説明する。
【００７５】
例えば、記録メディア１７に記録された静止画像ファイルの再生を指示する操作がユーザから入力された場合、メディアドライブ１６によって記録メディア１７から再生が指示された静止画像ファイルとそれに対応するメタデータが読み出されて符号化復号部１５に出力される。符号化復号部１５では、符号化されている静止画像ファイルを復号し、その結果得られた画像信号とメタ情報を画像信号処理部１４に出力する。
【００７６】
ステップＳ３１において、画像信号処理部１４の画像信号回転部３９は、入力されたメタ情報から画像の回転角を取得する。なお、この１フレームの画像上に複数の人の顔が存在する場合、メタ情報に複数の顔検出情報が含まれていて、各顔検出情報から回転角が取得できる。このように、複数の顔検出情報が存在する場合、各顔検出情報のうち、含まれる信頼度が最も高いものを選択し、選択した顔検出情報から画像回転角を取得するようにする。
【００７７】
ステップＳ３２において、画像信号回転部３９は、取得した画像回転角に基づいて画像信号を回転させて後段に出力する。これにより、後段の処理を経て表示部１８に表示される画像は、被写体の天地方向と表示の上下方向が一致した見易いものとなっているはずである。しかしながら、画像の表示の方向がユーザの意に合致しない場合もあるので、ステップＳ３３以降の処理によって、画像の表示の方向をユーザの意に合致させる。
【００７８】
ステップＳ３３において、制御部２１は、所定の時間、表示されている画像の表示の向きを変更させるように指示する操作がユーザから入力されたか否かを判定する。画像の表示の向きを変更するように指示する操作が入力されたと判定された場合、処理はステップＳ３４に進められる。ステップＳ３４において、画像信号回転部３９は、変更が指示された向きに合わせて表示中の画像信号の回転角を変更する。ステップＳ３５において、制御部２１は、変更された回転角に対応し、記録メディア１７に記録されているメタ情報に含まれる画像回転角を更新する。ただし、ユーザが一時的に画像を回転させただけの場合も起こり得るので、ユーザに対し、メタ情報の更新を実行してよいか否かを確認するようにしてもよい。
【００７９】
なお、ステップＳ３３において、所定の時間待機しても、画像の表示の向きを変更するように指示する操作が入力されていないと判定された場合、ステップＳ３４およびＳ３５の処理はスキップされる。
【００８０】
以上説明した画像処理時処理によれば、静止画像を表示するとき、対応するメタ情報に含まれる画像回転角に基づいて画像を回転してから表示するので、被写体の天地方向と表示の上下方向が一致した見易いものとなる。
【００８１】
さらに、この表示結果がユーザにとって見易くない場合、その表示も向きを変更することができ、さらにこの変更結果をメタ情報に反映せることができる。従って、アナ自生し画像を次回以降表示する際には、速やかに見易い向きで画像を表示することができる。
【００８２】
なお、動画像の表示に際しても同様に回転表示することができる。ただし、動画像を頻繁に回転し表示させると見難くなる場合があるので、対応するメタ情報に含まれる画像回転角は、対応するサムネイル画像を表示するときに参照し、サムネイル画像を回転して表示するようにしてもよい。元論、静止画像のサムネイル画像を表示する時にも、メタ情報に含まれる画像回転角を取得して回転表示するようにすることができる。
【００８３】
さらに、メタ情報に含まれる画像回転角は、静止画像ファイルや動画像ファイルの画像を表示する時のみならず、例えば記録メディア１７に記録されている静止画像ファイルや動画像ファイルの一覧を示すためにサムネイル画像だけを表示するような場合にも利用できる。
【００８４】
この場合、記録メディア１７のファイル記録領域７１を読み出すことなく、ファイル管理情報記録領域７２のメタ情報とサムネイル情報を読み出せばよいので、速やかにサムネイル画像の一覧を、各サムネイル画像が見易い向きで表示することができる。
【００８５】
以上説明したように、本発明を適用した撮像装置１０によれば、画像の天地方向を決定する為に専用のセンサ（重力センサなど）を設けることなく、画像が見易くなる表示の向き、すなわち、回転角を決定することができる。
【００８６】
特に、重力センサを用いないので、撮影時の姿勢や振動、加速度、重力の方向に影響されず、画像の見易い回転角を決定することができる。
【００８７】
さらに、画像上から人の顔が検出できない場合にも、手ブレ補正に用いる手ブレ検知部
１２の検知結果を流用して、画像の見易い回転角を決定することができる。
【００８８】
なお、本発明は、デジタルスチルカメラやデジタルビデオカメラに限らず、画像信号を処理するあらゆる電子機器に適用することができる。
【００８９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００９０】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９２】
【図１】本発明を適用した撮像装置の構成例を示すブロック図である。
【図２】図１の画像信号処理部の構成例を示すブロック図である。
【図３】図２の画像情報検出部の構成例を示すブロック図である。
【図４】顔検出部の処理を説明するための図である。
【図５】顔検出情報の各項目を示す図である。
【図６】記録メディアのファイル記録領域とファイル管理情報記録領域を示す図である。
【図７】画像回転角記録処理を説明するフローチャートである。
【図８】図７のステップＳ１の詳細を説明するフローチャートである。
【図９】図７のステップＳ６の詳細を説明するフローチャートである。
【図１０】手ブレに起因する光軸の軌跡を示す図である。
【図１１】画像表示処理を説明するフローチャートである。
【符号の説明】
【００９３】
１０ 撮像装置， １１ 撮像部， １２ 手ブレ検知部， １３ 手ブレ補正部， １４ 画像信号処理部， １５ 符号化復号部， １６ メディアドライブ， １７ 記録メディア， １８ 表示部， １９ 操作部， ２０ メモリ， ２１ 制御部， ３５ 画像信号検出部， ３９ 画像信号回転部， ５１ 静止画像生成部， ５２ 顔検出部， ５３ サムネイル生成部，
【特許請求の範囲】
【請求項１】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置において、
被写体を撮影して前記被写体に対応する画像信号を生成する生成手段と、
生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段と、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段と、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段と
を含む撮像装置。
【請求項２】
前記検出手段は、生成された前記画像信号の画像に回転角を設定し、回転した状態の前記画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報としての前記回転角を含む顔検出情報を生成する
請求項１に記載の撮像装置。
【請求項３】
撮像時の手ブレを検知する検知手段をさらに含み、
前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、検知された前記手ブレに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成する
請求項１に記載の撮像装置。
【請求項４】
生成された前記画像信号を符号化する符号化手段をさらに含み、
前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、前記符号化の過程で算出される前記画像信号の画像上の動きベクトルと、検知された前記手ブレとに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成する
請求項３に記載の撮像装置。
【請求項５】
前記記録手段は、前記記録媒体の異なる記録領域に前記画像信号と前記メタ情報とを対応付けて記録する
請求項１に記載の撮像装置。
【請求項６】
前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段を
さらに含む請求項１に記載の撮像装置。
【請求項７】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の撮像方法において、
被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する
ステップを含む撮像方法。
【請求項８】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の制御用のプログラムであって、
被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置において、
被写体を撮影して前記被写体に対応する画像信号を生成する生成手段と、
生成された前記画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成する検出手段と、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成するメタ情報生成手段と、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する記録手段と
を含む撮像装置。
【請求項２】
前記検出手段は、生成された前記画像信号の画像に回転角を設定し、回転した状態の前記画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報としての前記回転角を含む顔検出情報を生成する
請求項１に記載の撮像装置。
【請求項３】
撮像時の手ブレを検知する検知手段をさらに含み、
前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、検知された前記手ブレに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成する
請求項１に記載の撮像装置。
【請求項４】
生成された前記画像信号を符号化する符号化手段をさらに含み、
前記メタ情報生成手段は、前記顔検出情報が生成されなかった場合、前記符号化の過程で算出される前記画像信号の画像上の動きベクトルと、検知された前記手ブレとに基づいて、生成された前記画像信号の画像の上下方向を示す第２の方向情報を生成し、生成した前記第２の方向情報を含めて前記画像信号に対応するメタ情報を生成する
請求項３に記載の撮像装置。
【請求項５】
前記記録手段は、前記記録媒体の異なる記録領域に前記画像信号と前記メタ情報とを対応付けて記録する
請求項１に記載の撮像装置。
【請求項６】
前記記録媒体から再生された画像信号を表示するとき、前記画像信号に対応する前記メタ情報に含まれる第１または第２の方向情報に基づき、前記画像信号の画像を回転させる回転手段を
さらに含む請求項１に記載の撮像装置。
【請求項７】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の撮像方法において、
被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録する
ステップを含む撮像方法。
【請求項８】
撮像した被写体に対応する画像信号を記録媒体に記録する撮像装置の制御用のプログラムであって、
被写体を撮影して前記被写体に対応する画像信号の画像上から人の顔を検出し、検出した前記顔の上下方向の前記画像における相対的な方向を示す第１の方向情報を含む顔検出情報を生成し、
前記顔検出情報を含めて前記画像信号に対応するメタ情報を生成し、
前記画像信号と前記メタ情報とを対応付けて前記記録媒体に記録させる
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−５４２７（Ｐ２００８−５４２７Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１７５６３２（Ｐ２００６−１７５６３２）
【出願日】平成１８年６月２６日（２００６．６．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２６日（２００６．６．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]