デジタル画像を撮像する方法及び撮像装置
デジタル画像を撮像する方法が開示される。この方法は、画像センサ上に投影された画像を記録するステップと、画像に存在する動きを判定するステップと、動き量を示す計測値を判定するステップと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するステップとを備える。更に、画像センサと、画像を画像センサ上に投影するように構成された光学系と、画像センサにより提供された信号を受信し、画像に存在する動きを判定し、且つ動き量を示す計測値を判定するように構成された信号プロセッサと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するように構成されたメモリとを備える撮像装置が開示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を撮像する方法及び撮像装置に関する。特に本発明は、画像に存在する動きの判定及び画像と関連付けられた動きの表示を格納することに関する。
【背景技術】
【０００２】
カメラ機能を備えた移動電話又はデジタルカメラ等の装置においてマルチメディアコンテンツの量が増加してくると、マルチメディアコンテンツの管理を容易にするために、適切なメタデータを各コンテンツに割り当てたいという要望が高まる。
【０００３】
従来メタデータは、作成者、コンテンツの名前、日付、番号等に関する情報であった。光感度設定、シャッター速度、時間、日付及び手動で入力されたテキストタグ等のデータが画像内に存在している。しかし、ピクチャが撮像される時、画像のストックを管理するために重要である可能性のある他の状況があり、これは困難すぎるためテキストタグ等に記述できない場合がある。従って、少なくともいくつかのそのような状況をメタデータに自動的に提供したいという要望がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明は、画像の撮像中にシーンにおける動きに関する情報が収集可能であるという認識に基づく。この情報は、例えば画像の表現を向上させるために画像のレンダリング中に利用されるメタデータとして格納される。
【０００５】
第１の態様によると、デジタル画像を撮像する方法が提供される。この方法は、画像センサ上に投影された画像を記録（register)するステップと、画像に存在する動きを判定するステップと、動き量を示す計測値を判定するステップと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するステップとを備える。
【０００６】
メタデータは、記録された画像のファイルのメタデータフィールド、記録された画像のファイルとは別個のメタデータファイル、又はメタデータを記録された画像のファイルに関連付けるインデックスを含むデータベースに格納されてもよい。
【０００７】
動きを判定するステップは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、フレームをビデオ符号部に提供するステップと、ビデオ符号部から存在する動きをベクトルとして受信するステップとを含んでもよい。
【０００８】
動きを判定するステップは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、フレーム間のずれを判定するステップとを含んでもよく、動きは、ずれに基づいて少なくとも１つのベクトルにより記述される。
【０００９】
計測値を判定するステップは、少なくとも１つのベクトルを解析するステップと、ベクトルの解析に基づいて計測値を割り当てるステップとを含んでもよい。解析により少なくとも２つのベクトルを提供してもよく、少なくとも２つのベクトルを解析するステップは、ベクトルのサイズの平均値を提供するステップを含んでもよい。ベクトルを解析するステップは、画像における動きを表すために、理論上最大のベクトルによりベクトルを正規化するステップを含んでもよい。少なくとも１つのベクトルを解析するステップは、ベクトルをフィルタリングするステップを含んでもよい。少なくとも１つのベクトルを解析するステップは、画像の全体的な動きを補正するステップを含んでもよい。
【００１０】
動きを判定するステップ及び計測値を判定するステップは、ビデオクリップを記録すること、動き及び計測値を判定すること、ビデオクリップを削除することとにより実行されてもよい。
【００１１】
動きを判定するステップは、画像を画像センサに投影する光学系のオートフォーカス機能が動作している期間中に実行されてもよい。
【００１２】
動きを判定するステップは、記録された画像と比較して解像度が低下した画像に対して実行されてもよい。
【００１３】
第２の態様によると、画像センサと、画像を画像センサ上に投影するように構成された光学系と、画像センサにより提供された信号を受信し、画像に存在する動きを判定し、且つ動き量を示す計測値を判定するように構成された信号プロセッサと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するように構成されたメモリとを備える撮像装置が提供される。
【００１４】
この装置は、記録された画像のファイルのメタデータフィールド、記録された画像のファイルとは別個のメタデータファイル又はメタデータを記録された画像のファイルに関連付けるインデックスを含むデータベースに、メタデータを格納するように構成されてもよい。
【００１５】
信号プロセッサは、時間間隔のあるピクチャの少なくとも２つのフレームを受信し、且つ存在する動きをベクトルとして提供するように構成されたビデオ符号部を備えてもよい。信号プロセッサは、ベクトルのサイズの平均値を提供するか、ベクトルをフィルタリングするか、ベクトルを正規化するか又は画像の全体的な動きを補正するか、あるいはそれらのあらゆる組合せを提供するように構成されたベクトル処理機構を更に備えてもよく、計測値は、ベクトル処理機構の出力から判定される。
【００１６】
画像を画像センサに投影する光学系は、オートフォーカス機能を備えてもよく、制御信号はオートフォーカス機能が動作している際に提供されてもよく、動きを判定することは、制御信号がオートフォーカス機能の動作を示す期間中に実行されるように構成される。
【図面の簡単な説明】
【００１７】
【図１】図１は、一実施形態に係る方法を示すフローチャートである。
【図２】図２は、一実施形態に係る装置を概略的に示す図である。
【図３】図３は、一実施形態に係るコンピュータ可読媒体を概略的に示す図である。
【図４】図４は、一実施形態に係る信号プロセッサを示すブロック図である。
【図５】図５は、一実施形態に従って活動を判定する手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
図１は、一実施形態に係る方法を示すフローチャートである。画像記録ステップ１００において、光学系により画像センサに対して投影された画像が記録され、そのセンサにより電気信号が提供される。次にこれらの信号は、ピクチャを格納するためだけでなく、撮像されたシーンに存在する活動を判定するために処理される。従って、動き判定ステップ１０２において、活動、すなわち撮像されたシーンに存在する動きが判定される。動きは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像することにより判定される。次にフレームは、ビデオ符号化部、又は同様の計算を実行できるあらゆるプロセッサにより処理される。次にビデオ符号化部は、動きをベクトルとして表す。あるいは、そのようなベクトルが提供するビュー、ピクチャの少なくとも２つのフレームにより提供されたあらゆる機構は、フレーム間のずれを判定し、あらゆるずれを１つ以上のベクトルとして説明する。これはプロセッサで実行され、プロセッサの機能は、独立したものであるか、あるいは撮像装置の他の機能と統合される。
【００１９】
本明細書において、経験に基づくと、安価なバージョンの場合、全ての処理は、装置の他のアプリケーションを処理することになる同一のプロセッサで実行される。そのような場合、画像のサイズ及び性能は、アプリケーションプロセッサの共有の性能により制限される可能性がある場合が多い。より高度なバージョンでは、ビデオ符号化部が提供され、上述の手法が利用される。従って、処理機能は、他のアプリケーションと共有される必要がなくてもよく、性能及び機能が向上する。更により高度なバージョンの場合、複数のビデオ符号化部が利用され、画像センサ自体がいくつかの処理を更に含む。それらの場合、動きを判定するために画像の些細な点までが考慮され、高い粒度で活動を表すことが可能である。
【００２０】
ずれの判定は、ブロックマッチングアルゴリズムに基づいて行うことができる。ブロックマッチングアルゴリズムにおいて、フレーム間で変化したブロック／変化しなかったブロックの量が判定される。あるいは、ずれは、他の方法で画像をいくつかの部分に分割することに基づいて、例えばオブジェクト及び画像間でのそれらのずれを認識することにより判定されるか、あるいは画像のコンテンツの集合表現の複素解析に基づいて判定される。実用的な手法の一例は、ピクチャｓの撮像時に短いビデオシーケンス、すなわちビデオクリップを撮像することである。ビデオクリップから、上記で実証したビデオ符号化部の手法に従って動き及び計測値が判定され、ビデオクリップは消去される。実用的な実現例の別の例は、記録され且つ格納された画像と比較して解像度が低下した画像に対して動き判定を実行することである。実用的な実現例の更なる例は、光学系のオートフォーカス機構が起動される期間中に動き判定を起動させることである。当然、これらの実用的な実現例のあらゆる組合せは更に有利である。
【００２１】
例えばピクチャのレンダリングにおいて適切に使用される活動を表すために、動きを表す適切な計測値が計測値判定ステップ１０４で判定される。計測値は、ベクトルを解析することにより判定され、次にその解析に基づいて計測値を割り当てる。解析することは、ベクトルを平均化して計測値を形成することを含む。ベクトルのフィルタリング及び／又は正規化が実行され、適切な表現を取得する。ベクトルの正規化は、理論上最大のベクトルを考慮して実行され、画像における動きを表すのが好ましい。従って、特に平均化を適用する場合に多くのより小さな動きを含む例と比較して単一の大きな動きを含む例を考慮すると、正規化により、シーンの動きの計測値を更に示してもよい。理論上最大のベクトルは、使用されるビデオ符号化部又は処理手段の機能制限から判定される。
【００２２】
全体的な動きの補償、すなわち例えばピクチャを撮る際にカメラを安定させ続けるのが困難であるため、撮像中に全ての画像が同様に動いている場合に補正が行われ、手ブレの表現ではなくピクチャの表現という点で真の動きの表現を取得する。
【００２３】
計測値が判定される場合、計測値は、メタデータ格納ステップ１０６で画像に対するメタデータとして格納される。メタデータは、格納された画像のデータフィールド、画像ファイルと共に別個のメタデータファイルに格納されるか、あるいはメタデータを画像ファイルと関連付けるインデックスを含むメタデータデータベースに格納される。
【００２４】
図２は、一実施形態に係る装置を概略的に示す。装置は、画像センサ２０２上に画像を投影するように構成された光学系２００を備える。画像センサ２０２は、本明細書では簡潔にするために更なる処理の説明で「画像」とも呼ばれる投影された画像の電気的表現を信号プロセッサ２０４、すなわち処理手段に提供する。表現はデジタル表現であるのが好ましい。信号プロセッサ２０４は、信号を受信し、且つ画像のシーンに存在する動きを判定するように構成される。判定されたこれらの動きから、信号プロセッサ２０４は、図１を参照して上記で実証した例に準拠した計算により、動き量を示す計測値を判定する。別の例として又は計算に加え、いくつかの活動に対してルックアップテーブルが使用される。動きの計測値が判定され、格納される画像にメタデータとして割り当てられる。メタデータはメモリ２０６に格納される。上述したように、画像及びメタデータは、１つのファイル又は１つのメモリに別個のファイルとして格納されるか、あるいは別個のメモリに別個のファイルとして格納される。画像ファイルとメタデータファイルとのインデックスによる関連付けは、実現可能な手法である。
【００２５】
図３は、一実施形態に係るコンピュータ可読媒体を概略的に示す。本発明に係る方法は、１つ以上の信号プロセッサ及び／又はビデオ符号化部等の処理手段の補助による実現例に適している。信号プロセッサ又はビデオ符号化部は、単一の信号処理ユニット又は同時に動作する複数の信号処理ユニットとして具体化されてもよい。従って、図１を参照して説明した実施形態のうちのいずれかに係る方法のいずれかのステップ、図２を参照して説明した装置の実施形態のうちのいずれかを処理手段が実行するように構成された命令を含むコンピュータプログラムが提供される。コンピュータプログラムは、それぞれ実施形態に従って、コンピュータ可読媒体３００上に格納され、処理手段３０２によりロードされ且つ実行されることにより方法を実行するプログラムコードを含むのが好ましい。コンピュータ３０２及びコンピュータプログラム製品３００は、方法のうちのいずれかの動作が実行されるか、あるいはリアルタイムに基づいて実行され、動作が必要な入力データの必要性及び可用性に基づいて実行されるプログラムコードを実行するように構成される。処理手段３０２は、一般に組込みシステムと呼ばれるものであるのが好ましい。従って、図３に示されたコンピュータ可読媒体３００及びコンピュータ３０２は、原理を理解するためだけに例示されるものとして解釈されるべきであり、要素の何らかの直接的な例として解釈されるべきではない。
【００２６】
図４は、一実施形態に係る画像プロセッサ４００を示すブロック図である。画像プロセッサは、画像センサから画像信号４０１を受信する。画像プロセッサ４００は、受信した信号から格納される画像データを形成する画像符号化及び／又は圧縮機構４０２を備える。画像プロセッサ４００は、画像センサから信号を更に受信する活動判定機構４０４を更に備える。活動判定機構（activity determination mevhanism）４０４は、撮像時に画像のシーンに存在する動きを判定し、画像データと共に又は画像データと関連付けて格納されるメタデータとして提供される動きの計測値を判定する。活動判定機構４０４は、ビデオ符号化部４０６又はシーンにおける動きを表すベクトルを判定する同様の計算を提供できるあらゆるプロセッサを備えるが、それに限定されない。ベクトルは、活動判定機構４０４のベクトル処理機構４０８に提供される。ベクトル処理機構４０８は、ベクトルを処理し、計測値を提供する。ベクトル処理は、図１を参照して説明したように、フィルタリング、平均化、正規化、全体的な補正等を含み、適切な計測値を提供する。活動判定機構４０４は、活動判定の適切な期間を示す制御信号を受信する。例えば制御信号は、カメラのオートフォーカス機能により提供される。
【００２７】
図５は、一実施形態に従って活動を判定する手順を示すフローチャートである。画像撮像ステップ５００において、フレームは、僅かな時間間隔で撮像される。上述したように、フレームから、存在する動きを判定するためにフレームのシーンにおけるずれが使用される。これは、区画分割ステップ５０２でフレームをブロック又は判定された画像オブジェクト等の区画に分割することにより実行される。処理能力に関して区画毎に又は区画の少なくとも管理可能な量で、ずれ判定ステップ５０４でずれが判定される。判定されたずれから、ベクトル割当ステップ５０６でベクトルが割り当てられる。
【００２８】
上述したように、ベクトルは他の方法でも提供される。ビデオ符号化モデルはベクトルに基づいて表すことが多いため、そのようなモデルは実現可能な方法である。ベクトルに基づかない他のモデルが更に使用されてもよい。その場合、動き量は、ビットレートが低下した動的シーンを表すように構成されたビデオ符号化手法により提供された他のパラメータから判定される。
【技術分野】
【０００１】
本発明は、デジタル画像を撮像する方法及び撮像装置に関する。特に本発明は、画像に存在する動きの判定及び画像と関連付けられた動きの表示を格納することに関する。
【背景技術】
【０００２】
カメラ機能を備えた移動電話又はデジタルカメラ等の装置においてマルチメディアコンテンツの量が増加してくると、マルチメディアコンテンツの管理を容易にするために、適切なメタデータを各コンテンツに割り当てたいという要望が高まる。
【０００３】
従来メタデータは、作成者、コンテンツの名前、日付、番号等に関する情報であった。光感度設定、シャッター速度、時間、日付及び手動で入力されたテキストタグ等のデータが画像内に存在している。しかし、ピクチャが撮像される時、画像のストックを管理するために重要である可能性のある他の状況があり、これは困難すぎるためテキストタグ等に記述できない場合がある。従って、少なくともいくつかのそのような状況をメタデータに自動的に提供したいという要望がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明は、画像の撮像中にシーンにおける動きに関する情報が収集可能であるという認識に基づく。この情報は、例えば画像の表現を向上させるために画像のレンダリング中に利用されるメタデータとして格納される。
【０００５】
第１の態様によると、デジタル画像を撮像する方法が提供される。この方法は、画像センサ上に投影された画像を記録（register)するステップと、画像に存在する動きを判定するステップと、動き量を示す計測値を判定するステップと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するステップとを備える。
【０００６】
メタデータは、記録された画像のファイルのメタデータフィールド、記録された画像のファイルとは別個のメタデータファイル、又はメタデータを記録された画像のファイルに関連付けるインデックスを含むデータベースに格納されてもよい。
【０００７】
動きを判定するステップは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、フレームをビデオ符号部に提供するステップと、ビデオ符号部から存在する動きをベクトルとして受信するステップとを含んでもよい。
【０００８】
動きを判定するステップは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、フレーム間のずれを判定するステップとを含んでもよく、動きは、ずれに基づいて少なくとも１つのベクトルにより記述される。
【０００９】
計測値を判定するステップは、少なくとも１つのベクトルを解析するステップと、ベクトルの解析に基づいて計測値を割り当てるステップとを含んでもよい。解析により少なくとも２つのベクトルを提供してもよく、少なくとも２つのベクトルを解析するステップは、ベクトルのサイズの平均値を提供するステップを含んでもよい。ベクトルを解析するステップは、画像における動きを表すために、理論上最大のベクトルによりベクトルを正規化するステップを含んでもよい。少なくとも１つのベクトルを解析するステップは、ベクトルをフィルタリングするステップを含んでもよい。少なくとも１つのベクトルを解析するステップは、画像の全体的な動きを補正するステップを含んでもよい。
【００１０】
動きを判定するステップ及び計測値を判定するステップは、ビデオクリップを記録すること、動き及び計測値を判定すること、ビデオクリップを削除することとにより実行されてもよい。
【００１１】
動きを判定するステップは、画像を画像センサに投影する光学系のオートフォーカス機能が動作している期間中に実行されてもよい。
【００１２】
動きを判定するステップは、記録された画像と比較して解像度が低下した画像に対して実行されてもよい。
【００１３】
第２の態様によると、画像センサと、画像を画像センサ上に投影するように構成された光学系と、画像センサにより提供された信号を受信し、画像に存在する動きを判定し、且つ動き量を示す計測値を判定するように構成された信号プロセッサと、計測値を含む関連付けられたメタデータを含む記録された画像を格納するように構成されたメモリとを備える撮像装置が提供される。
【００１４】
この装置は、記録された画像のファイルのメタデータフィールド、記録された画像のファイルとは別個のメタデータファイル又はメタデータを記録された画像のファイルに関連付けるインデックスを含むデータベースに、メタデータを格納するように構成されてもよい。
【００１５】
信号プロセッサは、時間間隔のあるピクチャの少なくとも２つのフレームを受信し、且つ存在する動きをベクトルとして提供するように構成されたビデオ符号部を備えてもよい。信号プロセッサは、ベクトルのサイズの平均値を提供するか、ベクトルをフィルタリングするか、ベクトルを正規化するか又は画像の全体的な動きを補正するか、あるいはそれらのあらゆる組合せを提供するように構成されたベクトル処理機構を更に備えてもよく、計測値は、ベクトル処理機構の出力から判定される。
【００１６】
画像を画像センサに投影する光学系は、オートフォーカス機能を備えてもよく、制御信号はオートフォーカス機能が動作している際に提供されてもよく、動きを判定することは、制御信号がオートフォーカス機能の動作を示す期間中に実行されるように構成される。
【図面の簡単な説明】
【００１７】
【図１】図１は、一実施形態に係る方法を示すフローチャートである。
【図２】図２は、一実施形態に係る装置を概略的に示す図である。
【図３】図３は、一実施形態に係るコンピュータ可読媒体を概略的に示す図である。
【図４】図４は、一実施形態に係る信号プロセッサを示すブロック図である。
【図５】図５は、一実施形態に従って活動を判定する手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
図１は、一実施形態に係る方法を示すフローチャートである。画像記録ステップ１００において、光学系により画像センサに対して投影された画像が記録され、そのセンサにより電気信号が提供される。次にこれらの信号は、ピクチャを格納するためだけでなく、撮像されたシーンに存在する活動を判定するために処理される。従って、動き判定ステップ１０２において、活動、すなわち撮像されたシーンに存在する動きが判定される。動きは、時間間隔のあるピクチャの少なくとも２つのフレームを撮像することにより判定される。次にフレームは、ビデオ符号化部、又は同様の計算を実行できるあらゆるプロセッサにより処理される。次にビデオ符号化部は、動きをベクトルとして表す。あるいは、そのようなベクトルが提供するビュー、ピクチャの少なくとも２つのフレームにより提供されたあらゆる機構は、フレーム間のずれを判定し、あらゆるずれを１つ以上のベクトルとして説明する。これはプロセッサで実行され、プロセッサの機能は、独立したものであるか、あるいは撮像装置の他の機能と統合される。
【００１９】
本明細書において、経験に基づくと、安価なバージョンの場合、全ての処理は、装置の他のアプリケーションを処理することになる同一のプロセッサで実行される。そのような場合、画像のサイズ及び性能は、アプリケーションプロセッサの共有の性能により制限される可能性がある場合が多い。より高度なバージョンでは、ビデオ符号化部が提供され、上述の手法が利用される。従って、処理機能は、他のアプリケーションと共有される必要がなくてもよく、性能及び機能が向上する。更により高度なバージョンの場合、複数のビデオ符号化部が利用され、画像センサ自体がいくつかの処理を更に含む。それらの場合、動きを判定するために画像の些細な点までが考慮され、高い粒度で活動を表すことが可能である。
【００２０】
ずれの判定は、ブロックマッチングアルゴリズムに基づいて行うことができる。ブロックマッチングアルゴリズムにおいて、フレーム間で変化したブロック／変化しなかったブロックの量が判定される。あるいは、ずれは、他の方法で画像をいくつかの部分に分割することに基づいて、例えばオブジェクト及び画像間でのそれらのずれを認識することにより判定されるか、あるいは画像のコンテンツの集合表現の複素解析に基づいて判定される。実用的な手法の一例は、ピクチャｓの撮像時に短いビデオシーケンス、すなわちビデオクリップを撮像することである。ビデオクリップから、上記で実証したビデオ符号化部の手法に従って動き及び計測値が判定され、ビデオクリップは消去される。実用的な実現例の別の例は、記録され且つ格納された画像と比較して解像度が低下した画像に対して動き判定を実行することである。実用的な実現例の更なる例は、光学系のオートフォーカス機構が起動される期間中に動き判定を起動させることである。当然、これらの実用的な実現例のあらゆる組合せは更に有利である。
【００２１】
例えばピクチャのレンダリングにおいて適切に使用される活動を表すために、動きを表す適切な計測値が計測値判定ステップ１０４で判定される。計測値は、ベクトルを解析することにより判定され、次にその解析に基づいて計測値を割り当てる。解析することは、ベクトルを平均化して計測値を形成することを含む。ベクトルのフィルタリング及び／又は正規化が実行され、適切な表現を取得する。ベクトルの正規化は、理論上最大のベクトルを考慮して実行され、画像における動きを表すのが好ましい。従って、特に平均化を適用する場合に多くのより小さな動きを含む例と比較して単一の大きな動きを含む例を考慮すると、正規化により、シーンの動きの計測値を更に示してもよい。理論上最大のベクトルは、使用されるビデオ符号化部又は処理手段の機能制限から判定される。
【００２２】
全体的な動きの補償、すなわち例えばピクチャを撮る際にカメラを安定させ続けるのが困難であるため、撮像中に全ての画像が同様に動いている場合に補正が行われ、手ブレの表現ではなくピクチャの表現という点で真の動きの表現を取得する。
【００２３】
計測値が判定される場合、計測値は、メタデータ格納ステップ１０６で画像に対するメタデータとして格納される。メタデータは、格納された画像のデータフィールド、画像ファイルと共に別個のメタデータファイルに格納されるか、あるいはメタデータを画像ファイルと関連付けるインデックスを含むメタデータデータベースに格納される。
【００２４】
図２は、一実施形態に係る装置を概略的に示す。装置は、画像センサ２０２上に画像を投影するように構成された光学系２００を備える。画像センサ２０２は、本明細書では簡潔にするために更なる処理の説明で「画像」とも呼ばれる投影された画像の電気的表現を信号プロセッサ２０４、すなわち処理手段に提供する。表現はデジタル表現であるのが好ましい。信号プロセッサ２０４は、信号を受信し、且つ画像のシーンに存在する動きを判定するように構成される。判定されたこれらの動きから、信号プロセッサ２０４は、図１を参照して上記で実証した例に準拠した計算により、動き量を示す計測値を判定する。別の例として又は計算に加え、いくつかの活動に対してルックアップテーブルが使用される。動きの計測値が判定され、格納される画像にメタデータとして割り当てられる。メタデータはメモリ２０６に格納される。上述したように、画像及びメタデータは、１つのファイル又は１つのメモリに別個のファイルとして格納されるか、あるいは別個のメモリに別個のファイルとして格納される。画像ファイルとメタデータファイルとのインデックスによる関連付けは、実現可能な手法である。
【００２５】
図３は、一実施形態に係るコンピュータ可読媒体を概略的に示す。本発明に係る方法は、１つ以上の信号プロセッサ及び／又はビデオ符号化部等の処理手段の補助による実現例に適している。信号プロセッサ又はビデオ符号化部は、単一の信号処理ユニット又は同時に動作する複数の信号処理ユニットとして具体化されてもよい。従って、図１を参照して説明した実施形態のうちのいずれかに係る方法のいずれかのステップ、図２を参照して説明した装置の実施形態のうちのいずれかを処理手段が実行するように構成された命令を含むコンピュータプログラムが提供される。コンピュータプログラムは、それぞれ実施形態に従って、コンピュータ可読媒体３００上に格納され、処理手段３０２によりロードされ且つ実行されることにより方法を実行するプログラムコードを含むのが好ましい。コンピュータ３０２及びコンピュータプログラム製品３００は、方法のうちのいずれかの動作が実行されるか、あるいはリアルタイムに基づいて実行され、動作が必要な入力データの必要性及び可用性に基づいて実行されるプログラムコードを実行するように構成される。処理手段３０２は、一般に組込みシステムと呼ばれるものであるのが好ましい。従って、図３に示されたコンピュータ可読媒体３００及びコンピュータ３０２は、原理を理解するためだけに例示されるものとして解釈されるべきであり、要素の何らかの直接的な例として解釈されるべきではない。
【００２６】
図４は、一実施形態に係る画像プロセッサ４００を示すブロック図である。画像プロセッサは、画像センサから画像信号４０１を受信する。画像プロセッサ４００は、受信した信号から格納される画像データを形成する画像符号化及び／又は圧縮機構４０２を備える。画像プロセッサ４００は、画像センサから信号を更に受信する活動判定機構４０４を更に備える。活動判定機構（activity determination mevhanism）４０４は、撮像時に画像のシーンに存在する動きを判定し、画像データと共に又は画像データと関連付けて格納されるメタデータとして提供される動きの計測値を判定する。活動判定機構４０４は、ビデオ符号化部４０６又はシーンにおける動きを表すベクトルを判定する同様の計算を提供できるあらゆるプロセッサを備えるが、それに限定されない。ベクトルは、活動判定機構４０４のベクトル処理機構４０８に提供される。ベクトル処理機構４０８は、ベクトルを処理し、計測値を提供する。ベクトル処理は、図１を参照して説明したように、フィルタリング、平均化、正規化、全体的な補正等を含み、適切な計測値を提供する。活動判定機構４０４は、活動判定の適切な期間を示す制御信号を受信する。例えば制御信号は、カメラのオートフォーカス機能により提供される。
【００２７】
図５は、一実施形態に従って活動を判定する手順を示すフローチャートである。画像撮像ステップ５００において、フレームは、僅かな時間間隔で撮像される。上述したように、フレームから、存在する動きを判定するためにフレームのシーンにおけるずれが使用される。これは、区画分割ステップ５０２でフレームをブロック又は判定された画像オブジェクト等の区画に分割することにより実行される。処理能力に関して区画毎に又は区画の少なくとも管理可能な量で、ずれ判定ステップ５０４でずれが判定される。判定されたずれから、ベクトル割当ステップ５０６でベクトルが割り当てられる。
【００２８】
上述したように、ベクトルは他の方法でも提供される。ビデオ符号化モデルはベクトルに基づいて表すことが多いため、そのようなモデルは実現可能な方法である。ベクトルに基づかない他のモデルが更に使用されてもよい。その場合、動き量は、ビットレートが低下した動的シーンを表すように構成されたビデオ符号化手法により提供された他のパラメータから判定される。
【特許請求の範囲】
【請求項１】
デジタル画像を撮像する方法であって、
画像センサ上に投影された画像を記録するステップと、
前記画像に存在する動きを判定するステップと、
前記動き量を示す計測値を判定するステップと、
前記計測値を含む関連付けられたメタデータを含む前記記録された画像を格納するステップと、
を備えることを特徴とする方法。
【請求項２】
前記メタデータは、前記記録された画像のファイルのメタデータフィールド、前記記録された画像の前記ファイルとは別個のメタデータファイル、又は、前記メタデータを前記記録された画像の前記ファイルに関連付けるインデックスを含むデータベースに格納されることを特徴とする請求項１記載の方法。
【請求項３】
前記動きを判定するステップは、
時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、
前記フレームをビデオ符号化部に提供するステップと、
前記ビデオ符号化部から存在する動きをベクトルとして受信するステップと
を含むことを特徴とする請求項１又は２記載の方法。
【請求項４】
前記動きを判定するステップは、
時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、
前記フレーム間のずれを判定するステップとを含み、前記動きは、前記ずれに基づいて前記少なくとも１つのベクトルにより記述されることを特徴とする請求項１又は２記載の方法。
【請求項５】
前記計測値を判定するステップは、
前記少なくとも１つのベクトルを解析するステップと、
前記ベクトルの解析に基づいて計測値を割り当てるステップと
を含むことを特徴とする請求項３又は４記載の方法。
【請求項６】
前記解析は少なくとも２つのベクトルを提供し、前記少なくとも２つのベクトルを前記解析するステップは、前記ベクトルのサイズの平均値を算出するステップを含むことを特徴とする請求項５記載の方法。
【請求項７】
前記ベクトルを解析するステップは、前記画像における動きを表すために、理論上最大のベクトルにより前記ベクトルを正規化するステップを含むことを特徴とする請求項５又は６記載の方法。
【請求項８】
前記少なくとも１つのベクトルを解析するステップは、前記ベクトルをフィルタリングするステップを含むことを特徴とする請求項５乃至７のいずれか１項に記載の方法。
【請求項９】
前記少なくとも１つのベクトルを解析するステップは、前記画像の全体的な動きを補償するステップを含むことを特徴とする請求項５乃至８のいずれか１項に記載の方法。
【請求項１０】
前記動きを判定するステップ、及び、前記計測値を判定するステップは、
ビデオクリップを記録し、
前記動き及び前記計測値を判定し、
前記ビデオクリップを削除することにより実行されることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記動きを判定するステップは、前記画像を前記画像センサに投影する光学系のオートフォーカス機能が動作している期間中に実行されることを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記動きを判定するステップは、前記記録された画像と比較して解像度が低下した画像に対して実行されることを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
画像センサと、
画像を前記画像センサ上に投影するように構成された光学系と、
前記画像センサにより提供された信号を受信し、前記画像に存在する動きを判定し、且つ前記動き量を示す計測値を判定するように構成された信号プロセッサと、
前記計測値を含む関連付けられたメタデータを含む記録された画像を格納するように構成されたメモリと、
を備えることを特徴とする撮像装置。
【請求項１４】
前記メタデータを、前記記録された画像のファイルのメタデータフィールド、前記記録された画像の前記ファイルとは別個のメタデータファイル、又は、前記メタデータを前記記録された画像の前記ファイルに関連付けるインデックスを含むデータベースに、格納するように構成されることを特徴とする請求項１３記載の装置。
【請求項１５】
前記信号プロセッサは、時間間隔のあるピクチャの少なくとも２つのフレームを受信し、且つ存在する動きをベクトルとして提供するように構成されたビデオ符号化部を備えることを特徴とする請求項１３又は１４記載の装置。
【請求項１６】
前記信号プロセッサは、前記ベクトルのサイズの平均値を提供するか、前記ベクトルをフィルタリングするか、前記ベクトルを正規化するか、又は前記画像の全体的な動きを補償するか、或いは、それらのあらゆる組合せを提供するように構成されたベクトル処理機構を更に備え、前記計測値は、前記ベクトル処理機構の出力から判定されることを特徴とする請求項１５記載の装置。
【請求項１７】
前記画像を前記画像センサに投影する前記光学系はオートフォーカス機能を備え、制御信号は前記オートフォーカス機能が動作している際に提供され、前記動きの判定は、前記制御信号が前記オートフォーカス機能の動作を示す期間中に実行されるように構成されることを特徴とする請求項１３乃至１６のいずれか１項に記載の装置。
【請求項１】
デジタル画像を撮像する方法であって、
画像センサ上に投影された画像を記録するステップと、
前記画像に存在する動きを判定するステップと、
前記動き量を示す計測値を判定するステップと、
前記計測値を含む関連付けられたメタデータを含む前記記録された画像を格納するステップと、
を備えることを特徴とする方法。
【請求項２】
前記メタデータは、前記記録された画像のファイルのメタデータフィールド、前記記録された画像の前記ファイルとは別個のメタデータファイル、又は、前記メタデータを前記記録された画像の前記ファイルに関連付けるインデックスを含むデータベースに格納されることを特徴とする請求項１記載の方法。
【請求項３】
前記動きを判定するステップは、
時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、
前記フレームをビデオ符号化部に提供するステップと、
前記ビデオ符号化部から存在する動きをベクトルとして受信するステップと
を含むことを特徴とする請求項１又は２記載の方法。
【請求項４】
前記動きを判定するステップは、
時間間隔のあるピクチャの少なくとも２つのフレームを撮像するステップと、
前記フレーム間のずれを判定するステップとを含み、前記動きは、前記ずれに基づいて前記少なくとも１つのベクトルにより記述されることを特徴とする請求項１又は２記載の方法。
【請求項５】
前記計測値を判定するステップは、
前記少なくとも１つのベクトルを解析するステップと、
前記ベクトルの解析に基づいて計測値を割り当てるステップと
を含むことを特徴とする請求項３又は４記載の方法。
【請求項６】
前記解析は少なくとも２つのベクトルを提供し、前記少なくとも２つのベクトルを前記解析するステップは、前記ベクトルのサイズの平均値を算出するステップを含むことを特徴とする請求項５記載の方法。
【請求項７】
前記ベクトルを解析するステップは、前記画像における動きを表すために、理論上最大のベクトルにより前記ベクトルを正規化するステップを含むことを特徴とする請求項５又は６記載の方法。
【請求項８】
前記少なくとも１つのベクトルを解析するステップは、前記ベクトルをフィルタリングするステップを含むことを特徴とする請求項５乃至７のいずれか１項に記載の方法。
【請求項９】
前記少なくとも１つのベクトルを解析するステップは、前記画像の全体的な動きを補償するステップを含むことを特徴とする請求項５乃至８のいずれか１項に記載の方法。
【請求項１０】
前記動きを判定するステップ、及び、前記計測値を判定するステップは、
ビデオクリップを記録し、
前記動き及び前記計測値を判定し、
前記ビデオクリップを削除することにより実行されることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
前記動きを判定するステップは、前記画像を前記画像センサに投影する光学系のオートフォーカス機能が動作している期間中に実行されることを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記動きを判定するステップは、前記記録された画像と比較して解像度が低下した画像に対して実行されることを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
画像センサと、
画像を前記画像センサ上に投影するように構成された光学系と、
前記画像センサにより提供された信号を受信し、前記画像に存在する動きを判定し、且つ前記動き量を示す計測値を判定するように構成された信号プロセッサと、
前記計測値を含む関連付けられたメタデータを含む記録された画像を格納するように構成されたメモリと、
を備えることを特徴とする撮像装置。
【請求項１４】
前記メタデータを、前記記録された画像のファイルのメタデータフィールド、前記記録された画像の前記ファイルとは別個のメタデータファイル、又は、前記メタデータを前記記録された画像の前記ファイルに関連付けるインデックスを含むデータベースに、格納するように構成されることを特徴とする請求項１３記載の装置。
【請求項１５】
前記信号プロセッサは、時間間隔のあるピクチャの少なくとも２つのフレームを受信し、且つ存在する動きをベクトルとして提供するように構成されたビデオ符号化部を備えることを特徴とする請求項１３又は１４記載の装置。
【請求項１６】
前記信号プロセッサは、前記ベクトルのサイズの平均値を提供するか、前記ベクトルをフィルタリングするか、前記ベクトルを正規化するか、又は前記画像の全体的な動きを補償するか、或いは、それらのあらゆる組合せを提供するように構成されたベクトル処理機構を更に備え、前記計測値は、前記ベクトル処理機構の出力から判定されることを特徴とする請求項１５記載の装置。
【請求項１７】
前記画像を前記画像センサに投影する前記光学系はオートフォーカス機能を備え、制御信号は前記オートフォーカス機能が動作している際に提供され、前記動きの判定は、前記制御信号が前記オートフォーカス機能の動作を示す期間中に実行されるように構成されることを特徴とする請求項１３乃至１６のいずれか１項に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１２−５２７８０１（Ｐ２０１２−５２７８０１Ａ）
【公表日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−５１１１５５（Ｐ２０１２−５１１１５５）
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０６５４２４
【国際公開番号】ＷＯ２０１０／１３３２６２
【国際公開日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５０２０８７５０７）ソニーモバイルコミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公表日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０６５４２４
【国際公開番号】ＷＯ２０１０／１３３２６２
【国際公開日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５０２０８７５０７）ソニーモバイルコミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]