画像処理装置及び画像処理システム
【課題】動画の編集作業や再生作業の効率低下を抑えることを目的とする。
【解決手段】要不要判定データを生成する要不要判定データ生成部１０３と、符号化後の動画像の各動画像フレームの分割後の各データにそれぞれ識別情報を付して記録部１０６に記録する画像符号化部１０４と、要不要判定データに基づいて、不要な動画像フレームを判定する要不要判定部１０７と、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームに対応する記録部１０６内の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理部１０８とを備えて画像処理装置１００を構成する。
【解決手段】要不要判定データを生成する要不要判定データ生成部１０３と、符号化後の動画像の各動画像フレームの分割後の各データにそれぞれ識別情報を付して記録部１０６に記録する画像符号化部１０４と、要不要判定データに基づいて、不要な動画像フレームを判定する要不要判定部１０７と、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームに対応する記録部１０６内の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理部１０８とを備えて画像処理装置１００を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の各動画像フレームの要不要を自動的に判定する技術に関する。
【背景技術】
【０００２】
近年、撮像装置の高解像度化や高速化、フラッシュメモリの大容量化、及び撮像装置内の画像処理回路の高速化や低電力化が進み、高解像度による長時間動画撮影や長時間動画再生が可能になってきている。
【０００３】
しかしながら、動画撮影時にユーザが意図をもって撮影していない場合や、とりあえず撮り逃しの無いように長時間、動画の撮影を行っている場合などでは、撮影後の動画像に不要な動画像フレームが多く含まれてしまう。すると、後工程としての動画の編集作業や再生作業に大きな負荷がかかり、動画の編集作業や再生作業の効率を下げてしまうおそれがある。例えば、動画像ファイルに不要な動画像フレームが多く含まれていると、目的の動画像フレームを探すために多くの手間や時間がかかったり、動画像ファイルを編集用プログラムや再生用プログラムにロードする際に多くの時間がかかったりしてしまう。
【０００４】
例えば、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２９５２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術は、動画像フレームの要不要を判定する際にユーザにかかる負荷を軽減することができるが、その動画像フレーム自動削除機能を含む編集用プログラムや再生用プログラムに動画像ファイルをロードする必要がやはりあるため、動画像ファイル内に不要な動画像フレームが多いと、編集作業や再生作業の効率を低下させてしまう。
【０００７】
本発明は、動画の編集作業や再生作業の効率低下を抑えることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像管理手段とを備える。
【発明の効果】
【０００９】
本発明によれば、動画の編集作業や再生作業の効率低下を抑えることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態の画像処理装置を示す図である。
【図２】メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。
【図３Ａ】ディレクトリの一例を示す図である。
【図３Ｂ】ＦＡＴの一例を示す図である。
【図３Ｃ】データの状態を示す情報を書き換えた後のＦＡＴの一例を示す図である。
【図４】ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。
【図５Ａ】実施例１の撮像装置を示す図である。
【図５Ｂ】実施例１の撮像装置の変形例（その１）を示す図である。
【図５Ｃ】実施例１の撮像装置の変形例（その２）を示す図である。
【図６】実施例１の要不要判定部の動作を示すフローチャートである。
【図７】実施例１における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。
【図８】実施例１における要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。
【図９】実施例２の撮像装置を示す図である。
【図１０】実施例２の要不要判定部の動作を示すフローチャートである。
【図１１】実施例３の撮像装置を示す図である。
【図１２】実施例３の要不要判定部の動作を示すフローチャートである。
【図１３】実施例４の撮像装置を示す図である。
【図１４】実施例４の要不要判定部の動作を示すフローチャートである。
【図１５】実施例４における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。
【図１６】本発明の他の実施形態の撮像装置を示す図である。
【図１７】本発明の実施形態の画像処理システムを示す図である。
【図１８】本発明の他の実施形態の画像処理システムを示す図である。
【図１９】本発明のさらに他の実施形態の画像処理システムを示す図である。
【図２０】本発明のさらに他の実施形態の画像処理システムを示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態の画像処理装置を示す図である。
【００１２】
図１の画像処理装置１００は、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。なお、制御処理部１０９は、画像処理装置１００内の各部の動作を制御するものとする。
【００１３】
要不要判定データ生成部１０３は、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００に入力される動画像ファイルの各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。
【００１４】
画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６に記録する。例えば、画像符号化部１０４は、図２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ「識別情報ＰＩＤ（Ｐａｃｋｅｔ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）」（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６に記録する。
【００１５】
また、図１に示す記録部１０６は、画像処理装置１００に内蔵の記録部（例えば、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ−Ｒ（Ｒｅｗｒｉｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｒｅｗｒｉｔｂｌｅ Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、不揮発性メモリ、又はフラッシュメモリなどにより構成される。
【００１６】
また、記録部１０６は、画像符号化部１０４において各データにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６は、図３Ａに示すように、識別情報ＰＩＤと、記録部１０６内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。
【００１７】
また、記録部１０６は、記録部１０６内の記録位置を示す情報と、各記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６は、図３Ｂに示すように、記録部１０６内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）を備える。
【００１８】
メタデータ生成部１０５は、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成する。例えば、メタデータ生成部１０５は、図２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合して動画像フレームｆ１に対応するメタデータを生成する。また、メタデータ生成部１０５は、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合して動画像フレームｆ２に対応するメタデータを生成する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。
【００１９】
要不要判定部１０７は、メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。
【００２０】
動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
【００２１】
例えば、図２に示す動画像フレームｆ２が不要と判定された場合、動画像ファイル管理部１０８は、図３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、動画像ファイル管理部１０８は、図３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」におけるデータの状態を示す情報「０００４」を「００００」に書き換えるとともに、さらに他のクラスタにも動画像フレームｆ２が記録される際のそのクラスタの位置を示すクラスタ番号「０００４」におけるデータの状態を示す情報「ＦＦＦＦ」を「００００」に書き換える。
【００２２】
なお、記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、動画像ファイル管理部１０８は、このテーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【００２３】
本発明の実施形態の画像処理装置１００は、編集作業や再生作業の前段階において、動画像の各動画像フレームのうち、不要な動画像フレームと判定された動画像フレームに対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える構成であるため、その動画像の編集時や再生時において、動画像を記録部１０６から読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームを動画像ファイルから実質的に削除しておくことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。
【００２４】
また、本発明の実施形態の画像処理装置１００は、記録部１０６から不要な動画像フレーム以外を読み出すために、記録部１０６の記録位置におけるデータの状態を示す情報を書き換えるだけであるため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
【００２５】
また、本発明の実施形態の画像処理装置１００は、不要な動画像フレームに対応する記録部１０６内の記録位置を特定するために、符号化後の動画像フレームの分割後の各データに付与される識別情報を使用しているため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
【００２６】
なお、要不要判定部１０７は、連続する複数の不要な動画像フレームのうち、先頭の動画像フレームであることを示す先頭情報Ｋｉと、末尾の動画像フレームであることを示す末尾情報Ｋｊとを動画像ファイル管理部１０８に送るように構成してもよい。すなわち、識別情報ＰＩＤ上に不要判定された動画像の先頭である事を示すフラグと、末尾で有ることを示すフラグを記述する様にしても良い。この場合、動画像ファイル管理部１０８は、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるとともに、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する各動画像フレームの間の動画像フレームに対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える。また、動画像ファイル管理部１０８は、不要な動画像フレームの先頭であることを示すフラグおよび不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、不要な動画像フレームの先頭と不要な動画像フレームの末尾との間にある動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるようにしても良い。
また、上記記録部１０６のデータの書き換えのタイミングに関しては不要判定の先頭である事を示すフラグと、末尾で有ることを示すフラグの対が受信されたところでデータの書き換えを行うようにしても良い。
【００２７】
また、画像符号化部１０４において、入力される動画像に対して、ＭＰＥＧ形式の符号化が行われる場合、例えば、図４に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｂ１フレーム〜Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ））で符号化が行われる。このような場合、動画像ファイル管理部１０８は、先頭の不要動画像フレームが含まれるＧＯＰから末尾の不要動画像フレームが含まれるＧＯＰまでの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全てデータが無い旨の情報に書き換える。図４の例では、先頭の不要動画像フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」から末尾の不要動画像フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」までの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全て「００００」に書き換える。
【００２８】
また、記録部１０６は、ＦＡＴと同じ内容の復帰用テーブルを備えていてもよい。この場合、動画像ファイル管理部１０８は、その復帰用テーブルを用いて、復帰対象であるデータの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報を、元の情報に戻すことができる。これにより、不要な動画像フレームであると判定されて、その動画像フレームの識別情報に対応する記録部１０６内の記録位置におけるデータの状態を示す情報が、データが無い旨の情報に書き換えられた後でも、その動画像フレームを読み出し可能な状態に戻すことができる。
【００２９】
図５Ａは、図１に示す画像処理装置１００の実施例１である撮像装置５００を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００３０】
図５Ａに示す撮像装置５００は、撮像部１０１と、画像処理部１０２と、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。
【００３１】
撮像部１０１は、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。
【００３２】
画像処理部１０２は、撮像部１０１により得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。
【００３３】
画像符号化部１０４は、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４は、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。
【００３４】
図５Ａに示す撮像装置５００の特徴とする点は、要不要判定データ生成部１０３として被写体検出処理部５０１を備え、その被写体検出処理部５０１により、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５において、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００３５】
図６は、図５Ａに示す撮像装置５００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００３６】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ１１）。なお、被写体検出処理部５０１は、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部５０１は、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部５０１は、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。
【００３７】
次に、要不要判定部１０７は、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ１２）。
【００３８】
被写体が検出されていると判断した場合（Ｓ１２がＮｏ）、要不要判定部１０７は、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ１３）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。
【００３９】
被写体が所定サイズよりも大きいと判断した場合（Ｓ１３がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ１４）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。
【００４０】
被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ１４がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ１５）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。
【００４１】
被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ１５がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ１６）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
【００４２】
被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ１６がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ１７）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
【００４３】
被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ１７がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ１８）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ１９）。
【００４４】
次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２０）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ２１）。
【００４５】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ２１がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２２）、動画像ファイル管理部１０８に出力する（Ｓ２３）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝７に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝８に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝７とを統合して動画像ファイル管理部１０８に出力する。
【００４６】
次に、要不要判定部１０７は、ユーザから動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ２４がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ２４がＮｏ）、Ｓ１１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００４７】
一方、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ２１がＮｏ）、要不要判定部１０７は、Ｓ２２及びＳ２３を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
【００４８】
また、要不要判定部１０７は、「被写体が検出されていない（Ｓ１２がＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ１３がＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ１４がＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ１５がＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ１６がＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ１７がＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ２５）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ２６）。
【００４９】
次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ２８）。
【００５０】
今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ２８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２９）、動画像ファイル管理部１０８に出力し（Ｓ３０）、動画撮影が終了したか否かを判断する（Ｓ２４）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１２に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１２とを統合して動画像ファイル管理部１０８に出力する。
【００５１】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ２８がＮｏ）、要不要判定部１０７は、Ｓ２９及びＳ３０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
【００５２】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００５３】
図５Ａに示す撮像装置５００は、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像のデータ量の削減に有効である。
【００５４】
なお、図６に示す要不要判定部１０７の動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図８に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７は、図８に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、識別情報ＰＩＤ＝９に対応する動画像フレームに対して先頭情報Ｋｉを設定する。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２は、連続するフレームの後部に相当する識別情報の動画像フレームに対して先頭情報Ｋｉを設定する。
なお、上記フレーム間の差異の測定方法としては、図８に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図５Ｂに示すように、被写体検出処理部５０１の代わりにフレーム間差分を積分する差分演算部５０１１を備える。また、ヒストグラムを用いる場合には、例えば、図５Ｃに示すように、被写体検出処理部５０１の代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部５０１２を備える。
【００５５】
図９は、図１に示す画像処理装置１００の実施例２である撮像装置９００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００５６】
図９に示す撮像装置９００の特徴とする点は、要不要判定データ生成部１０３としてフォーカス情報処理部９０１を備え、そのフォーカス情報処理部９０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５により、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００５７】
図１０は、図９に示す撮像装置９００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００５８】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「フォーカス情報」を入力する（Ｓ３１）。なお、フォーカス情報処理部９０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２から得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１から得てメタデータ生成部１０５へ出力する。また、コントラスト評価値Ｃ０が０よりも小さいとき、フォーカスができていない、すなわち、フォーカスレンズの焦点が合っていないものとする。
【００５９】
次に、要不要判定部１０７は、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２がＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３３）。
【００６０】
次に、要不要判定部１０７は、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ−１とを上記記憶部から読み出し（Ｓ３４）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５）。
【００６１】
フォーカスが安定していると判断した場合（Ｓ３５がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ３６）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３７）。
【００６２】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ３８）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ３９）。
【００６３】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ３９がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４０）、動画像ファイル管理部１０８に出力する（Ｓ４１）。
【００６４】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ４２がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ４２がＮｏ）、Ｓ３１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００６５】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ３９がＮｏ）、要不要判定部１０７は、Ｓ４０及びＳ４１を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００６６】
また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２がＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５がＹｅｓ）、そのときの動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ４３）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ４４）。
【００６７】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ４５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ４６）。
【００６８】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ４６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４７）、動画像ファイル管理部１０８に出力し（Ｓ４８）、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００６９】
一方、今回取得した動画像フレームが編集時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ４６がＮｏ）、要不要判定部１０７は、Ｓ４７及びＳ４８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００７０】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００７１】
図９に示す撮像装置９００では、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【００７２】
図１１は、図１に示す画像処理装置１００の実施例３である撮像装置１１００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００７３】
図１１に示す撮像装置１１００の特徴とする点は、要不要判定データ生成部１０３としてズーム情報処理部１１０１を備え、そのズーム情報処理部１１０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５により、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００７４】
図１２は、図１１に示す撮像装置１１００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００７５】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「ズーム情報」を入力する（Ｓ５１）。なお、ズーム情報処理部１１０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１から得てメタデータ生成部１０５へ出力する。
【００７６】
次に、要不要判定部１０７は、入力されるズーム情報Ｚ０を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５２）。
【００７７】
次に、要不要判定部１０７は、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ−１とを上記記憶部から読み出し（Ｓ５３）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ５４）。
【００７８】
ズームレンズのレンズ位置が安定していると判断した場合（Ｓ５４がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ５５）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５６）。
【００７９】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ５７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ５８）。
【００８０】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ５８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ５９）、動画像ファイル管理部１０８に出力する（Ｓ６０）。
【００８１】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ６１がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ６１がＮｏ）、Ｓ５１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００８２】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ５８がＮｏ）、要不要判定部１０７は、Ｓ５９及びＳ６０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８３】
また、要不要判定部１０７は、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ５４がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ６２）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ６３）。
【００８４】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ６４）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ６５）。
【００８５】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ６５がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ６６）、動画像ファイル管理部１０８に出力し（Ｓ６７）、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８６】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ６５がＮｏ）、要不要判定部１０７は、Ｓ６６及びＳ６７を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８７】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００８８】
図１１に示す撮像装置１１００では、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【００８９】
なお、不要な動画像フレームの要不要判定処理に使用される情報は、上述した実施例１〜３のように、被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。
【００９０】
また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、不要な動画像フレームの要不要判定処理に使用してもよい。
【００９１】
図１３は、図１に示す画像処理装置１００の実施例４である撮像装置１３００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００９２】
図１３に示す撮像装置１３００の特徴とする点は、要不要判定データ生成部１０３として無線アンテナ１３０１及び受信信号強度検出部１３０２を備え、受信信号強度検出部１３０２により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５により、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。なお、無線アンテナ１３０１は、被写体に備えられる送信機から送信される信号や撮像装置１３００から送信され被写体に反射した信号を受信するものとする。
【００９３】
図１４は、図１３に示す撮像装置１３００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００９４】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「受信信号強度情報」を入力する（Ｓ７１）。なお、受信信号強度検出部１３０２は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１３０１により受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５へ出力する。
【００９５】
次に、要不要判定部１０７は、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１３００に対して被写体が遠い位置にあるか否かを判断する（Ｓ７２）。
【００９６】
被写体が遠い位置にないと判断した場合（Ｓ７２がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ７３）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ７４）。
【００９７】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ７５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ７６）。
【００９８】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ７６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ７７）、動画像ファイル管理部１０８に出力する（Ｓ７８）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝２２に対応する要不要判定フラグＦＬＧ＿ｎが「１」で、かつ、識別情報ＰＩＤ＝２１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「−１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝２１とを統合して動画像ファイル管理部１０８に出力する。
【００９９】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ７９がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ７９がＮｏ）、Ｓ７１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【０１００】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ７６がＮｏ）、要不要判定部１０７は、Ｓ７７及びＳ７８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
【０１０１】
また、要不要判定部１０７は、被写体が遠い位置にあると判断した場合（Ｓ７２がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ８０）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ８１）。
【０１０２】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ８２）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ８３）。
【０１０３】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ８４がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ８４）、動画像ファイル管理部１０８に出力し（Ｓ８５）、動画撮影が終了したか否かを判断する（Ｓ７９）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１６に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１５に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１６とを統合して動画像ファイル管理部１０８に出力する。
【０１０４】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを続けて取得していると判断した場合（Ｓ８３がＮｏ）、要不要判定部１０７は、Ｓ８４及びＳ８５を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
【０１０５】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【０１０６】
図１３に示す撮像装置１３００では、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１３００に対して被写体が前後に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【０１０７】
なお、上述の撮像装置１３００では、要不要判定部１０７において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行う構成であるが、受信信号強度検出部１３０２において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行うように構成してもよい。このように構成する場合、メタデータ生成部１０５において、不要な動画像フレームであることを示すフラグと、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、動画像ファイル管理部１０８は、そのメタデータにおける識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。また、要不要判定部１０７を省略することができる。
【０１０８】
図１６は、図１に示す画像処理装置１００の実施例５である撮像装置１６００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１０９】
図１６に示す撮像装置１６００の特徴とする点は、要不要判定データ生成部１０３の代わりに、縮小画像生成部１６０１を備え、その縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームがそれぞれ縮小され、それら縮小画像と識別情報ＰＩＤとが統合されてメタデータとして要不要判定データ生成部１０３へ出力される点である。
【０１１０】
図１６に示す要不要判定データ生成部１０３は、入力されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。図１６に示す要不要判定データ生成部１０３で生成される要不要判定データとしては、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
【０１１１】
なお、図１６に示す要不要判定部１０７や動画像ファイル管理部１０８の動作は、上述した実施例１〜４における要不要判定部１０７や動画像ファイル管理部１０８の動作と同様とする。また、図１６に示す要不要判定データ生成部１０３は、要不要判定部１０７の内部に設けられてもよい。
【０１１２】
このように、図１６に示す撮像装置１６００は、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際に撮像装置１６００にかかる負荷を抑えることができる。
【０１１３】
図１７は、本発明の実施形態の画像処理システムを示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１１４】
図１７に示す画像処理システムは、画像処理装置１００と、サーバ１７００とを有し、画像処理装置１００とサーバ１７００とが互いにネットワーク１７０１を介してデータを送受信する。
【０１１５】
図１７に示す画像処理装置１００において、図１に示す画像処理装置１００と異なる点は、不要な動画像フレームの判定処理を画像処理装置１００の外部のサーバ１７００で行わせている点である。
【０１１６】
すなわち、図１７に示す画像処理装置１００の送信部１７０２は、メタデータ生成部１０５で生成されるメタデータをサーバ１７００へ送信する。
【０１１７】
また、図１７に示すサーバ１７００の要不要判定部１７０３は、受信部１７０４で受信されるメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
【０１１８】
そして、図１７に示す画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される判定結果により、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報を、データが無い旨の情報に書き換える。
【０１１９】
なお、図１７に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１７に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【０１２０】
また、図１７に示す画像処理装置１００は、上述した実施例１〜５の何れかの撮像装置に置き換えることができる。
【０１２１】
このように、図１７に示す画像処理システムは、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００側で行う構成であるため、画像処理装置１００にかかる負荷を抑えることができる。
【０１２２】
図１８は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１２３】
図１８に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、要不要判定データ生成部１０３の代わりに、図１６に示す縮小画像生成部１６０１が画像処理装置１００に備えられているとともに、サーバ１７００に要不要判定データ生成部１８００が備えられている点である。
【０１２４】
すなわち、画像処理装置１００の縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームそれぞれの縮小画像が生成され、メタデータ生成部１０５により縮小画像と識別情報ＰＩＤとが統合されてメタデータとしてネットワーク１７０１を介して画像処理装置１００からサーバ１７００へ送信される。
【０１２５】
また、サーバ１７００の要不要判定データ生成部１８００により、受信されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データが生成される。なお、要不要判定データ生成部１８００で生成される要不要判定データは、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
【０１２６】
また、サーバ１７００の要不要判定部１７０３は、要不要判定データ生成部１８００で生成された要不要判定データに基づいて、受信されるメタデータにおける識別情報に対応する動画像フレームが編集時に不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
【０１２７】
そして、画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
【０１２８】
なお、図１８に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１８に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【０１２９】
このように、図１８に示す画像処理システムは、要不要判定データ生成部１８００をサーバ１７００に備えているため、画像処理装置１００にかかる負荷を抑えることができる。また、図１８に示す画像処理システムは、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際にサーバ１７００にかかる負荷を抑えることができる。
【０１３０】
図１９は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１に示す画像処理装置１００の構成や図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１３１】
図１９に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、負荷状態測定部１９００、及び分配切替部１９０１をさらに備えている点である。
この負荷状態測定部１９００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、負荷状態測定部１９００とする。
【０１３２】
負荷状態測定部１９００は、画像処理装置１００のリソース（例えば、ＣＰＵやメモリなど）の負荷状態を測定する。
【０１３３】
分配切替部１９０１は、負荷状態測定部１９００で測定される負荷状態に応じて、メタデータ生成部１０５で生成されるメタデータの送り先として、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部１９０１は、画像処理装置１００のリソースにかかっている負荷が高い場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００のリソースにかかっている負荷が高くない場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
【０１３４】
このように、図１９に示す画像処理システムは、画像処理装置１００のリソースにかかる負荷が高い場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
【０１３５】
図２０は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１３６】
図２０に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、電源モード検知部２０００、及び分配切替部２００１をさらに備えている点である。
この電源モード検知部２０００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、電源モード検知部２０００とする。
【０１３７】
電源モード検知部２０００は、画像処理装置１００の電源モード（例えば、画像処理装置１００の各部の全てに電力が供給される起動モードや画像処理装置１００の各部の一部に電力が供給される節電（待機）モード）を検知する。
【０１３８】
分配切替部２００１は、電源モード検知部２０００で検知される電源モードに応じて、メタデータ生成部１０５で生成されるメタデータの送り先を、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部２００１は、画像処理装置１００の電源モードが「節電（待機）モード」である場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００の電源モードが「起動モード」である場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
【０１３９】
このように、図２０に示す画像処理システムは、画像処理装置１００の電源モードが「節電（待機）モード」である場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
【符号の説明】
【０１４０】
１００ 画像処理装置
１０１ 撮像部
１０２ 画像処理部
１０３ 要不要判定データ生成部
１０４ 画像符号化部
１０５ メタデータ生成部
１０６ 記録部
１０７ 要不要判定部
１０８ 動画像ファイル管理部
１０９ 制御処理部
【技術分野】
【０００１】
本発明は、動画像の各動画像フレームの要不要を自動的に判定する技術に関する。
【背景技術】
【０００２】
近年、撮像装置の高解像度化や高速化、フラッシュメモリの大容量化、及び撮像装置内の画像処理回路の高速化や低電力化が進み、高解像度による長時間動画撮影や長時間動画再生が可能になってきている。
【０００３】
しかしながら、動画撮影時にユーザが意図をもって撮影していない場合や、とりあえず撮り逃しの無いように長時間、動画の撮影を行っている場合などでは、撮影後の動画像に不要な動画像フレームが多く含まれてしまう。すると、後工程としての動画の編集作業や再生作業に大きな負荷がかかり、動画の編集作業や再生作業の効率を下げてしまうおそれがある。例えば、動画像ファイルに不要な動画像フレームが多く含まれていると、目的の動画像フレームを探すために多くの手間や時間がかかったり、動画像ファイルを編集用プログラムや再生用プログラムにロードする際に多くの時間がかかったりしてしまう。
【０００４】
例えば、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２９５２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、動画の編集時や再生時において、動画像ファイルの各動画像フレームのうち、階調変化が少ない動画像フレームを不要な動画像フレームであると判定して、その動画像フレームを自動的に削除する技術は、動画像フレームの要不要を判定する際にユーザにかかる負荷を軽減することができるが、その動画像フレーム自動削除機能を含む編集用プログラムや再生用プログラムに動画像ファイルをロードする必要がやはりあるため、動画像ファイル内に不要な動画像フレームが多いと、編集作業や再生作業の効率を低下させてしまう。
【０００７】
本発明は、動画の編集作業や再生作業の効率低下を抑えることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像管理手段とを備える。
【発明の効果】
【０００９】
本発明によれば、動画の編集作業や再生作業の効率低下を抑えることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態の画像処理装置を示す図である。
【図２】メタデータ、動画像フレーム、記録部内のセクタ、及び記録部内のクラスタの一例を示す図である。
【図３Ａ】ディレクトリの一例を示す図である。
【図３Ｂ】ＦＡＴの一例を示す図である。
【図３Ｃ】データの状態を示す情報を書き換えた後のＦＡＴの一例を示す図である。
【図４】ＭＰＥＧ形式の符号化時における動画像フレーム、圧縮単位、及び記録部内のクラスタの一例を示す図である。
【図５Ａ】実施例１の撮像装置を示す図である。
【図５Ｂ】実施例１の撮像装置の変形例（その１）を示す図である。
【図５Ｃ】実施例１の撮像装置の変形例（その２）を示す図である。
【図６】実施例１の要不要判定部の動作を示すフローチャートである。
【図７】実施例１における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。
【図８】実施例１における要判定の動画像フレームと不要判定の動画像フレームの他の例を示す図である。
【図９】実施例２の撮像装置を示す図である。
【図１０】実施例２の要不要判定部の動作を示すフローチャートである。
【図１１】実施例３の撮像装置を示す図である。
【図１２】実施例３の要不要判定部の動作を示すフローチャートである。
【図１３】実施例４の撮像装置を示す図である。
【図１４】実施例４の要不要判定部の動作を示すフローチャートである。
【図１５】実施例４における要判定の動画像フレームと不要判定の動画像フレームの一例を示す図である。
【図１６】本発明の他の実施形態の撮像装置を示す図である。
【図１７】本発明の実施形態の画像処理システムを示す図である。
【図１８】本発明の他の実施形態の画像処理システムを示す図である。
【図１９】本発明のさらに他の実施形態の画像処理システムを示す図である。
【図２０】本発明のさらに他の実施形態の画像処理システムを示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態の画像処理装置を示す図である。
【００１２】
図１の画像処理装置１００は、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。なお、制御処理部１０９は、画像処理装置１００内の各部の動作を制御するものとする。
【００１３】
要不要判定データ生成部１０３は、外部（例えば、撮像装置や外部記録部など）から画像処理装置１００に入力される動画像ファイルの各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。
【００１４】
画像符号化部１０４は、外部から画像処理装置１００に入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録部１０６に記録する。例えば、画像符号化部１０４は、図２に示すように、入力される動画像に対してＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）形式の符号化を行うとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットに分割しつつ、それらＴＳパケットにそれぞれ「識別情報ＰＩＤ（Ｐａｃｋｅｔ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）」（Ｋ、Ｋ＋１、・・・）を付与して記録部１０６に記録する。
【００１５】
また、図１に示す記録部１０６は、画像処理装置１００に内蔵の記録部（例えば、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））でも画像処理装置１００に着脱可能な外部記録部（例えば、ＣＤ−Ｒ（Ｒｅｗｒｉｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｒｅｗｒｉｔｂｌｅ Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の媒体、メモリカード、又はＵＳＢメモリなど）でもよく、例えば、不揮発性メモリ、又はフラッシュメモリなどにより構成される。
【００１６】
また、記録部１０６は、画像符号化部１０４において各データにそれぞれ付与された識別情報と、記録部１０６内の記録位置を示す情報との対応関係を示す識別情報／記録位置テーブルを備える。例えば、記録部１０６は、図３Ａに示すように、識別情報ＰＩＤと、記録部１０６内のクラスタの位置を示すクラスタ番号との対応関係を示す識別情報／記録位置テーブルとしてのディレクトリを備える。
【００１７】
また、記録部１０６は、記録部１０６内の記録位置を示す情報と、各記録位置におけるデータの状態を示す情報（例えば、他の記録位置にデータが続く際のその記録位置を示す情報、データがこの記録位置で終わることを示す情報、又はこの記録位置にデータが無いことを示す情報）との対応関係を示す記録位置／データ状態情報テーブルを備える。例えば、記録部１０６は、図３Ｂに示すように、記録部１０６内のクラスタの位置を示すクラスタ番号と、各クラスタ番号におけるデータの状態を示す情報（例えば、他のクラスタにデータが続く際のそのクラスタの位置を示すクラスタ番号、データがこのクラスタで終わることを示す情報：「ＦＦＦＦ」、又はこのクラスタにデータが無いことを示す情報：「００００」）との対応関係を示す記録位置／データ状態情報テーブルとしてのＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）を備える。
【００１８】
メタデータ生成部１０５は、符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その動画像フレームに対応する要不要判定データとを統合してメタデータを生成する。例えば、メタデータ生成部１０５は、図２に示すように、符号化後の動画像フレームｆ１の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋと、動画像フレームｆ１に対応する要不要判定データとを統合して動画像フレームｆ１に対応するメタデータを生成する。また、メタデータ生成部１０５は、符号化後の動画像フレームｆ２の分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤ＝Ｋ＋ｎ＋１と、動画像フレームｆ２に対応する要不要判定データとを統合して動画像フレームｆ２に対応するメタデータを生成する。なお、要不要判定データと統合される識別情報ＰＩＤは、符号化後の動画像フレームの分割後の各ＴＳパケットのうちの先頭のＴＳパケットの識別情報ＰＩＤに限定されない。
【００１９】
要不要判定部１０７は、メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する。
【００２０】
動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
【００２１】
例えば、図２に示す動画像フレームｆ２が不要と判定された場合、動画像ファイル管理部１０８は、図３Ａに示すディレクトリを用いて、動画像フレームｆ２の識別情報ＰＩＤ＝Ｋ＋ｎ＋１に対応する記録部１０６内のクラスタの位置を示すクラスタ番号として「０００３」を特定する。次に、動画像ファイル管理部１０８は、図３Ｂに示すＦＡＴを用いて、特定したクラスタ番号「０００３」におけるデータの状態を示す情報「０００４」を「００００」に書き換えるとともに、さらに他のクラスタにも動画像フレームｆ２が記録される際のそのクラスタの位置を示すクラスタ番号「０００４」におけるデータの状態を示す情報「ＦＦＦＦ」を「００００」に書き換える。
【００２２】
なお、記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、動画像ファイル管理部１０８は、このテーブルを用いて、要不要判定部１０７により不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【００２３】
本発明の実施形態の画像処理装置１００は、編集作業や再生作業の前段階において、動画像の各動画像フレームのうち、不要な動画像フレームと判定された動画像フレームに対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える構成であるため、その動画像の編集時や再生時において、動画像を記録部１０６から読み出す際、不要な動画像フレーム以外が読み出される。このように、編集作業や再生作業の前段階において不要な動画像フレームを動画像ファイルから実質的に削除しておくことができるため、編集作業時や再生作業時において、動画像ファイルを編集用プログラムや再生用プログラムにロードする時間を短縮することができ、編集作業や再生作業の効率低下を抑えることができる。
【００２４】
また、本発明の実施形態の画像処理装置１００は、記録部１０６から不要な動画像フレーム以外を読み出すために、記録部１０６の記録位置におけるデータの状態を示す情報を書き換えるだけであるため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
【００２５】
また、本発明の実施形態の画像処理装置１００は、不要な動画像フレームに対応する記録部１０６内の記録位置を特定するために、符号化後の動画像フレームの分割後の各データに付与される識別情報を使用しているため、データ処理量を少なくすることができ、画像処理装置１００にかかる負荷を抑えることができる。
【００２６】
なお、要不要判定部１０７は、連続する複数の不要な動画像フレームのうち、先頭の動画像フレームであることを示す先頭情報Ｋｉと、末尾の動画像フレームであることを示す末尾情報Ｋｊとを動画像ファイル管理部１０８に送るように構成してもよい。すなわち、識別情報ＰＩＤ上に不要判定された動画像の先頭である事を示すフラグと、末尾で有ることを示すフラグを記述する様にしても良い。この場合、動画像ファイル管理部１０８は、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるとともに、先頭情報Ｋｉ及び末尾情報Ｋｊにそれぞれ対応する各動画像フレームの間の動画像フレームに対応する、記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える。また、動画像ファイル管理部１０８は、不要な動画像フレームの先頭であることを示すフラグおよび不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、不要な動画像フレームの先頭と不要な動画像フレームの末尾との間にある動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるようにしても良い。
また、上記記録部１０６のデータの書き換えのタイミングに関しては不要判定の先頭である事を示すフラグと、末尾で有ることを示すフラグの対が受信されたところでデータの書き換えを行うようにしても良い。
【００２７】
また、画像符号化部１０４において、入力される動画像に対して、ＭＰＥＧ形式の符号化が行われる場合、例えば、図４に示すように、ＳＨ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）及びＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の圧縮単位（例えば、Ｉフレーム（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｂ１フレーム〜Ｂ３フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ））で符号化が行われる。このような場合、動画像ファイル管理部１０８は、先頭の不要動画像フレームが含まれるＧＯＰから末尾の不要動画像フレームが含まれるＧＯＰまでの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全てデータが無い旨の情報に書き換える。図４の例では、先頭の不要動画像フレームＢ１が含まれるＧＯＰに対応するクラスタ番号「０００２」から末尾の不要動画像フレームＢ２’が含まれるＧＯＰに対応するクラスタ番号「００１４」までの範囲に対応する、記録部１０６の記録位置におけるデータの状態を示す情報を全て「００００」に書き換える。
【００２８】
また、記録部１０６は、ＦＡＴと同じ内容の復帰用テーブルを備えていてもよい。この場合、動画像ファイル管理部１０８は、その復帰用テーブルを用いて、復帰対象であるデータの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報を、元の情報に戻すことができる。これにより、不要な動画像フレームであると判定されて、その動画像フレームの識別情報に対応する記録部１０６内の記録位置におけるデータの状態を示す情報が、データが無い旨の情報に書き換えられた後でも、その動画像フレームを読み出し可能な状態に戻すことができる。
【００２９】
図５Ａは、図１に示す画像処理装置１００の実施例１である撮像装置５００を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００３０】
図５Ａに示す撮像装置５００は、撮像部１０１と、画像処理部１０２と、要不要判定データ生成部１０３と、画像符号化部１０４と、メタデータ生成部１０５と、記録部１０６と、要不要判定部１０７と、動画像ファイル管理部１０８と、制御処理部１０９とを備える。
【００３１】
撮像部１０１は、例えば、レンズによってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し静止画像フレーム又は複数の動画像フレームからなる動画像を得る。
【００３２】
画像処理部１０２は、撮像部１０１により得られる静止画像又は動画像の各動画像フレームに対して、シャープネス補正、コントラスト補正、輝度・色差信号生成、及びホワイトバランス補正などの各種画像処理を行う。
【００３３】
画像符号化部１０４は、画像処理後の静止画像フレームに対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などの符号化を行う。また、画像符号化部１０４は、画像処理後の動画像に対してＭＰＥＧ形式などの符号化を行う。
【００３４】
図５Ａに示す撮像装置５００の特徴とする点は、要不要判定データ生成部１０３として被写体検出処理部５０１を備え、その被写体検出処理部５０１により、画像処理後の動画像の各動画像フレームにおいて、それぞれ、要不要判定データとしての「被写体の位置」及び「被写体のサイズ」が検出され、メタデータ生成部１０５において、検出された「被写体の位置」及び「被写体のサイズ」と、識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００３５】
図６は、図５Ａに示す撮像装置５００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００３６】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「被写体の位置」及び「被写体のサイズ」を入力する（Ｓ１１）。なお、被写体検出処理部５０１は、画像処理後の動画像フレーム内において被写体を検出した後、その検出した被写体を囲む矩形範囲を被写体エリアとし、その被写体エリアの左上の画素位置（ｘ０，ｙ０）を「被写体の位置」とする。また、被写体検出処理部５０１は、「被写体のサイズ」として被写体エリアの横方向の画素数をＷとするとともに被写体エリアの縦方向の画素数をＨとする。また、被写体検出処理部５０１は、動画像フレームから被写体が検出されない場合、ｘ０を０よりも小さい値にする。また、動画像フレームの左上の画素位置を（１，１）とする。
【００３７】
次に、要不要判定部１０７は、ｘ０が０よりも小さいか否か、すなわち、被写体が検出されていないか否かを判断する（Ｓ１２）。
【００３８】
被写体が検出されていると判断した場合（Ｓ１２がＮｏ）、要不要判定部１０７は、Ｗが閾値Ｔｈｒ＿Ｗよりも小さいか否か又はＨが閾値Ｔｈｒ＿Ｈよりも小さいか否か、すなわち、被写体が所定サイズよりも小さいか否かを判断する（Ｓ１３）。なお、閾値Ｔｈｒ＿Ｗや閾値Ｔｈｒ＿Ｈは、ユーザなどにより予め設定されていてもよい。
【００３９】
被写体が所定サイズよりも大きいと判断した場合（Ｓ１３がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｌ＿ｘよりも小さいか否か、すなわち、被写体エリアが動画像フレームの左端より外側に外れているか否かを判断する（Ｓ１４）。なお、閾値Ｔｈｒ＿Ｌ＿ｘは、ユーザなどにより予め設定されていてもよい。
【００４０】
被写体エリアが動画像フレームの左端より外側に外れていないと判断した場合（Ｓ１４がＮｏ）、要不要判定部１０７は、ｘ０＋Ｗ／２が閾値Ｔｈｒ＿Ｒ＿ｘよりも大きいか否か、すなわち、被写体エリアの右端が動画像フレームの右端より外側に外れているか否かを判断する（Ｓ１５）。なお、閾値Ｔｈｒ＿Ｒ＿ｘは、ユーザなどにより予め設定されていてもよい。
【００４１】
被写体エリアの右端が動画像フレームの右端より外側に外れていないと判断した場合（Ｓ１５がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｕ＿ｙよりも大きいか否か、すなわち、被写体エリアの上端が動画像フレームの上端より外側に外れているか否かを判断する（Ｓ１６）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
【００４２】
被写体エリアの上端が動画像フレームの上端より外側に外れていないと判断した場合（Ｓ１６がＮｏ）、要不要判定部１０７は、ｙ０＋Ｈ／２が閾値Ｔｈｒ＿Ｄ＿ｙよりも小さいか否か、すなわち、被写体エリアの下端が動画像フレームの下端より外側に外れているか否かを判断する（Ｓ１７）。なお、閾値Ｔｈｒ＿Ｕ＿ｙは、ユーザなどにより予め設定されていてもよい。
【００４３】
被写体エリアの下端が動画像フレームの下端より外側に外れていないと判断した場合（Ｓ１７がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ１８）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ１９）。
【００４４】
次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２０）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ２１）。
【００４５】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ２１がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２２）、動画像ファイル管理部１０８に出力する（Ｓ２３）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝７に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝８に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝７とを統合して動画像ファイル管理部１０８に出力する。
【００４６】
次に、要不要判定部１０７は、ユーザから動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ２４がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ２４がＮｏ）、Ｓ１１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００４７】
一方、前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ２１がＮｏ）、要不要判定部１０７は、Ｓ２２及びＳ２３を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
【００４８】
また、要不要判定部１０７は、「被写体が検出されていない（Ｓ１２がＹｅｓ）」、「被写体が所定サイズよりも小さい（Ｓ１３がＹｅｓ）」、「被写体エリアが動画像フレームの左端より外側に外れている（Ｓ１４がＹｅｓ）」、「被写体エリアが動画像フレームの右端より外側に外れている（Ｓ１５がＹｅｓ）」、「被写体エリアが動画像フレームの上端より外側に外れている（Ｓ１６がＹｅｓ）」、及び「被写体エリアが動画像フレームの下端より外側に外れている（Ｓ１７がＹｅｓ）」の少なくとも１つを判断すると、その動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ２５）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ２６）。
【００４９】
次に、要不要判定部１０７は、今回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得した動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ２７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ２８）。
【００５０】
今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ２８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ２９）、動画像ファイル管理部１０８に出力し（Ｓ３０）、動画撮影が終了したか否かを判断する（Ｓ２４）。例えば、図７に示すように、識別情報ＰＩＤ＝７〜１２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１２に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１２とを統合して動画像ファイル管理部１０８に出力する。
【００５１】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ２８がＮｏ）、要不要判定部１０７は、Ｓ２９及びＳ３０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ２４）。
【００５２】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００５３】
図５Ａに示す撮像装置５００は、被写体の位置やサイズに応じて、動画像フレームの要不要が判定されるため、スポーツやレースの観戦時など被写体が激しく動く場合において取得される動画像のデータ量の削減に有効である。
【００５４】
なお、図６に示す要不要判定部１０７の動作例では、メタデータに記述されている構図指標は被写体の位置やサイズに基づいており、動画像フレームの要不要判定を行う構成であるが、図８に示すように、同じような構図の動画像フレームを連続して取得されるとき、それらの動画像フレームを編集時や再生時に不要な動画像フレームと判定するように構成してもよい。例えば、要不要判定部１０７は、図８に示す識別情報ＰＩＤ＝７に対応する動画像フレームの構図と、識別情報ＰＩＤ＝８、９に対応する動画像フレームの構図との差異が所定値以下であると判断されるとき、識別情報ＰＩＤ＝９に対応する動画像フレームに対して先頭情報Ｋｉを設定する。また、構図の差異が所定値以下のフレームが所定数以上連続する場合に、読出し制御部１１２は、連続するフレームの後部に相当する識別情報の動画像フレームに対して先頭情報Ｋｉを設定する。
なお、上記フレーム間の差異の測定方法としては、図８に示した、構図指標すなわち被写体の位置サイズの検出の差異の他に、画像の統計量に基づきフレーム間の差異を求めとも良い。フレーム間のレベル差の差分の合計値が所定値以下の場合、比較するフレームのヒストグラムの変化量の合計値が所定値以下の場合を不要とする等を使っても良い。フレーム間の差分を用いる場合、例えば、図５Ｂに示すように、被写体検出処理部５０１の代わりにフレーム間差分を積分する差分演算部５０１１を備える。また、ヒストグラムを用いる場合には、例えば、図５Ｃに示すように、被写体検出処理部５０１の代わりにヒストグラムを算出しフレーム間のヒストグラムの差分またはその積分を計算するヒストグラム差分演算部５０１２を備える。
【００５５】
図９は、図１に示す画像処理装置１００の実施例２である撮像装置９００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００５６】
図９に示す撮像装置９００の特徴とする点は、要不要判定データ生成部１０３としてフォーカス情報処理部９０１を備え、そのフォーカス情報処理部９０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「フォーカス情報」が設定され、メタデータ生成部１０５により、「フォーカス情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００５７】
図１０は、図９に示す撮像装置９００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００５８】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「フォーカス情報」を入力する（Ｓ３１）。なお、フォーカス情報処理部９０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するコントラスト評価値Ｃ０を画像処理部１０２から得るとともに、フォーカスレンズのレンズ位置Ｌ０を撮像部１０１から得てメタデータ生成部１０５へ出力する。また、コントラスト評価値Ｃ０が０よりも小さいとき、フォーカスができていない、すなわち、フォーカスレンズの焦点が合っていないものとする。
【００５９】
次に、要不要判定部１０７は、Ｃ０が０以上である、すなわち、フォーカスレンズの焦点が合っていると判断した場合（Ｓ３２がＮｏ）、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎを要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３３）。
【００６０】
次に、要不要判定部１０７は、今回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎと前回取得された動画像フレームに対応するレンズ位置Ｌ０＿ｎ−１とを上記記憶部から読み出し（Ｓ３４）、それらレンズ位置Ｌ０＿ｎとレンズ位置Ｌ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｌよりも大きいか否か、すなわち、フォーカスが安定していないか否かを判断する（Ｓ３５）。
【００６１】
フォーカスが安定していると判断した場合（Ｓ３５がＮｏ）、要不要判定部１０７は、その動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ３６）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ３７）。
【００６２】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ３８）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ３９）。
【００６３】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ３９がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４０）、動画像ファイル管理部１０８に出力する（Ｓ４１）。
【００６４】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ４２がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ４２がＮｏ）、Ｓ３１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００６５】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ３９がＮｏ）、要不要判定部１０７は、Ｓ４０及びＳ４１を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００６６】
また、要不要判定部１０７は、フォーカスができていないと判断した場合（Ｓ３２がＹｅｓ）又はフォーカスが安定していないと判断した場合（Ｓ３５がＹｅｓ）、そのときの動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ４３）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ４４）。
【００６７】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ４５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ４６）。
【００６８】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ４６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ４７）、動画像ファイル管理部１０８に出力し（Ｓ４８）、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００６９】
一方、今回取得した動画像フレームが編集時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ４６がＮｏ）、要不要判定部１０７は、Ｓ４７及びＳ４８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ４２）。
【００７０】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００７１】
図９に示す撮像装置９００では、フォーカスができていないか否か又はフォーカスが安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体だけでなく撮影者も移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【００７２】
図１１は、図１に示す画像処理装置１００の実施例３である撮像装置１１００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００７３】
図１１に示す撮像装置１１００の特徴とする点は、要不要判定データ生成部１０３としてズーム情報処理部１１０１を備え、そのズーム情報処理部１１０１により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての「ズーム情報」が設定され、メタデータ生成部１０５により、「ズーム情報」と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。
【００７４】
図１２は、図１１に示す撮像装置１１００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００７５】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「ズーム情報」を入力する（Ｓ５１）。なお、ズーム情報処理部１１０１は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応するズーム情報Ｚ０（例えば、ズームレンズのレンズ位置やレンズ移動量など）を撮像部１０１から得てメタデータ生成部１０５へ出力する。
【００７６】
次に、要不要判定部１０７は、入力されるズーム情報Ｚ０を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５２）。
【００７７】
次に、要不要判定部１０７は、今回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎと前回取得された動画像フレームに対応するズーム情報Ｚ０＿ｎ−１とを上記記憶部から読み出し（Ｓ５３）、それらズーム情報Ｚ０＿ｎとズーム情報Ｚ０＿ｎ−１との差分の絶対値が閾値Ｔｈｒ＿Ｚよりも大きいか否か、すなわち、ズームレンズのレンズ位置が安定していないか否かを判断する（Ｓ５４）。
【００７８】
ズームレンズのレンズ位置が安定していると判断した場合（Ｓ５４がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ５５）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ５６）。
【００７９】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ５７）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ５８）。
【００８０】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ５８がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ５９）、動画像ファイル管理部１０８に出力する（Ｓ６０）。
【００８１】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ６１がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ６１がＮｏ）、Ｓ５１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【００８２】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ５８がＮｏ）、要不要判定部１０７は、Ｓ５９及びＳ６０を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８３】
また、要不要判定部１０７は、ズームレンズのレンズ位置が安定していないと判断した場合（Ｓ５４がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ６２）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ６３）。
【００８４】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ６４）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ６５）。
【００８５】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ６５がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ６６）、動画像ファイル管理部１０８に出力し（Ｓ６７）、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８６】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを連続して取得していると判断した場合（Ｓ６５がＮｏ）、要不要判定部１０７は、Ｓ６６及びＳ６７を実行せずに、動画撮影が終了したか否かを判断する（Ｓ６１）。
【００８７】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【００８８】
図１１に示す撮像装置１１００では、ズームレンズのレンズ位置が安定していないか否かに応じて、動画像フレームの要不要が判断されるため、例えば、被写体が撮影者に対して前後方向に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【００８９】
なお、不要な動画像フレームの要不要判定処理に使用される情報は、上述した実施例１〜３のように、被写体の位置やサイズ、フォーカス情報、又はズーム情報に限定されない。例えば、画像処理後の各動画像フレームの輝度階調のヒストグラムを使用してもよい。
【００９０】
また、上述した被写体の位置やサイズ、フォーカス情報、ズーム情報、及び輝度階調のヒストグラムのうち、２つ以上の情報を組み合わせて、不要な動画像フレームの要不要判定処理に使用してもよい。
【００９１】
図１３は、図１に示す画像処理装置１００の実施例４である撮像装置１３００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【００９２】
図１３に示す撮像装置１３００の特徴とする点は、要不要判定データ生成部１０３として無線アンテナ１３０１及び受信信号強度検出部１３０２を備え、受信信号強度検出部１３０２により、画像処理後の動画像の各動画像フレームに対して、それぞれ、要不要判定データとしての受信信号強度情報（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）Ｒ０が検出され、メタデータ生成部１０５により、受信信号強度情報Ｒ０と識別情報ＰＩＤとが統合されてメタデータとして要不要判定部１０７へ出力される点である。なお、無線アンテナ１３０１は、被写体に備えられる送信機から送信される信号や撮像装置１３００から送信され被写体に反射した信号を受信するものとする。
【００９３】
図１４は、図１３に示す撮像装置１３００における要不要判定部１０７の動作の一例を示すフローチャートである。
【００９４】
まず、要不要判定部１０７は、撮像部１０１により動画像フレームが取得され始めて、メタデータ生成部１０５からメタデータが出力され始めると、そのメタデータに示される「受信信号強度情報」を入力する（Ｓ７１）。なお、受信信号強度検出部１３０２は、撮像部１０１が動画像フレームを取得する度に、その動画像フレームに対応させて、無線アンテナ１３０１により受信される受信信号のレベルを受信信号強度情報Ｒ０としてメタデータ生成部１０５へ出力する。
【００９５】
次に、要不要判定部１０７は、入力される受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否か、すなわち、撮像装置１３００に対して被写体が遠い位置にあるか否かを判断する（Ｓ７２）。
【００９６】
被写体が遠い位置にないと判断した場合（Ｓ７２がＮｏ）、要不要判定部１０７は、今回取得された動画像フレームを編集時や再生時に必要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝１を設定し（Ｓ７３）、その要不要判定フラグＦＬＧ＿ｎ＝１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ７４）。
【００９７】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ７５）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであるか否かを判断する（Ｓ７６）。
【００９８】
前回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームであると判断した場合（Ｓ７６がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの末尾の動画像フレームであることを示す末尾情報Ｋｊと前回取得された動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ７７）、動画像ファイル管理部１０８に出力する（Ｓ７８）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝２２に対応する要不要判定フラグＦＬＧ＿ｎが「１」で、かつ、識別情報ＰＩＤ＝２１に対応する要不要判定フラグＦＬＧ＿ｎ−１が「−１」のとき、要不要判定部１０７は、末尾情報Ｋｊと識別情報ＰＩＤ＝２１とを統合して動画像ファイル管理部１０８に出力する。
【００９９】
次に、要不要判定部１０７は、ユーザからの動画撮影終了指示などを受け取り動画撮影が終了したと判断すると（Ｓ７９がＹｅｓ）、不要な動画像フレームの判定処理を終了し、まだ動画撮影が終了していないと判断すると（Ｓ７９がＮｏ）、Ｓ７１に戻り、次に取得される動画像フレームに対応するメタデータを入力する。
【０１００】
一方、前回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの末尾の動画像フレームでないと判断した場合、すなわち、今回取得された動画像フレームも編集時や再生時に必要な動画像フレームであり必要な動画像フレームを連続して取得していると判断した場合（Ｓ７６がＮｏ）、要不要判定部１０７は、Ｓ７７及びＳ７８を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
【０１０１】
また、要不要判定部１０７は、被写体が遠い位置にあると判断した場合（Ｓ７２がＹｅｓ）、今回取得された動画像フレームを編集時や再生時に不要な動画像フレームであると判断して、要不要判定フラグＦＬＧ＿ｎ＝−１を設定し（Ｓ８０）、その要不要判定フラグＦＬＧ＿ｎ＝−１を要不要判定部１０７の内部又は外部にある記憶部に保持する（Ｓ８１）。
【０１０２】
次に、要不要判定部１０７は、今回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎと前回取得された動画像フレームの要不要判定フラグＦＬＧ＿ｎ−１とを上記記憶部から読み出し（Ｓ８２）、それら要不要判定フラグＦＬＧ＿ｎと要不要判定フラグＦＬＧ＿ｎ−１との乗算結果がゼロよりも小さいか否か、すなわち、今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであるか否かを判断する（Ｓ８３）。
【０１０３】
今回取得された動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームであると判断した場合（Ｓ８４がＹｅｓ）、要不要判定部１０７は、不要な１以上の動画像フレームのうちの先頭の動画像フレームであることを示す先頭情報Ｋｉと今回取得した動画像フレームに対応する識別情報ＰＩＤとを統合して（Ｓ８４）、動画像ファイル管理部１０８に出力し（Ｓ８５）、動画撮影が終了したか否かを判断する（Ｓ７９）。例えば、図１５に示すように、識別情報ＰＩＤ＝１５〜２２の複数の動画像フレームが取得された場合において、識別情報ＰＩＤ＝１６に対応する要不要判定フラグＦＬＧ＿ｎが「−１」で、かつ、識別情報ＰＩＤ＝１５に対応する要不要判定フラグＦＬＧ＿ｎ−１が「１」のとき、要不要判定部１０７は、先頭情報Ｋｉと識別情報ＰＩＤ＝１６とを統合して動画像ファイル管理部１０８に出力する。
【０１０４】
一方、今回取得した動画像フレームが編集時や再生時に不要な１以上の動画像フレームのうちの先頭の動画像フレームでないと判断した場合、すなわち、前回取得された動画像フレームも編集時や再生時に不要な動画像フレームであり不要な動画像フレームを続けて取得していると判断した場合（Ｓ８３がＮｏ）、要不要判定部１０７は、Ｓ８４及びＳ８５を実行せずに、動画撮影が終了したか否かを判断する（Ｓ７９）。
【０１０５】
そして、動画像ファイル管理部１０８は、要不要判定部１０７から先頭情報Ｋｉ及び末尾情報Ｋｊが出力されると、先頭情報Ｋｉとともに出力された識別情報ＰＩＤから先頭情報Ｋｊとともに出力された識別情報ＰＩＤまでの間の全ての識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。
【０１０６】
図１３に示す撮像装置１３００では、受信信号強度情報Ｒ０に応じて、動画像フレームの要不要が判定されるため、例えば、撮像装置１３００に対して被写体が前後に移動している場合において取得される動画像ファイルのデータ量の削減に有効である。
【０１０７】
なお、上述の撮像装置１３００では、要不要判定部１０７において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行う構成であるが、受信信号強度検出部１３０２において、受信信号強度情報Ｒ０が閾値Ｔｈｒ＿Ｒよりも大きいか否かに基づいて、動画像フレームの要不要判定処理を行うように構成してもよい。このように構成する場合、メタデータ生成部１０５において、不要な動画像フレームであることを示すフラグと、その動画像フレームに対応する識別情報とが統合されてメタデータが生成される。また、動画像ファイル管理部１０８は、そのメタデータにおける識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をそれぞれデータが無い旨の情報に書き換える。また、要不要判定部１０７を省略することができる。
【０１０８】
図１６は、図１に示す画像処理装置１００の実施例５である撮像装置１６００を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１０９】
図１６に示す撮像装置１６００の特徴とする点は、要不要判定データ生成部１０３の代わりに、縮小画像生成部１６０１を備え、その縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームがそれぞれ縮小され、それら縮小画像と識別情報ＰＩＤとが統合されてメタデータとして要不要判定データ生成部１０３へ出力される点である。
【０１１０】
図１６に示す要不要判定データ生成部１０３は、入力されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する。図１６に示す要不要判定データ生成部１０３で生成される要不要判定データとしては、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
【０１１１】
なお、図１６に示す要不要判定部１０７や動画像ファイル管理部１０８の動作は、上述した実施例１〜４における要不要判定部１０７や動画像ファイル管理部１０８の動作と同様とする。また、図１６に示す要不要判定データ生成部１０３は、要不要判定部１０７の内部に設けられてもよい。
【０１１２】
このように、図１６に示す撮像装置１６００は、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際に撮像装置１６００にかかる負荷を抑えることができる。
【０１１３】
図１７は、本発明の実施形態の画像処理システムを示す図である。なお、図１に示す構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１１４】
図１７に示す画像処理システムは、画像処理装置１００と、サーバ１７００とを有し、画像処理装置１００とサーバ１７００とが互いにネットワーク１７０１を介してデータを送受信する。
【０１１５】
図１７に示す画像処理装置１００において、図１に示す画像処理装置１００と異なる点は、不要な動画像フレームの判定処理を画像処理装置１００の外部のサーバ１７００で行わせている点である。
【０１１６】
すなわち、図１７に示す画像処理装置１００の送信部１７０２は、メタデータ生成部１０５で生成されるメタデータをサーバ１７００へ送信する。
【０１１７】
また、図１７に示すサーバ１７００の要不要判定部１７０３は、受信部１７０４で受信されるメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
【０１１８】
そして、図１７に示す画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される判定結果により、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報を、データが無い旨の情報に書き換える。
【０１１９】
なお、図１７に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１７に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【０１２０】
また、図１７に示す画像処理装置１００は、上述した実施例１〜５の何れかの撮像装置に置き換えることができる。
【０１２１】
このように、図１７に示す画像処理システムは、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００側で行う構成であるため、画像処理装置１００にかかる負荷を抑えることができる。
【０１２２】
図１８は、本発明の他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１２３】
図１８に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、要不要判定データ生成部１０３の代わりに、図１６に示す縮小画像生成部１６０１が画像処理装置１００に備えられているとともに、サーバ１７００に要不要判定データ生成部１８００が備えられている点である。
【０１２４】
すなわち、画像処理装置１００の縮小画像生成部１６０１により、画像処理後の動画像の各動画像フレームそれぞれの縮小画像が生成され、メタデータ生成部１０５により縮小画像と識別情報ＰＩＤとが統合されてメタデータとしてネットワーク１７０１を介して画像処理装置１００からサーバ１７００へ送信される。
【０１２５】
また、サーバ１７００の要不要判定データ生成部１８００により、受信されるメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データが生成される。なお、要不要判定データ生成部１８００で生成される要不要判定データは、例えば、上述した被写体の位置やサイズ又は輝度階調のヒストグラムなどとする。
【０１２６】
また、サーバ１７００の要不要判定部１７０３は、要不要判定データ生成部１８００で生成された要不要判定データに基づいて、受信されるメタデータにおける識別情報に対応する動画像フレームが編集時に不要な動画像フレームであるか否かを判定し、その判定結果を送信部１７０５により画像処理装置１００へ送信する。
【０１２７】
そして、画像処理装置１００の動画像ファイル管理部１０８は、記録部１０６内の識別情報／記録位置テーブルを用いて、受信部１７０６で受信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６内の記録位置を特定する。また、動画像ファイル管理部１０８は、記録部１０６内の記録位置／データ状態情報テーブルを用いて、特定した記録位置に対応するデータの状態を示す情報を特定し、その特定したデータの状態を示す情報をデータが無い旨の情報に書き換える。
【０１２８】
なお、図１８に示す記録部１０６は、記録部１０６に記録される全ての識別情報と、それら識別情報にそれぞれ対応する記録部１０６の記録位置におけるデータの状態を示す情報とが対応付けられたテーブルを備えていてもよい。また、この場合、図１８に示す動画像ファイル管理部１０８は、このテーブルを用いて、サーバ１７００から送信される、不要な動画像フレームと判定された動画像フレームの識別情報に対応する記録部１０６の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換えるように構成してもよい。
【０１２９】
このように、図１８に示す画像処理システムは、要不要判定データ生成部１８００をサーバ１７００に備えているため、画像処理装置１００にかかる負荷を抑えることができる。また、図１８に示す画像処理システムは、要不要判定データを生成する際、縮小画像を用いるため、要不要判定データを生成する際にサーバ１７００にかかる負荷を抑えることができる。
【０１３０】
図１９は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１に示す画像処理装置１００の構成や図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１３１】
図１９に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、負荷状態測定部１９００、及び分配切替部１９０１をさらに備えている点である。
この負荷状態測定部１９００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、負荷状態測定部１９００とする。
【０１３２】
負荷状態測定部１９００は、画像処理装置１００のリソース（例えば、ＣＰＵやメモリなど）の負荷状態を測定する。
【０１３３】
分配切替部１９０１は、負荷状態測定部１９００で測定される負荷状態に応じて、メタデータ生成部１０５で生成されるメタデータの送り先として、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部１９０１は、画像処理装置１００のリソースにかかっている負荷が高い場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００のリソースにかかっている負荷が高くない場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
【０１３４】
このように、図１９に示す画像処理システムは、画像処理装置１００のリソースにかかる負荷が高い場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
【０１３５】
図２０は、本発明のさらに他の実施形態の画像処理システムを示す図である。なお、図１７に示す画像処理システムの構成と同じ構成には同じ符号を付しその構成の説明を省略する。
【０１３６】
図２０に示す画像処理システムにおいて、図１７に示す画像処理システムと異なる点は、画像処理装置１００が要不要判定部１０７、電源モード検知部２０００、及び分配切替部２００１をさらに備えている点である。
この電源モード検知部２０００は、画像処理装置１００に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出部の一例である。なお、特許請求の範囲における検出手段は、例えば、電源モード検知部２０００とする。
【０１３７】
電源モード検知部２０００は、画像処理装置１００の電源モード（例えば、画像処理装置１００の各部の全てに電力が供給される起動モードや画像処理装置１００の各部の一部に電力が供給される節電（待機）モード）を検知する。
【０１３８】
分配切替部２００１は、電源モード検知部２０００で検知される電源モードに応じて、メタデータ生成部１０５で生成されるメタデータの送り先を、サーバ１７００の要不要判定部１７０３及び画像処理装置１００の要不要判定部１０７のどちらか一方に切り替える。例えば、分配切替部２００１は、画像処理装置１００の電源モードが「節電（待機）モード」である場合、メタデータをサーバ１７００の要不要判定部１７０３へ送り、画像処理装置１００の電源モードが「起動モード」である場合、メタデータを画像処理装置１００の要不要判定部１０７に送る。
【０１３９】
このように、図２０に示す画像処理システムは、画像処理装置１００の電源モードが「節電（待機）モード」である場合、動画像フレームの要不要判定処理を行う際に画像処理装置１００のリソースを十分に利用することができないと判断して、動画像フレームの要不要判定処理を画像処理装置１００の外部のサーバ１７００で行わせる構成であるため、動画像フレームの要不要判定処理の効率を向上させることができる。
【符号の説明】
【０１４０】
１００ 画像処理装置
１０１ 撮像部
１０２ 画像処理部
１０３ 要不要判定データ生成部
１０４ 画像符号化部
１０５ メタデータ生成部
１０６ 記録部
１０７ 要不要判定部
１０８ 動画像ファイル管理部
１０９ 制御処理部
【特許請求の範囲】
【請求項１】
入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。
【請求項３】
請求項１、２の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記要不要判定手段データが、前記Ｍｐｅｇ２形式の符号化の単位ＧＯＰで付与される
ことを特徴とすることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段を更に有し、
前記要不要判定手段は、前記メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記画像特徴量が、被写体の構図を示す構図指標である
ことを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記画像特徴量が、画像の輝度値の統計量である
ことを特徴とする画像処理装置。
【請求項１０】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項１１】
請求項４に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
する
ことを特徴とする画像処理装置。
【請求項１２】
請求項５に記載の画像処理装置であって、
被写体側からの信号を受信する無線アンテナを備え、
前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置であって、
前記要不要判定手段は、前記不要な動画像フレームの先頭、あるいは末尾で有ることを示すフラグを前記識別情報に記述する
ことを特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記動画像ファイル管理手段は、前記不要な動画像フレームの先頭であることを示すフラグおよび前記不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、前記不要な動画像フレームの先頭と前記不要な動画像フレームの末尾との間にある前記動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータがない旨の情報に書き換える
ことを特徴とする画像処理装置。
【請求項１５】
請求項１に記載の画像処理装置であって、
入力される各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
を更に有し、
前記要不要判定データ生成手段は、前記メタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する
ことを特徴とする画像処理装置。
【請求項１６】
請求項１５に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。
【請求項１７】
請求項１５、１６の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。
【請求項１８】
画像処理装置とサーバとがネットワークを介してデータの送受信を行う画像処理システムであって、
前記画像処理装置は、
前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
前記サーバから送信される判定結果及び識別情報を受信する第１の受信手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備え、
前記サーバは、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信する第２の送信手段と、
を備え、
前記画像処理装置と前記サーバとのうち、いずれか一方は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段、
を備えることを特徴とする画像処理システム。
【請求項１９】
請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記画像処理装置にあり、
前記画像処理装置は、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定手段は、前記受信したメタデータにおける前記要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する、
ことを特徴とする画像処理システム。
【請求項２０】
請求項１９に記載の画像処理システムであって、
前記サーバが有する前記要不要判定手段を、第２の要不要判定手段と定義するとき、
前記画像処理装置は、
前記生成されたメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する第１の要不要判定手段と、
前記画像処理装置に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出手段と、
前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態であると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態でないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える切替手段と、
を更に備え、
前記第２の送信手段は、前記第２の要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信し、
前記動画像ファイル管理手段は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報、又は、前記第１の要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える、
ことを特徴とする画像処理システム。
【請求項２１】
請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置のリソースにかかっている負荷を測定する負荷状態測定手段であり、
前記切替手段は、前記負荷状態測定手段の測定結果から、所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記負荷状態測定手段の測定結果から、前記所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。
【請求項２２】
請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置の電源モードが節電に係るモードであるか否かを検知する電源モード検知手段であり、
前記切替手段は、前記電源モード検知手段により、節電に係るモードでないと検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記電源モード検知手段により、節電に係るモードであると検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。
【請求項２３】
請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記サーバにあり、
前記画像処理装置は、
入力される動画像の各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定データ生成手段は、前記受信したメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成し、
前記要不要判定手段は、前記生成した要不要判定データに基づいて、その要不要判定データに対応する識別情報の動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理システム。
【請求項１】
入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段と、
前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、前記要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。
【請求項３】
請求項１、２の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記要不要判定手段データが、前記Ｍｐｅｇ２形式の符号化の単位ＧＯＰで付与される
ことを特徴とすることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段を更に有し、
前記要不要判定手段は、前記メタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の被写体の位置及びサイズを前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体のサイズが所定のサイズよりも小さい場合であって、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す被写体の位置が所定の範囲外に位置する場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレーム中の画像特徴量に基づいて、前記要不要判定データを生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す画像特徴量と、そのメタデータに対応する動画像フレームに近接する動画像フレームのメタデータにおける要不要判定データが示す画像特徴量と、の差異が所定値以下の場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記画像特徴量が、被写体の構図を示す構図指標である
ことを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記画像特徴量が、画像の輝度値の統計量である
ことを特徴とする画像処理装置。
【請求項１０】
請求項５に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレームの撮影時のフォーカス情報を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すフォーカス情報から、そのメタデータに対応する動画像フレームのフォーカスが合っていない、又は、フォーカスが安定していない、と判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項１１】
請求項４に記載の画像処理装置であって、
前記要不要判定データ生成手段は、前記動画像フレームの撮影時のズーム情報を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示すズーム情報と、そのメタデータに対応する動画像フレームの一つ前の動画像フレームのメタデータにおける要不要判定データが示すズーム情報と、から、ズームレンズのレンズ位置が安定していないと判断した場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
する
ことを特徴とする画像処理装置。
【請求項１２】
請求項５に記載の画像処理装置であって、
被写体側からの信号を受信する無線アンテナを備え、
前記要不要判定データ生成手段は、前記無線アンテナにより受信される信号の受信信号強度を前記要不要判定データとして生成し、
前記要不要判定手段は、前記記録手段から読み出した前記メタデータにおける要不要判定データが示す受信信号強度が、所定の値より低い場合、そのメタデータにおける識別情報に対応する動画像フレームが必要な動画像フレームでないと判定する
ことを特徴とする画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置であって、
前記要不要判定手段は、前記不要な動画像フレームの先頭、あるいは末尾で有ることを示すフラグを前記識別情報に記述する
ことを特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記動画像ファイル管理手段は、前記不要な動画像フレームの先頭であることを示すフラグおよび前記不要な動画像フレームの末尾で有ることを示すフラグの双方が揃ったときに、前記不要な動画像フレームの先頭と前記不要な動画像フレームの末尾との間にある前記動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータがない旨の情報に書き換える
ことを特徴とする画像処理装置。
【請求項１５】
請求項１に記載の画像処理装置であって、
入力される各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
を更に有し、
前記要不要判定データ生成手段は、前記メタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する
ことを特徴とする画像処理装置。
【請求項１６】
請求項１５に記載の画像処理装置であって、
前記記録手段は、前記記録手段内の前記テーブルと同じ内容の復帰用テーブルを備え、
前記動画像ファイル管理手段は、前記復帰用テーブルを用いて、復帰対象のデータの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報を、元の情報に戻す
ことを特徴とする画像処理装置。
【請求項１７】
請求項１５、１６の何れか１項に記載の画像処理装置であって、
前記画像符号化手段は、前記入力される動画像をＭＰＥＧ２形式で符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のＴＳパケットに分割しつつ、それらＴＳパケットにそれぞれ識別情報としてのＰＩＤを付与して前記記録手段に記録する
ことを特徴とする画像処理装置。
【請求項１８】
画像処理装置とサーバとがネットワークを介してデータの送受信を行う画像処理システムであって、
前記画像処理装置は、
前記入力される動画像を符号化するとともに、符号化後の動画像の各動画像フレームをそれぞれ複数のデータに分割しつつ、それらデータにそれぞれ識別情報を付与して記録手段に記録する画像符号化手段と、
前記サーバから送信される判定結果及び識別情報を受信する第１の受信手段と、
前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える動画像ファイル管理手段と、
を備え、
前記サーバは、
前記要不要判定データに基づいて、前記要不要判定データに対応する動画像フレームが不要な動画像フレームであるか否かを判定する要不要判定手段と、
前記要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信する第２の送信手段と、
を備え、
前記画像処理装置と前記サーバとのうち、いずれか一方は、入力される動画像の各動画像フレームにそれぞれ対応する、不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成する要不要判定データ生成手段、
を備えることを特徴とする画像処理システム。
【請求項１９】
請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記画像処理装置にあり、
前記画像処理装置は、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームに対応する要不要判定データとを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定手段は、前記受信したメタデータにおける前記要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する、
ことを特徴とする画像処理システム。
【請求項２０】
請求項１９に記載の画像処理システムであって、
前記サーバが有する前記要不要判定手段を、第２の要不要判定手段と定義するとき、
前記画像処理装置は、
前記生成されたメタデータにおける要不要判定データに基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定する第１の要不要判定手段と、
前記画像処理装置に負荷をかけて良い状態であるか否かを判断するための情報を検出する検出手段と、
前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態であると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記検出手段により検出された情報から、前記画像処理装置に負荷をかけて良い状態でないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える切替手段と、
を更に備え、
前記第２の送信手段は、前記第２の要不要判定手段の判定結果を、その判定結果に対応する識別情報とともに前記画像処理装置へ送信し、
前記動画像ファイル管理手段は、前記記録手段に記録される識別情報と、その識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報とが対応付けられた前記記録手段内のテーブルにおいて、不要な動画像フレームであるとの前記判定結果とともに受信した識別情報、又は、前記第１の要不要判定手段により不要な動画像フレームと判定された動画像フレームの識別情報に対応する前記記録手段の記録位置におけるデータの状態を示す情報をデータが無い旨の情報に書き換える、
ことを特徴とする画像処理システム。
【請求項２１】
請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置のリソースにかかっている負荷を測定する負荷状態測定手段であり、
前記切替手段は、前記負荷状態測定手段の測定結果から、所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていないと判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記負荷状態測定手段の測定結果から、前記所定の負荷の量よりも高い負荷の量が前記画像処理装置にかかっていると判断される場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。
【請求項２２】
請求項２０に記載の画像処理システムであって、
前記検出手段は、前記画像処理装置の電源モードが節電に係るモードであるか否かを検知する電源モード検知手段であり、
前記切替手段は、前記電源モード検知手段により、節電に係るモードでないと検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の要不要判定手段に切り替え、前記電源モード検知手段により、節電に係るモードであると検知された場合、前記メタデータ生成手段により生成されるメタデータの送り先を、前記第１の送信手段に切り替える
ことを特徴とする画像処理システム。
【請求項２３】
請求項１８に記載の画像処理システムであって、
前記要不要判定データ生成手段は、前記サーバにあり、
前記画像処理装置は、
入力される動画像の各動画像フレームそれぞれの縮小画像を生成する縮小画像生成手段と、
前記符号化後の動画像フレームの分割後の各データにそれぞれ付与された識別情報のうちの１つの識別情報と、その符号化後の動画像フレームの縮小画像とを統合してメタデータを生成するメタデータ生成手段と、
前記メタデータを前記サーバへ送信する第１の送信手段と、
を更に有し、
前記サーバは、
前記画像処理装置から送信されるメタデータを受信する第２の受信手段を更に有し、
前記要不要判定データ生成手段は、前記受信したメタデータにおける縮小画像に基づいて、そのメタデータにおける識別情報に対応する動画像フレームが不要な動画像フレームであるか否かを判定するために用いられる要不要判定データを生成し、
前記要不要判定手段は、前記生成した要不要判定データに基づいて、その要不要判定データに対応する識別情報の動画像フレームが不要な動画像フレームであるか否かを判定する
ことを特徴とする画像処理システム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図７】
【図８】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図７】
【図８】
【公開番号】特開２０１３−７０２６４（Ｐ２０１３−７０２６４Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７８１８（Ｐ２０１１−２０７８１８）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]