画像処理装置及び画像処理方法
【課題】代表画像を所定のサイズ以下に圧縮し、かつ視認性の高い代表画像を得ることができるようにする。
【解決手段】データ測定部１１０は、代表画像符号化部１０８において圧縮された代表画像のデータ量を測定し、所定のサイズ以上である場合は、エリア検出部１０６は、代表画像の中の外周側の画像エリアを抽出し、描画部１０７は、前記抽出した画像エリアをＤＣＴブロック単位に分割し、その各ＤＣＴブロックのデータをＤＣＴブロックの平均データ値に変換するようにして、視認性の高い代表画像を得ることができるようにする。
【解決手段】データ測定部１１０は、代表画像符号化部１０８において圧縮された代表画像のデータ量を測定し、所定のサイズ以上である場合は、エリア検出部１０６は、代表画像の中の外周側の画像エリアを抽出し、描画部１０７は、前記抽出した画像エリアをＤＣＴブロック単位に分割し、その各ＤＣＴブロックのデータをＤＣＴブロックの平均データ値に変換するようにして、視認性の高い代表画像を得ることができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム、及び記憶媒体に関し、特に、記録媒体に動画像を記録するとともに、その動画像の代表画像を所定サイズの静止画像として、同一記録媒体に記録するために用いて好適な技術に関する。
【背景技術】
【０００２】
現在、ＤＶＤなどの光ディスクやメモリカード、ＨＤＤなどのランダムアクセスメディアに画像データを記録するビデオカメラが普及してきている。例えば、ＤＶＤに対して画像データを記録する規格として、ＤＶＤ＿ＶＩＤＥＯフォーマットやＤＶＤ＿ＶＲフォーマットがある。また、メモリカードに画像データを記録する規格として、ＤＣＦフォーマットや、ＳＤ＿ＶＩＤＥＯフォーマットなどがある。また、ＨＤＤについては各社各様の方式でそれぞれのメディアへ記録している。
【０００３】
この種のビデオカメラにおいては、記録された動画像データを再生する際に、そのランダムアクセスの優位性を活かし、動画像データの代表画像（先頭シーンを縮小した画像）を同一画面上に並べたマルチインデックス画面を表示する。そして、これらの表示された代表画像のうち、所望のシーンの代表画像をユーザが選択することによって、動画像データを再生することができる。
【０００４】
このマルチインデックス画面の表示を行う場合、動画像データの一部をメディアから読み出して再生し、再生した１つのフレームを縮小処理することによって代表画像を得ることができる。この処理を同一画面に表示するシーンの数分だけ繰り返し行ない、マルチインデックス画面を作成する。
【０００５】
また、この縮小画像をＪＰＥＧデータとしてメディアに予め記録しておくＤＣＦ規格などもある。ＤＣＦ規格では、動画像ファイルＩＭＧ＿０００１．ＡＶＩの代表画像として、拡張子がＴＨＭとなっているＩＭＧ＿０００１．ＴＨＭというファイルを同一フォルダに記録する。これにより、動画像ファイルと代表画像ファイルとを関連付けている。このＤＣＦ規格においては、ＴＨＭファイルを表示する枚数分再生することによりマルチインデックス画面を生成している。
【０００６】
しかしながら、前述のマルチインデックス画面を表示する機能を実現するためには、動画像データの一部を読み出して再生する処理や、複数のファイルを再生する必要があり、画面切り替えに時間が多く掛かってしまうという問題点があった。
【０００７】
一方、この問題点を解消したものとして、近年、次世代の動画像記録フォーマットであるＡＶＣＨＤ規格が策定された。このＡＶＣＨＤ規格では、ディスクに記録された各動画像データの代表画像をそれぞれＪＰＥＧ方式で圧縮している。このとき、圧縮された代表画像データのデータ量が所定のデータ量（１つの代表画像が１６ＫＢ）になるように圧縮する。そして、各動画データの代表画像データを同一ファイルに格納して記録しておくというオプショナル機能を設けている。そのため、代表画像が格納されたファイルを読み出すことにより、マルチインデックス画面をすばやく表示させることができる。このように、所定のデータ量に抑えるような圧縮技術が多く知られている（例えば、特許文献１参照）。
【０００８】
特許文献１では、ＪＰＥＧ方式の画像データが所定のサイズ以上になった場合に、符号化テーブルを切り替えて再エンコードを繰り返す。
【０００９】
【特許文献１】特開平８−１８９６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前記特許文献１に示す方法のように、符号化テーブルを変更することによって代表画像を所定のサイズ以下にしようとすると、保持しなければならない符号化テーブルが増加してしまう。このため、ＲＯＭの容量が増加してしまい、コストが多く掛かってしまうという問題点があった。さらに、再エンコードを繰り返すことにより圧縮率が高まると再生画像の劣化が著しく大きくなり、マルチインデックス画面で視認性の高い代表画像が得られないという問題点があった。
【００１１】
本発明は前述の問題点に鑑み、代表画像を所定のサイズ以下に圧縮し、かつ視認性の高い代表画像を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段と、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定するデータ量測定手段と、前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出手段と、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段とを有し、前記代表画像圧縮手段は、前記代表画像のデータ量が所定の量を超える場合に、前記描画手段によって前記一部のエリアの画素が変換された代表画像を圧縮することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮手段と、前記動画像圧縮手段によって圧縮された動画像データの中の先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定手段と、前記データ量測定手段によって測定されたデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出手段と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段と、前記描画手段によって前記一部のエリアの画素が変換された代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段とを有し、前記データ量測定手段は、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定し、前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出手段は、前記代表画像圧縮手段によって圧縮された代表画像の一部のエリアを抽出することを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する手段と、前記代表画像データの一部のエリアを抽出する手段と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する手段と、前記変換する手段により一部のエリア以外のエリアの画素が変換された代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化手段とを有することを特徴とする。
【００１３】
本発明の画像処理方法は、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とを有し、前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とを有し、前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出することを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、前記代表画像データの一部のエリアを抽出する工程と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とを有することを特徴とする。
【００１４】
本発明のプログラムは、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とをコンピュータに実行させ、前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮するようにコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とをコンピュータに実行させ、前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出するようにコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、前記代表画像データの一部のエリアを抽出する工程と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とをコンピュータに実行させることを特徴とする。
【００１５】
本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、代表画像を圧縮して代表画像のデータ量を測定し、測定したデータ量が所定の量を超える場合に、代表画像の中の一部のエリアを抽出する。そして、前記抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換するようにした。これにより、所定のサイズ以下に圧縮し、かつ視認性の高い代表画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
１０１は、映像信号入力端子から入力される映像信号から画像データを抽出する機能を有するVideo Basebandである。１０２は、Video Baseband１０１から送られる画像データ、または後述する描画部１０７によって作成された代表画像を一時的に保持するビデオフレームバッファである。
【００１８】
１０３は、ビデオフレームバッファ１０２に保持されている画像データをＭＰＥＧ方式またはＨ．２６４方式などのフレーム間差分を用いた圧縮方式で符号化処理する動画像符号化部である。１０４は、動画像符号化部１０３で符号化された動画像符号化データを一時的に保持するストリームバッファである。１０５は、入力されるデータに対して、ＥＣＣ処理を施して記録媒体１１４に記録するＤＩＳＣ Ｉ／Ｆである。
【００１９】
１０６は、ビデオフレームバッファ１０２に保持されている画像データから画像認識に影響の少ないエリアを、代表画像圧縮符号化方式（ＪＰＥＧ方式）のＤＣＴ（離散コサイン変換）単位で検出するエリア検出部である。１０７は、ビデオフレームバッファ１０２に保持されている画像データのうちの一画面を抽出し、抽出した一画面のデータをリサイズして代表画像を作成する描画部である。また、描画部１０７は、エリア検出部１０６で検出されたエリアのデータを各マクロブロックのデータ平均値に変換する機能も有している。
【００２０】
１０８は、ビデオフレームバッファ１０２に保持されている画像データ（代表画像）をＪＰＥＧ方式などの代表画像圧縮方式で符号化する代表画像符号化部である。１０９は、代表画像符号化部１０８から出力された代表画像符号化データを一時的に保持するデータバッファである。１１０は、データバッファ１０９に保持されている代表画像符号化データのデータ量を測定するデータ量測定部である。
【００２１】
１１１は、画像処理装置１００の全体動作を制御するＣＰＵであり、１１２は、ＣＰＵ１１１から送られる制御信号を各ブロックに通知するデータバスである。１１３は、ストリームバッファ１０４に保持されている動画像符号化データから所定のフレームのデータ量を測定する動画像フレームデータ量測定部である。１１４は、ＤＶＤ／メモリカード／ＨＤＤなどのランダムアクセスが可能な記録媒体である。
【００２２】
本実施形態の画像処理装置１００は、Video Baseband１０１〜動画像フレームデータ量測定部１１３から構成されており、記録媒体１１４は、画像処理装置１００から脱着可能なものである。
【００２３】
通常の記録動作では、Video Baseband１０１を介してビデオフレームバッファ１０２に保持された動画像データを動画像符号化部１０３で符号化し、ストリームバッファ１０４、及びＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録する。そして、それと並列に符号化した先頭の画像を代表画像符号化部１０８において符号化し、データバッファ１０９、及びＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録する。
【００２４】
図２は、本実施形態に係る画像処理装置１００によって、代表画像の符号化データを所定のサイズ以下にする場合のイメージを示す図である。本実施形態では、入力される動画データの各フレームのサイズは、代表画像のサイズよりも大きい。また、本実施形態では、入力される動画像データのうち、記録開始後の先頭の一画面を代表画像データとして選択する。
【００２５】
図２（ａ）は、ビデオフレームバッファ１０２に保持されている画像データから代表画像のサイズである水平４１６画素×垂直２４０画素へ縮小処理して得られた代表画像Ａを示している。代表画像符号化部１０８にて、この縮小処理された代表画像Ａに対してＪＰＥＧ方式の符号化を行ない、データ量測定部１１０によって、データサイズの測定を行うと、所定のサイズ（１６ＫＢｙｔｅ）以上である。
【００２６】
図２（ｂ）は、所定サイズ以上になっているため縮小処理された代表画像Ａから画像認識に必要な一部のエリア（認識エリア）をエリア検出部１０６が検出したイメージを示す図である。図２（ｂ）に示すように、例えば、縮小処理された代表画像Ａと中心が同じになるように幅８×Ｗ、高さ８×Ｈのエリアをエリア検出部１０６が抽出する。すなわち、このエリア以外であって、後述する描画の対象となる画像エリアをエリア検出部１０６が抽出することとなる。
【００２７】
図２（ｃ）は、描画部１０７により、前記検出したエリア以外の部分をＪＰＥＧ方式のＤＣＴブロック（８×８）の平均データ値に変換することによって得られる代表画像Ｂのイメージを示す図である。代表画像符号化部１０８において、この代表画像Ｂに対してＪＰＥＧ方式の符号化を行うと、所定のサイズ（１６ＫＢｙｔｅ）以下となる。そして、ＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４へ記録する。
【００２８】
なお、図２（ｃ）に示す代表画像ＢをＪＰＥＧ方式で符号化し、データサイズの測定を行った結果、所定のサイズ（１６ＫＢｙｔｅ）以上であった場合には、エリア検出部１０６において抽出するエリアが小さくなるように設定する。そして、図２（ｃ）に示す処理と同様の処理を再度行う。
【００２９】
図３は、本実施形態に係る画像処理装置１００において、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、描画部１０７は、ビデオフレームバッファ１０２に保持されている画像データから、代表画像である４１６×２４０の縮小画像を作成する。
【００３０】
次に、ステップＳ３０２において、代表画像符号化部１０８は代表画像圧縮手段として機能し、代表画像に対してＪＰＥＧ方式の符号化を行ない、代表画像符号化データを作成する。そして、ステップＳ３０３において、データ量測定部１１０は、ステップＳ３０２で作成された代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下であるか否かを判断する。
【００３１】
この判断の結果、所定のサイズを超えている場合は、ステップＳ３０４に進む。そして、ステップＳ３０４において、エリア検出部１０６はエリア抽出手段として機能し、ビデオフレームバッファ１０２に保持されている符号化前の代表画像に対して画像認識に必要なエリアを抽出する。すなわち、エリア検出部１０６は、描画の対象となる画像エリアを抽出する。次に、ステップＳ３０５において、描画部１０７は、ステップＳ３０４で抽出された画像認識に必要なエリアの外側の部分をＪＰＥＧ方式のＤＣＴブロック（８×８画素）単位に分割する。そして、各ＤＣＴブロックのデータを、そのＤＣＴブロックの平均値に変換する。その後、ステップＳ３０２へ戻る。
【００３２】
一方、ステップＳ３０３の判断の結果、代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下である場合は、ステップＳ３０６に進む。そして、ステップＳ３０６において、ＣＰＵ１１１の制御により、代表画像符号化データをＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録し、処理を終了する。
【００３３】
図４は、本実施形態に係る画像処理装置において、代表画像をマクロブロック単位の平均値で描画するイメージを示す図である。
図４（ａ）は、ビデオフレームバッファ１０２に保持されている描画前の代表画像の一部を示しており、座標（ｘ，ｙ）＝（０，０）を含むＪＰＥＧ方式のＤＣＴブロック（８×８画素）を表している。各座標での値は、座標（ｘ，ｙ）の値をａｘｙとしており、例えば、（ｘ，ｙ）＝（２，５）の値はａ２５である。
【００３４】
図４（ｂ）は、図４（ａ）で示したブロックに対して、ステップＳ３０５で行うＤＣＴブロック単位の平均値ａで描画した場合のブロックを示す。平均値ａは、以下の数１に示す式を用いて算出する。
【００３５】
【数１】
【００３６】
図５は、本実施形態に係る画像処理装置において、代表画像から画像を認識するエリアを検出するイメージを示す図である。本実施形態におけるエリア検出の範囲は、データ量測定部１１０の測定結果である符号化データ量をＮ（ＫＢｙｔｅ）とし、所定のデータ量をＭ（ＫＢｙｔｅ）とした場合に、エリア幅ｗ及びエリア高さｈを以下の数２に示す式を用いて算出する。
【００３７】
【数２】
【００３８】
そして、画像の中心を元の代表画像と同じになるようにエリアを算出する。なお、図５には、Ｍ＝１６と設定した場合における例について示している。
【００３９】
図５（ａ）は、ビデオフレームバッファ１０２に保持されている代表画像の一例を示しており、図５（ａ）に示す代表画像の画像サイズは４１６×２４０である。図５（ｂ）は、データ量測定部１１０での測定結果である符号化データ量Ｎが、１６ＫＢｙｔｅ＜Ｎ≦１８ＫＢｙｔｅであった場合のエリア検出結果を示している。検出結果として画像サイズは３８４×２０８となっている。
【００４０】
図５（ｃ）は、データ量測定部１１０での測定結果である符号化データ量Ｎが、１８ＫＢｙｔｅ＜Ｎ≦２６ＫＢｙｔｅであった場合のエリア検出結果を示している。検出結果として画像サイズは３３６×１６０となっている。
【００４１】
この様に、本実施形態では、代表画像データを圧縮する際、所定サイズを超えないよう、画面の一部のエリアを認識エリアとして抽出し、通常のＪＰＥＧ方式で符号化している。一方、認識エリア以外のエリアについては、各ＤＣＴブロックのデータをブロック単位の平均値に変換してＪＰＥＧ符号化を行っている。そのため、認識エリア外のデータについては、ＤＣＴ処理の結果、ＤＣ成分のみとなるため、符号量を大幅に削減することができる。
【００４２】
また、認識エリア外のデータを全てトリミングしてしまう場合に比べ、ＤＣＴブロックのＤＣ成分を符号化しているため、モザイク状にはなるものの、元の画像を認識することができる。
【００４３】
以上のように本実施形態では、代表画像を圧縮して代表画像のデータ量を測定し、測定したデータ量が所定の量を超える場合に、代表画像の中の所定のエリアを認識エリアとして抽出する。そして、認識エリア以外のエリアのデータをＪＰＥＧ方式のＤＣＴブロック単位の平均値に変換するようにした。これにより、データ量が所定量を超えることが無いように代表画像データを符号化した場合でも、視認性の高い代表画像を得ることができる。また、符号化データ量に応じて認識エリアを抽出しているので、代表画像の再符号化回数を削減することができる。
【００４４】
次に、動画像データの先頭のＩフレームから代表画像を生成する例について説明する。
図６は、本実施形態に係る画像処理装置において、動画像データの符号化データ量の測定結果によって、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
【００４５】
本実施形態では、動画データを記録する際、その先頭画面をフレーム内符号化方式で符号化する。フレーム内符号化はＪＰＥＧ方式とほぼ同じ処理であり、同一フレームの画像データをＤＣＴブロックに分割してＤＣＴ処理を施し、量子化、及び可変長符号化処理を行う。以下、フレーム内符号化されたフレーム内符号化フレームをＩフレームという。
【００４６】
まず、ステップＳ６０１において、動画像符号化部１０３は動画像圧縮手段として機能し、ビデオフレームバッファ１０２に保持されている動画像データを符号化し、ストリームバッファ１０４へ出力する。次に、ステップＳ６０２において、動画像フレームデータ量測定部１１３はデータ量測定手段として機能し、代表画像となる画像フレーム（動画像の先頭のＩフレーム）のデータ量を測定する。
【００４７】
次に、ステップＳ６０３において、ステップＳ６０２で検出された画像フレームのデータ量に応じて、エリア検出部１０６はエリア抽出手段として機能し、画像認識に必要なエリアの抽出を行う。すなわち、エリア検出部１０６は、描画の対象となる画像エリアを抽出する。その後、ステップＳ６０４において、描画部１０７は、動画像の先頭のＩフレームを基に代表画像を作成し、抽出された認識エリアの外側のデータをＤＣＴブロック単位の平均値に変換する。
【００４８】
次に、ステップＳ６０５において、代表画像符号化部１０８は代表画像圧縮手段として機能し、ステップＳ６０４で作成した代表画像をＪＰＥＧ方式で符号化する。次に、ステップＳ６０６において、データ量測定部１１０はデータ量測定手段として機能し、ステップＳ６０５で符号化された代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下であるか否かを判断する。
【００４９】
この判断の結果、所定のサイズ以下である場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、ＣＰＵ１１１の制御により、記録媒体１１４にＤＩＳＣ Ｉ／Ｆ１０５を介して記録する。一方、ステップＳ６０６の判断の結果、所定のサイズを超えている場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、エリア検出部１０６は、データ量測定部１１０で測定された値に応じて画像認識エリアを再度検出し、その後、ステップＳ６０４へ戻る。
【００５０】
以上のように、本実施形態においては、代表画像をＪＰＥＧ符号化する前に、動画像データの符号化データ量の値を測定し、その値をエリア検出に反映させるようにしたので、代表画像の再符号化回数を削減することができる。
【００５１】
なお、前述の各実施形態では、代表画像データをＪＰＥＧ方式で符号化する場合について説明した。しかし、ＪＰＥＧ以外にも、複数画素のブロック単位に符号化する符号化方式を用いることが可能である。また、ＪＰＥＧ方式ではブロック単位にＤＣＴ処理を行っていたが、ＤＣＴ以外の直交変換処理を用いる符号化方式であってもよい。
【００５２】
また、前述の実施形態では、認識エリア外のエリアのデータを、ＤＣＴブロック単位に、その平均値に変換していた。しかし、ブロック内の全ての画素の平均値ではなく、一部の画素の平均値を求め、ＤＣＴブロック単位に変換することも可能である。
【００５３】
また、平均値ではなく、ＤＣＴブロックごとに所定値に変換するようにしてもよい。例えば、ＤＣＴブロック６４画素のうち、決められた位置の画素をＤＣＴブロックの代表画素とし、ＤＣＴブロックのデータをこの代表画素の値に変換してもよい。
【００５４】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５９】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６２】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６４】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置において、代表画像の符号化データを所定サイズ以下にするイメージを示す図である。
【図３】本発明の実施形態に係る画像処理装置において、代表画像の符号化データを所定サイズ以下にする場合の処理手順の一例を示すフローチャートである。
【図４】本発明の実施形態に係る画像処理装置において、代表画像をマクロブロック単位に平均値で描画する場合のイメージを示す図である。
【図５】本発明の実施形態に係る画像処理装置において、代表画像から画像認識エリアを検出するイメージを示す図である。
【図６】本発明の実施形態に係る画像処理装置において、動画像の符号化データ量の測定結果によって、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
【符号の説明】
【００６６】
１００ 画像処理装置
１０１ Video Baseband
１０２ ビデオフレームバッファ
１０３ 動画像符号化部
１０４ ストリームバッファ
１０５ ＤＩＳＣ Ｉ／Ｆ
１０６ エリア検出部
１０７ 描画部
１０８ 代表画像符号化部
１０９ データバッファ
１１０ データ量測定部
１１１ ＣＰＵ
１１２ データバス
１１３ 動画像フレーム符号化量測定部
１１４ 記録媒体
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム、及び記憶媒体に関し、特に、記録媒体に動画像を記録するとともに、その動画像の代表画像を所定サイズの静止画像として、同一記録媒体に記録するために用いて好適な技術に関する。
【背景技術】
【０００２】
現在、ＤＶＤなどの光ディスクやメモリカード、ＨＤＤなどのランダムアクセスメディアに画像データを記録するビデオカメラが普及してきている。例えば、ＤＶＤに対して画像データを記録する規格として、ＤＶＤ＿ＶＩＤＥＯフォーマットやＤＶＤ＿ＶＲフォーマットがある。また、メモリカードに画像データを記録する規格として、ＤＣＦフォーマットや、ＳＤ＿ＶＩＤＥＯフォーマットなどがある。また、ＨＤＤについては各社各様の方式でそれぞれのメディアへ記録している。
【０００３】
この種のビデオカメラにおいては、記録された動画像データを再生する際に、そのランダムアクセスの優位性を活かし、動画像データの代表画像（先頭シーンを縮小した画像）を同一画面上に並べたマルチインデックス画面を表示する。そして、これらの表示された代表画像のうち、所望のシーンの代表画像をユーザが選択することによって、動画像データを再生することができる。
【０００４】
このマルチインデックス画面の表示を行う場合、動画像データの一部をメディアから読み出して再生し、再生した１つのフレームを縮小処理することによって代表画像を得ることができる。この処理を同一画面に表示するシーンの数分だけ繰り返し行ない、マルチインデックス画面を作成する。
【０００５】
また、この縮小画像をＪＰＥＧデータとしてメディアに予め記録しておくＤＣＦ規格などもある。ＤＣＦ規格では、動画像ファイルＩＭＧ＿０００１．ＡＶＩの代表画像として、拡張子がＴＨＭとなっているＩＭＧ＿０００１．ＴＨＭというファイルを同一フォルダに記録する。これにより、動画像ファイルと代表画像ファイルとを関連付けている。このＤＣＦ規格においては、ＴＨＭファイルを表示する枚数分再生することによりマルチインデックス画面を生成している。
【０００６】
しかしながら、前述のマルチインデックス画面を表示する機能を実現するためには、動画像データの一部を読み出して再生する処理や、複数のファイルを再生する必要があり、画面切り替えに時間が多く掛かってしまうという問題点があった。
【０００７】
一方、この問題点を解消したものとして、近年、次世代の動画像記録フォーマットであるＡＶＣＨＤ規格が策定された。このＡＶＣＨＤ規格では、ディスクに記録された各動画像データの代表画像をそれぞれＪＰＥＧ方式で圧縮している。このとき、圧縮された代表画像データのデータ量が所定のデータ量（１つの代表画像が１６ＫＢ）になるように圧縮する。そして、各動画データの代表画像データを同一ファイルに格納して記録しておくというオプショナル機能を設けている。そのため、代表画像が格納されたファイルを読み出すことにより、マルチインデックス画面をすばやく表示させることができる。このように、所定のデータ量に抑えるような圧縮技術が多く知られている（例えば、特許文献１参照）。
【０００８】
特許文献１では、ＪＰＥＧ方式の画像データが所定のサイズ以上になった場合に、符号化テーブルを切り替えて再エンコードを繰り返す。
【０００９】
【特許文献１】特開平８−１８９６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、前記特許文献１に示す方法のように、符号化テーブルを変更することによって代表画像を所定のサイズ以下にしようとすると、保持しなければならない符号化テーブルが増加してしまう。このため、ＲＯＭの容量が増加してしまい、コストが多く掛かってしまうという問題点があった。さらに、再エンコードを繰り返すことにより圧縮率が高まると再生画像の劣化が著しく大きくなり、マルチインデックス画面で視認性の高い代表画像が得られないという問題点があった。
【００１１】
本発明は前述の問題点に鑑み、代表画像を所定のサイズ以下に圧縮し、かつ視認性の高い代表画像を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段と、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定するデータ量測定手段と、前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出手段と、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段とを有し、前記代表画像圧縮手段は、前記代表画像のデータ量が所定の量を超える場合に、前記描画手段によって前記一部のエリアの画素が変換された代表画像を圧縮することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮手段と、前記動画像圧縮手段によって圧縮された動画像データの中の先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定手段と、前記データ量測定手段によって測定されたデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出手段と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段と、前記描画手段によって前記一部のエリアの画素が変換された代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段とを有し、前記データ量測定手段は、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定し、前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出手段は、前記代表画像圧縮手段によって圧縮された代表画像の一部のエリアを抽出することを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する手段と、前記代表画像データの一部のエリアを抽出する手段と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する手段と、前記変換する手段により一部のエリア以外のエリアの画素が変換された代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化手段とを有することを特徴とする。
【００１３】
本発明の画像処理方法は、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とを有し、前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とを有し、前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出することを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、前記代表画像データの一部のエリアを抽出する工程と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とを有することを特徴とする。
【００１４】
本発明のプログラムは、動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とをコンピュータに実行させ、前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮するようにコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とをコンピュータに実行させ、前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出するようにコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、前記代表画像データの一部のエリアを抽出する工程と、前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とをコンピュータに実行させることを特徴とする。
【００１５】
本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、代表画像を圧縮して代表画像のデータ量を測定し、測定したデータ量が所定の量を超える場合に、代表画像の中の一部のエリアを抽出する。そして、前記抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換するようにした。これにより、所定のサイズ以下に圧縮し、かつ視認性の高い代表画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
１０１は、映像信号入力端子から入力される映像信号から画像データを抽出する機能を有するVideo Basebandである。１０２は、Video Baseband１０１から送られる画像データ、または後述する描画部１０７によって作成された代表画像を一時的に保持するビデオフレームバッファである。
【００１８】
１０３は、ビデオフレームバッファ１０２に保持されている画像データをＭＰＥＧ方式またはＨ．２６４方式などのフレーム間差分を用いた圧縮方式で符号化処理する動画像符号化部である。１０４は、動画像符号化部１０３で符号化された動画像符号化データを一時的に保持するストリームバッファである。１０５は、入力されるデータに対して、ＥＣＣ処理を施して記録媒体１１４に記録するＤＩＳＣ Ｉ／Ｆである。
【００１９】
１０６は、ビデオフレームバッファ１０２に保持されている画像データから画像認識に影響の少ないエリアを、代表画像圧縮符号化方式（ＪＰＥＧ方式）のＤＣＴ（離散コサイン変換）単位で検出するエリア検出部である。１０７は、ビデオフレームバッファ１０２に保持されている画像データのうちの一画面を抽出し、抽出した一画面のデータをリサイズして代表画像を作成する描画部である。また、描画部１０７は、エリア検出部１０６で検出されたエリアのデータを各マクロブロックのデータ平均値に変換する機能も有している。
【００２０】
１０８は、ビデオフレームバッファ１０２に保持されている画像データ（代表画像）をＪＰＥＧ方式などの代表画像圧縮方式で符号化する代表画像符号化部である。１０９は、代表画像符号化部１０８から出力された代表画像符号化データを一時的に保持するデータバッファである。１１０は、データバッファ１０９に保持されている代表画像符号化データのデータ量を測定するデータ量測定部である。
【００２１】
１１１は、画像処理装置１００の全体動作を制御するＣＰＵであり、１１２は、ＣＰＵ１１１から送られる制御信号を各ブロックに通知するデータバスである。１１３は、ストリームバッファ１０４に保持されている動画像符号化データから所定のフレームのデータ量を測定する動画像フレームデータ量測定部である。１１４は、ＤＶＤ／メモリカード／ＨＤＤなどのランダムアクセスが可能な記録媒体である。
【００２２】
本実施形態の画像処理装置１００は、Video Baseband１０１〜動画像フレームデータ量測定部１１３から構成されており、記録媒体１１４は、画像処理装置１００から脱着可能なものである。
【００２３】
通常の記録動作では、Video Baseband１０１を介してビデオフレームバッファ１０２に保持された動画像データを動画像符号化部１０３で符号化し、ストリームバッファ１０４、及びＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録する。そして、それと並列に符号化した先頭の画像を代表画像符号化部１０８において符号化し、データバッファ１０９、及びＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録する。
【００２４】
図２は、本実施形態に係る画像処理装置１００によって、代表画像の符号化データを所定のサイズ以下にする場合のイメージを示す図である。本実施形態では、入力される動画データの各フレームのサイズは、代表画像のサイズよりも大きい。また、本実施形態では、入力される動画像データのうち、記録開始後の先頭の一画面を代表画像データとして選択する。
【００２５】
図２（ａ）は、ビデオフレームバッファ１０２に保持されている画像データから代表画像のサイズである水平４１６画素×垂直２４０画素へ縮小処理して得られた代表画像Ａを示している。代表画像符号化部１０８にて、この縮小処理された代表画像Ａに対してＪＰＥＧ方式の符号化を行ない、データ量測定部１１０によって、データサイズの測定を行うと、所定のサイズ（１６ＫＢｙｔｅ）以上である。
【００２６】
図２（ｂ）は、所定サイズ以上になっているため縮小処理された代表画像Ａから画像認識に必要な一部のエリア（認識エリア）をエリア検出部１０６が検出したイメージを示す図である。図２（ｂ）に示すように、例えば、縮小処理された代表画像Ａと中心が同じになるように幅８×Ｗ、高さ８×Ｈのエリアをエリア検出部１０６が抽出する。すなわち、このエリア以外であって、後述する描画の対象となる画像エリアをエリア検出部１０６が抽出することとなる。
【００２７】
図２（ｃ）は、描画部１０７により、前記検出したエリア以外の部分をＪＰＥＧ方式のＤＣＴブロック（８×８）の平均データ値に変換することによって得られる代表画像Ｂのイメージを示す図である。代表画像符号化部１０８において、この代表画像Ｂに対してＪＰＥＧ方式の符号化を行うと、所定のサイズ（１６ＫＢｙｔｅ）以下となる。そして、ＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４へ記録する。
【００２８】
なお、図２（ｃ）に示す代表画像ＢをＪＰＥＧ方式で符号化し、データサイズの測定を行った結果、所定のサイズ（１６ＫＢｙｔｅ）以上であった場合には、エリア検出部１０６において抽出するエリアが小さくなるように設定する。そして、図２（ｃ）に示す処理と同様の処理を再度行う。
【００２９】
図３は、本実施形態に係る画像処理装置１００において、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、描画部１０７は、ビデオフレームバッファ１０２に保持されている画像データから、代表画像である４１６×２４０の縮小画像を作成する。
【００３０】
次に、ステップＳ３０２において、代表画像符号化部１０８は代表画像圧縮手段として機能し、代表画像に対してＪＰＥＧ方式の符号化を行ない、代表画像符号化データを作成する。そして、ステップＳ３０３において、データ量測定部１１０は、ステップＳ３０２で作成された代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下であるか否かを判断する。
【００３１】
この判断の結果、所定のサイズを超えている場合は、ステップＳ３０４に進む。そして、ステップＳ３０４において、エリア検出部１０６はエリア抽出手段として機能し、ビデオフレームバッファ１０２に保持されている符号化前の代表画像に対して画像認識に必要なエリアを抽出する。すなわち、エリア検出部１０６は、描画の対象となる画像エリアを抽出する。次に、ステップＳ３０５において、描画部１０７は、ステップＳ３０４で抽出された画像認識に必要なエリアの外側の部分をＪＰＥＧ方式のＤＣＴブロック（８×８画素）単位に分割する。そして、各ＤＣＴブロックのデータを、そのＤＣＴブロックの平均値に変換する。その後、ステップＳ３０２へ戻る。
【００３２】
一方、ステップＳ３０３の判断の結果、代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下である場合は、ステップＳ３０６に進む。そして、ステップＳ３０６において、ＣＰＵ１１１の制御により、代表画像符号化データをＤＩＳＣ Ｉ／Ｆ１０５を介して記録媒体１１４に記録し、処理を終了する。
【００３３】
図４は、本実施形態に係る画像処理装置において、代表画像をマクロブロック単位の平均値で描画するイメージを示す図である。
図４（ａ）は、ビデオフレームバッファ１０２に保持されている描画前の代表画像の一部を示しており、座標（ｘ，ｙ）＝（０，０）を含むＪＰＥＧ方式のＤＣＴブロック（８×８画素）を表している。各座標での値は、座標（ｘ，ｙ）の値をａｘｙとしており、例えば、（ｘ，ｙ）＝（２，５）の値はａ２５である。
【００３４】
図４（ｂ）は、図４（ａ）で示したブロックに対して、ステップＳ３０５で行うＤＣＴブロック単位の平均値ａで描画した場合のブロックを示す。平均値ａは、以下の数１に示す式を用いて算出する。
【００３５】
【数１】
【００３６】
図５は、本実施形態に係る画像処理装置において、代表画像から画像を認識するエリアを検出するイメージを示す図である。本実施形態におけるエリア検出の範囲は、データ量測定部１１０の測定結果である符号化データ量をＮ（ＫＢｙｔｅ）とし、所定のデータ量をＭ（ＫＢｙｔｅ）とした場合に、エリア幅ｗ及びエリア高さｈを以下の数２に示す式を用いて算出する。
【００３７】
【数２】
【００３８】
そして、画像の中心を元の代表画像と同じになるようにエリアを算出する。なお、図５には、Ｍ＝１６と設定した場合における例について示している。
【００３９】
図５（ａ）は、ビデオフレームバッファ１０２に保持されている代表画像の一例を示しており、図５（ａ）に示す代表画像の画像サイズは４１６×２４０である。図５（ｂ）は、データ量測定部１１０での測定結果である符号化データ量Ｎが、１６ＫＢｙｔｅ＜Ｎ≦１８ＫＢｙｔｅであった場合のエリア検出結果を示している。検出結果として画像サイズは３８４×２０８となっている。
【００４０】
図５（ｃ）は、データ量測定部１１０での測定結果である符号化データ量Ｎが、１８ＫＢｙｔｅ＜Ｎ≦２６ＫＢｙｔｅであった場合のエリア検出結果を示している。検出結果として画像サイズは３３６×１６０となっている。
【００４１】
この様に、本実施形態では、代表画像データを圧縮する際、所定サイズを超えないよう、画面の一部のエリアを認識エリアとして抽出し、通常のＪＰＥＧ方式で符号化している。一方、認識エリア以外のエリアについては、各ＤＣＴブロックのデータをブロック単位の平均値に変換してＪＰＥＧ符号化を行っている。そのため、認識エリア外のデータについては、ＤＣＴ処理の結果、ＤＣ成分のみとなるため、符号量を大幅に削減することができる。
【００４２】
また、認識エリア外のデータを全てトリミングしてしまう場合に比べ、ＤＣＴブロックのＤＣ成分を符号化しているため、モザイク状にはなるものの、元の画像を認識することができる。
【００４３】
以上のように本実施形態では、代表画像を圧縮して代表画像のデータ量を測定し、測定したデータ量が所定の量を超える場合に、代表画像の中の所定のエリアを認識エリアとして抽出する。そして、認識エリア以外のエリアのデータをＪＰＥＧ方式のＤＣＴブロック単位の平均値に変換するようにした。これにより、データ量が所定量を超えることが無いように代表画像データを符号化した場合でも、視認性の高い代表画像を得ることができる。また、符号化データ量に応じて認識エリアを抽出しているので、代表画像の再符号化回数を削減することができる。
【００４４】
次に、動画像データの先頭のＩフレームから代表画像を生成する例について説明する。
図６は、本実施形態に係る画像処理装置において、動画像データの符号化データ量の測定結果によって、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
【００４５】
本実施形態では、動画データを記録する際、その先頭画面をフレーム内符号化方式で符号化する。フレーム内符号化はＪＰＥＧ方式とほぼ同じ処理であり、同一フレームの画像データをＤＣＴブロックに分割してＤＣＴ処理を施し、量子化、及び可変長符号化処理を行う。以下、フレーム内符号化されたフレーム内符号化フレームをＩフレームという。
【００４６】
まず、ステップＳ６０１において、動画像符号化部１０３は動画像圧縮手段として機能し、ビデオフレームバッファ１０２に保持されている動画像データを符号化し、ストリームバッファ１０４へ出力する。次に、ステップＳ６０２において、動画像フレームデータ量測定部１１３はデータ量測定手段として機能し、代表画像となる画像フレーム（動画像の先頭のＩフレーム）のデータ量を測定する。
【００４７】
次に、ステップＳ６０３において、ステップＳ６０２で検出された画像フレームのデータ量に応じて、エリア検出部１０６はエリア抽出手段として機能し、画像認識に必要なエリアの抽出を行う。すなわち、エリア検出部１０６は、描画の対象となる画像エリアを抽出する。その後、ステップＳ６０４において、描画部１０７は、動画像の先頭のＩフレームを基に代表画像を作成し、抽出された認識エリアの外側のデータをＤＣＴブロック単位の平均値に変換する。
【００４８】
次に、ステップＳ６０５において、代表画像符号化部１０８は代表画像圧縮手段として機能し、ステップＳ６０４で作成した代表画像をＪＰＥＧ方式で符号化する。次に、ステップＳ６０６において、データ量測定部１１０はデータ量測定手段として機能し、ステップＳ６０５で符号化された代表画像符号化データが所定のサイズ（１６ＫＢｙｔｅ）以下であるか否かを判断する。
【００４９】
この判断の結果、所定のサイズ以下である場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、ＣＰＵ１１１の制御により、記録媒体１１４にＤＩＳＣ Ｉ／Ｆ１０５を介して記録する。一方、ステップＳ６０６の判断の結果、所定のサイズを超えている場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、エリア検出部１０６は、データ量測定部１１０で測定された値に応じて画像認識エリアを再度検出し、その後、ステップＳ６０４へ戻る。
【００５０】
以上のように、本実施形態においては、代表画像をＪＰＥＧ符号化する前に、動画像データの符号化データ量の値を測定し、その値をエリア検出に反映させるようにしたので、代表画像の再符号化回数を削減することができる。
【００５１】
なお、前述の各実施形態では、代表画像データをＪＰＥＧ方式で符号化する場合について説明した。しかし、ＪＰＥＧ以外にも、複数画素のブロック単位に符号化する符号化方式を用いることが可能である。また、ＪＰＥＧ方式ではブロック単位にＤＣＴ処理を行っていたが、ＤＣＴ以外の直交変換処理を用いる符号化方式であってもよい。
【００５２】
また、前述の実施形態では、認識エリア外のエリアのデータを、ＤＣＴブロック単位に、その平均値に変換していた。しかし、ブロック内の全ての画素の平均値ではなく、一部の画素の平均値を求め、ＤＣＴブロック単位に変換することも可能である。
【００５３】
また、平均値ではなく、ＤＣＴブロックごとに所定値に変換するようにしてもよい。例えば、ＤＣＴブロック６４画素のうち、決められた位置の画素をＤＣＴブロックの代表画素とし、ＤＣＴブロックのデータをこの代表画素の値に変換してもよい。
【００５４】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５９】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６２】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６４】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置において、代表画像の符号化データを所定サイズ以下にするイメージを示す図である。
【図３】本発明の実施形態に係る画像処理装置において、代表画像の符号化データを所定サイズ以下にする場合の処理手順の一例を示すフローチャートである。
【図４】本発明の実施形態に係る画像処理装置において、代表画像をマクロブロック単位に平均値で描画する場合のイメージを示す図である。
【図５】本発明の実施形態に係る画像処理装置において、代表画像から画像認識エリアを検出するイメージを示す図である。
【図６】本発明の実施形態に係る画像処理装置において、動画像の符号化データ量の測定結果によって、代表画像の符号化データを所定のサイズ以下にする処理手順の一例を示すフローチャートである。
【符号の説明】
【００６６】
１００ 画像処理装置
１０１ Video Baseband
１０２ ビデオフレームバッファ
１０３ 動画像符号化部
１０４ ストリームバッファ
１０５ ＤＩＳＣ Ｉ／Ｆ
１０６ エリア検出部
１０７ 描画部
１０８ 代表画像符号化部
１０９ データバッファ
１１０ データ量測定部
１１１ ＣＰＵ
１１２ データバス
１１３ 動画像フレーム符号化量測定部
１１４ 記録媒体
【特許請求の範囲】
【請求項１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段と、
前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定するデータ量測定手段と、
前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出手段と、
前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段とを有し、
前記代表画像圧縮手段は、前記代表画像のデータ量が所定の量を超える場合に、前記描画手段によって前記一部のエリアの画素が変換された代表画像を圧縮することを特徴とする画像処理装置。
【請求項２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮手段と、
前記動画像圧縮手段によって圧縮された動画像データの中の先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定手段と、
前記データ量測定手段によって測定されたデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出手段と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段と、
前記描画手段によって前記一部のエリアの画素が変換された代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段とを有し、
前記データ量測定手段は、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定し、
前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出手段は、前記代表画像圧縮手段によって圧縮された代表画像の一部のエリアを抽出することを特徴とする画像処理装置。
【請求項３】
前記エリア抽出手段は、前記ＤＣＴブロックの単位で前記一部のエリアを抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記描画手段は、前記一部のエリアのデータを前記ＤＣＴブロックの平均データ値に変換することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する手段と、
前記代表画像データの一部のエリアを抽出する手段と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する手段と、
前記変換する手段により一部のエリア以外のエリアの画素が変換された代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化手段とを有することを特徴とする画像処理装置。
【請求項６】
前記抽出する手段は、前記符号化手段により符号化された代表画像データのデータ量に基づいて前記一部のエリアの大きさを決めることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記抽出する手段は、前記符号化された代表画像データのデータ量が所定の量を超えないように前記一部のエリアの大きさを決めることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記符号化手段は、前記ブロック単位に直交変換を行う手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記変換する手段は、前記ブロックの複数画素の平均値を求め、前記複数のブロックについて、一つのブロックの全ての画素を当該ブロックの前記平均値に変換することを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記抽出する手段は、前記ブロックのサイズを単位として前記一部のエリアを抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、
前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、
前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とを有し、
前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮することを特徴とする画像処理方法。
【請求項１２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、
前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、
前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、
前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とを有し、
前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出することを特徴とする画像処理方法。
【請求項１３】
前記エリア抽出工程においては、前記ＤＣＴブロックの単位で前記一部のエリアを抽出することを特徴とする請求項１１または１２に記載の画像処理方法。
【請求項１４】
前記描画工程においては、前記ＤＣＴブロックの平均データ値で前記一部のエリアのデータを前記ＤＣＴブロックの平均データ値に変換することを特徴とする請求項１１または１２に記載の画像処理方法。
【請求項１５】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、
前記代表画像データの一部のエリアを抽出する工程と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、
前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とを有することを特徴とする画像処理方法。
【請求項１６】
前記抽出する工程においては、前記符号化工程において符号化した代表画像データのデータ量に基づいて前記一部のエリアの大きさを決めることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記抽出する工程においては、前記符号化した代表画像データのデータ量が所定の量を超えないように前記一部のエリアの大きさを決めることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記符号化工程においては、前記ブロック単位に直交変換を行う工程を有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１９】
前記変換する工程においては、前記ブロックの複数画素の平均値を求め、前記複数のブロックについて、一つのブロックの全ての画素を当該ブロックの前記平均値に変換することを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
前記抽出する工程においては、前記ブロックのサイズを単位として前記一部のエリアを抽出することを特徴とする請求項１５に記載の画像処理方法。
【請求項２１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、
前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、
前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とをコンピュータに実行させ、
前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮するようにコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、
前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、
前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、
前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とをコンピュータに実行させ、
前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出するようにコンピュータに実行させることを特徴とするプログラム。
【請求項２３】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、
前記代表画像データの一部のエリアを抽出する工程と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、
前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項２１〜２３の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段と、
前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定するデータ量測定手段と、
前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出手段と、
前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段とを有し、
前記代表画像圧縮手段は、前記代表画像のデータ量が所定の量を超える場合に、前記描画手段によって前記一部のエリアの画素が変換された代表画像を圧縮することを特徴とする画像処理装置。
【請求項２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮手段と、
前記動画像圧縮手段によって圧縮された動画像データの中の先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定手段と、
前記データ量測定手段によって測定されたデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出手段と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出手段によって抽出された一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画手段と、
前記描画手段によって前記一部のエリアの画素が変換された代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮手段とを有し、
前記データ量測定手段は、前記代表画像圧縮手段によって圧縮された代表画像のデータ量を測定し、
前記データ量測定手段による測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出手段は、前記代表画像圧縮手段によって圧縮された代表画像の一部のエリアを抽出することを特徴とする画像処理装置。
【請求項３】
前記エリア抽出手段は、前記ＤＣＴブロックの単位で前記一部のエリアを抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記描画手段は、前記一部のエリアのデータを前記ＤＣＴブロックの平均データ値に変換することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する手段と、
前記代表画像データの一部のエリアを抽出する手段と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する手段と、
前記変換する手段により一部のエリア以外のエリアの画素が変換された代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化手段とを有することを特徴とする画像処理装置。
【請求項６】
前記抽出する手段は、前記符号化手段により符号化された代表画像データのデータ量に基づいて前記一部のエリアの大きさを決めることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記抽出する手段は、前記符号化された代表画像データのデータ量が所定の量を超えないように前記一部のエリアの大きさを決めることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記符号化手段は、前記ブロック単位に直交変換を行う手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記変換する手段は、前記ブロックの複数画素の平均値を求め、前記複数のブロックについて、一つのブロックの全ての画素を当該ブロックの前記平均値に変換することを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記抽出する手段は、前記ブロックのサイズを単位として前記一部のエリアを抽出することを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、
前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、
前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とを有し、
前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮することを特徴とする画像処理方法。
【請求項１２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、
前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、
前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、
前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とを有し、
前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出することを特徴とする画像処理方法。
【請求項１３】
前記エリア抽出工程においては、前記ＤＣＴブロックの単位で前記一部のエリアを抽出することを特徴とする請求項１１または１２に記載の画像処理方法。
【請求項１４】
前記描画工程においては、前記ＤＣＴブロックの平均データ値で前記一部のエリアのデータを前記ＤＣＴブロックの平均データ値に変換することを特徴とする請求項１１または１２に記載の画像処理方法。
【請求項１５】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、
前記代表画像データの一部のエリアを抽出する工程と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、
前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とを有することを特徴とする画像処理方法。
【請求項１６】
前記抽出する工程においては、前記符号化工程において符号化した代表画像データのデータ量に基づいて前記一部のエリアの大きさを決めることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記抽出する工程においては、前記符号化した代表画像データのデータ量が所定の量を超えないように前記一部のエリアの大きさを決めることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記符号化工程においては、前記ブロック単位に直交変換を行う工程を有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１９】
前記変換する工程においては、前記ブロックの複数画素の平均値を求め、前記複数のブロックについて、一つのブロックの全ての画素を当該ブロックの前記平均値に変換することを特徴とする請求項１５に記載の画像処理方法。
【請求項２０】
前記抽出する工程においては、前記ブロックのサイズを単位として前記一部のエリアを抽出することを特徴とする請求項１５に記載の画像処理方法。
【請求項２１】
動画像データの代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程と、
前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定するデータ量測定工程と、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記代表画像の中の一部のエリアを抽出するエリア抽出工程と、
前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程とをコンピュータに実行させ、
前記代表画像圧縮工程においては、前記代表画像のデータ量が所定の量を超える場合に、前記描画工程において前記一部のエリアの画素を変換した代表画像を圧縮するようにコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
フレーム間差分を用いた圧縮方式で動画像データを圧縮する動画像圧縮工程と、
前記動画像圧縮工程において圧縮した動画像データの中の代表画像である先頭のフレーム内符号化フレームのデータ量を測定するデータ量測定工程と、
前記データ量測定工程において測定したデータ量に応じて、前記フレーム内符号化フレームの中の一部のエリアを抽出するエリア抽出工程と、
前記フレーム内符号化フレームを基に代表画像を生成するとともに、前記エリア抽出工程において抽出した一部のエリアのデータを複数のＤＣＴブロックに分割し、前記複数のＤＣＴブロックの画素を所定値に変換する描画工程と、
前記描画工程において前記一部のエリアの画素を変換した代表画像をＪＰＥＧ方式で圧縮する代表画像圧縮工程とをコンピュータに実行させ、
前記データ量測定工程においては、前記代表画像圧縮工程において圧縮した代表画像のデータ量を測定し、
前記データ量測定工程における測定の結果、前記代表画像のデータ量が所定の量を超える場合に、前記エリア抽出工程においては、前記代表画像圧縮工程において圧縮した代表画像の中の一部のエリアを抽出するようにコンピュータに実行させることを特徴とするプログラム。
【請求項２３】
動画像データの中の一画面を前記動画像データの代表画像データとして選択する工程と、
前記代表画像データの一部のエリアを抽出する工程と、
前記代表画像データの一部のエリア以外のエリアをそれぞれ複数画素からなる複数のブロックに分割し、前記複数のブロックの画素を所定値に変換する工程と、
前記変換する工程において一部のエリア以外のエリアの画素を変換した代表画像データを複数の前記ブロックに分割し、前記ブロック単位に符号化する符号化工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
請求項２１〜２３の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２８９０８９（Ｐ２００８−２８９０８９Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３４４９６（Ｐ２００７−１３４４９６）
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]