画像処理装置、及び方法、プログラム並びに記憶媒体
【課題】データ量が少なくなるように必要な特徴領域のみ高画質化する。
【解決手段】動画データは、フレームメモリ１４に格納される。被写体領域検出部２７は、フレーム画像から被写体を含む被写体領域を検出する。移動方向検出部２８は、被写体の移動方向を前後のフレーム画像の相関に基づいて検出する。分割部２９は、移動方向に基づいてフレーム画像の画面を複数の領域に分割する。圧縮率設定部３１は、複数の領域のそれぞれに、前記移動方向にある領域が高画質になるように圧縮率を設定する。圧縮部３２は、複数の領域の画像それぞれを、前記圧縮率に従って圧縮する。
【解決手段】動画データは、フレームメモリ１４に格納される。被写体領域検出部２７は、フレーム画像から被写体を含む被写体領域を検出する。移動方向検出部２８は、被写体の移動方向を前後のフレーム画像の相関に基づいて検出する。分割部２９は、移動方向に基づいてフレーム画像の画面を複数の領域に分割する。圧縮率設定部３１は、複数の領域のそれぞれに、前記移動方向にある領域が高画質になるように圧縮率を設定する。圧縮部３２は、複数の領域の画像それぞれを、前記圧縮率に従って圧縮する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内を複数に分割した領域を、圧縮率を変えて圧縮する画像処理装置、及び方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
従来、画像圧縮方式としてＪＰＥＧ２０００（ISO/IEC FCD 15444-1）が知られている。この圧縮方式には、画像全体の圧縮率を下げることなく、画像の注目領域（Region of Interest：ＲＯＩ）を低圧縮率化（高画質化）するための選択的領域画質向上機能（ＲＯＩ機能）がある。しかし、注目領域、及び各領域の圧縮率は、手動で設定する必要があった。そこで、自動的に設定することができるようにした画像処理装置が提案されている（特許文献１）。
【０００３】
特許文献１に記載の画像処理装置は、画像から人物、車輌等の移動物体等、特徴の種類が異なる複数の特徴領域を検出し、検出した各特徴領域が他の領域よりも高画質となるように、特徴領域の特徴の種類に応じて異なる圧縮強度で圧縮している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４９９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では、特徴領域の特徴に応じて異なる圧縮強度で圧縮するため、同じ種類の特徴領域を一律の圧縮強度で圧縮することになってしまい、不必要な領域まで高画質化（低圧縮率化）するおそれがある。このようになると、データ量が多くなる不都合が生じる。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、データ量が少なくなるように必要な特徴領域のみ高画質化する画像処理装置、及び方法、プログラム並びに記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目標を達成するために、本発明では、画像から被写体の移動方向を検出する移動方向検出手段と；被写体の移動方向に応じて画像内を複数の領域に分割する分割手段と；複数の領域の画像それぞれを、前記移動方向にある領域程高画質の画像になるように、圧縮率を変えて圧縮する圧縮手段と；を備えたものである。
【０００８】
移動方向検出手段としては、画像とその画像とは異なる時刻で撮影した画像との相関に基づいて、少なくとも被写体の移動方向の情報を取得するのが望ましい。具体的には、主要被写体の画像を含む領域（被写体領域）を検出する被写体領域検出手段を設け、動画像データを構成する現フレーム画像と、１つ前の前フレーム画像の連続フレームにおける被写体領域の画像信号レベルの相関を検出し、検出した相関に基づいて主要被写体の動きベクトルを求める。
【０００９】
分割手段としては、被写体領域を挟んでその被写体の移動方向にある領域（移動方向側領域）と、前記移動方向とは逆側の領域とに分割するのが望ましい。この場合、圧縮手段としては、被写体領域を含み被写体の移動方向側の領域の画像を、逆側の領域と比べて高画質の画像になるように、低圧縮率で圧縮するのが望ましい。
【００１０】
また、分割手段としては、被写体を含む被写体領域とその移動方向にある移動方向側領域とに分割し、圧縮手段は、被写体領域とその移動方向側領域との画像を圧縮率を変えて圧縮してもよい。この場合には、高・中・低との三段階の圧縮率を設定し、最高画質にするために被写体領域を低圧縮率、移動方向側領域を中圧縮率に、そして反対方向側領域を高圧縮率にそれぞれ設定すればよい。
【００１１】
ところで、分割手段は、被写体領域の位置やサイズ、及び移動方向に応じて分割する個数を決める。３個以上分割する場合には、分割した複数の領域を、前記移動方向に基づいてグループ化してグループ領域を生成するグループ化手段を備えてもよい。この場合、圧縮手段としては、グループ領域のそれぞれを、移動方向側領域の画像が高画質になるように、圧縮率を変えて圧縮するのが望ましい。
【００１２】
また、前記分割した複数の領域、又は複数のグループ領域毎に、前記移動方向に基づいて異なる圧縮率を割り当てる圧縮率設定手段を備えるのが望ましい。
【００１３】
さらに、圧縮手段としては、高画質になるように低圧縮率で圧縮する低圧縮率領域の画像と、それよりも低画質になるように高圧縮率で圧縮する高圧縮率領域の画像との符号化を並行処理する複数の符号化手段と、各符号化手段の符号化処理後の転送タイミングを調節するタイミング調整手段と、タイミング調整手段から転送される複数の符号化データを合成する合成手段と、で構成するのが望ましい。
【発明の効果】
【００１４】
本発明では、画像から被写体の移動方向を検出し、被写体の移動方向に基づいて画面を複数に分割し、分割した領域の画像それぞれを、被写体の移動方向にある領域程高画質の画像になるように、圧縮率を変えて圧縮するため、特徴領域の中でも被写体に対して必要とされる領域の画像のみを高画質化することができ、よって、データ量を少なくすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を採用したデジタルカメラの構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】圧縮部の構成を示すブロック図である。
【図４】デジタルカメラでの録画動作の手順を示すフローチャート図である。
【図５】被写体領域検出部が矩形枠を設定して被写体領域を検出する状態を示す説明図である。
【図６】移動方向検出部が前・後フレーム画像の相関に基づいて被写体の移動方向を検出する状態を示す説明図であり、（ａ）が前画像データ、（ｂ）が現画像データである。
【図７】分割部が被写体の移動方向に基づいて画面を分割する状態を示す説明図である。
【図８】複数の被写体領域を検出する場合、この中から主被写体領域を選択する他の例を説明する説明図である。
【図９】前後のフレーム画像の相関に基づいて図８で説明した主被写体領域の移動方向を検出する状態を示す説明図であり、（ａ）が前画像データ、（ｂ）が現画像データである。
【図１０】図９で説明した移動方向に基づいて画面を分割した状態を示す説明図である。
【図１１】図１０で説明した分割に基づいてグルーピングした領域を示す説明図である。
【図１２】被写体の移動方向を上方向として検出する場合の画面分割の例を示す説明図である。
【図１３】複数の主被写体領域を検出し、かつ各被写体の移動方向が相反する方向として検出される場合の画面分割の例を示す説明図である。
【図１４】図１３で説明した分割領域をグルーピングする例を示す説明図である。
【図１５】被写体の移動方向側領域と非移動方向側領域とが重複する場合、移動方向側領域を優先する他の例を示す説明図である。
【発明を実施するための形態】
【００１６】
本発明を用いた一実施形態である動画記録及び再生機能付きのデジタルカメラ１０は、図１に示すように、撮像部１１、制御部１２、信号処理部１３、フレームメモリ１４、画像処理部１５、ＲＯＭ１６、ＲＡＭ１７、Ｉ／Ｆ（インターフェース）１８、ＶＲＡＭ１９、表示用画像データ生成部２０、及び表示制御部２１を備えており、これらは各々バス２２に接続されている。撮像部１１は、被写体を撮像してＡ／Ｄ変換を行って得られたデジタルの画像データを出力する。画像データは、フレーム画像、又はフィールド画像になっている。制御部１２には、各部を統括的に制御する。操作部２３は、制御部１２に接続されており、動画録画用の操作ボタン群と、動画再生用の操作ボタン群等で構成されている。
【００１７】
信号処理部１３は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。フレームメモリ１４は、ＳＤＲＡＭなどの容量半導体メモリによって構成され、信号処理部１３によって補正された、１フレームもしくは数フレーム分の画像データが蓄積される。
【００１８】
ＲＯＭ１６は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ１７は、制御部１２のワークメモリとして、また、各部の一時的なメモリとして使用される。Ｉ／Ｆ１８には、符号化画像データを記録する記録部２４が接続されている。記録部２４としては、内蔵用の半導体メモリやハードディスク等を使用することができる。また、外部接続用としては、着脱自在な記録媒体と、その記録媒体を挿入するスロット、及び記録媒体へのアクセスを制御する回路等で構成してもよい。
【００１９】
表示用画像データ生成部２０は、フレームメモリ１４から読み出した1フレーム分の画像データを、表示部２５の解像度と画素数等に基づいて拡大又は縮小処理して表示用画像データを生成して出力する。
【００２０】
ＶＲＡＭ１９は、表示用画像データを蓄積する表示用ビデオメモリである。表示制御部２１は、ＶＲＡＭ１９から表示用画像データを読み出して表示部２５に表示するように制御する。表示部２５には、録画中の画像データも含めてスルー画像の画像データ、もしくは記録部２４から再生して動画の画像データが表示される。
【００２１】
画像処理部１５は、図２に示すように、被写体領域検出部２７、移動方向検出部２８、分割部２９、グループ化部３０、圧縮率設定部３１、圧縮部３２、及び伸長部３３を備えている。
【００２２】
被写体領域検出部２７は、一の画像データ（現画像データ）の画像から被写体を含む画像が写っている領域を被写体領域として検出し、被写体領域の画像抽出とその位置情報とを出力する。具体的には、被写体領域検出部２７は、人物の顔、人体、ペット、及び車輌や飛行機等の被写体を含む領域を、被写体領域として検出する。
【００２３】
移動方向検出部２８は、現画像データとその現画像データとは異なる時刻で撮像した例えば、その直前の前画像データとに基づき、被写体領域の画像に最も相関の大きいマッチング領域を前画像データから探索することで、被写体の移動方向を検出する。
【００２４】
分割部２９は、現画像データの画面のうちの被写体領域以外の領域を被写体の移動方向に基づいて分割する。具体的には、被写体領域を基準として被写体の移動方向側の領域とその逆方向側の領域とに分割する。
【００２５】
グループ化部３０は、被写体領域を含めて分割された複数の領域を被写体の移動方向に基づいてグループ化する。具体的には、対象の領域が被写体領域に対して進行方向側に属すか否かでグルーピングする。例えば、進行方向側に属する領域は進行方向側グループ領域に、また、逆方向側に属する領域は非進行方向側グループ領域にそれぞれグルーピングする。
【００２６】
圧縮率設定部３１は、グループ種別（進行方向側のグループか否か）の情報に基づいて圧縮率をグループ領域の画像毎に設定する。例えば進行方向側グループ領域の画像が低圧縮（高画質）に、また非進行方向側グループ領域の画像が進行方向側領域の圧縮率よりも高い高圧縮（低画質）になるようにそれぞれ圧縮率（画質レベル）を割り当てる。
【００２７】
圧縮部３２は、割り当てた圧縮率で各グループ領域の画像を並行して圧縮処理し、前記領域の画像を圧縮した圧縮データを合成して合成圧縮画像データとして出力する。
【００２８】
合成圧縮画像データは、復号時に参照するパラメータを記載した復号用テーブルがヘッダとして付与されて合成圧縮画像データとして記録部２４に記録される。
【００２９】
このように、本実施形態では、グループ化した領域の画像をひとつの単位としてエンコード・デコードを行う。伸長部３３は、合成圧縮データを複号して、複号した画像データを出力する。
【００３０】
圧縮部３２は、図３に示すように、符号化部３９、タイミング調整部４２、合成部４３、及び復号テーブル付与部４４で構成されている。符号化部３９は、複数の符号化器４０，４１で構成されている。符号化器４０，４１は、グループ化部３０がグルーピングする数だけ予め設けられており、グループ領域の画像毎に並行して圧縮処理をする。なお、一つの符号化器のみを設けて各グループ領域の画像を時系列的に圧縮するように構成してもよい。
【００３１】
タイミング調整部４２は、バッファメモリで構成されており、各符号化から出力される圧縮データを取り込んでバッファしておき、合成部４３に一斉に出力するタイミングを調整する。
【００３２】
合成部４３は、タイミング調整部４２から複数の圧縮データを取り込んで、各圧縮データを合成して合成圧縮データを出力する。
【００３３】
復号テーブル付与部４４は、復号用テーブルを作成し、作成した復号用テーブルを合成圧縮データにヘッダとして付与して合成圧縮画像データとして出力する。復号用テーブルは、グループ化部３０、圧縮率設定部３１、及び符号化部３９から得られる情報に基づいて、移動方向側及び非移動方向側領域の位置情報や圧縮率、解像度、ビット深さ、色仕様、及びビットレート等の規定される様々なパラメータをテーブルとして付与して構成されている。これらパラメータは、伸長部３３で復号するときに利用される。
【００３４】
なお、符号化器４０，４１は、周知のように、ＤＣレベルシフト、コンポーネント間変換、離散ウェーブレット変換、量子化、エブコット（エントロピー符号化）、及びストリーム化を順に行う。ストリーム化は、エントロピー符号化したデータを量子化幅等の符号化パラメータとともにストリーム化して圧縮データを出力する。また、符号化器４０，４１は、ストリーム化したときの符号量を積算し、積算した符号量を復号テーブル付与部４４へ与える。
【００３５】
次に上記構成の作用を、図４を参照しながら説明する。操作部２３を構成する録画スタートボタンを操作すると（Ｓ―１）、制御部１２は、撮像部１１を駆動して被写体像を撮像する。撮像部１１から出力されるデジタルの画像データは、フレームメモリ１４に記憶されていく（Ｓ−２）。
【００３６】
画像処理部１５は、フレームメモリ１４に記憶される１フレーム分の画像データを取り込む。被写体領域検出部２７は、取り込んだ現画像データの画像に基づいて被写体領域を検出する（Ｓ−３）。
【００３７】
被写体領域の画像は、例えば図５に示す現画像データ４９に対して矩形枠５０で検出され、その矩形枠５０内の画像を抽出して参照画像としてＲＡＭ１７に記憶する。また、矩形枠５０の位置情報もＲＡＭ１７に記憶される。なお、位置情報は、矩形枠５０の左上隅の画素の座標値とその領域の縦横の画素数で構成される。ここで、図５に示す例は、被写体領域が1個のみ検出されたものとして説明する。
【００３８】
移動方向検出部２８は、直前の前画像データ５１をＲＡＭ１７に記憶しており、図６に示すように、ＲＡＭ１７を参照して被写体領域と同一サイズの比較領域５２を前画像データ５１に設定し、前画像データ５１内で比較領域５２を異なる座標位置に順次設定して、被写体領域の画素値に相関が最も大きいマッチング領域を特定し、特定したマッチング領域と被写体領域とのそれぞれの全体画像に対する位置関係に基づいて被写体の移動方向を検出し（Ｓ−４）、その情報を分割部２９に送る。なお、同図に示す例では、被写体の移動方向を「右方向」として検出している。
【００３９】
分割部２９は、被写体の移動方向と被写体領域の位置情報とを参照して、図７に示すように、被写体領域が移動方向側の領域に含まれるように、Ｘ座標を基準として右方向側の領域５５とその逆方向側の領域５６とに境界線５７により分割し（Ｓ−５）、各分割領域５５，５６の位置情報をグループ化部に送る。
【００４０】
グループ化部３０は、分割領域５５，５６の位置情報を参照して、被写体領域（矩形枠５０）を含む移動方向側の領域５５を進行方向グループ領域に、また、その逆方向側の領域５６を非進行方向グループ領域にグルーピングする（Ｓ−６）。このグループ領域の種別情報は圧縮率設定部３１に送られる。
【００４１】
圧縮率設定部３１は、グループ種別に基づいて、進行方向グループ領域の画像が入力される符号化器４０に低圧縮率を、非進行方向グループ領域の画像が入力される符号化器４１に高圧縮率をそれぞれ設定する（Ｓ−７）。
【００４２】
符号化部３９は、ＲＡＭ１７から現画像データを読み出して、符号化器４０で進行方向グループ領域の画像を低圧縮率で圧縮し（Ｓ−８）、符号化器４１で非進行方向グループ領域の画像を高圧縮率で圧縮する（Ｓ−９）。
【００４３】
符号化器４０，４１の圧縮処理には、時間差が生じる。この時間差をタイミング調整部４２で吸収する。タイミング調整部４２は、複数の符号化器４０，４１から圧縮データの出力が揃うまで蓄積しておき、揃うことに応答して２つの圧縮データを合成部４３に送る（Ｓ−１０）。合成部４３は、２つの圧縮データを合成して合成圧縮データを生成する（Ｓ−１１）。
【００４４】
復号テーブル付与部４４は、グループ化部３０、及び圧縮率設定部３１から得られるグループ領域の位置情報、それら位置情報に対する圧縮率情報、及びビットレート情報等に基づいて復号テーブルを生成し、生成した復号テーブルを合成圧縮データにヘッダとして付与して合成圧縮画像データ（動画像の符号化ストリーム）として出力する（Ｓ−１２）。出力される合成圧縮画像データは、記録部２４に記録される。以下、録画ストップの操作（Ｓ−１３）が行われまで、次のフレーム画像に対して前述したと同様にグループ領域毎に圧縮して合成圧縮画像データを作っていく。
【００４５】
合成圧縮画像データは、再生操作に応答して記録部２４から読み出され、伸長部３３によって復号されて表示部２５の画面に再生される。
【００４６】
上記実施形態では、画像処理部１５が圧縮処理する画像データとして、ＲＧＢ色毎に１の固体撮像素子を用意した３板式撮像素子により取得したＲＡＷデータを画像データとしてもよいし、カラーフィルタアレイ（ＣＦＡ）を有する単板式撮像素子により取得したＲＡＷデータを、デモザイキング処理をしてフルカラー画像（ＲＧＢ画像）に変換した画像データとしてもよい。
【００４７】
また、上記各実施形態の被写体領域検出部２７としては、被写体領域を複数検出する場合がある。この場合には、その中から移動体である領域、もしくは被写体領域の位置や大きさに基づいて主の被写体領域（主被写体領域）を選択するのが好適である。この場合、複数の被写体領域を比較して位置や大きさに基づいて主被写体領域を選択する選択手段を設ければよい。
【００４８】
選択手段としては、例えば、領域が予め決めた基準の大きさよりも小さい場合、また、画面全体に対して予め決めた中央範囲よりも外で画面端に寄っている場合は、主被写体領域として選択しない。
【００４９】
例えば、図８に示す現画像データ６０においては、被写体領域検出部２７が２つの被写体領域６１，６２を検出している。この場合、選択手段が２つの被写体領域６１，６２の位置や大きさに基づいて被写体領域６１を主被写体領域として選択する。移動方向検出手段２８は、図９に示すように、前画像データ６０ａとのフレーム相関に基づいて主被写体領域６１にある被写体画像の移動方向６３を検出する。
【００５０】
分割手段２９は、図１０に示すように、検出した移動方向６３に対して直交又は交差する境界線６４，６５を各被写体領域６１，６２に基づいて設定して現画像データ６０を複数の画面６６〜６８に分割する。グループ化部３０は、図１１に示すように、主被写体領域６１を含む領域６６とその移動方向側の領域６７とを進行方向側グループ領域６９に、逆方向側の領域６８を非進行方向側グループ領域７０にそれぞれ設定する。
【００５１】
この場合、グループ領域６９の画像は、主被写体を含みその移動方向側の領域であるので高画質で保存される。逆に、グループ領域７０の画像は、主被写体の移動方向側ではないので、ここにどのような画像が写っていても低画質で保存される。
【００５２】
なお、移動方向検出部２８が被写体の移動方向を上方向として検出する場合、図１２に示すように、分割手段２９は、検出した移動方向７１に対して直交又は交差する境界線７２、すなわち水平方方向の境界線７２を被写体領域７３に基づいて設定して複数の画面７４，７５に分割する。この場合、グループ化部３０は、被写体領域７３を含む移動方向側の領域７４を進行方向側グループ領域に設定する。
【００５３】
図１３に示す例では、２つの被写体領域８０，８１が中央範囲内で、かつ前記基準の大きさを超えるため、２つの被写体領域８０，８１が主被写体領域としてそれぞれ選択してされている。また、同図に示す例では、２つの主被写体の移動方向８２，８３が、相反する方向（左・右方向）で検出されている。この場合、分割部２９は、２つの被写体領域８０，８１の間に境界線を設定して現画像データの画面８４を左右の領域に２分割する。しかしながら、この場合、どちらの領域も主被写体領域８０，８１の移動方向側なので、左右領域とも低圧縮率が設定されてしまう。このため、画像全体を低圧縮率で圧縮したのと比べてファイルサイズが変わらないおそれがある。
【００５４】
そこで、分割部２９は、画像全体を低圧縮率で圧縮したものと比べてファイルサイズが小さくなるように、主被写体領域８０，８１のサイズに基づいて少なくとも３個以上に分割するように構成するのが望ましい。例えば、図１４に示すように、主被写体領域８０，８１の縦サイズに合わせて移動方向側の領域８５，８６を設定することで、主被写体領域８０，８１の上・下を別の領域８７〜９０として設定することができる。また、主被写体領域８０，８１の横サイズに基づいて分割することで、主被写体領域８０，８１の間にある領域９１も別の領域として設定することができる。したがって、同図に示す例では、分割部２９が９個の領域８０，８１，８５〜９１に分割する。
【００５５】
この場合、グループ化部３０は、主被写体領域と移動方向側領域とを進行方向側グループ領域に、また、それ以外の領域を非進行方向側グループ領域にそれぞれグルーピングすればよい。
【００５６】
上記各実施形態では、圧縮率設定部３１が圧縮率を低圧縮率と高圧縮率との２段階に設定する例として説明しているが、本発明ではこれに限らず、３段階以上に設定することもできる。例えば、高中低の３段階の圧縮率に設定する場合には、グループ化部３０は、図１４で説明した２つの主被写体領域８０，８１を低圧縮率グループ領域に、その移動方向側にある２つの領域８５，８６を中圧縮率グループ領域に、そして、残りの領域８７〜９１を高圧縮率グループ領域にそれぞれ設定する。このように、被写体の移動方向側の領域が高画質になるように、３段階以上の圧縮率をそれぞれ設定してもよい。
【００５７】
この場合、勿論、符号化部３９は、圧縮率の段階数に応じて予め３つの第１〜第３符号化器で構成する。そして、圧縮率設定部３１は、低圧縮率グループ領域の画像を圧縮する第１符号化器に低圧縮率を、中圧縮率グループ領域の画像を圧縮する第２符号化器に中圧縮率を、そして、高圧縮率グループ領域の画像を圧縮する第３符号化器には高圧縮率をそれぞれ設定する。
【００５８】
また、上記得各実施形態では、被写体領域検出部２７で被写体領域を検出しているが、移動方向検出部で、被写体の領域とその移動方向との両方を一緒に検出してもよい。この場合、動画像データの前後フレームの相関に基づいて、移動物体を含む領域を被写体領域として検出する。被写体領域を複数検出する場合には、例えば、現画像データとその前又は後の画像データとの間で画素値の変化量が予め定められた変化量より大きい領域（動領域）を主被写体領域として検出すればよい。
【００５９】
また、例えば、車窓から風景を撮影した動画像データや、風景をパンニングして撮影した動画像データの場合には、前景に写る家並みや木々等を主被写体領域として検出してもよい。この場合、主被写体領域が画面の水平方向に連続的に続いて被写体領域に切れ目がないため、分割する境界を予め決めた長さで決めるように構成してもよい。すなわち、主被写体領域を画面の幅いっぱいに検出する場合には、移動方向側領域の水平又は垂直方向の長さを、例えば全体画面の水平又は垂直方向の長さに対して２／３の比率になる長さ等に予め決めておけばよい。
【００６０】
また、図１５に示すように、例えば２つの被写体領域９３，９４を画面の異なる位置にそれぞれ検出し、一方の領域９３の被写体の移動方向を右方向、また他の領域９４の被写体の移動方向を垂直方向としてそれぞれ検出した場合、分割部２９が被写体の移動方向に基づいて分割する移動方向側の低圧縮領域９４ａと非移動方向側の高圧縮領域９３ａとが重複する場合が考えられる。この場合には、グループ化部３０が低圧縮率領域を優先にしてグルーピングすればよい。
【００６１】
上記各実施形態の被写体領域検出部２７としては、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域を主被写体領域として検出してもよい。また、この検出部の代わりに、顔画像検出部を設けても良い。この場合、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きい顔画像を含む領域をパターンマッチング等により検出して、検出した顔画像領域を主被写体領域として検出すればよい。なお、被写体領域検出部は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００６２】
さらに、他にも、被写体領域検出部２７としては、エッジ抽出等により複数の画像データ（フレーム画像）のそれぞれに含まれる画像（オブジェクト）を抽出する。そして、被写体領域検出部２７は、他の画像データの異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を主被写体領域として特定してもよい。
【００６３】
また、被写体領域検出部２７は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、主被写体領域として検出してもよい。ここで、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。さらに、被写体領域検出部は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をメインの被写体として検出してもよい。さらにまた、被写体領域検出部は、ＡＦ情報に基づいて主被写体領域を検出してもよい。
【００６４】
また、ユーザが現画像上の特定の領域を指定することによって主被写体領域を選択するように構成してもよい。さらに、主被写体の画像は、画面の中心に写ることが多いため、現画像データの中心領域等予め定まった領域を自動的に選択するように構成してもよい。
【００６５】
上記各実施形態では、デジタルカメラで動画像データを圧縮する構成として説明しているが、本発明ではこれに限らず、静止画の画像データを圧縮することができる。この場合には、連写撮影した複数の画像データ等、撮影場所が同じで撮影時期が異なる類似の画像データを指定して読み込ませることで、被写体の移動方向を検出することができる。
【００６６】
上記各実施形態では、デジタルカメラで画像データを圧縮する構成として説明しているが、本発明ではこれに限らず、パーソナルコンピュータ等で実行するアプリケーションプログラムで構成される装置にも適用可能である。この場合、デジタルカメラやビデオカメラで撮像して得られた画像ファイルをパーソナルコンピュータ等で読み込んで、前述しように圧縮すればよい。
【００６７】
上記各実施形態では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００６８】
１０ デジタルカメラ
１５ 画像処理部
２７ 被写体領域検出部
２８ 移動方向検出部
２９ 分割部
３２ 圧縮部
【技術分野】
【０００１】
本発明は、画面内を複数に分割した領域を、圧縮率を変えて圧縮する画像処理装置、及び方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
従来、画像圧縮方式としてＪＰＥＧ２０００（ISO/IEC FCD 15444-1）が知られている。この圧縮方式には、画像全体の圧縮率を下げることなく、画像の注目領域（Region of Interest：ＲＯＩ）を低圧縮率化（高画質化）するための選択的領域画質向上機能（ＲＯＩ機能）がある。しかし、注目領域、及び各領域の圧縮率は、手動で設定する必要があった。そこで、自動的に設定することができるようにした画像処理装置が提案されている（特許文献１）。
【０００３】
特許文献１に記載の画像処理装置は、画像から人物、車輌等の移動物体等、特徴の種類が異なる複数の特徴領域を検出し、検出した各特徴領域が他の領域よりも高画質となるように、特徴領域の特徴の種類に応じて異なる圧縮強度で圧縮している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４９９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では、特徴領域の特徴に応じて異なる圧縮強度で圧縮するため、同じ種類の特徴領域を一律の圧縮強度で圧縮することになってしまい、不必要な領域まで高画質化（低圧縮率化）するおそれがある。このようになると、データ量が多くなる不都合が生じる。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、データ量が少なくなるように必要な特徴領域のみ高画質化する画像処理装置、及び方法、プログラム並びに記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目標を達成するために、本発明では、画像から被写体の移動方向を検出する移動方向検出手段と；被写体の移動方向に応じて画像内を複数の領域に分割する分割手段と；複数の領域の画像それぞれを、前記移動方向にある領域程高画質の画像になるように、圧縮率を変えて圧縮する圧縮手段と；を備えたものである。
【０００８】
移動方向検出手段としては、画像とその画像とは異なる時刻で撮影した画像との相関に基づいて、少なくとも被写体の移動方向の情報を取得するのが望ましい。具体的には、主要被写体の画像を含む領域（被写体領域）を検出する被写体領域検出手段を設け、動画像データを構成する現フレーム画像と、１つ前の前フレーム画像の連続フレームにおける被写体領域の画像信号レベルの相関を検出し、検出した相関に基づいて主要被写体の動きベクトルを求める。
【０００９】
分割手段としては、被写体領域を挟んでその被写体の移動方向にある領域（移動方向側領域）と、前記移動方向とは逆側の領域とに分割するのが望ましい。この場合、圧縮手段としては、被写体領域を含み被写体の移動方向側の領域の画像を、逆側の領域と比べて高画質の画像になるように、低圧縮率で圧縮するのが望ましい。
【００１０】
また、分割手段としては、被写体を含む被写体領域とその移動方向にある移動方向側領域とに分割し、圧縮手段は、被写体領域とその移動方向側領域との画像を圧縮率を変えて圧縮してもよい。この場合には、高・中・低との三段階の圧縮率を設定し、最高画質にするために被写体領域を低圧縮率、移動方向側領域を中圧縮率に、そして反対方向側領域を高圧縮率にそれぞれ設定すればよい。
【００１１】
ところで、分割手段は、被写体領域の位置やサイズ、及び移動方向に応じて分割する個数を決める。３個以上分割する場合には、分割した複数の領域を、前記移動方向に基づいてグループ化してグループ領域を生成するグループ化手段を備えてもよい。この場合、圧縮手段としては、グループ領域のそれぞれを、移動方向側領域の画像が高画質になるように、圧縮率を変えて圧縮するのが望ましい。
【００１２】
また、前記分割した複数の領域、又は複数のグループ領域毎に、前記移動方向に基づいて異なる圧縮率を割り当てる圧縮率設定手段を備えるのが望ましい。
【００１３】
さらに、圧縮手段としては、高画質になるように低圧縮率で圧縮する低圧縮率領域の画像と、それよりも低画質になるように高圧縮率で圧縮する高圧縮率領域の画像との符号化を並行処理する複数の符号化手段と、各符号化手段の符号化処理後の転送タイミングを調節するタイミング調整手段と、タイミング調整手段から転送される複数の符号化データを合成する合成手段と、で構成するのが望ましい。
【発明の効果】
【００１４】
本発明では、画像から被写体の移動方向を検出し、被写体の移動方向に基づいて画面を複数に分割し、分割した領域の画像それぞれを、被写体の移動方向にある領域程高画質の画像になるように、圧縮率を変えて圧縮するため、特徴領域の中でも被写体に対して必要とされる領域の画像のみを高画質化することができ、よって、データ量を少なくすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を採用したデジタルカメラの構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】圧縮部の構成を示すブロック図である。
【図４】デジタルカメラでの録画動作の手順を示すフローチャート図である。
【図５】被写体領域検出部が矩形枠を設定して被写体領域を検出する状態を示す説明図である。
【図６】移動方向検出部が前・後フレーム画像の相関に基づいて被写体の移動方向を検出する状態を示す説明図であり、（ａ）が前画像データ、（ｂ）が現画像データである。
【図７】分割部が被写体の移動方向に基づいて画面を分割する状態を示す説明図である。
【図８】複数の被写体領域を検出する場合、この中から主被写体領域を選択する他の例を説明する説明図である。
【図９】前後のフレーム画像の相関に基づいて図８で説明した主被写体領域の移動方向を検出する状態を示す説明図であり、（ａ）が前画像データ、（ｂ）が現画像データである。
【図１０】図９で説明した移動方向に基づいて画面を分割した状態を示す説明図である。
【図１１】図１０で説明した分割に基づいてグルーピングした領域を示す説明図である。
【図１２】被写体の移動方向を上方向として検出する場合の画面分割の例を示す説明図である。
【図１３】複数の主被写体領域を検出し、かつ各被写体の移動方向が相反する方向として検出される場合の画面分割の例を示す説明図である。
【図１４】図１３で説明した分割領域をグルーピングする例を示す説明図である。
【図１５】被写体の移動方向側領域と非移動方向側領域とが重複する場合、移動方向側領域を優先する他の例を示す説明図である。
【発明を実施するための形態】
【００１６】
本発明を用いた一実施形態である動画記録及び再生機能付きのデジタルカメラ１０は、図１に示すように、撮像部１１、制御部１２、信号処理部１３、フレームメモリ１４、画像処理部１５、ＲＯＭ１６、ＲＡＭ１７、Ｉ／Ｆ（インターフェース）１８、ＶＲＡＭ１９、表示用画像データ生成部２０、及び表示制御部２１を備えており、これらは各々バス２２に接続されている。撮像部１１は、被写体を撮像してＡ／Ｄ変換を行って得られたデジタルの画像データを出力する。画像データは、フレーム画像、又はフィールド画像になっている。制御部１２には、各部を統括的に制御する。操作部２３は、制御部１２に接続されており、動画録画用の操作ボタン群と、動画再生用の操作ボタン群等で構成されている。
【００１７】
信号処理部１３は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。フレームメモリ１４は、ＳＤＲＡＭなどの容量半導体メモリによって構成され、信号処理部１３によって補正された、１フレームもしくは数フレーム分の画像データが蓄積される。
【００１８】
ＲＯＭ１６は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ１７は、制御部１２のワークメモリとして、また、各部の一時的なメモリとして使用される。Ｉ／Ｆ１８には、符号化画像データを記録する記録部２４が接続されている。記録部２４としては、内蔵用の半導体メモリやハードディスク等を使用することができる。また、外部接続用としては、着脱自在な記録媒体と、その記録媒体を挿入するスロット、及び記録媒体へのアクセスを制御する回路等で構成してもよい。
【００１９】
表示用画像データ生成部２０は、フレームメモリ１４から読み出した1フレーム分の画像データを、表示部２５の解像度と画素数等に基づいて拡大又は縮小処理して表示用画像データを生成して出力する。
【００２０】
ＶＲＡＭ１９は、表示用画像データを蓄積する表示用ビデオメモリである。表示制御部２１は、ＶＲＡＭ１９から表示用画像データを読み出して表示部２５に表示するように制御する。表示部２５には、録画中の画像データも含めてスルー画像の画像データ、もしくは記録部２４から再生して動画の画像データが表示される。
【００２１】
画像処理部１５は、図２に示すように、被写体領域検出部２７、移動方向検出部２８、分割部２９、グループ化部３０、圧縮率設定部３１、圧縮部３２、及び伸長部３３を備えている。
【００２２】
被写体領域検出部２７は、一の画像データ（現画像データ）の画像から被写体を含む画像が写っている領域を被写体領域として検出し、被写体領域の画像抽出とその位置情報とを出力する。具体的には、被写体領域検出部２７は、人物の顔、人体、ペット、及び車輌や飛行機等の被写体を含む領域を、被写体領域として検出する。
【００２３】
移動方向検出部２８は、現画像データとその現画像データとは異なる時刻で撮像した例えば、その直前の前画像データとに基づき、被写体領域の画像に最も相関の大きいマッチング領域を前画像データから探索することで、被写体の移動方向を検出する。
【００２４】
分割部２９は、現画像データの画面のうちの被写体領域以外の領域を被写体の移動方向に基づいて分割する。具体的には、被写体領域を基準として被写体の移動方向側の領域とその逆方向側の領域とに分割する。
【００２５】
グループ化部３０は、被写体領域を含めて分割された複数の領域を被写体の移動方向に基づいてグループ化する。具体的には、対象の領域が被写体領域に対して進行方向側に属すか否かでグルーピングする。例えば、進行方向側に属する領域は進行方向側グループ領域に、また、逆方向側に属する領域は非進行方向側グループ領域にそれぞれグルーピングする。
【００２６】
圧縮率設定部３１は、グループ種別（進行方向側のグループか否か）の情報に基づいて圧縮率をグループ領域の画像毎に設定する。例えば進行方向側グループ領域の画像が低圧縮（高画質）に、また非進行方向側グループ領域の画像が進行方向側領域の圧縮率よりも高い高圧縮（低画質）になるようにそれぞれ圧縮率（画質レベル）を割り当てる。
【００２７】
圧縮部３２は、割り当てた圧縮率で各グループ領域の画像を並行して圧縮処理し、前記領域の画像を圧縮した圧縮データを合成して合成圧縮画像データとして出力する。
【００２８】
合成圧縮画像データは、復号時に参照するパラメータを記載した復号用テーブルがヘッダとして付与されて合成圧縮画像データとして記録部２４に記録される。
【００２９】
このように、本実施形態では、グループ化した領域の画像をひとつの単位としてエンコード・デコードを行う。伸長部３３は、合成圧縮データを複号して、複号した画像データを出力する。
【００３０】
圧縮部３２は、図３に示すように、符号化部３９、タイミング調整部４２、合成部４３、及び復号テーブル付与部４４で構成されている。符号化部３９は、複数の符号化器４０，４１で構成されている。符号化器４０，４１は、グループ化部３０がグルーピングする数だけ予め設けられており、グループ領域の画像毎に並行して圧縮処理をする。なお、一つの符号化器のみを設けて各グループ領域の画像を時系列的に圧縮するように構成してもよい。
【００３１】
タイミング調整部４２は、バッファメモリで構成されており、各符号化から出力される圧縮データを取り込んでバッファしておき、合成部４３に一斉に出力するタイミングを調整する。
【００３２】
合成部４３は、タイミング調整部４２から複数の圧縮データを取り込んで、各圧縮データを合成して合成圧縮データを出力する。
【００３３】
復号テーブル付与部４４は、復号用テーブルを作成し、作成した復号用テーブルを合成圧縮データにヘッダとして付与して合成圧縮画像データとして出力する。復号用テーブルは、グループ化部３０、圧縮率設定部３１、及び符号化部３９から得られる情報に基づいて、移動方向側及び非移動方向側領域の位置情報や圧縮率、解像度、ビット深さ、色仕様、及びビットレート等の規定される様々なパラメータをテーブルとして付与して構成されている。これらパラメータは、伸長部３３で復号するときに利用される。
【００３４】
なお、符号化器４０，４１は、周知のように、ＤＣレベルシフト、コンポーネント間変換、離散ウェーブレット変換、量子化、エブコット（エントロピー符号化）、及びストリーム化を順に行う。ストリーム化は、エントロピー符号化したデータを量子化幅等の符号化パラメータとともにストリーム化して圧縮データを出力する。また、符号化器４０，４１は、ストリーム化したときの符号量を積算し、積算した符号量を復号テーブル付与部４４へ与える。
【００３５】
次に上記構成の作用を、図４を参照しながら説明する。操作部２３を構成する録画スタートボタンを操作すると（Ｓ―１）、制御部１２は、撮像部１１を駆動して被写体像を撮像する。撮像部１１から出力されるデジタルの画像データは、フレームメモリ１４に記憶されていく（Ｓ−２）。
【００３６】
画像処理部１５は、フレームメモリ１４に記憶される１フレーム分の画像データを取り込む。被写体領域検出部２７は、取り込んだ現画像データの画像に基づいて被写体領域を検出する（Ｓ−３）。
【００３７】
被写体領域の画像は、例えば図５に示す現画像データ４９に対して矩形枠５０で検出され、その矩形枠５０内の画像を抽出して参照画像としてＲＡＭ１７に記憶する。また、矩形枠５０の位置情報もＲＡＭ１７に記憶される。なお、位置情報は、矩形枠５０の左上隅の画素の座標値とその領域の縦横の画素数で構成される。ここで、図５に示す例は、被写体領域が1個のみ検出されたものとして説明する。
【００３８】
移動方向検出部２８は、直前の前画像データ５１をＲＡＭ１７に記憶しており、図６に示すように、ＲＡＭ１７を参照して被写体領域と同一サイズの比較領域５２を前画像データ５１に設定し、前画像データ５１内で比較領域５２を異なる座標位置に順次設定して、被写体領域の画素値に相関が最も大きいマッチング領域を特定し、特定したマッチング領域と被写体領域とのそれぞれの全体画像に対する位置関係に基づいて被写体の移動方向を検出し（Ｓ−４）、その情報を分割部２９に送る。なお、同図に示す例では、被写体の移動方向を「右方向」として検出している。
【００３９】
分割部２９は、被写体の移動方向と被写体領域の位置情報とを参照して、図７に示すように、被写体領域が移動方向側の領域に含まれるように、Ｘ座標を基準として右方向側の領域５５とその逆方向側の領域５６とに境界線５７により分割し（Ｓ−５）、各分割領域５５，５６の位置情報をグループ化部に送る。
【００４０】
グループ化部３０は、分割領域５５，５６の位置情報を参照して、被写体領域（矩形枠５０）を含む移動方向側の領域５５を進行方向グループ領域に、また、その逆方向側の領域５６を非進行方向グループ領域にグルーピングする（Ｓ−６）。このグループ領域の種別情報は圧縮率設定部３１に送られる。
【００４１】
圧縮率設定部３１は、グループ種別に基づいて、進行方向グループ領域の画像が入力される符号化器４０に低圧縮率を、非進行方向グループ領域の画像が入力される符号化器４１に高圧縮率をそれぞれ設定する（Ｓ−７）。
【００４２】
符号化部３９は、ＲＡＭ１７から現画像データを読み出して、符号化器４０で進行方向グループ領域の画像を低圧縮率で圧縮し（Ｓ−８）、符号化器４１で非進行方向グループ領域の画像を高圧縮率で圧縮する（Ｓ−９）。
【００４３】
符号化器４０，４１の圧縮処理には、時間差が生じる。この時間差をタイミング調整部４２で吸収する。タイミング調整部４２は、複数の符号化器４０，４１から圧縮データの出力が揃うまで蓄積しておき、揃うことに応答して２つの圧縮データを合成部４３に送る（Ｓ−１０）。合成部４３は、２つの圧縮データを合成して合成圧縮データを生成する（Ｓ−１１）。
【００４４】
復号テーブル付与部４４は、グループ化部３０、及び圧縮率設定部３１から得られるグループ領域の位置情報、それら位置情報に対する圧縮率情報、及びビットレート情報等に基づいて復号テーブルを生成し、生成した復号テーブルを合成圧縮データにヘッダとして付与して合成圧縮画像データ（動画像の符号化ストリーム）として出力する（Ｓ−１２）。出力される合成圧縮画像データは、記録部２４に記録される。以下、録画ストップの操作（Ｓ−１３）が行われまで、次のフレーム画像に対して前述したと同様にグループ領域毎に圧縮して合成圧縮画像データを作っていく。
【００４５】
合成圧縮画像データは、再生操作に応答して記録部２４から読み出され、伸長部３３によって復号されて表示部２５の画面に再生される。
【００４６】
上記実施形態では、画像処理部１５が圧縮処理する画像データとして、ＲＧＢ色毎に１の固体撮像素子を用意した３板式撮像素子により取得したＲＡＷデータを画像データとしてもよいし、カラーフィルタアレイ（ＣＦＡ）を有する単板式撮像素子により取得したＲＡＷデータを、デモザイキング処理をしてフルカラー画像（ＲＧＢ画像）に変換した画像データとしてもよい。
【００４７】
また、上記各実施形態の被写体領域検出部２７としては、被写体領域を複数検出する場合がある。この場合には、その中から移動体である領域、もしくは被写体領域の位置や大きさに基づいて主の被写体領域（主被写体領域）を選択するのが好適である。この場合、複数の被写体領域を比較して位置や大きさに基づいて主被写体領域を選択する選択手段を設ければよい。
【００４８】
選択手段としては、例えば、領域が予め決めた基準の大きさよりも小さい場合、また、画面全体に対して予め決めた中央範囲よりも外で画面端に寄っている場合は、主被写体領域として選択しない。
【００４９】
例えば、図８に示す現画像データ６０においては、被写体領域検出部２７が２つの被写体領域６１，６２を検出している。この場合、選択手段が２つの被写体領域６１，６２の位置や大きさに基づいて被写体領域６１を主被写体領域として選択する。移動方向検出手段２８は、図９に示すように、前画像データ６０ａとのフレーム相関に基づいて主被写体領域６１にある被写体画像の移動方向６３を検出する。
【００５０】
分割手段２９は、図１０に示すように、検出した移動方向６３に対して直交又は交差する境界線６４，６５を各被写体領域６１，６２に基づいて設定して現画像データ６０を複数の画面６６〜６８に分割する。グループ化部３０は、図１１に示すように、主被写体領域６１を含む領域６６とその移動方向側の領域６７とを進行方向側グループ領域６９に、逆方向側の領域６８を非進行方向側グループ領域７０にそれぞれ設定する。
【００５１】
この場合、グループ領域６９の画像は、主被写体を含みその移動方向側の領域であるので高画質で保存される。逆に、グループ領域７０の画像は、主被写体の移動方向側ではないので、ここにどのような画像が写っていても低画質で保存される。
【００５２】
なお、移動方向検出部２８が被写体の移動方向を上方向として検出する場合、図１２に示すように、分割手段２９は、検出した移動方向７１に対して直交又は交差する境界線７２、すなわち水平方方向の境界線７２を被写体領域７３に基づいて設定して複数の画面７４，７５に分割する。この場合、グループ化部３０は、被写体領域７３を含む移動方向側の領域７４を進行方向側グループ領域に設定する。
【００５３】
図１３に示す例では、２つの被写体領域８０，８１が中央範囲内で、かつ前記基準の大きさを超えるため、２つの被写体領域８０，８１が主被写体領域としてそれぞれ選択してされている。また、同図に示す例では、２つの主被写体の移動方向８２，８３が、相反する方向（左・右方向）で検出されている。この場合、分割部２９は、２つの被写体領域８０，８１の間に境界線を設定して現画像データの画面８４を左右の領域に２分割する。しかしながら、この場合、どちらの領域も主被写体領域８０，８１の移動方向側なので、左右領域とも低圧縮率が設定されてしまう。このため、画像全体を低圧縮率で圧縮したのと比べてファイルサイズが変わらないおそれがある。
【００５４】
そこで、分割部２９は、画像全体を低圧縮率で圧縮したものと比べてファイルサイズが小さくなるように、主被写体領域８０，８１のサイズに基づいて少なくとも３個以上に分割するように構成するのが望ましい。例えば、図１４に示すように、主被写体領域８０，８１の縦サイズに合わせて移動方向側の領域８５，８６を設定することで、主被写体領域８０，８１の上・下を別の領域８７〜９０として設定することができる。また、主被写体領域８０，８１の横サイズに基づいて分割することで、主被写体領域８０，８１の間にある領域９１も別の領域として設定することができる。したがって、同図に示す例では、分割部２９が９個の領域８０，８１，８５〜９１に分割する。
【００５５】
この場合、グループ化部３０は、主被写体領域と移動方向側領域とを進行方向側グループ領域に、また、それ以外の領域を非進行方向側グループ領域にそれぞれグルーピングすればよい。
【００５６】
上記各実施形態では、圧縮率設定部３１が圧縮率を低圧縮率と高圧縮率との２段階に設定する例として説明しているが、本発明ではこれに限らず、３段階以上に設定することもできる。例えば、高中低の３段階の圧縮率に設定する場合には、グループ化部３０は、図１４で説明した２つの主被写体領域８０，８１を低圧縮率グループ領域に、その移動方向側にある２つの領域８５，８６を中圧縮率グループ領域に、そして、残りの領域８７〜９１を高圧縮率グループ領域にそれぞれ設定する。このように、被写体の移動方向側の領域が高画質になるように、３段階以上の圧縮率をそれぞれ設定してもよい。
【００５７】
この場合、勿論、符号化部３９は、圧縮率の段階数に応じて予め３つの第１〜第３符号化器で構成する。そして、圧縮率設定部３１は、低圧縮率グループ領域の画像を圧縮する第１符号化器に低圧縮率を、中圧縮率グループ領域の画像を圧縮する第２符号化器に中圧縮率を、そして、高圧縮率グループ領域の画像を圧縮する第３符号化器には高圧縮率をそれぞれ設定する。
【００５８】
また、上記得各実施形態では、被写体領域検出部２７で被写体領域を検出しているが、移動方向検出部で、被写体の領域とその移動方向との両方を一緒に検出してもよい。この場合、動画像データの前後フレームの相関に基づいて、移動物体を含む領域を被写体領域として検出する。被写体領域を複数検出する場合には、例えば、現画像データとその前又は後の画像データとの間で画素値の変化量が予め定められた変化量より大きい領域（動領域）を主被写体領域として検出すればよい。
【００５９】
また、例えば、車窓から風景を撮影した動画像データや、風景をパンニングして撮影した動画像データの場合には、前景に写る家並みや木々等を主被写体領域として検出してもよい。この場合、主被写体領域が画面の水平方向に連続的に続いて被写体領域に切れ目がないため、分割する境界を予め決めた長さで決めるように構成してもよい。すなわち、主被写体領域を画面の幅いっぱいに検出する場合には、移動方向側領域の水平又は垂直方向の長さを、例えば全体画面の水平又は垂直方向の長さに対して２／３の比率になる長さ等に予め決めておけばよい。
【００６０】
また、図１５に示すように、例えば２つの被写体領域９３，９４を画面の異なる位置にそれぞれ検出し、一方の領域９３の被写体の移動方向を右方向、また他の領域９４の被写体の移動方向を垂直方向としてそれぞれ検出した場合、分割部２９が被写体の移動方向に基づいて分割する移動方向側の低圧縮領域９４ａと非移動方向側の高圧縮領域９３ａとが重複する場合が考えられる。この場合には、グループ化部３０が低圧縮率領域を優先にしてグルーピングすればよい。
【００６１】
上記各実施形態の被写体領域検出部２７としては、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域を主被写体領域として検出してもよい。また、この検出部の代わりに、顔画像検出部を設けても良い。この場合、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きい顔画像を含む領域をパターンマッチング等により検出して、検出した顔画像領域を主被写体領域として検出すればよい。なお、被写体領域検出部は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【００６２】
さらに、他にも、被写体領域検出部２７としては、エッジ抽出等により複数の画像データ（フレーム画像）のそれぞれに含まれる画像（オブジェクト）を抽出する。そして、被写体領域検出部２７は、他の画像データの異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を主被写体領域として特定してもよい。
【００６３】
また、被写体領域検出部２７は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、主被写体領域として検出してもよい。ここで、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。さらに、被写体領域検出部は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をメインの被写体として検出してもよい。さらにまた、被写体領域検出部は、ＡＦ情報に基づいて主被写体領域を検出してもよい。
【００６４】
また、ユーザが現画像上の特定の領域を指定することによって主被写体領域を選択するように構成してもよい。さらに、主被写体の画像は、画面の中心に写ることが多いため、現画像データの中心領域等予め定まった領域を自動的に選択するように構成してもよい。
【００６５】
上記各実施形態では、デジタルカメラで動画像データを圧縮する構成として説明しているが、本発明ではこれに限らず、静止画の画像データを圧縮することができる。この場合には、連写撮影した複数の画像データ等、撮影場所が同じで撮影時期が異なる類似の画像データを指定して読み込ませることで、被写体の移動方向を検出することができる。
【００６６】
上記各実施形態では、デジタルカメラで画像データを圧縮する構成として説明しているが、本発明ではこれに限らず、パーソナルコンピュータ等で実行するアプリケーションプログラムで構成される装置にも適用可能である。この場合、デジタルカメラやビデオカメラで撮像して得られた画像ファイルをパーソナルコンピュータ等で読み込んで、前述しように圧縮すればよい。
【００６７】
上記各実施形態では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００６８】
１０ デジタルカメラ
１５ 画像処理部
２７ 被写体領域検出部
２８ 移動方向検出部
２９ 分割部
３２ 圧縮部
【特許請求の範囲】
【請求項１】
画像から被写体の移動方向を検出する移動方向検出手段と、
前記被写体の移動方向に応じて前記画像内を複数の領域に分割する分割手段と、
前記複数の領域の画像のそれぞれを、前記被写体の移動方向にある領域が高画質の画像になるように圧縮率を変えて圧縮する圧縮手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記移動方向検出手段は、前記画像とその画像とは異なる時刻に撮影した画像との相関に基づいて前記被写体の移動方向を検出することを特徴する画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置において、
前記分割手段は、前記被写体の移動方向にある移動方向側領域と前記移動方向とは逆側の領域とに分割し、
前記圧縮手段は、前記移動方向側領域が前記逆側の領域よりも高画質の画像になるように圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項４】
請求項１ないし４いずれか１項記載の画像処理装置において、
前記画像から被写体の画像を含む被写体領域を検出する被写体領域検出手段を備えていることを特徴とする画像処理装置。
【請求項５】
請求項４記載の画像処理装置において、
前記分割手段は、前記被写体領域とその移動方向にある移動方向側領域とに分割し、
前記圧縮手段は、前記被写体領域が前記移動方向側領域よりも高画質の画像になるようにそれぞれの領域の画像を、圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項６】
請求項４又は５記載の画像処理装置において、
前記分割した複数の領域を、前記被写体の移動方向に基づいてグループ化してグループ領域を生成するグループ化手段を備え、
前記圧縮手段は、前記グループ領域の画像のそれぞれを、前記移動方向側の領域が高画質の画像になるように圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６いずれか１項に記載の画像処理装置において、
前記被写体領域を含めて前記分割した複数の領域、又は複数のグループ領域に、前記被写体の移動方向に基づいて異なる圧縮率を割り当てる圧縮率設定手段を備えることを特徴とする画像処理装置
【請求項８】
請求項１ないし７いずれか１項に記載の画像処理装置において、
前記圧縮手段は、
高画質になるように圧縮する低圧縮率設定領域の画像と、それよりも低画質になるように圧縮する高圧縮率設定領域の画像との符号化を並行処理する複数の符号化手段と、
各符号化手段の符号化処理後の転送タイミングを調節するタイミング調整手段と、
タイミング調整手段から転送される複数の符号化データを合成する合成手段と、
で構成されていることを特徴とする画像処理装置。
【請求項９】
画像から被写体の移動方向を検出するステップと、
前記移動方向に基づいて前記画像を複数の領域に分割する分割ステップと、
前記複数の領域の画像のそれぞれを、前記移動方向にある領域が高画質の画像になるように、圧縮率を変えて圧縮する圧縮ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
請求項９記載の画像処理方法において、
前記分割ステップは、前記被写体の移動方向にある移動方向側領域と前記移動方向とは逆側の領域とに分割し、
前記圧縮ステップは、前記移動方向側領域が前記逆側の領域よりも高画質の画像になるように、前記領域の画像のそれぞれを、圧縮率を変えて圧縮することを特徴とする画像処理方法。
【請求項１１】
請求項９又は１０記載の画像処理方法を実行させるコンピュータが読み取り可能なプログラム。
【請求項１２】
請求項１１に記載のコンピュータが読み取り可能なプログラムを記録した記録媒体。
【請求項１】
画像から被写体の移動方向を検出する移動方向検出手段と、
前記被写体の移動方向に応じて前記画像内を複数の領域に分割する分割手段と、
前記複数の領域の画像のそれぞれを、前記被写体の移動方向にある領域が高画質の画像になるように圧縮率を変えて圧縮する圧縮手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記移動方向検出手段は、前記画像とその画像とは異なる時刻に撮影した画像との相関に基づいて前記被写体の移動方向を検出することを特徴する画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置において、
前記分割手段は、前記被写体の移動方向にある移動方向側領域と前記移動方向とは逆側の領域とに分割し、
前記圧縮手段は、前記移動方向側領域が前記逆側の領域よりも高画質の画像になるように圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項４】
請求項１ないし４いずれか１項記載の画像処理装置において、
前記画像から被写体の画像を含む被写体領域を検出する被写体領域検出手段を備えていることを特徴とする画像処理装置。
【請求項５】
請求項４記載の画像処理装置において、
前記分割手段は、前記被写体領域とその移動方向にある移動方向側領域とに分割し、
前記圧縮手段は、前記被写体領域が前記移動方向側領域よりも高画質の画像になるようにそれぞれの領域の画像を、圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項６】
請求項４又は５記載の画像処理装置において、
前記分割した複数の領域を、前記被写体の移動方向に基づいてグループ化してグループ領域を生成するグループ化手段を備え、
前記圧縮手段は、前記グループ領域の画像のそれぞれを、前記移動方向側の領域が高画質の画像になるように圧縮率を変えて圧縮することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６いずれか１項に記載の画像処理装置において、
前記被写体領域を含めて前記分割した複数の領域、又は複数のグループ領域に、前記被写体の移動方向に基づいて異なる圧縮率を割り当てる圧縮率設定手段を備えることを特徴とする画像処理装置
【請求項８】
請求項１ないし７いずれか１項に記載の画像処理装置において、
前記圧縮手段は、
高画質になるように圧縮する低圧縮率設定領域の画像と、それよりも低画質になるように圧縮する高圧縮率設定領域の画像との符号化を並行処理する複数の符号化手段と、
各符号化手段の符号化処理後の転送タイミングを調節するタイミング調整手段と、
タイミング調整手段から転送される複数の符号化データを合成する合成手段と、
で構成されていることを特徴とする画像処理装置。
【請求項９】
画像から被写体の移動方向を検出するステップと、
前記移動方向に基づいて前記画像を複数の領域に分割する分割ステップと、
前記複数の領域の画像のそれぞれを、前記移動方向にある領域が高画質の画像になるように、圧縮率を変えて圧縮する圧縮ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
請求項９記載の画像処理方法において、
前記分割ステップは、前記被写体の移動方向にある移動方向側領域と前記移動方向とは逆側の領域とに分割し、
前記圧縮ステップは、前記移動方向側領域が前記逆側の領域よりも高画質の画像になるように、前記領域の画像のそれぞれを、圧縮率を変えて圧縮することを特徴とする画像処理方法。
【請求項１１】
請求項９又は１０記載の画像処理方法を実行させるコンピュータが読み取り可能なプログラム。
【請求項１２】
請求項１１に記載のコンピュータが読み取り可能なプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−９４９８５（Ｐ２０１２−９４９８５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３８６５５（Ｐ２０１０−２３８６５５）
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]