画像処理システム、画像処理方法、およびプログラム
【課題】異なる方向から撮像された同一物体を高速に検索することができる画像処理システムを提供すること。
【解決手段】画像処理システムは、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部と、新たな撮像画像を取得する画像取得部と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部とを備える。
【解決手段】画像処理システムは、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部と、新たな撮像画像を取得する画像取得部と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。
【背景技術】
【０００２】
動画像を、その動画像を構成する各セグメントの全体的な動きと、その動きに基づいて各セグメントを移動させた結果に対する各特徴点の細かな動きに基づいて符号化する動画像符号化装置が知られている（例えば、特許文献１参照。）。また、データベースを用いて人物を検索・照合するシステムが知られている（例えば、特許文献２参照。）。
【特許文献１】特開平８−１５３２１０号公報
【特許文献２】特開２００１−２７３４９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像の全領域を符号化すると演算量が増大してしまう。また、異なる方向から撮像された同一物体を高速に検索することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部と、新たな撮像画像を取得する画像取得部と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部とを備える。
【０００５】
本発明の第２の形態によると、画像処理方法であって、物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納段階と、新たな撮像画像を取得する画像取得段階と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納段階において格納されている撮像画像を選択する画像選択段階とを備える。
【０００６】
本発明の第３の形態によると、画像処理システム用のプログラムであって、コンピュータを、物体を表現する３次元モデルである基準モデルを格納するモデル格納部、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部、新たな撮像画像を取得する画像取得部、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部として機能させる。
【０００７】
なお、上記の発明の概要は、この発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じてこの発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
【００１０】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１１】
撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。
【００１２】
なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。
【００１３】
そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮してよい。なお、画像処理装置１２０は、３次元物体のモデルを記憶している。そして、画像処理装置１２０は、撮像動画における特徴領域の物体の画像から、当該物体を表す３次元モデルを生成する。
【００１４】
そして、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報および当該３次元モデルを特定する情報を含むモデル情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、モデル情報および特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１５】
画像処理装置１７０は、モデル情報および特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張する。このとき、画像処理装置１７０は、特徴領域の物体の画像をモデル情報を用いて生成する。このようにして生成された表示用動画は、表示装置１８０に供給される。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
【００１６】
また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データおよびモデル情報を画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データ、特徴領域情報、およびモデル情報を読み出して、上記のようにして表示用動画を生成して表示装置１８０に供給してもよい。
【００１７】
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。
【００１８】
このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【００１９】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、特徴領域検出部２０３、モデル格納部２７０、物体モデル記憶部２８０、許容量格納部２７５、モデル生成部２６０、撮像情報特定部２９０、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。
【００２０】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。
【００２１】
圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部２０３および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
【００２２】
例えば、特徴領域検出部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【００２３】
例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
【００２４】
また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
【００２５】
このように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２０３は、動画における特徴領域を検出する。
【００２６】
圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。なお、圧縮部２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２３０は、特徴領域以外の領域の画像の画質を低減することにより、特徴領域以外の領域の画像を圧縮する。また、圧縮部２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２３０のより具体的な内部の圧縮動作については、後に説明する。
【００２７】
なお、モデル格納部２７０は、物体を表現する３次元モデルである基準モデルを格納する。そして、モデル生成部２６０は、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成する。そして、出力部２０７は、後に説明するように、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する。具体的には、モデル生成部２６０は、基準モデルを変更することにより、物体モデルを生成する。そして、出力部２０７は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、撮像されている物体の位置および向きを出力する。
【００２８】
なお、モデル格納部２７０は、複数の基準モデルを格納してよい。そして、モデル生成部２６０は、複数の基準モデルの中から選択された基準モデルを変更することにより、物体モデルを生成してよい。例えば、モデル格納部２７０は、物体の部位毎にそれぞれ複数の基準モデルを格納しており、モデル生成部２６０は、部位毎に基準モデルを選択して、部位毎に選択された基準モデルを変更することによって、部位毎に物体モデルを生成してよい。そして、出力部２０７は、選択された基準モデルを識別する情報および差分情報に対応づけて、撮像されている物体の位置および向きを出力してよい。
【００２９】
なお、許容量格納部２７５は、基準モデルに対して変更することが許容される変更量の許容範囲を格納している。そして、モデル生成部２６０は、許容量格納部２７５が格納している変更量の許容範囲内で基準モデルを変更することにより、物体モデルを生成してよい。また、撮像情報特定部２９０は、物体モデルおよび撮像画像の画像内容に基づいて、撮像画像に撮像されている物体が照明された照明条件を特定する。照明条件としては、照明種別、照明方向を例示することができる。この場合、出力部２０７は、撮像されている物体の位置および向きを、差分情報および照明条件に対応づけて出力してよい。
【００３０】
なお、モデル生成部２６０は、特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、物体モデルを生成してよい。そして、出力部２０７は、複数の撮像画像のそれぞれから検出された特徴領域に撮像されている物体の位置および向きを、差分情報に対応づけて出力してよい。また、物体モデル記憶部２８０は、モデル生成部２６０により生成された物体モデルを記憶する。特徴領域検出部２０３は、新たに撮像された撮像画像の中から、物体モデルに適合する物体が撮像された領域を特徴領域として検出する。
【００３１】
対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報およびモデル情報が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
【００３２】
このように、出力部２０７は、モデル情報および特徴領域以外の領域の画像を出力する。より具体的には、出力部２０７は、物体モデルを識別するモデル情報および圧縮部２３０により画質が低減された特徴領域以外の領域の画像を出力する。
【００３３】
以上説明したように、画像処理装置１２０によると、特徴領域に含まれる物体の画像についてはモデル情報で表現することによって、十分にデータ量を削減しつつ、後で物体の画像を再構成することができる情報を残すことができる。また、特徴領域に比べて重要度が低い背景領域については、画質を低減することでデータ量を著しく削減することができる。
【００３４】
図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、複数の画質変換部２４１ａ−ｄ（以下、画質変換部２４１と総称する。）を含む画質変換ユニット２４０、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
【００３５】
画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
【００３６】
そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００３７】
具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。
【００３８】
画質変換部２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
【００３９】
なお、固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２４１ａ、画質変換部２４１ｂ、画質変換部２４１ｃ、および画質変換部２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、圧縮処理部２３６ｃ、および圧縮処理部２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。
【００４０】
なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【００４１】
なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
【００４２】
なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
【００４３】
このように、圧縮部２３０は、撮像画像の画質を低減することにより、画像処理装置１７０への入力画像となる画像を生成する。具体的には、圧縮部２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置１７０への入力画像となる画像を生成する。また、圧縮部２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置１７０への入力画像となる画像を生成してよい。
【００４４】
なお、本図では、圧縮部２３０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【００４５】
他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２４０でなされてよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２３０は、画像分割部２３２および固定値化部２３４を有しなくてよい。
【００４６】
図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、画像選択部３９０、画像生成部３８０、特徴領域情報取得部３６０、モデル格納部３５０、閾値取得部３７０、および出力部３４０を有する。画像生成部３８０は、拡大部３３２および合成部３３０を有する。また、画像選択部３９０は、一致度算出部３９２および画像抽出部３９４を有する。
【００４７】
画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報、モデル情報、物体の位置および方向を示す情報が付帯された圧縮動画を取得する。
【００４８】
そして、対応付け解析部３０２は、画像取得部３０１が取得した動画データを複数の特徴領域動画および背景領域動画と、特徴領域情報と、モデル情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。また、対応付け解析部３０２は、モデル情報、物体の位置および方向を示す情報を特徴領域情報取得部３６０に供給する。このようにして、特徴領域情報取得部３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報（例えば特徴領域の位置を示す情報）、およびモデル情報、物体の位置および方向を示す情報を取得することができる。特徴領域情報取得部３６０は、取得した特徴領域の位置を示す情報、ならびにモデル情報、物体の位置および方向を示す情報を、画像生成部３８０に供給する。
【００４９】
伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【００５０】
以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部３８０に供給する。
【００５１】
画像生成部３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【００５２】
モデル格納部３５０は、モデル格納部２７０が格納しているモデルと同じモデルを格納している。そして、画像生成部３８０は、特徴領域に含まれる物体の２次元画像を、モデル格納部３５０が格納しているモデル、ならびに出力部２０７から出力された差分情報、物体の位置、および物体の方向を用いて生成される３次元の物体モデルを２次元空間に投影することによって生成する。
【００５３】
なお、特徴領域情報取得部３６０は、出力部２０７から圧縮動画に対応づけて出力された物体の種類、物体の方向、および照明条件を取得してよい。そして、画像生成部３８０は、物体の種類、物体の方向、および照明条件に応じて、生成される３次元の物体モデルを２次元空間に投影することによって、物体の２次元画像を生成してよい。
【００５４】
画像拡大部３３２は、特徴領域以外の領域の画像を拡大する。そして、合成部３３０は、２次元画像と、当該拡大された特徴領域以外の領域の画像とを合成する。そして、出力部３４０は、上記２次元画像および特徴領域以外の画像を含む画像を出力する。なお、出力部３４０は、合成して得られた画像を、物体モデルと基準モデルとの間の差分情報に対応づけて画像ＤＢ１７５に記録してよい。このように、画像ＤＢ１７５は、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する。具体的には、画像ＤＢ１７５は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、複数の撮像画像を格納する。
【００５５】
なお、画像ＤＢ１７５は、選択された基準モデルを識別する情報であるモデル識別情報および差分情報に対応づけて、複数の撮像画像を格納してよい。そして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルを生成する場合に選択された基準モデルを識別するモデル識別情報と同じモデルを示すモデル識別情報、および新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。なお、閾値取得部３７０は、差分情報の間の一致度の閾値を、画像処理装置１７０の外部から取得する。そして、画像選択部は、新たな撮像画像に含まれる物体に適合する前記物体モデルと基準モデルとの間の差分情報に、閾値取得部３７０が取得した閾値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択してよい。
【００５６】
具体的には、一致度算出部３９２は、部位毎に、画像ＤＢ１７５が格納している差分情報のそれぞれと、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報との間の一致度をそれぞれ算出する。そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度の合計値が予め定められた値より高い差分情報の組み合わせに対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。
【００５７】
このようにして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。このため、画像処理システム１０によると、差分情報に基づいて検索することができるので、画像を高速に検索することができる。
【００５８】
図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【００５９】
本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【００６０】
画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【００６１】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【００６２】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【００６３】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部５１０は、図３に関連して説明した画質変換部２４１と同様の画質変換処理を行うことができる。
【００６４】
階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【００６５】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
【００６６】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
【００６７】
なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
【００６８】
なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【００６９】
なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
【００７０】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
【００７１】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【００７２】
以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【００７３】
図６は、画像処理装置１２０における処理内容の一例を示す。特徴領域検出部２０３は、撮像画像６００−１〜３（以下、撮像画像６００と総称する。）から、それぞれ特徴領域の一例としての頭部領域６１０−１〜３を検出する。そして、モデル生成部２６０は、異なる方向から撮像されている頭部領域６１０−１〜３を選択して、選択した頭部領域６１０の画像内容に基づいて３次元の物体モデル６５０を生成する。
【００７４】
このとき、モデル生成部２６０は、モデル格納部２７０が格納している基準モデルを修正することによって、物体モデル６５０を生成する。なお、モデル生成部２６０が基準モデルを変更することによって物体モデルを生成する方法の一例については、図７に関連して後述する。
【００７５】
出力部２０７は、生成した物体モデルと基準モデルの差分情報を、画像処理装置１７０に送信する。一方で、出力部２０７は、撮像画像６００のそれぞれに対応づけて、物体の２次元画像を物体モデルから生成するための情報として、物体の位置および方向を送信する。物体の位置および方向としては、物体モデルと視点との間の位置関係を例示することができる。なお、ここでいう視点とは、物体モデルを２次元空間に投影した場合に、物体の２次元画像（例えば、頭部領域６１０の画像）を得ることができる視点であってよい。
【００７６】
なお、出力部２０７は、複数の撮像画像６００に対応づけて一の差分情報を画像処理装置１７０に送信してよい。これにより、画像処理装置１２０から画像処理装置１７０へと送信されるデータ量を削減することができる。なお、差分情報としては、上述したように、基準モデルからの変更量を例示することができる。
【００７７】
図７は、モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す。モデル格納部２７０は、部位毎に基準モデルを格納している。例えば、モデル格納部２７０は、目を表す複数の基準モデルＥＭ７０１、ＥＭ７０２・・・、鼻を表す複数の基準モデルＮＭ７０１、ＮＭ７０２・・・、等を格納している。
【００７８】
また、許容量格納部２７５は、基準モデルＥＭ７０１、ＥＭ７０２、ＮＭ７０１、ＮＭ７０２を含む複数の基準モデルに対応づけて、基準モデルに対する変更許容範囲を格納している。なお、変更許容範囲としては、本図に示されるように、形状に関する変更許容範囲の一例としてのアスペクト比の範囲、および色情報に関する変更許容範囲の一例としての色差範囲および輝度範囲を例示することができる。
【００７９】
そして、モデル生成部２６０は、頭部領域６１０の画像内容に基づいて、モデル格納部２７０が格納している基準モデルを部位毎に選択する。例えば、モデル生成部２６０は、頭部領域６１０に含まれる各部位の画像のそれぞれについて、各部位の画像と予め定められた値より高い一致度で形状が一致する基準モデルを選択する。
【００８０】
そして、モデル生成部２６０は、許容量格納部２７５が格納しているアスペクト比の範囲内で基準モデルのアスペクト比を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における形状の一致度が最も高いアスペクト比を特定する。また、モデル生成部２６０は、基準モデルに対して色差および輝度を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における色の一致度が最も高い色差情報および輝度情報を特定する。なお、変更量の一例としては、上記アスペクト比、色差情報、および輝度情報を例示することができる。このようにして、モデル生成部２６０は、基準モデルおよび差分情報（例えば、変更量）によって表される物体モデルを生成する。
【００８１】
図８は、画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す。画像処理装置１７０は、頭部領域６１０を含む複数の撮像画像６００に対応づけて、画像処理装置１２０から取得したモデルを識別する情報、アスペクト比、色差情報、および輝度情報を画像ＤＢ１７５に格納させる。なお、画像処理装置１７０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報の組を、各部位毎に画像ＤＢ１７５に格納させる。
【００８２】
そして、画像取得部３０１が取得した新たな撮像画像から検出された特徴領域の物体を表すモデルを識別する情報、ならびに当該モデルに対する差分情報の組であるアスペクト比、色差情報、および輝度情報の組を取得した場合に、一致度算出部３９２は、当該モデルを識別する情報に対応づけて画像ＤＢ１７５が記憶しているアスペクト比、色差情報、および輝度情報の組を読み出す。そして、一致度算出部３９２は、当該読み出したアスペクト比、色差情報、および輝度情報の組と、新たな撮像画像における上記差分情報の組とを比較して、それらの間の一致度を算出する。
【００８３】
そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度を部位毎に合計して、得られた合計値が予め定められた値より高い差分情報の組に対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。このように、画像選択部３９０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報等の数値に基づいて、類似する物体が撮像されている撮像画像を選択することができる。このため、画像処理システム１０によると、画像内容に基づいて画像を選択する場合に比べて高速に画像を選択することができる。
【００８４】
図９は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
【００８５】
画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１０にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。
【００８６】
なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。例えば、画像処理部８０４は、撮像画像において図１〜図８に関連して説明した３次元モデルを利用せずに圧縮する領域の画像を、ＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。また、画像処理部８０４は、図１〜図８に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【００８７】
なお、画像処理装置１７０は、同時化処理によって得られた撮像画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４−８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
【００８８】
なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置１７０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【００８９】
このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
【００９０】
また、学習データとしては、特開２００６−３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、オブジェクトの画像の低周波成分は、オブジェクトの種類毎に、Ｋ−ｍｅａｎｓ法等によってさらにクラスタリングされていて、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
【００９１】
そして、画像処理装置１７０は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
【００９２】
なお、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像を表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像において、図１〜図８に関連して説明した３次元モデルを使用せずに圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部８０４は、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができる。なお、図１〜図８に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０は、特徴領域の画像に上述した超解像処理を施すことができる。
【００９３】
図１０は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００９４】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９５】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００９６】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００９７】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図９に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図９に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。
【００９８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。
【００９９】
以上、この発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態もこの発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１００】
【図１】一実施形態に係わる画像処理システム１０の一例を示す図である。
【図２】画像処理装置１２０のブロック構成の一例を示す図である。
【図３】圧縮部２３０のブロック構成の一例を示す図である。
【図４】画像処理装置１７０のブロック構成の一例を示す図である。
【図５】圧縮部２３０の他のブロック構成の一例を示す図である。
【図６】画像処理装置１２０における処理内容の一例を示す図である。
【図７】モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す図である。
【図８】画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す図である。
【図９】他の実施形態に係る画像処理システム２０の一例を示す図である。
【図１０】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１０１】
１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像画像圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 圧縮制御部
２３０ 圧縮部
２３２ 画像分割部
２３４ 固定値化部
２３６ 圧縮処理部
２４０ 画質変換ユニット
２４１ 画質変換部
２５０ 画像取得部
２６０ モデル生成部
２７０ モデル格納部
２７５ 許容量格納部
２８０ 物体モデル記憶部
２９０ 撮像情報特定部
２０３ 特徴領域検出部
３０１ 画像取得部
３０２ 対応付け解析部
３１０ 伸張制御部
３２０ 伸張部
３２２ 復号器
３３０ 合成部
３３２ 拡大部
３４０ 出力部
３５０ モデル格納部
３９０ 画像選択部
３９２ 一致度算出部
３９４ 画像抽出部
３６０ 特徴領域情報取得部
３７０ 閾値取得部
３８０ 画像生成部
５１０ 画質変換部
５２０ 差分処理部
５２２ 階層間差分処理部
５３０ 符号化部
５３２ 符号器
６００ 撮像画像
６１０ 頭部領域
６５０ 物体モデル
８０４ 画像処理部
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。
【背景技術】
【０００２】
動画像を、その動画像を構成する各セグメントの全体的な動きと、その動きに基づいて各セグメントを移動させた結果に対する各特徴点の細かな動きに基づいて符号化する動画像符号化装置が知られている（例えば、特許文献１参照。）。また、データベースを用いて人物を検索・照合するシステムが知られている（例えば、特許文献２参照。）。
【特許文献１】特開平８−１５３２１０号公報
【特許文献２】特開２００１−２７３４９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像の全領域を符号化すると演算量が増大してしまう。また、異なる方向から撮像された同一物体を高速に検索することができない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部と、新たな撮像画像を取得する画像取得部と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部とを備える。
【０００５】
本発明の第２の形態によると、画像処理方法であって、物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納段階と、新たな撮像画像を取得する画像取得段階と、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納段階において格納されている撮像画像を選択する画像選択段階とを備える。
【０００６】
本発明の第３の形態によると、画像処理システム用のプログラムであって、コンピュータを、物体を表現する３次元モデルである基準モデルを格納するモデル格納部、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する画像格納部、新たな撮像画像を取得する画像取得部、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像格納部が格納している撮像画像を選択する画像選択部として機能させる。
【０００７】
なお、上記の発明の概要は、この発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【０００８】
以下、発明の実施の形態を通じてこの発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
【００１０】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１１】
撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。
【００１２】
なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。
【００１３】
そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮してよい。なお、画像処理装置１２０は、３次元物体のモデルを記憶している。そして、画像処理装置１２０は、撮像動画における特徴領域の物体の画像から、当該物体を表す３次元モデルを生成する。
【００１４】
そして、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報および当該３次元モデルを特定する情報を含むモデル情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、モデル情報および特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１５】
画像処理装置１７０は、モデル情報および特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張する。このとき、画像処理装置１７０は、特徴領域の物体の画像をモデル情報を用いて生成する。このようにして生成された表示用動画は、表示装置１８０に供給される。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
【００１６】
また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データおよびモデル情報を画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データ、特徴領域情報、およびモデル情報を読み出して、上記のようにして表示用動画を生成して表示装置１８０に供給してもよい。
【００１７】
なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供してよい。
【００１８】
このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【００１９】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、特徴領域検出部２０３、モデル格納部２７０、物体モデル記憶部２８０、許容量格納部２７５、モデル生成部２６０、撮像情報特定部２９０、圧縮制御部２１０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。
【００２０】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。
【００２１】
圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部２０３および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
【００２２】
例えば、特徴領域検出部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域検出部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【００２３】
例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。なお、特徴領域検出部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、特徴領域検出部２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
【００２４】
また、特徴領域検出部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域検出部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。これにより特徴領域検出部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。
【００２５】
このように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。このように、特徴領域検出部２０３は、動画における特徴領域を検出する。
【００２６】
圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。なお、圧縮部２３０は、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で圧縮することにより、撮像画像を圧縮してよい。例えば、圧縮部２３０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を低解像度化することにより撮像画像を圧縮する。このように、圧縮部２３０は、特徴領域以外の領域の画像の画質を低減することにより、特徴領域以外の領域の画像を圧縮する。また、圧縮部２３０は、撮像画像における各画像領域のそれぞれを重要度に応じた強度で圧縮する。なお、圧縮部２３０のより具体的な内部の圧縮動作については、後に説明する。
【００２７】
なお、モデル格納部２７０は、物体を表現する３次元モデルである基準モデルを格納する。そして、モデル生成部２６０は、物体が撮像された複数の撮像画像の画像内容に基づいて、複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成する。そして、出力部２０７は、後に説明するように、複数の撮像画像のそれぞれに撮像されている物体の位置および向きを、基準モデルと物体モデルとの間の差分情報に対応づけて出力する。具体的には、モデル生成部２６０は、基準モデルを変更することにより、物体モデルを生成する。そして、出力部２０７は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、撮像されている物体の位置および向きを出力する。
【００２８】
なお、モデル格納部２７０は、複数の基準モデルを格納してよい。そして、モデル生成部２６０は、複数の基準モデルの中から選択された基準モデルを変更することにより、物体モデルを生成してよい。例えば、モデル格納部２７０は、物体の部位毎にそれぞれ複数の基準モデルを格納しており、モデル生成部２６０は、部位毎に基準モデルを選択して、部位毎に選択された基準モデルを変更することによって、部位毎に物体モデルを生成してよい。そして、出力部２０７は、選択された基準モデルを識別する情報および差分情報に対応づけて、撮像されている物体の位置および向きを出力してよい。
【００２９】
なお、許容量格納部２７５は、基準モデルに対して変更することが許容される変更量の許容範囲を格納している。そして、モデル生成部２６０は、許容量格納部２７５が格納している変更量の許容範囲内で基準モデルを変更することにより、物体モデルを生成してよい。また、撮像情報特定部２９０は、物体モデルおよび撮像画像の画像内容に基づいて、撮像画像に撮像されている物体が照明された照明条件を特定する。照明条件としては、照明種別、照明方向を例示することができる。この場合、出力部２０７は、撮像されている物体の位置および向きを、差分情報および照明条件に対応づけて出力してよい。
【００３０】
なお、モデル生成部２６０は、特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、物体モデルを生成してよい。そして、出力部２０７は、複数の撮像画像のそれぞれから検出された特徴領域に撮像されている物体の位置および向きを、差分情報に対応づけて出力してよい。また、物体モデル記憶部２８０は、モデル生成部２６０により生成された物体モデルを記憶する。特徴領域検出部２０３は、新たに撮像された撮像画像の中から、物体モデルに適合する物体が撮像された領域を特徴領域として検出する。
【００３１】
対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報およびモデル情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報およびモデル情報が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
【００３２】
このように、出力部２０７は、モデル情報および特徴領域以外の領域の画像を出力する。より具体的には、出力部２０７は、物体モデルを識別するモデル情報および圧縮部２３０により画質が低減された特徴領域以外の領域の画像を出力する。
【００３３】
以上説明したように、画像処理装置１２０によると、特徴領域に含まれる物体の画像についてはモデル情報で表現することによって、十分にデータ量を削減しつつ、後で物体の画像を再構成することができる情報を残すことができる。また、特徴領域に比べて重要度が低い背景領域については、画質を低減することでデータ量を著しく削減することができる。
【００３４】
図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、複数の画質変換部２４１ａ−ｄ（以下、画質変換部２４１と総称する。）を含む画質変換ユニット２４０、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
【００３５】
画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。
【００３６】
そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００３７】
具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。
【００３８】
画質変換部２４１は、特徴領域の画像および背景領域の画像の画質を変換する。例えば、画質変換部２４１は、分割された特徴領域の画像および背景領域の画像のそれぞれについて、解像度、階調数、ダイナミックレンジ、または含まれる色数の少なくともいずれかを変換する。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
【００３９】
なお、固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。また、画質変換部２４１ａ、画質変換部２４１ｂ、画質変換部２４１ｃ、および画質変換部２４１ｄは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画の画質を変換する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、圧縮処理部２３６ｃ、および圧縮処理部２３６ｄは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、第３の特徴の種類の特徴領域動画、および背景領域動画を圧縮する。
【００４０】
なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【００４１】
なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
【００４２】
なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
【００４３】
このように、圧縮部２３０は、撮像画像の画質を低減することにより、画像処理装置１７０への入力画像となる画像を生成する。具体的には、圧縮部２３０は、撮像画像の解像度、階調数、用いられる色の数を低減したりすることにより、画像処理装置１７０への入力画像となる画像を生成する。また、圧縮部２３０は、一例として、撮像画像におけるより高い空間周波数成分をより低減することにより、画像処理装置１７０への入力画像となる画像を生成してよい。
【００４４】
なお、本図では、圧縮部２３０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【００４５】
他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。なお、当該画質変換処理は、一の画質変換ユニット２４０でなされてよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２３０は、画像分割部２３２および固定値化部２３４を有しなくてよい。
【００４６】
図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、画像選択部３９０、画像生成部３８０、特徴領域情報取得部３６０、モデル格納部３５０、閾値取得部３７０、および出力部３４０を有する。画像生成部３８０は、拡大部３３２および合成部３３０を有する。また、画像選択部３９０は、一致度算出部３９２および画像抽出部３９４を有する。
【００４７】
画像取得部３０１は、圧縮部２３０により圧縮された圧縮動画を取得する。具体的には、画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、画像取得部３０１は、特徴領域情報、モデル情報、物体の位置および方向を示す情報が付帯された圧縮動画を取得する。
【００４８】
そして、対応付け解析部３０２は、画像取得部３０１が取得した動画データを複数の特徴領域動画および背景領域動画と、特徴領域情報と、モデル情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域の位置および特徴の種類を伸張制御部３１０および特徴領域情報取得部３６０に供給する。また、対応付け解析部３０２は、モデル情報、物体の位置および方向を示す情報を特徴領域情報取得部３６０に供給する。このようにして、特徴領域情報取得部３６０は、複数の撮像画像のそれぞれにおける特徴領域を示す情報（例えば特徴領域の位置を示す情報）、およびモデル情報、物体の位置および方向を示す情報を取得することができる。特徴領域情報取得部３６０は、取得した特徴領域の位置を示す情報、ならびにモデル情報、物体の位置および方向を示す情報を、画像生成部３８０に供給する。
【００４９】
伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【００５０】
以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。伸張部３２０は、復号して得られた第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を、画像生成部３８０に供給する。
【００５１】
画像生成部３８０は、第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画、特徴領域情報に基づいて一の表示動画を生成する。そして、出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【００５２】
モデル格納部３５０は、モデル格納部２７０が格納しているモデルと同じモデルを格納している。そして、画像生成部３８０は、特徴領域に含まれる物体の２次元画像を、モデル格納部３５０が格納しているモデル、ならびに出力部２０７から出力された差分情報、物体の位置、および物体の方向を用いて生成される３次元の物体モデルを２次元空間に投影することによって生成する。
【００５３】
なお、特徴領域情報取得部３６０は、出力部２０７から圧縮動画に対応づけて出力された物体の種類、物体の方向、および照明条件を取得してよい。そして、画像生成部３８０は、物体の種類、物体の方向、および照明条件に応じて、生成される３次元の物体モデルを２次元空間に投影することによって、物体の２次元画像を生成してよい。
【００５４】
画像拡大部３３２は、特徴領域以外の領域の画像を拡大する。そして、合成部３３０は、２次元画像と、当該拡大された特徴領域以外の領域の画像とを合成する。そして、出力部３４０は、上記２次元画像および特徴領域以外の画像を含む画像を出力する。なお、出力部３４０は、合成して得られた画像を、物体モデルと基準モデルとの間の差分情報に対応づけて画像ＤＢ１７５に記録してよい。このように、画像ＤＢ１７５は、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する物体モデルと基準モデルとの間の差分情報に対応づけて格納する。具体的には、画像ＤＢ１７５は、モデル生成部２６０が物体モデルを生成する場合に基準モデルから変更した変更量を示す差分情報に対応づけて、複数の撮像画像を格納する。
【００５５】
なお、画像ＤＢ１７５は、選択された基準モデルを識別する情報であるモデル識別情報および差分情報に対応づけて、複数の撮像画像を格納してよい。そして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルを生成する場合に選択された基準モデルを識別するモデル識別情報と同じモデルを示すモデル識別情報、および新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。なお、閾値取得部３７０は、差分情報の間の一致度の閾値を、画像処理装置１７０の外部から取得する。そして、画像選択部は、新たな撮像画像に含まれる物体に適合する前記物体モデルと基準モデルとの間の差分情報に、閾値取得部３７０が取得した閾値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択してよい。
【００５６】
具体的には、一致度算出部３９２は、部位毎に、画像ＤＢ１７５が格納している差分情報のそれぞれと、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報との間の一致度をそれぞれ算出する。そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度の合計値が予め定められた値より高い差分情報の組み合わせに対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。
【００５７】
このようにして、画像選択部３９０は、新たな撮像画像に含まれる物体に適合する物体モデルと基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて画像ＤＢ１７５が格納している撮像画像を選択する。このため、画像処理システム１０によると、差分情報に基づいて検索することができるので、画像を高速に検索することができる。
【００５８】
図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【００５９】
本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【００６０】
画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【００６１】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【００６２】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【００６３】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。なお、画質変換部５１０は、図３に関連して説明した画質変換部２４１と同様の画質変換処理を行うことができる。
【００６４】
階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【００６５】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
【００６６】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
【００６７】
なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
【００６８】
なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【００６９】
なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
【００７０】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
【００７１】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【００７２】
以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【００７３】
図６は、画像処理装置１２０における処理内容の一例を示す。特徴領域検出部２０３は、撮像画像６００−１〜３（以下、撮像画像６００と総称する。）から、それぞれ特徴領域の一例としての頭部領域６１０−１〜３を検出する。そして、モデル生成部２６０は、異なる方向から撮像されている頭部領域６１０−１〜３を選択して、選択した頭部領域６１０の画像内容に基づいて３次元の物体モデル６５０を生成する。
【００７４】
このとき、モデル生成部２６０は、モデル格納部２７０が格納している基準モデルを修正することによって、物体モデル６５０を生成する。なお、モデル生成部２６０が基準モデルを変更することによって物体モデルを生成する方法の一例については、図７に関連して後述する。
【００７５】
出力部２０７は、生成した物体モデルと基準モデルの差分情報を、画像処理装置１７０に送信する。一方で、出力部２０７は、撮像画像６００のそれぞれに対応づけて、物体の２次元画像を物体モデルから生成するための情報として、物体の位置および方向を送信する。物体の位置および方向としては、物体モデルと視点との間の位置関係を例示することができる。なお、ここでいう視点とは、物体モデルを２次元空間に投影した場合に、物体の２次元画像（例えば、頭部領域６１０の画像）を得ることができる視点であってよい。
【００７６】
なお、出力部２０７は、複数の撮像画像６００に対応づけて一の差分情報を画像処理装置１７０に送信してよい。これにより、画像処理装置１２０から画像処理装置１７０へと送信されるデータ量を削減することができる。なお、差分情報としては、上述したように、基準モデルからの変更量を例示することができる。
【００７７】
図７は、モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す。モデル格納部２７０は、部位毎に基準モデルを格納している。例えば、モデル格納部２７０は、目を表す複数の基準モデルＥＭ７０１、ＥＭ７０２・・・、鼻を表す複数の基準モデルＮＭ７０１、ＮＭ７０２・・・、等を格納している。
【００７８】
また、許容量格納部２７５は、基準モデルＥＭ７０１、ＥＭ７０２、ＮＭ７０１、ＮＭ７０２を含む複数の基準モデルに対応づけて、基準モデルに対する変更許容範囲を格納している。なお、変更許容範囲としては、本図に示されるように、形状に関する変更許容範囲の一例としてのアスペクト比の範囲、および色情報に関する変更許容範囲の一例としての色差範囲および輝度範囲を例示することができる。
【００７９】
そして、モデル生成部２６０は、頭部領域６１０の画像内容に基づいて、モデル格納部２７０が格納している基準モデルを部位毎に選択する。例えば、モデル生成部２６０は、頭部領域６１０に含まれる各部位の画像のそれぞれについて、各部位の画像と予め定められた値より高い一致度で形状が一致する基準モデルを選択する。
【００８０】
そして、モデル生成部２６０は、許容量格納部２７５が格納しているアスペクト比の範囲内で基準モデルのアスペクト比を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における形状の一致度が最も高いアスペクト比を特定する。また、モデル生成部２６０は、基準モデルに対して色差および輝度を変化させて得られた画像と各部位の画像とを比較して、各部位の画像との間における色の一致度が最も高い色差情報および輝度情報を特定する。なお、変更量の一例としては、上記アスペクト比、色差情報、および輝度情報を例示することができる。このようにして、モデル生成部２６０は、基準モデルおよび差分情報（例えば、変更量）によって表される物体モデルを生成する。
【００８１】
図８は、画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す。画像処理装置１７０は、頭部領域６１０を含む複数の撮像画像６００に対応づけて、画像処理装置１２０から取得したモデルを識別する情報、アスペクト比、色差情報、および輝度情報を画像ＤＢ１７５に格納させる。なお、画像処理装置１７０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報の組を、各部位毎に画像ＤＢ１７５に格納させる。
【００８２】
そして、画像取得部３０１が取得した新たな撮像画像から検出された特徴領域の物体を表すモデルを識別する情報、ならびに当該モデルに対する差分情報の組であるアスペクト比、色差情報、および輝度情報の組を取得した場合に、一致度算出部３９２は、当該モデルを識別する情報に対応づけて画像ＤＢ１７５が記憶しているアスペクト比、色差情報、および輝度情報の組を読み出す。そして、一致度算出部３９２は、当該読み出したアスペクト比、色差情報、および輝度情報の組と、新たな撮像画像における上記差分情報の組とを比較して、それらの間の一致度を算出する。
【００８３】
そして、画像抽出部３９４は、一致度算出部３９２が算出した一致度を部位毎に合計して、得られた合計値が予め定められた値より高い差分情報の組に対応づけて画像ＤＢ１７５が格納している撮像画像を抽出する。このように、画像選択部３９０は、モデルを識別する情報、アスペクト比、色差情報、および輝度情報等の数値に基づいて、類似する物体が撮像されている撮像画像を選択することができる。このため、画像処理システム１０によると、画像内容に基づいて画像を選択する場合に比べて高速に画像を選択することができる。
【００８４】
図９は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。
【００８５】
画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１０にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。
【００８６】
なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む撮像動画を取得して、取得した撮像動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。例えば、画像処理部８０４は、撮像画像において図１〜図８に関連して説明した３次元モデルを利用せずに圧縮する領域の画像を、ＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む撮像動画を圧縮してよい。また、画像処理部８０４は、図１〜図８に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【００８７】
なお、画像処理装置１７０は、同時化処理によって得られた撮像画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４−８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。
【００８８】
なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置１７０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【００８９】
このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。
【００９０】
また、学習データとしては、特開２００６−３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、オブジェクトの画像の低周波成分は、オブジェクトの種類毎に、Ｋ−ｍｅａｎｓ法等によってさらにクラスタリングされていて、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。
【００９１】
そして、画像処理装置１７０は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。
【００９２】
なお、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像を表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像において、図１〜図８に関連して説明した３次元モデルを使用せずに圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部８０４は、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができる。なお、図１〜図８に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０は、特徴領域の画像に上述した超解像処理を施すことができる。
【００９３】
図１０は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００９４】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００９５】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００９６】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００９７】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図９に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図９に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。
【００９８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。
【００９９】
以上、この発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態もこの発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１００】
【図１】一実施形態に係わる画像処理システム１０の一例を示す図である。
【図２】画像処理装置１２０のブロック構成の一例を示す図である。
【図３】圧縮部２３０のブロック構成の一例を示す図である。
【図４】画像処理装置１７０のブロック構成の一例を示す図である。
【図５】圧縮部２３０の他のブロック構成の一例を示す図である。
【図６】画像処理装置１２０における処理内容の一例を示す図である。
【図７】モデル格納部２７０および許容量格納部２７５が格納しているデータの一例をテーブル形式で示す図である。
【図８】画像ＤＢ１７５が撮像画像６００に対応づけて記憶するデータの一例を、テーブル形式で示す図である。
【図９】他の実施形態に係る画像処理システム２０の一例を示す図である。
【図１０】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１０１】
１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像画像圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 圧縮制御部
２３０ 圧縮部
２３２ 画像分割部
２３４ 固定値化部
２３６ 圧縮処理部
２４０ 画質変換ユニット
２４１ 画質変換部
２５０ 画像取得部
２６０ モデル生成部
２７０ モデル格納部
２７５ 許容量格納部
２８０ 物体モデル記憶部
２９０ 撮像情報特定部
２０３ 特徴領域検出部
３０１ 画像取得部
３０２ 対応付け解析部
３１０ 伸張制御部
３２０ 伸張部
３２２ 復号器
３３０ 合成部
３３２ 拡大部
３４０ 出力部
３５０ モデル格納部
３９０ 画像選択部
３９２ 一致度算出部
３９４ 画像抽出部
３６０ 特徴領域情報取得部
３７０ 閾値取得部
３８０ 画像生成部
５１０ 画質変換部
５２０ 差分処理部
５２２ 階層間差分処理部
５３０ 符号化部
５３２ 符号器
６００ 撮像画像
６１０ 頭部領域
６５０ 物体モデル
８０４ 画像処理部
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置
【特許請求の範囲】
【請求項１】
物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納部と、
新たな撮像画像を取得する画像取得部と、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する画像選択部と
を備える画像処理システム。
【請求項２】
前記モデル生成部は、複数の撮像画像を、前記基準モデルを変更することにより、前記物体モデルを生成し、
前記画像格納部は、前記モデル生成部が前記物体モデルを生成する場合に前記基準モデルから変更した変更量を示す前記差分情報に対応づけて、複数の撮像画像を格納する
請求項１に記載の画像処理システム。
【請求項３】
前記モデル格納部は、複数の前記基準モデルを格納しており、
前記モデル生成部は、前記複数の基準モデルの中から選択された前記基準モデルを変更することにより、前記物体モデルを生成し、
前記画像格納部は、前記選択された基準モデルを識別する情報であるモデル識別情報および前記差分情報に対応づけて、複数の撮像画像を格納し、
前記画像選択部は、前記新たな撮像画像に含まれる物体に適合する前記物体モデルを生成する場合に選択された前記基準モデルを識別するモデル識別情報と同じモデルを示すモデル識別情報、および前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する
請求項２に記載の画像処理システム。
【請求項４】
前記モデル格納部は、物体の部位毎にそれぞれ複数の基準モデルを格納し、
前記モデル生成部は、前記部位毎に前記基準モデルを選択して、前記部位毎に選択された前記基準モデルを変更することによって、前記部位毎に前記物体モデルを生成し、
前記画像格納部は、前記部位毎に選択された基準モデルを識別する情報であるモデル識別情報および前記差分情報に対応づけて、複数の撮像画像を格納し、
前記画像選択部は、
前記部位毎に、前記画像格納部が格納している差分情報のそれぞれと、前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報との間の一致度をそれぞれ算出する一致度算出部と、
前記一致度算出部が算出した一致度の合計値が予め定められた値より高い差分情報の組み合わせに対応づけて前記画像格納部が格納している撮像画像を抽出する画像抽出部と
を有する請求項３に記載の画像処理システム。
【請求項５】
前記基準モデルに対して変更することが許容される変更量の許容範囲を格納する許容量格納部
をさらに備え、
前記モデル生成部は、前記許容量格納部が格納している変更量の許容範囲内で前記基準モデルを変更することにより、前記物体モデルを生成する
請求項３に記載の画像処理システム。
【請求項６】
前記複数の撮像画像からそれぞれ特徴領域を検出する特徴領域検出部
をさらに備え、
前記モデル生成部は、前記特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、前記物体モデルを生成し、
前記画像格納部は、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する
請求項１に記載の画像処理システム。
【請求項７】
前記画像格納部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域に撮像されている物体の画像および前記複数の撮像画像のそれぞれにおける前記特徴領域以外の領域の画像を、前記差分情報に対応づけて格納する
請求項6に記載の画像処理システム。
【請求項８】
前記差分情報の間の一致度の閾値を取得する閾値取得部
をさらに備え、
前記画像選択部は、前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に、前記閾値取得部が取得した閾値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する
請求項２に記載の画像処理システム。
【請求項９】
物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納段階と、
新たな撮像画像を取得する画像取得段階と、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納段階において格納されている撮像画像を選択する画像選択段階と
を備える画像処理方法。
【請求項１０】
画像処理システム用のプログラムであって、コンピュータを、
物体を表現する３次元モデルである基準モデルを格納するモデル格納部、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納部、
新たな撮像画像を取得する画像取得部、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する画像選択部
として機能させるプログラム。
【請求項１】
物体を表現する３次元モデルである基準モデルを格納するモデル格納部と、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部と、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納部と、
新たな撮像画像を取得する画像取得部と、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する画像選択部と
を備える画像処理システム。
【請求項２】
前記モデル生成部は、複数の撮像画像を、前記基準モデルを変更することにより、前記物体モデルを生成し、
前記画像格納部は、前記モデル生成部が前記物体モデルを生成する場合に前記基準モデルから変更した変更量を示す前記差分情報に対応づけて、複数の撮像画像を格納する
請求項１に記載の画像処理システム。
【請求項３】
前記モデル格納部は、複数の前記基準モデルを格納しており、
前記モデル生成部は、前記複数の基準モデルの中から選択された前記基準モデルを変更することにより、前記物体モデルを生成し、
前記画像格納部は、前記選択された基準モデルを識別する情報であるモデル識別情報および前記差分情報に対応づけて、複数の撮像画像を格納し、
前記画像選択部は、前記新たな撮像画像に含まれる物体に適合する前記物体モデルを生成する場合に選択された前記基準モデルを識別するモデル識別情報と同じモデルを示すモデル識別情報、および前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する
請求項２に記載の画像処理システム。
【請求項４】
前記モデル格納部は、物体の部位毎にそれぞれ複数の基準モデルを格納し、
前記モデル生成部は、前記部位毎に前記基準モデルを選択して、前記部位毎に選択された前記基準モデルを変更することによって、前記部位毎に前記物体モデルを生成し、
前記画像格納部は、前記部位毎に選択された基準モデルを識別する情報であるモデル識別情報および前記差分情報に対応づけて、複数の撮像画像を格納し、
前記画像選択部は、
前記部位毎に、前記画像格納部が格納している差分情報のそれぞれと、前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報との間の一致度をそれぞれ算出する一致度算出部と、
前記一致度算出部が算出した一致度の合計値が予め定められた値より高い差分情報の組み合わせに対応づけて前記画像格納部が格納している撮像画像を抽出する画像抽出部と
を有する請求項３に記載の画像処理システム。
【請求項５】
前記基準モデルに対して変更することが許容される変更量の許容範囲を格納する許容量格納部
をさらに備え、
前記モデル生成部は、前記許容量格納部が格納している変更量の許容範囲内で前記基準モデルを変更することにより、前記物体モデルを生成する
請求項３に記載の画像処理システム。
【請求項６】
前記複数の撮像画像からそれぞれ特徴領域を検出する特徴領域検出部
をさらに備え、
前記モデル生成部は、前記特徴領域に撮像されている物体が撮像された複数の撮像画像の画像内容に基づいて、前記物体モデルを生成し、
前記画像格納部は、複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する
請求項１に記載の画像処理システム。
【請求項７】
前記画像格納部は、前記複数の撮像画像のそれぞれから検出された前記特徴領域に撮像されている物体の画像および前記複数の撮像画像のそれぞれにおける前記特徴領域以外の領域の画像を、前記差分情報に対応づけて格納する
請求項6に記載の画像処理システム。
【請求項８】
前記差分情報の間の一致度の閾値を取得する閾値取得部
をさらに備え、
前記画像選択部は、前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に、前記閾値取得部が取得した閾値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する
請求項２に記載の画像処理システム。
【請求項９】
物体を表現する３次元モデルである基準モデルを格納するモデル格納段階と、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成段階と、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納段階と、
新たな撮像画像を取得する画像取得段階と、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納段階において格納されている撮像画像を選択する画像選択段階と
を備える画像処理方法。
【請求項１０】
画像処理システム用のプログラムであって、コンピュータを、
物体を表現する３次元モデルである基準モデルを格納するモデル格納部、
物体が撮像された複数の撮像画像の画像内容に基づいて、前記複数の撮像画像に撮像されている物体に適合する３次元モデルである物体モデルを生成するモデル生成部、
複数の撮像画像を、当該複数の撮像画像にそれぞれ撮像されている物体のそれぞれに適合する前記物体モデルと前記基準モデルとの間の差分情報に対応づけて格納する画像格納部、
新たな撮像画像を取得する画像取得部、
前記新たな撮像画像に含まれる物体に適合する前記物体モデルと前記基準モデルとの間の差分情報に予め定められた値より高い一致度で一致する差分情報に対応づけて前記画像格納部が格納している撮像画像を選択する画像選択部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２５１９６４（Ｐ２００９−２５１９６４Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９９７４９（Ｐ２００８−９９７４９）
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月７日（２００８．４．７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]