輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム
【課題】画像内における動きのある対象物のプライバシーを保護することを課題とする。
【解決手段】輪郭抽出システムは、符号化装置及び復号化装置を備える。符号化装置は、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。復号化装置は、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。また、復号化装置は、輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する。
【解決手段】輪郭抽出システムは、符号化装置及び復号化装置を備える。符号化装置は、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。復号化装置は、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。また、復号化装置は、輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムに関する。
【背景技術】
【０００２】
近年、世界中には膨大な数の監視カメラが設置され、動きのある対象物を撮影した動画像が日々記録されている。もっとも、記録された動画像の解析が人手によって行われる場合、その解析内容には限界がある。このため、従来、様々な画像解析技術が提案されている。例えば、動きベクトルが検出された画像領域を移動領域とみなして動きのある対象物を抽出する技術や、この技術を前提に更にノイズの除去を行う技術等が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５０１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、動きのある対象物のプライバシーが保護されているとはいえない場合があった。例えば、世界中に設置されている監視カメラは、不特定の人を撮影する可能性があるが、監視目的といってもプライバシーの観点から撮影可能なエリアは限定させるべきである。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物のプライバシーを保護することが可能な輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る輪郭抽出システムは、符号化装置と、復号化装置とを有する。符号化装置は、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部とを備え、復号化装置は、前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域の画像データを他の画像データに加工する加工部とを備えることを特徴とする。
【０００７】
また、実施形態に係る輪郭抽出装置は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工部とを備えることを特徴とする。
【０００８】
また、実施形態に係る輪郭抽出プログラムは、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と、前記特定手順によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定手順と、前記対象物判定手順によって前記対象物が示す物体を判定された場合に、前記特定手順によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
実施形態に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムによれば、動きのある対象物のプライバシーを保護することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る輪郭抽出システムの概要を説明するための図である。
【図２】図２は、実施例１に係る符号化装置の構成を示すブロック図である。
【図３】図３は、実施例１に係る符号化処理手順を示すフローチャートである。
【図４】図４は、実施例１に係る復号化装置の構成を示すブロック図である。
【図５】図５は、輪郭に相当する領域の特定を説明するための図である。
【図６】図６は、実施例１に係る輪郭画像の一例を示す図である。
【図７】図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。
【図８】図８は、実施例２に係る復号化装置の構成を示すブロック図である。
【図９】図９は、実施例３に係る復号化装置の構成を示すブロック図である。
【図１０】図１０は、実施例３における対象物判定部による対象物判定処理の一例を示す図である。
【図１１】図１１は、実施例３における加工部によって加工された輪郭画像の一例を示す図である。
【図１２】図１２は、実施例３における選択部による重畳画像生成処理の一例を示す図である。
【図１３】図１３は、実施例３における選択部による重畳画像生成処理の一例を示す図である。
【図１４】図１４は、実施例３に係る画像生成処理手順を示すフローチャートである。
【図１５】図１５は、実施例４に係る復号化装置の構成を示すブロック図である。
【図１６】図１６は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る輪郭抽出システム１０の概要］
図１は、実施例１に係る輪郭抽出システム１０の概要を説明するための図である。図１に例示するように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備え、符号化装置１００において符号化処理が実行され、復号化装置２００において復号化処理及び輪郭抽出処理が実行される構成を採る。
【００１３】
まず、実施例１に係る符号化装置１００において実行される符号化処理の概要を説明する。符号化装置１００は、対象物が描出された画像データの入力を受け付け、受け付けた画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、符号化装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、符号化装置１００は、選択した予測モードに従って画像データを符号化する。
【００１４】
ここで、実施例１に係る符号化装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、符号化装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００１５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００１６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００１７】
さて、図１に戻り、実施例１に係る復号化装置２００において実行される輪郭抽出処理の概要を説明する。復号化装置２００は、符号化装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、復号化装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００１８】
ここで、実施例１に係る復号化装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図１に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００１９】
このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００２０】
［実施例１に係る符号化装置１００の構成］
次に、図２及び図３を用いて、実施例１に係る符号化装置１００の構成を説明する。図２は、実施例１に係る符号化装置１００の構成を示すブロック図である。図２に例示するように、実施例１に係る符号化装置１００は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。
【００２１】
ここで、実施例１に係る符号化装置１００は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１００は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００２２】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００２３】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００２４】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００２５】
さて、ここで、実施例１に係る符号化装置１００は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００２６】
この点について説明する。まず、実施例１に係る符号化装置１００は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００２７】
ここで、実施例１に係る動き補償部１７０は、図２に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００２８】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００２９】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３０】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３１】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００３２】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００３３】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００３４】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００３５】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００３６】
また、実施例１に係る符号化装置１００として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００３７】
次に、図３は、実施例１に係る符号化処理手順を示すフローチャートである。なお、図３においては、主に実施例１に係る符号化装置１００に特有の符号化処理手順を示す。具体的には、まず、動き補償部１７０は、Ｉｎｔｒａ符号化部１７０ａによる符号化処理、フレーム予測モード符号化部１７０ｂによる符号化処理、及びフィールド予測モード符号化部１７０ｃによる符号化処理を並行して行う（ステップＳ１０１）。
【００３８】
次に、符号化モード判定部１１０は、３つの符号化量それぞれを比較し（ステップＳ１０２）、比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、予め記憶している閾値以上に、フレーム予測モード符号化部１７０ｂから出力された符号化量より小さいか否かを判定する（ステップＳ１０３）。そして、符号化量の差が閾値より小さい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上に小さい場合ではないと判定した場合には（ステップＳ１０３肯定）、符号化モード判定部１１０は、予測モードとしてフレーム予測モードを選択する（ステップＳ１０４）。
【００３９】
一方、符号化量の差が閾値より大きい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さい場合であると判定した場合には（ステップＳ１０３否定）、符号化モード判定部１１０は、予測モードとしてフィールド予測モードを選択する（ステップＳ１０５）。
【００４０】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４１】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る輪郭抽出システム１０は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００４２】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、復号化装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００４３】
この点、実施例１に係る符号化装置１００は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、復号化装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００４４】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００４５】
［実施例１に係る復号化装置２００の構成］
次に、図４及び図５を用いて、実施例１に係る復号化装置２００の構成を説明する。図４は、実施例１に係る復号化装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る復号化装置２００は、特に、輪郭抽出部２１０と、可変長復号−逆スキャン部２２０と、逆量子化−逆ＤＣＴ部２３０と、動き補償部２４０と、フレームメモリ２５０と、復号化画像表示部２６０とを備える。なお、実施例１に係る復号化装置２００は、図４に例示するように外部の出力部２８０に接続し、復号化画像や輪郭抽出部２１０において生成された輪郭画像を表示する構成を採る。選択部２７０は、出力部２８０に表示する画像の選択を受け付け、受け付けた選択に従って出力部２８０に画像を表示する。例えば、選択部２７０は、復号化画像及び輪郭画像の双方を重畳表示したり、いずれか一方の画像のみを表示する。
【００４６】
ここで、実施例１に係る復号化装置２００は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化装置２００は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２２０及び逆量子化−逆ＤＣＴ部２３０が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４０が、復号化された動きベクトルとフレームメモリ２５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２５０に格納する。そして、復号化画像表示部２６０が、フレームメモリ２５０に格納された復号化画像を、出力部２８０に表示する。
【００４７】
さて、ここで、実施例１に係る復号化装置２００は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２１０を備え、この輪郭抽出部２１０が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２１０は、図４に例示するように、ヘッダ情報読出部２１１と、輪郭領域特定部２１２と、輪郭画像生成部２１３と、輪郭画像表示部２１４とを有する。
【００４８】
ヘッダ情報読出部２１１は、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２１１は、例えば可変長復号−逆スキャン部２２０から、可変長復号−逆スキャン部２２０において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２１１は、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２１１は、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２１１は、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２１２に送る。
【００４９】
輪郭領域特定部２１２は、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２１２は、ヘッダ情報読出部２１１からピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２１２は、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２１３に送る。
【００５０】
図５は、輪郭に相当する領域の特定を説明するための図である。なお、図５は、領域特定の概念を例示するものである。図５に例示する『人』は、動きのある対象物を意味する。また、図５に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２１２は、図５に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００５１】
ここで、実施例１に係る輪郭領域特定部２１２が、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る符号化装置１００は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２１２は、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００５２】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２１２は、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００５３】
輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２１３は、輪郭領域特定部２１２から対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成し、生成した輪郭画像をフレームメモリ２５０に格納する。
【００５４】
図６は、実施例１に係る輪郭画像の一例を示す図である。図６に例示するように、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図６の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００５５】
輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に表示する。具体的には、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像をフレームメモリ２５０から取得し、取得した輪郭画像を出力部２８０に表示する。なお、実施例１においては、輪郭が可視化された輪郭画像のみを表示する手法を説明したが、開示の技術はこれに限られるものではなく、例えば、復号化画像と輪郭画像とを重畳させて表示してもよい。
【００５６】
図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。なお、図７においては、主に実施例１に係る復号化装置２００に特有の輪郭抽出処理手順を示す。具体的には、まず、ヘッダ情報読出部２１１が、可変長復号−逆スキャン部２２０からヘッダ情報を取得するまで待機し（ステップＳ２０１）、ヘッダ情報を取得すると（ステップＳ２０１肯定）、ヘッダ情報を解析し、ピクチャ構造情報及び予測モード情報を読み出す（ステップＳ２０２）。
【００５７】
次に、輪郭領域特定部２１２が、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であるか否かを判定する（ステップＳ２０３）。
【００５８】
そして、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であると判定すると（ステップＳ２０３肯定）、輪郭領域特定部２１２は、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する（ステップＳ２０４）。一方、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合でないと判定すると（ステップＳ２０３否定）、輪郭領域特定部２１２は、輪郭に相当する領域の特定を行うことなく処理を終了する。
【００５９】
なお、開示の技術は、上述した構成や処理手順に限られるものではない。例えば、符号化装置１００が予測モードを動的に選択する手法として、「フレーム予測モード用」の動きベクトルが示す動き速度と閾値とを比較する手法を例示したが、この手法に限られるものではなく、動き速度と閾値との比較結果に従って予測モードを動的に選択する手法であれば、他の手法でもよい。また、例えば、復号化装置２００の輪郭抽出部２１０が、可変長復号−逆スキャン部２２０からヘッダ情報を取得する手法を例示したが、この手法に限られるものではなく、例えば逆量子化−逆ＤＣＴ部２３０から取得する等、他の部やタイミングで取得する手法であってもよい。
【００６０】
［実施例１の効果］
上述したように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備える。符号化装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、復号化装置２００において、ヘッダ情報読出部２１１が、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２１２が、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００６１】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る輪郭抽出システム１０によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【００６２】
また、実施例１に係る復号化装置２００は、輪郭画像生成部２１３及び輪郭画像表示部２１４をさらに備える。輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した輪郭画像を生成する。また、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に出力する。このようなことから、実施例１に係る復号化装置２００によれば、輪郭のみが現わされた画像を出力することが可能になり、プライバシー等の観点からも有効な画像データを提供することが可能になる。なお、輪郭画像生成部２１３及び輪郭画像表示部２１４は必ずしも必須の構成ではない。
【実施例２】
【００６３】
次に、実施例２に係る輪郭抽出システム２０を説明する。実施例２に係る輪郭抽出システム２０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００及び復号化装置２００を備えるが、復号化装置２００において、輪郭抽出処理を補完する機能が更に追加された点で、実施例１に係る輪郭抽出システム１０と異なる。
【００６４】
図８は、実施例２に係る復号化装置２００の構成を示すブロック図である。図８に例示するように、実施例２に係る復号化装置２００は、輪郭抽出部２１０に、輪郭抽出補完部２１５をさらに備える。輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２１５は、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２１５は、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２１３に送る。
【００６５】
実施例２に係る輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果のみならず、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２１２による処理も、あるいは、輪郭抽出補完部２１５による処理も、必ずしも最適な結果とならない可能性がある。この点、実施例２に係る輪郭抽出システム２０によれば、輪郭領域特定部２１２及び輪郭抽出補完部２１５それぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【００６６】
例えば、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いる。
【実施例３】
【００６７】
次に、実施例３に係る輪郭抽出システム３０を説明する。実施例３に係る輪郭抽出システム３０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００を有するが、復号化装置２００と異なる処理を行う復号化装置３００を有する。かかる復号化装置３００は、輪郭抽出処理が行われた対象物に対してプライバシー保護処理を施す点で、実施例１に係る復号化装置２００と異なる。以下に、このような実施例３に係る復号化装置３００について詳細に説明する。
【００６８】
図９は、実施例３に係る復号化装置３００の構成を示すブロック図である。図９に例示するように、実施例３に係る復号化装置３００は、輪郭抽出部３１０と、選択部３７０とを有する。輪郭抽出部３１０は、輪郭画像生成部３１３を有する。かかる輪郭画像生成部３１３は、実施例１と同様に、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像）を生成する。さらに、実施例３における輪郭画像生成部３１３は、図９に例示するように、対象物判定部３１３ａと、加工部３１３ｂとを有する。
【００６９】
対象物判定部３１３ａは、輪郭画像生成部３１３によって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定する。具体的には、対象物判定部３１３ａは、輪郭画像に現されている輪郭に基づいて、かかる輪郭領域によって示される対象物が人、動物又は乗物等であるか否かを判定する。
【００７０】
例えば、対象物判定部３１３ａは、人、動物又は乗物等を示す形状のテンプレート（以下、「形状テンプレート」と表記する場合がある）を予め保持する。そして、対象物判定部３１３ａは、対象物の輪郭と形状テンプレートとをパターンマッチング法などにより比較することにより、対象物が人、動物又は乗物等であるか否かを判定する。このとき、対象物判定部３１３ａは、対象物の輪郭自体と形状テンプレートとを比較してもよいし、輪郭に囲まれた領域（以下、「輪郭領域」と表記する場合がある）の内部に、かかる輪郭領域を線によって表す中央線を描き、かかる中央線と形状テンプレートとを比較してもよい。
【００７１】
ここで、図１０を用いて、対象物判定部３１３ａによる対象物判定処理について説明する。図１０は、実施例３における対象物判定部３１３ａによる対象物判定処理の一例を示す図である。なお、図１０では、対象物判定部３１３ａが、輪郭領域内部の中央線と形状テンプレートとを比較する例について説明する。
【００７２】
図１０に示した例のように、対象物判定部３１３ａは、対象物の輪郭上の任意の点（例えば、図１０中の点Ｐ）を、かかる点から輪郭領域Ｒ１１内部への法線方向に所定の長さだけ移動させる。対象物判定部３１３ａは、輪郭上の複数の点について同様の処理を行うことで、図１０に例示した輪郭よりも全体的に小さい輪郭を形成する。そして、対象物判定部３１３ａは、輪郭上の複数の点について輪郭領域Ｒ１１内部へ移動させる処理を繰り返し行うことで、図１０に例示したように、輪郭領域Ｒ１１に中央線Ｌ１１を描く。対象物判定部３１３ａは、かかる中央線Ｌ１１と形状テンプレートとを比較し、輪郭領域Ｒ１１によって示される対象物が人、動物又は乗物等であるか否かを判定する。図１０に示した例では、対象物判定部３１３ａは、輪郭領域Ｒ１１によって示される対象物が人であると判定する。
【００７３】
なお、対象物判定部３１３ａは、輪郭（輪郭領域内部の中央線を含む）と形状テンプレートとの比較にあたり、例えば、折れ曲がっている部分（関節に相当）の数や、枝分かれしている部分の数や、各領域の長さの比率等を比較する。例えば、対象物が人である場合には、かかる対象物は、概ねヒトデのような形状となる。したがって、対象物判定部３１３ａは、輪郭の折れ曲がっている部分の数や枝分かれしている部分の数がヒトデと類似する場合には、対象物が人であると判定する。
【００７４】
図９の説明に戻って、加工部３１３ｂは、対象物判定部３１３ａによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで、輪郭画像を加工する。例えば、加工部３１３ｂは、対象物判定部３１３ａによって輪郭領域によって示される対象物が人であると判定された場合には、輪郭領域に一般的な人を表す画像データを配置する。また、例えば、加工部３１３ｂは、対象物判定部３１３ａによって輪郭領域によって示される対象物が動物や乗物等であると判定された場合には、輪郭領域に一般的な動物や乗物等を示す画像データを配置する。ここで、加工部３１３ｂは、人、動物又は乗物等であることを想起することができる代替用画像を予め保持し、これらの代替用画像を輪郭領域に配置することで、輪郭画像を加工する。この代替用画像は、例えば、所定の図形の組合せや、人、動物又は乗物等を示すアニメーション画像などである。
【００７５】
図１１は、実施例３における加工部３１３ｂによって加工された輪郭画像の一例を示す図である。なお、図１１に示した輪郭画像Ｇ１２は、加工部３１３ｂによって図１０に例示した輪郭画像Ｇ１１が加工されたものとする。上記の通り、対象物判定部３１３ａは、図１０に例示した輪郭によって示される対象物を人であると判定する。したがって、加工部３１３ｂは、図１１に例示するように、輪郭領域Ｒ１１に人であることを想起することができる代替用画像を配置する。加工部３１３ｂは、このようにして輪郭画像Ｇ１１を加工することで図１１に例示した輪郭画像Ｇ１２を生成する。なお、図１１に示した例では、加工部３１３ｂは、輪郭領域Ｒ１１を折れ曲がっている部分で分断し、分断後の領域毎に、かかる領域の大きさに対応する図形（円形や楕円形や長方形等）を配置している。具体的には、加工部３１３ｂは、円形や楕円形や長方形等の各図形を保持しており、分断後の領域と保持している各図形とをパターンマッチング法などにより比較し、マッチする図形を分断後の領域に配置する。
【００７６】
図９の説明に戻って、選択部３７０は、輪郭画像表示部２１４から加工部３１３ｂにより加工された輪郭画像を受け付けるとともに、復号化画像表示部２６０から復号化画像を受け付け、受け付けた輪郭画像又は復号化画像のいずれか一方の画像を出力部２８０に表示したり、双方の画像を重畳した重畳画像を出力部２８０に表示したりする。
【００７７】
例えば、実施例３に係る復号化装置３００が各管理者等からログインされるシステムであるものとする。かかる場合に、選択部３７０は、例えば、全ての画像を閲覧することが許可されている管理者等によってログインされている場合には、復号化画像表示部２６０から受け付けた復号化画像を出力部２８０に表示する。また、例えば、選択部３７０は、画像に写っている人、動物（ペット）又は乗物のナンバー等を閲覧することが許可されていない管理者等によってログインされている場合には、輪郭画像と復号化画像とを重畳した重畳画像を出力部２８０に表示する。
【００７８】
ここで、図１２を用いて、選択部３７０による重畳画像の生成処理について説明する。図１２は、実施例３における選択部３７０による重畳画像生成処理の一例を示す図である。図１２に示した例において、選択部３７０は、復号化画像表示部２６０から復号化画像Ｇ１０を受け付けるとともに、輪郭画像表示部２１４から輪郭画像Ｇ１２を受け付ける。このとき、選択部３７０は、復号化画像Ｇ１０から輪郭領域を取り除くことにより、背景画像Ｇ１３を生成する。例えば、選択部３７０は、復号化画像Ｇ１０における輪郭領域内の全画素を所定の画素（例えば、『白』を示す画素値「１」等）にすることで、背景画像Ｇ１３を生成する。そして、選択部３７０は、図１２に例示するように、背景画像Ｇ１３に輪郭画像Ｇ１２を重畳することで、重畳画像Ｇ１４を生成する。選択部３７０は、このようにして生成した重畳画像Ｇ１４を出力部２８０に表示する。
【００７９】
これにより、選択部３７０は、人等のプライバシーが保護された重畳画像を表示することができる。さらに、加工部３１３ｂが、人、動物又は乗物等であることを想起することができる代替用画像を用いて輪郭画像を加工するので、選択部３７０は、加工部３１３ｂによって加工された輪郭画像から生成した重畳画像を表示する場合であっても、復号化画像に描出されていた対象物と異なる対象物を想起させるような画像を表示することはない。すなわち、実施例３に係る復号化装置３００は、復号化画像に描出されていた対象物と同一の人、動物又は乗物等であることを想起させることができるとともに、かかる対象物のプライバシーを保護することができる。
【００８０】
なお、上記の輪郭画像生成部３１３によって特定される輪郭領域と、加工部３１３ｂによって用いられる代替用画像が占める領域とは、必ずしも一致するとは限らない。すなわち、図１２に示した例において、選択部３７０によって復号化画像Ｇ１０から取り除かれる輪郭領域（背景画像Ｇ１３を参照）は、加工部３１３ｂによって用いられる代替用画像の領域（輪郭画像Ｇ１２を参照）と一致するとは限らない。このため、対象物を示す輪郭領域が代替用画像の領域よりも大きい場合には、重畳画像Ｇ１４の一部分は、所定の画素（例えば、『白』を示す画素値「１」等）となり、対象物も背景も描出されない可能性がある。
【００８１】
そこで、実施例３における加工部３１３ｂは、輪郭領域よりも代替用画像の占める領域が大きくなるように代替用画像を拡大してもよい。具体的には、加工部３１３ｂは、輪郭領域と代替用画像とを比較し、代替用画像が対象物の輪郭の全てを覆うことができるように代替用画像を拡大する。これにより、加工部３１３ｂは、重畳画像Ｇ１４の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８２】
また、重畳画像の一部分に対象物及び背景が描出されないことを防止するために、選択部３７０が、重畳画像を生成する際に、複数の復号化画像から背景画像を補完してもよい。この点について、図１３を用いて具体的に説明する。図１３は、実施例３における選択部３７０による重畳画像生成処理の一例を示す図である。図１３に示した例において、時間ｔ＝１は、時間ｔ＝２よりも過去であるものとする。
【００８３】
選択部３７０は、時間ｔ＝２において受け付けた復号化画像Ｇ２０から背景画像を生成する場合に、過去の復号化画像Ｇ１０も用いる。具体的には、選択部３７０は、時間ｔ＝２に対応する復号化画像Ｇ２０から対象物の輪郭領域を取り除くことにより背景画像Ｇ２３を生成し、時間ｔ＝２よりも過去である時間ｔ＝１に受け付けた復号化画像Ｇ１０から対象物の輪郭領域を取り除くことにより背景画像Ｇ１３を生成する。そして、選択部３７０は、背景画像Ｇ２３のうち、輪郭領域（例えば、画素値を「１」とした領域）に背景画像Ｇ１３の画素を配置することにより、背景画像Ｇ３０を生成する。具体的には、選択部３７０は、背景画像Ｇ２３の輪郭領域に、かかる輪郭領域に対応する位置における背景画像Ｇ１３の画素を配置する。このように、選択部３７０は、対象物が移動することを利用して、時相の異なる複数の復号化画像から、画素値「１」等に置き換えられた領域を含まない背景画像を生成する。選択部３７０は、このような背景画像Ｇ３０に、加工部３１３ｂによって加工された輪郭画像を重畳させることにより、重畳画像の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８４】
次に、図１４を用いて、実施例３に係る復号化装置３００による処理の手順について説明する。図１４は、実施例３に係る画像生成処理手順を示すフローチャートである。なお、図１４においては、輪郭領域特定部２１２によって輪郭に相当する領域が特定されているものとする。
【００８５】
輪郭画像生成部３１３は、輪郭領域特定部２１２によって対象物の輪郭に相当する領域が特定された場合に、かかる輪郭の領域に基づいて対象物の輪郭画像を生成する（ステップＳ３０１）。続いて、対象物判定部３１３ａは、輪郭画像生成部３１３によって生成された輪郭画像に基づいて、対象物が人、動物又は乗物等であるか否かを判定する（ステップＳ３０２）。
【００８６】
続いて、加工部３１３ｂは、対象物判定部３１３ａによって対象物が人等であると判定された場合に（ステップＳ３０２肯定）、代替用画像を用いて、対象物判定部３１３ａによって生成された輪郭画像を加工する（ステップＳ３０３）。このとき、加工部３１３ｂは、対象物判定部３１３ａによって判定された対象物の種類（人、動物又は乗り物等）に対応する代替用画像を用いる。
【００８７】
続いて、選択部３７０は、復号化画像表示部２６０によって生成された復号化画像から対象物の輪郭領域を取り除くことにより、背景画像を生成する（ステップＳ３０４）。そして、選択部３７０は、背景画像に対して、加工部３１３ｂによって加工された輪郭画像を重畳することで、重畳画像を生成する（ステップＳ３０５）。
【００８８】
上述してきたように、実施例３に係る復号化装置３００は、対象物判定部３１３ａが、輪郭画像生成部３１３によって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定し、加工部３１３ｂが、対象物判定部３１３ａによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで輪郭画像を加工する。これにより、実施例３に係る復号化装置３００は、動きのある対象物のプライバシーを保護することができる。
【００８９】
なお、上記実施例３では、加工部３１３ｂが、図１１に例示したような代替用画像を用いて輪郭画像を加工する例を示した。しかし、加工部３１３ｂによる加工処理は、代替用画像を用いた例に限られない。以下に、加工部３１３ｂによる加工処理についていくつか例を挙げて説明する。
【００９０】
例えば、加工部３１３ｂは、対象物の輪郭領域に所定の画素（例えば、『黒』を示す画素値「０」等）を配置することで、特定の人、動物又は乗物等を特定されないようにしてもよい。このとき、加工部３１３ｂは、対象物の種類に応じて輪郭領域に配置する画素値を変更してもよい。例えば、加工部３１３ｂは、対象物が人である場合には、輪郭領域に『黒』を示す画素値を配置し、対象物が動物である場合には、輪郭領域に『青』を示す画素を配置してもよい。
【００９１】
また、加工部３１３ｂは、対象物の輪郭領域について二値化処理を施してもよい。具体的には、加工部３１３ｂは、輪郭領域に含まれる各画素値について、所定の閾値以上であるか否かを判定する。そして、加工部３１３ｂは、画素値が所定の閾値以上である領域については画素値を「１」とし、画素値が所定の閾値よりも小さい領域については画素値を「０」とする。これにより、加工部３１３ｂは、対象物を２種類の画素値によって現すことが可能になり、この結果、対象物が何であるかを想起しやすくすることができる。
【００９２】
また、加工部３１３ｂは、対象物の輪郭領域に含まれる画素の配置を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。具体的には、加工部３１３ｂは、輪郭領域を所定のマクロブロック（例えば、横１６×縦１６画素）毎に分割し、マクロブロック内で画素の位置を変更してもよい。例えば、加工部３１３ｂは、輪郭領域をマクロブロックＭ１〜Ｍ１０に分割した場合に、マクロブロックＭ１に含まれる各画素の配置をマクロブロックＭ１内で変更する。加工部３１３ｂは、同様の処理をマクロブロックＭ２〜Ｍ１０についても行う。なお、加工部３１３ｂによる画素の配置変更処理は、任意の手法を適用することができる。例えば、加工部３１３ｂは、横方向に隣接する２個の画素の位置を変更してもよいし、縦方向に隣接する２個の画素の位置を変更してもよい。また、例えば、加工部３１３ｂは、画素の配置を変更するのではなく、マクロブロック（マクロブロックＭ１等）内の全画素値の平均値を算出し、算出した画素値をマクロブロックに配置してもよい。
【００９３】
また、加工部３１３ｂは、対象物の輪郭領域に含まれる画素値を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。すなわち、加工部３１３ｂは、輪郭領域に含まれる画素値を変更することで、対象物の色合いを変更する。例えば、加工部３１３ｂは、対象領域が人である場合に、対象領域のうち顔を示す領域、胴体を示す領域、手足を示す領域を特定する。そして、加工部３１３ｂは、顔を示す領域については、全てを同一画素値に置き換え、胴体を示す領域や手足を示す領域については、かかる領域の画素値に所定の画素値を加算又は減算する。これにより、加工部３１３ｂは、対象物の顔が特定されず、かつ、対象物の服や皮膚の色を変更することができる。この結果、加工部３１３ｂは、対象物が所定の人物であると特定されることを防止できるので、対象物のプライバシーを保護することができる。
【００９４】
また、例えば、加工部３１３ｂは、顔を示す領域については、上記例のように画素の配置を変更してもよい。これにより、加工部３１３ｂは、対象物の顔をやや異なる顔に変更することができ、対象物が所定の人物であると特定されることを防止できる。また、例えば、加工部３１３ｂは、顔を示す領域のうち、眉毛、目、鼻、口等を示す領域を特定し、特定した眉毛、目、鼻、口等の位置や変更してもよい。例えば、加工部３１３ｂは、眉毛を頭頂部方向に移動させることで額を狭くしたり、目や鼻や口の大きさを変更したりする。これにより、加工部３１３ｂは、対象物が所定の人物であると特定されることを防止できる。
【実施例４】
【００９５】
次に、実施例４に係る輪郭抽出システム４０を説明する。実施例４に係る輪郭抽出システム４０は、監視システムに適用され、実施例３に係る輪郭抽出システム３０と同様、符号化装置１００を有するが、復号化装置３００と異なる処理を行う復号化装置４００を有する。かかる復号化装置４００は、輪郭抽出処理が行われた対象物の移動量に基づいて、監視者等に警告を通知する点で、実施例３に係る復号化装置３００と異なる。以下に、このような実施例４に係る復号化装置４００について詳細に説明する。
【００９６】
図１５は、実施例４に係る復号化装置４００の構成を示すブロック図である。図１５に例示するように、実施例４に係る復号化装置４００は、警告部４９０をさらに有する。警告部４９０は、輪郭画像生成部３１３によって生成された輪郭画像を取得し、かかる輪郭画像に現されている輪郭の移動量を監視する。そして、警告部４９０は、輪郭の移動量が所定の閾値以上である場合や、輪郭の移動量が所定の閾値以下である場合に、監視者等に警告を通知する。
【００９７】
このような警告部４９０が警告を通知する条件は、実施例４に係る輪郭抽出システム４０が適用されるシステムによって異なる。以下に、輪郭抽出システム４０が適用されるいくつかのシステムと、警告部４９０による処理の一例について説明する。
【００９８】
まず、実施例４に係る輪郭抽出システム４０が、老人や患者等を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、例えば、老人が居住する部屋や、患者が入院している病室等に設置され、老人や患者等を撮影する。そして、輪郭抽出システム４０の符号化装置１００は、監視カメラから送信される画像データに対して、実施例１〜３に示した各種処理を行う。また、復号化装置４００は、符号化装置１００から送信される符号化データを用いて、対象物である老人や患者の輪郭を適切に抽出する。
【００９９】
ここで、復号化装置４００の警告部４９０は、輪郭画像生成部３１３によって輪郭画像が生成されるたびに、かかる輪郭画像を取得する。そして、警告部４９０は、撮影時刻の異なる画像データから生成された輪郭画像内の輪郭を比較することにより、輪郭間の距離を求める。このとき、警告部４９０は、所定時間（例えば、１時間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、算出した移動量が所定の閾値以下である場合に、警告を通知する。これは、老人や患者等が数時間も移動せずに停止している場合には、老人や患者等に何かしらの異変が発生したと考えられるからである。
【０１００】
なお、警告部４９０は、上記例において、所定の時間帯についてのみ警告の通知処理を行ってもよい。例えば、就寝中の老人や患者はほとんど移動しないと考えられるので、警告部４９０は、老人や患者が寝ていると考えられる時間帯については警告の通知処理を行わずに、老人や患者が起床していると考えられる時間帯のみ警告の通知処理を行ってもよい。また、例えば、就寝中の老人や患者が激しく移動した場合には、何かしらの異変が発生したとも考えられる。したがって、警告部４９０は、老人や患者が寝ていると考えられる時間帯については、老人や患者等の移動量が所定の閾値以上である場合に、警告を通知してもよい。
【０１０１】
このように、輪郭抽出システム４０は、老人や患者等を監視する監視システムに適用されることで、老人や患者等の異変を適切に検出することができる。なお、老人や患者等は、私生活を監視される監視カメラが設置されることに抵抗を感じる可能性がある。しかし、輪郭抽出システム４０の復号化装置４００は、実施例３において説明したように、対象物を代替用画像等に置き換えるので、老人や患者等のプライバシーを保護することができる。この結果、輪郭抽出システム４０は、老人や患者等に抵抗感を与えることなく、上記のような監視システムに適用することができる。
【０１０２】
続いて、実施例４に係る輪郭抽出システム４０が、エレベータや電車やタクシー等の不特定の人に利用される乗物等の内部を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、エレベータ内や電車内やタクシー内等に設置され、エレベータ等の利用者を撮影する。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより輪郭間の距離を求め、所定時間（例えば、１分間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、利用者の移動量が所定の閾値以上である場合に、警告を通知する。これは、一般的に、エレベータや電車やタクシーでは利用者が激しく移動することがなく、利用者が激しく移動した場合には、エレベータ内等で何かしらの異変が発生したと考えられるからである。
【０１０３】
このように、輪郭抽出システム４０は、乗物内部を監視する監視システムに適用されることで、乗物の利用者の異変を適切に検出することができる。また、輪郭抽出システム４０は、利用者のプライバシーを保護することができるので、利用者に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０４】
続いて、実施例４に係る輪郭抽出システム４０が、落石等を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、崖等を撮影可能な位置に設置される。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより輪郭間の距離を求め、所定時間（例えば、１分間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、算出した移動量が所定の閾値以上である場合に、警告を通知する。これは、一般的に、崖等では激しく移動するものがなく、激しく移動する物体が存在する場合には、落石等があったと考えられるからである。
【０１０５】
このように、輪郭抽出システム４０は、崖等を監視する監視システムに適用されることで、落石等を適切に検出することができる。輪郭抽出システム４０は、このような崖を通行する通行人等のプライバシーを保護することができるので、通行人等に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０６】
続いて、実施例４に係る輪郭抽出システム４０が、駐車場を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、駐車スペースを撮影可能な位置にされる。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより、車の移動を追従する。これにより、警告部４９０は、駐車スペースに車が駐車しているか否かを検知することができ、この結果、駐車スペースに車が駐車している割合を通知することができる。例えば、警告部４９０は、所定の時間毎に、駐車スペースに車が駐車している割合を通知することができる。
【０１０７】
また、例えば、月極駐車場である場合には、駐車スペースに駐車される車の特徴（大きさ、色等）は予め決められていることが多い。警告部４９０は、駐車スペース毎に駐車される車の特徴情報を保持しておき、駐車スペースに駐車された車の輪郭や色等と、保持しておいた車の特徴とが異なる場合には、他の車が駐車されたと判定し、警告を通知してもよい。輪郭抽出システム４０は、車や乗車している人のプライバシーを保護することができるので、利用者に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０８】
上記例のように、実施例４における警告部４９０は、動きのある対象物に関する情報を解析することで、防犯監視や防災監視として有効に機能することができる。また、例えば、復号化装置４００が対象物の基準の動きを予め記憶している場合には、警告部４９０は、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出することができ、警告を通知することができる。また、警告部４９０は、対象物単体として、あるいは単体化した複数の対象物として、基準を逸脱する動きを検出した場合に、異常行動（事件もしくは事故）を検出することもできる。
【０１０９】
また、例えば、警告部４９０は、対象物が「静」の状態から「動」の状態へと変化したことを検知することにより、例えば小さな前触れ現象を検知することができる。また、例えば、警告部４９０は、対象物が「動」の状態から「静」の状態へと変化したことを検知することにより、例えば、交通事故の瞬間や因果関係などを明確にすることができる。
【０１１０】
以上のように、実施例４に係る復号化装置４００は、警告部４９０が、輪郭の移動量を算出し、算出した移動量が所定の閾値以上であるか、又は、移動量が所定の閾値以下である場合に、警告を通知する。これにより、実施例４に係る復号化装置４００は、老人や患者、乗物内の利用者等の異変を適切に検出することができる。
【実施例５】
【０１１１】
これまで、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの実施例として実施例１〜４を説明してきたが、開示の技術はこれに限られるものではなく、種々の異なる形態にて実施されてよいものである。実施例５では、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの他の実施例について説明する。
【０１１２】
［移動カメラ］
開示の技術に係る輪郭抽出システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【０１１３】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【０１１４】
［システムの構成］
上記実施例１〜４においては、輪郭抽出システムが、符号化装置及び復号化装置の双方を備える例を説明したが、開示の技術はこれに限られるものではなく、運用の形態に応じてその構成は任意に変更することが可能である。以下、例を挙げて説明する。
【０１１５】
まず、開示の技術は、予測モードを動的に選択して符号化された符号化データと、この符号化データに含まれるヘッダ情報を解析することにより対象物の輪郭を抽出する構成とがあれば、実現することができる。言い換えると、符号化装置を備えることは必須ではなく、開示の技術は、少なくとも、符号化データの入力を受け付けて輪郭を抽出する輪郭抽出装置があれば、実現することができる。また、少なくとも輪郭を抽出することができればよいので、いわゆる公知の技術による復号化の機能を備えることも必須ではない。すなわち、輪郭抽出処理を行う輪郭抽出装置は、少なくとも、符号化データに含まれるヘッダ情報を解析し、対応するマクロブロックの画像上の位置から輪郭に相当する領域を特定する機能を備えればよい。また、例えば、符号化処理の機能と輪郭抽出処理の機能とが物理的に同一の１つの筐体に備えられていてもよい。
【０１１６】
さらに、上記実施例１〜４においては、輪郭抽出システムが、輪郭画像を出力部に表示したり、輪郭画像と復号化画像との重畳画像を出力部に出力する手法を例示したが、開示の技術はこれに限られるものではない。例えば、特定した領域に関する情報を輪郭画像として画像化することは必須ではなく、単に記憶部に保持してもよい。必要に応じてこの情報を画像化してもよいし、画像化することなくデータを直接解析することにより何らかの情報を得てもよい。なお、輪郭抽出処理の機能を備える装置に、インターネット等のネットワーク接続用の高速Ｉ／Ｆを付帯することで、抽出した輪郭に関する情報をリアルタイムに伝送することが可能である。
【０１１７】
［監視システムへの適用］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、実施例４において説明したように、監視システムに適用することが可能である。図１６は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。例えば、図１６に例示するように、開示の技術は、監視の現場に符号化装置を設置し、監視の現場とネットワークを介して接続された本部に復号化装置を設置することにより、監視システムに適用することもできる。なお、図１６において、説明の便宜上監視の現場は１つであるが、例えば、複数の監視の現場を本部が集中的に管理する構成であってもよい。
【０１１８】
また、図１６には例示していないが、例えば、監視の現場に設置された装置にも輪郭抽出の機能を装備させ、監視の現場と本部とで、輪郭抽出処理の機能分担を行ってもよい。例えば、監視の現場においては、輪郭抽出の結果を短時間の単位で分析し、主に、突然の動きや運動量の大きな動き等の特異な動きを検出し、アラーム情報の通知やアクションを行う。一方、本部においては、輪郭抽出の結果を長時間の単位で分析し、問題となるような動きを蓄積データから抜き出す処理を行う。このように、連携動作を行ってもよい。
【０１１９】
［機器制御］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、機器制御に適用することが可能である。例えば、装置は、動きのある対象物として機器の外観を監視し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。例えば、ロボットの動作品質管理等に適用することができる。
【０１２０】
［身体動き、スポーツ解析］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、スポーツの解析等に適用することが可能である。例えば、装置は、好調時の身体の動きを予め記憶しておき、身体の動きを監視し、監視により得られた身体の動きと好調時の身体の動きとを比較することにより、問題点を定量的に分析する。
【０１２１】
［好意度や好感度の判定］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、好意度や好感度の判定等に適用することが可能である。例えば、装置は、群衆やグループ等の集合的な振る舞いを検知、解析し、滞在時間や人々の眼球の動き等を解析することで、例えば、表示中の情報に対する集中度を定量的に分析する。
【０１２２】
［その他］
また、上記実施例１及び実施例２において検出した対象物の動きをより詳細に解析することも可能である。例えば、対象物の動きを、背景や相対的な手足の長さなどからパターン化し、対象物が人間であるか動物であるかを判定する。また、例えば、対象物の動きを、輪郭の特定に用いられたマクロブロックの動きベクトルが一定値であるか否かに応じて、対象物が、人間であるか電車・車両等であるかを判定する。
【０１２３】
［画像データの種類］
また、開示の技術が扱う画像データの種類は、上記実施例１及び実施例２において例示したＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【０１２４】
［符号化プログラム及び復号化プログラム］
また、上記実施例において説明した符号化方法及び輪郭抽出方法は、符号化プログラムによる情報処理又は輪郭抽出プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【０１２５】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、開示の技術に係る符号化プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した動きベクトル検出部１６０と同様の処理を実行する手順と、動き補償部１７０と同様の処理を実行する手順と、符号化モード判定部１１０と同様の処理を実行する手順と、符号化部１２０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【０１２６】
また、開示の技術に係る輪郭抽出プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明したヘッダ情報読出部２１１と同様の処理を実行する手順と、輪郭領域特定部２１２と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。そして、ＣＰＵが、ハードディスクに記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭに読み出し、上記手順を実行する。
【０１２７】
なお、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【０１２８】
１０、２０、３０、４０ 輪郭抽出システム
１００ 符号化装置
２００ 復号化装置
２１０ 輪郭抽出部
２１１ ヘッダ情報読出部
２１２ 輪郭領域特定部
２１３ 輪郭画像生成部
２１４ 輪郭画像表示部
２１５ 輪郭抽出補完部
２７０ 選択部
２８０ 出力部
３００ 復号化装置
３１０ 輪郭抽出部
３１３ 輪郭画像生成部
３１３ａ 対象物判定部
３１３ｂ 加工部
３７０ 選択部
４００ 復号化装置
４９０ 警告部
【技術分野】
【０００１】
本発明の実施形態は、輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムに関する。
【背景技術】
【０００２】
近年、世界中には膨大な数の監視カメラが設置され、動きのある対象物を撮影した動画像が日々記録されている。もっとも、記録された動画像の解析が人手によって行われる場合、その解析内容には限界がある。このため、従来、様々な画像解析技術が提案されている。例えば、動きベクトルが検出された画像領域を移動領域とみなして動きのある対象物を抽出する技術や、この技術を前提に更にノイズの除去を行う技術等が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５０１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、動きのある対象物のプライバシーが保護されているとはいえない場合があった。例えば、世界中に設置されている監視カメラは、不特定の人を撮影する可能性があるが、監視目的といってもプライバシーの観点から撮影可能なエリアは限定させるべきである。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物のプライバシーを保護することが可能な輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る輪郭抽出システムは、符号化装置と、復号化装置とを有する。符号化装置は、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部とを備え、復号化装置は、前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域の画像データを他の画像データに加工する加工部とを備えることを特徴とする。
【０００７】
また、実施形態に係る輪郭抽出装置は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工部とを備えることを特徴とする。
【０００８】
また、実施形態に係る輪郭抽出プログラムは、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と、前記特定手順によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定手順と、前記対象物判定手順によって前記対象物が示す物体を判定された場合に、前記特定手順によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
実施形態に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムによれば、動きのある対象物のプライバシーを保護することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る輪郭抽出システムの概要を説明するための図である。
【図２】図２は、実施例１に係る符号化装置の構成を示すブロック図である。
【図３】図３は、実施例１に係る符号化処理手順を示すフローチャートである。
【図４】図４は、実施例１に係る復号化装置の構成を示すブロック図である。
【図５】図５は、輪郭に相当する領域の特定を説明するための図である。
【図６】図６は、実施例１に係る輪郭画像の一例を示す図である。
【図７】図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。
【図８】図８は、実施例２に係る復号化装置の構成を示すブロック図である。
【図９】図９は、実施例３に係る復号化装置の構成を示すブロック図である。
【図１０】図１０は、実施例３における対象物判定部による対象物判定処理の一例を示す図である。
【図１１】図１１は、実施例３における加工部によって加工された輪郭画像の一例を示す図である。
【図１２】図１２は、実施例３における選択部による重畳画像生成処理の一例を示す図である。
【図１３】図１３は、実施例３における選択部による重畳画像生成処理の一例を示す図である。
【図１４】図１４は、実施例３に係る画像生成処理手順を示すフローチャートである。
【図１５】図１５は、実施例４に係る復号化装置の構成を示すブロック図である。
【図１６】図１６は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る輪郭抽出システム１０の概要］
図１は、実施例１に係る輪郭抽出システム１０の概要を説明するための図である。図１に例示するように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備え、符号化装置１００において符号化処理が実行され、復号化装置２００において復号化処理及び輪郭抽出処理が実行される構成を採る。
【００１３】
まず、実施例１に係る符号化装置１００において実行される符号化処理の概要を説明する。符号化装置１００は、対象物が描出された画像データの入力を受け付け、受け付けた画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、符号化装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、符号化装置１００は、選択した予測モードに従って画像データを符号化する。
【００１４】
ここで、実施例１に係る符号化装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、符号化装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００１５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００１６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００１７】
さて、図１に戻り、実施例１に係る復号化装置２００において実行される輪郭抽出処理の概要を説明する。復号化装置２００は、符号化装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、復号化装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００１８】
ここで、実施例１に係る復号化装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図１に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００１９】
このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００２０】
［実施例１に係る符号化装置１００の構成］
次に、図２及び図３を用いて、実施例１に係る符号化装置１００の構成を説明する。図２は、実施例１に係る符号化装置１００の構成を示すブロック図である。図２に例示するように、実施例１に係る符号化装置１００は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。
【００２１】
ここで、実施例１に係る符号化装置１００は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１００は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００２２】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００２３】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００２４】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００２５】
さて、ここで、実施例１に係る符号化装置１００は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００２６】
この点について説明する。まず、実施例１に係る符号化装置１００は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００２７】
ここで、実施例１に係る動き補償部１７０は、図２に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００２８】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００２９】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３０】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３１】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００３２】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００３３】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００３４】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００３５】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００３６】
また、実施例１に係る符号化装置１００として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００３７】
次に、図３は、実施例１に係る符号化処理手順を示すフローチャートである。なお、図３においては、主に実施例１に係る符号化装置１００に特有の符号化処理手順を示す。具体的には、まず、動き補償部１７０は、Ｉｎｔｒａ符号化部１７０ａによる符号化処理、フレーム予測モード符号化部１７０ｂによる符号化処理、及びフィールド予測モード符号化部１７０ｃによる符号化処理を並行して行う（ステップＳ１０１）。
【００３８】
次に、符号化モード判定部１１０は、３つの符号化量それぞれを比較し（ステップＳ１０２）、比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、予め記憶している閾値以上に、フレーム予測モード符号化部１７０ｂから出力された符号化量より小さいか否かを判定する（ステップＳ１０３）。そして、符号化量の差が閾値より小さい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上に小さい場合ではないと判定した場合には（ステップＳ１０３肯定）、符号化モード判定部１１０は、予測モードとしてフレーム予測モードを選択する（ステップＳ１０４）。
【００３９】
一方、符号化量の差が閾値より大きい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さい場合であると判定した場合には（ステップＳ１０３否定）、符号化モード判定部１１０は、予測モードとしてフィールド予測モードを選択する（ステップＳ１０５）。
【００４０】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４１】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る輪郭抽出システム１０は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００４２】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、復号化装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００４３】
この点、実施例１に係る符号化装置１００は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、復号化装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００４４】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００４５】
［実施例１に係る復号化装置２００の構成］
次に、図４及び図５を用いて、実施例１に係る復号化装置２００の構成を説明する。図４は、実施例１に係る復号化装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る復号化装置２００は、特に、輪郭抽出部２１０と、可変長復号−逆スキャン部２２０と、逆量子化−逆ＤＣＴ部２３０と、動き補償部２４０と、フレームメモリ２５０と、復号化画像表示部２６０とを備える。なお、実施例１に係る復号化装置２００は、図４に例示するように外部の出力部２８０に接続し、復号化画像や輪郭抽出部２１０において生成された輪郭画像を表示する構成を採る。選択部２７０は、出力部２８０に表示する画像の選択を受け付け、受け付けた選択に従って出力部２８０に画像を表示する。例えば、選択部２７０は、復号化画像及び輪郭画像の双方を重畳表示したり、いずれか一方の画像のみを表示する。
【００４６】
ここで、実施例１に係る復号化装置２００は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化装置２００は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２２０及び逆量子化−逆ＤＣＴ部２３０が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４０が、復号化された動きベクトルとフレームメモリ２５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２５０に格納する。そして、復号化画像表示部２６０が、フレームメモリ２５０に格納された復号化画像を、出力部２８０に表示する。
【００４７】
さて、ここで、実施例１に係る復号化装置２００は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２１０を備え、この輪郭抽出部２１０が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２１０は、図４に例示するように、ヘッダ情報読出部２１１と、輪郭領域特定部２１２と、輪郭画像生成部２１３と、輪郭画像表示部２１４とを有する。
【００４８】
ヘッダ情報読出部２１１は、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２１１は、例えば可変長復号−逆スキャン部２２０から、可変長復号−逆スキャン部２２０において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２１１は、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２１１は、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２１１は、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２１２に送る。
【００４９】
輪郭領域特定部２１２は、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２１２は、ヘッダ情報読出部２１１からピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２１２は、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２１３に送る。
【００５０】
図５は、輪郭に相当する領域の特定を説明するための図である。なお、図５は、領域特定の概念を例示するものである。図５に例示する『人』は、動きのある対象物を意味する。また、図５に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２１２は、図５に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００５１】
ここで、実施例１に係る輪郭領域特定部２１２が、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る符号化装置１００は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２１２は、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００５２】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２１２は、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００５３】
輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２１３は、輪郭領域特定部２１２から対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成し、生成した輪郭画像をフレームメモリ２５０に格納する。
【００５４】
図６は、実施例１に係る輪郭画像の一例を示す図である。図６に例示するように、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図６の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００５５】
輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に表示する。具体的には、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像をフレームメモリ２５０から取得し、取得した輪郭画像を出力部２８０に表示する。なお、実施例１においては、輪郭が可視化された輪郭画像のみを表示する手法を説明したが、開示の技術はこれに限られるものではなく、例えば、復号化画像と輪郭画像とを重畳させて表示してもよい。
【００５６】
図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。なお、図７においては、主に実施例１に係る復号化装置２００に特有の輪郭抽出処理手順を示す。具体的には、まず、ヘッダ情報読出部２１１が、可変長復号−逆スキャン部２２０からヘッダ情報を取得するまで待機し（ステップＳ２０１）、ヘッダ情報を取得すると（ステップＳ２０１肯定）、ヘッダ情報を解析し、ピクチャ構造情報及び予測モード情報を読み出す（ステップＳ２０２）。
【００５７】
次に、輪郭領域特定部２１２が、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であるか否かを判定する（ステップＳ２０３）。
【００５８】
そして、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であると判定すると（ステップＳ２０３肯定）、輪郭領域特定部２１２は、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する（ステップＳ２０４）。一方、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合でないと判定すると（ステップＳ２０３否定）、輪郭領域特定部２１２は、輪郭に相当する領域の特定を行うことなく処理を終了する。
【００５９】
なお、開示の技術は、上述した構成や処理手順に限られるものではない。例えば、符号化装置１００が予測モードを動的に選択する手法として、「フレーム予測モード用」の動きベクトルが示す動き速度と閾値とを比較する手法を例示したが、この手法に限られるものではなく、動き速度と閾値との比較結果に従って予測モードを動的に選択する手法であれば、他の手法でもよい。また、例えば、復号化装置２００の輪郭抽出部２１０が、可変長復号−逆スキャン部２２０からヘッダ情報を取得する手法を例示したが、この手法に限られるものではなく、例えば逆量子化−逆ＤＣＴ部２３０から取得する等、他の部やタイミングで取得する手法であってもよい。
【００６０】
［実施例１の効果］
上述したように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備える。符号化装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、復号化装置２００において、ヘッダ情報読出部２１１が、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２１２が、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００６１】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る輪郭抽出システム１０によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【００６２】
また、実施例１に係る復号化装置２００は、輪郭画像生成部２１３及び輪郭画像表示部２１４をさらに備える。輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した輪郭画像を生成する。また、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に出力する。このようなことから、実施例１に係る復号化装置２００によれば、輪郭のみが現わされた画像を出力することが可能になり、プライバシー等の観点からも有効な画像データを提供することが可能になる。なお、輪郭画像生成部２１３及び輪郭画像表示部２１４は必ずしも必須の構成ではない。
【実施例２】
【００６３】
次に、実施例２に係る輪郭抽出システム２０を説明する。実施例２に係る輪郭抽出システム２０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００及び復号化装置２００を備えるが、復号化装置２００において、輪郭抽出処理を補完する機能が更に追加された点で、実施例１に係る輪郭抽出システム１０と異なる。
【００６４】
図８は、実施例２に係る復号化装置２００の構成を示すブロック図である。図８に例示するように、実施例２に係る復号化装置２００は、輪郭抽出部２１０に、輪郭抽出補完部２１５をさらに備える。輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２１５は、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２１５は、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２１３に送る。
【００６５】
実施例２に係る輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果のみならず、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２１２による処理も、あるいは、輪郭抽出補完部２１５による処理も、必ずしも最適な結果とならない可能性がある。この点、実施例２に係る輪郭抽出システム２０によれば、輪郭領域特定部２１２及び輪郭抽出補完部２１５それぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【００６６】
例えば、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いる。
【実施例３】
【００６７】
次に、実施例３に係る輪郭抽出システム３０を説明する。実施例３に係る輪郭抽出システム３０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００を有するが、復号化装置２００と異なる処理を行う復号化装置３００を有する。かかる復号化装置３００は、輪郭抽出処理が行われた対象物に対してプライバシー保護処理を施す点で、実施例１に係る復号化装置２００と異なる。以下に、このような実施例３に係る復号化装置３００について詳細に説明する。
【００６８】
図９は、実施例３に係る復号化装置３００の構成を示すブロック図である。図９に例示するように、実施例３に係る復号化装置３００は、輪郭抽出部３１０と、選択部３７０とを有する。輪郭抽出部３１０は、輪郭画像生成部３１３を有する。かかる輪郭画像生成部３１３は、実施例１と同様に、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像）を生成する。さらに、実施例３における輪郭画像生成部３１３は、図９に例示するように、対象物判定部３１３ａと、加工部３１３ｂとを有する。
【００６９】
対象物判定部３１３ａは、輪郭画像生成部３１３によって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定する。具体的には、対象物判定部３１３ａは、輪郭画像に現されている輪郭に基づいて、かかる輪郭領域によって示される対象物が人、動物又は乗物等であるか否かを判定する。
【００７０】
例えば、対象物判定部３１３ａは、人、動物又は乗物等を示す形状のテンプレート（以下、「形状テンプレート」と表記する場合がある）を予め保持する。そして、対象物判定部３１３ａは、対象物の輪郭と形状テンプレートとをパターンマッチング法などにより比較することにより、対象物が人、動物又は乗物等であるか否かを判定する。このとき、対象物判定部３１３ａは、対象物の輪郭自体と形状テンプレートとを比較してもよいし、輪郭に囲まれた領域（以下、「輪郭領域」と表記する場合がある）の内部に、かかる輪郭領域を線によって表す中央線を描き、かかる中央線と形状テンプレートとを比較してもよい。
【００７１】
ここで、図１０を用いて、対象物判定部３１３ａによる対象物判定処理について説明する。図１０は、実施例３における対象物判定部３１３ａによる対象物判定処理の一例を示す図である。なお、図１０では、対象物判定部３１３ａが、輪郭領域内部の中央線と形状テンプレートとを比較する例について説明する。
【００７２】
図１０に示した例のように、対象物判定部３１３ａは、対象物の輪郭上の任意の点（例えば、図１０中の点Ｐ）を、かかる点から輪郭領域Ｒ１１内部への法線方向に所定の長さだけ移動させる。対象物判定部３１３ａは、輪郭上の複数の点について同様の処理を行うことで、図１０に例示した輪郭よりも全体的に小さい輪郭を形成する。そして、対象物判定部３１３ａは、輪郭上の複数の点について輪郭領域Ｒ１１内部へ移動させる処理を繰り返し行うことで、図１０に例示したように、輪郭領域Ｒ１１に中央線Ｌ１１を描く。対象物判定部３１３ａは、かかる中央線Ｌ１１と形状テンプレートとを比較し、輪郭領域Ｒ１１によって示される対象物が人、動物又は乗物等であるか否かを判定する。図１０に示した例では、対象物判定部３１３ａは、輪郭領域Ｒ１１によって示される対象物が人であると判定する。
【００７３】
なお、対象物判定部３１３ａは、輪郭（輪郭領域内部の中央線を含む）と形状テンプレートとの比較にあたり、例えば、折れ曲がっている部分（関節に相当）の数や、枝分かれしている部分の数や、各領域の長さの比率等を比較する。例えば、対象物が人である場合には、かかる対象物は、概ねヒトデのような形状となる。したがって、対象物判定部３１３ａは、輪郭の折れ曲がっている部分の数や枝分かれしている部分の数がヒトデと類似する場合には、対象物が人であると判定する。
【００７４】
図９の説明に戻って、加工部３１３ｂは、対象物判定部３１３ａによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで、輪郭画像を加工する。例えば、加工部３１３ｂは、対象物判定部３１３ａによって輪郭領域によって示される対象物が人であると判定された場合には、輪郭領域に一般的な人を表す画像データを配置する。また、例えば、加工部３１３ｂは、対象物判定部３１３ａによって輪郭領域によって示される対象物が動物や乗物等であると判定された場合には、輪郭領域に一般的な動物や乗物等を示す画像データを配置する。ここで、加工部３１３ｂは、人、動物又は乗物等であることを想起することができる代替用画像を予め保持し、これらの代替用画像を輪郭領域に配置することで、輪郭画像を加工する。この代替用画像は、例えば、所定の図形の組合せや、人、動物又は乗物等を示すアニメーション画像などである。
【００７５】
図１１は、実施例３における加工部３１３ｂによって加工された輪郭画像の一例を示す図である。なお、図１１に示した輪郭画像Ｇ１２は、加工部３１３ｂによって図１０に例示した輪郭画像Ｇ１１が加工されたものとする。上記の通り、対象物判定部３１３ａは、図１０に例示した輪郭によって示される対象物を人であると判定する。したがって、加工部３１３ｂは、図１１に例示するように、輪郭領域Ｒ１１に人であることを想起することができる代替用画像を配置する。加工部３１３ｂは、このようにして輪郭画像Ｇ１１を加工することで図１１に例示した輪郭画像Ｇ１２を生成する。なお、図１１に示した例では、加工部３１３ｂは、輪郭領域Ｒ１１を折れ曲がっている部分で分断し、分断後の領域毎に、かかる領域の大きさに対応する図形（円形や楕円形や長方形等）を配置している。具体的には、加工部３１３ｂは、円形や楕円形や長方形等の各図形を保持しており、分断後の領域と保持している各図形とをパターンマッチング法などにより比較し、マッチする図形を分断後の領域に配置する。
【００７６】
図９の説明に戻って、選択部３７０は、輪郭画像表示部２１４から加工部３１３ｂにより加工された輪郭画像を受け付けるとともに、復号化画像表示部２６０から復号化画像を受け付け、受け付けた輪郭画像又は復号化画像のいずれか一方の画像を出力部２８０に表示したり、双方の画像を重畳した重畳画像を出力部２８０に表示したりする。
【００７７】
例えば、実施例３に係る復号化装置３００が各管理者等からログインされるシステムであるものとする。かかる場合に、選択部３７０は、例えば、全ての画像を閲覧することが許可されている管理者等によってログインされている場合には、復号化画像表示部２６０から受け付けた復号化画像を出力部２８０に表示する。また、例えば、選択部３７０は、画像に写っている人、動物（ペット）又は乗物のナンバー等を閲覧することが許可されていない管理者等によってログインされている場合には、輪郭画像と復号化画像とを重畳した重畳画像を出力部２８０に表示する。
【００７８】
ここで、図１２を用いて、選択部３７０による重畳画像の生成処理について説明する。図１２は、実施例３における選択部３７０による重畳画像生成処理の一例を示す図である。図１２に示した例において、選択部３７０は、復号化画像表示部２６０から復号化画像Ｇ１０を受け付けるとともに、輪郭画像表示部２１４から輪郭画像Ｇ１２を受け付ける。このとき、選択部３７０は、復号化画像Ｇ１０から輪郭領域を取り除くことにより、背景画像Ｇ１３を生成する。例えば、選択部３７０は、復号化画像Ｇ１０における輪郭領域内の全画素を所定の画素（例えば、『白』を示す画素値「１」等）にすることで、背景画像Ｇ１３を生成する。そして、選択部３７０は、図１２に例示するように、背景画像Ｇ１３に輪郭画像Ｇ１２を重畳することで、重畳画像Ｇ１４を生成する。選択部３７０は、このようにして生成した重畳画像Ｇ１４を出力部２８０に表示する。
【００７９】
これにより、選択部３７０は、人等のプライバシーが保護された重畳画像を表示することができる。さらに、加工部３１３ｂが、人、動物又は乗物等であることを想起することができる代替用画像を用いて輪郭画像を加工するので、選択部３７０は、加工部３１３ｂによって加工された輪郭画像から生成した重畳画像を表示する場合であっても、復号化画像に描出されていた対象物と異なる対象物を想起させるような画像を表示することはない。すなわち、実施例３に係る復号化装置３００は、復号化画像に描出されていた対象物と同一の人、動物又は乗物等であることを想起させることができるとともに、かかる対象物のプライバシーを保護することができる。
【００８０】
なお、上記の輪郭画像生成部３１３によって特定される輪郭領域と、加工部３１３ｂによって用いられる代替用画像が占める領域とは、必ずしも一致するとは限らない。すなわち、図１２に示した例において、選択部３７０によって復号化画像Ｇ１０から取り除かれる輪郭領域（背景画像Ｇ１３を参照）は、加工部３１３ｂによって用いられる代替用画像の領域（輪郭画像Ｇ１２を参照）と一致するとは限らない。このため、対象物を示す輪郭領域が代替用画像の領域よりも大きい場合には、重畳画像Ｇ１４の一部分は、所定の画素（例えば、『白』を示す画素値「１」等）となり、対象物も背景も描出されない可能性がある。
【００８１】
そこで、実施例３における加工部３１３ｂは、輪郭領域よりも代替用画像の占める領域が大きくなるように代替用画像を拡大してもよい。具体的には、加工部３１３ｂは、輪郭領域と代替用画像とを比較し、代替用画像が対象物の輪郭の全てを覆うことができるように代替用画像を拡大する。これにより、加工部３１３ｂは、重畳画像Ｇ１４の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８２】
また、重畳画像の一部分に対象物及び背景が描出されないことを防止するために、選択部３７０が、重畳画像を生成する際に、複数の復号化画像から背景画像を補完してもよい。この点について、図１３を用いて具体的に説明する。図１３は、実施例３における選択部３７０による重畳画像生成処理の一例を示す図である。図１３に示した例において、時間ｔ＝１は、時間ｔ＝２よりも過去であるものとする。
【００８３】
選択部３７０は、時間ｔ＝２において受け付けた復号化画像Ｇ２０から背景画像を生成する場合に、過去の復号化画像Ｇ１０も用いる。具体的には、選択部３７０は、時間ｔ＝２に対応する復号化画像Ｇ２０から対象物の輪郭領域を取り除くことにより背景画像Ｇ２３を生成し、時間ｔ＝２よりも過去である時間ｔ＝１に受け付けた復号化画像Ｇ１０から対象物の輪郭領域を取り除くことにより背景画像Ｇ１３を生成する。そして、選択部３７０は、背景画像Ｇ２３のうち、輪郭領域（例えば、画素値を「１」とした領域）に背景画像Ｇ１３の画素を配置することにより、背景画像Ｇ３０を生成する。具体的には、選択部３７０は、背景画像Ｇ２３の輪郭領域に、かかる輪郭領域に対応する位置における背景画像Ｇ１３の画素を配置する。このように、選択部３７０は、対象物が移動することを利用して、時相の異なる複数の復号化画像から、画素値「１」等に置き換えられた領域を含まない背景画像を生成する。選択部３７０は、このような背景画像Ｇ３０に、加工部３１３ｂによって加工された輪郭画像を重畳させることにより、重畳画像の一部分に対象物及び背景が描出されなくなることを防止できる。
【００８４】
次に、図１４を用いて、実施例３に係る復号化装置３００による処理の手順について説明する。図１４は、実施例３に係る画像生成処理手順を示すフローチャートである。なお、図１４においては、輪郭領域特定部２１２によって輪郭に相当する領域が特定されているものとする。
【００８５】
輪郭画像生成部３１３は、輪郭領域特定部２１２によって対象物の輪郭に相当する領域が特定された場合に、かかる輪郭の領域に基づいて対象物の輪郭画像を生成する（ステップＳ３０１）。続いて、対象物判定部３１３ａは、輪郭画像生成部３１３によって生成された輪郭画像に基づいて、対象物が人、動物又は乗物等であるか否かを判定する（ステップＳ３０２）。
【００８６】
続いて、加工部３１３ｂは、対象物判定部３１３ａによって対象物が人等であると判定された場合に（ステップＳ３０２肯定）、代替用画像を用いて、対象物判定部３１３ａによって生成された輪郭画像を加工する（ステップＳ３０３）。このとき、加工部３１３ｂは、対象物判定部３１３ａによって判定された対象物の種類（人、動物又は乗り物等）に対応する代替用画像を用いる。
【００８７】
続いて、選択部３７０は、復号化画像表示部２６０によって生成された復号化画像から対象物の輪郭領域を取り除くことにより、背景画像を生成する（ステップＳ３０４）。そして、選択部３７０は、背景画像に対して、加工部３１３ｂによって加工された輪郭画像を重畳することで、重畳画像を生成する（ステップＳ３０５）。
【００８８】
上述してきたように、実施例３に係る復号化装置３００は、対象物判定部３１３ａが、輪郭画像生成部３１３によって生成された輪郭画像を用いて、対象物が所定の物体であるか否かを判定し、加工部３１３ｂが、対象物判定部３１３ａによる判定結果に基づいて、対象物の輪郭領域に、かかる対象物を示す画像データ以外の他の画像データを配置することで輪郭画像を加工する。これにより、実施例３に係る復号化装置３００は、動きのある対象物のプライバシーを保護することができる。
【００８９】
なお、上記実施例３では、加工部３１３ｂが、図１１に例示したような代替用画像を用いて輪郭画像を加工する例を示した。しかし、加工部３１３ｂによる加工処理は、代替用画像を用いた例に限られない。以下に、加工部３１３ｂによる加工処理についていくつか例を挙げて説明する。
【００９０】
例えば、加工部３１３ｂは、対象物の輪郭領域に所定の画素（例えば、『黒』を示す画素値「０」等）を配置することで、特定の人、動物又は乗物等を特定されないようにしてもよい。このとき、加工部３１３ｂは、対象物の種類に応じて輪郭領域に配置する画素値を変更してもよい。例えば、加工部３１３ｂは、対象物が人である場合には、輪郭領域に『黒』を示す画素値を配置し、対象物が動物である場合には、輪郭領域に『青』を示す画素を配置してもよい。
【００９１】
また、加工部３１３ｂは、対象物の輪郭領域について二値化処理を施してもよい。具体的には、加工部３１３ｂは、輪郭領域に含まれる各画素値について、所定の閾値以上であるか否かを判定する。そして、加工部３１３ｂは、画素値が所定の閾値以上である領域については画素値を「１」とし、画素値が所定の閾値よりも小さい領域については画素値を「０」とする。これにより、加工部３１３ｂは、対象物を２種類の画素値によって現すことが可能になり、この結果、対象物が何であるかを想起しやすくすることができる。
【００９２】
また、加工部３１３ｂは、対象物の輪郭領域に含まれる画素の配置を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。具体的には、加工部３１３ｂは、輪郭領域を所定のマクロブロック（例えば、横１６×縦１６画素）毎に分割し、マクロブロック内で画素の位置を変更してもよい。例えば、加工部３１３ｂは、輪郭領域をマクロブロックＭ１〜Ｍ１０に分割した場合に、マクロブロックＭ１に含まれる各画素の配置をマクロブロックＭ１内で変更する。加工部３１３ｂは、同様の処理をマクロブロックＭ２〜Ｍ１０についても行う。なお、加工部３１３ｂによる画素の配置変更処理は、任意の手法を適用することができる。例えば、加工部３１３ｂは、横方向に隣接する２個の画素の位置を変更してもよいし、縦方向に隣接する２個の画素の位置を変更してもよい。また、例えば、加工部３１３ｂは、画素の配置を変更するのではなく、マクロブロック（マクロブロックＭ１等）内の全画素値の平均値を算出し、算出した画素値をマクロブロックに配置してもよい。
【００９３】
また、加工部３１３ｂは、対象物の輪郭領域に含まれる画素値を変更することで、特定の人、動物又は乗物等を特定されないようにしてもよい。すなわち、加工部３１３ｂは、輪郭領域に含まれる画素値を変更することで、対象物の色合いを変更する。例えば、加工部３１３ｂは、対象領域が人である場合に、対象領域のうち顔を示す領域、胴体を示す領域、手足を示す領域を特定する。そして、加工部３１３ｂは、顔を示す領域については、全てを同一画素値に置き換え、胴体を示す領域や手足を示す領域については、かかる領域の画素値に所定の画素値を加算又は減算する。これにより、加工部３１３ｂは、対象物の顔が特定されず、かつ、対象物の服や皮膚の色を変更することができる。この結果、加工部３１３ｂは、対象物が所定の人物であると特定されることを防止できるので、対象物のプライバシーを保護することができる。
【００９４】
また、例えば、加工部３１３ｂは、顔を示す領域については、上記例のように画素の配置を変更してもよい。これにより、加工部３１３ｂは、対象物の顔をやや異なる顔に変更することができ、対象物が所定の人物であると特定されることを防止できる。また、例えば、加工部３１３ｂは、顔を示す領域のうち、眉毛、目、鼻、口等を示す領域を特定し、特定した眉毛、目、鼻、口等の位置や変更してもよい。例えば、加工部３１３ｂは、眉毛を頭頂部方向に移動させることで額を狭くしたり、目や鼻や口の大きさを変更したりする。これにより、加工部３１３ｂは、対象物が所定の人物であると特定されることを防止できる。
【実施例４】
【００９５】
次に、実施例４に係る輪郭抽出システム４０を説明する。実施例４に係る輪郭抽出システム４０は、監視システムに適用され、実施例３に係る輪郭抽出システム３０と同様、符号化装置１００を有するが、復号化装置３００と異なる処理を行う復号化装置４００を有する。かかる復号化装置４００は、輪郭抽出処理が行われた対象物の移動量に基づいて、監視者等に警告を通知する点で、実施例３に係る復号化装置３００と異なる。以下に、このような実施例４に係る復号化装置４００について詳細に説明する。
【００９６】
図１５は、実施例４に係る復号化装置４００の構成を示すブロック図である。図１５に例示するように、実施例４に係る復号化装置４００は、警告部４９０をさらに有する。警告部４９０は、輪郭画像生成部３１３によって生成された輪郭画像を取得し、かかる輪郭画像に現されている輪郭の移動量を監視する。そして、警告部４９０は、輪郭の移動量が所定の閾値以上である場合や、輪郭の移動量が所定の閾値以下である場合に、監視者等に警告を通知する。
【００９７】
このような警告部４９０が警告を通知する条件は、実施例４に係る輪郭抽出システム４０が適用されるシステムによって異なる。以下に、輪郭抽出システム４０が適用されるいくつかのシステムと、警告部４９０による処理の一例について説明する。
【００９８】
まず、実施例４に係る輪郭抽出システム４０が、老人や患者等を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、例えば、老人が居住する部屋や、患者が入院している病室等に設置され、老人や患者等を撮影する。そして、輪郭抽出システム４０の符号化装置１００は、監視カメラから送信される画像データに対して、実施例１〜３に示した各種処理を行う。また、復号化装置４００は、符号化装置１００から送信される符号化データを用いて、対象物である老人や患者の輪郭を適切に抽出する。
【００９９】
ここで、復号化装置４００の警告部４９０は、輪郭画像生成部３１３によって輪郭画像が生成されるたびに、かかる輪郭画像を取得する。そして、警告部４９０は、撮影時刻の異なる画像データから生成された輪郭画像内の輪郭を比較することにより、輪郭間の距離を求める。このとき、警告部４９０は、所定時間（例えば、１時間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、算出した移動量が所定の閾値以下である場合に、警告を通知する。これは、老人や患者等が数時間も移動せずに停止している場合には、老人や患者等に何かしらの異変が発生したと考えられるからである。
【０１００】
なお、警告部４９０は、上記例において、所定の時間帯についてのみ警告の通知処理を行ってもよい。例えば、就寝中の老人や患者はほとんど移動しないと考えられるので、警告部４９０は、老人や患者が寝ていると考えられる時間帯については警告の通知処理を行わずに、老人や患者が起床していると考えられる時間帯のみ警告の通知処理を行ってもよい。また、例えば、就寝中の老人や患者が激しく移動した場合には、何かしらの異変が発生したとも考えられる。したがって、警告部４９０は、老人や患者が寝ていると考えられる時間帯については、老人や患者等の移動量が所定の閾値以上である場合に、警告を通知してもよい。
【０１０１】
このように、輪郭抽出システム４０は、老人や患者等を監視する監視システムに適用されることで、老人や患者等の異変を適切に検出することができる。なお、老人や患者等は、私生活を監視される監視カメラが設置されることに抵抗を感じる可能性がある。しかし、輪郭抽出システム４０の復号化装置４００は、実施例３において説明したように、対象物を代替用画像等に置き換えるので、老人や患者等のプライバシーを保護することができる。この結果、輪郭抽出システム４０は、老人や患者等に抵抗感を与えることなく、上記のような監視システムに適用することができる。
【０１０２】
続いて、実施例４に係る輪郭抽出システム４０が、エレベータや電車やタクシー等の不特定の人に利用される乗物等の内部を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、エレベータ内や電車内やタクシー内等に設置され、エレベータ等の利用者を撮影する。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより輪郭間の距離を求め、所定時間（例えば、１分間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、利用者の移動量が所定の閾値以上である場合に、警告を通知する。これは、一般的に、エレベータや電車やタクシーでは利用者が激しく移動することがなく、利用者が激しく移動した場合には、エレベータ内等で何かしらの異変が発生したと考えられるからである。
【０１０３】
このように、輪郭抽出システム４０は、乗物内部を監視する監視システムに適用されることで、乗物の利用者の異変を適切に検出することができる。また、輪郭抽出システム４０は、利用者のプライバシーを保護することができるので、利用者に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０４】
続いて、実施例４に係る輪郭抽出システム４０が、落石等を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、崖等を撮影可能な位置に設置される。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより輪郭間の距離を求め、所定時間（例えば、１分間）内における輪郭間の距離の総和を移動量として算出する。そして、警告部４９０は、算出した移動量が所定の閾値以上である場合に、警告を通知する。これは、一般的に、崖等では激しく移動するものがなく、激しく移動する物体が存在する場合には、落石等があったと考えられるからである。
【０１０５】
このように、輪郭抽出システム４０は、崖等を監視する監視システムに適用されることで、落石等を適切に検出することができる。輪郭抽出システム４０は、このような崖を通行する通行人等のプライバシーを保護することができるので、通行人等に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０６】
続いて、実施例４に係る輪郭抽出システム４０が、駐車場を監視する監視システムに適用されるものとする。かかる場合に、監視カメラ等は、駐車スペースを撮影可能な位置にされる。ここで、警告部４９０は、異なる時刻において生成された輪郭画像内の輪郭を比較することにより、車の移動を追従する。これにより、警告部４９０は、駐車スペースに車が駐車しているか否かを検知することができ、この結果、駐車スペースに車が駐車している割合を通知することができる。例えば、警告部４９０は、所定の時間毎に、駐車スペースに車が駐車している割合を通知することができる。
【０１０７】
また、例えば、月極駐車場である場合には、駐車スペースに駐車される車の特徴（大きさ、色等）は予め決められていることが多い。警告部４９０は、駐車スペース毎に駐車される車の特徴情報を保持しておき、駐車スペースに駐車された車の輪郭や色等と、保持しておいた車の特徴とが異なる場合には、他の車が駐車されたと判定し、警告を通知してもよい。輪郭抽出システム４０は、車や乗車している人のプライバシーを保護することができるので、利用者に抵抗感を与えることなく、上記のような監視システムにも適用することができる。
【０１０８】
上記例のように、実施例４における警告部４９０は、動きのある対象物に関する情報を解析することで、防犯監視や防災監視として有効に機能することができる。また、例えば、復号化装置４００が対象物の基準の動きを予め記憶している場合には、警告部４９０は、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出することができ、警告を通知することができる。また、警告部４９０は、対象物単体として、あるいは単体化した複数の対象物として、基準を逸脱する動きを検出した場合に、異常行動（事件もしくは事故）を検出することもできる。
【０１０９】
また、例えば、警告部４９０は、対象物が「静」の状態から「動」の状態へと変化したことを検知することにより、例えば小さな前触れ現象を検知することができる。また、例えば、警告部４９０は、対象物が「動」の状態から「静」の状態へと変化したことを検知することにより、例えば、交通事故の瞬間や因果関係などを明確にすることができる。
【０１１０】
以上のように、実施例４に係る復号化装置４００は、警告部４９０が、輪郭の移動量を算出し、算出した移動量が所定の閾値以上であるか、又は、移動量が所定の閾値以下である場合に、警告を通知する。これにより、実施例４に係る復号化装置４００は、老人や患者、乗物内の利用者等の異変を適切に検出することができる。
【実施例５】
【０１１１】
これまで、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの実施例として実施例１〜４を説明してきたが、開示の技術はこれに限られるものではなく、種々の異なる形態にて実施されてよいものである。実施例５では、開示の技術に係る輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラムの他の実施例について説明する。
【０１１２】
［移動カメラ］
開示の技術に係る輪郭抽出システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【０１１３】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【０１１４】
［システムの構成］
上記実施例１〜４においては、輪郭抽出システムが、符号化装置及び復号化装置の双方を備える例を説明したが、開示の技術はこれに限られるものではなく、運用の形態に応じてその構成は任意に変更することが可能である。以下、例を挙げて説明する。
【０１１５】
まず、開示の技術は、予測モードを動的に選択して符号化された符号化データと、この符号化データに含まれるヘッダ情報を解析することにより対象物の輪郭を抽出する構成とがあれば、実現することができる。言い換えると、符号化装置を備えることは必須ではなく、開示の技術は、少なくとも、符号化データの入力を受け付けて輪郭を抽出する輪郭抽出装置があれば、実現することができる。また、少なくとも輪郭を抽出することができればよいので、いわゆる公知の技術による復号化の機能を備えることも必須ではない。すなわち、輪郭抽出処理を行う輪郭抽出装置は、少なくとも、符号化データに含まれるヘッダ情報を解析し、対応するマクロブロックの画像上の位置から輪郭に相当する領域を特定する機能を備えればよい。また、例えば、符号化処理の機能と輪郭抽出処理の機能とが物理的に同一の１つの筐体に備えられていてもよい。
【０１１６】
さらに、上記実施例１〜４においては、輪郭抽出システムが、輪郭画像を出力部に表示したり、輪郭画像と復号化画像との重畳画像を出力部に出力する手法を例示したが、開示の技術はこれに限られるものではない。例えば、特定した領域に関する情報を輪郭画像として画像化することは必須ではなく、単に記憶部に保持してもよい。必要に応じてこの情報を画像化してもよいし、画像化することなくデータを直接解析することにより何らかの情報を得てもよい。なお、輪郭抽出処理の機能を備える装置に、インターネット等のネットワーク接続用の高速Ｉ／Ｆを付帯することで、抽出した輪郭に関する情報をリアルタイムに伝送することが可能である。
【０１１７】
［監視システムへの適用］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、実施例４において説明したように、監視システムに適用することが可能である。図１６は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。例えば、図１６に例示するように、開示の技術は、監視の現場に符号化装置を設置し、監視の現場とネットワークを介して接続された本部に復号化装置を設置することにより、監視システムに適用することもできる。なお、図１６において、説明の便宜上監視の現場は１つであるが、例えば、複数の監視の現場を本部が集中的に管理する構成であってもよい。
【０１１８】
また、図１６には例示していないが、例えば、監視の現場に設置された装置にも輪郭抽出の機能を装備させ、監視の現場と本部とで、輪郭抽出処理の機能分担を行ってもよい。例えば、監視の現場においては、輪郭抽出の結果を短時間の単位で分析し、主に、突然の動きや運動量の大きな動き等の特異な動きを検出し、アラーム情報の通知やアクションを行う。一方、本部においては、輪郭抽出の結果を長時間の単位で分析し、問題となるような動きを蓄積データから抜き出す処理を行う。このように、連携動作を行ってもよい。
【０１１９】
［機器制御］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、機器制御に適用することが可能である。例えば、装置は、動きのある対象物として機器の外観を監視し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。例えば、ロボットの動作品質管理等に適用することができる。
【０１２０】
［身体動き、スポーツ解析］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、スポーツの解析等に適用することが可能である。例えば、装置は、好調時の身体の動きを予め記憶しておき、身体の動きを監視し、監視により得られた身体の動きと好調時の身体の動きとを比較することにより、問題点を定量的に分析する。
【０１２１】
［好意度や好感度の判定］
また、開示の技術に係る輪郭抽出システム及び輪郭抽出装置は、好意度や好感度の判定等に適用することが可能である。例えば、装置は、群衆やグループ等の集合的な振る舞いを検知、解析し、滞在時間や人々の眼球の動き等を解析することで、例えば、表示中の情報に対する集中度を定量的に分析する。
【０１２２】
［その他］
また、上記実施例１及び実施例２において検出した対象物の動きをより詳細に解析することも可能である。例えば、対象物の動きを、背景や相対的な手足の長さなどからパターン化し、対象物が人間であるか動物であるかを判定する。また、例えば、対象物の動きを、輪郭の特定に用いられたマクロブロックの動きベクトルが一定値であるか否かに応じて、対象物が、人間であるか電車・車両等であるかを判定する。
【０１２３】
［画像データの種類］
また、開示の技術が扱う画像データの種類は、上記実施例１及び実施例２において例示したＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【０１２４】
［符号化プログラム及び復号化プログラム］
また、上記実施例において説明した符号化方法及び輪郭抽出方法は、符号化プログラムによる情報処理又は輪郭抽出プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【０１２５】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、開示の技術に係る符号化プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した動きベクトル検出部１６０と同様の処理を実行する手順と、動き補償部１７０と同様の処理を実行する手順と、符号化モード判定部１１０と同様の処理を実行する手順と、符号化部１２０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【０１２６】
また、開示の技術に係る輪郭抽出プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明したヘッダ情報読出部２１１と同様の処理を実行する手順と、輪郭領域特定部２１２と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。そして、ＣＰＵが、ハードディスクに記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭに読み出し、上記手順を実行する。
【０１２７】
なお、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【０１２８】
１０、２０、３０、４０ 輪郭抽出システム
１００ 符号化装置
２００ 復号化装置
２１０ 輪郭抽出部
２１１ ヘッダ情報読出部
２１２ 輪郭領域特定部
２１３ 輪郭画像生成部
２１４ 輪郭画像表示部
２１５ 輪郭抽出補完部
２７０ 選択部
２８０ 出力部
３００ 復号化装置
３１０ 輪郭抽出部
３１３ 輪郭画像生成部
３１３ａ 対象物判定部
３１３ｂ 加工部
３７０ 選択部
４００ 復号化装置
４９０ 警告部
【特許請求の範囲】
【請求項１】
符号化装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
復号化装置は、
前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、
前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域の画像データを他の画像データに加工する加工部と
を備えたことを特徴とする輪郭抽出システム。
【請求項２】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、
前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工部と
を備えたことを特徴とする輪郭抽出装置。
【請求項３】
前記加工部は、
前記対象物判定部によって判定された前記対象物が示す物体を想起させる画像である代替用画像を前記輪郭領域に配置する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項４】
前記加工部は、
前記輪郭領域内の各画素値に所定の値を加算又は減算する、又は、前記輪郭領域内の各画素値の配置を変更する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項５】
監視者に警告を通知する警告部をさらに備え、
前記検出部は、
異なる時刻に撮影された対象物が描出されている画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出し、
前記特定部は、
各時刻に対応する画像データについて、前記対象物の輪郭に相当する領域を特定し、
前記警告部は、
前記特定部によって特定された各時刻に対応する画像データの輪郭に基づいて、前記対象物の移動量を算出し、該移動量が所定の閾値以上であるか、又は、該移動量が所定の閾値以下である場合に、警告を通知する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項６】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と、
前記特定手順によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定手順と、
前記対象物判定手順によって前記対象物が示す物体を判定された場合に、前記特定手順によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工手順と
をコンピュータに実行させることを特徴とする輪郭抽出プログラム。
【請求項１】
符号化装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
復号化装置は、
前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、
前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域の画像データを他の画像データに加工する加工部と
を備えたことを特徴とする輪郭抽出システム。
【請求項２】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と、
前記特定部によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定部と、
前記対象物判定部によって前記対象物が示す物体を判定された場合に、前記特定部によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工部と
を備えたことを特徴とする輪郭抽出装置。
【請求項３】
前記加工部は、
前記対象物判定部によって判定された前記対象物が示す物体を想起させる画像である代替用画像を前記輪郭領域に配置する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項４】
前記加工部は、
前記輪郭領域内の各画素値に所定の値を加算又は減算する、又は、前記輪郭領域内の各画素値の配置を変更する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項５】
監視者に警告を通知する警告部をさらに備え、
前記検出部は、
異なる時刻に撮影された対象物が描出されている画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出し、
前記特定部は、
各時刻に対応する画像データについて、前記対象物の輪郭に相当する領域を特定し、
前記警告部は、
前記特定部によって特定された各時刻に対応する画像データの輪郭に基づいて、前記対象物の移動量を算出し、該移動量が所定の閾値以上であるか、又は、該移動量が所定の閾値以下である場合に、警告を通知する
ことを特徴とする請求項２に記載の輪郭抽出装置。
【請求項６】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と、
前記特定手順によって特定された輪郭に相当する領域に基づいて、前記対象物が示す物体を判定する対象物判定手順と、
前記対象物判定手順によって前記対象物が示す物体を判定された場合に、前記特定手順によって特定された輪郭に囲まれた領域である輪郭領域の画像データを他の画像データに加工する加工手順と
をコンピュータに実行させることを特徴とする輪郭抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−６６０１６（Ｐ２０１３−６６０１６Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２９３２（Ｐ２０１１−２０２９３２）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]