輪郭抽出システム、復号化装置及び輪郭抽出プログラム
【課題】対象物の動きを捉えた画像を適切に解析することを課題とする。
【解決手段】輪郭抽出システムは、符号化装置及び復号化装置を備える。符号化装置は、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。そして、符号化装置は、選択した予測モードに従って画像データを符号化する。一方、復号化装置は、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。
【解決手段】輪郭抽出システムは、符号化装置及び復号化装置を備える。符号化装置は、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。そして、符号化装置は、選択した予測モードに従って画像データを符号化する。一方、復号化装置は、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輪郭抽出システム、復号化装置及び輪郭抽出プログラムに関する。
【背景技術】
【０００２】
近年、世界中には膨大な数の監視カメラが設置され、動きのある対象物を撮影した動画像が日々記録されている。もっとも、記録された動画像の解析が人手によって行われる場合、その解析内容には限界がある。このため、従来、様々な画像解析技術が提案されている。例えば、動きベクトルが検出された画像領域を移動領域とみなして動きのある対象物を抽出する技術や、この技術を前提に更にノイズの除去を行う技術等が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５０１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、動きのある対象物を抽出する技術として適切とはいえない場合があった。例えば、動きベクトルが検出された画像領域を移動領域とみなす技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となり得る。一方、ノイズの除去を行う技術では、その計算量が課題となり得る。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物を適切に抽出することが可能な輪郭抽出システム、復号化装置及び輪郭抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、開示の技術は、一つの態様において、輪郭抽出システムであって、符号化装置及び復号化装置を備える。符号化装置は、検出部、フィールド予測モード符号化部、フレーム予測モード符号化部、選択部、及び符号化部を備える。検出部は、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。フィールド予測モード符号化部は、前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化する。フレーム予測モード符号化部は、前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化する。選択部は、前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。符号化部は、前記選択部によって選択された予測モードに従って前記画像データを符号化する。一方、復号化装置は、読出部及び特定部を備える。読出部は、前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定部は、前記ピクチャ構造情報及び前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【０００７】
また、開示の技術は、一つの態様において、復号化装置である。復号化装置は、読出部及び特定部を備える。読出部は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定部は、前記ピクチャ構造情報及び前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【０００８】
また、開示の技術は、一つの態様において、輪郭抽出プログラムである。輪郭抽出プログラムは、読出手順と、特定手順とをコンピュータに実行させる。読出手順は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定手順は、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【発明の効果】
【０００９】
開示の技術によれば、動きのある対象物を適切に抽出することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る輪郭抽出システムの概要を説明するための図である。
【図２】図２は、実施例１に係る符号化装置の構成を示すブロック図である。
【図３】図３は、実施例１に係る符号化処理手順を示すフローチャートである。
【図４】図４は、実施例１に係る復号化装置の構成を示すブロック図である。
【図５】図５は、輪郭に相当する領域の特定を説明するための図である。
【図６】図６は、実施例１に係る輪郭画像の一例を示す図である。
【図７】図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。
【図８】図８は、実施例２に係る復号化装置の構成を示すブロック図である。
【図９】図９は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る輪郭抽出システム、復号化装置及び輪郭抽出プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る輪郭抽出システム１０の概要］
図１は、実施例１に係る輪郭抽出システム１０の概要を説明するための図である。図１に例示するように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備え、符号化装置１００において符号化処理が実行され、復号化装置２００において復号化処理及び輪郭抽出処理が実行される構成を採る。
【００１３】
まず、実施例１に係る符号化装置１００において実行される符号化処理の概要を説明する。符号化装置１００は、対象物が描出された画像データの入力を受け付け、受け付けた画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、符号化装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、符号化装置１００は、選択した予測モードに従って画像データを符号化する。
【００１４】
ここで、実施例１に係る符号化装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、符号化装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００１５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００１６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００１７】
さて、図１に戻り、実施例１に係る復号化装置２００において実行される輪郭抽出処理の概要を説明する。復号化装置２００は、符号化装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、復号化装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００１８】
ここで、実施例１に係る復号化装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図１に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００１９】
このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００２０】
［実施例１に係る符号化装置１００の構成］
次に、図２及び図３を用いて、実施例１に係る符号化装置１００の構成を説明する。図２は、実施例１に係る符号化装置１００の構成を示すブロック図である。図２に例示するように、実施例１に係る符号化装置１００は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。
【００２１】
ここで、実施例１に係る符号化装置１００は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１００は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００２２】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００２３】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００２４】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００２５】
さて、ここで、実施例１に係る符号化装置１００は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００２６】
この点について説明する。まず、実施例１に係る符号化装置１００は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００２７】
ここで、実施例１に係る動き補償部１７０は、図２に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００２８】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００２９】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３０】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３１】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００３２】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００３３】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００３４】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００３５】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００３６】
また、実施例１に係る符号化装置１００として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００３７】
次に、図３は、実施例１に係る符号化処理手順を示すフローチャートである。なお、図３においては、主に実施例１に係る符号化装置１００に特有の符号化処理手順を示す。具体的には、まず、動き補償部１７０は、Ｉｎｔｒａ符号化部１７０ａによる符号化処理、フレーム予測モード符号化部１７０ｂによる符号化処理、及びフィールド予測モード符号化部１７０ｃによる符号化処理を並行して行う（ステップＳ１０１）。
【００３８】
次に、符号化モード判定部１１０は、３つの符号化量それぞれを比較し（ステップＳ１０２）、比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、予め記憶している閾値以上に、フレーム予測モード符号化部１７０ｂから出力された符号化量より小さいか否かを判定する（ステップＳ１０３）。そして、符号化量の差が閾値より小さい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上に小さい場合ではないと判定した場合には（ステップＳ１０３肯定）、符号化モード判定部１１０は、予測モードとしてフレーム予測モードを選択する（ステップＳ１０４）。
【００３９】
一方、符号化量の差が閾値より大きい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さい場合であると判定した場合には（ステップＳ１０３否定）、符号化モード判定部１１０は、予測モードとしてフィールド予測モードを選択する（ステップＳ１０５）。
【００４０】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４１】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る輪郭抽出システム１０は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００４２】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、復号化装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００４３】
この点、実施例１に係る符号化装置１００は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、復号化装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００４４】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００４５】
［実施例１に係る復号化装置２００の構成］
次に、図４及び図５を用いて、実施例１に係る復号化装置２００の構成を説明する。図４は、実施例１に係る復号化装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る復号化装置２００は、特に、輪郭抽出部２１０と、可変長復号−逆スキャン部２２０と、逆量子化−逆ＤＣＴ部２３０と、動き補償部２４０と、フレームメモリ２５０と、復号化画像表示部２６０とを備える。なお、実施例１に係る復号化装置２００は、図４に例示するように外部の出力部２８０に接続し、復号化画像や輪郭抽出部２１０において生成された輪郭画像を表示する構成を採る。選択部２７０は、出力部２８０に表示する画像の選択を受け付け、受け付けた選択に従って出力部２８０に画像を表示する。例えば、選択部２７０は、復号化画像及び輪郭画像の双方を重畳表示したり、いずれか一方の画像のみを表示する。
【００４６】
ここで、実施例１に係る復号化装置２００は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化装置２００は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２２０及び逆量子化−逆ＤＣＴ部２３０が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４０が、復号化された動きベクトルとフレームメモリ２５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２５０に格納する。そして、復号化画像表示部２６０が、フレームメモリ２５０に格納された復号化画像を、出力部２８０に表示する。
【００４７】
さて、ここで、実施例１に係る復号化装置２００は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２１０を備え、この輪郭抽出部２１０が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２１０は、図４に例示するように、ヘッダ情報読出部２１１と、輪郭領域特定部２１２と、輪郭画像生成部２１３と、輪郭画像表示部２１４とを有する。
【００４８】
ヘッダ情報読出部２１１は、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２１１は、例えば可変長復号−逆スキャン部２２０から、可変長復号−逆スキャン部２２０において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２１１は、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２１１は、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２１１は、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２１２に送る。
【００４９】
輪郭領域特定部２１２は、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２１２は、ヘッダ情報読出部２１１からピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２１２は、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２１３に送る。
【００５０】
図５は、輪郭に相当する領域の特定を説明するための図である。なお、図５は、領域特定の概念を例示するものである。図５に例示する『人』は、動きのある対象物を意味する。また、図５に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２１２は、図５に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００５１】
ここで、実施例１に係る輪郭領域特定部２１２が、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る符号化装置１００は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２１２は、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００５２】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２１２は、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００５３】
輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２１３は、輪郭領域特定部２１２から対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成し、生成した輪郭画像を輪郭画像表示部２１４に送る。
【００５４】
図６は、実施例１に係る輪郭画像の一例を示す図である。図６に例示するように、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図６の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００５５】
輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に表示する。具体的には、輪郭画像表示部２１４は、輪郭画像生成部２１３から輪郭画像を受け付けると、受け付けた輪郭画像を出力部２８０に表示する。なお、実施例１においては、輪郭が可視化された輪郭画像のみを表示する手法を説明したが、開示の技術はこれに限られるものではなく、例えば、復号化画像と輪郭画像とを重畳させて表示してもよい。
【００５６】
図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。なお、図７においては、主に実施例１に係る復号化装置２００に特有の輪郭抽出処理手順を示す。具体的には、まず、ヘッダ情報読出部２１１が、可変長復号−逆スキャン部２２０からヘッダ情報を取得するまで待機し（ステップＳ２０１）、ヘッダ情報を取得すると（ステップＳ２０１肯定）、ヘッダ情報を解析し、ピクチャ構造情報及び予測モード情報を読み出す（ステップＳ２０２）。
【００５７】
次に、輪郭領域特定部２１２が、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であるか否かを判定する（ステップＳ２０３）。
【００５８】
そして、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であると判定すると（ステップＳ２０３肯定）、輪郭領域特定部２１２は、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する（ステップＳ２０４）。一方、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合でないと判定すると（ステップＳ２０３否定）、輪郭領域特定部２１２は、輪郭に相当する領域の特定を行うことなく処理を終了する。
【００５９】
なお、開示の技術は、上述した構成や処理手順に限られるものではない。例えば、符号化装置１００が予測モードを動的に選択する手法として、「フレーム予測モード用」の動きベクトルが示す動き速度と閾値とを比較する手法を例示したが、この手法に限られるものではなく、動き速度と閾値との比較結果に従って予測モードを動的に選択する手法であれば、他の手法でもよい。また、例えば、復号化装置２００の輪郭抽出部２１０が、可変長復号−逆スキャン部２２０からヘッダ情報を取得する手法を例示したが、この手法に限られるものではなく、例えば逆量子化−逆ＤＣＴ部２３０から取得する等、他の部やタイミングで取得する手法であってもよい。
【００６０】
［実施例１の効果］
上述したように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備える。符号化装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、復号化装置２００において、ヘッダ情報読出部２１１が、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２１２が、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００６１】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る輪郭抽出システム１０によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【００６２】
また、実施例１に係る復号化装置２００は、輪郭画像生成部２１３及び輪郭画像表示部２１４をさらに備える。輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した輪郭画像を生成する。また、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に出力する。このようなことから、実施例１に係る復号化装置２００によれば、輪郭のみが現わされた画像を出力することが可能になり、プライバシー等の観点からも有効な画像データを提供することが可能になる。なお、輪郭画像生成部２１３及び輪郭画像表示部２１４は必ずしも必須の構成ではない。
【実施例２】
【００６３】
次に、実施例２に係る輪郭抽出システム２０を説明する。実施例２に係る輪郭抽出システム２０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００及び復号化装置２００を備えるが、復号化装置２００において、輪郭抽出処理を補完する機能が更に追加された点で、実施例１に係る輪郭抽出システム１０と異なる。
【００６４】
図８は、実施例２に係る復号化装置２００の構成を示すブロック図である。図８に例示するように、実施例２に係る復号化装置２００は、輪郭抽出部２１０に、輪郭抽出補完部２１５をさらに備える。輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２１５は、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２１５は、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２１３に送る。
【００６５】
実施例２に係る輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果のみならず、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２１２による処理も、あるいは、輪郭抽出補完部２１５による処理も、必ずしも最適な結果とならない可能性がある。この点、実施例２に係る輪郭抽出システム２０によれば、輪郭領域特定部２１２及び輪郭抽出補完部２１５それぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【００６６】
例えば、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いる。
【実施例３】
【００６７】
これまで、開示の技術に係る輪郭抽出システム、復号化装置及び輪郭抽出プログラムの実施例として実施例１及び実施例２を説明してきたが、開示の技術はこれに限られるものではない。種々の異なる形態にて実施されてよいものである。
【００６８】
開示の技術に係る輪郭抽出システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【００６９】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【００７０】
［システムの構成］
上記実施例１及び実施例２においては、輪郭抽出システムが、符号化装置及び復号化装置の双方を備える例を説明したが、開示の技術はこれに限られるものではなく、運用の形態に応じてその構成は任意に変更することが可能である。以下、例を挙げて説明する。
【００７１】
まず、開示の技術は、予測モードを動的に選択して符号化された符号化データと、この符号化データに含まれるヘッダ情報を解析することにより対象物の輪郭を抽出する構成とがあれば、実現することができる。言い換えると、符号化装置を備えることは必須ではなく、開示の技術は、少なくとも、符号化データの入力を受け付けて輪郭を抽出する装置があれば、実現することができる。また、少なくとも輪郭を抽出することができればよいので、いわゆる公知の技術による復号化の機能を備えることも必須ではない。すなわち、輪郭抽出処理を行う装置は、少なくとも、符号化データに含まれるヘッダ情報を解析し、対応するマクロブロックの画像上の位置から輪郭に相当する領域を特定する機能を備えればよい。また、例えば、符号化処理の機能と輪郭抽出処理の機能とが物理的に同一の１つの筐体に備えられていてもよい。
【００７２】
さらに、上記実施例１及び実施例２においては、輪郭抽出システムが、輪郭画像を出力部に表示したり、輪郭画像と復号化画像との重畳画像を出力部に出力する手法を例示したが、開示の技術はこれに限られるものではない。例えば、特定した領域に関する情報を輪郭画像として画像化することは必須ではなく、単に記憶部に保持してもよい。必要に応じてこの情報を画像化してもよいし、画像化することなくデータを直接解析することにより何らかの情報を得てもよい。なお、輪郭抽出処理の機能を備える装置に、インターネット等のネットワーク接続用の高速Ｉ／Ｆを付帯することで、抽出した輪郭に関する情報をリアルタイムに伝送することが可能である。
【００７３】
［監視システムへの適用］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、監視システムに適用することが可能である。図９は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。例えば、図９に例示するように、開示の技術は、監視の現場に符号化装置を設置し、監視の現場とネットワークを介して接続された本部に復号化装置を設置することにより、監視システムに適用することもできる。なお、図９において、説明の便宜上監視の現場は１つであるが、例えば、複数の監視の現場を本部が集中的に管理する構成であってもよい。
【００７４】
また、図９には例示していないが、例えば、監視の現場に設置された装置にも輪郭抽出の機能を装備させ、監視の現場と本部とで、輪郭抽出処理の機能分担を行ってもよい。例えば、監視の現場においては、輪郭抽出の結果を短時間の単位で分析し、主に、突然の動きや運動量の大きな動き等の特異な動きを検出し、アラーム情報の通知やアクションを行う。一方、本部においては、輪郭抽出の結果を長時間の単位で分析し、問題となるような動きを蓄積データから抜き出す処理を行う。このように、連携動作を行ってもよい。
【００７５】
なお、このような監視システムは、動きのある対象物に関する情報を解析することで、さらに防犯監視や防災監視として有効に機能することができる。例えば、装置が、対象物の基準の動きを予め記憶し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。そして、装置は、対象物単体として、あるいは単体化した複数の対象物として、基準を逸脱する動きを検出した場合に、異常行動（事件もしくは事故）を検出する。
【００７６】
また、例えば、装置が、「静」の状態から「動」の状態へと変化したことを検知することにより、例えば小さな前触れ現象を検知することができる。また、例えば、装置が、「動」の状態から「静」の状態へと変化したことを検知することにより、例えば、交通事故の瞬間や因果関係などを明確にすることができる。
【００７７】
［機器制御］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、機器制御に適用することが可能である。例えば、装置は、動きのある対象物として機器の外観を監視し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。例えば、ロボットの動作品質管理等に適用することができる。
【００７８】
［常時移動体管理］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、車両等の移動体の管理に適用することが可能である。例えば、装置は、車両等の移動体の動作を、集合的に、あるいは個々に計測し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。
【００７９】
［身体動き、スポーツ解析］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、スポーツの解析等に適用することが可能である。例えば、装置は、好調時の身体の動きを予め記憶しておき、身体の動きを監視し、監視により得られた身体の動きと好調時の身体の動きとを比較することにより、問題点を定量的に分析する。
【００８０】
［好意度や好感度の判定］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、好意度や好感度の判定等に適用することが可能である。例えば、装置は、群衆やグループ等の集合的な振る舞いを検知、解析し、滞在時間や人々の眼球の動き等を解析することで、例えば、表示中の情報に対する集中度を定量的に分析する。
【００８１】
［その他］
また、上記実施例１及び実施例２において検出した対象物の動きをより詳細に解析することも可能である。例えば、対象物の動きを、背景や相対的な手足の長さなどからパターン化し、対象物が人間であるか動物であるかを判定する。また、例えば、対象物の動きを、輪郭の特定に用いられたマクロブロックの動きベクトルが一定値であるか否かに応じて、対象物が、人間であるか電車・車両等であるかを判定する。
【００８２】
［画像データの種類］
また、開示の技術が扱う画像データの種類は、上記実施例１及び実施例２において例示したＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【００８３】
［符号化プログラム及び復号化プログラム］
また、上記実施例において説明した符号化方法及び輪郭抽出方法は、符号化プログラムによる情報処理又は輪郭抽出プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【００８４】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、開示の技術に係る符号化プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した動きベクトル検出部１６０と同様の処理を実行する手順と、動き補償部１７０と同様の処理を実行する手順と、符号化モード判定部１１０と同様の処理を実行する手順と、符号化部１２０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【００８５】
また、開示の技術に係る輪郭抽出プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明したヘッダ情報読出部２１１と同様の処理を実行する手順と、輪郭領域特定部２１２と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。そして、ＣＰＵが、ハードディスクに記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭに読み出し、上記手順を実行する。
【００８６】
なお、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【００８７】
２１０ 輪郭抽出部
２１１ ヘッダ情報読出部
２１２ 輪郭領域特定部
２１３ 輪郭画像生成部
２１４ 輪郭画像表示部
【技術分野】
【０００１】
本発明は、輪郭抽出システム、復号化装置及び輪郭抽出プログラムに関する。
【背景技術】
【０００２】
近年、世界中には膨大な数の監視カメラが設置され、動きのある対象物を撮影した動画像が日々記録されている。もっとも、記録された動画像の解析が人手によって行われる場合、その解析内容には限界がある。このため、従来、様々な画像解析技術が提案されている。例えば、動きベクトルが検出された画像領域を移動領域とみなして動きのある対象物を抽出する技術や、この技術を前提に更にノイズの除去を行う技術等が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５０１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術では、動きのある対象物を抽出する技術として適切とはいえない場合があった。例えば、動きベクトルが検出された画像領域を移動領域とみなす技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となり得る。一方、ノイズの除去を行う技術では、その計算量が課題となり得る。
【０００５】
本発明は、上記に鑑みてなされたものであって、動きのある対象物を適切に抽出することが可能な輪郭抽出システム、復号化装置及び輪郭抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、開示の技術は、一つの態様において、輪郭抽出システムであって、符号化装置及び復号化装置を備える。符号化装置は、検出部、フィールド予測モード符号化部、フレーム予測モード符号化部、選択部、及び符号化部を備える。検出部は、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。フィールド予測モード符号化部は、前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化する。フレーム予測モード符号化部は、前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化する。選択部は、前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。符号化部は、前記選択部によって選択された予測モードに従って前記画像データを符号化する。一方、復号化装置は、読出部及び特定部を備える。読出部は、前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定部は、前記ピクチャ構造情報及び前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【０００７】
また、開示の技術は、一つの態様において、復号化装置である。復号化装置は、読出部及び特定部を備える。読出部は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定部は、前記ピクチャ構造情報及び前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【０００８】
また、開示の技術は、一つの態様において、輪郭抽出プログラムである。輪郭抽出プログラムは、読出手順と、特定手順とをコンピュータに実行させる。読出手順は、対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。特定手順は、前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する。
【発明の効果】
【０００９】
開示の技術によれば、動きのある対象物を適切に抽出することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る輪郭抽出システムの概要を説明するための図である。
【図２】図２は、実施例１に係る符号化装置の構成を示すブロック図である。
【図３】図３は、実施例１に係る符号化処理手順を示すフローチャートである。
【図４】図４は、実施例１に係る復号化装置の構成を示すブロック図である。
【図５】図５は、輪郭に相当する領域の特定を説明するための図である。
【図６】図６は、実施例１に係る輪郭画像の一例を示す図である。
【図７】図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。
【図８】図８は、実施例２に係る復号化装置の構成を示すブロック図である。
【図９】図９は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、開示の技術に係る輪郭抽出システム、復号化装置及び輪郭抽出プログラムの実施例を説明する。なお、以下の実施例により本発明が限定されるものではない。
【実施例１】
【００１２】
［実施例１に係る輪郭抽出システム１０の概要］
図１は、実施例１に係る輪郭抽出システム１０の概要を説明するための図である。図１に例示するように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備え、符号化装置１００において符号化処理が実行され、復号化装置２００において復号化処理及び輪郭抽出処理が実行される構成を採る。
【００１３】
まず、実施例１に係る符号化装置１００において実行される符号化処理の概要を説明する。符号化装置１００は、対象物が描出された画像データの入力を受け付け、受け付けた画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。続いて、符号化装置１００は、検出した動きベクトルを用いて各種符号化モード（Ｉｎｔｒａモード、フレーム予測モード、フィールド予測モード）による符号化を行い、それぞれの符号化量（符号化データの発生量）に基づいて予測モードを選択する。そして、符号化装置１００は、選択した予測モードに従って画像データを符号化する。
【００１４】
ここで、実施例１に係る符号化装置１００は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化装置１００は、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する。具体的には、符号化装置１００は、符号化量を予測モード間で比較した結果、フィールド予測モードによる符号化量が、フレーム予測モードによる符号化量に比較して閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。
【００１５】
なお、予測モードについて簡単に説明しておくと、例えば、ＭＰＥＧ（Moving Picture Experts Group）で標準化されたＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などにおいては、符号化方式として、フレーム間予測方式を採用している。フレーム間予測方式は、入力フレームと前後のフレームとは相関度が高いという動画像の性質を利用して、前後のフレームから入力フレームを予測した予測フレームを生成し、生成した予測フレームと入力フレームとの差分を符号化する方式である。具体的には、符号化装置は、フレームを構成する予測単位毎に差分を算出して動きベクトルを検出し、検出した動きベクトル、及び、予測フレームと入力フレームとの差分である差分画像データを符号化して符号化データを生成し、生成した符号化データを復号化装置に送信する。
【００１６】
ここで、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等においては、動画像がインタレース形式の場合に、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードの動的選択を規定している。フレーム予測モードは、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てるモードである。一方、フィールド予測モードは、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てるモードである。なお、フレーム予測モード及びフィールド予測モードは動的に選択されるので、ピクチャ構造は、フレーム構造となる。なお、標準において動的選択を規定しているものの、一般的にはフレーム予測モードが固定的に選択されることが多いが、その理由は、通常、フレーム予測モードの方が、符号化処理の計算量が少なく、より高い圧縮率が得られる傾向にあるからと考えられる。
【００１７】
さて、図１に戻り、実施例１に係る復号化装置２００において実行される輪郭抽出処理の概要を説明する。復号化装置２００は、符号化装置１００から符号化データを受信し、受信した符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。そして、復号化装置２００は、読み出したピクチャ構造情報及び予測モード情報に基づいて、対象物の輪郭に相当する領域を特定する。なお、ピクチャ構造情報とは、ピクチャの構造を示す情報であり、予測モード情報とは、マクロブロックの符号化に用いられた予測モードを示す情報である。例えば、ピクチャ構造情報は、ヘッダ情報のピクチャ層に格納されており、予測モード情報は、マクロブロック層に格納されている。
【００１８】
ここで、実施例１に係る復号化装置２００は、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、図１に例示するように、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を、対象物の輪郭（対象物と背景との境界部分等）に相当する領域として特定する。
【００１９】
このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００２０】
［実施例１に係る符号化装置１００の構成］
次に、図２及び図３を用いて、実施例１に係る符号化装置１００の構成を説明する。図２は、実施例１に係る符号化装置１００の構成を示すブロック図である。図２に例示するように、実施例１に係る符号化装置１００は、特に、符号化モード判定部１１０と、符号化部１２０と、可変長復号−逆スキャン部１３０と、逆量子化−逆ＤＣＴ（Discrete Cosine Transform）部１４０と、フレームメモリ１５０と、動きベクトル検出部１６０と、動き補償部１７０と、減算器１８０とを備える。
【００２１】
ここで、実施例１に係る符号化装置１００は、公知の符号化装置と同様の機能を有する。この点について簡単に説明すると、まず、符号化装置１００は、対象物が描出された画像データの入力を受け付けると、この入力フレームをマクロブロック毎に分割し、動きベクトル検出部１６０に入力する。動きベクトル検出部１６０は、フレームメモリ１５０に格納されている参照フレームと入力フレームとの差分をマクロブロック毎に算出して動きベクトルを検出し、検出した動きベクトルを動き補償部１７０に送る。
【００２２】
動き補償部１７０は、動きベクトル検出部１６０から送られた動きベクトルとフレームメモリ１５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームを減算器１８０に送る。減算器１８０は、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化モード判定部１１０に送る。
【００２３】
符号化モード判定部１１０は、入力フレーム及び差分画像データそれぞれの入力を受け付け、符号化モードとして、入力フレームを符号化するＩｎｔｒａモードを選択するか、あるいは、差分画像データを符号化するＩｎｔｅｒモードを選択するかを判定する。そして、符号化モード判定部１１０は、判定結果を、符号化に必要なデータ（入力フレーム、あるいは、差分画像データ及び動きベクトル等）とともに、符号化部１２０に送る。
【００２４】
符号化部１２０は、符号化モード判定部１１０から受け付けた判定結果に従って、符号化モード判定部１１０から受け付けたデータを符号化し、符号化データ（ストリームとも称する）を生成する。そして、符号化部１２０は、生成した符号化データを復号化装置２００に向けて出力するとともに、可変長復号−逆スキャン部１３０に出力する。すると、可変長復号−逆スキャン部１３０及び逆量子化−逆ＤＣＴ部１４０は、符号化データを復号化し、復号化した画像データを参照フレームとしてフレームメモリ１５０に格納する。なお、上記各部による処理は、いずれもマクロブロック毎に行われる。
【００２５】
さて、ここで、実施例１に係る符号化装置１００は、上述した公知の符号化装置が有する機能に加え、予測モードを選択するための閾値を予め設定されることで記憶し、符号化量を予測モード間で比較する際にこの閾値を用い、比較の結果に基づいて予測モードを選択する機能を有する。
【００２６】
この点について説明する。まず、実施例１に係る符号化装置１００は、マクロブロックの符号化に用いる予測モードとして、フレーム予測モード及びフィールド予測モードを動的に選択する。このため、実施例１に係る動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル検出処理と、フィールド予測モード用の動きベクトル検出処理との双方を行う。すなわち、動きベクトル検出部１６０は、フレームメモリ１５０に格納された参照フレームを参照し、マクロブロック（横１６×縦１６画素）毎に１つの動きベクトルを割り当てる処理と、フレームメモリ１５０に格納された参照フレームのトップフィールド及びボトムフィールドそれぞれを参照し、マクロブロックのトップフィールド成分（横１６×縦８画素）及びボトムフィールド成分（横１６×縦８画素）それぞれに動きベクトルを割り当てる処理との双方を行う。そして、動きベクトル検出部１６０は、フレーム予測モード用の動きベクトル及びフィールド予測モード用の動きベクトルの双方を、動き補償部１７０に対して出力する。
【００２７】
ここで、実施例１に係る動き補償部１７０は、図２に例示するように、Ｉｎｔｒａ符号化部１７０ａと、フレーム予測モード符号化部１７０ｂと、フィールド予測モード符号化部１７０ｃとを有する。Ｉｎｔｒａ符号化部１７０ａ、フレーム予測モード符号化部１７０ｂ、及びフィールド予測モード符号化部１７０ｃは、並行して処理を行う。
【００２８】
まず、Ｉｎｔｒａ符号化部１７０ａは、Ｉｎｔｒａモードによる符号化を行う。具体的には、Ｉｎｔｒａ符号化部１７０ａは、マクロブロック毎に分割された入力フレームを符号化し、その符号化量を符号化モード判定部１１０に対して出力する。なお、実施例１において、Ｉｎｔｒａ符号化部１７０ａは、横１６×縦１６画素のマクロブロック毎に入力フレームを符号化する。
【００２９】
また、フレーム予測モード符号化部１７０ｂは、フレーム予測モードによる符号化を行う。具体的には、フレーム予測モード符号化部１７０ｂは、動きベクトル検出部１６０から受け付けたフレーム予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フレーム予測モード符号化部１７０ｂは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フレーム予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３０】
また、フィールド予測モード符号化部１７０ｃは、フィールド予測モードによる符号化を行う。具体的には、フィールド予測モード符号化部１７０ｃは、動きベクトル検出部１６０から受け付けたフィールド予測モード用の動きベクトルと、フレームメモリ１５０に格納された参照フレームとを用いて、予測フレームを生成し、生成した予測フレームを減算器１８０に対して出力する。また、フィールド予測モード符号化部１７０ｃは、入力フレームと予測フレームとを減算し、減算結果である差分画像データを符号化し、その符号化量と、フィールド予測モード用の動きベクトルとを、符号化モード判定部１１０に対して出力する。
【００３１】
一方、符号化モード判定部１１０は、予測モードを選択するための閾値を予め設定されることで記憶している。そして、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量と、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量とを比較する。
【００３２】
具体的には、符号化モード判定部１１０は、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も小さい場合には、Ｉｎｔｒａモードを選択する。一方、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量が最も大きい場合には、符号化モード判定部１１０は、次に、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較を行う。なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、最小か最大かのいずれかになり、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との間にはならないと仮定する。
【００３３】
そして、符号化モード判定部１１０は、フレーム予測モード符号化部１７０ｂから出力された符号化量と、フィールド予測モード符号化部１７０ｃから出力された符号化量との比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さいと判定されたことを条件として、フィールド予測モードを選択する。一方、符号化モード判定部１１０は、それ以外の場合には、フレーム予測モードを選択する。
【００３４】
その後、符号化モード判定部１１０は、判定結果を、符号化に必要なデータとともに、符号化部１２０に送る。具体的には、符号化モード判定部１１０は、「Ｉｎｔｒａモードを選択した」との判定結果を送る場合には、符号化に必要なデータとして入力フレームを送る。また、符号化モード判定部１１０は、「フレーム予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フレーム予測モード用の動きベクトルと、フレーム予測モードに対応する差分画像データとを送る。また、符号化モード判定部１１０は、「フィールド予測モードを選択した」との判定結果を送る場合には、符号化に必要なデータとして、フィールド予測モード用の動きベクトルと、フィールド予測モードに対応する差分画像データとを送る。一方、符号化部１２０は、符号化モード判定部１１０から送られた判定結果やデータを用いて符号化を行うが、この際、選択された予測モードを示す情報を、符号化データのヘッダ情報に格納する。
【００３５】
なお、Ｉｎｔｒａ符号化部１７０ａから出力された符号化量は、横１６×縦１６画素のマクロブロックに対応する符号化量である。また、フレーム予測モード符号化部１７０ｂから出力された符号化量も、横１６×縦１６画素のマクロブロックに対応する符号化量である。これに対し、フィールド予測モード符号化部１７０ｃから出力された符号化量は、横１６×縦８画素のマクロブロックに対応する符号化量である。このため、符号化モード判定部１１０は、比較にあたり、例えば、フィールド予測モード符号化部１７０ｃから出力された符号化量については、２マクロブロック分、すなわち、横１６×縦１６画素のマクロブロックに対応する符号化量を、その比較対象として用いてもよい。比較対象として１マクロブロック分を用いるか、あるいは２マクロブロック分を用いるかは、閾値をどのような値に設定するかによって任意に選択することができる。
【００３６】
また、実施例１に係る符号化装置１００として各部の処理を説明したが、開示の技術は上記例に限られるものではない。例えば、実施例１においては、動き補償部１７０が、各種符号化モードによる符号化を行い、符号化量を算出して符号化モード判定部１１０に出力するものとして説明したが、これに限られるものではなく、例えば、符号化モード判定部１１０が符号化量を算出し、算出した符号化量を用いて予測モードを選択する構成であってもよい。このように、各部の機能分担は任意に変更することができる。
【００３７】
次に、図３は、実施例１に係る符号化処理手順を示すフローチャートである。なお、図３においては、主に実施例１に係る符号化装置１００に特有の符号化処理手順を示す。具体的には、まず、動き補償部１７０は、Ｉｎｔｒａ符号化部１７０ａによる符号化処理、フレーム予測モード符号化部１７０ｂによる符号化処理、及びフィールド予測モード符号化部１７０ｃによる符号化処理を並行して行う（ステップＳ１０１）。
【００３８】
次に、符号化モード判定部１１０は、３つの符号化量それぞれを比較し（ステップＳ１０２）、比較の結果、フィールド予測モード符号化部１７０ｃから出力された符号化量が、予め記憶している閾値以上に、フレーム予測モード符号化部１７０ｂから出力された符号化量より小さいか否かを判定する（ステップＳ１０３）。そして、符号化量の差が閾値より小さい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上に小さい場合ではないと判定した場合には（ステップＳ１０３肯定）、符号化モード判定部１１０は、予測モードとしてフレーム予測モードを選択する（ステップＳ１０４）。
【００３９】
一方、符号化量の差が閾値より大きい、すなわち、フィールド予測モード符号化部１７０ｃから出力された符号化量が、フレーム予測モード符号化部１７０ｂから出力された符号化量に比較して、予め記憶している閾値以上小さい場合であると判定した場合には（ステップＳ１０３否定）、符号化モード判定部１１０は、予測モードとしてフィールド予測モードを選択する（ステップＳ１０５）。
【００４０】
ところで、実施例１において、符号化量の比較に用いられる閾値は、符号化データの発生量や予測の誤差量等に基づいて予め決定されたものであり、言い換えると、計算量や圧縮率、あるいは精度等を総合的に勘案して予め決定されたものである。符号化データの発生量が少ない方が、符号化処理の計算量が少なく、より高い圧縮率となると考えられるが、予測の誤差量が多く、精度が低い場合には、必ずしも符号化データの発生量だけに着目するべきではない。また、精度が低い場合には、符号化データの発生量がかえって多くなることもある。
【００４１】
ここで、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較すると、一般的には前者の方が小さくなるが、後者の方が小さくなることもある。この点、実施例１に係る輪郭抽出システム１０は、単に後者の方が小さくなる場合にフィールド予測モードを選択するのではなく、符号化量を比較するための閾値を設け、この閾値以上に後者の符号化量が小さくなった場合に、フィールド予測モードを選択する。
【００４２】
すなわち、対象物の動きが速い場合には、フィールド予測モードの方が精度が良くなるという関係がある。また、フィールド予測モードの方が精度が良い場合には、フレーム予測モードによって符号化された場合の符号化量と、フィールド予測モードによって符号化された場合の符号化量とを比較した場合に、後者の符号化量の方が小さくなるという関係がある。もっとも、符号化量を単純に比較しただけでは、フィールド予測モードの精度がそれほど良くなっているわけではないにもかかわらず、フィールド予測モードを選択してしまう可能性がある。このような場合は、必ずしも対象物の輪郭に相当しないことがあり、結果として、復号化装置２００において、対象物の輪郭に相当しないマクロブロックの画像上の位置を、対象物の輪郭に相当する領域として特定してしまうおそれがある。
【００４３】
この点、実施例１に係る符号化装置１００は、符号化量の比較のためにあえて閾値を設け、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、フィールド予測モードを選択する。すると、結果として、復号化装置２００において、閾値を上回るほどにフィールド予測モードの符号化量が小さい場合にだけ、そのマクロブロックの画像上の位置が、対象物の輪郭に相当する領域として特定されることになる。
【００４４】
なお、閾値は、例えば、実験結果や経験則等に基づいて決定することができる。例えば、動きのある対象物をサンプルとして各種符号化モードによる符号化量を計測し、対象物の輪郭に相当するマクロブロックの場合には、その符号化量にどれほどの差が生じるかを予め求めることで、閾値を決定することができる。
【００４５】
［実施例１に係る復号化装置２００の構成］
次に、図４及び図５を用いて、実施例１に係る復号化装置２００の構成を説明する。図４は、実施例１に係る復号化装置２００の構成を示すブロック図である。図４に例示するように、実施例１に係る復号化装置２００は、特に、輪郭抽出部２１０と、可変長復号−逆スキャン部２２０と、逆量子化−逆ＤＣＴ部２３０と、動き補償部２４０と、フレームメモリ２５０と、復号化画像表示部２６０とを備える。なお、実施例１に係る復号化装置２００は、図４に例示するように外部の出力部２８０に接続し、復号化画像や輪郭抽出部２１０において生成された輪郭画像を表示する構成を採る。選択部２７０は、出力部２８０に表示する画像の選択を受け付け、受け付けた選択に従って出力部２８０に画像を表示する。例えば、選択部２７０は、復号化画像及び輪郭画像の双方を重畳表示したり、いずれか一方の画像のみを表示する。
【００４６】
ここで、実施例１に係る復号化装置２００は、公知の復号化装置と同様の機能を有する。この点について簡単に説明すると、まず、復号化装置２００は、符号化データの入力を受け付けると、可変長復号−逆スキャン部２２０及び逆量子化−逆ＤＣＴ部２３０が符号化データを復号化し、例えば動きベクトル及び差分画像データを取得する。次に、動き補償部２４０が、復号化された動きベクトルとフレームメモリ２５０に格納されている参照フレームとを用いて予測フレームを生成し、生成した予測フレームと復号化された差分画像データとを用いて入力フレームを復号化し、得られた復号化画像をフレームメモリ２５０に格納する。そして、復号化画像表示部２６０が、フレームメモリ２５０に格納された復号化画像を、出力部２８０に表示する。
【００４７】
さて、ここで、実施例１に係る復号化装置２００は、上述した公知の復号化装置が有する機能に加え、輪郭抽出部２１０を備え、この輪郭抽出部２１０が、輪郭抽出処理を行う。この点について説明する。輪郭抽出部２１０は、図４に例示するように、ヘッダ情報読出部２１１と、輪郭領域特定部２１２と、輪郭画像生成部２１３と、輪郭画像表示部２１４とを有する。
【００４８】
ヘッダ情報読出部２１１は、符号化データに含まれるヘッダ情報からピクチャ構造情報及び予測モード情報を読み出す。具体的には、まず、ヘッダ情報読出部２１１は、例えば可変長復号−逆スキャン部２２０から、可変長復号−逆スキャン部２２０において復号化されたヘッダ情報を取得する。次に、ヘッダ情報読出部２１１は、ヘッダ情報のピクチャ層を解析し、ピクチャの構造を示すピクチャ構造情報を読み出す。また、ヘッダ情報読出部２１１は、ヘッダ情報のマクロブロック層を解析し、マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す。そして、ヘッダ情報読出部２１１は、読み出したピクチャ構造情報及び予測モード情報を輪郭領域特定部２１２に送る。
【００４９】
輪郭領域特定部２１２は、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、対象物の輪郭に相当する領域を特定する。具体的には、輪郭領域特定部２１２は、ヘッダ情報読出部２１１からピクチャ構造情報及び予測モード情報を受け付けると、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。そして、輪郭領域特定部２１２は、特定した領域の位置情報（例えば座標情報等）を輪郭画像生成部２１３に送る。
【００５０】
図５は、輪郭に相当する領域の特定を説明するための図である。なお、図５は、領域特定の概念を例示するものである。図５に例示する『人』は、動きのある対象物を意味する。また、図５に例示する黒色の四角形は、対象物の輪郭に相当する領域として特定された位置に存在するマクロブロックを意味する。輪郭領域特定部２１２は、図５に例示するように、『人』の輪郭線上に存在するマクロブロックの位置を、対象物の輪郭に相当する領域として特定する。
【００５１】
ここで、実施例１に係る輪郭領域特定部２１２が、動きのある対象物の輪郭に相当する領域を特定することができる理由を説明する。上述したように、実施例１に係る符号化装置１００は、符号化量の比較の結果に基づいて予測モードを動的に選択し、フレーム予測モードが選択されたか、あるいは、フィールド予測モードが選択されたかを示す情報を、符号化データのヘッダ情報に格納する。すると、実施例１に係る輪郭領域特定部２１２は、ヘッダ情報に格納されたこの情報を解析することで、そのマクロブロックが、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたものであるのか、あるいは、そうではないと判定されて符号化されたものであるのかを特定することができる。
【００５２】
ここで、動きのある対象物の輪郭は、符号化量の比較において「閾値を上回るほどに符号化量が小さい」と判定される傾向がある。一方、例えば背景や対象物の輪郭以外の部分などは、「閾値を上回るほどには符号化量が小さくならない」と判定される傾向がある。このようなことから、輪郭領域特定部２１２は、「閾値を上回るほどに符号化量が小さい」と判定されて符号化されたマクロブロックの画像上の位置を、動きのある対象物の輪郭に相当する領域として特定することができるのである。
【００５３】
輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した画像データ（輪郭画像とも称する）を生成する。具体的には、輪郭画像生成部２１３は、輪郭領域特定部２１２から対象物の輪郭に相当する領域の位置情報を受け付けると、受け付けた位置情報を用いて輪郭画像を生成し、生成した輪郭画像を輪郭画像表示部２１４に送る。
【００５４】
図６は、実施例１に係る輪郭画像の一例を示す図である。図６に例示するように、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報に基づいて、画素同士を線で結び、一部補完するなどして輪郭画像を生成する。ここで、輪郭のみが現わされた輪郭画像からは、個人を特定する情報等が大幅に削除されると考えられるので、プライバシー等の観点から有効な画像を生成することになる。なお、輪郭画像は図６の例に限られず、例えば、輪郭を囲む最小長方形等を算出し、輪郭画像として表示してもよい。
【００５５】
輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に表示する。具体的には、輪郭画像表示部２１４は、輪郭画像生成部２１３から輪郭画像を受け付けると、受け付けた輪郭画像を出力部２８０に表示する。なお、実施例１においては、輪郭が可視化された輪郭画像のみを表示する手法を説明したが、開示の技術はこれに限られるものではなく、例えば、復号化画像と輪郭画像とを重畳させて表示してもよい。
【００５６】
図７は、実施例１に係る輪郭抽出処理手順を示すフローチャートである。なお、図７においては、主に実施例１に係る復号化装置２００に特有の輪郭抽出処理手順を示す。具体的には、まず、ヘッダ情報読出部２１１が、可変長復号−逆スキャン部２２０からヘッダ情報を取得するまで待機し（ステップＳ２０１）、ヘッダ情報を取得すると（ステップＳ２０１肯定）、ヘッダ情報を解析し、ピクチャ構造情報及び予測モード情報を読み出す（ステップＳ２０２）。
【００５７】
次に、輪郭領域特定部２１２が、ヘッダ情報読出部２１１によって読み出されたピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であるか否かを判定する（ステップＳ２０３）。
【００５８】
そして、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合であると判定すると（ステップＳ２０３肯定）、輪郭領域特定部２１２は、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する（ステップＳ２０４）。一方、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合でないと判定すると（ステップＳ２０３否定）、輪郭領域特定部２１２は、輪郭に相当する領域の特定を行うことなく処理を終了する。
【００５９】
なお、開示の技術は、上述した構成や処理手順に限られるものではない。例えば、符号化装置１００が予測モードを動的に選択する手法として、「フレーム予測モード用」の動きベクトルが示す動き速度と閾値とを比較する手法を例示したが、この手法に限られるものではなく、動き速度と閾値との比較結果に従って予測モードを動的に選択する手法であれば、他の手法でもよい。また、例えば、復号化装置２００の輪郭抽出部２１０が、可変長復号−逆スキャン部２２０からヘッダ情報を取得する手法を例示したが、この手法に限られるものではなく、例えば逆量子化−逆ＤＣＴ部２３０から取得する等、他の部やタイミングで取得する手法であってもよい。
【００６０】
［実施例１の効果］
上述したように、実施例１に係る輪郭抽出システム１０は、符号化装置１００及び復号化装置２００を備える。符号化装置１００において、動きベクトル検出部１６０が、対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いてマクロブロックを符号化する。また、動き補償部１７０が、動きベクトル検出部１６０によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いてマクロブロックを符号化する。そして、符号化モード判定部１１０が、フィールド予測モードによって符号化した場合の第１符号化量が、フレーム予測モードによって符号化した場合の第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する。また、符号化部１２０が、選択された予測モードに従って画像データを符号化する。一方、復号化装置２００において、ヘッダ情報読出部２１１が、符号化データに含まれるヘッダ情報から、ピクチャ構造情報及び予測モード情報を読み出す。また、輪郭領域特定部２１２が、ピクチャ構造情報及び予測モード情報をマクロブロック毎に判定し、ピクチャ構造情報がフレーム構造を示し、かつ、予測モード情報がフィールド予測モードを示す場合に、対応するマクロブロックの画像上の位置を対象物の輪郭に相当する領域として特定する。このようなことから、実施例１に係る輪郭抽出システム１０によれば、対象物の輪郭に相当する領域を特定することが可能になり、動きのある対象物を適切に抽出することが可能になる。
【００６１】
例えば、動きベクトルが検出された画像領域を移動領域とみなす従来の技術では、対象物とノイズ（蛍光灯のちらつきや木の葉の揺れ等）との区別が課題となっていた。この点、実施例１に係る輪郭抽出システム１０によれば、このようなノイズは、フレーム予測モードで符号化されるので、対象物の輪郭に相当する領域との区別が可能になる。
【００６２】
また、実施例１に係る復号化装置２００は、輪郭画像生成部２１３及び輪郭画像表示部２１４をさらに備える。輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果を用いて、対象物の輪郭が現わされ輪郭以外を捨象した輪郭画像を生成する。また、輪郭画像表示部２１４は、輪郭画像生成部２１３によって生成された輪郭画像を出力部に出力する。このようなことから、実施例１に係る復号化装置２００によれば、輪郭のみが現わされた画像を出力することが可能になり、プライバシー等の観点からも有効な画像データを提供することが可能になる。なお、輪郭画像生成部２１３及び輪郭画像表示部２１４は必ずしも必須の構成ではない。
【実施例２】
【００６３】
次に、実施例２に係る輪郭抽出システム２０を説明する。実施例２に係る輪郭抽出システム２０は、実施例１に係る輪郭抽出システム１０と同様、符号化装置１００及び復号化装置２００を備えるが、復号化装置２００において、輪郭抽出処理を補完する機能が更に追加された点で、実施例１に係る輪郭抽出システム１０と異なる。
【００６４】
図８は、実施例２に係る復号化装置２００の構成を示すブロック図である。図８に例示するように、実施例２に係る復号化装置２００は、輪郭抽出部２１０に、輪郭抽出補完部２１５をさらに備える。輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像を用いて輪郭抽出を行う。具体的には、輪郭抽出補完部２１５は、フレームメモリ２５０に格納された復号化画像に対して、１フレーム内の全領域（又は特定の領域）を走査し、例えばマクロブロック単位で動きベクトルを算出する。次に、輪郭抽出補完部２１５は、算出した結果から、動きベクトルが存在するマクロブロックと、動きベクトルが存在しないマクロブロック（≒０）とを特定し、動きベクトルが存在するマクロブロックや、その境界に位置づけられるマクロブロックの画像上の位置を、輪郭に相当する領域として特定する。そして、輪郭抽出補完部２１５は、輪郭情報（マクロブロックの画像上の位置を示す位置情報等）を輪郭画像生成部２１３に送る。
【００６５】
実施例２に係る輪郭画像生成部２１３は、輪郭領域特定部２１２による特定結果のみならず、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いて、輪郭画像を生成する。例えば対象物が複雑な形状である場合や、対象物の動きが複雑な動きであった場合等には、輪郭領域特定部２１２による処理も、あるいは、輪郭抽出補完部２１５による処理も、必ずしも最適な結果とならない可能性がある。この点、実施例２に係る輪郭抽出システム２０によれば、輪郭領域特定部２１２及び輪郭抽出補完部２１５それぞれが、異なる手法により相補的に二重の処理を行うことになるので、対象物の輪郭に相当する領域を一段と精度よく特定することが可能になる。
【００６６】
例えば、輪郭画像生成部２１３は、輪郭領域特定部２１２から受け付けた位置情報がある領域において少なく、所定の閾値を下回る場合には、その領域については画素間を線で結ぶ処理に適さないとして、輪郭抽出補完部２１５から受け付けた輪郭情報を補完的に用いる。
【実施例３】
【００６７】
これまで、開示の技術に係る輪郭抽出システム、復号化装置及び輪郭抽出プログラムの実施例として実施例１及び実施例２を説明してきたが、開示の技術はこれに限られるものではない。種々の異なる形態にて実施されてよいものである。
【００６８】
開示の技術に係る輪郭抽出システムは、画像データが、例えば移動するカメラによって収集された画像データである場合にも、同様に適用することができる。この場合には、背景となる部分からも動きベクトルが検出されることになるので、符号化装置は、背景となる部分から検出される動きベクトルを差し引いた後の「局所的な動きベクトル」のみを用いて上記処理を行う必要がある。
【００６９】
例えば、動きベクトル検出部１６０は、基本となる動きベクトルと同じ動きベクトルであるか、あるいはそれ以外の動きベクトルであるかを判別して動作する。言い換えると、動きベクトル検出部１６０は、動きベクトルとして同じ値が繰り返されるのか、あるいはそれ以外の値となるのかを判別して動作する。ここで、動きベクトル検出部１６０は、動きベクトルの予測において、全体の中から予測としてより正しいものがどこにあるかを探索するが、この時、背景となる部分の動きベクトルは、一定のものが繰り返し利用されることになる。このため、動きベクトル検出部１６０は、繰り返し利用される動きベクトルとは異なる動きベクトルが予測として最も正しいものとして探索された場合に、背景以外の部分から検出された動きベクトルであると判別することができる。
【００７０】
［システムの構成］
上記実施例１及び実施例２においては、輪郭抽出システムが、符号化装置及び復号化装置の双方を備える例を説明したが、開示の技術はこれに限られるものではなく、運用の形態に応じてその構成は任意に変更することが可能である。以下、例を挙げて説明する。
【００７１】
まず、開示の技術は、予測モードを動的に選択して符号化された符号化データと、この符号化データに含まれるヘッダ情報を解析することにより対象物の輪郭を抽出する構成とがあれば、実現することができる。言い換えると、符号化装置を備えることは必須ではなく、開示の技術は、少なくとも、符号化データの入力を受け付けて輪郭を抽出する装置があれば、実現することができる。また、少なくとも輪郭を抽出することができればよいので、いわゆる公知の技術による復号化の機能を備えることも必須ではない。すなわち、輪郭抽出処理を行う装置は、少なくとも、符号化データに含まれるヘッダ情報を解析し、対応するマクロブロックの画像上の位置から輪郭に相当する領域を特定する機能を備えればよい。また、例えば、符号化処理の機能と輪郭抽出処理の機能とが物理的に同一の１つの筐体に備えられていてもよい。
【００７２】
さらに、上記実施例１及び実施例２においては、輪郭抽出システムが、輪郭画像を出力部に表示したり、輪郭画像と復号化画像との重畳画像を出力部に出力する手法を例示したが、開示の技術はこれに限られるものではない。例えば、特定した領域に関する情報を輪郭画像として画像化することは必須ではなく、単に記憶部に保持してもよい。必要に応じてこの情報を画像化してもよいし、画像化することなくデータを直接解析することにより何らかの情報を得てもよい。なお、輪郭抽出処理の機能を備える装置に、インターネット等のネットワーク接続用の高速Ｉ／Ｆを付帯することで、抽出した輪郭に関する情報をリアルタイムに伝送することが可能である。
【００７３】
［監視システムへの適用］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、監視システムに適用することが可能である。図９は、開示の技術に係る輪郭抽出システムを監視システムに適用した例を説明するための図である。例えば、図９に例示するように、開示の技術は、監視の現場に符号化装置を設置し、監視の現場とネットワークを介して接続された本部に復号化装置を設置することにより、監視システムに適用することもできる。なお、図９において、説明の便宜上監視の現場は１つであるが、例えば、複数の監視の現場を本部が集中的に管理する構成であってもよい。
【００７４】
また、図９には例示していないが、例えば、監視の現場に設置された装置にも輪郭抽出の機能を装備させ、監視の現場と本部とで、輪郭抽出処理の機能分担を行ってもよい。例えば、監視の現場においては、輪郭抽出の結果を短時間の単位で分析し、主に、突然の動きや運動量の大きな動き等の特異な動きを検出し、アラーム情報の通知やアクションを行う。一方、本部においては、輪郭抽出の結果を長時間の単位で分析し、問題となるような動きを蓄積データから抜き出す処理を行う。このように、連携動作を行ってもよい。
【００７５】
なお、このような監視システムは、動きのある対象物に関する情報を解析することで、さらに防犯監視や防災監視として有効に機能することができる。例えば、装置が、対象物の基準の動きを予め記憶し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。そして、装置は、対象物単体として、あるいは単体化した複数の対象物として、基準を逸脱する動きを検出した場合に、異常行動（事件もしくは事故）を検出する。
【００７６】
また、例えば、装置が、「静」の状態から「動」の状態へと変化したことを検知することにより、例えば小さな前触れ現象を検知することができる。また、例えば、装置が、「動」の状態から「静」の状態へと変化したことを検知することにより、例えば、交通事故の瞬間や因果関係などを明確にすることができる。
【００７７】
［機器制御］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、機器制御に適用することが可能である。例えば、装置は、動きのある対象物として機器の外観を監視し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。例えば、ロボットの動作品質管理等に適用することができる。
【００７８】
［常時移動体管理］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、車両等の移動体の管理に適用することが可能である。例えば、装置は、車両等の移動体の動作を、集合的に、あるいは個々に計測し、監視により得られた対象物の動きと基準の動きとを比較することにより、基準を逸脱する動きを検出する。
【００７９】
［身体動き、スポーツ解析］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、スポーツの解析等に適用することが可能である。例えば、装置は、好調時の身体の動きを予め記憶しておき、身体の動きを監視し、監視により得られた身体の動きと好調時の身体の動きとを比較することにより、問題点を定量的に分析する。
【００８０】
［好意度や好感度の判定］
また、開示の技術に係る輪郭抽出システム及び復号化装置は、好意度や好感度の判定等に適用することが可能である。例えば、装置は、群衆やグループ等の集合的な振る舞いを検知、解析し、滞在時間や人々の眼球の動き等を解析することで、例えば、表示中の情報に対する集中度を定量的に分析する。
【００８１】
［その他］
また、上記実施例１及び実施例２において検出した対象物の動きをより詳細に解析することも可能である。例えば、対象物の動きを、背景や相対的な手足の長さなどからパターン化し、対象物が人間であるか動物であるかを判定する。また、例えば、対象物の動きを、輪郭の特定に用いられたマクロブロックの動きベクトルが一定値であるか否かに応じて、対象物が、人間であるか電車・車両等であるかを判定する。
【００８２】
［画像データの種類］
また、開示の技術が扱う画像データの種類は、上記実施例１及び実施例２において例示したＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等に限られず、フレーム予測モードとフィールド予測モードとを動的に選択する手法を用いて符号化された画像データであれば、他の種類の画像データであってもよい。
【００８３】
［符号化プログラム及び復号化プログラム］
また、上記実施例において説明した符号化方法及び輪郭抽出方法は、符号化プログラムによる情報処理又は輪郭抽出プログラムによる情報処理がコンピュータを用いて具体的に実現されることで実行されてもよい。コンピュータは、例えば、ＣＰＵ（Central Processing Unit）と、システムメモリと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はシステムバスによって接続される。システムメモリは、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ＲＯＭは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、ハードディスクドライブに接続される。ディスクドライブインタフェースは、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは例えば、マウス、キーボードに接続される。ビデオアダプタは、例えば、モニタに接続される。
【００８４】
ここで、ハードディスクドライブは、例えば、ＯＳ（Operating System）、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、開示の技術に係る符号化プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明した動きベクトル検出部１６０と同様の処理を実行する手順と、動き補償部１７０と同様の処理を実行する手順と、符号化モード判定部１１０と同様の処理を実行する手順と、符号化部１２０と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。
【００８５】
また、開示の技術に係る輪郭抽出プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクに記憶される。具体的には、上記実施例で説明したヘッダ情報読出部２１１と同様の処理を実行する手順と、輪郭領域特定部２１２と同様の処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクに記憶される。そして、ＣＰＵが、ハードディスクに記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭに読み出し、上記手順を実行する。
【００８６】
なお、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵによって読み出されてもよい。あるいは、符号化プログラムに係るプログラムモジュールやプログラムデータ、又は、輪郭抽出プログラムに係るプログラムモジュールやプログラムデータは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してＣＰＵによって読み出されてもよい。
【符号の説明】
【００８７】
２１０ 輪郭抽出部
２１１ ヘッダ情報読出部
２１２ 輪郭領域特定部
２１３ 輪郭画像生成部
２１４ 輪郭画像表示部
【特許請求の範囲】
【請求項１】
符号化装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
復号化装置は、
前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と
を備えたことを特徴とする輪郭抽出システム。
【請求項２】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と
を備えたことを特徴とする復号化装置。
【請求項３】
前記特定部による特定結果を用いて、前記対象物の輪郭が現わされ輪郭以外を捨象した画像データを生成する画像生成部と、
前記画像生成部により生成された画像データを出力部に表示する表示部と
をさらに備えたことを特徴とする請求項２に記載の復号化装置。
【請求項４】
前記符号化データから画像データを復号化する復号化部と、
前記復号化部により復号化された画像データを閾値処理することにより前記対象物の輪郭を抽出する抽出部とをさらに備え、
前記画像生成部は、前記特定部による特定結果に加え、前記抽出部による抽出結果を用いて、前記対象物の輪郭が現わされ輪郭以外を捨象した画像データを生成することを特徴とする請求項３に記載の復号化装置。
【請求項５】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と
をコンピュータに実行させることを特徴とする輪郭抽出プログラム。
【請求項１】
符号化装置は、
対象物が描出された画像データをマクロブロック毎に符号化するにあたり動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルのうちフィールド予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフィールド予測モード符号化部と、
前記検出部によって検出された動きベクトルのうちフレーム予測モード用の動きベクトルを用いて前記マクロブロックを符号化するフレーム予測モード符号化部と、
前記フィールド予測モード符号化部によって前記マクロブロックを符号化した場合の第１符号化量と、前記フレーム予測モード符号化部によって前記マクロブロックを符号化した場合の第２符号化量とを比較し、比較の結果、第１符号化量が第２符号化量に比較して所定閾値以上小さいと判定されたことを条件として、前記マクロブロックの符号化に用いる予測モードとしてフィールド予測モードを選択する選択部と、
前記選択部によって選択された予測モードに従って前記画像データを符号化する符号化部と
を備え、
復号化装置は、
前記符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と
を備えたことを特徴とする輪郭抽出システム。
【請求項２】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出部と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定部と
を備えたことを特徴とする復号化装置。
【請求項３】
前記特定部による特定結果を用いて、前記対象物の輪郭が現わされ輪郭以外を捨象した画像データを生成する画像生成部と、
前記画像生成部により生成された画像データを出力部に表示する表示部と
をさらに備えたことを特徴とする請求項２に記載の復号化装置。
【請求項４】
前記符号化データから画像データを復号化する復号化部と、
前記復号化部により復号化された画像データを閾値処理することにより前記対象物の輪郭を抽出する抽出部とをさらに備え、
前記画像生成部は、前記特定部による特定結果に加え、前記抽出部による抽出結果を用いて、前記対象物の輪郭が現わされ輪郭以外を捨象した画像データを生成することを特徴とする請求項３に記載の復号化装置。
【請求項５】
対象物が描出された画像データであって符号化装置によって符号化された符号化データに含まれるヘッダ情報から、ピクチャ毎に該ピクチャの構造を示すピクチャ構造情報を読み出すとともに、該ピクチャに含まれるマクロブロック毎に該マクロブロックの符号化に用いられた予測モードを示す予測モード情報を読み出す読出手順と、
前記ピクチャ構造情報および前記予測モード情報をマクロブロック毎に判定し、該ピクチャ構造情報がフレーム構造を示し、かつ、該予測モード情報がフィールド予測モードを示す場合に、該マクロブロックの画像上の位置を前記対象物の輪郭に相当する領域として特定する特定手順と
をコンピュータに実行させることを特徴とする輪郭抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５６１６（Ｐ２０１２−１５６１６Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４７８３９（Ｐ２０１０−１４７８３９）
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]