画像処理装置、画像符号化システム及び画像復号システム
【課題】ユーザの指定なしに、画像データの特徴部分を表す画像データを生成する。
【解決手段】画像処理装置１０は、特徴量検出部１４と、最適領域生成部１６２と、出力データ生成部１８と、を備える。特徴量検出部１４と、入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する。最適領域生成部１６２は、特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する。出力データ生成部１８は、最適領域情報に基づいて、入力画像データのうち最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する。
【解決手段】画像処理装置１０は、特徴量検出部１４と、最適領域生成部１６２と、出力データ生成部１８と、を備える。特徴量検出部１４と、入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する。最適領域生成部１６２は、特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する。出力データ生成部１８は、最適領域情報に基づいて、入力画像データのうち最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像符号化システム及び画像復号システムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、静止画像を表す画像データの特徴部分の任意の１点を特徴点として検出し、ユーザが指定した倍率に従って検出した特徴点を中心とする画像を表す画像データを生成し、生成した画像データに基づいて特徴部分を表す画像データを生成するものである。
【０００３】
この画像処理装置は、ユーザの指定（例えば、指定領域及び指定倍率）に従って画像データを生成するので、ユーザの指定がなければ、特徴部分を表す画像データを生成することはできない。また、この画像処理装置は、静止画像を表す画像データの１点を検出するだけなので、複数枚のフレームから構成される動画像を表す画像データには不適当である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許ＵＳ２０１０／０１７１７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、ユーザの指定なしに、画像データの特徴部分を表す画像データを生成することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、特徴量検出部と、最適領域生成部と、出力データ生成部と、を備える。特徴量検出部と、入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する。最適領域生成部は、前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する。出力データ生成部は、前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の画像符号化システム１のブロック図。
【図２】本実施形態の画像処理装置１０のブロック図。
【図３】本実施形態の画像処理のフローチャート。
【図４】本実施形態の特徴領域情報の説明図。
【図５】本実施形態の特徴領域情報のデータ構造の説明図。
【図６】本実施形態の最適領域情報の説明図。
【図７】第１実施形態のフレーム制御部１６のブロック図。
【図８】第１実施形態のフレーム制御のフローチャート。
【図９】第１実施形態のフレーム制御の説明図。
【図１０】第２実施形態のフレーム制御部１６のブロック図。
【図１１】第２実施形態のフレーム制御のフローチャート。
【図１２】第２実施形態のターゲット領域情報のデータ構造の説明図。
【図１３】第２実施形態のターゲット領域Ｔ及び内側基準領域Ｒｉの概略図。
【図１４】第２実施形態のターゲット領域Ｔ及び外側基準領域Ｒｏの概略図。
【図１５】第２実施形態の最適領域Ｂの移動の要否判定の説明図。
【図１６】第２実施形態の最適領域Ｂの移動の要否判定の説明図。
【図１７】第２実施形態の最適領域移動のフローチャート。
【図１８】本実施形態の画像復号システム２のブロック図。
【発明を実施するための形態】
【０００８】
本実施形態の画像処理システムの構成について説明する。図１は、本実施形態の画像符号化システム１のブロック図である。画像符号化システム１は、画像処理装置１０と、画像生成装置２０と、画像符号化装置３０と、通信制御装置４０と、記憶装置５０とを備える画像処理システムである。画像生成装置２０は、静止画像又は動画像（以下、「元画像」という）を撮像し、撮像した元画像を表す画像データを生成する。画像データは、元画像が静止画像の場合には１つのフレームデータを含み、元画像が動画像の場合には複数のフレームデータを含む。画像生成装置２０は、例えばカメラモジュールである。画像処理装置１０は、少なくとも１つのフレームデータを含む入力ストリームに画像処理を施し、出力ストリームを生成する。画像符号化装置３０は、出力ストリームを符号化し、符号化データを生成する。通信制御装置４０は、ネットワーク９を介して、画像符号化装置３０が生成した符号化データを画像復号システム２へ送信する。記憶装置５０は、画像処理に必要な様々なデータを記憶する。記憶装置５０は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ネットワーク９は、例えばインターネットである。符号化データは、画像復号システム２で復号され、ディスプレイ８に表示される。
【０００９】
本実施形態の画像処理装置１０の構成について説明する。図２は、本実施形態の画像処理装置１０のブロック図である。画像処理装置１０は、フレームサンプリング部１２と、特徴量検出部１４と、フレーム制御部１６と、出力データ生成部１８とを備える。フレームサンプリング部１２は、入力ストリームをサンプリングする。特徴量検出部１４は、サンプリングされたフレームデータに基づいて特徴領域情報を生成する。特徴領域情報は、元画像の特徴部分を含む特徴領域のフレームデータ上の位置を示す情報である。フレーム制御部１６は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、特徴領域のサイズに応じた最適領域のフレームデータ上の位置を示す情報である。出力データ生成部１８は、入力ストリーム及び最適領域情報に基づいて出力ストリームを生成する。出力ストリームは、入力ストリームの各フレームデータのうち最適領域の画像データを含む。なお、フレームサンプリング部１２は省略可能である。この場合、特徴量検出部１４は、入力ストリームのフレームデータに基づいて特徴領域情報を生成する。
【００１０】
本実施形態の画像処理装置１０の動作について説明する。図３は、本実施形態の画像処理のフローチャートである。
＜Ｓ３００＞ フレームサンプリング部１２は、所定の入力フレームレート（例えば、３０ｆｐｓ）で入力された入力ストリームを、所定のサンプルフレームレート（例えば、２ｆｐｓ）でサンプリングする。これにより、特徴量検出部１４に入力するフレームデータが低減される。その結果、特徴量検出部１４及びフレーム制御部１６の処理量を低減することができる。
【００１１】
＜Ｓ３０２＞ 特徴量検出部１４は、所定の分析手法を用いて、サンプリングされたフレームデータの画像の特徴部分を検出し、特徴領域情報を生成する。特徴領域情報は、記憶装置５０に格納される。分析手法は、例えば輝度勾配方向共起ヒストグラム（以下、「ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）」という）である。特徴領域情報は、フレームデータ上の特徴領域に対応する矩形領域を画定する。
【００１２】
図４は、本実施形態の特徴領域情報の一例を説明する図であり、同一画面上に２人の人物がいる場合を示している。特徴部分は人物の上半身（バストアップ）であり、且つ、特徴領域Ｆａ及びＦｂはそれぞれ、１人の人物の上半身を囲む矩形領域である。即ち、特徴領域Ｆの数は、元画像が含む人物の人数と等しい。図５は、本実施形態の特徴領域情報のデータ構造の説明図である。特徴領域情報は、特徴領域Ｆの任意の１角に位置する第１特徴端部Ｆ１の第１特徴座標（Ｘｆａ１，Ｙｆａ１）と、第１特徴端部Ｆ１の対角に位置する第２特徴端部Ｆ２の第２特徴座標（Ｘｆａ２，Ｙｆａ２）とを含む。これにより、矩形領域を特定することができる。
【００１３】
＜Ｓ３０４＞ フレーム制御部１６は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、記憶装置５０に格納される。例えば、入力フレームレートが３０ｆｐｓ且つサンプルフレームレートが２ｆｐｓの場合、フレーム制御部１６は、１秒当たり２個の特徴領域情報から３０個の最適領域情報を生成する。
【００１４】
最適領域Ｂは、全ての特徴領域Ｆを含むカバー領域Ｃと、Ｘ方向の第１オフセットＯｘ及びＹ方向の第２オフセットＯｙにより画定されるオフセット領域と、を含む矩形領域である。最適領域情報は、最適領域Ｂの任意の１角に位置する第１最適端部Ｂ１の第１最適座標（Ｘｂ１，Ｙｂ１）と、第１最適端部Ｂ１の対角に位置する第２最適端部Ｂ２の第２最適座標（Ｘｂ２，Ｙｂ２）とを含む。即ち、最適領域Ｂの位置及びサイズは、特徴領域Ｆの位置及びサイズに依存する。図６は、本実施形態の最適領域情報の説明図である。
【００１５】
＜Ｓ３０６＞ 出力データ生成部１８は、入力ストリームと、記憶装置５０の最適領域情報とを用いて、出力ストリームを生成する。より具体的には、出力データ生成部１８は、入力ストリームの複数のフレームデータに対して、最適領域情報が示す最適領域Ｂの抽出された画素を解像度に応じたサイズにリサイズし、出力画像データを生成する。解像度は、予め与えられる情報であり、例えばディスプレイ８の解像度に対応する。出力画像データは、記憶装置５０に記憶される。出力データ生成部１８は、出力画像データを入力ストリームのフレーム数と同じフレーム数の出力ストリームにパッケージングし、通信制御装置４０を介して、出力ストリームを出力する。
【００１６】
なお、特徴領域情報及び最適領域情報はそれぞれ、矩形領域を特定可能な情報であればどのようなものでも良い。例えば、特徴領域情報は、第１特徴座標と、特徴領域のＸ方向及びＹ方向の大きさを示すサイズ情報との組み合わせを含んでも良いし、最適領域情報は、第１最適座標と、最適領域のサイズ情報との組み合わせを含んでも良い。
【００１７】
（第１実施形態）
第１実施形態について説明する。第１実施形態は、元画像の特徴領域に対応する出力画像データを生成するフレーム制御部１６の例である。
【００１８】
第１実施形態のフレーム制御部１６の構成について説明する。図７は、第１実施形態のフレーム制御部１６のブロック図である。フレーム制御部１６は、カバー領域生成部１６０と、最適領域生成部１６２とを備える。カバー領域生成部１６０は、特徴領域情報に基づいてカバー領域情報を生成する。カバー領域情報は、全特徴領域を含むカバー領域のフレームデータ上の位置を示す情報である。なお、特徴部分が１つの場合、カバー領域情報は、特徴領域情報と同一である。最適領域生成部１６２は、カバー領域情報及び所定のオフセットを用いた演算を行い、最適領域情報を生成する。
【００１９】
第１実施形態のフレーム制御部１６の動作について説明する。図８は、第１実施形態のフレーム制御のフローチャートである。図９は、第１実施形態のフレーム制御の説明図である。図９において、Ｘｆａ１＜Ｘｆａ２＜Ｘｆｂ１＜Ｘｆｂ２、Ｙｆａ１＜Ｙｆｂ１＜Ｙｆｂ２＜Ｙｆａ２とする。
【００２０】
＜Ｓ８００＞ カバー領域生成部１６０は、特徴領域情報の全座標の中から最小座標及び最大座標を決定する。特徴領域情報の全座標とは、特徴領域Ｆを特定する第１及び第２座標を意味する。特徴領域情報の座標の数は、特徴領域Ｆの数に依存する。図９（Ａ）の場合、特徴領域情報の全座標（Ｘｆａ１，Ｙｆａ１）、（Ｘｆａ２，Ｙｆａ２）、（Ｘｆｂ１，Ｙｆｂ１）及び（Ｘｆｂ２，Ｙｆｂ２）の中から、最小座標（Ｘｆａ１，Ｙｆａ１）及び最大座標（Ｘｆｂ２，Ｙｆａ２）が決まる。この場合、特徴領域Ｆａ及びＦｂの大きさが一様でないため、最小座標は第１特徴座標（Ｘｆａ１，Ｙｆａ１）と一致するが、最大座標は特徴座標の何れとも一致しない。なお、全特徴領域のＸ方向及びＹ方向の大きさが一様である場合、最小座標及び最大座標は特徴座標の何れかと一致する。
【００２１】
＜Ｓ８０２＞ カバー領域生成部１６０は、最小座標をカバー領域の第１カバー座標（Ｘｃ１，Ｙｃ１）として決定し、最大座標をカバー領域の第２カバー座標（Ｘｃ２，Ｙｃ２）として決定し、カバー領域情報を生成する。図９（Ｂ）の場合、第１カバー座標（Ｘｃ１，Ｙｃ１）は最小座標（Ｘｆａ１，Ｙｆａ１）であり、第２カバー座標（Ｘｃ２，Ｙｃ２）は最大座標（Ｘｆｂ２，Ｙｆａ２）である。カバー領域Ｃは、第１及び第２カバー座標で画定される矩形領域である。
【００２２】
＜Ｓ８０４＞ 最適領域生成部１６２は、最適領域情報に基づいて最適領域のサイズを計算し、最適領域のサイズ及び所定のアスペクト比（例えば、１６：９）に基づいて第１オフセットＯｘ及び第２オフセットＯｙを計算する。最適領域生成部１６２は、最適領域ＢのＸ方向及びＹ方向の大きさの比率が所定のアスペクト比と一致するように、第１及び第２オフセットＯｘ及びＯｙを計算する。アスペクト比は、予め決められたディスプレイ８の値であっても良いし、画像処理装置１０の外部（例えばユーザ）から与えられる任意の値であっても良い。
【００２３】
＜Ｓ８０６＞ 最適領域生成部１６２は、カバー領域情報（第１及び第２カバー座標）と、第１及び第２オフセットＯｘ及びＯｙとを用いた演算を行い、最適領域情報を生成する。最適領域情報は、第１及び第２最適座標を含む。図９（Ｃ）の場合、第１最適座標（Ｘｂ１，Ｙｂ１）は（Ｘｃ１−Ｏｘ，Ｙｃ１−Ｏｙ）であり、第２最適座標（Ｘｂ２，Ｙｂ２）は（Ｘｃ２＋Ｏｘ，Ｙｃ２＋Ｏｙ）である。これにより、最適領域Ｂは、所定のアスペクト比を有する。なお、カバー領域ＣのＸ方向及びＹ方向の大きさの比率が所定のアスペクト比と一致する場合、第１及び第２オフセットＯｘ及びＯｙは何れもゼロである。
【００２４】
なお、特徴領域が１つの場合には、特徴領域とカバー領域が一致するので、第１カバー座標（Ｘｃ１，Ｙｃ１）は第１特徴座標（Ｘｆ１，Ｙｆ１）、第２カバー座標（Ｘｃ２，Ｙｃ２）は第２特徴座標（Ｘｆ２，Ｙｆ２）である。この場合、Ｓ８００及びＳ８０２は省略可能である。
【００２５】
＜Ｓ８０８＞ 最適領域生成部１６２は、最適領域情報を記憶装置５０へ転送する。そして、出力データ生成部１８は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、記憶装置５０の最適領域情報で画定される最適領域Ｂの画素を含む出力画像データを生成する（Ｓ３０６）。
【００２６】
なお、第１実施形態では、記憶装置５０は省略可能である。この場合、最適領域生成部１６２は、最適領域情報を出力データ生成部１８へ出力する。出力データ生成部１８は、入力された最適領域情報に基づいて出力画像データを生成する（Ｓ３０６）。
【００２７】
第１実施形態によれば、元画像の特徴部分を含む最適領域の位置を示す最適領域情報が生成され、最適領域情報に基づいて出力画像データが生成される。これにより、ユーザは、画像処理装置１０に指示を与えることなく、特徴部分を表す出力画像を得ることができる。
【００２８】
（第２実施形態）
第２実施形態について説明する。第２実施形態は、フレームの動きをトレースしながら、出力画像データを生成するフレーム制御部１６の例である。なお、第１実施形態と同様の説明は省略する。
【００２９】
第２実施形態のフレーム制御部１６の構成について説明する。図１０は、第２実施形態のフレーム制御部１６のブロック図である。フレーム制御部１６は、カバー領域生成部１６０と、基準領域生成部１６１と、最適領域生成部１６２とを備える。なお、カバー領域生成部１６０は、第１実施形態と同様である。基準領域生成部１６１は、カバー領域情報に基づいて基準領域情報を生成する。基準領域情報は、ｎ−１（ｎは、１以上の整数）番目の前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かの条件を示す情報である。最適領域生成部１６２は、基準領域情報に基づいて、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かを判定し、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）としない場合、前フレームの最適領域Ｂ（ｎ−１）を示す最適領域情報を現フレームの最適領域Ｂ（ｎ）を示す最適領域情報へ変更する。なお、記憶装置５０には、初期の最適領域情報（例えば、元画像の全領域を画定する第１及び第２最適座標）が予め記憶されている。従って、最初の出力ストリームに対しては、初期の最適領域情報に対応する最適領域が現フレームの最適領域Ｂ（ｎ）になる。
【００３０】
第２実施形態のフレーム制御部１６の動作について説明する。図１１は、第２実施形態のフレーム制御のフローチャートである。
＜Ｓ１１００〜Ｓ１１０２＞ カバー領域生成部１６０は、第１実施形態のＳ８００及びＳ８０２と同様に、カバー領域情報を生成する。
【００３１】
＜Ｓ１１０４＞ 基準領域生成部１６１は、第１及び第２カバー座標と、第１及び第２オフセットＯｘ及びＯｙと、を用いた演算を行い、ターゲット領域情報を生成する。図１２は、第２実施形態のターゲット領域情報のデータ構造の説明図である。ターゲット領域情報は、第１ターゲット座標（Ｘｔ１，Ｙｔ１）（＝（Ｘｃ１−Ｏｘ，Ｙｃ１−Ｏｙ））及び第２ターゲット座標（Ｘｔ２，Ｙｔ２）（＝（Ｘｃ２＋Ｏｘ，Ｙｃ２＋Ｏｙ））を含む。ターゲット領域Ｔは、第１ターゲット座標（Ｘｔ１，Ｙｔ１）及び第２ターゲット座標（Ｘｔ２，Ｙｔ２）で画定される矩形領域である。ターゲット領域Ｔとは、基準領域情報を生成するためのベースとなる領域を意味し、フレームの動きをトレースするために用いられる情報である。
【００３２】
＜Ｓ１１０６＞ 基準領域生成部１６１は、ターゲット領域情報及び内側パラメータを用いて、内側基準領域情報を生成する。図１３は、第２実施形態のターゲット領域Ｔ及び内側基準領域Ｒｉの概略図である。内側基準領域Ｒｉは、ターゲット領域Ｔより内側の許容範囲を示す（図１３（Ａ））。内側パラメータは、Ｘ方向の第１内側パラメータＰｉｘと、Ｙ方向の第２内側パラメータＰｉｙとを含む（図１３（Ｂ））。基準領域生成部１６１は、式１に基づいて第１内側座標（Ｘｒｉ１，Ｙｒｉ１）及び第２内側座標（Ｘｒｉ２，Ｙｒｉ２）を生成する。内側基準領域Ｒｉは、第１内側座標（Ｘｒｉ１，Ｙｒｉ１）及び第２内側座標（Ｘｒｉ２，Ｙｒｉ２）とで画定される矩形領域である。内側基準領域情報は、記憶装置５０に記憶される。内側パラメータは、記憶装置５０に予め記憶されていても良いし、画像処理装置１０の外部から与えられても良い。
【数１】
【００３３】
＜Ｓ１１０８＞ 基準領域生成部１６１は、ターゲット領域情報及び外側パラメータを用いて、外側基準領域情報を生成する。図１４は、第２実施形態のターゲット領域Ｔ及び外側基準領域Ｒｏの概略図である。外側基準領域Ｒｏは、ターゲット領域Ｔより最適領域Ｂの外側の許容範囲を示す（図１４（Ａ））。外側パラメータは、Ｘ方向の第１外側パラメータＰｏｘと、Ｙ方向の第２外側パラメータＰｏｙとを含む（図１４（Ｂ））。基準領域生成部１６１は、式２に基づいて第１外側座標（Ｘｒｏ１，Ｙｒｏ１）及び第２外側座標（Ｘｒｏ２，Ｙｒｏ２）を生成する。外側基準領域Ｒｏは、第１外側座標（Ｘｒｏ１，Ｙｒｏ１）及び第２外側座標（Ｘｒｏ２，Ｙｒｏ２）とで画定される矩形領域である。外側基準領域情報は、記憶装置５０に記憶される。外側パラメータは、記憶装置５０に予め記憶されていても良いし、画像処理装置１０の外部から与えられても良い。
【数２】
【００３４】
＜Ｓ１１１０＞ 最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）と、内側基準領域Ｒｉ及び外側基準領域Ｒｏとの位置関係に基づいて、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かを判定する。図１５及び１６は、第２実施形態の最適領域Ｂの説明図である。
【００３５】
図１５に示すように、前フレームの最適領域Ｂ（ｎ−１）が内側基準領域Ｒｉの全体を含み（第１条件）、且つ、外側基準領域Ｒｏが最適領域Ｂの全体を含む（第２条件）場合、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。換言すると、前フレームの最適領域Ｂ（ｎ−１）の各辺が内側基準領域Ｒｉ及び外側基準領域Ｒｏの各辺の間にある場合、最適領域生成部１６２は、前フレーム最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。より具体的には、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）の第１座標（Ｘｂ（ｎ−１）１，Ｙｂ（ｎ−１）１）及び第２座標（Ｘｂ（ｎ−１）２，Ｙｂ（ｎ−１）２）について、式３の全条件が成立する場合、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。この場合、Ｓ１１１０の後 にＳ１１１４へ進む。
【数３】
【数４】
【００３６】
一方、図１６に示すように、第１条件及び第２条件のいずれかが成立しない場合、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）としない、と判定する。より具体的には、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）の第１座標（Ｘｂ（ｎ−１）１，Ｙｂ（ｎ−１）１）及び第２座標（Ｘｂ（ｎ−１）２，Ｙｂ（ｎ−１）２）について、式３の４つの条件のいずれかが成立しない場合、最適領域Ｂの移動が必要と判定する。換言すると、最適領域生成部１６２は、最適領域Ｂが内側基準領域Ｒｉ及び外側基準領域Ｒｏで画定される許容範囲に含まれない場合、最適領域Ｂの移動が必要と判定する。この場合、Ｓ１１１０の後にＳ１１１２へ進む。
【００３７】
＜Ｓ１１１２＞ 最適領域生成部１６２は、記憶装置５０の最適領域情報を更新する。最適領域Ｂが、ターゲット領域Ｔに近づくように移動される。図１７は、第２実施形態の最適領域移動のフローチャートである。
【００３８】
＜Ｓ１７００＞ 最適領域生成部１６２は、最適領域Ｂのサイズを所定画素数（例えば、２画素）分だけ変更するための第１及び第２最適座標のサイズ変化量を計算する。サイズ変化量は、最適領域Ｂのサイズをターゲット領域Ｔのサイズに近づけるための変倍率を示す情報であり、所定のサイズステップ量で決まる。
【００３９】
＜Ｓ１７０２＞ 最適領域生成部１６２は、最適領域Ｂの位置を所定画素数（例えば、２画素）分だけ変更するための第１及び第２最適座標の位置変化量を計算する。位置変化量は、最適領域Ｂの位置をターゲット領域Ｔの位置に近づけるためのシフト量を示す情報であり、所定のシフトステップ量で決まる。
【００４０】
＜Ｓ１７０４＞ 最適領域生成部１６２は、サイズ変化量及び位置変化量に基づいて、記憶装置５０の最適領域情報の第１及び第２最適座標を変更する。更新後の最適領域情報は、移動後の最適領域Ｂ´の位置を示す。より具体的には、最適領域生成部１６２は、式５及び６を用いて第１及び第２最適座標を変更する。式５において、Ｗｂ（ｎ）は現フレームの最適領域の幅であり、Ｗｂ（ｎ−１）は前フレームの最適領域の幅であり、Ｚｏは所定のズーム量であり、Ｈｂ（ｎ）は現フレームの最適領域の高さであり、Ｈｂ（ｎ−１）は前フレームの最適領域の高さであり、ＡＶはアスペクト値である。例えばアスペクト比が１６：９の場合、アスペクト値は１６／９である。式６において、Ｈｓｏは水平方向の位置変化量であり、Ｖｓｏは垂直方向の位置変化量である。
【数５】
【数６】
【００４１】
＜Ｓ１１１４＞ 最適領域生成部１６２は、記憶装置５０の最適領域情報を出力データ生成部１８へ出力する。例えば、現フレームに対するＳ１１１４の直前で記憶装置５０に記憶されている最適領域情報は、前フレームに対するフレーム制御が終了した時点（即ち、現フレームに対するＳ１１１０の直前）で記憶装置５０に記憶されている前フレームの最適領域情報（即ち、移動前の最適領域Ｂの位置を示す情報）か、現フレームに対するＳ１７０４で更新された現フレームの最適領域情報（即ち、移動後の最適領域Ｂ´の位置を示す情報）である。
【００４２】
そして、出力データ生成部１８は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、Ｓ１１１４で出力された最適領域情報の第１最適座標（Ｘｂ１，Ｙｂ１）及び第２最適座標（Ｘｂ２，Ｙｂ２）で画定される最適領域Ｂ又は移動後の最適領域Ｂ´の画素を含む出力画像データを生成する（Ｓ３０６）。
【００４３】
第２実施形態では、Ｓ１１１０で最適領域Ｂの移動が必要と判定された場合、更新後の第１最適座標（Ｘｂ１，Ｙｂ１）及び第２最適座標（Ｘｂ２，Ｙｂ２）で画定される移動後の最適領域Ｂ´の画素を含む出力画像データが生成される。一方、Ｓ１１１０で最適領域Ｂの移動が不要と判定された場合、前フレームの最適領域Ｂ（ｎ−１）の画素を含む出力画像データが生成される。第２実施形態によれば、フレームの動きをトレースするので、特徴部分の動きが大きい場合、特徴部分を滑らかに追いかける画像を生成することができ、特徴部分の動きが少ない場合、静止した画像を生成することができる。
【００４４】
なお、本実施形態の画像処理装置１０は、画像処理符号化システムだけではなく、画像復号システム２に設けられても良い。図１８は、本実施形態の画像復号システム２のブロック図である。画像復号システム２は、画像処理装置１０と、通信制御装置４０と、記憶装置５０と、画像復号装置６０と、表示制御装置７０とを含む画像処理システムである。画像復号装置６０は、符号化データを復号し、入力ストリームを生成する。画像処理装置１０は、画像復号装置６０が生成した入力ストリームに基づいて出力ストリームを生成する。表示制御装置７０は、画像処理装置１０が生成した出力ストリームに基づいて、ディスプレイ８に表示するための表示用画像データを生成する。ディスプレイ８には、表示用画像データに対応する画像が表示される。
【００４５】
本実施形態に係る画像符号化システム１の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像符号化システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。
【００４６】
また、本実施形態に係る画像符号化システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
【００４７】
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４８】
１ 画像符号化システム
２ 画像復号システム
８ ディスプレイ
９ ネットワーク
１０ 画像処理装置
１２ フレームサンプリング部
１４ 特徴量検出部
１６ フレーム制御部
１６０ カバー領域生成部
１６１ 基準領域生成部
１６２ 最適領域生成部
１８ 出力データ生成部
２０ 画像生成装置
３０ 画像符号化装置
４０ 通信制御装置
５０ 記憶装置
６０ 画像復号装置
７０ 表示制御装置
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像符号化システム及び画像復号システムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、静止画像を表す画像データの特徴部分の任意の１点を特徴点として検出し、ユーザが指定した倍率に従って検出した特徴点を中心とする画像を表す画像データを生成し、生成した画像データに基づいて特徴部分を表す画像データを生成するものである。
【０００３】
この画像処理装置は、ユーザの指定（例えば、指定領域及び指定倍率）に従って画像データを生成するので、ユーザの指定がなければ、特徴部分を表す画像データを生成することはできない。また、この画像処理装置は、静止画像を表す画像データの１点を検出するだけなので、複数枚のフレームから構成される動画像を表す画像データには不適当である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許ＵＳ２０１０／０１７１７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、ユーザの指定なしに、画像データの特徴部分を表す画像データを生成することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、特徴量検出部と、最適領域生成部と、出力データ生成部と、を備える。特徴量検出部と、入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する。最適領域生成部は、前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する。出力データ生成部は、前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の画像符号化システム１のブロック図。
【図２】本実施形態の画像処理装置１０のブロック図。
【図３】本実施形態の画像処理のフローチャート。
【図４】本実施形態の特徴領域情報の説明図。
【図５】本実施形態の特徴領域情報のデータ構造の説明図。
【図６】本実施形態の最適領域情報の説明図。
【図７】第１実施形態のフレーム制御部１６のブロック図。
【図８】第１実施形態のフレーム制御のフローチャート。
【図９】第１実施形態のフレーム制御の説明図。
【図１０】第２実施形態のフレーム制御部１６のブロック図。
【図１１】第２実施形態のフレーム制御のフローチャート。
【図１２】第２実施形態のターゲット領域情報のデータ構造の説明図。
【図１３】第２実施形態のターゲット領域Ｔ及び内側基準領域Ｒｉの概略図。
【図１４】第２実施形態のターゲット領域Ｔ及び外側基準領域Ｒｏの概略図。
【図１５】第２実施形態の最適領域Ｂの移動の要否判定の説明図。
【図１６】第２実施形態の最適領域Ｂの移動の要否判定の説明図。
【図１７】第２実施形態の最適領域移動のフローチャート。
【図１８】本実施形態の画像復号システム２のブロック図。
【発明を実施するための形態】
【０００８】
本実施形態の画像処理システムの構成について説明する。図１は、本実施形態の画像符号化システム１のブロック図である。画像符号化システム１は、画像処理装置１０と、画像生成装置２０と、画像符号化装置３０と、通信制御装置４０と、記憶装置５０とを備える画像処理システムである。画像生成装置２０は、静止画像又は動画像（以下、「元画像」という）を撮像し、撮像した元画像を表す画像データを生成する。画像データは、元画像が静止画像の場合には１つのフレームデータを含み、元画像が動画像の場合には複数のフレームデータを含む。画像生成装置２０は、例えばカメラモジュールである。画像処理装置１０は、少なくとも１つのフレームデータを含む入力ストリームに画像処理を施し、出力ストリームを生成する。画像符号化装置３０は、出力ストリームを符号化し、符号化データを生成する。通信制御装置４０は、ネットワーク９を介して、画像符号化装置３０が生成した符号化データを画像復号システム２へ送信する。記憶装置５０は、画像処理に必要な様々なデータを記憶する。記憶装置５０は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ネットワーク９は、例えばインターネットである。符号化データは、画像復号システム２で復号され、ディスプレイ８に表示される。
【０００９】
本実施形態の画像処理装置１０の構成について説明する。図２は、本実施形態の画像処理装置１０のブロック図である。画像処理装置１０は、フレームサンプリング部１２と、特徴量検出部１４と、フレーム制御部１６と、出力データ生成部１８とを備える。フレームサンプリング部１２は、入力ストリームをサンプリングする。特徴量検出部１４は、サンプリングされたフレームデータに基づいて特徴領域情報を生成する。特徴領域情報は、元画像の特徴部分を含む特徴領域のフレームデータ上の位置を示す情報である。フレーム制御部１６は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、特徴領域のサイズに応じた最適領域のフレームデータ上の位置を示す情報である。出力データ生成部１８は、入力ストリーム及び最適領域情報に基づいて出力ストリームを生成する。出力ストリームは、入力ストリームの各フレームデータのうち最適領域の画像データを含む。なお、フレームサンプリング部１２は省略可能である。この場合、特徴量検出部１４は、入力ストリームのフレームデータに基づいて特徴領域情報を生成する。
【００１０】
本実施形態の画像処理装置１０の動作について説明する。図３は、本実施形態の画像処理のフローチャートである。
＜Ｓ３００＞ フレームサンプリング部１２は、所定の入力フレームレート（例えば、３０ｆｐｓ）で入力された入力ストリームを、所定のサンプルフレームレート（例えば、２ｆｐｓ）でサンプリングする。これにより、特徴量検出部１４に入力するフレームデータが低減される。その結果、特徴量検出部１４及びフレーム制御部１６の処理量を低減することができる。
【００１１】
＜Ｓ３０２＞ 特徴量検出部１４は、所定の分析手法を用いて、サンプリングされたフレームデータの画像の特徴部分を検出し、特徴領域情報を生成する。特徴領域情報は、記憶装置５０に格納される。分析手法は、例えば輝度勾配方向共起ヒストグラム（以下、「ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）」という）である。特徴領域情報は、フレームデータ上の特徴領域に対応する矩形領域を画定する。
【００１２】
図４は、本実施形態の特徴領域情報の一例を説明する図であり、同一画面上に２人の人物がいる場合を示している。特徴部分は人物の上半身（バストアップ）であり、且つ、特徴領域Ｆａ及びＦｂはそれぞれ、１人の人物の上半身を囲む矩形領域である。即ち、特徴領域Ｆの数は、元画像が含む人物の人数と等しい。図５は、本実施形態の特徴領域情報のデータ構造の説明図である。特徴領域情報は、特徴領域Ｆの任意の１角に位置する第１特徴端部Ｆ１の第１特徴座標（Ｘｆａ１，Ｙｆａ１）と、第１特徴端部Ｆ１の対角に位置する第２特徴端部Ｆ２の第２特徴座標（Ｘｆａ２，Ｙｆａ２）とを含む。これにより、矩形領域を特定することができる。
【００１３】
＜Ｓ３０４＞ フレーム制御部１６は、特徴領域情報に基づいて最適領域情報を生成する。最適領域情報は、記憶装置５０に格納される。例えば、入力フレームレートが３０ｆｐｓ且つサンプルフレームレートが２ｆｐｓの場合、フレーム制御部１６は、１秒当たり２個の特徴領域情報から３０個の最適領域情報を生成する。
【００１４】
最適領域Ｂは、全ての特徴領域Ｆを含むカバー領域Ｃと、Ｘ方向の第１オフセットＯｘ及びＹ方向の第２オフセットＯｙにより画定されるオフセット領域と、を含む矩形領域である。最適領域情報は、最適領域Ｂの任意の１角に位置する第１最適端部Ｂ１の第１最適座標（Ｘｂ１，Ｙｂ１）と、第１最適端部Ｂ１の対角に位置する第２最適端部Ｂ２の第２最適座標（Ｘｂ２，Ｙｂ２）とを含む。即ち、最適領域Ｂの位置及びサイズは、特徴領域Ｆの位置及びサイズに依存する。図６は、本実施形態の最適領域情報の説明図である。
【００１５】
＜Ｓ３０６＞ 出力データ生成部１８は、入力ストリームと、記憶装置５０の最適領域情報とを用いて、出力ストリームを生成する。より具体的には、出力データ生成部１８は、入力ストリームの複数のフレームデータに対して、最適領域情報が示す最適領域Ｂの抽出された画素を解像度に応じたサイズにリサイズし、出力画像データを生成する。解像度は、予め与えられる情報であり、例えばディスプレイ８の解像度に対応する。出力画像データは、記憶装置５０に記憶される。出力データ生成部１８は、出力画像データを入力ストリームのフレーム数と同じフレーム数の出力ストリームにパッケージングし、通信制御装置４０を介して、出力ストリームを出力する。
【００１６】
なお、特徴領域情報及び最適領域情報はそれぞれ、矩形領域を特定可能な情報であればどのようなものでも良い。例えば、特徴領域情報は、第１特徴座標と、特徴領域のＸ方向及びＹ方向の大きさを示すサイズ情報との組み合わせを含んでも良いし、最適領域情報は、第１最適座標と、最適領域のサイズ情報との組み合わせを含んでも良い。
【００１７】
（第１実施形態）
第１実施形態について説明する。第１実施形態は、元画像の特徴領域に対応する出力画像データを生成するフレーム制御部１６の例である。
【００１８】
第１実施形態のフレーム制御部１６の構成について説明する。図７は、第１実施形態のフレーム制御部１６のブロック図である。フレーム制御部１６は、カバー領域生成部１６０と、最適領域生成部１６２とを備える。カバー領域生成部１６０は、特徴領域情報に基づいてカバー領域情報を生成する。カバー領域情報は、全特徴領域を含むカバー領域のフレームデータ上の位置を示す情報である。なお、特徴部分が１つの場合、カバー領域情報は、特徴領域情報と同一である。最適領域生成部１６２は、カバー領域情報及び所定のオフセットを用いた演算を行い、最適領域情報を生成する。
【００１９】
第１実施形態のフレーム制御部１６の動作について説明する。図８は、第１実施形態のフレーム制御のフローチャートである。図９は、第１実施形態のフレーム制御の説明図である。図９において、Ｘｆａ１＜Ｘｆａ２＜Ｘｆｂ１＜Ｘｆｂ２、Ｙｆａ１＜Ｙｆｂ１＜Ｙｆｂ２＜Ｙｆａ２とする。
【００２０】
＜Ｓ８００＞ カバー領域生成部１６０は、特徴領域情報の全座標の中から最小座標及び最大座標を決定する。特徴領域情報の全座標とは、特徴領域Ｆを特定する第１及び第２座標を意味する。特徴領域情報の座標の数は、特徴領域Ｆの数に依存する。図９（Ａ）の場合、特徴領域情報の全座標（Ｘｆａ１，Ｙｆａ１）、（Ｘｆａ２，Ｙｆａ２）、（Ｘｆｂ１，Ｙｆｂ１）及び（Ｘｆｂ２，Ｙｆｂ２）の中から、最小座標（Ｘｆａ１，Ｙｆａ１）及び最大座標（Ｘｆｂ２，Ｙｆａ２）が決まる。この場合、特徴領域Ｆａ及びＦｂの大きさが一様でないため、最小座標は第１特徴座標（Ｘｆａ１，Ｙｆａ１）と一致するが、最大座標は特徴座標の何れとも一致しない。なお、全特徴領域のＸ方向及びＹ方向の大きさが一様である場合、最小座標及び最大座標は特徴座標の何れかと一致する。
【００２１】
＜Ｓ８０２＞ カバー領域生成部１６０は、最小座標をカバー領域の第１カバー座標（Ｘｃ１，Ｙｃ１）として決定し、最大座標をカバー領域の第２カバー座標（Ｘｃ２，Ｙｃ２）として決定し、カバー領域情報を生成する。図９（Ｂ）の場合、第１カバー座標（Ｘｃ１，Ｙｃ１）は最小座標（Ｘｆａ１，Ｙｆａ１）であり、第２カバー座標（Ｘｃ２，Ｙｃ２）は最大座標（Ｘｆｂ２，Ｙｆａ２）である。カバー領域Ｃは、第１及び第２カバー座標で画定される矩形領域である。
【００２２】
＜Ｓ８０４＞ 最適領域生成部１６２は、最適領域情報に基づいて最適領域のサイズを計算し、最適領域のサイズ及び所定のアスペクト比（例えば、１６：９）に基づいて第１オフセットＯｘ及び第２オフセットＯｙを計算する。最適領域生成部１６２は、最適領域ＢのＸ方向及びＹ方向の大きさの比率が所定のアスペクト比と一致するように、第１及び第２オフセットＯｘ及びＯｙを計算する。アスペクト比は、予め決められたディスプレイ８の値であっても良いし、画像処理装置１０の外部（例えばユーザ）から与えられる任意の値であっても良い。
【００２３】
＜Ｓ８０６＞ 最適領域生成部１６２は、カバー領域情報（第１及び第２カバー座標）と、第１及び第２オフセットＯｘ及びＯｙとを用いた演算を行い、最適領域情報を生成する。最適領域情報は、第１及び第２最適座標を含む。図９（Ｃ）の場合、第１最適座標（Ｘｂ１，Ｙｂ１）は（Ｘｃ１−Ｏｘ，Ｙｃ１−Ｏｙ）であり、第２最適座標（Ｘｂ２，Ｙｂ２）は（Ｘｃ２＋Ｏｘ，Ｙｃ２＋Ｏｙ）である。これにより、最適領域Ｂは、所定のアスペクト比を有する。なお、カバー領域ＣのＸ方向及びＹ方向の大きさの比率が所定のアスペクト比と一致する場合、第１及び第２オフセットＯｘ及びＯｙは何れもゼロである。
【００２４】
なお、特徴領域が１つの場合には、特徴領域とカバー領域が一致するので、第１カバー座標（Ｘｃ１，Ｙｃ１）は第１特徴座標（Ｘｆ１，Ｙｆ１）、第２カバー座標（Ｘｃ２，Ｙｃ２）は第２特徴座標（Ｘｆ２，Ｙｆ２）である。この場合、Ｓ８００及びＳ８０２は省略可能である。
【００２５】
＜Ｓ８０８＞ 最適領域生成部１６２は、最適領域情報を記憶装置５０へ転送する。そして、出力データ生成部１８は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、記憶装置５０の最適領域情報で画定される最適領域Ｂの画素を含む出力画像データを生成する（Ｓ３０６）。
【００２６】
なお、第１実施形態では、記憶装置５０は省略可能である。この場合、最適領域生成部１６２は、最適領域情報を出力データ生成部１８へ出力する。出力データ生成部１８は、入力された最適領域情報に基づいて出力画像データを生成する（Ｓ３０６）。
【００２７】
第１実施形態によれば、元画像の特徴部分を含む最適領域の位置を示す最適領域情報が生成され、最適領域情報に基づいて出力画像データが生成される。これにより、ユーザは、画像処理装置１０に指示を与えることなく、特徴部分を表す出力画像を得ることができる。
【００２８】
（第２実施形態）
第２実施形態について説明する。第２実施形態は、フレームの動きをトレースしながら、出力画像データを生成するフレーム制御部１６の例である。なお、第１実施形態と同様の説明は省略する。
【００２９】
第２実施形態のフレーム制御部１６の構成について説明する。図１０は、第２実施形態のフレーム制御部１６のブロック図である。フレーム制御部１６は、カバー領域生成部１６０と、基準領域生成部１６１と、最適領域生成部１６２とを備える。なお、カバー領域生成部１６０は、第１実施形態と同様である。基準領域生成部１６１は、カバー領域情報に基づいて基準領域情報を生成する。基準領域情報は、ｎ−１（ｎは、１以上の整数）番目の前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かの条件を示す情報である。最適領域生成部１６２は、基準領域情報に基づいて、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かを判定し、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）としない場合、前フレームの最適領域Ｂ（ｎ−１）を示す最適領域情報を現フレームの最適領域Ｂ（ｎ）を示す最適領域情報へ変更する。なお、記憶装置５０には、初期の最適領域情報（例えば、元画像の全領域を画定する第１及び第２最適座標）が予め記憶されている。従って、最初の出力ストリームに対しては、初期の最適領域情報に対応する最適領域が現フレームの最適領域Ｂ（ｎ）になる。
【００３０】
第２実施形態のフレーム制御部１６の動作について説明する。図１１は、第２実施形態のフレーム制御のフローチャートである。
＜Ｓ１１００〜Ｓ１１０２＞ カバー領域生成部１６０は、第１実施形態のＳ８００及びＳ８０２と同様に、カバー領域情報を生成する。
【００３１】
＜Ｓ１１０４＞ 基準領域生成部１６１は、第１及び第２カバー座標と、第１及び第２オフセットＯｘ及びＯｙと、を用いた演算を行い、ターゲット領域情報を生成する。図１２は、第２実施形態のターゲット領域情報のデータ構造の説明図である。ターゲット領域情報は、第１ターゲット座標（Ｘｔ１，Ｙｔ１）（＝（Ｘｃ１−Ｏｘ，Ｙｃ１−Ｏｙ））及び第２ターゲット座標（Ｘｔ２，Ｙｔ２）（＝（Ｘｃ２＋Ｏｘ，Ｙｃ２＋Ｏｙ））を含む。ターゲット領域Ｔは、第１ターゲット座標（Ｘｔ１，Ｙｔ１）及び第２ターゲット座標（Ｘｔ２，Ｙｔ２）で画定される矩形領域である。ターゲット領域Ｔとは、基準領域情報を生成するためのベースとなる領域を意味し、フレームの動きをトレースするために用いられる情報である。
【００３２】
＜Ｓ１１０６＞ 基準領域生成部１６１は、ターゲット領域情報及び内側パラメータを用いて、内側基準領域情報を生成する。図１３は、第２実施形態のターゲット領域Ｔ及び内側基準領域Ｒｉの概略図である。内側基準領域Ｒｉは、ターゲット領域Ｔより内側の許容範囲を示す（図１３（Ａ））。内側パラメータは、Ｘ方向の第１内側パラメータＰｉｘと、Ｙ方向の第２内側パラメータＰｉｙとを含む（図１３（Ｂ））。基準領域生成部１６１は、式１に基づいて第１内側座標（Ｘｒｉ１，Ｙｒｉ１）及び第２内側座標（Ｘｒｉ２，Ｙｒｉ２）を生成する。内側基準領域Ｒｉは、第１内側座標（Ｘｒｉ１，Ｙｒｉ１）及び第２内側座標（Ｘｒｉ２，Ｙｒｉ２）とで画定される矩形領域である。内側基準領域情報は、記憶装置５０に記憶される。内側パラメータは、記憶装置５０に予め記憶されていても良いし、画像処理装置１０の外部から与えられても良い。
【数１】
【００３３】
＜Ｓ１１０８＞ 基準領域生成部１６１は、ターゲット領域情報及び外側パラメータを用いて、外側基準領域情報を生成する。図１４は、第２実施形態のターゲット領域Ｔ及び外側基準領域Ｒｏの概略図である。外側基準領域Ｒｏは、ターゲット領域Ｔより最適領域Ｂの外側の許容範囲を示す（図１４（Ａ））。外側パラメータは、Ｘ方向の第１外側パラメータＰｏｘと、Ｙ方向の第２外側パラメータＰｏｙとを含む（図１４（Ｂ））。基準領域生成部１６１は、式２に基づいて第１外側座標（Ｘｒｏ１，Ｙｒｏ１）及び第２外側座標（Ｘｒｏ２，Ｙｒｏ２）を生成する。外側基準領域Ｒｏは、第１外側座標（Ｘｒｏ１，Ｙｒｏ１）及び第２外側座標（Ｘｒｏ２，Ｙｒｏ２）とで画定される矩形領域である。外側基準領域情報は、記憶装置５０に記憶される。外側パラメータは、記憶装置５０に予め記憶されていても良いし、画像処理装置１０の外部から与えられても良い。
【数２】
【００３４】
＜Ｓ１１１０＞ 最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）と、内側基準領域Ｒｉ及び外側基準領域Ｒｏとの位置関係に基づいて、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とするか否かを判定する。図１５及び１６は、第２実施形態の最適領域Ｂの説明図である。
【００３５】
図１５に示すように、前フレームの最適領域Ｂ（ｎ−１）が内側基準領域Ｒｉの全体を含み（第１条件）、且つ、外側基準領域Ｒｏが最適領域Ｂの全体を含む（第２条件）場合、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。換言すると、前フレームの最適領域Ｂ（ｎ−１）の各辺が内側基準領域Ｒｉ及び外側基準領域Ｒｏの各辺の間にある場合、最適領域生成部１６２は、前フレーム最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。より具体的には、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）の第１座標（Ｘｂ（ｎ−１）１，Ｙｂ（ｎ−１）１）及び第２座標（Ｘｂ（ｎ−１）２，Ｙｂ（ｎ−１）２）について、式３の全条件が成立する場合、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）とする。この場合、Ｓ１１１０の後 にＳ１１１４へ進む。
【数３】
【数４】
【００３６】
一方、図１６に示すように、第１条件及び第２条件のいずれかが成立しない場合、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）を現フレームの最適領域Ｂ（ｎ）としない、と判定する。より具体的には、最適領域生成部１６２は、前フレームの最適領域Ｂ（ｎ−１）の第１座標（Ｘｂ（ｎ−１）１，Ｙｂ（ｎ−１）１）及び第２座標（Ｘｂ（ｎ−１）２，Ｙｂ（ｎ−１）２）について、式３の４つの条件のいずれかが成立しない場合、最適領域Ｂの移動が必要と判定する。換言すると、最適領域生成部１６２は、最適領域Ｂが内側基準領域Ｒｉ及び外側基準領域Ｒｏで画定される許容範囲に含まれない場合、最適領域Ｂの移動が必要と判定する。この場合、Ｓ１１１０の後にＳ１１１２へ進む。
【００３７】
＜Ｓ１１１２＞ 最適領域生成部１６２は、記憶装置５０の最適領域情報を更新する。最適領域Ｂが、ターゲット領域Ｔに近づくように移動される。図１７は、第２実施形態の最適領域移動のフローチャートである。
【００３８】
＜Ｓ１７００＞ 最適領域生成部１６２は、最適領域Ｂのサイズを所定画素数（例えば、２画素）分だけ変更するための第１及び第２最適座標のサイズ変化量を計算する。サイズ変化量は、最適領域Ｂのサイズをターゲット領域Ｔのサイズに近づけるための変倍率を示す情報であり、所定のサイズステップ量で決まる。
【００３９】
＜Ｓ１７０２＞ 最適領域生成部１６２は、最適領域Ｂの位置を所定画素数（例えば、２画素）分だけ変更するための第１及び第２最適座標の位置変化量を計算する。位置変化量は、最適領域Ｂの位置をターゲット領域Ｔの位置に近づけるためのシフト量を示す情報であり、所定のシフトステップ量で決まる。
【００４０】
＜Ｓ１７０４＞ 最適領域生成部１６２は、サイズ変化量及び位置変化量に基づいて、記憶装置５０の最適領域情報の第１及び第２最適座標を変更する。更新後の最適領域情報は、移動後の最適領域Ｂ´の位置を示す。より具体的には、最適領域生成部１６２は、式５及び６を用いて第１及び第２最適座標を変更する。式５において、Ｗｂ（ｎ）は現フレームの最適領域の幅であり、Ｗｂ（ｎ−１）は前フレームの最適領域の幅であり、Ｚｏは所定のズーム量であり、Ｈｂ（ｎ）は現フレームの最適領域の高さであり、Ｈｂ（ｎ−１）は前フレームの最適領域の高さであり、ＡＶはアスペクト値である。例えばアスペクト比が１６：９の場合、アスペクト値は１６／９である。式６において、Ｈｓｏは水平方向の位置変化量であり、Ｖｓｏは垂直方向の位置変化量である。
【数５】
【数６】
【００４１】
＜Ｓ１１１４＞ 最適領域生成部１６２は、記憶装置５０の最適領域情報を出力データ生成部１８へ出力する。例えば、現フレームに対するＳ１１１４の直前で記憶装置５０に記憶されている最適領域情報は、前フレームに対するフレーム制御が終了した時点（即ち、現フレームに対するＳ１１１０の直前）で記憶装置５０に記憶されている前フレームの最適領域情報（即ち、移動前の最適領域Ｂの位置を示す情報）か、現フレームに対するＳ１７０４で更新された現フレームの最適領域情報（即ち、移動後の最適領域Ｂ´の位置を示す情報）である。
【００４２】
そして、出力データ生成部１８は、入力ストリームの複数のフレームデータのうちサンプリングされたフレームデータに対して、Ｓ１１１４で出力された最適領域情報の第１最適座標（Ｘｂ１，Ｙｂ１）及び第２最適座標（Ｘｂ２，Ｙｂ２）で画定される最適領域Ｂ又は移動後の最適領域Ｂ´の画素を含む出力画像データを生成する（Ｓ３０６）。
【００４３】
第２実施形態では、Ｓ１１１０で最適領域Ｂの移動が必要と判定された場合、更新後の第１最適座標（Ｘｂ１，Ｙｂ１）及び第２最適座標（Ｘｂ２，Ｙｂ２）で画定される移動後の最適領域Ｂ´の画素を含む出力画像データが生成される。一方、Ｓ１１１０で最適領域Ｂの移動が不要と判定された場合、前フレームの最適領域Ｂ（ｎ−１）の画素を含む出力画像データが生成される。第２実施形態によれば、フレームの動きをトレースするので、特徴部分の動きが大きい場合、特徴部分を滑らかに追いかける画像を生成することができ、特徴部分の動きが少ない場合、静止した画像を生成することができる。
【００４４】
なお、本実施形態の画像処理装置１０は、画像処理符号化システムだけではなく、画像復号システム２に設けられても良い。図１８は、本実施形態の画像復号システム２のブロック図である。画像復号システム２は、画像処理装置１０と、通信制御装置４０と、記憶装置５０と、画像復号装置６０と、表示制御装置７０とを含む画像処理システムである。画像復号装置６０は、符号化データを復号し、入力ストリームを生成する。画像処理装置１０は、画像復号装置６０が生成した入力ストリームに基づいて出力ストリームを生成する。表示制御装置７０は、画像処理装置１０が生成した出力ストリームに基づいて、ディスプレイ８に表示するための表示用画像データを生成する。ディスプレイ８には、表示用画像データに対応する画像が表示される。
【００４５】
本実施形態に係る画像符号化システム１の少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像符号化システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。
【００４６】
また、本実施形態に係る画像符号化システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。
【００４７】
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４８】
１ 画像符号化システム
２ 画像復号システム
８ ディスプレイ
９ ネットワーク
１０ 画像処理装置
１２ フレームサンプリング部
１４ 特徴量検出部
１６ フレーム制御部
１６０ カバー領域生成部
１６１ 基準領域生成部
１６２ 最適領域生成部
１８ 出力データ生成部
２０ 画像生成装置
３０ 画像符号化装置
４０ 通信制御装置
５０ 記憶装置
６０ 画像復号装置
７０ 表示制御装置
【特許請求の範囲】
【請求項１】
入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴領域情報に基づいて、複数の特徴部分を含むカバー領域の位置を示すカバー領域情報を生成する、カバー領域生成部をさらに備え、
前記最適領域生成部は、前記カバー領域情報及び所定のオフセットを用いた演算を行い、前記最適領域情報を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記最適領域情報を記憶する記憶装置と、
前フレームの最適領域を現フレームの最適領域とするか否かを判定する基準領域生成部と、をさらに備え、
前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更し、
前記出力データ生成部は、前記記憶装置に記憶された最適領域情報に基づいて、前記出力画像データを生成する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記基準領域生成部は、
前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、
前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、
前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、
前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定する、請求項３に記載の画像処理装置。
【請求項５】
前記基準領域生成部は、前記最適領域が前記内側基準領域の全体を含むという第１条件と、前記外側基準領域が前記最適領域の全体を含むという第２条件の何れかが成立しない場合、前記前フレームの最適領域を前記現フレームの最適領域としない、と判定する、請求項４に記載の画像処理装置。
【請求項６】
入力画像データを生成する画像生成装置と、
前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
前記出力画像データを符号化する画像符号化装置と、を備えることを特徴とする画像符号化システム。
【請求項７】
符号化データを復号し、入力画像データを生成する画像復号装置と、
前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
前記出力画像データに基づいて表示用画像データを生成する表示制御装置と、を備えることを特徴とする画像復号システム。
【請求項１】
入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴領域情報に基づいて、複数の特徴部分を含むカバー領域の位置を示すカバー領域情報を生成する、カバー領域生成部をさらに備え、
前記最適領域生成部は、前記カバー領域情報及び所定のオフセットを用いた演算を行い、前記最適領域情報を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記最適領域情報を記憶する記憶装置と、
前フレームの最適領域を現フレームの最適領域とするか否かを判定する基準領域生成部と、をさらに備え、
前記最適領域生成部は、前記前フレームの最適領域を前記現フレームの最適領域としない場合、前記記憶装置に記憶された最適領域情報を前記現フレームの最適領域を示す最適領域情報へ変更し、
前記出力データ生成部は、前記記憶装置に記憶された最適領域情報に基づいて、前記出力画像データを生成する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記基準領域生成部は、
前記特徴領域情報に前記アスペクト比を有するターゲット領域の位置を示すターゲット領域情報を生成し、
前記ターゲット領域情報及び所定の内側パラメータを用いて、内側基準領域の位置を示す内側基準領域情報を生成し、
前記ターゲット領域情報及び所定の外側パラメータを用いて、外側基準領域の位置を示す外側基準領域情報を生成し、
前記最適領域と、前記内側基準領域及び前記外側基準領域との位置関係に基づいて、前記最適領域を移動させる必要があるか否かを判定する、請求項３に記載の画像処理装置。
【請求項５】
前記基準領域生成部は、前記最適領域が前記内側基準領域の全体を含むという第１条件と、前記外側基準領域が前記最適領域の全体を含むという第２条件の何れかが成立しない場合、前記前フレームの最適領域を前記現フレームの最適領域としない、と判定する、請求項４に記載の画像処理装置。
【請求項６】
入力画像データを生成する画像生成装置と、
前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
前記出力画像データを符号化する画像符号化装置と、を備えることを特徴とする画像符号化システム。
【請求項７】
符号化データを復号し、入力画像データを生成する画像復号装置と、
前記入力画像データの特徴部分を検出し、検出した特徴部分を含む特徴領域の位置を示す特徴領域情報を生成する、特徴量検出部と、
前記特徴領域情報に基づいて、前記特徴領域のサイズに応じた最適領域の位置を示す最適領域情報を生成する、最適領域生成部と、
前記最適領域情報に基づいて、前記入力画像データのうち前記最適領域の画素を抽出し、抽出した画素に基づいて出力画像データを生成する、出力データ生成部と、
前記出力画像データに基づいて表示用画像データを生成する表示制御装置と、を備えることを特徴とする画像復号システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２０５０５３（Ｐ２０１２−２０５０５３Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６７３９１（Ｐ２０１１−６７３９１）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]