画像符号化装置および方法並びにプログラム
【課題】画像符号化装置において、鮮鋭度を維持しつつ、画像処理の負荷を低減する。
【解決手段】 入力画像を符号化して出力する画像符号化方法であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段２１２に記憶された入力画像の画像サイズを所定の画像サイズに低減した縮小画像を生成し、この縮小画像の鮮鋭度を算出し、算出された縮小画像の鮮鋭度が目標鮮鋭度より大きい場合は、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件のうち、所定の画像サイズを低減するように変更し、かつ、画像サイズ低減手段２１４により、入力画像の画像サイズを低減する。
【解決手段】 入力画像を符号化して出力する画像符号化方法であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段２１２に記憶された入力画像の画像サイズを所定の画像サイズに低減した縮小画像を生成し、この縮小画像の鮮鋭度を算出し、算出された縮小画像の鮮鋭度が目標鮮鋭度より大きい場合は、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件のうち、所定の画像サイズを低減するように変更し、かつ、画像サイズ低減手段２１４により、入力画像の画像サイズを低減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および画像符号化方法、並びに画像符号化方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年では、防犯カメラ等で撮影された動画像をＭＰＥＧ等のデジタル方式で録画する技術が進んでいる。これらの動画像データは、ＨＤＤや光磁気ディスクなどの記憶媒体に保存することによって録画できるが、録画時間が同じでも、動画像データの圧縮度に応じて、記憶媒体に占める容量が異なることになる。例えば、防犯カメラにおいては、長時間にわたり動画像を録画するため、保存すべきデータ量も膨大なものになり、画質を維持しつつできるだけ圧縮率を高めることが必要とされる。
【０００３】
特許文献１は、画像を画像の中で予め設定された条件に合致する注目領域画像とその他の注目領域でない領域に分け、注目領域でない画像についてはローパスフィルタを介して解像度を低減した画像を選択し、注目領域の画像については、ローパスフィルタを介さない画像を選択して、画像のデータ量を必要な領域以外では画像の解像度を低下させてデータ量を削減する画像送信システムを開示している。
【０００４】
また、特許文献２は、受信画像情報を複合化して基準画像データ、および基準画像データをさらに所定の符号化パラメータを用いて符号化および複合化を行った参照画像データを作成し、両者を比較した評価結果が一定水準以上であれば、所定の符号化パラメータの圧縮率が高くなるよう変更し、両者を比較した評価結果が一定水準以下であれば、所定の符号化パラメータの圧縮率が低くなるよう変更するカラー画像通信装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８７９２号公報
【特許文献２】特開２００４−１９３９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に記載の技術によると、注目領域に対してはローパスフィルタを適用しないため、注目領域についてさらに解像度を低減させても良い場合に、動画像のデータ量を十分に低減することができない虞がある。
【０００７】
また、特許文献２に記載の技術によると、入力された画像について、画像の符号化を終えてから符号化パラメータ等を変更するため、圧縮率を高くして良い画像であっても、入力された画像データを用いて符号化を含む画像圧縮処理を行うため、画像圧縮処理の計算負荷が高くなっていた。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像圧縮処理の計算負荷を軽減し、必要とされる水準以上に高画質を維持しつつ、画像サイズをより効果的に低減し、圧縮率を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明による画像符号化装置は、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えたものである。
【００１０】
本発明による画像符号化方法は入力された入力画像を符号化して出力する画像符号化方法であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段に記憶された前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成し、前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させることを特徴とするものである。
【００１１】
本発明による画像符号化プログラムは、コンピュータを、入力された入力画像を符号化して出力する画像符号化プログラムであって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させる画像サイズ制御手段として機能させることを特徴とするものである。
【００１２】
ここでいう、画像サイズを低減するとは、画像の大きさを直接的または間接的に小さくするものであれば何でもよく、一例として画素数を減らすことにより解像度を低減させることがあげられる。例えば、単純に画素を間引いて画像サイズを低減してもよく、または隣接する複数の画素値の平均をとった画素で、複数の画素を置き換えるなどの処理を行って画像サイズを低減してもよく、低域ろ過フィルタを用いたフィルタリングにより画像サイズを低減させるものであってもよい。
【００１３】
鮮鋭度は、人間の視覚で感知される画像のシャープさを表す指標であり、本発明においては、以下に述べる発明者らの知見により、画像に含まれる高周波成分の割合を直接的または間接的に表すものであれば種々の方法により定義することができる。本発明者らによれば、画像の鮮鋭さは画像中の高周波成分と相関関係がある。すなわち、高周波成分が多い画像であると画像の鮮鋭さが保たれており、高周波成分が少ない画像であると、物体のエッジ部分などの鮮鋭さが失われ平坦な色調の画像になっている可能性がある。このため、本発明においては、画像中の高周波成分の割合を直接的または間接的に表す指標によって、高周波成分が基準量以上である場合は鮮鋭度が基準以上の鮮鋭度を保っているものと判断し、高周波成分が基準量より小さい場合は鮮鋭度が低いものと判断する。
【００１４】
一例として、本発明による鮮鋭度は、空間周波数展開された画像において、所定値の周波数以上の高周波成分の総量を直接的または間接的に表す量であってもよい。また、本発明による鮮鋭度は、基準とする鮮鋭度を有する基準画像と、基準画像を画像サイズ変更または圧縮復元等の圧縮処理を行った後の、鮮鋭度を算出する対象となる比較画像とを比較し、比較画像の各画素値から基準画像を対応する位置の各画素値を減算した差分画像の各画素値の絶対値の総量を比較画像の鮮鋭度としてもよい。一般に圧縮処理によって画像中の低周波成分より高周波成分を高圧縮率で圧縮するため、画像の高周波成分は低周波成分に比べて失われる傾向がある。このため、基準画像と比較画像の差分画像には、圧縮処理によって失われた高周波成分の画素値が反映されるためである。具体的には、差分画像の画素値の総量が大きいほど、比較画像の高周波成分が大きく低減されているものと判断する。
【００１５】
なお、「目標鮮鋭度より大きい」とは、目標鮮鋭度が表す水準よりも高鮮鋭であることを意味する。
【００１６】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ記憶条件手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであってもよい。
【００１７】
本発明による画像符号化装置において、前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものであることが好ましい。
【００１８】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記画像サイズ条件を変更する際に、前記画像サイズ記憶条件手段に記憶された前記画像サイズ条件のうち、前記画像サイズをより小さくなるよう変更するものであることが望ましい。
【００１９】
本発明による画像符号化装置において、前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれかを含むものであってもよい。
【００２０】
さらに、前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれか２つ以上を含むものであり、前記複数の関心領域のうち、前記関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう設定されるものであることが好ましい。
【００２１】
本発明による画像符号化装置において、前記入力画像は動画像を構成するものであり、前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものであることが好ましい。
【００２２】
また、前記フレーム間圧縮条件は、前記動画像を時間方向へ圧縮する度合を表すものであってもよい。
【００２３】
さらに、前記フレーム間圧縮条件は、スキップマクロブロックを含むものであり、前記フレーム間圧縮手段は、マクロブロックタイプを前記スキップマクロブロックに変化させてフレームレートを低下させるものであってもよい。
【００２４】
ここでいう、スキップマクロブロックとは、ＭＰＥＧ等のように１枚の画像を１６Ｘ１６画素、１６Ｘ８画素等のマクロブロックごとに分割してマクロブロックごとに量子化等の処理を行う動画圧縮方式において、１枚のフレーム画像に含まれる各マクロブロックごとに設定されるマクロブロックタイプの一項目である。マクロブロックタイプにスキップマクロブロックを設定すると、そのマクロブロックの内容は、前後のフレーム画像の対応するマクロブロックを参照するものとして、スキップされる。なお、参照された前（または後の）マクロブロックがさらにスキップマクロブロックのマクロブロックタイプを設定されていた場合は、さらにその前（または後の）マクロブロックが参照される。また、ここでいうフレームレートを低下させるとは、実際にフレームの単位時間あたりの画面の更新頻度を低下させることだけでなく、スキップマクロブロックが設定されることにより、フレーム間でマクロブロックの内容が符号化されないことも含む。
【００２５】
また、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものであることが好ましい。
【００２６】
ここで、スキップマクロブロックに変化させる割合を小さくするとは、一枚のフレーム画像中において、その画像に含まれる複数のマクロブロックのうち、マクロブロックタイプをスキップマクロブロックに設定する割合を小さくしてもよく、前後の複数のフレーム画像に共通する特定のマクロブロックについて、マクロブロックタイプをスキップマクロブロックに設定する割合を小さくしてもよい。後者の具体例を示すと、同一の対象物が含まれる特定のマクロブロックが一連の複数のフレーム画像に存在する場合に、複数のフレーム画像の各特定のマクロブロックのマクロブロックタイプをスキップマクロブロックに設定する割合を小さくすることによって、スキップされるマクロブロックを少なくしてもよい。
【００２７】
本発明による画像符号化装置において、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えることが好ましい。
【００２８】
また、前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものであることが望ましい。
【００２９】
ここでいう目標画質とは、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、これらの指標又は組み合わせを適宜数式等によって定義したものであっても良い。
【００３０】
さらに、本発明による画像符号化装置は、前記量子化条件を記憶する量子条件記憶手段と、前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものであることが好ましい。
【００３１】
さらに、本発明による画像符号化装置は、前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものであることが好ましい。
【００３２】
さらに、前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であることがさらに好ましい。
【００３３】
ここで、ブロックノイズは、画像の高圧縮によりマクロブロック同士の境界の連続性が失われることにより、その後再現した画像にマクロブロック間の境界がそのまま現れて、画像の一部領域がモザイク状に見える現象である。ブロックノイズ量とは、ブロックノイズを定量的に表す数値であり、画面内のブロックノイズの多さを直接的または間接的に示す種々の方法で定義してよい。また、ブロックノイズ量は画像単位で定義することができ、マクロブロック単位で定義することもできる。一例として、ブロックノイズ量を隣接ブロック間の不連続性によって定義することができ、水平・垂直方向の画素間差分値を各々取得し、ブロック境界における画素間差分値の平均値△をブロックノイズ量としてもよい。
【００３４】
さらに、ブロックノイズ量をブロックの平坦度と隣接ブロック間の不連続性によって定義してもよい。例えば、ブロックノイズ量をマクロブロックごとに求める場合、画像を構成する個々のマクロブロックの画素値の分散と平均値を算出し、対象となるマクロブロックの画素値の分散と平均値を算出し、評価対象となる対象マクロブロック内の画素値の分散がしきい値以下どうかを調べる。そして、画素値の分散がしきい値より小さい、マクロブロック内の画素値が平坦である可能性のあるマクロブロックを抽出する。そして、抽出された対象マクロブロックと水平または垂直方向に隣接する４つの隣接するマクロブロックのうち画素値の分散がしきい値以下のマクロブロックを抽出する。つまり、抽出された対象マクロブロックに隣接するマクロブロックのうち、マクロブロック内の画素値が平坦である可能性のあるマクロブロックをさらに抽出する。そして、抽出した隣接するマクロブロックの画素の平均値と対象マクロブロックの画素の平均値との差分値の絶対値和をブロックノイズ量Ｎとしてもよい。なお、これは、抽出されたマクロブロック、および、抽出された隣接するマクロブロックとは、両者ともマクロブロック内の画素値が平坦である可能性が高く、両者の間にブロックノイズが現れている可能性が高いため、両者の平均値の差分値は、両ブロック間のブロックノイズの度合いを表していると考えることができるためである。
【００３５】
エッジ量は、画像内のエッジの量を表す数値であり、画像内のエッジの多さを表すことができるものであれば種々の方法で定義してよい。一例としては、Ｓｏｂｅｌ，Ｌａｐｌａｃｉａｎ，Ｃａｎｎｙ法等の種々のエッジ抽出法を用いて画像内のエッジのみを抽出した画像を生成し、その画像の画素値の合計として定義できる。エッジ抽出法は、エッジを抽出できるものであれば何でも適用することができる。また、エッジ量は、画像単位で定義することができ、マクロブロック単位で定義することもできる。
【００３６】
また、目標画質は、画像単位で定義してもよく、マクロブロック単位で定義してもよい。ブロックノイズ量とエッジ量の線形和とは、ブロックノイズ量とエッジ量とをそれぞれ重み付けして加算したものも含むものである。
【００３７】
本発明による画像符号化装置は、前記画像サイズ条件記憶手段は、前記入力画像の画質をさらなる目標画質として記憶するものであり、前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備えてもよい。
【００３８】
さらなる目標画質は、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。
【発明の効果】
【００３９】
本発明による動画符号化装置および動画符号化方法および動画符号化プログラムは、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えたものであるため、目標鮮鋭度以上に鮮鋭度を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４０】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものである場合には、目標鮮鋭度を維持出来る範囲で、画像サイズを最小限に低減させてからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４１】
本発明による画像符号化装置において、前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものである場合には、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。このため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行い、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４２】
本発明による画像符号化装置において、前記入力画像は動画像を構成するものであり、前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものである場合には、フレームレートを低減したくない関心領域には必要以上にフレームレートを低減することを防ぎ、フレームレートを低減してもよい関心領域には大きくフレームレートを低減することができるため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じてフレームレートを効果的に低減させるため、圧縮処理における計算負担をさらに低減でき、かつ、画像をさらに高圧縮できる。
【００４３】
本発明による画像符号化装置において、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えた場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４４】
また、前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものである場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４５】
さらに、本発明による画像符号化装置は、前記量子化条件を記憶する量子条件記憶手段と、前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものである場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４６】
さらに、本発明による画像符号化装置は、前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものである場合には、目標画質を維持できる範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質を好適に維持しつつ、画像を高圧縮率できる。
【００４７】
さらに、前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であること場合には、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質が所定の範囲に抑えられたものとなり、画像を高圧縮率できる。
【００４８】
本発明による画像符号化装置は、前記画像サイズ条件記憶手段は、前記入力画像の画質をさらなる目標画質として記憶するものであり、前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備える場合には、さらなる目標画質に基づいて画像サイズを変更するため、さらなる目標画質以上に画質を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなくさらなる目標画質を維持して画像を高圧縮できる。
【図面の簡単な説明】
【００４９】
【図１】第１の実施形態に係る画像処理システム１０の構成を示す図
【図２】第１の実施形態の画像符号化装置１２０の機能ブロック図
【図３】第１の実施形態の画像符号化処理の流れを説明する図
【図４】第１の実施形態の変形例の画像符号化装置１２０の機能ブロック図
【図５】第１の実施形態の変形例の画像符号化処理の流れを説明する図
【図６】第２の実施形態の画像符号化装置１２０の機能ブロック図
【図７】第２の実施形態の複数の関心領域を説明するイメージ図
【図８】第２の実施形態の複数の関心領域を固定値化した例を示す図
【図９】第２の実施形態の画像符号化処理の流れを説明する図
【図１０】第２の実施形態の画像サイズ条件の例を示す図
【図１１】第３の実施形態の画像符号化装置１２０の機能ブロック図
【図１２】第３の実施形態の画像符号化処理の流れを説明する図
【図１３】第４の実施形態の画像符号化装置１２０の機能ブロック図
【図１４】第４の実施形態の量子化条件の例を示す図
【図１５Ａ】第４の実施形態の画像符号化処理の流れを説明する図（その１）
【図１５Ｂ】第４の実施形態の画像符号化処理の流れを説明する図（その２）
【図１５Ｃ】第４の実施形態の画像符号化処理の流れを説明する図（その３）
【図１６】第４の実施形態の変形例の量子化条件の例を示す図
【図１７】第４の実施形態の変形例の画像符号化処理の流れを説明する図（図１５Ｂの変形例）
【図１８】全ての実施形態の画像符号化装置の構成を示すブロック図
【発明を実施するための形態】
【００５０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理システム１０の構成を示す概略ブロック図である。画像処理システム１０は、被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００５１】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像符号化装置１２０ａ−ｃ（以下、画像符号化装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、画像ＤＢ１７１、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。なお、図１には、監視対象空間１５０に被写体として人物１３０および乗用車１４０が存在する。
【００５２】
画像符号化装置１２０ａは、撮像装置１００ａに接続されている。また、画像符号化装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像符号化装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００５３】
以下に、撮像装置１００ａ、画像符号化装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像符号化装置１２０ａに出力する。
【００５４】
具体的には、撮像装置１００ａは、監視対象空間１５０を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像装置１００ａは、ＲＡＷ形式の動画構成画像を生成してよい。
【００５５】
画像符号化装置１２０ａは、撮像装置１００ａが生成した撮像動画を取得する。画像符号化装置１２０ａは、撮像装置１０２ａにより生成されたＲＡＷ形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をＭＰＥＧ等の動画圧縮方式により圧縮することにより、撮像動画データを生成する。なお、本明細書においては、同一部分は同一符号を付して説明を省略する。
【００５６】
図１８は画像符号化装置１２０ａの構成を示す概略ブロック図である。図１８に示すように、本発明の実施形態による画像符号化装置１２０は、各種表示を行う液晶モニタ等の表示部３０１、各種入力を行うキーボードおよびマウス等からなる入力部３０３、本発明の医用画像処理プログラムを含む、本実施形態による画像診断支援装置を制御するための各種プログラムおよび画像データ等の各種データを保存するハードディスク３０５、各種プログラムを実行することにより本実施形態による画像診断支援装置を制御するＣＰＵ３０７、プログラム実行時の作業領域となるメモリ３０９、バス３１３を介して通信ネットワーク１１０と接続する通信インターフェース３１１を備えた画像処理ワークステーション３００で構成されている。
【００５７】
なお、全ての実施形態において、本発明の機能は、外部からインストールされるプログラムによって、コンピュータにより遂行される。そして、そのプログラムは、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記憶媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を供給されてインストールされたものであってもよい。
【００５８】
そして、画像符号化装置１２０ａは、動画を構成する複数の画像を符号化することによって動画データを生成する。同時に、画像符号化装置１２０ａは、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００５９】
画像処理装置１７０は、画像符号化装置１２０ａから動画データを受信して、受信した動画データを復号して、動画を取得する。もしくは、第２、第３，第４の実施形態における画像符号化装置１２０ａが、動画を構成する画像をそれぞれの特徴量によって検出した複数の関心領域ごとの画像に分割し、分割した画像から複数の関心領域動画データを生成した場合は、画像処理装置１７０は、画像符号化装置１２０ａから受信した関連付けされた動画データを受信して、それぞれ復号することにより、複数の関心領域動画を取得する。そして、画像処理装置１７０は、複数の関心領域動画を取得した場合、取得した複数の関心領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００６０】
なお、画像処理装置１７０は、生成した合成動画または画像符号化装置１２０ａから取得した撮像動画データを画像ＤＢ１７１に記録してもよい。そして、画像処理装置１７０は、画像ＤＢ１７１に記録された合成動画を、表示装置１８０ａからの要求に応じて表示装置１８０ａに供給してよい。また、画像処理装置１７０は、表示装置１８０ａからの要求に応じて、画像ＤＢ１７１に記録された撮像動画データを上述したように復号して表示装置１８０ａに供給してもよい。なお、画像ＤＢ１７１は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置１７０から供給された合成動画を当該記録媒体に記録してよい。
【００６１】
なお、撮像装置１００ｂおよび撮像装置１００ｃは、撮像装置１００ａが有する構成要素と同様の機能を有する構成要素を有している。撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像符号化装置１２０ｂおよび画像符号化装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。なお、以下の説明では、撮像装置１００ａ〜ｃを撮像装置１００と総称する場合があり、画像符号化装置１２０ａ〜ｃを画像符号化装置１２０と総称する場合がある。
【００６２】
また、画像符号化装置１２０ｂおよび画像符号化装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像符号化装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した動画データまたは第２、第３、第４の実施例で生成される関連付けされた複数の関心動画データから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００６３】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００６４】
図２は、第１の実施形態の画像符号化装置１２０の機能ブロック構成の一例を示す。また、図３は、第１の実施形態の画像符号化処理の流れを説明するフローチャートである。図２に示すように、画像符号化装置１２０は、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段２１２と、入力画像３０の画像サイズを所定の画像サイズＲｋ（ｋは自然数）に低減した、入力画像の縮小画像を生成する画像サイズ低減手段２１４と、縮小画像の鮮鋭度Ｓを算出する鮮鋭度算出手段２１３と、算出された縮小画像の鮮鋭度Ｓが目標鮮鋭度Ｓｏより大きい場合は、画像サイズ条件記憶手段に記憶された所定の画像サイズＲｋを低減するように変更し、かつ、画像サイズ低減手段に、入力画像３０の画像サイズを変更された画像サイズＲｋ＋１に低減させる画像サイズ制御手段２１１と、画像が入力される入力手段２００、画像サイズが低減された画像を量子化する量子化手段２３４、量子化条件を記憶する量子化条件記憶手段２３２、量子化された画像を符号化する符号化手段２３５、および出力手段２０７、画像記憶手段２０８を有する。
【００６５】
ここで、画像サイズ低減手段２１４、画像サイズ制御手段２１１、解像度条件記憶部からなる画像サイズを低減する機能ブロックを総称して、画像サイズ低減処理部２１０と場合により称する。また、量子化条件記憶手段２３２、量子化手段２３４、符号化手段２３５含んでなる量子化処理を行う機能ブロックを総称して量子化処理部２３０と称する。
【００６６】
画像サイズ条件記憶手段２１２は、主にハードディスク３０５を含み構成され、入力された動画を構成する入力画像３０の縮小するための所定の画像サイズＲｋおよび目標鮮鋭度Ｓｏを記憶する。本明細書においては、画像サイズを表す指標として解像度を用いる。ただし、本明細書に限定されず画像サイズは画像の大きさを直接的または間接的に決定する指標であれば、種々の指標で表わしてよい。
【００６７】
第１の実施形態においては、画像サイズ条件は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎ、および解像度の候補から選ばれた所定の解像度Ｒｋ、目標鮮鋭度ＳＯからなる。そして、解像度の候補は、Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎの順に一定の割合で小さいサイズになるように設定されている。
【００６８】
画像サイズ低減手段２１４は、主にＣＰＵ３０７を含み構成され、本明細書中では、画像サイズ低減手段２１４は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎのそれぞれに応じた縮小を行えるようなｎ個の低域ろ過フィルタＦ１、Ｆ２、、、Ｆｋ、Ｆｋ＋１、、Ｒｎからなり、入力画像３０を解像度Ｒｋに画像サイズを低減させる場合には、解像度Ｒｋに対応する低域ろ過フィルタＦｋを用いてフィルタリングすることで入力画像３０の解像度を低減する。なお、本第１の実施形態においては、入力画像３０の解像度は常に決まった値のため、事前に実験等で得られた例を参考にするなどして、入力画像３０の解像度を解像度Ｒｋに低減できる低域ろ過フィルタを予め対応付けて記憶したデーターベースを用意し、かかるデーターベースを参照して、入力画像３０の解像度を解像度Ｒｋに低減できる低域ろ過フィルタを、解像度Ｒｋに対応する低域ろ過フィルタＦｋとして画像サイズ条件に設定する。なお、以下の全ての実施形態において、低域ろ過フィルタを用いて解像度を低減することによって画像サイズを低減する。
【００６９】
また、本第１の実施形態に限られず、画像サイズを低減するとは、画像の大きさを直接的または間接的に小さくすれものであれば、種々のサイズ低減方法を適用できる。例えば、単純に画素を間引いて解像度を低減してもよく、または画素を複数選択し、選択した複数の画素値の平均をとる等の統計処理をし、統計処理された画素で選択した複数の画素を置き換えるなどの処理を行って解像度を低減してもよい。
【００７０】
鮮鋭度算出手段２１３は、主にＣＰＵ３０７を含み構成され、画像サイズ低減手段２１４から取得した画像の鮮鋭度を算出する。
【００７１】
ここで、鮮鋭度は、人間の視覚で感知される画像のシャープさを表す指標であり、本実施形態においては、基準とする鮮鋭度を有する基準画像と、基準画像を画像サイズ変更または圧縮復元等の圧縮処理を行った後の比較画像とを用意し、比較画像の各画素値から基準画像を対応する位置の各画素値を減算した差分画像の各画素値の総量を鮮鋭度とする。
【００７２】
また、課題を解決する手段の項目に説明したように、一般に圧縮処理によって画像中の低周波成分より高周波成分を高圧縮率で圧縮するため、画像の高周波成分は低周波成分に比べて失われる傾向がある。このため、基準画像と比較画像の差分画像には、圧縮処理によって失われた高周波成分の画素値が反映される。具体的には、差分画像の画素値の総量が大きいほど、高周波成分が大きく低減されていると判断するものとする。
【００７３】
なお、鮮鋭度は、画像に含まれる高周波成分の割合を直接的または間接的に表すものであれば、種々の方法で定義しても良く、例えば、画像にＤＣＴ等の周波数空間変換を行い、所定値以上の高周波数成分の全体の周波数成分に対する割合を鮮鋭度としても良い。この場合には、高周波数成分の全体の周波数成分に対する割合が小さいほど、高周波成分が失われている可能性が大きく、鮮鋭度が小さいと判断する。
【００７４】
画像サイズ制御手段２１１は、算出された縮小画像３１の鮮鋭度Ｓが目標鮮鋭度ＳＯより大きい場合は、画像サイズ条件記憶手段２１２に記憶された所定の画像サイズＲｋを低減するように変更し、かつ、画像サイズ低減手段２１４に、入力画像の画像サイズを変更された画像サイズＲｋ＋１に低減させる。算出された縮小画像の鮮鋭度Ｓが目標鮮鋭度ＳＯ以下である場合は、縮小画像３１のうち、目標鮮鋭度ＳＯを満たす範囲で最も縮小した縮小画像３２を量子化手段２３４に出力する。
【００７５】
画像サイズ制御手段２１１は、画像サイズ低減手段２１４にｋ回目の画像サイズ低減を所定の画像サイズＲｋで行わせ、ｋ＋１回目の画像サイズ低減を行う場合には、画像サイズＲｋの次に小さい画像サイズＲｋ＋１を所定の画像サイズに設定する。
【００７６】
量子化手段２３４は、画像サイズ制御手段２１１から画像サイズが低減された画像を取得し、量子化する。
【００７７】
そして、量子化手段２３４は、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、量子化手段２３４は、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数変換は、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。そして、量子化手段２３４は、空間周波数領域に空間周波数領域に変換することによって得られた変換係数を量子化する。
【００７８】
量子化条件記憶手段２３２は、主にハードディスク３０５等の記憶装置を含み構成され、量子化条件を記憶する。量子化条件は、量子化の圧縮率を決定する条件であり、例えば量子化パラメータ等を含む。
【００７９】
符号化手段２３５は、主にＣＰＵ３０７を含み構成され、量子化手段２３４によって量子化された変換係数を符号化することによって圧縮する。例えば、符号化手段２３５は、量子化手段２３４によって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。
【００８０】
入力手段２００は、主にＣＰＵ３０７を含み構成され、入力された動画を取得する。具体的には、入力手段２００は、撮像装置１００が生成した撮像動画データを取得する。
【００８１】
出力手段２０７、主にＣＰＵ３０７を含み構成され、符号化された動画データを出力する。具体的には、出力手段２０７は、画像符号化装置１２０が生成した動画データを通信ネットワーク１１０に送出する。
【００８２】
画像記憶手段２０８は、主にハードディスク３０５等の記憶装置を含み構成され、入力画像のデータおよび、符号化が終了するまでに生成される各画像データの全てを記憶する。
【００８３】
図３は、第１の実施形態の画像符号処理の流れを示すフローチャートである。図３に示すフローチャートに従って、本実施形態の画像符号化処理を説明する。
【００８４】
入力手段２００が入力画像３０を取得する（Ｓ１０１）。
【００８５】
画像サイズ低減手段２１４が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、入力画像３０の画像サイズを画像サイズＲｋに低減した縮小画像３１を生成する（Ｓ１０２）。
【００８６】
鮮鋭度算出手段２１３が、画像サイズ低減手段２１４が生成した縮小画像３１の鮮鋭度Ｓ３１を算出する（Ｓ１０３）。
【００８７】
画像サイズ制御手段２１１が、画像サイズ算出手段２１３が算出した縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された目標鮮鋭度ＳＯとを比較し、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより大きい場合は（Ｓ１０４のＹ）、画像サイズ条件に記憶された画像サイズＲｋを所定の割合で小さくした画像サイズＲｋ＋１に変更する（Ｓ１０５）。なお、この際、Ｓ２０２ＢからＳ２０５の処理を繰り返しの際、過去の縮小画像３１のうち最も新しい過去の縮小画像３１’を保存しておくものとする。
【００８８】
また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより小さい場合は（Ｓ１０４のＮ）、縮小画像３１’を、目標鮮鋭度ＳＯを満たす最も小さい画像サイズの縮小画像３１を縮小画像３２として、量子化手段２３４に出力する。また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯと等しい場合は（Ｓ１０４のＮ）、目標鮮鋭度ＳＯを満たす最も小さい画像サイズの縮小画像３１を縮小画像３２として、量子化手段２３４に出力する。
【００８９】
量子化手段２３４は、縮小画像３２にＤＣＴ（離散コサイン変換）処理を行い、その後量子化条件記憶手段２３２に記憶された量子化条件に基づいて量子化した量子化画像を生成する（Ｓ１０６）。
【００９０】
符号化手段２３５は、量子化された量子化後画像を符号化して符号化後画像を生成する（Ｓ１０７）。
【００９１】
出力手段２０７は、符号化された画像データをネットワーク１１０に送出する（Ｓ１０７）。
【００９２】
以上のように、第１の実施形態の画像符号化装置１２０によれば目標鮮鋭度以上に鮮鋭度を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。また、目標鮮鋭度を維持できる範囲で画像サイズを縮小するため、必要な鮮鋭度を維持しつつ、冗長な計算をしないで画像サイズを決定できる。
【００９３】
また、第１の実施形態においては、画像サイズ制御手段２１１が、縮小画像の鮮鋭度が目標鮮鋭度になるまで、画像サイズ条件記憶手段に記憶された画像サイズ条件を変更し、画像サイズ低減手段に、入力画像の画像サイズを変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであるため、目標鮮鋭度を維持出来る範囲で、画像サイズを最小限に低減させてからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００９４】
さらに、第１の実施形態の変形例として、第1の実施形態の画像符号化装置１２０に追加して、さらなる目標画質を設け、さらなる目標画質に応じて画像サイズを低減させるさらなる画像サイズ制御手段２１４を設けてもよい。図４は、第１の実施形態の変形例の機能ブロック図であり、図５は、第１の実施形態の変形例の処理の流れを説明するフローチャートである。
【００９５】
図４に示すように、第１の実施形態の変形例において、画像サイズ条件記憶手段２１２は、入力画像３０の画質をさらなる目標画質Ｓ３０として記憶するものであり、画像符号化装置１２０は、画像サイズ制御手段２１１による画像サイズ制御が行われる前に、記憶されたさらなる目標画質Ｓ３０より縮小画像３１の画質が低くならない範囲で、画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、所定の画像サイズＲｍ（ｍは自然数）をより小さくなるよう変更し、画像サイズ低減手段２１４に、入力画像３０の画像サイズを変更された画像サイズＲｍ＋１に低減した縮小画像を生成させるさらなる画像サイズ制御手段２１４をさらに備える。また、画像サイズ制御手段２１１とさらなる画像サイズ制御手段２１４によって画像サイズ制御部２１５が構成される。
【００９６】
第１の実施形態の変形例においては、画像サイズ条件記憶手段２１２は、入力画像３０の画質をさらなる目標画質Ｓ３０として記憶するものである。具体的には、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎに加え、ｎ個のさらなる解像度の候補Ｒ１、Ｒ２、、、Ｒｍ、Ｒｍ＋１、、Ｒｎおよび、さらなる解像度の候補から選ばれたさらなる所定の解像度Ｒｍを備える。そして、さらなる解像度の候補は、Ｒ１、Ｒ２、、、Ｒｍ、Ｒｍ＋１、、Ｒｎの順に一定の割合で小さいサイズになるように設定されている。この小さくなる割合は、Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎと同じでもよく、異なっていても良い。また、さらなる解像度の候補と解像度の候補の個数は、異なっていても良い。
【００９７】
第１の実施形態の変形例では、さらなる目標画質として入力画像３０の鮮鋭度Ｓ３０を用いる。ただし、さらなる目標画質は、画像の画質を表す指標であればよく、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。
【００９８】
さらなる画像サイズ制御手段２１４は、主にＣＰＵ３０７を含み構成され、画像サイズ制御手段２１１とほぼ同様の機能を有する。ただし、さらなる画像サイズ制御手段２１４は、入力画像の画質をさらなる目標画像として、つまり、入力画像３０の鮮鋭度Ｓ３０をさらなる目標画像として入力画像の画像サイズをさらなる所定の画像サイズＲｍに低減させる。また、さらなる画像サイズ制御手段２１４は、記憶されたさらなる目標画質Ｓ３０より縮小画像３１の画質が低くならない範囲で、入力画像の画像サイズをさらなる所定の画像サイズＲｍに低減させる。なお、さらなる画像サイズ制御手段２１４は、ｍ回目に入力画像のサイズを低減させる場合に、さらなる画像サイズの候補のうちのＲｍを所定の画像サイズＲｍとして用いる。
【００９９】
以下、図５に従って、第１の実施形態の変形例の処理の流れを説明する。
【０１００】
まず、入力手段２００が入力画像３０を取得する（Ｓ２０１）。
【０１０１】
画像サイズ算出手段２１３が、入力画像３０の鮮鋭度Ｓ３０を算出する（Ｓ２０２Ａ）。
【０１０２】
一方、画像サイズ低減手段２１４が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、入力画像３０の画像サイズを画像サイズＲｍに低減した縮小画像３１を生成する（Ｓ２０２Ｂ）。
【０１０３】
次に画像サイズ算出手段２１３が、画像サイズ低減手段２１４が生成した縮小画像３１の鮮鋭度Ｓ３１を算出する（Ｓ２０３）。
【０１０４】
画像サイズ制御手段２１１は、画像サイズ算出手段２１３が算出した縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された入力画像の鮮鋭度Ｓ３０とを比較し、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０と同じであれば、すなわち縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０から劣化していなければ、（Ｓ２０４のＹ）、画像サイズ条件に記憶された画像サイズＲｋを所定の割合で小さくした画像サイズＲｍ＋１に変更する（Ｓ２０５）。そして、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０よりより小さくなるまで、Ｓ２０２ＢからＳ２０５のステップを繰り返す。なお、この際、Ｓ２０２ＢからＳ２０５の処理を繰り返しの際、過去の縮小画像３１のうち最も新しい過去の縮小画像３１’を保存しておくものとする。
【０１０５】
画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０を下回った場合は（Ｓ２０４のＮ）、さらに、縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された目標鮮鋭度ＳＯとを比較し、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより大きい場合は（Ｓ２０６のＹ）、Ｓ２０７に進む。また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が目標鮮鋭度ＳＯ以下である場合は（Ｓ１０４のＮ）、縮小画像３１’を、目標鮮鋭度ＳＯを満たす最も小さいサイズの縮小画像３２として、量子化手段２３４に出力しＳ２１１に進む。
【０１０６】
続くＳ２０７からＳ２１３は、図３のＳ１０２からＳ１０８と同じであるため、説明は省略する。
【０１０７】
第１の実施形態の変形例のように、さらなる目標画質を設け、複数の段階で画像サイズを低減させた場合は、さらなる目標画質に基づいて画像サイズを変更するため、さらなる目標画質以上に画質を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなくさらなる目標画質を維持して画像を高圧縮できる。
【０１０８】
本第１の実施形態の変形例ではさらなる目標画質として入力画像の画質を用いたが、これに限定されず、種々のさらなる目標画質を設けてよく、目標画質は、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和その他、適宜設定した数式よって定義される値であっても良い。また、さらなる目標画質が複数設けられていても良い。
【０１０９】
本第１の実施形態の変形例のように、入力画像の鮮鋭度をさらなる目標画質とした場合には、入力画像の鮮鋭度を劣化させない範囲で入力画像のサイズをできるだけ縮小した縮小画像を生成するため、入力時の鮮鋭度を維持しつつ、その後の符号化処理の計算負荷を軽減できる。
【０１１０】
第２の実施形態について以下に説明する。図６は、第２の実施形態の機能ブロック図である。
【０１１１】
図６に示すように、第２の実施形態による画像符号化装置１２０は、入力画像、または入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段２０３と、入力画像、または入力画像の画像サイズを変更した画像から、検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段２０４とをさらに備え、画像サイズ条件記憶手段２１２は、複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、画像サイズ制御手段２１１は、複数の関心領域ごとに画像サイズ条件を決定するものであり、複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものである。
【０１１２】
第２の実施形態においては、第１の実施形態にさらに関心領域検出手段２０３、関心領域分割手段２０４および関心領域画像を互いに対応付けて符号化手段２３５に出力する対応付け処理手段２３６をさらに備える。また、第２の実施形態には、関心領域固定値化手段２３７をさらに備えることが望ましい。
【０１１３】
関心領域検出手段２０３は、主にＣＰＵを含み構成され、動画に含まれる複数の動画構成画像から、関心領域の特徴量に応じて関心領域を検出する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。なお、関心領域の検出方法については、本明細書の末尾にて詳細に記載する。
【０１１４】
図７は、本明細書中の実施形態における関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄを有する入力画像の例である。図７に示すように、第２の実施形態において、複数の関心領域は、人体頭部領域を表す関心領域５１Ａ、人体領域を表す関心領域５１Ｂ、動き領域を表す関心領域５１Ｃ、背景領域を表す関心領域５１Ｄよりなる。さらに、複数の関心領域のうち、それぞれの関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう、すなわち、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄの順に低くなるよう設定されている。
【０１１５】
しかし、本実施形態に限定されず、必要に応じた数の複数の関心領域を設定してもよく、必要に応じて、複数の関心領域に適宜関心度を設定してもよい。なお、本明細書中の画像符号化装置１２０は、画像中に同じ関心度の領域が複数ある場合、例えば、画像に２つの人体頭部領域が離れて存在する場合であっても、関心度が同じであるので、２つの人体頭部領域を合わせたものを関心領域５１Ａとして扱う、すなわち両方の人体頭部領域に同等の処理が行われる。
【０１１６】
そして、関心領域分割手段２０４は、主にＣＰＵ３０７を含み構成され、複数の動画構成画像のそれぞれを、複数の関心領域画像に分割する。
【０１１７】
対応付け処理手段２３６は、量子化処理部２３０によって動画を圧縮することによって生成された複数の関心領域縮小画像があれば、例えばタグ情報等を付帯する等して互いに対応づける。出力手段２０７は、対応付け処理手段２３６が対応づけた複数の関心動画データを通信ネットワーク１１０に送出する。
【０１１８】
関心領域固定値化手段２３７は、主にＣＰＵを含み構成され、関心領域縮小画像のそれぞれに対応する関心領域以外の領域の画素値を固定値化する。図８は、図７に示す入力画像に対応する関心領域縮小画像を関心領域固定値化手段２３７によって固定値化した関心領域縮小画像のイメージ図である。例えば、関心領域固定値化手段２３７は、関心領域５１Ａに対応する関心領域縮小画像３２Ａに対し、関心領域５１Ａ以外の領域の画素値を所定の値（本例では、輝度値０）に設定した固定値化後画像３３Ａを生成する。そして、固定値化後画像３３Ａに対し、量子化手段２３４は、関心領域の関心度に応じた量子化条件で量子化する。関心領域固定値化手段２３７は、固定値化後画像３３Ａと同様に、関心領域縮小画像３２Ｂ、３２Ｃ、３２Ｄに対して、それぞれ対応する固定値化後画像３３Ｂ、３３Ｃ、３３Ｄを生成する。関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれに対応する関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ以外の領域の画素値を固定値化する。
【０１１９】
なお、関心領域固定値化手段２３７は、関心領域縮小画像ごとに符号化処理を行う際に、関心領域縮小画像のうち対象となる関心領域以外の領域については、画素値を一定の値にして関心領域縮小画像の情報量を低減するものである。関心領域固定値化手段２３７は、画素値を一定の値にして関心領域縮小画像の情報量を低減するものであればよく、画素値の所定の値は任意に設定して良い。第２の実施形態においては、関心領域固定値化手段２３７を設けることで、関心領域縮小画像の情報量を低減でき符号化処理の計算負荷が増加することを抑制することができる。
【０１２０】
図９は、第２の実施形態における画像符号化装置１２０の画像処理の流れを説明する図である。図１０は、第２の実施形態における画像サイズ条件を表す画像サイズ条件７１の例を示す。図９に従って、第２の実施形態における画像符号化の処理を説明する。
【０１２１】
まず、入力手段２００が入力画像３０を取得する（Ｓ３０１）。
【０１２２】
関心領域検出手段２０３は、入力画像３０から関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄを検出し、関心領域分割手段２０４は、検出された関心領域の種類に応じて、入力画像を複製し関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄを生成する（Ｓ３０２）。
【０１２３】
次いで、画像サイズ制御手段２１１が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、各関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄごとに、各関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄに応じた目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤになるまで第１の実施形態で示した図３のＳ１０２からＳ１０５のステップを繰り返す。そして、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤをそれぞれ満たす各関心領域縮小画像のうちで、最も小さい画像サイズである関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄを生成する（Ｓ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄ）。
【０１２４】
図１０に、第２の実施形態における画像サイズ条件の例を示す。図１０に示すように、画像サイズ条件７１には、それぞれの関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄに応じて、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤおよび解像度の候補Ｒｋのうち初期の画像サイズである解像度ＲＡ１、ＲＢ１、ＲＣ１、ＲＤ１を設定している。
【０１２５】
他の解像度の候補Ｒ２、Ｒ２、…、Ｒｎについては、図示を省略している。また、画像サイズ条件７１には、所定の解像度ＲＡｋ、ＲＢｋ、ＲＣｋ、ＲＤｋが設定されている。なお、所定の解像度ＲＡｋ、ＲＢｋ、ＲＣｋ、ＲＤｋはＳ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄのステップによって各関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄに対応する所定の解像度である。そして、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤは、関心度が低いほど低い鮮鋭度となるように、ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤの順に小さい値となるように設定されている。
【０１２６】
そして、量子化手段２３４は、第１の実施形態と同様の方法で、関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄを量子化し、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを生成する（Ｓ３０４Ａ、Ｓ３０４Ｂ、Ｓ３０４Ｃ、Ｓ３０４Ｄ）。ここで、Ｓ３０３とＳ３０４のステップの間に、関心領域固定値化手段２３７によって、各関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの固定値化を行って固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄを生成し、Ｓ３０４のステップにおいて、関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの代わりに固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄについて量子化を行うことが望ましい。量子化処理を行う前に、各関心領域縮小画像の対応する関心領域以外の領域を固定値化することで、量子化処理の対象となる各関心領域以外の領域については情報量を低減できるため、関心領域縮小画像の情報量を低減でき符号化処理の計算負荷が増加することを抑制することが出来る。
【０１２７】
次に、対応付け処理手段３０５は、複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄをそれぞれタグ情報で対応付ける（Ｓ３０５）。
【０１２８】
そして、符号化手段２３５は、複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを対応付けたタグ情報と複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを符号化して符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ３０６）。
【０１２９】
最後に、出力手段２０７は、対応付け処理手段２３６が対応づけた複数の関心動画データ３８を通信ネットワーク１１０に送出する（Ｓ３０７）。
【０１３０】
第２の実施形態による画像符号化装置１２０において、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。このため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行い、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【０１３１】
さらに、第２の実施形態においては、人体頭部領域、人体領域、動き領域、背景領域に対して、関心度に応じて、人体頭部領域、人体領域、動き領域、背景領域の順に目標鮮鋭度を低く設定したため、各関心領域縮小画像の画像サイズは、各目標鮮鋭度を満たす範囲で最小限にて低減されたものとなっている。このため、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。そして、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行うため、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【０１３２】
なお、第２の実施形態の変形例として、量子化処理部２３０は、量子化制御手段２３１により、複数の関心領域画像を、それぞれの特徴量に応じた設定値を用いて量子化することにより圧縮してもよい。例えば、量子化処理部２３０は、複数の関心領域画像を、それぞれの特徴量に応じた量子化パラメータを用いて量子化手段２３４により量子化することにより圧縮する。具体的には、関心領域に対する関心度が高いほど、対応する関心領域縮小画像に圧縮率の低い量子化パラメータを設定する。このように、関心領域の関心度に応じて圧縮率を異ならせて量子化することができ、より効率よく圧縮することが出来る。
【０１３３】
図６においては、量子化手段２３４、逆量子化手段２３３および符号化手段２３５はそれぞれ一つずつだけ設けられているが、本実施形態に限定されず、量子化手段２３４、逆量子化手段２３３および符号化手段２３５は、関心領域の数に応じてそれぞれに対してそれぞれ一つずつ設けられてもよく、また、各複数個ずつ設けられてもよく、量子化手段２３４、逆量子化手段２３３および符号化手段２３５のうちいくつかについては複数個設けられ、残りについては一つだけ設けられていてもよい。
【０１３４】
第３の実施形態について以下に説明する。図１１は、第３の実施形態における画像符号化装置の機能ブロック図を示す。図１２は、フレーム間圧縮を説明するイメージ図である。
【０１３５】
第３の実施形態による画像符号化装置１２０は、入力画像からなる動画像を複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段２４２と、フレーム間圧縮条件に基づいて、動画像を時間方向に圧縮するフレーム間圧縮手段２４１からなるフレーム間圧縮部２４０とをさらに備え、フレーム間圧縮条件は、複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものである。
【０１３６】
フレーム間圧縮条件記憶手段２４２は、主にＣＰＵ３０７を含み構成され、入力画像からなる動画像を複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶する。フレーム間圧縮条件は、複数の関心領域縮小画像について対応する関心度が高い程、低い圧縮率が設定される。本第３の実施形態においては、フレーム間圧縮条件を、関心領域用動画を構成するフレーム内に含まれるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合とし、各関心領域用動画ごとに個々に設定する。すなわち、フレーム間圧縮条件は、スキップマクロブロックを含むものであり、フレーム間圧縮手段２４２は、マクロブロックタイプをスキップマクロブロックに変化させてフレームレートを低下させるものである。また、フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものである。
【０１３７】
具体的には、人体頭部領域、人体領域、動き領域、背景領域の順に関心度が低くなるものとし、人体頭部領域に対応する人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０の順に、各関心領域用動画を構成するフレーム内に含まれるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合を高くする。これにより、関心度が低くなる程、スキップされるマクロブロックが増大するため、フレーム間でマクロブロックの内容が変更されない。
【０１３８】
ここで、人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０の各動画の生成方法を説明する。まず、撮像動画４１０を構成する複数のフレーム画像が入力画像として第３の実施形態における画像符号化装置１２０に次々入力される。そして、図９に示す第２の実施形態におけるＳ３０１からＳ３０３の画像処理と同様に、各フレーム画像ごとに、人体頭部領域５１Ａ、人体領域５１Ｂ、動き領域５１Ｃ、背景領域５１Ｄごとに関心領域縮小画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄに分割され、関心領域ごとの目標鮮鋭度に応じて、画像サイズを低減した画像が得られることにより、各関心領域に応じた縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄが生成される。各フレーム画像ごとに次々と複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄが得られ、これらの複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄによって構成される人体頭部領域に対応する人体頭部領域動画４５０、人体領域に対応する人体領域動画４４０、動き領域に対応する動き領域動画４３０、背景領域に対する背景領域動画４２０がそれぞれ得られる。
【０１３９】
なお、ここで、フレーム間圧縮条件は、動画像を時間方向へ圧縮する度合を表すものであればよく、実際にフレームの単位時間あたりの画面の更新頻度を低下させてフレームレートを低下させてもよい。
【０１４０】
フレーム間圧縮手段２４１は、フレーム間圧縮条件に基づいて、動画像を時間方向に圧縮する。第３の実施形態によれば、フレーム間圧縮条件によるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合に基づいて、関心領域用動画を構成するフレームに含まれるマクロブロックのマクロブロックタイプに、スキップマクロブロックを設定する。
【０１４１】
図１２を参照して具体例に沿って説明する。図１２は、第３の実施形態による動画像の時間方向への圧縮を説明するイメージ図である。説明の便宜のために、入力手段２００が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【０１４２】
画質低減後の人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０に含まれるフレーム画像は、第２の実施形態のＳ３０１からＳ３０３のステップと同様の処理が行われ、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄのそれぞれの目標鮮鋭度を満たす範囲で最小の画像サイズに縮小され、それぞれ７２ｄｐｉ，３６ｄｐｉ，１８ｄｐｉ，９ｄｐｉの解像度に縮小されている。
【０１４３】
フレーム間圧縮条件記憶手段２４２には、関心度に応じて、撮像動画のフレームレートに対する画質低減後の人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０間の相対的なスキップマクロブロックの設定率をそれぞれ順に高くなるように定めたフレーム間圧縮条件が記憶されている。フレーム間圧縮条件には、人体頭部領域動画、人体領域動画、動き領域動画、背景領域動画に対し、それぞれスキップマクロブロック設定率を１、２、４、８と定めているものとする。本第３の実施形態においては、フレームレートを低くしたい関心領域動画の複数のフレーム画像に対し、１つのフレーム画像の全てのマクロブロックに対し、マクロブロックタイプをスキップマクロブロックに設定することで、実質フレーム間でマクロブロックの内容を符号化しないことによりフレームレートを低減させる。
【０１４４】
フレーム間圧縮手段２４１は、人体領域動画４４０を構成するフレームを２枚に1枚の割合で、１つのフレーム画像の全てのマクロブロックに対し、マクロブロックタイプをスキップマクロブロックに設定することで、フレームレートを１／２に低減させる。フレーム間圧縮手段２４１は、動き領域動画４３０であれば、動き領域動画を構成するフレームを４枚に３枚の割合で同処理を行い、フレームレートを１／４に低減させ、背景領域動画であれば、背景領域動画４２０を構成するフレームを８枚に７枚の割合で同処理を行い、フレームレートを１／８に低減させる。この結果、図１２のようなフレームレートが実現できる。
【０１４５】
なお、本実施形態に限定されず、フレーム間圧縮条件は、マクロブロックタイプを設定する割合が、関心度の大きい領域程小さくなるように設定した条件であればよく、フレーム間圧縮条件としてマクロブロックタイプを１枚のフレームの中で設定する割合を定めてもよく、１フレームの中の全てのマクロブロックではなく一部のマクロブロックのみにスキップマクロブロックを設定してもよい。
【０１４６】
また、変形例として、フレームの単位時間あたりの画面の更新頻度を低下させてフレームレートを低下させる場合は、以下のような例が考えられる。つまり、フレーム間圧縮条件記憶手段２４２には、関心度に応じて、撮像動画のフレームレートに対する画質低減後の人体頭部領域動画、人体領域動画、動き領域動画、背景領域動画のフレームレートの比率を示すフレームレート比率を予め１、１／２、１／４、１／８と定める。フレーム間圧縮手段２４１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。同様に、フレーム間圧縮手段２４１は、フレームレートが４ｆｐｓの動き領域動画４３０を生成し、フレームレートが８ｆｐｓの人体領域動画４４０を生成し、フレームレートが１６ｆｐｓの人体頭部領域動画４５０を生成する。
【０１４７】
第３の実施形態における画像符号化装置１２０によれば、フレームレートを低減したくない関心領域には必要以上にフレームレートを低減することを防ぎ、フレームレートを低減してもよい関心領域には大きくフレームレートを低減することができるため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じてフレームレートを効果的に低減させ、圧縮処理における計算負担をさらに低減でき、かつ、画像をさらに高圧縮できる。
【０１４８】
スキップマクロブロックタイプをフレーム画像の全てのマクロブロックに設定するのでなく、一部に設定した場合には、フレーム画像単位でフレームレートを低減させるよりもきめ細かくフレームレートを低減させて、圧縮率を低減させることができる。
【０１４９】
第４の実施形態について以下に説明する。図１３は、第３の実施形態における画像符号化装置の機能ブロック図を示す。また、図１４は、量子化条件の例である量子化条件７２を示す図である。図１５Ａ、１５Ｂおよび図１５Ｃは、第４の実施形態における画像符号化処理の流れを表すフローチャートを３つに分けて示したものである。
【０１５０】
第４の実施形態による画像符号化装置１２０は、量子化制御手段２３１が、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせるものである。
【０１５１】
図１３に示すように、第４の実施形態による画像符号化装置１２０は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段２３１をさらに備える。
【０１５２】
また、図１３に示すように、第４の実施形態による画像符号化装置１２０は、量子化条件を記憶する量子条件記憶手段２３２と、量子化条件に基づいて縮小画像を量子化する量子化手段２３４と量子化手段２３４によって量子化された関心領域縮小画像を逆量子化する逆量子化手段２３３と、逆量子化手段２３３によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段２３８を備える。
【０１５３】
量子化制御手段２３１は、主にＣＰＵ３０７を含み構成され、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせるものであり、具体的には、量子化制御手段２３１は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定するものである。
【０１５４】
さらに具体的には、量子化制御手段２３１は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定するものである。
【０１５５】
つまり、量子化制御手段２３１は、複数の関心領域縮小画像の画像サイズをそれぞれ比較し、複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化手段２３４に量子化を行わせるものであり、複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化手段２３４に量子化を行わせる
【０１５６】
第４の実施形態における量子化手段２３４は、第１の実施形態と同様に、記憶された量子化条件に基づいて、縮小画像を量子化するものであり、量子条件記憶手段２３２は、所定の目標画質と、複数の関心領域ごとに設定される量子化パラメータＱｐからなる量子化条件を記憶している。
【０１５７】
量子化条件は、所定の目標画質と、複数の関心領域ごとに設定される量子化パラメータＱｐ（Ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）からなるものであり、量子化制御手段２３１は、算出された逆量子化後の関心領域縮小画像の画質が所定の目標画質になるまで、量子化パラメータを変更し、変更した量子化パラメータに基づいて量子化手段２３４に関心領域縮小画像の量子化を繰り返させるものである。
【０１５８】
図１４は、量子化条件の一例を示す図である。図１４に示すように、量子化条件７２には、あらかじめ定めた所定の目標ブロックノイズ量と目標エッジ量の線形和である目標画質ＮＯと、関心領域５１Ａ（人体頭部領域）、関心領域５１Ｂ（人体領域）、関心領域５１Ｃ（動き領域）、関心領域５１Ｄ（背景領域）のそれぞれに応じた量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤが設定されている。本第４の実施形態において目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値である。なお、目標画質ＮＯは、ブロックノイズ量の所定のしきい値とエッジ量の所定のしきい値にそれぞれ重み付けして和をとることにより定義したものであってよい。さらに量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤは、関心度が高いものほど低い圧縮率になるよう、関心度に応じてＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤの順に圧縮率が高くなるように設定されている。
【０１５９】
なお、目標画質とは、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。ブロックノイズ量とエッジ量の線形和の所定のしきい値で目標画質を設定した場合には、鮮鋭度の低い画像に圧縮率の高い量子化を行うことにより生ずるブロックノイズが効果的に抑制できるという知見が発明者らにより得られており、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で量子化を行えるため、圧縮後の画像の画質を高く維持することができる。
【０１６０】
また、量子化条件は、量子化の圧縮率を制御するための条件であればよく、量子化する単位となるマクロブロックサイズ等もさらに含めてもよい。
【０１６１】
逆量子化手段２３３は、主にＣＰＵ３０７を含み構成され、量子化手段２３４によって量子化された量子化後画像を取得して逆量子化する。
【０１６２】
第４の実施形態における対応付け処理手段２３６Ａは、逆量子化手段２３３によって逆量子化された複数の関心領域縮小画像を、同じ画像サイズになるよう伸長してから合成し、一枚の圧縮後画像を生成する。そして生成された圧縮後画像を画質算出手段２３８に供給する。なお、第４の実施形態における対応付け処理手段２３６Ａは、第２の実施形態における対応付け処理手段２３６同様に、量子化処理部２３０によって動画を圧縮することによって生成された複数の関心領域画像があれば、例えばタグ情報等を付帯する等して互いに対応づける機能も有する。
【０１６３】
画質算出手段２３８は、主にＣＰＵ３０７を含み構成され、逆量子化手段２３３または対応付け処理手段２３６Ａから逆量子化後の関心領域縮小画像を取得して、逆量子化後の関心領域縮小画像の画質を算出する。第４の実施形態では、逆量子化した関心領域縮小画像のブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する。
【０１６４】
第４の実施形態では、ブロック境界における水平・垂直方向の画素間差分値を各々取得し、ブロック境界における画素間差分値の平均値△をブロックノイズ量とする。なお、ブロックノイズ量は、ブロックノイズを定量的に評価する数値であればよく、種々の方法によって定義してよい。また、エッジ量は、画像をＳｏｂｅｌオペレータにより変換し、画像のエッジを抽出したエッジ画像の画素値の合計とする。なお、これらの線形和である画質は、大きくなる程画質が低く、小さくなる程画質が高くなる。程また、本実施形態に限定されず、エッジ量は、エッジ量を定量的に評価する数値であれば、種々の方法によって定義してよい。
【０１６５】
以下に、図１５Ａ、１５Ｂ、１５Ｃのフローチャートに従って、第４の実施形態の画像符号化処理の流れを説明する。
【０１６６】
図１５Ａに示すように、まず、入力手段２００が入力画像３０を取得する（Ｓ４０１）。
【０１６７】
次に関心領域検出手段２０３が頭部、人体、動き領域、背景のそれぞれを含む領域を別個の関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄとして検出する。そして、関心領域分割手段２０４が検出された関心領域に応じて、入力画像３０を複製して、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄそれぞれに対応する関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄを生成する（Ｓ４０２）。
【０１６８】
次いで、画像サイズ制御手段２１１は、第１の実施形態におけるＳ１０２からＳ１０５のステップをそれぞれの関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄごとに行って、関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄをそれぞれ目標鮮鋭度Ｓ３０Ａ、Ｓ３０Ｂ、Ｓ３０Ｃ、Ｓ３０Ｄを満たす範囲で縮小した縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄをそれぞれ生成（Ｓ４０３Ａ、Ｓ４０３Ｂ、Ｓ４０３Ｃ、Ｓ４０３Ｄ）する。なお、Ｓ４０１からＳ４０３（Ｓ４０３Ａ、Ｓ４０３Ｂ、Ｓ４０３Ｃ、Ｓ４０３Ｄ）のステップは、Ｓ３０１からＳ３０３（Ｓ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄ）と同じ内容である。
【０１６９】
次に、量子化制御手段２３１は、全ての縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれの画像サイズを比較し、複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの画像サイズの一部または全部が異なっていた場合には（Ｓ４０４のＮ）、図１５Ｂに示すように、縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれに対し、関心領域固定値化手段２３７に関心領域の固定値化を行わせ、固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄを得る（Ｓ４０５Ａ、Ｓ４０５Ｂ、Ｓ４０５Ｃ、Ｓ４０５Ｄ）。
【０１７０】
次いで、量子化制御手段２３１は、固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄのそれぞれに対し、量子化手段２３４に量子化を行わせる（Ｓ４０６Ａ、Ｓ４０６Ｂ、Ｓ４０６Ｃ、Ｓ４０６Ｄ）。具体的には量子化手段２３４は、縮小画像３３Ａ、３３Ｂ、３３Ｃ、３３ＤにそれぞれＤＣＴ（離散コサイン変換）を行い、ＤＣＴ処理後の画像３４Ａ、３４Ｂ、３４Ｃ、３４Ｄをそれぞれ得る。
【０１７１】
さらに、量子化手段２３４は、ＤＣＴ後の画像３４Ａに対し、関心領域５１Ａに対応する量子化パラメータＱｐＡを用いて量子化し量子化後画像３５Ａを得る（Ｓ４０７Ａ）。具体的には、縮小画像３２Ａのマクロブロック全てに、量子化パラメータＱｐＡを用いて量子化する。同様に、ＤＣＴ後の画像３４Ｂ、３４Ｃ、３４Ｄもそれぞれ量子化パラメータＱｐＢ、ＱｐＣ、ＱｐＤで量子化し、量子化後画像３５Ｂ、３５Ｃ、３５Ｄをそれぞれ得る（Ｓ４０７Ｂ、Ｓ４０７Ｃ、Ｓ４０７Ｄ）。
【０１７２】
次に、逆量子化手段２３３は、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄのそれぞれを逆量子化し、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを得る（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ、Ｓ４０８Ｄ）。
【０１７３】
対応付け処理手段２３６Ａは、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄの画像サイズが全て一致するようにそれぞれ伸長し、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを合成した一枚の合成画像３６を生成する（Ｓ４０９）。
【０１７４】
次に、画質算出手段２３８は、合成画像３６のブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する。（Ｓ４１０）。
【０１７５】
そして、量子化制御手段２３１は、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより低いものであれば（Ｓ４１１のＹ）、つまり画質が目標画質より高ければ、さらに圧縮率をあげるように量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをそれぞれより大きく変更し（Ｓ４１４）、Ｓ４０７（Ｓ４０７Ａ、Ｓ４０７Ｂ、Ｓ４０７Ｃ、Ｓ４０７Ｄ）からＳ４１１の処理を繰り返す。なお、この際、Ｓ４０７からＳ４１１の処理を繰り返す際、過去の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄのうち最も新しい過去の量子化後画像３５Ａ’、３５Ｂ’、３５Ｃ’、３５Ｄ’を保存しておくものとする。
【０１７６】
本第４の実施形態においては、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤの全てを一律に予め定めた増加率で増加させるものとする。しかし、これに限られず、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤのうちの一部の量子化パラメータのみを増加させてもよく、様々な増加率で増加させてもよく、一部または全部の量子化パラメータをここに様々な増加率で増加させてもよい
【０１７７】
また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより大きくなれば（Ｓ４１１のＮ）、つまり画質が目標画質より低くなれば、符号化手段２３５は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’、３５Ｂ’、３５Ｃ’、３５Ｄ’を符号化した符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ４１２）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば（Ｓ４１１のＮ）、対応付け処理手段２３６Ａは量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄをタグ情報等で対応付け、符号化手段２３５は、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを対応付けるタグ情報等の対応付け情報と共に、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを符号化し、符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ４１２）。これは、画質Ｎが目標画質ＮＯを上回らない範囲で、すなわち、画質を目標画質より劣化させない範囲で、最も高い圧縮率で圧縮した合成画像３６を生成し、符号化することに相当する。また、本第４の実施形態のように、一枚の逆量子化した画像を合成した合成画像３６についてブロックノイズ量とエッジ量の線形和である画質を算出した場合は、各関心領域を合成した状態で、各関心領域間の境界に生ずるブロックノイズを含んで算出できるため、より正確に圧縮後のブロックノイズ量とエッジ量の線形和を目標ブロックノイズとエッジ量の線形和量の範囲内に維持して、量子化による圧縮率を高くできる。
【０１７８】
出力手段２０７は、符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを含んで構成される動画データ３８を通信ネットワーク１１０に送出する（Ｓ４１３）。
【０１７９】
一方、量子化制御手段２３１は、全ての縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの画像サイズが等しければ（Ｓ４０４のＹ）、図１５Ｃに示すように、量子化手段２３４に縮小画像３２Ａについてのみ量子化を行わせる（Ｓ５０１）。
【０１８０】
具体的には量子化手段２３４は、縮小画像３２ＡにＤＣＴ（離散コサイン変換）を行い、それぞれの関心領域に対応する量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤを用いて量子化する（Ｓ５０２）。具体的には、縮小画像３２Ａのマクロブロックごとに、そのマクロブロックが含まれる関心領域に応じた量子化パラメータで量子化する。関心領域５１Ａに含まれるマクロブロックは、量子化パラメータＱｐＡで量子化し、関心領域５１Ｂに含まれるマクロブロックは、量子化パラメータＱｐＢで量子化し、関心領域５１Ｃに含まれるマクロブロックは、量子化パラメータＱｐＣで量子化し、関心領域５１Ｂに含まれるマクロブロックには、量子化パラメータＱｐＤで量子化する。
【０１８１】
本第４の実施形態においては、縮小画像３２Ａについてのみ量子化を行った。すなわち、圧縮後の画像においても、関心度の最も高い領域の鮮鋭度を可能な限り目標鮮鋭度の範囲で維持するため、１つの関心領域縮小画像を用いて量子化する場合には、最も高い目標鮮鋭度を満たす画像を用いて量子化をおこうことが好ましいためである。すなわち、１つの関心領域縮小画像を用いて量子化する場合には、最も高い目標鮮鋭度に基づいて縮小した関心領域縮小画像を用いることが望ましい。なお、複数の関心領域縮小画像のうち、他の関心領域縮小画像について量子化を行ってもよい。
【０１８２】
次に、逆量子化手段２３３は、縮小画像３３Ａを量子化した量子化後の画像である量子化後画像３５Ａを逆量子化し、逆量子化後の縮小画像３６Ａを生成する（Ｓ５０３）。
【０１８３】
そして、画質算出手段２３８は、逆量子化後の縮小画像３６Ａのブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する（Ｓ５０４）。
【０１８４】
そして、量子化制御手段２３１は、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより低いものであれば（Ｓ５０５のＹ）、すなわち目標画質より高い画質であれば、さらに圧縮率をあげるように量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをより大きく変更し（Ｓ５０６）、Ｓ５０２からＳ５０５の処理を繰り返す。なお、この際、Ｓ５０２からＳ５０５の処理を繰り返しの際、過去の量子化後画像３５Ａのうち最も新しい過去の量子化後画像３５Ａ’を保存しておくものとする。
【０１８５】
本第４の実施形態においては、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤは、１つの関心領域縮小画像を用いて量子化する場合も、複数の関心領域縮小画像ごとに量子化する場合も、同じ値の量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤを用いる。なお、１つの関心領域縮小画像を用いて量子化する場合と複数の関心領域縮小画像ごとに量子化する場合で量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをそれぞれ異ならせてもよい。
【０１８６】
また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより大きくなれば（Ｓ５０５のＮ）、すなわち逆量子化後の縮小画像３６Ａの画質が目標画質より低くなれば、符号化手段２３５は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’を符号化した符号化後画像３７Ａを生成する（Ｓ５０７）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば（Ｓ５０５のＮ）、符号化手段２３５は量子化後画像３５Ａを符号化し、符号化後画像３７Ａを生成する（Ｓ５０７）。すなわち、目標画質の範囲内で最も圧縮率の高い符号化後画像３７Ａを生成する。
【０１８７】
出力手段２０７は、符号化後画像３７Ａを含んで構成される動画データ３８を通信ネットワーク１１０に送出する（Ｓ５０８）。
【０１８８】
以上のように、第４の実施形態における画像符号化装置１２０では、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段２３１をさらに備えたため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１８９】
また、量子化制御手段２３１が、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定したため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１９０】
さらに具体的に、第４の実施形態の画像符号化処理の効果を説明する。第４の実施形態により、画像サイズに応じてサイズの異なる複数の関心領域縮小画像をそれぞれ量子化する場合には、量子化後それぞれの関心領域縮小画像を伸長して同サイズとして一枚の画像に合成することにより圧縮後の画像を得る。このことにより、量子化を行う際の計算の最小単位がカバーする画像の範囲が関心領域ごとに異なるものとなる。すると、量子化後それぞれの関心領域縮小画像を伸長して一枚の画像を生成した際に、ある関心領域を構成するマクロブロックと他の関心領域を構成するマクロブロックとの境界にブロックノイズが発生するのを抑制する効果が得られる。特に、入力画像の鮮鋭度の低い場合は、１つの関心領域縮小画像だけを用いて量子化する方法で量子化するとブロックノイズが顕著となるため、第４の実施形態のように、画像サイズを異なる複数の関心領域縮小画像ごとに量子化を行う方法により、ブロックノイズを低減することで、画質を維持する効果が著しい。
【０１９１】
また、画像サイズに応じて一枚の関心領域縮小画像を量子化する場合には、関心領域に応じた量子化パラメータを用いて一つの関心領域縮小画像を量子化することによって、計算負荷を上げずに圧縮後の画像の画質を維持することができる。入力画像の鮮鋭度が高い場合は、特に１つの関心領域縮小画像だけを用いて量子化する方法で、圧縮後も十分に鮮鋭な画像が得られるため、画像サイズに応じて、計算負荷を必要以上に上げることなく、画質を維持することができる。
【０１９２】
よって、本第４の実施形態によれば、画像サイズを異ならせて関心領域縮小画像ごとに量子化を行うことにより、ブロックノイズの抑制効果が得られる。さらに、複数の関心領域縮小画像の画像サイズが全て等しいときには、一枚の関心領域縮小画像についてのみ量子化を行うため、計算負荷を必要以上にあげることがない。
【０１９３】
さらに、量子化制御手段２３１は、複数の関心領域縮小画像の画像サイズをそれぞれ比較し、複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化手段に量子化を行わせるものであり、複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化手段に量子化を行わせるものであるため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１９４】
さらに、第４の実施形態による量子化制御手段２３１は、逆量子化後の関心領域縮小画像の画質が所定の目標画質になるまで、量子化パラメータを変更し、変更した該量子化パラメータに基づいて量子化手段に関心領域縮小画像の量子化を繰り返させるものであるため、目標画質を維持できる範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質を好適に維持しつつ、画像を高圧縮率できる。
【０１９５】
さらに、第４の実施形態において、所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であるため、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像のブロックノイズが所定の範囲に抑えられたものとなり、画像を高い圧縮率で圧縮できる。また、ブロックノイズ量とエッジ量の線形和を画質として判断することによって、ブロックノイズを低減した画像が好適に得られるという発明者らの知見からも好ましい。
【０１９６】
さらに、画像処理システム１０が、第４の実施形態の画像符号化装置１２０、および、得られた動画データを構成する画像に対して超解像処理を行う超解像処理手段を備えた画像処理装置１７０を備えた場合には、画像処理システム１０は、第４の画像符号化装置の効果を備え、第４の画像符号化装置で得られた動画データに対し、超解像処理を施すことによって高い圧縮率で鮮鋭度の高い動画データを得られる。
【０１９７】
なお、ブロックノイズ量とエッジ量の線形和を算出するＳ４１０またはＳ５０４のステップにおいて、本実施形態に限定されず、ブロックノイズ量をブロックの平坦度と隣接ブロック間の不連続性によって定義し、マクロブロックごとに評価してもよい。
【０１９８】
以下、ブロックノイズ量とエッジ量をそれぞれマクロブロックごとに評価した、第４の実施形態の変形例を説明する。第４の実施形態の変形例では、逆量子化後の縮小画像３６Ａを構成する個々のマクロブロックの画素値の分散と平均値を算出し、評価対象となる対象マクロブロック内の画素値の分散がしきい値以下どうかを調べる。そして、対象マクロブロック内の画素値の分散がしきい値以下であれば、対象マクロブロックと水平または垂直方向に隣接する４つの隣接するマクロブロックのうち画素値の分散がしきい値以下のマクロブロックを抽出する。そして、抽出した隣接するマクロブロックの画素の平均値と対象マクロブロックの画素の平均値との差分値の絶対値和をブロックノイズ量として算出する。なお、これは、抽出されたマクロブロック、および、抽出された隣接するマクロブロックとは、両者とも分散がしきい値より低いためマクロブロック内の画素値が平坦である可能性が高く、平坦なマクロブロックどうしである両者の間にブロックノイズが現れている可能性が高いため、両者の平均値の差分値は、両ブロック間のブロックノイズの度合いを表していると考えることができるためである。
【０１９９】
また、第4の実施形態の変形例によるエッジ量は、Ｓｏｂｅｌオペレータにより対象マクロブロックのエッジを抽出し、そのエッジが抽出されたマクロブロックの画素値の合計として定義してもよい。Ｓｏｂｅｌオペレータによりエッジ抽出が行われた画像は、エッジの領域のみが抽出された画像となっているため、この画素値を合計するとエッジを構成する領域の画素値が得られる。なお、この場合、目標ブロックノイズ量と目標エッジ量の線形和ＮＯは個々のマクロブロックに対するブロックノイズ量とエッジ量の線形和の所定のしきい値を表すものである。また、ブロックノイズ量をマクロブロックごとに定義した場合、エッジ量もマクロブロックごとに定義することが好ましい。
【０２００】
図１６は図１４に示す第４の実施形態の量子化条件の変形例を示す。図１７は、図１５Ｂに示した複数の関心領域縮小画像ついて量子化を行う場合の処理の流れを示すフローチャートの変形例である。図１６に示す量子化条件表７３には、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄに応じてそれぞれ目標ブロックノイズ量ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤが設定されている点が量子化条件７２と異なる。図１７は、Ｓ６０９Ａ〜Ｓ６０９Ｄ、Ｓ６１０Ａ〜Ｓ６１０Ｄ、Ｓ６１１、Ｓ６１４の画質評価の順番が、図１５Ｂと異なり、それ以外のステップは、図１５Ｂと同じ処理を行う。また、第４の実施形態の変形例においては、図１５Ａおよび図１５Ｃの処理は全て同じであるため説明を省略する。
【０２０１】
つまり、図１５Ｂに示した例では、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを取得した（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ，Ｓ４０８Ｄ）後に対応付け処理を行っていたところ、本第４の実施形態の変形例では、Ｓ４０８（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ，Ｓ４０８Ｄ）後に複数の逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄに対して、画質算出手段２３８がブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質ＮＡ、ＮＢ、ＮＣ、ＮＤを算出する（Ｓ６０９Ａ、Ｓ６０９Ｂ、Ｓ６０９Ｃ，Ｓ６０９Ｄ）。
【０２０２】
そして、量子化制御手段２３１は、各逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄにそれぞれ対応する画質ＮＡ、ＮＢ、ＮＣ、ＮＤと、各逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄにそれぞれ対応する目標画質ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤをそれぞれ比較する（Ｓ６１０Ａ、Ｓ６１０Ｂ、Ｓ６１０Ｃ，Ｓ６１０Ｄ）。
【０２０３】
逆量子化後画像３６Ａについて説明すると、逆量子化後の縮小画像３６Ａの画質ＮＡが目標画質ＮＯＡより低いものであれば（Ｓ６１０のＹ）、すなわち目標画質よりも高画質であれば、さらに圧縮率をあげるように圧縮率をさらにあげるように量子化パラメータＱｐＡをより大きく変更し（Ｓ６１４Ａ）、Ｓ４０７ＡからＳ６１０Ａの処理を繰り返す。なお、Ｓ４０７ＡからＳ６１０Ａの処理を繰り返す際、過去の量子化後画像３５Ａのうち最も新しい過去の量子化後画像３５Ａ’を保存しておくものとする。
【０２０４】
また、逆量子化後の縮小画像３６Ａの画質ＮＡが目標画質ＮＯＡより大きくなれば、すなわち目標画質よりも低画質であれば、量子化制御手段２３１は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’を対応付け処理手段２３６Ａに出力する（Ｓ６１０ＡのＮ）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば、符号化手段２３５は量子化後画像３５Ａを対応付け処理手段２３６Ａに出力する（Ｓ６１０ＡのＮ）。
【０２０５】
なお、逆量子化後画像３６Ｂ、３６Ｃ、３６ＤについてのＳ６１０Ｂ、Ｓ６１０Ｃ、Ｓ６１０Ｄのステップでは、逆量子化後画像３６ＡについてのＳ６１０Ａと同等の処理が行われる。逆量子化後画像３６Ｂ、３６Ｃ、３６ＤについてのＳ６１４Ｂ、Ｓ６１４Ｃ、Ｓ６１４Ｄのステップでは、逆量子化後画像３６ＡについてのＳ６１４Ａと同等の処理が行われる。
【０２０６】
対応付け処理手段２３６Ａは、量子化制御手段２３１から量子化後画像３５Ａ（または３５Ａ’）、３５Ｂ（または３５Ｂ’）、３５Ｃ（または３５Ｃ’）、３５Ｄ（または３５Ｄ’）を取得して、タグ情報等で、互いに対応付ける。
【０２０７】
以上のように、第４の実施形態の変形例を構成すれば、関心領域に応じた目標画質を保って高い圧縮率で符号化を行える。また、第４の実施形態の変形例において、事前にシミュレーション等から得た知見をもとに、複数の関心領域縮小画像ごとのブロックノイズ量とエッジ量の線形和と、かかる複数の関心領域縮小画像を伸長して１つの画像に合成した合成画像のブロックノイズ量とエッジ量の線形和との相関を記憶したデータベースを備え、このデータベースに基づいて、合成画像のブロックノイズ量とエッジ量の線形和が所望のブロックノイズ量とエッジ量の線形和の範囲となるよう逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄに応じた目標ブロックノイズ量とエッジ量の線形和ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤを定めた場合には、第４の実施形態と同様に、圧縮後画像のブロックノイズ量の低減効果が著しい。
【０２０８】
以下に本明細書における関心領域検出手段２０３の領域検出方法について詳細に説明する。
【０２０９】
関心領域検出手段２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、関心領域検出手段２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、関心領域検出手段２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、関心領域検出手段２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【０２１０】
また、関心領域検出手段２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域（動き領域）として特定する。他にも、関心領域検出手段２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、関心領域検出手段２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。なお、動き領域は、複数のマクロブロックをまたいで移動する物体等を含む領域を検出するものとし、風によって揺れ動く草木等、特定の微小なマクロブロックの範囲で周期的に動く物体を含む領域は、動き領域として検出しないものとする。
【０２１１】
このように、関心領域検出手段２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、関心領域検出手段２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、関心領域検出手段２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、関心領域検出手段２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【０２１２】
なお、関心領域検出手段２０３は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、ＲＯＩとして検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、関心領域検出手段２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をＲＯＩとして検出してよい。
【０２１３】
また、関心領域検出手段２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、ＲＯＩを検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、関心領域検出手段２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、ＲＯＩとして検出してよい。これにより関心領域検出手段２０３は、予め定められた被写体が撮像されている領域をＲＯＩとして検出することができる。なお、関心領域検出手段２０３は、矩形を含む任意の形状を有するＲＯＩを検出してよい。
【０２１４】
なお、関心領域検出手段２０３は、特願２００８−０７８６４１号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、関心領域検出手段２０３は、生成された画像群のうちの相対的に小さい第１の画像に、第１のフィルタを作用させて、評価値を算出する。ここで、第１のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表す評価値を生成する。また、第１のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。関心領域検出手段２０３は、所定の第１の閾値を越える評価値が得られた一次候補領域を、第１の画像から抽出する。
【０２１５】
そして、関心領域検出手段２０３は、第１の画像よりも画素数が一段階多い第２の画像における一次候補領域に相当する領域に、フィルタ群のうちの第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて、評価値を算出する。そして、関心領域検出手段２０３は、所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する。
【０２１６】
ここで、関心領域検出手段２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、関心領域検出手段２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、関心領域検出手段２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、関心領域検出手段２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、関心領域検出手段２０３は、当該特定種類のオブジェクトが存在する領域を、ＲＯＩとして検出する。このように、関心領域検出手段２０３は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、ＲＯＩをより高精度に検出することができる。また、小さいサイズの画像でＲＯＩの粗ぶるいが行なわれるので、より高速にＲＯＩを検出することができる。
【０２１７】
また、関心領域検出手段２０３は、特願２００８−０７８６３６号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、ＲＯＩを検出する。具体的には、関心領域検出手段２０３は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表す一次評価値との対応関係が対応づけられている。関心領域検出手段２０３は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、関心領域検出手段２０３は、当該領域を、特定種類のオブジェクトが存在するＲＯＩとして検出する。このように、関心領域検出手段２０３は、オブジェクトの輪郭・内部の様々な特徴を表す特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度にＲＯＩを抽出することができる。
【０２１８】
なお、関心領域検出手段２０３は、特願２００８−０７８６３６号に記載された方法と、特願２００８−０７８６４１号に記載された方法とを組み合わせた方法により、ＲＯＩを検出してよい。具体的には、特願２００８−０７８６３６号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、関心領域検出手段２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、関心領域検出手段２０３は、画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させることで複数の特徴量を算出する。そして、関心領域検出手段２０３は、該複数の第１のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
【０２１９】
また、関心領域検出手段２０３は、上記画像群のうちの第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させることで、複数の特徴量を算出する。そして、関心領域検出手段２０３は、当該複数の第２のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、求められた二次評価値と第２の閾値とを比較して第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
【０２２０】
ここで、関心領域検出手段２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、関心領域検出手段２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、関心領域検出手段２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、関心領域検出手段２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、関心領域検出手段２０３は、当該特定種類のオブジェクトが存在する領域を、ＲＯＩとして検出する。
【０２２１】
また、関心領域検出手段２０３は、特願２００８−０９８６００号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、複数の撮像装置１００により撮像された動画に含まれる複数の撮像画像から、ＲＯＩを検出する。一例として、撮像装置１００ａおよび撮像装置１００ｂは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置１００ａおよび撮像装置１００ｂは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置１００ａが撮像した第１の撮像画像と、撮像装置１００ｂが撮像した第２の撮像画像とを、ペア画像と呼ぶ。関心領域検出手段２０３は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、ＲＯＩとして検出する。
【０２２２】
関心領域検出手段２０３は、ペア画像とみなされる第１および第２の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、関心領域検出手段２０３は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、関心領域検出手段２０３は、抽出した第１の撮像画像上の領域と第２の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、関心領域検出手段２０３は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。関心領域検出手段２０３は、被写体までの距離に基づく被写体の３次元形状に基づいて、特定種類のオブジェクトを検出することができる。
【０２２３】
ここで、関心領域検出手段２０３は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第１および第２の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、関心領域検出手段２０３は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル（例えば、画素値勾配ベクトル）を例示することができる。そして、関心領域検出手段２０３は、算出された第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出する。関心領域検出手段２０３は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、関心領域検出手段２０３は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、関心領域検出手段２０３は、被写体の３次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
【０２２４】
また、関心領域検出手段２０３は、特願２００８−０９１５６２号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置１００の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、関心領域検出手段２０３は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、関心領域検出手段２０３は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、関心領域検出手段２０３は、特定種類の被写体を含む領域を、ＲＯＩとして検出してよい。このため、関心領域検出手段２０３は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
【０２２５】
なお、撮像装置１００が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置１００の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置１００により、一の撮像装置１００が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置１００のそれぞれの撮像方向、および複数の撮像装置１００のそれぞれにより撮像された撮像画像上の位置を例示することができる。
【０２２６】
以上の全ての実施形態は、その本質を変容させることなく、他の実施形態にも適用できる。
【符号の説明】
【０２２７】
１０ 画像処理システム
１２０ 動画符号化装置
２００ 入力手段
２０３ 関心領域検出手段
２０４ 関心領域分割手段
２０７ 出力手段
２１１ 画像サイズ制御手段
２１２ 画像サイズ条件記憶手段
２１３ 鮮鋭度算出手段
２１４ 画像サイズ低減手段
２３１ 量子化制御手段
２３２ 量子化条件記憶手段
２３３ 逆量子化手段
２３４ 量子化手段
２３５ 符号化手段
２３８ 画像算出手段
【技術分野】
【０００１】
本発明は、画像符号化装置および画像符号化方法、並びに画像符号化方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年では、防犯カメラ等で撮影された動画像をＭＰＥＧ等のデジタル方式で録画する技術が進んでいる。これらの動画像データは、ＨＤＤや光磁気ディスクなどの記憶媒体に保存することによって録画できるが、録画時間が同じでも、動画像データの圧縮度に応じて、記憶媒体に占める容量が異なることになる。例えば、防犯カメラにおいては、長時間にわたり動画像を録画するため、保存すべきデータ量も膨大なものになり、画質を維持しつつできるだけ圧縮率を高めることが必要とされる。
【０００３】
特許文献１は、画像を画像の中で予め設定された条件に合致する注目領域画像とその他の注目領域でない領域に分け、注目領域でない画像についてはローパスフィルタを介して解像度を低減した画像を選択し、注目領域の画像については、ローパスフィルタを介さない画像を選択して、画像のデータ量を必要な領域以外では画像の解像度を低下させてデータ量を削減する画像送信システムを開示している。
【０００４】
また、特許文献２は、受信画像情報を複合化して基準画像データ、および基準画像データをさらに所定の符号化パラメータを用いて符号化および複合化を行った参照画像データを作成し、両者を比較した評価結果が一定水準以上であれば、所定の符号化パラメータの圧縮率が高くなるよう変更し、両者を比較した評価結果が一定水準以下であれば、所定の符号化パラメータの圧縮率が低くなるよう変更するカラー画像通信装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８７９２号公報
【特許文献２】特開２００４−１９３９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１に記載の技術によると、注目領域に対してはローパスフィルタを適用しないため、注目領域についてさらに解像度を低減させても良い場合に、動画像のデータ量を十分に低減することができない虞がある。
【０００７】
また、特許文献２に記載の技術によると、入力された画像について、画像の符号化を終えてから符号化パラメータ等を変更するため、圧縮率を高くして良い画像であっても、入力された画像データを用いて符号化を含む画像圧縮処理を行うため、画像圧縮処理の計算負荷が高くなっていた。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像圧縮処理の計算負荷を軽減し、必要とされる水準以上に高画質を維持しつつ、画像サイズをより効果的に低減し、圧縮率を高めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明による画像符号化装置は、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えたものである。
【００１０】
本発明による画像符号化方法は入力された入力画像を符号化して出力する画像符号化方法であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段に記憶された前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成し、前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させることを特徴とするものである。
【００１１】
本発明による画像符号化プログラムは、コンピュータを、入力された入力画像を符号化して出力する画像符号化プログラムであって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させる画像サイズ制御手段として機能させることを特徴とするものである。
【００１２】
ここでいう、画像サイズを低減するとは、画像の大きさを直接的または間接的に小さくするものであれば何でもよく、一例として画素数を減らすことにより解像度を低減させることがあげられる。例えば、単純に画素を間引いて画像サイズを低減してもよく、または隣接する複数の画素値の平均をとった画素で、複数の画素を置き換えるなどの処理を行って画像サイズを低減してもよく、低域ろ過フィルタを用いたフィルタリングにより画像サイズを低減させるものであってもよい。
【００１３】
鮮鋭度は、人間の視覚で感知される画像のシャープさを表す指標であり、本発明においては、以下に述べる発明者らの知見により、画像に含まれる高周波成分の割合を直接的または間接的に表すものであれば種々の方法により定義することができる。本発明者らによれば、画像の鮮鋭さは画像中の高周波成分と相関関係がある。すなわち、高周波成分が多い画像であると画像の鮮鋭さが保たれており、高周波成分が少ない画像であると、物体のエッジ部分などの鮮鋭さが失われ平坦な色調の画像になっている可能性がある。このため、本発明においては、画像中の高周波成分の割合を直接的または間接的に表す指標によって、高周波成分が基準量以上である場合は鮮鋭度が基準以上の鮮鋭度を保っているものと判断し、高周波成分が基準量より小さい場合は鮮鋭度が低いものと判断する。
【００１４】
一例として、本発明による鮮鋭度は、空間周波数展開された画像において、所定値の周波数以上の高周波成分の総量を直接的または間接的に表す量であってもよい。また、本発明による鮮鋭度は、基準とする鮮鋭度を有する基準画像と、基準画像を画像サイズ変更または圧縮復元等の圧縮処理を行った後の、鮮鋭度を算出する対象となる比較画像とを比較し、比較画像の各画素値から基準画像を対応する位置の各画素値を減算した差分画像の各画素値の絶対値の総量を比較画像の鮮鋭度としてもよい。一般に圧縮処理によって画像中の低周波成分より高周波成分を高圧縮率で圧縮するため、画像の高周波成分は低周波成分に比べて失われる傾向がある。このため、基準画像と比較画像の差分画像には、圧縮処理によって失われた高周波成分の画素値が反映されるためである。具体的には、差分画像の画素値の総量が大きいほど、比較画像の高周波成分が大きく低減されているものと判断する。
【００１５】
なお、「目標鮮鋭度より大きい」とは、目標鮮鋭度が表す水準よりも高鮮鋭であることを意味する。
【００１６】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ記憶条件手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであってもよい。
【００１７】
本発明による画像符号化装置において、前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものであることが好ましい。
【００１８】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記画像サイズ条件を変更する際に、前記画像サイズ記憶条件手段に記憶された前記画像サイズ条件のうち、前記画像サイズをより小さくなるよう変更するものであることが望ましい。
【００１９】
本発明による画像符号化装置において、前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれかを含むものであってもよい。
【００２０】
さらに、前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれか２つ以上を含むものであり、前記複数の関心領域のうち、前記関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう設定されるものであることが好ましい。
【００２１】
本発明による画像符号化装置において、前記入力画像は動画像を構成するものであり、前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものであることが好ましい。
【００２２】
また、前記フレーム間圧縮条件は、前記動画像を時間方向へ圧縮する度合を表すものであってもよい。
【００２３】
さらに、前記フレーム間圧縮条件は、スキップマクロブロックを含むものであり、前記フレーム間圧縮手段は、マクロブロックタイプを前記スキップマクロブロックに変化させてフレームレートを低下させるものであってもよい。
【００２４】
ここでいう、スキップマクロブロックとは、ＭＰＥＧ等のように１枚の画像を１６Ｘ１６画素、１６Ｘ８画素等のマクロブロックごとに分割してマクロブロックごとに量子化等の処理を行う動画圧縮方式において、１枚のフレーム画像に含まれる各マクロブロックごとに設定されるマクロブロックタイプの一項目である。マクロブロックタイプにスキップマクロブロックを設定すると、そのマクロブロックの内容は、前後のフレーム画像の対応するマクロブロックを参照するものとして、スキップされる。なお、参照された前（または後の）マクロブロックがさらにスキップマクロブロックのマクロブロックタイプを設定されていた場合は、さらにその前（または後の）マクロブロックが参照される。また、ここでいうフレームレートを低下させるとは、実際にフレームの単位時間あたりの画面の更新頻度を低下させることだけでなく、スキップマクロブロックが設定されることにより、フレーム間でマクロブロックの内容が符号化されないことも含む。
【００２５】
また、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものであることが好ましい。
【００２６】
ここで、スキップマクロブロックに変化させる割合を小さくするとは、一枚のフレーム画像中において、その画像に含まれる複数のマクロブロックのうち、マクロブロックタイプをスキップマクロブロックに設定する割合を小さくしてもよく、前後の複数のフレーム画像に共通する特定のマクロブロックについて、マクロブロックタイプをスキップマクロブロックに設定する割合を小さくしてもよい。後者の具体例を示すと、同一の対象物が含まれる特定のマクロブロックが一連の複数のフレーム画像に存在する場合に、複数のフレーム画像の各特定のマクロブロックのマクロブロックタイプをスキップマクロブロックに設定する割合を小さくすることによって、スキップされるマクロブロックを少なくしてもよい。
【００２７】
本発明による画像符号化装置において、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えることが好ましい。
【００２８】
また、前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものであることが望ましい。
【００２９】
ここでいう目標画質とは、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、これらの指標又は組み合わせを適宜数式等によって定義したものであっても良い。
【００３０】
さらに、本発明による画像符号化装置は、前記量子化条件を記憶する量子条件記憶手段と、前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものであることが好ましい。
【００３１】
さらに、本発明による画像符号化装置は、前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものであることが好ましい。
【００３２】
さらに、前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であることがさらに好ましい。
【００３３】
ここで、ブロックノイズは、画像の高圧縮によりマクロブロック同士の境界の連続性が失われることにより、その後再現した画像にマクロブロック間の境界がそのまま現れて、画像の一部領域がモザイク状に見える現象である。ブロックノイズ量とは、ブロックノイズを定量的に表す数値であり、画面内のブロックノイズの多さを直接的または間接的に示す種々の方法で定義してよい。また、ブロックノイズ量は画像単位で定義することができ、マクロブロック単位で定義することもできる。一例として、ブロックノイズ量を隣接ブロック間の不連続性によって定義することができ、水平・垂直方向の画素間差分値を各々取得し、ブロック境界における画素間差分値の平均値△をブロックノイズ量としてもよい。
【００３４】
さらに、ブロックノイズ量をブロックの平坦度と隣接ブロック間の不連続性によって定義してもよい。例えば、ブロックノイズ量をマクロブロックごとに求める場合、画像を構成する個々のマクロブロックの画素値の分散と平均値を算出し、対象となるマクロブロックの画素値の分散と平均値を算出し、評価対象となる対象マクロブロック内の画素値の分散がしきい値以下どうかを調べる。そして、画素値の分散がしきい値より小さい、マクロブロック内の画素値が平坦である可能性のあるマクロブロックを抽出する。そして、抽出された対象マクロブロックと水平または垂直方向に隣接する４つの隣接するマクロブロックのうち画素値の分散がしきい値以下のマクロブロックを抽出する。つまり、抽出された対象マクロブロックに隣接するマクロブロックのうち、マクロブロック内の画素値が平坦である可能性のあるマクロブロックをさらに抽出する。そして、抽出した隣接するマクロブロックの画素の平均値と対象マクロブロックの画素の平均値との差分値の絶対値和をブロックノイズ量Ｎとしてもよい。なお、これは、抽出されたマクロブロック、および、抽出された隣接するマクロブロックとは、両者ともマクロブロック内の画素値が平坦である可能性が高く、両者の間にブロックノイズが現れている可能性が高いため、両者の平均値の差分値は、両ブロック間のブロックノイズの度合いを表していると考えることができるためである。
【００３５】
エッジ量は、画像内のエッジの量を表す数値であり、画像内のエッジの多さを表すことができるものであれば種々の方法で定義してよい。一例としては、Ｓｏｂｅｌ，Ｌａｐｌａｃｉａｎ，Ｃａｎｎｙ法等の種々のエッジ抽出法を用いて画像内のエッジのみを抽出した画像を生成し、その画像の画素値の合計として定義できる。エッジ抽出法は、エッジを抽出できるものであれば何でも適用することができる。また、エッジ量は、画像単位で定義することができ、マクロブロック単位で定義することもできる。
【００３６】
また、目標画質は、画像単位で定義してもよく、マクロブロック単位で定義してもよい。ブロックノイズ量とエッジ量の線形和とは、ブロックノイズ量とエッジ量とをそれぞれ重み付けして加算したものも含むものである。
【００３７】
本発明による画像符号化装置は、前記画像サイズ条件記憶手段は、前記入力画像の画質をさらなる目標画質として記憶するものであり、前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備えてもよい。
【００３８】
さらなる目標画質は、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。
【発明の効果】
【００３９】
本発明による動画符号化装置および動画符号化方法および動画符号化プログラムは、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えたものであるため、目標鮮鋭度以上に鮮鋭度を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４０】
本発明による画像符号化装置において、前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものである場合には、目標鮮鋭度を維持出来る範囲で、画像サイズを最小限に低減させてからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４１】
本発明による画像符号化装置において、前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものである場合には、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。このため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行い、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００４２】
本発明による画像符号化装置において、前記入力画像は動画像を構成するものであり、前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものである場合には、フレームレートを低減したくない関心領域には必要以上にフレームレートを低減することを防ぎ、フレームレートを低減してもよい関心領域には大きくフレームレートを低減することができるため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じてフレームレートを効果的に低減させるため、圧縮処理における計算負担をさらに低減でき、かつ、画像をさらに高圧縮できる。
【００４３】
本発明による画像符号化装置において、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えた場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４４】
また、前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものである場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４５】
さらに、本発明による画像符号化装置は、前記量子化条件を記憶する量子条件記憶手段と、前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものである場合には、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【００４６】
さらに、本発明による画像符号化装置は、前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものである場合には、目標画質を維持できる範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質を好適に維持しつつ、画像を高圧縮率できる。
【００４７】
さらに、前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であること場合には、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質が所定の範囲に抑えられたものとなり、画像を高圧縮率できる。
【００４８】
本発明による画像符号化装置は、前記画像サイズ条件記憶手段は、前記入力画像の画質をさらなる目標画質として記憶するものであり、前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備える場合には、さらなる目標画質に基づいて画像サイズを変更するため、さらなる目標画質以上に画質を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなくさらなる目標画質を維持して画像を高圧縮できる。
【図面の簡単な説明】
【００４９】
【図１】第１の実施形態に係る画像処理システム１０の構成を示す図
【図２】第１の実施形態の画像符号化装置１２０の機能ブロック図
【図３】第１の実施形態の画像符号化処理の流れを説明する図
【図４】第１の実施形態の変形例の画像符号化装置１２０の機能ブロック図
【図５】第１の実施形態の変形例の画像符号化処理の流れを説明する図
【図６】第２の実施形態の画像符号化装置１２０の機能ブロック図
【図７】第２の実施形態の複数の関心領域を説明するイメージ図
【図８】第２の実施形態の複数の関心領域を固定値化した例を示す図
【図９】第２の実施形態の画像符号化処理の流れを説明する図
【図１０】第２の実施形態の画像サイズ条件の例を示す図
【図１１】第３の実施形態の画像符号化装置１２０の機能ブロック図
【図１２】第３の実施形態の画像符号化処理の流れを説明する図
【図１３】第４の実施形態の画像符号化装置１２０の機能ブロック図
【図１４】第４の実施形態の量子化条件の例を示す図
【図１５Ａ】第４の実施形態の画像符号化処理の流れを説明する図（その１）
【図１５Ｂ】第４の実施形態の画像符号化処理の流れを説明する図（その２）
【図１５Ｃ】第４の実施形態の画像符号化処理の流れを説明する図（その３）
【図１６】第４の実施形態の変形例の量子化条件の例を示す図
【図１７】第４の実施形態の変形例の画像符号化処理の流れを説明する図（図１５Ｂの変形例）
【図１８】全ての実施形態の画像符号化装置の構成を示すブロック図
【発明を実施するための形態】
【００５０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理システム１０の構成を示す概略ブロック図である。画像処理システム１０は、被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
【００５１】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｃ（以下、撮像装置１００と総称する。）、画像を処理する複数の画像符号化装置１２０ａ−ｃ（以下、画像符号化装置１２０と総称する。）、画像処理装置１７０、通信ネットワーク１１０、画像ＤＢ１７１、および複数の表示装置１８０ａ−ｃ（以下、表示装置１８０と総称する。）を備える。なお、図１には、監視対象空間１５０に被写体として人物１３０および乗用車１４０が存在する。
【００５２】
画像符号化装置１２０ａは、撮像装置１００ａに接続されている。また、画像符号化装置１２０ｂは、撮像装置１００ｂに接続されている。また、画像符号化装置１２０ｃは、撮像装置１００ｃに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００５３】
以下に、撮像装置１００ａ、画像符号化装置１２０ａ、画像処理装置１７０、および表示装置１８０ａの動作を説明する。撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画をＭＰＥＧ符号化して撮像動画データを生成して、撮像装置１００ａが接続されている画像符号化装置１２０ａに出力する。
【００５４】
具体的には、撮像装置１００ａは、監視対象空間１５０を撮像することにより、撮像動画に含まれる複数の動画構成画像を生成する。なお、撮像装置１００ａは、ＲＡＷ形式の動画構成画像を生成してよい。
【００５５】
画像符号化装置１２０ａは、撮像装置１００ａが生成した撮像動画を取得する。画像符号化装置１２０ａは、撮像装置１０２ａにより生成されたＲＡＷ形式の動画構成画像を同時化して、同時化して得られた複数の動画構成画像を含む撮像動画をＭＰＥＧ等の動画圧縮方式により圧縮することにより、撮像動画データを生成する。なお、本明細書においては、同一部分は同一符号を付して説明を省略する。
【００５６】
図１８は画像符号化装置１２０ａの構成を示す概略ブロック図である。図１８に示すように、本発明の実施形態による画像符号化装置１２０は、各種表示を行う液晶モニタ等の表示部３０１、各種入力を行うキーボードおよびマウス等からなる入力部３０３、本発明の医用画像処理プログラムを含む、本実施形態による画像診断支援装置を制御するための各種プログラムおよび画像データ等の各種データを保存するハードディスク３０５、各種プログラムを実行することにより本実施形態による画像診断支援装置を制御するＣＰＵ３０７、プログラム実行時の作業領域となるメモリ３０９、バス３１３を介して通信ネットワーク１１０と接続する通信インターフェース３１１を備えた画像処理ワークステーション３００で構成されている。
【００５７】
なお、全ての実施形態において、本発明の機能は、外部からインストールされるプログラムによって、コンピュータにより遂行される。そして、そのプログラムは、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記憶媒体により、あるいはネットワークを介して外部の記憶媒体から、プログラムを含む情報群を供給されてインストールされたものであってもよい。
【００５８】
そして、画像符号化装置１２０ａは、動画を構成する複数の画像を符号化することによって動画データを生成する。同時に、画像符号化装置１２０ａは、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００５９】
画像処理装置１７０は、画像符号化装置１２０ａから動画データを受信して、受信した動画データを復号して、動画を取得する。もしくは、第２、第３，第４の実施形態における画像符号化装置１２０ａが、動画を構成する画像をそれぞれの特徴量によって検出した複数の関心領域ごとの画像に分割し、分割した画像から複数の関心領域動画データを生成した場合は、画像処理装置１７０は、画像符号化装置１２０ａから受信した関連付けされた動画データを受信して、それぞれ復号することにより、複数の関心領域動画を取得する。そして、画像処理装置１７０は、複数の関心領域動画を取得した場合、取得した複数の関心領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置１８０ａに供給する。表示装置１８０ａは、画像処理装置１７０から供給された動画を表示する。
【００６０】
なお、画像処理装置１７０は、生成した合成動画または画像符号化装置１２０ａから取得した撮像動画データを画像ＤＢ１７１に記録してもよい。そして、画像処理装置１７０は、画像ＤＢ１７１に記録された合成動画を、表示装置１８０ａからの要求に応じて表示装置１８０ａに供給してよい。また、画像処理装置１７０は、表示装置１８０ａからの要求に応じて、画像ＤＢ１７１に記録された撮像動画データを上述したように復号して表示装置１８０ａに供給してもよい。なお、画像ＤＢ１７１は、一例としてハードディスク等の不揮発性の記録媒体を有してよく、画像処理装置１７０から供給された合成動画を当該記録媒体に記録してよい。
【００６１】
なお、撮像装置１００ｂおよび撮像装置１００ｃは、撮像装置１００ａが有する構成要素と同様の機能を有する構成要素を有している。撮像装置１００ｂおよび撮像装置１００ｃの機能および動作は、それぞれ画像符号化装置１２０ｂおよび画像符号化装置１２０ｃに撮像動画データを提供することを除いて、撮像装置１００ａの機能および動作と同様であるので、その説明を省略する。なお、以下の説明では、撮像装置１００ａ〜ｃを撮像装置１００と総称する場合があり、画像符号化装置１２０ａ〜ｃを画像符号化装置１２０と総称する場合がある。
【００６２】
また、画像符号化装置１２０ｂおよび画像符号化装置１２０ｃの機能および動作は、それぞれ撮像装置１００ｂおよび撮像装置１００ｃから撮像動画データを取得することを除いて、画像符号化装置１２０ａの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置１７０は、撮像装置１００ｂおよび撮像装置１００ｃのそれぞれから受信した動画データまたは第２、第３、第４の実施例で生成される関連付けされた複数の関心動画データから、一の動画をそれぞれ生成して、それぞれ表示装置１８０ｂおよび表示装置１８０ｃに供給する。また、表示装置１８０ｂおよび表示装置１８０ｃは、画像処理装置１７０から供給されたそれぞれの動画を表示する。
【００６３】
本実施形態の画像処理システム１０を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
【００６４】
図２は、第１の実施形態の画像符号化装置１２０の機能ブロック構成の一例を示す。また、図３は、第１の実施形態の画像符号化処理の流れを説明するフローチャートである。図２に示すように、画像符号化装置１２０は、入力画像を符号化して出力する画像符号化装置であって、所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段２１２と、入力画像３０の画像サイズを所定の画像サイズＲｋ（ｋは自然数）に低減した、入力画像の縮小画像を生成する画像サイズ低減手段２１４と、縮小画像の鮮鋭度Ｓを算出する鮮鋭度算出手段２１３と、算出された縮小画像の鮮鋭度Ｓが目標鮮鋭度Ｓｏより大きい場合は、画像サイズ条件記憶手段に記憶された所定の画像サイズＲｋを低減するように変更し、かつ、画像サイズ低減手段に、入力画像３０の画像サイズを変更された画像サイズＲｋ＋１に低減させる画像サイズ制御手段２１１と、画像が入力される入力手段２００、画像サイズが低減された画像を量子化する量子化手段２３４、量子化条件を記憶する量子化条件記憶手段２３２、量子化された画像を符号化する符号化手段２３５、および出力手段２０７、画像記憶手段２０８を有する。
【００６５】
ここで、画像サイズ低減手段２１４、画像サイズ制御手段２１１、解像度条件記憶部からなる画像サイズを低減する機能ブロックを総称して、画像サイズ低減処理部２１０と場合により称する。また、量子化条件記憶手段２３２、量子化手段２３４、符号化手段２３５含んでなる量子化処理を行う機能ブロックを総称して量子化処理部２３０と称する。
【００６６】
画像サイズ条件記憶手段２１２は、主にハードディスク３０５を含み構成され、入力された動画を構成する入力画像３０の縮小するための所定の画像サイズＲｋおよび目標鮮鋭度Ｓｏを記憶する。本明細書においては、画像サイズを表す指標として解像度を用いる。ただし、本明細書に限定されず画像サイズは画像の大きさを直接的または間接的に決定する指標であれば、種々の指標で表わしてよい。
【００６７】
第１の実施形態においては、画像サイズ条件は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎ、および解像度の候補から選ばれた所定の解像度Ｒｋ、目標鮮鋭度ＳＯからなる。そして、解像度の候補は、Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎの順に一定の割合で小さいサイズになるように設定されている。
【００６８】
画像サイズ低減手段２１４は、主にＣＰＵ３０７を含み構成され、本明細書中では、画像サイズ低減手段２１４は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎのそれぞれに応じた縮小を行えるようなｎ個の低域ろ過フィルタＦ１、Ｆ２、、、Ｆｋ、Ｆｋ＋１、、Ｒｎからなり、入力画像３０を解像度Ｒｋに画像サイズを低減させる場合には、解像度Ｒｋに対応する低域ろ過フィルタＦｋを用いてフィルタリングすることで入力画像３０の解像度を低減する。なお、本第１の実施形態においては、入力画像３０の解像度は常に決まった値のため、事前に実験等で得られた例を参考にするなどして、入力画像３０の解像度を解像度Ｒｋに低減できる低域ろ過フィルタを予め対応付けて記憶したデーターベースを用意し、かかるデーターベースを参照して、入力画像３０の解像度を解像度Ｒｋに低減できる低域ろ過フィルタを、解像度Ｒｋに対応する低域ろ過フィルタＦｋとして画像サイズ条件に設定する。なお、以下の全ての実施形態において、低域ろ過フィルタを用いて解像度を低減することによって画像サイズを低減する。
【００６９】
また、本第１の実施形態に限られず、画像サイズを低減するとは、画像の大きさを直接的または間接的に小さくすれものであれば、種々のサイズ低減方法を適用できる。例えば、単純に画素を間引いて解像度を低減してもよく、または画素を複数選択し、選択した複数の画素値の平均をとる等の統計処理をし、統計処理された画素で選択した複数の画素を置き換えるなどの処理を行って解像度を低減してもよい。
【００７０】
鮮鋭度算出手段２１３は、主にＣＰＵ３０７を含み構成され、画像サイズ低減手段２１４から取得した画像の鮮鋭度を算出する。
【００７１】
ここで、鮮鋭度は、人間の視覚で感知される画像のシャープさを表す指標であり、本実施形態においては、基準とする鮮鋭度を有する基準画像と、基準画像を画像サイズ変更または圧縮復元等の圧縮処理を行った後の比較画像とを用意し、比較画像の各画素値から基準画像を対応する位置の各画素値を減算した差分画像の各画素値の総量を鮮鋭度とする。
【００７２】
また、課題を解決する手段の項目に説明したように、一般に圧縮処理によって画像中の低周波成分より高周波成分を高圧縮率で圧縮するため、画像の高周波成分は低周波成分に比べて失われる傾向がある。このため、基準画像と比較画像の差分画像には、圧縮処理によって失われた高周波成分の画素値が反映される。具体的には、差分画像の画素値の総量が大きいほど、高周波成分が大きく低減されていると判断するものとする。
【００７３】
なお、鮮鋭度は、画像に含まれる高周波成分の割合を直接的または間接的に表すものであれば、種々の方法で定義しても良く、例えば、画像にＤＣＴ等の周波数空間変換を行い、所定値以上の高周波数成分の全体の周波数成分に対する割合を鮮鋭度としても良い。この場合には、高周波数成分の全体の周波数成分に対する割合が小さいほど、高周波成分が失われている可能性が大きく、鮮鋭度が小さいと判断する。
【００７４】
画像サイズ制御手段２１１は、算出された縮小画像３１の鮮鋭度Ｓが目標鮮鋭度ＳＯより大きい場合は、画像サイズ条件記憶手段２１２に記憶された所定の画像サイズＲｋを低減するように変更し、かつ、画像サイズ低減手段２１４に、入力画像の画像サイズを変更された画像サイズＲｋ＋１に低減させる。算出された縮小画像の鮮鋭度Ｓが目標鮮鋭度ＳＯ以下である場合は、縮小画像３１のうち、目標鮮鋭度ＳＯを満たす範囲で最も縮小した縮小画像３２を量子化手段２３４に出力する。
【００７５】
画像サイズ制御手段２１１は、画像サイズ低減手段２１４にｋ回目の画像サイズ低減を所定の画像サイズＲｋで行わせ、ｋ＋１回目の画像サイズ低減を行う場合には、画像サイズＲｋの次に小さい画像サイズＲｋ＋１を所定の画像サイズに設定する。
【００７６】
量子化手段２３４は、画像サイズ制御手段２１１から画像サイズが低減された画像を取得し、量子化する。
【００７７】
そして、量子化手段２３４は、差分画素画像を部分領域毎に空間周波数領域に変換する。具体的には、量子化手段２３４は、離散コサイン変換（ＤＣＴ）により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数変換は、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。そして、量子化手段２３４は、空間周波数領域に空間周波数領域に変換することによって得られた変換係数を量子化する。
【００７８】
量子化条件記憶手段２３２は、主にハードディスク３０５等の記憶装置を含み構成され、量子化条件を記憶する。量子化条件は、量子化の圧縮率を決定する条件であり、例えば量子化パラメータ等を含む。
【００７９】
符号化手段２３５は、主にＣＰＵ３０７を含み構成され、量子化手段２３４によって量子化された変換係数を符号化することによって圧縮する。例えば、符号化手段２３５は、量子化手段２３４によって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。
【００８０】
入力手段２００は、主にＣＰＵ３０７を含み構成され、入力された動画を取得する。具体的には、入力手段２００は、撮像装置１００が生成した撮像動画データを取得する。
【００８１】
出力手段２０７、主にＣＰＵ３０７を含み構成され、符号化された動画データを出力する。具体的には、出力手段２０７は、画像符号化装置１２０が生成した動画データを通信ネットワーク１１０に送出する。
【００８２】
画像記憶手段２０８は、主にハードディスク３０５等の記憶装置を含み構成され、入力画像のデータおよび、符号化が終了するまでに生成される各画像データの全てを記憶する。
【００８３】
図３は、第１の実施形態の画像符号処理の流れを示すフローチャートである。図３に示すフローチャートに従って、本実施形態の画像符号化処理を説明する。
【００８４】
入力手段２００が入力画像３０を取得する（Ｓ１０１）。
【００８５】
画像サイズ低減手段２１４が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、入力画像３０の画像サイズを画像サイズＲｋに低減した縮小画像３１を生成する（Ｓ１０２）。
【００８６】
鮮鋭度算出手段２１３が、画像サイズ低減手段２１４が生成した縮小画像３１の鮮鋭度Ｓ３１を算出する（Ｓ１０３）。
【００８７】
画像サイズ制御手段２１１が、画像サイズ算出手段２１３が算出した縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された目標鮮鋭度ＳＯとを比較し、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより大きい場合は（Ｓ１０４のＹ）、画像サイズ条件に記憶された画像サイズＲｋを所定の割合で小さくした画像サイズＲｋ＋１に変更する（Ｓ１０５）。なお、この際、Ｓ２０２ＢからＳ２０５の処理を繰り返しの際、過去の縮小画像３１のうち最も新しい過去の縮小画像３１’を保存しておくものとする。
【００８８】
また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより小さい場合は（Ｓ１０４のＮ）、縮小画像３１’を、目標鮮鋭度ＳＯを満たす最も小さい画像サイズの縮小画像３１を縮小画像３２として、量子化手段２３４に出力する。また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯと等しい場合は（Ｓ１０４のＮ）、目標鮮鋭度ＳＯを満たす最も小さい画像サイズの縮小画像３１を縮小画像３２として、量子化手段２３４に出力する。
【００８９】
量子化手段２３４は、縮小画像３２にＤＣＴ（離散コサイン変換）処理を行い、その後量子化条件記憶手段２３２に記憶された量子化条件に基づいて量子化した量子化画像を生成する（Ｓ１０６）。
【００９０】
符号化手段２３５は、量子化された量子化後画像を符号化して符号化後画像を生成する（Ｓ１０７）。
【００９１】
出力手段２０７は、符号化された画像データをネットワーク１１０に送出する（Ｓ１０７）。
【００９２】
以上のように、第１の実施形態の画像符号化装置１２０によれば目標鮮鋭度以上に鮮鋭度を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。また、目標鮮鋭度を維持できる範囲で画像サイズを縮小するため、必要な鮮鋭度を維持しつつ、冗長な計算をしないで画像サイズを決定できる。
【００９３】
また、第１の実施形態においては、画像サイズ制御手段２１１が、縮小画像の鮮鋭度が目標鮮鋭度になるまで、画像サイズ条件記憶手段に記憶された画像サイズ条件を変更し、画像サイズ低減手段に、入力画像の画像サイズを変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであるため、目標鮮鋭度を維持出来る範囲で、画像サイズを最小限に低減させてからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【００９４】
さらに、第１の実施形態の変形例として、第1の実施形態の画像符号化装置１２０に追加して、さらなる目標画質を設け、さらなる目標画質に応じて画像サイズを低減させるさらなる画像サイズ制御手段２１４を設けてもよい。図４は、第１の実施形態の変形例の機能ブロック図であり、図５は、第１の実施形態の変形例の処理の流れを説明するフローチャートである。
【００９５】
図４に示すように、第１の実施形態の変形例において、画像サイズ条件記憶手段２１２は、入力画像３０の画質をさらなる目標画質Ｓ３０として記憶するものであり、画像符号化装置１２０は、画像サイズ制御手段２１１による画像サイズ制御が行われる前に、記憶されたさらなる目標画質Ｓ３０より縮小画像３１の画質が低くならない範囲で、画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、所定の画像サイズＲｍ（ｍは自然数）をより小さくなるよう変更し、画像サイズ低減手段２１４に、入力画像３０の画像サイズを変更された画像サイズＲｍ＋１に低減した縮小画像を生成させるさらなる画像サイズ制御手段２１４をさらに備える。また、画像サイズ制御手段２１１とさらなる画像サイズ制御手段２１４によって画像サイズ制御部２１５が構成される。
【００９６】
第１の実施形態の変形例においては、画像サイズ条件記憶手段２１２は、入力画像３０の画質をさらなる目標画質Ｓ３０として記憶するものである。具体的には、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件は、解像度の候補Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎに加え、ｎ個のさらなる解像度の候補Ｒ１、Ｒ２、、、Ｒｍ、Ｒｍ＋１、、Ｒｎおよび、さらなる解像度の候補から選ばれたさらなる所定の解像度Ｒｍを備える。そして、さらなる解像度の候補は、Ｒ１、Ｒ２、、、Ｒｍ、Ｒｍ＋１、、Ｒｎの順に一定の割合で小さいサイズになるように設定されている。この小さくなる割合は、Ｒ１、Ｒ２、、、Ｒｋ、Ｒｋ＋１、、Ｒｎと同じでもよく、異なっていても良い。また、さらなる解像度の候補と解像度の候補の個数は、異なっていても良い。
【００９７】
第１の実施形態の変形例では、さらなる目標画質として入力画像３０の鮮鋭度Ｓ３０を用いる。ただし、さらなる目標画質は、画像の画質を表す指標であればよく、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。
【００９８】
さらなる画像サイズ制御手段２１４は、主にＣＰＵ３０７を含み構成され、画像サイズ制御手段２１１とほぼ同様の機能を有する。ただし、さらなる画像サイズ制御手段２１４は、入力画像の画質をさらなる目標画像として、つまり、入力画像３０の鮮鋭度Ｓ３０をさらなる目標画像として入力画像の画像サイズをさらなる所定の画像サイズＲｍに低減させる。また、さらなる画像サイズ制御手段２１４は、記憶されたさらなる目標画質Ｓ３０より縮小画像３１の画質が低くならない範囲で、入力画像の画像サイズをさらなる所定の画像サイズＲｍに低減させる。なお、さらなる画像サイズ制御手段２１４は、ｍ回目に入力画像のサイズを低減させる場合に、さらなる画像サイズの候補のうちのＲｍを所定の画像サイズＲｍとして用いる。
【００９９】
以下、図５に従って、第１の実施形態の変形例の処理の流れを説明する。
【０１００】
まず、入力手段２００が入力画像３０を取得する（Ｓ２０１）。
【０１０１】
画像サイズ算出手段２１３が、入力画像３０の鮮鋭度Ｓ３０を算出する（Ｓ２０２Ａ）。
【０１０２】
一方、画像サイズ低減手段２１４が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、入力画像３０の画像サイズを画像サイズＲｍに低減した縮小画像３１を生成する（Ｓ２０２Ｂ）。
【０１０３】
次に画像サイズ算出手段２１３が、画像サイズ低減手段２１４が生成した縮小画像３１の鮮鋭度Ｓ３１を算出する（Ｓ２０３）。
【０１０４】
画像サイズ制御手段２１１は、画像サイズ算出手段２１３が算出した縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された入力画像の鮮鋭度Ｓ３０とを比較し、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０と同じであれば、すなわち縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０から劣化していなければ、（Ｓ２０４のＹ）、画像サイズ条件に記憶された画像サイズＲｋを所定の割合で小さくした画像サイズＲｍ＋１に変更する（Ｓ２０５）。そして、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０よりより小さくなるまで、Ｓ２０２ＢからＳ２０５のステップを繰り返す。なお、この際、Ｓ２０２ＢからＳ２０５の処理を繰り返しの際、過去の縮小画像３１のうち最も新しい過去の縮小画像３１’を保存しておくものとする。
【０１０５】
画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が入力画像の鮮鋭度Ｓ３０を下回った場合は（Ｓ２０４のＮ）、さらに、縮小画像３１の鮮鋭度Ｓ３１と画像サイズ条件に設定された目標鮮鋭度ＳＯとを比較し、縮小画像３１の鮮鋭度Ｓ３１が画像サイズ条件に設定された目標鮮鋭度ＳＯより大きい場合は（Ｓ２０６のＹ）、Ｓ２０７に進む。また、画像サイズ制御手段２１１は、画像サイズ制御手段２１１は、縮小画像３１の鮮鋭度Ｓ３１が目標鮮鋭度ＳＯ以下である場合は（Ｓ１０４のＮ）、縮小画像３１’を、目標鮮鋭度ＳＯを満たす最も小さいサイズの縮小画像３２として、量子化手段２３４に出力しＳ２１１に進む。
【０１０６】
続くＳ２０７からＳ２１３は、図３のＳ１０２からＳ１０８と同じであるため、説明は省略する。
【０１０７】
第１の実施形態の変形例のように、さらなる目標画質を設け、複数の段階で画像サイズを低減させた場合は、さらなる目標画質に基づいて画像サイズを変更するため、さらなる目標画質以上に画質を維持しつつ画像サイズを低減させ、それからその後の圧縮処理を行うため、その後の圧縮処理のための計算負荷を低減でき、計算負担を必要以上に大きくすることなくさらなる目標画質を維持して画像を高圧縮できる。
【０１０８】
本第１の実施形態の変形例ではさらなる目標画質として入力画像の画質を用いたが、これに限定されず、種々のさらなる目標画質を設けてよく、目標画質は、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和その他、適宜設定した数式よって定義される値であっても良い。また、さらなる目標画質が複数設けられていても良い。
【０１０９】
本第１の実施形態の変形例のように、入力画像の鮮鋭度をさらなる目標画質とした場合には、入力画像の鮮鋭度を劣化させない範囲で入力画像のサイズをできるだけ縮小した縮小画像を生成するため、入力時の鮮鋭度を維持しつつ、その後の符号化処理の計算負荷を軽減できる。
【０１１０】
第２の実施形態について以下に説明する。図６は、第２の実施形態の機能ブロック図である。
【０１１１】
図６に示すように、第２の実施形態による画像符号化装置１２０は、入力画像、または入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段２０３と、入力画像、または入力画像の画像サイズを変更した画像から、検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段２０４とをさらに備え、画像サイズ条件記憶手段２１２は、複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、画像サイズ制御手段２１１は、複数の関心領域ごとに画像サイズ条件を決定するものであり、複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものである。
【０１１２】
第２の実施形態においては、第１の実施形態にさらに関心領域検出手段２０３、関心領域分割手段２０４および関心領域画像を互いに対応付けて符号化手段２３５に出力する対応付け処理手段２３６をさらに備える。また、第２の実施形態には、関心領域固定値化手段２３７をさらに備えることが望ましい。
【０１１３】
関心領域検出手段２０３は、主にＣＰＵを含み構成され、動画に含まれる複数の動画構成画像から、関心領域の特徴量に応じて関心領域を検出する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。なお、関心領域の検出方法については、本明細書の末尾にて詳細に記載する。
【０１１４】
図７は、本明細書中の実施形態における関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄを有する入力画像の例である。図７に示すように、第２の実施形態において、複数の関心領域は、人体頭部領域を表す関心領域５１Ａ、人体領域を表す関心領域５１Ｂ、動き領域を表す関心領域５１Ｃ、背景領域を表す関心領域５１Ｄよりなる。さらに、複数の関心領域のうち、それぞれの関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう、すなわち、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄの順に低くなるよう設定されている。
【０１１５】
しかし、本実施形態に限定されず、必要に応じた数の複数の関心領域を設定してもよく、必要に応じて、複数の関心領域に適宜関心度を設定してもよい。なお、本明細書中の画像符号化装置１２０は、画像中に同じ関心度の領域が複数ある場合、例えば、画像に２つの人体頭部領域が離れて存在する場合であっても、関心度が同じであるので、２つの人体頭部領域を合わせたものを関心領域５１Ａとして扱う、すなわち両方の人体頭部領域に同等の処理が行われる。
【０１１６】
そして、関心領域分割手段２０４は、主にＣＰＵ３０７を含み構成され、複数の動画構成画像のそれぞれを、複数の関心領域画像に分割する。
【０１１７】
対応付け処理手段２３６は、量子化処理部２３０によって動画を圧縮することによって生成された複数の関心領域縮小画像があれば、例えばタグ情報等を付帯する等して互いに対応づける。出力手段２０７は、対応付け処理手段２３６が対応づけた複数の関心動画データを通信ネットワーク１１０に送出する。
【０１１８】
関心領域固定値化手段２３７は、主にＣＰＵを含み構成され、関心領域縮小画像のそれぞれに対応する関心領域以外の領域の画素値を固定値化する。図８は、図７に示す入力画像に対応する関心領域縮小画像を関心領域固定値化手段２３７によって固定値化した関心領域縮小画像のイメージ図である。例えば、関心領域固定値化手段２３７は、関心領域５１Ａに対応する関心領域縮小画像３２Ａに対し、関心領域５１Ａ以外の領域の画素値を所定の値（本例では、輝度値０）に設定した固定値化後画像３３Ａを生成する。そして、固定値化後画像３３Ａに対し、量子化手段２３４は、関心領域の関心度に応じた量子化条件で量子化する。関心領域固定値化手段２３７は、固定値化後画像３３Ａと同様に、関心領域縮小画像３２Ｂ、３２Ｃ、３２Ｄに対して、それぞれ対応する固定値化後画像３３Ｂ、３３Ｃ、３３Ｄを生成する。関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれに対応する関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ以外の領域の画素値を固定値化する。
【０１１９】
なお、関心領域固定値化手段２３７は、関心領域縮小画像ごとに符号化処理を行う際に、関心領域縮小画像のうち対象となる関心領域以外の領域については、画素値を一定の値にして関心領域縮小画像の情報量を低減するものである。関心領域固定値化手段２３７は、画素値を一定の値にして関心領域縮小画像の情報量を低減するものであればよく、画素値の所定の値は任意に設定して良い。第２の実施形態においては、関心領域固定値化手段２３７を設けることで、関心領域縮小画像の情報量を低減でき符号化処理の計算負荷が増加することを抑制することができる。
【０１２０】
図９は、第２の実施形態における画像符号化装置１２０の画像処理の流れを説明する図である。図１０は、第２の実施形態における画像サイズ条件を表す画像サイズ条件７１の例を示す。図９に従って、第２の実施形態における画像符号化の処理を説明する。
【０１２１】
まず、入力手段２００が入力画像３０を取得する（Ｓ３０１）。
【０１２２】
関心領域検出手段２０３は、入力画像３０から関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄを検出し、関心領域分割手段２０４は、検出された関心領域の種類に応じて、入力画像を複製し関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄを生成する（Ｓ３０２）。
【０１２３】
次いで、画像サイズ制御手段２１１が、画像サイズ条件記憶手段２１２に記憶された画像サイズ条件に基づいて、各関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄごとに、各関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄに応じた目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤになるまで第１の実施形態で示した図３のＳ１０２からＳ１０５のステップを繰り返す。そして、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤをそれぞれ満たす各関心領域縮小画像のうちで、最も小さい画像サイズである関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄを生成する（Ｓ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄ）。
【０１２４】
図１０に、第２の実施形態における画像サイズ条件の例を示す。図１０に示すように、画像サイズ条件７１には、それぞれの関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄに応じて、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤおよび解像度の候補Ｒｋのうち初期の画像サイズである解像度ＲＡ１、ＲＢ１、ＲＣ１、ＲＤ１を設定している。
【０１２５】
他の解像度の候補Ｒ２、Ｒ２、…、Ｒｎについては、図示を省略している。また、画像サイズ条件７１には、所定の解像度ＲＡｋ、ＲＢｋ、ＲＣｋ、ＲＤｋが設定されている。なお、所定の解像度ＲＡｋ、ＲＢｋ、ＲＣｋ、ＲＤｋはＳ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄのステップによって各関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄに対応する所定の解像度である。そして、目標鮮鋭度ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤは、関心度が低いほど低い鮮鋭度となるように、ＳＯＡ、ＳＯＢ、ＳＯＣ、ＳＯＤの順に小さい値となるように設定されている。
【０１２６】
そして、量子化手段２３４は、第１の実施形態と同様の方法で、関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄを量子化し、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを生成する（Ｓ３０４Ａ、Ｓ３０４Ｂ、Ｓ３０４Ｃ、Ｓ３０４Ｄ）。ここで、Ｓ３０３とＳ３０４のステップの間に、関心領域固定値化手段２３７によって、各関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの固定値化を行って固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄを生成し、Ｓ３０４のステップにおいて、関心領域縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの代わりに固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄについて量子化を行うことが望ましい。量子化処理を行う前に、各関心領域縮小画像の対応する関心領域以外の領域を固定値化することで、量子化処理の対象となる各関心領域以外の領域については情報量を低減できるため、関心領域縮小画像の情報量を低減でき符号化処理の計算負荷が増加することを抑制することが出来る。
【０１２７】
次に、対応付け処理手段３０５は、複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄをそれぞれタグ情報で対応付ける（Ｓ３０５）。
【０１２８】
そして、符号化手段２３５は、複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを対応付けたタグ情報と複数の関心領域縮小画像の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを符号化して符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ３０６）。
【０１２９】
最後に、出力手段２０７は、対応付け処理手段２３６が対応づけた複数の関心動画データ３８を通信ネットワーク１１０に送出する（Ｓ３０７）。
【０１３０】
第２の実施形態による画像符号化装置１２０において、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。このため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行い、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【０１３１】
さらに、第２の実施形態においては、人体頭部領域、人体領域、動き領域、背景領域に対して、関心度に応じて、人体頭部領域、人体領域、動き領域、背景領域の順に目標鮮鋭度を低く設定したため、各関心領域縮小画像の画像サイズは、各目標鮮鋭度を満たす範囲で最小限にて低減されたものとなっている。このため、画像サイズを低減したくない関心領域には必要以上に画像サイズを低減することを防ぎ、画像サイズを低減してもよい関心領域には大きく画像サイズを低減することができる。そして、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じた画像サイズに画像サイズを効果的に低減させてからその後の圧縮処理を行うため、効果的に計算負荷を低減でき、計算負担を必要以上に大きくすることなく目標の鮮鋭度を維持して画像を高圧縮できる。
【０１３２】
なお、第２の実施形態の変形例として、量子化処理部２３０は、量子化制御手段２３１により、複数の関心領域画像を、それぞれの特徴量に応じた設定値を用いて量子化することにより圧縮してもよい。例えば、量子化処理部２３０は、複数の関心領域画像を、それぞれの特徴量に応じた量子化パラメータを用いて量子化手段２３４により量子化することにより圧縮する。具体的には、関心領域に対する関心度が高いほど、対応する関心領域縮小画像に圧縮率の低い量子化パラメータを設定する。このように、関心領域の関心度に応じて圧縮率を異ならせて量子化することができ、より効率よく圧縮することが出来る。
【０１３３】
図６においては、量子化手段２３４、逆量子化手段２３３および符号化手段２３５はそれぞれ一つずつだけ設けられているが、本実施形態に限定されず、量子化手段２３４、逆量子化手段２３３および符号化手段２３５は、関心領域の数に応じてそれぞれに対してそれぞれ一つずつ設けられてもよく、また、各複数個ずつ設けられてもよく、量子化手段２３４、逆量子化手段２３３および符号化手段２３５のうちいくつかについては複数個設けられ、残りについては一つだけ設けられていてもよい。
【０１３４】
第３の実施形態について以下に説明する。図１１は、第３の実施形態における画像符号化装置の機能ブロック図を示す。図１２は、フレーム間圧縮を説明するイメージ図である。
【０１３５】
第３の実施形態による画像符号化装置１２０は、入力画像からなる動画像を複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段２４２と、フレーム間圧縮条件に基づいて、動画像を時間方向に圧縮するフレーム間圧縮手段２４１からなるフレーム間圧縮部２４０とをさらに備え、フレーム間圧縮条件は、複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものである。
【０１３６】
フレーム間圧縮条件記憶手段２４２は、主にＣＰＵ３０７を含み構成され、入力画像からなる動画像を複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶する。フレーム間圧縮条件は、複数の関心領域縮小画像について対応する関心度が高い程、低い圧縮率が設定される。本第３の実施形態においては、フレーム間圧縮条件を、関心領域用動画を構成するフレーム内に含まれるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合とし、各関心領域用動画ごとに個々に設定する。すなわち、フレーム間圧縮条件は、スキップマクロブロックを含むものであり、フレーム間圧縮手段２４２は、マクロブロックタイプをスキップマクロブロックに変化させてフレームレートを低下させるものである。また、フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものである。
【０１３７】
具体的には、人体頭部領域、人体領域、動き領域、背景領域の順に関心度が低くなるものとし、人体頭部領域に対応する人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０の順に、各関心領域用動画を構成するフレーム内に含まれるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合を高くする。これにより、関心度が低くなる程、スキップされるマクロブロックが増大するため、フレーム間でマクロブロックの内容が変更されない。
【０１３８】
ここで、人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０の各動画の生成方法を説明する。まず、撮像動画４１０を構成する複数のフレーム画像が入力画像として第３の実施形態における画像符号化装置１２０に次々入力される。そして、図９に示す第２の実施形態におけるＳ３０１からＳ３０３の画像処理と同様に、各フレーム画像ごとに、人体頭部領域５１Ａ、人体領域５１Ｂ、動き領域５１Ｃ、背景領域５１Ｄごとに関心領域縮小画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄに分割され、関心領域ごとの目標鮮鋭度に応じて、画像サイズを低減した画像が得られることにより、各関心領域に応じた縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄが生成される。各フレーム画像ごとに次々と複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄが得られ、これらの複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄによって構成される人体頭部領域に対応する人体頭部領域動画４５０、人体領域に対応する人体領域動画４４０、動き領域に対応する動き領域動画４３０、背景領域に対する背景領域動画４２０がそれぞれ得られる。
【０１３９】
なお、ここで、フレーム間圧縮条件は、動画像を時間方向へ圧縮する度合を表すものであればよく、実際にフレームの単位時間あたりの画面の更新頻度を低下させてフレームレートを低下させてもよい。
【０１４０】
フレーム間圧縮手段２４１は、フレーム間圧縮条件に基づいて、動画像を時間方向に圧縮する。第３の実施形態によれば、フレーム間圧縮条件によるマクロブロックのマクロブロックタイプにスキップマクロブロックタイプを設定する割合に基づいて、関心領域用動画を構成するフレームに含まれるマクロブロックのマクロブロックタイプに、スキップマクロブロックを設定する。
【０１４１】
図１２を参照して具体例に沿って説明する。図１２は、第３の実施形態による動画像の時間方向への圧縮を説明するイメージ図である。説明の便宜のために、入力手段２００が取得した撮像動画データのフレームレートが１６ｆｐｓであり、当該撮像動画データに含まれるフレーム画像の解像度が７２ｄｐｉであるとする。
【０１４２】
画質低減後の人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０に含まれるフレーム画像は、第２の実施形態のＳ３０１からＳ３０３のステップと同様の処理が行われ、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄのそれぞれの目標鮮鋭度を満たす範囲で最小の画像サイズに縮小され、それぞれ７２ｄｐｉ，３６ｄｐｉ，１８ｄｐｉ，９ｄｐｉの解像度に縮小されている。
【０１４３】
フレーム間圧縮条件記憶手段２４２には、関心度に応じて、撮像動画のフレームレートに対する画質低減後の人体頭部領域動画４５０、人体領域動画４４０、動き領域動画４３０、背景領域動画４２０間の相対的なスキップマクロブロックの設定率をそれぞれ順に高くなるように定めたフレーム間圧縮条件が記憶されている。フレーム間圧縮条件には、人体頭部領域動画、人体領域動画、動き領域動画、背景領域動画に対し、それぞれスキップマクロブロック設定率を１、２、４、８と定めているものとする。本第３の実施形態においては、フレームレートを低くしたい関心領域動画の複数のフレーム画像に対し、１つのフレーム画像の全てのマクロブロックに対し、マクロブロックタイプをスキップマクロブロックに設定することで、実質フレーム間でマクロブロックの内容を符号化しないことによりフレームレートを低減させる。
【０１４４】
フレーム間圧縮手段２４１は、人体領域動画４４０を構成するフレームを２枚に1枚の割合で、１つのフレーム画像の全てのマクロブロックに対し、マクロブロックタイプをスキップマクロブロックに設定することで、フレームレートを１／２に低減させる。フレーム間圧縮手段２４１は、動き領域動画４３０であれば、動き領域動画を構成するフレームを４枚に３枚の割合で同処理を行い、フレームレートを１／４に低減させ、背景領域動画であれば、背景領域動画４２０を構成するフレームを８枚に７枚の割合で同処理を行い、フレームレートを１／８に低減させる。この結果、図１２のようなフレームレートが実現できる。
【０１４５】
なお、本実施形態に限定されず、フレーム間圧縮条件は、マクロブロックタイプを設定する割合が、関心度の大きい領域程小さくなるように設定した条件であればよく、フレーム間圧縮条件としてマクロブロックタイプを１枚のフレームの中で設定する割合を定めてもよく、１フレームの中の全てのマクロブロックではなく一部のマクロブロックのみにスキップマクロブロックを設定してもよい。
【０１４６】
また、変形例として、フレームの単位時間あたりの画面の更新頻度を低下させてフレームレートを低下させる場合は、以下のような例が考えられる。つまり、フレーム間圧縮条件記憶手段２４２には、関心度に応じて、撮像動画のフレームレートに対する画質低減後の人体頭部領域動画、人体領域動画、動き領域動画、背景領域動画のフレームレートの比率を示すフレームレート比率を予め１、１／２、１／４、１／８と定める。フレーム間圧縮手段２４１は、画質低減前の背景領域動画４２０のフレームレートの１／８のフレームレートである２ｆｐｓのフレームレートの背景領域動画４２０を、背景領域動画４２０に含まれるフレーム画像を間引くことによって生成する。同様に、フレーム間圧縮手段２４１は、フレームレートが４ｆｐｓの動き領域動画４３０を生成し、フレームレートが８ｆｐｓの人体領域動画４４０を生成し、フレームレートが１６ｆｐｓの人体頭部領域動画４５０を生成する。
【０１４７】
第３の実施形態における画像符号化装置１２０によれば、フレームレートを低減したくない関心領域には必要以上にフレームレートを低減することを防ぎ、フレームレートを低減してもよい関心領域には大きくフレームレートを低減することができるため、関心領域の関心度に応じたそれぞれの目標鮮鋭度を維持しつつ、それぞれの関心度に応じてフレームレートを効果的に低減させ、圧縮処理における計算負担をさらに低減でき、かつ、画像をさらに高圧縮できる。
【０１４８】
スキップマクロブロックタイプをフレーム画像の全てのマクロブロックに設定するのでなく、一部に設定した場合には、フレーム画像単位でフレームレートを低減させるよりもきめ細かくフレームレートを低減させて、圧縮率を低減させることができる。
【０１４９】
第４の実施形態について以下に説明する。図１３は、第３の実施形態における画像符号化装置の機能ブロック図を示す。また、図１４は、量子化条件の例である量子化条件７２を示す図である。図１５Ａ、１５Ｂおよび図１５Ｃは、第４の実施形態における画像符号化処理の流れを表すフローチャートを３つに分けて示したものである。
【０１５０】
第４の実施形態による画像符号化装置１２０は、量子化制御手段２３１が、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせるものである。
【０１５１】
図１３に示すように、第４の実施形態による画像符号化装置１２０は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段２３１をさらに備える。
【０１５２】
また、図１３に示すように、第４の実施形態による画像符号化装置１２０は、量子化条件を記憶する量子条件記憶手段２３２と、量子化条件に基づいて縮小画像を量子化する量子化手段２３４と量子化手段２３４によって量子化された関心領域縮小画像を逆量子化する逆量子化手段２３３と、逆量子化手段２３３によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段２３８を備える。
【０１５３】
量子化制御手段２３１は、主にＣＰＵ３０７を含み構成され、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせるものであり、具体的には、量子化制御手段２３１は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定するものである。
【０１５４】
さらに具体的には、量子化制御手段２３１は、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定するものである。
【０１５５】
つまり、量子化制御手段２３１は、複数の関心領域縮小画像の画像サイズをそれぞれ比較し、複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化手段２３４に量子化を行わせるものであり、複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化手段２３４に量子化を行わせる
【０１５６】
第４の実施形態における量子化手段２３４は、第１の実施形態と同様に、記憶された量子化条件に基づいて、縮小画像を量子化するものであり、量子条件記憶手段２３２は、所定の目標画質と、複数の関心領域ごとに設定される量子化パラメータＱｐからなる量子化条件を記憶している。
【０１５７】
量子化条件は、所定の目標画質と、複数の関心領域ごとに設定される量子化パラメータＱｐ（Ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）からなるものであり、量子化制御手段２３１は、算出された逆量子化後の関心領域縮小画像の画質が所定の目標画質になるまで、量子化パラメータを変更し、変更した量子化パラメータに基づいて量子化手段２３４に関心領域縮小画像の量子化を繰り返させるものである。
【０１５８】
図１４は、量子化条件の一例を示す図である。図１４に示すように、量子化条件７２には、あらかじめ定めた所定の目標ブロックノイズ量と目標エッジ量の線形和である目標画質ＮＯと、関心領域５１Ａ（人体頭部領域）、関心領域５１Ｂ（人体領域）、関心領域５１Ｃ（動き領域）、関心領域５１Ｄ（背景領域）のそれぞれに応じた量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤが設定されている。本第４の実施形態において目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値である。なお、目標画質ＮＯは、ブロックノイズ量の所定のしきい値とエッジ量の所定のしきい値にそれぞれ重み付けして和をとることにより定義したものであってよい。さらに量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤは、関心度が高いものほど低い圧縮率になるよう、関心度に応じてＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤの順に圧縮率が高くなるように設定されている。
【０１５９】
なお、目標画質とは、画像の画質を表す指標であればよく、鮮鋭度、ＳＮ比、ブロックノイズ量、ブロックノイズ量とエッジ量の線形和、その他、適宜設定した数式よって定義される値であっても良い。ブロックノイズ量とエッジ量の線形和の所定のしきい値で目標画質を設定した場合には、鮮鋭度の低い画像に圧縮率の高い量子化を行うことにより生ずるブロックノイズが効果的に抑制できるという知見が発明者らにより得られており、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で量子化を行えるため、圧縮後の画像の画質を高く維持することができる。
【０１６０】
また、量子化条件は、量子化の圧縮率を制御するための条件であればよく、量子化する単位となるマクロブロックサイズ等もさらに含めてもよい。
【０１６１】
逆量子化手段２３３は、主にＣＰＵ３０７を含み構成され、量子化手段２３４によって量子化された量子化後画像を取得して逆量子化する。
【０１６２】
第４の実施形態における対応付け処理手段２３６Ａは、逆量子化手段２３３によって逆量子化された複数の関心領域縮小画像を、同じ画像サイズになるよう伸長してから合成し、一枚の圧縮後画像を生成する。そして生成された圧縮後画像を画質算出手段２３８に供給する。なお、第４の実施形態における対応付け処理手段２３６Ａは、第２の実施形態における対応付け処理手段２３６同様に、量子化処理部２３０によって動画を圧縮することによって生成された複数の関心領域画像があれば、例えばタグ情報等を付帯する等して互いに対応づける機能も有する。
【０１６３】
画質算出手段２３８は、主にＣＰＵ３０７を含み構成され、逆量子化手段２３３または対応付け処理手段２３６Ａから逆量子化後の関心領域縮小画像を取得して、逆量子化後の関心領域縮小画像の画質を算出する。第４の実施形態では、逆量子化した関心領域縮小画像のブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する。
【０１６４】
第４の実施形態では、ブロック境界における水平・垂直方向の画素間差分値を各々取得し、ブロック境界における画素間差分値の平均値△をブロックノイズ量とする。なお、ブロックノイズ量は、ブロックノイズを定量的に評価する数値であればよく、種々の方法によって定義してよい。また、エッジ量は、画像をＳｏｂｅｌオペレータにより変換し、画像のエッジを抽出したエッジ画像の画素値の合計とする。なお、これらの線形和である画質は、大きくなる程画質が低く、小さくなる程画質が高くなる。程また、本実施形態に限定されず、エッジ量は、エッジ量を定量的に評価する数値であれば、種々の方法によって定義してよい。
【０１６５】
以下に、図１５Ａ、１５Ｂ、１５Ｃのフローチャートに従って、第４の実施形態の画像符号化処理の流れを説明する。
【０１６６】
図１５Ａに示すように、まず、入力手段２００が入力画像３０を取得する（Ｓ４０１）。
【０１６７】
次に関心領域検出手段２０３が頭部、人体、動き領域、背景のそれぞれを含む領域を別個の関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄとして検出する。そして、関心領域分割手段２０４が検出された関心領域に応じて、入力画像３０を複製して、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄそれぞれに対応する関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄを生成する（Ｓ４０２）。
【０１６８】
次いで、画像サイズ制御手段２１１は、第１の実施形態におけるＳ１０２からＳ１０５のステップをそれぞれの関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄごとに行って、関心領域用画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄをそれぞれ目標鮮鋭度Ｓ３０Ａ、Ｓ３０Ｂ、Ｓ３０Ｃ、Ｓ３０Ｄを満たす範囲で縮小した縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄをそれぞれ生成（Ｓ４０３Ａ、Ｓ４０３Ｂ、Ｓ４０３Ｃ、Ｓ４０３Ｄ）する。なお、Ｓ４０１からＳ４０３（Ｓ４０３Ａ、Ｓ４０３Ｂ、Ｓ４０３Ｃ、Ｓ４０３Ｄ）のステップは、Ｓ３０１からＳ３０３（Ｓ３０３Ａ、Ｓ３０３Ｂ、Ｓ３０３Ｃ、Ｓ３０３Ｄ）と同じ内容である。
【０１６９】
次に、量子化制御手段２３１は、全ての縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれの画像サイズを比較し、複数の縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの画像サイズの一部または全部が異なっていた場合には（Ｓ４０４のＮ）、図１５Ｂに示すように、縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄのそれぞれに対し、関心領域固定値化手段２３７に関心領域の固定値化を行わせ、固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄを得る（Ｓ４０５Ａ、Ｓ４０５Ｂ、Ｓ４０５Ｃ、Ｓ４０５Ｄ）。
【０１７０】
次いで、量子化制御手段２３１は、固定値化後画像３３Ａ、３３Ｂ、３３Ｃ、３３Ｄのそれぞれに対し、量子化手段２３４に量子化を行わせる（Ｓ４０６Ａ、Ｓ４０６Ｂ、Ｓ４０６Ｃ、Ｓ４０６Ｄ）。具体的には量子化手段２３４は、縮小画像３３Ａ、３３Ｂ、３３Ｃ、３３ＤにそれぞれＤＣＴ（離散コサイン変換）を行い、ＤＣＴ処理後の画像３４Ａ、３４Ｂ、３４Ｃ、３４Ｄをそれぞれ得る。
【０１７１】
さらに、量子化手段２３４は、ＤＣＴ後の画像３４Ａに対し、関心領域５１Ａに対応する量子化パラメータＱｐＡを用いて量子化し量子化後画像３５Ａを得る（Ｓ４０７Ａ）。具体的には、縮小画像３２Ａのマクロブロック全てに、量子化パラメータＱｐＡを用いて量子化する。同様に、ＤＣＴ後の画像３４Ｂ、３４Ｃ、３４Ｄもそれぞれ量子化パラメータＱｐＢ、ＱｐＣ、ＱｐＤで量子化し、量子化後画像３５Ｂ、３５Ｃ、３５Ｄをそれぞれ得る（Ｓ４０７Ｂ、Ｓ４０７Ｃ、Ｓ４０７Ｄ）。
【０１７２】
次に、逆量子化手段２３３は、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄのそれぞれを逆量子化し、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを得る（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ、Ｓ４０８Ｄ）。
【０１７３】
対応付け処理手段２３６Ａは、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄの画像サイズが全て一致するようにそれぞれ伸長し、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを合成した一枚の合成画像３６を生成する（Ｓ４０９）。
【０１７４】
次に、画質算出手段２３８は、合成画像３６のブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する。（Ｓ４１０）。
【０１７５】
そして、量子化制御手段２３１は、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより低いものであれば（Ｓ４１１のＹ）、つまり画質が目標画質より高ければ、さらに圧縮率をあげるように量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをそれぞれより大きく変更し（Ｓ４１４）、Ｓ４０７（Ｓ４０７Ａ、Ｓ４０７Ｂ、Ｓ４０７Ｃ、Ｓ４０７Ｄ）からＳ４１１の処理を繰り返す。なお、この際、Ｓ４０７からＳ４１１の処理を繰り返す際、過去の量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄのうち最も新しい過去の量子化後画像３５Ａ’、３５Ｂ’、３５Ｃ’、３５Ｄ’を保存しておくものとする。
【０１７６】
本第４の実施形態においては、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤの全てを一律に予め定めた増加率で増加させるものとする。しかし、これに限られず、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤのうちの一部の量子化パラメータのみを増加させてもよく、様々な増加率で増加させてもよく、一部または全部の量子化パラメータをここに様々な増加率で増加させてもよい
【０１７７】
また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより大きくなれば（Ｓ４１１のＮ）、つまり画質が目標画質より低くなれば、符号化手段２３５は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’、３５Ｂ’、３５Ｃ’、３５Ｄ’を符号化した符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ４１２）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば（Ｓ４１１のＮ）、対応付け処理手段２３６Ａは量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄをタグ情報等で対応付け、符号化手段２３５は、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを対応付けるタグ情報等の対応付け情報と共に、量子化後画像３５Ａ、３５Ｂ、３５Ｃ、３５Ｄを符号化し、符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを生成する（Ｓ４１２）。これは、画質Ｎが目標画質ＮＯを上回らない範囲で、すなわち、画質を目標画質より劣化させない範囲で、最も高い圧縮率で圧縮した合成画像３６を生成し、符号化することに相当する。また、本第４の実施形態のように、一枚の逆量子化した画像を合成した合成画像３６についてブロックノイズ量とエッジ量の線形和である画質を算出した場合は、各関心領域を合成した状態で、各関心領域間の境界に生ずるブロックノイズを含んで算出できるため、より正確に圧縮後のブロックノイズ量とエッジ量の線形和を目標ブロックノイズとエッジ量の線形和量の範囲内に維持して、量子化による圧縮率を高くできる。
【０１７８】
出力手段２０７は、符号化後画像３７Ａ、３７Ｂ、３７Ｃ、３７Ｄを含んで構成される動画データ３８を通信ネットワーク１１０に送出する（Ｓ４１３）。
【０１７９】
一方、量子化制御手段２３１は、全ての縮小画像３２Ａ、３２Ｂ、３２Ｃ、３２Ｄの画像サイズが等しければ（Ｓ４０４のＹ）、図１５Ｃに示すように、量子化手段２３４に縮小画像３２Ａについてのみ量子化を行わせる（Ｓ５０１）。
【０１８０】
具体的には量子化手段２３４は、縮小画像３２ＡにＤＣＴ（離散コサイン変換）を行い、それぞれの関心領域に対応する量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤを用いて量子化する（Ｓ５０２）。具体的には、縮小画像３２Ａのマクロブロックごとに、そのマクロブロックが含まれる関心領域に応じた量子化パラメータで量子化する。関心領域５１Ａに含まれるマクロブロックは、量子化パラメータＱｐＡで量子化し、関心領域５１Ｂに含まれるマクロブロックは、量子化パラメータＱｐＢで量子化し、関心領域５１Ｃに含まれるマクロブロックは、量子化パラメータＱｐＣで量子化し、関心領域５１Ｂに含まれるマクロブロックには、量子化パラメータＱｐＤで量子化する。
【０１８１】
本第４の実施形態においては、縮小画像３２Ａについてのみ量子化を行った。すなわち、圧縮後の画像においても、関心度の最も高い領域の鮮鋭度を可能な限り目標鮮鋭度の範囲で維持するため、１つの関心領域縮小画像を用いて量子化する場合には、最も高い目標鮮鋭度を満たす画像を用いて量子化をおこうことが好ましいためである。すなわち、１つの関心領域縮小画像を用いて量子化する場合には、最も高い目標鮮鋭度に基づいて縮小した関心領域縮小画像を用いることが望ましい。なお、複数の関心領域縮小画像のうち、他の関心領域縮小画像について量子化を行ってもよい。
【０１８２】
次に、逆量子化手段２３３は、縮小画像３３Ａを量子化した量子化後の画像である量子化後画像３５Ａを逆量子化し、逆量子化後の縮小画像３６Ａを生成する（Ｓ５０３）。
【０１８３】
そして、画質算出手段２３８は、逆量子化後の縮小画像３６Ａのブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質Ｎを算出する（Ｓ５０４）。
【０１８４】
そして、量子化制御手段２３１は、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより低いものであれば（Ｓ５０５のＹ）、すなわち目標画質より高い画質であれば、さらに圧縮率をあげるように量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをより大きく変更し（Ｓ５０６）、Ｓ５０２からＳ５０５の処理を繰り返す。なお、この際、Ｓ５０２からＳ５０５の処理を繰り返しの際、過去の量子化後画像３５Ａのうち最も新しい過去の量子化後画像３５Ａ’を保存しておくものとする。
【０１８５】
本第４の実施形態においては、量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤは、１つの関心領域縮小画像を用いて量子化する場合も、複数の関心領域縮小画像ごとに量子化する場合も、同じ値の量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤを用いる。なお、１つの関心領域縮小画像を用いて量子化する場合と複数の関心領域縮小画像ごとに量子化する場合で量子化パラメータＱｐＡ、ＱｐＢ、ＱｐＣ、ＱｐＤをそれぞれ異ならせてもよい。
【０１８６】
また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯより大きくなれば（Ｓ５０５のＮ）、すなわち逆量子化後の縮小画像３６Ａの画質が目標画質より低くなれば、符号化手段２３５は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’を符号化した符号化後画像３７Ａを生成する（Ｓ５０７）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば（Ｓ５０５のＮ）、符号化手段２３５は量子化後画像３５Ａを符号化し、符号化後画像３７Ａを生成する（Ｓ５０７）。すなわち、目標画質の範囲内で最も圧縮率の高い符号化後画像３７Ａを生成する。
【０１８７】
出力手段２０７は、符号化後画像３７Ａを含んで構成される動画データ３８を通信ネットワーク１１０に送出する（Ｓ５０８）。
【０１８８】
以上のように、第４の実施形態における画像符号化装置１２０では、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段２３１をさらに備えたため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１８９】
また、量子化制御手段２３１が、複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化するかを決定したため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１９０】
さらに具体的に、第４の実施形態の画像符号化処理の効果を説明する。第４の実施形態により、画像サイズに応じてサイズの異なる複数の関心領域縮小画像をそれぞれ量子化する場合には、量子化後それぞれの関心領域縮小画像を伸長して同サイズとして一枚の画像に合成することにより圧縮後の画像を得る。このことにより、量子化を行う際の計算の最小単位がカバーする画像の範囲が関心領域ごとに異なるものとなる。すると、量子化後それぞれの関心領域縮小画像を伸長して一枚の画像を生成した際に、ある関心領域を構成するマクロブロックと他の関心領域を構成するマクロブロックとの境界にブロックノイズが発生するのを抑制する効果が得られる。特に、入力画像の鮮鋭度の低い場合は、１つの関心領域縮小画像だけを用いて量子化する方法で量子化するとブロックノイズが顕著となるため、第４の実施形態のように、画像サイズを異なる複数の関心領域縮小画像ごとに量子化を行う方法により、ブロックノイズを低減することで、画質を維持する効果が著しい。
【０１９１】
また、画像サイズに応じて一枚の関心領域縮小画像を量子化する場合には、関心領域に応じた量子化パラメータを用いて一つの関心領域縮小画像を量子化することによって、計算負荷を上げずに圧縮後の画像の画質を維持することができる。入力画像の鮮鋭度が高い場合は、特に１つの関心領域縮小画像だけを用いて量子化する方法で、圧縮後も十分に鮮鋭な画像が得られるため、画像サイズに応じて、計算負荷を必要以上に上げることなく、画質を維持することができる。
【０１９２】
よって、本第４の実施形態によれば、画像サイズを異ならせて関心領域縮小画像ごとに量子化を行うことにより、ブロックノイズの抑制効果が得られる。さらに、複数の関心領域縮小画像の画像サイズが全て等しいときには、一枚の関心領域縮小画像についてのみ量子化を行うため、計算負荷を必要以上にあげることがない。
【０１９３】
さらに、量子化制御手段２３１は、複数の関心領域縮小画像の画像サイズをそれぞれ比較し、複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて、複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化手段に量子化を行わせるものであり、複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、量子化条件を関心領域ごとに異ならせて複数の関心領域縮小画像ごとに量子化手段に量子化を行わせるものであるため、関心領域縮小画像の画像サイズに応じて、圧縮率の異なる量子化方法を選択できるため、好適に圧縮後の画質を維持することができる。
【０１９４】
さらに、第４の実施形態による量子化制御手段２３１は、逆量子化後の関心領域縮小画像の画質が所定の目標画質になるまで、量子化パラメータを変更し、変更した該量子化パラメータに基づいて量子化手段に関心領域縮小画像の量子化を繰り返させるものであるため、目標画質を維持できる範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像の画質を好適に維持しつつ、画像を高圧縮率できる。
【０１９５】
さらに、第４の実施形態において、所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であるため、ブロックノイズ量とエッジ量の線形和の所定のしきい値の範囲内で、圧縮率の高い量子化パラメータで量子化を行うことが出来るため、圧縮後の画像のブロックノイズが所定の範囲に抑えられたものとなり、画像を高い圧縮率で圧縮できる。また、ブロックノイズ量とエッジ量の線形和を画質として判断することによって、ブロックノイズを低減した画像が好適に得られるという発明者らの知見からも好ましい。
【０１９６】
さらに、画像処理システム１０が、第４の実施形態の画像符号化装置１２０、および、得られた動画データを構成する画像に対して超解像処理を行う超解像処理手段を備えた画像処理装置１７０を備えた場合には、画像処理システム１０は、第４の画像符号化装置の効果を備え、第４の画像符号化装置で得られた動画データに対し、超解像処理を施すことによって高い圧縮率で鮮鋭度の高い動画データを得られる。
【０１９７】
なお、ブロックノイズ量とエッジ量の線形和を算出するＳ４１０またはＳ５０４のステップにおいて、本実施形態に限定されず、ブロックノイズ量をブロックの平坦度と隣接ブロック間の不連続性によって定義し、マクロブロックごとに評価してもよい。
【０１９８】
以下、ブロックノイズ量とエッジ量をそれぞれマクロブロックごとに評価した、第４の実施形態の変形例を説明する。第４の実施形態の変形例では、逆量子化後の縮小画像３６Ａを構成する個々のマクロブロックの画素値の分散と平均値を算出し、評価対象となる対象マクロブロック内の画素値の分散がしきい値以下どうかを調べる。そして、対象マクロブロック内の画素値の分散がしきい値以下であれば、対象マクロブロックと水平または垂直方向に隣接する４つの隣接するマクロブロックのうち画素値の分散がしきい値以下のマクロブロックを抽出する。そして、抽出した隣接するマクロブロックの画素の平均値と対象マクロブロックの画素の平均値との差分値の絶対値和をブロックノイズ量として算出する。なお、これは、抽出されたマクロブロック、および、抽出された隣接するマクロブロックとは、両者とも分散がしきい値より低いためマクロブロック内の画素値が平坦である可能性が高く、平坦なマクロブロックどうしである両者の間にブロックノイズが現れている可能性が高いため、両者の平均値の差分値は、両ブロック間のブロックノイズの度合いを表していると考えることができるためである。
【０１９９】
また、第4の実施形態の変形例によるエッジ量は、Ｓｏｂｅｌオペレータにより対象マクロブロックのエッジを抽出し、そのエッジが抽出されたマクロブロックの画素値の合計として定義してもよい。Ｓｏｂｅｌオペレータによりエッジ抽出が行われた画像は、エッジの領域のみが抽出された画像となっているため、この画素値を合計するとエッジを構成する領域の画素値が得られる。なお、この場合、目標ブロックノイズ量と目標エッジ量の線形和ＮＯは個々のマクロブロックに対するブロックノイズ量とエッジ量の線形和の所定のしきい値を表すものである。また、ブロックノイズ量をマクロブロックごとに定義した場合、エッジ量もマクロブロックごとに定義することが好ましい。
【０２００】
図１６は図１４に示す第４の実施形態の量子化条件の変形例を示す。図１７は、図１５Ｂに示した複数の関心領域縮小画像ついて量子化を行う場合の処理の流れを示すフローチャートの変形例である。図１６に示す量子化条件表７３には、関心領域５１Ａ、５１Ｂ、５１Ｃ、５１Ｄに応じてそれぞれ目標ブロックノイズ量ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤが設定されている点が量子化条件７２と異なる。図１７は、Ｓ６０９Ａ〜Ｓ６０９Ｄ、Ｓ６１０Ａ〜Ｓ６１０Ｄ、Ｓ６１１、Ｓ６１４の画質評価の順番が、図１５Ｂと異なり、それ以外のステップは、図１５Ｂと同じ処理を行う。また、第４の実施形態の変形例においては、図１５Ａおよび図１５Ｃの処理は全て同じであるため説明を省略する。
【０２０１】
つまり、図１５Ｂに示した例では、逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄを取得した（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ，Ｓ４０８Ｄ）後に対応付け処理を行っていたところ、本第４の実施形態の変形例では、Ｓ４０８（Ｓ４０８Ａ、Ｓ４０８Ｂ、Ｓ４０８Ｃ，Ｓ４０８Ｄ）後に複数の逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄに対して、画質算出手段２３８がブロックノイズ量とエッジ量を算出し、ブロックノイズ量とエッジ量の線形和である画質ＮＡ、ＮＢ、ＮＣ、ＮＤを算出する（Ｓ６０９Ａ、Ｓ６０９Ｂ、Ｓ６０９Ｃ，Ｓ６０９Ｄ）。
【０２０２】
そして、量子化制御手段２３１は、各逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄにそれぞれ対応する画質ＮＡ、ＮＢ、ＮＣ、ＮＤと、各逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄにそれぞれ対応する目標画質ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤをそれぞれ比較する（Ｓ６１０Ａ、Ｓ６１０Ｂ、Ｓ６１０Ｃ，Ｓ６１０Ｄ）。
【０２０３】
逆量子化後画像３６Ａについて説明すると、逆量子化後の縮小画像３６Ａの画質ＮＡが目標画質ＮＯＡより低いものであれば（Ｓ６１０のＹ）、すなわち目標画質よりも高画質であれば、さらに圧縮率をあげるように圧縮率をさらにあげるように量子化パラメータＱｐＡをより大きく変更し（Ｓ６１４Ａ）、Ｓ４０７ＡからＳ６１０Ａの処理を繰り返す。なお、Ｓ４０７ＡからＳ６１０Ａの処理を繰り返す際、過去の量子化後画像３５Ａのうち最も新しい過去の量子化後画像３５Ａ’を保存しておくものとする。
【０２０４】
また、逆量子化後の縮小画像３６Ａの画質ＮＡが目標画質ＮＯＡより大きくなれば、すなわち目標画質よりも低画質であれば、量子化制御手段２３１は過去の量子化後画像３５Ａ’のうち最も新しい過去の量子化後画像３５Ａ’を対応付け処理手段２３６Ａに出力する（Ｓ６１０ＡのＮ）。また、逆量子化後の縮小画像３６Ａの画質Ｎが目標画質ＮＯと等しくなれば、符号化手段２３５は量子化後画像３５Ａを対応付け処理手段２３６Ａに出力する（Ｓ６１０ＡのＮ）。
【０２０５】
なお、逆量子化後画像３６Ｂ、３６Ｃ、３６ＤについてのＳ６１０Ｂ、Ｓ６１０Ｃ、Ｓ６１０Ｄのステップでは、逆量子化後画像３６ＡについてのＳ６１０Ａと同等の処理が行われる。逆量子化後画像３６Ｂ、３６Ｃ、３６ＤについてのＳ６１４Ｂ、Ｓ６１４Ｃ、Ｓ６１４Ｄのステップでは、逆量子化後画像３６ＡについてのＳ６１４Ａと同等の処理が行われる。
【０２０６】
対応付け処理手段２３６Ａは、量子化制御手段２３１から量子化後画像３５Ａ（または３５Ａ’）、３５Ｂ（または３５Ｂ’）、３５Ｃ（または３５Ｃ’）、３５Ｄ（または３５Ｄ’）を取得して、タグ情報等で、互いに対応付ける。
【０２０７】
以上のように、第４の実施形態の変形例を構成すれば、関心領域に応じた目標画質を保って高い圧縮率で符号化を行える。また、第４の実施形態の変形例において、事前にシミュレーション等から得た知見をもとに、複数の関心領域縮小画像ごとのブロックノイズ量とエッジ量の線形和と、かかる複数の関心領域縮小画像を伸長して１つの画像に合成した合成画像のブロックノイズ量とエッジ量の線形和との相関を記憶したデータベースを備え、このデータベースに基づいて、合成画像のブロックノイズ量とエッジ量の線形和が所望のブロックノイズ量とエッジ量の線形和の範囲となるよう逆量子化後画像３６Ａ、３６Ｂ、３６Ｃ、３６Ｄに応じた目標ブロックノイズ量とエッジ量の線形和ＮＯＡ、ＮＯＢ、ＮＯＣ、ＮＯＤを定めた場合には、第４の実施形態と同様に、圧縮後画像のブロックノイズ量の低減効果が著しい。
【０２０８】
以下に本明細書における関心領域検出手段２０３の領域検出方法について詳細に説明する。
【０２０９】
関心領域検出手段２０３は、人物の顔、人体、および移動物体を含む領域を、異なる種類のＲＯＩとして検出する。例えば、関心領域検出手段２０３は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をＲＯＩとする。また、関心領域検出手段２０３は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をＲＯＩとする。なお、関心領域検出手段２０３は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
【０２１０】
また、関心領域検出手段２０３は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域（動き領域）として特定する。他にも、関心領域検出手段２０３は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、関心領域検出手段２０３は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。なお、動き領域は、複数のマクロブロックをまたいで移動する物体等を含む領域を検出するものとし、風によって揺れ動く草木等、特定の微小なマクロブロックの範囲で周期的に動く物体を含む領域は、動き領域として検出しないものとする。
【０２１１】
このように、関心領域検出手段２０３は、予め定められた画像内容に関する条件に適合する領域を、ＲＯＩとして検出する。より具体的には、関心領域検出手段２０３は、予め定められた条件に適合するオブジェクトを含む領域を、ＲＯＩとして検出する。例えば、関心領域検出手段２０３は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ＲＯＩとして検出する。また、関心領域検出手段２０３は、画像の変化量が予め定められた変化量より大きい領域を、ＲＯＩとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をＲＯＩとして検出する。
【０２１２】
なお、関心領域検出手段２０３は、上記の人物の顔、人体の他に、人物の頭部の一部の部位または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位が撮像されている領域を、ＲＯＩとして検出することができる。なお、生体とは、生体内部の腫瘍組織または血管等のように、生体の内部に存在する特定の組織を含む。他にも、関心領域検出手段２０３は、生体の他にも、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域をＲＯＩとして検出してよい。
【０２１３】
また、関心領域検出手段２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、ＲＯＩを検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、関心領域検出手段２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、ＲＯＩとして検出してよい。これにより関心領域検出手段２０３は、予め定められた被写体が撮像されている領域をＲＯＩとして検出することができる。なお、関心領域検出手段２０３は、矩形を含む任意の形状を有するＲＯＩを検出してよい。
【０２１４】
なお、関心領域検出手段２０３は、特願２００８−０７８６４１号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、関心領域検出手段２０３は、生成された画像群のうちの相対的に小さい第１の画像に、第１のフィルタを作用させて、評価値を算出する。ここで、第１のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表す評価値を生成する。また、第１のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。関心領域検出手段２０３は、所定の第１の閾値を越える評価値が得られた一次候補領域を、第１の画像から抽出する。
【０２１５】
そして、関心領域検出手段２０３は、第１の画像よりも画素数が一段階多い第２の画像における一次候補領域に相当する領域に、フィルタ群のうちの第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて、評価値を算出する。そして、関心領域検出手段２０３は、所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する。
【０２１６】
ここで、関心領域検出手段２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、関心領域検出手段２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、関心領域検出手段２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、関心領域検出手段２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、関心領域検出手段２０３は、当該特定種類のオブジェクトが存在する領域を、ＲＯＩとして検出する。このように、関心領域検出手段２０３は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、ＲＯＩをより高精度に検出することができる。また、小さいサイズの画像でＲＯＩの粗ぶるいが行なわれるので、より高速にＲＯＩを検出することができる。
【０２１７】
また、関心領域検出手段２０３は、特願２００８−０７８６３６号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、ＲＯＩを検出する。具体的には、関心領域検出手段２０３は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表す一次評価値との対応関係が対応づけられている。関心領域検出手段２０３は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。これにより、関心領域検出手段２０３は、当該領域を、特定種類のオブジェクトが存在するＲＯＩとして検出する。このように、関心領域検出手段２０３は、オブジェクトの輪郭・内部の様々な特徴を表す特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度にＲＯＩを抽出することができる。
【０２１８】
なお、関心領域検出手段２０３は、特願２００８−０７８６３６号に記載された方法と、特願２００８−０７８６４１号に記載された方法とを組み合わせた方法により、ＲＯＩを検出してよい。具体的には、特願２００８−０７８６３６号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、関心領域検出手段２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、関心領域検出手段２０３は、画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させることで複数の特徴量を算出する。そして、関心領域検出手段２０３は、該複数の第１のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。
【０２１９】
また、関心領域検出手段２０３は、上記画像群のうちの第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させることで、複数の特徴量を算出する。そして、関心領域検出手段２０３は、当該複数の第２のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を求める。そして、関心領域検出手段２０３は、複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表す二次評価値を求める。そして、関心領域検出手段２０３は、求められた二次評価値と第２の閾値とを比較して第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。
【０２２０】
ここで、関心領域検出手段２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、関心領域検出手段２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、関心領域検出手段２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、関心領域検出手段２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、関心領域検出手段２０３は、当該特定種類のオブジェクトが存在する領域を、ＲＯＩとして検出する。
【０２２１】
また、関心領域検出手段２０３は、特願２００８−０９８６００号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、複数の撮像装置１００により撮像された動画に含まれる複数の撮像画像から、ＲＯＩを検出する。一例として、撮像装置１００ａおよび撮像装置１００ｂは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置１００ａおよび撮像装置１００ｂは、ステレオカメラとして機能することができる。また、以下の説明では、撮像装置１００ａが撮像した第１の撮像画像と、撮像装置１００ｂが撮像した第２の撮像画像とを、ペア画像と呼ぶ。関心領域検出手段２０３は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、ＲＯＩとして検出する。
【０２２２】
関心領域検出手段２０３は、ペア画像とみなされる第１および第２の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、関心領域検出手段２０３は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。そして、関心領域検出手段２０３は、抽出した第１の撮像画像上の領域と第２の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、関心領域検出手段２０３は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。関心領域検出手段２０３は、被写体までの距離に基づく被写体の３次元形状に基づいて、特定種類のオブジェクトを検出することができる。
【０２２３】
ここで、関心領域検出手段２０３は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第１および第２の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、関心領域検出手段２０３は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル（例えば、画素値勾配ベクトル）を例示することができる。そして、関心領域検出手段２０３は、算出された第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出する。関心領域検出手段２０３は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、関心領域検出手段２０３は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、関心領域検出手段２０３は、被写体の３次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。
【０２２４】
また、関心領域検出手段２０３は、特願２００８−０９１５６２号に記載された方法でＲＯＩを検出してよい。例えば、関心領域検出手段２０３は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置１００の画角上の位置情報とを伴って抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、関心領域検出手段２０３は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、関心領域検出手段２０３は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、関心領域検出手段２０３は、特定種類の被写体を含む領域を、ＲＯＩとして検出してよい。このため、関心領域検出手段２０３は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。
【０２２５】
なお、撮像装置１００が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置１００の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置１００により、一の撮像装置１００が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置１００のそれぞれの撮像方向、および複数の撮像装置１００のそれぞれにより撮像された撮像画像上の位置を例示することができる。
【０２２６】
以上の全ての実施形態は、その本質を変容させることなく、他の実施形態にも適用できる。
【符号の説明】
【０２２７】
１０ 画像処理システム
１２０ 動画符号化装置
２００ 入力手段
２０３ 関心領域検出手段
２０４ 関心領域分割手段
２０７ 出力手段
２１１ 画像サイズ制御手段
２１２ 画像サイズ条件記憶手段
２１３ 鮮鋭度算出手段
２１４ 画像サイズ低減手段
２３１ 量子化制御手段
２３２ 量子化条件記憶手段
２３３ 逆量子化手段
２３４ 量子化手段
２３５ 符号化手段
２３８ 画像算出手段
【特許請求の範囲】
【請求項１】
入力画像を符号化して出力する画像符号化装置であって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、
前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、
前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、
該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えた画像符号化装置。
【請求項２】
前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、
前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、
前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、
前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものであることを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
前記画像サイズ制御手段は、前記画像サイズ条件を変更する際に、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記画像サイズをより小さくなるよう変更するものであることを特徴とする請求項２または３記載の画像符号化装置。
【請求項５】
前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれかを含むものであることを特徴とする請求項３または４に記載の画像符号化装置。
【請求項６】
前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれか２つ以上を含むものであり、
前記複数の関心領域のうち、前記関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう設定されるものであることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記入力画像は動画像を構成するものであり、
前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、
前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、
前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものであることを特徴とする請求項３から６のうちいずれか１項記載の画像符号化装置。
【請求項８】
前記フレーム間圧縮条件は、前記動画像を時間方向へ圧縮する度合を表すものであることを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記フレーム間圧縮条件は、スキップマクロブロックを含むものであり、
前記フレーム間圧縮手段は、マクロブロックタイプを前記スキップマクロブロックに変化させてフレームレートを低下させるものであることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものであることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えたことを特徴とする請求項３から１０のうちいずれか１項記載の画像符号化装置。
【請求項１２】
前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものであることを特徴とする請求項１１記載の画像符号化装置。
【請求項１３】
前記量子化条件を記憶する量子条件記憶手段と、
前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、
前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものであることを特徴とする請求項１１または１２記載の画像符号化装置。
【請求項１４】
前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、
前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、
前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、
前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものであることを特徴とする請求項１１から１３いずれか１項記載の画像符号化装置。
【請求項１５】
前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であることを特徴とする請求項１４項記載の画像符号化装置。
【請求項１６】
前記画像サイズ条件記憶手段は、前記サイズ条件に前記入力画像の画質をさらなる目標画質として記憶するものであり、
前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備えることを特徴とする請求項１から１５いずれか1項記載の画像符号化装置。
【請求項１７】
入力された入力画像を符号化して出力する画像符号化方法であって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段に記憶された前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成し、
前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度と等しくない場合は、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させることを特徴とする画像符号化方法。
【請求項１８】
コンピュータを、
入力された入力画像を符号化して出力する画像符号化プログラムであって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、
前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、
前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度と等しくない場合は、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させる画像サイズ制御手段として機能させることを特徴とする画像符号化プログラム。
【請求項１】
入力画像を符号化して出力する画像符号化装置であって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、
前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、
前記縮小画像の鮮鋭度を算出する鮮鋭度算出手段と、
該算出された縮小画像の鮮鋭度が前記目標鮮鋭度より大きい場合は、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減させる画像サイズ制御手段とを備えた画像符号化装置。
【請求項２】
前記画像サイズ制御手段は、前記縮小画像の鮮鋭度が前記目標鮮鋭度になるまで、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件を変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズ条件で低減した縮小画像を生成することを繰り返させるものであることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記入力画像、または前記入力画像の画像サイズを変更した画像から、それぞれ異なる関心度を有する複数の関心領域を検出する関心領域検出手段と、
前記入力画像、または前記入力画像の画像サイズを変更した画像から、前記検出された関心領域を表す複数の関心領域画像を分割する関心領域分割手段とをさらに備え、
前記画像サイズ条件記憶手段は、前記複数の関心領域画像に対する目標鮮鋭度をそれぞれ別個に記憶するものであり、
前記画像サイズ制御手段は、前記複数の関心領域ごとに画像サイズ条件を決定するものであり、前記複数の関心領域画像のそれぞれについて、関心領域画像の鮮鋭度が対応する目標鮮鋭度とそれぞれ等しい鮮鋭度を有する複数の関心領域縮小画像を得るものであることを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
前記画像サイズ制御手段は、前記画像サイズ条件を変更する際に、前記画像サイズ条件記憶手段に記憶された前記画像サイズ条件のうち、前記画像サイズをより小さくなるよう変更するものであることを特徴とする請求項２または３記載の画像符号化装置。
【請求項５】
前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれかを含むものであることを特徴とする請求項３または４に記載の画像符号化装置。
【請求項６】
前記複数の関心領域は、人体頭部領域、人体領域、動き領域、背景領域のうちのいずれか２つ以上を含むものであり、
前記複数の関心領域のうち、前記関心度は、人体頭部領域、人体領域、動き領域、背景領域の順に低くなるよう設定されるものであることを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記入力画像は動画像を構成するものであり、
前記入力画像からなる動画像を前記複数の関心領域ごとに時間方向へ圧縮する条件を表すフレーム間圧縮条件を記憶するフレーム間圧縮条件記憶手段と、
前記フレーム間圧縮条件に基づいて、前記動画像を時間方向に圧縮するフレーム間圧縮手段とをさらに備え、
前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、低い圧縮率が設定されたものであることを特徴とする請求項３から６のうちいずれか１項記載の画像符号化装置。
【請求項８】
前記フレーム間圧縮条件は、前記動画像を時間方向へ圧縮する度合を表すものであることを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記フレーム間圧縮条件は、スキップマクロブロックを含むものであり、
前記フレーム間圧縮手段は、マクロブロックタイプを前記スキップマクロブロックに変化させてフレームレートを低下させるものであることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記フレーム間圧縮条件は、前記複数の関心領域画像の関心度が高い程、前記マクロブロックタイプを前記スキップマクロブロックに変化させる割合が小さくなるよう設定されたものであることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、前記複数の関心領域縮小画像の量子化方法を異ならせる量子化制御手段をさらに備えたことを特徴とする請求項３から１０のうちいずれか１項記載の画像符号化装置。
【請求項１２】
前記量子化制御手段は、前記複数の関心領域縮小画像のそれぞれの画像サイズに応じて、量子化による圧縮率を決定する量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを量子化するか、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに量子化するかを決定するものであることを特徴とする請求項１１記載の画像符号化装置。
【請求項１３】
前記量子化条件を記憶する量子条件記憶手段と、
前記量子化条件に基づいて前記縮小画像を量子化する量子化手段とを備え、
前記量子化制御手段は、前記複数の関心領域縮小画像の画像サイズをそれぞれ比較し、前記複数の関心領域縮小画像のうち全てが等しい画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて、前記複数の関心領域縮小画像の１つの関心領域縮小画像だけを前記量子化手段に量子化を行わせるものであり、前記複数の関心領域縮小画像のうち一部の関心領域縮小画像が等しくない画像サイズを有する場合には、前記量子化条件を前記関心領域ごとに異ならせて前記複数の関心領域縮小画像ごとに前記量子化手段に量子化を行わせるものであることを特徴とする請求項１１または１２記載の画像符号化装置。
【請求項１４】
前記量子化手段によって量子化された関心領域縮小画像を逆量子化する逆量子化手段と、
前記逆量子化手段によって逆量子化された関心領域縮小画像の画質を算出する画質算出手段をさらに備え、
前記量子化条件は、所定の目標画質と、前記複数の関心領域ごとに設定される量子化パラメータからなるものであり、
前記量子化制御手段は、前記算出された逆量子化後の関心領域縮小画像の画質が前記所定の目標画質になるまで、前記量子化パラメータを変更し、変更した該量子化パラメータに基づいて前記量子化手段に前記関心領域縮小画像の量子化を繰り返させるものであることを特徴とする請求項１１から１３いずれか１項記載の画像符号化装置。
【請求項１５】
前記所定の目標画質は、ブロックノイズ量とエッジ量の線形和の所定のしきい値であることを特徴とする請求項１４項記載の画像符号化装置。
【請求項１６】
前記画像サイズ条件記憶手段は、前記サイズ条件に前記入力画像の画質をさらなる目標画質として記憶するものであり、
前記画像サイズ制御手段による画像サイズ制御が行われる前に、記憶された前記さらなる目標画質より前記縮小画像の画質が低くならない範囲で、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズをより小さくなるよう変更し、前記画像サイズ低減手段に、前記入力画像の画像サイズを前記変更された画像サイズに低減した縮小画像を生成させるさらなる画像サイズ制御手段をさらに備えることを特徴とする請求項１から１５いずれか1項記載の画像符号化装置。
【請求項１７】
入力された入力画像を符号化して出力する画像符号化方法であって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段に記憶された前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成し、
前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度と等しくない場合は、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させることを特徴とする画像符号化方法。
【請求項１８】
コンピュータを、
入力された入力画像を符号化して出力する画像符号化プログラムであって、
所定の画像サイズおよび目標鮮鋭度からなる画像サイズ条件を記憶する画像サイズ条件記憶手段と、
前記入力画像の画像サイズを前記所定の画像サイズに低減した、前記入力画像の縮小画像を生成する画像サイズ低減手段と、
前記縮小画像の鮮鋭度を算出し、該算出された縮小画像の鮮鋭度が前記目標鮮鋭度と等しくない場合は、前記画像サイズ条件記憶手段に記憶された画像サイズ条件のうち、前記所定の画像サイズを低減するように変更し、かつ、前記画像サイズ低減手段に、前記入力画像を前記変更された画像サイズに低減させる画像サイズ制御手段として機能させることを特徴とする画像符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−２１７１３０（Ｐ２０１１−２１７１３０Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３５５１（Ｐ２０１０−８３５５１）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]