画像サイズ変換装置、方法およびプログラム
【課題】視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる画像サイズ変換装置、方法およびプログラムを提供する。
【解決手段】入力画像の水平方向の画素数と所望サイズの水平方向の画素数の大小関係、および、入力画像の垂直方向の画素数と所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段１１と、画像サイズ判定手段１１の判定結果に応じて、調整領域の水平および垂直方向の画素数、ならびに、非調整領域の水平および垂直方向の画素数をそれぞれ算出する画素数算出手段１２と、入力画像における非調整領域の位置を決定する非調整領域位置決定手段１３と、画素数変更率、調整領域の画素数、および、非調整領域の位置に基づいて、入力画像の画像サイズを所望サイズに変換する画像サイズ変換手段１４と、を備える。
【解決手段】入力画像の水平方向の画素数と所望サイズの水平方向の画素数の大小関係、および、入力画像の垂直方向の画素数と所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段１１と、画像サイズ判定手段１１の判定結果に応じて、調整領域の水平および垂直方向の画素数、ならびに、非調整領域の水平および垂直方向の画素数をそれぞれ算出する画素数算出手段１２と、入力画像における非調整領域の位置を決定する非調整領域位置決定手段１３と、画素数変更率、調整領域の画素数、および、非調整領域の位置に基づいて、入力画像の画像サイズを所望サイズに変換する画像サイズ変換手段１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像サイズ変換装置、方法およびプログラムに関し、特に、入力画像の画像サイズ変換を行うための画像サイズ変換装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ＨＤＴＶの画素数を大幅に超えるスーパーハイビジョンなどの超高精細画像（ＵＨＤＴＶ）が開発され、実用化に向けた取り組みがなされている。任意の画像処理装置や画像伝送システムに、ＵＨＤＴＶなどの画素数が非常に多い動画像を入力させる際には、その画像サイズ（以下、原画サイズと記す）が、画像処理装置または画像伝送システムの処理可能な画像サイズ（以下、処理サイズと記す）を上回ることが想定される。この場合には、動画像の画像サイズを予め処理サイズに調整した上で、画像処理装置または画像伝送システムに入力させることが必要となる。
【０００３】
動画像の画像サイズの調整方法としては、画像周辺部を単純に切り落とすことによるサイズ縮小や各種フィルタを用いた画像縮小が用いられる。そして、画像処理もしくは画像伝送の後に原画サイズを持つ画像を再生するために、画像周辺部に黒帯を付加することによるサイズ拡大や各種フィルタを用いた画像拡大が行われる。
【０００４】
なお、画像全域に渡って画像サイズの拡大または縮小を行う方法および装置として、水平方向、垂直方向に種々に画像サイズを変換する画サイズ変換装置が開示されている（例えば、特許文献１参照）。特許文献１に開示された装置は、水平方向の画像サイズを変換する水平フィルタ、および、垂直方向の画像サイズを変換する垂直フィルタを備えており、画像サイズを拡大する際には各フィルタで補間処理を行い、画像サイズを縮小する際には画像データの間引きを行うものである。
【０００５】
また、特許文献２には、デジタル写真サービスにおいて、デジタル画像を、そのデジタル画像とアスペクト比が異なるプリント印画紙上に再生記録する際に、主要被写体を変形することなく、また画像の一部を切り取ることなく、そのデジタル画像のサイズをプリントのサイズに合わせるものが開示されている。
【０００６】
特許文献２に開示された方法および装置は、主要被写体が含まれる中心部については縦横同じ一定の倍率で画像サイズの拡大（補間処理）あるいは縮小を行い、それ以外の周辺部については倍率を変化させながら画像サイズの拡大（補間処理）あるいは縮小を行って、デジタル画像のサイズを所望のプリント印画紙のサイズに合わせるものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３４８１号公報
【特許文献２】特開平１１−１２７３４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、画像周辺部を単純に切り落とす縮小方法と、画像周辺部に黒帯を付加する拡大方法とを用いる場合には、画像の絵柄を欠損させてしまうのみならず、黒帯が付加されることによる違和感をも発生させてしまう。
【０００９】
また、特許文献１および特許文献２に開示された方法および装置のように、画像全域に渡って画像サイズの縮小または拡大を行う場合には、画像の全領域において画質の劣化を招いてしまう。
【００１０】
本発明は、このような従来の課題を解決するためになされたものであって、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる画像サイズ変換装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像サイズ変換装置は、入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置であって、前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段と、を備える構成を有している。
【００１２】
この構成により、入力画像の画像サイズを所望の画像サイズに変換する際に、入力画像の周辺領域の画素数を変更することで、注視領域となる画像中心部の画質劣化を発生させないため、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる。
【００１３】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも大であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも大であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する構成を有していてもよい。
【００１４】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（１）に従って、前記周辺領域の画素数を算出する構成を有していてもよい。
【数１】
【００１５】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも小であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも小であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する構成を有していてもよい。
【００１６】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（２）に従って、前記周辺領域の画素数を算出する構成を有していてもよい。
【数２】
【００１７】
また、本発明の画像サイズ変換装置は、前記主領域位置決定手段が、前記入力された画像における垂直方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された垂直方向のエッジで分断される各領域の水平方向の画素数に応じて、前記主領域と前記周辺領域の垂直方向の境界位置を決定する構成を有している。
【００１８】
この構成により、画像全域に渡る垂直エッジを検出した場合には、このエッジを周辺領域と主領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００１９】
また、本発明の画像サイズ変換装置は、前記主領域位置決定手段が、前記入力された画像における水平方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された水平方向のエッジで分断される各領域の垂直方向の画素数に応じて、前記主領域と前記周辺領域の水平方向の境界位置を決定する構成を有している。
【００２０】
この構成により、画像全域に渡る水平エッジを検出した場合には、このエッジを周辺領域と主領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【発明の効果】
【００２１】
本発明は、入力画像を所望の画像サイズに変換する際に、入力画像の周辺領域の画素数を変更することにより、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる画像サイズ変換装置、方法およびプログラムを提供するものである。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る画像サイズ変換装置の構成を示すブロック図
【図２】第１の実施形態に係る画像サイズ変換装置のハードウエア構成を示すブロック図
【図３】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ変換プログラムのフローチャート
【図４】変換前サイズと所望サイズの対応関係を示す説明図
【図５】入力動画像のある時刻における画像フレームの絵柄の例を示す模式図
【図６】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する非調整領域位置決定ルーチンのフローチャート
【図７】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する水平方向位置決定ルーチンのフローチャート
【図８】垂直方向のエッジの例を示す模式図
【図９】非調整領域の位置の決定方法を示す説明図
【図１０】非調整領域の位置の決定方法を示す説明図
【図１１】第２の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ変換プログラムのフローチャート
【図１２】第２の実施形態に係る画像サイズ変換装置のＣＰＵが実行する水平方向位置決定ルーチンのフローチャート
【図１３】非調整領域の位置の決定方法を示す説明図
【図１４】非調整領域の位置の決定方法を示す説明図
【図１５】第３の実施形態に係る画像処理システムの構成を示すブロック図
【図１６】第４の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ判定および画素数算出ルーチンのフローチャート
【発明を実施するための形態】
【００２３】
以下、本発明に係る画像サイズ変換装置の実施形態について図面を用いて説明する。本発明に係る画像サイズ変換装置は、入力画像を主領域とその周辺領域とに分割し、所定の変更率（拡大率または縮小率）で該周辺領域の画素数を変更することにより、入力画像の画像サイズの縮小および拡大の少なくとも一方を行って、画像サイズを所望サイズに変換するものである。なお、以下では周辺領域を調整領域と呼び、主領域を非調整領域と呼ぶ。
【００２４】
（第１の実施形態）
本発明に係る画像サイズ変換装置の第１の実施形態を図１〜図１０を参照しながら説明する。なお、本実施形態では、周辺領域（調整領域）を縮小することにより入力動画像の各画像フレームの画像サイズの縮小を行う構成を説明する。
【００２５】
本実施形態の画像サイズ変換装置１は、図１に示すように、入力動画像Ｍoの画像フレームＦ（ｔ）の水平方向の画素数Ｘoと所望サイズの水平方向の画素数Ｘpの大小関係、および、画像フレームＦ（ｔ）の垂直方向の画素数Ｙoと所望サイズの垂直方向の画素数Ｙpの大小関係を判定する画像サイズ判定手段１１と、画像サイズ判定手段１１の判定結果に応じて、周辺領域（調整領域）の水平および垂直方向の画素数を算出する画素数算出手段１２と、画像フレームＦ（ｔ）における非調整領域の位置を決定する非調整領域位置決定手段１３と、所定の変更率Ｒx，Ｒy（以下、画素数変更率と記す）、調整領域の画素数、および、非調整領域の位置に基づいて、入力動画像Ｍoの画像サイズ（以下、変換前サイズと記す）を所望サイズに変換する画像サイズ変換手段１４と、を備える。
【００２６】
画像サイズ判定手段１１は、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも大であるか否か、および、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも大であるか否かを判定するようになっている。
【００２７】
画素数算出手段１２は、画像サイズ判定手段１１により、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも大であるか、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも大であると判定された場合に、調整領域の水平および垂直方向の画素数を算出するようになっている。
【００２８】
非調整領域位置決定手段１３は、画像フレームＦ（ｔ）におけるエッジを検出するエッジ検出部１５を有し、エッジ検出部１５の検出結果に基づいて、画像フレームＦ（ｔ）における非調整領域と調整領域の境界位置を決定するようになっている。あるいは、非調整領域は無条件に画像中央部に配置されるものとしてもよい。
【００２９】
画像サイズ変換手段１４は、画像サイズ判定手段１１の判定結果によって画像サイズ変換を行う必要がある場合には、入力動画像Ｍoの画像サイズを所望サイズに変換した変換動画像Ｍsを出力する。一方、画像サイズ判定手段１１の判定結果によって画像サイズ変換を行う必要がない場合には、画像サイズ変換手段１４は、入力動画像Ｍoを素通りさせるようになっている。
【００３０】
図２は、本実施形態の画像サイズ変換装置１のハードウエア構成を示すブロック図である。図２に示すように、本実施形態の画像サイズ変換装置１は、表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスと、パーソナルコンピュータ等の演算装置３４と、を含む。
【００３１】
演算装置３４は、入力動画像Ｍoと、入力動画像Ｍoの変換前サイズＸo，Ｙo、所望サイズＸp，Ｙp、および、画素数変更率Ｒx，Ｒyが入力される入力インターフェイス（Ｉ／Ｆ）３５、変換動画像Ｍsを出力する出力Ｉ／Ｆ３６、ＣＰＵ３７、メモリ３８、入力動画像Ｍoおよび変換動画像Ｍsを必要に応じて記憶するハードディスク（ＨＤＤ）３９、および周辺機器Ｉ／Ｆ４０がバス４１を介して相互に結合された構成を有する。表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスは周辺機器Ｉ／Ｆ４０に接続される。
【００３２】
なお、画像サイズ判定手段１１、画素数算出手段１２、非調整領域位置決定手段１３、画像サイズ変換手段１４、およびエッジ検出部１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。
【００３３】
図３は、ＣＰＵ３７が実行する画像サイズ変換プログラムのフローチャートである。ＣＰＵ３７は、入力動画像Ｍoの変換前サイズおよび所望サイズをそれぞれ読み込む処理（ステップＳ１００、Ｓ１０１、Ｓ１０６）と、画像サイズ判定手段１１に対応する画像サイズ判定処理（ステップＳ１０２）と、画素数算出手段１２に対応する画素数算出処理（ステップＳ１０３）と、非調整領域位置決定手段１３に対応する非調整領域位置決定処理（ステップＳ１０４）と、画像サイズ変換手段１４に対応する画像サイズ変換処理（ステップＳ１０５）と、を実行するようになっている。
【００３４】
まず、ＣＰＵ３７は、ステップＳ１００において、入力Ｉ／Ｆ３５を介して、入力動画像Ｍoの変換前サイズＸo，Ｙoおよび所望サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyを読み込む。ここで、図４に示すように、ＸoおよびＹoはそれぞれ変換前サイズの水平方向および垂直方向の画素数を示し、ＸpおよびＹpはそれぞれ所望サイズの水平方向および垂直方向の画素数を示す。また、水平方向の画素数変更率Ｒxと垂直方向の画素数変更率Ｒyは、それぞれ異なる値であってもよい。
【００３５】
次に、ＣＰＵ３７は、ステップＳ１０１において、例えば図５に示すような入力動画像Ｍoのある時刻ｔにおける画像フレームＦ（ｔ）を読み込む。
【００３６】
次に、ＣＰＵ３７は、画像サイズ判定処理（ステップＳ１０２）において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である（Ｘo＞Ｘp）か否か、および、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する。水平方向および垂直方向のいずれについても変換前サイズが所望サイズ以下である場合には、ＣＰＵ３７はプログラムを終了する。
【００３７】
一方、「Ｘo＞Ｘp」および「Ｙo＞Ｙp」の少なくともいずれか一方が成立する場合には、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、サイズ変換前の調整領域の水平および垂直方向の画素数Ｘ，Ｙを次式に従って算出する。ここで、画素数変更率Ｒx，Ｒyはいずれも１よりも小さい値である。
【数３】
【数４】
【００３８】
［数３］の上段は次のように導出できる。ここで、サイズ変換前の調整領域を調整前領域、サイズ変換後の調整領域を調整後領域と呼ぶことにすると、調整前領域の水平方向の画素数と調整後領域の水平方向の画素数は（式ａ）、（式ｂ）のように表わされる。
調整前領域の水平方向の画素数＝変換前サイズの水平方向の画素数Ｘo−非調整領域の水平方向の画素数Ｘc・・・（式ａ）
調整後領域の水平方向の画素数＝（Ｘo−Ｘc）×Ｒx・・・（式ｂ）
【００３９】
式ａの両辺から式ｂの両辺を引くと（式ｃ）のようになる。
調整前領域の水平方向の画素数−調整後領域の水平方向の画素数＝（Ｘo−Ｘc）×（１−Ｒx）・・・（式ｃ）
【００４０】
ここで、式ｃの左辺は、変換前サイズの水平方向の画素数Ｘoから所望サイズの水平方向の画素数Ｘpを減じたものに他ならない。また、式ｃの右辺のＸo−Ｘcは調整前領域の水平方向の画素数Ｘに他ならない。従って、（式ｃ）は（式ｄ）のように表わすことができる。
Ｘo−Ｘp＝Ｘ×（１−Ｒx）・・・（式ｄ）
（式ｄ）の両辺を（１−Ｒx）で除することによって［数３］の上段が得られる。［数４］についても同様に導出できる。
【００４１】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、次式に示すように、調整前領域の画素数Ｘ（＝Ｘo−Ｘc）、Ｙ（＝Ｙo−Ｙc）に画素数変更率Ｒx，Ｒyをそれぞれ乗ずることにより、調整後領域の画素数を算出する。
【数５】
【００４２】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、次式に示すように、非調整領域の水平および垂直方向の画素数Ｘc，Ｙcを算出する。
【数６】
【００４３】
次に、ＣＰＵ３７は、非調整領域位置決定処理（ステップＳ１０４）において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の位置を決定する。なお、この非調整領域位置決定処理（非調整領域位置決定ルーチン）の詳細については後述する。
【００４４】
次に、ＣＰＵ３７は、画像サイズ変換処理（ステップＳ１０５）において、ステップＳ１０３で得られた調整前領域、調整後領域、および非調整領域の画素数、および、ステップＳ１０４で得られた非調整領域の位置の情報に基づいて、入力動画像Ｍoの画像フレームＦ（ｔ）の画像サイズを所望サイズに縮小する処理を行う。調整領域に対する画像縮小の方法としては、単純間引きや、Nearest Neighbor法、Bi linear法、Bi cubic法などを用いることができる。
【００４５】
最後に、ＣＰＵ３７は、ステップＳ１０６において、最後の画像フレームを読み込んだか否かを判定し、最後の画像フレームを読み込んでいない場合には、ステップＳ１０１に戻って次の時刻の画像フレームを読み込む。最後の画像フレームを読み込んだ場合には、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して変換動画像Ｍsを出力する。さらに、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して、変換前サイズや非調整領域のサイズなどの情報を出力してもよい。
【００４６】
次に、図３の画像サイズ変換プログラムのステップＳ１０４で実行される非調整領域位置決定ルーチンについて説明する。
【００４７】
図６は、ＣＰＵ３７が実行する非調整領域位置決定ルーチンのフローチャートである。ＣＰＵ３７は、ステップＳ１１０において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の水平方向の位置を決定する水平方向位置決定ルーチンを実行する。最後に、ＣＰＵ３７は、ステップＳ１１１において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。
【００４８】
図７は、図６に示した非調整領域位置決定ルーチンのステップＳ１１０で実行される水平方向位置決定ルーチンのフローチャートである。
【００４９】
まず、ＣＰＵ３７は、ステップＳ１２０において、入力動画像Ｍoの画像フレームＦ（ｔ）における垂直方向のエッジを検出し、画像フレームＦ（ｔ）に画像全域に渡る垂直エッジが含まれていると見なせる場合にはさらにその個数を判定する。この処理は、エッジ検出部１５に対応している。
【００５０】
垂直方向のエッジの検出方法としては、Sobelフィルタ、Prewittフィルタなどの一次微分を用いて検出する手法や、Laplacianフィルタ等の２次微分を用いて検出する手法、もしくは画像上でのエッジ部分のパターンを想定したテンプレートと入力画像である画像フレームＦ（ｔ）との相関を算出して検出する手法などが挙げられる。
【００５１】
Sobelフィルタを用いた場合の例を以下に示す。例えば、画像フレームＦ（ｔ）の右側から左側に向かって垂直エッジ検出を行う場合のSobelフィルタの垂直エッジ検出係数は次式に示す通りである。
【数７】
【００５２】
画像フレームＦ（ｔ）に上記のフィルタ処理を施した場合には、画像フレームＦ（ｔ）中の垂直方向のエッジが検出される。検出された垂直方向のエッジが、画像フレームＦ（ｔ）の上端から下端まで連続している場合には、画像全域に渡る垂直エッジの候補と見なすことができる。
【００５３】
このようにして検出された画像全域に渡る垂直エッジの候補は、図８（ａ）〜（ｄ）に示す４つの例のように、必ずしも直線ではなく、さらに画像フレームＦ（ｔ）の上端および下端に対して垂直であるとは限らない。従って、検出された垂直方向のエッジの右端と左端の距離Ｄvが予め定められた閾値よりも小さい場合には、検出された垂直方向のエッジの右端と左端から等距離（Ｄv／２）にある垂直線（図８（ａ）〜（ｄ）中の点線）を画像全域に渡る垂直エッジと決定する。
【００５４】
なお、上記のフィルタ処理により検出された垂直方向のエッジが、例えば図８（ｅ）に示す例のように、画像全域に渡るものでない場合もある。この場合は、検出された垂直方向のエッジの右端と左端の距離Ｄvが予め定められた閾値よりも小さく、かつ、垂直方向の長さＬvが予め定められた閾値よりも長ければ、検出された垂直方向のエッジの右端と左端から等距離（Ｄv／２）にあり、画像フレームＦ（ｔ）の上端から下端まで連続する垂直線（図８（ｅ）中の点線）を画像全域に渡る垂直エッジと決定する。
【００５５】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が０である場合には、ステップＳ１２１において、非調整領域の位置を画像中央部（即ち、画像フレームＦ（ｔ）の中心点と非調整領域の中心点とが一致する）と決定する。これは、図９（ａ）のパターン１に該当する。
【００５６】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が１である場合には、ステップＳ１２２において、この垂直エッジで分断された２つの領域のうち小さい面積を持つ領域（以下、エリアＡと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００５７】
エリアＡの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２３において、この垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＡが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＡの右端と一致するように非調整領域が配置されることになる。これは、図９（ｂ）のパターン２に該当する。一方、エリアＡが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＡの左端と一致するように非調整領域が配置されることになる。
【００５８】
一方、エリアＡの水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２１において、非調整領域の位置を画像中央部と決定する。これは、図９（ｃ）のパターン３に該当する。
【００５９】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が２以上である場合には、ステップＳ１２４において、これら２以上の垂直エッジで分断された３以上の領域のうち、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち大きい面積を持つ領域（以下、エリアＢと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００６０】
エリアＢの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２５において、エリアＢに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＢが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＢの右端と一致するように非調整領域が配置されることになる。これは、図９（ｄ）のパターン４に該当する。一方、エリアＢが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＢの左端と一致するように非調整領域が配置されることになる。
【００６１】
一方、エリアＢの水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２６において、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち小さい面積を持つ領域（以下、エリアＣと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００６２】
エリアＣの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２７において、エリアＣに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＣが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＣの右端と一致するように非調整領域が配置されることになる。一方、エリアＣが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＣの左端と一致するように非調整領域が配置されることになる。これは、図１０（ｅ）のパターン５に該当する。
【００６３】
一方、エリアＣ（およびエリアＢ）の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２１において、非調整領域の位置を画像中央部と決定する。これは、図１０（ｆ）のパターン６に該当する。
【００６４】
既に述べたように、ＣＰＵ３７は、上記の水平方向位置決定ルーチンを実行した後に、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。この処理の手順については、上記の水平方向位置決定ルーチンと同様であるので詳細な説明を省略する。
【００６５】
なお、Sobelフィルタを用いて、例えば、画像フレームＦ（ｔ）の下側から上側に向かって水平エッジ検出を行う場合の水平エッジ検出係数は次式に示す通りである。
【数８】
【００６６】
上記のフィルタ処理により検出された水平方向のエッジが、画像フレームＦ（ｔ）の左端から右端まで連続している場合には、画像全域に渡る水平エッジの候補と見なすことができる。
【００６７】
このようにして検出された画像全域に渡る水平エッジの候補は、必ずしも直線ではなく、さらに画像フレームＦ（ｔ）の左端および右端に対して垂直であるとは限らない。従って、検出された水平方向のエッジの上端と下端の距離ＤHが予め定められた閾値よりも小さい場合には、検出された水平方向のエッジの上端と下端から等距離（ＤH／２）にある水平線を画像全域に渡る水平エッジと決定する。
【００６８】
なお、上記のフィルタ処理により検出された水平方向のエッジが画像全域に渡るものでない場合は、検出された水平方向のエッジの上端と下端の距離ＤHが予め定められた閾値よりも小さく、かつ、水平方向の長さＬHが予め定められた閾値よりも長ければ、検出された水平方向のエッジの上端と下端から等距離（ＤH／２）にあり、画像フレームＦ（ｔ）の左端から右端まで連続する水平線を画像全域に渡る水平エッジと決定する。
【００６９】
本実施形態では、調整前領域の画素数を決定した後に、調整前領域の位置および非調整領域の位置を決定したが、逆の手順を踏む場合でも同様の効果が得られる。即ち、先に画像全域に渡る水平エッジおよび垂直エッジの検出を行い、これらのエッジを調整前領域と非調整領域の境界と決定する。これにより、この境界に合致する調整前領域の画素数Ｘ，Ｙが決定され、［数３］および［数４］より画素数変更率Ｒx，Ｒyが求まる。
【００７０】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを所望の画像サイズに縮小する際に、各画像フレームの周辺領域のみを縮小することで、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００７１】
なお、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像に対してリアルタイム処理を行うものであってもよく、あるいは、予めＨＤＤに記憶されている動画像に対してバッチ処理を行うものであってもよい。
【００７２】
また、本実施形態の画像サイズ変換装置、方法およびプログラムは、上述の記載では入力動画像の全ての画像フレームについて非調整領域の位置決定処理を行うものであるとしたが、カットチェンジを検出した時点で該当する画像フレームにおいて非調整領域の位置決定処理を行い、次のカットチェンジを検出するまで非調整領域の位置を固定する構成であってもよい。なお、カットチェンジを検出する処理は、公知の技術で実現可能である。
【００７３】
（第２の実施形態）
本発明に係る画像サイズ変換装置の第２の実施形態を図面を参照しながら説明する。なお、本実施形態では、周辺領域（調整領域）を拡大することにより入力動画像の各画像フレームの画像サイズの拡大を行う構成を説明する。なお、第１の実施形態と同様の事項については適宜説明を省略する。
【００７４】
本実施形態の画像サイズ変換装置２の構成は、第１の実施形態で図１、図２に示したものとほぼ同様であるが、画像サイズ判定手段１１および画素数算出手段１２の構成が異なっている。
【００７５】
即ち、画像サイズ変換装置２においては、画像サイズ判定手段１１は、入力動画像Ｍoの画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも小であるか否か、および、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも小であるか否かを判定するようになっている。
【００７６】
また、画素数算出手段１２は、画像サイズ判定手段１１により、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも小であるか、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも小であると判定された場合に、調整領域の水平および垂直方向の画素数を算出するようになっている。
【００７７】
図１１は、ＣＰＵ３７が実行する画像サイズ変換プログラムのフローチャートである。ＣＰＵ３７は、入力動画像Ｍoの変換前サイズおよび所望サイズをそれぞれ読み込む処理（ステップＳ１００、Ｓ１０１、Ｓ１０６）と、画像サイズ判定手段１１に対応する画像サイズ判定処理（ステップＳ２０２）と、画素数算出手段１２に対応する画素数算出処理（ステップＳ２０３）と、非調整領域位置決定手段１３に対応する非調整領域位置決定処理（ステップＳ２０４）と、画像サイズ変換手段１４に対応する画像サイズ変換処理（ステップＳ１０５）と、を実行するようになっている。
【００７８】
ＣＰＵ３７は、画像サイズ判定処理（ステップＳ２０２）において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも小である（Ｘo＜Ｘp）か否か、および、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも小である（Ｙo＜Ｙp）か否かを判定する。水平方向および垂直方向のいずれについても変換前サイズが所望サイズ以上である場合には、ＣＰＵ３７はプログラムを終了する。
【００７９】
一方、「Ｘo＜Ｘp」および「Ｙo＜Ｙp」の少なくともいずれか一方が成立する場合には、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、調整前領域の水平および垂直方向の画素数Ｘ'，Ｙ'を次式に従って算出する。ここで、画素数変更率Ｒx'，Ｒy'はいずれも１よりも大きい値である。
【数９】
【数１０】
【００８０】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、次式に示すように、調整前領域の画素数Ｘ'、Ｙ'に画素数変更率Ｒx'，Ｒy'をそれぞれ乗ずることにより、調整後領域の画素数を算出する。
【数１１】
【００８１】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、次式に示すように、非調整領域の水平および垂直方向の画素数Ｘc'，Ｙc'を算出する。
【数１２】
【００８２】
次に、ＣＰＵ３７は、非調整領域位置決定処理（ステップＳ２０４）において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の位置を決定する。なお、この非調整領域位置決定処理（非調整領域位置決定ルーチン）の詳細については後述する。
【００８３】
また、ＣＰＵ３７は、画像サイズ変換処理（ステップＳ１０５）において、ステップＳ２０３で得られた調整前領域、調整後領域、および非調整領域の画素数、および、ステップＳ２０４で得られた非調整領域の位置の情報に基づいて、入力動画像Ｍoの画像フレームＦ（ｔ）の画像サイズを所望サイズに拡大する処理を行う。調整領域に対する画像拡大の方法としては、単純内挿や、Nearest Neighbor法、Bi linear法、Bi cubic法などを用いることができる。
【００８４】
次に、図１１の画像サイズ変換プログラムのステップＳ２０４で実行される非調整領域位置決定ルーチンについて説明する。
【００８５】
既に示した図６のフローチャートにあるように、ＣＰＵ３７は、ステップＳ１１０において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の水平方向の位置を決定する水平方向位置決定ルーチンを実行する。最後に、ＣＰＵ３７は、ステップＳ１１１において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。
【００８６】
図１２は、図６に示した非調整領域位置決定ルーチンのステップＳ１１０で実行される水平方向位置決定ルーチンのフローチャートである。
【００８７】
まず、ＣＰＵ３７は、ステップＳ２２０において、入力動画像Ｍoの画像フレームＦ（ｔ）における垂直方向のエッジを検出し、画像フレームＦ（ｔ）に画像全域に渡る垂直エッジが含まれていると見なせる場合にはさらにその個数を判定する。この処理は、エッジ検出部１５に対応している。
【００８８】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が０である場合には、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは、図１３（ａ）のパターン１に該当する。
【００８９】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が１である場合には、ステップＳ２２２において、この垂直エッジで分断された２つの領域のうち小さい面積を持つ領域（以下、エリアＡ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９０】
エリアＡ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２３において、この垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＡ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＡ'の右端と一致するように非調整領域が配置されることになる。これは、図１３（ｂ）のパターン２に該当する。一方、エリアＡ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＡ'の左端と一致するように非調整領域が配置されることになる。
【００９１】
一方、エリアＡ'の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは図１３（ｃ）のパターン３に該当する。
【００９２】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が２以上である場合には、ステップＳ２２４において、これら２以上の垂直エッジで分断された３以上の領域のうち、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち大きい面積を持つ領域（以下、エリアＢ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９３】
エリアＢ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２５において、エリアＢに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＢ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＢ'の右端と一致するように非調整領域が配置されることになる。これは、図１３（ｄ）のパターン４に該当する。一方、エリアＢ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＢ'の左端と一致するように非調整領域が配置されることになる。
【００９４】
一方、エリアＢ'の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２６において、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち小さい面積を持つ領域（以下、エリアＣ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９５】
エリアＣ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２７において、エリアＣに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＣ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＣ'の右端と一致するように非調整領域が配置されることになる。一方、エリアＣ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＣ'の左端と一致するように非調整領域が配置されることになる。これは、図１４（ｅ）のパターン５に該当する。
【００９６】
一方、エリアＣ'（およびエリアＢ'）の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは、図１４（ｆ）のパターン６に該当する。
【００９７】
既に述べたように、ＣＰＵ３７は、上記の水平方向位置決定ルーチンを実行した後に、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。この処理の手順については、上記の水平方向位置決定ルーチンと同様であるので詳細な説明を省略する。
【００９８】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを所望の画像サイズに拡大する際に、各画像フレームの周辺領域のみを拡大することで、黒帯の付加を不要とするとともに、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００９９】
（第３の実施形態）
本発明に係る画像サイズ変換装置の第３の実施形態を図面を参照しながら説明する。なお、本実施形態では、入力動画像に対して任意の画像処理を施す画像処理装置を備えた画像処理システムにおいて、入力動画像の各画像フレームの画像サイズ（以下、原画サイズと記す）が、画像処理装置の処理サイズを上回る場合を想定している。
【０１００】
このような画像処理システムは、図１５に示すように、入力動画像Ｍoの原画サイズＸo，Ｙoを処理サイズＸp，Ｙpに縮小する第１の実施形態の画像サイズ変換装置１と、画像サイズ変換装置１によって処理サイズＸp，Ｙpに縮小された変換動画像Ｍsに対して任意の画像処理を施す画像処理装置３０と、画像処理装置３０によって画像処理された動画像（以下、処理動画像と記す）Ｍs'の画像サイズを元の原画サイズＸo，Ｙoに拡大する第２の実施形態の画像サイズ変換装置２と、を備える。
【０１０１】
画像サイズ変換装置１には、入力動画像Ｍo、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyが入力される。画像処理装置３０には、変換動画像Ｍsが入力される。画像サイズ変換装置２には、処理動画像Ｍs'、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx'，Ｒy'が入力される。
【０１０２】
なお、画像サイズ変換装置１において、原画サイズＸo，Ｙoを有する入力動画像Ｍoの画像フレームＦ（ｔ）（図４参照）における調整前領域の画素数Ｘ，Ｙは、所定の画素数変更率Ｒx，Ｒyおよび処理サイズＸp，Ｙpに基づいて、既に示した［数３］および［数４］より求められる。ここで、Ｒx，Ｒyはいずれも１よりも小さい値である。さらに、［数５］より調整後領域の画素数が、［数６］より非調整領域の画素数Ｘc，Ｙcが求められる。
【０１０３】
画像サイズ変換装置２においては、処理サイズＸp，Ｙpを有する処理動画像Ｍs'における調整前領域の画素数Ｘ'，Ｙ'は、所定の画素数変更率Ｒx'，Ｒy'および原画サイズＸo ，Ｙoに基づいて、次式に従って求められる。ここで、Ｒx'，Ｒy'はいずれも１よりも大きい値である。
【数１３】
【数１４】
【０１０４】
さらに、次式より非調整領域の画素数Ｘc'，Ｙc'が求められる。
【数１５】
【０１０５】
なお、図１５には、２つの画像サイズ変換装置１、２を備える構成を示したが、１つの画像サイズ変換装置で上述の処理を実現してもよい。この場合は、例えば、入力動画像Ｍo、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyが１つの画像サイズ変換装置に入力されるとともに、画素数変更率Ｒx'，Ｒy'および画像処理装置３０から出力される処理動画像Ｍs'が該１つの画像サイズ変換装置に入力される構成となる。
【０１０６】
また、図１５には、画像処理装置３０を備える構成を示したが、画像処理装置３０を画像伝送システムに替えた構成としてもよい。この場合は、例えば、入力動画像Ｍoの送信元と出力される出力動画像Ｍo'の受信先に画像サイズ変換装置１、２がそれぞれ設置されることになる。
【０１０７】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを画像処理装置の処理サイズに縮小する際に、各画像フレームの周辺領域のみを縮小することで、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【０１０８】
また、本実施形態の画像サイズ変換装置、方法およびプログラムは、画像処理された処理サイズの動画像を原画サイズに拡大する（戻す）際に、各画像フレームの周辺領域のみを拡大することで、黒帯の付加を不要とするとともに、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【０１０９】
これにより、本実施形態の画像サイズ変換装置、方法およびプログラムは、元の入力動画像の各画像フレームの絵柄の欠損を避けることができるとともに、各画像フレームの絵柄の歪をなくすことができる。
【０１１０】
（第４の実施形態）
上述の第１および第２の実施形態では、入力動画像の画像フレームの画像サイズの縮小または拡大のどちらか一方のみを行う画像サイズ変換装置を示した。本発明に係る画像サイズ変換装置の第４の実施形態では、入力動画像の画像サイズを所望サイズに合わせるように、画像サイズの縮小および拡大を行う構成を説明する。なお、第１または第２の実施形態と同様の事項については適宜説明を省略する。
【０１１１】
本実施形態の画像サイズ変換装置４の構成は、第１の実施形態で図１、図２に示したものとほぼ同様であるが、画像サイズ判定手段１１および画素数算出手段１２の構成が異なっている。
【０１１２】
図１６は、ＣＰＵ３７が実行する画像サイズ判定および画素数算出ルーチンのフローチャートである。この処理は、図３に示した画像サイズ変換プログラムのフローチャートの画像サイズ判定処理（ステップＳ１０２）と画素数算出処理（ステップＳ１０３）、および、図１１に示した画像サイズ変換プログラムのフローチャートの画像サイズ判定処理（ステップＳ２０２）と画素数算出処理（ステップＳ２０３）の処理に相当するものである。
【０１１３】
まず、ＣＰＵ３７は、ステップＳ３００において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である（Ｘo＞Ｘp）か否かを判定する。
【０１１４】
変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０１において、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する。
【０１１５】
変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０２において、調整前領域の水平および垂直方向の画素数Ｘ，Ｙを既に示した［数３］および［数４］に従って算出する。即ち、ステップＳ３０２は、水平および垂直方向に縮小される調整前領域の画素数を算出する第１の実施形態の画素数算出処理（ステップＳ１０３）と同様の処理である。
【０１１６】
一方、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大でない場合には、ＣＰＵ３７は、ステップＳ３０３において、調整前領域の水平方向の画素数Ｘ、および、調整前領域の垂直方向の画素数Ｙ'を既に示した［数３］および［数１０］に従って算出する。即ち、ステップＳ３０３は、水平方向に縮小され、垂直方向に拡大される調整前領域の画素数を算出する処理である。
【０１１７】
また、ＣＰＵ３７は、ステップＳ３００において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大でないと判定した場合には、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する（ステップＳ３０４）。
【０１１８】
変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０５において、調整前領域の水平方向の画素数Ｘ'、および、調整前領域の垂直方向の画素数Ｙを既に示した［数９］および［数４］に従って算出する。即ち、ステップＳ３０５は、水平方向に拡大され、垂直方向に縮小される調整前領域の画素数を算出する処理である。
【０１１９】
一方、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大でない場合には、ＣＰＵ３７は、ステップＳ３０６において、調整前領域の水平および垂直方向の画素数Ｘ'，Ｙ'を既に示した［数９］および［数１０］に従って算出する。即ち、ステップＳ３０６は、水平および垂直方向に拡大される調整前領域の画素数を算出する第２の実施形態の画素数算出処理（ステップＳ２０３）と同様の処理である。
【産業上の利用可能性】
【０１２０】
本発明に係る画像サイズ変換装置、方法およびプログラムは、画像処理装置を備えた画像処理システムや、画像伝送システムに適用可能な画像サイズ変換装置、方法およびプログラムとして有用である。
【符号の説明】
【０１２１】
１、２、４ 画像サイズ変換装置
１１ 画像サイズ判定手段
１２ 画素数算出手段
１３ 非調整領域位置決定手段
１４ 画像サイズ変換手段
１５ エッジ検出部
３０ 画像処理装置
【技術分野】
【０００１】
本発明は、画像サイズ変換装置、方法およびプログラムに関し、特に、入力画像の画像サイズ変換を行うための画像サイズ変換装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ＨＤＴＶの画素数を大幅に超えるスーパーハイビジョンなどの超高精細画像（ＵＨＤＴＶ）が開発され、実用化に向けた取り組みがなされている。任意の画像処理装置や画像伝送システムに、ＵＨＤＴＶなどの画素数が非常に多い動画像を入力させる際には、その画像サイズ（以下、原画サイズと記す）が、画像処理装置または画像伝送システムの処理可能な画像サイズ（以下、処理サイズと記す）を上回ることが想定される。この場合には、動画像の画像サイズを予め処理サイズに調整した上で、画像処理装置または画像伝送システムに入力させることが必要となる。
【０００３】
動画像の画像サイズの調整方法としては、画像周辺部を単純に切り落とすことによるサイズ縮小や各種フィルタを用いた画像縮小が用いられる。そして、画像処理もしくは画像伝送の後に原画サイズを持つ画像を再生するために、画像周辺部に黒帯を付加することによるサイズ拡大や各種フィルタを用いた画像拡大が行われる。
【０００４】
なお、画像全域に渡って画像サイズの拡大または縮小を行う方法および装置として、水平方向、垂直方向に種々に画像サイズを変換する画サイズ変換装置が開示されている（例えば、特許文献１参照）。特許文献１に開示された装置は、水平方向の画像サイズを変換する水平フィルタ、および、垂直方向の画像サイズを変換する垂直フィルタを備えており、画像サイズを拡大する際には各フィルタで補間処理を行い、画像サイズを縮小する際には画像データの間引きを行うものである。
【０００５】
また、特許文献２には、デジタル写真サービスにおいて、デジタル画像を、そのデジタル画像とアスペクト比が異なるプリント印画紙上に再生記録する際に、主要被写体を変形することなく、また画像の一部を切り取ることなく、そのデジタル画像のサイズをプリントのサイズに合わせるものが開示されている。
【０００６】
特許文献２に開示された方法および装置は、主要被写体が含まれる中心部については縦横同じ一定の倍率で画像サイズの拡大（補間処理）あるいは縮小を行い、それ以外の周辺部については倍率を変化させながら画像サイズの拡大（補間処理）あるいは縮小を行って、デジタル画像のサイズを所望のプリント印画紙のサイズに合わせるものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３４８１号公報
【特許文献２】特開平１１−１２７３４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、画像周辺部を単純に切り落とす縮小方法と、画像周辺部に黒帯を付加する拡大方法とを用いる場合には、画像の絵柄を欠損させてしまうのみならず、黒帯が付加されることによる違和感をも発生させてしまう。
【０００９】
また、特許文献１および特許文献２に開示された方法および装置のように、画像全域に渡って画像サイズの縮小または拡大を行う場合には、画像の全領域において画質の劣化を招いてしまう。
【００１０】
本発明は、このような従来の課題を解決するためになされたものであって、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる画像サイズ変換装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像サイズ変換装置は、入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置であって、前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段と、を備える構成を有している。
【００１２】
この構成により、入力画像の画像サイズを所望の画像サイズに変換する際に、入力画像の周辺領域の画素数を変更することで、注視領域となる画像中心部の画質劣化を発生させないため、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる。
【００１３】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも大であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも大であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する構成を有していてもよい。
【００１４】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（１）に従って、前記周辺領域の画素数を算出する構成を有していてもよい。
【数１】
【００１５】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも小であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも小であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する構成を有していてもよい。
【００１６】
また、本発明の画像サイズ変換装置は、前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（２）に従って、前記周辺領域の画素数を算出する構成を有していてもよい。
【数２】
【００１７】
また、本発明の画像サイズ変換装置は、前記主領域位置決定手段が、前記入力された画像における垂直方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された垂直方向のエッジで分断される各領域の水平方向の画素数に応じて、前記主領域と前記周辺領域の垂直方向の境界位置を決定する構成を有している。
【００１８】
この構成により、画像全域に渡る垂直エッジを検出した場合には、このエッジを周辺領域と主領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００１９】
また、本発明の画像サイズ変換装置は、前記主領域位置決定手段が、前記入力された画像における水平方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された水平方向のエッジで分断される各領域の垂直方向の画素数に応じて、前記主領域と前記周辺領域の水平方向の境界位置を決定する構成を有している。
【００２０】
この構成により、画像全域に渡る水平エッジを検出した場合には、このエッジを周辺領域と主領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【発明の効果】
【００２１】
本発明は、入力画像を所望の画像サイズに変換する際に、入力画像の周辺領域の画素数を変更することにより、視覚的な違和感、および、画像全域に渡る画質の劣化をもたらすことなく、入力画像の画像サイズを縮小または拡大することができる画像サイズ変換装置、方法およびプログラムを提供するものである。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る画像サイズ変換装置の構成を示すブロック図
【図２】第１の実施形態に係る画像サイズ変換装置のハードウエア構成を示すブロック図
【図３】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ変換プログラムのフローチャート
【図４】変換前サイズと所望サイズの対応関係を示す説明図
【図５】入力動画像のある時刻における画像フレームの絵柄の例を示す模式図
【図６】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する非調整領域位置決定ルーチンのフローチャート
【図７】第１の実施形態に係る画像サイズ変換装置のＣＰＵが実行する水平方向位置決定ルーチンのフローチャート
【図８】垂直方向のエッジの例を示す模式図
【図９】非調整領域の位置の決定方法を示す説明図
【図１０】非調整領域の位置の決定方法を示す説明図
【図１１】第２の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ変換プログラムのフローチャート
【図１２】第２の実施形態に係る画像サイズ変換装置のＣＰＵが実行する水平方向位置決定ルーチンのフローチャート
【図１３】非調整領域の位置の決定方法を示す説明図
【図１４】非調整領域の位置の決定方法を示す説明図
【図１５】第３の実施形態に係る画像処理システムの構成を示すブロック図
【図１６】第４の実施形態に係る画像サイズ変換装置のＣＰＵが実行する画像サイズ判定および画素数算出ルーチンのフローチャート
【発明を実施するための形態】
【００２３】
以下、本発明に係る画像サイズ変換装置の実施形態について図面を用いて説明する。本発明に係る画像サイズ変換装置は、入力画像を主領域とその周辺領域とに分割し、所定の変更率（拡大率または縮小率）で該周辺領域の画素数を変更することにより、入力画像の画像サイズの縮小および拡大の少なくとも一方を行って、画像サイズを所望サイズに変換するものである。なお、以下では周辺領域を調整領域と呼び、主領域を非調整領域と呼ぶ。
【００２４】
（第１の実施形態）
本発明に係る画像サイズ変換装置の第１の実施形態を図１〜図１０を参照しながら説明する。なお、本実施形態では、周辺領域（調整領域）を縮小することにより入力動画像の各画像フレームの画像サイズの縮小を行う構成を説明する。
【００２５】
本実施形態の画像サイズ変換装置１は、図１に示すように、入力動画像Ｍoの画像フレームＦ（ｔ）の水平方向の画素数Ｘoと所望サイズの水平方向の画素数Ｘpの大小関係、および、画像フレームＦ（ｔ）の垂直方向の画素数Ｙoと所望サイズの垂直方向の画素数Ｙpの大小関係を判定する画像サイズ判定手段１１と、画像サイズ判定手段１１の判定結果に応じて、周辺領域（調整領域）の水平および垂直方向の画素数を算出する画素数算出手段１２と、画像フレームＦ（ｔ）における非調整領域の位置を決定する非調整領域位置決定手段１３と、所定の変更率Ｒx，Ｒy（以下、画素数変更率と記す）、調整領域の画素数、および、非調整領域の位置に基づいて、入力動画像Ｍoの画像サイズ（以下、変換前サイズと記す）を所望サイズに変換する画像サイズ変換手段１４と、を備える。
【００２６】
画像サイズ判定手段１１は、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも大であるか否か、および、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも大であるか否かを判定するようになっている。
【００２７】
画素数算出手段１２は、画像サイズ判定手段１１により、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも大であるか、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも大であると判定された場合に、調整領域の水平および垂直方向の画素数を算出するようになっている。
【００２８】
非調整領域位置決定手段１３は、画像フレームＦ（ｔ）におけるエッジを検出するエッジ検出部１５を有し、エッジ検出部１５の検出結果に基づいて、画像フレームＦ（ｔ）における非調整領域と調整領域の境界位置を決定するようになっている。あるいは、非調整領域は無条件に画像中央部に配置されるものとしてもよい。
【００２９】
画像サイズ変換手段１４は、画像サイズ判定手段１１の判定結果によって画像サイズ変換を行う必要がある場合には、入力動画像Ｍoの画像サイズを所望サイズに変換した変換動画像Ｍsを出力する。一方、画像サイズ判定手段１１の判定結果によって画像サイズ変換を行う必要がない場合には、画像サイズ変換手段１４は、入力動画像Ｍoを素通りさせるようになっている。
【００３０】
図２は、本実施形態の画像サイズ変換装置１のハードウエア構成を示すブロック図である。図２に示すように、本実施形態の画像サイズ変換装置１は、表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスと、パーソナルコンピュータ等の演算装置３４と、を含む。
【００３１】
演算装置３４は、入力動画像Ｍoと、入力動画像Ｍoの変換前サイズＸo，Ｙo、所望サイズＸp，Ｙp、および、画素数変更率Ｒx，Ｒyが入力される入力インターフェイス（Ｉ／Ｆ）３５、変換動画像Ｍsを出力する出力Ｉ／Ｆ３６、ＣＰＵ３７、メモリ３８、入力動画像Ｍoおよび変換動画像Ｍsを必要に応じて記憶するハードディスク（ＨＤＤ）３９、および周辺機器Ｉ／Ｆ４０がバス４１を介して相互に結合された構成を有する。表示パネル３１、キーボード３２、およびマウス３３等のインターフェイスは周辺機器Ｉ／Ｆ４０に接続される。
【００３２】
なお、画像サイズ判定手段１１、画素数算出手段１２、非調整領域位置決定手段１３、画像サイズ変換手段１４、およびエッジ検出部１５は、メモリ３８にプログラムをインストールすることにより、演算装置３４内にソフトウエア的に構成される。
【００３３】
図３は、ＣＰＵ３７が実行する画像サイズ変換プログラムのフローチャートである。ＣＰＵ３７は、入力動画像Ｍoの変換前サイズおよび所望サイズをそれぞれ読み込む処理（ステップＳ１００、Ｓ１０１、Ｓ１０６）と、画像サイズ判定手段１１に対応する画像サイズ判定処理（ステップＳ１０２）と、画素数算出手段１２に対応する画素数算出処理（ステップＳ１０３）と、非調整領域位置決定手段１３に対応する非調整領域位置決定処理（ステップＳ１０４）と、画像サイズ変換手段１４に対応する画像サイズ変換処理（ステップＳ１０５）と、を実行するようになっている。
【００３４】
まず、ＣＰＵ３７は、ステップＳ１００において、入力Ｉ／Ｆ３５を介して、入力動画像Ｍoの変換前サイズＸo，Ｙoおよび所望サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyを読み込む。ここで、図４に示すように、ＸoおよびＹoはそれぞれ変換前サイズの水平方向および垂直方向の画素数を示し、ＸpおよびＹpはそれぞれ所望サイズの水平方向および垂直方向の画素数を示す。また、水平方向の画素数変更率Ｒxと垂直方向の画素数変更率Ｒyは、それぞれ異なる値であってもよい。
【００３５】
次に、ＣＰＵ３７は、ステップＳ１０１において、例えば図５に示すような入力動画像Ｍoのある時刻ｔにおける画像フレームＦ（ｔ）を読み込む。
【００３６】
次に、ＣＰＵ３７は、画像サイズ判定処理（ステップＳ１０２）において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である（Ｘo＞Ｘp）か否か、および、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する。水平方向および垂直方向のいずれについても変換前サイズが所望サイズ以下である場合には、ＣＰＵ３７はプログラムを終了する。
【００３７】
一方、「Ｘo＞Ｘp」および「Ｙo＞Ｙp」の少なくともいずれか一方が成立する場合には、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、サイズ変換前の調整領域の水平および垂直方向の画素数Ｘ，Ｙを次式に従って算出する。ここで、画素数変更率Ｒx，Ｒyはいずれも１よりも小さい値である。
【数３】
【数４】
【００３８】
［数３］の上段は次のように導出できる。ここで、サイズ変換前の調整領域を調整前領域、サイズ変換後の調整領域を調整後領域と呼ぶことにすると、調整前領域の水平方向の画素数と調整後領域の水平方向の画素数は（式ａ）、（式ｂ）のように表わされる。
調整前領域の水平方向の画素数＝変換前サイズの水平方向の画素数Ｘo−非調整領域の水平方向の画素数Ｘc・・・（式ａ）
調整後領域の水平方向の画素数＝（Ｘo−Ｘc）×Ｒx・・・（式ｂ）
【００３９】
式ａの両辺から式ｂの両辺を引くと（式ｃ）のようになる。
調整前領域の水平方向の画素数−調整後領域の水平方向の画素数＝（Ｘo−Ｘc）×（１−Ｒx）・・・（式ｃ）
【００４０】
ここで、式ｃの左辺は、変換前サイズの水平方向の画素数Ｘoから所望サイズの水平方向の画素数Ｘpを減じたものに他ならない。また、式ｃの右辺のＸo−Ｘcは調整前領域の水平方向の画素数Ｘに他ならない。従って、（式ｃ）は（式ｄ）のように表わすことができる。
Ｘo−Ｘp＝Ｘ×（１−Ｒx）・・・（式ｄ）
（式ｄ）の両辺を（１−Ｒx）で除することによって［数３］の上段が得られる。［数４］についても同様に導出できる。
【００４１】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、次式に示すように、調整前領域の画素数Ｘ（＝Ｘo−Ｘc）、Ｙ（＝Ｙo−Ｙc）に画素数変更率Ｒx，Ｒyをそれぞれ乗ずることにより、調整後領域の画素数を算出する。
【数５】
【００４２】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ１０３）において、次式に示すように、非調整領域の水平および垂直方向の画素数Ｘc，Ｙcを算出する。
【数６】
【００４３】
次に、ＣＰＵ３７は、非調整領域位置決定処理（ステップＳ１０４）において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の位置を決定する。なお、この非調整領域位置決定処理（非調整領域位置決定ルーチン）の詳細については後述する。
【００４４】
次に、ＣＰＵ３７は、画像サイズ変換処理（ステップＳ１０５）において、ステップＳ１０３で得られた調整前領域、調整後領域、および非調整領域の画素数、および、ステップＳ１０４で得られた非調整領域の位置の情報に基づいて、入力動画像Ｍoの画像フレームＦ（ｔ）の画像サイズを所望サイズに縮小する処理を行う。調整領域に対する画像縮小の方法としては、単純間引きや、Nearest Neighbor法、Bi linear法、Bi cubic法などを用いることができる。
【００４５】
最後に、ＣＰＵ３７は、ステップＳ１０６において、最後の画像フレームを読み込んだか否かを判定し、最後の画像フレームを読み込んでいない場合には、ステップＳ１０１に戻って次の時刻の画像フレームを読み込む。最後の画像フレームを読み込んだ場合には、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して変換動画像Ｍsを出力する。さらに、ＣＰＵ３７は、出力Ｉ／Ｆ３６を介して、変換前サイズや非調整領域のサイズなどの情報を出力してもよい。
【００４６】
次に、図３の画像サイズ変換プログラムのステップＳ１０４で実行される非調整領域位置決定ルーチンについて説明する。
【００４７】
図６は、ＣＰＵ３７が実行する非調整領域位置決定ルーチンのフローチャートである。ＣＰＵ３７は、ステップＳ１１０において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の水平方向の位置を決定する水平方向位置決定ルーチンを実行する。最後に、ＣＰＵ３７は、ステップＳ１１１において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。
【００４８】
図７は、図６に示した非調整領域位置決定ルーチンのステップＳ１１０で実行される水平方向位置決定ルーチンのフローチャートである。
【００４９】
まず、ＣＰＵ３７は、ステップＳ１２０において、入力動画像Ｍoの画像フレームＦ（ｔ）における垂直方向のエッジを検出し、画像フレームＦ（ｔ）に画像全域に渡る垂直エッジが含まれていると見なせる場合にはさらにその個数を判定する。この処理は、エッジ検出部１５に対応している。
【００５０】
垂直方向のエッジの検出方法としては、Sobelフィルタ、Prewittフィルタなどの一次微分を用いて検出する手法や、Laplacianフィルタ等の２次微分を用いて検出する手法、もしくは画像上でのエッジ部分のパターンを想定したテンプレートと入力画像である画像フレームＦ（ｔ）との相関を算出して検出する手法などが挙げられる。
【００５１】
Sobelフィルタを用いた場合の例を以下に示す。例えば、画像フレームＦ（ｔ）の右側から左側に向かって垂直エッジ検出を行う場合のSobelフィルタの垂直エッジ検出係数は次式に示す通りである。
【数７】
【００５２】
画像フレームＦ（ｔ）に上記のフィルタ処理を施した場合には、画像フレームＦ（ｔ）中の垂直方向のエッジが検出される。検出された垂直方向のエッジが、画像フレームＦ（ｔ）の上端から下端まで連続している場合には、画像全域に渡る垂直エッジの候補と見なすことができる。
【００５３】
このようにして検出された画像全域に渡る垂直エッジの候補は、図８（ａ）〜（ｄ）に示す４つの例のように、必ずしも直線ではなく、さらに画像フレームＦ（ｔ）の上端および下端に対して垂直であるとは限らない。従って、検出された垂直方向のエッジの右端と左端の距離Ｄvが予め定められた閾値よりも小さい場合には、検出された垂直方向のエッジの右端と左端から等距離（Ｄv／２）にある垂直線（図８（ａ）〜（ｄ）中の点線）を画像全域に渡る垂直エッジと決定する。
【００５４】
なお、上記のフィルタ処理により検出された垂直方向のエッジが、例えば図８（ｅ）に示す例のように、画像全域に渡るものでない場合もある。この場合は、検出された垂直方向のエッジの右端と左端の距離Ｄvが予め定められた閾値よりも小さく、かつ、垂直方向の長さＬvが予め定められた閾値よりも長ければ、検出された垂直方向のエッジの右端と左端から等距離（Ｄv／２）にあり、画像フレームＦ（ｔ）の上端から下端まで連続する垂直線（図８（ｅ）中の点線）を画像全域に渡る垂直エッジと決定する。
【００５５】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が０である場合には、ステップＳ１２１において、非調整領域の位置を画像中央部（即ち、画像フレームＦ（ｔ）の中心点と非調整領域の中心点とが一致する）と決定する。これは、図９（ａ）のパターン１に該当する。
【００５６】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が１である場合には、ステップＳ１２２において、この垂直エッジで分断された２つの領域のうち小さい面積を持つ領域（以下、エリアＡと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００５７】
エリアＡの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２３において、この垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＡが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＡの右端と一致するように非調整領域が配置されることになる。これは、図９（ｂ）のパターン２に該当する。一方、エリアＡが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＡの左端と一致するように非調整領域が配置されることになる。
【００５８】
一方、エリアＡの水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２１において、非調整領域の位置を画像中央部と決定する。これは、図９（ｃ）のパターン３に該当する。
【００５９】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が２以上である場合には、ステップＳ１２４において、これら２以上の垂直エッジで分断された３以上の領域のうち、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち大きい面積を持つ領域（以下、エリアＢと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００６０】
エリアＢの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２５において、エリアＢに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＢが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＢの右端と一致するように非調整領域が配置されることになる。これは、図９（ｄ）のパターン４に該当する。一方、エリアＢが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＢの左端と一致するように非調整領域が配置されることになる。
【００６１】
一方、エリアＢの水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２６において、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち小さい面積を持つ領域（以下、エリアＣと記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００６２】
エリアＣの水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ１２７において、エリアＣに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＣが画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＣの右端と一致するように非調整領域が配置されることになる。一方、エリアＣが画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＣの左端と一致するように非調整領域が配置されることになる。これは、図１０（ｅ）のパターン５に該当する。
【００６３】
一方、エリアＣ（およびエリアＢ）の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ１２１において、非調整領域の位置を画像中央部と決定する。これは、図１０（ｆ）のパターン６に該当する。
【００６４】
既に述べたように、ＣＰＵ３７は、上記の水平方向位置決定ルーチンを実行した後に、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。この処理の手順については、上記の水平方向位置決定ルーチンと同様であるので詳細な説明を省略する。
【００６５】
なお、Sobelフィルタを用いて、例えば、画像フレームＦ（ｔ）の下側から上側に向かって水平エッジ検出を行う場合の水平エッジ検出係数は次式に示す通りである。
【数８】
【００６６】
上記のフィルタ処理により検出された水平方向のエッジが、画像フレームＦ（ｔ）の左端から右端まで連続している場合には、画像全域に渡る水平エッジの候補と見なすことができる。
【００６７】
このようにして検出された画像全域に渡る水平エッジの候補は、必ずしも直線ではなく、さらに画像フレームＦ（ｔ）の左端および右端に対して垂直であるとは限らない。従って、検出された水平方向のエッジの上端と下端の距離ＤHが予め定められた閾値よりも小さい場合には、検出された水平方向のエッジの上端と下端から等距離（ＤH／２）にある水平線を画像全域に渡る水平エッジと決定する。
【００６８】
なお、上記のフィルタ処理により検出された水平方向のエッジが画像全域に渡るものでない場合は、検出された水平方向のエッジの上端と下端の距離ＤHが予め定められた閾値よりも小さく、かつ、水平方向の長さＬHが予め定められた閾値よりも長ければ、検出された水平方向のエッジの上端と下端から等距離（ＤH／２）にあり、画像フレームＦ（ｔ）の左端から右端まで連続する水平線を画像全域に渡る水平エッジと決定する。
【００６９】
本実施形態では、調整前領域の画素数を決定した後に、調整前領域の位置および非調整領域の位置を決定したが、逆の手順を踏む場合でも同様の効果が得られる。即ち、先に画像全域に渡る水平エッジおよび垂直エッジの検出を行い、これらのエッジを調整前領域と非調整領域の境界と決定する。これにより、この境界に合致する調整前領域の画素数Ｘ，Ｙが決定され、［数３］および［数４］より画素数変更率Ｒx，Ｒyが求まる。
【００７０】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを所望の画像サイズに縮小する際に、各画像フレームの周辺領域のみを縮小することで、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００７１】
なお、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像に対してリアルタイム処理を行うものであってもよく、あるいは、予めＨＤＤに記憶されている動画像に対してバッチ処理を行うものであってもよい。
【００７２】
また、本実施形態の画像サイズ変換装置、方法およびプログラムは、上述の記載では入力動画像の全ての画像フレームについて非調整領域の位置決定処理を行うものであるとしたが、カットチェンジを検出した時点で該当する画像フレームにおいて非調整領域の位置決定処理を行い、次のカットチェンジを検出するまで非調整領域の位置を固定する構成であってもよい。なお、カットチェンジを検出する処理は、公知の技術で実現可能である。
【００７３】
（第２の実施形態）
本発明に係る画像サイズ変換装置の第２の実施形態を図面を参照しながら説明する。なお、本実施形態では、周辺領域（調整領域）を拡大することにより入力動画像の各画像フレームの画像サイズの拡大を行う構成を説明する。なお、第１の実施形態と同様の事項については適宜説明を省略する。
【００７４】
本実施形態の画像サイズ変換装置２の構成は、第１の実施形態で図１、図２に示したものとほぼ同様であるが、画像サイズ判定手段１１および画素数算出手段１２の構成が異なっている。
【００７５】
即ち、画像サイズ変換装置２においては、画像サイズ判定手段１１は、入力動画像Ｍoの画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも小であるか否か、および、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも小であるか否かを判定するようになっている。
【００７６】
また、画素数算出手段１２は、画像サイズ判定手段１１により、画像フレームＦ（ｔ）の垂直方向の画素数が所望サイズの垂直方向の画素数よりも小であるか、画像フレームＦ（ｔ）の水平方向の画素数が所望サイズの水平方向の画素数よりも小であると判定された場合に、調整領域の水平および垂直方向の画素数を算出するようになっている。
【００７７】
図１１は、ＣＰＵ３７が実行する画像サイズ変換プログラムのフローチャートである。ＣＰＵ３７は、入力動画像Ｍoの変換前サイズおよび所望サイズをそれぞれ読み込む処理（ステップＳ１００、Ｓ１０１、Ｓ１０６）と、画像サイズ判定手段１１に対応する画像サイズ判定処理（ステップＳ２０２）と、画素数算出手段１２に対応する画素数算出処理（ステップＳ２０３）と、非調整領域位置決定手段１３に対応する非調整領域位置決定処理（ステップＳ２０４）と、画像サイズ変換手段１４に対応する画像サイズ変換処理（ステップＳ１０５）と、を実行するようになっている。
【００７８】
ＣＰＵ３７は、画像サイズ判定処理（ステップＳ２０２）において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも小である（Ｘo＜Ｘp）か否か、および、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも小である（Ｙo＜Ｙp）か否かを判定する。水平方向および垂直方向のいずれについても変換前サイズが所望サイズ以上である場合には、ＣＰＵ３７はプログラムを終了する。
【００７９】
一方、「Ｘo＜Ｘp」および「Ｙo＜Ｙp」の少なくともいずれか一方が成立する場合には、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、調整前領域の水平および垂直方向の画素数Ｘ'，Ｙ'を次式に従って算出する。ここで、画素数変更率Ｒx'，Ｒy'はいずれも１よりも大きい値である。
【数９】
【数１０】
【００８０】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、次式に示すように、調整前領域の画素数Ｘ'、Ｙ'に画素数変更率Ｒx'，Ｒy'をそれぞれ乗ずることにより、調整後領域の画素数を算出する。
【数１１】
【００８１】
さらに、ＣＰＵ３７は、画素数算出処理（ステップＳ２０３）において、次式に示すように、非調整領域の水平および垂直方向の画素数Ｘc'，Ｙc'を算出する。
【数１２】
【００８２】
次に、ＣＰＵ３７は、非調整領域位置決定処理（ステップＳ２０４）において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の位置を決定する。なお、この非調整領域位置決定処理（非調整領域位置決定ルーチン）の詳細については後述する。
【００８３】
また、ＣＰＵ３７は、画像サイズ変換処理（ステップＳ１０５）において、ステップＳ２０３で得られた調整前領域、調整後領域、および非調整領域の画素数、および、ステップＳ２０４で得られた非調整領域の位置の情報に基づいて、入力動画像Ｍoの画像フレームＦ（ｔ）の画像サイズを所望サイズに拡大する処理を行う。調整領域に対する画像拡大の方法としては、単純内挿や、Nearest Neighbor法、Bi linear法、Bi cubic法などを用いることができる。
【００８４】
次に、図１１の画像サイズ変換プログラムのステップＳ２０４で実行される非調整領域位置決定ルーチンについて説明する。
【００８５】
既に示した図６のフローチャートにあるように、ＣＰＵ３７は、ステップＳ１１０において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の水平方向の位置を決定する水平方向位置決定ルーチンを実行する。最後に、ＣＰＵ３７は、ステップＳ１１１において、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。
【００８６】
図１２は、図６に示した非調整領域位置決定ルーチンのステップＳ１１０で実行される水平方向位置決定ルーチンのフローチャートである。
【００８７】
まず、ＣＰＵ３７は、ステップＳ２２０において、入力動画像Ｍoの画像フレームＦ（ｔ）における垂直方向のエッジを検出し、画像フレームＦ（ｔ）に画像全域に渡る垂直エッジが含まれていると見なせる場合にはさらにその個数を判定する。この処理は、エッジ検出部１５に対応している。
【００８８】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が０である場合には、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは、図１３（ａ）のパターン１に該当する。
【００８９】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が１である場合には、ステップＳ２２２において、この垂直エッジで分断された２つの領域のうち小さい面積を持つ領域（以下、エリアＡ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９０】
エリアＡ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２３において、この垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＡ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＡ'の右端と一致するように非調整領域が配置されることになる。これは、図１３（ｂ）のパターン２に該当する。一方、エリアＡ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＡ'の左端と一致するように非調整領域が配置されることになる。
【００９１】
一方、エリアＡ'の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは図１３（ｃ）のパターン３に該当する。
【００９２】
ＣＰＵ３７は、画像全域に渡る垂直エッジの個数が２以上である場合には、ステップＳ２２４において、これら２以上の垂直エッジで分断された３以上の領域のうち、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち大きい面積を持つ領域（以下、エリアＢ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９３】
エリアＢ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２５において、エリアＢに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＢ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＢ'の右端と一致するように非調整領域が配置されることになる。これは、図１３（ｄ）のパターン４に該当する。一方、エリアＢ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＢ'の左端と一致するように非調整領域が配置されることになる。
【００９４】
一方、エリアＢ'の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２６において、画像フレームＦ（ｔ）の左端と右端に接する２つの領域（最も外側に位置する領域）のうち小さい面積を持つ領域（以下、エリアＣ'と記す）の水平方向の画素数が、調整前領域の水平方向の画素数以下であるか否かを判定する。
【００９５】
エリアＣ'の水平方向の画素数が調整前領域の水平方向の画素数以下である場合には、ＣＰＵ３７は、ステップＳ２２７において、エリアＣに隣接する垂直エッジの位置を調整領域と非調整領域の境界位置と決定する。即ち、エリアＣ'が画像フレームＦ（ｔ）の左側に存在する場合には、非調整領域の左端がエリアＣ'の右端と一致するように非調整領域が配置されることになる。一方、エリアＣ'が画像フレームＦ（ｔ）の右側に存在する場合には、非調整領域の右端がエリアＣ'の左端と一致するように非調整領域が配置されることになる。これは、図１４（ｅ）のパターン５に該当する。
【００９６】
一方、エリアＣ'（およびエリアＢ'）の水平方向の画素数が調整前領域の水平方向の画素数よりも大きい場合には、ＣＰＵ３７は、ステップＳ２２１において、非調整領域の位置を画像中央部と決定する。これは、図１４（ｆ）のパターン６に該当する。
【００９７】
既に述べたように、ＣＰＵ３７は、上記の水平方向位置決定ルーチンを実行した後に、入力動画像Ｍoの画像フレームＦ（ｔ）における非調整領域の垂直方向の位置を決定する垂直方向位置決定ルーチンを実行する。この処理の手順については、上記の水平方向位置決定ルーチンと同様であるので詳細な説明を省略する。
【００９８】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを所望の画像サイズに拡大する際に、各画像フレームの周辺領域のみを拡大することで、黒帯の付加を不要とするとともに、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【００９９】
（第３の実施形態）
本発明に係る画像サイズ変換装置の第３の実施形態を図面を参照しながら説明する。なお、本実施形態では、入力動画像に対して任意の画像処理を施す画像処理装置を備えた画像処理システムにおいて、入力動画像の各画像フレームの画像サイズ（以下、原画サイズと記す）が、画像処理装置の処理サイズを上回る場合を想定している。
【０１００】
このような画像処理システムは、図１５に示すように、入力動画像Ｍoの原画サイズＸo，Ｙoを処理サイズＸp，Ｙpに縮小する第１の実施形態の画像サイズ変換装置１と、画像サイズ変換装置１によって処理サイズＸp，Ｙpに縮小された変換動画像Ｍsに対して任意の画像処理を施す画像処理装置３０と、画像処理装置３０によって画像処理された動画像（以下、処理動画像と記す）Ｍs'の画像サイズを元の原画サイズＸo，Ｙoに拡大する第２の実施形態の画像サイズ変換装置２と、を備える。
【０１０１】
画像サイズ変換装置１には、入力動画像Ｍo、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyが入力される。画像処理装置３０には、変換動画像Ｍsが入力される。画像サイズ変換装置２には、処理動画像Ｍs'、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx'，Ｒy'が入力される。
【０１０２】
なお、画像サイズ変換装置１において、原画サイズＸo，Ｙoを有する入力動画像Ｍoの画像フレームＦ（ｔ）（図４参照）における調整前領域の画素数Ｘ，Ｙは、所定の画素数変更率Ｒx，Ｒyおよび処理サイズＸp，Ｙpに基づいて、既に示した［数３］および［数４］より求められる。ここで、Ｒx，Ｒyはいずれも１よりも小さい値である。さらに、［数５］より調整後領域の画素数が、［数６］より非調整領域の画素数Ｘc，Ｙcが求められる。
【０１０３】
画像サイズ変換装置２においては、処理サイズＸp，Ｙpを有する処理動画像Ｍs'における調整前領域の画素数Ｘ'，Ｙ'は、所定の画素数変更率Ｒx'，Ｒy'および原画サイズＸo ，Ｙoに基づいて、次式に従って求められる。ここで、Ｒx'，Ｒy'はいずれも１よりも大きい値である。
【数１３】
【数１４】
【０１０４】
さらに、次式より非調整領域の画素数Ｘc'，Ｙc'が求められる。
【数１５】
【０１０５】
なお、図１５には、２つの画像サイズ変換装置１、２を備える構成を示したが、１つの画像サイズ変換装置で上述の処理を実現してもよい。この場合は、例えば、入力動画像Ｍo、原画サイズＸo，Ｙo、処理サイズＸp，Ｙp、画素数変更率Ｒx，Ｒyが１つの画像サイズ変換装置に入力されるとともに、画素数変更率Ｒx'，Ｒy'および画像処理装置３０から出力される処理動画像Ｍs'が該１つの画像サイズ変換装置に入力される構成となる。
【０１０６】
また、図１５には、画像処理装置３０を備える構成を示したが、画像処理装置３０を画像伝送システムに替えた構成としてもよい。この場合は、例えば、入力動画像Ｍoの送信元と出力される出力動画像Ｍo'の受信先に画像サイズ変換装置１、２がそれぞれ設置されることになる。
【０１０７】
以上説明したように、本実施形態の画像サイズ変換装置、方法およびプログラムは、入力動画像の画像フレームを画像処理装置の処理サイズに縮小する際に、各画像フレームの周辺領域のみを縮小することで、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【０１０８】
また、本実施形態の画像サイズ変換装置、方法およびプログラムは、画像処理された処理サイズの動画像を原画サイズに拡大する（戻す）際に、各画像フレームの周辺領域のみを拡大することで、黒帯の付加を不要とするとともに、注視領域となる画像中心部の画質劣化を発生させない。さらに画像全域に渡る水平・垂直エッジを検出した場合には、これらのエッジを調整領域と非調整領域の境界とすることで、各領域間の画質の差を目立たなくすることができる。
【０１０９】
これにより、本実施形態の画像サイズ変換装置、方法およびプログラムは、元の入力動画像の各画像フレームの絵柄の欠損を避けることができるとともに、各画像フレームの絵柄の歪をなくすことができる。
【０１１０】
（第４の実施形態）
上述の第１および第２の実施形態では、入力動画像の画像フレームの画像サイズの縮小または拡大のどちらか一方のみを行う画像サイズ変換装置を示した。本発明に係る画像サイズ変換装置の第４の実施形態では、入力動画像の画像サイズを所望サイズに合わせるように、画像サイズの縮小および拡大を行う構成を説明する。なお、第１または第２の実施形態と同様の事項については適宜説明を省略する。
【０１１１】
本実施形態の画像サイズ変換装置４の構成は、第１の実施形態で図１、図２に示したものとほぼ同様であるが、画像サイズ判定手段１１および画素数算出手段１２の構成が異なっている。
【０１１２】
図１６は、ＣＰＵ３７が実行する画像サイズ判定および画素数算出ルーチンのフローチャートである。この処理は、図３に示した画像サイズ変換プログラムのフローチャートの画像サイズ判定処理（ステップＳ１０２）と画素数算出処理（ステップＳ１０３）、および、図１１に示した画像サイズ変換プログラムのフローチャートの画像サイズ判定処理（ステップＳ２０２）と画素数算出処理（ステップＳ２０３）の処理に相当するものである。
【０１１３】
まず、ＣＰＵ３７は、ステップＳ３００において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である（Ｘo＞Ｘp）か否かを判定する。
【０１１４】
変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０１において、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する。
【０１１５】
変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０２において、調整前領域の水平および垂直方向の画素数Ｘ，Ｙを既に示した［数３］および［数４］に従って算出する。即ち、ステップＳ３０２は、水平および垂直方向に縮小される調整前領域の画素数を算出する第１の実施形態の画素数算出処理（ステップＳ１０３）と同様の処理である。
【０１１６】
一方、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大でない場合には、ＣＰＵ３７は、ステップＳ３０３において、調整前領域の水平方向の画素数Ｘ、および、調整前領域の垂直方向の画素数Ｙ'を既に示した［数３］および［数１０］に従って算出する。即ち、ステップＳ３０３は、水平方向に縮小され、垂直方向に拡大される調整前領域の画素数を算出する処理である。
【０１１７】
また、ＣＰＵ３７は、ステップＳ３００において、変換前サイズの水平方向の画素数Ｘoが所望サイズの水平方向の画素数Ｘpよりも大でないと判定した場合には、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である（Ｙo＞Ｙp）か否かを判定する（ステップＳ３０４）。
【０１１８】
変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大である場合には、ＣＰＵ３７は、ステップＳ３０５において、調整前領域の水平方向の画素数Ｘ'、および、調整前領域の垂直方向の画素数Ｙを既に示した［数９］および［数４］に従って算出する。即ち、ステップＳ３０５は、水平方向に拡大され、垂直方向に縮小される調整前領域の画素数を算出する処理である。
【０１１９】
一方、変換前サイズの垂直方向の画素数Ｙoが所望サイズの垂直方向の画素数Ｙpよりも大でない場合には、ＣＰＵ３７は、ステップＳ３０６において、調整前領域の水平および垂直方向の画素数Ｘ'，Ｙ'を既に示した［数９］および［数１０］に従って算出する。即ち、ステップＳ３０６は、水平および垂直方向に拡大される調整前領域の画素数を算出する第２の実施形態の画素数算出処理（ステップＳ２０３）と同様の処理である。
【産業上の利用可能性】
【０１２０】
本発明に係る画像サイズ変換装置、方法およびプログラムは、画像処理装置を備えた画像処理システムや、画像伝送システムに適用可能な画像サイズ変換装置、方法およびプログラムとして有用である。
【符号の説明】
【０１２１】
１、２、４ 画像サイズ変換装置
１１ 画像サイズ判定手段
１２ 画素数算出手段
１３ 非調整領域位置決定手段
１４ 画像サイズ変換手段
１５ エッジ検出部
３０ 画像処理装置
【特許請求の範囲】
【請求項１】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置であって、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、
前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、
前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段と、を備えることを特徴とする画像サイズ変換装置。
【請求項２】
前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも大であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも大であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する請求項１に記載の画像サイズ変換装置。
【請求項３】
前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（１）に従って、前記周辺領域の画素数を算出する請求項２に記載の画像サイズ変換装置。
【数１６】
【請求項４】
前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも小であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも小であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する請求項１に記載の画像サイズ変換装置。
【請求項５】
前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（２）に従って、前記周辺領域の画素数を算出する請求項４に記載の画像サイズ変換装置。
【数１７】
【請求項６】
前記主領域位置決定手段が、前記入力された画像における垂直方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された垂直方向のエッジで分断される各領域の水平方向の画素数に応じて、前記主領域と前記周辺領域の垂直方向の境界位置を決定する請求項１から請求項５のいずれか一項に記載の画像サイズ変換装置。
【請求項７】
前記主領域位置決定手段が、前記入力された画像における水平方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された水平方向のエッジで分断される各領域の垂直方向の画素数に応じて、前記主領域と前記周辺領域の水平方向の境界位置を決定する請求項１から請求項６のいずれか一項に記載の画像サイズ変換装置。
【請求項８】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換方法であって、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定ステップと、
前記画像サイズ判定ステップの判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出ステップと、
前記入力された画像における前記主領域の位置を決定する主領域位置決定ステップと、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換ステップと、を有することを特徴とする画像サイズ変換方法。
【請求項９】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置としてコンピュータを機能させるための画像サイズ変換プログラムであって、
前記コンピュータを、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、
前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、
前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段として機能させることを特徴とする画像サイズ変換プログラム。
【請求項１】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置であって、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、
前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、
前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段と、を備えることを特徴とする画像サイズ変換装置。
【請求項２】
前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも大であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも大であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する請求項１に記載の画像サイズ変換装置。
【請求項３】
前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（１）に従って、前記周辺領域の画素数を算出する請求項２に記載の画像サイズ変換装置。
【数１６】
【請求項４】
前記画素数算出手段が、前記画像サイズ判定手段により、前記入力された画像の水平方向の画素数が前記所望サイズの水平方向の画素数よりも小であるか、前記入力された画像の垂直方向の画素数が前記所望サイズの垂直方向の画素数よりも小であると判定された場合に、前記周辺領域の水平および垂直方向の画素数を算出する請求項１に記載の画像サイズ変換装置。
【請求項５】
前記画素数算出手段が、前記入力された画像の画像サイズと、前記所望サイズと、前記変更率と、を用いて、以下の式（２）に従って、前記周辺領域の画素数を算出する請求項４に記載の画像サイズ変換装置。
【数１７】
【請求項６】
前記主領域位置決定手段が、前記入力された画像における垂直方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された垂直方向のエッジで分断される各領域の水平方向の画素数に応じて、前記主領域と前記周辺領域の垂直方向の境界位置を決定する請求項１から請求項５のいずれか一項に記載の画像サイズ変換装置。
【請求項７】
前記主領域位置決定手段が、前記入力された画像における水平方向のエッジを検出するエッジ検出部を有し、該エッジ検出部により検出された水平方向のエッジで分断される各領域の垂直方向の画素数に応じて、前記主領域と前記周辺領域の水平方向の境界位置を決定する請求項１から請求項６のいずれか一項に記載の画像サイズ変換装置。
【請求項８】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換方法であって、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定ステップと、
前記画像サイズ判定ステップの判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出ステップと、
前記入力された画像における前記主領域の位置を決定する主領域位置決定ステップと、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換ステップと、を有することを特徴とする画像サイズ変換方法。
【請求項９】
入力された画像を主領域とその周辺領域とに分割し、所定の変更率で該周辺領域の画素数を変更することで、該入力された画像の画像サイズを所望サイズに変換する画像サイズ変換装置としてコンピュータを機能させるための画像サイズ変換プログラムであって、
前記コンピュータを、
前記入力された画像の水平方向の画素数と前記所望サイズの水平方向の画素数の大小関係、および、前記入力された画像の垂直方向の画素数と前記所望サイズの垂直方向の画素数の大小関係を判定する画像サイズ判定手段と、
前記画像サイズ判定手段の判定結果に応じて、前記周辺領域の水平および垂直方向の画素数を算出する画素数算出手段と、
前記入力された画像における前記主領域の位置を決定する主領域位置決定手段と、
前記変更率、前記周辺領域の画素数、および、前記主領域の位置に基づいて、前記入力された画像の画像サイズを前記所望サイズに変換する画像サイズ変換手段として機能させることを特徴とする画像サイズ変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１４２８９８（Ｐ２０１２−１４２８９８Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−１２７２（Ｐ２０１１−１２７２）
【出願日】平成２３年１月６日（２０１１．１．６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月６日（２０１１．１．６）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]