画像処理装置、及び方法
【課題】データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う際に生じる信号のずれを解消すること。
【解決手段】本発明にかかる画像処理装置は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものである。第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を第１のスケーリング処理後に実行する第２のスケーリング処理部とを有する。第２のスケーリング処理部は、第２のスケーリング処理開始時にデータ比率の高い信号に対して第１のスケーリング率を用いて第２のスケーリング処理を実行し、データ比率の低い信号に対して第１のスケーリング率を補正した第２のスケーリング率を用いて第２のスケーリング処理を実行するものである。
【解決手段】本発明にかかる画像処理装置は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものである。第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を第１のスケーリング処理後に実行する第２のスケーリング処理部とを有する。第２のスケーリング処理部は、第２のスケーリング処理開始時にデータ比率の高い信号に対して第１のスケーリング率を用いて第２のスケーリング処理を実行し、データ比率の低い信号に対して第１のスケーリング率を補正した第２のスケーリング率を用いて第２のスケーリング処理を実行するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び方法に関し、特に、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理装置、及び方法に関する。
【背景技術】
【０００２】
近年、画像処理の分野で画像データのアスペクト比を変換する技術が必要とされている。例えば、テレビジョン用の映像データに含まれる画像データは、アスペクト比４：３で配信されているが、これをアスペクト比１６：９等にスケーリング処理を行って変換する等である。
【０００３】
特許文献１には、アスペクト比４：３の映像データをアスペクト比１６：９の映像表示装置向けに水平方向拡大を行う際、１画像の中央部分は、リニアに拡大させ、両端部分は、ノンリニアに拡大させるＤＤＡ（Digital Differential Analyzer：デジタル微分解析）演算部を備えることで、表示画面全体に連続性のあるより自然な拡大処理を行うことが可能な画像処理装置が開示されている。特に、特許文献１では、デスティネーション画像の画素データを生成するために、ＤＤＡ演算部によりソース画像のリサンプリングポイントを制御している。
【０００４】
図１０は、特許文献１にかかる画像処理装置の構成を示すブロック図である。画像処理装置９に含まれる画像変換部９０は、記憶部９１と、リサンプリング部９２と、ＤＤＡ演算部９３とを備える。記憶部９１は、スケーリング処理対象のソース画像データを格納する。ＤＤＡ演算部９３は、デスティネーション画像データの位置に応じて、ソース画像データの取得位置であるリサンプリングポイントを算出する。その際、ＤＤＡ演算部９３は、一次関数、二次関数、及び三次関数演算処理により以前のリサンプリングポイントとその増分からリサンプリングポイントを算出し、記憶部９１及びリサンプリング部９２へ出力する。リサンプリング部９２は、記憶部９１からリサンプリングポイントに対応する画像データを取得し、スケーリング処理を実行し、デスティネーション画像データを出力する。
【０００５】
ここで、リサンプリングポイントの増分を示すＤｅｌｔａは、リニアスケーリング時は一定の値となり、拡大率の逆数である。また、Ｄｅｌｔａの増分をＤｅｌｔａ２と、Ｄｅｌｔａ２の増分であるＤｅｌｔａ３と定義する事により、リサンプリングポイントが三次関数的に推移する事を可能としている。そして、両端部分でのノンリニアスケーリングを実現するために、デスティネーション画像の領域を３領域に分け、リサンプリングポイントを中央部分は一時関数的なリニアスケーリングを、また、両端部分では三次関数的に推移させ、ノンリニアスケーリングを行っている。
【０００６】
図１１は、特許文献１にかかるリサンプリングポイントの算出処理を示すフローチャート図である。まず、ＤＤＡ演算部９３は、各パラメータの初期化を行う（Ｓ９０１）。ＤｓｔＷｉｄｔｈは、デスティネーション画像データの処理終了位置を示す。また、ＬｉｎｅａｒＳｔａｒｔ、及びＬｉｎｅａｒＥｎｄは、リニアスケーリングを開始及び終了するデスティネーション画像データの位置を示す。ＯｕｔＣｏｕｎｔは、処理対象のデスティネーション画像データの現在位置を示す。
【０００７】
次に、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ未満であるか否かを判定する（Ｓ９０２）。ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ以上であると判定された場合、処理を終了する。ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ未満であると判定された場合、ＤＤＡ演算部９３は、ＲｅｓａｍｐｌｉｎｇＰｏｉｎｔにＤｅｌｔａを加算する（Ｓ９０３）。
【０００８】
続いて、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔが両端部分であるか否かを判定する（Ｓ９０４）。ＯｕｔＣｏｕｎｔが両端部分であると判定された場合、ＤＤＡ演算部９３は、ＤｅｌｔａにＤｅｌｔａ２を加算し、Ｄｅｌｔａ２にＤｅｌｔａ３を加算する（Ｓ９０５）。ＯｕｔＣｏｕｎｔが両端部分でない、つまり、中央部分であると判定された場合、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔと等しいか否かを判定する（Ｓ９０６）。ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔと等しいと判定された場合、ＤＤＡ演算部９３は、Ｄｅｌｔａ２の符号を反転させる（Ｓ９０７）。ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔ以外であると判定された場合、並びに、ステップＳ９０５及びＳ９０７の処理後、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔに１を加算する（Ｓ９０８）。その後、ステップＳ９０２へ戻る。
【０００９】
ここで、デスティネーション画像の画素番号をｘ（ｘ＝０、１、２、・・・）とし、その時のリサンプルポイントをｆ（ｘ）とすると、Ｄｅｌｔａは、以下の関係式（１）で表すことができる。
【数１】
また、Ｄｅｌｔａ２は、関係式（２）で表すことができる。
【数２】
また、Ｄｅｌｔａ３は、関係式（３）で表すことができる。
【数３】
【００１０】
そして、関係式（１）、（２）、及び（３）は、図１２のように変化する。ここで、ｆ（ｘ）は、ノンリニア区間、すなわち、三次処理区間では、ｘの三次式であり、リニア区間、すなわち、一次処理区間では、ｘの一次式となる。
【００１１】
図１２は、特許文献１における出力画素に対する各ＤＤＡ被演算子の変化を示すグラフである。図１２（ａ）は、リサンプリングポイントの変化を示すグラフである。図１２（ｂ）は、Ｄｅｌｔａの変化を示すグラフである。図１２（ｃ）は、Ｄｅｌｔａ２の変化を示すグラフである。
【００１２】
また、関連する技術として、特許文献２及び特許文献３がある。特許文献２には、原アスペクト比を有する原画像データを出力アスペクト比へ変換する画像データ変換装置が開示されている。特許文献２にかかる画像データ変換装置は、出力アスペクト比に応じて、変換用パラメータを変化させるパラメータ生成手段を有する。
【００１３】
特許文献３には、輝度信号と２つの色差信号が４：２：２のデータ比率であるコンポーネント信号で与えられる複数の画像データを合成する際に、色差信号が欠落する課題を解決するために、４：２：２コンポーネント信号を４：４：４コンポーネント信号に変換し、予め定められた優先順位に基づいて、より高い優先順位の画像のコンポーネント信号を優先して画像表示するように合成映像信号を生成する画像処理装置が開示されている。
【特許文献１】特開２００３−１８９２６６号公報
【特許文献２】特開２００７−６０１０５号公報
【特許文献３】特開２００７−７４５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述したデータ比率が異なる複数種類の信号を含む画像データに対して特許文献１の技術を適用すると、スケーリング処理後の画像データの信号にずれが生じるという問題点がある。
【００１５】
例えば、輝度信号がＹデータ、２つの色差信号がＣｂ及びＣｒ（以後、併せてＣデータと呼ぶ）であるデータ比率が４：２：２で構成されるビデオデータの標準的なフォーマットとしてＹＣｂＣｒ４：２：２フォーマットがある。ＹＣｂＣｒ４：２：２フォーマットの画像データに対して特許文献１の技術を適用するためには、信号の種類ごとに分離独立してスケーリング処理を行い、その後、スケーリング処理後の画像データを合成するという処理が必要となる。
【００１６】
そこで、図１３に、ＹＣｂＣｒ４：２：２フォーマットの画像データに特許文献１の技術を適用してスケーリング処理を行う装置の構成例を示すブロック図を示す。図１３に示す画像処理装置９ａは、特許文献１にかかる画像処理装置９に改良を加えたものであり、画像変換部９０ａと画像変換部９０ｂとを備える。画像変換部９０ａは、ソース画像データ７の内、Ｙデータ７１の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ８としてＹデータ８１を出力する。また、画像変換部９０ｂは、ソース画像データ７の内、Ｃデータ７２の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ８としてＣデータ８２を出力する。
【００１７】
この後、Ｙデータ８１及びＣデータ８２を合成してデスティネーション画像データ８を生成した結果を図１４に模式図として示す。図１４では、ソース画像データ７は、有色領域７１０及び有色領域７２０等を含み、有色領域７１０及び有色領域７２０は、Ｙデータ及びＣデータで表現されているものとする。また、画像処理装置９ａによるスケーリング処理後のデータであるデスティネーション画像データ８は、有色領域８１０及び有色領域８２０等を含む。但し、有色領域８１０は、両端に信号のずれが顕著となっている色ずれ領域８１１を含む。また、有色領域８２０は、両端に色ずれ領域８２１及び色ずれ領域８２２を含む。
【００１８】
この原因は、ＤＤＡ演算の次数の切り替わるタイミング（例えば、三次関数から一次関数へ）において、Ｙデータに対応するＣデータのリサンプリング位置が適切でないためである。例えば、リニアスケーリングからノンリニアスケーリングへ切り替わる際、三次関数によるＤＤＡ演算を行うための入力データは、一次関数によるＤＤＡ演算の結果を用いる。しかし、Ｃデータは、Ｙデータより比率が少ない（１／２）ため、入力となるデータ位置が対応しない。そのため、スケーリング処理を行った際に、色ずれが生じてしまう。
【００１９】
また、特許文献２では、変換先のアスペクト比に応じた変換用パラメータを選択、又は、調整することはできるが、１つの画像情報を比率の異なる複数種類の信号で表現する画像フォーマットは考慮されておらず、対応できない。
【００２０】
特許文献３では、ＹＣｂＣｒ４：２：２のような画像フォーマットを対象としているが、予めＣデータ部分を２倍に拡大した上で、処理を行っているため、Ｃデータのデータ量が２倍となり、多くのメモリが必要となり、回路規模が大きくなってしまう。
【課題を解決するための手段】
【００２１】
本発明にかかる画像処理装置は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものであって、第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理部とを有し、前記第２のスケーリング処理部は、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行するものである。
【００２２】
本発明にかかる画像処理方法は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものであって、第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理ステップと、前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理ステップとを有し、前記第２のスケーリング処理ステップは、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行するものである。
【００２３】
上述した本発明にかかる画像処理装置及び方法によれば、第２のスケーリング処理部において、データ比率の低い信号に対して、データ比率の高い信号とは異なり第１のスケーリング率を補正した第２のスケーリング率に応じた第２のスケーリング処理を実行することで、第２のスケーリング処理結果を調整することが可能となる。そのため、データ比率の高い信号及び低い信号について、スケーリング処理結果の信号のずれを解消することができる。
【発明の効果】
【００２４】
本発明により、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う際に生じる信号のずれを解消することができる。
【発明を実施するための最良の形態】
【００２５】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００２６】
最初に、特許文献１において上述した問題点が発生する原因を分析し、発明者が本願発明を想到するに至った理由を明らかにする。
【００２７】
まず、当該問題点が発生する画像データにおけるＹＣｂＣｒ４：２：２フォーマットは、水平方向のデータ量がＹとＣで異なるものである。そこで、説明のため、次の２つの定義をする。Ｃのｎ番目のデータに対応するＹデータは、Ｙの２ｎ番目のデータとする（定義１）。Ｃのｎ番目のリサンプリングポイントに対応するＹのリサンプリングポイントは、Ｙの２ｎ番目のリサンプリングポイントとする（定義２）。尚、Ｃのリサンプリングポイントは、Ｃのソース画像データに対する位置（ポイント）である。また、リサンプリングポイントの数は、デスティネーション画像のデータ量に相当し、デスティネーション画像もＹＣｂＣｒ４：２：２フォーマットであることから定義１と同様にリサンプリングポイントに関して定義する。
【００２８】
また、定義１及び定義２から次の定義をする。「ＹとＣでリサンプリング位置が等しい」とは、Ｃのリサンプリングポイントが、Ｙのリサンプリングポイントの１／２の場合とする（定義３）。
【００２９】
ここで、Ｙに関してＤｅｌｔａの初期値をα、Ｄｅｌｔａ２の初期値をβ、Ｄｅｌｔａ３をγ、及び、リサンプリングポイントの初期値をＩとする。また、Ｄｅｌｔａ３は、一定値とする。関係式（１）乃至（３）の漸化式と定義１及び定義２より、Ｙのリサンプリングポイントｆｙ（ｘ）は、関係式（４）で表すことができる。
【数４】
また、Ｃのリサンプリングポイントｆｃ（ｘ）は、関係式（５）で表すことができる。
【数５】
【００３０】
さらに、リサンプリングポイントの増分であるＤｅｌｔａ、Ｄｅｌｔａ２、及びＤｅｌｔａ３は、関係式（１）乃至（５）から導くことができる。ＹのＤｅｌｔａであるｄ１ｙ（ｘ）は関係式（６）、ＹのＤｅｌｔａ２であるｄ２ｙ（ｘ）は関係式（７）、ＹのＤｅｌｔａ３であるｄ３ｙ（ｘ）は関係式（８）で表すことができる。
【数６】
【数７】
【数８】
【００３１】
また、ＣのＤｅｌｔａであるｄ１ｃ（ｘ）は関係式（９）、ＣのＤｅｌｔａ２であるｄ２ｃ（ｘ）は関係式（１０）、ＣのＤｅｌｔａ３であるｄ３ｃ（ｘ）は関係式（１１）で表すことができる。
【数９】
【数１０】
【数１１】
【００３２】
続いて、Ｃのリサンプリングポイント数がｎの時に、対応するＹのリサンプリングポイントとＣのリサンプリングポイントのＤＤＡ被演算子の比較を行う。ＹのＤＤＡ被演算子は、関係式（１２）乃至（１５）で表すことができる。
【数１２】
【数１３】
【数１４】
【数１５】
【００３３】
また、ＣのＤＤＡ被演算子は、関係式（１６）乃至（１９）で表すことができる。
【数１６】
【数１７】
【数１８】
【数１９】
【００３４】
ここで、関係式（１２）と関係式（１６）は、以下の関係式（２０）の関係を満たしているので、ＹとＣのリサンプリング位置が常に等しいことが言える。
【数２０】
【００３５】
更に、Ｄｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３における関係式は、以下の関係式（２１）、（２２）、及び、（２３）となる。尚、下記の関係式の導出は、帰納法で証明することができるが、ここでは証明を省略する。
【数２１】
【数２２】
【数２３】
【００３６】
関係式（４）乃至（２３）は、γ＝０とすることで二次関数処理として、また、β＝０かつγ＝０として一次関数処理として適応できる。
【００３７】
ここで実際に、γ＝０として関係式（１２）乃至（１４）、及び関係式（１６）乃至（１８）に代入し、二次関数処理の時のＤＤＡ被演算子を確認する。ここで、Ｉ２、α２、及び、β２をそれぞれ、二次処理開始時におけるリサンプリングポイント、Ｄｅｌｔａ、及び、Ｄｅｌｔａ２の値とする。二次関数処理時のＹのＤＤＡ被演算子は、関係式（２４）乃至（２６）で表すことができる。
【数２４】
【数２５】
【数２６】
【００３８】
また、二次関数処理時のＣのＤＤＡ被演算子は、関係式（２７）乃至（２９）で表すことができる。
【数２７】
【数２８】
【数２９】
【００３９】
ここからＹとＣの関係式を導くと、二次処理時のＹとＣにおける関係式は、以下の関係式（３０）乃至（３２）で表すことができる。
【数３０】
【数３１】
【数３２】
関係式（３０）より、より、ＹとＣのリサンプリング位置は常に等しいことが言える。
【００４０】
さらに、β＝０かつγ＝０として一次関数処理の時のＤＤＡ被演算子を確認する。ここで、Ｉ１、及びα１をそれぞれ、一次処理開始時におけるリサンプリングポイント、及び、Ｄｅｌｔａの値とする。一次関数処理時のＹのＤＤＡ被演算子は、関係式（３３）及び（３４）で表すことができる。
【数３３】
【数３４】
【００４１】
また、一次関数処理時のＣのＤＤＡ被演算子は、関係式（３５）乃至（３６）で表すことができる。
【数３５】
【数３６】
【００４２】
ここからＹとＣの関係式を導くと、一次処理時のＹとＣにおける関係式は、以下の関係式（３７）及び（３８）で表すことができる。
【数３７】
【数３８】
関係式（３７）より、ＹとＣのリサンプリング位置は常に等しいと言える。
【００４３】
以上のことを踏まえて、特許文献１において上述した問題点の発生を例示する。図１５は、特許文献１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図１５において、Ｙ及びＣの"Ｄｓｔ．Ｄａｔａ Ｎｏ．"は、デスティネーション画像データの位置、言い換えれば、リサンプリングポイント数を表している。そして、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"における"ＬＳ"は、Ｙにおける一次処理開始時のリサンプリングポイント数である。そして、図１５は、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。尚、図１５においては、比較のためにＹデータとＣデータを横に並べて図示しているが、ＹデータとＣデータはそれぞれ独立した処理であって構わない。
【００４４】
ここでは、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"に対してＹについての２ステップ前の"ＬＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、三次処理の関係式である関係式（２０）乃至（２３）により算出することができる。
【００４５】
具体的には、図１５のステップＳ１５１において、Ｙデータにおける"Ｄｓｔ．Ｄａｔａ Ｎｏ．"がＬＳ−２の時、リサンプリングポイントをｆ、Ｄｅｌｔａをａ、Ｄｅｌｔａ２をｂ、Ｄｅｌｔａ３をｃと定義する。そして、Ｃデータにおける"Ｄｓｔ．Ｄａｔａ Ｎｏ．"がＬＳ／２−１の時、リサンプリングポイントをｆ／２、Ｄｅｌｔａをａ＋ｂ／２、Ｄｅｌｔａ２を２ｂ＋２ｃ、Ｄｅｌｔａ３を４ｃと定義する。
【００４６】
以下、処理の流れを説明する。まず、ＤＤＡ演算部９３は、ステップＳ１５１において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"であり、図１１のステップＳ９０３に相当する処理により、リサンプリングポイントにＤｅｌｔａを加算する。そして、"ＬＳ−２"は、三次処理区間であるため、ＤＤＡ演算部９３は、図１１のステップＳ９０４により、ＹＥＳと判定し、図１１のステップＳ９０５に相当する処理により、ＤｅｌｔａにＤｅｌｔａ２を、Ｄｅｌｔａ２にＤｅｌｔａ３を加算する。また、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２−１"であり、Ｙデータと同様に、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。尚、Ｙデータ及びＣデータにおいて、Ｄｅｌｔａ３は、共に一定である。
【００４７】
次に、ＤＤＡ演算部９３は、ステップＳ１５２において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−１"であり、ステップＳ１５１と同様に、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。ここでは、Ｙデータに対応するＣデータが存在しないため、Ｃデータについての処理は行われない。この時点では、ＤＤＡ演算部９３は、Ｙデータ及びＣデータについて、三次処理を行い、当該三次処理の結果を次のステップへの入力値とする。
【００４８】
続いて、ＤＤＡ演算部９３は、ステップＳ１５３において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"であり、図１１のステップＳ９０３に相当する処理により、リサンプリングポイントにＤｅｌｔａを加算する。そして、"ＬＳ"は、一次処理区間であるため、ＤＤＡ演算部９３は、図１１のステップＳ９０４により、ＮＯと判定し、Ｄｅｌｔａ及びＤｅｌｔａ２の加算は行わない。また、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２ "であり、Ｙデータと同様に、リサンプリングポイントについて加算を行う。尚、Ｙデータ及びＣデータにおいて、Ｄｅｌｔａは、共に一定である。
【００４９】
その後、ＤＤＡ演算部９３は、ステップＳ１５４において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ＋１"であり、ステップＳ１５３と同様に、リサンプリングポイントについて加算を行う。ここでは、Ｙデータに対応するＣデータが存在しないため、Ｃデータについての処理は行われない。そして、ステップＳ１５５以降についても、ステップＳ１５３及びＳ１５４が繰り返して実行される。
【００５０】
ここで、ステップＳ１５５の処理開始時におけるＹデータ及びＣデータのリサンプリングポイントを比較する。Ｙデータのリサンプリングポイントは、ｆ＋４ａ＋５ｂ＋２ｃである。また、Ｃデータのリサンプリングポイントは、ｆ／２＋２ａ＋３ｂ＋２ｃである。そのため、関係式（２０）のｆｃ（ｎ）＝１／２ｆｙ（２ｎ）を満たしておらず、リサンプリング位置が等しくないと言える。つまり、デスティネーション画像としては、輝度情報であるＹデータに対して色差情報であるＣデータが対応しておらず、色ずれが発生しており、すなわち、信号のずれが顕著となっていることを意味する。そして、このままステップＳ１５５以降の処理が続くことにより、色ずれが拡大することを意味する。
【００５１】
また、ステップＳ１５３においては、色ずれが発生しておらず、ステップＳ１５５において初めて色ずれが発生していることがわかる。すなわち、ステップＳ１５５の入力値であるリサンプリングポイントを算出する際のＤｅｌｔａの値が正しくないことを意味する。Ｄｅｌｔａの値が正しくないとは、ＹデータとＣデータで満たすべき関係式を満たしていないということである。具体的には、一次処理を行う場合、Ｄｅｌｔａは、関係式（３８）を満たす必要があるが、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"以降は、関係式（３８）を満たしていない。
【００５２】
以上のことから、色ずれが生じる原因は、処理の次数の切り替わりの境界における各ＤＤＡ被演算子が、直前に処理した演算結果としての値という面と、次の処理での被演算子としての値という２つの面を持つためだと言える。そのため、ＤＤＡ演算の処理の次数が切り替わる直前では、直前の処理の演算結果として直前の処理の次数が満たすべきＹデータとＣデータの関係式を満たしているが、処理の次数が切り替わった直後では、Ｄｅｌｔａにおいて満たすべきＹデータとＣデータの関係式を満たさないという状態となってしまう。
【００５３】
具体的には、図１５の場合、ステップＳ１５１及びＳ１５２の演算結果は、三次処理の結果としてＹとＣの各ＤＤＡ被演算子が関係式（２０）乃至（２３）を全て満たしており、ステップＳ１５３の入力値となっている。しかし、ステップＳ１５５の入力値となる被演算子は、満たすべき関係式（３７）乃至（３８）を全ては満たしていない。このことが原因で、一次処理以降で色ずれが起こり、その累積によりどんどん色ずれが拡大していくという構造になっている。このような理由から、発明者は、処理の次数の切り替わりの境界において、以下に示すような本願発明を想到するに至った。
【００５４】
発明の実施の形態１．
図１は、本発明の実施の形態１にかかる画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、ソース画像データ２を入力し、第１のスケーリング処理部１０１及び１０２により所定のスケーリング率に応じた拡大又は縮小処理であるスケーリング処理を行い、デスティネーション画像データ３を出力するものである。
【００５５】
ここで、ソース画像データ２は、第１の領域２１及び第１の領域２１に隣接する第２の領域２２を含むものである。そして、第１の領域２１は、複数の異なる信号であるＹデータ２１１及びＣデータ２１２を含むものであり、ここでは、Ｙデータ２１１は、Ｃデータ２１２に比べてデータ比率が高いものである。また、第２の領域２２は、複数の異なる信号であるＹデータ２２１及びＣデータ２２２を含むものであり、Ｙデータ２２１及びＣデータ２２２のデータ比率は、Ｙデータ２１１及びＣデータ２１２のデータ比率と同様である。
【００５６】
また、デスティネーション画像データ３は、第１の領域２１及び第２の領域２２に対応する第１の領域３１及び第２の領域３２を含むものである。そして、第１の領域３１は、Ｙデータ２１１及びＣデータ２１２に対応するＹデータ３１１及びＣデータ３１２を含み、データ比率も同様である。また、第２の領域３２は、Ｙデータ２２１及びＣデータ２２２に対応するＹデータ３２１及びＣデータ３２２を含み、データ比率も同様である。
【００５７】
第１のスケーリング処理部１０１は、第１の領域２１に含まれるＹデータ２１１及びＣデータ２１２を処理対象とする。第１のスケーリング処理部１０１は、Ｙデータ２１１に対して第１のスケーリング率に応じたスケーリング処理を行い、Ｙデータ３１１を生成し、出力する。また、第１のスケーリング処理部１０１は、Ｃデータ２１２に対しても第１のスケーリング率に応じたスケーリング処理を行い、Ｃデータ３１２を生成し、出力する。そして、第１のスケーリング処理部１０１は、第１のスケーリング率を補正し、第１のスケーリング率、及び、補正済みの第１のスケーリング率を第２のスケーリング処理部１０２へ出力する。
【００５８】
第２のスケーリング処理部１０２は、第１のスケーリング処理部１０１の処理後に実行され、第２の領域２２に含まれるＹデータ２２１及びＣデータ２２２を処理対象とする。第２のスケーリング処理部１０２は、Ｙデータ２２１に対して第１のスケーリング率を用いて第２のスケーリング率を算出し、当該第２のスケーリング率に応じたスケーリング処理を行い、Ｙデータ３２１を生成し、出力する。また、第２のスケーリング処理部１０２は、Ｃデータ２２２に対して補正済みの第１のスケーリング率を用いて補正済みの第２のスケーリング率を算出し、当該補正済みの第２のスケーリング率に応じたスケーリング処理を行い、Ｃデータ３２２を生成し、出力する。
【００５９】
尚、第１のスケーリング率の補正は、第２のスケーリング処理部１０２において、スケーリング処理の直前又は同時に行っても構わない。
【００６０】
また、上述したスケーリング処理によりソース画像データ２のリサンプリングポイントを算出しても構わない。
【００６１】
本発明の実施の形態１により、ソース画像データ２に含まれるＹデータ２１１及びＹデータ２２１、並びに、Ｃデータ２１２及びＣデータ２２２といったデータ比率の異なる複数の信号を含む画像データにおいて、第２の領域２２に含まれるデータ比率の低いＣデータ２２２に対して、補正済みの第２のスケーリング率を用いることで、第１の領域２１に含まれるＣデータ２１２とは異なるスケーリング処理を行うことが可能となる。そのため、スケーリング処理を行う際に生じる色ずれ、すなわち、信号のずれを解消することができる。
【００６２】
言い換えれば、本発明の実施の形態１にかかる第１のスケーリング処理部は、データ比率の低い信号について、第１のスケーリング率に対して第２のスケーリング処理を実行した値になるように第１のスケーリング率を補正して第２のスケーリング率を算出するものである。
【００６３】
尚、上述した問題点が発生する画像データは、データ比率の異なる複数の信号を含むものである。具体的には、データ比率の高い信号は、輝度信号であり、データ比率の低い信号は、当該輝度信号との色差を示す色差信号であればよい。そして、より具体的には、輝度信号は、Ｙデータであり、色差信号は、Ｃｂ及びＣｒで表されるＣデータであればよい。つまり、ＹＣｂＣｒ４：２：２フォーマットは、水平方向のデータ量がＹとＣで異なるものである。尚、本発明が対象とする画像フォーマットは、ＹＣｂＣｒ４：２：２フォーマットに限定されない。
【００６４】
＜実施例１＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例１として、ＹＣｂＣｒ４：２：２フォーマットの画像データに対するスケーリング処理を行う画像処理装置１０ａの例を説明する。本実施例１では、スケーリング処理が三次処理から一次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。
【００６５】
図２は、本発明の実施例１にかかる画像処理装置１０ａの構成を示すブロック図である。画像処理装置１０ａは、画像処理装置１０に改良を加えたものであり、画像変換部１１と画像変換補正部１２とを備える。画像変換部１１は、ソース画像データ２の内、Ｙデータ２０１の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ３としてＹデータ３０１を出力する。尚、画像変換部１１は、上述した画像変換部９０ａを適用しても構わない。また、画像変換補正部１２は、ソース画像データ２の内、Ｃデータ２０２の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ３としてＣデータ３０２を出力する。ここで、画像変換補正部１２は、予め指定された領域に含まれるＣデータに対して、対応する領域に含まれるＹデータとは異なり、補正されたスケーリング率を適用してスケーリング処理を行うものである。
【００６６】
図３は、本発明の実施例１にかかる画像変換補正部１２の構成を示すブロック図である。画像変換補正部１２は、記憶部１２１と、リサンプリング部１２２と、ＤＤＡ演算部１２３とを備える。記憶部１２１は、スケーリング処理対象のソース画像データであるＣデータの入力を受け付け、格納する。記憶部１２１は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び不揮発性記憶装置等の記憶装置であればよい。
リサンプリング部１２２は、ＤＤＡ演算部１２３から入力されたリサンプリングポイントに対応する画像データを記憶部１２１から取得し、予め定められたデスティネーション画像データの領域に合わせて、スケーリング処理を行い、出力する。尚、記憶部１２１及びリサンプリング部１２２は、図１０の記憶部９１及びリサンプリング部９２と同様であればよい。
【００６７】
ＤＤＡ演算部１２３は、図１０のＤＤＡ演算部９３の機能に加え、ＤＤＡ被演算子補正部１２４を備える。ＤＤＡ被演算子補正部１２４は、一次関数、二次関数、及び三次関数演算処理の次数の切り替わりの直前に、ＤＤＡ被演算子であるＤｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３に対して補正を行う。これにより、ＤＤＡ演算部１２３は、次数の切り替わり後に補正後のＤＤＡ被演算子を用いてリサンプリングポイントを算出することができる。
【００６８】
図４は、本発明の実施例１にかかる画像変換補正部１２におけるリサンプリングポイントの算出処理を示すフローチャート図である。尚、図４のステップＳ１０１乃至Ｓ１０７並びにステップＳ１１０は、図１１のステップＳ９０１乃至Ｓ９０８と同様であるため、詳細な説明を省略し、以下では、図１１との違いを中心に説明する。
【００６９】
ＤＤＡ演算部１２３は、ステップＳ１０８において、処理の切り替わりか否かを判定する。具体的には、ＤＤＡ演算部１２３は、ＯｕｔＣｏｕｎｔが予め処理の切り替わりであると定めた値であるか否かを判定する。例えば、ノンリニアスケーリングである三次処理からリニアスケーリングである一次処理へ切り替わるデスティネーション画像の位置が該当する。
【００７０】
処理の切り替わりであると判定された場合、ＤＤＡ被演算子補正部１２４は、ＤＤＡ被演算子を補正する（Ｓ１０９）。このとき、ＤＤＡ演算部１２３は、ＤＤＡ被演算子であるＤｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３をＤＤＡ被演算子補正部１２４へ出力する。そして、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３の内、処理の切り替わりに応じたＤＤＡ被演算子について、予め設定された補正値を加算して、補正されたＤＤＡ被演算子を算出する。例えば、三次処理から一次処理へ切り替わる場合、ＤＤＡ被演算子補正部１２４は、ＤｅｌｔａにＤｅｌｔａの補正値を加算する。そして、補正されたＤｅｌｔａの値をＤＤＡ演算部１２３へ出力する。これにより、ＤＤＡ演算部１２３は、次のリサンプリングポイントの算出の際に、補正されたＤｅｌｔａの値を用いることができる。
【００７１】
言い換えれば、ＤＤＡ被演算子補正部１２４は、三次処理から一次処理へ切り替わるなど、ＤＤＡ演算の処理の次数が切り替わるポイントでは、切り替わる前のＤＤＡ演算でＹとＣのリサンプリング位置がずれないように、ＣデータのＤＤＡ被演算子に関して補正値の加算を行う。
【００７２】
具体例として、三次処理から一次処理へ処理が切り替わる時には、関係式（２０）及び（２１）と関係式（３７）及び（３８）のそれぞれの比較から、補正値を以下のように求める事ができる。
【００７３】
Ｄｅｌｔａの関係式（２１）と関係式（３８）とを比較すると、ＣのＤｅｌｔａが１／２ｄ２ｙ（２ｎ）分大きいことがわかる。しかし、ＹとＣは処理的に独立させるため、当該関係式をそのまま使用することはせず、以下の式の変換により、ＹとＣで独立して処理を行うようにする。そこで、関係式（２２）より、関係式（３９）を導出する。
【数３９】
【００７４】
さらに、関係式（３）より、関係式（４０）を導出する。
【数４０】
【００７５】
そして、関係式（４０）を関係式（３９）に代入する事により、関係式（４１）を導出する。
【数４１】
【００７６】
よって、Ｄｅｌｔａの補正値は、補正値（４２）で表すことができる。
【数４２】
ＣのＤＤＡ被演算子と定数のみで補正値を表す事ができたので、ＹとＣは独立した処理が可能と言える。
【００７７】
そこで、三次処理から一次処理へ処理が切り替わる場合、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａに補正値（４２）を加算することで補正することができる。
【００７８】
このように、本発明では、関係式の差分から補正値を算出する事が可能で、ＤＤＡ被演算子補正部１２４は、処理が切り替わるタイミングで各ＤＤＡ被演算子に適切な補正値を加算することにより、ＹＣｂＣｒ４:２:２フォーマットにおいてリサンプリング位置がずれないノンリニアスケーリングが可能となる。
【００７９】
次に、三次処理から一次処理に切り替わる時の補正値（４２）を使って、具体的な補正値を算出する。ここでは、ｎ＝ＬＳ／２、γ＝ｃとし、補正値は、補正値（４３）と算出することができる。
【数４３】
【００８０】
図５は、本発明の実施例１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図５では、図１５と同様に"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。そして、Ｙデータは、画像変換部１１により処理され、Ｃデータは、画像変換補正部１２により処理されるものである。尚、図５のＹデータにおけるステップＳ５１乃至Ｓ５５は、図１５のステップＳ１５１乃至Ｓ１５５と同様であるため、詳細な説明を省略し、以下では、図１５との違いであるＣデータにおける処理を中心に説明する。
【００８１】
まず、ＤＤＡ演算部１２３は、ステップＳ５１において、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２−１"であり、図４のステップＳ１０３、及びＳ１０５に相当する処理により、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。さらに、ＤＤＡ演算部１２３は、ステップＳ１０８において、"ＬＳ／２−１"がＣデータにおける三次処理の最後の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"であり、次数の切り替わりの直前であると判定する。そして、ＤＤＡ被演算子補正部１２４は、図４のステップＳ１０９において、Ｄｅｌｔａに補正値（４３）を加算する。具体的には、図５の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"の場合のＣデータの入力値となるＤｅｌｔａは、ａ＋２ｂ＋ｃとなる。
【００８２】
次に、ＤＤＡ演算部１２３は、ステップＳ５３において、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"であり、図４のステップＳ１０３に相当する処理により、リサンプリングポイントにステップＳ５１で補正されたＤｅｌｔａを加算する。そして、"ＬＳ／２"は、一次処理区間であるため、ＤＤＡ演算部１２３は、図４のステップＳ１０４により、ＮＯと判定し、Ｄｅｌｔａ及びＤｅｌｔａ２の加算は行わない。
【００８３】
このように、三次処理と一次処理の境界で、ＣデータにおけるＤｅｌｔａを補正する事により、ステップＳ５５においてもＹとＣの関係式（３７）及び（３８）を満たしている。つまり、この方法で補正を行う事により、図６に示すように、色ずれを解消することが出来る。
【００８４】
図６は、本発明の実施例１における画像データのスケーリング処理の結果の概要を示す模式図である。図６では、ソース画像データ２は、有色領域２１０及び有色領域２２０等を含み、有色領域２１０及び有色領域２２０は、Ｙデータ及びＣデータで表現されているものとする。また、画像処理装置１０ａによるスケーリング処理後のデータであるデスティネーション画像データ３は、有色領域３１０及び有色領域３２０を含み。ここで、有色領域３１０及び有色領域３２０では、図１４の有色領域８１０及び有色領域８２０とは異なり、色ずれが発生しないものとなる。
【００８５】
本発明の実施例１により、ノンリニアスケーリング処理とリニアスケーリング処理との切り替え時における色ずれを解消することができる。
【００８６】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、データ比率の低い信号であるＣデータについて、第１のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）と、第２のスケーリング率である一次処理におけるＤｅｌｔａに基づく値を算出する関係式（３８）との差分に基づいて補正するものである。
【００８７】
同様に、ＤＤＡ被演算子補正部１２４は、一次処理から三次処理への次数の切り替えにおいても、関係式（３８）と関係式（２１）との差分に基づいて補正するものである。
【００８８】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、第１のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）における次数に比べて、第２のスケーリング率である一次処理におけるＤｅｌｔａに基づく値を算出する関係式（３８）における次数が変化する場合に補正するものである。
【００８９】
＜実施例２＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例２として、スケーリング処理が二次処理から三次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。尚、本実施例２にかかる画像処理装置の構成は、図３と同様であるため、図示及び説明を省略する。
【００９０】
スケーリング処理が二次処理から三次処理へ切り替わる場合は、関係式（３０）乃至（３２）と関係式（２０）乃至（２２）とをそれぞれ比較することにより、三次処理切り替え時の補正値は、Ｄｅｌｔａ２に対して２γとなる。そこで、当該補正値２γを用いて、具体的な補正値を算出する。ここでは、二次処理であるためγ＝ｃ（定数）となり、具体的な補正値は、２ｃとなる。
【００９１】
図７は、本発明の実施例２における二次処理から三次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図７において、Ｙ及びＣの"ＲＰ．Ｎｏ．"は、リサンプリングポイント数を表している。そして、"ＲＰ．Ｎｏ．"における"ＣＳ"は、Ｙにおける三次処理開始時のリサンプリングポイント数である。そして、図７は、"ＲＰ．Ｎｏ．"が"ＣＳ−２"から"ＣＳ＋４"において、ＤＤＡ処理を行った場合を示している。
【００９２】
ここでは、"ＲＰ．Ｎｏ．"が"ＣＳ"に対してＹについての２ステップ前の"ＣＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、二次処理の関係式である関係式（３０）乃至（３２）により算出することができる。
【００９３】
具体的には、図７のステップＳ７１において、Ｙデータにおける"ＲＰ．Ｎｏ．"がＣＳ−２の時、リサンプリングポイントをｆ、Ｄｅｌｔａをａ、Ｄｅｌｔａ２をｂ、Ｄｅｌｔａ３をｃと定義する。そして、Ｃデータにおける"ＲＰ．Ｎｏ．"がＣＳ／２−１の時、リサンプリングポイントをｆ／２、Ｄｅｌｔａをａ＋ｂ／２、Ｄｅｌｔａ２を２ｂ、Ｄｅｌｔａ３を４ｃと定義する。但し、二次処理区間においてＤｅｌｔａ３は使用されない。
【００９４】
以下、処理の流れを説明するが、図５と同様の処理については、詳細な説明を省略し、以下では、図５との違いを中心に説明する。まず、図７では、ステップＳ７１及びＳ７２において、Ｙデータ及びＣデータに対して共に、二次処理が行われる。また、ステップＳ７３乃至Ｓ７７において、Ｙデータ及びＣデータに対して共に、三次処理が行われる。
【００９５】
ここで、Ｃデータについて、ＤＤＡ演算部１２３は、図４のステップＳ１０８において、二次処理から三次処理へ切り替わる場合、つまり、ＯｕｔＣｏｕｎｔが"ＣＳ／２−１"である場合、ＹＥＳと判定する。そして、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａ２にＤｅｌｔａ２の補正値２ｃを加算する。そして、補正されたＤｅｌｔａ２の値をＤＤＡ演算部１２３へ出力する。具体的には、図７の"ＲＰ．Ｎｏ．"が"ＣＳ／２"の場合のＣデータの入力値となるＤｅｌｔａ２は、２ａ＋２ｂとなる。以後、ステップＳ７５及びＳ７７について、Ｙデータと同様に、三次処理が行われる。
【００９６】
図７に示すとおり、三次処理区間において常に関係式（２０）乃至（２３）を満たしており、色ずれは起こらない。それは、ステップＳ７１において、Ｄｅｌｔａ２を補正して、ステップＳ７３の入力値とすることにより、ステップＳ７３において、関係式（２０）乃至（２３）が成立するためである。
【００９７】
本発明の実施例２により、ノンリニアスケーリング処理間での次数の切り換え時における色ずれを解消することができる。
【００９８】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、データ比率の低い信号であるＣデータについて、第１のスケーリング率である二次処理におけるＤｅｌｔａに基づく値を算出する関係式（３１）に基づく差分Ｄｅｌｔａ２を算出する式（３２）と、第２のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）に基づく差分Ｄｅｌｔａ２を算出する式（２２）との差分に基づいて補正するものである。
【００９９】
＜実施例３＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例３として、スケーリング処理が二次処理から一次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。尚、本実施例３にかかる画像処理装置の構成は、図３と同様であるため、図示及び説明を省略する。
【０１００】
スケーリング処理が二次処理から一次処理へ切り替わる場合は、関係式（３１）と関係式（３８）とを比較することにより、一次処理切り替え時の補正値は、Ｄｅｌｔａに対して−（１／２）ｄ２ｙ（２ｎ）となる。そこで、関係式（２６）に当該補正値−（１／２）ｄ２ｙ（２ｎ）を代入して、具体的な補正値を算出する。ここでは、β＝β２（定数）であるため、具体的な補正値は、関係式（４４）で表すことができる。
【数４４】
よって、関係式（４４）よりＤｅｌｔａの補正値は、−（１／２）ｂとなる。
【０１０１】
図８は、本発明の実施例３における二次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図８は、図５と同様に、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。
【０１０２】
ここでは、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"に対してＹについての２ステップ前の"ＬＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、上述した図７と同様に、二次処理の関係式である関係式（３０）乃至（３２）により算出することができる。図８のステップＳ８１における具体的な値は、図７のＣＳがＬＳに置き換わったものであるため、説明を省略する。
【０１０３】
以下、処理の流れを説明するが、図５と同様の処理については、詳細な説明を省略し、以下では、図５との違いを中心に説明する。まず、図８では、ステップＳ８１及びＳ８２において、Ｙデータ及びＣデータに対して共に、二次処理が行われる。また、ステップＳ８３乃至Ｓ８５において、Ｙデータ及びＣデータに対して共に、一次処理が行われる。
【０１０４】
ここで、Ｃデータについて、ＤＤＡ演算部１２３は、図４のステップＳ１０８において、二次処理から一次処理へ切り替わる場合、つまり、ＯｕｔＣｏｕｎｔが"ＬＳ／２−１"である場合、ＹＥＳと判定する。そして、ＤＤＡ被演算子補正部１２４は、ＤｅｌｔａにＤｅｌｔａの補正値−（１／２）ｂを加算する。そして、補正されたＤｅｌｔａの値をＤＤＡ演算部１２３へ出力する。具体的には、図８の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"の場合のＣデータの入力値となるＤｅｌｔａは、ａ＋２ｂとなる。以後、ステップＳ８５について、Ｙデータと同様に、一次処理が行われる。
【０１０５】
図８に示している通り、一処理区間において関係式（３７）及び（３８）を満たしているので、ＹとＣのリサンプリング位置は常に等しくなっていると言える。
【０１０６】
本発明の実施例３により、二次処理のノンリニアスケーリング処理とリニアスケーリング処理との切り替え時における色ずれを解消することができる。
【０１０７】
その他の発明の実施の形態．
本発明の実施例１乃至３に示したように、ＤＤＡ演算の処理が切り替わる際に、ＤＤＡ被演算子に適切な補正値を加算すればＹとＣのリサンプリング位置を常に等しくすることができる。本発明における一次、二次、及び三次処理を相互に切り替える際の補正値を示す表を図９に示す。例えば、三次処理から二次処理に切り替える時の補正は、Ｄｅｌｔａ２に対して−２γの補正値を加算することで実現できる。
【０１０８】
尚、ＹＣｂＣｒ４:２:２フォーマットにおいて色ずれが発生する課題は、特許文献３に示すように、ＹＣｂＣｒ４:４:４フォーマットにアップサンプリングしてからスケーリングすることによっても解決することができる。しなしながら、本発明では、アップサンプリングした場合に比べて、Ｃのデータ量が半分で良いためメモリの節約となり、スケーリング回路として規模の縮小ができるという効果を奏する。さらに、本発明では、スケーリング以降の画像処理においてもＣデータのデータ量が半分であるため、画像処理システム全体としての回路規模縮小が見込めるという効果を奏する。
【０１０９】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例１にかかる画像処理装置の構成を示すブロック図である。
【図３】本発明の実施例１にかかる画像変換補正部の構成を示すブロック図である。
【図４】本発明の実施例１にかかるリサンプリングポイントの算出処理を示すフローチャート図である。
【図５】本発明の実施例１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図６】本発明の実施例１における画像データのスケーリング処理の結果の概要を示す模式図である。
【図７】本発明の実施例２における二次処理から三次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図８】本発明の実施例３における二次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図９】本発明における一次、二次、及び三次処理を相互に切り替える際の補正値を示す表である。
【図１０】関連する技術の画像処理装置の構成を示すブロック図である。
【図１１】関連する技術のリサンプリングポイントの算出処理を示すフローチャート図である。
【図１２】関連する技術における出力画素に対する各ＤＤＡ被演算子の変化を示すグラフである。（ａ）は、リサンプリングポイントの変化を示すグラフである。（ｂ）は、Ｄｅｌｔａの変化を示すグラフである。（ｃ）は、Ｄｅｌｔａ２の変化を示すグラフである。
【図１３】ＹＣｂＣｒ４：２：２フォーマットの画像データに関連する技術を適用してスケーリング処理を行う装置の構成例を示すブロック図である。
【図１４】関連する技術における画像データのスケーリング処理の結果の概要を示す模式図である。
【図１５】関連する技術における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【符号の説明】
【０１１１】
１０ 画像処理装置
１０ａ 画像処理装置
１０１ 第１のスケーリング処理部
１０２ 第２のスケーリング処理部
１１ 画像変換部
１２ 画像変換補正部
１２１ 記憶部
１２２ リサンプリング部
１２３ ＤＤＡ演算部
１２４ ＤＤＡ被演算子補正部
２ ソース画像データ
２０１ Ｙデータ
２０２ Ｃデータ
２１ 第１の領域
２１０ 有色領域
２１１ Ｙデータ
２１２ Ｃデータ
２２ 第２の領域
２２０ 有色領域
２２１ Ｙデータ
２２２ Ｃデータ
３ デスティネーション画像データ
３０１ Ｙデータ
３０２ Ｃデータ
３１ 第１の領域
３１０ 有色領域
３１１ Ｙデータ
３１２ Ｃデータ
３２ 第２の領域
３２０ 有色領域
３２１ Ｙデータ
３２２ Ｃデータ
７ ソース画像データ
７１ Ｙデータ
７２ Ｃデータ
７１０ 有色領域
７２０ 有色領域
８ デスティネーション画像データ
８１ Ｙデータ
８２ Ｃデータ
８１０ 有色領域
８１１ 色ずれ領域
８１２ 色ずれ領域
８２０ 有色領域
８２１ 色ずれ領域
９ 画像処理装置
９ａ 画像処理装置
９０ 画像変換部
９０ａ 画像変換部
９０ｂ 画像変換部
９１ 記憶部
９２ リサンプリング部
９３ ＤＤＡ演算部
【技術分野】
【０００１】
本発明は、画像処理装置、及び方法に関し、特に、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理装置、及び方法に関する。
【背景技術】
【０００２】
近年、画像処理の分野で画像データのアスペクト比を変換する技術が必要とされている。例えば、テレビジョン用の映像データに含まれる画像データは、アスペクト比４：３で配信されているが、これをアスペクト比１６：９等にスケーリング処理を行って変換する等である。
【０００３】
特許文献１には、アスペクト比４：３の映像データをアスペクト比１６：９の映像表示装置向けに水平方向拡大を行う際、１画像の中央部分は、リニアに拡大させ、両端部分は、ノンリニアに拡大させるＤＤＡ（Digital Differential Analyzer：デジタル微分解析）演算部を備えることで、表示画面全体に連続性のあるより自然な拡大処理を行うことが可能な画像処理装置が開示されている。特に、特許文献１では、デスティネーション画像の画素データを生成するために、ＤＤＡ演算部によりソース画像のリサンプリングポイントを制御している。
【０００４】
図１０は、特許文献１にかかる画像処理装置の構成を示すブロック図である。画像処理装置９に含まれる画像変換部９０は、記憶部９１と、リサンプリング部９２と、ＤＤＡ演算部９３とを備える。記憶部９１は、スケーリング処理対象のソース画像データを格納する。ＤＤＡ演算部９３は、デスティネーション画像データの位置に応じて、ソース画像データの取得位置であるリサンプリングポイントを算出する。その際、ＤＤＡ演算部９３は、一次関数、二次関数、及び三次関数演算処理により以前のリサンプリングポイントとその増分からリサンプリングポイントを算出し、記憶部９１及びリサンプリング部９２へ出力する。リサンプリング部９２は、記憶部９１からリサンプリングポイントに対応する画像データを取得し、スケーリング処理を実行し、デスティネーション画像データを出力する。
【０００５】
ここで、リサンプリングポイントの増分を示すＤｅｌｔａは、リニアスケーリング時は一定の値となり、拡大率の逆数である。また、Ｄｅｌｔａの増分をＤｅｌｔａ２と、Ｄｅｌｔａ２の増分であるＤｅｌｔａ３と定義する事により、リサンプリングポイントが三次関数的に推移する事を可能としている。そして、両端部分でのノンリニアスケーリングを実現するために、デスティネーション画像の領域を３領域に分け、リサンプリングポイントを中央部分は一時関数的なリニアスケーリングを、また、両端部分では三次関数的に推移させ、ノンリニアスケーリングを行っている。
【０００６】
図１１は、特許文献１にかかるリサンプリングポイントの算出処理を示すフローチャート図である。まず、ＤＤＡ演算部９３は、各パラメータの初期化を行う（Ｓ９０１）。ＤｓｔＷｉｄｔｈは、デスティネーション画像データの処理終了位置を示す。また、ＬｉｎｅａｒＳｔａｒｔ、及びＬｉｎｅａｒＥｎｄは、リニアスケーリングを開始及び終了するデスティネーション画像データの位置を示す。ＯｕｔＣｏｕｎｔは、処理対象のデスティネーション画像データの現在位置を示す。
【０００７】
次に、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ未満であるか否かを判定する（Ｓ９０２）。ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ以上であると判定された場合、処理を終了する。ＯｕｔＣｏｕｎｔがＤｓｔＷｉｄｔｈ未満であると判定された場合、ＤＤＡ演算部９３は、ＲｅｓａｍｐｌｉｎｇＰｏｉｎｔにＤｅｌｔａを加算する（Ｓ９０３）。
【０００８】
続いて、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔが両端部分であるか否かを判定する（Ｓ９０４）。ＯｕｔＣｏｕｎｔが両端部分であると判定された場合、ＤＤＡ演算部９３は、ＤｅｌｔａにＤｅｌｔａ２を加算し、Ｄｅｌｔａ２にＤｅｌｔａ３を加算する（Ｓ９０５）。ＯｕｔＣｏｕｎｔが両端部分でない、つまり、中央部分であると判定された場合、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔと等しいか否かを判定する（Ｓ９０６）。ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔと等しいと判定された場合、ＤＤＡ演算部９３は、Ｄｅｌｔａ２の符号を反転させる（Ｓ９０７）。ＯｕｔＣｏｕｎｔがＬｉｎｅａｒＳｔａｒｔ以外であると判定された場合、並びに、ステップＳ９０５及びＳ９０７の処理後、ＤＤＡ演算部９３は、ＯｕｔＣｏｕｎｔに１を加算する（Ｓ９０８）。その後、ステップＳ９０２へ戻る。
【０００９】
ここで、デスティネーション画像の画素番号をｘ（ｘ＝０、１、２、・・・）とし、その時のリサンプルポイントをｆ（ｘ）とすると、Ｄｅｌｔａは、以下の関係式（１）で表すことができる。
【数１】
また、Ｄｅｌｔａ２は、関係式（２）で表すことができる。
【数２】
また、Ｄｅｌｔａ３は、関係式（３）で表すことができる。
【数３】
【００１０】
そして、関係式（１）、（２）、及び（３）は、図１２のように変化する。ここで、ｆ（ｘ）は、ノンリニア区間、すなわち、三次処理区間では、ｘの三次式であり、リニア区間、すなわち、一次処理区間では、ｘの一次式となる。
【００１１】
図１２は、特許文献１における出力画素に対する各ＤＤＡ被演算子の変化を示すグラフである。図１２（ａ）は、リサンプリングポイントの変化を示すグラフである。図１２（ｂ）は、Ｄｅｌｔａの変化を示すグラフである。図１２（ｃ）は、Ｄｅｌｔａ２の変化を示すグラフである。
【００１２】
また、関連する技術として、特許文献２及び特許文献３がある。特許文献２には、原アスペクト比を有する原画像データを出力アスペクト比へ変換する画像データ変換装置が開示されている。特許文献２にかかる画像データ変換装置は、出力アスペクト比に応じて、変換用パラメータを変化させるパラメータ生成手段を有する。
【００１３】
特許文献３には、輝度信号と２つの色差信号が４：２：２のデータ比率であるコンポーネント信号で与えられる複数の画像データを合成する際に、色差信号が欠落する課題を解決するために、４：２：２コンポーネント信号を４：４：４コンポーネント信号に変換し、予め定められた優先順位に基づいて、より高い優先順位の画像のコンポーネント信号を優先して画像表示するように合成映像信号を生成する画像処理装置が開示されている。
【特許文献１】特開２００３−１８９２６６号公報
【特許文献２】特開２００７−６０１０５号公報
【特許文献３】特開２００７−７４５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述したデータ比率が異なる複数種類の信号を含む画像データに対して特許文献１の技術を適用すると、スケーリング処理後の画像データの信号にずれが生じるという問題点がある。
【００１５】
例えば、輝度信号がＹデータ、２つの色差信号がＣｂ及びＣｒ（以後、併せてＣデータと呼ぶ）であるデータ比率が４：２：２で構成されるビデオデータの標準的なフォーマットとしてＹＣｂＣｒ４：２：２フォーマットがある。ＹＣｂＣｒ４：２：２フォーマットの画像データに対して特許文献１の技術を適用するためには、信号の種類ごとに分離独立してスケーリング処理を行い、その後、スケーリング処理後の画像データを合成するという処理が必要となる。
【００１６】
そこで、図１３に、ＹＣｂＣｒ４：２：２フォーマットの画像データに特許文献１の技術を適用してスケーリング処理を行う装置の構成例を示すブロック図を示す。図１３に示す画像処理装置９ａは、特許文献１にかかる画像処理装置９に改良を加えたものであり、画像変換部９０ａと画像変換部９０ｂとを備える。画像変換部９０ａは、ソース画像データ７の内、Ｙデータ７１の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ８としてＹデータ８１を出力する。また、画像変換部９０ｂは、ソース画像データ７の内、Ｃデータ７２の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ８としてＣデータ８２を出力する。
【００１７】
この後、Ｙデータ８１及びＣデータ８２を合成してデスティネーション画像データ８を生成した結果を図１４に模式図として示す。図１４では、ソース画像データ７は、有色領域７１０及び有色領域７２０等を含み、有色領域７１０及び有色領域７２０は、Ｙデータ及びＣデータで表現されているものとする。また、画像処理装置９ａによるスケーリング処理後のデータであるデスティネーション画像データ８は、有色領域８１０及び有色領域８２０等を含む。但し、有色領域８１０は、両端に信号のずれが顕著となっている色ずれ領域８１１を含む。また、有色領域８２０は、両端に色ずれ領域８２１及び色ずれ領域８２２を含む。
【００１８】
この原因は、ＤＤＡ演算の次数の切り替わるタイミング（例えば、三次関数から一次関数へ）において、Ｙデータに対応するＣデータのリサンプリング位置が適切でないためである。例えば、リニアスケーリングからノンリニアスケーリングへ切り替わる際、三次関数によるＤＤＡ演算を行うための入力データは、一次関数によるＤＤＡ演算の結果を用いる。しかし、Ｃデータは、Ｙデータより比率が少ない（１／２）ため、入力となるデータ位置が対応しない。そのため、スケーリング処理を行った際に、色ずれが生じてしまう。
【００１９】
また、特許文献２では、変換先のアスペクト比に応じた変換用パラメータを選択、又は、調整することはできるが、１つの画像情報を比率の異なる複数種類の信号で表現する画像フォーマットは考慮されておらず、対応できない。
【００２０】
特許文献３では、ＹＣｂＣｒ４：２：２のような画像フォーマットを対象としているが、予めＣデータ部分を２倍に拡大した上で、処理を行っているため、Ｃデータのデータ量が２倍となり、多くのメモリが必要となり、回路規模が大きくなってしまう。
【課題を解決するための手段】
【００２１】
本発明にかかる画像処理装置は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものであって、第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理部とを有し、前記第２のスケーリング処理部は、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行するものである。
【００２２】
本発明にかかる画像処理方法は、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行うものであって、第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理ステップと、前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理ステップとを有し、前記第２のスケーリング処理ステップは、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行するものである。
【００２３】
上述した本発明にかかる画像処理装置及び方法によれば、第２のスケーリング処理部において、データ比率の低い信号に対して、データ比率の高い信号とは異なり第１のスケーリング率を補正した第２のスケーリング率に応じた第２のスケーリング処理を実行することで、第２のスケーリング処理結果を調整することが可能となる。そのため、データ比率の高い信号及び低い信号について、スケーリング処理結果の信号のずれを解消することができる。
【発明の効果】
【００２４】
本発明により、データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う際に生じる信号のずれを解消することができる。
【発明を実施するための最良の形態】
【００２５】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００２６】
最初に、特許文献１において上述した問題点が発生する原因を分析し、発明者が本願発明を想到するに至った理由を明らかにする。
【００２７】
まず、当該問題点が発生する画像データにおけるＹＣｂＣｒ４：２：２フォーマットは、水平方向のデータ量がＹとＣで異なるものである。そこで、説明のため、次の２つの定義をする。Ｃのｎ番目のデータに対応するＹデータは、Ｙの２ｎ番目のデータとする（定義１）。Ｃのｎ番目のリサンプリングポイントに対応するＹのリサンプリングポイントは、Ｙの２ｎ番目のリサンプリングポイントとする（定義２）。尚、Ｃのリサンプリングポイントは、Ｃのソース画像データに対する位置（ポイント）である。また、リサンプリングポイントの数は、デスティネーション画像のデータ量に相当し、デスティネーション画像もＹＣｂＣｒ４：２：２フォーマットであることから定義１と同様にリサンプリングポイントに関して定義する。
【００２８】
また、定義１及び定義２から次の定義をする。「ＹとＣでリサンプリング位置が等しい」とは、Ｃのリサンプリングポイントが、Ｙのリサンプリングポイントの１／２の場合とする（定義３）。
【００２９】
ここで、Ｙに関してＤｅｌｔａの初期値をα、Ｄｅｌｔａ２の初期値をβ、Ｄｅｌｔａ３をγ、及び、リサンプリングポイントの初期値をＩとする。また、Ｄｅｌｔａ３は、一定値とする。関係式（１）乃至（３）の漸化式と定義１及び定義２より、Ｙのリサンプリングポイントｆｙ（ｘ）は、関係式（４）で表すことができる。
【数４】
また、Ｃのリサンプリングポイントｆｃ（ｘ）は、関係式（５）で表すことができる。
【数５】
【００３０】
さらに、リサンプリングポイントの増分であるＤｅｌｔａ、Ｄｅｌｔａ２、及びＤｅｌｔａ３は、関係式（１）乃至（５）から導くことができる。ＹのＤｅｌｔａであるｄ１ｙ（ｘ）は関係式（６）、ＹのＤｅｌｔａ２であるｄ２ｙ（ｘ）は関係式（７）、ＹのＤｅｌｔａ３であるｄ３ｙ（ｘ）は関係式（８）で表すことができる。
【数６】
【数７】
【数８】
【００３１】
また、ＣのＤｅｌｔａであるｄ１ｃ（ｘ）は関係式（９）、ＣのＤｅｌｔａ２であるｄ２ｃ（ｘ）は関係式（１０）、ＣのＤｅｌｔａ３であるｄ３ｃ（ｘ）は関係式（１１）で表すことができる。
【数９】
【数１０】
【数１１】
【００３２】
続いて、Ｃのリサンプリングポイント数がｎの時に、対応するＹのリサンプリングポイントとＣのリサンプリングポイントのＤＤＡ被演算子の比較を行う。ＹのＤＤＡ被演算子は、関係式（１２）乃至（１５）で表すことができる。
【数１２】
【数１３】
【数１４】
【数１５】
【００３３】
また、ＣのＤＤＡ被演算子は、関係式（１６）乃至（１９）で表すことができる。
【数１６】
【数１７】
【数１８】
【数１９】
【００３４】
ここで、関係式（１２）と関係式（１６）は、以下の関係式（２０）の関係を満たしているので、ＹとＣのリサンプリング位置が常に等しいことが言える。
【数２０】
【００３５】
更に、Ｄｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３における関係式は、以下の関係式（２１）、（２２）、及び、（２３）となる。尚、下記の関係式の導出は、帰納法で証明することができるが、ここでは証明を省略する。
【数２１】
【数２２】
【数２３】
【００３６】
関係式（４）乃至（２３）は、γ＝０とすることで二次関数処理として、また、β＝０かつγ＝０として一次関数処理として適応できる。
【００３７】
ここで実際に、γ＝０として関係式（１２）乃至（１４）、及び関係式（１６）乃至（１８）に代入し、二次関数処理の時のＤＤＡ被演算子を確認する。ここで、Ｉ２、α２、及び、β２をそれぞれ、二次処理開始時におけるリサンプリングポイント、Ｄｅｌｔａ、及び、Ｄｅｌｔａ２の値とする。二次関数処理時のＹのＤＤＡ被演算子は、関係式（２４）乃至（２６）で表すことができる。
【数２４】
【数２５】
【数２６】
【００３８】
また、二次関数処理時のＣのＤＤＡ被演算子は、関係式（２７）乃至（２９）で表すことができる。
【数２７】
【数２８】
【数２９】
【００３９】
ここからＹとＣの関係式を導くと、二次処理時のＹとＣにおける関係式は、以下の関係式（３０）乃至（３２）で表すことができる。
【数３０】
【数３１】
【数３２】
関係式（３０）より、より、ＹとＣのリサンプリング位置は常に等しいことが言える。
【００４０】
さらに、β＝０かつγ＝０として一次関数処理の時のＤＤＡ被演算子を確認する。ここで、Ｉ１、及びα１をそれぞれ、一次処理開始時におけるリサンプリングポイント、及び、Ｄｅｌｔａの値とする。一次関数処理時のＹのＤＤＡ被演算子は、関係式（３３）及び（３４）で表すことができる。
【数３３】
【数３４】
【００４１】
また、一次関数処理時のＣのＤＤＡ被演算子は、関係式（３５）乃至（３６）で表すことができる。
【数３５】
【数３６】
【００４２】
ここからＹとＣの関係式を導くと、一次処理時のＹとＣにおける関係式は、以下の関係式（３７）及び（３８）で表すことができる。
【数３７】
【数３８】
関係式（３７）より、ＹとＣのリサンプリング位置は常に等しいと言える。
【００４３】
以上のことを踏まえて、特許文献１において上述した問題点の発生を例示する。図１５は、特許文献１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図１５において、Ｙ及びＣの"Ｄｓｔ．Ｄａｔａ Ｎｏ．"は、デスティネーション画像データの位置、言い換えれば、リサンプリングポイント数を表している。そして、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"における"ＬＳ"は、Ｙにおける一次処理開始時のリサンプリングポイント数である。そして、図１５は、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。尚、図１５においては、比較のためにＹデータとＣデータを横に並べて図示しているが、ＹデータとＣデータはそれぞれ独立した処理であって構わない。
【００４４】
ここでは、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"に対してＹについての２ステップ前の"ＬＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、三次処理の関係式である関係式（２０）乃至（２３）により算出することができる。
【００４５】
具体的には、図１５のステップＳ１５１において、Ｙデータにおける"Ｄｓｔ．Ｄａｔａ Ｎｏ．"がＬＳ−２の時、リサンプリングポイントをｆ、Ｄｅｌｔａをａ、Ｄｅｌｔａ２をｂ、Ｄｅｌｔａ３をｃと定義する。そして、Ｃデータにおける"Ｄｓｔ．Ｄａｔａ Ｎｏ．"がＬＳ／２−１の時、リサンプリングポイントをｆ／２、Ｄｅｌｔａをａ＋ｂ／２、Ｄｅｌｔａ２を２ｂ＋２ｃ、Ｄｅｌｔａ３を４ｃと定義する。
【００４６】
以下、処理の流れを説明する。まず、ＤＤＡ演算部９３は、ステップＳ１５１において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"であり、図１１のステップＳ９０３に相当する処理により、リサンプリングポイントにＤｅｌｔａを加算する。そして、"ＬＳ−２"は、三次処理区間であるため、ＤＤＡ演算部９３は、図１１のステップＳ９０４により、ＹＥＳと判定し、図１１のステップＳ９０５に相当する処理により、ＤｅｌｔａにＤｅｌｔａ２を、Ｄｅｌｔａ２にＤｅｌｔａ３を加算する。また、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２−１"であり、Ｙデータと同様に、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。尚、Ｙデータ及びＣデータにおいて、Ｄｅｌｔａ３は、共に一定である。
【００４７】
次に、ＤＤＡ演算部９３は、ステップＳ１５２において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−１"であり、ステップＳ１５１と同様に、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。ここでは、Ｙデータに対応するＣデータが存在しないため、Ｃデータについての処理は行われない。この時点では、ＤＤＡ演算部９３は、Ｙデータ及びＣデータについて、三次処理を行い、当該三次処理の結果を次のステップへの入力値とする。
【００４８】
続いて、ＤＤＡ演算部９３は、ステップＳ１５３において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"であり、図１１のステップＳ９０３に相当する処理により、リサンプリングポイントにＤｅｌｔａを加算する。そして、"ＬＳ"は、一次処理区間であるため、ＤＤＡ演算部９３は、図１１のステップＳ９０４により、ＮＯと判定し、Ｄｅｌｔａ及びＤｅｌｔａ２の加算は行わない。また、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２ "であり、Ｙデータと同様に、リサンプリングポイントについて加算を行う。尚、Ｙデータ及びＣデータにおいて、Ｄｅｌｔａは、共に一定である。
【００４９】
その後、ＤＤＡ演算部９３は、ステップＳ１５４において、Ｙデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ＋１"であり、ステップＳ１５３と同様に、リサンプリングポイントについて加算を行う。ここでは、Ｙデータに対応するＣデータが存在しないため、Ｃデータについての処理は行われない。そして、ステップＳ１５５以降についても、ステップＳ１５３及びＳ１５４が繰り返して実行される。
【００５０】
ここで、ステップＳ１５５の処理開始時におけるＹデータ及びＣデータのリサンプリングポイントを比較する。Ｙデータのリサンプリングポイントは、ｆ＋４ａ＋５ｂ＋２ｃである。また、Ｃデータのリサンプリングポイントは、ｆ／２＋２ａ＋３ｂ＋２ｃである。そのため、関係式（２０）のｆｃ（ｎ）＝１／２ｆｙ（２ｎ）を満たしておらず、リサンプリング位置が等しくないと言える。つまり、デスティネーション画像としては、輝度情報であるＹデータに対して色差情報であるＣデータが対応しておらず、色ずれが発生しており、すなわち、信号のずれが顕著となっていることを意味する。そして、このままステップＳ１５５以降の処理が続くことにより、色ずれが拡大することを意味する。
【００５１】
また、ステップＳ１５３においては、色ずれが発生しておらず、ステップＳ１５５において初めて色ずれが発生していることがわかる。すなわち、ステップＳ１５５の入力値であるリサンプリングポイントを算出する際のＤｅｌｔａの値が正しくないことを意味する。Ｄｅｌｔａの値が正しくないとは、ＹデータとＣデータで満たすべき関係式を満たしていないということである。具体的には、一次処理を行う場合、Ｄｅｌｔａは、関係式（３８）を満たす必要があるが、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"以降は、関係式（３８）を満たしていない。
【００５２】
以上のことから、色ずれが生じる原因は、処理の次数の切り替わりの境界における各ＤＤＡ被演算子が、直前に処理した演算結果としての値という面と、次の処理での被演算子としての値という２つの面を持つためだと言える。そのため、ＤＤＡ演算の処理の次数が切り替わる直前では、直前の処理の演算結果として直前の処理の次数が満たすべきＹデータとＣデータの関係式を満たしているが、処理の次数が切り替わった直後では、Ｄｅｌｔａにおいて満たすべきＹデータとＣデータの関係式を満たさないという状態となってしまう。
【００５３】
具体的には、図１５の場合、ステップＳ１５１及びＳ１５２の演算結果は、三次処理の結果としてＹとＣの各ＤＤＡ被演算子が関係式（２０）乃至（２３）を全て満たしており、ステップＳ１５３の入力値となっている。しかし、ステップＳ１５５の入力値となる被演算子は、満たすべき関係式（３７）乃至（３８）を全ては満たしていない。このことが原因で、一次処理以降で色ずれが起こり、その累積によりどんどん色ずれが拡大していくという構造になっている。このような理由から、発明者は、処理の次数の切り替わりの境界において、以下に示すような本願発明を想到するに至った。
【００５４】
発明の実施の形態１．
図１は、本発明の実施の形態１にかかる画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、ソース画像データ２を入力し、第１のスケーリング処理部１０１及び１０２により所定のスケーリング率に応じた拡大又は縮小処理であるスケーリング処理を行い、デスティネーション画像データ３を出力するものである。
【００５５】
ここで、ソース画像データ２は、第１の領域２１及び第１の領域２１に隣接する第２の領域２２を含むものである。そして、第１の領域２１は、複数の異なる信号であるＹデータ２１１及びＣデータ２１２を含むものであり、ここでは、Ｙデータ２１１は、Ｃデータ２１２に比べてデータ比率が高いものである。また、第２の領域２２は、複数の異なる信号であるＹデータ２２１及びＣデータ２２２を含むものであり、Ｙデータ２２１及びＣデータ２２２のデータ比率は、Ｙデータ２１１及びＣデータ２１２のデータ比率と同様である。
【００５６】
また、デスティネーション画像データ３は、第１の領域２１及び第２の領域２２に対応する第１の領域３１及び第２の領域３２を含むものである。そして、第１の領域３１は、Ｙデータ２１１及びＣデータ２１２に対応するＹデータ３１１及びＣデータ３１２を含み、データ比率も同様である。また、第２の領域３２は、Ｙデータ２２１及びＣデータ２２２に対応するＹデータ３２１及びＣデータ３２２を含み、データ比率も同様である。
【００５７】
第１のスケーリング処理部１０１は、第１の領域２１に含まれるＹデータ２１１及びＣデータ２１２を処理対象とする。第１のスケーリング処理部１０１は、Ｙデータ２１１に対して第１のスケーリング率に応じたスケーリング処理を行い、Ｙデータ３１１を生成し、出力する。また、第１のスケーリング処理部１０１は、Ｃデータ２１２に対しても第１のスケーリング率に応じたスケーリング処理を行い、Ｃデータ３１２を生成し、出力する。そして、第１のスケーリング処理部１０１は、第１のスケーリング率を補正し、第１のスケーリング率、及び、補正済みの第１のスケーリング率を第２のスケーリング処理部１０２へ出力する。
【００５８】
第２のスケーリング処理部１０２は、第１のスケーリング処理部１０１の処理後に実行され、第２の領域２２に含まれるＹデータ２２１及びＣデータ２２２を処理対象とする。第２のスケーリング処理部１０２は、Ｙデータ２２１に対して第１のスケーリング率を用いて第２のスケーリング率を算出し、当該第２のスケーリング率に応じたスケーリング処理を行い、Ｙデータ３２１を生成し、出力する。また、第２のスケーリング処理部１０２は、Ｃデータ２２２に対して補正済みの第１のスケーリング率を用いて補正済みの第２のスケーリング率を算出し、当該補正済みの第２のスケーリング率に応じたスケーリング処理を行い、Ｃデータ３２２を生成し、出力する。
【００５９】
尚、第１のスケーリング率の補正は、第２のスケーリング処理部１０２において、スケーリング処理の直前又は同時に行っても構わない。
【００６０】
また、上述したスケーリング処理によりソース画像データ２のリサンプリングポイントを算出しても構わない。
【００６１】
本発明の実施の形態１により、ソース画像データ２に含まれるＹデータ２１１及びＹデータ２２１、並びに、Ｃデータ２１２及びＣデータ２２２といったデータ比率の異なる複数の信号を含む画像データにおいて、第２の領域２２に含まれるデータ比率の低いＣデータ２２２に対して、補正済みの第２のスケーリング率を用いることで、第１の領域２１に含まれるＣデータ２１２とは異なるスケーリング処理を行うことが可能となる。そのため、スケーリング処理を行う際に生じる色ずれ、すなわち、信号のずれを解消することができる。
【００６２】
言い換えれば、本発明の実施の形態１にかかる第１のスケーリング処理部は、データ比率の低い信号について、第１のスケーリング率に対して第２のスケーリング処理を実行した値になるように第１のスケーリング率を補正して第２のスケーリング率を算出するものである。
【００６３】
尚、上述した問題点が発生する画像データは、データ比率の異なる複数の信号を含むものである。具体的には、データ比率の高い信号は、輝度信号であり、データ比率の低い信号は、当該輝度信号との色差を示す色差信号であればよい。そして、より具体的には、輝度信号は、Ｙデータであり、色差信号は、Ｃｂ及びＣｒで表されるＣデータであればよい。つまり、ＹＣｂＣｒ４：２：２フォーマットは、水平方向のデータ量がＹとＣで異なるものである。尚、本発明が対象とする画像フォーマットは、ＹＣｂＣｒ４：２：２フォーマットに限定されない。
【００６４】
＜実施例１＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例１として、ＹＣｂＣｒ４：２：２フォーマットの画像データに対するスケーリング処理を行う画像処理装置１０ａの例を説明する。本実施例１では、スケーリング処理が三次処理から一次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。
【００６５】
図２は、本発明の実施例１にかかる画像処理装置１０ａの構成を示すブロック図である。画像処理装置１０ａは、画像処理装置１０に改良を加えたものであり、画像変換部１１と画像変換補正部１２とを備える。画像変換部１１は、ソース画像データ２の内、Ｙデータ２０１の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ３としてＹデータ３０１を出力する。尚、画像変換部１１は、上述した画像変換部９０ａを適用しても構わない。また、画像変換補正部１２は、ソース画像データ２の内、Ｃデータ２０２の入力を受け付け、スケーリング処理を実行し、デスティネーション画像データ３としてＣデータ３０２を出力する。ここで、画像変換補正部１２は、予め指定された領域に含まれるＣデータに対して、対応する領域に含まれるＹデータとは異なり、補正されたスケーリング率を適用してスケーリング処理を行うものである。
【００６６】
図３は、本発明の実施例１にかかる画像変換補正部１２の構成を示すブロック図である。画像変換補正部１２は、記憶部１２１と、リサンプリング部１２２と、ＤＤＡ演算部１２３とを備える。記憶部１２１は、スケーリング処理対象のソース画像データであるＣデータの入力を受け付け、格納する。記憶部１２１は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び不揮発性記憶装置等の記憶装置であればよい。
リサンプリング部１２２は、ＤＤＡ演算部１２３から入力されたリサンプリングポイントに対応する画像データを記憶部１２１から取得し、予め定められたデスティネーション画像データの領域に合わせて、スケーリング処理を行い、出力する。尚、記憶部１２１及びリサンプリング部１２２は、図１０の記憶部９１及びリサンプリング部９２と同様であればよい。
【００６７】
ＤＤＡ演算部１２３は、図１０のＤＤＡ演算部９３の機能に加え、ＤＤＡ被演算子補正部１２４を備える。ＤＤＡ被演算子補正部１２４は、一次関数、二次関数、及び三次関数演算処理の次数の切り替わりの直前に、ＤＤＡ被演算子であるＤｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３に対して補正を行う。これにより、ＤＤＡ演算部１２３は、次数の切り替わり後に補正後のＤＤＡ被演算子を用いてリサンプリングポイントを算出することができる。
【００６８】
図４は、本発明の実施例１にかかる画像変換補正部１２におけるリサンプリングポイントの算出処理を示すフローチャート図である。尚、図４のステップＳ１０１乃至Ｓ１０７並びにステップＳ１１０は、図１１のステップＳ９０１乃至Ｓ９０８と同様であるため、詳細な説明を省略し、以下では、図１１との違いを中心に説明する。
【００６９】
ＤＤＡ演算部１２３は、ステップＳ１０８において、処理の切り替わりか否かを判定する。具体的には、ＤＤＡ演算部１２３は、ＯｕｔＣｏｕｎｔが予め処理の切り替わりであると定めた値であるか否かを判定する。例えば、ノンリニアスケーリングである三次処理からリニアスケーリングである一次処理へ切り替わるデスティネーション画像の位置が該当する。
【００７０】
処理の切り替わりであると判定された場合、ＤＤＡ被演算子補正部１２４は、ＤＤＡ被演算子を補正する（Ｓ１０９）。このとき、ＤＤＡ演算部１２３は、ＤＤＡ被演算子であるＤｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３をＤＤＡ被演算子補正部１２４へ出力する。そして、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａ、Ｄｅｌｔａ２、及び、Ｄｅｌｔａ３の内、処理の切り替わりに応じたＤＤＡ被演算子について、予め設定された補正値を加算して、補正されたＤＤＡ被演算子を算出する。例えば、三次処理から一次処理へ切り替わる場合、ＤＤＡ被演算子補正部１２４は、ＤｅｌｔａにＤｅｌｔａの補正値を加算する。そして、補正されたＤｅｌｔａの値をＤＤＡ演算部１２３へ出力する。これにより、ＤＤＡ演算部１２３は、次のリサンプリングポイントの算出の際に、補正されたＤｅｌｔａの値を用いることができる。
【００７１】
言い換えれば、ＤＤＡ被演算子補正部１２４は、三次処理から一次処理へ切り替わるなど、ＤＤＡ演算の処理の次数が切り替わるポイントでは、切り替わる前のＤＤＡ演算でＹとＣのリサンプリング位置がずれないように、ＣデータのＤＤＡ被演算子に関して補正値の加算を行う。
【００７２】
具体例として、三次処理から一次処理へ処理が切り替わる時には、関係式（２０）及び（２１）と関係式（３７）及び（３８）のそれぞれの比較から、補正値を以下のように求める事ができる。
【００７３】
Ｄｅｌｔａの関係式（２１）と関係式（３８）とを比較すると、ＣのＤｅｌｔａが１／２ｄ２ｙ（２ｎ）分大きいことがわかる。しかし、ＹとＣは処理的に独立させるため、当該関係式をそのまま使用することはせず、以下の式の変換により、ＹとＣで独立して処理を行うようにする。そこで、関係式（２２）より、関係式（３９）を導出する。
【数３９】
【００７４】
さらに、関係式（３）より、関係式（４０）を導出する。
【数４０】
【００７５】
そして、関係式（４０）を関係式（３９）に代入する事により、関係式（４１）を導出する。
【数４１】
【００７６】
よって、Ｄｅｌｔａの補正値は、補正値（４２）で表すことができる。
【数４２】
ＣのＤＤＡ被演算子と定数のみで補正値を表す事ができたので、ＹとＣは独立した処理が可能と言える。
【００７７】
そこで、三次処理から一次処理へ処理が切り替わる場合、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａに補正値（４２）を加算することで補正することができる。
【００７８】
このように、本発明では、関係式の差分から補正値を算出する事が可能で、ＤＤＡ被演算子補正部１２４は、処理が切り替わるタイミングで各ＤＤＡ被演算子に適切な補正値を加算することにより、ＹＣｂＣｒ４:２:２フォーマットにおいてリサンプリング位置がずれないノンリニアスケーリングが可能となる。
【００７９】
次に、三次処理から一次処理に切り替わる時の補正値（４２）を使って、具体的な補正値を算出する。ここでは、ｎ＝ＬＳ／２、γ＝ｃとし、補正値は、補正値（４３）と算出することができる。
【数４３】
【００８０】
図５は、本発明の実施例１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図５では、図１５と同様に"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。そして、Ｙデータは、画像変換部１１により処理され、Ｃデータは、画像変換補正部１２により処理されるものである。尚、図５のＹデータにおけるステップＳ５１乃至Ｓ５５は、図１５のステップＳ１５１乃至Ｓ１５５と同様であるため、詳細な説明を省略し、以下では、図１５との違いであるＣデータにおける処理を中心に説明する。
【００８１】
まず、ＤＤＡ演算部１２３は、ステップＳ５１において、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２−１"であり、図４のステップＳ１０３、及びＳ１０５に相当する処理により、リサンプリングポイント、Ｄｅｌｔａ、及びＤｅｌｔａ２について加算を行う。さらに、ＤＤＡ演算部１２３は、ステップＳ１０８において、"ＬＳ／２−１"がＣデータにおける三次処理の最後の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"であり、次数の切り替わりの直前であると判定する。そして、ＤＤＡ被演算子補正部１２４は、図４のステップＳ１０９において、Ｄｅｌｔａに補正値（４３）を加算する。具体的には、図５の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"の場合のＣデータの入力値となるＤｅｌｔａは、ａ＋２ｂ＋ｃとなる。
【００８２】
次に、ＤＤＡ演算部１２３は、ステップＳ５３において、Ｃデータについては、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"であり、図４のステップＳ１０３に相当する処理により、リサンプリングポイントにステップＳ５１で補正されたＤｅｌｔａを加算する。そして、"ＬＳ／２"は、一次処理区間であるため、ＤＤＡ演算部１２３は、図４のステップＳ１０４により、ＮＯと判定し、Ｄｅｌｔａ及びＤｅｌｔａ２の加算は行わない。
【００８３】
このように、三次処理と一次処理の境界で、ＣデータにおけるＤｅｌｔａを補正する事により、ステップＳ５５においてもＹとＣの関係式（３７）及び（３８）を満たしている。つまり、この方法で補正を行う事により、図６に示すように、色ずれを解消することが出来る。
【００８４】
図６は、本発明の実施例１における画像データのスケーリング処理の結果の概要を示す模式図である。図６では、ソース画像データ２は、有色領域２１０及び有色領域２２０等を含み、有色領域２１０及び有色領域２２０は、Ｙデータ及びＣデータで表現されているものとする。また、画像処理装置１０ａによるスケーリング処理後のデータであるデスティネーション画像データ３は、有色領域３１０及び有色領域３２０を含み。ここで、有色領域３１０及び有色領域３２０では、図１４の有色領域８１０及び有色領域８２０とは異なり、色ずれが発生しないものとなる。
【００８５】
本発明の実施例１により、ノンリニアスケーリング処理とリニアスケーリング処理との切り替え時における色ずれを解消することができる。
【００８６】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、データ比率の低い信号であるＣデータについて、第１のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）と、第２のスケーリング率である一次処理におけるＤｅｌｔａに基づく値を算出する関係式（３８）との差分に基づいて補正するものである。
【００８７】
同様に、ＤＤＡ被演算子補正部１２４は、一次処理から三次処理への次数の切り替えにおいても、関係式（３８）と関係式（２１）との差分に基づいて補正するものである。
【００８８】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、第１のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）における次数に比べて、第２のスケーリング率である一次処理におけるＤｅｌｔａに基づく値を算出する関係式（３８）における次数が変化する場合に補正するものである。
【００８９】
＜実施例２＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例２として、スケーリング処理が二次処理から三次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。尚、本実施例２にかかる画像処理装置の構成は、図３と同様であるため、図示及び説明を省略する。
【００９０】
スケーリング処理が二次処理から三次処理へ切り替わる場合は、関係式（３０）乃至（３２）と関係式（２０）乃至（２２）とをそれぞれ比較することにより、三次処理切り替え時の補正値は、Ｄｅｌｔａ２に対して２γとなる。そこで、当該補正値２γを用いて、具体的な補正値を算出する。ここでは、二次処理であるためγ＝ｃ（定数）となり、具体的な補正値は、２ｃとなる。
【００９１】
図７は、本発明の実施例２における二次処理から三次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図７において、Ｙ及びＣの"ＲＰ．Ｎｏ．"は、リサンプリングポイント数を表している。そして、"ＲＰ．Ｎｏ．"における"ＣＳ"は、Ｙにおける三次処理開始時のリサンプリングポイント数である。そして、図７は、"ＲＰ．Ｎｏ．"が"ＣＳ−２"から"ＣＳ＋４"において、ＤＤＡ処理を行った場合を示している。
【００９２】
ここでは、"ＲＰ．Ｎｏ．"が"ＣＳ"に対してＹについての２ステップ前の"ＣＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、二次処理の関係式である関係式（３０）乃至（３２）により算出することができる。
【００９３】
具体的には、図７のステップＳ７１において、Ｙデータにおける"ＲＰ．Ｎｏ．"がＣＳ−２の時、リサンプリングポイントをｆ、Ｄｅｌｔａをａ、Ｄｅｌｔａ２をｂ、Ｄｅｌｔａ３をｃと定義する。そして、Ｃデータにおける"ＲＰ．Ｎｏ．"がＣＳ／２−１の時、リサンプリングポイントをｆ／２、Ｄｅｌｔａをａ＋ｂ／２、Ｄｅｌｔａ２を２ｂ、Ｄｅｌｔａ３を４ｃと定義する。但し、二次処理区間においてＤｅｌｔａ３は使用されない。
【００９４】
以下、処理の流れを説明するが、図５と同様の処理については、詳細な説明を省略し、以下では、図５との違いを中心に説明する。まず、図７では、ステップＳ７１及びＳ７２において、Ｙデータ及びＣデータに対して共に、二次処理が行われる。また、ステップＳ７３乃至Ｓ７７において、Ｙデータ及びＣデータに対して共に、三次処理が行われる。
【００９５】
ここで、Ｃデータについて、ＤＤＡ演算部１２３は、図４のステップＳ１０８において、二次処理から三次処理へ切り替わる場合、つまり、ＯｕｔＣｏｕｎｔが"ＣＳ／２−１"である場合、ＹＥＳと判定する。そして、ＤＤＡ被演算子補正部１２４は、Ｄｅｌｔａ２にＤｅｌｔａ２の補正値２ｃを加算する。そして、補正されたＤｅｌｔａ２の値をＤＤＡ演算部１２３へ出力する。具体的には、図７の"ＲＰ．Ｎｏ．"が"ＣＳ／２"の場合のＣデータの入力値となるＤｅｌｔａ２は、２ａ＋２ｂとなる。以後、ステップＳ７５及びＳ７７について、Ｙデータと同様に、三次処理が行われる。
【００９６】
図７に示すとおり、三次処理区間において常に関係式（２０）乃至（２３）を満たしており、色ずれは起こらない。それは、ステップＳ７１において、Ｄｅｌｔａ２を補正して、ステップＳ７３の入力値とすることにより、ステップＳ７３において、関係式（２０）乃至（２３）が成立するためである。
【００９７】
本発明の実施例２により、ノンリニアスケーリング処理間での次数の切り換え時における色ずれを解消することができる。
【００９８】
また、上述したＤＤＡ被演算子補正部１２４は、言い換えれば、データ比率の低い信号であるＣデータについて、第１のスケーリング率である二次処理におけるＤｅｌｔａに基づく値を算出する関係式（３１）に基づく差分Ｄｅｌｔａ２を算出する式（３２）と、第２のスケーリング率である三次処理におけるＤｅｌｔａに基づく値を算出する関係式（２１）に基づく差分Ｄｅｌｔａ２を算出する式（２２）との差分に基づいて補正するものである。
【００９９】
＜実施例３＞
以下に、本発明の実施の形態１にかかる画像処理装置１０の実施例３として、スケーリング処理が二次処理から一次処理へ切り替わる場合に、ＤＤＡ被演算子を補正するものについて説明する。尚、本実施例３にかかる画像処理装置の構成は、図３と同様であるため、図示及び説明を省略する。
【０１００】
スケーリング処理が二次処理から一次処理へ切り替わる場合は、関係式（３１）と関係式（３８）とを比較することにより、一次処理切り替え時の補正値は、Ｄｅｌｔａに対して−（１／２）ｄ２ｙ（２ｎ）となる。そこで、関係式（２６）に当該補正値−（１／２）ｄ２ｙ（２ｎ）を代入して、具体的な補正値を算出する。ここでは、β＝β２（定数）であるため、具体的な補正値は、関係式（４４）で表すことができる。
【数４４】
よって、関係式（４４）よりＤｅｌｔａの補正値は、−（１／２）ｂとなる。
【０１０１】
図８は、本発明の実施例３における二次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。図８は、図５と同様に、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ−２"から"ＬＳ＋２"において、ＤＤＡ処理を行った場合を示している。
【０１０２】
ここでは、"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ"に対してＹについての２ステップ前の"ＬＳ−２"におけるＤＤＡ被演算子を基準としてＣにおけるＤＤＡ被演算子を定義している。すなわち、ＣにおけるＤＤＡ被演算子は、上述した図７と同様に、二次処理の関係式である関係式（３０）乃至（３２）により算出することができる。図８のステップＳ８１における具体的な値は、図７のＣＳがＬＳに置き換わったものであるため、説明を省略する。
【０１０３】
以下、処理の流れを説明するが、図５と同様の処理については、詳細な説明を省略し、以下では、図５との違いを中心に説明する。まず、図８では、ステップＳ８１及びＳ８２において、Ｙデータ及びＣデータに対して共に、二次処理が行われる。また、ステップＳ８３乃至Ｓ８５において、Ｙデータ及びＣデータに対して共に、一次処理が行われる。
【０１０４】
ここで、Ｃデータについて、ＤＤＡ演算部１２３は、図４のステップＳ１０８において、二次処理から一次処理へ切り替わる場合、つまり、ＯｕｔＣｏｕｎｔが"ＬＳ／２−１"である場合、ＹＥＳと判定する。そして、ＤＤＡ被演算子補正部１２４は、ＤｅｌｔａにＤｅｌｔａの補正値−（１／２）ｂを加算する。そして、補正されたＤｅｌｔａの値をＤＤＡ演算部１２３へ出力する。具体的には、図８の"Ｄｓｔ．Ｄａｔａ Ｎｏ．"が"ＬＳ／２"の場合のＣデータの入力値となるＤｅｌｔａは、ａ＋２ｂとなる。以後、ステップＳ８５について、Ｙデータと同様に、一次処理が行われる。
【０１０５】
図８に示している通り、一処理区間において関係式（３７）及び（３８）を満たしているので、ＹとＣのリサンプリング位置は常に等しくなっていると言える。
【０１０６】
本発明の実施例３により、二次処理のノンリニアスケーリング処理とリニアスケーリング処理との切り替え時における色ずれを解消することができる。
【０１０７】
その他の発明の実施の形態．
本発明の実施例１乃至３に示したように、ＤＤＡ演算の処理が切り替わる際に、ＤＤＡ被演算子に適切な補正値を加算すればＹとＣのリサンプリング位置を常に等しくすることができる。本発明における一次、二次、及び三次処理を相互に切り替える際の補正値を示す表を図９に示す。例えば、三次処理から二次処理に切り替える時の補正は、Ｄｅｌｔａ２に対して−２γの補正値を加算することで実現できる。
【０１０８】
尚、ＹＣｂＣｒ４:２:２フォーマットにおいて色ずれが発生する課題は、特許文献３に示すように、ＹＣｂＣｒ４:４:４フォーマットにアップサンプリングしてからスケーリングすることによっても解決することができる。しなしながら、本発明では、アップサンプリングした場合に比べて、Ｃのデータ量が半分で良いためメモリの節約となり、スケーリング回路として規模の縮小ができるという効果を奏する。さらに、本発明では、スケーリング以降の画像処理においてもＣデータのデータ量が半分であるため、画像処理システム全体としての回路規模縮小が見込めるという効果を奏する。
【０１０９】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例１にかかる画像処理装置の構成を示すブロック図である。
【図３】本発明の実施例１にかかる画像変換補正部の構成を示すブロック図である。
【図４】本発明の実施例１にかかるリサンプリングポイントの算出処理を示すフローチャート図である。
【図５】本発明の実施例１における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図６】本発明の実施例１における画像データのスケーリング処理の結果の概要を示す模式図である。
【図７】本発明の実施例２における二次処理から三次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図８】本発明の実施例３における二次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【図９】本発明における一次、二次、及び三次処理を相互に切り替える際の補正値を示す表である。
【図１０】関連する技術の画像処理装置の構成を示すブロック図である。
【図１１】関連する技術のリサンプリングポイントの算出処理を示すフローチャート図である。
【図１２】関連する技術における出力画素に対する各ＤＤＡ被演算子の変化を示すグラフである。（ａ）は、リサンプリングポイントの変化を示すグラフである。（ｂ）は、Ｄｅｌｔａの変化を示すグラフである。（ｃ）は、Ｄｅｌｔａ２の変化を示すグラフである。
【図１３】ＹＣｂＣｒ４：２：２フォーマットの画像データに関連する技術を適用してスケーリング処理を行う装置の構成例を示すブロック図である。
【図１４】関連する技術における画像データのスケーリング処理の結果の概要を示す模式図である。
【図１５】関連する技術における三次処理から一次処理へ切り替わる際のアルゴリズム及び値の変化を示す図である。
【符号の説明】
【０１１１】
１０ 画像処理装置
１０ａ 画像処理装置
１０１ 第１のスケーリング処理部
１０２ 第２のスケーリング処理部
１１ 画像変換部
１２ 画像変換補正部
１２１ 記憶部
１２２ リサンプリング部
１２３ ＤＤＡ演算部
１２４ ＤＤＡ被演算子補正部
２ ソース画像データ
２０１ Ｙデータ
２０２ Ｃデータ
２１ 第１の領域
２１０ 有色領域
２１１ Ｙデータ
２１２ Ｃデータ
２２ 第２の領域
２２０ 有色領域
２２１ Ｙデータ
２２２ Ｃデータ
３ デスティネーション画像データ
３０１ Ｙデータ
３０２ Ｃデータ
３１ 第１の領域
３１０ 有色領域
３１１ Ｙデータ
３１２ Ｃデータ
３２ 第２の領域
３２０ 有色領域
３２１ Ｙデータ
３２２ Ｃデータ
７ ソース画像データ
７１ Ｙデータ
７２ Ｃデータ
７１０ 有色領域
７２０ 有色領域
８ デスティネーション画像データ
８１ Ｙデータ
８２ Ｃデータ
８１０ 有色領域
８１１ 色ずれ領域
８１２ 色ずれ領域
８２０ 有色領域
８２１ 色ずれ領域
９ 画像処理装置
９ａ 画像処理装置
９０ 画像変換部
９０ａ 画像変換部
９０ｂ 画像変換部
９１ 記憶部
９２ リサンプリング部
９３ ＤＤＡ演算部
【特許請求の範囲】
【請求項１】
データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理装置であって、
第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、
前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理部とを有し、
前記第２のスケーリング処理部は、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行する、画像処理装置。
【請求項２】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１のスケーリング率に対して前記第２のスケーリング処理を実行した値になるように前記第１のスケーリング率を補正して前記第２のスケーリング率を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１のスケーリング率に基づく値を算出する第１の関係式と、前記第２のスケーリング率に基づく値を算出する第２の関係式との差分に基づいて補正することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１の関係式に基づく差分を算出する式と、前記第２の関係式に基づく差分を算出する式との差分に基づいて補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１のスケーリング処理部は、前記第１のスケーリング率に基づく値を算出する第１の関係式における次数に比べて前記第２のスケーリング率に基づく値を算出する第２の関係式における次数が変化する場合に補正することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記データ比率の高い信号は、輝度信号であり、
前記データ比率の低い信号は、当該輝度信号との色差を示す色差信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記データ比率は、ＹＣｂＣｒ４：２：２フォーマットに基づくことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理方法であって、
第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理ステップと、
前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理ステップとを有し、
前記第２のスケーリング処理ステップは、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行する、画像処理方法。
【請求項９】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１のスケーリング率に対して前記第２のスケーリング処理を実行した値になるように前記第１のスケーリング率を補正して前記第２のスケーリング率を算出することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１のスケーリング率に基づく値を算出する第１の関係式と、前記第２のスケーリング率に基づく値を算出する第２の関係式との差分に基づいて補正することを特徴とする請求項８又は９に記載の画像処理方法。
【請求項１１】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１の関係式に基づく差分を算出する式と、前記第２の関係式に基づく差分を算出する式との差分に基づいて補正することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第１のスケーリング処理ステップは、前記第１のスケーリング率に基づく値を算出する第１の関係式における次数に比べて前記第２のスケーリング率に基づく値を算出する第２の関係式における次数が変化する場合に補正することを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
前記データ比率の高い信号は、輝度信号であり、
前記データ比率の低い信号は、当該輝度信号との色差を示す色差信号であることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記データ比率は、ＹＣｂＣｒ４：２：２フォーマットに基づくことを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理方法。
【請求項１】
データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理装置であって、
第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理部と、
前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理部とを有し、
前記第２のスケーリング処理部は、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行する、画像処理装置。
【請求項２】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１のスケーリング率に対して前記第２のスケーリング処理を実行した値になるように前記第１のスケーリング率を補正して前記第２のスケーリング率を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１のスケーリング率に基づく値を算出する第１の関係式と、前記第２のスケーリング率に基づく値を算出する第２の関係式との差分に基づいて補正することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１のスケーリング処理部は、前記データ比率の低い信号について、前記第１の関係式に基づく差分を算出する式と、前記第２の関係式に基づく差分を算出する式との差分に基づいて補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１のスケーリング処理部は、前記第１のスケーリング率に基づく値を算出する第１の関係式における次数に比べて前記第２のスケーリング率に基づく値を算出する第２の関係式における次数が変化する場合に補正することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記データ比率の高い信号は、輝度信号であり、
前記データ比率の低い信号は、当該輝度信号との色差を示す色差信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記データ比率は、ＹＣｂＣｒ４：２：２フォーマットに基づくことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
データ比率の異なる複数の信号を含む画像データに対してスケーリング処理を行う画像処理方法であって、
第１の領域における第１のスケーリング率に応じた第１のスケーリング処理を実行する第１のスケーリング処理ステップと、
前記第１の領域と隣接する第２の領域における第２のスケーリング率に応じた第２のスケーリング処理を前記第１のスケーリング処理後に実行する第２のスケーリング処理ステップとを有し、
前記第２のスケーリング処理ステップは、当該第２のスケーリング処理開始時に前記データ比率の高い信号に対して前記第１のスケーリング率を用いて当該第２のスケーリング処理を実行し、前記データ比率の低い信号に対して前記第１のスケーリング率を補正した前記第２のスケーリング率を用いて当該第２のスケーリング処理を実行する、画像処理方法。
【請求項９】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１のスケーリング率に対して前記第２のスケーリング処理を実行した値になるように前記第１のスケーリング率を補正して前記第２のスケーリング率を算出することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１のスケーリング率に基づく値を算出する第１の関係式と、前記第２のスケーリング率に基づく値を算出する第２の関係式との差分に基づいて補正することを特徴とする請求項８又は９に記載の画像処理方法。
【請求項１１】
前記第１のスケーリング処理ステップは、前記データ比率の低い信号について、前記第１の関係式に基づく差分を算出する式と、前記第２の関係式に基づく差分を算出する式との差分に基づいて補正することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第１のスケーリング処理ステップは、前記第１のスケーリング率に基づく値を算出する第１の関係式における次数に比べて前記第２のスケーリング率に基づく値を算出する第２の関係式における次数が変化する場合に補正することを特徴とする請求項８に記載の画像処理方法。
【請求項１３】
前記データ比率の高い信号は、輝度信号であり、
前記データ比率の低い信号は、当該輝度信号との色差を示す色差信号であることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記データ比率は、ＹＣｂＣｒ４：２：２フォーマットに基づくことを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２０３６８（Ｐ２０１０−２０３６８Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１７７５６１（Ｐ２００８−１７７５６１）
【出願日】平成２０年７月８日（２００８．７．８）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月８日（２００８．７．８）
【出願人】（３０２０６２９３１）ＮＥＣエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]