画像処理装置
【課題】４：２：０のインターレース信号を４：２：２のインターレース信号へ変換する時、従来は色差信号の補間処理を垂直方向に対してのみ行い、補間色差信号を生成していたために、垂直解像度を改善するのが困難であった。
【解決手段】４：２：０のインターレース信号を４：２：２のインターレース信号への変換する時、輝度信号を用いて斜め方向の相関を検出し、その検出結果を用いて、色差信号の補間を斜め方向についても行う。これにより、色差信号の画質向上を図ると共に、ＭＰＥＧデコード画像（４：２：０）で発生する色差信号のブロックノイズを削減しつつ、４：２：２の信号への変換を行うことができる。
【解決手段】４：２：０のインターレース信号を４：２：２のインターレース信号への変換する時、輝度信号を用いて斜め方向の相関を検出し、その検出結果を用いて、色差信号の補間を斜め方向についても行う。これにより、色差信号の画質向上を図ると共に、ＭＰＥＧデコード画像（４：２：０）で発生する色差信号のブロックノイズを削減しつつ、４：２：２の信号への変換を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーマット変換を行う画像処理装置に関する。特に、ＭＰＥＧに規定された４：２：０サンプリングフォーマットの復号ビデオデータを、４：２：２のサンプリングフォーマットに変換して出力する画像処理装置に関する。
【背景技術】
【０００２】
動画のビデオデータは、ＭＰＥＧ２方式などによりデータ圧縮することで、効率良く伝送することができる。このＭＰＥＧ２方式で最も一般的に使用されるメインプロファイル＠メインレベルにおいては、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットにより輝度信号及び色差信号をサンプリングしてビデオデータを生成し、このビデオデータをノンインターレース方式に対応するフレーム構造により符号化処理する。これに対してテレビジョン受像機等の映像機器においては、インターレース方式が適用され、一般に、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットにより輝度信号及び色差信号をサンプリングして処理する。
【０００３】
このため、従来の画像処理装置は、メインプロファイル＠メインレベルによるビデオデータを処理する場合、復号した色差信号を補間処理することにより、４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換し、また復号データをインターレース方式に変換して出力する。
【０００４】
４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換する技術は、特許文献１に開示されている。
【０００５】
図７は、色差信号に補間処理を行う従来の画像処理装置を示す図である。色差信号入力端子２０２に入力された色差信号ｃは、ラインメモリ２０７に入力される。ラインメモリ２０７は色差信号ｃに関する１水平期間分のデータを記憶し、次の１水平期間の経過後に遅延色差信号ｄｌｙｃを出力する。補間データ生成部２０８は、色差信号ｃと遅延色差信号ｄｌｙｃとを入力し、２つの色差信号から補間処理で新たな補間色差信号を生成し、色差信号出力端子２０４から出力する。
【０００６】
補間データ生成部２０８での補間色差信号の生成処理を、図８を用いて説明する。ＭＰＥＧ２などの４：２：０サンプリングフォーマットから所望する４：２：２のサンプリングフォーマットを得るために、内挿演算を行う。例えば、補間色差信号Ｃｂ１を得るために、
Ｃｂ１＝（Ｃａ１×５＋Ｃａ２×３）／８
の演算を行い、補間色差信号Ｃｂ２を得るために、
Ｃｂ２＝（Ｃａ１×１＋Ｃａ２×７）／８
の演算を行う。このように、補間データ生成部２０８は、入力される２つの色差信号を受け、垂直方向の補間演算処理（距離平均値補間）により補間色差信号を得ている。
【０００７】
輝度信号入力端子２０１から入力された輝度信号は色差信号と出力タイミングを合わすためにラインメモリ２０９を用いて１水平期間分遅延し、遅延輝度信号ｄｌｙｙ１として輝度信号出力端子２０３より出力される。これにより４：２：０フォーマットのビデオデータを４：２：２フォーマットのインターレース信号に変換し出力する。
【０００８】
上記の補間処理では、色差信号を用いて色差信号の補間のみを行い、輝度信号に対しては補間を行わない。輝度信号の補間も行う処理としては、例えば、４：２：２のサンプリングフォーマットのインターレース信号を、より精細な８：４：４のサンプリングフォーマットのプログレッシブ信号に変換する処理が考えられる。この変換処理では、輝度信号を用いて輝度信号の補間を行い、また、輝度信号とは独立して色差信号を用いて色差信号の補間を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−２３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図７および８を参照して説明した従来の画像処理装置では、色差信号の補間処理は垂直方向に対してのみ行っていた。このため、従来の画像処理装置では、色差信号の垂直解像度の改善はこれ以上できなかった。さらに、ＭＰＥＧでは水平・垂直方向にブロックノイズが発生する場合があり、垂直方向のみの補間では、ブロックノイズが発生している箇所のノイズ感を増幅させるという課題があった。
【００１１】
本発明は、上記従来の課題を解決するもので、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減する画像処理装置を提供する。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理装置であって、補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定する補間方向決定部と、前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成する補間色差信号生成部とを備えることを特徴とする。
【００１３】
ある実施形態によれば、前記輝度信号の補間は行わない。
【００１４】
ある実施形態によれば、前記補間方向決定部は、複数の方向のそれぞれにおいて輝度信号間の差分を演算し、前記輝度信号間の差分の演算結果に基づいて前記色差信号の補間を行う方向を決定する。
【００１５】
ある実施形態によれば、前記補間色差信号生成部は、前記補間方向に沿った位置に対応付けられた色差信号を用いて前記補間色差信号を生成する。
【００１６】
ある実施形態によれば、前記補間前のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットのビデオデータ信号であり、前記補間後のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットのビデオデータ信号である。
【００１７】
本発明の画像処理方法は、輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理方法であって、補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定するステップと、前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成するステップとを包含することを特徴とする。
【発明の効果】
【００１８】
本発明の画像処理装置によれば、輝度信号をもとに垂直もしくは斜め方向に色差信号の補間が可能であり、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態における斜め相関検出・補間方向決定部の構成を示す図である。
【図３】本発明の実施形態における斜め相関検出部の構成を示す図である。
【図４】本発明の実施形態における斜め相関検出部における演算に対応する画像信号の一例を示す図である。
【図５】本発明の実施形態における斜め方向の補間処理の一例を示す図である。
【図６】本発明の実施形態における画像処理装置を搭載したビデオカメラの構成を示す図である。
【図７】従来の画像処理装置の構成を示す図である。
【図８】従来の補間データを生成する処理を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００２１】
（１．画像記録装置について）
図６は、本発明の実施形態にかかる画像記録装置１０１を示すブロック図である。画像記録装置１０１は、色差信号の補間処理を行う画像処理装置１０を備えている。画像記録装置１０１はここではビデオカメラであるとして説明するが、本発明はビデオカメラに限定されず、例えばビデオレコーダーやパーソナルコンピュータ等の画像を記録する装置に適用され得る。また、本発明は、再生専用装置や、テレビジョン受像機等の表示装置に適用されてもよい。画像処理装置１０は色差信号の補間処理を行う任意の装置に搭載される。
【００２２】
なお、画像処理装置１０は、例えば半導体集積回路素子として実現される。画像処理装置１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。
【００２３】
ビデオカメラ１０１は、光学系１１０により形成された被写体像を撮像素子１２１で撮像する。撮像素子１２１で生成された画像データは、前処理・圧縮伸張部１４０で各種処理が施され、メモリーカード１６４に格納される。また、メモリーカード１６４などに格納された画像データは、液晶モニタ１６２で表示可能である。カードスロット１６３は、画像データをメモリーカードに格納する記録部として機能する。なお、データを格納する記録媒体は、メモリーカードのような半導体メモリー素子に限られず、ハードディスクや光ディスク等であってもよい。以下、ビデオカメラ１０１の構成を詳細に説明する。
【００２４】
光学系１１０は、対物レンズ１１１、ズームレンズ１１２、絞り１１３、ＯＩＳユニット１１４、フォーカスレンズ１１５を含む。光学系１１０は、被写体からの光を集光し、被写体像を形成する。駆動系１５０は、光学系１１０内の各光学素子を駆動する。
【００２５】
撮像素子１２１は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。撮像素子１２１は、例えばＣＣＤイメージセンサー又はＣＭＯＳイメージセンサーである。タイミングジェネレータ１２２は、撮像素子１２１を駆動するためのタイミング信号を生成する。ＡＤコンバータ１３１は、撮像素子１２１で生成された画像データをデジタル信号に変換する。
【００２６】
前処理・圧縮伸張部１４０は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正等の各種の処理を施す。前処理・圧縮伸張部１４０は、画像データに対して処理を施し、メモリーカード１６４に記録するための画像データを生成したり、液晶モニタ１６２に表示するための画像データを生成したりする。また、前処理・圧縮伸張部１４０は、メモリーカード１６４に格納された画像データに対して処理を施し、液晶モニタ１６２に表示するための画像データを生成したり、メモリーカード１６４に再格納するための画像データを生成したりする。前処理・圧縮伸張部１４０は、ＤＳＰやマイコンなどで実現可能である。
【００２７】
前処理部１４１は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。
【００２８】
図６に示す例では、画像処理装置１０は前処理部１４１に含まれる。画像処理装置１０は、輝度信号の斜め方向の相関を検出し、その検出結果に基づいて、色差信号に対して斜め方向の補間を行って補間色差信号を生成する。画像処理装置１０の構成の詳細は後述する。
【００２９】
圧縮部１４２は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。圧縮部１４２は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。
【００３０】
伸張部１４３は、メモリーカード１６４に格納された圧縮済みの画像データを液晶モニタ１６２で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００３１】
コントローラ１６０は、ビデオカメラ１０１全体を制御する制御手段である。コントローラ１６０は、半導体素子などで実現可能である。コントローラ１６０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。
【００３２】
バッファメモリ１６１は、前処理・圧縮伸張部１４０及びコントローラ１６０のワークメモリとして機能する。バッファメモリ１６１は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００３３】
カードスロット１６３は、メモリーカード１６４を着脱可能である。カードスロット１６３は、機械的及び電気的にメモリーカード１６４と接続可能である。メモリーカード１６４は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００３４】
液晶モニタ１６２は、撮像素子１２１で生成した画像データが示す画像やメモリーカード１６４などから読み出した画像データが示す画像を表示可能である。また、液晶モニタ１６２は、ビデオカメラ１０１の各種の設定情報や、撮影時間などを表示可能である。
【００３５】
操作部材１７０は、各種操作手段を総称した構成要素である。操作部材１７０は、使用者の指示を受け付け、その指示をコントローラ１６０に伝える。
【００３６】
（２．画像処理装置について）
本実施形態において、画像処理装置１０は、メモリーカード１６４に格納されたビデオデータを外部機器へ出力するときに、色差信号の補間処理を行う。また、画像処理装置１０は、メモリーカード１６４に格納されたビデオデータを液晶モニタ１６２に表示するときに、色差信号の補間処理を行う。画像処理装置１０は、例えばＭＰＥＧ方式で圧縮された画像データを表示可能なインターレース信号にデコードするときに用いられる。
【００３７】
次に、画像処理装置１０の構成および動作をより詳細に説明する。
【００３８】
図１は、画像処理装置１０の構成を示すブロック図である。
【００３９】
２Ｈラインメモリ９は、輝度信号入力端子１から入力された輝度信号の出力タイミングを色差信号と合わせるために、２水平期間分、輝度信号ｙを遅延させ、遅延輝度信号ｄｌｙｙを出力する。
【００４０】
斜め相関検出・補間方向決定部６は入力輝度信号ｙと２Ｈラインメモリ９の出力である遅延輝度信号ｄｌｙｙを入力として、輝度信号の斜め方向の相関を検出し、色差信号の補間すべき方向を決定して、補間方向信号ｄｉｒを出力する。
【００４１】
図２は、斜め相関検出・補間方向決定部６を示す図である。斜め相関検出部６１は入力輝度信号ｙと遅延輝度信号ｄｌｙｙから相関値ａ〜相関値ｇを生成する。補間方向決定部６２は相関値ａ〜相関値ｇを用いてもっとも相関が強い方向を探索（例えば相関値ａ〜相関値ｇの中でもっとも小さな値を探す）し、補間方向を決定して補間方向信号ｄｉｒを出力する。
【００４２】
図３は、斜め相関検出部６１を示す図である。遅延器６１０〜遅延器６２１は各々の入力信号を１サンプル分、遅延させる。減算器６３０は信号Ａ−Ａ１の演算を行い、相関値ａを求める。減算器６３１は信号Ｂ−Ｂ１の演算を行い、相関値ｂを求める。減算器６３２は信号Ｃ−Ｃ１の演算を行い、相関値ｃを求める。減算器６３３は信号Ｄ−Ｄ１の演算を行い、相関値ｄを求める。減算器６３４は信号Ｅ−Ｅ１の演算を行い、相関値ｅを求める。減算器６３５は信号Ｆ−Ｆ１の演算を行い、相関値ｆを求める。減算器６３６は信号Ｇ−Ｇ１の演算を行い、相関値ｇを求める。
【００４３】
図３における演算と画像信号との対応付けを図４に示す。表示画面上では複数の画素がマトリクス状に配列され、それぞれの画素に、輝度信号および色差信号が対応付けられる。図中、輝度信号は○で表し、色差信号は×で表している。本明細書において、垂直方向や斜め方向といった方向は、このような表示画面に画像信号を対応付けたときの方向を指す。垂直方向とは、水平走査方向（ライン方向）に対して垂直な方向を指し、斜め方向とは、水平走査方向に対して斜めの方向を指す。
【００４４】
図４を参照して、信号Ａから信号Ｇは、Ｎラインのサンプリング位置（Ｍ＋６）からＭの信号に対応し、信号Ａ１から信号Ｇ１は、（Ｎ＋２）ラインのサンプリング位置Ｍから（Ｍ＋６）の信号に対応する。図３の演算では、Ｎ＋１ラインのサンプリング位置（Ｍ＋３）を中心とした輝度信号の斜め相関を求めている。
【００４５】
ここで、例えば、画像上のＡとＡ１とを結ぶの方向に斜め線などの斜め方向成分が存在することにより、輝度信号ＡとＡ１の値が近い場合、相関値ａは小さな値となる。また、例えば、画像上のＢとＢ１とを結ぶ方向に斜め線などの斜め方向成分が存在する場合は、相関値ｂは小さな値となる。以下同様に、斜め方向の相関が強い方向の相関値が小さくなる。補間方向検出部６２は、この相関値ａ〜ｇの中で一番小さな値となった相関値に対応する方向を補間方向として決定し補間方向信号ｄｉｒを出力する。このように決定された補間方向に沿って、補間データ生成部８は補間色差信号を生成し、出力する。
【００４６】
色差信号入力端子２に入力された色差信号ｃは、ラインメモリ７に入力される。ラインメモリ７は色差信号ｃに関する１水平期間分のデータを記憶し、次の１水平期間の経過後に遅延色差信号ｄｌｙｃを出力する。補間データ生成部８は、色差信号ｃと遅延色差信号ｄｌｙｃとを入力し、２つの色差信号から補間処理で新たな補間色差信号を生成し、色差信号出力端子４から出力する。
【００４７】
図５は、補間データ生成部８が行う斜め方向の補間処理の一例を示した図である。図中、補間色差信号は△で表している。図５に示す例では、サンプリング位置（Ｍ＋２）における（Ｎ＋１）ライン及び（Ｎ＋２）ラインの補間色差信号を生成している。斜め相関検出部６１の演算において、例えばＢ−Ｂ１の演算値が他の演算値と比べて最小だった場合、すなわち、相関値ａ〜ｇのうちの最小値が相関値ｂだった場合、補間方向は画像上のＢとＢ１とを結ぶ方向（位置（Ｎ＋１、Ｍ＋２）を基準とした右斜め上方向および左斜め下方向）を示す。この場合、位置（Ｎ＋１、Ｍ＋２）に対応した補間色差信号Ｃｂ３は、例えば以下のように求めることで新たに生成することができる。
Ｃｂ３ ＝ （Ｃａ３×５＋Ｃａ４×３）／８
【００４８】
また、位置（Ｎ＋２、Ｍ＋２）に対応した補間色差信号Ｃｂ４は、例えば以下のように求めることができる。
Ｃｂ４ ＝ （Ｃａ３×１＋Ｃａ４×７）／８
【００４９】
なお、相関値ａ〜ｇのうちの最小値が相関値ｄだった場合は、補間方向は画像上の垂直方向となる。
【００５０】
４：２：０のサンプリングフォーマットの各ラインの各サンプリング位置に対して、上記のような補間色差信号の生成処理を順次行うことにより、４：２：２のサンプリングフォーマットのビデオデータを生成することができる。
【００５１】
また、上記の演算例では、補間色差信号Ｃｂ３、Ｃｂ４を距離の重み付けで求めていたが、別の演算方法として、
Ｃｂ３ ＝ （Ｃａ３＋Ｃａ４）／２
Ｃｂ４ ＝ （Ｃａ３＋Ｃａ４）／２
としてもよい。
【００５２】
このように、画像処理装置１０は、輝度信号をもとに、垂直方向だけでなく、斜め方向に関しても色差信号の補間が可能であり、したがって、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減することができる。
【００５３】
なお、上述したサンプリングフォーマット４：２：２のインターレース信号をサンプリングフォーマット８：４：４のプログレッシブ信号に変換する処理では、輝度信号の補間を行うことで輝度信号の情報量を増やすが、人間の目は輝度には敏感であるため、輝度信号の補間ミスが生じると人間はそれに起因する画像の乱れを大きく感じることになる。本発明では、補間を行うのは色差信号のみであり、輝度信号の補間は行わないので、仮に補間ミスが生じても、それに起因する画像の乱れは人間には意識されにくいレベルに留めることができる。また、輝度信号の補間は行わないことは、演算量を減らすことができると言う利点もある。
【産業上の利用可能性】
【００５４】
本発明にかかる画像処理装置は、輝度信号から求めた補間方向に沿って色差信号を斜め方向に補間することで、色差信号の垂直解像度感を向上させるとともに、ＭＰＥＧ圧縮で発生するブロックノイズの軽減が可能になる。本発明は、例えば、４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換し、また復号データをインターレース方式に変換して出力する画像処理装置などの用途に有用である。
【符号の説明】
【００５５】
１ 輝度信号入力端子
２ 色差信号入力端子
３ 輝度信号出力端子
４ 色差信号出力端子
６ 斜め相関検出・補間方向決定部
７ ラインメモリ
８ 補間データ生成部
９ ２Ｈラインメモリ
６１ 斜め相関検出部
６２ 補間方向決定部
６１０〜６２１ 遅延器
６３０〜６３６ 減算器
【技術分野】
【０００１】
本発明は、フォーマット変換を行う画像処理装置に関する。特に、ＭＰＥＧに規定された４：２：０サンプリングフォーマットの復号ビデオデータを、４：２：２のサンプリングフォーマットに変換して出力する画像処理装置に関する。
【背景技術】
【０００２】
動画のビデオデータは、ＭＰＥＧ２方式などによりデータ圧縮することで、効率良く伝送することができる。このＭＰＥＧ２方式で最も一般的に使用されるメインプロファイル＠メインレベルにおいては、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットにより輝度信号及び色差信号をサンプリングしてビデオデータを生成し、このビデオデータをノンインターレース方式に対応するフレーム構造により符号化処理する。これに対してテレビジョン受像機等の映像機器においては、インターレース方式が適用され、一般に、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットにより輝度信号及び色差信号をサンプリングして処理する。
【０００３】
このため、従来の画像処理装置は、メインプロファイル＠メインレベルによるビデオデータを処理する場合、復号した色差信号を補間処理することにより、４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換し、また復号データをインターレース方式に変換して出力する。
【０００４】
４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換する技術は、特許文献１に開示されている。
【０００５】
図７は、色差信号に補間処理を行う従来の画像処理装置を示す図である。色差信号入力端子２０２に入力された色差信号ｃは、ラインメモリ２０７に入力される。ラインメモリ２０７は色差信号ｃに関する１水平期間分のデータを記憶し、次の１水平期間の経過後に遅延色差信号ｄｌｙｃを出力する。補間データ生成部２０８は、色差信号ｃと遅延色差信号ｄｌｙｃとを入力し、２つの色差信号から補間処理で新たな補間色差信号を生成し、色差信号出力端子２０４から出力する。
【０００６】
補間データ生成部２０８での補間色差信号の生成処理を、図８を用いて説明する。ＭＰＥＧ２などの４：２：０サンプリングフォーマットから所望する４：２：２のサンプリングフォーマットを得るために、内挿演算を行う。例えば、補間色差信号Ｃｂ１を得るために、
Ｃｂ１＝（Ｃａ１×５＋Ｃａ２×３）／８
の演算を行い、補間色差信号Ｃｂ２を得るために、
Ｃｂ２＝（Ｃａ１×１＋Ｃａ２×７）／８
の演算を行う。このように、補間データ生成部２０８は、入力される２つの色差信号を受け、垂直方向の補間演算処理（距離平均値補間）により補間色差信号を得ている。
【０００７】
輝度信号入力端子２０１から入力された輝度信号は色差信号と出力タイミングを合わすためにラインメモリ２０９を用いて１水平期間分遅延し、遅延輝度信号ｄｌｙｙ１として輝度信号出力端子２０３より出力される。これにより４：２：０フォーマットのビデオデータを４：２：２フォーマットのインターレース信号に変換し出力する。
【０００８】
上記の補間処理では、色差信号を用いて色差信号の補間のみを行い、輝度信号に対しては補間を行わない。輝度信号の補間も行う処理としては、例えば、４：２：２のサンプリングフォーマットのインターレース信号を、より精細な８：４：４のサンプリングフォーマットのプログレッシブ信号に変換する処理が考えられる。この変換処理では、輝度信号を用いて輝度信号の補間を行い、また、輝度信号とは独立して色差信号を用いて色差信号の補間を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−２３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図７および８を参照して説明した従来の画像処理装置では、色差信号の補間処理は垂直方向に対してのみ行っていた。このため、従来の画像処理装置では、色差信号の垂直解像度の改善はこれ以上できなかった。さらに、ＭＰＥＧでは水平・垂直方向にブロックノイズが発生する場合があり、垂直方向のみの補間では、ブロックノイズが発生している箇所のノイズ感を増幅させるという課題があった。
【００１１】
本発明は、上記従来の課題を解決するもので、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減する画像処理装置を提供する。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理装置であって、補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定する補間方向決定部と、前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成する補間色差信号生成部とを備えることを特徴とする。
【００１３】
ある実施形態によれば、前記輝度信号の補間は行わない。
【００１４】
ある実施形態によれば、前記補間方向決定部は、複数の方向のそれぞれにおいて輝度信号間の差分を演算し、前記輝度信号間の差分の演算結果に基づいて前記色差信号の補間を行う方向を決定する。
【００１５】
ある実施形態によれば、前記補間色差信号生成部は、前記補間方向に沿った位置に対応付けられた色差信号を用いて前記補間色差信号を生成する。
【００１６】
ある実施形態によれば、前記補間前のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットのビデオデータ信号であり、前記補間後のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットのビデオデータ信号である。
【００１７】
本発明の画像処理方法は、輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理方法であって、補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定するステップと、前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成するステップとを包含することを特徴とする。
【発明の効果】
【００１８】
本発明の画像処理装置によれば、輝度信号をもとに垂直もしくは斜め方向に色差信号の補間が可能であり、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態における斜め相関検出・補間方向決定部の構成を示す図である。
【図３】本発明の実施形態における斜め相関検出部の構成を示す図である。
【図４】本発明の実施形態における斜め相関検出部における演算に対応する画像信号の一例を示す図である。
【図５】本発明の実施形態における斜め方向の補間処理の一例を示す図である。
【図６】本発明の実施形態における画像処理装置を搭載したビデオカメラの構成を示す図である。
【図７】従来の画像処理装置の構成を示す図である。
【図８】従来の補間データを生成する処理を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００２１】
（１．画像記録装置について）
図６は、本発明の実施形態にかかる画像記録装置１０１を示すブロック図である。画像記録装置１０１は、色差信号の補間処理を行う画像処理装置１０を備えている。画像記録装置１０１はここではビデオカメラであるとして説明するが、本発明はビデオカメラに限定されず、例えばビデオレコーダーやパーソナルコンピュータ等の画像を記録する装置に適用され得る。また、本発明は、再生専用装置や、テレビジョン受像機等の表示装置に適用されてもよい。画像処理装置１０は色差信号の補間処理を行う任意の装置に搭載される。
【００２２】
なお、画像処理装置１０は、例えば半導体集積回路素子として実現される。画像処理装置１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。
【００２３】
ビデオカメラ１０１は、光学系１１０により形成された被写体像を撮像素子１２１で撮像する。撮像素子１２１で生成された画像データは、前処理・圧縮伸張部１４０で各種処理が施され、メモリーカード１６４に格納される。また、メモリーカード１６４などに格納された画像データは、液晶モニタ１６２で表示可能である。カードスロット１６３は、画像データをメモリーカードに格納する記録部として機能する。なお、データを格納する記録媒体は、メモリーカードのような半導体メモリー素子に限られず、ハードディスクや光ディスク等であってもよい。以下、ビデオカメラ１０１の構成を詳細に説明する。
【００２４】
光学系１１０は、対物レンズ１１１、ズームレンズ１１２、絞り１１３、ＯＩＳユニット１１４、フォーカスレンズ１１５を含む。光学系１１０は、被写体からの光を集光し、被写体像を形成する。駆動系１５０は、光学系１１０内の各光学素子を駆動する。
【００２５】
撮像素子１２１は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。撮像素子１２１は、例えばＣＣＤイメージセンサー又はＣＭＯＳイメージセンサーである。タイミングジェネレータ１２２は、撮像素子１２１を駆動するためのタイミング信号を生成する。ＡＤコンバータ１３１は、撮像素子１２１で生成された画像データをデジタル信号に変換する。
【００２６】
前処理・圧縮伸張部１４０は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正等の各種の処理を施す。前処理・圧縮伸張部１４０は、画像データに対して処理を施し、メモリーカード１６４に記録するための画像データを生成したり、液晶モニタ１６２に表示するための画像データを生成したりする。また、前処理・圧縮伸張部１４０は、メモリーカード１６４に格納された画像データに対して処理を施し、液晶モニタ１６２に表示するための画像データを生成したり、メモリーカード１６４に再格納するための画像データを生成したりする。前処理・圧縮伸張部１４０は、ＤＳＰやマイコンなどで実現可能である。
【００２７】
前処理部１４１は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。
【００２８】
図６に示す例では、画像処理装置１０は前処理部１４１に含まれる。画像処理装置１０は、輝度信号の斜め方向の相関を検出し、その検出結果に基づいて、色差信号に対して斜め方向の補間を行って補間色差信号を生成する。画像処理装置１０の構成の詳細は後述する。
【００２９】
圧縮部１４２は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。圧縮部１４２は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。
【００３０】
伸張部１４３は、メモリーカード１６４に格納された圧縮済みの画像データを液晶モニタ１６２で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００３１】
コントローラ１６０は、ビデオカメラ１０１全体を制御する制御手段である。コントローラ１６０は、半導体素子などで実現可能である。コントローラ１６０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。
【００３２】
バッファメモリ１６１は、前処理・圧縮伸張部１４０及びコントローラ１６０のワークメモリとして機能する。バッファメモリ１６１は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００３３】
カードスロット１６３は、メモリーカード１６４を着脱可能である。カードスロット１６３は、機械的及び電気的にメモリーカード１６４と接続可能である。メモリーカード１６４は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００３４】
液晶モニタ１６２は、撮像素子１２１で生成した画像データが示す画像やメモリーカード１６４などから読み出した画像データが示す画像を表示可能である。また、液晶モニタ１６２は、ビデオカメラ１０１の各種の設定情報や、撮影時間などを表示可能である。
【００３５】
操作部材１７０は、各種操作手段を総称した構成要素である。操作部材１７０は、使用者の指示を受け付け、その指示をコントローラ１６０に伝える。
【００３６】
（２．画像処理装置について）
本実施形態において、画像処理装置１０は、メモリーカード１６４に格納されたビデオデータを外部機器へ出力するときに、色差信号の補間処理を行う。また、画像処理装置１０は、メモリーカード１６４に格納されたビデオデータを液晶モニタ１６２に表示するときに、色差信号の補間処理を行う。画像処理装置１０は、例えばＭＰＥＧ方式で圧縮された画像データを表示可能なインターレース信号にデコードするときに用いられる。
【００３７】
次に、画像処理装置１０の構成および動作をより詳細に説明する。
【００３８】
図１は、画像処理装置１０の構成を示すブロック図である。
【００３９】
２Ｈラインメモリ９は、輝度信号入力端子１から入力された輝度信号の出力タイミングを色差信号と合わせるために、２水平期間分、輝度信号ｙを遅延させ、遅延輝度信号ｄｌｙｙを出力する。
【００４０】
斜め相関検出・補間方向決定部６は入力輝度信号ｙと２Ｈラインメモリ９の出力である遅延輝度信号ｄｌｙｙを入力として、輝度信号の斜め方向の相関を検出し、色差信号の補間すべき方向を決定して、補間方向信号ｄｉｒを出力する。
【００４１】
図２は、斜め相関検出・補間方向決定部６を示す図である。斜め相関検出部６１は入力輝度信号ｙと遅延輝度信号ｄｌｙｙから相関値ａ〜相関値ｇを生成する。補間方向決定部６２は相関値ａ〜相関値ｇを用いてもっとも相関が強い方向を探索（例えば相関値ａ〜相関値ｇの中でもっとも小さな値を探す）し、補間方向を決定して補間方向信号ｄｉｒを出力する。
【００４２】
図３は、斜め相関検出部６１を示す図である。遅延器６１０〜遅延器６２１は各々の入力信号を１サンプル分、遅延させる。減算器６３０は信号Ａ−Ａ１の演算を行い、相関値ａを求める。減算器６３１は信号Ｂ−Ｂ１の演算を行い、相関値ｂを求める。減算器６３２は信号Ｃ−Ｃ１の演算を行い、相関値ｃを求める。減算器６３３は信号Ｄ−Ｄ１の演算を行い、相関値ｄを求める。減算器６３４は信号Ｅ−Ｅ１の演算を行い、相関値ｅを求める。減算器６３５は信号Ｆ−Ｆ１の演算を行い、相関値ｆを求める。減算器６３６は信号Ｇ−Ｇ１の演算を行い、相関値ｇを求める。
【００４３】
図３における演算と画像信号との対応付けを図４に示す。表示画面上では複数の画素がマトリクス状に配列され、それぞれの画素に、輝度信号および色差信号が対応付けられる。図中、輝度信号は○で表し、色差信号は×で表している。本明細書において、垂直方向や斜め方向といった方向は、このような表示画面に画像信号を対応付けたときの方向を指す。垂直方向とは、水平走査方向（ライン方向）に対して垂直な方向を指し、斜め方向とは、水平走査方向に対して斜めの方向を指す。
【００４４】
図４を参照して、信号Ａから信号Ｇは、Ｎラインのサンプリング位置（Ｍ＋６）からＭの信号に対応し、信号Ａ１から信号Ｇ１は、（Ｎ＋２）ラインのサンプリング位置Ｍから（Ｍ＋６）の信号に対応する。図３の演算では、Ｎ＋１ラインのサンプリング位置（Ｍ＋３）を中心とした輝度信号の斜め相関を求めている。
【００４５】
ここで、例えば、画像上のＡとＡ１とを結ぶの方向に斜め線などの斜め方向成分が存在することにより、輝度信号ＡとＡ１の値が近い場合、相関値ａは小さな値となる。また、例えば、画像上のＢとＢ１とを結ぶ方向に斜め線などの斜め方向成分が存在する場合は、相関値ｂは小さな値となる。以下同様に、斜め方向の相関が強い方向の相関値が小さくなる。補間方向検出部６２は、この相関値ａ〜ｇの中で一番小さな値となった相関値に対応する方向を補間方向として決定し補間方向信号ｄｉｒを出力する。このように決定された補間方向に沿って、補間データ生成部８は補間色差信号を生成し、出力する。
【００４６】
色差信号入力端子２に入力された色差信号ｃは、ラインメモリ７に入力される。ラインメモリ７は色差信号ｃに関する１水平期間分のデータを記憶し、次の１水平期間の経過後に遅延色差信号ｄｌｙｃを出力する。補間データ生成部８は、色差信号ｃと遅延色差信号ｄｌｙｃとを入力し、２つの色差信号から補間処理で新たな補間色差信号を生成し、色差信号出力端子４から出力する。
【００４７】
図５は、補間データ生成部８が行う斜め方向の補間処理の一例を示した図である。図中、補間色差信号は△で表している。図５に示す例では、サンプリング位置（Ｍ＋２）における（Ｎ＋１）ライン及び（Ｎ＋２）ラインの補間色差信号を生成している。斜め相関検出部６１の演算において、例えばＢ−Ｂ１の演算値が他の演算値と比べて最小だった場合、すなわち、相関値ａ〜ｇのうちの最小値が相関値ｂだった場合、補間方向は画像上のＢとＢ１とを結ぶ方向（位置（Ｎ＋１、Ｍ＋２）を基準とした右斜め上方向および左斜め下方向）を示す。この場合、位置（Ｎ＋１、Ｍ＋２）に対応した補間色差信号Ｃｂ３は、例えば以下のように求めることで新たに生成することができる。
Ｃｂ３ ＝ （Ｃａ３×５＋Ｃａ４×３）／８
【００４８】
また、位置（Ｎ＋２、Ｍ＋２）に対応した補間色差信号Ｃｂ４は、例えば以下のように求めることができる。
Ｃｂ４ ＝ （Ｃａ３×１＋Ｃａ４×７）／８
【００４９】
なお、相関値ａ〜ｇのうちの最小値が相関値ｄだった場合は、補間方向は画像上の垂直方向となる。
【００５０】
４：２：０のサンプリングフォーマットの各ラインの各サンプリング位置に対して、上記のような補間色差信号の生成処理を順次行うことにより、４：２：２のサンプリングフォーマットのビデオデータを生成することができる。
【００５１】
また、上記の演算例では、補間色差信号Ｃｂ３、Ｃｂ４を距離の重み付けで求めていたが、別の演算方法として、
Ｃｂ３ ＝ （Ｃａ３＋Ｃａ４）／２
Ｃｂ４ ＝ （Ｃａ３＋Ｃａ４）／２
としてもよい。
【００５２】
このように、画像処理装置１０は、輝度信号をもとに、垂直方向だけでなく、斜め方向に関しても色差信号の補間が可能であり、したがって、色差信号の垂直解像度を改善するとともに、ブロックノイズを軽減することができる。
【００５３】
なお、上述したサンプリングフォーマット４：２：２のインターレース信号をサンプリングフォーマット８：４：４のプログレッシブ信号に変換する処理では、輝度信号の補間を行うことで輝度信号の情報量を増やすが、人間の目は輝度には敏感であるため、輝度信号の補間ミスが生じると人間はそれに起因する画像の乱れを大きく感じることになる。本発明では、補間を行うのは色差信号のみであり、輝度信号の補間は行わないので、仮に補間ミスが生じても、それに起因する画像の乱れは人間には意識されにくいレベルに留めることができる。また、輝度信号の補間は行わないことは、演算量を減らすことができると言う利点もある。
【産業上の利用可能性】
【００５４】
本発明にかかる画像処理装置は、輝度信号から求めた補間方向に沿って色差信号を斜め方向に補間することで、色差信号の垂直解像度感を向上させるとともに、ＭＰＥＧ圧縮で発生するブロックノイズの軽減が可能になる。本発明は、例えば、４：２：０のサンプリングフォーマットのビデオデータを、４：２：２のサンプリングフォーマットに変換し、また復号データをインターレース方式に変換して出力する画像処理装置などの用途に有用である。
【符号の説明】
【００５５】
１ 輝度信号入力端子
２ 色差信号入力端子
３ 輝度信号出力端子
４ 色差信号出力端子
６ 斜め相関検出・補間方向決定部
７ ラインメモリ
８ 補間データ生成部
９ ２Ｈラインメモリ
６１ 斜め相関検出部
６２ 補間方向決定部
６１０〜６２１ 遅延器
６３０〜６３６ 減算器
【特許請求の範囲】
【請求項１】
輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理装置であって、
補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定する補間方向決定部と、
前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成する補間色差信号生成部と、
を備えた、画像処理装置。
【請求項２】
前記輝度信号の補間は行わない、請求項１に記載の画像処理装置。
【請求項３】
前記補間方向決定部は、複数の方向のそれぞれにおいて輝度信号間の差分を演算し、前記輝度信号間の差分の演算結果に基づいて前記色差信号の補間を行う方向を決定する、請求項１に記載の画像処理装置。
【請求項４】
前記補間色差信号生成部は、前記補間方向に沿った位置に対応付けられた色差信号を用いて前記補間色差信号を生成する、請求項１に記載の画像処理装置。
【請求項５】
前記補間前のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットのビデオデータ信号であり、
前記補間後のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットのビデオデータ信号である、請求項１に記載の画像処理装置。
【請求項６】
輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理方法であって、
補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定するステップと、
前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成するステップと、
を包含する、画像処理方法。
【請求項１】
輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理装置であって、
補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定する補間方向決定部と、
前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成する補間色差信号生成部と、
を備えた、画像処理装置。
【請求項２】
前記輝度信号の補間は行わない、請求項１に記載の画像処理装置。
【請求項３】
前記補間方向決定部は、複数の方向のそれぞれにおいて輝度信号間の差分を演算し、前記輝度信号間の差分の演算結果に基づいて前記色差信号の補間を行う方向を決定する、請求項１に記載の画像処理装置。
【請求項４】
前記補間色差信号生成部は、前記補間方向に沿った位置に対応付けられた色差信号を用いて前記補間色差信号を生成する、請求項１に記載の画像処理装置。
【請求項５】
前記補間前のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：０のサンプリングフォーマットのビデオデータ信号であり、
前記補間後のビデオデータ信号は、輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）の比が４：２：２のサンプリングフォーマットのビデオデータ信号である、請求項１に記載の画像処理装置。
【請求項６】
輝度信号および色差信号を含むビデオデータ信号を受け取り、色差信号を補間したビデオデータ信号を生成する画像処理方法であって、
補間前のビデオデータ信号中の輝度信号を用いて、色差信号の補間を行う方向を決定するステップと、
前記輝度信号を用いて決定した補間方向に基づいて、補間前のビデオデータ信号中の色差信号に対して垂直方向または斜め方向の補間を行い、補間色差信号を生成するステップと、
を包含する、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−３５１５７（Ｐ２０１０−３５１５７Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００９−１５１４３４（Ｐ２００９−１５１４３４）
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２１年６月２５日（２００９．６．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]