画像処理装置、画像処理方法及びコンピュータプログラム
【課題】原画像を拡大する際に、信頼度の高い補間画素を生成することで、拡大画像の画質低下を防止することができる画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】映像信号に基づく映像を構成する複数の画素から、対象画素「５」を含む対象領域を抽出し、対象領域内の列方向、行方向及び対角方向に沿って配列された画素の輝度値の絶対値差分和の平均を方向毎に算出する。平均の昇順に各方向をエッジ方向の候補として順位付け、上位２つの方向に沿って配列された画素の輝度値に基づいて、対象画素「５」に対する補間画素「５１」、「５２」の輝度値を算出する。補間画素「５１」、「５２」に、上位２つの方向の重み付けを行って、補間画素「５３」を生成する。
【解決手段】映像信号に基づく映像を構成する複数の画素から、対象画素「５」を含む対象領域を抽出し、対象領域内の列方向、行方向及び対角方向に沿って配列された画素の輝度値の絶対値差分和の平均を方向毎に算出する。平均の昇順に各方向をエッジ方向の候補として順位付け、上位２つの方向に沿って配列された画素の輝度値に基づいて、対象画素「５」に対する補間画素「５１」、「５２」の輝度値を算出する。補間画素「５１」、「５２」に、上位２つの方向の重み付けを行って、補間画素「５３」を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像を拡大する際に、画素間に補う補間画素を生成する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ＰＤＰ（Plasma Display Panel）又はＬＣＤ（Liquid Crystal Display）等の表示装置は大画面化が進んでいる。表示装置は、映像を画素単位で表示しており、画面の大型化に伴い、入力映像を画面に合わせて拡大又は縮小するスケーリング処理を行う必要がある。スケーリング処理を行った場合、映像のエッジ付近に発生するジャギ（階段状のギザギザ）、又はオーバーシュート／アンダーシュート（映像波形の歪み）等により、画質が劣化する問題が発生する。
【０００３】
特許文献１には、画像を拡大する際に発生するジャギ等を低減することができる画像変換方法が記載されている。特許文献１に記載の画像変換方法は、画像データの処理対象画素及びその近傍画素の画素値の差分を、方向毎（垂直、水平、右斜め及び左斜め方向）に算出し、算出した差分に基づき補間方向を決定する。そして、決定した補間方向にある近傍画素を用いて処理対象画素に対して補間する画素（以下、補間画素と言う）を生成することで、精度のよい拡大画像を得ることを可能としている。
【特許文献１】特開２００２−２４８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、補間方向を決定する際に、算出した差分が閾値以上又は以下であるかを判定する処理を複数回繰り返しているが、閾値の設定方法によって、補間方向が適切に決定されない場合がある。この結果、違和感のある補間画素が生成され、精度のよい拡大画像が得られない場合がある。また、特許文献１では、処理対象の画素と近傍画素との差分値のみに基づいて補間方向を決定しているため、決定した補間方向の信頼度が低く、必ずしも精度のよい拡大画像が得られないといった問題がある。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、原画像を拡大する際に、信頼度の高い補間画素を生成することで、拡大画像の画質低下を防止することができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理装置において、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段と、該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段と、該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段と、前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置は、前記情報取得手段は、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値の絶対値差分和を算出し、前記方向決定手段は、算出した前記絶対値差分和を、昇順にエッジ方向の候補として決定し、前記生成手段は、最上位の候補となるエッジ方向について算出した補間画素の輝度値に、他の方向における輝度値より大きい重み付けを行って補間画素を生成するようにしてあることを特徴とする。
【０００８】
本発明に係る画像処理装置は、前記輝度値算出手段は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出するようにしてあることを特徴とする。
【０００９】
本発明に係る画像処理方法は、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理方法において、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得し、取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定し、エッジ方向の候補として決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出し、エッジ方向の候補として決定した方向毎に算出した補間画素の輝度値に前記情報に基づく重み付けを行って前記対象画素に対する補間画素を生成することを特徴とする。
【００１０】
本発明に係るコンピュータプログラムは、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成するコンピュータで実行するコンピュータプログラムにおいて、前記コンピュータを、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段、該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段、該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段、及び、前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段として機能させることを特徴とする。
【００１１】
本発明では、原画像から抽出した対象領域内の複数の方向毎に、方向に沿って配列された画素の輝度値に関する情報を取得し、輝度値に関する情報に基づいて、複数の方向から原画像のエッジ方向の候補として複数決定する。エッジ方向の候補として決定した方向毎に、その方向に沿って配列された画素の輝度値に基づいて、対象画素に対する補間画素の輝度値を算出する。そして、エッジ方向の候補として決定した方向毎に、算出した補間画素に重み付けを行って対象画素に対する補間画素を生成する。このように、輝度値に関する情報を用いて原画像のエッジ（輪郭）を検出し、対象画素に補間する画素を検出したエッジ方向に重みをおいて生成する。この結果、エッジにおけるジャギ及びオーバーシュート／アンダーシュートが発生しないように原画像の拡大処理を行うことが可能となる。
【００１２】
本発明では、対象領域内の複数の方向毎に、方向に沿って配列された画素の輝度値の絶対値差分和を算出し、算出した絶対値差分和を、昇順にエッジ方向の候補として決定する。これにより、エッジ方向の候補の信頼度がより高くなる。そして、信頼度の高い方向から大きな値を持つように重み付けを行うことにより、誤った方向及び曖昧な方向を補間方向に含めた場合であっても、より精度のよい補間画素を生成することができる。また、信頼度の高い複数の方向に重み付けを行うことで、候補とした方向以外の方向に基づく補間画素を生成することができる。この結果、エッジのジャギ及びオーバーシュート／アンダーシュート等を抑えることが可能となる。
【００１３】
本発明では、公知の方法である線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出することで、ジャギを目立たなくする補間処理を簡単に行うことができる。
【発明の効果】
【００１４】
本発明によれば、輝度値に関する情報を用いて原画像のエッジ（輪郭）を検出し、対象画素に補間する画素を検出したエッジ方向に重みをおいて生成する。この結果、エッジにおけるジャギ及びオーバーシュート／アンダーシュートが発生しないように原画像の拡大処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る好適な実施形態について図面に基づいて詳述する。
【００１６】
（実施形態１）
実施形態１に係る表示装置（画像処理装置）は、液晶テレビ等のデジタルディスプレイであって、入力された映像信号に基づく映像を出力表示する。映像信号は、映像を表示するための信号であって、明るさを表す輝度信号（Ｙ）、輝度信号と赤との差である色差信号（Ｃｂ）、及び輝度信号と青との差である色差信号（Ｃｒ）の３つの情報で色を表現するＹＣｂＣｒ信号である。実施形態１では、表示装置は、入力された映像信号に基づく映像を、２倍に拡大して出力表示するものとして説明する。なお、表示装置に入力する映像信号は、ＤＶＤ（Digital Versatile Disk）等の記録媒体から読み取られたものであってもよいし、ケーブル等を介して伝送されたものでもよい。
【００１７】
図１（ａ）は、映像を構成する画素の一部を示す概念図であり、（ｂ）は映像を２倍に拡大した際に補間される画素を説明するための概念図である。
【００１８】
実施形態１では、図１（ａ）に示すように、４×４のマトリクス状に配列された画素に対し、１行１列目の画素を「０」とし「１５」までの番号を各画素に付している。より具体的には、１行目の画素には「０」から「３」の番号が付され、２行目の画素には「４」から「７」の番号が付されている。以下の説明において、列方向に沿って画素の番号が増加する方向（例えば、画素「０」から画素「３」に向かう方向）を右方向とする。また、行方向に沿って画素の番号が増加する方向（例えば、画素「０」から画素「１２」に向かう方向）を下方向とする。従って、右下方向とは、例えば画素「０」から画素「１５」に向かう方向となる。
【００１９】
表示装置は、映像を拡大する場合、画素「ｉ」（ｉ＝０〜１５）の周囲を補う最適な画素（以下、補間画素と言う）「ｉ１」、「ｉ２」、「ｉ３」を生成する。例えば、処理対象が画素「５」の場合、表示装置は、補間画素「５１」、「５２」、「５３」を生成する。映像を拡大することで、画素間の距離が大きくなるため、拡大後の映像の画質が低下する。このため、生成した補間画素を画素間に補うことで画素数を増やし、拡大後の映像の画質の低下を防ぐことができる。
【００２０】
表示装置は、生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」を、画素「ｉ」の右方向、下方向及び右下方向に隣接する画素との間に与える。具体的には、画素「５」を処理対象とした場合、図１（ｂ）に示すように、表示装置は、補間画素「５１」を画素「５」と画素「６」との間に与え、補間画素「５２」を画素「５」と画素「９」との間に与える。さらに、表示装置は、補間画素「５３」を画素「５」と画素「１０」との間に与える。なお、補間画素「ｉ１」、「ｉ２」、「ｉ３」の生成方法については後に詳述する。
【００２１】
図２は、実施形態１に係る表示装置の構成を模式的に示すブロック図である。
【００２２】
表示装置は、制御部１０、メモリ１１、操作部１２、表示部１３、映像信号取得部１４及び映像信号処理部１５を備えている。制御部１０は、ＣＰＵ（Central Processing Unit）及びＲＯＭ（Read Only Memory）等を備え、ＲＯＭに記憶される制御プログラムをＣＰＵにより実行して各部の制御を行う。メモリ１１は、揮発性又は不揮発性のメモリであって、処理に必要な各種データを適宜記憶する。操作部１２は、表示装置に対するユーザの操作を受け付ける。表示部１３は、後述の映像信号処理部１５により処理された映像信号に基づく映像を表示する。映像信号取得部１４は、映像信号を取得する。
【００２３】
映像信号処理部１５は、映像信号取得部１４が取得した映像信号に対する補間画素を生成し、映像を構成する各画素に与える等の処理を行う。図３は、映像信号処理部１５が有する機能を模式的に示すブロック図である。映像信号処理部１５は、記憶部１５０、領域抽出部１５１、輝度値取得部１５２、平均値算出部（情報取得手段）１５３、順位決定部（方向決定手段）１５４、スケーリング部（輝度値算出手段）１５５、重み付け部（生成手段）１５６及び映像信号出力部１５７を備えている。なお、映像信号処理部１５が有する機能は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの両方により実現可能である。
【００２４】
記憶部１５０は、映像信号取得部１４が取得した映像信号の各画素を記憶し得る記憶容量を有するラインメモリである。領域抽出部１５１は、映像を構成する複数の画素から、補間画素を生成する対象の画素を含む領域を抽出する。実施形態１では、領域抽出部１５１は、図１で説明したように、４×４のマトリクス状に配列された画素からなる領域を抽出する。
【００２５】
輝度値取得部１５２は、記憶部１５０からＹ信号（輝度信号）を取得し、映像を構成する各画素の輝度値「Ｙｉ」（ｉ＝０〜１５）を取得する。輝度値「Ｙｉ」は画素「ｉ」に対応しており、例えば画素「５」の輝度値は「Ｙ５」となる。
【００２６】
平均値算出部１５３は、処理対象の画素「ｉ」及びそれに隣接する８つの画素の計９つに関して、列方向、行方向及び対角方向における画素の輝度値の絶対値差分和を平均した平均値Ｓ１〜Ｓ４を算出する。９つの画素は、処理対象を画素「５」とした場合、画素「０」、「１」、「２」、「４」、「５」、「６」、「８」、「９」、「１０」である。
【００２７】
図４は、各方向における輝度値の絶対値差分和の平均値の算出について説明するための模式図である。平均値Ｓ１は、列方向に沿った画素の輝度値の絶対値差分和を平均した値である。具体的には、平均値Ｓ１は、図４（ａ）に示すように、画素「０」、「２」の輝度値の絶対値差分、画素「４」、「５」の輝度値の絶対値差分、画素「５」、「６」の輝度値の絶対値差分、及び、画素「８」、「１０」の輝度値の絶対値差分をそれぞれ加算して平均した値であり、以下の式で算出できる。
【数１】
【００２８】
同様に、平均値Ｓ２は、図４（ｂ）に示すように、行方向に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数２】
【００２９】
平均値Ｓ３は、図４（ｃ）に示すように、右上方向に傾斜する対角方向（以下、右上対角方向と言う）に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数３】
【００３０】
平均値Ｓ４は、図４（ｄ）に示すように、右下方向に傾斜する対角方向（以下、右下対角方向と言う）に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数４】
【００３１】
なお、平均値算出部１５３は、計９つの画素に関して各方向の平均値を算出しているが、平均値を算出する際に採用する画素の数は適宜変更可能である。また、平均値算出部１５３は、４差分の合計の平均値を算出しているが、６差分又は８差分の合計の平均値を算出してもよいし、４差分の合計の平均値に加え、６差分又は８差分の合計の平均値を算出するようにしてもよい。例えば、平均値算出部１５３は、以下の式により６差分の合計の平均値を算出することができる。
【数５】
【００３２】
順位決定部１５４は、平均値算出部１５３が算出した平均値Ｓ１〜Ｓ４の昇順に、列方向、行方向、右上対角方向及び右下対角方向をエッジ方向の候補として順位付けする。例えば平均値Ｓ１が最小値である場合、順位決定部１５４は、列方向の順位を１位、即ち、列方向がエッジ方向の１番の候補として決定する。順位決定部１５４は、決定した方向の順位をスケーリング部１５５と重み付け部１５６とへ出力する。
【００３３】
また、順位決定部１５４は、平均値Ｓ１〜Ｓ４の最小値をＳＤ１とし、次に小さい値をＳＤ２とし、ＳＤ１及びＳＤ２をスケーリング部１５５と重み付け部１５６とへ出力する。即ち、ＳＤ１は、順位決定部１５４が１位に順位付けた方向における輝度値の絶対値差分和の平均値であり、ＳＤ２は、２位に順位付けた方向における輝度値の絶対値差分和の平均値である。
【００３４】
スケーリング部１５５は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法等を用いて、処理対象の画素「ｉ」の右方向及び下方向に与える補間画素「ｉ１」、「ｉ２」を生成する。例えば、スケーリング部１５５は、映像信号に基づいて映像を構成する各画素が配置されている画像領域の平坦性を算出する。平坦性とは、映像内での視覚的な平坦度合いを示す指標であって、近傍画素との輝度値の差分値によって示される指標である。平坦性は、例えば隣接画素との輝度信号の差分値（一次微分値）、左（上）方向の隣接画素と右（下）方向の隣接画素との差分値の差分値（二次微分値）、あるいはその左右（上下）方向の差分値の積分値などである。そして、スケーリング部１５５は、算出した一次又は二次微分値等から、画素ごとに平坦性を算出し、適用するフィルタのタップ数を切り替える。
【００３５】
また、スケーリング部１５５は、算出した平坦性に応じてスケーリング用のフィルタのタップ数を選択してスケーリング処理を実行する。「スケーリング用のフィルタ」とは、補間画素を生成するために利用される関数を言い、補間画素の周囲にある画素を入力値として重み付け平均を実行する関数である。「タップ数」とは、その関数に入力される周囲画素の数である。
【００３６】
図５は、スケーリング用のフィルタの一例を表す図である。
【００３７】
図５（ａ）は、線形補間法において用いられるフィルタであり、２タップフィルタを表し、例えば中心にある画素Ａを補間画素として生成する際には、隣接する２画素（２タップ）を入力信号として補間画素を生成する。また、図５（ｂ）は、双３次補間法において用いられるフィルタであり、４タップフィルタを表し、画素Ａを補間画素として生成する際には、隣接する４画素（４タップ）を入力信号として補間画素を生成する。図５（ｃ）は、Ｌａｎｃｚｏｓ３法において用いられるフィルタであり、６タップフィルタを表し、画素Ａを補間画素として生成する際には、隣接する６画素（６タップ）を入力信号として補間画素を生成する。
【００３８】
スケーリング部１５５は、順位決定部１５４が１位及び２位に順位付けた方向と、ＳＤ１及びＳＤ２とに基づいて、処理対象の画素「ｉ」の右下方向に与える補間画素「ｉ３」を生成する。スケーリング部１５５は、補間画素「ｉ３」を生成するために、順位決定部１５４が１位及び２位に順位付けた方向の４画素に基づいて補間画素ＳＡ１、ＳＡ２を生成する。
【００３９】
補間画素ＳＡ１、ＳＡ２は、画素「ｉ」に対して補間する画素であり、例えば、処理対象を画素「５」とした場合、行方向が１位のとき、補間画素ＳＡ１は、画素「５」と画素「９」との間に補間する画素となる。このとき、補間画素ＳＡ１は、行方向に沿ってある４画素、即ち、画素「１」、「５」、「９」、「１３」に基づいて、双３次補間法を用いて輝度値が算出されることで生成される。なお、補間画素ＳＡ１は、双３次補間法を用いたために４画素に基づいて生成されているが、線形補間法又はＬａｎｃｚｏｓ３法を用いる場合、補間画素ＳＡ１は、行方向に沿ってある２画素又は６画素に基づいて生成される。
【００４０】
また、処理対象を画素「５」とした場合、列方向が１位のとき、画素ＳＡ１は、画素「５」と画素「６」との間に補間する画素となる。このとき、補間画素ＳＡ１は、列方向に沿ってある画素「４」、「５」、「６」、「７」に基づいて生成される。右上対角方向が１位のとき、画素ＳＡ１は、画素「５」と画素「１０」との間に補間する画素となり、右上対角方向画素に沿ってある画素「３」、「６」、「９」、「１２」に基づいて生成される。右下対角方向が１位のとき、補間画素ＳＡ１は、画素「５」と画素「１０」との間に補間する画素となり、右下対角方向画素に沿ってある画素「０」、「５」、「１０」、「１５」に基づいて生成される。なお、補間画素ＳＡ２については、補間画素ＳＡ１と同様である。
【００４１】
重み付け部１５６は、候補としたエッジ方向に沿って配列された画素が補間に寄与する度合いが大きくなるよう、スケーリング部１５５が生成した補間画素ＳＡ１、ＳＡ２それぞれに、ＳＤ１、ＳＤ２に基づくエッジ方向の重みを積算した結果を合計することで、補間画素「ｉ３」を生成する。具体的には、重み付け部１５６は、下記の式に基づいて補間画素「ｉ３」を生成する。
【数６】
【００４２】
なお、重み付け部１５６は、生成した補間画素「ｉ３」において、画素「１」〜「１５」の輝度値の最小値と最大値との範囲内でない場合、補間画素「ｉ３」の輝度値を、画素「１」〜「１５」の輝度値の最小値又は最大値に設定する。これにより、補間画素が周辺の画素に比べて極端に明るく又は暗くなり、画質が低下するおそれを低減できる場合がある。
【００４３】
このように、上位二つに順位付けたエッジ方向に沿って配列された画素が補間に寄与する度合いが大きくなるよう重み付けすることで、候補とした二つの方向以外の方向をエッジ方向として補間画素を生成することができる。例えば、右下対角方向及び行方向をエッジ方向の候補とし、各方向に積算する重みがそれぞれ０．５である場合、生成した補間画素は、各方向の補間画素に重みを積算した結果の合計和となるため、各方向の真ん中の方向をエッジ方向として生成されたとみなすことができる。
【００４４】
より具体的には、列方向に対して右下対角方向が４５度、行方向が９０度方向であるため、補間画素は、列方向に対して約７０度方向をエッジ方向として生成されたとみなすことができる。同様に、右下対角方向及び行方向に積算する重みがそれぞれ０．１及び０．９である場合、補間画素は、ほぼ行方向をエッジ方向として生成されたとみなすことができる。一方で、右下対角方向及び行方向に積算する重みがそれぞれ０．９及び０．１である場合、補間画素は、ほぼ右下対角方向をエッジ方向として生成されたとみなすことができる。
【００４５】
映像信号出力部１５７は、スケーリング部１５５及び重み付け部１５６が生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」を映像信号取得部１４が取得した映像信号に与え、表示部１３へ出力する。これにより、表示部１３は、２倍に拡大した映像を出力表示できる。
【００４６】
なお、映像信号処理部１５は、平均値算出部１５３により輝度値差分の平均値を算出し、算出した平均値の順位を用いて補間画素を生成しているが、輝度値差分の平均値でなく、輝度値差分の合計値を用いて補間画素を生成するようにしてもよい。また、映像信号処理部１５は、平均値算出部１５３において４差分の平均値に加え、６差分又は８差分の平均値Ｓ５，Ｓ６を算出し、算出した平均値Ｓ１〜Ｓ６を用いて補間画素を生成するようにしてもよい。この場合、より精度の高い補間画素を生成することができる場合がある。
【００４７】
以上のように構成された表示装置における動作について説明する。図６は、表示装置の動作を示すフローチャートである。図６に示す処理は、制御部１０により実行される。
【００４８】
制御部１０は、映像信号を取得し（Ｓ１）、各画素の輝度値を取得する（Ｓ２）。制御部１０は、対象領域を抽出し（Ｓ３）、対象領域内の画素「ｉ」を処理対象に設定する（Ｓ４）。ここで、「ｉ」は、初期値が「０」として設定されており、制御部１０は、最初にＳ３を実行した場合、画素「０」を処理対象とする。次に、制御部１０は、画素「ｉ」を中心として列方向、行方向、右上対角方向及び右下方向における輝度値の絶対値差分和の平均値Ｓ１〜Ｓ４を算出する（Ｓ５）。
【００４９】
制御部１０は、算出した平均値Ｓ１〜Ｓ４に基づいて、平均値の昇順に、列方向、行方向、右上対角方向及び右下対角方向の順位を決定する（Ｓ６）。続いて、制御部１０は、平均値Ｓ１〜Ｓ４の最小値をＳＤ１とし、次に小さい値をＳＤ２とする（Ｓ７）。制御部１０は、補間画素ＳＡ１及びＳＡ２を生成する（Ｓ８）。補間画素ＳＡ１及びＳＡ２は、上述のように、１位及び２位に順位付けされた方向にある４画素に基づいて生成される。
【００５０】
次に、制御部１０は、補間画素「ｉ１」、「ｉ２」を生成する（Ｓ９）。具体的には、制御部１０は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法等により補間画素「ｉ１」、「ｉ２」を生成する。なお、補間画素「ｉ１」、「ｉ２」を生成するタイミングは、画素「ｉ」を処理対象に設定した後のＳ４〜Ｓ９までのどのタイミングで行ってもよい。
【００５１】
制御部１０は、補間画素ＳＡ１及びＳＡ２と、１位及び２位に順位付けた方向の重みを加算することで、補間画素「ｉ３」を生成する（Ｓ１０）。その後、制御部１０は、Ｓ３で抽出した対象領域内の全画素に対して補間画素を生成する処理を行ったか否かを判定する（Ｓ１１）。全画素について終了していない場合（Ｓ１１：ＮＯ）、制御部１０は、処理をＳ４に移す。対象領域内の全画素に対して補間画素を生成した場合（Ｓ１１：ＹＥＳ）、制御部１０は、映像を構成する全画素に対して補間画素を生成したか否かを判定する（Ｓ１２）。映像を構成する全画素に対して補間画素を生成していない場合（Ｓ１２：ＮＯ）、制御部１０は、Ｓ３に戻り、補間画素を生成していない画素を含む対象領域を抽出し上述の処理を繰り返す。映像を構成する全画素に対して補間画素を生成した場合（Ｓ１２：ＹＥＳ）、制御部１０は、本処理を終了する。なお、制御部１０は、画素「ｉ」及び生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」をメモリ等に記憶しておき、随時表示部１３へ出力し、映像を表示する。
【００５２】
以上説明したように、実施形態１では、複数の方向において輝度値の絶対差分和の平均値Ｓ１〜Ｓ４を算出し、平均値Ｓ１〜Ｓ４を昇順とした上位２つに係る方向をエッジ方向としている。そして、斯かる方向に重み付けをして補間画素を生成しているため、エッジのジャギ及びオーバーシュート／アンダーシュートが発生しないように、精度の高い補間画素を生成することができる。
【００５３】
（実施形態２）
次に、本発明に係る実施形態２について説明する。実施形態１に係る表示装置は、制御部１０が有するＲＯＭ等に制御プログラムを予め記憶しており、映像の拡大処理を行っているが、実施形態２に係る表示装置は、着脱可能な記録媒体に記憶された制御プログラムを読み取って映像の拡大処理を行っている。
【００５４】
図７は、実施形態２に係る表示装置の構成を模式的に示すブロック図である。実施形態２に係る表示装置は、実施形態１の映像信号処理部１５を備えておらず、ＣＤ−ＲＯＭ１７ａの記録内容を読み取る読取部１７を備えている。ＣＤ−ＲＯＭ１７ａには、実施形態１で説明した領域抽出部、輝度値取得部、平均値算出部、順位決定部、スケーリング部及び重み付け部を表示装置に実行させる制御プログラム（ＰＧ）が記憶されている。表示装置は、読取部１７からＣＤ−ＲＯＭ１７ａに記録される制御プログラムを読み取り、実行することで実施形態１の映像信号処理部１５と同様の機能を有する。この場合、表示装置は、ＣＤ−ＲＯＭ１７ａからプログラムを読み取り、ＲＡＭ（Random Access Memory）にロードしつつ実行してもよいし、ハードディスクドライブ等にインストールして、実行してもよい。なお、制御プログラムを実行した表示装置の動作については実施形態１と同様であるため説明は省略する。
【００５５】
なお、実施形態２で説明した表示装置の他、パーソナルコンピュータで実行させるようなコンピュータプログラムにおいても、上述の動作を実行することができる。また、コンピュータプログラムを記録する記録媒体は、ＤＶＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）、ＦＤ（フレキシブルディスク）、又はその他任意の記録媒体が利用可能である。さらに、コンピュータプログラムは、インターネット等の通信網を介してダウンロードすることも可能である。
【００５６】
以上、本発明の好適な実施形態について、具体的に説明したが、各構成及び処理動作等は適宜変更可能であって、上述の実施形態に限定されることはない。例えば、実施形態１及び２では、本発明の画像処理装置を液晶ディスプレイ等の表示装置としているが、映像をスクリーンへ照射するプロジェクタであってもよいし、画像処理が可能なパーソナルコンピュータであってもよい。パーソナルコンピュータとした場合、例えばデジタルカメラ又はスキャナ等で取り込んだ画像データを拡大する場合等に適用させることができる。
【００５７】
また、実施形態１及び２では、映像信号はＹＣｂＣｒ信号としているが、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の三原色の組合せとして表現するＲＧＢ信号であってもよい。ＲＧＢ信号の場合、順位決定部１５４は、例えば、ＲＧＢそれぞれにおいて方向検出を行い、各結果の平均を取ることで方向順位を決定するようにしてもよい。また、ＲＧＢ信号の場合、順位決定部１５４は、他の要素として、例えば映像中の画素の輝度値の分布を示すヒストグラムを用い、映像上で最も頻度の高い要素を代表として使用するができる。
【００５８】
実施形態１及び２では、エッジ方向の候補として決定した上位２つを用いて補間画素を生成しているが、補間画素の精度を向上させるため、上位２つ以上を用いて補間画素を生成するようにしてもよい。その他、実施形態１及び２で説明した具体的な数値、手段及び方法などは適宜変更可能である。
【図面の簡単な説明】
【００５９】
【図１】（ａ）は、映像を構成する画素を示す概念図であり、（ｂ）は映像を２倍に拡大した際に補間される画素を説明するための概念図である。
【図２】実施形態１に係る表示装置の構成を模式的に示すブロック図である。
【図３】映像信号処理部が有する機能を模式的に示すブロック図である。
【図４】各方向における輝度値の絶対値差分和の平均値の算出について説明するための模式図である。
【図５】スケーリング用のフィルタの一例を表す図である。
【図６】表示装置の動作を示すフローチャートである。
【図７】実施形態２に係る表示装置の構成を模式的に示すブロック図である。
【符号の説明】
【００６０】
１５ 映像信号処理部
１５１ 領域抽出部
１５２ 輝度値取得部
１５３ 平均値算出部（情報取得手段）
１５４ 順位決定部（方向決定手段）
１５５ スケーリング部（輝度値算出手段）
１５６ 重み付け部（生成手段）
１５７ 映像信号出力部
【技術分野】
【０００１】
本発明は、例えば画像を拡大する際に、画素間に補う補間画素を生成する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ＰＤＰ（Plasma Display Panel）又はＬＣＤ（Liquid Crystal Display）等の表示装置は大画面化が進んでいる。表示装置は、映像を画素単位で表示しており、画面の大型化に伴い、入力映像を画面に合わせて拡大又は縮小するスケーリング処理を行う必要がある。スケーリング処理を行った場合、映像のエッジ付近に発生するジャギ（階段状のギザギザ）、又はオーバーシュート／アンダーシュート（映像波形の歪み）等により、画質が劣化する問題が発生する。
【０００３】
特許文献１には、画像を拡大する際に発生するジャギ等を低減することができる画像変換方法が記載されている。特許文献１に記載の画像変換方法は、画像データの処理対象画素及びその近傍画素の画素値の差分を、方向毎（垂直、水平、右斜め及び左斜め方向）に算出し、算出した差分に基づき補間方向を決定する。そして、決定した補間方向にある近傍画素を用いて処理対象画素に対して補間する画素（以下、補間画素と言う）を生成することで、精度のよい拡大画像を得ることを可能としている。
【特許文献１】特開２００２−２４８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、補間方向を決定する際に、算出した差分が閾値以上又は以下であるかを判定する処理を複数回繰り返しているが、閾値の設定方法によって、補間方向が適切に決定されない場合がある。この結果、違和感のある補間画素が生成され、精度のよい拡大画像が得られない場合がある。また、特許文献１では、処理対象の画素と近傍画素との差分値のみに基づいて補間方向を決定しているため、決定した補間方向の信頼度が低く、必ずしも精度のよい拡大画像が得られないといった問題がある。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、原画像を拡大する際に、信頼度の高い補間画素を生成することで、拡大画像の画質低下を防止することができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理装置において、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段と、該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段と、該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段と、前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理装置は、前記情報取得手段は、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値の絶対値差分和を算出し、前記方向決定手段は、算出した前記絶対値差分和を、昇順にエッジ方向の候補として決定し、前記生成手段は、最上位の候補となるエッジ方向について算出した補間画素の輝度値に、他の方向における輝度値より大きい重み付けを行って補間画素を生成するようにしてあることを特徴とする。
【０００８】
本発明に係る画像処理装置は、前記輝度値算出手段は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出するようにしてあることを特徴とする。
【０００９】
本発明に係る画像処理方法は、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理方法において、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得し、取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定し、エッジ方向の候補として決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出し、エッジ方向の候補として決定した方向毎に算出した補間画素の輝度値に前記情報に基づく重み付けを行って前記対象画素に対する補間画素を生成することを特徴とする。
【００１０】
本発明に係るコンピュータプログラムは、複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成するコンピュータで実行するコンピュータプログラムにおいて、前記コンピュータを、前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段、該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段、該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段、及び、前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段として機能させることを特徴とする。
【００１１】
本発明では、原画像から抽出した対象領域内の複数の方向毎に、方向に沿って配列された画素の輝度値に関する情報を取得し、輝度値に関する情報に基づいて、複数の方向から原画像のエッジ方向の候補として複数決定する。エッジ方向の候補として決定した方向毎に、その方向に沿って配列された画素の輝度値に基づいて、対象画素に対する補間画素の輝度値を算出する。そして、エッジ方向の候補として決定した方向毎に、算出した補間画素に重み付けを行って対象画素に対する補間画素を生成する。このように、輝度値に関する情報を用いて原画像のエッジ（輪郭）を検出し、対象画素に補間する画素を検出したエッジ方向に重みをおいて生成する。この結果、エッジにおけるジャギ及びオーバーシュート／アンダーシュートが発生しないように原画像の拡大処理を行うことが可能となる。
【００１２】
本発明では、対象領域内の複数の方向毎に、方向に沿って配列された画素の輝度値の絶対値差分和を算出し、算出した絶対値差分和を、昇順にエッジ方向の候補として決定する。これにより、エッジ方向の候補の信頼度がより高くなる。そして、信頼度の高い方向から大きな値を持つように重み付けを行うことにより、誤った方向及び曖昧な方向を補間方向に含めた場合であっても、より精度のよい補間画素を生成することができる。また、信頼度の高い複数の方向に重み付けを行うことで、候補とした方向以外の方向に基づく補間画素を生成することができる。この結果、エッジのジャギ及びオーバーシュート／アンダーシュート等を抑えることが可能となる。
【００１３】
本発明では、公知の方法である線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出することで、ジャギを目立たなくする補間処理を簡単に行うことができる。
【発明の効果】
【００１４】
本発明によれば、輝度値に関する情報を用いて原画像のエッジ（輪郭）を検出し、対象画素に補間する画素を検出したエッジ方向に重みをおいて生成する。この結果、エッジにおけるジャギ及びオーバーシュート／アンダーシュートが発生しないように原画像の拡大処理を行うことが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る好適な実施形態について図面に基づいて詳述する。
【００１６】
（実施形態１）
実施形態１に係る表示装置（画像処理装置）は、液晶テレビ等のデジタルディスプレイであって、入力された映像信号に基づく映像を出力表示する。映像信号は、映像を表示するための信号であって、明るさを表す輝度信号（Ｙ）、輝度信号と赤との差である色差信号（Ｃｂ）、及び輝度信号と青との差である色差信号（Ｃｒ）の３つの情報で色を表現するＹＣｂＣｒ信号である。実施形態１では、表示装置は、入力された映像信号に基づく映像を、２倍に拡大して出力表示するものとして説明する。なお、表示装置に入力する映像信号は、ＤＶＤ（Digital Versatile Disk）等の記録媒体から読み取られたものであってもよいし、ケーブル等を介して伝送されたものでもよい。
【００１７】
図１（ａ）は、映像を構成する画素の一部を示す概念図であり、（ｂ）は映像を２倍に拡大した際に補間される画素を説明するための概念図である。
【００１８】
実施形態１では、図１（ａ）に示すように、４×４のマトリクス状に配列された画素に対し、１行１列目の画素を「０」とし「１５」までの番号を各画素に付している。より具体的には、１行目の画素には「０」から「３」の番号が付され、２行目の画素には「４」から「７」の番号が付されている。以下の説明において、列方向に沿って画素の番号が増加する方向（例えば、画素「０」から画素「３」に向かう方向）を右方向とする。また、行方向に沿って画素の番号が増加する方向（例えば、画素「０」から画素「１２」に向かう方向）を下方向とする。従って、右下方向とは、例えば画素「０」から画素「１５」に向かう方向となる。
【００１９】
表示装置は、映像を拡大する場合、画素「ｉ」（ｉ＝０〜１５）の周囲を補う最適な画素（以下、補間画素と言う）「ｉ１」、「ｉ２」、「ｉ３」を生成する。例えば、処理対象が画素「５」の場合、表示装置は、補間画素「５１」、「５２」、「５３」を生成する。映像を拡大することで、画素間の距離が大きくなるため、拡大後の映像の画質が低下する。このため、生成した補間画素を画素間に補うことで画素数を増やし、拡大後の映像の画質の低下を防ぐことができる。
【００２０】
表示装置は、生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」を、画素「ｉ」の右方向、下方向及び右下方向に隣接する画素との間に与える。具体的には、画素「５」を処理対象とした場合、図１（ｂ）に示すように、表示装置は、補間画素「５１」を画素「５」と画素「６」との間に与え、補間画素「５２」を画素「５」と画素「９」との間に与える。さらに、表示装置は、補間画素「５３」を画素「５」と画素「１０」との間に与える。なお、補間画素「ｉ１」、「ｉ２」、「ｉ３」の生成方法については後に詳述する。
【００２１】
図２は、実施形態１に係る表示装置の構成を模式的に示すブロック図である。
【００２２】
表示装置は、制御部１０、メモリ１１、操作部１２、表示部１３、映像信号取得部１４及び映像信号処理部１５を備えている。制御部１０は、ＣＰＵ（Central Processing Unit）及びＲＯＭ（Read Only Memory）等を備え、ＲＯＭに記憶される制御プログラムをＣＰＵにより実行して各部の制御を行う。メモリ１１は、揮発性又は不揮発性のメモリであって、処理に必要な各種データを適宜記憶する。操作部１２は、表示装置に対するユーザの操作を受け付ける。表示部１３は、後述の映像信号処理部１５により処理された映像信号に基づく映像を表示する。映像信号取得部１４は、映像信号を取得する。
【００２３】
映像信号処理部１５は、映像信号取得部１４が取得した映像信号に対する補間画素を生成し、映像を構成する各画素に与える等の処理を行う。図３は、映像信号処理部１５が有する機能を模式的に示すブロック図である。映像信号処理部１５は、記憶部１５０、領域抽出部１５１、輝度値取得部１５２、平均値算出部（情報取得手段）１５３、順位決定部（方向決定手段）１５４、スケーリング部（輝度値算出手段）１５５、重み付け部（生成手段）１５６及び映像信号出力部１５７を備えている。なお、映像信号処理部１５が有する機能は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの両方により実現可能である。
【００２４】
記憶部１５０は、映像信号取得部１４が取得した映像信号の各画素を記憶し得る記憶容量を有するラインメモリである。領域抽出部１５１は、映像を構成する複数の画素から、補間画素を生成する対象の画素を含む領域を抽出する。実施形態１では、領域抽出部１５１は、図１で説明したように、４×４のマトリクス状に配列された画素からなる領域を抽出する。
【００２５】
輝度値取得部１５２は、記憶部１５０からＹ信号（輝度信号）を取得し、映像を構成する各画素の輝度値「Ｙｉ」（ｉ＝０〜１５）を取得する。輝度値「Ｙｉ」は画素「ｉ」に対応しており、例えば画素「５」の輝度値は「Ｙ５」となる。
【００２６】
平均値算出部１５３は、処理対象の画素「ｉ」及びそれに隣接する８つの画素の計９つに関して、列方向、行方向及び対角方向における画素の輝度値の絶対値差分和を平均した平均値Ｓ１〜Ｓ４を算出する。９つの画素は、処理対象を画素「５」とした場合、画素「０」、「１」、「２」、「４」、「５」、「６」、「８」、「９」、「１０」である。
【００２７】
図４は、各方向における輝度値の絶対値差分和の平均値の算出について説明するための模式図である。平均値Ｓ１は、列方向に沿った画素の輝度値の絶対値差分和を平均した値である。具体的には、平均値Ｓ１は、図４（ａ）に示すように、画素「０」、「２」の輝度値の絶対値差分、画素「４」、「５」の輝度値の絶対値差分、画素「５」、「６」の輝度値の絶対値差分、及び、画素「８」、「１０」の輝度値の絶対値差分をそれぞれ加算して平均した値であり、以下の式で算出できる。
【数１】
【００２８】
同様に、平均値Ｓ２は、図４（ｂ）に示すように、行方向に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数２】
【００２９】
平均値Ｓ３は、図４（ｃ）に示すように、右上方向に傾斜する対角方向（以下、右上対角方向と言う）に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数３】
【００３０】
平均値Ｓ４は、図４（ｄ）に示すように、右下方向に傾斜する対角方向（以下、右下対角方向と言う）に沿った画素の輝度値の絶対値差分和を平均した値であり、以下の式で算出できる。
【数４】
【００３１】
なお、平均値算出部１５３は、計９つの画素に関して各方向の平均値を算出しているが、平均値を算出する際に採用する画素の数は適宜変更可能である。また、平均値算出部１５３は、４差分の合計の平均値を算出しているが、６差分又は８差分の合計の平均値を算出してもよいし、４差分の合計の平均値に加え、６差分又は８差分の合計の平均値を算出するようにしてもよい。例えば、平均値算出部１５３は、以下の式により６差分の合計の平均値を算出することができる。
【数５】
【００３２】
順位決定部１５４は、平均値算出部１５３が算出した平均値Ｓ１〜Ｓ４の昇順に、列方向、行方向、右上対角方向及び右下対角方向をエッジ方向の候補として順位付けする。例えば平均値Ｓ１が最小値である場合、順位決定部１５４は、列方向の順位を１位、即ち、列方向がエッジ方向の１番の候補として決定する。順位決定部１５４は、決定した方向の順位をスケーリング部１５５と重み付け部１５６とへ出力する。
【００３３】
また、順位決定部１５４は、平均値Ｓ１〜Ｓ４の最小値をＳＤ１とし、次に小さい値をＳＤ２とし、ＳＤ１及びＳＤ２をスケーリング部１５５と重み付け部１５６とへ出力する。即ち、ＳＤ１は、順位決定部１５４が１位に順位付けた方向における輝度値の絶対値差分和の平均値であり、ＳＤ２は、２位に順位付けた方向における輝度値の絶対値差分和の平均値である。
【００３４】
スケーリング部１５５は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法等を用いて、処理対象の画素「ｉ」の右方向及び下方向に与える補間画素「ｉ１」、「ｉ２」を生成する。例えば、スケーリング部１５５は、映像信号に基づいて映像を構成する各画素が配置されている画像領域の平坦性を算出する。平坦性とは、映像内での視覚的な平坦度合いを示す指標であって、近傍画素との輝度値の差分値によって示される指標である。平坦性は、例えば隣接画素との輝度信号の差分値（一次微分値）、左（上）方向の隣接画素と右（下）方向の隣接画素との差分値の差分値（二次微分値）、あるいはその左右（上下）方向の差分値の積分値などである。そして、スケーリング部１５５は、算出した一次又は二次微分値等から、画素ごとに平坦性を算出し、適用するフィルタのタップ数を切り替える。
【００３５】
また、スケーリング部１５５は、算出した平坦性に応じてスケーリング用のフィルタのタップ数を選択してスケーリング処理を実行する。「スケーリング用のフィルタ」とは、補間画素を生成するために利用される関数を言い、補間画素の周囲にある画素を入力値として重み付け平均を実行する関数である。「タップ数」とは、その関数に入力される周囲画素の数である。
【００３６】
図５は、スケーリング用のフィルタの一例を表す図である。
【００３７】
図５（ａ）は、線形補間法において用いられるフィルタであり、２タップフィルタを表し、例えば中心にある画素Ａを補間画素として生成する際には、隣接する２画素（２タップ）を入力信号として補間画素を生成する。また、図５（ｂ）は、双３次補間法において用いられるフィルタであり、４タップフィルタを表し、画素Ａを補間画素として生成する際には、隣接する４画素（４タップ）を入力信号として補間画素を生成する。図５（ｃ）は、Ｌａｎｃｚｏｓ３法において用いられるフィルタであり、６タップフィルタを表し、画素Ａを補間画素として生成する際には、隣接する６画素（６タップ）を入力信号として補間画素を生成する。
【００３８】
スケーリング部１５５は、順位決定部１５４が１位及び２位に順位付けた方向と、ＳＤ１及びＳＤ２とに基づいて、処理対象の画素「ｉ」の右下方向に与える補間画素「ｉ３」を生成する。スケーリング部１５５は、補間画素「ｉ３」を生成するために、順位決定部１５４が１位及び２位に順位付けた方向の４画素に基づいて補間画素ＳＡ１、ＳＡ２を生成する。
【００３９】
補間画素ＳＡ１、ＳＡ２は、画素「ｉ」に対して補間する画素であり、例えば、処理対象を画素「５」とした場合、行方向が１位のとき、補間画素ＳＡ１は、画素「５」と画素「９」との間に補間する画素となる。このとき、補間画素ＳＡ１は、行方向に沿ってある４画素、即ち、画素「１」、「５」、「９」、「１３」に基づいて、双３次補間法を用いて輝度値が算出されることで生成される。なお、補間画素ＳＡ１は、双３次補間法を用いたために４画素に基づいて生成されているが、線形補間法又はＬａｎｃｚｏｓ３法を用いる場合、補間画素ＳＡ１は、行方向に沿ってある２画素又は６画素に基づいて生成される。
【００４０】
また、処理対象を画素「５」とした場合、列方向が１位のとき、画素ＳＡ１は、画素「５」と画素「６」との間に補間する画素となる。このとき、補間画素ＳＡ１は、列方向に沿ってある画素「４」、「５」、「６」、「７」に基づいて生成される。右上対角方向が１位のとき、画素ＳＡ１は、画素「５」と画素「１０」との間に補間する画素となり、右上対角方向画素に沿ってある画素「３」、「６」、「９」、「１２」に基づいて生成される。右下対角方向が１位のとき、補間画素ＳＡ１は、画素「５」と画素「１０」との間に補間する画素となり、右下対角方向画素に沿ってある画素「０」、「５」、「１０」、「１５」に基づいて生成される。なお、補間画素ＳＡ２については、補間画素ＳＡ１と同様である。
【００４１】
重み付け部１５６は、候補としたエッジ方向に沿って配列された画素が補間に寄与する度合いが大きくなるよう、スケーリング部１５５が生成した補間画素ＳＡ１、ＳＡ２それぞれに、ＳＤ１、ＳＤ２に基づくエッジ方向の重みを積算した結果を合計することで、補間画素「ｉ３」を生成する。具体的には、重み付け部１５６は、下記の式に基づいて補間画素「ｉ３」を生成する。
【数６】
【００４２】
なお、重み付け部１５６は、生成した補間画素「ｉ３」において、画素「１」〜「１５」の輝度値の最小値と最大値との範囲内でない場合、補間画素「ｉ３」の輝度値を、画素「１」〜「１５」の輝度値の最小値又は最大値に設定する。これにより、補間画素が周辺の画素に比べて極端に明るく又は暗くなり、画質が低下するおそれを低減できる場合がある。
【００４３】
このように、上位二つに順位付けたエッジ方向に沿って配列された画素が補間に寄与する度合いが大きくなるよう重み付けすることで、候補とした二つの方向以外の方向をエッジ方向として補間画素を生成することができる。例えば、右下対角方向及び行方向をエッジ方向の候補とし、各方向に積算する重みがそれぞれ０．５である場合、生成した補間画素は、各方向の補間画素に重みを積算した結果の合計和となるため、各方向の真ん中の方向をエッジ方向として生成されたとみなすことができる。
【００４４】
より具体的には、列方向に対して右下対角方向が４５度、行方向が９０度方向であるため、補間画素は、列方向に対して約７０度方向をエッジ方向として生成されたとみなすことができる。同様に、右下対角方向及び行方向に積算する重みがそれぞれ０．１及び０．９である場合、補間画素は、ほぼ行方向をエッジ方向として生成されたとみなすことができる。一方で、右下対角方向及び行方向に積算する重みがそれぞれ０．９及び０．１である場合、補間画素は、ほぼ右下対角方向をエッジ方向として生成されたとみなすことができる。
【００４５】
映像信号出力部１５７は、スケーリング部１５５及び重み付け部１５６が生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」を映像信号取得部１４が取得した映像信号に与え、表示部１３へ出力する。これにより、表示部１３は、２倍に拡大した映像を出力表示できる。
【００４６】
なお、映像信号処理部１５は、平均値算出部１５３により輝度値差分の平均値を算出し、算出した平均値の順位を用いて補間画素を生成しているが、輝度値差分の平均値でなく、輝度値差分の合計値を用いて補間画素を生成するようにしてもよい。また、映像信号処理部１５は、平均値算出部１５３において４差分の平均値に加え、６差分又は８差分の平均値Ｓ５，Ｓ６を算出し、算出した平均値Ｓ１〜Ｓ６を用いて補間画素を生成するようにしてもよい。この場合、より精度の高い補間画素を生成することができる場合がある。
【００４７】
以上のように構成された表示装置における動作について説明する。図６は、表示装置の動作を示すフローチャートである。図６に示す処理は、制御部１０により実行される。
【００４８】
制御部１０は、映像信号を取得し（Ｓ１）、各画素の輝度値を取得する（Ｓ２）。制御部１０は、対象領域を抽出し（Ｓ３）、対象領域内の画素「ｉ」を処理対象に設定する（Ｓ４）。ここで、「ｉ」は、初期値が「０」として設定されており、制御部１０は、最初にＳ３を実行した場合、画素「０」を処理対象とする。次に、制御部１０は、画素「ｉ」を中心として列方向、行方向、右上対角方向及び右下方向における輝度値の絶対値差分和の平均値Ｓ１〜Ｓ４を算出する（Ｓ５）。
【００４９】
制御部１０は、算出した平均値Ｓ１〜Ｓ４に基づいて、平均値の昇順に、列方向、行方向、右上対角方向及び右下対角方向の順位を決定する（Ｓ６）。続いて、制御部１０は、平均値Ｓ１〜Ｓ４の最小値をＳＤ１とし、次に小さい値をＳＤ２とする（Ｓ７）。制御部１０は、補間画素ＳＡ１及びＳＡ２を生成する（Ｓ８）。補間画素ＳＡ１及びＳＡ２は、上述のように、１位及び２位に順位付けされた方向にある４画素に基づいて生成される。
【００５０】
次に、制御部１０は、補間画素「ｉ１」、「ｉ２」を生成する（Ｓ９）。具体的には、制御部１０は、線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法等により補間画素「ｉ１」、「ｉ２」を生成する。なお、補間画素「ｉ１」、「ｉ２」を生成するタイミングは、画素「ｉ」を処理対象に設定した後のＳ４〜Ｓ９までのどのタイミングで行ってもよい。
【００５１】
制御部１０は、補間画素ＳＡ１及びＳＡ２と、１位及び２位に順位付けた方向の重みを加算することで、補間画素「ｉ３」を生成する（Ｓ１０）。その後、制御部１０は、Ｓ３で抽出した対象領域内の全画素に対して補間画素を生成する処理を行ったか否かを判定する（Ｓ１１）。全画素について終了していない場合（Ｓ１１：ＮＯ）、制御部１０は、処理をＳ４に移す。対象領域内の全画素に対して補間画素を生成した場合（Ｓ１１：ＹＥＳ）、制御部１０は、映像を構成する全画素に対して補間画素を生成したか否かを判定する（Ｓ１２）。映像を構成する全画素に対して補間画素を生成していない場合（Ｓ１２：ＮＯ）、制御部１０は、Ｓ３に戻り、補間画素を生成していない画素を含む対象領域を抽出し上述の処理を繰り返す。映像を構成する全画素に対して補間画素を生成した場合（Ｓ１２：ＹＥＳ）、制御部１０は、本処理を終了する。なお、制御部１０は、画素「ｉ」及び生成した補間画素「ｉ１」、「ｉ２」、「ｉ３」をメモリ等に記憶しておき、随時表示部１３へ出力し、映像を表示する。
【００５２】
以上説明したように、実施形態１では、複数の方向において輝度値の絶対差分和の平均値Ｓ１〜Ｓ４を算出し、平均値Ｓ１〜Ｓ４を昇順とした上位２つに係る方向をエッジ方向としている。そして、斯かる方向に重み付けをして補間画素を生成しているため、エッジのジャギ及びオーバーシュート／アンダーシュートが発生しないように、精度の高い補間画素を生成することができる。
【００５３】
（実施形態２）
次に、本発明に係る実施形態２について説明する。実施形態１に係る表示装置は、制御部１０が有するＲＯＭ等に制御プログラムを予め記憶しており、映像の拡大処理を行っているが、実施形態２に係る表示装置は、着脱可能な記録媒体に記憶された制御プログラムを読み取って映像の拡大処理を行っている。
【００５４】
図７は、実施形態２に係る表示装置の構成を模式的に示すブロック図である。実施形態２に係る表示装置は、実施形態１の映像信号処理部１５を備えておらず、ＣＤ−ＲＯＭ１７ａの記録内容を読み取る読取部１７を備えている。ＣＤ−ＲＯＭ１７ａには、実施形態１で説明した領域抽出部、輝度値取得部、平均値算出部、順位決定部、スケーリング部及び重み付け部を表示装置に実行させる制御プログラム（ＰＧ）が記憶されている。表示装置は、読取部１７からＣＤ−ＲＯＭ１７ａに記録される制御プログラムを読み取り、実行することで実施形態１の映像信号処理部１５と同様の機能を有する。この場合、表示装置は、ＣＤ−ＲＯＭ１７ａからプログラムを読み取り、ＲＡＭ（Random Access Memory）にロードしつつ実行してもよいし、ハードディスクドライブ等にインストールして、実行してもよい。なお、制御プログラムを実行した表示装置の動作については実施形態１と同様であるため説明は省略する。
【００５５】
なお、実施形態２で説明した表示装置の他、パーソナルコンピュータで実行させるようなコンピュータプログラムにおいても、上述の動作を実行することができる。また、コンピュータプログラムを記録する記録媒体は、ＤＶＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）、ＦＤ（フレキシブルディスク）、又はその他任意の記録媒体が利用可能である。さらに、コンピュータプログラムは、インターネット等の通信網を介してダウンロードすることも可能である。
【００５６】
以上、本発明の好適な実施形態について、具体的に説明したが、各構成及び処理動作等は適宜変更可能であって、上述の実施形態に限定されることはない。例えば、実施形態１及び２では、本発明の画像処理装置を液晶ディスプレイ等の表示装置としているが、映像をスクリーンへ照射するプロジェクタであってもよいし、画像処理が可能なパーソナルコンピュータであってもよい。パーソナルコンピュータとした場合、例えばデジタルカメラ又はスキャナ等で取り込んだ画像データを拡大する場合等に適用させることができる。
【００５７】
また、実施形態１及び２では、映像信号はＹＣｂＣｒ信号としているが、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の三原色の組合せとして表現するＲＧＢ信号であってもよい。ＲＧＢ信号の場合、順位決定部１５４は、例えば、ＲＧＢそれぞれにおいて方向検出を行い、各結果の平均を取ることで方向順位を決定するようにしてもよい。また、ＲＧＢ信号の場合、順位決定部１５４は、他の要素として、例えば映像中の画素の輝度値の分布を示すヒストグラムを用い、映像上で最も頻度の高い要素を代表として使用するができる。
【００５８】
実施形態１及び２では、エッジ方向の候補として決定した上位２つを用いて補間画素を生成しているが、補間画素の精度を向上させるため、上位２つ以上を用いて補間画素を生成するようにしてもよい。その他、実施形態１及び２で説明した具体的な数値、手段及び方法などは適宜変更可能である。
【図面の簡単な説明】
【００５９】
【図１】（ａ）は、映像を構成する画素を示す概念図であり、（ｂ）は映像を２倍に拡大した際に補間される画素を説明するための概念図である。
【図２】実施形態１に係る表示装置の構成を模式的に示すブロック図である。
【図３】映像信号処理部が有する機能を模式的に示すブロック図である。
【図４】各方向における輝度値の絶対値差分和の平均値の算出について説明するための模式図である。
【図５】スケーリング用のフィルタの一例を表す図である。
【図６】表示装置の動作を示すフローチャートである。
【図７】実施形態２に係る表示装置の構成を模式的に示すブロック図である。
【符号の説明】
【００６０】
１５ 映像信号処理部
１５１ 領域抽出部
１５２ 輝度値取得部
１５３ 平均値算出部（情報取得手段）
１５４ 順位決定部（方向決定手段）
１５５ スケーリング部（輝度値算出手段）
１５６ 重み付け部（生成手段）
１５７ 映像信号出力部
【特許請求の範囲】
【請求項１】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理装置において、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段と、
該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段と、
該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段と、
前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報取得手段は、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値の絶対値差分和を算出し、
前記方向決定手段は、
算出した前記絶対値差分和を、昇順にエッジ方向の候補として決定し、
前記生成手段は、
最上位の候補となるエッジ方向について算出した補間画素の輝度値に、他の方向における輝度値より大きい重み付けを行って補間画素を生成するようにしてある
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度値算出手段は、
線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出するようにしてある
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理方法において、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得し、
取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定し、
エッジ方向の候補として決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出し、
エッジ方向の候補として決定した方向毎に算出した補間画素の輝度値に前記情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する
ことを特徴とする画像処理方法。
【請求項５】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成するコンピュータで実行するコンピュータプログラムにおいて、
前記コンピュータを、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段、
該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段、
該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段、及び、
前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段
として機能させることを特徴とするコンピュータプログラム。
【請求項１】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理装置において、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段と、
該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段と、
該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段と、
前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報取得手段は、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値の絶対値差分和を算出し、
前記方向決定手段は、
算出した前記絶対値差分和を、昇順にエッジ方向の候補として決定し、
前記生成手段は、
最上位の候補となるエッジ方向について算出した補間画素の輝度値に、他の方向における輝度値より大きい重み付けを行って補間画素を生成するようにしてある
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度値算出手段は、
線形補間法、双３次補間法又はＬａｎｃｚｏｓ３法の何れかにより補間画素の輝度値を算出するようにしてある
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成する画像処理方法において、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得し、
取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定し、
エッジ方向の候補として決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出し、
エッジ方向の候補として決定した方向毎に算出した補間画素の輝度値に前記情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する
ことを特徴とする画像処理方法。
【請求項５】
複数の画素から形成される原画像から対象画素を含む対象領域を抽出し、該対象領域内の画素の輝度値を用いて、前記対象画素と隣接する画素との間を補う補間画素を生成するコンピュータで実行するコンピュータプログラムにおいて、
前記コンピュータを、
前記対象領域内の複数の方向毎に、該方向に沿って配列された画素の輝度値に関する情報を取得する情報取得手段、
該情報取得手段が取得した情報に基づいて、前記複数の方向から原画像のエッジ方向の候補として複数決定する方向決定手段、
該方向決定手段が決定した方向毎に、該方向に沿って配列された画素の輝度値に基づいて、前記対象画素に対する補間画素の輝度値を算出する輝度値算出手段、及び、
前記方向決定手段が決定した方向毎に算出した補間画素の輝度値に前記情報取得手段が取得した情報に基づく重み付けを行って前記対象画素に対する補間画素を生成する生成手段
として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１５７８７７（Ｐ２０１０−１５７８７７Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３４６９０（Ｐ２００８−３３４６９０）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]