画像データ処理方法、画像データ処理装置及びプログラム
【課題】周波数解析などの手法を用いることなくより良好に補間画素を形成させることができるようにする。
【解決手段】第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する場合に、増えた画素を補間により形成させる補間画素形成処理を行う。その補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【解決手段】第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する場合に、増えた画素を補間により形成させる補間画素形成処理を行う。その補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像を拡大するために画像データの画素数を増やす処理を行う場合に好適な、画像データ処理方法、及びその処理方法を適用したデータ処理装置、並びにプログラムに関する。
【背景技術】
【０００２】
従来、静止画像を拡大する場合、一般に線形補間法や３次スプライン法を用いて、拡大により増えた画素を生成させるようにしてある。即ち、例えば水平方向ｎ画素×垂直方向ｍ画素の１枚の画像データを、水平方向２ｎ画素×垂直方向２ｍ画素にそれぞれ２倍に拡大することを想定すると、元の画像データの各画素の間に補間画素を生成させる必要があり、水平方向や垂直方向に隣接する元の画素の画素値を使用して、その原画素の値を線形補間などを行って、補間画素値を得るようにしてある。
【０００３】
【非特許文献１】「高解像度画像部分空間と多項式近似による局所画像曲面に基づく画像の高解像度化手法」情報メディア学会誌 第５９巻 第１１号 １６９４頁〜１７００頁（２００５年１１月１日発行）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、単純な線形補間法などによる補間画素の形成では、画像の高周波成分が欠落して、ぼけた画像になってしまう問題がある。
この問題点を解決するために、画像拡大時に鮮明な高解像度画像を得る手法として、様々な手法が既に提案されている。
それらの手法は、大別すると、複数枚の画像データを使う手法と、１枚の画像データだけを用いる手法に分けることができる。
【０００５】
複数枚の画像データを使う手法の場合には、学習により低解像度画像と高解像度画像との関係を求めて、その求めた関係に基づき、低解像度画像を高解像度化するものである。この場合には、学習した低解像度画像と高解像度画像との関係と、適用する低解像画像及び高解像画像との関係との相関が高ければ、高解像度画像を高精度に推定できる。逆に相関が低ければ、高解像度画像の推定精度が著しく低下する問題がある。
【０００６】
１枚の画像データのみを使って高解像度画像を得る場合には、例えば、高解像度化する原画像を、ＤＣＴ係数、ウェーブレット係数、ラプラシアンピラミッドの成分に分解し、低周波成分から高周波成分を生成・強調を行うことにより、高解像度画像を推定する手法である。これらの１枚の画像データのみを使って高解像度画像を得る手法の場合には、低周波成分から高周波成分の生成・強調を行うために、リンギングやブロック状のノイズの発生があり、また画像の平坦部においてノイズが強調されてしまうという問題がある。
【０００７】
この問題点を解決するために、本願の発明者らは先に、非特許文献１において、高解像度画像拘束超平面と多項式近似による局所画像超曲面に基づく画像の高解像度化手法を提案した。この画像の高解像度化手法は、周波数解析を用いないため、リンギングやブロック状のノイズの発生を防ぐことが出来、また平坦部においてノイズが強調されることがないなどの効果が得られる。
しかしながら、この先に提案した手法では、高解像度化する画像を高解像度化する画像サイズに間引き、その間引いた箇所の輝度値を多項式近似により推定するために、点状のアーチファクトが生じるという課題が残った。
特に、画像内に表示された物体のエッジ部分の近傍の補間画素の値が、エッジ部分の周辺画素に影響されて、誤った補間値となって、エッジがぼけた画像になってしまうことがあった。
【０００８】
本発明はかかる点に鑑みてなされたものであり、周波数解析などの手法を用いることなくより良好に補間画素を形成させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する場合に適用される。
その処理としては、第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成処理を行う。
そして、補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。
また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。
そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【発明の効果】
【００１０】
本発明によると、画像をヒストグラム解析した結果を使って、補間画素値を得る際のその補間画素が、どの領域に属した画素であるのか判断して、その判断結果に基づいて補間値を得る処理が行われるので、エッジ部分の近傍の画素値を的確に推定でき、画像を高解像度化できるようになる。
特に、リンギング，ブロックノイズ，オーバシュートや点状のアーチファクトを生じることなく、画像を高解像度化することが可能となる。
【００１１】
また、ヒストグラム解析による領域分割処理として、画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義して、ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ画像中の異なる領域として設定するようにしたことで、画像データを適切にクラスタリングでき、そのクラスタリングされた結果に基づいて領域分割を適正に行え、良好な高解像度化が行える。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１３】
本実施の形態の例においては、入力した画像データ又は記憶した画像データに対して、１枚の画像データだけを使った処理で、画素数を増やす処理を行うようにしたものである。
【００１４】
本実施の形態で画素数を増やす処理の概要について説明すると、まず、３次スプライン関数により、画像を拡大する。次に、拡大した画像に対して輝度値のヒストグラムに基づく領域分割を行う。そして、各領域の周辺領域の輝度値を領域内部の輝度値から最小二乗近似により推定するようにしたものである。
【００１５】
図１は、本実施の形態の処理を行う構成例を示した図である。
この図１の例では、画像データ記憶部１に記憶された画像データを、画像拡大部２に供給して、画素数を増やす拡大処理を行い、その拡大された画像データを、画像出力部３から外部に出力させる。画像出力部３から出力させる画像データは、例えば、表示やプリントなどを行う。
【００１６】
画像拡大部２で画像データを拡大処理する際には、ヒストグラム領域分割部４で、画像データの輝度に基づいたヒストグラムを生成し、その生成したヒストグラムの峰ごとに領域分割を行う。その領域分割の詳細については後述する。
ヒストグラム領域分割部４で領域分割された結果は、エッジ抽出部５に供給し、画像拡大部２で画素数が拡大された画像中の、表示物体のエッジ部分の画素を抽出する。ここで抽出する画素は、拡大により発生した補間画素である。
そして、エッジ抽出部５で抽出された、そのエッジ部分の補間画素の画素値を、エッジ輝度判定部６で判定し、その判定結果を画像拡大処理部２に供給する。
エッジ輝度判定部６で輝度を判定する際には、ヒストグラム領域分割部４で判定された領域に基づいて、その補間画素がどの領域に属するかを判定し、その判定された領域内部の輝度値から最小二乗近似により推定する。推定した補間画素値は、画像拡大処理部２に供給し、画像出力部３に供給して出力させる拡大画像内の画素値に反映させる。
【００１７】
図２は、図１に示した処理を実行するデータ処理装置の構成例を示した図である。
ここでは、データ処理装置は、例えばコンピュータ装置とその周辺機器で構成してあり、コンピュータ装置に接続されたカメラ又はスキャナなど構成される画像取り込み部１１で、画像を取り込むようにしてあり、拡大された画像をディスプレイ１９に表示するようにしてある。コンピュータ装置には、画像データの拡大処理を行うためのソフトウェア（プログラム）がインストールしてある。操作については、例えばコンピュータ装置に接続されたキーボード１７を使用する。
【００１８】
画像取り込み部１１で取り込まれた画像データは、データ処理部１２に送られ、制御部１５の制御で拡大処理が行われて、拡大された画像データがデータメモリ１３に記憶される。画素値のヒストグラム化などの拡大処理に必要なデータ処理についても、データ処理部１２で実行される。このデータ処理部１２での処理は、プログラムメモリ１６に記憶されたプログラムの指示で、実行される。
【００１９】
図３は、本実施の形態での画像拡大の概要を示したものである。
ここでは、図３（ａ）に示すように、水平方向Ｘ画素×垂直方向Ｙ画素（ここでは水平方向３画素×垂直方向３画素）の１枚の原画像データを想定する。この図３（ａ）に示す高解像度化を行う画像の横・縦のサイズをそれぞれＸＮ，ＹＮとする。つまり、高解像度化する画像の横・縦を、それぞれＮ倍の高解像度化を行うものとする。ここでは、Ｎ＝２として説明する。
この原画像データに対して、水平方向の画素数と垂直方向の画素数をそれぞれ２倍に拡大した、図３（ｂ）に示す拡大画像を得る。この拡大画像の内で、斜線を付与して示す画素が、原画像の画素値をそのまま反映させた画素であり、水平・垂直いずれの方向も１画素間隔で配置されている。そして、拡大により新たに増えた画素（斜線を付与していない空白の画素）については、そのままでは画素値は不定である。この輝度値が不定の画素は、例えば値−１を割当てておく。
ここで、拡大により新たに増えた画素の画素値を、３次スプライン関数により補間画素値を得て、図３（ｃ）に示すように、全ての画素値を確定させる。ここで、ヒストグラム化を行って領域判定した結果を利用して、エッジ部分の補間画素については、領域内の画素の最小二乗近似により補間画素値を得る処理を行う。
なお、図３は拡大の原理を説明するための図であり、実際には水平方向と垂直方向の画素数は、より多い画素数であり、またそれぞれの方向で拡大する画素数も２倍には限らず、３倍などのより多くの画素数への拡大も可能である。
【００２０】
図４のフローチャートは、本実施の形態での画像の拡大処理を示すものである。
図４に沿って順に説明すると、まず原画像のデータが入力されると（ステップＳ１１）、その原画像データに対して、３次スプライン関数により補間画素を生成させて、画像を拡大する（ステップＳ１２）。その拡大された画像中の各画素の輝度値を、ヒストグラム化して、領域分割を行う（ステップＳ１３）。
そして、そのヒストグラム化による領域分割で得られた領域のエッジ部分の、推定画素（補間画素）を抽出する（ステップＳ１４）。その抽出した推定画素の画素値を、ステップＳ１３で判断した領域の内部輝度値を使った最小二乗近似により推定し（ステップＳ１５）、全ての画素値を確定させる。なお、以下の説明では、各領域のエッジ部（周辺部）における輝度値を推定する領域を輝度値推定領域と呼ぶ。
【００２１】
次に、図４のフローチャート中のステップＳ１３で、拡大された画像中の各画素の輝度値を、ヒストグラム化する処理について説明する。
ここでは、ヒストグラム化する際に、重み付き逐次ファジィクラスタリングの手法を使う。
まず、重み付き逐次フアジィクラスタリング手法のベースとなる類似度行列に類似度行列に基づくファジィクラスタリング手法の概要を説明し、次に、重み付き逐次ファジィクラスタリング手法の概要を説明する。
【００２２】
［類似度行列に基づくファジィクラスタリング］
Ｄ次元のベクトルデータｖがｎ個あるとすると、ｉ番目のデータｖｉとｊ番目のデータｖｊの類似度は、次の式（１）で示される。
【００２３】
【数１】
【００２４】
ただし、ｖｉ（ｄ），ｖｊ（ｄ）は、それぞれ、ｖｉ，ｖｊのｄ番目の要素とする。
ここで、Ｓｉｊが大きい、すなわち類似したデータをグループ化する。まず最初に、最も主要なクラスタを１つ抽出することを考える。各データｉが、このクラスタに所属する度合いをｘｉとし、クラスタの凝集度を、次の式（２）で評価する。
【００２５】
【数２】
【００２６】
ここでＳ＝[ｓｉｊ]は類似度行列であり、ｘ＝［ｘ１，・・・，ｘｎ］Ｔである。この凝集度が最大となるｘを求める。ただし、||ｘ||２＝ｘＴｘ＝１と制約する。凝集度が最も高いクラスタのｘは、次の式（３）の解である。
【００２７】
【数３】
【００２８】
この最適化問題の解決はLagrange乗数法により固有値問題に帰着することができる。式（３）を行列Ｓとベクトルｘで表せば、次の式（４）となり、Lagrange関数は式（５）となる。
【００２９】
【数４】
【００３０】
【数５】
【００３１】
λは、Lagrange乗数である。
式（３）の解は、式（６）を満たす。
【００３２】
【数６】
【００３３】
式（６）から、式（７）が得られる。
【００３４】
【数７】
【００３５】
（３）式の最適化問題解法は、固有値問題に帰着できる。各データの凝集度の値は、式（７）の固有値で与えられる。また、第１クラスタヘの所属度合いｘは、行列Ｓの最大固有値の固有ベクトルとなる。ここで、ｘｉが最大のデータｉ＊がクラスタの代表データであるとし、代表データの所属度が１となるように、ｍｉ＝ｘｉ／ｘｉ＊と正規化する。ここでは、ｍｉをメンバーシップと呼ぶこととする。
【００３６】
[重み付き逐次ファジィクラスタ抽出法]
次に、重み付き逐次ファジィクラスタ抽出法について説明する。ここでは、各データが重みを持つ場合を考える。この場合，式（３）は、次の式（８）となる。
【００３７】
【数８】
【００３８】
ただし，ｖｉ，ｖｊは、それぞれｘｉ，ｘｊに対する重みを表す。
ここで、Ｙｉ＝｛√(ｖｉ)｝・(Ｘｉ)とすると、式（８）は、次の式（９）となる。
【００３９】
【数９】
【００４０】
この最適化問題の解法も、Lagrange乗数法により固有値問題に帰着することができる。式（９）の最適解Ｙ＝［ｙ１，・・・，ｙｎ］は、
行列Ｓ＝［ｓｉｊ］：ｓ＝｛√(ｖｉ)｝｛√(ｖｊ)｝(ｓｉｊ)の固有ベクトルであり、式（８）の解ｘは、ｘｉ＝ｙｉ／｛√(ｖｉ)｝で与えられる。
｛√(ｖｉ)｝｛√(ｖｊ)｝(ｓｉｊ)(ｙｉ)(ｙｎ)＝(ｖｉ)(ｖｊ)(ｓｉｊ)(ｘｉ)(ｘｎ)であるので、行列Ｓの固有値が凝集度を与える。ｘｉが最大のｉを代表データｉ＊とすると、ｍｉ＝ｘｉ／ｘｉ＊を、データｉのメンバーシップ値とする、なお，ｖｉ＝０の場合、このデータを取り除いて処理すればよいが、ｖｉ＝０とすると、ｙｉ＝０となるので、ｘｉ＝０とすれば、ｖｉを含めてもよい。
【００４１】
次に、重み付き逐次ファジィクラスタ抽出法を用いて、抽出したクラスタに含まれるデータを取り除きながら、遂次的にクラスタを抽出する手法を示す。
まず、１番目のクラスタを上記の手法で抽出する。次に、２番目のクラスクの抽出する際に，１番目のクラスタに所属するデータを取り除いて同様の処理を行う。
各データｉが１番目のクラスタに所属するメンバーシップをｍ１ｉとすると、データｉの残存率は、１−ｍ１ｉとなり、これが２回目のクラスタ抽出でのデータの重みｖｉとなる。そこで、ｖｉ＝１−ｍ１ｉとし、２回目のクラスタ抽出処理を行う。
行列Ｓ２＝[ｓ２ｉｊ]：ｓ２ｉｊ＝｛√(１−ｍ１ｉ)｝｛√(１−ｍｉｊ)｝(ｓｉｊ)の第１固有ベクトルを、Ｙ２＝[ｙ21，・・・，ｙ2n]とすると、ｘ２ｉ＝ｙ２ｉ／｛√(１−ｍ１ｉ)｝となる。
但し、１番目のクラスタにおける代表データｉ１＊では、v１＊＝１−ｍ１ｉ１＊＝０となるので、ｘ２ｉ（１）＊＝０とする。
【００４２】
このｘ２ｉが最大となるデータｉ２＊が、２番目のクラスタにおける代表データであり、ｍ２ｉ＝ｘ２ｉ／ｘ２ｉ（２）＊が、各データｉの２番目のクラスタヘのメンバーシップ値となる。以下、同様にして各データｉのｋ番目のクラスタに対するメンバーシップ値は、
行列Ｓｋ＝[ｓｋｉｊ]：ｓｋｉｊ＝Πｌ＝１ｋ−１｛√(１−ｍ１ｉ)｝｛√(１−ｍｉｊ)｝(ｓｉｊ)
の固有ベクトルＹｋを求めれば、ｘｋｉ＝ｙｋｉ／｛√[Πｌ＝１ｋ−１(１−ｍ１ｉ)]｝により、ｍｋｉ＝ｘｋｉ／ｘｋｉ＊となる。抽出したクラスタの凝縮度はｋが増すにつれ、単調に減少するので、凝集度が閾値以下となった場合にクラスタ抽出の処理を終了する。
【００４３】
本実施の形態においては、ここまで説明した、重み付き逐次ファジィクラスタ抽出法を適用して、さらに峰の数が未知の多峰性ヒストグラムを解析するようにしたものである。
【００４４】
以下、その手法の概要について説明すると、本実施の形態においては、ヒストグラムの凝集度を求めるためにデータｉとｊの類似度ｓｉｊを、次の式（１０）のように再定義する。
【００４５】
【数１０】
【００４６】
そして、再定義した類似度ｓｉｊを用いて、重み付き逐次ファジィクラスタリング手法により、ヒストグラムの峰毎にクラスタリングする。最後に、主要な峰以外にクラスタリングされたヒストグラムを、主要な峰に所属させることにより、ヒストグラム全体の分峰を完了する。このヒストグラム全体の分峰結果に基づいて、画像中の各画素が、その画素値からどの領域に属すかを判断する。
【００４７】
以下に、図５〜図７を参照して、重み付き逐次ファジィクラスタリング手法を適用した、本実施の形態による具体的なヒストグラムの分峰処理のアルゴリズムについて説明する。
【００４８】
図６は、ヒストグラムの例を示した図である。入力又は記憶したデータをヒストグラムとして表したとき、図６（ａ）に示すような、複数の峰が存在するヒストグラムであるとする。図６（ａ）の横軸が各画素の輝度値で、縦軸が各輝度値の頻度を示すヒストグラム値である。このヒストグラムは、１枚（１フレーム）の画像中のヒストグラム値である。この図６（ａ）のヒストグラムのデータを、峰毎に分峰する処理を行って、領域分割するものである。
【００４９】
図５のフローチャートは、処理の流れを示した図である。図５に基づいて説明すると、まずヒストグラムに対して、式（１０）を使用して再定義した類似度の計算を行う（ステップＳ１）。そして、その再定義した類似度を用いて、上述した重み付き逐次ファジィクラスタリング処理を行う（ステップＳ２）。そして、ヒストグラム全体の最大値に対して、ある程度の比率で値を小さくした閾値を設定しておく。例えば、ヒストグラム全体の最大値の約２０％の値を、閾値とする。
【００５０】
このように設定された閾値と、クラスタリングされたヒストグラムの最大値とを比較する（ステップＳ３）。この比較で、クラスタリングされたヒストグラムの最大値が閾値以上である場合には、類似度行列の各成分の重み付けを行い（ステップＳ４）、再度、ステップＳ２の重み付き逐次ファジィクラスタリング処理を行う。このステップＳ２の重み付き逐次ファジィクラスタリング処理と、ステップＳ３の比較処理と、ステップＳ４の類似度行列の各成分の重み付け処理を繰り返すことで、図６（ｂ）に示すように、ヒストグラム内の各峰の最大値が順に検出されて、その検出された峰のクラスタに所属するデータが分けられて、クラスタリングされたヒストグラムが得られる。
【００５１】
そして、ステップＳ３の比較で、クラスタリングされたヒストグラムの最大値が閾値以上でない場合には、最後のクラスタに含まれているデータと、ヒストグラム中でまだクラスタリングされていないデータとを、各データに最近傍のクラスタに所属させる処理を行い（ステップＳ５）、ヒストグラムの分峰結果を得る（ステップＳ６）。ヒストグラムの分峰結果から、画像内の各画素が、画素値ごとに領域分割されることになる。
【００５２】
このフローチャートに示した処理の詳細例について、以下、数式を用いて、１．〜８．の手順として順に説明する。ここでは、０≦ｉ≦ｎに対するヒストグラム値ｈ（ｉ）が与えられているとする。
【００５３】
１． ｋ：＝１，ｌ(ｉ)：＝０（１≦ｉ≦ｎ）とし、ヒストグラムの最大値をｈｍａｘとする。
２． 類似度ｓｉｊを、次の式（１１）のように定義する。
【００５４】
【数１１】
【００５５】
そして、もし、ｋ＝１ならば、式（１２）のように設定する。
【００５６】
【数１２】
【００５７】
また、もしｋ＞１ならば、式（１３）のように設定する。
【００５８】
【数１３】
【００５９】
この式（１３）のように類似度を設定して、重み付き逐次ファジィクラスタリングにより、第ｋクラスタに対する各データｉのメンバーシップ値ｍｋｉを求める。
【００６０】
３． ｍｋｉ（ｍａｘ）＝ａｒｇｍａｘ１≦ｉ≦ｎ，ｌ（ｉ）＝０ｍｋｉとし、ｍｋｉ（ｍａｘ）におけるｉを、ｍａｘｋｉとする。各メンバーシップ値に対して、式（１４）の演算を行い、新たなメンバーシップ値ｍｉを算出する。
【００６１】
【数１４】
【００６２】
４． ０．５≦ｍｉを満たすｉのヒストグラムをｋ番目のクラスタとしてラベリング（ｌ(i)：＝ｋ）する。
５．ｈｋｍａｘ＝ａｒｇｍａｘ１≦ｉ≦ｎ，ｌ（ｉ）＝０ｈｉとし、ｈｋｍａｘ／ｈｍａｘが閾値Ｔｈｅｎｄ以上か否か判断する。
５．１ ここで、もし閾値Ｔｈｅｎｄ以上であるならば、ｋ：＝ｋ＋１として、２．の処理に戻る。
５．２ また、もし閾値Ｔｈｅｎｄ以上でないならば、ｌ(ｉ)＝ｋを満たすｌ(ｉ)を０とし、６．に進む。
６． ｉ：＝１とする。
７． ｌ(ｉ)＝０であるか。
７．１ もし、ｌ(ｉ)＝０である場合には、式（１５）の条件を満たすｊ＊を抽出し、ｌ(ｉ) ：＝ｌ(ｊ＊)とする。
【００６３】
【数１５】
【００６４】
７．２ もし、ｌ(ｉ)＝０でない場合には、ｉ：＝ｉ＋１として、７．の判断に戻る。８． ｉ＝ｎであるか。
８．１ もし、ｉ＝ｎであるなら、終了する。
８．２ もし、ｉ＝ｎでない場合には、ｉ：＝ｉ＋１として、７．の判断に戻る。
【００６５】
このようにして処理を行うことで、図６（ｂ）、図６（ｃ）に示すように各峰が検出されて、その峰にクラスタされていき、最終的に、ヒストグラム内の全ての画素値が各峰にクラスタリングされる。
【００６６】
次に、このような処理構成を使用して、１枚の画像内の画素値に対して生成させたヒストグラムを分峰した例について、図７に示す。
図７（ａ）は、輝度値のヒストグラムの例であり、横軸が輝度値であり、縦軸が各輝度値の頻度値である。
この図７（ａ）に示すヒストグラムを本例の処理で分峰した結果が、図７（ｂ）に示すものである。図７（ｂ）では、それぞれのラベル値ｌ(i)毎に、記号○、×、□を付与して、分峰したデータとして示してある。この図７（ｂ）に示すように、３つの峰が良好に分峰されることが判る。
【００６７】
図８は、実際の画像に対して、その輝度値をヒストグラム化して、そのヒストグラム値を分峰した検出の例を示したものである。図８（ａ）の左側は、実験に使用した画像であり、右側は、その画像中の各画素の輝度値から生成したヒストグラムである。
この図８（ａ）のヒストグラムに対して、本実施の形態の分峰処理を行って、領域分割したヒストグラムを示したのが、図８（ｂ）の右側であり、峰ごとに領域分けがされている。この領域分割結果を画像で示したのが、図８（ｂ）の左側の画像であり、領域ごとに異なるレベル（濃度）で示してある。
この図８（ｂ）の画像から判るように、画像中の顔や各物体などが、それぞれ個別の領域に分割されていることが判る。
【００６８】
そして本実施の形態の形態においては、このヒストグラム値に基づいた領域分割結果を使って、拡大時の推定画素の内で、領域の境界部（エッジ部）に存在する推定画素を、その推定画素が存在する領域内の画素値から推定するようにしたものである。
この処理は、図４のフローチャートでの、ステップＳ１４でのエッジ輝度推定部分抽出処理と、ステップＳ１５での内部輝度値からのエッジ部分の輝度値の推定処理に相当する。
【００６９】
図９のフローチャートは、輝度値の推定領域の設定例を示した図である。このフローチャートにおいて、ｌ(x,y)は画素(x,y)における領域のラベル値、ｅ(x,y)は画素(x,y)における輝度値推定領域のラベル値、ｌ_edge(x,y)は画素(x,y)における各領域のエッジのラベル値をそれぞれ表す。なお、ｅ，ｌ_edgeは、縦・横それぞれＸＮ，ＹＮのサイズで初期値を０にしておく。
【００７０】
図９に従って説明すると、ｌｃ＝１とし（ステップＳ３１）、ｌを走査する（ステップＳ３２）。ここでもし、ｌ(x,y)＝ｌｃで、かつｌ(x,y)がｌｃの領域における異なるエッジ（(x,y)の近傍に異なるラベル値が存在する）ならば（ステップＳ３３）、ｅ，ｌ_edge(x,y)＝ｌｃとする（ステップＳ３４）。
【００７１】
次に、ｌｃ＝ｌｃ＋１とし（ステップＳ３５）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ３６）、最大値以下である場合にはステップＳ３３に戻る。
ステップＳ３６で最大値より大きいと判断した場合には、ｌｃ＝１とし、end_flag＝０とし（ステップＳ３７）、ｌ_edgeを走査する（ステップＳ３８）。ここでもし、ｌ_edge(x,y)＝ｌｃ、又はｅ(I,j)(I,j∈{(x,y)の１近傍})≠０ならば（ステップＳ３９）、ｅ(x,y)＝ｌｃとする（ステップＳ４０）。ここで、ｌ_edge(x,y)＝０、かつＥＸＰＡＮＤ(x,y)≠−１ならば（ステップＳ４１）、end_flag＝１とする（ステップＳ４２）。
【００７２】
次に、end_flag≠０か否か判断し（ステップＳ４３）、end_flag≠０でなければステップＳ３８に戻る。end_flag≠０である場合には、ｌｃ＝ｌｃ＋１とし、end_flag＝０とする（ステップＳ４４）。そして、ｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ４５）、最大値以下である場合にはステップＳ３８に戻る。ｌｃがｌのラベル値の最大値より大である場合には終了する。
以上の処理により、ｌ_edge、ｅを決定する。なお、この処理フロー中のend_flagは、輝度値推定領域抽出処理の終了判定用のフラグとする。
【００７３】
図１０は、この図９のフローチャートの処理の各領域の例を示した図である。
図１０（ａ）は、処理する画像の例である。この例では、２つの大きさの異なる四角形が隣接して中央付近に存在する画像である。図１０では、分かり易くするために、四角形の中に模様を付与してあるが、実際には四角形の中の各画素は均一な輝度値であるとする。
この図１０（ａ）に示す画像ｌを想定すると、その四角形のエッジ部分ｌ_edgeは、図１０（ｂ）に示すように抽出される。
そして、抽出されたエッジ部分に隣接した、輝度変化がなまった可能性がある領域ｅが、図１０（ｃ）に示すように抽出される。
【００７４】
次に、本例での輝度値推定領域における輝度値の推定処理について説明する。ここでは、最小二乗法に基づく輝度値推定領域における輝度値の推定処理を行う。
まず、図１１を参照して、各領域における基準点の抽出処理例について説明する。
輝度値推定領域の輝度値を推定するために、まず、各領域における基準点を、図１１のフローチャートの処理により抽出する。なお、ｅ_edge、ｅ_pointsは、縦・横それぞれＸＮ，ＹＮのサイズで、値を０に初期化しておく。
図１１に従って説明すると、ｌｃ＝１とし（ステップＳ５１）、ｅを走査する（ステップＳ５２）。ここでもし、ｅ(x,y)＝ｌｃで、かつｅ(x,y)がｌｃの領域におけるエッジ（(x,y)の近傍に異なるラベル値が存在する）ならば（ステップＳ５３）、ｅ_edge(x,y)＝ｌｃとする（ステップＳ５４）。
【００７５】
次に、ｌｃ＝ｌｃ＋１とし（ステップＳ５５）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ５６）、最大値以下である場合にはステップＳ５２に戻る。
ステップＳ５６で最大値より大きいと判断した場合には、ｌｃ＝１とし（ステップＳ５７）、ｅ_edgeを走査する（ステップＳ５８）。ここでもし、ｅ_edge(x,y)＝ｌｃ、かつｌ_edge(x,y)＝０であることを判断すると（ステップＳ５９）、ｅ_points＝ｌｃとし（ステップＳ６０）、ｌｃ＝ｌｃ＋１とし（ステップＳ６１）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ６２）、最大値以下である場合にはステップＳ５８に戻る。ｌｃがｌのラベル値の最大値より大である場合には終了する。
以上の処理により、ｅ_edge及びｅ_pointsを決定する。
【００７６】
図１０（ｄ）は、輝度変化がなまった可能性がある領域ｅの境界部ｅ_edgeを示したものである。また、図１０（ｅ）は、エッジ推定に用いる内部領域ｅ_pointsを示したものである。
【００７７】
次に、最小二乗法に基づく輝度値推定領域における輝度値の推定処理について説明する。
このときには、最初にｌｃ＝１とし、ｅを走査する。ここで、もしｅ(x,y)＝ｌｃならば、以下の各処理が行われる。
即ち、（Ｉ）輝度値推定領域内における点から最短距離の基準点の抽出処理と、（II）抽出した基準点におけるサンプルデータ取得領域の決定処理と、（III）輝度値領域内における点の輝度値の推定処理を行う。
【００７８】
そして、ｌｃ＝ｌｃ＋１とし、もしｌｃがｌのラベル値の最大値よりも大きければ、ここでの処理を終了し、そうでなければ、ｅの走査に戻る。
【００７９】
上述した（Ｉ）輝度値推定領域内における点から最短距離の基準点の抽出処理について説明すると、次式を満たす基準点(x＾,y＾)を抽出する。
【００８０】
【数１６】
【００８１】
但し、ＩｍｇＲは、基準点探索範囲を表し、（ｘａ，ｙａ）を中心とする（２Ｎ＋１）×（２Ｎ＋１）サイズの領域とする。（ｘａ，ｙａ）は、輝度値推定領域内における輝度値を推定する画素の座標とする。なお、基準点探索範囲内で基準点(x,y)が抽出できなければ、次の式を満たす点を抽出し、Ｉｓｒ（ｘａ，ｙａ）＝ＥＸＰＡＮＤ（ｘ′，ｙ′）とし、上述した（III）輝度値領域内における点の輝度値の推定処理の後に移る。但し、Ｉｓｒは最終的に得られる高解像度画像を表す。なお、Ｉｓｒの輝度値は初期値として−１しておく。
【００８２】
【数１７】
【００８３】
上述した（II）抽出した基準点におけるサンプルデータ取得領域の決定処理について、図１２のフローチャートを参照して説明する。
（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータを取得する。そのために、まず図１３に示した基準点(x＾,y＾)を中心とする濃い網を掛けた５×５の領域を設定する。この領域をサンプルデータ探索領域とする。サンプルデータ探索領域内に，さらに図１３に示す薄い網を掛けた２×２の領域を設定する。この領域をサンプルデータ取得領域の候補とする。
以下に説明する図１２の処理により、（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータ取得領域を決定する。
【００８４】
まず、２×２の領域内の左上端の点における座標を（ｍ，ｎ）とし、サンプルデータ探索領域の左上端の点に合わせる（ステップＳ７１）。そして、２×２の領域内を走査する（ステップＳ７２）。ここで、すべての画素でｅ(x,y)＝０、かつｌ(x＾,y＾)＝ｌ(x,y)を満たすか否か判断し（ステップＳ７３）、その条件を満たす場合、注目している２×２の領域をサンプルデータ取得領域のｉ番目の候補Ｒ（ｉ）とし、ｉ＝ｉ＋１とする（ステップＳ７４）。
【００８５】
次に、２×２の領域がサンプルデータ探索領域内に収まるように、ｍ，ｎに関してサンプルデータ探索領域内を走査する（ステップＳ７５）。その走査が終了したか否か判断し（ステップＳ７６）、終了していなければステップＳ７３に戻り、走査が終了した場合には、ステップＳ７７へ移る。
【００８６】
ステップＳ７７では、（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータ取得領域は、次式を満たすｉ番目の領域Ｒ（ｉ）とする。
【００８７】
【数１８】
【００８８】
但し、（ｘ（ｉ）ｍｉｎ，ｙ（ｉ）ｍｉｎ）は、ｉ番目のサンプルデータ取得領域の候補において、（ｘａ，ｙａ）に対して最短距離となる座標を表し、ｉｍａｘは、ｉの最大値を表す。
その後、候補が見つかったか否か判断し（ステップＳ７８）、サンプルデータ取得領域の候補を見つけることができなかった場合には、次式を満たす点を抽出し、Ｉｓｒ（ｘａ，ｙａ）＝ＥＸＰＡＮＤ（ｘ′，ｙ′）とし、上述した（III）輝度値領域内における点の輝度値の推定処理の後に移る（ステップＳ７９）。
【００８９】
【数１９】
【００９０】
上述した（III）輝度値領域内における点の輝度値の推定処理について説明する。
ここでは、Ｒ（ｉ）におけるサンプルデータに対して、ｘ，ｙに関する線形関数
【００９１】
【数２０】
【００９２】
を最小二乗法によりフィッティングさせ、輝度値推定領域内の（ｘａ，ｙａ）における輝度値Ｉｓｒ（ｘａ，ｙａ）を推定する。図１４は、輝度値推定領域内の画素に対する基準点とサンプルデータ取得領域を示したものである。
【００９３】
この輝度値の推定のために、ラスタスキャン順に従って、サンプルデータ取得領域における各画素(x,y)とその輝度値Ｉ(x,y)を要素とする以下の行列とベクトルを生成する。
【００９４】
【数２１】
【００９５】
さらに、数２０式における係数をベクトルとして、
【００９６】
【数２２】
【００９７】
と設定する。以下のように最小２乗法を用いて、係数のベクトルを決定する。
【００９８】
【数２３】
【００９９】
数２３式によって求めたｘの各要素を数２０式に代入して、Ｉｓｒ（ｘａ，ｙａ）を求める。最後に、Ｉｓｒ(x,y)を走査し、Ｉｓｒ(x,y)＝−１となる画素の輝度値は、ＳＰＬＩＮＥ＿ＥＸＰ(x,y)の輝度値で置き換え、最終的な高解像度画像Ｉｓｒを得る。
【０１００】
ここで、このようにしてヒストグラムによる領域分割とエッジ輝度推定処理を行った画像の例を、他の処理で補間した例と共に図１５に示す。
図１５（ａ）は、原画像である。この原画像（５１２画素×５１２画素）を１画素おきにサンプリングした間引き画像（２５６画素×２５６画素）を図１５（ｂ）に示すように得て、その間引き画像から、各補間処理で５１２画素×５１２画素の画像を復元した例を、図１５（ｃ）〜（ｇ）に示す。各手法において、３原色成分であるＲ，Ｇ，Ｂ成分それぞれに対して処理を行い、最後に、推定したＲ，Ｇ，Ｂの値に基づき高解像度画像を生成した。
【０１０１】
従来手法の例について説明すると、図１５（ｃ）は、ＤＣＴ法に基づく手法により推定して解像度を高めた画像である。
図１５（ｄ）は、ウェーブレット係数に基づく手法により推定して解像度を高めた画像である。
図１５（ｅ）は、ラプラシアンピラミッドに基づく手法により推定して解像度を高めた画像である。
図１５（ｆ）は、多項式近似に基づく手法により推定して解像度を高めた画像である。
【０１０２】
そして図１５（ｇ）は、本実施の形態による、ヒストグラムによる領域分割とエッジ輝度推定処理により高解像度化した画像である。
各従来手法と本実施の形態の手法とを比較すると、図１５（ｃ）のＤＣＴ法に基づく手法の場合には、画像中の文字や物体の縁の平坦な部分にリンギングが発生している。また、ブロックノイズも発生している。
図１５（ｄ）のウェーブレット係数に基づく手法では、ブロック状のノイズが発生している。
図１５（ｅ）のラプラシアンピラミッドに基づく手法では、エッジ部での輝度値のオーバシュートが生じている。
図１５（ｆ）の多項式近似に基づく手法では、点状のアーチファクトが生じている。
【０１０３】
これに対して本実施の形態の処理例では、リンギング，ブロックノイズ，オーバシュートや点状のアーチファクトを生じることがなく、バランスよく画像を高解像度化することができる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施の形態による画像拡大処理構成例を示したブロック図である。
【図２】本発明の一実施の形態の画像拡大処理を実行する情報処理装置の構成例を示したブロック図である。
【図３】本発明の一実施の形態の画像拡大状態の例を示した説明図である。
【図４】本発明の一実施の形態の画像拡大処理例を示したフローチャートである。
【図５】本発明の一実施の形態による画像拡大時の分峰処理を示すフローチャートである。
【図６】本発明の一実施の形態によるヒストグラムの分峰例（例１）を示す説明図である。
【図７】本発明の一実施の形態によるヒストグラムの分峰例（例２）を示す説明図である。
【図８】画像内の画素値にヒストグラムを分峰した例を示す説明図である。
【図９】本発明の一実施の形態による輝度値推定領域の設定処理例を示すフローチャートである。
【図１０】輝度値推定領域と基準点抽出処理の概要を示した説明図である。
【図１１】本発明の一実施の形態による各領域における基準点の抽出処理例を示すフローチャートである。
【図１２】本発明の一実施の形態による抽出した基準点におけるサンプルデータ取得領域の推定処理例を示すフローチャートである。
【図１３】本発明の一実施の形態によるサンプルデータ探索領域とサンプルデータ取得領域を示す説明図である。
【図１４】本発明の一実施の形態による輝度値推定領域の画素に対する基準点とサンプルデータ取得領域を示す説明図である。
【図１５】原画像（ａ）と、従来から提案されている各方式による画像拡大例（ｂ）〜（ｆ）と、本発明の一実施の形態による画像拡大例（ｇ）を比較して示した説明図である。
【符号の説明】
【０１０５】
１…画像データ記憶部、２…データ処理部、３…ヒストグラム生成部、４…分峰処理部、５…領域分割画像出力部、１１…画像取り込み部、１２…データ処理部、１３…データメモリ、１５…制御部、１６…プログラムメモリ、１７…キーボード、１８…表示制御部、１９…ディスプレイ
【技術分野】
【０００１】
本発明は、例えば画像を拡大するために画像データの画素数を増やす処理を行う場合に好適な、画像データ処理方法、及びその処理方法を適用したデータ処理装置、並びにプログラムに関する。
【背景技術】
【０００２】
従来、静止画像を拡大する場合、一般に線形補間法や３次スプライン法を用いて、拡大により増えた画素を生成させるようにしてある。即ち、例えば水平方向ｎ画素×垂直方向ｍ画素の１枚の画像データを、水平方向２ｎ画素×垂直方向２ｍ画素にそれぞれ２倍に拡大することを想定すると、元の画像データの各画素の間に補間画素を生成させる必要があり、水平方向や垂直方向に隣接する元の画素の画素値を使用して、その原画素の値を線形補間などを行って、補間画素値を得るようにしてある。
【０００３】
【非特許文献１】「高解像度画像部分空間と多項式近似による局所画像曲面に基づく画像の高解像度化手法」情報メディア学会誌 第５９巻 第１１号 １６９４頁〜１７００頁（２００５年１１月１日発行）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、単純な線形補間法などによる補間画素の形成では、画像の高周波成分が欠落して、ぼけた画像になってしまう問題がある。
この問題点を解決するために、画像拡大時に鮮明な高解像度画像を得る手法として、様々な手法が既に提案されている。
それらの手法は、大別すると、複数枚の画像データを使う手法と、１枚の画像データだけを用いる手法に分けることができる。
【０００５】
複数枚の画像データを使う手法の場合には、学習により低解像度画像と高解像度画像との関係を求めて、その求めた関係に基づき、低解像度画像を高解像度化するものである。この場合には、学習した低解像度画像と高解像度画像との関係と、適用する低解像画像及び高解像画像との関係との相関が高ければ、高解像度画像を高精度に推定できる。逆に相関が低ければ、高解像度画像の推定精度が著しく低下する問題がある。
【０００６】
１枚の画像データのみを使って高解像度画像を得る場合には、例えば、高解像度化する原画像を、ＤＣＴ係数、ウェーブレット係数、ラプラシアンピラミッドの成分に分解し、低周波成分から高周波成分を生成・強調を行うことにより、高解像度画像を推定する手法である。これらの１枚の画像データのみを使って高解像度画像を得る手法の場合には、低周波成分から高周波成分の生成・強調を行うために、リンギングやブロック状のノイズの発生があり、また画像の平坦部においてノイズが強調されてしまうという問題がある。
【０００７】
この問題点を解決するために、本願の発明者らは先に、非特許文献１において、高解像度画像拘束超平面と多項式近似による局所画像超曲面に基づく画像の高解像度化手法を提案した。この画像の高解像度化手法は、周波数解析を用いないため、リンギングやブロック状のノイズの発生を防ぐことが出来、また平坦部においてノイズが強調されることがないなどの効果が得られる。
しかしながら、この先に提案した手法では、高解像度化する画像を高解像度化する画像サイズに間引き、その間引いた箇所の輝度値を多項式近似により推定するために、点状のアーチファクトが生じるという課題が残った。
特に、画像内に表示された物体のエッジ部分の近傍の補間画素の値が、エッジ部分の周辺画素に影響されて、誤った補間値となって、エッジがぼけた画像になってしまうことがあった。
【０００８】
本発明はかかる点に鑑みてなされたものであり、周波数解析などの手法を用いることなくより良好に補間画素を形成させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する場合に適用される。
その処理としては、第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成処理を行う。
そして、補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。
また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。
そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【発明の効果】
【００１０】
本発明によると、画像をヒストグラム解析した結果を使って、補間画素値を得る際のその補間画素が、どの領域に属した画素であるのか判断して、その判断結果に基づいて補間値を得る処理が行われるので、エッジ部分の近傍の画素値を的確に推定でき、画像を高解像度化できるようになる。
特に、リンギング，ブロックノイズ，オーバシュートや点状のアーチファクトを生じることなく、画像を高解像度化することが可能となる。
【００１１】
また、ヒストグラム解析による領域分割処理として、画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義して、ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ画像中の異なる領域として設定するようにしたことで、画像データを適切にクラスタリングでき、そのクラスタリングされた結果に基づいて領域分割を適正に行え、良好な高解像度化が行える。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１３】
本実施の形態の例においては、入力した画像データ又は記憶した画像データに対して、１枚の画像データだけを使った処理で、画素数を増やす処理を行うようにしたものである。
【００１４】
本実施の形態で画素数を増やす処理の概要について説明すると、まず、３次スプライン関数により、画像を拡大する。次に、拡大した画像に対して輝度値のヒストグラムに基づく領域分割を行う。そして、各領域の周辺領域の輝度値を領域内部の輝度値から最小二乗近似により推定するようにしたものである。
【００１５】
図１は、本実施の形態の処理を行う構成例を示した図である。
この図１の例では、画像データ記憶部１に記憶された画像データを、画像拡大部２に供給して、画素数を増やす拡大処理を行い、その拡大された画像データを、画像出力部３から外部に出力させる。画像出力部３から出力させる画像データは、例えば、表示やプリントなどを行う。
【００１６】
画像拡大部２で画像データを拡大処理する際には、ヒストグラム領域分割部４で、画像データの輝度に基づいたヒストグラムを生成し、その生成したヒストグラムの峰ごとに領域分割を行う。その領域分割の詳細については後述する。
ヒストグラム領域分割部４で領域分割された結果は、エッジ抽出部５に供給し、画像拡大部２で画素数が拡大された画像中の、表示物体のエッジ部分の画素を抽出する。ここで抽出する画素は、拡大により発生した補間画素である。
そして、エッジ抽出部５で抽出された、そのエッジ部分の補間画素の画素値を、エッジ輝度判定部６で判定し、その判定結果を画像拡大処理部２に供給する。
エッジ輝度判定部６で輝度を判定する際には、ヒストグラム領域分割部４で判定された領域に基づいて、その補間画素がどの領域に属するかを判定し、その判定された領域内部の輝度値から最小二乗近似により推定する。推定した補間画素値は、画像拡大処理部２に供給し、画像出力部３に供給して出力させる拡大画像内の画素値に反映させる。
【００１７】
図２は、図１に示した処理を実行するデータ処理装置の構成例を示した図である。
ここでは、データ処理装置は、例えばコンピュータ装置とその周辺機器で構成してあり、コンピュータ装置に接続されたカメラ又はスキャナなど構成される画像取り込み部１１で、画像を取り込むようにしてあり、拡大された画像をディスプレイ１９に表示するようにしてある。コンピュータ装置には、画像データの拡大処理を行うためのソフトウェア（プログラム）がインストールしてある。操作については、例えばコンピュータ装置に接続されたキーボード１７を使用する。
【００１８】
画像取り込み部１１で取り込まれた画像データは、データ処理部１２に送られ、制御部１５の制御で拡大処理が行われて、拡大された画像データがデータメモリ１３に記憶される。画素値のヒストグラム化などの拡大処理に必要なデータ処理についても、データ処理部１２で実行される。このデータ処理部１２での処理は、プログラムメモリ１６に記憶されたプログラムの指示で、実行される。
【００１９】
図３は、本実施の形態での画像拡大の概要を示したものである。
ここでは、図３（ａ）に示すように、水平方向Ｘ画素×垂直方向Ｙ画素（ここでは水平方向３画素×垂直方向３画素）の１枚の原画像データを想定する。この図３（ａ）に示す高解像度化を行う画像の横・縦のサイズをそれぞれＸＮ，ＹＮとする。つまり、高解像度化する画像の横・縦を、それぞれＮ倍の高解像度化を行うものとする。ここでは、Ｎ＝２として説明する。
この原画像データに対して、水平方向の画素数と垂直方向の画素数をそれぞれ２倍に拡大した、図３（ｂ）に示す拡大画像を得る。この拡大画像の内で、斜線を付与して示す画素が、原画像の画素値をそのまま反映させた画素であり、水平・垂直いずれの方向も１画素間隔で配置されている。そして、拡大により新たに増えた画素（斜線を付与していない空白の画素）については、そのままでは画素値は不定である。この輝度値が不定の画素は、例えば値−１を割当てておく。
ここで、拡大により新たに増えた画素の画素値を、３次スプライン関数により補間画素値を得て、図３（ｃ）に示すように、全ての画素値を確定させる。ここで、ヒストグラム化を行って領域判定した結果を利用して、エッジ部分の補間画素については、領域内の画素の最小二乗近似により補間画素値を得る処理を行う。
なお、図３は拡大の原理を説明するための図であり、実際には水平方向と垂直方向の画素数は、より多い画素数であり、またそれぞれの方向で拡大する画素数も２倍には限らず、３倍などのより多くの画素数への拡大も可能である。
【００２０】
図４のフローチャートは、本実施の形態での画像の拡大処理を示すものである。
図４に沿って順に説明すると、まず原画像のデータが入力されると（ステップＳ１１）、その原画像データに対して、３次スプライン関数により補間画素を生成させて、画像を拡大する（ステップＳ１２）。その拡大された画像中の各画素の輝度値を、ヒストグラム化して、領域分割を行う（ステップＳ１３）。
そして、そのヒストグラム化による領域分割で得られた領域のエッジ部分の、推定画素（補間画素）を抽出する（ステップＳ１４）。その抽出した推定画素の画素値を、ステップＳ１３で判断した領域の内部輝度値を使った最小二乗近似により推定し（ステップＳ１５）、全ての画素値を確定させる。なお、以下の説明では、各領域のエッジ部（周辺部）における輝度値を推定する領域を輝度値推定領域と呼ぶ。
【００２１】
次に、図４のフローチャート中のステップＳ１３で、拡大された画像中の各画素の輝度値を、ヒストグラム化する処理について説明する。
ここでは、ヒストグラム化する際に、重み付き逐次ファジィクラスタリングの手法を使う。
まず、重み付き逐次フアジィクラスタリング手法のベースとなる類似度行列に類似度行列に基づくファジィクラスタリング手法の概要を説明し、次に、重み付き逐次ファジィクラスタリング手法の概要を説明する。
【００２２】
［類似度行列に基づくファジィクラスタリング］
Ｄ次元のベクトルデータｖがｎ個あるとすると、ｉ番目のデータｖｉとｊ番目のデータｖｊの類似度は、次の式（１）で示される。
【００２３】
【数１】
【００２４】
ただし、ｖｉ（ｄ），ｖｊ（ｄ）は、それぞれ、ｖｉ，ｖｊのｄ番目の要素とする。
ここで、Ｓｉｊが大きい、すなわち類似したデータをグループ化する。まず最初に、最も主要なクラスタを１つ抽出することを考える。各データｉが、このクラスタに所属する度合いをｘｉとし、クラスタの凝集度を、次の式（２）で評価する。
【００２５】
【数２】
【００２６】
ここでＳ＝[ｓｉｊ]は類似度行列であり、ｘ＝［ｘ１，・・・，ｘｎ］Ｔである。この凝集度が最大となるｘを求める。ただし、||ｘ||２＝ｘＴｘ＝１と制約する。凝集度が最も高いクラスタのｘは、次の式（３）の解である。
【００２７】
【数３】
【００２８】
この最適化問題の解決はLagrange乗数法により固有値問題に帰着することができる。式（３）を行列Ｓとベクトルｘで表せば、次の式（４）となり、Lagrange関数は式（５）となる。
【００２９】
【数４】
【００３０】
【数５】
【００３１】
λは、Lagrange乗数である。
式（３）の解は、式（６）を満たす。
【００３２】
【数６】
【００３３】
式（６）から、式（７）が得られる。
【００３４】
【数７】
【００３５】
（３）式の最適化問題解法は、固有値問題に帰着できる。各データの凝集度の値は、式（７）の固有値で与えられる。また、第１クラスタヘの所属度合いｘは、行列Ｓの最大固有値の固有ベクトルとなる。ここで、ｘｉが最大のデータｉ＊がクラスタの代表データであるとし、代表データの所属度が１となるように、ｍｉ＝ｘｉ／ｘｉ＊と正規化する。ここでは、ｍｉをメンバーシップと呼ぶこととする。
【００３６】
[重み付き逐次ファジィクラスタ抽出法]
次に、重み付き逐次ファジィクラスタ抽出法について説明する。ここでは、各データが重みを持つ場合を考える。この場合，式（３）は、次の式（８）となる。
【００３７】
【数８】
【００３８】
ただし，ｖｉ，ｖｊは、それぞれｘｉ，ｘｊに対する重みを表す。
ここで、Ｙｉ＝｛√(ｖｉ)｝・(Ｘｉ)とすると、式（８）は、次の式（９）となる。
【００３９】
【数９】
【００４０】
この最適化問題の解法も、Lagrange乗数法により固有値問題に帰着することができる。式（９）の最適解Ｙ＝［ｙ１，・・・，ｙｎ］は、
行列Ｓ＝［ｓｉｊ］：ｓ＝｛√(ｖｉ)｝｛√(ｖｊ)｝(ｓｉｊ)の固有ベクトルであり、式（８）の解ｘは、ｘｉ＝ｙｉ／｛√(ｖｉ)｝で与えられる。
｛√(ｖｉ)｝｛√(ｖｊ)｝(ｓｉｊ)(ｙｉ)(ｙｎ)＝(ｖｉ)(ｖｊ)(ｓｉｊ)(ｘｉ)(ｘｎ)であるので、行列Ｓの固有値が凝集度を与える。ｘｉが最大のｉを代表データｉ＊とすると、ｍｉ＝ｘｉ／ｘｉ＊を、データｉのメンバーシップ値とする、なお，ｖｉ＝０の場合、このデータを取り除いて処理すればよいが、ｖｉ＝０とすると、ｙｉ＝０となるので、ｘｉ＝０とすれば、ｖｉを含めてもよい。
【００４１】
次に、重み付き逐次ファジィクラスタ抽出法を用いて、抽出したクラスタに含まれるデータを取り除きながら、遂次的にクラスタを抽出する手法を示す。
まず、１番目のクラスタを上記の手法で抽出する。次に、２番目のクラスクの抽出する際に，１番目のクラスタに所属するデータを取り除いて同様の処理を行う。
各データｉが１番目のクラスタに所属するメンバーシップをｍ１ｉとすると、データｉの残存率は、１−ｍ１ｉとなり、これが２回目のクラスタ抽出でのデータの重みｖｉとなる。そこで、ｖｉ＝１−ｍ１ｉとし、２回目のクラスタ抽出処理を行う。
行列Ｓ２＝[ｓ２ｉｊ]：ｓ２ｉｊ＝｛√(１−ｍ１ｉ)｝｛√(１−ｍｉｊ)｝(ｓｉｊ)の第１固有ベクトルを、Ｙ２＝[ｙ21，・・・，ｙ2n]とすると、ｘ２ｉ＝ｙ２ｉ／｛√(１−ｍ１ｉ)｝となる。
但し、１番目のクラスタにおける代表データｉ１＊では、v１＊＝１−ｍ１ｉ１＊＝０となるので、ｘ２ｉ（１）＊＝０とする。
【００４２】
このｘ２ｉが最大となるデータｉ２＊が、２番目のクラスタにおける代表データであり、ｍ２ｉ＝ｘ２ｉ／ｘ２ｉ（２）＊が、各データｉの２番目のクラスタヘのメンバーシップ値となる。以下、同様にして各データｉのｋ番目のクラスタに対するメンバーシップ値は、
行列Ｓｋ＝[ｓｋｉｊ]：ｓｋｉｊ＝Πｌ＝１ｋ−１｛√(１−ｍ１ｉ)｝｛√(１−ｍｉｊ)｝(ｓｉｊ)
の固有ベクトルＹｋを求めれば、ｘｋｉ＝ｙｋｉ／｛√[Πｌ＝１ｋ−１(１−ｍ１ｉ)]｝により、ｍｋｉ＝ｘｋｉ／ｘｋｉ＊となる。抽出したクラスタの凝縮度はｋが増すにつれ、単調に減少するので、凝集度が閾値以下となった場合にクラスタ抽出の処理を終了する。
【００４３】
本実施の形態においては、ここまで説明した、重み付き逐次ファジィクラスタ抽出法を適用して、さらに峰の数が未知の多峰性ヒストグラムを解析するようにしたものである。
【００４４】
以下、その手法の概要について説明すると、本実施の形態においては、ヒストグラムの凝集度を求めるためにデータｉとｊの類似度ｓｉｊを、次の式（１０）のように再定義する。
【００４５】
【数１０】
【００４６】
そして、再定義した類似度ｓｉｊを用いて、重み付き逐次ファジィクラスタリング手法により、ヒストグラムの峰毎にクラスタリングする。最後に、主要な峰以外にクラスタリングされたヒストグラムを、主要な峰に所属させることにより、ヒストグラム全体の分峰を完了する。このヒストグラム全体の分峰結果に基づいて、画像中の各画素が、その画素値からどの領域に属すかを判断する。
【００４７】
以下に、図５〜図７を参照して、重み付き逐次ファジィクラスタリング手法を適用した、本実施の形態による具体的なヒストグラムの分峰処理のアルゴリズムについて説明する。
【００４８】
図６は、ヒストグラムの例を示した図である。入力又は記憶したデータをヒストグラムとして表したとき、図６（ａ）に示すような、複数の峰が存在するヒストグラムであるとする。図６（ａ）の横軸が各画素の輝度値で、縦軸が各輝度値の頻度を示すヒストグラム値である。このヒストグラムは、１枚（１フレーム）の画像中のヒストグラム値である。この図６（ａ）のヒストグラムのデータを、峰毎に分峰する処理を行って、領域分割するものである。
【００４９】
図５のフローチャートは、処理の流れを示した図である。図５に基づいて説明すると、まずヒストグラムに対して、式（１０）を使用して再定義した類似度の計算を行う（ステップＳ１）。そして、その再定義した類似度を用いて、上述した重み付き逐次ファジィクラスタリング処理を行う（ステップＳ２）。そして、ヒストグラム全体の最大値に対して、ある程度の比率で値を小さくした閾値を設定しておく。例えば、ヒストグラム全体の最大値の約２０％の値を、閾値とする。
【００５０】
このように設定された閾値と、クラスタリングされたヒストグラムの最大値とを比較する（ステップＳ３）。この比較で、クラスタリングされたヒストグラムの最大値が閾値以上である場合には、類似度行列の各成分の重み付けを行い（ステップＳ４）、再度、ステップＳ２の重み付き逐次ファジィクラスタリング処理を行う。このステップＳ２の重み付き逐次ファジィクラスタリング処理と、ステップＳ３の比較処理と、ステップＳ４の類似度行列の各成分の重み付け処理を繰り返すことで、図６（ｂ）に示すように、ヒストグラム内の各峰の最大値が順に検出されて、その検出された峰のクラスタに所属するデータが分けられて、クラスタリングされたヒストグラムが得られる。
【００５１】
そして、ステップＳ３の比較で、クラスタリングされたヒストグラムの最大値が閾値以上でない場合には、最後のクラスタに含まれているデータと、ヒストグラム中でまだクラスタリングされていないデータとを、各データに最近傍のクラスタに所属させる処理を行い（ステップＳ５）、ヒストグラムの分峰結果を得る（ステップＳ６）。ヒストグラムの分峰結果から、画像内の各画素が、画素値ごとに領域分割されることになる。
【００５２】
このフローチャートに示した処理の詳細例について、以下、数式を用いて、１．〜８．の手順として順に説明する。ここでは、０≦ｉ≦ｎに対するヒストグラム値ｈ（ｉ）が与えられているとする。
【００５３】
１． ｋ：＝１，ｌ(ｉ)：＝０（１≦ｉ≦ｎ）とし、ヒストグラムの最大値をｈｍａｘとする。
２． 類似度ｓｉｊを、次の式（１１）のように定義する。
【００５４】
【数１１】
【００５５】
そして、もし、ｋ＝１ならば、式（１２）のように設定する。
【００５６】
【数１２】
【００５７】
また、もしｋ＞１ならば、式（１３）のように設定する。
【００５８】
【数１３】
【００５９】
この式（１３）のように類似度を設定して、重み付き逐次ファジィクラスタリングにより、第ｋクラスタに対する各データｉのメンバーシップ値ｍｋｉを求める。
【００６０】
３． ｍｋｉ（ｍａｘ）＝ａｒｇｍａｘ１≦ｉ≦ｎ，ｌ（ｉ）＝０ｍｋｉとし、ｍｋｉ（ｍａｘ）におけるｉを、ｍａｘｋｉとする。各メンバーシップ値に対して、式（１４）の演算を行い、新たなメンバーシップ値ｍｉを算出する。
【００６１】
【数１４】
【００６２】
４． ０．５≦ｍｉを満たすｉのヒストグラムをｋ番目のクラスタとしてラベリング（ｌ(i)：＝ｋ）する。
５．ｈｋｍａｘ＝ａｒｇｍａｘ１≦ｉ≦ｎ，ｌ（ｉ）＝０ｈｉとし、ｈｋｍａｘ／ｈｍａｘが閾値Ｔｈｅｎｄ以上か否か判断する。
５．１ ここで、もし閾値Ｔｈｅｎｄ以上であるならば、ｋ：＝ｋ＋１として、２．の処理に戻る。
５．２ また、もし閾値Ｔｈｅｎｄ以上でないならば、ｌ(ｉ)＝ｋを満たすｌ(ｉ)を０とし、６．に進む。
６． ｉ：＝１とする。
７． ｌ(ｉ)＝０であるか。
７．１ もし、ｌ(ｉ)＝０である場合には、式（１５）の条件を満たすｊ＊を抽出し、ｌ(ｉ) ：＝ｌ(ｊ＊)とする。
【００６３】
【数１５】
【００６４】
７．２ もし、ｌ(ｉ)＝０でない場合には、ｉ：＝ｉ＋１として、７．の判断に戻る。８． ｉ＝ｎであるか。
８．１ もし、ｉ＝ｎであるなら、終了する。
８．２ もし、ｉ＝ｎでない場合には、ｉ：＝ｉ＋１として、７．の判断に戻る。
【００６５】
このようにして処理を行うことで、図６（ｂ）、図６（ｃ）に示すように各峰が検出されて、その峰にクラスタされていき、最終的に、ヒストグラム内の全ての画素値が各峰にクラスタリングされる。
【００６６】
次に、このような処理構成を使用して、１枚の画像内の画素値に対して生成させたヒストグラムを分峰した例について、図７に示す。
図７（ａ）は、輝度値のヒストグラムの例であり、横軸が輝度値であり、縦軸が各輝度値の頻度値である。
この図７（ａ）に示すヒストグラムを本例の処理で分峰した結果が、図７（ｂ）に示すものである。図７（ｂ）では、それぞれのラベル値ｌ(i)毎に、記号○、×、□を付与して、分峰したデータとして示してある。この図７（ｂ）に示すように、３つの峰が良好に分峰されることが判る。
【００６７】
図８は、実際の画像に対して、その輝度値をヒストグラム化して、そのヒストグラム値を分峰した検出の例を示したものである。図８（ａ）の左側は、実験に使用した画像であり、右側は、その画像中の各画素の輝度値から生成したヒストグラムである。
この図８（ａ）のヒストグラムに対して、本実施の形態の分峰処理を行って、領域分割したヒストグラムを示したのが、図８（ｂ）の右側であり、峰ごとに領域分けがされている。この領域分割結果を画像で示したのが、図８（ｂ）の左側の画像であり、領域ごとに異なるレベル（濃度）で示してある。
この図８（ｂ）の画像から判るように、画像中の顔や各物体などが、それぞれ個別の領域に分割されていることが判る。
【００６８】
そして本実施の形態の形態においては、このヒストグラム値に基づいた領域分割結果を使って、拡大時の推定画素の内で、領域の境界部（エッジ部）に存在する推定画素を、その推定画素が存在する領域内の画素値から推定するようにしたものである。
この処理は、図４のフローチャートでの、ステップＳ１４でのエッジ輝度推定部分抽出処理と、ステップＳ１５での内部輝度値からのエッジ部分の輝度値の推定処理に相当する。
【００６９】
図９のフローチャートは、輝度値の推定領域の設定例を示した図である。このフローチャートにおいて、ｌ(x,y)は画素(x,y)における領域のラベル値、ｅ(x,y)は画素(x,y)における輝度値推定領域のラベル値、ｌ_edge(x,y)は画素(x,y)における各領域のエッジのラベル値をそれぞれ表す。なお、ｅ，ｌ_edgeは、縦・横それぞれＸＮ，ＹＮのサイズで初期値を０にしておく。
【００７０】
図９に従って説明すると、ｌｃ＝１とし（ステップＳ３１）、ｌを走査する（ステップＳ３２）。ここでもし、ｌ(x,y)＝ｌｃで、かつｌ(x,y)がｌｃの領域における異なるエッジ（(x,y)の近傍に異なるラベル値が存在する）ならば（ステップＳ３３）、ｅ，ｌ_edge(x,y)＝ｌｃとする（ステップＳ３４）。
【００７１】
次に、ｌｃ＝ｌｃ＋１とし（ステップＳ３５）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ３６）、最大値以下である場合にはステップＳ３３に戻る。
ステップＳ３６で最大値より大きいと判断した場合には、ｌｃ＝１とし、end_flag＝０とし（ステップＳ３７）、ｌ_edgeを走査する（ステップＳ３８）。ここでもし、ｌ_edge(x,y)＝ｌｃ、又はｅ(I,j)(I,j∈{(x,y)の１近傍})≠０ならば（ステップＳ３９）、ｅ(x,y)＝ｌｃとする（ステップＳ４０）。ここで、ｌ_edge(x,y)＝０、かつＥＸＰＡＮＤ(x,y)≠−１ならば（ステップＳ４１）、end_flag＝１とする（ステップＳ４２）。
【００７２】
次に、end_flag≠０か否か判断し（ステップＳ４３）、end_flag≠０でなければステップＳ３８に戻る。end_flag≠０である場合には、ｌｃ＝ｌｃ＋１とし、end_flag＝０とする（ステップＳ４４）。そして、ｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ４５）、最大値以下である場合にはステップＳ３８に戻る。ｌｃがｌのラベル値の最大値より大である場合には終了する。
以上の処理により、ｌ_edge、ｅを決定する。なお、この処理フロー中のend_flagは、輝度値推定領域抽出処理の終了判定用のフラグとする。
【００７３】
図１０は、この図９のフローチャートの処理の各領域の例を示した図である。
図１０（ａ）は、処理する画像の例である。この例では、２つの大きさの異なる四角形が隣接して中央付近に存在する画像である。図１０では、分かり易くするために、四角形の中に模様を付与してあるが、実際には四角形の中の各画素は均一な輝度値であるとする。
この図１０（ａ）に示す画像ｌを想定すると、その四角形のエッジ部分ｌ_edgeは、図１０（ｂ）に示すように抽出される。
そして、抽出されたエッジ部分に隣接した、輝度変化がなまった可能性がある領域ｅが、図１０（ｃ）に示すように抽出される。
【００７４】
次に、本例での輝度値推定領域における輝度値の推定処理について説明する。ここでは、最小二乗法に基づく輝度値推定領域における輝度値の推定処理を行う。
まず、図１１を参照して、各領域における基準点の抽出処理例について説明する。
輝度値推定領域の輝度値を推定するために、まず、各領域における基準点を、図１１のフローチャートの処理により抽出する。なお、ｅ_edge、ｅ_pointsは、縦・横それぞれＸＮ，ＹＮのサイズで、値を０に初期化しておく。
図１１に従って説明すると、ｌｃ＝１とし（ステップＳ５１）、ｅを走査する（ステップＳ５２）。ここでもし、ｅ(x,y)＝ｌｃで、かつｅ(x,y)がｌｃの領域におけるエッジ（(x,y)の近傍に異なるラベル値が存在する）ならば（ステップＳ５３）、ｅ_edge(x,y)＝ｌｃとする（ステップＳ５４）。
【００７５】
次に、ｌｃ＝ｌｃ＋１とし（ステップＳ５５）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ５６）、最大値以下である場合にはステップＳ５２に戻る。
ステップＳ５６で最大値より大きいと判断した場合には、ｌｃ＝１とし（ステップＳ５７）、ｅ_edgeを走査する（ステップＳ５８）。ここでもし、ｅ_edge(x,y)＝ｌｃ、かつｌ_edge(x,y)＝０であることを判断すると（ステップＳ５９）、ｅ_points＝ｌｃとし（ステップＳ６０）、ｌｃ＝ｌｃ＋１とし（ステップＳ６１）、加算したｌｃがｌのラベル値の最大値より大か否か判断し（ステップＳ６２）、最大値以下である場合にはステップＳ５８に戻る。ｌｃがｌのラベル値の最大値より大である場合には終了する。
以上の処理により、ｅ_edge及びｅ_pointsを決定する。
【００７６】
図１０（ｄ）は、輝度変化がなまった可能性がある領域ｅの境界部ｅ_edgeを示したものである。また、図１０（ｅ）は、エッジ推定に用いる内部領域ｅ_pointsを示したものである。
【００７７】
次に、最小二乗法に基づく輝度値推定領域における輝度値の推定処理について説明する。
このときには、最初にｌｃ＝１とし、ｅを走査する。ここで、もしｅ(x,y)＝ｌｃならば、以下の各処理が行われる。
即ち、（Ｉ）輝度値推定領域内における点から最短距離の基準点の抽出処理と、（II）抽出した基準点におけるサンプルデータ取得領域の決定処理と、（III）輝度値領域内における点の輝度値の推定処理を行う。
【００７８】
そして、ｌｃ＝ｌｃ＋１とし、もしｌｃがｌのラベル値の最大値よりも大きければ、ここでの処理を終了し、そうでなければ、ｅの走査に戻る。
【００７９】
上述した（Ｉ）輝度値推定領域内における点から最短距離の基準点の抽出処理について説明すると、次式を満たす基準点(x＾,y＾)を抽出する。
【００８０】
【数１６】
【００８１】
但し、ＩｍｇＲは、基準点探索範囲を表し、（ｘａ，ｙａ）を中心とする（２Ｎ＋１）×（２Ｎ＋１）サイズの領域とする。（ｘａ，ｙａ）は、輝度値推定領域内における輝度値を推定する画素の座標とする。なお、基準点探索範囲内で基準点(x,y)が抽出できなければ、次の式を満たす点を抽出し、Ｉｓｒ（ｘａ，ｙａ）＝ＥＸＰＡＮＤ（ｘ′，ｙ′）とし、上述した（III）輝度値領域内における点の輝度値の推定処理の後に移る。但し、Ｉｓｒは最終的に得られる高解像度画像を表す。なお、Ｉｓｒの輝度値は初期値として−１しておく。
【００８２】
【数１７】
【００８３】
上述した（II）抽出した基準点におけるサンプルデータ取得領域の決定処理について、図１２のフローチャートを参照して説明する。
（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータを取得する。そのために、まず図１３に示した基準点(x＾,y＾)を中心とする濃い網を掛けた５×５の領域を設定する。この領域をサンプルデータ探索領域とする。サンプルデータ探索領域内に，さらに図１３に示す薄い網を掛けた２×２の領域を設定する。この領域をサンプルデータ取得領域の候補とする。
以下に説明する図１２の処理により、（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータ取得領域を決定する。
【００８４】
まず、２×２の領域内の左上端の点における座標を（ｍ，ｎ）とし、サンプルデータ探索領域の左上端の点に合わせる（ステップＳ７１）。そして、２×２の領域内を走査する（ステップＳ７２）。ここで、すべての画素でｅ(x,y)＝０、かつｌ(x＾,y＾)＝ｌ(x,y)を満たすか否か判断し（ステップＳ７３）、その条件を満たす場合、注目している２×２の領域をサンプルデータ取得領域のｉ番目の候補Ｒ（ｉ）とし、ｉ＝ｉ＋１とする（ステップＳ７４）。
【００８５】
次に、２×２の領域がサンプルデータ探索領域内に収まるように、ｍ，ｎに関してサンプルデータ探索領域内を走査する（ステップＳ７５）。その走査が終了したか否か判断し（ステップＳ７６）、終了していなければステップＳ７３に戻り、走査が終了した場合には、ステップＳ７７へ移る。
【００８６】
ステップＳ７７では、（ｘａ，ｙａ）における輝度値を推定するためのサンプルデータ取得領域は、次式を満たすｉ番目の領域Ｒ（ｉ）とする。
【００８７】
【数１８】
【００８８】
但し、（ｘ（ｉ）ｍｉｎ，ｙ（ｉ）ｍｉｎ）は、ｉ番目のサンプルデータ取得領域の候補において、（ｘａ，ｙａ）に対して最短距離となる座標を表し、ｉｍａｘは、ｉの最大値を表す。
その後、候補が見つかったか否か判断し（ステップＳ７８）、サンプルデータ取得領域の候補を見つけることができなかった場合には、次式を満たす点を抽出し、Ｉｓｒ（ｘａ，ｙａ）＝ＥＸＰＡＮＤ（ｘ′，ｙ′）とし、上述した（III）輝度値領域内における点の輝度値の推定処理の後に移る（ステップＳ７９）。
【００８９】
【数１９】
【００９０】
上述した（III）輝度値領域内における点の輝度値の推定処理について説明する。
ここでは、Ｒ（ｉ）におけるサンプルデータに対して、ｘ，ｙに関する線形関数
【００９１】
【数２０】
【００９２】
を最小二乗法によりフィッティングさせ、輝度値推定領域内の（ｘａ，ｙａ）における輝度値Ｉｓｒ（ｘａ，ｙａ）を推定する。図１４は、輝度値推定領域内の画素に対する基準点とサンプルデータ取得領域を示したものである。
【００９３】
この輝度値の推定のために、ラスタスキャン順に従って、サンプルデータ取得領域における各画素(x,y)とその輝度値Ｉ(x,y)を要素とする以下の行列とベクトルを生成する。
【００９４】
【数２１】
【００９５】
さらに、数２０式における係数をベクトルとして、
【００９６】
【数２２】
【００９７】
と設定する。以下のように最小２乗法を用いて、係数のベクトルを決定する。
【００９８】
【数２３】
【００９９】
数２３式によって求めたｘの各要素を数２０式に代入して、Ｉｓｒ（ｘａ，ｙａ）を求める。最後に、Ｉｓｒ(x,y)を走査し、Ｉｓｒ(x,y)＝−１となる画素の輝度値は、ＳＰＬＩＮＥ＿ＥＸＰ(x,y)の輝度値で置き換え、最終的な高解像度画像Ｉｓｒを得る。
【０１００】
ここで、このようにしてヒストグラムによる領域分割とエッジ輝度推定処理を行った画像の例を、他の処理で補間した例と共に図１５に示す。
図１５（ａ）は、原画像である。この原画像（５１２画素×５１２画素）を１画素おきにサンプリングした間引き画像（２５６画素×２５６画素）を図１５（ｂ）に示すように得て、その間引き画像から、各補間処理で５１２画素×５１２画素の画像を復元した例を、図１５（ｃ）〜（ｇ）に示す。各手法において、３原色成分であるＲ，Ｇ，Ｂ成分それぞれに対して処理を行い、最後に、推定したＲ，Ｇ，Ｂの値に基づき高解像度画像を生成した。
【０１０１】
従来手法の例について説明すると、図１５（ｃ）は、ＤＣＴ法に基づく手法により推定して解像度を高めた画像である。
図１５（ｄ）は、ウェーブレット係数に基づく手法により推定して解像度を高めた画像である。
図１５（ｅ）は、ラプラシアンピラミッドに基づく手法により推定して解像度を高めた画像である。
図１５（ｆ）は、多項式近似に基づく手法により推定して解像度を高めた画像である。
【０１０２】
そして図１５（ｇ）は、本実施の形態による、ヒストグラムによる領域分割とエッジ輝度推定処理により高解像度化した画像である。
各従来手法と本実施の形態の手法とを比較すると、図１５（ｃ）のＤＣＴ法に基づく手法の場合には、画像中の文字や物体の縁の平坦な部分にリンギングが発生している。また、ブロックノイズも発生している。
図１５（ｄ）のウェーブレット係数に基づく手法では、ブロック状のノイズが発生している。
図１５（ｅ）のラプラシアンピラミッドに基づく手法では、エッジ部での輝度値のオーバシュートが生じている。
図１５（ｆ）の多項式近似に基づく手法では、点状のアーチファクトが生じている。
【０１０３】
これに対して本実施の形態の処理例では、リンギング，ブロックノイズ，オーバシュートや点状のアーチファクトを生じることがなく、バランスよく画像を高解像度化することができる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施の形態による画像拡大処理構成例を示したブロック図である。
【図２】本発明の一実施の形態の画像拡大処理を実行する情報処理装置の構成例を示したブロック図である。
【図３】本発明の一実施の形態の画像拡大状態の例を示した説明図である。
【図４】本発明の一実施の形態の画像拡大処理例を示したフローチャートである。
【図５】本発明の一実施の形態による画像拡大時の分峰処理を示すフローチャートである。
【図６】本発明の一実施の形態によるヒストグラムの分峰例（例１）を示す説明図である。
【図７】本発明の一実施の形態によるヒストグラムの分峰例（例２）を示す説明図である。
【図８】画像内の画素値にヒストグラムを分峰した例を示す説明図である。
【図９】本発明の一実施の形態による輝度値推定領域の設定処理例を示すフローチャートである。
【図１０】輝度値推定領域と基準点抽出処理の概要を示した説明図である。
【図１１】本発明の一実施の形態による各領域における基準点の抽出処理例を示すフローチャートである。
【図１２】本発明の一実施の形態による抽出した基準点におけるサンプルデータ取得領域の推定処理例を示すフローチャートである。
【図１３】本発明の一実施の形態によるサンプルデータ探索領域とサンプルデータ取得領域を示す説明図である。
【図１４】本発明の一実施の形態による輝度値推定領域の画素に対する基準点とサンプルデータ取得領域を示す説明図である。
【図１５】原画像（ａ）と、従来から提案されている各方式による画像拡大例（ｂ）〜（ｆ）と、本発明の一実施の形態による画像拡大例（ｇ）を比較して示した説明図である。
【符号の説明】
【０１０５】
１…画像データ記憶部、２…データ処理部、３…ヒストグラム生成部、４…分峰処理部、５…領域分割画像出力部、１１…画像取り込み部、１２…データ処理部、１３…データメモリ、１５…制御部、１６…プログラムメモリ、１７…キーボード、１８…表示制御部、１９…ディスプレイ
【特許請求の範囲】
【請求項１】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する画像データ処理方法において、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成処理と、
前記補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理と、
前記領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理と、
前記エッジ検出処理で検出されたエッジ部分の補間画素を、前記領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理と
を行うことを特徴とする画像データ処理方法。
【請求項２】
前記ヒストグラム解析による領域分割処理として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義し、
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得、
ヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較し、
前記比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理に戻り、
前記比較で閾値以上でないと判断した場合に、最後のクラスタに含まれる画素とクラスタリングされていない画素とを、それぞれ最近傍のクラスタに所属させる処理を行うことで、
ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ異なる領域として設定することを特徴とする
請求項１記載の画像データ処理方法。
【請求項３】
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理である
請求項２記載の画像データ処理方法。
【請求項４】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する画像データ処理装置において、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成部と、
前記補間画素形成部で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割部と、
前記領域分割部で分割された各領域のエッジ部分の補間画素を検出するエッジ検出部と、
前記エッジ検出部で検出されたエッジ部分の補間画素を、前記領域分割部で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定部と
を備えたことを特徴とする画像データ処理装置。
【請求項５】
前記領域分割部でのヒストグラム解析による領域分割として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各データの類似度を、所定の演算式による演算で再定義する再定義処理部と、
前記再定義処理部で再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る最大値演算部と、
前記最大値演算部で得たヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較する比較部と、
前記比較部での比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を、前記最大値演算部に供給する重み付け手段と、
前記比較部での比較で閾値以上でないと判断した場合に、最後のクラスタに含まれるデータとクラスタリングされていないデータとを、それぞれ最近傍のクラスタに所属させる補助処理部とを備えて、
ヒストグラムを各クラスタに分峰した結果を得ることを特徴とする
請求項４記載の画像データ処理装置。
【請求項６】
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理であることを特徴とする
請求項５記載の画像データ処理装置。
【請求項７】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する処理を実行するプログラムにおいて、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成ステップと、
前記補間画素形成ステップで補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割ステップと、
前記領域分割ステップで分割された各領域のエッジ部分の補間画素を検出するエッジ検出ステップと、
前記エッジ検出ステップで検出されたエッジ部分の補間画素を、前記領域分割ステップで得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定ステップと
を行うことを特徴とするプログラム。
【請求項１】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する画像データ処理方法において、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成処理と、
前記補間画素形成処理で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理と、
前記領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理と、
前記エッジ検出処理で検出されたエッジ部分の補間画素を、前記領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理と
を行うことを特徴とする画像データ処理方法。
【請求項２】
前記ヒストグラム解析による領域分割処理として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義し、
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得、
ヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較し、
前記比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理に戻り、
前記比較で閾値以上でないと判断した場合に、最後のクラスタに含まれる画素とクラスタリングされていない画素とを、それぞれ最近傍のクラスタに所属させる処理を行うことで、
ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ異なる領域として設定することを特徴とする
請求項１記載の画像データ処理方法。
【請求項３】
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理である
請求項２記載の画像データ処理方法。
【請求項４】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する画像データ処理装置において、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成部と、
前記補間画素形成部で補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割部と、
前記領域分割部で分割された各領域のエッジ部分の補間画素を検出するエッジ検出部と、
前記エッジ検出部で検出されたエッジ部分の補間画素を、前記領域分割部で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定部と
を備えたことを特徴とする画像データ処理装置。
【請求項５】
前記領域分割部でのヒストグラム解析による領域分割として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各データの類似度を、所定の演算式による演算で再定義する再定義処理部と、
前記再定義処理部で再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る最大値演算部と、
前記最大値演算部で得たヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較する比較部と、
前記比較部での比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を、前記最大値演算部に供給する重み付け手段と、
前記比較部での比較で閾値以上でないと判断した場合に、最後のクラスタに含まれるデータとクラスタリングされていないデータとを、それぞれ最近傍のクラスタに所属させる補助処理部とを備えて、
ヒストグラムを各クラスタに分峰した結果を得ることを特徴とする
請求項４記載の画像データ処理装置。
【請求項６】
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理であることを特徴とする
請求項５記載の画像データ処理装置。
【請求項７】
第１の画素数の画像データを、前記第１の画素数よりも多い第２の画素数の画像データに変換する処理を実行するプログラムにおいて、
前記第１の画素数の画像データを前記第２の画素数として、増えた画素を補間により形成させる補間画素形成ステップと、
前記補間画素形成ステップで補間して第２の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割ステップと、
前記領域分割ステップで分割された各領域のエッジ部分の補間画素を検出するエッジ検出ステップと、
前記エッジ検出ステップで検出されたエッジ部分の補間画素を、前記領域分割ステップで得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定ステップと
を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図８】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図７】
【図８】
【図１５】
【公開番号】特開２０１０−７４４１６（Ｐ２０１０−７４４１６Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３８４５２（Ｐ２００８−２３８４５２）
【出願日】平成２０年９月１７日（２００８．９．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月１日 社団法人映像情報メディア学会発行の「映像情報メディア学会誌 ２００８年６月号 第６２巻 第６号」に発表
【出願人】（５０４２０５５２１）国立大学法人 長崎大学 (226)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年６月１日 社団法人映像情報メディア学会発行の「映像情報メディア学会誌 ２００８年６月号 第６２巻 第６号」に発表
【出願人】（５０４２０５５２１）国立大学法人 長崎大学 (226)
【Ｆターム（参考）】
[ Back to top ]