輪郭強調装置、及び輪郭強調プログラム、並びに記録媒体
【課題】輪郭そのものを方向性まで考慮して強調する。
【解決手段】ブロック分割部１１は、入力画像を予めｍ×ｎ個のブロック単位に分割する。２次元直交変換部１２は、ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換して、ｍ×ｎ個の変換係数を生成する。判定１３は、複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する。強調部１４は、係数行列を構成する複数の変換係数のうちの高周波数成分の変換係数について判定手段１３が判定したエッジの方向に対応する変換係数の値を増やす。逆変換部１５は、強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して画像データの画素値を導出する。
【解決手段】ブロック分割部１１は、入力画像を予めｍ×ｎ個のブロック単位に分割する。２次元直交変換部１２は、ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換して、ｍ×ｎ個の変換係数を生成する。判定１３は、複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する。強調部１４は、係数行列を構成する複数の変換係数のうちの高周波数成分の変換係数について判定手段１３が判定したエッジの方向に対応する変換係数の値を増やす。逆変換部１５は、強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して画像データの画素値を導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の輪郭を強調する輪郭強調装置、及び輪郭強調プログラム、並びにそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、例えばデジタルカメラ、デジタルビデオカメラ等においては、より自然な画像データを得るため、撮像した被写体の画像データに対して、被写体のエッジ部分、すなわち輪郭部分を決められた度合で強調する画像処理が一般に行われている。
例えば、入力信号から抽出された高周波成分に対してゲインをかけて調整することで輪郭強調を行うのが一般的である。
【０００３】
また、入力信号を１次元の画素列に直交変換して周波数検出をした後に、検出した周波数成分からその奇数倍の高調波にあたる周波数成分を生成し、生成した高調波にあたる周波数成分を入力信号に加えることで映像又は音声の鮮鋭度を向上する信号処理回路が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３４９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、単純にゲインをかけるのでは、元々残っている輪郭成分を強調するに留まり、輪郭そのものを強調することはできない。また、特許文献１に記載の信号処理装置では、１次元直交変換の処理であるため、着目領域における輪郭の方向性までは考慮し難い。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、輪郭そのものを方向性まで考慮して強調することができる輪郭強調装置、及び輪郭強調プログラム、並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、入力画像を予めブロック単位に分割する分割手段と、前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換手段と、前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定手段と、前記係数行列を構成する複数の変換係数のうち、高周波数成分の変換係数について、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調手段と、前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換手段と、を備えたものである。
【０００８】
また、本発明としては、コンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【０００９】
本発明は、２次元直交変換手段によりブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換し、判定手段により係数行列を構成する複数の変換係数のうち低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定し、強調手段により、係数行列を構成する複数の変換係数のうちの高周波数成分の変換係数について判定手段が判定したエッジの方向に対応する変換係数の値を増やすため、輪郭そのものを方向性まで考慮して強調することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の輪郭強調装置の一実施形態を示すブロック図である。
【図２】輪郭強調装置の処理手順を示すフローチャートである。
【図３】２次元直交変換により得られる係数行列を示す説明図である。
【図４】ブロックを２画素ずつ重複して分割をする例を示す説明図である。
【図５】ブロックを１画素ずつ重複して分割をする例を示す説明図である。
【図６】ブロック周辺の画素が重複して直交変換される回数を示す説明図である。
【図７】重複して直交変換が施されるブロック周辺の輪郭強調を弱めるようにした他の実施形態を示すブロック図である。
【図８】２次元直交変換部での計算を簡略することができる別の実施形態を示すブロック図である。
【発明を実施するための最良の形態】
【００１１】
本発明の位置実施形態の輪郭強調装置１０は、図１に示すように、ブロック分割部１１、２次元直交変換部１２、判定部１３、強調部１４、及び逆変換部１５とで構成されている。
ブロック分割部１１は、順次入力される画像データを、ｍ×ｎ画素（ｍ、ｎは自然数、ｍ＝ｎ又はｍ≠ｎ）個のブロック単位に分割する。
【００１２】
２次元直交変換部１２は、ブロック単位に分割されて順次入力されてくる画素データを２次元直交変換して周波数領域の係数行列に順次変換する。係数行列には、周波数変換を指定する変換係数が複数格納される。なお、２次元直交変換部１２としては、2次元の離散コサイン変換やアダマール変換のように、空間領域から周波数領域への変換を行う２次元直交変換であれば、任意の直交変換を用いることができる。
【００１３】
判定部１３は、周波数領域の係数行列（m×n個の変換係数）のうち、周波数成分の低い変換係数を用いてエッジの有無、及びその方向を判定する。
強調部１４は、周波数成分の高い変換係数のうち、判定したエッジの方向に対応する変換係数に所定の値を加える。
【００１４】
逆変換部１５は、強調した変換係数を含む係数行列を周波数領域から空間領域へ逆直行変換して画像データの画素値を導出する。
次に上記構成の作用を、図２を参照しながら説明する。ブロック分割部１１には画像データが順次入力される（Ｓ−１）。ブロック分割部１１は、ｍ×ｎ、例えば４×４画素のブロック単位に分割する（Ｓ−２）。ブロックとしては、ｎ×ｎ画素からなる正方形のブロックを用いる場合が多いが、m×n画素からなる長方形のブロックを用いることもできる。
【００１５】
次に、２次元直交変換部１２は、ブロック単位に、例えば２次元の離散コサイン変換を施して周波数領域の係数行列を構成する複数の変換係数を求める（Ｓ−３）。もしｎ×ｎ画素からなる正方形のブロックを用いた場合、複数の変換係数も1ブロック当たりｎ×ｎとなる。この結果、基底（波形）の変換係数から高次の変換係数が、図３に示すように、４×４のマトリクスに表示される。
【００１６】
ここで、左上の升１６が「水平・垂直の直流成分」、すなわち、画像の「平均値」に対応する。この左上の升１６の周辺の変換係数Ａ，Ｂ，Ｃを含む３升の領域１７は、周波数成分（直流）の低い領域であり、また、「右上」の変換係数Ｘ、及び「左下」の変換係数Ｚを含む周辺部の領域１８は、周波数の「高域成分」に対応する。
【００１７】
変換係数Ａは、垂直方向にエッジを含む場合、大きな値をもち、また、変換係数Ｃは、水平方向にエッジを含む場合、大きな値をもつ。そして、斜め方向にエッジを含む場合、変換係数Ａ，Ｂ，Ｃ共に大きな値になる。そこで、本実施形態では、変換係数Ａ，Ｃの値を用いてエッジの有無、及びその方向を判定する。
判定部１３は、変換後の係数行列に対して、次の判定１〜４を順に行ってエッジの有無、及びその方向を判定する。
【００１８】
［判定１］
判定１では、変換係数｜Ａ｜≫変換係数｜Ｃ｜かつ変換係数｜Ｃ｜が「０」に近いかを判定する（Ｓ−４）。
判定１について該当する場合には、判定部は垂直方向のエッジを含むと判定する（Ｓ−５）。該当しない場合には判定２を行う。
【００１９】
［判定２］
判定２では、変換係数｜Ｃ｜≫変換係数｜Ａ｜かつ｜Ａ｜が「０」に近いかを判定する（Ｓ−６）。
判定２について該当する場合には、判定部は水平方向のエッジを含むと判定する（Ｓ−７）。該当しない場合には判定３を行う。
【００２０】
［判定３］
判定３では、変換係数｜Ａ｜≫０かつ変換係数｜Ｃ｜≫「０」であるかを判定する（Ｓ−８）。
判定３について該当する場合には、判定部は斜め方向のエッジを含むと判定する（Ｓ−９）。該当しない場合には判定４を行う。
【００２１】
［判定４］
判定４では、変換係数｜Ａ｜，｜Ｃ｜共に予め決めた閾値よりも小さい値であるかを判定する（Ｓ−１０）。
判定４について該当する場合、判定部１３は平坦部を含むと判定する（Ｓ−１１）。
【００２２】
ここで、どの程度の差で「≫」が成立すると判断するかは、入力画像の特性、ノイズ量等によって、予め決めておく。基本的には、デジタルカメラの撮影画像であれば、低感度画像ほどその差が小さくても「≫」が成立すると判断し、また、高感度画像においては低感度よりも大きな差で「≫」が成立すると判断した方が、ノイズの強調は抑えられる。
また、「≒０」と判定する条件も、上記と同様に入力画像の特性、ノイズ量等に応じて予め設定しておけばよい。
【００２３】
強調部１４は、垂直方向にエッジが含まれると判定した場合、垂直周波数の高い側に対応する変換係数Ｘに所定の値を加算する（Ｓ−１２）。水平方向にエッジが含まれると判定した場合、水平周波数の高い側に対応する変換係数Ｚに所定の値を加算する（Ｓ−１３）。斜め方向にエッジが含まれると判定した場合、高周波領域にある変換係数Ｘ，Ｙ，Ｚに所定の値に所定の値を各々加算する（Ｓ−１４）。
【００２４】
ここで、変換係数Ｙは、垂直周波数及び水平周波数共に高い側に対応する変換係数である。そして、平坦部が含まれると判定した場合には、判定部３はエッジを含まないと判定するため、何も処理をしない。
【００２５】
ところで、強調部１４で加算する「所定の値」は、変換係数Ａ，Ｂの値を参照し、適切な輪郭強調量となるような値を出力するような関数やＬＵＴ等を予め設定しておき、強調部３４での処理の時に前記関数やＬＵＴ等から求めればよい。さらに、元の変換係数Ｘ，Ｙ，Ｚの値も参照することで、例えば元々の周波数成分の変換係数との合計が予め決めた値以上にならないように、補正を加えることで、過度な強調を抑制することができる。
【００２６】
強調部１４は、垂直方向のエッジを判定した場合、更に、変換係数Ｚの値を「０」に近づくよう減算する処理を行う（Ｓ−１５）。水平方向のエッジを含むと判定した場合にも、同等の処理を行う（Ｓ−１６）。これにより、その部分の水平成分を抑制することになるため、より垂直成分を目立たせることができる。なお、減算以外の操作としては、変換係数Ｚの値がより「０」に近づくように予め決めた係数を掛ける、又はゼロに置き換える等の操作を行ってもよい。また、この処理を省略し、強調部１４は、所定値を加算するだけの処理としてもよい。
【００２７】
このように操作された変換係数を、逆変換によって周波数領域から空間領域へと戻すことで（Ｓ−１７）、輪郭強調された画像を得ることが出来る。
【００２８】
本実施形態では、元々存在していなかった高周波成分を付け加えることになるので、単純なＢＰＦ（バンドパスフィルタ）出力とゲインを組み合わせた輪郭強調に比べ、精細な輪郭強調を行うことが可能となる。
【００２９】
また、上記実施形態では、４×４画素のブロック毎に分割して直交変換を行っているが、この大きさ以外でも行うことができる。また、異なる大きさの画素のブロックでも判定部１３での判定、及び強調操作する変換係数の位置関係は、基本的には同じとなる。判定を行う時の変換係数Ａ，Ｂとしては、それぞれ対象領域とその周辺の領域との複数の値としてもよい。また、強調操作する対象の変換係数の値も同様に対象領域とその周辺の領域との複数の値とすることも可能である。例えば８×８個の変換係数で構成される係数行列では、本実施形態で説明した変換係数Ａ、Ｃとして、該当する位置の変換係数とその周辺（隣接する周辺）の変換係数とを含む複数の値を対象にすればよい。
【００３０】
また、ブロック分割を単純に（重複無く）行った場合に、画像の特性・操作による変化量によっては、その継ぎ目で不自然な変化が生じる可能性がある。この対策としては、ブロック分割を重複して行い、その重複画素の強調処理時おける特性変化を和らげることができる。
【００３１】
例えば、図４に示すように、４×４画素のブロック２２で、２画素ずつ重複して行うと、画像２３の最周辺部以外では、全画素同じ回数ずつ直交変換処理が行われ、同じ回数分強調処理が行われるため、１回当たりの強調効果を調整すれば、均等な強度かブロック境界の急激な変化を緩和することが可能となる。
【００３２】
また、図５に示すように、ブロック２５の最周辺部（１列・１行分）のみを重複させるやり方も考えられる。この場合には、同一強度で適用してしまうと、図６に示すように、重複して直交変換される箇所とそうでない箇所で、強度に差が出てしまい、かえって不自然な結果となってしまう。なお、図６に記載の画素位置の数字は、重複して直交変換（強調処理）される回数を示している。同図に示す４×４のブロックの四隅、中央、及び四隅の間とで処理回数が異なり、強度に差が出る。
【００３３】
そこで、図７に示す実施形態の輪郭強調装置３０では、ブロック分割部３１で画素を重複してブロック分割して出力した後に、前述したと同様に直交変換部３２、判定部３３、強調部３４、及び逆変換部３５での処理により輪郭を強調した画像（輪郭強調画像）を得る。その後に、差分部３６で、前記輪郭強調画像と元の画像との差分を取って強調した成分を分離する。その後、処理部３７で、ブロックの重複画素の直交変換回数に応じてゲイン、例えば１／２、１／４を掛ける等、強調効果を弱める処理を行った上で、加算部３８で元画像データに加算して出力を行う。
【００３４】
さらに、２次元直交変換を完全に行うためには、多くの計算量が必要となる。特に、ブロックサイズを大きくしようとすれば、処理時間も大幅に増大する。これを避けるために、判定に必要な係数と、輪郭強調の時に操作する変換係数のみを計算することで、演算量を削減することができる。
【００３５】
例えば、図８に示す実施形態の輪郭強調装置４０では、第１直交変換部４１で、初めに判定に必要な係数のみ、例えば水平方向のエッジを含むときに大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つの値のみを求める。その後、判定部４２で求めた２つの変換係数を用いてエッジの有無、及び方向の判定を行い、高周波成分の変換係数のうち強調操作する変換係数をエッジ方向に応じて特定する。そして、第２直交変換部４３で、前記特定した変換係数の値のみを求める。その後、強調部４４で、特定した変換係数が表す波形（基底）を記憶部４５から読み出し、読み出した波形に、強調操作前後の変換係数の差分を掛けて強調した波形を求める。なお、必要ならば、この後に、前述したブロックを重複させた場合の処置を行う。最後に、加算部４６で、強調した波形を元画像のデータに加えて出力する。記憶部４５には、予め逆変換した変換係数Ｘ，Ｙ，Ｚに対応する周波数の波がそれぞれ記憶されている。
【００３６】
なお、本実施形態では、輪郭強調装置以外に、その装置を達成するためのプログラム、及びそのプログラムコードを供給するための記憶媒体としてもよい、記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。さらには、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【符号の説明】
【００３７】
１０，３０，４０ 輪郭強調装置
１２，３２ ２次元直交変換部
１３，３３，４２ 判定部
１４，３４，４４ 強調部
【技術分野】
【０００１】
本発明は、画像の輪郭を強調する輪郭強調装置、及び輪郭強調プログラム、並びにそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、例えばデジタルカメラ、デジタルビデオカメラ等においては、より自然な画像データを得るため、撮像した被写体の画像データに対して、被写体のエッジ部分、すなわち輪郭部分を決められた度合で強調する画像処理が一般に行われている。
例えば、入力信号から抽出された高周波成分に対してゲインをかけて調整することで輪郭強調を行うのが一般的である。
【０００３】
また、入力信号を１次元の画素列に直交変換して周波数検出をした後に、検出した周波数成分からその奇数倍の高調波にあたる周波数成分を生成し、生成した高調波にあたる周波数成分を入力信号に加えることで映像又は音声の鮮鋭度を向上する信号処理回路が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３４９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、単純にゲインをかけるのでは、元々残っている輪郭成分を強調するに留まり、輪郭そのものを強調することはできない。また、特許文献１に記載の信号処理装置では、１次元直交変換の処理であるため、着目領域における輪郭の方向性までは考慮し難い。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、輪郭そのものを方向性まで考慮して強調することができる輪郭強調装置、及び輪郭強調プログラム、並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、入力画像を予めブロック単位に分割する分割手段と、前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換手段と、前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定手段と、前記係数行列を構成する複数の変換係数のうち、高周波数成分の変換係数について、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調手段と、前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換手段と、を備えたものである。
【０００８】
また、本発明としては、コンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【０００９】
本発明は、２次元直交変換手段によりブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換し、判定手段により係数行列を構成する複数の変換係数のうち低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定し、強調手段により、係数行列を構成する複数の変換係数のうちの高周波数成分の変換係数について判定手段が判定したエッジの方向に対応する変換係数の値を増やすため、輪郭そのものを方向性まで考慮して強調することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の輪郭強調装置の一実施形態を示すブロック図である。
【図２】輪郭強調装置の処理手順を示すフローチャートである。
【図３】２次元直交変換により得られる係数行列を示す説明図である。
【図４】ブロックを２画素ずつ重複して分割をする例を示す説明図である。
【図５】ブロックを１画素ずつ重複して分割をする例を示す説明図である。
【図６】ブロック周辺の画素が重複して直交変換される回数を示す説明図である。
【図７】重複して直交変換が施されるブロック周辺の輪郭強調を弱めるようにした他の実施形態を示すブロック図である。
【図８】２次元直交変換部での計算を簡略することができる別の実施形態を示すブロック図である。
【発明を実施するための最良の形態】
【００１１】
本発明の位置実施形態の輪郭強調装置１０は、図１に示すように、ブロック分割部１１、２次元直交変換部１２、判定部１３、強調部１４、及び逆変換部１５とで構成されている。
ブロック分割部１１は、順次入力される画像データを、ｍ×ｎ画素（ｍ、ｎは自然数、ｍ＝ｎ又はｍ≠ｎ）個のブロック単位に分割する。
【００１２】
２次元直交変換部１２は、ブロック単位に分割されて順次入力されてくる画素データを２次元直交変換して周波数領域の係数行列に順次変換する。係数行列には、周波数変換を指定する変換係数が複数格納される。なお、２次元直交変換部１２としては、2次元の離散コサイン変換やアダマール変換のように、空間領域から周波数領域への変換を行う２次元直交変換であれば、任意の直交変換を用いることができる。
【００１３】
判定部１３は、周波数領域の係数行列（m×n個の変換係数）のうち、周波数成分の低い変換係数を用いてエッジの有無、及びその方向を判定する。
強調部１４は、周波数成分の高い変換係数のうち、判定したエッジの方向に対応する変換係数に所定の値を加える。
【００１４】
逆変換部１５は、強調した変換係数を含む係数行列を周波数領域から空間領域へ逆直行変換して画像データの画素値を導出する。
次に上記構成の作用を、図２を参照しながら説明する。ブロック分割部１１には画像データが順次入力される（Ｓ−１）。ブロック分割部１１は、ｍ×ｎ、例えば４×４画素のブロック単位に分割する（Ｓ−２）。ブロックとしては、ｎ×ｎ画素からなる正方形のブロックを用いる場合が多いが、m×n画素からなる長方形のブロックを用いることもできる。
【００１５】
次に、２次元直交変換部１２は、ブロック単位に、例えば２次元の離散コサイン変換を施して周波数領域の係数行列を構成する複数の変換係数を求める（Ｓ−３）。もしｎ×ｎ画素からなる正方形のブロックを用いた場合、複数の変換係数も1ブロック当たりｎ×ｎとなる。この結果、基底（波形）の変換係数から高次の変換係数が、図３に示すように、４×４のマトリクスに表示される。
【００１６】
ここで、左上の升１６が「水平・垂直の直流成分」、すなわち、画像の「平均値」に対応する。この左上の升１６の周辺の変換係数Ａ，Ｂ，Ｃを含む３升の領域１７は、周波数成分（直流）の低い領域であり、また、「右上」の変換係数Ｘ、及び「左下」の変換係数Ｚを含む周辺部の領域１８は、周波数の「高域成分」に対応する。
【００１７】
変換係数Ａは、垂直方向にエッジを含む場合、大きな値をもち、また、変換係数Ｃは、水平方向にエッジを含む場合、大きな値をもつ。そして、斜め方向にエッジを含む場合、変換係数Ａ，Ｂ，Ｃ共に大きな値になる。そこで、本実施形態では、変換係数Ａ，Ｃの値を用いてエッジの有無、及びその方向を判定する。
判定部１３は、変換後の係数行列に対して、次の判定１〜４を順に行ってエッジの有無、及びその方向を判定する。
【００１８】
［判定１］
判定１では、変換係数｜Ａ｜≫変換係数｜Ｃ｜かつ変換係数｜Ｃ｜が「０」に近いかを判定する（Ｓ−４）。
判定１について該当する場合には、判定部は垂直方向のエッジを含むと判定する（Ｓ−５）。該当しない場合には判定２を行う。
【００１９】
［判定２］
判定２では、変換係数｜Ｃ｜≫変換係数｜Ａ｜かつ｜Ａ｜が「０」に近いかを判定する（Ｓ−６）。
判定２について該当する場合には、判定部は水平方向のエッジを含むと判定する（Ｓ−７）。該当しない場合には判定３を行う。
【００２０】
［判定３］
判定３では、変換係数｜Ａ｜≫０かつ変換係数｜Ｃ｜≫「０」であるかを判定する（Ｓ−８）。
判定３について該当する場合には、判定部は斜め方向のエッジを含むと判定する（Ｓ−９）。該当しない場合には判定４を行う。
【００２１】
［判定４］
判定４では、変換係数｜Ａ｜，｜Ｃ｜共に予め決めた閾値よりも小さい値であるかを判定する（Ｓ−１０）。
判定４について該当する場合、判定部１３は平坦部を含むと判定する（Ｓ−１１）。
【００２２】
ここで、どの程度の差で「≫」が成立すると判断するかは、入力画像の特性、ノイズ量等によって、予め決めておく。基本的には、デジタルカメラの撮影画像であれば、低感度画像ほどその差が小さくても「≫」が成立すると判断し、また、高感度画像においては低感度よりも大きな差で「≫」が成立すると判断した方が、ノイズの強調は抑えられる。
また、「≒０」と判定する条件も、上記と同様に入力画像の特性、ノイズ量等に応じて予め設定しておけばよい。
【００２３】
強調部１４は、垂直方向にエッジが含まれると判定した場合、垂直周波数の高い側に対応する変換係数Ｘに所定の値を加算する（Ｓ−１２）。水平方向にエッジが含まれると判定した場合、水平周波数の高い側に対応する変換係数Ｚに所定の値を加算する（Ｓ−１３）。斜め方向にエッジが含まれると判定した場合、高周波領域にある変換係数Ｘ，Ｙ，Ｚに所定の値に所定の値を各々加算する（Ｓ−１４）。
【００２４】
ここで、変換係数Ｙは、垂直周波数及び水平周波数共に高い側に対応する変換係数である。そして、平坦部が含まれると判定した場合には、判定部３はエッジを含まないと判定するため、何も処理をしない。
【００２５】
ところで、強調部１４で加算する「所定の値」は、変換係数Ａ，Ｂの値を参照し、適切な輪郭強調量となるような値を出力するような関数やＬＵＴ等を予め設定しておき、強調部３４での処理の時に前記関数やＬＵＴ等から求めればよい。さらに、元の変換係数Ｘ，Ｙ，Ｚの値も参照することで、例えば元々の周波数成分の変換係数との合計が予め決めた値以上にならないように、補正を加えることで、過度な強調を抑制することができる。
【００２６】
強調部１４は、垂直方向のエッジを判定した場合、更に、変換係数Ｚの値を「０」に近づくよう減算する処理を行う（Ｓ−１５）。水平方向のエッジを含むと判定した場合にも、同等の処理を行う（Ｓ−１６）。これにより、その部分の水平成分を抑制することになるため、より垂直成分を目立たせることができる。なお、減算以外の操作としては、変換係数Ｚの値がより「０」に近づくように予め決めた係数を掛ける、又はゼロに置き換える等の操作を行ってもよい。また、この処理を省略し、強調部１４は、所定値を加算するだけの処理としてもよい。
【００２７】
このように操作された変換係数を、逆変換によって周波数領域から空間領域へと戻すことで（Ｓ−１７）、輪郭強調された画像を得ることが出来る。
【００２８】
本実施形態では、元々存在していなかった高周波成分を付け加えることになるので、単純なＢＰＦ（バンドパスフィルタ）出力とゲインを組み合わせた輪郭強調に比べ、精細な輪郭強調を行うことが可能となる。
【００２９】
また、上記実施形態では、４×４画素のブロック毎に分割して直交変換を行っているが、この大きさ以外でも行うことができる。また、異なる大きさの画素のブロックでも判定部１３での判定、及び強調操作する変換係数の位置関係は、基本的には同じとなる。判定を行う時の変換係数Ａ，Ｂとしては、それぞれ対象領域とその周辺の領域との複数の値としてもよい。また、強調操作する対象の変換係数の値も同様に対象領域とその周辺の領域との複数の値とすることも可能である。例えば８×８個の変換係数で構成される係数行列では、本実施形態で説明した変換係数Ａ、Ｃとして、該当する位置の変換係数とその周辺（隣接する周辺）の変換係数とを含む複数の値を対象にすればよい。
【００３０】
また、ブロック分割を単純に（重複無く）行った場合に、画像の特性・操作による変化量によっては、その継ぎ目で不自然な変化が生じる可能性がある。この対策としては、ブロック分割を重複して行い、その重複画素の強調処理時おける特性変化を和らげることができる。
【００３１】
例えば、図４に示すように、４×４画素のブロック２２で、２画素ずつ重複して行うと、画像２３の最周辺部以外では、全画素同じ回数ずつ直交変換処理が行われ、同じ回数分強調処理が行われるため、１回当たりの強調効果を調整すれば、均等な強度かブロック境界の急激な変化を緩和することが可能となる。
【００３２】
また、図５に示すように、ブロック２５の最周辺部（１列・１行分）のみを重複させるやり方も考えられる。この場合には、同一強度で適用してしまうと、図６に示すように、重複して直交変換される箇所とそうでない箇所で、強度に差が出てしまい、かえって不自然な結果となってしまう。なお、図６に記載の画素位置の数字は、重複して直交変換（強調処理）される回数を示している。同図に示す４×４のブロックの四隅、中央、及び四隅の間とで処理回数が異なり、強度に差が出る。
【００３３】
そこで、図７に示す実施形態の輪郭強調装置３０では、ブロック分割部３１で画素を重複してブロック分割して出力した後に、前述したと同様に直交変換部３２、判定部３３、強調部３４、及び逆変換部３５での処理により輪郭を強調した画像（輪郭強調画像）を得る。その後に、差分部３６で、前記輪郭強調画像と元の画像との差分を取って強調した成分を分離する。その後、処理部３７で、ブロックの重複画素の直交変換回数に応じてゲイン、例えば１／２、１／４を掛ける等、強調効果を弱める処理を行った上で、加算部３８で元画像データに加算して出力を行う。
【００３４】
さらに、２次元直交変換を完全に行うためには、多くの計算量が必要となる。特に、ブロックサイズを大きくしようとすれば、処理時間も大幅に増大する。これを避けるために、判定に必要な係数と、輪郭強調の時に操作する変換係数のみを計算することで、演算量を削減することができる。
【００３５】
例えば、図８に示す実施形態の輪郭強調装置４０では、第１直交変換部４１で、初めに判定に必要な係数のみ、例えば水平方向のエッジを含むときに大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つの値のみを求める。その後、判定部４２で求めた２つの変換係数を用いてエッジの有無、及び方向の判定を行い、高周波成分の変換係数のうち強調操作する変換係数をエッジ方向に応じて特定する。そして、第２直交変換部４３で、前記特定した変換係数の値のみを求める。その後、強調部４４で、特定した変換係数が表す波形（基底）を記憶部４５から読み出し、読み出した波形に、強調操作前後の変換係数の差分を掛けて強調した波形を求める。なお、必要ならば、この後に、前述したブロックを重複させた場合の処置を行う。最後に、加算部４６で、強調した波形を元画像のデータに加えて出力する。記憶部４５には、予め逆変換した変換係数Ｘ，Ｙ，Ｚに対応する周波数の波がそれぞれ記憶されている。
【００３６】
なお、本実施形態では、輪郭強調装置以外に、その装置を達成するためのプログラム、及びそのプログラムコードを供給するための記憶媒体としてもよい、記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。さらには、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【符号の説明】
【００３７】
１０，３０，４０ 輪郭強調装置
１２，３２ ２次元直交変換部
１３，３３，４２ 判定部
１４，３４，４４ 強調部
【特許請求の範囲】
【請求項１】
入力画像を予めブロック単位に分割する分割手段と、
前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換手段と、
前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定手段と、
前記係数行列を構成する複数の変換係数のうち、高周波数成分の変換係数について、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調手段と、
前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換手段と、
を備えたことを特徴とする輪郭強調装置。
【請求項２】
請求項１に記載の輪郭強調蔵置において、
前記判定手段は、水平方向のエッジを含むときに大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つを用いて判定することを特徴とする輪郭協調装置。
【請求項３】
請求項１又は２に記載の輪郭強調蔵置において、
前記分割手段は、画像を重複してブロック分割するとともに、
輪郭強調した画像と元の画像との差分を取ることで強調した成分を分離する差分部と、
強調した成分に対して前記ブロックでの直交変換の重複処理数に応じて強調効果を弱める処理を施す処理部と、
強調効果を弱めた成分を元の画像に加算する加算部と、
を備えることを特徴とする輪郭強調装置。
【請求項４】
請求項１に記載の輪郭強調蔵置において、
前記２次元直交変換部は、水平方向のエッジを含む時に大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つのみを直交変換する前段直交変換手段になっており、
高周波成分の変換係数のうちの強調操作するための変換係数のみを前記判定部で判定したエッジの方向に応じて求める後段直交変換部を設け、
前記強調部は、前記後段直交変換部で求めた変換係数が表す波を予め記憶した記憶部から読み出して、これに操作前後の変換係数の差分を掛けて強調した波形を求めるとともに、
前記強調した波形を元の画像データに加算する加算部を、
備えることを特徴とする輪郭強調装置。
【請求項５】
入力画像を予めブロック単位に分割する分割ステップと、
前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換ステップと、
前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定ステップと、
前記複数の変換係数のうち高周波数成分の変換係数のうち、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調ステップと、
前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換ステップと、
をコンピュータに実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力画像を予めブロック単位に分割する分割手段と、
前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換手段と、
前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定手段と、
前記係数行列を構成する複数の変換係数のうち、高周波数成分の変換係数について、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調手段と、
前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換手段と、
を備えたことを特徴とする輪郭強調装置。
【請求項２】
請求項１に記載の輪郭強調蔵置において、
前記判定手段は、水平方向のエッジを含むときに大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つを用いて判定することを特徴とする輪郭協調装置。
【請求項３】
請求項１又は２に記載の輪郭強調蔵置において、
前記分割手段は、画像を重複してブロック分割するとともに、
輪郭強調した画像と元の画像との差分を取ることで強調した成分を分離する差分部と、
強調した成分に対して前記ブロックでの直交変換の重複処理数に応じて強調効果を弱める処理を施す処理部と、
強調効果を弱めた成分を元の画像に加算する加算部と、
を備えることを特徴とする輪郭強調装置。
【請求項４】
請求項１に記載の輪郭強調蔵置において、
前記２次元直交変換部は、水平方向のエッジを含む時に大きな値になる変換係数と、垂直方向のエッジを含む時に大きな値になる変換係数との少なくとも２つのみを直交変換する前段直交変換手段になっており、
高周波成分の変換係数のうちの強調操作するための変換係数のみを前記判定部で判定したエッジの方向に応じて求める後段直交変換部を設け、
前記強調部は、前記後段直交変換部で求めた変換係数が表す波を予め記憶した記憶部から読み出して、これに操作前後の変換係数の差分を掛けて強調した波形を求めるとともに、
前記強調した波形を元の画像データに加算する加算部を、
備えることを特徴とする輪郭強調装置。
【請求項５】
入力画像を予めブロック単位に分割する分割ステップと、
前記ブロック毎に分割されて順次入力されてくる画素データを周波数領域の係数行列に順次変換する２次元直交変換ステップと、
前記係数行列を構成する複数の変換係数のうち、低周波数成分の変換係数を用いてエッジの有無、及びその方向を判定する判定ステップと、
前記複数の変換係数のうち高周波数成分の変換係数のうち、前記判定手段が判定したエッジの方向に対応する変換係数の値を増やす強調ステップと、
前記強調した変換係数を含む係数行列を周波数領域から空間領域へ逆変換して前記画像データの画素値を導出する逆変換ステップと、
をコンピュータに実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５８９６４（Ｐ２０１３−５８９６４Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６９３２（Ｐ２０１１−１９６９３２）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]