画像処理装置及び画像処理方法
【課題】画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供する。
【解決手段】入力画像信号から、変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成部１と、変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成部２と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換部３と、変換した輝度に基づいて変換前正規化ヒストグラムの各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成部４と、正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正部５とを備えている。
【解決手段】入力画像信号から、変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成部１と、変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成部２と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換部３と、変換した輝度に基づいて変換前正規化ヒストグラムの各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成部４と、正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正部５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばディジタルビデオテープレコーダ装置（ディジタルＶＴＲ）等に用いられる画像処理装置及び画像処理方法であって、詳細には、外部から供給される画像信号をより多い量子化ビット数の画像信号に変換して出力する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、テレビ等の映像分野においては、映像の各画素は８ビットのディジタル信号で定義されていたが、その後、画像プロセスの要求等から各画素を１０ビットで定義する必要に迫られ、１０ビットデータの信号規格も決められている。その一例として、シリアルディジタルインタフェースのＳＭＰＴＥの２５９Ｍ等がある。
【０００３】
このような状況において、異なる信号規格間で信号をやり取りする場合には、８ビット信号を１０ビット信号に変換する必要がある。
【０００４】
このように、異なるディジタル信号フォーマット間の信号乗り換えのための必要な技術のひとつに、例えば、特許文献１に開示された量子化ビット数変換方法が挙げられる。この特許文献１に開示された量子化ビット数変換方法では、８ビットのディジタル信号から１０ビットのディジタル信号へ変換するためには、８ビット画像データにおける注目画素の周辺画素の輝度分布に応じて予め設けたクラスに分類され、クラス分類結果に応じて予め規定された予測係数が決定され、該予測係数を用いて８ビット画像データの注目画素を１０ビットに変換するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１８６６０８号公報（１９９７年７月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の画像処理装置及び画像処理方法では、局所的な輝度情報に基づいて輝度が変換されるため、画像全体での輝度分布が保証されなという問題点を有している。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、上記課題を解決するために、画像輝度値の階調解像度を向上させる画像処理装置において、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、上記正規化補間ヒス
トグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられていることを特徴としている。
【０００９】
本発明の画像処理方法は、上記課題を解決するために、画像輝度値の階調解像度を向上させる画像処理方法において、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含むことを特徴としている。
【００１０】
上記の発明によれば、画像輝度値の階調解像度を向上させる場合には、変換前輝度ヒストグラム生成手段が、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する。次いで、変換前正規化ヒストグラム生成手段が、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する。そして、輝度変換手段が、画像の各画素の輝度を階調解像度が向上するように変換する。
【００１１】
本発明では、加えて、正規化補間ヒストグラム生成手段が、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成すると共に、修正手段が、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。
【００１２】
したがって、従来の局所的な輝度情報に基づいて補間するのではなく、入力画像全体の変換前正規化ヒストグラムに基づいて画素変換する。この結果、画面全体での輝度分布が保証される。
【００１３】
この結果、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することができる。
【００１４】
本発明の画像処理装置では、前記修正手段は、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させることが好ましい。
【００１５】
本発明の画像処理方法では、前記修正工程では、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換工程にて再輝度変換させることが好ましい。
【００１６】
これにより、入力画像全体の変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するために、修正手段にて、上記正規化補間ヒストグラム生成手段にて
生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる処理が行われる。
【００１７】
したがって、確実に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することができる。
【００１８】
本発明の画像処理装置では、前記輝度変換手段は、前記画像における各画素の輝度勾配の大きさに基づいて変換することが可能である。
【００１９】
本発明の画像処理方法では、前記輝度変換工程では、前記画像における各画素の輝度勾配の大きさに基づいて変換することが可能である。
【００２０】
これにより、変換する場合には、入力画像における各画素の輝度勾配の大きさに基づいて変換する。この結果、平坦な画像における擬似輪郭を抑制することができる。
【００２１】
本発明の画像処理装置では、前記輝度変換手段は、前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することが可能である。
【００２２】
本発明の画像処理方法では、前記輝度変換工程では、前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することが可能である。
【００２３】
これにより、各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値等の従来法を本発明に適用することができる。
【００２４】
本発明の画像処理装置では、前記正規化補間ヒストグラム生成手段は、前記輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段と、上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段とを備えていると共に、前記修正手段は、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することが好ましい。
【００２５】
本発明の画像処理方法では、前記正規化補間ヒストグラム生成工程では、前記輝度変換工程にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成工程と、上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成工程とを含むと共に、前記修正工程では、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することが好ましい。
【００２６】
これにより、正規化補間ヒストグラム生成手段は、まず、変換後輝度ヒストグラム生成手段にて、輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する。次いで、変換後正規化ヒストグラム生成手段が、変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する。そして、修正手段が、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正する。
【００２７】
したがって、正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる場合に、具体的な一致方法を提供することが可能となる。
【００２８】
本発明の画像処理装置では、前記修正手段は、前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換手段に繰り返して輝度変換させることが好ましい。
【００２９】
本発明の画像処理方法では、前記修正工程では、前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換工程にて繰り返して輝度変換させることが好ましい。
【００３０】
これにより、正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる場合に、確実に、具体的な一致方法を提供することが可能となる。
【発明の効果】
【００３１】
本発明の画像処理装置は、以上のように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられているものである。
【００３２】
本発明の画像処理方法は、以上のように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含む方法である。
【００３３】
それゆえ、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供するという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明における画像処理装置の実施の一形態を示すものであって、画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置において階調解像度が向上処理される前の入力画像を示す平面図である。
【図３】上記画像処理装置の変換前輝度ヒストグラム生成部にて生成された変換前輝度ヒストグラムを示すグラフである。
【図４】上記画像処理装置の変換前正規化ヒストグラム生成部にて生成された変換前正規化ヒストグラムを示すグラフである。
【図５】上記画像処理装置の正規化補間ヒストグラム生成部にて生成された正規化補間ヒストグラムを示すグラフである。
【図６】上記画像処理装置において階調解像度が向上処理された後の出力画像を示す平面図である。
【図７】（ａ）は図２に示す各変換対応画素Ａ及びその周辺画素の輝度を示す図であり、（ｂ）は輝度勾配を示す図である。
【図８】（ａ）は図２に示す各変換対応画素Ｂ及びその周辺画素の輝度を示す図であり、（ｂ）は輝度勾配を示す図であり、（ｃ）は変換対応画素Ｂを輝度変換した図であり、（ｄ）は変換対応画素Ｂを輝度変換したことによって輝度「４」の発生頻度の一部が、輝度「５」の発生頻度に遷移したことを示すグラフである。
【図９】上記画像処理装置における正規化補間ヒストグラム生成部の補間方法を説明するためのグラフである。
【発明を実施するための形態】
【００３５】
本発明の一実施形態について図１〜図９に基づいて説明すれば、以下のとおりである。
【００３６】
図１は、本実施の形態の画像処理装置の構成を示すブロック図である。
【００３７】
本実施の形態の画像処理装置１０は、図１に示すように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段としての変換前輝度ヒストグラム生成部１と、変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段としての変換前正規化ヒストグラム生成部２と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段ととしての輝度変換部３と、輝度変換部３により変換した輝度に基づいて、変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段としての正規化補間ヒストグラム生成部４と、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段としての修正部５とを備えている。
【００３８】
上記構成の画像処理装置１０における画像処理方法について、以下に説明する。
【００３９】
例えば、図２に示すように、入力画像として８ビットのディジタル信号、つまり２５６階調で定義された入力画像の入力画像信号が画像処理装置１０に入力されたとする。尚、この入力画像は、例えば、横１０００画素×縦４００画素、合計４０００００画素からなっているとする。
【００４０】
本実施の形態の画像処理装置１０は、この２５６階調で定義された入力画像信号を、１０ビットのディジタル信号、つまり１０２４階調で定義された出力画像信号に変換するものである。
【００４１】
まず、本実施の形態では、変換前輝度ヒストグラム生成部１は、図３に示すように、画像から各画素の輝度値の総数をプロットした変換前輝度ヒストグラムを生成する。次いで、変換前正規化ヒストグラム生成部２が、図４に示すように、上記の変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラム
を生成する。すなわち、図４においては、横軸は輝度値が昇順にプロットされていると共に、縦軸は、各輝度値の発生頻度の割合がプロットされている。例えば、合計４０００００画素のうち、例えば輝度「１００」の頻度が、８００００個（＝８００００画素）である場合には、発生頻度割合は、０．２となる。このように、本実施の形態では、縦軸を発生頻度の割合にてプロットしている点で、正規化と称している。尚、順列の並べ方として、本実施の形態では、昇順となっているが、必ずしもこれに限らず、降順でもよく、順に連続して並んでいればよい。
【００４２】
次いで、輝度変換部３が、画像の各画素の輝度を階調解像度が向上するように変換する。この変換方法については、後述する。
【００４３】
次いで、図５に示すように、正規化補間ヒストグラム生成部４が、輝度変換部３により変換した輝度に基づいて、変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成すると共に、図５においては、実線の縦棒が補間された発生頻度割合を示している。そして、修正部５が、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。この結果、修正部５にて、生起確率分布が維持されたと判断された場合には、図６に示すように、１０２４階調で定義された各画素の輝度に基づく出力画像が出力されるようになっている。
【００４４】
したがって、従来の局所的な輝度情報に基づいて補間するのではなく、入力画像全体の変換前正規化ヒストグラムに基づいて画素変換する。この結果、画面全体での輝度分布が保証される。
【００４５】
ここで、上記輝度変換部３における変換方法について説明する。
【００４６】
本実施の形態の輝度変換部３における具体的な変換方法としては、従来法である例えば、画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換する方法がある。これにより、各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値等の従来法を本実施の形態に適用することができる。
【００４７】
また、本実施の形態では、上記の従来法の適用に際して、入力された画像における各画素の輝度勾配の大きさに基づいて変換することが好ましい。この場合、以下の原則に基づき変換することが望ましい。
（１）勾配強度が高い画素は変更してよい。
（２）勾配強度が低い画素はなるべくそのままがよい。
【００４８】
この原則を適用するのが望ましい理由として、各勾配強度が高い画素はエッジの中心にある等、その輝度値が変わり易い又は変わってもよいと考えられる不安定な画素である。一方、勾配強度が低い画素は画像内でも平坦部にあると考えられ、周囲の画素値との関係から見ても安定しているその値を率先して変えるべきではないと考えられるからである。
【００４９】
この輝度勾配の大きさに基づいて変換する場合には、まず、変換前輝度ヒストグラムの各発生頻度割合において勾配値を基にソートする。次いで、任意の画素値において、輝度値及び勾配値の大きさの順列を基に輝度値を割り振る。
【００５０】
ここで、変換方法について、図７（ａ）（ｂ）、図８（ａ）〜（ｄ）及び図９に基づいて具体的に説明する。図７（ａ）は、図２に示す各変換対応画素Ａ及びその周辺画素の輝度を示す図であり、図７（ｂ）は輝度勾配を示す図である。また、図８（ａ）は図２に示
す各変換対応画素Ｂ及びその周辺画素の輝度を示す図であり、図８（ｂ）は輝度勾配を示す図であり、図８（ｃ）は変換対応画素Ｂを輝度変換した図であり、図８（ｄ）は変換対応画素Ｂを輝度変換したことによって輝度「４」の発生頻度の一部が、輝度「５」の発生頻度に遷移したことを示すグラフである。さらに、図９は、画像処理装置１０における正規化補間ヒストグラム生成部４の補間方法を説明するためのグラフである。
【００５１】
尚、この説明では、理解し易いように、８階調にて表示した画像を１６階調の画像に階調解像度を向上させる場合について説明する。すなわち、３ビットのディジタル信号を４ビットのディジタル信号に変換することを考えている。
【００５２】
例えば、図７（ａ）に示すように、前記図２に示す変換対応画素Ａの輝度が「４」であり、その周辺画素の輝度も「４」である場合には、図７（ｂ）に示すように、勾配が小さいので変換しない。
【００５３】
一方、例えば、図８（ａ）に示すように、前記図２に示す変換対応画素Ｂの輝度が「４」であり、その左側の周辺画素の輝度が「１０」であり、かつその右側の周辺画素の輝度が「０」である場合には、図８（ｂ）に示すように、勾配が大きいので変換する。尚、変換するか否かについては、実際には、勾配の大きさの閾値を設定すればよい。
【００５４】
変換対応画素Ｂの輝度を変換する場合、例えば、図８（ａ）に示す変換対応画素Ｂ及びその周辺画素を含む９画素の平均値は、４２÷９＝４．７６≒５となるので、図８（ｃ）に示すように、輝度「５」に変換する。この結果、変換後の輝度ヒストグラムは、図８（ｄ）に示すように、輝度「４」の発生頻度が１つ減少し、輝度「５」の発生頻度が１つ増加する。
【００５５】
この変換を画面全体の画素について行う。すなわち、例えば図９に示すように、任意の画素値において、輝度値及び勾配値の順列に基づいて、輝度値「４」及び輝度値「６」を輝度値「５」に割当て、輝度値「６」及び輝度値「８」を輝度値「７」に割り当てる。
【００５６】
ここで、本実施の形態では、上述のように割り当てるだけにとどまらず、修正部５が、変換前正規化ヒストグラムの形状である生起確率分布を維持するように、輝度値「５」及び輝度値「７」に割り当てる画素数を制限する。
【００５７】
具体的には、本実施の形態では、修正部５は、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。
【００５８】
詳細には、修正部５は、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく輝度変換部３に再輝度変換させる。
【００５９】
本実施の形態の画像処理装置１０では、正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致していることを判断するための構成として、以下の構成を備えている。
【００６０】
すなわち、本実施の形態の画像処理装置１０は、図１に示すように、正規化補間ヒストグラム生成部４の具体的構成として、輝度変換部３にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段としての変換後輝度ヒストグラム生成部１１と、変換後輝度ヒストグラムから、順列に並んだ輝度毎の
発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段としての変換後輝度ヒストグラム生成部１１とを備えている。また、修正部５は、変換前正規化ヒストグラムと変換後正規化ヒストグラムとの比較結果に基づいて修正する。
【００６１】
そして、修正部５は、具体的には、変換前正規化ヒストグラムと変換後正規化ヒストグラムとの比較結果に基づいて、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換部３に繰り返して輝度変換させる。
【００６２】
すなわち、生起確率分布との差が一定値以下になれば、修正部５により出力画像信号を出力する一方、生起確率分布との差が一定値以下にならなければ、輝度変換部３に再変換を行わせ、変換後輝度ヒストグラム生成部１１にて変換後輝度ヒストグラムを生成し、変換後正規化ヒストグラム生成部１２にて変換後正規化ヒストグラムを生成し、修正部５にて、生起確率分布との差が一定値以下になったか否かを判断する。これを生起確率分布との差が一定値以下になるまで繰り返す。
【００６３】
これにより、変換前正規化ヒストグラムの形状である生起確率分布を維持するように変換することが可能となる。
【００６４】
尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、それぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００６５】
本発明は、外部から供給される画像信号をより多い量子化ビット数の画像信号に変換して出力する、例えばディジタルビデオテープレコーダ装置（ディジタルＶＴＲ）等に用いられる画像処理装置及び画像処理方法に適用できる。
【符号の説明】
【００６６】
１ 変換前輝度ヒストグラム生成部（前輝度ヒストグラム生成手段）
２ 変換前正規化ヒストグラム生成部（変換前正規化ヒストグラム生成手段）
３ 輝度変換部（輝度変換手段）
４ 正規化補間ヒストグラム生成部（正規化補間ヒストグラム生成手段）
５ 修正部（修正手段）
１０ 画像処理装置
１１ 変換後輝度ヒストグラム生成部（変換後輝度ヒストグラム生成手段）
１２ 変換後正規化ヒストグラム生成部（変換後正規化ヒストグラム生成手段）
Ａ 変換対応画素
Ｂ 変換対応画素
【技術分野】
【０００１】
本発明は、例えばディジタルビデオテープレコーダ装置（ディジタルＶＴＲ）等に用いられる画像処理装置及び画像処理方法であって、詳細には、外部から供給される画像信号をより多い量子化ビット数の画像信号に変換して出力する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、テレビ等の映像分野においては、映像の各画素は８ビットのディジタル信号で定義されていたが、その後、画像プロセスの要求等から各画素を１０ビットで定義する必要に迫られ、１０ビットデータの信号規格も決められている。その一例として、シリアルディジタルインタフェースのＳＭＰＴＥの２５９Ｍ等がある。
【０００３】
このような状況において、異なる信号規格間で信号をやり取りする場合には、８ビット信号を１０ビット信号に変換する必要がある。
【０００４】
このように、異なるディジタル信号フォーマット間の信号乗り換えのための必要な技術のひとつに、例えば、特許文献１に開示された量子化ビット数変換方法が挙げられる。この特許文献１に開示された量子化ビット数変換方法では、８ビットのディジタル信号から１０ビットのディジタル信号へ変換するためには、８ビット画像データにおける注目画素の周辺画素の輝度分布に応じて予め設けたクラスに分類され、クラス分類結果に応じて予め規定された予測係数が決定され、該予測係数を用いて８ビット画像データの注目画素を１０ビットに変換するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１８６６０８号公報（１９９７年７月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の画像処理装置及び画像処理方法では、局所的な輝度情報に基づいて輝度が変換されるため、画像全体での輝度分布が保証されなという問題点を有している。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、上記課題を解決するために、画像輝度値の階調解像度を向上させる画像処理装置において、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、上記正規化補間ヒス
トグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられていることを特徴としている。
【０００９】
本発明の画像処理方法は、上記課題を解決するために、画像輝度値の階調解像度を向上させる画像処理方法において、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含むことを特徴としている。
【００１０】
上記の発明によれば、画像輝度値の階調解像度を向上させる場合には、変換前輝度ヒストグラム生成手段が、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する。次いで、変換前正規化ヒストグラム生成手段が、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する。そして、輝度変換手段が、画像の各画素の輝度を階調解像度が向上するように変換する。
【００１１】
本発明では、加えて、正規化補間ヒストグラム生成手段が、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成すると共に、修正手段が、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。
【００１２】
したがって、従来の局所的な輝度情報に基づいて補間するのではなく、入力画像全体の変換前正規化ヒストグラムに基づいて画素変換する。この結果、画面全体での輝度分布が保証される。
【００１３】
この結果、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することができる。
【００１４】
本発明の画像処理装置では、前記修正手段は、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させることが好ましい。
【００１５】
本発明の画像処理方法では、前記修正工程では、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換工程にて再輝度変換させることが好ましい。
【００１６】
これにより、入力画像全体の変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するために、修正手段にて、上記正規化補間ヒストグラム生成手段にて
生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる処理が行われる。
【００１７】
したがって、確実に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供することができる。
【００１８】
本発明の画像処理装置では、前記輝度変換手段は、前記画像における各画素の輝度勾配の大きさに基づいて変換することが可能である。
【００１９】
本発明の画像処理方法では、前記輝度変換工程では、前記画像における各画素の輝度勾配の大きさに基づいて変換することが可能である。
【００２０】
これにより、変換する場合には、入力画像における各画素の輝度勾配の大きさに基づいて変換する。この結果、平坦な画像における擬似輪郭を抑制することができる。
【００２１】
本発明の画像処理装置では、前記輝度変換手段は、前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することが可能である。
【００２２】
本発明の画像処理方法では、前記輝度変換工程では、前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することが可能である。
【００２３】
これにより、各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値等の従来法を本発明に適用することができる。
【００２４】
本発明の画像処理装置では、前記正規化補間ヒストグラム生成手段は、前記輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段と、上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段とを備えていると共に、前記修正手段は、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することが好ましい。
【００２５】
本発明の画像処理方法では、前記正規化補間ヒストグラム生成工程では、前記輝度変換工程にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成工程と、上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成工程とを含むと共に、前記修正工程では、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することが好ましい。
【００２６】
これにより、正規化補間ヒストグラム生成手段は、まず、変換後輝度ヒストグラム生成手段にて、輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する。次いで、変換後正規化ヒストグラム生成手段が、変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する。そして、修正手段が、前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正する。
【００２７】
したがって、正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる場合に、具体的な一致方法を提供することが可能となる。
【００２８】
本発明の画像処理装置では、前記修正手段は、前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換手段に繰り返して輝度変換させることが好ましい。
【００２９】
本発明の画像処理方法では、前記修正工程では、前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換工程にて繰り返して輝度変換させることが好ましい。
【００３０】
これにより、正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させる場合に、確実に、具体的な一致方法を提供することが可能となる。
【発明の効果】
【００３１】
本発明の画像処理装置は、以上のように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられているものである。
【００３２】
本発明の画像処理方法は、以上のように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含む方法である。
【００３３】
それゆえ、画像輝度値の階調解像度を向上させるべく、入力ディジタル信号よりも多いビット数のディジタル信号を生成する場合に、画像全体での輝度分布を正確に維持し得る画像処理装置及び画像処理方法を提供するという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明における画像処理装置の実施の一形態を示すものであって、画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置において階調解像度が向上処理される前の入力画像を示す平面図である。
【図３】上記画像処理装置の変換前輝度ヒストグラム生成部にて生成された変換前輝度ヒストグラムを示すグラフである。
【図４】上記画像処理装置の変換前正規化ヒストグラム生成部にて生成された変換前正規化ヒストグラムを示すグラフである。
【図５】上記画像処理装置の正規化補間ヒストグラム生成部にて生成された正規化補間ヒストグラムを示すグラフである。
【図６】上記画像処理装置において階調解像度が向上処理された後の出力画像を示す平面図である。
【図７】（ａ）は図２に示す各変換対応画素Ａ及びその周辺画素の輝度を示す図であり、（ｂ）は輝度勾配を示す図である。
【図８】（ａ）は図２に示す各変換対応画素Ｂ及びその周辺画素の輝度を示す図であり、（ｂ）は輝度勾配を示す図であり、（ｃ）は変換対応画素Ｂを輝度変換した図であり、（ｄ）は変換対応画素Ｂを輝度変換したことによって輝度「４」の発生頻度の一部が、輝度「５」の発生頻度に遷移したことを示すグラフである。
【図９】上記画像処理装置における正規化補間ヒストグラム生成部の補間方法を説明するためのグラフである。
【発明を実施するための形態】
【００３５】
本発明の一実施形態について図１〜図９に基づいて説明すれば、以下のとおりである。
【００３６】
図１は、本実施の形態の画像処理装置の構成を示すブロック図である。
【００３７】
本実施の形態の画像処理装置１０は、図１に示すように、入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段としての変換前輝度ヒストグラム生成部１と、変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段としての変換前正規化ヒストグラム生成部２と、画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段ととしての輝度変換部３と、輝度変換部３により変換した輝度に基づいて、変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段としての正規化補間ヒストグラム生成部４と、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段としての修正部５とを備えている。
【００３８】
上記構成の画像処理装置１０における画像処理方法について、以下に説明する。
【００３９】
例えば、図２に示すように、入力画像として８ビットのディジタル信号、つまり２５６階調で定義された入力画像の入力画像信号が画像処理装置１０に入力されたとする。尚、この入力画像は、例えば、横１０００画素×縦４００画素、合計４０００００画素からなっているとする。
【００４０】
本実施の形態の画像処理装置１０は、この２５６階調で定義された入力画像信号を、１０ビットのディジタル信号、つまり１０２４階調で定義された出力画像信号に変換するものである。
【００４１】
まず、本実施の形態では、変換前輝度ヒストグラム生成部１は、図３に示すように、画像から各画素の輝度値の総数をプロットした変換前輝度ヒストグラムを生成する。次いで、変換前正規化ヒストグラム生成部２が、図４に示すように、上記の変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラム
を生成する。すなわち、図４においては、横軸は輝度値が昇順にプロットされていると共に、縦軸は、各輝度値の発生頻度の割合がプロットされている。例えば、合計４０００００画素のうち、例えば輝度「１００」の頻度が、８００００個（＝８００００画素）である場合には、発生頻度割合は、０．２となる。このように、本実施の形態では、縦軸を発生頻度の割合にてプロットしている点で、正規化と称している。尚、順列の並べ方として、本実施の形態では、昇順となっているが、必ずしもこれに限らず、降順でもよく、順に連続して並んでいればよい。
【００４２】
次いで、輝度変換部３が、画像の各画素の輝度を階調解像度が向上するように変換する。この変換方法については、後述する。
【００４３】
次いで、図５に示すように、正規化補間ヒストグラム生成部４が、輝度変換部３により変換した輝度に基づいて、変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成すると共に、図５においては、実線の縦棒が補間された発生頻度割合を示している。そして、修正部５が、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。この結果、修正部５にて、生起確率分布が維持されたと判断された場合には、図６に示すように、１０２４階調で定義された各画素の輝度に基づく出力画像が出力されるようになっている。
【００４４】
したがって、従来の局所的な輝度情報に基づいて補間するのではなく、入力画像全体の変換前正規化ヒストグラムに基づいて画素変換する。この結果、画面全体での輝度分布が保証される。
【００４５】
ここで、上記輝度変換部３における変換方法について説明する。
【００４６】
本実施の形態の輝度変換部３における具体的な変換方法としては、従来法である例えば、画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換する方法がある。これにより、各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値等の従来法を本実施の形態に適用することができる。
【００４７】
また、本実施の形態では、上記の従来法の適用に際して、入力された画像における各画素の輝度勾配の大きさに基づいて変換することが好ましい。この場合、以下の原則に基づき変換することが望ましい。
（１）勾配強度が高い画素は変更してよい。
（２）勾配強度が低い画素はなるべくそのままがよい。
【００４８】
この原則を適用するのが望ましい理由として、各勾配強度が高い画素はエッジの中心にある等、その輝度値が変わり易い又は変わってもよいと考えられる不安定な画素である。一方、勾配強度が低い画素は画像内でも平坦部にあると考えられ、周囲の画素値との関係から見ても安定しているその値を率先して変えるべきではないと考えられるからである。
【００４９】
この輝度勾配の大きさに基づいて変換する場合には、まず、変換前輝度ヒストグラムの各発生頻度割合において勾配値を基にソートする。次いで、任意の画素値において、輝度値及び勾配値の大きさの順列を基に輝度値を割り振る。
【００５０】
ここで、変換方法について、図７（ａ）（ｂ）、図８（ａ）〜（ｄ）及び図９に基づいて具体的に説明する。図７（ａ）は、図２に示す各変換対応画素Ａ及びその周辺画素の輝度を示す図であり、図７（ｂ）は輝度勾配を示す図である。また、図８（ａ）は図２に示
す各変換対応画素Ｂ及びその周辺画素の輝度を示す図であり、図８（ｂ）は輝度勾配を示す図であり、図８（ｃ）は変換対応画素Ｂを輝度変換した図であり、図８（ｄ）は変換対応画素Ｂを輝度変換したことによって輝度「４」の発生頻度の一部が、輝度「５」の発生頻度に遷移したことを示すグラフである。さらに、図９は、画像処理装置１０における正規化補間ヒストグラム生成部４の補間方法を説明するためのグラフである。
【００５１】
尚、この説明では、理解し易いように、８階調にて表示した画像を１６階調の画像に階調解像度を向上させる場合について説明する。すなわち、３ビットのディジタル信号を４ビットのディジタル信号に変換することを考えている。
【００５２】
例えば、図７（ａ）に示すように、前記図２に示す変換対応画素Ａの輝度が「４」であり、その周辺画素の輝度も「４」である場合には、図７（ｂ）に示すように、勾配が小さいので変換しない。
【００５３】
一方、例えば、図８（ａ）に示すように、前記図２に示す変換対応画素Ｂの輝度が「４」であり、その左側の周辺画素の輝度が「１０」であり、かつその右側の周辺画素の輝度が「０」である場合には、図８（ｂ）に示すように、勾配が大きいので変換する。尚、変換するか否かについては、実際には、勾配の大きさの閾値を設定すればよい。
【００５４】
変換対応画素Ｂの輝度を変換する場合、例えば、図８（ａ）に示す変換対応画素Ｂ及びその周辺画素を含む９画素の平均値は、４２÷９＝４．７６≒５となるので、図８（ｃ）に示すように、輝度「５」に変換する。この結果、変換後の輝度ヒストグラムは、図８（ｄ）に示すように、輝度「４」の発生頻度が１つ減少し、輝度「５」の発生頻度が１つ増加する。
【００５５】
この変換を画面全体の画素について行う。すなわち、例えば図９に示すように、任意の画素値において、輝度値及び勾配値の順列に基づいて、輝度値「４」及び輝度値「６」を輝度値「５」に割当て、輝度値「６」及び輝度値「８」を輝度値「７」に割り当てる。
【００５６】
ここで、本実施の形態では、上述のように割り当てるだけにとどまらず、修正部５が、変換前正規化ヒストグラムの形状である生起確率分布を維持するように、輝度値「５」及び輝度値「７」に割り当てる画素数を制限する。
【００５７】
具体的には、本実施の形態では、修正部５は、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する。
【００５８】
詳細には、修正部５は、正規化補間ヒストグラム生成部４にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく輝度変換部３に再輝度変換させる。
【００５９】
本実施の形態の画像処理装置１０では、正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致していることを判断するための構成として、以下の構成を備えている。
【００６０】
すなわち、本実施の形態の画像処理装置１０は、図１に示すように、正規化補間ヒストグラム生成部４の具体的構成として、輝度変換部３にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段としての変換後輝度ヒストグラム生成部１１と、変換後輝度ヒストグラムから、順列に並んだ輝度毎の
発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段としての変換後輝度ヒストグラム生成部１１とを備えている。また、修正部５は、変換前正規化ヒストグラムと変換後正規化ヒストグラムとの比較結果に基づいて修正する。
【００６１】
そして、修正部５は、具体的には、変換前正規化ヒストグラムと変換後正規化ヒストグラムとの比較結果に基づいて、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換部３に繰り返して輝度変換させる。
【００６２】
すなわち、生起確率分布との差が一定値以下になれば、修正部５により出力画像信号を出力する一方、生起確率分布との差が一定値以下にならなければ、輝度変換部３に再変換を行わせ、変換後輝度ヒストグラム生成部１１にて変換後輝度ヒストグラムを生成し、変換後正規化ヒストグラム生成部１２にて変換後正規化ヒストグラムを生成し、修正部５にて、生起確率分布との差が一定値以下になったか否かを判断する。これを生起確率分布との差が一定値以下になるまで繰り返す。
【００６３】
これにより、変換前正規化ヒストグラムの形状である生起確率分布を維持するように変換することが可能となる。
【００６４】
尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、それぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００６５】
本発明は、外部から供給される画像信号をより多い量子化ビット数の画像信号に変換して出力する、例えばディジタルビデオテープレコーダ装置（ディジタルＶＴＲ）等に用いられる画像処理装置及び画像処理方法に適用できる。
【符号の説明】
【００６６】
１ 変換前輝度ヒストグラム生成部（前輝度ヒストグラム生成手段）
２ 変換前正規化ヒストグラム生成部（変換前正規化ヒストグラム生成手段）
３ 輝度変換部（輝度変換手段）
４ 正規化補間ヒストグラム生成部（正規化補間ヒストグラム生成手段）
５ 修正部（修正手段）
１０ 画像処理装置
１１ 変換後輝度ヒストグラム生成部（変換後輝度ヒストグラム生成手段）
１２ 変換後正規化ヒストグラム生成部（変換後正規化ヒストグラム生成手段）
Ａ 変換対応画素
Ｂ 変換対応画素
【特許請求の範囲】
【請求項１】
画像輝度値の階調解像度を向上させる画像処理装置において、
入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、
上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、
画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、
上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、
上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられていることを特徴とする画像処理装置。
【請求項２】
前記修正手段は、
上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記輝度変換手段は、
前記画像における各画素の輝度勾配の大きさに基づいて変換することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記輝度変換手段は、
前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することを特徴とする請求項１，２又は３記載の画像処理装置。
【請求項５】
前記正規化補間ヒストグラム生成手段は、
前記輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段と、
上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段とを備えていると共に、
前記修正手段は、
前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記修正手段は、
前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換手段に繰り返して輝度変換させることを特徴とする請求項５記載の画像処理装置。
【請求項７】
画像輝度値の階調解像度を向上させる画像処理方法において、
入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、
上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、
画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、
上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、
上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含むことを特徴とする画像処理方法。
【請求項８】
前記修正工程では、
上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換工程にて再輝度変換させることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記輝度変換工程では、
前記画像における各画素の輝度勾配の大きさに基づいて変換することを特徴とする請求項７又は８記載の画像処理方法。
【請求項１０】
前記輝度変換工程では、
前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することを特徴とする請求項７，８又は９記載の画像処理方法。
【請求項１１】
前記正規化補間ヒストグラム生成工程では、
前記輝度変換工程にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成工程と、
上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成工程とを含むと共に、
前記修正工程では、
前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することを特徴とする請求項７〜１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記修正工程では、
前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換工程にて繰り返して輝度変換させることを特徴とする請求項１１記載の画像処理方法。
【請求項１】
画像輝度値の階調解像度を向上させる画像処理装置において、
入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成手段と、
上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成手段と、
画像の各画素の輝度を階調解像度が向上するように変換する輝度変換手段と、
上記輝度変換手段により変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成手段と、
上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正手段とが設けられていることを特徴とする画像処理装置。
【請求項２】
前記修正手段は、
上記正規化補間ヒストグラム生成手段にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換手段に再輝度変換させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記輝度変換手段は、
前記画像における各画素の輝度勾配の大きさに基づいて変換することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記輝度変換手段は、
前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することを特徴とする請求項１，２又は３記載の画像処理装置。
【請求項５】
前記正規化補間ヒストグラム生成手段は、
前記輝度変換手段にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成手段と、
上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成手段とを備えていると共に、
前記修正手段は、
前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記修正手段は、
前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換手段に繰り返して輝度変換させることを特徴とする請求項５記載の画像処理装置。
【請求項７】
画像輝度値の階調解像度を向上させる画像処理方法において、
入力画像信号から、画像の各画素の輝度をプロットした変換前輝度ヒストグラムを生成する変換前輝度ヒストグラム生成工程と、
上記変換前輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換前正規化ヒストグラムを生成する変換前正規化ヒストグラム生成工程と、
画像の各画素の輝度を階調解像度が向上するように変換する輝度変換工程と、
上記輝度変換工程にて変換した輝度に基づいて、上記変換前正規化ヒストグラムにおける各輝度間の発生頻度割合を補間した正規化補間ヒストグラムを生成する正規化補間ヒストグラム生成工程と、
上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布を維持するように修正する修正工程とを含むことを特徴とする画像処理方法。
【請求項８】
前記修正工程では、
上記正規化補間ヒストグラム生成工程にて生成された正規化補間ヒストグラムの発生頻度割合から得られる生起確率分布が、変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布に一致するように修正すべく上記輝度変換工程にて再輝度変換させることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記輝度変換工程では、
前記画像における各画素の輝度勾配の大きさに基づいて変換することを特徴とする請求項７又は８記載の画像処理方法。
【請求項１０】
前記輝度変換工程では、
前記画像における各変換対応画素と該変換対応画素の周辺画素との算術平均又は中央値により変換することを特徴とする請求項７，８又は９記載の画像処理方法。
【請求項１１】
前記正規化補間ヒストグラム生成工程では、
前記輝度変換工程にて変換された各画素の輝度をプロットした変換後輝度ヒストグラムを生成する変換後輝度ヒストグラム生成工程と、
上記変換後輝度ヒストグラムから、順列に並んだ輝度毎の発生頻度割合をプロットした変換後正規化ヒストグラムを生成する変換後正規化ヒストグラム生成工程とを含むと共に、
前記修正工程では、
前記変換前正規化ヒストグラムと上記変換後正規化ヒストグラムとの比較結果に基づいて修正することを特徴とする請求項７〜１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記修正工程では、
前記変換前正規化ヒストグラムと前記変換後正規化ヒストグラムとの比較結果に基づいて、上記変換前正規化ヒストグラムの発生頻度割合から得られる生起確率分布と上記変換後正規化ヒストグラムの発生頻度割合から得られる生起確率分布との差が一定値以下になるまで輝度変換工程にて繰り返して輝度変換させることを特徴とする請求項１１記載の画像処理方法。
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図２】
【図６】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図２】
【図６】
【公開番号】特開２０１１−１１９９２８（Ｐ２０１１−１１９９２８Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４７８３（Ｐ２００９−２７４７８３）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]