説明

画像処理装置および画像処理方法

【課題】 画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことができる。
【解決手段】 画像処理装置は、複数ビットからなる入力デジタル画像データのビット数を増やして階調増加を行う階調増加部1と、階調増加後のデータに対してノイズを付加するノイズ付加部2と、ノイズ付加部2による処理後のデータに対して各種の画像処理を行う画像処理部3と、画像処理部3による処理後のデータのビット数を減らして階調減少を行う階調減少部4とを備えている。入力デジタル画像データの階調増加を行って、ノイズを付加した後に画像処理を行い、その後に階調減少を行うため、画像処理を行っても階調情報が損なわれるおそれがなくなり、元の被写体がもつ階調の微妙な変化を反映させた画像データを生成することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像データに対して各種の画像処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
デジタルカメラ等により得られた入力デジタル画像データに対して各種の画像処理(例えば、フィルタ処理)を行うと、入力デジタル画像データよりも階調数が減少するおそれがある。例えば、図8のようなS字曲線関数f(x)を用いて、入力デジタル画像データの画像処理を行う場合、入力デジタル画像データの画素値が異なるのに、画像処理後の画素値が同じ値になってしまうことがある。例えば、図8の階調値x1,x2は、画像処理後の階調値f(x1)とf(x2)が一致してしまう。
【0003】
元のデジタル画像データの画素値が異なるのに、画像処理後の画素値が一致するということは、階調数が減少してしまったことを意味し、情報量が失われたことに他ならない。
【0004】
このような問題を解決するために、画像処理を行う前に元のデジタル画像データの階調数を増加させる手法が提案されている(特許文献1,2参照)
【特許文献1】特開平9-326931号公報
【特許文献2】特開平10-42136号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記特許文献1,2に開示された手法によれば、画像処理を行っても階調数が失われるおそれはないが、デジタル処理を行っているため、画像処理後の実質的な階調数が入力デジタル画像データの階調数以上になることはない。したがって、微妙な色合いを表現するには、入力デジタル画像データのビット数を予め増やすしかない。ところが、入力デジタル画像データのビット数をビット数を増やすと、配線数や信号処理量が増え、画像処理を迅速に行えなくなる。
【0006】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことを可能な画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様によれば、複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、前記階調増加手段による階調増加後のデータに対してノイズを付加するノイズ付加手段と、前記ノイズ付加手段によるノイズ付加後のデータに対して所定の画像処理を行う画像処理手段と、前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備える画像処理装置が提供される。
【0008】
また、本発明の一態様によれば、複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、前記階調増加手段による階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う線形化手段と、前記線形化手段による線形化処理後のデータに対して所定の画像処理を行う画像処理手段と、前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備える画像処理装置が提供される。
【発明の効果】
【0009】
本発明によれば、画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことができる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【0011】
(第1の実施形態)
図1は本発明の第1の実施形態による画像処理装置の概略構成を示すブロック図である。図1の画像処理装置は、複数ビットからなる入力デジタル画像データのビット数を増やして階調増加を行う階調増加部1と、階調増加後のデータに対してノイズを付加するノイズ付加部2と、ノイズ付加部2による処理後のデータに対して各種の画像処理を行う画像処理部3と、画像処理部3による処理後のデータのビット数を減らして階調減少を行う階調減少部4とを備えている。
【0012】
入力デジタル画像データのビット数は特に問わないが、例えばRGBの各色とも8ビット(28=256階調)である。階調増加部1が増やすビット数も特に制限はないが、例えばRGBの各色とも256階調を216=65536階調に増やす。
【0013】
画像処理部3が行う具体的な画像処理の種類は特に問わないが、例えば色調変換、コントラスト調整、ホワイトバランス調整、ガンマ補正、各種フィルタ処理などである。
【0014】
階調減少部4は、画像処理部3による処理後のデータを元の入力デジタル画像データのビット数まで階調を減少させる。
【0015】
本実施形態の特徴は、階調増加部1が階調増加処理を行った後にノイズ付加を行うことである。以下では、説明の簡略化のために、入力デジタル画像データが0〜9までの10段階の階調データであるとし、階調増加部1は、入力デジタル画像データを単純に10倍するものとする。すなわち、階調増加部1は、0〜9までの入力デジタル画像データを、{0、10、20、30、40、50、60、70、80、90}という値に変換するものとする。
【0016】
次に、ノイズ付加部2は、階調増加部1による処理後のデータに対して、0〜9までのノイズ(ランダムな値)を加える処理を行うものとする。したがって、ノイズ付加部2の出力は、{0〜9、10〜19、20〜29、30〜39、40〜49、50〜59、60〜69、70〜79、80〜89、90〜99}になる。このように、ノイズ付加部2の出力は、0〜99までの100段階の階調すべてを取りうることがわかる。
【0017】
次に、階調減少部4は、ノイズ付加部2の出力を単純に10分の1にするものとし、小数点以下は切り捨てることにする。これにより、0〜9のデータは0に、10〜19のデータは1に変換され、結局、階調減少部4の出力は、元の入力デジタル画像データ0〜9とまったく同じになり、完全に元のデータを復元できることがわかる。
【0018】
このように、階調増加後にノイズを付加してもしなくても、元の入力デジタル画像データを復元できるため、ノイズを除去する処理を行う必要はない。
【0019】
以下、ノイズを付加する目的および効果について詳述する。以下では、説明を簡略化するために、データを単純に2倍する操作、すなわち画像を明るくする画像処理について説明する。
【0020】
入力デジタル画像データが{0、1、2、3,4}であるとする。階調増加部1が階調数を10倍にする場合、その出力は{0、10、20、30、40}になる。画像処理部3が2倍に明るくする処理を行う場合、その出力は{0、20、40、60、80}になる。階調減少部4は元の階調数に戻すため、その出力は{0、2、4、6、8}になる。したがって、結果だけみると、元の入力デジタル画像データを直接2倍にする画像処理を行うのと同じ結果になる。
【0021】
一方、階調増加部1の出力に対してノイズ付加部2でノイズを付加すると、ノイズ付加部2の出力は、{0〜9、10〜19、20〜29、30〜39、40〜49}になる。ここで、0〜9とは、0から9までのいずれかの値を取りうることを意味する。
【0022】
その後に画像処理部3で画像処理を行うと、その出力は{0〜18、20〜38、40〜58、60〜78、80〜98}になる。その後に階調減少部4は階調数の減少処理を行うが、その出力は、{0〜1、2〜3、4〜5、6〜7、8〜9}になる。
【0023】
ここで、階調減少部4の出力がある範囲を持っている理由は、付加されるノイズの値により、0になったり1になったりすることを意味している。例えば入力デジタル画像データが0の場合に階調減少部4の出力が0になる確率は9/19であり、入力デジタル画像データが1の場合に階調増加部1の出力が1になる確率は8/19である。
【0024】
このように、階調増加後にノイズを付加して画像処理を行って階調減少処理を行うと、ノイズを付加しない場合よりも階調数が増えることがわかる。したがって、階調が微妙に変化するグラデーション画像の場合、階調飛びのない自然な画像を得ることができる。
【0025】
上述した説明では、単純な画像処理を例に取って説明したが、本実施形態はあらゆる画像処理について有効である。ノイズを付加することの本質的な意味は、入力デジタル画像データに対応する元画像の階調分布を予測することである。例えば、入力デジタル画像データが0の場合、元画像のアナログ値は0〜0.99999…の範囲にあったはずであり、デジタル化される過程で0に丸められてしまったにすぎない。そこで、本実施形態のノイズ付加部2は、入力デジタル画像データ0に対して、0〜0.99999…のノイズを付加するのに等価な処理を行う。これにより、本実施形態は、実質的に、入力デジタル画像データの元画像をより忠実に復元して画像処理を行うことができる。
【0026】
図2は8×8画素からなる入力デジタル画像データ(図2(a))に対して3種類の画像処理(逆ガンマ変換、モノクロ化およびガンマ変換)を順に行った結果を示している(図2(b)〜図2(d))。説明の簡略化のために、入力デジタル画像データは4階調(0〜3)を取りうるとする。図2では、階調増加処理やノイズ付加処理を行わないため、画像処理を行うことにより、一部の階調値が失われてしまう。例えば、逆ガンマ変換を行うと、画素値2が存在しなくなる。また、モノクロ化を行うと、画素値1が存在しなくなる。また、ガンマ変換を行うと、画素値1が存在しなくなる。
【0027】
一方、図3は、図2と同じ8×8画素からなる入力デジタル画像データ(図3(a))に対して、階調増加を行った(図3(b))後に3種類の画像処理を行い(図3(c)〜図3(e)、その後に階調減少を行った結果を示している(図3(f))。図3(b)では、入力デジタル画像の階調を5倍に増加している。この場合、入力デジタル画像データの階調特性が損なわれることなく画像処理を行えることがわかる。
【0028】
次に、図4は、図2と同じ8×8画素からなる入力デジタル画像データ(図4(a)に対して、階調増加を行った後にノイズを付加し(図4(b))、その後に画像処理を行った(図4(c)〜図4(e))後に階調減少を行った結果を示している(図4(f))。ノイズの種類は特に問わないが、例えば図(g)に示すように8×8画素からなる0〜4までのランダムなノイズを階調増加後のデータに加える。図4(b)は5倍に階調を増加した後にノイズを付加した例を示している。ノイズが付加された後に3種類の画像処理と階調減少が行われる。
【0029】
図4(f)を見ればわかるように、入力デジタル画像データが0の場合には階調減少後の出力は0になるが、入力デジタル画像データが1の場合には、出力は0〜2の間で画素値が変動する。同様に、入力デジタル画像データが2の場合には、出力は1〜3の値で画素値が変動する。入力デジタル画像データが3の場合には、出力は3になる。
【0030】
このように、入力デジタル画像データの値が同じであったとしても、階調減少後の値は同じ値になるとは限らず、入力デジタル画像データの階調分布に応じて階調減少後の出力値が変化する。
【0031】
ノイズ付加部2が付加するノイズの具体的内容には特に制限はないが、ランダム性の高いノイズを付加するのが望ましい。例えば、ノイズを付加する前の階調増加部1の出力データが0〜N(Nは整数)の画素値を取る場合には、ノイズ付加部2が付加するノイズnは、0≦n<Nとなる。あるいは、−N≦n<Nのノイズや、−N/2≦n<N/2のノイズや、−N≦n<0のノイズや、−k・N≦n<k・Nのノイズ(ただし、kは0<k≦1)を付加してもよい。このように、ノイズ付加部2が付加するノイズには各種の値が考えられる。
【0032】
ノイズのランダム性を高めるには、ノイズ付加部2内で乱数を発生する必要があるが、ある程度のランダム性があればそれなりに効果があるため、例えばある画素範囲内である程度のランダム性のあるフィルタを予め用意してノイズ付加を行ってもよい。
【0033】
例えば、図5(a)は4×4画素の巡回系列の値を持つフィルタの一例を示している。このフィルタを用いて、階調増加後にノイズ付加を行って、その後に画像処理と階調減少を行った結果が図5(b)〜図5(g)に示されている。
【0034】
図5(a)のようなフィルタを用いてノイズ付加を行うと、ノイズを生成する処理が不要となるため、ノイズ付加部2での処理を軽減でき、画像処理の高速化が可能となる。
【0035】
なお、図5(a)のフィルタは4×4画素のサイズであるため、そのサイズに応じてノイズに規則性が生じてしまう。このような規則性を低減するには、フィルタの縦横サイズをできるだけ大きくすればよい。ただし、サイズを大きくするほど、フィルタのデータ量が大きくなってしまう。
【0036】
そこで、ノイズ付加部2の入力データ(階調増加部1の出力データ)dと画像の座標位置(x、y)とを入力パラメータとする関数f(d,x,y)によりノイズを計算してもよい。このような関数fを用いれば、規則性が軽減され、ランダム性の高いノイズを生成できる。
【0037】
このように、第1の実施形態では、入力デジタル画像データの階調増加を行って、ノイズを付加した後に画像処理を行い、その後に階調減少を行うため、画像処理を行っても階調情報が損なわれるおそれがなくなり、また、ノイズ付加により、元の被写体がもつ階調の微妙な変化を反映させた画像データを生成することができる。
【0038】
(第2の実施形態)
第2の実施形態は、入力デジタル画像データの特性に応じた線形化処理を行うものである。
【0039】
図6は本発明の第2の実施形態による画像処理装置の概略構成を示すブロック図である。図では、図1と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。
【0040】
図6の画像処理装置は、図1のノイズ付加部2の代わりに、線形化処理部5を備えている。線形化処理部5は、階調増加部1による階調増加を行ったデータに対して、入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う。
【0041】
以下、このような線形化処理が必要となる理由を詳述する。入力デジタル画像データ自体は非線形の特性を持っていることが多く、そのままで画像処理を行うと、実際の被写体が持っている階調特性とはかけ離れた結果が得られる可能性が大きい。例えば、デジタルカメラやスキャナで取り込んだデジタル画像データは、コントラストを強めるために、入力光量に対する画素値の特性がS字状カーブの非線形特性を持っているのが一般的である。このような特性を持つ入力デジタル画像データについては、画像処理を行う前に、S字特性とは逆特性の関数を利用して画像変換処理を行って画像データを線形化した後に画像処理を行うのが望ましい。この場合に、限られたビット精度で線形化処理を行うと、階調情報の一部が損なわれてしまう。
【0042】
そこで、本実施形態では、いったん階調増加を行った後に、線形化処理部5内で上述した線形化処理を行い、その後に画像処理を行う。これにより、階調情報を損なうことなく、線形化された状態で画像処理を行うことができ、実画像の階調特性に合致した画像処理を行うことができる。
【0043】
入力デジタル画像データの入力光量に対する階調特性が予め既知であれば、その特性とは逆特性の関数を用意することで線形処理を行うことができるが、入力デジタル画像データの特性が予めわからない場合は、何らかの手段でその特性を推定する必要がある。例えば、テレビは、NTSCカラースペースという色空間に合致した画像を提供するのに対し、パーソナルコンピュータやモニタはsRGBカラースペースという色空間を一般に用いる。デジタルカメラもsRGBで画像を記録するのが一般的であり、各種の画像処理も入力画像をsRGBと仮定して処理を行うのが一般的である。
【0044】
ところが、どのデジタルカメラも、正確な色座標をsRGBで記録していないのが実情である。その理由は、すべてのデジタルカメラが取り込んだ色を正確にsRGBカラースペースで画像化したとすると、各カメラによる色の違いがなくなり、カメラメーカの独自性が出せなくなるためである。そこで、各カメラメーカとも、独自の色を作り出すために、色を変換してsRGBとは異なるガンマテーブルを用いて画像を生成して記録している。
【0045】
ところで、通常のデジタルカメラは、撮影時に、画像以外に、撮影時の種々の付属情報を記録する。この付属情報は、Exif(Exchangeable image format)規格に準拠して記録されるのが一般的である。Exif規格で定める付属情報(以下、Exif情報)は、画素数、圧縮モード、撮影日時、機種名、絞り値、色空間などである。最新のExif規格(Ver. 2.21)では、sRGBカラースペースに加えて、adobeRGBカラースペースでの記録にも対応可能となっており、どちらのカラースペースで記録されたかを示す付属情報が定義されている。
【0046】
入力デジタル画像データがデジタルカメラで撮影されたデータである場合には、上述したExif情報を取得することで、どのカメラで撮影され、どのようなカラースペースで記録されたかを検出できる。
【0047】
そこで、線形化処理部5に予めカメラごとの関数を設けておき、入力デジタル画像データのExif情報にてカメラ名が特定されると、そのカメラに対応する関数を用いて、入力デジタル画像データを線形化する処理を行う。これにより、カメラの癖を吸収して、各画素の画素値から正確な色座標を算出して色を作り替えることができる。
【0048】
この場合のブロック構成は図7のようなものになる。図7の画像処理装置は、線形化処理部5内にExif情報取得部6と、デジタルカメラごとの関数を格納する関数格納部7と、Exif情報に応じた関数を選択する関数選択部8とが含まれている。
【0049】
図7の画像処理装置の場合、デジタルカメラが出力するRAWデータから画像を生成するのと同様の正確さと手法を用いて、デジタルカメラが出力するJPEGデータに対して優れた画像処理を施すことができる。
【0050】
なお、例えば12ビット階調のRAWデータと8ビット階調しかないJPEGデータでは階調数の隔たりが大きいため、そのままだとRAWデータと同様の階調表現を維持して、JPEGデータで画像処理を行うことはできない。そこで、本実施形態では、線形化処理部5で線形化処理を行う前に、階調増加を行っている。
【0051】
図7の画像処理装置に入力される入力デジタル画像データがExif情報を持っていない場合には、Exif情報を使用しないで線形化処理を行うようにしてもよいし、あるいは線形化処理を行うのをやめて、第1の実施形態と同様のノイズ付加処理を行ってもよい。
【0052】
また、第1および第2の実施形態を組み合わせた処理を行ってもよいし、あるいはどちらの処理を行うかをユーザがメニュー等で選択できるようにしてもよい。
【0053】
このように、第2の実施形態では、入力データ画像データの階調増加を行った後に線形化処理を行ってから画像処理を行うため、デジタルカメラ等で生成された入力データ画像データの階調特性の癖を除去した状態で画像処理を行うことができ、オリジナルの画像の階調特性に忠実な階調表現を持つ画像を得ることができる。また、入力データ画像データに対応するExif情報に応じた関数を選択して線形化処理を行うことにより、各デジタルカメラごとに最適な線形化処理を行うことができ、デジタルカメラの機種によらずに常に高品質の画像を得ることができる。
【0054】
上述した第1および第2の実施形態による画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置の少なくとも一部の機能を実現するプログラムをフロッピーディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0055】
また、画像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【図面の簡単な説明】
【0056】
【図1】本発明の第1の実施形態による画像処理装置の概略構成を示すブロック図。
【図2】8×8画素からなる入力デジタル画像データに対して3種類の画像処理(逆ガンマ変換、モノクロ化およびガンマ変換)を順に行った結果を示す図。
【図3】図2と同じ8×8画素からなる入力デジタル画像データに対して、階調増加を行った後に3種類の画像処理を行い、その後に階調減少を行った結果を示す図。
【図4】図2と同じ8×8画素からなる入力デジタル画像データに対して、階調増加を行った後にノイズを付加し、その後に画像処理を行った後に階調減少を行った結果を示す図。
【図5】4×4画素の巡回系列の値を持つフィルタを用いてノイズ付加を行う例を示す図。
【図6】本発明の第2の実施形態による画像処理装置の概略構成を示すブロック図。
【図7】Exif情報を用いて線形化処理を行う場合の画像処理装置の概略構成を示すブロック図。
【図8】階調特性を表すS字曲線関数の一例を示す図。
【符号の説明】
【0057】
1 階調増加部
2 ノイズ付加部
3 画像処理部
4 階調減少部
5 線形化処理部
6 Exif情報取得部
7 関数格納部
8 関数選択部

【特許請求の範囲】
【請求項1】
複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、
前記階調増加手段による階調増加後のデータに対してノイズを付加するノイズ付加手段と、
前記ノイズ付加手段によるノイズ付加後のデータに対して所定の画像処理を行う画像処理手段と、
前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備えることを特徴とする画像処理装置。
【請求項2】
前記ノイズ付加手段は、前記階調増加手段による階調増加後のデータの階調値の最大値と最小値との間の値であるノイズを前記階調値に加えるか、あるいは前記ノイズを前記階調値から減ずることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記ノイズは、乱数または疑似乱数であることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記ノイズ付加手段は、前記階調増加手段による階調増加後のデータと、画像内の画素位置とを入力パラメータとする所定の関数を用いてノイズを付加することを特徴とする請求項1または2に記載の画像処理装置。
【請求項5】
複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、
前記階調増加手段による階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う線形化手段と、
前記線形化手段による線形化処理後のデータに対して所定の画像処理を行う画像処理手段と、
前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備えることを特徴とする画像処理装置。
【請求項6】
前記入力デジタル画像データの付属情報を取得する付属情報取得手段を備え、
前記線形化手段は、前記付属情報取得手段にて取得された付属情報に基づいて、線形化するための関数を選択して線形化処理を行うことを特徴とする請求項5に記載の画像処理装置。
【請求項7】
デジタルカメラの機種ごとに固有の前記関数を格納する関数格納手段を備え、
前記線形化手段は、前記付属情報取得手段にて取得された付属情報にて特定されるデジタルカメラの機種に対応する前記関数を前記関数格納手段から取得して線形化処理を行うことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記付属情報は、Exif(Exchangeable image file format)規格の付属情報であることを特徴とする請求項6または7に記載の画像処理装置。
【請求項9】
複数ビットからなる入力デジタル画像データの階調数を増加させるステップと、
階調増加後のデータに対してノイズを付加するステップと、
ノイズ付加後のデータに対して所定の画像処理を行うステップと、
画像処理後のデータの階調数を減少させるステップと、を備えることを特徴とする画像処理方法。
【請求項10】
複数ビットからなる入力デジタル画像データの階調数を増加させるステップと、
階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行うステップと、
線形化処理後のデータに対して所定の画像処理を行うステップと、
画像処理後のデータの階調数を減少させるステップと、を備えることを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2007−5903(P2007−5903A)
【公開日】平成19年1月11日(2007.1.11)
【国際特許分類】
【出願番号】特願2005−180781(P2005−180781)
【出願日】平成17年6月21日(2005.6.21)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
2.Exif
【出願人】(596046118)株式会社市川ソフトラボラトリー (19)
【Fターム(参考)】