画像処理装置、画像処理方法、画像符号化方法、画像復号化方法
【課題】
本発明の目的は、より好適に画像のコントラスト調整を行う。
【解決手段】
画像を入力し、入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、入力画像における画像処理対象画素の画素値の第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、画像処理対象画素の画素値を、第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける上記算出順位の画素値に変更する画像変換処理とを行い、画像変換処理された画像を出力する。
本発明の目的は、より好適に画像のコントラスト調整を行う。
【解決手段】
画像を入力し、入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、入力画像における画像処理対象画素の画素値の第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、画像処理対象画素の画素値を、第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける上記算出順位の画素値に変更する画像変換処理とを行い、画像変換処理された画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理を行う画像処理技術、画像符号化技術、画像復号化技術に関する。
【背景技術】
【０００２】
画像をデジタルデータ化して記録する装置としてデジタルビデオカメラ、デジタルスチルカメラがある。以下これらをデジタル撮像装置と呼ぶ。デジタル撮像装置はCCDやCMOSと呼ばれるデバイスによって光学的な情報をデジタル情報として取得し媒体に記録する。
【０００３】
ここで、デジタルカメラが記録可能な明るさの範囲をダイナミックレンジと呼ぶ。ダイナミックレンジの大きさはデジタルカメラの使用するCCDやCMOSの性能や、それぞれの機種の画像処理能力に依存する。
【０００４】
ここで、デジタル撮像装置のダイナミックレンジの幅が大きい場合は、暗い撮影場所でもコントラストの高い画像を撮影することができるが、ダイナミックレンジの幅が小さい場合や、十分な露光時間を確保することができない場合などは、暗い撮影場所においてコントラストの高い画像を撮影することができず、被写体を良好に視認できないコントラスト特性の良好でない画像が記録されてしまう場合があった。
【０００５】
このような画像に対して、コントラスト調整を行う方法としては、中央値調整法、Hyperbolization法、平均化法などの技術がある。
【０００６】
また、画像のヒストグラムを用いてコントラストを調整する技術が例えば、特許文献１に開示されている。
【０００７】
【特許文献１】特開平１１−２５０２２２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ここで、従来の中央値調整法、Hyperbolization法、平均化法などで画像処理技術でコントラスト調整を行うと、白とびの発生やノイズが発生し、適切なコントラスト調整ができないという課題があった。
【０００９】
また、特許文献１の図４に開示される技術では、処理対象画像と異なる第２の画像のＲ，Ｇ、Ｂ成分のヒストグラム成分を用いるため、コントラスト特性だけでなく色調まで変化してしまうという課題があった。
【００１０】
また、特許文献１に図８、図１１、図１２に開示される技術では、変換後の画像の高画素値部分や低画素値部分の画素値の階調が十分でないという課題があった。
【００１１】
本発明は上記課題を鑑みてなされたものであり、本発明の目的は、より好適に画像のコントラスト調整を行うことにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一実施の態様は、例えば、画像を入力し、入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、入力画像における画像処理対象画素の画素値の第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、画像処理対象画素の画素値を、第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける上記算出順位の画素値に変更する画像変換処理とを行い、画像変換処理された画像を出力する。
【発明の効果】
【００１３】
本発明によれば、より好適に画像のコントラスト調整を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を、図面を参照して説明する。
【００１５】
また、各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。
【実施例１】
【００１６】
まず、本発明の実施例１について図面を参照して説明する。
【００１７】
また実施例では、処理対象である入力信号の画素値は輝度とするが、これに限らず入力画像信号がＲＧＢ信号である場合など、Ｒ信号、Ｇ信号、Ｂ信号のなど、各色の信号値など、画素ごとに与えられる値であれば、他の要素を用いても構わない。 図１に本発明の実施例１に係る画像処理装置のブロック図の一例を示す。
【００１８】
画像処理装置は、例えば第１画像入力部１０１、第１ヒストグラム計算部１０２、画像変換部１０３、ノイズ除去フィルタ１０４、画像出力部１０５、第２画像入力部１０６、画素数変換部１０７、第２ヒストグラム計算部１０８とを備える。以下に画像処理装置の各構成要素の動作を詳細に説明する。
【００１９】
なお、画像処理装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えばソフトウェアと協働することにより実現しても構わない。
【００２０】
まず第１画像入力部１０１は第１の入力画像を入力する。第１の入力画像が、本実施例の画像処理装置が画像処理を行う対象画像となる。第１の入力画像は動画の中の一つの画像でも静止画像でもよいが、以下では第１の入力画像を動画の中の一つの画像として説明する。
【００２１】
第１ヒストグラム計算部１０２は、第１の入力画像の第１の画素値ヒストグラム（対象ヒストグラム）を計算する。画素値ヒストグラムとは画像内における画素値（例えば、輝度）の出現頻度を画素値ごとに計測した分布である。すなわち、画像内における同一画素値を有する画素数を各画素値ごとに算出した分布である。
【００２２】
第２画像入力部１０６は第２の入力画像を入力する。第２の入力画像は動画の中の一つの画像でも静止画像でもよいが、以下では第２の入力画像を静止画像として説明する。第２の入力画像は、本実施例の画像処理装置が画像処理をおこなうときに参照する参照画像となる。
【００２３】
画素数変換部１０７は第２の入力画像の画素数を第１の入力画像と同じ画素数に変換する。これは後述する画像変換部１０３でのヒストグラムの比較を簡単に行うために、両者の画素の数を同じにするための処理である。ここでは第２の入力画像の画素数を変換したが、第１の入力画像の画素数を変換しても、両方を変換しても構わない。当該画素数変換では、一般的なスケーリングによる画像サイズ（縦画素数、横画素数）の変換を行うことにより画素数変換を行ってもよい。当該画素数変換は、第１の入力画像と第２の入力画像の画素数が同じになればよいため、画像サイズの変換により画素数変換を行う場合には、第１の入力画像と第２の入力画像とのそれぞれの画像の縦横比を共通にする必要はない。例えば、縦方向もしくは横方向のいずれか一方だけスケーリングを行うことにより画素数の変換を実現すれば、処理を簡略化することができる。
【００２４】
第２ヒストグラム計算部１０８は第２の入力画像の第２の画素値ヒストグラム（参照ヒストグラム）を計算する。
【００２５】
画像変換部１０３は第１の入力画像の第１のヒストグラムと第２の入力画像の第２のヒストグラムとに基づいて第１の入力画像の画素値を変更することにより、画像変換処理を行う。当該画素値の変換方法の詳細については後述する。
【００２６】
ノイズ除去フィルタ１０４は、ノイズ除去フィルタを用いて画素値変換後の第１の入力画像からノイズを除去する。例えば、画素値が輝度である場合に、コントラスト改善処理を行うと低輝度部分にノイズが発生する場合があるが、ノイズ除去フィルタ１０４はこのノイズを除去するものである。ノイズ除去フィルタは一般的なものを用いればよいが、例えばバイラテラルフィルタが挙げられる。但し、当該ノイズ除去フィルタ１０４は本実施例の画像処理装置に必ずしも必要な構成ではないため、省略しても実用上問題ない。
【００２７】
画像出力部１０５は上記の画素値変換処理を行った出力画像を出力する。ここで、当該出力とは、画像表示、他の機器への出力のいずれであっても構わない。
【００２８】
なお、別の構成例として、画素数変換部１０７による画素数の変換を行わず、第２ヒストグラム計算部１０８において、第２の入力画像から計測したヒストグラムの頻度値を第１の入力画像の画素数と第２の入力画像の画素数との比で除算することによって、画素数変換された第２の画像のヒストグラムと同様のヒストグラムを得る構成をとすることができる。
【００２９】
次に、図２を用いて本発明の実施例１に係る画像変換部１０３の構成の詳細の一例を示した図である。
【００３０】
画像変換部１０３は、例えば画素値取得部２０１、ヒストグラム順位算出部２０３、第１ヒストグラムメモリ２０２、変換画素値決定部２０５、第２ヒストグラムメモリ２０４、画素値変換部２０６からなる。
【００３１】
まず画素値取得部２０１では第１の入力画像の処理対象画素の画素値を取得する。ここで、第１ヒストグラム計算部が算出した第１のヒストグラムは第１ヒストグラムメモリ２０２に格納される。ヒストグラム順位算出部２０３は、画素値取得部２０１から得た画素値について、第１ヒストグラムメモリ２０２に格納される第１のヒストグラムにおいて、その値が画素値の大きい方からあるいは小さい方から何画素目であるかという順位情報を算出する。以下、画素値の大きい方からの順位の算出例を説明する。
【００３２】
画素値の範囲が０〜２５５で与えられ、処理対象画素の画素値がＹaである場合、当該順位情報は第１のヒストグラムの最大画素値２５５から画素値Ｙa＋１までの頻度を累積することによって算出する。
【００３３】
なお、画素値の小さい方からの順位を用いる場合には、最小画素値０から画素値Ｙa−１までの頻度を累積することによって当該順位情報を算出すればよい。
【００３４】
次に、第２ヒストグラム計算部が算出した第２のヒストグラムは第２ヒストグラムメモリ２０４に格納されている。
【００３５】
ここで、変換画素値決定部２０５では、与えられたヒストグラムの順位情報から画素値の変換に用いる変換画素値を決定する。例えば順位がＮであった場合、第２のヒストグラムの画素値の最大値２５５から各画素値ごとの頻度を累積して、当該累積結果がＮを超えた時の画素値を設定すべき画素値とする。例えば、第２のヒストグラムにおいて、第２のヒストグラムの画素値の最大値２５５から各画素値の頻度を累積し、画素値Ｙｂ＋１までの頻度を累積した累積結果がＮ未満であって、画素値Ｙｂまでの頻度を累積した累積結果がＮ以上である場合は、当該画素値Ｙｂを変換画素値として決定する。すなわち、処理対象画素の画素値の第１のヒストグラムにおける画素順位に対応する順位の第２のヒストグラムにおける画素値を変換画素値として決定する。
【００３６】
なお、画素値の小さい方からの順位を用いる場合には、最小画素値０から各画素値の頻度を累積し、累積頻度が上記当該順位情報の値を超える画素値を画素値Ｙｂとして算出すればよい。
【００３７】
画素値変換部２０６は、画素値取得部２０１から取得した第１の入力画像の処理対象画素の画素値を、変換画素値決定部２０５が決定した変換画素値に変更する。
【００３８】
ここで、図７に上述のヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とによる処理の一例を示す。図７の例では、（１）が第１のヒストグラムの一部分、（２）が第２のヒストグラムの一部分、（３）が第１の画像の画素値変換後のヒストグラムの一部分を示している。ここで、処理対象画素の画素値はＹaである。図７の例では、（１）第１のヒストグラムにおいて、第１のヒストグラムの最大画素値２５５から画素値Ｙa＋１までの頻度を累積した数がＮである。当該Ｎがヒストグラム順位であり、ヒストグラム順位算出部２０３がこれを算出する。次に、（２）第２のヒストグラムにおいて、最大画素値２５５から各画素値ごとの頻度を累積すると、当該累積結果がＮを超えるのは、画素値Ｙｂである。当該Ｙｂが変換画素値であり、変換画素値決定部２０５によって算出される。ここで、画素値変換部２０６が処理対象画素の画素値をＹaからＹbへ変換する。よって、画像全体について変換処理を行えば、（３）第１の画像の画素値変換後のヒストグラムにおいて、（１）第１のヒストグラムの画素値Ｙaの頻度が画素値Ｙbの頻度として移動する。但し、（１）第１のヒストグラムの複数の画素値の頻度が、（３）第１の画像の画素値変換後のヒストグラムの同一の画素値へ移動する場合もある。この場合は、移動後の頻度は当該複数の画素値の頻度が加算された値になる。
【００３９】
次に図３を用いて、本発明の実施例１に係る画像処理装置の画像処理の流れについて説明する。
【００４０】
まずステップ３０１では、第１の入力画像を入力する。次にステップ３０２では、第１の入力画像についての第１のヒストグラムを計算する。
【００４１】
またステップ３１０では、第２の入力画像を入力する。次にステップ３１１では、第２の入力画像の画素数を変換し、第２の入力画像の画素数を第１の入力画像の画素数に合わせる。当該画素数変換処理の詳細は、図１において説明した通りである。続いてステップ３１２では、画素数変換後の第２の入力画像について第２のヒストグラムを計算する。
【００４２】
続いて、ステップ３０３では、第１の入力画像の処理対象画素の画素値を取得する。ステップ３０４では、当該処理対象画素の画素値と第１のヒストグラムとに基づいて当該画素値についての画素順位を算出する。当該画素順位の算出処理の詳細は、図２、図７、図８において説明した通りである。
【００４３】
ステップ３０５では、当該画素順位と上記第２のヒストグラムから、画素値変換処理に用いる変換画素値を決定する。変換画素値の決定処理の詳細は、図２において説明した通りである。
【００４４】
ステップ３０６では、決定された変換画素値を用いて処理対象画素の画素値を変換する。ステップ３０７では、第１の画像の全画素について画素値変換処理を終了したか否かを判定する。ここで、終了していなければ、次の処理対象画素についてステップ３０３からの処理を繰り返す。ここで、全画素について終了していれば、ステップ３０８以降の処理に移行する。
【００４５】
ステップ３０８では、画素値変換された画像のノイズ除去処理を行う。ノイズ除去処理の詳細は、図１において説明した通りである。
【００４６】
最後にステップ３０９では、上述のとおり画素値変換された画像を出力する。
【００４７】
上記のような方法により、入力画像のコントラストを改善した画像を生成し出力することが可能となる。
【００４８】
次に、図４、図５、図６を用いて本発明の実施例１に係る画像処理の効果を説明する。なお、図４、図５、図６の例は、いずれも輝度値を画素値として画像処理を行った例である。いずれの図も上段に画像、下段に当該画像のヒストグラムを示している。各ヒストグラムは横軸左端が画素値（輝度）の最小値０、右端が画素値（輝度）の最大値２５５を示し、縦軸が頻度を示している。
【００４９】
まず、図４を用いて従来技術の画像処理結果を説明する。図４の(a)が原画像、(b)が従来技術の中央値調整法を用いた結果、(c)が従来技術のHyperbolization法を用いた結果、(d)が従来技術の平均化法を用いた結果である。
【００５０】
図４において、(a)原画像は暗い屋内で撮影したものであるためコントラストが低く、被写体の形状を十分視認することができない画像となっている。そのヒストグラムは低輝度に偏っており、コントラストが低い。
【００５１】
また、(b)中央値調整法は、入力画像のヒストグラムを画素数で中央の順位になる輝度で２つに分け、上側のヒストグラムを輝度範囲上位、即ち０〜２５５の範囲の場合では１２８〜２５５、下側のヒストグラムを下位０〜１２７に割り当てるように調整したものである。中央値調整法の結果では、ヒストグラムが輝度１２８を中心に分散しており、コントラストは多少改善しているが、ノイズが多く発生し、画像のディテールが失われている。
【００５２】
また、(c)Hyperbolization法は、入力画像のヒストグラムを輝度の範囲全体に広がるように拡張し、さらに人間の視覚特性に合わせて輝度の高い部分、低い部分には少なめに、中央部分は多めになるように調整したものである。Hyperbolization法の結果では、ヒストグラムが比較的広い範囲に分散しており、コントラストは多少改善しているが、ノイズが発生し、高輝度部分のディテールが失われている。
【００５３】
(d)平均化法は、入力画像のヒストグラムを全体的に平坦になるように、即ち０〜２５５の頻度がなるべく同じになるように調整したものである。平均化法の結果では、ヒストグラムが全体に分散しており、コントラストは多少改善しているが、画像では高輝度部分で白飛びが発生している。
【００５４】
次に、図５を用いて本実施例の画像処理結果を説明する。図５の(a)が実施例１に係る画像処理装置に入力される第１の画像である。ここで、(a)原画像は図４の(a)原画像と同じ画像としている。図５の(e)が実施例１に係る画像処理装置に入力される第２の画像である。ここで、第２の画像は図５の(e)のヒストグラムに示されるように、第１の画像よりもコントラストが高く、より適正な露出により撮像された画像を用いることが好ましい。図５の(f)が実施例１に係る画像処理装置による画像処理結果である。
【００５５】
ここで、(f)の実施例１の画像処理結果のヒストグラムは、(a)第１の画像のヒストグラムを、(e) 第２の画像のヒストグラムに近づいたものとなる。よって、本実施例に係る画像処理により、第１の画像のコントラストが向上していることがわかる。さらに、コントラストが向上とともに、図４に示す従来技術による画像処理に比較して、白とびが少なくノイズ発生も少ない結果となっている。
【００５６】
＜実施例１の変形例＞
次に、実施例１の変形例について説明する。変形例では、図７で説明したヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とによる処理を図８に示す方法に変更したものである。
【００５７】
図８において、（１）第１のヒストグラム、（２）第２のヒストグラムは、図７と同様である。よって、ヒストグラム順位算出部２０３と変換画素値決定部２０５との処理は図７と同様である。ここで、当該変形例では、画素値変換部２０６は、画素値変換の際に（１）第１のヒストグラムの処理対象画素の画素値Ｙａにおける頻度と（２）第２のヒストグラムにおける変換画素値Ｙｂの頻度のうち画素順位Ｎを超える分の頻度を比較する。図８の例では、（１）第１のヒストグラムの画素値Ｙａにおける頻度は７であり、（２）第２のヒストグラムにおける画素値Ｙｂにおける頻度は３、そのうち画素順位Ｎ以下の頻度は２であるので、画素順位Ｎを超える分の頻度は１である。ここで、画素値変換部２０６は、対象画像における画素値Ｙａを有する画素７個のうち、上記（２）第２のヒストグラムにおける変換画素値Ｙｂにおける画素順位Ｎを超える分の頻度分の１個の画素の画素値のみを変換画素値Ｙｂに変換する。当該画素の変換による（１）第１のヒストグラムから（３）第１の画像の画素値変換後のヒストグラムへの頻度の移動は、図８においては、Ａと示した１つの頻度の移動として示される。
【００５８】
次に、画素値変換部２０６は、（２）第２のヒストグラムにおける画素値Ｙｂの全頻度の次の画素順位の画素に対応する頻度を含む画素値(図８では、画素値Ｙｂ−１)を算出し、（１）第１のヒストグラムにおける画素値Ｙａの画素のうちの残りの画素について、算出した画素値Ｙｂ−１に変換する。当該画素の変換による（１）第１のヒストグラムから（３）第１の画像の画素値変換後のヒストグラムへの頻度の移動は、図８においては、Ｂと示した２つの頻度の移動として示される。
【００５９】
次に、（１）第１のヒストグラムにおいてさらに残る画素値Ｙａの画素についても、図８にＣと示す４つの頻度の移動のように画素値Ｙｂ−２に変換する。
【００６０】
すなわち、実施例１の変形例では、第１のヒストグラムにおける処理対象画素の画素順位の画素値を有する画素のうち一部の画素を、第２のヒストグラムにおける上記算出順位の画素値に変換して、第１のヒストグラムの画素値変換後のヒストグラムの各画素値の頻度を第２のヒストグラムの対応する画素値の頻度と同じにするものである。
【００６１】
なお、上記の図８の変換処理の例では、（１）第１のヒストグラムと（２）第２のヒストグラムにおける頻度の比較などを主に画素値変換部２０６の処理として記載したが、これらの処理をヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とで協働して行ってもかまわない。
【００６２】
以上説明した変形例では、（３）第１の画像の画素値変換後のヒストグラムが、（２）第２のヒストグラムの頻度と同じになるように、（１）第１のヒストグラムの処理対象の画素の画素値を変換する。これにより、第１の画像をより第２の画像に近いコントラスト特性を有する画像に変換することができる。
【００６３】
図８のＡ、Ｂ、Ｃに示すように、同一画素値を有する複数の画素の画素値を、異なる画素値へ変換する場合は、画面上の同一画素値の画素を、例えばＡ、Ｂ、Ｃのように画素値変換値の異なる画素として振り分ける必要があるが、この振り分けは、例えばラスタースキャン順などで決定すればよく、また、ランダムに決定しても実用上問題はない。
【００６４】
なお、実施例１に係る画像処理装置は、外部の第１のデジタル撮像装置から第１画像入力部１０１に第１の入力画像を入力し、外部の第２のデジタル撮像装置から第２画像入力部１０２に第２の入力画像を入力して画像変換処理を行う画像処理装置として構成してもよい。
【００６５】
以上説明した実施例１に係る画像処理では、例えば画素値が輝度値である場合には、第１の画像のヒストグラムも、第２の画像のヒストグラムも、輝度値ヒストグラムのみを用いればよく、Ｒ、Ｇ、Ｂの画素値のヒストグラムをそれぞれ用いる技術に比べて簡便な構成で実現でき、低コスト化を図ることができる。
【００６６】
また、実施例１に係る画像処理装置の第１画像入力部１０１に、光学レンズと撮像素子と撮像素子からの信号から画像信号を生成する画像信号生成部を有する撮像ユニットとを設けて、外部のデジタル撮像装置から第２画像入力部１０１に第２の入力画像を入力して、第１画像入力部１０１で撮像・生成した画像信号に画像変換処理を行ってもよい。この場合、画像処理装置はデジタル撮像装置を構成することとなる。
【００６７】
ここで、外部のデジタル撮像装置からの入力画像の入力には、有線による接続のほか、無線接続または記録媒体を介した入力手段を用いてもかまわない。
【００６８】
また、一般に静止画を撮影するデジタルスチルカメラの方が、露光時間の調整自由度が高く、動画を撮影するデジタルビデオカメラに比べて良好なコントラスト特性の画像を得られる。したがって、同様のシーンをデジタルビデオカメラとデジタルスチルカメラで撮影し、デジタルスチルカメラによって撮影された画像を用いてデジタルビデオカメラの画像を変換すれば、デジタルビデオカメラの画像をデジタルスチルカメラの画像と同様の良好なコントラスト特性を持つ画像に変換することができる。即ち、実施例１の画像処理装置の例では、第１の入力画像をデジタルビデオカメラの画像、第２の入力画像をデジタルスチルカメラの画像とすれば、デジタルビデオカメラの画像に対して精度の高いコントラスト改善を行うことができる。
【００６９】
また、第１の入力画像と第２の入力画像に映像を入力する装置が同じ撮像装置・撮像デバイスであってもよい。この場合は、第１画像入力部１０１と第２画像入力部１０６とを一体としてもよい。
【００７０】
また、図１６に示すように、第１画像入力部１０１と第２画像入力部１０６とを、レンズと撮像素子などによる撮像処理により画像を撮像して生成する一体の撮像部１６０１として撮像装置を構成してもよい。ここで図１６の構成１１０は、図１の構成１１０と同じ構成を意味している。このように、第１画像入力部１０１と第２画像入力部１０６とを一体の撮像部とした場合、当該撮像部で動画撮影として連続して画像を撮像する前に、静止画を撮影して当該静止画像を第２の画像として記憶し、その後に撮影する動画像の各フレームの画像を第１の画像として上述した画素値変換処理を行えば、リアルタイムにコントラスト調整を行うことも可能である。
【００７１】
同じ撮像装置・撮像デバイスであっても、静止画像を撮影する場合には動画像の撮像よりも比較的自由に露光時間等を調節することが可能なので、動画像を撮影する時よりもコントラストの良い画像を撮影できる。
【００７２】
よって、上記のような構成とし、例えば、静止画撮影の露光時間を、動画撮影の各フレームの露光時間より長くすれば、撮像フレームレートの制限により動画撮影の露光時間が不足してコントラスト特性が悪化している場合でも、コントラスト改善が可能である。
【００７３】
また、例えば、ユーザーによる動画撮影指示に連動して、動画撮影開始時に上述のように静止画撮影を行えば、ユーザーは通常の動画撮影と同様の操作を行うだけで、コントラストの改善した画像を撮影することができる。
【００７４】
なお、リアルタイムでの処理でなくてもよければ、上記のように連続して複数の画像を動画像（画像群）として撮像した後に露出時間を調整した静止画を撮影して、当該動画像の各画像を第１の画像、当該静止画を第２の画像としてもよい。
【００７５】
すなわち、動画像に含まれる一枚の画像を第１の画像、静止画を第２の画像とする場合は、前記静止画が動画像をなす画像群とは異なる時間に撮像されたものであればよい。
【００７６】
例えば、図１６の構成を有する撮像装置である監視カメラにおいて、動画像の撮影前に、良好なコントラストで静止画像を撮影しておけば、照明条件が変化したとしても良好なコントラスト特性の動画像を生成することができる。
【００７７】
また、例えば、図１７に示すように、第１画像入力部１０１を主に可視光帯域の光線で撮像して画像を生成する可視光撮像部１７０１とし、第２画像入力部１０６を赤外線などの可視光外帯域の光線で撮像して画像を生成する可視光外撮像部または、各種センサによる計測結果によりサーモカメラ画像、距離画像、マルチスペクトル画像を生成するセンサ部である可視光外撮像部・各種センサ部１７０２として構成してもよい。この場合は、例えば、第１の画像である可視光帯域画像の画素値（輝度）のコントラスト特性が悪い場合であっても、第２の画像である上記赤外線画像等の画素値ヒストグラムに基づいて、上記可視光帯域画像のコントラスト特性を改善することができる。これにより、可視光帯域の照明条件が変化してもコントラストの維持が容易になる。
【００７８】
なお上記の処理において、第１の入力画像と第２の入力画像は、それぞれ動画の中の一つの画像、静止画像のいずれも用いることができる。例えば、第２の入力画像を静止画像とし第１の入力画像を動画の各画像として、第２の入力画像の１枚の静止画像のヒストグラムを用いた画素値変換処理を適用してもよい。また、入力画像の両方を動画とし、互いの各フレームを同期させて、一方のフレームを第１の入力画像、他方のフレームを第２の入力画像としてもよい。
【００７９】
以上説明した本発明の実施例１に係る画像処理装置及び画像処理方法によれば、より好適に画像のコントラストを調整することができる。
【実施例２】
【００８０】
本発明の実施例２に係る画像処理装置及び画像処理方法は、実施例１に示す画像処理装置及び画像処理方法のうち、第２の画像の入力から第２ヒストグラムの計算までの処理を省略し、その代わりに、予め第２ヒストグラムメモリに参照ヒストグラムとなるモデルヒストグラム情報を記憶する。ここでモデルヒストグラムとは、ヒストグラムの元となる画像がなく、画素値ごとの頻度データの集合である。すなわち、各画素値についての頻度を予め設定したヒストグラムである。そしてこのモデルヒストグラム情報を、実施例１における第２のヒストグラムとして用いるものである。モデルヒストグラム情報は、予めより適切なコントラスト特性と考えられるヒストグラムを設定しておけばよい。
【００８１】
すなわち、実施例２に係る画像処理装置は、図１の画像処理装置から第２画像入力部１０６、画素数変換部１０７、第２ヒストグラム計算部１０８をなくし、第２ヒストグラムメモリに参照ヒストグラムとなるモデルヒストグラム情報を記憶させる構成とする。その他の構成・動作は、図１の画像処理装置と同様であるので説明を省略する。
【００８２】
また、実施例２に係る画像処理装置に画像処理の流れも、同様に図３の流れからステップ３１０、３１１、３１２を省略し、予め第２ヒストグラムメモリに記憶されるモデルヒストグラム情報を第２のヒストグラムとしてステップ３０５で用いればよく、その他のステップの動作については図３と同様であるため、説明を省略する。
【００８３】
実施例２に係る画像処理装置及び画像処理方法による画像処理の結果を図６を用いて説明する。図６の(a)は実施例２の入力画像であり、実施例１の第１の画像と同様の画像である。図５の(ｈ)が、第２ヒストグラムメモリに記憶されるモデルヒストグラムであり、画像自体は記憶する必要はなく、ヒストグラム情報のみを記憶する。図６では、モデルヒストグラムとしてガウス分布であるガウスヒストグラムの例を示している。図６の(i)が実施例２に係る画像処理装置による画像処理結果であり、図６の(j)が実施例１と同様にヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６の処理を図８に示す処理に変更した変形例の結果である。
【００８４】
実施例２に係る画像処理装置の画画像処理結果である図６の(i)(j)ともに、入力画像のコントラストを好適に調整した画像を得ることができる。
【００８５】
したがって、以上説明した本発明の実施例２に係る画像処理装置及び画像処理方法によれば、より好適に画像のコントラストを調整することができる。
【００８６】
また、実施例１から第２の入力画像の入力を省略しているため、適切なコントラスト特性を有する画像を用意する必要はなく、予め設定しておいた適切なコントラスト特性を持つヒストグラムを画像変換処理の参照ヒストグラムとすることができるため、より均質なコントラスト調整処理を行うことができる。また、より簡略な構成とすることが可能となり、低コスト化が可能となる。
【実施例３】
【００８７】
本発明の実施例３に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法は、実施例１または実施例２に示す画素値変換を、符号化側もしくは復号化側で行うものである。
【００８８】
図９に本発明の本発明の実施例３に係る画像符号化装置のブロック図の一例を示す。
【００８９】
画像符号化装置は、例えば第１画像入力部９０１、第２画像・モデルヒストグラム入力部９０２、コントラスト調整・伝送ヒストグラムデータ生成部９０３、画像予測部９０４、変換・量子化部９０５、逆量子化・逆変換部９０６、復号画像メモリ９０７、符号出力部９０８を有する。以下に画像符号化装置の各構成要素の動作を詳細に説明する。
【００９０】
まず第１画像入力部９０１は符号化対象画像である、第１の入力画像を入力する。第１の入力画像は動画の中の一つの画像でも静止画像でもよいが以下では第１の入力画像を動画の中の一つの画像として説明する。第２画像・モデルヒストグラム入力部９０２は第２の入力画像もしくはモデルヒストグラム情報を入力する。第２の入力画像は動画の中の一つの画像でも静止画像でもよいが以下では第２の入力画像を静止画像として説明する。コントラスト調整・伝送ヒストグラムデータ生成部９０３は、第２の入力画像・モデルヒストグラム入力部９０２から入力された第２の入力画像もしくはモデルヒストグラム情報を用いて、第１画像入力部９０１から入力された第１の入力画像の画素値を変換してコントラスト調整を行う。
【００９１】
ここで、第２の入力画像・モデルヒストグラム入力部９０２から第２の入力画像が入力される場合には、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、図１の枠１１０に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３、画素数変換部１０７、第２ヒストグラム計算部１０８を有する構成とすればよい。このように構成すれば、２つの入力画像のヒストグラムを計算し、これに基づいて第１の入力画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。
【００９２】
また、第２の入力画像・モデルヒストグラム入力部９０２からモデルヒストグラムが入力される場合には、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、図１の枠１０９に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３を有する構成とすればよい。このように構成すれば、第１の入力画像のヒストグラムを計算し、算出した第１の入力画像のヒストグラムと、第１の入力画像のヒストグラムとは異なるモデルヒストグラムとに基づいて、第１の入力画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。なお、モデルヒストグラムは、第２の入力画像・モデルヒストグラム入力部９０２が入力せずに、コントラスト調整・伝送ヒストグラムデータ生成部９０３が予め保持しておいてもよい。すなわち、外部からの入力することまたは予め保持しておくことなどにより、コントラスト調整・伝送ヒストグラムデータ生成部９０３がモデルヒストグラムを取得できればよい。
【００９３】
コントラスト調整・伝送ヒストグラムデータ生成部９０３では、さらに、復号化側でのコントラスト調整に用いる伝送ヒストグラムデータを生成する。当該伝送ヒストグラムデータは、後述する符号出力部９０８を介して符号化ストリームに含められて復号側に伝送される。
【００９４】
当該伝送ヒストグラムデータは、第２の入力画像から算出したヒストグラム情報や、モデルヒストグラム情報などである。また、これに限られず、第１の入力画像から算出したヒストグラム情報でもよい。
【００９５】
また、例えば、コントラスト調整・伝送ヒストグラムデータ生成部９０３に記憶部を設けておき、予め記憶しておいたモデルヒストグラム情報を伝送ヒストグラムデータとしてもよい。
【００９６】
また、ヒストグラムの数値はそのまま伝送ヒストグラムデータとしてもよいが、FFT(Fast Fourier Transform：高速フーリエ変換)やDFT、DCT(Discrete Cosine Transform：離散コサイン変換)あるいはPCM(pulse code modulation：パルス符号変調)、DPCM(differential pulse-code modulation：差分パルス符号変調)等を用いて変換してその係数を伝送ヒストグラムデータとしてもよい。
【００９７】
また、符号化側と復号化側とでそれぞれ複数のモデルヒストグラムと、それぞれのモデルヒストグラムと対応する識別番号とを記憶しておき、画像符号化装置のコントラスト調整・伝送ヒストグラムデータ生成部９０３では、一つのモデルヒストグラムの識別番号を指定し、当該指定番号情報を伝送ヒストグラムデータとし、モデルヒストグラム自体は伝送しないように構成してもよい。この場合、復号化側は、符号化ストリームから指定番号情報さえ取得できれば、コントラスト調整に用いるモデルヒストグラムを予め記憶しているヒストグラムから選択して使用することが可能となる。これにより、伝送データ量を低減することができる。
【００９８】
さらに、第２の入力画像自体を伝送ヒストグラムデータとしてもかまわない。
【００９９】
なお、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、コントラスト調整を行わずに、伝送ヒストグラムデータの生成のみを行ってもよい。この場合は、符号化側ではコントラスト調整を行わず、復号側で行うコントラスト調整に用いるヒストグラムを符号化側で指定することが可能となる。
【０１００】
コントラスト調整・伝送ヒストグラムデータ生成部９０３は、以上説明した伝送ヒストグラムデータを符号出力部９０８に送る
コントラスト調整・伝送ヒストグラムデータ生成部９０３において、コントラスト調整がされた第１の入力画像は以下の処理により符号化される。まず、画像予測部９０４が、当該コントラスト調整後の画像について、画面内予測処理または画面間予測処理により予測画像を生成し、第１の入力画像と予測画像の差分を計算して差分情報を生成する。変換・量子化部９０５は差分情報の周波数変換と係数の量子化を行う。逆量子化・逆変換部９０６は係数の逆量子化と逆周波数変換を行い、これに予測情報を加えることによって上述の予測処理に用いるための復号画像を作成する。復号画像メモリ９０７は復号画像を格納する。符号出力部９０８は、上記の符号化処理により符号化された第１の入力画像の符号化画像情報と、コントラスト調整・伝送ヒストグラムデータ生成部９０３から送られた伝送ヒストグラムデータとを含む符号化ストリームを生成・出力する。
【０１０１】
以上説明した本発明の実施例３に係る画像符号化装置によれば、入力画像のコントラストを調整して符号化すること、または、復号側でコントラスト調整を行うための情報を符号化ストリームに含めて出力することが可能となる。
【０１０２】
次に、図１０に本発明の実施例３に係るに係る画像復号化装置のブロック図の一例を示す。
【０１０３】
画像復号化装置は、例えばストリーム解析部１００１、画像予測部１００２、逆量子化・逆変換部１００３、復号画像メモリ１００４、コントラスト調整部１００５、画像出力部１００６とを有する。以下に画像復号化装置の各構成要素の動作を詳細に説明する。
【０１０４】
まずストリーム解析部１００１には符号化画像データと伝送ヒストグラムデータとが含まれる符号化ストリームが、符号化側から伝送路や記録媒体などを介して入力される。ストリーム解析部１００１は、当該符号化ストリームから伝送ヒストグラムデータを分離し、伝送ヒストグラムデータをコントラスト調整部１００５に送り、符号化画像情報を画像予測部１００２及び逆量子化・逆変換部１００３に送る。
【０１０５】
画像予測部１００２は復号画像メモリ１００４の復号画像を用いて画面内予測または画面間予測を行い、符号化画像情報についての予測画像を生成する。逆量子化・逆変換部１００３は符号化画像情報に含まれる差分情報の係数に対して符号化側の処理の逆処理である逆量子化処理、逆周波数変換処理を行って差分情報を生成し、これを予測画像と加算して復号画像を作成する。復号画像メモリ１００４は復号画像を格納する。
【０１０６】
コントラスト調整部１００５は伝送ヒストグラムデータを用いて、復号画像のコントラスト調整を行う。
【０１０７】
ここで、伝送ヒストグラムデータが、ヒストグラムの数値を含むヒストグラム情報自体である場合は、コントラスト調整部１００５は、図１の枠１０９に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３を有する構成とすればよい。このように構成すれば、復号画像のヒストグラムを第１ヒストグラム計算部１０２において計算して図２の第１ヒストグラムメモリ２０３に記憶し、伝送ヒストグラムデータのヒストグラムを図２の第２ヒストグラムメモリ２０５に記憶し、これらのヒストグラムを用いることにより、復号画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。なお、伝送ヒストグラムデータが、ヒストグラムの数値をFFTやDFT、DCTあるいはPCM、DPCM等を用いて変換した係数である場合には、第２ヒストグラムメモリ２０５に記憶する前に、これらの変換の逆変換部を設けてヒストグラムの数値を再生すればよい。
【０１０８】
また、伝送ヒストグラムデータが、ヒストグラムの指定番号情報である場合には、予め第２ヒストグラムメモリ２０５に複数のモデルヒストグラムとそれぞれのモデルヒストグラムに対応する対応番号を記憶しておき、伝送される指定番号情報により指定されるモデルヒストグラムをコントラスト調整に用いればよい。
【０１０９】
また、伝送ヒストグラムデータが、画像自体である場合は、コントラスト調整部１００５は、図１の枠１１０に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３、画素数変換部１０７、第２ヒストグラム計算部１０８を有する構成とすればよい。このように構成すれば、復号画像のヒストグラムを第１ヒストグラム計算部１０２において計算して図２の第１ヒストグラムメモリ２０３に記憶し、伝送ヒストグラムデータの画像を画素数変換部１０７で画素数変換し、第２ヒストグラム計算部１０８でヒストグラムを計算して図２の第２ヒストグラムメモリ２０５に記憶し、これらのヒストグラムを用いて、復号画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。
【０１１０】
画像出力部１００６はコントラスト調整された出力画像を出力する。
【０１１１】
以上説明した本発明の実施例３に係る画像復号化装置によれば、符号化ストリームから復号画像を復号して、符号化側の意図したコントラストを調整を行うことが可能となる。
【０１１２】
次に、図１１から図１５を用いて、実施例３の画像符号化装置及び画像復号化装置の画像符号化・復号化処理の具体例を説明する。
【０１１３】
＜第１の画像符号化・復号化処理の例＞
まず、図１１に第１の画像符号化・復号化処理の例を示す。図１１においては、左側に符号化装置での符号化処理、右側に復号化装置での復号化処理を示す。(a)(b)(c)(d)は、いずれも画像もしくはモデルヒストグラムのヒストグラム図である。(a)は画像符号化装置の第１画像入力部９０１から入力される第１の入力画像のヒストグラム、(b)は画像符号化装置の第２画像・モデルヒストグラム入力部９０２から入力される第２の入力画像のヒストグラムまたはモデルヒストグラム、(c)は画像符号化装置により符号化されて伝送される伝送符号化画像のヒストグラム、(d)は画像復号化装置が生成する出力画像のヒストグラムである。
【０１１４】
第１の画像符号化・復号化処理の例では、画像符号化装置において(a)第１の入力画像はコントラスト調整・伝送ヒストグラムデータ生成部９０３でコントラストされずにそのまま(c)伝送符号化画像として符号化され伝送される。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムは、伝送ヒストグラムデータとして符号化ストリームに伝送される。
【０１１５】
画像復号化装置では、(c)伝送符号化画像を復号化し、伝送ヒストグラムデータを用いて画素値変換処理を行い、当該画素値変換処理によりコントラスト調整を行う。図１１の例では、画像復号化装置における画素値変換処理の例は、図５(ｆ)に示す画素値変換処理である。
【０１１６】
以上説明した第１の画像符号化・復号化処理によれば、符号化側が意図したコントラスト調整を復号側でおこなうことが可能となる。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムに(a)第１の入力画像のヒストグラムよりもコントラストが良好なものを用いれば、符号化側が意図したコントラスト改善処理を復号側でおこなうことが可能となる。
【０１１７】
＜第２の画像符号化・復号化処理の例＞
次に、図１２に第２の画像符号化・復号化処理の例を示す。第２の画像符号化・復号化処理の例では、第１の画像符号化・復号化処理の例と異なり、画像復号化装置が予め(b1)モデルヒストグラム１と(b2)モデルヒストグラム２をヒストグラムメモリに保持している。
【０１１８】
第２の画像符号化・復号化処理の例では、画像符号化装置は、それぞれのモデルヒストグラムに対応付けられた番号を指定し、伝送ヒストグラムデータとしてヒストグラム指定番号情報を伝送する。画像符号化装置は、予め(b1)モデルヒストグラム１と(b2)モデルヒストグラム２をヒストグラムメモリに保持しておいてもよいが、必ずしも必要ではなく、復号化側で保持するヒストグラムに対応付けられた番号のみを保持しておいて、用いてもよい。
【０１１９】
画像復号化装置では、伝送されたヒストグラム指定番号情報を用いて符号化側で指定したヒストグラムを特定し、復号画像の画素値変換処理に用いることが可能となる。図１２の例では、(b1)モデルヒストグラム１が選択されており、画像復号化装置における画素値変換処理の例は、図５(ｆ)に示す画素値変換処理である。
【０１２０】
その他の各処理は、第１の画像符号化・復号化処理と同様であるので説明を省略する。
【０１２１】
以上説明した第２の画像符号化・復号化処理によれば、伝送ヒストグラムデータをヒストグラムデータ自体にとし、よりデータ量の小さいヒストグラム指定番号情報とすることにより、第１の画像符号化・復号化処理の例と同様の効果に加えて、伝送データ量を低減することが可能となる。
【０１２２】
＜第３の画像符号化・復号化処理の例＞
次に、図１３に第３の画像符号化・復号化処理の例を示す。第３の画像符号化・復号化処理の例では、画像符号化装置では、(a)第１の入力画像を(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いて画素値変換してコントラスト調整し、コントラスト調整後の画像を(c)伝送符号化画像として符号化して伝送する。第３の画像符号化・復号化処理の例では、ヒストグラムデータは伝送しない。画像復号化装置では、符号化ストリームを復号して符号化装置においてコントラスト調整済みの復号画像を生成・出力する。
【０１２３】
すなわち、第３の画像符号化・復号化処理によれば、入力画像をコントラスト調整して伝送することができる。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムに(a)第１の入力画像のヒストグラムよりもコントラストが良好なものを用いれば、符号化側でコントラスト改善処理をおこなった後に符号化して伝送することが可能となる。
【０１２４】
＜第４の画像符号化・復号化処理の例＞
次に、図１４に第４の画像符号化・復号化処理の例を示す。第４の画像符号化・復号化処理の例では、まず、第３の画像符号化・復号化処理の例と同様に、画像符号化装置において(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いて(a)第１の入力画像の画素値を変換してコントラスト調整を行い、コントラスト調整後の画像を(c)伝送符号化画像として符号化して伝送する。
【０１２５】
ここで、画像符号化装置は、(a)第１の画像のヒストグラムを伝送ヒストグラムデータとして(c)伝送符号化画像とともに伝送する。
【０１２６】
画像復号化装置では、(c)伝送符号化画像を復号し、伝送ヒストグラムデータを用いて画素値変換処理を行ってコントラスト調整を行う。ここで、伝送ヒストグラムデータは、(a)第１の画像のヒストグラムであるので、画像復号化装置の画素値変換処理後の出力画像は、(c)伝送符号化画像のコントラスト特性よりも、(a)第１の画像のコントラスト特性に近づけることができる。
【０１２７】
例えば、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムとして、(a)第１の入力画像よりも、符号化した場合の画像のデータ量が小さくなるコントラスト特性のヒストグラムを用いれば、画像符号化装置の画素値変換により、(c)伝送符号化画像のコントラスト特性を(b)第２の入力画像のヒストグラムまたはモデルヒストグラムのコントラスト特性に近づけることにより、(c)伝送符号化画像の符号化データ量を小さくすることができ、符号化効率を改善することが可能となる。ここで、(c)伝送符号化画像のコントラスト特性は、画像復号化装置の画素値変換処理により、再び(a)第１の画像のコントラスト特性に戻るように近づけることが可能となるため、画質の変化を抑えることができる。
【０１２８】
すなわち、第４の画像符号化・復号化処理の例では、従来方式と比べて高い画質の画像を低ビットレートで伝送することが可能となる。
【０１２９】
なお、図１４の例では、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムとして、(a)第１の画像のヒストグラムよりも、ヒストグラムの分布における画素値の最大が小さくより頻度の分散が小さいヒストグラムを用いている。これにより、符号化画像データ量を低減することが可能となる。
【０１３０】
また、図１４の例では、説明の簡略化のため、画像符号化装置の画素値変換処理は図８（実施例１の変形例）で示した画素値変換処理を用いた例を示している。よって、(c)伝送符号化画像のヒストグラムは、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムと同じヒストグラムに変換されている。画像復号化装置の画素値変換処理も同様である。しかし、図１４の例において、画像符号化装置の画素値変換処理、画像復号化装置の画素値変換処理のいずれも、図７（実施例１）の画素値変換処理を用いても実用上問題ない。
【０１３１】
以上説明した第４の画像符号化・復号化処理によれば、より符号化効率の高い画像符号化・復号化処理を実現することが可能となる。
【０１３２】
＜第５の画像符号化・復号化処理の例＞
次に、図１５に第５の画像符号化・復号化処理の例を示す。第５の画像符号化・復号化処理の例では、第１から第４の画像符号化・復号化処理の例とは異なり、画像符号化装置の画素値変換処理において、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いない。
【０１３３】
第５の画像符号化・復号化処理では、例えば、図９の画像符号化装置のコントラスト調整・伝送ヒストグラムデータ生成部９０３において、(a)第１の入力画像の画素値を所定の演算処理により変換して、(a)第１の入力画像を、符号化データ量が小さくなるコントラスト特性に変換する。例えば、(a)第１の入力画像の各画素値に１／２を乗じて、少数画素値となった画素値は四捨五入または切り上げ、切り下げなどにより整数画素値とする。これにより、ヒストグラムの最大画素値を元の(a)第１の入力画像よりも１／２とすることができ、より頻度の分散の小さい画像を生成し、(c)伝送符号化画像とすることができる。これにより、符号化データ量を低減することが可能となる。
【０１３４】
また、画像符号化装置では、第４の画像符号化・復号化処理の例と同様に、(a)第１の入力画像のヒストグラムを伝送ヒストグラムデータとして復号側に伝送する。
【０１３５】
画像復号化装置では、(c)伝送符号化画像を復号化し、伝送ヒストグラムデータを用いて画素値変換することによりコントラスト調整を行い、復号画像のコントラスト特性を(a)第１の入力画像に近づける。
【０１３６】
また、図１５の例では、説明の簡略化のため、画像復号化装置の画素値変換は図８（実施例１の変形例）で示した画素値変換処理を用いた例を示している。よって、(d)出力画像のヒストグラムは、(a)第１の入力画像と同じヒストグラムに変換されている。しかし、図１５の例の画像復号化装置の画素値変換処理において、図７（実施例１）の画素値変換処理を用いても実用上問題ない。
【０１３７】
第５の画像符号化・復号化処理によれば、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いずに、第４の画像符号化・復号化処理と同様の高符号化効率化を実現することが可能となる。
【０１３８】
以上説明した本発明の実施例３に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法によれば、符号化側が意図したコントラスト改善処理を復号側でおこなう画像符号化・復号化処理、または、よりコントラストが改善した画像を伝送する画像符号化・復号化処理、より符号化効率の高い画像符号化・復号化処理を実現することが可能となる。
【０１３９】
すなわち、より好適な画像符号化・復号化処理を実現することが可能となる。
【０１４０】
なお、以上説明した各実施例、変形例、処理例のいずれを組み合わせても、本発明の一実施の形態となりうる。
【図面の簡単な説明】
【０１４１】
【図１】本発明の一実施例に係る画像処理装置の一例の説明図である。
【図２】本発明の一実施例に係る画像処理装置の画像変換部の説明図である。
【図３】本発明の一実施例に係る画像処理の流れの一例の説明図である。
【図４】従来技術による画像処理結果の説明図である。
【図５】本発明の一実施例に係る画像処理結果の説明図である。
【図６】本発明の一実施例に係る画像処理結果の説明図である。
【図７】本発明の一実施例に係る画素値変換処理の説明図である。
【図８】本発明の一実施例に係る画素値変換処理の説明図である。
【図９】本発明の一実施例に係る画像符号化装置の一例の説明図である。
【図１０】本発明の一実施例に係る画像復号化装置の一例の説明図である。
【図１１】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１２】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１３】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１４】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１５】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１６】本発明の一実施例に係る撮像装置の一例の説明図である。
【図１７】本発明の一実施例に係る撮像装置の一例の説明図である。
【符号の説明】
【０１４２】
１０１…第１画像入力部、１０２…第１ヒストグラム計算部、１０３…画像変換部、１０４…ノイズ除去フィルタ、１０５…画像出力部、１０６…第２画像入力部、１０７…画素数変換部、１０８…第２ヒストグラム計算部、２０１…画素値取得部、２０２…第１ヒストグラムメモリ、２０３…ヒストグラム順位算出部、２０４…第２ヒストグラムメモリ、２０５…ヒストグラム画素値取得部、２０６…画素値変換部、９０１…第１画像入力部、９０２…第２画像入力部、９０３…コントラスト調整・伝送ヒストグラムデータ生成部、９０４…画像予測部、９０５…変換・量子化部、９０６…逆量子化・逆変換部、９０７…復号画像メモリ、９０８…符号出力部、１００１…ストリーム解析部、１００２…画像予測部、１００３…逆量子化・逆変換部、１００４…復号画像メモリ、１００５…コントラスト調整部、１００６…画像出力部、１６０１…撮像部、１７０１…可視光撮像部、１７０２…可視光外撮像部・各種センサ部
【技術分野】
【０００１】
本発明は画像処理を行う画像処理技術、画像符号化技術、画像復号化技術に関する。
【背景技術】
【０００２】
画像をデジタルデータ化して記録する装置としてデジタルビデオカメラ、デジタルスチルカメラがある。以下これらをデジタル撮像装置と呼ぶ。デジタル撮像装置はCCDやCMOSと呼ばれるデバイスによって光学的な情報をデジタル情報として取得し媒体に記録する。
【０００３】
ここで、デジタルカメラが記録可能な明るさの範囲をダイナミックレンジと呼ぶ。ダイナミックレンジの大きさはデジタルカメラの使用するCCDやCMOSの性能や、それぞれの機種の画像処理能力に依存する。
【０００４】
ここで、デジタル撮像装置のダイナミックレンジの幅が大きい場合は、暗い撮影場所でもコントラストの高い画像を撮影することができるが、ダイナミックレンジの幅が小さい場合や、十分な露光時間を確保することができない場合などは、暗い撮影場所においてコントラストの高い画像を撮影することができず、被写体を良好に視認できないコントラスト特性の良好でない画像が記録されてしまう場合があった。
【０００５】
このような画像に対して、コントラスト調整を行う方法としては、中央値調整法、Hyperbolization法、平均化法などの技術がある。
【０００６】
また、画像のヒストグラムを用いてコントラストを調整する技術が例えば、特許文献１に開示されている。
【０００７】
【特許文献１】特開平１１−２５０２２２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ここで、従来の中央値調整法、Hyperbolization法、平均化法などで画像処理技術でコントラスト調整を行うと、白とびの発生やノイズが発生し、適切なコントラスト調整ができないという課題があった。
【０００９】
また、特許文献１の図４に開示される技術では、処理対象画像と異なる第２の画像のＲ，Ｇ、Ｂ成分のヒストグラム成分を用いるため、コントラスト特性だけでなく色調まで変化してしまうという課題があった。
【００１０】
また、特許文献１に図８、図１１、図１２に開示される技術では、変換後の画像の高画素値部分や低画素値部分の画素値の階調が十分でないという課題があった。
【００１１】
本発明は上記課題を鑑みてなされたものであり、本発明の目的は、より好適に画像のコントラスト調整を行うことにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一実施の態様は、例えば、画像を入力し、入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、入力画像における画像処理対象画素の画素値の第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、画像処理対象画素の画素値を、第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける上記算出順位の画素値に変更する画像変換処理とを行い、画像変換処理された画像を出力する。
【発明の効果】
【００１３】
本発明によれば、より好適に画像のコントラスト調整を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を、図面を参照して説明する。
【００１５】
また、各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。
【実施例１】
【００１６】
まず、本発明の実施例１について図面を参照して説明する。
【００１７】
また実施例では、処理対象である入力信号の画素値は輝度とするが、これに限らず入力画像信号がＲＧＢ信号である場合など、Ｒ信号、Ｇ信号、Ｂ信号のなど、各色の信号値など、画素ごとに与えられる値であれば、他の要素を用いても構わない。 図１に本発明の実施例１に係る画像処理装置のブロック図の一例を示す。
【００１８】
画像処理装置は、例えば第１画像入力部１０１、第１ヒストグラム計算部１０２、画像変換部１０３、ノイズ除去フィルタ１０４、画像出力部１０５、第２画像入力部１０６、画素数変換部１０７、第２ヒストグラム計算部１０８とを備える。以下に画像処理装置の各構成要素の動作を詳細に説明する。
【００１９】
なお、画像処理装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えばソフトウェアと協働することにより実現しても構わない。
【００２０】
まず第１画像入力部１０１は第１の入力画像を入力する。第１の入力画像が、本実施例の画像処理装置が画像処理を行う対象画像となる。第１の入力画像は動画の中の一つの画像でも静止画像でもよいが、以下では第１の入力画像を動画の中の一つの画像として説明する。
【００２１】
第１ヒストグラム計算部１０２は、第１の入力画像の第１の画素値ヒストグラム（対象ヒストグラム）を計算する。画素値ヒストグラムとは画像内における画素値（例えば、輝度）の出現頻度を画素値ごとに計測した分布である。すなわち、画像内における同一画素値を有する画素数を各画素値ごとに算出した分布である。
【００２２】
第２画像入力部１０６は第２の入力画像を入力する。第２の入力画像は動画の中の一つの画像でも静止画像でもよいが、以下では第２の入力画像を静止画像として説明する。第２の入力画像は、本実施例の画像処理装置が画像処理をおこなうときに参照する参照画像となる。
【００２３】
画素数変換部１０７は第２の入力画像の画素数を第１の入力画像と同じ画素数に変換する。これは後述する画像変換部１０３でのヒストグラムの比較を簡単に行うために、両者の画素の数を同じにするための処理である。ここでは第２の入力画像の画素数を変換したが、第１の入力画像の画素数を変換しても、両方を変換しても構わない。当該画素数変換では、一般的なスケーリングによる画像サイズ（縦画素数、横画素数）の変換を行うことにより画素数変換を行ってもよい。当該画素数変換は、第１の入力画像と第２の入力画像の画素数が同じになればよいため、画像サイズの変換により画素数変換を行う場合には、第１の入力画像と第２の入力画像とのそれぞれの画像の縦横比を共通にする必要はない。例えば、縦方向もしくは横方向のいずれか一方だけスケーリングを行うことにより画素数の変換を実現すれば、処理を簡略化することができる。
【００２４】
第２ヒストグラム計算部１０８は第２の入力画像の第２の画素値ヒストグラム（参照ヒストグラム）を計算する。
【００２５】
画像変換部１０３は第１の入力画像の第１のヒストグラムと第２の入力画像の第２のヒストグラムとに基づいて第１の入力画像の画素値を変更することにより、画像変換処理を行う。当該画素値の変換方法の詳細については後述する。
【００２６】
ノイズ除去フィルタ１０４は、ノイズ除去フィルタを用いて画素値変換後の第１の入力画像からノイズを除去する。例えば、画素値が輝度である場合に、コントラスト改善処理を行うと低輝度部分にノイズが発生する場合があるが、ノイズ除去フィルタ１０４はこのノイズを除去するものである。ノイズ除去フィルタは一般的なものを用いればよいが、例えばバイラテラルフィルタが挙げられる。但し、当該ノイズ除去フィルタ１０４は本実施例の画像処理装置に必ずしも必要な構成ではないため、省略しても実用上問題ない。
【００２７】
画像出力部１０５は上記の画素値変換処理を行った出力画像を出力する。ここで、当該出力とは、画像表示、他の機器への出力のいずれであっても構わない。
【００２８】
なお、別の構成例として、画素数変換部１０７による画素数の変換を行わず、第２ヒストグラム計算部１０８において、第２の入力画像から計測したヒストグラムの頻度値を第１の入力画像の画素数と第２の入力画像の画素数との比で除算することによって、画素数変換された第２の画像のヒストグラムと同様のヒストグラムを得る構成をとすることができる。
【００２９】
次に、図２を用いて本発明の実施例１に係る画像変換部１０３の構成の詳細の一例を示した図である。
【００３０】
画像変換部１０３は、例えば画素値取得部２０１、ヒストグラム順位算出部２０３、第１ヒストグラムメモリ２０２、変換画素値決定部２０５、第２ヒストグラムメモリ２０４、画素値変換部２０６からなる。
【００３１】
まず画素値取得部２０１では第１の入力画像の処理対象画素の画素値を取得する。ここで、第１ヒストグラム計算部が算出した第１のヒストグラムは第１ヒストグラムメモリ２０２に格納される。ヒストグラム順位算出部２０３は、画素値取得部２０１から得た画素値について、第１ヒストグラムメモリ２０２に格納される第１のヒストグラムにおいて、その値が画素値の大きい方からあるいは小さい方から何画素目であるかという順位情報を算出する。以下、画素値の大きい方からの順位の算出例を説明する。
【００３２】
画素値の範囲が０〜２５５で与えられ、処理対象画素の画素値がＹaである場合、当該順位情報は第１のヒストグラムの最大画素値２５５から画素値Ｙa＋１までの頻度を累積することによって算出する。
【００３３】
なお、画素値の小さい方からの順位を用いる場合には、最小画素値０から画素値Ｙa−１までの頻度を累積することによって当該順位情報を算出すればよい。
【００３４】
次に、第２ヒストグラム計算部が算出した第２のヒストグラムは第２ヒストグラムメモリ２０４に格納されている。
【００３５】
ここで、変換画素値決定部２０５では、与えられたヒストグラムの順位情報から画素値の変換に用いる変換画素値を決定する。例えば順位がＮであった場合、第２のヒストグラムの画素値の最大値２５５から各画素値ごとの頻度を累積して、当該累積結果がＮを超えた時の画素値を設定すべき画素値とする。例えば、第２のヒストグラムにおいて、第２のヒストグラムの画素値の最大値２５５から各画素値の頻度を累積し、画素値Ｙｂ＋１までの頻度を累積した累積結果がＮ未満であって、画素値Ｙｂまでの頻度を累積した累積結果がＮ以上である場合は、当該画素値Ｙｂを変換画素値として決定する。すなわち、処理対象画素の画素値の第１のヒストグラムにおける画素順位に対応する順位の第２のヒストグラムにおける画素値を変換画素値として決定する。
【００３６】
なお、画素値の小さい方からの順位を用いる場合には、最小画素値０から各画素値の頻度を累積し、累積頻度が上記当該順位情報の値を超える画素値を画素値Ｙｂとして算出すればよい。
【００３７】
画素値変換部２０６は、画素値取得部２０１から取得した第１の入力画像の処理対象画素の画素値を、変換画素値決定部２０５が決定した変換画素値に変更する。
【００３８】
ここで、図７に上述のヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とによる処理の一例を示す。図７の例では、（１）が第１のヒストグラムの一部分、（２）が第２のヒストグラムの一部分、（３）が第１の画像の画素値変換後のヒストグラムの一部分を示している。ここで、処理対象画素の画素値はＹaである。図７の例では、（１）第１のヒストグラムにおいて、第１のヒストグラムの最大画素値２５５から画素値Ｙa＋１までの頻度を累積した数がＮである。当該Ｎがヒストグラム順位であり、ヒストグラム順位算出部２０３がこれを算出する。次に、（２）第２のヒストグラムにおいて、最大画素値２５５から各画素値ごとの頻度を累積すると、当該累積結果がＮを超えるのは、画素値Ｙｂである。当該Ｙｂが変換画素値であり、変換画素値決定部２０５によって算出される。ここで、画素値変換部２０６が処理対象画素の画素値をＹaからＹbへ変換する。よって、画像全体について変換処理を行えば、（３）第１の画像の画素値変換後のヒストグラムにおいて、（１）第１のヒストグラムの画素値Ｙaの頻度が画素値Ｙbの頻度として移動する。但し、（１）第１のヒストグラムの複数の画素値の頻度が、（３）第１の画像の画素値変換後のヒストグラムの同一の画素値へ移動する場合もある。この場合は、移動後の頻度は当該複数の画素値の頻度が加算された値になる。
【００３９】
次に図３を用いて、本発明の実施例１に係る画像処理装置の画像処理の流れについて説明する。
【００４０】
まずステップ３０１では、第１の入力画像を入力する。次にステップ３０２では、第１の入力画像についての第１のヒストグラムを計算する。
【００４１】
またステップ３１０では、第２の入力画像を入力する。次にステップ３１１では、第２の入力画像の画素数を変換し、第２の入力画像の画素数を第１の入力画像の画素数に合わせる。当該画素数変換処理の詳細は、図１において説明した通りである。続いてステップ３１２では、画素数変換後の第２の入力画像について第２のヒストグラムを計算する。
【００４２】
続いて、ステップ３０３では、第１の入力画像の処理対象画素の画素値を取得する。ステップ３０４では、当該処理対象画素の画素値と第１のヒストグラムとに基づいて当該画素値についての画素順位を算出する。当該画素順位の算出処理の詳細は、図２、図７、図８において説明した通りである。
【００４３】
ステップ３０５では、当該画素順位と上記第２のヒストグラムから、画素値変換処理に用いる変換画素値を決定する。変換画素値の決定処理の詳細は、図２において説明した通りである。
【００４４】
ステップ３０６では、決定された変換画素値を用いて処理対象画素の画素値を変換する。ステップ３０７では、第１の画像の全画素について画素値変換処理を終了したか否かを判定する。ここで、終了していなければ、次の処理対象画素についてステップ３０３からの処理を繰り返す。ここで、全画素について終了していれば、ステップ３０８以降の処理に移行する。
【００４５】
ステップ３０８では、画素値変換された画像のノイズ除去処理を行う。ノイズ除去処理の詳細は、図１において説明した通りである。
【００４６】
最後にステップ３０９では、上述のとおり画素値変換された画像を出力する。
【００４７】
上記のような方法により、入力画像のコントラストを改善した画像を生成し出力することが可能となる。
【００４８】
次に、図４、図５、図６を用いて本発明の実施例１に係る画像処理の効果を説明する。なお、図４、図５、図６の例は、いずれも輝度値を画素値として画像処理を行った例である。いずれの図も上段に画像、下段に当該画像のヒストグラムを示している。各ヒストグラムは横軸左端が画素値（輝度）の最小値０、右端が画素値（輝度）の最大値２５５を示し、縦軸が頻度を示している。
【００４９】
まず、図４を用いて従来技術の画像処理結果を説明する。図４の(a)が原画像、(b)が従来技術の中央値調整法を用いた結果、(c)が従来技術のHyperbolization法を用いた結果、(d)が従来技術の平均化法を用いた結果である。
【００５０】
図４において、(a)原画像は暗い屋内で撮影したものであるためコントラストが低く、被写体の形状を十分視認することができない画像となっている。そのヒストグラムは低輝度に偏っており、コントラストが低い。
【００５１】
また、(b)中央値調整法は、入力画像のヒストグラムを画素数で中央の順位になる輝度で２つに分け、上側のヒストグラムを輝度範囲上位、即ち０〜２５５の範囲の場合では１２８〜２５５、下側のヒストグラムを下位０〜１２７に割り当てるように調整したものである。中央値調整法の結果では、ヒストグラムが輝度１２８を中心に分散しており、コントラストは多少改善しているが、ノイズが多く発生し、画像のディテールが失われている。
【００５２】
また、(c)Hyperbolization法は、入力画像のヒストグラムを輝度の範囲全体に広がるように拡張し、さらに人間の視覚特性に合わせて輝度の高い部分、低い部分には少なめに、中央部分は多めになるように調整したものである。Hyperbolization法の結果では、ヒストグラムが比較的広い範囲に分散しており、コントラストは多少改善しているが、ノイズが発生し、高輝度部分のディテールが失われている。
【００５３】
(d)平均化法は、入力画像のヒストグラムを全体的に平坦になるように、即ち０〜２５５の頻度がなるべく同じになるように調整したものである。平均化法の結果では、ヒストグラムが全体に分散しており、コントラストは多少改善しているが、画像では高輝度部分で白飛びが発生している。
【００５４】
次に、図５を用いて本実施例の画像処理結果を説明する。図５の(a)が実施例１に係る画像処理装置に入力される第１の画像である。ここで、(a)原画像は図４の(a)原画像と同じ画像としている。図５の(e)が実施例１に係る画像処理装置に入力される第２の画像である。ここで、第２の画像は図５の(e)のヒストグラムに示されるように、第１の画像よりもコントラストが高く、より適正な露出により撮像された画像を用いることが好ましい。図５の(f)が実施例１に係る画像処理装置による画像処理結果である。
【００５５】
ここで、(f)の実施例１の画像処理結果のヒストグラムは、(a)第１の画像のヒストグラムを、(e) 第２の画像のヒストグラムに近づいたものとなる。よって、本実施例に係る画像処理により、第１の画像のコントラストが向上していることがわかる。さらに、コントラストが向上とともに、図４に示す従来技術による画像処理に比較して、白とびが少なくノイズ発生も少ない結果となっている。
【００５６】
＜実施例１の変形例＞
次に、実施例１の変形例について説明する。変形例では、図７で説明したヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とによる処理を図８に示す方法に変更したものである。
【００５７】
図８において、（１）第１のヒストグラム、（２）第２のヒストグラムは、図７と同様である。よって、ヒストグラム順位算出部２０３と変換画素値決定部２０５との処理は図７と同様である。ここで、当該変形例では、画素値変換部２０６は、画素値変換の際に（１）第１のヒストグラムの処理対象画素の画素値Ｙａにおける頻度と（２）第２のヒストグラムにおける変換画素値Ｙｂの頻度のうち画素順位Ｎを超える分の頻度を比較する。図８の例では、（１）第１のヒストグラムの画素値Ｙａにおける頻度は７であり、（２）第２のヒストグラムにおける画素値Ｙｂにおける頻度は３、そのうち画素順位Ｎ以下の頻度は２であるので、画素順位Ｎを超える分の頻度は１である。ここで、画素値変換部２０６は、対象画像における画素値Ｙａを有する画素７個のうち、上記（２）第２のヒストグラムにおける変換画素値Ｙｂにおける画素順位Ｎを超える分の頻度分の１個の画素の画素値のみを変換画素値Ｙｂに変換する。当該画素の変換による（１）第１のヒストグラムから（３）第１の画像の画素値変換後のヒストグラムへの頻度の移動は、図８においては、Ａと示した１つの頻度の移動として示される。
【００５８】
次に、画素値変換部２０６は、（２）第２のヒストグラムにおける画素値Ｙｂの全頻度の次の画素順位の画素に対応する頻度を含む画素値(図８では、画素値Ｙｂ−１)を算出し、（１）第１のヒストグラムにおける画素値Ｙａの画素のうちの残りの画素について、算出した画素値Ｙｂ−１に変換する。当該画素の変換による（１）第１のヒストグラムから（３）第１の画像の画素値変換後のヒストグラムへの頻度の移動は、図８においては、Ｂと示した２つの頻度の移動として示される。
【００５９】
次に、（１）第１のヒストグラムにおいてさらに残る画素値Ｙａの画素についても、図８にＣと示す４つの頻度の移動のように画素値Ｙｂ−２に変換する。
【００６０】
すなわち、実施例１の変形例では、第１のヒストグラムにおける処理対象画素の画素順位の画素値を有する画素のうち一部の画素を、第２のヒストグラムにおける上記算出順位の画素値に変換して、第１のヒストグラムの画素値変換後のヒストグラムの各画素値の頻度を第２のヒストグラムの対応する画素値の頻度と同じにするものである。
【００６１】
なお、上記の図８の変換処理の例では、（１）第１のヒストグラムと（２）第２のヒストグラムにおける頻度の比較などを主に画素値変換部２０６の処理として記載したが、これらの処理をヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６とで協働して行ってもかまわない。
【００６２】
以上説明した変形例では、（３）第１の画像の画素値変換後のヒストグラムが、（２）第２のヒストグラムの頻度と同じになるように、（１）第１のヒストグラムの処理対象の画素の画素値を変換する。これにより、第１の画像をより第２の画像に近いコントラスト特性を有する画像に変換することができる。
【００６３】
図８のＡ、Ｂ、Ｃに示すように、同一画素値を有する複数の画素の画素値を、異なる画素値へ変換する場合は、画面上の同一画素値の画素を、例えばＡ、Ｂ、Ｃのように画素値変換値の異なる画素として振り分ける必要があるが、この振り分けは、例えばラスタースキャン順などで決定すればよく、また、ランダムに決定しても実用上問題はない。
【００６４】
なお、実施例１に係る画像処理装置は、外部の第１のデジタル撮像装置から第１画像入力部１０１に第１の入力画像を入力し、外部の第２のデジタル撮像装置から第２画像入力部１０２に第２の入力画像を入力して画像変換処理を行う画像処理装置として構成してもよい。
【００６５】
以上説明した実施例１に係る画像処理では、例えば画素値が輝度値である場合には、第１の画像のヒストグラムも、第２の画像のヒストグラムも、輝度値ヒストグラムのみを用いればよく、Ｒ、Ｇ、Ｂの画素値のヒストグラムをそれぞれ用いる技術に比べて簡便な構成で実現でき、低コスト化を図ることができる。
【００６６】
また、実施例１に係る画像処理装置の第１画像入力部１０１に、光学レンズと撮像素子と撮像素子からの信号から画像信号を生成する画像信号生成部を有する撮像ユニットとを設けて、外部のデジタル撮像装置から第２画像入力部１０１に第２の入力画像を入力して、第１画像入力部１０１で撮像・生成した画像信号に画像変換処理を行ってもよい。この場合、画像処理装置はデジタル撮像装置を構成することとなる。
【００６７】
ここで、外部のデジタル撮像装置からの入力画像の入力には、有線による接続のほか、無線接続または記録媒体を介した入力手段を用いてもかまわない。
【００６８】
また、一般に静止画を撮影するデジタルスチルカメラの方が、露光時間の調整自由度が高く、動画を撮影するデジタルビデオカメラに比べて良好なコントラスト特性の画像を得られる。したがって、同様のシーンをデジタルビデオカメラとデジタルスチルカメラで撮影し、デジタルスチルカメラによって撮影された画像を用いてデジタルビデオカメラの画像を変換すれば、デジタルビデオカメラの画像をデジタルスチルカメラの画像と同様の良好なコントラスト特性を持つ画像に変換することができる。即ち、実施例１の画像処理装置の例では、第１の入力画像をデジタルビデオカメラの画像、第２の入力画像をデジタルスチルカメラの画像とすれば、デジタルビデオカメラの画像に対して精度の高いコントラスト改善を行うことができる。
【００６９】
また、第１の入力画像と第２の入力画像に映像を入力する装置が同じ撮像装置・撮像デバイスであってもよい。この場合は、第１画像入力部１０１と第２画像入力部１０６とを一体としてもよい。
【００７０】
また、図１６に示すように、第１画像入力部１０１と第２画像入力部１０６とを、レンズと撮像素子などによる撮像処理により画像を撮像して生成する一体の撮像部１６０１として撮像装置を構成してもよい。ここで図１６の構成１１０は、図１の構成１１０と同じ構成を意味している。このように、第１画像入力部１０１と第２画像入力部１０６とを一体の撮像部とした場合、当該撮像部で動画撮影として連続して画像を撮像する前に、静止画を撮影して当該静止画像を第２の画像として記憶し、その後に撮影する動画像の各フレームの画像を第１の画像として上述した画素値変換処理を行えば、リアルタイムにコントラスト調整を行うことも可能である。
【００７１】
同じ撮像装置・撮像デバイスであっても、静止画像を撮影する場合には動画像の撮像よりも比較的自由に露光時間等を調節することが可能なので、動画像を撮影する時よりもコントラストの良い画像を撮影できる。
【００７２】
よって、上記のような構成とし、例えば、静止画撮影の露光時間を、動画撮影の各フレームの露光時間より長くすれば、撮像フレームレートの制限により動画撮影の露光時間が不足してコントラスト特性が悪化している場合でも、コントラスト改善が可能である。
【００７３】
また、例えば、ユーザーによる動画撮影指示に連動して、動画撮影開始時に上述のように静止画撮影を行えば、ユーザーは通常の動画撮影と同様の操作を行うだけで、コントラストの改善した画像を撮影することができる。
【００７４】
なお、リアルタイムでの処理でなくてもよければ、上記のように連続して複数の画像を動画像（画像群）として撮像した後に露出時間を調整した静止画を撮影して、当該動画像の各画像を第１の画像、当該静止画を第２の画像としてもよい。
【００７５】
すなわち、動画像に含まれる一枚の画像を第１の画像、静止画を第２の画像とする場合は、前記静止画が動画像をなす画像群とは異なる時間に撮像されたものであればよい。
【００７６】
例えば、図１６の構成を有する撮像装置である監視カメラにおいて、動画像の撮影前に、良好なコントラストで静止画像を撮影しておけば、照明条件が変化したとしても良好なコントラスト特性の動画像を生成することができる。
【００７７】
また、例えば、図１７に示すように、第１画像入力部１０１を主に可視光帯域の光線で撮像して画像を生成する可視光撮像部１７０１とし、第２画像入力部１０６を赤外線などの可視光外帯域の光線で撮像して画像を生成する可視光外撮像部または、各種センサによる計測結果によりサーモカメラ画像、距離画像、マルチスペクトル画像を生成するセンサ部である可視光外撮像部・各種センサ部１７０２として構成してもよい。この場合は、例えば、第１の画像である可視光帯域画像の画素値（輝度）のコントラスト特性が悪い場合であっても、第２の画像である上記赤外線画像等の画素値ヒストグラムに基づいて、上記可視光帯域画像のコントラスト特性を改善することができる。これにより、可視光帯域の照明条件が変化してもコントラストの維持が容易になる。
【００７８】
なお上記の処理において、第１の入力画像と第２の入力画像は、それぞれ動画の中の一つの画像、静止画像のいずれも用いることができる。例えば、第２の入力画像を静止画像とし第１の入力画像を動画の各画像として、第２の入力画像の１枚の静止画像のヒストグラムを用いた画素値変換処理を適用してもよい。また、入力画像の両方を動画とし、互いの各フレームを同期させて、一方のフレームを第１の入力画像、他方のフレームを第２の入力画像としてもよい。
【００７９】
以上説明した本発明の実施例１に係る画像処理装置及び画像処理方法によれば、より好適に画像のコントラストを調整することができる。
【実施例２】
【００８０】
本発明の実施例２に係る画像処理装置及び画像処理方法は、実施例１に示す画像処理装置及び画像処理方法のうち、第２の画像の入力から第２ヒストグラムの計算までの処理を省略し、その代わりに、予め第２ヒストグラムメモリに参照ヒストグラムとなるモデルヒストグラム情報を記憶する。ここでモデルヒストグラムとは、ヒストグラムの元となる画像がなく、画素値ごとの頻度データの集合である。すなわち、各画素値についての頻度を予め設定したヒストグラムである。そしてこのモデルヒストグラム情報を、実施例１における第２のヒストグラムとして用いるものである。モデルヒストグラム情報は、予めより適切なコントラスト特性と考えられるヒストグラムを設定しておけばよい。
【００８１】
すなわち、実施例２に係る画像処理装置は、図１の画像処理装置から第２画像入力部１０６、画素数変換部１０７、第２ヒストグラム計算部１０８をなくし、第２ヒストグラムメモリに参照ヒストグラムとなるモデルヒストグラム情報を記憶させる構成とする。その他の構成・動作は、図１の画像処理装置と同様であるので説明を省略する。
【００８２】
また、実施例２に係る画像処理装置に画像処理の流れも、同様に図３の流れからステップ３１０、３１１、３１２を省略し、予め第２ヒストグラムメモリに記憶されるモデルヒストグラム情報を第２のヒストグラムとしてステップ３０５で用いればよく、その他のステップの動作については図３と同様であるため、説明を省略する。
【００８３】
実施例２に係る画像処理装置及び画像処理方法による画像処理の結果を図６を用いて説明する。図６の(a)は実施例２の入力画像であり、実施例１の第１の画像と同様の画像である。図５の(ｈ)が、第２ヒストグラムメモリに記憶されるモデルヒストグラムであり、画像自体は記憶する必要はなく、ヒストグラム情報のみを記憶する。図６では、モデルヒストグラムとしてガウス分布であるガウスヒストグラムの例を示している。図６の(i)が実施例２に係る画像処理装置による画像処理結果であり、図６の(j)が実施例１と同様にヒストグラム順位算出部２０３と変換画素値決定部２０５と画素値変換部２０６の処理を図８に示す処理に変更した変形例の結果である。
【００８４】
実施例２に係る画像処理装置の画画像処理結果である図６の(i)(j)ともに、入力画像のコントラストを好適に調整した画像を得ることができる。
【００８５】
したがって、以上説明した本発明の実施例２に係る画像処理装置及び画像処理方法によれば、より好適に画像のコントラストを調整することができる。
【００８６】
また、実施例１から第２の入力画像の入力を省略しているため、適切なコントラスト特性を有する画像を用意する必要はなく、予め設定しておいた適切なコントラスト特性を持つヒストグラムを画像変換処理の参照ヒストグラムとすることができるため、より均質なコントラスト調整処理を行うことができる。また、より簡略な構成とすることが可能となり、低コスト化が可能となる。
【実施例３】
【００８７】
本発明の実施例３に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法は、実施例１または実施例２に示す画素値変換を、符号化側もしくは復号化側で行うものである。
【００８８】
図９に本発明の本発明の実施例３に係る画像符号化装置のブロック図の一例を示す。
【００８９】
画像符号化装置は、例えば第１画像入力部９０１、第２画像・モデルヒストグラム入力部９０２、コントラスト調整・伝送ヒストグラムデータ生成部９０３、画像予測部９０４、変換・量子化部９０５、逆量子化・逆変換部９０６、復号画像メモリ９０７、符号出力部９０８を有する。以下に画像符号化装置の各構成要素の動作を詳細に説明する。
【００９０】
まず第１画像入力部９０１は符号化対象画像である、第１の入力画像を入力する。第１の入力画像は動画の中の一つの画像でも静止画像でもよいが以下では第１の入力画像を動画の中の一つの画像として説明する。第２画像・モデルヒストグラム入力部９０２は第２の入力画像もしくはモデルヒストグラム情報を入力する。第２の入力画像は動画の中の一つの画像でも静止画像でもよいが以下では第２の入力画像を静止画像として説明する。コントラスト調整・伝送ヒストグラムデータ生成部９０３は、第２の入力画像・モデルヒストグラム入力部９０２から入力された第２の入力画像もしくはモデルヒストグラム情報を用いて、第１画像入力部９０１から入力された第１の入力画像の画素値を変換してコントラスト調整を行う。
【００９１】
ここで、第２の入力画像・モデルヒストグラム入力部９０２から第２の入力画像が入力される場合には、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、図１の枠１１０に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３、画素数変換部１０７、第２ヒストグラム計算部１０８を有する構成とすればよい。このように構成すれば、２つの入力画像のヒストグラムを計算し、これに基づいて第１の入力画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。
【００９２】
また、第２の入力画像・モデルヒストグラム入力部９０２からモデルヒストグラムが入力される場合には、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、図１の枠１０９に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３を有する構成とすればよい。このように構成すれば、第１の入力画像のヒストグラムを計算し、算出した第１の入力画像のヒストグラムと、第１の入力画像のヒストグラムとは異なるモデルヒストグラムとに基づいて、第１の入力画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。なお、モデルヒストグラムは、第２の入力画像・モデルヒストグラム入力部９０２が入力せずに、コントラスト調整・伝送ヒストグラムデータ生成部９０３が予め保持しておいてもよい。すなわち、外部からの入力することまたは予め保持しておくことなどにより、コントラスト調整・伝送ヒストグラムデータ生成部９０３がモデルヒストグラムを取得できればよい。
【００９３】
コントラスト調整・伝送ヒストグラムデータ生成部９０３では、さらに、復号化側でのコントラスト調整に用いる伝送ヒストグラムデータを生成する。当該伝送ヒストグラムデータは、後述する符号出力部９０８を介して符号化ストリームに含められて復号側に伝送される。
【００９４】
当該伝送ヒストグラムデータは、第２の入力画像から算出したヒストグラム情報や、モデルヒストグラム情報などである。また、これに限られず、第１の入力画像から算出したヒストグラム情報でもよい。
【００９５】
また、例えば、コントラスト調整・伝送ヒストグラムデータ生成部９０３に記憶部を設けておき、予め記憶しておいたモデルヒストグラム情報を伝送ヒストグラムデータとしてもよい。
【００９６】
また、ヒストグラムの数値はそのまま伝送ヒストグラムデータとしてもよいが、FFT(Fast Fourier Transform：高速フーリエ変換)やDFT、DCT(Discrete Cosine Transform：離散コサイン変換)あるいはPCM(pulse code modulation：パルス符号変調)、DPCM(differential pulse-code modulation：差分パルス符号変調)等を用いて変換してその係数を伝送ヒストグラムデータとしてもよい。
【００９７】
また、符号化側と復号化側とでそれぞれ複数のモデルヒストグラムと、それぞれのモデルヒストグラムと対応する識別番号とを記憶しておき、画像符号化装置のコントラスト調整・伝送ヒストグラムデータ生成部９０３では、一つのモデルヒストグラムの識別番号を指定し、当該指定番号情報を伝送ヒストグラムデータとし、モデルヒストグラム自体は伝送しないように構成してもよい。この場合、復号化側は、符号化ストリームから指定番号情報さえ取得できれば、コントラスト調整に用いるモデルヒストグラムを予め記憶しているヒストグラムから選択して使用することが可能となる。これにより、伝送データ量を低減することができる。
【００９８】
さらに、第２の入力画像自体を伝送ヒストグラムデータとしてもかまわない。
【００９９】
なお、コントラスト調整・伝送ヒストグラムデータ生成部９０３は、コントラスト調整を行わずに、伝送ヒストグラムデータの生成のみを行ってもよい。この場合は、符号化側ではコントラスト調整を行わず、復号側で行うコントラスト調整に用いるヒストグラムを符号化側で指定することが可能となる。
【０１００】
コントラスト調整・伝送ヒストグラムデータ生成部９０３は、以上説明した伝送ヒストグラムデータを符号出力部９０８に送る
コントラスト調整・伝送ヒストグラムデータ生成部９０３において、コントラスト調整がされた第１の入力画像は以下の処理により符号化される。まず、画像予測部９０４が、当該コントラスト調整後の画像について、画面内予測処理または画面間予測処理により予測画像を生成し、第１の入力画像と予測画像の差分を計算して差分情報を生成する。変換・量子化部９０５は差分情報の周波数変換と係数の量子化を行う。逆量子化・逆変換部９０６は係数の逆量子化と逆周波数変換を行い、これに予測情報を加えることによって上述の予測処理に用いるための復号画像を作成する。復号画像メモリ９０７は復号画像を格納する。符号出力部９０８は、上記の符号化処理により符号化された第１の入力画像の符号化画像情報と、コントラスト調整・伝送ヒストグラムデータ生成部９０３から送られた伝送ヒストグラムデータとを含む符号化ストリームを生成・出力する。
【０１０１】
以上説明した本発明の実施例３に係る画像符号化装置によれば、入力画像のコントラストを調整して符号化すること、または、復号側でコントラスト調整を行うための情報を符号化ストリームに含めて出力することが可能となる。
【０１０２】
次に、図１０に本発明の実施例３に係るに係る画像復号化装置のブロック図の一例を示す。
【０１０３】
画像復号化装置は、例えばストリーム解析部１００１、画像予測部１００２、逆量子化・逆変換部１００３、復号画像メモリ１００４、コントラスト調整部１００５、画像出力部１００６とを有する。以下に画像復号化装置の各構成要素の動作を詳細に説明する。
【０１０４】
まずストリーム解析部１００１には符号化画像データと伝送ヒストグラムデータとが含まれる符号化ストリームが、符号化側から伝送路や記録媒体などを介して入力される。ストリーム解析部１００１は、当該符号化ストリームから伝送ヒストグラムデータを分離し、伝送ヒストグラムデータをコントラスト調整部１００５に送り、符号化画像情報を画像予測部１００２及び逆量子化・逆変換部１００３に送る。
【０１０５】
画像予測部１００２は復号画像メモリ１００４の復号画像を用いて画面内予測または画面間予測を行い、符号化画像情報についての予測画像を生成する。逆量子化・逆変換部１００３は符号化画像情報に含まれる差分情報の係数に対して符号化側の処理の逆処理である逆量子化処理、逆周波数変換処理を行って差分情報を生成し、これを予測画像と加算して復号画像を作成する。復号画像メモリ１００４は復号画像を格納する。
【０１０６】
コントラスト調整部１００５は伝送ヒストグラムデータを用いて、復号画像のコントラスト調整を行う。
【０１０７】
ここで、伝送ヒストグラムデータが、ヒストグラムの数値を含むヒストグラム情報自体である場合は、コントラスト調整部１００５は、図１の枠１０９に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３を有する構成とすればよい。このように構成すれば、復号画像のヒストグラムを第１ヒストグラム計算部１０２において計算して図２の第１ヒストグラムメモリ２０３に記憶し、伝送ヒストグラムデータのヒストグラムを図２の第２ヒストグラムメモリ２０５に記憶し、これらのヒストグラムを用いることにより、復号画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。なお、伝送ヒストグラムデータが、ヒストグラムの数値をFFTやDFT、DCTあるいはPCM、DPCM等を用いて変換した係数である場合には、第２ヒストグラムメモリ２０５に記憶する前に、これらの変換の逆変換部を設けてヒストグラムの数値を再生すればよい。
【０１０８】
また、伝送ヒストグラムデータが、ヒストグラムの指定番号情報である場合には、予め第２ヒストグラムメモリ２０５に複数のモデルヒストグラムとそれぞれのモデルヒストグラムに対応する対応番号を記憶しておき、伝送される指定番号情報により指定されるモデルヒストグラムをコントラスト調整に用いればよい。
【０１０９】
また、伝送ヒストグラムデータが、画像自体である場合は、コントラスト調整部１００５は、図１の枠１１０に示す構成、すなわち第１ヒストグラム計算部１０２、画像変換部１０３、画素数変換部１０７、第２ヒストグラム計算部１０８を有する構成とすればよい。このように構成すれば、復号画像のヒストグラムを第１ヒストグラム計算部１０２において計算して図２の第１ヒストグラムメモリ２０３に記憶し、伝送ヒストグラムデータの画像を画素数変換部１０７で画素数変換し、第２ヒストグラム計算部１０８でヒストグラムを計算して図２の第２ヒストグラムメモリ２０５に記憶し、これらのヒストグラムを用いて、復号画像の画素値を変換することが可能となる。これらの各構成部の構成・動作は実施例１と同様であるため、説明を省略する。
【０１１０】
画像出力部１００６はコントラスト調整された出力画像を出力する。
【０１１１】
以上説明した本発明の実施例３に係る画像復号化装置によれば、符号化ストリームから復号画像を復号して、符号化側の意図したコントラストを調整を行うことが可能となる。
【０１１２】
次に、図１１から図１５を用いて、実施例３の画像符号化装置及び画像復号化装置の画像符号化・復号化処理の具体例を説明する。
【０１１３】
＜第１の画像符号化・復号化処理の例＞
まず、図１１に第１の画像符号化・復号化処理の例を示す。図１１においては、左側に符号化装置での符号化処理、右側に復号化装置での復号化処理を示す。(a)(b)(c)(d)は、いずれも画像もしくはモデルヒストグラムのヒストグラム図である。(a)は画像符号化装置の第１画像入力部９０１から入力される第１の入力画像のヒストグラム、(b)は画像符号化装置の第２画像・モデルヒストグラム入力部９０２から入力される第２の入力画像のヒストグラムまたはモデルヒストグラム、(c)は画像符号化装置により符号化されて伝送される伝送符号化画像のヒストグラム、(d)は画像復号化装置が生成する出力画像のヒストグラムである。
【０１１４】
第１の画像符号化・復号化処理の例では、画像符号化装置において(a)第１の入力画像はコントラスト調整・伝送ヒストグラムデータ生成部９０３でコントラストされずにそのまま(c)伝送符号化画像として符号化され伝送される。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムは、伝送ヒストグラムデータとして符号化ストリームに伝送される。
【０１１５】
画像復号化装置では、(c)伝送符号化画像を復号化し、伝送ヒストグラムデータを用いて画素値変換処理を行い、当該画素値変換処理によりコントラスト調整を行う。図１１の例では、画像復号化装置における画素値変換処理の例は、図５(ｆ)に示す画素値変換処理である。
【０１１６】
以上説明した第１の画像符号化・復号化処理によれば、符号化側が意図したコントラスト調整を復号側でおこなうことが可能となる。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムに(a)第１の入力画像のヒストグラムよりもコントラストが良好なものを用いれば、符号化側が意図したコントラスト改善処理を復号側でおこなうことが可能となる。
【０１１７】
＜第２の画像符号化・復号化処理の例＞
次に、図１２に第２の画像符号化・復号化処理の例を示す。第２の画像符号化・復号化処理の例では、第１の画像符号化・復号化処理の例と異なり、画像復号化装置が予め(b1)モデルヒストグラム１と(b2)モデルヒストグラム２をヒストグラムメモリに保持している。
【０１１８】
第２の画像符号化・復号化処理の例では、画像符号化装置は、それぞれのモデルヒストグラムに対応付けられた番号を指定し、伝送ヒストグラムデータとしてヒストグラム指定番号情報を伝送する。画像符号化装置は、予め(b1)モデルヒストグラム１と(b2)モデルヒストグラム２をヒストグラムメモリに保持しておいてもよいが、必ずしも必要ではなく、復号化側で保持するヒストグラムに対応付けられた番号のみを保持しておいて、用いてもよい。
【０１１９】
画像復号化装置では、伝送されたヒストグラム指定番号情報を用いて符号化側で指定したヒストグラムを特定し、復号画像の画素値変換処理に用いることが可能となる。図１２の例では、(b1)モデルヒストグラム１が選択されており、画像復号化装置における画素値変換処理の例は、図５(ｆ)に示す画素値変換処理である。
【０１２０】
その他の各処理は、第１の画像符号化・復号化処理と同様であるので説明を省略する。
【０１２１】
以上説明した第２の画像符号化・復号化処理によれば、伝送ヒストグラムデータをヒストグラムデータ自体にとし、よりデータ量の小さいヒストグラム指定番号情報とすることにより、第１の画像符号化・復号化処理の例と同様の効果に加えて、伝送データ量を低減することが可能となる。
【０１２２】
＜第３の画像符号化・復号化処理の例＞
次に、図１３に第３の画像符号化・復号化処理の例を示す。第３の画像符号化・復号化処理の例では、画像符号化装置では、(a)第１の入力画像を(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いて画素値変換してコントラスト調整し、コントラスト調整後の画像を(c)伝送符号化画像として符号化して伝送する。第３の画像符号化・復号化処理の例では、ヒストグラムデータは伝送しない。画像復号化装置では、符号化ストリームを復号して符号化装置においてコントラスト調整済みの復号画像を生成・出力する。
【０１２３】
すなわち、第３の画像符号化・復号化処理によれば、入力画像をコントラスト調整して伝送することができる。(b)第２の入力画像のヒストグラムまたはモデルヒストグラムに(a)第１の入力画像のヒストグラムよりもコントラストが良好なものを用いれば、符号化側でコントラスト改善処理をおこなった後に符号化して伝送することが可能となる。
【０１２４】
＜第４の画像符号化・復号化処理の例＞
次に、図１４に第４の画像符号化・復号化処理の例を示す。第４の画像符号化・復号化処理の例では、まず、第３の画像符号化・復号化処理の例と同様に、画像符号化装置において(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いて(a)第１の入力画像の画素値を変換してコントラスト調整を行い、コントラスト調整後の画像を(c)伝送符号化画像として符号化して伝送する。
【０１２５】
ここで、画像符号化装置は、(a)第１の画像のヒストグラムを伝送ヒストグラムデータとして(c)伝送符号化画像とともに伝送する。
【０１２６】
画像復号化装置では、(c)伝送符号化画像を復号し、伝送ヒストグラムデータを用いて画素値変換処理を行ってコントラスト調整を行う。ここで、伝送ヒストグラムデータは、(a)第１の画像のヒストグラムであるので、画像復号化装置の画素値変換処理後の出力画像は、(c)伝送符号化画像のコントラスト特性よりも、(a)第１の画像のコントラスト特性に近づけることができる。
【０１２７】
例えば、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムとして、(a)第１の入力画像よりも、符号化した場合の画像のデータ量が小さくなるコントラスト特性のヒストグラムを用いれば、画像符号化装置の画素値変換により、(c)伝送符号化画像のコントラスト特性を(b)第２の入力画像のヒストグラムまたはモデルヒストグラムのコントラスト特性に近づけることにより、(c)伝送符号化画像の符号化データ量を小さくすることができ、符号化効率を改善することが可能となる。ここで、(c)伝送符号化画像のコントラスト特性は、画像復号化装置の画素値変換処理により、再び(a)第１の画像のコントラスト特性に戻るように近づけることが可能となるため、画質の変化を抑えることができる。
【０１２８】
すなわち、第４の画像符号化・復号化処理の例では、従来方式と比べて高い画質の画像を低ビットレートで伝送することが可能となる。
【０１２９】
なお、図１４の例では、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムとして、(a)第１の画像のヒストグラムよりも、ヒストグラムの分布における画素値の最大が小さくより頻度の分散が小さいヒストグラムを用いている。これにより、符号化画像データ量を低減することが可能となる。
【０１３０】
また、図１４の例では、説明の簡略化のため、画像符号化装置の画素値変換処理は図８（実施例１の変形例）で示した画素値変換処理を用いた例を示している。よって、(c)伝送符号化画像のヒストグラムは、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムと同じヒストグラムに変換されている。画像復号化装置の画素値変換処理も同様である。しかし、図１４の例において、画像符号化装置の画素値変換処理、画像復号化装置の画素値変換処理のいずれも、図７（実施例１）の画素値変換処理を用いても実用上問題ない。
【０１３１】
以上説明した第４の画像符号化・復号化処理によれば、より符号化効率の高い画像符号化・復号化処理を実現することが可能となる。
【０１３２】
＜第５の画像符号化・復号化処理の例＞
次に、図１５に第５の画像符号化・復号化処理の例を示す。第５の画像符号化・復号化処理の例では、第１から第４の画像符号化・復号化処理の例とは異なり、画像符号化装置の画素値変換処理において、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いない。
【０１３３】
第５の画像符号化・復号化処理では、例えば、図９の画像符号化装置のコントラスト調整・伝送ヒストグラムデータ生成部９０３において、(a)第１の入力画像の画素値を所定の演算処理により変換して、(a)第１の入力画像を、符号化データ量が小さくなるコントラスト特性に変換する。例えば、(a)第１の入力画像の各画素値に１／２を乗じて、少数画素値となった画素値は四捨五入または切り上げ、切り下げなどにより整数画素値とする。これにより、ヒストグラムの最大画素値を元の(a)第１の入力画像よりも１／２とすることができ、より頻度の分散の小さい画像を生成し、(c)伝送符号化画像とすることができる。これにより、符号化データ量を低減することが可能となる。
【０１３４】
また、画像符号化装置では、第４の画像符号化・復号化処理の例と同様に、(a)第１の入力画像のヒストグラムを伝送ヒストグラムデータとして復号側に伝送する。
【０１３５】
画像復号化装置では、(c)伝送符号化画像を復号化し、伝送ヒストグラムデータを用いて画素値変換することによりコントラスト調整を行い、復号画像のコントラスト特性を(a)第１の入力画像に近づける。
【０１３６】
また、図１５の例では、説明の簡略化のため、画像復号化装置の画素値変換は図８（実施例１の変形例）で示した画素値変換処理を用いた例を示している。よって、(d)出力画像のヒストグラムは、(a)第１の入力画像と同じヒストグラムに変換されている。しかし、図１５の例の画像復号化装置の画素値変換処理において、図７（実施例１）の画素値変換処理を用いても実用上問題ない。
【０１３７】
第５の画像符号化・復号化処理によれば、(b)第２の入力画像のヒストグラムまたはモデルヒストグラムを用いずに、第４の画像符号化・復号化処理と同様の高符号化効率化を実現することが可能となる。
【０１３８】
以上説明した本発明の実施例３に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法によれば、符号化側が意図したコントラスト改善処理を復号側でおこなう画像符号化・復号化処理、または、よりコントラストが改善した画像を伝送する画像符号化・復号化処理、より符号化効率の高い画像符号化・復号化処理を実現することが可能となる。
【０１３９】
すなわち、より好適な画像符号化・復号化処理を実現することが可能となる。
【０１４０】
なお、以上説明した各実施例、変形例、処理例のいずれを組み合わせても、本発明の一実施の形態となりうる。
【図面の簡単な説明】
【０１４１】
【図１】本発明の一実施例に係る画像処理装置の一例の説明図である。
【図２】本発明の一実施例に係る画像処理装置の画像変換部の説明図である。
【図３】本発明の一実施例に係る画像処理の流れの一例の説明図である。
【図４】従来技術による画像処理結果の説明図である。
【図５】本発明の一実施例に係る画像処理結果の説明図である。
【図６】本発明の一実施例に係る画像処理結果の説明図である。
【図７】本発明の一実施例に係る画素値変換処理の説明図である。
【図８】本発明の一実施例に係る画素値変換処理の説明図である。
【図９】本発明の一実施例に係る画像符号化装置の一例の説明図である。
【図１０】本発明の一実施例に係る画像復号化装置の一例の説明図である。
【図１１】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１２】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１３】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１４】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１５】本発明の一実施例に係る画像符号化・復号化処理の一例の説明図である。
【図１６】本発明の一実施例に係る撮像装置の一例の説明図である。
【図１７】本発明の一実施例に係る撮像装置の一例の説明図である。
【符号の説明】
【０１４２】
１０１…第１画像入力部、１０２…第１ヒストグラム計算部、１０３…画像変換部、１０４…ノイズ除去フィルタ、１０５…画像出力部、１０６…第２画像入力部、１０７…画素数変換部、１０８…第２ヒストグラム計算部、２０１…画素値取得部、２０２…第１ヒストグラムメモリ、２０３…ヒストグラム順位算出部、２０４…第２ヒストグラムメモリ、２０５…ヒストグラム画素値取得部、２０６…画素値変換部、９０１…第１画像入力部、９０２…第２画像入力部、９０３…コントラスト調整・伝送ヒストグラムデータ生成部、９０４…画像予測部、９０５…変換・量子化部、９０６…逆量子化・逆変換部、９０７…復号画像メモリ、９０８…符号出力部、１００１…ストリーム解析部、１００２…画像予測部、１００３…逆量子化・逆変換部、１００４…復号画像メモリ、１００５…コントラスト調整部、１００６…画像出力部、１６０１…撮像部、１７０１…可視光撮像部、１７０２…可視光外撮像部・各種センサ部
【特許請求の範囲】
【請求項１】
画像を入力する画像入力部と、
前記画像入力部に入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、前記入力画像における画像処理対象画素の画素値について前記第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、前記画像処理対象画素の画素値を、前記第１のヒストグラムとは異なる第２のヒストグラムにおける前記算出順位の画素値に変更する画像変換処理とを行う画像変換部と、
前記画像変換部で画像変換処理された画像を出力する画像出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置であって、
前記画像変換部における前記順位算出処理は、前記第１のヒストグラムにおいて、前記画像処理対象画素の画素値より大きい画素値についての頻度を累積、または前記画像処理対象画素の画素値より小さい画素値についての頻度を累積して行うことを特徴とする画像処理装置。
【請求項３】
請求項１の画像処理装置であって、
前記画像変換部における前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有するすべての画素について、前記第２のヒストグラムにおける前記算出順位の画素値に変更することを特徴とする画像処理装置。
【請求項４】
請求項１の画像処理装置であって、
前記画像変換部における前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有する画素のうち一部の画素を前記第２のヒストグラムにおける前記算出順位の画素値に変更して、前記第１のヒストグラムの画素値の変更後のヒストグラムの各画素の頻度を前記第２のヒストグラムの対応する画素の頻度と同じにすることを特徴とする画像処理装置。
【請求項５】
請求項１の画像処理装置であって、
前記画像入力部は撮像部を有し、
前記入力画像は前記撮像部により連続して撮像された画像群の一つの画像であって、前記第２のヒストグラムは前記撮像部によって前記画像群の撮影時刻とは異なる時刻に撮像された画像であることを特徴とする画像処理装置。
【請求項６】
請求項１の画像処理装置であって、
前記画像入力部は可視光を用いて撮像する可視光撮像部を有し、
前記画像処理装置は可視光帯域外の光線を用いて撮像して画像を生成する可視光外撮像部またはセンサによる計測結果により画像を生成するセンサ部をさらに備え、
前記入力画像は前記可視光撮像部により撮像された画像であって、前記第２のヒストグラムは前記可視光外撮像部またはセンサ部により生成された画像であることを特徴とする画像処理装置。
【請求項７】
画像を入力する画像入力ステップと、
前記入力ステップにおいて入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、前記入力画像における画像処理対象画素の画素値の前記第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、前記画像処理対象画素の画素値を、前記第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける前記算出順位の画素値に変更する画像変換処理とを行う画像変換ステップと、
前記画像変換ステップにおいて画像変換処理された画像を出力する画像出力ステップと
を備えることを特徴とする画像処理方法。
【請求項８】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記順位算出処理は、前記第１のヒストグラムにおいて、前記画像処理対象画素の画素値より大きい画素値についての頻度を累積、または前記画像処理対象画素の画素値より小さい画素値についての頻度を累積して行うことを特徴とする画像処理方法。
【請求項９】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有するすべての画素について、前記第２のヒストグラムにおける前記算出順位の画素値に変更することを特徴とする画像処理方法。
【請求項１０】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有する画素のうち一部の画素を前記第２のヒストグラムにおける前記算出順位の画素値に変更して、前記第１のヒストグラムの画素値の変更後のヒストグラムの各画素の頻度を前記第２のヒストグラムの対応する画素の頻度と同じにすることを特徴とする画像処理方法。
【請求項１１】
請求項７の画像処理方法であって、
前記画像入力ステップは撮像処理により生成された画像を入力し、
前記入力画像は前記撮像処理により連続して撮像された画像群の一つの画像であって、前記第２のヒストグラムは前記撮像処理によって前記画像群の撮影時刻とは異なる時刻に撮像された画像であることを特徴とする画像処理方法。
【請求項１２】
請求項８の画像処理方法であって、
前記画像入力ステップは可視光を用いた撮像処理により生成した画像を入力し、
可視光帯域外の光線を用いた撮像処理により生成した画像を入力、またはセンサによる計測結果により生成した画像を入力する第２の入力ステップをさらに備え、
前記入力画像は前記可視光を用いた撮像処理による入力ステップにて入力された画像であって、前記第２のヒストグラムは第２の入力ステップにより入力された画像であることを特徴とする画像処理方法。
【請求項１３】
符号化対象画像を入力する画像入力ステップと、
前記入力ステップにおいて入力された入力画像に予測処理、変換処理、量子化処理を行って、符号化画像情報を生成する符号化ステップと、
前記符号化ステップで生成した符号化画像情報と復号側で復号画像のコントラスト調整を行うための画素値ヒストグラムに関する情報とを含む符号化ストリームを生成する符号化ストリーム生成ステップと
を備えることを特徴とする画像符号化方法。
【請求項１４】
請求項１３の画像符号化方法であって、
前記符号化ストリーム生成ステップの前に、
前記符号化対象画像とは異なる第２の画像を入力する第２画像入力ステップと、
前記第２画像入力ステップで入力された前記第２の画像の画素値ヒストグラムを算出するヒストグラム算出ステップとを備え、
前記符号化ストリーム生成ステップでは、前記第２の画像の画素値ヒストグラムを、前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１５】
請求項１３の画像符号化方法であって、
各画素値についての頻度を予め設定したモデルヒストグラムを取得する取得ステップと、
前記モデルヒストグラムを、前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１６】
請求項１３の画像符号化方法であって、
復号側で復号画像のコントラスト調整を行うために、復号側で予め保持している複数のモデルヒストグラムのうち一つのヒストグラムを指定するヒストグラム指定番号情報を前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１７】
請求項１３の画像符号化方法であって、
前記符号化ステップの前に、
前記符号化対象画像の画素値のヒストグラムを算出するヒストグラム算出ステップと、
所定の処理によって前記符号化対象画像の画素値を変換する画素値変換ステップとを備え、
前記符号化ステップでは、前記画素値変換ステップにおいて画素値が変換された画像についての符号化画像情報を生成し、
前記符号化ストリーム生成ステップでは、前記ヒストグラム算出ステップで算出した前記符号化対象画像のヒストグラムを前記画素値ヒストグラムに関する情報として、符号化画像情報とともに前記符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１８】
符号化ストリームを入力する入力ステップと、
前記入力ステップにおいて入力された符号化ストリームに含まれる符号化画像情報に符号化側の処理の逆処理である逆量子化処理、逆変換処理を行って、差分情報を生成し、前記符号化画像についての予測画像に前記差分情報を加算して復号画像を生成する復号画像生成ステップと、
前記入力ステップにおいて入力された符号化ストリームに含まれる画素値ヒストグラムに関する情報に基づいて前記復号画像のコントラスト調整を行うコントラスト調整ステップと
を備えることを特徴とする画像復号化方法。
【請求項１９】
請求項１８の画像復号化方法であって、
前記符号化ストリームに含まれる画素値ヒストグラムに関する情報には、画素値ヒストグラム自体が含まれており、
前記コントラスト調整ステップは、前記復号画像の画素値のヒストグラムを算出し、算出した前記復号画像のヒストグラムと、前記符号化ストリームに含まれる画素値ヒストグラムに関する情報に含まれる画素値ヒストグラムとに基づいて、前記符号化対象画像の画素値を変換することを特徴とする画像復号化方法。
【請求項２０】
請求項１８の画像復号化方法であって、
前記符号化ストリームに含まれる画素値ヒストグラムに関する情報には、復号側で復号画像のコントラスト調整を行うために予め保持している複数のモデルヒストグラムのうちの一つのモデルヒストグラムを指定するヒストグラム指定番号情報が含まれており、
前記コントラスト調整ステップは、前記復号画像の画素値のヒストグラムを算出し、算出した前記復号画像のヒストグラムと、前記符号化ストリームに含まれる前記ヒストグラム指定番号情報により指定される画素値ヒストグラムとに基づいて、前記符号化対象画像の画素値を変換することを特徴とする画像復号化方法。
【請求項１】
画像を入力する画像入力部と、
前記画像入力部に入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、前記入力画像における画像処理対象画素の画素値について前記第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、前記画像処理対象画素の画素値を、前記第１のヒストグラムとは異なる第２のヒストグラムにおける前記算出順位の画素値に変更する画像変換処理とを行う画像変換部と、
前記画像変換部で画像変換処理された画像を出力する画像出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置であって、
前記画像変換部における前記順位算出処理は、前記第１のヒストグラムにおいて、前記画像処理対象画素の画素値より大きい画素値についての頻度を累積、または前記画像処理対象画素の画素値より小さい画素値についての頻度を累積して行うことを特徴とする画像処理装置。
【請求項３】
請求項１の画像処理装置であって、
前記画像変換部における前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有するすべての画素について、前記第２のヒストグラムにおける前記算出順位の画素値に変更することを特徴とする画像処理装置。
【請求項４】
請求項１の画像処理装置であって、
前記画像変換部における前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有する画素のうち一部の画素を前記第２のヒストグラムにおける前記算出順位の画素値に変更して、前記第１のヒストグラムの画素値の変更後のヒストグラムの各画素の頻度を前記第２のヒストグラムの対応する画素の頻度と同じにすることを特徴とする画像処理装置。
【請求項５】
請求項１の画像処理装置であって、
前記画像入力部は撮像部を有し、
前記入力画像は前記撮像部により連続して撮像された画像群の一つの画像であって、前記第２のヒストグラムは前記撮像部によって前記画像群の撮影時刻とは異なる時刻に撮像された画像であることを特徴とする画像処理装置。
【請求項６】
請求項１の画像処理装置であって、
前記画像入力部は可視光を用いて撮像する可視光撮像部を有し、
前記画像処理装置は可視光帯域外の光線を用いて撮像して画像を生成する可視光外撮像部またはセンサによる計測結果により画像を生成するセンサ部をさらに備え、
前記入力画像は前記可視光撮像部により撮像された画像であって、前記第２のヒストグラムは前記可視光外撮像部またはセンサ部により生成された画像であることを特徴とする画像処理装置。
【請求項７】
画像を入力する画像入力ステップと、
前記入力ステップにおいて入力された入力画像の画素値ヒストグラムを第１のヒストグラムとして算出し、前記入力画像における画像処理対象画素の画素値の前記第１のヒストグラムにおける画素値の大きさの順位を算出する順位算出処理と、前記画像処理対象画素の画素値を、前記第１のヒストグラムとは異なる画素値ヒストグラムである第２のヒストグラムにおける前記算出順位の画素値に変更する画像変換処理とを行う画像変換ステップと、
前記画像変換ステップにおいて画像変換処理された画像を出力する画像出力ステップと
を備えることを特徴とする画像処理方法。
【請求項８】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記順位算出処理は、前記第１のヒストグラムにおいて、前記画像処理対象画素の画素値より大きい画素値についての頻度を累積、または前記画像処理対象画素の画素値より小さい画素値についての頻度を累積して行うことを特徴とする画像処理方法。
【請求項９】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有するすべての画素について、前記第２のヒストグラムにおける前記算出順位の画素値に変更することを特徴とする画像処理方法。
【請求項１０】
請求項７の画像処理方法であって、
前記画像変換ステップにおける前記画像変換処理は、前記第１のヒストグラムにおける前記算出順位の画素値を有する画素のうち一部の画素を前記第２のヒストグラムにおける前記算出順位の画素値に変更して、前記第１のヒストグラムの画素値の変更後のヒストグラムの各画素の頻度を前記第２のヒストグラムの対応する画素の頻度と同じにすることを特徴とする画像処理方法。
【請求項１１】
請求項７の画像処理方法であって、
前記画像入力ステップは撮像処理により生成された画像を入力し、
前記入力画像は前記撮像処理により連続して撮像された画像群の一つの画像であって、前記第２のヒストグラムは前記撮像処理によって前記画像群の撮影時刻とは異なる時刻に撮像された画像であることを特徴とする画像処理方法。
【請求項１２】
請求項８の画像処理方法であって、
前記画像入力ステップは可視光を用いた撮像処理により生成した画像を入力し、
可視光帯域外の光線を用いた撮像処理により生成した画像を入力、またはセンサによる計測結果により生成した画像を入力する第２の入力ステップをさらに備え、
前記入力画像は前記可視光を用いた撮像処理による入力ステップにて入力された画像であって、前記第２のヒストグラムは第２の入力ステップにより入力された画像であることを特徴とする画像処理方法。
【請求項１３】
符号化対象画像を入力する画像入力ステップと、
前記入力ステップにおいて入力された入力画像に予測処理、変換処理、量子化処理を行って、符号化画像情報を生成する符号化ステップと、
前記符号化ステップで生成した符号化画像情報と復号側で復号画像のコントラスト調整を行うための画素値ヒストグラムに関する情報とを含む符号化ストリームを生成する符号化ストリーム生成ステップと
を備えることを特徴とする画像符号化方法。
【請求項１４】
請求項１３の画像符号化方法であって、
前記符号化ストリーム生成ステップの前に、
前記符号化対象画像とは異なる第２の画像を入力する第２画像入力ステップと、
前記第２画像入力ステップで入力された前記第２の画像の画素値ヒストグラムを算出するヒストグラム算出ステップとを備え、
前記符号化ストリーム生成ステップでは、前記第２の画像の画素値ヒストグラムを、前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１５】
請求項１３の画像符号化方法であって、
各画素値についての頻度を予め設定したモデルヒストグラムを取得する取得ステップと、
前記モデルヒストグラムを、前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１６】
請求項１３の画像符号化方法であって、
復号側で復号画像のコントラスト調整を行うために、復号側で予め保持している複数のモデルヒストグラムのうち一つのヒストグラムを指定するヒストグラム指定番号情報を前記画素値ヒストグラムに関する情報として符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１７】
請求項１３の画像符号化方法であって、
前記符号化ステップの前に、
前記符号化対象画像の画素値のヒストグラムを算出するヒストグラム算出ステップと、
所定の処理によって前記符号化対象画像の画素値を変換する画素値変換ステップとを備え、
前記符号化ステップでは、前記画素値変換ステップにおいて画素値が変換された画像についての符号化画像情報を生成し、
前記符号化ストリーム生成ステップでは、前記ヒストグラム算出ステップで算出した前記符号化対象画像のヒストグラムを前記画素値ヒストグラムに関する情報として、符号化画像情報とともに前記符号化ストリームに含めることを特徴とする画像符号化方法。
【請求項１８】
符号化ストリームを入力する入力ステップと、
前記入力ステップにおいて入力された符号化ストリームに含まれる符号化画像情報に符号化側の処理の逆処理である逆量子化処理、逆変換処理を行って、差分情報を生成し、前記符号化画像についての予測画像に前記差分情報を加算して復号画像を生成する復号画像生成ステップと、
前記入力ステップにおいて入力された符号化ストリームに含まれる画素値ヒストグラムに関する情報に基づいて前記復号画像のコントラスト調整を行うコントラスト調整ステップと
を備えることを特徴とする画像復号化方法。
【請求項１９】
請求項１８の画像復号化方法であって、
前記符号化ストリームに含まれる画素値ヒストグラムに関する情報には、画素値ヒストグラム自体が含まれており、
前記コントラスト調整ステップは、前記復号画像の画素値のヒストグラムを算出し、算出した前記復号画像のヒストグラムと、前記符号化ストリームに含まれる画素値ヒストグラムに関する情報に含まれる画素値ヒストグラムとに基づいて、前記符号化対象画像の画素値を変換することを特徴とする画像復号化方法。
【請求項２０】
請求項１８の画像復号化方法であって、
前記符号化ストリームに含まれる画素値ヒストグラムに関する情報には、復号側で復号画像のコントラスト調整を行うために予め保持している複数のモデルヒストグラムのうちの一つのモデルヒストグラムを指定するヒストグラム指定番号情報が含まれており、
前記コントラスト調整ステップは、前記復号画像の画素値のヒストグラムを算出し、算出した前記復号画像のヒストグラムと、前記符号化ストリームに含まれる前記ヒストグラム指定番号情報により指定される画素値ヒストグラムとに基づいて、前記符号化対象画像の画素値を変換することを特徴とする画像復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１７６２３９（Ｐ２０１０−１７６２３９Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１６１１５（Ｐ２００９−１６１１５）
【出願日】平成２１年１月２８日（２００９．１．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２８日（２００９．１．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]