輝度補正装置およびコンピュータを輝度補正装置として機能させるためのプログラム
【課題】 動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能な輝度補正装置および当該輝度補正値としてコンピュータを機能させることができるプログラムを提供する。
【解決手段】 動画像の第ｎ番目の画像（処理対象画像１００ａ．１６）の輝度を補正するために使用する補正値（補正値ｃ１）は、第（ｎ−ｍ）番目の画像（処理対象画像１００ａ．１）に基づいて算出する。そして、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する。
【解決手段】 動画像の第ｎ番目の画像（処理対象画像１００ａ．１６）の輝度を補正するために使用する補正値（補正値ｃ１）は、第（ｎ−ｍ）番目の画像（処理対象画像１００ａ．１）に基づいて算出する。そして、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像または動画像のダイナミックレンジを改善することができる輝度補正装置、コンピュータを輝度補正装置として機能させるためのプログラムに関する。
【背景技術】
【０００２】
画像の局所的な情報に基づいて、最適なダイナミックレンジを有する画像になるように輝度を補正するといった、人間の眼球の網膜をモデル化した網膜法が提案されている。この網膜法は、画像全体または画像内の一部の輝度が低く暗いときは該当する箇所の輝度を高くし、画像全体または画像内の一部の輝度が高く明るいときは該当する箇所の輝度を低くすることによって、画像を見やすくする手法である。
【０００３】
網膜法には、(Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"Properties and Performance of a Center/Surround Retinex," IEEE Transactions on Image Processing, vol.6, pp.451-462, March 1997.)（非特許文献１）に記載のシングルスケール網膜法(Single Scale Retinex：SSR）、および、（Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes," IEEE Transactions on Image Processing, vol.6, pp.965-976, July 1997.)（非特許文献２）に記載のマルチスケール網膜法(Multi Scale Retinex：MSR）が提案されている。
【０００４】
シングルスケール網膜法では、処理の対象となる横ｘドット、縦ｙドットのサイズの画像（以下においては、「処理対象画像」とも称する）における、処理と対象となる画素（以下においては「注目画素」とも称する）の輝度値Ii(x, y)を、注目画素の周辺の画素（以下においては「周辺画素」とも称する）の情報に基づいて得られる周辺関数F(x, y)によって補正するものである。
【０００５】
シングルスケール網膜法により、処理対象画像に対し演算処理が行なわれた後の処理結果（以下においては、「シングルスケール網膜処理結果」ともいう）Ri(x, y)は、次の（１）式によって表される。
【０００６】
Ri(x, y)=log(Ii(x, y))-log[F(x, y)* Ii (x, y)] ・・・（１）
ここで、（１）式のIi(x, y)は処理対象画像内の座標(x, y)における輝度値の値を示す。“ * ” は畳み込み演算を示す。（１）式の周辺関数F(x, y)は、注目画素の情報と周辺画素の情報とに基づく関数であり、次の（２）式によって表される。
【０００７】
【数１】
【０００８】
r2は、r2＝x2＋y2で表され、ｒは注目画素と周辺画素との距離を示す。Ｋは、正規化係数である。また、周辺関数F(x,y)は、次の（３）式を満たす。
【０００９】
【数２】
【００１０】
すなわち、周辺関数の総合計が“１”となるように定められる。ｃは注目画素の周辺領域の面積によって決められる。
【００１１】
シングルスケール網膜処理結果Ri(x, y)は、（１）式、（２）式および（３）式によって求められる。そして、次の（４）式によって、シングルスケール網膜処理結果Ri(x, y)が、ゲイン（Gain）およびオフセット（Offset）によって補正される。（１）式、（２）式、（３）式および（４）式による演算が、処理対象画像の有する全ての画素に対して行なわれることにより、シングルスケール網膜法の処理対象は適切なダイナミックレンジを有する画像に補正される。なお、以下においては補正後のシングルスケール網膜処理結果Ri(x, y)を「補正後シングルスケール網膜処理結果IRi(x, y)」とも称する。
【００１２】
IRi(x, y)=Gain x Ri(x, y) + Offset ・・・（４）
しかし、シングルスケール網膜法は、処理対象画像の色再現とコントラストを同時に改善できないという問題がある。そこで、処理対象画像の色再現とコントラストを同時に改善できるように、各々が異なるｃを持つＮ種類のシングルスケール網膜処理結果Ri(x, y)を組み合わせ、最後の出力とするマルチスケール網膜法が提案された。マルチスケール網膜法により、処理対象画像に対し演算処理が行なわれた後の処理結果（以下においては、「マルチスケール網膜処理結果」ともいう）MSRout(x, y)は、次の（５）式によって表される。
【００１３】
【数３】
【００１４】
ここで、（５）式のＮはスケールの数（種類）である。ここで、「スケール」とは、周辺関数の直径に相当する。また、ＷnはＮ種類のスケールのうち、ｎ番目のスケールの重み係数であり、通常は１／ｎである。Fn(x, y)は、シングルスケール網膜法の周辺関数F(x, y) と同様である。（５）式より、マルチスケール網膜処理結果MSRout(x, y)では、Ｎ種類全ての網膜処理結果が加算される。
【００１５】
そして、（５）式によって求められたマルチスケール網膜処理結果MSRout(x, y)が、シングルスケール網膜法と同様、次の（６）式によって、ゲイン（Gain）およびオフセット（Offset）によって補正される。（２）式、（３）式、（５）式および（６）式による演算が、処理対象画像の有する全ての画素に対して行なわれることにより、マルチスケール網膜法の処理対象は適切なダイナミックレンジを有する画像に補正される。なお、以下においては補正後のマルチスケール網膜処理結果MSRout(x, y)を「補正後マルチスケール網膜処理結果IMSRi(x, y)」とも称する。
【００１６】
マルチスケール網膜法では、Ｎ種類のスケールの各々に対し、マルチスケール網膜処理結果を求めるための演算が必要である。マルチスケール網膜処理結果を求めるには、（２）式、（３）式、（５）式および（６）式による演算が、処理対象画像の有する全ての画素に対して行なう必要があり、膨大な演算量が必要となる。
【００１７】
そこで、マルチスケール網膜法における演算量を削減する技術が、特開２００１−７８０２５（特許文献１）に開示されている。
【００１８】
IMSRi(x, y)=Gain × MSRout(x, y) + Offset ・・・（６）
【特許文献１】特開２００１−７８０２５号公報
【非特許文献１】Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"Properties and Performance of a Center/Surround Retinex," IEEE Transactions on Image Processing, vol.6, pp.451-462, March 1997.
【非特許文献２】Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes," IEEE Transactions on Image Processing, vol.6, pp.965-976, July 1997.
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特開２００１−７８０２５（特許文献１）に開示されている技術は、静止画像に対して行なうものである。そのため、動画像に対し、マルチスケール網膜法のような高度な輝度補正処理をリアルタイムで行なうには、特開２００１−７８０２５（特許文献１）に開示されている技術を利用することによる演算量の削減よりも、さらなる演算量の削減が必要となる。
【００２０】
本発明は、上述の問題点を解決するためになされたものであって、その目的は、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能な輝度補正装置を提供することである。
【００２１】
本発明の他の目的は、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能な輝度補正装置としてコンピュータを機能させることができるプログラムを提供することである。
【課題を解決するための手段】
【００２２】
上記の課題を解決するために、この発明のある局面に従うと、輝度補正装置は、各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する。この輝度補正装置は、複数の画像の各々の輝度を補正するための補正値を算出する補正値演算部と、補正値演算部が第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する輝度補正部とを備える。
【００２３】
好ましくは、輝度補正部は、補正値演算部が（ｎ−ｍ）番目の画像に基づいて算出した、補正値を利用して第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する。
【００２４】
好ましくは、輝度補正部が第ｎ番目から第（ｎ＋ｐ）番目の画像の輝度を補正する間、補正値演算部は（ｎ＋ｐ＋１）番目以降の画像を補正するための補正値を、第ｎ番目から第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する。
【００２５】
好ましくは、複数の画像の各々は、複数の画素から構成され、複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、補正値演算部は、複数の直接演算対象画素の各々に対し、直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて補正値を算出し、複数の間接演算対象画素の各々に対しては、間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて補正値を算出する。
【００２６】
好ましくは、補正値演算部は、複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて補正値を算出し、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう複数の画素から選択された画素であり、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が小間隔より大きくなるよう複数の画素から選択された画素である。
【００２７】
この発明の他の局面に従うと、プログラムは、各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置として、記憶部を備えるコンピュータを機能させるためのプログラムである。このプログラムはコンピュータに、コンピュータの記憶部に格納されているデータを読み出して、複数の画像の各々の輝度を補正するための補正値を算出するステップと、補正値を算出するステップが第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正するステップとを実行させる。
【００２８】
好ましくは、画像の輝度を補正するステップは、補正値を算出するステップが（ｎ−ｍ）番目の画像に基づいて算出した、補正値を利用して第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する。
【００２９】
好ましくは、画像の輝度を補正するステップが第ｎ番目から第（ｎ＋ｐ）番目の画像の輝度を補正する間、補正値を算出するステップは（ｎ＋ｐ＋１）番目以降の画像を補正するための補正値を、第ｎ番目から第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する。
【００３０】
好ましくは、複数の画像の各々は、複数の画素から構成され、複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、補正値を算出するステップは、複数の直接演算対象画素の各々に対し、直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて補正値を算出し、複数の間接演算対象画素の各々に対しては、間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて補正値を算出する。
【００３１】
補正値を算出するステップは、複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて補正値を算出し、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう複数の画素から選択された画素であり、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が小間隔より大きくなるよう複数の画素から選択された画素である。
【発明の効果】
【００３２】
本発明に係る輝度補正装置によると、動画像の第ｎ番目の画像の輝度を補正するために使用する補正値は、第（ｎ−ｍ）番目の画像に基づいて算出する。そして、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する。したがって、輝度補正装置は、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【００３３】
本発明に係るプログラムによると、コンピュータを、動画像の第ｎ番目の画像の輝度を補正するために使用する補正値は、第（ｎ−ｍ）番目の画像に基づいて算出し、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する輝度補正装置として機能させることができる。したがって、輝度補正装置として、コンピュータを機能させるためのプログラムは、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで実行することができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３５】
図１は、輝度補正装置を利用したシステムの一例としての輝度補正システム１００００のブロック図を示す。
【００３６】
図１を参照して、輝度補正システム１００００は、カメラ１０００と、輝度補正装置２０００と、画像表示部３０００とを備える。
【００３７】
カメラ１０００は、動画または静止画を撮影し、アナログ映像信号またはデジタル映像信号に変換して、輝度補正装置２０００へ出力する。以下においては、アナログ映像信号およびデジタル映像信号を総括的に映像信号とも称する。
【００３８】
輝度補正装置２０００は、前述したマルチスケール網膜法による輝度補正処理を行なう。以下においては、輝度補正装置２０００で処理される映像信号に基づく画像を「処理対象画像」とも称する。
【００３９】
輝度補正装置２０００は、データ入力部２１００と、輝度補正処理部２２００と、画像処理部２３００と、データ出力部２４００とを含む。
【００４０】
データ入力部２１００は、カメラ１０００から出力された映像信号を受け、輝度補正処理部２２００へ出力するためのインターフェースである。
【００４１】
輝度補正処理部２２００は、データ入力部２１００から出力された映像信号に対し後述する輝度補正処理を行ない、画像処理部２３００へ出力する。
【００４２】
画像処理部２３００は、輝度補正処理部２２００から出力された映像信号に対し所定の画像処理を行ない、データ出力部２４００へ出力する。
【００４３】
データ出力部２４００は、画像処理部２３００から出力された映像信号を受け、画像表示部３０００へ出力するためのインターフェースである。
【００４４】
画像表示部３０００は、データ出力部２４００から出力された映像信号に基づいて画像を表示する。画像表示部３０００は、液晶ディスプレイ（ＬＣＤ（Liquid Crystal Display））、ＣＲＴ（Cathode Ray Tube）、ＦＥＤ（Field Emission Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬディスプレイ（Organic Electro luminescence Display）、ドットマトリクス等その他の画像表示方式の表示機器のいずれであってもよい。
【００４５】
なお、輝度補正システム１００００は、上記構成に限定されることなくその構成は任意である。たとえば、カメラ１０００の内部に輝度補正処理部２２００を設けるような構成であってもよい。また、画像表示部３０００の内部に輝度補正処理部２２００を設けるような構成であってもよい。
【００４６】
図２は、輝度補正処理部２２００のブロック図を示す。
【００４７】
図２を参照して、輝度補正処理部２２００は、同期分離回路２２１０と、画像処理プロセッサ２７００と、画像処理プロセッサ２８００と、画像データ記憶部２２３０, ２２４０と、データ記憶部２２６０と、データ通信部２２７０とを備える。
【００４８】
同期分離回路２２１０は、データ入力部から出力された映像信号ＩＭＧを、画像信号ＲＧＢと、同期信号ＨＶＳＩＧとに分離して、画像処理プロセッサ２７００、２８００へ出力する。なお、同期信号ＨＶＳＩＧは、水平同期信号と垂直同期信号と画像信号に同期したクロック信号とを含んだ信号である。
【００４９】
データ記憶部２２６０は、データを一時的に記憶可能なＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）、ダブルデータレートモードという高速なデータ転送機能を持ったＳＤＲＡＭであるＤＤＲ−ＳＤＲＡＭ（Double Data Rate SDRAM）、Rambus社が開発した高速インターフェース技術を採用したＤＲＡＭであるＲＤＲＡＭ（Rambus Dynamic Random Access Memory）、Ｄｉｒｅｃｔ−ＲＤＲＡＭ（Direct Rambus Dynamic Random Access Memory）、その他のデータを記憶保持可能な構成を有する回路のいずれであってもよい。データ記憶部２２６０は、画像処理プロセッサ２８００によってアクセスされる。
【００５０】
画像データ記憶部２２３０は、データ記憶部２２６０と比較して、画像処理プロセッサ２８００の代わりに、画像処理プロセッサ２７００によってアクセスされる点が異なる。それ以外の構成および機能は、データ記憶部２２６０と同様なので詳細な説明は繰り返さない。
【００５１】
画像データ記憶部２２４０は、データ記憶部２２６０と比較して、画像処理プロセッサ２８００の代わりに、画像処理プロセッサ２７００によってアクセスされる点が異なる。それ以外の構成および機能は、データ記憶部２２６０と同様なので詳細な説明は繰り返さない。
【００５２】
なお、本実施の形態において、画像処理プロセッサ２７００は、画像データ記憶部２２３０および画像データ記憶部２２４０といった、２つの画像データ記憶部にアクセスする構成に限定されるものではなく、その構成は任意である。たとえば、画像データ記憶部が高速にアクセスが可能なもの（たとえば、ＤＤＲ−ＳＤＲＡＭ）であれば、画像処理プロセッサ２７００は、１つの画像データ記憶部のみにアクセスする構成でもよい。
【００５３】
また、本実施の形態においては、画像データ記憶部２２３０および画像データ記憶部２２４０は、画像処理プロセッサ２７００の外部に設けられている構成としているが、その構成は任意である。たとえば、画像データ記憶部２２３０および画像データ記憶部２２４０は、画像処理プロセッサ２７００に内蔵されていてもよい。
【００５４】
データ通信部２２７０は、ＲＳ−２３２Ｃ（Recommended Standard 232 version C）、ＲＳ−４２２（Recommended Standard 422）、ＵＳＢ（Universal Serial Bus）１．１、ＵＳＢ２．０、その他シリアル転送を行なう通信用インターフェースのいずれであってもよい。
【００５５】
また、データ通信部２２７０は、セントロニクス仕様、ＩＥＥＥ１２８４（Institute of Electrical and Electronic Engineers 1284）、その他パラレル転送を行なう通信用インターフェースのいずれであってもよい。
【００５６】
また、データ通信部２２７０は、ＩＥＥＥ１３９４、その他ＳＣＳＩ規格を利用した通信用インターフェースのいずれであってもよい。
【００５７】
また、データ通信部２２７０は、ＩｒＤＡ（Infrared Data Association）１．０、ＩｒＤＡ１．１、ＩｒＤＡ１．２、その他赤外線を利用した近距離のデータ通信を行なう通信用インターフェースのいずれであってもよい。
【００５８】
また、データ通信部２２７０は、イーサネット（登録商標）、無線ＬＡＮの規格であるＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、その他有線または無線のＬＡＮ技術を利用してデータ通信を行なう通信用インターフェースのいずれであってもよい。
【００５９】
データ通信部２２７０は、輝度補正処理部２２００または輝度補正装置２０００の外部に設けられた制御ＰＣ４０００とデータの授受を行なう。
【００６０】
制御ＰＣ４０００は、データ通信部２２７０を介して、画像処理プロセッサ２７００および画像処理プロセッサ２８００へ制御プラグラムや設定データ等のデータを送信する。なお、本発明において、データ通信部２２７０とデータの授受をするものは、制御ＰＣ４０００に限定されるものではない。制御ＰＣ４０００の代わりに、たとえば、可変抵抗またはプッシュボタンなどのインターフェースをもった制御装置であってもよい。
【００６１】
図３は、画像処理プロセッサ２８００の内部の詳細なブロック図を示す。
【００６２】
図３を参照して、画像処理プロセッサ２８００は、プログラミングすることができるＬＳＩ（Large Scale Integration）であるＦＰＧＡ（Field Programmable Gate Array）、特定の用途のために設計、製造される集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）、画像処理専用ＬＳＩ、マイクロプロセッサ（Microprocessor）、その他の演算機能を有する回路のいずれであってもよい。
【００６３】
画像処理プロセッサ２８００は、補正値演算部２８１０と、バッファ２８３０と、アドレス生成部２８４０と、メモリ制御部２８５０と、パラメータ設定部２８２０とを含む。
【００６４】
バッファ２８３０は、同期分離回路２２１０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、動画像の１フレーム（静止画像）の１ライン分の画像データを一時的に保持する機能を有する。なお、バッファ２８３０は、動画像の１フレーム分の画像データを一時的に保持する機能を有してもよい。
【００６５】
アドレス生成部２８４０は、同期信号ＨＶＳＩＧが入力される毎に動作するカウンタ（図示せず）を内部に有する。アドレス生成部２８４０は、同期信号ＨＶＳＩＧが入力される毎に、カウンタを動作させ、データ記憶部２２６０にデータを記憶させるのに必要なアドレスを生成し、メモリ制御部２８５０へ出力する。
【００６６】
メモリ制御部２８５０は、バッファ２８３０が一時的に記憶しているデータを、アドレス生成部２８４０から入力されたアドレスに基づいて、データ記憶部２２６０に書込む。また、メモリ制御部２８５０は、所定の時間毎にデータ記憶部２２６０に記憶されているデータを読み出して、補正値演算部２８１０へ出力する。
【００６７】
パラメータ設定部２８２０は、データ通信部２２７０から伝達されたデータに基づいて補正値演算部２８１０が使用するパラメータ（設定値）等の変更を行なう。
【００６８】
補正値演算部２８１０は、演算部２８１４、データ一時記憶部２８１２、データ記憶部２８１６を有する。
【００６９】
データ一時記憶部２８１２は、データ記憶部２２６０と同様な構成を有し、データを一時的に記憶する回路である。
【００７０】
データ記憶部２８１６は、読み出し専用記憶装置であるＲＯＭ（Read Only Memory）、記憶の消去・書き込みを何度でも行えるＥＰＲＯＭ（Erasable Programmable Read Only Memory）、電気的に内容を書き換えることができるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、紫外線を使って記憶内容の消去・再書き込みを何度でも行えるＵＶ−ＥＰＲＯＭ（Ultra-Violet Erasable Programmable Read Only Memory）、その他のデータを記憶可能な構成を有する回路のいずれであってもよい。
【００７１】
データ記憶部２８１６は、後述する周辺関数データＬＤ，ＳＤおよび制御プログラムを予め記憶している。
【００７２】
演算部２８１４は、データ一時記憶部２８１２をワークメモリとして利用する。また、演算部２８１４は、データ記憶部２８１６に記憶されている制御プログラムに従って、メモリ制御部２８５０から出力されたデータに基づいて、後述する正規化係数算出処理および補正値算出処理を行なう。
【００７３】
正規化係数算出処理では、後述する補正値算出処理で使用する正規化係数を算出する処理を行なう。補正値算出処理では、前述したマルチスケール網膜法により画像の輝度を適切に補正するための補正値を算出する。
【００７４】
また、詳細は後述するが、演算部２８１４は、補正値算出処理により算出した補正値を画像処理プロセッサ２７００内に設けられた後述する補正値記憶部２７１０へ書込む。
【００７５】
図４は、画像処理プロセッサ２７００の内部の詳細なブロック図を示す。
【００７６】
図４を参照して、画像処理プロセッサ２７００は、前述した画像処理プロセッサ２８００と同様な機能を有するプロセッサである。なお、本実施の形態においては、輝度補正処理部２２００内に２つの画像処理プロセッサを設けている構成としているが、その構成は任意である。たとえば、画像処理プロセッサが非常に高速なもの、または、十分な回路規模および十分な入出力ピン数を有するものであれば、２つではなく、１つでもよい。
【００７７】
画像処理プロセッサ２７００は、バッファ２７３０と、アドレス生成部２７４０と、メモリ制御部２７５０と、バッファ２７６０と、データ記憶部２７８０と、補正値記憶部２７１０と、パラメータ設定部２７２０と、輝度補正部２７７０と、バッファ２７９０と、バッファ２７９２と、同期信号生成部２７９４とを含む。
【００７８】
バッファ２７３０は、前述したバッファ２８３０と同様な構成および機能を有するので詳細な説明は繰り返さない。
【００７９】
アドレス生成部２７４０は、同期信号ＨＶＳＩＧが入力される毎に動作するカウンタ（図示せず）を内部に有する。アドレス生成部２７４０は、同期信号ＨＶＳＩＧが入力される毎に、カウンタを動作させ、画像データ記憶部２２３０または画像データ記憶部２２４０にデータを記憶させるのに必要なアドレスを生成し、メモリ制御部２７５０へ出力する。
【００８０】
メモリ制御部２７５０は、前述した画像データ記憶部２２３０および画像データ記憶部２２４０に対しデータの書込み動作、データの読出し動作を行なう。
【００８１】
画像データ記憶部２２３０は、１フレームの画像データを記憶可能な記憶領域２２３２，２２３４を有する。
【００８２】
画像データ記憶部２２４０は、１フレームの画像データを記憶可能な記憶領域２２４２，２２４４を有する。
【００８３】
メモリ制御部２７５０は、バッファ２７３０が一時的に記憶しているデータを、アドレス生成部２７４０から入力されたアドレスに基づいて、１フレーム分の画像単位毎に、画像データ記憶部２２３０と、データ記憶部２２４０とを利用し、交互にデータの書込み対象を切替える。
【００８４】
たとえば、メモリ制御部２７５０が、あるフレームの画像データを画像データ記憶部２２３０へ書込んだ場合、メモリ制御部２７５０は、次のフレームの画像データをデータ記憶部２２４０へ書込む。このように、記憶部を２つ設け、データの書込みの対象を所定の単位（この場合は、１フレームの画像データ）毎に変えることにより、高速でデータを処理することが可能となる。
【００８５】
メモリ制御部２７５０が、画像データを画像データ記憶部２２３０に書込むときは、記憶領域２２３２または記憶領域２２３４がデータの書込み対象の領域となる。
【００８６】
一方、メモリ制御部２７５０が、画像データをデータ記憶部２２４０に書込むときは、記憶領域２２４２または記憶領域２２４４がデータの書込み対象の領域となる。
【００８７】
また、メモリ制御部２７５０は、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、１フレームの画像データの書込みが終了した記憶部内の記憶領域から１フレーム（静止画像）の１画素分の画像データを読み出して、バッファ２７６０へ出力する。
【００８８】
バッファ２７６０は、メモリ制御部２７５０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、１フレームの１画素分のデータを一時的に保持する機能を有する。
【００８９】
データ記憶部２７８０は、前述したデータ記憶部２８１６と同様な構成および機能を有する。また、データ記憶部２７８０は、ｌｏｇ演算変換データを予め記憶している。ここで、ｌｏｇ演算変換データは、予め計算していた複数種類のｌｏｇ演算結果のデータである。
【００９０】
補正値記憶部２７１０は、１フレームの画像に使用するデータを記憶可能な記憶領域２７１２，２７１４を有する。詳細は後述するが、前述した演算部２８１４は、１フレームの画像に使用するデータ毎に、記憶領域２７１２と、記憶領域２７１４とを利用して、交互にデータの書込み対象を切替える。
【００９１】
たとえば、演算部２８１４が、あるフレームに使用するデータを記憶領域２７１２へ書込んだ場合、演算部２８１４は、次のフレームに使用するデータを記憶領域２７１４へ書込む。
【００９２】
パラメータ設定部２７２０は、データ通信部２２７０から伝達されたデータに基づいて輝度補正部２７７０が使用するパラメータ（設定値）等の変更を行なう。
【００９３】
輝度補正部２７７０は、演算部２７７１と、補間処理部２７７２と、輝度処理部２７７３と、ノイズ処理部２７７５と、色補正部２７７４とを有する。
【００９４】
詳細は後述するが、演算部２７７１は、バッファ２７６０に記憶されているデータを読み出して、データ記憶部２７８０に記憶されているｌｏｇ演算変換データを利用して、演算処理を行なって、演算結果のデータを輝度処理部２７７３へ出力する。
【００９５】
詳細は後述するが、補間処理部２７７２は、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のうち、１フレームの画像に使用するデータの書込みが終了した記憶領域内からデータを読み出して、後述する補間処理を行なって、補間処理の結果のデータを輝度処理部２７７３へ出力する。
【００９６】
詳細は後述するが、輝度処理部２７７３は、演算部２７７１から出力される演算結果のデータと、補間処理部２７７２から出力されるデータとに基づいて、１フレーム（静止画像）の１画素に対して、輝度処理を行なう。
【００９７】
ノイズ処理部２７７５は、輝度処理部２７７３により輝度処理された画素に対して、たとえば、所定の閾値以上に輝度が変化されたとき、輝度の変化を閾値以内に収まるように処理を行なう。
【００９８】
色補正部２７７４は、たとえば、ノイズ処理部２７７５により輝度処理された輝度値に基づく色度が、所定の閾値以上であるとき、色度を所定の閾値以内に収まるように処理を行なう。色補正部２７７４は、処理を行なった後のデータをバッファ２７９０へ出力する。
【００９９】
バッファ２７９０は、色補正部２７７４から出力された、１画素分のデータを一時的に保持する機能を有する。
【０１００】
そして、メモリ制御部２７５０が、バッファ２７９０に記憶されたデータを読出し、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、前述した輝度補正部２７７０が演算処理を行なう際に使用したデータを読み出さなかった画像データ記憶部内の記憶領域にデータを書込む。
【０１０１】
輝度補正部２７７０が演算処理を、１フレームの画像内の画素すべてに行ない、画像データ記憶部２２３０および画像データ記憶部２２４０のうちのいずれかの記憶領域に１フレーム分の演算処理後の画像データ（以下においては、「演算処理済画像データ」とも称する）の書込みが終了すると、メモリ制御部２７５０は、当該記憶領域から演算処理済画像データを読出し、バッファ２７９２へ出力する。
【０１０２】
バッファ２７９２は、メモリ制御部２７５０から出力されたデータを、１フレーム（静止画像）の１ライン分の画像データを一時的に保持する機能を有する。なお、バッファ２７９２は、１フレーム分の画像データを一時的に保持する機能を有してもよい。
【０１０３】
同期信号生成部２７９４は、バッファ２７９２に１ライン分の画像データが記憶される毎に、同期信号ＯＨＶＳＩＧを出力する。同期信号生成部２７９４が、同期信号ＯＨＶＳＩＧを出力すると同時に、バッファ２７９２は、記憶している補正後の画像データ（以下においては、「補正後画像データ」とも称する）ＣＲＲＧＢを出力する。
【０１０４】
図５は、複数のブロックに分割された画像の状態を示す図である。
【０１０５】
図５（ａ）は、輝度補正装置２０００で処理される処理対象画像１００を示す図である。
【０１０６】
図５（ａ）を参照して、処理対象画像１００は、たとえば、横６４０ドット、縦４８０ドットの画像であるとする。処理対象画像１００は、縦および横のサイズが同じで、各々が同一のサイズの複数のブロックに分割され、当該複数のブロック毎に前述したマルチスケール網膜法による演算処理が行なわれる。
【０１０７】
図５（ｂ）は、処理対象画像１００を複数のブロックに分割したうちの１つのブロック分割画像１００ｎを示す図である。詳細は後述するが、補正値算出処理により算出される補正値は、ブロック分割画像１００ｎ毎に算出される。
【０１０８】
図５（ｂ）を参照して、ブロック分割画像１００ｎは、説明を分かりやすくするために、たとえば、横４ドット、縦４ドットからなる１６個の画素を有するものとする。
【０１０９】
図６は、前述した注目画素からの距離に応じて変化する周辺関数の値を示す図である。
【０１１０】
図６（ａ）は、（２）式に、ｘ、ｙの値を代入したときの周辺関数の値を視覚化した図を示す。
【０１１１】
図６（ａ）を参照して、ｘ軸、ｙ軸は、注目画素からの距離（単位はピクセル）を示す。ｚ軸は、（２）式にｘ、ｙの値を代入したときの周辺関数の値を示す。なお、図６（ａ）における、注目画素の座標は、（０，０）である。図６（ａ）によると、周辺関数の値は、注目画素からの距離が離れるに従って指数関数的に低下していることが分かる。
【０１１２】
図６（ｂ）は、図６（ａ）をｘ、ｙ面から見た状態を示す。
【０１１３】
図６（ｂ）を参照して、周辺関数の値は、注目画素１６０からの距離に応じて、低下する。なお、本実施の形態による周辺関数を計算する領域（以下においては「周辺関数算出領域」とも称する）１２０は、横、縦のサイズが等しい正方形の領域を右に４５度回転させた領域とする。周辺関数算出領域１２０の最長部の長さは、４００ピクセルとする。なお、周辺関数算出領域の形は、ひし形に限定されることなく、円であってもよい。
【０１１４】
図６（ｃ）は、図６（ａ）のグラフを直線で近似した図である。以下においては、当該近似した図を、「周辺関数近似モデル図」とも称する。なお、周辺関数近似モデル図に基づく周辺関数の値は予め計算された値（以下においては、「算出済周辺関数値」とも称する）であり、周辺関数算出領域１２０内の注目画素からの相対座標値の各々に対応付けてデータ記憶部２８１６に記憶されている。なお、データ記憶部２８１６には、後述するスモール領域（周辺関数算出領域）１４０のサイズおよび後述するラージ領域（周辺関数算出領域）１２０のサイズにそれぞれ基づく、２種類の算出済周辺関数値が記憶されている。これにより、周辺関数を計算する処理が必要なくなり、補正値を求めるための計算量を大きく削減できる。
【０１１５】
図６（ｄ）は、図６（ｃ）をｘ、ｙ面から見た状態を示す。なお、周辺関数近似モデル図は、縦、横に線対称の形をしているので（図６（ｄ）参照）、データ記憶部２８１６には、周辺関数近似モデル図に基づく算出済周辺関数値全ての４分の１のみを記憶させておいてもよい。この場合でも、注目画素からの相対座標値の全てに対し、対応する周辺関数の値を読み出すことができる。
【０１１６】
図７は、注目画素１６０からの距離による周辺関数算出領域を変化させた状態を示す図である。
【０１１７】
図７を参照して、本実施の形態においては、マルチスケール網膜法による演算処理を行なうので、注目画素１６０からの距離によって、２つのサイズの周辺関数算出領域を使用する。なお、周辺関数算出領域は、３つ以上のサイズを使用してもよい。
【０１１８】
周辺関数算出領域１４０の最長部の長さは、一例として１６０ピクセルである。なお、以下においては、周辺関数算出領域１４０を「スモール領域１４０」とも称する。
【０１１９】
周辺関数算出領域１２０の最長部の長さは、一例として４００ピクセルである。なお、以下においては、周辺関数算出領域１２０を「ラージ領域１２０」とも称する。
【０１２０】
図８は、注目画素１６０に対して補正値を計算する際に使用する周辺画素を有する領域を示す図である。以下においては、補正値を計算する際に使用する周辺画素を「補正値算出用周辺画素」とも称する。なお、補正値算出用周辺画素の数は、注目画素１６０の座標値によって異なる。
【０１２１】
図８を参照して、スモール領域１４０に対する補正値（以下においては、「スモール領域補正値」とも称する）を計算する際、処理対象画像１００のうち、スモール領域１４０に囲まれた斜線で示される領域１４２内の複数の画素（以下においては、「スモール領域内周辺画素」とも称する）各々の輝度値を使用する。
【０１２２】
また、ラージ領域１２０に対する補正値（以下においては、「ラージ領域補正値」とも称する）を計算する際、処理対象画像１００のうち、ラージ領域１２０に囲まれた縦線で示される領域１２２および領域１４２内の複数の画素（以下においては、「ラージ領域内周辺画素」とも称する）各々の輝度値を使用する。注目画素１６０に対する補正値は、スモール領域補正値と、ラージ領域補正値とを加算した値となる。
【０１２３】
なお、スモール領域内周辺画素およびラージ領域内周辺画素の数は、注目画素１６０の座標によって変化する。たとえば、注目画素１６０の座標が、処理対象画像１００の中央に位置したとき、スモール領域内周辺画素およびラージ領域内周辺画素の数は最大となる。
【０１２４】
本実施の形態では、マルチスケール網膜法における演算量を削減するために、補正値を算出する際、スモール領域内画素およびラージ領域内画素の全てではなく、適度に間引いた一部の画素を使用することにより演算量の削減を図る。
【０１２５】
図６（ａ）に示したように、周辺関数の値は、注目画素との距離が離れている画素ほど小さくなる。周辺関数の値が小さければ、補正値の値は小さくなり、輝度補正の影響が少なくなる。したがって、注目画素からの距離が離れるにしたがって、間引きの度合いを大きくするように、補正値算出用周辺画素を選択する。
【０１２６】
図９は、補正値算出用周辺画素を示す図である。
【０１２７】
図９を参照して、スモール領域１４０内においては、補正値算出用周辺画素は、隣合う２つの画素の間隔が、たとえば、１６ピクセルになるようにスモール領域内周辺画素から選択した画素（以下においては、「スモール領域内間引き画素」とも称する）である。
【０１２８】
したがって、スモール領域内間引き画素のうちのスモール領域内周辺画素を用いて、前述の（２）式、（３）式、（５）式による演算を行なうことにより、注目画素１６０に対し、スモール領域補正値を算出することができる。
【０１２９】
また、ラージ領域１２０内においては、補正値算出用周辺画素は、隣合う２つの画素の間隔が、たとえば、１６ピクセルより大きい３２ピクセルになるようにラージ領域内周辺画素から選択した画素（以下においては、「ラージ領域内間引き画素」とも称する）である。
【０１３０】
したがって、ラージ領域内間引き画素のうちのラージ領域内周辺画素を用いて、前述の（２）式、（３）式、（５）式による演算を行なうことにより、注目画素１６０に対し、ラージ領域補正値を算出することができる。
【０１３１】
そして、スモール領域補正値とラージ領域補正値とを加算することにより注目画素１６０に対する補正値を算出することができる。以上説明した補正値の演算処理を補正値演算処理とも称する。
【０１３２】
なお、補正値算出用周辺画素は、前述したように、注目画素との距離が所定距離以内という条件または所定距離より長いという条件に基づいて選択した画素に限定されない。たとえば、注目画素１６０からの距離が離れるにつれて、補正値算出用周辺画素は、隣合う２つの画素の間隔が広くなるように選択した画素であってもよい。なお、隣合う２つの画素の間隔を変化させると、周辺関数の形状も画素の間隔に応じて変化する。
【０１３３】
図１０は、所定のサイズのブロック毎に算出する補正値を利用して、補正値を算出していない画素の補正値を算出する補間処理を説明するための図である。なお、補間処理は、補間処理部２７７２により行なわれる。
【０１３４】
図１０を参照して、ブロック分割画像１０１，１０２，１０３の各々は、横４ドット、縦４ドットからなる１６個の画素を有する。後述する補正値算出処理によって算出される補正値は、処理対象画像１００の複数のブロック分割画像の各々に対し、１つの画素についてのみ求められる。以下においては、当該１つの画素を「直接演算対象画素」とも称する。たとえば、ブロック分割画像１０１の直接演算対象画素は、画素１０１．１となる。
【０１３５】
また、複数のブロック分割画像の各々が有する複数の画素のうち、直接演算対象画素以外の画素を「間接演算対象画素」とも称する。たとえば、ブロック分割画像１０１の間接演算対象画素は、画素１０１．２，１０１．３，１０１．４，１０１．６となる。
【０１３６】
次に、補間処理を行なう前に行なう補正値の算出の一例を説明する。まず、ブロック分割画像１０１，１０２，１０３の各々が有する直接演算対象画素に対し、前述した補正値演算処理を行なう。この場合、直接演算対象画素は、画素１０１．１，１０２．１，１０３．１である。画素１０１．１内の“１０”、画素１０２．１内の“１２”、画素１０３．１内の“６”は、それぞれ、補正値演算処理により算出した補正値を示す。
【０１３７】
そして、補正値演算処理により算出した補正値を利用して間接演算対象画素の補正値を算出する処理が補間処理である。たとえば、画素１０１．３（間接演算対象画素）に対し、補正値を算出するには、画素１０１．３の近傍の少なくとも２つの直接演算対象画素（この場合、画素１０１．２，１０２．１）の補正値（“１０”、“１２”）を加算して、使用した補正値の数（この場合、“２”）で除算する。その結果、画素１０１．３（間接演算対象画素）の補正値を算出することができる。
【０１３８】
また、たとえば、画素１０１．２（間接演算対象画素）に対し、補正値を算出するには、画素１０１．２の近傍の直接演算対象画素または間接演算対象画素（この場合、画素１０１．１，１０１．３）の補正値（“１０”、“１１”）を加算して、使用した補正値の数（この場合、“２”）で除算する。その結果、画素１０１．２（間接演算対象画素）の補正値を算出することができる。
【０１３９】
なお、間接演算対象画素の補正値を算出するときに使用する画素は、近傍の２つの画素でなく、近傍の３つ以上の画素であってもよい。また、間接演算対象画素の補正値を算出する方法は、前述の方法に限定されない。
【０１４０】
以上、静止画像に対する補正値の算出方法を説明してきたが、次に、動画像に対し輝度補正処理（以下においては、「動画像輝度補正処理」とも称する）を行なう方法について説明する。たとえば、３０分の１秒毎に表示される静止画像から構成される動画像に対して、すべての静止画像に対しリアルタイムで補正値を計算するには、前述した演算方法を使用し、かつ、現在の最高レベルの演算速度を有する演算装置を用いたとしても実現困難である。
【０１４１】
そこで、動画像に対しリアルタイムで輝度補正を実現可能な方法を以下に説明する。具体的には、人間の目の特性を利用して、一度算出した補正値を、輝度の変化に気づかない範囲で複数のフレームに連続して使用する。
【０１４２】
図１１は、動画像輝度補正処理を説明するための図である。
【０１４３】
図１１を参照して、動画像輝度補正処理において、前述した補正値の演算処理は、動画像を構成する全ての静止画像（フレーム）に対して行なうのではなく、数フレームに１度補正値を計算し、補正値の計算中は、算出済みの補正値を複数のフレームの輝度補正処理に連続して使用するようにする。以下においては、１フレームの補正値を算出するのに必要な時間を「補正値算出必要時間」とも称する。
【０１４４】
たとえば、時刻ｔ４〜ｔ７における処理対象画像１００ａ．１６〜１００ａ．３０の１５フレームの輝度補正処理には、補正値ｃ１を使用するとする。
【０１４５】
この場合、補正値ｃ１は、時刻ｔ４の前には算出し終えている必要がある。そのため、補正値ｃ１を算出するのに要する時間（補正値算出必要時間）を予め測定しておき、補正値ｃ１を最初に使用するフレーム（処理対象画像１００ａ．１６）を処理し始める時刻ｔ４から補正値算出必要時間分より前の時刻に処理されるフレーム（この場合、処理対象画像１００ａ．１）を使用して補正値を求めるようにする。
【０１４６】
そして、時刻ｔ８以降の処理対象画像１００ａ．３１，１００ａ．３２・・・に対しては、時刻ｔ８から補正値算出必要時間分より前の時刻のフレーム（この場合、処理対象画像１００ａ．１６）を使用して求めた補正値ｃ２を使用する。
【０１４７】
時刻ｔ１〜ｔ４の期間は、補正値ｃ１を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ１である。時刻ｔ４〜ｔ８の期間は、補正値ｃ２を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ２である。時刻ｔ８以降は、補正値ｃ３を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ３である。
【０１４８】
以上のような方法により、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能となる。
【０１４９】
次に、動画像に対しリアルタイムで輝度補正処理を行なうときの輝度補正処理部２２００の動作を、図２、図３、図４、図８、図９、図１０、図１１を用いて説明する。
【０１５０】
まず、図１１の動画像を構成する処理対象画像１００ａ．１〜１００ａ．３２のうち、処理対象画像１００ａ．１が同期分離回路２２１０によって、画像信号ＲＧＢと、同期信号ＨＶＳＩＧとに分離され、画像処理プロセッサ２７００および画像処理プロセッサ２８００へ入力される。
【０１５１】
このとき、画像処理プロセッサ２７００は、すでに算出された補正値が記憶されている画像データ記憶部から当該補正値を読み出して、処理対象画像１００ａ．１の輝度補正処理を行ない、同期信号ＯＨＶＳＩＧを出力すると同時に、輝度補正処理後の処理対象画像１００ａ．１のデータを前述した補正後画像データＣＲＲＧＢとして出力する。
【０１５２】
一方、画像処理プロセッサ２８００は、処理対象画像１００ａ．１を使用して補正値を算出して、当該補正値を補正値記憶部２７１０へ書込む。補正値記憶部２７１０へ処理対象画像１００ａ．１に基づいた補正値が書込まれる時刻は、時刻ｔ４より前となる。
【０１５３】
具体的には、まず、バッファ２８３０、アドレス生成部２８４０、メモリ制御部２８５０、データ記憶部２２６０の動作により、データ記憶部２２６０に、処理対象画像１００ａ．１の画像データ（Ｒ，Ｇ，Ｂ各データ）が一時的に記憶される。そして、演算部２８１４により、正規化係数算出処理が行なわれる。
【０１５４】
図１２は、正規化係数算出処理のフローチャートを示す。
【０１５５】
図１２を参照して、ステップＳ１１０では、処理対象画像１００ａ．１における正規化係数を算出する画素の座標値Ｌ（たとえば、Ｌ（０，０））の設定が行なわれる。ここで、正規化係数とは、補正値を算出するために使用される係数である。また、正規化係数は、図８、図９で説明したように、注目画素１６０の座標値によって変化する補正値算出用周辺画素の数による補正値の変化をなくすための係数である。なお、正規化係数は、処理対象画像の有する全ての画素にそれぞれ対応付けて算出される。
【０１５６】
以下においては、スモール領域１４０に対する補正値を算出するための正規化係数を「正規化係数ＳＫ」と称する。以下においては、ラージ領域１２０に対する補正値を算出するための正規化係数を「正規化係数ＬＫ」と称する。その後、ステップＳ１２０の処理が行なわれる。
【０１５７】
ステップＳ１２０では、（２）式、（３）式に基づいて、正規化係数ＳＫおよび正規化係数ＬＫの計算が行なわれる。その後、ステップＳ１３０の処理が行なわれる。
【０１５８】
ステップＳ１３０では、ステップＳ１２０により算出された正規化係数をデータ一時記憶部２８１２に記憶させる。その後、ステップＳ１４０の処理が行なわれる。
【０１５９】
ステップＳ１４０では、処理対象画像（この場合、処理対象画像１００ａ．１）の有する全ての画素に対して正規化係数の計算処理が終了したかどうか判定する。ステップＳ１４０により、処理対象画像の有する全ての画素に対して正規化係数の計算処理が終了していないと判定されると、再度ステップＳ１１０、Ｓ１２０，Ｓ１３０の処理が行なわれる。一方、ステップＳ１４０により、処理対象画像の有する全ての画素に対して正規化係数の計算処理が終了したと判定されると、この正規化係数算出処理は終了し、リターンする。
【０１６０】
以上の正規化係数算出処理により、処理対象画像内の全ての画素の各々の補正値を算出するための正規化係数ＳＫ，ＬＫが算出され、データ一時記憶部２８１２に記憶される。
【０１６１】
演算部２８１４は、正規化係数算出処理が終了すると、補正値算出処理を行なう。
【０１６２】
図１３は、補正値算出処理のフローチャートを示す。
【０１６３】
図１３を参照して、ステップＳ２００では、データ記憶部２２６０に記憶された画像データ（処理対象画像１００ａ．１の画像データ）が、メモリ制御部２８５０により演算部２８１４に転送される。その後、ステップＳ２１０の処理が行なわれる。
【０１６４】
ステップＳ２１０では、ステップＳ２００により読み出されたＲ，Ｇ，Ｂ形式の画像データを、たとえば、ＨＳＶ形式に変換する。なお、Ｒ，Ｇ，Ｂ形式の画像データを、変換する画像形式は、ＨＳＶ形式に限定されることなく、たとえば、ＨＳＬ（ＨＳＩ）方式であってもよい。その後、ステップＳ２２０の処理が行なわれる。
【０１６５】
ステップＳ２２０では、注目画素１６０の座標値Ｎ（たとえば、Ｎ（１６，０））の設定が行なわれる。その後、ステップＳ２３０の処理が行なわれる。
【０１６６】
ステップＳ２３０では、補正値算出用周辺画素（たとえば、図９の画素１６０．１）の座標値Ｚ（たとえば、Ｎ（０，０））の設定が行なわれる。その後、ステップＳ２４０の処理が行なわれる。
【０１６７】
ステップＳ２４０では、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にあるか否かが判定される。ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にあると判定されると、ステップＳ２４２の処理が行なわれる。一方、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にないと判定されると、後述するステップＳ２５２の処理が行なわれる。
【０１６８】
ステップＳ２４２では、データ記憶部２８１６から、注目画素１６０を原点としたときの座標値Ｚの相対座標値に対応した、周辺関数データＬＤ，ＳＤの読出しが行なわれる。ここで、周辺関数データＬＤとは、ラージ領域１２０のサイズおよび図６（ｃ）の周辺関数近似モデル図に基づく算出済周辺関数値である。ここで、周辺関数データＳＤとは、スモール領域１４０のサイズおよび図６（ｃ）の周辺関数近似モデル図に基づく算出済周辺関数値である。その後、ステップＳ２４４の処理が行なわれる。
【０１６９】
ステップＳ２４４では、ラージ領域１２０に対して、式（５）内のFn(x, y)* Ii(x, y)の部分の演算が行なわれる。なお、以下においては、ラージ領域１２０に対してのFn(x, y)* Ii(x, y)を「変数ＬＣＲ」と称する。変数ＬＣＲにはＬＣＲ＋ＬＤ×ＶＳの演算結果が代入される。ここで、“ＬＣＲ”の初期値は“０”である。“ＬＤ”はステップＳ２４２により読み出された周辺関数データＬＤである。ＶＳは座標値Ｚの補正値算出用周辺画素の輝度値である。その後、ステップＳ２４６の処理が行なわれる。
【０１７０】
ステップＳ２４６では、スモール領域１４０に対して、式（５）内のFn(x, y)* Ii(x, y)の部分の演算が行なわれる。なお、以下においては、スモール領域１４０に対してのFn(x, y)* Ii(x, y)を「変数ＳＣＲ」と称する。変数ＳＣＲにはＳＣＲ＋ＳＤ×ＶＳの演算結果が代入される。ここで、“ＳＣＲ”の初期値は“０”である。“ＳＤ”はステップＳ２４２により読み出された周辺関数データＳＤである。ＶＳは座標値Ｚの補正値算出用周辺画素の輝度値である。その後、ステップＳ２６０の処理が行なわれる。
【０１７１】
ステップＳ２４０により、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にないと判定されると、ステップＳ２５２の処理が行なわれる。
【０１７２】
ステップＳ２５２では、データ記憶部２８１６から、注目画素１６０を原点としたときの座標値Ｚの相対座標値に対応する、周辺関数データＬＤの読出しが行なわれる。その後、ステップＳ２５４の処理が行なわれる。
【０１７３】
ステップＳ２５４では、前述したステップＳ２４４と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップＳ２６０の処理が行なわれる。
【０１７４】
ステップＳ２６０では、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了したか否かが判定される。ステップＳ２６０により、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了していないと判定されると、前述したステップＳ２３０，Ｓ２４０，Ｓ２４２，Ｓ２４４，Ｓ２４６またはステップＳ２３０，Ｓ２４０，Ｓ２５２，Ｓ２５４の処理が繰返し行なわれる。
【０１７５】
その結果、ステップＳ２６０により、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了したと判定されると、ステップＳ２７０の処理が行なわれる。
【０１７６】
ステップＳ２７０では、ステップＳ２２０により設定された注目画素１６０の座標値Ｎに対応する正規化係数ＳＫ，ＬＫがデータ一時記憶部２８１２から読み出される。その後、ステップＳ２７２の処理が行なわれる。
【０１７７】
ステップＳ２７２では、ＬＡＣＲ＝ＬＫ×ＬＣＲの演算が行なわれる。ここで、“ＬＫ”はステップＳ２７０により読み出された正規化係数ＬＫである。“ＬＣＲ”は、ステップＳ２７２の処理が行なわれるときの、変数ＬＣＲの値である。その後、ステップＳ２７４の処理が行なわれる。
【０１７８】
ステップＳ２７４では、ＳＡＣＲ＝ＳＫ×ＳＣＲの演算が行なわれる。ここで、“ＳＫ”はステップＳ２７０により読み出された正規化係数ＳＫである。“ＳＣＲ”は、ステップＳ２７４の処理が行なわれるときの、変数ＳＣＲの値である。その後、ステップＳ２７６の処理が行なわれる。
【０１７９】
ステップＳ２７６では、ＬＡＣＲおよびＳＡＣＲのＬＯＧ演算が行なわれる。ここで、“ＬＡＣＲ”はステップＳ２７２により計算された値である。“ＳＡＣＲ”はステップＳ２７４により計算された値である。その後、ステップＳ２７８の処理が行なわれる。
【０１８０】
ステップＳ２７８では、ステップ２７６により計算された２つの値（ｌｏｇ（ＬＡＣＲ）、ｌｏｇ（ＳＡＣＲ））の加算処理（ｌｏｇ（ＬＡＣＲ）＋ｌｏｇ（ＳＡＣＲ））を行なうことにより、処理対象画像（処理対象画像１００ａ．１）内の座標値Ｎの補正値が算出される。その後、ステップＳ２７９の処理が行なわれる。
【０１８１】
ステップＳ２７９では、ステップＳ２７８により算出された処理対象画像内の座標値Ｎの補正値が、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれる。その後、ステップＳ２８０の処理が行なわれる。
【０１８２】
ステップＳ２８０では、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素（図１０参照））全てに対し計算が終了したか否かが判定される。ステップＳ２８０により、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素）全てに対し計算が終了したと判定されるまで、前述したステップＳ２２０〜Ｓ２７９の処理が繰返し行なわれる。その結果、ステップＳ２８０により、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素）全てに対し計算が終了したと判定されると、この補正値算出処理は終了し、リターンする。
【０１８３】
このとき、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかには、処理対象画像（処理対象画像１００ａ．１）内の全ての直接演算対象画素にそれぞれ対応付けた複数の補正値が記憶されている。なお、処理対象画像１００ａ．１に対する補正値算出処理が終了する時刻は、図１１の時刻ｔ４より前である。
【０１８４】
時刻ｔ４において、画像処理プロセッサ２７００内のメモリ制御部２７５０は、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、１フレームの画像データ（この場合、処理対象画像１００ａ．１６の画像データ）の書込みが終了した記憶部内の記憶領域から１フレーム（静止画像）の１画素分の画像データを読み出して、バッファ２７６０へ出力する。
【０１８５】
バッファ２７６０は、メモリ制御部２７５０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、１フレーム（静止画像）の１画素分のデータを一時的に保持する。バッファ２７６０に画像データが記憶されると、以下に説明する輝度補正処理が行なわれる。なお、輝度補正処理は、前述の補正値算出処理により算出された、処理対象画像１００ａ．１に対する補正値（補正値ｃ１）を使用して、連続する処理対象画像１００ａ．１６〜１００ａ．３０に対して行なわれる（図１１参照）。
【０１８６】
図１４は、輝度補正処理のフローチャートを示す。
【０１８７】
図１４を参照して、ステップＳ３００では、演算部２７７１により画像データの読出し処理が行なわれる。具体的には、演算部２７７１が、バッファ２７６０に記憶されている１画素分のデータを読み出す。なお、バッファ２７６０に記憶されている１画素分のデータが、演算部２７７１により読み出されると、メモリ制御部２７５０は、読み出された１画素分の画像データの次の１画素分の画像データを読み出して、バッファ２７６０へ出力する。その後、ステップＳ３１０の処理が行なわれる。
【０１８８】
ステップＳ３１０では、演算部２７７１が、ステップＳ３００により読み出されたＲ，Ｇ，Ｂ形式の画像データを、たとえば、ＨＳＶ形式に変換する。なお、Ｒ，Ｇ，Ｂ形式の画像データを、変換する画像形式は、ＨＳＶ形式に限定されることなく、たとえば、ＨＳＬ（ＨＳＩ）方式であってもよい。その後、ステップＳ３２０の処理が行なわれる。
【０１８９】
ステップＳ３２０では、演算部２７７１が輝度補正対象となる画素の座標値Ｍ（たとえば、Ｍ（０，０））の設定を行なう。その後、ステップＳ３２２の処理が行なわれる。
【０１９０】
ステップＳ３２２では、演算部２７７１がデータ記憶部２７８０に記憶されているｌｏｇ演算変換データを利用して、ステップＳ３１０で変換した画像データＨＳＶの輝度データＶのｌｏｇ演算を行なう。以下においては、当該ｌｏｇ演算の結果を「ｌｏｇ演算結果Ｔ」とも称する。演算部２７７１はｌｏｇ演算結果Ｔを輝度処理部２７７３へ出力する。同時に、演算部２７７１は演算処理していない画像データＨＳＶも輝度処理部２７７３へ出力する。その後、ステップＳ３３０の処理が行なわれる。
【０１９１】
ステップＳ３３０では、補間処理部２７７２がステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値があるか否かを判定する。具体的には、補間処理部２７７２が、前述の補正値算出処理により補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれた複数の補正値のうち、座標値Ｍに対応する補正値があるか否かを判定する。
【０１９２】
ステップＳ３３０により、ステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値があると判定されると、ステップＳ３４０の処理が行なわれる。一方、ステップＳ３３０により、ステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値がないと判定されると、ステップＳ３５０の処理が行なわれる。
【０１９３】
ステップＳ３４０では、補間処理部２７７２が、前述の補正値算出処理により補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれた複数の補正値のうち、座標値Ｍに対応する補正値を読み出す。そして、補間処理部２７７２は、読み出した補正値を輝度処理部２７７３へ出力する。その後、ステップＳ３６０の処理が行なわれる。
【０１９４】
ステップＳ３５０では、前述した補間処理（図１０参照）による補正値の生成が補間処理部２７７２により行なわれる。補間処理部２７７２は、生成した補正値を輝度処理部２７７３へ出力する。その後、ステップＳ３６０の処理が行なわれる。
【０１９５】
ステップＳ３６０では、輝度処理部２７７３が、演算部２７７１から出力されるｌｏｇ演算結果Ｔと、補間処理部２７７２から出力される補正値とに基づいて、式（５）のマルチスケール網膜処理結果MSRout(x, y)を算出する。マルチスケール網膜処理結果MSRout(x, y)は、Ｓ３２２により算出されたｌｏｇ演算結果ＴからステップＳ３４０で読み出した補正値またはステップ３５０で生成した補正値を減算することにより求めることができる。その後、ステップＳ３６２の処理が行なわれる。
【０１９６】
ステップＳ３６２では、輝度処理部２７７３が、式（６）により補正後マルチスケール網膜処理結果IMSRi(x, y)を算出する。その後、ステップＳ３６４の処理が行なわれる。
【０１９７】
ステップＳ３６４では、輝度処理部２７７３が、所定の係数に基づいて、輝度の補正を行なう。具体的には、輝度処理部２７７３が、演算部２７７１から出力された輝度データＶと、ステップ３６２により算出した補正後マルチスケール網膜処理結果IMSRi(x, y)とに基づいて、（１−α）・Ｖ＋α・IMSRi(x, y)の演算を行なう。αは、補正をかける強さを示す係数であり、“０”〜“１”の範囲の値をとる。たとえば、αが“０”ならば、座標値Ｍの画素に対して、輝度補正を行なわないことになる。輝度処理部２７７３は、演算結果をノイズ処理部２７７５へ出力する。同時に、輝度処理部２７７３は演算処理していない画像データＨＳＶのうちの画像データＨＳもノイズ処理部２７７５へ出力する。その後、ステップＳ３７０の処理が行なわれる。
【０１９８】
ステップＳ３７０では、輝度処理部２７７３の演算による輝度値が所定の閾値以上であるとき、ノイズ処理部２７７５が輝度値を所定の閾値以内に収まるように処理を行なう。同時に、ノイズ処理部２７７５は演算処理していない画像データＨＳも色補正部２７７４へ出力する。その後、ステップＳ３７５の処理が行なわれる。
【０１９９】
ステップＳ３７５では、輝度処理部２７７５により輝度処理された輝度値に基づく色度が、所定の閾値以上であるとき、色補正部２７７４が色度を所定の閾値以内に収まるように処理を行なう。その後、ステップＳ３８０の処理が行なわれる。
【０２００】
ステップＳ３８０では、色補正部２７７４がＨＳＶ形式の画像データをＲ，Ｇ，Ｂ形式に変換する。なお、Ｓ３１０において、Ｒ，Ｇ，Ｂ形式の画像データが、たとえば、ＨＳＬ（ＨＳＩ）方式に変換されたのであれば、ステップＳ３８０では、色補正部２７７４がＨＳＬ（ＨＳＩ）形式の画像データをＲ，Ｇ，Ｂ形式に変換する。
【０２０１】
そして、色補正部２７７４が、Ｓ３８０により処理が行なわれた後のデータをバッファ２７９０へ出力する。バッファ２７９０は、色補正部２７７４から出力された、１画素分のデータを一時的に保持する機能を有する。
【０２０２】
そして、メモリ制御部２７５０が、バッファ２７９０に記憶されたデータを読出し、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、前述した輝度補正部２７７０が演算処理を行なう際に使用したデータを読み出さなかった画像データ記憶部内の記憶領域にデータを書込む。その後、ステップＳ３９０の処理が行なわれる。
【０２０３】
ステップＳ３９０では、画像内の全ての画素に対し、前述したステップＳ３００〜Ｓ３８０の処理が行なわれたか否かが判定される。具体的には、演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したか否かが判定される。演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したと判定されるまでは、前述したステップＳ３００〜Ｓ３８０の処理が繰返し行なわれる。
【０２０４】
ステップ３９０において、演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したと判定されると、この輝度補正処理は終了し、リターンする。なお、処理対象画像１００ａ．１６に対する輝度補正処理が終了する時刻は、図１１のｔ５より前である。
【０２０５】
このとき、画像データ記憶部２２３０および画像データ記憶部２２４０のうちのいずれかの記憶領域に１フレーム分の演算処理後の演算処理済画像データの書込みが終了している。その後、メモリ制御部２７５０は、演算処理済画像データが書込まれた記憶領域から演算処理済画像データを読出し、バッファ２７９２へ出力する。
【０２０６】
バッファ２７９２は、メモリ制御部２７５０から出力されたデータを、１フレーム（静止画像）の１ライン分の画像データを一時的に保持する。
【０２０７】
同期信号生成部２７９４は、バッファ２７９２に１ライン分の画像データが記憶される毎に、同期信号ＯＨＶＳＩＧを出力する。同期信号生成部２７９４が、同期信号ＯＨＶＳＩＧを出力すると同時に、バッファ２７９２は、記憶している補正後の補正後画像データ（演算処理済画像データ）ＣＲＲＧＢを出力する。
【０２０８】
その後、連続する処理対象画像１００ａ．１７〜１００ａ．３０の各々に対しても、前述したのと同様に輝度補正処理が行なわれる。処理対象画像１００ａ．１６〜１００ａ．３０に対し輝度補正処理が行なわれている間、処理対象画像１００ａ．１６に対して、前述した補正値算出処理が行なわれ、時刻ｔ８の前には、当該補正値算出処理が終了する。
【０２０９】
以上説明したように、動画像のあるフレーム（処理対象画像１００ａ．１６）の輝度を補正するのに使用する補正値（補正値ｃ１）は、あるフレーム（処理対象画像１００ａ．１６）より、補正値（補正値ｃ１）を算出するのに要する時間より前に処理するフレーム（処理対象画像１００ａ．１）を使用して算出する。そして、補正値（補正値ｃ１）を使用して、あるフレーム（処理対象画像１００ａ．１６）の輝度を補正する。
【０２１０】
これにより、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１１】
また、一度算出した補正値（補正値ｃ１）を、連続する複数のフレーム（処理対象画像１００ａ．１６〜１００ａ．３０）の各々に使用して、輝度補正処理を行なう。
【０２１２】
これにより、連続する複数のフレームの輝度補正処理を行なっている時間を有効に利用して補正値算出処理をすることができ、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１３】
また、一度算出した補正値（補正値ｃ１）を、連続する複数のフレーム（処理対象画像１００ａ．１６〜１００ａ．３０）の各々に使用して輝度補正処理を行なっている期間、当該連続する複数のフレームの次のフレームの輝度補正処理に使用する補正値を算出する。
【０２１４】
これにより、連続する複数のフレームの輝度補正処理を行なっている時間を有効に利用して補正値算出処理をすることができ、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１５】
また、処理対象画像の有する全ての画素ではなく、一部の画素（直接演算対象画素）のみに対し、膨大な演算が必要な補正値算出処理を行ない、それ以外の画素（間接演算対象画素）の各々に対しては、近傍の少なくとも２つの画素に基づいて補正値算出する。
【０２１６】
これにより、１フレーム（処理対象画像）の全ての画素の補正値を算出する時間を大幅に削減することができる。
【０２１７】
また、膨大な演算が必要な補正値算出処理を行なう画素である直接演算対象画素の補正値は、当該直接演算対象画素を含む領域である直接演算対象領域（ラージ領域１２０、スモール領域１４０）内の全ての画素ではなく、所定の規則で間引いて選択した複数の画素に基づいて算出する。
【０２１８】
所定の規則は、直接演算対象画素との距離が所定距離以内にある画素は、隣合う画素の間隔が所定距離より短い小間隔になるという規則である。
【０２１９】
また、所定の規則は、直接演算対象画素との距離が所定距離より離れている位置にある画素は、隣合う画素の間隔が小間隔より大きくなるという規則である。
【０２２０】
これにより、直接演算対象画素の補正値を求めるために必要な画素の数を削減することができるので、演算量を大きく削減することができる。
【０２２１】
なお、本実施の形態における輝度補正システムでは、輝度補正値装置２０００の代わりに高速な処理速度を有するパーソナルコンピュータ（ＰＣ）を用いてもよい。
【０２２２】
図１５は、パーソナルコンピュータ２０００ａを利用したシステムの一例としての輝度補正システム２００００のブロック図を示す。
【０２２３】
図１５を参照して、輝度補正システム２００００は、図１の輝度補正システム１００００と比較して、輝度補正値装置２０００の代わりにパーソナルコンピュータ２０００ａを使用する点が異なる。それ以外の構成は、輝度補正システム１００００と同様なので詳細な説明は繰り返さない。
【０２２４】
パーソナルコンピュータ２０００ａは、高速な演算処理が可能なマイクロプロセッサ２２００ａと、データを一時的に記憶可能なメモリ２３００ａと、ハードディスク２４００ａとを備える。
【０２２５】
ハードディスク２４００ａには、マイクロプロセッサ２０００ａに所定の処理を行なわせる画像処理プログラム２５００ａが記憶されている。
【０２２６】
画像処理プログラム２５００ａは、パーソナルコンピュータ２０００ａ（マイクロプロセッサ２０００ａ）に前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行させるためのプログラムである。
【０２２７】
マイクロプロセッサ２０００ａは、ハードディスク２４００ａから画像処理プログラム２５００ａを読み込んで、メモリ２３００ａをワークメモリとして使用し、前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行する。すなわち、画像処理プログラム２５００ａは、パーソナルコンピュータ２０００ａを輝度補正装置２０００として機能させるためのプログラムである。
【０２２８】
以上のように、パーソナルコンピュータ２０００ａに前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行させることにより、輝度補正システム１００００と同様な効果を得ることができる。
【０２２９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２３０】
【図１】輝度補正装置を利用したシステムの一例としての輝度補正システムのブロック図を示す。
【図２】輝度補正処理部のブロック図を示す。
【図３】画像処理プロセッサの内部の詳細なブロック図を示す。
【図４】画像処理プロセッサの内部の詳細なブロック図を示す。
【図５】複数のブロックに分割された画像の状態を示す図である。
【図６】前述した注目画素からの距離に応じて変化する周辺関数の値を示す図である。
【図７】注目画素からの距離による周辺関数算出領域を変化させた状態を示す図である。
【図８】注目画素に対して補正値を計算する際に使用する周辺画素を有する領域を示す図である。
【図９】補正値算出用周辺画素を示す図である。
【図１０】所定のサイズのブロック毎に算出する補正値を利用して、補正値を算出していない画素の補正値を算出する補間処理を説明するための図である。
【図１１】動画像輝度補正処理を説明するための図である。
【図１２】正規化係数算出処理のフローチャートを示す。
【図１３】補正値算出処理のフローチャートを示す。
【図１４】輝度補正処理のフローチャートを示す。
【図１５】パーソナルコンピュータを利用したシステムの一例としての輝度補正システムのブロック図を示す。
【符号の説明】
【０２３１】
２０００，２２００ 輝度補正装置、２０００ａ パーソナルコンピュータ、２２３０, ２２４０，２２６０ データ記憶部、２７００，２８００ 画像処理プロセッサ、２７１０ 補正値記憶部、２７７０ 輝度補正部、２８１０ 補正値演算部、２７７１，２８１４ 演算部、２７７２ 補間処理部、２７７３ 輝度処理部、２８１６ データ記憶部、１００００，２００００ 輝度補正システム。
【技術分野】
【０００１】
本発明は、静止画像または動画像のダイナミックレンジを改善することができる輝度補正装置、コンピュータを輝度補正装置として機能させるためのプログラムに関する。
【背景技術】
【０００２】
画像の局所的な情報に基づいて、最適なダイナミックレンジを有する画像になるように輝度を補正するといった、人間の眼球の網膜をモデル化した網膜法が提案されている。この網膜法は、画像全体または画像内の一部の輝度が低く暗いときは該当する箇所の輝度を高くし、画像全体または画像内の一部の輝度が高く明るいときは該当する箇所の輝度を低くすることによって、画像を見やすくする手法である。
【０００３】
網膜法には、(Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"Properties and Performance of a Center/Surround Retinex," IEEE Transactions on Image Processing, vol.6, pp.451-462, March 1997.)（非特許文献１）に記載のシングルスケール網膜法(Single Scale Retinex：SSR）、および、（Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes," IEEE Transactions on Image Processing, vol.6, pp.965-976, July 1997.)（非特許文献２）に記載のマルチスケール網膜法(Multi Scale Retinex：MSR）が提案されている。
【０００４】
シングルスケール網膜法では、処理の対象となる横ｘドット、縦ｙドットのサイズの画像（以下においては、「処理対象画像」とも称する）における、処理と対象となる画素（以下においては「注目画素」とも称する）の輝度値Ii(x, y)を、注目画素の周辺の画素（以下においては「周辺画素」とも称する）の情報に基づいて得られる周辺関数F(x, y)によって補正するものである。
【０００５】
シングルスケール網膜法により、処理対象画像に対し演算処理が行なわれた後の処理結果（以下においては、「シングルスケール網膜処理結果」ともいう）Ri(x, y)は、次の（１）式によって表される。
【０００６】
Ri(x, y)=log(Ii(x, y))-log[F(x, y)* Ii (x, y)] ・・・（１）
ここで、（１）式のIi(x, y)は処理対象画像内の座標(x, y)における輝度値の値を示す。“ * ” は畳み込み演算を示す。（１）式の周辺関数F(x, y)は、注目画素の情報と周辺画素の情報とに基づく関数であり、次の（２）式によって表される。
【０００７】
【数１】
【０００８】
r2は、r2＝x2＋y2で表され、ｒは注目画素と周辺画素との距離を示す。Ｋは、正規化係数である。また、周辺関数F(x,y)は、次の（３）式を満たす。
【０００９】
【数２】
【００１０】
すなわち、周辺関数の総合計が“１”となるように定められる。ｃは注目画素の周辺領域の面積によって決められる。
【００１１】
シングルスケール網膜処理結果Ri(x, y)は、（１）式、（２）式および（３）式によって求められる。そして、次の（４）式によって、シングルスケール網膜処理結果Ri(x, y)が、ゲイン（Gain）およびオフセット（Offset）によって補正される。（１）式、（２）式、（３）式および（４）式による演算が、処理対象画像の有する全ての画素に対して行なわれることにより、シングルスケール網膜法の処理対象は適切なダイナミックレンジを有する画像に補正される。なお、以下においては補正後のシングルスケール網膜処理結果Ri(x, y)を「補正後シングルスケール網膜処理結果IRi(x, y)」とも称する。
【００１２】
IRi(x, y)=Gain x Ri(x, y) + Offset ・・・（４）
しかし、シングルスケール網膜法は、処理対象画像の色再現とコントラストを同時に改善できないという問題がある。そこで、処理対象画像の色再現とコントラストを同時に改善できるように、各々が異なるｃを持つＮ種類のシングルスケール網膜処理結果Ri(x, y)を組み合わせ、最後の出力とするマルチスケール網膜法が提案された。マルチスケール網膜法により、処理対象画像に対し演算処理が行なわれた後の処理結果（以下においては、「マルチスケール網膜処理結果」ともいう）MSRout(x, y)は、次の（５）式によって表される。
【００１３】
【数３】
【００１４】
ここで、（５）式のＮはスケールの数（種類）である。ここで、「スケール」とは、周辺関数の直径に相当する。また、ＷnはＮ種類のスケールのうち、ｎ番目のスケールの重み係数であり、通常は１／ｎである。Fn(x, y)は、シングルスケール網膜法の周辺関数F(x, y) と同様である。（５）式より、マルチスケール網膜処理結果MSRout(x, y)では、Ｎ種類全ての網膜処理結果が加算される。
【００１５】
そして、（５）式によって求められたマルチスケール網膜処理結果MSRout(x, y)が、シングルスケール網膜法と同様、次の（６）式によって、ゲイン（Gain）およびオフセット（Offset）によって補正される。（２）式、（３）式、（５）式および（６）式による演算が、処理対象画像の有する全ての画素に対して行なわれることにより、マルチスケール網膜法の処理対象は適切なダイナミックレンジを有する画像に補正される。なお、以下においては補正後のマルチスケール網膜処理結果MSRout(x, y)を「補正後マルチスケール網膜処理結果IMSRi(x, y)」とも称する。
【００１６】
マルチスケール網膜法では、Ｎ種類のスケールの各々に対し、マルチスケール網膜処理結果を求めるための演算が必要である。マルチスケール網膜処理結果を求めるには、（２）式、（３）式、（５）式および（６）式による演算が、処理対象画像の有する全ての画素に対して行なう必要があり、膨大な演算量が必要となる。
【００１７】
そこで、マルチスケール網膜法における演算量を削減する技術が、特開２００１−７８０２５（特許文献１）に開示されている。
【００１８】
IMSRi(x, y)=Gain × MSRout(x, y) + Offset ・・・（６）
【特許文献１】特開２００１−７８０２５号公報
【非特許文献１】Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"Properties and Performance of a Center/Surround Retinex," IEEE Transactions on Image Processing, vol.6, pp.451-462, March 1997.
【非特許文献２】Daniel J.Jobson, Z.Rahman, and G.A.Woodell :"A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes," IEEE Transactions on Image Processing, vol.6, pp.965-976, July 1997.
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特開２００１−７８０２５（特許文献１）に開示されている技術は、静止画像に対して行なうものである。そのため、動画像に対し、マルチスケール網膜法のような高度な輝度補正処理をリアルタイムで行なうには、特開２００１−７８０２５（特許文献１）に開示されている技術を利用することによる演算量の削減よりも、さらなる演算量の削減が必要となる。
【００２０】
本発明は、上述の問題点を解決するためになされたものであって、その目的は、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能な輝度補正装置を提供することである。
【００２１】
本発明の他の目的は、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能な輝度補正装置としてコンピュータを機能させることができるプログラムを提供することである。
【課題を解決するための手段】
【００２２】
上記の課題を解決するために、この発明のある局面に従うと、輝度補正装置は、各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する。この輝度補正装置は、複数の画像の各々の輝度を補正するための補正値を算出する補正値演算部と、補正値演算部が第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する輝度補正部とを備える。
【００２３】
好ましくは、輝度補正部は、補正値演算部が（ｎ−ｍ）番目の画像に基づいて算出した、補正値を利用して第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する。
【００２４】
好ましくは、輝度補正部が第ｎ番目から第（ｎ＋ｐ）番目の画像の輝度を補正する間、補正値演算部は（ｎ＋ｐ＋１）番目以降の画像を補正するための補正値を、第ｎ番目から第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する。
【００２５】
好ましくは、複数の画像の各々は、複数の画素から構成され、複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、補正値演算部は、複数の直接演算対象画素の各々に対し、直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて補正値を算出し、複数の間接演算対象画素の各々に対しては、間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて補正値を算出する。
【００２６】
好ましくは、補正値演算部は、複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて補正値を算出し、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう複数の画素から選択された画素であり、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が小間隔より大きくなるよう複数の画素から選択された画素である。
【００２７】
この発明の他の局面に従うと、プログラムは、各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置として、記憶部を備えるコンピュータを機能させるためのプログラムである。このプログラムはコンピュータに、コンピュータの記憶部に格納されているデータを読み出して、複数の画像の各々の輝度を補正するための補正値を算出するステップと、補正値を算出するステップが第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正するステップとを実行させる。
【００２８】
好ましくは、画像の輝度を補正するステップは、補正値を算出するステップが（ｎ−ｍ）番目の画像に基づいて算出した、補正値を利用して第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する。
【００２９】
好ましくは、画像の輝度を補正するステップが第ｎ番目から第（ｎ＋ｐ）番目の画像の輝度を補正する間、補正値を算出するステップは（ｎ＋ｐ＋１）番目以降の画像を補正するための補正値を、第ｎ番目から第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する。
【００３０】
好ましくは、複数の画像の各々は、複数の画素から構成され、複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、補正値を算出するステップは、複数の直接演算対象画素の各々に対し、直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて補正値を算出し、複数の間接演算対象画素の各々に対しては、間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて補正値を算出する。
【００３１】
補正値を算出するステップは、複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて補正値を算出し、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう複数の画素から選択された画素であり、複数の直接演算対象領域内間引き画素のうち、直接演算対象画素との距離が所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が小間隔より大きくなるよう複数の画素から選択された画素である。
【発明の効果】
【００３２】
本発明に係る輝度補正装置によると、動画像の第ｎ番目の画像の輝度を補正するために使用する補正値は、第（ｎ−ｍ）番目の画像に基づいて算出する。そして、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する。したがって、輝度補正装置は、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【００３３】
本発明に係るプログラムによると、コンピュータを、動画像の第ｎ番目の画像の輝度を補正するために使用する補正値は、第（ｎ−ｍ）番目の画像に基づいて算出し、第（ｎ−ｍ）番目の画像に基づいて算出した補正値を利用して第ｎ番目の画像の輝度を補正する輝度補正装置として機能させることができる。したがって、輝度補正装置として、コンピュータを機能させるためのプログラムは、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで実行することができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３５】
図１は、輝度補正装置を利用したシステムの一例としての輝度補正システム１００００のブロック図を示す。
【００３６】
図１を参照して、輝度補正システム１００００は、カメラ１０００と、輝度補正装置２０００と、画像表示部３０００とを備える。
【００３７】
カメラ１０００は、動画または静止画を撮影し、アナログ映像信号またはデジタル映像信号に変換して、輝度補正装置２０００へ出力する。以下においては、アナログ映像信号およびデジタル映像信号を総括的に映像信号とも称する。
【００３８】
輝度補正装置２０００は、前述したマルチスケール網膜法による輝度補正処理を行なう。以下においては、輝度補正装置２０００で処理される映像信号に基づく画像を「処理対象画像」とも称する。
【００３９】
輝度補正装置２０００は、データ入力部２１００と、輝度補正処理部２２００と、画像処理部２３００と、データ出力部２４００とを含む。
【００４０】
データ入力部２１００は、カメラ１０００から出力された映像信号を受け、輝度補正処理部２２００へ出力するためのインターフェースである。
【００４１】
輝度補正処理部２２００は、データ入力部２１００から出力された映像信号に対し後述する輝度補正処理を行ない、画像処理部２３００へ出力する。
【００４２】
画像処理部２３００は、輝度補正処理部２２００から出力された映像信号に対し所定の画像処理を行ない、データ出力部２４００へ出力する。
【００４３】
データ出力部２４００は、画像処理部２３００から出力された映像信号を受け、画像表示部３０００へ出力するためのインターフェースである。
【００４４】
画像表示部３０００は、データ出力部２４００から出力された映像信号に基づいて画像を表示する。画像表示部３０００は、液晶ディスプレイ（ＬＣＤ（Liquid Crystal Display））、ＣＲＴ（Cathode Ray Tube）、ＦＥＤ（Field Emission Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬディスプレイ（Organic Electro luminescence Display）、ドットマトリクス等その他の画像表示方式の表示機器のいずれであってもよい。
【００４５】
なお、輝度補正システム１００００は、上記構成に限定されることなくその構成は任意である。たとえば、カメラ１０００の内部に輝度補正処理部２２００を設けるような構成であってもよい。また、画像表示部３０００の内部に輝度補正処理部２２００を設けるような構成であってもよい。
【００４６】
図２は、輝度補正処理部２２００のブロック図を示す。
【００４７】
図２を参照して、輝度補正処理部２２００は、同期分離回路２２１０と、画像処理プロセッサ２７００と、画像処理プロセッサ２８００と、画像データ記憶部２２３０, ２２４０と、データ記憶部２２６０と、データ通信部２２７０とを備える。
【００４８】
同期分離回路２２１０は、データ入力部から出力された映像信号ＩＭＧを、画像信号ＲＧＢと、同期信号ＨＶＳＩＧとに分離して、画像処理プロセッサ２７００、２８００へ出力する。なお、同期信号ＨＶＳＩＧは、水平同期信号と垂直同期信号と画像信号に同期したクロック信号とを含んだ信号である。
【００４９】
データ記憶部２２６０は、データを一時的に記憶可能なＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）、ダブルデータレートモードという高速なデータ転送機能を持ったＳＤＲＡＭであるＤＤＲ−ＳＤＲＡＭ（Double Data Rate SDRAM）、Rambus社が開発した高速インターフェース技術を採用したＤＲＡＭであるＲＤＲＡＭ（Rambus Dynamic Random Access Memory）、Ｄｉｒｅｃｔ−ＲＤＲＡＭ（Direct Rambus Dynamic Random Access Memory）、その他のデータを記憶保持可能な構成を有する回路のいずれであってもよい。データ記憶部２２６０は、画像処理プロセッサ２８００によってアクセスされる。
【００５０】
画像データ記憶部２２３０は、データ記憶部２２６０と比較して、画像処理プロセッサ２８００の代わりに、画像処理プロセッサ２７００によってアクセスされる点が異なる。それ以外の構成および機能は、データ記憶部２２６０と同様なので詳細な説明は繰り返さない。
【００５１】
画像データ記憶部２２４０は、データ記憶部２２６０と比較して、画像処理プロセッサ２８００の代わりに、画像処理プロセッサ２７００によってアクセスされる点が異なる。それ以外の構成および機能は、データ記憶部２２６０と同様なので詳細な説明は繰り返さない。
【００５２】
なお、本実施の形態において、画像処理プロセッサ２７００は、画像データ記憶部２２３０および画像データ記憶部２２４０といった、２つの画像データ記憶部にアクセスする構成に限定されるものではなく、その構成は任意である。たとえば、画像データ記憶部が高速にアクセスが可能なもの（たとえば、ＤＤＲ−ＳＤＲＡＭ）であれば、画像処理プロセッサ２７００は、１つの画像データ記憶部のみにアクセスする構成でもよい。
【００５３】
また、本実施の形態においては、画像データ記憶部２２３０および画像データ記憶部２２４０は、画像処理プロセッサ２７００の外部に設けられている構成としているが、その構成は任意である。たとえば、画像データ記憶部２２３０および画像データ記憶部２２４０は、画像処理プロセッサ２７００に内蔵されていてもよい。
【００５４】
データ通信部２２７０は、ＲＳ−２３２Ｃ（Recommended Standard 232 version C）、ＲＳ−４２２（Recommended Standard 422）、ＵＳＢ（Universal Serial Bus）１．１、ＵＳＢ２．０、その他シリアル転送を行なう通信用インターフェースのいずれであってもよい。
【００５５】
また、データ通信部２２７０は、セントロニクス仕様、ＩＥＥＥ１２８４（Institute of Electrical and Electronic Engineers 1284）、その他パラレル転送を行なう通信用インターフェースのいずれであってもよい。
【００５６】
また、データ通信部２２７０は、ＩＥＥＥ１３９４、その他ＳＣＳＩ規格を利用した通信用インターフェースのいずれであってもよい。
【００５７】
また、データ通信部２２７０は、ＩｒＤＡ（Infrared Data Association）１．０、ＩｒＤＡ１．１、ＩｒＤＡ１．２、その他赤外線を利用した近距離のデータ通信を行なう通信用インターフェースのいずれであってもよい。
【００５８】
また、データ通信部２２７０は、イーサネット（登録商標）、無線ＬＡＮの規格であるＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、その他有線または無線のＬＡＮ技術を利用してデータ通信を行なう通信用インターフェースのいずれであってもよい。
【００５９】
データ通信部２２７０は、輝度補正処理部２２００または輝度補正装置２０００の外部に設けられた制御ＰＣ４０００とデータの授受を行なう。
【００６０】
制御ＰＣ４０００は、データ通信部２２７０を介して、画像処理プロセッサ２７００および画像処理プロセッサ２８００へ制御プラグラムや設定データ等のデータを送信する。なお、本発明において、データ通信部２２７０とデータの授受をするものは、制御ＰＣ４０００に限定されるものではない。制御ＰＣ４０００の代わりに、たとえば、可変抵抗またはプッシュボタンなどのインターフェースをもった制御装置であってもよい。
【００６１】
図３は、画像処理プロセッサ２８００の内部の詳細なブロック図を示す。
【００６２】
図３を参照して、画像処理プロセッサ２８００は、プログラミングすることができるＬＳＩ（Large Scale Integration）であるＦＰＧＡ（Field Programmable Gate Array）、特定の用途のために設計、製造される集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）、画像処理専用ＬＳＩ、マイクロプロセッサ（Microprocessor）、その他の演算機能を有する回路のいずれであってもよい。
【００６３】
画像処理プロセッサ２８００は、補正値演算部２８１０と、バッファ２８３０と、アドレス生成部２８４０と、メモリ制御部２８５０と、パラメータ設定部２８２０とを含む。
【００６４】
バッファ２８３０は、同期分離回路２２１０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、動画像の１フレーム（静止画像）の１ライン分の画像データを一時的に保持する機能を有する。なお、バッファ２８３０は、動画像の１フレーム分の画像データを一時的に保持する機能を有してもよい。
【００６５】
アドレス生成部２８４０は、同期信号ＨＶＳＩＧが入力される毎に動作するカウンタ（図示せず）を内部に有する。アドレス生成部２８４０は、同期信号ＨＶＳＩＧが入力される毎に、カウンタを動作させ、データ記憶部２２６０にデータを記憶させるのに必要なアドレスを生成し、メモリ制御部２８５０へ出力する。
【００６６】
メモリ制御部２８５０は、バッファ２８３０が一時的に記憶しているデータを、アドレス生成部２８４０から入力されたアドレスに基づいて、データ記憶部２２６０に書込む。また、メモリ制御部２８５０は、所定の時間毎にデータ記憶部２２６０に記憶されているデータを読み出して、補正値演算部２８１０へ出力する。
【００６７】
パラメータ設定部２８２０は、データ通信部２２７０から伝達されたデータに基づいて補正値演算部２８１０が使用するパラメータ（設定値）等の変更を行なう。
【００６８】
補正値演算部２８１０は、演算部２８１４、データ一時記憶部２８１２、データ記憶部２８１６を有する。
【００６９】
データ一時記憶部２８１２は、データ記憶部２２６０と同様な構成を有し、データを一時的に記憶する回路である。
【００７０】
データ記憶部２８１６は、読み出し専用記憶装置であるＲＯＭ（Read Only Memory）、記憶の消去・書き込みを何度でも行えるＥＰＲＯＭ（Erasable Programmable Read Only Memory）、電気的に内容を書き換えることができるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、紫外線を使って記憶内容の消去・再書き込みを何度でも行えるＵＶ−ＥＰＲＯＭ（Ultra-Violet Erasable Programmable Read Only Memory）、その他のデータを記憶可能な構成を有する回路のいずれであってもよい。
【００７１】
データ記憶部２８１６は、後述する周辺関数データＬＤ，ＳＤおよび制御プログラムを予め記憶している。
【００７２】
演算部２８１４は、データ一時記憶部２８１２をワークメモリとして利用する。また、演算部２８１４は、データ記憶部２８１６に記憶されている制御プログラムに従って、メモリ制御部２８５０から出力されたデータに基づいて、後述する正規化係数算出処理および補正値算出処理を行なう。
【００７３】
正規化係数算出処理では、後述する補正値算出処理で使用する正規化係数を算出する処理を行なう。補正値算出処理では、前述したマルチスケール網膜法により画像の輝度を適切に補正するための補正値を算出する。
【００７４】
また、詳細は後述するが、演算部２８１４は、補正値算出処理により算出した補正値を画像処理プロセッサ２７００内に設けられた後述する補正値記憶部２７１０へ書込む。
【００７５】
図４は、画像処理プロセッサ２７００の内部の詳細なブロック図を示す。
【００７６】
図４を参照して、画像処理プロセッサ２７００は、前述した画像処理プロセッサ２８００と同様な機能を有するプロセッサである。なお、本実施の形態においては、輝度補正処理部２２００内に２つの画像処理プロセッサを設けている構成としているが、その構成は任意である。たとえば、画像処理プロセッサが非常に高速なもの、または、十分な回路規模および十分な入出力ピン数を有するものであれば、２つではなく、１つでもよい。
【００７７】
画像処理プロセッサ２７００は、バッファ２７３０と、アドレス生成部２７４０と、メモリ制御部２７５０と、バッファ２７６０と、データ記憶部２７８０と、補正値記憶部２７１０と、パラメータ設定部２７２０と、輝度補正部２７７０と、バッファ２７９０と、バッファ２７９２と、同期信号生成部２７９４とを含む。
【００７８】
バッファ２７３０は、前述したバッファ２８３０と同様な構成および機能を有するので詳細な説明は繰り返さない。
【００７９】
アドレス生成部２７４０は、同期信号ＨＶＳＩＧが入力される毎に動作するカウンタ（図示せず）を内部に有する。アドレス生成部２７４０は、同期信号ＨＶＳＩＧが入力される毎に、カウンタを動作させ、画像データ記憶部２２３０または画像データ記憶部２２４０にデータを記憶させるのに必要なアドレスを生成し、メモリ制御部２７５０へ出力する。
【００８０】
メモリ制御部２７５０は、前述した画像データ記憶部２２３０および画像データ記憶部２２４０に対しデータの書込み動作、データの読出し動作を行なう。
【００８１】
画像データ記憶部２２３０は、１フレームの画像データを記憶可能な記憶領域２２３２，２２３４を有する。
【００８２】
画像データ記憶部２２４０は、１フレームの画像データを記憶可能な記憶領域２２４２，２２４４を有する。
【００８３】
メモリ制御部２７５０は、バッファ２７３０が一時的に記憶しているデータを、アドレス生成部２７４０から入力されたアドレスに基づいて、１フレーム分の画像単位毎に、画像データ記憶部２２３０と、データ記憶部２２４０とを利用し、交互にデータの書込み対象を切替える。
【００８４】
たとえば、メモリ制御部２７５０が、あるフレームの画像データを画像データ記憶部２２３０へ書込んだ場合、メモリ制御部２７５０は、次のフレームの画像データをデータ記憶部２２４０へ書込む。このように、記憶部を２つ設け、データの書込みの対象を所定の単位（この場合は、１フレームの画像データ）毎に変えることにより、高速でデータを処理することが可能となる。
【００８５】
メモリ制御部２７５０が、画像データを画像データ記憶部２２３０に書込むときは、記憶領域２２３２または記憶領域２２３４がデータの書込み対象の領域となる。
【００８６】
一方、メモリ制御部２７５０が、画像データをデータ記憶部２２４０に書込むときは、記憶領域２２４２または記憶領域２２４４がデータの書込み対象の領域となる。
【００８７】
また、メモリ制御部２７５０は、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、１フレームの画像データの書込みが終了した記憶部内の記憶領域から１フレーム（静止画像）の１画素分の画像データを読み出して、バッファ２７６０へ出力する。
【００８８】
バッファ２７６０は、メモリ制御部２７５０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、１フレームの１画素分のデータを一時的に保持する機能を有する。
【００８９】
データ記憶部２７８０は、前述したデータ記憶部２８１６と同様な構成および機能を有する。また、データ記憶部２７８０は、ｌｏｇ演算変換データを予め記憶している。ここで、ｌｏｇ演算変換データは、予め計算していた複数種類のｌｏｇ演算結果のデータである。
【００９０】
補正値記憶部２７１０は、１フレームの画像に使用するデータを記憶可能な記憶領域２７１２，２７１４を有する。詳細は後述するが、前述した演算部２８１４は、１フレームの画像に使用するデータ毎に、記憶領域２７１２と、記憶領域２７１４とを利用して、交互にデータの書込み対象を切替える。
【００９１】
たとえば、演算部２８１４が、あるフレームに使用するデータを記憶領域２７１２へ書込んだ場合、演算部２８１４は、次のフレームに使用するデータを記憶領域２７１４へ書込む。
【００９２】
パラメータ設定部２７２０は、データ通信部２２７０から伝達されたデータに基づいて輝度補正部２７７０が使用するパラメータ（設定値）等の変更を行なう。
【００９３】
輝度補正部２７７０は、演算部２７７１と、補間処理部２７７２と、輝度処理部２７７３と、ノイズ処理部２７７５と、色補正部２７７４とを有する。
【００９４】
詳細は後述するが、演算部２７７１は、バッファ２７６０に記憶されているデータを読み出して、データ記憶部２７８０に記憶されているｌｏｇ演算変換データを利用して、演算処理を行なって、演算結果のデータを輝度処理部２７７３へ出力する。
【００９５】
詳細は後述するが、補間処理部２７７２は、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のうち、１フレームの画像に使用するデータの書込みが終了した記憶領域内からデータを読み出して、後述する補間処理を行なって、補間処理の結果のデータを輝度処理部２７７３へ出力する。
【００９６】
詳細は後述するが、輝度処理部２７７３は、演算部２７７１から出力される演算結果のデータと、補間処理部２７７２から出力されるデータとに基づいて、１フレーム（静止画像）の１画素に対して、輝度処理を行なう。
【００９７】
ノイズ処理部２７７５は、輝度処理部２７７３により輝度処理された画素に対して、たとえば、所定の閾値以上に輝度が変化されたとき、輝度の変化を閾値以内に収まるように処理を行なう。
【００９８】
色補正部２７７４は、たとえば、ノイズ処理部２７７５により輝度処理された輝度値に基づく色度が、所定の閾値以上であるとき、色度を所定の閾値以内に収まるように処理を行なう。色補正部２７７４は、処理を行なった後のデータをバッファ２７９０へ出力する。
【００９９】
バッファ２７９０は、色補正部２７７４から出力された、１画素分のデータを一時的に保持する機能を有する。
【０１００】
そして、メモリ制御部２７５０が、バッファ２７９０に記憶されたデータを読出し、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、前述した輝度補正部２７７０が演算処理を行なう際に使用したデータを読み出さなかった画像データ記憶部内の記憶領域にデータを書込む。
【０１０１】
輝度補正部２７７０が演算処理を、１フレームの画像内の画素すべてに行ない、画像データ記憶部２２３０および画像データ記憶部２２４０のうちのいずれかの記憶領域に１フレーム分の演算処理後の画像データ（以下においては、「演算処理済画像データ」とも称する）の書込みが終了すると、メモリ制御部２７５０は、当該記憶領域から演算処理済画像データを読出し、バッファ２７９２へ出力する。
【０１０２】
バッファ２７９２は、メモリ制御部２７５０から出力されたデータを、１フレーム（静止画像）の１ライン分の画像データを一時的に保持する機能を有する。なお、バッファ２７９２は、１フレーム分の画像データを一時的に保持する機能を有してもよい。
【０１０３】
同期信号生成部２７９４は、バッファ２７９２に１ライン分の画像データが記憶される毎に、同期信号ＯＨＶＳＩＧを出力する。同期信号生成部２７９４が、同期信号ＯＨＶＳＩＧを出力すると同時に、バッファ２７９２は、記憶している補正後の画像データ（以下においては、「補正後画像データ」とも称する）ＣＲＲＧＢを出力する。
【０１０４】
図５は、複数のブロックに分割された画像の状態を示す図である。
【０１０５】
図５（ａ）は、輝度補正装置２０００で処理される処理対象画像１００を示す図である。
【０１０６】
図５（ａ）を参照して、処理対象画像１００は、たとえば、横６４０ドット、縦４８０ドットの画像であるとする。処理対象画像１００は、縦および横のサイズが同じで、各々が同一のサイズの複数のブロックに分割され、当該複数のブロック毎に前述したマルチスケール網膜法による演算処理が行なわれる。
【０１０７】
図５（ｂ）は、処理対象画像１００を複数のブロックに分割したうちの１つのブロック分割画像１００ｎを示す図である。詳細は後述するが、補正値算出処理により算出される補正値は、ブロック分割画像１００ｎ毎に算出される。
【０１０８】
図５（ｂ）を参照して、ブロック分割画像１００ｎは、説明を分かりやすくするために、たとえば、横４ドット、縦４ドットからなる１６個の画素を有するものとする。
【０１０９】
図６は、前述した注目画素からの距離に応じて変化する周辺関数の値を示す図である。
【０１１０】
図６（ａ）は、（２）式に、ｘ、ｙの値を代入したときの周辺関数の値を視覚化した図を示す。
【０１１１】
図６（ａ）を参照して、ｘ軸、ｙ軸は、注目画素からの距離（単位はピクセル）を示す。ｚ軸は、（２）式にｘ、ｙの値を代入したときの周辺関数の値を示す。なお、図６（ａ）における、注目画素の座標は、（０，０）である。図６（ａ）によると、周辺関数の値は、注目画素からの距離が離れるに従って指数関数的に低下していることが分かる。
【０１１２】
図６（ｂ）は、図６（ａ）をｘ、ｙ面から見た状態を示す。
【０１１３】
図６（ｂ）を参照して、周辺関数の値は、注目画素１６０からの距離に応じて、低下する。なお、本実施の形態による周辺関数を計算する領域（以下においては「周辺関数算出領域」とも称する）１２０は、横、縦のサイズが等しい正方形の領域を右に４５度回転させた領域とする。周辺関数算出領域１２０の最長部の長さは、４００ピクセルとする。なお、周辺関数算出領域の形は、ひし形に限定されることなく、円であってもよい。
【０１１４】
図６（ｃ）は、図６（ａ）のグラフを直線で近似した図である。以下においては、当該近似した図を、「周辺関数近似モデル図」とも称する。なお、周辺関数近似モデル図に基づく周辺関数の値は予め計算された値（以下においては、「算出済周辺関数値」とも称する）であり、周辺関数算出領域１２０内の注目画素からの相対座標値の各々に対応付けてデータ記憶部２８１６に記憶されている。なお、データ記憶部２８１６には、後述するスモール領域（周辺関数算出領域）１４０のサイズおよび後述するラージ領域（周辺関数算出領域）１２０のサイズにそれぞれ基づく、２種類の算出済周辺関数値が記憶されている。これにより、周辺関数を計算する処理が必要なくなり、補正値を求めるための計算量を大きく削減できる。
【０１１５】
図６（ｄ）は、図６（ｃ）をｘ、ｙ面から見た状態を示す。なお、周辺関数近似モデル図は、縦、横に線対称の形をしているので（図６（ｄ）参照）、データ記憶部２８１６には、周辺関数近似モデル図に基づく算出済周辺関数値全ての４分の１のみを記憶させておいてもよい。この場合でも、注目画素からの相対座標値の全てに対し、対応する周辺関数の値を読み出すことができる。
【０１１６】
図７は、注目画素１６０からの距離による周辺関数算出領域を変化させた状態を示す図である。
【０１１７】
図７を参照して、本実施の形態においては、マルチスケール網膜法による演算処理を行なうので、注目画素１６０からの距離によって、２つのサイズの周辺関数算出領域を使用する。なお、周辺関数算出領域は、３つ以上のサイズを使用してもよい。
【０１１８】
周辺関数算出領域１４０の最長部の長さは、一例として１６０ピクセルである。なお、以下においては、周辺関数算出領域１４０を「スモール領域１４０」とも称する。
【０１１９】
周辺関数算出領域１２０の最長部の長さは、一例として４００ピクセルである。なお、以下においては、周辺関数算出領域１２０を「ラージ領域１２０」とも称する。
【０１２０】
図８は、注目画素１６０に対して補正値を計算する際に使用する周辺画素を有する領域を示す図である。以下においては、補正値を計算する際に使用する周辺画素を「補正値算出用周辺画素」とも称する。なお、補正値算出用周辺画素の数は、注目画素１６０の座標値によって異なる。
【０１２１】
図８を参照して、スモール領域１４０に対する補正値（以下においては、「スモール領域補正値」とも称する）を計算する際、処理対象画像１００のうち、スモール領域１４０に囲まれた斜線で示される領域１４２内の複数の画素（以下においては、「スモール領域内周辺画素」とも称する）各々の輝度値を使用する。
【０１２２】
また、ラージ領域１２０に対する補正値（以下においては、「ラージ領域補正値」とも称する）を計算する際、処理対象画像１００のうち、ラージ領域１２０に囲まれた縦線で示される領域１２２および領域１４２内の複数の画素（以下においては、「ラージ領域内周辺画素」とも称する）各々の輝度値を使用する。注目画素１６０に対する補正値は、スモール領域補正値と、ラージ領域補正値とを加算した値となる。
【０１２３】
なお、スモール領域内周辺画素およびラージ領域内周辺画素の数は、注目画素１６０の座標によって変化する。たとえば、注目画素１６０の座標が、処理対象画像１００の中央に位置したとき、スモール領域内周辺画素およびラージ領域内周辺画素の数は最大となる。
【０１２４】
本実施の形態では、マルチスケール網膜法における演算量を削減するために、補正値を算出する際、スモール領域内画素およびラージ領域内画素の全てではなく、適度に間引いた一部の画素を使用することにより演算量の削減を図る。
【０１２５】
図６（ａ）に示したように、周辺関数の値は、注目画素との距離が離れている画素ほど小さくなる。周辺関数の値が小さければ、補正値の値は小さくなり、輝度補正の影響が少なくなる。したがって、注目画素からの距離が離れるにしたがって、間引きの度合いを大きくするように、補正値算出用周辺画素を選択する。
【０１２６】
図９は、補正値算出用周辺画素を示す図である。
【０１２７】
図９を参照して、スモール領域１４０内においては、補正値算出用周辺画素は、隣合う２つの画素の間隔が、たとえば、１６ピクセルになるようにスモール領域内周辺画素から選択した画素（以下においては、「スモール領域内間引き画素」とも称する）である。
【０１２８】
したがって、スモール領域内間引き画素のうちのスモール領域内周辺画素を用いて、前述の（２）式、（３）式、（５）式による演算を行なうことにより、注目画素１６０に対し、スモール領域補正値を算出することができる。
【０１２９】
また、ラージ領域１２０内においては、補正値算出用周辺画素は、隣合う２つの画素の間隔が、たとえば、１６ピクセルより大きい３２ピクセルになるようにラージ領域内周辺画素から選択した画素（以下においては、「ラージ領域内間引き画素」とも称する）である。
【０１３０】
したがって、ラージ領域内間引き画素のうちのラージ領域内周辺画素を用いて、前述の（２）式、（３）式、（５）式による演算を行なうことにより、注目画素１６０に対し、ラージ領域補正値を算出することができる。
【０１３１】
そして、スモール領域補正値とラージ領域補正値とを加算することにより注目画素１６０に対する補正値を算出することができる。以上説明した補正値の演算処理を補正値演算処理とも称する。
【０１３２】
なお、補正値算出用周辺画素は、前述したように、注目画素との距離が所定距離以内という条件または所定距離より長いという条件に基づいて選択した画素に限定されない。たとえば、注目画素１６０からの距離が離れるにつれて、補正値算出用周辺画素は、隣合う２つの画素の間隔が広くなるように選択した画素であってもよい。なお、隣合う２つの画素の間隔を変化させると、周辺関数の形状も画素の間隔に応じて変化する。
【０１３３】
図１０は、所定のサイズのブロック毎に算出する補正値を利用して、補正値を算出していない画素の補正値を算出する補間処理を説明するための図である。なお、補間処理は、補間処理部２７７２により行なわれる。
【０１３４】
図１０を参照して、ブロック分割画像１０１，１０２，１０３の各々は、横４ドット、縦４ドットからなる１６個の画素を有する。後述する補正値算出処理によって算出される補正値は、処理対象画像１００の複数のブロック分割画像の各々に対し、１つの画素についてのみ求められる。以下においては、当該１つの画素を「直接演算対象画素」とも称する。たとえば、ブロック分割画像１０１の直接演算対象画素は、画素１０１．１となる。
【０１３５】
また、複数のブロック分割画像の各々が有する複数の画素のうち、直接演算対象画素以外の画素を「間接演算対象画素」とも称する。たとえば、ブロック分割画像１０１の間接演算対象画素は、画素１０１．２，１０１．３，１０１．４，１０１．６となる。
【０１３６】
次に、補間処理を行なう前に行なう補正値の算出の一例を説明する。まず、ブロック分割画像１０１，１０２，１０３の各々が有する直接演算対象画素に対し、前述した補正値演算処理を行なう。この場合、直接演算対象画素は、画素１０１．１，１０２．１，１０３．１である。画素１０１．１内の“１０”、画素１０２．１内の“１２”、画素１０３．１内の“６”は、それぞれ、補正値演算処理により算出した補正値を示す。
【０１３７】
そして、補正値演算処理により算出した補正値を利用して間接演算対象画素の補正値を算出する処理が補間処理である。たとえば、画素１０１．３（間接演算対象画素）に対し、補正値を算出するには、画素１０１．３の近傍の少なくとも２つの直接演算対象画素（この場合、画素１０１．２，１０２．１）の補正値（“１０”、“１２”）を加算して、使用した補正値の数（この場合、“２”）で除算する。その結果、画素１０１．３（間接演算対象画素）の補正値を算出することができる。
【０１３８】
また、たとえば、画素１０１．２（間接演算対象画素）に対し、補正値を算出するには、画素１０１．２の近傍の直接演算対象画素または間接演算対象画素（この場合、画素１０１．１，１０１．３）の補正値（“１０”、“１１”）を加算して、使用した補正値の数（この場合、“２”）で除算する。その結果、画素１０１．２（間接演算対象画素）の補正値を算出することができる。
【０１３９】
なお、間接演算対象画素の補正値を算出するときに使用する画素は、近傍の２つの画素でなく、近傍の３つ以上の画素であってもよい。また、間接演算対象画素の補正値を算出する方法は、前述の方法に限定されない。
【０１４０】
以上、静止画像に対する補正値の算出方法を説明してきたが、次に、動画像に対し輝度補正処理（以下においては、「動画像輝度補正処理」とも称する）を行なう方法について説明する。たとえば、３０分の１秒毎に表示される静止画像から構成される動画像に対して、すべての静止画像に対しリアルタイムで補正値を計算するには、前述した演算方法を使用し、かつ、現在の最高レベルの演算速度を有する演算装置を用いたとしても実現困難である。
【０１４１】
そこで、動画像に対しリアルタイムで輝度補正を実現可能な方法を以下に説明する。具体的には、人間の目の特性を利用して、一度算出した補正値を、輝度の変化に気づかない範囲で複数のフレームに連続して使用する。
【０１４２】
図１１は、動画像輝度補正処理を説明するための図である。
【０１４３】
図１１を参照して、動画像輝度補正処理において、前述した補正値の演算処理は、動画像を構成する全ての静止画像（フレーム）に対して行なうのではなく、数フレームに１度補正値を計算し、補正値の計算中は、算出済みの補正値を複数のフレームの輝度補正処理に連続して使用するようにする。以下においては、１フレームの補正値を算出するのに必要な時間を「補正値算出必要時間」とも称する。
【０１４４】
たとえば、時刻ｔ４〜ｔ７における処理対象画像１００ａ．１６〜１００ａ．３０の１５フレームの輝度補正処理には、補正値ｃ１を使用するとする。
【０１４５】
この場合、補正値ｃ１は、時刻ｔ４の前には算出し終えている必要がある。そのため、補正値ｃ１を算出するのに要する時間（補正値算出必要時間）を予め測定しておき、補正値ｃ１を最初に使用するフレーム（処理対象画像１００ａ．１６）を処理し始める時刻ｔ４から補正値算出必要時間分より前の時刻に処理されるフレーム（この場合、処理対象画像１００ａ．１）を使用して補正値を求めるようにする。
【０１４６】
そして、時刻ｔ８以降の処理対象画像１００ａ．３１，１００ａ．３２・・・に対しては、時刻ｔ８から補正値算出必要時間分より前の時刻のフレーム（この場合、処理対象画像１００ａ．１６）を使用して求めた補正値ｃ２を使用する。
【０１４７】
時刻ｔ１〜ｔ４の期間は、補正値ｃ１を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ１である。時刻ｔ４〜ｔ８の期間は、補正値ｃ２を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ２である。時刻ｔ８以降は、補正値ｃ３を算出するための演算処理が行なわれる補正値算出処理実行期間Ｔ３である。
【０１４８】
以上のような方法により、動画像に対し、リアルタイムで高度な輝度補正処理を行なうことが可能となる。
【０１４９】
次に、動画像に対しリアルタイムで輝度補正処理を行なうときの輝度補正処理部２２００の動作を、図２、図３、図４、図８、図９、図１０、図１１を用いて説明する。
【０１５０】
まず、図１１の動画像を構成する処理対象画像１００ａ．１〜１００ａ．３２のうち、処理対象画像１００ａ．１が同期分離回路２２１０によって、画像信号ＲＧＢと、同期信号ＨＶＳＩＧとに分離され、画像処理プロセッサ２７００および画像処理プロセッサ２８００へ入力される。
【０１５１】
このとき、画像処理プロセッサ２７００は、すでに算出された補正値が記憶されている画像データ記憶部から当該補正値を読み出して、処理対象画像１００ａ．１の輝度補正処理を行ない、同期信号ＯＨＶＳＩＧを出力すると同時に、輝度補正処理後の処理対象画像１００ａ．１のデータを前述した補正後画像データＣＲＲＧＢとして出力する。
【０１５２】
一方、画像処理プロセッサ２８００は、処理対象画像１００ａ．１を使用して補正値を算出して、当該補正値を補正値記憶部２７１０へ書込む。補正値記憶部２７１０へ処理対象画像１００ａ．１に基づいた補正値が書込まれる時刻は、時刻ｔ４より前となる。
【０１５３】
具体的には、まず、バッファ２８３０、アドレス生成部２８４０、メモリ制御部２８５０、データ記憶部２２６０の動作により、データ記憶部２２６０に、処理対象画像１００ａ．１の画像データ（Ｒ，Ｇ，Ｂ各データ）が一時的に記憶される。そして、演算部２８１４により、正規化係数算出処理が行なわれる。
【０１５４】
図１２は、正規化係数算出処理のフローチャートを示す。
【０１５５】
図１２を参照して、ステップＳ１１０では、処理対象画像１００ａ．１における正規化係数を算出する画素の座標値Ｌ（たとえば、Ｌ（０，０））の設定が行なわれる。ここで、正規化係数とは、補正値を算出するために使用される係数である。また、正規化係数は、図８、図９で説明したように、注目画素１６０の座標値によって変化する補正値算出用周辺画素の数による補正値の変化をなくすための係数である。なお、正規化係数は、処理対象画像の有する全ての画素にそれぞれ対応付けて算出される。
【０１５６】
以下においては、スモール領域１４０に対する補正値を算出するための正規化係数を「正規化係数ＳＫ」と称する。以下においては、ラージ領域１２０に対する補正値を算出するための正規化係数を「正規化係数ＬＫ」と称する。その後、ステップＳ１２０の処理が行なわれる。
【０１５７】
ステップＳ１２０では、（２）式、（３）式に基づいて、正規化係数ＳＫおよび正規化係数ＬＫの計算が行なわれる。その後、ステップＳ１３０の処理が行なわれる。
【０１５８】
ステップＳ１３０では、ステップＳ１２０により算出された正規化係数をデータ一時記憶部２８１２に記憶させる。その後、ステップＳ１４０の処理が行なわれる。
【０１５９】
ステップＳ１４０では、処理対象画像（この場合、処理対象画像１００ａ．１）の有する全ての画素に対して正規化係数の計算処理が終了したかどうか判定する。ステップＳ１４０により、処理対象画像の有する全ての画素に対して正規化係数の計算処理が終了していないと判定されると、再度ステップＳ１１０、Ｓ１２０，Ｓ１３０の処理が行なわれる。一方、ステップＳ１４０により、処理対象画像の有する全ての画素に対して正規化係数の計算処理が終了したと判定されると、この正規化係数算出処理は終了し、リターンする。
【０１６０】
以上の正規化係数算出処理により、処理対象画像内の全ての画素の各々の補正値を算出するための正規化係数ＳＫ，ＬＫが算出され、データ一時記憶部２８１２に記憶される。
【０１６１】
演算部２８１４は、正規化係数算出処理が終了すると、補正値算出処理を行なう。
【０１６２】
図１３は、補正値算出処理のフローチャートを示す。
【０１６３】
図１３を参照して、ステップＳ２００では、データ記憶部２２６０に記憶された画像データ（処理対象画像１００ａ．１の画像データ）が、メモリ制御部２８５０により演算部２８１４に転送される。その後、ステップＳ２１０の処理が行なわれる。
【０１６４】
ステップＳ２１０では、ステップＳ２００により読み出されたＲ，Ｇ，Ｂ形式の画像データを、たとえば、ＨＳＶ形式に変換する。なお、Ｒ，Ｇ，Ｂ形式の画像データを、変換する画像形式は、ＨＳＶ形式に限定されることなく、たとえば、ＨＳＬ（ＨＳＩ）方式であってもよい。その後、ステップＳ２２０の処理が行なわれる。
【０１６５】
ステップＳ２２０では、注目画素１６０の座標値Ｎ（たとえば、Ｎ（１６，０））の設定が行なわれる。その後、ステップＳ２３０の処理が行なわれる。
【０１６６】
ステップＳ２３０では、補正値算出用周辺画素（たとえば、図９の画素１６０．１）の座標値Ｚ（たとえば、Ｎ（０，０））の設定が行なわれる。その後、ステップＳ２４０の処理が行なわれる。
【０１６７】
ステップＳ２４０では、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にあるか否かが判定される。ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にあると判定されると、ステップＳ２４２の処理が行なわれる。一方、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にないと判定されると、後述するステップＳ２５２の処理が行なわれる。
【０１６８】
ステップＳ２４２では、データ記憶部２８１６から、注目画素１６０を原点としたときの座標値Ｚの相対座標値に対応した、周辺関数データＬＤ，ＳＤの読出しが行なわれる。ここで、周辺関数データＬＤとは、ラージ領域１２０のサイズおよび図６（ｃ）の周辺関数近似モデル図に基づく算出済周辺関数値である。ここで、周辺関数データＳＤとは、スモール領域１４０のサイズおよび図６（ｃ）の周辺関数近似モデル図に基づく算出済周辺関数値である。その後、ステップＳ２４４の処理が行なわれる。
【０１６９】
ステップＳ２４４では、ラージ領域１２０に対して、式（５）内のFn(x, y)* Ii(x, y)の部分の演算が行なわれる。なお、以下においては、ラージ領域１２０に対してのFn(x, y)* Ii(x, y)を「変数ＬＣＲ」と称する。変数ＬＣＲにはＬＣＲ＋ＬＤ×ＶＳの演算結果が代入される。ここで、“ＬＣＲ”の初期値は“０”である。“ＬＤ”はステップＳ２４２により読み出された周辺関数データＬＤである。ＶＳは座標値Ｚの補正値算出用周辺画素の輝度値である。その後、ステップＳ２４６の処理が行なわれる。
【０１７０】
ステップＳ２４６では、スモール領域１４０に対して、式（５）内のFn(x, y)* Ii(x, y)の部分の演算が行なわれる。なお、以下においては、スモール領域１４０に対してのFn(x, y)* Ii(x, y)を「変数ＳＣＲ」と称する。変数ＳＣＲにはＳＣＲ＋ＳＤ×ＶＳの演算結果が代入される。ここで、“ＳＣＲ”の初期値は“０”である。“ＳＤ”はステップＳ２４２により読み出された周辺関数データＳＤである。ＶＳは座標値Ｚの補正値算出用周辺画素の輝度値である。その後、ステップＳ２６０の処理が行なわれる。
【０１７１】
ステップＳ２４０により、ステップＳ２３０により設定された座標値Ｚがスモール領域１４０の内部にないと判定されると、ステップＳ２５２の処理が行なわれる。
【０１７２】
ステップＳ２５２では、データ記憶部２８１６から、注目画素１６０を原点としたときの座標値Ｚの相対座標値に対応する、周辺関数データＬＤの読出しが行なわれる。その後、ステップＳ２５４の処理が行なわれる。
【０１７３】
ステップＳ２５４では、前述したステップＳ２４４と同様な処理が行なわれるので詳細な説明は繰り返さない。その後、ステップＳ２６０の処理が行なわれる。
【０１７４】
ステップＳ２６０では、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了したか否かが判定される。ステップＳ２６０により、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了していないと判定されると、前述したステップＳ２３０，Ｓ２４０，Ｓ２４２，Ｓ２４４，Ｓ２４６またはステップＳ２３０，Ｓ２４０，Ｓ２５２，Ｓ２５４の処理が繰返し行なわれる。
【０１７５】
その結果、ステップＳ２６０により、ラージ領域１２０内の全ての補正値算出用周辺画素に対し、ステップＳ２４４，Ｓ２４６またはステップＳ２５４の計算が終了したと判定されると、ステップＳ２７０の処理が行なわれる。
【０１７６】
ステップＳ２７０では、ステップＳ２２０により設定された注目画素１６０の座標値Ｎに対応する正規化係数ＳＫ，ＬＫがデータ一時記憶部２８１２から読み出される。その後、ステップＳ２７２の処理が行なわれる。
【０１７７】
ステップＳ２７２では、ＬＡＣＲ＝ＬＫ×ＬＣＲの演算が行なわれる。ここで、“ＬＫ”はステップＳ２７０により読み出された正規化係数ＬＫである。“ＬＣＲ”は、ステップＳ２７２の処理が行なわれるときの、変数ＬＣＲの値である。その後、ステップＳ２７４の処理が行なわれる。
【０１７８】
ステップＳ２７４では、ＳＡＣＲ＝ＳＫ×ＳＣＲの演算が行なわれる。ここで、“ＳＫ”はステップＳ２７０により読み出された正規化係数ＳＫである。“ＳＣＲ”は、ステップＳ２７４の処理が行なわれるときの、変数ＳＣＲの値である。その後、ステップＳ２７６の処理が行なわれる。
【０１７９】
ステップＳ２７６では、ＬＡＣＲおよびＳＡＣＲのＬＯＧ演算が行なわれる。ここで、“ＬＡＣＲ”はステップＳ２７２により計算された値である。“ＳＡＣＲ”はステップＳ２７４により計算された値である。その後、ステップＳ２７８の処理が行なわれる。
【０１８０】
ステップＳ２７８では、ステップ２７６により計算された２つの値（ｌｏｇ（ＬＡＣＲ）、ｌｏｇ（ＳＡＣＲ））の加算処理（ｌｏｇ（ＬＡＣＲ）＋ｌｏｇ（ＳＡＣＲ））を行なうことにより、処理対象画像（処理対象画像１００ａ．１）内の座標値Ｎの補正値が算出される。その後、ステップＳ２７９の処理が行なわれる。
【０１８１】
ステップＳ２７９では、ステップＳ２７８により算出された処理対象画像内の座標値Ｎの補正値が、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれる。その後、ステップＳ２８０の処理が行なわれる。
【０１８２】
ステップＳ２８０では、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素（図１０参照））全てに対し計算が終了したか否かが判定される。ステップＳ２８０により、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素）全てに対し計算が終了したと判定されるまで、前述したステップＳ２２０〜Ｓ２７９の処理が繰返し行なわれる。その結果、ステップＳ２８０により、処理対象画像内の全ての画素のうち計算が必要な画素（直接演算対象画素）全てに対し計算が終了したと判定されると、この補正値算出処理は終了し、リターンする。
【０１８３】
このとき、補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかには、処理対象画像（処理対象画像１００ａ．１）内の全ての直接演算対象画素にそれぞれ対応付けた複数の補正値が記憶されている。なお、処理対象画像１００ａ．１に対する補正値算出処理が終了する時刻は、図１１の時刻ｔ４より前である。
【０１８４】
時刻ｔ４において、画像処理プロセッサ２７００内のメモリ制御部２７５０は、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、１フレームの画像データ（この場合、処理対象画像１００ａ．１６の画像データ）の書込みが終了した記憶部内の記憶領域から１フレーム（静止画像）の１画素分の画像データを読み出して、バッファ２７６０へ出力する。
【０１８５】
バッファ２７６０は、メモリ制御部２７５０から出力された画像信号ＲＧＢに基づくデータの一部、たとえば、１フレーム（静止画像）の１画素分のデータを一時的に保持する。バッファ２７６０に画像データが記憶されると、以下に説明する輝度補正処理が行なわれる。なお、輝度補正処理は、前述の補正値算出処理により算出された、処理対象画像１００ａ．１に対する補正値（補正値ｃ１）を使用して、連続する処理対象画像１００ａ．１６〜１００ａ．３０に対して行なわれる（図１１参照）。
【０１８６】
図１４は、輝度補正処理のフローチャートを示す。
【０１８７】
図１４を参照して、ステップＳ３００では、演算部２７７１により画像データの読出し処理が行なわれる。具体的には、演算部２７７１が、バッファ２７６０に記憶されている１画素分のデータを読み出す。なお、バッファ２７６０に記憶されている１画素分のデータが、演算部２７７１により読み出されると、メモリ制御部２７５０は、読み出された１画素分の画像データの次の１画素分の画像データを読み出して、バッファ２７６０へ出力する。その後、ステップＳ３１０の処理が行なわれる。
【０１８８】
ステップＳ３１０では、演算部２７７１が、ステップＳ３００により読み出されたＲ，Ｇ，Ｂ形式の画像データを、たとえば、ＨＳＶ形式に変換する。なお、Ｒ，Ｇ，Ｂ形式の画像データを、変換する画像形式は、ＨＳＶ形式に限定されることなく、たとえば、ＨＳＬ（ＨＳＩ）方式であってもよい。その後、ステップＳ３２０の処理が行なわれる。
【０１８９】
ステップＳ３２０では、演算部２７７１が輝度補正対象となる画素の座標値Ｍ（たとえば、Ｍ（０，０））の設定を行なう。その後、ステップＳ３２２の処理が行なわれる。
【０１９０】
ステップＳ３２２では、演算部２７７１がデータ記憶部２７８０に記憶されているｌｏｇ演算変換データを利用して、ステップＳ３１０で変換した画像データＨＳＶの輝度データＶのｌｏｇ演算を行なう。以下においては、当該ｌｏｇ演算の結果を「ｌｏｇ演算結果Ｔ」とも称する。演算部２７７１はｌｏｇ演算結果Ｔを輝度処理部２７７３へ出力する。同時に、演算部２７７１は演算処理していない画像データＨＳＶも輝度処理部２７７３へ出力する。その後、ステップＳ３３０の処理が行なわれる。
【０１９１】
ステップＳ３３０では、補間処理部２７７２がステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値があるか否かを判定する。具体的には、補間処理部２７７２が、前述の補正値算出処理により補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれた複数の補正値のうち、座標値Ｍに対応する補正値があるか否かを判定する。
【０１９２】
ステップＳ３３０により、ステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値があると判定されると、ステップＳ３４０の処理が行なわれる。一方、ステップＳ３３０により、ステップＳ３２０で設定された輝度補正対象となる画素の座標値Ｍに対応する補正値がないと判定されると、ステップＳ３５０の処理が行なわれる。
【０１９３】
ステップＳ３４０では、補間処理部２７７２が、前述の補正値算出処理により補正値記憶部２７１０内の記憶領域２７１２および記憶領域２７１４のいずれかに書込まれた複数の補正値のうち、座標値Ｍに対応する補正値を読み出す。そして、補間処理部２７７２は、読み出した補正値を輝度処理部２７７３へ出力する。その後、ステップＳ３６０の処理が行なわれる。
【０１９４】
ステップＳ３５０では、前述した補間処理（図１０参照）による補正値の生成が補間処理部２７７２により行なわれる。補間処理部２７７２は、生成した補正値を輝度処理部２７７３へ出力する。その後、ステップＳ３６０の処理が行なわれる。
【０１９５】
ステップＳ３６０では、輝度処理部２７７３が、演算部２７７１から出力されるｌｏｇ演算結果Ｔと、補間処理部２７７２から出力される補正値とに基づいて、式（５）のマルチスケール網膜処理結果MSRout(x, y)を算出する。マルチスケール網膜処理結果MSRout(x, y)は、Ｓ３２２により算出されたｌｏｇ演算結果ＴからステップＳ３４０で読み出した補正値またはステップ３５０で生成した補正値を減算することにより求めることができる。その後、ステップＳ３６２の処理が行なわれる。
【０１９６】
ステップＳ３６２では、輝度処理部２７７３が、式（６）により補正後マルチスケール網膜処理結果IMSRi(x, y)を算出する。その後、ステップＳ３６４の処理が行なわれる。
【０１９７】
ステップＳ３６４では、輝度処理部２７７３が、所定の係数に基づいて、輝度の補正を行なう。具体的には、輝度処理部２７７３が、演算部２７７１から出力された輝度データＶと、ステップ３６２により算出した補正後マルチスケール網膜処理結果IMSRi(x, y)とに基づいて、（１−α）・Ｖ＋α・IMSRi(x, y)の演算を行なう。αは、補正をかける強さを示す係数であり、“０”〜“１”の範囲の値をとる。たとえば、αが“０”ならば、座標値Ｍの画素に対して、輝度補正を行なわないことになる。輝度処理部２７７３は、演算結果をノイズ処理部２７７５へ出力する。同時に、輝度処理部２７７３は演算処理していない画像データＨＳＶのうちの画像データＨＳもノイズ処理部２７７５へ出力する。その後、ステップＳ３７０の処理が行なわれる。
【０１９８】
ステップＳ３７０では、輝度処理部２７７３の演算による輝度値が所定の閾値以上であるとき、ノイズ処理部２７７５が輝度値を所定の閾値以内に収まるように処理を行なう。同時に、ノイズ処理部２７７５は演算処理していない画像データＨＳも色補正部２７７４へ出力する。その後、ステップＳ３７５の処理が行なわれる。
【０１９９】
ステップＳ３７５では、輝度処理部２７７５により輝度処理された輝度値に基づく色度が、所定の閾値以上であるとき、色補正部２７７４が色度を所定の閾値以内に収まるように処理を行なう。その後、ステップＳ３８０の処理が行なわれる。
【０２００】
ステップＳ３８０では、色補正部２７７４がＨＳＶ形式の画像データをＲ，Ｇ，Ｂ形式に変換する。なお、Ｓ３１０において、Ｒ，Ｇ，Ｂ形式の画像データが、たとえば、ＨＳＬ（ＨＳＩ）方式に変換されたのであれば、ステップＳ３８０では、色補正部２７７４がＨＳＬ（ＨＳＩ）形式の画像データをＲ，Ｇ，Ｂ形式に変換する。
【０２０１】
そして、色補正部２７７４が、Ｓ３８０により処理が行なわれた後のデータをバッファ２７９０へ出力する。バッファ２７９０は、色補正部２７７４から出力された、１画素分のデータを一時的に保持する機能を有する。
【０２０２】
そして、メモリ制御部２７５０が、バッファ２７９０に記憶されたデータを読出し、画像データ記憶部２２３０および画像データ記憶部２２４０のうち、前述した輝度補正部２７７０が演算処理を行なう際に使用したデータを読み出さなかった画像データ記憶部内の記憶領域にデータを書込む。その後、ステップＳ３９０の処理が行なわれる。
【０２０３】
ステップＳ３９０では、画像内の全ての画素に対し、前述したステップＳ３００〜Ｓ３８０の処理が行なわれたか否かが判定される。具体的には、演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したか否かが判定される。演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したと判定されるまでは、前述したステップＳ３００〜Ｓ３８０の処理が繰返し行なわれる。
【０２０４】
ステップ３９０において、演算部２７７１により、画像内の全ての画素に対し、画像データの読出し処理が終了したと判定されると、この輝度補正処理は終了し、リターンする。なお、処理対象画像１００ａ．１６に対する輝度補正処理が終了する時刻は、図１１のｔ５より前である。
【０２０５】
このとき、画像データ記憶部２２３０および画像データ記憶部２２４０のうちのいずれかの記憶領域に１フレーム分の演算処理後の演算処理済画像データの書込みが終了している。その後、メモリ制御部２７５０は、演算処理済画像データが書込まれた記憶領域から演算処理済画像データを読出し、バッファ２７９２へ出力する。
【０２０６】
バッファ２７９２は、メモリ制御部２７５０から出力されたデータを、１フレーム（静止画像）の１ライン分の画像データを一時的に保持する。
【０２０７】
同期信号生成部２７９４は、バッファ２７９２に１ライン分の画像データが記憶される毎に、同期信号ＯＨＶＳＩＧを出力する。同期信号生成部２７９４が、同期信号ＯＨＶＳＩＧを出力すると同時に、バッファ２７９２は、記憶している補正後の補正後画像データ（演算処理済画像データ）ＣＲＲＧＢを出力する。
【０２０８】
その後、連続する処理対象画像１００ａ．１７〜１００ａ．３０の各々に対しても、前述したのと同様に輝度補正処理が行なわれる。処理対象画像１００ａ．１６〜１００ａ．３０に対し輝度補正処理が行なわれている間、処理対象画像１００ａ．１６に対して、前述した補正値算出処理が行なわれ、時刻ｔ８の前には、当該補正値算出処理が終了する。
【０２０９】
以上説明したように、動画像のあるフレーム（処理対象画像１００ａ．１６）の輝度を補正するのに使用する補正値（補正値ｃ１）は、あるフレーム（処理対象画像１００ａ．１６）より、補正値（補正値ｃ１）を算出するのに要する時間より前に処理するフレーム（処理対象画像１００ａ．１）を使用して算出する。そして、補正値（補正値ｃ１）を使用して、あるフレーム（処理対象画像１００ａ．１６）の輝度を補正する。
【０２１０】
これにより、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１１】
また、一度算出した補正値（補正値ｃ１）を、連続する複数のフレーム（処理対象画像１００ａ．１６〜１００ａ．３０）の各々に使用して、輝度補正処理を行なう。
【０２１２】
これにより、連続する複数のフレームの輝度補正処理を行なっている時間を有効に利用して補正値算出処理をすることができ、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１３】
また、一度算出した補正値（補正値ｃ１）を、連続する複数のフレーム（処理対象画像１００ａ．１６〜１００ａ．３０）の各々に使用して輝度補正処理を行なっている期間、当該連続する複数のフレームの次のフレームの輝度補正処理に使用する補正値を算出する。
【０２１４】
これにより、連続する複数のフレームの輝度補正処理を行なっている時間を有効に利用して補正値算出処理をすることができ、動画像に対し、補正値を算出するのに膨大な演算が必要な高度な輝度補正処理をリアルタイムで行なうことができる。
【０２１５】
また、処理対象画像の有する全ての画素ではなく、一部の画素（直接演算対象画素）のみに対し、膨大な演算が必要な補正値算出処理を行ない、それ以外の画素（間接演算対象画素）の各々に対しては、近傍の少なくとも２つの画素に基づいて補正値算出する。
【０２１６】
これにより、１フレーム（処理対象画像）の全ての画素の補正値を算出する時間を大幅に削減することができる。
【０２１７】
また、膨大な演算が必要な補正値算出処理を行なう画素である直接演算対象画素の補正値は、当該直接演算対象画素を含む領域である直接演算対象領域（ラージ領域１２０、スモール領域１４０）内の全ての画素ではなく、所定の規則で間引いて選択した複数の画素に基づいて算出する。
【０２１８】
所定の規則は、直接演算対象画素との距離が所定距離以内にある画素は、隣合う画素の間隔が所定距離より短い小間隔になるという規則である。
【０２１９】
また、所定の規則は、直接演算対象画素との距離が所定距離より離れている位置にある画素は、隣合う画素の間隔が小間隔より大きくなるという規則である。
【０２２０】
これにより、直接演算対象画素の補正値を求めるために必要な画素の数を削減することができるので、演算量を大きく削減することができる。
【０２２１】
なお、本実施の形態における輝度補正システムでは、輝度補正値装置２０００の代わりに高速な処理速度を有するパーソナルコンピュータ（ＰＣ）を用いてもよい。
【０２２２】
図１５は、パーソナルコンピュータ２０００ａを利用したシステムの一例としての輝度補正システム２００００のブロック図を示す。
【０２２３】
図１５を参照して、輝度補正システム２００００は、図１の輝度補正システム１００００と比較して、輝度補正値装置２０００の代わりにパーソナルコンピュータ２０００ａを使用する点が異なる。それ以外の構成は、輝度補正システム１００００と同様なので詳細な説明は繰り返さない。
【０２２４】
パーソナルコンピュータ２０００ａは、高速な演算処理が可能なマイクロプロセッサ２２００ａと、データを一時的に記憶可能なメモリ２３００ａと、ハードディスク２４００ａとを備える。
【０２２５】
ハードディスク２４００ａには、マイクロプロセッサ２０００ａに所定の処理を行なわせる画像処理プログラム２５００ａが記憶されている。
【０２２６】
画像処理プログラム２５００ａは、パーソナルコンピュータ２０００ａ（マイクロプロセッサ２０００ａ）に前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行させるためのプログラムである。
【０２２７】
マイクロプロセッサ２０００ａは、ハードディスク２４００ａから画像処理プログラム２５００ａを読み込んで、メモリ２３００ａをワークメモリとして使用し、前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行する。すなわち、画像処理プログラム２５００ａは、パーソナルコンピュータ２０００ａを輝度補正装置２０００として機能させるためのプログラムである。
【０２２８】
以上のように、パーソナルコンピュータ２０００ａに前述した正規化係数算出処理、補正値算出処理、輝度補正処理、輝度補正装置２０００が行なうその他の処理を実行させることにより、輝度補正システム１００００と同様な効果を得ることができる。
【０２２９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２３０】
【図１】輝度補正装置を利用したシステムの一例としての輝度補正システムのブロック図を示す。
【図２】輝度補正処理部のブロック図を示す。
【図３】画像処理プロセッサの内部の詳細なブロック図を示す。
【図４】画像処理プロセッサの内部の詳細なブロック図を示す。
【図５】複数のブロックに分割された画像の状態を示す図である。
【図６】前述した注目画素からの距離に応じて変化する周辺関数の値を示す図である。
【図７】注目画素からの距離による周辺関数算出領域を変化させた状態を示す図である。
【図８】注目画素に対して補正値を計算する際に使用する周辺画素を有する領域を示す図である。
【図９】補正値算出用周辺画素を示す図である。
【図１０】所定のサイズのブロック毎に算出する補正値を利用して、補正値を算出していない画素の補正値を算出する補間処理を説明するための図である。
【図１１】動画像輝度補正処理を説明するための図である。
【図１２】正規化係数算出処理のフローチャートを示す。
【図１３】補正値算出処理のフローチャートを示す。
【図１４】輝度補正処理のフローチャートを示す。
【図１５】パーソナルコンピュータを利用したシステムの一例としての輝度補正システムのブロック図を示す。
【符号の説明】
【０２３１】
２０００，２２００ 輝度補正装置、２０００ａ パーソナルコンピュータ、２２３０, ２２４０，２２６０ データ記憶部、２７００，２８００ 画像処理プロセッサ、２７１０ 補正値記憶部、２７７０ 輝度補正部、２８１０ 補正値演算部、２７７１，２８１４ 演算部、２７７２ 補間処理部、２７７３ 輝度処理部、２８１６ データ記憶部、１００００，２００００ 輝度補正システム。
【特許請求の範囲】
【請求項１】
各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置であって、
前記複数の画像の各々の輝度を補正するための補正値を算出する補正値演算部と、
前記補正値演算部が第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した前記補正値を利用して前記第ｎ番目の画像の輝度を補正する輝度補正部とを備える、輝度補正装置。
【請求項２】
前記輝度補正部は、前記補正値演算部が前記（ｎ−ｍ）番目の画像に基づいて算出した、前記補正値を利用して前記第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する、請求項１に記載の輝度補正装置。
【請求項３】
前記輝度補正部が前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像の輝度を補正する間、前記補正値演算部は前記（ｎ＋ｐ＋１）番目以降の画像を補正するための前記補正値を、前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する、請求項２に記載の輝度補正装置。
【請求項４】
前記複数の画像の各々は、複数の画素から構成され、
前記複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、
前記補正値演算部は、前記複数の直接演算対象画素の各々に対し、前記直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて前記補正値を算出し、前記複数の間接演算対象画素の各々に対しては、前記間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて前記補正値を算出する、請求項１に記載の輝度補正装置。
【請求項５】
前記補正値演算部は、前記複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて前記補正値を算出し、
前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう前記複数の画素から選択された画素であり、前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が前記所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が前記小間隔より大きくなるよう前記複数の画素から選択された画素である、請求項４に記載の輝度補正装置。
【請求項６】
各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置として、記憶部を備えるコンピュータを機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
前記コンピュータの前記記憶部に格納されているデータを読み出して、
前記複数の画像の各々の輝度を補正するための補正値を算出するステップと、
前記補正値を算出するステップが第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した前記補正値を利用して前記第ｎ番目の画像の輝度を補正するステップとを実行させる、プログラム。
【請求項７】
前記画像の輝度を補正するステップは、前記補正値を算出するステップが前記（ｎ−ｍ）番目の画像に基づいて算出した、前記補正値を利用して前記第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する、請求項６に記載のプログラム。
【請求項８】
前記画像の輝度を補正するステップが前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像の輝度を補正する間、前記補正値を算出するステップは前記（ｎ＋ｐ＋１）番目以降の画像を補正するための前記補正値を、前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する、請求項７に記載のプログラム。
【請求項９】
前記複数の画像の各々は、複数の画素から構成され、
前記複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、
前記補正値を算出するステップは、前記複数の直接演算対象画素の各々に対し、前記直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて前記補正値を算出し、前記複数の間接演算対象画素の各々に対しては、前記間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて前記補正値を算出する、請求項６に記載のプログラム。
【請求項１０】
前記補正値を算出するステップは、前記複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて前記補正値を算出し、
前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう前記複数の画素から選択された画素であり、前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が前記所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が前記小間隔より大きくなるよう前記複数の画素から選択された画素である、請求項９に記載のプログラム。
【請求項１】
各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置であって、
前記複数の画像の各々の輝度を補正するための補正値を算出する補正値演算部と、
前記補正値演算部が第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した前記補正値を利用して前記第ｎ番目の画像の輝度を補正する輝度補正部とを備える、輝度補正装置。
【請求項２】
前記輝度補正部は、前記補正値演算部が前記（ｎ−ｍ）番目の画像に基づいて算出した、前記補正値を利用して前記第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する、請求項１に記載の輝度補正装置。
【請求項３】
前記輝度補正部が前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像の輝度を補正する間、前記補正値演算部は前記（ｎ＋ｐ＋１）番目以降の画像を補正するための前記補正値を、前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する、請求項２に記載の輝度補正装置。
【請求項４】
前記複数の画像の各々は、複数の画素から構成され、
前記複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、
前記補正値演算部は、前記複数の直接演算対象画素の各々に対し、前記直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて前記補正値を算出し、前記複数の間接演算対象画素の各々に対しては、前記間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて前記補正値を算出する、請求項１に記載の輝度補正装置。
【請求項５】
前記補正値演算部は、前記複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて前記補正値を算出し、
前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう前記複数の画素から選択された画素であり、前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が前記所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が前記小間隔より大きくなるよう前記複数の画素から選択された画素である、請求項４に記載の輝度補正装置。
【請求項６】
各々が所定期間毎に順次表示されることにより動画像となる、第１番目から第ｎ（ｎ：自然数）番目まで予め順序付けられた複数の画像の輝度を補正する輝度補正装置として、記憶部を備えるコンピュータを機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
前記コンピュータの前記記憶部に格納されているデータを読み出して、
前記複数の画像の各々の輝度を補正するための補正値を算出するステップと、
前記補正値を算出するステップが第（ｎ−ｍ）番目（ｍ：ｎより小さい自然数）の画像に基づいて算出した前記補正値を利用して前記第ｎ番目の画像の輝度を補正するステップとを実行させる、プログラム。
【請求項７】
前記画像の輝度を補正するステップは、前記補正値を算出するステップが前記（ｎ−ｍ）番目の画像に基づいて算出した、前記補正値を利用して前記第ｎ番目から第（ｎ＋ｐ）番目（ｐ：ｍ以下の自然数）の画像の輝度を補正する、請求項６に記載のプログラム。
【請求項８】
前記画像の輝度を補正するステップが前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像の輝度を補正する間、前記補正値を算出するステップは前記（ｎ＋ｐ＋１）番目以降の画像を補正するための前記補正値を、前記第ｎ番目から前記第（ｎ＋ｐ）番目の画像のいずれかに基づいて算出する、請求項７に記載のプログラム。
【請求項９】
前記複数の画像の各々は、複数の画素から構成され、
前記複数の画素は、所定間隔毎に配列された複数の直接演算対象画素と、複数の間接演算対象画素とを含み、
前記補正値を算出するステップは、前記複数の直接演算対象画素の各々に対し、前記直接演算対象画素を含む領域である直接演算対象領域の内部の複数の直接演算対象領域内画素の輝度値に基づいて前記補正値を算出し、前記複数の間接演算対象画素の各々に対しては、前記間接演算対象画素の近傍の少なくとも２つの直接演算対象画素に基づいて前記補正値を算出する、請求項６に記載のプログラム。
【請求項１０】
前記補正値を算出するステップは、前記複数の直接演算対象領域内画素の一部である複数の直接演算対象領域内間引き画素の輝度値に基づいて前記補正値を算出し、
前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が所定距離以内である直接演算対象領域内間引き画素は、隣合う画素の間隔が所定距離より短い小間隔になるよう前記複数の画素から選択された画素であり、前記複数の直接演算対象領域内間引き画素のうち、前記直接演算対象画素との距離が前記所定距離より長い直接演算対象領域内間引き画素は、隣合う画素の間隔が前記小間隔より大きくなるよう前記複数の画素から選択された画素である、請求項９に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−３３５９５（Ｐ２００６−３３５９５Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００４−２１１７１５（Ｐ２００４−２１１７１５）
【出願日】平成１６年７月２０日（２００４．７．２０）
【出願人】（５９８１４２９８８）株式会社シンセシス (16)
【出願人】（５０４２７５９１５）
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１６年７月２０日（２００４．７．２０）
【出願人】（５９８１４２９８８）株式会社シンセシス (16)
【出願人】（５０４２７５９１５）
【Ｆターム（参考）】
[ Back to top ]