画像処理装置、画像処理プログラムおよび画像処理方法
【課題】複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うこと。
【解決手段】本発明のある実施の形態において、画像処理装置５は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を色信号の更新時毎に処理する。この画像処理装置５において、明るさ検出部６０は、色信号の更新時においてこの更新時における処理対象の画像信号の明るさレベルを検出し、検出した明るさレベルを時系列順に記憶しておく。変換部７０は、明るさ検出部６０において時系列順に記憶されている明るさレベルを用いて処理対象の画像信号に補正処理を行い、得られた補正画像信号をもとに階調変換特性を算出する。そして、変換部７０は、この階調変換特性を用いて補正画像信号に対して階調変換処理を行う。
【解決手段】本発明のある実施の形態において、画像処理装置５は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を色信号の更新時毎に処理する。この画像処理装置５において、明るさ検出部６０は、色信号の更新時においてこの更新時における処理対象の画像信号の明るさレベルを検出し、検出した明るさレベルを時系列順に記憶しておく。変換部７０は、明るさ検出部６０において時系列順に記憶されている明るさレベルを用いて処理対象の画像信号に補正処理を行い、得られた補正画像信号をもとに階調変換特性を算出する。そして、変換部７０は、この階調変換特性を用いて補正画像信号に対して階調変換処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
一般的に、ＣＣＤ等の撮像素子で撮像された画像信号を入力し処理する際の階調幅は、デジタル信号処理の桁落ちによる画質劣化を防止するため、表示画像信号等として最終的に出力する際の階調幅（通常８Ｂｉｔ）に対して例えば１０〜１４ビット程度と広く設定されている。このため、画像信号を出力する際には、入力および処理時の階調幅から出力時の階調幅に合致するように画像信号に対して階調変換処理を行う必要がある。
【０００３】
この階調変換処理の方法としては、例えば、標準的なシーンをもとに予め算出しておいた固定的な階調変換特性を用いる方法が知られている。また、撮影シーンに応じて階調変換特性を算出し、階調変換処理を適応的に行う方法も提案されている。例えば、特許文献１には、輝度値のヒストグラムをもとに階調補正特性（階調変換特性）を算出する方法が開示されている。この特許文献１では、階調変換特性の変更量が大きすぎることによって生じる動画像のちらつきを防止するため、階調変換特性の変更量の許容値を輝度値のヒストグラムから動的に生成することによって、動画像に対する適切な階調補正を保ちつつ階調補正の追従性を向上させている。
【０００４】
一方で、被写体像をカラーで表示する電子内視鏡装置の照明方式として、面順次方式と同時方式とがある。面順次方式の照明方式を用いた場合、画素数が少ない場合にも解像度が比較的高くて色再現性に優れているため、微妙な色の変化を観察する必要がある医療分野では、面順次方式の電子内視鏡装置が広く用いられている。また、近年では、狭帯域の照明光を用いて狭帯域光観察像を得ることができる面順次方式の内視鏡装置が提案されている。この面順次方式の内視鏡装置は、例えば赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色の色波長域の光を透過させる色透過フィルタを用い、Ｒ，Ｇ，Ｂそれぞれの単色の照明光を間欠的に照射しながらＣＣＤ等の撮像素子によって被写体の観察像を色毎に順次撮像していく。そして、得られたＲ，Ｇ，Ｂの各色信号を順次入力して同時化処理し、３板状態の画像信号としている。
【０００５】
このように、面順次方式の撮像方式では、Ｒ，Ｇ，Ｂの各色信号がこの順に入力されて順次更新されていく。例えば、今回の更新時刻でＲの色信号が更新された場合には、次の更新時刻ではＧの色信号が更新され、さらに次の更新時刻ではＢの色信号が更新される。そして、この間Ｒの色信号は前回値が保持され、その後の更新時刻で入力されたＲの色信号によって更新されることとなる。そして、同時化処理は、このように入力されて順次更新されるＲ，Ｇ，Ｂの各色信号を保持し、更新時刻毎に３板状態に同時化することによって行う。このため、同時化処理された面順次方式の画像信号は、その色信号のうちの１つが該当する更新時刻で更新されたものとなる。例えばＲの色信号が入力された場合にはＲの色信号を更新するが、この更新したＲの色信号と、前回更新されてそのまま保持されているＧの色信号およびＢの色信号とが同時化される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上記のように各更新時刻で同時化処理される面順次方式の画像信号から輝度値を算出する場合、得られた値がその更新時刻における実際の被写体の明るさを再現していない場合があった。例えば赤色の被写体を撮像した場合、その輝度値はＲの色信号値が支配的な値として算出されるため、Ｒの色信号の更新時刻では被写体の明るさを再現した値として得られる。しかしながら、Ｇの色信号やＢの色信号の更新時刻では、Ｒの色信号が前回値となるため、必ずしもその更新時刻における実際の被写体の明るさを再現していない事態が生じ得る。
【０００８】
さらに、実際の照明光が時系列順に滑らかに変化している場合であっても、算出される輝度値が被写体において支配的な特定の色信号の更新時刻で段階的に変化してしまい、画像信号を動画再生した際にちらつきが発生する場合がある。このため、面順次方式の画像信号では、特許文献１の技術を適用して輝度値をもとに各更新時刻における被写体の明るさを検出し、階調変換特性に反映させて階調変換処理を行うこととすると、動画再生の際のちらつきが増大してしまうという問題があった。また、特許文献１の技術では、階調補正特性（階調変換特性）の変更量の許容値を小さく設定した場合に、階調変換の効果を十分に得られないという問題もあった。
【０００９】
本発明は、上記事情に鑑みてなされたものであって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理装置であって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出部と、前記明るさレベルを時系列順に記憶する明るさレベル記憶部と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正部と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出部と、前記階調変換特性算出部が前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出部が前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換部と、を備えることを特徴とする。
【００１１】
この態様にかかる画像処理装置によれば、色信号の更新時において処理対象の画像信号の明るさレベルを検出して時系列順に記憶しておき、この明るさレベルを用いて処理対象の画像信号に補正処理を行って補正画像信号を生成することができる。そして、処理対象の画像信号をもとに階調変換特性を算出し、この階調変換特性を用いて補正画像信号に対して階調変換処理を行うことができる。あるいは、補正画像信号をもとに階調変換特性を算出し、この階調変換特性を用いて処理対象の画像信号または補正画像信号に対して階調変換処理を行うことができる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる。
【００１２】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理させるための画像処理プログラムであって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出手順と、前記明るさレベルを時系列順に記憶する明るさレベル記憶手順と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正手順と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出手順と、前記階調変換特性算出手順で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出手順で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換手順と、を前記コンピュータに実行させることを特徴とする。
【００１３】
また、本発明の別の態様にかかる画像処理方法は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理方法であって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出工程と、前記明るさレベルを時系列順に記憶する明るさレベル記憶工程と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正工程と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出工程と、前記階調変換特性算出工程で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出工程で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換工程と、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施の形態１における内視鏡装置の全体構成例を模式的に示したブロック図である。
【図２】図２は、Ｒ，Ｇ，Ｂの各色信号の更新時刻を説明する説明図である。
【図３】図３は、明るさ検出部および変換部の動作原理を説明する説明図である。
【図４】図４は、実施の形態１における明るさ検出部の構成例を説明するブロック図である。
【図５】図５は、実施の形態１における変換部の構成例を説明するブロック図である。
【図６】図６は、変形例の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図７】図７は、変形例におけるコンピューターシステムの構成を示すシステム構成図である。
【図８】図８は、図７のコンピューターシステムにおける本体部の構成を示すブロック図である。
【図９】図９は、変形例におけるＣＰＵの処理手順を示す全体フローチャートである。
【図１０】図１０は、明るさ検出処理の詳細な処理手順を示すフローチャートである。
【図１１】図１１は、変換処理の詳細な処理手順を示すフローチャートである。
【図１２】図１２は、実施の形態２の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図１３】図１３は、実施の形態３の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図１４】図１４は、実施の形態４の内視鏡装置が備える画像処理装置の明るさ検出部の構成例を説明するブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、以下では、本発明の画像処理装置を内視鏡装置に適用した場合について説明するが、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１７】
（実施の形態１）
先ず、実施の形態１について説明する。図１は、実施の形態１における内視鏡装置１の全体構成例を模式的に示したブロック図である。図１に示すように、実施の形態１の内視鏡装置１は、電子内視鏡３と、画像処理装置５と、光源装置９と、出力部１１と、外部Ｉ／Ｆ部１３とを備える。
【００１８】
電子内視鏡３は、可撓性を有する細長の挿入部３１と、この挿入部３１の基端に設けられた操作部３３と、一端が操作部３３を介して挿入部３１の基端と接続され、他端側が２股に分岐したケーブル３５とを備える。このケーブル３５の分岐した一方の先端にはコネクタ３７が設けられ、挿入部３１と画像処理装置５とを接続している。また、ケーブル３５の分岐した他方の先端にはコネクタ３９が設けられ、挿入部３１と光源装置９とを接続している。
【００１９】
挿入部３１は、その先端部分が湾曲操作可能に構成されており、被検部位の観察等を行うために被検体内に挿入される。この挿入部３１の先端部分には、対物レンズ４１と、撮像素子である例えばＣＣＤ４３とが取り付けられている。ＣＣＤ４３は、白黒の単板ＣＣＤで構成され、対物レンズ４１の結像位置に配置されている。このＣＣＤ４３には、駆動信号線４５および出力信号線４６が接続されており、これら駆動信号線４５および出力信号線４６は、ケーブル３５およびコネクタ３７を介して画像処理装置５と電気的に接続されている。
【００２０】
また、挿入部３１およびケーブル３５の内部には、光源装置９からの照明光を挿入部３１の先端まで伝達するライトガイド４７が設けられている。なお、図１中では、ハッチングを付してライトガイド４７を示している。このライトガイド４７は、例えばグラスファイバ束等で実現され、入射端がコネクタ３９を介して光源装置９と接続され、出射端が挿入部３１の先端面に配置されるように挿入部３１およびケーブル３５内に配設されている。
【００２１】
操作部３３は、例えば挿入部３１の先端部分の湾曲操作等を入力するためのものである。この操作部３３は、各種機能が割り当てられたボタンスイッチ等の操作部材で実現される。医師等のユーザは、挿入部３１を被検体内に挿入し、操作部３３を操作することで挿入部３１の先端部分を湾曲操作等しながら、被検体内を観察する。
【００２２】
画像処理装置５は、ＣＣＤ駆動部５１と、前処理部５２と、Ａ／Ｄコンバーター５３と、ゲイン調整部５４と、同時化部５５と、明るさ検出部６０と、変換部７０と、Ｄ／Ａコンバーター５６と、制御部５７とを備える。なお、図１中において、画像処理装置５の各部間を接続してＲ，Ｇ，Ｂの各色信号やこれらの色信号が同時化された面順次方式の画像信号（以下、「ＲＧＢ画像信号」と呼ぶ。）等のデータ信号を伝送するデータ信号線を実線で示し、制御信号を伝送する制御信号線を破線で示している。ここで、ＣＣＤ４３と接続される出力信号線４６からは、色信号がＲ，Ｇ，Ｂの順に順次供給されるようになっており、この色信号は、コネクタ３７を介して前処理部５２に入力されるようになっている。一方、ＣＣＤ駆動部５１からの駆動信号は、コネクタ３９を介し、ＣＣＤ４３と接続される駆動信号線４５に供給されるようになっている。また、前処理部５２、Ａ／Ｄコンバーター５３、ゲイン調整部５４、同時化部５５、変換部７０およびＤ／Ａコンバーター５６はこの順に接続されている。また、同時化部５５は明るさ検出部６０に接続され、明るさ検出部６０は、ゲイン調整部５４、変換部７０および絞り駆動部９７にそれぞれ接続されている。そして、Ｄ／Ａコンバーター５６からは、各部によって処理されて得られたＲＧＢ画像信号が出力され、出力部１１に入力されるようになっている。
【００２３】
ＣＣＤ駆動部５１は、ＣＣＤ４３を駆動するための駆動信号を生成し、ＣＣＤ４３へ出力する。このようにして駆動されるＣＣＤ４３からのＲ，Ｇ，Ｂの単色の色信号は、前述のように前処理部５２へ入力される。
【００２４】
前処理部５２は、ＣＣＤ４３から入力された色信号に対して増幅処理や波形整形処理等を行う。処理後の色信号は、Ａ／Ｄコンバーター５３へ出力される。
【００２５】
Ａ／Ｄコンバーター５３は、入力された色信号をＡ／Ｄ変換処理してデジタルデータ化する。ここでは、Ａ／Ｄコンバーター５３として、例えば入力された色信号を１２ビットの階調幅でデジタル変換するものを用いる。処理後の色信号は、ゲイン調整部５４へ出力される。
【００２６】
ゲイン調整部５４は、入力された色信号にゲイン調整処理を行う。このとき、ゲイン調整部５４は、明るさ検出部６０（詳細には図４の撮影条件算出部６７）から入力されるゲイン調整値を用いてゲイン調整処理を行う。処理後の色信号は、同時化部５５へ出力される。
【００２７】
同時化部５５は、入力された色信号の値（色信号値）を該当する色信号用のメモリ（予め用意されるＲ，Ｇ，Ｂの色毎のＲメモリ，Ｇメモリ，Ｂメモリ）に入力し、各Ｒメモリ、Ｇメモリ、Ｂメモリの値を入力された色信号で順次更新しながら保持するとともに、これらＲメモリ、ＧメモリおよびＢメモリのＲ，Ｇ，Ｂの各色信号を３板状態のＲＧＢ画像信号として同時化する。例えば、今回の更新時刻でＲの色信号が入力され、Ｒメモリを更新した場合には、この更新されたＲの色信号と、現時点でＧメモリおよびＢメモリによってそれぞれ保持されているＧの色信号およびＢの色信号とを同時化する。この場合に現時点で保持されているＢの色信号は直前の更新時刻で更新されたものであり、Ｇの色信号はそのさらに１つ前の更新時刻で更新されたものである。同時化されたＲＧＢ画像信号は、明るさ検出部６０および変換部７０にそれぞれ出力される。
【００２８】
図２は、Ｒ，Ｇ，Ｂの各色信号の更新時刻を説明する説明図である。図２に示すように、例えば更新時刻を示す時刻ｔ＝１でＲ波長の信号値であるＲの色信号値がＲ（１）に更新され、続く時刻ｔ＝２でＧ波長の信号値であるＧの色信号値がＧ（２）に更新され、続く時刻ｔ＝３でＢ波長の信号値であるＢの色信号値がＢ（３）に更新される。そして、次の時刻ｔ＝４では、Ｒの色信号値がＲ（１）からＲ（４）に更新され、以降同様にしてＲ，Ｇ，Ｂの各色信号値が順番に更新されていく。ここで、時刻ｔ＝３に着目すると、この時刻ｔ＝３で更新されたＢの色信号値Ｂ（３）と、時刻ｔ＝１で更新されたＲの色信号値Ｒ（１）と、時刻ｔ＝２で更新されたＧの色信号値Ｇ（２）とが同時化され、ＲＧＢ画像信号として出力される。また、続く時刻ｔ＝４に着目すると、この時刻ｔ＝４で更新されたＲの色信号値Ｒ（４）と、時刻ｔ＝２で更新されたＧの色信号値Ｇ（２）と、時刻ｔ＝３で更新されたＢの色信号値Ｂ（３）とが同時化され、ＲＧＢ画像信号として出力される。
【００２９】
明るさ検出部６０は、入力されたＲＧＢ画像信号から明るさレベルを検出し、検出した明るさレベルを内部のメモリ（図４の明るさレベル記憶部６５）に記憶しておく。また、明るさ検出部６０は、検出した明るさレベルをもとにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、絞り開閉値は絞り駆動部９７へ出力される。
【００３０】
変換部７０は、明るさ検出部６０に記憶されている明るさレベルを読み出し、読み出した明るさレベルを用いて入力されたＲＧＢ画像信号を階調変換処理する。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【００３１】
Ｄ／Ａコンバーター５６は、入力されたＲＧＢ画像信号をＤ／Ａ変換処理してアナログデータ化する。処理後のＲＧＢ画像信号は、出力部１１へ出力される。
【００３２】
制御部５７は、制御信号線によって画像処理装置５を構成する各部や光源装置９のモーター駆動部９４および絞り駆動部９７、出力部１１、外部Ｉ／Ｆ部１３等と電気的に接続され、各部の動作を統括的に制御する。この制御部５７は、各部の動作制御に必要な各種データやプログラム等が記憶されるメモリを内蔵したマイクロコンピューター等で実現される。
【００３３】
光源装置９は、電子内視鏡３に照明光を供給し、被写体（ＣＣＤ４３による撮像視野）を照明するためのものである。この光源装置９は、白色光を照射する光源ランプ９１と、モーター９２と、モーター９２を駆動源とする回転フィルタ９３と、モーター駆動部９４と、集光レンズ９５と、絞り９６と、絞り駆動部９７とを備える。
【００３４】
回転フィルタ９３は、Ｒ，Ｇ，Ｂ各色の色波長域の光を透過させる３枚の色透過フィルタ９３１を回転自在に保持する。この回転フィルタ９３は、円板状の遮光板に形成された３つの装着穴にＲ，Ｇ，Ｂ各色の色透過フィルタ９３１がそれぞれ装着されて構成される。そして、回転フィルタ９３は、モーター９２の駆動力によって中心を軸中心として回転することによって、Ｒ，Ｇ，Ｂ各色の色透過フィルタ９３１を光源ランプ９１から照射される白色光の光路上に順番に挿入する。光源ランプ９１から照射された白色光は、この回転フィルタ９３を経由することで間欠的に遮断され、順次Ｒ，Ｇ，Ｂそれぞれの単色の照明光となる。
【００３５】
モーター駆動部９４は、モーター９２と電気的に接続され、このモーター９２の駆動を制御する。絞り駆動部９７は、絞り９６と電気的に接続され、画像処理装置５の明るさ検出部６０（詳細には図４の撮影条件算出部６７）から入力される絞り開閉値を用いて絞り９６の開閉駆動を制御する。
【００３６】
内視鏡装置１は、この光源装置９を構成する回転フィルタ９３のＲ，Ｇ，Ｂ各色の色透過フィルタ９３１を切り換えながら面順次方式で被写体の観察像を連続的に撮像していく。ここで、被写体の撮像動作について説明すると、先ず、光源ランプ９１から照射された白色光が、回転フィルタ９３を透過することによって順次Ｒ，Ｇ，Ｂの単色の照明光となって集光レンズ９５に入射する。そして、この集光レンズ９５によって集光されたＲ，Ｇ，Ｂの単色の照明光は、絞り９６を通過してライトガイド４７の入射端に入射される。その後、ライトガイド４７の射出端から射出されて被写体（被検体内の被検部位）を照明する。そして、被写体を照明したＲ，Ｇ，Ｂの単色の照明光は、観察光として反射されて対物レンズ４１に入射し、ＣＣＤ４３の撮像面に結像される。ＣＣＤ４３は、このようにして撮像面に結像された被写体の観察像を光電変換し、Ｒ，Ｇ，Ｂの単色の色信号として順次出力信号線に供給する。
【００３７】
なお、回転フィルタ９３は、制御部５７の制御のもとでモーター駆動部９４が駆動するモーター９２によって、例えば２０Ｈｚの回転周波数で回転制御される。また、ＣＣＤ４３の露光と遮光とは、制御部５７によって回転フィルタ９３の回転動作と同期するように制御されており、例えば回転フィルタ９３の回転周波数が２０Ｈｚの場合であれば、露光時間と遮光時間とが合わせて１／６０秒となるように制御される。
【００３８】
出力部１１は、入力されたＲＧＢ画像信号をもとに被写体である被検体内の被検部位を撮影した画像（内視鏡画像）をカラー表示する不図示の表示部と、この内視鏡画像を記録する不図示の記録部とを含む。表示部は、例えばＬＣＤやＥＬディスプレイ等の表示装置で実現される。また、記録部は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、例えばＣＤ−ＲＯＭ等の各種記録媒体およびその読取装置等によって実現される。
【００３９】
外部Ｉ／Ｆ部１３は、例えば撮影モード等の内視鏡装置１の各種モードの切換操作、撮影条件の設定操作、電源のＯＮ／ＯＦＦの切換操作等を行うためのインターフェース装置である。撮影条件の設定操作としては、例えば絞り９６の開閉を自動的に制御する自動調光処理等に用いる基準値を必要に応じて予め設定される初期値から設定・変更できるようになっている。またこの他にも、ユーザは、外部Ｉ／Ｆ部１３を介し、出力部１１を構成する表示部へのメニュー画面の表示やカラーバー等のテスト画面の表示、文字情報やマスク画像の重畳表示等の指示を必要に応じて行えるようになっている。実施の形態１では、この外部Ｉ／Ｆ部１３は、例えば、ボタンスイッチやダイヤル等の各種操作部材、マウス、タッチパネル、キーボードといった入力装置で実現され、これらに対する操作信号を制御部５７へ出力する。
【００４０】
ここで、画像処理装置５の明るさ検出部６０および変換部７０の動作原理について従来の問題点と併せて図３を参照して説明する。図３（ａ）は、横軸を各色信号の更新時刻を示す時刻ｔとし、縦軸を照明強度として、実際に撮像時に照射された照明光の照明強度をプロットした図である。図３（ｂ）は、図３（ａ）の照明強度で得られたＲＧＢ画像信号の画像信号値の一例を示す図であり、各更新時刻におけるＲＧＢ画像信号の各色信号の色信号値をプロットして示している。図３（ｃ）は、図３（ｂ）の画像信号値をもとに算出された各更新時刻におけるＲＧＢ画像信号の輝度値を示す図である。
【００４１】
上記したように、面順次方式の画像信号であるＲＧＢ画像信号は、その色信号のうちの１つが該当する更新時刻で更新されたものである。例えば、図３（ｂ）に示すように、時刻ｔ＝７ではＲの色信号値が更新される。この時刻ｔ＝７では、Ｇの色信号およびＢの色信号値は前回更新された値がそのまま保持される。また、続く時刻ｔ＝８，９では、時刻ｔ＝７で更新されたＲの色信号値が保持される。なお、時刻ｔ＝８ではＧの色信号値が更新され、時刻ｔ＝９ではＢの色信号が更新される。その後、時刻ｔ＝１０においてＲの色信号値が更新される。
【００４２】
ところで、図３（ｂ）では、赤色が支配的な被写体を撮像した場合の画像信号値を示しており、Ｒの色信号値がＧの色信号やＢの各色信号値に比べて大きい。このような場合、各更新時刻におけるＲＧＢ画像信号の輝度値は、Ｒの色信号値が支配的な値として算出される。例えば、図３（ｃ）に示すように、時刻ｔ＝８，９における輝度値は、時刻ｔ＝７で更新されたＲの色信号値が支配的な値として算出される。このように、赤色が支配的な被写体の場合、ＲＧＢ画像信号の輝度値は、Ｒの色信号の更新時刻で段階的に変化する。ところが、時刻ｔ＝７〜９における実際の照明強度は、図３（ａ）に示すように滑らかに変化しており、時刻ｔ＝８，９における輝度値の変化と実際の照明強度の変化とにズレが生じてしまう。
【００４３】
以上のように、面順次方式の画像信号を処理する場合、各更新時刻における輝度値が実際の被写体の明るさを忠実に再現していない事態が発生し、このＲＧＢ画像信号を動画再生した際にちらつきが発生する問題があった。特に、照明強度が急峻に変化する場合、輝度値は支配的な色信号の更新時刻間で大きく変化することとなり、問題であった。さらに、各更新時刻における輝度値をもとに被写体の明るさを検出し、階調変換特性に反映させて階調変換処理を行うと、動画再生の際のちらつきが増大してしまう。
【００４４】
そこで、実施の形態１では、明るさ検出部６０は、色信号の更新時刻毎に支配的な色（各色信号の中で輝度値に対する寄与率が最も高い色）を検出し、検出した支配的な色に応じて被写体の明るさレベルを算出する。例えば、赤色が支配的な場合、Ｒの色信号の更新時刻においては輝度値が被写体の明るさを表しているため、その更新時刻における輝度値を被写体の明るさレベルとする。一方、Ｇの色信号およびＢの色信号の更新時刻においては、過去のＲの色信号の更新時刻における明るさレベルをもとに補間することでその更新時刻における明るさレベルを算出する。なお、被写体において支配的な色が緑色の場合であれば、Ｇの色信号の更新時刻においてはそのときの輝度値を被写体の明るさレベルとする。また、ＲおよびＢの色信号の更新時刻においては過去のＧの色信号の更新時刻における明るさレベルをもとに補間することで、その更新時刻における明るさレベルを算出する。同様に、青色が支配的な場合には、Ｂの色信号の更新時刻においてはそのときの輝度値を被写体の明るさレベルとする。また、ＲおよびＧの色信号の更新時刻においては過去のＢの色信号の更新時刻における明るさレベルをもとに補間することで、その更新時刻における明るさレベルを算出する。そして、変換部７０は、明るさ検出部６０が前述のように色信号の更新時刻毎に算出した明るさレベルを用い、今回の更新時刻で同時化されたＲＧＢ画像信号を階調変換処理する。
【００４５】
次に、これら明るさ検出部６０および変換部７０の具体的な構成について説明する。先ず、明るさ検出部６０について説明する。図４は、実施の形態１における明るさ検出部６０の構成例を説明するブロック図である。図４に示すように、明るさ検出部６０は、輝度値算出部６１と、明るさレベル算出部６３と、明るさレベル記憶部６５と、撮影条件算出部６７とを備え、各部は制御部５７の制御のもとで動作する。ここで、実施の形態１では、輝度値算出部６１および明るさレベル算出部６３が明るさレベル検出部に対応している。また、輝度値算出部６１は、輝度値算出部に対応するとともに、寄与信号検出部に対応している。
【００４６】
ここで、同時化部５５からのＲＧＢ画像信号は、輝度値算出部６１に入力されるようになっている。輝度値算出部６１は明るさレベル算出部６３に接続されている。また、明るさレベル算出部６３は、撮影条件算出部６７に接続されるとともに、明るさレベル記憶部６５と双方向に接続されている。そして、撮影条件算出部６７は、ゲイン調整部５４および絞り駆動部９７にそれぞれ接続されている。
【００４７】
また、明るさレベル記憶部６５は、明るさレベル算出部６３によって算出された明るさレベルを記憶しておくためのメモリであり、明るさレベル算出部６３によって算出された所定数個の明るさレベルの値が時系列順に記憶される。この明るさレベル記憶部６５に記憶された明るさレベルは、明るさレベル算出部６３や後段の変換部７０によって読み出され、これら各部での処理に用いられる。
【００４８】
輝度値算出部６１は、同時化部５５から入力されたＲＧＢ画像信号をもとに輝度値を算出し、算出した輝度値をもとに最大寄与信号を検出する。算出された輝度値および検出された最大輝度信号は、明るさレベル算出部６３へ出力される。
【００４９】
具体的には、輝度値算出部６１は、入力されたＲＧＢ画像信号をもとに、Ｒ，Ｇ，Ｂの色信号毎に色平均値を算出する。この色平均値は、該当する色信号全体の平均値として算出する構成としてもよいし、該当する色信号の局所領域における平均値として算出する構成としてもよい。ここで、以下の説明において今回の更新時刻を時刻ｔと表記する。また、この時刻ｔにおける各色平均値をそれぞれＲａｖ（ｔ），Ｇａｖ（ｔ），Ｂａｖ（ｔ）と表記する。輝度値算出部６１は、このようにして算出した色平均値Ｒａｖ（ｔ），Ｇａｖ（ｔ），Ｂａｖ（ｔ）をもとに、時刻ｔにおける輝度値Ｙ（ｔ）を次式（１）〜（４）に従って算出する。
【数１】
【００５０】
また、輝度値算出部６１は、各色信号の中で輝度値Ｙ（ｔ）に対する寄与率が最も高い色を最大寄与信号Ｓ（ｔ）として検出する。例えば、輝度値算出部６１は、輝度値Ｙ（ｔ）を算出する際に式（１）〜（３）に従って算出したＲｙ（ｔ），Ｇｙ（ｔ），Ｂｙ（ｔ）の値が最も大きい色を輝度値Ｙ（ｔ）に対して最も寄与率が高い色として選び、最大寄与信号Ｓ（ｔ）とする。例えば、Ｒｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｒ”とする。同様に、Ｇｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｇ”とし、Ｂｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｂ”とする。
【００５１】
明るさレベル算出部６３は、輝度値算出部６１から入力された輝度値および最大寄与信号Ｓ（ｔ）をもとに、時刻ｔにおける明るさレベルを算出する。このとき、明るさレベル算出部６３は、明るさレベル記憶部６５に記憶されている過去の更新時刻での明るさレベルを必要に応じて読み出して用いる。算出された明るさレベルは、撮影条件算出部６７へ出力されるとともに、明るさレベル記憶部６５へ出力される。
【００５２】
具体的には、明るさレベル算出部６３は、輝度値Ｙ（ｔ）に対して最も寄与率が高い色として入力される最大寄与信号Ｓ（ｔ）が今回更新された（時刻ｔで更新された）色信号の色と同じか否かを判定する。そして、明るさレベル算出部６３は、最大寄与信号Ｓ（ｔ）と同じと判定した場合には、輝度値Ｙ（ｔ）を時刻ｔにおける明るさレベル（以下、時刻ｔにおける明るさレベルをＢＬ（ｔ）と表記する。）とする。例えば、輝度値算出部６１から入力される最大寄与信号Ｓ（ｔ）が“Ｒ”であり、時刻ｔで更新された色信号がＲの色信号の場合には、輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。同様に、最大寄与信号Ｓ（ｔ）が“Ｇ”であり、時刻ｔで更新された色信号がＧの色信号の場合であれば輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。また、最大寄与信号Ｓ（ｔ）が“Ｂ”であり、時刻ｔで更新された色信号がＢの色信号であれば輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。ここで、制御部５７は、モーター駆動部９４に対して行う動作制御との同期信号（今回の照明光の色を示す同期信号）を明るさレベル算出部６３へ出力するようになっており、明るさレベル算出部６３は、この同期信号をもとに最大寄与信号Ｓ（ｔ）と時刻ｔで更新された色信号の色とが同じか否かを判定する。
【００５３】
一方、明るさレベル算出部６３は、時刻ｔで更新された色信号が最大寄与信号Ｓ（ｔ）と異なる場合には、過去の更新時刻で算出した明るさレベルを補間処理して時刻ｔにおける明るさレベルＢＬ（ｔ）を算出する。例えば、過去の更新時刻ｔｏ１，ｔｏ２における明るさレベルＢＬ（ｔｏ１），ＢＬ（ｔｏ２）を明るさレベル記憶部６５から読み出す。ここで、時刻ｔｏ１は、時刻ｔよりも過去に最大寄与信号Ｓ（ｔ）の色信号が更新された更新時刻であって、時刻ｔと直近の更新時刻を表す。また、時刻ｔｏ２は、時刻ｔｏ１よりも過去に最大寄与信号Ｓ（ｔ）の色信号が更新された更新時刻であって、時刻ｔｏ１と直近の更新時刻を表す。そして、明るさレベル算出部６３は、次式（５）に従い、読み出した各明るさレベルＢＬ（ｔｏ１），ＢＬ（ｔｏ２）を例えば外挿法により補間（外挿補間）して、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出する。ＢＬ（ｔｏ１）は、更新時刻ｔｏ１における明るさレベルを表し、ＢＬ（ｔｏ２）は、更新時刻ｔｏ２における明るさレベルを表す。
【数２】
【００５４】
図３を参照して具体的に説明する。例えば、今回の更新時刻を時刻ｔ＝９とすると、図３（ｂ）に示すように、時刻ｔ＝９で更新される色信号は“Ｂ”である。ここで、時刻ｔ＝９において支配的な色は“Ｒ”であり、最大寄与信号Ｓ（ｔ）は“Ｒ”となる。この場合には、時刻ｔ＝９よりも過去にＲの色信号が更新された更新時刻であって、時刻ｔ＝９と直近の時刻ｔ＝７が更新時刻ｔｏ１となる。そして、この時刻ｔ＝７よりも過去にＲの色信号が更新された更新時刻であって、時刻ｔ＝７と直近の時刻ｔ＝４が更新時刻ｔｏ２となる。明るさレベル算出部６３は、この時刻ｔ＝７における明るさレベルＢＬ（７）と、時刻ｔ＝４における明るさレベルＢＬ（４）とを明るさレベル記憶部６５から読み出し、これらの各値ＢＬ（７），ＢＬ（４）を用いた外挿補間によって時刻ｔ＝９での明るさレベルＢＬ（９）を算出する。ここで、本例では、被写体において支配的な色が赤色の場合を例示しているため、Ｒの色信号が更新された更新時刻ｔｏ１，ｔｏ２である各時刻ｔ＝７，４では、そのときの輝度値（図３（ｃ）を参照）が明るさレベルＢＬ（７），ＢＬ（４）の値となる。この場合には、例えば図３（ｃ）に示すように、同図（ｃ）中に破線で示す明るさレベルＢＬ（７），ＢＬ（４）の各値を結ぶ直線上の、今回の更新時刻である時刻ｔ＝９における点Ｐ１の値（輝度値）を、時刻ｔ＝９での明るさレベルＢＬ（９）として算出する。
【００５５】
このように、時刻ｔで更新された色信号が最大寄与信号Ｓ（ｔ）と異なる場合には、最大寄与信号Ｓ（ｔ）の色信号が更新された過去の更新時刻におけ明るさレベルを用いた補間処理を行い、時刻ｔにおける明るさレベルを算出することで、時刻ｔにおける明るさレベルＢＬ（ｔ）を比較的少ない演算量で低コストに算出できる。
【００５６】
なお、ここでは、最大寄与信号Ｓ（ｔ）の色信号が更新された過去の２回分の明るさレベルの外挿補間によって時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしたが、これに限定されるものではない。例えば、過去３回分以上の明るさレベルを用いた補間処理を行い、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。また、実施の形態１では、色信号が入力されて更新される各更新時刻で各色信号を同時化し、随時ＲＧＢ画像信号を出力する構成としているが、入力された色信号を時系列順に記憶しておき、後でこれら時系列の色信号を処理してＲＧＢ画像信号を出力する場合には、時刻ｔに対して過去の更新時刻における明るさレベルだけでなく、時刻ｔに対して未来の更新時刻における明るさレベルを用いた補間処理を行うことも可能である。そして、これら時刻ｔに対して過去および／または未来の明るさレベルをもとに行った補間処理によって、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。あるいは、単に時刻ｔと近接する更新時刻における明るさレベルの値を複数用いて補間処理を行い、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。
【００５７】
また、明るさレベル記憶部６５において過去の更新時刻で算出された全ての明るさレベルを記憶しておく必要はなく、この明るさレベル算出部６３での補間処理と、後述する変換部７０での処理とを実現するのに必要な数分の明るさレベルを記憶しておけばよい。
【００５８】
撮影条件算出部６７は、入力された明るさレベルが自動調光の基準値と一致するようにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、次回入力される色信号の処理に用いられる。一方、算出された絞り開閉値は絞り駆動部９７へ出力され、次回の撮像時の絞り９６の制御に用いられる。
【００５９】
次に、変換部７０について説明する。図５は、実施の形態１における変換部７０の構成例を説明するブロック図である。図５に示すように、変換部７０は、補正部７１と、最大値算出部７２と、領域分割部７３と、ヒストグラム算出部７４と、階調変換特性算出部７５と、階調変換部７６とを備え、各部は制御部５７の制御のもとで動作する。
【００６０】
ここで、同時化部５５からのＲＧＢ画像信号は、補正部７１に入力されるようになっている。この補正部７１は、明るさ検出部６０に接続されている。詳細には、補正部７１は、明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、最大値算出部７２および階調変換部７６にそれぞれ接続されている。最大値算出部７２は領域分割部７３に接続され、領域分割部７３はヒストグラム算出部７４に接続されている。そして、ヒストグラム算出部７４は階調変換特性算出部７５に接続され、階調変換特性算出部７５は階調変換部７６に接続され、階調変換部７６はＤ／Ａコンバーター５６に接続されている。
【００６１】
補正部７１は、明るさレベル記憶部６５に記憶されている明るさレベルを読み出して用い、同時化部５５から入力されたＲＧＢ画像信号を補正して補正画像信号を生成する。生成された補正画像信号は、最大値算出部７２および階調変換部７６にそれぞれ出力される。
【００６２】
具体的には、補正部７１は、入力されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベル（今回の更新時刻である時刻ｔ、この時刻ｔの直前の更新時刻およびそのさらに１つ前の更新時刻における明るさレベル）を明るさ検出部６０の明るさレベル記憶部６５から読み出す。各更新時刻でどの色信号が更新されたのかは、今回更新された（時刻ｔで更新された）色信号をもとに判定する。すなわち、各色信号は、Ｒ，Ｇ，Ｂの順に入力されるため、例えば今回更新された色信号が“Ｂ”であれば、直前の更新時刻で更新された色が“Ｇ”、さらに１つ前の更新時刻で更新された色が“Ｒ”となる。
【００６３】
そして、補正部７１は、読み出した各色信号の更新時刻における明るさレベルを用い、入力されたＲＧＢ画像信号を補正する。例えば、補正部７１は、入力されたＲＧＢ画像信号の各画素信号値から次式（６）〜（８）に従って新たな画素信号値を算出し、補正画像信号を生成する。式（６）〜（８）では、入力されたＲＧＢ画像信号の各色信号の更新時刻をそれぞれｔｒ，ｔｇ，ｔｂと表記し、各時刻ｔｒ，ｔｇ，ｔｂにおける明るさレベルをそれぞれＢＬ（ｔｒ），ＢＬ（ｔｇ），ＢＬ（ｔｂ）と表記している。また、これらＢＬ（ｔｒ），ＢＬ（ｔｇ），ＢＬ（ｔｂ）のうち、時刻ｔにおける明るさレベルをＢＬ（ｔ）とも表記している。また、ＲＧＢ画像信号がｍ×ｎ画素で構成されていることとし、座標（ｘ，ｙ）で示される画素のＲ，Ｇ，Ｂの各画素信号値をそれぞれＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と表記している。そして、補正画像信号のＲ，Ｇ，Ｂの各画素信号値をそれぞれｃｏｒＲ（ｘ，ｙ），ｃｏｒＧ（ｘ，ｙ），ｃｏｒＢ（ｘ，ｙ）と表記している。なお、各画素の座標（ｘ，ｙ）は、例えば画像中に向かって左上となる画素の座標を（０，０）とし、右方向をｘの正方向、下方向をｙの正方向として表したものである。
【数３】
【００６４】
ここで、例えば時刻ｔで更新された色信号がＢの色信号の場合、時刻ｔはＢの色信号が更新された時刻ｔｂに相当し、時刻ｔにおける明るさレベルＢＬ（ｔ）は時刻ｔｂにおける明るさレベルＢＬ（ｔｂ）に相当する。この場合には、式（８）に示すように、Ｂの画素信号値に乗じる係数は“１”となり、入力されたＲＧＢ画像信号のＢの色信号の各画素信号値は変更されずにそのまま補正画像信号のＢの色信号の各画素信号値となる。一方、補正画像信号のＲの色信号の各画素信号値は、式（６）に示すように、時刻ｔにおける明るさレベルＢＬ（ｔ）と時刻ｔｒにおける明るさレベルＢＬ（ｔｒ）との比率をＲＧＢ画像信号のＲの色信号の各画素信号値に乗じた値として補正される。同様に、補正画像信号のＧの色信号の各画素信号値は、式（７）に示すように、時刻ｔにおける明るさレベルＢＬ（ｔ）と時刻ｔｇにおける明るさレベルＢＬ（ｔｇ）との比率をＲＧＢ画像信号のＲの色信号の各画素信号値に乗じた値として補正される。これによって、ＲＧＢ画像信号から、各色信号それぞれの更新時刻における明るさレベルに応じて補正された補正画像信号が得られる。
【００６５】
これによれば、ＲＧＢ画像信号の各色信号を、それぞれの更新時刻における明るさレベルを用いて色信号毎に補正し、補正画像信号を生成することができる。したがって、急峻な輝度変化を抑えることができる。このとき、各色信号に対し、その更新時刻における明るさレベルと今回の更新時刻における明るさレベルとの比率を乗算することによって補正を行えるので、少ない演算量で低コストな処理が実現できる。
【００６６】
最大値算出部７２は、入力された補正画像信号をもとに、補正画像信号の各色信号の最大値を示す画像信号を生成し、最大値画像信号として得る。得られた最大値画像信号は、領域分割部７３へ出力される。
【００６７】
具体的には、最大値算出部７２は、補正画像信号の各色信号を画素毎に比較し、最も大きい値を各画素の画素信号値とした最大値画像信号を生成する。例えば、最大値算出部７２は、次式（９）に従って最大値画像信号の各画素の画素信号値を算出する。ここで、最大値画像信号の各画素の画素信号値をｍａｘＶ（ｘ，ｙ）と表記する。ＭＡＸ(ｉ，ｊ，ｋ)は、ｉ，ｊ，ｋの最大値を出力する関数である。
【数４】
【００６８】
領域分割部７３は、入力された最大値画像信号を局所領域に領域分割する。例えば、領域分割部７３は、最大値画像信号を所定サイズの矩形領域に分割し、分割した各矩形領域を局所領域とする。この矩形領域のサイズは適宜設定できるが、ここでは例えば１６×１６画素単位とする。これら分割された局所領域は、ヒストグラム算出部７４へ出力される。なお、領域分割の方法は上記した方法に限定されるものではない。例えば、テクスチュア解析に代表される公知の領域分割方法を適用して領域分割する構成としてもよい。
【００６９】
ヒストグラム算出部７４は、入力された局所領域毎にヒストグラムを算出する。算出された局所領域毎のヒストグラムは、階調変換特性算出部７５へ出力される。
【００７０】
階調変換特性算出部７５は、入力された局所領域毎のヒストグラムの累積ヒストグラムを算出する。そして、階調変換特性算出部７５は、得られた局所領域毎の累積ヒストグラムを階調変換部７６の出力階調幅に適合するように正規化し、局所領域毎の階調変換特性として得る。これによって、各色信号それぞれの更新時刻における明るさレベルを反映させた局所領域毎の階調変換特性が得られる。本実施の形態１では、入力値（Ａ／Ｄコンバーター５３の階調幅）は１２ビットである。例えば階調変換部７６の出力階調幅を８ビットとする場合であれば、累積ヒストグラムをその最大値が８ビットになるように正規化する。得られた局所領域毎の階調変換特性は、階調変換部７６へ出力される。
【００７１】
階調変換部７６は、補正部７１から入力された補正画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行う。例えば、階調変換部７６は、補正画像信号の各画素を順次処理対象とし、処理対象の画素の座標からこの処理対象の画素が属する局所領域を特定する。そして、階調変換部７６は、特定した局所領域の階調変換特性を用い、処理対象の画素に対して階調変換処理を行う。処理後の補正画像信号は、Ｄ／Ａコンバーター５６へ出力される。なお、ここでは画素毎に階調変換処理を行うこととしたが、補正画像信号の局所領域に相当する領域毎に、該当する局所領域の階調変換特性を用いて階調変換処理を行う構成としてもよい。
【００７２】
以上説明したように、実施の形態１によれば、色信号の更新時刻毎に同時化されたＲＧＢ画像信号をもとに輝度値を算出し、支配的な色（各色信号の中で輝度値に対する寄与率が最も高い色）を検出することができる。そして、支配的として検出した色に応じて被写体の明るさレベルを算出することができる。具体的には、今回更新する色信号と支配的として検出した色信号とが同じ場合には、輝度値を明るさレベルとすることができる。一方、今回更新する色信号と支配的として検出した色信号とが異なる場合には、支配的として検出した色信号を更新した過去の更新時刻での明るさレベルを補間して明るさレベルを算出することができる。したがって、各色信号の更新時刻における被写体の明るさを、被写体の支配的な色に依存せずに精度良く適切に検出することができる。
【００７３】
そして、実施の形態１によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正し、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、この補正画像信号をもとに、階調変換処理の際に作用させる階調変換特性を算出することができる。そして、算出した階調変換特性を用い、補正画像信号を階調変換処理することができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。
【００７４】
また、今回の更新時刻における明るさレベルをもとに、ゲイン調整値および絞り開閉値を撮影条件として算出することができる。そして、算出したゲイン調整値を次回の色信号の処理に用いるとともに、算出した絞り開閉値を次回の撮像時の絞り９６の制御に用いることができる。したがって、今回の更新時刻における明るさレベルを次回の撮影時の制御や信号処理に反映させることができるので、露出の制御を適正に行い、より鮮明な画像を取得できる。
【００７５】
また、補正画像信号をもとに生成した最大値画像信号を局所領域毎に分割し、分割した局所領域毎に最適な階調変換特性を算出することができる。そして、算出した階調変換特性を用い、補正画像信号を、画素毎あるいは局所領域に対応する領域毎に階調変換処理することができるので、より精度の高い階調変換処理が実現できる。
【００７６】
なお、上記した実施の形態１では、最大値画像信号を局所領域に分割し、この局所領域毎に算出したヒストグラムをもとに階調変換特性を算出することとした。これに対し、最大値画像信号を局所領域に分割せずに、最大値画像信号全体のヒストグラムから階調変換特性を算出する構成としてもよい。
【００７７】
図６は、本変形例の内視鏡装置が備える画像処理装置の変換部７０ｂの構成例を説明するブロック図である。本変形例の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図６に示す変換部７０ｂに置き換えた構成で実現できる。ここで、図６において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。本変形例の変換部７０ｂは、実施の形態１で説明した領域分割部７３を備えておらず、最大値算出部７２はヒストグラム算出部７４ｂに接続されている。そして、本変形例では、制御部５７ｂは、このように構成される変換部７０ｂの動作を制御する。
【００７８】
ヒストグラム算出部７４ｂは、最大値算出部７２から入力された最大値画像信号全体のヒストグラムを算出する。算出された最大値画像信号全体のヒストグラムは、階調変換特性算出部７５ｂへ出力される。
【００７９】
階調変換特性算出部７５ｂは、入力された最大値画像信号全体のヒストグラムを平坦化し、階調変換部７６ｂの出力階調幅に適合するように正規化して階調変換特性として得る。得られた階調変換特性は、階調変換部７６ｂへ出力される。
【００８０】
階調変換部７６ｂは、補正部７１から入力された補正画像信号全体に階調変換特性算出部７５ｂから入力された階調変換特性を一律に作用させて階調変換処理を行う。処理後の補正画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【００８１】
本変形例によれば、局所領域毎に階調変換特性を算出し、この局所領域毎の階調変換特性を用いてＲＧＢ画像信号を画素毎あるいは局所領域に対応する領域毎に階調変換処理する実施の形態１と比べて、処理速度を高速化できる。ただし、この場合は、明暗比の大きいシーンでは階調変換処理による改善効果が低下する。
【００８２】
また、実施の形態１では、ＣＣＤ４３を用いて被写体である被検体内の被検部位を撮影し、内視鏡画像を出力する内視鏡装置について説明したが、本発明が適用可能な装置は、このようなＣＣＤ等の撮像素子を含む撮像装置が一体化された装置に限定されるものではない。例えば、別体の撮像装置によって撮像された画像信号を外部入力して処理する画像処理装置にも同様に適用が可能である。例えば、このような画像処理装置において、画像信号を可搬型の記録媒体を経由して、あるいは通信接続される外部機器から外部入力し、この画像信号を画像処理する構成としてもよい。
【００８３】
具体的には、例えば記録媒体を経由して外部入力する場合であれば、別体の撮像装置によって撮像された未処理（Ｒａｗ）の画像信号（面順次方式で順次撮像されたＲ，Ｇ，Ｂの各色信号）を連続した静止画像または動画像の形式で記録媒体に記録しておく。またこの際、ヘッダ情報として、各色信号の撮像時における照明光の同期信号や撮影モード情報、撮影条件、ゲイン調整値といった付随情報を併せて記録媒体に記録しておく。画像処理装置は、この記録媒体に記録された画像情報やヘッダ情報を読み出すことで外部入力し、処理を行う。
【００８４】
また、実施の形態１では、画像処理装置５を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、各部が行う処理をＣＰＵが行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００８５】
撮像装置を別体とし、画像処理装置５の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理装置５の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００８６】
図７は、本変形例におけるコンピューターシステム１００の構成を示すシステム構成図であり、図８は、このコンピューターシステム１００における本体部１１０の構成を示すブロック図である。図７に示すように、コンピューターシステム１００は、本体部１１０と、本体部１１０からの指示によって表示画面１２１に画像等の情報を表示するためのディスプレイ１２０と、このコンピューターシステム１００に種々の情報を入力するためのキーボード１３０と、ディスプレイ１２０の表示画面１２１上の任意の位置を指定するためのマウス１４０とを備える。
【００８７】
また、このコンピューターシステム１００における本体部１１０は、図８に示すように、ＣＰＵ１１１と、ＲＡＭ１１２と、ＲＯＭ１１３と、ハードディスクドライブ（ＨＤＤ）１１４と、ＣＤ−ＲＯＭ１６０を受け入れるＣＤ−ＲＯＭドライブ１１５と、ＵＳＢメモリ１７０を着脱可能に接続するＵＳＢポート１１６と、ディスプレイ１２０、キーボード１３０およびマウス１４０を接続するＩ／Ｏインターフェース１１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース１１８とを備える。
【００８８】
さらに、このコンピューターシステム１００には、インターネット等の公衆回線Ｎ３に接続するためのモデム１５０が接続されるとともに、ＬＡＮインターフェース１１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）１８１、サーバ１８２、プリンタ１８３等が接続される。
【００８９】
そして、このコンピューターシステム１００は、所定の記録媒体に記録された画像処理プログラム（例えば図９〜図１１を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ１６０やＵＳＢメモリ１７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム１００の内外に備えられるＨＤＤ１１４やＲＡＭ１１２、ＲＯＭ１１３等の「固定用の物理媒体」、モデム１５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）１８１またはサーバ１８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム１００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００９０】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム１００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム１００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）１８１またはサーバ１８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００９１】
図９は、本変形例においてコンピューターシステム１００のＣＰＵ１１１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、ＣＰＵ１１１が上記した所定の記録媒体に記録された画像処理プログラムを実行することにより実現される。
【００９２】
図９に示すように、先ず、例えば可搬型の記録媒体を経由して、あるいは通信接続される外部機器から時系列の画像信号のヘッダ情報を入力する（ステップＳ１）。続いて、記録媒体を経由して、あるいは通信接続される外部機器から、時系列順に連続したＲ，Ｇ，Ｂの各色信号を予め確保しておいた画像バッファに入力する（ステップＳ３）。そして、ステップＳ１でヘッダ情報として入力した照明光の同期信号を参照して同時化処理を行い、ステップＳ３で画像バッファに入力した各色信号を３板状態のＲＧＢ画像信号に同時化する（ステップＳ５）。
【００９３】
続いて、ステップＳ５で同時化されたＲＧＢ画像信号をもとに明るさ検出処理を行い（ステップＳ７）、その後、ステップＳ５で同時化されたＲＧＢ画像信号の変換処理を行う（ステップＳ９）。
【００９４】
そして、変換処理後のＲＧＢ画像信号を出力する（ステップＳ１１）。ここでの処理によって、例えば変換処理後のＲＧＢ画像信号が図７に示したディスプレイ１２０に表示出力され、あるいはＵＳＢメモリ１７０等の所定の記録媒体に記録される。
【００９５】
続いて、全ての画像信号に対して処理を終了したか否かを判定する。終了していないと判定した場合には（ステップＳ１３：Ｎｏ）、ステップＳ３に戻って次の色信号を入力し、同様の処理を繰り返し行う。そして、全ての画像信号に対して処理を終了した場合には（ステップＳ１３：Ｙｅｓ）、本処理を終える。
【００９６】
ここで、ステップＳ７の明るさ検出処理およびステップＳ９の変換処理について説明する。図１０は、明るさ検出処理の詳細な処理手順を示すフローチャートである。図１０に示すように、明るさ検出処理では、先ず、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに、上記した式（１）〜（４）に従って輝度値を算出する（ステップＳ７１）。続いて、ステップＳ７１で算出した輝度値をもとに、この輝度値に対する寄与率が最も高い色を最大寄与信号として検出する（ステップＳ７３）。
【００９７】
次に、ステップＳ７３で最大寄与信号として検出された色信号の更新時刻が、図９のステップＳ５で同時化されたＲＧＢ画像信号の各色信号の中で最先か否か（最後に更新されたか否か）を照明光の同期信号をもとに判定する。そして、最先ではないと判定した場合には（ステップＳ７５：Ｎｏ）、上記した式（５）に従い、最大寄与信号の色信号の過去の更新時刻で算出した明るさレベルを例えば外挿補間して今回の更新時刻における明るさレベルを算出する（ステップＳ７７）。そして、算出した明るさレベルを予め確保されるメモリ領域に記憶する（ステップＳ７９）。
【００９８】
一方、最先と判定した場合には（ステップＳ７５：Ｙｅｓ）、ステップＳ７７の処理を行わずにステップＳ７９に進み、ステップＳ７１で算出した輝度値を今回の更新時刻における明るさレベルとして前述のメモリ領域に記憶する。そして、図９のステップＳ７にリターンし、その後ステップＳ９へ進む。
【００９９】
また、図１１は、変換処理の詳細な処理手順を示すフローチャートである。図１１に示すように、変換処理では、先ず、図９のステップＳ５で同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルを図１０のステップＳ７９で記憶したメモリ領域から読み出す（ステップＳ９１）。ここで、各色信号それぞれの更新時刻における明るさレベルが全て算出されていない場合には（ステップＳ９２：Ｎｏ）、ステップＳ９４へ進む。一方、各色信号それぞれの更新時刻における明るさレベルが全て算出されている場合には（ステップＳ９１：Ｙｅｓ）、補正処理を行う（ステップＳ９３）。具体的には、ステップＳ９１で読み出した明るさレベルを用い、図９のステップＳ５で同時化されたＲＧＢ画像信号を上記した式（６）〜（８）に従って補正して補正画像信号を生成する。
【０１００】
その後、最大値算出処理を行い、上記した式（９）に従って補正画像信号から最大値画像信号を生成する（ステップＳ９４）。なお、ここでは、補正画像信号をもとに最大値画像信号を生成することとしたが、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに最大値画像信号を生成することとしてもよい。
【０１０１】
続いて、領域分割処理を行い、ステップＳ９４で生成された最大値画像信号を局所領域に領域分割する（ステップＳ９５）。なお、このステップＳ９５での領域分割処理は必ずしも行う必要はない。例えば、後段の処理で最大値画像信号全体のヒストグラムから階調変換特性を算出し、この階調変換特性を補正画像信号に一律に作用させて階調変換処理を行うようにしてもよく、この場合にはステップＳ９５の処理は行わずにステップＳ９６に進む。そして、ステップＳ９６では、ヒストグラム算出処理を行い、局所領域毎にヒストグラムを算出する。
【０１０２】
続いて、階調変換特性算出処理を行う（ステップＳ９７）。具体的には、先ず、ステップＳ９６で算出された局所領域毎のヒストグラムをもとに局所領域毎の累積ヒストグラムを算出する。そして、算出した累積ヒストグラムを後段のステップＳ９８で行う階調変換処理後の階調幅に適合するように除算処理を行って正規化し、局所領域毎の階調変換特性として得る。
【０１０３】
その後、ステップＳ９７で算出した階調変換特性を補正画像信号に作用させて階調変換処理を行う（ステップＳ９８）。これによれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルを反映させて階調変換特性を算出するとともに、各色信号それぞれの更新時刻における明るさレベルを用いて補正した補正画像信号にこの階調変換特性を作用させて階調変換処理を行うことができる。
【０１０４】
なお、ステップＳ９７で算出した階調変換特性を図９のステップＳ５で同時化されたＲＧＢ画像信号に作用させて階調変換処理を行うこととしてもよい。これによれば、階調変換処理の際に作用させる階調変換特性に各色信号それぞれの更新時刻における明るさレベルを反映させることができる。
【０１０５】
あるいは、ステップＳ９４において変形例として示したように、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに最大値画像信号を生成した場合には、ステップＳ９８では、ステップＳ９７で算出した階調変換特性を補正画像信号に作用させて階調変換処理を行う。これによれば、各色信号それぞれの更新時刻における明るさレベルを用いて補正した補正画像信号に対して階調変換処理を行うことができる。
【０１０６】
（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の内視鏡装置が備える画像処理装置の変換部７０ｃの構成例を説明するブロック図である。実施の形態２の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図１２に示す変換部７０ｃに置き換えた構成で実現できる。ここで、図１２において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。
【０１０７】
実施の形態２の変換部７０ｃでは、同時化部５５からのＲＧＢ画像信号は補正部７１および階調変換部７６ｃに入力されるようになっている。補正部７１は、実施の形態１で説明した明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、最大値算出部７２にそれぞれ接続されている。そして、本変形例では、制御部５７ｃは、このように構成される変換部７０ｃの動作を制御する。
【０１０８】
補正部７１は、実施の形態１と同様に、明るさ検出部６０から明るさレベルを読み出して同時化部５５から入力されたＲＧＢ画像信号を補正し、補正画像信号を生成する。得られた補正画像信号は、最大値算出部７２へ出力される。そして、最大値算出部７２、領域分割部７３、ヒストグラム算出部７４および階調変換特性算出部７５の各部は実施の形態１と同様に動作し、階調変換特性算出部７５で得られた局所領域毎の階調変換特性が階調変換部７６ｃへ出力される。
【０１０９】
そして、階調変換部７６ｃは、同時化部５５から入力されたＲＧＢ画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行い、出力階調幅（８ビット）に適合するように減算処理を行う。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【０１１０】
なお、実施の形態１の変形例として上記した構成と同様に、この変換部７０ｃは、領域分割部７３を備えていない構成としてもよい。そして、上記した変形例と同様に、最大値算出部７２から入力された最大値画像信号全体のヒストグラムを算出し、この最大値画像信号全体のヒストグラムをもとに階調変換特性を算出する構成としてもよい。そして、この階調変換特性を同時化部５５からのＲＧＢ画像信号全体に一律に作用させて階調変換処理を行う構成としてもよい。
【０１１１】
以上説明したように、実施の形態２によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、この補正画像信号をもとに、階調変換処理の際に作用させる階調変換特性を算出することができる。そして、算出した階調変換特性を用い、同時化されたＲＧＢ画像信号を階調変換処理することができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。
【０１１２】
（実施の形態３）
次に、実施の形態３について説明する。図１３は、実施の形態３の内視鏡装置が備える画像処理装置の変換部７０ｄの構成例を説明するブロック図である。実施の形態３の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図１３に示す変換部７０ｄに置き換えた構成で実現できる。ここで、図１３において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。
【０１１３】
実施の形態３の変換部７０ｄでは、同時化部５５からのＲＧＢ画像信号は補正部７１および最大値算出部７２ｄおよび階調変換部７６に入力されるようになっている。補正部７１は、実施の形態１で説明した明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、階調変換部７６に接続されている。そして、本変形例では、制御部５７ｄは、このように構成される変換部７０ｄの動作を制御する。
【０１１４】
補正部７１は、実施の形態１と同様に、明るさ検出部６０から明るさレベルを読み出して用い、同時化部５５から入力されたＲＧＢ画像信号を補正し、補正画像信号を得る。得られた補正画像信号は、階調変換部７６へ出力される。
【０１１５】
最大値算出部７２ｄは、同時化部５５から入力されたＲＧＢ画像信号をもとに、ＲＧＢ画像信号の各色信号の最大値を示す画像信号を生成し、最大値画像信号として得る。得られた最大値画像信号は、領域分割部７３へ出力される。領域分割部７３、ヒストグラム算出部７４および階調変換特性算出部７５の各部は実施の形態１と同様に動作する。ただし、実施の形態３では、領域分割部７３はＲＧＢ画像信号をもとにした最大値画像信号を局所領域に領域分割し、ヒストグラム算出部７４はこの局所領域毎のヒストグラムを算出し、階調変換特性算出部７５はこの局所領域毎のヒストグラムをもとに局所領域毎の階調変換特性を算出する。得られた局所領域毎の階調変換特性は、階調変換部７６へ出力される。
【０１１６】
そして、階調変換部７６は、実施の形態１と同様に、補正部７１から入力された補正画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行う。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【０１１７】
なお、実施の形態１の変形例として上記した構成と同様に、この変換部７０ｄは、領域分割部７３を備えていない構成としてもよい。そして、上記した変形例と同様に、最大値算出部７２ｄから入力された最大値画像信号全体のヒストグラムを算出し、この最大値画像信号全体のヒストグラムをもとに階調変換特性を算出する構成としてもよい。そして、この階調変換特性を同時化部５５からのＲＧＢ画像信号全体に一律に作用させて階調変換処理を行う構成としてもよい。
【０１１８】
以上説明したように、実施の形態３によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、同時化されたＲＧＢ画像信号をもとに算出した階調変換特性を用い、補正画像信号を階調変換処理を行うことができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。また実施の形態３では、最大値算出部７２ｄ、領域分割部７３、ヒストグラム算出部７４および諧調変換特性算出部７５の各部の処理を補正部７１の処理と並行して行えるため、変換部７０ｄ全体の処理に要する時間を短縮できる。
【０１１９】
（実施の形態４）
次に、実施の形態４について説明する。図１４は、実施の形態４の内視鏡装置が備える画像処理装置の明るさ検出部６０ｅの構成例を説明するブロック図である。実施の形態４の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の明るさ検出部６０を図１４に示す明るさ検出部６０ｅに置き換えた構成で実現できる。ここで、図１４において、実施の形態１で説明した構成と同様に動作する構成については同一の符号を付する。
【０１２０】
図１４に示すように、実施の形態４の明るさ検出部６０ｅは、明るさレベル算出部６３ｅと、明るさレベル記憶部６５ｅと、撮影条件算出部６７ｅと、撮影条件記憶部６９ｅとを備える。ここで、実施の形態４の明るさ検出部６０ｅでは、同時化部５５からのＲＧＢ画像信号は、明るさレベル算出部６３ｅに入力されるようになっている。明るさレベル算出部６３ｅは、撮影条件算出部６７ｅに接続されるとともに、明るさレベル記憶部６５ｅに接続されている。また、撮影条件算出部６７ｅは、撮影条件記憶部６９ｅに接続されるとともに、ゲイン調整部５４および絞り駆動部９７にそれぞれ接続されている。また、撮影条件記憶部６９ｅは、明るさレベル算出部６３ｅに接続されている。そして、本変形例では、制御部５７ｅは、このように構成される明るさ検出部６０ｅの動作を制御する。ここで、実施の形態４では、明るさレベル算出部６３ｅ、撮影条件算出部６７ｅおよび撮影条件記憶部６９ｅが明るさレベル検出部に対応している。撮影条件算出部６７ｅは取得条件算出部に対応し、撮影条件記憶部６９ｅは取得条件記憶部に対応している。
【０１２１】
また、明るさレベル記憶部６５ｅは、明るさレベル算出部６３ｅによって算出された明るさレベルを記憶しておくためのメモリであり、明るさレベル算出部６３ｅによって算出された所定数個の明るさレベルの値が時系列順に記憶される。この明るさレベル記憶部６５ｅに記憶された明るさレベルは、後段の変換部７０によって読み出され、実施の形態１と同様にして用いられる。なお、明るさレベル記憶部６５ｅにおいて過去の更新時刻で算出された全ての明るさレベルを記憶しておく必要はなく、変換部７０での処理を実現するのに必要な数分の明るさレベルを記憶しておけばよい。
【０１２２】
そして、撮影条件記憶部６９ｅは、撮影条件算出部６７ｅによって算出された撮影条件を記憶しておくためのメモリであり、撮影条件算出部６７ｅによって算出された所定数個の撮影条件が時系列順に記憶される。ここで、撮影条件は、次の色信号の取得条件の一例であり、実施の形態４では、取得条件としてゲイン調整値および絞り開閉値の２種類の撮影条件が撮影条件算出部６７ｅによって算出されるようになっている。この撮影条件記憶部６９ｅに記憶された撮影条件は、明るさレベル算出部６３ｅによって読み出されて用いられる。なお、撮影条件記憶部６９ｅにおいて過去の更新時刻で算出された全ての撮影条件を記憶しておく必要はなく、明るさレベル算出部６３ｅでの処理を実現するのに必要な数分の明るさレベルを記憶しておけばよい。また、この撮影条件記憶部６９ｅには、初期状態において、実施の形態４の画像処理装置が最初に処理する色信号の更新時刻における撮影条件として、ＣＣＤ４３による最初の撮像時の絞り９６の制御に用いられる絞り開閉値（初期値）と、ゲイン調整部５４が最初に入力される色信号に対するゲイン調整処理で用いるゲイン調整値（初期値）とが予め記憶される。
【０１２３】
明るさレベル算出部６３ｅは、同時化部５５から入力されたＲＧＢ画像信号と、撮影条件記憶部６９ｅに記憶されている撮影条件とをもとに、今回の更新時刻における明るさレベルを算出する。算出された明るさレベルは、撮影条件算出部６７ｅへ出力されるとともに、明るさレベル記憶部６５ｅへ記憶される。
【０１２４】
具体的には、明るさレベル算出部６３ｅは、入力されたＲＧＢ画像信号の各色信号それぞれの更新時刻における撮影条件（今回の更新時刻である時刻ｔ、この時刻ｔの直前の更新時刻およびそのさらに１つ前の更新時刻における撮影条件）を撮影条件記憶部６９ｅから読み出す。詳細には、明るさレベル算出部６３ｅは、各色信号それぞれの更新時刻において算出されたゲイン調整値および絞り開閉値の各値を読み出す。各更新時刻でどの色信号が更新されたのかは、今回更新された（時刻ｔで更新された）色信号をもとに判定する。
【０１２５】
そして、明るさレベル算出部６３ｅは、読み出した各色信号それぞれの更新時刻における撮影条件を用い、入力されたＲＧＢ画像信号の各画素信号値から次式（１０）〜（１２）に従って新たな画素信号値を算出し、撮影条件補正画像信号を得る。式（１０）〜（１２）では、入力されたＲＧＢ画像信号の各色信号の更新時刻をそれぞれｔｒ，ｔｇ，ｔｂと表記し、各時刻ｔｒ，ｔｇ，ｔｂにおけるゲイン調整値をそれぞれＧａ（ｔｒ），Ｇａ（ｔｇ），Ｇａ（ｔｂ）と表記し、各時刻ｔｒ，ｔｇ，ｔｂにおける絞り開閉値をそれぞれＦ（ｔｒ），Ｆ（ｔｇ），Ｆ（ｔｂ）と表記している。また、Ｇａ（ｔｒ），Ｇａ（ｔｇ），Ｇａ（ｔｂ）のうち、時刻ｔにおけるゲイン調整値をＧａ（ｔ），Ｇａ（ｔ），Ｇａ（ｔ）とも表記し、Ｆ（ｔｒ），Ｆ（ｔｇ），Ｆ（ｔｂ）のうち、時刻ｔにおける絞り開閉値をＦ（ｔ），Ｆ（ｔ），Ｆ（ｔ）とも表記している。そして、撮影条件補正画像信号のＲ，Ｇ，Ｂの各画素信号値をそれぞれｃｏｒＦＲ（ｘ，ｙ），ｃｏｒＦＧ（ｘ，ｙ），ｃｏｒＦＢ（ｘ，ｙ）と表記している。なお、各画素の座標（ｘ，ｙ）は、例えば画像中に向かって左上となる画素の座標を（０，０）とし、右方向をｘの正方向、下方向をｙの正方向として表したものである。
【数５】
【０１２６】
続いて、明るさレベル算出部６３ｅは、撮影条件補正画像信号をもとに、Ｒ，Ｇ，Ｂの色信号毎に色平均値を算出する。この色平均値は、該当する色信号全体の平均値として算出する構成としてもよいし、該当する色信号の局所領域における平均値として算出する構成としてもよい。ここで、時刻ｔにおける各色平均値をそれぞれｃｏｒＦＲａｖ（ｔ），ｃｏｒＦＧａｖ（ｔ），ｃｏｒＦＢａｖ（ｔ）と表記する。明るさレベル算出部６３ｅは、このようにして算出した色平均値ｃｏｒＦＲａｖ（ｔ），ｃｏｒＦＧａｖ（ｔ），ｃｏｒＦＢａｖ（ｔ）をもとに、時刻ｔにおける明るさレベルＢＬ（ｔ）を次式（１３）に従って算出する。
【数６】
【０１２７】
撮影条件算出部６７ｅは、入力された明るさレベルが自動調光の基準値と一致するようにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、次回入力される色信号の処理に用いられる。一方、算出された絞り開閉値は絞り駆動部９７へ出力され、次回の撮像時の絞り９６の制御に用いられる。また、このゲイン調整値および絞り開閉値は、次回の更新時刻において明るさレベル算出部６３ｅが明るさレベルを算出する際に用いる撮影条件として撮影条件記憶部６９ｅへ記憶される。
【０１２８】
以上説明したように、実施の形態４によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における撮影条件をもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した撮影条件補正画像信号を生成することができる。そして、この撮影条件補正画像信号をもとに今回の更新時刻における明るさレベルを算出することができる。したがって、各色信号の更新時刻における撮影条件をもとに、今回の更新時刻における被写体の明るさを被写体の支配的な色に依存せずに精度良く適切に検出することができる。これによって、実施の形態１〜３と同様に、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。
【０１２９】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【産業上の利用可能性】
【０１３０】
以上のように、本発明の画像処理装置、画像処理プログラムおよび画像処理方法は、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うのに適している。
【符号の説明】
【０１３１】
１ 内視鏡装置
３ 電子内視鏡
３１ 挿入部
４１ 対物レンズ
４３ ＣＣＤ
４５ 駆動信号線
４６ 出力信号線
４７ ライトガイド
３３ 操作部
３５ ケーブル
３７，３９ コネクタ
５ 画像処理装置
５１ ＣＣＤ駆動部
５２ 前処理部
５３ Ａ／Ｄコンバーター
５４ ゲイン調整部
５５ 同時化部
６０，６０ｅ 明るさ検出部
６１ 輝度値算出部
６３，６３ｅ 明るさレベル算出部
６５，６５ｅ 明るさレベル記憶部
６７，６７ｅ 撮影条件算出部
６９ｅ 撮影条件記憶部
７０，７０ｂ，７０ｃ，７０ｄ 変換部
７１ 補正部
７２，７２ｄ 最大値算出部
７３ 領域分割部
７４，７４ｂ ヒストグラム算出部
７５，７５ｂ 階調変換特性算出部
７６，７６ｂ，７６ｃ 階調変換部
５６ Ｄ／Ａコンバーター
５７，５７ｂ，５７ｅ 制御部
９ 光源装置
９１ 光源ランプ
９２ モーター
９３ 回転フィルタ
９３１ 色透過フィルタ
９４ モーター駆動部
９５ 集光レンズ
９６ 絞り
９７ 絞り駆動部
１１ 出力部
１３ 外部Ｉ／Ｆ部
【技術分野】
【０００１】
本発明は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
一般的に、ＣＣＤ等の撮像素子で撮像された画像信号を入力し処理する際の階調幅は、デジタル信号処理の桁落ちによる画質劣化を防止するため、表示画像信号等として最終的に出力する際の階調幅（通常８Ｂｉｔ）に対して例えば１０〜１４ビット程度と広く設定されている。このため、画像信号を出力する際には、入力および処理時の階調幅から出力時の階調幅に合致するように画像信号に対して階調変換処理を行う必要がある。
【０００３】
この階調変換処理の方法としては、例えば、標準的なシーンをもとに予め算出しておいた固定的な階調変換特性を用いる方法が知られている。また、撮影シーンに応じて階調変換特性を算出し、階調変換処理を適応的に行う方法も提案されている。例えば、特許文献１には、輝度値のヒストグラムをもとに階調補正特性（階調変換特性）を算出する方法が開示されている。この特許文献１では、階調変換特性の変更量が大きすぎることによって生じる動画像のちらつきを防止するため、階調変換特性の変更量の許容値を輝度値のヒストグラムから動的に生成することによって、動画像に対する適切な階調補正を保ちつつ階調補正の追従性を向上させている。
【０００４】
一方で、被写体像をカラーで表示する電子内視鏡装置の照明方式として、面順次方式と同時方式とがある。面順次方式の照明方式を用いた場合、画素数が少ない場合にも解像度が比較的高くて色再現性に優れているため、微妙な色の変化を観察する必要がある医療分野では、面順次方式の電子内視鏡装置が広く用いられている。また、近年では、狭帯域の照明光を用いて狭帯域光観察像を得ることができる面順次方式の内視鏡装置が提案されている。この面順次方式の内視鏡装置は、例えば赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色の色波長域の光を透過させる色透過フィルタを用い、Ｒ，Ｇ，Ｂそれぞれの単色の照明光を間欠的に照射しながらＣＣＤ等の撮像素子によって被写体の観察像を色毎に順次撮像していく。そして、得られたＲ，Ｇ，Ｂの各色信号を順次入力して同時化処理し、３板状態の画像信号としている。
【０００５】
このように、面順次方式の撮像方式では、Ｒ，Ｇ，Ｂの各色信号がこの順に入力されて順次更新されていく。例えば、今回の更新時刻でＲの色信号が更新された場合には、次の更新時刻ではＧの色信号が更新され、さらに次の更新時刻ではＢの色信号が更新される。そして、この間Ｒの色信号は前回値が保持され、その後の更新時刻で入力されたＲの色信号によって更新されることとなる。そして、同時化処理は、このように入力されて順次更新されるＲ，Ｇ，Ｂの各色信号を保持し、更新時刻毎に３板状態に同時化することによって行う。このため、同時化処理された面順次方式の画像信号は、その色信号のうちの１つが該当する更新時刻で更新されたものとなる。例えばＲの色信号が入力された場合にはＲの色信号を更新するが、この更新したＲの色信号と、前回更新されてそのまま保持されているＧの色信号およびＢの色信号とが同時化される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上記のように各更新時刻で同時化処理される面順次方式の画像信号から輝度値を算出する場合、得られた値がその更新時刻における実際の被写体の明るさを再現していない場合があった。例えば赤色の被写体を撮像した場合、その輝度値はＲの色信号値が支配的な値として算出されるため、Ｒの色信号の更新時刻では被写体の明るさを再現した値として得られる。しかしながら、Ｇの色信号やＢの色信号の更新時刻では、Ｒの色信号が前回値となるため、必ずしもその更新時刻における実際の被写体の明るさを再現していない事態が生じ得る。
【０００８】
さらに、実際の照明光が時系列順に滑らかに変化している場合であっても、算出される輝度値が被写体において支配的な特定の色信号の更新時刻で段階的に変化してしまい、画像信号を動画再生した際にちらつきが発生する場合がある。このため、面順次方式の画像信号では、特許文献１の技術を適用して輝度値をもとに各更新時刻における被写体の明るさを検出し、階調変換特性に反映させて階調変換処理を行うこととすると、動画再生の際のちらつきが増大してしまうという問題があった。また、特許文献１の技術では、階調補正特性（階調変換特性）の変更量の許容値を小さく設定した場合に、階調変換の効果を十分に得られないという問題もあった。
【０００９】
本発明は、上記事情に鑑みてなされたものであって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理装置であって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出部と、前記明るさレベルを時系列順に記憶する明るさレベル記憶部と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正部と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出部と、前記階調変換特性算出部が前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出部が前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換部と、を備えることを特徴とする。
【００１１】
この態様にかかる画像処理装置によれば、色信号の更新時において処理対象の画像信号の明るさレベルを検出して時系列順に記憶しておき、この明るさレベルを用いて処理対象の画像信号に補正処理を行って補正画像信号を生成することができる。そして、処理対象の画像信号をもとに階調変換特性を算出し、この階調変換特性を用いて補正画像信号に対して階調変換処理を行うことができる。あるいは、補正画像信号をもとに階調変換特性を算出し、この階調変換特性を用いて処理対象の画像信号または補正画像信号に対して階調変換処理を行うことができる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる。
【００１２】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理させるための画像処理プログラムであって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出手順と、前記明るさレベルを時系列順に記憶する明るさレベル記憶手順と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正手順と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出手順と、前記階調変換特性算出手順で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出手順で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換手順と、を前記コンピュータに実行させることを特徴とする。
【００１３】
また、本発明の別の態様にかかる画像処理方法は、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理方法であって、前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出工程と、前記明るさレベルを時系列順に記憶する明るさレベル記憶工程と、前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正工程と、前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出工程と、前記階調変換特性算出工程で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出工程で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換工程と、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施の形態１における内視鏡装置の全体構成例を模式的に示したブロック図である。
【図２】図２は、Ｒ，Ｇ，Ｂの各色信号の更新時刻を説明する説明図である。
【図３】図３は、明るさ検出部および変換部の動作原理を説明する説明図である。
【図４】図４は、実施の形態１における明るさ検出部の構成例を説明するブロック図である。
【図５】図５は、実施の形態１における変換部の構成例を説明するブロック図である。
【図６】図６は、変形例の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図７】図７は、変形例におけるコンピューターシステムの構成を示すシステム構成図である。
【図８】図８は、図７のコンピューターシステムにおける本体部の構成を示すブロック図である。
【図９】図９は、変形例におけるＣＰＵの処理手順を示す全体フローチャートである。
【図１０】図１０は、明るさ検出処理の詳細な処理手順を示すフローチャートである。
【図１１】図１１は、変換処理の詳細な処理手順を示すフローチャートである。
【図１２】図１２は、実施の形態２の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図１３】図１３は、実施の形態３の内視鏡装置が備える画像処理装置の変換部の構成例を説明するブロック図である。
【図１４】図１４は、実施の形態４の内視鏡装置が備える画像処理装置の明るさ検出部の構成例を説明するブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、以下では、本発明の画像処理装置を内視鏡装置に適用した場合について説明するが、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１７】
（実施の形態１）
先ず、実施の形態１について説明する。図１は、実施の形態１における内視鏡装置１の全体構成例を模式的に示したブロック図である。図１に示すように、実施の形態１の内視鏡装置１は、電子内視鏡３と、画像処理装置５と、光源装置９と、出力部１１と、外部Ｉ／Ｆ部１３とを備える。
【００１８】
電子内視鏡３は、可撓性を有する細長の挿入部３１と、この挿入部３１の基端に設けられた操作部３３と、一端が操作部３３を介して挿入部３１の基端と接続され、他端側が２股に分岐したケーブル３５とを備える。このケーブル３５の分岐した一方の先端にはコネクタ３７が設けられ、挿入部３１と画像処理装置５とを接続している。また、ケーブル３５の分岐した他方の先端にはコネクタ３９が設けられ、挿入部３１と光源装置９とを接続している。
【００１９】
挿入部３１は、その先端部分が湾曲操作可能に構成されており、被検部位の観察等を行うために被検体内に挿入される。この挿入部３１の先端部分には、対物レンズ４１と、撮像素子である例えばＣＣＤ４３とが取り付けられている。ＣＣＤ４３は、白黒の単板ＣＣＤで構成され、対物レンズ４１の結像位置に配置されている。このＣＣＤ４３には、駆動信号線４５および出力信号線４６が接続されており、これら駆動信号線４５および出力信号線４６は、ケーブル３５およびコネクタ３７を介して画像処理装置５と電気的に接続されている。
【００２０】
また、挿入部３１およびケーブル３５の内部には、光源装置９からの照明光を挿入部３１の先端まで伝達するライトガイド４７が設けられている。なお、図１中では、ハッチングを付してライトガイド４７を示している。このライトガイド４７は、例えばグラスファイバ束等で実現され、入射端がコネクタ３９を介して光源装置９と接続され、出射端が挿入部３１の先端面に配置されるように挿入部３１およびケーブル３５内に配設されている。
【００２１】
操作部３３は、例えば挿入部３１の先端部分の湾曲操作等を入力するためのものである。この操作部３３は、各種機能が割り当てられたボタンスイッチ等の操作部材で実現される。医師等のユーザは、挿入部３１を被検体内に挿入し、操作部３３を操作することで挿入部３１の先端部分を湾曲操作等しながら、被検体内を観察する。
【００２２】
画像処理装置５は、ＣＣＤ駆動部５１と、前処理部５２と、Ａ／Ｄコンバーター５３と、ゲイン調整部５４と、同時化部５５と、明るさ検出部６０と、変換部７０と、Ｄ／Ａコンバーター５６と、制御部５７とを備える。なお、図１中において、画像処理装置５の各部間を接続してＲ，Ｇ，Ｂの各色信号やこれらの色信号が同時化された面順次方式の画像信号（以下、「ＲＧＢ画像信号」と呼ぶ。）等のデータ信号を伝送するデータ信号線を実線で示し、制御信号を伝送する制御信号線を破線で示している。ここで、ＣＣＤ４３と接続される出力信号線４６からは、色信号がＲ，Ｇ，Ｂの順に順次供給されるようになっており、この色信号は、コネクタ３７を介して前処理部５２に入力されるようになっている。一方、ＣＣＤ駆動部５１からの駆動信号は、コネクタ３９を介し、ＣＣＤ４３と接続される駆動信号線４５に供給されるようになっている。また、前処理部５２、Ａ／Ｄコンバーター５３、ゲイン調整部５４、同時化部５５、変換部７０およびＤ／Ａコンバーター５６はこの順に接続されている。また、同時化部５５は明るさ検出部６０に接続され、明るさ検出部６０は、ゲイン調整部５４、変換部７０および絞り駆動部９７にそれぞれ接続されている。そして、Ｄ／Ａコンバーター５６からは、各部によって処理されて得られたＲＧＢ画像信号が出力され、出力部１１に入力されるようになっている。
【００２３】
ＣＣＤ駆動部５１は、ＣＣＤ４３を駆動するための駆動信号を生成し、ＣＣＤ４３へ出力する。このようにして駆動されるＣＣＤ４３からのＲ，Ｇ，Ｂの単色の色信号は、前述のように前処理部５２へ入力される。
【００２４】
前処理部５２は、ＣＣＤ４３から入力された色信号に対して増幅処理や波形整形処理等を行う。処理後の色信号は、Ａ／Ｄコンバーター５３へ出力される。
【００２５】
Ａ／Ｄコンバーター５３は、入力された色信号をＡ／Ｄ変換処理してデジタルデータ化する。ここでは、Ａ／Ｄコンバーター５３として、例えば入力された色信号を１２ビットの階調幅でデジタル変換するものを用いる。処理後の色信号は、ゲイン調整部５４へ出力される。
【００２６】
ゲイン調整部５４は、入力された色信号にゲイン調整処理を行う。このとき、ゲイン調整部５４は、明るさ検出部６０（詳細には図４の撮影条件算出部６７）から入力されるゲイン調整値を用いてゲイン調整処理を行う。処理後の色信号は、同時化部５５へ出力される。
【００２７】
同時化部５５は、入力された色信号の値（色信号値）を該当する色信号用のメモリ（予め用意されるＲ，Ｇ，Ｂの色毎のＲメモリ，Ｇメモリ，Ｂメモリ）に入力し、各Ｒメモリ、Ｇメモリ、Ｂメモリの値を入力された色信号で順次更新しながら保持するとともに、これらＲメモリ、ＧメモリおよびＢメモリのＲ，Ｇ，Ｂの各色信号を３板状態のＲＧＢ画像信号として同時化する。例えば、今回の更新時刻でＲの色信号が入力され、Ｒメモリを更新した場合には、この更新されたＲの色信号と、現時点でＧメモリおよびＢメモリによってそれぞれ保持されているＧの色信号およびＢの色信号とを同時化する。この場合に現時点で保持されているＢの色信号は直前の更新時刻で更新されたものであり、Ｇの色信号はそのさらに１つ前の更新時刻で更新されたものである。同時化されたＲＧＢ画像信号は、明るさ検出部６０および変換部７０にそれぞれ出力される。
【００２８】
図２は、Ｒ，Ｇ，Ｂの各色信号の更新時刻を説明する説明図である。図２に示すように、例えば更新時刻を示す時刻ｔ＝１でＲ波長の信号値であるＲの色信号値がＲ（１）に更新され、続く時刻ｔ＝２でＧ波長の信号値であるＧの色信号値がＧ（２）に更新され、続く時刻ｔ＝３でＢ波長の信号値であるＢの色信号値がＢ（３）に更新される。そして、次の時刻ｔ＝４では、Ｒの色信号値がＲ（１）からＲ（４）に更新され、以降同様にしてＲ，Ｇ，Ｂの各色信号値が順番に更新されていく。ここで、時刻ｔ＝３に着目すると、この時刻ｔ＝３で更新されたＢの色信号値Ｂ（３）と、時刻ｔ＝１で更新されたＲの色信号値Ｒ（１）と、時刻ｔ＝２で更新されたＧの色信号値Ｇ（２）とが同時化され、ＲＧＢ画像信号として出力される。また、続く時刻ｔ＝４に着目すると、この時刻ｔ＝４で更新されたＲの色信号値Ｒ（４）と、時刻ｔ＝２で更新されたＧの色信号値Ｇ（２）と、時刻ｔ＝３で更新されたＢの色信号値Ｂ（３）とが同時化され、ＲＧＢ画像信号として出力される。
【００２９】
明るさ検出部６０は、入力されたＲＧＢ画像信号から明るさレベルを検出し、検出した明るさレベルを内部のメモリ（図４の明るさレベル記憶部６５）に記憶しておく。また、明るさ検出部６０は、検出した明るさレベルをもとにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、絞り開閉値は絞り駆動部９７へ出力される。
【００３０】
変換部７０は、明るさ検出部６０に記憶されている明るさレベルを読み出し、読み出した明るさレベルを用いて入力されたＲＧＢ画像信号を階調変換処理する。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【００３１】
Ｄ／Ａコンバーター５６は、入力されたＲＧＢ画像信号をＤ／Ａ変換処理してアナログデータ化する。処理後のＲＧＢ画像信号は、出力部１１へ出力される。
【００３２】
制御部５７は、制御信号線によって画像処理装置５を構成する各部や光源装置９のモーター駆動部９４および絞り駆動部９７、出力部１１、外部Ｉ／Ｆ部１３等と電気的に接続され、各部の動作を統括的に制御する。この制御部５７は、各部の動作制御に必要な各種データやプログラム等が記憶されるメモリを内蔵したマイクロコンピューター等で実現される。
【００３３】
光源装置９は、電子内視鏡３に照明光を供給し、被写体（ＣＣＤ４３による撮像視野）を照明するためのものである。この光源装置９は、白色光を照射する光源ランプ９１と、モーター９２と、モーター９２を駆動源とする回転フィルタ９３と、モーター駆動部９４と、集光レンズ９５と、絞り９６と、絞り駆動部９７とを備える。
【００３４】
回転フィルタ９３は、Ｒ，Ｇ，Ｂ各色の色波長域の光を透過させる３枚の色透過フィルタ９３１を回転自在に保持する。この回転フィルタ９３は、円板状の遮光板に形成された３つの装着穴にＲ，Ｇ，Ｂ各色の色透過フィルタ９３１がそれぞれ装着されて構成される。そして、回転フィルタ９３は、モーター９２の駆動力によって中心を軸中心として回転することによって、Ｒ，Ｇ，Ｂ各色の色透過フィルタ９３１を光源ランプ９１から照射される白色光の光路上に順番に挿入する。光源ランプ９１から照射された白色光は、この回転フィルタ９３を経由することで間欠的に遮断され、順次Ｒ，Ｇ，Ｂそれぞれの単色の照明光となる。
【００３５】
モーター駆動部９４は、モーター９２と電気的に接続され、このモーター９２の駆動を制御する。絞り駆動部９７は、絞り９６と電気的に接続され、画像処理装置５の明るさ検出部６０（詳細には図４の撮影条件算出部６７）から入力される絞り開閉値を用いて絞り９６の開閉駆動を制御する。
【００３６】
内視鏡装置１は、この光源装置９を構成する回転フィルタ９３のＲ，Ｇ，Ｂ各色の色透過フィルタ９３１を切り換えながら面順次方式で被写体の観察像を連続的に撮像していく。ここで、被写体の撮像動作について説明すると、先ず、光源ランプ９１から照射された白色光が、回転フィルタ９３を透過することによって順次Ｒ，Ｇ，Ｂの単色の照明光となって集光レンズ９５に入射する。そして、この集光レンズ９５によって集光されたＲ，Ｇ，Ｂの単色の照明光は、絞り９６を通過してライトガイド４７の入射端に入射される。その後、ライトガイド４７の射出端から射出されて被写体（被検体内の被検部位）を照明する。そして、被写体を照明したＲ，Ｇ，Ｂの単色の照明光は、観察光として反射されて対物レンズ４１に入射し、ＣＣＤ４３の撮像面に結像される。ＣＣＤ４３は、このようにして撮像面に結像された被写体の観察像を光電変換し、Ｒ，Ｇ，Ｂの単色の色信号として順次出力信号線に供給する。
【００３７】
なお、回転フィルタ９３は、制御部５７の制御のもとでモーター駆動部９４が駆動するモーター９２によって、例えば２０Ｈｚの回転周波数で回転制御される。また、ＣＣＤ４３の露光と遮光とは、制御部５７によって回転フィルタ９３の回転動作と同期するように制御されており、例えば回転フィルタ９３の回転周波数が２０Ｈｚの場合であれば、露光時間と遮光時間とが合わせて１／６０秒となるように制御される。
【００３８】
出力部１１は、入力されたＲＧＢ画像信号をもとに被写体である被検体内の被検部位を撮影した画像（内視鏡画像）をカラー表示する不図示の表示部と、この内視鏡画像を記録する不図示の記録部とを含む。表示部は、例えばＬＣＤやＥＬディスプレイ等の表示装置で実現される。また、記録部は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、例えばＣＤ−ＲＯＭ等の各種記録媒体およびその読取装置等によって実現される。
【００３９】
外部Ｉ／Ｆ部１３は、例えば撮影モード等の内視鏡装置１の各種モードの切換操作、撮影条件の設定操作、電源のＯＮ／ＯＦＦの切換操作等を行うためのインターフェース装置である。撮影条件の設定操作としては、例えば絞り９６の開閉を自動的に制御する自動調光処理等に用いる基準値を必要に応じて予め設定される初期値から設定・変更できるようになっている。またこの他にも、ユーザは、外部Ｉ／Ｆ部１３を介し、出力部１１を構成する表示部へのメニュー画面の表示やカラーバー等のテスト画面の表示、文字情報やマスク画像の重畳表示等の指示を必要に応じて行えるようになっている。実施の形態１では、この外部Ｉ／Ｆ部１３は、例えば、ボタンスイッチやダイヤル等の各種操作部材、マウス、タッチパネル、キーボードといった入力装置で実現され、これらに対する操作信号を制御部５７へ出力する。
【００４０】
ここで、画像処理装置５の明るさ検出部６０および変換部７０の動作原理について従来の問題点と併せて図３を参照して説明する。図３（ａ）は、横軸を各色信号の更新時刻を示す時刻ｔとし、縦軸を照明強度として、実際に撮像時に照射された照明光の照明強度をプロットした図である。図３（ｂ）は、図３（ａ）の照明強度で得られたＲＧＢ画像信号の画像信号値の一例を示す図であり、各更新時刻におけるＲＧＢ画像信号の各色信号の色信号値をプロットして示している。図３（ｃ）は、図３（ｂ）の画像信号値をもとに算出された各更新時刻におけるＲＧＢ画像信号の輝度値を示す図である。
【００４１】
上記したように、面順次方式の画像信号であるＲＧＢ画像信号は、その色信号のうちの１つが該当する更新時刻で更新されたものである。例えば、図３（ｂ）に示すように、時刻ｔ＝７ではＲの色信号値が更新される。この時刻ｔ＝７では、Ｇの色信号およびＢの色信号値は前回更新された値がそのまま保持される。また、続く時刻ｔ＝８，９では、時刻ｔ＝７で更新されたＲの色信号値が保持される。なお、時刻ｔ＝８ではＧの色信号値が更新され、時刻ｔ＝９ではＢの色信号が更新される。その後、時刻ｔ＝１０においてＲの色信号値が更新される。
【００４２】
ところで、図３（ｂ）では、赤色が支配的な被写体を撮像した場合の画像信号値を示しており、Ｒの色信号値がＧの色信号やＢの各色信号値に比べて大きい。このような場合、各更新時刻におけるＲＧＢ画像信号の輝度値は、Ｒの色信号値が支配的な値として算出される。例えば、図３（ｃ）に示すように、時刻ｔ＝８，９における輝度値は、時刻ｔ＝７で更新されたＲの色信号値が支配的な値として算出される。このように、赤色が支配的な被写体の場合、ＲＧＢ画像信号の輝度値は、Ｒの色信号の更新時刻で段階的に変化する。ところが、時刻ｔ＝７〜９における実際の照明強度は、図３（ａ）に示すように滑らかに変化しており、時刻ｔ＝８，９における輝度値の変化と実際の照明強度の変化とにズレが生じてしまう。
【００４３】
以上のように、面順次方式の画像信号を処理する場合、各更新時刻における輝度値が実際の被写体の明るさを忠実に再現していない事態が発生し、このＲＧＢ画像信号を動画再生した際にちらつきが発生する問題があった。特に、照明強度が急峻に変化する場合、輝度値は支配的な色信号の更新時刻間で大きく変化することとなり、問題であった。さらに、各更新時刻における輝度値をもとに被写体の明るさを検出し、階調変換特性に反映させて階調変換処理を行うと、動画再生の際のちらつきが増大してしまう。
【００４４】
そこで、実施の形態１では、明るさ検出部６０は、色信号の更新時刻毎に支配的な色（各色信号の中で輝度値に対する寄与率が最も高い色）を検出し、検出した支配的な色に応じて被写体の明るさレベルを算出する。例えば、赤色が支配的な場合、Ｒの色信号の更新時刻においては輝度値が被写体の明るさを表しているため、その更新時刻における輝度値を被写体の明るさレベルとする。一方、Ｇの色信号およびＢの色信号の更新時刻においては、過去のＲの色信号の更新時刻における明るさレベルをもとに補間することでその更新時刻における明るさレベルを算出する。なお、被写体において支配的な色が緑色の場合であれば、Ｇの色信号の更新時刻においてはそのときの輝度値を被写体の明るさレベルとする。また、ＲおよびＢの色信号の更新時刻においては過去のＧの色信号の更新時刻における明るさレベルをもとに補間することで、その更新時刻における明るさレベルを算出する。同様に、青色が支配的な場合には、Ｂの色信号の更新時刻においてはそのときの輝度値を被写体の明るさレベルとする。また、ＲおよびＧの色信号の更新時刻においては過去のＢの色信号の更新時刻における明るさレベルをもとに補間することで、その更新時刻における明るさレベルを算出する。そして、変換部７０は、明るさ検出部６０が前述のように色信号の更新時刻毎に算出した明るさレベルを用い、今回の更新時刻で同時化されたＲＧＢ画像信号を階調変換処理する。
【００４５】
次に、これら明るさ検出部６０および変換部７０の具体的な構成について説明する。先ず、明るさ検出部６０について説明する。図４は、実施の形態１における明るさ検出部６０の構成例を説明するブロック図である。図４に示すように、明るさ検出部６０は、輝度値算出部６１と、明るさレベル算出部６３と、明るさレベル記憶部６５と、撮影条件算出部６７とを備え、各部は制御部５７の制御のもとで動作する。ここで、実施の形態１では、輝度値算出部６１および明るさレベル算出部６３が明るさレベル検出部に対応している。また、輝度値算出部６１は、輝度値算出部に対応するとともに、寄与信号検出部に対応している。
【００４６】
ここで、同時化部５５からのＲＧＢ画像信号は、輝度値算出部６１に入力されるようになっている。輝度値算出部６１は明るさレベル算出部６３に接続されている。また、明るさレベル算出部６３は、撮影条件算出部６７に接続されるとともに、明るさレベル記憶部６５と双方向に接続されている。そして、撮影条件算出部６７は、ゲイン調整部５４および絞り駆動部９７にそれぞれ接続されている。
【００４７】
また、明るさレベル記憶部６５は、明るさレベル算出部６３によって算出された明るさレベルを記憶しておくためのメモリであり、明るさレベル算出部６３によって算出された所定数個の明るさレベルの値が時系列順に記憶される。この明るさレベル記憶部６５に記憶された明るさレベルは、明るさレベル算出部６３や後段の変換部７０によって読み出され、これら各部での処理に用いられる。
【００４８】
輝度値算出部６１は、同時化部５５から入力されたＲＧＢ画像信号をもとに輝度値を算出し、算出した輝度値をもとに最大寄与信号を検出する。算出された輝度値および検出された最大輝度信号は、明るさレベル算出部６３へ出力される。
【００４９】
具体的には、輝度値算出部６１は、入力されたＲＧＢ画像信号をもとに、Ｒ，Ｇ，Ｂの色信号毎に色平均値を算出する。この色平均値は、該当する色信号全体の平均値として算出する構成としてもよいし、該当する色信号の局所領域における平均値として算出する構成としてもよい。ここで、以下の説明において今回の更新時刻を時刻ｔと表記する。また、この時刻ｔにおける各色平均値をそれぞれＲａｖ（ｔ），Ｇａｖ（ｔ），Ｂａｖ（ｔ）と表記する。輝度値算出部６１は、このようにして算出した色平均値Ｒａｖ（ｔ），Ｇａｖ（ｔ），Ｂａｖ（ｔ）をもとに、時刻ｔにおける輝度値Ｙ（ｔ）を次式（１）〜（４）に従って算出する。
【数１】
【００５０】
また、輝度値算出部６１は、各色信号の中で輝度値Ｙ（ｔ）に対する寄与率が最も高い色を最大寄与信号Ｓ（ｔ）として検出する。例えば、輝度値算出部６１は、輝度値Ｙ（ｔ）を算出する際に式（１）〜（３）に従って算出したＲｙ（ｔ），Ｇｙ（ｔ），Ｂｙ（ｔ）の値が最も大きい色を輝度値Ｙ（ｔ）に対して最も寄与率が高い色として選び、最大寄与信号Ｓ（ｔ）とする。例えば、Ｒｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｒ”とする。同様に、Ｇｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｇ”とし、Ｂｙ（ｔ）の値が最も大きい場合には、最大寄与信号Ｓ（ｔ）を“Ｂ”とする。
【００５１】
明るさレベル算出部６３は、輝度値算出部６１から入力された輝度値および最大寄与信号Ｓ（ｔ）をもとに、時刻ｔにおける明るさレベルを算出する。このとき、明るさレベル算出部６３は、明るさレベル記憶部６５に記憶されている過去の更新時刻での明るさレベルを必要に応じて読み出して用いる。算出された明るさレベルは、撮影条件算出部６７へ出力されるとともに、明るさレベル記憶部６５へ出力される。
【００５２】
具体的には、明るさレベル算出部６３は、輝度値Ｙ（ｔ）に対して最も寄与率が高い色として入力される最大寄与信号Ｓ（ｔ）が今回更新された（時刻ｔで更新された）色信号の色と同じか否かを判定する。そして、明るさレベル算出部６３は、最大寄与信号Ｓ（ｔ）と同じと判定した場合には、輝度値Ｙ（ｔ）を時刻ｔにおける明るさレベル（以下、時刻ｔにおける明るさレベルをＢＬ（ｔ）と表記する。）とする。例えば、輝度値算出部６１から入力される最大寄与信号Ｓ（ｔ）が“Ｒ”であり、時刻ｔで更新された色信号がＲの色信号の場合には、輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。同様に、最大寄与信号Ｓ（ｔ）が“Ｇ”であり、時刻ｔで更新された色信号がＧの色信号の場合であれば輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。また、最大寄与信号Ｓ（ｔ）が“Ｂ”であり、時刻ｔで更新された色信号がＢの色信号であれば輝度値Ｙ（ｔ）を明るさレベルＢＬ（ｔ）とする。ここで、制御部５７は、モーター駆動部９４に対して行う動作制御との同期信号（今回の照明光の色を示す同期信号）を明るさレベル算出部６３へ出力するようになっており、明るさレベル算出部６３は、この同期信号をもとに最大寄与信号Ｓ（ｔ）と時刻ｔで更新された色信号の色とが同じか否かを判定する。
【００５３】
一方、明るさレベル算出部６３は、時刻ｔで更新された色信号が最大寄与信号Ｓ（ｔ）と異なる場合には、過去の更新時刻で算出した明るさレベルを補間処理して時刻ｔにおける明るさレベルＢＬ（ｔ）を算出する。例えば、過去の更新時刻ｔｏ１，ｔｏ２における明るさレベルＢＬ（ｔｏ１），ＢＬ（ｔｏ２）を明るさレベル記憶部６５から読み出す。ここで、時刻ｔｏ１は、時刻ｔよりも過去に最大寄与信号Ｓ（ｔ）の色信号が更新された更新時刻であって、時刻ｔと直近の更新時刻を表す。また、時刻ｔｏ２は、時刻ｔｏ１よりも過去に最大寄与信号Ｓ（ｔ）の色信号が更新された更新時刻であって、時刻ｔｏ１と直近の更新時刻を表す。そして、明るさレベル算出部６３は、次式（５）に従い、読み出した各明るさレベルＢＬ（ｔｏ１），ＢＬ（ｔｏ２）を例えば外挿法により補間（外挿補間）して、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出する。ＢＬ（ｔｏ１）は、更新時刻ｔｏ１における明るさレベルを表し、ＢＬ（ｔｏ２）は、更新時刻ｔｏ２における明るさレベルを表す。
【数２】
【００５４】
図３を参照して具体的に説明する。例えば、今回の更新時刻を時刻ｔ＝９とすると、図３（ｂ）に示すように、時刻ｔ＝９で更新される色信号は“Ｂ”である。ここで、時刻ｔ＝９において支配的な色は“Ｒ”であり、最大寄与信号Ｓ（ｔ）は“Ｒ”となる。この場合には、時刻ｔ＝９よりも過去にＲの色信号が更新された更新時刻であって、時刻ｔ＝９と直近の時刻ｔ＝７が更新時刻ｔｏ１となる。そして、この時刻ｔ＝７よりも過去にＲの色信号が更新された更新時刻であって、時刻ｔ＝７と直近の時刻ｔ＝４が更新時刻ｔｏ２となる。明るさレベル算出部６３は、この時刻ｔ＝７における明るさレベルＢＬ（７）と、時刻ｔ＝４における明るさレベルＢＬ（４）とを明るさレベル記憶部６５から読み出し、これらの各値ＢＬ（７），ＢＬ（４）を用いた外挿補間によって時刻ｔ＝９での明るさレベルＢＬ（９）を算出する。ここで、本例では、被写体において支配的な色が赤色の場合を例示しているため、Ｒの色信号が更新された更新時刻ｔｏ１，ｔｏ２である各時刻ｔ＝７，４では、そのときの輝度値（図３（ｃ）を参照）が明るさレベルＢＬ（７），ＢＬ（４）の値となる。この場合には、例えば図３（ｃ）に示すように、同図（ｃ）中に破線で示す明るさレベルＢＬ（７），ＢＬ（４）の各値を結ぶ直線上の、今回の更新時刻である時刻ｔ＝９における点Ｐ１の値（輝度値）を、時刻ｔ＝９での明るさレベルＢＬ（９）として算出する。
【００５５】
このように、時刻ｔで更新された色信号が最大寄与信号Ｓ（ｔ）と異なる場合には、最大寄与信号Ｓ（ｔ）の色信号が更新された過去の更新時刻におけ明るさレベルを用いた補間処理を行い、時刻ｔにおける明るさレベルを算出することで、時刻ｔにおける明るさレベルＢＬ（ｔ）を比較的少ない演算量で低コストに算出できる。
【００５６】
なお、ここでは、最大寄与信号Ｓ（ｔ）の色信号が更新された過去の２回分の明るさレベルの外挿補間によって時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしたが、これに限定されるものではない。例えば、過去３回分以上の明るさレベルを用いた補間処理を行い、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。また、実施の形態１では、色信号が入力されて更新される各更新時刻で各色信号を同時化し、随時ＲＧＢ画像信号を出力する構成としているが、入力された色信号を時系列順に記憶しておき、後でこれら時系列の色信号を処理してＲＧＢ画像信号を出力する場合には、時刻ｔに対して過去の更新時刻における明るさレベルだけでなく、時刻ｔに対して未来の更新時刻における明るさレベルを用いた補間処理を行うことも可能である。そして、これら時刻ｔに対して過去および／または未来の明るさレベルをもとに行った補間処理によって、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。あるいは、単に時刻ｔと近接する更新時刻における明るさレベルの値を複数用いて補間処理を行い、時刻ｔにおける明るさレベルＢＬ（ｔ）を算出することとしてもよい。
【００５７】
また、明るさレベル記憶部６５において過去の更新時刻で算出された全ての明るさレベルを記憶しておく必要はなく、この明るさレベル算出部６３での補間処理と、後述する変換部７０での処理とを実現するのに必要な数分の明るさレベルを記憶しておけばよい。
【００５８】
撮影条件算出部６７は、入力された明るさレベルが自動調光の基準値と一致するようにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、次回入力される色信号の処理に用いられる。一方、算出された絞り開閉値は絞り駆動部９７へ出力され、次回の撮像時の絞り９６の制御に用いられる。
【００５９】
次に、変換部７０について説明する。図５は、実施の形態１における変換部７０の構成例を説明するブロック図である。図５に示すように、変換部７０は、補正部７１と、最大値算出部７２と、領域分割部７３と、ヒストグラム算出部７４と、階調変換特性算出部７５と、階調変換部７６とを備え、各部は制御部５７の制御のもとで動作する。
【００６０】
ここで、同時化部５５からのＲＧＢ画像信号は、補正部７１に入力されるようになっている。この補正部７１は、明るさ検出部６０に接続されている。詳細には、補正部７１は、明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、最大値算出部７２および階調変換部７６にそれぞれ接続されている。最大値算出部７２は領域分割部７３に接続され、領域分割部７３はヒストグラム算出部７４に接続されている。そして、ヒストグラム算出部７４は階調変換特性算出部７５に接続され、階調変換特性算出部７５は階調変換部７６に接続され、階調変換部７６はＤ／Ａコンバーター５６に接続されている。
【００６１】
補正部７１は、明るさレベル記憶部６５に記憶されている明るさレベルを読み出して用い、同時化部５５から入力されたＲＧＢ画像信号を補正して補正画像信号を生成する。生成された補正画像信号は、最大値算出部７２および階調変換部７６にそれぞれ出力される。
【００６２】
具体的には、補正部７１は、入力されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベル（今回の更新時刻である時刻ｔ、この時刻ｔの直前の更新時刻およびそのさらに１つ前の更新時刻における明るさレベル）を明るさ検出部６０の明るさレベル記憶部６５から読み出す。各更新時刻でどの色信号が更新されたのかは、今回更新された（時刻ｔで更新された）色信号をもとに判定する。すなわち、各色信号は、Ｒ，Ｇ，Ｂの順に入力されるため、例えば今回更新された色信号が“Ｂ”であれば、直前の更新時刻で更新された色が“Ｇ”、さらに１つ前の更新時刻で更新された色が“Ｒ”となる。
【００６３】
そして、補正部７１は、読み出した各色信号の更新時刻における明るさレベルを用い、入力されたＲＧＢ画像信号を補正する。例えば、補正部７１は、入力されたＲＧＢ画像信号の各画素信号値から次式（６）〜（８）に従って新たな画素信号値を算出し、補正画像信号を生成する。式（６）〜（８）では、入力されたＲＧＢ画像信号の各色信号の更新時刻をそれぞれｔｒ，ｔｇ，ｔｂと表記し、各時刻ｔｒ，ｔｇ，ｔｂにおける明るさレベルをそれぞれＢＬ（ｔｒ），ＢＬ（ｔｇ），ＢＬ（ｔｂ）と表記している。また、これらＢＬ（ｔｒ），ＢＬ（ｔｇ），ＢＬ（ｔｂ）のうち、時刻ｔにおける明るさレベルをＢＬ（ｔ）とも表記している。また、ＲＧＢ画像信号がｍ×ｎ画素で構成されていることとし、座標（ｘ，ｙ）で示される画素のＲ，Ｇ，Ｂの各画素信号値をそれぞれＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と表記している。そして、補正画像信号のＲ，Ｇ，Ｂの各画素信号値をそれぞれｃｏｒＲ（ｘ，ｙ），ｃｏｒＧ（ｘ，ｙ），ｃｏｒＢ（ｘ，ｙ）と表記している。なお、各画素の座標（ｘ，ｙ）は、例えば画像中に向かって左上となる画素の座標を（０，０）とし、右方向をｘの正方向、下方向をｙの正方向として表したものである。
【数３】
【００６４】
ここで、例えば時刻ｔで更新された色信号がＢの色信号の場合、時刻ｔはＢの色信号が更新された時刻ｔｂに相当し、時刻ｔにおける明るさレベルＢＬ（ｔ）は時刻ｔｂにおける明るさレベルＢＬ（ｔｂ）に相当する。この場合には、式（８）に示すように、Ｂの画素信号値に乗じる係数は“１”となり、入力されたＲＧＢ画像信号のＢの色信号の各画素信号値は変更されずにそのまま補正画像信号のＢの色信号の各画素信号値となる。一方、補正画像信号のＲの色信号の各画素信号値は、式（６）に示すように、時刻ｔにおける明るさレベルＢＬ（ｔ）と時刻ｔｒにおける明るさレベルＢＬ（ｔｒ）との比率をＲＧＢ画像信号のＲの色信号の各画素信号値に乗じた値として補正される。同様に、補正画像信号のＧの色信号の各画素信号値は、式（７）に示すように、時刻ｔにおける明るさレベルＢＬ（ｔ）と時刻ｔｇにおける明るさレベルＢＬ（ｔｇ）との比率をＲＧＢ画像信号のＲの色信号の各画素信号値に乗じた値として補正される。これによって、ＲＧＢ画像信号から、各色信号それぞれの更新時刻における明るさレベルに応じて補正された補正画像信号が得られる。
【００６５】
これによれば、ＲＧＢ画像信号の各色信号を、それぞれの更新時刻における明るさレベルを用いて色信号毎に補正し、補正画像信号を生成することができる。したがって、急峻な輝度変化を抑えることができる。このとき、各色信号に対し、その更新時刻における明るさレベルと今回の更新時刻における明るさレベルとの比率を乗算することによって補正を行えるので、少ない演算量で低コストな処理が実現できる。
【００６６】
最大値算出部７２は、入力された補正画像信号をもとに、補正画像信号の各色信号の最大値を示す画像信号を生成し、最大値画像信号として得る。得られた最大値画像信号は、領域分割部７３へ出力される。
【００６７】
具体的には、最大値算出部７２は、補正画像信号の各色信号を画素毎に比較し、最も大きい値を各画素の画素信号値とした最大値画像信号を生成する。例えば、最大値算出部７２は、次式（９）に従って最大値画像信号の各画素の画素信号値を算出する。ここで、最大値画像信号の各画素の画素信号値をｍａｘＶ（ｘ，ｙ）と表記する。ＭＡＸ(ｉ，ｊ，ｋ)は、ｉ，ｊ，ｋの最大値を出力する関数である。
【数４】
【００６８】
領域分割部７３は、入力された最大値画像信号を局所領域に領域分割する。例えば、領域分割部７３は、最大値画像信号を所定サイズの矩形領域に分割し、分割した各矩形領域を局所領域とする。この矩形領域のサイズは適宜設定できるが、ここでは例えば１６×１６画素単位とする。これら分割された局所領域は、ヒストグラム算出部７４へ出力される。なお、領域分割の方法は上記した方法に限定されるものではない。例えば、テクスチュア解析に代表される公知の領域分割方法を適用して領域分割する構成としてもよい。
【００６９】
ヒストグラム算出部７４は、入力された局所領域毎にヒストグラムを算出する。算出された局所領域毎のヒストグラムは、階調変換特性算出部７５へ出力される。
【００７０】
階調変換特性算出部７５は、入力された局所領域毎のヒストグラムの累積ヒストグラムを算出する。そして、階調変換特性算出部７５は、得られた局所領域毎の累積ヒストグラムを階調変換部７６の出力階調幅に適合するように正規化し、局所領域毎の階調変換特性として得る。これによって、各色信号それぞれの更新時刻における明るさレベルを反映させた局所領域毎の階調変換特性が得られる。本実施の形態１では、入力値（Ａ／Ｄコンバーター５３の階調幅）は１２ビットである。例えば階調変換部７６の出力階調幅を８ビットとする場合であれば、累積ヒストグラムをその最大値が８ビットになるように正規化する。得られた局所領域毎の階調変換特性は、階調変換部７６へ出力される。
【００７１】
階調変換部７６は、補正部７１から入力された補正画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行う。例えば、階調変換部７６は、補正画像信号の各画素を順次処理対象とし、処理対象の画素の座標からこの処理対象の画素が属する局所領域を特定する。そして、階調変換部７６は、特定した局所領域の階調変換特性を用い、処理対象の画素に対して階調変換処理を行う。処理後の補正画像信号は、Ｄ／Ａコンバーター５６へ出力される。なお、ここでは画素毎に階調変換処理を行うこととしたが、補正画像信号の局所領域に相当する領域毎に、該当する局所領域の階調変換特性を用いて階調変換処理を行う構成としてもよい。
【００７２】
以上説明したように、実施の形態１によれば、色信号の更新時刻毎に同時化されたＲＧＢ画像信号をもとに輝度値を算出し、支配的な色（各色信号の中で輝度値に対する寄与率が最も高い色）を検出することができる。そして、支配的として検出した色に応じて被写体の明るさレベルを算出することができる。具体的には、今回更新する色信号と支配的として検出した色信号とが同じ場合には、輝度値を明るさレベルとすることができる。一方、今回更新する色信号と支配的として検出した色信号とが異なる場合には、支配的として検出した色信号を更新した過去の更新時刻での明るさレベルを補間して明るさレベルを算出することができる。したがって、各色信号の更新時刻における被写体の明るさを、被写体の支配的な色に依存せずに精度良く適切に検出することができる。
【００７３】
そして、実施の形態１によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正し、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、この補正画像信号をもとに、階調変換処理の際に作用させる階調変換特性を算出することができる。そして、算出した階調変換特性を用い、補正画像信号を階調変換処理することができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。
【００７４】
また、今回の更新時刻における明るさレベルをもとに、ゲイン調整値および絞り開閉値を撮影条件として算出することができる。そして、算出したゲイン調整値を次回の色信号の処理に用いるとともに、算出した絞り開閉値を次回の撮像時の絞り９６の制御に用いることができる。したがって、今回の更新時刻における明るさレベルを次回の撮影時の制御や信号処理に反映させることができるので、露出の制御を適正に行い、より鮮明な画像を取得できる。
【００７５】
また、補正画像信号をもとに生成した最大値画像信号を局所領域毎に分割し、分割した局所領域毎に最適な階調変換特性を算出することができる。そして、算出した階調変換特性を用い、補正画像信号を、画素毎あるいは局所領域に対応する領域毎に階調変換処理することができるので、より精度の高い階調変換処理が実現できる。
【００７６】
なお、上記した実施の形態１では、最大値画像信号を局所領域に分割し、この局所領域毎に算出したヒストグラムをもとに階調変換特性を算出することとした。これに対し、最大値画像信号を局所領域に分割せずに、最大値画像信号全体のヒストグラムから階調変換特性を算出する構成としてもよい。
【００７７】
図６は、本変形例の内視鏡装置が備える画像処理装置の変換部７０ｂの構成例を説明するブロック図である。本変形例の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図６に示す変換部７０ｂに置き換えた構成で実現できる。ここで、図６において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。本変形例の変換部７０ｂは、実施の形態１で説明した領域分割部７３を備えておらず、最大値算出部７２はヒストグラム算出部７４ｂに接続されている。そして、本変形例では、制御部５７ｂは、このように構成される変換部７０ｂの動作を制御する。
【００７８】
ヒストグラム算出部７４ｂは、最大値算出部７２から入力された最大値画像信号全体のヒストグラムを算出する。算出された最大値画像信号全体のヒストグラムは、階調変換特性算出部７５ｂへ出力される。
【００７９】
階調変換特性算出部７５ｂは、入力された最大値画像信号全体のヒストグラムを平坦化し、階調変換部７６ｂの出力階調幅に適合するように正規化して階調変換特性として得る。得られた階調変換特性は、階調変換部７６ｂへ出力される。
【００８０】
階調変換部７６ｂは、補正部７１から入力された補正画像信号全体に階調変換特性算出部７５ｂから入力された階調変換特性を一律に作用させて階調変換処理を行う。処理後の補正画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【００８１】
本変形例によれば、局所領域毎に階調変換特性を算出し、この局所領域毎の階調変換特性を用いてＲＧＢ画像信号を画素毎あるいは局所領域に対応する領域毎に階調変換処理する実施の形態１と比べて、処理速度を高速化できる。ただし、この場合は、明暗比の大きいシーンでは階調変換処理による改善効果が低下する。
【００８２】
また、実施の形態１では、ＣＣＤ４３を用いて被写体である被検体内の被検部位を撮影し、内視鏡画像を出力する内視鏡装置について説明したが、本発明が適用可能な装置は、このようなＣＣＤ等の撮像素子を含む撮像装置が一体化された装置に限定されるものではない。例えば、別体の撮像装置によって撮像された画像信号を外部入力して処理する画像処理装置にも同様に適用が可能である。例えば、このような画像処理装置において、画像信号を可搬型の記録媒体を経由して、あるいは通信接続される外部機器から外部入力し、この画像信号を画像処理する構成としてもよい。
【００８３】
具体的には、例えば記録媒体を経由して外部入力する場合であれば、別体の撮像装置によって撮像された未処理（Ｒａｗ）の画像信号（面順次方式で順次撮像されたＲ，Ｇ，Ｂの各色信号）を連続した静止画像または動画像の形式で記録媒体に記録しておく。またこの際、ヘッダ情報として、各色信号の撮像時における照明光の同期信号や撮影モード情報、撮影条件、ゲイン調整値といった付随情報を併せて記録媒体に記録しておく。画像処理装置は、この記録媒体に記録された画像情報やヘッダ情報を読み出すことで外部入力し、処理を行う。
【００８４】
また、実施の形態１では、画像処理装置５を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、各部が行う処理をＣＰＵが行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００８５】
撮像装置を別体とし、画像処理装置５の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理装置５の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００８６】
図７は、本変形例におけるコンピューターシステム１００の構成を示すシステム構成図であり、図８は、このコンピューターシステム１００における本体部１１０の構成を示すブロック図である。図７に示すように、コンピューターシステム１００は、本体部１１０と、本体部１１０からの指示によって表示画面１２１に画像等の情報を表示するためのディスプレイ１２０と、このコンピューターシステム１００に種々の情報を入力するためのキーボード１３０と、ディスプレイ１２０の表示画面１２１上の任意の位置を指定するためのマウス１４０とを備える。
【００８７】
また、このコンピューターシステム１００における本体部１１０は、図８に示すように、ＣＰＵ１１１と、ＲＡＭ１１２と、ＲＯＭ１１３と、ハードディスクドライブ（ＨＤＤ）１１４と、ＣＤ−ＲＯＭ１６０を受け入れるＣＤ−ＲＯＭドライブ１１５と、ＵＳＢメモリ１７０を着脱可能に接続するＵＳＢポート１１６と、ディスプレイ１２０、キーボード１３０およびマウス１４０を接続するＩ／Ｏインターフェース１１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース１１８とを備える。
【００８８】
さらに、このコンピューターシステム１００には、インターネット等の公衆回線Ｎ３に接続するためのモデム１５０が接続されるとともに、ＬＡＮインターフェース１１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）１８１、サーバ１８２、プリンタ１８３等が接続される。
【００８９】
そして、このコンピューターシステム１００は、所定の記録媒体に記録された画像処理プログラム（例えば図９〜図１１を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ１６０やＵＳＢメモリ１７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム１００の内外に備えられるＨＤＤ１１４やＲＡＭ１１２、ＲＯＭ１１３等の「固定用の物理媒体」、モデム１５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）１８１またはサーバ１８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム１００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００９０】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム１００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム１００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）１８１またはサーバ１８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００９１】
図９は、本変形例においてコンピューターシステム１００のＣＰＵ１１１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、ＣＰＵ１１１が上記した所定の記録媒体に記録された画像処理プログラムを実行することにより実現される。
【００９２】
図９に示すように、先ず、例えば可搬型の記録媒体を経由して、あるいは通信接続される外部機器から時系列の画像信号のヘッダ情報を入力する（ステップＳ１）。続いて、記録媒体を経由して、あるいは通信接続される外部機器から、時系列順に連続したＲ，Ｇ，Ｂの各色信号を予め確保しておいた画像バッファに入力する（ステップＳ３）。そして、ステップＳ１でヘッダ情報として入力した照明光の同期信号を参照して同時化処理を行い、ステップＳ３で画像バッファに入力した各色信号を３板状態のＲＧＢ画像信号に同時化する（ステップＳ５）。
【００９３】
続いて、ステップＳ５で同時化されたＲＧＢ画像信号をもとに明るさ検出処理を行い（ステップＳ７）、その後、ステップＳ５で同時化されたＲＧＢ画像信号の変換処理を行う（ステップＳ９）。
【００９４】
そして、変換処理後のＲＧＢ画像信号を出力する（ステップＳ１１）。ここでの処理によって、例えば変換処理後のＲＧＢ画像信号が図７に示したディスプレイ１２０に表示出力され、あるいはＵＳＢメモリ１７０等の所定の記録媒体に記録される。
【００９５】
続いて、全ての画像信号に対して処理を終了したか否かを判定する。終了していないと判定した場合には（ステップＳ１３：Ｎｏ）、ステップＳ３に戻って次の色信号を入力し、同様の処理を繰り返し行う。そして、全ての画像信号に対して処理を終了した場合には（ステップＳ１３：Ｙｅｓ）、本処理を終える。
【００９６】
ここで、ステップＳ７の明るさ検出処理およびステップＳ９の変換処理について説明する。図１０は、明るさ検出処理の詳細な処理手順を示すフローチャートである。図１０に示すように、明るさ検出処理では、先ず、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに、上記した式（１）〜（４）に従って輝度値を算出する（ステップＳ７１）。続いて、ステップＳ７１で算出した輝度値をもとに、この輝度値に対する寄与率が最も高い色を最大寄与信号として検出する（ステップＳ７３）。
【００９７】
次に、ステップＳ７３で最大寄与信号として検出された色信号の更新時刻が、図９のステップＳ５で同時化されたＲＧＢ画像信号の各色信号の中で最先か否か（最後に更新されたか否か）を照明光の同期信号をもとに判定する。そして、最先ではないと判定した場合には（ステップＳ７５：Ｎｏ）、上記した式（５）に従い、最大寄与信号の色信号の過去の更新時刻で算出した明るさレベルを例えば外挿補間して今回の更新時刻における明るさレベルを算出する（ステップＳ７７）。そして、算出した明るさレベルを予め確保されるメモリ領域に記憶する（ステップＳ７９）。
【００９８】
一方、最先と判定した場合には（ステップＳ７５：Ｙｅｓ）、ステップＳ７７の処理を行わずにステップＳ７９に進み、ステップＳ７１で算出した輝度値を今回の更新時刻における明るさレベルとして前述のメモリ領域に記憶する。そして、図９のステップＳ７にリターンし、その後ステップＳ９へ進む。
【００９９】
また、図１１は、変換処理の詳細な処理手順を示すフローチャートである。図１１に示すように、変換処理では、先ず、図９のステップＳ５で同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルを図１０のステップＳ７９で記憶したメモリ領域から読み出す（ステップＳ９１）。ここで、各色信号それぞれの更新時刻における明るさレベルが全て算出されていない場合には（ステップＳ９２：Ｎｏ）、ステップＳ９４へ進む。一方、各色信号それぞれの更新時刻における明るさレベルが全て算出されている場合には（ステップＳ９１：Ｙｅｓ）、補正処理を行う（ステップＳ９３）。具体的には、ステップＳ９１で読み出した明るさレベルを用い、図９のステップＳ５で同時化されたＲＧＢ画像信号を上記した式（６）〜（８）に従って補正して補正画像信号を生成する。
【０１００】
その後、最大値算出処理を行い、上記した式（９）に従って補正画像信号から最大値画像信号を生成する（ステップＳ９４）。なお、ここでは、補正画像信号をもとに最大値画像信号を生成することとしたが、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに最大値画像信号を生成することとしてもよい。
【０１０１】
続いて、領域分割処理を行い、ステップＳ９４で生成された最大値画像信号を局所領域に領域分割する（ステップＳ９５）。なお、このステップＳ９５での領域分割処理は必ずしも行う必要はない。例えば、後段の処理で最大値画像信号全体のヒストグラムから階調変換特性を算出し、この階調変換特性を補正画像信号に一律に作用させて階調変換処理を行うようにしてもよく、この場合にはステップＳ９５の処理は行わずにステップＳ９６に進む。そして、ステップＳ９６では、ヒストグラム算出処理を行い、局所領域毎にヒストグラムを算出する。
【０１０２】
続いて、階調変換特性算出処理を行う（ステップＳ９７）。具体的には、先ず、ステップＳ９６で算出された局所領域毎のヒストグラムをもとに局所領域毎の累積ヒストグラムを算出する。そして、算出した累積ヒストグラムを後段のステップＳ９８で行う階調変換処理後の階調幅に適合するように除算処理を行って正規化し、局所領域毎の階調変換特性として得る。
【０１０３】
その後、ステップＳ９７で算出した階調変換特性を補正画像信号に作用させて階調変換処理を行う（ステップＳ９８）。これによれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルを反映させて階調変換特性を算出するとともに、各色信号それぞれの更新時刻における明るさレベルを用いて補正した補正画像信号にこの階調変換特性を作用させて階調変換処理を行うことができる。
【０１０４】
なお、ステップＳ９７で算出した階調変換特性を図９のステップＳ５で同時化されたＲＧＢ画像信号に作用させて階調変換処理を行うこととしてもよい。これによれば、階調変換処理の際に作用させる階調変換特性に各色信号それぞれの更新時刻における明るさレベルを反映させることができる。
【０１０５】
あるいは、ステップＳ９４において変形例として示したように、図９のステップＳ５で同時化されたＲＧＢ画像信号をもとに最大値画像信号を生成した場合には、ステップＳ９８では、ステップＳ９７で算出した階調変換特性を補正画像信号に作用させて階調変換処理を行う。これによれば、各色信号それぞれの更新時刻における明るさレベルを用いて補正した補正画像信号に対して階調変換処理を行うことができる。
【０１０６】
（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の内視鏡装置が備える画像処理装置の変換部７０ｃの構成例を説明するブロック図である。実施の形態２の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図１２に示す変換部７０ｃに置き換えた構成で実現できる。ここで、図１２において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。
【０１０７】
実施の形態２の変換部７０ｃでは、同時化部５５からのＲＧＢ画像信号は補正部７１および階調変換部７６ｃに入力されるようになっている。補正部７１は、実施の形態１で説明した明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、最大値算出部７２にそれぞれ接続されている。そして、本変形例では、制御部５７ｃは、このように構成される変換部７０ｃの動作を制御する。
【０１０８】
補正部７１は、実施の形態１と同様に、明るさ検出部６０から明るさレベルを読み出して同時化部５５から入力されたＲＧＢ画像信号を補正し、補正画像信号を生成する。得られた補正画像信号は、最大値算出部７２へ出力される。そして、最大値算出部７２、領域分割部７３、ヒストグラム算出部７４および階調変換特性算出部７５の各部は実施の形態１と同様に動作し、階調変換特性算出部７５で得られた局所領域毎の階調変換特性が階調変換部７６ｃへ出力される。
【０１０９】
そして、階調変換部７６ｃは、同時化部５５から入力されたＲＧＢ画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行い、出力階調幅（８ビット）に適合するように減算処理を行う。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【０１１０】
なお、実施の形態１の変形例として上記した構成と同様に、この変換部７０ｃは、領域分割部７３を備えていない構成としてもよい。そして、上記した変形例と同様に、最大値算出部７２から入力された最大値画像信号全体のヒストグラムを算出し、この最大値画像信号全体のヒストグラムをもとに階調変換特性を算出する構成としてもよい。そして、この階調変換特性を同時化部５５からのＲＧＢ画像信号全体に一律に作用させて階調変換処理を行う構成としてもよい。
【０１１１】
以上説明したように、実施の形態２によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、この補正画像信号をもとに、階調変換処理の際に作用させる階調変換特性を算出することができる。そして、算出した階調変換特性を用い、同時化されたＲＧＢ画像信号を階調変換処理することができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。
【０１１２】
（実施の形態３）
次に、実施の形態３について説明する。図１３は、実施の形態３の内視鏡装置が備える画像処理装置の変換部７０ｄの構成例を説明するブロック図である。実施の形態３の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の変換部７０を図１３に示す変換部７０ｄに置き換えた構成で実現できる。ここで、図１３において、実施の形態１で説明した変換部７０の各部と同様に動作する構成については同一の符号を付する。
【０１１３】
実施の形態３の変換部７０ｄでは、同時化部５５からのＲＧＢ画像信号は補正部７１および最大値算出部７２ｄおよび階調変換部７６に入力されるようになっている。補正部７１は、実施の形態１で説明した明るさ検出部６０の明るさレベル記憶部６５（図４を参照）に接続されており、この明るさレベル記憶部６５に記憶されている明るさレベルを読み出し可能に構成されている。また、補正部７１は、階調変換部７６に接続されている。そして、本変形例では、制御部５７ｄは、このように構成される変換部７０ｄの動作を制御する。
【０１１４】
補正部７１は、実施の形態１と同様に、明るさ検出部６０から明るさレベルを読み出して用い、同時化部５５から入力されたＲＧＢ画像信号を補正し、補正画像信号を得る。得られた補正画像信号は、階調変換部７６へ出力される。
【０１１５】
最大値算出部７２ｄは、同時化部５５から入力されたＲＧＢ画像信号をもとに、ＲＧＢ画像信号の各色信号の最大値を示す画像信号を生成し、最大値画像信号として得る。得られた最大値画像信号は、領域分割部７３へ出力される。領域分割部７３、ヒストグラム算出部７４および階調変換特性算出部７５の各部は実施の形態１と同様に動作する。ただし、実施の形態３では、領域分割部７３はＲＧＢ画像信号をもとにした最大値画像信号を局所領域に領域分割し、ヒストグラム算出部７４はこの局所領域毎のヒストグラムを算出し、階調変換特性算出部７５はこの局所領域毎のヒストグラムをもとに局所領域毎の階調変換特性を算出する。得られた局所領域毎の階調変換特性は、階調変換部７６へ出力される。
【０１１６】
そして、階調変換部７６は、実施の形態１と同様に、補正部７１から入力された補正画像信号に対し、階調変換特性算出部７５から入力された局所領域毎の階調変換特性を作用させて階調変換処理を行う。処理後のＲＧＢ画像信号は、Ｄ／Ａコンバーター５６へ出力される。
【０１１７】
なお、実施の形態１の変形例として上記した構成と同様に、この変換部７０ｄは、領域分割部７３を備えていない構成としてもよい。そして、上記した変形例と同様に、最大値算出部７２ｄから入力された最大値画像信号全体のヒストグラムを算出し、この最大値画像信号全体のヒストグラムをもとに階調変換特性を算出する構成としてもよい。そして、この階調変換特性を同時化部５５からのＲＧＢ画像信号全体に一律に作用させて階調変換処理を行う構成としてもよい。
【０１１８】
以上説明したように、実施の形態３によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における明るさレベルをもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した補正画像信号を生成することができる。そして、同時化されたＲＧＢ画像信号をもとに算出した階調変換特性を用い、補正画像信号を階調変換処理を行うことができる。これによれば、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。したがって、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うことができるという効果を奏する。また実施の形態３では、最大値算出部７２ｄ、領域分割部７３、ヒストグラム算出部７４および諧調変換特性算出部７５の各部の処理を補正部７１の処理と並行して行えるため、変換部７０ｄ全体の処理に要する時間を短縮できる。
【０１１９】
（実施の形態４）
次に、実施の形態４について説明する。図１４は、実施の形態４の内視鏡装置が備える画像処理装置の明るさ検出部６０ｅの構成例を説明するブロック図である。実施の形態４の内視鏡装置は、実施の形態１で図１を参照して説明した内視鏡装置１と同様に構成され、図１の明るさ検出部６０を図１４に示す明るさ検出部６０ｅに置き換えた構成で実現できる。ここで、図１４において、実施の形態１で説明した構成と同様に動作する構成については同一の符号を付する。
【０１２０】
図１４に示すように、実施の形態４の明るさ検出部６０ｅは、明るさレベル算出部６３ｅと、明るさレベル記憶部６５ｅと、撮影条件算出部６７ｅと、撮影条件記憶部６９ｅとを備える。ここで、実施の形態４の明るさ検出部６０ｅでは、同時化部５５からのＲＧＢ画像信号は、明るさレベル算出部６３ｅに入力されるようになっている。明るさレベル算出部６３ｅは、撮影条件算出部６７ｅに接続されるとともに、明るさレベル記憶部６５ｅに接続されている。また、撮影条件算出部６７ｅは、撮影条件記憶部６９ｅに接続されるとともに、ゲイン調整部５４および絞り駆動部９７にそれぞれ接続されている。また、撮影条件記憶部６９ｅは、明るさレベル算出部６３ｅに接続されている。そして、本変形例では、制御部５７ｅは、このように構成される明るさ検出部６０ｅの動作を制御する。ここで、実施の形態４では、明るさレベル算出部６３ｅ、撮影条件算出部６７ｅおよび撮影条件記憶部６９ｅが明るさレベル検出部に対応している。撮影条件算出部６７ｅは取得条件算出部に対応し、撮影条件記憶部６９ｅは取得条件記憶部に対応している。
【０１２１】
また、明るさレベル記憶部６５ｅは、明るさレベル算出部６３ｅによって算出された明るさレベルを記憶しておくためのメモリであり、明るさレベル算出部６３ｅによって算出された所定数個の明るさレベルの値が時系列順に記憶される。この明るさレベル記憶部６５ｅに記憶された明るさレベルは、後段の変換部７０によって読み出され、実施の形態１と同様にして用いられる。なお、明るさレベル記憶部６５ｅにおいて過去の更新時刻で算出された全ての明るさレベルを記憶しておく必要はなく、変換部７０での処理を実現するのに必要な数分の明るさレベルを記憶しておけばよい。
【０１２２】
そして、撮影条件記憶部６９ｅは、撮影条件算出部６７ｅによって算出された撮影条件を記憶しておくためのメモリであり、撮影条件算出部６７ｅによって算出された所定数個の撮影条件が時系列順に記憶される。ここで、撮影条件は、次の色信号の取得条件の一例であり、実施の形態４では、取得条件としてゲイン調整値および絞り開閉値の２種類の撮影条件が撮影条件算出部６７ｅによって算出されるようになっている。この撮影条件記憶部６９ｅに記憶された撮影条件は、明るさレベル算出部６３ｅによって読み出されて用いられる。なお、撮影条件記憶部６９ｅにおいて過去の更新時刻で算出された全ての撮影条件を記憶しておく必要はなく、明るさレベル算出部６３ｅでの処理を実現するのに必要な数分の明るさレベルを記憶しておけばよい。また、この撮影条件記憶部６９ｅには、初期状態において、実施の形態４の画像処理装置が最初に処理する色信号の更新時刻における撮影条件として、ＣＣＤ４３による最初の撮像時の絞り９６の制御に用いられる絞り開閉値（初期値）と、ゲイン調整部５４が最初に入力される色信号に対するゲイン調整処理で用いるゲイン調整値（初期値）とが予め記憶される。
【０１２３】
明るさレベル算出部６３ｅは、同時化部５５から入力されたＲＧＢ画像信号と、撮影条件記憶部６９ｅに記憶されている撮影条件とをもとに、今回の更新時刻における明るさレベルを算出する。算出された明るさレベルは、撮影条件算出部６７ｅへ出力されるとともに、明るさレベル記憶部６５ｅへ記憶される。
【０１２４】
具体的には、明るさレベル算出部６３ｅは、入力されたＲＧＢ画像信号の各色信号それぞれの更新時刻における撮影条件（今回の更新時刻である時刻ｔ、この時刻ｔの直前の更新時刻およびそのさらに１つ前の更新時刻における撮影条件）を撮影条件記憶部６９ｅから読み出す。詳細には、明るさレベル算出部６３ｅは、各色信号それぞれの更新時刻において算出されたゲイン調整値および絞り開閉値の各値を読み出す。各更新時刻でどの色信号が更新されたのかは、今回更新された（時刻ｔで更新された）色信号をもとに判定する。
【０１２５】
そして、明るさレベル算出部６３ｅは、読み出した各色信号それぞれの更新時刻における撮影条件を用い、入力されたＲＧＢ画像信号の各画素信号値から次式（１０）〜（１２）に従って新たな画素信号値を算出し、撮影条件補正画像信号を得る。式（１０）〜（１２）では、入力されたＲＧＢ画像信号の各色信号の更新時刻をそれぞれｔｒ，ｔｇ，ｔｂと表記し、各時刻ｔｒ，ｔｇ，ｔｂにおけるゲイン調整値をそれぞれＧａ（ｔｒ），Ｇａ（ｔｇ），Ｇａ（ｔｂ）と表記し、各時刻ｔｒ，ｔｇ，ｔｂにおける絞り開閉値をそれぞれＦ（ｔｒ），Ｆ（ｔｇ），Ｆ（ｔｂ）と表記している。また、Ｇａ（ｔｒ），Ｇａ（ｔｇ），Ｇａ（ｔｂ）のうち、時刻ｔにおけるゲイン調整値をＧａ（ｔ），Ｇａ（ｔ），Ｇａ（ｔ）とも表記し、Ｆ（ｔｒ），Ｆ（ｔｇ），Ｆ（ｔｂ）のうち、時刻ｔにおける絞り開閉値をＦ（ｔ），Ｆ（ｔ），Ｆ（ｔ）とも表記している。そして、撮影条件補正画像信号のＲ，Ｇ，Ｂの各画素信号値をそれぞれｃｏｒＦＲ（ｘ，ｙ），ｃｏｒＦＧ（ｘ，ｙ），ｃｏｒＦＢ（ｘ，ｙ）と表記している。なお、各画素の座標（ｘ，ｙ）は、例えば画像中に向かって左上となる画素の座標を（０，０）とし、右方向をｘの正方向、下方向をｙの正方向として表したものである。
【数５】
【０１２６】
続いて、明るさレベル算出部６３ｅは、撮影条件補正画像信号をもとに、Ｒ，Ｇ，Ｂの色信号毎に色平均値を算出する。この色平均値は、該当する色信号全体の平均値として算出する構成としてもよいし、該当する色信号の局所領域における平均値として算出する構成としてもよい。ここで、時刻ｔにおける各色平均値をそれぞれｃｏｒＦＲａｖ（ｔ），ｃｏｒＦＧａｖ（ｔ），ｃｏｒＦＢａｖ（ｔ）と表記する。明るさレベル算出部６３ｅは、このようにして算出した色平均値ｃｏｒＦＲａｖ（ｔ），ｃｏｒＦＧａｖ（ｔ），ｃｏｒＦＢａｖ（ｔ）をもとに、時刻ｔにおける明るさレベルＢＬ（ｔ）を次式（１３）に従って算出する。
【数６】
【０１２７】
撮影条件算出部６７ｅは、入力された明るさレベルが自動調光の基準値と一致するようにゲイン調整値および絞り開閉値を算出する。算出されたゲイン調整値はゲイン調整部５４へ出力され、次回入力される色信号の処理に用いられる。一方、算出された絞り開閉値は絞り駆動部９７へ出力され、次回の撮像時の絞り９６の制御に用いられる。また、このゲイン調整値および絞り開閉値は、次回の更新時刻において明るさレベル算出部６３ｅが明るさレベルを算出する際に用いる撮影条件として撮影条件記憶部６９ｅへ記憶される。
【０１２８】
以上説明したように、実施の形態４によれば、同時化されたＲＧＢ画像信号の各色信号それぞれの更新時刻における撮影条件をもとにＲＧＢ画像信号を補正することで、被写体の明るさを忠実に再現した撮影条件補正画像信号を生成することができる。そして、この撮影条件補正画像信号をもとに今回の更新時刻における明るさレベルを算出することができる。したがって、各色信号の更新時刻における撮影条件をもとに、今回の更新時刻における被写体の明るさを被写体の支配的な色に依存せずに精度良く適切に検出することができる。これによって、実施の形態１〜３と同様に、照明光の照明強度が急峻に変化した場合であっても、動画再生時のちらつきを抑えた時系列で滑らかな階調変換処理が実現できる。
【０１２９】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【産業上の利用可能性】
【０１３０】
以上のように、本発明の画像処理装置、画像処理プログラムおよび画像処理方法は、複数の色信号を含む面順次方式の画像信号に対し、各色信号の更新時における実際の被写体の明るさに応じた階調変換処理を行うのに適している。
【符号の説明】
【０１３１】
１ 内視鏡装置
３ 電子内視鏡
３１ 挿入部
４１ 対物レンズ
４３ ＣＣＤ
４５ 駆動信号線
４６ 出力信号線
４７ ライトガイド
３３ 操作部
３５ ケーブル
３７，３９ コネクタ
５ 画像処理装置
５１ ＣＣＤ駆動部
５２ 前処理部
５３ Ａ／Ｄコンバーター
５４ ゲイン調整部
５５ 同時化部
６０，６０ｅ 明るさ検出部
６１ 輝度値算出部
６３，６３ｅ 明るさレベル算出部
６５，６５ｅ 明るさレベル記憶部
６７，６７ｅ 撮影条件算出部
６９ｅ 撮影条件記憶部
７０，７０ｂ，７０ｃ，７０ｄ 変換部
７１ 補正部
７２，７２ｄ 最大値算出部
７３ 領域分割部
７４，７４ｂ ヒストグラム算出部
７５，７５ｂ 階調変換特性算出部
７６，７６ｂ，７６ｃ 階調変換部
５６ Ｄ／Ａコンバーター
５７，５７ｂ，５７ｅ 制御部
９ 光源装置
９１ 光源ランプ
９２ モーター
９３ 回転フィルタ
９３１ 色透過フィルタ
９４ モーター駆動部
９５ 集光レンズ
９６ 絞り
９７ 絞り駆動部
１１ 出力部
１３ 外部Ｉ／Ｆ部
【特許請求の範囲】
【請求項１】
時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理装置であって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出部と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶部と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正部と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出部と、
前記階調変換特性算出部が前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出部が前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正部は、前記処理対象の画像信号に含まれる前記複数の色信号それぞれに対し、該当する色信号の更新時において処理対象とした画像信号の明るさレベルと前記処理対象の画像信号の明るさレベルとを用いた補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記処理対象の画像信号に含まれる前記複数の色信号それぞれに対し、該当する色信号の更新時において処理対象とした画像信号の明るさレベルと前記処理対象の画像信号の明るさレベルとの比率を乗算する補正処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記明るさレベル検出部は、
前記処理対象の画像信号に含まれる前記複数の色信号をもとに輝度値を算出する輝度値算出部と、
前記輝度値に最も寄与する色信号を検出する寄与信号検出部と、
前記輝度値に最も寄与する色信号と、前記輝度値または前記明るさレベル記憶部に時系列順に記憶された前記明るさレベルとをもとに、前記処理対象の画像信号の明るさレベルを算出する明るさレベル算出部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記明るさレベル検出部は、
前記処理対象の画像信号をもとに次の色信号の取得条件を算出する取得条件算出部と、
前記取得条件を時系列順に記憶する取得条件記憶部と、
前記処理対象の画像信号に含まれる前記複数の色信号と、該複数の色信号それぞれの更新時において処理対象とした画像信号の取得条件とをもとに、前記処理対象の画像信号の明るさレベルを算出する明るさレベル算出部と、
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記明るさレベル算出部は、前記明るさレベル記憶部に時系列順に記憶された前記明るさレベルを補間処理し、該補間処理によって前記処理対象の画像信号の明るさレベルを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記明るさレベル算出部は、前記輝度値に最も寄与する色信号の過去の更新時に算出された該更新時における処理対象の画像信号の明るさレベルをもとに、前記処理対象の画像信号の明るさレベルを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記処理対象の画像信号または前記補正画像信号を複数の領域に分割する領域分割部を備え、
前記階調変換特性算出部は、前記領域分割部が分割した前記処理対象の画像信号または前記補正画像信号の領域毎に階調変換特性を算出し、
前記階調変換部は、前記階調変換特性算出部が前記処理対象の画像信号を分割した領域毎に算出した階調変換特性を用いて前記補正画像信号を該当する領域毎に階調変換処理し、あるいは前記階調変換特性算出部が前記補正画像信号を分割した領域毎に算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号を該当する領域毎に階調変換処理することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
コンピュータに、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理させるための画像処理プログラムであって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出手順と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶手順と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正手順と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出手順と、
前記階調変換特性算出手順で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出手順で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換手順と、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理方法であって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出工程と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶工程と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正工程と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出工程と、
前記階調変換特性算出工程で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出工程で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換工程と、
を含むことを特徴とする画像処理方法。
【請求項１】
時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理装置であって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出部と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶部と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正部と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出部と、
前記階調変換特性算出部が前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出部が前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正部は、前記処理対象の画像信号に含まれる前記複数の色信号それぞれに対し、該当する色信号の更新時において処理対象とした画像信号の明るさレベルと前記処理対象の画像信号の明るさレベルとを用いた補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、前記処理対象の画像信号に含まれる前記複数の色信号それぞれに対し、該当する色信号の更新時において処理対象とした画像信号の明るさレベルと前記処理対象の画像信号の明るさレベルとの比率を乗算する補正処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記明るさレベル検出部は、
前記処理対象の画像信号に含まれる前記複数の色信号をもとに輝度値を算出する輝度値算出部と、
前記輝度値に最も寄与する色信号を検出する寄与信号検出部と、
前記輝度値に最も寄与する色信号と、前記輝度値または前記明るさレベル記憶部に時系列順に記憶された前記明るさレベルとをもとに、前記処理対象の画像信号の明るさレベルを算出する明るさレベル算出部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記明るさレベル検出部は、
前記処理対象の画像信号をもとに次の色信号の取得条件を算出する取得条件算出部と、
前記取得条件を時系列順に記憶する取得条件記憶部と、
前記処理対象の画像信号に含まれる前記複数の色信号と、該複数の色信号それぞれの更新時において処理対象とした画像信号の取得条件とをもとに、前記処理対象の画像信号の明るさレベルを算出する明るさレベル算出部と、
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記明るさレベル算出部は、前記明るさレベル記憶部に時系列順に記憶された前記明るさレベルを補間処理し、該補間処理によって前記処理対象の画像信号の明るさレベルを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記明るさレベル算出部は、前記輝度値に最も寄与する色信号の過去の更新時に算出された該更新時における処理対象の画像信号の明るさレベルをもとに、前記処理対象の画像信号の明るさレベルを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記処理対象の画像信号または前記補正画像信号を複数の領域に分割する領域分割部を備え、
前記階調変換特性算出部は、前記領域分割部が分割した前記処理対象の画像信号または前記補正画像信号の領域毎に階調変換特性を算出し、
前記階調変換部は、前記階調変換特性算出部が前記処理対象の画像信号を分割した領域毎に算出した階調変換特性を用いて前記補正画像信号を該当する領域毎に階調変換処理し、あるいは前記階調変換特性算出部が前記補正画像信号を分割した領域毎に算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号を該当する領域毎に階調変換処理することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
コンピュータに、時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理させるための画像処理プログラムであって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出手順と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶手順と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正手順と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出手順と、
前記階調変換特性算出手順で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出手順で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換手順と、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
時系列順に複数の色信号が順次更新されて得られる面順次方式の画像信号を前記色信号の更新時毎に処理する画像処理方法であって、
前記色信号の更新時において、該更新時における処理対象の画像信号の明るさレベルを検出する明るさレベル検出工程と、
前記明るさレベルを時系列順に記憶する明るさレベル記憶工程と、
前記明るさレベルを用いて前記処理対象の画像信号に補正処理を行い、該補正処理によって補正画像信号を生成する補正工程と、
前記処理対象の画像信号または前記補正画像信号をもとに階調変換特性を算出する階調変換特性算出工程と、
前記階調変換特性算出工程で前記処理対象の画像信号をもとに算出した階調変換特性を用いて前記補正画像信号に対して階調変換処理を行い、あるいは前記階調変換特性算出工程で前記補正画像信号をもとに算出した階調変換特性を用いて前記処理対象の画像信号または前記補正画像信号に対して階調変換処理を行う階調変換工程と、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１０１３１（Ｐ２０１１−１０１３１Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５２８９６（Ｐ２００９−１５２８９６）
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]