撮像装置、顕微鏡システム、及びホワイトバランス調整方法
【課題】オートホワイトバランス調整の精度を向上させる。
【解決手段】領域分割部２１は、撮像部１による撮像画像を複数の小領域に分割する。標準偏差算出部２２及び平均値算出部２３は、それぞれ、当該小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差及び平均値を小領域毎に算出する。平坦領域抽出部２４は、当該画像信号の大きさと当該画像信号に対し重畳される撮像素子１１が発生させるノイズの量との対応関係を示すノイズモデルに基づき、当該平均値に対する当該標準偏差が、当該ノイズモデルにおいて当該平均値を当該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する。ＷＢ調整部５は、ＷＢゲイン算出部２５による当該平坦領域のホワイトバランスゲインの算出結果に基づき、撮像部１による撮像画像のホワイトバランスを調整する。
【解決手段】領域分割部２１は、撮像部１による撮像画像を複数の小領域に分割する。標準偏差算出部２２及び平均値算出部２３は、それぞれ、当該小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差及び平均値を小領域毎に算出する。平坦領域抽出部２４は、当該画像信号の大きさと当該画像信号に対し重畳される撮像素子１１が発生させるノイズの量との対応関係を示すノイズモデルに基づき、当該平均値に対する当該標準偏差が、当該ノイズモデルにおいて当該平均値を当該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する。ＷＢ調整部５は、ＷＢゲイン算出部２５による当該平坦領域のホワイトバランスゲインの算出結果に基づき、撮像部１による撮像画像のホワイトバランスを調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、撮像した画像の画質を向上させる技術に関する。
【背景技術】
【０００２】
現在広く普及しているデジタルカメラやデジタルビデオカメラにおいては、撮影したカラー画像の色信号が一定の割合となるように調整するホワイトバランス調整機能を備えている。また、その多くは、使用者が高画質な画像を簡単に撮像できるように、このホワイトバランス調整をカメラ自らが行うオートホワイトバランス機能を備えているものが多い。
【０００３】
オートホワイトバランスは、被写体の色信号を色毎に積算して各色の相関を求め、光源等の変化に対して各色成分が同一レベルとなるように各色成分のバランスを補正するものである。しかしながら、被写体の無彩色領域以外の色信号を積算した場合や、積算した色信号に白飛びなどのノイズが混ざっている場合には、ホワイトバランスの調整を適切に行うことができなくなる。そこで、被写体の無彩色領域以外の色信号を選択する技術や、ノイズの影響を抑制する技術が提案されている。
【０００４】
例えば、特許文献１には、映像信号における輝度信号の高周波成分量を検出し、この高周波成分量が所定の閾値以下であるときの輝度信号に対応した色信号を用いて、ホワイトバランス調整を行う技術が開示されている。
【０００５】
また、例えば特許文献２には、輝度値の大きさが所定範囲内である画素の数が所定範囲内に入るように輝度値の下限値を調整することで、ノイズを含む画素を含まない無彩色の画像信号が選択されるようにして、ホワイトバランス調整を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−７５９１９号公報
【特許文献２】特開２００１−３１３９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術は、撮像画像における高周波成分を多く含む領域は被写体部分であり、他の部分は無彩色領域であってそれは背景部分であるとの推定を根拠として、高周波成分量に基づいた無彩色領域の抽出を行うものである。しかし、実際には、撮像画像中で高周波成分が多くは含まれていない部分であるのに被写体部分である場合がある。このような場合には、ホワイトバランスの調整を適切に行うことはできない。
【０００８】
また、特許文献２の技術では、例えば顕微鏡による標本の観察像の画像では、輝度値の許容範囲及び画素数の許容範囲の設定によっては、標本における厚みの薄い部分までも無彩色領域として抽出してしまう場合がある。このような場合には、ホワイトバランスの調整を適切に行うことはできない。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、オートホワイトバランス調整の精度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明の態様のひとつである撮像装置は、被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段と、該撮像画像を複数の小領域に分割する領域分割手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
【００１１】
なお、上述した撮像装置において、該ノイズモデルにより示されている該画像信号の大きさと該ノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係であるように構成することができる。
【００１２】
また、前述した撮像装置において、平坦領域抽出手段が平坦領域として抽出した各小領域のうち、色成分毎の画像信号の平均値の全てが最大値となる小領域、若しくは、当該平均値が、当該色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域を、ホワイトバランスゲイン算出最適領域として抽出するホワイトバランスゲイン算出最適領域抽出手段を更に有し、該ホワイトバランスゲイン算出手段は、該撮像画像における該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインを算出し、該ホワイトバランス調整手段は、該ホワイトバランスゲイン算出手段が算出した該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、ように構成することもできる。
【００１３】
また、前述した撮像装置において、該平坦領域抽出手段が該平坦領域である小領域の抽出を行えたか否かを判定する平坦領域抽出判定手段と、該平坦領域である小領域の抽出を該平坦領域抽出手段が行えなかったと該平坦領域抽出判定手段が判定したときに、該平坦領域抽出手段による該平坦領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせる平坦領域再抽出手段と、を更に有するように構成することもできる。
【００１４】
なお、このとき、該平坦領域再抽出手段が該平坦領域抽出手段に行わせた該平坦領域である小領域の再抽出の回数が所定回数以上になったか否かを判定する平坦領域再抽出回数判定手段と、該平坦領域である小領域の再抽出の回数が所定回数以上になったと該平坦領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗の警告を出力する警告手段と、を更に有するように構成することもできる。
【００１５】
また、前述した撮像装置において、該ホワイトバランスゲイン算出最適領域抽出手段が該ホワイトバランスゲイン算出最適領域である小領域の抽出を行えたか否かを判定するホワイトバランスゲイン算出最適領域抽出判定手段と、該ホワイトバランスゲイン算出最適領域である小領域の抽出を該ホワイトバランスゲイン算出最適領域抽出手段が行えなかったと該ホワイトバランスゲイン算出最適領域抽出判定手段が判定したときに、該ホワイトバランスゲイン算出最適領域抽出手段による該ホワイトバランスゲイン算出最適領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせるホワイトバランスゲイン算出最適領域再抽出手段と、を更に有するように構成することもできる。
【００１６】
なお、このとき、該ホワイトバランスゲイン算出最適領域再抽出手段が該ホワイトバランスゲイン算出最適領域抽出手段に行わせた該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったか否かを判定するホワイトバランスゲイン算出最適領域再抽出回数判定手段と、該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったと該ホワイトバランスゲイン算出最適領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗を表す警告を出力する警告手段と、を更に有するように構成することもできる。
【００１７】
また、前述した撮像装置において、該領域分割手段が該撮像画像を該複数の小領域に分割するときの該小領域の大きさの指示を入力として取得する入力取得手段を更に有し、該領域分割手段は、該入力取得手段が取得した指示に係る小領域の大きさで、該撮像画像を分割する、ように構成することもできる。
【００１８】
また、前述した撮像装置において、該撮像画像上に、該標準偏差及び該平均値を算出する対象とする小領域を得る範囲を選択する領域選択手段を更に有し、該領域分割手段は、該撮像画像のうち該領域選択手段により選択された範囲を、複数の小領域に分割する、ように構成することもできる。
【００１９】
また、前述した撮像装置において、該撮像手段は、顕微鏡により得られた観察標本の顕微鏡画像を該撮像素子で撮像して、該観察標本の撮像画像を生成し、該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段を更に有し、該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、ように構成することもできる。
【００２０】
また、本発明の別の態様のひとつである顕微鏡システムは、観察標本の顕微鏡画像を得る顕微鏡と、該顕微鏡により得られる該顕微鏡画像を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該観察標本の撮像画像を生成する撮像手段と、該撮像画像を複数の小領域に分割する領域分割手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段と、を有し、該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【００２１】
また、本発明の更なる別の態様のひとつであるホワイトバランス調整方法は、被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段を有する撮像装置により得られる該撮像画像のホワイトバランスを調整する方法であって、該撮像画像を複数の小領域に分割し、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出し、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出し、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出し、該撮像画像における該平坦領域のホワイトバランスゲインを算出し、該平坦領域のホワイトバランスゲインの算出結果に基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【発明の効果】
【００２２】
本発明によれば、以上のようにすることにより、高い精度でのオートホワイトバランス調整を可能にするという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第一の実施形態に係る撮像装置の構成図である。
【図２】ノイズモデルの例を示すグラフである。
【図３】撮像画像の例を示す図である。
【図４】図３の撮像画像を小領域に分割した様子の第一の例を表した図である。
【図５】ＷＢゲイン算出領域の抽出例を示す図である。
【図６】本発明の第一の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図７】本発明の第二の実施形態に係る撮像装置の構成図である。
【図８】ＷＢゲイン算出最適領域の抽出例を示す図である。
【図９】各小領域のＲ色の画像信号平均値を表したグラフの例である。
【図１０】各小領域のＧ色の画像信号平均値を表したグラフの例である。
【図１１】各小領域のＢ色の画像信号平均値を表したグラフの例である。
【図１２】本発明の第二の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１３】本発明の第三及び第四の実施形態に係る撮像装置の構成図である。
【図１４】本発明の第三の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１５】本発明の第四の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１６】図３の撮像画像を小領域に分割した様子の第二の例を表した図である。
【図１７】図３の撮像画像から標準偏差及び平均値の算出対象範囲が選択された様子を示す図である。
【図１８】高倍率の対物レンズを用いた撮像画像の例を示す図である。
【図１９】本発明の第五の実施形態に係る撮像装置を含む顕微鏡システムの構成図である。
【図２０】本発明の第五の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図２１】図１８の撮像画像を小領域に分割した様子を表した図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２５】
［第一の実施形態］
【００２６】
図１は本実施形態に係る撮像装置の構成図である。この撮像装置は、撮像部１、制御部２、ホワイトバランス調整部（以降、「ＷＢ調整部」と記す）５、画像処理部６、操作部７、及び表示部８を備えている。ここで、撮像部１、制御部２、ＷＢ調整部５、及び画像処理部６はいずれもデータバス９に接続されており、各種のデータを制御部２の管理の下で相互に授受することができる。
【００２７】
撮像部１は、撮像素子１１、撮像素子駆動部１２、前置処理部１３、増幅部１４、及びＡ／Ｄ変換部１５を備えている。
【００２８】
撮像素子１１は、例えばＣＣＤ（電荷結合素子：Charge Coupled Device）であり、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の光の三原色の各色の輝度を検出する画素がベイヤ配列(Bayer array)を成しており、各画素単位の受光量に応じた信号を出力する。撮像素子１１は、撮像素子駆動部１２からの駆動信号に基づいた露出時間で駆動され、その出力信号は前置処理部１３に入力される。
【００２９】
前置処理部１３は、撮像素子駆動部１２から与えられる制御パルスに従い、撮像素子１１からの出力信号を、撮像画像を構成する各画素の画像信号として増幅部１４へ出力する。
【００３０】
増幅部１４は、前置処理部１３から出力される画像信号を、制御部２によって設定される利得で増幅する。
【００３１】
Ａ／Ｄ変換部１５は、増幅部１４で増幅された、アナログ信号である画像信号を、撮像素子駆動部１２からのクロック信号に従ってアナログ−デジタル変換して、撮像画像を表現しているデジタルデータを出力する。Ａ／Ｄ変換部１５から出力される、デジタルデータである撮像画像は、ＷＢ調整部５に入力されると共にデータバス９を介して制御部２にも入力される。制御部２内では、この撮像画像はメモリ３に記憶される。
【００３２】
撮像部１は、以上のように構成されており、被写体を撮像して、複数の色成分の画像信号により色彩が画素毎に表現されている当該被写体の撮像画像を生成する。
【００３３】
なお、撮像部１は、画像の撮像を所定の時間間隔で順次行って撮像画像を順次出力する。従って、メモリ３における撮像画像の記憶は順次更新される。
【００３４】
制御部２はメモリ３及びＣＰＵ４を備えている。
【００３５】
メモリ３は、各種のデータを記憶しておく記憶部である。メモリ３は、例えば、撮像部１から出力される撮像画像や、領域分割部２１により設定される小領域の大きさに関する情報を記憶しておく。メモリ３は、更に、ホワイトバランスゲイン（以降、「ＷＢゲイン」と記す）を算出する対象の領域の抽出に用いるノイズモデルや、ＷＢゲイン算出部２５において算出されＷＢ調整部５に設定されるＷＢゲインなども記憶しておく。
【００３６】
ＣＰＵ４は、撮像素子駆動部１２、増幅部１４、ＷＢ調整部５、及び画像処理部６とはデータバス９を介して接続されており、また、操作部７とも接続されている。ＣＰＵ４は、これらの各部の動作の制御を行う中央演算装置である。ＣＰＵ４は、例えば、不図示の読み出し専用メモリに予め格納させておいた所定の制御プログラムを読み出して実行することにより、これらの各部の動作の制御を行う。
【００３７】
なお、制御部２は、この他にも、領域分割部２１、標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びホワイトバランスゲイン算出部（以降、「ＷＢゲイン算出部」と記す）２５を備えている。次に、これらの各部の動作について説明する。
【００３８】
図１の撮像装置では、撮像画像を小領域に分割し、分割した小領域毎且つ色成分毎の各画素の画像信号の標準偏差を算出し、ＷＢゲインの算出を行う撮像画像上の領域を、算出された標準偏差とノイズモデルとの比較結果に基づいて抽出する。
【００３９】
まず、上述した抽出に用いるノイズモデルについて説明する。
【００４０】
ノイズモデルの一例を図２に示す。図２に例示するように、このノイズモデルは、画像信号の大きさと画像信号に重畳されるノイズの量との対応関係を示す複数の座標点データで構成されているものである。これはすなわち、撮像素子１１の露光量と画像信号上に重畳されると予想されるノイズとの関係を定量化したものである。
【００４１】
画像信号に重畳されるノイズとは、撮像素子１１の特性により発生する、各画素の画像信号のばらつきである。このノイズを定量的に表したノイズ量は、各画素の画像信号の標準偏差を算出することで求めることができる。なお、撮像素子１１の特性により発生するノイズには、光ショットノイズ、暗電流によるノイズ、読み出しノイズがあるが、入射光量が多い場合は、このうちの光ショットノイズが支配的である。従って、この場合のノイズ量は、撮像素子１１への入射光量に依存する。
【００４２】
このノイズモデルで表される、画像信号の大きさに応じて発生するノイズの量は、実測により、若しくは光ショットノイズの算出式を用いることにより、求めることができる。
【００４３】
実測によるノイズ量の算出では、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲を指定し、指定した範囲に含まれるＲ、Ｇ、Ｂそれぞれの画素について実測された画像信号の標準偏差を算出し、この算出結果をノイズ量とする。
【００４４】
例えば、指定した範囲のＲ、Ｇ、Ｂ各々の画素数をＮr 、Ｎg 、Ｎb とし、Ｒ、Ｇ、Ｂ各々の画素の画像信号の大きさをＸri、Ｘgi、Ｘbiとし、指定した範囲に含まれるＲ、Ｇ、Ｂ各々の画素の画像信号の大きさの平均値をＸrAve、ＸgAve、ＸbAveとする。このとき、Ｒ、Ｇ、Ｂ各色成分の画像信号の大きさに対するノイズ量σr、σg、σbは、それぞれ下記の［数１］式の計算を行うことにより算出される。
【００４５】
【数１】
【００４６】
つまり、［数１］式で表されるノイズモデルにより示される画像信号の大きさとノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係である。
【００４７】
一方、画像信号の大きさに応じて発生するノイズの量を、光ショットノイズの算出式を用いて求める場合には、以下のようにする。
【００４８】
撮像素子１１の受光面への入射光量をＰとし、撮像素子１１の量子効率をＱとする。このとき、光ショットノイズの量σＳは、下記の［数２］式の計算を行うことにより算出される。
【００４９】
【数２】
【００５０】
Ｒ、Ｇ、Ｂの各色成分について、上記の［数２］式により光ショットノイズを求める。
【００５１】
輝度が異なる無彩色領域のみの複数画像について、上記の［数１］式若しくは［数２］式によりノイズ量を求め、画像信号の大きさとノイズ量との関係をグラフ化する。こうすることで、ノイズモデルが得られる。このノイズモデルに相当するデータテーブルを、メモリ３に予め記憶させておく。
【００５２】
なお、ノイズモデルは、図２に例示するように、ＩＳＯ（国際標準化機構）で策定されたＩＳＯ感度毎に用意しておくようにする。そして、小領域毎の標準偏差と比較するノイズモデルとしては、図１の撮像装置に画像の撮像時に設定していたＩＳＯ感度のものを使用する。なお、ＩＳＯ感度とは、撮像部１に入射する光に対する感度を表す数値であり、制御部２は、設定されたＩＳＯ感度に対応する利得を、増幅部１４に設定する。
【００５３】
次に、このノイズモデルと比較される、分割した小領域毎且つ色成分毎の標準偏差の算出について説明する。
【００５４】
例えば、画像を分割した小領域内のＲ、Ｇ、Ｂ各々の画素数をＮR 、ＮG 、ＮB とし、Ｒ、Ｇ、Ｂ各々の画素の画像信号をＸRi、ＸGi、ＸBiとし、当該小領域内のＲ、Ｇ、Ｂ各々の画素の画像信号の大きさの平均値をＸRAve、ＸGAve、ＸBAveとする。このとき、当該小領域内のＲ、Ｇ、Ｂ各々の画素についての画像信号の標準偏差σR 、σG 、σB は、それぞれ下記の［数３］式の計算を行うことにより算出される。
【００５５】
【数３】
【００５６】
図１の説明に戻る。領域分割部２１は、操作部７に対する操作によって指定されてメモリ３に記憶された画像サイズの情報と、メモリ３に予め記憶されている小領域の大きさとに基づいて、撮像画像を複数の小領域に分割し、当該分割後の各小領域を特定する座標データを算出する。領域分割部２１からは、各小領域についての、座標データと水平方向及び垂直方向の大きさとが出力されて、標準偏差算出部２２及び平均値算出部２３に入力される。
【００５７】
領域分割部２１により行われる小領域の座標データの算出を、図３及び図４を用いて説明する。
【００５８】
図３は、撮像部１で撮像されてメモリ３に記憶された撮像画像の一例であり、図４は、図３の撮像画像が小領域に分割された様子を表している。
【００５９】
領域分割部２１は、まず、操作部７に対する操作によって指定された図３の撮像画像の画像サイズと、予め記憶されている小領域の大きさとをメモリ３から読み出す。そして、読み出した値に基づき、この撮像画像を図４に示すように小領域に分割したときの各小領域の座標データを算出する。
【００６０】
なお、画像サイズは、撮像画像の水平方向及び垂直方向の画素数を表したものであり、図４に示されているＷ（水平方向の画素数）及びＨ（垂直方向の画素数）である。
【００６１】
また、小領域の座標データとは、矩形である当該小領域の左上の頂点の水平方向と垂直方向の座標とし、この座標で当該小領域を特定するものとする。この座標データを、（水平方向の座標，垂直方向の座標）形式で表記するものとすると、例えば、図４において、小領域５０１の座標データは(Ｘ０,Ｙ０)で表され、小領域５０２の座標データは(Ｘ１,Ｙ１)で表される。
【００６２】
また、領域分割部２１がメモリ３から読み出して出力する小領域の水平方向及び垂直方向の大きさは、例えば図４においては、それぞれｗ０及びｈ０である。従って、図４において、矩形である撮像画像の左上の頂点が(０，０)であるとすると、小領域５０１の座標データは(０,０)となり、小領域５０２の座標データは(ｗ０,ｈ０)となる。
【００６３】
標準偏差算出部２２は、まず、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域に含まれる画素の画像信号を抽出する。そして、その色成分毎の画素信号の標準偏差を小領域毎に算出し、その算出結果を、小領域を特定する座標データに対応付けて出力する。
【００６４】
平均値算出部２３は、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域に含まれる画素の画像信号を抽出し、その色成分毎の画素信号の平均値を小領域毎に算出し、その算出結果を、小領域を特定する座標データに対応付けて出力する。
【００６５】
平坦領域抽出部２４は、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。そして、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域を抽出し、抽出された小領域を特定する座標データを、平坦領域として出力する。なお、本実施形態では、この平坦領域をＷＢゲイン算出領域とする。
【００６６】
平坦領域抽出部２４による平坦領域（本実施形態においてはＷＢゲイン算出領域）の抽出について、更に説明する。
【００６７】
例えば、図２において、撮像装置に画像の撮像時に設定していたＩＳＯ感度が「ＩＳＯ（１）」であった場合を考える。このときに、図２の「ＩＳＯ（１）」のノイズモデルにおいての各小領域の色成分毎の平均値Ｌに対する標準偏差σを基準とし、このσに対し上下ａ％(１±ａ/１００)の範囲内の標準偏差を持つ小領域を抽出する。この抽出結果に係る小領域が、各小領域の色成分毎の画像信号の平均値に対し、標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域、すなわち平坦領域である。
【００６８】
平坦領域抽出部２４による平坦領域の抽出例を図５に示す。
【００６９】
図５において、小領域１０１〜１０３は無彩色領域である背景部分である。この小領域１０１〜１０３は、各々の色成分毎の画像信号の平均値に対し、その標準偏差が、ノイズモデルを基準とした所望の範囲内にある平坦領域である。従って、本実施形態では、この平坦領域が、ＷＢゲインの算出対象の領域として抽出される。
【００７０】
一方、図５において、小領域１０４も背景部分ではあるが、領域内に異物が存在しているため、その画像信号は、構造部及び構造部上のノイズを含んでいる。このため、小領域１０４の画像信号の標準偏差は、各々の色成分毎の画像信号の平均値に対し、ノイズモデルを基準とした所望の範囲内にはない。従って、平坦領域ではないこの小領域１０４は、ＷＢゲイン算出領域として平坦領域抽出部２４が抽出することはない。
【００７１】
図１の説明に戻る。ＷＢゲイン算出部２５は、メモリ３より撮像画像を読み出し、平坦領域抽出部２４により出力された座標データに基づき、ＷＢゲインを算出する対象とする小領域を特定し、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出する。
【００７２】
なお、上述した領域分割部２１、標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出部２５の各部の機能をＣＰＵ４が提供するように構成することもできる。このためには、例えば、この各部の機能をＣＰＵ４に行わせるための制御プログラムを作成して不図示の読み出し専用メモリに格納しておき、ＣＰＵ４が、この撮像装置の起動時にこの制御プログラムを読み出して実行するようにしておけばよい。
【００７３】
操作部７は、制御部２と接続されており、所定の操作に対応付けられている、撮像部１による撮像の開始の指示の入力を取得する。取得した撮像開始指示は、ＣＰＵ４により制御部２からデータバス９へと送出される。
【００７４】
ＷＢ調整部５は、撮像部1より出力された画像信号に対し、制御部２により設定されたＷＢゲインを用いてホワイトバランスの調整(以降、「ＷＢ調整」と記す)を行う。
【００７５】
画像処理部６には、ＷＢ調整部５と、データバス９を介して制御部２とが接続されている。画像処理部６は、ＷＢ調整部５によりＷＢ調整された画像信号において、色配列における欠落した色画素を補う色補間処理や、輪郭補正処理、フォーマット変換等の各種の画像処理を行う。また、画像処理部６は、表示部８にて画像を表示することを可能にする画像信号を生成して表示部８へ出力する。
【００７６】
表示部８は、この画像信号で表現されている画像の表示を行う。
【００７７】
次に、図１の撮像装置で行われる制御処理について説明する。図６は、図１の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【００７８】
撮像装置のユーザが操作部７を操作して撮像開始の指示を入力すると、ＣＰＵ４は、この入力された撮像開始の指示を操作部７から取得する。すると、ＣＰＵ４は、この撮像開始の指示を、データバス９を介して撮像素子駆動部１２に転送する処理を行う。撮像素子駆動部１２は、この撮像開始指示を取得すると、撮像素子１１を駆動して撮像を開始させる。すると、撮像された画像を表現しているデータ（撮像画像）が撮像部１より出力されて制御部２及びＷＢ調整部５に入力される。制御部２では、ＣＰＵ４が、入力された撮像画像をメモリ３に記憶させると共に、図６の制御処理を開始する。
【００７９】
図６において、Ｓ１では領域分割処理が行われる。この処理は、領域分割部２１を機能させて、画像サイズと小領域の大きさとをメモリ３から読み出させ、読み出した値に基づき、この撮像画像を小領域に分割したときの各小領域の座標データを算出する処理であり、図３及び図４を用いて既に説明した処理である。
【００８０】
次に、Ｓ２において、標準偏差算出処理が行われる。この処理は、標準偏差算出部２２を機能させて、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域の画素の画像信号を抽出し、その色成分毎の標準偏差を小領域毎に算出する処理である。この算出結果は、小領域を特定する座標データに対応付けられて標準偏差算出部２２から出力される。
【００８１】
次に、Ｓ３において、平均値算出処理が行われる。この処理は、平均値算出部２３を機能させて、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域の画素の画像信号を抽出し、その色成分毎の平均値を小領域毎に算出する処理である。この算出結果は、小領域を特定する座標データに対応付けられて平均値算出部２３から出力される。
【００８２】
次に、Ｓ４において、ＷＢゲイン算出領域抽出処理が行われる。この処理は、平坦領域抽出部２４を機能させる処理である。前述したように、平坦領域抽出部２４は、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。次に、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域を抽出する。そして、この抽出された小領域を特定する座標データを、ＷＢゲイン算出領域の抽出結果として出力する。
【００８３】
次に、Ｓ５において、ＷＢゲイン算出処理が行われる。この処理は、ＷＢゲイン算出部２５を機能させる処理である。前述したように、ＷＢゲイン算出部２５は、まず、メモリ３より撮像画像を読み出し、当該撮像画像に対し、平坦領域抽出部２４より出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域内の画素の画像信号を用いてＷＢゲインを算出する。なお、ＷＢゲインの算出は、抽出したＷＢゲイン算出領域の色成分毎に画像信号の平均値を求め、Ｇ色の平均値に対するＲ色の平均値の比とＢ色の平均値の比とを取ることで算出する。ＷＢゲイン算出部２５は、このようにして算出されたＷＢゲインを、メモリ３に一旦格納する。
【００８４】
Ｓ６では、ＷＢ調整処理が行われる。この処理は、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。ＷＢ調整部５は、ＷＢ調整を行ってＷＢゲイン算出領域におけるＲ、Ｇ、Ｂ各色の画像信号の平均値を一致させるようにする。このＷＢ調整処理が完了するとオートホワイトバランス処理が終了する。
【００８５】
以上までの処理が図６のオートホワイトバランス処理である。この処理を図１の制御部２に行わせることで、図１の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【００８６】
なお、本実施形態に係る撮像装置では、撮像素子１１として、単板カラーのベイヤ型のものを用いたが、ベイヤ型以外の単板カラーの撮像素子を用いてもよく、また、単色の撮像素子を３つ用いて撮像装置を構成してもよい。
【００８７】
また、本実施形態に係る撮像装置では、ＷＢゲイン算出領域の抽出のためにＩＳＯ感度毎に１つのノイズモデルを使用するようにしたが、ＩＳＯ感度毎に画像信号を構成する各色成分のノイズモデルを用意し、各色成分に対応したノイズモデルを使用してもよい。また、本実施形態に係る撮像装置では、ノイズモデルをデータテーブルとしてメモリ３に記憶させているが、これを例えばグラフ化したノイズモデルを表す式をメモリ３に記憶させ、平坦領域抽出部２４では、そのノイズモデルを表す式より求めたノイズ量を用いて、平坦領域の抽出を行ってもよい。
【００８８】
また、制御部２が有する領域分割部２１、標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４は、座標データと小領域のサイズ（水平方向および垂直方向の大きさ）を出力するだけでなく、分割された各小領域の画素の画像信号を出力してもよい。
【００８９】
また、制御部２、ＷＢ調整部５、及び画像処理部６の機能を、例えばパーソナルコンピュータに行わせるようにしてもよい。なお、このようにするには、これらの各部の機能をコンピュータに行わせるための制御プログラムを作成し、この制御プログラムをパーソナルコンピュータに読み込ませて実行させるようにすればよい。
【００９０】
以上のように、本実施形態では、画像を分割した小領域の画素の画像信号の色成分毎の標準偏差とノイズモデルとを比較し、この比較結果に基づいてＷＢゲイン算出領域を抽出する。本実施形態では、このようにすることで、被写体やゴミなどの構造部や白飛びや黒つぶれなどのノイズが存在しない領域を、ＷＢゲイン算出領域として抽出することができる。つまり、無彩色領域である背景部分をＷＢゲイン算出領域として高精度に抽出することができるので、ＷＢゲインの算出が高精度に行える結果、オートホワイトバランス調整の精度が向上する。
【００９１】
［第二の実施形態］
【００９２】
図７は本実施形態に係る撮像装置の構成図である。なお、図７において、図１に示した第一の実施形態に係るものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【００９３】
図７の構成は、制御部２がＷＢゲイン算出最適領域抽出部２６、平坦領域再抽出部２７、及び警告部２８を備えている点において、図１の構成と相違している。
【００９４】
ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、次の２つの条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。その第一の条件は、平坦領域抽出部２４が平坦領域として抽出した各小領域の色成分毎の画像信号の平均値の全てが最大値となる小領域である。また、その第二の条件は、平坦領域抽出部２４が平坦領域として抽出した各小領域の色成分毎の画像信号の平均値が、その色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域である。
【００９５】
ＷＢゲイン算出最適領域抽出部２６によりこのようにしてＷＢゲイン算出最適領域の抽出を行うのは、平坦領域抽出部２４が抽出する平坦領域は、必ずしも無彩色領域である背景部分のみに限られるものではないからである。つまり、平坦領域として抽出された各小領域の色成分毎の画像信号の平均値を用いて小領域の更なる抽出を行うことで、無彩色領域の抽出がより高精度なものになるからである。
【００９６】
なお、各小領域の色成分毎の画像信号の平均値の最大値を基準にして設定した閾値とは、ここでは、平坦領域抽出部２４が平坦領域として抽出した小領域の色成分毎の平均値のうちの最大値を基準にして、その値からｂ％の範囲内の値とする。
【００９７】
平坦領域抽出部２４とＷＢゲイン算出最適領域抽出部２６とにより行われるＷＢゲイン算出最適領域の抽出について、図８を用いて更に説明する。
【００９８】
図８は、顕微鏡で観察した標本を撮像した画像の例を示している。図８において、分割した小領域２０１〜２０３は無彩色領域である背景部分であり、小領域２０４及び２０５は標本の厚みが薄い領域（背景部分ではない領域）である。
【００９９】
このとき、平坦領域抽出部２４は、小領域２０１〜２０５の全てを平坦領域として抽出してしまうことがある。ここで、平坦領域抽出部２４が小領域２０４及び２０５を抽出してしまうのは、顕微鏡で観察した標本を撮像した場合において、標本の厚みが薄い領域は背景部分と同程度の標準偏差を有していることがあるためである。しかしながら、小領域２０４及び２０５は、背景部分ではなく、標本の存在している領域であるため、これらをＷＢゲインの算出に用いることは適切とはいえない。
【０１００】
一方、ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した２つの条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。ＷＢゲイン算出最適領域抽出部２６による小領域の抽出について、図９、図１０、及び図１１を用いて更に説明する。
【０１０１】
図９、図１０、及び図１１は、それぞれ、各小領域の、Ｒ色、Ｇ色、及びＢ色それぞれの色成分毎の画像信号の平均値を表しているグラフの例である。
【０１０２】
図９において、Ｒ色成分の画像信号の平均値の最大値をＲｍａｘとすると、この最大値Ｒｍａｘを基準にして設定した閾値は、Ｒｍａｘ×（ｂ/１００）となる。また、図１０において、Ｇ色成分の画像信号の平均値の最大値をＧｍａｘとすると、この最大値Ｇｍａｘを基準にして設定した閾値は、Ｇｍａｘ×（ｂ/１００）となる。更に、図１１において、Ｂ色成分の画像信号の平均値の最大値をＢｍａｘとすると、この最大値Ｂｍａｘを基準にして設定した閾値は、Ｂｍａｘ×（ｂ/１００）となる。
【０１０３】
図９、図１０、及び図１１を参照すると、前述した第一及び第二の条件の少なくともどちらか一方に合致するのは、小領域２０１〜２０３であり、小領域２０４及び２０５は、この条件をどちらも満たしていない。従って、ＷＢゲイン算出最適領域抽出部２６は、小領域２０１〜２０３を抽出する。こうして、小領域２０１〜２０５のうち、背景部分である小領域２０１〜２０３のみが、ＷＢゲイン算出最適領域として抽出される。
【０１０４】
平坦領域再抽出部２７は、平坦領域部２４において平坦領域の抽出に失敗した場合（すなわち、平坦領域が全く抽出されなかった場合）に、所定の条件の下で、撮像部１が新たに撮像した画像を用いて平坦領域部２４に平坦領域の抽出を再度行わせるものである。
【０１０５】
平坦領域再抽出部２７は、まず、メモリ３に記憶してある平坦領域再抽出回数を読み出し、カウントアップする。そして、このカウントアップした平坦領域再抽出回数と予めメモリ３に記憶されていた平坦領域再抽出設定回数とを比較する。
【０１０６】
ここで、カウントアップした平坦領域再抽出回数が、平坦領域再抽出設定回数未満であれば、平坦領域再抽出部２７は、平坦領域の抽出を再度試みるための制御を行う。すなわち、このとき、平坦領域再抽出部２７は、領域分割部２１へ座標データの再算出の指示を与え、以降の標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４の再動作を開始させる。こうして、撮像部１が新たに撮像した画像を用いた平坦領域の抽出が再度行われる。
【０１０７】
一方、カウントアップした平坦領域再抽出回数が、平坦領域再抽出設定回数以上であれば、この画像に対するオートホワイトバランス処理動作は不可能との判定を下し、警告部２８に対しユーザへの警告を報知させる指示を与える。その上で、平坦領域再抽出部２７は、領域分割部２１へ座標データの再算出の指示を与え、以降の標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４の再動作を開始させ、撮像部１が新たに撮像した画像に対する平坦領域の抽出が再度行われる。
【０１０８】
警告部２８は、平坦領域再抽出部２７からの指示に応じて、オートホワイトバランス失敗を表す警告を表示部８に表示出力させてユーザへ報知する。
【０１０９】
次に、図７の撮像装置で行われる制御処理について説明する。図１２は、図７の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１１０】
図１２において、図６に示した第一の実施形態に係るものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１１１】
図１２のフローチャートは、Ｓ７からＳ１１及びＳ１８の処理ステップが追加され、代わりにＳ４の処理ステップが削除されている点において、図６のフローチャートと相違している。
【０１１２】
図１２において、Ｓ３の平均値算出処理に続くＳ７において、平坦領域抽出処理が行われる。この判定処理では、平坦領域抽出部２４を機能させ、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。そして、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域の抽出を試みて、小領域の抽出ができたか否かを判定する。ここで、小領域の抽出ができたと判定したとき（判定結果がＹｅｓのとき）には、平坦領域抽出部２４に、抽出された小領域を特定する座標データを、平坦領域の抽出結果として出力させ、処理をＳ１８に進める。この平坦領域の抽出結果は、ＷＢゲイン算出最適領域抽出部２６に入力される。一方、小領域の抽出ができなかったと判定したとき（判定結果がＮｏのとき）には、平坦領域抽出部２４に、平坦領域再抽出信号を出力させ、処理をＳ９に進める。この平坦領域再抽出信号は、平坦領域再抽出部２７に入力される。
【０１１３】
Ｓ１８では、平坦領域再抽出回数リセット処理が行われる。この処理は、平坦領域である小領域の抽出ができたので、メモリ３に記憶されている、平坦領域再抽出回数をリセットして初期値「０」とする処理である。そして、続くＳ８において、ＷＢゲイン算出最適領域抽出処理が行われる。
【０１１４】
このＷＢゲイン算出最適領域抽出処理は、ＷＢゲイン算出最適領域抽出部２６を機能させる処理である。前述したように、ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した第一及び第二の条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。ＷＢゲイン算出最適領域抽出部２６は、こうして抽出された小領域を特定する座標データを、ＷＢゲイン算出最適領域の抽出結果として出力する。
【０１１５】
このＳ８の処理に続いて行われるＳ５のＷＢゲイン算出処理では、メモリ３より読み出した撮像画像に対し、このＷＢゲイン算出最適領域抽出部２６から出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出し、算出したＷＢゲインをメモリ３に一旦格納する。そして、続くＳ６のＷＢ調整処理において、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。
【０１１６】
一方、Ｓ９では、平坦領域再抽出回数カウント処理が行われる。前述したように、この処理は、平坦領域部２４による小領域の抽出ができず、平坦領域の抽出に失敗したとＳ７の処理で判定された場合に行う処理である。この処理では、平坦領域再抽出部２７を機能させて、メモリ３に記憶してある平坦領域再抽出回数を読み出して、「１」だけカウントアップさせ、カウントアップ後の平坦領域再抽出回数をメモリ３に記憶させてその値を更新させる。
【０１１７】
次に、Ｓ１０では、平坦領域再抽出回数判定処理が行われる。この処理は、平坦領域再抽出部２７を機能させて、予めメモリ３に記憶させていた平坦領域再抽出設定回数を読み出させ、この設定回数とＳ９の処理によるカウントアップ後の平坦領域再抽出回数との大小比較を行わせる。ここで、カウントアップ後の平坦領域再抽出回数が、平坦領域再抽出設定回数未満であると判定したとき（判定結果がＮｏのとき）には、Ｓ１へ処理を戻し、平坦領域抽出のためのＳ１からＳ３及びＳ７の処理を再度開始させる。一方、カウントアップ後の平坦領域再抽出回数が、平坦領域再抽出設定回数以上であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１に処理を進める。
【０１１８】
Ｓ１１では、オートホワイトバランス失敗警告処理が行われる。この処理は警告部２８を機能させる処理であり、オートホワイトバランス失敗を表す警告を表示部８に表示出力させて、その警告をユーザへ報知する処理である。その後、このＳ１１の処理を終えたときには、Ｓ１へ処理を戻し、平坦領域抽出のためのＳ１からＳ３及びＳ７の処理を再度開始させる。
【０１１９】
以上までの処理が図１２のオートホワイトバランス処理である。この処理を図７の制御部２に行わせることで、図７の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１２０】
なお、上述した本実施形態の説明では、画像内に無彩色領域である背景部分が必ず存在することを想定しているが、このような背景部分が存在しない場合も考えられる。そこで、図７の撮像装置を以下のように動作させるようにしてもよい。
【０１２１】
すなわち、まず、撮像開始時にオートホワイトバランス処理を初めて行ったときにＷＢゲイン算出最適領域として抽出された各小領域の色成分毎の画像信号の平均値の最大値をメモリ３に記憶させておく。その後、オートホワイトバランス処理を実行する度に、その実行により得られた各小領域の色成分毎の画像信号の平均値の最大値と、記憶させておいた最大値を比較して、この値の大きい方を最大値としてメモリ３の記憶内容を更新する。そして、その後のＷＢゲイン算出最適領域の抽出時において、色成分毎の画像信号の平均値の最大値を基準にして設定する閾値以上の平均値を持つ小領域を抽出するときに、代わりに、メモリ３に記憶されている当該最大値を、当該閾値の設定の基準として用いる。
【０１２２】
図７の撮像装置を以上のように動作させるようにしても、無彩色領域である背景部分の抽出を、高精度に行うことができる。
【０１２３】
また、図１２に示したオートホワイトバランス処理におけるＳ１１の処理において、オートホワイトバランス処理に失敗したと判定された場合（判定結果がＹｅｓの場合）に、最後にＷＢ調整処理が実施されたときのＷＢゲインを用いてＷＢ調整を行うようにしてもよい。また、このとき、撮像を開始して最初のオートホワイトバランス処理において処理に失敗したと判定された場合には、メモリ３に予め記憶させておいたＷＢゲインの初期設定値を使用してＷＢ調整を行うようにしてもよい。
【０１２４】
以上のように、本実施形態では、ＷＢゲイン算出最適領域の抽出を、各小領域の色成分毎の画像信号の標準偏差とノイズモデルとの比較結果に基づいて行うだけでなく、当該標準偏差を用いて抽出した各小領域の色成分毎の画像信号の平均値にも基づいて行う。本実施形態では、このようにすることで、より高精度に無彩色領域である背景部分の抽出がより高精度に抽出することができるので、ＷＢゲインの算出が更に高精度に行える結果、オートホワイトバランス調整の精度が更に向上する。
【０１２５】
また、本実施形態では、平坦領域の抽出に失敗した場合に、平坦領域の再抽出を試みることで、ユーザの作業負担を軽減することができる。ここで、平坦領域の再抽出を、予め設定しておいた回数失敗した場合は、オートホワイトバランス処理に失敗したことがユーザに警告されるので、ＷＢ調整が実施されていないことをユーザに認識させることができる。この結果、ＷＢ調整のミスによる撮像の失敗を減らすことができる。
【０１２６】
［第三の実施形態］
【０１２７】
図１３は、本実施形態に係る撮像装置の構成図である。なお、図１３において、図１に示した第一の実施形態に係るもの、若しくは図７に示した第二の実施形態に係るものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【０１２８】
図１３の構成は、制御部２がＷＢゲイン算出最適領域再抽出部２９を備えている点において、図７の構成と相違している。
【０１２９】
ＷＢゲイン算出最適領域再抽出部２９は、ＷＢゲイン算出最適領域の抽出に失敗したと判定された場合に、所定の条件の下で、撮像部１が新たに撮像した画像を用いてＷＢゲイン算出最適領域抽出部２６にＷＢゲイン算出最適領域の抽出を再度行わせるものである。
【０１３０】
ＷＢゲイン算出最適領域再抽出部２９は、まず、メモリ３に記憶してあるＷＢゲイン算出最適領域再抽出回数を読み出し、カウントアップする。そして、このカウントアップしたＷＢゲイン算出最適領域再抽出回数と予めメモリ３に記憶されていたＷＢゲイン算出最適領域再抽出設定回数とを比較する。
【０１３１】
ここで、カウントアップしたＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数未満であれば、ＷＢゲイン算出最適領域再抽出部２９は、ＷＢゲイン算出最適領域の抽出を再度試みるための制御を行う。すなわち、このとき、ＷＢゲイン算出最適領域再抽出部２９は、領域分割部２１へ座標データの再算出の指示を与える。これにより、以降の標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出最適領域抽出部２６の再動作を開始させる。こうして、撮像部１が新たに撮像した画像を用いたＷＢゲイン算出最適領域の抽出が再度行われる。
【０１３２】
一方、カウントアップしたＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数以上であれば、この画像に対するオートバランス処理動作は不可能との判定を下し、警告部２８に対しユーザへの警告を報知させる指示を与える。その上で、ＷＢゲイン算出最適領域再抽出部２９は、領域分割部２１へ座標データの再算出の指示を与える。これにより、以降の標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出最適領域抽出部２６の再動作を開始させ、撮像部１が新たに撮像した画像を用いたＷＢゲイン算出最適領域の抽出が再度行われる。
【０１３３】
次に、図１３の撮像装置で行われる本実施形態に係る制御処理について説明する。図１４は、図１３の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１３４】
図１４において、図６に示した第一の実施形態に係るもの若しくは図１２に示した第二の実施形態に係るものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１３５】
図１４のフローチャートは、Ｓ１２からＳ１４及びＳ１９の処理ステップが追加され、代わりにＳ８の処理ステップが削除されている点において、図１２のフローチャートと相違している。
【０１３６】
図１４において、Ｓ１８の平坦領域再抽出回数リセット処理に続くＳ１２の処理として、ＷＢゲイン算出最適領域抽出処理が行われる。この処理は、ＷＢゲイン算出最適領域抽出部２６を機能させる処理である。
【０１３７】
ＷＢゲイン算出最適領域抽出部２６は、まず、図１２のＳ８と同様にして、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した第一及び第二の条件の少なくともどちらか一方に合致する小領域の抽出を試みる。そして、この小領域の抽出ができたか否かを判定する。ここで、小領域の抽出ができたと判定したとき（判定結果がＹｅｓのとき）には、抽出された小領域を特定する座標データを、ＷＢゲイン算出最適領域の抽出結果として出力させ、処理をＳ１９に進める。このＷＢゲイン算出最適領域の抽出結果は、ＷＢゲイン算出最適領域抽出部２６に入力される。一方、小領域の抽出ができなかったと判定したとき（判定結果がＮｏのとき）には、ＷＢゲイン算出最適領域抽出部２６にＷＢゲイン算出最適領域再抽出信号を出力させ、処理をＳ９に進める。このＷＢゲイン算出最適領域再抽出信号は、ＷＢゲイン算出最適領域再抽出部２９に入力される。
【０１３８】
Ｓ１９では、ＷＢゲイン算出最適領域再抽出回数リセット処理が行われる。この処理は、ＷＢゲイン算出最適領域である小領域の抽出ができたので、メモリ３に記憶されている、ＷＢゲイン算出最適領域再抽出回数をリセットして初期値「０」とする処理である。
【０１３９】
このＳ１９の処理に続いて行われるＳ５のＷＢゲイン算出処理では、メモリ３より読み出した撮像画像に対し、このＷＢゲイン算出最適領域抽出部２６から出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出し、算出したＷＢゲインをメモリ３に一旦格納する。そして、続くＳ６のＷＢ調整処理において、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。
【０１４０】
一方、Ｓ１３では、ＷＢゲイン算出最適領域再抽出回数カウント処理が行われる。前述したように、この処理は、ＷＢゲイン算出最適領域抽出部２６による小領域の抽出ができず、ＷＢゲイン算出最適領域の抽出に失敗したとＳ７の処理で判定された場合に行う処理である。この処理では、ＷＢゲイン算出最適領域再抽出部２９を機能させて、まず、メモリ３に記憶してあるＷＢゲイン算出最適領域再抽出回数を読み出して、「１」だけカウントアップさせる。そして、カウントアップ後のＷＢゲイン算出最適領域再抽出回数をメモリ３に記憶させてその値を更新させる。
【０１４１】
次に、Ｓ１４では、ＷＢゲイン算出最適領域再抽出回数判定処理が行われる。この処理は、ＷＢゲイン算出最適領域再抽出部２９を機能させて、まず、予めメモリ３に記憶させていたＷＢゲイン算出最適領域再抽出設定回数を読み出させる。そして、この設定回数とＳ１３の処理によるカウントアップ後のＷＢゲイン算出最適領域再抽出回数との大小比較を行わせる。ここで、カウントアップ後のＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数未満であると判定したとき（判定結果がＮｏのとき）には、Ｓ１へ処理を戻す。そして、ＷＢゲイン算出最適領域抽出のためのＳ１からＳ３、Ｓ７、Ｓ１８、及びＳ１２の処理を再度開始させる。一方、カウントアップ後のＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数以上であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１に処理を進める。
【０１４２】
Ｓ１１のオートホワイトバランス失敗警告処理は、図１２に示したものと同様であり、警告部２８を機能させてオートホワイトバランス失敗を表す警告を表示部８に表示させて、その警告をユーザへ報知する処理である。その後、このＳ１１の処理を終えたときには、Ｓ１へ処理を戻し、ＷＢゲイン算出最適領域抽出のためのＳ１からＳ３、Ｓ７、Ｓ１８、及びＳ１２の処理を再度開始させる。
【０１４３】
以上までの処理が図１４のオートホワイトバランス処理である。この処理を図１３の制御部２に行わせることで、図１３の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１４４】
以上のように、本実施形態では、ＷＢゲイン算出最適領域の抽出ができなかった場合に、ＷＢゲイン算出最適領域の再抽出を試みることで、無彩色領域以外の部分を精度良く抽出できるようになり、ＷＢゲイン算出最適領域の抽出が更に高精度に行えるようになる。また、本実施形態では、平坦領域として抽出した小領域に無彩色領域（すなわちＷＢゲイン算出最適領域）がない場合に、オートホワイトバランス処理に失敗したことをユーザに警告するので、ＷＢ調整が正しく行われていないことをユーザが正確に認識できる。この結果、ＷＢ調整のミスによる撮像の失敗を更に軽減させることができる。
【０１４５】
［第四の実施形態］
【０１４６】
今までに説明した各実施形態では、領域分割部２１が画像の領域を分割するときの小領域の大きさを固定値としていた。しかし、撮像する被写体の形状や背景部分の大きさは様々である。そこで、本実施形態では、領域分割部２１が画像の領域を分割するときの小領域の大きさを可変とし、その大きさをユーザが設定できるようにする。
【０１４７】
本実施形態に係る撮像装置の構成は、図１３に示した第三の実施形態に係るものと同一である。従って、本実施形態に係る撮像装置における各構成要素については既述したので、ここでの詳しい説明を省略する。
【０１４８】
図１３の撮像装置で行われる本実施形態に係る制御処理について説明する。図１５は、図１３の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１４９】
図１５において、図６、図１２、若しくは図１４に示したフローチャートに含まれているものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１５０】
図１５のフローチャートは、処理の最初にＳ１５及びＳ１６の処理ステップが追加されている点において、図１４のフローチャートと相違している。
【０１５１】
図１５の処理が開始される前に、メモリ３には、領域分割部２１が画像の領域を分割するときの小領域の大きさの初期値を予め記憶させておく。
【０１５２】
図１５の処理が開始されると、まず、Ｓ１５において、分割領域の大きさを設定する処理が行われる。
【０１５３】
この処理では、まず、ユーザが操作部７を操作して行った、小領域の水平方向及び垂直方向の大きさの指示の入力をＣＰＵ４が取得する。すると、ＣＰＵ４は、この指示に係る大きさのデータをメモリ３に転送して記憶させ、そこに記憶されていた小領域の大きさに係るデータを更新する。
【０１５４】
このＳ１５の処理の後に最初に実行されるＳ１の領域分割処理では、領域分割部２１を機能させて、この更新後のデータをメモリ３から読み出させ、このデータに基づき、撮像画像を小領域に分割したときの各小領域の座標データを算出する処理が行われる。この撮像画像の小領域への分割を、図１６を参照しながら説明する。
【０１５５】
図１６は、図３に例示した撮像画像を小領域へ分割した様子の第二の例である。この図１６では、小領域の水平方向の大きさＸ及び垂直方向の大きさＹを、ユーザが、それぞれＸ＝ｗ１及びＹ＝ｈ１に設定した場合を表しており、撮像画像が水平方向及び垂直方向に、それぞれＸ＝ｗ１、Ｙ＝ｈ１の小領域に分割されていること示している。
【０１５６】
Ｓ１５の処理に続き、Ｓ１６では、Ｓ２の標準偏差算出処理及びＳ３の平均値算出処理による算出の対象とする小領域を得る撮像画像上の範囲を選択する処理が行われる。
【０１５７】
この処理では、まず、ユーザが操作部７を操作して行った、撮像画像上の範囲の指示をＣＰＵ４が取得する。すると、ＣＰＵ４は、この指示に係る範囲のデータをメモリ３に転送して記憶させる。
【０１５８】
このＳ１６の処理の後に最初に実行されるＳ１の領域分割処理では、領域分割部２１を機能させて、まず、このデータをメモリ３から読み出させる。そして、このデータに基づき、撮像画像からこの指示に係る範囲の画像を選択し、選択された範囲内の画像を小領域に分割したときの各小領域の座標データを算出する処理が行われる。この標準偏差及び平均値の算出対象範囲の選択について、図１７を参照しながら説明する。
【０１５９】
図１７は、図３に例示した撮像画像から標準偏差及び平均値の算出対象範囲が選択された様子を示している。この図１７では、標準偏差及び平均値の算出対象範囲である小領域範囲３０１をユーザが指示した場合を表している。この場合、領域分割部２１は、この小領域範囲３０１内に存在する各小領域の座標データを出力する。
【０１６０】
以上のＳ１５及びＳ１６の処理の完了後は、前述した図１４の処理と同様の処理が行われる。この図１５のオートホワイトバランス処理を図１４の制御部２に行わせることで、図１４の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１６１】
以上のように、本実施形態では、例えば、被写体の占める割合が多く無彩色領域である背景部分が少ない撮像画像の場合に、小領域の大きさを変更することで、少ない背景部分を効率的に抽出することができる。
【０１６２】
また、小領域の大きさが小さいために小領域の数が増大した場合には、各小領域の標準偏差や平均値の算出、平坦領域抽出やＷＢゲイン算出最適領域抽出に長い時間を要することとなる。このような場合に、本実施形態によれば、標準偏差及び平均値の算出の対象とする小領域を予め選択しておくことで、これらの処理時間を短縮できる。
【０１６３】
なお、本実施形態においては、分割する小領域の形状を、図１７のように矩形としているが、この形状は、円や楕円など、どのような形状でもよい。また、撮像画像の分割方法も、格子状とする代わりに所望の領域となるように分割してもよい。また、領域分割された画像を、表示部８で表示し、ユーザが、この表示部８での表示を参照しながら操作部７を操作して、例えば無彩色領域に合わせた領域に小領域の大きさを指定すると、その指定された大きさで画像を分割するようにしてもよい。また、ユーザが表示部８に表示された、領域分割された画像を見ながら、操作部７を操作して、標準偏差及び平均値算出の対象となる領域の選択を行えるようにしてもよい。
【０１６４】
［第五の実施形態］
【０１６５】
顕微鏡を用いて観察した観察標本の顕微鏡画像を撮像する場合を想定する。図１８は、図３に例示した画像に表されている標本を、高倍率の対物レンズを用いて撮像して得た画像の例である。
【０１６６】
この図１８の撮像画像を図３の画像と対比しても分かるように、被写体を、高倍率の対物レンズを用いて撮像すると、その撮像画像における被写体の占める割合は、対物レンズの倍率に応じて変化する。
【０１６７】
そこで、本実施形態では、被写体の観察に使用する対物レンズの倍率に応じて、分割する小領域の水平方向と垂直方向の大きさを変化させるようにする。
【０１６８】
図１９は、本実施形態に係る撮像装置を含む顕微鏡システムの構成図である。なお、図１９において、図１、図７、若しくは図１３に示した撮像装置におけるものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【０１６９】
図１９の構成は、対物レンズ３２が装備されている顕微鏡３３に撮像部１が設置されている点と、観察条件取得部３４が追加されている点とにおいて、図１３の構成と相違している。なお、顕微鏡３３には観察標本３１が載置されており、観察標本３１の顕微鏡画像を得る。また、撮像部１の構成要素である撮像素子１１、撮像素子駆動部１２、前置処理部１３、増幅部１４、及びＡ／Ｄ変換部１５は、図１９においては記載を省略している。
【０１７０】
図１９において、観察標本３１の観察像は、対物レンズ３２を通して撮像部１により撮像される。対物レンズ３２は、観察標本３１を観察する際にユーザにより切り替えて使用される。
【０１７１】
観察条件取得部３４は、観察標本３１の観察時における顕微鏡３３の設定を、顕微鏡３３と観察条件取得部３４とを接続する信号線を介して観察条件として取得する。観察条件取得部３４は、制御部２内のＣＰＵ４の指示に従い、取得した観察条件をデータバス９へ送出する。送出された観察条件は制御部２に転送される。
【０１７２】
なお、本実施形態では、観察条件取得部３４は、観察標本３１の観察に使用している対物レンズ３２を特定する情報と、その倍率（すなわち観察倍率）の情報とを含む対物レンズ倍率情報を、観察条件として取得するものとする。この対物レンズ倍率情報は、領域分割部２１が撮像画像を小領域に分割する際の小領域の大きさの設定に使用される。
【０１７３】
次に、図１９の撮像装置で行われる本実施形態に係る制御処理について説明する。図２０は、図１９の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１７４】
図２０において、図６、図１２、図１４、若しくは図１５に示したフローチャートに含まれているものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１７５】
図２０のフローチャートは、処理の最初にＳ１７の処理ステップが追加されている点において、図１５のフローチャートと相違している。
【０１７６】
図１７の処理が開始されると、まず、Ｓ１７において、顕微鏡情報取得処理が行われる。この処理では、まず、観察条件取得部３４を機能させて、前述した対物レンズ倍率情報を観察条件として取得し、制御部２に転送させる処理が行われる。制御部２では、この対物レンズ倍率情報を取得し、撮像画像を分割する際の小領域の水平方向及び垂直方向の大きさを、この対物レンズ倍率情報に基づき算出してメモリ３に記憶する処理がＣＰＵ４により行われる。この小領域の水平方向及び垂直方向の大きさの算出は、例えば以下のようにしてＣＰＵ４により行われる。
【０１７７】
まず、顕微鏡３３に装備される対物レンズ３２のうち最低倍率のものを使用したときに最適な小領域の水平方向及び垂直方向の大きさを、予めメモリ３に記憶させておく。ここで、対物レンズ倍率情報がこの最低倍率のもの以外の対物レンズ３２を使用していることを示していた場合には、この倍率についての最低倍率に対する比を求める。そして、メモリ３に記憶させておいた小領域の水平方向及び垂直方向の大きさを、この比に従って変更する。
【０１７８】
例えば、予めメモリ３に記憶させておいた、最低倍率であるＭ倍の対物レンズ３２を使用したときに最適な小領域の水平方向及び垂直方向の大きさを、それぞれｘ及びｙとする。このときに、観察条件取得部３４が取得した対物レンズ倍率情報が、Ｎ倍の倍率である対物レンズ３２の使用を示していた場合には、小領域の水平方向及び垂直方向の大きさを、それぞれ、ｋ×（Ｍ／Ｎ）×ｘ及びｋ×（Ｍ／Ｎ）×ｙに変更する。ここで、ｋは所定の定数とする。
【０１７９】
以上のＳ１７の処理の完了後は、前述した図１５の処理と同様の処理が行われる。この図２０のオートバランス処理を図１９の制御部２に行わせることで、図１９の撮像装置でのオートバランス機能の提供が可能になる。
【０１８０】
図２１は、本実施形態に係る顕微鏡システムにより、図１８の撮像画像が小領域に分割された様子を表している。図２１の画像を図４の画像と対比すると、図２１の画像は、図４の画像を撮像したときに使用したものよりも高倍率の対物レンズ３２を使用したことにより、小領域の水平方向及び垂直方向の大きさが図４の画像よりも小さくなっていることが分かる。
【０１８１】
対物レンズ３２の倍率を高めたときの撮像画像は、その画像の大部分を観察標本３１が占め、無彩色領域である背景部分が少なくなるため、ＷＢゲイン算出最適領域の抽出に失敗しやすくなってしまう。そこで、本実施形態では、このような場合に、小領域の水平方向及び垂直方向の大きさを小さくすることで、ＷＢゲイン算出最適領域が抽出できる可能性を高めているのである。図２１の画像例では、小領域４０１〜４０７が、ＷＢゲイン算出最適領域として抽出できることが分かる。
【０１８２】
以上のように、本実施形態では、使用する対物レンズ３２を変更した際に、小領域の水平方向及び垂直方向の大きさを対物レンズ３２の倍率に応じて変更する。本実施形態によれば、このようにすることで、撮像画像に占める割合が少なくなってしまう無彩色領域である背景部分を効率よく抽出することができる。
【０１８３】
なお、本実施形態においては、分割する小領域の形状を、図２１のように矩形としているが、この形状は、円や楕円など、どのような形状でもよい。
【０１８４】
また、本実施形態においては、画像の撮像に使用する対物レンズ３２の倍率の比に基づき小領域の大きさを算出している。この代わりに、その倍率に応じた最適な小領域の大きさが予め設定されているテーブルを用意し、取得した観察条件に基づく小領域の大きさの決定を、このテーブルを参照して行うようにしてもよい。
【０１８５】
なお、標準偏差及び平均値の算出対象範囲である小領域の範囲を、図１７に示したようにユーザの指示に基づき選択する代わりに、この小領域の範囲を、観察条件（対物レンズ倍率情報）に基づき、撮像装置が自動的に選択するように構成することも可能である。
【符号の説明】
【０１８６】
１ 撮像部
２ 制御部
３ メモリ
４ ＣＰＵ
５ ＷＢ調整部
６ 画像処理部
７ 操作部
８ 表示部
９ データバス
１１ 撮像素子
１２ 撮像素子駆動部
１３ 前置処理部
１４ 増幅部
１５ Ａ／Ｄ変換部
２１ 領域分割部
２２ 標準偏差算出部
２３ 平均値算出部
２４ 平坦領域抽出部
２５ ＷＢゲイン算出部
２６ ＷＢゲイン算出最適領域抽出部
２７ 平坦領域再抽出部
２８ 警告部
２９ ＷＢゲイン算出最適領域再抽出部
３１ 観察標本
３２ 対物レンズ
３３ 顕微鏡
３４ 観察条件取得部
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、撮像した画像の画質を向上させる技術に関する。
【背景技術】
【０００２】
現在広く普及しているデジタルカメラやデジタルビデオカメラにおいては、撮影したカラー画像の色信号が一定の割合となるように調整するホワイトバランス調整機能を備えている。また、その多くは、使用者が高画質な画像を簡単に撮像できるように、このホワイトバランス調整をカメラ自らが行うオートホワイトバランス機能を備えているものが多い。
【０００３】
オートホワイトバランスは、被写体の色信号を色毎に積算して各色の相関を求め、光源等の変化に対して各色成分が同一レベルとなるように各色成分のバランスを補正するものである。しかしながら、被写体の無彩色領域以外の色信号を積算した場合や、積算した色信号に白飛びなどのノイズが混ざっている場合には、ホワイトバランスの調整を適切に行うことができなくなる。そこで、被写体の無彩色領域以外の色信号を選択する技術や、ノイズの影響を抑制する技術が提案されている。
【０００４】
例えば、特許文献１には、映像信号における輝度信号の高周波成分量を検出し、この高周波成分量が所定の閾値以下であるときの輝度信号に対応した色信号を用いて、ホワイトバランス調整を行う技術が開示されている。
【０００５】
また、例えば特許文献２には、輝度値の大きさが所定範囲内である画素の数が所定範囲内に入るように輝度値の下限値を調整することで、ノイズを含む画素を含まない無彩色の画像信号が選択されるようにして、ホワイトバランス調整を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−７５９１９号公報
【特許文献２】特開２００１−３１３９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術は、撮像画像における高周波成分を多く含む領域は被写体部分であり、他の部分は無彩色領域であってそれは背景部分であるとの推定を根拠として、高周波成分量に基づいた無彩色領域の抽出を行うものである。しかし、実際には、撮像画像中で高周波成分が多くは含まれていない部分であるのに被写体部分である場合がある。このような場合には、ホワイトバランスの調整を適切に行うことはできない。
【０００８】
また、特許文献２の技術では、例えば顕微鏡による標本の観察像の画像では、輝度値の許容範囲及び画素数の許容範囲の設定によっては、標本における厚みの薄い部分までも無彩色領域として抽出してしまう場合がある。このような場合には、ホワイトバランスの調整を適切に行うことはできない。
【０００９】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、オートホワイトバランス調整の精度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明の態様のひとつである撮像装置は、被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段と、該撮像画像を複数の小領域に分割する領域分割手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
【００１１】
なお、上述した撮像装置において、該ノイズモデルにより示されている該画像信号の大きさと該ノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係であるように構成することができる。
【００１２】
また、前述した撮像装置において、平坦領域抽出手段が平坦領域として抽出した各小領域のうち、色成分毎の画像信号の平均値の全てが最大値となる小領域、若しくは、当該平均値が、当該色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域を、ホワイトバランスゲイン算出最適領域として抽出するホワイトバランスゲイン算出最適領域抽出手段を更に有し、該ホワイトバランスゲイン算出手段は、該撮像画像における該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインを算出し、該ホワイトバランス調整手段は、該ホワイトバランスゲイン算出手段が算出した該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、ように構成することもできる。
【００１３】
また、前述した撮像装置において、該平坦領域抽出手段が該平坦領域である小領域の抽出を行えたか否かを判定する平坦領域抽出判定手段と、該平坦領域である小領域の抽出を該平坦領域抽出手段が行えなかったと該平坦領域抽出判定手段が判定したときに、該平坦領域抽出手段による該平坦領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせる平坦領域再抽出手段と、を更に有するように構成することもできる。
【００１４】
なお、このとき、該平坦領域再抽出手段が該平坦領域抽出手段に行わせた該平坦領域である小領域の再抽出の回数が所定回数以上になったか否かを判定する平坦領域再抽出回数判定手段と、該平坦領域である小領域の再抽出の回数が所定回数以上になったと該平坦領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗の警告を出力する警告手段と、を更に有するように構成することもできる。
【００１５】
また、前述した撮像装置において、該ホワイトバランスゲイン算出最適領域抽出手段が該ホワイトバランスゲイン算出最適領域である小領域の抽出を行えたか否かを判定するホワイトバランスゲイン算出最適領域抽出判定手段と、該ホワイトバランスゲイン算出最適領域である小領域の抽出を該ホワイトバランスゲイン算出最適領域抽出手段が行えなかったと該ホワイトバランスゲイン算出最適領域抽出判定手段が判定したときに、該ホワイトバランスゲイン算出最適領域抽出手段による該ホワイトバランスゲイン算出最適領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせるホワイトバランスゲイン算出最適領域再抽出手段と、を更に有するように構成することもできる。
【００１６】
なお、このとき、該ホワイトバランスゲイン算出最適領域再抽出手段が該ホワイトバランスゲイン算出最適領域抽出手段に行わせた該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったか否かを判定するホワイトバランスゲイン算出最適領域再抽出回数判定手段と、該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったと該ホワイトバランスゲイン算出最適領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗を表す警告を出力する警告手段と、を更に有するように構成することもできる。
【００１７】
また、前述した撮像装置において、該領域分割手段が該撮像画像を該複数の小領域に分割するときの該小領域の大きさの指示を入力として取得する入力取得手段を更に有し、該領域分割手段は、該入力取得手段が取得した指示に係る小領域の大きさで、該撮像画像を分割する、ように構成することもできる。
【００１８】
また、前述した撮像装置において、該撮像画像上に、該標準偏差及び該平均値を算出する対象とする小領域を得る範囲を選択する領域選択手段を更に有し、該領域分割手段は、該撮像画像のうち該領域選択手段により選択された範囲を、複数の小領域に分割する、ように構成することもできる。
【００１９】
また、前述した撮像装置において、該撮像手段は、顕微鏡により得られた観察標本の顕微鏡画像を該撮像素子で撮像して、該観察標本の撮像画像を生成し、該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段を更に有し、該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、ように構成することもできる。
【００２０】
また、本発明の別の態様のひとつである顕微鏡システムは、観察標本の顕微鏡画像を得る顕微鏡と、該顕微鏡により得られる該顕微鏡画像を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該観察標本の撮像画像を生成する撮像手段と、該撮像画像を複数の小領域に分割する領域分割手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段と、を有し、該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【００２１】
また、本発明の更なる別の態様のひとつであるホワイトバランス調整方法は、被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段を有する撮像装置により得られる該撮像画像のホワイトバランスを調整する方法であって、該撮像画像を複数の小領域に分割し、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出し、該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出し、予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出し、該撮像画像における該平坦領域のホワイトバランスゲインを算出し、該平坦領域のホワイトバランスゲインの算出結果に基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。
【発明の効果】
【００２２】
本発明によれば、以上のようにすることにより、高い精度でのオートホワイトバランス調整を可能にするという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第一の実施形態に係る撮像装置の構成図である。
【図２】ノイズモデルの例を示すグラフである。
【図３】撮像画像の例を示す図である。
【図４】図３の撮像画像を小領域に分割した様子の第一の例を表した図である。
【図５】ＷＢゲイン算出領域の抽出例を示す図である。
【図６】本発明の第一の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図７】本発明の第二の実施形態に係る撮像装置の構成図である。
【図８】ＷＢゲイン算出最適領域の抽出例を示す図である。
【図９】各小領域のＲ色の画像信号平均値を表したグラフの例である。
【図１０】各小領域のＧ色の画像信号平均値を表したグラフの例である。
【図１１】各小領域のＢ色の画像信号平均値を表したグラフの例である。
【図１２】本発明の第二の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１３】本発明の第三及び第四の実施形態に係る撮像装置の構成図である。
【図１４】本発明の第三の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１５】本発明の第四の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図１６】図３の撮像画像を小領域に分割した様子の第二の例を表した図である。
【図１７】図３の撮像画像から標準偏差及び平均値の算出対象範囲が選択された様子を示す図である。
【図１８】高倍率の対物レンズを用いた撮像画像の例を示す図である。
【図１９】本発明の第五の実施形態に係る撮像装置を含む顕微鏡システムの構成図である。
【図２０】本発明の第五の実施形態に係るオートバランス処理の処理内容を表したフローチャートである。
【図２１】図１８の撮像画像を小領域に分割した様子を表した図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２５】
［第一の実施形態］
【００２６】
図１は本実施形態に係る撮像装置の構成図である。この撮像装置は、撮像部１、制御部２、ホワイトバランス調整部（以降、「ＷＢ調整部」と記す）５、画像処理部６、操作部７、及び表示部８を備えている。ここで、撮像部１、制御部２、ＷＢ調整部５、及び画像処理部６はいずれもデータバス９に接続されており、各種のデータを制御部２の管理の下で相互に授受することができる。
【００２７】
撮像部１は、撮像素子１１、撮像素子駆動部１２、前置処理部１３、増幅部１４、及びＡ／Ｄ変換部１５を備えている。
【００２８】
撮像素子１１は、例えばＣＣＤ（電荷結合素子：Charge Coupled Device）であり、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の光の三原色の各色の輝度を検出する画素がベイヤ配列(Bayer array)を成しており、各画素単位の受光量に応じた信号を出力する。撮像素子１１は、撮像素子駆動部１２からの駆動信号に基づいた露出時間で駆動され、その出力信号は前置処理部１３に入力される。
【００２９】
前置処理部１３は、撮像素子駆動部１２から与えられる制御パルスに従い、撮像素子１１からの出力信号を、撮像画像を構成する各画素の画像信号として増幅部１４へ出力する。
【００３０】
増幅部１４は、前置処理部１３から出力される画像信号を、制御部２によって設定される利得で増幅する。
【００３１】
Ａ／Ｄ変換部１５は、増幅部１４で増幅された、アナログ信号である画像信号を、撮像素子駆動部１２からのクロック信号に従ってアナログ−デジタル変換して、撮像画像を表現しているデジタルデータを出力する。Ａ／Ｄ変換部１５から出力される、デジタルデータである撮像画像は、ＷＢ調整部５に入力されると共にデータバス９を介して制御部２にも入力される。制御部２内では、この撮像画像はメモリ３に記憶される。
【００３２】
撮像部１は、以上のように構成されており、被写体を撮像して、複数の色成分の画像信号により色彩が画素毎に表現されている当該被写体の撮像画像を生成する。
【００３３】
なお、撮像部１は、画像の撮像を所定の時間間隔で順次行って撮像画像を順次出力する。従って、メモリ３における撮像画像の記憶は順次更新される。
【００３４】
制御部２はメモリ３及びＣＰＵ４を備えている。
【００３５】
メモリ３は、各種のデータを記憶しておく記憶部である。メモリ３は、例えば、撮像部１から出力される撮像画像や、領域分割部２１により設定される小領域の大きさに関する情報を記憶しておく。メモリ３は、更に、ホワイトバランスゲイン（以降、「ＷＢゲイン」と記す）を算出する対象の領域の抽出に用いるノイズモデルや、ＷＢゲイン算出部２５において算出されＷＢ調整部５に設定されるＷＢゲインなども記憶しておく。
【００３６】
ＣＰＵ４は、撮像素子駆動部１２、増幅部１４、ＷＢ調整部５、及び画像処理部６とはデータバス９を介して接続されており、また、操作部７とも接続されている。ＣＰＵ４は、これらの各部の動作の制御を行う中央演算装置である。ＣＰＵ４は、例えば、不図示の読み出し専用メモリに予め格納させておいた所定の制御プログラムを読み出して実行することにより、これらの各部の動作の制御を行う。
【００３７】
なお、制御部２は、この他にも、領域分割部２１、標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びホワイトバランスゲイン算出部（以降、「ＷＢゲイン算出部」と記す）２５を備えている。次に、これらの各部の動作について説明する。
【００３８】
図１の撮像装置では、撮像画像を小領域に分割し、分割した小領域毎且つ色成分毎の各画素の画像信号の標準偏差を算出し、ＷＢゲインの算出を行う撮像画像上の領域を、算出された標準偏差とノイズモデルとの比較結果に基づいて抽出する。
【００３９】
まず、上述した抽出に用いるノイズモデルについて説明する。
【００４０】
ノイズモデルの一例を図２に示す。図２に例示するように、このノイズモデルは、画像信号の大きさと画像信号に重畳されるノイズの量との対応関係を示す複数の座標点データで構成されているものである。これはすなわち、撮像素子１１の露光量と画像信号上に重畳されると予想されるノイズとの関係を定量化したものである。
【００４１】
画像信号に重畳されるノイズとは、撮像素子１１の特性により発生する、各画素の画像信号のばらつきである。このノイズを定量的に表したノイズ量は、各画素の画像信号の標準偏差を算出することで求めることができる。なお、撮像素子１１の特性により発生するノイズには、光ショットノイズ、暗電流によるノイズ、読み出しノイズがあるが、入射光量が多い場合は、このうちの光ショットノイズが支配的である。従って、この場合のノイズ量は、撮像素子１１への入射光量に依存する。
【００４２】
このノイズモデルで表される、画像信号の大きさに応じて発生するノイズの量は、実測により、若しくは光ショットノイズの算出式を用いることにより、求めることができる。
【００４３】
実測によるノイズ量の算出では、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲を指定し、指定した範囲に含まれるＲ、Ｇ、Ｂそれぞれの画素について実測された画像信号の標準偏差を算出し、この算出結果をノイズ量とする。
【００４４】
例えば、指定した範囲のＲ、Ｇ、Ｂ各々の画素数をＮr 、Ｎg 、Ｎb とし、Ｒ、Ｇ、Ｂ各々の画素の画像信号の大きさをＸri、Ｘgi、Ｘbiとし、指定した範囲に含まれるＲ、Ｇ、Ｂ各々の画素の画像信号の大きさの平均値をＸrAve、ＸgAve、ＸbAveとする。このとき、Ｒ、Ｇ、Ｂ各色成分の画像信号の大きさに対するノイズ量σr、σg、σbは、それぞれ下記の［数１］式の計算を行うことにより算出される。
【００４５】
【数１】
【００４６】
つまり、［数１］式で表されるノイズモデルにより示される画像信号の大きさとノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係である。
【００４７】
一方、画像信号の大きさに応じて発生するノイズの量を、光ショットノイズの算出式を用いて求める場合には、以下のようにする。
【００４８】
撮像素子１１の受光面への入射光量をＰとし、撮像素子１１の量子効率をＱとする。このとき、光ショットノイズの量σＳは、下記の［数２］式の計算を行うことにより算出される。
【００４９】
【数２】
【００５０】
Ｒ、Ｇ、Ｂの各色成分について、上記の［数２］式により光ショットノイズを求める。
【００５１】
輝度が異なる無彩色領域のみの複数画像について、上記の［数１］式若しくは［数２］式によりノイズ量を求め、画像信号の大きさとノイズ量との関係をグラフ化する。こうすることで、ノイズモデルが得られる。このノイズモデルに相当するデータテーブルを、メモリ３に予め記憶させておく。
【００５２】
なお、ノイズモデルは、図２に例示するように、ＩＳＯ（国際標準化機構）で策定されたＩＳＯ感度毎に用意しておくようにする。そして、小領域毎の標準偏差と比較するノイズモデルとしては、図１の撮像装置に画像の撮像時に設定していたＩＳＯ感度のものを使用する。なお、ＩＳＯ感度とは、撮像部１に入射する光に対する感度を表す数値であり、制御部２は、設定されたＩＳＯ感度に対応する利得を、増幅部１４に設定する。
【００５３】
次に、このノイズモデルと比較される、分割した小領域毎且つ色成分毎の標準偏差の算出について説明する。
【００５４】
例えば、画像を分割した小領域内のＲ、Ｇ、Ｂ各々の画素数をＮR 、ＮG 、ＮB とし、Ｒ、Ｇ、Ｂ各々の画素の画像信号をＸRi、ＸGi、ＸBiとし、当該小領域内のＲ、Ｇ、Ｂ各々の画素の画像信号の大きさの平均値をＸRAve、ＸGAve、ＸBAveとする。このとき、当該小領域内のＲ、Ｇ、Ｂ各々の画素についての画像信号の標準偏差σR 、σG 、σB は、それぞれ下記の［数３］式の計算を行うことにより算出される。
【００５５】
【数３】
【００５６】
図１の説明に戻る。領域分割部２１は、操作部７に対する操作によって指定されてメモリ３に記憶された画像サイズの情報と、メモリ３に予め記憶されている小領域の大きさとに基づいて、撮像画像を複数の小領域に分割し、当該分割後の各小領域を特定する座標データを算出する。領域分割部２１からは、各小領域についての、座標データと水平方向及び垂直方向の大きさとが出力されて、標準偏差算出部２２及び平均値算出部２３に入力される。
【００５７】
領域分割部２１により行われる小領域の座標データの算出を、図３及び図４を用いて説明する。
【００５８】
図３は、撮像部１で撮像されてメモリ３に記憶された撮像画像の一例であり、図４は、図３の撮像画像が小領域に分割された様子を表している。
【００５９】
領域分割部２１は、まず、操作部７に対する操作によって指定された図３の撮像画像の画像サイズと、予め記憶されている小領域の大きさとをメモリ３から読み出す。そして、読み出した値に基づき、この撮像画像を図４に示すように小領域に分割したときの各小領域の座標データを算出する。
【００６０】
なお、画像サイズは、撮像画像の水平方向及び垂直方向の画素数を表したものであり、図４に示されているＷ（水平方向の画素数）及びＨ（垂直方向の画素数）である。
【００６１】
また、小領域の座標データとは、矩形である当該小領域の左上の頂点の水平方向と垂直方向の座標とし、この座標で当該小領域を特定するものとする。この座標データを、（水平方向の座標，垂直方向の座標）形式で表記するものとすると、例えば、図４において、小領域５０１の座標データは(Ｘ０,Ｙ０)で表され、小領域５０２の座標データは(Ｘ１,Ｙ１)で表される。
【００６２】
また、領域分割部２１がメモリ３から読み出して出力する小領域の水平方向及び垂直方向の大きさは、例えば図４においては、それぞれｗ０及びｈ０である。従って、図４において、矩形である撮像画像の左上の頂点が(０，０)であるとすると、小領域５０１の座標データは(０,０)となり、小領域５０２の座標データは(ｗ０,ｈ０)となる。
【００６３】
標準偏差算出部２２は、まず、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域に含まれる画素の画像信号を抽出する。そして、その色成分毎の画素信号の標準偏差を小領域毎に算出し、その算出結果を、小領域を特定する座標データに対応付けて出力する。
【００６４】
平均値算出部２３は、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域に含まれる画素の画像信号を抽出し、その色成分毎の画素信号の平均値を小領域毎に算出し、その算出結果を、小領域を特定する座標データに対応付けて出力する。
【００６５】
平坦領域抽出部２４は、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。そして、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域を抽出し、抽出された小領域を特定する座標データを、平坦領域として出力する。なお、本実施形態では、この平坦領域をＷＢゲイン算出領域とする。
【００６６】
平坦領域抽出部２４による平坦領域（本実施形態においてはＷＢゲイン算出領域）の抽出について、更に説明する。
【００６７】
例えば、図２において、撮像装置に画像の撮像時に設定していたＩＳＯ感度が「ＩＳＯ（１）」であった場合を考える。このときに、図２の「ＩＳＯ（１）」のノイズモデルにおいての各小領域の色成分毎の平均値Ｌに対する標準偏差σを基準とし、このσに対し上下ａ％(１±ａ/１００)の範囲内の標準偏差を持つ小領域を抽出する。この抽出結果に係る小領域が、各小領域の色成分毎の画像信号の平均値に対し、標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域、すなわち平坦領域である。
【００６８】
平坦領域抽出部２４による平坦領域の抽出例を図５に示す。
【００６９】
図５において、小領域１０１〜１０３は無彩色領域である背景部分である。この小領域１０１〜１０３は、各々の色成分毎の画像信号の平均値に対し、その標準偏差が、ノイズモデルを基準とした所望の範囲内にある平坦領域である。従って、本実施形態では、この平坦領域が、ＷＢゲインの算出対象の領域として抽出される。
【００７０】
一方、図５において、小領域１０４も背景部分ではあるが、領域内に異物が存在しているため、その画像信号は、構造部及び構造部上のノイズを含んでいる。このため、小領域１０４の画像信号の標準偏差は、各々の色成分毎の画像信号の平均値に対し、ノイズモデルを基準とした所望の範囲内にはない。従って、平坦領域ではないこの小領域１０４は、ＷＢゲイン算出領域として平坦領域抽出部２４が抽出することはない。
【００７１】
図１の説明に戻る。ＷＢゲイン算出部２５は、メモリ３より撮像画像を読み出し、平坦領域抽出部２４により出力された座標データに基づき、ＷＢゲインを算出する対象とする小領域を特定し、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出する。
【００７２】
なお、上述した領域分割部２１、標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出部２５の各部の機能をＣＰＵ４が提供するように構成することもできる。このためには、例えば、この各部の機能をＣＰＵ４に行わせるための制御プログラムを作成して不図示の読み出し専用メモリに格納しておき、ＣＰＵ４が、この撮像装置の起動時にこの制御プログラムを読み出して実行するようにしておけばよい。
【００７３】
操作部７は、制御部２と接続されており、所定の操作に対応付けられている、撮像部１による撮像の開始の指示の入力を取得する。取得した撮像開始指示は、ＣＰＵ４により制御部２からデータバス９へと送出される。
【００７４】
ＷＢ調整部５は、撮像部1より出力された画像信号に対し、制御部２により設定されたＷＢゲインを用いてホワイトバランスの調整(以降、「ＷＢ調整」と記す)を行う。
【００７５】
画像処理部６には、ＷＢ調整部５と、データバス９を介して制御部２とが接続されている。画像処理部６は、ＷＢ調整部５によりＷＢ調整された画像信号において、色配列における欠落した色画素を補う色補間処理や、輪郭補正処理、フォーマット変換等の各種の画像処理を行う。また、画像処理部６は、表示部８にて画像を表示することを可能にする画像信号を生成して表示部８へ出力する。
【００７６】
表示部８は、この画像信号で表現されている画像の表示を行う。
【００７７】
次に、図１の撮像装置で行われる制御処理について説明する。図６は、図１の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【００７８】
撮像装置のユーザが操作部７を操作して撮像開始の指示を入力すると、ＣＰＵ４は、この入力された撮像開始の指示を操作部７から取得する。すると、ＣＰＵ４は、この撮像開始の指示を、データバス９を介して撮像素子駆動部１２に転送する処理を行う。撮像素子駆動部１２は、この撮像開始指示を取得すると、撮像素子１１を駆動して撮像を開始させる。すると、撮像された画像を表現しているデータ（撮像画像）が撮像部１より出力されて制御部２及びＷＢ調整部５に入力される。制御部２では、ＣＰＵ４が、入力された撮像画像をメモリ３に記憶させると共に、図６の制御処理を開始する。
【００７９】
図６において、Ｓ１では領域分割処理が行われる。この処理は、領域分割部２１を機能させて、画像サイズと小領域の大きさとをメモリ３から読み出させ、読み出した値に基づき、この撮像画像を小領域に分割したときの各小領域の座標データを算出する処理であり、図３及び図４を用いて既に説明した処理である。
【００８０】
次に、Ｓ２において、標準偏差算出処理が行われる。この処理は、標準偏差算出部２２を機能させて、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域の画素の画像信号を抽出し、その色成分毎の標準偏差を小領域毎に算出する処理である。この算出結果は、小領域を特定する座標データに対応付けられて標準偏差算出部２２から出力される。
【００８１】
次に、Ｓ３において、平均値算出処理が行われる。この処理は、平均値算出部２３を機能させて、領域分割部２１から出力された座標データに基づき、撮像画像から各小領域の画素の画像信号を抽出し、その色成分毎の平均値を小領域毎に算出する処理である。この算出結果は、小領域を特定する座標データに対応付けられて平均値算出部２３から出力される。
【００８２】
次に、Ｓ４において、ＷＢゲイン算出領域抽出処理が行われる。この処理は、平坦領域抽出部２４を機能させる処理である。前述したように、平坦領域抽出部２４は、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。次に、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域を抽出する。そして、この抽出された小領域を特定する座標データを、ＷＢゲイン算出領域の抽出結果として出力する。
【００８３】
次に、Ｓ５において、ＷＢゲイン算出処理が行われる。この処理は、ＷＢゲイン算出部２５を機能させる処理である。前述したように、ＷＢゲイン算出部２５は、まず、メモリ３より撮像画像を読み出し、当該撮像画像に対し、平坦領域抽出部２４より出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域内の画素の画像信号を用いてＷＢゲインを算出する。なお、ＷＢゲインの算出は、抽出したＷＢゲイン算出領域の色成分毎に画像信号の平均値を求め、Ｇ色の平均値に対するＲ色の平均値の比とＢ色の平均値の比とを取ることで算出する。ＷＢゲイン算出部２５は、このようにして算出されたＷＢゲインを、メモリ３に一旦格納する。
【００８４】
Ｓ６では、ＷＢ調整処理が行われる。この処理は、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。ＷＢ調整部５は、ＷＢ調整を行ってＷＢゲイン算出領域におけるＲ、Ｇ、Ｂ各色の画像信号の平均値を一致させるようにする。このＷＢ調整処理が完了するとオートホワイトバランス処理が終了する。
【００８５】
以上までの処理が図６のオートホワイトバランス処理である。この処理を図１の制御部２に行わせることで、図１の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【００８６】
なお、本実施形態に係る撮像装置では、撮像素子１１として、単板カラーのベイヤ型のものを用いたが、ベイヤ型以外の単板カラーの撮像素子を用いてもよく、また、単色の撮像素子を３つ用いて撮像装置を構成してもよい。
【００８７】
また、本実施形態に係る撮像装置では、ＷＢゲイン算出領域の抽出のためにＩＳＯ感度毎に１つのノイズモデルを使用するようにしたが、ＩＳＯ感度毎に画像信号を構成する各色成分のノイズモデルを用意し、各色成分に対応したノイズモデルを使用してもよい。また、本実施形態に係る撮像装置では、ノイズモデルをデータテーブルとしてメモリ３に記憶させているが、これを例えばグラフ化したノイズモデルを表す式をメモリ３に記憶させ、平坦領域抽出部２４では、そのノイズモデルを表す式より求めたノイズ量を用いて、平坦領域の抽出を行ってもよい。
【００８８】
また、制御部２が有する領域分割部２１、標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４は、座標データと小領域のサイズ（水平方向および垂直方向の大きさ）を出力するだけでなく、分割された各小領域の画素の画像信号を出力してもよい。
【００８９】
また、制御部２、ＷＢ調整部５、及び画像処理部６の機能を、例えばパーソナルコンピュータに行わせるようにしてもよい。なお、このようにするには、これらの各部の機能をコンピュータに行わせるための制御プログラムを作成し、この制御プログラムをパーソナルコンピュータに読み込ませて実行させるようにすればよい。
【００９０】
以上のように、本実施形態では、画像を分割した小領域の画素の画像信号の色成分毎の標準偏差とノイズモデルとを比較し、この比較結果に基づいてＷＢゲイン算出領域を抽出する。本実施形態では、このようにすることで、被写体やゴミなどの構造部や白飛びや黒つぶれなどのノイズが存在しない領域を、ＷＢゲイン算出領域として抽出することができる。つまり、無彩色領域である背景部分をＷＢゲイン算出領域として高精度に抽出することができるので、ＷＢゲインの算出が高精度に行える結果、オートホワイトバランス調整の精度が向上する。
【００９１】
［第二の実施形態］
【００９２】
図７は本実施形態に係る撮像装置の構成図である。なお、図７において、図１に示した第一の実施形態に係るものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【００９３】
図７の構成は、制御部２がＷＢゲイン算出最適領域抽出部２６、平坦領域再抽出部２７、及び警告部２８を備えている点において、図１の構成と相違している。
【００９４】
ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、次の２つの条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。その第一の条件は、平坦領域抽出部２４が平坦領域として抽出した各小領域の色成分毎の画像信号の平均値の全てが最大値となる小領域である。また、その第二の条件は、平坦領域抽出部２４が平坦領域として抽出した各小領域の色成分毎の画像信号の平均値が、その色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域である。
【００９５】
ＷＢゲイン算出最適領域抽出部２６によりこのようにしてＷＢゲイン算出最適領域の抽出を行うのは、平坦領域抽出部２４が抽出する平坦領域は、必ずしも無彩色領域である背景部分のみに限られるものではないからである。つまり、平坦領域として抽出された各小領域の色成分毎の画像信号の平均値を用いて小領域の更なる抽出を行うことで、無彩色領域の抽出がより高精度なものになるからである。
【００９６】
なお、各小領域の色成分毎の画像信号の平均値の最大値を基準にして設定した閾値とは、ここでは、平坦領域抽出部２４が平坦領域として抽出した小領域の色成分毎の平均値のうちの最大値を基準にして、その値からｂ％の範囲内の値とする。
【００９７】
平坦領域抽出部２４とＷＢゲイン算出最適領域抽出部２６とにより行われるＷＢゲイン算出最適領域の抽出について、図８を用いて更に説明する。
【００９８】
図８は、顕微鏡で観察した標本を撮像した画像の例を示している。図８において、分割した小領域２０１〜２０３は無彩色領域である背景部分であり、小領域２０４及び２０５は標本の厚みが薄い領域（背景部分ではない領域）である。
【００９９】
このとき、平坦領域抽出部２４は、小領域２０１〜２０５の全てを平坦領域として抽出してしまうことがある。ここで、平坦領域抽出部２４が小領域２０４及び２０５を抽出してしまうのは、顕微鏡で観察した標本を撮像した場合において、標本の厚みが薄い領域は背景部分と同程度の標準偏差を有していることがあるためである。しかしながら、小領域２０４及び２０５は、背景部分ではなく、標本の存在している領域であるため、これらをＷＢゲインの算出に用いることは適切とはいえない。
【０１００】
一方、ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した２つの条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。ＷＢゲイン算出最適領域抽出部２６による小領域の抽出について、図９、図１０、及び図１１を用いて更に説明する。
【０１０１】
図９、図１０、及び図１１は、それぞれ、各小領域の、Ｒ色、Ｇ色、及びＢ色それぞれの色成分毎の画像信号の平均値を表しているグラフの例である。
【０１０２】
図９において、Ｒ色成分の画像信号の平均値の最大値をＲｍａｘとすると、この最大値Ｒｍａｘを基準にして設定した閾値は、Ｒｍａｘ×（ｂ/１００）となる。また、図１０において、Ｇ色成分の画像信号の平均値の最大値をＧｍａｘとすると、この最大値Ｇｍａｘを基準にして設定した閾値は、Ｇｍａｘ×（ｂ/１００）となる。更に、図１１において、Ｂ色成分の画像信号の平均値の最大値をＢｍａｘとすると、この最大値Ｂｍａｘを基準にして設定した閾値は、Ｂｍａｘ×（ｂ/１００）となる。
【０１０３】
図９、図１０、及び図１１を参照すると、前述した第一及び第二の条件の少なくともどちらか一方に合致するのは、小領域２０１〜２０３であり、小領域２０４及び２０５は、この条件をどちらも満たしていない。従って、ＷＢゲイン算出最適領域抽出部２６は、小領域２０１〜２０３を抽出する。こうして、小領域２０１〜２０５のうち、背景部分である小領域２０１〜２０３のみが、ＷＢゲイン算出最適領域として抽出される。
【０１０４】
平坦領域再抽出部２７は、平坦領域部２４において平坦領域の抽出に失敗した場合（すなわち、平坦領域が全く抽出されなかった場合）に、所定の条件の下で、撮像部１が新たに撮像した画像を用いて平坦領域部２４に平坦領域の抽出を再度行わせるものである。
【０１０５】
平坦領域再抽出部２７は、まず、メモリ３に記憶してある平坦領域再抽出回数を読み出し、カウントアップする。そして、このカウントアップした平坦領域再抽出回数と予めメモリ３に記憶されていた平坦領域再抽出設定回数とを比較する。
【０１０６】
ここで、カウントアップした平坦領域再抽出回数が、平坦領域再抽出設定回数未満であれば、平坦領域再抽出部２７は、平坦領域の抽出を再度試みるための制御を行う。すなわち、このとき、平坦領域再抽出部２７は、領域分割部２１へ座標データの再算出の指示を与え、以降の標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４の再動作を開始させる。こうして、撮像部１が新たに撮像した画像を用いた平坦領域の抽出が再度行われる。
【０１０７】
一方、カウントアップした平坦領域再抽出回数が、平坦領域再抽出設定回数以上であれば、この画像に対するオートホワイトバランス処理動作は不可能との判定を下し、警告部２８に対しユーザへの警告を報知させる指示を与える。その上で、平坦領域再抽出部２７は、領域分割部２１へ座標データの再算出の指示を与え、以降の標準偏差算出部２２、平均値算出部２３、及び平坦領域抽出部２４の再動作を開始させ、撮像部１が新たに撮像した画像に対する平坦領域の抽出が再度行われる。
【０１０８】
警告部２８は、平坦領域再抽出部２７からの指示に応じて、オートホワイトバランス失敗を表す警告を表示部８に表示出力させてユーザへ報知する。
【０１０９】
次に、図７の撮像装置で行われる制御処理について説明する。図１２は、図７の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１１０】
図１２において、図６に示した第一の実施形態に係るものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１１１】
図１２のフローチャートは、Ｓ７からＳ１１及びＳ１８の処理ステップが追加され、代わりにＳ４の処理ステップが削除されている点において、図６のフローチャートと相違している。
【０１１２】
図１２において、Ｓ３の平均値算出処理に続くＳ７において、平坦領域抽出処理が行われる。この判定処理では、平坦領域抽出部２４を機能させ、まず、メモリ３に予め記憶させておいたノイズモデルと、標準偏差算出部２２により算出された標準偏差とを小領域毎に比較する。そして、平均値算出部２３により算出された各小領域の色成分毎の画像信号の平均値に対し、当該標準偏差が、ノイズモデルを基準とした所望の範囲内にある小領域の抽出を試みて、小領域の抽出ができたか否かを判定する。ここで、小領域の抽出ができたと判定したとき（判定結果がＹｅｓのとき）には、平坦領域抽出部２４に、抽出された小領域を特定する座標データを、平坦領域の抽出結果として出力させ、処理をＳ１８に進める。この平坦領域の抽出結果は、ＷＢゲイン算出最適領域抽出部２６に入力される。一方、小領域の抽出ができなかったと判定したとき（判定結果がＮｏのとき）には、平坦領域抽出部２４に、平坦領域再抽出信号を出力させ、処理をＳ９に進める。この平坦領域再抽出信号は、平坦領域再抽出部２７に入力される。
【０１１３】
Ｓ１８では、平坦領域再抽出回数リセット処理が行われる。この処理は、平坦領域である小領域の抽出ができたので、メモリ３に記憶されている、平坦領域再抽出回数をリセットして初期値「０」とする処理である。そして、続くＳ８において、ＷＢゲイン算出最適領域抽出処理が行われる。
【０１１４】
このＷＢゲイン算出最適領域抽出処理は、ＷＢゲイン算出最適領域抽出部２６を機能させる処理である。前述したように、ＷＢゲイン算出最適領域抽出部２６は、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した第一及び第二の条件の少なくともどちらか一方に合致する小領域を、ＷＢゲイン算出最適領域として抽出する。ＷＢゲイン算出最適領域抽出部２６は、こうして抽出された小領域を特定する座標データを、ＷＢゲイン算出最適領域の抽出結果として出力する。
【０１１５】
このＳ８の処理に続いて行われるＳ５のＷＢゲイン算出処理では、メモリ３より読み出した撮像画像に対し、このＷＢゲイン算出最適領域抽出部２６から出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出し、算出したＷＢゲインをメモリ３に一旦格納する。そして、続くＳ６のＷＢ調整処理において、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。
【０１１６】
一方、Ｓ９では、平坦領域再抽出回数カウント処理が行われる。前述したように、この処理は、平坦領域部２４による小領域の抽出ができず、平坦領域の抽出に失敗したとＳ７の処理で判定された場合に行う処理である。この処理では、平坦領域再抽出部２７を機能させて、メモリ３に記憶してある平坦領域再抽出回数を読み出して、「１」だけカウントアップさせ、カウントアップ後の平坦領域再抽出回数をメモリ３に記憶させてその値を更新させる。
【０１１７】
次に、Ｓ１０では、平坦領域再抽出回数判定処理が行われる。この処理は、平坦領域再抽出部２７を機能させて、予めメモリ３に記憶させていた平坦領域再抽出設定回数を読み出させ、この設定回数とＳ９の処理によるカウントアップ後の平坦領域再抽出回数との大小比較を行わせる。ここで、カウントアップ後の平坦領域再抽出回数が、平坦領域再抽出設定回数未満であると判定したとき（判定結果がＮｏのとき）には、Ｓ１へ処理を戻し、平坦領域抽出のためのＳ１からＳ３及びＳ７の処理を再度開始させる。一方、カウントアップ後の平坦領域再抽出回数が、平坦領域再抽出設定回数以上であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１に処理を進める。
【０１１８】
Ｓ１１では、オートホワイトバランス失敗警告処理が行われる。この処理は警告部２８を機能させる処理であり、オートホワイトバランス失敗を表す警告を表示部８に表示出力させて、その警告をユーザへ報知する処理である。その後、このＳ１１の処理を終えたときには、Ｓ１へ処理を戻し、平坦領域抽出のためのＳ１からＳ３及びＳ７の処理を再度開始させる。
【０１１９】
以上までの処理が図１２のオートホワイトバランス処理である。この処理を図７の制御部２に行わせることで、図７の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１２０】
なお、上述した本実施形態の説明では、画像内に無彩色領域である背景部分が必ず存在することを想定しているが、このような背景部分が存在しない場合も考えられる。そこで、図７の撮像装置を以下のように動作させるようにしてもよい。
【０１２１】
すなわち、まず、撮像開始時にオートホワイトバランス処理を初めて行ったときにＷＢゲイン算出最適領域として抽出された各小領域の色成分毎の画像信号の平均値の最大値をメモリ３に記憶させておく。その後、オートホワイトバランス処理を実行する度に、その実行により得られた各小領域の色成分毎の画像信号の平均値の最大値と、記憶させておいた最大値を比較して、この値の大きい方を最大値としてメモリ３の記憶内容を更新する。そして、その後のＷＢゲイン算出最適領域の抽出時において、色成分毎の画像信号の平均値の最大値を基準にして設定する閾値以上の平均値を持つ小領域を抽出するときに、代わりに、メモリ３に記憶されている当該最大値を、当該閾値の設定の基準として用いる。
【０１２２】
図７の撮像装置を以上のように動作させるようにしても、無彩色領域である背景部分の抽出を、高精度に行うことができる。
【０１２３】
また、図１２に示したオートホワイトバランス処理におけるＳ１１の処理において、オートホワイトバランス処理に失敗したと判定された場合（判定結果がＹｅｓの場合）に、最後にＷＢ調整処理が実施されたときのＷＢゲインを用いてＷＢ調整を行うようにしてもよい。また、このとき、撮像を開始して最初のオートホワイトバランス処理において処理に失敗したと判定された場合には、メモリ３に予め記憶させておいたＷＢゲインの初期設定値を使用してＷＢ調整を行うようにしてもよい。
【０１２４】
以上のように、本実施形態では、ＷＢゲイン算出最適領域の抽出を、各小領域の色成分毎の画像信号の標準偏差とノイズモデルとの比較結果に基づいて行うだけでなく、当該標準偏差を用いて抽出した各小領域の色成分毎の画像信号の平均値にも基づいて行う。本実施形態では、このようにすることで、より高精度に無彩色領域である背景部分の抽出がより高精度に抽出することができるので、ＷＢゲインの算出が更に高精度に行える結果、オートホワイトバランス調整の精度が更に向上する。
【０１２５】
また、本実施形態では、平坦領域の抽出に失敗した場合に、平坦領域の再抽出を試みることで、ユーザの作業負担を軽減することができる。ここで、平坦領域の再抽出を、予め設定しておいた回数失敗した場合は、オートホワイトバランス処理に失敗したことがユーザに警告されるので、ＷＢ調整が実施されていないことをユーザに認識させることができる。この結果、ＷＢ調整のミスによる撮像の失敗を減らすことができる。
【０１２６】
［第三の実施形態］
【０１２７】
図１３は、本実施形態に係る撮像装置の構成図である。なお、図１３において、図１に示した第一の実施形態に係るもの、若しくは図７に示した第二の実施形態に係るものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【０１２８】
図１３の構成は、制御部２がＷＢゲイン算出最適領域再抽出部２９を備えている点において、図７の構成と相違している。
【０１２９】
ＷＢゲイン算出最適領域再抽出部２９は、ＷＢゲイン算出最適領域の抽出に失敗したと判定された場合に、所定の条件の下で、撮像部１が新たに撮像した画像を用いてＷＢゲイン算出最適領域抽出部２６にＷＢゲイン算出最適領域の抽出を再度行わせるものである。
【０１３０】
ＷＢゲイン算出最適領域再抽出部２９は、まず、メモリ３に記憶してあるＷＢゲイン算出最適領域再抽出回数を読み出し、カウントアップする。そして、このカウントアップしたＷＢゲイン算出最適領域再抽出回数と予めメモリ３に記憶されていたＷＢゲイン算出最適領域再抽出設定回数とを比較する。
【０１３１】
ここで、カウントアップしたＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数未満であれば、ＷＢゲイン算出最適領域再抽出部２９は、ＷＢゲイン算出最適領域の抽出を再度試みるための制御を行う。すなわち、このとき、ＷＢゲイン算出最適領域再抽出部２９は、領域分割部２１へ座標データの再算出の指示を与える。これにより、以降の標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出最適領域抽出部２６の再動作を開始させる。こうして、撮像部１が新たに撮像した画像を用いたＷＢゲイン算出最適領域の抽出が再度行われる。
【０１３２】
一方、カウントアップしたＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数以上であれば、この画像に対するオートバランス処理動作は不可能との判定を下し、警告部２８に対しユーザへの警告を報知させる指示を与える。その上で、ＷＢゲイン算出最適領域再抽出部２９は、領域分割部２１へ座標データの再算出の指示を与える。これにより、以降の標準偏差算出部２２、平均値算出部２３、平坦領域抽出部２４、及びＷＢゲイン算出最適領域抽出部２６の再動作を開始させ、撮像部１が新たに撮像した画像を用いたＷＢゲイン算出最適領域の抽出が再度行われる。
【０１３３】
次に、図１３の撮像装置で行われる本実施形態に係る制御処理について説明する。図１４は、図１３の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１３４】
図１４において、図６に示した第一の実施形態に係るもの若しくは図１２に示した第二の実施形態に係るものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１３５】
図１４のフローチャートは、Ｓ１２からＳ１４及びＳ１９の処理ステップが追加され、代わりにＳ８の処理ステップが削除されている点において、図１２のフローチャートと相違している。
【０１３６】
図１４において、Ｓ１８の平坦領域再抽出回数リセット処理に続くＳ１２の処理として、ＷＢゲイン算出最適領域抽出処理が行われる。この処理は、ＷＢゲイン算出最適領域抽出部２６を機能させる処理である。
【０１３７】
ＷＢゲイン算出最適領域抽出部２６は、まず、図１２のＳ８と同様にして、平坦領域抽出部２４が平坦領域として抽出した各小領域から、前述した第一及び第二の条件の少なくともどちらか一方に合致する小領域の抽出を試みる。そして、この小領域の抽出ができたか否かを判定する。ここで、小領域の抽出ができたと判定したとき（判定結果がＹｅｓのとき）には、抽出された小領域を特定する座標データを、ＷＢゲイン算出最適領域の抽出結果として出力させ、処理をＳ１９に進める。このＷＢゲイン算出最適領域の抽出結果は、ＷＢゲイン算出最適領域抽出部２６に入力される。一方、小領域の抽出ができなかったと判定したとき（判定結果がＮｏのとき）には、ＷＢゲイン算出最適領域抽出部２６にＷＢゲイン算出最適領域再抽出信号を出力させ、処理をＳ９に進める。このＷＢゲイン算出最適領域再抽出信号は、ＷＢゲイン算出最適領域再抽出部２９に入力される。
【０１３８】
Ｓ１９では、ＷＢゲイン算出最適領域再抽出回数リセット処理が行われる。この処理は、ＷＢゲイン算出最適領域である小領域の抽出ができたので、メモリ３に記憶されている、ＷＢゲイン算出最適領域再抽出回数をリセットして初期値「０」とする処理である。
【０１３９】
このＳ１９の処理に続いて行われるＳ５のＷＢゲイン算出処理では、メモリ３より読み出した撮像画像に対し、このＷＢゲイン算出最適領域抽出部２６から出力された座標データに基づいて、ＷＢゲインを算出する対象とする小領域を特定する。そして、その特定した小領域の画素の画像信号を用いてＷＢゲインを算出し、算出したＷＢゲインをメモリ３に一旦格納する。そして、続くＳ６のＷＢ調整処理において、ＣＰＵ４が、ＷＢゲイン算出部２５により格納されたＷＢゲインをメモリ３から読み出してＷＢ調整部５に設定し、ＷＢ調整をＷＢ調整部５に行わせる。
【０１４０】
一方、Ｓ１３では、ＷＢゲイン算出最適領域再抽出回数カウント処理が行われる。前述したように、この処理は、ＷＢゲイン算出最適領域抽出部２６による小領域の抽出ができず、ＷＢゲイン算出最適領域の抽出に失敗したとＳ７の処理で判定された場合に行う処理である。この処理では、ＷＢゲイン算出最適領域再抽出部２９を機能させて、まず、メモリ３に記憶してあるＷＢゲイン算出最適領域再抽出回数を読み出して、「１」だけカウントアップさせる。そして、カウントアップ後のＷＢゲイン算出最適領域再抽出回数をメモリ３に記憶させてその値を更新させる。
【０１４１】
次に、Ｓ１４では、ＷＢゲイン算出最適領域再抽出回数判定処理が行われる。この処理は、ＷＢゲイン算出最適領域再抽出部２９を機能させて、まず、予めメモリ３に記憶させていたＷＢゲイン算出最適領域再抽出設定回数を読み出させる。そして、この設定回数とＳ１３の処理によるカウントアップ後のＷＢゲイン算出最適領域再抽出回数との大小比較を行わせる。ここで、カウントアップ後のＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数未満であると判定したとき（判定結果がＮｏのとき）には、Ｓ１へ処理を戻す。そして、ＷＢゲイン算出最適領域抽出のためのＳ１からＳ３、Ｓ７、Ｓ１８、及びＳ１２の処理を再度開始させる。一方、カウントアップ後のＷＢゲイン算出最適領域再抽出回数が、ＷＢゲイン算出最適領域再抽出設定回数以上であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１に処理を進める。
【０１４２】
Ｓ１１のオートホワイトバランス失敗警告処理は、図１２に示したものと同様であり、警告部２８を機能させてオートホワイトバランス失敗を表す警告を表示部８に表示させて、その警告をユーザへ報知する処理である。その後、このＳ１１の処理を終えたときには、Ｓ１へ処理を戻し、ＷＢゲイン算出最適領域抽出のためのＳ１からＳ３、Ｓ７、Ｓ１８、及びＳ１２の処理を再度開始させる。
【０１４３】
以上までの処理が図１４のオートホワイトバランス処理である。この処理を図１３の制御部２に行わせることで、図１３の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１４４】
以上のように、本実施形態では、ＷＢゲイン算出最適領域の抽出ができなかった場合に、ＷＢゲイン算出最適領域の再抽出を試みることで、無彩色領域以外の部分を精度良く抽出できるようになり、ＷＢゲイン算出最適領域の抽出が更に高精度に行えるようになる。また、本実施形態では、平坦領域として抽出した小領域に無彩色領域（すなわちＷＢゲイン算出最適領域）がない場合に、オートホワイトバランス処理に失敗したことをユーザに警告するので、ＷＢ調整が正しく行われていないことをユーザが正確に認識できる。この結果、ＷＢ調整のミスによる撮像の失敗を更に軽減させることができる。
【０１４５】
［第四の実施形態］
【０１４６】
今までに説明した各実施形態では、領域分割部２１が画像の領域を分割するときの小領域の大きさを固定値としていた。しかし、撮像する被写体の形状や背景部分の大きさは様々である。そこで、本実施形態では、領域分割部２１が画像の領域を分割するときの小領域の大きさを可変とし、その大きさをユーザが設定できるようにする。
【０１４７】
本実施形態に係る撮像装置の構成は、図１３に示した第三の実施形態に係るものと同一である。従って、本実施形態に係る撮像装置における各構成要素については既述したので、ここでの詳しい説明を省略する。
【０１４８】
図１３の撮像装置で行われる本実施形態に係る制御処理について説明する。図１５は、図１３の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１４９】
図１５において、図６、図１２、若しくは図１４に示したフローチャートに含まれているものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１５０】
図１５のフローチャートは、処理の最初にＳ１５及びＳ１６の処理ステップが追加されている点において、図１４のフローチャートと相違している。
【０１５１】
図１５の処理が開始される前に、メモリ３には、領域分割部２１が画像の領域を分割するときの小領域の大きさの初期値を予め記憶させておく。
【０１５２】
図１５の処理が開始されると、まず、Ｓ１５において、分割領域の大きさを設定する処理が行われる。
【０１５３】
この処理では、まず、ユーザが操作部７を操作して行った、小領域の水平方向及び垂直方向の大きさの指示の入力をＣＰＵ４が取得する。すると、ＣＰＵ４は、この指示に係る大きさのデータをメモリ３に転送して記憶させ、そこに記憶されていた小領域の大きさに係るデータを更新する。
【０１５４】
このＳ１５の処理の後に最初に実行されるＳ１の領域分割処理では、領域分割部２１を機能させて、この更新後のデータをメモリ３から読み出させ、このデータに基づき、撮像画像を小領域に分割したときの各小領域の座標データを算出する処理が行われる。この撮像画像の小領域への分割を、図１６を参照しながら説明する。
【０１５５】
図１６は、図３に例示した撮像画像を小領域へ分割した様子の第二の例である。この図１６では、小領域の水平方向の大きさＸ及び垂直方向の大きさＹを、ユーザが、それぞれＸ＝ｗ１及びＹ＝ｈ１に設定した場合を表しており、撮像画像が水平方向及び垂直方向に、それぞれＸ＝ｗ１、Ｙ＝ｈ１の小領域に分割されていること示している。
【０１５６】
Ｓ１５の処理に続き、Ｓ１６では、Ｓ２の標準偏差算出処理及びＳ３の平均値算出処理による算出の対象とする小領域を得る撮像画像上の範囲を選択する処理が行われる。
【０１５７】
この処理では、まず、ユーザが操作部７を操作して行った、撮像画像上の範囲の指示をＣＰＵ４が取得する。すると、ＣＰＵ４は、この指示に係る範囲のデータをメモリ３に転送して記憶させる。
【０１５８】
このＳ１６の処理の後に最初に実行されるＳ１の領域分割処理では、領域分割部２１を機能させて、まず、このデータをメモリ３から読み出させる。そして、このデータに基づき、撮像画像からこの指示に係る範囲の画像を選択し、選択された範囲内の画像を小領域に分割したときの各小領域の座標データを算出する処理が行われる。この標準偏差及び平均値の算出対象範囲の選択について、図１７を参照しながら説明する。
【０１５９】
図１７は、図３に例示した撮像画像から標準偏差及び平均値の算出対象範囲が選択された様子を示している。この図１７では、標準偏差及び平均値の算出対象範囲である小領域範囲３０１をユーザが指示した場合を表している。この場合、領域分割部２１は、この小領域範囲３０１内に存在する各小領域の座標データを出力する。
【０１６０】
以上のＳ１５及びＳ１６の処理の完了後は、前述した図１４の処理と同様の処理が行われる。この図１５のオートホワイトバランス処理を図１４の制御部２に行わせることで、図１４の撮像装置でのオートホワイトバランス機能の提供が可能になる。
【０１６１】
以上のように、本実施形態では、例えば、被写体の占める割合が多く無彩色領域である背景部分が少ない撮像画像の場合に、小領域の大きさを変更することで、少ない背景部分を効率的に抽出することができる。
【０１６２】
また、小領域の大きさが小さいために小領域の数が増大した場合には、各小領域の標準偏差や平均値の算出、平坦領域抽出やＷＢゲイン算出最適領域抽出に長い時間を要することとなる。このような場合に、本実施形態によれば、標準偏差及び平均値の算出の対象とする小領域を予め選択しておくことで、これらの処理時間を短縮できる。
【０１６３】
なお、本実施形態においては、分割する小領域の形状を、図１７のように矩形としているが、この形状は、円や楕円など、どのような形状でもよい。また、撮像画像の分割方法も、格子状とする代わりに所望の領域となるように分割してもよい。また、領域分割された画像を、表示部８で表示し、ユーザが、この表示部８での表示を参照しながら操作部７を操作して、例えば無彩色領域に合わせた領域に小領域の大きさを指定すると、その指定された大きさで画像を分割するようにしてもよい。また、ユーザが表示部８に表示された、領域分割された画像を見ながら、操作部７を操作して、標準偏差及び平均値算出の対象となる領域の選択を行えるようにしてもよい。
【０１６４】
［第五の実施形態］
【０１６５】
顕微鏡を用いて観察した観察標本の顕微鏡画像を撮像する場合を想定する。図１８は、図３に例示した画像に表されている標本を、高倍率の対物レンズを用いて撮像して得た画像の例である。
【０１６６】
この図１８の撮像画像を図３の画像と対比しても分かるように、被写体を、高倍率の対物レンズを用いて撮像すると、その撮像画像における被写体の占める割合は、対物レンズの倍率に応じて変化する。
【０１６７】
そこで、本実施形態では、被写体の観察に使用する対物レンズの倍率に応じて、分割する小領域の水平方向と垂直方向の大きさを変化させるようにする。
【０１６８】
図１９は、本実施形態に係る撮像装置を含む顕微鏡システムの構成図である。なお、図１９において、図１、図７、若しくは図１３に示した撮像装置におけるものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。
【０１６９】
図１９の構成は、対物レンズ３２が装備されている顕微鏡３３に撮像部１が設置されている点と、観察条件取得部３４が追加されている点とにおいて、図１３の構成と相違している。なお、顕微鏡３３には観察標本３１が載置されており、観察標本３１の顕微鏡画像を得る。また、撮像部１の構成要素である撮像素子１１、撮像素子駆動部１２、前置処理部１３、増幅部１４、及びＡ／Ｄ変換部１５は、図１９においては記載を省略している。
【０１７０】
図１９において、観察標本３１の観察像は、対物レンズ３２を通して撮像部１により撮像される。対物レンズ３２は、観察標本３１を観察する際にユーザにより切り替えて使用される。
【０１７１】
観察条件取得部３４は、観察標本３１の観察時における顕微鏡３３の設定を、顕微鏡３３と観察条件取得部３４とを接続する信号線を介して観察条件として取得する。観察条件取得部３４は、制御部２内のＣＰＵ４の指示に従い、取得した観察条件をデータバス９へ送出する。送出された観察条件は制御部２に転送される。
【０１７２】
なお、本実施形態では、観察条件取得部３４は、観察標本３１の観察に使用している対物レンズ３２を特定する情報と、その倍率（すなわち観察倍率）の情報とを含む対物レンズ倍率情報を、観察条件として取得するものとする。この対物レンズ倍率情報は、領域分割部２１が撮像画像を小領域に分割する際の小領域の大きさの設定に使用される。
【０１７３】
次に、図１９の撮像装置で行われる本実施形態に係る制御処理について説明する。図２０は、図１９の制御部２により行われる、本実施形態に係るオートホワイトバランス処理の処理内容を表したフローチャートである。
【０１７４】
図２０において、図６、図１２、図１４、若しくは図１５に示したフローチャートに含まれているものと同一の処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略する。
【０１７５】
図２０のフローチャートは、処理の最初にＳ１７の処理ステップが追加されている点において、図１５のフローチャートと相違している。
【０１７６】
図１７の処理が開始されると、まず、Ｓ１７において、顕微鏡情報取得処理が行われる。この処理では、まず、観察条件取得部３４を機能させて、前述した対物レンズ倍率情報を観察条件として取得し、制御部２に転送させる処理が行われる。制御部２では、この対物レンズ倍率情報を取得し、撮像画像を分割する際の小領域の水平方向及び垂直方向の大きさを、この対物レンズ倍率情報に基づき算出してメモリ３に記憶する処理がＣＰＵ４により行われる。この小領域の水平方向及び垂直方向の大きさの算出は、例えば以下のようにしてＣＰＵ４により行われる。
【０１７７】
まず、顕微鏡３３に装備される対物レンズ３２のうち最低倍率のものを使用したときに最適な小領域の水平方向及び垂直方向の大きさを、予めメモリ３に記憶させておく。ここで、対物レンズ倍率情報がこの最低倍率のもの以外の対物レンズ３２を使用していることを示していた場合には、この倍率についての最低倍率に対する比を求める。そして、メモリ３に記憶させておいた小領域の水平方向及び垂直方向の大きさを、この比に従って変更する。
【０１７８】
例えば、予めメモリ３に記憶させておいた、最低倍率であるＭ倍の対物レンズ３２を使用したときに最適な小領域の水平方向及び垂直方向の大きさを、それぞれｘ及びｙとする。このときに、観察条件取得部３４が取得した対物レンズ倍率情報が、Ｎ倍の倍率である対物レンズ３２の使用を示していた場合には、小領域の水平方向及び垂直方向の大きさを、それぞれ、ｋ×（Ｍ／Ｎ）×ｘ及びｋ×（Ｍ／Ｎ）×ｙに変更する。ここで、ｋは所定の定数とする。
【０１７９】
以上のＳ１７の処理の完了後は、前述した図１５の処理と同様の処理が行われる。この図２０のオートバランス処理を図１９の制御部２に行わせることで、図１９の撮像装置でのオートバランス機能の提供が可能になる。
【０１８０】
図２１は、本実施形態に係る顕微鏡システムにより、図１８の撮像画像が小領域に分割された様子を表している。図２１の画像を図４の画像と対比すると、図２１の画像は、図４の画像を撮像したときに使用したものよりも高倍率の対物レンズ３２を使用したことにより、小領域の水平方向及び垂直方向の大きさが図４の画像よりも小さくなっていることが分かる。
【０１８１】
対物レンズ３２の倍率を高めたときの撮像画像は、その画像の大部分を観察標本３１が占め、無彩色領域である背景部分が少なくなるため、ＷＢゲイン算出最適領域の抽出に失敗しやすくなってしまう。そこで、本実施形態では、このような場合に、小領域の水平方向及び垂直方向の大きさを小さくすることで、ＷＢゲイン算出最適領域が抽出できる可能性を高めているのである。図２１の画像例では、小領域４０１〜４０７が、ＷＢゲイン算出最適領域として抽出できることが分かる。
【０１８２】
以上のように、本実施形態では、使用する対物レンズ３２を変更した際に、小領域の水平方向及び垂直方向の大きさを対物レンズ３２の倍率に応じて変更する。本実施形態によれば、このようにすることで、撮像画像に占める割合が少なくなってしまう無彩色領域である背景部分を効率よく抽出することができる。
【０１８３】
なお、本実施形態においては、分割する小領域の形状を、図２１のように矩形としているが、この形状は、円や楕円など、どのような形状でもよい。
【０１８４】
また、本実施形態においては、画像の撮像に使用する対物レンズ３２の倍率の比に基づき小領域の大きさを算出している。この代わりに、その倍率に応じた最適な小領域の大きさが予め設定されているテーブルを用意し、取得した観察条件に基づく小領域の大きさの決定を、このテーブルを参照して行うようにしてもよい。
【０１８５】
なお、標準偏差及び平均値の算出対象範囲である小領域の範囲を、図１７に示したようにユーザの指示に基づき選択する代わりに、この小領域の範囲を、観察条件（対物レンズ倍率情報）に基づき、撮像装置が自動的に選択するように構成することも可能である。
【符号の説明】
【０１８６】
１ 撮像部
２ 制御部
３ メモリ
４ ＣＰＵ
５ ＷＢ調整部
６ 画像処理部
７ 操作部
８ 表示部
９ データバス
１１ 撮像素子
１２ 撮像素子駆動部
１３ 前置処理部
１４ 増幅部
１５ Ａ／Ｄ変換部
２１ 領域分割部
２２ 標準偏差算出部
２３ 平均値算出部
２４ 平坦領域抽出部
２５ ＷＢゲイン算出部
２６ ＷＢゲイン算出最適領域抽出部
２７ 平坦領域再抽出部
２８ 警告部
２９ ＷＢゲイン算出最適領域再抽出部
３１ 観察標本
３２ 対物レンズ
３３ 顕微鏡
３４ 観察条件取得部
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段と、
該撮像画像を複数の小領域に分割する領域分割手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、
該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、
を有することを特徴とする撮像装置。
【請求項２】
該ノイズモデルにより示されている該画像信号の大きさと該ノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
平坦領域抽出手段が平坦領域として抽出した各小領域のうち、色成分毎の画像信号の平均値の全てが最大値となる小領域、若しくは、当該平均値が、当該色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域を、ホワイトバランスゲイン算出最適領域として抽出するホワイトバランスゲイン算出最適領域抽出手段を更に有し、
該ホワイトバランスゲイン算出手段は、該撮像画像における該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインを算出し、
該ホワイトバランス調整手段は、該ホワイトバランスゲイン算出手段が算出した該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
該平坦領域抽出手段が該平坦領域である小領域の抽出を行えたか否かを判定する平坦領域抽出判定手段と、
該平坦領域である小領域の抽出を該平坦領域抽出手段が行えなかったと該平坦領域抽出判定手段が判定したときに、該平坦領域抽出手段による該平坦領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせる平坦領域再抽出手段と、
を更に有することを特徴とする請求項１から３のうちのいずれか一項に記載の撮像装置。
【請求項５】
該平坦領域再抽出手段が該平坦領域抽出手段に行わせた該平坦領域である小領域の再抽出の回数が所定回数以上になったか否かを判定する平坦領域再抽出回数判定手段と、
該平坦領域である小領域の再抽出の回数が所定回数以上になったと該平坦領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗の警告を出力する警告手段と、
を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
該ホワイトバランスゲイン算出最適領域抽出手段が該ホワイトバランスゲイン算出最適領域である小領域の抽出を行えたか否かを判定するホワイトバランスゲイン算出最適領域抽出判定手段と、
該ホワイトバランスゲイン算出最適領域である小領域の抽出を該ホワイトバランスゲイン算出最適領域抽出手段が行えなかったと該ホワイトバランスゲイン算出最適領域抽出判定手段が判定したときに、該ホワイトバランスゲイン算出最適領域抽出手段による該ホワイトバランスゲイン算出最適領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせるホワイトバランスゲイン算出最適領域再抽出手段と、
を更に有することを特徴とする請求項３に記載の撮像装置。
【請求項７】
該ホワイトバランスゲイン算出最適領域再抽出手段が該ホワイトバランスゲイン算出最適領域抽出手段に行わせた該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったか否かを判定するホワイトバランスゲイン算出最適領域再抽出回数判定手段と、
該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったと該ホワイトバランスゲイン算出最適領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗を表す警告を出力する警告手段と、
を更に有することを特徴とする請求項６に記載の撮像装置。
【請求項８】
該領域分割手段が該撮像画像を該複数の小領域に分割するときの該小領域の大きさの指示を入力として取得する入力取得手段を更に有し、
該領域分割手段は、該入力取得手段が取得した指示に係る小領域の大きさで、該撮像画像を分割する、
ことを特徴とする請求項１から７のうちのいずれか一項に記載の撮像装置。
【請求項９】
該撮像画像上に、該標準偏差及び該平均値を算出する対象とする小領域を得る範囲を選択する領域選択手段を更に有し、
該領域分割手段は、該撮像画像のうち該領域選択手段により選択された範囲を、複数の小領域に分割する、
ことを特徴とする請求項１から８のうちのいずれか一項に記載の撮像装置。
【請求項１０】
該撮像手段は、顕微鏡により得られた観察標本の顕微鏡画像を該撮像素子で撮像して、該観察標本の撮像画像を生成し、
該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段を更に有し、
該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、
該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、
ことを特徴とする請求項１から９のうちのいずれか一項に記載の撮像装置。
【請求項１１】
観察標本の顕微鏡画像を得る顕微鏡と、
該顕微鏡により得られる該顕微鏡画像を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該観察標本の撮像画像を生成する撮像手段と、
該撮像画像を複数の小領域に分割する領域分割手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、
該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、
該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段と、
を有し、
該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、
該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、
ことを特徴とする顕微鏡システム。
【請求項１２】
被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段を有する撮像装置により得られる該撮像画像のホワイトバランスを調整する方法であって、
該撮像画像を複数の小領域に分割し、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出し、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出し、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出し、
該撮像画像における該平坦領域のホワイトバランスゲインを算出し、
該平坦領域のホワイトバランスゲインの算出結果に基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、
ことを特徴とするホワイトバランス調整方法。
【請求項１】
被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段と、
該撮像画像を複数の小領域に分割する領域分割手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、
該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、
を有することを特徴とする撮像装置。
【請求項２】
該ノイズモデルにより示されている該画像信号の大きさと該ノイズの量との対応関係は、無彩色領域のみの一様な画像の一部の範囲若しくは全範囲に含まれる色成分毎の画素の画像信号についての平均値と標準偏差との対応関係であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
平坦領域抽出手段が平坦領域として抽出した各小領域のうち、色成分毎の画像信号の平均値の全てが最大値となる小領域、若しくは、当該平均値が、当該色成分毎の平均値の最大値を基準にして設定した閾値以上である小領域を、ホワイトバランスゲイン算出最適領域として抽出するホワイトバランスゲイン算出最適領域抽出手段を更に有し、
該ホワイトバランスゲイン算出手段は、該撮像画像における該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインを算出し、
該ホワイトバランス調整手段は、該ホワイトバランスゲイン算出手段が算出した該ホワイトバランスゲイン算出最適領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
該平坦領域抽出手段が該平坦領域である小領域の抽出を行えたか否かを判定する平坦領域抽出判定手段と、
該平坦領域である小領域の抽出を該平坦領域抽出手段が行えなかったと該平坦領域抽出判定手段が判定したときに、該平坦領域抽出手段による該平坦領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせる平坦領域再抽出手段と、
を更に有することを特徴とする請求項１から３のうちのいずれか一項に記載の撮像装置。
【請求項５】
該平坦領域再抽出手段が該平坦領域抽出手段に行わせた該平坦領域である小領域の再抽出の回数が所定回数以上になったか否かを判定する平坦領域再抽出回数判定手段と、
該平坦領域である小領域の再抽出の回数が所定回数以上になったと該平坦領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗の警告を出力する警告手段と、
を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
該ホワイトバランスゲイン算出最適領域抽出手段が該ホワイトバランスゲイン算出最適領域である小領域の抽出を行えたか否かを判定するホワイトバランスゲイン算出最適領域抽出判定手段と、
該ホワイトバランスゲイン算出最適領域である小領域の抽出を該ホワイトバランスゲイン算出最適領域抽出手段が行えなかったと該ホワイトバランスゲイン算出最適領域抽出判定手段が判定したときに、該ホワイトバランスゲイン算出最適領域抽出手段による該ホワイトバランスゲイン算出最適領域である小領域の再抽出を、該撮像手段が生成する該被写体についての別の撮像画像に対して行わせるホワイトバランスゲイン算出最適領域再抽出手段と、
を更に有することを特徴とする請求項３に記載の撮像装置。
【請求項７】
該ホワイトバランスゲイン算出最適領域再抽出手段が該ホワイトバランスゲイン算出最適領域抽出手段に行わせた該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったか否かを判定するホワイトバランスゲイン算出最適領域再抽出回数判定手段と、
該ホワイトバランスゲイン算出最適領域である小領域の再抽出の回数が所定回数以上になったと該ホワイトバランスゲイン算出最適領域再抽出回数判定手段が判定したときに、オートホワイトバランス失敗を表す警告を出力する警告手段と、
を更に有することを特徴とする請求項６に記載の撮像装置。
【請求項８】
該領域分割手段が該撮像画像を該複数の小領域に分割するときの該小領域の大きさの指示を入力として取得する入力取得手段を更に有し、
該領域分割手段は、該入力取得手段が取得した指示に係る小領域の大きさで、該撮像画像を分割する、
ことを特徴とする請求項１から７のうちのいずれか一項に記載の撮像装置。
【請求項９】
該撮像画像上に、該標準偏差及び該平均値を算出する対象とする小領域を得る範囲を選択する領域選択手段を更に有し、
該領域分割手段は、該撮像画像のうち該領域選択手段により選択された範囲を、複数の小領域に分割する、
ことを特徴とする請求項１から８のうちのいずれか一項に記載の撮像装置。
【請求項１０】
該撮像手段は、顕微鏡により得られた観察標本の顕微鏡画像を該撮像素子で撮像して、該観察標本の撮像画像を生成し、
該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段を更に有し、
該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、
該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、
ことを特徴とする請求項１から９のうちのいずれか一項に記載の撮像装置。
【請求項１１】
観察標本の顕微鏡画像を得る顕微鏡と、
該顕微鏡により得られる該顕微鏡画像を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該観察標本の撮像画像を生成する撮像手段と、
該撮像画像を複数の小領域に分割する領域分割手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出する標準偏差算出手段と、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出する平均値算出手段と、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出する平坦領域抽出手段と、
該撮像画像における該平坦領域のホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
該ホワイトバランスゲイン算出手段が算出した該平坦領域のホワイトバランスゲインに基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整するホワイトバランス調整手段と、
該観察標本の顕微鏡画像を撮像するときの該顕微鏡の観察条件の情報を取得する観察条件取得手段と、
を有し、
該観察条件の情報には、該顕微鏡の観察倍率の情報が含まれており、
該領域分割手段は、観察条件取得手段が取得した観察条件に含まれている該観察倍率の情報に応じて変更した小領域の大きさで、該撮像画像を分割する、
ことを特徴とする顕微鏡システム。
【請求項１２】
被写体を撮像する撮像素子を備えており、複数の色成分の画像信号により色彩が画素毎に表現されている該被写体の撮像画像を生成する撮像手段を有する撮像装置により得られる該撮像画像のホワイトバランスを調整する方法であって、
該撮像画像を複数の小領域に分割し、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の標準偏差を該小領域毎に算出し、
該撮像画像における該複数の小領域の各々に含まれる画素についての、色成分毎の画素の画像信号の平均値を該小領域毎に算出し、
予め記憶部に記憶されており、該画像信号の大きさと該画像信号に対し重畳される該撮像素子が発生させるノイズの量との対応関係を示すノイズモデルに基づき、該撮像画像における該複数の小領域のうち、該平均値に対する該標準偏差が、該ノイズモデルにおいて該平均値を該画像信号の大きさとみたときのノイズ量を基準として所定の範囲内である小領域を、平坦領域として抽出し、
該撮像画像における該平坦領域のホワイトバランスゲインを算出し、
該平坦領域のホワイトバランスゲインの算出結果に基づき、該撮像手段により生成される撮像画像のホワイトバランスを調整する、
ことを特徴とするホワイトバランス調整方法。
【図６】
【図１２】
【図１４】
【図１５】
【図１９】
【図２０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１６】
【図１７】
【図１８】
【図２１】
【図１２】
【図１４】
【図１５】
【図１９】
【図２０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１６】
【図１７】
【図１８】
【図２１】
【公開番号】特開２０１０−２７３３１９（Ｐ２０１０−２７３３１９Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２０１０−９４６１（Ｐ２０１０−９４６１）
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２２年１月１９日（２０１０．１．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]