撮像装置、及び、画像生成方法
【課題】画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することを課題とする。
【解決手段】素子ずらし手段３３を用いて、標本１１の像に対する撮像素子２１の相対位置を変化させて、撮像素子２１で複数の相対位置の標本１１の像を撮像し、複数の画像データを取得する。取得された複数の画像データの階調を、画像データのヒストグラムを用いて褪色補正処理部４４で補正し、補正後の画像データを合成処理部４５で合成する。
【解決手段】素子ずらし手段３３を用いて、標本１１の像に対する撮像素子２１の相対位置を変化させて、撮像素子２１で複数の相対位置の標本１１の像を撮像し、複数の画像データを取得する。取得された複数の画像データの階調を、画像データのヒストグラムを用いて褪色補正処理部４４で補正し、補正後の画像データを合成処理部４５で合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法の技術に関し、特に、蛍光標本を対象とする撮像装置及び画像生成方法の技術に関する。
【背景技術】
【０００２】
標本からの光を電気信号に変換し、標本の画像を生成する撮像装置が知られている。
【０００３】
撮像装置は、光電変換を行う固体撮像素子からなる撮像手段を有しており、この撮像手段は、通常、それぞれ独立に光量を検出できる複数の画素部を有している。このような構成の撮像手段を用いて画像を生成する場合、標本と撮像手段の間の光学系の解像度（以降、光学解像度と記す。）に加えて、撮像手段に含まれる画素部の数（以降、画素数と記す。）によっても、画像の解像度が制限される。
【０００４】
従って、光学系の光学解像度が十分に大きな場合であっても、画素数が少なく撮像手段が実現できる解像度が小さい場合には、撮像手段が画像の解像度を制限してしまい、十分な解像度を有する画像が得られない。
【０００５】
例えば、図１２には、標本と撮像手段の間に顕微鏡を有する撮像装置が例示されている。図１２に例示される撮像装置４００は、顕微鏡１００のポート１０１に顕微鏡用デジタルカメラなどの撮像装置本体２００が接続されていて、ポート１０１から出力される標本像を撮像装置本体２００により撮像する。
【０００６】
より詳細には、顕微鏡１００に設けられた光源１０２より発せられた光が、コレクタレンズ１０３を通して平行光に変換され、ミラー１０４で反射し、窓レンズ１０５、視野絞り（ＦＳ）１０６、開口絞り（ＡＳ）１０７、コンデンサレンズ１０８を介して標本１０９に照射される。標本１０９を透過した透過光は、対物レンズ１１０、結像レンズ１１１を介して標本像としてポート１０１より出力される。
【０００７】
撮像装置本体２００には、顕微鏡１００のポート１０１から出力される標本像を撮像する撮像手段として機能するＣＣＤなどの撮像素子２０１が設けられている。この撮像素子２０１は、撮像素子駆動部２０２からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部２０３に入力する。前置処理部２０３は、撮像素子駆動部２０２から与えられる制御パルスにより撮像素子２０１の出力信号を映像信号化し、Ａ／Ｄ変換部２０４に入力する。Ａ／Ｄ変換部２０４は、撮像素子駆動部２０２からのクロック信号に基づいて映像信号をデジタル画像データとして信号処理部２０５へ出力する。その後、画像データは、信号処理部２０５で色補正、階調補正などの信号処理が行われ、さらに、Ｄ／Ａ変換部２０６でアナログ信号に変換されて、動画像として表示部２０７に表示される。
【０００８】
また、Ｉ／Ｆ部２０８と接続された操作部からの指示を受信した制御部２０９は、信号処理部２０５からの画像データを、バス２１０を介して記録部２１１に送出し、静止画像として記録する。
【０００９】
また、図１３には、標本と撮像手段の間に、図１と同様の顕微鏡を有する撮像装置が例示されている。図１３に例示される撮像装置４０１は、顕微鏡１００と撮像装置本体２００に加えて、パーソナルコンピュータ（ＰＣ）３００を含んでいる。撮像装置４０１では、Ａ／Ｄ変換部２０６、表示部２０７および記録部２１１が削除され、その代わりに、これらの機能をＩ／Ｆ部２０８に接続されたＰＣ３００が代替している。また、画像処理の一部についても、ＰＣ３００により行われうる。
【００１０】
図１３及び図１４で例示した撮像装置４００及び撮像装置４０１では、撮像素子２０１の画素数が少ない場合には、光学解像度が十分に大きな顕微鏡１００を用いても、その光学性能が十分に発揮されず、十分な解像度を有する画像が得られない。
【００１１】
このような課題に対して、撮像素子２０１（撮像手段）の画素数を増やすことにより、解像度を向上させる方法もあるが、その場合、製造コストや光電変換効率など、撮像手段に関する新たな課題が生じてしまうことが指摘されている。
【００１２】
これに対して、撮像手段の画素数を増やすことなく、撮像装置で生成される画像の解像度を向上させる技術として、画素シフト技術が提案されている。画素シフト技術は、標本像に対する撮像手段の相対位置が異なる、複数の画像を画像処理により合成することで、画像の解像度を撮像手段の解像度以上に向上させる技術であり、例えば、特許文献１などで開示されている。
【００１３】
図１４は、画素シフト技術を用いた撮像装置の構成を例示した図である。図１４に例示される撮像装置４０２は、撮像素子２０１を移動させる素子ずらし手段２１３（画素シフト手段）を有する点が、図１３に例示される撮像装置４０１と異なっている。撮像装置４０２は、この素子ずらし手段２１３を用いて、標本像に対する撮像素子２０１の相対位置を変化させることで、異なる相対位置の画像を取得する。そして、取得された画像を合成することにより、撮像素子２０１の解像度以上の解像度の画像を生成することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−７２２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、このような画素シフト技術を用いた撮像装置を蛍光観察に用いた場合、生成された画像にブロック状の模様が生じてしまい、画質が劣化してしまうことがある。
【００１６】
例えば、図１５（ａ）に例示されるような、それぞれ蛍光色素で染色された領域６０２及び領域６０３からなる細胞領域６０１と、蛍光色素の存在しない背景領域６０４と、からなる蛍光標本５００の像を、画素シフト技術を用いた撮像装置で撮像すると、図１５（ｂ）に例示されるような画像５１０が生成される。
【００１７】
以下、図１６及び図１７を参照しながら、画素シフト技術を用いた撮像装置で生成される蛍光画像に、図１５（ｂ）に例示されるようなブロック状の模様が生じる理由について説明する。
画素シフト技術を用いた撮像装置では、上述したように、標本像に対する撮像手段の相対位置が異なる複数の画像が取得される。
【００１８】
具体的には、例えば、図１６（ａ）に例示される第１の相対位置Ｐｏｓ１に撮像手段がある状態で、図１６（ｂ）に例示されるように、赤（Ｒ）の画素部が初期画素位置７０１に、緑（Ｇ）の画素部が初期画素位置７０２及び初期画素位置７０３に、青（Ｂ）の画素部が初期画素位置７０４に配置されるように、撮像手段が構成される。その上で、画素シフト手段により、それぞれの相対位置が２／３画素ピッチだけ互いに異なるように、撮像手段の相対位置を、第１の相対位置Ｐｏｓ１から第９の相対位置Ｐｏｓ９まで順番に変化させて、それぞれの相対位置で標本５００の画像を取得する。なお、これにより、図１６（ａ）に例示されるベイヤーパターン７００が生成されることになる。
【００１９】
図１７（ａ）に例示される画像５０１から図１７（ｉ）に例示される画像５０９は、撮像手段が第１の相対位置Ｐｏｓ１から第９の相対位置Ｐｏｓ９のそれぞれに位置するときに取得された標本５００の画像を例示している。
【００２０】
図１７に例示されるように、標本５００の画像では、画像の取得が進むにつれて、細胞領域６０１の明るさが低下し、画像が暗くなっている。これは、各画像の取得時刻の間には時間差が生じるため、画像の取得が進むにつれて時間が経過し、それによって、細胞領域６０１を染色している蛍光色素が褪色することで、蛍光色素から生じる蛍光が減少しているからである。このため、図１６（ｃ）に例示されるベイヤーパターン７１０のように、細胞領域６０１の同一部位を対象とする近接する各画素部に入射する光量も、褪色の影響で取得時刻に応じて異なることになる。なお、図１６（ｃ）では、各画素部に入射する光量は、各画素部の濃淡で表されている。
【００２１】
このように、蛍光観察に画素シフト技術を用いた撮像装置を用いる場合、蛍光色素の褪色により明るさの異なる複数の画像が取得される。そして、そのような明るさの異なる画像が合成されることにより画像が生成されるため、生成された画像にブロック状の模様が生じ、画質が劣化することになる。
【００２２】
なお、図１５（ｂ）に例示されるように、このようなブロック状の模様は、蛍光色素で染色された細胞領域６０１で生じる。従って、このようなブロック状の模様を排除するために、蛍光色素の褪色を考慮して相対位置の異なる画像毎に露光時間を調整する方法も考えられるが、このような方法は、実用的ではない。このような方法では、各画像で背景領域６０４の明るさが変化してしまい、図１５（ｂ）の場合とは異なり、背景領域６０４にブロック状の模様が生じてしまうからである。
以上のような実情を踏まえ、本発明では、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することを課題とする。
【課題を解決するための手段】
【００２３】
本発明の第１の態様は、蛍光標本の像を撮像する撮像手段と、像に対する撮像手段の相対位置を変化させる画素シフト手段と、異なる相対位置で、撮像手段により取得された複数の画像データのヒストグラムを用いて、画像データの階調を補正する画像補正手段と、画像補正手段により補正された複数の画像データを合成する画像合成手段と、を含む撮像装置を提供する。
【００２４】
本発明の第２の態様は、第１の態様に記載の撮像装置において、画像補正手段は、階調が補正された複数の画像データのヒストグラムを一致させる撮像装置を提供する。
【００２５】
本発明の第３の態様は、第１の態様に記載の撮像装置において、画像補正手段は、蛍光色素が褪色により劣化した、蛍光標本の一部分に対応する画像データを補正する撮像装置を提供する。
【００２６】
本発明の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の撮像装置において、画像補正手段は、相対位置毎に画像データのヒストグラムを作成するヒストグラム作成手段と、ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、ルックアップテーブルを用いて、画像データの階調を補正する階調補正手段と、を含む撮像装置を提供する。
【００２７】
本発明の第５の態様は、第１の態様乃至第４の態様のいずれか１つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、画像補正手段は、画像データの被写体毎のヒストグラムを用いて、画像データのうち被写体に該当する部分の階調を補正する撮像装置を提供する。
【００２８】
本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、画像補正手段は、蛍光色素毎に生成された画像データのヒストグラムを用いて、画像データの階調を補正する撮像装置を提供する。
【００２９】
本発明の第７の態様は、第６の態様に記載の撮像装置において、さらに、蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、アンミキシング手段は、蛍光情報記憶手段から、蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、波長データを用いて、蛍光標本に含まれる蛍光色素毎の画像データを生成する撮像装置を提供する。
【００３０】
本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の撮像装置において、さらに、蛍光標本を観察する顕微鏡を含み、撮像手段は、顕微鏡を通過した蛍光標本の像を撮像する撮像装置を提供する。
本発明の第９の態様は、第８の態様に記載の撮像装置において、撮像装置は、顕微鏡用デジタルカメラである撮像装置を提供する。
【００３１】
本発明の第１０の態様は、蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる相対位置で蛍光標本の像を撮像し、画像データを取得するステップと、相対位置毎に取得された画像データから、相対位置毎にヒストグラムを作成するステップと、ヒストグラムを用いて、画像データの階調を補正するステップと、階調が補正された画像データを合成するステップと、を含む画像生成方法を提供する。
【００３２】
本発明の第１１の態様は、第１０の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、ヒストグラムを比較して、ルックアップテーブルを作成するステップと、ルックアップテーブルを用いて、画像データの階調を補正するステップと、を含む画像生成方法を提供する。
【００３３】
本発明の第１２の態様は、第１１の態様に記載の画像生成方法において、複数の異なる相対位置は、１つの基準位置と、基準位置を除くシフト位置と、を含み、ルックアップテーブルは、基準位置の画像データのヒストグラムと、シフト位置の画像データのヒストグラムを比較して、シフト位置毎に、作成される画像生成方法を提供する。
【００３４】
本発明の第１３の態様は、第１２の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、シフト位置の画像データの階調を補正し、階調が補正されたシフト位置の画像データのヒストグラムを基準位置の画像データのヒストグラムと一致させる画像生成方法を提供する。
【発明の効果】
【００３５】
本発明によれば、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することができる。
【図面の簡単な説明】
【００３６】
【図１】実施例１に係る撮像装置の構成を例示した図である。
【図２】実施例１に係る撮像装置で用いられる静止画像を生成するプログラムのＧＵＩ画面を例示する図である。
【図３】実施例１に係る撮像装置で用いられる静止画像を生成するプログラムの他のＧＵＩ画面を例示する図である。
【図４】実施例１に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図５】実施例１に係る撮像装置で取得される基準画像と補正対象画像のヒストグラムについて説明するための図である。
【図６】実施例１に係る撮像装置で取得される基準画像と補正対象画像からルックアップテーブルを作成する方法を説明するための図である。
【図７】実施例１に係る撮像装置で取得される基準画像と補正対象画像の他のヒストグラムについて説明するための図である。
【図８】実施例２に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図９】実施例２に係る撮像装置で作成される被写体毎のルックアップテーブルが表現する階調補正曲線を例示する図である。
【図１０】実施例３に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図１１】実施例４に係る撮像装置の構成を例示した図である。
【図１２】従来技術に係る撮像装置の構成を例示した図である。
【図１３】従来技術に係る撮像装置の他の構成を例示した図である。
【図１４】従来技術に係る画素シフト技術を用いた撮像装置の構成を例示した図である。
【図１５】従来技術に係る画素シフト技術を用いた撮像装置が生成する蛍光画像について説明するため図である。
【図１６】従来技術に係る画素シフト技術を用いた撮像装置に含まれる撮像手段の相対位置とベイヤーパターンについて説明するための図である。
【図１７】図１６で例示される各相対位置で取得される蛍光画像を例示した図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら、各実施例について説明する。
【実施例１】
【００３８】
図１は、本実施例に係る撮像装置の構成を例示した図である。図１に例示される撮像装置１は、標本１１の像を形成する顕微鏡２と、顕微鏡２で形成された像を画像化する撮像装置本体２０と、撮像装置本体２０で生成された画像を表示するＰＣ４０と、を含んで構成されている。撮像装置１は、画素シフト技術を利用して、高い解像度の画像を生成することができる。
【００３９】
顕微鏡２は、蛍光観察を含む各種検鏡法を切替えて利用することのできる顕微鏡であり、検鏡法に応じて使用される、透過照明用の光源３、落射照明用の光源４、キューブユニット１５等を含んでいる。
【００４０】
顕微鏡２の透過照明光３ａ上には、光源３から標本１１に向かって順に、コレクタレンズ５、ミラー６、窓レンズ７、視野絞り（ＦＳ）８、開口絞り（ＡＳ）９、コンデンサレンズ１０を有している。一方、落射照明光路４ａ上には、コレクタレンズや、図示しないＡＳ及びＦＳ、対物レンズ１２に加え、交換可能なキューブユニット１５などを有している。また、観察光路Ｓ上には、標本１１側から順に、対物レンズ１２、キューブユニット１５、結像レンズ１３、ポート１４を有している。
【００４１】
照明光路や観察光路には、さらに、各種フィルタや偏光素子等の光学素子を含んでもよい。また、対物レンズ１２やキューブユニット１５は、観察倍率や検鏡法に応じて切り替え可能に配置されている。
【００４２】
撮像装置本体２０は、標本１１からの光を電気信号に光電変換する撮像素子２１と、撮像素子２１の駆動を制御する撮像素子駆動部２２と、撮像素子２１から出力される電気信号を映像信号に変換する前置処理部２３と、映像信号をデジタル信号（画像データ）に変換するＡ／Ｄ変換部２４と、信号処理部２５と、バス３０と、制御部３１と、ＰＣ４０と接続されたＩ／Ｆ部３２と、撮像素子２１を変位させる素子ずらし手段３３と、を含んで構成されている。また、信号処理部２５は、合成処理部２６と、ベイヤー補間処理部２７と、色補正処理部２８と、階調補正処理部２９と、を含んでいる。
【００４３】
撮像素子２１は、それぞれ独立に光量を検出できる複数の画素部を有するＣＣＤなどの固体撮像素子であり、標本１１の像を撮像する撮像手段である。撮像素子２１の各画素部は、例えば、図１６（ａ）の初期画素位置７０１、初期画素位置７０２、初期画素位置７０３、初期画素位置７０４のような、ベイヤー配列に並べられている。また、素子ずらし手段３３は、標本１１の像に対する撮像素子２１の相対位置を変化させる画素シフト手段である。
【００４４】
撮像装置本体２０は、素子ずらし手段３３を用いて標本１１の像に対する撮像素子２１の相対位置を変化させて、撮像素子２１により複数の画像を取得する。そして、信号処理部２５により、取得された複数の画像を合成することで高い解像度の画像を生成する。
【００４５】
ＰＣ４０は、信号処理部４０ａと、操作部４１と、記録部４２と、表示部４９と、を含んで構成されている。信号処理部４０ａは、ＬＵＴ作成処理部４３と、褪色補正処理部４４と、合成処理部４５と、ベイヤー補間処理４６と、色補正処理部４７と、階調補正処理部４８と、を含み、ＰＣ４０上で動作するソフトウェアとして構成されているものとする。ただし、ＰＣ４０の代わりに専用装置が用いられても良く、その場合、信号処理部４０ａは、ハードウェアとして構成されてもよい。
【００４６】
信号処理部４０ａは、信号処理部２５と同様に、取得された複数の画像を合成することで高い解像度の画像を生成する機能を有し、通常、信号処理部２５とのいずれか一方が選択的に使用される。つまり、信号処理部２５は、撮像装置１の第１の信号処理部であり、信号処理部４０ａは第２の信号処理部である。
【００４７】
なお、後述するように、信号処理部４０ａは、異なる相対位置で取得された複数の画像の累積ヒストグラムを用いて、それらの画像の階調を補正し、その後、補正された画像を合成する。このため、信号処理部４０ａは、標本１１に含まれる蛍光色素の褪色が速い場合であっても、その影響を抑制して、生成された画像の画質を良好に維持する機能を有している点が、信号処理部２５と異なっている。
次に、本実施例に係る撮像装置１の作用について詳細に説明する。
【００４８】
ここでは、光源４として、水銀ランプ等からなり紫外線（ＵＶ）を励起光として射出する光源を用い、標本１１として、ＵＶ励起により４５０ｎｍ付近の波長をピークとする蛍光を生じさせる蛍光色素で染色された蛍光標本を用いた場合を例に説明する。従って、標本１１の像はほとんど青色一色で構成される。また、キューブユニット１５は、上記励起光及び蛍光の波長に合わせて構成された、ダイクロイックミラーや蛍光フィルタからなる蛍光キューブユニットである。
【００４９】
まず、落射照明用の光源４から射出された励起光は、コンデンサレンズを通過して、図示しないＦＳ、ＡＳを介してキューブユニット１５へ入射する。キューブユニット１５は、励起光に対して、標本１１に応じた励起波長の光を選択的に反射する励起フィルタとして機能する。そして、キューブユニット１５で反射された励起光は、対物レンズにより標本１１に照射される。
【００５０】
励起光が照射された標本１１では、標本１１に含まれる蛍光色素が励起され、励起光よりも長波長の蛍光が生じる。蛍光は、標本１１を反射した励起光とともに、対物レンズ１２を介して、キューブユニット１５へ入射する。この際、キューブユニット１５は、蛍光を透過し励起光を遮断する吸収フィルタとして機能する。このため、蛍光は、キューブユニット１５により励起光から分離され、結像レンズ１３を介して、ポート１４から撮像素子２１に向けて射出される。
【００５１】
ポート１４に接続された撮像装置本体２０内には、結像レンズ１３により標本１１の像が投影される位置に、撮像素子２１が配置されている。撮像素子２１は、撮像素子駆動部２２からの駆動信号に基づいた露光時間で駆動され、その間入力される蛍光（標本１１の像）を光電変換し、前置処理部２３へ電気信号を出力する。
【００５２】
電気信号が入力された前置処理部２３は、撮像素子駆動部２２からの制御パルスを受信し、電気信号を映像信号に変換してＡ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、撮像素子駆動部２２からのクロック信号に基づいて、映像信号をデジタル信号（画像データ）に変換して出力する。出力された画像データは、バス３０、記録部３１、Ｉ／Ｆ部３２を介して、ＰＣ４０へ出力され、動画像として表示部４９に表示される。
【００５３】
撮像装置１では、操作部４１から入力されたユーザの指示により、静止画像を生成するプログラムが起動されると、例えば、図２に例示されるＧＵＩ画面５０が表示部４９に表示される。
【００５４】
ＧＵＩ画面５０は、静止画像を表示する静止画像領域５１と、静止画像の生成を開始させるボタン５２と、生成される画像の条件を入力する選択パネル５３から構成されている。選択パネル５３には、生成する静止画像のサイズを指定するリストボックス５４と、画像生成時に後述する褪色補正を行う否かを選択するラジオボタン５５と、が含まれている。
【００５５】
なお、プログラムのＧＵＩ画面は、特にこれに限定されない。例えば、ＧＵＩ画面は、図３に例示されるＧＵＩ画面５６であっても良い。ＧＵＩ画面５６は、選択パネル５３の代わりに選択パネル５７を有し、リストボックス５４及びラジオボタン５５の機能をリストボックス５８のみで実現している。
【００５６】
図２のリストボックス５４に例示される“６４０×４８０”または“１３８０×１０５０”は、撮像素子２１の画素数（解像度）以下のサイズを例示している。このため、“６４０×４８０”または“１３８０×１０５０”が選択された状態でボタン５２が押下されると、画素シフト技術を用いずに静止画像が生成されて、静止画像領域５１に表示される。
【００５７】
より具体的には、ユーザの指示は、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。制御部３１は、ユーザの指示に従って、Ａ／Ｄ変換部２４から出力される画像データを、そのままＰＣ４０の記録部４２に記録し、静止画像として静止画像領域５１に表示する。
【００５８】
一方、図２のリストボックス５４に例示される“４１４０×３１５０”は、撮像素子２１の画素数（解像度）を超えるサイズを例示している。なお、“４１４０×３１５０”を選択している時には、ラジオボタン５５が有効な状態になり、“通常”または“褪色補正”のいずれか一方を選択することができる。
【００５９】
“４１４０×３１５０”及び“通常”が選択された状態でボタン５２が押下されると、ユーザの指示は、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。そして、制御部３１は、画素シフト技術を用いて静止画像を生成し、静止画像領域５１に表示するように、動作する。
【００６０】
具体的には、素子ずらし手段３３は、図１６（ａ）に例示される９つの相対位置に順番に、撮像素子２１を変位させる。そして、撮像素子駆動部２２は、各相対位置で所定の露光時間ずつ撮像素子２１を駆動させ、前置処理部２３を介して、Ａ／Ｄ変換部２４に各相対位置の９つの画像データを出力させる。出力された相対位置の異なる９つの画像データは、褪色補正を行う必要がないため、信号処理部２５へ出力される。
【００６１】
信号処理部２５では、９つの画像データは、合成処理部２６により、図１６（ｂ）に例示されるようなベイヤーパターン７００を有する画像データ（ベイヤーＲＡＷデータ）に合成される。合成された画像データは、ベイヤー補間処理部２７によりＲＧＢ形式の画像データに変換され、色補正処理部２８により色変換マトリックスを用いて色調が補正される。そして、階調補正処理部２９によりガンマ補正などの出力装置に合わせた階調補正が行われてから、信号処理部２５から出力される。信号処理部２５から出力された画像データは、記録部４２に記録され、静止画像として静止画像領域５１に表示される。
【００６２】
一方、“通常”の代わりに“褪色補正”が選択された状態でボタン５２が押下されると、ユーザの指示は、同様に、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。そして、制御部３１は、画素シフト技術に加えて、後述する褪色補正処理を用いて、静止画像を生成し、静止画像領域５１に表示するように、動作する。
【００６３】
図４は、画素シフト技術とともに褪色補正処理を用いた画像生成処理のフローチャートである。以降では、図４を参照しながら、褪色補正処理を用いた画像生成処理について説明する。
まず、処理が開始されると、図１６（ａ）に例示される９つの相対位置で、標本１１の画像データが取得される。
【００６４】
つまり、制御部３１は、撮像素子駆動部２２を制御して、第１の相対位置Ｐｏｓ１で所定の露光時間だけ撮像素子２１を駆動させる。そして、出力された電気信号を前置処理部２３により映像信号に、さらに、Ａ／Ｄ変換部２４により画像データに変換する（ステップＳ１）。画像データは、褪色補正を行う必要があるため、ＰＣ４０へ出力される。具体的には、バス３０、制御部３１、Ｉ／Ｆ部３２を介して、記録部４２へ記録される。
【００６５】
制御部３１は、すべての相対位置での撮像が終了しているかを判断する（ステップＳ２）。終了していなければ、制御部３１は、素子ずらし手段３３により撮像素子２１を次の相対位置である第２の相対位置Ｐｏｓ２に変位させて（ステップＳ３）、標本１１を撮像する（ステップＳ１）。これを第９の相対位置Ｐｏｓ９まですべての相対位置で繰り返す。
次に、このようにして記録部４２に記録された画像データに対して、褪色補正処理が行われる。
【００６６】
本実施例に係る褪色補正処理は、画素シフト技術で用いられる複数の画像データについて階調に関するヒストグラムを作成し、そのヒストグラムを基づいて、各画像データの階調を補正する処理である。
【００６７】
この褪色補正処理では、褪色が生じない場合には取得される複数の画像データでヒストグラムの形状が同様となることを利用して、各画像データのヒストグラムの形状が一致するように、階調を補正する。つまり、褪色の影響をヒストグラムの変化として検出し、ヒストグラムの変化を補正することにより、褪色の影響を排除するものである。
【００６８】
なお、画素シフト技術で用いられる複数の画像データは、標本１１の像に対して異なる相対位置で取得されているため、各画像データのヒストグラムは、褪色が生じない場合であっても、厳密には一致しない。しかしながら、（ａ）相対位置の変化量が２／３ピッチ程度と画像全体に対して非常に小さいこと、（ｂ）ヒストグラムは画像全体の階調の傾向を示すものであること、などを考慮すると、褪色が生じない場合であれば、ヒストグラムの差異は、非常に小さく無視することができる。
【００６９】
褪色補正処理は、信号処理部４０ａで行われる。まず、９つの画像データから、第１の相対位置Ｐｏｓ１で取得された画像データを読み込み、基準画像として設定する（ステップＳ４）。なお、第１の相対位置Ｐｏｓ１は基準位置であり、それ以外の相対位置は基準位置から変位したシフト位置である。褪色補正処理は、後述するように、基準画像と同程度の褪色状態に各画像データを補正する。このため、基準画像は、最も褪色が少ない画像データであることが望ましい。従って、ここでは、最初に取得されているため、蛍光色素が最も褪色していないと考えられる第１の相対位置Ｐｏｓ１で取得された画像データを基準画像に設定する。ただし、基準画像は、必ずしも第１の相対位置Ｐｏｓ１で取得された画像には限られない。十分な褪色補正が行われる限り、任意の画像データを選択しても良い。
【００７０】
次に、基準画像の累積ヒストグラムを作成する（ステップＳ５）。累積ヒストグラムは、横軸を階調（濃度、光量）、縦軸を累積出現頻度とした、階調に関する累積ヒストグラムであり、基準画像のＲＧＢ成分別に作成する。
【００７１】
さらに、基準画像を除く８つの、階調を補正する画像データ（以降、補正対象画像と記す。）から、１つの補正対象画像を選択し（ステップＳ６）、階調（濃度）に関する累積ヒストグラムをＲＧＢ別に作成する（ステップＳ７）。
【００７２】
図５（ａ）は、基準画像のヒストグラムであり、図５（ｂ）は、補正対象画像のヒストグラムである。それぞれ、ステップＳ５、ステップＳ７で作成される累積ヒストグラムをヒストグラムとして表現したものである。
【００７３】
図５（ａ）及び図５（ｂ）に例示されるように、赤色（Ｒ）のヒストグラムＲ１及びヒストグラムＲ２と、緑色（Ｇ）のヒストグラムＧ１及びヒストグラムＧ２は、１つのピークしか持たない。これに対して、青色（Ｂ）のヒストグラムＢ１及びヒストグラムＢ２は、２つのピークを持っている。これは、標本１１から生じる蛍光がほとんど青色で構成されているためである。つまり、ヒストグラムＲ１、ヒストグラムＲ２、ヒストグラムＧ１及びヒストグラムＧ２は、ほとんど背景光により構成されるため、背景光のピークしか有さず、ヒストグラムＢ１及びヒストグラムＢ２は、背景光及び蛍光により構成されるため、背景光のピークと蛍光のピークを有するからである。
【００７４】
また、図６（ａ）は、図５（ａ）のヒストグラムＢ１であり、図６（ｂ）は、図５（ｂ）ヒストグラムＢ２である。図６（ｃ）は、図６（ａ）に例示されるヒストグラムＢ１の累積ヒストグラムＢＣ１であり、図６（ｄ）は、図６（ｂ）に例示されるヒストグラムＢ２の累積ヒストグラムＢＣ２である。
【００７５】
図６（ａ）及び図６（ｂ）を比較すると、低階調領域に位置する背景光のピークは、ほとんど変化していないが、ヒストグラムＢ２の蛍光のピークは、褪色が進んだことにより、ヒストグラムＢ１の蛍光のピークに比べて低階調側に移動している。
【００７６】
そこで、このような褪色の影響により生じるヒストグラムの変化を補正するため、基準画像の累積ヒストグラムと補正対象画像の累積ヒストグラムに基づいて、補正対象画像の累積ヒストグラムを、基準画像の累積ヒストグラムに変換するルックアップテーブルを作成する（ステップＳ８）。つまり、そのルックアップテーブルを用いて階調補正された後の補正対象画像の累積ヒストグラムが、基準画像の累積ヒストグラムと一致するようなルックアップテーブルを作成する。ルックアップテーブルは、ＲＧＢ別に作成する。
【００７７】
具体的には、基準画像の階調（濃度）をＩＯＵＴとし、基準画像の累積頻度をＳＯＵＴ（ＩＯＵＴ）とし、補正対象画像の階調（濃度）をＩＩＮとし、基準画像の累積頻度をＳＩＮ（ＩＩＮ）とし、ルックアップテーブルが有する入出力関係をＬＵＴとするとき、ルックアップテーブルは、以下の関係式（１）を満たす基準画像の階調ＩＯＵＴと補正対象画像の階調ＩＩＮに対して、関係式（２）を満たす。
ＳＯＵＴ（ＩＯＵＴ）＝ＳＩＮ（ＩＩＮ） …（１）
ＩＯＵＴ＝ＬＵＴ［ＩＩＮ］ …（２）
【００７８】
これにより、例えば、青色に関しては、基準画像の累積ヒストグラムＢＣ１及び補正対象画像の累積ヒストグラムＢＣ２から、図６（ｅ）に例示されるような、階調補正曲線Ｌ１で表現される入出力関係を有するルックアップテーブルが作成される。
【００７９】
蛍光が含まれる色のヒストグラムは、階調補正曲線Ｌ１のように、低階調領域では入出力比がほぼ１の関係を示す直線状となり、中階調領域から高階調領域では傾きが増加する曲線状となる。これは、褪色の影響がほとんど生じない背景光は蛍光に比べて暗いため低階調側に位置し、蛍光は比較的高階調側に位置しているためである。蛍光が位置する高階調側で入出力比を１以上にすることで褪色による階調の低下を補正することが可能となる。
なお、上述した累積ヒストグラム作成処理、及び、ルックアップテーブル作成処理は、いずれもＬＵＴ作成処理部４３で行われる。
【００８０】
褪色補正処理部４４では、ＬＵＴ作成処理部４３でＲＧＢ別に作成されたルックアップテーブルを用いて、補正対象画像の階調がＲＧＢ別に補正される（ステップＳ９）。これにより、補正対象画像は、基準画像と同程度の褪色状態に補正される。
【００８１】
その後、基準画像を除く８つすべての補正対象画像の階調補正が終了しているかを判断する（ステップＳ１０）。終了していなければ、別の補正対象画像を選択し（ステップＳ６）、同様の処理を繰り返す。すべての補正対象画像の階調補正が終了すると、基準画像と階調補正後の補正対象画像が合成処理部４５へ出力される。
【００８２】
合成処理部４５では、入力された９つの画像データ（基準画像及び８つの階調補正後の補正対象画像）が、図１６（ｂ）に例示されるようなベイヤーパターン７００を有する画像データ（ベイヤーＲＡＷデータ）に合成される（ステップＳ１１）。
【００８３】
合成された画像データは、ベイヤー補間処理部４６によりＲＧＢ形式の画像データに変換され（ステップＳ１２）、色補正処理部４７により色変換マトリックスを用いて色調が補正され（ステップＳ１３）、階調補正処理部４８によりガンマ補正などの出力装置に合わせた階調補正が行われる（ステップＳ１４）。そして、すべての処理が終了した後、画像データは記録部４２に記録され、表示部４９を介して、静止画像として静止画像領域５１に表示される。このようにして表示された画像では、蛍光標本を画素シフト技術で画像化したときに生じるブロック状の模様は抑制されるため、良好な画質と高解像度が実現される。
【００８４】
以上、本実施例に係る撮像装置１及び画像生成方法によれば、画素シフト技術で用いられる相対位置の異なる複数の画像間に生じる褪色状態の違い、つまり、画像の明るさの違いを、ヒストグラムを用いて補正することができる。これにより、明るさの異なる画像が合成されることにより生じるブロック状の模様が抑制されるため、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。
【００８５】
なお、上述した褪色補正処理では、累積ヒストグラムを使用してルックアップテーブルを作成したが、特にこれに限られない。累積ヒストグラムの代わりにヒストグラムを使用してルックアップテーブルを作成してもよい。
【００８６】
また、上述した褪色補正処理では、累積ヒストグラム及びルックアップテーブルをＲＧＢ別に作成する例を示したが、特にこれに限られない。ＲＧＢ別に作成することなく、１画像毎に、１つの累積ヒストグラムと１つのルックアップテーブルを作成してもよい。
【００８７】
通常、背景光や蛍光のピーク位置はＲＧＢ毎に異なるため、１画像に対して１つのヒストグラムを作成すると、図７（ａ）に例示されるヒストグラムＳ１のようなヒストグラムが作成される。これを利用してルックアップテーブルを作成し階調を補正すると、ＲＧＢ毎に異なる階調のスケールが考慮されないため、補正により偽色が生じることがある。このため、図７（ｂ）に例示されるヒストグラムＳ２のように、背景光のピークが重なるように予めＲＧＢ間のスケールの関係を調整してヒストグラムを作成することが望ましい。これにより、１画像毎に、１つの累積ヒストグラムと１つのルックアップテーブルを使用した褪色補正が可能となり、且つ、偽色の発生も抑制できる。
【００８８】
また、上述した褪色補正処理では、ルックアップテーブルが有する入出力関係によらず、褪色補正処理部４４で階調補正が行われているが、必ずしも常に階調補正を行う必要はない。基準画像と補正対象画像の間で、階調分布の変化がほとんどない場合には、階調補正を省略してもよい。これにより、画像生成処理の高速化が図れる。
【００８９】
具体的には、例えば、撮像装置１に最適化された閾値をΔＩとするとき、ルックアップテーブルが上述した関係式（１）を満たす基準画像の階調ＩＯＵＴと補正対象画像の階調ＩＩＮに対して、上述した関係式（２）を満たし、さらに、以下の関係式（３）を満たす場合には、褪色補正処理部４４により階調補正を省略してもよい。
ＬＵＴ［ＩＩＮ］−ＩＩＮ≦｜ΔＩ｜ …（３）
【００９０】
また、上述した褪色補正処理では、ＬＵＴ作成処理部４３で、上述した関係式（１）及び関係式（２）を満たすルックアップテーブルを作成したが、特にこれに限られない。さらに、移動平均化処理などの階調補正曲線を補正する処理を行い、ルックアップテーブルが有する入出力関係を調整してもよい。
【００９１】
累積ヒストグラムを用いる場合、高階調になるほど誤差が累積される。このため、算出されるルックアップテーブルの値も、高階調になるほど計算誤差が大きくなり、補正精度が劣化する。しかしながら、移動平均化処理などを行うことでこのような計算誤差を減らすことができるため、より良好な階調補正を行うことができる。
【００９２】
なお、平均化処理により階調補正曲線を補正する代わり、ルックアップテーブルに含まれる複数の値から階調補正曲線を予測してもよい。その場合も、平均化処理と同様な効果が得られる。
【実施例２】
【００９３】
図８は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、被写体を識別する処理が追加され、被写体別に褪色補正処理が行われる点が、図４に例示される実施例１に係る画像生成処理と異なっている。
【００９４】
以降では、実施例１に係る画像生成処理との相違点を中心に、図８を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例１に係る撮像装置１の構成と同様である。
【００９５】
本実施例に係る画像生成処理では、各相対位置で画像データが取得された後に、取得された各画像データに対して被写体識別処理が行われる（ステップＳ１５）。被写体識別処理は、画像データ中の背景領域と各被写体（例えば、細胞領域）を識別する処理であり、例えば、入力された画像データに対して、二値化処理と特徴量算出処理を組み合わせて行う。以降では、背景領域も被写体の一つとみなす。
【００９６】
すべての相対位置での画像取得が終了後、識別された被写体から一つの被写体が選択される（ステップＳ１６）。そして、実施例１に係る画像生成処理と同様の方法により、各補正対象画像の階調が補正される（ステップＳ４からステップＳ１０）。
【００９７】
ただし、本実施例に係る画像生成処理では、補正対象画像の階調補正を選択された被写体部分に対してのみ実施する点が、実施例１に係る画像生成処理と異なっている。このため、基準画像の累積ヒストグラム作成処理（ステップＳ５）では、基準画像の選択された被写体部分の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理（ステップＳ７）では、補正対象画像の選択された被写体部分の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され（ステップＳ８）、補正対象画像の選択された被写体部分の階調が補正される（ステップＳ９）。
【００９８】
すべての補正対象画像に対して選択された被写体部分の階調補正が終了すると、すべての被写体部分の補正が終了しているかが判断される（ステップＳ１７）。終了していなければ、別の被写体が選択されて（ステップＳ１６）、同様の処理を繰り返す。
【００９９】
すべての補正対象画像に対して、すべての被写体部分の階調補正が終了すると、各被写体の階調が補正された９つの画像データは、実施例１に係る画像生成処理と同様の方法により合成され（ステップＳ１１）、処理される（ステップＳ１２、ステップＳ１３、ステップＳ１４）。
そして、すべての処理が終了した後、画像データは記録部４２に記録され、表示部４９に表示される。
【０１００】
図９は、被写体毎のルックアップテーブルが表現する階調補正曲線を例示している。階調補正曲線Ｌａ、階調補正曲線Ｌｂ、階調補正曲線Ｌｃは、同一の補正対象画像の異なる被写体に関する階調補正曲線である。
【０１０１】
このように、本実施例では、被写体毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、細胞の種類や部位の違いなどにより、被写体毎に異なる特性（つまり、累積ヒストグラムの形状及びその変化が異なる）を有する場合であっても、被写体毎に最適化されたルックアップテーブルを作成することができる。なお、画面上で注目している領域（関心領域）をＧＵＩを用いて指定し、その内側のみに褪色補正を施しても良い。関心領域の内側だけで褪色の速度が一致するように指定することで、補正の精度を高くすることができる。
【０１０２】
従って、本実施例では、異なる特性を有する被写体を含む標本１１であっても、相対位置の異なる複数の画像間、及び、画像内の被写体間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
【０１０３】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、被写体毎の特性が異なる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【実施例３】
【０１０４】
図１０は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、１つの画像データから蛍光色素毎の画像データを生成するアンミキシング処理が追加され、蛍光色素別に画像データの褪色補正処理が行われる点が、図４に例示される実施例１に係る画像生成処理と異なっている。
【０１０５】
以降では、実施例１に係る画像生成処理との相違点を中心に、図１０を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例１に係る撮像装置１の構成と同様である。
【０１０６】
本実施例に係る画像生成処理では、まず、最初に、蛍光情報記憶手段である記録部４２から、標本１１に含まれる蛍光色素から射出される蛍光の波長データを取得する（ステップＳ１８）。なお、記録部４２には、予め蛍光色素から射出される蛍光の波長データが記憶されている。
【０１０７】
そして、各相対位置で画像データが取得する（ステップＳ１）。その後、取得された画像データと波長データを用いてアンミキシング処理が行われる（ステップＳ１９）。
【０１０８】
アンミキシング処理は、蛍光色素毎に射出される蛍光の波長特性が異なることを利用して、蛍光色素毎に、その蛍光色素から射出された蛍光により画像データを生成する処理である。このため、蛍光色素毎に生成された複数の画像データが得られる。
【０１０９】
すべての相対位置での画像取得及びアンミキシング処理が終了後、標本１１に含まれる蛍光色素から一つの蛍光色素が選択される（ステップＳ２０）。これにより、選択された蛍光色素に関する９つの各相対位置の画像データが選択される。
【０１１０】
そして、この選択された蛍光色素に関する９つの画像データのうち、基準画像を除く８つの補正対象画像の階調が、実施例１に係る画像生成処理と同様の方法により、補正される（ステップＳ４からステップＳ１０）。つまり、基準画像の累積ヒストグラム作成処理（ステップＳ５）では、選択された蛍光色素の基準画像の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理（ステップＳ７）では、選択された蛍光色素の補正対象画像の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され（ステップＳ８）、選択された蛍光色素の補正対象画像の階調が補正される（ステップＳ９）。
【０１１１】
選択された蛍光色素のすべての補正対象画像の階調補正が終了すると、階調が補正された選択された蛍光色素の９つの画像データは、実施例１に係る画像生成処理と同様の方法により合成され（ステップＳ１１）、処理される（ステップＳ１２、ステップＳ１３、ステップＳ１４）。
【０１１２】
次に、すべての蛍光色素の補正対象画像の補正が終了しているかが判断される（ステップＳ２１）。終了していなければ、別の蛍光色素が選択されて（ステップＳ２０）、新たに選択された蛍光色素に関する９つの各相対位置の画像データが選択される。以降、同様の処理を繰り返す。
【０１１３】
そして、すべての蛍光色素の補正対象画像の補正が終了した後、蛍光色素毎に生成された画像データは記録部４２に記録され、蛍光色素毎の画像データが互いに重ね合わされた状態で（ステップＳ２２）、表示部４９に表示される。
【０１１４】
このように、本実施例では、蛍光色素毎に画像データが生成され、蛍光色素毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、褪色の速さの異なる複数の蛍光色素を含む標本１１であっても、相対位置の異なる複数の画像間、及び、蛍光色素間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
【０１１５】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、褪色の速さの異なる複数の蛍光色素が含まれる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【実施例４】
【０１１６】
図１１は、本実施例に係る撮像装置の構成を例示した図である。本実施例に係る撮像装置５９は、撮像装置１と、撮像装置本体と、ＰＣと、を含んで構成される点については、実施例１に係る撮像装置１と同様である。ただし、撮像装置５９では、褪色補正の有無に関わらず、画像生成に関するすべての処理が撮像装置本体６０で行われる点が異なっている。このため、撮像装置５９の撮像装置本体６０には、褪色補正処理を行うために、ＬＵＴ作成処理部６１と、褪色補正処理部６２が追加されている。一方、ＰＣ７０は、図示しないが、操作部４１と、記録部４２と、表示部４９と、を含み、信号処理部４０ａを含まない。
【０１１７】
このように構成された撮像装置５９でも、撮像装置１と同様に、図４に例示される画像生成処理を行うことができる。また、図８に例示される被写体識別処理や図１０に例示されるアンミキシング処理を含む画像生成処理も実行可能である。
【０１１８】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、被写体識別処理やアンミキシング処理を行うことで、実施例２または実施例３と同様に、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【０１１９】
なお、実施例１から実施例４では、撮像装置は、顕微鏡と、撮像装置本体と、ＰＣと、をから構成される例を示したが、特にこれに限られない。例えば、撮像装置本体とＰＣを、同様の機能を実現する顕微鏡用デジタルとして構成してもよい。また、顕微鏡と撮像装置本体とＰＣを、つまり、撮像装置全体を、同様の機能を実現するデジタルカメラとして構成してもよい。
【符号の説明】
【０１２０】
１，５９…撮像装置、２…顕微鏡、３，４…光源、３ａ…透過照明光路、４ａ…落射照明光路、５…コレクタレンズ、６…ミラー、７…窓レンズ、８…ＦＳ、９…ＡＳ、１０…コンデンサレンズ、１１…標本、１２…対物レンズ、１３…結像レンズ、１４…ポート、１５…キューブユニット、２０，６０…撮像装置本体、２１…撮像素子、２２…撮像素子駆動部、２３…前置処理部、２４…Ａ／Ｄ変換部、２５，４０ａ…信号処理部、２６，４５…合成処理部、２７，４６…ベイヤー補間処理部、２８，４７…色補正処理部、２９，４８…階調補正処理部、３０…バス、３１…制御部、３２…Ｉ／Ｆ部、３３…素子ずらし手段、４０，７０…ＰＣ、４１…操作部、４２…記録部、４３，６１…ＬＵＴ作成処理部、４４，６２…褪色補正処理部、４９…表示部、５０，５６…ＧＵＩ画面、５１…静止画像領域、５２…ボタン、５３，５７…選択パネル、５４，５８…リストボックス、５５…ラジオボタン、Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２，Ｓ１，Ｓ２…ヒストグラム、ＢＣ１，ＢＣ２…累積ヒストグラム、Ｌ１，Ｌ２，Ｌａ，Ｌｂ，Ｌｃ…階調補正曲線、Ｓ…観察光路
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法の技術に関し、特に、蛍光標本を対象とする撮像装置及び画像生成方法の技術に関する。
【背景技術】
【０００２】
標本からの光を電気信号に変換し、標本の画像を生成する撮像装置が知られている。
【０００３】
撮像装置は、光電変換を行う固体撮像素子からなる撮像手段を有しており、この撮像手段は、通常、それぞれ独立に光量を検出できる複数の画素部を有している。このような構成の撮像手段を用いて画像を生成する場合、標本と撮像手段の間の光学系の解像度（以降、光学解像度と記す。）に加えて、撮像手段に含まれる画素部の数（以降、画素数と記す。）によっても、画像の解像度が制限される。
【０００４】
従って、光学系の光学解像度が十分に大きな場合であっても、画素数が少なく撮像手段が実現できる解像度が小さい場合には、撮像手段が画像の解像度を制限してしまい、十分な解像度を有する画像が得られない。
【０００５】
例えば、図１２には、標本と撮像手段の間に顕微鏡を有する撮像装置が例示されている。図１２に例示される撮像装置４００は、顕微鏡１００のポート１０１に顕微鏡用デジタルカメラなどの撮像装置本体２００が接続されていて、ポート１０１から出力される標本像を撮像装置本体２００により撮像する。
【０００６】
より詳細には、顕微鏡１００に設けられた光源１０２より発せられた光が、コレクタレンズ１０３を通して平行光に変換され、ミラー１０４で反射し、窓レンズ１０５、視野絞り（ＦＳ）１０６、開口絞り（ＡＳ）１０７、コンデンサレンズ１０８を介して標本１０９に照射される。標本１０９を透過した透過光は、対物レンズ１１０、結像レンズ１１１を介して標本像としてポート１０１より出力される。
【０００７】
撮像装置本体２００には、顕微鏡１００のポート１０１から出力される標本像を撮像する撮像手段として機能するＣＣＤなどの撮像素子２０１が設けられている。この撮像素子２０１は、撮像素子駆動部２０２からの駆動信号に基づいた露出時間で駆動され、出力信号を前置処理部２０３に入力する。前置処理部２０３は、撮像素子駆動部２０２から与えられる制御パルスにより撮像素子２０１の出力信号を映像信号化し、Ａ／Ｄ変換部２０４に入力する。Ａ／Ｄ変換部２０４は、撮像素子駆動部２０２からのクロック信号に基づいて映像信号をデジタル画像データとして信号処理部２０５へ出力する。その後、画像データは、信号処理部２０５で色補正、階調補正などの信号処理が行われ、さらに、Ｄ／Ａ変換部２０６でアナログ信号に変換されて、動画像として表示部２０７に表示される。
【０００８】
また、Ｉ／Ｆ部２０８と接続された操作部からの指示を受信した制御部２０９は、信号処理部２０５からの画像データを、バス２１０を介して記録部２１１に送出し、静止画像として記録する。
【０００９】
また、図１３には、標本と撮像手段の間に、図１と同様の顕微鏡を有する撮像装置が例示されている。図１３に例示される撮像装置４０１は、顕微鏡１００と撮像装置本体２００に加えて、パーソナルコンピュータ（ＰＣ）３００を含んでいる。撮像装置４０１では、Ａ／Ｄ変換部２０６、表示部２０７および記録部２１１が削除され、その代わりに、これらの機能をＩ／Ｆ部２０８に接続されたＰＣ３００が代替している。また、画像処理の一部についても、ＰＣ３００により行われうる。
【００１０】
図１３及び図１４で例示した撮像装置４００及び撮像装置４０１では、撮像素子２０１の画素数が少ない場合には、光学解像度が十分に大きな顕微鏡１００を用いても、その光学性能が十分に発揮されず、十分な解像度を有する画像が得られない。
【００１１】
このような課題に対して、撮像素子２０１（撮像手段）の画素数を増やすことにより、解像度を向上させる方法もあるが、その場合、製造コストや光電変換効率など、撮像手段に関する新たな課題が生じてしまうことが指摘されている。
【００１２】
これに対して、撮像手段の画素数を増やすことなく、撮像装置で生成される画像の解像度を向上させる技術として、画素シフト技術が提案されている。画素シフト技術は、標本像に対する撮像手段の相対位置が異なる、複数の画像を画像処理により合成することで、画像の解像度を撮像手段の解像度以上に向上させる技術であり、例えば、特許文献１などで開示されている。
【００１３】
図１４は、画素シフト技術を用いた撮像装置の構成を例示した図である。図１４に例示される撮像装置４０２は、撮像素子２０１を移動させる素子ずらし手段２１３（画素シフト手段）を有する点が、図１３に例示される撮像装置４０１と異なっている。撮像装置４０２は、この素子ずらし手段２１３を用いて、標本像に対する撮像素子２０１の相対位置を変化させることで、異なる相対位置の画像を取得する。そして、取得された画像を合成することにより、撮像素子２０１の解像度以上の解像度の画像を生成することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−７２２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、このような画素シフト技術を用いた撮像装置を蛍光観察に用いた場合、生成された画像にブロック状の模様が生じてしまい、画質が劣化してしまうことがある。
【００１６】
例えば、図１５（ａ）に例示されるような、それぞれ蛍光色素で染色された領域６０２及び領域６０３からなる細胞領域６０１と、蛍光色素の存在しない背景領域６０４と、からなる蛍光標本５００の像を、画素シフト技術を用いた撮像装置で撮像すると、図１５（ｂ）に例示されるような画像５１０が生成される。
【００１７】
以下、図１６及び図１７を参照しながら、画素シフト技術を用いた撮像装置で生成される蛍光画像に、図１５（ｂ）に例示されるようなブロック状の模様が生じる理由について説明する。
画素シフト技術を用いた撮像装置では、上述したように、標本像に対する撮像手段の相対位置が異なる複数の画像が取得される。
【００１８】
具体的には、例えば、図１６（ａ）に例示される第１の相対位置Ｐｏｓ１に撮像手段がある状態で、図１６（ｂ）に例示されるように、赤（Ｒ）の画素部が初期画素位置７０１に、緑（Ｇ）の画素部が初期画素位置７０２及び初期画素位置７０３に、青（Ｂ）の画素部が初期画素位置７０４に配置されるように、撮像手段が構成される。その上で、画素シフト手段により、それぞれの相対位置が２／３画素ピッチだけ互いに異なるように、撮像手段の相対位置を、第１の相対位置Ｐｏｓ１から第９の相対位置Ｐｏｓ９まで順番に変化させて、それぞれの相対位置で標本５００の画像を取得する。なお、これにより、図１６（ａ）に例示されるベイヤーパターン７００が生成されることになる。
【００１９】
図１７（ａ）に例示される画像５０１から図１７（ｉ）に例示される画像５０９は、撮像手段が第１の相対位置Ｐｏｓ１から第９の相対位置Ｐｏｓ９のそれぞれに位置するときに取得された標本５００の画像を例示している。
【００２０】
図１７に例示されるように、標本５００の画像では、画像の取得が進むにつれて、細胞領域６０１の明るさが低下し、画像が暗くなっている。これは、各画像の取得時刻の間には時間差が生じるため、画像の取得が進むにつれて時間が経過し、それによって、細胞領域６０１を染色している蛍光色素が褪色することで、蛍光色素から生じる蛍光が減少しているからである。このため、図１６（ｃ）に例示されるベイヤーパターン７１０のように、細胞領域６０１の同一部位を対象とする近接する各画素部に入射する光量も、褪色の影響で取得時刻に応じて異なることになる。なお、図１６（ｃ）では、各画素部に入射する光量は、各画素部の濃淡で表されている。
【００２１】
このように、蛍光観察に画素シフト技術を用いた撮像装置を用いる場合、蛍光色素の褪色により明るさの異なる複数の画像が取得される。そして、そのような明るさの異なる画像が合成されることにより画像が生成されるため、生成された画像にブロック状の模様が生じ、画質が劣化することになる。
【００２２】
なお、図１５（ｂ）に例示されるように、このようなブロック状の模様は、蛍光色素で染色された細胞領域６０１で生じる。従って、このようなブロック状の模様を排除するために、蛍光色素の褪色を考慮して相対位置の異なる画像毎に露光時間を調整する方法も考えられるが、このような方法は、実用的ではない。このような方法では、各画像で背景領域６０４の明るさが変化してしまい、図１５（ｂ）の場合とは異なり、背景領域６０４にブロック状の模様が生じてしまうからである。
以上のような実情を踏まえ、本発明では、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することを課題とする。
【課題を解決するための手段】
【００２３】
本発明の第１の態様は、蛍光標本の像を撮像する撮像手段と、像に対する撮像手段の相対位置を変化させる画素シフト手段と、異なる相対位置で、撮像手段により取得された複数の画像データのヒストグラムを用いて、画像データの階調を補正する画像補正手段と、画像補正手段により補正された複数の画像データを合成する画像合成手段と、を含む撮像装置を提供する。
【００２４】
本発明の第２の態様は、第１の態様に記載の撮像装置において、画像補正手段は、階調が補正された複数の画像データのヒストグラムを一致させる撮像装置を提供する。
【００２５】
本発明の第３の態様は、第１の態様に記載の撮像装置において、画像補正手段は、蛍光色素が褪色により劣化した、蛍光標本の一部分に対応する画像データを補正する撮像装置を提供する。
【００２６】
本発明の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の撮像装置において、画像補正手段は、相対位置毎に画像データのヒストグラムを作成するヒストグラム作成手段と、ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、ルックアップテーブルを用いて、画像データの階調を補正する階調補正手段と、を含む撮像装置を提供する。
【００２７】
本発明の第５の態様は、第１の態様乃至第４の態様のいずれか１つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、画像補正手段は、画像データの被写体毎のヒストグラムを用いて、画像データのうち被写体に該当する部分の階調を補正する撮像装置を提供する。
【００２８】
本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の撮像装置において、さらに、画像データから、蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、画像補正手段は、蛍光色素毎に生成された画像データのヒストグラムを用いて、画像データの階調を補正する撮像装置を提供する。
【００２９】
本発明の第７の態様は、第６の態様に記載の撮像装置において、さらに、蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、アンミキシング手段は、蛍光情報記憶手段から、蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、波長データを用いて、蛍光標本に含まれる蛍光色素毎の画像データを生成する撮像装置を提供する。
【００３０】
本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の撮像装置において、さらに、蛍光標本を観察する顕微鏡を含み、撮像手段は、顕微鏡を通過した蛍光標本の像を撮像する撮像装置を提供する。
本発明の第９の態様は、第８の態様に記載の撮像装置において、撮像装置は、顕微鏡用デジタルカメラである撮像装置を提供する。
【００３１】
本発明の第１０の態様は、蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる相対位置で蛍光標本の像を撮像し、画像データを取得するステップと、相対位置毎に取得された画像データから、相対位置毎にヒストグラムを作成するステップと、ヒストグラムを用いて、画像データの階調を補正するステップと、階調が補正された画像データを合成するステップと、を含む画像生成方法を提供する。
【００３２】
本発明の第１１の態様は、第１０の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、ヒストグラムを比較して、ルックアップテーブルを作成するステップと、ルックアップテーブルを用いて、画像データの階調を補正するステップと、を含む画像生成方法を提供する。
【００３３】
本発明の第１２の態様は、第１１の態様に記載の画像生成方法において、複数の異なる相対位置は、１つの基準位置と、基準位置を除くシフト位置と、を含み、ルックアップテーブルは、基準位置の画像データのヒストグラムと、シフト位置の画像データのヒストグラムを比較して、シフト位置毎に、作成される画像生成方法を提供する。
【００３４】
本発明の第１３の態様は、第１２の態様に記載の画像生成方法において、ヒストグラムを用いて画像データを補正するステップは、シフト位置の画像データの階調を補正し、階調が補正されたシフト位置の画像データのヒストグラムを基準位置の画像データのヒストグラムと一致させる画像生成方法を提供する。
【発明の効果】
【００３５】
本発明によれば、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成する技術を提供することができる。
【図面の簡単な説明】
【００３６】
【図１】実施例１に係る撮像装置の構成を例示した図である。
【図２】実施例１に係る撮像装置で用いられる静止画像を生成するプログラムのＧＵＩ画面を例示する図である。
【図３】実施例１に係る撮像装置で用いられる静止画像を生成するプログラムの他のＧＵＩ画面を例示する図である。
【図４】実施例１に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図５】実施例１に係る撮像装置で取得される基準画像と補正対象画像のヒストグラムについて説明するための図である。
【図６】実施例１に係る撮像装置で取得される基準画像と補正対象画像からルックアップテーブルを作成する方法を説明するための図である。
【図７】実施例１に係る撮像装置で取得される基準画像と補正対象画像の他のヒストグラムについて説明するための図である。
【図８】実施例２に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図９】実施例２に係る撮像装置で作成される被写体毎のルックアップテーブルが表現する階調補正曲線を例示する図である。
【図１０】実施例３に係る撮像装置で用いられる褪色補正処理を含む画像生成処理のフローチャートである。
【図１１】実施例４に係る撮像装置の構成を例示した図である。
【図１２】従来技術に係る撮像装置の構成を例示した図である。
【図１３】従来技術に係る撮像装置の他の構成を例示した図である。
【図１４】従来技術に係る画素シフト技術を用いた撮像装置の構成を例示した図である。
【図１５】従来技術に係る画素シフト技術を用いた撮像装置が生成する蛍光画像について説明するため図である。
【図１６】従来技術に係る画素シフト技術を用いた撮像装置に含まれる撮像手段の相対位置とベイヤーパターンについて説明するための図である。
【図１７】図１６で例示される各相対位置で取得される蛍光画像を例示した図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら、各実施例について説明する。
【実施例１】
【００３８】
図１は、本実施例に係る撮像装置の構成を例示した図である。図１に例示される撮像装置１は、標本１１の像を形成する顕微鏡２と、顕微鏡２で形成された像を画像化する撮像装置本体２０と、撮像装置本体２０で生成された画像を表示するＰＣ４０と、を含んで構成されている。撮像装置１は、画素シフト技術を利用して、高い解像度の画像を生成することができる。
【００３９】
顕微鏡２は、蛍光観察を含む各種検鏡法を切替えて利用することのできる顕微鏡であり、検鏡法に応じて使用される、透過照明用の光源３、落射照明用の光源４、キューブユニット１５等を含んでいる。
【００４０】
顕微鏡２の透過照明光３ａ上には、光源３から標本１１に向かって順に、コレクタレンズ５、ミラー６、窓レンズ７、視野絞り（ＦＳ）８、開口絞り（ＡＳ）９、コンデンサレンズ１０を有している。一方、落射照明光路４ａ上には、コレクタレンズや、図示しないＡＳ及びＦＳ、対物レンズ１２に加え、交換可能なキューブユニット１５などを有している。また、観察光路Ｓ上には、標本１１側から順に、対物レンズ１２、キューブユニット１５、結像レンズ１３、ポート１４を有している。
【００４１】
照明光路や観察光路には、さらに、各種フィルタや偏光素子等の光学素子を含んでもよい。また、対物レンズ１２やキューブユニット１５は、観察倍率や検鏡法に応じて切り替え可能に配置されている。
【００４２】
撮像装置本体２０は、標本１１からの光を電気信号に光電変換する撮像素子２１と、撮像素子２１の駆動を制御する撮像素子駆動部２２と、撮像素子２１から出力される電気信号を映像信号に変換する前置処理部２３と、映像信号をデジタル信号（画像データ）に変換するＡ／Ｄ変換部２４と、信号処理部２５と、バス３０と、制御部３１と、ＰＣ４０と接続されたＩ／Ｆ部３２と、撮像素子２１を変位させる素子ずらし手段３３と、を含んで構成されている。また、信号処理部２５は、合成処理部２６と、ベイヤー補間処理部２７と、色補正処理部２８と、階調補正処理部２９と、を含んでいる。
【００４３】
撮像素子２１は、それぞれ独立に光量を検出できる複数の画素部を有するＣＣＤなどの固体撮像素子であり、標本１１の像を撮像する撮像手段である。撮像素子２１の各画素部は、例えば、図１６（ａ）の初期画素位置７０１、初期画素位置７０２、初期画素位置７０３、初期画素位置７０４のような、ベイヤー配列に並べられている。また、素子ずらし手段３３は、標本１１の像に対する撮像素子２１の相対位置を変化させる画素シフト手段である。
【００４４】
撮像装置本体２０は、素子ずらし手段３３を用いて標本１１の像に対する撮像素子２１の相対位置を変化させて、撮像素子２１により複数の画像を取得する。そして、信号処理部２５により、取得された複数の画像を合成することで高い解像度の画像を生成する。
【００４５】
ＰＣ４０は、信号処理部４０ａと、操作部４１と、記録部４２と、表示部４９と、を含んで構成されている。信号処理部４０ａは、ＬＵＴ作成処理部４３と、褪色補正処理部４４と、合成処理部４５と、ベイヤー補間処理４６と、色補正処理部４７と、階調補正処理部４８と、を含み、ＰＣ４０上で動作するソフトウェアとして構成されているものとする。ただし、ＰＣ４０の代わりに専用装置が用いられても良く、その場合、信号処理部４０ａは、ハードウェアとして構成されてもよい。
【００４６】
信号処理部４０ａは、信号処理部２５と同様に、取得された複数の画像を合成することで高い解像度の画像を生成する機能を有し、通常、信号処理部２５とのいずれか一方が選択的に使用される。つまり、信号処理部２５は、撮像装置１の第１の信号処理部であり、信号処理部４０ａは第２の信号処理部である。
【００４７】
なお、後述するように、信号処理部４０ａは、異なる相対位置で取得された複数の画像の累積ヒストグラムを用いて、それらの画像の階調を補正し、その後、補正された画像を合成する。このため、信号処理部４０ａは、標本１１に含まれる蛍光色素の褪色が速い場合であっても、その影響を抑制して、生成された画像の画質を良好に維持する機能を有している点が、信号処理部２５と異なっている。
次に、本実施例に係る撮像装置１の作用について詳細に説明する。
【００４８】
ここでは、光源４として、水銀ランプ等からなり紫外線（ＵＶ）を励起光として射出する光源を用い、標本１１として、ＵＶ励起により４５０ｎｍ付近の波長をピークとする蛍光を生じさせる蛍光色素で染色された蛍光標本を用いた場合を例に説明する。従って、標本１１の像はほとんど青色一色で構成される。また、キューブユニット１５は、上記励起光及び蛍光の波長に合わせて構成された、ダイクロイックミラーや蛍光フィルタからなる蛍光キューブユニットである。
【００４９】
まず、落射照明用の光源４から射出された励起光は、コンデンサレンズを通過して、図示しないＦＳ、ＡＳを介してキューブユニット１５へ入射する。キューブユニット１５は、励起光に対して、標本１１に応じた励起波長の光を選択的に反射する励起フィルタとして機能する。そして、キューブユニット１５で反射された励起光は、対物レンズにより標本１１に照射される。
【００５０】
励起光が照射された標本１１では、標本１１に含まれる蛍光色素が励起され、励起光よりも長波長の蛍光が生じる。蛍光は、標本１１を反射した励起光とともに、対物レンズ１２を介して、キューブユニット１５へ入射する。この際、キューブユニット１５は、蛍光を透過し励起光を遮断する吸収フィルタとして機能する。このため、蛍光は、キューブユニット１５により励起光から分離され、結像レンズ１３を介して、ポート１４から撮像素子２１に向けて射出される。
【００５１】
ポート１４に接続された撮像装置本体２０内には、結像レンズ１３により標本１１の像が投影される位置に、撮像素子２１が配置されている。撮像素子２１は、撮像素子駆動部２２からの駆動信号に基づいた露光時間で駆動され、その間入力される蛍光（標本１１の像）を光電変換し、前置処理部２３へ電気信号を出力する。
【００５２】
電気信号が入力された前置処理部２３は、撮像素子駆動部２２からの制御パルスを受信し、電気信号を映像信号に変換してＡ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、撮像素子駆動部２２からのクロック信号に基づいて、映像信号をデジタル信号（画像データ）に変換して出力する。出力された画像データは、バス３０、記録部３１、Ｉ／Ｆ部３２を介して、ＰＣ４０へ出力され、動画像として表示部４９に表示される。
【００５３】
撮像装置１では、操作部４１から入力されたユーザの指示により、静止画像を生成するプログラムが起動されると、例えば、図２に例示されるＧＵＩ画面５０が表示部４９に表示される。
【００５４】
ＧＵＩ画面５０は、静止画像を表示する静止画像領域５１と、静止画像の生成を開始させるボタン５２と、生成される画像の条件を入力する選択パネル５３から構成されている。選択パネル５３には、生成する静止画像のサイズを指定するリストボックス５４と、画像生成時に後述する褪色補正を行う否かを選択するラジオボタン５５と、が含まれている。
【００５５】
なお、プログラムのＧＵＩ画面は、特にこれに限定されない。例えば、ＧＵＩ画面は、図３に例示されるＧＵＩ画面５６であっても良い。ＧＵＩ画面５６は、選択パネル５３の代わりに選択パネル５７を有し、リストボックス５４及びラジオボタン５５の機能をリストボックス５８のみで実現している。
【００５６】
図２のリストボックス５４に例示される“６４０×４８０”または“１３８０×１０５０”は、撮像素子２１の画素数（解像度）以下のサイズを例示している。このため、“６４０×４８０”または“１３８０×１０５０”が選択された状態でボタン５２が押下されると、画素シフト技術を用いずに静止画像が生成されて、静止画像領域５１に表示される。
【００５７】
より具体的には、ユーザの指示は、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。制御部３１は、ユーザの指示に従って、Ａ／Ｄ変換部２４から出力される画像データを、そのままＰＣ４０の記録部４２に記録し、静止画像として静止画像領域５１に表示する。
【００５８】
一方、図２のリストボックス５４に例示される“４１４０×３１５０”は、撮像素子２１の画素数（解像度）を超えるサイズを例示している。なお、“４１４０×３１５０”を選択している時には、ラジオボタン５５が有効な状態になり、“通常”または“褪色補正”のいずれか一方を選択することができる。
【００５９】
“４１４０×３１５０”及び“通常”が選択された状態でボタン５２が押下されると、ユーザの指示は、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。そして、制御部３１は、画素シフト技術を用いて静止画像を生成し、静止画像領域５１に表示するように、動作する。
【００６０】
具体的には、素子ずらし手段３３は、図１６（ａ）に例示される９つの相対位置に順番に、撮像素子２１を変位させる。そして、撮像素子駆動部２２は、各相対位置で所定の露光時間ずつ撮像素子２１を駆動させ、前置処理部２３を介して、Ａ／Ｄ変換部２４に各相対位置の９つの画像データを出力させる。出力された相対位置の異なる９つの画像データは、褪色補正を行う必要がないため、信号処理部２５へ出力される。
【００６１】
信号処理部２５では、９つの画像データは、合成処理部２６により、図１６（ｂ）に例示されるようなベイヤーパターン７００を有する画像データ（ベイヤーＲＡＷデータ）に合成される。合成された画像データは、ベイヤー補間処理部２７によりＲＧＢ形式の画像データに変換され、色補正処理部２８により色変換マトリックスを用いて色調が補正される。そして、階調補正処理部２９によりガンマ補正などの出力装置に合わせた階調補正が行われてから、信号処理部２５から出力される。信号処理部２５から出力された画像データは、記録部４２に記録され、静止画像として静止画像領域５１に表示される。
【００６２】
一方、“通常”の代わりに“褪色補正”が選択された状態でボタン５２が押下されると、ユーザの指示は、同様に、操作部４１、Ｉ／Ｆ部３２を介して、制御部３１に入力される。そして、制御部３１は、画素シフト技術に加えて、後述する褪色補正処理を用いて、静止画像を生成し、静止画像領域５１に表示するように、動作する。
【００６３】
図４は、画素シフト技術とともに褪色補正処理を用いた画像生成処理のフローチャートである。以降では、図４を参照しながら、褪色補正処理を用いた画像生成処理について説明する。
まず、処理が開始されると、図１６（ａ）に例示される９つの相対位置で、標本１１の画像データが取得される。
【００６４】
つまり、制御部３１は、撮像素子駆動部２２を制御して、第１の相対位置Ｐｏｓ１で所定の露光時間だけ撮像素子２１を駆動させる。そして、出力された電気信号を前置処理部２３により映像信号に、さらに、Ａ／Ｄ変換部２４により画像データに変換する（ステップＳ１）。画像データは、褪色補正を行う必要があるため、ＰＣ４０へ出力される。具体的には、バス３０、制御部３１、Ｉ／Ｆ部３２を介して、記録部４２へ記録される。
【００６５】
制御部３１は、すべての相対位置での撮像が終了しているかを判断する（ステップＳ２）。終了していなければ、制御部３１は、素子ずらし手段３３により撮像素子２１を次の相対位置である第２の相対位置Ｐｏｓ２に変位させて（ステップＳ３）、標本１１を撮像する（ステップＳ１）。これを第９の相対位置Ｐｏｓ９まですべての相対位置で繰り返す。
次に、このようにして記録部４２に記録された画像データに対して、褪色補正処理が行われる。
【００６６】
本実施例に係る褪色補正処理は、画素シフト技術で用いられる複数の画像データについて階調に関するヒストグラムを作成し、そのヒストグラムを基づいて、各画像データの階調を補正する処理である。
【００６７】
この褪色補正処理では、褪色が生じない場合には取得される複数の画像データでヒストグラムの形状が同様となることを利用して、各画像データのヒストグラムの形状が一致するように、階調を補正する。つまり、褪色の影響をヒストグラムの変化として検出し、ヒストグラムの変化を補正することにより、褪色の影響を排除するものである。
【００６８】
なお、画素シフト技術で用いられる複数の画像データは、標本１１の像に対して異なる相対位置で取得されているため、各画像データのヒストグラムは、褪色が生じない場合であっても、厳密には一致しない。しかしながら、（ａ）相対位置の変化量が２／３ピッチ程度と画像全体に対して非常に小さいこと、（ｂ）ヒストグラムは画像全体の階調の傾向を示すものであること、などを考慮すると、褪色が生じない場合であれば、ヒストグラムの差異は、非常に小さく無視することができる。
【００６９】
褪色補正処理は、信号処理部４０ａで行われる。まず、９つの画像データから、第１の相対位置Ｐｏｓ１で取得された画像データを読み込み、基準画像として設定する（ステップＳ４）。なお、第１の相対位置Ｐｏｓ１は基準位置であり、それ以外の相対位置は基準位置から変位したシフト位置である。褪色補正処理は、後述するように、基準画像と同程度の褪色状態に各画像データを補正する。このため、基準画像は、最も褪色が少ない画像データであることが望ましい。従って、ここでは、最初に取得されているため、蛍光色素が最も褪色していないと考えられる第１の相対位置Ｐｏｓ１で取得された画像データを基準画像に設定する。ただし、基準画像は、必ずしも第１の相対位置Ｐｏｓ１で取得された画像には限られない。十分な褪色補正が行われる限り、任意の画像データを選択しても良い。
【００７０】
次に、基準画像の累積ヒストグラムを作成する（ステップＳ５）。累積ヒストグラムは、横軸を階調（濃度、光量）、縦軸を累積出現頻度とした、階調に関する累積ヒストグラムであり、基準画像のＲＧＢ成分別に作成する。
【００７１】
さらに、基準画像を除く８つの、階調を補正する画像データ（以降、補正対象画像と記す。）から、１つの補正対象画像を選択し（ステップＳ６）、階調（濃度）に関する累積ヒストグラムをＲＧＢ別に作成する（ステップＳ７）。
【００７２】
図５（ａ）は、基準画像のヒストグラムであり、図５（ｂ）は、補正対象画像のヒストグラムである。それぞれ、ステップＳ５、ステップＳ７で作成される累積ヒストグラムをヒストグラムとして表現したものである。
【００７３】
図５（ａ）及び図５（ｂ）に例示されるように、赤色（Ｒ）のヒストグラムＲ１及びヒストグラムＲ２と、緑色（Ｇ）のヒストグラムＧ１及びヒストグラムＧ２は、１つのピークしか持たない。これに対して、青色（Ｂ）のヒストグラムＢ１及びヒストグラムＢ２は、２つのピークを持っている。これは、標本１１から生じる蛍光がほとんど青色で構成されているためである。つまり、ヒストグラムＲ１、ヒストグラムＲ２、ヒストグラムＧ１及びヒストグラムＧ２は、ほとんど背景光により構成されるため、背景光のピークしか有さず、ヒストグラムＢ１及びヒストグラムＢ２は、背景光及び蛍光により構成されるため、背景光のピークと蛍光のピークを有するからである。
【００７４】
また、図６（ａ）は、図５（ａ）のヒストグラムＢ１であり、図６（ｂ）は、図５（ｂ）ヒストグラムＢ２である。図６（ｃ）は、図６（ａ）に例示されるヒストグラムＢ１の累積ヒストグラムＢＣ１であり、図６（ｄ）は、図６（ｂ）に例示されるヒストグラムＢ２の累積ヒストグラムＢＣ２である。
【００７５】
図６（ａ）及び図６（ｂ）を比較すると、低階調領域に位置する背景光のピークは、ほとんど変化していないが、ヒストグラムＢ２の蛍光のピークは、褪色が進んだことにより、ヒストグラムＢ１の蛍光のピークに比べて低階調側に移動している。
【００７６】
そこで、このような褪色の影響により生じるヒストグラムの変化を補正するため、基準画像の累積ヒストグラムと補正対象画像の累積ヒストグラムに基づいて、補正対象画像の累積ヒストグラムを、基準画像の累積ヒストグラムに変換するルックアップテーブルを作成する（ステップＳ８）。つまり、そのルックアップテーブルを用いて階調補正された後の補正対象画像の累積ヒストグラムが、基準画像の累積ヒストグラムと一致するようなルックアップテーブルを作成する。ルックアップテーブルは、ＲＧＢ別に作成する。
【００７７】
具体的には、基準画像の階調（濃度）をＩＯＵＴとし、基準画像の累積頻度をＳＯＵＴ（ＩＯＵＴ）とし、補正対象画像の階調（濃度）をＩＩＮとし、基準画像の累積頻度をＳＩＮ（ＩＩＮ）とし、ルックアップテーブルが有する入出力関係をＬＵＴとするとき、ルックアップテーブルは、以下の関係式（１）を満たす基準画像の階調ＩＯＵＴと補正対象画像の階調ＩＩＮに対して、関係式（２）を満たす。
ＳＯＵＴ（ＩＯＵＴ）＝ＳＩＮ（ＩＩＮ） …（１）
ＩＯＵＴ＝ＬＵＴ［ＩＩＮ］ …（２）
【００７８】
これにより、例えば、青色に関しては、基準画像の累積ヒストグラムＢＣ１及び補正対象画像の累積ヒストグラムＢＣ２から、図６（ｅ）に例示されるような、階調補正曲線Ｌ１で表現される入出力関係を有するルックアップテーブルが作成される。
【００７９】
蛍光が含まれる色のヒストグラムは、階調補正曲線Ｌ１のように、低階調領域では入出力比がほぼ１の関係を示す直線状となり、中階調領域から高階調領域では傾きが増加する曲線状となる。これは、褪色の影響がほとんど生じない背景光は蛍光に比べて暗いため低階調側に位置し、蛍光は比較的高階調側に位置しているためである。蛍光が位置する高階調側で入出力比を１以上にすることで褪色による階調の低下を補正することが可能となる。
なお、上述した累積ヒストグラム作成処理、及び、ルックアップテーブル作成処理は、いずれもＬＵＴ作成処理部４３で行われる。
【００８０】
褪色補正処理部４４では、ＬＵＴ作成処理部４３でＲＧＢ別に作成されたルックアップテーブルを用いて、補正対象画像の階調がＲＧＢ別に補正される（ステップＳ９）。これにより、補正対象画像は、基準画像と同程度の褪色状態に補正される。
【００８１】
その後、基準画像を除く８つすべての補正対象画像の階調補正が終了しているかを判断する（ステップＳ１０）。終了していなければ、別の補正対象画像を選択し（ステップＳ６）、同様の処理を繰り返す。すべての補正対象画像の階調補正が終了すると、基準画像と階調補正後の補正対象画像が合成処理部４５へ出力される。
【００８２】
合成処理部４５では、入力された９つの画像データ（基準画像及び８つの階調補正後の補正対象画像）が、図１６（ｂ）に例示されるようなベイヤーパターン７００を有する画像データ（ベイヤーＲＡＷデータ）に合成される（ステップＳ１１）。
【００８３】
合成された画像データは、ベイヤー補間処理部４６によりＲＧＢ形式の画像データに変換され（ステップＳ１２）、色補正処理部４７により色変換マトリックスを用いて色調が補正され（ステップＳ１３）、階調補正処理部４８によりガンマ補正などの出力装置に合わせた階調補正が行われる（ステップＳ１４）。そして、すべての処理が終了した後、画像データは記録部４２に記録され、表示部４９を介して、静止画像として静止画像領域５１に表示される。このようにして表示された画像では、蛍光標本を画素シフト技術で画像化したときに生じるブロック状の模様は抑制されるため、良好な画質と高解像度が実現される。
【００８４】
以上、本実施例に係る撮像装置１及び画像生成方法によれば、画素シフト技術で用いられる相対位置の異なる複数の画像間に生じる褪色状態の違い、つまり、画像の明るさの違いを、ヒストグラムを用いて補正することができる。これにより、明るさの異なる画像が合成されることにより生じるブロック状の模様が抑制されるため、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。
【００８５】
なお、上述した褪色補正処理では、累積ヒストグラムを使用してルックアップテーブルを作成したが、特にこれに限られない。累積ヒストグラムの代わりにヒストグラムを使用してルックアップテーブルを作成してもよい。
【００８６】
また、上述した褪色補正処理では、累積ヒストグラム及びルックアップテーブルをＲＧＢ別に作成する例を示したが、特にこれに限られない。ＲＧＢ別に作成することなく、１画像毎に、１つの累積ヒストグラムと１つのルックアップテーブルを作成してもよい。
【００８７】
通常、背景光や蛍光のピーク位置はＲＧＢ毎に異なるため、１画像に対して１つのヒストグラムを作成すると、図７（ａ）に例示されるヒストグラムＳ１のようなヒストグラムが作成される。これを利用してルックアップテーブルを作成し階調を補正すると、ＲＧＢ毎に異なる階調のスケールが考慮されないため、補正により偽色が生じることがある。このため、図７（ｂ）に例示されるヒストグラムＳ２のように、背景光のピークが重なるように予めＲＧＢ間のスケールの関係を調整してヒストグラムを作成することが望ましい。これにより、１画像毎に、１つの累積ヒストグラムと１つのルックアップテーブルを使用した褪色補正が可能となり、且つ、偽色の発生も抑制できる。
【００８８】
また、上述した褪色補正処理では、ルックアップテーブルが有する入出力関係によらず、褪色補正処理部４４で階調補正が行われているが、必ずしも常に階調補正を行う必要はない。基準画像と補正対象画像の間で、階調分布の変化がほとんどない場合には、階調補正を省略してもよい。これにより、画像生成処理の高速化が図れる。
【００８９】
具体的には、例えば、撮像装置１に最適化された閾値をΔＩとするとき、ルックアップテーブルが上述した関係式（１）を満たす基準画像の階調ＩＯＵＴと補正対象画像の階調ＩＩＮに対して、上述した関係式（２）を満たし、さらに、以下の関係式（３）を満たす場合には、褪色補正処理部４４により階調補正を省略してもよい。
ＬＵＴ［ＩＩＮ］−ＩＩＮ≦｜ΔＩ｜ …（３）
【００９０】
また、上述した褪色補正処理では、ＬＵＴ作成処理部４３で、上述した関係式（１）及び関係式（２）を満たすルックアップテーブルを作成したが、特にこれに限られない。さらに、移動平均化処理などの階調補正曲線を補正する処理を行い、ルックアップテーブルが有する入出力関係を調整してもよい。
【００９１】
累積ヒストグラムを用いる場合、高階調になるほど誤差が累積される。このため、算出されるルックアップテーブルの値も、高階調になるほど計算誤差が大きくなり、補正精度が劣化する。しかしながら、移動平均化処理などを行うことでこのような計算誤差を減らすことができるため、より良好な階調補正を行うことができる。
【００９２】
なお、平均化処理により階調補正曲線を補正する代わり、ルックアップテーブルに含まれる複数の値から階調補正曲線を予測してもよい。その場合も、平均化処理と同様な効果が得られる。
【実施例２】
【００９３】
図８は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、被写体を識別する処理が追加され、被写体別に褪色補正処理が行われる点が、図４に例示される実施例１に係る画像生成処理と異なっている。
【００９４】
以降では、実施例１に係る画像生成処理との相違点を中心に、図８を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例１に係る撮像装置１の構成と同様である。
【００９５】
本実施例に係る画像生成処理では、各相対位置で画像データが取得された後に、取得された各画像データに対して被写体識別処理が行われる（ステップＳ１５）。被写体識別処理は、画像データ中の背景領域と各被写体（例えば、細胞領域）を識別する処理であり、例えば、入力された画像データに対して、二値化処理と特徴量算出処理を組み合わせて行う。以降では、背景領域も被写体の一つとみなす。
【００９６】
すべての相対位置での画像取得が終了後、識別された被写体から一つの被写体が選択される（ステップＳ１６）。そして、実施例１に係る画像生成処理と同様の方法により、各補正対象画像の階調が補正される（ステップＳ４からステップＳ１０）。
【００９７】
ただし、本実施例に係る画像生成処理では、補正対象画像の階調補正を選択された被写体部分に対してのみ実施する点が、実施例１に係る画像生成処理と異なっている。このため、基準画像の累積ヒストグラム作成処理（ステップＳ５）では、基準画像の選択された被写体部分の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理（ステップＳ７）では、補正対象画像の選択された被写体部分の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され（ステップＳ８）、補正対象画像の選択された被写体部分の階調が補正される（ステップＳ９）。
【００９８】
すべての補正対象画像に対して選択された被写体部分の階調補正が終了すると、すべての被写体部分の補正が終了しているかが判断される（ステップＳ１７）。終了していなければ、別の被写体が選択されて（ステップＳ１６）、同様の処理を繰り返す。
【００９９】
すべての補正対象画像に対して、すべての被写体部分の階調補正が終了すると、各被写体の階調が補正された９つの画像データは、実施例１に係る画像生成処理と同様の方法により合成され（ステップＳ１１）、処理される（ステップＳ１２、ステップＳ１３、ステップＳ１４）。
そして、すべての処理が終了した後、画像データは記録部４２に記録され、表示部４９に表示される。
【０１００】
図９は、被写体毎のルックアップテーブルが表現する階調補正曲線を例示している。階調補正曲線Ｌａ、階調補正曲線Ｌｂ、階調補正曲線Ｌｃは、同一の補正対象画像の異なる被写体に関する階調補正曲線である。
【０１０１】
このように、本実施例では、被写体毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、細胞の種類や部位の違いなどにより、被写体毎に異なる特性（つまり、累積ヒストグラムの形状及びその変化が異なる）を有する場合であっても、被写体毎に最適化されたルックアップテーブルを作成することができる。なお、画面上で注目している領域（関心領域）をＧＵＩを用いて指定し、その内側のみに褪色補正を施しても良い。関心領域の内側だけで褪色の速度が一致するように指定することで、補正の精度を高くすることができる。
【０１０２】
従って、本実施例では、異なる特性を有する被写体を含む標本１１であっても、相対位置の異なる複数の画像間、及び、画像内の被写体間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
【０１０３】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、被写体毎の特性が異なる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【実施例３】
【０１０４】
図１０は、画素シフト技術とともに褪色補正処理を用いた、本実施例に係る画像生成処理のフローチャートである。本実施例に係る画像生成処理は、１つの画像データから蛍光色素毎の画像データを生成するアンミキシング処理が追加され、蛍光色素別に画像データの褪色補正処理が行われる点が、図４に例示される実施例１に係る画像生成処理と異なっている。
【０１０５】
以降では、実施例１に係る画像生成処理との相違点を中心に、図１０を参照しながら、本実施例に係る画像生成処理について説明する。なお、本実施例に係る撮像装置の構成は、実施例１に係る撮像装置１の構成と同様である。
【０１０６】
本実施例に係る画像生成処理では、まず、最初に、蛍光情報記憶手段である記録部４２から、標本１１に含まれる蛍光色素から射出される蛍光の波長データを取得する（ステップＳ１８）。なお、記録部４２には、予め蛍光色素から射出される蛍光の波長データが記憶されている。
【０１０７】
そして、各相対位置で画像データが取得する（ステップＳ１）。その後、取得された画像データと波長データを用いてアンミキシング処理が行われる（ステップＳ１９）。
【０１０８】
アンミキシング処理は、蛍光色素毎に射出される蛍光の波長特性が異なることを利用して、蛍光色素毎に、その蛍光色素から射出された蛍光により画像データを生成する処理である。このため、蛍光色素毎に生成された複数の画像データが得られる。
【０１０９】
すべての相対位置での画像取得及びアンミキシング処理が終了後、標本１１に含まれる蛍光色素から一つの蛍光色素が選択される（ステップＳ２０）。これにより、選択された蛍光色素に関する９つの各相対位置の画像データが選択される。
【０１１０】
そして、この選択された蛍光色素に関する９つの画像データのうち、基準画像を除く８つの補正対象画像の階調が、実施例１に係る画像生成処理と同様の方法により、補正される（ステップＳ４からステップＳ１０）。つまり、基準画像の累積ヒストグラム作成処理（ステップＳ５）では、選択された蛍光色素の基準画像の累積ヒストグラムが作成され、補正対象画像の累積ヒストグラム作成処理（ステップＳ７）では、選択された蛍光色素の補正対象画像の累積ヒストグラムが作成される。そして、それらの累積ヒストグラムに基づいて、ルックアップテーブルが作成され（ステップＳ８）、選択された蛍光色素の補正対象画像の階調が補正される（ステップＳ９）。
【０１１１】
選択された蛍光色素のすべての補正対象画像の階調補正が終了すると、階調が補正された選択された蛍光色素の９つの画像データは、実施例１に係る画像生成処理と同様の方法により合成され（ステップＳ１１）、処理される（ステップＳ１２、ステップＳ１３、ステップＳ１４）。
【０１１２】
次に、すべての蛍光色素の補正対象画像の補正が終了しているかが判断される（ステップＳ２１）。終了していなければ、別の蛍光色素が選択されて（ステップＳ２０）、新たに選択された蛍光色素に関する９つの各相対位置の画像データが選択される。以降、同様の処理を繰り返す。
【０１１３】
そして、すべての蛍光色素の補正対象画像の補正が終了した後、蛍光色素毎に生成された画像データは記録部４２に記録され、蛍光色素毎の画像データが互いに重ね合わされた状態で（ステップＳ２２）、表示部４９に表示される。
【０１１４】
このように、本実施例では、蛍光色素毎に画像データが生成され、蛍光色素毎に累積ヒストグラム及びルックアップテーブルを作成する。このため、褪色の速さの異なる複数の蛍光色素を含む標本１１であっても、相対位置の異なる複数の画像間、及び、蛍光色素間に生じる褪色状態の違い、つまり、画像の明るさの違いを補正することができる。その結果、明るさの異なる画像が合成されることにより生じるブロック状の模様を抑制することができる。
【０１１５】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、本実施例では、褪色の速さの異なる複数の蛍光色素が含まれる場合であっても正確に褪色を補正することができるため、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【実施例４】
【０１１６】
図１１は、本実施例に係る撮像装置の構成を例示した図である。本実施例に係る撮像装置５９は、撮像装置１と、撮像装置本体と、ＰＣと、を含んで構成される点については、実施例１に係る撮像装置１と同様である。ただし、撮像装置５９では、褪色補正の有無に関わらず、画像生成に関するすべての処理が撮像装置本体６０で行われる点が異なっている。このため、撮像装置５９の撮像装置本体６０には、褪色補正処理を行うために、ＬＵＴ作成処理部６１と、褪色補正処理部６２が追加されている。一方、ＰＣ７０は、図示しないが、操作部４１と、記録部４２と、表示部４９と、を含み、信号処理部４０ａを含まない。
【０１１７】
このように構成された撮像装置５９でも、撮像装置１と同様に、図４に例示される画像生成処理を行うことができる。また、図８に例示される被写体識別処理や図１０に例示されるアンミキシング処理を含む画像生成処理も実行可能である。
【０１１８】
以上、本実施例に係る撮像装置及び画像生成方法によれば、実施例１と同様に、画素シフト技術を用いて、高解像度で、且つ、画質の良好な蛍光画像を生成することができる。また、被写体識別処理やアンミキシング処理を行うことで、実施例２または実施例３と同様に、高解像度で、且つ、画質のより良好な蛍光画像を生成することができる。
【０１１９】
なお、実施例１から実施例４では、撮像装置は、顕微鏡と、撮像装置本体と、ＰＣと、をから構成される例を示したが、特にこれに限られない。例えば、撮像装置本体とＰＣを、同様の機能を実現する顕微鏡用デジタルとして構成してもよい。また、顕微鏡と撮像装置本体とＰＣを、つまり、撮像装置全体を、同様の機能を実現するデジタルカメラとして構成してもよい。
【符号の説明】
【０１２０】
１，５９…撮像装置、２…顕微鏡、３，４…光源、３ａ…透過照明光路、４ａ…落射照明光路、５…コレクタレンズ、６…ミラー、７…窓レンズ、８…ＦＳ、９…ＡＳ、１０…コンデンサレンズ、１１…標本、１２…対物レンズ、１３…結像レンズ、１４…ポート、１５…キューブユニット、２０，６０…撮像装置本体、２１…撮像素子、２２…撮像素子駆動部、２３…前置処理部、２４…Ａ／Ｄ変換部、２５，４０ａ…信号処理部、２６，４５…合成処理部、２７，４６…ベイヤー補間処理部、２８，４７…色補正処理部、２９，４８…階調補正処理部、３０…バス、３１…制御部、３２…Ｉ／Ｆ部、３３…素子ずらし手段、４０，７０…ＰＣ、４１…操作部、４２…記録部、４３，６１…ＬＵＴ作成処理部、４４，６２…褪色補正処理部、４９…表示部、５０，５６…ＧＵＩ画面、５１…静止画像領域、５２…ボタン、５３，５７…選択パネル、５４，５８…リストボックス、５５…ラジオボタン、Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２，Ｓ１，Ｓ２…ヒストグラム、ＢＣ１，ＢＣ２…累積ヒストグラム、Ｌ１，Ｌ２，Ｌａ，Ｌｂ，Ｌｃ…階調補正曲線、Ｓ…観察光路
【特許請求の範囲】
【請求項１】
蛍光標本の像を撮像する撮像手段と、
前記像に対する前記撮像手段の相対位置を変化させる画素シフト手段と、
異なる前記相対位置で前記撮像手段により取得された複数の画像データのヒストグラムを用いて、前記画像データの階調を補正する画像補正手段と、
前記画像補正手段により補正された前記複数の前記画像データを合成する画像合成手段と、を含むことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像補正手段は、階調が補正された前記複数の前記画像データのヒストグラムを一致させることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記画像補正手段は、蛍光色素が褪色により劣化した、前記蛍光標本の一部分に対応する前記画像データを補正することを特徴とする撮像装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の撮像装置において、
前記画像補正手段は、
前記相対位置毎に前記画像データのヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、
前記ルックアップテーブルを用いて、前記画像データの階調を補正する階調補正手段と、を含むことを特徴とする撮像装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の撮像装置において、さらに、
前記画像データから、前記蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、
前記画像補正手段は、前記画像データの前記被写体毎のヒストグラムを用いて、前記画像データのうち前記被写体に該当する部分の階調を補正することを特徴とする撮像装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の撮像装置において、さらに、
前記画像データから、前記蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、
前記画像補正手段は、前記蛍光色素毎に生成された前記画像データのヒストグラムを用いて、前記画像データの階調を補正することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、さらに、
蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、
前記アンミキシング手段は、
前記蛍光情報記憶手段から、前記蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、
前記波長データを用いて、前記蛍光標本に含まれる蛍光色素毎の画像データを生成することを特徴とする撮像装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の撮像装置において、さらに、
前記蛍光標本を観察する顕微鏡を含み、
前記撮像手段は、前記顕微鏡を通過した前記蛍光標本の像を撮像することを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記撮像装置は、顕微鏡用デジタルカメラであることを特徴とする撮像装置。
【請求項１０】
蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる前記相対位置で前記蛍光標本の像を撮像し、画像データを取得するステップと、
前記相対位置毎に取得された前記画像データから、前記相対位置毎にヒストグラムを作成するステップと、
前記ヒストグラムを用いて、前記画像データの階調を補正するステップと、
階調が補正された前記画像データを合成するステップと、を含むことを特徴とする画像生成方法。
【請求項１１】
請求項１０に記載の画像生成方法において、
前記ヒストグラムを用いて前記画像データを補正するステップは、
前記ヒストグラムを比較して、ルックアップテーブルを作成するステップと、
前記ルックアップテーブルを用いて、前記画像データの階調を補正するステップと、を含むことを特徴とする画像生成方法。
【請求項１２】
請求項１１に記載の画像生成方法において、
前記複数の異なる相対位置は、１つの基準位置と、基準位置を除くシフト位置と、を含み、
前記ルックアップテーブルは、前記基準位置の前記画像データの前記ヒストグラムと、前記シフト位置の前記画像データの前記ヒストグラムを比較して、前記シフト位置毎に、作成されることを特徴とする画像生成方法。
【請求項１３】
請求項１２に記載の画像生成方法において、
前記ヒストグラムを用いて前記画像データを補正するステップは、前記シフト位置の前記画像データの階調を補正し、階調が補正された前記シフト位置の前記画像データのヒストグラムを前記基準位置の画像データのヒストグラムと一致させることを特徴とする画像生成方法。
【請求項１】
蛍光標本の像を撮像する撮像手段と、
前記像に対する前記撮像手段の相対位置を変化させる画素シフト手段と、
異なる前記相対位置で前記撮像手段により取得された複数の画像データのヒストグラムを用いて、前記画像データの階調を補正する画像補正手段と、
前記画像補正手段により補正された前記複数の前記画像データを合成する画像合成手段と、を含むことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像補正手段は、階調が補正された前記複数の前記画像データのヒストグラムを一致させることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記画像補正手段は、蛍光色素が褪色により劣化した、前記蛍光標本の一部分に対応する前記画像データを補正することを特徴とする撮像装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の撮像装置において、
前記画像補正手段は、
前記相対位置毎に前記画像データのヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムを比較して、ルックアップテーブルを作成するルックアップテーブル作成手段と、
前記ルックアップテーブルを用いて、前記画像データの階調を補正する階調補正手段と、を含むことを特徴とする撮像装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の撮像装置において、さらに、
前記画像データから、前記蛍光標本に含まれる各被写体を識別する被写体識別手段を含み、
前記画像補正手段は、前記画像データの前記被写体毎のヒストグラムを用いて、前記画像データのうち前記被写体に該当する部分の階調を補正することを特徴とする撮像装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の撮像装置において、さらに、
前記画像データから、前記蛍光標本に含まれる蛍光色素毎の画像データを生成するアンミキシング手段を含み、
前記画像補正手段は、前記蛍光色素毎に生成された前記画像データのヒストグラムを用いて、前記画像データの階調を補正することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、さらに、
蛍光色素から射出される蛍光の波長データが記憶される蛍光情報記憶手段、を含み、
前記アンミキシング手段は、
前記蛍光情報記憶手段から、前記蛍光標本に含まれる蛍光色素から射出される蛍光の波長データを取得し、
前記波長データを用いて、前記蛍光標本に含まれる蛍光色素毎の画像データを生成することを特徴とする撮像装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の撮像装置において、さらに、
前記蛍光標本を観察する顕微鏡を含み、
前記撮像手段は、前記顕微鏡を通過した前記蛍光標本の像を撮像することを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記撮像装置は、顕微鏡用デジタルカメラであることを特徴とする撮像装置。
【請求項１０】
蛍光標本の像に対する撮像手段の相対位置を変化させて、複数の異なる前記相対位置で前記蛍光標本の像を撮像し、画像データを取得するステップと、
前記相対位置毎に取得された前記画像データから、前記相対位置毎にヒストグラムを作成するステップと、
前記ヒストグラムを用いて、前記画像データの階調を補正するステップと、
階調が補正された前記画像データを合成するステップと、を含むことを特徴とする画像生成方法。
【請求項１１】
請求項１０に記載の画像生成方法において、
前記ヒストグラムを用いて前記画像データを補正するステップは、
前記ヒストグラムを比較して、ルックアップテーブルを作成するステップと、
前記ルックアップテーブルを用いて、前記画像データの階調を補正するステップと、を含むことを特徴とする画像生成方法。
【請求項１２】
請求項１１に記載の画像生成方法において、
前記複数の異なる相対位置は、１つの基準位置と、基準位置を除くシフト位置と、を含み、
前記ルックアップテーブルは、前記基準位置の前記画像データの前記ヒストグラムと、前記シフト位置の前記画像データの前記ヒストグラムを比較して、前記シフト位置毎に、作成されることを特徴とする画像生成方法。
【請求項１３】
請求項１２に記載の画像生成方法において、
前記ヒストグラムを用いて前記画像データを補正するステップは、前記シフト位置の前記画像データの階調を補正し、階調が補正された前記シフト位置の前記画像データのヒストグラムを前記基準位置の画像データのヒストグラムと一致させることを特徴とする画像生成方法。
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図１５】
【図１６】
【図１７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−９５０７３（Ｐ２０１１−９５０７３Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４８５６０（Ｐ２００９−２４８５６０）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]