情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
【課題】光学顕微鏡により得られる画像の色再現性を高精度に補正すること。
【解決手段】本発明に係る情報処理装置は、光学顕微鏡により得られる像を撮影することが可能な撮像手段２００により撮像された、校正用光源３１０により照射された校正用被写体３１２の画像の色情報と、撮像手段２００により撮像された撮影用光源３０１により照射された校正用被写体３１２の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、生成部により生成された色再現補正情報に基づいて、撮像手段２００により撮像された撮影用光源３０１により照射された対象被写体の画像の色情報を補正する補正部とを具備する。
【解決手段】本発明に係る情報処理装置は、光学顕微鏡により得られる像を撮影することが可能な撮像手段２００により撮像された、校正用光源３１０により照射された校正用被写体３１２の画像の色情報と、撮像手段２００により撮像された撮影用光源３０１により照射された校正用被写体３１２の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、生成部により生成された色再現補正情報に基づいて、撮像手段２００により撮像された撮影用光源３０１により照射された対象被写体の画像の色情報を補正する補正部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により得られた画像信号を処理することで、出力される画像の色再現性を補正する情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置に関する。
【背景技術】
【０００２】
従来、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物が撮影されるときには、得られる画像の色再現性を向上させるために、種々の色再現補正技術が用いられる。
【０００３】
例えば、特許文献１に記載の画像処理装置では、４色のカラーフィルタが設けられた撮像素子により出力される４種類の色信号が、３×４の行列で表されるリニアマトリクスに基づいて変換される。これにより色再現性が補正された３色のＲＧＢ信号が生成される。リニアマトリクスの係数は、標準光源として用いられるＤ６５により照明光が照射されたマクベスチャートに基づいて算出される（特許文献１の段落［０１０３］−［０１３３］、図１９等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６７４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで医療等の分野において、光学顕微鏡により得られる試料の像がデジタル撮影される場合、例えば特殊な分光特性を有する光源、あるいは特殊な分光感度特性を有するイメージセンサ等が用いられる場合がある。この場合、特許文献１に記載されているリニアマトリクスでは、撮像される画像の色再現性を高精度に補正することは困難である。
【０００６】
以上のような事情に鑑み、本発明の目的は、光学顕微鏡により得られる画像の色再現性を高精度に補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の生成部と、補正部とを具備する。
前記第１の生成部は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第１の色再現補正情報を生成する。
前記補正部は、前記第１の生成部により生成された前記第１の色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
【０００８】
この情報処理装置では、校正用光源により照射された校正用被写体の画像の色情報と、撮影用光源により照射された校正用被写体の画像の色情報とに基づいて第１の色再現補正情報が生成される。これにより例えば撮影用光源として特殊な分光特性を有する光源が用いられた場合でも、撮像された対象被写体の画像の色再現性を高精度に補正することができる。
【０００９】
前記情報処理装置は、第２の生成部をさらに具備してもよい。前記第２の生成部は、分光測定手段により生成された前記校正用光源により照射された前記校正用被写体の分光情報と、前記撮像手段により撮像された前記校正用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第２の色再現補正情報を生成する。
この場合、前記補正部は、前記第１の色再現補正情報と、前記第２の生成部により生成された前記第２の色再現補正情報とに基づいて、前記撮像手段により撮像された前記対象被写体の画像の色情報を補正してもよい。
【００１０】
この情報処理装置では、校正用光源により照射された校正用被写体の分光情報と、校正用光源により照射された校正用被写体の画像の色情報とに基づいて第２の色再現補正情報が生成される。これにより例えば特殊な分光感度特性を有するイメージセンサが用いられた場合でも、撮像された対象被写体の画像の色再現性を高精度に補正することができる。
【００１１】
前記第１の生成部は、周期的に前記第１の色再現補正情報を生成してもよい。
例えは、光学顕微鏡や撮像手段等が経年劣化することにより、撮像された画像の色再現性が低下する場合がある。しかしがなら周期的に第１の色再現補正情報が生成されることで、上記経年劣化による色再現性の低下を防止することができる。
【００１２】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報が補正される。
【００１３】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【００１４】
本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、記憶部と、生成部と、補正部とを具備する。
前記光学顕微鏡は、撮影用光源を有する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記記憶部は、前記撮像手段により撮像された校正用光源により照射された校正用被写体の画像の色情報を記憶する。
前記生成部は、前記記憶部により記憶された前記校正用光源により照射された前記校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記補正部は、前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
【００１５】
前記撮像手段は、前記撮影用光源により照射された前記校正用被写体の画像を周期的に撮像してもよい。この場合、前記生成部は、前記記憶された前記校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成してもよい。
【００１６】
本発明の他の形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、生成部と、補正部とを具備する。
前記光学顕微鏡は、撮影用光源と校正用光源とを有する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記生成部は、前記撮像手段により撮像された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記補正部は、前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
このように光学顕微鏡が撮影用光源と校正用光源との２つの光源を有していてもよい。
【００１７】
前記撮影手段は、前記校正用光源により照射された前記校正用被写体の画像と、前記撮影用光源により照射された前記校正用被写体の画像とを周期的にそれぞれ撮像してもよい。この場合、前記生成部は、前記撮像手段により周期的に撮影された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成してもよい。
【発明の効果】
【００１８】
以上のように、本発明によれば、光学顕微鏡により得られる画像の色再現性を高精度に補正することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。
【図２】図１に示す光学顕微鏡及び撮像装置の構成例を模式的に示す図である。
【図３】図１に示す撮像装置の構成例を示すブロック図である。
【図４】図３に示す撮像装置により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【図５】図１に示すＰＣの構成例を示すブロック図である。
【図６】図１に示すＰＣの処理を示すフローチャートである。
【図７】図６に示すセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理を説明するための図である。
【図８】図７に示す校正用光源として用いられるＤ６５光源（ハロゲンランプ）の分光特性を示すグラフである。
【図９】図７に示す撮影用光源として用いられる白色ＬＥＤの分光特性を示すグラフである。
【図１０】図６に示す色再現補正処理を説明するための図である。
【図１１】図６に示す色再現補正処理を説明するための図である。
【図１２】本発明の第２の実施形態に係る、光学顕微鏡を搭載した撮像装置による色再現補正処理を説明するための図である。
【図１３】その他の実施形態に係る撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図２は、図１に示す光学顕微鏡及び撮像装置の構成例を模式的に示す図である。この撮像システム４００は、光学顕微鏡３００と、撮像手段としての撮像装置２００と、情報処理装置としてのＰＣ（Personal Computer）１００とを有する。撮像装置２００としては、例えばデジタルスチルカメラ等が用いられる。
【００２２】
光学顕微鏡３００は、撮影用光源３０１と、照明光学系３０２及び結像光学系３０３と、照明光学系３０２及び結像光学系３０３の光路上に設けられた試料台３０４とを有する。試料台３０４上には対象被写体としての試料３０５が載置される観察領域３０６が設けられており、この観察領域３０６の像が生成される。
【００２３】
図２に示すように、本実施形態に係る光学顕微鏡３００は、透過照明型の顕微鏡である。また撮影用光源３０１としては、白色ＬＥＤ（Light Emitting Diode）が用いられる。しかしながら、撮影用光源３０１としてハロゲンランプ等の他の光源が用いられてもよい。
【００２４】
撮像装置２００は、イメージセンサ（撮像素子）２０１を有し、光学顕微鏡３００により得られた観察領域３０６の像を撮影し画像データとして保持することが可能である。この画像データがＰＣ１００により読込まれ、以下で説明するデータ処理が行なわれて出力される。本実施形態では、イメージセンサ２０１としてＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサが用いられる。しかしながらＣＣＤセンサ等が用いられてもよい。
【００２５】
ここで撮像装置２００及びＰＣ１００について詳しく説明する。
【００２６】
図３は、撮像装置２００の構成例を示すブロック図である。図４は、撮像装置２００により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【００２７】
撮像装置２００は、イメージセンサ２０１と、前処理回路２０２と、記録媒体インターフェイス（Ｉ／Ｆ）２０３と、記録媒体２０４とを有する。記録媒体２０４としては、例えばメモリカード、光ディスク、光磁気ディスク等が用いられる。
【００２８】
図示しないレンズにより、所定の撮影条件（絞り、ズーム、フォーカス等）で入射光が集光され、イメージセンサ２０１の撮像面に光学像が形成される。イメージセンサ２０１は、撮像面に形成された光学像の撮像結果を前処理回路２０２に出力する。本実施形態では、イメージセンサ２０１として、Ｇ市松センサが用いられるが、例えば３板センサ、白黒センサ、ラインセンサ、又はマルチセンサ等が用いられてもよい。
【００２９】
前処理回路２０２は、イメージセンサ２０１からの出力信号を前処理し、記録媒体Ｉ／Ｆ２０３を制御し、Ｒａｗデータファイルを記録媒体２０４に記録する。図４に示すように、Ｒａｗデータファイルには、Ｒａｗデータ２０５として、ＯＰＢ（Optical Black）等の無効画素の領域２０６、有効画素の領域２０７、及び実行画素の領域２０８を有する矩形状のＣＣＤイメージがＧ市松点順次で格納されている。
【００３０】
［情報処理装置の構成］
図５は、ＰＣ１００の構成例を示すブロック図である。ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部１０５、表示部１０６、記録媒体Ｉ／Ｆ１０７、プリンタインターフェースＩ／Ｆ１０８、及びこれらを互いに接続するバス１０９を備える。
【００３１】
ＣＰＵ１０１は、ＲＯＭ１０２等からオペレーティングシステム（ＯＳ）等のシステムプログラムを読出し、ＲＡＭ１０３上に確保される作業領域を用いて実行する。またＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４等から画像処理プログラム等を読み出し、ＲＡＭ１０３上に確保される作業領域、ＣＰＵ１０１に設けられる１次および／または２次キャッシュを用いて実行する。
【００３２】
ＣＰＵ１０１は、上記したＲａｗデータ２０５に対して、光学補正処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理等を含む一連の画質補正処理を行うことが可能である。また、ＣＰＵ１０１は、所定のデータ圧縮方式により輝度データおよび色データを圧縮して記録用画像データを形成し、記録用画像データを伸張することで、圧縮されたＲａｗデータ２０５を復元する。ここでＣＰＵ１０１は、処理実行部、進捗情報管理部、リソース情報取得部、処理優先度設定部、処理制御部等として機能する。また後述するセンサ補正テーブル及び光源補正テーブルをそれぞれ生成する第１及び第２の生成部、及び色再現補正処理を行う補正部として機能する。
【００３３】
ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムや処理に必要とされる各種のデータ等を記憶している。
【００３４】
ＲＡＭ１０３は、図示しない画像表示用のビデオＲＡＭ（ＶＲＡＭ）を含み、主に各種の処理が行なわれるための作業領域として利用される。
【００３５】
ＨＤＤ１０４は、ハードディスクを含み、ＣＰＵ１０１による制御に応じて、ハードディスクに対するデータの書込み／読出しを行う。
【００３６】
操作部１０５は、数字キー、文字キー、上下左右キー、各種のファンクションキー等を含んでおり、ユーザからの操作入力をＣＰＵ１０１に供給する。操作部１０５は、マウス等のポインティングデバイスを含んでもよい。この操作部１０５を介してユーザにより入力される操作入力に応じて、ＣＰＵ１０１が各部を制御し操作入力に応じた処理を行う。
【００３７】
表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示素子を有し、輝度データおよび色データから形成される画像信号に対応する画像を表示する。
【００３８】
記録媒体Ｉ／Ｆ１０７は、例えばメモリカード、光ディスク、光磁気ディスク等の記録媒体１１０に対するデータの書込み／読出しを行う。あるいは、記憶媒体Ｉ／Ｆ１０７及び記録媒体１１０として、ハードディスクを有するＨＤＤが用いられてもよい。
【００３９】
プリンタＩ／Ｆ１０８は、画像の印刷データ等をプリンタ１１１に出力する。
【００４０】
［情報処理装置の動作］
図６は、本実施形態に係る情報処理装置である、ＰＣ１００の処理を示すフローチャートである。ここでは撮像装置２００により生成された、試料３０５が配置された観察領域３０６の画像である試料画像のＲａｗデータファイルが、圧縮された状態でＰＣ１００のＨＤＤ１０４に記録されているものとする。
【００４１】
ＰＣ１００のＣＰＵ１０１は、ＨＤＤ１０４に記録されている試料画像のＲａｗデータファイルを伸張する。そして、Ｒａｗデータファイルに格納された試料画像のＲａｗデータ２０５を、伸張された状態でＲＡＭ１０３上の所定の格納領域に格納する。
【００４２】
ＣＰＵ１０１により、例えばユーザの指示や工場調整等により、あらかじめセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理が行われる。図７は、センサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理を説明するための図である。図７では、光学顕微鏡３００の全体図は省略されている。
【００４３】
［センサ色再現キャリブレーション処理］
図６に示すように、センサ色再現測定処理が行われる（ステップ１０１）。センサ色再現測定処理は、主に撮像装置２００が有するイメージセンサ２０１に依存した色再現補正テーブルを算出するための処理である。
【００４４】
図７（Ａ）に示すように、校正用光源３１０による照明光が照射された校正用被写体３１２の分光特性が、分光手段としての分光測定器３１１により測定される。本実施形態では、照明光が透過光として校正用被写体３１２に照射された際の、校正用被写体３１２の分光特性が測定される。
【００４５】
本実施形態では、校正用光源３１０としてＤ６５光源が用いられる。しかしながら、例えばＡ光源やＣ光源のように可視光領域のスペクトルが略完全に再現可能な光源であれば、他の光源が用いられてもよい。またＤ６５光源としてハロゲンランプが用いられるが、これに限られない。分光測定器３１１としては、分光光度計等の分光を測定可能な各種の装置を用いることが可能である。
【００４６】
校正用被写体３１２としては、例えば複数の校正用カラーフィルタが用いられる。例えばＲＧＢの各カラーフィルタや、ＣＭＹＫの各カラーフィルタ等を含む複数のカラーフィルタが用いられる。またはＲＧＢやＣＭＹＫ等のように色特性が規定されているものではない複数のカラーフィルタが用いられてもよい。あるいは透過光を照射することで色特性が再現できるのであれば、マクベスチャート等が用いられてもよい。
【００４７】
後に述べるように、いわゆる３Ｄ−ＬＵＴ補正が可能なような３次元ルックアップテーブルが作成される。そのために複数の校正用カラーフィルタの色の種類、及び色の数は、再現したい色空間に対し十分密となるように選択される。
【００４８】
分光測定器３１１により、校正用光源３１０のスペクトル分布が分光情報としてＰＣ１００に出力される。そしてその分光情報に基づいて、ＸＹＺ表色系で表現される分光色彩値ＸＹＺが算出される。ＸＹＺ表色系とは、ＣＩＥ（国際照明委員会）標準表色系として採用されているものであり、３刺激値ＸＹＺに基づく表色系である。分光色彩値ＸＹＺは、例えば等色関数を用いることで算出される。本実施形態では、ＰＣ１００により分光色彩値ＸＹＺが算出されるが、他の情報処理装置により分光色彩値ＸＹＺが算出されてもよい。
【００４９】
次に校正用光源３１０により照射された校正用被写体３１２が、本実施形態に係る撮像装置２００により撮影される。撮影された校正用被写体３１２の画像のＲａｗデータがＰＣ１００に出力され、欠陥補正やＲａｗＮＲ（ノイズリダクション）等の光学補正処理が行われる。
【００５０】
ＣＰＵ１０１は、校正用被写体３１２の画像のＲａｗデータに対して、デモザイク処理を行う。デモザイク処理とは、Ｇ市松点順次で格納された校正用被写体３１２の画像のＲａｗデータに対してＲＧＢを同時化する処理である。デモザイク処理において同時化されたＲＧＢの値に基づいて、ＸＹＺ表色系で表現される校正用光源色彩値ＸＹＺが色情報として算出される。校正用光源色彩値ＸＹＺは、例えばＩＥＣ６１９６６−２−１に基づいて算出される。校正用光源色彩値ＸＹＺは、分光色彩値ＸＹＺに対比して、主にイメージセンサ２０１の色再現特性が数式で表現しきれない成分として重畳された値となる。
【００５１】
校正用光源色彩値ＸＹＺは、複数の校正用カラーフィルタごとに算出され、これら校正用光源色彩値ＸＹＺを、対応する分光色彩値ＸＹＺに変換する写像Ａが算出される。この写像Ａは、第２の色再現補正情報としてのセンサ補正情報に対応するものであり、センサ補正テーブルとして、ＰＣ１００の記憶部としてのＲＯＭ１０２やＨＤＤ１０４等に記憶される（ステップ１０２）。センサ補正テーブルは、３次元のルックアップテーブルとして記憶される。
【００５２】
また校正用光源色彩値ＸＹＺも、対応する校正用カラーフィルタの情報と紐づけられてＰＣ１００のＲＯＭ１０２等に記憶される。
【００５３】
なお本実施形態では、分光測定器３１１を用いて分光色彩値ＸＹＺを算出する処理、及び分光色彩値ＸＹＺと比較される校正用光源色彩値ＸＹＺを算出する処理は、拡大光学系ではなく、通常の光学系において行われる。一方、ＰＣ１００に記憶される校正用光源色彩値ＸＹＺは、光学顕微鏡３００により得られる校正用被写体３１２の象が撮像されることで算出される。この際には、光学顕微鏡３００に校正用光源３１０が取り付けられて、校正用被写体３１２が撮影される。校正用被写体３１２は、例えば試料３０５を保持するために用いられるスライドガラスに設けられて撮影される。しかしながら、分光色彩値ＸＹＺ、及びこれと比較される校正用光源色彩値ＸＹＺを算出する処理が、光学顕微鏡３００が有する拡大光学系において行われてもよい。
【００５４】
例えば、蛍光顕微鏡をはじめとした医療向けの光学顕微鏡では、自然界では存在しにくい色の色再現が重要になるため、一般的なデジタルスチルカメラのイメージセンサと違って、特殊な分光感度特性を有するイメージセンサが用いられる場合がある。また、イメージセンサに設けられるカラーフィルタの塗りムラ等により、個々のイメージセンサで分光感度特性が異なる場合もある。このような場合においても、本実施形態に係るセンサ補正テーブルを用いることで、撮像される試料画像の色再現性を高精度に補正することができる。
【００５５】
また、分光色彩値ＸＹＺと、校正用被写体３１２が撮像されることで算出される校正用光源色彩値ＸＹＺとが比較されることでセンサ補正テーブルが作成される。従って校正用被写体３１２として、色特性が規定されていないカラーフィルタを用いることができる。
【００５６】
［光源色再現キャリブレーション処理］
図６に示すように、光源色再現測定処理が行われる（ステップ１０３）。光源色再現測定処理は、主に光学顕微鏡３００が有する撮影用光源３０１（白色ＬＥＤ）に依存した色再現補正テーブルを算出するための処理である。
【００５７】
図７（Ｂ）に示すように、上記センサ色再現キャリブレーション処理で用いられた複数の校正用カラーフィルタが、光学顕微鏡３００の有する拡大光学系において、撮像装置２００により撮影される。校正用カラーフィルタには、光学顕微鏡３００が有する撮影用光源３０１である白色ＬＥＤによる照明光が照射される。図７（Ｂ）には、撮影用光源３０１が、色再現補正処理の対象となる光源として図示されている。
【００５８】
撮影用光源３０１を用いて撮影された校正用被写体３１２の画像のＲａｗデータがＰＣ１００に出力され、欠陥補正やＲａｗＮＲ等の光学補正処理が行われる。ＣＰＵ１０１により、校正用被写体の画像のＲａｗデータに対してデモザイク処理が行われＲＧＢが同時化される。同時化されたＲＧＢの値に基づいて、ＸＹＺ表色系で表現される撮影用光源色彩値ＸＹＺが色情報として算出される。撮影用光源色彩値ＸＹＺは、校正用光源色彩値ＸＹＺに対比して、主に撮影用光源３０１の色再現特性、及び光学顕微鏡３００の組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性が、数式で表現しきれない成分として重畳された値となる。
【００５９】
撮影用光源色彩値ＸＹＺは、複数の校正用カラーフィルタごとに算出される。これら撮影用光源色彩値ＸＹＺを、ＰＣ１００のＲＯＭ１０２等に記憶された各校正用カラーフィルタに対応する校正用光源色彩値ＸＹＺに変換する写像Ｂが算出される。この写像Ｂは、第１の色再現補正情報としての光源補正情報に対応するものであり、光源補正テーブルとしてＰＣ１００のＲＯＭ１０２等に記憶される（ステップ１０４）。光源補正テーブルは、３次元のルックアップテーブルとして、上記したセンサ補正テーブルと別個に記憶される。
【００６０】
図８は、本実施形態に係る校正用光源３１０として用いられるＤ６５光源（ハロゲンランプ）の分光特性を示すグラフである。図９は、本実施形態に係る撮影用光源３０１として用いられる白色ＬＥＤの分光特性を示すグラフである。
【００６１】
図８に示すように、ハロゲンランプの分光特性は、太陽光のスペクトル分布に近似しており、可視光領域のスペクトルが略完全に再現可能である。一方、図９に示すように白色ＬＥＤの分光特性は、約４３０ｎｍの波長の光（略青色の光）の強度や、約５００ｎｍの波長の光（略青緑色の光）の強度が、ハロゲンランプと比べて小さくなっている。このような特殊な分光特性を有する白色ＬＥＤが照明光として用いられると、撮像される試料画像の色再現性が低下してしまう。例えば、撮像された試料画像上において、ＨＥ染色等で青色に染色された細胞の核が適正に表現されないといった問題が起こる可能性がある。
【００６２】
しかしながら本実施形態では、上記光源補正テーブルが作成される。この光源補正テーブルが用いられることで、白色ＬＥＤにより照射されて撮像された試料画像の色再現性を、ハロゲンランプにより照射されて撮像された画像の色再現性と略同様となるように、高精度に補正することができる。従って、ハロゲンランプと比べて、コストが低く、耐久性のよい白色ＬＥＤを撮影用光源３０１として用いることができる。
【００６３】
また、サイズの大きい画像を撮像するために、有効領域が大きいＣＭＯＳセンサが用いられる場合がある。ローディングシャッタ方式のＣＭＯＳセンサにはメカニカルシャッタが設けられており、メカニカルシャッタの動作速度に依存して撮影速度が定まる。従ってメカニカルシャッタの動作速度よりも、撮影速度を速くすることはできない。しかしながら撮影用光源として白色ＬＥＤが使用可能な場合、フラッシュ撮影が可能となるので、メカニカルシャッタを有さない構成が可能となる。これにより撮影速度を白色ＬＥＤのフラッシュ速度まで向上させることが可能となる。
【００６４】
またフラッシュ撮影が可能な白色ＬＥＤが使用可能であることにより、照明光の照射による試料３０５の劣化を抑えることができる。
【００６５】
図７（Ａ）に示すセンサ色再現キャリブレーションは、主に工場調整時に、校正用光源３１０を用いて行われる。一方、光源色再現キャリブレーションは、主に光学顕微鏡３００により得られた試料３０５の像が撮影されるときに行われる。例えば試料３０５の象が撮像されるごとに光源色再現キャリブレーショ処理が行われることで、周期的に光源補正テーブルが作成されてもよい。あるいは、所定の回数の撮影ごと、または所定の期間ごとに、周期的に光源補正テーブルが作成されてもよい。
【００６６】
例えば、光学顕微鏡３００が有する撮影用光源３０１や光学系等、あるいは撮像装置２００のイメージセンサ２０１等が経年劣化することにより、撮像される試料画像の色再現性が低下する場合がある。しかしながら、上記したように周期的に校正用被写体３１２が撮像され、周期的に光源補正テーブルが作成されることで、経年劣化による色再現性の低下を防止することができる。また光源色再現キャリブレーション処理の頻度と、センサ色再現キャリブレーション処理の頻度とをそれぞれ個別に設定することができるので、精度及び自由度の高い色再現補正が可能となる。また撮影用光源３０１の温度特性にも対応できる。
【００６７】
図６のステップ１０５に示すように、ＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、欠陥補正やＲａｗＮＲ等の光学補正処理を行う。またＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、デモザイク処理を行い、ＲＧＢを同時化する（ステップ１０６）。
【００６８】
ＣＰＵ１０１は、ユーザに、例えばユーザインターフェイス等を介して、色再現補正処理をするか否かの指示を仰ぐ（ステップ１０７）。ユーザから色再現補正処理をする指示を受けると、ＣＰＵ１０１は、上記したセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理により作成された各補正テーブルに基づいて色再現補正処理を行う（ステップ１０８）。
【００６９】
［色再現補正処理］
図１０及び図１１は、色再現補正処理を説明するための図である。
【００７０】
ＣＰＵ１０１により、撮像された試料画像に対して、ＸＹＺ表色系で表現される撮像色彩値ＸＹＺが色情報として算出される。この撮像色彩値ＸＹＺが補正されることで、試料画像の色再現性が高精度に補正される。本実施形態では、センサ補正テーブル、光源補正テーブル、色彩値ＸＹＺ、及びｓＲＧＢ値が、それぞれ３３×３３×３３で分割された３次元空間上において表現されるものとして説明する。すなわち上記した各色彩値ＸＹＺは、３次元空間において、強度が０から３２の３３段階中の値としてプロットされる。
【００７１】
まず、ＣＰＵ１０１により、センサ補正テーブルが表す写像Ａと、光源補正テーブルが表す写像Ｂとが乗算される。すなわち、写像Ａに対する入力を乗算後の写像の入力とし、写像Ａの出力を写像Ｂの入力とした際の写像Ｂの出力を乗算後の写像の出力とするような、新たな写像を乗算後の写像として算出する。
【００７２】
次に、写像Ａと写像Ｂとが乗算された新たな写像に、写像Ｃが乗算される。写像Ｃは、ＸＹＺ表色系で表現される色彩値ＸＹＺを、ｓＲＧＢの値へと変換するリニアマトリクスの数式を写像に変換したものである。ｓＲＧＢとは、ＣＩＥにより策定された色空間の国際標準規格である。
【００７３】
写像Ａ、写像Ｂ、及び写像Ｃが乗算されることにより、イメージセンサ２０１及び撮影用光源３０１の色再現特性や、組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性が数式で表現できない成分として抽出された補正テーブルが生成される。この補正テーブルが、色再現補正テーブルとして用いられる。図１０には、この色再現補正テーブルにより表現される写像が、写像Ｄとして図示されている。
【００７４】
色再現補正テーブルに対応する３３×３３×３３に分割された３次元空間上において、各格子点を色再現補正テーブルの代表点とする。色再現補正テーブルにより、代表点からｓＲＧＢ値への逆マップが、代表点ごとに割り当てられる。
【００７５】
撮像された試料画像の、補正の対象となる注目画素Ｐが有する撮像色彩値ＸＹＺは、以下の式に示すようにｓＲＧＢへ変換される。すなわち３次元空間において注目画素Ｐに隣接する８個の代表点が選択される。各代表点には逆マップが割り当てられているので、各代表点に対応するｓＲＧＢ値が算出される。注目画素Ｐの空間上の位置に基づいて、各代表点に対応するｓＲＧＢ値により補間されることで、注目画素Ｐの撮影色彩値ＸＹＺに対応するｓＲＧＢ値が算出される。
【００７６】
【数１】
【００７７】
図１１を参照して、上記補間処理の具体的な例を説明する。例えば注目画素Ｐの撮像色彩値ＸＹＺの強度が、強度０から３２の３３段階中（３０．３，３０．４，３０．５）である場合、図１１に示すように、隣接する８個の代表点は以下の８点となる。
色彩値ＸＹＺの強度（３０，３０，３０）に対応する代表点ａ
色彩値ＸＹＺの強度（３１，３０，３０）に対応する代表点ｂ
色彩値ＸＹＺの強度（３０，３１，３０）に対応する代表点ｃ
色彩値ＸＹＺの強度（３１，３１，３０）に対応する代表点ｄ
色彩値ＸＹＺの強度（３０，３０，３１）に対応する代表点ｅ
色彩値ＸＹＺの強度（３１，３０，３１）に対応する代表点ｆ
色彩値ＸＹＺの強度（３１，３１，３１）に対応する代表点ｇ
色彩値ＸＹＺの強度（３１，３１，３１）に対応する代表点ｈ
【００７８】
注目画素Ｐに対応したｓＲＧＢの値は、以下の式で算出される。なお以下の式中、ＲＧＢ（３０，３０，３０）は、代表点ａに対応するｓＲＧＢ値を示している。その他の代表点についても同様である。
【００７９】
【数２】
【００８０】
ＣＰＵ１０１は、色再現補正テーブルにより算出されたｓＲＧＢ値を有する画素で、注目画素Ｐを上書きする。これによりイメージセンサ２０１及び撮影用光源３０１の色再現特性や、組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性等に起因する、数式で表現できない成分が補正される。この結果、撮像された試料画像の色再現性が高精度に補正される。
【００８１】
図１０に示すように、色再現補正テーブルにより算出された補正後の試料画像の画像データにガンマ補正処理が行われ、ＰＣ１００の表示部１０６等に表示されるための撮影画像の画像データが生成される。
【００８２】
図６のステップ１０７において、ユーザから色再現補正処理の指示がない場合、ステップ１０６でデモザイク処理された試料画像の画像データにガンマ補正処理が行われる。
【００８３】
ＣＰＵ１０１は、進捗フラグに従って未完の処理を判定する（ステップ１０９）。そして、未完の処理があれば、未完の処理がなくなるまで、処理を続ける（ステップ１１０）。本実施形態では、色再現補正後に行われる処理（上記ガンマ補正処理も含む）は、全てこの工程で処理される。ＣＰＵ１０１により、処理された試料画像のＲａｗデータ２０５がエンコードされて（ステップ１１１）、画像処理が終わる。
【００８４】
以上、本実施形態に係る情報処理装置による色再現補正処理においては、分光色彩値ＸＹＺと校正用光源色彩値ＸＹＺとに基づいて、センサ補正テーブルが生成される。また校正用光源色彩値ＸＹＺと撮影用光源色彩値ＸＹＺに基づいて、光源補正テーブルが生成される。そしてセンサ補正テーブル及び光源補正テーブルに基づいて、撮像される試料画像の色再現性が補正される。これにより、理論的に算出された数式やシミュレーション値に基づく色再現補正処理では実現できないような、高精度の色再現補正処理が可能となる。例えば本実施形態に係る色再現補正処理により、光学顕微鏡３００により得られる画像に特有のＬＳＢ（least significant bit）単位での精度要求に応えることができる。この結果、例えば試料画像の諧調性向上、解像感向上、あるいはダイナミックレンジ拡大等を図ることができる。
【００８５】
なお、本実施形態では色再現補正処理を行う情報処理装置としてＰＣ１００を例に挙げて説明した。しかしながら、例えば図１で示す撮像装置２００により、センサ色再現測定処理、光源色再現測定処理、又は色再現補正処理の一部あるいは全部の処理が行われてもよい。この場合、撮像装置２００及びＰＣ１００が本発明の実施形態に係る情報処理装置として用いられる。さらに、例えば光学顕微鏡の機能を有するスキャナ装置等が、図１で示す光学顕微鏡３００、撮像装置２００、ＰＣ１００の機能をあわせ持つ、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられてもよい。
【００８６】
＜第２の実施形態＞
本発明の第２の実施形態に係る、光学顕微鏡を搭載した撮像装置について説明する。これ以降の説明では、第１の実施形態で説明した撮像システム４００（光学顕微鏡を搭載した撮像装置）に用いられる各種の装置やデータ等と同様なものについては、その説明を省略又は簡略化する。
【００８７】
図１２は、本実施形態に係る、光学顕微鏡を搭載した撮像装置８００による色再現補正処理を説明するための図である。本実施形態に係る撮像装置８００は、校正用光源８１０及び撮影用光源８０１の２つの光源を有する光学顕微鏡を含む。なお、図１２では、光学顕微鏡の全体図は省略されている。
【００８８】
図１２（Ａ）に示すように、主に工場調整時において、センサ色再現キャリブレーション処理が行われ、写像Ａを表すセンサ補正テーブルが作成される。
【００８９】
図１２（Ｂ）に示すように、主に試料画像が撮像されるときに、光源色再現キャリブレーション処理が行われる。本実施形態では、光学顕微鏡が有する校正用光源８１０により照射された校正用被写体３１２が撮像され、校正用光源色彩値ＸＹＺが算出される。光学顕微鏡が有する撮影用光源８０１により照射された校正用被写体３１２が撮像され、撮影用光源色彩値ＸＹＺが算出される。算出された校正用光源色彩値ＸＹＺ及び撮影用光源色彩値ＸＹＺに基づいて、写像Ｂを表す光源補正テーブルが作成される。
【００９０】
光源色再現補正キャリブレーション処理は、例えば試料画像が撮像されるごとに、あるいは、所定の回数の撮影ごと、または所定の期間ごとに、周期的に行われてよい。そして周期的に光源補正テーブルが作成されてよい。
【００９１】
センサ色再現キャリブレーション処理において算出された分光色彩値ＸＹＺが、本実施形態に係る撮像装置８００が有するＲＯＭ等に記憶されてもよい。そして周期的に行われる光源色再現キャリブレーション処理において算出される校正用光源色彩値ＸＹＺと、記憶された分光色彩値ＸＹＺとに基づいて、周期的にセンサ補正テーブルが作成されてもよい。
【００９２】
上記した各実施形態に係る情報処理装置１００及び光学顕微鏡を搭載した撮像装置８００は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【００９３】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【００９４】
上記の各実施形態では、ＸＹＺ表色系が用いられてセンサ補正テーブル及び光源補正テーブルが作成された。しかしながら、例えばＲＧＢ表色系、ｓＲＧＢ表色系、Ｌ＊ａ＊ｂ＊表色系、又はＬ＊ｕ＊ｖ＊表色系等の他の表色系が用いられてもよい。
【００９５】
上記では、デモザイク処理の後、ガンマ補正処理の前に、色再現補正処理が行われた。しかしながらこれに限られず、デモザイク処理の前、あるいはガンマ補正処理の後に、色再現補正処理の全部あるいは一部が行われてもよい。その他、例えばＹＣｒＣｂ変換処理の後に、色再現補正処理が行われてもよい。色再現補正処理が行われる際に入力される入力値に対応するような写像Ａ及び写像Ｂを適宜算出し、各写像を表現するセンサ補正テーブル及び光源補正テーブルを適宜作成すればよい。
【００９６】
上記では、センサ補正テーブルにより表される写像Ａと、光源補正テーブルにより表される写像Ｂと、写像Ｃとが乗算されることで新たな写像Ｄが算出された。そしてその写像Ｄを表現する色再現補正テーブルが作成された。このように新たな写像Ｄにより、各写像による変換処理を合わせて行うことで、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷を軽減させることができ、一定の処理速度の向上を図ることができる。
【００９７】
しかしながら、各写像による変換処理が、異なるステップで個別に行われてもよい。また写像Ａ及び写像Ｂが共に生成されなくてもよい。例えば主にイメージセンサの分光感度特性に起因する色再現性を補正するための処理として他の補正処理が採用され、主に撮影用光源の分光特性に起因する色再現性を補正するための写像Ｂのみが生成される。そして写像Ｂを表す光源補正テーブルにより、撮像される試料画像の色再現性が高度に補正されてもよい。
【００９８】
上記では、色再現補正処理において、３３×３３×３３で分割された３次元空間が用いられた。しかしながら３３×３３×３３よりも大きい数、あるいは小さい数により分割された３次元空間が用いられてもよい。例えば２５６×２５６×２５６の数の代表点を有する補正テーブルが用いられてもよい。
【００９９】
上記では、センサ補正テーブル及び光源補正テーブルとして、ＸＹＺ表色系の色彩値から色彩値への写像Ａ及び写像Ｂをそれぞれ表す３次元ルックアップテーブルが用いられた。しかしながら、色相から色相への写像を表す２次元テーブルと、輝度の写像を表す１次元テーブルが組み合わされたものが、各補正テーブルとして用いられてもよい。またはＲＧＢからＲＧＢへの写像を表す３次元テーブルが用いられてもよいし、ＹＣｒＣｂからＹＣｒＣｂへの写像を表す３次元テーブルが用いられてもよい。あるいはＬａｂからＬａｂへの写像を表す３次元テーブルが用いられてもよい。さらにイメージセンサに設けられたカラーフィルタによっては、ＲＧｒＧｂＢからＲＧｒＧｂＢへの写像を表す４次元テーブルが用いられてもよい。その他、写像Ａ及び写像Ｂの変換処理が可能となる補正テーブルであれば、どのようなものが用いられもよい。また各補正テーブルは、圧縮されて記憶されてもよい。
【０１００】
上記した色再現補正処理を利用して、例えば特定の色域の強調、減衰、色ノイズ除去、色相廻り補正、高輝度色回り補正が行われてもよい。また上記した色再現補正処理を利用して、光学系、照明系の校正が行われてもよい。
【０１０１】
また、図１３に示すように、本発明の実施形態として用いられるスキャナ装置５００により生成された校正用被写体の画像や試料画像のＲａｗデータが、ＰＣ１００とは別のコンピュータやサーバ６００に記憶され、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバ６００にアクセスしてそのＲａｗデータを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【０１０２】
上記では、センサ色再現測定処理及び光源色再現測定処理が予め行われる場合について説明した。しかしながら、センサ色再現測定処理又は光源色再現測定処理の一部あるいは全部が、色再現補正処理と同時に行われてもよい。この場合、試料を保持するために用いられるスライドガラスに校正用被写体が設けられてもよい。
【０１０３】
上記では、校正用被写体として複数のカラーフィルタが用いられた。そしてカラーフィルタごとに、校正用光源色彩値ＸＹＺや撮像用光源色彩値ＸＹＺ等がプロットされることで、センサ補正テーブルや光源補正テーブルが作成された。しかしながら単一のカラーフィルタと光学的なカラーフィルタとを組み合わせたものが、校正用被写体として用いられてもよい。また、校正用光源や撮影用光源の色温度を変化させることで、各色彩値がプロットされてもよい。
【０１０４】
上記では、センサ補正テーブル及び光源補正テーブルについて、所定の個数の代表点が設定され、代表点ごとに逆マップが割り当てられた。しかしながら、撮影された試料画像の全画素に対応する逆マップを有するセンサ補正テーブル及び光源補正テーブルが作成されてもよい。また周辺画素と平滑化した上で、あるいはフーリエ変換し、数式、もしくは係数が用いられることで、センサ補正テーブル及び光源補正テーブルが作成されてもよい。また光源補正テーブルが、校正用光源により照射された校正用被写体の画像データ、及び撮影用光源により照射された校正用被写体の画像データの撮影データ対として記憶されてもよい。
【０１０５】
上記では、色再現補正テーブルの代表点にそれぞれ逆マップが割り当てられ、それら逆マップが用いられることで、試料画像の色情報が補正された。しかしながら、処理時間の短縮や演算量の軽減のために色再現処理に用いられる逆マップが間引かれてもよい。
【０１０６】
また、試料台のＺ位置、観察領域に対する撮影位置、照明光学系、結像光学系、試料、センサ、撮像装置、画像処理方法、温度、視野絞り、露光時間、アナログゲイン設定値、露出補正設定値、彩度設定値、あるいは倍率設定値等が変更されるたびにセンサ色再現キャリブレーション処理又は光源色再現キャリブレーション処理が行われ、センサ補正テーブル又は光源補正テーブルが作成されてもよい。
【０１０７】
撮像される試料画像を複数の領域で分割し、各分割領域に対応するセンサ補正テーブル及び光源補正テーブルが作成されてもよい。そして分割領域ごとに色再現補正処理が行われてもよい。これにより例えば６０×４０（Kpixel）のサイズからなる、大容量のデータ量を有する試料画像が補正される場合でも、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１０８】
上記では、分光測定器により、校正用光源により照射された校正用被写体の分光特性が測定された。しかしながら、理想の色再現特性を有する撮像光学系により校正用被写体が撮像されてもよい。そして得られた画像と、撮像装置により撮像された校正用被写体の画像とが比較されることでセンサ補正テーブルが作成されてもよい。
【０１０９】
上記では、図２に示す撮像装置２００により、校正用被写体の画像及び試料画像のＲａｗデータを含むＲａｗデータファイルが作成された。しかしながら、撮像装置２００により、Ｒａｗデータに画像処理が行われてもよいし、撮像装置２００を特定する情報や撮影条件を特定する情報等の各種のデータを含んだＲａｗデータファイルが作成されてもよい。また、それらの各種のデータが、センサ色再現測定処理、光源色再現測定処理、又は色再現補正処理のために用いられてもよい。
【０１１０】
また、上記で説明した、各画像のＲａｗデータ、各補正テーブル、又は色再現補正処理等が行われた試料画像が、各キャリブレーション処理時、又は色再現補正処理時に利用される統計データや校正データ等をとるために用いられてもよい。
【０１１１】
上記では、透過照明型の光学顕微鏡が用いられたが、これに限られず落射照明型の光学顕微鏡が用いられてもよい。
【符号の説明】
【０１１２】
１００…ＰＣ（情報処理装置）
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＨＤＤ
１１０…記録媒体
２００…撮像装置
３００…光学顕微鏡
３０１…撮影用光源
３０５…試料
３１０…校正用光源
３１１…分光測定器
３１２…校正用被写体
４００…撮像システム
５００…スキャナ装置
６００…サーバ
８００…光学顕微鏡を搭載した撮像装置
８０１…撮影用光源
８１０…校正用光源
【技術分野】
【０００１】
本発明は、撮像素子により得られた画像信号を処理することで、出力される画像の色再現性を補正する情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置に関する。
【背景技術】
【０００２】
従来、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物が撮影されるときには、得られる画像の色再現性を向上させるために、種々の色再現補正技術が用いられる。
【０００３】
例えば、特許文献１に記載の画像処理装置では、４色のカラーフィルタが設けられた撮像素子により出力される４種類の色信号が、３×４の行列で表されるリニアマトリクスに基づいて変換される。これにより色再現性が補正された３色のＲＧＢ信号が生成される。リニアマトリクスの係数は、標準光源として用いられるＤ６５により照明光が照射されたマクベスチャートに基づいて算出される（特許文献１の段落［０１０３］−［０１３３］、図１９等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６７４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで医療等の分野において、光学顕微鏡により得られる試料の像がデジタル撮影される場合、例えば特殊な分光特性を有する光源、あるいは特殊な分光感度特性を有するイメージセンサ等が用いられる場合がある。この場合、特許文献１に記載されているリニアマトリクスでは、撮像される画像の色再現性を高精度に補正することは困難である。
【０００６】
以上のような事情に鑑み、本発明の目的は、光学顕微鏡により得られる画像の色再現性を高精度に補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の生成部と、補正部とを具備する。
前記第１の生成部は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第１の色再現補正情報を生成する。
前記補正部は、前記第１の生成部により生成された前記第１の色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
【０００８】
この情報処理装置では、校正用光源により照射された校正用被写体の画像の色情報と、撮影用光源により照射された校正用被写体の画像の色情報とに基づいて第１の色再現補正情報が生成される。これにより例えば撮影用光源として特殊な分光特性を有する光源が用いられた場合でも、撮像された対象被写体の画像の色再現性を高精度に補正することができる。
【０００９】
前記情報処理装置は、第２の生成部をさらに具備してもよい。前記第２の生成部は、分光測定手段により生成された前記校正用光源により照射された前記校正用被写体の分光情報と、前記撮像手段により撮像された前記校正用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第２の色再現補正情報を生成する。
この場合、前記補正部は、前記第１の色再現補正情報と、前記第２の生成部により生成された前記第２の色再現補正情報とに基づいて、前記撮像手段により撮像された前記対象被写体の画像の色情報を補正してもよい。
【００１０】
この情報処理装置では、校正用光源により照射された校正用被写体の分光情報と、校正用光源により照射された校正用被写体の画像の色情報とに基づいて第２の色再現補正情報が生成される。これにより例えば特殊な分光感度特性を有するイメージセンサが用いられた場合でも、撮像された対象被写体の画像の色再現性を高精度に補正することができる。
【００１１】
前記第１の生成部は、周期的に前記第１の色再現補正情報を生成してもよい。
例えは、光学顕微鏡や撮像手段等が経年劣化することにより、撮像された画像の色再現性が低下する場合がある。しかしがなら周期的に第１の色再現補正情報が生成されることで、上記経年劣化による色再現性の低下を防止することができる。
【００１２】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報が補正される。
【００１３】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【００１４】
本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、記憶部と、生成部と、補正部とを具備する。
前記光学顕微鏡は、撮影用光源を有する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記記憶部は、前記撮像手段により撮像された校正用光源により照射された校正用被写体の画像の色情報を記憶する。
前記生成部は、前記記憶部により記憶された前記校正用光源により照射された前記校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記補正部は、前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
【００１５】
前記撮像手段は、前記撮影用光源により照射された前記校正用被写体の画像を周期的に撮像してもよい。この場合、前記生成部は、前記記憶された前記校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成してもよい。
【００１６】
本発明の他の形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、生成部と、補正部とを具備する。
前記光学顕微鏡は、撮影用光源と校正用光源とを有する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記生成部は、前記撮像手段により撮像された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する。
前記補正部は、前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する。
このように光学顕微鏡が撮影用光源と校正用光源との２つの光源を有していてもよい。
【００１７】
前記撮影手段は、前記校正用光源により照射された前記校正用被写体の画像と、前記撮影用光源により照射された前記校正用被写体の画像とを周期的にそれぞれ撮像してもよい。この場合、前記生成部は、前記撮像手段により周期的に撮影された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成してもよい。
【発明の効果】
【００１８】
以上のように、本発明によれば、光学顕微鏡により得られる画像の色再現性を高精度に補正することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。
【図２】図１に示す光学顕微鏡及び撮像装置の構成例を模式的に示す図である。
【図３】図１に示す撮像装置の構成例を示すブロック図である。
【図４】図３に示す撮像装置により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【図５】図１に示すＰＣの構成例を示すブロック図である。
【図６】図１に示すＰＣの処理を示すフローチャートである。
【図７】図６に示すセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理を説明するための図である。
【図８】図７に示す校正用光源として用いられるＤ６５光源（ハロゲンランプ）の分光特性を示すグラフである。
【図９】図７に示す撮影用光源として用いられる白色ＬＥＤの分光特性を示すグラフである。
【図１０】図６に示す色再現補正処理を説明するための図である。
【図１１】図６に示す色再現補正処理を説明するための図である。
【図１２】本発明の第２の実施形態に係る、光学顕微鏡を搭載した撮像装置による色再現補正処理を説明するための図である。
【図１３】その他の実施形態に係る撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図２は、図１に示す光学顕微鏡及び撮像装置の構成例を模式的に示す図である。この撮像システム４００は、光学顕微鏡３００と、撮像手段としての撮像装置２００と、情報処理装置としてのＰＣ（Personal Computer）１００とを有する。撮像装置２００としては、例えばデジタルスチルカメラ等が用いられる。
【００２２】
光学顕微鏡３００は、撮影用光源３０１と、照明光学系３０２及び結像光学系３０３と、照明光学系３０２及び結像光学系３０３の光路上に設けられた試料台３０４とを有する。試料台３０４上には対象被写体としての試料３０５が載置される観察領域３０６が設けられており、この観察領域３０６の像が生成される。
【００２３】
図２に示すように、本実施形態に係る光学顕微鏡３００は、透過照明型の顕微鏡である。また撮影用光源３０１としては、白色ＬＥＤ（Light Emitting Diode）が用いられる。しかしながら、撮影用光源３０１としてハロゲンランプ等の他の光源が用いられてもよい。
【００２４】
撮像装置２００は、イメージセンサ（撮像素子）２０１を有し、光学顕微鏡３００により得られた観察領域３０６の像を撮影し画像データとして保持することが可能である。この画像データがＰＣ１００により読込まれ、以下で説明するデータ処理が行なわれて出力される。本実施形態では、イメージセンサ２０１としてＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）センサが用いられる。しかしながらＣＣＤセンサ等が用いられてもよい。
【００２５】
ここで撮像装置２００及びＰＣ１００について詳しく説明する。
【００２６】
図３は、撮像装置２００の構成例を示すブロック図である。図４は、撮像装置２００により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【００２７】
撮像装置２００は、イメージセンサ２０１と、前処理回路２０２と、記録媒体インターフェイス（Ｉ／Ｆ）２０３と、記録媒体２０４とを有する。記録媒体２０４としては、例えばメモリカード、光ディスク、光磁気ディスク等が用いられる。
【００２８】
図示しないレンズにより、所定の撮影条件（絞り、ズーム、フォーカス等）で入射光が集光され、イメージセンサ２０１の撮像面に光学像が形成される。イメージセンサ２０１は、撮像面に形成された光学像の撮像結果を前処理回路２０２に出力する。本実施形態では、イメージセンサ２０１として、Ｇ市松センサが用いられるが、例えば３板センサ、白黒センサ、ラインセンサ、又はマルチセンサ等が用いられてもよい。
【００２９】
前処理回路２０２は、イメージセンサ２０１からの出力信号を前処理し、記録媒体Ｉ／Ｆ２０３を制御し、Ｒａｗデータファイルを記録媒体２０４に記録する。図４に示すように、Ｒａｗデータファイルには、Ｒａｗデータ２０５として、ＯＰＢ（Optical Black）等の無効画素の領域２０６、有効画素の領域２０７、及び実行画素の領域２０８を有する矩形状のＣＣＤイメージがＧ市松点順次で格納されている。
【００３０】
［情報処理装置の構成］
図５は、ＰＣ１００の構成例を示すブロック図である。ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部１０５、表示部１０６、記録媒体Ｉ／Ｆ１０７、プリンタインターフェースＩ／Ｆ１０８、及びこれらを互いに接続するバス１０９を備える。
【００３１】
ＣＰＵ１０１は、ＲＯＭ１０２等からオペレーティングシステム（ＯＳ）等のシステムプログラムを読出し、ＲＡＭ１０３上に確保される作業領域を用いて実行する。またＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４等から画像処理プログラム等を読み出し、ＲＡＭ１０３上に確保される作業領域、ＣＰＵ１０１に設けられる１次および／または２次キャッシュを用いて実行する。
【００３２】
ＣＰＵ１０１は、上記したＲａｗデータ２０５に対して、光学補正処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理等を含む一連の画質補正処理を行うことが可能である。また、ＣＰＵ１０１は、所定のデータ圧縮方式により輝度データおよび色データを圧縮して記録用画像データを形成し、記録用画像データを伸張することで、圧縮されたＲａｗデータ２０５を復元する。ここでＣＰＵ１０１は、処理実行部、進捗情報管理部、リソース情報取得部、処理優先度設定部、処理制御部等として機能する。また後述するセンサ補正テーブル及び光源補正テーブルをそれぞれ生成する第１及び第２の生成部、及び色再現補正処理を行う補正部として機能する。
【００３３】
ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムや処理に必要とされる各種のデータ等を記憶している。
【００３４】
ＲＡＭ１０３は、図示しない画像表示用のビデオＲＡＭ（ＶＲＡＭ）を含み、主に各種の処理が行なわれるための作業領域として利用される。
【００３５】
ＨＤＤ１０４は、ハードディスクを含み、ＣＰＵ１０１による制御に応じて、ハードディスクに対するデータの書込み／読出しを行う。
【００３６】
操作部１０５は、数字キー、文字キー、上下左右キー、各種のファンクションキー等を含んでおり、ユーザからの操作入力をＣＰＵ１０１に供給する。操作部１０５は、マウス等のポインティングデバイスを含んでもよい。この操作部１０５を介してユーザにより入力される操作入力に応じて、ＣＰＵ１０１が各部を制御し操作入力に応じた処理を行う。
【００３７】
表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示素子を有し、輝度データおよび色データから形成される画像信号に対応する画像を表示する。
【００３８】
記録媒体Ｉ／Ｆ１０７は、例えばメモリカード、光ディスク、光磁気ディスク等の記録媒体１１０に対するデータの書込み／読出しを行う。あるいは、記憶媒体Ｉ／Ｆ１０７及び記録媒体１１０として、ハードディスクを有するＨＤＤが用いられてもよい。
【００３９】
プリンタＩ／Ｆ１０８は、画像の印刷データ等をプリンタ１１１に出力する。
【００４０】
［情報処理装置の動作］
図６は、本実施形態に係る情報処理装置である、ＰＣ１００の処理を示すフローチャートである。ここでは撮像装置２００により生成された、試料３０５が配置された観察領域３０６の画像である試料画像のＲａｗデータファイルが、圧縮された状態でＰＣ１００のＨＤＤ１０４に記録されているものとする。
【００４１】
ＰＣ１００のＣＰＵ１０１は、ＨＤＤ１０４に記録されている試料画像のＲａｗデータファイルを伸張する。そして、Ｒａｗデータファイルに格納された試料画像のＲａｗデータ２０５を、伸張された状態でＲＡＭ１０３上の所定の格納領域に格納する。
【００４２】
ＣＰＵ１０１により、例えばユーザの指示や工場調整等により、あらかじめセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理が行われる。図７は、センサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理を説明するための図である。図７では、光学顕微鏡３００の全体図は省略されている。
【００４３】
［センサ色再現キャリブレーション処理］
図６に示すように、センサ色再現測定処理が行われる（ステップ１０１）。センサ色再現測定処理は、主に撮像装置２００が有するイメージセンサ２０１に依存した色再現補正テーブルを算出するための処理である。
【００４４】
図７（Ａ）に示すように、校正用光源３１０による照明光が照射された校正用被写体３１２の分光特性が、分光手段としての分光測定器３１１により測定される。本実施形態では、照明光が透過光として校正用被写体３１２に照射された際の、校正用被写体３１２の分光特性が測定される。
【００４５】
本実施形態では、校正用光源３１０としてＤ６５光源が用いられる。しかしながら、例えばＡ光源やＣ光源のように可視光領域のスペクトルが略完全に再現可能な光源であれば、他の光源が用いられてもよい。またＤ６５光源としてハロゲンランプが用いられるが、これに限られない。分光測定器３１１としては、分光光度計等の分光を測定可能な各種の装置を用いることが可能である。
【００４６】
校正用被写体３１２としては、例えば複数の校正用カラーフィルタが用いられる。例えばＲＧＢの各カラーフィルタや、ＣＭＹＫの各カラーフィルタ等を含む複数のカラーフィルタが用いられる。またはＲＧＢやＣＭＹＫ等のように色特性が規定されているものではない複数のカラーフィルタが用いられてもよい。あるいは透過光を照射することで色特性が再現できるのであれば、マクベスチャート等が用いられてもよい。
【００４７】
後に述べるように、いわゆる３Ｄ−ＬＵＴ補正が可能なような３次元ルックアップテーブルが作成される。そのために複数の校正用カラーフィルタの色の種類、及び色の数は、再現したい色空間に対し十分密となるように選択される。
【００４８】
分光測定器３１１により、校正用光源３１０のスペクトル分布が分光情報としてＰＣ１００に出力される。そしてその分光情報に基づいて、ＸＹＺ表色系で表現される分光色彩値ＸＹＺが算出される。ＸＹＺ表色系とは、ＣＩＥ（国際照明委員会）標準表色系として採用されているものであり、３刺激値ＸＹＺに基づく表色系である。分光色彩値ＸＹＺは、例えば等色関数を用いることで算出される。本実施形態では、ＰＣ１００により分光色彩値ＸＹＺが算出されるが、他の情報処理装置により分光色彩値ＸＹＺが算出されてもよい。
【００４９】
次に校正用光源３１０により照射された校正用被写体３１２が、本実施形態に係る撮像装置２００により撮影される。撮影された校正用被写体３１２の画像のＲａｗデータがＰＣ１００に出力され、欠陥補正やＲａｗＮＲ（ノイズリダクション）等の光学補正処理が行われる。
【００５０】
ＣＰＵ１０１は、校正用被写体３１２の画像のＲａｗデータに対して、デモザイク処理を行う。デモザイク処理とは、Ｇ市松点順次で格納された校正用被写体３１２の画像のＲａｗデータに対してＲＧＢを同時化する処理である。デモザイク処理において同時化されたＲＧＢの値に基づいて、ＸＹＺ表色系で表現される校正用光源色彩値ＸＹＺが色情報として算出される。校正用光源色彩値ＸＹＺは、例えばＩＥＣ６１９６６−２−１に基づいて算出される。校正用光源色彩値ＸＹＺは、分光色彩値ＸＹＺに対比して、主にイメージセンサ２０１の色再現特性が数式で表現しきれない成分として重畳された値となる。
【００５１】
校正用光源色彩値ＸＹＺは、複数の校正用カラーフィルタごとに算出され、これら校正用光源色彩値ＸＹＺを、対応する分光色彩値ＸＹＺに変換する写像Ａが算出される。この写像Ａは、第２の色再現補正情報としてのセンサ補正情報に対応するものであり、センサ補正テーブルとして、ＰＣ１００の記憶部としてのＲＯＭ１０２やＨＤＤ１０４等に記憶される（ステップ１０２）。センサ補正テーブルは、３次元のルックアップテーブルとして記憶される。
【００５２】
また校正用光源色彩値ＸＹＺも、対応する校正用カラーフィルタの情報と紐づけられてＰＣ１００のＲＯＭ１０２等に記憶される。
【００５３】
なお本実施形態では、分光測定器３１１を用いて分光色彩値ＸＹＺを算出する処理、及び分光色彩値ＸＹＺと比較される校正用光源色彩値ＸＹＺを算出する処理は、拡大光学系ではなく、通常の光学系において行われる。一方、ＰＣ１００に記憶される校正用光源色彩値ＸＹＺは、光学顕微鏡３００により得られる校正用被写体３１２の象が撮像されることで算出される。この際には、光学顕微鏡３００に校正用光源３１０が取り付けられて、校正用被写体３１２が撮影される。校正用被写体３１２は、例えば試料３０５を保持するために用いられるスライドガラスに設けられて撮影される。しかしながら、分光色彩値ＸＹＺ、及びこれと比較される校正用光源色彩値ＸＹＺを算出する処理が、光学顕微鏡３００が有する拡大光学系において行われてもよい。
【００５４】
例えば、蛍光顕微鏡をはじめとした医療向けの光学顕微鏡では、自然界では存在しにくい色の色再現が重要になるため、一般的なデジタルスチルカメラのイメージセンサと違って、特殊な分光感度特性を有するイメージセンサが用いられる場合がある。また、イメージセンサに設けられるカラーフィルタの塗りムラ等により、個々のイメージセンサで分光感度特性が異なる場合もある。このような場合においても、本実施形態に係るセンサ補正テーブルを用いることで、撮像される試料画像の色再現性を高精度に補正することができる。
【００５５】
また、分光色彩値ＸＹＺと、校正用被写体３１２が撮像されることで算出される校正用光源色彩値ＸＹＺとが比較されることでセンサ補正テーブルが作成される。従って校正用被写体３１２として、色特性が規定されていないカラーフィルタを用いることができる。
【００５６】
［光源色再現キャリブレーション処理］
図６に示すように、光源色再現測定処理が行われる（ステップ１０３）。光源色再現測定処理は、主に光学顕微鏡３００が有する撮影用光源３０１（白色ＬＥＤ）に依存した色再現補正テーブルを算出するための処理である。
【００５７】
図７（Ｂ）に示すように、上記センサ色再現キャリブレーション処理で用いられた複数の校正用カラーフィルタが、光学顕微鏡３００の有する拡大光学系において、撮像装置２００により撮影される。校正用カラーフィルタには、光学顕微鏡３００が有する撮影用光源３０１である白色ＬＥＤによる照明光が照射される。図７（Ｂ）には、撮影用光源３０１が、色再現補正処理の対象となる光源として図示されている。
【００５８】
撮影用光源３０１を用いて撮影された校正用被写体３１２の画像のＲａｗデータがＰＣ１００に出力され、欠陥補正やＲａｗＮＲ等の光学補正処理が行われる。ＣＰＵ１０１により、校正用被写体の画像のＲａｗデータに対してデモザイク処理が行われＲＧＢが同時化される。同時化されたＲＧＢの値に基づいて、ＸＹＺ表色系で表現される撮影用光源色彩値ＸＹＺが色情報として算出される。撮影用光源色彩値ＸＹＺは、校正用光源色彩値ＸＹＺに対比して、主に撮影用光源３０１の色再現特性、及び光学顕微鏡３００の組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性が、数式で表現しきれない成分として重畳された値となる。
【００５９】
撮影用光源色彩値ＸＹＺは、複数の校正用カラーフィルタごとに算出される。これら撮影用光源色彩値ＸＹＺを、ＰＣ１００のＲＯＭ１０２等に記憶された各校正用カラーフィルタに対応する校正用光源色彩値ＸＹＺに変換する写像Ｂが算出される。この写像Ｂは、第１の色再現補正情報としての光源補正情報に対応するものであり、光源補正テーブルとしてＰＣ１００のＲＯＭ１０２等に記憶される（ステップ１０４）。光源補正テーブルは、３次元のルックアップテーブルとして、上記したセンサ補正テーブルと別個に記憶される。
【００６０】
図８は、本実施形態に係る校正用光源３１０として用いられるＤ６５光源（ハロゲンランプ）の分光特性を示すグラフである。図９は、本実施形態に係る撮影用光源３０１として用いられる白色ＬＥＤの分光特性を示すグラフである。
【００６１】
図８に示すように、ハロゲンランプの分光特性は、太陽光のスペクトル分布に近似しており、可視光領域のスペクトルが略完全に再現可能である。一方、図９に示すように白色ＬＥＤの分光特性は、約４３０ｎｍの波長の光（略青色の光）の強度や、約５００ｎｍの波長の光（略青緑色の光）の強度が、ハロゲンランプと比べて小さくなっている。このような特殊な分光特性を有する白色ＬＥＤが照明光として用いられると、撮像される試料画像の色再現性が低下してしまう。例えば、撮像された試料画像上において、ＨＥ染色等で青色に染色された細胞の核が適正に表現されないといった問題が起こる可能性がある。
【００６２】
しかしながら本実施形態では、上記光源補正テーブルが作成される。この光源補正テーブルが用いられることで、白色ＬＥＤにより照射されて撮像された試料画像の色再現性を、ハロゲンランプにより照射されて撮像された画像の色再現性と略同様となるように、高精度に補正することができる。従って、ハロゲンランプと比べて、コストが低く、耐久性のよい白色ＬＥＤを撮影用光源３０１として用いることができる。
【００６３】
また、サイズの大きい画像を撮像するために、有効領域が大きいＣＭＯＳセンサが用いられる場合がある。ローディングシャッタ方式のＣＭＯＳセンサにはメカニカルシャッタが設けられており、メカニカルシャッタの動作速度に依存して撮影速度が定まる。従ってメカニカルシャッタの動作速度よりも、撮影速度を速くすることはできない。しかしながら撮影用光源として白色ＬＥＤが使用可能な場合、フラッシュ撮影が可能となるので、メカニカルシャッタを有さない構成が可能となる。これにより撮影速度を白色ＬＥＤのフラッシュ速度まで向上させることが可能となる。
【００６４】
またフラッシュ撮影が可能な白色ＬＥＤが使用可能であることにより、照明光の照射による試料３０５の劣化を抑えることができる。
【００６５】
図７（Ａ）に示すセンサ色再現キャリブレーションは、主に工場調整時に、校正用光源３１０を用いて行われる。一方、光源色再現キャリブレーションは、主に光学顕微鏡３００により得られた試料３０５の像が撮影されるときに行われる。例えば試料３０５の象が撮像されるごとに光源色再現キャリブレーショ処理が行われることで、周期的に光源補正テーブルが作成されてもよい。あるいは、所定の回数の撮影ごと、または所定の期間ごとに、周期的に光源補正テーブルが作成されてもよい。
【００６６】
例えば、光学顕微鏡３００が有する撮影用光源３０１や光学系等、あるいは撮像装置２００のイメージセンサ２０１等が経年劣化することにより、撮像される試料画像の色再現性が低下する場合がある。しかしながら、上記したように周期的に校正用被写体３１２が撮像され、周期的に光源補正テーブルが作成されることで、経年劣化による色再現性の低下を防止することができる。また光源色再現キャリブレーション処理の頻度と、センサ色再現キャリブレーション処理の頻度とをそれぞれ個別に設定することができるので、精度及び自由度の高い色再現補正が可能となる。また撮影用光源３０１の温度特性にも対応できる。
【００６７】
図６のステップ１０５に示すように、ＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、欠陥補正やＲａｗＮＲ等の光学補正処理を行う。またＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、デモザイク処理を行い、ＲＧＢを同時化する（ステップ１０６）。
【００６８】
ＣＰＵ１０１は、ユーザに、例えばユーザインターフェイス等を介して、色再現補正処理をするか否かの指示を仰ぐ（ステップ１０７）。ユーザから色再現補正処理をする指示を受けると、ＣＰＵ１０１は、上記したセンサ色再現キャリブレーション処理及び光源色再現キャリブレーション処理により作成された各補正テーブルに基づいて色再現補正処理を行う（ステップ１０８）。
【００６９】
［色再現補正処理］
図１０及び図１１は、色再現補正処理を説明するための図である。
【００７０】
ＣＰＵ１０１により、撮像された試料画像に対して、ＸＹＺ表色系で表現される撮像色彩値ＸＹＺが色情報として算出される。この撮像色彩値ＸＹＺが補正されることで、試料画像の色再現性が高精度に補正される。本実施形態では、センサ補正テーブル、光源補正テーブル、色彩値ＸＹＺ、及びｓＲＧＢ値が、それぞれ３３×３３×３３で分割された３次元空間上において表現されるものとして説明する。すなわち上記した各色彩値ＸＹＺは、３次元空間において、強度が０から３２の３３段階中の値としてプロットされる。
【００７１】
まず、ＣＰＵ１０１により、センサ補正テーブルが表す写像Ａと、光源補正テーブルが表す写像Ｂとが乗算される。すなわち、写像Ａに対する入力を乗算後の写像の入力とし、写像Ａの出力を写像Ｂの入力とした際の写像Ｂの出力を乗算後の写像の出力とするような、新たな写像を乗算後の写像として算出する。
【００７２】
次に、写像Ａと写像Ｂとが乗算された新たな写像に、写像Ｃが乗算される。写像Ｃは、ＸＹＺ表色系で表現される色彩値ＸＹＺを、ｓＲＧＢの値へと変換するリニアマトリクスの数式を写像に変換したものである。ｓＲＧＢとは、ＣＩＥにより策定された色空間の国際標準規格である。
【００７３】
写像Ａ、写像Ｂ、及び写像Ｃが乗算されることにより、イメージセンサ２０１及び撮影用光源３０１の色再現特性や、組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性が数式で表現できない成分として抽出された補正テーブルが生成される。この補正テーブルが、色再現補正テーブルとして用いられる。図１０には、この色再現補正テーブルにより表現される写像が、写像Ｄとして図示されている。
【００７４】
色再現補正テーブルに対応する３３×３３×３３に分割された３次元空間上において、各格子点を色再現補正テーブルの代表点とする。色再現補正テーブルにより、代表点からｓＲＧＢ値への逆マップが、代表点ごとに割り当てられる。
【００７５】
撮像された試料画像の、補正の対象となる注目画素Ｐが有する撮像色彩値ＸＹＺは、以下の式に示すようにｓＲＧＢへ変換される。すなわち３次元空間において注目画素Ｐに隣接する８個の代表点が選択される。各代表点には逆マップが割り当てられているので、各代表点に対応するｓＲＧＢ値が算出される。注目画素Ｐの空間上の位置に基づいて、各代表点に対応するｓＲＧＢ値により補間されることで、注目画素Ｐの撮影色彩値ＸＹＺに対応するｓＲＧＢ値が算出される。
【００７６】
【数１】
【００７７】
図１１を参照して、上記補間処理の具体的な例を説明する。例えば注目画素Ｐの撮像色彩値ＸＹＺの強度が、強度０から３２の３３段階中（３０．３，３０．４，３０．５）である場合、図１１に示すように、隣接する８個の代表点は以下の８点となる。
色彩値ＸＹＺの強度（３０，３０，３０）に対応する代表点ａ
色彩値ＸＹＺの強度（３１，３０，３０）に対応する代表点ｂ
色彩値ＸＹＺの強度（３０，３１，３０）に対応する代表点ｃ
色彩値ＸＹＺの強度（３１，３１，３０）に対応する代表点ｄ
色彩値ＸＹＺの強度（３０，３０，３１）に対応する代表点ｅ
色彩値ＸＹＺの強度（３１，３０，３１）に対応する代表点ｆ
色彩値ＸＹＺの強度（３１，３１，３１）に対応する代表点ｇ
色彩値ＸＹＺの強度（３１，３１，３１）に対応する代表点ｈ
【００７８】
注目画素Ｐに対応したｓＲＧＢの値は、以下の式で算出される。なお以下の式中、ＲＧＢ（３０，３０，３０）は、代表点ａに対応するｓＲＧＢ値を示している。その他の代表点についても同様である。
【００７９】
【数２】
【００８０】
ＣＰＵ１０１は、色再現補正テーブルにより算出されたｓＲＧＢ値を有する画素で、注目画素Ｐを上書きする。これによりイメージセンサ２０１及び撮影用光源３０１の色再現特性や、組立て交差やそれに依存する光学上もしくは信号処理上の色再現特性等に起因する、数式で表現できない成分が補正される。この結果、撮像された試料画像の色再現性が高精度に補正される。
【００８１】
図１０に示すように、色再現補正テーブルにより算出された補正後の試料画像の画像データにガンマ補正処理が行われ、ＰＣ１００の表示部１０６等に表示されるための撮影画像の画像データが生成される。
【００８２】
図６のステップ１０７において、ユーザから色再現補正処理の指示がない場合、ステップ１０６でデモザイク処理された試料画像の画像データにガンマ補正処理が行われる。
【００８３】
ＣＰＵ１０１は、進捗フラグに従って未完の処理を判定する（ステップ１０９）。そして、未完の処理があれば、未完の処理がなくなるまで、処理を続ける（ステップ１１０）。本実施形態では、色再現補正後に行われる処理（上記ガンマ補正処理も含む）は、全てこの工程で処理される。ＣＰＵ１０１により、処理された試料画像のＲａｗデータ２０５がエンコードされて（ステップ１１１）、画像処理が終わる。
【００８４】
以上、本実施形態に係る情報処理装置による色再現補正処理においては、分光色彩値ＸＹＺと校正用光源色彩値ＸＹＺとに基づいて、センサ補正テーブルが生成される。また校正用光源色彩値ＸＹＺと撮影用光源色彩値ＸＹＺに基づいて、光源補正テーブルが生成される。そしてセンサ補正テーブル及び光源補正テーブルに基づいて、撮像される試料画像の色再現性が補正される。これにより、理論的に算出された数式やシミュレーション値に基づく色再現補正処理では実現できないような、高精度の色再現補正処理が可能となる。例えば本実施形態に係る色再現補正処理により、光学顕微鏡３００により得られる画像に特有のＬＳＢ（least significant bit）単位での精度要求に応えることができる。この結果、例えば試料画像の諧調性向上、解像感向上、あるいはダイナミックレンジ拡大等を図ることができる。
【００８５】
なお、本実施形態では色再現補正処理を行う情報処理装置としてＰＣ１００を例に挙げて説明した。しかしながら、例えば図１で示す撮像装置２００により、センサ色再現測定処理、光源色再現測定処理、又は色再現補正処理の一部あるいは全部の処理が行われてもよい。この場合、撮像装置２００及びＰＣ１００が本発明の実施形態に係る情報処理装置として用いられる。さらに、例えば光学顕微鏡の機能を有するスキャナ装置等が、図１で示す光学顕微鏡３００、撮像装置２００、ＰＣ１００の機能をあわせ持つ、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられてもよい。
【００８６】
＜第２の実施形態＞
本発明の第２の実施形態に係る、光学顕微鏡を搭載した撮像装置について説明する。これ以降の説明では、第１の実施形態で説明した撮像システム４００（光学顕微鏡を搭載した撮像装置）に用いられる各種の装置やデータ等と同様なものについては、その説明を省略又は簡略化する。
【００８７】
図１２は、本実施形態に係る、光学顕微鏡を搭載した撮像装置８００による色再現補正処理を説明するための図である。本実施形態に係る撮像装置８００は、校正用光源８１０及び撮影用光源８０１の２つの光源を有する光学顕微鏡を含む。なお、図１２では、光学顕微鏡の全体図は省略されている。
【００８８】
図１２（Ａ）に示すように、主に工場調整時において、センサ色再現キャリブレーション処理が行われ、写像Ａを表すセンサ補正テーブルが作成される。
【００８９】
図１２（Ｂ）に示すように、主に試料画像が撮像されるときに、光源色再現キャリブレーション処理が行われる。本実施形態では、光学顕微鏡が有する校正用光源８１０により照射された校正用被写体３１２が撮像され、校正用光源色彩値ＸＹＺが算出される。光学顕微鏡が有する撮影用光源８０１により照射された校正用被写体３１２が撮像され、撮影用光源色彩値ＸＹＺが算出される。算出された校正用光源色彩値ＸＹＺ及び撮影用光源色彩値ＸＹＺに基づいて、写像Ｂを表す光源補正テーブルが作成される。
【００９０】
光源色再現補正キャリブレーション処理は、例えば試料画像が撮像されるごとに、あるいは、所定の回数の撮影ごと、または所定の期間ごとに、周期的に行われてよい。そして周期的に光源補正テーブルが作成されてよい。
【００９１】
センサ色再現キャリブレーション処理において算出された分光色彩値ＸＹＺが、本実施形態に係る撮像装置８００が有するＲＯＭ等に記憶されてもよい。そして周期的に行われる光源色再現キャリブレーション処理において算出される校正用光源色彩値ＸＹＺと、記憶された分光色彩値ＸＹＺとに基づいて、周期的にセンサ補正テーブルが作成されてもよい。
【００９２】
上記した各実施形態に係る情報処理装置１００及び光学顕微鏡を搭載した撮像装置８００は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【００９３】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【００９４】
上記の各実施形態では、ＸＹＺ表色系が用いられてセンサ補正テーブル及び光源補正テーブルが作成された。しかしながら、例えばＲＧＢ表色系、ｓＲＧＢ表色系、Ｌ＊ａ＊ｂ＊表色系、又はＬ＊ｕ＊ｖ＊表色系等の他の表色系が用いられてもよい。
【００９５】
上記では、デモザイク処理の後、ガンマ補正処理の前に、色再現補正処理が行われた。しかしながらこれに限られず、デモザイク処理の前、あるいはガンマ補正処理の後に、色再現補正処理の全部あるいは一部が行われてもよい。その他、例えばＹＣｒＣｂ変換処理の後に、色再現補正処理が行われてもよい。色再現補正処理が行われる際に入力される入力値に対応するような写像Ａ及び写像Ｂを適宜算出し、各写像を表現するセンサ補正テーブル及び光源補正テーブルを適宜作成すればよい。
【００９６】
上記では、センサ補正テーブルにより表される写像Ａと、光源補正テーブルにより表される写像Ｂと、写像Ｃとが乗算されることで新たな写像Ｄが算出された。そしてその写像Ｄを表現する色再現補正テーブルが作成された。このように新たな写像Ｄにより、各写像による変換処理を合わせて行うことで、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷を軽減させることができ、一定の処理速度の向上を図ることができる。
【００９７】
しかしながら、各写像による変換処理が、異なるステップで個別に行われてもよい。また写像Ａ及び写像Ｂが共に生成されなくてもよい。例えば主にイメージセンサの分光感度特性に起因する色再現性を補正するための処理として他の補正処理が採用され、主に撮影用光源の分光特性に起因する色再現性を補正するための写像Ｂのみが生成される。そして写像Ｂを表す光源補正テーブルにより、撮像される試料画像の色再現性が高度に補正されてもよい。
【００９８】
上記では、色再現補正処理において、３３×３３×３３で分割された３次元空間が用いられた。しかしながら３３×３３×３３よりも大きい数、あるいは小さい数により分割された３次元空間が用いられてもよい。例えば２５６×２５６×２５６の数の代表点を有する補正テーブルが用いられてもよい。
【００９９】
上記では、センサ補正テーブル及び光源補正テーブルとして、ＸＹＺ表色系の色彩値から色彩値への写像Ａ及び写像Ｂをそれぞれ表す３次元ルックアップテーブルが用いられた。しかしながら、色相から色相への写像を表す２次元テーブルと、輝度の写像を表す１次元テーブルが組み合わされたものが、各補正テーブルとして用いられてもよい。またはＲＧＢからＲＧＢへの写像を表す３次元テーブルが用いられてもよいし、ＹＣｒＣｂからＹＣｒＣｂへの写像を表す３次元テーブルが用いられてもよい。あるいはＬａｂからＬａｂへの写像を表す３次元テーブルが用いられてもよい。さらにイメージセンサに設けられたカラーフィルタによっては、ＲＧｒＧｂＢからＲＧｒＧｂＢへの写像を表す４次元テーブルが用いられてもよい。その他、写像Ａ及び写像Ｂの変換処理が可能となる補正テーブルであれば、どのようなものが用いられもよい。また各補正テーブルは、圧縮されて記憶されてもよい。
【０１００】
上記した色再現補正処理を利用して、例えば特定の色域の強調、減衰、色ノイズ除去、色相廻り補正、高輝度色回り補正が行われてもよい。また上記した色再現補正処理を利用して、光学系、照明系の校正が行われてもよい。
【０１０１】
また、図１３に示すように、本発明の実施形態として用いられるスキャナ装置５００により生成された校正用被写体の画像や試料画像のＲａｗデータが、ＰＣ１００とは別のコンピュータやサーバ６００に記憶され、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバ６００にアクセスしてそのＲａｗデータを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【０１０２】
上記では、センサ色再現測定処理及び光源色再現測定処理が予め行われる場合について説明した。しかしながら、センサ色再現測定処理又は光源色再現測定処理の一部あるいは全部が、色再現補正処理と同時に行われてもよい。この場合、試料を保持するために用いられるスライドガラスに校正用被写体が設けられてもよい。
【０１０３】
上記では、校正用被写体として複数のカラーフィルタが用いられた。そしてカラーフィルタごとに、校正用光源色彩値ＸＹＺや撮像用光源色彩値ＸＹＺ等がプロットされることで、センサ補正テーブルや光源補正テーブルが作成された。しかしながら単一のカラーフィルタと光学的なカラーフィルタとを組み合わせたものが、校正用被写体として用いられてもよい。また、校正用光源や撮影用光源の色温度を変化させることで、各色彩値がプロットされてもよい。
【０１０４】
上記では、センサ補正テーブル及び光源補正テーブルについて、所定の個数の代表点が設定され、代表点ごとに逆マップが割り当てられた。しかしながら、撮影された試料画像の全画素に対応する逆マップを有するセンサ補正テーブル及び光源補正テーブルが作成されてもよい。また周辺画素と平滑化した上で、あるいはフーリエ変換し、数式、もしくは係数が用いられることで、センサ補正テーブル及び光源補正テーブルが作成されてもよい。また光源補正テーブルが、校正用光源により照射された校正用被写体の画像データ、及び撮影用光源により照射された校正用被写体の画像データの撮影データ対として記憶されてもよい。
【０１０５】
上記では、色再現補正テーブルの代表点にそれぞれ逆マップが割り当てられ、それら逆マップが用いられることで、試料画像の色情報が補正された。しかしながら、処理時間の短縮や演算量の軽減のために色再現処理に用いられる逆マップが間引かれてもよい。
【０１０６】
また、試料台のＺ位置、観察領域に対する撮影位置、照明光学系、結像光学系、試料、センサ、撮像装置、画像処理方法、温度、視野絞り、露光時間、アナログゲイン設定値、露出補正設定値、彩度設定値、あるいは倍率設定値等が変更されるたびにセンサ色再現キャリブレーション処理又は光源色再現キャリブレーション処理が行われ、センサ補正テーブル又は光源補正テーブルが作成されてもよい。
【０１０７】
撮像される試料画像を複数の領域で分割し、各分割領域に対応するセンサ補正テーブル及び光源補正テーブルが作成されてもよい。そして分割領域ごとに色再現補正処理が行われてもよい。これにより例えば６０×４０（Kpixel）のサイズからなる、大容量のデータ量を有する試料画像が補正される場合でも、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１０８】
上記では、分光測定器により、校正用光源により照射された校正用被写体の分光特性が測定された。しかしながら、理想の色再現特性を有する撮像光学系により校正用被写体が撮像されてもよい。そして得られた画像と、撮像装置により撮像された校正用被写体の画像とが比較されることでセンサ補正テーブルが作成されてもよい。
【０１０９】
上記では、図２に示す撮像装置２００により、校正用被写体の画像及び試料画像のＲａｗデータを含むＲａｗデータファイルが作成された。しかしながら、撮像装置２００により、Ｒａｗデータに画像処理が行われてもよいし、撮像装置２００を特定する情報や撮影条件を特定する情報等の各種のデータを含んだＲａｗデータファイルが作成されてもよい。また、それらの各種のデータが、センサ色再現測定処理、光源色再現測定処理、又は色再現補正処理のために用いられてもよい。
【０１１０】
また、上記で説明した、各画像のＲａｗデータ、各補正テーブル、又は色再現補正処理等が行われた試料画像が、各キャリブレーション処理時、又は色再現補正処理時に利用される統計データや校正データ等をとるために用いられてもよい。
【０１１１】
上記では、透過照明型の光学顕微鏡が用いられたが、これに限られず落射照明型の光学顕微鏡が用いられてもよい。
【符号の説明】
【０１１２】
１００…ＰＣ（情報処理装置）
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＨＤＤ
１１０…記録媒体
２００…撮像装置
３００…光学顕微鏡
３０１…撮影用光源
３０５…試料
３１０…校正用光源
３１１…分光測定器
３１２…校正用被写体
４００…撮像システム
５００…スキャナ装置
６００…サーバ
８００…光学顕微鏡を搭載した撮像装置
８０１…撮影用光源
８１０…校正用光源
【特許請求の範囲】
【請求項１】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第１の色再現補正情報を生成する第１の生成部と、
前記第１の生成部により生成された前記第１の色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
分光測定手段により生成された前記校正用光源により照射された前記校正用被写体の分光情報と、前記撮像手段により撮像された前記校正用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第２の色再現補正情報を生成する第２の生成部をさらに具備し、
前記補正部は、前記第１の色再現補正情報と、前記第２の生成部により生成された前記第２の色再現補正情報とに基づいて、前記撮像手段により撮像された前記対象被写体の画像の色情報を補正する
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記第１の生成部は、周期的に前記第１の色再現補正情報を生成する情報処理装置。
【請求項４】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成し、
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する
ことを情報処理装置が実行する情報処理方法。
【請求項５】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成し、
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する
ことを情報処理装置に実行させるプログラム。
【請求項６】
撮影用光源を有する光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
前記撮像手段により撮像された校正用光源により照射された校正用被写体の画像の色情報を記憶する記憶部と、
前記記憶部により記憶された前記校正用光源により照射された前記校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、
前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する、光学顕微鏡を搭載した撮像装置。
【請求項７】
請求項６に記載の、光学顕微鏡を搭載した撮像装置であって、
前記撮像手段は、前記撮影用光源により照射された前記校正用被写体の画像を周期的に撮像し、
前記生成部は、前記記憶された前記校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成する
光学顕微鏡を搭載した撮像装置。
【請求項８】
撮影用光源と校正用光源とを有する光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
前記撮像手段により撮像された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、
前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する、光学顕微鏡を搭載した撮像装置。
【請求項９】
請求項８に記載の、光学顕微鏡を搭載した撮像装置であって、
前記撮影手段は、前記校正用光源により照射された前記校正用被写体の画像と、前記撮影用光源により照射された前記校正用被写体の画像とを周期的にそれぞれ撮像し、
前記生成部は、前記撮像手段により周期的に撮影された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成する
光学顕微鏡を搭載した撮像装置。
【請求項１】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第１の色再現補正情報を生成する第１の生成部と、
前記第１の生成部により生成された前記第１の色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
分光測定手段により生成された前記校正用光源により照射された前記校正用被写体の分光情報と、前記撮像手段により撮像された前記校正用光源により照射された前記校正用被写体の画像の色情報とに基づいて、第２の色再現補正情報を生成する第２の生成部をさらに具備し、
前記補正部は、前記第１の色再現補正情報と、前記第２の生成部により生成された前記第２の色再現補正情報とに基づいて、前記撮像手段により撮像された前記対象被写体の画像の色情報を補正する
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記第１の生成部は、周期的に前記第１の色再現補正情報を生成する情報処理装置。
【請求項４】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成し、
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する
ことを情報処理装置が実行する情報処理方法。
【請求項５】
光学顕微鏡により得られる像を撮影することが可能な撮像手段により撮像された、校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成し、
前記生成された色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する
ことを情報処理装置に実行させるプログラム。
【請求項６】
撮影用光源を有する光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
前記撮像手段により撮像された校正用光源により照射された校正用被写体の画像の色情報を記憶する記憶部と、
前記記憶部により記憶された前記校正用光源により照射された前記校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、
前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する、光学顕微鏡を搭載した撮像装置。
【請求項７】
請求項６に記載の、光学顕微鏡を搭載した撮像装置であって、
前記撮像手段は、前記撮影用光源により照射された前記校正用被写体の画像を周期的に撮像し、
前記生成部は、前記記憶された前記校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成する
光学顕微鏡を搭載した撮像装置。
【請求項８】
撮影用光源と校正用光源とを有する光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
前記撮像手段により撮像された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、色再現補正情報を生成する生成部と、
前記生成部により生成された前記色再現補正情報に基づいて、前記撮像手段により撮像された前記撮影用光源により照射された対象被写体の画像の色情報を補正する補正部と
を具備する、光学顕微鏡を搭載した撮像装置。
【請求項９】
請求項８に記載の、光学顕微鏡を搭載した撮像装置であって、
前記撮影手段は、前記校正用光源により照射された前記校正用被写体の画像と、前記撮影用光源により照射された前記校正用被写体の画像とを周期的にそれぞれ撮像し、
前記生成部は、前記撮像手段により周期的に撮影された前記校正用光源により照射された校正用被写体の画像の色情報と、前記撮像手段により周期的に撮像された前記撮影用光源により照射された前記校正用被写体の画像の色情報とに基づいて、周期的に前記色再現補正情報を生成する
光学顕微鏡を搭載した撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−６８３９７（Ｐ２０１２−６８３９７Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１２４２６（Ｐ２０１０−２１２４２６）
【出願日】平成２２年９月２２日（２０１０．９．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２２日（２０１０．９．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]