情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
【課題】光学顕微鏡により得られる画像に発生する複雑なディストーションを、高精度に補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供すること。
【解決手段】情報処理装置により、チェッカーパターンが撮影された校正用画像の輝度分布に関する標準パターン情報として、正弦波状の曲面を表す関数が生成される。校正用画像の各画素の輝度値と関数の値とのマッチング処理により、校正用画像上の交点が高い精度で判定される。これにより上記交点と理論的なチェッカーパターンの交点との差分に基づいて算出される補正用ベクトル場２２の精度も高いものとなる。また補正用ベクトル場２２は、平行移動成分と回転成分とをのぞく成分として算出されるので試料画像の補正量を少なくすることができる。以上により光学顕微鏡により得られた試料画像に発生する複雑なディストーションを高精度に補正することができる。
【解決手段】情報処理装置により、チェッカーパターンが撮影された校正用画像の輝度分布に関する標準パターン情報として、正弦波状の曲面を表す関数が生成される。校正用画像の各画素の輝度値と関数の値とのマッチング処理により、校正用画像上の交点が高い精度で判定される。これにより上記交点と理論的なチェッカーパターンの交点との差分に基づいて算出される補正用ベクトル場２２の精度も高いものとなる。また補正用ベクトル場２２は、平行移動成分と回転成分とをのぞく成分として算出されるので試料画像の補正量を少なくすることができる。以上により光学顕微鏡により得られた試料画像に発生する複雑なディストーションを高精度に補正することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により得られた画像信号を処理することで、出力される画像のディストーションを補正する情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物が撮影されるときには、撮像機器が有するレンズの形状等に起因して、得られる画像にディストーションが発生することがある。このディストーションを補正するために、種々のディストーション補正技術が用いられている。
【０００３】
例えば、特許文献１に記載のキャリブレーション・システムでは、上記のディストーションを補正するために用いられる歪みパラメータが以下のようにして推定される。まず、キャリブレーション・システム内で、幾何形状が定義済みのパターンからなる基準画像が生成される。そしてこの基準画像がスクリーン平面上に投影され、カメラにより撮影される。基準画像と、撮影された基準画像の撮像画像との間で、画像合わせ込み処理がなされ、これによりディストーション補正のための歪みパラメータが推定される（特許文献１の段落［００９４］等参照）。
【０００４】
また、特許文献１では、レンズ歪みを考慮した撮像画像平面上の点ｎdから、レンズ歪みを考慮しない撮像画像平面上の対応する点ｎuが算出されている。特許文献１の段落［００８４］に示されるように、点ｎuは、歪み中心からの距離に基づいた数式により算出される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３５０２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば光学顕微鏡により得られた画像がデジタル化される場合、顕微鏡が有する複雑な拡大光学系により、出力される画像に予測することが難しい複雑なディストーションが発生することが多い。この場合、特許文献１に記載のような歪み中心からの距離に基づいた数式を用いて画像のディストーションを補正することは困難である。
【０００７】
また、例えば光学顕微鏡により１つの対象物が高倍率で観察される際には、対象物の各部分を撮像して得られた複数のデジタル画像がスティッチング処理されることで、その対象物の画像が一つにまとめられる場合がある。このスティッチング処理が適正に行われるためには、各デジタル画像のディストーションが高い精度で補正されることが求められる。
【０００８】
以上のような事情に鑑み、本発明の目的は、光学顕微鏡により得られる画像に発生する複雑なディストーションを、高精度に補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の記憶手段と、生成手段と、判定手段と、第１の算出手段と、第２の算出手段と、補正手段とを具備する。
前記記憶手段は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
前記生成手段は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する。
前記判定手段は、前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する。
前記第１の算出手段は、前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する。
前記第２の算出手段は、前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する。
前記補正手段は、前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する。
【００１０】
この情報処理装置では、校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報が生成される。そして校正用画像の輝度分布と標準パターン情報とのマッチング処理により、校正用画像上の上記補正用輝度変化点が高い精度で判定される。従って、上記歪みベクトル場及び補正用ベクトル場の精度も高いものとなり、撮像手段により撮像された画像に予測することが難しい複雑なディストーションが発生しても、それを高精度に補正することができる。また補正用ベクトル場は、歪みベクトル場から平行移動成分と回転成分とをのぞく成分として算出される。これにより補正される画像の補正量を少なくすることができるので、高精度の画像補正が実現する。
【００１１】
前記情報処理装置は、前記第２の算出手段により算出された前記補正用ベクトル場を記憶する第２の記憶手段をさらに具備してもよい。この場合、前記補正手段は、前記第２の記憶手段により記憶された前記補正用ベクトル場を用いて前記画像を補正してもよい。
【００１２】
この情報処理装置では、第２の記憶手段により、照明光学系等が定められた所定の撮影条件についての補正用ベクトル場が記憶される。従って、その同じ撮影条件で撮像手段により画像が撮像される場合に、改めて補正用ベクトル場を算出する必要がなく、記憶されている補正用ベクトル場を用いて、撮像される画像を高精度に補正することができる。これにより画像補正に要する処理時間を短くすることができる。
【００１３】
前記生成手段は、前記校正用画像が複数の領域に分割されて得られる分割領域ごとに、各前記分割領域の輝度情報に関する前記標準パターン情報をそれぞれ生成してもよい。この場合、前記判定手段は、前記分割領域の輝度分布と前記分割領域ごとに生成された前記標準パターン情報とのマッチング処理により、前記分割領域ごとに前記補正用輝度変化点を算出してもよい。
【００１４】
この情報処理装置では、校正用画像の分割領域ごとに標準パターン情報が生成され、分割領域ごとにマッチング処理が行われる。従って分割領域ごとに、その分割領域とのマッチング処理に適した標準パターン情報を生成することができる。これにより、各分割領域上の補正用輝度変化点を高い精度で判定することができる。
【００１５】
前記校正用パターンは、前記２軸方向でそれぞれ一定のサイズを有する明部及び暗部が交互にそれぞれ１以上配置されたチェッカーパターンでなってもよい。
この場合、前記第１の記憶手段は、前記チェッカーパターン上の前記明部と前記暗部との境界にあたる複数の交点の各座標を記憶してもよい。
また前記生成手段は、前記校正用画像をフーリエ変換することで、前記２軸方向のそれぞれにおいて、スペクトルの強度が最も大きい周波数を算出し、前記算出された前記２軸方向の各前記周波数のうち少なくとも１つを用いて前記標準パターン情報を生成してもよい。
また前記判定手段は、前記校正用画像の各画素の輝度値と前記標準パターン情報との相関値を計算することで、前記校正用画像上の明部と暗部との境界にあたる複数の交点の各座標を判定してもよい。
【００１６】
この情報処理装置では、校正用パターンとして上記チェッカーパターンが用いられ、チェッカーパターンの交点が輝度変化点として記憶される。また校正用画像がフーリエ変換されることで算出された上記各周波数のうち少なくとも１つを用いて標準パターン情報が生成される。そして校正用画像の各画素の輝度値と標準パターン情報との相関値を計算することで、校正用画像上の交点が補正用輝度変化点として高い精度で判定される。
【００１７】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報が生成される。
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標が補正用輝度変化点の座標としてそれぞれ判定される。
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分が、歪みベクトル場として算出される。
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分が補正用ベクトル場として算出される。
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像が補正される。
【００１８】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【００１９】
本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、記憶手段と、生成手段と、判定手段と、第１の算出手段と、第２の算出手段と、補正手段とを具備する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記記憶手段は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
前記生成手段は、前記撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する。
前記判定手段は、前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する。
前記第１の算出手段は、前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する。
前記第２の算出手段は、前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する。
前記補正手段は、前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する。
【発明の効果】
【００２０】
以上のように、本発明によれば、光学顕微鏡により得られる画像に発生する、予測することが難しい複雑なディストーションを高精度に補正することができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。
【図２】図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。
【図３】図１に示す撮像装置の構成例を示すブロック図である。
【図４】図３に示す撮像装置により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【図５】図１に示すＰＣの構成例を示すブロック図である。
【図６】図１に示すＰＣの処理を示すフローチャートである。
【図７】図６に示す交点抽出処理に用いられる、校正用画像を示す図である。
【図８】図７に示す校正用画像がフーリエ変換された際の、ｘ軸方向におけるスペクトルの周波数応答とその強度を示すグラフである。
【図９】図７に示す校正用画像の輝度分布の標準パターン情報として生成された関数が表す正弦波状の曲面を説明するための図である。
【図１０】理論的なチェッカーパターンの交点の座標と校正用画像上の交点の座標との差分から算出された歪みベクトル場を説明するための図である。
【図１１】図６に示す整列処理を詳しく説明するための図である。
【図１２】図６に示す整列処理を詳しく説明するための図である。
【図１３】図６に示す整列処理を詳しく説明するための図である。
【図１４】図６に示すディストーション補正処理の方法について説明するための図である。
【図１５】図１３に示す補正用ベクトル場を用いて校正用画像を補正した際の、理論的なチェッカーパターンとの比較結果を示す図である。
【図１６】第２の実施形態に係る校正用画像に対する処理について説明するための図である。
【図１７】その他の実施形態に係る撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図２は、図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。この撮像システム４００は、光学顕微鏡３００と、撮像手段としての撮像装置２００と、情報処理装置としてのＰＣ（Personal Computer）１００とを有する。撮像装置２００としては、例えばデジタルスチルカメラ等が用いられる。
【００２４】
光学顕微鏡３００は、例えばＬＥＤ（Light Emitting Diode）等の光源３０１と、照明光学系３０２及び結像光学系３０３と、照明光学系３０２及び結像光学系３０３の光路上に設けられた試料台３０４とを有する。試料台３０４上には試料３０５が載置される観察領域３０６が設けられており、この観察領域３０６の像が生成される。
【００２５】
撮像装置２００は、例えばＣＣＤ等の撮像素子２０１を有し、光学顕微鏡３００により得られた観察領域３０６の像を撮影し画像データとして保持することが可能である。この画像データがＰＣ１００により読込まれ、以下で説明するデータ処理が行なわれて出力される。
【００２６】
ここで撮像装置２００及びＰＣ１００について詳しく説明する。
【００２７】
図３は、撮像装置２００の構成例を示すブロック図である。図４は、撮像装置２００により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【００２８】
撮像装置２００は、撮像素子２０１と、前処理回路２０２と、記録媒体インターフェイス（Ｉ／Ｆ）２０３と、記録媒体２０４とを有する。記録媒体２０４としては、例えばメモリカード、光ディスク、光磁気ディスク等が用いられる。
【００２９】
図示しないレンズにより、所定の撮影条件（絞り、ズーム、フォーカス等）で入射光が集光され、撮像素子２０１の撮像面に光学像が形成される。撮像素子２０１は、撮像面に形成された光学像の撮像結果を前処理回路２０２に出力する。本実施形態では、撮像素子２０１として、Ｇ市松センサーが用いられるが、例えば３板センサー、白黒センサー、ラインセンサー、又はマルチセンサー等が用いられてもよい。
【００３０】
前処理回路２０２は、撮像素子２０１からの出力信号を前処理し、記録媒体Ｉ／Ｆ２０３を制御し、Ｒａｗデータファイルを記録媒体２０４に記録する。図４に示すように、Ｒａｗデータファイルには、Ｒａｗデータ２０５として、ＯＰＢ（Optical Black）等の無効画素の領域２０６、有効画素の領域２０７、及び実行画素の領域２０８を有する矩形状のＣＣＤイメージがＧ市松点順次で格納されている。
【００３１】
［情報処理装置の構成］
図５は、ＰＣ１００の構成例を示すブロック図である。ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部１０５、表示部１０６、記録媒体Ｉ／Ｆ１０７、プリンタインターフェースＩ／Ｆ１０８、及びこれらを互いに接続するバス１０９を備える。
【００３２】
ＣＰＵ１０１は、ＲＯＭ１０２等からオペレーティングシステム（ＯＳ）等のシステムプログラムを読出し、ＲＡＭ１０３上に確保される作業領域を用いて実行する。またＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４等から画像処理プログラム等を読み出し、ＲＡＭ１０３上に確保される作業領域、ＣＰＵ１０１に設けられる１次および／または２次キャッシュを用いて実行する。
【００３３】
ＣＰＵ１０１は、上記したＲａｗデータ２０５に対して、光学補正処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理等を含む一連の画質補正処理を行うことが可能である。また、ＣＰＵ１０１は、所定のデータ圧縮方式により輝度データおよび色データを圧縮して記録用画像データを形成し、記録用画像データを伸張することで圧縮されたＲａｗデータ２０５を復元する。ここで、ＣＰＵ１０１は、処理実行部、進捗情報管理部、リソース情報取得部、処理優先度設定部、処理制御部として機能する。
【００３４】
ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムや処理に必要とされる各種のデータ等を記憶している。
【００３５】
ＲＡＭ１０３は、図示しない画像表示用のビデオＲＡＭ（ＶＲＡＭ）を含み、主に各種の処理が行なわれるための作業領域として利用される。
【００３６】
ＨＤＤ１０４は、ハードディスクを含み、ＣＰＵ１０１による制御に応じて、ハードディスクに対するデータの書込み／読出しを行う。
【００３７】
操作部１０５は、数字キー、文字キー、上下左右キー、各種のファンクションキー等を含んでおり、ユーザからの操作入力をＣＰＵ１０１に供給する。操作部１０５は、マウス等のポインティングデバイスを含んでもよい。この操作部１０５を介してユーザにより入力される操作入力に応じて、ＣＰＵ１０１が各部を制御し操作入力に応じた処理を行う。
【００３８】
表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示素子を有し、輝度データおよび色データから形成される画像信号に対応する画像を表示する。
【００３９】
記録媒体Ｉ／Ｆ１０７は、例えばメモリカード、光ディスク、光磁気ディスク等の記録媒体１１０に対するデータの書込み／読出しを行う。あるいは、記憶媒体Ｉ／Ｆ１０７及び記録媒体１１０として、ハードディスクを有するＨＤＤが用いられてもよい。
【００４０】
プリンタＩ／Ｆ１０８は、画像の印刷データ等をプリンタ１１１に出力する。
【００４１】
［情報処理装置の動作］
図６は、本実施形態に係る情報処理装置である、ＰＣ１００の処理を示すフローチャートである。ここでは撮像装置２００により生成された、試料３０５が配置された観察領域３０６の画像である試料画像のＲａｗデータファイルが、圧縮された状態でＰＣ１００のＨＤＤ１０４に記録されているものとする。
【００４２】
ＰＣ１００のＣＰＵ１０１は、ＨＤＤ１０４に記録されている試料画像のＲａｗデータファイルを伸張する。そして、Ｒａｗデータファイルに格納された試料画像のＲａｗデータ２０５を、伸張された状態でＲＡＭ１０３上の所定の格納領域に格納する。
【００４３】
ＣＰＵ１０１は、あらかじめ、ユーザの指示や工場調整によってキャリブレーション処理をする。キャリブレーション処理とは、撮像装置２００による校正用画像の撮像を伴う補正テーブル作成のための処理であり、交点抽出処理（ステップ１０１）及び整列処理（ステップ１０２）を含む。このキャリブレーション処理については後に詳しく説明する。
【００４４】
ＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、欠陥補正やＲａｗＮＲ（ノイズリダクション）等の光学補正処理を行う（ステップ１０３）。またＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、デモザイク処理を行う（ステップ１０４）。デモザイク処理とは、Ｇ市松点順次で格納されている試料画像のＲａｗデータ２０５に対してＲＧＢを同時化する処理である。以後、試料画像の各画素は画像空間上で一致した位置にあるＲＧＢの３値により構成される。なお、本実施形態においては、ガンマ補正処理等の、ＲＧＢ同時化後ディストーション補正前に行われる処理も、このデモザイク処理に含まれるものとする。
【００４５】
ＣＰＵ１０１は、ユーザに、例えばユーザインターフェイス等を介して、ディストーション補正をするか否かの指示を仰ぐ（ステップ１０５）。ユーザからディストーション補正をする指示を受けると、ＣＰＵ１０１は、上記したキャリブレーション処理によって算出した補正テーブルに基づいてディストーション補正処理をする（ステップ１０６）。ディストーション補正処理とは、試料画像の形状の歪みを画素ごとに補正するための処理であり、詳しくは後述する。
【００４６】
ＣＰＵ１０１は、進捗フラグに従って未完の処理を判定する（ステップ１０７）。そして、未完の処理があれば、未完の処理がなくなるまで、処理を続ける（ステップ１０８）。本実施形態では、ディストーション補正後に行う処理は、全てこの工程で処理される。ＣＰＵ１０１により、処理された試料画像のＲａｗデータ２０５がエンコードされて（ステップ１０９）、画像処理が終わる。
【００４７】
［交点抽出処理］
図７は、図６に示すステップ１０１の交点抽出処理に用いられる、校正用画像を示す図である。
【００４８】
例えば、ユーザにより、操作部１０５のキャリブレボタンを介してキャリブレーション処理の指示が入力されたとする。そうすると撮像装置２００により、校正用パターンとしてのチェッカーパターン１を有する図示しない校正用被写体が撮影され、校正用画像２のＲａｗデータファイルが生成される。
【００４９】
校正用被写体は、例えば試料台３０４に載置されるスライドガラス上に配置される。あるいはチェッカーパターン１が描かれたスライドガラスが、校正用被写体として用いられてもよい。本実施形態では、光学顕微鏡３００により２０倍の倍率で表された校正用被写体の像が撮像装置２００により撮影され、サイズが６０×４０（Kpixel）となる校正用画像２が生成される。しかしながら、倍率や校正用画像２のサイズは適宜設定可能である。
【００５０】
本実施形態では、互いに直交する２軸方向であるｘ軸方向及びｙ軸方向で、それぞれ一定のサイズを有する明部３及び暗部４が交互にそれぞれ１以上配置されたチェッカーパターン１が撮影される。チェッカーパターン１の明部３の色は均一な白であり、暗部４の色は均一な黒である。また明部３及び暗部４の形状は、１辺のサイズが５０μｍの正方形である。しかしながら、明部３及び暗部４の色や形状は適宜設定可能である。
【００５１】
ＣＰＵ１０１は、撮影されるチェッカーパターン１の形状に基づいて、理論的なチェッカーパターン１’を算出し、ＨＤＤ１０４等に記憶させる。理論的なチェッカーパターン１’は、撮影されるチェッカーパターン１の形状に基づいて算出される。例えば、本実施形態では、光学顕微鏡３００の倍率、チェッカーパターン１の明部３及び暗部４の１辺のサイズ、及び撮像素子２０１の画素ピッチ（本実施形態では５．９４μｍ）に基づいて、以下の式により、理論的なチェッカーパターン１’の明部３’及び暗部４’の１辺のサイズが算出される。
【００５２】
【数１】
【００５３】
これにより、ＨＤＤ１０４には、チェッカーパターン１’の輝度変化点として、明部３’と暗部４’との境界にあたる交点５’の座標が記憶される。座標は、例えば図７に示すチェッカーパターン１’の左上等に基準となる原点Ｏ’を定め、その原点Ｏ’を基準とした座標が定められればよい。
【００５４】
校正用画像２のＲａｗデータファイルは、データ圧縮された状態でＰＣ１００のＨＤＤ１０４に記録される。なお、予め撮像装置２００により生成された校正用画像２のＲａｗデータファイルが、ＰＣ１００のＨＤＤ１０４に記憶されていてもよい。
【００５５】
光学顕微鏡３００の照明光学系３０２及び結像光学系３０３等の複雑な拡大光学系により、校正用画像２には、予測することができない複雑なディストーションが発生する。図７では、形状の歪みが複雑でない校正用画像２が図示されているが、これは本実施形態に係るディストーション補正処理について分かりやすく説明するためである。
【００５６】
ＣＰＵ１０１により、校正用画像２のＲａｗデータが伸張された状態でＲＡＭ１０３の所定の領域に格納される。そして校正用画像２のＲａｗデータに対して、図６に示すステップ１０２及び１０３で説明した光学補正処理及びデモザイク処理が行われる。これにより、校正用画像２は、理論的なチェッカーパターン１’に対比して、照明光学系３０２、試料台３０４に載置されるスライドガラス、及び結像光学系３０３等に起因する全ての形状の歪み成分が回転成分と平行移動成分と共に重畳された画像となる。ここでいう回転成分及び平行移動成分とは、例えば結像光学系３０３が有するレンズの取り付けに伴う公差や、撮像装置２００の取り付けに伴う公差、又は試料台３０４に載置されるスライドガラスの位置ずれ等に起因する成分である。
【００５７】
ＣＰＵ１０１は、６０×４０（Kpixel）のサイズでなる校正用画像２を、例えばLanczos等のフィルタにより、２５６×２５６（pixel）のサイズに縮小する。そしてＣＰＵ１０１は、縮小された校正用画像２’に対してフーリエ変換を行う。校正用画像２を縮小することで、フーリエ変換に要する演算量を少なくすることができる。しかしながら、縮小されない校正用画像２がフーリエ変換されてもよい。
【００５８】
図８は、フーリエ変換された校正用画像２’の、ｘ軸方向におけるスペクトルの周波数応答とその強度を示すグラフである。縮小された校正用画像２’のサイズは２５６×２５６（pixel）であるので、サンプリング周波数ｆｓは、ｆｓ＝２５６／２５６と考えることができる。そうするとナイキスト限界は、サンプリング周波数ｆｓの１／２なので、ｆｓ／２＝１２８／２５６となる。ＣＰＵ１０１は、ナイキスト限界ｆｓ／２よりも小さい周波数に着目し、スペクトルの強度が最も大きくなる周波数ｆｍａｘ＝１８／２５６を算出する。
【００５９】
周波数ｆｍａｘ＝１８／２５６の正弦波は、２５６(pixel)のサイズ内を１８回振動する正弦波となるので、その波長は２５６／１８(pixel)のサイズとなる。この正弦波を、６０×４０（Kpixel）のサイズでなる校正用画像２にあてはめると、その波長は以下の式で表されるように、３３３(pixel)となる。
【００６０】
【数２】
【００６１】
ＣＰＵ１０１は、校正用画像２の輝度分布の標準パターン情報として、正弦波状の曲面を表す関数ｚ（ｘ，ｙ）を生成する。関数ｚ（ｘ，ｙ）は、以下に示すように、波長が３３３(pixel)でなる正弦波ｓｉｎ（ｆｘ）及びｓｉｎ（ｆｙ）の積で表される。
【００６２】
【数３】
【００６３】
図９は、上記の関数ｚ（ｘ，ｙ）により表される正弦波状の曲面Ｚを説明するための図である。図９（Ａ）は、曲面Ｚをｘ軸、ｙ軸、及びｚ軸の座標系Ｃで示した図である。関数ｚ（ｘ，ｙ）に用いられるｓｉｎ（ｆｘ）は、ｘ＝０のときにｓｉｎ（ｆ０）が変曲点となるように設定されている。同様にｓｉｎ（ｆｘ）もｙ＝０のときにｓｉｎ（ｆ０）が変曲点となるように設定されている。従って、図９（Ａ）に示すように、曲面Ｚは、座標系Ｃの原点（０，０）で、ｚ（０，０）＝０となる曲面となる。
【００６４】
ここで関数ｚ（ｘ，ｙ）＞０となる（ｘ，ｙ）の範囲を、チェッカーパターンの明部に相当する範囲とし、関数ｚ（ｘ，ｙ）＜０となる（ｘ，ｙ）の範囲を、チェッカーパターンの暗部に相当する範囲とする。そうすると、図９（Ｂ）に示すように、関数ｚ（ｘ，ｙ）は、互いに直行するｘ軸方向及びｙ軸方向で、それぞれ３３３(pixel)／２＝１６６．５(pixel)のサイズでなる明部６及び暗部７を複数有するチェッカーパターン８を表すものとみなすことができる。また、図９（Ａ）に示す座標系Ｃの原点（０，０）は、チェッカーパターン８の交点９に相当する。
【００６５】
ＣＰＵ１０１は、校正用画像２及び曲面Ｚのマッチング処理のために、校正用画像２の各画素の輝度値と関数ｚ（ｘ，ｙ）とで畳み込み積分を行う。例えばＣＰＵ１０１は、校正用画像２と曲面Ｚとを、相対的な位置をずらしながら重ね合わせ、以下に示す相関値を算出する。
【００６６】
【数４】
【００６７】
ここで、Ｉ（ｘ’，ｙ’）は、校正用画像２上に定められた座標（ｘ’，ｙ’）に位置する画素の輝度値である。座標（ｘ’，ｙ’）は、図７に示すＨＤＤ１０４等に記憶された理論的なチェッカーパターン１’に定められた座標に対応している。すなわち校正用画像２の左上の点を原点とする座標である。一方関数ｚ（ｘ，ｙ）は、図９（Ａ）に示す座標系Ｃの座標である。上記の式では、校正用画像２と曲面Ｚとが重ね合わされたときに、座標系Ｃにおいて座標（ｘ，ｙ）で表される位置にある校正用画像２の画素の座標（ｘ’，ｙ’）が用いられる。従って、校正用画像２と曲面Ｚとの相対的な位置が変われば、座標（ｘ，ｙ）の位置にある画素も異なるものとなり、その座標（ｘ’，ｙ’）も変わることになる。
【００６８】
ＣＰＵ１０１は、算出された相関値が最も大きい値（極大値）となるときに、校正用画像２と曲面Ｚとが最もマッチングしていると判断する。そしてＣＰＵ１０１は、そのときの、座標系Ｃでみた原点（０，０）に対応する画素の座標（ｘ’，ｙ’）を、補正用輝度変化点としての交点１０（図７参照）の座標として判定する。これにより、校正用画像２から交点１０が抽出される。校正用画像２上の座標（ｘ’，ｙ’）と、座標系Ｃの座標（ｘ，ｙ）との関係については、その対応関係を把握できるのであれば適宜設定可能である。
【００６９】
上記マッチング処理は、関数ｚ（ｘ，ｙ）において、一定の範囲のｘ及びｙで表される曲面Ｚを用いて、校正用画像２上で局所的に行われてもよい。例えばその範囲を以下のように定める。
−１６６．５(pixel)≦ｘ≦１６６．５(pixel)
−１６６．５(pixel)≦ｙ≦１６６．５(pixel)
【００７０】
そうすると、関数ｚ（ｘ，ｙ）により、図９（Ａ）に示すような、チェッカーパターン８の明部６及び暗部７にそれぞれ相当する部分を２つずつ含む曲面Ｚが表現される。この曲面Ｚにより校正用画像２上で局所的にマッチング処理が行われることで、校正用画像２上の交点１０の座標を精度よく判定することができる。ｘ及びｙの範囲は適宜設定されてよい。
【００７１】
あるいは、校正用画像２全体にわたるような曲面Ｚにより、校正用画像２と曲面Ｚとが１回マッチング処理されることで、校正用画像２上の全ての交点１０の座標が一度に算出されてもよい。なお相関値を算出するための演算としては、校正用画像２と曲面Ｚとが重なる領域において、輝度値及び関数値の差の自乗を計算するといったもの等、上記で説明したものの他に、校正用画像２と曲面Ｚとの類似性を判断するための各種の演算が考えられる。
【００７２】
上記マッチング処理により、照明光学系３０２、試料台３０４に載置されるスライドガラス、及び結像光学系３０３等に起因する全ての形状の歪み成分が回転成分と平行移動成分と共に、校正用画像２上の交点１０として抽出される。例えば、６０×４０（Kpixel）からなる校正用画像２が撮像される場合、光学顕微鏡３００の照明光学系３０２及び結像光学系３０３等により定められる回折限界に起因して、校正用画像２内のエッジ部分がぼける場合がある。その場合、校正用画像２の各画素の輝度値のみに基づいて交点１０を判定するのは困難である。しかしながら本実施形態では、上記マッチング処理により校正用画像２の交点１０を高い精度で判定することができる。
【００７３】
ＣＰＵ１０１は、ＨＤＤ１０４等に記憶された理論的なチェッカーパターン１’の交点５’の座標と、各交点５’に対応する、抽出された校正用画像２上の交点１０の座標との差分を、歪みベクトル場として算出する。
【００７４】
図１０は、その歪みベクトル場を説明するための図である。以下の説明では、理論的なチェッカーパターン１’及び校正用画像２上の交点５’及び１０に着目する。従って図１０では、説明を分かりやすくするために、明部及び暗部についての図示が簡略化され、その数も少なくされている。また図１０では、校正用画像２として、形状が歪んだチェッカーパターンが図示されている。
【００７５】
図１０に示すように、ＣＰＵ１０１は、理論的なチェッカーパターン１’を、図中に示す左上の原点Ｏ’に対して回転成分のないものとして設定する。そして理論的なチェッカーパターン１’の各々の交点５’の座標と、対応する校正用画像２上の交点１０との差分を歪みベクトル場１１として算出する。そうすると歪みベクトル場１１は、結像光学系３０３等に起因する全ての形状の歪み成分が、回転成分及び平行移動成分と共に含まれるものとなる。
【００７６】
この歪みベクトル場１１を用いて、撮像装置２００により撮像される試料画像を補正することも可能である。しかしながら、歪みベクトル場１１が有する、試料画像の各画素に対する離散データ（各ベクトル１２）は座標の整数頂点に必ずしも対応するものではないので取り扱いが容易ではない。また６０×４０（Kpixel）ものサイズを有する試料画像を、回転成分と平行移動成分とを共に含む歪みベクトル場１１により補正することは、過大な演算量及びメモリ量が必要となる。また試料画像に対する補正量も多くなるので、高精度のディストーション補正を実現することが難しい。
【００７７】
そこで本実施形態ではＣＰＵ１０１により、以下に説明する整列処理（図６に示すステップ１０２）が行われる。
【００７８】
［整列処理］
整列処理とは、ガウス関数等の評価関数により、歪みベクトル場１１から、回転成分と平行移動成分とを抽出し、これの逆写像をかけることにより理論的なチェッカーパターン１’の交点５’に対応した空間位置でリサンプリングを行う処理である。
【００７９】
本実施形態では、以下に示す関数を用いることで整列処理が行われる。
【００８０】
【数５】
【００８１】
図１１〜図１３は、上記関数を用いた整列処理を詳しく説明するための図である。まず、ＣＰＵ１０１により、図１１に示す歪みベクトル場１１内の複数のベクトル１２についての平均ベクトル１３が算出される。そして、歪みベクトル場１１の各ベクトル１２から平均ベクトル１３が減算される。これにより、歪みベクトル場１１から平行移動成分がのぞかれ、図１１に示す中間歪みベクトル場１４が生成される。この中間歪みベクトル場１４は、回転成分が残留したベクトル場となる。
【００８２】
図１２に示すように、ＣＰＵ１０１により、中間歪みベクトル場１４の各ベクトル１５が極座標に変換され、変換後の中間歪みベクトル場１４’が生成される。中間歪みベクトル場１４’の各ベクトル１５’は、回転成分を表す角度方向の成分と、校正用画像２の中心に対応する位置から半径方向に拡散する成分とで表される。
【００８３】
ＣＰＵ１０１により、極座標で表された複数のベクトル１５’についての平均ベクトル１６が算出される。平均ベクトル１６は、角度成分すなわち回転成分１７と拡散成分１８とに分解される。分解された回転成分１７及び拡散成分１８のうち回転成分１７が抽出され、変換後の中間歪みベクトル場１４’の各ベクトル１５’から回転成分１７が減算される。これにより、極座標で表された補正用ベクトル１９を複数有する補正用ベクトル場２０が生成される。この補正用ベクトル場２０の各補正用ベクトル１９が極座標から元の座標に戻され、補正用ベクトル２１を複数有する補正用ベクトル場２２が算出される。補正用ベクトル場２２は、結像光学系３０３等に起因する全ての形状の歪み成分から回転成分及び平行移動成分をのぞいた成分を有するものとなる。
【００８４】
図１３に示すように、理論的なチェッカーパターン１’に対応した空間位置に、回転成分及び平行移動成分をのぞいた歪み成分を有する校正用画像２が設定されたとする。そうすると補正用ベクトル場２２は、チェッカーパターン１’上の交点５’の座標と、校正用画像２上の交点１０の座標との差分により表されるベクトル場に相当する。補正用ベクトル場２２は、ＨＤＤ１０４等に記憶され、あるいはＲＡＭ１０３の所定の格納領域に格納され、ＣＰＵ１０１により補正テーブルとして用いられる。
【００８５】
例えば、照明光学系３０２や結像光学系３０３の設計変更、撮像装置２００の取り付け、あるいは経年変化等により、キャリブレーション処理の更新が必要となることがある。こような場合にも、例えばユーザからのキャリブレーションの指示により上記の交点抽出処理及び整列処理が行われ、補正用ベクトル場２２の補正テーブルが生成される。
【００８６】
［ディストーション補正処理］
図１４は、図６に示すステップ１０６のディストーション補正処理の方法について説明するための図である。
【００８７】
ＣＰＵ１０１は、ＨＤＤ１０４等に記憶された補正用ベクトル場２２の補正テーブルから試料画像２３の各画素２４の座標に応じた逆マップ２５を算出する。例えば図１４に示すように、試料画像２３上の画素２４ａが、交点抽出処理により判定された校正用画像２上の交点１０と同じ座標を有するとする。この場合、補正用ベクトル場２２が有する、当該交点１０に対応した補正用ベクトル２１の逆ベクトルを逆マップ２５ａとして算出する。そして逆マップ２５ａに基づいて、試料画像２３上の画素２４ａに対する補正後の画素２６ａの座標が算出される。補正後の画素２６ａの座標は、図１３に示すように理論的なチェッカーパターン１’及び校正用画像２が設定された際の、チェッカーパターン１’上の交点５’の座標に相当する。
【００８８】
一方、校正用画像２上の交点１０と異なる座標を有する画素２４ｂに対しては、複数の補正用ベクトル２１に対応した複数の逆マップ２５ａで補間することにより、画素２４ｂに応じた逆マップ２５ｂが算出される。本実施形態では、画素２４ｂの周囲で最も近い位置にある４つの画素２４ａに応じた４つの逆マップ２５ａが用いられる。画素２４ｂと、その周囲に位置する４つの画素２４ａとのそれぞれの距離に応じて、各逆マップ２５ａの割合が定められ、それらを足し合わせたものが画素２４ｂに応じた逆マップ２５ｂとして算出される。算出された逆マップ２５ｂに基づいて、画素２４ｂに対する補正後の画素２６ｂの座標が算出される。
【００８９】
試料画像２３上の画素２４ｂに応じた逆マップ２５ｂの補間については、例えば試料画像２３上の画素２４ａから一定の範囲内にある画素２４ｂについては、画素２４ａに応じた逆マップ２５ａがそのまま用いられるような補間方法でもよい。その他、各種の補間方法を採用可能である。また複数の補正用ベクトル２１により、校正用画像２上の交点１０以外の画素に応じた補正用ベクトルが補間され、その逆ベクトルが試料画像２３上の画素２４ｂに応じた逆マップ２５ｂとして用いられてもよい。
【００９０】
ＣＰＵ１０１は、算出された補正後の画素２６ａ及び２６ｂの座標に位置する画素に、補正前の画素２４ａ及び２４ｂの輝度値を上書きする。これにより試料画像２３のディストーションが補正される。ここで補正される歪み成分は、照明光学系３０２、スライドガラス及び結像光学系３０３等に起因する全ての形状の歪み成分から回転成分及び平行移動成分をのぞいた成分である。
【００９１】
図１５は、上記補正用ベクトル場２２を用いて校正用画像２を補正した際の、理論的なチェッカーパターン１’との比較結果を示す図である。
【００９２】
図１５に示す、補正後の校正用画像２７上の各交点２８から延びるベクトル２９は、理論的なチェッカーパターン１’の交点５’からのずれ量を示している。このずれ量の大きさを算出すると、最大ずれ量は１．９(pixel)であり、平均ずれ量は０．６(pixel)であった。また各交点２８から延びるベクトル２９の方向に規則性は見られなかった。すなわち本実施形態に係るディストーション補正処理により、６０×４０（Kpixel）ものサイズを有する校正用画像２に対して、規則性のない複雑なディストーションが平均ずれ量０．６(pixel)の誤差、すなわち１(pixel)以内の誤差で補正されていることが分かる。
【００９３】
光学顕微鏡３００の光学系の仕組みは複雑であり、数十回の組立公差が重なり合う。また光学系には、ミラーやプリズム等の、光軸中心に対して点対称でない光学系も多数用いられる。従って上記したように撮像される試料画像２３には、複雑なディストーションが発生する。また光学顕微鏡３００が有する被写界深度の狭い撮像光学系では、光源３０１からの光の放射角や照明絞りにより試料からの光が並行ではなく一定の角度を持つ。かつ、試料はスライドガラス等の屈折率の異なるガラス越しに撮影される。このためハレーションのような光軸中心非対称な画像の形状の歪みも重ねて発生する場合がある。従って、歪み中心からの距離に基づいた数式を用いて試料画像２３のディストーションを補正することは困難である。また撮像条件に基づいたシミュレーション値からディストーション補正のための数式を適宜設定しようとしても、シミュレーション不可能なディストーションが発生する可能性が高いので高精度のディストーション補正は難しい。
【００９４】
しかしながら、本実施形態に係る情報処理装置であるＰＣ１００では、チェッカーパターン１を有する校正用被写体が撮影され、校正用画像２が生成される。また校正用画像２の輝度分布に関する標準パターン情報として、正弦波状の曲面Ｚを表す関数ｚ（ｘ，ｙ）が生成される。そして校正用画像２の各画素の輝度値と、関数ｚ（ｘ，ｙ）の値とのマッチング処理により、校正用画像２上の交点１０が高い精度で判定される。これにより、校正用画像２上の交点１０に基づいて算出される歪みベクトル場１１及び補正用ベクトル場２２の精度も高いものとなる。この結果、撮像装置２００により撮像された試料画像２３に予測することが難しい複雑なディストーションが発生しても、それを高精度に補正することができる。これにより、試料画像２３の諧調性向上、解像感向上、ダイナミックレンジ拡大、あるいは色再現向上等を図ることができる。
【００９５】
また本実施形態では、算出された歪みベクトル場１１から平行移動成分と回転移動成分とをのぞく成分が補正用ベクトル場２２として算出される。図２に示すように撮像装置２００により撮影される試料３０５は、試料台３０４上に載置される。従って試料画像２３には、光軸方向における歪み、すなわち奥行き成分の歪みは発生しない。従って、歪みベクトル場１１から平行移動成分及び回転移動成分をのぞくことができる。これにより、撮像装置２００により撮像される試料画像２３に対する補正量を少なくすることができ、高精度の画像補正が実現する。
【００９６】
また１つの試料３０５の各部分が撮像された複数の画像がスティッチング処理される場合、各画像に対して本実施形態に係るディストーション補正処理が行われる。上記したように歪みベクトル場１１から平行移動成分及び回転移動成分がのぞかれるので、各画像には平行移動成分及び回転成分が残留することになる。しかしながら、各画像に対して等しい量の平行移動成分及び回転成分が残留することになるので、各画像に対するスティッチング処理は適正に行われる。従って、本実施形態に係るディストーション補正処理は、精度の高い画像補正が求められるスティッチング処理において、十分に効果を奏することができ有効である。
【００９７】
さらに本実施形態では、例えば光源３０１、照明光学系３０２及び結像光学系３０３等が定められた所定の撮影条件における補正用ベクトル場２２の補正テーブルがＨＤＤ１０４等に記憶される。従って、同じ撮影条件で新たな試料が撮像される際に、改めて校正用画像２が撮像され、補正用ベクトル場２２が算出される必要がなく、ＨＤＤ１０４に記憶されている補正テーブルに基づいて、試料画像を高精度に補正することができる。これによりディストーション補正処理に要する処理時間を短くすることができる。
【００９８】
補正テーブルは、ユーザの指示によりロードされてもよいし、自動的にロードされてもよい。例えば、上記したようなスティッチング処理が行われる場合、試料の各部分が撮像されるごとに、補正テーブルが自動的にロードされれば、ユーザの利便性が高くなる。
【００９９】
＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置について説明する。これ以降の説明では、第１の実施形態で説明した撮像システム４００に用いられる各種の装置やデータ等と同様なものについては、その説明を省略又は簡略化する。
【０１００】
図１６は、本実施形態に係る校正用画像２に対する処理について説明するための図である。本実施形態では、ＣＰＵにより校正用画像２を複数の領域に分割する分割領域３０ごとに、フーリエ変換が行われる。そして、分割領域３０ごとにスペクトルの強度が最も大きい周波数が算出され、その周波数を用いて正弦波状の曲面を表す関数が生成される。ＣＰＵは、生成された関数を用いて、分割領域３０ごとに、その領域内の交点１０の座標を算出する。
【０１０１】
このように、複雑なディストーションを有する校正用画像２の分割領域３０ごとに、正弦波状の曲面を表す関数が生成される。これにより交点１０の座標を判定するためのマッチング処理に最適な関数を生成することができる。この結果、分割領域３０内の交点１０の座標を高い精度で判定することができる。
【０１０２】
分割領域３０のサイズや数は適宜設定可能である。必要とされる演算量、演算速度、及び交点１０の座標の判定精度等を考慮したうえで、所定のサイズ及び数の分割領域３０が設定されればよい。また、複数の分割領域３０は、例えば１画素分重なるように設定される等、互いに重なる領域を有するように設定されてもよい。あるいは、校正用画像２上の所定の領域を含む分割領域３０のみがフーリエ変換され、正弦波状の曲面を表す関数が生成されてもよい。フーリエ変換されない分割領域３０については、フーリエ変換された分割領域３０に基づいて生成された関数とマッチング処理され、領域内の交点１０の座標が判定されればよい。これにより、交点抽出処理に要する処理時間を短くすることができる。
【０１０３】
ＣＰＵにより、分割領域３０ごとに判定された交点１０の座標に基づいて、図１０に示す歪みベクトル場１１が生成され、以下第１の実施形態と同様に整列処理及びディストーション補正処理が行われる。
【０１０４】
ＣＰＵにより、分割領域３０ごとに歪みベクトル場が生成され、その歪みベクトル場に基づいて、分割領域３０ごとに補正用ベクトル場が算出されてもよい。ＣＰＵは、撮像装置２００により撮像された試料画像を、上記分割領域３０に対応するように、複数の分割領域に分割する。そして、分割領域３０ごとに生成された補正用ベクトル場を用いることで、試料画像上の分割領域ごとにディストーション補正処理を行う。このように、試料画像上の複数の分割領域ごとにディストーション補正が行われることで、例えば６０×４０（Kpixel）のサイズからなる、大容量のデータ量を有する試料画像が補正される場合でも、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１０５】
上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【０１０６】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【０１０７】
上記の各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、例えば図１で示す撮像装置２００により、交点抽出処理、整列処理、又はディストーション補正処理の一部あるいは全部の処理が行われてもよい。この場合、撮像装置２００及びＰＣ１００が本発明の実施形態に係る情報処理装置として用いられる。さらに、例えば光学顕微鏡の機能を有するスキャナ装置等が、図１で示す光学顕微鏡３００、撮像装置２００、ＰＣ１００の機能をあわせ持つ、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられてもよい。
【０１０８】
また、図１７に示すように、本発明の実施形態として用いられるスキャナ装置５００により生成された校正用画像や試料画像のＲａｗデータが、ＰＣ１００とは別のコンピュータやサーバ６００に記憶され、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバ６００にアクセスしてそのＲａｗデータを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【０１０９】
第１の実施形態では、図８のグラフに示すように、校正用画像２がｘ軸方向でフーリエ変換されることで算出された、スペクトルの強度が最も大きい周波数を用いて、正弦波状の曲面Ｚを表す関数ｚ（ｘ，ｙ）が生成された。しかしながら、校正用画像２がｙ軸方向でフーリエ変換されることで算出された、スペクトルの強度が最も大きい周波数が用いられてもよい。あるいは、関数ｚ（ｘ，ｙ）として、ｘ軸方向で算出された周波数の正弦波と、ｙ軸方向で算出された周波数の正弦波との積が用いられてもよい。
【０１１０】
上記では、交点抽出処理及び整列処理が予め行われる場合について説明した。しかしながら、交点抽出処理又は整列処理の一部あるいは全部が、ディストーション補正処理と同時に行われてもよい。この場合、試料を保持するために用いられるスライドガラスに、校正用パターンを有する校正用被写体が備えられてもよい。
【０１１１】
上記では、校正用パターンとして、チェッカーパターンが用いられた。この他、校正用パターンとしては、例えばドットパターンやＭＴＦ（Modulation Transfer Function）パターン等が挙げられる。
【０１１２】
上記では、交点抽出処理、整列処理、及びディストーション補正処理が光学補正処理やデモザイク処理の後に行われる場合について説明した。しかしながら、交点抽出処理、整列処理、及びディストーション補正処理は、その全て、もしくはその一部が光学補正処理やデモザイク処理の前に行われてもよい。
【０１１３】
上記では、校正用画像の交点を判定するために、校正用画像の各画素の輝度値と、正弦波状の曲面を表す関数の値との相関値が計算された。しかしながら、交点判定のために、校正用画像と、校正用画像をずらした画像とがマッチング処理されてもよい。また、交点判定のためのマッチング処理に、パターン認識や学習回路等のアルゴリズムが用いられてもよい。
【０１１４】
上記では、整列処理後の補正用ベクトル場の補正テーブルが作成された。しかしながら、例えば整列処理前の歪みベクトル場の補正テーブルが作成され、ディストーション補正処理が行われる際に、読み出された歪みベクトル場に整列処理が行われてもよい。また、補正用ベクトル場の各ベクトルの逆ベクトルが、逆マップとして記憶された補正テーブルが作成されてもよい。
【０１１５】
また、補正用テーブルとして、補間された補正用ベクトルを含む、試料画像の各画素に対応する補正用ベクトル全体が記憶されたものが作成されてもよい。あるいは、周辺画素と平滑化した上で、補正用ベクトル場が補正テーブルとして記憶されてもよい。その他、フーリエ変換し、数式、もしくは係数が用いられることで、補正テーブルが作成されてもよい。
【０１１６】
上記で説明した補正用ベクトル場は、試料画像の各画素に対してＲＧＢごとに算出されてもよい。あるいは、カラーフィルタに対応したＲＧｒＧｂＢごとに算出されてもよい。
【０１１７】
また、Ｚ位置、観察領域に対する撮影位置、照明光学系、結像光学系、試料、センサー、撮像装置、画像処理方法、温度、視野絞り、露光時間、アナログゲイン設定値、露出補正設定値、彩度設定値、あるいは倍率設定値等が変更されるたびにキャリブレーション処理が行われ、補正用ベクトル場の補正テーブルが作成されてもよい。
【０１１８】
上記では、補正用ベクトル場の補正用ベクトルが全て用いられたが、処理時間の短縮や演算量の軽減のために、補正用ベクトルが間引かれてもよい。例えば、所定の範囲内にある複数の画素に対しては、同じ補正用ベクトルが割り当てられることで、ディストーション補正処理に用いられる補正用ベクトルの数を少なくしてもよい。
【０１１９】
上記では、図３に示す撮像装置２００により、校正用画像及び試料画像のＲａｗデータを含むＲａｗデータファイルが作成された。しかしながら、撮像装置２００により、Ｒａｗデータに画像処理が行われてもよいし、撮像装置２００を特定する情報や撮影条件を特定する情報等の各種のデータを含んだＲａｗデータファイルが作成されてもよい。また、それらの各種のデータが、交点抽出処理、整列処理、又はディストーション補正処理のために用いられてもよい。
【０１２０】
また、上記で説明した、各画像のＲａｗデータ、補正テーブル、又はディストーション補正処理等が行われた試料画像が、キャリブレーション処理時、又はディストーション補正処理時に利用される統計データや校正データ等をとるために用いられてもよい。
【０１２１】
上記では、撮像装置によりチェーカーパターンを有する被写体が撮影され、校正用画像が生成された。しかしながら、例えば８０％グレー等の均一な被写体に、チェッカーパターンな光源により照明光が照射され、その状態の被写体が撮影されて校正用画像が生成されてもよい。また理想のディストーション特性を有するように、校正用画像が撮像されてもよい。
【符号の説明】
【０１２２】
１…チェッカーパターン
１’…理論的なチェッカーパターン
２…校正用画像
３…チェッカーパターンの明部
３’…理論的なチェッカーパターンの明部
４…チェッカーパターンの暗部
４’…理論的なチェッカーパターンの暗部
５’…理論的なチェッカーパターンの交点
１０…校正用画像の交点
２２…補正用ベクトル場
２３…試料画像
３０…分割領域
１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＨＤＤ
１１０…ＰＣの記録媒体
２００…撮像装置
３００…光学顕微鏡
４００…撮像システム
５００…スキャナ装置
６００…サーバ
【技術分野】
【０００１】
本発明は、撮像素子により得られた画像信号を処理することで、出力される画像のディストーションを補正する情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像機器として、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルスチルカメラ等が広く用いられている。このような撮像機器により対象物が撮影されるときには、撮像機器が有するレンズの形状等に起因して、得られる画像にディストーションが発生することがある。このディストーションを補正するために、種々のディストーション補正技術が用いられている。
【０００３】
例えば、特許文献１に記載のキャリブレーション・システムでは、上記のディストーションを補正するために用いられる歪みパラメータが以下のようにして推定される。まず、キャリブレーション・システム内で、幾何形状が定義済みのパターンからなる基準画像が生成される。そしてこの基準画像がスクリーン平面上に投影され、カメラにより撮影される。基準画像と、撮影された基準画像の撮像画像との間で、画像合わせ込み処理がなされ、これによりディストーション補正のための歪みパラメータが推定される（特許文献１の段落［００９４］等参照）。
【０００４】
また、特許文献１では、レンズ歪みを考慮した撮像画像平面上の点ｎdから、レンズ歪みを考慮しない撮像画像平面上の対応する点ｎuが算出されている。特許文献１の段落［００８４］に示されるように、点ｎuは、歪み中心からの距離に基づいた数式により算出される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３５０２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば光学顕微鏡により得られた画像がデジタル化される場合、顕微鏡が有する複雑な拡大光学系により、出力される画像に予測することが難しい複雑なディストーションが発生することが多い。この場合、特許文献１に記載のような歪み中心からの距離に基づいた数式を用いて画像のディストーションを補正することは困難である。
【０００７】
また、例えば光学顕微鏡により１つの対象物が高倍率で観察される際には、対象物の各部分を撮像して得られた複数のデジタル画像がスティッチング処理されることで、その対象物の画像が一つにまとめられる場合がある。このスティッチング処理が適正に行われるためには、各デジタル画像のディストーションが高い精度で補正されることが求められる。
【０００８】
以上のような事情に鑑み、本発明の目的は、光学顕微鏡により得られる画像に発生する複雑なディストーションを、高精度に補正することができる情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の記憶手段と、生成手段と、判定手段と、第１の算出手段と、第２の算出手段と、補正手段とを具備する。
前記記憶手段は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
前記生成手段は、光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する。
前記判定手段は、前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する。
前記第１の算出手段は、前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する。
前記第２の算出手段は、前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する。
前記補正手段は、前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する。
【００１０】
この情報処理装置では、校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報が生成される。そして校正用画像の輝度分布と標準パターン情報とのマッチング処理により、校正用画像上の上記補正用輝度変化点が高い精度で判定される。従って、上記歪みベクトル場及び補正用ベクトル場の精度も高いものとなり、撮像手段により撮像された画像に予測することが難しい複雑なディストーションが発生しても、それを高精度に補正することができる。また補正用ベクトル場は、歪みベクトル場から平行移動成分と回転成分とをのぞく成分として算出される。これにより補正される画像の補正量を少なくすることができるので、高精度の画像補正が実現する。
【００１１】
前記情報処理装置は、前記第２の算出手段により算出された前記補正用ベクトル場を記憶する第２の記憶手段をさらに具備してもよい。この場合、前記補正手段は、前記第２の記憶手段により記憶された前記補正用ベクトル場を用いて前記画像を補正してもよい。
【００１２】
この情報処理装置では、第２の記憶手段により、照明光学系等が定められた所定の撮影条件についての補正用ベクトル場が記憶される。従って、その同じ撮影条件で撮像手段により画像が撮像される場合に、改めて補正用ベクトル場を算出する必要がなく、記憶されている補正用ベクトル場を用いて、撮像される画像を高精度に補正することができる。これにより画像補正に要する処理時間を短くすることができる。
【００１３】
前記生成手段は、前記校正用画像が複数の領域に分割されて得られる分割領域ごとに、各前記分割領域の輝度情報に関する前記標準パターン情報をそれぞれ生成してもよい。この場合、前記判定手段は、前記分割領域の輝度分布と前記分割領域ごとに生成された前記標準パターン情報とのマッチング処理により、前記分割領域ごとに前記補正用輝度変化点を算出してもよい。
【００１４】
この情報処理装置では、校正用画像の分割領域ごとに標準パターン情報が生成され、分割領域ごとにマッチング処理が行われる。従って分割領域ごとに、その分割領域とのマッチング処理に適した標準パターン情報を生成することができる。これにより、各分割領域上の補正用輝度変化点を高い精度で判定することができる。
【００１５】
前記校正用パターンは、前記２軸方向でそれぞれ一定のサイズを有する明部及び暗部が交互にそれぞれ１以上配置されたチェッカーパターンでなってもよい。
この場合、前記第１の記憶手段は、前記チェッカーパターン上の前記明部と前記暗部との境界にあたる複数の交点の各座標を記憶してもよい。
また前記生成手段は、前記校正用画像をフーリエ変換することで、前記２軸方向のそれぞれにおいて、スペクトルの強度が最も大きい周波数を算出し、前記算出された前記２軸方向の各前記周波数のうち少なくとも１つを用いて前記標準パターン情報を生成してもよい。
また前記判定手段は、前記校正用画像の各画素の輝度値と前記標準パターン情報との相関値を計算することで、前記校正用画像上の明部と暗部との境界にあたる複数の交点の各座標を判定してもよい。
【００１６】
この情報処理装置では、校正用パターンとして上記チェッカーパターンが用いられ、チェッカーパターンの交点が輝度変化点として記憶される。また校正用画像がフーリエ変換されることで算出された上記各周波数のうち少なくとも１つを用いて標準パターン情報が生成される。そして校正用画像の各画素の輝度値と標準パターン情報との相関値を計算することで、校正用画像上の交点が補正用輝度変化点として高い精度で判定される。
【００１７】
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報が生成される。
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標が補正用輝度変化点の座標としてそれぞれ判定される。
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分が、歪みベクトル場として算出される。
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分が補正用ベクトル場として算出される。
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像が補正される。
【００１８】
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
【００１９】
本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、記憶手段と、生成手段と、判定手段と、第１の算出手段と、第２の算出手段と、補正手段とを具備する。
前記撮像手段は、前記光学顕微鏡により得られる像を撮影することが可能である。
前記記憶手段は、互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する。
前記生成手段は、前記撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する。
前記判定手段は、前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する。
前記第１の算出手段は、前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する。
前記第２の算出手段は、前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する。
前記補正手段は、前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する。
【発明の効果】
【００２０】
以上のように、本発明によれば、光学顕微鏡により得られる画像に発生する、予測することが難しい複雑なディストーションを高精度に補正することができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。
【図２】図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。
【図３】図１に示す撮像装置の構成例を示すブロック図である。
【図４】図３に示す撮像装置により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【図５】図１に示すＰＣの構成例を示すブロック図である。
【図６】図１に示すＰＣの処理を示すフローチャートである。
【図７】図６に示す交点抽出処理に用いられる、校正用画像を示す図である。
【図８】図７に示す校正用画像がフーリエ変換された際の、ｘ軸方向におけるスペクトルの周波数応答とその強度を示すグラフである。
【図９】図７に示す校正用画像の輝度分布の標準パターン情報として生成された関数が表す正弦波状の曲面を説明するための図である。
【図１０】理論的なチェッカーパターンの交点の座標と校正用画像上の交点の座標との差分から算出された歪みベクトル場を説明するための図である。
【図１１】図６に示す整列処理を詳しく説明するための図である。
【図１２】図６に示す整列処理を詳しく説明するための図である。
【図１３】図６に示す整列処理を詳しく説明するための図である。
【図１４】図６に示すディストーション補正処理の方法について説明するための図である。
【図１５】図１３に示す補正用ベクトル場を用いて校正用画像を補正した際の、理論的なチェッカーパターンとの比較結果を示す図である。
【図１６】第２の実施形態に係る校正用画像に対する処理について説明するための図である。
【図１７】その他の実施形態に係る撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図２は、図１に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。この撮像システム４００は、光学顕微鏡３００と、撮像手段としての撮像装置２００と、情報処理装置としてのＰＣ（Personal Computer）１００とを有する。撮像装置２００としては、例えばデジタルスチルカメラ等が用いられる。
【００２４】
光学顕微鏡３００は、例えばＬＥＤ（Light Emitting Diode）等の光源３０１と、照明光学系３０２及び結像光学系３０３と、照明光学系３０２及び結像光学系３０３の光路上に設けられた試料台３０４とを有する。試料台３０４上には試料３０５が載置される観察領域３０６が設けられており、この観察領域３０６の像が生成される。
【００２５】
撮像装置２００は、例えばＣＣＤ等の撮像素子２０１を有し、光学顕微鏡３００により得られた観察領域３０６の像を撮影し画像データとして保持することが可能である。この画像データがＰＣ１００により読込まれ、以下で説明するデータ処理が行なわれて出力される。
【００２６】
ここで撮像装置２００及びＰＣ１００について詳しく説明する。
【００２７】
図３は、撮像装置２００の構成例を示すブロック図である。図４は、撮像装置２００により生成される画像データとしてのＲａｗデータを模式的に示す図である。
【００２８】
撮像装置２００は、撮像素子２０１と、前処理回路２０２と、記録媒体インターフェイス（Ｉ／Ｆ）２０３と、記録媒体２０４とを有する。記録媒体２０４としては、例えばメモリカード、光ディスク、光磁気ディスク等が用いられる。
【００２９】
図示しないレンズにより、所定の撮影条件（絞り、ズーム、フォーカス等）で入射光が集光され、撮像素子２０１の撮像面に光学像が形成される。撮像素子２０１は、撮像面に形成された光学像の撮像結果を前処理回路２０２に出力する。本実施形態では、撮像素子２０１として、Ｇ市松センサーが用いられるが、例えば３板センサー、白黒センサー、ラインセンサー、又はマルチセンサー等が用いられてもよい。
【００３０】
前処理回路２０２は、撮像素子２０１からの出力信号を前処理し、記録媒体Ｉ／Ｆ２０３を制御し、Ｒａｗデータファイルを記録媒体２０４に記録する。図４に示すように、Ｒａｗデータファイルには、Ｒａｗデータ２０５として、ＯＰＢ（Optical Black）等の無効画素の領域２０６、有効画素の領域２０７、及び実行画素の領域２０８を有する矩形状のＣＣＤイメージがＧ市松点順次で格納されている。
【００３１】
［情報処理装置の構成］
図５は、ＰＣ１００の構成例を示すブロック図である。ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、操作部１０５、表示部１０６、記録媒体Ｉ／Ｆ１０７、プリンタインターフェースＩ／Ｆ１０８、及びこれらを互いに接続するバス１０９を備える。
【００３２】
ＣＰＵ１０１は、ＲＯＭ１０２等からオペレーティングシステム（ＯＳ）等のシステムプログラムを読出し、ＲＡＭ１０３上に確保される作業領域を用いて実行する。またＣＰＵ１０１は、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４等から画像処理プログラム等を読み出し、ＲＡＭ１０３上に確保される作業領域、ＣＰＵ１０１に設けられる１次および／または２次キャッシュを用いて実行する。
【００３３】
ＣＰＵ１０１は、上記したＲａｗデータ２０５に対して、光学補正処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理等を含む一連の画質補正処理を行うことが可能である。また、ＣＰＵ１０１は、所定のデータ圧縮方式により輝度データおよび色データを圧縮して記録用画像データを形成し、記録用画像データを伸張することで圧縮されたＲａｗデータ２０５を復元する。ここで、ＣＰＵ１０１は、処理実行部、進捗情報管理部、リソース情報取得部、処理優先度設定部、処理制御部として機能する。
【００３４】
ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムや処理に必要とされる各種のデータ等を記憶している。
【００３５】
ＲＡＭ１０３は、図示しない画像表示用のビデオＲＡＭ（ＶＲＡＭ）を含み、主に各種の処理が行なわれるための作業領域として利用される。
【００３６】
ＨＤＤ１０４は、ハードディスクを含み、ＣＰＵ１０１による制御に応じて、ハードディスクに対するデータの書込み／読出しを行う。
【００３７】
操作部１０５は、数字キー、文字キー、上下左右キー、各種のファンクションキー等を含んでおり、ユーザからの操作入力をＣＰＵ１０１に供給する。操作部１０５は、マウス等のポインティングデバイスを含んでもよい。この操作部１０５を介してユーザにより入力される操作入力に応じて、ＣＰＵ１０１が各部を制御し操作入力に応じた処理を行う。
【００３８】
表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示素子を有し、輝度データおよび色データから形成される画像信号に対応する画像を表示する。
【００３９】
記録媒体Ｉ／Ｆ１０７は、例えばメモリカード、光ディスク、光磁気ディスク等の記録媒体１１０に対するデータの書込み／読出しを行う。あるいは、記憶媒体Ｉ／Ｆ１０７及び記録媒体１１０として、ハードディスクを有するＨＤＤが用いられてもよい。
【００４０】
プリンタＩ／Ｆ１０８は、画像の印刷データ等をプリンタ１１１に出力する。
【００４１】
［情報処理装置の動作］
図６は、本実施形態に係る情報処理装置である、ＰＣ１００の処理を示すフローチャートである。ここでは撮像装置２００により生成された、試料３０５が配置された観察領域３０６の画像である試料画像のＲａｗデータファイルが、圧縮された状態でＰＣ１００のＨＤＤ１０４に記録されているものとする。
【００４２】
ＰＣ１００のＣＰＵ１０１は、ＨＤＤ１０４に記録されている試料画像のＲａｗデータファイルを伸張する。そして、Ｒａｗデータファイルに格納された試料画像のＲａｗデータ２０５を、伸張された状態でＲＡＭ１０３上の所定の格納領域に格納する。
【００４３】
ＣＰＵ１０１は、あらかじめ、ユーザの指示や工場調整によってキャリブレーション処理をする。キャリブレーション処理とは、撮像装置２００による校正用画像の撮像を伴う補正テーブル作成のための処理であり、交点抽出処理（ステップ１０１）及び整列処理（ステップ１０２）を含む。このキャリブレーション処理については後に詳しく説明する。
【００４４】
ＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、欠陥補正やＲａｗＮＲ（ノイズリダクション）等の光学補正処理を行う（ステップ１０３）。またＣＰＵ１０１は、試料画像のＲａｗデータ２０５に対して、デモザイク処理を行う（ステップ１０４）。デモザイク処理とは、Ｇ市松点順次で格納されている試料画像のＲａｗデータ２０５に対してＲＧＢを同時化する処理である。以後、試料画像の各画素は画像空間上で一致した位置にあるＲＧＢの３値により構成される。なお、本実施形態においては、ガンマ補正処理等の、ＲＧＢ同時化後ディストーション補正前に行われる処理も、このデモザイク処理に含まれるものとする。
【００４５】
ＣＰＵ１０１は、ユーザに、例えばユーザインターフェイス等を介して、ディストーション補正をするか否かの指示を仰ぐ（ステップ１０５）。ユーザからディストーション補正をする指示を受けると、ＣＰＵ１０１は、上記したキャリブレーション処理によって算出した補正テーブルに基づいてディストーション補正処理をする（ステップ１０６）。ディストーション補正処理とは、試料画像の形状の歪みを画素ごとに補正するための処理であり、詳しくは後述する。
【００４６】
ＣＰＵ１０１は、進捗フラグに従って未完の処理を判定する（ステップ１０７）。そして、未完の処理があれば、未完の処理がなくなるまで、処理を続ける（ステップ１０８）。本実施形態では、ディストーション補正後に行う処理は、全てこの工程で処理される。ＣＰＵ１０１により、処理された試料画像のＲａｗデータ２０５がエンコードされて（ステップ１０９）、画像処理が終わる。
【００４７】
［交点抽出処理］
図７は、図６に示すステップ１０１の交点抽出処理に用いられる、校正用画像を示す図である。
【００４８】
例えば、ユーザにより、操作部１０５のキャリブレボタンを介してキャリブレーション処理の指示が入力されたとする。そうすると撮像装置２００により、校正用パターンとしてのチェッカーパターン１を有する図示しない校正用被写体が撮影され、校正用画像２のＲａｗデータファイルが生成される。
【００４９】
校正用被写体は、例えば試料台３０４に載置されるスライドガラス上に配置される。あるいはチェッカーパターン１が描かれたスライドガラスが、校正用被写体として用いられてもよい。本実施形態では、光学顕微鏡３００により２０倍の倍率で表された校正用被写体の像が撮像装置２００により撮影され、サイズが６０×４０（Kpixel）となる校正用画像２が生成される。しかしながら、倍率や校正用画像２のサイズは適宜設定可能である。
【００５０】
本実施形態では、互いに直交する２軸方向であるｘ軸方向及びｙ軸方向で、それぞれ一定のサイズを有する明部３及び暗部４が交互にそれぞれ１以上配置されたチェッカーパターン１が撮影される。チェッカーパターン１の明部３の色は均一な白であり、暗部４の色は均一な黒である。また明部３及び暗部４の形状は、１辺のサイズが５０μｍの正方形である。しかしながら、明部３及び暗部４の色や形状は適宜設定可能である。
【００５１】
ＣＰＵ１０１は、撮影されるチェッカーパターン１の形状に基づいて、理論的なチェッカーパターン１’を算出し、ＨＤＤ１０４等に記憶させる。理論的なチェッカーパターン１’は、撮影されるチェッカーパターン１の形状に基づいて算出される。例えば、本実施形態では、光学顕微鏡３００の倍率、チェッカーパターン１の明部３及び暗部４の１辺のサイズ、及び撮像素子２０１の画素ピッチ（本実施形態では５．９４μｍ）に基づいて、以下の式により、理論的なチェッカーパターン１’の明部３’及び暗部４’の１辺のサイズが算出される。
【００５２】
【数１】
【００５３】
これにより、ＨＤＤ１０４には、チェッカーパターン１’の輝度変化点として、明部３’と暗部４’との境界にあたる交点５’の座標が記憶される。座標は、例えば図７に示すチェッカーパターン１’の左上等に基準となる原点Ｏ’を定め、その原点Ｏ’を基準とした座標が定められればよい。
【００５４】
校正用画像２のＲａｗデータファイルは、データ圧縮された状態でＰＣ１００のＨＤＤ１０４に記録される。なお、予め撮像装置２００により生成された校正用画像２のＲａｗデータファイルが、ＰＣ１００のＨＤＤ１０４に記憶されていてもよい。
【００５５】
光学顕微鏡３００の照明光学系３０２及び結像光学系３０３等の複雑な拡大光学系により、校正用画像２には、予測することができない複雑なディストーションが発生する。図７では、形状の歪みが複雑でない校正用画像２が図示されているが、これは本実施形態に係るディストーション補正処理について分かりやすく説明するためである。
【００５６】
ＣＰＵ１０１により、校正用画像２のＲａｗデータが伸張された状態でＲＡＭ１０３の所定の領域に格納される。そして校正用画像２のＲａｗデータに対して、図６に示すステップ１０２及び１０３で説明した光学補正処理及びデモザイク処理が行われる。これにより、校正用画像２は、理論的なチェッカーパターン１’に対比して、照明光学系３０２、試料台３０４に載置されるスライドガラス、及び結像光学系３０３等に起因する全ての形状の歪み成分が回転成分と平行移動成分と共に重畳された画像となる。ここでいう回転成分及び平行移動成分とは、例えば結像光学系３０３が有するレンズの取り付けに伴う公差や、撮像装置２００の取り付けに伴う公差、又は試料台３０４に載置されるスライドガラスの位置ずれ等に起因する成分である。
【００５７】
ＣＰＵ１０１は、６０×４０（Kpixel）のサイズでなる校正用画像２を、例えばLanczos等のフィルタにより、２５６×２５６（pixel）のサイズに縮小する。そしてＣＰＵ１０１は、縮小された校正用画像２’に対してフーリエ変換を行う。校正用画像２を縮小することで、フーリエ変換に要する演算量を少なくすることができる。しかしながら、縮小されない校正用画像２がフーリエ変換されてもよい。
【００５８】
図８は、フーリエ変換された校正用画像２’の、ｘ軸方向におけるスペクトルの周波数応答とその強度を示すグラフである。縮小された校正用画像２’のサイズは２５６×２５６（pixel）であるので、サンプリング周波数ｆｓは、ｆｓ＝２５６／２５６と考えることができる。そうするとナイキスト限界は、サンプリング周波数ｆｓの１／２なので、ｆｓ／２＝１２８／２５６となる。ＣＰＵ１０１は、ナイキスト限界ｆｓ／２よりも小さい周波数に着目し、スペクトルの強度が最も大きくなる周波数ｆｍａｘ＝１８／２５６を算出する。
【００５９】
周波数ｆｍａｘ＝１８／２５６の正弦波は、２５６(pixel)のサイズ内を１８回振動する正弦波となるので、その波長は２５６／１８(pixel)のサイズとなる。この正弦波を、６０×４０（Kpixel）のサイズでなる校正用画像２にあてはめると、その波長は以下の式で表されるように、３３３(pixel)となる。
【００６０】
【数２】
【００６１】
ＣＰＵ１０１は、校正用画像２の輝度分布の標準パターン情報として、正弦波状の曲面を表す関数ｚ（ｘ，ｙ）を生成する。関数ｚ（ｘ，ｙ）は、以下に示すように、波長が３３３(pixel)でなる正弦波ｓｉｎ（ｆｘ）及びｓｉｎ（ｆｙ）の積で表される。
【００６２】
【数３】
【００６３】
図９は、上記の関数ｚ（ｘ，ｙ）により表される正弦波状の曲面Ｚを説明するための図である。図９（Ａ）は、曲面Ｚをｘ軸、ｙ軸、及びｚ軸の座標系Ｃで示した図である。関数ｚ（ｘ，ｙ）に用いられるｓｉｎ（ｆｘ）は、ｘ＝０のときにｓｉｎ（ｆ０）が変曲点となるように設定されている。同様にｓｉｎ（ｆｘ）もｙ＝０のときにｓｉｎ（ｆ０）が変曲点となるように設定されている。従って、図９（Ａ）に示すように、曲面Ｚは、座標系Ｃの原点（０，０）で、ｚ（０，０）＝０となる曲面となる。
【００６４】
ここで関数ｚ（ｘ，ｙ）＞０となる（ｘ，ｙ）の範囲を、チェッカーパターンの明部に相当する範囲とし、関数ｚ（ｘ，ｙ）＜０となる（ｘ，ｙ）の範囲を、チェッカーパターンの暗部に相当する範囲とする。そうすると、図９（Ｂ）に示すように、関数ｚ（ｘ，ｙ）は、互いに直行するｘ軸方向及びｙ軸方向で、それぞれ３３３(pixel)／２＝１６６．５(pixel)のサイズでなる明部６及び暗部７を複数有するチェッカーパターン８を表すものとみなすことができる。また、図９（Ａ）に示す座標系Ｃの原点（０，０）は、チェッカーパターン８の交点９に相当する。
【００６５】
ＣＰＵ１０１は、校正用画像２及び曲面Ｚのマッチング処理のために、校正用画像２の各画素の輝度値と関数ｚ（ｘ，ｙ）とで畳み込み積分を行う。例えばＣＰＵ１０１は、校正用画像２と曲面Ｚとを、相対的な位置をずらしながら重ね合わせ、以下に示す相関値を算出する。
【００６６】
【数４】
【００６７】
ここで、Ｉ（ｘ’，ｙ’）は、校正用画像２上に定められた座標（ｘ’，ｙ’）に位置する画素の輝度値である。座標（ｘ’，ｙ’）は、図７に示すＨＤＤ１０４等に記憶された理論的なチェッカーパターン１’に定められた座標に対応している。すなわち校正用画像２の左上の点を原点とする座標である。一方関数ｚ（ｘ，ｙ）は、図９（Ａ）に示す座標系Ｃの座標である。上記の式では、校正用画像２と曲面Ｚとが重ね合わされたときに、座標系Ｃにおいて座標（ｘ，ｙ）で表される位置にある校正用画像２の画素の座標（ｘ’，ｙ’）が用いられる。従って、校正用画像２と曲面Ｚとの相対的な位置が変われば、座標（ｘ，ｙ）の位置にある画素も異なるものとなり、その座標（ｘ’，ｙ’）も変わることになる。
【００６８】
ＣＰＵ１０１は、算出された相関値が最も大きい値（極大値）となるときに、校正用画像２と曲面Ｚとが最もマッチングしていると判断する。そしてＣＰＵ１０１は、そのときの、座標系Ｃでみた原点（０，０）に対応する画素の座標（ｘ’，ｙ’）を、補正用輝度変化点としての交点１０（図７参照）の座標として判定する。これにより、校正用画像２から交点１０が抽出される。校正用画像２上の座標（ｘ’，ｙ’）と、座標系Ｃの座標（ｘ，ｙ）との関係については、その対応関係を把握できるのであれば適宜設定可能である。
【００６９】
上記マッチング処理は、関数ｚ（ｘ，ｙ）において、一定の範囲のｘ及びｙで表される曲面Ｚを用いて、校正用画像２上で局所的に行われてもよい。例えばその範囲を以下のように定める。
−１６６．５(pixel)≦ｘ≦１６６．５(pixel)
−１６６．５(pixel)≦ｙ≦１６６．５(pixel)
【００７０】
そうすると、関数ｚ（ｘ，ｙ）により、図９（Ａ）に示すような、チェッカーパターン８の明部６及び暗部７にそれぞれ相当する部分を２つずつ含む曲面Ｚが表現される。この曲面Ｚにより校正用画像２上で局所的にマッチング処理が行われることで、校正用画像２上の交点１０の座標を精度よく判定することができる。ｘ及びｙの範囲は適宜設定されてよい。
【００７１】
あるいは、校正用画像２全体にわたるような曲面Ｚにより、校正用画像２と曲面Ｚとが１回マッチング処理されることで、校正用画像２上の全ての交点１０の座標が一度に算出されてもよい。なお相関値を算出するための演算としては、校正用画像２と曲面Ｚとが重なる領域において、輝度値及び関数値の差の自乗を計算するといったもの等、上記で説明したものの他に、校正用画像２と曲面Ｚとの類似性を判断するための各種の演算が考えられる。
【００７２】
上記マッチング処理により、照明光学系３０２、試料台３０４に載置されるスライドガラス、及び結像光学系３０３等に起因する全ての形状の歪み成分が回転成分と平行移動成分と共に、校正用画像２上の交点１０として抽出される。例えば、６０×４０（Kpixel）からなる校正用画像２が撮像される場合、光学顕微鏡３００の照明光学系３０２及び結像光学系３０３等により定められる回折限界に起因して、校正用画像２内のエッジ部分がぼける場合がある。その場合、校正用画像２の各画素の輝度値のみに基づいて交点１０を判定するのは困難である。しかしながら本実施形態では、上記マッチング処理により校正用画像２の交点１０を高い精度で判定することができる。
【００７３】
ＣＰＵ１０１は、ＨＤＤ１０４等に記憶された理論的なチェッカーパターン１’の交点５’の座標と、各交点５’に対応する、抽出された校正用画像２上の交点１０の座標との差分を、歪みベクトル場として算出する。
【００７４】
図１０は、その歪みベクトル場を説明するための図である。以下の説明では、理論的なチェッカーパターン１’及び校正用画像２上の交点５’及び１０に着目する。従って図１０では、説明を分かりやすくするために、明部及び暗部についての図示が簡略化され、その数も少なくされている。また図１０では、校正用画像２として、形状が歪んだチェッカーパターンが図示されている。
【００７５】
図１０に示すように、ＣＰＵ１０１は、理論的なチェッカーパターン１’を、図中に示す左上の原点Ｏ’に対して回転成分のないものとして設定する。そして理論的なチェッカーパターン１’の各々の交点５’の座標と、対応する校正用画像２上の交点１０との差分を歪みベクトル場１１として算出する。そうすると歪みベクトル場１１は、結像光学系３０３等に起因する全ての形状の歪み成分が、回転成分及び平行移動成分と共に含まれるものとなる。
【００７６】
この歪みベクトル場１１を用いて、撮像装置２００により撮像される試料画像を補正することも可能である。しかしながら、歪みベクトル場１１が有する、試料画像の各画素に対する離散データ（各ベクトル１２）は座標の整数頂点に必ずしも対応するものではないので取り扱いが容易ではない。また６０×４０（Kpixel）ものサイズを有する試料画像を、回転成分と平行移動成分とを共に含む歪みベクトル場１１により補正することは、過大な演算量及びメモリ量が必要となる。また試料画像に対する補正量も多くなるので、高精度のディストーション補正を実現することが難しい。
【００７７】
そこで本実施形態ではＣＰＵ１０１により、以下に説明する整列処理（図６に示すステップ１０２）が行われる。
【００７８】
［整列処理］
整列処理とは、ガウス関数等の評価関数により、歪みベクトル場１１から、回転成分と平行移動成分とを抽出し、これの逆写像をかけることにより理論的なチェッカーパターン１’の交点５’に対応した空間位置でリサンプリングを行う処理である。
【００７９】
本実施形態では、以下に示す関数を用いることで整列処理が行われる。
【００８０】
【数５】
【００８１】
図１１〜図１３は、上記関数を用いた整列処理を詳しく説明するための図である。まず、ＣＰＵ１０１により、図１１に示す歪みベクトル場１１内の複数のベクトル１２についての平均ベクトル１３が算出される。そして、歪みベクトル場１１の各ベクトル１２から平均ベクトル１３が減算される。これにより、歪みベクトル場１１から平行移動成分がのぞかれ、図１１に示す中間歪みベクトル場１４が生成される。この中間歪みベクトル場１４は、回転成分が残留したベクトル場となる。
【００８２】
図１２に示すように、ＣＰＵ１０１により、中間歪みベクトル場１４の各ベクトル１５が極座標に変換され、変換後の中間歪みベクトル場１４’が生成される。中間歪みベクトル場１４’の各ベクトル１５’は、回転成分を表す角度方向の成分と、校正用画像２の中心に対応する位置から半径方向に拡散する成分とで表される。
【００８３】
ＣＰＵ１０１により、極座標で表された複数のベクトル１５’についての平均ベクトル１６が算出される。平均ベクトル１６は、角度成分すなわち回転成分１７と拡散成分１８とに分解される。分解された回転成分１７及び拡散成分１８のうち回転成分１７が抽出され、変換後の中間歪みベクトル場１４’の各ベクトル１５’から回転成分１７が減算される。これにより、極座標で表された補正用ベクトル１９を複数有する補正用ベクトル場２０が生成される。この補正用ベクトル場２０の各補正用ベクトル１９が極座標から元の座標に戻され、補正用ベクトル２１を複数有する補正用ベクトル場２２が算出される。補正用ベクトル場２２は、結像光学系３０３等に起因する全ての形状の歪み成分から回転成分及び平行移動成分をのぞいた成分を有するものとなる。
【００８４】
図１３に示すように、理論的なチェッカーパターン１’に対応した空間位置に、回転成分及び平行移動成分をのぞいた歪み成分を有する校正用画像２が設定されたとする。そうすると補正用ベクトル場２２は、チェッカーパターン１’上の交点５’の座標と、校正用画像２上の交点１０の座標との差分により表されるベクトル場に相当する。補正用ベクトル場２２は、ＨＤＤ１０４等に記憶され、あるいはＲＡＭ１０３の所定の格納領域に格納され、ＣＰＵ１０１により補正テーブルとして用いられる。
【００８５】
例えば、照明光学系３０２や結像光学系３０３の設計変更、撮像装置２００の取り付け、あるいは経年変化等により、キャリブレーション処理の更新が必要となることがある。こような場合にも、例えばユーザからのキャリブレーションの指示により上記の交点抽出処理及び整列処理が行われ、補正用ベクトル場２２の補正テーブルが生成される。
【００８６】
［ディストーション補正処理］
図１４は、図６に示すステップ１０６のディストーション補正処理の方法について説明するための図である。
【００８７】
ＣＰＵ１０１は、ＨＤＤ１０４等に記憶された補正用ベクトル場２２の補正テーブルから試料画像２３の各画素２４の座標に応じた逆マップ２５を算出する。例えば図１４に示すように、試料画像２３上の画素２４ａが、交点抽出処理により判定された校正用画像２上の交点１０と同じ座標を有するとする。この場合、補正用ベクトル場２２が有する、当該交点１０に対応した補正用ベクトル２１の逆ベクトルを逆マップ２５ａとして算出する。そして逆マップ２５ａに基づいて、試料画像２３上の画素２４ａに対する補正後の画素２６ａの座標が算出される。補正後の画素２６ａの座標は、図１３に示すように理論的なチェッカーパターン１’及び校正用画像２が設定された際の、チェッカーパターン１’上の交点５’の座標に相当する。
【００８８】
一方、校正用画像２上の交点１０と異なる座標を有する画素２４ｂに対しては、複数の補正用ベクトル２１に対応した複数の逆マップ２５ａで補間することにより、画素２４ｂに応じた逆マップ２５ｂが算出される。本実施形態では、画素２４ｂの周囲で最も近い位置にある４つの画素２４ａに応じた４つの逆マップ２５ａが用いられる。画素２４ｂと、その周囲に位置する４つの画素２４ａとのそれぞれの距離に応じて、各逆マップ２５ａの割合が定められ、それらを足し合わせたものが画素２４ｂに応じた逆マップ２５ｂとして算出される。算出された逆マップ２５ｂに基づいて、画素２４ｂに対する補正後の画素２６ｂの座標が算出される。
【００８９】
試料画像２３上の画素２４ｂに応じた逆マップ２５ｂの補間については、例えば試料画像２３上の画素２４ａから一定の範囲内にある画素２４ｂについては、画素２４ａに応じた逆マップ２５ａがそのまま用いられるような補間方法でもよい。その他、各種の補間方法を採用可能である。また複数の補正用ベクトル２１により、校正用画像２上の交点１０以外の画素に応じた補正用ベクトルが補間され、その逆ベクトルが試料画像２３上の画素２４ｂに応じた逆マップ２５ｂとして用いられてもよい。
【００９０】
ＣＰＵ１０１は、算出された補正後の画素２６ａ及び２６ｂの座標に位置する画素に、補正前の画素２４ａ及び２４ｂの輝度値を上書きする。これにより試料画像２３のディストーションが補正される。ここで補正される歪み成分は、照明光学系３０２、スライドガラス及び結像光学系３０３等に起因する全ての形状の歪み成分から回転成分及び平行移動成分をのぞいた成分である。
【００９１】
図１５は、上記補正用ベクトル場２２を用いて校正用画像２を補正した際の、理論的なチェッカーパターン１’との比較結果を示す図である。
【００９２】
図１５に示す、補正後の校正用画像２７上の各交点２８から延びるベクトル２９は、理論的なチェッカーパターン１’の交点５’からのずれ量を示している。このずれ量の大きさを算出すると、最大ずれ量は１．９(pixel)であり、平均ずれ量は０．６(pixel)であった。また各交点２８から延びるベクトル２９の方向に規則性は見られなかった。すなわち本実施形態に係るディストーション補正処理により、６０×４０（Kpixel）ものサイズを有する校正用画像２に対して、規則性のない複雑なディストーションが平均ずれ量０．６(pixel)の誤差、すなわち１(pixel)以内の誤差で補正されていることが分かる。
【００９３】
光学顕微鏡３００の光学系の仕組みは複雑であり、数十回の組立公差が重なり合う。また光学系には、ミラーやプリズム等の、光軸中心に対して点対称でない光学系も多数用いられる。従って上記したように撮像される試料画像２３には、複雑なディストーションが発生する。また光学顕微鏡３００が有する被写界深度の狭い撮像光学系では、光源３０１からの光の放射角や照明絞りにより試料からの光が並行ではなく一定の角度を持つ。かつ、試料はスライドガラス等の屈折率の異なるガラス越しに撮影される。このためハレーションのような光軸中心非対称な画像の形状の歪みも重ねて発生する場合がある。従って、歪み中心からの距離に基づいた数式を用いて試料画像２３のディストーションを補正することは困難である。また撮像条件に基づいたシミュレーション値からディストーション補正のための数式を適宜設定しようとしても、シミュレーション不可能なディストーションが発生する可能性が高いので高精度のディストーション補正は難しい。
【００９４】
しかしながら、本実施形態に係る情報処理装置であるＰＣ１００では、チェッカーパターン１を有する校正用被写体が撮影され、校正用画像２が生成される。また校正用画像２の輝度分布に関する標準パターン情報として、正弦波状の曲面Ｚを表す関数ｚ（ｘ，ｙ）が生成される。そして校正用画像２の各画素の輝度値と、関数ｚ（ｘ，ｙ）の値とのマッチング処理により、校正用画像２上の交点１０が高い精度で判定される。これにより、校正用画像２上の交点１０に基づいて算出される歪みベクトル場１１及び補正用ベクトル場２２の精度も高いものとなる。この結果、撮像装置２００により撮像された試料画像２３に予測することが難しい複雑なディストーションが発生しても、それを高精度に補正することができる。これにより、試料画像２３の諧調性向上、解像感向上、ダイナミックレンジ拡大、あるいは色再現向上等を図ることができる。
【００９５】
また本実施形態では、算出された歪みベクトル場１１から平行移動成分と回転移動成分とをのぞく成分が補正用ベクトル場２２として算出される。図２に示すように撮像装置２００により撮影される試料３０５は、試料台３０４上に載置される。従って試料画像２３には、光軸方向における歪み、すなわち奥行き成分の歪みは発生しない。従って、歪みベクトル場１１から平行移動成分及び回転移動成分をのぞくことができる。これにより、撮像装置２００により撮像される試料画像２３に対する補正量を少なくすることができ、高精度の画像補正が実現する。
【００９６】
また１つの試料３０５の各部分が撮像された複数の画像がスティッチング処理される場合、各画像に対して本実施形態に係るディストーション補正処理が行われる。上記したように歪みベクトル場１１から平行移動成分及び回転移動成分がのぞかれるので、各画像には平行移動成分及び回転成分が残留することになる。しかしながら、各画像に対して等しい量の平行移動成分及び回転成分が残留することになるので、各画像に対するスティッチング処理は適正に行われる。従って、本実施形態に係るディストーション補正処理は、精度の高い画像補正が求められるスティッチング処理において、十分に効果を奏することができ有効である。
【００９７】
さらに本実施形態では、例えば光源３０１、照明光学系３０２及び結像光学系３０３等が定められた所定の撮影条件における補正用ベクトル場２２の補正テーブルがＨＤＤ１０４等に記憶される。従って、同じ撮影条件で新たな試料が撮像される際に、改めて校正用画像２が撮像され、補正用ベクトル場２２が算出される必要がなく、ＨＤＤ１０４に記憶されている補正テーブルに基づいて、試料画像を高精度に補正することができる。これによりディストーション補正処理に要する処理時間を短くすることができる。
【００９８】
補正テーブルは、ユーザの指示によりロードされてもよいし、自動的にロードされてもよい。例えば、上記したようなスティッチング処理が行われる場合、試料の各部分が撮像されるごとに、補正テーブルが自動的にロードされれば、ユーザの利便性が高くなる。
【００９９】
＜第２の実施形態＞
本発明の第２の実施形態に係る情報処理装置について説明する。これ以降の説明では、第１の実施形態で説明した撮像システム４００に用いられる各種の装置やデータ等と同様なものについては、その説明を省略又は簡略化する。
【０１００】
図１６は、本実施形態に係る校正用画像２に対する処理について説明するための図である。本実施形態では、ＣＰＵにより校正用画像２を複数の領域に分割する分割領域３０ごとに、フーリエ変換が行われる。そして、分割領域３０ごとにスペクトルの強度が最も大きい周波数が算出され、その周波数を用いて正弦波状の曲面を表す関数が生成される。ＣＰＵは、生成された関数を用いて、分割領域３０ごとに、その領域内の交点１０の座標を算出する。
【０１０１】
このように、複雑なディストーションを有する校正用画像２の分割領域３０ごとに、正弦波状の曲面を表す関数が生成される。これにより交点１０の座標を判定するためのマッチング処理に最適な関数を生成することができる。この結果、分割領域３０内の交点１０の座標を高い精度で判定することができる。
【０１０２】
分割領域３０のサイズや数は適宜設定可能である。必要とされる演算量、演算速度、及び交点１０の座標の判定精度等を考慮したうえで、所定のサイズ及び数の分割領域３０が設定されればよい。また、複数の分割領域３０は、例えば１画素分重なるように設定される等、互いに重なる領域を有するように設定されてもよい。あるいは、校正用画像２上の所定の領域を含む分割領域３０のみがフーリエ変換され、正弦波状の曲面を表す関数が生成されてもよい。フーリエ変換されない分割領域３０については、フーリエ変換された分割領域３０に基づいて生成された関数とマッチング処理され、領域内の交点１０の座標が判定されればよい。これにより、交点抽出処理に要する処理時間を短くすることができる。
【０１０３】
ＣＰＵにより、分割領域３０ごとに判定された交点１０の座標に基づいて、図１０に示す歪みベクトル場１１が生成され、以下第１の実施形態と同様に整列処理及びディストーション補正処理が行われる。
【０１０４】
ＣＰＵにより、分割領域３０ごとに歪みベクトル場が生成され、その歪みベクトル場に基づいて、分割領域３０ごとに補正用ベクトル場が算出されてもよい。ＣＰＵは、撮像装置２００により撮像された試料画像を、上記分割領域３０に対応するように、複数の分割領域に分割する。そして、分割領域３０ごとに生成された補正用ベクトル場を用いることで、試料画像上の分割領域ごとにディストーション補正処理を行う。このように、試料画像上の複数の分割領域ごとにディストーション補正が行われることで、例えば６０×４０（Kpixel）のサイズからなる、大容量のデータ量を有する試料画像が補正される場合でも、ＰＣのＣＰＵやＲＡＭ等の処理リソースに対する負荷が軽減され、一定の処理速度の向上が図られる。
【０１０５】
上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
【０１０６】
＜その他の実施形態＞
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
【０１０７】
上記の各実施形態では、情報処理装置としてＰＣを一例に挙げて説明した。しかしながら、例えば図１で示す撮像装置２００により、交点抽出処理、整列処理、又はディストーション補正処理の一部あるいは全部の処理が行われてもよい。この場合、撮像装置２００及びＰＣ１００が本発明の実施形態に係る情報処理装置として用いられる。さらに、例えば光学顕微鏡の機能を有するスキャナ装置等が、図１で示す光学顕微鏡３００、撮像装置２００、ＰＣ１００の機能をあわせ持つ、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられてもよい。
【０１０８】
また、図１７に示すように、本発明の実施形態として用いられるスキャナ装置５００により生成された校正用画像や試料画像のＲａｗデータが、ＰＣ１００とは別のコンピュータやサーバ６００に記憶され、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバ６００にアクセスしてそのＲａｗデータを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ６００等とがＬＡＮまたはＷＡＮ等のネットワーク７００を介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。
【０１０９】
第１の実施形態では、図８のグラフに示すように、校正用画像２がｘ軸方向でフーリエ変換されることで算出された、スペクトルの強度が最も大きい周波数を用いて、正弦波状の曲面Ｚを表す関数ｚ（ｘ，ｙ）が生成された。しかしながら、校正用画像２がｙ軸方向でフーリエ変換されることで算出された、スペクトルの強度が最も大きい周波数が用いられてもよい。あるいは、関数ｚ（ｘ，ｙ）として、ｘ軸方向で算出された周波数の正弦波と、ｙ軸方向で算出された周波数の正弦波との積が用いられてもよい。
【０１１０】
上記では、交点抽出処理及び整列処理が予め行われる場合について説明した。しかしながら、交点抽出処理又は整列処理の一部あるいは全部が、ディストーション補正処理と同時に行われてもよい。この場合、試料を保持するために用いられるスライドガラスに、校正用パターンを有する校正用被写体が備えられてもよい。
【０１１１】
上記では、校正用パターンとして、チェッカーパターンが用いられた。この他、校正用パターンとしては、例えばドットパターンやＭＴＦ（Modulation Transfer Function）パターン等が挙げられる。
【０１１２】
上記では、交点抽出処理、整列処理、及びディストーション補正処理が光学補正処理やデモザイク処理の後に行われる場合について説明した。しかしながら、交点抽出処理、整列処理、及びディストーション補正処理は、その全て、もしくはその一部が光学補正処理やデモザイク処理の前に行われてもよい。
【０１１３】
上記では、校正用画像の交点を判定するために、校正用画像の各画素の輝度値と、正弦波状の曲面を表す関数の値との相関値が計算された。しかしながら、交点判定のために、校正用画像と、校正用画像をずらした画像とがマッチング処理されてもよい。また、交点判定のためのマッチング処理に、パターン認識や学習回路等のアルゴリズムが用いられてもよい。
【０１１４】
上記では、整列処理後の補正用ベクトル場の補正テーブルが作成された。しかしながら、例えば整列処理前の歪みベクトル場の補正テーブルが作成され、ディストーション補正処理が行われる際に、読み出された歪みベクトル場に整列処理が行われてもよい。また、補正用ベクトル場の各ベクトルの逆ベクトルが、逆マップとして記憶された補正テーブルが作成されてもよい。
【０１１５】
また、補正用テーブルとして、補間された補正用ベクトルを含む、試料画像の各画素に対応する補正用ベクトル全体が記憶されたものが作成されてもよい。あるいは、周辺画素と平滑化した上で、補正用ベクトル場が補正テーブルとして記憶されてもよい。その他、フーリエ変換し、数式、もしくは係数が用いられることで、補正テーブルが作成されてもよい。
【０１１６】
上記で説明した補正用ベクトル場は、試料画像の各画素に対してＲＧＢごとに算出されてもよい。あるいは、カラーフィルタに対応したＲＧｒＧｂＢごとに算出されてもよい。
【０１１７】
また、Ｚ位置、観察領域に対する撮影位置、照明光学系、結像光学系、試料、センサー、撮像装置、画像処理方法、温度、視野絞り、露光時間、アナログゲイン設定値、露出補正設定値、彩度設定値、あるいは倍率設定値等が変更されるたびにキャリブレーション処理が行われ、補正用ベクトル場の補正テーブルが作成されてもよい。
【０１１８】
上記では、補正用ベクトル場の補正用ベクトルが全て用いられたが、処理時間の短縮や演算量の軽減のために、補正用ベクトルが間引かれてもよい。例えば、所定の範囲内にある複数の画素に対しては、同じ補正用ベクトルが割り当てられることで、ディストーション補正処理に用いられる補正用ベクトルの数を少なくしてもよい。
【０１１９】
上記では、図３に示す撮像装置２００により、校正用画像及び試料画像のＲａｗデータを含むＲａｗデータファイルが作成された。しかしながら、撮像装置２００により、Ｒａｗデータに画像処理が行われてもよいし、撮像装置２００を特定する情報や撮影条件を特定する情報等の各種のデータを含んだＲａｗデータファイルが作成されてもよい。また、それらの各種のデータが、交点抽出処理、整列処理、又はディストーション補正処理のために用いられてもよい。
【０１２０】
また、上記で説明した、各画像のＲａｗデータ、補正テーブル、又はディストーション補正処理等が行われた試料画像が、キャリブレーション処理時、又はディストーション補正処理時に利用される統計データや校正データ等をとるために用いられてもよい。
【０１２１】
上記では、撮像装置によりチェーカーパターンを有する被写体が撮影され、校正用画像が生成された。しかしながら、例えば８０％グレー等の均一な被写体に、チェッカーパターンな光源により照明光が照射され、その状態の被写体が撮影されて校正用画像が生成されてもよい。また理想のディストーション特性を有するように、校正用画像が撮像されてもよい。
【符号の説明】
【０１２２】
１…チェッカーパターン
１’…理論的なチェッカーパターン
２…校正用画像
３…チェッカーパターンの明部
３’…理論的なチェッカーパターンの明部
４…チェッカーパターンの暗部
４’…理論的なチェッカーパターンの暗部
５’…理論的なチェッカーパターンの交点
１０…校正用画像の交点
２２…補正用ベクトル場
２３…試料画像
３０…分割領域
１００…ＰＣ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ＨＤＤ
１１０…ＰＣの記録媒体
２００…撮像装置
３００…光学顕微鏡
４００…撮像システム
５００…スキャナ装置
６００…サーバ
【特許請求の範囲】
【請求項１】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する第１の記憶手段と、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する生成手段と、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する判定手段と、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する第１の算出手段と、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する第２の算出手段と、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する補正手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記第２の算出手段により算出された前記補正用ベクトル場を記憶する第２の記憶手段をさらに具備し、
前記補正手段は、前記第２の記憶手段により記憶された前記補正用ベクトル場を用いて前記画像を補正する
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記生成手段は、前記校正用画像が複数の領域に分割されて得られる分割領域ごとに、各前記分割領域の輝度情報に関する前記標準パターン情報をそれぞれ生成し、
前記判定手段は、前記分割領域の輝度分布と前記分割領域ごとに生成された前記標準パターン情報とのマッチング処理により、前記分割領域ごとに前記補正用輝度変化点の座標を判定する
情報処理装置。
【請求項４】
請求項１〜３のうちいずれか１項に記載の情報処理装置であって、
前記校正用パターンは、前記２軸方向でそれぞれ一定のサイズを有する明部及び暗部が交互にそれぞれ１以上配置されたチェッカーパターンでなり、
前記第１の記憶手段は、前記チェッカーパターン上の前記明部と前記暗部との境界にあたる複数の交点の各座標を記憶し、
前記生成手段は、前記校正用画像をフーリエ変換することで、前記２軸方向のそれぞれにおいて、スペクトルの強度が最も大きい周波数を算出し、前記算出された前記２軸方向の各前記周波数のうち少なくとも１つを用いて前記標準パターン情報を生成し、
前記判定手段は、前記校正用画像の各画素の輝度値と前記標準パターン情報との相関値を計算することで、前記校正用画像上の明部と暗部との境界にあたる複数の交点の各座標を判定する
情報処理装置。
【請求項５】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶し、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成し、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定し、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出し、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出し、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する
ことを情報処理装置が実行する情報処理方法。
【請求項６】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶し、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成し、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定し、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出し、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出し、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する
ことを情報処理装置に実行させるプログラム。
【請求項７】
光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する記憶手段と、
前記撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する生成手段と、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する判定手段と、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する第１の算出手段と、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する第２の算出手段と、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する補正手段と
を具備する、光学顕微鏡を搭載した撮像装置。
【請求項１】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する第１の記憶手段と、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する生成手段と、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する判定手段と、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する第１の算出手段と、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する第２の算出手段と、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する補正手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記第２の算出手段により算出された前記補正用ベクトル場を記憶する第２の記憶手段をさらに具備し、
前記補正手段は、前記第２の記憶手段により記憶された前記補正用ベクトル場を用いて前記画像を補正する
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記生成手段は、前記校正用画像が複数の領域に分割されて得られる分割領域ごとに、各前記分割領域の輝度情報に関する前記標準パターン情報をそれぞれ生成し、
前記判定手段は、前記分割領域の輝度分布と前記分割領域ごとに生成された前記標準パターン情報とのマッチング処理により、前記分割領域ごとに前記補正用輝度変化点の座標を判定する
情報処理装置。
【請求項４】
請求項１〜３のうちいずれか１項に記載の情報処理装置であって、
前記校正用パターンは、前記２軸方向でそれぞれ一定のサイズを有する明部及び暗部が交互にそれぞれ１以上配置されたチェッカーパターンでなり、
前記第１の記憶手段は、前記チェッカーパターン上の前記明部と前記暗部との境界にあたる複数の交点の各座標を記憶し、
前記生成手段は、前記校正用画像をフーリエ変換することで、前記２軸方向のそれぞれにおいて、スペクトルの強度が最も大きい周波数を算出し、前記算出された前記２軸方向の各前記周波数のうち少なくとも１つを用いて前記標準パターン情報を生成し、
前記判定手段は、前記校正用画像の各画素の輝度値と前記標準パターン情報との相関値を計算することで、前記校正用画像上の明部と暗部との境界にあたる複数の交点の各座標を判定する
情報処理装置。
【請求項５】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶し、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成し、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定し、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出し、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出し、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する
ことを情報処理装置が実行する情報処理方法。
【請求項６】
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶し、
光学顕微鏡により得られる像を撮影することが可能な撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成し、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定し、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出し、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出し、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する
ことを情報処理装置に実行させるプログラム。
【請求項７】
光学顕微鏡と、
前記光学顕微鏡により得られる像を撮影することが可能な撮像手段と、
互いに直交する２軸方向にそれぞれ輝度が規則的に変化する輝度分布を有する校正用パターンの、前記輝度が変化する複数の輝度変化点の各座標を記憶する記憶手段と、
前記撮像手段により前記校正用パターンが撮影されることで生成された校正用画像の輝度分布に関する標準パターン情報を生成する生成手段と、
前記校正用画像の輝度分布と前記生成された標準パターン情報とのマッチング処理により、前記校正用パターンの各々の前記輝度変化点に対応する前記校正用画像の輝度変化点の座標を補正用輝度変化点の座標としてそれぞれ判定する判定手段と、
前記記憶された前記輝度変化点の座標と、当該輝度変化点に対応して前記判定手段により判定された前記補正用輝度変化点の座標との差分を、歪みベクトル場として算出する第１の算出手段と、
前記歪みベクトル場から平行移動成分と回転成分とをのぞく成分を補正用ベクトル場として算出する第２の算出手段と、
前記算出された補正用ベクトル場を用いて、前記撮像手段により撮像される画像を補正する補正手段と
を具備する、光学顕微鏡を搭載した撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図７】
【図９】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図７】
【図９】
【図１６】
【公開番号】特開２０１１−１８８０８３（Ｐ２０１１−１８８０８３Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９０２０（Ｐ２０１０−４９０２０）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]