ラインスキャン型の画像処理装置
【課題】 様々なパターンを有する画像に対して適切な判別や処理が可能であり、パターン特性等を様々な方向に関してバランス良く検出することができる画像処理装置を提供すること。
【解決手段】 Ｘ方向のラインデータＬＤ１のみならず、直交するＹ方向のラインデータＬＤ２についても空間周波数スペクトルを得ることができるので、対象画像について全体として方向的に偏りのないデータを得ることができ、様々な方向に多様なパターンを持つ拡大像に対しても適切な判定や処理が可能になり、画像合成処理の精度を高めることができる。
【解決手段】 Ｘ方向のラインデータＬＤ１のみならず、直交するＹ方向のラインデータＬＤ２についても空間周波数スペクトルを得ることができるので、対象画像について全体として方向的に偏りのないデータを得ることができ、様々な方向に多様なパターンを持つ拡大像に対しても適切な判定や処理が可能になり、画像合成処理の精度を高めることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フーリエ変換を用いたラインスキャン型の画像処理装置に関し、特に２次元的な高速フーリエ変換によって画像の状態を検出することができ、様々な画像処理を可能にするラインスキャン型の画像処理装置に関する。
【背景技術】
【０００２】
フーリエ変換を用いた画像処理装置として、例えば入力された画像から所定のパターン画像を検出する、所謂パターンマッチング処理を行う画像処理装置が存在する（特許文献１参照）。この画像処理装置では、ディザ処理された画像であるか否かの判別結果に応じてパターンマッチング処理を施すことによって、画像の品質を落とすことなく適切な画像処理ができるようにしている。この際、ディザ処理された画像であるか否かを判定するため、画像データに対して一次元高速フーリエ変換を施すことによって得たパワースペクトルを利用している。
【０００３】
また、画像データに対してフーリエ変換を施す方法として、一般的に２次元高速フーリエ変換と呼ばれているものが知られている（非特許文献１参照）。この方法では、画像に対して例えば横方向に一次元高速フーリエ変換を施し、その結果について縦方向に一次元高速フーリエ変換を施す。このような二段階の高速フーリエ変換により、一次元の情報に偏らないスペクトルが得られる。
【特許文献１】特開平９−４４６７５号公報
【非特許文献１】「ディジタル画像処理」、第１４，１５頁、Arriel Rosenfeld著、長尾真監訳、近代科学社（１９９９年５月、初版第１７刷発行）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一次元高速フーリエ変換によって得たパワースペクトルを利用する前者の方法では、画像の特定方向に関する変動のパワースペクトルすなわち特定方向のパターンの有無や程度を判定できるだけであり、様々な方向に多様なパターンを持つ画像の判別や処理には適しない。
【０００５】
また、高速フーリエ変換を二段階で繰返してスペクトルを得る後者の方法では、画像中に含まれる２次元的情報を正確に反映したスペクトルが得られない場合がある。つまり、後者の方法では、例えば横方向に繰返され縦方向に変化しないパターン（具体的には、縦縞）を有する画像について、スペクトルを検出することができなくなる。
【０００６】
そこで、本発明は、様々なパターンを有する画像に対して適切な判別や処理が可能であり、パターン特性等を様々な方向に関してバランス良く検出することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るラインスキャン型の画像処理装置は、（ａ）２次元的な画像データを取り込んで保持する保持手段と、（ｂ）保持手段に取り込まれた画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出するスキャン手段と、（ｃ）スキャン手段によって抽出された一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するフーリエ変換手段とを備える。
【０００８】
上記画像処理装置では、スキャン手段が画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出し、フーリエ変換手段が２方向に関する一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するので、対象とする画像データから２方向に関する空間周波数スペクトルをいずれも得ることができる。このような２方向の空間周波数スペクトルは、方向的に偏りのない或いは偏りが少ないものであるから、様々な方向に多様なパターンを持つ対象画像に対して適切な判定や処理が可能になり、画像処理の精度を高めることができる。
【０００９】
また、本発明の具体的な観点又は態様では、上記画像処理装置において、一群のラインデータに対してフーリエ変換を施す前に、当該一群のラインデータの連続的な繰返しを可能にする所定の窓関数を用いた演算処理を当該一群のラインデータに対して施す窓関数手段をさらに備える。この場合、各ラインデータについてそれぞれを連続的に繰返させた無限長のデータを生成することができるので、ラインデータのデータ長が短い場合であっても、フーリエ変換精度の向上を図ることができる。
【００１０】
また、本発明の具体的な態様では、所定の窓関数が、窓の両端で一群のラインデータの滑らかな繰返しを可能にする。この場合、滑らかなデータによって、フーリエ変換精度のさらなる向上を図ることができる。
【００１１】
また、本発明に係るラインスキャン型の画像処理装置の具体的な態様では、所定の窓関数が、窓幅を１／２周期とする第１の三角関数と、窓幅を１／４周期とする第２の三角関数とを所定の重み付けで加算したものである。この場合、基本的には第１の三角関数によって、各ラインデータを繰返す際に始点と終点とを段差なく連続的につなげることができる。また、第２の三角関数によって、各ラインデータの始点近傍の勾配と終点近傍の勾配とを小さくすることができ、繰返されるラインデータのつなぎ目を滑らかにすることができる。以上により、空間周波数スペクトル中の高周波成分に雑スペクトルが発生することを効果的に防止でき、結果的に、フーリエ変換精度を向上させることができる。
【００１２】
また、本発明の具体的な態様では、フーリエ変換手段が、所定の窓関数が空間周波数スペクトルに与える影響を抑える波位相処理を、一群のラインデータに施す補正手段を有する。この場合、所定の窓関数を利用した処理によって生じた空間周波数スペクトルへの影響を相殺するような補正が可能になる。
【００１３】
また、本発明の具体的な態様では、補正手段が所定の窓関数の窓幅に対応する周期のスペクトル成分を選択的に減衰させるので、所定の窓関数の窓幅の逆数によって与えられる周期として現れやすいスペクトル成分を除去することができ、有限のデータから高精度でフーリエ変換を行うことができる。
【００１４】
また、本発明の具体的な態様では、一群のラインデータから定常レベル（直流成分等）を除くレベル調整手段をさらに備える。この場合、画像中の非定常的な変動である各パターンについて輝度振幅を正確に反映した空間周波数スペクトルを得ることができ、負の値をとらない画像データについても、正確なフーリエ変換が可能なる。
【００１５】
また、本発明の具体的な態様では、空間周波数スペクトルから高周波のスペクトル成分側を優先的に検出する検出手段をさらに備える。この場合、変化が激しい画像すなわちパターンがより細かい画像の判定が可能になる。
【００１６】
また、本発明の具体的な態様では、検出手段は、空間周波数スペクトルに対して高周波のスペクトル成分側で値が増大する係数をかける係数処理手段である。この場合、高周波成分の抽出がより簡易となる。
【００１７】
また、本発明の具体的な態様では、（ａ）保持手段が、複数の画像の対応する切出領域から切り出した複数の画像データを保持し、（ｂ）フーリエ変換手段は、複数の画像データのそれぞれに対して一群の空間周波数スペクトルを算出し、（ｃ）一群の空間周波数スペクトルのうち高周波のスペクトル成分の割合が相対的に高い高密度スペクトルに対応する画像データを選択する選択手段をさらに備える。この場合、複数の画像について、特定の切出領域から切り出した複数の画像データのうちパターンが細かい画像データを簡易に選択することができる。
【００１８】
また、本発明の具体的な態様では、複数の画像の切出領域を変更する領域変更手段と、領域変更手段によって変更された新たな切出領域についてスキャン手段及びフーリエ変換手段による処理を行わせるとともに、選択手段によって高密度スペクトルに対応する画像データを選択させる選択繰返手段と、選択手段によって順次選択された複数の画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成手段とをさらに備える。この場合、複数の画像から各箇所ごとに比較的パターンが細かい画像データを選択し、これらをつなぎ合わせて１つの合成画像を得ることができる。
【００１９】
また、本発明の具体的な態様では、選択手段が、高周波のスペクトル成分の割合が相対的に高い複数の高密度スペクトルを特定するとともに、選択繰返手段の動作に伴って画像データの選択を繰返す際に、複数の高密度スペクトルに対応する複数の画像データのうち切出領域の周辺の画像領域について既に選択している画像データと連続する画像データがあれば、当該連続する画像データを優先的に選択する。この場合、画像の合成に際してなるべくつなぎ目を少なくすることができ、つなぎ目の少ない滑らかな合成画像を得ることができる。
【００２０】
また、本発明の具体的な態様では、複数の画像が、フォーカス状態を多段階で切り替えつつ対象を撮影したものである。この場合、立体的対象に対して各部でピントの合った合成写真を得ることができ、擬似的に焦点深度を深くした画像を得ることができる。
【００２１】
また、本発明の具体的な態様では、フーリエ変換手段が、一群のラインデータに対して離散フーリエ変換を施す。この場合、画像データをデジタルデータとして処理することになり、結果として、高速フーリエ変換によって効率的な画像処理が可能になる。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明に係る画像処理装置の一実施形態を組み込んだ撮影装置１００の構造を概念的に説明するブロック図である。
【００２３】
この撮影装置１００は、顕微鏡本体１０と、顕微鏡駆動装置２０と、カメラ３０と、インターフェース装置４０と、制御装置５０とを備える。
【００２４】
ここで、顕微鏡本体１０は、図示を省略しているが、撮影対象を載置するステージと、対物レンズ等からなる拡大光学系と、対象を照明するための照明装置とを備える。
【００２５】
顕微鏡駆動装置２０は、顕微鏡本体１０の対物レンズ等を駆動して拡大光学系による結像状態を調節する。具体的には、例えば対物レンズを光軸に沿って適宜移動させて、カメラ３０に入射する画像のピント状態を多段階で或いは連続的に変化させる。
【００２６】
カメラ３０は、ＣＣＤ等からなる固体撮像装置を内蔵する。この固体撮像装置で検出された画像は、例えばデジタル画像信号として、インターフェース装置４０側にタイミングで出力される。
【００２７】
インターフェース装置４０は、カメラ３０や顕微鏡駆動装置２０と、制御装置５０との間に介在してデータ信号や指令信号の授受を行う。具体的に説明すると、インターフェース装置４０は、カメラ３０から出力され一時的に保持された画像信号を、制御装置５０からの要求に応じて制御装置５０に出力する。また、インターフェース装置４０は、制御装置５０からの指令に基づいて顕微鏡駆動装置２０を適当なタイミングで動作させ、カメラ３０によって撮影される画像のピント状態を多段階で変化させる。これにより、対象のピント状態を変化させた多段からなるフォーカス段階で撮影した多数の画像ファイルを得ることができる。
【００２８】
制御装置５０は、一般的なコンピュータと同様に、ＣＰＵ５１、入力装置５２、ディスプレイ５３、出力装置５４、記憶装置５５等を備えている。このうち、ＣＰＵ５１は、入力装置５２、ディスプレイ５３、出力装置５４、及び記憶装置５５との間で相互にデータの授受が可能になっている。また、ＣＰＵ５１は、入力装置５２等からの指示に基づいて、記憶装置５５等から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。
【００２９】
具体的には、顕微鏡写真を撮影するための制御用コンピュータプログラムを起動することにより、ＣＰＵ５１は、入力装置５２からの指示等に基づいて、記憶装置５５から必要な制御用データ、演算用データテーブル等を読み出す。さらに、ＣＰＵ５１は、読み出した制御用データ、演算用データテーブル等に基づいて、顕微鏡本体１０の状態、顕微鏡駆動装置２０のフォーカス駆動条件、カメラ３０の設定等を含む動作条件のほか、画像の処理方法等を含む各種管理情報を、整理した状態でディスプレイ５３に表示させる。また、ＣＰＵ５１は、入力装置５２からの指示やプログラムの手順に基づいて、カメラ３０から出力される画像信号を対象の拡大像としてインターフェース装置４０を介して取り込み、取り込んだ画像信号から適当な部分を順次切り出してつなぎ合わせることにより１つの画像ファイルを合成する。具体的には、フォーカス状態を徐々に変化させて撮影した複数の画像ファイルをそれぞれ多数の部分領域に分割するとともに、対応する同一部分領域間で画像データを比較し、比較した画像データのうち最もピントが合った部分を選択してつなぎ合わせる。
【００３０】
入力装置５２は、キーボード、マウス等から構成され、ディスプレイ５３を利用した操作により、この制御装置５０を操作するユーザの意思を反映した指令信号をＣＰＵ５１に出力する。
【００３１】
ディスプレイ５３は、ＣＲＴ、或いはＬＣＤ等により構成され、ＣＰＵ５１から入力される駆動信号に基づいて必要な表示を行う。
【００３２】
出力装置５４は、プリンタ等からなり、ＣＰＵ５１から入力されるデータに基づいて用紙に必要なデータや画像を印字する出力を行う。
【００３３】
記憶装置５５は、制御装置５０を動作させる基本プログラム等を記憶しているＲＯＭと、アプリケーションプログラム、入力指示、入力データ、及び処理結果等を一時格納するＲＡＭ等とからなるメモリ５５ａを備える。さらに、記憶装置５５は、磁気的、或いは光学的な手法によってデータを保持することができるストレージデバイス５５ｂを備える。このストレージデバイス５５ｂは、固定的に設けられたものであるが、着脱自在に装着可能な記録媒体ＲＭ用のドライブを並設することができる。
【００３４】
図２は、制御装置５０における画像処理に際して記憶装置５５に保管されるデータの内容を概念的に説明する図である。
【００３５】
図２（ａ）は、顕微鏡駆動装置２０を適宜動作させて、顕微鏡本体１０の結像状態を例えば６段階で変化させ、各段階でカメラ３０を動作させて対象の拡大像を撮影することによって得た画像ファイルＩＦ１〜ＩＦ６を示す。つまり、各画像ファイルＩＦ１〜ＩＦ６は、同一の対象の拡大像をピントをずらしながら連続撮影したものとなっている。これらの画像ファイルＩＦ１〜ＩＦ６は、全体の処理が完了するまで記憶装置５５に保管される。なお、画像ファイルＩＦ１〜ＩＦ６は、カラー画像であり、例えば画素ごとにＲＧＢの３原色の強度を特定したデータ群となっている。
【００３６】
図２（ｂ）は、各画像ファイルＩＦ１〜ＩＦ６から切り出した部分領域である複数の切出領域の輝度成分に対応する画像データＢＡｎ（１）〜ＢＡｎ（６）を示す。これらの画像データＢＡｎ（１）〜ＢＡｎ（６）は、以後の高速フーリエ変換処理等のために記憶装置５５に一時的に保管される。各画像ファイルＩＦ１〜ＩＦ６から画像データＢＡｎ（１）〜ＢＡｎ（６）を切り出す位置は、各画像ファイルＩＦ１〜ＩＦ６上の同一位置であり、領域の重なりや隙間が生じないように変更可能であるものとする。つまり、画像データＢＡｎ（１）〜ＢＡｎ（６）の座標範囲は、その縦横（ＸＹ方向）の画素幅の整数倍だけ移動した位置に変更できるようになっており、このように変更した画像データＢＡｎ（１）〜ＢＡｎ（６）をすべて集めることによって完全な画像ファイルＩＦ１〜ＩＦ６を構成することができる。縦横（ＸＹ方向）の画素幅は、例えば１６ピクセル×１６ピクセルとする。なお、各画像ファイルＩＦ１〜ＩＦ６の縁部分では、画像データＢＡｎ（１）〜ＢＡｎ（６）の画素幅を中央部分と必ずしも一致させることができない。この場合、画像データＢＡｎ（１）〜ＢＡｎ（６）の画素幅を例えば端数分の画素を含めて中央部分の画素幅よりも大きくする。
【００３７】
なお、画像データＢＡｎ（１）〜ＢＡｎ（６）は、ＲＧＢのカラー信号を意味するが、以下に説明する高速フーリエ変換では輝度成分を算出したＢＡｎ’（１）〜ＢＡｎ’（６）に換算して処理され、このような輝度成分の換算には、以下の値Ｙを利用する。
Ｙ＝０．３１×Ｒ＋０．５９×Ｇ＋０．１１×Ｒ …（１）
Ｉ＝０．６０×Ｒ−０．２８×Ｇ−０．３２×Ｒ …（２）
Ｑ＝０．２１×Ｒ−０．５２×Ｇ−０．３１×Ｒ …（３）
以上において、値Ｉ，Ｑは色差成分を示しており、画像データＢＡｎ（１）〜ＢＡｎ（６）の輝度成分算出には直接関係ない。ただし、１次元高速フーリエ変換の対象は、画像データＢＡｎ（１）〜ＢＡｎ（６）の明暗輝度成分に限るものではなく、例えば各色ＲＧＢの強度をサンプリングしたものとすることができ、さらに、値Ｉ，Ｑをサンプリングしたものとすることもできる。
【００３８】
図２（ｃ）は、画像データＢＡｎ（１）の輝度値ＢＡｎ’（１）に対してＸ方向に関する１次元高速フーリエ変換を施した結果を例示する。グラフにおいて、横軸は空間周波数を示し、縦軸は大きさを示す。この場合、各輝度値ＢＡｎ’（１）のうちＹ方向の特定座標位置（Ｘ方向に延びる）の一群のラインデータＬＤ１が一例として処理されている。なお、１次元高速フーリエ変換に際しては、データに連続性を与えるため、各輝度値ＢＡｎ’（１）を構成するＸ方向のラインデータＬＤ１に対して事前に窓関数処理を行う。また、上記１次元高速フーリエ変換に際しては、各ラインデータＬＤから定常レベルである直流成分を除くレベル調整処理を行う。
【００３９】
以上の説明では、Ｙ座標が特定座標位置であるとしたが、Ｙ座標を１画素単位で変化させることにより、画像データＢＡｎ（１）全体に対してＸ方向の高速フーリエ変換を施すことができる。
【００４０】
図２（ｄ）は、画像データＢＡｎ（１）の輝度値ＢＡｎ’（１）に対してＹ方向に関する１次元高速フーリエ変換を施した結果を例示する。この場合、各輝度値ＢＡｎ’（１）のうちＸ方向の特定座標位置（Ｙ方向に延びる）の一群のラインデータＬＤ２が一例として処理されている。なお、１次元高速フーリエ変換に際しては、データに連続性を与えるため、各各輝度値ＢＡｎ’（１）を構成するＹ方向のラインデータＬＤ２に対して事前に窓関数処理を行う。また、上記１次元高速フーリエ変換に際しては、各ラインデータＬＤ２から定常レベルである直流成分を除くレベル調整処理を行う。
【００４１】
以上の説明では、Ｘ座標が特定座標位置であるとしたが、Ｘ座標を１画素単位で変化させることにより、画像データＢＡｎ（１）全体に対してＹ方向の高速フーリエ変換を施すことができる。
【００４２】
ここで、高速フーリエ変換について簡単に説明する。フーリエ変換とは、任意の関数をスペクトルに分解するものであり、デジタル信号に対してフーリエ変換を行うことを離散フーリエ変換と呼ぶ。式で表すと、離散フーリエ・スペクトルＸＬ（１＝０，１，…Ｎ−１）は、以下の式で表される。
【数１】
ただし、ＷＮ＝ｅ−２πｊ／Ｎ（ｊは虚数単位）であり、ＸＫは離散的入力信号（デジタル信号）である。実際にＸＬをコンピュータのＣＰＵ５１で計算するためには、ｅ−２πｋｊ／Ｎを以下のようにオイラー展開する。
ｅ−２πｊ／Ｎ＝ＣＯＳ（２π／Ｎ）−ｊＳＩＮ（２π／Ｎ）
【００４３】
値ＷＮＫＬは、計算して行く過程で同じ値又はＷＮの乗算の形があり、計算を高速化できる。このため、このような離散フーリエ変換は、高速フーリエ変換と呼ばれる。このような高速フーリエ変換を上述のラインデータＬＤ１，ＬＤ２に対して施すことにより、各ラインデータＬＤ１，ＬＤ２について空間周波数のスペクトルを得ることができる。各ラインデータＬＤ１，ＬＤ２に対しての高速フーリエ変換は、１次元高速フーリエ変換であり、音響信号と同様な処理が可能であり、得られるスペクトルが見やすくなる点でも有利である。さらに、Ｘ方向のラインデータＬＤ１のみならず、直交するＹ方向のラインデータＬＤ２についても空間周波数スペクトルを得ることができるので、対象画像について全体として方向的に偏りのないデータを得ることができ、様々な方向に多様なパターンを持つ拡大像に対しても適切な判定や処理が可能になり、画像合成処理の精度を高めることができる。
【００４４】
なお、１次元高速フーリエ変換に際しては、上述のようにラインデータＬＤ１，ＬＤ２に対して事前に窓関数処理を行ってデータに連続性を与える。窓関数としては、例えば以下の関数Ｗ（ｘ）が使用される。
Ｗ（ｘ）＝α（０．０９＋０．９１×ＣＯＳ（π／Ｔｗ×ｘ））
＋β（０．５１＋０．４９×ＣＯＳ（π／Ｔｗ×２×ｘ）） …（５）
ここで、係数α，βは、α＋β＝１なる関係を有しており、値ＴｗはラインデータＬＤ１の長さ（すなわち、計測距離）を意味し、
｜ｘ｜<Ｔｗ／２
なる関係が成立する。ラインデータＬＤ１が有限長であるとき、そのまま１次元高速フーリエ変換を施すと、空間周波数スペクトルは大きな誤差を含むものとなる。このため、ラインデータＬＤ１が便宜上無限に繰り返されるとしてデータ処理を行うことになるが、ラインデータＬＤ１の始点のデータ値と終点のデータ値とは通常異なっており、このようなデータ値の差は断層として高周波成分に雑スペクトルを生じさせる。この雑スペクトルは、ピントが合った状態の鮮明な画像で検出される高周波成分を埋もれさせるノイズとなる。つまり、雑スペクトルの存在により、各ラインデータＬＤ１について、フォーカスしてパターンが細かい画像データであるのか、デフォーカスしてぼけた画像データであるのかの区別が困難になる。一方、ラインデータＬＤ１の始点のデータ値と終点のデータ値とを窓関数によって一致させた場合、上記のような雑スペクトルの発生を抑えることができるが、これだけでは必ずしも十分でない。つまり、ラインデータＬＤ１の始点と終点とが単に連続的に接続されるだけでは一般に不十分で、これらが滑らかに接続されることによって、さらに高周波成分における雑スペクトルの発生を抑えることができるからである。
【００４５】
以上のような事情から、上記式（５）の関数Ｗ（ｘ）を用いているが、係数αの項の存在によって主にラインデータＬＤ１の始点と終点とが連続に接続可能になり、係数βの項の存在によって主にラインデータＬＤ１の始点と終点とが滑らかに接続可能になる。係数α，βは、ラインデータＬＤ１の長さに応じて変更することが望ましい。ラインデータＬＤ１が比較的長い場合、関数Ｗ（ｘ）のβを小さくすることで、高周波成分の検出精度を比較的高めることができる。また、ラインデータＬＤ１が比較的短い場合、関数Ｗ（ｘ）のβを大きくすることで、高周波成分の検出精度を比較的高めることができる。
【００４６】
図３（ａ）は、βを小さくした場合の関数Ｗ（ｘ）の状態の一例を示し、図３（ｂ）は、βを大きくした場合の関数Ｗ（ｘ）の状態の一例を示す。
【００４７】
以上の窓関数に関する説明は主にラインデータＬＤ１の１次元高速フーリエ変換についてのものであったが、Ｙ軸方向に延びるラインデータＬＤ２の１次元高速フーリエ変換に際しても同様の窓関数処理を施すことで、空間周波数スペクトル高周波成分の検出精度を高めることができる。
【００４８】
画像ファイルの１次元高速フーリエ変換については、以上のようなフーリエ変換処理の前にＤＣレベル調整を行うことが望ましい。このようなＤＣレベル調整は、各ラインデータＬＤ１，ＬＤ２から平均値を求めてその平均値を差し引くことによって達成され、各ラインデータＬＤ１，ＬＤ２から定常レベルである直流成分が除かれる。このＤＣレベル調整によって、各ラインデータＬＤ１，ＬＤ２について輝度振幅を正確に反映した空間周波数スペクトルを得ることができ、負の値をとらない画像データについても、正確なフーリエ変換が可能なる。
【００４９】
以上のようにして得た空間周波数スペクトルに対しては、まず、係数処理が施され、高周波側のスペクトル成分のみが優先的に取り出される。具体的には、空間周波数の増加に伴って連続的或いは不連続に増大する重み係数をかける係数処理によって、空間周波数の高い部分の信号強度を相対的に高める。これにより、変化が激しい画像すなわちパターンがより細かい画像（合焦画像）を含む画像ファイルの判定が可能になる。
【００５０】
さらに、係数処理後の空間周波数スペクトルに対しては、波位相処理を行って変換結果を補正する。窓関数処理によってラインデータＬＤ１，ＬＤ２の幅（窓幅）に対応する空間周波数のピークが現れやすくなる傾向があるが、係数処理後の空間周波数スペクトルのうちラインデータＬＤ１，ＬＤ２の幅に対応する空間周波数及びその近傍で信号強度を相対的に低くする。窓関数の影響で画像ファイルが細かいパターンの画像を含むか否かの判定が妨げられ、或いはその信頼性が低下することを防止できる。
【００５１】
図４（ａ）に示すテーブルは、各画像ファイルＩＦ１〜ＩＦ６を構成する画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｎ（１）〜ＢＡｎ（６），…，ＢＡｚ（１）〜ＢＡｚ（６）に対してそれぞれ算出した焦点度をまとめたものである。これらの焦点度は、上述した係数処理や波位相処理後の空間周波数スペクトルを例えば積分等することによって計算することができ、各画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｎ（１）〜ＢＡｎ（６），…，ＢＡｚ（１）〜ＢＡｚ（６）のパターンが精細か否か（つまり焦点が合って鮮明か否か）の判断基準となる。
【００５２】
図４（ｂ）は、図４（ａ）のテーブルを基準にして、各画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｚ（１）〜ＢＡｚ（６）をつなぎ合わせることによって作成した合成ファイルＣＦを示す。この合成ファイルＣＦは、６つの画像ファイルＩＦ１〜ＩＦ６を細かく分けて、そのうち合焦状態が良いブロック領域ＢＢをつなぎ合わせたと考えることができる。具体的には、各画像ファイルＩＦ１〜ＩＦ６を細分した一部のうち対応する箇所である画像データＢＡ１（１）〜ＢＡ１（６）から最も焦点度が高ものを選択し、次の対応箇所である画像データＢＡ２（１）〜ＢＡ２（６）から最も焦点度が高ものを選択する。このように、各画像ファイルＩＦ１〜ＩＦ６を細分した対応箇所である画像データＢＡｎ（１）〜ＢＡｎ（６）のうち最も焦点度が高ものを選択する操作を繰り返すことにより、画像データのうち焦点が合ったブロック領域ＢＢを選択することができ、このような画像データを適宜つなぎ合わせることによって合成ファイルＣＦを作成することができる。
【００５３】
以下、図１等に示す撮影装置１００の動作について説明する。図５〜７は、撮影装置１００の主な動作を説明するフローチャートである。
【００５４】
まず、顕微鏡駆動装置２０を適宜動作させつつ顕微鏡本体１０の結像状態を例えば６段階で変化させ、対象の拡大像であるフォーカス画像をカメラ３０に撮影させる。これにより、ＣＰＵ５１は、インターフェース装置４０を介してｍ個（具体例ではｍ＝６）のフォーカス画像を制御装置５０に取り込む。これらのフォーカス画像は、図２（ａ）に示す画像ファイルＩＦ１〜ＩＦ６として、記憶装置５５に保管される（ステップＳ１）。なお、ＣＰＵ５１と記憶装置５５は、２次元的な画像データを取り込んで保持する保持手段として機能する。
【００５５】
次に、ＣＰＵ５１は、６段階のフォーカス画像である画像ファイルＩＦ１〜ＩＦ６からｎ番目のブロック領域を切り出して、記憶装置５５の別の箇所に一時的に保管する（ステップＳ２）。ここで、ｎは、１から徐々に増加する自然数である。このように保管されたブロック領域は、各フォーカス画像を碁盤の目状に分割した１つ（ｎ番目）であり、図２（ｂ）に示す画像データＢＡｎ（１）〜ＢＡｎ（６）に対応する矩形の切出領域を意味する。つまり、各画像ファイルＩＦ１〜ＩＦ６は、細分されたブロック領域を集めたものである。
【００５６】
次に、ＣＰＵ５１は、各画像ファイルＩＦ１〜ＩＦ６において切り出したｎ番目のブロック領域のうち、ｐ番目のフォーカス画像に対する輝度画素データを読み込んで記憶装置５５のＲＡＭ等に保持する（ステップＳ３）。ここで、ｐは、１から徐々に増加する最大値ｍの自然数（具体例では最大値ｍ＝６）である。輝度画素データは、画像データＢＡｎ（ｐ）から式（１）を利用して算出することができ、図２（ｃ）で説明した輝度値ＢＡｎ’（１）〜ＢＡｎ’（６）のうち輝度値ＢＡｎ’（ｐ）に対応する。
【００５７】
次に、ＣＰＵ５１は、スキャン手段として、輝度画素データからｑ番目の横ラインデータを抽出する（ステップＳ４）。ここで、横ラインデータは、図２（ｃ）に示すＸ方向のラインデータＬＤ１に相当し、画像データＢＡｎ（ｐ）のＹ方向の画素幅の範囲内でシフトさせることができる。ｑは１から徐々に増加する自然数であり、具体的な例では、最大値１６となる。
【００５８】
次に、ＣＰＵ５１は、レベル調整手段として、横ラインデータの輝度値の平均を計算するとともに、この平均値に基づいて横ラインデータのＤＣレベルシフト（レベル調整処理）を行う（ステップＳ５）。
【００５９】
次に、ＣＰＵ５１は、横ラインデータに対して窓関数処理を行う（ステップＳ６）。窓関数処理については、図３（ａ）、（ｂ）等で説明したものとなっている。
【００６０】
次に、ＣＰＵ５１は、窓関数処理後の横ラインデータに対して高速フーリエ変換を施す（ステップＳ７）。フーリエ変換手段として、結果は、図２（ｃ）に示すようなものとなる。
【００６１】
以上のような処理（ステップＳ４〜Ｓ７）は、ステップＳ８で横スキャンが終了したと判断されるまで繰り返される。なお、横スキャンの終了とは、画像データＢＡｎ（ｐ）のＹ方向の画素幅の範囲内の各位置からラインデータＬＤ１を抽出して高速フーリエ変換を施すことを意味する。
【００６２】
次に、ＣＰＵ５１は、スキャン手段として、輝度画素データからｑ番目の縦ラインデータを抽出する（ステップＳ１１）。ここで、縦ラインデータは、図２（ｄ）に示すＹ方向のラインデータＬＤ２に相当し、画像データＢＡｎ（ｐ）のＸ方向の画素幅の範囲内でシフトさせることができる。ｑは１から徐々に増加する自然数であり、具体的な例では、最大値１６となる。
【００６３】
次に、ＣＰＵ５１は、レベル調整手段として、縦ラインデータの輝度値の平均を計算するとともに、この平均値に基づいて縦ラインデータのＤＣレベルシフト（レベル調整処理）を行う（ステップＳ１２）。
【００６４】
次に、ＣＰＵ５１は、縦ラインデータに対して窓関数処理を行う（ステップＳ１３）。
【００６５】
次に、ＣＰＵ５１は、フーリエ変換手段として、窓関数処理後の縦ラインデータに対して高速フーリエ変換を施す（ステップＳ１４）。結果は、図２（ｄ）に示すようなものとなる。
【００６６】
以上のような処理（ステップＳ１１〜Ｓ１４）は、ステップＳ１５で縦スキャンが終了したと判断されるまで繰り返される。なお、縦スキャンの終了とは、画像データＢＡｎ（ｐ）のＸ方向の画素幅の範囲内の各位置からラインデータＬＤ２を抽出して高速フーリエ変換を施すことを意味する。
【００６７】
以上のようにして得たＸ方向及びＹ方向の高速フーリエ変換結果に対して、ＣＰＵ５１は、検出手段乃至係数処理手段として、記憶装置５５の適所から読み出した高周波重み係数をかける（ステップＳ２０）。このような係数処理は、高周波側のスペクトル成分のみを優先的に取り出すためのもの（所謂ハイパスフィルタ）であり、空間周波数の高い部分の信号強度を相対的に高めることによって、画像データＢＡ１（１）〜ＢＡ１（６）のうち、パターンがより細かい画像データの判定が可能になる。
【００６８】
次に、ＣＰＵ５１は、波位相手段として、係数処理後の高速フーリエ変換結果に対して波位相処理を行う（ステップＳ２１）。高速フーリエ変換の前に行う窓関数処理（ステップＳ６，Ｓ１３）によってラインデータＬＤ１，ＬＤ２の幅（窓幅）に対応する空間周波数のピークが現れやすくなる傾向があるが、ラインデータＬＤ１，ＬＤ２の幅に対応する空間周波数及びその近傍で信号強度を相対的に低くすることによって、窓関数の影響で画像データＢＡ１（１）〜ＢＡ１（６）が細かいパターンの画像を含むか否かの判断精度が低下することを防止できる。
【００６９】
以上ステップＳ２１で得た高速フーリエ変換結果をｎ番目のブロック領域内で集計する（ステップＳ２２）。つまり、高速フーリエ変換の結果である空間周波数スペクトルを例えば積分することによって個々のラインデータＬＤ１，ＬＤ２の合焦度が算出され、このような合焦度を全ラインデータに関して加算することによって、図４（ａ）のテーブルに示す焦点度を得ることができる。
【００７０】
以上のような処理（ステップＳ３〜Ｓ２２）は、ステップＳ２３でｍ個の対象画像が終了したと判断されるまで繰り返される。なお、対象画像が終了とは、各画像ファイルＩＦ１〜ＩＦ６において同一箇所で切り出したｎ番目のブロック領域のすべての処理が終了して、図４（ａ）のテーブル中で縦一列の焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）が得られることを意味する。
【００７１】
次に、ＣＰＵ５１は、ｎ番目のブロック領域について得た焦点度の大小を比較する（ステップＳ３１）。具体的には、図４（ａ）のテーブルにおいてｎ番目のブロック領域についての焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）の値を比較する。
【００７２】
次に、ＣＰＵ５１は、選択手段として、焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）のうち、最大値を与える２つの焦点度データを決定する。これらの焦点度データに対応する画像データのうち一方がその周囲（隣接領域）で既に選択した画像データと連続する場合、すなわち同じ画像ファイルＩＦ１〜ＩＦ６から得たものである場合、その画像を焦点度最大で鮮明な画像データと判定する（ステップＳ３２）。なお、双方の画像データがその周囲（隣接領域）で既に選択した画像データと連続する場合、焦点度データが実際に大きな画像を鮮明な画像データと判定する。
【００７３】
次に、ＣＰＵ５１は、焦点度最大の画像データ（具体例では６つの画像データＢＡｎ（１）〜ＢＡｎ（６）のうち１つ）を記憶装置５５から読み出す（ステップＳ３３）。この画像データは、カラーブロック画像となっている。
【００７４】
次に、ＣＰＵ５１は、ステップＳ３３で得たカラーブロック画像としての画像データを既得の周辺画像と重ね合わせて合成する（ステップＳ３４）。つまり、ステップＳ３３で得た画像データをその隣接領域で既に選択した画像データとすり合わせを行って滑らかに接続する。
【００７５】
隣接領域の画像データとの合成に際しては、ブロックノイズ除去、すなわち画像の滑らかな接続を実現するすり合わせを行う。すり合わせは、接続すべき一対の画像データの境界からの画素数を基準として、例えば以下のような条件で行われる。なお、ＤＡＴＡ（自）は今回合成する画像データを意味し、ＤＡＴＡ（隣）は、既に選択した画像データを意味し、ＤＡＴＡ（合成）は合成後の画像データを意味する。
（１）境界との距離が１画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.６＋ＤＡＴＡ（隣）＊0.４
（２）境界との距離が２画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.７＋ＤＡＴＡ（隣）＊0.３
（３）境界との距離が３画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.８＋ＤＡＴＡ（隣）＊0.２
（４）境界との距離が４画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.９＋ＤＡＴＡ（隣）＊0.１
【００７６】
以上のような処理（ステップＳ２〜Ｓ３４）は、ステップＳ３５で全ブロック領域の処理が終了したと判断されるまで繰り返される。なお、全ブロック領域の処理の終了とは、各画像ファイルＩＦ１〜ＩＦ６を細分したブロック領域のすべてについて高速フーリエ変換が終了して、鮮明な画像データを選択した合成画像が形成されることを意味する。このような合成画像データは、記憶装置５５の適所に合成画像ファイルとして保管される。
【００７７】
図８（ａ）〜（ｆ）は、ステップＳ１で取り込まれる画像ファイルＩＦ１〜ＩＦ６を例示するもので、６つの拡大像であるフォーカス画像が示されている。
【００７８】
図９は、ステップＳ３５を終了して全処理を終わった段階で得られる合成画像ファイルを例示する。画面全体に亘って対象にピントが合った画像が得られている。
【００７９】
以上、実施形態に即して本発明を説明したが、本発明は上記実施形態に限定されるものではない。例えば、本実施形態では、画像ファイルＩＦ１〜ＩＦ６が顕微鏡画像であるものとして説明したが、一般のカメラ画像についても同様の処理が可能であり、立体的対象や風景、２つの対象を含む画像において鮮明なピントが合った画像ファイルを得ることができる。
【００８０】
また、本実施形態では、画像ファイルの全体に合成処理を施しているが、画像ファイルの一部限定した領域に合成処理を施すこともできる。
【００８１】
また、以上の実施形態で実施した高速フーリエ変換は、２方向に関するフーリエ変換処理を統合しており、またＤＣレベルシフトを行いつつ、データ幅に応じて空間周波数スペクトルを適切に抽出することができる窓関数を用いているので、空間周波数情報を適切に取り出すことができる。よって、このような処理方法は、、単なる画像処理・分析にとどまらず、科学分析、科学技術等を含む産業全体で広く応用できるものである。
【図面の簡単な説明】
【００８２】
【図１】実施形態に係る撮影装置の構造を概念的に説明するブロック図である。
【図２】（ａ）は、ピントを変化させつつ対象の拡大像を撮影することによって得た画像ファイルを示し、（ｂ）は、各画像ファイルから切り出した切出領域の輝度成分に対応する画像データを示し、（ｃ）は、画像データの輝度値に対してＸ方向に関する１次元高速フーリエ変換を施した結果を例示し、（ｄ）は、画像データの輝度値に対してＹ方向に関する１次元高速フーリエ変換を施した結果を例示する。
【図３】（ａ）、（ｂ）は、窓関数の状態を例示するグラフである。
【図４】（ａ）は、各画像ファイルを構成する画像データに対してそれぞれ算出した焦点度をまとめたテーブルであり、（ｂ）は、図４（ａ）のテーブルを基準にして、各画像データをつなぎ合わせることによって作成した合成ファイルを示す。
【図５】撮影装置の主な動作を説明するフローチャートである。
【図６】撮影装置の主な動作を説明するフローチャートである。
【図７】撮影装置の主な動作を説明するフローチャートである。
【図８】（ａ）〜（ｆ）は、６つの拡大像であるフォーカス画像を示している。
【図９】全処理を終わった段階で得られる合成画像ファイルを例示する。
【符号の説明】
【００８３】
１０…顕微鏡本体、 ２０…顕微鏡駆動装置、 ３０…カメラ、 ４０…インターフェース装置、 ５０…制御装置、 ５２…入力装置、 ５３…ディスプレイ、 ５４…出力装置、 ５５…記憶装置
【技術分野】
【０００１】
本発明は、フーリエ変換を用いたラインスキャン型の画像処理装置に関し、特に２次元的な高速フーリエ変換によって画像の状態を検出することができ、様々な画像処理を可能にするラインスキャン型の画像処理装置に関する。
【背景技術】
【０００２】
フーリエ変換を用いた画像処理装置として、例えば入力された画像から所定のパターン画像を検出する、所謂パターンマッチング処理を行う画像処理装置が存在する（特許文献１参照）。この画像処理装置では、ディザ処理された画像であるか否かの判別結果に応じてパターンマッチング処理を施すことによって、画像の品質を落とすことなく適切な画像処理ができるようにしている。この際、ディザ処理された画像であるか否かを判定するため、画像データに対して一次元高速フーリエ変換を施すことによって得たパワースペクトルを利用している。
【０００３】
また、画像データに対してフーリエ変換を施す方法として、一般的に２次元高速フーリエ変換と呼ばれているものが知られている（非特許文献１参照）。この方法では、画像に対して例えば横方向に一次元高速フーリエ変換を施し、その結果について縦方向に一次元高速フーリエ変換を施す。このような二段階の高速フーリエ変換により、一次元の情報に偏らないスペクトルが得られる。
【特許文献１】特開平９−４４６７５号公報
【非特許文献１】「ディジタル画像処理」、第１４，１５頁、Arriel Rosenfeld著、長尾真監訳、近代科学社（１９９９年５月、初版第１７刷発行）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一次元高速フーリエ変換によって得たパワースペクトルを利用する前者の方法では、画像の特定方向に関する変動のパワースペクトルすなわち特定方向のパターンの有無や程度を判定できるだけであり、様々な方向に多様なパターンを持つ画像の判別や処理には適しない。
【０００５】
また、高速フーリエ変換を二段階で繰返してスペクトルを得る後者の方法では、画像中に含まれる２次元的情報を正確に反映したスペクトルが得られない場合がある。つまり、後者の方法では、例えば横方向に繰返され縦方向に変化しないパターン（具体的には、縦縞）を有する画像について、スペクトルを検出することができなくなる。
【０００６】
そこで、本発明は、様々なパターンを有する画像に対して適切な判別や処理が可能であり、パターン特性等を様々な方向に関してバランス良く検出することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るラインスキャン型の画像処理装置は、（ａ）２次元的な画像データを取り込んで保持する保持手段と、（ｂ）保持手段に取り込まれた画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出するスキャン手段と、（ｃ）スキャン手段によって抽出された一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するフーリエ変換手段とを備える。
【０００８】
上記画像処理装置では、スキャン手段が画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出し、フーリエ変換手段が２方向に関する一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するので、対象とする画像データから２方向に関する空間周波数スペクトルをいずれも得ることができる。このような２方向の空間周波数スペクトルは、方向的に偏りのない或いは偏りが少ないものであるから、様々な方向に多様なパターンを持つ対象画像に対して適切な判定や処理が可能になり、画像処理の精度を高めることができる。
【０００９】
また、本発明の具体的な観点又は態様では、上記画像処理装置において、一群のラインデータに対してフーリエ変換を施す前に、当該一群のラインデータの連続的な繰返しを可能にする所定の窓関数を用いた演算処理を当該一群のラインデータに対して施す窓関数手段をさらに備える。この場合、各ラインデータについてそれぞれを連続的に繰返させた無限長のデータを生成することができるので、ラインデータのデータ長が短い場合であっても、フーリエ変換精度の向上を図ることができる。
【００１０】
また、本発明の具体的な態様では、所定の窓関数が、窓の両端で一群のラインデータの滑らかな繰返しを可能にする。この場合、滑らかなデータによって、フーリエ変換精度のさらなる向上を図ることができる。
【００１１】
また、本発明に係るラインスキャン型の画像処理装置の具体的な態様では、所定の窓関数が、窓幅を１／２周期とする第１の三角関数と、窓幅を１／４周期とする第２の三角関数とを所定の重み付けで加算したものである。この場合、基本的には第１の三角関数によって、各ラインデータを繰返す際に始点と終点とを段差なく連続的につなげることができる。また、第２の三角関数によって、各ラインデータの始点近傍の勾配と終点近傍の勾配とを小さくすることができ、繰返されるラインデータのつなぎ目を滑らかにすることができる。以上により、空間周波数スペクトル中の高周波成分に雑スペクトルが発生することを効果的に防止でき、結果的に、フーリエ変換精度を向上させることができる。
【００１２】
また、本発明の具体的な態様では、フーリエ変換手段が、所定の窓関数が空間周波数スペクトルに与える影響を抑える波位相処理を、一群のラインデータに施す補正手段を有する。この場合、所定の窓関数を利用した処理によって生じた空間周波数スペクトルへの影響を相殺するような補正が可能になる。
【００１３】
また、本発明の具体的な態様では、補正手段が所定の窓関数の窓幅に対応する周期のスペクトル成分を選択的に減衰させるので、所定の窓関数の窓幅の逆数によって与えられる周期として現れやすいスペクトル成分を除去することができ、有限のデータから高精度でフーリエ変換を行うことができる。
【００１４】
また、本発明の具体的な態様では、一群のラインデータから定常レベル（直流成分等）を除くレベル調整手段をさらに備える。この場合、画像中の非定常的な変動である各パターンについて輝度振幅を正確に反映した空間周波数スペクトルを得ることができ、負の値をとらない画像データについても、正確なフーリエ変換が可能なる。
【００１５】
また、本発明の具体的な態様では、空間周波数スペクトルから高周波のスペクトル成分側を優先的に検出する検出手段をさらに備える。この場合、変化が激しい画像すなわちパターンがより細かい画像の判定が可能になる。
【００１６】
また、本発明の具体的な態様では、検出手段は、空間周波数スペクトルに対して高周波のスペクトル成分側で値が増大する係数をかける係数処理手段である。この場合、高周波成分の抽出がより簡易となる。
【００１７】
また、本発明の具体的な態様では、（ａ）保持手段が、複数の画像の対応する切出領域から切り出した複数の画像データを保持し、（ｂ）フーリエ変換手段は、複数の画像データのそれぞれに対して一群の空間周波数スペクトルを算出し、（ｃ）一群の空間周波数スペクトルのうち高周波のスペクトル成分の割合が相対的に高い高密度スペクトルに対応する画像データを選択する選択手段をさらに備える。この場合、複数の画像について、特定の切出領域から切り出した複数の画像データのうちパターンが細かい画像データを簡易に選択することができる。
【００１８】
また、本発明の具体的な態様では、複数の画像の切出領域を変更する領域変更手段と、領域変更手段によって変更された新たな切出領域についてスキャン手段及びフーリエ変換手段による処理を行わせるとともに、選択手段によって高密度スペクトルに対応する画像データを選択させる選択繰返手段と、選択手段によって順次選択された複数の画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成手段とをさらに備える。この場合、複数の画像から各箇所ごとに比較的パターンが細かい画像データを選択し、これらをつなぎ合わせて１つの合成画像を得ることができる。
【００１９】
また、本発明の具体的な態様では、選択手段が、高周波のスペクトル成分の割合が相対的に高い複数の高密度スペクトルを特定するとともに、選択繰返手段の動作に伴って画像データの選択を繰返す際に、複数の高密度スペクトルに対応する複数の画像データのうち切出領域の周辺の画像領域について既に選択している画像データと連続する画像データがあれば、当該連続する画像データを優先的に選択する。この場合、画像の合成に際してなるべくつなぎ目を少なくすることができ、つなぎ目の少ない滑らかな合成画像を得ることができる。
【００２０】
また、本発明の具体的な態様では、複数の画像が、フォーカス状態を多段階で切り替えつつ対象を撮影したものである。この場合、立体的対象に対して各部でピントの合った合成写真を得ることができ、擬似的に焦点深度を深くした画像を得ることができる。
【００２１】
また、本発明の具体的な態様では、フーリエ変換手段が、一群のラインデータに対して離散フーリエ変換を施す。この場合、画像データをデジタルデータとして処理することになり、結果として、高速フーリエ変換によって効率的な画像処理が可能になる。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明に係る画像処理装置の一実施形態を組み込んだ撮影装置１００の構造を概念的に説明するブロック図である。
【００２３】
この撮影装置１００は、顕微鏡本体１０と、顕微鏡駆動装置２０と、カメラ３０と、インターフェース装置４０と、制御装置５０とを備える。
【００２４】
ここで、顕微鏡本体１０は、図示を省略しているが、撮影対象を載置するステージと、対物レンズ等からなる拡大光学系と、対象を照明するための照明装置とを備える。
【００２５】
顕微鏡駆動装置２０は、顕微鏡本体１０の対物レンズ等を駆動して拡大光学系による結像状態を調節する。具体的には、例えば対物レンズを光軸に沿って適宜移動させて、カメラ３０に入射する画像のピント状態を多段階で或いは連続的に変化させる。
【００２６】
カメラ３０は、ＣＣＤ等からなる固体撮像装置を内蔵する。この固体撮像装置で検出された画像は、例えばデジタル画像信号として、インターフェース装置４０側にタイミングで出力される。
【００２７】
インターフェース装置４０は、カメラ３０や顕微鏡駆動装置２０と、制御装置５０との間に介在してデータ信号や指令信号の授受を行う。具体的に説明すると、インターフェース装置４０は、カメラ３０から出力され一時的に保持された画像信号を、制御装置５０からの要求に応じて制御装置５０に出力する。また、インターフェース装置４０は、制御装置５０からの指令に基づいて顕微鏡駆動装置２０を適当なタイミングで動作させ、カメラ３０によって撮影される画像のピント状態を多段階で変化させる。これにより、対象のピント状態を変化させた多段からなるフォーカス段階で撮影した多数の画像ファイルを得ることができる。
【００２８】
制御装置５０は、一般的なコンピュータと同様に、ＣＰＵ５１、入力装置５２、ディスプレイ５３、出力装置５４、記憶装置５５等を備えている。このうち、ＣＰＵ５１は、入力装置５２、ディスプレイ５３、出力装置５４、及び記憶装置５５との間で相互にデータの授受が可能になっている。また、ＣＰＵ５１は、入力装置５２等からの指示に基づいて、記憶装置５５等から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。
【００２９】
具体的には、顕微鏡写真を撮影するための制御用コンピュータプログラムを起動することにより、ＣＰＵ５１は、入力装置５２からの指示等に基づいて、記憶装置５５から必要な制御用データ、演算用データテーブル等を読み出す。さらに、ＣＰＵ５１は、読み出した制御用データ、演算用データテーブル等に基づいて、顕微鏡本体１０の状態、顕微鏡駆動装置２０のフォーカス駆動条件、カメラ３０の設定等を含む動作条件のほか、画像の処理方法等を含む各種管理情報を、整理した状態でディスプレイ５３に表示させる。また、ＣＰＵ５１は、入力装置５２からの指示やプログラムの手順に基づいて、カメラ３０から出力される画像信号を対象の拡大像としてインターフェース装置４０を介して取り込み、取り込んだ画像信号から適当な部分を順次切り出してつなぎ合わせることにより１つの画像ファイルを合成する。具体的には、フォーカス状態を徐々に変化させて撮影した複数の画像ファイルをそれぞれ多数の部分領域に分割するとともに、対応する同一部分領域間で画像データを比較し、比較した画像データのうち最もピントが合った部分を選択してつなぎ合わせる。
【００３０】
入力装置５２は、キーボード、マウス等から構成され、ディスプレイ５３を利用した操作により、この制御装置５０を操作するユーザの意思を反映した指令信号をＣＰＵ５１に出力する。
【００３１】
ディスプレイ５３は、ＣＲＴ、或いはＬＣＤ等により構成され、ＣＰＵ５１から入力される駆動信号に基づいて必要な表示を行う。
【００３２】
出力装置５４は、プリンタ等からなり、ＣＰＵ５１から入力されるデータに基づいて用紙に必要なデータや画像を印字する出力を行う。
【００３３】
記憶装置５５は、制御装置５０を動作させる基本プログラム等を記憶しているＲＯＭと、アプリケーションプログラム、入力指示、入力データ、及び処理結果等を一時格納するＲＡＭ等とからなるメモリ５５ａを備える。さらに、記憶装置５５は、磁気的、或いは光学的な手法によってデータを保持することができるストレージデバイス５５ｂを備える。このストレージデバイス５５ｂは、固定的に設けられたものであるが、着脱自在に装着可能な記録媒体ＲＭ用のドライブを並設することができる。
【００３４】
図２は、制御装置５０における画像処理に際して記憶装置５５に保管されるデータの内容を概念的に説明する図である。
【００３５】
図２（ａ）は、顕微鏡駆動装置２０を適宜動作させて、顕微鏡本体１０の結像状態を例えば６段階で変化させ、各段階でカメラ３０を動作させて対象の拡大像を撮影することによって得た画像ファイルＩＦ１〜ＩＦ６を示す。つまり、各画像ファイルＩＦ１〜ＩＦ６は、同一の対象の拡大像をピントをずらしながら連続撮影したものとなっている。これらの画像ファイルＩＦ１〜ＩＦ６は、全体の処理が完了するまで記憶装置５５に保管される。なお、画像ファイルＩＦ１〜ＩＦ６は、カラー画像であり、例えば画素ごとにＲＧＢの３原色の強度を特定したデータ群となっている。
【００３６】
図２（ｂ）は、各画像ファイルＩＦ１〜ＩＦ６から切り出した部分領域である複数の切出領域の輝度成分に対応する画像データＢＡｎ（１）〜ＢＡｎ（６）を示す。これらの画像データＢＡｎ（１）〜ＢＡｎ（６）は、以後の高速フーリエ変換処理等のために記憶装置５５に一時的に保管される。各画像ファイルＩＦ１〜ＩＦ６から画像データＢＡｎ（１）〜ＢＡｎ（６）を切り出す位置は、各画像ファイルＩＦ１〜ＩＦ６上の同一位置であり、領域の重なりや隙間が生じないように変更可能であるものとする。つまり、画像データＢＡｎ（１）〜ＢＡｎ（６）の座標範囲は、その縦横（ＸＹ方向）の画素幅の整数倍だけ移動した位置に変更できるようになっており、このように変更した画像データＢＡｎ（１）〜ＢＡｎ（６）をすべて集めることによって完全な画像ファイルＩＦ１〜ＩＦ６を構成することができる。縦横（ＸＹ方向）の画素幅は、例えば１６ピクセル×１６ピクセルとする。なお、各画像ファイルＩＦ１〜ＩＦ６の縁部分では、画像データＢＡｎ（１）〜ＢＡｎ（６）の画素幅を中央部分と必ずしも一致させることができない。この場合、画像データＢＡｎ（１）〜ＢＡｎ（６）の画素幅を例えば端数分の画素を含めて中央部分の画素幅よりも大きくする。
【００３７】
なお、画像データＢＡｎ（１）〜ＢＡｎ（６）は、ＲＧＢのカラー信号を意味するが、以下に説明する高速フーリエ変換では輝度成分を算出したＢＡｎ’（１）〜ＢＡｎ’（６）に換算して処理され、このような輝度成分の換算には、以下の値Ｙを利用する。
Ｙ＝０．３１×Ｒ＋０．５９×Ｇ＋０．１１×Ｒ …（１）
Ｉ＝０．６０×Ｒ−０．２８×Ｇ−０．３２×Ｒ …（２）
Ｑ＝０．２１×Ｒ−０．５２×Ｇ−０．３１×Ｒ …（３）
以上において、値Ｉ，Ｑは色差成分を示しており、画像データＢＡｎ（１）〜ＢＡｎ（６）の輝度成分算出には直接関係ない。ただし、１次元高速フーリエ変換の対象は、画像データＢＡｎ（１）〜ＢＡｎ（６）の明暗輝度成分に限るものではなく、例えば各色ＲＧＢの強度をサンプリングしたものとすることができ、さらに、値Ｉ，Ｑをサンプリングしたものとすることもできる。
【００３８】
図２（ｃ）は、画像データＢＡｎ（１）の輝度値ＢＡｎ’（１）に対してＸ方向に関する１次元高速フーリエ変換を施した結果を例示する。グラフにおいて、横軸は空間周波数を示し、縦軸は大きさを示す。この場合、各輝度値ＢＡｎ’（１）のうちＹ方向の特定座標位置（Ｘ方向に延びる）の一群のラインデータＬＤ１が一例として処理されている。なお、１次元高速フーリエ変換に際しては、データに連続性を与えるため、各輝度値ＢＡｎ’（１）を構成するＸ方向のラインデータＬＤ１に対して事前に窓関数処理を行う。また、上記１次元高速フーリエ変換に際しては、各ラインデータＬＤから定常レベルである直流成分を除くレベル調整処理を行う。
【００３９】
以上の説明では、Ｙ座標が特定座標位置であるとしたが、Ｙ座標を１画素単位で変化させることにより、画像データＢＡｎ（１）全体に対してＸ方向の高速フーリエ変換を施すことができる。
【００４０】
図２（ｄ）は、画像データＢＡｎ（１）の輝度値ＢＡｎ’（１）に対してＹ方向に関する１次元高速フーリエ変換を施した結果を例示する。この場合、各輝度値ＢＡｎ’（１）のうちＸ方向の特定座標位置（Ｙ方向に延びる）の一群のラインデータＬＤ２が一例として処理されている。なお、１次元高速フーリエ変換に際しては、データに連続性を与えるため、各各輝度値ＢＡｎ’（１）を構成するＹ方向のラインデータＬＤ２に対して事前に窓関数処理を行う。また、上記１次元高速フーリエ変換に際しては、各ラインデータＬＤ２から定常レベルである直流成分を除くレベル調整処理を行う。
【００４１】
以上の説明では、Ｘ座標が特定座標位置であるとしたが、Ｘ座標を１画素単位で変化させることにより、画像データＢＡｎ（１）全体に対してＹ方向の高速フーリエ変換を施すことができる。
【００４２】
ここで、高速フーリエ変換について簡単に説明する。フーリエ変換とは、任意の関数をスペクトルに分解するものであり、デジタル信号に対してフーリエ変換を行うことを離散フーリエ変換と呼ぶ。式で表すと、離散フーリエ・スペクトルＸＬ（１＝０，１，…Ｎ−１）は、以下の式で表される。
【数１】
ただし、ＷＮ＝ｅ−２πｊ／Ｎ（ｊは虚数単位）であり、ＸＫは離散的入力信号（デジタル信号）である。実際にＸＬをコンピュータのＣＰＵ５１で計算するためには、ｅ−２πｋｊ／Ｎを以下のようにオイラー展開する。
ｅ−２πｊ／Ｎ＝ＣＯＳ（２π／Ｎ）−ｊＳＩＮ（２π／Ｎ）
【００４３】
値ＷＮＫＬは、計算して行く過程で同じ値又はＷＮの乗算の形があり、計算を高速化できる。このため、このような離散フーリエ変換は、高速フーリエ変換と呼ばれる。このような高速フーリエ変換を上述のラインデータＬＤ１，ＬＤ２に対して施すことにより、各ラインデータＬＤ１，ＬＤ２について空間周波数のスペクトルを得ることができる。各ラインデータＬＤ１，ＬＤ２に対しての高速フーリエ変換は、１次元高速フーリエ変換であり、音響信号と同様な処理が可能であり、得られるスペクトルが見やすくなる点でも有利である。さらに、Ｘ方向のラインデータＬＤ１のみならず、直交するＹ方向のラインデータＬＤ２についても空間周波数スペクトルを得ることができるので、対象画像について全体として方向的に偏りのないデータを得ることができ、様々な方向に多様なパターンを持つ拡大像に対しても適切な判定や処理が可能になり、画像合成処理の精度を高めることができる。
【００４４】
なお、１次元高速フーリエ変換に際しては、上述のようにラインデータＬＤ１，ＬＤ２に対して事前に窓関数処理を行ってデータに連続性を与える。窓関数としては、例えば以下の関数Ｗ（ｘ）が使用される。
Ｗ（ｘ）＝α（０．０９＋０．９１×ＣＯＳ（π／Ｔｗ×ｘ））
＋β（０．５１＋０．４９×ＣＯＳ（π／Ｔｗ×２×ｘ）） …（５）
ここで、係数α，βは、α＋β＝１なる関係を有しており、値ＴｗはラインデータＬＤ１の長さ（すなわち、計測距離）を意味し、
｜ｘ｜<Ｔｗ／２
なる関係が成立する。ラインデータＬＤ１が有限長であるとき、そのまま１次元高速フーリエ変換を施すと、空間周波数スペクトルは大きな誤差を含むものとなる。このため、ラインデータＬＤ１が便宜上無限に繰り返されるとしてデータ処理を行うことになるが、ラインデータＬＤ１の始点のデータ値と終点のデータ値とは通常異なっており、このようなデータ値の差は断層として高周波成分に雑スペクトルを生じさせる。この雑スペクトルは、ピントが合った状態の鮮明な画像で検出される高周波成分を埋もれさせるノイズとなる。つまり、雑スペクトルの存在により、各ラインデータＬＤ１について、フォーカスしてパターンが細かい画像データであるのか、デフォーカスしてぼけた画像データであるのかの区別が困難になる。一方、ラインデータＬＤ１の始点のデータ値と終点のデータ値とを窓関数によって一致させた場合、上記のような雑スペクトルの発生を抑えることができるが、これだけでは必ずしも十分でない。つまり、ラインデータＬＤ１の始点と終点とが単に連続的に接続されるだけでは一般に不十分で、これらが滑らかに接続されることによって、さらに高周波成分における雑スペクトルの発生を抑えることができるからである。
【００４５】
以上のような事情から、上記式（５）の関数Ｗ（ｘ）を用いているが、係数αの項の存在によって主にラインデータＬＤ１の始点と終点とが連続に接続可能になり、係数βの項の存在によって主にラインデータＬＤ１の始点と終点とが滑らかに接続可能になる。係数α，βは、ラインデータＬＤ１の長さに応じて変更することが望ましい。ラインデータＬＤ１が比較的長い場合、関数Ｗ（ｘ）のβを小さくすることで、高周波成分の検出精度を比較的高めることができる。また、ラインデータＬＤ１が比較的短い場合、関数Ｗ（ｘ）のβを大きくすることで、高周波成分の検出精度を比較的高めることができる。
【００４６】
図３（ａ）は、βを小さくした場合の関数Ｗ（ｘ）の状態の一例を示し、図３（ｂ）は、βを大きくした場合の関数Ｗ（ｘ）の状態の一例を示す。
【００４７】
以上の窓関数に関する説明は主にラインデータＬＤ１の１次元高速フーリエ変換についてのものであったが、Ｙ軸方向に延びるラインデータＬＤ２の１次元高速フーリエ変換に際しても同様の窓関数処理を施すことで、空間周波数スペクトル高周波成分の検出精度を高めることができる。
【００４８】
画像ファイルの１次元高速フーリエ変換については、以上のようなフーリエ変換処理の前にＤＣレベル調整を行うことが望ましい。このようなＤＣレベル調整は、各ラインデータＬＤ１，ＬＤ２から平均値を求めてその平均値を差し引くことによって達成され、各ラインデータＬＤ１，ＬＤ２から定常レベルである直流成分が除かれる。このＤＣレベル調整によって、各ラインデータＬＤ１，ＬＤ２について輝度振幅を正確に反映した空間周波数スペクトルを得ることができ、負の値をとらない画像データについても、正確なフーリエ変換が可能なる。
【００４９】
以上のようにして得た空間周波数スペクトルに対しては、まず、係数処理が施され、高周波側のスペクトル成分のみが優先的に取り出される。具体的には、空間周波数の増加に伴って連続的或いは不連続に増大する重み係数をかける係数処理によって、空間周波数の高い部分の信号強度を相対的に高める。これにより、変化が激しい画像すなわちパターンがより細かい画像（合焦画像）を含む画像ファイルの判定が可能になる。
【００５０】
さらに、係数処理後の空間周波数スペクトルに対しては、波位相処理を行って変換結果を補正する。窓関数処理によってラインデータＬＤ１，ＬＤ２の幅（窓幅）に対応する空間周波数のピークが現れやすくなる傾向があるが、係数処理後の空間周波数スペクトルのうちラインデータＬＤ１，ＬＤ２の幅に対応する空間周波数及びその近傍で信号強度を相対的に低くする。窓関数の影響で画像ファイルが細かいパターンの画像を含むか否かの判定が妨げられ、或いはその信頼性が低下することを防止できる。
【００５１】
図４（ａ）に示すテーブルは、各画像ファイルＩＦ１〜ＩＦ６を構成する画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｎ（１）〜ＢＡｎ（６），…，ＢＡｚ（１）〜ＢＡｚ（６）に対してそれぞれ算出した焦点度をまとめたものである。これらの焦点度は、上述した係数処理や波位相処理後の空間周波数スペクトルを例えば積分等することによって計算することができ、各画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｎ（１）〜ＢＡｎ（６），…，ＢＡｚ（１）〜ＢＡｚ（６）のパターンが精細か否か（つまり焦点が合って鮮明か否か）の判断基準となる。
【００５２】
図４（ｂ）は、図４（ａ）のテーブルを基準にして、各画像データＢＡ１（１）〜ＢＡ１（６），…，ＢＡｚ（１）〜ＢＡｚ（６）をつなぎ合わせることによって作成した合成ファイルＣＦを示す。この合成ファイルＣＦは、６つの画像ファイルＩＦ１〜ＩＦ６を細かく分けて、そのうち合焦状態が良いブロック領域ＢＢをつなぎ合わせたと考えることができる。具体的には、各画像ファイルＩＦ１〜ＩＦ６を細分した一部のうち対応する箇所である画像データＢＡ１（１）〜ＢＡ１（６）から最も焦点度が高ものを選択し、次の対応箇所である画像データＢＡ２（１）〜ＢＡ２（６）から最も焦点度が高ものを選択する。このように、各画像ファイルＩＦ１〜ＩＦ６を細分した対応箇所である画像データＢＡｎ（１）〜ＢＡｎ（６）のうち最も焦点度が高ものを選択する操作を繰り返すことにより、画像データのうち焦点が合ったブロック領域ＢＢを選択することができ、このような画像データを適宜つなぎ合わせることによって合成ファイルＣＦを作成することができる。
【００５３】
以下、図１等に示す撮影装置１００の動作について説明する。図５〜７は、撮影装置１００の主な動作を説明するフローチャートである。
【００５４】
まず、顕微鏡駆動装置２０を適宜動作させつつ顕微鏡本体１０の結像状態を例えば６段階で変化させ、対象の拡大像であるフォーカス画像をカメラ３０に撮影させる。これにより、ＣＰＵ５１は、インターフェース装置４０を介してｍ個（具体例ではｍ＝６）のフォーカス画像を制御装置５０に取り込む。これらのフォーカス画像は、図２（ａ）に示す画像ファイルＩＦ１〜ＩＦ６として、記憶装置５５に保管される（ステップＳ１）。なお、ＣＰＵ５１と記憶装置５５は、２次元的な画像データを取り込んで保持する保持手段として機能する。
【００５５】
次に、ＣＰＵ５１は、６段階のフォーカス画像である画像ファイルＩＦ１〜ＩＦ６からｎ番目のブロック領域を切り出して、記憶装置５５の別の箇所に一時的に保管する（ステップＳ２）。ここで、ｎは、１から徐々に増加する自然数である。このように保管されたブロック領域は、各フォーカス画像を碁盤の目状に分割した１つ（ｎ番目）であり、図２（ｂ）に示す画像データＢＡｎ（１）〜ＢＡｎ（６）に対応する矩形の切出領域を意味する。つまり、各画像ファイルＩＦ１〜ＩＦ６は、細分されたブロック領域を集めたものである。
【００５６】
次に、ＣＰＵ５１は、各画像ファイルＩＦ１〜ＩＦ６において切り出したｎ番目のブロック領域のうち、ｐ番目のフォーカス画像に対する輝度画素データを読み込んで記憶装置５５のＲＡＭ等に保持する（ステップＳ３）。ここで、ｐは、１から徐々に増加する最大値ｍの自然数（具体例では最大値ｍ＝６）である。輝度画素データは、画像データＢＡｎ（ｐ）から式（１）を利用して算出することができ、図２（ｃ）で説明した輝度値ＢＡｎ’（１）〜ＢＡｎ’（６）のうち輝度値ＢＡｎ’（ｐ）に対応する。
【００５７】
次に、ＣＰＵ５１は、スキャン手段として、輝度画素データからｑ番目の横ラインデータを抽出する（ステップＳ４）。ここで、横ラインデータは、図２（ｃ）に示すＸ方向のラインデータＬＤ１に相当し、画像データＢＡｎ（ｐ）のＹ方向の画素幅の範囲内でシフトさせることができる。ｑは１から徐々に増加する自然数であり、具体的な例では、最大値１６となる。
【００５８】
次に、ＣＰＵ５１は、レベル調整手段として、横ラインデータの輝度値の平均を計算するとともに、この平均値に基づいて横ラインデータのＤＣレベルシフト（レベル調整処理）を行う（ステップＳ５）。
【００５９】
次に、ＣＰＵ５１は、横ラインデータに対して窓関数処理を行う（ステップＳ６）。窓関数処理については、図３（ａ）、（ｂ）等で説明したものとなっている。
【００６０】
次に、ＣＰＵ５１は、窓関数処理後の横ラインデータに対して高速フーリエ変換を施す（ステップＳ７）。フーリエ変換手段として、結果は、図２（ｃ）に示すようなものとなる。
【００６１】
以上のような処理（ステップＳ４〜Ｓ７）は、ステップＳ８で横スキャンが終了したと判断されるまで繰り返される。なお、横スキャンの終了とは、画像データＢＡｎ（ｐ）のＹ方向の画素幅の範囲内の各位置からラインデータＬＤ１を抽出して高速フーリエ変換を施すことを意味する。
【００６２】
次に、ＣＰＵ５１は、スキャン手段として、輝度画素データからｑ番目の縦ラインデータを抽出する（ステップＳ１１）。ここで、縦ラインデータは、図２（ｄ）に示すＹ方向のラインデータＬＤ２に相当し、画像データＢＡｎ（ｐ）のＸ方向の画素幅の範囲内でシフトさせることができる。ｑは１から徐々に増加する自然数であり、具体的な例では、最大値１６となる。
【００６３】
次に、ＣＰＵ５１は、レベル調整手段として、縦ラインデータの輝度値の平均を計算するとともに、この平均値に基づいて縦ラインデータのＤＣレベルシフト（レベル調整処理）を行う（ステップＳ１２）。
【００６４】
次に、ＣＰＵ５１は、縦ラインデータに対して窓関数処理を行う（ステップＳ１３）。
【００６５】
次に、ＣＰＵ５１は、フーリエ変換手段として、窓関数処理後の縦ラインデータに対して高速フーリエ変換を施す（ステップＳ１４）。結果は、図２（ｄ）に示すようなものとなる。
【００６６】
以上のような処理（ステップＳ１１〜Ｓ１４）は、ステップＳ１５で縦スキャンが終了したと判断されるまで繰り返される。なお、縦スキャンの終了とは、画像データＢＡｎ（ｐ）のＸ方向の画素幅の範囲内の各位置からラインデータＬＤ２を抽出して高速フーリエ変換を施すことを意味する。
【００６７】
以上のようにして得たＸ方向及びＹ方向の高速フーリエ変換結果に対して、ＣＰＵ５１は、検出手段乃至係数処理手段として、記憶装置５５の適所から読み出した高周波重み係数をかける（ステップＳ２０）。このような係数処理は、高周波側のスペクトル成分のみを優先的に取り出すためのもの（所謂ハイパスフィルタ）であり、空間周波数の高い部分の信号強度を相対的に高めることによって、画像データＢＡ１（１）〜ＢＡ１（６）のうち、パターンがより細かい画像データの判定が可能になる。
【００６８】
次に、ＣＰＵ５１は、波位相手段として、係数処理後の高速フーリエ変換結果に対して波位相処理を行う（ステップＳ２１）。高速フーリエ変換の前に行う窓関数処理（ステップＳ６，Ｓ１３）によってラインデータＬＤ１，ＬＤ２の幅（窓幅）に対応する空間周波数のピークが現れやすくなる傾向があるが、ラインデータＬＤ１，ＬＤ２の幅に対応する空間周波数及びその近傍で信号強度を相対的に低くすることによって、窓関数の影響で画像データＢＡ１（１）〜ＢＡ１（６）が細かいパターンの画像を含むか否かの判断精度が低下することを防止できる。
【００６９】
以上ステップＳ２１で得た高速フーリエ変換結果をｎ番目のブロック領域内で集計する（ステップＳ２２）。つまり、高速フーリエ変換の結果である空間周波数スペクトルを例えば積分することによって個々のラインデータＬＤ１，ＬＤ２の合焦度が算出され、このような合焦度を全ラインデータに関して加算することによって、図４（ａ）のテーブルに示す焦点度を得ることができる。
【００７０】
以上のような処理（ステップＳ３〜Ｓ２２）は、ステップＳ２３でｍ個の対象画像が終了したと判断されるまで繰り返される。なお、対象画像が終了とは、各画像ファイルＩＦ１〜ＩＦ６において同一箇所で切り出したｎ番目のブロック領域のすべての処理が終了して、図４（ａ）のテーブル中で縦一列の焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）が得られることを意味する。
【００７１】
次に、ＣＰＵ５１は、ｎ番目のブロック領域について得た焦点度の大小を比較する（ステップＳ３１）。具体的には、図４（ａ）のテーブルにおいてｎ番目のブロック領域についての焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）の値を比較する。
【００７２】
次に、ＣＰＵ５１は、選択手段として、焦点度データＮｏ．１（ＩＦ１）〜Ｎｏ．６（ＩＦ６）のうち、最大値を与える２つの焦点度データを決定する。これらの焦点度データに対応する画像データのうち一方がその周囲（隣接領域）で既に選択した画像データと連続する場合、すなわち同じ画像ファイルＩＦ１〜ＩＦ６から得たものである場合、その画像を焦点度最大で鮮明な画像データと判定する（ステップＳ３２）。なお、双方の画像データがその周囲（隣接領域）で既に選択した画像データと連続する場合、焦点度データが実際に大きな画像を鮮明な画像データと判定する。
【００７３】
次に、ＣＰＵ５１は、焦点度最大の画像データ（具体例では６つの画像データＢＡｎ（１）〜ＢＡｎ（６）のうち１つ）を記憶装置５５から読み出す（ステップＳ３３）。この画像データは、カラーブロック画像となっている。
【００７４】
次に、ＣＰＵ５１は、ステップＳ３３で得たカラーブロック画像としての画像データを既得の周辺画像と重ね合わせて合成する（ステップＳ３４）。つまり、ステップＳ３３で得た画像データをその隣接領域で既に選択した画像データとすり合わせを行って滑らかに接続する。
【００７５】
隣接領域の画像データとの合成に際しては、ブロックノイズ除去、すなわち画像の滑らかな接続を実現するすり合わせを行う。すり合わせは、接続すべき一対の画像データの境界からの画素数を基準として、例えば以下のような条件で行われる。なお、ＤＡＴＡ（自）は今回合成する画像データを意味し、ＤＡＴＡ（隣）は、既に選択した画像データを意味し、ＤＡＴＡ（合成）は合成後の画像データを意味する。
（１）境界との距離が１画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.６＋ＤＡＴＡ（隣）＊0.４
（２）境界との距離が２画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.７＋ＤＡＴＡ（隣）＊0.３
（３）境界との距離が３画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.８＋ＤＡＴＡ（隣）＊0.２
（４）境界との距離が４画素（ドット）の時
ＤＡＴＡ（合成）＝ＤＡＴＡ（自）＊0.９＋ＤＡＴＡ（隣）＊0.１
【００７６】
以上のような処理（ステップＳ２〜Ｓ３４）は、ステップＳ３５で全ブロック領域の処理が終了したと判断されるまで繰り返される。なお、全ブロック領域の処理の終了とは、各画像ファイルＩＦ１〜ＩＦ６を細分したブロック領域のすべてについて高速フーリエ変換が終了して、鮮明な画像データを選択した合成画像が形成されることを意味する。このような合成画像データは、記憶装置５５の適所に合成画像ファイルとして保管される。
【００７７】
図８（ａ）〜（ｆ）は、ステップＳ１で取り込まれる画像ファイルＩＦ１〜ＩＦ６を例示するもので、６つの拡大像であるフォーカス画像が示されている。
【００７８】
図９は、ステップＳ３５を終了して全処理を終わった段階で得られる合成画像ファイルを例示する。画面全体に亘って対象にピントが合った画像が得られている。
【００７９】
以上、実施形態に即して本発明を説明したが、本発明は上記実施形態に限定されるものではない。例えば、本実施形態では、画像ファイルＩＦ１〜ＩＦ６が顕微鏡画像であるものとして説明したが、一般のカメラ画像についても同様の処理が可能であり、立体的対象や風景、２つの対象を含む画像において鮮明なピントが合った画像ファイルを得ることができる。
【００８０】
また、本実施形態では、画像ファイルの全体に合成処理を施しているが、画像ファイルの一部限定した領域に合成処理を施すこともできる。
【００８１】
また、以上の実施形態で実施した高速フーリエ変換は、２方向に関するフーリエ変換処理を統合しており、またＤＣレベルシフトを行いつつ、データ幅に応じて空間周波数スペクトルを適切に抽出することができる窓関数を用いているので、空間周波数情報を適切に取り出すことができる。よって、このような処理方法は、、単なる画像処理・分析にとどまらず、科学分析、科学技術等を含む産業全体で広く応用できるものである。
【図面の簡単な説明】
【００８２】
【図１】実施形態に係る撮影装置の構造を概念的に説明するブロック図である。
【図２】（ａ）は、ピントを変化させつつ対象の拡大像を撮影することによって得た画像ファイルを示し、（ｂ）は、各画像ファイルから切り出した切出領域の輝度成分に対応する画像データを示し、（ｃ）は、画像データの輝度値に対してＸ方向に関する１次元高速フーリエ変換を施した結果を例示し、（ｄ）は、画像データの輝度値に対してＹ方向に関する１次元高速フーリエ変換を施した結果を例示する。
【図３】（ａ）、（ｂ）は、窓関数の状態を例示するグラフである。
【図４】（ａ）は、各画像ファイルを構成する画像データに対してそれぞれ算出した焦点度をまとめたテーブルであり、（ｂ）は、図４（ａ）のテーブルを基準にして、各画像データをつなぎ合わせることによって作成した合成ファイルを示す。
【図５】撮影装置の主な動作を説明するフローチャートである。
【図６】撮影装置の主な動作を説明するフローチャートである。
【図７】撮影装置の主な動作を説明するフローチャートである。
【図８】（ａ）〜（ｆ）は、６つの拡大像であるフォーカス画像を示している。
【図９】全処理を終わった段階で得られる合成画像ファイルを例示する。
【符号の説明】
【００８３】
１０…顕微鏡本体、 ２０…顕微鏡駆動装置、 ３０…カメラ、 ４０…インターフェース装置、 ５０…制御装置、 ５２…入力装置、 ５３…ディスプレイ、 ５４…出力装置、 ５５…記憶装置
【特許請求の範囲】
【請求項１】
２次元的な画像データを取り込んで保持する保持手段と、
前記保持手段に取り込まれた画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出するスキャン手段と、
前記スキャン手段によって抽出された前記一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するフーリエ変換手段と、
を備えるラインスキャン型の画像処理装置。
【請求項２】
前記一群のラインデータに対して前記フーリエ変換を施す前に、当該一群のラインデータの連続的な繰返しを可能にする所定の窓関数を用いた演算処理を、当該一群のラインデータに対して施す窓関数手段をさらに備えることを特徴とする請求項１記載のラインスキャン型の画像処理装置。
【請求項３】
前記所定の窓関数は、窓の両端で前記一群のラインデータの滑らかな繰返しを可能にすることを特徴とする請求項２記載のラインスキャン型の画像処理装置。
【請求項４】
前記所定の窓関数は、窓幅を１／２周期とする第１の三角関数と、窓幅を１／４周期とする第２の三角関数とを所定の重み付けで加算したものであることを特徴とする請求項３記載のラインスキャン型の画像処理装置。
【請求項５】
前記フーリエ変換手段は、前記所定の窓関数が前記空間周波数スペクトルに与える影響を抑える波位相処理を、前記一群のラインデータに施す補正手段を有することを特徴とする請求項２から請求項４のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項６】
前記補正手段は、前記所定の窓関数の窓幅に対応する周期のスペクトル成分を選択的に減衰させることを特徴とする請求項５記載のラインスキャン型の画像処理装置。
【請求項７】
前記一群のラインデータから定常レベルを除くレベル調整手段をさらに備えることを特徴とする請求項１から請求項６のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項８】
前記空間周波数スペクトルから高周波のスペクトル成分側を優先的に検出する検出手段をさらに備えることを特徴とする請求項１から請求項７のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項９】
前記検出手段は、前記空間周波数スペクトルに対して高周波のスペクトル成分側で値が増大する係数をかける係数処理手段であることを特徴とする請求項８記載のラインスキャン型の画像処理装置。
【請求項１０】
前記保持手段は、複数の画像の対応する切出領域から切り出した複数の画像データを保持し、
前記フーリエ変換手段は、前記複数の画像データのそれぞれに対して一群の空間周波数スペクトルを算出し、
前記一群の空間周波数スペクトルのうち高周波のスペクトル成分の割合が相対的に高い高密度スペクトルに対応する画像データを選択する選択手段をさらに備えることを特徴とする請求項１から請求項９のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項１１】
前記複数の画像の切出領域を変更する領域変更手段と、前記領域変更手段によって変更された新たな切出領域について前記スキャン手段及び前記フーリエ変換手段による処理を行わせるとともに、前記選択手段によって前記高密度スペクトルに対応する画像データを選択させる選択繰返手段と、前記選択手段によって順次選択された複数の画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成手段とをさらに備えることを特徴とする請求項１０記載のラインスキャン型の画像処理装置。
【請求項１２】
前記選択手段は、高周波のスペクトル成分の割合が相対的に高い複数の高密度スペクトルを特定するとともに、前記選択繰返手段の動作に伴って画像データの選択を繰返す際に、前記複数の高密度スペクトルに対応する複数の画像データのうち前記切出領域の周辺の画像領域について既に選択している画像データと連続する画像データがあれば、当該連続する画像データを優先的に選択することを特徴とする請求項１１記載のラインスキャン型の画像処理装置。
【請求項１３】
前記複数の画像は、フォーカス状態を多段階で切り替えつつ対象を撮影したものであることを特徴とする請求項１０から請求項１２のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項１４】
前記フーリエ変換手段は、前記一群のラインデータに対して離散フーリエ変換を施すことを特徴とする請求項１から請求項１３のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項１】
２次元的な画像データを取り込んで保持する保持手段と、
前記保持手段に取り込まれた画像データから異なる２方向に関して一群のラインデータをそれぞれ順次抽出するスキャン手段と、
前記スキャン手段によって抽出された前記一群のラインデータに対してフーリエ変換を施して空間周波数スペクトルをそれぞれ算出するフーリエ変換手段と、
を備えるラインスキャン型の画像処理装置。
【請求項２】
前記一群のラインデータに対して前記フーリエ変換を施す前に、当該一群のラインデータの連続的な繰返しを可能にする所定の窓関数を用いた演算処理を、当該一群のラインデータに対して施す窓関数手段をさらに備えることを特徴とする請求項１記載のラインスキャン型の画像処理装置。
【請求項３】
前記所定の窓関数は、窓の両端で前記一群のラインデータの滑らかな繰返しを可能にすることを特徴とする請求項２記載のラインスキャン型の画像処理装置。
【請求項４】
前記所定の窓関数は、窓幅を１／２周期とする第１の三角関数と、窓幅を１／４周期とする第２の三角関数とを所定の重み付けで加算したものであることを特徴とする請求項３記載のラインスキャン型の画像処理装置。
【請求項５】
前記フーリエ変換手段は、前記所定の窓関数が前記空間周波数スペクトルに与える影響を抑える波位相処理を、前記一群のラインデータに施す補正手段を有することを特徴とする請求項２から請求項４のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項６】
前記補正手段は、前記所定の窓関数の窓幅に対応する周期のスペクトル成分を選択的に減衰させることを特徴とする請求項５記載のラインスキャン型の画像処理装置。
【請求項７】
前記一群のラインデータから定常レベルを除くレベル調整手段をさらに備えることを特徴とする請求項１から請求項６のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項８】
前記空間周波数スペクトルから高周波のスペクトル成分側を優先的に検出する検出手段をさらに備えることを特徴とする請求項１から請求項７のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項９】
前記検出手段は、前記空間周波数スペクトルに対して高周波のスペクトル成分側で値が増大する係数をかける係数処理手段であることを特徴とする請求項８記載のラインスキャン型の画像処理装置。
【請求項１０】
前記保持手段は、複数の画像の対応する切出領域から切り出した複数の画像データを保持し、
前記フーリエ変換手段は、前記複数の画像データのそれぞれに対して一群の空間周波数スペクトルを算出し、
前記一群の空間周波数スペクトルのうち高周波のスペクトル成分の割合が相対的に高い高密度スペクトルに対応する画像データを選択する選択手段をさらに備えることを特徴とする請求項１から請求項９のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項１１】
前記複数の画像の切出領域を変更する領域変更手段と、前記領域変更手段によって変更された新たな切出領域について前記スキャン手段及び前記フーリエ変換手段による処理を行わせるとともに、前記選択手段によって前記高密度スペクトルに対応する画像データを選択させる選択繰返手段と、前記選択手段によって順次選択された複数の画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成手段とをさらに備えることを特徴とする請求項１０記載のラインスキャン型の画像処理装置。
【請求項１２】
前記選択手段は、高周波のスペクトル成分の割合が相対的に高い複数の高密度スペクトルを特定するとともに、前記選択繰返手段の動作に伴って画像データの選択を繰返す際に、前記複数の高密度スペクトルに対応する複数の画像データのうち前記切出領域の周辺の画像領域について既に選択している画像データと連続する画像データがあれば、当該連続する画像データを優先的に選択することを特徴とする請求項１１記載のラインスキャン型の画像処理装置。
【請求項１３】
前記複数の画像は、フォーカス状態を多段階で切り替えつつ対象を撮影したものであることを特徴とする請求項１０から請求項１２のいずれか一項記載のラインスキャン型の画像処理装置。
【請求項１４】
前記フーリエ変換手段は、前記一群のラインデータに対して離散フーリエ変換を施すことを特徴とする請求項１から請求項１３のいずれか一項記載のラインスキャン型の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２２１３６５（Ｐ２００６−２２１３６５Ａ）
【公開日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願番号】特願２００５−３３４２８（Ｐ２００５−３３４２８）
【出願日】平成１７年２月９日（２００５．２．９）
【出願人】（５０５０５００２７）株式会社ビットストロング (1)
【Ｆターム（参考）】
【公開日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願日】平成１７年２月９日（２００５．２．９）
【出願人】（５０５０５００２７）株式会社ビットストロング (1)
【Ｆターム（参考）】
[ Back to top ]