スライド画像データ作成装置
【課題】試料の必要部分を顕微鏡により撮影したスライド画像データを高速かつ自動的に生成することができるスライド画像データ作成装置を提供すること。
【解決手段】スライド画像データ作成装置は、顕微鏡１０に備え付けられたカメラ１１、スライドガラス１７を保持し、３次元方向に移動可能な試料搬送機構２１〜２７、試料をＸ、Ｙ、Ｚ軸方向に順次移動させながらカメラ１１を制御して複数の高倍率画像を撮影し、複数画像の貼り合わせ情報を生成して、１つのファイルに格納するパソコン１３を備える。外部のデジタルカメラ１２を備えてもよい。本発明によれば、顕微鏡画像を高速に撮影することが可能であり、画像データを１つのファイルに格納することによって閲覧時に多数の画像ファイルを開いて処理する必要がなく、多量のメモリも不要で、高速に処理や表示ができる。また、試料の３次元の構造が判別可能である。
【解決手段】スライド画像データ作成装置は、顕微鏡１０に備え付けられたカメラ１１、スライドガラス１７を保持し、３次元方向に移動可能な試料搬送機構２１〜２７、試料をＸ、Ｙ、Ｚ軸方向に順次移動させながらカメラ１１を制御して複数の高倍率画像を撮影し、複数画像の貼り合わせ情報を生成して、１つのファイルに格納するパソコン１３を備える。外部のデジタルカメラ１２を備えてもよい。本発明によれば、顕微鏡画像を高速に撮影することが可能であり、画像データを１つのファイルに格納することによって閲覧時に多数の画像ファイルを開いて処理する必要がなく、多量のメモリも不要で、高速に処理や表示ができる。また、試料の３次元の構造が判別可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スライド画像データ作成装置およびスライド画像データに関し、特に病理組織学検査や血液学検査、遺伝子検査、細胞学検査等において、試料を入れたプレパラート（スライドガラス）を顕微鏡にセッティングして高倍率で撮影し、スライド画像データを生成して管理するスライド画像データ作成装置および生成されるスライド画像データに関する。
【背景技術】
【０００２】
近年、病理組織学、血液学、遺伝子検査学の顕微鏡検査等においては、採取した病理組織や細胞や血液等の試料を顕微鏡に装備した撮像装置によって撮影し、その画像をコンピュータに取り込んで、ディスプレイ上で観察できる画像データを作成することが行われている。例えば、下記特許文献１には、上記したような技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２２２８０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した従来のシステムにおいては、試料の顕微鏡による画像を撮影するのに時間がかかり、画像の撮影時や閲覧時に多数の画像ファイルを開いて処理するために多量のメモリが必要であり、かつ処理時間がかかるなどの問題点があった。また、基本的に２次元の画像情報しか撮影できないので、撮影した画像から顕微鏡の光軸と並行なＺ軸方向の試料の構造を判別することはできないという問題点もあった。
本発明は、前記したような従来技術における問題点を解消し、試料の必要部分を顕微鏡により高倍率で撮影した複数の画像を含むスライド画像データを高速かつ自動的に生成することができるスライド画像データ作成装置および生成されるスライド画像データを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のスライド画像データ作成装置は、顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、試料を保持し、３次元方向に移動可能な試料搬送手段と、前記試料搬送手段を制御して、画像が他の画像と重なる部分であるのりしろ部が存在するように試料を顕微鏡の光軸と垂直方向に順次移動させながら前記デジタル撮影手段を制御して複数の高倍率画像を撮影する撮影制御手段と、複数の高倍率画像から画像処理により前記のりしろ部を認識し、複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、複数の高倍率画像を前記貼り合わせ情報と共に１つのファイルに格納する画像ファイル生成手段とを備えたことを主要な特徴とする。
【０００６】
また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向にも微細に移動させながら、所定間隔で複数の画像を撮影する点にも特徴がある。また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向において顕微鏡の焦点が合う位置を検出するフォーカス位置検出手段を備えている点にも特徴がある。
【０００７】
また、前記したスライド画像データ作成装置において、更に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、外部デジタルカメラ手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、前記外部デジタルカメラにより撮影された画像、前記複数の高倍率画像および前記貼り合わせ情報が１つの動画ファイルにまとめて収納されている点にも特徴がある。
【０００８】
また、前記したスライド画像データ作成装置において、更に、前記外部デジタルカメラにより撮影された画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えた点にも特徴がある。
また、前記したスライド画像データ作成装置において、更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えた点にも特徴がある。
本発明のスライド画像データは複数の高倍率画像データおよび画像の貼り合わせ情報が１つの動画ファイルにまとめて収納されていることを主要な特徴とする。
【発明の効果】
【０００９】
本発明によれば、顕微鏡による撮影の必要な領域のみを高速に撮影することが可能であり、画像データを１つのファイルに格納することによって閲覧時に多数の画像ファイルを開いて処理する必要がなく、多量のメモリも不要で、高速に処理や表示ができるという効果がある。また、本発明によれば、焦点位置をＺ軸方向にもスキャンして撮影することにより、試料の３次元の構造が判別可能である。例えば診断に必要な細胞の核の形状が真球か楕円球かというような判別が可能となる。更に、画像データをデータベースにより管理し、ネットワークやＷｅｂを通して、バーチャルスライド画像とその属性情報を閲覧することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。
【図２】本発明において使用するスライドガラスの例を示す平面図である。
【図３】本発明のスライドガラス撮影装置の構成を示す平面図である。
【図４】本発明による全自動スライド作成処理の内容を示すフローチャートである。
【図５】Ｓ１６の高倍率画像撮影処理の内容を示すフローチャートである。
【図６】Ｓ３３のＺ軸位置調整処理の内容を示すフローチャートである。
【図７】本発明によるビューア処理の内容を示すフローチャートである。
【図８】ファイルの構造および表示される画像の例を示す説明図である。
【図９】本発明の第２実施例の半自動スライド作成処理の内容を示すフローチャートである。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら実施例について説明する。
【実施例１】
【００１２】
図１は、本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。本発明のスライド画像データ作成装置は、大きく分けて顕微鏡１０を含むスライドガラス撮影装置とパソコン１３からなる。また、パソコン１３はＬＡＮ５４を介してＤＢ、Ｗｅｂサーバ５０、ＤＢ（データベース）５１、端末（ＰＣ）５２と接続され、更にＤＢ、Ｗｅｂサーバ５０はルータ５３、インターネット５５を介して外部の端末（ＰＣ）５６と接続されている。
【００１３】
図３は、本発明のスライドガラス撮影装置の構成を示す平面図である。スライドガラス撮影装置は、基台２０の上に固定された顕微鏡１０およびデジタル（外部）カメラ１２、スライドガラス収納マガジン３０の駆動装置３１、スライドガラスを保持し、移動させる３次元移動機構２１〜２８、モータ駆動装置１６等を備えている。
【００１４】
顕微鏡１０は、試料を肉眼で観察する双眼の接眼レンズを有していると共に、パソコン１３から制御可能なデジタル顕微鏡カメラ１１を内蔵しており、顕微鏡カメラ１１で撮影した試料の高倍率画像をデジタルデータとしてパソコン１３に取り込み、後述するように画像データを編集してデータベース化し、所望の部分を表示装置１４に表示できる。
【００１５】
顕微鏡１０は、基台２０上に取り付けられた固定アタッチメントによって所定位置に固定されるようになっており、固定アタッチメントは、複数の製造メーカーの顕微鏡に適合できるように形状の異なる複数種類のものが用意されている。なお、この実施例においては、顕微鏡１０の光軸は垂直方向である。
【００１６】
デジタル（外部）カメラ１２は、やはり基台２０の上に固定されており、パソコン１３からの制御に基づき、通常のカラー静止画像データをパソコン１３に出力する。スライドガラス１７の試料部分の全体画像であるルーペ画像の撮影および２次元バーコード４２などの読み取りに使用される。
【００１７】
３次元移動機構２１〜２８は、ステッピングモータ２２により前後方向に移動可能な第１の可動フレーム２３、ステッピングモータ２４により左右方向に移動可能な第２の可動フレーム２５、ステッピングモータ２６により上下方向に移動可能な第３の可動フレーム２７、第３の可動フレーム２７に固着されたスライドガラス保持ハンド２８を備える。
【００１８】
そして、パソコン１３からの制御に基づいてモータ駆動装置１６によって各ステッピングモータが駆動されることにより、スライドガラス１７をスライドガラス保持ハンド２８で保持し、前後、左右および上下方向の任意の位置に移動可能に構成されている。
【００１９】
３次元移動機構２１〜２８は、スライドガラス１７をスライドガラス収納マガジン３０から取り出して、デジタルカメラ１２の下方および顕微鏡１０の対物レンズ１８と下方のコンデンサレンズ（図示せず）との間に移動させ、また、元のスライドガラス収納マガジン３０内に戻す動作を自動的に行う。
【００２０】
高倍率画像の撮影時には１枚の試料を多数の画像に分割して撮影する必要があるので、撮影すべき前後、左右方向の位置を合わせると共に、ピントの合う位置を中心とした上下方向の所定範囲についても第３の可動フレーム２７を微小な長さだけ移動させながら複数枚の画像を撮影する。上下の移動は対物レンズ１８との衝突が起こらないよう、可動範囲を２ミリメートル以内とし、その範囲内でフォーカスの調整を行う。
【００２１】
スライドガラス収納マガジン３０の駆動装置３１は、パソコン１３からの制御に基づいてモータ駆動装置１６によってステッピングモータ３２が駆動されることにより、スライドガラス収納マガジン３０を上下に移動させる。駆動装置３１にはスライドガラス収納マガジン３０が着脱自在に装着されている。スライドガラス収納マガジン３０には、スライドガラス保持溝が複数平行に並んで設けられており、複数のスライドガラス１７を棚状に並べて収容できるように構成されている。
【００２２】
パソコン１３は、周知の標準的ハードウェアを備えたパソコンであり、表示装置１４、キーボード１５、マウス、ＬＡＮ５４等と接続されている。また、例えばＵＳＢインターフェイスによって、顕微鏡カメラ１１、デジタルカメラ１２、モータ駆動装置１６等と接続されている。パソコン１３は、使用者の指示に基づき、後述する処理を実行する。
【００２３】
図４は、本発明による全自動スライド作成処理の内容を示すフローチャートである。この処理はパソコン１３により実行される。この処理を行う場合には、まず画像を撮影すべきスライドガラスをスライドガラス収納マガジン３０に下から詰めてセットしておく。Ｓ１０においては、使用者によって入力されたスライドガラス枚数情報を読み込む。Ｓ１１においては、３次元移動機構２１〜２８を制御して未処理のスライドガラスを１枚取り出し、デジタルカメラ１２の下へセットする。
【００２４】
図２は、本発明において使用するスライドガラスの例を示す平面図である。スライドガラス１７とカバーガラス４５の間には標本が挟まれており、スライドガラス１７の左上には、例えばスライドガラスの識別番号が記録されたＱＲコードなどの２次元バーコード４２が貼付されている。Ｓ１２においては、デジタルカメラ１２を使用して２次元バーコード４２を読み取る。
【００２５】
Ｓ１３においては、デジタルカメラ１２を使用してルーペ画像を撮影する。ルーペ画像とは図２に点線４６で示す範囲の画像であり、標本の領域全てを含んでいる。図２の右側にはルーペ画像を抜き出して表示してある。
【００２６】
Ｓ１４においては、撮影エリアを自動認識する。高倍率の顕微鏡カメラ１１は撮影領域が狭いので、標本の領域全てを１枚の画像で撮影することはできない。そこで、図２の右側に示すように、ルーペ画像を格子状に複数の領域４７に分割（図２では６×６）し、分割したそれぞれの領域４７より少しだけ広い領域を高倍率の顕微鏡カメラ１１によって撮影する。
【００２７】
そして、スライドガラス上に標本組織が点在している場合には、処理の高速化とファイル容量を低減するために、必要な部分のみを自動的に抽出したマーク領域のみの撮影を行う。例えば図２右側の図において画像処理によって左端の列の分割画像には標本がないことを認識した場合には、左端の列の撮影を行わないようにする。あるいは、ルーペ画像から標本のある領域のみを抽出し、抽出した領域をカバーする範囲のみを高倍率の顕微鏡カメラ１１によって撮影するようにしてもよい。
【００２８】
Ｓ１５においては、３次元移動機構２１〜２８を制御して、スライドガラス１７を顕微鏡１０の対物レンズ１８の下に移動する。Ｓ１６においては、後述する高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。
Ｓ１７においては、ルーペ画像＋サムネイル画像＋高倍率画像を１つの動画像ファイルにまとめ、スライドガラスの識別番号と共にＤＢ、Ｗｅｂサーバ５０に備えられているＤＢ５０に登録、保存する。なお、ＤＢ５０にはスライドガラスの識別番号と対応して対応する患者名などのその他の情報がすでに登録されているものとする。
【００２９】
図８は、ファイルの構造および表示される画像の例を示す説明図である。動画像ファイル６０は複数のフレームデータからなり、第１フレームには情報フレーム６１が格納されている。情報フレーム６１には、システム情報、マシン名、バージョン情報、撮影倍率、システム構成、カメラ名などの情報が格納されている。第２フレームにはルーペ画像６３が格納されており、このフレームにはフレーム間の撮影位置情報も格納されている。最終フレームにはサムネイル画像７０が格納されており、第３フレームから最終フレームの１つ前のフレームまでに高倍率画像が格納されている。
【００３０】
図４に戻って、Ｓ１８においては、３次元移動機構２１〜２８を制御してスライドガラスを元の位置に収納する。Ｓ１９においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはＳ１１に移行するが、否定の場合には処理を終了する。
【００３１】
図５は、Ｓ１６の高倍率画像撮影処理の内容を示すフローチャートである。Ｓ３０においては、顕微鏡カメラ１１に露光時間、シャッタースピード、カラーバランス等について所望のパラメータを設定する。Ｓ３１においては、Ｙ軸（左右方向）の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最上段の分割画像が顕微鏡カメラ１１の撮影領域に入る位置にスライドガラス１７を移動させる。
【００３２】
Ｓ３２においては、Ｘ軸の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最左列の分割画像が顕微鏡カメラ１１の撮影領域に入る位置にスライドガラス１７を移動させる。Ｓ３３においては、後述するＺ軸位置調整処理を行い、焦点のＺ軸位置を検出する。
【００３３】
Ｓ３４においては、Ｚ軸の初期位置に移動させる。本発明においては、Ｚ軸方向にも焦点の位置を中心とした所定の範囲について等間隔に位置を変えながら高倍率画像を撮影する。従って、Ｓ３４においては、焦点位置から所定の長さだけ下方にスライドガラス１７を移動させる。
【００３４】
Ｓ３５においては、顕微鏡カメラ１１によって高倍率のカラー画像を撮影し、画像データを読み込む。Ｓ３６においては、上下左右（ＸＹ軸方向）に他の高倍率画像がある場合には、それらの画像との重なり情報を生成する。重なり情報とは例えば他の画像と何画素分重なっているか、即ちどのピクセルを貼り合わせるのかを示す情報である。重なり情報は例えば重なる画素数を変えながら端部の画像の相関を取ることにより得られる。
【００３５】
得られた重なり情報は画像データに付加して保存される。保存するファイルの形式は例えばJPEG2000に準拠した動画ファイル形式であってもよい。なお、重なり情報は高倍率画像自体に組み込む形をとっている。組み込まれている情報としては、重なり情報の他、ＡＦ（オートフォーカス）情報、ハードウェアの識別情報や撮影ソフトウェアのバージョン情報、Ｘ，Ｙ，Ｚの位置情報などのシステム情報が格納されている。１枚の高倍率画像の画素数は例えば1280×1024であってもよい。更に、この際に高画質画像をつなぎ合わせたマーク領域全体の縮小画像であるサムネイル画像も生成する。
【００３６】
Ｓ３７においては、Ｚ軸を１ステップ移動させる。１ステップの幅は例えば０．５ミクロンであってもよい。Ｓ３８においては、Ｚ軸が最終位置に達したか否かによりＺ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合にはＳ３９に移行する。
【００３７】
Ｓ３９においては、Ｘ軸を１ステップ移動させる。１ステップの幅は倍率によって変化し、例えば４０倍では０．１８ミリメートル程度となる。Ｓ４０においては、Ｘ軸が最終位置に達したか否かによりＸ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合にはＳ３９に移行する。
【００３８】
Ｓ４１においては、Ｙ軸を１ステップ移動させる。Ｓ４２においては、Ｙ軸が最終位置に達したか否かによりＹ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合には処理を終了する。
【００３９】
図６は、Ｓ３３のＺ軸位置調整処理の内容を示すフローチャートである。Ｓ５０においては、Ｚ軸位置調整処理の実行が初回か否かが判定され、判定結果が否定の場合にはＳ５１に移行するが、肯定の場合にはＳ５５に移行する。Ｓ５１においては、前回のＺ軸中心位置において高倍率画像を読み込む。Ｓ５２においては、ＦＦＴ（高速フーリエ変換）処理が行われ、画像の周波数スペトラムが算出される。
【００４０】
Ｓ５３においては、周波数スペトラムのピークパワー値を記憶値と比較する。Ｓ５４においては、ピークパワー値が記憶値の例えば９０％未満か否かが判定され、判定結果が否定の場合にはＺ軸位置は変更せず前回の焦点位置をそのまま使用するので、処理を終了するが、肯定の場合にはＳ５５に移行して焦点位置を再検出する。
【００４１】
Ｓ５５においては、Ｚ軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込む。Ｓ５６においては、全ての画像についてＦＦＴ（高速フーリエ変換）処理が行われ、画像の周波数スペトラムが算出される。Ｓ５７においては、ピークパワー値が最大のＺ位置を検出する。Ｓ５８においては、ピークパワー値を記憶し、このＺ位置をＺ軸中心位置とする。Ｓ５９においては、中心および任意に指定した上下位置の３枚の画像を取得する。
【００４２】
図７は、本発明によるビューア処理の内容を示すフローチャートである。この処理は例えばパソコン１３あるいは端末（ＰＣ）５２において実行される。Ｓ７０においては、使用者が入力操作した表示すべきスライド選択情報を入力する。使用者は患者名等のキーワードに基づきＤＢ５１を検索してもよい。Ｓ７１においては、ＤＢから要求に該当する動画像ファイルおよび診断情報保存用テキストファイル、マーキング情報およびコメント情報保存用テキストファイル等の付加情報テキストファイルを読み出す。Ｓ７２においては、スライドの全体画像であるルーペ画像を表示する。
【００４３】
図８は、ファイルの構造および表示される画像の例を示す説明図である。ルーペ画像６３はスライドガラスの試料の全体を含んでおり、ルーペ画像６３には自動または手動で設定され、高倍率画像が撮影されているマーク領域６４、６５が表示されている。使用者はここで例えばマーク領域６４内をクリックする。
【００４４】
Ｓ７３においては、マーク領域部分全体の縮小画像であるサムネイル画像７０を表示する。図８中段のサムネイル画像７０は例えば４×４＝１６枚の高倍率画像を貼り合わせて縮小したものであり、点線７１、７２は表示はされない高倍率画像の境界である。使用者はここで例えばサムネイル画像７０の見たい部分（領域７３の中心）をクリックする。
【００４５】
Ｓ７４においては、指定位置を使用者が指定した任意の倍率で表示するために必要な複数の高倍率画像を決定し、その画像を読み出す。例えば領域７３を表示するためには４枚の高倍率画像が必要である。Ｓ７５においては、読み出した高倍率画像を埋め込まれている重なり情報に基づき貼り合わせる。
【００４６】
Ｓ７６においては、貼り合わせた高倍率画像７５およびマーキング情報、コメント、診断情報を画面サイズに合わせて整形して表示する。なお、高倍率画像７５が表示された状態で表示領域を上下左右に移動させることができる。また、Ｚ軸方向の移動は上（画面手前側）または下（画面奥側）への移動指示に基づき、移動後の画像が貼り合わされて表示される。
【００４７】
Ｓ７７においては、マーキングの要求があるか否かが判定され、判定結果が否定の場合にはＳ７９に移行するが、肯定の場合にはＳ７８に移行する。Ｓ７８においては、マーキング情報記録処理が行われる。マーキングとは画像上へのマーキング（色、形などは自由）を可能とする機能である。マーキング情報の内容は例えばマーキング番号、Ｘ軸位置、Ｙ軸位置、Ｚ軸位置、マーキングの形、色、線の太さ等からなる。マーキング情報は原画像には手を加えず、レイヤー情報として保存する。
【００４８】
Ｓ７９においては、コメントの要求があるか否かが判定され、判定結果が否定の場合にはＳ８１に移行するが、肯定の場合にはＳ８０に移行する。Ｓ８０においては、コメント情報記録処理が行われる。使用者は別画面上に表示されるコメントボックスにコメントを記載する。コメント情報もレイヤー情報として保存する。
【００４９】
Ｓ８１においては、全体画像の表示に戻るか否かが判定され、判定結果が否定の場合にはＳ８２に移行するが、肯定の場合にはＳ７３あるいはＳ７２に移行する。Ｓ８２においては、処理を終了するか否かが判定され、判定結果が否定の場合にはＳ７７に移行するが、肯定の場合には処理を終了する。
【００５０】
インターネットを介して外部の端末５６からアクセスする場合には、端末５６に上記したビューアプログラムをインストールし、ＤＢ５１から必要なファイルをダウンロードしてもよいが、ビューアプログラムと同じ機能をＷｅｂサーバ５０において実行し、端末５６においては周知のＷｅｂブラウザを起動してＷｅｂサーバにアクセスするようにしてもよい。Ｗｅｂサーバ５０においてはブラウザからの操作情報に基づき、表示すべき画面データを生成して端末５６に送信する。このようにすれば、専用のプログラムをインストールする必要がなく、インターネットに接続された任意の端末から画像の閲覧が可能である。
【実施例２】
【００５１】
図９は、本発明の第２実施例の半自動スライド作成処理の内容を示すフローチャートである。第１実施例においては、高倍率画像を撮影するマーク領域を自動的に認識する例を開示したが、試料の全ての領域を高倍率で撮影すると非常に時間がかかり、データ量も非常に多くなってしまう。そこで、まず全てのスライドガラスについてルーペ画像のみを撮影して一覧表示し、それぞれのルーペ画像について高倍率画像が必要な部分のみを使用者がマークすることができるようにすることにより、撮影時間が短縮でき、データ量も削減できる。
【００５２】
Ｓ１００においては、使用者によって入力されたスライドガラス枚数情報を読み込む。Ｓ１０１においては、３次元移動機構２１〜２８を制御して未処理のスライドガラス１７を１枚取り出し、デジタルカメラ１２の下へセットする。Ｓ１０２においては、デジタルカメラ１２を使用して２次元バーコードを読み取る。
【００５３】
Ｓ１０３においては、デジタルカメラ１２を使用してルーペ画像を撮影し、スライドガラスを元の収納位置に格納する。Ｓ１０４においては、撮影エリアを自動認識する。Ｓ１０５においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはＳ１０１に移行するが、否定の場合にはＳ１０６に移行する。
【００５４】
Ｓ１０６においては、全てのスライドガラスのルーペ画像と自動認識エリアを表示する。使用者はここで自動認識エリアを変更したいルーペ画像について、高倍率画像の撮影が必要な部分のみをマークする。Ｓ１０７においては、使用者による変更操作が有ったか否かが判定され、判定結果が肯定の場合にはＳ１０８に移行するが、否定（変更操作完了）の場合にはＳ１０９に移行する。Ｓ１０８においては、入力された撮影エリア情報を読み込み、撮影エリア情報を更新してＳ１０６に移行する。
【００５５】
Ｓ１０９においては、３次元移動機構２１〜２８を制御して、未処理のスライドガラス１７を１枚取り出し、デジタルカメラ１２の下へセットする。Ｓ１１０においては、デジタルカメラ１２を使用して２次元バーコードを読み取る。Ｓ１１１においては、デジタルカメラ１２を使用してルーペ画像を撮影する。
【００５６】
Ｓ１１２においては、読み取った２次元バーコードをチェックしてスライドガラスを確認すると共に、Ｓ１０３において撮影したルーペ画像とＳ１１１において撮影したルーペ画像の位置のずれを検出し、検出値に基づき３次元移動機構２１〜２８による移動位置を補正する。
【００５７】
Ｓ１１３においては、スライドガラスを顕微鏡１０の対物レンズ１８の下に移動する。Ｓ１１４においては、前述した高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。Ｓ１１５においては、ルーペ画像＋サムネイル画像＋高倍率画像を１つの動画像ファイルにまとめてＤＢ５０に登録、保存する。
【００５８】
Ｓ１１６においては、３次元移動機構２１〜２８を制御してスライドガラスを元の位置に収納する。Ｓ１１７においては、未処理のスライドガラスが有るか否かが判定され、判定結果が否定の場合には処理を終了するが、肯定の場合にはＳ１０９に移行する。
【００５９】
以上実施例を説明したが、本発明には以下のような変形例も考えられる。実施例においては、画像の傾き、回転が考慮されていないが、ルーペ画像と高倍率画像の間、あるいは隣接する高倍率画像の間において画像の相対的な傾き（回転）を検出し、補正するようにしてもよい。また、レンズ収差補正や色補正等を行ってもよい。
【産業上の利用可能性】
【００６０】
本発明のスライド画像データ作成装置は、医学(病理学・血液学・寄生虫学等)・農学・薬学・理学・教育など顕微鏡を利用する全分野において広く利用することができる。
【符号の説明】
【００６１】
１０ 顕微鏡
１１ 顕微鏡カメラ
１２ デジタルカメラ
１３ パソコン
１６ モータ駆動装置
１７ スライドガラス
１８ 対物レンズ
２０ 基台
２１〜２８ ３次元移動機構
３０ スライドガラス収納マガジン
【技術分野】
【０００１】
本発明は、スライド画像データ作成装置およびスライド画像データに関し、特に病理組織学検査や血液学検査、遺伝子検査、細胞学検査等において、試料を入れたプレパラート（スライドガラス）を顕微鏡にセッティングして高倍率で撮影し、スライド画像データを生成して管理するスライド画像データ作成装置および生成されるスライド画像データに関する。
【背景技術】
【０００２】
近年、病理組織学、血液学、遺伝子検査学の顕微鏡検査等においては、採取した病理組織や細胞や血液等の試料を顕微鏡に装備した撮像装置によって撮影し、その画像をコンピュータに取り込んで、ディスプレイ上で観察できる画像データを作成することが行われている。例えば、下記特許文献１には、上記したような技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２２２８０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した従来のシステムにおいては、試料の顕微鏡による画像を撮影するのに時間がかかり、画像の撮影時や閲覧時に多数の画像ファイルを開いて処理するために多量のメモリが必要であり、かつ処理時間がかかるなどの問題点があった。また、基本的に２次元の画像情報しか撮影できないので、撮影した画像から顕微鏡の光軸と並行なＺ軸方向の試料の構造を判別することはできないという問題点もあった。
本発明は、前記したような従来技術における問題点を解消し、試料の必要部分を顕微鏡により高倍率で撮影した複数の画像を含むスライド画像データを高速かつ自動的に生成することができるスライド画像データ作成装置および生成されるスライド画像データを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のスライド画像データ作成装置は、顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、試料を保持し、３次元方向に移動可能な試料搬送手段と、前記試料搬送手段を制御して、画像が他の画像と重なる部分であるのりしろ部が存在するように試料を顕微鏡の光軸と垂直方向に順次移動させながら前記デジタル撮影手段を制御して複数の高倍率画像を撮影する撮影制御手段と、複数の高倍率画像から画像処理により前記のりしろ部を認識し、複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、複数の高倍率画像を前記貼り合わせ情報と共に１つのファイルに格納する画像ファイル生成手段とを備えたことを主要な特徴とする。
【０００６】
また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向にも微細に移動させながら、所定間隔で複数の画像を撮影する点にも特徴がある。また、前記したスライド画像データ作成装置において、顕微鏡の光軸と並行な方向において顕微鏡の焦点が合う位置を検出するフォーカス位置検出手段を備えている点にも特徴がある。
【０００７】
また、前記したスライド画像データ作成装置において、更に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、外部デジタルカメラ手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、前記外部デジタルカメラにより撮影された画像、前記複数の高倍率画像および前記貼り合わせ情報が１つの動画ファイルにまとめて収納されている点にも特徴がある。
【０００８】
また、前記したスライド画像データ作成装置において、更に、前記外部デジタルカメラにより撮影された画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段を備えた点にも特徴がある。また、前記したスライド画像データ作成装置において、更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えた点にも特徴がある。
また、前記したスライド画像データ作成装置において、更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えた点にも特徴がある。
本発明のスライド画像データは複数の高倍率画像データおよび画像の貼り合わせ情報が１つの動画ファイルにまとめて収納されていることを主要な特徴とする。
【発明の効果】
【０００９】
本発明によれば、顕微鏡による撮影の必要な領域のみを高速に撮影することが可能であり、画像データを１つのファイルに格納することによって閲覧時に多数の画像ファイルを開いて処理する必要がなく、多量のメモリも不要で、高速に処理や表示ができるという効果がある。また、本発明によれば、焦点位置をＺ軸方向にもスキャンして撮影することにより、試料の３次元の構造が判別可能である。例えば診断に必要な細胞の核の形状が真球か楕円球かというような判別が可能となる。更に、画像データをデータベースにより管理し、ネットワークやＷｅｂを通して、バーチャルスライド画像とその属性情報を閲覧することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。
【図２】本発明において使用するスライドガラスの例を示す平面図である。
【図３】本発明のスライドガラス撮影装置の構成を示す平面図である。
【図４】本発明による全自動スライド作成処理の内容を示すフローチャートである。
【図５】Ｓ１６の高倍率画像撮影処理の内容を示すフローチャートである。
【図６】Ｓ３３のＺ軸位置調整処理の内容を示すフローチャートである。
【図７】本発明によるビューア処理の内容を示すフローチャートである。
【図８】ファイルの構造および表示される画像の例を示す説明図である。
【図９】本発明の第２実施例の半自動スライド作成処理の内容を示すフローチャートである。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら実施例について説明する。
【実施例１】
【００１２】
図１は、本発明のスライド画像データ作成装置を含むシステム全体の構成を示すブロック図である。本発明のスライド画像データ作成装置は、大きく分けて顕微鏡１０を含むスライドガラス撮影装置とパソコン１３からなる。また、パソコン１３はＬＡＮ５４を介してＤＢ、Ｗｅｂサーバ５０、ＤＢ（データベース）５１、端末（ＰＣ）５２と接続され、更にＤＢ、Ｗｅｂサーバ５０はルータ５３、インターネット５５を介して外部の端末（ＰＣ）５６と接続されている。
【００１３】
図３は、本発明のスライドガラス撮影装置の構成を示す平面図である。スライドガラス撮影装置は、基台２０の上に固定された顕微鏡１０およびデジタル（外部）カメラ１２、スライドガラス収納マガジン３０の駆動装置３１、スライドガラスを保持し、移動させる３次元移動機構２１〜２８、モータ駆動装置１６等を備えている。
【００１４】
顕微鏡１０は、試料を肉眼で観察する双眼の接眼レンズを有していると共に、パソコン１３から制御可能なデジタル顕微鏡カメラ１１を内蔵しており、顕微鏡カメラ１１で撮影した試料の高倍率画像をデジタルデータとしてパソコン１３に取り込み、後述するように画像データを編集してデータベース化し、所望の部分を表示装置１４に表示できる。
【００１５】
顕微鏡１０は、基台２０上に取り付けられた固定アタッチメントによって所定位置に固定されるようになっており、固定アタッチメントは、複数の製造メーカーの顕微鏡に適合できるように形状の異なる複数種類のものが用意されている。なお、この実施例においては、顕微鏡１０の光軸は垂直方向である。
【００１６】
デジタル（外部）カメラ１２は、やはり基台２０の上に固定されており、パソコン１３からの制御に基づき、通常のカラー静止画像データをパソコン１３に出力する。スライドガラス１７の試料部分の全体画像であるルーペ画像の撮影および２次元バーコード４２などの読み取りに使用される。
【００１７】
３次元移動機構２１〜２８は、ステッピングモータ２２により前後方向に移動可能な第１の可動フレーム２３、ステッピングモータ２４により左右方向に移動可能な第２の可動フレーム２５、ステッピングモータ２６により上下方向に移動可能な第３の可動フレーム２７、第３の可動フレーム２７に固着されたスライドガラス保持ハンド２８を備える。
【００１８】
そして、パソコン１３からの制御に基づいてモータ駆動装置１６によって各ステッピングモータが駆動されることにより、スライドガラス１７をスライドガラス保持ハンド２８で保持し、前後、左右および上下方向の任意の位置に移動可能に構成されている。
【００１９】
３次元移動機構２１〜２８は、スライドガラス１７をスライドガラス収納マガジン３０から取り出して、デジタルカメラ１２の下方および顕微鏡１０の対物レンズ１８と下方のコンデンサレンズ（図示せず）との間に移動させ、また、元のスライドガラス収納マガジン３０内に戻す動作を自動的に行う。
【００２０】
高倍率画像の撮影時には１枚の試料を多数の画像に分割して撮影する必要があるので、撮影すべき前後、左右方向の位置を合わせると共に、ピントの合う位置を中心とした上下方向の所定範囲についても第３の可動フレーム２７を微小な長さだけ移動させながら複数枚の画像を撮影する。上下の移動は対物レンズ１８との衝突が起こらないよう、可動範囲を２ミリメートル以内とし、その範囲内でフォーカスの調整を行う。
【００２１】
スライドガラス収納マガジン３０の駆動装置３１は、パソコン１３からの制御に基づいてモータ駆動装置１６によってステッピングモータ３２が駆動されることにより、スライドガラス収納マガジン３０を上下に移動させる。駆動装置３１にはスライドガラス収納マガジン３０が着脱自在に装着されている。スライドガラス収納マガジン３０には、スライドガラス保持溝が複数平行に並んで設けられており、複数のスライドガラス１７を棚状に並べて収容できるように構成されている。
【００２２】
パソコン１３は、周知の標準的ハードウェアを備えたパソコンであり、表示装置１４、キーボード１５、マウス、ＬＡＮ５４等と接続されている。また、例えばＵＳＢインターフェイスによって、顕微鏡カメラ１１、デジタルカメラ１２、モータ駆動装置１６等と接続されている。パソコン１３は、使用者の指示に基づき、後述する処理を実行する。
【００２３】
図４は、本発明による全自動スライド作成処理の内容を示すフローチャートである。この処理はパソコン１３により実行される。この処理を行う場合には、まず画像を撮影すべきスライドガラスをスライドガラス収納マガジン３０に下から詰めてセットしておく。Ｓ１０においては、使用者によって入力されたスライドガラス枚数情報を読み込む。Ｓ１１においては、３次元移動機構２１〜２８を制御して未処理のスライドガラスを１枚取り出し、デジタルカメラ１２の下へセットする。
【００２４】
図２は、本発明において使用するスライドガラスの例を示す平面図である。スライドガラス１７とカバーガラス４５の間には標本が挟まれており、スライドガラス１７の左上には、例えばスライドガラスの識別番号が記録されたＱＲコードなどの２次元バーコード４２が貼付されている。Ｓ１２においては、デジタルカメラ１２を使用して２次元バーコード４２を読み取る。
【００２５】
Ｓ１３においては、デジタルカメラ１２を使用してルーペ画像を撮影する。ルーペ画像とは図２に点線４６で示す範囲の画像であり、標本の領域全てを含んでいる。図２の右側にはルーペ画像を抜き出して表示してある。
【００２６】
Ｓ１４においては、撮影エリアを自動認識する。高倍率の顕微鏡カメラ１１は撮影領域が狭いので、標本の領域全てを１枚の画像で撮影することはできない。そこで、図２の右側に示すように、ルーペ画像を格子状に複数の領域４７に分割（図２では６×６）し、分割したそれぞれの領域４７より少しだけ広い領域を高倍率の顕微鏡カメラ１１によって撮影する。
【００２７】
そして、スライドガラス上に標本組織が点在している場合には、処理の高速化とファイル容量を低減するために、必要な部分のみを自動的に抽出したマーク領域のみの撮影を行う。例えば図２右側の図において画像処理によって左端の列の分割画像には標本がないことを認識した場合には、左端の列の撮影を行わないようにする。あるいは、ルーペ画像から標本のある領域のみを抽出し、抽出した領域をカバーする範囲のみを高倍率の顕微鏡カメラ１１によって撮影するようにしてもよい。
【００２８】
Ｓ１５においては、３次元移動機構２１〜２８を制御して、スライドガラス１７を顕微鏡１０の対物レンズ１８の下に移動する。Ｓ１６においては、後述する高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。
Ｓ１７においては、ルーペ画像＋サムネイル画像＋高倍率画像を１つの動画像ファイルにまとめ、スライドガラスの識別番号と共にＤＢ、Ｗｅｂサーバ５０に備えられているＤＢ５０に登録、保存する。なお、ＤＢ５０にはスライドガラスの識別番号と対応して対応する患者名などのその他の情報がすでに登録されているものとする。
【００２９】
図８は、ファイルの構造および表示される画像の例を示す説明図である。動画像ファイル６０は複数のフレームデータからなり、第１フレームには情報フレーム６１が格納されている。情報フレーム６１には、システム情報、マシン名、バージョン情報、撮影倍率、システム構成、カメラ名などの情報が格納されている。第２フレームにはルーペ画像６３が格納されており、このフレームにはフレーム間の撮影位置情報も格納されている。最終フレームにはサムネイル画像７０が格納されており、第３フレームから最終フレームの１つ前のフレームまでに高倍率画像が格納されている。
【００３０】
図４に戻って、Ｓ１８においては、３次元移動機構２１〜２８を制御してスライドガラスを元の位置に収納する。Ｓ１９においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはＳ１１に移行するが、否定の場合には処理を終了する。
【００３１】
図５は、Ｓ１６の高倍率画像撮影処理の内容を示すフローチャートである。Ｓ３０においては、顕微鏡カメラ１１に露光時間、シャッタースピード、カラーバランス等について所望のパラメータを設定する。Ｓ３１においては、Ｙ軸（左右方向）の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最上段の分割画像が顕微鏡カメラ１１の撮影領域に入る位置にスライドガラス１７を移動させる。
【００３２】
Ｓ３２においては、Ｘ軸の初期位置に移動させる。例えばルーペ画像の全ての領域を撮影する場合にはルーペ画像の最左列の分割画像が顕微鏡カメラ１１の撮影領域に入る位置にスライドガラス１７を移動させる。Ｓ３３においては、後述するＺ軸位置調整処理を行い、焦点のＺ軸位置を検出する。
【００３３】
Ｓ３４においては、Ｚ軸の初期位置に移動させる。本発明においては、Ｚ軸方向にも焦点の位置を中心とした所定の範囲について等間隔に位置を変えながら高倍率画像を撮影する。従って、Ｓ３４においては、焦点位置から所定の長さだけ下方にスライドガラス１７を移動させる。
【００３４】
Ｓ３５においては、顕微鏡カメラ１１によって高倍率のカラー画像を撮影し、画像データを読み込む。Ｓ３６においては、上下左右（ＸＹ軸方向）に他の高倍率画像がある場合には、それらの画像との重なり情報を生成する。重なり情報とは例えば他の画像と何画素分重なっているか、即ちどのピクセルを貼り合わせるのかを示す情報である。重なり情報は例えば重なる画素数を変えながら端部の画像の相関を取ることにより得られる。
【００３５】
得られた重なり情報は画像データに付加して保存される。保存するファイルの形式は例えばJPEG2000に準拠した動画ファイル形式であってもよい。なお、重なり情報は高倍率画像自体に組み込む形をとっている。組み込まれている情報としては、重なり情報の他、ＡＦ（オートフォーカス）情報、ハードウェアの識別情報や撮影ソフトウェアのバージョン情報、Ｘ，Ｙ，Ｚの位置情報などのシステム情報が格納されている。１枚の高倍率画像の画素数は例えば1280×1024であってもよい。更に、この際に高画質画像をつなぎ合わせたマーク領域全体の縮小画像であるサムネイル画像も生成する。
【００３６】
Ｓ３７においては、Ｚ軸を１ステップ移動させる。１ステップの幅は例えば０．５ミクロンであってもよい。Ｓ３８においては、Ｚ軸が最終位置に達したか否かによりＺ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合にはＳ３９に移行する。
【００３７】
Ｓ３９においては、Ｘ軸を１ステップ移動させる。１ステップの幅は倍率によって変化し、例えば４０倍では０．１８ミリメートル程度となる。Ｓ４０においては、Ｘ軸が最終位置に達したか否かによりＸ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合にはＳ３９に移行する。
【００３８】
Ｓ４１においては、Ｙ軸を１ステップ移動させる。Ｓ４２においては、Ｙ軸が最終位置に達したか否かによりＹ軸の処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３５に移行するが、肯定の場合には処理を終了する。
【００３９】
図６は、Ｓ３３のＺ軸位置調整処理の内容を示すフローチャートである。Ｓ５０においては、Ｚ軸位置調整処理の実行が初回か否かが判定され、判定結果が否定の場合にはＳ５１に移行するが、肯定の場合にはＳ５５に移行する。Ｓ５１においては、前回のＺ軸中心位置において高倍率画像を読み込む。Ｓ５２においては、ＦＦＴ（高速フーリエ変換）処理が行われ、画像の周波数スペトラムが算出される。
【００４０】
Ｓ５３においては、周波数スペトラムのピークパワー値を記憶値と比較する。Ｓ５４においては、ピークパワー値が記憶値の例えば９０％未満か否かが判定され、判定結果が否定の場合にはＺ軸位置は変更せず前回の焦点位置をそのまま使用するので、処理を終了するが、肯定の場合にはＳ５５に移行して焦点位置を再検出する。
【００４１】
Ｓ５５においては、Ｚ軸方向の所定の範囲をスキャンしながら高倍率画像を順次読み込む。Ｓ５６においては、全ての画像についてＦＦＴ（高速フーリエ変換）処理が行われ、画像の周波数スペトラムが算出される。Ｓ５７においては、ピークパワー値が最大のＺ位置を検出する。Ｓ５８においては、ピークパワー値を記憶し、このＺ位置をＺ軸中心位置とする。Ｓ５９においては、中心および任意に指定した上下位置の３枚の画像を取得する。
【００４２】
図７は、本発明によるビューア処理の内容を示すフローチャートである。この処理は例えばパソコン１３あるいは端末（ＰＣ）５２において実行される。Ｓ７０においては、使用者が入力操作した表示すべきスライド選択情報を入力する。使用者は患者名等のキーワードに基づきＤＢ５１を検索してもよい。Ｓ７１においては、ＤＢから要求に該当する動画像ファイルおよび診断情報保存用テキストファイル、マーキング情報およびコメント情報保存用テキストファイル等の付加情報テキストファイルを読み出す。Ｓ７２においては、スライドの全体画像であるルーペ画像を表示する。
【００４３】
図８は、ファイルの構造および表示される画像の例を示す説明図である。ルーペ画像６３はスライドガラスの試料の全体を含んでおり、ルーペ画像６３には自動または手動で設定され、高倍率画像が撮影されているマーク領域６４、６５が表示されている。使用者はここで例えばマーク領域６４内をクリックする。
【００４４】
Ｓ７３においては、マーク領域部分全体の縮小画像であるサムネイル画像７０を表示する。図８中段のサムネイル画像７０は例えば４×４＝１６枚の高倍率画像を貼り合わせて縮小したものであり、点線７１、７２は表示はされない高倍率画像の境界である。使用者はここで例えばサムネイル画像７０の見たい部分（領域７３の中心）をクリックする。
【００４５】
Ｓ７４においては、指定位置を使用者が指定した任意の倍率で表示するために必要な複数の高倍率画像を決定し、その画像を読み出す。例えば領域７３を表示するためには４枚の高倍率画像が必要である。Ｓ７５においては、読み出した高倍率画像を埋め込まれている重なり情報に基づき貼り合わせる。
【００４６】
Ｓ７６においては、貼り合わせた高倍率画像７５およびマーキング情報、コメント、診断情報を画面サイズに合わせて整形して表示する。なお、高倍率画像７５が表示された状態で表示領域を上下左右に移動させることができる。また、Ｚ軸方向の移動は上（画面手前側）または下（画面奥側）への移動指示に基づき、移動後の画像が貼り合わされて表示される。
【００４７】
Ｓ７７においては、マーキングの要求があるか否かが判定され、判定結果が否定の場合にはＳ７９に移行するが、肯定の場合にはＳ７８に移行する。Ｓ７８においては、マーキング情報記録処理が行われる。マーキングとは画像上へのマーキング（色、形などは自由）を可能とする機能である。マーキング情報の内容は例えばマーキング番号、Ｘ軸位置、Ｙ軸位置、Ｚ軸位置、マーキングの形、色、線の太さ等からなる。マーキング情報は原画像には手を加えず、レイヤー情報として保存する。
【００４８】
Ｓ７９においては、コメントの要求があるか否かが判定され、判定結果が否定の場合にはＳ８１に移行するが、肯定の場合にはＳ８０に移行する。Ｓ８０においては、コメント情報記録処理が行われる。使用者は別画面上に表示されるコメントボックスにコメントを記載する。コメント情報もレイヤー情報として保存する。
【００４９】
Ｓ８１においては、全体画像の表示に戻るか否かが判定され、判定結果が否定の場合にはＳ８２に移行するが、肯定の場合にはＳ７３あるいはＳ７２に移行する。Ｓ８２においては、処理を終了するか否かが判定され、判定結果が否定の場合にはＳ７７に移行するが、肯定の場合には処理を終了する。
【００５０】
インターネットを介して外部の端末５６からアクセスする場合には、端末５６に上記したビューアプログラムをインストールし、ＤＢ５１から必要なファイルをダウンロードしてもよいが、ビューアプログラムと同じ機能をＷｅｂサーバ５０において実行し、端末５６においては周知のＷｅｂブラウザを起動してＷｅｂサーバにアクセスするようにしてもよい。Ｗｅｂサーバ５０においてはブラウザからの操作情報に基づき、表示すべき画面データを生成して端末５６に送信する。このようにすれば、専用のプログラムをインストールする必要がなく、インターネットに接続された任意の端末から画像の閲覧が可能である。
【実施例２】
【００５１】
図９は、本発明の第２実施例の半自動スライド作成処理の内容を示すフローチャートである。第１実施例においては、高倍率画像を撮影するマーク領域を自動的に認識する例を開示したが、試料の全ての領域を高倍率で撮影すると非常に時間がかかり、データ量も非常に多くなってしまう。そこで、まず全てのスライドガラスについてルーペ画像のみを撮影して一覧表示し、それぞれのルーペ画像について高倍率画像が必要な部分のみを使用者がマークすることができるようにすることにより、撮影時間が短縮でき、データ量も削減できる。
【００５２】
Ｓ１００においては、使用者によって入力されたスライドガラス枚数情報を読み込む。Ｓ１０１においては、３次元移動機構２１〜２８を制御して未処理のスライドガラス１７を１枚取り出し、デジタルカメラ１２の下へセットする。Ｓ１０２においては、デジタルカメラ１２を使用して２次元バーコードを読み取る。
【００５３】
Ｓ１０３においては、デジタルカメラ１２を使用してルーペ画像を撮影し、スライドガラスを元の収納位置に格納する。Ｓ１０４においては、撮影エリアを自動認識する。Ｓ１０５においては、未処理のスライドが有るか否かが判定され、判定結果が肯定の場合にはＳ１０１に移行するが、否定の場合にはＳ１０６に移行する。
【００５４】
Ｓ１０６においては、全てのスライドガラスのルーペ画像と自動認識エリアを表示する。使用者はここで自動認識エリアを変更したいルーペ画像について、高倍率画像の撮影が必要な部分のみをマークする。Ｓ１０７においては、使用者による変更操作が有ったか否かが判定され、判定結果が肯定の場合にはＳ１０８に移行するが、否定（変更操作完了）の場合にはＳ１０９に移行する。Ｓ１０８においては、入力された撮影エリア情報を読み込み、撮影エリア情報を更新してＳ１０６に移行する。
【００５５】
Ｓ１０９においては、３次元移動機構２１〜２８を制御して、未処理のスライドガラス１７を１枚取り出し、デジタルカメラ１２の下へセットする。Ｓ１１０においては、デジタルカメラ１２を使用して２次元バーコードを読み取る。Ｓ１１１においては、デジタルカメラ１２を使用してルーペ画像を撮影する。
【００５６】
Ｓ１１２においては、読み取った２次元バーコードをチェックしてスライドガラスを確認すると共に、Ｓ１０３において撮影したルーペ画像とＳ１１１において撮影したルーペ画像の位置のずれを検出し、検出値に基づき３次元移動機構２１〜２８による移動位置を補正する。
【００５７】
Ｓ１１３においては、スライドガラスを顕微鏡１０の対物レンズ１８の下に移動する。Ｓ１１４においては、前述した高倍率画像撮影処理を行う。この際に、高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像も生成される。Ｓ１１５においては、ルーペ画像＋サムネイル画像＋高倍率画像を１つの動画像ファイルにまとめてＤＢ５０に登録、保存する。
【００５８】
Ｓ１１６においては、３次元移動機構２１〜２８を制御してスライドガラスを元の位置に収納する。Ｓ１１７においては、未処理のスライドガラスが有るか否かが判定され、判定結果が否定の場合には処理を終了するが、肯定の場合にはＳ１０９に移行する。
【００５９】
以上実施例を説明したが、本発明には以下のような変形例も考えられる。実施例においては、画像の傾き、回転が考慮されていないが、ルーペ画像と高倍率画像の間、あるいは隣接する高倍率画像の間において画像の相対的な傾き（回転）を検出し、補正するようにしてもよい。また、レンズ収差補正や色補正等を行ってもよい。
【産業上の利用可能性】
【００６０】
本発明のスライド画像データ作成装置は、医学(病理学・血液学・寄生虫学等)・農学・薬学・理学・教育など顕微鏡を利用する全分野において広く利用することができる。
【符号の説明】
【００６１】
１０ 顕微鏡
１１ 顕微鏡カメラ
１２ デジタルカメラ
１３ パソコン
１６ モータ駆動装置
１７ スライドガラス
１８ 対物レンズ
２０ 基台
２１〜２８ ３次元移動機構
３０ スライドガラス収納マガジン
【特許請求の範囲】
【請求項１】
顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、
試料を保持し、３次元方向に移動可能な試料搬送手段と、
前記試料搬送手段を制御して、画像が他の画像と重なる部分であるのりしろ部が存在するように、試料を前記顕微鏡の光軸と垂直なＸＹ方向に順次移動させながら、それぞれのＸＹ方向位置において前記試料を前記顕微鏡の光軸と平行なＺ方向に等間隔に位置を変えながら前記デジタル撮影手段を制御して高倍率画像を撮影する撮影動作を実行させることにより、ＸＹＺの３次元方向の複数の高倍率画像の撮影を制御する撮影制御手段と、
前記複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、
前記複数の高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、
前記複数の高倍率画像、前記貼り合わせ情報および前記サムネイル画像を１つのファイルに格納する画像ファイル生成手段と
を備えたことを特徴とするスライド画像データ作成装置。
【請求項２】
更に、前記顕微鏡の光軸と平行なＺ方向において顕微鏡の焦点が合う位置を検出するフォーカス位置検出手段を備え、前記撮影制御手段は、前記Ｚ方向において前記フォーカス位置検出手段によって検出した焦点の位置を中心とした所定の範囲について等間隔にＺ方向の位置を変えながら高倍率画像を撮影することを特徴とする請求項１記載のスライド画像データ作成装置。
【請求項３】
更に、外部デジタルカメラ手段を備えたことを特徴とする請求項１記載のスライド画像データ作成装置。
【請求項４】
更に、前記外部デジタルカメラにより撮影された画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段を備えたことを特徴とする請求項３記載のスライド画像データ作成装置。
【請求項５】
更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えたことを特徴とする請求項４記載のスライド画像データ作成装置。
【請求項６】
更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えたことを特徴とする請求項１記載のスライド画像データ作成装置。
【請求項１】
顕微鏡に備え付けられ、高倍率画像を撮影するデジタル撮影手段と、
試料を保持し、３次元方向に移動可能な試料搬送手段と、
前記試料搬送手段を制御して、画像が他の画像と重なる部分であるのりしろ部が存在するように、試料を前記顕微鏡の光軸と垂直なＸＹ方向に順次移動させながら、それぞれのＸＹ方向位置において前記試料を前記顕微鏡の光軸と平行なＺ方向に等間隔に位置を変えながら前記デジタル撮影手段を制御して高倍率画像を撮影する撮影動作を実行させることにより、ＸＹＺの３次元方向の複数の高倍率画像の撮影を制御する撮影制御手段と、
前記複数の高倍率画像の貼り合わせ情報を生成する貼り合わせ情報生成手段と、
前記複数の高倍率画像を貼り合わせた全体画像の縮小画像であるサムネイル画像を生成するサムネイル画像生成手段と、
前記複数の高倍率画像、前記貼り合わせ情報および前記サムネイル画像を１つのファイルに格納する画像ファイル生成手段と
を備えたことを特徴とするスライド画像データ作成装置。
【請求項２】
更に、前記顕微鏡の光軸と平行なＺ方向において顕微鏡の焦点が合う位置を検出するフォーカス位置検出手段を備え、前記撮影制御手段は、前記Ｚ方向において前記フォーカス位置検出手段によって検出した焦点の位置を中心とした所定の範囲について等間隔にＺ方向の位置を変えながら高倍率画像を撮影することを特徴とする請求項１記載のスライド画像データ作成装置。
【請求項３】
更に、外部デジタルカメラ手段を備えたことを特徴とする請求項１記載のスライド画像データ作成装置。
【請求項４】
更に、前記外部デジタルカメラにより撮影された画像から高倍率画像を撮影する領域を自動的に決定する撮影領域自動認識手段を備えたことを特徴とする請求項３記載のスライド画像データ作成装置。
【請求項５】
更に、複数のスライドガラスについて前記外部デジタルカメラにより撮影された画像を前記撮影領域自動認識手段により認識された撮影領域と共に一覧表示し、使用者が前記撮影領域を修正可能な撮影領域半自動認識手段を備えたことを特徴とする請求項４記載のスライド画像データ作成装置。
【請求項６】
更に、撮像された画像のファイルをデータベースに登録し、ネットワークを介して画像の検索および参照ができる画像公開手段を備えたことを特徴とする請求項１記載のスライド画像データ作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２０３２９（Ｐ２０１０−２０３２９Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００９−１８７９２２（Ｐ２００９−１８７９２２）
【出願日】平成２１年８月１４日（２００９．８．１４）
【分割の表示】特願２００５−１１３３５４（Ｐ２００５−１１３３５４）の分割
【原出願日】平成１７年４月１１日（２００５．４．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０４１３５１１４）株式会社クラーロ (4)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２１年８月１４日（２００９．８．１４）
【分割の表示】特願２００５−１１３３５４（Ｐ２００５−１１３３５４）の分割
【原出願日】平成１７年４月１１日（２００５．４．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０４１３５１１４）株式会社クラーロ (4)
【Ｆターム（参考）】
[ Back to top ]