生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
【課題】視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを提案する。
【解決手段】切除組織の奥行き方向における複数の位置でスライスされた組織切片の拡大切片像を取得した場合、当該拡大切片像を、三角形パッチ単位で変形しながらマッピングし、操作入力部からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向の位置を切り換える。
【解決手段】切除組織の奥行き方向における複数の位置でスライスされた組織切片の拡大切片像を取得した場合、当該拡大切片像を、三角形パッチ単位で変形しながらマッピングし、操作入力部からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向の位置を切り換える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムに関し、画像処理分野に適用して好適なものである。
【背景技術】
【0002】
病理サンプルは、切除組織から薄切される組織切片をスライドガラスに固定し、必要に応じて染色を施すことにより作成され、保管される。一般に、病理サンプルの保管期間が長期間となると、組織切片の劣化や退色等により顕微鏡での視認性が悪くなる。また病理サンプルは、作成された病院等の施設以外の施設で診断されることもあるが、該病理サンプルの受け渡しは一般に郵送であり、一定の時間を要する。
【0003】
このような実情等に鑑み、病理サンプルにおける組織切片の拡大像を画像データとし保存し、該拡大像を表示画面に提示するコンピュータシステムが提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2006−292999公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、病理サンプルは、切除組織に対して表層側から深層側にわたる複数の位置での組織切片を対象として作成されるが、ある層の組織切片における特定の細胞を、該層とは異なる層の組織切片から表示画面を用いて探し出す作業は煩雑となる。このため、表層側から深層側にわたる各断層の組織切片像を立体的に視認させるといった要請がある。
【0006】
しかしながら、表層側から深層側にわたる各断層の組織切片像を立体的に視認させようとする場合、各断層の組織切片に対して同じように薄切、染色又は固定などの工程を経ることはない。
【0007】
このため、ある断層の組織切片像から他の断層の組織切片像を表示する際に、同じ像であるにもかかわらず全く異なった像として視認される可能性が高いといった問題が生じる。
【0008】
本発明は以上の点を考慮してなされたもので、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを提案しようとするものである。
【課題を解決するための手段】
【0009】
かかる課題を解決するため本発明は、生体像提示装置であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。
【0010】
また本発明は、生体像提示方法であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、比較すべき像から、抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、抽出ステップで抽出される位置を基準として基準とすべき像を分割する分割ステップと、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、基準とすべき像と、マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップとを有する。
【0011】
また本発明は、プログラムであって、コンピュータに対して、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、比較すべき像から、抽出される位置に対応する対応位置を検出すること、抽出される位置を基準として基準とすべき像を分割すること、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させることを実行させる。
【0012】
また本発明は、顕微鏡と、データ処理装置とから構成される生体像提示システムであって、データ処理部は、顕微鏡から、生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。
【発明の効果】
【0013】
本発明は、特徴点を基準とした領域ごとに、基準像の領域形状と合わせながら比較像をマッピングする。このため、生体における各断面の像(断層像)において、対応する領域でありながらその形状が相違していても、各断層像の間隔が相違していても、当該相違を、臓器自体の形状については維持しつつも是正することができる。したがって、表示領域に表示すべき像が切り換えられたときに、当該切り換え前後の像が、同じ像であるにもかかわらず全く異なった像として視認されることは回避される。この結果、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを実現できる。
【図面の簡単な説明】
【0014】
【図1】生体像提示装置の構成を概略的に示す図である。
【図2】奥行方向への各組織切片が固定されるスライドガラス群の説明に供する略線図である。
【図3】データ処理部の構成を示すブロック図である。
【図4】取得処理を実行するCPUの機能的構成を示すブロック図である。
【図5】組織切片に対する領域ごとの画像の取得の説明に供する略線図である。
【図6】画像処理を実行するCPUの機能的構成を示すブロック図である。
【図7】特徴点の抽出結果を示す写真である。
【図8】対応点の探索の説明に供する写真である。
【図9】三角形分割の説明に供する写真である。
【図10】三角形パッチのマッピングの説明に供する写真である。
【発明を実施するための形態】
【0015】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
[1−1.生体像提示装置の構成]
[1−2.データ処理部の構成]
[1−3.組織切片像の取得処理]
[1−4.組織切片像の画像処理]
[1−5.組織切片像の提示処理]
[1−6.効果等]
<2.他の実施の形態>
【0016】
<1.実施の形態>
[1−1.生体像提示装置の構成]
図1において、生体像提示システム1を示す。この生体像提示システム1は、顕微鏡10と、データ処理部20とを含む構成される。
【0017】
顕微鏡10は、スライドガラスSGがセットされる面(以下、これをスライドセット面とも呼ぶ)をもち、該スライドセット面に対して平行方向及び直交方向(xyz軸方向)に移動可能なステージ(以下、これを可動ステージとも呼ぶ)11を有する。
【0018】
この可動ステージ11には、スライドガラス収容器(図示せず)に収容される複数のスライドガラスSGを1枚ずつスライドセット面におけるセット位置にセットする機構(以下、これをスライドセット機構とも呼ぶ)12が設けられる。
【0019】
スライドガラスSGには、この実施の形態では組織切片が所定の固定手法により固定される。図2に示すように、生体の切除組織から奥行き(深部)方向に薄切されたすべて又は一部の組織切片が、各スライドガラスに固定され、スライドガラス収容器に対して、例えば表層側(浅い薄切位置)の組織切片が固定されたものから順に収容される。
【0020】
なお、組織切片は、必要に応じて染色が施される。この染色には、HE(ヘマトキシリン・エオジン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0021】
可動ステージ11の一方の面側には光学系13が配され、該可動ステージ11の他方の面側には照明灯14が配される。照明灯14の光は、スライドセット面におけるセット位置に対して穿設される開口から、該可動ステージ11の一方の面に配される生体サンプルSPLに対する照明光として到達する。
【0022】
顕微鏡10は、この照明光で得られる組織切片の一部の像を、光学系13の第1の対物レンズ13A及び第2の対物レンズ13Bによって所定の倍率に拡大し、撮像部15の撮像面に結像するようになされている。
【0023】
またこの顕微鏡10は、蛍光染色に対する励起光を照射する励起光源16を有する。顕微鏡10は、この励起光源16から励起光が照射された場合、該励起光を、第1の対物レンズ13A及び第2の対物レンズ13B間に設けられるダイクロイックミラー12Cで反射させて第1の対物レンズ13Aに導く。そして顕微鏡10は、この励起光を、第1の対物レンズ13Aによって可動ステージ11に配されるスライドガラスSGに集光する。
【0024】
スライドガラスSGに固定される生体サンプルSPLに対して蛍光染色が施されていた場合、励起光により蛍光色素が発光する。この発光によって得られる光(以下、これを発色光とも呼ぶ)は第1の対物レンズ13Aを介してダイクロイックミラー12Cを透過する。そしてこの発色光は、ダイクロイックミラー12C及び第2の対物レンズ13B間に設けられる吸光フィルタ板13Dを介して、該第2の対物レンズ13Bに到達する。
【0025】
顕微鏡10は、発色光の像を第1の対物レンズ13Aによって拡大し、該発色光以外の光(以下、これを外光とも呼ぶ)を吸光フィルタ板13Dによって吸収する。そして顕微鏡10は、外光が除去された発色光の像を、第2の対物レンズ13Bによって拡大し、撮像部15の撮像面に結像するようになされている。
【0026】
一方、データ処理部20は、切除組織のうち、奥行き(深部)方向における複数の位置での組織切片(図2)の拡大像(以下、これを拡大切片像とも呼ぶ)を、所定形式のデータとして保存し得るようになされている。
【0027】
したがってこの生体像提示システム1は、スライドガラスSG自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片を保持することが可能である。
【0028】
またデータ処理部20は、各拡大切片像を3次元として組み合わせた像(以下、これを組織立体像とも呼ぶ)を構築し、該組織立体像又は拡大切片像を提示し得るようになされている。
【0029】
したがってこの生体像提示システム1は、切除組織の状態をさまざまな視点で提示することができ、この結果、病変の深達度(浸潤の程度)等を正確に判断させることが可能である。
【0030】
[1−2.データ処理部の構成]
図3において、データ処理部20の構成を示す。このデータ処理部20は、生体像提示システム1全体の制御を司るCPU(Central Processing Unit)21に対して各種ハードウェアを接続した構成とされる。
【0031】
具体的にはROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、バッファメモリ24、ユーザの操作に応じた命令を入力する操作入力部25、インターフェイス26、表示部27及び記憶部28がバス29を介して接続される。
【0032】
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス26には、可動ステージ11、スライドセット機構12、照明灯14、撮像部15及び励起光源16が、それぞれ所定の通信路を介して接続される。
【0033】
表示部27には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部28には、HD(Hard Disk)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。USB(Universal Serial Bus)メモリやCF(Compact Flash)メモリ等のように可搬型メモリが適用されてもよい。
【0034】
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部23から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、バッファメモリ24、表示部27及び記憶部28を適宜制御する。
【0035】
またCPU21は、展開したプログラムにしたがって、インターフェイス26を介して可動ステージ11、スライドセット機構12、照明灯14、撮像部15及び励起光源16を適宜制御するようになされている。
【0036】
[1−3.組織切片像の取得処理]
CPU21は、拡大切片像の取得命令を操作入力部23から受けた場合、該取得命令に対応するプログラムにしたがって、図4に示すように、スライドセット制御部41、拡大切片像取得部42、データ保存部43として機能する。
【0037】
スライドセット制御部41は、スライドセット機構12を制御して、スライドガラス収容器に収容される複数のスライドガラスSGを、スライドセット面におけるセット位置に1枚ずつセットさせる。
【0038】
拡大切片像取得部42は、スライドセット制御部41によってスライドガラスSGがセットされるごとに、セット対象のスライドガラスSGに固定される組織切片の拡大切片像を取得する。
【0039】
具体的には第1段階として、拡大切片像取得部42は、光学系12のフォーカス位置を調整するとともに、撮像部15の感度を調整する。
【0040】
フォーカス位置の調整には、例えば、撮像部15から出力される撮像データが示す画素値に基づいて可動ステージ11を制御することで、光学系12と撮像部15の撮像面との光軸方向における相対的位置を可変する手法が採用される。
【0041】
一方、撮像部15の感度の調整には、例えば、撮像データが示す画素値に基づいて、照明灯14あるいは励起光源16における励起光の照射光量(光強度)と、撮像部15での露光時間と、絞りの開口量との全部又は一部を可変する手法が採用される。
【0042】
第2段階として、拡大切片像取得部42は、例えば図5に示すように、対物レンズ13A,13Bを介して拡大される組織切片ETS(拡大切片像)が撮像範囲ARに割り当てられるよう、スライドセット面の面方向に可動ステージ11を移動させる。この図5では、撮像範囲ARに割り当てるべき組織切片ETSの領域が重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。
【0043】
第3段階として、拡大切片像取得部42は、撮像範囲ARに割り当てられる領域の撮像データを用いて、当該領域を連結することにより拡大切片像を生成する。
【0044】
第4段階として、拡大切片像取得部42は、拡大切片像を、異なる解像度の像として段階ごとに生成し、これら段階の拡大切片像を、所定のブロック(以下、これをタイルとも呼ぶ)単位に分割する。
【0045】
このようにして拡大切片像取得部42は、スライドガラスSGに固定される組織切片の拡大切片像を、表示領域に表示すべき各段階の解像度にそれぞれ対応させて生成するようになされている。
【0046】
データ保存部43は、各段階の解像度にそれぞれ対応する拡大切片像が生成された場合、規定された段階の解像度に対応する拡大切片像の縮小画像(以下、これをサムネイル切片像とも呼ぶ)と、当該拡大切片像に関する識別情報とを生成する。
【0047】
そしてデータ保存部43は、各段階の解像度にそれぞれ対応する拡大切片像及びサムネイル切片像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記録するようになされている。
【0048】
識別情報は、例えば、スライド番号や、組織切片の被採取者(患者)の名もしくは割当番号、性別、年齢、採取日付等といった情報である。スライド番号は、例えば、被採取者を単位として、切除組織の浅い薄切面となる組織切片(薄切順位が若い組織切片)が固定されているスライドガラスから順に付される。
【0049】
この識別情報の取得手法として、例えば、セット位置にセットされるスライドガラスSGに貼り付けられるバーコードから取得する、あるいは、操作入力部23から所定のタイミングで入力させるといった手法が適用される。なお、識別情報の取得手法はこれら例示に限定されるものではない。
【0050】
このようにしてCPU21は、拡大切片像の取得命令が与えられた場合、奥行き(深部)方向における複数のスライス面での組織切片(図2)の拡大像をそれぞれデータとして保存するようになされている。
【0051】
[1−4.組織切片像の画像処理]
CPU21は、上述の取得処理が終了した場合、画像処理に関するプログラムにしたがって、図6に示すように、立体像生成部51及び異解像画像生成部52として機能する。
【0052】
立体像生成部51は、被採取者ごとに各スライス面での拡大切片像から立体像を生成する部であり、機能的には画像決定部61、テンプレートマッチング部62、特徴点抽出部63、対応点検出部64、分割部65及びテキスチャマッピング部66に分類される。
【0053】
画像決定部61は、複数の拡大切片像から基準とすべき拡大切片像(以下、これを基準断層像とも呼ぶ)と、該基準断層像と比較すべき拡大切片像(以下、これを参照断層像とも呼ぶ)とを決定する。
【0054】
この実施の形態の場合、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定され、該基準断層像の薄切位置に対して例えば表層側または深層側に隣接する位置関係となる拡大切片像が参照断層像として決定される。
【0055】
テンプレートマッチング部62は、基準断層像に対して参照断層像を位置合わせする。この位置合わせ手法には、例えば、基準断層像での画素レベルとの相関が最小となるよう参照断層像を平行移動及び回転移動させる手法が採用される。
【0056】
特徴点抽出部63は、ハリスコーナーと呼ばれる抽出アルゴリズムを用いて、基準断層像から、輝度値の変化が際立つ位置(規定値以上の変化を呈する位置)を特徴点として抽出する。
【0057】
ここで、ある拡大切片像から抽出された特徴点を黒点として付した写真を図7に示す。この図7からも分かるように、この抽出アルゴリズムは、グラーデーションを呈している部分では特徴点が非抽出であるという利点を有する。またこの抽出アルゴリズムは、抽出対象とされる画像の回転に対してロバストであるという利点も有する。
【0058】
対応点検出部64は、参照断層像から、基準断層像における特徴点に対応する点(以下、これを対応点と呼ぶ)を検出する。
【0059】
具体的には第1段階として、対応点検出部64は、基準断層像における各特徴点を順に注目対象の点(以下、これを注目点と呼ぶ)として決定する。
【0060】
第2段階として、対応点検出部64は、図8に示すように、決定した注目点APを中心として、所定サイズのブロック(以下、これを注目ブロックと呼ぶ)ABLを認識する。
【0061】
そして対応点検出部64は、参照断層像のうち、注目点APに対応する位置を基準とし、注目ブロックABLよりも大きいサイズの探索範囲ARのなかから、注目ブロックABLと最も類似度が高いブロックを、例えば正規化相関法により探索する。
【0062】
第3段階として、対応点検出部64は、注目ブロックABLに対して最も高いブロックDBLとの類似度(相関値)が設定値以上となる場合、該ブロックDBLの中心を、注目点APの対応点XPとして検出する。
【0063】
これに対して対応点検出部64は、注目ブロックABLと最も高いブロックDBLとの類似度(相関値)が設定値未満となる場合、注目点APの対応点XPが存在しないものとして、注目点APを削除するようになされている。
【0064】
したがって、薄切工程、染色工程又は固定工程などにおいて組織切片に損傷、伸縮又は気泡等が生じたことに起因して、組織形態として非特徴である部分が、特徴点抽出部63によって特徴点として抽出された場合であっても、当該部分は対応点検出部64によって削除される。
【0065】
このようにこの立体像構築部44は、組織形態として真に特徴となる部分をより正確に特徴点として抽出することができるようになされている。
【0066】
分割部65は、参照断層像における対応点の検出が終了した場合、ドロネー三角形分割と呼ばれる分割アルゴリズムを用いて、基準断層像を、特徴点を頂点とする三角形領域(以下、これを三角形パッチとも呼ぶ)に分割する。
【0067】
ここで、ある基準断層像を分割した分割境界を黒線として付した写真を図9に示す。図9からも分かるように、特徴点が多いほど複雑な組織形態を呈し、当該形態ほど細かく分割される。
【0068】
テキスチャマッピング部66は、参照断層像における対応点に基づいて、基準断層像の各三角形パッチにそれぞれ対応する領域を認識する。これら領域は、組織切片に損傷、伸縮又は気泡等が生じる等の要因で対応点と、基準断層像の特徴点との絶対位置が異なることから、対応する三角形パッチの形状と不一致となる。
【0069】
テキスチャマッピング部66は、図10に示すように、これら領域を、対応する三角形パッチの形状となるよう変形しながら、参照断層像の各画素を、3次元オブジェクトの対応する位置にマッピングする。
【0070】
したがって、各断層像において対応する領域でありながらその形状が相違していた場合であっても、その相違は、臓器自体の形状を維持しつつ是正されることになる。また、切除組織に対する深層方向への各薄切位置の間隔は試し切りや技量等により相違し、その相違が、各断層像において対応する領域でありながらもその形状に反映されることになるが、当該相違についても、臓器自体の形状を維持しつつ是正される。
【0071】
なお、是正すべき単位(三角形パッチ)は複雑な組織形態を呈しているほど細かくなるため、各断層間における臓器自体の形状は組織形態の複雑さにかかわらず正確に維持されることになる。
【0072】
このようにして立体像生成部51は、被採取者ごとに各スライス面での拡大切片像をマッピングし、該マッピングされた拡大切片像(以下、これを切片立体像とも呼ぶ)を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記憶するようになされている。
【0073】
ちなみに、マッピングされた拡大切片像には、薄切位置が最も浅い拡大切片像(基準断層像)も含まれる。
【0074】
異解像画像生成部52は、各拡大切片像から切片立体像が生成された場合、該切片立体像を、異なる解像度の像として段階ごとに生成し、これら段階の切片立体像をタイル単位に分割する。
【0075】
また異解像画像生成部52は、各段階の解像度にそれぞれ対応する切片立体像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記憶するようになされている。
【0076】
[1−5.組織切片像の提示処理]
CPU21は、操作入力部23から組織像の提示命令が与えられた場合、該提示命令に対応するプログラムにしたがって、保存対象のサムネイル切片像を被採取者単位で示す画面(以下、これをサムネイル画面とも呼ぶ)を表示部27に表示する。
【0077】
ここで、拡大切片像として表示すべきサムネイル切片像が選択された場合、CPU21は、該サムネイル切片像と、操作入力部23の操作に応じてサムネイル切片像を移動可能なポインタとを表示する。
【0078】
またこの場合、CPU21は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する拡大切片像のうち初期解像度に対応する拡大切片像を選択する。CPU21は、選択した拡大切片像から、表示領域に対応する部分(以下、これを表示対象像とも呼ぶ)におけるタイルを読み出して表示する。
【0079】
そしてCPU21は、操作入力部23から表示すべき位置が指定された場合(ポインタの位置が変更された場合)、当該指定された位置を基準として表示対象像におけるタイルを読み出して表示する。
【0080】
またCPU21は、表示すべき解像度が指定された場合、該指定された解像度に対応する拡大切片像から、当該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。
【0081】
このようにCPU21は、操作入力部23からの指定に応じて、表示領域に表示すべき拡大切片像での面方向の位置又は解像度を切り換えるようになされている。
【0082】
なお、選択対象のサムネイル切片像及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。
【0083】
一方、組織立体像として表示すべきサムネイル切片像が選択された場合、CPU21は、3次元オブジェクトと、操作入力部23の操作に応じて3次元オブジェクトを移動可能なポインタとを表示する。
【0084】
またこの場合、CPU21は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する切片立体像のうち初期解像度及び初期断層面に対応する切片立体像を選択する。CPU21は、選択した切片立体像から、表示領域に対応する部分(以下、これを表示対象像とも呼ぶ)におけるタイルを記憶部28から読み出し、該表示領域に表示する。
【0085】
操作入力部23から表示すべき位置が指定された場合(ポインタの位置が変更された場合)、CPU21は、当該指定された位置での断層面に対応する切片立体像から、当該指定された位置を基準として表示対象像におけるタイルを記憶部28から読み出す。そしてCPU21は、記憶部28から読み出したタイルを表示領域に表示する。
【0086】
またCPU21は、表示すべき解像度が指定された場合、該指定された解像度に対応する切片立体像のうち、当該指定時点における断層面に対応する切片立体像から、該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。
【0087】
このようにCPU21は、操作入力部23からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向もしくは面方向の位置又は解像度を切り換えるようになされている。
【0088】
なお、3次元オブジェクト及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。
【0089】
ところでこの実施の形態の場合、CPU21は、表示領域に表示すべき表示対象像を表示領域に表示する場合、現在の表示対象像に応じて、次に表示されるべき表示対象像(以下、これを表示予測像とも呼ぶ)を予測する。CPU21は、この表示予測像におけるタイルを記憶部28から読み出し、これをバッファメモリ24に記憶する。
【0090】
そしてCPU21は、次に表示領域に表示すべき表示対象像のうち、表示予測像と同じ部分のタイルをバッファメモリ24から読み出し、該表示予測像と異なる部分のタイルを記憶部28から読み出して表示領域に表示するようになされている。
【0091】
したがってCPU21は、奥行き方向又は断層面方向に隣接する表示対象像を滑らかに表示することができるようになされている。
【0092】
[1−6.効果等]
以上の構成において、この生体像提示システム1は、切除組織の奥行き方向における複数の位置でスライスされた組織切片の拡大切片像を取得した場合、当該拡大切片像を、三角形パッチ単位で変形しながらマッピングする(図10参照)。
【0093】
そしてこの生体像提示システム1は、操作入力部23からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向の位置を切り換える。
【0094】
したがってこの生体像提示システム1は、各断層像において対応する領域でありながらその形状、あるいは、切除組織に対する深層方向への各薄切位置の間隔が相違したとしても、当該相違を、臓器自体の形状を維持しつつ是正することができる。
【0095】
この相違は、病理サンプルではその作成までに薄切工程、染色工程又は固定工程などの多くの人為的ステップを経るため生じ易い。したがって、拡大切片像を、三角形パッチ単位で変形しながらマッピングすることは病理サンプルでは特に有用となる。
【0096】
また、組織中の特定の遺伝子に蛍光マーカーを結合する手法(FISH:Fluorescence In-Situ Hybridization)を適用した病理サンプルにおいて、蛍光マーカーが深層方向に重なっていたとしても、この生体像提示システム1は、遺伝指数の増減を正確に検出させることができる。
【0097】
<2.他の実施の形態>
上述の実施の形態では、生体の切除組織のうち、奥行き方向における複数の位置でスライスした組織切片の拡大像が取得された。しかしながら取得すべき断層像はこれに限定されるものではない。
【0098】
例えば、頭部、胸部又は腹部等の体軸における複数の位置で、該体軸に直交する断面のCT(Computed Tomography)像、MRI(Magnetic Resonance Imaging)像、PET(Positron Emission Tomography)像又は超音波像が適用可能である。要は、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像(断層像)であればよい。
【0099】
また断層像の取得には、顕微鏡10からリアルタイムに取得する拡大切片像取得部42が適用された。しかしながら断層像の取得部はこれに限定されるものではない。
【0100】
例えば、基準とすべき軸における複数の位置ごとに異なる倍率で、該軸に直交する断面の像(断層像)を取得する取得部が適用可能である。この取得部によれば、切除組織の状態をより一段と多くの視点で提示することができるため、病変の深達度(浸潤の程度)等を正確に判断する観点では有用となる。
【0101】
また、基準とすべき軸における複数の位置で、該軸に直交する断面の像(断層像)を示すデータが格納されるデータ格納媒体から取得する取得部が適用可能である。この取得部は、例えば断層像の取得場所と診断場所とが遠い場合には特に有用となる。また、拡大切片像、CT像、PET像又は超音波像等の断層像を、対応する装置(顕微鏡、CT装置、PET装置又は超音波装置)と、データ格納媒体との双方から切換可能に取得する取得部が適用可能である。
【0102】
なお、データ格納媒体としては、例えばフレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disc)等のパッケージメディアや、データが一時的若しくは永続的に格納される半導体メモリや磁気ディスク等がある。これらデータ格納媒体からデータを取得する方法としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体を利用することができる。
【0103】
上述の実施の形態では、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定された。しかしながら、基準断層像は、例えば最も浅い薄切面の組織切片の拡大切片像などに、固定としてもよい。この場合、残りの拡大切片像が、参照断層像として決定される。
【0104】
なお、基準断層像は、1枚に限ることはない。例えば、最も浅い薄切面の組織切片の拡大切片像と、最も深い薄切面の組織切片の拡大切片像とを基準断層像とすることができる。この場合、基準断層像を指定すべきことを通知し、操作入力部23により選択される拡大切片像を基準断層像として決定することも可能である。
【0105】
また、各拡大切片像を、薄切位置が浅いもの(又は深いもの)から順に基準断層像として決定する場合、参照断層像は、該基準断層像の薄切位置に対して表層側または深層側に隣接する位置関係となる拡大切片像とされた。この場合、参照断層像を複数とすることも可能である。このようにすれば、より真の特徴点を得ることが可能となる。
【0106】
基準断層像及び参照断層像の決定手法は、これら例示に限らず種々の態様をとることができる。
【0107】
上述の実施の形態では、立体像生成部51及び異解像画像生成部52の処理は、組織切片像の提示命令が与えられる前に予め行われた。しかしながらこの処理時期はこの実施の形態に限定されるものではない。例えば、表示領域に表示すべき像を記憶部28から読み出す際に行うようにしてもよい。また、立体像生成部51及び異解像画像生成部52における一部の処理を、組織切片像の提示命令が与えられる前に行い、該提示命令が与えられた後に残りの処理を行うことも可能である。
【0108】
上述の実施の形態では、操作入力部23の指定(ポインタの位置)に応じて、表示領域に表示すべき表示対象像が切り換えられた。しかしながら切換手法は、この実施の形態に限定されるものではない。
【0109】
例えば、最表層もしくは最深層からラスタスキャン順などといった所定の設定順に、表示領域に表示すべき表示対象像を切り換える切換手法が適用可能である。この切換手法の場合、操作入力部23から停止命令を受けた時点で表示対象像の切り換えを停止すれば、上述の実施の形態の場合に比して、視認者に対する操作を簡略化できる。
【0110】
上述の実施の形態では、拡大切片像から特徴点を抽出する場合、ハリスコーナーと呼ばれる抽出アルゴリズムが適用された。しかしながら抽出アルゴリズムはこれに限定されるものではない。例えば、モラベック、ベクトルトレーサ、SUSAN(Smallest Univalue Segment Assymilating Nucleus)、SIFT(Scale Invariant Feature Transformation)などの抽出アルゴリズムが適用可能である。もちろんこれら以外の抽出アルゴリズムも適用可能である。要は、輝度値の変化が際立つ位置(規定値以上の変化を呈する位置)を抽出する手段であればよい。
【0111】
上述の実施の形態では、拡大切片像を分割する場合、ドロネーと呼ばれる分割アルゴリズムが適用された。しかしながら分割アルゴリズムはこれに限定されるものではない。例えば、ボロノイなどの分割アルゴリズムが適用可能である。もちろんこれ以外の分割アルゴリズムも適用可能である。要は、特徴点を基準とする複数の領域に分割する手段であればよい。
【0112】
上述の実施の形態では、1つのバッファメモリ24がバス29に接続されたが、複数のバッファメモリ24が接続されてもよい。このようにすれば、表示すべき画像データ量や表示移動速度にかかわらず滑らかに表示対象像を推移できる。
【0113】
上述の実施の形態では、切片立体像はデータ処理部20内の記憶部28にバス29を通じて保存された。記憶部28は、データ処理部20内に設ける場合に限定されるものではなく、該データ処理部20の外部としてもよい。また記憶部28に対するデータの通信媒体はバス29に限定されるものではなく、例えば、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体としてもよい。
【産業上の利用可能性】
【0114】
本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。
【符号の説明】
【0115】
1……生体像提示システム、10……顕微鏡、11……可動ステージ、12……スライドセット機構、13……光学系、13A,13B……対物レンズ、14……照明灯、15……撮像部、16……励起光源、20……データ処理部、21……CPU、22……ROM、23……RAM、24……バッファメモリ、25……操作入力部、26……インターフェイス、27……表示部、28……記憶部、41……スライドセット制御部、42……拡大切片像取得部、43……データ保存部、51……立体像生成部、52……異解像画像生成部、61……画像決定部、62……テンプレートマッチング部、63……特徴点抽出部、64……対応点決定部、65……分割部、66……テキスチャマッピング部、SG……スライドガラス。
【技術分野】
【0001】
本発明は生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムに関し、画像処理分野に適用して好適なものである。
【背景技術】
【0002】
病理サンプルは、切除組織から薄切される組織切片をスライドガラスに固定し、必要に応じて染色を施すことにより作成され、保管される。一般に、病理サンプルの保管期間が長期間となると、組織切片の劣化や退色等により顕微鏡での視認性が悪くなる。また病理サンプルは、作成された病院等の施設以外の施設で診断されることもあるが、該病理サンプルの受け渡しは一般に郵送であり、一定の時間を要する。
【0003】
このような実情等に鑑み、病理サンプルにおける組織切片の拡大像を画像データとし保存し、該拡大像を表示画面に提示するコンピュータシステムが提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2006−292999公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、病理サンプルは、切除組織に対して表層側から深層側にわたる複数の位置での組織切片を対象として作成されるが、ある層の組織切片における特定の細胞を、該層とは異なる層の組織切片から表示画面を用いて探し出す作業は煩雑となる。このため、表層側から深層側にわたる各断層の組織切片像を立体的に視認させるといった要請がある。
【0006】
しかしながら、表層側から深層側にわたる各断層の組織切片像を立体的に視認させようとする場合、各断層の組織切片に対して同じように薄切、染色又は固定などの工程を経ることはない。
【0007】
このため、ある断層の組織切片像から他の断層の組織切片像を表示する際に、同じ像であるにもかかわらず全く異なった像として視認される可能性が高いといった問題が生じる。
【0008】
本発明は以上の点を考慮してなされたもので、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを提案しようとするものである。
【課題を解決するための手段】
【0009】
かかる課題を解決するため本発明は、生体像提示装置であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。
【0010】
また本発明は、生体像提示方法であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、比較すべき像から、抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、抽出ステップで抽出される位置を基準として基準とすべき像を分割する分割ステップと、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、基準とすべき像と、マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップとを有する。
【0011】
また本発明は、プログラムであって、コンピュータに対して、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、比較すべき像から、抽出される位置に対応する対応位置を検出すること、抽出される位置を基準として基準とすべき像を分割すること、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させることを実行させる。
【0012】
また本発明は、顕微鏡と、データ処理装置とから構成される生体像提示システムであって、データ処理部は、顕微鏡から、生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。
【発明の効果】
【0013】
本発明は、特徴点を基準とした領域ごとに、基準像の領域形状と合わせながら比較像をマッピングする。このため、生体における各断面の像(断層像)において、対応する領域でありながらその形状が相違していても、各断層像の間隔が相違していても、当該相違を、臓器自体の形状については維持しつつも是正することができる。したがって、表示領域に表示すべき像が切り換えられたときに、当該切り換え前後の像が、同じ像であるにもかかわらず全く異なった像として視認されることは回避される。この結果、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを実現できる。
【図面の簡単な説明】
【0014】
【図1】生体像提示装置の構成を概略的に示す図である。
【図2】奥行方向への各組織切片が固定されるスライドガラス群の説明に供する略線図である。
【図3】データ処理部の構成を示すブロック図である。
【図4】取得処理を実行するCPUの機能的構成を示すブロック図である。
【図5】組織切片に対する領域ごとの画像の取得の説明に供する略線図である。
【図6】画像処理を実行するCPUの機能的構成を示すブロック図である。
【図7】特徴点の抽出結果を示す写真である。
【図8】対応点の探索の説明に供する写真である。
【図9】三角形分割の説明に供する写真である。
【図10】三角形パッチのマッピングの説明に供する写真である。
【発明を実施するための形態】
【0015】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
[1−1.生体像提示装置の構成]
[1−2.データ処理部の構成]
[1−3.組織切片像の取得処理]
[1−4.組織切片像の画像処理]
[1−5.組織切片像の提示処理]
[1−6.効果等]
<2.他の実施の形態>
【0016】
<1.実施の形態>
[1−1.生体像提示装置の構成]
図1において、生体像提示システム1を示す。この生体像提示システム1は、顕微鏡10と、データ処理部20とを含む構成される。
【0017】
顕微鏡10は、スライドガラスSGがセットされる面(以下、これをスライドセット面とも呼ぶ)をもち、該スライドセット面に対して平行方向及び直交方向(xyz軸方向)に移動可能なステージ(以下、これを可動ステージとも呼ぶ)11を有する。
【0018】
この可動ステージ11には、スライドガラス収容器(図示せず)に収容される複数のスライドガラスSGを1枚ずつスライドセット面におけるセット位置にセットする機構(以下、これをスライドセット機構とも呼ぶ)12が設けられる。
【0019】
スライドガラスSGには、この実施の形態では組織切片が所定の固定手法により固定される。図2に示すように、生体の切除組織から奥行き(深部)方向に薄切されたすべて又は一部の組織切片が、各スライドガラスに固定され、スライドガラス収容器に対して、例えば表層側(浅い薄切位置)の組織切片が固定されたものから順に収容される。
【0020】
なお、組織切片は、必要に応じて染色が施される。この染色には、HE(ヘマトキシリン・エオジン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0021】
可動ステージ11の一方の面側には光学系13が配され、該可動ステージ11の他方の面側には照明灯14が配される。照明灯14の光は、スライドセット面におけるセット位置に対して穿設される開口から、該可動ステージ11の一方の面に配される生体サンプルSPLに対する照明光として到達する。
【0022】
顕微鏡10は、この照明光で得られる組織切片の一部の像を、光学系13の第1の対物レンズ13A及び第2の対物レンズ13Bによって所定の倍率に拡大し、撮像部15の撮像面に結像するようになされている。
【0023】
またこの顕微鏡10は、蛍光染色に対する励起光を照射する励起光源16を有する。顕微鏡10は、この励起光源16から励起光が照射された場合、該励起光を、第1の対物レンズ13A及び第2の対物レンズ13B間に設けられるダイクロイックミラー12Cで反射させて第1の対物レンズ13Aに導く。そして顕微鏡10は、この励起光を、第1の対物レンズ13Aによって可動ステージ11に配されるスライドガラスSGに集光する。
【0024】
スライドガラスSGに固定される生体サンプルSPLに対して蛍光染色が施されていた場合、励起光により蛍光色素が発光する。この発光によって得られる光(以下、これを発色光とも呼ぶ)は第1の対物レンズ13Aを介してダイクロイックミラー12Cを透過する。そしてこの発色光は、ダイクロイックミラー12C及び第2の対物レンズ13B間に設けられる吸光フィルタ板13Dを介して、該第2の対物レンズ13Bに到達する。
【0025】
顕微鏡10は、発色光の像を第1の対物レンズ13Aによって拡大し、該発色光以外の光(以下、これを外光とも呼ぶ)を吸光フィルタ板13Dによって吸収する。そして顕微鏡10は、外光が除去された発色光の像を、第2の対物レンズ13Bによって拡大し、撮像部15の撮像面に結像するようになされている。
【0026】
一方、データ処理部20は、切除組織のうち、奥行き(深部)方向における複数の位置での組織切片(図2)の拡大像(以下、これを拡大切片像とも呼ぶ)を、所定形式のデータとして保存し得るようになされている。
【0027】
したがってこの生体像提示システム1は、スライドガラスSG自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片を保持することが可能である。
【0028】
またデータ処理部20は、各拡大切片像を3次元として組み合わせた像(以下、これを組織立体像とも呼ぶ)を構築し、該組織立体像又は拡大切片像を提示し得るようになされている。
【0029】
したがってこの生体像提示システム1は、切除組織の状態をさまざまな視点で提示することができ、この結果、病変の深達度(浸潤の程度)等を正確に判断させることが可能である。
【0030】
[1−2.データ処理部の構成]
図3において、データ処理部20の構成を示す。このデータ処理部20は、生体像提示システム1全体の制御を司るCPU(Central Processing Unit)21に対して各種ハードウェアを接続した構成とされる。
【0031】
具体的にはROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、バッファメモリ24、ユーザの操作に応じた命令を入力する操作入力部25、インターフェイス26、表示部27及び記憶部28がバス29を介して接続される。
【0032】
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス26には、可動ステージ11、スライドセット機構12、照明灯14、撮像部15及び励起光源16が、それぞれ所定の通信路を介して接続される。
【0033】
表示部27には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部28には、HD(Hard Disk)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。USB(Universal Serial Bus)メモリやCF(Compact Flash)メモリ等のように可搬型メモリが適用されてもよい。
【0034】
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部23から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、バッファメモリ24、表示部27及び記憶部28を適宜制御する。
【0035】
またCPU21は、展開したプログラムにしたがって、インターフェイス26を介して可動ステージ11、スライドセット機構12、照明灯14、撮像部15及び励起光源16を適宜制御するようになされている。
【0036】
[1−3.組織切片像の取得処理]
CPU21は、拡大切片像の取得命令を操作入力部23から受けた場合、該取得命令に対応するプログラムにしたがって、図4に示すように、スライドセット制御部41、拡大切片像取得部42、データ保存部43として機能する。
【0037】
スライドセット制御部41は、スライドセット機構12を制御して、スライドガラス収容器に収容される複数のスライドガラスSGを、スライドセット面におけるセット位置に1枚ずつセットさせる。
【0038】
拡大切片像取得部42は、スライドセット制御部41によってスライドガラスSGがセットされるごとに、セット対象のスライドガラスSGに固定される組織切片の拡大切片像を取得する。
【0039】
具体的には第1段階として、拡大切片像取得部42は、光学系12のフォーカス位置を調整するとともに、撮像部15の感度を調整する。
【0040】
フォーカス位置の調整には、例えば、撮像部15から出力される撮像データが示す画素値に基づいて可動ステージ11を制御することで、光学系12と撮像部15の撮像面との光軸方向における相対的位置を可変する手法が採用される。
【0041】
一方、撮像部15の感度の調整には、例えば、撮像データが示す画素値に基づいて、照明灯14あるいは励起光源16における励起光の照射光量(光強度)と、撮像部15での露光時間と、絞りの開口量との全部又は一部を可変する手法が採用される。
【0042】
第2段階として、拡大切片像取得部42は、例えば図5に示すように、対物レンズ13A,13Bを介して拡大される組織切片ETS(拡大切片像)が撮像範囲ARに割り当てられるよう、スライドセット面の面方向に可動ステージ11を移動させる。この図5では、撮像範囲ARに割り当てるべき組織切片ETSの領域が重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。
【0043】
第3段階として、拡大切片像取得部42は、撮像範囲ARに割り当てられる領域の撮像データを用いて、当該領域を連結することにより拡大切片像を生成する。
【0044】
第4段階として、拡大切片像取得部42は、拡大切片像を、異なる解像度の像として段階ごとに生成し、これら段階の拡大切片像を、所定のブロック(以下、これをタイルとも呼ぶ)単位に分割する。
【0045】
このようにして拡大切片像取得部42は、スライドガラスSGに固定される組織切片の拡大切片像を、表示領域に表示すべき各段階の解像度にそれぞれ対応させて生成するようになされている。
【0046】
データ保存部43は、各段階の解像度にそれぞれ対応する拡大切片像が生成された場合、規定された段階の解像度に対応する拡大切片像の縮小画像(以下、これをサムネイル切片像とも呼ぶ)と、当該拡大切片像に関する識別情報とを生成する。
【0047】
そしてデータ保存部43は、各段階の解像度にそれぞれ対応する拡大切片像及びサムネイル切片像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記録するようになされている。
【0048】
識別情報は、例えば、スライド番号や、組織切片の被採取者(患者)の名もしくは割当番号、性別、年齢、採取日付等といった情報である。スライド番号は、例えば、被採取者を単位として、切除組織の浅い薄切面となる組織切片(薄切順位が若い組織切片)が固定されているスライドガラスから順に付される。
【0049】
この識別情報の取得手法として、例えば、セット位置にセットされるスライドガラスSGに貼り付けられるバーコードから取得する、あるいは、操作入力部23から所定のタイミングで入力させるといった手法が適用される。なお、識別情報の取得手法はこれら例示に限定されるものではない。
【0050】
このようにしてCPU21は、拡大切片像の取得命令が与えられた場合、奥行き(深部)方向における複数のスライス面での組織切片(図2)の拡大像をそれぞれデータとして保存するようになされている。
【0051】
[1−4.組織切片像の画像処理]
CPU21は、上述の取得処理が終了した場合、画像処理に関するプログラムにしたがって、図6に示すように、立体像生成部51及び異解像画像生成部52として機能する。
【0052】
立体像生成部51は、被採取者ごとに各スライス面での拡大切片像から立体像を生成する部であり、機能的には画像決定部61、テンプレートマッチング部62、特徴点抽出部63、対応点検出部64、分割部65及びテキスチャマッピング部66に分類される。
【0053】
画像決定部61は、複数の拡大切片像から基準とすべき拡大切片像(以下、これを基準断層像とも呼ぶ)と、該基準断層像と比較すべき拡大切片像(以下、これを参照断層像とも呼ぶ)とを決定する。
【0054】
この実施の形態の場合、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定され、該基準断層像の薄切位置に対して例えば表層側または深層側に隣接する位置関係となる拡大切片像が参照断層像として決定される。
【0055】
テンプレートマッチング部62は、基準断層像に対して参照断層像を位置合わせする。この位置合わせ手法には、例えば、基準断層像での画素レベルとの相関が最小となるよう参照断層像を平行移動及び回転移動させる手法が採用される。
【0056】
特徴点抽出部63は、ハリスコーナーと呼ばれる抽出アルゴリズムを用いて、基準断層像から、輝度値の変化が際立つ位置(規定値以上の変化を呈する位置)を特徴点として抽出する。
【0057】
ここで、ある拡大切片像から抽出された特徴点を黒点として付した写真を図7に示す。この図7からも分かるように、この抽出アルゴリズムは、グラーデーションを呈している部分では特徴点が非抽出であるという利点を有する。またこの抽出アルゴリズムは、抽出対象とされる画像の回転に対してロバストであるという利点も有する。
【0058】
対応点検出部64は、参照断層像から、基準断層像における特徴点に対応する点(以下、これを対応点と呼ぶ)を検出する。
【0059】
具体的には第1段階として、対応点検出部64は、基準断層像における各特徴点を順に注目対象の点(以下、これを注目点と呼ぶ)として決定する。
【0060】
第2段階として、対応点検出部64は、図8に示すように、決定した注目点APを中心として、所定サイズのブロック(以下、これを注目ブロックと呼ぶ)ABLを認識する。
【0061】
そして対応点検出部64は、参照断層像のうち、注目点APに対応する位置を基準とし、注目ブロックABLよりも大きいサイズの探索範囲ARのなかから、注目ブロックABLと最も類似度が高いブロックを、例えば正規化相関法により探索する。
【0062】
第3段階として、対応点検出部64は、注目ブロックABLに対して最も高いブロックDBLとの類似度(相関値)が設定値以上となる場合、該ブロックDBLの中心を、注目点APの対応点XPとして検出する。
【0063】
これに対して対応点検出部64は、注目ブロックABLと最も高いブロックDBLとの類似度(相関値)が設定値未満となる場合、注目点APの対応点XPが存在しないものとして、注目点APを削除するようになされている。
【0064】
したがって、薄切工程、染色工程又は固定工程などにおいて組織切片に損傷、伸縮又は気泡等が生じたことに起因して、組織形態として非特徴である部分が、特徴点抽出部63によって特徴点として抽出された場合であっても、当該部分は対応点検出部64によって削除される。
【0065】
このようにこの立体像構築部44は、組織形態として真に特徴となる部分をより正確に特徴点として抽出することができるようになされている。
【0066】
分割部65は、参照断層像における対応点の検出が終了した場合、ドロネー三角形分割と呼ばれる分割アルゴリズムを用いて、基準断層像を、特徴点を頂点とする三角形領域(以下、これを三角形パッチとも呼ぶ)に分割する。
【0067】
ここで、ある基準断層像を分割した分割境界を黒線として付した写真を図9に示す。図9からも分かるように、特徴点が多いほど複雑な組織形態を呈し、当該形態ほど細かく分割される。
【0068】
テキスチャマッピング部66は、参照断層像における対応点に基づいて、基準断層像の各三角形パッチにそれぞれ対応する領域を認識する。これら領域は、組織切片に損傷、伸縮又は気泡等が生じる等の要因で対応点と、基準断層像の特徴点との絶対位置が異なることから、対応する三角形パッチの形状と不一致となる。
【0069】
テキスチャマッピング部66は、図10に示すように、これら領域を、対応する三角形パッチの形状となるよう変形しながら、参照断層像の各画素を、3次元オブジェクトの対応する位置にマッピングする。
【0070】
したがって、各断層像において対応する領域でありながらその形状が相違していた場合であっても、その相違は、臓器自体の形状を維持しつつ是正されることになる。また、切除組織に対する深層方向への各薄切位置の間隔は試し切りや技量等により相違し、その相違が、各断層像において対応する領域でありながらもその形状に反映されることになるが、当該相違についても、臓器自体の形状を維持しつつ是正される。
【0071】
なお、是正すべき単位(三角形パッチ)は複雑な組織形態を呈しているほど細かくなるため、各断層間における臓器自体の形状は組織形態の複雑さにかかわらず正確に維持されることになる。
【0072】
このようにして立体像生成部51は、被採取者ごとに各スライス面での拡大切片像をマッピングし、該マッピングされた拡大切片像(以下、これを切片立体像とも呼ぶ)を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記憶するようになされている。
【0073】
ちなみに、マッピングされた拡大切片像には、薄切位置が最も浅い拡大切片像(基準断層像)も含まれる。
【0074】
異解像画像生成部52は、各拡大切片像から切片立体像が生成された場合、該切片立体像を、異なる解像度の像として段階ごとに生成し、これら段階の切片立体像をタイル単位に分割する。
【0075】
また異解像画像生成部52は、各段階の解像度にそれぞれ対応する切片立体像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部28に記憶するようになされている。
【0076】
[1−5.組織切片像の提示処理]
CPU21は、操作入力部23から組織像の提示命令が与えられた場合、該提示命令に対応するプログラムにしたがって、保存対象のサムネイル切片像を被採取者単位で示す画面(以下、これをサムネイル画面とも呼ぶ)を表示部27に表示する。
【0077】
ここで、拡大切片像として表示すべきサムネイル切片像が選択された場合、CPU21は、該サムネイル切片像と、操作入力部23の操作に応じてサムネイル切片像を移動可能なポインタとを表示する。
【0078】
またこの場合、CPU21は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する拡大切片像のうち初期解像度に対応する拡大切片像を選択する。CPU21は、選択した拡大切片像から、表示領域に対応する部分(以下、これを表示対象像とも呼ぶ)におけるタイルを読み出して表示する。
【0079】
そしてCPU21は、操作入力部23から表示すべき位置が指定された場合(ポインタの位置が変更された場合)、当該指定された位置を基準として表示対象像におけるタイルを読み出して表示する。
【0080】
またCPU21は、表示すべき解像度が指定された場合、該指定された解像度に対応する拡大切片像から、当該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。
【0081】
このようにCPU21は、操作入力部23からの指定に応じて、表示領域に表示すべき拡大切片像での面方向の位置又は解像度を切り換えるようになされている。
【0082】
なお、選択対象のサムネイル切片像及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。
【0083】
一方、組織立体像として表示すべきサムネイル切片像が選択された場合、CPU21は、3次元オブジェクトと、操作入力部23の操作に応じて3次元オブジェクトを移動可能なポインタとを表示する。
【0084】
またこの場合、CPU21は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する切片立体像のうち初期解像度及び初期断層面に対応する切片立体像を選択する。CPU21は、選択した切片立体像から、表示領域に対応する部分(以下、これを表示対象像とも呼ぶ)におけるタイルを記憶部28から読み出し、該表示領域に表示する。
【0085】
操作入力部23から表示すべき位置が指定された場合(ポインタの位置が変更された場合)、CPU21は、当該指定された位置での断層面に対応する切片立体像から、当該指定された位置を基準として表示対象像におけるタイルを記憶部28から読み出す。そしてCPU21は、記憶部28から読み出したタイルを表示領域に表示する。
【0086】
またCPU21は、表示すべき解像度が指定された場合、該指定された解像度に対応する切片立体像のうち、当該指定時点における断層面に対応する切片立体像から、該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。
【0087】
このようにCPU21は、操作入力部23からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向もしくは面方向の位置又は解像度を切り換えるようになされている。
【0088】
なお、3次元オブジェクト及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。
【0089】
ところでこの実施の形態の場合、CPU21は、表示領域に表示すべき表示対象像を表示領域に表示する場合、現在の表示対象像に応じて、次に表示されるべき表示対象像(以下、これを表示予測像とも呼ぶ)を予測する。CPU21は、この表示予測像におけるタイルを記憶部28から読み出し、これをバッファメモリ24に記憶する。
【0090】
そしてCPU21は、次に表示領域に表示すべき表示対象像のうち、表示予測像と同じ部分のタイルをバッファメモリ24から読み出し、該表示予測像と異なる部分のタイルを記憶部28から読み出して表示領域に表示するようになされている。
【0091】
したがってCPU21は、奥行き方向又は断層面方向に隣接する表示対象像を滑らかに表示することができるようになされている。
【0092】
[1−6.効果等]
以上の構成において、この生体像提示システム1は、切除組織の奥行き方向における複数の位置でスライスされた組織切片の拡大切片像を取得した場合、当該拡大切片像を、三角形パッチ単位で変形しながらマッピングする(図10参照)。
【0093】
そしてこの生体像提示システム1は、操作入力部23からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向の位置を切り換える。
【0094】
したがってこの生体像提示システム1は、各断層像において対応する領域でありながらその形状、あるいは、切除組織に対する深層方向への各薄切位置の間隔が相違したとしても、当該相違を、臓器自体の形状を維持しつつ是正することができる。
【0095】
この相違は、病理サンプルではその作成までに薄切工程、染色工程又は固定工程などの多くの人為的ステップを経るため生じ易い。したがって、拡大切片像を、三角形パッチ単位で変形しながらマッピングすることは病理サンプルでは特に有用となる。
【0096】
また、組織中の特定の遺伝子に蛍光マーカーを結合する手法(FISH:Fluorescence In-Situ Hybridization)を適用した病理サンプルにおいて、蛍光マーカーが深層方向に重なっていたとしても、この生体像提示システム1は、遺伝指数の増減を正確に検出させることができる。
【0097】
<2.他の実施の形態>
上述の実施の形態では、生体の切除組織のうち、奥行き方向における複数の位置でスライスした組織切片の拡大像が取得された。しかしながら取得すべき断層像はこれに限定されるものではない。
【0098】
例えば、頭部、胸部又は腹部等の体軸における複数の位置で、該体軸に直交する断面のCT(Computed Tomography)像、MRI(Magnetic Resonance Imaging)像、PET(Positron Emission Tomography)像又は超音波像が適用可能である。要は、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像(断層像)であればよい。
【0099】
また断層像の取得には、顕微鏡10からリアルタイムに取得する拡大切片像取得部42が適用された。しかしながら断層像の取得部はこれに限定されるものではない。
【0100】
例えば、基準とすべき軸における複数の位置ごとに異なる倍率で、該軸に直交する断面の像(断層像)を取得する取得部が適用可能である。この取得部によれば、切除組織の状態をより一段と多くの視点で提示することができるため、病変の深達度(浸潤の程度)等を正確に判断する観点では有用となる。
【0101】
また、基準とすべき軸における複数の位置で、該軸に直交する断面の像(断層像)を示すデータが格納されるデータ格納媒体から取得する取得部が適用可能である。この取得部は、例えば断層像の取得場所と診断場所とが遠い場合には特に有用となる。また、拡大切片像、CT像、PET像又は超音波像等の断層像を、対応する装置(顕微鏡、CT装置、PET装置又は超音波装置)と、データ格納媒体との双方から切換可能に取得する取得部が適用可能である。
【0102】
なお、データ格納媒体としては、例えばフレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disc)等のパッケージメディアや、データが一時的若しくは永続的に格納される半導体メモリや磁気ディスク等がある。これらデータ格納媒体からデータを取得する方法としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体を利用することができる。
【0103】
上述の実施の形態では、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定された。しかしながら、基準断層像は、例えば最も浅い薄切面の組織切片の拡大切片像などに、固定としてもよい。この場合、残りの拡大切片像が、参照断層像として決定される。
【0104】
なお、基準断層像は、1枚に限ることはない。例えば、最も浅い薄切面の組織切片の拡大切片像と、最も深い薄切面の組織切片の拡大切片像とを基準断層像とすることができる。この場合、基準断層像を指定すべきことを通知し、操作入力部23により選択される拡大切片像を基準断層像として決定することも可能である。
【0105】
また、各拡大切片像を、薄切位置が浅いもの(又は深いもの)から順に基準断層像として決定する場合、参照断層像は、該基準断層像の薄切位置に対して表層側または深層側に隣接する位置関係となる拡大切片像とされた。この場合、参照断層像を複数とすることも可能である。このようにすれば、より真の特徴点を得ることが可能となる。
【0106】
基準断層像及び参照断層像の決定手法は、これら例示に限らず種々の態様をとることができる。
【0107】
上述の実施の形態では、立体像生成部51及び異解像画像生成部52の処理は、組織切片像の提示命令が与えられる前に予め行われた。しかしながらこの処理時期はこの実施の形態に限定されるものではない。例えば、表示領域に表示すべき像を記憶部28から読み出す際に行うようにしてもよい。また、立体像生成部51及び異解像画像生成部52における一部の処理を、組織切片像の提示命令が与えられる前に行い、該提示命令が与えられた後に残りの処理を行うことも可能である。
【0108】
上述の実施の形態では、操作入力部23の指定(ポインタの位置)に応じて、表示領域に表示すべき表示対象像が切り換えられた。しかしながら切換手法は、この実施の形態に限定されるものではない。
【0109】
例えば、最表層もしくは最深層からラスタスキャン順などといった所定の設定順に、表示領域に表示すべき表示対象像を切り換える切換手法が適用可能である。この切換手法の場合、操作入力部23から停止命令を受けた時点で表示対象像の切り換えを停止すれば、上述の実施の形態の場合に比して、視認者に対する操作を簡略化できる。
【0110】
上述の実施の形態では、拡大切片像から特徴点を抽出する場合、ハリスコーナーと呼ばれる抽出アルゴリズムが適用された。しかしながら抽出アルゴリズムはこれに限定されるものではない。例えば、モラベック、ベクトルトレーサ、SUSAN(Smallest Univalue Segment Assymilating Nucleus)、SIFT(Scale Invariant Feature Transformation)などの抽出アルゴリズムが適用可能である。もちろんこれら以外の抽出アルゴリズムも適用可能である。要は、輝度値の変化が際立つ位置(規定値以上の変化を呈する位置)を抽出する手段であればよい。
【0111】
上述の実施の形態では、拡大切片像を分割する場合、ドロネーと呼ばれる分割アルゴリズムが適用された。しかしながら分割アルゴリズムはこれに限定されるものではない。例えば、ボロノイなどの分割アルゴリズムが適用可能である。もちろんこれ以外の分割アルゴリズムも適用可能である。要は、特徴点を基準とする複数の領域に分割する手段であればよい。
【0112】
上述の実施の形態では、1つのバッファメモリ24がバス29に接続されたが、複数のバッファメモリ24が接続されてもよい。このようにすれば、表示すべき画像データ量や表示移動速度にかかわらず滑らかに表示対象像を推移できる。
【0113】
上述の実施の形態では、切片立体像はデータ処理部20内の記憶部28にバス29を通じて保存された。記憶部28は、データ処理部20内に設ける場合に限定されるものではなく、該データ処理部20の外部としてもよい。また記憶部28に対するデータの通信媒体はバス29に限定されるものではなく、例えば、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体としてもよい。
【産業上の利用可能性】
【0114】
本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。
【符号の説明】
【0115】
1……生体像提示システム、10……顕微鏡、11……可動ステージ、12……スライドセット機構、13……光学系、13A,13B……対物レンズ、14……照明灯、15……撮像部、16……励起光源、20……データ処理部、21……CPU、22……ROM、23……RAM、24……バッファメモリ、25……操作入力部、26……インターフェイス、27……表示部、28……記憶部、41……スライドセット制御部、42……拡大切片像取得部、43……データ保存部、51……立体像生成部、52……異解像画像生成部、61……画像決定部、62……テンプレートマッチング部、63……特徴点抽出部、64……対応点決定部、65……分割部、66……テキスチャマッピング部、SG……スライドガラス。
【特許請求の範囲】
【請求項1】
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、
上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
を有する生体像提示装置。
【請求項2】
上記取得部は、
上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する
請求項1に記載の生体像提示装置。
【請求項3】
上記検出部は、
上記比較すべき像から、上記抽出部により抽出される位置ごとに、当該位置を基準とする探索ブロックと最も類似度が高いブロックを探索し、
上記類似度が設定値以上となる場合、上記ブロックの所定位置を上記対応位置として検出し、
上記類似度が設定値未満となる場合、当該位置を削除する
請求項2に記載の生体像提示装置。
【請求項4】
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、表示単位ブロックに分割する表示単位分割部
をさらに有し、
上記表示制御部は、
上記表示領域に表示すべき像を表示させる場合、現在の像に応じて、次に表示されるべき像を予測し、予測した像における表示単位ブロックをバッファメモリに記憶し、
次に表示領域に表示すべき像のうち、上記予測した像と同じ部分の表示単位ブロックを上記バッファメモリから読み出すとともに、上記予測した像と異なる部分の表示単位ブロックを記憶部から読み出す
請求項2に記載の生体像提示装置。
【請求項5】
上記表示単位分割部は、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、複数段階の解像度に対応する像としてそれぞれ生成し、当該各段階の解像度に対応する像を上記表示単位ブロックに分割する
請求項4に記載の生体像提示装置。
【請求項6】
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、
上記取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、
上記比較すべき像から、上記抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、
上記抽出ステップで抽出される位置を基準として上記基準とすべき像を分割する分割ステップと、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、
上記基準とすべき像と、上記マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップと
を有する生体像提示方法。
【請求項7】
コンピュータに対して、
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、
取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、
上記比較すべき像から、抽出される位置に対応する対応位置を検出すること、
上記抽出される位置を基準として上記基準とすべき像を分割すること、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、
上記基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させること
を実行させるプログラム。
【請求項8】
顕微鏡と、データ処理装置とから構成される生体像提示システムであって、
上記データ処理部は、
上記顕微鏡から、上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、
上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
を有する生体像提示システム。
【請求項1】
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、
上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
を有する生体像提示装置。
【請求項2】
上記取得部は、
上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する
請求項1に記載の生体像提示装置。
【請求項3】
上記検出部は、
上記比較すべき像から、上記抽出部により抽出される位置ごとに、当該位置を基準とする探索ブロックと最も類似度が高いブロックを探索し、
上記類似度が設定値以上となる場合、上記ブロックの所定位置を上記対応位置として検出し、
上記類似度が設定値未満となる場合、当該位置を削除する
請求項2に記載の生体像提示装置。
【請求項4】
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、表示単位ブロックに分割する表示単位分割部
をさらに有し、
上記表示制御部は、
上記表示領域に表示すべき像を表示させる場合、現在の像に応じて、次に表示されるべき像を予測し、予測した像における表示単位ブロックをバッファメモリに記憶し、
次に表示領域に表示すべき像のうち、上記予測した像と同じ部分の表示単位ブロックを上記バッファメモリから読み出すとともに、上記予測した像と異なる部分の表示単位ブロックを記憶部から読み出す
請求項2に記載の生体像提示装置。
【請求項5】
上記表示単位分割部は、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、複数段階の解像度に対応する像としてそれぞれ生成し、当該各段階の解像度に対応する像を上記表示単位ブロックに分割する
請求項4に記載の生体像提示装置。
【請求項6】
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、
上記取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、
上記比較すべき像から、上記抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、
上記抽出ステップで抽出される位置を基準として上記基準とすべき像を分割する分割ステップと、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、
上記基準とすべき像と、上記マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップと
を有する生体像提示方法。
【請求項7】
コンピュータに対して、
生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、
取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、
上記比較すべき像から、抽出される位置に対応する対応位置を検出すること、
上記抽出される位置を基準として上記基準とすべき像を分割すること、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、
上記基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させること
を実行させるプログラム。
【請求項8】
顕微鏡と、データ処理装置とから構成される生体像提示システムであって、
上記データ処理部は、
上記顕微鏡から、上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、
上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
を有する生体像提示システム。
【図1】
【図3】
【図4】
【図5】
【図6】
【図2】
【図7】
【図8】
【図9】
【図10】
【図3】
【図4】
【図5】
【図6】
【図2】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2010−243597(P2010−243597A)
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願番号】特願2009−89413(P2009−89413)
【出願日】平成21年4月1日(2009.4.1)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FLASH
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年10月28日(2010.10.28)
【国際特許分類】
【出願日】平成21年4月1日(2009.4.1)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FLASH
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]