情報処理システム及び情報処理方法
【課題】ユーザにとっての利便性により優れた情報処理装置及び情報処理方法を提供すること。
【解決手段】本技術に係る第１の側面である情報処理システムは、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、前記算出された位置情報を記憶する第１の記憶部と、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部とを具備する。
【解決手段】本技術に係る第１の側面である情報処理システムは、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、前記算出された位置情報を記憶する第１の記憶部と、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像データの表示を制御する情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の切片の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその切片を検査したり、患者を診断したりするシステムが提案されている。
【０００３】
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落［００２７］、［００２８］、図５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
光学顕微鏡を用いて切片の撮像をする際には切片をガラススライドに載置してプレパラートを作成するが、多数の切片を撮像する場合等には、プレパラート作成の効率化やガラススライド節約等の理由で、１枚のガラススライドに複数の切片を載置することがある。このように複数の切片が載置されたガラススライド全体を撮像すると、ガラススライド全体としての一体的な画像が得られるだけであり、個々の切片それぞれの画像を得られるわけではない。このため、個々の切片の画像を区別して扱うことが難しく、ユーザにとっての利便性を損なうおそれがある。
【０００６】
一方、ガラススライドに載置された複数の切片それぞれを個別に撮像すれば、個々の切片それぞれの画像を得ることができるので、個々の切片の画像を区別して扱うことができる。しかしながら、例えば、１つの標本を複数回スライスして得られた複数の切片を１枚のガラススライドに載置した場合等には、個別に撮像された個々の切片それぞれの画像を、互いに関連づけて扱うことが難しく、ユーザにとっての利便性を損なうおそれがある。
【０００７】
以上のような事情に鑑み、本技術の目的は、ユーザにとっての利便性により優れた情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本技術に係る第１の側面である情報処理システムは、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、前記算出された位置情報を記憶する第１の記憶部と、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部とを具備する。
【０００９】
すなわち、制御部は、メタデータである位置情報をもとに検体領域間での表示の切り替えを行う。これにより制御部は、取得部により取得される画像データは複数の切片が載置されたスライドそのものを撮影して得た画像データであるにも拘らず、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。また、第１の記憶部は検体領域をメタデータである位置情報として記録することで、検体領域間での表示の切り替えを効率よく高速に行うことができる。さらに、このメタデータである位置情報を用いれば、複数の検体領域が複数のスライドの画像データに亘る場合でも、１つの画像データから検出された複数の検体領域を順に表示する場合と同様に、表示処理を効率よく行うことができる。
【００１０】
前記情報処理システムは、前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出してもよい。
【００１１】
すなわち、生成部により、解像度を下げた縮小データから検体領域を検出することで、検体領域を効率よく高速に検出することができる。
【００１２】
前記複数の検体領域の複数の画像データが切断順に管理され、前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替えてもよい。
【００１３】
すなわち、検体領域の一部の表示領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００１４】
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替えてもよい。
【００１５】
これにより、移動先の表示領域の検体領域内での位置が、移動元の移動先の表示領域の検体領域内での位置と対応するため、ユーザにとっての利便性が期待できる。
【００１６】
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出してもよい。
【００１７】
これにより、一列の並びの複数の検体領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００１８】
前記情報処理システムは、前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出してもよい。
【００１９】
すなわち、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとにアライメント部が表示領域を設定するため、制御部は、ジャンプ前後の表示領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【００２０】
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出してもよい。
【００２１】
アフィン変換行列を用いることで、２軸方向のオフセット量を算出することができる。これにより、ジャンプ前後で対応する表示領域をより正確に算出することができる。
【００２２】
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出してもよい。
【００２３】
すなわち、制御部は、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとに複数の表示空間に表示される検体領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【００２４】
本技術に係る第２の側面である情報処理方法は、取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、第１の記憶部が前記算出された位置情報を記憶し、制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う。
【発明の効果】
【００２５】
以上のように、本技術によれば、ユーザにとっての利便性により優れた情報処理装置及び情報処理方法を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術に係る実施形態に係る情報処理システムの構成を示す図である。
【図２】典型的なコンピュータシステムを用いて実現される画像サーバの機能的な構成を示す図である。
【図３】スライド画像を説明するための図である。
【図４】特徴マッチングを説明するための図である。
【図５】特徴マッチングを説明するための図である。
【図６】特徴マッチングを説明するための図である。
【図７】特徴マッチングを説明するための図である。
【図８】特徴マッチングを説明するための図である。
【図９】典型的なコンピュータシステムを用いて実現されるビューワの機能的な構成を示す図である。
【図１０】検体領域の番号の設定を説明するための図である。
【図１１】検体領域の番号の設定を説明するための図である。
【図１２】検体領域の番号の設定を説明するための図である。
【図１３】離散表示を説明するための図である。
【図１４】ビューワによる離散表示処理を示すフローチャートである。
【図１５】検体領域選択画面を示す図である。
【図１６】ジャンプ表示を説明するための図である。
【図１７】ビューワによるジャンプ表示処理を示すフローチャートである。
【図１８】同期表示を説明するための図である。
【図１９】典型的なコンピュータのハードウェア構成を示す図である。
【図２０】変形例に係る情報処理装置の構成を示す図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
［情報処理システム］
図１は、本技術に係る実施形態に係る情報処理システムの構成を示す図である。
この情報処理システム１は、画像サーバ１００と、１以上のビューワ２００Ａ、２００Ｂとを有する。これらは互いにネットワーク３００を通じて接続可能である。ネットワーク３００は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でも、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。また、ネットワーク３００は有線、無線を問わない。ここでは説明の簡単のため、２つのビューワ２００Ａ、３０Ｂが接続されている場合を示したが、ビューワの数は３以上であってもよい。この明細書においてビューワを個別に指定しない場合には「ビューワ２００」と表記することとする。画像サーバ１００と、１以上のビューワ２００は、例えば、典型的なコンピュータで構成されたものでよい。
【００２９】
［画像サーバ１００］
画像サーバ１００の機能的な構成を説明する。
図２は、典型的なコンピュータシステムを用いて実現される画像サーバ１００の機能的な構成を示す図である。
【００３０】
画像サーバ１００は、画像取得部１０９（取得部）と、スライド画像蓄積部１０１と、サムネイル画像生成部１１０（生成部）と、サムネイル画像記憶部１０２と、検体領域検出部１０３（検出部）と、オフセット座標記憶部１０４（第１の記憶部）と、特徴マッチング部１０５と、三角形・行列記憶部１０６と、サーバ制御部１０７と、サーバ通信部１０８とを有する。各機能部は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）にロードされたプログラムに基き、コンピュータ資源において実現される。
【００３１】
画像取得部１０９は、例えば、ネットワークを通じて画像を取得し又はリムーバブルの記録媒体に記録されたスライド画像のデータを取得し、このスライド画像のデータと、スライドＩＤとを対応付けてスライド画像蓄積部１０１に蓄積する。この「スライド画像」とは、図３に示すように、１つの検体６００を同一方向に切断することによって得られた複数の切片６０１〜６０７が一列に且つ離散的に並べて載置されたガラススライド６１０を撮影して得た画像である。１つの検体６００から得られた切片の数が多い場合等、複数の切片が載置されたガラススライドが複数個作成されることもある。この「スライドＩＤ」とは、複数のスライド画像のデータを個々に識別するためのＩＤである。なお、「一列に…並べて」とは、厳密に直線的に並べた状態に限られず、ガラススライドの一端側から他端側へ向かう方向に配置された状態を意味する。
【００３２】
サムネイル画像生成部１１０は、スライド画像蓄積部１０１に蓄積されたスライド画像のサムネイル画像を生成し、このサムネイル画像のデータと、上記スライドＩＤとを対応付けてサムネイル画像記憶部１０２に記録する。この「サムネイル画像」は、スライド画像のデータの解像度を下げた縮小データである。スライド画像蓄積部１０１及びサムネイル画像記憶部１０２は、書き換え可能な不揮発性メモリに設定される。
【００３３】
検体領域検出部１０３は、サムネイル画像記憶部１０２からサムネイル画像のデータを読み出し、読み出したサムネイル画像のデータから、ガラススライドに載置されたそれぞれの複数の切片を個々に含む複数の領域（検体領域と呼ぶ。）を検出する。この検体領域の検出は、例えば、以下のように行われる。すなわち検体領域検出部１０３は、画像中、明るさが鋭敏に変化する箇所をガラススライド上の物体の境界と認識し（エッジ抽出）、閾値以上のサイズの閉曲線を切片のエッジ（輪郭）と認識する。続いて、検体領域検出部１０３は、この認識した切片を個々に含む検体領域をサムネイル画像のデータから抽出する。例えば検体領域検出部１０３は、切片が検体領域の略中央に位置し且つ切片が検体領域の範囲内に収まるように検体領域の範囲を選定する。それぞれの検体領域は任意の同一形状及び同一サイズを有し、本実施形態ではそれぞれの検体領域は矩形である。
【００３４】
検体領域検出部１０３は、また、それぞれの検体領域のオフセット座標（位置情報）を算出する。この「オフセット座標」とは、複数の切片の画像を含むスライド画像の座標空間において、個々の検体領域のそれぞれの位置を表す情報である。具体的には、「オフセット座標」とは、例えば矩形のガラススライドの１つの頂点（例えば左下端）を原点とし、それぞれの検体領域内の任意の点（例えば矩形の検体領域の１つの頂点。例えば左下端）の位置をこの原点からの２軸方向の差（距離）で表した値である。検体領域検出部１０３は、算出したそれぞれのオフセット座標、このオフセット座標によって示される検体領域の検体領域番号及びこの検体領域が含まれるスライド画像のスライド番号の各メタデータをそれぞれ対応付けて、オフセット座標記憶部１０４に記録する。この「番号」とは、切片の切断の順序、つまり、切断面と略直交する方向での切片の並び順を反映し、例えば１以上の整数で表され、検体領域検出部１０３により設定される。オフセット座標記憶部１０４は、書き換え可能な不揮発性メモリに設定される。
【００３５】
ここで、スライド番号及び検体領域番号の設定の方法について説明する。まず、検体領域検出部１０３は、上記のようにサムネイル画像のデータから検出した複数の検体領域の画像間の特徴マッチングを行う。この特徴マッチングは、後で説明する特徴マッチング部１５０による特徴マッチングと同様の手法で行えばよい。検体領域検出部１０３は、特徴マッチングの結果をもとに、１つのスライド画像に含まれる複数の検体領域内の切片Ａ〜Ｆ同士の類似度を判定する。そして、検体領域検出部１０３は、図１０に示すように、類似度の高い切片Ｂ、Ｃを含む検体領域同士が近くに位置し、類似度の高い切片Ｄ、Ｅを含む検体領域同士が近くに位置するようにグルーピングをする。そして、検体領域検出部１０３は、図１１に示すように、面積の大きい切片Ａが検体６００の一方（例えば根元）で、そこから面積の小さい切片Ｆ（例えば先端）に向かって連続していると判断し、図１２に示すように、特徴点の位置間隔が狭まって行くように連続する検体領域番号を設定する。
【００３６】
全てのスライド画像に含まれる複数の検体領域の検体領域番号を設定すると、検体領域検出部１０３は、あるスライド画像の両端の検体領域と、別のスライド画像の両端の検体領域との類似度を判定する。検体領域検出部１０３は、類似度が高い検体領域を含むスライド画像同士を連続するスライド画像と判断し、連続するスライド番号を設定する。検体領域検出部１０３は、設定したスライド番号で、スライド画像蓄積部１０１及びサムネイル画像記憶部１０２に記録されたスライドＩＤを書き換える。
【００３７】
なお、この検体領域番号及びスライド番号は、ユーザによりビューワ２００を用いて修正可能としてもよい。あるいは、ユーザが切片をガラススライドの左から右に順序良く並べたような場合や、疾病があると疑われる検体領域を先頭に位置させたいような場合等には、ユーザによりビューワ２００を用いて検体領域番号及びスライド番号を設定してもよい。あるいは、ＬＩＳ（Laboratory Information System）に入力された情報をビューワ２００が取り込んで検体領域番号及びスライド番号を設定してもよい。
【００３８】
特徴マッチング部１０５は、スライド画像蓄積部１０１に蓄積されたスライド画像のそれぞれの検体領域の画像間の特徴マッチング（詳細は後述。）を行う。具体的には、特徴マッチング部１０５は、スライド画像蓄積部１０１からスライド画像のデータを読み出す。そして、特徴マッチング部１０５は、読み出したスライド画像のデータに対応付けられたスライド番号に対応付けられた複数の検体領域番号及びオフセット座標をオフセット座標記憶部１０４から読み出す。特徴マッチング部１０５は、読み出したオフセット座標と、各検体領域に共通に与えられたサイズとをもとに、スライド画像から複数の検体領域を検出する。特徴マッチング部１０５は、この検出した複数の検体領域の画像間の特徴マッチングを行い、三角形及びアフィン変換行列を算出する。特徴マッチング部１０５は、算出した三角形及びアフィン変換行列のデータ、それぞれの検体領域を特定する検体領域番号及びスライド番号の各メタデータをそれぞれ対応付けて、三角形・行列記憶部１０６に記録する。三角形・行列記憶部１０６は、書き換え可能な不揮発性メモリに設定される。
【００３９】
サーバ制御部１０７は、ビューワ２００からの要求に対して、スライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いて画像データをビューワ２００に供給する。
【００４０】
［特徴マッチング］
ここで、特徴マッチング部１０５による検体領域の画像間の特徴マッチングの具体的な方法について説明する。
まず、特徴マッチング部１０５は、例えばハリス（Harris）アルゴリズム等の抽出アルゴリズムを用いて、図４に示すように、基準となる任意の検出領域（検出領域Ａと呼ぶ。）の画像から、輝度値の変化が閾値を超えた点（特徴点と呼ぶ。図中黒点）を抽出する。このハリスアルゴリズムは、画像の回転に対してロバストであり、グラーデーション上には特徴点を取らないという利点を有する。
【００４１】
続いて、特徴マッチング部１０５は、検出領域Ａの画像におけるそれぞれの特徴点が別の検出領域（検出領域Ｂと呼ぶ。）の画像内のどこに対応するかを、画像の正規化相関を用いて決定する。具体的には、図５に示すように、特徴マッチング部１０５は、検出領域Ｂの画像において、基準となる検出領域Ａの画像における特徴点ＡＰ（図４参照）を基準としてサーチエリアＳＡを設定する。特徴マッチング部１０５は、検出領域ＢのサーチエリアＳＡ内をサーチして、検出領域Ｂのテクスチャパターンと検出領域Ａのテクスチャパターンとの正規化相関を計算し、得られた値が最も高い点（最高点と呼ぶ。）を特徴点（図中黒点）ＡＰに対する対応点（図中白点）ＢＰと判断する。同図に示す例では、特徴マッチング部１０５は、正規化相関を計算して得られた値０．０４、０．８７、０．９８のうち、最も高い値０．９８となる点を対応点ＢＰと判断する。なお、この最高点が所定の閾値（例えば、０．９０）未満の場合、特徴マッチング部１０５は、この特徴点ＡＰをマッチングに採用することができないと判断する。また、採用されると判断された特徴点の数が所定の閾値に達しない場合、特徴マッチング部１０５は、これら検出領域Ａ、Ｂ間の類似度が低いため、検出領域Ａ、Ｂ間のマッチングは不可と判断する。
【００４２】
全ての特徴点について上記のように正規化相関を計算すると、図６に示すように、特徴マッチング部１０５は、例えばドロネー（Delaunay）アルゴリズム等の分割アルゴリズムを用いて、検出領域Ａの画像を、採用された特徴点（図中黒点）を頂点とする複数の三角形に分割する。特徴マッチング部１０５は、図７に示すように、検出領域Ａの分割トポロジーを保持しながら、検出領域Ｂの画像も、採用された特徴点（図中黒点）に対応する対応点（図中白点）を頂点とする複数の三角形に分割する。
【００４３】
続いて、特徴マッチング部１０５は、検出領域Ａの画像の表示中心座標ＡＣを含む三角形ＡＴを内外判定により特定する。特徴マッチング部１０５は、検出領域Ａの三角形ＡＴに対応する検出領域Ｂの三角形ＢＴを、この三角形ＡＴに変換するためのアフィン変換行列を算出する。算出したアフィン変換行列は、ある検出領域の任意の点の座標（例えば、中心座標）をもとに別の検出領域の対応する点の座標（この場合、中心座標）を算出するのに用いることができる。より具体的には、アフィン変換行列は、図８に示すように、例えば、検体領域Ａ（図６参照）の画像の表示中心座標ＡＣ（図８参照）の、検体領域Ｂの画像上での位置ＢＣを割り出し、その位置ＢＣへ検体領域Ｂの画面の表示中心を移動させる処理に用いることができる。
【００４４】
［ビューワ２００］
ビューワ２００の機能的な構成を説明する。
図９は、典型的なコンピュータシステムを用いて実現されるビューワ２００の機能的な構成を示す図である。
【００４５】
ビューワ２００は、ビューワ制御部２０７（制御部）と、ビューワ通信部２０４と、アライメントデータ作成部２０８（アライメント部）と、アライメントデータ記憶部２０９（第２の記憶部）と、第１の座標算出部２０３（制御部）と、第２の座標算出部２０６（制御部）と、第３の座標算出部２１０（制御部）と、表示処理部２０５と、表示部２０１と、入力部２０２とを有する。各機能部は、ＲＡＭにロードされたプログラムに基き、コンピュータ資源において実現される。
【００４６】
ビューワ制御部２０７は、ビューワ通信部２０４を用いて画像サーバ１００に要求を送信し、受信したデータをビューワ２００の各機能部に供給して各機能部を制御する等の処理を行う。
【００４７】
アライメントデータ作成部２０８は、特徴マッチングにより得られた三角形及びアフィン変換行列のデータをもとに、スライド画像の座標空間での複数の検体領域間の２軸方向のオフセット量を算出する。より具体的には、アライメントデータ作成部２０８は、ある検体領域の例えば中心座標に位置する点を基準点として含む三角形と、別の検体領域内におけるこの基準点に対応する点を含む三角形との、検体領域の座標空間における座標の２軸方向のオフセット量をアライメントデータとして算出する。アライメントデータ作成部２０８は、算出したアライメントデータをアライメントデータ記憶部２０９に記録する。アライメントデータ記憶部２０９は、書き換え可能な不揮発性メモリに設定される。
【００４８】
第１の座標算出部２０３は、検体領域以外の領域を飛ばして、検体領域だけを順に表示するための動作（離散表示）を行うための表示領域の位置情報を計算する等の処理を行う。
【００４９】
第２の座標算出部２０６は、検体領域の対応領域を順に表示させるための動作（ジャンプ表示）を行うための表示領域の位置情報を計算する等の処理を行う。この「対応領域」とは、複数の切片内の、切断面と略直交する方向にて一致する領域を示す。
【００５０】
第３の座標算出部２１０は、表示画面を分割して、複数の検体領域をそれぞれ同期させて表示させるための動作（同期表示）を行うための表示領域の位置情報を計算する等の処理を行う。
【００５１】
表示処理部２０５は、画像データを表示するための表示データを表示部２０１に出力する。
【００５２】
［ビューワ２００の動作］
次に、ビューワ２００の動作を説明する。動作の説明は次の順で行うものとする。
１．検体領域以外の領域を飛ばして、検体領域だけを順に表示するための動作（離散表示）
２．検体領域の対応領域を順に表示させるための動作（ジャンプ表示）
３．表示画面を分割して、複数の検体領域をそれぞれ同期させて表示させるための動作（同期表示）
【００５３】
［１．離散表示］
離散表示では、スライド画像内の検体領域以外の領域（切片が載置されていない領域）を飛ばして、検体領域だけを順に表示するための処理が行われる。
【００５４】
図１３は離散表示の具体例を示す図である。同図は、第１のガラススライド６１０と、第２のガラススライド６２０とを示す。１つの検体から得られた切片が１枚のガラススライドに載置しきれない場合には、これらの切片は複数のガラススライドに跨って載置される。同図は、第１〜第１４の切片６０１〜６１４の順に切断された複数の切片のうち、第１〜第７の切片６０１〜６０７が第１のガラススライド６１０にこの順に載置され、第８〜第１４の切片６０８〜６１４が第２のガラススライド６２０にこの順に載置された例を示す。また、それぞれの第１〜第１４の切片６０１〜６１４を含む第１〜第１４の検体領域６２１〜６３４がそれぞれ検出されたとする。まず、第１の検体領域６２１の左下隅の矩形領域が表示領域６４１として表示部２０１に表示される。ユーザは例えばマウス等の入力部２０２を用いて、この表示領域６４１の画像を上下左右に移動するための命令を入力する。表示領域６４１を右方向への移動指示が入力されると、第１の検体領域６２１の右下隅の表示領域６４１ａに至るまで、表示領域が第１の検体領域６２１内を水平に移動する（矢印Ａ）。さらに右方向への移動指示が入力されると、第１及び第２の検体領域６２１、６２２の間の切片が載置されていない領域を飛ばして、第２の検体領域６２２の左下隅の表示領域６４１ｂに表示領域が移動する（矢印Ｂ）。この検体領域間の移動が繰り返され、第７の検体領域６２１の右下隅の表示領域６４１ｃに表示領域が移動し、さらに右方向への移動指示が入力されたとする。この場合、第１のガラススライド６１０上の第７の検体領域６２７の右隣には検体領域が存在しないため、第２のガラススライド６２０の第８の検体領域６２８の左下隅の表示領域６４１ｄに表示領域が移動する（矢印Ｃ）。
【００５５】
次に、この離散表示の処理についてより詳細に説明する。
図１４は、ビューワ２００による離散表示処理を示すフローチャートである。
【００５６】
ユーザは、例えば入力部２０２を用いて、表示モードとして離散表示を選択する。ビューワ制御部２０７は、選択指示を受け付けると、ビューワ通信部２０４を用いて、画像サーバ１００のサムネイル画像記憶部１０２にスライド番号に対応づけて記録された、スライド画像のサムネイル画像を読み出す。ビューワ制御部２０７は、表示処理部２０５に、読み出したスライド番号及びスライド画像のサムネイル画像をもとに検体領域選択画面を生成させて表示部２０１に表示させる。
【００５７】
図１５は、検体領域選択画面を示す図である。
同図に示すように、検体領域選択画面２２０は、スライドトレイ２２１と、検体領域トレイ２２２と、観察表示エリア２２３と、表示領域表示エリア２２４とを含む。スライドトレイ２２１には、ビューワ制御部２０７が画像サーバ１００から読み出したスライド画像のサムネイル画像２３０、２３１、２３２が一覧として表示される。スライド画像のサムネイル画像２３０、２３１、２３２は、上から下へとスライド番号の順に並べられる。ユーザは、マウス等の入力部２０２を用いて、スライドトレイ２２１に表示された複数のサムネイル画像２３０、２３１、２３２から１つのサムネイル画像２３１を選択する。ビューワ制御部２０７は、表示処理部２０５に、選択されたサムネイル画像２３１を枠線（２３１Ａ）などにより識別可能な形態で表示させるとともに、選択されたサムネイル画像２３１に対応するサムネイル画像２３１Ｃを表示領域表示エリア２２４に表示させる。
【００５８】
ビューワ制御部２０７は、選択されたサムネイル画像に対応付けられたスライド番号に対応付けられて画像サーバ１００のオフセット座標記憶部１０４に記録されたメタデータとしての検体領域番号及びオフセット座標を、ビューワ通信部２０４を用いて読み出す。また、ビューワ制御部２０７は、このスライド番号に対応付けられて画像サーバ１００の三角形・行列記憶部１０６に記録されたメタデータとしての検体領域番号、三角形及びアフィン行列を、ビューワ通信部２０４を用いて読み出す。ビューワ制御部２０７は、表示処理部２０５に、読み出したメタデータとしてのオフセット座標及びスライド番号をもとに、選択されたサムネイル画像２３１内の複数の検体領域のサムネイル画像２３１ａ〜２３１ｇを検体領域トレイ２２２に一覧として表示させる。検体領域のサムネイル画像２３１ａ〜２３１ｇは、左から右へと、検体領域番号の順に並べられる。
【００５９】
ユーザは、マウス等の入力部２０２を用いて、検体領域トレイ２２２に表示された複数のサムネイル画像２３１ａ〜２３１ｇから１つのサムネイル画像２３１ｄを選択する。選択されたサムネイル画像２３１ｄは、枠線（２３１Ｂ）などにより識別可能なように表示される。また、この選択されたサムネイル画像２３１ｄの検体領域の画像が観察表示エリア２２３に表示される。この観察表示エリア２２３には、このように検体領域全体の画像が表示されるほか、検体領域の一部（表示領域）が任意の解像度で表示されたりする。また、表示領域表示エリア２２４に表示されたサムネイル画像２３１Ｃにおいて、現在観察表示エリア２２３に表示されている検体領域の位置が枠線（２２４ａ）などにより識別可能なように表示される。なお、この表示対象のスライド及び検体領域の選択の動作は、離散表示、ジャンプ表示及び同期表示において共通である。
【００６０】
ビューワ制御部２０７は、ユーザによる入力部２０２への入力を検出し、最初に表示するスライド及び検体領域のスライド番号及び検体領域番号を判断する。そしてビューワ制御部２０７は、メタデータとしてのこのスライド番号及び検体領域番号に対応付けられたオフセット座標を、離散表示のための処理を行う第１の座標算出部２０３に供給する。第１の座標算出部２０３は、メタデータとしての検体領域のオフセット座標と、各表示領域に共通に与えられたサイズ及び初期位置（例えば検体領域の左下隅）とに基づき、最初に表示する表示領域の位置情報を算出する。これら各表示領域に共通に与えられたサイズ及び初期位置は、書き換え可能な不揮発性メモリに記録されている。第１の座標算出部２０３は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００６１】
画像サーバ１００のサーバ制御部１０７は、サーバ通信部１０８を用いてこの要求を受信し、要求に含まれる表示領域の画像データをスライド画像蓄積部１０１から読み出す。サーバ制御部１０７は、読み出した画像データを、サーバ通信部１０８を用いてビューワ２００に送信する。
【００６２】
ビューワ２００のビューワ制御部２０７は、ビューワ通信部２０４を用いて表示領域の画像データを受信し、受信した表示領域の画像データを表示処理部２０５に供給する。表示処理部２０５は、この画像データを表示するための表示データを表示部２０１に出力し、検体領域選択画面２２０の観察表示エリア２２３に表示させる（ステップＳ１０１）。
【００６３】
ユーザは例えばマウス等の入力部２０２を用いて、観察表示エリア２２３に表示された表示領域の画像を上下左右に移動するための命令を入力する。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出し、検出した移動命令を第１の座標算出部２０３に供給する。第１の座標算出部２０３は、この移動命令を基に、移動先の表示領域の位置情報を算出する。第１の座標算出部２０３は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００６４】
その後はステップＳ１０１と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する（ステップＳ１０２）。
【００６５】
第１の座標算出部２０３は、算出した位置情報をもとに、移動先の表示領域が検体領域の境界に到達したと判断すると（ステップＳ１０３でＹｅｓ）、その境界が検体領域のいずれの末端（右端、下端、左端、上端）かを判断する（ステップＳ１０４、Ｓ１０５、Ｓ１０６）。第１の座標算出部２０３は、表示領域が検体領域の右端にあるとき、ユーザからの右方向への移動指示を検出すると（ステップＳ１０４でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。これにより得られた検体領域番号が、次に表示する検体領域の検体領域番号となる。第１の座標算出部２０３は、インクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の上端と表示領域の上端とのＹオフセットを保ち、検体領域の左端と表示領域の左端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０７）。
【００６６】
一方、第１の座標算出部２０３は、表示領域が検体領域の下端にあるとき、ユーザからの下方向への移動指示を検出すると（ステップＳ１０５でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。第１の座標算出部２０３は、インクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の左端と表示領域の左端とのＸオフセットを保ち、検体領域の上端と表示領域の上端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０８）。
【００６７】
一方、第１の座標算出部２０３は、表示領域が検体領域の左端にあるとき、ユーザからの左方向への移動指示を検出すると（ステップＳ１０６でＹｅｓ）、表示対象の検体領域の検体領域番号をデクリメントする。第１の座標算出部２０３は、デクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の上端と表示領域の上端とのＹオフセットを保ち、検体領域の右端と表示領域の右端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０９）。
【００６８】
一方、第１の座標算出部２０３は、表示領域が検体領域の上端にあるとき、ユーザからの上方向への移動指示を検出すると（ステップＳ１０６でＮｏ）、表示対象の検体領域の検体領域番号をデクリメントする。第１の座標算出部２０３は、デクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の左端と表示領域の左端とのＸオフセットを保ち、検体領域の下端と表示領域の下端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１１０）。
【００６９】
このように、ビューワ制御部２０７から供給されたユーザによる移動命令を基に移動先の検体領域内の表示領域を設定すると（ステップＳ１０７〜Ｓ１１０）、第１の座標算出部２０３は、この設定した表示領域の位置情報をビューワ制御部２０７に供給する。そして、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００７０】
その後はステップＳ１０１と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する。
【００７１】
なお、ステップＳ１０７、Ｓ１０８でインクリメントにより得られた検体領域番号がオフセット座標記憶部１０４に記録されていない場合、第１の座標算出部２０３は、現在表示されているスライドのスライド番号をインクリメントする。そして第１の座標算出部２０３は、インクリメントにより得られたスライド番号に対応づけられた検体領域番号＝１に対応する検体領域内を観察対象として設定する。また、ステップＳ１０９、Ｓ１１０でデクリメントにより得られた検体領域番号がオフセット座標記憶部１０４に記録されていない場合（検体領域番号＝０）、第１の座標算出部２０３は、現在表示されているスライドのスライド番号をデクリメントする。そして第１の座標算出部２０３は、デクリメントにより得られたスライド番号に対応づけられた最大の検体領域番号に対応する検体領域を観察対象として設定する。
【００７２】
第１の座標算出部２０３は、上記演算の結果、次に表示する検体領域がないと判断すると（ステップＳ１１１でＹｅｓ）、離散表示処理を終了する。
【００７３】
以上、本実施形態の情報処理システム１は、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する画像取得部１０９と、取得された画像データにおける個々の切片を含む同一形状の複数の検体領域を検出して、個々の検体領域それぞれの画像データの座標空間における位置を相対的に示す位置情報を算出する検体領域検出部１０３と、算出された位置情報を記憶するオフセット座標記憶部１０４と、記憶された位置情報をもとに検体領域間での表示の切り替えを行うビューワ制御部２０７とを具備する。
【００７４】
すなわち、ビューワ制御部２０７は、メタデータである位置情報をもとに検体領域間での表示の切り替えを行う。これによりビューワ制御部２０７は、取得部により取得される画像データは複数の切片が載置されたスライドそのものを撮影して得た画像データであるにも拘らず、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。また、第１の記憶部は検体領域をメタデータである位置情報として記録することで、検体領域間での表示の切り替えを効率よく高速に行うことができる。さらに、このメタデータである位置情報を用いれば、複数の検体領域が複数のスライドの画像データに亘る場合でも、１つの画像データから検出された複数の検体領域を順に表示する場合と同様に、表示処理を効率よく行うことができる。
【００７５】
本実施形態の情報処理システム１は、画像データの解像度を下げた縮小データを生成するサムネイル画像サムネイル画像生成部１１０１１０をさらに具備し、検体領域検出部１０３は、縮小データから複数の検体領域を検出することで、画像データ内の複数の検体領域を検出する。
【００７６】
すなわち、サムネイル画像生成部１１０により、解像度を下げた縮小データから検体領域を検出することで、検体領域を効率よく高速に検出することができる。
【００７７】
本実施形態の情報処理システム１では、複数の検体領域の複数の画像データが切断順に管理され、ビューワ制御部２０７は、取得された画像データ中で表示させる検体領域とその中の範囲の指定をユーザから受け付けたとき、指定された検体領域の中の範囲を表示領域として算出し、表示領域が当該検体領域の末端にあるときに、表示領域を末端よりも外に移動させる指示をユーザより受け付けたとき、記憶された位置情報をもとに切断順で隣の検体領域の表示に切り替える。
【００７８】
すなわち、検体領域の一部の表示領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００７９】
本実施形態の情報処理システム１では、ビューワ制御部２０７は、算出した表示領域が当該検体領域の、画像データの座標空間における複数の検体領域の一方の軸方向の末端にあるとき、表示領域を末端よりも外に一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ切断順で隣の検体領域の表示に切り替える。
【００８０】
これにより、移動先の表示領域の検体領域内での位置が、移動元の移動先の表示領域の検体領域内での位置と対応するため、ユーザにとっての利便性が期待できる。
【００８１】
本実施形態の情報処理システム１では、画像取得部１０９は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、ビューワ制御部２０７は、算出した表示領域が当該検体領域の、画像データの座標空間における複数の検体領域の並びの方向の末端にあるとき、表示領域を末端よりも先に並びの方向へ移動させる指示をユーザより受け付けたとき、記憶された位置情報をもとに当該移動先の検体領域の表示領域を算出する。
【００８２】
これにより、一列の並びの複数の検体領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００８３】
本実施形態の情報処理方法では、画像取得部１０９が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、検体領域検出部１０３が、取得された画像データにおける個々の切片を含む同一形状の複数の検体領域を検出して、個々の検体領域それぞれの画像データの座標空間における位置を相対的に示す位置情報を算出し、オフセット座標記憶部１０４が算出された位置情報を記憶し、ビューワ制御部２０７が、記憶された位置情報をもとに検体領域間での表示の切り替えを行う。
【００８４】
［２．ジャンプ表示］
次に、ジャンプ表示について説明する。ジャンプ表示では、検体領域の対応領域を順に表示させるための処理が行われる。
【００８５】
図１６はジャンプ表示の具体例を示す図である。同図は、図１３と同様に、第１〜第１４の切片６０１〜６１４が第１及び第２のガラススライド６１０、６２０にこの順に載置され、第１〜第１４の切片６０１〜６１４をそれぞれ含む第１〜第１４の検体領域６２１〜６３４がそれぞれ検出された例を示す。第１の検体領域６２１内の任意の位置の表示領域６４２が表示された状態において、検体領域選択画面２２０の検体領域トレイ２２２（図１５）から、現在表示されている第１の検体領域６２１のサムネイル画像の右隣の検体領域６２２のサムネイル画像が、移動先の検体領域として選択される。このように別の検体領域の画像へ表示を移動するための命令が入力されると、第２の検体領域６２２の表示領域６４２ａに表示領域が移動する（矢印Ｄ）。ここで、表示領域６４２、６４２ａは、同一形状の検体領域６２１、６２２の座標空間において同じ位置にある。つまり、検体の切断面と略直交する方向に連続する部位が、表示領域６４２、６４２ａとして表示される。この検体領域間の移動が繰り返され、第７の検体領域６２１の表示領域６４２ｂ（同一形状の検体領域の座標空間において表示領域６４２、６４２ａと同じ位置に位置する。）に表示領域が移動したとする。さらに、検体領域トレイ２２２（図１５）において第１のガラススライド６１０のサムネイル画像の下に位置する第２のガラススライド６２０のサムネイル画像が操作されることで、第２のガラススライド６２０に移動するための命令が入力されたとする。この場合、第２のガラススライド６２０の第８の検体領域６２８の表示領域６４２ｃに表示領域（同一形状の検体領域の座標空間において表示領域６４２ｂと同じ位置に位置する。）が移動する（矢印Ｅ）。
【００８６】
次に、このジャンプ表示の処理についてより詳細に説明する。
図１７は、ビューワ２００によるジャンプ表示処理を示すフローチャートである。
【００８７】
上記離散表示において最初に表示するスライド及び検体領域が選択されたのと同様に、最初に表示するスライド及び検体領域が選択される。また、ユーザは、例えば入力部２０２を用いて、表示モードとしてジャンプ表示を選択する。
【００８８】
ジャンプ表示の選択を判断すると、ビューワ制御部２０７は、メタデータとしてのスライド番号、検体領域番号、三角形及びアフィン変換行列のデータをアライメントデータ作成部２０８に供給する。アライメントデータ作成部２０８は、これらメタデータを取得すると、複数の検体領域の全ての組み合わせにおいて、検体領域のスライド画像の座標空間上での２軸方向のオフセットを算出する。より具体的には、アライメントデータ作成部２０８は、アフィン変換行列を用いて、ある検体領域の例えば中心座標に位置する点を基準点として含む三角形と、別の検体領域内におけるこの基準点に対応する点を含む三角形との絶対座標上での２軸方向のオフセットを算出する。このオフセットが、一方の検体領域内の表示領域を他方の検体領域内の表示領域に対して調整するためのアライメントデータとなる。アライメントデータ作成部２０８は、算出したアライメントデータをアライメントデータ記憶部２０９に記録する（ステップＳ２０１）。なお、このアライメントデータ生成の動作は、ジャンプ表示及び同期表示の表示モードにおいて共通である。
【００８９】
ビューワ制御部２０７は、ユーザにより選択された上記表示対象のスライド及び検体領域のスライド番号及び検体領域番号に対応付けられたオフセット座標を、ジャンプ表示のための処理を行う第２の座標算出部２０６に供給する。第２の座標算出部２０６は、このオフセット座標と、各表示領域に共通に与えられたサイズ及び初期位置（例えば検体領域の左下隅）とに基づき、最初に表示する表示領域の位置情報を算出する。これら各表示領域に共通に与えられたサイズ及び初期位置は、書き換え可能な不揮発性メモリに記録されている。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００９０】
画像サーバ１００のサーバ制御部１０７は、サーバ通信部１０８を用いてこの要求を受信し、要求に含まれる表示領域の画像データをスライド画像蓄積部１０１から読み出す。サーバ制御部１０７は、読み出した画像データを、サーバ通信部１０８を用いてビューワ２００に送信する。
【００９１】
ビューワ２００のビューワ制御部２０７は、ビューワ通信部２０４を用いて表示領域の画像データを受信し、受信した表示領域の画像データを表示処理部２０５に供給する。表示処理部２０５は、この画像データを表示するための表示データを表示部２０１に出力し、検体領域選択画面２２０の観察表示エリア２２３に表示させる（ステップＳ２０２）。
【００９２】
ユーザは例えばマウス等の入力部２０２を用いて、観察表示エリア２２３に表示された表示領域の画像を上下左右に移動するための命令を入力する。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出し、検出した移動命令を第２の座標算出部２０６に供給する。第２の座標算出部２０６は、この移動命令を基に、移動先の表示領域の位置情報を算出する。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００９３】
その後はステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する（ステップＳ２０３）。
【００９４】
ユーザは入力部２０２を用いて、観察表示エリア２２３に表示された検体領域の画像から、別の検体領域の画像へ表示を移動するための命令を入力する。この入力は、例えば、検体領域選択画面２２０の検体領域トレイ２２２（図１５）に表示された複数のサムネイル画像群から、現在表示されている検体領域の右隣又は左隣の検体領域を選択することで行われる。あるいは、この入力は、検体領域選択画面２２０のスライドトレイ２２１（図１５）に表示された複数のサムネイル画像群から、現在表示されているスライドの上又は下のスライドを選択することで行われる。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出すると（ステップＳ２０４でＹｅｓ）、入力された移動先の検体領域が右隣か左隣か又は移動先のスライドが上か下かを判断する（ステップＳ２０５、Ｓ２０６）。
【００９５】
ビューワ制御部２０７は、移動先の検体領域が右隣又は移動先のスライドが下と判断すると（ステップＳ２０５でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。一方、ビューワ制御部２０７は、移動先の検体領域が左隣又は移動先のスライドが上と判断すると（ステップＳ２０６でＹｅｓ）、表示対象の検体領域の検体領域番号をデクリメントする。これにより得られた検体領域番号が、移動先の検体領域の検体領域番号となる。
【００９６】
ビューワ制御部２０７は、この移動先の検体領域の検体領域番号と、現在表示している表示領域（移動元の表示領域）の位置情報とを、第２の座標算出部２０６に通知する。第２の座標算出部２０６は、移動先の検体領域番号に対応付けられたオフセット座標をオフセット座標記憶部１０４から読み出す。また、第２の座標算出部２０６は、この移動先の検体領域を移動元の検体領域に対して座標空間上で一致させるためのアライメントデータをアライメントデータ記憶部２０９から読み出す。そして、第２の座標算出部２０６は、メタデータとしてのオフセット座標とアライメントデータとを基に、移動元と移動先の表示領域内の対応する点同士がそれぞれの表示領域内において位置が互いに一致するように、移動元の表示領域に対応する移動先の検体領域内の表示領域を設定する。
【００９７】
つまり、移動元の表示領域内のある点（例えば表示領域の中心点）と、移動先の表示領域の対応する点とは、それぞれの表示領域内での位置が互いに一致しない場合がある。例えば、移動元の表示領域の中心に疾病があっても、移動先の表示領域では、中心からずれた位置にその疾病が位置する場合がある。そこで第２の座標算出部２０６は、アライメントデータをもとに、移動元の表示領域のある点と、移動先の表示領域の対応する点とが、それぞれの表示領域内において位置が互いに一致するように（例えば表示領域の中心）、移動先の表示領域を調整する（ステップＳ２０７、Ｓ２０８）。
【００９８】
第２の座標算出部２０６は、上記ステップＳ２０７〜Ｓ２０８にて調整した表示領域の位置情報を算出する。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信させる。
【００９９】
その後はステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する。
【０１００】
第２の座標算出部２０６は、上記演算の結果、次に表示する検体領域がないと判断すると（ステップＳ２０９でＹｅｓ）、離散表示処理を終了する。
【０１０１】
以上、本実施形態の情報処理システム１は、複数の検体領域それぞれの特徴点を検出し、それぞれの特徴点の座標の検体領域の座標空間におけるオフセット量を算出するアライメントデータ作成部２０８と、算出されたオフセット量を記憶するアライメントデータ記憶部２０９とをさらに具備し、ビューワ制御部２０７は、表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、記憶された位置情報と記憶されたオフセット量をもとに、ジャンプ前後の表示領域内での特徴点の位置が一致するように、ジャンプ先の表示領域を算出する。
【０１０２】
すなわち、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとにアライメントデータ作成部２０８が表示領域を設定するため、ビューワ制御部２０７は、ジャンプ前後の表示領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【０１０３】
本実施形態の情報処理システム１では、アライメントデータ作成部２０８は、検出された複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出されたアフィン変換行列をもとにオフセット量を算出する。
【０１０４】
アフィン変換行列を用いることで、２軸方向のオフセット量を算出することができる。これにより、ジャンプ前後で対応する表示領域をより正確に算出することができる。
【０１０５】
［３．同期表示］
次に、同期表示について説明する。同期表示では、表示画面を分割して、複数の検体領域の対応領域をそれぞれ同期させて表示させるための処理が行われる。
【０１０６】
図１８は同期表示の具体例を示す図である。この同期表示では、表示対象として複数（例えば４つ）の検体領域６２１〜６２４がユーザにより選択される。この複数の検体領域６２１〜６２４は、検体領域選択画面２２０の観察表示エリア２２３（図１５）を複数の略等しいサイズのエリアに分割して得られた表示空間６５１〜６５４に個々に割り当てられて表示される。より具体的には、複数の検体領域６２１〜６２４の中心に位置する点６２１ａ〜６２４ａ同士が、表示空間６５１〜６５４内での位置が互いに一致するように（中心に位置するように）、複数の検体領域６２１〜６２４が表示される。
【０１０７】
次に、この同期表示の処理についてより詳細に説明する。
ユーザは、入力部２０２を用いて、表示部２０１に表示された検体領域選択画面２２０のスライドトレイ２２１（図１５）から表示対象のスライドを選択し、検体領域トレイ２２２から表示対象の複数（例えば４つ）の検体領域を選択する。ビューワ制御部２０７は、ユーザによる入力部２０２への入力を検出し、表示するスライド及び複数の検体領域のスライド番号及び複数の検体領域番号を判断する。そしてビューワ制御部２０７は、このスライド番号及び複数の検体領域番号を、同期表示のための処理を行う第３の座標算出部２１０に供給する。さらにビューワ制御部２０７は、表示空間としての検体領域選択画面２２０の観察表示エリア２２３（図１５）を指定された複数（例えば４つ）の検体領域の数と等しい数の表示空間に分割する。そしてビューワ制御部２０７は、分割した表示空間それぞれの座標情報を第３の座標算出部２１０に供給する。
【０１０８】
第３の座標算出部２１０は、表示対象の複数の検体領域の検体領域番号に対応付けられたオフセット座標と、表示対象の複数の検体領域同士のオフセットを調整するためのアライメントデータとを基に、複数の検体領域の中心点が一致するように、表示領域を設定する。つまり、第３の座標算出部２１０は、メタデータとしてのオフセット座標とアライメントデータとをもとに、複数の検体領域の中心に位置する点同士が、表示空間内での位置が互いに一致するように（中心に位置するように）、表示領域を設定する。第３の座標算出部２１０は、設定した各表示領域の位置情報を算出する。第３の座標算出部２１０は、得られた位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【０１０９】
その後は上記ステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、複数の表示領域の画像データを取得し、表示部２０１に表示する。具体的には、ビューワ制御部２０７は、表示部２０１に表示される検体領域選択画面２２０の観察表示エリア２２３（図１５）を、表示する検体領域の数と同じ数の略等しいサイズのエリアに分割する。そして、表示処理部２０５は、表示部２０１に表示された検体領域選択画面２２０の観察表示エリア２２３（図１５）を複数の略等しいサイズのエリアに分割して得られた表示空間に、複数の表示領域の画像データを個々に割り当てて表示させる。
【０１１０】
以上、本実施形態の情報処理システム１では、ビューワ制御部２０７は、取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を指定された複数の検体領域の数と等しい数の表示空間に分割し、記憶された位置情報と記憶されたオフセット量をもとに、複数の表示空間に表示される検体領域内での特徴点の位置が一致するように、複数の表示空間に表示される表示領域を算出する。
【０１１１】
すなわち、ビューワ制御部２０７は、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとに複数の表示空間に表示される検体領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【０１１２】
［典型的なコンピュータ］
次に、画像サーバ１００及びビューワ２００に用いることのできる典型的なコンピュータの構成を説明する。
【０１１３】
図１９は、典型的なコンピュータ４００のハードウェア構成を示す図である。
同図に示すように、コンピュータ４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２と、ＲＡＭ４０３とを備える。また、コンピュータ４００は、入力装置４０４と、出力装置４０５と、ストレージ装置４０６と、メディアインタフェース装置４０７と、ネットワーク接続装置４０８と、これらを接続するバス４０９とを備える。
【０１１４】
ＣＰＵ４０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってコンピュータ４００の動作全般を制御する。ＲＯＭ４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ４０３は、ＣＰＵ４０１により実行されるプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【０１１５】
同期サーバ４０の同期処理部２５、ビューワ３０Ａ、３０Ｂのビューワ制御部３７Ａ、３７Ｂなどは、例えば、当該コンピュータ４００のハードウェア構成において、ＣＰＵ４０１と、ＲＯＭ４０２に格納されたプログラムと、ＲＡＭ４０３のワーキング領域などによって実現されるものである。
【０１１６】
入力装置４０４は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ４０１に出力する入力制御回路などから構成されている。コンピュータ４００のユーザは、該入力装置４０４を操作することにより、ＣＰＵ４０１に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１７】
出力装置４０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などの表示装置を含む。さらに、出力装置４０５は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【０１１８】
ストレージ装置４０６は、プログラムやユーザデータ格納用の装置である。ストレージ装置４０６は、記憶媒体と、記憶媒体にデータを書き込んだり読み出したりする読み書き装置などで構成される。ストレージ装置１０６は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される。
【０１１９】
メディアインタフェース装置４０７は、記憶媒体用リーダライタである。メディアインタフェース装置４０７は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体２Ａに対してデータの読み書きを行う。
【０１２０】
ネットワーク接続装置４０８は、例えば、ネットワーク３００に接続するためのインタフェースである。ネットワーク接続装置４０８は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応の装置であっても、ワイヤレスＵＳＢ対応の装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【０１２１】
［変形例］
図２０は、変形例に係る情報処理装置の構成を示す図である。
上記実施形態では、互いにネットワーク３００を通じて接続可能な画像サーバ１００と、１以上のビューワ２００Ａ、２００Ｂとを含む情報処理システム１を説明した。これに対して、１つの情報処理装置５００を情報処理システムとして採用することもできる。情報処理装置５００は、上記実施形態の画像サーバ１００及びビューワ２００の機能的な構成と同様の構成を有するが、サーバ制御部１０７、サーバ通信部１０８及びビューワ通信部２０４を有さない点について異なる。さらに、制御部２０７Ａは、上記実施形態のビューワ制御部２０７と同様の機能を有するとともに、スライド画像蓄積部１０１、サムネイル画像記憶部、オフセット座標記憶部１０４及び三角形・行列記憶部１０６から直接データを読み出す。情報処理装置５００は、例えば、上記典型的なコンピュータ４００で構成されたものでよい。この情報処理装置５００によっても、上記実施形態と同様の処理を行うことができる。
【０１２２】
なお、本技術は以下のような構成も採ることができる。
（１）１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、
前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、
前記算出された位置情報を記憶する第１の記憶部と、
前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部と
を具備する情報処理システム。
【０１２３】
（２）前記（１）に記載の情報処理システムであって、
前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、
前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出する
情報処理システム。
【０１２４】
（３）前記（１）から（２）のうちいずれか１つに記載の情報処理システムであって、
前記複数の検体領域の複数の画像データが切断順に管理され、
前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替える
情報処理システム。
【０１２５】
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理システムであって、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替える
情報処理システム。
【０１２６】
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理システムであって、
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出する
情報処理システム。
【０１２７】
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理システムであって、
前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、
前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、
前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出する
情報処理システム。
【０１２８】
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理システムであって、
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出する
情報処理システム。
【０１２９】
（８）前記（１）から（７）のうちいずれか１つに記載の情報処理システムであって、
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出する
情報処理システム。
【０１３０】
（９）取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、
検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、
第１の記憶部が前記算出された位置情報を記憶し、
制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う
情報処理方法。
【符号の説明】
【０１３１】
１…情報処理システム
１０３…検体領域検出部
１０４…オフセット座標記憶部
１０９…画像取得部
２０７…ビューワ制御部
【技術分野】
【０００１】
本技術は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像データの表示を制御する情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の切片の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその切片を検査したり、患者を診断したりするシステムが提案されている。
【０００３】
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落［００２７］、［００２８］、図５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
光学顕微鏡を用いて切片の撮像をする際には切片をガラススライドに載置してプレパラートを作成するが、多数の切片を撮像する場合等には、プレパラート作成の効率化やガラススライド節約等の理由で、１枚のガラススライドに複数の切片を載置することがある。このように複数の切片が載置されたガラススライド全体を撮像すると、ガラススライド全体としての一体的な画像が得られるだけであり、個々の切片それぞれの画像を得られるわけではない。このため、個々の切片の画像を区別して扱うことが難しく、ユーザにとっての利便性を損なうおそれがある。
【０００６】
一方、ガラススライドに載置された複数の切片それぞれを個別に撮像すれば、個々の切片それぞれの画像を得ることができるので、個々の切片の画像を区別して扱うことができる。しかしながら、例えば、１つの標本を複数回スライスして得られた複数の切片を１枚のガラススライドに載置した場合等には、個別に撮像された個々の切片それぞれの画像を、互いに関連づけて扱うことが難しく、ユーザにとっての利便性を損なうおそれがある。
【０００７】
以上のような事情に鑑み、本技術の目的は、ユーザにとっての利便性により優れた情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本技術に係る第１の側面である情報処理システムは、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、前記算出された位置情報を記憶する第１の記憶部と、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部とを具備する。
【０００９】
すなわち、制御部は、メタデータである位置情報をもとに検体領域間での表示の切り替えを行う。これにより制御部は、取得部により取得される画像データは複数の切片が載置されたスライドそのものを撮影して得た画像データであるにも拘らず、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。また、第１の記憶部は検体領域をメタデータである位置情報として記録することで、検体領域間での表示の切り替えを効率よく高速に行うことができる。さらに、このメタデータである位置情報を用いれば、複数の検体領域が複数のスライドの画像データに亘る場合でも、１つの画像データから検出された複数の検体領域を順に表示する場合と同様に、表示処理を効率よく行うことができる。
【００１０】
前記情報処理システムは、前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出してもよい。
【００１１】
すなわち、生成部により、解像度を下げた縮小データから検体領域を検出することで、検体領域を効率よく高速に検出することができる。
【００１２】
前記複数の検体領域の複数の画像データが切断順に管理され、前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替えてもよい。
【００１３】
すなわち、検体領域の一部の表示領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００１４】
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替えてもよい。
【００１５】
これにより、移動先の表示領域の検体領域内での位置が、移動元の移動先の表示領域の検体領域内での位置と対応するため、ユーザにとっての利便性が期待できる。
【００１６】
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出してもよい。
【００１７】
これにより、一列の並びの複数の検体領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００１８】
前記情報処理システムは、前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出してもよい。
【００１９】
すなわち、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとにアライメント部が表示領域を設定するため、制御部は、ジャンプ前後の表示領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【００２０】
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出してもよい。
【００２１】
アフィン変換行列を用いることで、２軸方向のオフセット量を算出することができる。これにより、ジャンプ前後で対応する表示領域をより正確に算出することができる。
【００２２】
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出してもよい。
【００２３】
すなわち、制御部は、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとに複数の表示空間に表示される検体領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【００２４】
本技術に係る第２の側面である情報処理方法は、取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、第１の記憶部が前記算出された位置情報を記憶し、制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う。
【発明の効果】
【００２５】
以上のように、本技術によれば、ユーザにとっての利便性により優れた情報処理装置及び情報処理方法を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術に係る実施形態に係る情報処理システムの構成を示す図である。
【図２】典型的なコンピュータシステムを用いて実現される画像サーバの機能的な構成を示す図である。
【図３】スライド画像を説明するための図である。
【図４】特徴マッチングを説明するための図である。
【図５】特徴マッチングを説明するための図である。
【図６】特徴マッチングを説明するための図である。
【図７】特徴マッチングを説明するための図である。
【図８】特徴マッチングを説明するための図である。
【図９】典型的なコンピュータシステムを用いて実現されるビューワの機能的な構成を示す図である。
【図１０】検体領域の番号の設定を説明するための図である。
【図１１】検体領域の番号の設定を説明するための図である。
【図１２】検体領域の番号の設定を説明するための図である。
【図１３】離散表示を説明するための図である。
【図１４】ビューワによる離散表示処理を示すフローチャートである。
【図１５】検体領域選択画面を示す図である。
【図１６】ジャンプ表示を説明するための図である。
【図１７】ビューワによるジャンプ表示処理を示すフローチャートである。
【図１８】同期表示を説明するための図である。
【図１９】典型的なコンピュータのハードウェア構成を示す図である。
【図２０】変形例に係る情報処理装置の構成を示す図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
［情報処理システム］
図１は、本技術に係る実施形態に係る情報処理システムの構成を示す図である。
この情報処理システム１は、画像サーバ１００と、１以上のビューワ２００Ａ、２００Ｂとを有する。これらは互いにネットワーク３００を通じて接続可能である。ネットワーク３００は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）でも、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でもよい。また、ネットワーク３００は有線、無線を問わない。ここでは説明の簡単のため、２つのビューワ２００Ａ、３０Ｂが接続されている場合を示したが、ビューワの数は３以上であってもよい。この明細書においてビューワを個別に指定しない場合には「ビューワ２００」と表記することとする。画像サーバ１００と、１以上のビューワ２００は、例えば、典型的なコンピュータで構成されたものでよい。
【００２９】
［画像サーバ１００］
画像サーバ１００の機能的な構成を説明する。
図２は、典型的なコンピュータシステムを用いて実現される画像サーバ１００の機能的な構成を示す図である。
【００３０】
画像サーバ１００は、画像取得部１０９（取得部）と、スライド画像蓄積部１０１と、サムネイル画像生成部１１０（生成部）と、サムネイル画像記憶部１０２と、検体領域検出部１０３（検出部）と、オフセット座標記憶部１０４（第１の記憶部）と、特徴マッチング部１０５と、三角形・行列記憶部１０６と、サーバ制御部１０７と、サーバ通信部１０８とを有する。各機能部は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）にロードされたプログラムに基き、コンピュータ資源において実現される。
【００３１】
画像取得部１０９は、例えば、ネットワークを通じて画像を取得し又はリムーバブルの記録媒体に記録されたスライド画像のデータを取得し、このスライド画像のデータと、スライドＩＤとを対応付けてスライド画像蓄積部１０１に蓄積する。この「スライド画像」とは、図３に示すように、１つの検体６００を同一方向に切断することによって得られた複数の切片６０１〜６０７が一列に且つ離散的に並べて載置されたガラススライド６１０を撮影して得た画像である。１つの検体６００から得られた切片の数が多い場合等、複数の切片が載置されたガラススライドが複数個作成されることもある。この「スライドＩＤ」とは、複数のスライド画像のデータを個々に識別するためのＩＤである。なお、「一列に…並べて」とは、厳密に直線的に並べた状態に限られず、ガラススライドの一端側から他端側へ向かう方向に配置された状態を意味する。
【００３２】
サムネイル画像生成部１１０は、スライド画像蓄積部１０１に蓄積されたスライド画像のサムネイル画像を生成し、このサムネイル画像のデータと、上記スライドＩＤとを対応付けてサムネイル画像記憶部１０２に記録する。この「サムネイル画像」は、スライド画像のデータの解像度を下げた縮小データである。スライド画像蓄積部１０１及びサムネイル画像記憶部１０２は、書き換え可能な不揮発性メモリに設定される。
【００３３】
検体領域検出部１０３は、サムネイル画像記憶部１０２からサムネイル画像のデータを読み出し、読み出したサムネイル画像のデータから、ガラススライドに載置されたそれぞれの複数の切片を個々に含む複数の領域（検体領域と呼ぶ。）を検出する。この検体領域の検出は、例えば、以下のように行われる。すなわち検体領域検出部１０３は、画像中、明るさが鋭敏に変化する箇所をガラススライド上の物体の境界と認識し（エッジ抽出）、閾値以上のサイズの閉曲線を切片のエッジ（輪郭）と認識する。続いて、検体領域検出部１０３は、この認識した切片を個々に含む検体領域をサムネイル画像のデータから抽出する。例えば検体領域検出部１０３は、切片が検体領域の略中央に位置し且つ切片が検体領域の範囲内に収まるように検体領域の範囲を選定する。それぞれの検体領域は任意の同一形状及び同一サイズを有し、本実施形態ではそれぞれの検体領域は矩形である。
【００３４】
検体領域検出部１０３は、また、それぞれの検体領域のオフセット座標（位置情報）を算出する。この「オフセット座標」とは、複数の切片の画像を含むスライド画像の座標空間において、個々の検体領域のそれぞれの位置を表す情報である。具体的には、「オフセット座標」とは、例えば矩形のガラススライドの１つの頂点（例えば左下端）を原点とし、それぞれの検体領域内の任意の点（例えば矩形の検体領域の１つの頂点。例えば左下端）の位置をこの原点からの２軸方向の差（距離）で表した値である。検体領域検出部１０３は、算出したそれぞれのオフセット座標、このオフセット座標によって示される検体領域の検体領域番号及びこの検体領域が含まれるスライド画像のスライド番号の各メタデータをそれぞれ対応付けて、オフセット座標記憶部１０４に記録する。この「番号」とは、切片の切断の順序、つまり、切断面と略直交する方向での切片の並び順を反映し、例えば１以上の整数で表され、検体領域検出部１０３により設定される。オフセット座標記憶部１０４は、書き換え可能な不揮発性メモリに設定される。
【００３５】
ここで、スライド番号及び検体領域番号の設定の方法について説明する。まず、検体領域検出部１０３は、上記のようにサムネイル画像のデータから検出した複数の検体領域の画像間の特徴マッチングを行う。この特徴マッチングは、後で説明する特徴マッチング部１５０による特徴マッチングと同様の手法で行えばよい。検体領域検出部１０３は、特徴マッチングの結果をもとに、１つのスライド画像に含まれる複数の検体領域内の切片Ａ〜Ｆ同士の類似度を判定する。そして、検体領域検出部１０３は、図１０に示すように、類似度の高い切片Ｂ、Ｃを含む検体領域同士が近くに位置し、類似度の高い切片Ｄ、Ｅを含む検体領域同士が近くに位置するようにグルーピングをする。そして、検体領域検出部１０３は、図１１に示すように、面積の大きい切片Ａが検体６００の一方（例えば根元）で、そこから面積の小さい切片Ｆ（例えば先端）に向かって連続していると判断し、図１２に示すように、特徴点の位置間隔が狭まって行くように連続する検体領域番号を設定する。
【００３６】
全てのスライド画像に含まれる複数の検体領域の検体領域番号を設定すると、検体領域検出部１０３は、あるスライド画像の両端の検体領域と、別のスライド画像の両端の検体領域との類似度を判定する。検体領域検出部１０３は、類似度が高い検体領域を含むスライド画像同士を連続するスライド画像と判断し、連続するスライド番号を設定する。検体領域検出部１０３は、設定したスライド番号で、スライド画像蓄積部１０１及びサムネイル画像記憶部１０２に記録されたスライドＩＤを書き換える。
【００３７】
なお、この検体領域番号及びスライド番号は、ユーザによりビューワ２００を用いて修正可能としてもよい。あるいは、ユーザが切片をガラススライドの左から右に順序良く並べたような場合や、疾病があると疑われる検体領域を先頭に位置させたいような場合等には、ユーザによりビューワ２００を用いて検体領域番号及びスライド番号を設定してもよい。あるいは、ＬＩＳ（Laboratory Information System）に入力された情報をビューワ２００が取り込んで検体領域番号及びスライド番号を設定してもよい。
【００３８】
特徴マッチング部１０５は、スライド画像蓄積部１０１に蓄積されたスライド画像のそれぞれの検体領域の画像間の特徴マッチング（詳細は後述。）を行う。具体的には、特徴マッチング部１０５は、スライド画像蓄積部１０１からスライド画像のデータを読み出す。そして、特徴マッチング部１０５は、読み出したスライド画像のデータに対応付けられたスライド番号に対応付けられた複数の検体領域番号及びオフセット座標をオフセット座標記憶部１０４から読み出す。特徴マッチング部１０５は、読み出したオフセット座標と、各検体領域に共通に与えられたサイズとをもとに、スライド画像から複数の検体領域を検出する。特徴マッチング部１０５は、この検出した複数の検体領域の画像間の特徴マッチングを行い、三角形及びアフィン変換行列を算出する。特徴マッチング部１０５は、算出した三角形及びアフィン変換行列のデータ、それぞれの検体領域を特定する検体領域番号及びスライド番号の各メタデータをそれぞれ対応付けて、三角形・行列記憶部１０６に記録する。三角形・行列記憶部１０６は、書き換え可能な不揮発性メモリに設定される。
【００３９】
サーバ制御部１０７は、ビューワ２００からの要求に対して、スライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いて画像データをビューワ２００に供給する。
【００４０】
［特徴マッチング］
ここで、特徴マッチング部１０５による検体領域の画像間の特徴マッチングの具体的な方法について説明する。
まず、特徴マッチング部１０５は、例えばハリス（Harris）アルゴリズム等の抽出アルゴリズムを用いて、図４に示すように、基準となる任意の検出領域（検出領域Ａと呼ぶ。）の画像から、輝度値の変化が閾値を超えた点（特徴点と呼ぶ。図中黒点）を抽出する。このハリスアルゴリズムは、画像の回転に対してロバストであり、グラーデーション上には特徴点を取らないという利点を有する。
【００４１】
続いて、特徴マッチング部１０５は、検出領域Ａの画像におけるそれぞれの特徴点が別の検出領域（検出領域Ｂと呼ぶ。）の画像内のどこに対応するかを、画像の正規化相関を用いて決定する。具体的には、図５に示すように、特徴マッチング部１０５は、検出領域Ｂの画像において、基準となる検出領域Ａの画像における特徴点ＡＰ（図４参照）を基準としてサーチエリアＳＡを設定する。特徴マッチング部１０５は、検出領域ＢのサーチエリアＳＡ内をサーチして、検出領域Ｂのテクスチャパターンと検出領域Ａのテクスチャパターンとの正規化相関を計算し、得られた値が最も高い点（最高点と呼ぶ。）を特徴点（図中黒点）ＡＰに対する対応点（図中白点）ＢＰと判断する。同図に示す例では、特徴マッチング部１０５は、正規化相関を計算して得られた値０．０４、０．８７、０．９８のうち、最も高い値０．９８となる点を対応点ＢＰと判断する。なお、この最高点が所定の閾値（例えば、０．９０）未満の場合、特徴マッチング部１０５は、この特徴点ＡＰをマッチングに採用することができないと判断する。また、採用されると判断された特徴点の数が所定の閾値に達しない場合、特徴マッチング部１０５は、これら検出領域Ａ、Ｂ間の類似度が低いため、検出領域Ａ、Ｂ間のマッチングは不可と判断する。
【００４２】
全ての特徴点について上記のように正規化相関を計算すると、図６に示すように、特徴マッチング部１０５は、例えばドロネー（Delaunay）アルゴリズム等の分割アルゴリズムを用いて、検出領域Ａの画像を、採用された特徴点（図中黒点）を頂点とする複数の三角形に分割する。特徴マッチング部１０５は、図７に示すように、検出領域Ａの分割トポロジーを保持しながら、検出領域Ｂの画像も、採用された特徴点（図中黒点）に対応する対応点（図中白点）を頂点とする複数の三角形に分割する。
【００４３】
続いて、特徴マッチング部１０５は、検出領域Ａの画像の表示中心座標ＡＣを含む三角形ＡＴを内外判定により特定する。特徴マッチング部１０５は、検出領域Ａの三角形ＡＴに対応する検出領域Ｂの三角形ＢＴを、この三角形ＡＴに変換するためのアフィン変換行列を算出する。算出したアフィン変換行列は、ある検出領域の任意の点の座標（例えば、中心座標）をもとに別の検出領域の対応する点の座標（この場合、中心座標）を算出するのに用いることができる。より具体的には、アフィン変換行列は、図８に示すように、例えば、検体領域Ａ（図６参照）の画像の表示中心座標ＡＣ（図８参照）の、検体領域Ｂの画像上での位置ＢＣを割り出し、その位置ＢＣへ検体領域Ｂの画面の表示中心を移動させる処理に用いることができる。
【００４４】
［ビューワ２００］
ビューワ２００の機能的な構成を説明する。
図９は、典型的なコンピュータシステムを用いて実現されるビューワ２００の機能的な構成を示す図である。
【００４５】
ビューワ２００は、ビューワ制御部２０７（制御部）と、ビューワ通信部２０４と、アライメントデータ作成部２０８（アライメント部）と、アライメントデータ記憶部２０９（第２の記憶部）と、第１の座標算出部２０３（制御部）と、第２の座標算出部２０６（制御部）と、第３の座標算出部２１０（制御部）と、表示処理部２０５と、表示部２０１と、入力部２０２とを有する。各機能部は、ＲＡＭにロードされたプログラムに基き、コンピュータ資源において実現される。
【００４６】
ビューワ制御部２０７は、ビューワ通信部２０４を用いて画像サーバ１００に要求を送信し、受信したデータをビューワ２００の各機能部に供給して各機能部を制御する等の処理を行う。
【００４７】
アライメントデータ作成部２０８は、特徴マッチングにより得られた三角形及びアフィン変換行列のデータをもとに、スライド画像の座標空間での複数の検体領域間の２軸方向のオフセット量を算出する。より具体的には、アライメントデータ作成部２０８は、ある検体領域の例えば中心座標に位置する点を基準点として含む三角形と、別の検体領域内におけるこの基準点に対応する点を含む三角形との、検体領域の座標空間における座標の２軸方向のオフセット量をアライメントデータとして算出する。アライメントデータ作成部２０８は、算出したアライメントデータをアライメントデータ記憶部２０９に記録する。アライメントデータ記憶部２０９は、書き換え可能な不揮発性メモリに設定される。
【００４８】
第１の座標算出部２０３は、検体領域以外の領域を飛ばして、検体領域だけを順に表示するための動作（離散表示）を行うための表示領域の位置情報を計算する等の処理を行う。
【００４９】
第２の座標算出部２０６は、検体領域の対応領域を順に表示させるための動作（ジャンプ表示）を行うための表示領域の位置情報を計算する等の処理を行う。この「対応領域」とは、複数の切片内の、切断面と略直交する方向にて一致する領域を示す。
【００５０】
第３の座標算出部２１０は、表示画面を分割して、複数の検体領域をそれぞれ同期させて表示させるための動作（同期表示）を行うための表示領域の位置情報を計算する等の処理を行う。
【００５１】
表示処理部２０５は、画像データを表示するための表示データを表示部２０１に出力する。
【００５２】
［ビューワ２００の動作］
次に、ビューワ２００の動作を説明する。動作の説明は次の順で行うものとする。
１．検体領域以外の領域を飛ばして、検体領域だけを順に表示するための動作（離散表示）
２．検体領域の対応領域を順に表示させるための動作（ジャンプ表示）
３．表示画面を分割して、複数の検体領域をそれぞれ同期させて表示させるための動作（同期表示）
【００５３】
［１．離散表示］
離散表示では、スライド画像内の検体領域以外の領域（切片が載置されていない領域）を飛ばして、検体領域だけを順に表示するための処理が行われる。
【００５４】
図１３は離散表示の具体例を示す図である。同図は、第１のガラススライド６１０と、第２のガラススライド６２０とを示す。１つの検体から得られた切片が１枚のガラススライドに載置しきれない場合には、これらの切片は複数のガラススライドに跨って載置される。同図は、第１〜第１４の切片６０１〜６１４の順に切断された複数の切片のうち、第１〜第７の切片６０１〜６０７が第１のガラススライド６１０にこの順に載置され、第８〜第１４の切片６０８〜６１４が第２のガラススライド６２０にこの順に載置された例を示す。また、それぞれの第１〜第１４の切片６０１〜６１４を含む第１〜第１４の検体領域６２１〜６３４がそれぞれ検出されたとする。まず、第１の検体領域６２１の左下隅の矩形領域が表示領域６４１として表示部２０１に表示される。ユーザは例えばマウス等の入力部２０２を用いて、この表示領域６４１の画像を上下左右に移動するための命令を入力する。表示領域６４１を右方向への移動指示が入力されると、第１の検体領域６２１の右下隅の表示領域６４１ａに至るまで、表示領域が第１の検体領域６２１内を水平に移動する（矢印Ａ）。さらに右方向への移動指示が入力されると、第１及び第２の検体領域６２１、６２２の間の切片が載置されていない領域を飛ばして、第２の検体領域６２２の左下隅の表示領域６４１ｂに表示領域が移動する（矢印Ｂ）。この検体領域間の移動が繰り返され、第７の検体領域６２１の右下隅の表示領域６４１ｃに表示領域が移動し、さらに右方向への移動指示が入力されたとする。この場合、第１のガラススライド６１０上の第７の検体領域６２７の右隣には検体領域が存在しないため、第２のガラススライド６２０の第８の検体領域６２８の左下隅の表示領域６４１ｄに表示領域が移動する（矢印Ｃ）。
【００５５】
次に、この離散表示の処理についてより詳細に説明する。
図１４は、ビューワ２００による離散表示処理を示すフローチャートである。
【００５６】
ユーザは、例えば入力部２０２を用いて、表示モードとして離散表示を選択する。ビューワ制御部２０７は、選択指示を受け付けると、ビューワ通信部２０４を用いて、画像サーバ１００のサムネイル画像記憶部１０２にスライド番号に対応づけて記録された、スライド画像のサムネイル画像を読み出す。ビューワ制御部２０７は、表示処理部２０５に、読み出したスライド番号及びスライド画像のサムネイル画像をもとに検体領域選択画面を生成させて表示部２０１に表示させる。
【００５７】
図１５は、検体領域選択画面を示す図である。
同図に示すように、検体領域選択画面２２０は、スライドトレイ２２１と、検体領域トレイ２２２と、観察表示エリア２２３と、表示領域表示エリア２２４とを含む。スライドトレイ２２１には、ビューワ制御部２０７が画像サーバ１００から読み出したスライド画像のサムネイル画像２３０、２３１、２３２が一覧として表示される。スライド画像のサムネイル画像２３０、２３１、２３２は、上から下へとスライド番号の順に並べられる。ユーザは、マウス等の入力部２０２を用いて、スライドトレイ２２１に表示された複数のサムネイル画像２３０、２３１、２３２から１つのサムネイル画像２３１を選択する。ビューワ制御部２０７は、表示処理部２０５に、選択されたサムネイル画像２３１を枠線（２３１Ａ）などにより識別可能な形態で表示させるとともに、選択されたサムネイル画像２３１に対応するサムネイル画像２３１Ｃを表示領域表示エリア２２４に表示させる。
【００５８】
ビューワ制御部２０７は、選択されたサムネイル画像に対応付けられたスライド番号に対応付けられて画像サーバ１００のオフセット座標記憶部１０４に記録されたメタデータとしての検体領域番号及びオフセット座標を、ビューワ通信部２０４を用いて読み出す。また、ビューワ制御部２０７は、このスライド番号に対応付けられて画像サーバ１００の三角形・行列記憶部１０６に記録されたメタデータとしての検体領域番号、三角形及びアフィン行列を、ビューワ通信部２０４を用いて読み出す。ビューワ制御部２０７は、表示処理部２０５に、読み出したメタデータとしてのオフセット座標及びスライド番号をもとに、選択されたサムネイル画像２３１内の複数の検体領域のサムネイル画像２３１ａ〜２３１ｇを検体領域トレイ２２２に一覧として表示させる。検体領域のサムネイル画像２３１ａ〜２３１ｇは、左から右へと、検体領域番号の順に並べられる。
【００５９】
ユーザは、マウス等の入力部２０２を用いて、検体領域トレイ２２２に表示された複数のサムネイル画像２３１ａ〜２３１ｇから１つのサムネイル画像２３１ｄを選択する。選択されたサムネイル画像２３１ｄは、枠線（２３１Ｂ）などにより識別可能なように表示される。また、この選択されたサムネイル画像２３１ｄの検体領域の画像が観察表示エリア２２３に表示される。この観察表示エリア２２３には、このように検体領域全体の画像が表示されるほか、検体領域の一部（表示領域）が任意の解像度で表示されたりする。また、表示領域表示エリア２２４に表示されたサムネイル画像２３１Ｃにおいて、現在観察表示エリア２２３に表示されている検体領域の位置が枠線（２２４ａ）などにより識別可能なように表示される。なお、この表示対象のスライド及び検体領域の選択の動作は、離散表示、ジャンプ表示及び同期表示において共通である。
【００６０】
ビューワ制御部２０７は、ユーザによる入力部２０２への入力を検出し、最初に表示するスライド及び検体領域のスライド番号及び検体領域番号を判断する。そしてビューワ制御部２０７は、メタデータとしてのこのスライド番号及び検体領域番号に対応付けられたオフセット座標を、離散表示のための処理を行う第１の座標算出部２０３に供給する。第１の座標算出部２０３は、メタデータとしての検体領域のオフセット座標と、各表示領域に共通に与えられたサイズ及び初期位置（例えば検体領域の左下隅）とに基づき、最初に表示する表示領域の位置情報を算出する。これら各表示領域に共通に与えられたサイズ及び初期位置は、書き換え可能な不揮発性メモリに記録されている。第１の座標算出部２０３は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００６１】
画像サーバ１００のサーバ制御部１０７は、サーバ通信部１０８を用いてこの要求を受信し、要求に含まれる表示領域の画像データをスライド画像蓄積部１０１から読み出す。サーバ制御部１０７は、読み出した画像データを、サーバ通信部１０８を用いてビューワ２００に送信する。
【００６２】
ビューワ２００のビューワ制御部２０７は、ビューワ通信部２０４を用いて表示領域の画像データを受信し、受信した表示領域の画像データを表示処理部２０５に供給する。表示処理部２０５は、この画像データを表示するための表示データを表示部２０１に出力し、検体領域選択画面２２０の観察表示エリア２２３に表示させる（ステップＳ１０１）。
【００６３】
ユーザは例えばマウス等の入力部２０２を用いて、観察表示エリア２２３に表示された表示領域の画像を上下左右に移動するための命令を入力する。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出し、検出した移動命令を第１の座標算出部２０３に供給する。第１の座標算出部２０３は、この移動命令を基に、移動先の表示領域の位置情報を算出する。第１の座標算出部２０３は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００６４】
その後はステップＳ１０１と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する（ステップＳ１０２）。
【００６５】
第１の座標算出部２０３は、算出した位置情報をもとに、移動先の表示領域が検体領域の境界に到達したと判断すると（ステップＳ１０３でＹｅｓ）、その境界が検体領域のいずれの末端（右端、下端、左端、上端）かを判断する（ステップＳ１０４、Ｓ１０５、Ｓ１０６）。第１の座標算出部２０３は、表示領域が検体領域の右端にあるとき、ユーザからの右方向への移動指示を検出すると（ステップＳ１０４でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。これにより得られた検体領域番号が、次に表示する検体領域の検体領域番号となる。第１の座標算出部２０３は、インクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の上端と表示領域の上端とのＹオフセットを保ち、検体領域の左端と表示領域の左端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０７）。
【００６６】
一方、第１の座標算出部２０３は、表示領域が検体領域の下端にあるとき、ユーザからの下方向への移動指示を検出すると（ステップＳ１０５でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。第１の座標算出部２０３は、インクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の左端と表示領域の左端とのＸオフセットを保ち、検体領域の上端と表示領域の上端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０８）。
【００６７】
一方、第１の座標算出部２０３は、表示領域が検体領域の左端にあるとき、ユーザからの左方向への移動指示を検出すると（ステップＳ１０６でＹｅｓ）、表示対象の検体領域の検体領域番号をデクリメントする。第１の座標算出部２０３は、デクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の上端と表示領域の上端とのＹオフセットを保ち、検体領域の右端と表示領域の右端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１０９）。
【００６８】
一方、第１の座標算出部２０３は、表示領域が検体領域の上端にあるとき、ユーザからの上方向への移動指示を検出すると（ステップＳ１０６でＮｏ）、表示対象の検体領域の検体領域番号をデクリメントする。第１の座標算出部２０３は、デクリメントにより得られた検体領域番号に対応する検体領域内の表示領域を次のように設定する。すなわち第１の座標算出部２０３は、検体領域の左端と表示領域の左端とのＸオフセットを保ち、検体領域の下端と表示領域の下端とが一致するように、移動先の検体領域内の表示領域を設定する（ステップＳ１１０）。
【００６９】
このように、ビューワ制御部２０７から供給されたユーザによる移動命令を基に移動先の検体領域内の表示領域を設定すると（ステップＳ１０７〜Ｓ１１０）、第１の座標算出部２０３は、この設定した表示領域の位置情報をビューワ制御部２０７に供給する。そして、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００７０】
その後はステップＳ１０１と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する。
【００７１】
なお、ステップＳ１０７、Ｓ１０８でインクリメントにより得られた検体領域番号がオフセット座標記憶部１０４に記録されていない場合、第１の座標算出部２０３は、現在表示されているスライドのスライド番号をインクリメントする。そして第１の座標算出部２０３は、インクリメントにより得られたスライド番号に対応づけられた検体領域番号＝１に対応する検体領域内を観察対象として設定する。また、ステップＳ１０９、Ｓ１１０でデクリメントにより得られた検体領域番号がオフセット座標記憶部１０４に記録されていない場合（検体領域番号＝０）、第１の座標算出部２０３は、現在表示されているスライドのスライド番号をデクリメントする。そして第１の座標算出部２０３は、デクリメントにより得られたスライド番号に対応づけられた最大の検体領域番号に対応する検体領域を観察対象として設定する。
【００７２】
第１の座標算出部２０３は、上記演算の結果、次に表示する検体領域がないと判断すると（ステップＳ１１１でＹｅｓ）、離散表示処理を終了する。
【００７３】
以上、本実施形態の情報処理システム１は、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する画像取得部１０９と、取得された画像データにおける個々の切片を含む同一形状の複数の検体領域を検出して、個々の検体領域それぞれの画像データの座標空間における位置を相対的に示す位置情報を算出する検体領域検出部１０３と、算出された位置情報を記憶するオフセット座標記憶部１０４と、記憶された位置情報をもとに検体領域間での表示の切り替えを行うビューワ制御部２０７とを具備する。
【００７４】
すなわち、ビューワ制御部２０７は、メタデータである位置情報をもとに検体領域間での表示の切り替えを行う。これによりビューワ制御部２０７は、取得部により取得される画像データは複数の切片が載置されたスライドそのものを撮影して得た画像データであるにも拘らず、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。また、第１の記憶部は検体領域をメタデータである位置情報として記録することで、検体領域間での表示の切り替えを効率よく高速に行うことができる。さらに、このメタデータである位置情報を用いれば、複数の検体領域が複数のスライドの画像データに亘る場合でも、１つの画像データから検出された複数の検体領域を順に表示する場合と同様に、表示処理を効率よく行うことができる。
【００７５】
本実施形態の情報処理システム１は、画像データの解像度を下げた縮小データを生成するサムネイル画像サムネイル画像生成部１１０１１０をさらに具備し、検体領域検出部１０３は、縮小データから複数の検体領域を検出することで、画像データ内の複数の検体領域を検出する。
【００７６】
すなわち、サムネイル画像生成部１１０により、解像度を下げた縮小データから検体領域を検出することで、検体領域を効率よく高速に検出することができる。
【００７７】
本実施形態の情報処理システム１では、複数の検体領域の複数の画像データが切断順に管理され、ビューワ制御部２０７は、取得された画像データ中で表示させる検体領域とその中の範囲の指定をユーザから受け付けたとき、指定された検体領域の中の範囲を表示領域として算出し、表示領域が当該検体領域の末端にあるときに、表示領域を末端よりも外に移動させる指示をユーザより受け付けたとき、記憶された位置情報をもとに切断順で隣の検体領域の表示に切り替える。
【００７８】
すなわち、検体領域の一部の表示領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００７９】
本実施形態の情報処理システム１では、ビューワ制御部２０７は、算出した表示領域が当該検体領域の、画像データの座標空間における複数の検体領域の一方の軸方向の末端にあるとき、表示領域を末端よりも外に一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ切断順で隣の検体領域の表示に切り替える。
【００８０】
これにより、移動先の表示領域の検体領域内での位置が、移動元の移動先の表示領域の検体領域内での位置と対応するため、ユーザにとっての利便性が期待できる。
【００８１】
本実施形態の情報処理システム１では、画像取得部１０９は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、ビューワ制御部２０７は、算出した表示領域が当該検体領域の、画像データの座標空間における複数の検体領域の並びの方向の末端にあるとき、表示領域を末端よりも先に並びの方向へ移動させる指示をユーザより受け付けたとき、記憶された位置情報をもとに当該移動先の検体領域の表示領域を算出する。
【００８２】
これにより、一列の並びの複数の検体領域を表示させるときでも、検体領域以外の領域を飛ばして、検体領域間での表示の切り替えを行うことができる。
【００８３】
本実施形態の情報処理方法では、画像取得部１０９が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、検体領域検出部１０３が、取得された画像データにおける個々の切片を含む同一形状の複数の検体領域を検出して、個々の検体領域それぞれの画像データの座標空間における位置を相対的に示す位置情報を算出し、オフセット座標記憶部１０４が算出された位置情報を記憶し、ビューワ制御部２０７が、記憶された位置情報をもとに検体領域間での表示の切り替えを行う。
【００８４】
［２．ジャンプ表示］
次に、ジャンプ表示について説明する。ジャンプ表示では、検体領域の対応領域を順に表示させるための処理が行われる。
【００８５】
図１６はジャンプ表示の具体例を示す図である。同図は、図１３と同様に、第１〜第１４の切片６０１〜６１４が第１及び第２のガラススライド６１０、６２０にこの順に載置され、第１〜第１４の切片６０１〜６１４をそれぞれ含む第１〜第１４の検体領域６２１〜６３４がそれぞれ検出された例を示す。第１の検体領域６２１内の任意の位置の表示領域６４２が表示された状態において、検体領域選択画面２２０の検体領域トレイ２２２（図１５）から、現在表示されている第１の検体領域６２１のサムネイル画像の右隣の検体領域６２２のサムネイル画像が、移動先の検体領域として選択される。このように別の検体領域の画像へ表示を移動するための命令が入力されると、第２の検体領域６２２の表示領域６４２ａに表示領域が移動する（矢印Ｄ）。ここで、表示領域６４２、６４２ａは、同一形状の検体領域６２１、６２２の座標空間において同じ位置にある。つまり、検体の切断面と略直交する方向に連続する部位が、表示領域６４２、６４２ａとして表示される。この検体領域間の移動が繰り返され、第７の検体領域６２１の表示領域６４２ｂ（同一形状の検体領域の座標空間において表示領域６４２、６４２ａと同じ位置に位置する。）に表示領域が移動したとする。さらに、検体領域トレイ２２２（図１５）において第１のガラススライド６１０のサムネイル画像の下に位置する第２のガラススライド６２０のサムネイル画像が操作されることで、第２のガラススライド６２０に移動するための命令が入力されたとする。この場合、第２のガラススライド６２０の第８の検体領域６２８の表示領域６４２ｃに表示領域（同一形状の検体領域の座標空間において表示領域６４２ｂと同じ位置に位置する。）が移動する（矢印Ｅ）。
【００８６】
次に、このジャンプ表示の処理についてより詳細に説明する。
図１７は、ビューワ２００によるジャンプ表示処理を示すフローチャートである。
【００８７】
上記離散表示において最初に表示するスライド及び検体領域が選択されたのと同様に、最初に表示するスライド及び検体領域が選択される。また、ユーザは、例えば入力部２０２を用いて、表示モードとしてジャンプ表示を選択する。
【００８８】
ジャンプ表示の選択を判断すると、ビューワ制御部２０７は、メタデータとしてのスライド番号、検体領域番号、三角形及びアフィン変換行列のデータをアライメントデータ作成部２０８に供給する。アライメントデータ作成部２０８は、これらメタデータを取得すると、複数の検体領域の全ての組み合わせにおいて、検体領域のスライド画像の座標空間上での２軸方向のオフセットを算出する。より具体的には、アライメントデータ作成部２０８は、アフィン変換行列を用いて、ある検体領域の例えば中心座標に位置する点を基準点として含む三角形と、別の検体領域内におけるこの基準点に対応する点を含む三角形との絶対座標上での２軸方向のオフセットを算出する。このオフセットが、一方の検体領域内の表示領域を他方の検体領域内の表示領域に対して調整するためのアライメントデータとなる。アライメントデータ作成部２０８は、算出したアライメントデータをアライメントデータ記憶部２０９に記録する（ステップＳ２０１）。なお、このアライメントデータ生成の動作は、ジャンプ表示及び同期表示の表示モードにおいて共通である。
【００８９】
ビューワ制御部２０７は、ユーザにより選択された上記表示対象のスライド及び検体領域のスライド番号及び検体領域番号に対応付けられたオフセット座標を、ジャンプ表示のための処理を行う第２の座標算出部２０６に供給する。第２の座標算出部２０６は、このオフセット座標と、各表示領域に共通に与えられたサイズ及び初期位置（例えば検体領域の左下隅）とに基づき、最初に表示する表示領域の位置情報を算出する。これら各表示領域に共通に与えられたサイズ及び初期位置は、書き換え可能な不揮発性メモリに記録されている。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００９０】
画像サーバ１００のサーバ制御部１０７は、サーバ通信部１０８を用いてこの要求を受信し、要求に含まれる表示領域の画像データをスライド画像蓄積部１０１から読み出す。サーバ制御部１０７は、読み出した画像データを、サーバ通信部１０８を用いてビューワ２００に送信する。
【００９１】
ビューワ２００のビューワ制御部２０７は、ビューワ通信部２０４を用いて表示領域の画像データを受信し、受信した表示領域の画像データを表示処理部２０５に供給する。表示処理部２０５は、この画像データを表示するための表示データを表示部２０１に出力し、検体領域選択画面２２０の観察表示エリア２２３に表示させる（ステップＳ２０２）。
【００９２】
ユーザは例えばマウス等の入力部２０２を用いて、観察表示エリア２２３に表示された表示領域の画像を上下左右に移動するための命令を入力する。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出し、検出した移動命令を第２の座標算出部２０６に供給する。第２の座標算出部２０６は、この移動命令を基に、移動先の表示領域の位置情報を算出する。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【００９３】
その後はステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する（ステップＳ２０３）。
【００９４】
ユーザは入力部２０２を用いて、観察表示エリア２２３に表示された検体領域の画像から、別の検体領域の画像へ表示を移動するための命令を入力する。この入力は、例えば、検体領域選択画面２２０の検体領域トレイ２２２（図１５）に表示された複数のサムネイル画像群から、現在表示されている検体領域の右隣又は左隣の検体領域を選択することで行われる。あるいは、この入力は、検体領域選択画面２２０のスライドトレイ２２１（図１５）に表示された複数のサムネイル画像群から、現在表示されているスライドの上又は下のスライドを選択することで行われる。ビューワ制御部２０７は、ユーザによる入力部２０２への移動命令の入力を検出すると（ステップＳ２０４でＹｅｓ）、入力された移動先の検体領域が右隣か左隣か又は移動先のスライドが上か下かを判断する（ステップＳ２０５、Ｓ２０６）。
【００９５】
ビューワ制御部２０７は、移動先の検体領域が右隣又は移動先のスライドが下と判断すると（ステップＳ２０５でＹｅｓ）、表示対象の検体領域の検体領域番号をインクリメントする。一方、ビューワ制御部２０７は、移動先の検体領域が左隣又は移動先のスライドが上と判断すると（ステップＳ２０６でＹｅｓ）、表示対象の検体領域の検体領域番号をデクリメントする。これにより得られた検体領域番号が、移動先の検体領域の検体領域番号となる。
【００９６】
ビューワ制御部２０７は、この移動先の検体領域の検体領域番号と、現在表示している表示領域（移動元の表示領域）の位置情報とを、第２の座標算出部２０６に通知する。第２の座標算出部２０６は、移動先の検体領域番号に対応付けられたオフセット座標をオフセット座標記憶部１０４から読み出す。また、第２の座標算出部２０６は、この移動先の検体領域を移動元の検体領域に対して座標空間上で一致させるためのアライメントデータをアライメントデータ記憶部２０９から読み出す。そして、第２の座標算出部２０６は、メタデータとしてのオフセット座標とアライメントデータとを基に、移動元と移動先の表示領域内の対応する点同士がそれぞれの表示領域内において位置が互いに一致するように、移動元の表示領域に対応する移動先の検体領域内の表示領域を設定する。
【００９７】
つまり、移動元の表示領域内のある点（例えば表示領域の中心点）と、移動先の表示領域の対応する点とは、それぞれの表示領域内での位置が互いに一致しない場合がある。例えば、移動元の表示領域の中心に疾病があっても、移動先の表示領域では、中心からずれた位置にその疾病が位置する場合がある。そこで第２の座標算出部２０６は、アライメントデータをもとに、移動元の表示領域のある点と、移動先の表示領域の対応する点とが、それぞれの表示領域内において位置が互いに一致するように（例えば表示領域の中心）、移動先の表示領域を調整する（ステップＳ２０７、Ｓ２０８）。
【００９８】
第２の座標算出部２０６は、上記ステップＳ２０７〜Ｓ２０８にて調整した表示領域の位置情報を算出する。第２の座標算出部２０６は、算出した位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信させる。
【００９９】
その後はステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、移動先の表示領域の画像データを取得し、表示部２０１の表示内容を更新する。
【０１００】
第２の座標算出部２０６は、上記演算の結果、次に表示する検体領域がないと判断すると（ステップＳ２０９でＹｅｓ）、離散表示処理を終了する。
【０１０１】
以上、本実施形態の情報処理システム１は、複数の検体領域それぞれの特徴点を検出し、それぞれの特徴点の座標の検体領域の座標空間におけるオフセット量を算出するアライメントデータ作成部２０８と、算出されたオフセット量を記憶するアライメントデータ記憶部２０９とをさらに具備し、ビューワ制御部２０７は、表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、記憶された位置情報と記憶されたオフセット量をもとに、ジャンプ前後の表示領域内での特徴点の位置が一致するように、ジャンプ先の表示領域を算出する。
【０１０２】
すなわち、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとにアライメントデータ作成部２０８が表示領域を設定するため、ビューワ制御部２０７は、ジャンプ前後の表示領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【０１０３】
本実施形態の情報処理システム１では、アライメントデータ作成部２０８は、検出された複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出されたアフィン変換行列をもとにオフセット量を算出する。
【０１０４】
アフィン変換行列を用いることで、２軸方向のオフセット量を算出することができる。これにより、ジャンプ前後で対応する表示領域をより正確に算出することができる。
【０１０５】
［３．同期表示］
次に、同期表示について説明する。同期表示では、表示画面を分割して、複数の検体領域の対応領域をそれぞれ同期させて表示させるための処理が行われる。
【０１０６】
図１８は同期表示の具体例を示す図である。この同期表示では、表示対象として複数（例えば４つ）の検体領域６２１〜６２４がユーザにより選択される。この複数の検体領域６２１〜６２４は、検体領域選択画面２２０の観察表示エリア２２３（図１５）を複数の略等しいサイズのエリアに分割して得られた表示空間６５１〜６５４に個々に割り当てられて表示される。より具体的には、複数の検体領域６２１〜６２４の中心に位置する点６２１ａ〜６２４ａ同士が、表示空間６５１〜６５４内での位置が互いに一致するように（中心に位置するように）、複数の検体領域６２１〜６２４が表示される。
【０１０７】
次に、この同期表示の処理についてより詳細に説明する。
ユーザは、入力部２０２を用いて、表示部２０１に表示された検体領域選択画面２２０のスライドトレイ２２１（図１５）から表示対象のスライドを選択し、検体領域トレイ２２２から表示対象の複数（例えば４つ）の検体領域を選択する。ビューワ制御部２０７は、ユーザによる入力部２０２への入力を検出し、表示するスライド及び複数の検体領域のスライド番号及び複数の検体領域番号を判断する。そしてビューワ制御部２０７は、このスライド番号及び複数の検体領域番号を、同期表示のための処理を行う第３の座標算出部２１０に供給する。さらにビューワ制御部２０７は、表示空間としての検体領域選択画面２２０の観察表示エリア２２３（図１５）を指定された複数（例えば４つ）の検体領域の数と等しい数の表示空間に分割する。そしてビューワ制御部２０７は、分割した表示空間それぞれの座標情報を第３の座標算出部２１０に供給する。
【０１０８】
第３の座標算出部２１０は、表示対象の複数の検体領域の検体領域番号に対応付けられたオフセット座標と、表示対象の複数の検体領域同士のオフセットを調整するためのアライメントデータとを基に、複数の検体領域の中心点が一致するように、表示領域を設定する。つまり、第３の座標算出部２１０は、メタデータとしてのオフセット座標とアライメントデータとをもとに、複数の検体領域の中心に位置する点同士が、表示空間内での位置が互いに一致するように（中心に位置するように）、表示領域を設定する。第３の座標算出部２１０は、設定した各表示領域の位置情報を算出する。第３の座標算出部２１０は、得られた位置情報をビューワ制御部２０７に供給し、ビューワ制御部２０７は、この表示領域に相当する画像を取得するための要求をビューワ通信部２０４を用いて画像サーバ１００に送信する。
【０１０９】
その後は上記ステップＳ２０２と同様に、画像サーバ１００のサーバ制御部１０７が、ビューワ２００からの要求に応じてスライド画像蓄積部１０１から該当する画像データを読み出し、サーバ通信部１０８を用いてビューワ２００に送信する。これにより、ビューワ２００は、複数の表示領域の画像データを取得し、表示部２０１に表示する。具体的には、ビューワ制御部２０７は、表示部２０１に表示される検体領域選択画面２２０の観察表示エリア２２３（図１５）を、表示する検体領域の数と同じ数の略等しいサイズのエリアに分割する。そして、表示処理部２０５は、表示部２０１に表示された検体領域選択画面２２０の観察表示エリア２２３（図１５）を複数の略等しいサイズのエリアに分割して得られた表示空間に、複数の表示領域の画像データを個々に割り当てて表示させる。
【０１１０】
以上、本実施形態の情報処理システム１では、ビューワ制御部２０７は、取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を指定された複数の検体領域の数と等しい数の表示空間に分割し、記憶された位置情報と記憶されたオフセット量をもとに、複数の表示空間に表示される検体領域内での特徴点の位置が一致するように、複数の表示空間に表示される表示領域を算出する。
【０１１１】
すなわち、ビューワ制御部２０７は、メタデータとしての複数の検体領域に含まれる特徴点間のオフセット量をもとに複数の表示空間に表示される検体領域内での特徴点の位置を一致させることができる。また、表示領域の設定にメタデータを用いることで、対応する表示領域を正確に算出するとともに、表示処理を効率よく高速に行うことができる。
【０１１２】
［典型的なコンピュータ］
次に、画像サーバ１００及びビューワ２００に用いることのできる典型的なコンピュータの構成を説明する。
【０１１３】
図１９は、典型的なコンピュータ４００のハードウェア構成を示す図である。
同図に示すように、コンピュータ４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２と、ＲＡＭ４０３とを備える。また、コンピュータ４００は、入力装置４０４と、出力装置４０５と、ストレージ装置４０６と、メディアインタフェース装置４０７と、ネットワーク接続装置４０８と、これらを接続するバス４０９とを備える。
【０１１４】
ＣＰＵ４０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってコンピュータ４００の動作全般を制御する。ＲＯＭ４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ４０３は、ＣＰＵ４０１により実行されるプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【０１１５】
同期サーバ４０の同期処理部２５、ビューワ３０Ａ、３０Ｂのビューワ制御部３７Ａ、３７Ｂなどは、例えば、当該コンピュータ４００のハードウェア構成において、ＣＰＵ４０１と、ＲＯＭ４０２に格納されたプログラムと、ＲＡＭ４０３のワーキング領域などによって実現されるものである。
【０１１６】
入力装置４０４は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ４０１に出力する入力制御回路などから構成されている。コンピュータ４００のユーザは、該入力装置４０４を操作することにより、ＣＰＵ４０１に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１７】
出力装置４０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などの表示装置を含む。さらに、出力装置４０５は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【０１１８】
ストレージ装置４０６は、プログラムやユーザデータ格納用の装置である。ストレージ装置４０６は、記憶媒体と、記憶媒体にデータを書き込んだり読み出したりする読み書き装置などで構成される。ストレージ装置１０６は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される。
【０１１９】
メディアインタフェース装置４０７は、記憶媒体用リーダライタである。メディアインタフェース装置４０７は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体２Ａに対してデータの読み書きを行う。
【０１２０】
ネットワーク接続装置４０８は、例えば、ネットワーク３００に接続するためのインタフェースである。ネットワーク接続装置４０８は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応の装置であっても、ワイヤレスＵＳＢ対応の装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【０１２１】
［変形例］
図２０は、変形例に係る情報処理装置の構成を示す図である。
上記実施形態では、互いにネットワーク３００を通じて接続可能な画像サーバ１００と、１以上のビューワ２００Ａ、２００Ｂとを含む情報処理システム１を説明した。これに対して、１つの情報処理装置５００を情報処理システムとして採用することもできる。情報処理装置５００は、上記実施形態の画像サーバ１００及びビューワ２００の機能的な構成と同様の構成を有するが、サーバ制御部１０７、サーバ通信部１０８及びビューワ通信部２０４を有さない点について異なる。さらに、制御部２０７Ａは、上記実施形態のビューワ制御部２０７と同様の機能を有するとともに、スライド画像蓄積部１０１、サムネイル画像記憶部、オフセット座標記憶部１０４及び三角形・行列記憶部１０６から直接データを読み出す。情報処理装置５００は、例えば、上記典型的なコンピュータ４００で構成されたものでよい。この情報処理装置５００によっても、上記実施形態と同様の処理を行うことができる。
【０１２２】
なお、本技術は以下のような構成も採ることができる。
（１）１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、
前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、
前記算出された位置情報を記憶する第１の記憶部と、
前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部と
を具備する情報処理システム。
【０１２３】
（２）前記（１）に記載の情報処理システムであって、
前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、
前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出する
情報処理システム。
【０１２４】
（３）前記（１）から（２）のうちいずれか１つに記載の情報処理システムであって、
前記複数の検体領域の複数の画像データが切断順に管理され、
前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替える
情報処理システム。
【０１２５】
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理システムであって、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替える
情報処理システム。
【０１２６】
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理システムであって、
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出する
情報処理システム。
【０１２７】
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理システムであって、
前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、
前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、
前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出する
情報処理システム。
【０１２８】
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理システムであって、
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出する
情報処理システム。
【０１２９】
（８）前記（１）から（７）のうちいずれか１つに記載の情報処理システムであって、
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出する
情報処理システム。
【０１３０】
（９）取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、
検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、
第１の記憶部が前記算出された位置情報を記憶し、
制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う
情報処理方法。
【符号の説明】
【０１３１】
１…情報処理システム
１０３…検体領域検出部
１０４…オフセット座標記憶部
１０９…画像取得部
２０７…ビューワ制御部
【特許請求の範囲】
【請求項１】
１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、
前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、
前記算出された位置情報を記憶する第１の記憶部と、
前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部と
を具備する情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、
前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出する
情報処理システム。
【請求項３】
請求項２に記載の情報処理システムであって、
前記複数の検体領域の複数の画像データが切断順に管理され、
前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替える
情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替える
情報処理システム。
【請求項５】
請求項４に記載の情報処理システムであって、
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出する
情報処理システム。
【請求項６】
請求項５に記載の情報処理システムであって、
前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、
前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、
前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出する
情報処理システム。
【請求項７】
請求項６に記載の情報処理システムであって、
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出する
情報処理システム。
【請求項８】
請求項７に記載の情報処理システムであって、
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出する
情報処理システム。
【請求項９】
取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、
検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、
第１の記憶部が前記算出された位置情報を記憶し、
制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う
情報処理方法。
【請求項１】
１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得する取得部と、
前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出する検出部と、
前記算出された位置情報を記憶する第１の記憶部と、
前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う制御部と
を具備する情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
前記画像データの解像度を下げた縮小データを生成する生成部をさらに具備し、
前記検出部は、前記縮小データから前記複数の検体領域を検出することで、前記画像データ内の前記複数の検体領域を検出する
情報処理システム。
【請求項３】
請求項２に記載の情報処理システムであって、
前記複数の検体領域の複数の画像データが切断順に管理され、
前記制御部は、前記取得された画像データ中で表示させる前記検体領域とその中の範囲の指定をユーザから受け付けたとき、前記指定された検体領域の中の前記範囲を表示領域として算出し、前記表示領域が当該検体領域の末端にあるときに、前記表示領域を前記末端よりも外に移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに切断順で隣の前記検体領域の表示に切り替える
情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の一方の軸方向の末端にあるとき、前記表示領域を前記末端よりも外に前記一方の軸方向に移動させる指示をユーザより受け付けたとき、他方の軸方向での位置を固定しつつ前記切断順で隣の検体領域の表示に切り替える
情報処理システム。
【請求項５】
請求項４に記載の情報処理システムであって、
前記取得部は、１つの検体を同一方向に切断することによって得られた複数の切片が一列に且つ離散的に並べて載置されたスライドを撮影して得た画像データを取得し、
前記制御部は、前記算出した表示領域が当該検体領域の、前記画像データの座標空間における前記複数の検体領域の並びの方向の末端にあるとき、前記表示領域を前記末端よりも先に前記並びの方向へ移動させる指示をユーザより受け付けたとき、前記記憶された位置情報をもとに当該移動先の前記検体領域の表示領域を算出する
情報処理システム。
【請求項６】
請求項５に記載の情報処理システムであって、
前記複数の検体領域それぞれの特徴点を検出し、それぞれの前記特徴点の座標の前記検体領域の座標空間におけるオフセット量を算出するアライメント部と、
前記算出されたオフセット量を記憶する第２の記憶部とをさらに具備し、
前記制御部は、前記表示領域を他の検体領域へジャンプさせる指示をユーザより受け付けたとき、前記記憶された位置情報と前記記憶されたオフセット量をもとに、ジャンプ前後の前記表示領域内での前記特徴点の位置が一致するように、ジャンプ先の前記表示領域を算出する
情報処理システム。
【請求項７】
請求項６に記載の情報処理システムであって、
前記アライメント部は、検出された前記複数の検体領域内の特徴点を表示空間において一致させるためのアフィン変換行列を算出し、算出された前記アフィン変換行列をもとに前記オフセット量を算出する
情報処理システム。
【請求項８】
請求項７に記載の情報処理システムであって、
前記制御部は、前記取得された画像データ中で表示させる複数の検体領域の指定をユーザから受け付けたとき、表示空間を前記指定された複数の検体領域の数と等しい数の表示空間に分割し、前記記憶された位置情報と前記記憶されたオフセット量をもとに、前記複数の表示空間に表示される前記検体領域内での前記特徴点の位置が一致するように、前記複数の表示空間に表示される前記表示領域を算出する
情報処理システム。
【請求項９】
取得部が、１つの検体を同一方向に切断することによって得られた複数の切片が離散的に載置されたスライドを撮影して得た画像データを取得し、
検出部が、前記取得された画像データにおける個々の前記切片を含む同一形状の複数の検体領域を検出して、個々の前記検体領域それぞれの前記画像データの座標空間における位置を相対的に示す位置情報を算出し、
第１の記憶部が前記算出された位置情報を記憶し、
制御部が、前記記憶された位置情報をもとに前記検体領域間での表示の切り替えを行う
情報処理方法。
【図１】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−４５０６９（Ｐ２０１３−４５０６９Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４８９５（Ｐ２０１１−１８４８９５）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]