説明

情報処理装置、情報処理システム情報処理方法及びプログラム

【課題】病理画像データの共有による遠隔会議の開催の準備にかかる時間を短縮するとともに、遠隔会議を効率よく円滑に進行すること。
【解決手段】情報処理装置は、通信部と、表示部と、制御部とを有する。制御部は、通信部が、複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを、他の情報処理装置から受信し、前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信し、前記要求情報に応じて前記所在場所から送信された前記部分画像を受信するように制御し、前記受信された部分画像を表示するように前記表示部を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、他の情報処理装置との間で同一の病理画像を共有してユーザに観察させることが可能な情報処理装置、当該情報処理装置を有する情報処理システム、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来から、複数のユーザ間での遠隔会議を支援するために、各ユーザの端末間で共通の画面を共有情報資源として共有するシステム(例えばテレビ会議システムなど)が知られている。
【0003】
例えば、下記特許文献1には、事前に登録されたコンテンツをユーザ端末が必要に応じて取り出しながら会議を行う情報通信サービスシステムが開示されている。このシステムでは、サーバが、複数の端末からリアルタイムに送信される映像及び音声を受信し、それらを合成して各端末へ配信する。
【0004】
また、下記特許文献2及び3には、コンテンツが複製されて複数のサーバに分散されて記憶されるコンテンツ配信システムが記載されている。
【0005】
また、下記特許文献4には、視聴者に提供される日時が決まっているコンテンツを、暗号化された状態で再生装置がサーバから事前にダウンロードし、視聴可能日時になったときにサーバから鍵を受信し、当該鍵によりコンテンツを復号して再生することが開示されている。
【0006】
また、病理診断の分野においても、共通の病理診断用の画像を複数のユーザ(例えば医師)の端末間で共有して遠隔会議を行い、端末間で意見をやりとりしながら診断を行うことで、診断の効率化を図ることが行われている。
【0007】
これに関連して、下記特許文献5には、サーバが、病理画像を構成する複数のタイル画像をクライアントへ配信し、クライアントが、それらタイル画像を合成して閲覧するサーバ・クライアントシステムが開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第3795772号公報
【特許文献2】特開2003−115873号公報
【特許文献3】特開2003−085070号公報
【特許文献4】特開2010−119142号公報
【特許文献5】米国特許第7542596号明細書
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、病理画像の共有システムを構築する場合、上記特許文献1に記載のような、配信データが一箇所に集中するツリー型のシステムでは、各端末(病院)で撮影された病理画像データはクラウドのサーバへ集約される必要があるため、そのアップロードに時間がかかってしまう。また、コンテンツが一箇所に集中すると、それがボトルネックとなって複数会議の同時開催等の規模拡張性(スケーラビリティ)が発揮できない。
【0010】
通常のコンテンツの共有システムでは、上記スケーラビリティの問題は、上記特許文献2及び3に記載の技術によって解決されうる。しかしながら、極めて高解像度の病理画像データは、非常に容量が大きいため、複数のサーバ間でデータを複製するのにも、上記アップロードと同様、非常に時間がかかってしまう。
【0011】
また、上記特許文献4に記載の技術では、会議中のデータ通信が減ることで、サーバの負荷が軽減されるが、通信対象が病理画像データの場合には、事前のダウンロードに非常に時間がかかってしまう。また、病理診断においては、非常に巨大な病理画像データのうちほんの一部分しか利用されないため、ダウンロードされたデータのほとんどは利用されない。したがって、上記事前ダウンロードは、ネットワーク帯域の有効利用という観点では非常に効率が悪い。
【0012】
以上のような事情に鑑み、本技術の目的は、病理画像データの共有による遠隔会議の開催の準備にかかる時間を短縮するとともに、遠隔会議を効率よく円滑に進行することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、通信部と、表示部と、制御部とを有する。上記制御部は、複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、上記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを、他の情報処理装置から受信するように前記通信部を制御可能である。また制御部は、上記受信された範囲指定情報に基づいて、上記表示範囲に属する部分画像の送信を要求する要求情報を、上記所在場所情報により示された所在場所へ送信するように前記通信部を制御可能である。また制御部は、上記要求情報に応じて上記所在場所から送信された上記部分画像を受信するように前記通信部を制御可能である。さらに制御部は、上記受信された部分画像を表示するように上記表示部を制御可能である。
【0014】
これにより情報処理装置は、病理画像の各部分画像を、部分画像ごとに異なり得る任意の所在場所から受信できるため、それらが一箇所に集中する場合に比べて、他の情報処理装置との病理画像を用いた遠隔会議の準備に要する時間を短縮できる。また情報処理装置は、病理画像中の表示範囲を自ら判断する必要がないため、範囲指定情報にしたがって部分画像を受信して表示することで、病理画像を用いた遠隔会議を効率よく円滑に進行させることができる。
【0015】
上記情報処理装置は、記憶部をさらに具備してもよい。この場合上記制御部は、上記表示範囲に属する部分画像が上記記憶部に記憶されているか否かを判断し、当該部分画像が上記記憶部に記憶されている場合には、上記要求情報を上記所在場所へ送信することなく上記部分画像を表示するように上記表示部を制御可能であってもよい。
【0016】
これにより情報処理装置は、部分画像が記憶部に記憶されている場合には所在場所へのアクセスが不要となるため、ネットワーク上の通信量を削減し、病理画像を用いた遠隔会議をより効率よく進行させることができる。
【0017】
上記制御部は、上記範囲指定情報及び上記所在場所情報の受信に先立って、上記他の情報処理装置との間で開催される遠隔会議で使用され得る病理画像を指定する画像指定情報と、当該指定された病理画像の当該時点での所在場所を示す一時所在場所情報と、当該指定された病理画像に関する過去の診断履歴を示す診断履歴情報とを上記他の情報処理装置から予め受信するように上記通信部を制御可能であってもよい。また制御部は、上記受信された画像指定情報により指定された病理画像を構成する複数の部分画像のうち、上記受信された診断履歴情報と関連付けられた部分画像を、上記一時所在場所情報により示された所在場所から受信するように上記通信部を制御可能であってもよい。さらに制御部は、上記受信された部分画像を記憶するように上記記憶部を制御可能であってもよい。
【0018】
これにより情報処理装置は、遠隔会議で使用される可能性の高い特定の部分画像を事前にダウンロードして記憶部に記憶しておくことができるため、遠隔会議中の通信量を削減し、病理画像を用いた遠隔会議をより効率よく進行させることができる。
【0019】
上記制御部は、上記診断履歴情報として、上記指定された病理画像内の過去の表示範囲または表示位置を示す表示履歴情報を受信するように上記通信部を制御可能であってもよい。
【0020】
これにより情報処理装置は、遠隔会議で過去と同様に表示される可能性の高い部分画像を事前にダウンロードして遠隔会議をより効率よく進行させることができる。
【0021】
上記制御部は、上記診断履歴情報として、上記指定された病理画像内の所定位置に付されたアノテーション情報を受信するように上記通信部を制御可能であってもよい。
【0022】
これにより情報処理装置は、遠隔会議で過去と同様に注目される可能性の高いアノテーション情報が付された部分画像を事前にダウンロードして遠隔会議をより効率よく進行させることができる。
【0023】
上記病理画像は、1つの生体組織からそれぞれ採取されそれぞれ異なる色で染色された複数の切片ごとに複数存在していてもよい。この場合上記制御部は、第1の色で染色された切片を表した第1の病理画像のうち、上記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の色で染色された切片を表した第2の病理画像のうち、上記所定位置と同位置に存在する部分画像を受信するように上記通信部を制御可能であってもよい。
【0024】
これにより情報処理装置は、アノテーション情報が付された第1の病理画像の部分画像のみならず、撮影対象の生体組織が当該第1の病理画像と共通し染色が異なる切片に関する第2の病理画像の部分画像も併せて事前にダウンロードできる。
【0025】
上記病理画像は、1つの生体組織から採取された切片が異なる複数の解像度でそれぞれ撮像されることで、当該異なる解像度ごとに複数存在してもよい。この場合上記制御部は、第1の解像度で撮像された第1の病理画像のうち、上記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の解像度で撮像された第2の病理画像のうち、上記所定位置と同位置に存在する部分画像を受信するように上記通信部を制御可能であってもよい。
【0026】
これにより情報処理装置は、アノテーション情報が付された第1の病理画像の部分画像のみならず、撮影対象の生体組織が当該第1の病理画像と共通し解像度が異なる第2の病理画像の部分画像も併せて事前にダウンロードできる。
【0027】
上記制御部は、上記範囲指定情報を、上記他の情報処理装置から第1のサーバ装置を介して受信するように上記通信部を制御可能であってもよい。この場合上記所在場所は、上記第1のサーバ装置とは異なる第2のサーバ装置を示してもよい。
【0028】
これにより、病理画像と範囲指定情報とが別々のサーバで管理されることになるため、特定のサーバへの負荷の集中が遠隔会議の進行の妨げになることが防止される。
【0029】
本技術の他の形態に係る情報処理システムは、サーバ装置と情報処理装置とを具備する。上記サーバ装置は、第1の通信部と、第1の制御部とを有する。当該第1の制御部は、複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、上記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを送信するように上記第1の通信部を制御可能である。上記情報処理装置は、第2の通信部と、表示部と、第2の制御部とを有する。上記第2の制御部は、上記範囲指定情報及び上記所在場所情報とを上記サーバ装置から受信し、上記受信された範囲指定情報に基づいて、上記表示範囲に属する部分画像の送信を要求する要求情報を、上記所在場所情報により示された所在場所へ送信し、上記要求情報に応じて上記所在場所から送信された上記部分画像を受信するように上記第2の通信部を制御可能である。また第2の制御部は、上記受信された部分画像を表示するように上記表示部を制御可能である。
【0030】
本技術の別の形態に係る情報処理方法は、複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、上記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを他の情報処理装置から受信することを含む。上記受信された範囲指定情報に基づいて、上記表示範囲に属する部分画像の送信を要求する要求情報が、上記所在場所情報により示された所在場所へ送信される。上記要求情報に応じて上記所在場所から送信された上記部分画像が受信され、上記受信された部分画像が表示される。
【0031】
本技術のまた別の形態に係るプログラムは、情報処理装置に、第1の受信ステップと、送信ステップと、第2の受信ステップと、表示ステップとを実行させる。上記第1の受信ステップでは、複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、上記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とが他の情報処理装置から受信される。上記送信ステップでは、上記受信された範囲指定情報に基づいて、上記表示範囲に属する部分画像の送信を要求する要求情報が、上記所在場所情報により示された所在場所へ送信される。上記第2の受信ステップでは、上記要求情報に応じて上記所在場所から送信された上記部分画像が受信される。上記表示ステップでは、上記受信された部分画像が表示される。
【発明の効果】
【0032】
以上説明したように、本技術によれば、病理画像データの共有による遠隔会議の開催の準備にかかる時間を短縮するとともに、遠隔会議を効率よく円滑に進行することができる。
【図面の簡単な説明】
【0033】
【図1】本技術の第1実施形態に係る遠隔会議システムの構成を示す図である。
【図2】上記システムにおけるPCのハードウェアの構成を示すブロック図である。
【図3】上記システムで扱われる病理画像の表示原理を説明するための画像ピラミッド構造を示す図である。
【図4】上記システムで扱われる病理画像の画像群が生成される場合の手順を示した図である。
【図5】上記システムで病理画像が表示される際の、司会者たるPCの処理の流れを示したフローチャートである。
【図6】上記システムで病理画像が表示される際の、聴衆たるPCの処理の流れを示したフローチャートである。
【図7】本技術の第2実施形態に係る遠隔会議システムの構成を示す図である。
【図8】第2実施形態に係るシステムにおいて、過去の操作履歴情報を基に、事前にダウンロードされるタイルが指定される様子を示した図である。
【図9】第2実施形態に係るシステムにおいて、過去の操作履歴情報を基に、事前にダウンロードされるタイルが指定される様子を示した図である。
【図10】第2実施形態に係るシステムにおいて、過去の操作履歴情報を基に、事前にダウンロードされるタイルが指定される様子を示した図である。
【図11】第2実施形態に係るシステムにおいて、過去のアノテーション情報を基に、事前にダウンロードされるタイルが指定される様子を示した図である。
【図12】生体組織の複数の切片から病理スライドが生成される様子を示した図である。
【図13】第2実施形態に係るシステムにおいて病理画像を事前にダウンロードする際のPC及びサーバの処理の流れの一例を示したフローチャートである。
【図14】第2実施形態に係るシステムにおいて病理画像を事前にダウンロードする際のPC及びサーバの処理の流れの他の例を示したフローチャートである。
【図15】第2実施形態に係るシステムで病理画像が表示される際の、聴衆たるPCの処理の流れを示したフローチャートである。
【図16】第3実施形態に係る遠隔会議システムの構成を示した図である。
【図17】第4実施形態に係る遠隔会議システムの構成を示した図である。
【図18】第5実施形態に係る遠隔会議システムの構成を示した図である。
【図19】第5実施形態におけるPCの処理の流れを示したフローチャートである。
【図20】第6実施形態に係る遠隔会議システムの構成を示した図である。
【図21】第7実施形態に係る遠隔会議システムの構成を示した図である。
【発明を実施するための形態】
【0034】
以下、図面を参照しながら、本技術の実施形態を説明する。
【0035】
<第1実施形態>
まず、本技術の第1実施形態を説明する。
【0036】
[システムの概要]
図1は、本実施形態に係る、病理画像を用いた遠隔会議システムの構成を示した図である。このシステムは、共通の病理診断用の画像(病理画像)を複数のユーザ(例えば医師)のPC間で共有して遠隔会議を行い、PC間で意見をやりとりしながら診断を行うことで、診断の効率化を図るためのシステムである。
【0037】
同図に示すように、本システムは、サーバ200と、複数のPC100と、スキャナ300とを有し、それらは互いにインターネット150を介して通信可能とされている。
【0038】
スキャナ300で撮像された病理画像データは、インターネット150を介してサーバ200にアップロードされて記憶される。詳細は後述するが、病理画像は、ガラススライドに納められた生体組織等の切片が撮像されたものである。当該病理画像データは、サーバ200のみに記憶されるものではなく、いずれかのPC100に記憶されていてもよい。
【0039】
本システムでは、複数のPC100のうち、1台が遠隔会議における「司会者」、その他が「聴衆」として機能し、司会者としてのPC100が指定した病理画像が聴衆としてのPC100により表示される。
【0040】
詳細は後述するが、司会者としてのPC100は、予め作成されたデータリストに基づいて、遠隔会議における診断対象の病理画像内の表示範囲を指定する情報(範囲指定情報)と、当該病理画像データの所在場所を示す情報(URL;Uniform Resource Locator)とをサーバ200へ送信する。サーバ200は、当該範囲指定情報及びURLを、聴衆としてのPC100へ送信する。すなわち、司会者としてのPC100は、サーバ200を介して、聴衆としてのPC100へ、範囲指定情報及びURLを送信する。
【0041】
聴衆としてのPC100は、病理画像のうち範囲指定情報によって指定された範囲の画像(部分画像)をURLから受信して表示する。これにより病理画像が各PC100で共有され、それらのユーザによる病理診断が可能となる。
【0042】
[PCのハードウェア構成]
【0043】
図2は、上記PC100のハードウェアの構成を示すブロック図である。
【0044】
PC100は、CPU(Central Processing Unit)11、ROM12(Read Only Memory)、RAM(Random Access Memory)13、入出力インターフェース15、及び、これらを互いに接続するバス14を備える。
【0045】
入出力インターフェース15には、表示部16、入力部17、記憶部18、通信部19、ドライブ部20等が接続される。
【0046】
表示部16は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。
【0047】
入力部17は、例えばポインティングデバイス、キーボード、タッチパネル、マイクロフォン、その他の操作装置である。入力部17がタッチパネルを含む場合、そのタッチパネルは表示部16と一体となり得る。
【0048】
記憶部18は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。記憶部には、上記病理画像データが記憶され得るほか、本システムにおいて病理画像データを受信及び表示するために実行されるアプリケーションプログラムも記憶される。
【0049】
ドライブ部20は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体21を駆動することが可能なデバイスである。これに対し上記記憶部18は、主にリムーバブルでない記録媒体を駆動する、PC100に予め搭載されたデバイスとして使用される場合が多い。
【0050】
通信部19は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルーター、その他の通信機器である。通信部19は、有線及び無線のどちらを利用して通信するものであってもよい。通信部19は、PC100とは別体で使用される場合が多い。
【0051】
サーバ200のハードウェア構成も、上記PC100のハードウェア構成と同様であり、制御部、記憶部、通信部等、コンピュータとして機能するために必要なブロックを有する。
【0052】
次に、サーバ200やPC100の記憶部18に記憶され得る病理画像及びその表示原理について説明する。図3は、その表示原理を説明するための画像ピラミッド構造を示す図である。
【0053】
本実施形態における画像ピラミッド構造50は、光学顕微鏡により同じ1つの観察の対象物40(図4参照)から得られる1つの病理画像について、異なる複数の解像度により生成された画像群(全体画像群)である。画像ピラミッド構造50の最下には、最も大きいサイズの画像が配置され、最上には最も小さいサイズの画像が配置される。最も大きいサイズの画像の解像度は、例えば50×50(Kpixel:キロピクセル)、あるいは30×40(Kpixel)である。最も小さいサイズの画像は、例えば256×256(pixel)、あるいは、256×512(pixel)である。
【0054】
つまり、同じ表示部16が、これらの画像を例えば100%でそれぞれ表示(それらの画像のピクセル数と同じ物理的なドット数でそれぞれ表示)すると、最も大きいサイズの画像が最も大きく表示され、最も小さいサイズの画像が最も小さく表示される。ここで、図2では、その表示部16の表示範囲をDとして示している。
【0055】
図4は、この画像ピラミッド構造50の画像群が生成される場合の手順を説明するための図である。
【0056】
まず、図示しない光学顕微鏡により所定の観察倍率で得られた元画像(巨大画像)のデジタル画像が用意される。この元画像が、図3で示した画像ピラミッド構造50の最下の画像である最も大きいサイズの画像に相当し、つまり最も高い解像度の画像となる。したがって、画像ピラミッド構造50の最下の画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。
【0057】
病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られた切片が観察対象物40となる。そして、光学顕微鏡の機能を有するスキャナ300により、ガラススライドに収められた観察対象物40が読み取られ、これにより得られたデジタル画像が、そのスキャナ300またはその他の記憶装置に記憶される。
【0058】
このスキャナ300または図示しない汎用コンピュータは、図4に示すように、上記のように得られた最も大きいサイズの画像から、段階的に解像度を小さくした複数の画像を生成し、これらを例えば所定サイズの単位である「タイル」(部分画像)単位で記憶する。1タイルのサイズは、例えば256×256(pixel)である。各タイルには、それを識別する識別情報(IDや番号)が付加される。
【0059】
このように生成された画像群が画像ピラミッド構造50を形成し、この画像ピラミッド構造50がPC100の記憶部18やサーバ200の記憶部に記憶される。実際には、PC100やサーバ200は、それら異なる複数の解像度の画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。画像ピラミッド構造50の生成及びその記憶は、PC100が実行してもよい。
【0060】
これらの画像ピラミッド構造50を形成する全体画像群は、公知の圧縮方法により生成されてもよいし、例えばサムネイル画像を生成するときの公知の圧縮方法により生成されてもよい。
【0061】
遠隔会議の場面ではなく、各PC100のユーザが、PC100の記憶部18に記憶された病理画像をスタンドアローンで閲覧する場合には、PC100は、入力部17から入力されるユーザの操作に応じて、画像ピラミッド構造50から所望の画像を抽出して表示部16に表示する。その際、PC100は、ユーザにより選択された任意の解像度の画像のうち、ユーザにより選択された任意の部位の画像を表示する。ユーザは、観察倍率を変えながら、実際に観察対象物40を観察しているような感覚を得ることができる。すなわち、この場合、PC100はバーチャル顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には上記解像度に相当する。
【0062】
[システムの動作]
次に、以上のように構成されたシステムの動作について説明する。以下では、特にPC100のCPU11を主な動作主体として説明がなされるが、これらの動作は、各機器のその他のブロック及びソフトウェア(アプリケーション)と協働して実行される。
【0063】
図5は、本実施形態において病理画像が表示される際の、司会者たるPC100の処理の流れを示したフローチャートであり、図6は、その場合における聴衆たるPC100の処理の流れを示したフローチャートである。
【0064】
図5に示すように、司会者たるPC100のCPU11は、そのユーザから、特定の病理画像内の表示範囲を特定するための操作入力を待ち(ステップ51)、当該操作入力があると、当該表示範囲を特定する(ステップ52)。
【0065】
続いてCPU11は、上記特定された表示範囲を基に、上記病理画像のうち、表示処理に使用するタイル、すなわち、当該表示範囲に全てまたは一部が含まれるタイル(部分画像)を特定する(ステップ53)。
【0066】
続いてCPU11は、サーバ200へ、当該特定されたタイルデータのリクエストを送信する(ステップ54)。またその一方でCPUは、上記表示範囲情報と、上記特定されたタイルデータのURLとをサーバ200へ送信する(ステップ55)。
【0067】
続いてCPU11は、上記リクエストに応じてサーバ200から送信されたタイルデータを受信し(ステップ56)、それを表示部に表示する(ステップ57)。
【0068】
一方、図6に示すように、聴衆たるPC100のCPU11は、司会者たるPC100から送信された表示範囲情報及びURLを、サーバ200を介して受信する(ステップ61)。
【0069】
続いてCPU11は、当該表示範囲情報を基に、病理画像のうち、当該表示範囲の表示処理に必要となるタイルを特定する(ステップ62)。
【0070】
続いてCPU11は、上記受信したURLを基に、上記特定されたタイルのリクエストをサーバ200へ送信する(ステップ63)。
【0071】
続いてCPU11は、上記リクエストに応じて送信されたタイルを受信し(ステップ64)、表示部16に表示する(ステップ65)。
【0072】
<第2実施形態>
次に、本技術の第2実施形態を説明する。
【0073】
図7は、本実施形態における遠隔会議システムの構成を示した図である。
【0074】
上述の第1実施形態では、病理画像はサーバ200に記憶されており、遠隔会議の当日にPC100にダウンロードされる例が示された。しかし、同図に示すように、遠隔会議の開催日及びそこで使用される病理画像が事前に決まっている場合には、PC100は、会議開催前に病理画像を記憶部18にダウンロードすることもできる。当該ダウンロードは、病理画像全体の単位ではなく、タイル単位で行われてもよい。
【0075】
上記のような、タイル単位の事前のダウンロードでは、遠隔会議において使用される可能性の高いタイルがダウンロードされてもよい。使用される可能性の高いタイルは、例えば、過去に病理診断に用いられたタイルである。このような過去の病理診断に用いられたタイルは、例えば以下のような基準で指定される。
【0076】
すなわち、PC100は、過去に診断を行った医師が、どのように座標または表示範囲を移動しながらどの程度の倍率(解像度)で病理画像を閲覧したかという表示操作履歴を基に、当該過去の診断において使用されたタイルを指定する。
【0077】
図8、図9及び図10は、この操作履歴情報を基に指定されるタイルの例を示した図である。
【0078】
図8に示すように、病理画像Iにおける操作履歴が、線による座標移動経路71として示されている場合には、当該線が横切るタイル70(線が属するタイル)が指定される。また、操作履歴が点(特定の座標)により示されている場合には、当該座標を含むタイルが指定される。
【0079】
また、図9に示すように、図8と同様のケースでも、上記線を含む矩形のタイル70が指定されてもよい。
【0080】
また、図10に示すように、病理画像Iにおける操作履歴が、矩形の表示範囲72として示されている場合には、その矩形に全部または一部が含まれるタイル70が指定される。
【0081】
また、PC100は、過去の診断において、医師により病理画像に何らかの診断注記(アノテーション)が付されている場合には、そのアノテーションが付されたタイルを指定する。ここでアノテーションとは、病理画像が表示されたPCにおいてユーザの入力を基に、例えば記号、線図、テキスト、音声、画像、リンク(例えばURL)等の形式で形成される情報である。
【0082】
例えば、図11に示すように、病理画像Iを構成するタイルのうち、×印としてアノテーション73が付されたタイル70が指定される。アノテーションが線、矩形、円として付されている場合には、上記図8〜図10と同様に、線が横切るタイルや矩形や円に含まれるタイルが指定される。
【0083】
図12は、病理画像を撮影するための切片を収めたスライド(病理スライド)の作成の様子を示した図である。
【0084】
同図に示すように、病理スライド80は、手術等で取り出した病理片(生体組織)Sから、観察対象物(切片)40が2〜3マイクロメートル程度の薄さで切り出され、それがスライドガラス81に載置され、カバーガラス82によって覆われることで作成される。
【0085】
したがって、連続して切り出された切片は、細胞などの組織的な形状や医学的な特徴がほぼ同一となる。すなわち、同図に示すように、切片40Aの病理スライド80Aに付された診断情報は、隣の切片40Bの病理スライド80Bにとっても有用な情報となる。
【0086】
ここで、上記異なる切片40A及び40Bは、異なる検査を行うため、異なる色で染色される場合がある。したがって、PC100は、異なる染色を施された連続切片に関する複数の病理画像が存在する場合、1つの病理画像においてアノテーションが付されたタイルを指定するとともに、当該アノテーションが付された位置に同座標に存在する、他の病理画像のタイルを指定する。
【0087】
また、上述のように、ユーザは、1つの病理画像を観察倍率(解像度)を変化させて閲覧することが可能である。したがって、ある病理画像にアノテーションが付されている場合、そのアノテーションは、その病理画像とは倍率(解像度)が異なる同一観察対象の病理画像にとっても有用な情報となる。したがってPC100は、ある病理画像にアノテーションが付されている場合には、当該病理画像のうちアノテーションが付されたタイルを指定するとともに、同一観察対象の異なる解像度の病理画像のうち、上記アノテーションが付された座標と同座標を含むタイルも指定する。
【0088】
図13は、上記病理画像の事前ダウンロードにおけるPC100及びサーバ200の処理の流れを示したフローチャートである。
【0089】
同図に示すように、まず、遠隔会議の主催者のPC100から、遠隔会議で使用される病理画像データと、遠隔会議の参加者のリストがサーバ200へ送信されて登録される(ステップ131)。この処理は、例えば、サーバ200に存在する全ての病理画像データと、全てのユーザの一覧から、所望の病理画像とユーザが選択されることで実行される。
【0090】
続いて、サーバ200が、各参加者のPC100へ会議開催通知を送信する(ステップ132)。
【0091】
続いて、参加者のPC100は、病理画像を事前にダウンロード可能な容量のHDD等の記憶部18がPC100に存在するか否かを判断する(ステップ133)。
【0092】
ダウンロード可能なHDDが存在する場合(Yes)、参加者のPC100は、遠隔会議で使用される病理画像データのリストをサーバ200から受信する(ステップ134)。この際、当該病理画像データに関する過去の診断履歴情報や、病理画像データ(タイル)のその時点におけるURLも共に受信される。
【0093】
続いて、PC100は、受信した病理画像データのリストと、上記診断履歴情報を基に、上述した基準によりタイルを指定し、当該指定されたタイルをサーバ200からダウンロードする(ステップ135)。
【0094】
そして、遠隔会議の開催時刻が到来した場合には、参加者のPC100は、サーバ200へ接続することで会議に参加することができる(ステップ136)。
【0095】
上記図13の例では、主催者がサーバ200に病理画像データを登録した時点で、会議で使用されるデータのリストが決定している。しかし、実際には、開催通知が送信されてから会議が開催されるまでの間に、主催者が不要なデータを削除したり、他の参加者が自分の使いたいデータを追加したりすることで、リストが更新されることも考えられる。
【0096】
そこで、図14のフローチャートに示すように、リストをポーリングして最新に保つことが考えられる。
【0097】
すなわち、同図に示すように、PC100は、ステップ141〜ステップ145において、上記図13のステップ131〜ステップ135と同様の処理を実行した後、会議開催時刻が到来したか否かを判断する(ステップ146)。
【0098】
続いて、会議開催時刻が未だ到来していない場合(No)には、サーバ200へアクセスして、使用される病理画像データのリストが更新されたか否かを判断する(ステップ147)。
【0099】
そして、リストが更新されている場合(Yes)には、PC100は、新たにリストをサーバ200から受信して、上記ステップ144以下の処理を繰り返す。
【0100】
ここで、上記ステップ146及び147の処理に代わり、サーバ200から各参加者のPC100にリストの更新が通知されることを契機として、PC100が新たにリストを受信してもよい。
【0101】
また、タイルの事前ダウンロード先は、PC100の記憶部18でなくてもよい。例えば、PC100とネットワーク接続された近隣の記憶装置にダウンロードされてもよいし、サーバ200が複数存在する場合には、そのうちPC100に極力近いサーバ200にダウンロードされてもよい。
【0102】
図15は、本実施形態に係るシステムで病理画像が表示される際の、聴衆たるPC100の処理の流れを示したフローチャートである。
【0103】
同図に示すように、PC100のCPU11は、上記第1実施形態の図6のステップ61及び62と同様の処理を行った後(ステップ151、152)、特定されたタイルが記憶部18に存在するか(事前ダウンロードされているか)否かを判断する(ステップ153)。
【0104】
タイルが記憶部18に存在しない場合(No)には、CPU11は、サーバ200へ当該タイルのリクエストを送信し(ステップ154)、タイルを受信する(ステップ155)。
【0105】
タイルが記憶部18に存在する場合(Yes)には、CPU11は、記憶部18から当該タイルを読み出す(ステップ155)。
【0106】
そしてCPU11は、受信したまたは読み出したタイルを表示部16に表示する(ステップ157)。
【0107】
以上説明したようなこのような事前のダウンロードにより、遠隔会議当日における不要な通信が減ることで、聴衆たるPC100が増えた場合のサーバ200の負荷が削減され、ネットワーク上に不要なパケットが流れるのが回避される。
【0108】
<第3実施形態>
次に、本技術の第3実施形態を説明する。
【0109】
図16は、本実施形態に係る遠隔会議システムの構成を示した図である。
【0110】
上記各実施形態では、表示範囲情報と病理画像のタイルデータとは、いずれもサーバ200に記憶されていた。しかし、両者は必ずしも同じサーバで処理されなくてもよい。そこで、同図に示すように、本実施形態では、タイルデータを記憶するタイルデータサーバ200Aと、表示範囲情報を処理する制御データサーバ200Bとが別個に設けられている。また制御データサーバ200Bでは、上記第2実施形態で説明した過去の診断履歴情報や、タイルデータのリスト及び参加者のリスト等も管理される(以下、これらのデータをまとめて制御データと称する)。
【0111】
これにより、データ容量は小さいが即応性が必要な制御データと、データ容量が大きくスループットが求められるタイルデータに対して、サーバの最適化が行われる。
【0112】
また、制御データを扱うサーバ200Bが存在せず、制御データが複数のPC100間のP2P通信で交換されてもよい。
【0113】
<第4実施形態>
次に、本技術の第4実施形態を説明する。
【0114】
図17は、本実施形態に係る遠隔会議システムの構成を示した図である。
【0115】
同図に示すような、複数の病院間で、それらの院内ネットワーク170を接続して、遠隔会議を行う場合、会議で利用する病理画像データを1ヶ所に集めると、アップロードやダウンロードのコストが大きくなる。
【0116】
一方、遠隔会議で利用する病理画像データは、もともと各病院のスキャナ300で撮影されて院内サーバ200Aに保存されているものである。そこで、同図に示すように、本実施形態では、各病院にある院内サーバ200Aを、上記第3実施形態におけるタイルデータサーバ200Aの代わりとして用いる。この場合も、制御データサーバ200Bは、インターネット150上に存在する。
【0117】
このような構成により、インターネット150上のサーバへのタイルデータのアップロード作業が不要となる。
【0118】
<第5実施形態>
次に、本技術の第5実施形態を説明する。
【0119】
図18は、本実施形態に係る遠隔会議システムの構成を示した図である。
【0120】
上記第4実施形態においては、院内サーバで遠隔会議参加者に対するタイルデータ配信を行わねばならず、ネットワーク帯域の大きさや、PC100の数によっては、サーバ負荷の点で問題が発生する可能性がある。
【0121】
そこで本実施形態では、同図に示すように、ダウンロード対象となるタイルデータが予めクラウドサーバ200Cにアップロードされる。これにより、院内サーバ200Dの負荷が低下する。
【0122】
図19は、本実施形態におけるPC100の表示処理の流れを示したフローチャートである。
【0123】
同図に示すように、PC100のCPU11は、上記図6や図15の処理と同様にして、使用されるタイルを特定すると(ステップ191、192)、クラウドサーバ200Cへ、当該特定されたタイルのリクエストを送信する(ステップ193)。
【0124】
続いてCPU11は、当該リクエスト対象のタイルの受信に成功したか否かを判断する(ステップ194)。
【0125】
上記タイルの受信に失敗した場合(No)には、CPU11は、院内サーバ200Dへ当該タイルのリクエストを送信して(ステップ196)、当該タイルを受信する(ステップ197)。そして、受信されたタイルが表示される(ステップ197)。
【0126】
このような処理により、サーバ200Cへのタイルデータのアップロードの作業量が抑えられるとともに、院内サーバ200Dの負荷も低下する。
【0127】
<第6実施形態>
次に、本技術の第6実施形態を説明する。
【0128】
図20は、本実施形態に係る遠隔会議システムの構成を示した図である。
【0129】
上述の各実施形態では、タイルサーバの数は1つであったが、同図に示すように、本実施形態では、同一のタイルデータを配信するタイルサーバが複数設けられる(タイルサーバ200A−1、200A−2)。例えば、タイルサーバ200A−1がプライマリサーバ、タイルサーバ200B−1がセカンダリサーバとされる。
【0130】
これにより、クライアントであるPC100毎に最適なサーバが決定されることで、PC100の数の増大に対応することが可能となる。この際のサーバ決定アルゴリズムとしては以下のようなものが考えられる。
・予めクライアント毎にサーバを静的に割り当てる。
・RTTが最小のサーバをクライアント(PC100)が選択する。
・帯域が最大のサーバをクライアント(PC100)が選択する。
・全体負荷を考慮してプライマリサーバ(タイルサーバ200A−1)が決定する。
‐ラウンドロビンを実行する。
‐サーバの負荷情報を定期的に(例えば10秒に1回等)集める。
【0131】
<第7実施形態>
次に、本技術の第7実施形態を説明する。
【0132】
図21は、本実施形態に係る遠隔会議システムの構成を示した図である。
【0133】
同図に示すように、院内ネットワーク170における院内システムでは、診断の終わったタイルデータは、院内ネットワーク170から、インターネット150を介してクラウドサーバ200Cに退避される。
【0134】
そして、上記院内システムにおいて上記退避されたデータを利用した院内会議の予約が行なわれた場合、その時点で、クラウドサーバ200Cに退避されたタイルデータが院内サーバ200Dに復帰される。
【0135】
[変形例]
本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
【0136】
上述の第1〜第7実施形態の構成は、互いに矛盾しない限り如何様にも組み合わせることができる。例えば、第2実施形態における事前ダウンロード処理が、第3実施形態に説明したような、サーバがタイルデータサーバと制御データサーバとに別個に設けられた構成において実現されてもよい。
【0137】
[その他]
本技術は以下のような構成も採ることができる。
(1)通信部と、
表示部と、
複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを、他の情報処理装置から受信し、
前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信し、
前記要求情報に応じて前記所在場所から送信された前記部分画像を受信する
ように前記通信部を制御可能であり、前記受信された部分画像を表示するように前記表示部を制御可能な制御部と
を具備する情報処理装置。
(2)上記(1)に記載の情報処理装置であって、
記憶部をさらに具備し、
前記制御部は、前記表示範囲に属する部分画像が前記記憶部に記憶されているか否かを判断し、当該部分画像が前記記憶部に記憶されている場合には、前記要求情報を前記所在場所へ送信することなく前記部分画像を表示するように前記表示部を制御可能である
情報処理装置。
(3)上記(1)または(2)に記載の情報処理装置であって、
前記制御部は、
前記範囲指定情報及び前記所在場所情報の受信に先立って、前記他の情報処理装置との間で開催される遠隔会議で使用され得る病理画像を指定する画像指定情報と、当該指定された病理画像の当該時点での所在場所を示す一時所在場所情報と、当該指定された病理画像に関する過去の診断履歴を示す診断履歴情報とを前記他の情報処理装置から予め受信し、
前記受信された画像指定情報により指定された病理画像を構成する複数の部分画像のうち、前記受信された診断履歴情報と関連付けられた部分画像を、前記一時所在場所情報により示された所在場所から受信する
ように前記通信部を制御可能であり、
前記受信された部分画像を記憶するように前記記憶部を制御可能である
情報処理装置。
(4)上記(3)に記載の情報処理装置であって、
前記制御部は、前記診断履歴情報として、前記指定された病理画像内の過去の表示範囲または表示位置を示す表示履歴情報を受信するように前記通信部を制御可能である
情報処理装置。
(5)上記(3)に記載の情報処理装置であって、
前記制御部は、前記診断履歴情報として、前記指定された病理画像内の所定位置に付されたアノテーション情報を受信するように前記通信部を制御可能である
情報処理装置。
(6)上記(5)に記載の情報処理装置であって、
前記病理画像は、1つの生体組織からそれぞれ採取されそれぞれ異なる色で染色された複数の切片ごとに複数存在し、
前記制御部は、第1の色で染色された切片を表した第1の病理画像のうち、前記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の色で染色された切片を表した第2の病理画像のうち、前記所定位置と同位置に存在する部分画像を受信するように前記通信部を制御可能である
情報処理装置。
(7)上記(5)に記載の情報処理装置であって、
前記病理画像は、1つの生体組織から採取された切片が異なる複数の解像度でそれぞれ撮像されることで、当該異なる解像度ごとに複数存在し、
前記制御部は、第1の解像度で撮像された第1の病理画像のうち、前記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の解像度で撮像された第2の病理画像のうち、前記所定位置と同位置に存在する部分画像を受信するように前記通信部を制御可能である
情報処理装置。
(8)上記(1)から(7)のうちいずれかに記載の情報処理装置であって、
前記制御部は、前記範囲指定情報を、前記他の情報処理装置から第1のサーバ装置を介して受信するように前記通信部を制御可能であり、
前記所在場所は、前記第1のサーバ装置とは異なる第2のサーバ装置を示す
情報処理装置。
【符号の説明】
【0138】
11…CPU
16…表示部
18…記憶部
19…通信部
40…観察対象物
70…タイル
71…座標移動経路
72…表示範囲
73…アノテーション
100…PC
150…インターネット
170…院内ネットワーク
200…サーバ
300…スキャナ

【特許請求の範囲】
【請求項1】
通信部と、
表示部と、
複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを、他の情報処理装置から受信し、
前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信し、
前記要求情報に応じて前記所在場所から送信された前記部分画像を受信する
ように前記通信部を制御可能であり、前記受信された部分画像を表示するように前記表示部を制御可能な制御部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
記憶部をさらに具備し、
前記制御部は、前記表示範囲に属する部分画像が前記記憶部に記憶されているか否かを判断し、当該部分画像が前記記憶部に記憶されている場合には、前記要求情報を前記所在場所へ送信することなく前記部分画像を表示するように前記表示部を制御可能である
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
記憶部をさらに具備し、
前記制御部は、
前記範囲指定情報及び前記所在場所情報の受信に先立って、前記他の情報処理装置との間で開催される遠隔会議で使用され得る病理画像を指定する画像指定情報と、当該指定された病理画像の当該時点での所在場所を示す一時所在場所情報と、当該指定された病理画像に関する過去の診断履歴を示す診断履歴情報とを前記他の情報処理装置から予め受信し、
前記受信された画像指定情報により指定された病理画像を構成する複数の部分画像のうち、前記受信された診断履歴情報と関連付けられた部分画像を、前記一時所在場所情報により示された所在場所から受信する
ように前記通信部を制御可能であり、
前記受信された部分画像を記憶するように前記記憶部を制御可能である
情報処理装置。
【請求項4】
請求項3に記載の情報処理装置であって、
前記制御部は、前記診断履歴情報として、前記指定された病理画像内の過去の表示範囲または表示位置を示す表示履歴情報を受信するように前記通信部を制御可能である
情報処理装置。
【請求項5】
請求項3に記載の情報処理装置であって、
前記制御部は、前記診断履歴情報として、前記指定された病理画像内の所定位置に付されたアノテーション情報を受信するように前記通信部を制御可能である
情報処理装置。
【請求項6】
請求項5に記載の情報処理装置であって、
前記病理画像は、1つの生体組織からそれぞれ採取されそれぞれ異なる色で染色された複数の切片ごとに複数存在し、
前記制御部は、第1の色で染色された切片を表した第1の病理画像のうち、前記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の色で染色された切片を表した第2の病理画像のうち、前記所定位置と同位置に存在する部分画像を受信するように前記通信部を制御可能である
情報処理装置。
【請求項7】
請求項5に記載の情報処理装置であって、
前記病理画像は、1つの生体組織から採取された切片が異なる複数の解像度でそれぞれ撮像されることで、当該異なる解像度ごとに複数存在し、
前記制御部は、第1の解像度で撮像された第1の病理画像のうち、前記アノテーション情報が付された所定位置に存在する部分画像を受信するとともに、第2の解像度で撮像された第2の病理画像のうち、前記所定位置と同位置に存在する部分画像を受信するように前記通信部を制御可能である
情報処理装置。
【請求項8】
請求項1に記載の情報処理装置であって、
前記制御部は、前記範囲指定情報を、前記他の情報処理装置から第1のサーバ装置を介して受信するように前記通信部を制御可能であり、
前記所在場所は、前記第1のサーバ装置とは異なる第2のサーバ装置を示す
情報処理装置。
【請求項9】
第1の通信部と、
複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを送信するように前記第1の通信部を制御可能な第1の制御部と
を有するサーバ装置と、
第2の通信部と、
表示部と、
前記範囲指定情報及び前記所在場所情報とを前記サーバ装置から受信し、
前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信し、
前記要求情報に応じて前記所在場所から送信された前記部分画像を受信する
ように前記第2の通信部を制御可能であり、前記受信された部分画像を表示するように前記表示部を制御可能な第2の制御部と
を有する情報処理装置と
を具備する情報処理システム。
【請求項10】
情報処理装置における情報処理方法であって、
複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを他の情報処理装置から受信し、
前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信し、
前記要求情報に応じて前記所在場所から送信された前記部分画像を受信し、
前記受信された部分画像を表示する
情報処理方法。
【請求項11】
情報処理装置に、
複数の部分画像から構成される病理画像内の表示範囲を指定する範囲指定情報と、前記複数の部分画像の、当該部分画像ごとに異なり得る所在場所を示す所在場所情報とを他の情報処理装置から受信するステップと、
前記受信された範囲指定情報に基づいて、前記表示範囲に属する部分画像の送信を要求する要求情報を、前記所在場所情報により示された所在場所へ送信するステップと、
前記要求情報に応じて前記所在場所から送信された前記部分画像を受信するステップと、
前記受信された部分画像を表示するステップと
を実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate