画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラム
【課題】顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供する。
【解決手段】画像表示装置４０は、顕微鏡１０によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部４０３と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部４０５と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部４０７と、を有する。
【解決手段】画像表示装置４０は、顕微鏡１０によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部４０３と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部４０５と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部４０７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
細胞組織スライド等のサンプルを観察する顕微鏡を用いて、サンプルの顕微鏡による観察像をデジタル画像として保存し、保存した顕微鏡画像をインターネットやイントラネット上に設けられた他の装置で観察する技術が提案されている（例えば、以下の特許文献１を参照。）。このような技術を用いることで、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー（ｔｅｌｅｐａｔｈｏｌｏｇｙ）の発展を促すことが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２２２８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、顕微鏡画像の観察者は、顕微鏡画像を観察する端末において、マウスなどの入力装置を操作し、操作に応じた表示領域の顕微鏡画像を観察する。このとき、観察者は、顕微鏡画像のうちサンプル部分を観察することを望んでいる。ところが、例えば表示倍率が低い場合、又は、顕微鏡画像を表示している領域がサンプルの端部に近い場合には、顕微鏡画像の表示領域中に観察対象であるサンプルを含まない領域が含まれてしまう場合があり、このサンプルを含まない領域は利用されず無駄になっているという問題があった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置が提供される。
【０００７】
顕微鏡で観察されるサンプルは、通常サンプル毎に異なる形状を有している。このため、顕微鏡画像を表示する領域内において、サンプルが存在しない第２の領域が存在する。上記構成によれば、サンプルに対応する部分を含まない第２の領域を有効に利用して、ユーザに顕微鏡画像に付随する付加的な情報を提供することができる。
【０００８】
上記付加情報取得部は、上記サンプルを特徴づけるサンプル特徴情報、及び、上記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された上記付加情報を取得してもよい。
【０００９】
上記付加情報取得部は、上記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された上記付加情報を取得してもよい。
【００１０】
上記表示状態情報は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像の色彩の特徴を示す色彩情報を含んでもよい。
【００１１】
上記表示状態情報は、上記第２の領域の形状を示す情報を含んでもよい。
【００１２】
上記表示制御部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像から上記第２の領域を判定する領域判定部をさらに有し、上記領域判定部は、上記顕微鏡画像表示領域のうち表示する上記顕微鏡画像が存在しない領域を上記第２の領域と判定してもよい。
【００１３】
上記領域判定部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像のうち上記サンプル部分に該当しない領域をさらに上記第２の領域と判定してもよい。
【００１４】
上記表示制御部は、上記付加情報取得部が取得する付加情報から上記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、上記顕微鏡画像を表示する画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部とを有する、付加情報管理サーバが提供される。
【００１６】
また、上記抽出部は、上記画像表示装置から送信される、上記サンプルを特徴づけるサンプル特徴情報、上記ユーザを特徴づけるユーザ特徴情報、上記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて上記付加情報を選択してもよい。
【００１７】
また、上記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに有するものであってもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、を有する画像表示装置と、上記付加情報を記憶部と、上記画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部と、を有する付加情報管理サーバと、を有する画像表示システムが提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、上記顕微鏡画像を取得するステップと、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、上記付加情報を上記第２の領域に含む上記顕微鏡画像表示領域の表示を制御するステップと、を含む、画像表示方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る顕微鏡画像管理システムの構成を示した説明図である。
【図２】同実施形態に係る顕微鏡及び顕微鏡制御装置の全体構成を示した説明図である。
【図３】顕微鏡画像取得の概要を説明するための説明図である。
【図４】同実施形態に係る画像表示システムの構成を示した説明図である。
【図５】顕微鏡画像表示領域の表示の一例を示す説明図である。
【図６】付加情報を含む顕微鏡画像表示領域の表示の一例を示す説明図である。
【図７】付加情報を含む顕微鏡画像表示領域の表示の他の一例を示す説明図である。
【図８】同実施形態に係る画像表示装置の表示制御部の詳細な構成を示した説明図である。
【図９】同実施形態に係る付加情報管理サーバの付加情報管理部の詳細な構成を示した説明図である。
【図１０】同実施形態に係る顕微鏡画像表示の流れを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．顕微鏡画像管理システムの構成
２．顕微鏡の構成
３．顕微鏡制御装置の構成
４．画像管理サーバの構成
５．画像表示装置の構成
６．付加情報管理サーバの構成
７．顕微鏡画像表示の流れ
８．まとめ
【００２５】
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル（細胞組織サンプル）を例に挙げて説明を行うが、かかる場合に限定されるわけではない。
【００２６】
＜１．顕微鏡画像管理システムの構成＞
まず、図１を参照しながら、本発明の第１の実施形態に係る顕微鏡画像管理システム１の構成について説明する。図１は、本実施形態に係る顕微鏡画像管理システム１の構成を示した説明図である。
【００２７】
本実施形態に係る顕微鏡画像管理システム１は、図１に示したように、顕微鏡１０と、顕微鏡制御装置２０と、画像管理サーバ３０と、画像表示装置４０と、付加情報管理サーバ５０とを有する。また、顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０は、ネットワーク３を介して接続されている。
【００２８】
なお、後述するが、本実施形態に係る顕微鏡画像管理システム１のうち、本実施形態においては特に画像を表示する機能について注目しているため、かかる機能に関連する画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなるシステムを画像表示システム２とよぶ。以下、本実施形態に係る画像表示システム２の特徴の理解を容易にするために、画像表示システムで用いる顕微鏡画像を取得する構成についても合わせて説明する。
【００２９】
ネットワーク３は、本実施形態に係る顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、付加情報管理サーバ５０を互いに双方向通信可能に接続する通信回線網である。このネットワーク３は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。また、このネットワーク３は、本実施形態に係る顕微鏡画像管理システム１に専用に設けられた通信回線網であってもよい。
【００３０】
顕微鏡１０は、当該顕微鏡１０のステージ上に載置されたサンプル（例えば生体サンプル）に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡１０の全体構成については、以下で改めて詳細に説明する。
【００３１】
顕微鏡１０は、顕微鏡制御装置２０によって駆動制御されており、顕微鏡１０が撮像したサンプル画像は、顕微鏡制御装置２０を介して画像管理サーバ３０に格納される。
【００３２】
顕微鏡制御装置２０は、サンプルを撮像する顕微鏡１０の駆動制御を行う装置である。顕微鏡制御装置２０は、顕微鏡１０を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置２０は、得られたサンプルのデジタル画像データを、画像管理サーバ３０にアップロードする。なお、本実施形態に係る顕微鏡制御装置２０の詳細な構成については、以下で改めて説明する。
【００３３】
画像管理サーバ３０は、顕微鏡１０によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ３０は、顕微鏡制御装置２０からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ３０は、閲覧者が操作する画像表示装置４０（すなわち、ビューワーに対応する装置）から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置４０に提供する。
【００３４】
なお、ここでサンプルのデジタル画像データは、サンプルのサムネイル画像と拡大画像とを含む顕微鏡画像である。詳しくは後述されるが、サムネイル画像は、サンプルを載置したプレパラートの全体像を撮像した画像であり、拡大画像は、サンプルが顕微鏡１０により所定の倍率で拡大された画像である。
【００３５】
画像表示装置４０は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末（すなわち、ビューワーに対応する装置）である。デジタル画像データの閲覧希望者は、画像管理サーバ３０に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ３０に対して要請する。画像管理サーバ３０からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置４０のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
【００３６】
付加情報管理サーバ５０は、画像表示装置４０においてサンプルのデジタル画像データを閲覧する閲覧者に対して付加的に提供される付加情報を管理するサーバである。付加情報管理サーバ５０は、閲覧者が操作する画像表示装置４０からの要求に応じて、付加情報を画像表示装置４０に提供する。
【００３７】
なお、本実施形態に係る画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなる画像表示システム２は、画像表示装置４０が、画像管理サーバ３０から顕微鏡画像を取得し、取得した顕微鏡画像を表示する顕微鏡画像表示領域のうち、サンプルに対応する部分以外の領域である余白領域に広告を始めとする付加情報を表示させる機能を有する。かかる機能を実現するための画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０の詳細な構成については、以下で改めて説明する。
【００３８】
また、図１では、システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０がそれぞれ１台ずつ存在する場合について図示しているが、顕微鏡画像管理システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０の台数は図１の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。また、画像管理サーバ３０と付加情報管理サーバ５０とは同じハードウェア上に実装されてもよい。顕微鏡１０と顕微鏡制御装置２０とが一体型の構成や、画像管理サーバ３０と画像表示装置４０とが一体型の構成も考えられる。
【００３９】
＜２．顕微鏡の全体構成＞
続いて、図２を参照しながら、本実施形態に係る顕微鏡１０の全体構成について説明する。図２は、本実施形態に係る顕微鏡１０及び顕微鏡制御装置２０の全体構成を示した説明図である。
【００４０】
［全体構成］
本実施形態に係る顕微鏡１０は、図２に例示したように、生体サンプルＳＰＬが配設されるプレパラートＰＲＴ全体の像であるサムネイル画像を撮像するサムネイル画像撮像部１１０と、生体サンプルＳＰＬが所定倍率で拡大された像である拡大画像を撮像する拡大画像撮像部１２０と、を有する。
【００４１】
プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルＳＰＬを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｎ−Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。
【００４２】
また、プレパラートＰＲＴには、対応する生体サンプルＳＰＬを特定するための付帯情報（例えば、サンプルを採取した人の氏名、採取日時、染色の種類等）が記載されたラベルが貼付されていてもよい。
【００４３】
本実施形態に係る顕微鏡１０には、上述のようなプレパラートＰＲＴが載置されるステージ１３０が設けられており、更に、ステージ１３０を様々な方向に移動させるためのステージ駆動機構１３５が設けられている。このステージ駆動機構１３５により、ステージ１３０を、ステージ面に対して平行となる方向（Ｘ軸−Ｙ軸方向）と、直交する方向（Ｚ軸方向）に自由に移動させることができる。
【００４４】
また、本実施形態に係る顕微鏡１０には、サンプルＳＰＬを含むプレパラートＰＲＴをステージ１４０に搬送するサンプル搬送装置１４１が設けられていても良い。かかる搬送装置１４１を設けることで、ステージ１４０に、撮像予定のサンプルが自動的に設置されるようになり、サンプルＳＰＬの入れ替えを自動化することが可能となる。
【００４５】
［サムネイル画像撮像部］
サムネイル画像撮像部１１０は、図２に示したように、光源１１１と、対物レンズ１１２と、撮像素子１１３と、を主に備える。
【００４６】
光源１１１は、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。光源１１１は、一般染色が施された生体サンプルＳＰＬを照明する光（以下、明視野照明光、又は、単に照明光とも称する。）と、特殊染色が施された生体サンプルＳＰＬを照明する光（以下、暗視野照明光とも称する。）と、を切り換えて照射可能である。また、光源１１１は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源１１１として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の２種類の光源が設けられることとなる。
【００４７】
更に、サムネイル画像撮像部１１０には、プレパラートＰＲＴに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源（図示せず。）が別途設けられていてもよい。
【００４８】
所定倍率の対物レンズ１１２は、プレパラート配置面におけるサムネイル画像撮像部１１０の基準位置の法線を光軸ＳＲＡとして、ステージ１３０のプレパラート配置面側に配設される。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１１２によって集光されて、対物レンズ１１２の後方（すなわち、照明光の進行方向）に設けられた撮像素子１１３に結像する。
【００４９】
撮像素子１１３には、ステージ１３０のプレパラート配置面に載置されたプレパラートＰＲＴ全体を包括する撮像範囲の光（換言すれば、プレパラートＰＲＴ全体を透過した透過光）が結像する。この撮像素子１１３上に結像した像が、プレパラートＰＲＴ全体を撮像した顕微鏡画像であるサムネイル画像となる。
【００５０】
［拡大画像撮像部］
拡大画像撮像部１２０は、図２に示したように、光源１２１と、コンデンサレンズ１２２と、対物レンズ１２３と、撮像素子１２４と、を主に備える。
【００５１】
光源１２１は、明視野照明光を照射するものであり、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。また、光源１２１とは異なる位置（例えばプレパラート配置面側）には、暗視野照明光を照射する光源（図示せず。）が設けられる。
【００５２】
コンデンサレンズ１２２は、光源１２１から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ１３０上のプレパラートＰＲＴに導くレンズである。このコンデンサレンズ１２２は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、光源１２１とステージ１３０との間に配設される。
【００５３】
所定倍率の対物レンズ１２３は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、ステージ１３０のプレパラート配置面側に配設される。拡大画像撮像部１２０では、この対物レンズ１２３を適宜交換することで、生体サンプルＳＰＬを様々な倍率に拡大して撮像することが可能となる。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１２３によって集光されて、対物レンズ１２３の後方（すなわち、照明光の進行方向）に設けられた撮像素子１２４に結像する。
【００５４】
撮像素子１２４には、撮像素子１２４の画素サイズ及び対物レンズ１２３の倍率に応じて、ステージ１３０のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ１２３により生体サンプルＳＰＬの一部が拡大されるため、上述の撮像範囲は、撮像素子１１３の撮像範囲に比べて十分に狭い範囲となる。
【００５５】
ここで、サムネイル画像撮像部１１０及び拡大画像撮像部１２０は、図２に示したように、それぞれの基準位置の法線である光軸ＳＲＡと光軸ＥＲＡとがＹ軸方向に距離Ｄだけ離れるように配置される。この距離Ｄは、撮像素子１１３の撮像範囲に拡大画像撮像部１２０の対物レンズ１２３を保持する鏡筒（図示せず）が写りこむことなく、かつ小型化のために近い距離に設定される。
【００５６】
なお、サムネイル画像撮像部１１０及び拡大画像撮像部１２０それぞれに設けられる撮像素子は、１次元撮像素子であってもよく、２次元撮像素子であってもよい。
【００５７】
＜３．顕微鏡制御装置の全体構成＞
本実施形態に係る顕微鏡１０には、図２に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置２０が接続されている。この顕微鏡制御装置２０は、図２に示したように、統括制御部２０１と、照明制御部２０３と、ステージ駆動制御部２０５と、サムネイル画像撮像制御部２０７と、拡大画像撮像制御部２０９と、記憶部２１１と、を主に備える。
【００５８】
ここで、照明制御部２０３は、光源１１１及び光源１２１を含む、顕微鏡１０が備える各種の光源を制御する処理部であり、ステージ駆動制御部２０５は、ステージ駆動機構１３５を制御する処理部である。また、サムネイル画像撮像制御部２０７は、サムネイル画像を撮像するための撮像素子１１３を制御する処理部であり、拡大画像撮像制御部２０９は、生体サンプルＳＰＬの拡大画像を撮像するための撮像素子１２４を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
【００５９】
また、本実施形態に係る顕微鏡制御装置２０には、顕微鏡全体の制御を行う制御部（統括制御部２０１）が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
【００６０】
これらの制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ストレージ装置、通信装置及び演算回路等により実現されるものである。
【００６１】
記憶部２１１は、本実施形態に係る顕微鏡制御装置２０が備えるストレージ装置の一例である。記憶部２１１には、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部２１１には、顕微鏡１０におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部２１１には、本実施形態に係る顕微鏡制御装置２０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【００６２】
この記憶部２１１は、顕微鏡制御装置２０が備える各処理部が自由に読み書きを行うことが可能である。
【００６３】
以下では、上記制御部について、それぞれその機能を簡単に説明するものとする。
【００６４】
［照明制御部］
照明制御部２０３は、本実施形態に係る顕微鏡１０が備える各種の光源を制御する処理部である。照明制御部２０３は、統括制御部２０１から生体サンプルＳＰＬの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
【００６５】
例えば、照明制御部２０３が、サムネイル画像撮像部１１０に設けられた光源１１１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野像を取得すべきモード（以下、明視野モードとも称する。）又は暗視野像を取得すべきモード（以下、暗視野モードとも称する。）のどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１１１に対して設定し、光源１１１から、各モードに適した照明光を照射させる。これにより、光源１１１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【００６６】
また、照明制御部２０３が、拡大画像撮像部１２０に設けられた光源１２１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１２１に対して設定し、光源１２１から、各モードに適した照明光を照射させる。これにより、光源１２１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【００６７】
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
【００６８】
［ステージ駆動制御部］
ステージ駆動制御部２０５は、本実施形態に係る顕微鏡１０に設けられたステージを駆動するためのステージ駆動機構１３５を制御する処理部である。ステージ駆動制御部２０５は、統括制御部２０１から生体サンプルＳＰＬの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構１３５の制御を行う。
【００６９】
例えば、本実施形態に係る顕微鏡１０により、サムネイル画像を撮像する場合に着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬのサムネイル画像を撮像する旨の情報が出力されると、プレパラートＰＲＴ全体が撮像素子１１３の撮像範囲に入るように、ステージ面方向（Ｘ―Ｙ軸方向）にステージ１３０を移動させる。また、ステージ駆動制御部２０５は、プレパラートＰＲＴ全体に対物レンズ１１２の焦点が合うように、ステージ１３０をＺ軸方向に移動させる。
【００７０】
また、本実施形態に係る顕微鏡１０により、拡大画像を撮像する場合について着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬの拡大画像を撮像する旨の情報が出力されると、ステージ駆動機構１３５を駆動制御し、光源１１１と対物レンズ１１２との間からコンデンサレンズ１２２と対物レンズ１２３との間に生体サンプルＳＰＬが位置するよう、ステージ面方向にステージ１３０を移動させる。
【００７１】
また、ステージ駆動制御部２０５は、撮像素子１２４に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向（Ｘ−Ｙ軸方向）にステージ１３０を移動させる。
【００７２】
更に、ステージ駆動制御部２０５は、ステージ駆動機構１３５を駆動制御して、所定の撮影範囲内に位置する生体サンプルＳＰＬの部位が対物レンズ１２３の焦点に合うように、ステージ面に直交する方向（Ｚ軸方向、組織切片の奥行方向）にステージ１３０を移動させる。
【００７３】
［サムネイル画像撮像制御部］
サムネイル画像撮像制御部２０７は、サムネイル画像撮像部１１０に設けられた撮像素子１１３の制御を行う処理部である。サムネイル画像撮像制御部２０７は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１１３に設定する。また、サムネイル画像撮像制御部２０７は、撮像素子１１３から出力される、撮像素子１１３の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル画像に対応する出力信号とする。サムネイル画像撮像制御部２０７は、サムネイル画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、サムネイル画像撮像制御部２０７が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【００７４】
［拡大画像撮像制御部］
拡大画像撮像制御部２０９は、拡大画像撮像部１２０に設けられた撮像素子１２４の制御を行う処理部である。拡大画像撮像制御部２０９は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１２４に設定する。また、拡大画像撮像制御部２０９は、撮像素子１２４から出力される、撮像素子１２４の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大画像に対応する出力信号とする。拡大画像撮像制御部２０９は、拡大画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、拡大画像撮像制御部２０９が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【００７５】
［統括制御部］
統括制御部２０１は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。統括制御部２０１は、サンプルのサムネイル画像を参照して、プレパラート内におけるサンプル（検体）の位置を検出するとともに、プレパラート内においてサンプルが位置している領域を、拡大画像を撮像すべき領域と判断する。統括制御部２０１は、拡大画像を撮像すべき領域を、顕微鏡１０の倍率に応じて複数の領域に分割し、これらの領域それぞれを撮像していく。これにより、１つのサンプルに関する複数の拡大画像が取得される。その後、統括制御部２０１は、サムネイル画像及び拡大画像からなる顕微鏡画像データを、ネットワーク３を介して画像管理サーバ３０にアップロードする。これにより、顕微鏡１０によって撮像されたサンプルの顕微鏡画像が、ネットワーク３に接続されたクライアント機器である画像表示装置４０によって閲覧可能となる。
【００７６】
以上説明したように、顕微鏡制御装置２０により顕微鏡１０を制御することによって、サムネイル画像及び拡大画像を含む顕微鏡画像が取得される。図３を参照すると、プレパラートＰＲＴ上に載置されたサンプルＳＰＬを顕微鏡１０により撮像することにより、まず全体像であるサムネイル画像が撮像される。そして、このサムネイル画像からサンプルが載置されている領域、即ち拡大画像を撮像すべき領域が抽出される。このサンプルは、複数の拡大画像として撮像され、サムネイル画像及び拡大画像は、画像管理サーバ３０により管理される。
【００７７】
また、サムネイル画像を取得する際には、プレパラートＰＲＴに貼付けられたラベルの情報を読み取ってデジタルデータ化されてもよい。ラベルには、観察組織名及び染色種類などの情報が記載されていることがある。一般的に知られているＯＣＲ機能を用いることにより、これらのラベル画像からサンプルの特徴を示すサンプル特徴情報を生成することができる。このサンプル特徴情報は、顕微鏡画像データと共に、画像管理サーバ３０に格納されてもよい。
【００７８】
＜４．画像管理サーバの構成＞
次に、本実施形態に係る画像管理サーバ３０の構成について、図４を参照しながら説明する。図４は、本実施形態に係る画像表示システムの構成を示すブロック図である。
【００７９】
画像管理サーバ３０は、上述した顕微鏡１０及び顕微鏡制御装置２０の機能により取得された顕微鏡画像を管理する装置である。画像管理サーバ３０は、通信制御部３０１と、顕微鏡画像管理部３０３と、記憶部３０５とを主に有する。
【００８０】
通信制御部３０１は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ，通信装置等により実現される。通信制御部３０１は、画像管理サーバ３０と、顕微鏡制御装置２０及び画像表示装置との間で、ネットワーク３を介して行われる通信の制御を行う。
【００８１】
画像管理部３０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像管理部３０３は、画像管理サーバ３０内で管理される顕微鏡画像等の管理全般を制御する機能を有する。例えば、画像管理部３０３は、顕微鏡制御装置２０から送信された顕微鏡画像データを、通信制御部３０１を介して取得し、後述する記憶部３０５の顕微鏡画像格納領域に格納する機能を有する。また、画像管理部３０３は、画像表示装置４０からの要求に応じて、記憶部３０５の所定の格納領域に格納されている顕微鏡画像データを、画像表示装置４０に提供する機能を有する。
【００８２】
記憶部３０５は、本実施形態に係る画像管理サーバ３０が備えるストレージ装置の一例である。記憶部３０５には、顕微鏡画像データや、顕微鏡画像と対応づけられたサンプルの特徴情報や、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部３０５には、顕微鏡画像データの格納履歴や顕微鏡画像データの提供履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部３０５には、各種のデータベースやプログラム等が適宜記憶されてもよい。
【００８３】
＜５．画像表示装置の構成＞
次に、本実施形態に係る画像表示装置４０の構成について、図４を参照しながら説明する。画像表示装置４０は、ユーザ操作情報取得部４０１と、顕微鏡画像取得部４０３と、表示制御部４０５と、付加情報取得部４０７と、通信制御部４０９と、記憶部４１１との機能を主に有する。
【００８４】
ユーザ操作情報取得部４０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。ユーザ操作情報取得部４０１は、キーボード、マウス、タッチパネル等といった入力装置から出力された、当該入力装置にユーザが行ったユーザ操作に対応する出力信号を取得して、ユーザが行った操作（ユーザ操作）を表すユーザ操作情報を生成する。ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する顕微鏡画像取得部４０３、表示制御部４０５及び表示画像選択部４０７に出力する。また、ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する記憶部４１１に格納して、履歴情報としてもよい。
【００８５】
ここで、キーボード、マウス、タッチパネル等の入力装置にユーザが行う操作の一例として、例えば、顕微鏡画像の選択処理や、ある顕微鏡画像についての表示領域の変更処理等を挙げることができる。また、ユーザが行うユーザ操作は、これらの例に限定されるわけではなく、ユーザが行ったユーザ操作は、適宜当該ユーザ操作を表すユーザ操作情報へと変換され、各処理部へと出力される。
【００８６】
顕微鏡画像取得部４０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。顕微鏡画像取得部４０３は、ユーザ操作情報取得部４０１から出力された、顕微鏡画像の一覧の取得開始を示すユーザ操作情報に応じて、画像管理サーバ３０から、当該画像管理サーバ３０が管理している顕微鏡画像の一覧（リスト）を取得する。また、顕微鏡画像取得部４０３は、ユーザ操作により、あるサンプルの顕微鏡画像が選択されると、選択されたサンプルに対応する顕微鏡画像の送信リクエストを、画像管理サーバ３０に送信する。
【００８７】
顕微鏡画像取得部４０３は、選択されたサンプルに対応する複数のデジタル画像からなる顕微鏡画像のデータを画像管理サーバ３０から取得すると、取得した顕微鏡画像のデータを、後述する表示制御部４０５に出力する。また、顕微鏡画像取得部４０３は、取得した顕微鏡画像のデータを、記憶部４１１に格納してもよい。
【００８８】
表示制御部４０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表示制御部４０５は、本実施形態に係る画像表示装置４０が備えるディスプレイ等の表示装置に表示される表示画面の制御を行う。また、表示制御部４０５は、ユーザ操作情報取得部４０１から出力されるユーザ操作情報に応じて、表示画面に表示されている内容を変更することができる。なお、表示画面中の顕微鏡画像が表示される領域のことを、以下、顕微鏡画像表示領域という。
【００８９】
具体的には、表示制御部４０５は、顕微鏡画像取得部４０３から、顕微鏡画像の一覧に関する情報が出力されると、出力された情報に基づいて、ユーザが閲覧可能な顕微鏡画像のリストを、表示画面に表示する。また、表示制御部４０５は、ユーザ操作情報として顕微鏡画像の表示を開始する情報が出力された場合に、ユーザ操作情報に応じて表示する顕微鏡画像を選択し、サンプルの拡大像を、表示画面に表示する。また、ユーザ操作情報として、表示画面に表示されている表示領域を変更する情報が出力された場合には、表示画面内で拡大像を上下左右に（平面内で）動かしたり、ズーム・パンなど拡大縮小表示したり、奥行き方向に焦点位置を変えるように動かしたりする。
【００９０】
また、表示制御部４０５は、画像表示装置４０の表示画面に表示する内容として、記憶部４１１等に格納されている各種の情報を利用することが可能である。なお、この表示制御部の詳細な機能については、後述される。
【００９１】
付加情報取得部４０７は、後述される付加情報を管理する付加情報管理サーバ５０が付加情報を抽出するための情報を送信し、送信した情報に基づいて選択された付加情報を付加情報管理サーバ５０から取得する機能を有する。また、付加情報取得部４０７は、取得された付加情報を表示制御部４０５に対して出力する。
【００９２】
なお、ここで送信される情報としては、例えば、観察中のサンプルを特徴付けるサンプル特徴情報、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報、及び顕微鏡画像表示領域の観察している時点における表示状態に関する表示状態情報などが挙げられる。例えば、付加情報取得部４０７は、サンプル特徴情報を画像管理サーバ３０から取得される顕微鏡画像に付随するメタデータから取得して用いてもよい。また、付加情報取得部４０７は、ユーザ特徴情報を、記憶部４１１から取得して用いてもよい。ユーザ特徴情報は、例えば、ユーザＩＤ、所属病院名、専門領域が含まれていてもよい。また、表示制御部４０５がユーザ単位で閲覧履歴を取得する構成を有する場合には、ユーザ特徴情報は、履歴情報を含んでもよい。或いは、ユーザ特徴情報は、ユーザ個人に対応づけられた情報だけでなく、画像表示装置４０と対応づけられた情報を含んでもよい。この場合、ユーザ特徴情報は、画像表示装置４０の設置場所、画像表示装置４０を特定するためのＩＤなどを含むことができる。また、表示状態情報は、表示制御部４０５の機能により取得される表示状態情報である。
【００９３】
通信制御部４０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部４０９は、画像表示装置４０と、画像表示装置４０の外部に設けられた画像管理サーバ３０及び付加情報管理サーバ５０との間で、ネットワーク３を介して行われる通信の制御を行う。
【００９４】
記憶部４１１は、本実施形態に係る画像表示装置４０が備えるストレージ装置の一例である。記憶部４１１には、例えば、画像管理サーバ３０から取得した顕微鏡画像データや、付加情報管理サーバ５０から取得した付加情報データが格納される。また、記憶部４１１には、顕微鏡画像データの取得履歴、及び付加情報データの取得履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部４１１には、本実施形態に係る画像表示装置４０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【００９５】
以上、本実施形態に係る画像表示装置４０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００９６】
なお、上述のような本実施形態に係る画像表示装置４０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００９７】
次に、図５〜図７を参照しながら、本実施形態における画像表示方法の概要について説明する。そして、かかる機能を実現するための表示制御部４０５を中心とした画像表示装置４０の機能構成について、図８を用いて説明する。
【００９８】
まず、図５を参照すると、顕微鏡画像表示領域の表示の一例が示されている。この顕微鏡画像表示領域の表示は、ユーザ操作に応じて表示制御部４０５が制御することにより、指定された箇所を拡大したり、縮小したり、あるいは表示する領域を上下左右に動かすことができる。図５（ａ）を参照すると、顕微鏡画像表示領域は、番号が振られた複数の矩形領域である顕微鏡画像が存在する領域と、符号ＢＬ１で示される顕微鏡画像が存在しない領域とが含まれる。上述の通り、顕微鏡画像は、データ量の削減のために、サンプルが存在する領域のみを選択的に撮像している。このため、顕微鏡画像が存在しない領域ＢＬ１が含まれる。
【００９９】
また、図５（ｂ）を参照すると、図５（ａ）を拡大した状態の顕微鏡画像表示領域が示される。ここで、顕微鏡画像が存在する領域中は、顕微鏡画像中のサンプル部分に該当する領域と、サンプル部分に該当しない領域ＢＬ２とに分けることができる。
【０１００】
本実施形態に係る画像表示装置４０は、顕微鏡画像表示領域を、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とに分ける。上述されたとおり、観察者の観察対象はサンプル部分である。しかし、観察対象であるサンプルは、多くの場合一定の形状を有しておらず、サンプル毎に形状が異なる。即ち、この第２の領域の形状及びサイズも、サンプル毎に異なる場合が多い。そこで、画像表示装置４０は、この第２の領域に、顕微鏡画像に付随する付加的な情報である付加情報を表示させることによって、サンプル部分に該当しない領域を有効に利用しようとするものである。
【０１０１】
例えば、図６に示すように、画像表示装置４０は、顕微鏡画像表示領域中において表示する顕微鏡画像が存在しない領域ＢＬ１部分に付加情報ＡＤＤを表示させてもよい。付加情報ＡＤＤは、例えば図６（ａ）のように倍率の低い表示状態や、図６（ｂ）のようにサンプルＳＰＬの端部に近い領域が表示されている状態において表示される。図６（ｃ）に示されるように、観察倍率の高い状態においては表示されないようにしてもよい。
【０１０２】
また、図７に示すように、画像表示装置４０は、顕微鏡画像中のサンプル部分に該当しない領域も合わせて第２の領域と判定し（即ち、図５の符号ＢＬ１及びＢＬ２で示される領域を合わせて第２の領域とする。）、かかる第２の領域に付加情報ＡＤＤを表示させてもよい。
【０１０３】
かかる機能を実現するための画像表示装置４０の詳細な構成について、図８を参照しながら説明する。図８を参照すると、表示制御部４０５は、表示画面生成部４２１と、領域判定部４２３と、色彩情報生成部４２５と、付加情報選択部４２７との機能を主に有する。
【０１０４】
表示画面生成部４２１は、顕微鏡画像表示領域を含む表示画面を生成する機能を有する。表示画面生成部４２１は、例えば、顕微鏡画像取得部４０３が画像管理サーバ３０から取得した顕微鏡画像を用いて、ユーザ操作情報取得部４０１から入力される操作情報に基づいて表示画面を生成する。このとき、表示画面生成部４２１は、顕微鏡画像取得部４０３から直接入力された顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像取得部４０３が記憶部４１１に記憶した顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像表示領域中において、上述した第２の領域に付加情報を表示する表示画面を生成することができる。
【０１０５】
表示画面生成部４２１は、少なくとも顕微鏡画像表示領域を含む表示画面を生成すると、領域判定部４２３及び色彩情報生成部４２５に生成した表示画面を入力するとともに、顕微鏡画像表示領域に表示している顕微鏡画像に付随して取得されるメタデータを、サンプルを特徴づけるサンプル特徴情報として付加情報取得部４０７に入力する。
【０１０６】
そして、表示画面生成部４２１は、付加情報選択部４２７により選択された付加情報を第２の領域に含む表示画面を生成する。
【０１０７】
領域判定部４２３は、表示画面生成部４２１が生成する表示画面の顕微鏡画像表示領域において、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とのいずれであるかを判定する機能を有する。領域判定部４２３は、上述の通り、顕微鏡画像表示領域の中で、表示する顕微鏡画像が存在しない領域（図５のＢＬ１）を第２の領域とする。また、領域判定部４２３は、顕微鏡画像表示領域に表示される顕微鏡画像の中で、サンプルに対応する部分に該当しない領域も合わせて第２の領域であると判定してもよい。
【０１０８】
色彩情報生成部４２５は、顕微鏡画像表示領域に表示される顕微鏡画像の色彩の特徴を示す色彩情報を生成する機能を有する。例えば、この色彩情報は、顕微鏡画像の色彩情報に基づいて、顕微鏡画像表示領域の第２の領域に表示される付加情報を選択するために用いられる。即ち、この色彩情報は、後述される付加情報管理サーバ５０の抽出部５１３が画像表示装置４０に提供する付加情報を選択するとき、或いは、画像表示装置４０の付加情報選択部４２７が、第２の領域に表示する付加情報を選択するときに用いられる。
【０１０９】
具体的には、抽出部５１３及び付加情報選択部４２７は、対象となる第２の領域の周りの顕微鏡画像の色彩と付加情報の色彩とを並べたときに付加情報が人目を引くような色彩の組み合わせとなるように付加情報を選択してもよい。或いは、抽出部５１３及び付加情報選択部４２７は、観察者のサンプル観察行為の邪魔とならないように、付加情報に対して顕微鏡画像が際立つような色彩の組み合わせとなるように、付加情報を選択してもよい。
【０１１０】
付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、対象とする第２の領域に表示させる付加情報を選択する機能を有する。付加情報選択部４２７は、選択した付加情報に関する情報を表示画面生成部４２１に入力する。付加情報選択部４２７は、領域判定部４２３の判定に基づいた、対象とする第２の領域のサイズを示す情報、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報、及び、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて、付加情報を選択する。
【０１１１】
付加情報選択部４２７は、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、表示させる付加情報を選択する。すなわち、顕微鏡画像表示領域の表示状態が変化すると、第２の領域の大きさ及び位置は変化する。このため、付加情報選択部４２７は、表示状態が変化する毎に表示する付加情報を選択する。
【０１１２】
付加情報取得部４０７は、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報を表示制御部４０５から取得して、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、記憶部４１１に記憶されたユーザ情報を取得し、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、色彩情報生成部４２５により生成される色彩情報を付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、領域判定部４２３により第２の領域と判定された領域のサイズを示す情報を生成して付加情報管理サーバ５０に送信してもよい。付加情報取得部４０７は、送信した情報に基づいて付加情報管理サーバ５０が選択した付加情報を取得して表示制御部４０５に入力する。
【０１１３】
付加情報取得部４０７は、顕微鏡画像表示領域中に複数の第２の領域が存在する場合には、そのそれぞれについて付加情報管理サーバ５０に付加情報の取得要求を送信してもよい。或いは、複数の第２の領域について、まとめて付加情報の取得要求が送信されてもよい。
【０１１４】
また、付加情報取得部４０７は、上記実施形態においては、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、付加情報管理サーバ５０から付加情報を取得する構成としたが、本発明はかかる例に限定されない。例えば、付加情報取得部４０７は、画像表示装置４０の起動時に、まとめて付加情報管理サーバ５０から付加情報を取得して、取得した付加情報を記憶部４１１に記憶しておいてもよい。この場合、付加情報選択部４２７が顕微鏡画像表示領域の表示状態に応じた付加情報を選択する。この付加情報は、例えば日次の更新処理が行われる。
【０１１５】
或いは、付加情報取得部４０７は、サンプル特徴情報を付加情報管理サーバ５０に送信して、観察対象となるサンプルの変更タイミングで付加情報をまとめて取得してもよい。かかる場合においても、ユーザ操作に応じた表示状態変更のタイミングでは、付加情報選択部４２７が表示させる付加情報を選択する。この他、付加情報を取得するタイミングや諸条件については、各種の変形例を用いることが可能である。
【０１１６】
＜６．付加情報管理サーバの構成＞
次に、図４及び図９を参照しながら付加情報管理サーバ５０の構成について説明する。図９は、付加情報管理サーバ５０の付加情報管理部５０３の詳細な機能を説明するためのブロック図である。
【０１１７】
まず図４を参照すると、付加情報管理サーバ５０は、通信制御部５０１と、付加情報管理部５０３と、記憶部５０５とを主に有する。図９を参照すると、付加情報管理部５０３は、抽出部５１３と、履歴情報生成部５１５と、課金処理部５１７との機能を主に有する。
【０１１８】
通信制御部５０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部５０１は、付加情報管理サーバ５０と、付加情報管理サーバ５０の外部に設けられた画像表示装置４０との間で、ネットワーク３を介して行われる通信の制御を行う。
【０１１９】
付加情報管理部５０３は、記憶部５０５に記憶される付加情報に関する各種の操作を制御する機能を有する。付加情報管理部５０３は、画像表示装置からの要求に応じて、記憶部５０５の中から画像表示装置４０に提供する付加情報を抽出する抽出部５１３の機能を有する。このとき抽出部５１３は、画像表示装置４０から付加情報の取得要求と共に送信される各種の情報に基づいて付加情報を抽出することができる。或いは、抽出部５１３は、付加情報の取得要求に特に提供する付加情報を選択する条件が含まれない場合には、記憶される全ての付加情報を抽出して画像表示装置に提供してもよい。
【０１２０】
また、付加情報管理部５０３は、画像表示装置に提供した付加情報の履歴情報を生成する履歴情報生成部５１５の機能を有していてもよい。この履歴情報は、例えば抽出部５１３が画像表示装置４０に対して提供した付加情報のデータ量、回数などの情報がユーザＩＤと対応づけて記憶されてもよい。或いは、付加情報毎に提供されたデータ量及び回数が記憶されてもよい。また、履歴情報は、抽出部５１３により提供された後、画像表示装置４０において表示されたか否か、表示された場合には表示時間、及び、表示された付加情報をユーザがクリックすることによりより詳細な情報がブラウザ等により提供される場合には、かかるクリック操作の有無の情報が含まれていてもよい。この場合には、履歴情報生成部５１５は、画像表示装置４０の表示制御部４０５からかかる情報を取得することにより履歴情報を生成することができる。また、付加情報管理部５０３は、履歴情報に基づいて、付加情報を提供する者（例えば、広告主）毎に課金金額を集計する課金処理部５１７の機能を有することができる。
【０１２１】
このように、付加情報管理サーバ５０は、画像表示装置４０の要求に応じて付加情報を提供する機能だけでなく、提供された付加情報に関する履歴情報を生成する機能を有する。このため、付加情報管理サーバ５０を運営する事業者は、付加情報を提供する者から情報表示料を徴収するための情報を得ることができる。この情報に基づいて付加情報を提供する者から情報表示料を徴収すれば、顕微鏡画像管理システムの運営事業者は、ビューワー装置を安価又は無償にて医療関係者などのユーザに提供又はリースすることが可能となる。
【０１２２】
記憶部５０５は、本実施形態に係る付加情報管理サーバ５０が備えるストレージ装置の一例である。記憶部５０５には、画像表示装置４０に提供するための付加情報や、付加情報の提供に関する履歴情報が格納される。さらに、記憶部５０５には、本実施形態に係る付加情報管理サーバ５０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【０１２３】
ここで、付加情報は、画像表示装置４０において、顕微鏡画像と付随して提供される情報である。例えば、付加情報は、医療機器又は医薬品の広告情報、学会記事、最新論文、又は厚生労働省からの通達など、観察対象と関連する情報であることが望ましい。画像表示装置４０においては、この記憶部５０５に記憶される付加情報の中から、抽出部５１３又は画像表示装置４０の付加情報選択部４２７において選択される付加情報が表示される。このとき、抽出部５１３又は付加情報選択部４２７は、観察対象であるサンプル又はユーザ個人を特徴づける情報に基づいて表示される付加情報を選択するため、ユーザは、観察対象のサンプル又はユーザ自身に関連する付加情報を得ることができる。
【０１２４】
また、付加情報は、付加情報管理サーバ５０によって一元的に管理されており、付加情報の提供事業者等によって、時々刻々と削除、更新、新規追加などの処理がなされている。付加情報は、付加情報管理サーバ５０により都度最新の状態に更新されており、画像表示装置４０は、表示毎に、又は適切な頻度でこの付加情報管理サーバ５０から付加情報を取得して表示画面内に付加情報を表示する。このため、表示される付加情報は、表示される顕微鏡画像の撮像日次に影響されず、この顕微鏡画像を表示する時点において最新の情報がユーザに提供される。
【０１２５】
＜７．顕微鏡画像表示の流れ＞
次に、図１０を用いて、本実施形態に係る顕微鏡画像表示の流れについて説明する。まず、顕微鏡画像取得部４０３は、ユーザ操作によって指定されたサンプルの顕微鏡画像と、顕微鏡画像に付随するメタデータとを画像管理サーバ３０から取得する（Ｓ１０１）。このとき、例えば画像表示装置４０は、画像管理サーバ３０から、提供されるサンプルのリストを取得して取得したリストを表示画面に表示し、かかるリストの中からユーザが選択したサンプルについての顕微鏡画像取得要求を画像管理サーバ３０に送信することによって、顕微鏡画像等を取得する。
【０１２６】
次に、表示制御部４０５は、ユーザから終了操作がなされたか否かを判断する（Ｓ１０３）。終了操作がなされたと判断された場合には、本表示動作は終了する。一方、終了操作が検出されない場合には、終了操作が検出されるまで以下のステップＳ１０５〜ステップＳ１１３の動作が繰り返される。
【０１２７】
次に、表示制御部４０５は、ユーザ操作に応じて、ステップＳ１０１において取得された顕微鏡画像から表示画面を生成する（Ｓ１０５）。具体的には、表示画面中の顕微鏡画像表示領域に、取得した顕微鏡画像のうちユーザ操作により指定された領域の顕微鏡画像を表示させる。
【０１２８】
そして、生成された表示画面の顕微鏡画像表示領域を解析して余白領域を抽出する（Ｓ１０７）。余白領域とは、上述の第２の領域のことであり、サンプルに対応する部分に該当しない領域をいう。
【０１２９】
次に、付加情報取得部４０７は、付加情報を取得する（Ｓ１０９）。このとき、付加情報取得部４０７は、ユーザ特徴情報、サンプル特徴情報、又は顕微鏡画像表示領域の表示状態を示す表示状態情報の少なくともいずれかを付加情報管理サーバ５０に送信して、これらの情報に基づいて選択された付加情報を取得する。
【０１３０】
すると、付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、顕微鏡画像表示領域のうちサンプルに対応する部分に該当しない第２の領域に表示する付加情報を選択する（Ｓ１１１）。なお、このステップＳ１１１の動作については、付加情報取得部４０７が常に第２の領域毎の付加情報を取得する場合には省略することが可能である。
【０１３１】
そして、表示画面生成部４２１は、選択された付加情報を第２の領域に含む表示画面を生成して、この表示画面の表示を制御する（Ｓ１１３）。
【０１３２】
＜８．まとめ＞
以上説明したように、本実施形態に係る画像表示システム２によれば、顕微鏡画像を表示する領域において、サンプルが表示される部分以外の無駄となっていた第２の領域を利用して付加情報を提供することができる。観察対象とされるサンプルは、サンプル毎に異なる形状を有しており、ユーザ操作に応じて表示状態が変更される毎にこの第２の領域の形状及びサイズは変化する。画像表示装置４０は、第２の領域を判定する構成を有しているため、表示状態の変化に応じた付加情報をユーザに提供することができる。また、付加情報管理サーバ５０は、この付加情報の提供履歴情報を生成する機能を有するため、付加情報の情報表示料を徴収することにより、画像表示のためのソフトウェアを安価又は無償にて提供することが可能となる。
【０１３３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３４】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１３５】
１ 顕微鏡画像管理システム
２ 画像表示システム
３ ネットワーク
１０ 顕微鏡
２０ 顕微鏡制御装置
３０ 画像管理サーバ
４０ 画像表示装置
５０ 付加情報管理サーバ
４０１ ユーザ操作情報取得部
４０３ 顕微鏡画像取得部
４０５ 表示制御部
４０７ 付加情報取得部
４０９ 通信制御部
４１１ 記憶部
４２１ 表示画面生成部
４２３ 領域判定部
４２７ 付加情報選択部
４２５ 色彩情報生成部
５０３ 付加情報管理部
５１３ 抽出部
５１５ 履歴情報生成部
５１７ 課金処理部
【技術分野】
【０００１】
本発明は、画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
細胞組織スライド等のサンプルを観察する顕微鏡を用いて、サンプルの顕微鏡による観察像をデジタル画像として保存し、保存した顕微鏡画像をインターネットやイントラネット上に設けられた他の装置で観察する技術が提案されている（例えば、以下の特許文献１を参照。）。このような技術を用いることで、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー（ｔｅｌｅｐａｔｈｏｌｏｇｙ）の発展を促すことが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２２２８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、顕微鏡画像の観察者は、顕微鏡画像を観察する端末において、マウスなどの入力装置を操作し、操作に応じた表示領域の顕微鏡画像を観察する。このとき、観察者は、顕微鏡画像のうちサンプル部分を観察することを望んでいる。ところが、例えば表示倍率が低い場合、又は、顕微鏡画像を表示している領域がサンプルの端部に近い場合には、顕微鏡画像の表示領域中に観察対象であるサンプルを含まない領域が含まれてしまう場合があり、このサンプルを含まない領域は利用されず無駄になっているという問題があった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置が提供される。
【０００７】
顕微鏡で観察されるサンプルは、通常サンプル毎に異なる形状を有している。このため、顕微鏡画像を表示する領域内において、サンプルが存在しない第２の領域が存在する。上記構成によれば、サンプルに対応する部分を含まない第２の領域を有効に利用して、ユーザに顕微鏡画像に付随する付加的な情報を提供することができる。
【０００８】
上記付加情報取得部は、上記サンプルを特徴づけるサンプル特徴情報、及び、上記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された上記付加情報を取得してもよい。
【０００９】
上記付加情報取得部は、上記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された上記付加情報を取得してもよい。
【００１０】
上記表示状態情報は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像の色彩の特徴を示す色彩情報を含んでもよい。
【００１１】
上記表示状態情報は、上記第２の領域の形状を示す情報を含んでもよい。
【００１２】
上記表示制御部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像から上記第２の領域を判定する領域判定部をさらに有し、上記領域判定部は、上記顕微鏡画像表示領域のうち表示する上記顕微鏡画像が存在しない領域を上記第２の領域と判定してもよい。
【００１３】
上記領域判定部は、上記顕微鏡画像表示領域に表示される上記顕微鏡画像のうち上記サンプル部分に該当しない領域をさらに上記第２の領域と判定してもよい。
【００１４】
上記表示制御部は、上記付加情報取得部が取得する付加情報から上記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、上記顕微鏡画像を表示する画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部とを有する、付加情報管理サーバが提供される。
【００１６】
また、上記抽出部は、上記画像表示装置から送信される、上記サンプルを特徴づけるサンプル特徴情報、上記ユーザを特徴づけるユーザ特徴情報、上記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて上記付加情報を選択してもよい。
【００１７】
また、上記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに有するものであってもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、を有する画像表示装置と、上記付加情報を記憶部と、上記画像表示装置からの要求に応じて、上記記憶部の中から上記画像表示装置に提供する付加情報を抽出する抽出部と、を有する付加情報管理サーバと、を有する画像表示システムが提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、上記顕微鏡画像を取得するステップと、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、上記付加情報を上記第２の領域に含む上記顕微鏡画像表示領域の表示を制御するステップと、を含む、画像表示方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、上記顕微鏡画像が表示され、上記サンプルに対応する部分からなる第１の領域と、上記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、上記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部とを有する、画像表示装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、顕微鏡画像の表示領域においてサンプルを含まない部分を利用して付加情報を提供することが可能な、新規かつ改良された画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る顕微鏡画像管理システムの構成を示した説明図である。
【図２】同実施形態に係る顕微鏡及び顕微鏡制御装置の全体構成を示した説明図である。
【図３】顕微鏡画像取得の概要を説明するための説明図である。
【図４】同実施形態に係る画像表示システムの構成を示した説明図である。
【図５】顕微鏡画像表示領域の表示の一例を示す説明図である。
【図６】付加情報を含む顕微鏡画像表示領域の表示の一例を示す説明図である。
【図７】付加情報を含む顕微鏡画像表示領域の表示の他の一例を示す説明図である。
【図８】同実施形態に係る画像表示装置の表示制御部の詳細な構成を示した説明図である。
【図９】同実施形態に係る付加情報管理サーバの付加情報管理部の詳細な構成を示した説明図である。
【図１０】同実施形態に係る顕微鏡画像表示の流れを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．顕微鏡画像管理システムの構成
２．顕微鏡の構成
３．顕微鏡制御装置の構成
４．画像管理サーバの構成
５．画像表示装置の構成
６．付加情報管理サーバの構成
７．顕微鏡画像表示の流れ
８．まとめ
【００２５】
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル（細胞組織サンプル）を例に挙げて説明を行うが、かかる場合に限定されるわけではない。
【００２６】
＜１．顕微鏡画像管理システムの構成＞
まず、図１を参照しながら、本発明の第１の実施形態に係る顕微鏡画像管理システム１の構成について説明する。図１は、本実施形態に係る顕微鏡画像管理システム１の構成を示した説明図である。
【００２７】
本実施形態に係る顕微鏡画像管理システム１は、図１に示したように、顕微鏡１０と、顕微鏡制御装置２０と、画像管理サーバ３０と、画像表示装置４０と、付加情報管理サーバ５０とを有する。また、顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０は、ネットワーク３を介して接続されている。
【００２８】
なお、後述するが、本実施形態に係る顕微鏡画像管理システム１のうち、本実施形態においては特に画像を表示する機能について注目しているため、かかる機能に関連する画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなるシステムを画像表示システム２とよぶ。以下、本実施形態に係る画像表示システム２の特徴の理解を容易にするために、画像表示システムで用いる顕微鏡画像を取得する構成についても合わせて説明する。
【００２９】
ネットワーク３は、本実施形態に係る顕微鏡制御装置２０、画像管理サーバ３０、画像表示装置４０、付加情報管理サーバ５０を互いに双方向通信可能に接続する通信回線網である。このネットワーク３は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。また、このネットワーク３は、本実施形態に係る顕微鏡画像管理システム１に専用に設けられた通信回線網であってもよい。
【００３０】
顕微鏡１０は、当該顕微鏡１０のステージ上に載置されたサンプル（例えば生体サンプル）に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡１０の全体構成については、以下で改めて詳細に説明する。
【００３１】
顕微鏡１０は、顕微鏡制御装置２０によって駆動制御されており、顕微鏡１０が撮像したサンプル画像は、顕微鏡制御装置２０を介して画像管理サーバ３０に格納される。
【００３２】
顕微鏡制御装置２０は、サンプルを撮像する顕微鏡１０の駆動制御を行う装置である。顕微鏡制御装置２０は、顕微鏡１０を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置２０は、得られたサンプルのデジタル画像データを、画像管理サーバ３０にアップロードする。なお、本実施形態に係る顕微鏡制御装置２０の詳細な構成については、以下で改めて説明する。
【００３３】
画像管理サーバ３０は、顕微鏡１０によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ３０は、顕微鏡制御装置２０からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ３０は、閲覧者が操作する画像表示装置４０（すなわち、ビューワーに対応する装置）から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置４０に提供する。
【００３４】
なお、ここでサンプルのデジタル画像データは、サンプルのサムネイル画像と拡大画像とを含む顕微鏡画像である。詳しくは後述されるが、サムネイル画像は、サンプルを載置したプレパラートの全体像を撮像した画像であり、拡大画像は、サンプルが顕微鏡１０により所定の倍率で拡大された画像である。
【００３５】
画像表示装置４０は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末（すなわち、ビューワーに対応する装置）である。デジタル画像データの閲覧希望者は、画像管理サーバ３０に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ３０に対して要請する。画像管理サーバ３０からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置４０のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
【００３６】
付加情報管理サーバ５０は、画像表示装置４０においてサンプルのデジタル画像データを閲覧する閲覧者に対して付加的に提供される付加情報を管理するサーバである。付加情報管理サーバ５０は、閲覧者が操作する画像表示装置４０からの要求に応じて、付加情報を画像表示装置４０に提供する。
【００３７】
なお、本実施形態に係る画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０からなる画像表示システム２は、画像表示装置４０が、画像管理サーバ３０から顕微鏡画像を取得し、取得した顕微鏡画像を表示する顕微鏡画像表示領域のうち、サンプルに対応する部分以外の領域である余白領域に広告を始めとする付加情報を表示させる機能を有する。かかる機能を実現するための画像管理サーバ３０、画像表示装置４０、及び付加情報管理サーバ５０の詳細な構成については、以下で改めて説明する。
【００３８】
また、図１では、システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０がそれぞれ１台ずつ存在する場合について図示しているが、顕微鏡画像管理システム１に属する顕微鏡１０、顕微鏡制御装置２０、画像管理サーバ３０、及び付加情報管理サーバ５０の台数は図１の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。また、画像管理サーバ３０と付加情報管理サーバ５０とは同じハードウェア上に実装されてもよい。顕微鏡１０と顕微鏡制御装置２０とが一体型の構成や、画像管理サーバ３０と画像表示装置４０とが一体型の構成も考えられる。
【００３９】
＜２．顕微鏡の全体構成＞
続いて、図２を参照しながら、本実施形態に係る顕微鏡１０の全体構成について説明する。図２は、本実施形態に係る顕微鏡１０及び顕微鏡制御装置２０の全体構成を示した説明図である。
【００４０】
［全体構成］
本実施形態に係る顕微鏡１０は、図２に例示したように、生体サンプルＳＰＬが配設されるプレパラートＰＲＴ全体の像であるサムネイル画像を撮像するサムネイル画像撮像部１１０と、生体サンプルＳＰＬが所定倍率で拡大された像である拡大画像を撮像する拡大画像撮像部１２０と、を有する。
【００４１】
プレパラートＰＲＴは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルＳＰＬを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｎ−Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。
【００４２】
また、プレパラートＰＲＴには、対応する生体サンプルＳＰＬを特定するための付帯情報（例えば、サンプルを採取した人の氏名、採取日時、染色の種類等）が記載されたラベルが貼付されていてもよい。
【００４３】
本実施形態に係る顕微鏡１０には、上述のようなプレパラートＰＲＴが載置されるステージ１３０が設けられており、更に、ステージ１３０を様々な方向に移動させるためのステージ駆動機構１３５が設けられている。このステージ駆動機構１３５により、ステージ１３０を、ステージ面に対して平行となる方向（Ｘ軸−Ｙ軸方向）と、直交する方向（Ｚ軸方向）に自由に移動させることができる。
【００４４】
また、本実施形態に係る顕微鏡１０には、サンプルＳＰＬを含むプレパラートＰＲＴをステージ１４０に搬送するサンプル搬送装置１４１が設けられていても良い。かかる搬送装置１４１を設けることで、ステージ１４０に、撮像予定のサンプルが自動的に設置されるようになり、サンプルＳＰＬの入れ替えを自動化することが可能となる。
【００４５】
［サムネイル画像撮像部］
サムネイル画像撮像部１１０は、図２に示したように、光源１１１と、対物レンズ１１２と、撮像素子１１３と、を主に備える。
【００４６】
光源１１１は、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。光源１１１は、一般染色が施された生体サンプルＳＰＬを照明する光（以下、明視野照明光、又は、単に照明光とも称する。）と、特殊染色が施された生体サンプルＳＰＬを照明する光（以下、暗視野照明光とも称する。）と、を切り換えて照射可能である。また、光源１１１は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源１１１として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の２種類の光源が設けられることとなる。
【００４７】
更に、サムネイル画像撮像部１１０には、プレパラートＰＲＴに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源（図示せず。）が別途設けられていてもよい。
【００４８】
所定倍率の対物レンズ１１２は、プレパラート配置面におけるサムネイル画像撮像部１１０の基準位置の法線を光軸ＳＲＡとして、ステージ１３０のプレパラート配置面側に配設される。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１１２によって集光されて、対物レンズ１１２の後方（すなわち、照明光の進行方向）に設けられた撮像素子１１３に結像する。
【００４９】
撮像素子１１３には、ステージ１３０のプレパラート配置面に載置されたプレパラートＰＲＴ全体を包括する撮像範囲の光（換言すれば、プレパラートＰＲＴ全体を透過した透過光）が結像する。この撮像素子１１３上に結像した像が、プレパラートＰＲＴ全体を撮像した顕微鏡画像であるサムネイル画像となる。
【００５０】
［拡大画像撮像部］
拡大画像撮像部１２０は、図２に示したように、光源１２１と、コンデンサレンズ１２２と、対物レンズ１２３と、撮像素子１２４と、を主に備える。
【００５１】
光源１２１は、明視野照明光を照射するものであり、ステージ１３０のプレパラート配置面とは逆の面側に設けられる。また、光源１２１とは異なる位置（例えばプレパラート配置面側）には、暗視野照明光を照射する光源（図示せず。）が設けられる。
【００５２】
コンデンサレンズ１２２は、光源１２１から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ１３０上のプレパラートＰＲＴに導くレンズである。このコンデンサレンズ１２２は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、光源１２１とステージ１３０との間に配設される。
【００５３】
所定倍率の対物レンズ１２３は、プレパラート配置面における拡大画像撮像部１２０の基準位置の法線を光軸ＥＲＡとして、ステージ１３０のプレパラート配置面側に配設される。拡大画像撮像部１２０では、この対物レンズ１２３を適宜交換することで、生体サンプルＳＰＬを様々な倍率に拡大して撮像することが可能となる。ステージ１３０上に配設されたプレパラートＰＲＴを透過した透過光は、この対物レンズ１２３によって集光されて、対物レンズ１２３の後方（すなわち、照明光の進行方向）に設けられた撮像素子１２４に結像する。
【００５４】
撮像素子１２４には、撮像素子１２４の画素サイズ及び対物レンズ１２３の倍率に応じて、ステージ１３０のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ１２３により生体サンプルＳＰＬの一部が拡大されるため、上述の撮像範囲は、撮像素子１１３の撮像範囲に比べて十分に狭い範囲となる。
【００５５】
ここで、サムネイル画像撮像部１１０及び拡大画像撮像部１２０は、図２に示したように、それぞれの基準位置の法線である光軸ＳＲＡと光軸ＥＲＡとがＹ軸方向に距離Ｄだけ離れるように配置される。この距離Ｄは、撮像素子１１３の撮像範囲に拡大画像撮像部１２０の対物レンズ１２３を保持する鏡筒（図示せず）が写りこむことなく、かつ小型化のために近い距離に設定される。
【００５６】
なお、サムネイル画像撮像部１１０及び拡大画像撮像部１２０それぞれに設けられる撮像素子は、１次元撮像素子であってもよく、２次元撮像素子であってもよい。
【００５７】
＜３．顕微鏡制御装置の全体構成＞
本実施形態に係る顕微鏡１０には、図２に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置２０が接続されている。この顕微鏡制御装置２０は、図２に示したように、統括制御部２０１と、照明制御部２０３と、ステージ駆動制御部２０５と、サムネイル画像撮像制御部２０７と、拡大画像撮像制御部２０９と、記憶部２１１と、を主に備える。
【００５８】
ここで、照明制御部２０３は、光源１１１及び光源１２１を含む、顕微鏡１０が備える各種の光源を制御する処理部であり、ステージ駆動制御部２０５は、ステージ駆動機構１３５を制御する処理部である。また、サムネイル画像撮像制御部２０７は、サムネイル画像を撮像するための撮像素子１１３を制御する処理部であり、拡大画像撮像制御部２０９は、生体サンプルＳＰＬの拡大画像を撮像するための撮像素子１２４を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
【００５９】
また、本実施形態に係る顕微鏡制御装置２０には、顕微鏡全体の制御を行う制御部（統括制御部２０１）が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
【００６０】
これらの制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ストレージ装置、通信装置及び演算回路等により実現されるものである。
【００６１】
記憶部２１１は、本実施形態に係る顕微鏡制御装置２０が備えるストレージ装置の一例である。記憶部２１１には、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部２１１には、顕微鏡１０におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部２１１には、本実施形態に係る顕微鏡制御装置２０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【００６２】
この記憶部２１１は、顕微鏡制御装置２０が備える各処理部が自由に読み書きを行うことが可能である。
【００６３】
以下では、上記制御部について、それぞれその機能を簡単に説明するものとする。
【００６４】
［照明制御部］
照明制御部２０３は、本実施形態に係る顕微鏡１０が備える各種の光源を制御する処理部である。照明制御部２０３は、統括制御部２０１から生体サンプルＳＰＬの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
【００６５】
例えば、照明制御部２０３が、サムネイル画像撮像部１１０に設けられた光源１１１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野像を取得すべきモード（以下、明視野モードとも称する。）又は暗視野像を取得すべきモード（以下、暗視野モードとも称する。）のどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１１１に対して設定し、光源１１１から、各モードに適した照明光を照射させる。これにより、光源１１１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【００６６】
また、照明制御部２０３が、拡大画像撮像部１２０に設けられた光源１２１の制御を行う場合について着目する。かかる場合、照明制御部２０３は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部２０３は、各モードに応じたパラメータを光源１２１に対して設定し、光源１２１から、各モードに適した照明光を照射させる。これにより、光源１２１から照射された照明光が、ステージ１３０の開口部を介して、生体サンプルＳＰＬ全体に照射されることとなる。なお、照明制御部２０３が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【００６７】
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
【００６８】
［ステージ駆動制御部］
ステージ駆動制御部２０５は、本実施形態に係る顕微鏡１０に設けられたステージを駆動するためのステージ駆動機構１３５を制御する処理部である。ステージ駆動制御部２０５は、統括制御部２０１から生体サンプルＳＰＬの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構１３５の制御を行う。
【００６９】
例えば、本実施形態に係る顕微鏡１０により、サムネイル画像を撮像する場合に着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬのサムネイル画像を撮像する旨の情報が出力されると、プレパラートＰＲＴ全体が撮像素子１１３の撮像範囲に入るように、ステージ面方向（Ｘ―Ｙ軸方向）にステージ１３０を移動させる。また、ステージ駆動制御部２０５は、プレパラートＰＲＴ全体に対物レンズ１１２の焦点が合うように、ステージ１３０をＺ軸方向に移動させる。
【００７０】
また、本実施形態に係る顕微鏡１０により、拡大画像を撮像する場合について着目する。ステージ駆動制御部２０５は、統括制御部２０１から、生体サンプルＳＰＬの拡大画像を撮像する旨の情報が出力されると、ステージ駆動機構１３５を駆動制御し、光源１１１と対物レンズ１１２との間からコンデンサレンズ１２２と対物レンズ１２３との間に生体サンプルＳＰＬが位置するよう、ステージ面方向にステージ１３０を移動させる。
【００７１】
また、ステージ駆動制御部２０５は、撮像素子１２４に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向（Ｘ−Ｙ軸方向）にステージ１３０を移動させる。
【００７２】
更に、ステージ駆動制御部２０５は、ステージ駆動機構１３５を駆動制御して、所定の撮影範囲内に位置する生体サンプルＳＰＬの部位が対物レンズ１２３の焦点に合うように、ステージ面に直交する方向（Ｚ軸方向、組織切片の奥行方向）にステージ１３０を移動させる。
【００７３】
［サムネイル画像撮像制御部］
サムネイル画像撮像制御部２０７は、サムネイル画像撮像部１１０に設けられた撮像素子１１３の制御を行う処理部である。サムネイル画像撮像制御部２０７は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１１３に設定する。また、サムネイル画像撮像制御部２０７は、撮像素子１１３から出力される、撮像素子１１３の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル画像に対応する出力信号とする。サムネイル画像撮像制御部２０７は、サムネイル画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、サムネイル画像撮像制御部２０７が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【００７４】
［拡大画像撮像制御部］
拡大画像撮像制御部２０９は、拡大画像撮像部１２０に設けられた撮像素子１２４の制御を行う処理部である。拡大画像撮像制御部２０９は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子１２４に設定する。また、拡大画像撮像制御部２０９は、撮像素子１２４から出力される、撮像素子１２４の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大画像に対応する出力信号とする。拡大画像撮像制御部２０９は、拡大画像に対応する出力信号を取得すると、取得した信号に対応するデータ（ＲＡＷデータ）を統括制御部２０１に出力する。なお、拡大画像撮像制御部２０９が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【００７５】
［統括制御部］
統括制御部２０１は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。統括制御部２０１は、サンプルのサムネイル画像を参照して、プレパラート内におけるサンプル（検体）の位置を検出するとともに、プレパラート内においてサンプルが位置している領域を、拡大画像を撮像すべき領域と判断する。統括制御部２０１は、拡大画像を撮像すべき領域を、顕微鏡１０の倍率に応じて複数の領域に分割し、これらの領域それぞれを撮像していく。これにより、１つのサンプルに関する複数の拡大画像が取得される。その後、統括制御部２０１は、サムネイル画像及び拡大画像からなる顕微鏡画像データを、ネットワーク３を介して画像管理サーバ３０にアップロードする。これにより、顕微鏡１０によって撮像されたサンプルの顕微鏡画像が、ネットワーク３に接続されたクライアント機器である画像表示装置４０によって閲覧可能となる。
【００７６】
以上説明したように、顕微鏡制御装置２０により顕微鏡１０を制御することによって、サムネイル画像及び拡大画像を含む顕微鏡画像が取得される。図３を参照すると、プレパラートＰＲＴ上に載置されたサンプルＳＰＬを顕微鏡１０により撮像することにより、まず全体像であるサムネイル画像が撮像される。そして、このサムネイル画像からサンプルが載置されている領域、即ち拡大画像を撮像すべき領域が抽出される。このサンプルは、複数の拡大画像として撮像され、サムネイル画像及び拡大画像は、画像管理サーバ３０により管理される。
【００７７】
また、サムネイル画像を取得する際には、プレパラートＰＲＴに貼付けられたラベルの情報を読み取ってデジタルデータ化されてもよい。ラベルには、観察組織名及び染色種類などの情報が記載されていることがある。一般的に知られているＯＣＲ機能を用いることにより、これらのラベル画像からサンプルの特徴を示すサンプル特徴情報を生成することができる。このサンプル特徴情報は、顕微鏡画像データと共に、画像管理サーバ３０に格納されてもよい。
【００７８】
＜４．画像管理サーバの構成＞
次に、本実施形態に係る画像管理サーバ３０の構成について、図４を参照しながら説明する。図４は、本実施形態に係る画像表示システムの構成を示すブロック図である。
【００７９】
画像管理サーバ３０は、上述した顕微鏡１０及び顕微鏡制御装置２０の機能により取得された顕微鏡画像を管理する装置である。画像管理サーバ３０は、通信制御部３０１と、顕微鏡画像管理部３０３と、記憶部３０５とを主に有する。
【００８０】
通信制御部３０１は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ，通信装置等により実現される。通信制御部３０１は、画像管理サーバ３０と、顕微鏡制御装置２０及び画像表示装置との間で、ネットワーク３を介して行われる通信の制御を行う。
【００８１】
画像管理部３０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像管理部３０３は、画像管理サーバ３０内で管理される顕微鏡画像等の管理全般を制御する機能を有する。例えば、画像管理部３０３は、顕微鏡制御装置２０から送信された顕微鏡画像データを、通信制御部３０１を介して取得し、後述する記憶部３０５の顕微鏡画像格納領域に格納する機能を有する。また、画像管理部３０３は、画像表示装置４０からの要求に応じて、記憶部３０５の所定の格納領域に格納されている顕微鏡画像データを、画像表示装置４０に提供する機能を有する。
【００８２】
記憶部３０５は、本実施形態に係る画像管理サーバ３０が備えるストレージ装置の一例である。記憶部３０５には、顕微鏡画像データや、顕微鏡画像と対応づけられたサンプルの特徴情報や、本実施形態に係る顕微鏡１０を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部３０５には、顕微鏡画像データの格納履歴や顕微鏡画像データの提供履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部３０５には、各種のデータベースやプログラム等が適宜記憶されてもよい。
【００８３】
＜５．画像表示装置の構成＞
次に、本実施形態に係る画像表示装置４０の構成について、図４を参照しながら説明する。画像表示装置４０は、ユーザ操作情報取得部４０１と、顕微鏡画像取得部４０３と、表示制御部４０５と、付加情報取得部４０７と、通信制御部４０９と、記憶部４１１との機能を主に有する。
【００８４】
ユーザ操作情報取得部４０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。ユーザ操作情報取得部４０１は、キーボード、マウス、タッチパネル等といった入力装置から出力された、当該入力装置にユーザが行ったユーザ操作に対応する出力信号を取得して、ユーザが行った操作（ユーザ操作）を表すユーザ操作情報を生成する。ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する顕微鏡画像取得部４０３、表示制御部４０５及び表示画像選択部４０７に出力する。また、ユーザ操作情報取得部４０１は、生成したユーザ操作情報を、後述する記憶部４１１に格納して、履歴情報としてもよい。
【００８５】
ここで、キーボード、マウス、タッチパネル等の入力装置にユーザが行う操作の一例として、例えば、顕微鏡画像の選択処理や、ある顕微鏡画像についての表示領域の変更処理等を挙げることができる。また、ユーザが行うユーザ操作は、これらの例に限定されるわけではなく、ユーザが行ったユーザ操作は、適宜当該ユーザ操作を表すユーザ操作情報へと変換され、各処理部へと出力される。
【００８６】
顕微鏡画像取得部４０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。顕微鏡画像取得部４０３は、ユーザ操作情報取得部４０１から出力された、顕微鏡画像の一覧の取得開始を示すユーザ操作情報に応じて、画像管理サーバ３０から、当該画像管理サーバ３０が管理している顕微鏡画像の一覧（リスト）を取得する。また、顕微鏡画像取得部４０３は、ユーザ操作により、あるサンプルの顕微鏡画像が選択されると、選択されたサンプルに対応する顕微鏡画像の送信リクエストを、画像管理サーバ３０に送信する。
【００８７】
顕微鏡画像取得部４０３は、選択されたサンプルに対応する複数のデジタル画像からなる顕微鏡画像のデータを画像管理サーバ３０から取得すると、取得した顕微鏡画像のデータを、後述する表示制御部４０５に出力する。また、顕微鏡画像取得部４０３は、取得した顕微鏡画像のデータを、記憶部４１１に格納してもよい。
【００８８】
表示制御部４０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表示制御部４０５は、本実施形態に係る画像表示装置４０が備えるディスプレイ等の表示装置に表示される表示画面の制御を行う。また、表示制御部４０５は、ユーザ操作情報取得部４０１から出力されるユーザ操作情報に応じて、表示画面に表示されている内容を変更することができる。なお、表示画面中の顕微鏡画像が表示される領域のことを、以下、顕微鏡画像表示領域という。
【００８９】
具体的には、表示制御部４０５は、顕微鏡画像取得部４０３から、顕微鏡画像の一覧に関する情報が出力されると、出力された情報に基づいて、ユーザが閲覧可能な顕微鏡画像のリストを、表示画面に表示する。また、表示制御部４０５は、ユーザ操作情報として顕微鏡画像の表示を開始する情報が出力された場合に、ユーザ操作情報に応じて表示する顕微鏡画像を選択し、サンプルの拡大像を、表示画面に表示する。また、ユーザ操作情報として、表示画面に表示されている表示領域を変更する情報が出力された場合には、表示画面内で拡大像を上下左右に（平面内で）動かしたり、ズーム・パンなど拡大縮小表示したり、奥行き方向に焦点位置を変えるように動かしたりする。
【００９０】
また、表示制御部４０５は、画像表示装置４０の表示画面に表示する内容として、記憶部４１１等に格納されている各種の情報を利用することが可能である。なお、この表示制御部の詳細な機能については、後述される。
【００９１】
付加情報取得部４０７は、後述される付加情報を管理する付加情報管理サーバ５０が付加情報を抽出するための情報を送信し、送信した情報に基づいて選択された付加情報を付加情報管理サーバ５０から取得する機能を有する。また、付加情報取得部４０７は、取得された付加情報を表示制御部４０５に対して出力する。
【００９２】
なお、ここで送信される情報としては、例えば、観察中のサンプルを特徴付けるサンプル特徴情報、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報、及び顕微鏡画像表示領域の観察している時点における表示状態に関する表示状態情報などが挙げられる。例えば、付加情報取得部４０７は、サンプル特徴情報を画像管理サーバ３０から取得される顕微鏡画像に付随するメタデータから取得して用いてもよい。また、付加情報取得部４０７は、ユーザ特徴情報を、記憶部４１１から取得して用いてもよい。ユーザ特徴情報は、例えば、ユーザＩＤ、所属病院名、専門領域が含まれていてもよい。また、表示制御部４０５がユーザ単位で閲覧履歴を取得する構成を有する場合には、ユーザ特徴情報は、履歴情報を含んでもよい。或いは、ユーザ特徴情報は、ユーザ個人に対応づけられた情報だけでなく、画像表示装置４０と対応づけられた情報を含んでもよい。この場合、ユーザ特徴情報は、画像表示装置４０の設置場所、画像表示装置４０を特定するためのＩＤなどを含むことができる。また、表示状態情報は、表示制御部４０５の機能により取得される表示状態情報である。
【００９３】
通信制御部４０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部４０９は、画像表示装置４０と、画像表示装置４０の外部に設けられた画像管理サーバ３０及び付加情報管理サーバ５０との間で、ネットワーク３を介して行われる通信の制御を行う。
【００９４】
記憶部４１１は、本実施形態に係る画像表示装置４０が備えるストレージ装置の一例である。記憶部４１１には、例えば、画像管理サーバ３０から取得した顕微鏡画像データや、付加情報管理サーバ５０から取得した付加情報データが格納される。また、記憶部４１１には、顕微鏡画像データの取得履歴、及び付加情報データの取得履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部４１１には、本実施形態に係る画像表示装置４０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【００９５】
以上、本実施形態に係る画像表示装置４０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００９６】
なお、上述のような本実施形態に係る画像表示装置４０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００９７】
次に、図５〜図７を参照しながら、本実施形態における画像表示方法の概要について説明する。そして、かかる機能を実現するための表示制御部４０５を中心とした画像表示装置４０の機能構成について、図８を用いて説明する。
【００９８】
まず、図５を参照すると、顕微鏡画像表示領域の表示の一例が示されている。この顕微鏡画像表示領域の表示は、ユーザ操作に応じて表示制御部４０５が制御することにより、指定された箇所を拡大したり、縮小したり、あるいは表示する領域を上下左右に動かすことができる。図５（ａ）を参照すると、顕微鏡画像表示領域は、番号が振られた複数の矩形領域である顕微鏡画像が存在する領域と、符号ＢＬ１で示される顕微鏡画像が存在しない領域とが含まれる。上述の通り、顕微鏡画像は、データ量の削減のために、サンプルが存在する領域のみを選択的に撮像している。このため、顕微鏡画像が存在しない領域ＢＬ１が含まれる。
【００９９】
また、図５（ｂ）を参照すると、図５（ａ）を拡大した状態の顕微鏡画像表示領域が示される。ここで、顕微鏡画像が存在する領域中は、顕微鏡画像中のサンプル部分に該当する領域と、サンプル部分に該当しない領域ＢＬ２とに分けることができる。
【０１００】
本実施形態に係る画像表示装置４０は、顕微鏡画像表示領域を、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とに分ける。上述されたとおり、観察者の観察対象はサンプル部分である。しかし、観察対象であるサンプルは、多くの場合一定の形状を有しておらず、サンプル毎に形状が異なる。即ち、この第２の領域の形状及びサイズも、サンプル毎に異なる場合が多い。そこで、画像表示装置４０は、この第２の領域に、顕微鏡画像に付随する付加的な情報である付加情報を表示させることによって、サンプル部分に該当しない領域を有効に利用しようとするものである。
【０１０１】
例えば、図６に示すように、画像表示装置４０は、顕微鏡画像表示領域中において表示する顕微鏡画像が存在しない領域ＢＬ１部分に付加情報ＡＤＤを表示させてもよい。付加情報ＡＤＤは、例えば図６（ａ）のように倍率の低い表示状態や、図６（ｂ）のようにサンプルＳＰＬの端部に近い領域が表示されている状態において表示される。図６（ｃ）に示されるように、観察倍率の高い状態においては表示されないようにしてもよい。
【０１０２】
また、図７に示すように、画像表示装置４０は、顕微鏡画像中のサンプル部分に該当しない領域も合わせて第２の領域と判定し（即ち、図５の符号ＢＬ１及びＢＬ２で示される領域を合わせて第２の領域とする。）、かかる第２の領域に付加情報ＡＤＤを表示させてもよい。
【０１０３】
かかる機能を実現するための画像表示装置４０の詳細な構成について、図８を参照しながら説明する。図８を参照すると、表示制御部４０５は、表示画面生成部４２１と、領域判定部４２３と、色彩情報生成部４２５と、付加情報選択部４２７との機能を主に有する。
【０１０４】
表示画面生成部４２１は、顕微鏡画像表示領域を含む表示画面を生成する機能を有する。表示画面生成部４２１は、例えば、顕微鏡画像取得部４０３が画像管理サーバ３０から取得した顕微鏡画像を用いて、ユーザ操作情報取得部４０１から入力される操作情報に基づいて表示画面を生成する。このとき、表示画面生成部４２１は、顕微鏡画像取得部４０３から直接入力された顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像取得部４０３が記憶部４１１に記憶した顕微鏡画像を用いてもよい。また、表示画面生成部４２１は、顕微鏡画像表示領域中において、上述した第２の領域に付加情報を表示する表示画面を生成することができる。
【０１０５】
表示画面生成部４２１は、少なくとも顕微鏡画像表示領域を含む表示画面を生成すると、領域判定部４２３及び色彩情報生成部４２５に生成した表示画面を入力するとともに、顕微鏡画像表示領域に表示している顕微鏡画像に付随して取得されるメタデータを、サンプルを特徴づけるサンプル特徴情報として付加情報取得部４０７に入力する。
【０１０６】
そして、表示画面生成部４２１は、付加情報選択部４２７により選択された付加情報を第２の領域に含む表示画面を生成する。
【０１０７】
領域判定部４２３は、表示画面生成部４２１が生成する表示画面の顕微鏡画像表示領域において、サンプルに対応する部分からなる第１の領域と、サンプルに対応する部分を含まない第２の領域とのいずれであるかを判定する機能を有する。領域判定部４２３は、上述の通り、顕微鏡画像表示領域の中で、表示する顕微鏡画像が存在しない領域（図５のＢＬ１）を第２の領域とする。また、領域判定部４２３は、顕微鏡画像表示領域に表示される顕微鏡画像の中で、サンプルに対応する部分に該当しない領域も合わせて第２の領域であると判定してもよい。
【０１０８】
色彩情報生成部４２５は、顕微鏡画像表示領域に表示される顕微鏡画像の色彩の特徴を示す色彩情報を生成する機能を有する。例えば、この色彩情報は、顕微鏡画像の色彩情報に基づいて、顕微鏡画像表示領域の第２の領域に表示される付加情報を選択するために用いられる。即ち、この色彩情報は、後述される付加情報管理サーバ５０の抽出部５１３が画像表示装置４０に提供する付加情報を選択するとき、或いは、画像表示装置４０の付加情報選択部４２７が、第２の領域に表示する付加情報を選択するときに用いられる。
【０１０９】
具体的には、抽出部５１３及び付加情報選択部４２７は、対象となる第２の領域の周りの顕微鏡画像の色彩と付加情報の色彩とを並べたときに付加情報が人目を引くような色彩の組み合わせとなるように付加情報を選択してもよい。或いは、抽出部５１３及び付加情報選択部４２７は、観察者のサンプル観察行為の邪魔とならないように、付加情報に対して顕微鏡画像が際立つような色彩の組み合わせとなるように、付加情報を選択してもよい。
【０１１０】
付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、対象とする第２の領域に表示させる付加情報を選択する機能を有する。付加情報選択部４２７は、選択した付加情報に関する情報を表示画面生成部４２１に入力する。付加情報選択部４２７は、領域判定部４２３の判定に基づいた、対象とする第２の領域のサイズを示す情報、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報、及び、画像表示装置４０を操作しているユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて、付加情報を選択する。
【０１１１】
付加情報選択部４２７は、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、表示させる付加情報を選択する。すなわち、顕微鏡画像表示領域の表示状態が変化すると、第２の領域の大きさ及び位置は変化する。このため、付加情報選択部４２７は、表示状態が変化する毎に表示する付加情報を選択する。
【０１１２】
付加情報取得部４０７は、顕微鏡画像表示領域に表示されているサンプルを特徴づけるサンプル特徴情報を表示制御部４０５から取得して、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、記憶部４１１に記憶されたユーザ情報を取得し、付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、色彩情報生成部４２５により生成される色彩情報を付加情報管理サーバ５０に送信してもよい。また、付加情報取得部４０７は、領域判定部４２３により第２の領域と判定された領域のサイズを示す情報を生成して付加情報管理サーバ５０に送信してもよい。付加情報取得部４０７は、送信した情報に基づいて付加情報管理サーバ５０が選択した付加情報を取得して表示制御部４０５に入力する。
【０１１３】
付加情報取得部４０７は、顕微鏡画像表示領域中に複数の第２の領域が存在する場合には、そのそれぞれについて付加情報管理サーバ５０に付加情報の取得要求を送信してもよい。或いは、複数の第２の領域について、まとめて付加情報の取得要求が送信されてもよい。
【０１１４】
また、付加情報取得部４０７は、上記実施形態においては、表示画面の顕微鏡画像表示領域の表示状態が変わる毎に、付加情報管理サーバ５０から付加情報を取得する構成としたが、本発明はかかる例に限定されない。例えば、付加情報取得部４０７は、画像表示装置４０の起動時に、まとめて付加情報管理サーバ５０から付加情報を取得して、取得した付加情報を記憶部４１１に記憶しておいてもよい。この場合、付加情報選択部４２７が顕微鏡画像表示領域の表示状態に応じた付加情報を選択する。この付加情報は、例えば日次の更新処理が行われる。
【０１１５】
或いは、付加情報取得部４０７は、サンプル特徴情報を付加情報管理サーバ５０に送信して、観察対象となるサンプルの変更タイミングで付加情報をまとめて取得してもよい。かかる場合においても、ユーザ操作に応じた表示状態変更のタイミングでは、付加情報選択部４２７が表示させる付加情報を選択する。この他、付加情報を取得するタイミングや諸条件については、各種の変形例を用いることが可能である。
【０１１６】
＜６．付加情報管理サーバの構成＞
次に、図４及び図９を参照しながら付加情報管理サーバ５０の構成について説明する。図９は、付加情報管理サーバ５０の付加情報管理部５０３の詳細な機能を説明するためのブロック図である。
【０１１７】
まず図４を参照すると、付加情報管理サーバ５０は、通信制御部５０１と、付加情報管理部５０３と、記憶部５０５とを主に有する。図９を参照すると、付加情報管理部５０３は、抽出部５１３と、履歴情報生成部５１５と、課金処理部５１７との機能を主に有する。
【０１１８】
通信制御部５０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。通信制御部５０１は、付加情報管理サーバ５０と、付加情報管理サーバ５０の外部に設けられた画像表示装置４０との間で、ネットワーク３を介して行われる通信の制御を行う。
【０１１９】
付加情報管理部５０３は、記憶部５０５に記憶される付加情報に関する各種の操作を制御する機能を有する。付加情報管理部５０３は、画像表示装置からの要求に応じて、記憶部５０５の中から画像表示装置４０に提供する付加情報を抽出する抽出部５１３の機能を有する。このとき抽出部５１３は、画像表示装置４０から付加情報の取得要求と共に送信される各種の情報に基づいて付加情報を抽出することができる。或いは、抽出部５１３は、付加情報の取得要求に特に提供する付加情報を選択する条件が含まれない場合には、記憶される全ての付加情報を抽出して画像表示装置に提供してもよい。
【０１２０】
また、付加情報管理部５０３は、画像表示装置に提供した付加情報の履歴情報を生成する履歴情報生成部５１５の機能を有していてもよい。この履歴情報は、例えば抽出部５１３が画像表示装置４０に対して提供した付加情報のデータ量、回数などの情報がユーザＩＤと対応づけて記憶されてもよい。或いは、付加情報毎に提供されたデータ量及び回数が記憶されてもよい。また、履歴情報は、抽出部５１３により提供された後、画像表示装置４０において表示されたか否か、表示された場合には表示時間、及び、表示された付加情報をユーザがクリックすることによりより詳細な情報がブラウザ等により提供される場合には、かかるクリック操作の有無の情報が含まれていてもよい。この場合には、履歴情報生成部５１５は、画像表示装置４０の表示制御部４０５からかかる情報を取得することにより履歴情報を生成することができる。また、付加情報管理部５０３は、履歴情報に基づいて、付加情報を提供する者（例えば、広告主）毎に課金金額を集計する課金処理部５１７の機能を有することができる。
【０１２１】
このように、付加情報管理サーバ５０は、画像表示装置４０の要求に応じて付加情報を提供する機能だけでなく、提供された付加情報に関する履歴情報を生成する機能を有する。このため、付加情報管理サーバ５０を運営する事業者は、付加情報を提供する者から情報表示料を徴収するための情報を得ることができる。この情報に基づいて付加情報を提供する者から情報表示料を徴収すれば、顕微鏡画像管理システムの運営事業者は、ビューワー装置を安価又は無償にて医療関係者などのユーザに提供又はリースすることが可能となる。
【０１２２】
記憶部５０５は、本実施形態に係る付加情報管理サーバ５０が備えるストレージ装置の一例である。記憶部５０５には、画像表示装置４０に提供するための付加情報や、付加情報の提供に関する履歴情報が格納される。さらに、記憶部５０５には、本実施形態に係る付加情報管理サーバ５０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【０１２３】
ここで、付加情報は、画像表示装置４０において、顕微鏡画像と付随して提供される情報である。例えば、付加情報は、医療機器又は医薬品の広告情報、学会記事、最新論文、又は厚生労働省からの通達など、観察対象と関連する情報であることが望ましい。画像表示装置４０においては、この記憶部５０５に記憶される付加情報の中から、抽出部５１３又は画像表示装置４０の付加情報選択部４２７において選択される付加情報が表示される。このとき、抽出部５１３又は付加情報選択部４２７は、観察対象であるサンプル又はユーザ個人を特徴づける情報に基づいて表示される付加情報を選択するため、ユーザは、観察対象のサンプル又はユーザ自身に関連する付加情報を得ることができる。
【０１２４】
また、付加情報は、付加情報管理サーバ５０によって一元的に管理されており、付加情報の提供事業者等によって、時々刻々と削除、更新、新規追加などの処理がなされている。付加情報は、付加情報管理サーバ５０により都度最新の状態に更新されており、画像表示装置４０は、表示毎に、又は適切な頻度でこの付加情報管理サーバ５０から付加情報を取得して表示画面内に付加情報を表示する。このため、表示される付加情報は、表示される顕微鏡画像の撮像日次に影響されず、この顕微鏡画像を表示する時点において最新の情報がユーザに提供される。
【０１２５】
＜７．顕微鏡画像表示の流れ＞
次に、図１０を用いて、本実施形態に係る顕微鏡画像表示の流れについて説明する。まず、顕微鏡画像取得部４０３は、ユーザ操作によって指定されたサンプルの顕微鏡画像と、顕微鏡画像に付随するメタデータとを画像管理サーバ３０から取得する（Ｓ１０１）。このとき、例えば画像表示装置４０は、画像管理サーバ３０から、提供されるサンプルのリストを取得して取得したリストを表示画面に表示し、かかるリストの中からユーザが選択したサンプルについての顕微鏡画像取得要求を画像管理サーバ３０に送信することによって、顕微鏡画像等を取得する。
【０１２６】
次に、表示制御部４０５は、ユーザから終了操作がなされたか否かを判断する（Ｓ１０３）。終了操作がなされたと判断された場合には、本表示動作は終了する。一方、終了操作が検出されない場合には、終了操作が検出されるまで以下のステップＳ１０５〜ステップＳ１１３の動作が繰り返される。
【０１２７】
次に、表示制御部４０５は、ユーザ操作に応じて、ステップＳ１０１において取得された顕微鏡画像から表示画面を生成する（Ｓ１０５）。具体的には、表示画面中の顕微鏡画像表示領域に、取得した顕微鏡画像のうちユーザ操作により指定された領域の顕微鏡画像を表示させる。
【０１２８】
そして、生成された表示画面の顕微鏡画像表示領域を解析して余白領域を抽出する（Ｓ１０７）。余白領域とは、上述の第２の領域のことであり、サンプルに対応する部分に該当しない領域をいう。
【０１２９】
次に、付加情報取得部４０７は、付加情報を取得する（Ｓ１０９）。このとき、付加情報取得部４０７は、ユーザ特徴情報、サンプル特徴情報、又は顕微鏡画像表示領域の表示状態を示す表示状態情報の少なくともいずれかを付加情報管理サーバ５０に送信して、これらの情報に基づいて選択された付加情報を取得する。
【０１３０】
すると、付加情報選択部４２７は、付加情報取得部４０７により取得された付加情報の中から、顕微鏡画像表示領域のうちサンプルに対応する部分に該当しない第２の領域に表示する付加情報を選択する（Ｓ１１１）。なお、このステップＳ１１１の動作については、付加情報取得部４０７が常に第２の領域毎の付加情報を取得する場合には省略することが可能である。
【０１３１】
そして、表示画面生成部４２１は、選択された付加情報を第２の領域に含む表示画面を生成して、この表示画面の表示を制御する（Ｓ１１３）。
【０１３２】
＜８．まとめ＞
以上説明したように、本実施形態に係る画像表示システム２によれば、顕微鏡画像を表示する領域において、サンプルが表示される部分以外の無駄となっていた第２の領域を利用して付加情報を提供することができる。観察対象とされるサンプルは、サンプル毎に異なる形状を有しており、ユーザ操作に応じて表示状態が変更される毎にこの第２の領域の形状及びサイズは変化する。画像表示装置４０は、第２の領域を判定する構成を有しているため、表示状態の変化に応じた付加情報をユーザに提供することができる。また、付加情報管理サーバ５０は、この付加情報の提供履歴情報を生成する機能を有するため、付加情報の情報表示料を徴収することにより、画像表示のためのソフトウェアを安価又は無償にて提供することが可能となる。
【０１３３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１３４】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１３５】
１ 顕微鏡画像管理システム
２ 画像表示システム
３ ネットワーク
１０ 顕微鏡
２０ 顕微鏡制御装置
３０ 画像管理サーバ
４０ 画像表示装置
５０ 付加情報管理サーバ
４０１ ユーザ操作情報取得部
４０３ 顕微鏡画像取得部
４０５ 表示制御部
４０７ 付加情報取得部
４０９ 通信制御部
４１１ 記憶部
４２１ 表示画面生成部
４２３ 領域判定部
４２７ 付加情報選択部
４２５ 色彩情報生成部
５０３ 付加情報管理部
５１３ 抽出部
５１５ 履歴情報生成部
５１７ 課金処理部
【特許請求の範囲】
【請求項１】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置。
【請求項２】
前記付加情報取得部は、前記サンプルを特徴づけるサンプル特徴情報、及び、前記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された前記付加情報を取得する、請求項１に記載の画像表示装置。
【請求項３】
前記付加情報取得部は、前記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された前記付加情報を取得する、請求項１又は２のいずれかに記載の画像表示装置。
【請求項４】
前記表示状態情報は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像の色彩の特徴を示す色彩情報を含む、請求項３に記載の画像表示装置。
【請求項５】
前記表示状態情報は、前記第２の領域の形状を示す情報を含む、請求項３に記載の画像表示装置。
【請求項６】
前記表示制御部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像から前記第２の領域を判定する領域判定部をさらに有し、
前記領域判定部は、前記顕微鏡画像表示領域のうち表示する前記顕微鏡画像が存在しない領域を前記第２の領域と判定する、請求項１に記載の画像表示装置。
【請求項７】
前記領域判定部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像のうち前記サンプル部分に該当しない領域をさらに前記第２の領域と判定する、請求項６に記載の画像表示装置。
【請求項８】
前記表示制御部は、前記付加情報取得部が取得する付加情報から前記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有する、請求項１に記載の画像表示装置。
【請求項９】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、
前記顕微鏡画像を表示する画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を備える、付加情報管理サーバ。
【請求項１０】
前記抽出部は、前記画像表示装置から送信される、前記サンプルを特徴づけるサンプル特徴情報、前記ユーザを特徴づけるユーザ特徴情報、前記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて前記付加情報を選択する、請求項９に記載の付加情報管理サーバ。
【請求項１１】
前記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに備える、請求項９または１０のいずれかに記載の付加情報管理サーバ。
【請求項１２】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を有する画像表示装置と、
前記付加情報を記憶部と、
前記画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を有する付加情報管理サーバと、
を備える、画像表示システム。
【請求項１３】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、
前記顕微鏡画像を取得するステップと、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、
前記付加情報を前記第２の領域に含む前記顕微鏡画像表示領域の表示を制御するステップと、
を含む、画像表示方法。
【請求項１４】
コンピュータを、
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置として機能させるためのプログラム。
【請求項１】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置。
【請求項２】
前記付加情報取得部は、前記サンプルを特徴づけるサンプル特徴情報、及び、前記ユーザを特徴づけるユーザ特徴情報の少なくともいずれかに基づいて選択された前記付加情報を取得する、請求項１に記載の画像表示装置。
【請求項３】
前記付加情報取得部は、前記顕微鏡画像表示領域の表示状態に関する表示状態情報に基づいて選択された前記付加情報を取得する、請求項１又は２のいずれかに記載の画像表示装置。
【請求項４】
前記表示状態情報は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像の色彩の特徴を示す色彩情報を含む、請求項３に記載の画像表示装置。
【請求項５】
前記表示状態情報は、前記第２の領域の形状を示す情報を含む、請求項３に記載の画像表示装置。
【請求項６】
前記表示制御部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像から前記第２の領域を判定する領域判定部をさらに有し、
前記領域判定部は、前記顕微鏡画像表示領域のうち表示する前記顕微鏡画像が存在しない領域を前記第２の領域と判定する、請求項１に記載の画像表示装置。
【請求項７】
前記領域判定部は、前記顕微鏡画像表示領域に表示される前記顕微鏡画像のうち前記サンプル部分に該当しない領域をさらに前記第２の領域と判定する、請求項６に記載の画像表示装置。
【請求項８】
前記表示制御部は、前記付加情報取得部が取得する付加情報から前記第２の領域に表示する付加情報を選択する付加情報選択部をさらに有する、請求項１に記載の画像表示装置。
【請求項９】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像に付随して、ユーザに付加的に提供される付加情報を記憶する記憶部と、
前記顕微鏡画像を表示する画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を備える、付加情報管理サーバ。
【請求項１０】
前記抽出部は、前記画像表示装置から送信される、前記サンプルを特徴づけるサンプル特徴情報、前記ユーザを特徴づけるユーザ特徴情報、前記顕微鏡画像表示領域の表示状態に関する表示状態情報の少なくともいずれかに基づいて前記付加情報を選択する、請求項９に記載の付加情報管理サーバ。
【請求項１１】
前記付加情報の提供に関する履歴情報を生成する履歴情報生成部をさらに備える、請求項９または１０のいずれかに記載の付加情報管理サーバ。
【請求項１２】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を有する画像表示装置と、
前記付加情報を記憶部と、
前記画像表示装置からの要求に応じて、前記記憶部の中から前記画像表示装置に提供する付加情報を抽出する抽出部と、
を有する付加情報管理サーバと、
を備える、画像表示システム。
【請求項１３】
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を表示する画像表示装置が、
前記顕微鏡画像を取得するステップと、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得するステップと、
前記付加情報を前記第２の領域に含む前記顕微鏡画像表示領域の表示を制御するステップと、
を含む、画像表示方法。
【請求項１４】
コンピュータを、
顕微鏡によって撮像されたサンプルの拡大画像を含む顕微鏡画像を取得する顕微鏡画像取得部と、
前記顕微鏡画像が表示され、前記サンプルに対応する部分からなる第１の領域と、前記サンプルに対応する部分を含まない第２の領域とからなる顕微鏡画像表示領域の表示を制御する表示制御部と、
前記第２の領域に表示され、ユーザに付加的に提供される付加情報を取得する付加情報取得部と、
を備える、画像表示装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−３８２０９（Ｐ２０１２−３８２０９Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７９６９３（Ｐ２０１０−１７９６９３）
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月１０日（２０１０．８．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]