情報処理装置、情報処理方法及びそのプログラム
【課題】バーチャル顕微鏡における画像の表示領域の移動に必要なユーザの操作を減らし観察作業を効率化すること。
【解決手段】ＰＣ１００のＣＰＵ１０１は、表示された部分画像に対してユーザから移動操作が入力されると、当該移動操作速度と同一の速度で表示範囲Ｄを移動させ、当該移動操作が入力されなくなったとき、当該移動操作速度から所定の減速度で減速された速度で、上記表示範囲Ｄをさらに移動させる。またＣＰＵ１０１は、上記部分画像に対してユーザからズーム操作が入力されると、当該ズーム操作速度と同一の速度で部分画像をより広域または狭域の画像へと変更させ、当該ズーム操作が入力されなくなったとき、当該ズーム操作速度から上記所定の減速度で減速された速度で、上記部分画像をさらに変更させる。
【解決手段】ＰＣ１００のＣＰＵ１０１は、表示された部分画像に対してユーザから移動操作が入力されると、当該移動操作速度と同一の速度で表示範囲Ｄを移動させ、当該移動操作が入力されなくなったとき、当該移動操作速度から所定の減速度で減速された速度で、上記表示範囲Ｄをさらに移動させる。またＣＰＵ１０１は、上記部分画像に対してユーザからズーム操作が入力されると、当該ズーム操作速度と同一の速度で部分画像をより広域または狭域の画像へと変更させ、当該ズーム操作が入力されなくなったとき、当該ズーム操作速度から上記所定の減速度で減速された速度で、上記部分画像をさらに変更させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。
【背景技術】
【０００２】
医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。
【０００３】
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落［００２７］、［００２８］、図５参照）。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載のような従来のバーチャル顕微鏡において、ユーザが画像の表示範囲を移動したり、画像をズームしたりする場合、ユーザは例えばマウスをドラッグしたりホイールを回転させたりする操作を繰り返す必要がある。しかしながら、上記バーチャル顕微鏡で扱われる画像は例えば５０×５０（Kpixel：キロピクセル）といった巨大なサイズの画像であり、このような画像中をくまなく観察するのはユーザにとって非常に骨の折れる作業であった。特に病理医はそういった作業を一日中行うため、操作が煩わしいとそれがストレスとなり、本来発見されるべき病理組織の変化の見落とし等が発生し誤診を招く可能性もある。
【０００６】
以上のような事情に鑑み、本発明の目的は、バーチャル顕微鏡における画像の表示範囲の移動に必要なユーザの操作を減らし観察作業を効率化することが可能な情報処理装置、情報処理方法及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、メモリと、出力部と、操作入力部と、制御部とを有する。上記メモリは、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持する。上記出力部は、上記保持された部分画像を表示させるために出力する。上記操作入力部は、上記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付ける。上記制御部は、上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲を、上記全体画像上で、上記所定方向へ上記第１の速度で移動させ、上記入力された移動操作が入力されなくなったとき、上記表示範囲を、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動させるように上記メモリ及び上記出力部を制御する。
【０００８】
ここで上記観察対象物は、生体の臓器、組織、細胞等である。また上記記憶装置は、当該情報処理装置の内部と外部のどちらに存在していてもよい。本発明の構成により、部分画像に対する移動操作が入力されなくなった後も、擬似的な慣性力により所定の減速を伴いながらその移動が継続するような表示効果が達成される。したがって、全体画像のうち特定部分の領域を表示させるために行われるユーザの移動操作が激減するため、病理診断における病理医等の作業が効率化され、ひいては特定部分の見落としによる誤診等の可能性も低減される。
【０００９】
上記記憶装置には、それぞれ異なる解像度を有する第１の全体画像、第２の全体画像及び第３の全体画像が記憶されていてもよい。この場合上記操作入力部には、上記表示された部分画像について、第２の速度を有するズーム操作が入力されてもよい。この場合上記制御部は、上記ズーム操作が入力されている間、上記第１の全体画像を用いて表示された部分画像を、上記第２の全体画像を用いて、上記第２の速度でより広域または狭域の画像へと変更させ、上記入力されたズーム操作が入力されなくなったとき、上記部分画像を、上記第３の全体画像を用いて、上記第２の速度から上記所定の減速度で減速された速度で、より広域または狭域の画像へとさらに変更させるように上記メモリ及び上記出力部を制御してもよい。
【００１０】
これにより、部分画像に対するズーム操作が入力されなくなった後も、擬似的な慣性力によりそのズームが継続するような表示効果が達成される。したがって、観察対象物の特定の部分をズームして病理診断等を行う際のユーザの作業が効率化され、誤診等の可能性がより排除される。
【００１１】
上記制御部は、上記移動操作または上記ズーム操作が入力されなくなったとき、上記所定の減速度と、上記移動操作の上記所定方向または上記ズーム操作のズーム方向とを基に、上記さらなる表示範囲の移動または上記広域もしくは狭域の画像へのさらなる変更により出力されることになる部分画像の少なくとも一部を上記記憶装置から読み出して保持するように上記メモリを制御してもよい。
【００１２】
これにより情報処理装置、上記移動操作における所定方向または上記ズーム操作におけるズーム（ズームアウトもしくはズームイン）の方向に応じて、表示に必要となる部分画像の少なくとも一部を予めバッファリングすることができる。したがって擬似的な慣性力を伴った部分画像の切り替え処理がよりスムーズに実行される。
【００１３】
上記メモリは、上記第１乃至第３の全体画像から抽出された特徴を示す特徴データを保持してもよい。この場合上記制御部は、上記記憶された特徴データを基に上記減速度を変更してもよい。
【００１４】
これにより情報処理装置は、各全体画像に含まれる特徴部分に応じて減速度を変更することで、擬似的な慣性力による表示効果のみならず、特徴部分とそうでない部分に応じた部分画像の切り替えを行うことができる。したがって病理医等のユーザの作業がより効率化される。
【００１５】
上記特徴データは、上記第１乃至第３の全体画像中の所定単位領域毎の周波数レベルを示すデータであってもよい。この場合上記制御部は、上記移動操作または上記ズーム操作が入力されなくなったとき、上記さらなる移動後または上記さらなる変更後の上記部分画像に含まれる上記単位領域の周波数レベルが高いほど上記減速度を大きくしてもよい。
【００１６】
これにより情報処理装置は、各全体画像中で周波数レベルが高い特徴的な部分（急激に変化する部分）に移動操作またはズーム操作が及ぶと、減速度をより大きくして部分画像を表示することでユーザにその部分をより詳細に観察させることができる。また情報処理装置は、例えば上記移動操作またはズーム操作により表示される部分画像が特徴的な部分を含まない場合には減速度を小さくしてより素早く次の部分画像へ切り替えることもできる。
【００１７】
上記操作入力部は、上記さらなる移動中または上記さらなる変化中に任意の操作の入力を受け付けてもよい。この場合上記制御部は、上記任意の操作が入力されたとき、上記さらなる移動または上記さらなる変化を停止させてもよい。
【００１８】
これにより情報処理装置は、減速された速度で移動またはズームが継続しているときにユーザが任意の操作を入力すると、当該移動またはズームを停止させることができる。したがってユーザは全体画像中の所望の部分に移動またはズームが及んだときに任意の操作を入力することで、その部分を逃さず捉えることができる。
【００１９】
この場合、上記操作入力部は、上記さらなる移動中または上記さらなる変更中に圧力を検出する圧力センサを有し、上記制御部は、上記圧力センサにより検出された圧力に応じて上記減速度を変更してもよい。
【００２０】
これによりユーザは、減速された速度で移動またはズームが継続している最中に、上記操作入力部により圧力を加えることで、あたかも上記移動またはズームに対してその圧力に応じた摩擦力でブレーキがかかるような操作感を得ることができる。ここで上記圧力センサは、例えば操作入力部がマウスである場合には、その表面または当該マウスのボタンの内部に設けられる。典型的には、検出された圧力が大きいほど減速度も高くされる。
【００２１】
本発明の他の形態に係る情報処理方法は、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持することを含む。当該保持された部分画像は表示のために出力される。当該表示された部分画像については、第１の速度を有する所定方向への移動操作が入力される。上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲は、上記全体画像上で、上記所定方向へ上記第１の速度で移動される。また上記入力された移動操作が入力されなくなったときには、上記表示範囲は、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動される。
【００２２】
本発明のまた別の形態に係るプログラムは、情報処理装置に、保持ステップと、出力ステップと、操作受け付けステップと、第１の移動ステップと、第２の移動ステップとを実行させる。上記保持ステップでは、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像が読み出され保持される。上記出力ステップでは、上記保持された部分画像が表示のために出力される。上記操作受け付けステップでは、上記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力が受け付けられる。上記第１の移動ステップでは、上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲が、上記全体画像上で、上記所定方向へ上記第１の速度で移動される。上記第２の移動ステップでは、上記入力された移動操作が入力されなくなったとき、上記表示範囲が、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動される。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、バーチャル顕微鏡における画像の表示範囲の移動に必要なユーザの操作を減らし観察作業を効率化することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図２】本発明の一実施形態における表示原理を説明するための画像ピラミッド構造を示す図である。
【図３】図２に示した画像ピラミッド構造の画像群を生成するときの手順を説明するための図である。
【図４】本発明の一実施形態に係るＰＣの動作の流れを示すフローチャートである。
【図５】本発明の一実施形態に係るＰＣの動作のうち、表示範囲の移動操作時における動作を示した図である。
【図６】本発明の一実施形態に係るＰＣの動作のうち、表示範囲のズーム操作時における動作を示した図である。
【図７】本発明の一実施形態における全体画像の特徴解析の様子を示す図である。
【図８】本発明の一実施形態における全体画像の各部位における周波数レベルの算出処理の流れを示したフローチャートである。
【図９】本発明の一実施形態においてＰＣが全体画像のＤＣＴ係数マトリクスから存在周波数マトリクスを生成する処理を概念的に示した図である。
【図１０】本発明の一実施形態においてＰＣが存在周波数マトリクスと高周波検出マトリクスから周波数スコアマトリクスを生成する処理を概念的に示した図である。
【図１１】本発明の他の実施形態において用いられるマウスの外観及び内部構造を示した図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
［情報処理装置の構成］
図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００２７】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【００２８】
ＣＰＵ１０１は、必要に応じてＲＡＭ１０３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ１０２は、ＣＰＵ１０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、処理中の各種データを一時的に保持する。
【００２９】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【００３０】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１０６は、ＰＣ１００に内蔵されていてもよいし、ＰＣ１００に外部接続されていてもよい。
【００３１】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【００３２】
記憶部１０８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１０８には、後述する光学顕微鏡により得られた画像が記憶される。
【００３３】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【００３４】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【００３５】
次に、図示しない光学顕微鏡により得られた画像及びその表示原理について説明する。この画像は、ＰＣ１００の主に記憶部１０８に記憶される。図２は、その表示原理を説明するための画像構造を示す図である。
【００３６】
同図に示すように、本実施形態において扱われる画像はピラミッド構造を有する（画像ピラミッド構造５０）。当該画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図３参照）から得られる同一の画像について、異なる複数の解像度により生成された画像群である。本実施形態ではこの画像群を構成する各画像を全体画像と称する。画像ピラミッド構造５０の最下には、最も大きいサイズの全体画像が配置され、最上には最も小さいサイズの全体画像が配置される。最も大きいサイズの全体画像の解像度は、例えば５０×５０（Kpixel）、あるいは４０×６０（Kpixel）である。最も小さいサイズの全体画像の解像度は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。またこれら各全体画像は例えばＪＰＥＧ方式で圧縮された画像であるが、これに限られない。
【００３７】
ＰＣ１００は、この画像ピラミッド構造５０に含まれる各全体画像から、表示部１０６の所定の表示範囲に相当する部分の画像（以下、部分画像と称する）を適宜抽出してＲＡＭ１０３上に読み出し、表示部１０６により出力する。ここで、図２では、その表示部１０６の表示範囲をＤとして示している。
【００３８】
図３は、この画像ピラミッド構造５０の画像群を生成する手順を説明するための図である。
【００３９】
まず、光学顕微鏡（図示せず）により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図２で示した画像ピラミッド構造５０の最下の画像である最も大きいサイズの全体画像に相当し、つまり解像度が最大の全体画像となる。したがって、画像ピラミッド構造５０の最下の全体画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。
【００４０】
なお、病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置またはその他の記憶装置に記憶される。
【００４１】
このスキャナ装置または汎用コンピュータ（図示せず）は、図３に示すように、上記のように得られた最も大きいサイズの全体画像から、段階的に解像度を小さくした複数の全体画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０がＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の全体画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。また、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。
【００４２】
ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、ユーザの入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０中の任意の解像度の全体画像から、上記表示範囲Ｄに相当する部分画像を抽出する。そしてＰＣ１００は、これをＲＡＭ１０３へ読み出した後、表示部１０６から出力する。またＰＣ１００は、表示された部分画像について、ユーザから移動操作が入力された場合には、当該部分画像が抽出された全体画像上で、上記表示範囲Ｄを移動させ、当該移動後の表示範囲Ｄに含まれる部分画像を抽出して出力する。さらにＰＣ１００は、表示された部分画像について、ユーザからズーム操作が入力された場合には、当該部分画像が抽出された全体画像とは解像度が異なる全体画像から、当該部分画像の広域画像または狭域画像に相当する部分画像を抽出して出力する。このような処理により、ユーザは、観察範囲や観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００はバーチャル顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
【００４３】
ここで、表示範囲Ｄは、表示部１０６が有する最大の表示範囲の大きさを意味しているのではなく、表示部１０６の表示範囲の全体またはその一部の範囲であり、これは例えばユーザの設定により適宜設定され得る。また当該表示範囲Ｄは、上記タイルを複数行×複数列に並べた面積に相当する。すなわち上記部分画像は、複数のタイルで構成される。
【００４４】
［情報処理装置の動作］
次に、以上のように構成されたＰＣ１００の動作について説明する。
図４は、本実施形態に係るＰＣ１００の動作の流れを示すフローチャートである。また図５は当該ＰＣ１００の動作のうち、表示範囲Ｄの移動操作時における動作を示した図であり、図６は当該ＰＣ１００の動作のうち、当該動作のうち表示範囲Ｄのズーム操作時における動作を示した図である。
【００４５】
以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等の記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。
【００４６】
まず、ユーザが入力部１０７を介した入力操作により、画像ピラミッド構造５０の画像群を含むファイルにアクセスする。そうすると、ＰＣ１００のＣＰＵ１０１は、記憶部１０８に記憶された画像ピラミッド構造５０から所定の部分画像を抽出してＲＡＭ１０３に読み出し、これを表示部１０６に表示する（ステップ５１）。画像ピラミッド構造５０のうち、ＣＰＵ１０１が最初にアクセスする所定の部分画像は、デフォルトあるいはユーザにより適宜設定されればよい。
【００４７】
ＣＰＵ１０１は、典型的には比較的低解像度（低倍率）、例えば１．２５倍の観察倍率に対応する解像度を有する全体画像内の部分画像を最初に表示する。
【００４８】
続いてＣＰＵ１０１は、ユーザの入力部１０７からの入力操作を待機する（ステップ５２）。
【００４９】
ユーザが、表示範囲Ｄを所望の位置に変更するために、入力部１０７を操作すると（ステップ５２のＹＥＳ）、ＣＰＵ１０１は、当該操作が移動操作か否かを判断する（ステップ５３）。当該移動操作は、典型的には、マウスのドラッグ操作である。
【００５０】
上記ユーザの操作が移動操作である場合（ステップ５３のＹＥＳ）、ＣＰＵ１０１は、当該移動操作速度に応じて（移動操作速度と同一速度で）、上記部分画像が抽出された全体画像上で表示範囲Ｄを移動させ、移動後の表示範囲Ｄが位置する部分の部分画像をＲＡＭ１０３に読み出して表示する（ステップ５４）。
【００５１】
続いてＣＰＵ１０１は、上記移動操作（ドラッグ操作）が終了したか否か、すなわちユーザがマウスのボタンを離したか否かを判断する（ステップ５５）。
【００５２】
移動操作が終了したと判断した場合（ステップ５５のＹＥＳ）、ＣＰＵ１０１は、上記移動操作速度を所定の減速度で減速した速度で、上記表示範囲Ｄを上記全体画像上でさらに移動させる（ステップ５６）。すなわち、ＣＰＵ１０１は、移動操作が終了した後も、表示範囲Ｄの移動を減速させながら維持する。
【００５３】
この場合の移動速度（Ｖ）は、減速度をＳとすると、下記の式により表示範囲Ｄ毎に更新される。
Ｖ＝Ｖ×Ｓ（ただし、０＜Ｓ＜１．０）・・・（１）
【００５４】
図５の例では、まずマウスが左方向にドラッグされることで、表示範囲Ｄが右方向へ移動し、それにより部分画像Ｐ１がその右方向に位置する部分画像Ｐ２へと更新される（同図（Ａ）及び（Ｂ））。そして、当該ドラッグ操作が終了しても、表示範囲Ｄの移動は減速しながら継続する（同図（Ｂ）及び（Ｃ））。これによりユーザは、ドラッグ操作を終了した後も、表示範囲Ｄがあたかも慣性力により移動し続けるような視覚を得ることができる。
【００５５】
このような減速を伴う表示範囲Ｄの移動に際し、ＣＰＵ１０１は、上記移動速度（Ｖ）と移動方向とを基に、いつどの部分画像が必要になるかを計算することができる。したがってＣＰＵ１０１は、表示範囲Ｄを移動させるのに先立って、表示範囲Ｄの移動後の位置に相当する部分画像の少なくとも一部、すなわち上記タイルを上記画像ピラミッド構造５０からＲＡＭ１０３へロードしておくことができる。これにより表示範囲Ｄの移動がスムーズに実行される。
【００５６】
図４のフローチャートへ戻り、上記ステップ５３においてユーザの操作が移動操作でないと判断された場合、ＣＰＵ１０１は、当該操作がズーム操作であるか否かを判断する（ステップ５７）。当該ズーム操作は、典型的には、マウスのホイールの回転操作である。
【００５７】
当該操作がズーム操作であると判断した場合（ステップ５７のＹＥＳ）、ＣＰＵ１０１は、当該ズーム操作速度と同一速度で、既に表示されている元の部分画像を、当該元の部分画像が抽出された全体画像とは異なる全体画像内で当該元の部分画像の広域画像または狭域画像に相当する部分画像へと変更する（ステップ５８）。
【００５８】
例えば図６（Ａ）及び（Ｂ）に示すように、部分画像Ｐ１についてズームイン操作が入力された場合、ＣＰＵ１０１は、当該部分画像Ｐ１が抽出された全体画像とは異なる解像度の全体画像上で、上記部分画像Ｐ１の狭域画像に相当する部分画像Ｐ２を上記画像ピラミッド構造５０から抽出し、上記部分画像Ｐ１を部分画像Ｐ２へと変更する。
【００５９】
続いてＣＰＵ１０１は、上記ズーム操作（ホイール回転操作）が終了したか否か、すなわちユーザがマウスのホイールを離したか否かを判断する（ステップ５９）。
【００６０】
ズーム操作が終了したと判断した場合（ステップ５９のＹＥＳ）、ＣＰＵ１０１は、上記ズーム操作速度を所定の減速度で減速した速度で、上記異なる全体画像間での部分画像の変更を維持する（ステップ６０）。この場合の減速されたズーム速度も、上記移動速度（Ｖ）に関する式（１）と同様に算出される。
【００６１】
図６の例では、ユーザがマウスのホイールを例えば奥方向へ回転させると、表示範囲Ｄ内の元の部分画像Ｐ１は、当該回転速度で、異なる全体画像内のより狭域の部分画像Ｐ２へと変更される（同図（Ａ）及び（Ｂ））。そして、当該ホイール回転操作が終了しても、異なる全体画像間での部分画像の変更（Ｐ２からＰ３）は減速しながらも継続する（同図（Ｂ）及び（Ｃ））。これによりユーザは、ズーム操作を終了した後も、当該ズーム操作があたかも慣性力により継続し続けるような視覚を得ることができる。
【００６２】
図４のフローチャートへ戻り、ＣＰＵ１０１は、上記移動操作終了後に表示範囲Ｄが減速しながら移動している間、または、上記ズーム操作終了後に部分画像が減速しながら変更されている間に、全体画像における特徴部位に到達したか否かを判断する（ステップ６１）。
【００６３】
ここで特徴部位とは、例えば全体画像において画像成分が急激に変化する部位をいう。この特徴部位は、全体画像が所定の解析手法で解析されることで検出される。図７は、当該全体画像の特徴解析の様子を示す図である。
【００６４】
同図に示すように、全体画像Ｗが例えばクラスタリング処理により、複数のクラスタ領域（Ｃ１〜Ｃ４）に分割される。当該各クラスタ領域の境界線に関するデータは特徴データとして記憶部１０８に記憶され、ＣＰＵ１０１は、上記移動操作及びズーム操作にあたり、当該特徴データをＲＡＭ１０３へ読み出しておく。
【００６５】
この特徴データの生成には、上記クラスタリング処理による複数のクラスタ領域への分割処理が必須となるわけではない。ＣＰＵ１０１は例えば、全体画像内の周波数成分を計測することで特徴データを生成することもできる。図８は、当該周波数成分の計測による特徴データの生成処理の流れを示す図である。また図９及び図１０は、当該周波数成分の計測処理のうち一部の工程を示す図である。
【００６６】
当該周波数成分の計測には、例えば、上記各全体画像がＪＰＥＧ方式で圧縮される際のＤＣＴ係数が用いられる。すなわち図８に示すように、ＣＰＵ１０１はまず、全体画像から、８×８のブロック毎のＤＣＴ係数マトリクスデータを抽出する（ステップ８１）。このＤＣＴ係数マトリクスにより、８×８のブロック毎にどのくらいの高周波成分が含まれるかが分かる。
【００６７】
続いてＣＰＵ１０１は、図９に示すように、当該ＤＣＴ係数マトリクスのうち、数値が０でないセルの数値を１に置き換えたマトリクス（存在周波数マトリクス）を生成する（ステップ８２）。またＣＰＵ１０１は、高周波成分になればなるほど（マトリクスの右下へ向かうほど）数値が高くなるマトリクス（高周波検出マトリクス）を生成する（ステップ８３）。
【００６８】
続いてＣＰＵ１０１は、図１０に示すように、上記生成された存在周波数マトリクスと高周波検出マトリクスの対応するセルの数値同士を乗算することで、新たなマトリクス（周波数スコアマトリクス）を生成する（ステップ８４）。
【００６９】
続いてＣＰＵ１０１は、当該周波数スコアマトリクスの全セルのデータを足し合わせ、その合計値を８×８ブロック画像の周波数値とする（ステップ８５）。
【００７０】
続いてＣＰＵ１０１は、各８×８ブロック画像の周波数値を、全体画像の全体について算出する（ステップ８６）。そしてＣＰＵ１０１は、当該全体画像における各８×８ブロック画像の最大値で、各８×８ブロック画像の周波数値を除算することで、各８×８ブロック毎の正規化された周波数レベル（Ｆ）を算出する（ステップ８７）。
【００７１】
ここで、ＤＣＴ係数マトリクスの代わりに、ＤＣＴ係数の量子化後のデータが用いられても構わない。
【００７２】
ＣＰＵ１０１は、上記全体画像の８×８ブロック毎の周波数レベル（Ｆ）を上記特徴データとしてＲＡＭ１０３に保持する。
【００７３】
図４のフローチャートに戻り、表示範囲Ｄが全体画像における特徴部位に到達したと判断した場合（ステップ６１のＹＥＳ）、すなわち、全体画像における周波数レベル（Ｆ）が変化したと判断した場合、ＣＰＵ１０１は、当該周波数レベル（Ｆ）に応じて上記減速度を大きくする（ステップ６２）。具体的には、ＣＰＵ１０１は、上記減速度（Ｓ）を以下の式で算出し、それに従って部分画像を表示する。
Ｓ＝１．０−Ｆ・・・（２）
【００７４】
このような処理により、例えばユーザにとって関心の薄い領域での移動またはズームは素早く実行され、一方ユーザにとって重要な領域での移動またはズームは丁寧に（ゆっくり）実行されるようになる。物理的な例えをすると、全体画像の領域毎に摩擦係数が異なり、画像が変化する部位でさらにブレーキが掛かるような表示効果が得られる。したがってユーザによる特定の部位の見落としが極力防止される。
【００７５】
以上のような処理を経て、ＣＰＵ１０１は、上記表示範囲Ｄの減速された移動中またはズーム中にユーザのクリック操作が入力されたか否か、または上記減速により速度が０になったか否かを判断する（ステップ６３）。
【００７６】
そして、ＣＰＵ１０１は、クリック操作が入力された場合または上記速度が０になった場合（ステップ６３のＹＥＳ）は、上記移動操作後の表示範囲Ｄの移動または上記ズーム操作後の部分画像の変更を停止する（ステップ６４、図５（Ｄ）、図６（Ｄ））。ユーザのクリック操作により表示範囲Ｄの移動または部分画像の変更が停止されることで、ユーザは、擬似的な慣性力により移動中またはズーム中の部分画像が、興味のある部分に到達するタイミングを逃さず捉えることができる。
【００７７】
以上の処理により、ＰＣ１００は、ユーザによる移動操作またはズーム操作が入力されなくなった後も、あたかも慣性力によりその操作が減速しながら維持されるような視覚効果を与えることができる。これによりユーザが手動で移動操作またはズーム操作を行う場合における操作回数が格段に減少し、特に病理診断における病理医の作業が効率化され、重要な部位の見落としの可能性が激減する。また、特定の部位（高周波数成分）において上記減速度が大きくなるため、上記見落としの可能性がさらに低減される。
【００７８】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００７９】
上述の実施形態においては、ＣＰＵ１０１は、減速された移動中またはズーム中にユーザによりマウスのクリック操作が入力された場合には、上記移動操作後の表示範囲Ｄの移動または上記ズーム操作後の部分画像の変更を即座に停止した。しかし、この停止の態様はこれに限られない。例えばＣＰＵ１０１は、ユーザによる移動操作またはズーム操作の終了後（ボタンからユーザの指が離れた後）に、ユーザから上記クリック操作が入力された場合に、そのクリックによりマウスへ加えられる圧力に応じて減速度を変更してもよい。
【００８０】
具体的には、図１１に示すように、上記入力部１０７としてのマウス１１０の例えば左ボタン１１１の内部に、ユーザの指等により加えられた圧力を検出する感圧シート１１２等の圧力センサが設けられる。当該感圧シートは、左ボタン１１１の内部ではなく表面に設けられてもよい。上記圧力センサには、半導体ダイヤフラム型、静電容量型、弾性体ダイヤフラム型、圧電型、振動型、ブルドン管型、ベローズ型等のいかなる感圧素子が用いられてもよく、またシート状ではなく立体的なものが用いられても構わない。
【００８１】
ＣＰＵ１０１は、上記減速された移動操作またはズーム操作の最中に、ユーザが当該マウス１１０で左ボタンのクリック操作を行うと、当該クリック操作により左ボタンに加えられた圧力値、すなわち感圧シート１１２から入力されたアナログ量を基に、上記所定の減速度を変更する。
【００８２】
典型的には、ＣＰＵ１０１は、検出された圧力値が大きいほど上記減速度を大きくする。すなわち、ＣＰＵ１０１は、検出された圧力値に応じて、例えば、当該圧力値を正規化した値をＰとすると、以下の式で減速度を算出し、それに従って部分画像を表示する。
Ｓ＝１．０−Ｐ・・・（３）
【００８３】
これによりユーザは、減速された速度で移動またはズームが継続している最中に、上記マウス１１０により圧力を加えることで、あたかも上記移動またはズームに対してその圧力に応じた摩擦力でブレーキがかかるような操作感を得ることができる。より具体的な例えをするならば、ユーザは、回転している地球儀に指を接触させてその摩擦力で回転を止めるような操作感を得ることができる。したがってユーザは、上記移動またはズームをより直感的な操作感で停止させることができる。
【００８４】
入力部１０７としてマウス１１０ではなくタッチパネルやタッチパッドが用いられる場合にも、例えば当該タッチパネルやタッチパッドの内部等に圧力センサが設けられることで、同様の処理が実現される。
【００８５】
上記では、画像ピラミッド構造５０を形成する画像データがＰＣ１００の記憶部１０８に記憶されている形態について説明した。しかし、ＰＣ１００とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ等とがＬＡＮまたはＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。また、上記特徴データ（周波数レベル）の生成処理も、ＰＣ１００とは別のコンピュータやサーバで実行され、ＰＣ１００がそれらから特徴データを受信してもよい。
【００８６】
上記では、画像ピラミッド構造５０の元画像として、同じ１つの観察対象物１５について１つの元画像が生成される形態について説明した。しかし、元画像として、同じ１つの観察対象物１５について、光学顕微鏡のフォーカス方向である観察対象物１５の厚さ方向の複数の元画像が生成されてもよい。これは、いわゆるZ-stackと呼ばれ、観察対象物１５の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。上記スキャナ装置がこのZ-stack機能を有する場合が多く、元画像として、５〜１０枚あるいは１０〜３０枚程度生成される。
【００８７】
上述の実施形態においては、ＰＣ１００は、全体画像における特徴データの生成を全体画像の周波数成分を計測することで行った。しかしながら、ＰＣ１００は、周波数以外にも、例えば全体画像における標準偏差、コントラスト、エッジ等を検出し、またはそれらを組み合わせることで特徴データを生成してもよい。
【００８８】
上記実施形態に係る情報処理装置としてＰＣが用いられたが、ＰＣに限られず、専用の情報処理装置であってもよい。また、情報処理装置として、ハードウェア資源及びソフトウェアの協働により上記情報処理を実現する装置に限られず、専用のハードウェアにより上記情報処理が実現されてもよい。
【符号の説明】
【００８９】
Ｐ（Ｐ１〜Ｐ４）…部分画像
Ｗ…全体画像
Ｄ…表示範囲
１５…観察対象物
５０…画像ピラミッド構造
１００…ＰＣ
１０１…ＣＰＵ
１０３…ＲＡＭ
１０６…表示部
１０７…入力部
１０８…記憶部
１１０…マウス
１１２…感圧シート
【技術分野】
【０００１】
本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像の表示を制御する情報処理装置、情報処理方法及びそのプログラムに関する。
【背景技術】
【０００２】
医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。
【０００３】
例えば、特許文献１に記載の方法では、顕微鏡により光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号が制御コンピュータシステムに入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う（例えば、特許文献１の段落［００２７］、［００２８］、図５参照）。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１に記載のような従来のバーチャル顕微鏡において、ユーザが画像の表示範囲を移動したり、画像をズームしたりする場合、ユーザは例えばマウスをドラッグしたりホイールを回転させたりする操作を繰り返す必要がある。しかしながら、上記バーチャル顕微鏡で扱われる画像は例えば５０×５０（Kpixel：キロピクセル）といった巨大なサイズの画像であり、このような画像中をくまなく観察するのはユーザにとって非常に骨の折れる作業であった。特に病理医はそういった作業を一日中行うため、操作が煩わしいとそれがストレスとなり、本来発見されるべき病理組織の変化の見落とし等が発生し誤診を招く可能性もある。
【０００６】
以上のような事情に鑑み、本発明の目的は、バーチャル顕微鏡における画像の表示範囲の移動に必要なユーザの操作を減らし観察作業を効率化することが可能な情報処理装置、情報処理方法及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、メモリと、出力部と、操作入力部と、制御部とを有する。上記メモリは、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持する。上記出力部は、上記保持された部分画像を表示させるために出力する。上記操作入力部は、上記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付ける。上記制御部は、上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲を、上記全体画像上で、上記所定方向へ上記第１の速度で移動させ、上記入力された移動操作が入力されなくなったとき、上記表示範囲を、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動させるように上記メモリ及び上記出力部を制御する。
【０００８】
ここで上記観察対象物は、生体の臓器、組織、細胞等である。また上記記憶装置は、当該情報処理装置の内部と外部のどちらに存在していてもよい。本発明の構成により、部分画像に対する移動操作が入力されなくなった後も、擬似的な慣性力により所定の減速を伴いながらその移動が継続するような表示効果が達成される。したがって、全体画像のうち特定部分の領域を表示させるために行われるユーザの移動操作が激減するため、病理診断における病理医等の作業が効率化され、ひいては特定部分の見落としによる誤診等の可能性も低減される。
【０００９】
上記記憶装置には、それぞれ異なる解像度を有する第１の全体画像、第２の全体画像及び第３の全体画像が記憶されていてもよい。この場合上記操作入力部には、上記表示された部分画像について、第２の速度を有するズーム操作が入力されてもよい。この場合上記制御部は、上記ズーム操作が入力されている間、上記第１の全体画像を用いて表示された部分画像を、上記第２の全体画像を用いて、上記第２の速度でより広域または狭域の画像へと変更させ、上記入力されたズーム操作が入力されなくなったとき、上記部分画像を、上記第３の全体画像を用いて、上記第２の速度から上記所定の減速度で減速された速度で、より広域または狭域の画像へとさらに変更させるように上記メモリ及び上記出力部を制御してもよい。
【００１０】
これにより、部分画像に対するズーム操作が入力されなくなった後も、擬似的な慣性力によりそのズームが継続するような表示効果が達成される。したがって、観察対象物の特定の部分をズームして病理診断等を行う際のユーザの作業が効率化され、誤診等の可能性がより排除される。
【００１１】
上記制御部は、上記移動操作または上記ズーム操作が入力されなくなったとき、上記所定の減速度と、上記移動操作の上記所定方向または上記ズーム操作のズーム方向とを基に、上記さらなる表示範囲の移動または上記広域もしくは狭域の画像へのさらなる変更により出力されることになる部分画像の少なくとも一部を上記記憶装置から読み出して保持するように上記メモリを制御してもよい。
【００１２】
これにより情報処理装置、上記移動操作における所定方向または上記ズーム操作におけるズーム（ズームアウトもしくはズームイン）の方向に応じて、表示に必要となる部分画像の少なくとも一部を予めバッファリングすることができる。したがって擬似的な慣性力を伴った部分画像の切り替え処理がよりスムーズに実行される。
【００１３】
上記メモリは、上記第１乃至第３の全体画像から抽出された特徴を示す特徴データを保持してもよい。この場合上記制御部は、上記記憶された特徴データを基に上記減速度を変更してもよい。
【００１４】
これにより情報処理装置は、各全体画像に含まれる特徴部分に応じて減速度を変更することで、擬似的な慣性力による表示効果のみならず、特徴部分とそうでない部分に応じた部分画像の切り替えを行うことができる。したがって病理医等のユーザの作業がより効率化される。
【００１５】
上記特徴データは、上記第１乃至第３の全体画像中の所定単位領域毎の周波数レベルを示すデータであってもよい。この場合上記制御部は、上記移動操作または上記ズーム操作が入力されなくなったとき、上記さらなる移動後または上記さらなる変更後の上記部分画像に含まれる上記単位領域の周波数レベルが高いほど上記減速度を大きくしてもよい。
【００１６】
これにより情報処理装置は、各全体画像中で周波数レベルが高い特徴的な部分（急激に変化する部分）に移動操作またはズーム操作が及ぶと、減速度をより大きくして部分画像を表示することでユーザにその部分をより詳細に観察させることができる。また情報処理装置は、例えば上記移動操作またはズーム操作により表示される部分画像が特徴的な部分を含まない場合には減速度を小さくしてより素早く次の部分画像へ切り替えることもできる。
【００１７】
上記操作入力部は、上記さらなる移動中または上記さらなる変化中に任意の操作の入力を受け付けてもよい。この場合上記制御部は、上記任意の操作が入力されたとき、上記さらなる移動または上記さらなる変化を停止させてもよい。
【００１８】
これにより情報処理装置は、減速された速度で移動またはズームが継続しているときにユーザが任意の操作を入力すると、当該移動またはズームを停止させることができる。したがってユーザは全体画像中の所望の部分に移動またはズームが及んだときに任意の操作を入力することで、その部分を逃さず捉えることができる。
【００１９】
この場合、上記操作入力部は、上記さらなる移動中または上記さらなる変更中に圧力を検出する圧力センサを有し、上記制御部は、上記圧力センサにより検出された圧力に応じて上記減速度を変更してもよい。
【００２０】
これによりユーザは、減速された速度で移動またはズームが継続している最中に、上記操作入力部により圧力を加えることで、あたかも上記移動またはズームに対してその圧力に応じた摩擦力でブレーキがかかるような操作感を得ることができる。ここで上記圧力センサは、例えば操作入力部がマウスである場合には、その表面または当該マウスのボタンの内部に設けられる。典型的には、検出された圧力が大きいほど減速度も高くされる。
【００２１】
本発明の他の形態に係る情報処理方法は、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持することを含む。当該保持された部分画像は表示のために出力される。当該表示された部分画像については、第１の速度を有する所定方向への移動操作が入力される。上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲は、上記全体画像上で、上記所定方向へ上記第１の速度で移動される。また上記入力された移動操作が入力されなくなったときには、上記表示範囲は、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動される。
【００２２】
本発明のまた別の形態に係るプログラムは、情報処理装置に、保持ステップと、出力ステップと、操作受け付けステップと、第１の移動ステップと、第２の移動ステップとを実行させる。上記保持ステップでは、顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像が読み出され保持される。上記出力ステップでは、上記保持された部分画像が表示のために出力される。上記操作受け付けステップでは、上記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力が受け付けられる。上記第１の移動ステップでは、上記移動操作が入力されている間、上記表示された部分画像の上記表示範囲が、上記全体画像上で、上記所定方向へ上記第１の速度で移動される。上記第２の移動ステップでは、上記入力された移動操作が入力されなくなったとき、上記表示範囲が、上記全体画像上で、上記所定方向へ上記第１の速度から所定の減速度で減速された速度でさらに移動される。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、バーチャル顕微鏡における画像の表示範囲の移動に必要なユーザの操作を減らし観察作業を効率化することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図２】本発明の一実施形態における表示原理を説明するための画像ピラミッド構造を示す図である。
【図３】図２に示した画像ピラミッド構造の画像群を生成するときの手順を説明するための図である。
【図４】本発明の一実施形態に係るＰＣの動作の流れを示すフローチャートである。
【図５】本発明の一実施形態に係るＰＣの動作のうち、表示範囲の移動操作時における動作を示した図である。
【図６】本発明の一実施形態に係るＰＣの動作のうち、表示範囲のズーム操作時における動作を示した図である。
【図７】本発明の一実施形態における全体画像の特徴解析の様子を示す図である。
【図８】本発明の一実施形態における全体画像の各部位における周波数レベルの算出処理の流れを示したフローチャートである。
【図９】本発明の一実施形態においてＰＣが全体画像のＤＣＴ係数マトリクスから存在周波数マトリクスを生成する処理を概念的に示した図である。
【図１０】本発明の一実施形態においてＰＣが存在周波数マトリクスと高周波検出マトリクスから周波数スコアマトリクスを生成する処理を概念的に示した図である。
【図１１】本発明の他の実施形態において用いられるマウスの外観及び内部構造を示した図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
［情報処理装置の構成］
図１は、本発明の一実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００２７】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【００２８】
ＣＰＵ１０１は、必要に応じてＲＡＭ１０３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ１０２は、ＣＰＵ１０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、処理中の各種データを一時的に保持する。
【００２９】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【００３０】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１０６は、ＰＣ１００に内蔵されていてもよいし、ＰＣ１００に外部接続されていてもよい。
【００３１】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【００３２】
記憶部１０８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１０８には、後述する光学顕微鏡により得られた画像が記憶される。
【００３３】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【００３４】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【００３５】
次に、図示しない光学顕微鏡により得られた画像及びその表示原理について説明する。この画像は、ＰＣ１００の主に記憶部１０８に記憶される。図２は、その表示原理を説明するための画像構造を示す図である。
【００３６】
同図に示すように、本実施形態において扱われる画像はピラミッド構造を有する（画像ピラミッド構造５０）。当該画像ピラミッド構造５０は、光学顕微鏡により同じ１つの観察対象物１５（図３参照）から得られる同一の画像について、異なる複数の解像度により生成された画像群である。本実施形態ではこの画像群を構成する各画像を全体画像と称する。画像ピラミッド構造５０の最下には、最も大きいサイズの全体画像が配置され、最上には最も小さいサイズの全体画像が配置される。最も大きいサイズの全体画像の解像度は、例えば５０×５０（Kpixel）、あるいは４０×６０（Kpixel）である。最も小さいサイズの全体画像の解像度は、例えば２５６×２５６（pixel）、あるいは、２５６×５１２（pixel）である。またこれら各全体画像は例えばＪＰＥＧ方式で圧縮された画像であるが、これに限られない。
【００３７】
ＰＣ１００は、この画像ピラミッド構造５０に含まれる各全体画像から、表示部１０６の所定の表示範囲に相当する部分の画像（以下、部分画像と称する）を適宜抽出してＲＡＭ１０３上に読み出し、表示部１０６により出力する。ここで、図２では、その表示部１０６の表示範囲をＤとして示している。
【００３８】
図３は、この画像ピラミッド構造５０の画像群を生成する手順を説明するための図である。
【００３９】
まず、光学顕微鏡（図示せず）により所定の観察倍率で得られた元画像のデジタル画像が用意される。この元画像が、図２で示した画像ピラミッド構造５０の最下の画像である最も大きいサイズの全体画像に相当し、つまり解像度が最大の全体画像となる。したがって、画像ピラミッド構造５０の最下の全体画像としては、比較的高倍率で観察されて得られる光学顕微鏡の画像が用いられる。
【００４０】
なお、病理の分野一般においては、生体の臓器、組織、細胞、またはこれらの一部から、薄く切り取られたものが観察対象物１５となる。そして、光学顕微鏡の機能を有する図示しないスキャナ装置により、ガラススライドに収められた観察対象物１５が読み取られ、これにより得られたデジタル画像が、そのスキャナ装置またはその他の記憶装置に記憶される。
【００４１】
このスキャナ装置または汎用コンピュータ（図示せず）は、図３に示すように、上記のように得られた最も大きいサイズの全体画像から、段階的に解像度を小さくした複数の全体画像を生成し、これらを例えば所定サイズの単位である「タイル」単位で記憶する。１タイルのサイズは、例えば２５６×２５６（pixel）である。このように生成された画像群が画像ピラミッド構造５０を形成し、この画像ピラミッド構造５０がＰＣ１００の記憶部１０８に記憶される。実際には、ＰＣ１００はそれら異なる複数の解像度の全体画像と、解像度の情報とをそれぞれ対応付けて記憶すればよい。また、画像ピラミッド構造５０の生成及びその記憶は、図１に示したＰＣ１００が実行してもよい。
【００４２】
ＰＣ１００は、この画像ピラミッド構造５０のシステムを採用するソフトウェアを用い、ユーザの入力部１０７を介した入力操作に応じて、画像ピラミッド構造５０中の任意の解像度の全体画像から、上記表示範囲Ｄに相当する部分画像を抽出する。そしてＰＣ１００は、これをＲＡＭ１０３へ読み出した後、表示部１０６から出力する。またＰＣ１００は、表示された部分画像について、ユーザから移動操作が入力された場合には、当該部分画像が抽出された全体画像上で、上記表示範囲Ｄを移動させ、当該移動後の表示範囲Ｄに含まれる部分画像を抽出して出力する。さらにＰＣ１００は、表示された部分画像について、ユーザからズーム操作が入力された場合には、当該部分画像が抽出された全体画像とは解像度が異なる全体画像から、当該部分画像の広域画像または狭域画像に相当する部分画像を抽出して出力する。このような処理により、ユーザは、観察範囲や観察倍率を変えながら観察対象物１５を観察しているような感覚を得ることができる。すなわち、ＰＣ１００はバーチャル顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
【００４３】
ここで、表示範囲Ｄは、表示部１０６が有する最大の表示範囲の大きさを意味しているのではなく、表示部１０６の表示範囲の全体またはその一部の範囲であり、これは例えばユーザの設定により適宜設定され得る。また当該表示範囲Ｄは、上記タイルを複数行×複数列に並べた面積に相当する。すなわち上記部分画像は、複数のタイルで構成される。
【００４４】
［情報処理装置の動作］
次に、以上のように構成されたＰＣ１００の動作について説明する。
図４は、本実施形態に係るＰＣ１００の動作の流れを示すフローチャートである。また図５は当該ＰＣ１００の動作のうち、表示範囲Ｄの移動操作時における動作を示した図であり、図６は当該ＰＣ１００の動作のうち、当該動作のうち表示範囲Ｄのズーム操作時における動作を示した図である。
【００４５】
以下のＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等の記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。
【００４６】
まず、ユーザが入力部１０７を介した入力操作により、画像ピラミッド構造５０の画像群を含むファイルにアクセスする。そうすると、ＰＣ１００のＣＰＵ１０１は、記憶部１０８に記憶された画像ピラミッド構造５０から所定の部分画像を抽出してＲＡＭ１０３に読み出し、これを表示部１０６に表示する（ステップ５１）。画像ピラミッド構造５０のうち、ＣＰＵ１０１が最初にアクセスする所定の部分画像は、デフォルトあるいはユーザにより適宜設定されればよい。
【００４７】
ＣＰＵ１０１は、典型的には比較的低解像度（低倍率）、例えば１．２５倍の観察倍率に対応する解像度を有する全体画像内の部分画像を最初に表示する。
【００４８】
続いてＣＰＵ１０１は、ユーザの入力部１０７からの入力操作を待機する（ステップ５２）。
【００４９】
ユーザが、表示範囲Ｄを所望の位置に変更するために、入力部１０７を操作すると（ステップ５２のＹＥＳ）、ＣＰＵ１０１は、当該操作が移動操作か否かを判断する（ステップ５３）。当該移動操作は、典型的には、マウスのドラッグ操作である。
【００５０】
上記ユーザの操作が移動操作である場合（ステップ５３のＹＥＳ）、ＣＰＵ１０１は、当該移動操作速度に応じて（移動操作速度と同一速度で）、上記部分画像が抽出された全体画像上で表示範囲Ｄを移動させ、移動後の表示範囲Ｄが位置する部分の部分画像をＲＡＭ１０３に読み出して表示する（ステップ５４）。
【００５１】
続いてＣＰＵ１０１は、上記移動操作（ドラッグ操作）が終了したか否か、すなわちユーザがマウスのボタンを離したか否かを判断する（ステップ５５）。
【００５２】
移動操作が終了したと判断した場合（ステップ５５のＹＥＳ）、ＣＰＵ１０１は、上記移動操作速度を所定の減速度で減速した速度で、上記表示範囲Ｄを上記全体画像上でさらに移動させる（ステップ５６）。すなわち、ＣＰＵ１０１は、移動操作が終了した後も、表示範囲Ｄの移動を減速させながら維持する。
【００５３】
この場合の移動速度（Ｖ）は、減速度をＳとすると、下記の式により表示範囲Ｄ毎に更新される。
Ｖ＝Ｖ×Ｓ（ただし、０＜Ｓ＜１．０）・・・（１）
【００５４】
図５の例では、まずマウスが左方向にドラッグされることで、表示範囲Ｄが右方向へ移動し、それにより部分画像Ｐ１がその右方向に位置する部分画像Ｐ２へと更新される（同図（Ａ）及び（Ｂ））。そして、当該ドラッグ操作が終了しても、表示範囲Ｄの移動は減速しながら継続する（同図（Ｂ）及び（Ｃ））。これによりユーザは、ドラッグ操作を終了した後も、表示範囲Ｄがあたかも慣性力により移動し続けるような視覚を得ることができる。
【００５５】
このような減速を伴う表示範囲Ｄの移動に際し、ＣＰＵ１０１は、上記移動速度（Ｖ）と移動方向とを基に、いつどの部分画像が必要になるかを計算することができる。したがってＣＰＵ１０１は、表示範囲Ｄを移動させるのに先立って、表示範囲Ｄの移動後の位置に相当する部分画像の少なくとも一部、すなわち上記タイルを上記画像ピラミッド構造５０からＲＡＭ１０３へロードしておくことができる。これにより表示範囲Ｄの移動がスムーズに実行される。
【００５６】
図４のフローチャートへ戻り、上記ステップ５３においてユーザの操作が移動操作でないと判断された場合、ＣＰＵ１０１は、当該操作がズーム操作であるか否かを判断する（ステップ５７）。当該ズーム操作は、典型的には、マウスのホイールの回転操作である。
【００５７】
当該操作がズーム操作であると判断した場合（ステップ５７のＹＥＳ）、ＣＰＵ１０１は、当該ズーム操作速度と同一速度で、既に表示されている元の部分画像を、当該元の部分画像が抽出された全体画像とは異なる全体画像内で当該元の部分画像の広域画像または狭域画像に相当する部分画像へと変更する（ステップ５８）。
【００５８】
例えば図６（Ａ）及び（Ｂ）に示すように、部分画像Ｐ１についてズームイン操作が入力された場合、ＣＰＵ１０１は、当該部分画像Ｐ１が抽出された全体画像とは異なる解像度の全体画像上で、上記部分画像Ｐ１の狭域画像に相当する部分画像Ｐ２を上記画像ピラミッド構造５０から抽出し、上記部分画像Ｐ１を部分画像Ｐ２へと変更する。
【００５９】
続いてＣＰＵ１０１は、上記ズーム操作（ホイール回転操作）が終了したか否か、すなわちユーザがマウスのホイールを離したか否かを判断する（ステップ５９）。
【００６０】
ズーム操作が終了したと判断した場合（ステップ５９のＹＥＳ）、ＣＰＵ１０１は、上記ズーム操作速度を所定の減速度で減速した速度で、上記異なる全体画像間での部分画像の変更を維持する（ステップ６０）。この場合の減速されたズーム速度も、上記移動速度（Ｖ）に関する式（１）と同様に算出される。
【００６１】
図６の例では、ユーザがマウスのホイールを例えば奥方向へ回転させると、表示範囲Ｄ内の元の部分画像Ｐ１は、当該回転速度で、異なる全体画像内のより狭域の部分画像Ｐ２へと変更される（同図（Ａ）及び（Ｂ））。そして、当該ホイール回転操作が終了しても、異なる全体画像間での部分画像の変更（Ｐ２からＰ３）は減速しながらも継続する（同図（Ｂ）及び（Ｃ））。これによりユーザは、ズーム操作を終了した後も、当該ズーム操作があたかも慣性力により継続し続けるような視覚を得ることができる。
【００６２】
図４のフローチャートへ戻り、ＣＰＵ１０１は、上記移動操作終了後に表示範囲Ｄが減速しながら移動している間、または、上記ズーム操作終了後に部分画像が減速しながら変更されている間に、全体画像における特徴部位に到達したか否かを判断する（ステップ６１）。
【００６３】
ここで特徴部位とは、例えば全体画像において画像成分が急激に変化する部位をいう。この特徴部位は、全体画像が所定の解析手法で解析されることで検出される。図７は、当該全体画像の特徴解析の様子を示す図である。
【００６４】
同図に示すように、全体画像Ｗが例えばクラスタリング処理により、複数のクラスタ領域（Ｃ１〜Ｃ４）に分割される。当該各クラスタ領域の境界線に関するデータは特徴データとして記憶部１０８に記憶され、ＣＰＵ１０１は、上記移動操作及びズーム操作にあたり、当該特徴データをＲＡＭ１０３へ読み出しておく。
【００６５】
この特徴データの生成には、上記クラスタリング処理による複数のクラスタ領域への分割処理が必須となるわけではない。ＣＰＵ１０１は例えば、全体画像内の周波数成分を計測することで特徴データを生成することもできる。図８は、当該周波数成分の計測による特徴データの生成処理の流れを示す図である。また図９及び図１０は、当該周波数成分の計測処理のうち一部の工程を示す図である。
【００６６】
当該周波数成分の計測には、例えば、上記各全体画像がＪＰＥＧ方式で圧縮される際のＤＣＴ係数が用いられる。すなわち図８に示すように、ＣＰＵ１０１はまず、全体画像から、８×８のブロック毎のＤＣＴ係数マトリクスデータを抽出する（ステップ８１）。このＤＣＴ係数マトリクスにより、８×８のブロック毎にどのくらいの高周波成分が含まれるかが分かる。
【００６７】
続いてＣＰＵ１０１は、図９に示すように、当該ＤＣＴ係数マトリクスのうち、数値が０でないセルの数値を１に置き換えたマトリクス（存在周波数マトリクス）を生成する（ステップ８２）。またＣＰＵ１０１は、高周波成分になればなるほど（マトリクスの右下へ向かうほど）数値が高くなるマトリクス（高周波検出マトリクス）を生成する（ステップ８３）。
【００６８】
続いてＣＰＵ１０１は、図１０に示すように、上記生成された存在周波数マトリクスと高周波検出マトリクスの対応するセルの数値同士を乗算することで、新たなマトリクス（周波数スコアマトリクス）を生成する（ステップ８４）。
【００６９】
続いてＣＰＵ１０１は、当該周波数スコアマトリクスの全セルのデータを足し合わせ、その合計値を８×８ブロック画像の周波数値とする（ステップ８５）。
【００７０】
続いてＣＰＵ１０１は、各８×８ブロック画像の周波数値を、全体画像の全体について算出する（ステップ８６）。そしてＣＰＵ１０１は、当該全体画像における各８×８ブロック画像の最大値で、各８×８ブロック画像の周波数値を除算することで、各８×８ブロック毎の正規化された周波数レベル（Ｆ）を算出する（ステップ８７）。
【００７１】
ここで、ＤＣＴ係数マトリクスの代わりに、ＤＣＴ係数の量子化後のデータが用いられても構わない。
【００７２】
ＣＰＵ１０１は、上記全体画像の８×８ブロック毎の周波数レベル（Ｆ）を上記特徴データとしてＲＡＭ１０３に保持する。
【００７３】
図４のフローチャートに戻り、表示範囲Ｄが全体画像における特徴部位に到達したと判断した場合（ステップ６１のＹＥＳ）、すなわち、全体画像における周波数レベル（Ｆ）が変化したと判断した場合、ＣＰＵ１０１は、当該周波数レベル（Ｆ）に応じて上記減速度を大きくする（ステップ６２）。具体的には、ＣＰＵ１０１は、上記減速度（Ｓ）を以下の式で算出し、それに従って部分画像を表示する。
Ｓ＝１．０−Ｆ・・・（２）
【００７４】
このような処理により、例えばユーザにとって関心の薄い領域での移動またはズームは素早く実行され、一方ユーザにとって重要な領域での移動またはズームは丁寧に（ゆっくり）実行されるようになる。物理的な例えをすると、全体画像の領域毎に摩擦係数が異なり、画像が変化する部位でさらにブレーキが掛かるような表示効果が得られる。したがってユーザによる特定の部位の見落としが極力防止される。
【００７５】
以上のような処理を経て、ＣＰＵ１０１は、上記表示範囲Ｄの減速された移動中またはズーム中にユーザのクリック操作が入力されたか否か、または上記減速により速度が０になったか否かを判断する（ステップ６３）。
【００７６】
そして、ＣＰＵ１０１は、クリック操作が入力された場合または上記速度が０になった場合（ステップ６３のＹＥＳ）は、上記移動操作後の表示範囲Ｄの移動または上記ズーム操作後の部分画像の変更を停止する（ステップ６４、図５（Ｄ）、図６（Ｄ））。ユーザのクリック操作により表示範囲Ｄの移動または部分画像の変更が停止されることで、ユーザは、擬似的な慣性力により移動中またはズーム中の部分画像が、興味のある部分に到達するタイミングを逃さず捉えることができる。
【００７７】
以上の処理により、ＰＣ１００は、ユーザによる移動操作またはズーム操作が入力されなくなった後も、あたかも慣性力によりその操作が減速しながら維持されるような視覚効果を与えることができる。これによりユーザが手動で移動操作またはズーム操作を行う場合における操作回数が格段に減少し、特に病理診断における病理医の作業が効率化され、重要な部位の見落としの可能性が激減する。また、特定の部位（高周波数成分）において上記減速度が大きくなるため、上記見落としの可能性がさらに低減される。
【００７８】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００７９】
上述の実施形態においては、ＣＰＵ１０１は、減速された移動中またはズーム中にユーザによりマウスのクリック操作が入力された場合には、上記移動操作後の表示範囲Ｄの移動または上記ズーム操作後の部分画像の変更を即座に停止した。しかし、この停止の態様はこれに限られない。例えばＣＰＵ１０１は、ユーザによる移動操作またはズーム操作の終了後（ボタンからユーザの指が離れた後）に、ユーザから上記クリック操作が入力された場合に、そのクリックによりマウスへ加えられる圧力に応じて減速度を変更してもよい。
【００８０】
具体的には、図１１に示すように、上記入力部１０７としてのマウス１１０の例えば左ボタン１１１の内部に、ユーザの指等により加えられた圧力を検出する感圧シート１１２等の圧力センサが設けられる。当該感圧シートは、左ボタン１１１の内部ではなく表面に設けられてもよい。上記圧力センサには、半導体ダイヤフラム型、静電容量型、弾性体ダイヤフラム型、圧電型、振動型、ブルドン管型、ベローズ型等のいかなる感圧素子が用いられてもよく、またシート状ではなく立体的なものが用いられても構わない。
【００８１】
ＣＰＵ１０１は、上記減速された移動操作またはズーム操作の最中に、ユーザが当該マウス１１０で左ボタンのクリック操作を行うと、当該クリック操作により左ボタンに加えられた圧力値、すなわち感圧シート１１２から入力されたアナログ量を基に、上記所定の減速度を変更する。
【００８２】
典型的には、ＣＰＵ１０１は、検出された圧力値が大きいほど上記減速度を大きくする。すなわち、ＣＰＵ１０１は、検出された圧力値に応じて、例えば、当該圧力値を正規化した値をＰとすると、以下の式で減速度を算出し、それに従って部分画像を表示する。
Ｓ＝１．０−Ｐ・・・（３）
【００８３】
これによりユーザは、減速された速度で移動またはズームが継続している最中に、上記マウス１１０により圧力を加えることで、あたかも上記移動またはズームに対してその圧力に応じた摩擦力でブレーキがかかるような操作感を得ることができる。より具体的な例えをするならば、ユーザは、回転している地球儀に指を接触させてその摩擦力で回転を止めるような操作感を得ることができる。したがってユーザは、上記移動またはズームをより直感的な操作感で停止させることができる。
【００８４】
入力部１０７としてマウス１１０ではなくタッチパネルやタッチパッドが用いられる場合にも、例えば当該タッチパネルやタッチパッドの内部等に圧力センサが設けられることで、同様の処理が実現される。
【００８５】
上記では、画像ピラミッド構造５０を形成する画像データがＰＣ１００の記憶部１０８に記憶されている形態について説明した。しかし、ＰＣ１００とは別のコンピュータやサーバが、画像ピラミッド構造５０を形成する画像データを記憶し、ユーザが端末装置として使用するＰＣ１００が、それら別のコンピュータやサーバにアクセスしてその画像データを受信してもよい。この場合、端末装置としてのＰＣ１００とサーバ等とがＬＡＮまたはＷＡＮ等のネットワークを介して接続されてもよい。特に、ＷＡＮが使用されることにより遠隔病理学（Telepathology）や遠隔診断等を実現することができる。また、上記特徴データ（周波数レベル）の生成処理も、ＰＣ１００とは別のコンピュータやサーバで実行され、ＰＣ１００がそれらから特徴データを受信してもよい。
【００８６】
上記では、画像ピラミッド構造５０の元画像として、同じ１つの観察対象物１５について１つの元画像が生成される形態について説明した。しかし、元画像として、同じ１つの観察対象物１５について、光学顕微鏡のフォーカス方向である観察対象物１５の厚さ方向の複数の元画像が生成されてもよい。これは、いわゆるZ-stackと呼ばれ、観察対象物１５の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。上記スキャナ装置がこのZ-stack機能を有する場合が多く、元画像として、５〜１０枚あるいは１０〜３０枚程度生成される。
【００８７】
上述の実施形態においては、ＰＣ１００は、全体画像における特徴データの生成を全体画像の周波数成分を計測することで行った。しかしながら、ＰＣ１００は、周波数以外にも、例えば全体画像における標準偏差、コントラスト、エッジ等を検出し、またはそれらを組み合わせることで特徴データを生成してもよい。
【００８８】
上記実施形態に係る情報処理装置としてＰＣが用いられたが、ＰＣに限られず、専用の情報処理装置であってもよい。また、情報処理装置として、ハードウェア資源及びソフトウェアの協働により上記情報処理を実現する装置に限られず、専用のハードウェアにより上記情報処理が実現されてもよい。
【符号の説明】
【００８９】
Ｐ（Ｐ１〜Ｐ４）…部分画像
Ｗ…全体画像
Ｄ…表示範囲
１５…観察対象物
５０…画像ピラミッド構造
１００…ＰＣ
１０１…ＣＰＵ
１０３…ＲＡＭ
１０６…表示部
１０７…入力部
１０８…記憶部
１１０…マウス
１１２…感圧シート
【特許請求の範囲】
【請求項１】
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持するメモリと、
前記保持された部分画像を表示させるために出力する出力部と、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付ける操作入力部と、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させ、前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させるように前記メモリ及び前記出力部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記記憶装置には、それぞれ異なる解像度を有する第１の全体画像、第２の全体画像及び第３の全体画像が記憶され、
前記操作入力部には、前記表示された部分画像について、第２の速度を有するズーム操作が入力され、
前記制御部は、前記ズーム操作が入力されている間、前記第１の全体画像を用いて表示された部分画像を、前記第２の全体画像を用いて、前記第２の速度でより広域または狭域の画像へと変更させ、前記入力されたズーム操作が入力されなくなったとき、前記部分画像を、前記第３の全体画像を用いて、前記第２の速度から前記所定の減速度で減速された速度で、より広域または狭域の画像へとさらに変更させるように前記メモリ及び前記出力部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記移動操作または前記ズーム操作が入力されなくなったとき、前記所定の減速度と、前記移動操作の前記所定方向または前記ズーム操作のズーム方向とを基に、前記さらなる表示範囲の移動または前記広域もしくは狭域の画像へのさらなる変更により出力されることになる部分画像の少なくとも一部を前記記憶装置から読み出して保持するように前記メモリを制御する
情報処理装置。
【請求項４】
請求項２に記載の情報処理装置であって、
前記メモリは、前記第１乃至第３の全体画像から抽出された特徴を示す特徴データを保持し、
前記制御部は、前記記憶された特徴データを基に前記減速度を変更する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記特徴データは、前記第１乃至第３の全体画像中の所定単位領域毎の周波数レベルを示すデータであり、
前記制御部は、前記移動操作または前記ズーム操作が入力されなくなったとき、前記さらなる移動後または前記さらなる変更後の前記部分画像に含まれる前記単位領域の周波数レベルが高いほど前記減速度を大きくする
情報処理装置。
【請求項６】
請求項２に記載の情報処理装置であって、
前記操作入力部は、前記さらなる移動中または前記さらなる変更中に任意の操作の入力を受け付け、
前記制御部は、前記任意の操作が入力されたとき、前記さらなる移動または前記さらなる変更を停止させる
情報処理装置。
【請求項７】
請求項２に記載の情報処理装置であって、
前記操作入力部は、前記さらなる移動中または前記さらなる変更中に圧力を検出する圧力センサを有し、
前記制御部は、前記圧力センサにより検出された圧力に応じて前記減速度を変更する
情報処理装置。
【請求項８】
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持し、
前記保持された部分画像を表示させるために出力し、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付け、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させ、
前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させる
情報処理方法。
【請求項９】
情報処理装置に、
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持するステップと、
前記保持された部分画像を表示させるために出力するステップと、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付けるステップと、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させるステップと、
前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させるステップと
を実行させるプログラム。
【請求項１】
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持するメモリと、
前記保持された部分画像を表示させるために出力する出力部と、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付ける操作入力部と、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させ、前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させるように前記メモリ及び前記出力部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記記憶装置には、それぞれ異なる解像度を有する第１の全体画像、第２の全体画像及び第３の全体画像が記憶され、
前記操作入力部には、前記表示された部分画像について、第２の速度を有するズーム操作が入力され、
前記制御部は、前記ズーム操作が入力されている間、前記第１の全体画像を用いて表示された部分画像を、前記第２の全体画像を用いて、前記第２の速度でより広域または狭域の画像へと変更させ、前記入力されたズーム操作が入力されなくなったとき、前記部分画像を、前記第３の全体画像を用いて、前記第２の速度から前記所定の減速度で減速された速度で、より広域または狭域の画像へとさらに変更させるように前記メモリ及び前記出力部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記移動操作または前記ズーム操作が入力されなくなったとき、前記所定の減速度と、前記移動操作の前記所定方向または前記ズーム操作のズーム方向とを基に、前記さらなる表示範囲の移動または前記広域もしくは狭域の画像へのさらなる変更により出力されることになる部分画像の少なくとも一部を前記記憶装置から読み出して保持するように前記メモリを制御する
情報処理装置。
【請求項４】
請求項２に記載の情報処理装置であって、
前記メモリは、前記第１乃至第３の全体画像から抽出された特徴を示す特徴データを保持し、
前記制御部は、前記記憶された特徴データを基に前記減速度を変更する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記特徴データは、前記第１乃至第３の全体画像中の所定単位領域毎の周波数レベルを示すデータであり、
前記制御部は、前記移動操作または前記ズーム操作が入力されなくなったとき、前記さらなる移動後または前記さらなる変更後の前記部分画像に含まれる前記単位領域の周波数レベルが高いほど前記減速度を大きくする
情報処理装置。
【請求項６】
請求項２に記載の情報処理装置であって、
前記操作入力部は、前記さらなる移動中または前記さらなる変更中に任意の操作の入力を受け付け、
前記制御部は、前記任意の操作が入力されたとき、前記さらなる移動または前記さらなる変更を停止させる
情報処理装置。
【請求項７】
請求項２に記載の情報処理装置であって、
前記操作入力部は、前記さらなる移動中または前記さらなる変更中に圧力を検出する圧力センサを有し、
前記制御部は、前記圧力センサにより検出された圧力に応じて前記減速度を変更する
情報処理装置。
【請求項８】
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持し、
前記保持された部分画像を表示させるために出力し、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付け、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させ、
前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させる
情報処理方法。
【請求項９】
情報処理装置に、
顕微鏡により得られた１つの観察対象物の画像を含む全体画像が記憶された記憶装置から、当該全体画像のうち所定の表示範囲に相当する部分画像を読み出して保持するステップと、
前記保持された部分画像を表示させるために出力するステップと、
前記表示された部分画像について、第１の速度を有する所定方向への移動操作の入力を受け付けるステップと、
前記移動操作が入力されている間、前記表示された部分画像の前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度で移動させるステップと、
前記入力された移動操作が入力されなくなったとき、前記表示範囲を、前記全体画像上で、前記所定方向へ前記第１の速度から所定の減速度で減速された速度でさらに移動させるステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【公開番号】特開２０１１−１１８４７７（Ｐ２０１１−１１８４７７Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７２８１３（Ｐ２００９−２７２８１３）
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１１月３０日（２００９．１１．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]