情報処理装置、情報処理方法及びプログラム
【課題】サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図る。
【解決手段】サムネイルマップ合成部は、元画像を第１の圧縮率で空間的に圧縮したサムネイル画像に、元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した観察画像の元画像中の表示範囲を示す枠を合成してサムネイルマップを生成する。画像合成部は、観察画像とサムネイルマップとを合成して表示装置に出力する。ユーザよりサムネイルマップ上の枠に対する移動量が入力されたとき、表示範囲計算部は、今回を含め過去直近に入力されたｎ回の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに観察画像の表示範囲を移動させる。
【解決手段】サムネイルマップ合成部は、元画像を第１の圧縮率で空間的に圧縮したサムネイル画像に、元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した観察画像の元画像中の表示範囲を示す枠を合成してサムネイルマップを生成する。画像合成部は、観察画像とサムネイルマップとを合成して表示装置に出力する。ユーザよりサムネイルマップ上の枠に対する移動量が入力されたとき、表示範囲計算部は、今回を含め過去直近に入力されたｎ回の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに観察画像の表示範囲を移動させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、元画像を縮小した画像であるサムネイル画像と、このサムネイル画像の中で指定された領域の部分画像を観察画像として表示可能な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療又は病理等の分野において、光学顕微鏡により拡大して得られた、生体の細胞、組織、臓器等の標本の画像をデジタル化し、そのデジタル画像をモニタに表示し、このモニタに表示された画像を病理医等がその肉眼で観察して診断を行うデジタルパソロジー（病理診断）技術が提案されている（例えば特許文献１）。
【０００３】
この際、肉眼による画像の観察を効率化するための画像表示方法の改良が検討されてきた。例えば、上記の特許文献１では、モニタ上に標本を光学顕微鏡で撮影した元画像を表示するとともに、プレパラートを表示し、プレパラートに元画像の画素を引きして縮小した縮小画像を表示する。これにより、標本の全体像を確認できるとともに、標本上の実際に観察している位置や範囲などを容易に認識することができる、としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開開２００１−１６６２１８号公報（段落[００２６]、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モニタに標本の元画像を様々なズーム倍率で表示するとともに、元画像より小さい解像度で標本全体の画像を「サムネイルマップ」として表示することのできる画像表示システムであるビューワ装置の開発が進められている。このようなビューワ装置では、サムネイルマップ上に、標本画像全体における観察画像の範囲を示す枠が表示され、この枠をユーザがポインティングデバイスを操作して移動させることによって、標本画像全体における観察画像の表示範囲が移動するといった機能の組み込みが望まれている。
【０００６】
しかしながら、サムネイルマップは元画像の画素を間引いて縮小した画像であることから、サムネイルマップ上の１ピクセルは観察画像上では、２Ｎ 倍ものピクセル数からなる領域に相当する。このため、サムネイルマップ上の枠をユーザがポインティングデバイスを操作して斜めに移動させるときの操作方向の僅かなブレなどによって枠が斜め方向のみならず縦横の方向にも移動するさまが観察画像の表示範囲の移動の仕方に視覚的に現れてしまうなど、解決すべき点があった。この点を含め、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の様々な面での性能向上が期待されている。
【０００７】
以上のような事情に鑑み、本発明の目的は、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることのできる情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部とを具備する。
【０００９】
本発明では、表示範囲計算部が、入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに第２の画像の表示範囲を移動させることにより、サムネイルマップ上の枠が斜めに移動されたとき、観察画像の表示範囲が階段状に大きく揺れることがなくなり、ユーザの操作性が改善される。
【００１０】
前記表示範囲計算部は、前記移動量の入力の回数をカウントし、カウントした入力の回数が所定の回数以上であるとき、前記第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させ、前記カウントした入力の回数が所定の回数未満であるとき、今回を含め過去に入力された移動量の平均値を第２の補正移動量として、この第２の補正移動量をもとに前記第２の画像の前記表示範囲を移動させるものであってもよい。
この構成によれば、サムネイルマップ上の枠の移動を開始してから所定回数移動量が入力されるまでの初期段階から、観察画像の表示範囲が階段状に大きく揺れる現象を抑制することができる。
【００１１】
前記表示範囲計算部は、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第１の上限値以内に収まるように前記第１の位置を補正するものであってもよい。
これにより、サムネイルマップ上の枠と観察画像の表示範囲との空間的な整合性を確保することができ、ユーザにとって良好な操作性が保証される。
【００１２】
前記表示範囲計算部は、前記サムネイルマップ上の前記枠の移動の加速度が閾値以上であるとき、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第２の上限値以内に収まるように前記第１の位置を補正するものであってもよい。
これによっても、サムネイルマップ上の枠と観察画像の表示範囲との空間的な整合性を確保することができ、ユーザにとって良好な操作性が保証される。
【００１３】
前記表示範囲計算部は、前記互いに直交する２軸のうちの第１の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第１の軸方向成分の移動量を調整し、前記互いに直交する２軸のうちの第２の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第２の軸方向成分の移動量を調整するものであってもよい。
これにより、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合に、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になるのを抑制できる。
【００１４】
前記表示範囲計算部は、今回を含め過去直近に入力された複数の移動量にそれぞれ直近度に応じた重みをつけて補正移動量を計算するようにしてもよい。
【００１５】
上記目的を達成するため、本発明の別の形態に係る情報処理方法は、サムネイルマップ生成部が、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成し、合成部が、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力し、入力部が、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力し、表示範囲計算部が、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させることを特徴とする。
【００１６】
上記目的を達成するため、本発明の別の形態に係るプログラムは、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部としてコンピュータを機能させるプログラムである。
【発明の効果】
【００１７】
以上のように本発明によれば、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る顕微鏡システムの構成を示すブロック図である。
【図２】画像ピラミッド構造を示す図である。
【図３】第１の実施形態に係るビューワ装置として用いられるコンピュータのハードウェア構成を示すブロック図である。
【図４】第１の実施形態に係るビューワ装置によって表示されるサムネイルマップと観察画像を含む観察環境画面の例を示す図である。
【図５】図４に示した観察環境画面での観察画像の表示範囲の移動操作を示す図である。
【図６】第１の実施形態に係るビューワ装置の機能的な構成を示すブロック図である。
【図７】第１の実施形態に係るビューワ装置の動作に関するフローチャートである。
【図８】第１の実施形態に係るビューワ装置のサムネイルマップ上での枠の移動を示す図である。
【図９】二次補正前の観察画像の表示範囲の一次補正位置とサムネイルマップ上の枠の位置を示す図である。
【図１０】観察画像の移動先の表示範囲の一次補正位置に対する二次補正の例を示す図である。
【図１１】第１の実施形態に係る観察画像の表示範囲の移動を典型的な方式と比較して示す図である。
【図１２】変形例１に係る枠の移動の加速度の増大に伴う観察画像の表示範囲の一次補正位置とサムネイルマップ上の枠の位置を示す図である。
【図１３】変形例１に係る観察画像の表示範囲の一次補正位置に対する加速度に応じた二次補正の例を示す図である。
【図１４】変形例２に係るサムネイルマップ上での枠の移動方向がＹ軸方向で正負逆転する例を示す図である。
【図１５】変形例２に係るサムネイルマップ上の枠の位置と観察画像の表示範囲の位置とのずれが過大になる様子を示す図である。
【図１６】変形例２の効果を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を説明する。
本実施形態は、元画像を第１の圧縮率で空間的に圧縮した第１の画像であるサムネイル画像と、元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像である観察画像とを１画面（１ウィンドウ）内に表示可能な情報処理装置に関するものである。サムネイル画像には、元画像全体を俯瞰することができる程度まで高い圧縮率で空間的に圧縮された画像が利用される。一方、観察画像は標本の肉眼による観察に用いられる画像である。このため観察画像には、元画像（圧縮率＝１）もしくは比較的に低い圧縮率で圧縮された画像が利用される。したがって、物理的な画面に表示される観察画像は元画像全体の中の一部の範囲であることが普通である。しかし、このように画面に表示される観察画像が元画像全体の中の一部の範囲である場合、ユーザにとっては、観察中の観察画像が元画像全体の中のどの範囲に位置するかが分からない。
【００２０】
そこで元画像全体を俯瞰したサムネイル画像上に、現在表示中の観察画像の元画像中の範囲を囲む枠が合成されて表示されるようになっている。この枠が合成されたサムネイル画像を「サムネイルマップ」と呼ぶ。サムネイルマップ上の枠は、ポインティングデバイスなどの入力装置を操作して入力されるユーザからの指示によって、任意の方向へ任意の量だけ移動させることが可能である。サムネイルマップ上の枠が移動させると、これに伴って観察画像の元画像中の表示範囲も更新される。すなわち、枠の移動量に対して、サムネイル画像の解像度に対する観察画像の解像度の倍率を乗じて得られた値が観察画像の移動量として算出され、この移動量をもとに観察画像の移動先の位置が算出される。
【００２１】
本実施形態は、このようにサムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることのできる情報処理装置を提供するものである。
【００２２】
以下に、本実施形態の詳細を図面を用いて説明する。
［顕微鏡システムの構成］
図１は、本発明の第１の実施形態に係る顕微鏡システム１の構成を示すブロック図である。
同図に示すように、顕微鏡システム１は、顕微鏡２、顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５（情報処理装置に相当する。）、表示装置６、および入力装置７を有する。
【００２３】
顕微鏡２は、顕微鏡制御ユニット３からの制御信号を受けて動作する光学顕微鏡である。顕微鏡２は、撮像装置２１、鏡筒２２、ステージ２３、ステージ駆動部２４を有する。撮像装置２１は、例えば、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備える撮像デバイスである。鏡筒２２は、対物レンズ及び接眼レンズなどを支持した構造体である。ステージ２３はステージ駆動部２４によって鏡筒２２の光学系の光軸方向（Ｚ軸方向）とこの光軸方向に対して直交する方向（Ｘ軸方向、Ｙ軸方向）に駆動可能とされ、標本Ｐの位置を上記の３軸方向に可変する。ステージ駆動部２４は、ステッピングモータ等の駆動機構を内蔵し、顕微鏡制御ユニット３からの制御指令に従ってステージ２３の移動量および移動方向を制御する。以上の構成を有することによって、顕微鏡２は、ステージ２３上に載置された標本Ｐの像を鏡筒２２内の光学系にて拡大し、拡大された像を撮像装置２１にて撮像してＲＡＷデータとして顕微鏡制御ユニット３に出力する。
【００２４】
顕微鏡制御ユニット３は、顕微鏡２を制御するユニットである。顕微鏡制御ユニット３は、例えば、撮像装置２１の撮像タイミングの制御、ステージ駆動部２４の制御などを行う。また、顕微鏡制御ユニット３は、顕微鏡２の撮像装置２１より伝送された画像データから下記の画像ピラミッド構造を生成する。
【００２５】
顕微鏡制御ユニット３は、顕微鏡２の撮像装置２１より伝送された画像データを、１／２、１／２２ 、１／２３ 、・・・、１／２Ｎ の各倍率で空間的に圧縮する。これにより１つの標本に対して（Ｎ＋１）階層分の画像データが得られる。図２は画像ピラミッド構造を示す図である。同図の例では、説明の簡単のため、画像ピラミッド構造が実際よりも少ない５層で構成される場合を示している。ここで、第１層目を顕微鏡２の撮像装置２１より伝送された画像データ（元画像）とすると、この元画像を、１／２倍率で圧縮したものが第２層目、１／２２ 倍率で圧縮したものが第３層目、１／２３ 倍率で圧縮したものが第４層目、１／２４ 倍率で圧縮したものが第５層目となる。
【００２６】
また、画像ピラミッド構造における各階層の画像データはそれぞれ「タイル」と呼ばれるに所定の解像度の領域に分割されて管理される。タイルの解像度は、例えば２５６×２５６（pixel）、２５６×５１２（pixel）などである。それぞれのタイルには、画像ピラミッド構造において個々をユニークに識別することができるようにタイルＩＤが割り当てられる。
【００２７】
顕微鏡制御ユニット３は、以上のように作成された画像ピラミッド構造における各階層の画像データを上記タイル単位で圧縮符号化し、上記の画像ピラミッド構造にしてサーバ装置４に伝送する。
【００２８】
図１に戻って、サーバ装置４は、顕微鏡制御ユニット３より伝送された画像データをストレージに蓄積する。また、サーバ装置４は、ビューワ装置５と例えば、ＩＰネットワークなどの伝送路を通じて接続され、ビューワ装置５からのリクエストに対してタイル単位で画像データを応答する。
【００２９】
ビューワ装置５（情報処理装置に相当する。）は、サーバ装置４にサムネイルマップ用および観察画像用の画像データを取得するためのリクエストを送り、サーバ装置４より応答された画像データを復号して表示装置に出力する。ビューワ装置５は、サーバ装置４に蓄積された画像データにアクセスする際、目的の画像データを標本名とタイルＩＤとの組み合わせにより一意に指定することができる。
【００３０】
表示装置６は、サーバ装置４から出力された映像信号を受けてサムネイルマップおよび観察画像を含む表示データを可視的に表示する。表示装置６は、例えばＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等である。
入力装置７は、ユーザからの各種の操作指令を受け付けてビューワ装置５に出力する。入力装置７は、例えば、マウスなどのポインティングデバイスであり、表示画面に表示されるカーソルポインタをＸ軸及びＹ軸方向に移動操作して、それぞれの軸方向の移動量をビューワ装置５に供給する。
【００３１】
次に、顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５のハードウェア構成について説明する。
顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５は、例えばＰＣ（Personal Computer）などの典型的なコンピュータのハードウェア構成を有するものである。
【００３２】
図３はビューワ装置５として用いられるコンピュータのハードウェア構成を示すブロック図である。
このコンピュータは、ＣＰＵ１１、ＲＯＭ１２、メインメモリ１３、ストレージ部１４、ネットワークインタフェース部１５、ディスプレイ制御部１７、入力インタフェース部１８、システムバス１９などで構成される。
【００３３】
ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ１２に記憶されたプログラムにしたがって、各種の制御や演算処理を行うことが可能である。
ＲＯＭ（Random Access Memory）１２には、ＣＰＵ１１により実行されるプログラムや各種の固定データなどが格納される。
メインメモリ１３は、ＣＰＵ１１による演算処理の作業空間として用いられるメモリである。
ストレージ部１４は、ユーザデータとして画像データなどのデータを保存するための装置である。ストレージ部１４は、より具体的には、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などの大容量で書き換えが可能な記憶装置である。
【００３４】
ネットワークインタフェース部１５は、インターネット、ローカルエリアネットワークなどのネットワーク８０との有線または無線での接続を処理するインタフェースである。
【００３５】
ディスプレイ制御部１７は、表示装置６に出力する表示用の映像信号を生成する。
入力インタフェース部１８は、例えば、マウス、キーボード、コントローラなどのユーザの入力装置７からの入力を処理する。
【００３６】
顕微鏡制御ユニット３およびサーバ装置４の構成もこれと同様である。
【００３７】
［ビューワ装置５の機能的な構成］
次に、ビューワ装置５の機能的な構成について説明する。
ビューワ装置５は、図４に示すように、元画像を第１の圧縮率で空間的に圧縮した第１の画像であるサムネイルマップ１０３と、元画像を第１の圧縮率よりも低い第２の圧縮率（圧縮率＝１を含む。）で空間的に圧縮した第２の画像である観察画像１０１とを合成した観察環境画面を生成して表示装置６に表示させることができる。
【００３８】
サムネイルマップ１０３上には、観察画像１０１の表示範囲をサムネイルマップ１０３のスケールに置き換えて示す枠１０５が表示される。また、図５に示すように、この枠１０５は、ユーザによって例えばマウス（入力装置７）のドラッグ操作などによってサムネイルマップ１０３上で任意の位置に移動させることが可能である。この枠１０５の移動に伴って、観察画像１０１の表示範囲もサムネイルマップ１０３上の枠１０５の位置に対応するように移動される。
【００３９】
また、ユーザが入力装置７を操作することによって観察画像１０１として表示させる画像の圧縮率（階層）を変更することも可能である。この観察画像１０１の圧縮率（階層）の変更操作に伴って、サムネイルマップ１０３上の枠１０５のサイズも変更される。これにより観察画像１０１のズームイン／ズームアウトを行うことができる。
【００４０】
図６は、ビューワ装置５の観察環境画面の表示に係る機能的な構成を示すブロック図である。
同図に示すように、ビューワ装置５は、入力Ｉ／Ｆ部５１（入力部に相当する。）、表示範囲計算部５２、画像データ取得部５３、デコーダ５４、枠生成部５５、サムネイルマップ合成部５６（サムネイルマップ生成部に相当する。）、画像合成部５７（合成部に相当する。）を具備する。
【００４１】
入力Ｉ／Ｆ部５１は、入力装置７からＸ軸およびＹ軸方向の移動量を一定の時間周期で取得し、表示範囲計算部５２および枠生成部５５に供給する。
【００４２】
表示範囲計算部５２は、入力Ｉ／Ｆ部５１より入力された操作量をもとに、観察画像における移動先の表示範囲を算出し、算出された表示範囲を満たす画像データの取得を画像データ取得部５３に依頼する。
【００４３】
画像データ取得部５３は、表示範囲計算部５２より依頼された観察画像用の画像データおよびサムネイルマップ用の画像データをサーバ装置４より取得する。
【００４４】
デコーダ５４は、画像データ取得部５３にて取得された観察画像用の画像データおよびサムネイルマップ用の画像データを復号する。サムネイルマップ用の画像データの復号結果はサムネイルマップ合成部５６に出力され、観察画像用の画像データの復号結果は画像合成部５７に出力される。
【００４５】
枠生成部５５は、入力Ｉ／Ｆ部５１より入力された移動量をもとに、サムネイルマップ上の枠の表示イメージを生成してサムネイルマップ合成部５６に出力する。
【００４６】
サムネイルマップ合成部５６は、デコーダ５４より出力されたサムネイルマップ用の画像データであるサムネイル画像と枠生成部５５により生成された枠の表示イメージとを合成してサムネイルマップを生成し、画像合成部５７に出力する。
【００４７】
画像合成部５７は、サムネイルマップ合成部５６によって合成されたサムネイルマップとデコーダ５４より出力された観察画像とを合成し、合成画像をディスプレイ制御部１７（図３参照）を通じて表示装置６に供給する。
【００４８】
［顕微鏡システムの動作］
次に、顕微鏡システム１の動作について説明する。動作の説明は、
１．観察環境画面が表示されるまでの動作
２．観察画像の表示範囲を移動させる動作
の順で行う
【００４９】
（１．観察環境画面が表示されるまでの動作）
顕微鏡２は顕微鏡制御ユニット３による制御の下、ステージ２３上に載置された標本Ｐの顕微像を撮像し、画像データを顕微鏡制御ユニット３に出力する。顕微鏡制御ユニット３は、顕微鏡２からの画像データが入力されると、この画像データを空間的に圧縮して画像ピラミッド構造を生成し、この画像ピラミッド構造における各階層の画像データをタイル単位で圧縮符号化してサーバ装置４に出力する。サーバ装置４は顕微鏡制御ユニット３より伝送された画像ピラミッド構造の各階層の画像データをストレージに保存する。以後サーバ装置４は、ビューワ装置５からの画像データの取得要求を受けた場合には、その要求された画像データをストレージに保存された画像ピラミッド構造からタイル単位で抽出し、ビューワ装置５に応答する。
【００５０】
ビューワ装置５では、まず、画像データ取得部５３がサムネイルマップ用として予め設定された所定の階層の画像データと観察対象用として予め設定された所定の階層の所定の範囲の画像データをサーバ装置４に要求する。画像データ取得部５３は、サーバ装置４より応答されたサムネイルマップ用の画像データおよび観察対象用の画像データをそれぞれデコーダ５４に出力する。デコーダ５４によって復号されたサムネイル画像はサムネイルマップ合成部５６に出力される。一方、デコーダ５４によって復号された観察画像は画像合成部５７に出力される。
【００５１】
サムネイルマップ合成部５６は、デコーダ５４によって復号されたサムネイル画像と、枠生成部５５により生成された枠の表示イメージとを合成して、この結果をサムネイルマップとして画像合成部５７に出力する。画像合成部５７は、このサムネイルマップとデコーダ５４からの観察画像とを合成する。合成された画像はディスプレイ制御部１７（図３参照）を通じて表示装置６に出力される。
【００５２】
これにより、図４に示したように、表示装置６に、観察画像１０１とサムネイルマップ１０３を含む観察環境画面に表示される。サムネイルマップ１０３には、観察画像１０１の表示範囲をサムネイルマップ１０３のスケールに置き換えて示す枠１０５が合成されて表示される。
【００５３】
（２．観察画像の表示範囲を移動させる動作）
次に、ビューワ装置５において、ユーザが入力装置７を操作してサムネイルマップ１０３上の枠１０５を移動操作することで観察画像１０１の表示範囲を移動させる動作について説明する。
【００５４】
サムネイルマップ１０３上の枠１０５を移動させるように、入力装置７より入力された移動量は入力Ｉ／Ｆ部５１にて取り込まれ、入力Ｉ／Ｆ部５１から表示範囲計算部５２および枠生成部５５に供給される。
【００５５】
枠生成部５５は、入力Ｉ／Ｆ部５１からの移動量をもとにサムネイルマップ上での移動先の枠１０５の表示イメージを生成してサムネイルマップ合成部５６に出力する。これにより、サムネイルマップ１０３上の枠１０５が現在の位置から移動量が示す方向と距離だけ移動される。
【００５６】
一方、表示範囲計算部５２は入力Ｉ／Ｆ部５１からの移動量をもとに、観察画像１０１の元画像内での移動先の表示範囲を計算する。
【００５７】
図７は、サムネイルマップ１０３上の枠１０５の移動操作により観察画像の表示範囲を移動させる処理に関するフローチャートである。
【００５８】
なお、本処理は、例えば、図８に示すように、移動方向がＸ軸およびＹ軸それぞれの方向において正負逆転しないことを前提とする。図８はサムネイルマップ上での枠の移動を示している。点線によって示される格子は、サムネイルマップにおける所定のピクセル数に対応する。枠１０５を指定した状態でドラッグ操作などが行われることで、サムネイルマップ上で枠１０５がドラッグ操作の方向へドラッグ操作の量だけ移動される。矢印ａ−ｆは、ビューワ装置５が入力装置７から一定の周期で取り込んだ移動量をもとに枠１０５を移動させた経路を示している。説明の簡単のため、この例では、略一定速度で枠１０５が移動操作された場合を想定している。
【００５９】
ここから図７の処理の説明を行う。表示範囲計算部５２は、入力Ｉ／Ｆ部５１より移動量を取得すると（ステップＳ１０１）、これを保存するとともに、カウンタをインクリメントする（ステップＳ１０２）。次に、表示範囲計算部５２は、カウンタの値が予め設定された値（ｎ）に達したかどうかを判定する（ステップＳ１０３）。
【００６０】
カウンタの値がｎに達していない場合から説明する。
カウンタの値がｎに達していない場合とは、サムネイルマップ上での枠の移動操作を開始してから移動量の取得回数がまだｎ回に達していない場合のことである。この場合、表示範囲計算部５２は、今回を含め過去に入力された移動量の平均値を第２の補正移動量として求める（ステップＳ１０４）。例えば、ｎ＝４とし、カウンタの値が"２"であるとき、今回と前回の移動量の平均値が第２の補正移動量として求められる。より具体的には、Ｘ軸方向の今回の移動量が２ピクセル、前回の移動量が０ピクセルであれば、Ｘ軸方向の第２の補正移動量は１ピクセルになる。Ｙ軸方向についても同様に第２の補正移動量が求められる。また、カウンタの値が"３"であるとき、Ｘ軸方向およびＹ軸方向毎の、今回と前回と前々回の移動量の平均値が第２の補正移動量となる。
【００６１】
続いて、表示範囲計算部５２は、第２の補正移動量を観察画像１０１のスケールに置き換える（ステップＳ１０５）。具体的には、サムネイルマップとして図２に示した画像ピラミッド構造において元画像を１／２３ 倍率で圧縮した第４層目のタイルが使用され、観察画像として元画像を１／２倍率で圧縮した第２層目のタイルが使用される場合、第２の補正移動量を１６倍にスケールアップしたものが観察画像１０１のスケールに合わせた第２の補正移動量となる。
【００６２】
次に、表示範囲計算部５２は、この観察画像１０１のスケールに合わせた第２の補正移動量と現在の観察画像１０１の表示範囲の位置とから、観察画像１０１の移動先の表示範囲の位置を計算する（ステップＳ１０６）。そして表示範囲計算部５２は、この観察画像１０１の移動先の表示範囲の位置の計算結果をもとに、観察画像１０１の移動先の表示範囲を表示させるために必要な画像データの１以上のタイルＩＤを算出し、これらのタイルＩＤを画像データ取得部５３に通知して画像データの取得を依頼する。画像データ取得部５３によって取得された画像データはデコーダ５４にて復号された後、画像合成部５７にてサムネイルマップと合成されて表示装置６に出力される（ステップＳ１０７）。このようにして観察画像の表示範囲が移動される。
以上の動作は、カウンタの値がｎ−１になるまで繰り返される。
【００６３】
次に、カウンタの値がｎに達っている場合を説明する。
この場合、表示範囲計算部５２は、今回を含め過去直近に入力されたｎ回の移動量の平均値を第１の補正移動量として求める（ステップＳ１０８）。例えば、ｎ＝４とし、カウンタの値が"４"であるとき、Ｘ軸方向およびＹ軸方向毎の、今回を含め過去直近に入力された４回の移動量の平均値が第１の補正移動量として求められる。また、カウンタの値が"５"であるときも、Ｘ軸方向およびＹ軸方向毎の、今回を含め過去直近に入力された４回の移動量の平均値が第１の補正移動量として求められる。カウンタの値が"６"以上であるときも同様である。
【００６４】
続いて、表示範囲計算部５２は、前記の動作と同様に、第１の補正移動量を観察画像のスケールに置き換える（ステップＳ１０９）。次に、表示範囲計算部５２は、この観察画像のスケールに置き換えられた第１の補正移動量を現在の観察画像の表示範囲の位置に加算して、観察画像の移動先の表示範囲の位置を一次補正位置として計算する（ステップＳ１１０）。
【００６５】
次に、表示範囲計算部５２は、図９に示すように、観察画像の移動先の表示範囲の一次補正位置ＰＸ（第１の位置）と、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置Ｐｘ’（第２の位置）との距離ｄを計算する。この距離ｄが過大になってサムネイルマップ上の枠と観察画像の表示範囲との空間的な不整合が拡がることは、ユーザの操作性の低下につながる。そこで距離ｄが予め決められた第１の上限値ｄr1を超える場合（ステップＳ１１１のＹＥＳ）、表示範囲計算部５２は、その距離ｄが第１の上限値ｄr1以内に収まるように一次補正位置ＰＸ（第１の位置）を二次補正する（ステップＳ１１２）。
【００６６】
図１０は観察画像の移動先の表示範囲の一次補正位置に対する二次補正の例を示す図である。この例は、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置Ｐｘ’（第２の位置）と、観察画像の移動先の表示範囲の一次補正位置ＰＸ（第１の位置）とを結ぶ直線上の中間点ＰＸａを二次補正位置とする場合を示している。二次補正の方法はこれに限らず、距離ｄが第１の上限値ｄr1以内に収まるようにする方法であればよい。
【００６７】
二次補正完了後、ステップＳ１０７に移行する。すなわち、表示範囲計算部５２は、この観察画像の移動先の表示範囲の位置の二次補正結果をもとに、観察画像の移動先の表示範囲を表示させるために必要な画像データの１以上のタイルＩＤを算出し、これらのタイルＩＤを画像データ取得部５３に通知して画像データの取得を依頼する。画像データ取得部５３によって取得された画像データはデコーダ５４にて復号された後、画像合成部５７にてサムネイルマップと合成されて表示装置６に出力される。これにより観察画像の表示範囲が二次補正を反映した位置に移動される。
【００６８】
また、距離ｄが予め決められた上限値を超えていない場合には（ステップＳ１１１のＹＥＳ）、表示範囲計算部５２は二次補正を行うことなく、ステップＳ１０７の処理に移行することで、観察画像の表示範囲は一次補正のみを反映した位置に移動される。
以上の動作は、所定のリセット条件が成立するまで繰り返される。所定のリセット条件としては、例えば、観察画像の階層が切り替えられたとき、表示範囲の移動速度が所定の閾値を越えたとき、観察環境画面の表示を終了させたとき、などがある。所定のリセット条件が成立に伴って上記のカウンタもリセットされる。
【００６９】
図１１は、本実施形態による観察画像の表示範囲の移動を典型的な方式と比較して示す図である。ｎ＝３とした。図中において、符号Ａ−Ｆで示される比較的太い線の矢印は本実施形態による観察画像の表示範囲の移動経路、符号ａ’−ｆ’で示される比較的細い線の矢印は典型的な方式（従来方式）に基づく観察画像の表示範囲の移動経路を示している。１０７は観察画像の表示範囲である。
【００７０】
ここで、矢印ａ’−ｆ’によって示される典型的な方式（従来方式）に基づく観察画像の表示範囲の移動経路は、図７に示したサムネイルマップ上での枠の移動経路に空間的に対応している。このためサムネイルマップ上の枠をポインティングデバイスを操作して斜めに移動させるときの操作方向の僅かなブレなどによって枠が縦横の方向にも移動してしまう様が観察画像の表示範囲の移動の仕方に視覚的に現れてしまう。これに対して、比較的太い線の矢印Ａ−Ｆによって示される観察画像の表示範囲の移動経路に示されるように、本実施形態によれば、観察画像の表示範囲が階段状に大きく揺れることがなくなり、ユーザの操作性が改善される。
【００７１】
＜変形例１＞
（枠の移動の加速度に応じた二次補正）
上記の実施形態によると、図１２に示すように、サムネイルマップ上の枠の位置を観察画像のスケールに置き換えた位置Ｐｅ’と、観察画像の移動先の表示範囲の一次補正位置ＰＥとの距離ｄが枠の移動の加速度が大きくなるにつれて増大する傾向がある。
【００７２】
そこで表示範囲計算部５２に、次のようなアルゴリズムを組み込んでもよい。
１．表示範囲計算部５２は、サムネイルマップ上での枠の移動の加速度、例えば枠の連続する各回の移動量の差から加速度を求める。
２．表示範囲計算部５２は、加速度の値が閾値以上であるとき、観察画像の移動先の表示範囲の一次補正位置（第１の位置）と、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置（第２の位置）との距離ｄに対する第２の上限値を設定する。
３．表示範囲計算部５２は、上記の距離ｄが第２の上限値以内に収まるように一次補正位置（第１の位置）を二次補正する。なお、第２の上限値は第１の実施形態で用いられた第１の上限値と同じであってもよい。
【００７３】
図１３は、この加速度の値に応じた二次補正の例を示す図である。この例は、第２の上限値としてｄr2が設定され、加速度の値が閾値以上となった場合の二次補正を示している。表示範囲計算部５２は、前回の観察画像の表示範囲の位置ＰＤと今回の観察画像の表示範囲の位置ＰＥとを通過する直線上で上記距離が第２の上限値ｄr2と等しく点の位置ＰＥａを二次補正位置として算出する。二次補正の方法はこれに限らず、距離ｄが第２の上限値ｄr2以内に収まるようにする方法であればよい。
【００７４】
なお、本処理は、サムネイルマップ上での枠の移動の加速度が大きくなったときのみならず、加速度が小さくなったときにも有効である。
【００７５】
これにより、サムネイルマップ上での枠の移動の加速度の変化によって、サムネイルマップ上の枠の位置と観察画像の表示範囲の位置との整合性が過度にずれることを防止できる。
【００７６】
＜変形例２＞
（移動の正負方向の切り替えに応じた制御）
上記の実施形態では、サムネイルマップ上での枠の移動方向がＸ軸およびＹ軸それぞれの方向において正負逆転しない場合について説明したが、実際の運用においては枠の移動方向がＸ軸およびＹ軸それぞれの方向で正負逆転する場合がある。
【００７７】
図１４はサムネイルマップ上での枠の移動方向がＹ軸方向で正負逆転する例を示す図である。矢印ａ→矢印ｂ→矢印ｃまで枠が移動操作された後、矢印ｄのように、それまでの移動に対してＹ軸方向において正負逆向きに移動操作が行われたことを示している。このような場合、第１の実施形態の方式をそのまま採用すると、例えば、図１５に示すように、Ｙ軸方向において観察画像の表示範囲が枠の移動に対して正負逆向きに移動し、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になることがある。
【００７８】
このような場合に対処するために、表示範囲計算部５２は次のような処理を行う。
１．表示範囲計算部５２は、Ｘ軸方向について、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、第１の補正移動量のＸ軸方向成分の移動量を零にするなどして調整する。
２．表示範囲計算部５２は、Ｘ軸方向について、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、第１の補正移動量のＹ軸方向成分の移動量を零にするなどして調整する。
【００７９】
以上の処理によって、図１６に示すように、図１４に示した枠のＹ軸の正方向への移動操作に対して観察画像の表示範囲をＹ軸方向に移動させないようにすることができ、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になるのを抑制できる。
【００８０】
なお、ここでは補正移動量を零にすることとしたが、所定の計算方法によって補正移動量の該当する軸方向成分の移動量を低減することによっても、サムネイルマップ上の枠の位置と観察画像の表示範囲との整合性のずれが過大になるのを阻止することができる。
【００８１】
＜変形例３＞
（補正移動量の他の計算方法）
表示範囲計算部５２は、今回を含め過去直近に入力されたｎ回の移動量にそれぞれ直近度に応じた重みの値を乗じて行き、各移動量を合算し、合算値を重みの値の和の二乗の値で割ったものを補正移動量としてもよい。例えば、ｎ＝６とした場合、表示範囲計算部５２は、最新の移動操作量から順番に1.0、0.8、0.6、0.4、0.2、0の重みを乗じて行く。表示範囲計算部５２は、それぞれの重みが乗じられた移動操作量を合算し、合算値を3(1.0＋0.8＋0.6＋0.4＋0.2）で割った値を補正移動量とする。これにより、直近の移動量に対する応答性を高めつつ過去の移動量に対して平均化された補正移動量が得られる。
【００８２】
＜変形例４＞
観察画像の表示範囲のより滑らかな移動を実現するために、観察画像の表示範囲の前回の位置と今回の位置の間にベジェ曲線やＢ−スプライン曲線などの関数計算によって得られる曲線上の通過点を１点以上設定し、この曲線上に設定された点を通過させるように観察画像の表示範囲を移動させてもよい。
【００８３】
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。
【符号の説明】
【００８４】
１…顕微鏡システム
５…ビューワ装置
６…表示装置
７…入力装置
５１…入力Ｉ／Ｆ部
５２…表示範囲計算部
５３…画像データ取得部
５４…デコーダ
５５…枠生成部
５６…サムネイルマップ合成部
５７…画像合成部
１０１…観察画像
１０３…サムネイルマップ
１０５…枠
１０７…観察画像の表示範囲
【技術分野】
【０００１】
本発明は、元画像を縮小した画像であるサムネイル画像と、このサムネイル画像の中で指定された領域の部分画像を観察画像として表示可能な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療又は病理等の分野において、光学顕微鏡により拡大して得られた、生体の細胞、組織、臓器等の標本の画像をデジタル化し、そのデジタル画像をモニタに表示し、このモニタに表示された画像を病理医等がその肉眼で観察して診断を行うデジタルパソロジー（病理診断）技術が提案されている（例えば特許文献１）。
【０００３】
この際、肉眼による画像の観察を効率化するための画像表示方法の改良が検討されてきた。例えば、上記の特許文献１では、モニタ上に標本を光学顕微鏡で撮影した元画像を表示するとともに、プレパラートを表示し、プレパラートに元画像の画素を引きして縮小した縮小画像を表示する。これにより、標本の全体像を確認できるとともに、標本上の実際に観察している位置や範囲などを容易に認識することができる、としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開開２００１−１６６２１８号公報（段落[００２６]、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モニタに標本の元画像を様々なズーム倍率で表示するとともに、元画像より小さい解像度で標本全体の画像を「サムネイルマップ」として表示することのできる画像表示システムであるビューワ装置の開発が進められている。このようなビューワ装置では、サムネイルマップ上に、標本画像全体における観察画像の範囲を示す枠が表示され、この枠をユーザがポインティングデバイスを操作して移動させることによって、標本画像全体における観察画像の表示範囲が移動するといった機能の組み込みが望まれている。
【０００６】
しかしながら、サムネイルマップは元画像の画素を間引いて縮小した画像であることから、サムネイルマップ上の１ピクセルは観察画像上では、２Ｎ 倍ものピクセル数からなる領域に相当する。このため、サムネイルマップ上の枠をユーザがポインティングデバイスを操作して斜めに移動させるときの操作方向の僅かなブレなどによって枠が斜め方向のみならず縦横の方向にも移動するさまが観察画像の表示範囲の移動の仕方に視覚的に現れてしまうなど、解決すべき点があった。この点を含め、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の様々な面での性能向上が期待されている。
【０００７】
以上のような事情に鑑み、本発明の目的は、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることのできる情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部とを具備する。
【０００９】
本発明では、表示範囲計算部が、入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに第２の画像の表示範囲を移動させることにより、サムネイルマップ上の枠が斜めに移動されたとき、観察画像の表示範囲が階段状に大きく揺れることがなくなり、ユーザの操作性が改善される。
【００１０】
前記表示範囲計算部は、前記移動量の入力の回数をカウントし、カウントした入力の回数が所定の回数以上であるとき、前記第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させ、前記カウントした入力の回数が所定の回数未満であるとき、今回を含め過去に入力された移動量の平均値を第２の補正移動量として、この第２の補正移動量をもとに前記第２の画像の前記表示範囲を移動させるものであってもよい。
この構成によれば、サムネイルマップ上の枠の移動を開始してから所定回数移動量が入力されるまでの初期段階から、観察画像の表示範囲が階段状に大きく揺れる現象を抑制することができる。
【００１１】
前記表示範囲計算部は、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第１の上限値以内に収まるように前記第１の位置を補正するものであってもよい。
これにより、サムネイルマップ上の枠と観察画像の表示範囲との空間的な整合性を確保することができ、ユーザにとって良好な操作性が保証される。
【００１２】
前記表示範囲計算部は、前記サムネイルマップ上の前記枠の移動の加速度が閾値以上であるとき、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第２の上限値以内に収まるように前記第１の位置を補正するものであってもよい。
これによっても、サムネイルマップ上の枠と観察画像の表示範囲との空間的な整合性を確保することができ、ユーザにとって良好な操作性が保証される。
【００１３】
前記表示範囲計算部は、前記互いに直交する２軸のうちの第１の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第１の軸方向成分の移動量を調整し、前記互いに直交する２軸のうちの第２の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第２の軸方向成分の移動量を調整するものであってもよい。
これにより、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合に、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になるのを抑制できる。
【００１４】
前記表示範囲計算部は、今回を含め過去直近に入力された複数の移動量にそれぞれ直近度に応じた重みをつけて補正移動量を計算するようにしてもよい。
【００１５】
上記目的を達成するため、本発明の別の形態に係る情報処理方法は、サムネイルマップ生成部が、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成し、合成部が、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力し、入力部が、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力し、表示範囲計算部が、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させることを特徴とする。
【００１６】
上記目的を達成するため、本発明の別の形態に係るプログラムは、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部としてコンピュータを機能させるプログラムである。
【発明の効果】
【００１７】
以上のように本発明によれば、サムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る顕微鏡システムの構成を示すブロック図である。
【図２】画像ピラミッド構造を示す図である。
【図３】第１の実施形態に係るビューワ装置として用いられるコンピュータのハードウェア構成を示すブロック図である。
【図４】第１の実施形態に係るビューワ装置によって表示されるサムネイルマップと観察画像を含む観察環境画面の例を示す図である。
【図５】図４に示した観察環境画面での観察画像の表示範囲の移動操作を示す図である。
【図６】第１の実施形態に係るビューワ装置の機能的な構成を示すブロック図である。
【図７】第１の実施形態に係るビューワ装置の動作に関するフローチャートである。
【図８】第１の実施形態に係るビューワ装置のサムネイルマップ上での枠の移動を示す図である。
【図９】二次補正前の観察画像の表示範囲の一次補正位置とサムネイルマップ上の枠の位置を示す図である。
【図１０】観察画像の移動先の表示範囲の一次補正位置に対する二次補正の例を示す図である。
【図１１】第１の実施形態に係る観察画像の表示範囲の移動を典型的な方式と比較して示す図である。
【図１２】変形例１に係る枠の移動の加速度の増大に伴う観察画像の表示範囲の一次補正位置とサムネイルマップ上の枠の位置を示す図である。
【図１３】変形例１に係る観察画像の表示範囲の一次補正位置に対する加速度に応じた二次補正の例を示す図である。
【図１４】変形例２に係るサムネイルマップ上での枠の移動方向がＹ軸方向で正負逆転する例を示す図である。
【図１５】変形例２に係るサムネイルマップ上の枠の位置と観察画像の表示範囲の位置とのずれが過大になる様子を示す図である。
【図１６】変形例２の効果を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を説明する。
本実施形態は、元画像を第１の圧縮率で空間的に圧縮した第１の画像であるサムネイル画像と、元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像である観察画像とを１画面（１ウィンドウ）内に表示可能な情報処理装置に関するものである。サムネイル画像には、元画像全体を俯瞰することができる程度まで高い圧縮率で空間的に圧縮された画像が利用される。一方、観察画像は標本の肉眼による観察に用いられる画像である。このため観察画像には、元画像（圧縮率＝１）もしくは比較的に低い圧縮率で圧縮された画像が利用される。したがって、物理的な画面に表示される観察画像は元画像全体の中の一部の範囲であることが普通である。しかし、このように画面に表示される観察画像が元画像全体の中の一部の範囲である場合、ユーザにとっては、観察中の観察画像が元画像全体の中のどの範囲に位置するかが分からない。
【００２０】
そこで元画像全体を俯瞰したサムネイル画像上に、現在表示中の観察画像の元画像中の範囲を囲む枠が合成されて表示されるようになっている。この枠が合成されたサムネイル画像を「サムネイルマップ」と呼ぶ。サムネイルマップ上の枠は、ポインティングデバイスなどの入力装置を操作して入力されるユーザからの指示によって、任意の方向へ任意の量だけ移動させることが可能である。サムネイルマップ上の枠が移動させると、これに伴って観察画像の元画像中の表示範囲も更新される。すなわち、枠の移動量に対して、サムネイル画像の解像度に対する観察画像の解像度の倍率を乗じて得られた値が観察画像の移動量として算出され、この移動量をもとに観察画像の移動先の位置が算出される。
【００２１】
本実施形態は、このようにサムネイルマップ上の枠を移動させて観察画像の表示範囲を移動させる処理の性能の向上を図ることのできる情報処理装置を提供するものである。
【００２２】
以下に、本実施形態の詳細を図面を用いて説明する。
［顕微鏡システムの構成］
図１は、本発明の第１の実施形態に係る顕微鏡システム１の構成を示すブロック図である。
同図に示すように、顕微鏡システム１は、顕微鏡２、顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５（情報処理装置に相当する。）、表示装置６、および入力装置７を有する。
【００２３】
顕微鏡２は、顕微鏡制御ユニット３からの制御信号を受けて動作する光学顕微鏡である。顕微鏡２は、撮像装置２１、鏡筒２２、ステージ２３、ステージ駆動部２４を有する。撮像装置２１は、例えば、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備える撮像デバイスである。鏡筒２２は、対物レンズ及び接眼レンズなどを支持した構造体である。ステージ２３はステージ駆動部２４によって鏡筒２２の光学系の光軸方向（Ｚ軸方向）とこの光軸方向に対して直交する方向（Ｘ軸方向、Ｙ軸方向）に駆動可能とされ、標本Ｐの位置を上記の３軸方向に可変する。ステージ駆動部２４は、ステッピングモータ等の駆動機構を内蔵し、顕微鏡制御ユニット３からの制御指令に従ってステージ２３の移動量および移動方向を制御する。以上の構成を有することによって、顕微鏡２は、ステージ２３上に載置された標本Ｐの像を鏡筒２２内の光学系にて拡大し、拡大された像を撮像装置２１にて撮像してＲＡＷデータとして顕微鏡制御ユニット３に出力する。
【００２４】
顕微鏡制御ユニット３は、顕微鏡２を制御するユニットである。顕微鏡制御ユニット３は、例えば、撮像装置２１の撮像タイミングの制御、ステージ駆動部２４の制御などを行う。また、顕微鏡制御ユニット３は、顕微鏡２の撮像装置２１より伝送された画像データから下記の画像ピラミッド構造を生成する。
【００２５】
顕微鏡制御ユニット３は、顕微鏡２の撮像装置２１より伝送された画像データを、１／２、１／２２ 、１／２３ 、・・・、１／２Ｎ の各倍率で空間的に圧縮する。これにより１つの標本に対して（Ｎ＋１）階層分の画像データが得られる。図２は画像ピラミッド構造を示す図である。同図の例では、説明の簡単のため、画像ピラミッド構造が実際よりも少ない５層で構成される場合を示している。ここで、第１層目を顕微鏡２の撮像装置２１より伝送された画像データ（元画像）とすると、この元画像を、１／２倍率で圧縮したものが第２層目、１／２２ 倍率で圧縮したものが第３層目、１／２３ 倍率で圧縮したものが第４層目、１／２４ 倍率で圧縮したものが第５層目となる。
【００２６】
また、画像ピラミッド構造における各階層の画像データはそれぞれ「タイル」と呼ばれるに所定の解像度の領域に分割されて管理される。タイルの解像度は、例えば２５６×２５６（pixel）、２５６×５１２（pixel）などである。それぞれのタイルには、画像ピラミッド構造において個々をユニークに識別することができるようにタイルＩＤが割り当てられる。
【００２７】
顕微鏡制御ユニット３は、以上のように作成された画像ピラミッド構造における各階層の画像データを上記タイル単位で圧縮符号化し、上記の画像ピラミッド構造にしてサーバ装置４に伝送する。
【００２８】
図１に戻って、サーバ装置４は、顕微鏡制御ユニット３より伝送された画像データをストレージに蓄積する。また、サーバ装置４は、ビューワ装置５と例えば、ＩＰネットワークなどの伝送路を通じて接続され、ビューワ装置５からのリクエストに対してタイル単位で画像データを応答する。
【００２９】
ビューワ装置５（情報処理装置に相当する。）は、サーバ装置４にサムネイルマップ用および観察画像用の画像データを取得するためのリクエストを送り、サーバ装置４より応答された画像データを復号して表示装置に出力する。ビューワ装置５は、サーバ装置４に蓄積された画像データにアクセスする際、目的の画像データを標本名とタイルＩＤとの組み合わせにより一意に指定することができる。
【００３０】
表示装置６は、サーバ装置４から出力された映像信号を受けてサムネイルマップおよび観察画像を含む表示データを可視的に表示する。表示装置６は、例えばＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等である。
入力装置７は、ユーザからの各種の操作指令を受け付けてビューワ装置５に出力する。入力装置７は、例えば、マウスなどのポインティングデバイスであり、表示画面に表示されるカーソルポインタをＸ軸及びＹ軸方向に移動操作して、それぞれの軸方向の移動量をビューワ装置５に供給する。
【００３１】
次に、顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５のハードウェア構成について説明する。
顕微鏡制御ユニット３、サーバ装置４、ビューワ装置５は、例えばＰＣ（Personal Computer）などの典型的なコンピュータのハードウェア構成を有するものである。
【００３２】
図３はビューワ装置５として用いられるコンピュータのハードウェア構成を示すブロック図である。
このコンピュータは、ＣＰＵ１１、ＲＯＭ１２、メインメモリ１３、ストレージ部１４、ネットワークインタフェース部１５、ディスプレイ制御部１７、入力インタフェース部１８、システムバス１９などで構成される。
【００３３】
ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ１２に記憶されたプログラムにしたがって、各種の制御や演算処理を行うことが可能である。
ＲＯＭ（Random Access Memory）１２には、ＣＰＵ１１により実行されるプログラムや各種の固定データなどが格納される。
メインメモリ１３は、ＣＰＵ１１による演算処理の作業空間として用いられるメモリである。
ストレージ部１４は、ユーザデータとして画像データなどのデータを保存するための装置である。ストレージ部１４は、より具体的には、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）などの大容量で書き換えが可能な記憶装置である。
【００３４】
ネットワークインタフェース部１５は、インターネット、ローカルエリアネットワークなどのネットワーク８０との有線または無線での接続を処理するインタフェースである。
【００３５】
ディスプレイ制御部１７は、表示装置６に出力する表示用の映像信号を生成する。
入力インタフェース部１８は、例えば、マウス、キーボード、コントローラなどのユーザの入力装置７からの入力を処理する。
【００３６】
顕微鏡制御ユニット３およびサーバ装置４の構成もこれと同様である。
【００３７】
［ビューワ装置５の機能的な構成］
次に、ビューワ装置５の機能的な構成について説明する。
ビューワ装置５は、図４に示すように、元画像を第１の圧縮率で空間的に圧縮した第１の画像であるサムネイルマップ１０３と、元画像を第１の圧縮率よりも低い第２の圧縮率（圧縮率＝１を含む。）で空間的に圧縮した第２の画像である観察画像１０１とを合成した観察環境画面を生成して表示装置６に表示させることができる。
【００３８】
サムネイルマップ１０３上には、観察画像１０１の表示範囲をサムネイルマップ１０３のスケールに置き換えて示す枠１０５が表示される。また、図５に示すように、この枠１０５は、ユーザによって例えばマウス（入力装置７）のドラッグ操作などによってサムネイルマップ１０３上で任意の位置に移動させることが可能である。この枠１０５の移動に伴って、観察画像１０１の表示範囲もサムネイルマップ１０３上の枠１０５の位置に対応するように移動される。
【００３９】
また、ユーザが入力装置７を操作することによって観察画像１０１として表示させる画像の圧縮率（階層）を変更することも可能である。この観察画像１０１の圧縮率（階層）の変更操作に伴って、サムネイルマップ１０３上の枠１０５のサイズも変更される。これにより観察画像１０１のズームイン／ズームアウトを行うことができる。
【００４０】
図６は、ビューワ装置５の観察環境画面の表示に係る機能的な構成を示すブロック図である。
同図に示すように、ビューワ装置５は、入力Ｉ／Ｆ部５１（入力部に相当する。）、表示範囲計算部５２、画像データ取得部５３、デコーダ５４、枠生成部５５、サムネイルマップ合成部５６（サムネイルマップ生成部に相当する。）、画像合成部５７（合成部に相当する。）を具備する。
【００４１】
入力Ｉ／Ｆ部５１は、入力装置７からＸ軸およびＹ軸方向の移動量を一定の時間周期で取得し、表示範囲計算部５２および枠生成部５５に供給する。
【００４２】
表示範囲計算部５２は、入力Ｉ／Ｆ部５１より入力された操作量をもとに、観察画像における移動先の表示範囲を算出し、算出された表示範囲を満たす画像データの取得を画像データ取得部５３に依頼する。
【００４３】
画像データ取得部５３は、表示範囲計算部５２より依頼された観察画像用の画像データおよびサムネイルマップ用の画像データをサーバ装置４より取得する。
【００４４】
デコーダ５４は、画像データ取得部５３にて取得された観察画像用の画像データおよびサムネイルマップ用の画像データを復号する。サムネイルマップ用の画像データの復号結果はサムネイルマップ合成部５６に出力され、観察画像用の画像データの復号結果は画像合成部５７に出力される。
【００４５】
枠生成部５５は、入力Ｉ／Ｆ部５１より入力された移動量をもとに、サムネイルマップ上の枠の表示イメージを生成してサムネイルマップ合成部５６に出力する。
【００４６】
サムネイルマップ合成部５６は、デコーダ５４より出力されたサムネイルマップ用の画像データであるサムネイル画像と枠生成部５５により生成された枠の表示イメージとを合成してサムネイルマップを生成し、画像合成部５７に出力する。
【００４７】
画像合成部５７は、サムネイルマップ合成部５６によって合成されたサムネイルマップとデコーダ５４より出力された観察画像とを合成し、合成画像をディスプレイ制御部１７（図３参照）を通じて表示装置６に供給する。
【００４８】
［顕微鏡システムの動作］
次に、顕微鏡システム１の動作について説明する。動作の説明は、
１．観察環境画面が表示されるまでの動作
２．観察画像の表示範囲を移動させる動作
の順で行う
【００４９】
（１．観察環境画面が表示されるまでの動作）
顕微鏡２は顕微鏡制御ユニット３による制御の下、ステージ２３上に載置された標本Ｐの顕微像を撮像し、画像データを顕微鏡制御ユニット３に出力する。顕微鏡制御ユニット３は、顕微鏡２からの画像データが入力されると、この画像データを空間的に圧縮して画像ピラミッド構造を生成し、この画像ピラミッド構造における各階層の画像データをタイル単位で圧縮符号化してサーバ装置４に出力する。サーバ装置４は顕微鏡制御ユニット３より伝送された画像ピラミッド構造の各階層の画像データをストレージに保存する。以後サーバ装置４は、ビューワ装置５からの画像データの取得要求を受けた場合には、その要求された画像データをストレージに保存された画像ピラミッド構造からタイル単位で抽出し、ビューワ装置５に応答する。
【００５０】
ビューワ装置５では、まず、画像データ取得部５３がサムネイルマップ用として予め設定された所定の階層の画像データと観察対象用として予め設定された所定の階層の所定の範囲の画像データをサーバ装置４に要求する。画像データ取得部５３は、サーバ装置４より応答されたサムネイルマップ用の画像データおよび観察対象用の画像データをそれぞれデコーダ５４に出力する。デコーダ５４によって復号されたサムネイル画像はサムネイルマップ合成部５６に出力される。一方、デコーダ５４によって復号された観察画像は画像合成部５７に出力される。
【００５１】
サムネイルマップ合成部５６は、デコーダ５４によって復号されたサムネイル画像と、枠生成部５５により生成された枠の表示イメージとを合成して、この結果をサムネイルマップとして画像合成部５７に出力する。画像合成部５７は、このサムネイルマップとデコーダ５４からの観察画像とを合成する。合成された画像はディスプレイ制御部１７（図３参照）を通じて表示装置６に出力される。
【００５２】
これにより、図４に示したように、表示装置６に、観察画像１０１とサムネイルマップ１０３を含む観察環境画面に表示される。サムネイルマップ１０３には、観察画像１０１の表示範囲をサムネイルマップ１０３のスケールに置き換えて示す枠１０５が合成されて表示される。
【００５３】
（２．観察画像の表示範囲を移動させる動作）
次に、ビューワ装置５において、ユーザが入力装置７を操作してサムネイルマップ１０３上の枠１０５を移動操作することで観察画像１０１の表示範囲を移動させる動作について説明する。
【００５４】
サムネイルマップ１０３上の枠１０５を移動させるように、入力装置７より入力された移動量は入力Ｉ／Ｆ部５１にて取り込まれ、入力Ｉ／Ｆ部５１から表示範囲計算部５２および枠生成部５５に供給される。
【００５５】
枠生成部５５は、入力Ｉ／Ｆ部５１からの移動量をもとにサムネイルマップ上での移動先の枠１０５の表示イメージを生成してサムネイルマップ合成部５６に出力する。これにより、サムネイルマップ１０３上の枠１０５が現在の位置から移動量が示す方向と距離だけ移動される。
【００５６】
一方、表示範囲計算部５２は入力Ｉ／Ｆ部５１からの移動量をもとに、観察画像１０１の元画像内での移動先の表示範囲を計算する。
【００５７】
図７は、サムネイルマップ１０３上の枠１０５の移動操作により観察画像の表示範囲を移動させる処理に関するフローチャートである。
【００５８】
なお、本処理は、例えば、図８に示すように、移動方向がＸ軸およびＹ軸それぞれの方向において正負逆転しないことを前提とする。図８はサムネイルマップ上での枠の移動を示している。点線によって示される格子は、サムネイルマップにおける所定のピクセル数に対応する。枠１０５を指定した状態でドラッグ操作などが行われることで、サムネイルマップ上で枠１０５がドラッグ操作の方向へドラッグ操作の量だけ移動される。矢印ａ−ｆは、ビューワ装置５が入力装置７から一定の周期で取り込んだ移動量をもとに枠１０５を移動させた経路を示している。説明の簡単のため、この例では、略一定速度で枠１０５が移動操作された場合を想定している。
【００５９】
ここから図７の処理の説明を行う。表示範囲計算部５２は、入力Ｉ／Ｆ部５１より移動量を取得すると（ステップＳ１０１）、これを保存するとともに、カウンタをインクリメントする（ステップＳ１０２）。次に、表示範囲計算部５２は、カウンタの値が予め設定された値（ｎ）に達したかどうかを判定する（ステップＳ１０３）。
【００６０】
カウンタの値がｎに達していない場合から説明する。
カウンタの値がｎに達していない場合とは、サムネイルマップ上での枠の移動操作を開始してから移動量の取得回数がまだｎ回に達していない場合のことである。この場合、表示範囲計算部５２は、今回を含め過去に入力された移動量の平均値を第２の補正移動量として求める（ステップＳ１０４）。例えば、ｎ＝４とし、カウンタの値が"２"であるとき、今回と前回の移動量の平均値が第２の補正移動量として求められる。より具体的には、Ｘ軸方向の今回の移動量が２ピクセル、前回の移動量が０ピクセルであれば、Ｘ軸方向の第２の補正移動量は１ピクセルになる。Ｙ軸方向についても同様に第２の補正移動量が求められる。また、カウンタの値が"３"であるとき、Ｘ軸方向およびＹ軸方向毎の、今回と前回と前々回の移動量の平均値が第２の補正移動量となる。
【００６１】
続いて、表示範囲計算部５２は、第２の補正移動量を観察画像１０１のスケールに置き換える（ステップＳ１０５）。具体的には、サムネイルマップとして図２に示した画像ピラミッド構造において元画像を１／２３ 倍率で圧縮した第４層目のタイルが使用され、観察画像として元画像を１／２倍率で圧縮した第２層目のタイルが使用される場合、第２の補正移動量を１６倍にスケールアップしたものが観察画像１０１のスケールに合わせた第２の補正移動量となる。
【００６２】
次に、表示範囲計算部５２は、この観察画像１０１のスケールに合わせた第２の補正移動量と現在の観察画像１０１の表示範囲の位置とから、観察画像１０１の移動先の表示範囲の位置を計算する（ステップＳ１０６）。そして表示範囲計算部５２は、この観察画像１０１の移動先の表示範囲の位置の計算結果をもとに、観察画像１０１の移動先の表示範囲を表示させるために必要な画像データの１以上のタイルＩＤを算出し、これらのタイルＩＤを画像データ取得部５３に通知して画像データの取得を依頼する。画像データ取得部５３によって取得された画像データはデコーダ５４にて復号された後、画像合成部５７にてサムネイルマップと合成されて表示装置６に出力される（ステップＳ１０７）。このようにして観察画像の表示範囲が移動される。
以上の動作は、カウンタの値がｎ−１になるまで繰り返される。
【００６３】
次に、カウンタの値がｎに達っている場合を説明する。
この場合、表示範囲計算部５２は、今回を含め過去直近に入力されたｎ回の移動量の平均値を第１の補正移動量として求める（ステップＳ１０８）。例えば、ｎ＝４とし、カウンタの値が"４"であるとき、Ｘ軸方向およびＹ軸方向毎の、今回を含め過去直近に入力された４回の移動量の平均値が第１の補正移動量として求められる。また、カウンタの値が"５"であるときも、Ｘ軸方向およびＹ軸方向毎の、今回を含め過去直近に入力された４回の移動量の平均値が第１の補正移動量として求められる。カウンタの値が"６"以上であるときも同様である。
【００６４】
続いて、表示範囲計算部５２は、前記の動作と同様に、第１の補正移動量を観察画像のスケールに置き換える（ステップＳ１０９）。次に、表示範囲計算部５２は、この観察画像のスケールに置き換えられた第１の補正移動量を現在の観察画像の表示範囲の位置に加算して、観察画像の移動先の表示範囲の位置を一次補正位置として計算する（ステップＳ１１０）。
【００６５】
次に、表示範囲計算部５２は、図９に示すように、観察画像の移動先の表示範囲の一次補正位置ＰＸ（第１の位置）と、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置Ｐｘ’（第２の位置）との距離ｄを計算する。この距離ｄが過大になってサムネイルマップ上の枠と観察画像の表示範囲との空間的な不整合が拡がることは、ユーザの操作性の低下につながる。そこで距離ｄが予め決められた第１の上限値ｄr1を超える場合（ステップＳ１１１のＹＥＳ）、表示範囲計算部５２は、その距離ｄが第１の上限値ｄr1以内に収まるように一次補正位置ＰＸ（第１の位置）を二次補正する（ステップＳ１１２）。
【００６６】
図１０は観察画像の移動先の表示範囲の一次補正位置に対する二次補正の例を示す図である。この例は、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置Ｐｘ’（第２の位置）と、観察画像の移動先の表示範囲の一次補正位置ＰＸ（第１の位置）とを結ぶ直線上の中間点ＰＸａを二次補正位置とする場合を示している。二次補正の方法はこれに限らず、距離ｄが第１の上限値ｄr1以内に収まるようにする方法であればよい。
【００６７】
二次補正完了後、ステップＳ１０７に移行する。すなわち、表示範囲計算部５２は、この観察画像の移動先の表示範囲の位置の二次補正結果をもとに、観察画像の移動先の表示範囲を表示させるために必要な画像データの１以上のタイルＩＤを算出し、これらのタイルＩＤを画像データ取得部５３に通知して画像データの取得を依頼する。画像データ取得部５３によって取得された画像データはデコーダ５４にて復号された後、画像合成部５７にてサムネイルマップと合成されて表示装置６に出力される。これにより観察画像の表示範囲が二次補正を反映した位置に移動される。
【００６８】
また、距離ｄが予め決められた上限値を超えていない場合には（ステップＳ１１１のＹＥＳ）、表示範囲計算部５２は二次補正を行うことなく、ステップＳ１０７の処理に移行することで、観察画像の表示範囲は一次補正のみを反映した位置に移動される。
以上の動作は、所定のリセット条件が成立するまで繰り返される。所定のリセット条件としては、例えば、観察画像の階層が切り替えられたとき、表示範囲の移動速度が所定の閾値を越えたとき、観察環境画面の表示を終了させたとき、などがある。所定のリセット条件が成立に伴って上記のカウンタもリセットされる。
【００６９】
図１１は、本実施形態による観察画像の表示範囲の移動を典型的な方式と比較して示す図である。ｎ＝３とした。図中において、符号Ａ−Ｆで示される比較的太い線の矢印は本実施形態による観察画像の表示範囲の移動経路、符号ａ’−ｆ’で示される比較的細い線の矢印は典型的な方式（従来方式）に基づく観察画像の表示範囲の移動経路を示している。１０７は観察画像の表示範囲である。
【００７０】
ここで、矢印ａ’−ｆ’によって示される典型的な方式（従来方式）に基づく観察画像の表示範囲の移動経路は、図７に示したサムネイルマップ上での枠の移動経路に空間的に対応している。このためサムネイルマップ上の枠をポインティングデバイスを操作して斜めに移動させるときの操作方向の僅かなブレなどによって枠が縦横の方向にも移動してしまう様が観察画像の表示範囲の移動の仕方に視覚的に現れてしまう。これに対して、比較的太い線の矢印Ａ−Ｆによって示される観察画像の表示範囲の移動経路に示されるように、本実施形態によれば、観察画像の表示範囲が階段状に大きく揺れることがなくなり、ユーザの操作性が改善される。
【００７１】
＜変形例１＞
（枠の移動の加速度に応じた二次補正）
上記の実施形態によると、図１２に示すように、サムネイルマップ上の枠の位置を観察画像のスケールに置き換えた位置Ｐｅ’と、観察画像の移動先の表示範囲の一次補正位置ＰＥとの距離ｄが枠の移動の加速度が大きくなるにつれて増大する傾向がある。
【００７２】
そこで表示範囲計算部５２に、次のようなアルゴリズムを組み込んでもよい。
１．表示範囲計算部５２は、サムネイルマップ上での枠の移動の加速度、例えば枠の連続する各回の移動量の差から加速度を求める。
２．表示範囲計算部５２は、加速度の値が閾値以上であるとき、観察画像の移動先の表示範囲の一次補正位置（第１の位置）と、サムネイルマップ上の移動先の枠の位置を観察画像のスケールに置き換えた位置（第２の位置）との距離ｄに対する第２の上限値を設定する。
３．表示範囲計算部５２は、上記の距離ｄが第２の上限値以内に収まるように一次補正位置（第１の位置）を二次補正する。なお、第２の上限値は第１の実施形態で用いられた第１の上限値と同じであってもよい。
【００７３】
図１３は、この加速度の値に応じた二次補正の例を示す図である。この例は、第２の上限値としてｄr2が設定され、加速度の値が閾値以上となった場合の二次補正を示している。表示範囲計算部５２は、前回の観察画像の表示範囲の位置ＰＤと今回の観察画像の表示範囲の位置ＰＥとを通過する直線上で上記距離が第２の上限値ｄr2と等しく点の位置ＰＥａを二次補正位置として算出する。二次補正の方法はこれに限らず、距離ｄが第２の上限値ｄr2以内に収まるようにする方法であればよい。
【００７４】
なお、本処理は、サムネイルマップ上での枠の移動の加速度が大きくなったときのみならず、加速度が小さくなったときにも有効である。
【００７５】
これにより、サムネイルマップ上での枠の移動の加速度の変化によって、サムネイルマップ上の枠の位置と観察画像の表示範囲の位置との整合性が過度にずれることを防止できる。
【００７６】
＜変形例２＞
（移動の正負方向の切り替えに応じた制御）
上記の実施形態では、サムネイルマップ上での枠の移動方向がＸ軸およびＹ軸それぞれの方向において正負逆転しない場合について説明したが、実際の運用においては枠の移動方向がＸ軸およびＹ軸それぞれの方向で正負逆転する場合がある。
【００７７】
図１４はサムネイルマップ上での枠の移動方向がＹ軸方向で正負逆転する例を示す図である。矢印ａ→矢印ｂ→矢印ｃまで枠が移動操作された後、矢印ｄのように、それまでの移動に対してＹ軸方向において正負逆向きに移動操作が行われたことを示している。このような場合、第１の実施形態の方式をそのまま採用すると、例えば、図１５に示すように、Ｙ軸方向において観察画像の表示範囲が枠の移動に対して正負逆向きに移動し、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になることがある。
【００７８】
このような場合に対処するために、表示範囲計算部５２は次のような処理を行う。
１．表示範囲計算部５２は、Ｘ軸方向について、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、第１の補正移動量のＸ軸方向成分の移動量を零にするなどして調整する。
２．表示範囲計算部５２は、Ｘ軸方向について、過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、第１の補正移動量のＹ軸方向成分の移動量を零にするなどして調整する。
【００７９】
以上の処理によって、図１６に示すように、図１４に示した枠のＹ軸の正方向への移動操作に対して観察画像の表示範囲をＹ軸方向に移動させないようにすることができ、サムネイルマップ上の枠の位置と観察画像の表示範囲とのずれが過大になるのを抑制できる。
【００８０】
なお、ここでは補正移動量を零にすることとしたが、所定の計算方法によって補正移動量の該当する軸方向成分の移動量を低減することによっても、サムネイルマップ上の枠の位置と観察画像の表示範囲との整合性のずれが過大になるのを阻止することができる。
【００８１】
＜変形例３＞
（補正移動量の他の計算方法）
表示範囲計算部５２は、今回を含め過去直近に入力されたｎ回の移動量にそれぞれ直近度に応じた重みの値を乗じて行き、各移動量を合算し、合算値を重みの値の和の二乗の値で割ったものを補正移動量としてもよい。例えば、ｎ＝６とした場合、表示範囲計算部５２は、最新の移動操作量から順番に1.0、0.8、0.6、0.4、0.2、0の重みを乗じて行く。表示範囲計算部５２は、それぞれの重みが乗じられた移動操作量を合算し、合算値を3(1.0＋0.8＋0.6＋0.4＋0.2）で割った値を補正移動量とする。これにより、直近の移動量に対する応答性を高めつつ過去の移動量に対して平均化された補正移動量が得られる。
【００８２】
＜変形例４＞
観察画像の表示範囲のより滑らかな移動を実現するために、観察画像の表示範囲の前回の位置と今回の位置の間にベジェ曲線やＢ−スプライン曲線などの関数計算によって得られる曲線上の通過点を１点以上設定し、この曲線上に設定された点を通過させるように観察画像の表示範囲を移動させてもよい。
【００８３】
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。
【符号の説明】
【００８４】
１…顕微鏡システム
５…ビューワ装置
６…表示装置
７…入力装置
５１…入力Ｉ／Ｆ部
５２…表示範囲計算部
５３…画像データ取得部
５４…デコーダ
５５…枠生成部
５６…サムネイルマップ合成部
５７…画像合成部
１０１…観察画像
１０３…サムネイルマップ
１０５…枠
１０７…観察画像の表示範囲
【特許請求の範囲】
【請求項１】
元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、
前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、
ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、
前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記表示範囲計算部は、前記移動量の入力の回数をカウントし、カウントした入力の回数が所定の回数以上であるとき、前記第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させ、前記カウントした入力の回数が所定の回数未満であるとき、今回を含め過去に入力された移動量の平均値を第２の補正移動量として、この第２の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる
情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記表示範囲計算部は、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第１の上限値以内に収まるように前記第１の位置を補正する
情報処理装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、前記サムネイルマップ上の前記枠の移動の加速度が閾値以上であるとき、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第２の上限値以内に収まるように前記第１の位置を補正する
情報処理装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、前記互いに直交する２軸のうちの第１の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第１の軸方向成分の移動量を調整し、前記互いに直交する２軸のうちの第２の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第２の軸方向成分の移動量を調整する
情報処理装置。
【請求項６】
請求項１ないし５のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、今回を含め過去直近に入力された複数の移動量にそれぞれ直近度に応じた重みをつけて補正移動量を計算する
情報処理装置。
【請求項７】
サムネイルマップ生成部が、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成し、
合成部が、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力し、
入力部が、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力し、
表示範囲計算部が、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる
情報処理方法。
【請求項８】
元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、
前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、
ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、
前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部
としてコンピュータを機能させるプログラム。
【請求項１】
元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、
前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、
ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、
前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記表示範囲計算部は、前記移動量の入力の回数をカウントし、カウントした入力の回数が所定の回数以上であるとき、前記第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させ、前記カウントした入力の回数が所定の回数未満であるとき、今回を含め過去に入力された移動量の平均値を第２の補正移動量として、この第２の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる
情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記表示範囲計算部は、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第１の上限値以内に収まるように前記第１の位置を補正する
情報処理装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、前記サムネイルマップ上の前記枠の移動の加速度が閾値以上であるとき、前記第１の補正移動量をもとに算出された前記第２の画像の前記表示範囲の移動先の位置である第１の位置と、前記サムネイルマップ上の前記枠の移動先の位置を前記第２の画像のスケールに置き換えた第２の位置との距離が予め設定された第２の上限値以内に収まるように前記第１の位置を補正する
情報処理装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、前記互いに直交する２軸のうちの第１の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第１の軸方向成分の移動量を調整し、前記互いに直交する２軸のうちの第２の軸方向について、前記入力部より過去に入力された移動量の正負の向きに対して逆向きの移動量が入力された場合、前記第１の補正移動量の前記第２の軸方向成分の移動量を調整する
情報処理装置。
【請求項６】
請求項１ないし５のいずれか１項に記載の情報処理装置であって、
前記表示範囲計算部は、今回を含め過去直近に入力された複数の移動量にそれぞれ直近度に応じた重みをつけて補正移動量を計算する
情報処理装置。
【請求項７】
サムネイルマップ生成部が、元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成し、
合成部が、前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力し、
入力部が、ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力し、
表示範囲計算部が、前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる
情報処理方法。
【請求項８】
元画像を第１の圧縮率で空間的に圧縮した第１の画像に、前記元画像を第１の圧縮率よりも低い第２の圧縮率で空間的に圧縮した第２の画像の前記元画像中の表示範囲を示す枠を合成してサムネイルマップを生成するサムネイルマップ生成部と、
前記第２の画像と前記サムネイルマップ生成部により生成された前記サムネイルマップとを合成して表示装置に出力する合成部と、
ユーザより前記サムネイルマップ上の前記枠に対する、互いに直交する２軸方向の移動量を入力する入力部と、
前記入力部より今回を含め過去直近に入力された複数の移動量の平均値を第１の補正移動量として、この第１の補正移動量をもとに前記第２の画像の前記表示範囲を移動させる表示範囲計算部
としてコンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１５５０１６（Ｐ２０１２−１５５０１６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１２１３０（Ｐ２０１１−１２１３０）
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]