情報処理装置、情報処理方法、及びプログラム
【課題】隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。
【解決手段】本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する。前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する。前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【解決手段】本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する。前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する。前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数の画像を合成することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、被写体を部分的に撮影することで得た複数の部分画像を１つに合成して被写体画像を生成するスティッチング技術が知られている。スティッチング技術は、例えばパノラマ画像の生成や、顕微鏡を用いた拡大画像の生成等に用いられる。例えば特許文献１には、複数の画像を適切に合成することを目的としたパノラマ画像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の技術等を用いても、スティッチング技術により合成される複数の画像の位置に誤差が生じてしまう可能性がある。すなわち隣接する画像間にずれが生じてしまう可能性がある。例えば多くの画像が合成されて１つの画像が作成される場合、隣接する画像間のずれが蓄積して、最終的に大きなずれが発生してしまう可能性がある。
【０００５】
以上のような事情に鑑み、本技術の目的は、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。
前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する。
前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する。
前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【０００７】
この情報処理装置では、複数の部分画像と、隣接する２つの部分画像ごとに算出された位置ずれ情報とが記憶される。また上記表示領域画像を生成するための１以上の表示用部分画像が判定される。そして複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が位置ずれ情報をもとに合成され、表示領域画像が生成される。このように被写体の画像として表示される領域に応じて適宜表示領域画像が生成されるので、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
【０００８】
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成してもよい。
複数の部分画像は、上記した複数の撮影領域が互いに重なる部分に対応した接続領域をそれぞれ有している。従って、１つの部分画像から生成可能な表示領域画像の範囲が大きい。この結果、高精度の表示領域画像を生成することが可能となる。
【０００９】
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続してもよい。
例えば表示領域の移動等により、複数の表示用部分画像が変更する場合がある。この場合、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像が互いに接続される。これにより、表示領域の移動等を精度よく実行することが可能となる。
【００１０】
前記記憶部は、前記位置ずれ情報の信頼度を記憶してもよい。この場合、前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続してもよい。
このように位置ずれ情報の信頼度をもとに複数の表示用部分画像が互いに接続されてもよい。これにより、高精度の表示領域画像を生成することが可能となる。
【００１１】
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続してもよい。
このように、表示用部分画像間の位置ずれ情報の信頼度が所定の値よりも小さい場合に、２つの表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
【００１２】
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成してもよい。
このように、表示領域画像を生成するために、表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
【００１３】
前記情報処理装置は、前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備してもよい。この場合、前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続してもよい。
これにより、例えば表示領域画像を目視で確認しながら、２つの表示用部分画像の相対的な位置関係を修正することが可能となる。
【００１４】
本技術の一形態に係る情報処理方法は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶することを含む。
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像が判定される。
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が前記記憶された位置ずれ情報をもとに互いに接続され、前記表示領域画像が生成される。
【００１５】
本技術の一形態に係るプログラムは、上記情報処理方法をコンピュータに実行させる。
【発明の効果】
【００１６】
以上のように、本技術によれば、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。
【図２】図１に示すデジタル顕微鏡と制御ＰＣとの構成例を示す模式的な図である。
【図３】第１の実施形態に係る情報処理装置であるサーバのハードウェア構成例を示す模式的な図である。
【図４】図１に示す画像処理システムの動作の概要を示す模式的な図である。
【図５】図１に示す制御ＰＣによる複数の部分画像及びオフセット値の生成処理について説明するための図である。
【図６】図１に示す制御ＰＣによる複数の部分画像及びオフセット値の生成処理について説明するための図である。
【図７】第１の実施形態に係るオフセット値及び信頼度のデータ形式の一例を示す模式的な図である。
【図８】第１の実施形態に係るサーバの動作の概要を示す模式的な図である。
【図９】第１の実施形態に係るサーバの動作例を示すフローチャートである。
【図１０】第１の実施形態に係る表示領域及び表示用部分画像判定処理を説明するための図である。
【図１１】第１の実施形態に係る表示用部分画像の数について説明するための図である。
【図１２】比較例として挙げる表示領域画像の生成方法を説明するための図である。
【図１３】本技術の第２の実施形態に係るサーバの動作例を示すフローチャートである。
【図１４】図１３に示す動作例を説明するための模式的な図である。
【図１５】本技術の第３の実施形態に係る情報処理装置としてのサーバの動作例を示すフローチャートである。
【図１６】図１５に示す動作例を説明するための模式的な図である。
【図１７】本技術の第４の実施形態に係る情報処理装置としてのサーバの動作の概要を示す模式的な図である。
【図１８】第４の実施形態に係るサーバの動作例を示すフローチャートである。
【図１９】第４の実施形態に係る表示用部分画像間の繋ぎ合わせ位置の変更モード用のＵＩの一例を示す模式的な図である。
【図２０】本技術の第５の実施形態に係る画像処理システムの動作の概要を示す模式的な図である。
【図２１】図１０に示す表示領域及び表示用部分画像の判定処理の変形例について説明するための模式的な図である。
【発明を実施するための形態】
【００１８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００１９】
＜第１の実施形態＞
［画像処理システムの構成］
図１は、本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム５００は、デジタル顕微鏡１００と、制御ＰＣ（Personal computer）２００と、サーバ３００と、ビューア４００とを有する。ここでは、サーバ３００が、本実施形態に係る情報処理装置として機能する。
【００２０】
図２は、デジタル顕微鏡１００と制御ＰＣ２００との構成例を示す模式的な図である。
【００２１】
デジタル顕微鏡1００は、ステージ１０１と、光学系１０２と、照明灯１０３と、光源１０４と、光学センサ１０５と、光学センサ制御部１０６と、発光制御部１０７と、ステージ制御部１０８とを有する。
【００２２】
ステージ１０１は、撮影対象である被写体１が載置される載置面１０９を有する。被写体１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）である。しかしこれに限定されるわけではない。
【００２３】
ステージ１０１は、互いに直交する３軸方向に移動自在である。すなわちステージ１０１は、載置面１０９の平面方向において互いに直交するＸ軸方向及びＹ軸方向へ移動自在である。またステージ１０１は、光学系１０２の対物レンズ１０２Ａの光軸に沿ったＺ軸方向へ移動自在である。
【００２４】
被写体１は、スライドガラスＳＧとカバーガラスＣＧとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば被写体１中の特定のターゲットをマーキングするために行われる。
【００２５】
光学系１０２は、ステージ１０１の上方に設けられ、対物レンズ１０２Ａ、結像レンズ１０２Ｂ、ダイクロイックミラー１０２Ｃ、エミッションフィルタ１０２Ｄ及び励起フィルタ１０２Ｅを有する。光源１０４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２６】
対物レンズ１０２Ａ及び結像レンズ１０２Ｂは、上記照明灯１０３により得られた被写体１の像を所定の倍率に拡大し、当該拡大像を光学センサ１０５の撮像面に結像させる。
【００２７】
励起フィルタ１０２Ｅは、光源１０４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０２Ａへ導く。対物レンズ１０２Ａは、当該励起光を被写体１へ集光する。
【００２８】
スライドガラスＳＧに固定された被写体１に蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１０２Ａを介してダイクロイックミラー１０２Ｃを透過し、エミッションフィルタ１０２Ｄを介して結像レンズ１０２Ｂへ到達する。
【００２９】
エミッションフィルタ１０２Ｄは、上記対物レンズ１０２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０２Ｂにより拡大され、光学センサ１０５上に結像される。
【００３０】
照明灯１０３は、ステージ１０１の下方に設けられ、ステージ１０１に設けられた開口（図示せず）を介して、上記載置面１０９に載置された被写体１へ照明光を照射する。
【００３１】
光学センサ１０５としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該光学センサ１０５は、デジタル顕微鏡１００と一体的に設けられていてもよいし、デジタル顕微鏡１００に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３２】
光学センサ制御部１０６は、制御ＰＣ２００からの制御指令に基づいて光学センサ１０５の制御を行う。また、光学センサ制御部１０６は、光学センサ１０５の出力を取り込み、制御ＰＣ２００に転送する。
【００３３】
発光制御部１０７は、制御ＰＣ２００からの制御指令に基づいて照明灯１０３や光源１０４の露光時間や発光強度など、露光に関する制御を行う。
【００３４】
ステージ制御部１０８は、制御ＰＣ２００からの制御指令に基づいてステージ１０１のＸＹＺ軸方向への移動を制御する。
【００３５】
制御ＰＣ２００は、典型的なコンピュータのハードウェア要素を有する装置である。制御ＰＣ２００は、デジタル顕微鏡１００を制御するとともに、デジタル顕微鏡１００によって撮影された被写体１の像を所定のフォーマット形式のデジタル画像データとして保存することができる。
【００３６】
制御ＰＣ２００は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部２０１と、センサ信号現像部２０２と、マッチング処理部２０３と、画像出力部２０４とを有している。これらは制御ＰＣ２００を動作させるプログラムによって実現される。あるいは専用のハードウェアが適宜用いられてもよい。
【００３７】
センサ信号現像部２０２は、光学センサ制御部１０６を通じて光学センサ１０５より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、マッチング処理部２０３に供給される。
【００３８】
本実施形態では、被写体１に対して複数の撮影領域が互いに重なるように撮影されることで、複数の部分画像が生成される。具体的には、複数の部分画像についてのセンサ信号が、センサ信号現像部２０２に出力される。そしてセンサ信号現像部２０２により、複数の部分画像の画像データが生成される。生成された部分画像の画像データはマッチング処理部２０３に供給される。以下、画像という記載が当該画像の画像データを含むものとする。
【００３９】
マッチング処理部２０３は、オフセット値算出部２０５と、信頼度算出部２０６とを有する。オフセット値算出部２０５は、複数の部分画像のうちの隣接する２つの部分画像ごとにオフセット値を算出する。本実施形態では、このオフセット値が、当該隣接する２つの部分画像の相対的な位置ずれ情報として算出される。
【００４０】
信頼度算出部２０６は、２つの部分画像ごとに算出されたオフセット値の信頼度を算出する。
【００４１】
画像出力部２０４は、センサ信号現像部２０２より供給されたデジタル画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＴｉｆｆ（Tagged Image File Format）など、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部３０８等に保存する。
【００４２】
ハードウェア制御部２０１は、デジタル顕微鏡１００における光学センサ制御部１０６、発光制御部１０７、ステージ制御部１０８を制御する。
【００４３】
図３は、本実施形態に係る情報処理装置であるサーバ３００のハードウェア構成例を示す模式的な図である。本実施形態では、サーバ３００としてＰＣ等のコンピュータが用いられる。
【００４４】
サーバ３００は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、入出力インターフェース３０５、及び、これらを互いに接続するバス３０４を備える。
【００４５】
入出力インターフェース３０５には、表示部３０６、入力部３０７、記憶部３０８、通信部３０９、ドライブ部３１０等が接続される。
【００４６】
表示部３０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００４７】
入力部３０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部３０７がタッチパネルを含む場合、そのタッチパネルは表示部３０６と一体となり得る。
【００４８】
記憶部３０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【００４９】
ドライブ部３１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体３１１を駆動することが可能なデバイスである。これに対し上記記憶部３０８は、主にリムーバブルでない記録媒体を駆動する、サーバ３００に予め搭載されたデバイスとして使用される場合が多い。
【００５０】
通信部３０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部３０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部３０９は、サーバ３００とは別体で使用される場合が多い。
【００５１】
上記のようなハードウェア構成を有するサーバ３００による情報処理は、記憶部３０８またはＲＯＭ３０２等に記憶されたソフトウェアと、サーバ３００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ３０１が記憶部３０８またはＲＯＭ３０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ３０３にロードして実行することにより実現される。プログラムは、例えば記録媒体を介してサーバ３００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがインストールされてもよい。
【００５２】
本実施形態では、ＣＰＵ３０１により、判定部、生成部及び指示入力部が実現される。あるいは入出力インターフェース３０５及びＣＰＵ３０１により指示入力部が実現される。しかしながらこれに限定されるわけではない。専用のハードウェアが適宜用いられてもよい。
【００５３】
また記憶部３０８及びＲＯＭ３０２等により、本実施形態に係る記憶部が実現される。この記憶部に複数の部分画像、オフセット値及び信頼度等の情報が記憶される。
【００５４】
ビューア４００は、サーバ３００により生成された各種の画像を閲覧するために用いられる。ビューア４００としては、ディスプレイを有するＰＣ等が用いられる。本実施形態に係るビューア４００は、ユーザが操作することが可能な図示しない入力部を有する。ユーザは、ディスプレイに表示された画像を目視しながら、入力部を用いて種々の操作を入力することが可能である。
【００５５】
本実施形態では、ＬＡＮやＷＡＮ等のネットワークを介して、制御ＰＣ２００、サーバ３００及びビューア４００が接続される。そして例えば画像や各種の情報等が各デバイスの間で送信及び受信される。また、各デバイスの入力部（入力部３０７）に入力されたユーザの操作に応じた指示が各デバイスの間で送信及び受信される。
【００５６】
なお、ＬＡＮ等のネットワークを介さずに制御ＰＣ２００、サーバ３００、及びビューア４００が互いに接続されてもよい。その他それぞれのデバイス間の接続形態は適宜設定可能である。
【００５７】
［画像処理システムの動作］
本実施形態に係る画像処理システム５００の動作を説明する。図４は、本実施形態に係る画像処理システム５００の動作の概要を示す模式的な図である。
【００５８】
制御ＰＣ２００によりデジタル顕微鏡１００が制御され、被写体１に対して複数の撮影領域５０が互いに重なるように撮影されることで複数の部分画像５１が生成される。また制御ＰＣ２００により、複数の部分画像５１のうちの隣接する２つの部分画像５１ごとに、当該隣接する２つの部分画像５１の相対的な位置ずれ情報としてのオフセット値が算出される。
【００５９】
図５及び図６は、制御ＰＣ２００による複数の部分画像５１及びオフセット値の生成処理について説明するための図である。
【００６０】
図５（Ａ）は、ステージ１０１の載置面１０９の被写体１に対する撮影領域５０の移動を示す図である。ステージ１０１の載置面１０９の撮影対象となる全体領域５２は、通常、矩形である。この全体領域５２よりも小さい面積である撮影領域５０が、１回の撮影範囲である。全体領域５２に対して撮影領域５０をＸ軸方向およびＹ軸方向に選択的に移動させ、その都度、撮影領域５０の撮影を繰り返すことによって全体領域５２が撮影される。
【００６１】
ステージ１０１と光学系１０２は相対的にＸＹＺ軸方向に移動可能であればよい。本実施形態では、光学系１０２が固定され、ステージ１０１がＸＹＺ軸方向に移動可能な構成としたが、逆にステージ１０１が固定され、光学系１０２がＸＹＺ軸方向に選択的に移動可能なように構成してもかまわない。
【００６２】
撮影領域５０のサイズと、Ｘ軸方向およびＹ軸方向それぞれの移動量は、Ｘ軸とＹ軸のそれぞれの方向で互いに隣り合う撮影領域５０の間で所定の重なり５３ができるように設定される。例えば、撮影領域５０のＸ軸方向の１回の移動量は、撮影領域５０のＸ軸方向のサイズの６０〜９５％程度である。また、Ｘ軸方向に隣り合う撮影領域５０間の重なり５３のＸ軸方向のサイズは、撮影領域５０のＸ軸方向のサイズの５〜４０％程度である。これらの割合は撮影領域５０のＹ軸方向についても同様でよい。
【００６３】
このように被写体１に対して複数の撮影領域５０が互いに重なるように撮影されることで、図５（Ｂ）に示すように、複数の部分画像５１が生成される。複数の部分画像５１は、撮影領域５０の重なり５３に対応した接続領域５４をそれぞれ有している。
【００６４】
図５に示す例では、９つの撮影領域５０が撮影され、９枚の部分画像５１が生成された。しかしながら、撮影領域５０の数、サイズ、撮影順序、重なり５３のサイズ等は限定されず、適宜設定されてよい。すなわち生成される部分画像５１の数、サイズ等も適宜設定可能である。
【００６５】
例えば医療または病理等の分野において、デジタル顕微鏡により得られた生体の細胞や組織等の拡大画像が、スティッチング技術により生成されることがある。このような場合では、例えばＸ軸方向に４０枚及びＹ軸方向に６０枚並ぶ、合計２４００枚もの部分画像５１が生成される場合もある。
【００６６】
図５（Ｃ）に示すように、制御ＰＣ２００のマッチング処理部２０３により、隣接する２つの部分画像５１ごとにマッチング処理が実行される。これによりオフセット値算出部２０５によりオフセット値が算出される。
【００６７】
例えばステージ１０１の移動誤差や撮影精度の誤差等により、複数の部分画像５１の相対的な位置関係において誤差が生じる場合がある。すなわち、複数の部分画像５１の相対的な位置関係が、図５（Ａ）に示す複数の撮影領域５０の相対的な位置関係と比べてずれてしまう場合がある。
【００６８】
従って図５（Ｃ）に示すように、複数の部分画像５１を適切に接続するためには、複数の部分画像５１の相対的な位置を適宜調整しなければならない。そのために、隣接する２つの部分画像５１の相対的な位置ずれ情報であるオフセット値が算出される。
【００６９】
本実施形態では、隣接する２つの部分画像５１がそれぞれ有する接続領域５４同士でマッチング処理が行われ、その結果をもとにオフセット値が算出される。本実施形態のマッチング処理は、接続領域５４の画素ごとに輝度値が算出され、その輝度値に基づいて相関係数が算出されることで行われる。しかしながら、これに限定されず、接続領域５４の画素ごとに輝度値の差の自乗が算出されることでマッチング処理が行われてもよい。あるいは、接続領域５４の周波数成分が利用されてもよい。その他、画像のパターンマッチングで用いられる各種アルゴリズムが利用可能である。
【００７０】
図６（Ａ）は、算出されたオフセット値をもとに適切な位置関係で接続された２つの部分画像５１ａ及び５１ｂを示す模式的な図である。例えば部分画像５１ａ及び５１ｂの相対的な位置関係にずれが生じていないのであれば、２つの部分画像５１ａ及び５１ｂの各接続領域５４ａ及び５４ｂをそのまま重ね合わせることで、部分画像５１ａ及び５１ｂは適切に接続される。この場合、オフセット値は（０，０）となる。
【００７１】
図６（Ａ）に示す例では、左の部分画像５１ａの接続領域５４ａに対して、左の部分画像５１ｂの接続領域５４ｂが、Ｘ軸方向にａ（pixel）、Ｙ軸方向に−ｂ（pixel）ずらされて重ね合わされる。そして、この位置で２つの部分画像５１ａ及び５１ｂが適切に接続されている。すなわちこの例では、オフセット値として（ａ，−ｂ）が算出されている。
【００７２】
なお本実施形態では、配置される部分画像５１ａ及び５１ｂの左上に位置する点を原点とした座標系が定められる。図６（Ａ）で見て、左から右の向きがＸ座標の正の向きである。また上から下の向きがＹ座標の正の向きである。オフセット値は、この座標系をもとに、符号付の整数で表せされる。しかしながら座標系は適宜設定可能である。
【００７３】
図６（Ｂ）に示すように、本実施形態では、複数の部分画像５１のうちの隣接する２つの部分画像５１ごとにオフセット値（ｘ，ｙ）が算出される。算出されたオフセット値は、複数の部分画像５１とともに、サーバ３００に送信される。
【００７４】
また本実施形態では、信頼度算出部２０６により、２つの部分画像５１ごとに算出されたオフセット値の信頼度が算出される。本実施形態では、マッチング処理において算出された相関係数の値が、信頼度として用いられる。
【００７５】
接続領域５４同士の相関係数が高い場合では、その接続領域５４は高い精度で接続されていると考えられる。従って相関係数が高い値の場合は、算出されたオフセット値の信頼度は高いと判定可能である。一方、相関係数が低い値の場合は、算出されたオフセット値の信頼度は低いと判定可能である。
【００７６】
なお信頼度は、相関係数の値に限定されない。例えば相関係数をもとに新たな数値が算出され、それが信頼度として用いられてもよい。また輝度値の差の自乗や標準偏差等の、マッチング処理に関する他の数値が適宜用いられてもよい。算出された信頼度は、サーバ３００に送信される。
【００７７】
図７は、本実施形態に係るオフセット値及び信頼度のデータ形式の一例を示す模式的な図である。ここでは隣接する部分画像５１ａ及び５１ｂ間のオフセット値及び信頼度が以下のようにして生成される。
【００７８】
オフセット値と信頼度を生成するためには以下の要素が必要となる。
部分画像５１ａ及び５１ｂの識別子
部分画像５１ａ及び５１ｂのＸ軸方向、Ｙ軸方向それぞれのずれ量（オフセット値）
部分画像５１ａ及び５１ｂのずれ量の確からしさ（信頼度）
【００７９】
上記した各要素は例えば次のようにして取得することができる。
左上を原点とし、部分画像５１の大きさを単位元とするＸＹ座標を部分画像５１の識別子とする。図６（Ｂ）には、各部分画像５１の中央に、当該部分画像５１を識別するためのＸＹ座標が図示されている。
隣接する２つの部分画像５１ａ及び５１ｂの相対的なずれ量を符号付き整数で表す（部分画像間の図示されたＸＹ座標）。
パターンマッチ計算の相関値(０以上１以下の実数)を確からしさとする。
【００８０】
上記の考え方をもとに、オフセット値及び信頼度を図７に示すようにテキストデータ３０で表現することが可能となる。図７に示すテキストデータ３０の各行において左から順に並ぶ数字は、それぞれ以下の情報を表している。
【００８１】
（部分画像５１ａのｘ座標）
（部分画像５１ａのｙ座標）
（部分画像５１ｂのｘ座標）
（部分画像５１ｂのｙ座標）
（Ｘ軸方向のずれ）
（Ｙ軸方向のずれ）
（ずれ量の確からしさ）
【００８２】
例えば１行目に示すデータは、図６（Ｂ）に示す座標（０，０）の部分画像５１ａと、座標（１，０）の部分画像５１ｂとの間のオフセット値は（３，−４）であり、その信頼度は０．８９３８４７であることを表している。
【００８３】
このように本実施形態では、オフセット値及び信頼度をテキストデータとして生成することができる。これによりオフセット値及び信頼度を記憶する際の記憶容量を節減することができる。
【００８４】
しかしながら、オフセット値及び信頼度がテキストデータとして生成される場合に限定されるわけではない。例えば複数の部分画像５１が識別子を介して縦及び横に並べられたテーブルが、オフセット値及び信頼度を表すデータとして生成されてもよい。その他、オフセット値及び信頼度を表すデータの形式は適宜設定可能である。
【００８５】
［サーバの動作］
図４に示すように、本実施形態に係る情報処理装置としてのサーバ３００は、制御ＰＣ２００から、複数の部分画像５１と、オフセット値及び信頼度情報のテキストデータ３０を受信する。これらのデータは、サーバ３００の記憶部３０８等に記憶される。そしてサーバ３００により、記憶された各データをもとに、表示領域画像が生成され、ビューア４００に送信される。表示領域画像とは、被写体１の画像としてビューア４００のディスプレイに表示される領域の画像である。
【００８６】
図８は、本実施形態に係るサーバ３００の動作の概要を示す模式的な図である。本実施形態では、判定部として機能するＣＰＵ３０１により、記憶された複数の部分画像５１から、表示領域画像５５を生成するための、１以上の表示用部分画像５６が判定される。
【００８７】
図８に示す例では、表示領域画像５５が生成されるためには、部分画像５１ｃ〜５１ｆが接続されなければならない。従って、当該部分画像５１ｃ〜５１ｆが表示用部分画像５６ｃ〜５６ｆとして判定される。
【００８８】
次に生成部として機能するＣＰＵ３０１により、判定された複数の表示用部分画像５６ｃ〜５６ｆが、記憶部３０８等に記憶されたオフセット値をもとに互い接続される。これにより表示領域画像５５が生成される。すなわち本実施形態では、ビューア４００により表示される領域に応じて適宜表示用部分画像５６が判定されて表示領域画像５５が生成される。
【００８９】
図９は、サーバ３００の動作例を示すフローチャートである。まずビューア４００に表示される表示領域が判定される（ステップ１０１）。そして表示領域の画像５５を生成するための表示用部分画像５６が判定される（ステップ１０２）。
【００９０】
図１０は、表示領域及び表示用部分画像５６の判定処理を説明するための図である。本実施形態では、図１０に示す基準画像５７をもとに、表示領域５８の位置が算出される。基準画像５７は、複数の部分画像５１が接続領域５４で重ね合わされた画像である。この際オフセット値は考慮されず、各部分画像５１が有する接続領域５４がそのまま重ねられる（オフセット値（０，０）での重なりに相当）。
【００９１】
また画像合成処理が実行される必要はなく、基準画像５７における各部分画像５１の位置と、接続領域５４の位置とが取得されればよい。例えば基準画像５７内における表示領域５８のサイズと、中心の座標とが設定される。この際、表示領域５８に含まれる部分画像５１が判定可能であればよい。なお、表示領域５８の中心の座標に限定されず、例えば表示領域５８の左上の座標等が用いられてもよい。
【００９２】
図１０に示す例では、基準画像５７内における表示領域５８のサイズと中心位置の座標とをもとに、当該表示領域５８に含まれる部分画像５１として部分画像５１ｃ〜５１ｆが判定される。この部分画像５１ｃ〜５１ｆが表示用部分画像５６ｃ〜５６ｆとして判定される。
【００９３】
なお表示領域５８は、表示領域画像５５がビューア４００に最初に表示されるときには、デフォルトで設定されていてもよい。そして、ビューア４００の入力部やサーバ３００の入力部３０７により受け付けられた指示により表示領域５８が移動されてもよい。例えばマウス等を用いたドラッグ操作や、コントローラの十字キーを用いた入力により、表示領域５８の座標が変更される。
【００９４】
表示用部分画像５６の数は複数か否かが判定される（ステップ１０３）。図１０に示すように、複数の表示用部分画像５６ｃ〜５６ｆが判定された場合（ステップ１０３のＹｅｓ）、当該複数の表示用部分画像５６ｃ〜５６ｆ間のオフセット値が記憶部３０８等から読み出される（ステップ１０４）。
【００９５】
読み出されたオフセット値をもとに、複数の表示用部分画像５６ｃ〜５６ｆの繋ぎ合わせ位置が決定される（ステップ１０５）。本実施形態では、オフセット値及び当該オフセット値の信頼度をもとに、繋ぎ合わせ位置が決定される。
【００９６】
例えば図１０に示す例では、４枚の表示用部分画像５６ｃ〜５６ｆ間において、４つのオフセット値とその値の信頼度が取得されている。この４つのオフセット値のうち、信頼度の高いものが順に用いられて、繋ぎ合わせ位置が決定される。
【００９７】
例えば最も信頼度が高いオフセット値をもとに、当該オフセット値で接続される２枚の表示用部分画像５６（例えば５６ｃと５６ｄ）が配置される。次に信頼度が高いオフセット値が用いられて３枚目の表示用部分画像５６（例えば５６ｅ）が配置され、最後に４枚目の表示用部分画像５６（例えば５６ｆ）が配置される。
【００９８】
あるいは、２枚の表示用部分画像５６（例えば５６ｃと５６ｄ）が配置された後に、残る２枚の表示用部分画像５６（例えば５６ｅと５６ｆ）が配置される場合もある。そして３番目に信頼度が高いオフセット値が用いられて、４枚の表示用部分画像５６ｃ〜５６ｆが配置されてもよい。
【００９９】
繋ぎ合わせ位置が決定された複数の表示用部分画像５６ｃ〜５６ｆが互いに接続される（ステップ１０６）。そして当該接続された画像５９（図８参照）から、表示領域画像５５が生成される（ステップ１０７）。生成された表示領域画像５５はビューア４００に送信され、当該ビューア４００により表示される（ステップ１０８）。この際、接続画像５９内の表示領域画像５５の画像データが送信されてもよい。あるいは、接続画像５９の画像データが送信されビューア４００で適宜表示領域画像５５が表示されてもよい。この場合、接続画像５９の生成が表示領域画像５５の生成に相当する。
【０１００】
ステップ１０３において、表示用部分画像５６の数が複数ではなく１枚であると判定された場合（ステップ１０３のＮｏ）、当該１枚の表示用部分画像５６をもとに表示領域画像５５が生成される（ステップ１０７）。
【０１０１】
図１１は、表示用部分画像５６の数について説明するための図である。図１１に示す例では、表示領域５８が基準画像５７の中央に位置している。表示領域５８には、中央の部分画像５１ｇと、その上下に隣接する４枚の部分画像５１ｈ〜５１ｋが含まれる。
【０１０２】
一方で、表示領域５８の全体が、中央の部分画像５１ｇに含まれている。このような場合では、中央の部分画像５１ｇにより表示領域画像５５が生成可能であるので、中央の部分画像５１ｇ１枚が表示用部分画像５６として判定されればよい。これにより接続箇所を含まない高精度の表示領域画像５５が生成される。
【０１０３】
このように、表示領域５８に含まれる部分画像５１のうち、一部の部分画像５１で表示領域画像５５が生成可能である場合がある。このような場合では、例えば数が少なくなるように表示用部分画像５６が判定さればよい。これによりスティッチング処理される箇所が少ない高精度の表示領域画像５５が生成される。
【０１０４】
なおオフセット値の信頼度等が低く、少ない数の表示用部分画像５６では高精度の表示領域画像５５が生成されない場合は、表示用部分画像５６の数が増やされてもよい。すなわち接続箇所の数と、オフセット値の信頼度等を総合的に判断して、表示用部分画像５６の数が適宜設定されてよい。そのための設定として、例えば信頼度に閾値を設定する等が考えられる。
【０１０５】
また表示領域５８の位置によって、表示用部分画像５６の数が適宜設定されてもよい。例えば図１１に示す例において、表示領域５８の位置が中央の部分画像５１ｇの縁６０から所定の距離以内であった場合（縁６０から近い場合）、その縁６０を含む接続領域５４を有する隣の部分画像５１も表示用部分画像５６として判定されてもよい。これにより高精度の表示領域画像５５が生成される。
【０１０６】
ユーザの指示等により表示領域５８が変更された場合には、ステップ１０９以下の処理が実行される。ステップ１０９にて表示領域５８が変更されると、変更後の表示領域画像５５を生成するための表示用部分画像５６が判定される（ステップ１１０）。この判定処理は、ステップ１０２と略同様に実行されればよい。
【０１０７】
判定結果としての表示用部分画像５６が変更されたか否かが判定される（ステップ１１１）。例えば表示領域５８の移動等が少ない場合では、変更前の表示領域５８を生成するための表示用部分画像５６の接続画像５９をもとに、変更後の表示領域画像５５を生成することが可能である。このような場合は、表示用部分画像５６の変更はなしと判定され（ステップ１１１のＮｏ）、変更前に生成された接続画像５９をもとに変更後の表示領域画像５５が生成される（ステップ１０７）。
【０１０８】
表示用部分画像５６が変更されたと判定された場合（ステップ１１１のＹｅｓ）、ステップ１０３に戻り、上記で説明した処理が実行される。すなわち変更後の表示用部分画像５６が複数ある場合、それらが適宜接続され表示領域画像５５が生成される。変更後の表示用部分画像５６が１枚の場合は、当該表示用部分画像５６をもとに表示領域画像５５が生成される。
【０１０９】
以上、本実施形態に係る情報処理装置としてのサーバ３００では、複数の部分画像５１と、隣接する２つの部分画像５１ごとに算出されたオフセット値とが記憶される。また上記した表示領域画像５５を生成するための１以上の表示用部分画像５６が判定される。そして複数の表示用部分画像５６が判定された場合に、当該複数の表示用部分画像５６がオフセット値をもとに合成され、表示領域画像５５が生成される。このように被写体１の画像として表示される領域に応じて適宜表示領域画像５５が生成されるので、隣接する部分画像５１間のずれが蓄積してしまうことを十分に抑えることが可能となる。
【０１１０】
図１２では、比較例として挙げる表示領域画像の生成方法を説明するための図である。比較例として挙げる画像生成方法では、制御ＰＣにより複数の部分画像９５１がオフセット値をもとに接続される。そして１枚の巨大画像９５０が生成され、サーバに送信される。サーバでは、表示領域の位置をもとに、巨大画像９５０から表示領域画像を生成しビューアに送信する。
【０１１１】
図１２に示すように、巨大画像９５０が生成される場合には、接続される部分画像９５１間のずれが蓄積されてしまい、最終的に大きなずれが発生してしまう可能性がある。すなわち部分画像９５１はオフセット値をもとに接続されるが、オフセット値を算出するためのマッチング処理等の精度等に起因して、どうしてもずれが発生してしまう可能性がある。このような部分画像９５１間の小さなずれが蓄積されてしまうのである。
【０１１２】
例えば図１２に示すように、左上の部分画像９５１ａを基準として、下側（Ｙ軸方向の正の向き）に複数の部分画像９５１が順次接続される。最も下側に位置する部分画像９５１ｂが接続されると、その部分画像９５１ｂから右側（Ｘ軸方向の正の向き）に複数の部分画像９５１が順次接続される。
【０１１３】
一方、左上の部分画像９５１ａを基準として、右側（Ｘ軸方向の正の向き）に複数の部分画像９５１が順次接続される。最も右側に位置する部分画像９５１ｃが接続されると、その部分画像９５１ｃから下側（Ｙ軸方向の正の向き）に複数の部分画像９５１が順次接続される。
【０１１４】
このように複数の部分画像９５１が接続される場合、部分画像９５１ｂが接続されるルートと、部分画像９５１ｃが接続されるルートとにおいて、それぞれ大きなずれが蓄積されてしまう可能性がある。
【０１１５】
その場合、右下の部分画像９５１ｄが接続されるときに、左側の部分画像９５１に接続されると、上側の部分画像９５１との間に大きなずれ９９０が発生してしまう。一方、右下の部分画像９５１ｄが、上側の部分画像９５１に接続されると、左側の部分画像９５１との間に大きなずれが発生してしまう。
【０１１６】
上記したように、医療等の分野では、２４００枚もの部分画像が接続されることがある。このような場合、小さなずれが蓄積することによるずれは相当なものになる可能性が高い。
【０１１７】
大きなずれが発生すると巨大画像９５０の右下の部分（部分画像９５１ｄが接続される部分）において、被写体が適正に表示されなくなってしまう。そうすると例えば医療等の分野においては誤診等が発生してしまう可能性が高い。
【０１１８】
また巨大画像９５０は複数の部分画像９５１が合成された画像であるので、右下の部分が表示されるときに大きなずれ９９０を適宜修正するということはできない。
【０１１９】
これに対して本実施形態では、表示領域５８の位置に応じて適宜表示用部分画像５６が判定され、表示領域画像５５が適宜生成される。部分画像５１のサイズや、表示領域５８のサイズ等にもよるが、判定される表示用部分画像５６の数は、部分画像５１全体の数と比べて十分に少なくすることができる。典型的な例としては、４枚の表示用部分画像５６で表示領域画像５５が生成可能である。
【０１２０】
従って、部分画像５１間の小さなずれが蓄積して大きなずれが発生してしまうことを防止することができる。この結果、高精度の表示領域画像５５が表示されることになり、例えば誤診等が発生してしまうことを防止することができる。
【０１２１】
また図１２に示す巨大画像９５０が生成されるときには、複数の部分画像９５１がオフセット値をもとに配置され、各部分画像９５１から巨大画像９５０として用いられる領域が切り取られる。そして当該切り取られた領域が連結される。従って１枚の部分画像９５１から表示領域画像が生成可能であるためには、当該切り取られた領域のなかに表示領域が含まれなければならない。
【０１２２】
これに対して本実施形態では、接続領域５４を有する１枚の部分画像５１内に表示領域５８が含まれるのであれば、当該１枚の部分画像５１が表示用部分画像５６として判定され、そこから表示領域画像５５が生成可能である。すなわち、本実施形態では、比較例の画像生成方法と比べて、１つの部分画像５１から生成可能な表示領域画像５５の範囲が大きい。この結果、比較例の画像生成方法では複数の部分画像９５１（切り取られた領域）が接続されることで生成された表示領域画像であっても、１枚の表示用部分画像５６から生成可能な場合がある。これにより、接続箇所のない高精度の表示領域画像５５を多く生成することが可能となる。
【０１２３】
また本実施形態では、図９のステップ１０５及びステップ１０６において、オフセット値の信頼度をもとに複数の表示用部分画像５６が互いに接続される。これにより、高精度の表示領域画像５５を生成することが可能となる。
【０１２４】
例えば図１２に示す巨大画像９５０の生成の際に信頼度が用いられて複数の部分画像９５１が接続される最適な順番が設定される方法も考えられる。しかしながらその方法を実現するためには、各部分画像９５１間の信頼度を全て読み出し、全ての部分画像９５１が接続される最適な順序を算出しなければならない。この結果、サーバのＣＰＵやＲＡＭ等の処理リソースに対する負荷が大きくなってしまい、また処理速度も遅くなってしまう。
【０１２５】
これに対して本実施形態では、接続される表示用部分画像５６の数が少ないので、信頼度を用いた接続処理が容易に可能となる。
【０１２６】
＜第２の実施形態＞
本技術の第２の実施形態に係る情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した画像処理システム５００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【０１２７】
本実施形態に係る情報処理装置としてのサーバは、判定結果としての表示用部分画像が変更される場合に、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像を互いに接続する。すなわち変更後の表示用部分画像が複数であると判定された場合に、変更前の複数の表示用部分画像の接続結果が用いられて、変更後の複数の表示用部分画像が互いに接続される。
【０１２８】
図１３は、そのサーバの動作例を示すフローチャートであり、図９に示すフローチャートのステップ１０３のＹｅｓからステップ１０８までの間に行われる動作を示している。図１４は、図１３に示す動作例を説明するための模式的な図である。
【０１２９】
変更された複数の表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１があるか否かが判定される（ステップ２０１）。例えば図１４（Ａ）に示す位置から、図１４（Ｂ）に示す位置に表示領域５８が変更されたとする。これにともない、表示用部分画像５６として判定される部分画像５１も、部分画像５１ｃ〜５１ｆの４枚から部分画像５１ｄ及び５１ｅの２枚に変更されたとする。
【０１３０】
この際に、変更された表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１があるか否かが判定される。図１４（Ｂ）に示す部分画像５１ｄ及び５１ｅは、元の表示用部分画像５６として互いに接続されている。従ってステップ２０１にてＹｅｓとなり、ステップ２０２に進む。
【０１３１】
ステップ２０２では、当該２つの部分画像５１ｄ及び５１ｅの繋ぎ合せ位置は変更せずに、全ての表示用部分画像５６の繋ぎ合わせ位置が決定される。図１４（Ｂ）に示す例では、部分画像５１ｄ及び５１ｅの繋ぎ合わせ位置が決定される。この際に、図１４（Ａ）に示す表示領域画像５５が生成されたときの繋ぎ合わせ位置が変更されることなく用いられる。すなわち表示領域５８の変更前と変更後において、部分画像５１ｄ及び５１ｅの繋ぎ合わせ位置は変更されない。
【０１３２】
例えば図１４（Ａ）において、表示用部分画像５６である４枚の部分画像５１ｃ〜５１ｆが接続されるときに、部分画像５１ｄ及び５１ｃ間のオフセット値が用いられない場合がある。例えば他の３つのオフセット値をもとに、４枚の部分画像５１ｃ〜５１ｆが配置される場合等がある。
【０１３３】
このような場合において、図１４（Ｂ）に示すように表示用部分画像５６が、部分画像５１ｄ及び５１ｅの２枚に変更される。このときに、部分画像５１ｄ及び５１ｃ間のオフセット値をもとに２枚の部分画像５１ｃ及び５１ｅが接続される。そうすると、表示領域５８の変更前と変更後において、部分画像５１ｄ及び５１ｅの相互の位置関係が変化してしまう可能性がある。
【０１３４】
この結果、例えば図１４（Ａ）から図１４（Ｂ）へ表示領域５８が徐々に変更されたときに、ビューアに表示される表示領域画像５５が急に変化してしまう可能性がある。そうすると、ユーザによる被写体１の観察等に支障が出てしまう可能性がある。
【０１３５】
従って本実施形態では、変更された複数の表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１がある場合は、当該２つの部分画像５１の繋ぎ合わせ位置は変更されないように設定されている。すなわち変更前の複数の表示用部分画像５６の接続結果を用いて、変更後の複数の表示用部分画像５６が互いに接続すされる。これにより上記した問題を防ぐことができ、表示領域５８の移動等を精度よく実行することが可能となる。
【０１３６】
図１４（Ｂ）から図１４（Ｃ）に表示領域５８が変更される場合も同様である。図１４（Ｃ）では、部分画像５１ｄ、５１ｅ、５１ｇ及び５１ｈが表示用部分画像５６として判定されている。このうち、部分画像５１ｄ及び５１ｅについては繋ぎ合わせ位置は変更されない。その他の部分画像５１ｇ及び５１ｈについては、オフセット値や信頼度等をもとに、繋ぎ合わせ位置が適宜算出される。
【０１３７】
図１４（Ａ）に示す位置から、例えば図１１に示すような中央の位置に表示領域５８が移動され、そこから図１４（Ｃ）に示す位置に表示領域５８が移動されたとする。この場合、図１４（Ｃ）に示す４枚の表示用部分画像５６のうち、元の表示用部分画像５６として接続されたものはなくなるので、ステップ２０１のＮｏからステップ２０３へ進む。
【０１３８】
ステップ２０３において、４枚の表示用部分画像５６間の繋ぎ合わせ位置がそれぞれ決定される。この際には、各画像間のオフセット値及び信頼度等をもとに４枚の表示用部分画像５６間の繋ぎ合わせ位置が適宜決定される。
【０１３９】
＜第３の実施形態＞
本技術の第３の実施形態に係る情報処理装置について説明する。
【０１４０】
上記の実施形態では、図９のフローチャートのステップ１０４に示すように、複数の表示用部分画像間のオフセット値が取得された。そして当該オフセット値をもとに表示用部分画像が互いに接続された。
【０１４１】
本実施形態では、表示用部分画像と、表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられて、複数の表示用部分画像が接続される。そして表示領域画像が生成される。
【０１４２】
例えば隣接する２つの表示用部分画像のオフセット値の信頼度が所定の値よりも小さいとする。この場合に、当該２つの表示用部分画像と、これら２つの表示用部分画像に隣接する表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられる。これにより２つの表示用部分画像が互いに接続される。以下、表示用部分画像に隣接する表示用部分画像として判定されていない部分画像を隣接画像と記載する。
【０１４３】
図１５は、本実施形態に係る情報処理装置としてのサーバの動作例を示すフローチャートである。図１６は、図１５に示す動作例を説明するための模式的な図である。
【０１４４】
本例では、図１６に示すような形状を有する被写体５が、６枚の部分画像５１により撮影されている。そしてその略中央にて表示領域５８が設定されている。このような場合に、本実施形態では、以下のようにして表示領域画像５５が生成される。
【０１４５】
表示領域５８に含まれる表示用部分画像５６ａ及び５６ｂのみで、繋ぎ合わせの位置が決定可能か否かが判定される（ステップ３０１）。本実施形態では、表示用部分画像５６ａ及び５６ｂ間のオフセット値の信頼度をもとに当該判定処理が実行される。
【０１４６】
図１６に示すように、表示用部分画像５６ａ及び５６ｂ間には被写体５が存在しないので、画像間のオフセット値の信頼度は低くなっている。本実施形態では、この信頼度は予め定められた閾値よりも小さくなっており、表示用部分画像５６ａ及び５６ｂのみでは繋ぎ合わせ位置が決定できないと判定される（ステップ３０１のＮｏ）。
【０１４７】
なおステップ３０１の判定処理が信頼度をもと実行される場合に限定されない。例えば表示用部分画像５６間に表示される被写体５の有無や、被写体５の表示面積等をもとに判定処理が実行されてもよい。あるいは被写体５の全体形状と、表示用部分画像５６の位置等をもとにステップ３０１の判定処理が実行されてもよい。
【０１４８】
表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置の決定に利用できる隣接画像６１は１組か否かが判定される（ステップ３０２）。隣接画像６１の組とは、互いに隣合う２つの隣接画像６１のことである。図１６に示す例では、隣接画像６１ａ及び６１ｂが組となり、隣接画像６１ｃ及び６１ｄが組となる。
【０１４９】
隣接画像６１の組が、繋ぎ合わせ位置の決定に利用できるかどうかは、表示用部分画像５６ａ及び５６ｂと、各組の隣接画像６１との間のオフセット値の信頼度をもとに判定される。
【０１５０】
図１６に示す例では、表示用部分画像５６ａ及び隣接画像６１ａ間のオフセット値の信頼度、及び表示用部分画像５６ｂ及び隣接画像６１ｂ間のオフセット値の信頼度がともに予め定められた閾値よりも大きくなっている。従って、隣接画像６１ａ及び６１ｂの組は、繋ぎ合わせ位置の決定に利用可能と判定される。
【０１５１】
一方、表示用部分画像５６ａ及び隣接画像６１ｃ間のオフセット値の信頼度、及び表示用部分画像５６ａ及び隣接画像６１ｄ間のオフセット値の信頼度はともに予め定められた閾値よりも小さくなっている。従って、隣接画像６１ｃ及び６１ｄの組は、繋ぎ合わせ位置の決定に利用できないと判定される。
【０１５２】
なおステップ３０２の判定処理も、オフセット値の信頼度をもとにしたものに限定されない。また２枚の隣接画像６１の組に対する閾値の設定方法等も限定されない。
【０１５３】
ステップ３０２のＹｅｓに進み、隣接画像６１ａ及び６１ｂを利用して、表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置が決定される（ステップ３０３）。その方法としては、例えば信頼度の高い順に画像が順次配置される方法等が用いられる。これは表示用部分画像５６ａ及び５６ｂと、隣接画像６１ａ及び６１ｂとの４枚の画像が全て表示用部分画像５６として判定された場合に実行される方法と略等しい。その他、隣接画像６１ａ及び６１ｂを利用する方法としてどのような方法が採用されてもよい。
【０１５４】
例えばステップ３０２において閾値が低く設定されており、隣接画像６１ｃ及び６１ｄも利用可能であると判定されたとする。この場合、ステップ３０２のＮｏに進み、隣接画像６１ａ及び６１ｂと、隣接画像６１ｃ及び６１ｄとの２組の隣接画像６１が利用される。そして表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置が決定される（ステップ３０４）。
【０１５５】
このときに、例えば表示用部分画像５６ａ及び５６ｂと隣接画像６１ａ及び６１ｂとの間の信頼度と、表示用部分画像５６ａ及び５６ｂと隣接画像６１ｃ及び６１ｄとの間の信頼度とが比較される。また隣接画像６１ａ及び６１ｂ間の信頼度と、隣接画像６１ｃ及び６１ｄ間の信頼度とが比較される。
【０１５６】
図１６に示す例では、表示用部分画像５６ａ及び５６ｂと隣接画像６１ａ及び６１ｂとの間の信頼度の方が高く、また隣接画像６１ａ及び６１ｂ間の信頼度の方が高い。この結果を受けて、隣接画像６１ａ及び６１ｂのみが利用されて繋ぎ合わせ位置が決定されてもよい。
【０１５７】
なおステップ３０４において、表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置の決定に利用できる隣接画像６１が１組選択される処理に限定されるわけではない。利用可能と判定された複数組の隣接画像が適宜利用されて、繋ぎ合わせ位置が適宜決定されてよい。
【０１５８】
ステップ３０１にて、表示領域５８に含まれる表示用部分画像５６ａ及び５６ｂのみで、繋ぎ合わせの位置が決定可能であると判定された場合は（ステップ３０１のＹｅｓ）、当該２つの表示用部分画像５６ａ及び５６ｂ間のオフセット値をもとに、繋ぎ合わせ位置が決定されればよい（ステップ３０５）。
【０１５９】
このように、表示用部分画像５６ａ及び５６ｂ間のオフセット値の信頼度が所定の値よりも小さい場合に、２つの表示用部分画像５６ａ及び５６ｂと、隣接画像６１ａ〜６１ｄとのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像５５を生成することが可能となる。
【０１６０】
本実施形態で説明したものに限定されず、表示用部分画像５６ａ及び５６ｂと、表示用部分画像として判定されていない部分画像５１とのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像５５を生成することが可能となる。
【０１６１】
＜第４の実施形態＞
本技術の第４の実施形態に係る情報処理装置について説明する。図１７は、本実施形態に係る情報処理装置としてのサーバ６００の動作の概要を示す模式的な図である。
【０１６２】
本実施形態では、複数の表示用部分画像６５６が互いに接続されて表示領域画像６５５が生成され、ビューア４００により表示される。この際に、ユーザは表示領域画像６５５を目視しながら、隣接する２つの表示用部分画像６５６の相対的な位置を変更する指示を入力することができる。
【０１６３】
ビューア４００が有する入力部等から入力された変更指示は、ビューア４００からサーバ６００に送信され、サーバ６００のＣＰＵ等により受け付けられる。あるいは、サーバ６００が有する入力部から変更指示が入力されてもよい。
【０１６４】
変更指示を受け付けたサーバ６００は、当該変更指示をもとに、複数の表示用部分画像６５６を改めて接続し、新たな表示領域画像６５５を生成する。当該表示領域画像６５５はビューア４００に送信されディスプレイに表示される。
【０１６５】
図１８は、本実施形態に係るサーバ６００の動作例を示すフローチャートである。
【０１６６】
ユーザにより、２つの表示用部分画像６５６間の繋ぎ合わせ位置を変更するモードが選択される（ステップ４０１）。本実施形態では、この繋ぎ合わせ位置が、２つの表示用部分画像６５６間の相対的な位置を表すパラメータとして用いられる。しかしこれに限定されるわけではない。
【０１６７】
サーバ６００により、繋ぎ合わせ位置の変更モード用のＵＩ（User Interface）が送信される。そして当該ＵＩがビューア４００のディスプレイに表示される（ステップ４０２）。そして当該ＵＩをもとに、ユーザより繋ぎ合わせ位置を変更する操作が入力される（ステップ４０３）。この結果、サーバ６００に変更指示が受け付けられる。
【０１６８】
図１９は、繋ぎ合わせ位置の変更モード用のＵＩの一例を示す模式的な図である。図１９（Ａ）に示すＵＩ６１０では、２つの表示用部分画像６５６ａ及び６５６ｂが、それぞれの接続領域６５４及び６５４ｂが半透明合成された状態で表示される。ユーザは、中央部分の半透明画像６１５を目視しながら、表示用部分画像６５６ａ及び６５６ｂの繋ぎ合わせ位置を適宜変更することができる。
【０１６９】
例えば図１９（Ａ）に示すようにビューア４００のディスプレイにポインタ６２０が表示される。当該ポインタ６２０は、マウス等の入力デバイス等を用いて操作することが可能である。ユーザは、ポインタ６２０をいずれか一方の表示用部分画像６５６上に移動させる。そしてそこからドラッグ操作等を実行することで、繋ぎ合わせ位置を変更させる。
【０１７０】
図１９（Ｂ）示すＵＩ６２５では、表示領域画像６５５として使用される領域６３０の連結位置６３１が表示された画像が用いられる。表示領域画像６５５として使用される領域６３０とは、表示用部分画像６５６から切り出された領域である。
【０１７１】
ユーザは、何れかの領域６３０に対してポインタ６２０を用いてドラッグ操作等を実行する。そうすると、領域６３０の枠を示す枠画像６３２がドラッグ操作等に応じて移動する。この枠画像６３２の移動量をもとに、表示用部分画像６５６間の繋ぎ合わせ位置が変更されてもよい。
【０１７２】
その他、繋ぎ合わせ位置の変更モード用のＵＩとしてどのようなものが用いられてもよい。また繋ぎ合わせ位置を変更するための操作等も限定されず、例えばコントローラの十字キー等が適宜用いられ、１ピクセルごとに位置変更が実行されてもよい。
【０１７３】
変更指示を受け付けたサーバ６００により、繋ぎ合わせ位置が改めて決定され（ステップ４０４）、当該繋ぎ合わせ位置にて複数の表示用部分画像６５６が接続される（ステップ４０５）。そして表示領域画像６５５が生成され（ステップ４０６）、ビューア４００に表示される（ステップ４０７）。例えばユーザにより再度繋ぎ合わせ位置の変更指示が入力される際には、ステップ４０１からの処理が再度実行される。
【０１７４】
このように本実施形態では、表示領域画像６５５を目視で確認しながら、２つの表示用部分画像６５６の相対的な位置関係を修正することが可能となる。例えば図１２に示す比較例においては、制御ＰＣにより１枚の巨大画像９５０が生成されるので、後に部分画像９５１の相対的な位置関係を変更することができない。本実施形態では、それが可能である。
【０１７５】
なお変更指示に基づいて、サーバ６００の記憶部等に記憶されたオフセット値が更新されてもよい。すなわち変更結果が新たなオフセット値として記憶されてもよい。この場合、信頼度を示す数値として、ユーザの変更指示により更新された旨を表す所定の数値等が入力されてもよい。
【０１７６】
＜第５の実施形態＞
本技術の第５の実施形態に係る画像処理システムについて説明する。
【０１７７】
本実施形態に係る画像処理システムでは、ビューアに表示された表示領域画像に対して、ズームイン／ズームアウトの操作が可能である。
【０１７８】
図２０は、本実施形態に係る表示領域画像の表示原理を説明するための模式的な図である。図２０に示す画像ピラミッド構造７０は、デジタル顕微鏡により同じ１つの被写体１５から得られる同一の画像について、異なる複数の解像度により生成された画像群である。
【０１７９】
画像ピラミッド構造７０の最下には、最も解像度の大きい（サイズの大きい）画像７１が配置される。最上には、最も解像度の小さい（サイズの小さい）画像７４が配置される。ユーザによりズームイン／ズームアウトの操作が入力された場合は、これら複数の画像７１〜７４が適宜使用される。
【０１８０】
すなわち画像７１〜７４のなかからユーザにより入力された倍率に応じた画像が選択され、当該画像内での表示領域７５８の位置に応じた表示領域画像７５５が生成される。これによりズームイン／ズームアウトの操作が高速で実現される。
【０１８１】
なお本実施形態では、画像７２〜７４は予め被写体１５の全体画像７５として生成される。一方、最も解像度の大きい画像７１は、全体画像としては生成されない。その点について以下に説明する。
【０１８２】
本実施形態に係る画像処理システムでは、上記した各実施形態と同様に、デジタル顕微鏡により複数の部分画像が撮像される。複数の部分画像は制御ＰＣに出力され、制御ＰＣにより部分画像間のオフセット値と信頼度とが算出される。
【０１８３】
また制御ＰＣにより、複数の部分画像が順次接続されて、被写体１５の拡大画像が生成される。この拡大画像が、公知の圧縮技術等により圧縮されて、図２０に示す低解像度の全体画像７５（７２〜７４）が生成される。なお低解像度の全体画像７５の数やそれぞれの解像度は限定されない。
【０１８４】
制御ＰＣからサーバには、複数の部分画像と、オフセット値と、信頼度の情報とが送信される。また低解像度の全体画像７５が送信される。
【０１８５】
サーバにより、最も倍率の大きい表示領域画像７５５が生成される場合には、上記した各実施形態で説明した技術が適宜用いられる。すなわち表示領域７５８の位置に応じて複数の部分画像から表示用部分画像が判定される。そして記憶されたオフセット値及び信頼度をもとに表示用部分画像が適宜接続される。これにより高精度の表示領域画像７５５が生成される。
【０１８６】
サーバにより、低倍率の表示領域画像が生成される場合には、倍率に応じた低解像度の全体画像７５から表示領域画像７５５が適宜生成される。低倍率で表示領域画像７５５が表示される場合には、ずれが問題となる可能性が低い。従って低解像度の全体画像７５が予め生成され、当該全体画像７５により表示領域画像７５５が生成されても、問題が発生する可能性は低いと考えられる。
【０１８７】
このように、高倍率の表示領域画像７５５が表示されるときには、当該表示時に表示領域画像７５５が生成される。低倍率の表示領域画像７５５に関しては予め生成された全体画像７５が適宜用いられる。これにより、ズームイン／ズームアウトの操作が高速で実現される。
【０１８８】
上記した各実施形態に係る技術を、医療や病理等の分野において用いることが可能であることはすでに述べた。しかしながら医療等の分野に限定されず、他の分野においても適用可能である。例えばデジタル顕微鏡を用いて種々の材料等が観察されるときに、上記した技術が用いられてもよい。
【０１８９】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１９０】
図２１は、上記した表示領域及び表示用部分画像の判定処理の変形例について説明するための模式的な図である。
【０１９１】
上記した判定処理では、図１０に示す基準画像５７をもとに、表示領域５８及び表示用部分画像５６が判定された。基準画像５７は、オフセット値を考慮せずに、各接続領域５４が重ね合わされた画像である。
【０１９２】
しかしながら図２１に示すように、複数の部分画像５１がオフセット値をもとに重ね合わされた画像８０をもとに、表示領域５８及び表示用部分画像５６が判定されてもよい。
【０１９３】
またオフセット値をもとに複数の部分画像５１が合成された画像をもとに、判定処理が実行されてもよい。仮にその合成画像において、部分画像５１間のずれが蓄積されていたとしても、表示領域５８及び表示用部分画像５６の判定処理においては、特に問題は発生しないと考えられる。従って複数の部分画像５１がスティッチング処理により合成された合成画像が用いられてもよい。その他、表示領域５８及び表示用部分画像５６の判定方法としてどのようなアルゴリズムが用いられてもよい。
【０１９４】
上記では、制御ＰＣによりオフセット値の信頼度が算出され、当該信頼度をもとにサーバにより表示用部分画像が接続された。しかしながら、信頼度が取得されず、また信頼度が用いられることなく、表示用部分画像が接続されてもよい。この場合、複数の表示用部分画像の接続順序等がデフォルトで設定されていてもよい。
【０１９５】
上記の第５の実施形態にて説明した画像ピラミッド構造７０について、いずれの解像度においても全体画像７５は生成されず、各解像度ごとに複数の部分画像が記憶されてもよい。低解像度の部分画像は、撮影された高解像度の部分画像が圧縮されて生成されればよい。低解像度の表示領域画像７５５が表示される場合には、表示領域７５８に応じた表示用部分画像が適宜判定され、それらが適宜接続される。
【０１９６】
上記では、デジタル顕微鏡１００、制御ＰＣ２００、サーバ３００及びビューア４００をそれぞれ別個のデバイスとして説明した。しかしながらサーバ３００がビューアの機能を兼ね備えてもよい。この場合、例えば図３に示す表示部３０６により表示領域画像が表示されればよい。すなわち、制御ＰＣからビューアに複数の部分画像と、オフセット値と、信頼度情報とが送信され、ビューア内部にて上記した実施形態に係る処理が実行されてもよい。
【０１９７】
あるいは、制御ＰＣ２００により上記した実施形態に係る処理が実行されてもよい。すなわち本実施形態に係る情報処理装置により、複数の部分画像が取得され、かつオフセット値と信頼度情報とが算出されてもよい。さらにデジタル顕微鏡１００、制御ＰＣ２００、サーバ３００が一体的に構成されたものが、本実施形態に係る情報処理装置として用いられてもよい。
【０１９８】
デジタル顕微鏡により得られた被写体の画像に限られず、例えばデジタルカメラ等で撮影された他の種類のデジタル画像についても本技術は適用可能である。
【０１９９】
上記した各実施形態及び変形例を適宜組み合わせたものが、本技術にかかる実施形態と
して採用されてもよい。
【０２００】
なお、本技術は以下のような構成も採ることができる。
【０２０１】
（１）被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
（３）前記（１）又は（２）に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
（５）前記（４）に記載の情報処理装置であって、
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続する
情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【符号の説明】
【０２０２】
１、５、１５…被写体
５１…部分画像
５５、６５５、７５５…表示領域画像
５６、６５６…表示用部分画像
５８、７５８…表示領域
６１…隣接画像
１００…デジタル顕微鏡
２００…制御ＰＣ
３００、６００…サーバ
４００…ビューア
５００…画像処理システム
【技術分野】
【０００１】
本技術は、複数の画像を合成することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、被写体を部分的に撮影することで得た複数の部分画像を１つに合成して被写体画像を生成するスティッチング技術が知られている。スティッチング技術は、例えばパノラマ画像の生成や、顕微鏡を用いた拡大画像の生成等に用いられる。例えば特許文献１には、複数の画像を適切に合成することを目的としたパノラマ画像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の技術等を用いても、スティッチング技術により合成される複数の画像の位置に誤差が生じてしまう可能性がある。すなわち隣接する画像間にずれが生じてしまう可能性がある。例えば多くの画像が合成されて１つの画像が作成される場合、隣接する画像間のずれが蓄積して、最終的に大きなずれが発生してしまう可能性がある。
【０００５】
以上のような事情に鑑み、本技術の目的は、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、記憶部と、判定部と、生成部とを具備する。
前記記憶部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する。
前記判定部は、前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する。
前記生成部は、前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する。
【０００７】
この情報処理装置では、複数の部分画像と、隣接する２つの部分画像ごとに算出された位置ずれ情報とが記憶される。また上記表示領域画像を生成するための１以上の表示用部分画像が判定される。そして複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が位置ずれ情報をもとに合成され、表示領域画像が生成される。このように被写体の画像として表示される領域に応じて適宜表示領域画像が生成されるので、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
【０００８】
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成してもよい。
複数の部分画像は、上記した複数の撮影領域が互いに重なる部分に対応した接続領域をそれぞれ有している。従って、１つの部分画像から生成可能な表示領域画像の範囲が大きい。この結果、高精度の表示領域画像を生成することが可能となる。
【０００９】
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続してもよい。
例えば表示領域の移動等により、複数の表示用部分画像が変更する場合がある。この場合、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像が互いに接続される。これにより、表示領域の移動等を精度よく実行することが可能となる。
【００１０】
前記記憶部は、前記位置ずれ情報の信頼度を記憶してもよい。この場合、前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続してもよい。
このように位置ずれ情報の信頼度をもとに複数の表示用部分画像が互いに接続されてもよい。これにより、高精度の表示領域画像を生成することが可能となる。
【００１１】
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続してもよい。
このように、表示用部分画像間の位置ずれ情報の信頼度が所定の値よりも小さい場合に、２つの表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
【００１２】
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成してもよい。
このように、表示領域画像を生成するために、表示用部分画像と、表示用部分画像として判定されていない部分画像との位置ずれ情報が用いられてもよい。これにより高精度の表示領域画像を生成することが可能となる。
【００１３】
前記情報処理装置は、前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備してもよい。この場合、前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続してもよい。
これにより、例えば表示領域画像を目視で確認しながら、２つの表示用部分画像の相対的な位置関係を修正することが可能となる。
【００１４】
本技術の一形態に係る情報処理方法は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶することを含む。
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像が判定される。
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像が前記記憶された位置ずれ情報をもとに互いに接続され、前記表示領域画像が生成される。
【００１５】
本技術の一形態に係るプログラムは、上記情報処理方法をコンピュータに実行させる。
【発明の効果】
【００１６】
以上のように、本技術によれば、隣接する部分画像間のずれが蓄積してしまうことを抑えることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。
【図２】図１に示すデジタル顕微鏡と制御ＰＣとの構成例を示す模式的な図である。
【図３】第１の実施形態に係る情報処理装置であるサーバのハードウェア構成例を示す模式的な図である。
【図４】図１に示す画像処理システムの動作の概要を示す模式的な図である。
【図５】図１に示す制御ＰＣによる複数の部分画像及びオフセット値の生成処理について説明するための図である。
【図６】図１に示す制御ＰＣによる複数の部分画像及びオフセット値の生成処理について説明するための図である。
【図７】第１の実施形態に係るオフセット値及び信頼度のデータ形式の一例を示す模式的な図である。
【図８】第１の実施形態に係るサーバの動作の概要を示す模式的な図である。
【図９】第１の実施形態に係るサーバの動作例を示すフローチャートである。
【図１０】第１の実施形態に係る表示領域及び表示用部分画像判定処理を説明するための図である。
【図１１】第１の実施形態に係る表示用部分画像の数について説明するための図である。
【図１２】比較例として挙げる表示領域画像の生成方法を説明するための図である。
【図１３】本技術の第２の実施形態に係るサーバの動作例を示すフローチャートである。
【図１４】図１３に示す動作例を説明するための模式的な図である。
【図１５】本技術の第３の実施形態に係る情報処理装置としてのサーバの動作例を示すフローチャートである。
【図１６】図１５に示す動作例を説明するための模式的な図である。
【図１７】本技術の第４の実施形態に係る情報処理装置としてのサーバの動作の概要を示す模式的な図である。
【図１８】第４の実施形態に係るサーバの動作例を示すフローチャートである。
【図１９】第４の実施形態に係る表示用部分画像間の繋ぎ合わせ位置の変更モード用のＵＩの一例を示す模式的な図である。
【図２０】本技術の第５の実施形態に係る画像処理システムの動作の概要を示す模式的な図である。
【図２１】図１０に示す表示領域及び表示用部分画像の判定処理の変形例について説明するための模式的な図である。
【発明を実施するための形態】
【００１８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００１９】
＜第１の実施形態＞
［画像処理システムの構成］
図１は、本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム５００は、デジタル顕微鏡１００と、制御ＰＣ（Personal computer）２００と、サーバ３００と、ビューア４００とを有する。ここでは、サーバ３００が、本実施形態に係る情報処理装置として機能する。
【００２０】
図２は、デジタル顕微鏡１００と制御ＰＣ２００との構成例を示す模式的な図である。
【００２１】
デジタル顕微鏡1００は、ステージ１０１と、光学系１０２と、照明灯１０３と、光源１０４と、光学センサ１０５と、光学センサ制御部１０６と、発光制御部１０７と、ステージ制御部１０８とを有する。
【００２２】
ステージ１０１は、撮影対象である被写体１が載置される載置面１０９を有する。被写体１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）である。しかしこれに限定されるわけではない。
【００２３】
ステージ１０１は、互いに直交する３軸方向に移動自在である。すなわちステージ１０１は、載置面１０９の平面方向において互いに直交するＸ軸方向及びＹ軸方向へ移動自在である。またステージ１０１は、光学系１０２の対物レンズ１０２Ａの光軸に沿ったＺ軸方向へ移動自在である。
【００２４】
被写体１は、スライドガラスＳＧとカバーガラスＣＧとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば被写体１中の特定のターゲットをマーキングするために行われる。
【００２５】
光学系１０２は、ステージ１０１の上方に設けられ、対物レンズ１０２Ａ、結像レンズ１０２Ｂ、ダイクロイックミラー１０２Ｃ、エミッションフィルタ１０２Ｄ及び励起フィルタ１０２Ｅを有する。光源１０４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２６】
対物レンズ１０２Ａ及び結像レンズ１０２Ｂは、上記照明灯１０３により得られた被写体１の像を所定の倍率に拡大し、当該拡大像を光学センサ１０５の撮像面に結像させる。
【００２７】
励起フィルタ１０２Ｅは、光源１０４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０２Ａへ導く。対物レンズ１０２Ａは、当該励起光を被写体１へ集光する。
【００２８】
スライドガラスＳＧに固定された被写体１に蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１０２Ａを介してダイクロイックミラー１０２Ｃを透過し、エミッションフィルタ１０２Ｄを介して結像レンズ１０２Ｂへ到達する。
【００２９】
エミッションフィルタ１０２Ｄは、上記対物レンズ１０２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０２Ｂにより拡大され、光学センサ１０５上に結像される。
【００３０】
照明灯１０３は、ステージ１０１の下方に設けられ、ステージ１０１に設けられた開口（図示せず）を介して、上記載置面１０９に載置された被写体１へ照明光を照射する。
【００３１】
光学センサ１０５としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該光学センサ１０５は、デジタル顕微鏡１００と一体的に設けられていてもよいし、デジタル顕微鏡１００に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３２】
光学センサ制御部１０６は、制御ＰＣ２００からの制御指令に基づいて光学センサ１０５の制御を行う。また、光学センサ制御部１０６は、光学センサ１０５の出力を取り込み、制御ＰＣ２００に転送する。
【００３３】
発光制御部１０７は、制御ＰＣ２００からの制御指令に基づいて照明灯１０３や光源１０４の露光時間や発光強度など、露光に関する制御を行う。
【００３４】
ステージ制御部１０８は、制御ＰＣ２００からの制御指令に基づいてステージ１０１のＸＹＺ軸方向への移動を制御する。
【００３５】
制御ＰＣ２００は、典型的なコンピュータのハードウェア要素を有する装置である。制御ＰＣ２００は、デジタル顕微鏡１００を制御するとともに、デジタル顕微鏡１００によって撮影された被写体１の像を所定のフォーマット形式のデジタル画像データとして保存することができる。
【００３６】
制御ＰＣ２００は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部２０１と、センサ信号現像部２０２と、マッチング処理部２０３と、画像出力部２０４とを有している。これらは制御ＰＣ２００を動作させるプログラムによって実現される。あるいは専用のハードウェアが適宜用いられてもよい。
【００３７】
センサ信号現像部２０２は、光学センサ制御部１０６を通じて光学センサ１０５より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、マッチング処理部２０３に供給される。
【００３８】
本実施形態では、被写体１に対して複数の撮影領域が互いに重なるように撮影されることで、複数の部分画像が生成される。具体的には、複数の部分画像についてのセンサ信号が、センサ信号現像部２０２に出力される。そしてセンサ信号現像部２０２により、複数の部分画像の画像データが生成される。生成された部分画像の画像データはマッチング処理部２０３に供給される。以下、画像という記載が当該画像の画像データを含むものとする。
【００３９】
マッチング処理部２０３は、オフセット値算出部２０５と、信頼度算出部２０６とを有する。オフセット値算出部２０５は、複数の部分画像のうちの隣接する２つの部分画像ごとにオフセット値を算出する。本実施形態では、このオフセット値が、当該隣接する２つの部分画像の相対的な位置ずれ情報として算出される。
【００４０】
信頼度算出部２０６は、２つの部分画像ごとに算出されたオフセット値の信頼度を算出する。
【００４１】
画像出力部２０４は、センサ信号現像部２０２より供給されたデジタル画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＴｉｆｆ（Tagged Image File Format）など、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部３０８等に保存する。
【００４２】
ハードウェア制御部２０１は、デジタル顕微鏡１００における光学センサ制御部１０６、発光制御部１０７、ステージ制御部１０８を制御する。
【００４３】
図３は、本実施形態に係る情報処理装置であるサーバ３００のハードウェア構成例を示す模式的な図である。本実施形態では、サーバ３００としてＰＣ等のコンピュータが用いられる。
【００４４】
サーバ３００は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、入出力インターフェース３０５、及び、これらを互いに接続するバス３０４を備える。
【００４５】
入出力インターフェース３０５には、表示部３０６、入力部３０７、記憶部３０８、通信部３０９、ドライブ部３１０等が接続される。
【００４６】
表示部３０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００４７】
入力部３０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部３０７がタッチパネルを含む場合、そのタッチパネルは表示部３０６と一体となり得る。
【００４８】
記憶部３０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【００４９】
ドライブ部３１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体３１１を駆動することが可能なデバイスである。これに対し上記記憶部３０８は、主にリムーバブルでない記録媒体を駆動する、サーバ３００に予め搭載されたデバイスとして使用される場合が多い。
【００５０】
通信部３０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部３０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部３０９は、サーバ３００とは別体で使用される場合が多い。
【００５１】
上記のようなハードウェア構成を有するサーバ３００による情報処理は、記憶部３０８またはＲＯＭ３０２等に記憶されたソフトウェアと、サーバ３００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ３０１が記憶部３０８またはＲＯＭ３０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ３０３にロードして実行することにより実現される。プログラムは、例えば記録媒体を介してサーバ３００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがインストールされてもよい。
【００５２】
本実施形態では、ＣＰＵ３０１により、判定部、生成部及び指示入力部が実現される。あるいは入出力インターフェース３０５及びＣＰＵ３０１により指示入力部が実現される。しかしながらこれに限定されるわけではない。専用のハードウェアが適宜用いられてもよい。
【００５３】
また記憶部３０８及びＲＯＭ３０２等により、本実施形態に係る記憶部が実現される。この記憶部に複数の部分画像、オフセット値及び信頼度等の情報が記憶される。
【００５４】
ビューア４００は、サーバ３００により生成された各種の画像を閲覧するために用いられる。ビューア４００としては、ディスプレイを有するＰＣ等が用いられる。本実施形態に係るビューア４００は、ユーザが操作することが可能な図示しない入力部を有する。ユーザは、ディスプレイに表示された画像を目視しながら、入力部を用いて種々の操作を入力することが可能である。
【００５５】
本実施形態では、ＬＡＮやＷＡＮ等のネットワークを介して、制御ＰＣ２００、サーバ３００及びビューア４００が接続される。そして例えば画像や各種の情報等が各デバイスの間で送信及び受信される。また、各デバイスの入力部（入力部３０７）に入力されたユーザの操作に応じた指示が各デバイスの間で送信及び受信される。
【００５６】
なお、ＬＡＮ等のネットワークを介さずに制御ＰＣ２００、サーバ３００、及びビューア４００が互いに接続されてもよい。その他それぞれのデバイス間の接続形態は適宜設定可能である。
【００５７】
［画像処理システムの動作］
本実施形態に係る画像処理システム５００の動作を説明する。図４は、本実施形態に係る画像処理システム５００の動作の概要を示す模式的な図である。
【００５８】
制御ＰＣ２００によりデジタル顕微鏡１００が制御され、被写体１に対して複数の撮影領域５０が互いに重なるように撮影されることで複数の部分画像５１が生成される。また制御ＰＣ２００により、複数の部分画像５１のうちの隣接する２つの部分画像５１ごとに、当該隣接する２つの部分画像５１の相対的な位置ずれ情報としてのオフセット値が算出される。
【００５９】
図５及び図６は、制御ＰＣ２００による複数の部分画像５１及びオフセット値の生成処理について説明するための図である。
【００６０】
図５（Ａ）は、ステージ１０１の載置面１０９の被写体１に対する撮影領域５０の移動を示す図である。ステージ１０１の載置面１０９の撮影対象となる全体領域５２は、通常、矩形である。この全体領域５２よりも小さい面積である撮影領域５０が、１回の撮影範囲である。全体領域５２に対して撮影領域５０をＸ軸方向およびＹ軸方向に選択的に移動させ、その都度、撮影領域５０の撮影を繰り返すことによって全体領域５２が撮影される。
【００６１】
ステージ１０１と光学系１０２は相対的にＸＹＺ軸方向に移動可能であればよい。本実施形態では、光学系１０２が固定され、ステージ１０１がＸＹＺ軸方向に移動可能な構成としたが、逆にステージ１０１が固定され、光学系１０２がＸＹＺ軸方向に選択的に移動可能なように構成してもかまわない。
【００６２】
撮影領域５０のサイズと、Ｘ軸方向およびＹ軸方向それぞれの移動量は、Ｘ軸とＹ軸のそれぞれの方向で互いに隣り合う撮影領域５０の間で所定の重なり５３ができるように設定される。例えば、撮影領域５０のＸ軸方向の１回の移動量は、撮影領域５０のＸ軸方向のサイズの６０〜９５％程度である。また、Ｘ軸方向に隣り合う撮影領域５０間の重なり５３のＸ軸方向のサイズは、撮影領域５０のＸ軸方向のサイズの５〜４０％程度である。これらの割合は撮影領域５０のＹ軸方向についても同様でよい。
【００６３】
このように被写体１に対して複数の撮影領域５０が互いに重なるように撮影されることで、図５（Ｂ）に示すように、複数の部分画像５１が生成される。複数の部分画像５１は、撮影領域５０の重なり５３に対応した接続領域５４をそれぞれ有している。
【００６４】
図５に示す例では、９つの撮影領域５０が撮影され、９枚の部分画像５１が生成された。しかしながら、撮影領域５０の数、サイズ、撮影順序、重なり５３のサイズ等は限定されず、適宜設定されてよい。すなわち生成される部分画像５１の数、サイズ等も適宜設定可能である。
【００６５】
例えば医療または病理等の分野において、デジタル顕微鏡により得られた生体の細胞や組織等の拡大画像が、スティッチング技術により生成されることがある。このような場合では、例えばＸ軸方向に４０枚及びＹ軸方向に６０枚並ぶ、合計２４００枚もの部分画像５１が生成される場合もある。
【００６６】
図５（Ｃ）に示すように、制御ＰＣ２００のマッチング処理部２０３により、隣接する２つの部分画像５１ごとにマッチング処理が実行される。これによりオフセット値算出部２０５によりオフセット値が算出される。
【００６７】
例えばステージ１０１の移動誤差や撮影精度の誤差等により、複数の部分画像５１の相対的な位置関係において誤差が生じる場合がある。すなわち、複数の部分画像５１の相対的な位置関係が、図５（Ａ）に示す複数の撮影領域５０の相対的な位置関係と比べてずれてしまう場合がある。
【００６８】
従って図５（Ｃ）に示すように、複数の部分画像５１を適切に接続するためには、複数の部分画像５１の相対的な位置を適宜調整しなければならない。そのために、隣接する２つの部分画像５１の相対的な位置ずれ情報であるオフセット値が算出される。
【００６９】
本実施形態では、隣接する２つの部分画像５１がそれぞれ有する接続領域５４同士でマッチング処理が行われ、その結果をもとにオフセット値が算出される。本実施形態のマッチング処理は、接続領域５４の画素ごとに輝度値が算出され、その輝度値に基づいて相関係数が算出されることで行われる。しかしながら、これに限定されず、接続領域５４の画素ごとに輝度値の差の自乗が算出されることでマッチング処理が行われてもよい。あるいは、接続領域５４の周波数成分が利用されてもよい。その他、画像のパターンマッチングで用いられる各種アルゴリズムが利用可能である。
【００７０】
図６（Ａ）は、算出されたオフセット値をもとに適切な位置関係で接続された２つの部分画像５１ａ及び５１ｂを示す模式的な図である。例えば部分画像５１ａ及び５１ｂの相対的な位置関係にずれが生じていないのであれば、２つの部分画像５１ａ及び５１ｂの各接続領域５４ａ及び５４ｂをそのまま重ね合わせることで、部分画像５１ａ及び５１ｂは適切に接続される。この場合、オフセット値は（０，０）となる。
【００７１】
図６（Ａ）に示す例では、左の部分画像５１ａの接続領域５４ａに対して、左の部分画像５１ｂの接続領域５４ｂが、Ｘ軸方向にａ（pixel）、Ｙ軸方向に−ｂ（pixel）ずらされて重ね合わされる。そして、この位置で２つの部分画像５１ａ及び５１ｂが適切に接続されている。すなわちこの例では、オフセット値として（ａ，−ｂ）が算出されている。
【００７２】
なお本実施形態では、配置される部分画像５１ａ及び５１ｂの左上に位置する点を原点とした座標系が定められる。図６（Ａ）で見て、左から右の向きがＸ座標の正の向きである。また上から下の向きがＹ座標の正の向きである。オフセット値は、この座標系をもとに、符号付の整数で表せされる。しかしながら座標系は適宜設定可能である。
【００７３】
図６（Ｂ）に示すように、本実施形態では、複数の部分画像５１のうちの隣接する２つの部分画像５１ごとにオフセット値（ｘ，ｙ）が算出される。算出されたオフセット値は、複数の部分画像５１とともに、サーバ３００に送信される。
【００７４】
また本実施形態では、信頼度算出部２０６により、２つの部分画像５１ごとに算出されたオフセット値の信頼度が算出される。本実施形態では、マッチング処理において算出された相関係数の値が、信頼度として用いられる。
【００７５】
接続領域５４同士の相関係数が高い場合では、その接続領域５４は高い精度で接続されていると考えられる。従って相関係数が高い値の場合は、算出されたオフセット値の信頼度は高いと判定可能である。一方、相関係数が低い値の場合は、算出されたオフセット値の信頼度は低いと判定可能である。
【００７６】
なお信頼度は、相関係数の値に限定されない。例えば相関係数をもとに新たな数値が算出され、それが信頼度として用いられてもよい。また輝度値の差の自乗や標準偏差等の、マッチング処理に関する他の数値が適宜用いられてもよい。算出された信頼度は、サーバ３００に送信される。
【００７７】
図７は、本実施形態に係るオフセット値及び信頼度のデータ形式の一例を示す模式的な図である。ここでは隣接する部分画像５１ａ及び５１ｂ間のオフセット値及び信頼度が以下のようにして生成される。
【００７８】
オフセット値と信頼度を生成するためには以下の要素が必要となる。
部分画像５１ａ及び５１ｂの識別子
部分画像５１ａ及び５１ｂのＸ軸方向、Ｙ軸方向それぞれのずれ量（オフセット値）
部分画像５１ａ及び５１ｂのずれ量の確からしさ（信頼度）
【００７９】
上記した各要素は例えば次のようにして取得することができる。
左上を原点とし、部分画像５１の大きさを単位元とするＸＹ座標を部分画像５１の識別子とする。図６（Ｂ）には、各部分画像５１の中央に、当該部分画像５１を識別するためのＸＹ座標が図示されている。
隣接する２つの部分画像５１ａ及び５１ｂの相対的なずれ量を符号付き整数で表す（部分画像間の図示されたＸＹ座標）。
パターンマッチ計算の相関値(０以上１以下の実数)を確からしさとする。
【００８０】
上記の考え方をもとに、オフセット値及び信頼度を図７に示すようにテキストデータ３０で表現することが可能となる。図７に示すテキストデータ３０の各行において左から順に並ぶ数字は、それぞれ以下の情報を表している。
【００８１】
（部分画像５１ａのｘ座標）
（部分画像５１ａのｙ座標）
（部分画像５１ｂのｘ座標）
（部分画像５１ｂのｙ座標）
（Ｘ軸方向のずれ）
（Ｙ軸方向のずれ）
（ずれ量の確からしさ）
【００８２】
例えば１行目に示すデータは、図６（Ｂ）に示す座標（０，０）の部分画像５１ａと、座標（１，０）の部分画像５１ｂとの間のオフセット値は（３，−４）であり、その信頼度は０．８９３８４７であることを表している。
【００８３】
このように本実施形態では、オフセット値及び信頼度をテキストデータとして生成することができる。これによりオフセット値及び信頼度を記憶する際の記憶容量を節減することができる。
【００８４】
しかしながら、オフセット値及び信頼度がテキストデータとして生成される場合に限定されるわけではない。例えば複数の部分画像５１が識別子を介して縦及び横に並べられたテーブルが、オフセット値及び信頼度を表すデータとして生成されてもよい。その他、オフセット値及び信頼度を表すデータの形式は適宜設定可能である。
【００８５】
［サーバの動作］
図４に示すように、本実施形態に係る情報処理装置としてのサーバ３００は、制御ＰＣ２００から、複数の部分画像５１と、オフセット値及び信頼度情報のテキストデータ３０を受信する。これらのデータは、サーバ３００の記憶部３０８等に記憶される。そしてサーバ３００により、記憶された各データをもとに、表示領域画像が生成され、ビューア４００に送信される。表示領域画像とは、被写体１の画像としてビューア４００のディスプレイに表示される領域の画像である。
【００８６】
図８は、本実施形態に係るサーバ３００の動作の概要を示す模式的な図である。本実施形態では、判定部として機能するＣＰＵ３０１により、記憶された複数の部分画像５１から、表示領域画像５５を生成するための、１以上の表示用部分画像５６が判定される。
【００８７】
図８に示す例では、表示領域画像５５が生成されるためには、部分画像５１ｃ〜５１ｆが接続されなければならない。従って、当該部分画像５１ｃ〜５１ｆが表示用部分画像５６ｃ〜５６ｆとして判定される。
【００８８】
次に生成部として機能するＣＰＵ３０１により、判定された複数の表示用部分画像５６ｃ〜５６ｆが、記憶部３０８等に記憶されたオフセット値をもとに互い接続される。これにより表示領域画像５５が生成される。すなわち本実施形態では、ビューア４００により表示される領域に応じて適宜表示用部分画像５６が判定されて表示領域画像５５が生成される。
【００８９】
図９は、サーバ３００の動作例を示すフローチャートである。まずビューア４００に表示される表示領域が判定される（ステップ１０１）。そして表示領域の画像５５を生成するための表示用部分画像５６が判定される（ステップ１０２）。
【００９０】
図１０は、表示領域及び表示用部分画像５６の判定処理を説明するための図である。本実施形態では、図１０に示す基準画像５７をもとに、表示領域５８の位置が算出される。基準画像５７は、複数の部分画像５１が接続領域５４で重ね合わされた画像である。この際オフセット値は考慮されず、各部分画像５１が有する接続領域５４がそのまま重ねられる（オフセット値（０，０）での重なりに相当）。
【００９１】
また画像合成処理が実行される必要はなく、基準画像５７における各部分画像５１の位置と、接続領域５４の位置とが取得されればよい。例えば基準画像５７内における表示領域５８のサイズと、中心の座標とが設定される。この際、表示領域５８に含まれる部分画像５１が判定可能であればよい。なお、表示領域５８の中心の座標に限定されず、例えば表示領域５８の左上の座標等が用いられてもよい。
【００９２】
図１０に示す例では、基準画像５７内における表示領域５８のサイズと中心位置の座標とをもとに、当該表示領域５８に含まれる部分画像５１として部分画像５１ｃ〜５１ｆが判定される。この部分画像５１ｃ〜５１ｆが表示用部分画像５６ｃ〜５６ｆとして判定される。
【００９３】
なお表示領域５８は、表示領域画像５５がビューア４００に最初に表示されるときには、デフォルトで設定されていてもよい。そして、ビューア４００の入力部やサーバ３００の入力部３０７により受け付けられた指示により表示領域５８が移動されてもよい。例えばマウス等を用いたドラッグ操作や、コントローラの十字キーを用いた入力により、表示領域５８の座標が変更される。
【００９４】
表示用部分画像５６の数は複数か否かが判定される（ステップ１０３）。図１０に示すように、複数の表示用部分画像５６ｃ〜５６ｆが判定された場合（ステップ１０３のＹｅｓ）、当該複数の表示用部分画像５６ｃ〜５６ｆ間のオフセット値が記憶部３０８等から読み出される（ステップ１０４）。
【００９５】
読み出されたオフセット値をもとに、複数の表示用部分画像５６ｃ〜５６ｆの繋ぎ合わせ位置が決定される（ステップ１０５）。本実施形態では、オフセット値及び当該オフセット値の信頼度をもとに、繋ぎ合わせ位置が決定される。
【００９６】
例えば図１０に示す例では、４枚の表示用部分画像５６ｃ〜５６ｆ間において、４つのオフセット値とその値の信頼度が取得されている。この４つのオフセット値のうち、信頼度の高いものが順に用いられて、繋ぎ合わせ位置が決定される。
【００９７】
例えば最も信頼度が高いオフセット値をもとに、当該オフセット値で接続される２枚の表示用部分画像５６（例えば５６ｃと５６ｄ）が配置される。次に信頼度が高いオフセット値が用いられて３枚目の表示用部分画像５６（例えば５６ｅ）が配置され、最後に４枚目の表示用部分画像５６（例えば５６ｆ）が配置される。
【００９８】
あるいは、２枚の表示用部分画像５６（例えば５６ｃと５６ｄ）が配置された後に、残る２枚の表示用部分画像５６（例えば５６ｅと５６ｆ）が配置される場合もある。そして３番目に信頼度が高いオフセット値が用いられて、４枚の表示用部分画像５６ｃ〜５６ｆが配置されてもよい。
【００９９】
繋ぎ合わせ位置が決定された複数の表示用部分画像５６ｃ〜５６ｆが互いに接続される（ステップ１０６）。そして当該接続された画像５９（図８参照）から、表示領域画像５５が生成される（ステップ１０７）。生成された表示領域画像５５はビューア４００に送信され、当該ビューア４００により表示される（ステップ１０８）。この際、接続画像５９内の表示領域画像５５の画像データが送信されてもよい。あるいは、接続画像５９の画像データが送信されビューア４００で適宜表示領域画像５５が表示されてもよい。この場合、接続画像５９の生成が表示領域画像５５の生成に相当する。
【０１００】
ステップ１０３において、表示用部分画像５６の数が複数ではなく１枚であると判定された場合（ステップ１０３のＮｏ）、当該１枚の表示用部分画像５６をもとに表示領域画像５５が生成される（ステップ１０７）。
【０１０１】
図１１は、表示用部分画像５６の数について説明するための図である。図１１に示す例では、表示領域５８が基準画像５７の中央に位置している。表示領域５８には、中央の部分画像５１ｇと、その上下に隣接する４枚の部分画像５１ｈ〜５１ｋが含まれる。
【０１０２】
一方で、表示領域５８の全体が、中央の部分画像５１ｇに含まれている。このような場合では、中央の部分画像５１ｇにより表示領域画像５５が生成可能であるので、中央の部分画像５１ｇ１枚が表示用部分画像５６として判定されればよい。これにより接続箇所を含まない高精度の表示領域画像５５が生成される。
【０１０３】
このように、表示領域５８に含まれる部分画像５１のうち、一部の部分画像５１で表示領域画像５５が生成可能である場合がある。このような場合では、例えば数が少なくなるように表示用部分画像５６が判定さればよい。これによりスティッチング処理される箇所が少ない高精度の表示領域画像５５が生成される。
【０１０４】
なおオフセット値の信頼度等が低く、少ない数の表示用部分画像５６では高精度の表示領域画像５５が生成されない場合は、表示用部分画像５６の数が増やされてもよい。すなわち接続箇所の数と、オフセット値の信頼度等を総合的に判断して、表示用部分画像５６の数が適宜設定されてよい。そのための設定として、例えば信頼度に閾値を設定する等が考えられる。
【０１０５】
また表示領域５８の位置によって、表示用部分画像５６の数が適宜設定されてもよい。例えば図１１に示す例において、表示領域５８の位置が中央の部分画像５１ｇの縁６０から所定の距離以内であった場合（縁６０から近い場合）、その縁６０を含む接続領域５４を有する隣の部分画像５１も表示用部分画像５６として判定されてもよい。これにより高精度の表示領域画像５５が生成される。
【０１０６】
ユーザの指示等により表示領域５８が変更された場合には、ステップ１０９以下の処理が実行される。ステップ１０９にて表示領域５８が変更されると、変更後の表示領域画像５５を生成するための表示用部分画像５６が判定される（ステップ１１０）。この判定処理は、ステップ１０２と略同様に実行されればよい。
【０１０７】
判定結果としての表示用部分画像５６が変更されたか否かが判定される（ステップ１１１）。例えば表示領域５８の移動等が少ない場合では、変更前の表示領域５８を生成するための表示用部分画像５６の接続画像５９をもとに、変更後の表示領域画像５５を生成することが可能である。このような場合は、表示用部分画像５６の変更はなしと判定され（ステップ１１１のＮｏ）、変更前に生成された接続画像５９をもとに変更後の表示領域画像５５が生成される（ステップ１０７）。
【０１０８】
表示用部分画像５６が変更されたと判定された場合（ステップ１１１のＹｅｓ）、ステップ１０３に戻り、上記で説明した処理が実行される。すなわち変更後の表示用部分画像５６が複数ある場合、それらが適宜接続され表示領域画像５５が生成される。変更後の表示用部分画像５６が１枚の場合は、当該表示用部分画像５６をもとに表示領域画像５５が生成される。
【０１０９】
以上、本実施形態に係る情報処理装置としてのサーバ３００では、複数の部分画像５１と、隣接する２つの部分画像５１ごとに算出されたオフセット値とが記憶される。また上記した表示領域画像５５を生成するための１以上の表示用部分画像５６が判定される。そして複数の表示用部分画像５６が判定された場合に、当該複数の表示用部分画像５６がオフセット値をもとに合成され、表示領域画像５５が生成される。このように被写体１の画像として表示される領域に応じて適宜表示領域画像５５が生成されるので、隣接する部分画像５１間のずれが蓄積してしまうことを十分に抑えることが可能となる。
【０１１０】
図１２では、比較例として挙げる表示領域画像の生成方法を説明するための図である。比較例として挙げる画像生成方法では、制御ＰＣにより複数の部分画像９５１がオフセット値をもとに接続される。そして１枚の巨大画像９５０が生成され、サーバに送信される。サーバでは、表示領域の位置をもとに、巨大画像９５０から表示領域画像を生成しビューアに送信する。
【０１１１】
図１２に示すように、巨大画像９５０が生成される場合には、接続される部分画像９５１間のずれが蓄積されてしまい、最終的に大きなずれが発生してしまう可能性がある。すなわち部分画像９５１はオフセット値をもとに接続されるが、オフセット値を算出するためのマッチング処理等の精度等に起因して、どうしてもずれが発生してしまう可能性がある。このような部分画像９５１間の小さなずれが蓄積されてしまうのである。
【０１１２】
例えば図１２に示すように、左上の部分画像９５１ａを基準として、下側（Ｙ軸方向の正の向き）に複数の部分画像９５１が順次接続される。最も下側に位置する部分画像９５１ｂが接続されると、その部分画像９５１ｂから右側（Ｘ軸方向の正の向き）に複数の部分画像９５１が順次接続される。
【０１１３】
一方、左上の部分画像９５１ａを基準として、右側（Ｘ軸方向の正の向き）に複数の部分画像９５１が順次接続される。最も右側に位置する部分画像９５１ｃが接続されると、その部分画像９５１ｃから下側（Ｙ軸方向の正の向き）に複数の部分画像９５１が順次接続される。
【０１１４】
このように複数の部分画像９５１が接続される場合、部分画像９５１ｂが接続されるルートと、部分画像９５１ｃが接続されるルートとにおいて、それぞれ大きなずれが蓄積されてしまう可能性がある。
【０１１５】
その場合、右下の部分画像９５１ｄが接続されるときに、左側の部分画像９５１に接続されると、上側の部分画像９５１との間に大きなずれ９９０が発生してしまう。一方、右下の部分画像９５１ｄが、上側の部分画像９５１に接続されると、左側の部分画像９５１との間に大きなずれが発生してしまう。
【０１１６】
上記したように、医療等の分野では、２４００枚もの部分画像が接続されることがある。このような場合、小さなずれが蓄積することによるずれは相当なものになる可能性が高い。
【０１１７】
大きなずれが発生すると巨大画像９５０の右下の部分（部分画像９５１ｄが接続される部分）において、被写体が適正に表示されなくなってしまう。そうすると例えば医療等の分野においては誤診等が発生してしまう可能性が高い。
【０１１８】
また巨大画像９５０は複数の部分画像９５１が合成された画像であるので、右下の部分が表示されるときに大きなずれ９９０を適宜修正するということはできない。
【０１１９】
これに対して本実施形態では、表示領域５８の位置に応じて適宜表示用部分画像５６が判定され、表示領域画像５５が適宜生成される。部分画像５１のサイズや、表示領域５８のサイズ等にもよるが、判定される表示用部分画像５６の数は、部分画像５１全体の数と比べて十分に少なくすることができる。典型的な例としては、４枚の表示用部分画像５６で表示領域画像５５が生成可能である。
【０１２０】
従って、部分画像５１間の小さなずれが蓄積して大きなずれが発生してしまうことを防止することができる。この結果、高精度の表示領域画像５５が表示されることになり、例えば誤診等が発生してしまうことを防止することができる。
【０１２１】
また図１２に示す巨大画像９５０が生成されるときには、複数の部分画像９５１がオフセット値をもとに配置され、各部分画像９５１から巨大画像９５０として用いられる領域が切り取られる。そして当該切り取られた領域が連結される。従って１枚の部分画像９５１から表示領域画像が生成可能であるためには、当該切り取られた領域のなかに表示領域が含まれなければならない。
【０１２２】
これに対して本実施形態では、接続領域５４を有する１枚の部分画像５１内に表示領域５８が含まれるのであれば、当該１枚の部分画像５１が表示用部分画像５６として判定され、そこから表示領域画像５５が生成可能である。すなわち、本実施形態では、比較例の画像生成方法と比べて、１つの部分画像５１から生成可能な表示領域画像５５の範囲が大きい。この結果、比較例の画像生成方法では複数の部分画像９５１（切り取られた領域）が接続されることで生成された表示領域画像であっても、１枚の表示用部分画像５６から生成可能な場合がある。これにより、接続箇所のない高精度の表示領域画像５５を多く生成することが可能となる。
【０１２３】
また本実施形態では、図９のステップ１０５及びステップ１０６において、オフセット値の信頼度をもとに複数の表示用部分画像５６が互いに接続される。これにより、高精度の表示領域画像５５を生成することが可能となる。
【０１２４】
例えば図１２に示す巨大画像９５０の生成の際に信頼度が用いられて複数の部分画像９５１が接続される最適な順番が設定される方法も考えられる。しかしながらその方法を実現するためには、各部分画像９５１間の信頼度を全て読み出し、全ての部分画像９５１が接続される最適な順序を算出しなければならない。この結果、サーバのＣＰＵやＲＡＭ等の処理リソースに対する負荷が大きくなってしまい、また処理速度も遅くなってしまう。
【０１２５】
これに対して本実施形態では、接続される表示用部分画像５６の数が少ないので、信頼度を用いた接続処理が容易に可能となる。
【０１２６】
＜第２の実施形態＞
本技術の第２の実施形態に係る情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した画像処理システム５００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【０１２７】
本実施形態に係る情報処理装置としてのサーバは、判定結果としての表示用部分画像が変更される場合に、変更前の複数の表示用部分画像の接続結果を用いて、変更後の複数の表示用部分画像を互いに接続する。すなわち変更後の表示用部分画像が複数であると判定された場合に、変更前の複数の表示用部分画像の接続結果が用いられて、変更後の複数の表示用部分画像が互いに接続される。
【０１２８】
図１３は、そのサーバの動作例を示すフローチャートであり、図９に示すフローチャートのステップ１０３のＹｅｓからステップ１０８までの間に行われる動作を示している。図１４は、図１３に示す動作例を説明するための模式的な図である。
【０１２９】
変更された複数の表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１があるか否かが判定される（ステップ２０１）。例えば図１４（Ａ）に示す位置から、図１４（Ｂ）に示す位置に表示領域５８が変更されたとする。これにともない、表示用部分画像５６として判定される部分画像５１も、部分画像５１ｃ〜５１ｆの４枚から部分画像５１ｄ及び５１ｅの２枚に変更されたとする。
【０１３０】
この際に、変更された表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１があるか否かが判定される。図１４（Ｂ）に示す部分画像５１ｄ及び５１ｅは、元の表示用部分画像５６として互いに接続されている。従ってステップ２０１にてＹｅｓとなり、ステップ２０２に進む。
【０１３１】
ステップ２０２では、当該２つの部分画像５１ｄ及び５１ｅの繋ぎ合せ位置は変更せずに、全ての表示用部分画像５６の繋ぎ合わせ位置が決定される。図１４（Ｂ）に示す例では、部分画像５１ｄ及び５１ｅの繋ぎ合わせ位置が決定される。この際に、図１４（Ａ）に示す表示領域画像５５が生成されたときの繋ぎ合わせ位置が変更されることなく用いられる。すなわち表示領域５８の変更前と変更後において、部分画像５１ｄ及び５１ｅの繋ぎ合わせ位置は変更されない。
【０１３２】
例えば図１４（Ａ）において、表示用部分画像５６である４枚の部分画像５１ｃ〜５１ｆが接続されるときに、部分画像５１ｄ及び５１ｃ間のオフセット値が用いられない場合がある。例えば他の３つのオフセット値をもとに、４枚の部分画像５１ｃ〜５１ｆが配置される場合等がある。
【０１３３】
このような場合において、図１４（Ｂ）に示すように表示用部分画像５６が、部分画像５１ｄ及び５１ｅの２枚に変更される。このときに、部分画像５１ｄ及び５１ｃ間のオフセット値をもとに２枚の部分画像５１ｃ及び５１ｅが接続される。そうすると、表示領域５８の変更前と変更後において、部分画像５１ｄ及び５１ｅの相互の位置関係が変化してしまう可能性がある。
【０１３４】
この結果、例えば図１４（Ａ）から図１４（Ｂ）へ表示領域５８が徐々に変更されたときに、ビューアに表示される表示領域画像５５が急に変化してしまう可能性がある。そうすると、ユーザによる被写体１の観察等に支障が出てしまう可能性がある。
【０１３５】
従って本実施形態では、変更された複数の表示用部分画像５６のなかに、元の表示用部分画像５６として互いに接続された２つの部分画像５１がある場合は、当該２つの部分画像５１の繋ぎ合わせ位置は変更されないように設定されている。すなわち変更前の複数の表示用部分画像５６の接続結果を用いて、変更後の複数の表示用部分画像５６が互いに接続すされる。これにより上記した問題を防ぐことができ、表示領域５８の移動等を精度よく実行することが可能となる。
【０１３６】
図１４（Ｂ）から図１４（Ｃ）に表示領域５８が変更される場合も同様である。図１４（Ｃ）では、部分画像５１ｄ、５１ｅ、５１ｇ及び５１ｈが表示用部分画像５６として判定されている。このうち、部分画像５１ｄ及び５１ｅについては繋ぎ合わせ位置は変更されない。その他の部分画像５１ｇ及び５１ｈについては、オフセット値や信頼度等をもとに、繋ぎ合わせ位置が適宜算出される。
【０１３７】
図１４（Ａ）に示す位置から、例えば図１１に示すような中央の位置に表示領域５８が移動され、そこから図１４（Ｃ）に示す位置に表示領域５８が移動されたとする。この場合、図１４（Ｃ）に示す４枚の表示用部分画像５６のうち、元の表示用部分画像５６として接続されたものはなくなるので、ステップ２０１のＮｏからステップ２０３へ進む。
【０１３８】
ステップ２０３において、４枚の表示用部分画像５６間の繋ぎ合わせ位置がそれぞれ決定される。この際には、各画像間のオフセット値及び信頼度等をもとに４枚の表示用部分画像５６間の繋ぎ合わせ位置が適宜決定される。
【０１３９】
＜第３の実施形態＞
本技術の第３の実施形態に係る情報処理装置について説明する。
【０１４０】
上記の実施形態では、図９のフローチャートのステップ１０４に示すように、複数の表示用部分画像間のオフセット値が取得された。そして当該オフセット値をもとに表示用部分画像が互いに接続された。
【０１４１】
本実施形態では、表示用部分画像と、表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられて、複数の表示用部分画像が接続される。そして表示領域画像が生成される。
【０１４２】
例えば隣接する２つの表示用部分画像のオフセット値の信頼度が所定の値よりも小さいとする。この場合に、当該２つの表示用部分画像と、これら２つの表示用部分画像に隣接する表示用部分画像として判定されていない部分画像とのオフセット値が適宜用いられる。これにより２つの表示用部分画像が互いに接続される。以下、表示用部分画像に隣接する表示用部分画像として判定されていない部分画像を隣接画像と記載する。
【０１４３】
図１５は、本実施形態に係る情報処理装置としてのサーバの動作例を示すフローチャートである。図１６は、図１５に示す動作例を説明するための模式的な図である。
【０１４４】
本例では、図１６に示すような形状を有する被写体５が、６枚の部分画像５１により撮影されている。そしてその略中央にて表示領域５８が設定されている。このような場合に、本実施形態では、以下のようにして表示領域画像５５が生成される。
【０１４５】
表示領域５８に含まれる表示用部分画像５６ａ及び５６ｂのみで、繋ぎ合わせの位置が決定可能か否かが判定される（ステップ３０１）。本実施形態では、表示用部分画像５６ａ及び５６ｂ間のオフセット値の信頼度をもとに当該判定処理が実行される。
【０１４６】
図１６に示すように、表示用部分画像５６ａ及び５６ｂ間には被写体５が存在しないので、画像間のオフセット値の信頼度は低くなっている。本実施形態では、この信頼度は予め定められた閾値よりも小さくなっており、表示用部分画像５６ａ及び５６ｂのみでは繋ぎ合わせ位置が決定できないと判定される（ステップ３０１のＮｏ）。
【０１４７】
なおステップ３０１の判定処理が信頼度をもと実行される場合に限定されない。例えば表示用部分画像５６間に表示される被写体５の有無や、被写体５の表示面積等をもとに判定処理が実行されてもよい。あるいは被写体５の全体形状と、表示用部分画像５６の位置等をもとにステップ３０１の判定処理が実行されてもよい。
【０１４８】
表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置の決定に利用できる隣接画像６１は１組か否かが判定される（ステップ３０２）。隣接画像６１の組とは、互いに隣合う２つの隣接画像６１のことである。図１６に示す例では、隣接画像６１ａ及び６１ｂが組となり、隣接画像６１ｃ及び６１ｄが組となる。
【０１４９】
隣接画像６１の組が、繋ぎ合わせ位置の決定に利用できるかどうかは、表示用部分画像５６ａ及び５６ｂと、各組の隣接画像６１との間のオフセット値の信頼度をもとに判定される。
【０１５０】
図１６に示す例では、表示用部分画像５６ａ及び隣接画像６１ａ間のオフセット値の信頼度、及び表示用部分画像５６ｂ及び隣接画像６１ｂ間のオフセット値の信頼度がともに予め定められた閾値よりも大きくなっている。従って、隣接画像６１ａ及び６１ｂの組は、繋ぎ合わせ位置の決定に利用可能と判定される。
【０１５１】
一方、表示用部分画像５６ａ及び隣接画像６１ｃ間のオフセット値の信頼度、及び表示用部分画像５６ａ及び隣接画像６１ｄ間のオフセット値の信頼度はともに予め定められた閾値よりも小さくなっている。従って、隣接画像６１ｃ及び６１ｄの組は、繋ぎ合わせ位置の決定に利用できないと判定される。
【０１５２】
なおステップ３０２の判定処理も、オフセット値の信頼度をもとにしたものに限定されない。また２枚の隣接画像６１の組に対する閾値の設定方法等も限定されない。
【０１５３】
ステップ３０２のＹｅｓに進み、隣接画像６１ａ及び６１ｂを利用して、表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置が決定される（ステップ３０３）。その方法としては、例えば信頼度の高い順に画像が順次配置される方法等が用いられる。これは表示用部分画像５６ａ及び５６ｂと、隣接画像６１ａ及び６１ｂとの４枚の画像が全て表示用部分画像５６として判定された場合に実行される方法と略等しい。その他、隣接画像６１ａ及び６１ｂを利用する方法としてどのような方法が採用されてもよい。
【０１５４】
例えばステップ３０２において閾値が低く設定されており、隣接画像６１ｃ及び６１ｄも利用可能であると判定されたとする。この場合、ステップ３０２のＮｏに進み、隣接画像６１ａ及び６１ｂと、隣接画像６１ｃ及び６１ｄとの２組の隣接画像６１が利用される。そして表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置が決定される（ステップ３０４）。
【０１５５】
このときに、例えば表示用部分画像５６ａ及び５６ｂと隣接画像６１ａ及び６１ｂとの間の信頼度と、表示用部分画像５６ａ及び５６ｂと隣接画像６１ｃ及び６１ｄとの間の信頼度とが比較される。また隣接画像６１ａ及び６１ｂ間の信頼度と、隣接画像６１ｃ及び６１ｄ間の信頼度とが比較される。
【０１５６】
図１６に示す例では、表示用部分画像５６ａ及び５６ｂと隣接画像６１ａ及び６１ｂとの間の信頼度の方が高く、また隣接画像６１ａ及び６１ｂ間の信頼度の方が高い。この結果を受けて、隣接画像６１ａ及び６１ｂのみが利用されて繋ぎ合わせ位置が決定されてもよい。
【０１５７】
なおステップ３０４において、表示用部分画像５６ａ及び５６ｂ間の繋ぎ合わせ位置の決定に利用できる隣接画像６１が１組選択される処理に限定されるわけではない。利用可能と判定された複数組の隣接画像が適宜利用されて、繋ぎ合わせ位置が適宜決定されてよい。
【０１５８】
ステップ３０１にて、表示領域５８に含まれる表示用部分画像５６ａ及び５６ｂのみで、繋ぎ合わせの位置が決定可能であると判定された場合は（ステップ３０１のＹｅｓ）、当該２つの表示用部分画像５６ａ及び５６ｂ間のオフセット値をもとに、繋ぎ合わせ位置が決定されればよい（ステップ３０５）。
【０１５９】
このように、表示用部分画像５６ａ及び５６ｂ間のオフセット値の信頼度が所定の値よりも小さい場合に、２つの表示用部分画像５６ａ及び５６ｂと、隣接画像６１ａ〜６１ｄとのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像５５を生成することが可能となる。
【０１６０】
本実施形態で説明したものに限定されず、表示用部分画像５６ａ及び５６ｂと、表示用部分画像として判定されていない部分画像５１とのオフセット値が適宜用いられてよい。これにより高精度の表示領域画像５５を生成することが可能となる。
【０１６１】
＜第４の実施形態＞
本技術の第４の実施形態に係る情報処理装置について説明する。図１７は、本実施形態に係る情報処理装置としてのサーバ６００の動作の概要を示す模式的な図である。
【０１６２】
本実施形態では、複数の表示用部分画像６５６が互いに接続されて表示領域画像６５５が生成され、ビューア４００により表示される。この際に、ユーザは表示領域画像６５５を目視しながら、隣接する２つの表示用部分画像６５６の相対的な位置を変更する指示を入力することができる。
【０１６３】
ビューア４００が有する入力部等から入力された変更指示は、ビューア４００からサーバ６００に送信され、サーバ６００のＣＰＵ等により受け付けられる。あるいは、サーバ６００が有する入力部から変更指示が入力されてもよい。
【０１６４】
変更指示を受け付けたサーバ６００は、当該変更指示をもとに、複数の表示用部分画像６５６を改めて接続し、新たな表示領域画像６５５を生成する。当該表示領域画像６５５はビューア４００に送信されディスプレイに表示される。
【０１６５】
図１８は、本実施形態に係るサーバ６００の動作例を示すフローチャートである。
【０１６６】
ユーザにより、２つの表示用部分画像６５６間の繋ぎ合わせ位置を変更するモードが選択される（ステップ４０１）。本実施形態では、この繋ぎ合わせ位置が、２つの表示用部分画像６５６間の相対的な位置を表すパラメータとして用いられる。しかしこれに限定されるわけではない。
【０１６７】
サーバ６００により、繋ぎ合わせ位置の変更モード用のＵＩ（User Interface）が送信される。そして当該ＵＩがビューア４００のディスプレイに表示される（ステップ４０２）。そして当該ＵＩをもとに、ユーザより繋ぎ合わせ位置を変更する操作が入力される（ステップ４０３）。この結果、サーバ６００に変更指示が受け付けられる。
【０１６８】
図１９は、繋ぎ合わせ位置の変更モード用のＵＩの一例を示す模式的な図である。図１９（Ａ）に示すＵＩ６１０では、２つの表示用部分画像６５６ａ及び６５６ｂが、それぞれの接続領域６５４及び６５４ｂが半透明合成された状態で表示される。ユーザは、中央部分の半透明画像６１５を目視しながら、表示用部分画像６５６ａ及び６５６ｂの繋ぎ合わせ位置を適宜変更することができる。
【０１６９】
例えば図１９（Ａ）に示すようにビューア４００のディスプレイにポインタ６２０が表示される。当該ポインタ６２０は、マウス等の入力デバイス等を用いて操作することが可能である。ユーザは、ポインタ６２０をいずれか一方の表示用部分画像６５６上に移動させる。そしてそこからドラッグ操作等を実行することで、繋ぎ合わせ位置を変更させる。
【０１７０】
図１９（Ｂ）示すＵＩ６２５では、表示領域画像６５５として使用される領域６３０の連結位置６３１が表示された画像が用いられる。表示領域画像６５５として使用される領域６３０とは、表示用部分画像６５６から切り出された領域である。
【０１７１】
ユーザは、何れかの領域６３０に対してポインタ６２０を用いてドラッグ操作等を実行する。そうすると、領域６３０の枠を示す枠画像６３２がドラッグ操作等に応じて移動する。この枠画像６３２の移動量をもとに、表示用部分画像６５６間の繋ぎ合わせ位置が変更されてもよい。
【０１７２】
その他、繋ぎ合わせ位置の変更モード用のＵＩとしてどのようなものが用いられてもよい。また繋ぎ合わせ位置を変更するための操作等も限定されず、例えばコントローラの十字キー等が適宜用いられ、１ピクセルごとに位置変更が実行されてもよい。
【０１７３】
変更指示を受け付けたサーバ６００により、繋ぎ合わせ位置が改めて決定され（ステップ４０４）、当該繋ぎ合わせ位置にて複数の表示用部分画像６５６が接続される（ステップ４０５）。そして表示領域画像６５５が生成され（ステップ４０６）、ビューア４００に表示される（ステップ４０７）。例えばユーザにより再度繋ぎ合わせ位置の変更指示が入力される際には、ステップ４０１からの処理が再度実行される。
【０１７４】
このように本実施形態では、表示領域画像６５５を目視で確認しながら、２つの表示用部分画像６５６の相対的な位置関係を修正することが可能となる。例えば図１２に示す比較例においては、制御ＰＣにより１枚の巨大画像９５０が生成されるので、後に部分画像９５１の相対的な位置関係を変更することができない。本実施形態では、それが可能である。
【０１７５】
なお変更指示に基づいて、サーバ６００の記憶部等に記憶されたオフセット値が更新されてもよい。すなわち変更結果が新たなオフセット値として記憶されてもよい。この場合、信頼度を示す数値として、ユーザの変更指示により更新された旨を表す所定の数値等が入力されてもよい。
【０１７６】
＜第５の実施形態＞
本技術の第５の実施形態に係る画像処理システムについて説明する。
【０１７７】
本実施形態に係る画像処理システムでは、ビューアに表示された表示領域画像に対して、ズームイン／ズームアウトの操作が可能である。
【０１７８】
図２０は、本実施形態に係る表示領域画像の表示原理を説明するための模式的な図である。図２０に示す画像ピラミッド構造７０は、デジタル顕微鏡により同じ１つの被写体１５から得られる同一の画像について、異なる複数の解像度により生成された画像群である。
【０１７９】
画像ピラミッド構造７０の最下には、最も解像度の大きい（サイズの大きい）画像７１が配置される。最上には、最も解像度の小さい（サイズの小さい）画像７４が配置される。ユーザによりズームイン／ズームアウトの操作が入力された場合は、これら複数の画像７１〜７４が適宜使用される。
【０１８０】
すなわち画像７１〜７４のなかからユーザにより入力された倍率に応じた画像が選択され、当該画像内での表示領域７５８の位置に応じた表示領域画像７５５が生成される。これによりズームイン／ズームアウトの操作が高速で実現される。
【０１８１】
なお本実施形態では、画像７２〜７４は予め被写体１５の全体画像７５として生成される。一方、最も解像度の大きい画像７１は、全体画像としては生成されない。その点について以下に説明する。
【０１８２】
本実施形態に係る画像処理システムでは、上記した各実施形態と同様に、デジタル顕微鏡により複数の部分画像が撮像される。複数の部分画像は制御ＰＣに出力され、制御ＰＣにより部分画像間のオフセット値と信頼度とが算出される。
【０１８３】
また制御ＰＣにより、複数の部分画像が順次接続されて、被写体１５の拡大画像が生成される。この拡大画像が、公知の圧縮技術等により圧縮されて、図２０に示す低解像度の全体画像７５（７２〜７４）が生成される。なお低解像度の全体画像７５の数やそれぞれの解像度は限定されない。
【０１８４】
制御ＰＣからサーバには、複数の部分画像と、オフセット値と、信頼度の情報とが送信される。また低解像度の全体画像７５が送信される。
【０１８５】
サーバにより、最も倍率の大きい表示領域画像７５５が生成される場合には、上記した各実施形態で説明した技術が適宜用いられる。すなわち表示領域７５８の位置に応じて複数の部分画像から表示用部分画像が判定される。そして記憶されたオフセット値及び信頼度をもとに表示用部分画像が適宜接続される。これにより高精度の表示領域画像７５５が生成される。
【０１８６】
サーバにより、低倍率の表示領域画像が生成される場合には、倍率に応じた低解像度の全体画像７５から表示領域画像７５５が適宜生成される。低倍率で表示領域画像７５５が表示される場合には、ずれが問題となる可能性が低い。従って低解像度の全体画像７５が予め生成され、当該全体画像７５により表示領域画像７５５が生成されても、問題が発生する可能性は低いと考えられる。
【０１８７】
このように、高倍率の表示領域画像７５５が表示されるときには、当該表示時に表示領域画像７５５が生成される。低倍率の表示領域画像７５５に関しては予め生成された全体画像７５が適宜用いられる。これにより、ズームイン／ズームアウトの操作が高速で実現される。
【０１８８】
上記した各実施形態に係る技術を、医療や病理等の分野において用いることが可能であることはすでに述べた。しかしながら医療等の分野に限定されず、他の分野においても適用可能である。例えばデジタル顕微鏡を用いて種々の材料等が観察されるときに、上記した技術が用いられてもよい。
【０１８９】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１９０】
図２１は、上記した表示領域及び表示用部分画像の判定処理の変形例について説明するための模式的な図である。
【０１９１】
上記した判定処理では、図１０に示す基準画像５７をもとに、表示領域５８及び表示用部分画像５６が判定された。基準画像５７は、オフセット値を考慮せずに、各接続領域５４が重ね合わされた画像である。
【０１９２】
しかしながら図２１に示すように、複数の部分画像５１がオフセット値をもとに重ね合わされた画像８０をもとに、表示領域５８及び表示用部分画像５６が判定されてもよい。
【０１９３】
またオフセット値をもとに複数の部分画像５１が合成された画像をもとに、判定処理が実行されてもよい。仮にその合成画像において、部分画像５１間のずれが蓄積されていたとしても、表示領域５８及び表示用部分画像５６の判定処理においては、特に問題は発生しないと考えられる。従って複数の部分画像５１がスティッチング処理により合成された合成画像が用いられてもよい。その他、表示領域５８及び表示用部分画像５６の判定方法としてどのようなアルゴリズムが用いられてもよい。
【０１９４】
上記では、制御ＰＣによりオフセット値の信頼度が算出され、当該信頼度をもとにサーバにより表示用部分画像が接続された。しかしながら、信頼度が取得されず、また信頼度が用いられることなく、表示用部分画像が接続されてもよい。この場合、複数の表示用部分画像の接続順序等がデフォルトで設定されていてもよい。
【０１９５】
上記の第５の実施形態にて説明した画像ピラミッド構造７０について、いずれの解像度においても全体画像７５は生成されず、各解像度ごとに複数の部分画像が記憶されてもよい。低解像度の部分画像は、撮影された高解像度の部分画像が圧縮されて生成されればよい。低解像度の表示領域画像７５５が表示される場合には、表示領域７５８に応じた表示用部分画像が適宜判定され、それらが適宜接続される。
【０１９６】
上記では、デジタル顕微鏡１００、制御ＰＣ２００、サーバ３００及びビューア４００をそれぞれ別個のデバイスとして説明した。しかしながらサーバ３００がビューアの機能を兼ね備えてもよい。この場合、例えば図３に示す表示部３０６により表示領域画像が表示されればよい。すなわち、制御ＰＣからビューアに複数の部分画像と、オフセット値と、信頼度情報とが送信され、ビューア内部にて上記した実施形態に係る処理が実行されてもよい。
【０１９７】
あるいは、制御ＰＣ２００により上記した実施形態に係る処理が実行されてもよい。すなわち本実施形態に係る情報処理装置により、複数の部分画像が取得され、かつオフセット値と信頼度情報とが算出されてもよい。さらにデジタル顕微鏡１００、制御ＰＣ２００、サーバ３００が一体的に構成されたものが、本実施形態に係る情報処理装置として用いられてもよい。
【０１９８】
デジタル顕微鏡により得られた被写体の画像に限られず、例えばデジタルカメラ等で撮影された他の種類のデジタル画像についても本技術は適用可能である。
【０１９９】
上記した各実施形態及び変形例を適宜組み合わせたものが、本技術にかかる実施形態と
して採用されてもよい。
【０２００】
なお、本技術は以下のような構成も採ることができる。
【０２０１】
（１）被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
（３）前記（１）又は（２）に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
（５）前記（４）に記載の情報処理装置であって、
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続する
情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【符号の説明】
【０２０２】
１、５、１５…被写体
５１…部分画像
５５、６５５、７５５…表示領域画像
５６、６５６…表示用部分画像
５８、７５８…表示領域
６１…隣接画像
１００…デジタル顕微鏡
２００…制御ＰＣ
３００、６００…サーバ
４００…ビューア
５００…画像処理システム
【特許請求の範囲】
【請求項１】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続する
情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項８】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
情報処理方法。
【請求項９】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
ことをコンピュータに実行させるプログラム。
【請求項１】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶する記憶部と、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定する判定部と、
前記判定部により複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する生成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記生成部は、前記判定部により１つの表示用部分画像が判定された場合に、当該１つの表示用部分画像をもとに前記表示領域画像を生成する
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記生成部は、前記判定部による判定結果が変更する場合に、変更前の前記複数の表示用部分画像の接続結果を用いて、変更後の前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記記憶部は、前記位置ずれ情報の信頼度を記憶し、
前記生成部は、前記信頼度をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記生成部は、隣接する２つの前記表示用部分画像の位置ずれ情報の信頼度が所定の値よりも小さい場合に、前記２つの表示用部分画像と、前記２つの表示用部分画像に隣接する前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記２つの表示用部分画像を互いに接続する
情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記生成部は、前記表示用部分画像と、前記表示用部分画像として判定されていない前記部分画像との前記位置ずれ情報を用いて、前記表示領域画像を生成する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記複数の表示用部分画像が互いに接続されて生成された前記表示領域画像の、隣接する２つの前記表示用部分画像の相対的な位置を変更する指示を受け付ける指示入力部をさらに具備し、
前記生成部は、前記受け付けられた変更指示をもとに、前記複数の表示用部分画像を互いに接続する
情報処理装置。
【請求項８】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
情報処理方法。
【請求項９】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像と、前記複数の部分画像のうちの隣接する２つの部分画像ごとに算出された、当該隣接する２つの部分画像の相対的な位置ずれ情報とを記憶し、
前記記憶された複数の部分画像から、前記被写体の画像として表示される領域の画像である表示領域画像を生成するための、１以上の表示用部分画像を判定し、
複数の表示用部分画像が判定された場合に、当該複数の表示用部分画像を前記記憶された位置ずれ情報をもとに互いに接続して、前記表示領域画像を生成する
ことをコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図７】
【図９】
【図１２】
【図１３】
【図１５】
【図１７】
【図１８】
【図２０】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１４】
【図１６】
【図１９】
【図２１】
【図２】
【図３】
【図７】
【図９】
【図１２】
【図１３】
【図１５】
【図１７】
【図１８】
【図２０】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１４】
【図１６】
【図１９】
【図２１】
【公開番号】特開２０１３−５８１２４（Ｐ２０１３−５８１２４Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６８１３（Ｐ２０１１−１９６８１３）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]