情報処理装置、情報処理方法、及びプログラム
【課題】例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。
【解決手段】上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、算出部と、生成部と、合成部とを具備する。前記取得部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する。前記算出部は、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する。前記生成部は、前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する。前記合成部は、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する。
【解決手段】上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、算出部と、生成部と、合成部とを具備する。前記取得部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する。前記算出部は、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する。前記生成部は、前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する。前記合成部は、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数の画像を合成して１つの画像を生成することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、被写体を部分的に撮影することで得た複数の部分画像を１つに合成して被写体画像を生成するスティッチング技術が知られている。スティッチング技術は、例えばパノラマ画像の生成や、顕微鏡を用いた拡大画像の生成等に用いられる。例えば特許文献１には、複数の画像を適切に合成することを目的としたパノラマ画像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の技術等を用いても、スティッチング技術により合成される複数の画像の位置に誤差が生じてしまう可能性がある。すなわち複数の画像が適正な位置で合成されず、互いにずれた状態で合成されてしまう可能性がある。そうすると、例えば画像間の境界において被写体が適正に表示されなくなってしまう。
【０００５】
例えば医療または病理等の分野において、光学顕微鏡により得られた生体の細胞や組織等の拡大画像が、スティッチング技術により生成されることがある。この際、画像間の境界に細胞等が位置した場合に、上記した誤差により当該細胞等が適正に表示されない可能性がある。その結果、拡大画像を用いた医師等による診断において誤診が発生してしまう可能性がある。
【０００６】
以上のような事情に鑑み、本技術の目的は、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、算出部と、生成部と、合成部とを具備する。
前記取得部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する。
前記算出部は、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する。
前記生成部は、前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する。
前記合成部は、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する。
【０００８】
この情報処理装置では、複数の部分画像のそれぞれについて使用される領域が判定され、それらが複数の画像領域として算出される。当該複数の画像領域が互いに連結されることで被写体画像が生成される。そして生成された被写体画像における複数の画像領域の連結位置を表す画像が当該被写体画像に合成される。これにより被写体が適正に表示されない可能性のある、複数の画像領域の連結位置を把握することが可能となる。この結果、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能となる。
【０００９】
前記情報処理装置は、前記連結位置での前記被写体の再現性を評価する評価部をさらに具備してもよい。この場合、前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成してもよい。
この情報処理装置では、連結位置での被写体の再現性が評価され、評価された再現性を反映した画像が被写体画像に合成される。これにより上記再現性をもとに被写体画像を適切に観察することが可能となる。
【００１０】
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価してもよい。
このように、互いに連結する２つの画像領域ごとに被写体の再現性が評価されてもよい。これにより被写体画像を適切に観察することが可能となる。
【００１１】
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有してもよい。この場合、前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定してもよい。また、前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価してもよい。
この情報処理装置では、接続領域を基準として複数の部分画像が接続され、その接続結果をもとに被写体画像の生成に使用される領域が判定される。そして接続される複数の部分画像の接続精度をもとに連結位置での前記被写体の再現性が評価される。すなわち本形態では、上記接続処理の結果を被写体の再現性評価に用いることが可能である。
【００１２】
前記情報処理装置は、接続領域画像生成部と、入力部と、出力部とをさらに具備してもよい。
前記接続領域画像生成部は、前記部分画像から前記接続領域の画像を生成する。
前記入力部は、前記連結位置に表示された前記被写体を確認する指示を受け付ける。
前記出力部は、前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する。
この情報処理装置では、部分画像の一部に相当する接続領域画像が生成される。そして連結位置に表示された被写体の確認指示をもとに、当該接続領域画像が出力される。接続領域画像には撮影された被写体がそのまま表示されているので当該被写体を確認することができる。
【００１３】
前記情報処理装置は、記憶部と、入力部と、出力部とをさらに具備してもよい。
前記記憶部は、前記複数の部分画像を記憶する。
前記入力部は、前記連結位置に表示された前記被写体を確認する指示を受け付ける。
前記出力部は、前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する。
このように複数の部分画像が記憶されており、連結位置に表示された被写体の確認指示をもとに部分画像が出力されてもよい。
【００１４】
本技術の一形態に係る情報処理方法は、情報処理装置における情報処理方法である。
当該情報処理方法においては、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像が取得される。
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域が判定され、それらが複数の画像領域として算出される。
前記算出された複数の画像領域が互いに連結されて前記被写体画像が生成される。
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像が前記被写体画像に合成される。
【００１５】
本技術の一形態に係るプログラムは、情報処理装置に、取得ステップと、算出ステップと、生成ステップと、合成ステップとを実行させる。
前記取得ステップでは、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像が取得される。
前記算出ステップでは、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域が判定され、それらが複数の画像領域として算出される。
前記生成ステップでは、前記算出された複数の画像領域が互いに連結されて前記被写体画像が生成される。
前記合成ステップでは、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像が前記被写体画像に合成される。
【発明の効果】
【００１６】
以上のように、本技術によれば、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。
【図２】図１に示すデジタル顕微鏡と情報処理装置との構成例を示す模式的な図である。
【図３】図１に示す情報処理装置のハードウェア構成を示したブロック図である。
【図４】本実施形態に係る情報処理装置の動作の概要を示す模式的な図である。
【図５】本実施形態に係る情報処理装置の動作の概要を示す模式的な図である。
【図６】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図７】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図８】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図９】本実施形態において生成される合成画像の例を示す模式的な図である。
【図１０】本実施形態において生成される合成画像の例を示す模式的な図である。
【図１１】スティッチング処理により発生する可能性がある問題点について説明するための図である。
【図１２】本実施形態に係る複数の画像領域の連結位置での被写体の再現性を反映した合成画像の例を示す模式的な図である。
【図１３】本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１４】本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１５】図１４に示す接続領域画像の他の例を示す模式的な図である。
【図１６】被写体画像、合成画像、及び接続領域画像の表示の切り替えについて説明するための模式的な図である。
【図１７】本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１８】本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１９】図１８に示す部分画像の他の例を示す模式的な図である。
【図２０】連結位置を表す画像の変形例を示す模式的な図である。
【発明を実施するための形態】
【００１８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００１９】
＜第１の実施形態＞
［画像処理システムの構成］
図１は、本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム４００は、デジタル顕微鏡１００と、情報処理装置２００と、ビューア３００とを有する。
【００２０】
図２は、デジタル顕微鏡１００と情報処理装置２００との構成例を示す模式的な図である。
【００２１】
デジタル顕微鏡1００は、ステージ１０１と、光学系１０２と、照明灯１０３と、光源１０４と、光学センサ１０５と、光学センサ制御部１０６と、発光制御部１０７と、ステージ制御部１０８とを有する。
【００２２】
ステージ１０１は、撮影対象である被写体１が載置される載置面１０９を有する。被写体１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）である。しかしこれに限定されるわけではない。
【００２３】
ステージ１０１は、互いに直交する３軸方向に移動自在である。すなわちステージ１０１は、載置面１０９の平面方向において互いに直交するＸ軸方向及びＹ軸方向へ移動自在である。またステージ１０１は、光学系１０２の対物レンズ１０２Ａの光軸に沿ったＺ軸方向へ移動自在である。
【００２４】
被写体１は、スライドガラスＳＧとカバーガラスＣＧとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば被写体１中の特定のターゲットをマーキングするために行われる。
【００２５】
光学系１０２は、ステージ１０１の上方に設けられ、対物レンズ１０２Ａ、結像レンズ１０２Ｂ、ダイクロイックミラー１０２Ｃ、エミッションフィルタ１０２Ｄ及び励起フィルタ１０２Ｅを有する。光源１０４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２６】
対物レンズ１０２Ａ及び結像レンズ１０２Ｂは、上記照明灯１０３により得られた被写体１の像を所定の倍率に拡大し、当該拡大像を光学センサ１０５の撮像面に結像させる。
【００２７】
励起フィルタ１０２Ｅは、光源１０４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０２Ａへ導く。対物レンズ１０２Ａは、当該励起光を被写体１へ集光する。
【００２８】
スライドガラスＳＧに固定された被写体１に蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１０２Ａを介してダイクロイックミラー１０２Ｃを透過し、エミッションフィルタ１０２Ｄを介して結像レンズ１０２Ｂへ到達する。
【００２９】
エミッションフィルタ１０２Ｄは、上記対物レンズ１０２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０２Ｂにより拡大され、光学センサ１０５上に結像される。
【００３０】
照明灯１０３は、ステージ１０１の下方に設けられ、ステージ１０１に設けられた開口（図示せず）を介して、上記載置面１０９に載置された被写体１へ照明光を照射する。
【００３１】
光学センサ１０５としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該光学センサ１０５は、デジタル顕微鏡１００と一体的に設けられていてもよいし、デジタル顕微鏡１００に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３２】
光学センサ制御部１０６は、情報処理装置２００からの制御指令に基づいて光学センサ１０５の制御を行う。また、光学センサ制御部１０６は、光学センサ１０５の出力を取り込み、情報処理装置２００に転送する。
【００３３】
発光制御部１０７は、情報処理装置２００からの制御指令に基づいて照明灯１０３や光源１０４の露光時間や発光強度など、露光に関する制御を行う。
【００３４】
ステージ制御部１０８は、情報処理装置２００からの制御指令に基づいてステージ１０１のＸＹＺ軸方向への移動を制御する。
【００３５】
情報処理装置２００は、例えば、典型的なコンピュータのハードウェア要素を有する装置であり、例えば、ＰＣ（Personal computer）であってもよい。情報処理装置２００は、デジタル顕微鏡１００を制御するとともに、デジタル顕微鏡１００によって撮影された被写体１の像を所定のフォーマット形式のデジタル画像データとして保存することができる。
【００３６】
情報処理装置２００は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部２０１と、センサ信号現像部２０２と、スティッチング処理部２０３と、連結位置画像生成部２０４と、画像合成部２０５と、再現性評価部２０６と、画像出力部２０７とを有している。これらは情報処理装置２００を動作させるプログラムによって実現される。あるいは専用のハードウェアが適宜用いられてもよい。
【００３７】
センサ信号現像部２０２は、光学センサ制御部１０６を通じて光学センサ１０５より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、スティッチング処理部２０３に供給される。
【００３８】
本実施形態では、後述するように、被写体１に対して複数の撮影領域が互いに重なるように撮影されることで、複数の部分画像が生成される。具体的には、複数の部分画像についてのセンサ信号が、センサ信号現像部２０２に出力される。そしてセンサ信号現像部２０２により、複数の部分画像の画像データが生成される。生成された部分画像の画像データはスティッチング処理部２０３に供給される。以下、画像という記載が当該画像の画像データを含むものとする。本実施形態では、センサ信号現像部２０２が取得部として機能する。
【００３９】
スティッチング処理部２０３は、使用画像領域判定部２０８と、画像領域連結部２０９とを有する。使用画像領域判定部２０８により、取得された複数の部分画像のそれぞれについて、被写体１の画像を生成するために使用される領域が判定される。そしてそれらが複数の画像領域として算出される。本実施形態では、使用画像領域判定部２０８が算出部として機能する。
【００４０】
画像領域連結部２０９は、使用画像領域判定部２０８により算出された複数の画像領域を互いに連結して被写体画像を生成する。本実施形態では、画像領域連結部２０９が生成部として機能する。
【００４１】
連結位置画像生成部２０４は、画像領域連結部２０９から、複数の画像領域の連結位置の情報を取得する。そして当該連結位置情報をもとに、複数の画像領域の連結位置を表す画像である連結位置画像を生成する。
【００４２】
画像合成部２０５は、連結位置画像生成部２０４により生成された連結位置画像を、画像領域連結部２０９により生成された被写体画像に合成する。本実施形態では、画像合成部２０５が合成部として機能する。
【００４３】
画像出力部２０７は、センサ信号現像部２０２より供給されたデジタル画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＴｉｆｆ（Tagged Image File Format）など、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部２１７等に保存する。
【００４４】
ハードウェア制御部２０１は、デジタル顕微鏡１００における光学センサ制御部１０６、発光制御部１０７、ステージ制御部１０８を制御する。
【００４５】
ビューア３００は、情報処理装置２００により生成された各種の画像を閲覧するために用いられる。ビューア３００は、情報処理装置２００から画像ファイルを受信する。そして画像ファイルからデジタル画像データを復元して、図示しないディスプレイに画像を表示する。
【００４６】
ビューア３００は例えばＰＣ等であり、ＬＡＮ（Local Area Network）またはＷＡＮ（Wide Area Network）等のネットワークを介して情報処理装置２００と接続される。しかしながらビューア３００として用いられるデバイスや、情報処理装置２００との接続方法等は限定されず、種々のものが用いられてよい。
【００４７】
図３は、情報処理装置２００のハードウェア構成を示したブロック図である。
【００４８】
同図に示すように、情報処理装置２００は、ＣＰＵ（Central Processing Unit）２１０、ＲＯＭ（Read Only Memory）２１１、ＲＡＭ（Random Access Memory）２１２、操作入力インタフェース部２１３、表示インタフェース部２１４、顕微鏡インタフェース部２１５、通信部２１６、記憶部２１７、これらを接続するバス２１８とを備える。
【００４９】
ＲＯＭ２１１は、情報処理装置２００を動作させるためのプログラムやデータが固定的に記憶される。ＲＡＭ２１２は、ＣＰＵ２１０のメインメモリとして用いられる。記憶部２１７は例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の読み書きが可能な記憶装置である。また記憶部２１７は、撮影された画像データの保存領域として用いられる他、ＲＡＭ２１２にロードされてＣＰＵ２１０により実行されるプログラムが格納される。
【００５０】
プログラムは、例えば記録媒体を介して情報処理装置２００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがインストールされてもよい。
【００５１】
操作入力インタフェース部２１３は、キーボード、マウス、タッチパネルなどのユーザの操作入力装置２３０との接続のためのインタフェースである。表示インタフェース部２１４は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどの表示装置２４０との接続のためのインタフェースである。顕微鏡インタフェース部２１５はデジタル顕微鏡１００との接続のためのインタフェースである。
【００５２】
通信部２１６は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２１６は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２１６が、情報処理装置２００と別体で使用されてもよい。
【００５３】
［情報処理装置の動作］
図４及び図５は、本実施形態に係る情報処理装置２００の動作の概要を示す模式的な図である。
【００５４】
図４に示すように、デジタル顕微鏡１００からのセンサ信号をもとに被写体１の複数の部分画像５０が取得される。スティッチング処理部２０３により複数の部分画像５０が合成されて被写体画像５１が生成される。
【００５５】
また連結位置画像生成部２０４により、連結位置情報をもとに連結位置画像５２が生成される。そして画像合成部２０５により、連結位置画像５２が被写体画像５１に合成されて、合成画像５３が生成される。被写体画像５１及び合成画像５３はビューア３００に出力される。
【００５６】
例えば図５に示すように、被写体画像５１及び合成画像５３は、ユーザの表示切り替え操作によりディスプレイに切り替え表示される。あるいは、両方の画像がディスプレイに同時に表示されてもよい。連結位置画像５２が合成された合成画像５３が表示されることで、例えば医療分野の診断等において、被写体画像５１を有効に利用することが可能となる。
【００５７】
以下、情報処理装置２００の動作について詳しく説明する。図６〜図８は、本実施形態に係るスティッチング処理を説明するための模式的な図である。
【００５８】
図６（Ａ）は、ステージ１０１の載置面１０９の被写体１に対する撮影領域５４の移動を示す図である。ステージ１０１の載置面１０９の撮影対象となる全体領域５５は、通常、矩形である。この全体領域５５よりも小さい面積である撮影領域５４が、１回の撮影範囲である。全体領域５５に対して撮影領域５４をＸ軸方向およびＹ軸方向に選択的に移動させ、その都度、撮影領域５４の撮影を繰り返すことによって全体領域５５が撮影される。
【００５９】
ステージ１０１と光学系１０２は相対的にＸＹＺ軸方向に移動可能であればよい。本実施形態では、光学系１０２が固定され、ステージ１０１がＸＹＺ軸方向に移動可能な構成としたが、逆にステージ１０１が固定され、光学系１０２がＸＹＺ軸方向に選択的に移動可能なように構成してもかまわない。
【００６０】
撮影領域５４のサイズと、Ｘ軸方向およびＹ軸方向それぞれの移動量は、Ｘ軸とＹ軸のそれぞれの方向で互いに隣り合う撮影領域５４の間で所定の重なり５６ができるように設定される。例えば、撮影領域５４のＸ軸方向の１回の移動量は、撮影領域５４のＸ軸方向のサイズの６０〜９５％程度である。また、Ｘ軸方向に隣り合う撮影領域５４間の重なり５６のＸ軸方向のサイズは、撮影領域５４のＸ軸方向のサイズの５〜２０％程度である。これらの割合は撮影領域５４のＹ軸方向についても同様でよい。
【００６１】
撮影領域５４の数、サイズ、撮影順序、重なり５６のサイズ等は限定されず、適宜設定されてよい。
【００６２】
このように被写体１に対して複数の撮影領域５４が互いに重なるように撮影されることで、図６（Ｂ）に示すように、複数の部分画像５０が生成される。複数の部分画像５０は、それぞれ接続領域５７を有している。この接続領域５７は、撮影された撮影領域５４の互いに重なる部分である重なり５６に対応した領域である。
【００６３】
図７（Ａ）に示すように、情報処理装置２００の使用画像領域判定部２０８により、複数の部分画像５０が接続される。ここでいう複数の部分画像５０の接続とは、複数の部分画像５０を適切な位置関係で並べるこという。例えば複数の部分画像５０が適切に接続される位置が座標値等により算出される。
【００６４】
例えばステージ１０１の移動誤差や撮影精度の誤差等により、複数の部分画像５０の相対的な位置関係において誤差が生じる場合がある。すなわち、複数の部分画像５０の相対的な位置関係が、図６（Ａ）に示す複数の撮影領域５４の相対的な位置関係と比べてずれてしまう場合がある。従って、本実施形態では、部分画像５０がそれぞれ有する接続領域５７を基準として、複数の部分画像５０が互いに接続される。
【００６５】
本実施形態では、部分画像５０の接続領域５７同士でマッチング処理が行われ、最適な接続位置が判定される。マッチング処理は、例えば接続領域５７の画素ごとに輝度値が算出され、その輝度値に基づいて相関係数が算出されることで行われる。または、接続領域５７の画素ごとに輝度値の差の自乗が算出されることでマッチング処理が行われてもよい。あるいは、接続領域５７の周波数成分が利用されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
【００６６】
複数の部分画像５０が最適な接続位置で互いに接続されると、図７（Ｂ）に示すように、被写体画像５１を生成するために使用される領域が判定され、それらが複数の画像領域５８として算出される。図８（Ａ）に示すように、本実施形態では、複数の部分画像５０のそれぞれについて画像領域５８が算出される。
【００６７】
画像領域５８は、被写体画像５１を構成する部分として使用される領域である。すなわち画像領域５８内の画素（画像情報）が被写体画像５１を構成する画素（画素情報）として使用される。
【００６８】
本実施形態では、図６（Ａ）において複数の撮影領域５４が撮影される前に、複数の画像領域５８に対応する領域（図示なし）が予め定められる。この領域を基準として複数の撮影領域５４の位置やサイズが設定される。そして図７（Ａ）において複数の部分画像５０が適切な位置にて接続されたのちに、先に定められた領域を基準として画像領域５８が算出される。これにより画像領域５８の判定処理を少ない負荷で実行することができる。
【００６９】
しかしながら、複数の部分画像５０が接続された後に、当該接続結果をもとに複数の画像領域５８が適宜算出されてもよい。例えば互いに異なる形状やサイズを有する複数の画像領域５８が算出されてもよい。
【００７０】
図８（Ｂ）に示すように、画像領域連結部２０９により、算出された複数の画像領域５８が互いに連結されることで被写体画像５１が生成される。図８（Ｂ）では、説明の便宜上、複数の画像領域５８の境界である連結位置Ｃが２点鎖線で示されている。しかしながら、実際に表示される被写体画像５１において、この連結位置Ｃは表示されない。
【００７１】
この２点鎖線で区切られた左上の領域５８ａでは、図８（Ａ）の部分画像５０ａの画素が用いられ、右上の領域５８ｂでは、部分画像５０ｂの画素が用いられる。また右下の領域５８ｃでは、部分画像５０ｃの画素が用いられ、左下の領域５８ｄでは、部分画像５０ｄの画素が用いられる。すなわち２点差線で示された連結位置Ｃを挟んで、異なる部分画像５０の画素が並ぶことになる。
【００７２】
連結位置画像生成部２０４により、複数の画像領域５８の連結位置Ｃの情報をもとに、連結位置画像５２が生成される。連結位置Ｃの情報しては、例えば各画像領域５８において連結位置Ｃに沿って並ぶ複数の連結画素の座標情報が用いられる。例えば図８（Ｂ）に示す被写体画像５１の左上の点Ｏを基準とした座標系が定められる。当該座標系において、連結画素の座標値が定められる。
【００７３】
連結位置Ｃの情報として、画像領域５８のサイズ情報が用いられてもよい。また複数の連結画素の一部が代表として選択され、当該連結画素の座標情報が連結位置Ｃの情報として用いられてもよい。その他、連結位置Ｃを検出するための情報として、どのような情報が用いられてもよい。
【００７４】
画像合成部２０５により、連結位置画像５２と被写体画像５１とが合成され、合成画像５３が生成される。図９及び図１０は、合成画像５３の例を示す模式的な図である。なお、図９及び図１０では、６つの画像領域５８が連結されることで被写体画像５１が生成されている。
【００７５】
図９（Ａ）では、各画像領域５８の連結画素において、例えば赤や黄や蛍光色等の色が表示される。すなわち、この合成画像５３では、色が付された線７０が連結位置Ｃに沿って表示される。これによりユーザは、複数の画像領域５８の連結位置Ｃを把握することが可能である。
【００７６】
図９（Ｂ）では、連結位置画像５２として、連結位置Ｃを含む領域である連結領域７１が表示される。連結領域７１の全体には、色等が付される。あるいは、連結領域７１が半透明に表示されてもよい。本実施形態では、連結領域７１は、連結位置Ｃを中心とした領域である。しかしながら、連結領域７１のサイズや形状等は適宜設定可能である。このように連結位置Ｃを含む連結領域７１が、連結位置画像５２として表示されてもよい。
【００７７】
連結位置Ｃを表す連結位置画像５２として、連結位置Ｃを詳細に把握できる画像（例えば図９（Ａ）の線７０）が表示されてもよい。あるいは、連結位置Ｃが含まれている範囲を把握できる画像（例えば図９（Ｂ）の連結領域７１）が表示されてもよい。
【００７８】
図１０（Ａ）では、連結位置Ｃから例えば５画素目に位置する画素において色等が表示される。すなわちこの合成画像５３では、連結位置画像５２として、連結位置Ｃを挟む２つの線７３が表示される（連結位置Ｃを示す２点鎖線は表示されない）。これによりユーザは、当該２つの線７３の中心が連結位置Ｃであることを把握することができる。また連結位置Ｃにおいて被写体１を十分に観察することができる。
【００７９】
図１０（Ｂ）では、連結位置画像５２として、連結位置Ｃを示す矢印７４が表示される（連結位置Ｃを示す２点鎖線は表示されない）。このように連結位置Ｃを示すために。矢印やアイコン等のＧＵＩ（Graphical User Interface）が適宜表示されてよい。そのようなＧＵＩの、数、形状、色等は限定されない。またユーザが画面をスクロールするのに合わせて、矢印７４等が適宜移動してもよい。これにより連結位置Ｃにおいて被写体１を十分に観察することができる。
【００８０】
図９及び図１０に示す連結位置画像５２が適宜組み合わされてもよい。その他、連結位置画像５２として種々の画像が利用可能である。
【００８１】
このように、本実施形態に係る情報処理装置２００では、複数の部分画像５０のそれぞれについて使用される領域が判定され、それらが複数の画像領域５８として算出される。当該複数の画像領域５８が互いに連結されることで被写体画像５１が生成される。そして生成された被写体画像５１における複数の画像領域５８の連結位置Ｃを表す連結位置画像５２が当該被写体画像５１に合成される。これにより図９及び図１０で例示したような合成画像５３が生成される。従って、被写体１が適正に表示されない可能性のある、複数の画像領域５８の連結位置Ｃを把握することが可能となる。この結果、例えば医療分野の診断等において、複数の部分画像５０が合成されて得られる被写体画像５１を有効に利用することが可能となる。
【００８２】
ここで図１１を用いて、スティッチング処理により発生する可能性がある問題点について説明する。例えば図１１（Ａ）に示すように、接続される部分画像５０Ａ及び５０Ｂに、細胞の蛍光画像８０と、核の蛍光画像８１とが表示されているとする。図１１（Ｂ）に示すように、接続領域５７Ａ及び５７Ｂにおいてマッチング処理が実行される。そして部分画像５０Ａ及び５０Ｂのそれぞれにおいて画像領域５８Ａ及び５８Ｂが算出される。図１１（Ｂ）の２点鎖線の左側が部分画像５０Ａの画像領域５８Ａとなり、２点鎖線の右側が部分画像５０Ｂの画像領域５８Ｂとなる。
【００８３】
この際、マッチング処理の精度が低く、画像領域５８Ａ及び５８Ｂが適切に算出されない場合が起こりうる。そうすると画像領域５８Ａ及び５８Ｂを連結した結果、図１１（Ｃ）のような、核の蛍光画像８１が一部消失した被写体画像５１が生成されてしまう可能性ある。また１つしかない核が２つ表示されてしまうといったことも起こりうる。そうすると例えば医療分野の診断において誤診が生じてしまう可能性がある。また例えば細胞の培養実験における観察等において問題が生じてしまうといったことも起こりうる。
【００８４】
しかしながら本実施形態に係る情報処理装置２００では、図１１（Ｄ）に示すように、画像領域５８Ａ及び５８Ｂの連結位置Ｃを表す連結位置画像５２が被写体画像５１に合成される。そして合成画像５３が生成される。これにより医師等は、画像領域５８Ａ及び５８Ｂの連結位置Ｃを把握することが可能となる。
【００８５】
この結果、医師等は蛍光画像８０及び８１を慎重に観察して診断することが可能となる。すなわち連結位置Ｃに表示されている蛍光画像８０及び８１の形状等は、連結処理の影響を受けているか否か等を十分に考察しながら診断を行うことが可能となる。例えば蛍光画像８０及び８１の形状等が普通ではない場合において、それが細胞等の異常であるのか、連結処理による異常であるのかを十分に考察することができる。これにより、連結位置Ｃにて適正に表示されない被写体に起因した誤診等を防止することが可能となる。すなわちスティッチング処理により生成された被写体画像５１を有効に利用することが可能となる。
【００８６】
図１２は、複数の画像領域５８の連結位置Ｃでの被写体１の再現性を反映した画像５９が、被写体画像５１に合成された例を示す模式的な図である。本実施形態では、ユーザの表示切り替え操作により、このような合成画像６０も表示可能である。
【００８７】
図２に示す再現性評価部２０６により、連結位置Ｃでの被写体１の再現性が反映される。本実施形態では、複数の画像領域５８のうち互いに連結する２つの画像領域５８ごとに、当該２つの画像領域５８の連結位置Ｃ1〜Ｃ12での被写体１の再現性が評価される。図１２では、９つの画像領域５８が連結されており、互いに連結する２つの画像領域５８ごとの連結位置Ｃ1〜Ｃ12は１２箇所ある。この１２箇所の連結位置Ｃ1〜Ｃ12のそれぞれにおいて、被写体１の再現性が評価される。
【００８８】
本実施形態では、図７（Ａ）にて説明した複数の部分画像５０が接続されるときの接続精度をもとに、連結位置Ｃ1〜Ｃ12での被写体の再現性が評価される。すなわち複数の部分画像５０がそれぞれ有する接続領域５７のマッチング処理の結果が、再現性の評価に用いられる。
【００８９】
マッチング処理での接続領域５７の接続精度が高い場合には、部分画像５０において判定される画像領域５８の判定精度、及び当該画像領域５８の連結精度は高くなると考えられる。従って接続領域５７の接続精度をもとに、再現性の評価を行うことが可能となる。
【００９０】
図１２（Ａ）では、再現性の評価を反映した画像５９として、それぞれの連結位置Ｃ1〜Ｃ12にて数値が表示されている。この数値は、マッチング処理された接続領域５７の相関係数の値を示している。
【００９１】
なお相関係数をもとに新たな数値が算出され、それが再現性を表すパラメータとして表示されてもよい。また輝度値の差の自乗や標準偏差等の、マッチング処理に関する他の数値が適宜用いられてもよい。
【００９２】
図１２（Ｂ）では、連結位置Ｃを表す線７０が色を区別して表示されている。図１２（Ｂ）に示すように、２点鎖線は赤を表しており、１点鎖線は黄を表している。また破線は青を表している。
【００９３】
このように被写体１の再現性の評価を反映して、連結位置Ｃを表す線７０が適宜色分けされてもよい。この色明けされた線７０は、連結位置画像としても表示され、また再現性の評価を反映した画像５９としても表示される。例えば図９（Ｂ）に示す連結領域７１や、図１０（Ｂ）に示す矢印７４等が、適宜色を分けて表示されてもよい。
【００９４】
このように、本実施形態に係る情報処理装置２００では、連結位置Ｃ（Ｃ1〜Ｃ12）での被写体１の再現性が評価され、評価された再現性を反映した画像５９又は７０が被写体画像５１に合成される。これにより上記再現性をもとに被写体画像５１を適切に観察することが可能となる。また本実施形態では、複数の部分画像５０の接続処理の結果を再現性評価に用いることが可能である。これにより再現性評価処理を少ない負荷で実行することが可能である。
【００９５】
なお本実施形態では、互いに連結する２つの画像領域５８ごとに被写体の再現性が評価された。しかしながら、連結位置Ｃ全体における被写体の再現性が評価されてもよい。すなわち被写体画像５１ごとに連結精度が評価されてもよい。これにより評価の処理にかかる負荷を少なくすることができる。
【００９６】
連結位置Ｃにおける被写体１の再現性を評価するために、上記で説明したマッチング処理の結果を利用する方法以外の方法が用いられてもよい。例えば被写体１全体を一度に撮影したサムネイル画像等を用いて、表示されている被写体１の形状等を比較することで、連結位置Ｃでの再現性が表現されてもよい。あるいは、連結位置Ｃを挟んで並ぶ画素の輝度値の変化等を検出し、当該輝度値の変化に基づいて再現性が評価されてもよい。
【００９７】
＜第２の実施形態＞
本技術に係る第２の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した情報処理装置２００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００９８】
図１３及び図１４は、本実施形態に係る情報処理装置５００の動作を説明するための模式的な図である。
【００９９】
本実施形態に係る情報処理装置５００は、部分画像５０から接続領域の画像を生成する接続領域画像生成部５０１を有する。これは情報処理装置５００を動作させるプログラムによって実現されてもよいし、専用のハードウェアが用いられてもよい。
【０１００】
接続領域画像６１は、図６（Ｂ）に示す接続領域５７の画像である。すなわち部分画像５０から接続領域５７を切り出した画像である。接続領域画像６１は、接続領域５７のサイズ情報等から生成可能である。
【０１０１】
図７（Ａ）に示す複数の部分画像５０の接続処理において、接続領域画像６１が切り出されてマッチング処理が行われる場合がある。この場合、当該切り出された接続領域画像６１がそのまま利用されてもよい。これにより接続領域画像６１を生成する処理の負荷を軽減することができる。また処理時間の短縮化を図ることができる。なおこの場合、図２の使用画像領域判定部２０８が、接続領域画像生成部５０１として機能する。
【０１０２】
生成された接続領域画像６１は、記憶部等に記憶される。そしてユーザからの連結位置Ｃに表示された被写体１を確認する指示が、操作入力インタフェース部（図３参照）を介して受け付けられる。
【０１０３】
例えば図１４に示すように、被写体画像５１に連結位置画像５２が合成された合成画像５３が表示されている。また画面上にはマウス等の操作入力装置で操作可能なポインタ７６が表示されている。ユーザはマウス等を用いてポインタ７６を連結位置Ｃ上に移動させる。そしてユーザはマウス等のクリックボタンを押す。このようにして連結位置Ｃに表示された被写体１を確認する指示が入力されてもよい。しかしながらこの操作に限定されず、種々の操作が用いられてよい。
【０１０４】
ユーザからの確認指示を受けた情報処理装置５００は、当該連結位置Ｃを定めるためにマッチング処理された接続領域画像６１の少なくとも一方を記憶部等から読み出す。そして読み出された接続領域画像６１がビューア３００に出力される。これにより図１４に示すように、接続領域画像６１がビューア３００のディスプレイに表示される。
【０１０５】
接続領域画像６１には撮影された被写体１がそのまま表示されているので、医師等は当該被写体１を確認することが可能となる。これにより連結位置Ｃに表示された被写体１を詳しく観察して診断を行うこと等が可能となる。
【０１０６】
なお、複数の部分画像５０についての接続領域画像６１の全てが生成されてもよいし、一部が生成されてもよい。図１４に示す例では、４つの部分画像５０からそれぞれ２つずつ接続領域画像６１が生成可能である。すなわち８つの接続領域画像６１が生成可能である。しかしながら４箇所の連結位置Ｃ1〜Ｃ4に対応して４つの接続領域画像６１のみが生成されてもよい。例えば連結位置Ｃ1に対する接続領域画像６１として、左上の部分画像５０の接続領域画像６１のみが生成される。そしてその右隣の部分画像５０の接続領域画像６１は生成されなくてもよい。これによりＣＰＵやメモリ等の処理リソースに対する負荷を軽減することができる。
【０１０７】
また図１５に示すように、接続領域画像６１において、画像領域として切り取られる位置を示す画像７５が表示されてもよい。これにより接続領域画像６１のどの部分が使用されるのかを把握することが可能となる。この結果、被写体画像５１を詳しく観察することが可能となる。
【０１０８】
また図１６に示すように、被写体画像５１が表示されている状態から接続領域画像６１の表示に適宜切り替えられてもよい。これにより、被写体画像５１、合成画像５３、及び接続領域画像６１の表示を切り替えながら、被写体１を観察することが可能となる。
【０１０９】
図１４〜図１６では、接続領域画像６１が、被写体１の外縁を表す外縁画像７７に重ねられて表示された。これにより、接続領域画像６１の観察が容易となる。しかしながら接続領域画像６１の表示方法は適宜設定可能である。
【０１１０】
本実施形態では、生成された接続領域画像６１が記憶部等に記憶された。しかしながらユーザの確認指示を受け付けるたびに、そのつど接続領域画像６１が生成されてもよい。
【０１１１】
なお上記した第１実施形態において、本実施形態で説明したように接続領域画像６１が生成されて出力されてもよい。
【０１１２】
＜第３の実施形態＞
図１７及び図１８は、本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【０１１３】
情報処理装置６００は、複数の部分画像５０を記憶部に記憶している。そしてユーザから連結位置Ｃに表示された被写体１の確認指示が入力されると、当該連結位置Ｃにおいて連結されている部分画像５０の少なくとも１つが記憶部から読み出される。当該読み出された部分画像５０はビューア３００に出力され、図１８に示すようにディスプレイに表示される。
【０１１４】
このように複数の部分画像５０が記憶されており、連結位置Ｃに表示された被写体１の確認指示をもとに当該部分画像５０が読み出されて出力されてもよい。
【０１１５】
なお、複数の部分画像５０の全てが記憶されてもよいし、一部の部分画像５０のみが記憶されてもよい。例えば４箇所の連結位置Ｃ1〜Ｃ4を表示するために、左上の部分画像５０、右上の部分画像５０、及び左下の部分画像５０の３つの部分画像５０が記憶されてもよい。これによりＣＰＵやメモリ等の処理リソースに対する負荷を軽減することができる。
【０１１６】
また図１９に示すように、部分画像５０内において、使用される画像領域５８が表示されてもよい。これにより部分画像５０のどの領域が使用されるのかを認識することが可能となる。また被写体画像５１が表示されている状態から、図１８に示す部分画像５０の表示へ切り替えられてもよい。これにより、被写体画像５１、合成画像５３、及び部分画像５０の表示を切り替えながら、被写体１を観察することが可能となる。また外縁画像７７を用いて部分画像５０が表示されてもよいし、他の方法で部分画像５０が表示されてもよい。
【０１１７】
なお上記した第１実施形態において、本実施形態で説明したように部分画像５０が生成されて出力されてもよい。また第２の実施形態において接続領域画像６１の表示と部分画像５０の表示とが適宜切り替えられてもよい。
【０１１８】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１１９】
例えば図２０は、連結位置Ｃを表す画像の変形例を示す模式的な図である。本変形例では、マッチング処理される接続領域画像同士がアルファブレンド処理により半透明合成される。
【０１２０】
図２０（Ａ）では、図１１に示す接続領域５７Ａの画像６１Ａと接続領域５７Ｂの画像６１Ｂとが半透明合成されている。そして半透明合成画像７８が生成される。２つの接続領域画像６１Ａ及び６１Ｂは、これらがマッチング処理された際の相互の位置関係において半透明合成される。従ってマッチング処理での接続領域５７Ａ及び５７Ｂの接続精度を把握することができる。
【０１２１】
図２０（Ｂ）に示すように、本実施形態では、半透明合成画像７８が連結位置Ｃを表す画像５２として被写体画像に合成される。このような合成画像５３が表示されることで、連結位置Ｃと、連結位置Ｃでの被写体１の再現性とをともに把握することが可能となる。
【０１２２】
なお、接続領域５７Ａ及び５７Ｂの重なりの精度を把握可能な画像として、他の画像が用いられてもよい。例えば被写体１（細胞及び核の蛍光画像）の縁部が画像認識処理等により算出される。そして当該縁部のみをを示した画像が重ね合され画像により接続領域５７Ａ及び５７Ｂの重なり精度が表現されてもよい。
【０１２３】
また、例えば図１４では、連結位置Ｃでの被写体１を確認するために接続領域画像６１が表示された。この際に、図２０（Ａ）に示す半透明合成画像７８がともに表示されてもよい。これにより連結位置Ｃにおける被写体１の再現性を把握しながら診断等を行うことが可能となる。
【０１２４】
上記では、連結位置を表す連結位置画像が生成され被写体画像に合成された。しかしながら連結位置画像が被写体画像と合成されない状態でディスプレイ等に表示されてもよい。例えば被写体画像が表示されているディスプレイの隅に、サイズが小さい連結位置画像が表示されてもよい。
【０１２５】
上記では、連結位置での被写体の再現性が評価され、その情報をもとに当該再現性を反映した連結位置画像が生成された。しかしがなら、連結位置画像とは別に、再現性を反映した画像が生成されてもよい。そして当該画像が被写体画像や連結位置画像等と合成されてもよい。
【０１２６】
上記では、図１及び図２に示すように、デジタル顕微鏡１００と情報処理装置２００とビューア３００とをそれぞれ別個のデバイスとして説明した。しかしながら例えば情報処理装置２００がビューアの機能を兼ね備えてもよい。この場合、例えば図３に示す表示装置２４０により被写体画像や合成画像等が表示されればよい。
【０１２７】
あるいは、デジタル顕微鏡１００と情報処理装置２００とが一体的に構成され、本技術の実施形態にとして用いられてもよい。すなわちデジタル顕微鏡１００にＣＰＵ等の制御ブロックが備えられ、そこで被写体画像や合成画像等が生成されてもよい。さらに、デジタル顕微鏡１００、情報処理装置２００、及びビューア３００が一体的に構成されてもよい。
【０１２８】
デジタル顕微鏡により得られた被写体の拡大画像に限られず、例えばデジタルカメラ等で撮影された他の種類のデジタル画像についても本技術は適用可能である。
【０１２９】
なお、本技術は以下のような構成も採ることができる。
【０１３０】
（１）被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する取得部と、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する算出部と、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する生成部と、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する合成部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記連結位置での前記被写体の再現性を評価する評価部をさらに具備し、
前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成する
情報処理装置。
（３）前記（２）に記載の情報処理装置であって、
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価する
情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有し、
前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定し、
前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価する
情報処理装置。
（５）前記（４）に記載の情報処理装置であって、
前記部分画像から前記接続領域の画像を生成する接続領域画像生成部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する出力部と
をさらに具備する情報処理装置。
（６）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記複数の部分画像を記憶する記憶部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する出力部と
をさらに具備する情報処理装置。
（７）情報処理装置における情報処理方法であって、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得し、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出し、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成し、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する
情報処理方法。
（８）情報処理装置に、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得するステップと、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出するステップと、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成するステップと、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成するステップと
を実行させるプログラム。
【符号の説明】
【０１３１】
Ｃ、Ｃ1〜Ｃ12…連結位置
１…被写体
５０…部分画像
５１…被写体画像
５２…連結位置画像
５３…合成画像
５４…撮影領域
５７…接続領域
５８…画像領域
５９…被写体の再現性を反映した画像
６０…合成画像
６１…接続領域画像
７０…線
７１…連結領域
７３…線
７４…矢印
７８…半透明合成画像
８０…細胞の蛍光画像
８１…核の蛍光画像
１００…デジタル顕微鏡
２００、５００、６００…情報処理装置
２０３…スティッチング処理部
２０４…連結位置画像生成部
２０５…画像合成部
２０６…再現性評価部
２０７…画像出力部
２０８…使用画像領域判定部
２０９…画像領域連結部
２１０…ＣＰＵ
２１６…通信部
２１７…記憶部
３００…ビューア
４００…画像処理システム
５０１…接続領域画像生成部
【技術分野】
【０００１】
本技術は、複数の画像を合成して１つの画像を生成することが可能な情報処理装置、情報処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
従来、被写体を部分的に撮影することで得た複数の部分画像を１つに合成して被写体画像を生成するスティッチング技術が知られている。スティッチング技術は、例えばパノラマ画像の生成や、顕微鏡を用いた拡大画像の生成等に用いられる。例えば特許文献１には、複数の画像を適切に合成することを目的としたパノラマ画像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の技術等を用いても、スティッチング技術により合成される複数の画像の位置に誤差が生じてしまう可能性がある。すなわち複数の画像が適正な位置で合成されず、互いにずれた状態で合成されてしまう可能性がある。そうすると、例えば画像間の境界において被写体が適正に表示されなくなってしまう。
【０００５】
例えば医療または病理等の分野において、光学顕微鏡により得られた生体の細胞や組織等の拡大画像が、スティッチング技術により生成されることがある。この際、画像間の境界に細胞等が位置した場合に、上記した誤差により当該細胞等が適正に表示されない可能性がある。その結果、拡大画像を用いた医師等による診断において誤診が発生してしまう可能性がある。
【０００６】
以上のような事情に鑑み、本技術の目的は、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、算出部と、生成部と、合成部とを具備する。
前記取得部は、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する。
前記算出部は、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する。
前記生成部は、前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する。
前記合成部は、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する。
【０００８】
この情報処理装置では、複数の部分画像のそれぞれについて使用される領域が判定され、それらが複数の画像領域として算出される。当該複数の画像領域が互いに連結されることで被写体画像が生成される。そして生成された被写体画像における複数の画像領域の連結位置を表す画像が当該被写体画像に合成される。これにより被写体が適正に表示されない可能性のある、複数の画像領域の連結位置を把握することが可能となる。この結果、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能となる。
【０００９】
前記情報処理装置は、前記連結位置での前記被写体の再現性を評価する評価部をさらに具備してもよい。この場合、前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成してもよい。
この情報処理装置では、連結位置での被写体の再現性が評価され、評価された再現性を反映した画像が被写体画像に合成される。これにより上記再現性をもとに被写体画像を適切に観察することが可能となる。
【００１０】
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価してもよい。
このように、互いに連結する２つの画像領域ごとに被写体の再現性が評価されてもよい。これにより被写体画像を適切に観察することが可能となる。
【００１１】
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有してもよい。この場合、前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定してもよい。また、前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価してもよい。
この情報処理装置では、接続領域を基準として複数の部分画像が接続され、その接続結果をもとに被写体画像の生成に使用される領域が判定される。そして接続される複数の部分画像の接続精度をもとに連結位置での前記被写体の再現性が評価される。すなわち本形態では、上記接続処理の結果を被写体の再現性評価に用いることが可能である。
【００１２】
前記情報処理装置は、接続領域画像生成部と、入力部と、出力部とをさらに具備してもよい。
前記接続領域画像生成部は、前記部分画像から前記接続領域の画像を生成する。
前記入力部は、前記連結位置に表示された前記被写体を確認する指示を受け付ける。
前記出力部は、前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する。
この情報処理装置では、部分画像の一部に相当する接続領域画像が生成される。そして連結位置に表示された被写体の確認指示をもとに、当該接続領域画像が出力される。接続領域画像には撮影された被写体がそのまま表示されているので当該被写体を確認することができる。
【００１３】
前記情報処理装置は、記憶部と、入力部と、出力部とをさらに具備してもよい。
前記記憶部は、前記複数の部分画像を記憶する。
前記入力部は、前記連結位置に表示された前記被写体を確認する指示を受け付ける。
前記出力部は、前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する。
このように複数の部分画像が記憶されており、連結位置に表示された被写体の確認指示をもとに部分画像が出力されてもよい。
【００１４】
本技術の一形態に係る情報処理方法は、情報処理装置における情報処理方法である。
当該情報処理方法においては、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像が取得される。
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域が判定され、それらが複数の画像領域として算出される。
前記算出された複数の画像領域が互いに連結されて前記被写体画像が生成される。
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像が前記被写体画像に合成される。
【００１５】
本技術の一形態に係るプログラムは、情報処理装置に、取得ステップと、算出ステップと、生成ステップと、合成ステップとを実行させる。
前記取得ステップでは、被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像が取得される。
前記算出ステップでは、前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域が判定され、それらが複数の画像領域として算出される。
前記生成ステップでは、前記算出された複数の画像領域が互いに連結されて前記被写体画像が生成される。
前記合成ステップでは、前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像が前記被写体画像に合成される。
【発明の効果】
【００１６】
以上のように、本技術によれば、例えば医療分野の診断等において、複数の部分画像が合成されて得られる被写体画像を有効に利用することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。
【図２】図１に示すデジタル顕微鏡と情報処理装置との構成例を示す模式的な図である。
【図３】図１に示す情報処理装置のハードウェア構成を示したブロック図である。
【図４】本実施形態に係る情報処理装置の動作の概要を示す模式的な図である。
【図５】本実施形態に係る情報処理装置の動作の概要を示す模式的な図である。
【図６】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図７】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図８】本実施形態に係るスティッチング処理を説明するための模式的な図である。
【図９】本実施形態において生成される合成画像の例を示す模式的な図である。
【図１０】本実施形態において生成される合成画像の例を示す模式的な図である。
【図１１】スティッチング処理により発生する可能性がある問題点について説明するための図である。
【図１２】本実施形態に係る複数の画像領域の連結位置での被写体の再現性を反映した合成画像の例を示す模式的な図である。
【図１３】本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１４】本技術の第２の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１５】図１４に示す接続領域画像の他の例を示す模式的な図である。
【図１６】被写体画像、合成画像、及び接続領域画像の表示の切り替えについて説明するための模式的な図である。
【図１７】本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１８】本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図１９】図１８に示す部分画像の他の例を示す模式的な図である。
【図２０】連結位置を表す画像の変形例を示す模式的な図である。
【発明を実施するための形態】
【００１８】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００１９】
＜第１の実施形態＞
［画像処理システムの構成］
図１は、本技術の第１の実施形態に係る画像処理システムを示す模式的な図である。同図に示すように、画像処理システム４００は、デジタル顕微鏡１００と、情報処理装置２００と、ビューア３００とを有する。
【００２０】
図２は、デジタル顕微鏡１００と情報処理装置２００との構成例を示す模式的な図である。
【００２１】
デジタル顕微鏡1００は、ステージ１０１と、光学系１０２と、照明灯１０３と、光源１０４と、光学センサ１０５と、光学センサ制御部１０６と、発光制御部１０７と、ステージ制御部１０８とを有する。
【００２２】
ステージ１０１は、撮影対象である被写体１が載置される載置面１０９を有する。被写体１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）である。しかしこれに限定されるわけではない。
【００２３】
ステージ１０１は、互いに直交する３軸方向に移動自在である。すなわちステージ１０１は、載置面１０９の平面方向において互いに直交するＸ軸方向及びＹ軸方向へ移動自在である。またステージ１０１は、光学系１０２の対物レンズ１０２Ａの光軸に沿ったＺ軸方向へ移動自在である。
【００２４】
被写体１は、スライドガラスＳＧとカバーガラスＣＧとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば被写体１中の特定のターゲットをマーキングするために行われる。
【００２５】
光学系１０２は、ステージ１０１の上方に設けられ、対物レンズ１０２Ａ、結像レンズ１０２Ｂ、ダイクロイックミラー１０２Ｃ、エミッションフィルタ１０２Ｄ及び励起フィルタ１０２Ｅを有する。光源１０４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２６】
対物レンズ１０２Ａ及び結像レンズ１０２Ｂは、上記照明灯１０３により得られた被写体１の像を所定の倍率に拡大し、当該拡大像を光学センサ１０５の撮像面に結像させる。
【００２７】
励起フィルタ１０２Ｅは、光源１０４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０２Ａへ導く。対物レンズ１０２Ａは、当該励起光を被写体１へ集光する。
【００２８】
スライドガラスＳＧに固定された被写体１に蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１０２Ａを介してダイクロイックミラー１０２Ｃを透過し、エミッションフィルタ１０２Ｄを介して結像レンズ１０２Ｂへ到達する。
【００２９】
エミッションフィルタ１０２Ｄは、上記対物レンズ１０２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０２Ｂにより拡大され、光学センサ１０５上に結像される。
【００３０】
照明灯１０３は、ステージ１０１の下方に設けられ、ステージ１０１に設けられた開口（図示せず）を介して、上記載置面１０９に載置された被写体１へ照明光を照射する。
【００３１】
光学センサ１０５としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該光学センサ１０５は、デジタル顕微鏡１００と一体的に設けられていてもよいし、デジタル顕微鏡１００に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３２】
光学センサ制御部１０６は、情報処理装置２００からの制御指令に基づいて光学センサ１０５の制御を行う。また、光学センサ制御部１０６は、光学センサ１０５の出力を取り込み、情報処理装置２００に転送する。
【００３３】
発光制御部１０７は、情報処理装置２００からの制御指令に基づいて照明灯１０３や光源１０４の露光時間や発光強度など、露光に関する制御を行う。
【００３４】
ステージ制御部１０８は、情報処理装置２００からの制御指令に基づいてステージ１０１のＸＹＺ軸方向への移動を制御する。
【００３５】
情報処理装置２００は、例えば、典型的なコンピュータのハードウェア要素を有する装置であり、例えば、ＰＣ（Personal computer）であってもよい。情報処理装置２００は、デジタル顕微鏡１００を制御するとともに、デジタル顕微鏡１００によって撮影された被写体１の像を所定のフォーマット形式のデジタル画像データとして保存することができる。
【００３６】
情報処理装置２００は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部２０１と、センサ信号現像部２０２と、スティッチング処理部２０３と、連結位置画像生成部２０４と、画像合成部２０５と、再現性評価部２０６と、画像出力部２０７とを有している。これらは情報処理装置２００を動作させるプログラムによって実現される。あるいは専用のハードウェアが適宜用いられてもよい。
【００３７】
センサ信号現像部２０２は、光学センサ制御部１０６を通じて光学センサ１０５より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、スティッチング処理部２０３に供給される。
【００３８】
本実施形態では、後述するように、被写体１に対して複数の撮影領域が互いに重なるように撮影されることで、複数の部分画像が生成される。具体的には、複数の部分画像についてのセンサ信号が、センサ信号現像部２０２に出力される。そしてセンサ信号現像部２０２により、複数の部分画像の画像データが生成される。生成された部分画像の画像データはスティッチング処理部２０３に供給される。以下、画像という記載が当該画像の画像データを含むものとする。本実施形態では、センサ信号現像部２０２が取得部として機能する。
【００３９】
スティッチング処理部２０３は、使用画像領域判定部２０８と、画像領域連結部２０９とを有する。使用画像領域判定部２０８により、取得された複数の部分画像のそれぞれについて、被写体１の画像を生成するために使用される領域が判定される。そしてそれらが複数の画像領域として算出される。本実施形態では、使用画像領域判定部２０８が算出部として機能する。
【００４０】
画像領域連結部２０９は、使用画像領域判定部２０８により算出された複数の画像領域を互いに連結して被写体画像を生成する。本実施形態では、画像領域連結部２０９が生成部として機能する。
【００４１】
連結位置画像生成部２０４は、画像領域連結部２０９から、複数の画像領域の連結位置の情報を取得する。そして当該連結位置情報をもとに、複数の画像領域の連結位置を表す画像である連結位置画像を生成する。
【００４２】
画像合成部２０５は、連結位置画像生成部２０４により生成された連結位置画像を、画像領域連結部２０９により生成された被写体画像に合成する。本実施形態では、画像合成部２０５が合成部として機能する。
【００４３】
画像出力部２０７は、センサ信号現像部２０２より供給されたデジタル画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＴｉｆｆ（Tagged Image File Format）など、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部２１７等に保存する。
【００４４】
ハードウェア制御部２０１は、デジタル顕微鏡１００における光学センサ制御部１０６、発光制御部１０７、ステージ制御部１０８を制御する。
【００４５】
ビューア３００は、情報処理装置２００により生成された各種の画像を閲覧するために用いられる。ビューア３００は、情報処理装置２００から画像ファイルを受信する。そして画像ファイルからデジタル画像データを復元して、図示しないディスプレイに画像を表示する。
【００４６】
ビューア３００は例えばＰＣ等であり、ＬＡＮ（Local Area Network）またはＷＡＮ（Wide Area Network）等のネットワークを介して情報処理装置２００と接続される。しかしながらビューア３００として用いられるデバイスや、情報処理装置２００との接続方法等は限定されず、種々のものが用いられてよい。
【００４７】
図３は、情報処理装置２００のハードウェア構成を示したブロック図である。
【００４８】
同図に示すように、情報処理装置２００は、ＣＰＵ（Central Processing Unit）２１０、ＲＯＭ（Read Only Memory）２１１、ＲＡＭ（Random Access Memory）２１２、操作入力インタフェース部２１３、表示インタフェース部２１４、顕微鏡インタフェース部２１５、通信部２１６、記憶部２１７、これらを接続するバス２１８とを備える。
【００４９】
ＲＯＭ２１１は、情報処理装置２００を動作させるためのプログラムやデータが固定的に記憶される。ＲＡＭ２１２は、ＣＰＵ２１０のメインメモリとして用いられる。記憶部２１７は例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の読み書きが可能な記憶装置である。また記憶部２１７は、撮影された画像データの保存領域として用いられる他、ＲＡＭ２１２にロードされてＣＰＵ２１０により実行されるプログラムが格納される。
【００５０】
プログラムは、例えば記録媒体を介して情報処理装置２００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがインストールされてもよい。
【００５１】
操作入力インタフェース部２１３は、キーボード、マウス、タッチパネルなどのユーザの操作入力装置２３０との接続のためのインタフェースである。表示インタフェース部２１４は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどの表示装置２４０との接続のためのインタフェースである。顕微鏡インタフェース部２１５はデジタル顕微鏡１００との接続のためのインタフェースである。
【００５２】
通信部２１６は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２１６は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２１６が、情報処理装置２００と別体で使用されてもよい。
【００５３】
［情報処理装置の動作］
図４及び図５は、本実施形態に係る情報処理装置２００の動作の概要を示す模式的な図である。
【００５４】
図４に示すように、デジタル顕微鏡１００からのセンサ信号をもとに被写体１の複数の部分画像５０が取得される。スティッチング処理部２０３により複数の部分画像５０が合成されて被写体画像５１が生成される。
【００５５】
また連結位置画像生成部２０４により、連結位置情報をもとに連結位置画像５２が生成される。そして画像合成部２０５により、連結位置画像５２が被写体画像５１に合成されて、合成画像５３が生成される。被写体画像５１及び合成画像５３はビューア３００に出力される。
【００５６】
例えば図５に示すように、被写体画像５１及び合成画像５３は、ユーザの表示切り替え操作によりディスプレイに切り替え表示される。あるいは、両方の画像がディスプレイに同時に表示されてもよい。連結位置画像５２が合成された合成画像５３が表示されることで、例えば医療分野の診断等において、被写体画像５１を有効に利用することが可能となる。
【００５７】
以下、情報処理装置２００の動作について詳しく説明する。図６〜図８は、本実施形態に係るスティッチング処理を説明するための模式的な図である。
【００５８】
図６（Ａ）は、ステージ１０１の載置面１０９の被写体１に対する撮影領域５４の移動を示す図である。ステージ１０１の載置面１０９の撮影対象となる全体領域５５は、通常、矩形である。この全体領域５５よりも小さい面積である撮影領域５４が、１回の撮影範囲である。全体領域５５に対して撮影領域５４をＸ軸方向およびＹ軸方向に選択的に移動させ、その都度、撮影領域５４の撮影を繰り返すことによって全体領域５５が撮影される。
【００５９】
ステージ１０１と光学系１０２は相対的にＸＹＺ軸方向に移動可能であればよい。本実施形態では、光学系１０２が固定され、ステージ１０１がＸＹＺ軸方向に移動可能な構成としたが、逆にステージ１０１が固定され、光学系１０２がＸＹＺ軸方向に選択的に移動可能なように構成してもかまわない。
【００６０】
撮影領域５４のサイズと、Ｘ軸方向およびＹ軸方向それぞれの移動量は、Ｘ軸とＹ軸のそれぞれの方向で互いに隣り合う撮影領域５４の間で所定の重なり５６ができるように設定される。例えば、撮影領域５４のＸ軸方向の１回の移動量は、撮影領域５４のＸ軸方向のサイズの６０〜９５％程度である。また、Ｘ軸方向に隣り合う撮影領域５４間の重なり５６のＸ軸方向のサイズは、撮影領域５４のＸ軸方向のサイズの５〜２０％程度である。これらの割合は撮影領域５４のＹ軸方向についても同様でよい。
【００６１】
撮影領域５４の数、サイズ、撮影順序、重なり５６のサイズ等は限定されず、適宜設定されてよい。
【００６２】
このように被写体１に対して複数の撮影領域５４が互いに重なるように撮影されることで、図６（Ｂ）に示すように、複数の部分画像５０が生成される。複数の部分画像５０は、それぞれ接続領域５７を有している。この接続領域５７は、撮影された撮影領域５４の互いに重なる部分である重なり５６に対応した領域である。
【００６３】
図７（Ａ）に示すように、情報処理装置２００の使用画像領域判定部２０８により、複数の部分画像５０が接続される。ここでいう複数の部分画像５０の接続とは、複数の部分画像５０を適切な位置関係で並べるこという。例えば複数の部分画像５０が適切に接続される位置が座標値等により算出される。
【００６４】
例えばステージ１０１の移動誤差や撮影精度の誤差等により、複数の部分画像５０の相対的な位置関係において誤差が生じる場合がある。すなわち、複数の部分画像５０の相対的な位置関係が、図６（Ａ）に示す複数の撮影領域５４の相対的な位置関係と比べてずれてしまう場合がある。従って、本実施形態では、部分画像５０がそれぞれ有する接続領域５７を基準として、複数の部分画像５０が互いに接続される。
【００６５】
本実施形態では、部分画像５０の接続領域５７同士でマッチング処理が行われ、最適な接続位置が判定される。マッチング処理は、例えば接続領域５７の画素ごとに輝度値が算出され、その輝度値に基づいて相関係数が算出されることで行われる。または、接続領域５７の画素ごとに輝度値の差の自乗が算出されることでマッチング処理が行われてもよい。あるいは、接続領域５７の周波数成分が利用されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
【００６６】
複数の部分画像５０が最適な接続位置で互いに接続されると、図７（Ｂ）に示すように、被写体画像５１を生成するために使用される領域が判定され、それらが複数の画像領域５８として算出される。図８（Ａ）に示すように、本実施形態では、複数の部分画像５０のそれぞれについて画像領域５８が算出される。
【００６７】
画像領域５８は、被写体画像５１を構成する部分として使用される領域である。すなわち画像領域５８内の画素（画像情報）が被写体画像５１を構成する画素（画素情報）として使用される。
【００６８】
本実施形態では、図６（Ａ）において複数の撮影領域５４が撮影される前に、複数の画像領域５８に対応する領域（図示なし）が予め定められる。この領域を基準として複数の撮影領域５４の位置やサイズが設定される。そして図７（Ａ）において複数の部分画像５０が適切な位置にて接続されたのちに、先に定められた領域を基準として画像領域５８が算出される。これにより画像領域５８の判定処理を少ない負荷で実行することができる。
【００６９】
しかしながら、複数の部分画像５０が接続された後に、当該接続結果をもとに複数の画像領域５８が適宜算出されてもよい。例えば互いに異なる形状やサイズを有する複数の画像領域５８が算出されてもよい。
【００７０】
図８（Ｂ）に示すように、画像領域連結部２０９により、算出された複数の画像領域５８が互いに連結されることで被写体画像５１が生成される。図８（Ｂ）では、説明の便宜上、複数の画像領域５８の境界である連結位置Ｃが２点鎖線で示されている。しかしながら、実際に表示される被写体画像５１において、この連結位置Ｃは表示されない。
【００７１】
この２点鎖線で区切られた左上の領域５８ａでは、図８（Ａ）の部分画像５０ａの画素が用いられ、右上の領域５８ｂでは、部分画像５０ｂの画素が用いられる。また右下の領域５８ｃでは、部分画像５０ｃの画素が用いられ、左下の領域５８ｄでは、部分画像５０ｄの画素が用いられる。すなわち２点差線で示された連結位置Ｃを挟んで、異なる部分画像５０の画素が並ぶことになる。
【００７２】
連結位置画像生成部２０４により、複数の画像領域５８の連結位置Ｃの情報をもとに、連結位置画像５２が生成される。連結位置Ｃの情報しては、例えば各画像領域５８において連結位置Ｃに沿って並ぶ複数の連結画素の座標情報が用いられる。例えば図８（Ｂ）に示す被写体画像５１の左上の点Ｏを基準とした座標系が定められる。当該座標系において、連結画素の座標値が定められる。
【００７３】
連結位置Ｃの情報として、画像領域５８のサイズ情報が用いられてもよい。また複数の連結画素の一部が代表として選択され、当該連結画素の座標情報が連結位置Ｃの情報として用いられてもよい。その他、連結位置Ｃを検出するための情報として、どのような情報が用いられてもよい。
【００７４】
画像合成部２０５により、連結位置画像５２と被写体画像５１とが合成され、合成画像５３が生成される。図９及び図１０は、合成画像５３の例を示す模式的な図である。なお、図９及び図１０では、６つの画像領域５８が連結されることで被写体画像５１が生成されている。
【００７５】
図９（Ａ）では、各画像領域５８の連結画素において、例えば赤や黄や蛍光色等の色が表示される。すなわち、この合成画像５３では、色が付された線７０が連結位置Ｃに沿って表示される。これによりユーザは、複数の画像領域５８の連結位置Ｃを把握することが可能である。
【００７６】
図９（Ｂ）では、連結位置画像５２として、連結位置Ｃを含む領域である連結領域７１が表示される。連結領域７１の全体には、色等が付される。あるいは、連結領域７１が半透明に表示されてもよい。本実施形態では、連結領域７１は、連結位置Ｃを中心とした領域である。しかしながら、連結領域７１のサイズや形状等は適宜設定可能である。このように連結位置Ｃを含む連結領域７１が、連結位置画像５２として表示されてもよい。
【００７７】
連結位置Ｃを表す連結位置画像５２として、連結位置Ｃを詳細に把握できる画像（例えば図９（Ａ）の線７０）が表示されてもよい。あるいは、連結位置Ｃが含まれている範囲を把握できる画像（例えば図９（Ｂ）の連結領域７１）が表示されてもよい。
【００７８】
図１０（Ａ）では、連結位置Ｃから例えば５画素目に位置する画素において色等が表示される。すなわちこの合成画像５３では、連結位置画像５２として、連結位置Ｃを挟む２つの線７３が表示される（連結位置Ｃを示す２点鎖線は表示されない）。これによりユーザは、当該２つの線７３の中心が連結位置Ｃであることを把握することができる。また連結位置Ｃにおいて被写体１を十分に観察することができる。
【００７９】
図１０（Ｂ）では、連結位置画像５２として、連結位置Ｃを示す矢印７４が表示される（連結位置Ｃを示す２点鎖線は表示されない）。このように連結位置Ｃを示すために。矢印やアイコン等のＧＵＩ（Graphical User Interface）が適宜表示されてよい。そのようなＧＵＩの、数、形状、色等は限定されない。またユーザが画面をスクロールするのに合わせて、矢印７４等が適宜移動してもよい。これにより連結位置Ｃにおいて被写体１を十分に観察することができる。
【００８０】
図９及び図１０に示す連結位置画像５２が適宜組み合わされてもよい。その他、連結位置画像５２として種々の画像が利用可能である。
【００８１】
このように、本実施形態に係る情報処理装置２００では、複数の部分画像５０のそれぞれについて使用される領域が判定され、それらが複数の画像領域５８として算出される。当該複数の画像領域５８が互いに連結されることで被写体画像５１が生成される。そして生成された被写体画像５１における複数の画像領域５８の連結位置Ｃを表す連結位置画像５２が当該被写体画像５１に合成される。これにより図９及び図１０で例示したような合成画像５３が生成される。従って、被写体１が適正に表示されない可能性のある、複数の画像領域５８の連結位置Ｃを把握することが可能となる。この結果、例えば医療分野の診断等において、複数の部分画像５０が合成されて得られる被写体画像５１を有効に利用することが可能となる。
【００８２】
ここで図１１を用いて、スティッチング処理により発生する可能性がある問題点について説明する。例えば図１１（Ａ）に示すように、接続される部分画像５０Ａ及び５０Ｂに、細胞の蛍光画像８０と、核の蛍光画像８１とが表示されているとする。図１１（Ｂ）に示すように、接続領域５７Ａ及び５７Ｂにおいてマッチング処理が実行される。そして部分画像５０Ａ及び５０Ｂのそれぞれにおいて画像領域５８Ａ及び５８Ｂが算出される。図１１（Ｂ）の２点鎖線の左側が部分画像５０Ａの画像領域５８Ａとなり、２点鎖線の右側が部分画像５０Ｂの画像領域５８Ｂとなる。
【００８３】
この際、マッチング処理の精度が低く、画像領域５８Ａ及び５８Ｂが適切に算出されない場合が起こりうる。そうすると画像領域５８Ａ及び５８Ｂを連結した結果、図１１（Ｃ）のような、核の蛍光画像８１が一部消失した被写体画像５１が生成されてしまう可能性ある。また１つしかない核が２つ表示されてしまうといったことも起こりうる。そうすると例えば医療分野の診断において誤診が生じてしまう可能性がある。また例えば細胞の培養実験における観察等において問題が生じてしまうといったことも起こりうる。
【００８４】
しかしながら本実施形態に係る情報処理装置２００では、図１１（Ｄ）に示すように、画像領域５８Ａ及び５８Ｂの連結位置Ｃを表す連結位置画像５２が被写体画像５１に合成される。そして合成画像５３が生成される。これにより医師等は、画像領域５８Ａ及び５８Ｂの連結位置Ｃを把握することが可能となる。
【００８５】
この結果、医師等は蛍光画像８０及び８１を慎重に観察して診断することが可能となる。すなわち連結位置Ｃに表示されている蛍光画像８０及び８１の形状等は、連結処理の影響を受けているか否か等を十分に考察しながら診断を行うことが可能となる。例えば蛍光画像８０及び８１の形状等が普通ではない場合において、それが細胞等の異常であるのか、連結処理による異常であるのかを十分に考察することができる。これにより、連結位置Ｃにて適正に表示されない被写体に起因した誤診等を防止することが可能となる。すなわちスティッチング処理により生成された被写体画像５１を有効に利用することが可能となる。
【００８６】
図１２は、複数の画像領域５８の連結位置Ｃでの被写体１の再現性を反映した画像５９が、被写体画像５１に合成された例を示す模式的な図である。本実施形態では、ユーザの表示切り替え操作により、このような合成画像６０も表示可能である。
【００８７】
図２に示す再現性評価部２０６により、連結位置Ｃでの被写体１の再現性が反映される。本実施形態では、複数の画像領域５８のうち互いに連結する２つの画像領域５８ごとに、当該２つの画像領域５８の連結位置Ｃ1〜Ｃ12での被写体１の再現性が評価される。図１２では、９つの画像領域５８が連結されており、互いに連結する２つの画像領域５８ごとの連結位置Ｃ1〜Ｃ12は１２箇所ある。この１２箇所の連結位置Ｃ1〜Ｃ12のそれぞれにおいて、被写体１の再現性が評価される。
【００８８】
本実施形態では、図７（Ａ）にて説明した複数の部分画像５０が接続されるときの接続精度をもとに、連結位置Ｃ1〜Ｃ12での被写体の再現性が評価される。すなわち複数の部分画像５０がそれぞれ有する接続領域５７のマッチング処理の結果が、再現性の評価に用いられる。
【００８９】
マッチング処理での接続領域５７の接続精度が高い場合には、部分画像５０において判定される画像領域５８の判定精度、及び当該画像領域５８の連結精度は高くなると考えられる。従って接続領域５７の接続精度をもとに、再現性の評価を行うことが可能となる。
【００９０】
図１２（Ａ）では、再現性の評価を反映した画像５９として、それぞれの連結位置Ｃ1〜Ｃ12にて数値が表示されている。この数値は、マッチング処理された接続領域５７の相関係数の値を示している。
【００９１】
なお相関係数をもとに新たな数値が算出され、それが再現性を表すパラメータとして表示されてもよい。また輝度値の差の自乗や標準偏差等の、マッチング処理に関する他の数値が適宜用いられてもよい。
【００９２】
図１２（Ｂ）では、連結位置Ｃを表す線７０が色を区別して表示されている。図１２（Ｂ）に示すように、２点鎖線は赤を表しており、１点鎖線は黄を表している。また破線は青を表している。
【００９３】
このように被写体１の再現性の評価を反映して、連結位置Ｃを表す線７０が適宜色分けされてもよい。この色明けされた線７０は、連結位置画像としても表示され、また再現性の評価を反映した画像５９としても表示される。例えば図９（Ｂ）に示す連結領域７１や、図１０（Ｂ）に示す矢印７４等が、適宜色を分けて表示されてもよい。
【００９４】
このように、本実施形態に係る情報処理装置２００では、連結位置Ｃ（Ｃ1〜Ｃ12）での被写体１の再現性が評価され、評価された再現性を反映した画像５９又は７０が被写体画像５１に合成される。これにより上記再現性をもとに被写体画像５１を適切に観察することが可能となる。また本実施形態では、複数の部分画像５０の接続処理の結果を再現性評価に用いることが可能である。これにより再現性評価処理を少ない負荷で実行することが可能である。
【００９５】
なお本実施形態では、互いに連結する２つの画像領域５８ごとに被写体の再現性が評価された。しかしながら、連結位置Ｃ全体における被写体の再現性が評価されてもよい。すなわち被写体画像５１ごとに連結精度が評価されてもよい。これにより評価の処理にかかる負荷を少なくすることができる。
【００９６】
連結位置Ｃにおける被写体１の再現性を評価するために、上記で説明したマッチング処理の結果を利用する方法以外の方法が用いられてもよい。例えば被写体１全体を一度に撮影したサムネイル画像等を用いて、表示されている被写体１の形状等を比較することで、連結位置Ｃでの再現性が表現されてもよい。あるいは、連結位置Ｃを挟んで並ぶ画素の輝度値の変化等を検出し、当該輝度値の変化に基づいて再現性が評価されてもよい。
【００９７】
＜第２の実施形態＞
本技術に係る第２の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した情報処理装置２００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【００９８】
図１３及び図１４は、本実施形態に係る情報処理装置５００の動作を説明するための模式的な図である。
【００９９】
本実施形態に係る情報処理装置５００は、部分画像５０から接続領域の画像を生成する接続領域画像生成部５０１を有する。これは情報処理装置５００を動作させるプログラムによって実現されてもよいし、専用のハードウェアが用いられてもよい。
【０１００】
接続領域画像６１は、図６（Ｂ）に示す接続領域５７の画像である。すなわち部分画像５０から接続領域５７を切り出した画像である。接続領域画像６１は、接続領域５７のサイズ情報等から生成可能である。
【０１０１】
図７（Ａ）に示す複数の部分画像５０の接続処理において、接続領域画像６１が切り出されてマッチング処理が行われる場合がある。この場合、当該切り出された接続領域画像６１がそのまま利用されてもよい。これにより接続領域画像６１を生成する処理の負荷を軽減することができる。また処理時間の短縮化を図ることができる。なおこの場合、図２の使用画像領域判定部２０８が、接続領域画像生成部５０１として機能する。
【０１０２】
生成された接続領域画像６１は、記憶部等に記憶される。そしてユーザからの連結位置Ｃに表示された被写体１を確認する指示が、操作入力インタフェース部（図３参照）を介して受け付けられる。
【０１０３】
例えば図１４に示すように、被写体画像５１に連結位置画像５２が合成された合成画像５３が表示されている。また画面上にはマウス等の操作入力装置で操作可能なポインタ７６が表示されている。ユーザはマウス等を用いてポインタ７６を連結位置Ｃ上に移動させる。そしてユーザはマウス等のクリックボタンを押す。このようにして連結位置Ｃに表示された被写体１を確認する指示が入力されてもよい。しかしながらこの操作に限定されず、種々の操作が用いられてよい。
【０１０４】
ユーザからの確認指示を受けた情報処理装置５００は、当該連結位置Ｃを定めるためにマッチング処理された接続領域画像６１の少なくとも一方を記憶部等から読み出す。そして読み出された接続領域画像６１がビューア３００に出力される。これにより図１４に示すように、接続領域画像６１がビューア３００のディスプレイに表示される。
【０１０５】
接続領域画像６１には撮影された被写体１がそのまま表示されているので、医師等は当該被写体１を確認することが可能となる。これにより連結位置Ｃに表示された被写体１を詳しく観察して診断を行うこと等が可能となる。
【０１０６】
なお、複数の部分画像５０についての接続領域画像６１の全てが生成されてもよいし、一部が生成されてもよい。図１４に示す例では、４つの部分画像５０からそれぞれ２つずつ接続領域画像６１が生成可能である。すなわち８つの接続領域画像６１が生成可能である。しかしながら４箇所の連結位置Ｃ1〜Ｃ4に対応して４つの接続領域画像６１のみが生成されてもよい。例えば連結位置Ｃ1に対する接続領域画像６１として、左上の部分画像５０の接続領域画像６１のみが生成される。そしてその右隣の部分画像５０の接続領域画像６１は生成されなくてもよい。これによりＣＰＵやメモリ等の処理リソースに対する負荷を軽減することができる。
【０１０７】
また図１５に示すように、接続領域画像６１において、画像領域として切り取られる位置を示す画像７５が表示されてもよい。これにより接続領域画像６１のどの部分が使用されるのかを把握することが可能となる。この結果、被写体画像５１を詳しく観察することが可能となる。
【０１０８】
また図１６に示すように、被写体画像５１が表示されている状態から接続領域画像６１の表示に適宜切り替えられてもよい。これにより、被写体画像５１、合成画像５３、及び接続領域画像６１の表示を切り替えながら、被写体１を観察することが可能となる。
【０１０９】
図１４〜図１６では、接続領域画像６１が、被写体１の外縁を表す外縁画像７７に重ねられて表示された。これにより、接続領域画像６１の観察が容易となる。しかしながら接続領域画像６１の表示方法は適宜設定可能である。
【０１１０】
本実施形態では、生成された接続領域画像６１が記憶部等に記憶された。しかしながらユーザの確認指示を受け付けるたびに、そのつど接続領域画像６１が生成されてもよい。
【０１１１】
なお上記した第１実施形態において、本実施形態で説明したように接続領域画像６１が生成されて出力されてもよい。
【０１１２】
＜第３の実施形態＞
図１７及び図１８は、本技術の第３の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【０１１３】
情報処理装置６００は、複数の部分画像５０を記憶部に記憶している。そしてユーザから連結位置Ｃに表示された被写体１の確認指示が入力されると、当該連結位置Ｃにおいて連結されている部分画像５０の少なくとも１つが記憶部から読み出される。当該読み出された部分画像５０はビューア３００に出力され、図１８に示すようにディスプレイに表示される。
【０１１４】
このように複数の部分画像５０が記憶されており、連結位置Ｃに表示された被写体１の確認指示をもとに当該部分画像５０が読み出されて出力されてもよい。
【０１１５】
なお、複数の部分画像５０の全てが記憶されてもよいし、一部の部分画像５０のみが記憶されてもよい。例えば４箇所の連結位置Ｃ1〜Ｃ4を表示するために、左上の部分画像５０、右上の部分画像５０、及び左下の部分画像５０の３つの部分画像５０が記憶されてもよい。これによりＣＰＵやメモリ等の処理リソースに対する負荷を軽減することができる。
【０１１６】
また図１９に示すように、部分画像５０内において、使用される画像領域５８が表示されてもよい。これにより部分画像５０のどの領域が使用されるのかを認識することが可能となる。また被写体画像５１が表示されている状態から、図１８に示す部分画像５０の表示へ切り替えられてもよい。これにより、被写体画像５１、合成画像５３、及び部分画像５０の表示を切り替えながら、被写体１を観察することが可能となる。また外縁画像７７を用いて部分画像５０が表示されてもよいし、他の方法で部分画像５０が表示されてもよい。
【０１１７】
なお上記した第１実施形態において、本実施形態で説明したように部分画像５０が生成されて出力されてもよい。また第２の実施形態において接続領域画像６１の表示と部分画像５０の表示とが適宜切り替えられてもよい。
【０１１８】
＜変形例＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【０１１９】
例えば図２０は、連結位置Ｃを表す画像の変形例を示す模式的な図である。本変形例では、マッチング処理される接続領域画像同士がアルファブレンド処理により半透明合成される。
【０１２０】
図２０（Ａ）では、図１１に示す接続領域５７Ａの画像６１Ａと接続領域５７Ｂの画像６１Ｂとが半透明合成されている。そして半透明合成画像７８が生成される。２つの接続領域画像６１Ａ及び６１Ｂは、これらがマッチング処理された際の相互の位置関係において半透明合成される。従ってマッチング処理での接続領域５７Ａ及び５７Ｂの接続精度を把握することができる。
【０１２１】
図２０（Ｂ）に示すように、本実施形態では、半透明合成画像７８が連結位置Ｃを表す画像５２として被写体画像に合成される。このような合成画像５３が表示されることで、連結位置Ｃと、連結位置Ｃでの被写体１の再現性とをともに把握することが可能となる。
【０１２２】
なお、接続領域５７Ａ及び５７Ｂの重なりの精度を把握可能な画像として、他の画像が用いられてもよい。例えば被写体１（細胞及び核の蛍光画像）の縁部が画像認識処理等により算出される。そして当該縁部のみをを示した画像が重ね合され画像により接続領域５７Ａ及び５７Ｂの重なり精度が表現されてもよい。
【０１２３】
また、例えば図１４では、連結位置Ｃでの被写体１を確認するために接続領域画像６１が表示された。この際に、図２０（Ａ）に示す半透明合成画像７８がともに表示されてもよい。これにより連結位置Ｃにおける被写体１の再現性を把握しながら診断等を行うことが可能となる。
【０１２４】
上記では、連結位置を表す連結位置画像が生成され被写体画像に合成された。しかしながら連結位置画像が被写体画像と合成されない状態でディスプレイ等に表示されてもよい。例えば被写体画像が表示されているディスプレイの隅に、サイズが小さい連結位置画像が表示されてもよい。
【０１２５】
上記では、連結位置での被写体の再現性が評価され、その情報をもとに当該再現性を反映した連結位置画像が生成された。しかしがなら、連結位置画像とは別に、再現性を反映した画像が生成されてもよい。そして当該画像が被写体画像や連結位置画像等と合成されてもよい。
【０１２６】
上記では、図１及び図２に示すように、デジタル顕微鏡１００と情報処理装置２００とビューア３００とをそれぞれ別個のデバイスとして説明した。しかしながら例えば情報処理装置２００がビューアの機能を兼ね備えてもよい。この場合、例えば図３に示す表示装置２４０により被写体画像や合成画像等が表示されればよい。
【０１２７】
あるいは、デジタル顕微鏡１００と情報処理装置２００とが一体的に構成され、本技術の実施形態にとして用いられてもよい。すなわちデジタル顕微鏡１００にＣＰＵ等の制御ブロックが備えられ、そこで被写体画像や合成画像等が生成されてもよい。さらに、デジタル顕微鏡１００、情報処理装置２００、及びビューア３００が一体的に構成されてもよい。
【０１２８】
デジタル顕微鏡により得られた被写体の拡大画像に限られず、例えばデジタルカメラ等で撮影された他の種類のデジタル画像についても本技術は適用可能である。
【０１２９】
なお、本技術は以下のような構成も採ることができる。
【０１３０】
（１）被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する取得部と、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する算出部と、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する生成部と、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する合成部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記連結位置での前記被写体の再現性を評価する評価部をさらに具備し、
前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成する
情報処理装置。
（３）前記（２）に記載の情報処理装置であって、
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価する
情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有し、
前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定し、
前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価する
情報処理装置。
（５）前記（４）に記載の情報処理装置であって、
前記部分画像から前記接続領域の画像を生成する接続領域画像生成部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する出力部と
をさらに具備する情報処理装置。
（６）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記複数の部分画像を記憶する記憶部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する出力部と
をさらに具備する情報処理装置。
（７）情報処理装置における情報処理方法であって、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得し、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出し、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成し、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する
情報処理方法。
（８）情報処理装置に、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得するステップと、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出するステップと、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成するステップと、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成するステップと
を実行させるプログラム。
【符号の説明】
【０１３１】
Ｃ、Ｃ1〜Ｃ12…連結位置
１…被写体
５０…部分画像
５１…被写体画像
５２…連結位置画像
５３…合成画像
５４…撮影領域
５７…接続領域
５８…画像領域
５９…被写体の再現性を反映した画像
６０…合成画像
６１…接続領域画像
７０…線
７１…連結領域
７３…線
７４…矢印
７８…半透明合成画像
８０…細胞の蛍光画像
８１…核の蛍光画像
１００…デジタル顕微鏡
２００、５００、６００…情報処理装置
２０３…スティッチング処理部
２０４…連結位置画像生成部
２０５…画像合成部
２０６…再現性評価部
２０７…画像出力部
２０８…使用画像領域判定部
２０９…画像領域連結部
２１０…ＣＰＵ
２１６…通信部
２１７…記憶部
３００…ビューア
４００…画像処理システム
５０１…接続領域画像生成部
【特許請求の範囲】
【請求項１】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する取得部と、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する算出部と、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する生成部と、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する合成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記連結位置での前記被写体の再現性を評価する評価部をさらに具備し、
前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有し、
前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定し、
前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記部分画像から前記接続領域の画像を生成する接続領域画像生成部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する出力部と
をさらに具備する情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記複数の部分画像を記憶する記憶部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する出力部と
をさらに具備する情報処理装置。
【請求項７】
情報処理装置における情報処理方法であって、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得し、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出し、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成し、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する
情報処理方法。
【請求項８】
情報処理装置に、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得するステップと、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出するステップと、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成するステップと、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成するステップと
を実行させるプログラム。
【請求項１】
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得する取得部と、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出する算出部と、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成する生成部と、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する合成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記連結位置での前記被写体の再現性を評価する評価部をさらに具備し、
前記合成部は、前記評価された再現性を反映した画像を前記被写体画像に合成する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記評価部は、前記複数の画像領域のうちの互いに連結する２つの画像領域ごとに、当該２つの画像領域の連結位置での前記被写体の再現性を評価する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記複数の部分画像は、前記複数の撮影領域の互いに重なる部分に対応した領域である接続領域をそれぞれ有し、
前記算出部は、前記接続領域を基準として前記複数の部分画像を互いに接続して前記被写体画像を生成するために使用される領域を判定し、
前記評価部は、前記複数の部分画像が接続されるときの接続精度をもとに前記連結位置での前記被写体の再現性を評価する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記部分画像から前記接続領域の画像を生成する接続領域画像生成部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記生成された接続領域画像を出力する出力部と
をさらに具備する情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記複数の部分画像を記憶する記憶部と、
前記連結位置に表示された前記被写体を確認する指示を受け付ける入力部と、
前記受け付けた確認指示をもとに、前記記憶された複数の部分画像のうち少なくとも１つを出力する出力部と
をさらに具備する情報処理装置。
【請求項７】
情報処理装置における情報処理方法であって、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得し、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出し、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成し、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成する
情報処理方法。
【請求項８】
情報処理装置に、
被写体に対して複数の撮影領域が互いに重なるように撮影されることで得られた複数の部分画像を取得するステップと、
前記取得された複数の部分画像のそれぞれについて前記被写体の画像を生成するために使用される領域を判定し、それらを複数の画像領域として算出するステップと、
前記算出された複数の画像領域を互いに連結して前記被写体画像を生成するステップと、
前記生成された被写体画像における前記複数の画像領域の連結位置を表す画像を前記被写体画像に合成するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図１１】
【図２０】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図１１】
【図２０】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−２０４７５（Ｐ２０１３−２０４７５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５３６５９（Ｐ２０１１−１５３６５９）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]