画像取得方法および装置
【課題】通常画像と特殊画像とに基づいて、合成画像を取得する画像取得装置において、十分な強度の特殊画像を通常画像に合成した合成画像を取得するとともに、画像ずれのない適切な合成画像を取得する。
【解決手段】第１の時点に撮像された第１の通常画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量を取得し、その動き特徴量に基づいて、第１の時点に撮像された第１の特殊画像を補正し、その補正した第３の特殊画像と第２の通常画像とを合成して合成画像を取得する。
【解決手段】第１の時点に撮像された第１の通常画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量を取得し、その動き特徴量に基づいて、第１の時点に撮像された第１の特殊画像を補正し、その補正した第３の特殊画像と第２の通常画像とを合成して合成画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とに基づいて合成画像を取得する画像取得方法および装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
【０００５】
そして、たとえば、特許文献１に記載の蛍光内視鏡システムにおいては、通常画像と自家蛍光画像とをモニタ上に切り替えて表示することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０４９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の蛍光内視鏡システムのように、通常画像と蛍光画像とを切り替えて表示すれば２つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり通常画像上のどの位置に血管が存在するのかを正確に判断することができない。そこで、通常画像と蛍光画像とを合成して表示することが考えられる。
【０００８】
しかしながら、上述したようなＩＣＧを用いた血管画像の観察を行う場合、血中のＩＣＧは血流の動態により、観察に十分な強度で蛍光を発する時間が短い。したがって、現在撮像している通常画像と蛍光画像とを単に合成したのでは、既にＩＣＧが流れてしまった後であり、合成画像にＩＣＧの蛍光が十分に現れていない場合がある。また、たとえば静脈や動脈といった部位によって発光のタイミングが異なるため、複数の関心部位を一度に観察することができない。
【０００９】
また、通常画像と蛍光画像とを合成する際、これらの画像を撮像したタイミングが異なる場合には、拍動によって被観察部の形態が異なるものとなるため、血管画像にずれが生じてしまい適切な合成画像を表示することができない。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とに基づいて、合成画像を取得する画像取得方法および装置において、十分な強度の特殊画像を通常画像に合成した合成画像を取得することができるとともに、画像ずれのない適切な合成画像を取得することができる画像取得方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像取得方法は、通常光の被観察部への照射によって被観察部から反射された反射光を受光して所定の間隔で撮像された複数の通常画像と、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像とを取得し、複数の通常画像のうちの第１の時点に撮像された第１の通常画像または複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第１の時点よりも後の第２の時点に撮像された第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、その取得した動き特徴量に基づいて、複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、その取得した第３の特殊画像と第２の通常画像とを合成して合成画像を取得することを特徴とする。
【００１２】
本発明の画像取得装置は、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するとともに、特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、撮像部によって取得された複数の通常画像のうちの少なくとも１つの第１の時点に撮像された第１の通常画像または複数の特殊画像のうちの少なくとも１つの第１の時点に撮像された第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第１の時点よりも後の第２の時点に撮像された第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得する動き特徴量取得部と、動き取得部により取得された動き特徴量に基づいて、複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得する動き補正部と、動き補正部により取得された第３の特殊画像と第２の通常画像とを合成して合成画像を取得する合成画像取得部とを備えたことを特徴とする。
【００１３】
また、本発明の画像取得装置においては、撮像部により撮像された複数の特殊画像を時系列で順次表示する表示部と、表示部に順次表示される複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択する信号を受け付ける選択信号受付部とを設けることができる。
【００１４】
また、所定の通常画像または所定の特殊画像における関心領域の設定を受け付ける関心領域受付部と、所定の通常画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号または所定の特殊画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号に基づいて第１の特殊画像を選択する過去画像選択部とを設けることができる。
【００１５】
また、撮像部により撮像された複数の特殊画像を同時に表示する表示部と、表示部に同時に表示された複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択する信号を受け付ける選択信号受付部とを設けることができる。
【００１６】
また、第３の特殊画像から被観察部に含まれる管部分を表す画像を抽出する管画像抽出部をさらに設け、合成画像取得部を、管画像抽出部により抽出された管部分を表す画像と第２の通常画像とを合成して合成画像を取得するものとすることができる。
【００１７】
また、合成画像取得部を、第３の特殊画像および第２の特殊画像と第２の通常画像とを合成して合成画像を取得するものとすることができる。
【００１８】
また、第１の特殊画像として複数のものを用いることができる。
【発明の効果】
【００１９】
本発明の画像取得方法および装置によれば、第１の時点に撮像された第１の通常画像または第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、その取得した動き特徴量に基づいて、第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、その取得した第３の特殊画像と第２の通常画像とを合成して合成画像を取得するようにしたので、十分な強度の特殊画像を通常画像に合成した合成画像を取得することができるとともに、画像ずれのない適切な合成画像を取得することができる。
【００２０】
すなわち、たとえば、ＩＣＧを用いた血管画像の観察を行う場合、ＩＣＧが被観察部を通過する第１の時点における第１の特殊画像を取得し、この第１の特殊画像に対して動き補正を施した第３の特殊画像を第１の時点よりも後の第２の時点に撮像された第２の通常画像に合成するようにしたので、ＩＣＧの発光の強度が十分な特殊画像を通常画像に合成した合成画像を取得することができるとともに、血管画像にずれのない適切な合成画像を取得することができる。
【００２１】
また、本発明の画像取得装置において、撮像部により撮像された複数の特殊画像を時系列で順次表示させ、その順次表示される複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択するようにした場合には、操作者が合成対象としたい所望の特殊画像を容易に選択することができる。
【００２２】
また、所定の通常画像または所定の特殊画像における関心領域の設定を受け付け、所定の通常画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号または所定の特殊画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号に基づいて第１の特殊画像を選択するようにした場合には、操作者が意識することなく自動的に装置が適切な合成対象の画像を選択することができるので、操作者の手間を省くことができる。
【００２３】
また、撮像部により撮像された複数の特殊画像を同時に表示し、その同時に表示された複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択するようにした場合には、過去の画像同志を比較しながら、より適切な合成対象の画像を選択することができる。
【００２４】
また、第３の特殊画像だけでなく、第２の特殊画像も第２の通常画像に合成して合成画像を取得するようにした場合には、第２の時点の特殊画像の発光状態も反映させた合成画像を取得することができる。
【００２５】
また、第１の特殊画像として複数のものを用いるようにした場合には、たとえば、第１の特殊画像として、互いに発光タイミングが異なる動脈の特殊画像と静脈の特殊画像とを取得し、これらを通常画像に合成した合成画像を取得することができるので、複数の関心部位を一度に観察することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の画像取得装置の一実施形態を用いた腹腔鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】過去の蛍光画像信号に動き補正を施した後、現在の通常画像信号に合成する作用を説明するためのフローチャート
【図７】動き特徴量の取得方法を説明するためのフローチャート
【図８】特徴点の一例を示す図
【図９】マッチング演算処理の作用を説明するための図
【図１０】動き補正処理を説明するための図
【図１１】動き補正処理後の蛍光画像信号の矩形領域の一例を示す図
【図１２】エッジ検出を用いた線分抽出処理を説明するためのフローチャート
【図１３】合成画像の一例を示す図
【図１４】蛍光画像上における関心領域の設定を説明するための図
【図１５】選択ボタンの表示態様の一例を示す図
【図１６】過去の蛍光画像のサムネイル画像の表示態様の一例を示す図
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。
【００２８】
本実施形態の腹腔鏡システム１は、図１に示すように、白色の通常光および特殊光を同時に射出する光源装置２と、光源装置２から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および合成画像を表示するモニタ４とを備えている。
【００２９】
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００３０】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００３１】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００３２】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３３】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３４】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および特殊光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。
【００３５】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３６】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３７】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
【００３８】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
【００３９】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００４０】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００４１】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００４２】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４３】
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４４】
画像処理部３３は、図５に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された２つのフレームの通常画像信号に基づいて、被観察部の動き特徴量を取得する動き特徴量取得部３３ｂと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｃと、過去に撮像された蛍光画像信号に対して、上記動き特徴量に基づいて動き補正を施す動き補正部３３ｄと、動き補正部３３ｄによって動き補正の施された過去の蛍光画像信号と現在の蛍光画像信号に対して、血管を表す画像信号を抽出する処理を施す血管抽出部３３ｅと、過去の蛍光画像信号から抽出された血管を表す画像信号（以下、「過去血管蛍光画像信号」という）と現在の蛍光画像信号から抽出された血管を表す画像信号（以下、「現在血管蛍光画像信号」という）とを、通常画像処理部３３ａから出力された通常画像信号に合成して合成画像信号を生成する画像合成部３３ｆとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。
【００４５】
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００４６】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００４７】
光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。
【００４８】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光りＬ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００４９】
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００５０】
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
【００５１】
次に、本実施形態の腹腔鏡システムの作用について説明する。
【００５２】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００５３】
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００５４】
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００５５】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００５６】
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００５７】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。なお、本実施形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。
【００５８】
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００５９】
一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６０】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。なお、本実施形態においては、通常画像は５〜１０ｆｐｓのフレームレートで撮像されるものとする。
【００６１】
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６２】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および合成画像を表示する作用について、図５から図１５を参照しながら説明する。
【００６３】
まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００６４】
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００６５】
また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｃにおいて所定の画像処理が施された後、ビデオ出力部３５に順次出力される。
【００６６】
そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。
【００６７】
次に、通常画像信号および蛍光画像信号を合成して合成画像を表示する作用について説明する。
【００６８】
ここで、本実施形態の腹腔鏡システムにおいては、上述したように被観察部の血管中を流れるＩＣＧの蛍光を撮像するが、ＩＣＧは血管の同一箇所に留まっているわけではなく血流とともに流れるものであるので、現在撮像している通常画像信号と蛍光画像信号とを単に合成したのでは、既にＩＣＧが流れてしまった後であり、現在の蛍光画像信号にＩＣＧの蛍光が十分に現れていない場合がある。
【００６９】
そこで、本実施形態の腹腔鏡システムにおいては、現在の通常画像信号に対して、現在の蛍光画像信号だけでなく、ＩＣＧが被観察部の血管中を流れていた時点において撮像された過去の蛍光画像信号も合成する。
【００７０】
そして、さらに、過去の蛍光画像信号を現在の通常画像信号に合成する際、過去の蛍光画像信号を撮像したときの被観察部の形態と現在の通常画像信号を撮像したときの被観察部の形態とが拍動によって異なる形態となっている場合があり、このような場合に過去の蛍光画像信号と現在の通常画像信号とをそのまま合成したのでは血管の画像にずれが生じて適切な合成画像を生成することができない。
【００７１】
そこで、本実施形態の腹腔鏡システムにおいては、上記のような血管画像のずれが生じないように過去の蛍光画像信号に動き補正を施すようにしている。
【００７２】
以下に、過去の蛍光画像信号に動き補正を施した後、現在の通常画像信号に合成する作用についてより詳細に説明する。
【００７３】
まず、上述したように、画像処理装置３のメモリ３４には、撮像ユニット２０において所定間隔を空けて時系列に撮像された多数の通常画像信号と蛍光画像信号とが記憶されている。
【００７４】
そして、図６に示すように、メモリ３４に記憶された多数の過去の蛍光画像信号のうち、ＩＣＧの蛍光が適切に現れていると思われる１つの蛍光画像信号を第１の蛍光画像信号ＩＦ（ｏｌｄ）として取得する（図６のＳ１０）。なお、この第１の蛍光画像信号ＩＦ（ｏｌｄ）の選択方法については、後で詳述する。
【００７５】
一方、メモリ３４に記憶された多数の過去の通常画像信号のうち、Ｓ１０で選択した第１の蛍光画像信号ＩＦ（ｏｌｄ）と同じ時点において撮像された１つの通常画像信号を第１の通常画像信号ＩＶ（ｏｌｄ）として取得する（図６のＳ１２）。なお、上述したように、通常画像信号と蛍光画像信号の撮像間隔（フレームレート）は、互いに異なるものであるが、これらの位相は合っているものとする。すなわち、蛍光画像信号の方が撮像間隔が長いので、蛍光画像信号が撮像されているタイミングで通常画像信号も必ず撮像されているものとする。そして、同じ撮像タイミングで撮像された通常画像信号と蛍光画像信号とは対応付けがされてメモリ３４に記憶されているものとする。
【００７６】
そして、上記のようにして取得した第１の通常画像信号ＩＶ（ｏｌｄ）と現在の通常画像信号ＩＶ（ｎｅｗ）（以下、「第２の通常画像信号ＩＶ（ｎｅｗ）」という）とが、動き特徴量取得部３３ｂに入力される。そして、動き特徴量取得部３３ｂにおいて、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて、被観察部の動き特徴量が算出される（図６のＳ１４）。
【００７７】
以下、動き特徴量の算出方法について、図７のフローチャートを参照しながら詳細に説明する。
【００７８】
まず、上述したように、動き特徴量取得部３３ｂにおいて、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）が取得される（図７のＳ３０）。そして、カラー画像信号である第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して、グレー画像処理が施されてグレー画像信号に変換される（図７のＳ３２）。次に、グレー画像信号である第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して、コントラスト強調処理が施される（図７のＳ３４）。このようにグレー画像処理およびコントラスト強調処理を施すのは、後述する特徴点抽出処理において特徴点を抽出しやすくするためである。
【００７９】
そして、次に、コントラスト強調処理の施された第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して多重解像度画像生成処理が施され、それぞれの通常画像信号について、種々の解像度の通常画像信号が生成される（図７のＳ３６）。なお、以下、第１の通常画像信号ＩＶ（ｏｌｄ）に基づいて生成された種々の解像度の通常画像信号を第１の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍとし、第２の通常画像信号ＩＶ（ｎｅｗ）に基づいて生成された種々の解像度の通常画像信号を第２の多重解像度信号ＩＶ（ｎｅｗ）１〜ｎとする。このように多重解像度画像生成処理を行うのは、後述する特徴点抽出処理において、荒い解像度の多重解像度画像信号を用いて大まかな特徴点を抽出し、細かい解像度の多重解像度画像信号を用いて細かい特徴点を抽出するためである。
【００８０】
そして、上記のようにして生成された第１および第２の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍ，ＩＶ（ｎｅｗ）１〜ｎに対して、ノイズ除去のための平滑化処理が施される（図７のＳ３８）。
【００８１】
次に、平滑化処理の施された第１および第２の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍ，ＩＶ（ｎｅｗ）１〜ｎに対して特徴点抽出処理が施され、各多重解像度画像信号について特徴点が抽出される（図７のＳ４０）。特徴点抽出処理としては、たとえば、Hessain手法やHarris手法を用いた、いわゆるコーナー抽出法を用いることができる。または、DOG（Difference of Gaussian）やHOG(Histograms of Oriented Gradients)を用いて特徴点を抽出するようにしてもよい。これらの特徴点抽出の手法については公知であるので詳細な説明は省略する。図８に、特徴点抽出処理によって特徴点が抽出された多重解像度画像の１つの例を示す。
【００８２】
そして、次に、第１の通常画像信号ＩＶ（ｏｌｄ）について抽出された特徴点と、第２の通常画像信号ＩＶ（ｎｅｗ）について抽出された特徴点と対して、マッチング演算処理が施される（図７のＳ４２）。マッチング演算処理とは、第１の通常画像信号ＩＶ（ｏｌｄ）の特徴点と第２の通常画像信号ＩＶ（ｎｅｗ）とで対応する特徴点の組を検出する演算処理である。具体的には、たとえば、一方の通常画像信号における所定の特徴点と、他方の通常画像信号における全ての特徴点間のユークリッド距離をそれぞれ演算し、そのユークリッド距離が最小となる２つの特徴点を対応する特徴点の組として検出するようにすればよい。図９に、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）との間で対応する特徴点を直線で示した模式図を示す。
【００８３】
そして、上記のマッチング演算処理の結果に基づいて、第１の通常画像信号ＩＶ（ｏｌｄ）の各特徴点から第２の通常画像信号ＩＶ（ｎｅｗ）の対応する特徴点までの方向を示す動きベクトルが動き特徴量として算出される（図７のＳ４４）。
【００８４】
上記のようにして第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて、被観察部の動き特徴量が算出される（図６のＳ１４）。
【００８５】
次に、動き特徴量取得部３３ｂにおいて取得された動き特徴量は、動き補正部３３ｄに出力される。そして、動き補正部３３ｄは、入力された動き特徴量に基づいて、第１の蛍光画像信号ＩＦ（ｏｌｄ）に対して、動き補正処理を施す（図６のＳ１６）。具体的には、まず、図１０に示すように、第１の蛍光画像信号ＩＦ（ｏｌｄ）を所定の大きさの矩形領域に区分するとともに、第１の蛍光画像信号ＩＦ（ｏｌｄ）に対し第１の通常画像信号ＩＶ（ｏｌｄ）の各特徴点とその動きベクトルとを対応づける。そして、各矩形領域のコーナーＧ近傍に存在する特徴点Ｄの中で最も評価値の高い特徴点Ｄの動きベクトルに基づいて各矩形領域を変形することによって第１の蛍光画像信号ＩＦ（ｏｌｄ）を変形する。図１１に、変形後の矩形領域およびそのコーナーＧ’の一例を示す。
【００８６】
そして、上記のようにして取得された動き補正処理の施された第１の蛍光画像信号ＩＦ（ｏｌｄ）（以下、「第３の蛍光画像信号ＩＦ’（ｏｌｄ）」という）および第２の蛍光画像信号ＩＦ（ｎｅｗ）が、画像処理部３３の血管抽出部３３ｅに入力される。そして、血管抽出部３３ｅにおいて各蛍光画像信号に対して血管抽出処理が施される（図６のＳ１８，Ｓ２０）。
【００８７】
血管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１２に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。
【００８８】
図１２に示すように、まず、第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１２のＳ５０〜Ｓ５４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。
【００８９】
そして、フィルタ処理済の第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれについて、濃度勾配の大きさと方向が計算される（図１２のＳ５６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１２のＳ５８）。
【００９０】
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１２のＳ６０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１２のＳ６２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。
【００９１】
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。
【００９２】
また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによって血管抽出を行うようにしたが、これに限らず、血管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。
【００９３】
上記のようにして血管抽出処理を行うことによって、第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれについて現在血管蛍光画像信号および過去血管蛍光画像信号が生成される。
【００９４】
そして、次に、血管抽出部３３ｅにおいて生成された現在血管蛍光画像信号および過去血管蛍光画像信号が合成され、合成血管蛍光画像信号が生成される（図６のＳ２２）。
【００９５】
血管抽出部３３ｅにおいて生成された合成血管蛍光画像信号と第２の通常画像信号ＩＶ（ｎｏｗ）とが画像合成部３３ｆに出力され、画像合成部３３ｆにおいて、第２の通常画像信号ＩＶ（ｎｏｗ）に対して合成血管蛍光画像信号が合成されて合成画像信号が生成される（図６のＳ２４）。
【００９６】
そして、画像合成部３３ｆにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。
【００９７】
そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。図１３に、合成画像信号に基づいて表示された合成画像の一例を示す。
【００９８】
上記のように現在の通常画像信号に対して、現在の蛍光画像信号だけでなく、ＩＣＧが被観察部の血管中を流れていた時点において撮像された過去の蛍光画像信号も合成して合成画像を表示することによって血管画像を明確に表示することができる。
【００９９】
次に、現在の通常画像信号に合成する過去の蛍光画像信号の選択方法について説明する。
【０１００】
過去の蛍光画像信号の選択方法の１つとして、たとえば、モニタ４に現在の蛍光画像を時系列に順次表示している際、図１４に示すように、その蛍光画像上で関心領域Ｒを設定し、多数の過去の蛍光画像信号のうちその関心領域内の画素値情報が最大である蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）として選択するようにすればよい。関心領域Ｒの設定は、たとえば、操作者がＩＣＧの蛍光が強く出ていたと考える領域を操作部３６からの設定入力をＣＰＵ３８によって受け付けることによって行うようにすればよい。また、画素値情報としては、たとえば、関心領域内の画素値の最大値、平均値などを用いるようにすればよい。また、蛍光画像上で関心領域を直接設定するのではなく、通常画像上で関心領域を設定し、その関心領域を蛍光画像上に対応させることによって間接的に蛍光画像上の関心領域を設定するようにしてもよい。
【０１０１】
また、関心領域の設定は、モニタ４に時系列に順次表示されている通常画像上で行うようにしてもよい。
【０１０２】
また、図１５に示すように、モニタ４に現在の蛍光画像を時系列に順次表示している際、所定のタイミングで表示された蛍光画像を選択することができる選択ボタンＳを表示させ、この選択ボタンＳをマウスなどのポインティングデバイスによって操作者が押下した信号をＣＰＵ３８により受け付けることによって、そのタイミングに表示された蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）として選択するようにしてもよい。
【０１０３】
また、図１６に示すように、モニタ４に現在の蛍光画像を時系列に順次表示するとおもに、過去の多数の蛍光画像Ｐ１〜Ｐ６もサムネイル画像として同時に表示し、これらの過去の蛍光画像Ｐ１〜Ｐ６の中からフレーム枠Ｆなどによって操作者が所望の蛍光画像を選択し、その選択信号をＣＰＵ３８により受け付けることによって操作者により選択された蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）とするようにしてもよい。
【０１０４】
なお、上記実施形態においては、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて被観察部の動き特徴量を取得するようにしたが、これは通常画像信号の方が、感度が高くフレームレートも高いため動きへの追従性が高いからであるとともに、通常画像信号の方が散乱が少なくぼけていないからであるが、被観察部の動きがそれほど激しいものではない場合などには、第１の蛍光画像信号ＩＦ（ｏｌｄ）と第２の蛍光画像信号ＩＦ（ｎｅｗ）とに基づいて動き特徴量を取得するようにしてもよい。その取得方法は、上述した通常画像信号の場合とほぼ同様である。
【０１０５】
また、上記実施形態においては、合成対象となる過去の蛍光画像信号ＩＦ（ｏｌｄ）を１つだけ選択するようにしたが、たとえば、動脈と静脈とではＩＣＧが通過するタイミングが異なり、すなわち蛍光が強くなるタイミングが異なるので、動脈が強く蛍光を発しているタイミングで撮像された過去の蛍光画像信号と、静脈が強く蛍光を発しているタイミングで撮像された過去の蛍光画像信号との２つを選択し、これらに動き補正処理を施した後、現在の通常画像信号ＩＶ（ｎｅｗ）に合成するようにしてもよい。また、その他２つ以上の過去の蛍光画像信号を合成するようにしてもよい。
【０１０６】
また、上記実施形態においては、通常光源としてキセノンランプを用いるようにしたが、これに限らず、ＧａＮ系半導体レーザーを用いた高輝度白色光源(商品名：マイクロホワイト、日亜化学工業（株）製)を用いるようにしてもよい。この高輝度白色光源は、波長４４５ｎｍの半導体レーザーから出射する光を，光学レンズを用いて光ファイバーに導光し，蛍光体材料を塗布した光ファイバーのもう一方の端面から，全光束が５０１ｎｍの白色光を放出させるものである。
【０１０７】
また、上記実施形態においては、特殊光源としてＬＤ光源を用いるようにしたが、これに限らず、キセノンランプに励起フィルタを付加し、通常光と特殊光とを時系列に照射するようにしてもよい。
【０１０８】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【０１０９】
また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【０１１０】
また、上記実施形態は、本発明の画像取得装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【０１１１】
１ 腹腔鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
３０ 硬質挿入部
３３ 画像処理部
３３ａ 通常画像処理部
３３ｂ 動き特徴量取得部
３３ｃ 蛍光画像処理部
３３ｄ 補正部
３３ｅ 血管抽出部
３３ｆ 画像合成部
４０ 通常光源
４４ ＬＤ光源
【技術分野】
【０００１】
本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とに基づいて合成画像を取得する画像取得方法および装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
【０００５】
そして、たとえば、特許文献１に記載の蛍光内視鏡システムにおいては、通常画像と自家蛍光画像とをモニタ上に切り替えて表示することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０４９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の蛍光内視鏡システムのように、通常画像と蛍光画像とを切り替えて表示すれば２つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり通常画像上のどの位置に血管が存在するのかを正確に判断することができない。そこで、通常画像と蛍光画像とを合成して表示することが考えられる。
【０００８】
しかしながら、上述したようなＩＣＧを用いた血管画像の観察を行う場合、血中のＩＣＧは血流の動態により、観察に十分な強度で蛍光を発する時間が短い。したがって、現在撮像している通常画像と蛍光画像とを単に合成したのでは、既にＩＣＧが流れてしまった後であり、合成画像にＩＣＧの蛍光が十分に現れていない場合がある。また、たとえば静脈や動脈といった部位によって発光のタイミングが異なるため、複数の関心部位を一度に観察することができない。
【０００９】
また、通常画像と蛍光画像とを合成する際、これらの画像を撮像したタイミングが異なる場合には、拍動によって被観察部の形態が異なるものとなるため、血管画像にずれが生じてしまい適切な合成画像を表示することができない。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とに基づいて、合成画像を取得する画像取得方法および装置において、十分な強度の特殊画像を通常画像に合成した合成画像を取得することができるとともに、画像ずれのない適切な合成画像を取得することができる画像取得方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像取得方法は、通常光の被観察部への照射によって被観察部から反射された反射光を受光して所定の間隔で撮像された複数の通常画像と、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像とを取得し、複数の通常画像のうちの第１の時点に撮像された第１の通常画像または複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第１の時点よりも後の第２の時点に撮像された第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、その取得した動き特徴量に基づいて、複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、その取得した第３の特殊画像と第２の通常画像とを合成して合成画像を取得することを特徴とする。
【００１２】
本発明の画像取得装置は、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するとともに、特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、撮像部によって取得された複数の通常画像のうちの少なくとも１つの第１の時点に撮像された第１の通常画像または複数の特殊画像のうちの少なくとも１つの第１の時点に撮像された第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第１の時点よりも後の第２の時点に撮像された第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得する動き特徴量取得部と、動き取得部により取得された動き特徴量に基づいて、複数の特殊画像のうちの第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得する動き補正部と、動き補正部により取得された第３の特殊画像と第２の通常画像とを合成して合成画像を取得する合成画像取得部とを備えたことを特徴とする。
【００１３】
また、本発明の画像取得装置においては、撮像部により撮像された複数の特殊画像を時系列で順次表示する表示部と、表示部に順次表示される複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択する信号を受け付ける選択信号受付部とを設けることができる。
【００１４】
また、所定の通常画像または所定の特殊画像における関心領域の設定を受け付ける関心領域受付部と、所定の通常画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号または所定の特殊画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号に基づいて第１の特殊画像を選択する過去画像選択部とを設けることができる。
【００１５】
また、撮像部により撮像された複数の特殊画像を同時に表示する表示部と、表示部に同時に表示された複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択する信号を受け付ける選択信号受付部とを設けることができる。
【００１６】
また、第３の特殊画像から被観察部に含まれる管部分を表す画像を抽出する管画像抽出部をさらに設け、合成画像取得部を、管画像抽出部により抽出された管部分を表す画像と第２の通常画像とを合成して合成画像を取得するものとすることができる。
【００１７】
また、合成画像取得部を、第３の特殊画像および第２の特殊画像と第２の通常画像とを合成して合成画像を取得するものとすることができる。
【００１８】
また、第１の特殊画像として複数のものを用いることができる。
【発明の効果】
【００１９】
本発明の画像取得方法および装置によれば、第１の時点に撮像された第１の通常画像または第１の特殊画像を取得するとともに、第１の時点よりも後の第２の時点に撮像された第２の通常画像または第２の特殊画像を取得し、第１の通常画像の被観察部から第２の通常画像の被観察部への動きの変化を示す動き特徴量または第１の特殊画像の被観察部から第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、その取得した動き特徴量に基づいて、第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、その取得した第３の特殊画像と第２の通常画像とを合成して合成画像を取得するようにしたので、十分な強度の特殊画像を通常画像に合成した合成画像を取得することができるとともに、画像ずれのない適切な合成画像を取得することができる。
【００２０】
すなわち、たとえば、ＩＣＧを用いた血管画像の観察を行う場合、ＩＣＧが被観察部を通過する第１の時点における第１の特殊画像を取得し、この第１の特殊画像に対して動き補正を施した第３の特殊画像を第１の時点よりも後の第２の時点に撮像された第２の通常画像に合成するようにしたので、ＩＣＧの発光の強度が十分な特殊画像を通常画像に合成した合成画像を取得することができるとともに、血管画像にずれのない適切な合成画像を取得することができる。
【００２１】
また、本発明の画像取得装置において、撮像部により撮像された複数の特殊画像を時系列で順次表示させ、その順次表示される複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択するようにした場合には、操作者が合成対象としたい所望の特殊画像を容易に選択することができる。
【００２２】
また、所定の通常画像または所定の特殊画像における関心領域の設定を受け付け、所定の通常画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号または所定の特殊画像において設定された関心領域に対応する複数の特殊画像の各関心領域内の画素信号に基づいて第１の特殊画像を選択するようにした場合には、操作者が意識することなく自動的に装置が適切な合成対象の画像を選択することができるので、操作者の手間を省くことができる。
【００２３】
また、撮像部により撮像された複数の特殊画像を同時に表示し、その同時に表示された複数の特殊画像のうちの少なくとも１つの特殊画像を第１の特殊画像として選択するようにした場合には、過去の画像同志を比較しながら、より適切な合成対象の画像を選択することができる。
【００２４】
また、第３の特殊画像だけでなく、第２の特殊画像も第２の通常画像に合成して合成画像を取得するようにした場合には、第２の時点の特殊画像の発光状態も反映させた合成画像を取得することができる。
【００２５】
また、第１の特殊画像として複数のものを用いるようにした場合には、たとえば、第１の特殊画像として、互いに発光タイミングが異なる動脈の特殊画像と静脈の特殊画像とを取得し、これらを通常画像に合成した合成画像を取得することができるので、複数の関心部位を一度に観察することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の画像取得装置の一実施形態を用いた腹腔鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】過去の蛍光画像信号に動き補正を施した後、現在の通常画像信号に合成する作用を説明するためのフローチャート
【図７】動き特徴量の取得方法を説明するためのフローチャート
【図８】特徴点の一例を示す図
【図９】マッチング演算処理の作用を説明するための図
【図１０】動き補正処理を説明するための図
【図１１】動き補正処理後の蛍光画像信号の矩形領域の一例を示す図
【図１２】エッジ検出を用いた線分抽出処理を説明するためのフローチャート
【図１３】合成画像の一例を示す図
【図１４】蛍光画像上における関心領域の設定を説明するための図
【図１５】選択ボタンの表示態様の一例を示す図
【図１６】過去の蛍光画像のサムネイル画像の表示態様の一例を示す図
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。
【００２８】
本実施形態の腹腔鏡システム１は、図１に示すように、白色の通常光および特殊光を同時に射出する光源装置２と、光源装置２から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および合成画像を表示するモニタ４とを備えている。
【００２９】
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００３０】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００３１】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００３２】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３３】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３４】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および特殊光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。
【００３５】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３６】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３７】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
【００３８】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
【００３９】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００４０】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００４１】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００４２】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４３】
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４４】
画像処理部３３は、図５に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された２つのフレームの通常画像信号に基づいて、被観察部の動き特徴量を取得する動き特徴量取得部３３ｂと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｃと、過去に撮像された蛍光画像信号に対して、上記動き特徴量に基づいて動き補正を施す動き補正部３３ｄと、動き補正部３３ｄによって動き補正の施された過去の蛍光画像信号と現在の蛍光画像信号に対して、血管を表す画像信号を抽出する処理を施す血管抽出部３３ｅと、過去の蛍光画像信号から抽出された血管を表す画像信号（以下、「過去血管蛍光画像信号」という）と現在の蛍光画像信号から抽出された血管を表す画像信号（以下、「現在血管蛍光画像信号」という）とを、通常画像処理部３３ａから出力された通常画像信号に合成して合成画像信号を生成する画像合成部３３ｆとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。
【００４５】
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００４６】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００４７】
光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。
【００４８】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光りＬ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００４９】
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、特殊光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００５０】
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
【００５１】
次に、本実施形態の腹腔鏡システムの作用について説明する。
【００５２】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００５３】
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００５４】
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００５５】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００５６】
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００５７】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。なお、本実施形態においては、通常画像は３０ｆｐｓのフレームレートで撮像されるものとする。
【００５８】
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００５９】
一方、蛍光像の撮像の際には、特殊光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６０】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。なお、本実施形態においては、通常画像は５〜１０ｆｐｓのフレームレートで撮像されるものとする。
【００６１】
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６２】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および合成画像を表示する作用について、図５から図１５を参照しながら説明する。
【００６３】
まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００６４】
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００６５】
また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｃにおいて所定の画像処理が施された後、ビデオ出力部３５に順次出力される。
【００６６】
そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。
【００６７】
次に、通常画像信号および蛍光画像信号を合成して合成画像を表示する作用について説明する。
【００６８】
ここで、本実施形態の腹腔鏡システムにおいては、上述したように被観察部の血管中を流れるＩＣＧの蛍光を撮像するが、ＩＣＧは血管の同一箇所に留まっているわけではなく血流とともに流れるものであるので、現在撮像している通常画像信号と蛍光画像信号とを単に合成したのでは、既にＩＣＧが流れてしまった後であり、現在の蛍光画像信号にＩＣＧの蛍光が十分に現れていない場合がある。
【００６９】
そこで、本実施形態の腹腔鏡システムにおいては、現在の通常画像信号に対して、現在の蛍光画像信号だけでなく、ＩＣＧが被観察部の血管中を流れていた時点において撮像された過去の蛍光画像信号も合成する。
【００７０】
そして、さらに、過去の蛍光画像信号を現在の通常画像信号に合成する際、過去の蛍光画像信号を撮像したときの被観察部の形態と現在の通常画像信号を撮像したときの被観察部の形態とが拍動によって異なる形態となっている場合があり、このような場合に過去の蛍光画像信号と現在の通常画像信号とをそのまま合成したのでは血管の画像にずれが生じて適切な合成画像を生成することができない。
【００７１】
そこで、本実施形態の腹腔鏡システムにおいては、上記のような血管画像のずれが生じないように過去の蛍光画像信号に動き補正を施すようにしている。
【００７２】
以下に、過去の蛍光画像信号に動き補正を施した後、現在の通常画像信号に合成する作用についてより詳細に説明する。
【００７３】
まず、上述したように、画像処理装置３のメモリ３４には、撮像ユニット２０において所定間隔を空けて時系列に撮像された多数の通常画像信号と蛍光画像信号とが記憶されている。
【００７４】
そして、図６に示すように、メモリ３４に記憶された多数の過去の蛍光画像信号のうち、ＩＣＧの蛍光が適切に現れていると思われる１つの蛍光画像信号を第１の蛍光画像信号ＩＦ（ｏｌｄ）として取得する（図６のＳ１０）。なお、この第１の蛍光画像信号ＩＦ（ｏｌｄ）の選択方法については、後で詳述する。
【００７５】
一方、メモリ３４に記憶された多数の過去の通常画像信号のうち、Ｓ１０で選択した第１の蛍光画像信号ＩＦ（ｏｌｄ）と同じ時点において撮像された１つの通常画像信号を第１の通常画像信号ＩＶ（ｏｌｄ）として取得する（図６のＳ１２）。なお、上述したように、通常画像信号と蛍光画像信号の撮像間隔（フレームレート）は、互いに異なるものであるが、これらの位相は合っているものとする。すなわち、蛍光画像信号の方が撮像間隔が長いので、蛍光画像信号が撮像されているタイミングで通常画像信号も必ず撮像されているものとする。そして、同じ撮像タイミングで撮像された通常画像信号と蛍光画像信号とは対応付けがされてメモリ３４に記憶されているものとする。
【００７６】
そして、上記のようにして取得した第１の通常画像信号ＩＶ（ｏｌｄ）と現在の通常画像信号ＩＶ（ｎｅｗ）（以下、「第２の通常画像信号ＩＶ（ｎｅｗ）」という）とが、動き特徴量取得部３３ｂに入力される。そして、動き特徴量取得部３３ｂにおいて、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて、被観察部の動き特徴量が算出される（図６のＳ１４）。
【００７７】
以下、動き特徴量の算出方法について、図７のフローチャートを参照しながら詳細に説明する。
【００７８】
まず、上述したように、動き特徴量取得部３３ｂにおいて、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）が取得される（図７のＳ３０）。そして、カラー画像信号である第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して、グレー画像処理が施されてグレー画像信号に変換される（図７のＳ３２）。次に、グレー画像信号である第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して、コントラスト強調処理が施される（図７のＳ３４）。このようにグレー画像処理およびコントラスト強調処理を施すのは、後述する特徴点抽出処理において特徴点を抽出しやすくするためである。
【００７９】
そして、次に、コントラスト強調処理の施された第１および第２の通常画像信号ＩＶ（ｏｌｄ），ＩＶ（ｎｅｗ）に対して多重解像度画像生成処理が施され、それぞれの通常画像信号について、種々の解像度の通常画像信号が生成される（図７のＳ３６）。なお、以下、第１の通常画像信号ＩＶ（ｏｌｄ）に基づいて生成された種々の解像度の通常画像信号を第１の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍとし、第２の通常画像信号ＩＶ（ｎｅｗ）に基づいて生成された種々の解像度の通常画像信号を第２の多重解像度信号ＩＶ（ｎｅｗ）１〜ｎとする。このように多重解像度画像生成処理を行うのは、後述する特徴点抽出処理において、荒い解像度の多重解像度画像信号を用いて大まかな特徴点を抽出し、細かい解像度の多重解像度画像信号を用いて細かい特徴点を抽出するためである。
【００８０】
そして、上記のようにして生成された第１および第２の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍ，ＩＶ（ｎｅｗ）１〜ｎに対して、ノイズ除去のための平滑化処理が施される（図７のＳ３８）。
【００８１】
次に、平滑化処理の施された第１および第２の多重解像度画像信号ＩＶ（ｏｌｄ）１〜ｍ，ＩＶ（ｎｅｗ）１〜ｎに対して特徴点抽出処理が施され、各多重解像度画像信号について特徴点が抽出される（図７のＳ４０）。特徴点抽出処理としては、たとえば、Hessain手法やHarris手法を用いた、いわゆるコーナー抽出法を用いることができる。または、DOG（Difference of Gaussian）やHOG(Histograms of Oriented Gradients)を用いて特徴点を抽出するようにしてもよい。これらの特徴点抽出の手法については公知であるので詳細な説明は省略する。図８に、特徴点抽出処理によって特徴点が抽出された多重解像度画像の１つの例を示す。
【００８２】
そして、次に、第１の通常画像信号ＩＶ（ｏｌｄ）について抽出された特徴点と、第２の通常画像信号ＩＶ（ｎｅｗ）について抽出された特徴点と対して、マッチング演算処理が施される（図７のＳ４２）。マッチング演算処理とは、第１の通常画像信号ＩＶ（ｏｌｄ）の特徴点と第２の通常画像信号ＩＶ（ｎｅｗ）とで対応する特徴点の組を検出する演算処理である。具体的には、たとえば、一方の通常画像信号における所定の特徴点と、他方の通常画像信号における全ての特徴点間のユークリッド距離をそれぞれ演算し、そのユークリッド距離が最小となる２つの特徴点を対応する特徴点の組として検出するようにすればよい。図９に、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）との間で対応する特徴点を直線で示した模式図を示す。
【００８３】
そして、上記のマッチング演算処理の結果に基づいて、第１の通常画像信号ＩＶ（ｏｌｄ）の各特徴点から第２の通常画像信号ＩＶ（ｎｅｗ）の対応する特徴点までの方向を示す動きベクトルが動き特徴量として算出される（図７のＳ４４）。
【００８４】
上記のようにして第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて、被観察部の動き特徴量が算出される（図６のＳ１４）。
【００８５】
次に、動き特徴量取得部３３ｂにおいて取得された動き特徴量は、動き補正部３３ｄに出力される。そして、動き補正部３３ｄは、入力された動き特徴量に基づいて、第１の蛍光画像信号ＩＦ（ｏｌｄ）に対して、動き補正処理を施す（図６のＳ１６）。具体的には、まず、図１０に示すように、第１の蛍光画像信号ＩＦ（ｏｌｄ）を所定の大きさの矩形領域に区分するとともに、第１の蛍光画像信号ＩＦ（ｏｌｄ）に対し第１の通常画像信号ＩＶ（ｏｌｄ）の各特徴点とその動きベクトルとを対応づける。そして、各矩形領域のコーナーＧ近傍に存在する特徴点Ｄの中で最も評価値の高い特徴点Ｄの動きベクトルに基づいて各矩形領域を変形することによって第１の蛍光画像信号ＩＦ（ｏｌｄ）を変形する。図１１に、変形後の矩形領域およびそのコーナーＧ’の一例を示す。
【００８６】
そして、上記のようにして取得された動き補正処理の施された第１の蛍光画像信号ＩＦ（ｏｌｄ）（以下、「第３の蛍光画像信号ＩＦ’（ｏｌｄ）」という）および第２の蛍光画像信号ＩＦ（ｎｅｗ）が、画像処理部３３の血管抽出部３３ｅに入力される。そして、血管抽出部３３ｅにおいて各蛍光画像信号に対して血管抽出処理が施される（図６のＳ１８，Ｓ２０）。
【００８７】
血管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１２に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。
【００８８】
図１２に示すように、まず、第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１２のＳ５０〜Ｓ５４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。
【００８９】
そして、フィルタ処理済の第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれについて、濃度勾配の大きさと方向が計算される（図１２のＳ５６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１２のＳ５８）。
【００９０】
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１２のＳ６０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１２のＳ６２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。
【００９１】
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。
【００９２】
また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによって血管抽出を行うようにしたが、これに限らず、血管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。
【００９３】
上記のようにして血管抽出処理を行うことによって、第２の蛍光画像信号ＩＦ（ｎｅｗ）および第３の蛍光画像信号ＩＦ’（ｏｌｄ）のそれぞれについて現在血管蛍光画像信号および過去血管蛍光画像信号が生成される。
【００９４】
そして、次に、血管抽出部３３ｅにおいて生成された現在血管蛍光画像信号および過去血管蛍光画像信号が合成され、合成血管蛍光画像信号が生成される（図６のＳ２２）。
【００９５】
血管抽出部３３ｅにおいて生成された合成血管蛍光画像信号と第２の通常画像信号ＩＶ（ｎｏｗ）とが画像合成部３３ｆに出力され、画像合成部３３ｆにおいて、第２の通常画像信号ＩＶ（ｎｏｗ）に対して合成血管蛍光画像信号が合成されて合成画像信号が生成される（図６のＳ２４）。
【００９６】
そして、画像合成部３３ｆにおいて生成された合成画像信号は、ビデオ出力部３５に出力される。
【００９７】
そして、ビデオ出力部３５は、入力された合成画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。図１３に、合成画像信号に基づいて表示された合成画像の一例を示す。
【００９８】
上記のように現在の通常画像信号に対して、現在の蛍光画像信号だけでなく、ＩＣＧが被観察部の血管中を流れていた時点において撮像された過去の蛍光画像信号も合成して合成画像を表示することによって血管画像を明確に表示することができる。
【００９９】
次に、現在の通常画像信号に合成する過去の蛍光画像信号の選択方法について説明する。
【０１００】
過去の蛍光画像信号の選択方法の１つとして、たとえば、モニタ４に現在の蛍光画像を時系列に順次表示している際、図１４に示すように、その蛍光画像上で関心領域Ｒを設定し、多数の過去の蛍光画像信号のうちその関心領域内の画素値情報が最大である蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）として選択するようにすればよい。関心領域Ｒの設定は、たとえば、操作者がＩＣＧの蛍光が強く出ていたと考える領域を操作部３６からの設定入力をＣＰＵ３８によって受け付けることによって行うようにすればよい。また、画素値情報としては、たとえば、関心領域内の画素値の最大値、平均値などを用いるようにすればよい。また、蛍光画像上で関心領域を直接設定するのではなく、通常画像上で関心領域を設定し、その関心領域を蛍光画像上に対応させることによって間接的に蛍光画像上の関心領域を設定するようにしてもよい。
【０１０１】
また、関心領域の設定は、モニタ４に時系列に順次表示されている通常画像上で行うようにしてもよい。
【０１０２】
また、図１５に示すように、モニタ４に現在の蛍光画像を時系列に順次表示している際、所定のタイミングで表示された蛍光画像を選択することができる選択ボタンＳを表示させ、この選択ボタンＳをマウスなどのポインティングデバイスによって操作者が押下した信号をＣＰＵ３８により受け付けることによって、そのタイミングに表示された蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）として選択するようにしてもよい。
【０１０３】
また、図１６に示すように、モニタ４に現在の蛍光画像を時系列に順次表示するとおもに、過去の多数の蛍光画像Ｐ１〜Ｐ６もサムネイル画像として同時に表示し、これらの過去の蛍光画像Ｐ１〜Ｐ６の中からフレーム枠Ｆなどによって操作者が所望の蛍光画像を選択し、その選択信号をＣＰＵ３８により受け付けることによって操作者により選択された蛍光画像信号を合成対象の過去の蛍光画像信号ＩＦ（ｏｌｄ）とするようにしてもよい。
【０１０４】
なお、上記実施形態においては、第１の通常画像信号ＩＶ（ｏｌｄ）と第２の通常画像信号ＩＶ（ｎｅｗ）とに基づいて被観察部の動き特徴量を取得するようにしたが、これは通常画像信号の方が、感度が高くフレームレートも高いため動きへの追従性が高いからであるとともに、通常画像信号の方が散乱が少なくぼけていないからであるが、被観察部の動きがそれほど激しいものではない場合などには、第１の蛍光画像信号ＩＦ（ｏｌｄ）と第２の蛍光画像信号ＩＦ（ｎｅｗ）とに基づいて動き特徴量を取得するようにしてもよい。その取得方法は、上述した通常画像信号の場合とほぼ同様である。
【０１０５】
また、上記実施形態においては、合成対象となる過去の蛍光画像信号ＩＦ（ｏｌｄ）を１つだけ選択するようにしたが、たとえば、動脈と静脈とではＩＣＧが通過するタイミングが異なり、すなわち蛍光が強くなるタイミングが異なるので、動脈が強く蛍光を発しているタイミングで撮像された過去の蛍光画像信号と、静脈が強く蛍光を発しているタイミングで撮像された過去の蛍光画像信号との２つを選択し、これらに動き補正処理を施した後、現在の通常画像信号ＩＶ（ｎｅｗ）に合成するようにしてもよい。また、その他２つ以上の過去の蛍光画像信号を合成するようにしてもよい。
【０１０６】
また、上記実施形態においては、通常光源としてキセノンランプを用いるようにしたが、これに限らず、ＧａＮ系半導体レーザーを用いた高輝度白色光源(商品名：マイクロホワイト、日亜化学工業（株）製)を用いるようにしてもよい。この高輝度白色光源は、波長４４５ｎｍの半導体レーザーから出射する光を，光学レンズを用いて光ファイバーに導光し，蛍光体材料を塗布した光ファイバーのもう一方の端面から，全光束が５０１ｎｍの白色光を放出させるものである。
【０１０７】
また、上記実施形態においては、特殊光源としてＬＤ光源を用いるようにしたが、これに限らず、キセノンランプに励起フィルタを付加し、通常光と特殊光とを時系列に照射するようにしてもよい。
【０１０８】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【０１０９】
また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【０１１０】
また、上記実施形態は、本発明の画像取得装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【０１１１】
１ 腹腔鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
３０ 硬質挿入部
３３ 画像処理部
３３ａ 通常画像処理部
３３ｂ 動き特徴量取得部
３３ｃ 蛍光画像処理部
３３ｄ 補正部
３３ｅ 血管抽出部
３３ｆ 画像合成部
４０ 通常光源
４４ ＬＤ光源
【特許請求の範囲】
【請求項１】
通常光の被観察部への照射によって前記被観察部から反射された反射光を受光して所定の間隔で撮像された複数の通常画像と、特殊光の前記被観察部への照射によって前記被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像とを取得し、
前記複数の通常画像のうちの第１の時点に撮像された第１の前記通常画像または前記複数の特殊画像のうちの第１の時点に撮像された第１の前記特殊画像を取得するとともに、前記第１の時点よりも後の第２の時点に撮像された第２の前記通常画像または前記第１の時点よりも後の第２の時点に撮像された第２の前記特殊画像を取得し、
前記第１の通常画像の被観察部から前記第２の通常画像の被観察部への動きの変化を示す動き特徴量または前記第１の特殊画像の被観察部から前記第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、
該取得した動き特徴量に基づいて、前記複数の特殊画像のうちの前記第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、
該取得した第３の特殊画像と前記第２の通常画像とを合成して合成画像を取得することを特徴とする画像取得方法。
【請求項２】
通常光および特殊光を被観察部に照射する光照射部と、
前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するとともに、前記特殊光の照射によって前記被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、
該撮像部によって取得された複数の通常画像のうちの少なくとも１つの第１の時点に撮像された第１の前記通常画像または前記複数の特殊画像のうちの少なくとも１つの第１の時点に撮像された第１の前記特殊画像を取得するとともに、前記第１の時点よりも後の第２の時点に撮像された第２の前記通常画像または前記第１の時点よりも後の第２の時点に撮像された第２の前記特殊画像を取得し、前記第１の通常画像の被観察部から前記第２の通常画像の被観察部への動きの変化を示す動き特徴量または前記第１の特殊画像の被観察部から前記第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得する動き特徴量取得部と、
該動き取得部により取得された動き特徴量に基づいて、前記複数の特殊画像のうちの前記第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得する動き補正部と、
該動き補正部により取得された第３の特殊画像と前記第２の通常画像とを合成して合成画像を取得する合成画像取得部とを備えたことを特徴とする画像取得装置。
【請求項３】
前記撮像部により撮像された前記複数の特殊画像を時系列で順次表示する表示部と、
該表示部に順次表示される前記複数の特殊画像のうちの少なくとも１つの特殊画像を前記第１の特殊画像として選択する信号を受け付ける選択信号受付部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項４】
所定の前記通常画像または前記所定の特殊画像における関心領域の設定を受け付ける関心領域受付部と、
前記所定の通常画像において設定された関心領域に対応する前記複数の特殊画像の各関心領域内の画素信号または前記所定の特殊画像において設定された関心領域に対応する前記複数の特殊画像の各関心領域内の画素信号に基づいて前記第１の特殊画像を選択する過去画像選択部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項５】
前記撮像部により撮像された前記複数の特殊画像を同時に表示する表示部と、
該表示部に同時に表示された前記複数の特殊画像のうちの少なくとも１つの特殊画像を前記第１の特殊画像として選択する信号を受け付ける選択信号受付部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項６】
前記第３の特殊画像から前記被観察部に含まれる管部分を表す画像を抽出する管画像抽出部をさらに備え、
前記合成画像取得部は、前記管画像抽出部により抽出された管部分を表す画像と前記第２の通常画像とを合成して合成画像を取得するものであることを特徴とする請求項１から５いずれか１項記載の画像取得装置。
【請求項７】
前記合成画像取得部が、前記第３の特殊画像および前記第２の特殊画像と前記第２の通常画像とを合成して合成画像を取得するものであることを特徴とする請求項１から６いずれか１項記載の画像取得装置。
【請求項８】
前記第１の特殊画像が複数であることを特徴とする請求項１から７いずれか１項記載の画像取得装置。
【請求項１】
通常光の被観察部への照射によって前記被観察部から反射された反射光を受光して所定の間隔で撮像された複数の通常画像と、特殊光の前記被観察部への照射によって前記被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像とを取得し、
前記複数の通常画像のうちの第１の時点に撮像された第１の前記通常画像または前記複数の特殊画像のうちの第１の時点に撮像された第１の前記特殊画像を取得するとともに、前記第１の時点よりも後の第２の時点に撮像された第２の前記通常画像または前記第１の時点よりも後の第２の時点に撮像された第２の前記特殊画像を取得し、
前記第１の通常画像の被観察部から前記第２の通常画像の被観察部への動きの変化を示す動き特徴量または前記第１の特殊画像の被観察部から前記第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得し、
該取得した動き特徴量に基づいて、前記複数の特殊画像のうちの前記第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得し、
該取得した第３の特殊画像と前記第２の通常画像とを合成して合成画像を取得することを特徴とする画像取得方法。
【請求項２】
通常光および特殊光を被観察部に照射する光照射部と、
前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するとともに、前記特殊光の照射によって前記被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、
該撮像部によって取得された複数の通常画像のうちの少なくとも１つの第１の時点に撮像された第１の前記通常画像または前記複数の特殊画像のうちの少なくとも１つの第１の時点に撮像された第１の前記特殊画像を取得するとともに、前記第１の時点よりも後の第２の時点に撮像された第２の前記通常画像または前記第１の時点よりも後の第２の時点に撮像された第２の前記特殊画像を取得し、前記第１の通常画像の被観察部から前記第２の通常画像の被観察部への動きの変化を示す動き特徴量または前記第１の特殊画像の被観察部から前記第２の特殊画像の被観察部への動きの変化を示す動き特徴量を取得する動き特徴量取得部と、
該動き取得部により取得された動き特徴量に基づいて、前記複数の特殊画像のうちの前記第１の時点に撮像された第１の特殊画像を補正して第３の特殊画像を取得する動き補正部と、
該動き補正部により取得された第３の特殊画像と前記第２の通常画像とを合成して合成画像を取得する合成画像取得部とを備えたことを特徴とする画像取得装置。
【請求項３】
前記撮像部により撮像された前記複数の特殊画像を時系列で順次表示する表示部と、
該表示部に順次表示される前記複数の特殊画像のうちの少なくとも１つの特殊画像を前記第１の特殊画像として選択する信号を受け付ける選択信号受付部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項４】
所定の前記通常画像または前記所定の特殊画像における関心領域の設定を受け付ける関心領域受付部と、
前記所定の通常画像において設定された関心領域に対応する前記複数の特殊画像の各関心領域内の画素信号または前記所定の特殊画像において設定された関心領域に対応する前記複数の特殊画像の各関心領域内の画素信号に基づいて前記第１の特殊画像を選択する過去画像選択部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項５】
前記撮像部により撮像された前記複数の特殊画像を同時に表示する表示部と、
該表示部に同時に表示された前記複数の特殊画像のうちの少なくとも１つの特殊画像を前記第１の特殊画像として選択する信号を受け付ける選択信号受付部とを備えたことを特徴とする請求項２記載の画像取得装置。
【請求項６】
前記第３の特殊画像から前記被観察部に含まれる管部分を表す画像を抽出する管画像抽出部をさらに備え、
前記合成画像取得部は、前記管画像抽出部により抽出された管部分を表す画像と前記第２の通常画像とを合成して合成画像を取得するものであることを特徴とする請求項１から５いずれか１項記載の画像取得装置。
【請求項７】
前記合成画像取得部が、前記第３の特殊画像および前記第２の特殊画像と前記第２の通常画像とを合成して合成画像を取得するものであることを特徴とする請求項１から６いずれか１項記載の画像取得装置。
【請求項８】
前記第１の特殊画像が複数であることを特徴とする請求項１から７いずれか１項記載の画像取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−６７４８６（Ｐ２０１１−６７４８６Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２２０５３（Ｐ２００９−２２２０５３）
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
[ Back to top ]