画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
【課題】ノイズが低減された画像による狭帯域画像観察を可能とする。
【解決手段】画像処理装置１００は、青の狭帯域光により異なるタイミングで撮像された狭帯域画像ｂ１と狭帯域画像ｂ２とから、いずれか一方を基準画像として狭帯域画像ｂ１と狭帯域画像ｂ２との位置合わせをおこなう。画像処理装置１００は、位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を加算平均処理した合成画像を生成する。画像処理装置１００は、生成した合成画像と、青の狭帯域光より波長が長い緑の狭帯域光により撮像された狭帯域画像ｇとから出力画像を生成する。
【解決手段】画像処理装置１００は、青の狭帯域光により異なるタイミングで撮像された狭帯域画像ｂ１と狭帯域画像ｂ２とから、いずれか一方を基準画像として狭帯域画像ｂ１と狭帯域画像ｂ２との位置合わせをおこなう。画像処理装置１００は、位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を加算平均処理した合成画像を生成する。画像処理装置１００は、生成した合成画像と、青の狭帯域光より波長が長い緑の狭帯域光により撮像された狭帯域画像ｇとから出力画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分光特性の異なる複数の画像から出力画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
従来より、照明光を体腔内の組織に対して照射し、体腔内の内視鏡画像を得る内視鏡システムが広く使用されている。面順次式として知られている内視鏡システムでは、回転フィルタに白色光の光源を透過させることで、Ｒ１、Ｇ１、Ｂ１の３色の照明光を体腔内の組織に対して順次照射する。そして、Ｒ１、Ｇ１、Ｂ１の３色の照明光に対応する反射光画像を取得して、各反射光画像から通常光観察をおこなうためのカラー画像を生成する。
【０００３】
また、回転フィルタを切り替えることで、体腔内の組織に対して前述の３色の照明光とは分光特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射可能とした内視鏡システムの提案がある。この内視鏡システムでは、狭帯域光Ｇ２とＢ２に対応する反射光画像（狭帯域画像）から作成した画像を用いて狭帯域光観察（狭帯域画像観察）をおこなうことができる（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のように狭帯域光を用いて狭帯域画像を取得する内視鏡システムにおいては、通常光観察に使用される照明光と比べて狭帯域光の光量を十分にとることができない場合がある。たとえば、上記狭帯域光Ｂ２は、上記狭帯域光Ｇ２と比較して光量が少ない場合がある。光量が十分でない照明光は、得られる画像のノイズを増加させ、良好な狭帯域画像観察の障害となる。また、たとえ照明光の光量が適当であったとしても、よりノイズが少ない画像を取得することができれば、鮮明な画像から小さな病変をより観察しやすくすることができる。
【０００６】
そこで、本発明は、複数の画像を基に高画質な出力画像が得られる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、前記位置合わせをされた前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、を備えることを特徴とする画像処理装置が提供される。
【０００８】
このように構成することで、異なるタイミングで撮像された複数の第１の分光画像は、位置合わせにより、位置合わせされた画像、たとえば、撮像されたタイミングを揃えた画像として取り扱うことができる。そして、位置合わせされた複数の第１の分光画像の合成により、異なるタイミングで撮像された複数の第１の分光画像に基づく合成画像を得ることができる。そして、合成画像と第２の分光画像とから出力画像を生成することで、異なる分光特性を有する画像から生成する出力画像を高画質とすることができる。
【発明の効果】
【０００９】
上記の画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置によれば、複数の画像を基に高画質な出力画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態の撮像装置の機能構成を示す図である。
【図２】実施の形態の回転フィルタの概観を示す図である。
【図３】実施の形態の光源装置からの出射光の分光特性を示す図である。
【図４】実施の形態の体腔内組織の狭帯域光吸収体の分布構造を示す図である。
【図５】実施の形態の狭帯域画像のイメージ図である。
【図６】実施の形態の画像処理装置のハードウェア構成例を示す図である。
【図７】実施の形態の画像処理装置における画像処理のメインフローチャートである。
【図８】画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図９】実施の形態の動きベクトル演算部の機能ブロック図である。
【図１０】実施の形態の基準画像選択処理のフローチャートである。
【図１１】実施の形態の動きベクトル測定ブロックの設定を示す図である。
【図１２】実施の形態の動きベクトルを示す図である。
【図１３】実施の形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図１４】実施の形態の出力画像のイメージを示す図である。
【図１５】第二の実施形態の基準画像選択処理のフローチャートである。
【図１６】第二の実施形態の動きベクトルを示す図である。
【図１７】第二の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図１８】第三の実施形態の動きベクトルを示す図である。
【図１９】第三の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態を図面を参照して説明する。
図１は、実施の形態の撮像装置の機能構成を示す図である。撮像装置（内視鏡システム）１０は、画像処理装置１００と、光源装置２００と、挿入部３００と、画像表示装置４００とを備える。撮像装置１０は、光源装置２００が発生させる照明光を体腔内の組織に対して照射し、挿入部３００から体腔内の入力画像（内視鏡入力画像）を得て、画像処理装置１００で画像処理した出力画像（内視鏡出力画像）を画像表示装置４００に表示する。
【００１２】
光源装置２００は、白色光源２１０と、回転フィルタ２２０と、フィルタ制御部２３０と、モータ２４０とを備える。白色光源２１０は、白色光を発生する光源（たとえば、キセノン照明）である。回転フィルタ２２０は、第１フィルタ２２１と第２フィルタ２２２を備え、モータ２４０の駆動力で回転することにより、白色光源２１０からの出射光が透過するフィルタを切替可能にしている。フィルタ制御部２３０は、モータ２４０を駆動制御するとともに、フィルタ制御情報（白色光源２１０からの出射光が透過するフィルタを特定可能な情報）を出力する。なお、光源装置２００は、通常光観察のためのＲ、Ｇ、Ｂの３色フィルタ、赤外光観察のための赤外光フィルタ、蛍光観察のための蛍光用フィルタを備えることもできる。
【００１３】
挿入部３００は、体腔への挿入を可能にするため細長くかつ湾曲可能に形成された管状の装置であり、図示しない操作部、接続部とともにビデオスコープを構成する。挿入部３００は、ライトガイドファイバ３１０と、レンズ３２０と、対物レンズ３３０と、撮像素子３４０とを備える。ライトガイドファイバ３１０は、光源装置２００からの出射光を体腔内に導く。レンズ３２０は、ライトガイドファイバ３１０により挿入部３００の先端部まで導かれた出射光を拡散させて体腔内組織５００に照射する。対物レンズ３３０は、観察対象部位となる体腔内組織５００から戻る反射光を撮像素子３４０に集光する。撮像素子３４０は、反射光を検出する。なお、撮像素子３４０にモノクロの撮像素子を用いることで、照明光ごとの画像を合成して高解像度の出力画像を得ることができる。
【００１４】
画像処理装置１００は、制御部１１０と、画像記憶部１２０と、動きベクトル演算部１３０と、位置合わせ処理部１４０と、合成画像生成部１５０と、出力画像生成部１６０とを備える。画像処理装置１００は、撮像素子３４０から出力された画像情報に基づいて画像表示装置４００に表示させるための出力画像を生成する。
【００１５】
制御部１１０は、フィルタ制御部２３０からフィルタ制御情報を入力し、フィルタ制御情報に基づいて画像記憶部１２０、動きベクトル演算部１３０、位置合わせ処理部１４０、合成画像生成部１５０、出力画像生成部１６０を統括的に制御する。
【００１６】
画像記憶部１２０は、撮像素子３４０から出力される画像情報と画像情報に対応するフィルタ制御情報を記憶する。画像記憶部１２０は、予め設定したフィルタ制御情報に対応する記憶領域に画像情報を記憶させる。なお、画像記憶部１２０は、少なくとも出力画像の生成に必要な画像情報として、撮像素子３４０により連続して撮像された少なくとも３枚の画像に対応する画像情報（青の狭帯域画像Ｂ１、緑の狭帯域画像Ｇ、青の狭帯域画像Ｂ２に相当する画像に対応する画像情報）を記憶する。また、記憶する画像情報に対応する撮像タイミングの情報を含めて記憶するようにしてもよい。
【００１７】
動きベクトル演算部１３０は、画像記憶部１２０に記憶された複数の画像を位置合わせするための動きベクトルを算出する。位置合わせ処理部１４０は、動きベクトル演算部１３０により算出された動きベクトルに基づいて画像の位置合わせをおこなう。
【００１８】
合成画像生成部１５０は、位置合わせをした複数の画像の合成画像を生成する。合成画像生成部１５０は、画像に含まれるノイズの除去を目的として、たとえば、複数画像を加算平均して合成画像を生成する。また、差分信号をノイズとして検出して除去することもできる。このように、撮像タイミングの異なる複数の画像情報に基づく画像の合成には、既知の方法を適宜用いることができる。
【００１９】
出力画像生成部１６０は、合成画像生成部１５０が生成した合成画像と、画像記憶部１２０が記憶する画像とを用いて、画像表示装置４００に表示させるための出力画像を生成する。
【００２０】
なお、光源装置２００は、白色光源２１０からの出射光が透過するフィルタの選択により出射光の特性を切り替えたが、ＬＥＤ（Light Emitting Diode：発光ダイオード）照明を用いるなどして予め所望の特性に対応する光源を備えるようにしてもよい。その場合、制御部１１０は、フィルタ制御部２３０からのフィルタ制御情報の入力に代えて、光源の種類を特定可能な光源制御情報を入力とすることができる。
【００２１】
次に、光源装置２００が備える回転フィルタ２２０について詳細に説明する。図２は、実施の形態の回転フィルタの概観を示す図である。図３は、実施の形態の光源装置からの出射光の分光特性を示す図である。
【００２２】
回転フィルタ２２０は、円盤上のプレートに３つの窓を備え、各々の窓は、同一または、略同一の分光特性を有する第１フィルタ２２１ａ、２２１ｂと、第１フィルタ２２１ａ、２２１ｂとは異なる分光特性を有する第２フィルタ２２２を有する。第１フィルタ２２１ａ、２２１ｂは、青の狭帯域光（たとえば、波長３９０ｎｍから４４５ｎｍ）を出射するためのフィルタであり、分光特性２２４を有する。第２フィルタ２２２は、青の狭帯域光よりも波長の長い緑の狭帯域光（たとえば、波長５３０ｎｍから５５０ｎｍ）を出射するためのフィルタであり、分光特性２２５を有する。第１フィルタ２２１ａ、２２１ｂと、第２フィルタ２２２とは、同じような分光透過率であるが、たとえば、キセノン照明を用いた白色光源２１０の周波数成分ごとの分光放射照度２２３が一定にならないため、青の狭帯域光２２６は、緑の狭帯域光２２７と比較して光量が少ない。
【００２３】
また、回転フィルタ２２０は、モータ２４０に駆動されて、１枚の出力画像の生成に要する３枚の入力画像の撮像周期時間で１回転する。したがって、３枚の入力画像の撮像周期時間の間に光路中に位置するフィルタが周期的に切り替わるため、出射光は、第１フィルタ２２１ａを透過した出射光、第１フィルタ２２１ｂを透過した出射光、第２フィルタ２２２を透過した出射光と周期的に切り替わる。そして、３枚の入力画像の撮像周期時間の間に、撮像素子３４０により、第１フィルタ２２１ａを透過した出射光の反射光による画像、第１フィルタ２２１ｂを透過した出射光の反射光による画像、第２フィルタ２２２を透過した出射光の反射光による画像が撮像される。このようにして、撮像された画像は、画像情報として画像記憶部１２０に記憶される。
【００２４】
次に、狭帯域画像（狭帯域光により撮像された画像）について、詳細に説明する。図４は、実施の形態の体腔内組織の狭帯域光吸収体の分布構造を示す図である。図５は、実施の形態の狭帯域画像のイメージ図である。
【００２５】
体腔内組織５００は、たとえば、異なった狭帯域光吸収体の分布構造を深さ方向に持つ場合が多い。体腔内組織５００は、粘膜表面５０１から深さ方向に、粘膜表層部５０２、粘膜深部５０３の構造を持つ。粘膜表層部５０２付近には主に毛細血管５１０が多く分布し、また粘膜表層部５０２より深い粘膜深部５０３中層には、毛細血管５１０のほかに毛細血管５１０より太い深部血管５２０が分布し、さらに深い粘膜深部５０３深層には、さらに太い深部血管５３０が分布する。
【００２６】
一方、体腔内組織５００に対する照射光の深さ方向の深達度は照射光の波長に依存している。青の狭帯域光２２６のように波長が短い光の場合、照射光は、体腔内組織５００での光の吸収特性および散乱特性により粘膜表面５０１付近までしか深達せず、粘膜表面５０１付近で吸収・散乱され、表面から出た反射光が観測される。また、青の狭帯域光２２６より波長が長い緑の狭帯域光２２７の場合、照射光は、青の狭帯域光２２６が深達する粘膜表面５０１付近よりさらに深い範囲まで深達し、深い範囲で吸収・散乱され、再度粘膜表面５０１から出た反射光が観測される。
【００２７】
したがって、第１フィルタ２２１ａ、２２１ｂが光路中に位置する場合には、粘膜表層部５０２付近での組織情報を有する狭帯域画像６０１、６０２が撮像され、画像記憶部１２０に記憶される。そして、第２フィルタ２２２が光路中に位置する場合には、より深い粘膜深部５０３での組織情報を有する狭帯域画像６０３が撮像され、画像記憶部１２０に記憶される。また、狭帯域画像６０１と狭帯域画像６０２とは、異なるタイミングで撮像されるため、撮像タイミングの異なる画像となる。また、狭帯域画像６０１と狭帯域画像６０２とは、被写体である体腔内組織５００や挿入部３００が動いている場合には、撮像位置がずれた画像となる。
【００２８】
次に、本実施の形態の画像処理装置１００のハードウェア構成例を説明する。図６は、実施の形態の画像処理装置のハードウェア構成例を示す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ）１０３、通信インタフェース１０４、グラフィック処理装置１０５、および入出力インタフェース１０６が接続されている。
【００２９】
ＲＡＭ１０２には、本実施の形態に係る発明の実施に必要な各種プログラムが一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、本実施の形態に係る発明の実施に必要な各種プログラムが恒常的に格納される。
【００３０】
通信インタフェース１０４は、ネットワーク１１３に接続されている。通信インタフェース１０４は、ネットワーク１１３を介して、他の外部装置との間でデータの送受信をおこなう。
【００３１】
グラフィック処理装置１０５には、画像表示装置４００が接続されている。グラフィック処理装置１０５は、ＣＰＵ１０１からの命令に従って、画像を画像表示装置４００の画面に表示させる。画像表示装置４００は、たとえば、ＣＲＴディスプレイや液晶ディスプレイなどである。
【００３２】
入出力インタフェース１０６には、光源装置２００と、挿入部３００と、キーボード１１１と、マウス１１２とが接続されている。入出力インタフェース１０６は、光源装置２００から入力されるフィルタ制御情報と、挿入部３００から入力される画像情報とをバス１０７を介してＣＰＵ１０１に送信する。また、入出力インタフェース１０６は、キーボード１１１やマウス１１２から送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。
【００３３】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
次に、実施の形態の画像処理装置１００における画像処理の流れについて説明する。図７は、実施の形態の画像処理装置における画像処理のメインフローチャートである。図８は、画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００３４】
画像処理装置１００は、挿入部３００から入力される画像情報を画像処理して、画像表示装置４００に出力する。画像処理は、画像処理装置１００の制御部１１０が画像記憶部１２０、動きベクトル演算部１３０、位置合わせ処理部１４０、合成画像生成部１５０、出力画像生成部１６０を統括的に制御しておこなう。画像処理は、多くの場合、医師による内視鏡での体腔内の観察（撮像）と同時に実行されるが、たとえば、カプセル内視鏡での体腔内の観察の場合のように、撮像した画像群を画像記録装置から入力して、体腔内の観察と異なるタイミングで実行される場合もある。
【００３５】
画像処理の実行に先立ち、あるいは画像処理と並行して、まず、画像処理装置１００の制御部１１０は、画像処理の対象となる撮像素子３４０で撮像された画像を入力する。そして、制御部１１０は、フィルタ制御部２３０から入力したフィルタ制御情報に基づいて、取り込んだ画像が、第１フィルタ２２１ａ、２２１ｂ、または第２フィルタ２２２のいずれが光路中にあったタイミングに撮像された画像であるかを判断する。制御部１１０は、取り込んだ画像情報を予め設定したフィルタ制御情報に対応する画像記憶部１２０に記憶させる。たとえば、第１フィルタ２２１ａが光路中にあるタイミングＴ１で撮像された狭帯域画像ｂ１は、第１フィルタ２２１ａに対応する記憶領域に記憶される。同様にして、第１フィルタ２２１ｂが光路中にあるタイミングＴ２で撮像された狭帯域画像ｂ２は、第１フィルタ２２１ｂに対応する記憶領域に、第２フィルタ２２２が光路中にあるタイミングＴ３で撮像された狭帯域画像ｇは、第２フィルタ２２２に対応する記憶領域に記憶される。そして、次のタイミングＴ４では、また、第１フィルタ２２１ｂが光路中にあり、撮像された狭帯域画像ｂ１は、第１フィルタ２２１ａに対応する記憶領域に記憶される。
【００３６】
なお、出力画像Ｐ１は、タイミングＴ１、Ｔ２、Ｔ３の入力画像（狭帯域画像ｂ１、ｂ２、ｇ）に基づいて生成される。以下、同様にして、出力画像Ｐ２は、タイミングＴ２、Ｔ３、Ｔ４の入力画像（狭帯域画像ｂ２、ｇ、ｂ１）に基づいて生成される。出力画像Ｐ３は、タイミングＴ３、Ｔ４、Ｔ５の入力画像（狭帯域画像ｇ、ｂ１、ｂ２）に基づいて生成される。出力画像Ｐ４は、タイミングＴ４、Ｔ５、Ｔ６の入力画像（狭帯域画像ｂ１、ｂ２、ｇ）に基づいて生成される。
【００３７】
このようにして、出力画像の生成に必要な画像情報が画像記憶部１２０に記憶された状態（少なくとも、出力画像の生成に必要な画像情報を取得可能な状態）で画像処理が実行される。
【００３８】
画像処理について、図７のメインフローチャートを用いて説明する。
［ステップＳ１１］動きベクトル演算部１３０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を取り込む。
【００３９】
［ステップＳ１２］動きベクトル演算部１３０は、取り込んだ狭帯域画像ｂ１と狭帯域画像ｂ２のうち、一方を位置合わせの基準とする基準画像、他方を基準画像に対して位置合わせする対象画像として設定する。詳細については、後述する。
【００４０】
［ステップＳ１３］動きベクトル演算部１３０は、基準画像１３３上に複数の動きベクトル測定ブロック１３４を設定する（図１１で説明する）。
［ステップＳ１４］動きベクトル演算部１３０は、基準画像１３３上に設定した動きベクトル測定ブロック１３４と対象画像との相関関係を評価して、動きベクトルを算出する。
【００４１】
［ステップＳ１５］位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル（動きベクトル情報）を取り込む。なお、位置合わせ処理部１４０は、動きベクトル演算部１３０が狭帯域画像ｂ１と狭帯域画像ｂ２に設定した基準画像および対象画像の情報を併せて取り込むが、あらためて設定するようにしてもよい。
【００４２】
［ステップＳ１６］位置合わせ処理部１４０は、動きベクトル情報を用いて対象画像を基準画像に位置合わせする。
［ステップＳ１７］合成画像生成部１５０は、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理をおこなう。ここでは、合成処理として、加算平均処理をおこなう場合について説明する。
【００４３】
狭帯域画像ｂ１の座標（ｘ、ｙ）での信号値をＳ１（ｘ、ｙ）、狭帯域画像ｂ２の座標（ｘ、ｙ）での信号値をＳ２（ｘ、ｙ）とすると、加算平均処理後の画像における座標（ｘ、ｙ）での信号値Ｓ（ｘ、ｙ）は、すべての座標に対して（１）式で算出される。
Ｓ（ｘ、ｙ）＝（Ｓ１（ｘ、ｙ）＋Ｓ２（ｘ、ｙ））／２・・・・・・・・・・・（１）
合成画像生成部１５０は、位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を入力として、算出した合成画像を出力する。このようにして得た合成画像は、狭帯域画像ｂ１、ｂ２と比較して、ランダムノイズを減少させることができる。
【００４４】
［ステップＳ１８］出力画像生成部１６０は、合成画像生成部１５０から狭帯域画像ｂ１と狭帯域画像ｂ２の合成画像の画像情報を、画像記憶部１２０から狭帯域画像ｇの画像情報を取り込む。
【００４５】
［ステップＳ１９］出力画像生成部１６０は、取り込んだ画像情報から１フレームの出力画像を生成する。ここでは、たとえば、Ｒ（赤）チャネル、Ｇ（緑）チャネル、Ｂ（青）チャネルの３チャネルのうち、狭帯域画像ｇの画像情報を出力画像のＲチャネルへ、合成画像の画像情報を出力画像のＧチャネルとＢチャネルとへ取り込む。そして、出力画像生成部１６０は、３枚の狭帯域画像（狭帯域画像ｂ１と狭帯域画像ｂ２から生成した２枚の合成画像と、１枚の狭帯域画像ｇ）から１フレームの疑似カラー画像６０４（図１４で説明する）を生成する。この疑似カラー画像６０４は、粘膜表層部５０２および粘膜深部５０３の組織情報を持つ画像である。さらに、出力画像生成部１６０は、疑似カラー画像６０４に対して任意のガンマ変換、エッジ強調、拡大・縮小処理等の後処理をおこない、画像表示装置４００に対して出力画像（出力画像情報）を出力する。
【００４６】
［ステップＳ２０］制御部１１０は、狭帯域画像の観察が終了したと判断すれば、画像処理を終了し、狭帯域画像の観察が継続していると判断すれば、ステップＳ１１にすすむ。なお、狭帯域画像の観察終了の判断は、挿入部３００から入力される画像情報や、フィルタ制御部２３０から入力されるフィルタ制御情報のほか、図示しない操作部からの操作情報に基づいて判断することができる。
【００４７】
なお、出力画像の出力先として、画像表示装置４００に限らず、画像記録装置や画像サーバ、解析用コンピュータなどの機器に設定してもよい。
次に、動きベクトル演算部１３０の機能および動きベクトル演算部１３０がおこなう処理について詳細に説明する。図９は、実施の形態の動きベクトル演算部の機能ブロック図である。図１０は、実施の形態の基準画像選択処理のフローチャートである。図１１は、実施の形態の動きベクトル測定ブロックの設定を示す図である。
【００４８】
動きベクトル演算部１３０は、狭帯域画像ｂ１と狭帯域画像ｂ２とフィルタ制御情報を入力して、動きベクトル情報を出力する。動きベクトル演算部１３０は、動きベクトル測定ブロック設定部１３１と動きベクトル算出部１３２を備える。動きベクトル測定ブロック設定部１３１は、図７のステップＳ１１の処理で画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２とフィルタ制御情報を取り込み、ステップＳ１２の処理で取り込んだ狭帯域画像ｂ１と狭帯域画像ｂ２のうち、一方を基準画像、他方を対象画像として設定する。
【００４９】
ここで、実施の形態の基準画像の設定について、図１０の基準画像選択処理のフローチャートを用いて説明する。基準画像選択処理は、動きベクトル測定ブロック設定部１３１に狭帯域画像ｂ１と狭帯域画像ｂ２が入力されることで実行される。
【００５０】
［ステップＳ１２１］動きベクトル測定ブロック設定部１３１は、フィルタ制御情報からフィルタの制御タイミングを取得する。フィルタの制御タイミングは、フィルタの制御タイミング３つで１周期のため、動きベクトル測定ブロック設定部１３１は、フィルタの制御タイミングを特定する情報を３で除したときの余により狭帯域画像ｂ１と狭帯域画像ｂ２のいずれを基準画像とするかを決定することができる。ここでは、余が「０」のとき（たとえば、後述する図１３のタイミングＴ３）、狭帯域画像ｂ２を基準画像とし（ステップＳ１２３）、余が「１」（たとえば、後述する図１３のタイミングＴ１、Ｔ４）、または「２」（たとえば、後述する図１３のタイミングＴ２、Ｔ５）のとき、狭帯域画像ｂ１を基準画像とする（ステップＳ１２２）。
【００５１】
このように基準画像を設定することで、狭帯域画像ｇと合成画像との撮像タイミングの比較において、時間差を小さくすることができ、狭帯域画像ｇと合成画像との間の位置ずれを小さく抑えることができる。そのため、狭帯域画像ｇと合成画像とから生成される出力画像を、ボケの少ない、より自然な画像として観察者に提供できる。
【００５２】
なお、フィルタの制御タイミングの入力に代えて、狭帯域画像ｇの入力として、３つの狭帯域画像ｂ１、ｂ２、ｇの撮像タイミングの比較において基準画像の設定をすることもできる。その場合、たとえば、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較して狭帯域画像ｇとの撮像タイミングの時間差の小さい方を基準画像とする。そして、狭帯域画像ｇとの撮像タイミングの時間差が、同じであれば狭帯域画像ｂ１、ｂ２のうちの任意の画像、または最新の画像を選択することができる。
【００５３】
このようにして設定された基準画像１３３について、図１１に示すように、動きベクトル測定ブロック設定部１３１は、矩形の動きベクトル測定ブロック１３４を格子状に複数設定する。なお、動きベクトル測定ブロックの数、配置、大きさは、任意に設定できる。また、動きベクトル測定ブロックの数、配置、大きさは、予め設定した数、配置、大きさとしてもよいし、画像情報に基づいて、たとえば、特徴領域の抽出により動的に設定してもよい。
【００５４】
次に、動きベクトル演算部１３０は、基準画像１３３上に設定した動きベクトル測定ブロック１３４と同じ大きさのブロックを対象画像に設定し、動きベクトル測定ブロック１３４に対して相関が高い動きベクトル測定ブロック１３４の位置を対象画像内で探索する。ブロックマッチングで相関の高いブロックを探索する方法としては、たとえば、二乗誤差ＳＳＤ（Sum of Squared Difference）を利用する。動きベクトル演算部１３０は、基準画像におけるブロック領域をＩ、対象画像におけるブロック領域をＩ’としたときの、Ｉと相関が高いＩ’の位置を求める。各ブロック領域での画素位置をｐ∈Ｉおよびｑ∈Ｉ’として、各画素の画素レベルをＬｐ、Ｌｑとすると、二乗誤差ＳＳＤは、（２）式で定義され、ＳＳＤ（Ｉ、Ｉ’）が小さいほど相関が高いと評価する。なお、ここでｐ、ｑは、２次元の値を持つ量で、Ｉ、Ｉ’は、２次元の領域、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを示すものとする。そして、動きベクトル演算部１３０は、各ブロックの動きベクトルの平均値を算出して、動きベクトルを統合し、統合した動きベクトルを画像間の代表的な動きベクトルとする。そして、動きベクトル演算部１３０は、統合した動きベクトルを動きベクトル情報として出力する。
【００５５】
【数１】
【００５６】
なお、二乗誤差ＳＳＤに代えて、（３）式で定義される誤差の絶対値ＳＡＤ（Sum of Absolute Difference）を用いることもできる。
【００５７】
【数２】
【００５８】
なお、ブロックマッチング法を用いて、動きベクトルを算出する手法について説明したが、既知の手法を適宜使用してもよい。
次に、位置合わせ処理部１４０がおこなう処理について説明する。図１２は、実施の形態の動きベクトルを示す図である。
【００５９】
位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル（動きベクトル情報）６１２を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６１２を用いて対象画像６１１を基準画像６１０に位置合わせし、基準画像６１０と位置合わせされた対象画像６１１とを合成画像生成部１５０に出力する。基準画像６１０と対象画像６１１との位置合わせは、たとえば、対象画像６１１の読出しアドレスを動きベクトル６１２の分だけシフトすることでおこなわれる。
【００６０】
なお、動きベクトル６１２を１つの動きベクトルで代表する例について説明したが、これに限らず複数の動きベクトルを用いてもよい。また、位置合わせ処理部１４０は、対象画像の回転、変形、拡大や縮小をして位置合わせをするようにしてもよい。
【００６１】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１３は、実施の形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００６２】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１は、対象画像に設定され、タイミングＴ２で撮像された狭帯域画像ｂ２は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ２の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６３】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６４】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ５で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６５】
そして、出力画像Ｐ４の合成タイミングでも同様に、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
【００６６】
このようにして、１枚の狭帯域画像の入力があるたびに、新たな出力画像を生成することが可能となり、出力画像のフレームレートを向上させることができる。また、狭帯域画像ｂ３と狭帯域画像ｇとのタイミング差を最小とする基準画像の選択によって、狭帯域画像ｂ３と狭帯域画像ｇとの位置ずれが過大となるのを抑えた自然な画像として出力画像を観察者に提供できる。
【００６７】
次に、狭帯域画像ｂ３と狭帯域画像ｇとにより生成される出力画像について説明する。図１４は、実施の形態の出力画像のイメージを示す図である。画像表示装置４００は、出力画像の入力を受けて、出力画像のイメージである疑似カラー画像６０４を表示する。疑似カラー画像６０４は、出力画像生成部１６０により、３枚の狭帯域画像（狭帯域画像ｂ１と狭帯域画像ｂ２から生成した２枚の合成画像と、１枚の狭帯域画像ｇ）から１フレームの画像として生成される。図７のステップＳ１９の方法で生成された疑似カラー画像６０４は、粘膜表層部５０２付近での組織情報と、より深い粘膜深部５０３での組織情報とが異なる色彩で表示されるので、これらを好適に観察者に提示することができる。
【００６８】
次に、第二の実施形態について、図１５から図１７を用いて説明する。第二の実施形態は、基準画像選択処理と動きベクトルの算出の仕方において、上述した実施の形態と異なる。図１５は、第二の実施形態の基準画像選択処理のフローチャートである。
【００６９】
ここで、基準画像選択処理は、動きベクトル測定ブロック設定部１３１に狭帯域画像ｂ１と狭帯域画像ｂ２が入力されることで、動きベクトル演算部１３０により実行される。
［ステップＳ１２１ａ］動きベクトル測定ブロック設定部１３１は、取得したフィルタ制御情報から狭帯域画像ｂ１、ｂ２と、狭帯域画像ｇの撮像タイミングを特定する。そして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも小さい場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２５ａにすすみ、狭帯域画像ｂ２を基準画像に設定して基準画像選択処理を終了する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも小さくない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａにすすむ。
【００７０】
［ステップＳ１２２ａ］動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも大きい場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２４ａにすすみ、狭帯域画像ｂ１を基準画像に設定して基準画像選択処理を終了する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも大きくない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２３ａにすすむ。
【００７１】
なお、ステップＳ１２１ａ、Ｓ１２２ａでは、たとえば、次のような判定処理がおこなわれてもよい。動きベクトル測定ブロック設定部１３１は、ステップＳ１２１ａでは、フィルタ制御情報に基づき、撮像された最新の画像が狭帯域画像ｇであるか否かを判定する。撮像された最新の画像が狭帯域画像ｇである場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２５ａにすすむ。撮像された最新の画像が狭帯域画像ｇでない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａにすすむ。動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａでは、フィルタ制御情報に基づき、撮像された最新の画像が狭帯域画像ｂ２であるか否かを判定する。撮像された最新の画像が狭帯域画像ｂ２である場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２４ａにすすむ。撮像された最新の画像が狭帯域画像ｂ２でない（狭帯域画像ｂ１である）場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２３ａにすすむ。
【００７２】
［ステップＳ１２３ａ］動きベクトル測定ブロック設定部１３１は、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの間のタイミングに、仮想的な基準画像（位置合わせの基準となる画像）の撮像タイミングがあったと仮定する。そして、動きベクトル測定ブロック設定部１３１は、仮想画像であるという情報を付して、狭帯域画像ｂ１、ｂ２のいずれか一方を仮の基準画像（動きベクトル算出の基準となる画像）に設定する。そして、動きベクトル測定ブロック設定部１３１は、基準画像選択処理を終了する。
【００７３】
次に、動きベクトル演算部１３０による動きベクトルの算出を図１６を用いて説明する。図１６は、第二の実施形態の動きベクトルを示す図である。動きベクトル演算部１３０は、仮想画像であるという情報が付されている場合には、仮の基準画像６２０と対象画像６２１とから動きベクトル６２３を算出する。ここで、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミング（平均撮像タイミング）で撮像された狭帯域画像が、仮想的な基準画像６２２であるとする。これにより、仮の基準画像６２０と仮想的な基準画像６２２との間の動きベクトル６２５は、動きベクトル６２３の反対方向に半分の大きさであるとすることができる。また、対象画像６２１と仮想的な基準画像６２２との間の動きベクトル６２４は、動きベクトル６２３と同じ方向に半分の大きさであるとすることができる。
【００７４】
このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミングに、合成画像を生成するための動きベクトル６２４、６２５を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６２４、６２５を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６２５を用いて仮の基準画像６２０を仮想的な基準画像６２２に位置合わせし、動きベクトル６２４を用いて対象画像６２１を仮想的な基準画像６２２に位置合わせする。これにより、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミングに、仮の基準画像６２０と対象画像６２１を位置合わせした画像を得ることができる。なお、仮の基準画像６２０と仮想的な基準画像６２２との位置合わせ、および対象画像６２１と仮想的な基準画像６２２との位置合わせは、たとえば、仮の基準画像６２０の読出しアドレスを動きベクトル６２５の分だけシフトすることでおこなわれる。また、対象画像６２１の読出しアドレスを動きベクトル６２４の分だけシフトすることでおこなわれる。
【００７５】
なお、仮想画像であるという情報が付されていない場合には、動きベクトル演算部１３０は、図１２で説明したのと同様にして動きベクトルを算出する。この場合、位置合わせ処理部１４０は、動きベクトル演算部１３０により算出された１つの動きベクトルを基に、基準画像に位置合わせをする。
【００７６】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１７は、第二の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００７７】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１は、対象画像に設定され、タイミングＴ２で撮像された狭帯域画像ｂ２は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ２の合成画像である狭帯域画像ｂ３を生成する。
【００７８】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２と、タイミングＴ４で撮像された狭帯域画像ｂ１との間のタイミングＴ３に仮想的な基準画像が設定され、狭帯域画像ｂ１と狭帯域画像ｂ２とがタイミングＴ３の仮想的な基準画像に位置合わせされる。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００７９】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ５で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。
【００８０】
そして、出力画像Ｐ４の合成タイミング以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
このようにして、１枚の狭帯域画像の入力があるたびに、新たな出力画像を生成することが可能となり、出力画像のフレームレートを向上させることができる。また、狭帯域画像ｂ１と狭帯域画像ｂ２との撮像間隔が大きくなる出力画像Ｐ２の生成時には、仮想的な撮像タイミングが狭帯域画像ｂ１と狭帯域画像ｂ２の中間のタイミングとなる狭帯域画像ｂ３が生成されるので、過大な位置ずれによる画質劣化を防止できる。また、連続するタイミングでの出力画像間で狭帯域画像ｂ３の仮想的な撮像タイミングは、一定間隔となるため、出力画像を動画として再生した際に自然でなめらかとなる出力画像を観察者に提供できる。
【００８１】
次に、第三の実施形態について、図１８および図１９を用いて説明する。第三の実施形態は、動きベクトルの算出の仕方において、上述した実施の形態と異なる。図１８は、第三の実施形態の動きベクトルを示す図である。
【００８２】
動きベクトル演算部１３０は、狭帯域画像ｇと狭帯域画像ｂ１、ｂ２の撮像タイミングが仮想的に一致するように、常に狭帯域画像ｂ１、ｂ２の撮像タイミングを狭帯域画像ｇの撮像タイミングに補正する。
【００８３】
動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が等しくないとき、すなわち、出力画像Ｐ１および出力画像Ｐ３の出力のための動きベクトルの算出時に、動きベクトルの大きさを２倍にして算出する。たとえば、動きベクトル測定ブロック設定部１３１は、仮の基準画像６３１、対象画像６３２から算出した動きベクトル６３３の大きさを２倍にして、動きベクトル６３４を得る。このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇのタイミングに、合成画像を生成するための動きベクトル６３３、６３４を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６３３、６３４を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６３３を用いて仮の基準画像６３１を仮想的な基準画像６３０に位置合わせし、動きベクトル６３４を用いて対象画像６３２を仮想的な基準画像６３０に位置合わせする。なお、仮の基準画像６３１と仮想的な基準画像６３０との位置合わせ、および対象画像６３２と仮想的な基準画像６３０との位置合わせは、たとえば、仮の基準画像６３１の読出しアドレスを動きベクトル６３３の分だけシフトすることでおこなわれる。また、対象画像６３２の読出しアドレスを動きベクトル６３４の分だけシフトすることでおこなわれる。これにより、仮想の基準画像６３０は、狭帯域画像ｇの撮像タイミングに一致することが期待できる（図１８（Ａ））。また、動きベクトル測定ブロック設定部１３１は、仮の基準画像６４１、対象画像６４２から算出した動きベクトル６４３の大きさを２倍にして、動きベクトル６４４を得る。このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇのタイミングに、合成画像を生成するための動きベクトル６４３、６４４を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６４３、６４４を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６４３を用いて仮の基準画像６４１を仮想的な基準画像６４０に位置合わせし、動きベクトル６４４を用いて対象画像６４２を仮想的な基準画像６４０に位置合わせする。なお、仮の基準画像６４１と仮想的な基準画像６４０との位置合わせ、および対象画像６４２と仮想的な基準画像６４０との位置合わせは、たとえば、仮の基準画像６４１の読出しアドレスを動きベクトル６４３の分だけシフトすることでおこなわれる。また、対象画像６４２の読出しアドレスを動きベクトル６４４の分だけシフトすることでおこなわれる。これにより、仮想の基準画像６４０は、狭帯域画像ｇの撮像タイミングに一致することが期待できる。
【００８４】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１９は、第三の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００８５】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１と、タイミングＴ２で撮像された狭帯域画像ｂ２より後のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８６】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２と、タイミングＴ４で撮像された狭帯域画像ｂ１との間のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８７】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ４で撮像された狭帯域画像ｂ１と、タイミングＴ５で撮像された狭帯域画像ｂ２より前のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８８】
そして、出力画像Ｐ４の合成タイミング以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
このようにして、狭帯域画像ｂ３を生成することで、狭帯域画像ｂ３と狭帯域画像ｇの撮像タイミングは、一致する。これにより、粘膜表層部５０２付近での組織情報と、より深い粘膜深部５０３での組織情報との相互の位置関係の把握を容易にして疑似カラー画像６０４を観察者に提示することができる。
【００８９】
なお、基準画像を１枚の狭帯域画像、対象画像を１枚の狭帯域画像として説明したが、これに限らず、基準画像を１枚の狭帯域画像、対象画像を２枚以上の狭帯域画像としてもよい。また、対象画像の数を可変としてもよく、たとえば、ノイズをどの程度低減させるかという設定に基づいて、ノイズ低減効果を大きくしたいときは、対象画像を多くするようにしてもよい。また、動きベクトルの大きさの評価に基づいて、対象画像を多くするようにしてもよい。たとえば、動きベクトルの大きさが小さいときには、対象画像を多くするようにしてもよい。
【００９０】
なお、回転フィルタ２２０は、モータ２４０に駆動されて、１枚の出力画像の生成に要する３枚の入力画像の撮像周期時間で１回転するようにしたが、たとえば、モータ２４０にステッピングモータを用いて駆動位置を制御することにより、光路中に位置するフィルタを選択的に切り替えるようにしてもよい。
【００９１】
なお、合成する狭帯域画像を青の狭帯域画像として説明したが、緑、または赤、あるいは、赤外光など、任意の狭帯域画像について適用してもよい。また、観察者の選択操作により合成画像の生成対象となる狭帯域画像を選択できるようにしてもよい。その場合は、選択入力に基づいて、光源装置からの出射光を選択制御することにより実現できる。
【００９２】
なお、画像処理装置１００は、たとえば、カプセル内視鏡が撮像した画像にも適用できる。カプセル内視鏡は、照明光を体腔内の組織に照射する光源部と、体腔内の反射光を撮像する撮像部と、撮像により得られた画像情報（撮像に用いた光源を特定する光源制御情報を含めてもよい）とを外部に送信する送信部とを備える。そして、カプセル内視鏡の光源部が分光特性の異なる複数の照明光（たとえば、ＬＥＤ照明）を備え、照明光を切り替えることで、撮像部は、分光特性の異なる内視鏡画像を撮像可能である。そして、画像処理装置１００は、画像記録装置がカプセル内視鏡から受信した画像群を一旦記録した画像情報を、入力することができる。
【００９３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置および撮像装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【００９４】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００９５】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【００９６】
なお、上述の実施の形態は、実施の形態の要旨を逸脱しない範囲内において種々の変更を加えることができる。
さらに、上述の実施の形態は、多数の変形、変更が当業者にとって可能であり、説明した正確な構成および応用例に限定されるものではない。
【符号の説明】
【００９７】
１０ 撮像装置
１００ 画像処理装置
１１０ 制御部
１２０ 画像記憶部
１３０ 動きベクトル演算部
１４０ 位置合わせ処理部
１５０ 合成画像生成部
１６０ 出力画像生成部
２００ 光源装置
２１０ 白色光源
２２０ 回転フィルタ
２２１ 第１フィルタ
２２２ 第２フィルタ
２３０ フィルタ制御部
２４０ モータ
３００ 挿入部
３１０ ライトガイドファイバ
３２０ レンズ
３３０ 対物レンズ
３４０ 撮像素子
４００ 画像表示装置
５００ 体腔内組織
【技術分野】
【０００１】
本発明は、分光特性の異なる複数の画像から出力画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
従来より、照明光を体腔内の組織に対して照射し、体腔内の内視鏡画像を得る内視鏡システムが広く使用されている。面順次式として知られている内視鏡システムでは、回転フィルタに白色光の光源を透過させることで、Ｒ１、Ｇ１、Ｂ１の３色の照明光を体腔内の組織に対して順次照射する。そして、Ｒ１、Ｇ１、Ｂ１の３色の照明光に対応する反射光画像を取得して、各反射光画像から通常光観察をおこなうためのカラー画像を生成する。
【０００３】
また、回転フィルタを切り替えることで、体腔内の組織に対して前述の３色の照明光とは分光特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射可能とした内視鏡システムの提案がある。この内視鏡システムでは、狭帯域光Ｇ２とＢ２に対応する反射光画像（狭帯域画像）から作成した画像を用いて狭帯域光観察（狭帯域画像観察）をおこなうことができる（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のように狭帯域光を用いて狭帯域画像を取得する内視鏡システムにおいては、通常光観察に使用される照明光と比べて狭帯域光の光量を十分にとることができない場合がある。たとえば、上記狭帯域光Ｂ２は、上記狭帯域光Ｇ２と比較して光量が少ない場合がある。光量が十分でない照明光は、得られる画像のノイズを増加させ、良好な狭帯域画像観察の障害となる。また、たとえ照明光の光量が適当であったとしても、よりノイズが少ない画像を取得することができれば、鮮明な画像から小さな病変をより観察しやすくすることができる。
【０００６】
そこで、本発明は、複数の画像を基に高画質な出力画像が得られる画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、前記位置合わせをされた前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、を備えることを特徴とする画像処理装置が提供される。
【０００８】
このように構成することで、異なるタイミングで撮像された複数の第１の分光画像は、位置合わせにより、位置合わせされた画像、たとえば、撮像されたタイミングを揃えた画像として取り扱うことができる。そして、位置合わせされた複数の第１の分光画像の合成により、異なるタイミングで撮像された複数の第１の分光画像に基づく合成画像を得ることができる。そして、合成画像と第２の分光画像とから出力画像を生成することで、異なる分光特性を有する画像から生成する出力画像を高画質とすることができる。
【発明の効果】
【０００９】
上記の画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置によれば、複数の画像を基に高画質な出力画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態の撮像装置の機能構成を示す図である。
【図２】実施の形態の回転フィルタの概観を示す図である。
【図３】実施の形態の光源装置からの出射光の分光特性を示す図である。
【図４】実施の形態の体腔内組織の狭帯域光吸収体の分布構造を示す図である。
【図５】実施の形態の狭帯域画像のイメージ図である。
【図６】実施の形態の画像処理装置のハードウェア構成例を示す図である。
【図７】実施の形態の画像処理装置における画像処理のメインフローチャートである。
【図８】画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図９】実施の形態の動きベクトル演算部の機能ブロック図である。
【図１０】実施の形態の基準画像選択処理のフローチャートである。
【図１１】実施の形態の動きベクトル測定ブロックの設定を示す図である。
【図１２】実施の形態の動きベクトルを示す図である。
【図１３】実施の形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図１４】実施の形態の出力画像のイメージを示す図である。
【図１５】第二の実施形態の基準画像選択処理のフローチャートである。
【図１６】第二の実施形態の動きベクトルを示す図である。
【図１７】第二の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【図１８】第三の実施形態の動きベクトルを示す図である。
【図１９】第三の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態を図面を参照して説明する。
図１は、実施の形態の撮像装置の機能構成を示す図である。撮像装置（内視鏡システム）１０は、画像処理装置１００と、光源装置２００と、挿入部３００と、画像表示装置４００とを備える。撮像装置１０は、光源装置２００が発生させる照明光を体腔内の組織に対して照射し、挿入部３００から体腔内の入力画像（内視鏡入力画像）を得て、画像処理装置１００で画像処理した出力画像（内視鏡出力画像）を画像表示装置４００に表示する。
【００１２】
光源装置２００は、白色光源２１０と、回転フィルタ２２０と、フィルタ制御部２３０と、モータ２４０とを備える。白色光源２１０は、白色光を発生する光源（たとえば、キセノン照明）である。回転フィルタ２２０は、第１フィルタ２２１と第２フィルタ２２２を備え、モータ２４０の駆動力で回転することにより、白色光源２１０からの出射光が透過するフィルタを切替可能にしている。フィルタ制御部２３０は、モータ２４０を駆動制御するとともに、フィルタ制御情報（白色光源２１０からの出射光が透過するフィルタを特定可能な情報）を出力する。なお、光源装置２００は、通常光観察のためのＲ、Ｇ、Ｂの３色フィルタ、赤外光観察のための赤外光フィルタ、蛍光観察のための蛍光用フィルタを備えることもできる。
【００１３】
挿入部３００は、体腔への挿入を可能にするため細長くかつ湾曲可能に形成された管状の装置であり、図示しない操作部、接続部とともにビデオスコープを構成する。挿入部３００は、ライトガイドファイバ３１０と、レンズ３２０と、対物レンズ３３０と、撮像素子３４０とを備える。ライトガイドファイバ３１０は、光源装置２００からの出射光を体腔内に導く。レンズ３２０は、ライトガイドファイバ３１０により挿入部３００の先端部まで導かれた出射光を拡散させて体腔内組織５００に照射する。対物レンズ３３０は、観察対象部位となる体腔内組織５００から戻る反射光を撮像素子３４０に集光する。撮像素子３４０は、反射光を検出する。なお、撮像素子３４０にモノクロの撮像素子を用いることで、照明光ごとの画像を合成して高解像度の出力画像を得ることができる。
【００１４】
画像処理装置１００は、制御部１１０と、画像記憶部１２０と、動きベクトル演算部１３０と、位置合わせ処理部１４０と、合成画像生成部１５０と、出力画像生成部１６０とを備える。画像処理装置１００は、撮像素子３４０から出力された画像情報に基づいて画像表示装置４００に表示させるための出力画像を生成する。
【００１５】
制御部１１０は、フィルタ制御部２３０からフィルタ制御情報を入力し、フィルタ制御情報に基づいて画像記憶部１２０、動きベクトル演算部１３０、位置合わせ処理部１４０、合成画像生成部１５０、出力画像生成部１６０を統括的に制御する。
【００１６】
画像記憶部１２０は、撮像素子３４０から出力される画像情報と画像情報に対応するフィルタ制御情報を記憶する。画像記憶部１２０は、予め設定したフィルタ制御情報に対応する記憶領域に画像情報を記憶させる。なお、画像記憶部１２０は、少なくとも出力画像の生成に必要な画像情報として、撮像素子３４０により連続して撮像された少なくとも３枚の画像に対応する画像情報（青の狭帯域画像Ｂ１、緑の狭帯域画像Ｇ、青の狭帯域画像Ｂ２に相当する画像に対応する画像情報）を記憶する。また、記憶する画像情報に対応する撮像タイミングの情報を含めて記憶するようにしてもよい。
【００１７】
動きベクトル演算部１３０は、画像記憶部１２０に記憶された複数の画像を位置合わせするための動きベクトルを算出する。位置合わせ処理部１４０は、動きベクトル演算部１３０により算出された動きベクトルに基づいて画像の位置合わせをおこなう。
【００１８】
合成画像生成部１５０は、位置合わせをした複数の画像の合成画像を生成する。合成画像生成部１５０は、画像に含まれるノイズの除去を目的として、たとえば、複数画像を加算平均して合成画像を生成する。また、差分信号をノイズとして検出して除去することもできる。このように、撮像タイミングの異なる複数の画像情報に基づく画像の合成には、既知の方法を適宜用いることができる。
【００１９】
出力画像生成部１６０は、合成画像生成部１５０が生成した合成画像と、画像記憶部１２０が記憶する画像とを用いて、画像表示装置４００に表示させるための出力画像を生成する。
【００２０】
なお、光源装置２００は、白色光源２１０からの出射光が透過するフィルタの選択により出射光の特性を切り替えたが、ＬＥＤ（Light Emitting Diode：発光ダイオード）照明を用いるなどして予め所望の特性に対応する光源を備えるようにしてもよい。その場合、制御部１１０は、フィルタ制御部２３０からのフィルタ制御情報の入力に代えて、光源の種類を特定可能な光源制御情報を入力とすることができる。
【００２１】
次に、光源装置２００が備える回転フィルタ２２０について詳細に説明する。図２は、実施の形態の回転フィルタの概観を示す図である。図３は、実施の形態の光源装置からの出射光の分光特性を示す図である。
【００２２】
回転フィルタ２２０は、円盤上のプレートに３つの窓を備え、各々の窓は、同一または、略同一の分光特性を有する第１フィルタ２２１ａ、２２１ｂと、第１フィルタ２２１ａ、２２１ｂとは異なる分光特性を有する第２フィルタ２２２を有する。第１フィルタ２２１ａ、２２１ｂは、青の狭帯域光（たとえば、波長３９０ｎｍから４４５ｎｍ）を出射するためのフィルタであり、分光特性２２４を有する。第２フィルタ２２２は、青の狭帯域光よりも波長の長い緑の狭帯域光（たとえば、波長５３０ｎｍから５５０ｎｍ）を出射するためのフィルタであり、分光特性２２５を有する。第１フィルタ２２１ａ、２２１ｂと、第２フィルタ２２２とは、同じような分光透過率であるが、たとえば、キセノン照明を用いた白色光源２１０の周波数成分ごとの分光放射照度２２３が一定にならないため、青の狭帯域光２２６は、緑の狭帯域光２２７と比較して光量が少ない。
【００２３】
また、回転フィルタ２２０は、モータ２４０に駆動されて、１枚の出力画像の生成に要する３枚の入力画像の撮像周期時間で１回転する。したがって、３枚の入力画像の撮像周期時間の間に光路中に位置するフィルタが周期的に切り替わるため、出射光は、第１フィルタ２２１ａを透過した出射光、第１フィルタ２２１ｂを透過した出射光、第２フィルタ２２２を透過した出射光と周期的に切り替わる。そして、３枚の入力画像の撮像周期時間の間に、撮像素子３４０により、第１フィルタ２２１ａを透過した出射光の反射光による画像、第１フィルタ２２１ｂを透過した出射光の反射光による画像、第２フィルタ２２２を透過した出射光の反射光による画像が撮像される。このようにして、撮像された画像は、画像情報として画像記憶部１２０に記憶される。
【００２４】
次に、狭帯域画像（狭帯域光により撮像された画像）について、詳細に説明する。図４は、実施の形態の体腔内組織の狭帯域光吸収体の分布構造を示す図である。図５は、実施の形態の狭帯域画像のイメージ図である。
【００２５】
体腔内組織５００は、たとえば、異なった狭帯域光吸収体の分布構造を深さ方向に持つ場合が多い。体腔内組織５００は、粘膜表面５０１から深さ方向に、粘膜表層部５０２、粘膜深部５０３の構造を持つ。粘膜表層部５０２付近には主に毛細血管５１０が多く分布し、また粘膜表層部５０２より深い粘膜深部５０３中層には、毛細血管５１０のほかに毛細血管５１０より太い深部血管５２０が分布し、さらに深い粘膜深部５０３深層には、さらに太い深部血管５３０が分布する。
【００２６】
一方、体腔内組織５００に対する照射光の深さ方向の深達度は照射光の波長に依存している。青の狭帯域光２２６のように波長が短い光の場合、照射光は、体腔内組織５００での光の吸収特性および散乱特性により粘膜表面５０１付近までしか深達せず、粘膜表面５０１付近で吸収・散乱され、表面から出た反射光が観測される。また、青の狭帯域光２２６より波長が長い緑の狭帯域光２２７の場合、照射光は、青の狭帯域光２２６が深達する粘膜表面５０１付近よりさらに深い範囲まで深達し、深い範囲で吸収・散乱され、再度粘膜表面５０１から出た反射光が観測される。
【００２７】
したがって、第１フィルタ２２１ａ、２２１ｂが光路中に位置する場合には、粘膜表層部５０２付近での組織情報を有する狭帯域画像６０１、６０２が撮像され、画像記憶部１２０に記憶される。そして、第２フィルタ２２２が光路中に位置する場合には、より深い粘膜深部５０３での組織情報を有する狭帯域画像６０３が撮像され、画像記憶部１２０に記憶される。また、狭帯域画像６０１と狭帯域画像６０２とは、異なるタイミングで撮像されるため、撮像タイミングの異なる画像となる。また、狭帯域画像６０１と狭帯域画像６０２とは、被写体である体腔内組織５００や挿入部３００が動いている場合には、撮像位置がずれた画像となる。
【００２８】
次に、本実施の形態の画像処理装置１００のハードウェア構成例を説明する。図６は、実施の形態の画像処理装置のハードウェア構成例を示す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ）１０３、通信インタフェース１０４、グラフィック処理装置１０５、および入出力インタフェース１０６が接続されている。
【００２９】
ＲＡＭ１０２には、本実施の形態に係る発明の実施に必要な各種プログラムが一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、本実施の形態に係る発明の実施に必要な各種プログラムが恒常的に格納される。
【００３０】
通信インタフェース１０４は、ネットワーク１１３に接続されている。通信インタフェース１０４は、ネットワーク１１３を介して、他の外部装置との間でデータの送受信をおこなう。
【００３１】
グラフィック処理装置１０５には、画像表示装置４００が接続されている。グラフィック処理装置１０５は、ＣＰＵ１０１からの命令に従って、画像を画像表示装置４００の画面に表示させる。画像表示装置４００は、たとえば、ＣＲＴディスプレイや液晶ディスプレイなどである。
【００３２】
入出力インタフェース１０６には、光源装置２００と、挿入部３００と、キーボード１１１と、マウス１１２とが接続されている。入出力インタフェース１０６は、光源装置２００から入力されるフィルタ制御情報と、挿入部３００から入力される画像情報とをバス１０７を介してＣＰＵ１０１に送信する。また、入出力インタフェース１０６は、キーボード１１１やマウス１１２から送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。
【００３３】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
次に、実施の形態の画像処理装置１００における画像処理の流れについて説明する。図７は、実施の形態の画像処理装置における画像処理のメインフローチャートである。図８は、画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００３４】
画像処理装置１００は、挿入部３００から入力される画像情報を画像処理して、画像表示装置４００に出力する。画像処理は、画像処理装置１００の制御部１１０が画像記憶部１２０、動きベクトル演算部１３０、位置合わせ処理部１４０、合成画像生成部１５０、出力画像生成部１６０を統括的に制御しておこなう。画像処理は、多くの場合、医師による内視鏡での体腔内の観察（撮像）と同時に実行されるが、たとえば、カプセル内視鏡での体腔内の観察の場合のように、撮像した画像群を画像記録装置から入力して、体腔内の観察と異なるタイミングで実行される場合もある。
【００３５】
画像処理の実行に先立ち、あるいは画像処理と並行して、まず、画像処理装置１００の制御部１１０は、画像処理の対象となる撮像素子３４０で撮像された画像を入力する。そして、制御部１１０は、フィルタ制御部２３０から入力したフィルタ制御情報に基づいて、取り込んだ画像が、第１フィルタ２２１ａ、２２１ｂ、または第２フィルタ２２２のいずれが光路中にあったタイミングに撮像された画像であるかを判断する。制御部１１０は、取り込んだ画像情報を予め設定したフィルタ制御情報に対応する画像記憶部１２０に記憶させる。たとえば、第１フィルタ２２１ａが光路中にあるタイミングＴ１で撮像された狭帯域画像ｂ１は、第１フィルタ２２１ａに対応する記憶領域に記憶される。同様にして、第１フィルタ２２１ｂが光路中にあるタイミングＴ２で撮像された狭帯域画像ｂ２は、第１フィルタ２２１ｂに対応する記憶領域に、第２フィルタ２２２が光路中にあるタイミングＴ３で撮像された狭帯域画像ｇは、第２フィルタ２２２に対応する記憶領域に記憶される。そして、次のタイミングＴ４では、また、第１フィルタ２２１ｂが光路中にあり、撮像された狭帯域画像ｂ１は、第１フィルタ２２１ａに対応する記憶領域に記憶される。
【００３６】
なお、出力画像Ｐ１は、タイミングＴ１、Ｔ２、Ｔ３の入力画像（狭帯域画像ｂ１、ｂ２、ｇ）に基づいて生成される。以下、同様にして、出力画像Ｐ２は、タイミングＴ２、Ｔ３、Ｔ４の入力画像（狭帯域画像ｂ２、ｇ、ｂ１）に基づいて生成される。出力画像Ｐ３は、タイミングＴ３、Ｔ４、Ｔ５の入力画像（狭帯域画像ｇ、ｂ１、ｂ２）に基づいて生成される。出力画像Ｐ４は、タイミングＴ４、Ｔ５、Ｔ６の入力画像（狭帯域画像ｂ１、ｂ２、ｇ）に基づいて生成される。
【００３７】
このようにして、出力画像の生成に必要な画像情報が画像記憶部１２０に記憶された状態（少なくとも、出力画像の生成に必要な画像情報を取得可能な状態）で画像処理が実行される。
【００３８】
画像処理について、図７のメインフローチャートを用いて説明する。
［ステップＳ１１］動きベクトル演算部１３０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を取り込む。
【００３９】
［ステップＳ１２］動きベクトル演算部１３０は、取り込んだ狭帯域画像ｂ１と狭帯域画像ｂ２のうち、一方を位置合わせの基準とする基準画像、他方を基準画像に対して位置合わせする対象画像として設定する。詳細については、後述する。
【００４０】
［ステップＳ１３］動きベクトル演算部１３０は、基準画像１３３上に複数の動きベクトル測定ブロック１３４を設定する（図１１で説明する）。
［ステップＳ１４］動きベクトル演算部１３０は、基準画像１３３上に設定した動きベクトル測定ブロック１３４と対象画像との相関関係を評価して、動きベクトルを算出する。
【００４１】
［ステップＳ１５］位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル（動きベクトル情報）を取り込む。なお、位置合わせ処理部１４０は、動きベクトル演算部１３０が狭帯域画像ｂ１と狭帯域画像ｂ２に設定した基準画像および対象画像の情報を併せて取り込むが、あらためて設定するようにしてもよい。
【００４２】
［ステップＳ１６］位置合わせ処理部１４０は、動きベクトル情報を用いて対象画像を基準画像に位置合わせする。
［ステップＳ１７］合成画像生成部１５０は、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理をおこなう。ここでは、合成処理として、加算平均処理をおこなう場合について説明する。
【００４３】
狭帯域画像ｂ１の座標（ｘ、ｙ）での信号値をＳ１（ｘ、ｙ）、狭帯域画像ｂ２の座標（ｘ、ｙ）での信号値をＳ２（ｘ、ｙ）とすると、加算平均処理後の画像における座標（ｘ、ｙ）での信号値Ｓ（ｘ、ｙ）は、すべての座標に対して（１）式で算出される。
Ｓ（ｘ、ｙ）＝（Ｓ１（ｘ、ｙ）＋Ｓ２（ｘ、ｙ））／２・・・・・・・・・・・（１）
合成画像生成部１５０は、位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を入力として、算出した合成画像を出力する。このようにして得た合成画像は、狭帯域画像ｂ１、ｂ２と比較して、ランダムノイズを減少させることができる。
【００４４】
［ステップＳ１８］出力画像生成部１６０は、合成画像生成部１５０から狭帯域画像ｂ１と狭帯域画像ｂ２の合成画像の画像情報を、画像記憶部１２０から狭帯域画像ｇの画像情報を取り込む。
【００４５】
［ステップＳ１９］出力画像生成部１６０は、取り込んだ画像情報から１フレームの出力画像を生成する。ここでは、たとえば、Ｒ（赤）チャネル、Ｇ（緑）チャネル、Ｂ（青）チャネルの３チャネルのうち、狭帯域画像ｇの画像情報を出力画像のＲチャネルへ、合成画像の画像情報を出力画像のＧチャネルとＢチャネルとへ取り込む。そして、出力画像生成部１６０は、３枚の狭帯域画像（狭帯域画像ｂ１と狭帯域画像ｂ２から生成した２枚の合成画像と、１枚の狭帯域画像ｇ）から１フレームの疑似カラー画像６０４（図１４で説明する）を生成する。この疑似カラー画像６０４は、粘膜表層部５０２および粘膜深部５０３の組織情報を持つ画像である。さらに、出力画像生成部１６０は、疑似カラー画像６０４に対して任意のガンマ変換、エッジ強調、拡大・縮小処理等の後処理をおこない、画像表示装置４００に対して出力画像（出力画像情報）を出力する。
【００４６】
［ステップＳ２０］制御部１１０は、狭帯域画像の観察が終了したと判断すれば、画像処理を終了し、狭帯域画像の観察が継続していると判断すれば、ステップＳ１１にすすむ。なお、狭帯域画像の観察終了の判断は、挿入部３００から入力される画像情報や、フィルタ制御部２３０から入力されるフィルタ制御情報のほか、図示しない操作部からの操作情報に基づいて判断することができる。
【００４７】
なお、出力画像の出力先として、画像表示装置４００に限らず、画像記録装置や画像サーバ、解析用コンピュータなどの機器に設定してもよい。
次に、動きベクトル演算部１３０の機能および動きベクトル演算部１３０がおこなう処理について詳細に説明する。図９は、実施の形態の動きベクトル演算部の機能ブロック図である。図１０は、実施の形態の基準画像選択処理のフローチャートである。図１１は、実施の形態の動きベクトル測定ブロックの設定を示す図である。
【００４８】
動きベクトル演算部１３０は、狭帯域画像ｂ１と狭帯域画像ｂ２とフィルタ制御情報を入力して、動きベクトル情報を出力する。動きベクトル演算部１３０は、動きベクトル測定ブロック設定部１３１と動きベクトル算出部１３２を備える。動きベクトル測定ブロック設定部１３１は、図７のステップＳ１１の処理で画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２とフィルタ制御情報を取り込み、ステップＳ１２の処理で取り込んだ狭帯域画像ｂ１と狭帯域画像ｂ２のうち、一方を基準画像、他方を対象画像として設定する。
【００４９】
ここで、実施の形態の基準画像の設定について、図１０の基準画像選択処理のフローチャートを用いて説明する。基準画像選択処理は、動きベクトル測定ブロック設定部１３１に狭帯域画像ｂ１と狭帯域画像ｂ２が入力されることで実行される。
【００５０】
［ステップＳ１２１］動きベクトル測定ブロック設定部１３１は、フィルタ制御情報からフィルタの制御タイミングを取得する。フィルタの制御タイミングは、フィルタの制御タイミング３つで１周期のため、動きベクトル測定ブロック設定部１３１は、フィルタの制御タイミングを特定する情報を３で除したときの余により狭帯域画像ｂ１と狭帯域画像ｂ２のいずれを基準画像とするかを決定することができる。ここでは、余が「０」のとき（たとえば、後述する図１３のタイミングＴ３）、狭帯域画像ｂ２を基準画像とし（ステップＳ１２３）、余が「１」（たとえば、後述する図１３のタイミングＴ１、Ｔ４）、または「２」（たとえば、後述する図１３のタイミングＴ２、Ｔ５）のとき、狭帯域画像ｂ１を基準画像とする（ステップＳ１２２）。
【００５１】
このように基準画像を設定することで、狭帯域画像ｇと合成画像との撮像タイミングの比較において、時間差を小さくすることができ、狭帯域画像ｇと合成画像との間の位置ずれを小さく抑えることができる。そのため、狭帯域画像ｇと合成画像とから生成される出力画像を、ボケの少ない、より自然な画像として観察者に提供できる。
【００５２】
なお、フィルタの制御タイミングの入力に代えて、狭帯域画像ｇの入力として、３つの狭帯域画像ｂ１、ｂ２、ｇの撮像タイミングの比較において基準画像の設定をすることもできる。その場合、たとえば、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較して狭帯域画像ｇとの撮像タイミングの時間差の小さい方を基準画像とする。そして、狭帯域画像ｇとの撮像タイミングの時間差が、同じであれば狭帯域画像ｂ１、ｂ２のうちの任意の画像、または最新の画像を選択することができる。
【００５３】
このようにして設定された基準画像１３３について、図１１に示すように、動きベクトル測定ブロック設定部１３１は、矩形の動きベクトル測定ブロック１３４を格子状に複数設定する。なお、動きベクトル測定ブロックの数、配置、大きさは、任意に設定できる。また、動きベクトル測定ブロックの数、配置、大きさは、予め設定した数、配置、大きさとしてもよいし、画像情報に基づいて、たとえば、特徴領域の抽出により動的に設定してもよい。
【００５４】
次に、動きベクトル演算部１３０は、基準画像１３３上に設定した動きベクトル測定ブロック１３４と同じ大きさのブロックを対象画像に設定し、動きベクトル測定ブロック１３４に対して相関が高い動きベクトル測定ブロック１３４の位置を対象画像内で探索する。ブロックマッチングで相関の高いブロックを探索する方法としては、たとえば、二乗誤差ＳＳＤ（Sum of Squared Difference）を利用する。動きベクトル演算部１３０は、基準画像におけるブロック領域をＩ、対象画像におけるブロック領域をＩ’としたときの、Ｉと相関が高いＩ’の位置を求める。各ブロック領域での画素位置をｐ∈Ｉおよびｑ∈Ｉ’として、各画素の画素レベルをＬｐ、Ｌｑとすると、二乗誤差ＳＳＤは、（２）式で定義され、ＳＳＤ（Ｉ、Ｉ’）が小さいほど相関が高いと評価する。なお、ここでｐ、ｑは、２次元の値を持つ量で、Ｉ、Ｉ’は、２次元の領域、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを示すものとする。そして、動きベクトル演算部１３０は、各ブロックの動きベクトルの平均値を算出して、動きベクトルを統合し、統合した動きベクトルを画像間の代表的な動きベクトルとする。そして、動きベクトル演算部１３０は、統合した動きベクトルを動きベクトル情報として出力する。
【００５５】
【数１】
【００５６】
なお、二乗誤差ＳＳＤに代えて、（３）式で定義される誤差の絶対値ＳＡＤ（Sum of Absolute Difference）を用いることもできる。
【００５７】
【数２】
【００５８】
なお、ブロックマッチング法を用いて、動きベクトルを算出する手法について説明したが、既知の手法を適宜使用してもよい。
次に、位置合わせ処理部１４０がおこなう処理について説明する。図１２は、実施の形態の動きベクトルを示す図である。
【００５９】
位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル（動きベクトル情報）６１２を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６１２を用いて対象画像６１１を基準画像６１０に位置合わせし、基準画像６１０と位置合わせされた対象画像６１１とを合成画像生成部１５０に出力する。基準画像６１０と対象画像６１１との位置合わせは、たとえば、対象画像６１１の読出しアドレスを動きベクトル６１２の分だけシフトすることでおこなわれる。
【００６０】
なお、動きベクトル６１２を１つの動きベクトルで代表する例について説明したが、これに限らず複数の動きベクトルを用いてもよい。また、位置合わせ処理部１４０は、対象画像の回転、変形、拡大や縮小をして位置合わせをするようにしてもよい。
【００６１】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１３は、実施の形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００６２】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１は、対象画像に設定され、タイミングＴ２で撮像された狭帯域画像ｂ２は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ２の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６３】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６４】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ５で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。このとき、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。
【００６５】
そして、出力画像Ｐ４の合成タイミングでも同様に、狭帯域画像ｂ３と狭帯域画像ｇとは、タイミングが１フレーム周期だけしかずれていない。以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
【００６６】
このようにして、１枚の狭帯域画像の入力があるたびに、新たな出力画像を生成することが可能となり、出力画像のフレームレートを向上させることができる。また、狭帯域画像ｂ３と狭帯域画像ｇとのタイミング差を最小とする基準画像の選択によって、狭帯域画像ｂ３と狭帯域画像ｇとの位置ずれが過大となるのを抑えた自然な画像として出力画像を観察者に提供できる。
【００６７】
次に、狭帯域画像ｂ３と狭帯域画像ｇとにより生成される出力画像について説明する。図１４は、実施の形態の出力画像のイメージを示す図である。画像表示装置４００は、出力画像の入力を受けて、出力画像のイメージである疑似カラー画像６０４を表示する。疑似カラー画像６０４は、出力画像生成部１６０により、３枚の狭帯域画像（狭帯域画像ｂ１と狭帯域画像ｂ２から生成した２枚の合成画像と、１枚の狭帯域画像ｇ）から１フレームの画像として生成される。図７のステップＳ１９の方法で生成された疑似カラー画像６０４は、粘膜表層部５０２付近での組織情報と、より深い粘膜深部５０３での組織情報とが異なる色彩で表示されるので、これらを好適に観察者に提示することができる。
【００６８】
次に、第二の実施形態について、図１５から図１７を用いて説明する。第二の実施形態は、基準画像選択処理と動きベクトルの算出の仕方において、上述した実施の形態と異なる。図１５は、第二の実施形態の基準画像選択処理のフローチャートである。
【００６９】
ここで、基準画像選択処理は、動きベクトル測定ブロック設定部１３１に狭帯域画像ｂ１と狭帯域画像ｂ２が入力されることで、動きベクトル演算部１３０により実行される。
［ステップＳ１２１ａ］動きベクトル測定ブロック設定部１３１は、取得したフィルタ制御情報から狭帯域画像ｂ１、ｂ２と、狭帯域画像ｇの撮像タイミングを特定する。そして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも小さい場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２５ａにすすみ、狭帯域画像ｂ２を基準画像に設定して基準画像選択処理を終了する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも小さくない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａにすすむ。
【００７０】
［ステップＳ１２２ａ］動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差を比較する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも大きい場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２４ａにすすみ、狭帯域画像ｂ１を基準画像に設定して基準画像選択処理を終了する。狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差よりも大きくない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２３ａにすすむ。
【００７１】
なお、ステップＳ１２１ａ、Ｓ１２２ａでは、たとえば、次のような判定処理がおこなわれてもよい。動きベクトル測定ブロック設定部１３１は、ステップＳ１２１ａでは、フィルタ制御情報に基づき、撮像された最新の画像が狭帯域画像ｇであるか否かを判定する。撮像された最新の画像が狭帯域画像ｇである場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２５ａにすすむ。撮像された最新の画像が狭帯域画像ｇでない場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａにすすむ。動きベクトル測定ブロック設定部１３１は、ステップＳ１２２ａでは、フィルタ制御情報に基づき、撮像された最新の画像が狭帯域画像ｂ２であるか否かを判定する。撮像された最新の画像が狭帯域画像ｂ２である場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２４ａにすすむ。撮像された最新の画像が狭帯域画像ｂ２でない（狭帯域画像ｂ１である）場合、動きベクトル測定ブロック設定部１３１は、ステップＳ１２３ａにすすむ。
【００７２】
［ステップＳ１２３ａ］動きベクトル測定ブロック設定部１３１は、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの間のタイミングに、仮想的な基準画像（位置合わせの基準となる画像）の撮像タイミングがあったと仮定する。そして、動きベクトル測定ブロック設定部１３１は、仮想画像であるという情報を付して、狭帯域画像ｂ１、ｂ２のいずれか一方を仮の基準画像（動きベクトル算出の基準となる画像）に設定する。そして、動きベクトル測定ブロック設定部１３１は、基準画像選択処理を終了する。
【００７３】
次に、動きベクトル演算部１３０による動きベクトルの算出を図１６を用いて説明する。図１６は、第二の実施形態の動きベクトルを示す図である。動きベクトル演算部１３０は、仮想画像であるという情報が付されている場合には、仮の基準画像６２０と対象画像６２１とから動きベクトル６２３を算出する。ここで、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミング（平均撮像タイミング）で撮像された狭帯域画像が、仮想的な基準画像６２２であるとする。これにより、仮の基準画像６２０と仮想的な基準画像６２２との間の動きベクトル６２５は、動きベクトル６２３の反対方向に半分の大きさであるとすることができる。また、対象画像６２１と仮想的な基準画像６２２との間の動きベクトル６２４は、動きベクトル６２３と同じ方向に半分の大きさであるとすることができる。
【００７４】
このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミングに、合成画像を生成するための動きベクトル６２４、６２５を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６２４、６２５を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６２５を用いて仮の基準画像６２０を仮想的な基準画像６２２に位置合わせし、動きベクトル６２４を用いて対象画像６２１を仮想的な基準画像６２２に位置合わせする。これにより、狭帯域画像ｂ１の撮像タイミングと、狭帯域画像ｂ２の撮像タイミングとの中間のタイミングに、仮の基準画像６２０と対象画像６２１を位置合わせした画像を得ることができる。なお、仮の基準画像６２０と仮想的な基準画像６２２との位置合わせ、および対象画像６２１と仮想的な基準画像６２２との位置合わせは、たとえば、仮の基準画像６２０の読出しアドレスを動きベクトル６２５の分だけシフトすることでおこなわれる。また、対象画像６２１の読出しアドレスを動きベクトル６２４の分だけシフトすることでおこなわれる。
【００７５】
なお、仮想画像であるという情報が付されていない場合には、動きベクトル演算部１３０は、図１２で説明したのと同様にして動きベクトルを算出する。この場合、位置合わせ処理部１４０は、動きベクトル演算部１３０により算出された１つの動きベクトルを基に、基準画像に位置合わせをする。
【００７６】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１７は、第二の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００７７】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１は、対象画像に設定され、タイミングＴ２で撮像された狭帯域画像ｂ２は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ２の合成画像である狭帯域画像ｂ３を生成する。
【００７８】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２と、タイミングＴ４で撮像された狭帯域画像ｂ１との間のタイミングＴ３に仮想的な基準画像が設定され、狭帯域画像ｂ１と狭帯域画像ｂ２とがタイミングＴ３の仮想的な基準画像に位置合わせされる。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００７９】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ５で撮像された狭帯域画像ｂ２は、対象画像に設定され、タイミングＴ４で撮像された狭帯域画像ｂ１は、基準画像に設定される。したがって、合成画像生成部１５０は、タイミングＴ４の合成画像である狭帯域画像ｂ３を生成する。
【００８０】
そして、出力画像Ｐ４の合成タイミング以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
このようにして、１枚の狭帯域画像の入力があるたびに、新たな出力画像を生成することが可能となり、出力画像のフレームレートを向上させることができる。また、狭帯域画像ｂ１と狭帯域画像ｂ２との撮像間隔が大きくなる出力画像Ｐ２の生成時には、仮想的な撮像タイミングが狭帯域画像ｂ１と狭帯域画像ｂ２の中間のタイミングとなる狭帯域画像ｂ３が生成されるので、過大な位置ずれによる画質劣化を防止できる。また、連続するタイミングでの出力画像間で狭帯域画像ｂ３の仮想的な撮像タイミングは、一定間隔となるため、出力画像を動画として再生した際に自然でなめらかとなる出力画像を観察者に提供できる。
【００８１】
次に、第三の実施形態について、図１８および図１９を用いて説明する。第三の実施形態は、動きベクトルの算出の仕方において、上述した実施の形態と異なる。図１８は、第三の実施形態の動きベクトルを示す図である。
【００８２】
動きベクトル演算部１３０は、狭帯域画像ｇと狭帯域画像ｂ１、ｂ２の撮像タイミングが仮想的に一致するように、常に狭帯域画像ｂ１、ｂ２の撮像タイミングを狭帯域画像ｇの撮像タイミングに補正する。
【００８３】
動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇと狭帯域画像ｂ１の撮像タイミングの時間差と、狭帯域画像ｇと狭帯域画像ｂ２の撮像タイミングの時間差が等しくないとき、すなわち、出力画像Ｐ１および出力画像Ｐ３の出力のための動きベクトルの算出時に、動きベクトルの大きさを２倍にして算出する。たとえば、動きベクトル測定ブロック設定部１３１は、仮の基準画像６３１、対象画像６３２から算出した動きベクトル６３３の大きさを２倍にして、動きベクトル６３４を得る。このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇのタイミングに、合成画像を生成するための動きベクトル６３３、６３４を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６３３、６３４を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６３３を用いて仮の基準画像６３１を仮想的な基準画像６３０に位置合わせし、動きベクトル６３４を用いて対象画像６３２を仮想的な基準画像６３０に位置合わせする。なお、仮の基準画像６３１と仮想的な基準画像６３０との位置合わせ、および対象画像６３２と仮想的な基準画像６３０との位置合わせは、たとえば、仮の基準画像６３１の読出しアドレスを動きベクトル６３３の分だけシフトすることでおこなわれる。また、対象画像６３２の読出しアドレスを動きベクトル６３４の分だけシフトすることでおこなわれる。これにより、仮想の基準画像６３０は、狭帯域画像ｇの撮像タイミングに一致することが期待できる（図１８（Ａ））。また、動きベクトル測定ブロック設定部１３１は、仮の基準画像６４１、対象画像６４２から算出した動きベクトル６４３の大きさを２倍にして、動きベクトル６４４を得る。このようにして、動きベクトル測定ブロック設定部１３１は、狭帯域画像ｇのタイミングに、合成画像を生成するための動きベクトル６４３、６４４を設定することができる。そして、位置合わせ処理部１４０は、画像記憶部１２０から狭帯域画像ｂ１と狭帯域画像ｂ２を再度取り込み、動きベクトル演算部１３０から出力される動きベクトル６４３、６４４を取り込む。そして、位置合わせ処理部１４０は、動きベクトル６４３を用いて仮の基準画像６４１を仮想的な基準画像６４０に位置合わせし、動きベクトル６４４を用いて対象画像６４２を仮想的な基準画像６４０に位置合わせする。なお、仮の基準画像６４１と仮想的な基準画像６４０との位置合わせ、および対象画像６４２と仮想的な基準画像６４０との位置合わせは、たとえば、仮の基準画像６４１の読出しアドレスを動きベクトル６４３の分だけシフトすることでおこなわれる。また、対象画像６４２の読出しアドレスを動きベクトル６４４の分だけシフトすることでおこなわれる。これにより、仮想の基準画像６４０は、狭帯域画像ｇの撮像タイミングに一致することが期待できる。
【００８４】
次に、位置合わせ処理部１４０が位置合わせをした狭帯域画像ｂ１と狭帯域画像ｂ２を合成する処理について具体的に説明する。図１９は、第三の実施形態の画像記憶部に記憶されている入力画像と出力画像生成部が出力する出力画像の関係を示す図である。
【００８５】
出力画像Ｐ１の合成タイミングでは、タイミングＴ１で撮像された狭帯域画像ｂ１と、タイミングＴ２で撮像された狭帯域画像ｂ２より後のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８６】
そして、出力画像Ｐ２の合成タイミングでは、タイミングＴ２で撮像された狭帯域画像ｂ２と、タイミングＴ４で撮像された狭帯域画像ｂ１との間のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８７】
そして、出力画像Ｐ３の合成タイミングでは、タイミングＴ４で撮像された狭帯域画像ｂ１と、タイミングＴ５で撮像された狭帯域画像ｂ２より前のタイミングＴ３に仮想的な基準画像が設定される。したがって、合成画像生成部１５０は、タイミングＴ３の合成画像である狭帯域画像ｂ３を生成する。
【００８８】
そして、出力画像Ｐ４の合成タイミング以下、周期的に繰り返される出力画像の合成タイミングでも同様である。
このようにして、狭帯域画像ｂ３を生成することで、狭帯域画像ｂ３と狭帯域画像ｇの撮像タイミングは、一致する。これにより、粘膜表層部５０２付近での組織情報と、より深い粘膜深部５０３での組織情報との相互の位置関係の把握を容易にして疑似カラー画像６０４を観察者に提示することができる。
【００８９】
なお、基準画像を１枚の狭帯域画像、対象画像を１枚の狭帯域画像として説明したが、これに限らず、基準画像を１枚の狭帯域画像、対象画像を２枚以上の狭帯域画像としてもよい。また、対象画像の数を可変としてもよく、たとえば、ノイズをどの程度低減させるかという設定に基づいて、ノイズ低減効果を大きくしたいときは、対象画像を多くするようにしてもよい。また、動きベクトルの大きさの評価に基づいて、対象画像を多くするようにしてもよい。たとえば、動きベクトルの大きさが小さいときには、対象画像を多くするようにしてもよい。
【００９０】
なお、回転フィルタ２２０は、モータ２４０に駆動されて、１枚の出力画像の生成に要する３枚の入力画像の撮像周期時間で１回転するようにしたが、たとえば、モータ２４０にステッピングモータを用いて駆動位置を制御することにより、光路中に位置するフィルタを選択的に切り替えるようにしてもよい。
【００９１】
なお、合成する狭帯域画像を青の狭帯域画像として説明したが、緑、または赤、あるいは、赤外光など、任意の狭帯域画像について適用してもよい。また、観察者の選択操作により合成画像の生成対象となる狭帯域画像を選択できるようにしてもよい。その場合は、選択入力に基づいて、光源装置からの出射光を選択制御することにより実現できる。
【００９２】
なお、画像処理装置１００は、たとえば、カプセル内視鏡が撮像した画像にも適用できる。カプセル内視鏡は、照明光を体腔内の組織に照射する光源部と、体腔内の反射光を撮像する撮像部と、撮像により得られた画像情報（撮像に用いた光源を特定する光源制御情報を含めてもよい）とを外部に送信する送信部とを備える。そして、カプセル内視鏡の光源部が分光特性の異なる複数の照明光（たとえば、ＬＥＤ照明）を備え、照明光を切り替えることで、撮像部は、分光特性の異なる内視鏡画像を撮像可能である。そして、画像処理装置１００は、画像記録装置がカプセル内視鏡から受信した画像群を一旦記録した画像情報を、入力することができる。
【００９３】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置および撮像装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【００９４】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００９５】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【００９６】
なお、上述の実施の形態は、実施の形態の要旨を逸脱しない範囲内において種々の変更を加えることができる。
さらに、上述の実施の形態は、多数の変形、変更が当業者にとって可能であり、説明した正確な構成および応用例に限定されるものではない。
【符号の説明】
【００９７】
１０ 撮像装置
１００ 画像処理装置
１１０ 制御部
１２０ 画像記憶部
１３０ 動きベクトル演算部
１４０ 位置合わせ処理部
１５０ 合成画像生成部
１６０ 出力画像生成部
２００ 光源装置
２１０ 白色光源
２２０ 回転フィルタ
２２１ 第１フィルタ
２２２ 第２フィルタ
２３０ フィルタ制御部
２４０ モータ
３００ 挿入部
３１０ ライトガイドファイバ
３２０ レンズ
３３０ 対物レンズ
３４０ 撮像素子
４００ 画像表示装置
５００ 体腔内組織
【特許請求の範囲】
【請求項１】
第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、
前記位置合わせをされた前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、
前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の分光画像は、白色照明光を第１のフィルタに透過させて生成された照明光により撮像され、
前記第２の分光画像は、前記白色照明光を第２のフィルタに透過させて生成された照明光により撮像されたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の分光特性を有する照明光は、前記第２の分光特性を有する照明光と比較して分光放射照度が小さいことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の分光特性を有する照明光は、おおむね青の分光特性を持ち、
前記第２の分光特性を有する照明光は、おおむね緑の分光特性を持つことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記出力画像は、Ｒ、Ｇ、Ｂの３チャネルの信号値を持つカラー画像であり、
Ｒチャネルは、前記第２の分光画像の画像情報を保持し、
ＧチャネルおよびＢチャネルは、前記合成画像の画像情報を保持することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記合成画像生成部は、前記位置合わせをした前記複数の第１の分光画像を加算平均処理した加算平均画像を前記合成画像として生成することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記第１の分光画像と前記第２の分光画像とは、二つの前記第１の分光画像と一つの前記第２の分光画像とを１周期として順次撮像された画像であることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記位置合わせ処理部は、
複数の前記第１の分光画像のうち、前記第２の分光画像との撮像タイミングの時間差が最小の画像の位置に、その余の画像の位置を合わせて、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記位置合わせ処理部は、
前記第２の分光画像の撮像タイミングの画像の位置に、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記位置合わせ処理部は、
複数の前記第１の分光画像の平均撮像タイミングの仮想画像の位置に、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記位置合わせ処理部は、
前記複数の第１の分光画像のうちの平均撮像タイミングの画像の位置に、その余の画像の位置を合わせて、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
二つの前記第１の分光画像と一つの前記第２の分光画像とを１周期として順次撮像された画像として記憶する画像記憶部を備え、
前記位置合わせ処理部は、
１の前記第１の分光画像と前記第２の分光画像の時間差と、他の前記第１の分光画像と前記第２の分光画像の時間差とが異なる場合は、前記第１の分光画像のうち、前記第２の分光画像との撮像タイミングの時間差が最小の画像の位置に、その余の画像の位置を合わせて、二つの前記第１の分光画像の位置合わせをおこない、
１の前記第１の分光画像と前記第２の分光画像の時間差と、他の前記第１の分光画像と前記第２の分光画像の時間差とが等しい場合は、前記第２の分光画像の撮像タイミングの画像の位置に、二つの前記第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
位置合わせ処理部が、第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこない、
合成画像生成部が、前記位置合わせをした前記複数の第１の分光画像の合成画像を生成し、
出力画像生成部が、前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、
第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部、
前記位置合わせをした前記複数の第１の分光画像の合成画像を生成する合成画像生成部、
前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部、
として機能させることを特徴とする画像処理プログラム。
【請求項１５】
第１の分光特性を有する照明光と、第２の分光特性を有する照明光とを選択的に出射する照明部と、
前記照明光による被写体からの反射光を撮像する撮像部と、
前記第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、
前記位置合わせをした前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、
前記合成画像と、前記第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、
を備えることを特徴とする撮像装置。
【請求項１】
第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、
前記位置合わせをされた前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、
前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の分光画像は、白色照明光を第１のフィルタに透過させて生成された照明光により撮像され、
前記第２の分光画像は、前記白色照明光を第２のフィルタに透過させて生成された照明光により撮像されたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の分光特性を有する照明光は、前記第２の分光特性を有する照明光と比較して分光放射照度が小さいことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の分光特性を有する照明光は、おおむね青の分光特性を持ち、
前記第２の分光特性を有する照明光は、おおむね緑の分光特性を持つことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記出力画像は、Ｒ、Ｇ、Ｂの３チャネルの信号値を持つカラー画像であり、
Ｒチャネルは、前記第２の分光画像の画像情報を保持し、
ＧチャネルおよびＢチャネルは、前記合成画像の画像情報を保持することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記合成画像生成部は、前記位置合わせをした前記複数の第１の分光画像を加算平均処理した加算平均画像を前記合成画像として生成することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記第１の分光画像と前記第２の分光画像とは、二つの前記第１の分光画像と一つの前記第２の分光画像とを１周期として順次撮像された画像であることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記位置合わせ処理部は、
複数の前記第１の分光画像のうち、前記第２の分光画像との撮像タイミングの時間差が最小の画像の位置に、その余の画像の位置を合わせて、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記位置合わせ処理部は、
前記第２の分光画像の撮像タイミングの画像の位置に、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記位置合わせ処理部は、
複数の前記第１の分光画像の平均撮像タイミングの仮想画像の位置に、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記位置合わせ処理部は、
前記複数の第１の分光画像のうちの平均撮像タイミングの画像の位置に、その余の画像の位置を合わせて、前記複数の第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
二つの前記第１の分光画像と一つの前記第２の分光画像とを１周期として順次撮像された画像として記憶する画像記憶部を備え、
前記位置合わせ処理部は、
１の前記第１の分光画像と前記第２の分光画像の時間差と、他の前記第１の分光画像と前記第２の分光画像の時間差とが異なる場合は、前記第１の分光画像のうち、前記第２の分光画像との撮像タイミングの時間差が最小の画像の位置に、その余の画像の位置を合わせて、二つの前記第１の分光画像の位置合わせをおこない、
１の前記第１の分光画像と前記第２の分光画像の時間差と、他の前記第１の分光画像と前記第２の分光画像の時間差とが等しい場合は、前記第２の分光画像の撮像タイミングの画像の位置に、二つの前記第１の分光画像の位置合わせをおこなうことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
位置合わせ処理部が、第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこない、
合成画像生成部が、前記位置合わせをした前記複数の第１の分光画像の合成画像を生成し、
出力画像生成部が、前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、
第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部、
前記位置合わせをした前記複数の第１の分光画像の合成画像を生成する合成画像生成部、
前記合成画像と、第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部、
として機能させることを特徴とする画像処理プログラム。
【請求項１５】
第１の分光特性を有する照明光と、第２の分光特性を有する照明光とを選択的に出射する照明部と、
前記照明光による被写体からの反射光を撮像する撮像部と、
前記第１の分光特性を有する照明光により異なるタイミングで撮像された複数の第１の分光画像の位置合わせをおこなう位置合わせ処理部と、
前記位置合わせをした前記複数の第１の分光画像の合成画像を生成する合成画像生成部と、
前記合成画像と、前記第２の分光特性を有する照明光により撮像された第２の分光画像とから出力画像を生成する出力画像生成部と、
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２７９４５４（Ｐ２０１０−２７９４５４Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３３６１２（Ｐ２００９−１３３６１２）
【出願日】平成２１年６月３日（２００９．６．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月３日（２００９．６．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]