画像処理装置、画像処理方法及びプログラム
【課題】 内視鏡の体内における位置と、ガイド画像上での位置を高精度で一致させることができる画像処理装置、画像処理方法及びプログラム等を提供すること。
【解決手段】 画像処理装置は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部３２５と、撮像画像が撮像された際の、内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部３４１と、被検体内の部位のモデルである部位モデルを取得する部位モデル取得部３４３と、取得された部位モデル上において、取得された体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部３４２と、特定されたモデル上位置に、撮像画像に関する情報を対応付ける対応付け部３４５と、を含む。
【解決手段】 画像処理装置は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部３２５と、撮像画像が撮像された際の、内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部３４１と、被検体内の部位のモデルである部位モデルを取得する部位モデル取得部３４３と、取得された部位モデル上において、取得された体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部３４２と、特定されたモデル上位置に、撮像画像に関する情報を対応付ける対応付け部３４５と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡装置に代表される、消化管などの体腔内へ挿入して、診断、治療等に用いる医用器具が知られている。このような医用器具を用い、生体に対して検査や手術を行う際、術者は、予め体内の各部位（器官、組織）の既知の位置関係を念頭に置きながら、現在観察している部位の位置を推定して、診断や手術を行う。このような診断や手術を支援するために、検査時や手術時に観察している内視鏡装置の体内の位置を表示する技術が提案されている。
【０００３】
このような医用支援システムとして、例えば特許文献１には、超音波内視鏡の先端位置を検出して、超音波内視鏡の体内での位置に対応したガイド画像を表示する技術が記載されている。
【０００４】
特許文献１では、生体の標本点の位置を検出する標本点位置検出手段を設け、標本点位置検出手段で検出された標本点の位置と、画像情報保持手段に保持された参照画像データ上の特徴点の位置とを照合してガイド画像を作成している。また、生体の位置もしくは体位を検出する体位検出手段が設けられ、被検体に装着される。この前記体位検出手段により検出された被検体の位置もしくは向きに基づいて、前記標本点位置検出手段により検出された前記標本点の位置を補正することで、被検体の体位変化を補正しながら前記ガイド画像を作成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４９４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、ガイド画像上の特徴点に対応する、生体の標本点を取得しなければいけないため、標本点を取得するための位置検出手段が必要になり、コストの面で有利ではない。また、参照画像データを取得した時と内視鏡検査の時で、骨格と内臓の位置関係や形状に違いが発生し、被検体上で取得した標本点と参照画像データ上で指定した特徴点がずれてしまうと、ガイド画像と実際の内視鏡装置の体内における位置に誤差が生じる。
【０００７】
具体的には、参照画像データとしてＣＴを使用する場合、ＣＴ撮影時には基本的に仰向けで撮影をする。一方、内視鏡検査では深部消化管、例えば大腸を経由して小腸へ挿入する場合、単に内視鏡挿入部を押し入れていくだけでは、複雑な腸管の屈曲のため内視鏡先端に力が伝わりにくく、深部への挿入は困難である。このため、大腸内視鏡挿入手技においては、アングル操作、捻り操作、引き戻し操作、軸保持などの工夫を要する。特に、Ｓ状結腸や横行結腸は、大腸の遊離部分であり、また、その走行は変化に富んでいる。このため、大腸内視鏡挿入時には、この部位にループ（内視鏡が屈曲した状態で挿入されていること）を生じやすく、挿入困難となり易いため、これら湾曲部を有する部位をたたみこんで短縮する軸保持短縮法が行われている。このような手技により、参照画像を作成するＣＴ撮影時と、内視鏡検査時では内臓の形状が異なるため、ガイド画像と実際の内視鏡装置の体内における位置に誤差が生じる。
【０００８】
本発明の幾つかの態様によれば、内視鏡の体内における位置と、部位モデル画像（ガイド画像）上での位置を高精度で一致させることができる画像処理装置、画像処理方法及びプログラム等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、内視鏡装置の体内における位置を検出するための大掛かりな装置が必要なく、ガイド画像上の内視鏡装置の位置を実際の内視鏡装置の体内における位置に高い精度で一致させることができる画像処理装置、画像処理方法及びプログラム等を提供できる
【課題を解決するための手段】
【００１０】
本発明の一態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様では、体内位置特定情報に基づいて、撮像画像を撮像した際の内視鏡の体内位置に対応するモデル上位置を特定する。そして特定されたモデル上位置に、撮像画像に関する情報を対応づける。そのため、内視鏡のモデル上位置と、体内における位置とが高い精度で一致するようなモデル画像（ガイド画像）を表示することが可能になる。
【００１２】
本発明の他の態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得し、前記被検体内の部位のモデルである部位モデルを取得し、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定し、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける画像処理方法に関係する。
【００１３】
本発明の他の態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における表示方法の例。
【図２】図２（Ａ）は大腸の通常の状態を表した図、図２（Ｂ）は軸保持短縮法を行う際の大腸の状態を表した図。
【図３】本実施形態のシステム構成例。
【図４】色フィルタｒ、ｇ、ｂの分光特性。
【図５】色フィルタｇ２，ｂ２の説明図。
【図６】色フィルタｇ２，ｂ２の分光特性。
【図７】通常光画像取得部の構成例。
【図８】特殊光画像取得部の構成例。
【図９】ガイド画像生成部の構成例。
【図１０】体内位置特定情報取得部の構成例。
【図１１】図１１（Ａ）は第１のタイミングにおける撮像画像、図１１（Ｂ）は第２のタイミングにおける相似形状の撮像画像の例。
【図１２】撮像画像における相似形状の倍率と移動距離の関係図。
【図１３】大腸の各部位の名称及び基準位置の説明図。
【図１４】モデル上位置特定部の構成例。
【図１５】図１５（Ａ）は軸保持短縮法を用いる場合の補正及び変換の処理を説明する図、図１５（Ｂ）は軸保持短縮法を用いない場合の補正及び変換の処理を説明する図。
【図１６】図１６（Ａ）は管空状の部位において病変部を観察する際の内視鏡装置の状態を説明する図、図１６（Ｂ）は病変部を詳細に観察する際の内視鏡装置の移動を説明する図。
【図１７】部位モデルに注目領域及び内視鏡装置位置を示すインジケータを表示する例。
【図１８】ソフトウェア処理で用いられるコンピュータの構成例。
【図１９】ソフトウェア処理で用いられるコンピュータの構成例。
【図２０】本実施形態の処理を説明するためのフローチャート。
【図２１】体内位置特定情報取得処理を説明するためのフローチャート。
【図２２】モデル上位置特定処理を説明するためのフローチャート。
【図２３】本実施形態の他のシステム構成例。
【図２４】体内位置特定情報取得部の他の構成例。
【図２５】体内位置特定情報取得部の他の構成例。
【図２６】モデル上位置特定部の他の構成例。
【図２７】図２７（Ａ）は軸保持短縮法を用いる場合の変換及び補正の処理を説明する図、図２７（Ｂ）は軸保持短縮法を用いない場合の変換及び補正の処理を説明する図。
【図２８】本実施形態の他のシステム構成例。
【図２９】ガイド画像生成部の他の構成例。
【発明を実施するための形態】
【００１５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。図１に本実施形態における表示方法の例を示す。図１に示したように、本実施形態の画像処理装置を含む内視鏡装置の表示部には、内視鏡装置の挿入部（撮像部）により撮像された生体内画像と、体内の部位のモデルであるモデル画像とが表示される。
【００１７】
そして、後述する図１７のように、モデル画像上には、内視鏡装置の挿入部が体内のどこにあるかを表すインジケータが表示される。また、注目すべき領域（例えば病変部等）である注目領域の位置を表すインジケータが表示されてもよい。
【００１８】
モデル画像上の内視鏡装置の位置を、実際の内視鏡装置の体内における位置に高い精度で一致させることができれば、内視鏡装置の現在位置や病変部の位置等を正確に把握することができるため、ドクターの診察を容易にすることが可能になる。
【００１９】
具体的な手法としては、まず何らかの方法で、体内位置特定情報として内視鏡装置の移動情報（例えば移動距離や移動方向等）を取得する。第１の実施形態においては、内視鏡装置の挿入部（撮像部）により撮像された画像に基づいて体内位置特定情報を取得する手法について説明する。また、第２の実施形態においては、センサからのセンサ情報に基づいて体内位置特定情報を取得する手法について説明する。
【００２０】
取得した体内位置特定情報は、内視鏡装置の挿入部の実移動距離に対応する。しかし、体内位置特定情報をそのまま用いて、内視鏡装置の体内位置に対応するモデルにおける位置（以下、モデル上位置と表記する）を求めるには問題がある。
【００２１】
なぜなら大腸内視鏡挿入時には、軸保持短縮法等の手法が用いられるからである。大腸内視鏡挿入時には、通常、捻りや引き戻しといった操作が必要になり、ループ（内視鏡が屈曲した状態で挿入されていること）が生じやすく、挿入が困難である。軸保持短縮法はこの問題を解決する１つの手法であり、本来は図２（Ａ）に示すように屈曲している部分を、図２（Ｂ）に示すようにまっすぐに伸ばすことで挿入を容易にする。そのため、実移動距離（体内位置特定情報により表される距離）が短かったとしても、モデル上においては、屈曲した部分のかなり先まで挿入されていることが想定される。
【００２２】
よって、軸保持短縮法等を用いることにより生じるずれを補正した上で、体内位置特定情報（補正後体内位置特定情報）を求める必要がある。また、体内位置特定情報は実スケールに対応する移動情報等であるため、モデル上の距離に変換する必要もある。以上の手法は第１の実施形態において説明する。
【００２３】
なお、補正と変換の順番はこれに限定されるものではなく、先に変換をしてから補正を行ってもよい。変換を先に行う手法について第３の実施形態で説明する。
【００２４】
また、部位モデルの取得方法には、様々なものが考えられるが、特にカプセル内視鏡を用いる例を第４の実施形態で説明し、ＣＴスキャンを用いる例を第５の実施形態で説明する。
【００２５】
２．第１の実施形態
本発明の第１の実施形態に係る画像処理装置を含む内視鏡装置について、図３を参照して説明する。本実施形態に係る画像処理装置を含む内視鏡装置は、光源部１００と、挿入部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００２６】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を含む。
【００２７】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を含む。
【００２８】
第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ，Ｇ，Ｂは例えば図４に示すような分光特性を持っている。第２撮像素子２６０は狭帯域画像を撮影するための撮像素子であり、例えば図５に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。第２撮像素子２６０の色フィルタｇ２、ｂ２は例えば図６に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。
【００２９】
画像処理部３００（画像処理装置）はＡＤ変換部３１０ａ、３１０ｂと通常光画像取得部３２０と特殊光画像取得部３３０とガイド画像生成部３４０と制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、ガイド画像生成部３４０と双方向に接続されていて、これらを制御するようになっている。
【００３０】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３５０へ出力するようになっている。
【００３１】
ＡＤ変換部３１０ａは、第１撮像素子２５０から出力されるアナログ信号をデジタル信号に変換して出力する。ＡＤ変換部３１０ｂは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【００３２】
通常光画像取得部３２０は、例えばＡＤ変換部３１０ａから出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０は、例えばＡＤ変換部３１０ｂから出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００３３】
通常光画像取得部３２０で取得された通常光画像は、観察画像として表示部４００に出力する。また、通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像はガイド画像生成部３４０に出力される。ガイド画像生成部３４０はガイド画像を生成して画像表示部４００に出力する。ガイド画像生成部３４０の詳細については後述する。
【００３４】
次に通常光画像取得部３２０について図７を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１はＡＤ変換部３１０ａで変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。
【００３５】
次に特殊光画像取得部３３０について図８を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１はＡＤ変換部３１０ｂで変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像は狭帯域光画像となる。
【００３６】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図５で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図５のｇ２（１，１）の位置でのｂ２の画素値ｂ２（１，１）、及びｂ２（１，２）位置でのｇ２の画素値ｇ２（１，２）は、下式（１）、（２）のように算出される。
【００３７】
b2(1,1)=[b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)]/4 ・・・・・（１）
g2(1,2)=[g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)]/4 ・・・・・（２）
次に全画素に対して補間されたＧ２画像及びＢ２画像からＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【００３８】
次に、ガイド画像生成部３４０の具体的な構成について説明する。図９は、第１の実施形態におけるガイド画像生成部３４０の構成の一例を説明するブロック図である。ガイド画像生成部３４０は、体内位置特定情報取得部３４１と、部位モデル取得部３４３と、モデル上位置特定部３４２と、対応付け部３４４と、注目領域検出部３４５と、を含む。
【００３９】
ここで、通常光画像取得部３２０からの画像信号は、体内位置特定情報取得部３４１と、モデル上位置特定部３４２と、に出力される。体内位置特定情報取得部３４１は、モデル上位置特定部３４２に接続されている。部位モデル取得部３４３は、モデル上位置特定部３４２と、対応付け部３４４とに接続されている。また、特殊光画像取得部３３０からの画像信号は、注目領域検出部３４５に出力される。注目領域検出部３４５は、対応付け部３４４に接続されている。対応付け部３４４は、表示部４００に接続されている。また、制御部３５０は、体内位置特定情報取得部３４１と、モデル上位置特定部３４２と、部位モデル取得部３４３と、対応付け部３４４と、注目領域検出部３４５と、に双方向に接続されていて、これらを制御するようになっている。
【００４０】
体内位置特定情報取得部３４１は、制御部３５０の制御に基づき、その画像が撮像された際の内視鏡装置の体内における位置を特定するための情報として、内視鏡装置の移動距離および体内での移動方向を取得する。体内位置特定情報取得部３４１の具体的な構成について説明する。図１０は、第１の実施形態における体内位置特定情報取得部３４１の構成の一例を説明するブロック図である。図１０に示すように、体内位置特定情報取得部３４１は、画像記憶部３４１０と、距離算出部３４１２と、方向算出部３４１１と、補正部３４１３と、を含んでいる。
【００４１】
画像記憶部３４１０は、制御部３５０の制御に基づき、通常光画像取得部から出力された通常光画像を記憶する。具体的には、通常光画像が画像記憶部に入力されると、画像記憶部３４１０に記憶されている１フレーム前の通常光画像が、距離算出部３４１２と、方向算出部３４１１に各々出力され、入力された通常光画像が上書きされる。
【００４２】
距離算出部３４１２は、制御部３５０の制御に基づき、取得された画像をもとに、内視鏡装置の移動距離として、内視鏡装置の体内での移動距離を算出する。ここでは、通常光画像取得部３２０で取得された画像の特徴点と、画像記憶部に記憶されたその画像よりも１フレーム前に取得された画像の特徴点をマッチングし、マッチングされた特徴点の相似形状から、内視鏡装置の体内での移動距離Ｌを算出する。移動距離Ｌの算出方法は、公知の技術を使う。具体的には例えば図１１（Ａ）、図１１（Ｂ）に示すように、片方の画像で特徴点を抽出し、他方の画像で抽出した特徴点の相似形状を抽出する。そして、図１２に示すような、相似形状の倍率と移動距離とのテーブルを保持しておき、テーブルを参照することで移動距離を算出すればよい。算出された移動距離Ｌは補正部３４１３に出力される。
【００４３】
なお、撮像画像から移動距離を求める方法は上記マッチングに限定されるものではない。挿入部２００にズーム機構を追加して、ズーム機能を利用して単眼画像による３次元計測を行ってもよい。また、挿入部２００にビーム射出機構を追加して、ビームによる動き推定（オプティカルフローの算出）により３次元計測を行ってもよい。
【００４４】
方向算出部３４１１は、制御部３５０の制御に基づき、取得された画像をもとに、内視鏡装置の測定開始地点からの体内での移動方向を算出する。具体的には、通常光画像取得部３４０で取得された画像と、画像記憶部に記憶されたその画像よりも１フレーム前に取得された画像とをマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動方向（ｈ，ｖ）を算出する。ここで、ｈは水平方向で移動した角度、ｖは垂直方向で移動した角度を示す。また、ｈは１フレーム前の画像が取得された時の撮像面の法線方向に対して、右が正、左が負とする。また、ｖは１フレーム前の画像が取得された時の撮像面の法線方向に対して、上が正、下が負とする。算出された移動方向（ｈ，ｖ）はモデル上位置特定部３４２に出力される。
【００４５】
補正部３４１３は、制御部３５０の制御に基づき、算出された体内での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する。具体的には、内視鏡装置が軸保持短縮法を用いて挿入される、湾曲部を有する湾曲部位の全体または一部の区間中の移動距離に対しては、その距離を増加させる補正を行う。これは、軸保持短縮法は腸をたたみこんで短縮するため、部位モデル上での移動距離は、算出した移動距離に対して長くなるためである。補正後の移動距離ｃＬは以下の式で算出する。
【００４６】
cL=corCoef×L ・・・・・（３）
ｃｏｒＣｏｅｆは１以上の係数であり、術者が予め決めてもよいし、患者情報から制御部３５０が自動で算出してもよい。補正された移動距離ｃＬは、モデル上位置特定部３４２に出力される。
【００４７】
部位モデル取得部３４３は、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルを取得する。ここで、部位モデル取得部３４３は、大容量のデータを記憶することが可能な例えばハードディスクドライブ、テープドライブを有し、複数の生体の部位モデルが記憶されている。ここで、部位モデルは健常者の生体部位を表す２次元モデルである（例えば、図１３大腸モデルのイメージ図）。なお、部位モデルは３次元モデルであってもよい。また、部位モデルは、被検体本人から取得されるものであってもよいし、異なる人体から取得されるものであってもよい。また、部位モデルは、身長や体格等の身体的特徴や性別等の条件ごとに、あらかじめ異なる人体から取得されるものであってもよい。また、部位モデルは、カプセル内視鏡装置、ＣＴ装置、ＭＲＩ装置から、ネットワーク経由で画像処理部３００に入力され、部位モデル取得部３４３に記憶されるものであってもよい。部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【００４８】
モデル上位置特定部３４２は、制御部３５０の制御に基づき、取得された部位モデル上において、算出された体内撮像位置に対応したモデル上位置を特定する。モデル上位置特定部３４２の具体的な構成について説明する。図１４は、第１の実施形態におけるモデル上位置特定部３４２の構成の一例を説明するブロック図である。図１４に示すように、モデル上位置特定部３４２は、基準位置検出部３４２１と、変換部３４２２と、を含んでいる。
【００４９】
基準位置検出部３４２１は、制御部３５０の制御に基づき、移動距離の基準となる基準位置を検出する。ここでは、基準位置の１つである測定開始地点は、内視鏡装置による体内の撮像そのものを開始した地点である。具体的には、通常光画像取得部から入力された通常光画像の特徴点を算出することで測定開始地点を検出する。ここで、特徴点は画像全体の色情報とし、画像全体が赤みがかった時点が、内視鏡装置による体内の撮像を開始した地点とする。図１３の基準位置Ａがこれにあたる。移動距離の基準位置は、これに限らず、内視鏡装置による特定の部位の撮像を開始した地点であってもよい。例えば、内視鏡装置の体内における位置が、大腸から小腸に切り替わった地点を基準位置として新たに設定してもよい。図１３の基準位置Ｂがこれにあたる。基準位置が検出された場合、検出信号を変換部３４２２に出力する。
【００５０】
変換部３４２２は、制御部３５０の制御に基づき、体内位置特定情報取得部３４１より算出された体内での移動距離を部位モデル上の距離に変換し、体内での移動方向を部位モデル上の移動方向に変換する。ここでは、まず、算出された移動距離ｃＬを、部位モデル上のスケールに合わせた移動距離ｍＬ１に以下の式で変換する。
【００５１】
mL１=modCoef×cL ・・・・・（４）
係数ｍｏｄＣｏｅｆは、部位モデルの大きさに合わせた係数となっており、部位モデル毎に予め設定されている。
【００５２】
ここで、撮影部位が軸保持短縮法の対象部位の場合、移動方向（ｈ，ｖ）を基準位置から積算した移動方向ａｄｄＨ、ａｄｄＶを算出する。そして、モデル上の移動距離ｍＬ１を移動方向で補正した移動距離ｒａｄＬを以下の式で算出する。
【００５３】
radL=mL１×cos(addH)×cos(addV) ・・・・・（５）
さらに、移動方向で補正された移動距離ｒａｄＬを、基準位置から積算した移動距離ａｄｄＬを算出する。基準位置からの移動距離ａｄｄＬは対応付け部３４４に出力される。
【００５４】
一方、撮影部位が軸保持短縮法の対象部位ではない場合、移動方向（ｈ，ｖ）から、部位モデル上での移動量（ｘ，ｙ）を以下の式で算出する
mL2= modCoef×L ・・・・・（６）
(x,y)=(mL2×sin(h)×cos(v),mL2×cos(h)×cos(v)) ・・・・・（７）
この（ｘ，ｙ）を、基準位置から積算した値を（ａｄｄＸ，ａｄｄＹ）と示す。（ａｄｄＸ，ａｄｄＹ）は、部位モデル上での基準座標からの相対座標を表している。基準位置からの相対座標（ａｄｄＸ，ａｄｄＹ）は対応付け部３４４に出力される。
【００５５】
以上の体内位置特定情報取得部３４１及びモデル上位置特定部３４２における処理を図示したものが図１５（Ａ）、図１５（Ｂ）である。図１５（Ａ）は軸保持短縮法が用いられる湾曲部位を移動している際に行われる処理であり、図１５（Ｂ）は軸保持短縮法等の手技が用いられない場合に行われる処理を表す。
【００５６】
図１５（Ａ）、図１５（Ｂ）を用いて上述した処理について再度説明する。まず画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する。軸保持短縮法が用いられる場合には、図１５（Ａ）に示すように、補正部３４１３による補正が行われる。具体的には上述した式（３）に相当し、Ｌに対して係数ｃｏｒＣｏｅｆを乗じてｃＬを求める処理である。移動方向情報（ｈ，ｖ）に対しては、補正処理は行われない。
【００５７】
次に変換部３４２２による変換処理が行われる。具体的には、上述した式（４）に相当し、ｃＬに対して係数ｍｏｄＣｏｅｆを乗じてｍＬ１を求める処理である。ｍＬ１を求めるとともに、移動方向情報（ｈ，ｖ）に対しては基準位置からの積算値（ａｄｄＨ，ａｄｄＶ）を求める。（ｈ，ｖ）は１フレームあたりの角度の変化量を示すものであるため、（ａｄｄＨ，ａｄｄＶ）は基準位置に対する現在の角度を示す値になる。そして、ｍＬ１と（ａｄｄＨ，ａｄｄｖ）とから上述した式（５）により、ｒａｄＬを求める。
【００５８】
式（５）について図１６（Ａ）、図１６（Ｂ）を用いて説明する。図１６（Ａ）は管空状の部位（例えば大腸）を移動する内視鏡装置を２次元的に表した図である。なお内視鏡装置の先端部はユーザの操作により曲げることが可能である。図１６（Ａ）のように進行方向６０（基準位置における移動方向を表す）に対して角度θだけ曲げた状態で、病変部６２を観察していたとする。その状態から病変部を詳細に観察するため、内視鏡装置を移動させたとすると、図１６（Ｂ）の６４に示す位置に移動することが想定される。この場合、画像情報から得られる移動距離情報は同図のｋ１で示す距離となるが、進行方向６０への移動距離はｋ２に相当する。モデル上位置を特定するに当たり必要な情報はｋ２であり、ｋ２＝ｋ１×ｃｏｓθであるから、上述した式（５）のように、算出された移動距離に対してｃｏｓ（ａｄｄＨ）及びｃｏｓ（ａｄｄＶ）を乗ずることになる。
【００５９】
なお、斜め方向に移動する例として、病変部を詳細に観察するというケースを挙げたが、これに限定されるものではない。例えば進行方向６０に直交する方向へのブレや挿入のための意図的な移動等による斜め方向の移動に対しても、同様の処理が行われる。
【００６０】
そして、ｒａｄＬの基準位置からの積算値ａｄｄＬを求めて、対応付け部３４４へ出力する。モデル上位置を特定するに当たり、２次元の部位モデル（３次元でもよいのは上述したとおりであるが、ここでは２次元を例にとって説明する）に対して、１次元の情報である距離情報が出力となっているが、問題は生じない。なぜなら、軸保持短縮法が用いられる部分においては、部位は直線上に伸ばされていることが想定されるためである。部位内を、ある一定の経路に沿って移動することを仮定すれば、距離情報からモデル上位置を特定することは可能である。
【００６１】
次に図１５（Ｂ）を用いて、軸保持短縮法が用いられない場合の処理について説明する。画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する点は図１５（Ａ）と同様である。
【００６２】
補正を必要としないため、補正部３４１３による処理は行われない。変換部３４２２において、上述した式（６）に示すように、Ｌに係数ｍｏｄＣｏｅｆを乗ずる処理を行い、ｍＬ２を求める。そして、移動距離情報ｍＬ２（モデル上の移動距離情報）と移動方向（ｈ，ｖ）とから、上述した（７）により、移動ベクトル（ｘ，ｙ）を求める。（ｘ，ｙ）は１フレームあたりの移動ベクトルを表すため、（ｘ，ｙ）を基準位置から積算することで、求めたい座標（ａｄｄＸ，ａｄｄＹ）を特定することができる。
【００６３】
次に注目領域検出部３４５について説明する。注目領域検出部３４５は、制御部３５０の制御に基づき、取得された画像から、注目すべき領域である注目領域を検出する。ここで注目領域とは、例えば体内画像における病変部に対応する領域等である。まず、取得された画像を複数の領域に分割し、各領域に対して特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで病変部を検出することができる。Ｒ，Ｇ，Ｂチャンネルの信号値をｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。
【００６４】
次にこの信号値ｒ，ｇ，ｂから例えば下式（８）〜（１３）を用いて色相Ｈを算出する。
【００６５】
MAX=MAX(r,g,b) ・・・・・（８）
ここで、ＭＡＸ関数は複数の引数の中で最大のものを出力する関数とする。
ＭＡＸが０の場合、
H=０ ・・・・・（９）
ＭＡＸが０以外の場合、
d=MAX(r,g,b)-MIN(r,g,b) ・・・・・（１０）
ここで、ＭＩＮ関数は複数の引数の中で最小のものを出力する関数とする。
【００６６】
さらに、
ｒ、ｇ、ｂのうちｒが最大の場合、
H=60*(g-b)/d ・・・・・（１１）
ｒ、ｇ、ｂのうちｇが最大の場合、
H=60*{2+(b-r)}/d ・・・・・（１２）
ｒ、ｇ、ｂのうちｂが最大の場合、
H=60*{4+(r-g)}/d ・・・・・（１３）
なお、Ｈが＜０になった場合には、Ｈに３６０を加える。また、Ｈ＝３６０の場合、Ｈ＝０とする。
【００６７】
ここで、局所領域に含まれる褐色を示す画素数を、各局所領域の特徴量とする。また、病変らしさを示す特徴量は、上記に限定されるものではなく、色の特徴量、空間周波数の特徴量、形の特徴量、および面積の特徴量等を各々求め、それぞれに重み付け係数を付与して線形結合し、各局所領域の病変らしさを示す特徴量としてもよい。
【００６８】
算出された各局所領域の特徴量は、所定の閾値と比較し、その比較結果に応じて注目領域か否かの判定を行う。この場合予め設定された閾値を用いてもよいし、制御部３５０により自動的に設定されてもよい。また、閾値は特殊光画像内の位置によって適応的に設定されてもよい。特徴量が閾値以上である局所領域は、注目領域として対応付け部３４４に出力される。
【００６９】
対応付け部３４４は、制御部３５０の制御に基づき、特定されたモデル上位置に、取得された画像に関する情報を対応付ける。ここで、取得された画像に関する情報は、例えば、その画像を撮像した際の内視鏡装置の位置を示すインジケータである。また、注目領域を含む注目画像についてモデル上位置特定部３４２により特定されたモデル上位置に、注目領域に関する情報を対応付ける。図１７に、部位モデルに内視鏡装置位置と、注目領域を対応付けたガイド画像の一例を示す。ガイド画像は表示部４００へ出力される。
【００７０】
表示部４００は、通常光画像取得部３２０から出力された通常光画像と、ガイド画像生成部３４０から出力されるガイド画像を同時に表示する。表示部の表示例は上述した図１のような形式が考えられる。
【００７１】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、内視鏡装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００７２】
撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００７３】
図１８は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１９は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１８に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【００７４】
また、このコンピューターシステム６００における本体部６１０は、図１９に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ1に接続するためのＬＡＮインターフェース６１８を備える。
【００７５】
さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【００７６】
そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２０〜図２２）を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００７７】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００７８】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図９のガイド画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図２０のフローチャートを用いて説明する。
【００７９】
この処理を開始すると、まず、時系列の通常光画像と、特殊光画像に対して、観察対象や撮影モード、照明光の同期信号などのヘッダ情報を入力する（Ｓ１１）。次に、ヘッダ情報から観察対象に対応する部位モデルを入力する（Ｓ１２）。そして、特殊光画像と通常光画像を予め確保しておいた画像バッファに入力する（Ｓ１３）。さらに、後で図２１を参照して詳細に説明するように、通常光画像から内視鏡装置の移動距離および体内での移動方向をもとに、その画像が撮像された際の内視鏡装置の体内における位置を特定するための、体内位置特定情報を取得する（Ｓ１４）。さらに、後で図２２を参照して詳細に説明するように、入力された部位モデル上において、取得された体内位置特定情報に基づいてモデル上位置を特定する（Ｓ１５）。そして、特殊光画像から注目すべき領域の候補である注目候補領域を検出する（Ｓ１６）。その後、特定されたモデル上位置に、入力された画像に関する情報を対応付ける（Ｓ１７）。取得された画像に関する情報は、その画像を撮像した際の内視鏡装置の位置を示すインジケータである。次に、モデル上位置にその画像を撮像した際の内視鏡装置の位置を示すインジケータを対応付けたガイド画像を出力する（Ｓ１８）。そして、時系列で最終画像の処理が終了したか否かを判定して（Ｓ１９）、終了していないと判定した場合にはＳ１３へ戻って次の画像信号について上述したような処理を繰り返して行う。一方、全画像信号の処理が終了していると判定した場合には、この処理を終了する。
【００８０】
次に、図２１を参照して、図２０のＳ１４における体内位置特定情報取得処理の詳細について説明する。
【００８１】
この処理を開始すると、まず、通常光画像の画像信号を記憶する（Ｓ２１）。そして、入力された画像信号の特徴点と、記憶されたその画像よりも１フレーム前に入力された画像信号の特徴点をマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動距離を算出する（Ｓ２２）。次に、入力された画像信号の特徴点と、記憶されたその画像よりも１フレーム前に入力された画像信号の特徴点をマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動方向を算出する（Ｓ２３）。そして、算出された体内での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する（Ｓ２４）。
【００８２】
次に、図２２を参照して、図２０のＳ１５におけるモデル上位置特定処理の詳細について説明する。
【００８３】
この処理を開始すると、まず、移動距離の測定開始地点となる基準位置を検出する（Ｓ３１）。続いて、体内位置特定情報取得処理で算出された体内での移動距離および移動方向を、部位モデル上の距離および方向に変換する（Ｓ３２）。
【００８４】
このような処理を行うことで、取得画像が体内のどの部位を撮影したかを、ガイド画像で視覚的に確認しながら検査を行うことができるため、術者の負荷を軽減することができる。
【００８５】
また、部位モデルと実際の内視鏡装置の体内の位置を補正しながら表示することができるため、高精度に撮像している画像がどの部位にあるかを確認することができる。
【００８６】
また、特殊光画像を用いて検出した注目領域をガイド画像に対応付けることで、注目領域を再度観察する場合でも用意に注目領域に内視鏡装置を移動することが可能になる。
【００８７】
以上の本実施形態では、図３に示した画像処理装置の画像取得部３２５は被検体内の部位の内部を内視鏡装置により撮像した撮像画像を取得する。そして図９に示した体内位置特定情報取得部３４１は取得した撮像画像に基づいて、その撮像画像が撮像された際の内視鏡装置の体内における位置を特定する情報を取得する。また、部位モデル取得部３４３は被検体内の部位のモデルである部位モデルを取得する。そして、モデル上位置特定部３４２は取得された部位モデル上において、体内位置特定情報に対応したモデル上位置を特定し、対応付け部３４４は特定されたモデル上位置に、取得された画像に関する情報を対応付ける処理を行う。
【００８８】
これにより、撮像画像及び体内位置特定情報を取得し、体内位置特定情報に基づいてモデル上位置を特定した上で、特定したモデル上位置に撮像画像に関する情報を対応づけることが可能になり、体内における内視鏡装置の位置を検出することができる。そして、内視鏡装置の体内における位置を対応付けられたガイド画像を表示することにより、術者の診断や手術を支援する画像処理装置を提供することができる。具体的には前述した図１のような表示形態が考えられる。
【００８９】
また、体内位置特定情報取得部３４１は、画像取得部３２５が取得した撮像画像に基づいて、体内位置特定情報を取得する。
【００９０】
これにより、画像処理に基づいて位置検出を行うことが可能になるため、体内における内視鏡装置の位置検出手段として大掛りな装置が不要になる。
【００９１】
また、体内位置特定情報取得部３４１は、図１０に示したように、内視鏡装置の移動距離を表す移動距離情報を算出する距離情報算出部３４１２を含む。そして、体内位置特定情報取得部３４１は、算出された移動距離情報を体内位置特定情報として取得する。
【００９２】
これにより、移動距離情報を体内位置特定情報として取得することが可能になる。よって移動距離に基づいた位置の検出が可能になる。
【００９３】
また、体内位置特定情報取得部３４１は、内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部３４１１を含む。そして、体内位置特定情報取得部３４１は、算出された移動方向情報を体内位置特定情報として取得する。
【００９４】
これにより、移動方向情報を体内位置特定情報として取得することが可能になる。よって移動方向に基づいた位置の検出が可能になる。また、移動距離と移動方向に対して異なる処理を行うことも可能になる。
【００９５】
また、画像取得部３２５は、第１のタイミングで第１の撮像画像を取得し、第１のタイミングよりも後の第２のタイミングにおいて第２の撮像画像を取得する。そして、第１の撮像画像と第２の撮像画像とのマッチング処理の結果に基づいて、体内位置特定情報を取得してもよい。
【００９６】
これにより、図１１（Ａ）、図１１（Ｂ）で示したように、２つの画像のマッチング処理によって体内位置特定情報を算出することが可能になる。よって大掛かりな装置がなくとも位置検出を行うことができる。また、１／３０秒や１／６０秒といったような短い間隔で、連続的な内視鏡装置の移動距離を算出することができる。なお、単眼の撮像画像による体内位置特定情報の取得方法に関しては、前述したようにマッチングに限定されるものではなく、ズーム機構やビーム射出機構を設け、それらの機能を用いて３次元計測を行ってもよい。
【００９７】
また、体内位置特定情報取得部３４１は、図１０に示したように、距離情報算出部３４１２により算出された移動距離情報を、内視鏡装置が移動した部位の全体又は一部の構造特性に応じて補正する補正部３４１３を含む。そして、モデル上位置特定部３４２は、補正部３４１３により補正された移動距離情報に基づいてモデル上位置を特定する。
【００９８】
ここで、補正部３４１３による補正とは、具体的には例えば、内視鏡装置が湾曲部位を移動した場合に、移動区間中の移動距離（移動距離情報により表される距離）を増加させる処理である。また、湾曲部位とは、具体的には例えば、大腸、小腸のいずれかである。
【００９９】
これにより、部位の構造特性に応じて、ガイド画像上の移動距離と、内視鏡装置の体内での移動距離の差を補正することが可能になる。具体的には前述した軸保持短縮法を用いるケースが考えられる。軸保持短縮法では図２（Ａ）、図２（Ｂ）に示すように湾曲部位をまっすぐに伸ばすことで挿入を容易にする。そのため、距離情報算出部により算出された距離情報に比べて、モデル上位置はより部位の奥にまで進んでいると考えられる。よって、移動距離を増加させるような補正が、補正部３４１３で行われる。なお、湾曲部位とは、大腸や小腸であり、具体的には例えば、図１３に示した下行結腸等である。
【０１００】
また、モデル上位置特定部３４２は、図１４に示したように補正部３４１３により補正された移動距離情報をモデル上の距離に変換する変換部３４２２を含む。そして、モデル上位置特定部３４２は、変換部３４２２により変換されたモデル上距離に基づいて、モデル上位置を特定する。
【０１０１】
これにより、部位モデルの大きさが様々であったとしても（例えば５００×５００ｐｉｘｅｌや１０００×１０００ｐｉｘｅｌ等）、適切にモデル上の位置を特定することができる。
【０１０２】
また、モデル上位置特定部３４２は、図１４に示したように内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部３４２１を含む。そして、モデル上位置特定部３４２は、基準位置からモデル上距離（変換部３４２２により変換された距離）だけ離れた位置を、モデル上位置として特定する。
【０１０３】
これにより、基準位置を基準としてモデル上位置を特定することが可能になる。よって、仮にガイド画像上の内視鏡位置と、内視鏡装置の体内における位置とにズレが生じた場合でも、基準位置を新たに設定しなおすことで、ズレの蓄積を抑止し、適切なモデル上位置を特定することができる。
【０１０４】
また、体内位置特定情報取得部３４１は、方向情報算出部３４１１を含み、変換部３４２２は方向情報算出部３４１１により算出された移動方向情報をモデル上方向に変換する。そして、モデル上位置特定部３４２は、基準位置からモデル上距離だけ離れ、かつ、モデル上方向に合致する位置をモデル上位置として特定する。
【０１０５】
これにより、基準位置を基準とした上で、移動距離情報だけでなく、移動方向情報にも基づいた、モデル上位置の特定が可能になる。また、部位モデルの角度が変わった場合でも、モデル上の位置を特定することができる
また、モデル上位置特定部３４２は、基準位置検出部３４２１を含み、基準位置と体内位置特定情報に基づいてモデル上位置を特定してもよい。
【０１０６】
ここで、基準位置とは、具体的には例えば、内視鏡装置による撮像を開始した地点（例えば体内への挿入地点である肛門）である測定開始地点でもよいし、特定の部位の撮像を開始した地点（例えば下行結腸から横行結腸へ移り変わる地点）
これにより、基準位置を基準として、体内位置特定情報に基づいたモデル上位置の特定が可能になる。基準位置とは例えば図１３に示す基準位置Ａや基準位置Ｂのことである。基準位置を設定することで、前述したように、ズレの蓄積を抑止し、適切なモデル上位置を特定することができる。
【０１０７】
また、本実施形態にかかる画像処理装置は、撮像画像から注目すべき領域である注目領域を検出する注目領域検出部３４５を含む。そして、図９に示した対応付け部３４４は、注目画像（撮像画像のうち注目領域を含む画像）について、モデル上位置特定部３４２により特定されたモデル上位置に、注目画像に関する情報を対応づける。
【０１０８】
ここで、注目領域とは、例えば病変部を表す領域のことであり、白色光よりも狭い波長帯域の情報を有する被写体像を含む特殊光画像に基づいて、注目領域検出部３４５により検出される。
【０１０９】
これにより、撮像画像から注目領域を検出し、注目画像に関する情報をモデル上位置に対応づけることが可能になる。よって、例えば図１７に示すように、病変部の位置に対して、病変部を含む画像情報を対応づけることが可能になり、体内における病変部の位置を視覚的に容易に把握することが可能になる。なお、特殊光画像を用いることで、例えば扁平上皮癌等の場合には、注目すべき病変部では褐色の割合が大きくなることになり、どこに注目すればよいかの判断を容易にすることができる。
【０１１０】
また、対応付け部３４５は、撮像画像に関する情報として、その撮像画像を撮像した際の内視鏡装置の位置を示すインジケータを対応づけてもよい。
【０１１１】
これにより、撮像した画像と、ガイド画像を対応付けて表示することができるため、術者が用意に撮像画像がどの部位かを確認することができる。
【０１１２】
また、本実施形態は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、撮像画像が撮像された際の、体内位置を特定するための体内位置特定情報を取得し、被検体内の部位のモデルである部位モデルを取得し、取得された部位モデル上において、体内位置特定情報により特定される位置に対応したモデル上位置を特定し、特定されたモデル上位置に、撮像画像に関する情報を対応付ける画像処理方法であってもよい。
【０１１３】
これにより、内視鏡装置の体内における位置を検出することができ、内視鏡装置の体内における位置を対応付けられたガイド画像を表示することにより、術者の診断や手術を支援する画像処理方法を実現することができる。
【０１１４】
また、図３に示した画像取得部３２５は、通常光画像である第１の画像と、特殊光画像である第２の画像を取得する。ここで、第１の画像および第２の画像は生体内を写した生体内画像である。生体内画像に含まれる特定波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ｎｍ〜４４５ｎｍ（狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（狭帯域光のＧ２成分）である。
【０１１５】
これにより、ＮＢＩ（Narrow Band Imaging）と呼ばれる狭帯域光観察が可能になり、生体の表層部及び、深部に位置する血管の構造を観察することができる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１１６】
また、生体内画像に含まれる特定波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であってもよい。
【０１１７】
これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという波長は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものであり、３９０ｎｍ〜４７０ｎｍという波長は蛍光を発生させるための励起光の波長帯域を示したものである。
【０１１８】
ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１１９】
また、生体内画像に含まれる特定波長帯域は、赤外光の波長帯域であってもよい。例えば、特定波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であってもよい。
【０１２０】
これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという波長は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１２１】
なお、以上の説明において、画像取得部３２５は、通常光画像取得部３２０及び特殊光画像取得部３３０を含み、通常光画像である第１の画像と、特殊光画像である第２の画像の両方を取得するものとしたが、これに限定されるものではない。病変位置の検出及び表示部４００における表示の両方に特殊光画像を用いてもよいし、病変位置の検出及び表示部４００における表示の両方に通常光画像を用いてもよい。
【０１２２】
また、本実施形態は、画像取得部３２５と、体内位置特定情報取得部３４１と、部位モデル取得部３４３と、モデル上位置特定部３４２と、対応付け部３４５としてコンピュータを機能させるプログラムであってもよい。画像取得部３２５は、部位の内部を内視鏡装置により撮像した撮像画像を取得し、体内位置特定情報取得部３４１は、撮像画像が撮像された際の体内位置を特定するための情報である体内位置特定情報を取得する。部位モデル取得部３４３は、部位モデルを取得し、モデル上位置特定部３４２は、体内位置特定情報により特定される位置に対応したモデル上位置を特定する。そして、対応付け部３４５は、特定されたモデル上位置に撮像画像に関する情報を対応づける。
【０１２３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１２４】
また本実施形態は、本実施形態の各部（画像取得部、体内位置特定情報取得部、部位モデル取得部、モデル上位置特定部、対応付け部）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１２５】
ここでプログラムコードとは、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部とを実現する。
【０１２６】
また、コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１２７】
３．第２の実施形態
第２の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。図２３に本発明の第２の実施形態に係る内視鏡装置を示す。第１の実施形態の内視鏡装置にセンサ２７０、センサ情報取得に関するブロック（センサ情報取得部７００）及び表示制御部３６０が加わった構成になっている。また、体内位置特定情報取得部の構成が異なる。
【０１２８】
センサ２７０は例えば３軸加速度センサ等である。ｘ、ｙ、ｚの各軸の加速度を測定し、測定した加速度情報をセンサ情報取得部７００に送る。センサ情報取得部７００は、取得した加速度情報から移動情報を取得し、ガイド画像生成部３４０に送信する。
【０１２９】
ここで移動情報とは、加速度情報でもよいし、加速度情報を積分することで得られる速度情報でもよい。また、速度情報を積分することで得られる３次元的な移動の軌跡であってもよい。
【０１３０】
ガイド画像生成部３４０は、第１の実施形態と同様に体内位置特定情報取得部３４１を含む。本実施形態における体内位置特定情報取得部３４１の構成を図２４に示す。第１の実施形態における画像記憶部３４１０がなくなった構成になる。また入力が通常光画像取得部３２０からの通常光画像ではなく、センサ情報取得部７００からのセンサ情報（移動情報）になっている点が異なる。
【０１３１】
センサ情報取得部７００からの移動情報に基づいて、距離算出部３４１２は移動距離情報を算出し、方向算出部３４１１は移動方向情報を算出する。移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）が得られた後の処理は第１の実施形態と同様であり、補正部３４１３による補正（軸保持短縮法によるずれの補正）、及びモデル上位置特定部３４２の変換部３４２２によるモデル上距離への変換処理を行った上で、モデル上位置を特定する。
【０１３２】
以上の本実施形態では、画像処理装置はセンサ２７０からのセンサ情報を取得するセンサ情報取得部７００を含む。そして、センサ情報に基づいて体内位置特定情報として、内視鏡装置の移動情報を取得する。
【０１３３】
これにより、センサ情報に基づいて体内位置特定情報を取得することが可能になる。センサが例えば３軸加速度センサであれば、ｘ、ｙ、ｚの各軸における加速度（積分を行えば速度や変位）を求めることができるため、画像処理に比べて、直接的で正確なデータを取得することができる。また、超音波センサ等を用いることで、相対位置ではなく絶対位置を求めることも可能であると考えられる。
【０１３４】
また、画像処理装置は、部位モデル画像（ガイド画像）と撮像画像の表示を制御する表示制御部３６０を含み、表示制御部３６０は移動情報に基づいて部位モデル画像を変形させてもよい。
【０１３５】
これは、具体的には例えば、センサ情報（移動情報）により、図２（Ｂ）に示したように、湾曲部がまっすぐに伸ばされていると判断された場合には、部位モデル画像自体を図２（Ｂ）のように変形するというものである。
【０１３６】
これにより、撮像時（内視鏡装置挿入時）の体内の部位の形状に近い形で、部位モデル画像を表示することが可能になり、ユーザ（ドクター）は内視鏡装置の操作感覚に合致した画像を見ながら診断等を行うことができる。なお、このような手法は、前述した超音波センサ等、正確でかつ絶対位置を求めることが可能なセンサとあわせて用いることで、より効果を発揮すると考えられる。
【０１３７】
４．第３の実施形態
第３の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。体内位置特定情報取得部３４１及びモデル上位置特定部３４２以外は第１の実施形態と同様である。
【０１３８】
図２５に、体内位置特定情報取得部３４１ｂを示す。体内位置特定情報取得部３４１ｂは、体内位置特定情報取得部３４１から補正部３４１３がなくなった構成になる。距離算出部３４１２で算出された移動距離Ｌはモデル上位置算出部に出力される。
【０１３９】
図２６にモデル上位置特定部３４２ｂを示す。モデル上位置特定部３４２ｂは、モデル上位置特定部３４２から補正部３４２３が加わった構成になる。
【０１４０】
補正部３４２３は、制御部３５０の制御に基づき、変換された部位モデル上での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する。具体的には、内視鏡装置が軸保持短縮法を用いて挿入される、湾曲部を有する部位の全体または一部の区間中の移動距離に対しては、その距離を増加させる補正を行う。これは、軸保持短縮法は腸をたたみこんで短縮するため、部位モデル上での移動距離は、算出した移動距離に対して長くなるためである。補正後の移動距離ｃｍＬは以下の式で算出する。
【０１４１】
mL=modCoed×L ・・・・・（１４）
radL=mL×cos(addH)×cos(addV) ・・・・・（１５）
cmL=corModCoef×radL ・・・・・（１６）
ｃｏｒＭｏｄＣｏｅｆは１以上の係数であり、術者が予め決めてもよいし、患者情報から制御部３５０が自動で算出してもよい。
【０１４２】
一方、撮影部位が軸保持短縮法の対象部位ではない場合、移動方向（ｈ，ｖ）から、部位モデル上での移動量（ｘ，ｙ）を以下の式で算出する
mL= modCoef×L ・・・・・（１７）
(x,y)=(mL×sin(h)×cos(v),mL×cos(h)×cos(v)) ・・・・・（１８）
この（ｘ，ｙ）を、基準位置から積算した値を（ａｄｄＸ，ａｄｄＹ）と示す。（ａｄｄＸ，ａｄｄＹ）は、部位モデル上での基準座標からの相対座標を表している。基準位置からの相対座標（ａｄｄＸ，ａｄｄＹ）は対応付け部３４４に出力される。
【０１４３】
以上の処理を図示したものが図２７（Ａ）、図２７（Ｂ）である。図２７（Ａ）は軸保持短縮法が用いられる湾曲部位を移動している際に行われる処理であり、図２７（Ｂ）は軸保持短縮法等の手技が用いられない場合に行われる処理を表す。
【０１４４】
図２７（Ａ）、図２７（Ｂ）を用いて上述した処理について再度説明する。まず画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する。軸保持短縮法が用いられる場合には、図２７（Ａ）に示すように、変換部３４２２による変換が行われる。具体的には上述した式（１４）、（１５）に相当し、Ｌに対して係数ｍｏｄＣｏｅｆを乗じてｍＬを求め、（ａｄｄＨ，ａｄｄＶ）で方向補正を行い、ｒａｄＬを求める処理である。
【０１４５】
次に補正部３４１３による補正が行われる。具体的には、上述した式（１６）に相当し、ｒａｄＬに対して係数ｃｏｒＭｏｄＣｏｅｆを乗じてｃｍＬを求める処理である。そしてｃｍＬを積算することでａｄｄＬを求め、ａｄｄＬを対応付け部３４４に出力する。
【０１４６】
次に図２７（Ｂ）を用いて、軸保持短縮法が用いられない場合の処理について説明する。画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する点は図２７（Ａ）と同様である。
【０１４７】
まず、図２７（Ｂ）に示すように、変換部３４２２による変換が行われる。具体的には上述した式（１７）、（１８）に相当し、Ｌに対して係数ｍｏｄＣｏｅｆを乗じてｍＬを求め、そして、移動距離情報ｍＬ（モデル上の移動距離情報）と移動方向（ｈ，ｖ）とから、上述した（１８）により、移動ベクトル（ｘ，ｙ）を求める。（ｘ，ｙ）は１フレームあたりの移動ベクトルを表すため、（ｘ，ｙ）を基準位置から積算することで、求めたい座標（ａｄｄＸ，ａｄｄＹ）を特定することができる。
【０１４８】
以上の本実施形態では、図２６に示したように、モデル上位置特定部３４２は、移動距離情報により表される距離を、部位モデル上の距離であるモデル上距離に変換する変換部３４２２を含む。そして、モデル上位置特定部３４２は、変換部３４２２により変換されたモデル上距離に基づいてモデル上位置を特定する。
【０１４９】
これにより、部位モデルの大きさが様々であったとしても、適切にモデル上の位置を特定することができる。
【０１５０】
また、モデル上位置特定部３４２は、図２６に示したように、変換部３４２２により変換されたモデル上距離を、内視鏡装置が移動した部位の構造特性に応じて補正する補正部３４２３を含む。そして、モデル上位置特定部３４２は、補正部３４２３により補正されたモデル上距離に基づいてモデル上位置を特定する。
【０１５１】
これにより、部位の構造特性に応じて、ガイド画像上の移動距離と、内視鏡装置の体内での移動距離の差を補正することが可能になる。
【０１５２】
５．第４の実施形態
第４の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。図２８に本発明の第４の実施形態に係る内視鏡装置を示す。第１の実施形態の内視鏡装置から特殊光画像取得に関するブロックがなくなった構成になっている。
【０１５３】
図２９に、ガイド画像生成部３４０ｂの構成を示す。ガイド画像生成部３４０ｂは、ガイド画像生成部３４０から、注目領域検出部がなくなった構成になっている。また、部位モデル取得部３４３ｂの作用が、第１の実施形態の部位モデル取得部３４３と異なる。
【０１５４】
部位モデル取得部３４３ｂは、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルをカプセル内視鏡装置から取得する。ここで、部位モデル取得部３４３ｂは、カプセル内視鏡装置により、３次元部位モデルをネットワーク経由で入力される。３次元部位モデルは、カプセル内視鏡装置により、事前に被検体本人から取得された時間的に連続な複数の画像から作成する。ここで、カプセル内視鏡装置が特殊光画像を取得することにより、この注目領域の対応付けられた３次元モデルを取得することができる。３次元部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【０１５５】
以上の本実施形態では、画像処理装置は、取得された画像から、注目すべき領域である注目領域を検出する注目領域検出部３４５を含み、注目領域検出部３４５は、カプセル型内視鏡装置の撮像に基づいて注目領域を検出する。
【０１５６】
これにより、通常の内視鏡装置を挿入する前に、注目領域検出することが可能になり、通常の内視鏡装置の挿入時に病変部等の注目領域の見逃しを抑止できる。また、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。
【０１５７】
また、部位モデル取得部３４３は、カプセル型内視鏡装置の撮像に基づいて、部位モデルを取得する。
【０１５８】
これにより、事前に本人からとった部位モデルを取得できるため、モデルが正確になる。前述したカプセル型内視鏡装置による注目領域の検出とあわせることで、注目領域の情報が対応づけられた部位モデルを取得することができ、よりドクターの診断を容易にすることが可能である。
【０１５９】
６．第５の実施形態
第５の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。構成は第５の実施形態と同じであり、部位モデル取得部３４３ｂの作用が異なる。
【０１６０】
部位モデル取得部３４３ｂは、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルをＣＴスキャン装置から取得する。ここで、部位モデル取得部３４３ｂは、ＣＴスキャン装置により、３次元部位モデルをネットワーク経由で入力される。３次元部位モデルは、ＣＴスキャン装置により、事前に被検体本人から取得された空間的に連続な複数枚のスライス画像からモデルフィッティング手法により３次元部位モデルを作成する。ここで、３次元部位モデルの凹凸を検出し、注目領域として部位モデルに対応付ける。注目領域を対応付けられた３次元部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【０１６１】
以上の本実施形態では、画像処理装置は、取得された部位モデル上において、注目すべき領域である注目領域を検出する注目領域検出部３４５を含み、対応付け部３４４はさらに、部位モデル上の検出された注目領域の位置に対し、その位置が注目領域である旨の情報を対応付ける。
【０１６２】
これにより、注目領域を対応付けられた部位モデルを取得することが可能となり、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。また、事前に本人からとった部位モデルなので、モデルが正確になる。
【０１６３】
また、注目領域検出部３４５は、ＣＴスキャン撮像に基づいて注目領域を検出する。
【０１６４】
これにより、通常の内視鏡装置を挿入する前に、注目領域検出することが可能になり、通常の内視鏡装置の挿入時に病変部等の注目領域の見逃しを抑止できる。また、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。
【０１６５】
また、部位モデル取得部３４３は、ＣＴスキャン撮像に基づいて、部位モデルを取得する。
【０１６６】
これにより、事前に本人からとった部位モデルを取得できるため、モデルが正確になる。前述したＣＴスキャン撮像による注目領域の検出とあわせることで、注目領域の情報が対応づけられた部位モデルを取得することができ、よりドクターの診断を容易にすることが可能である。
【０１６７】
以上、本発明を適用した５つの実施の形態１〜５およびその変形例について説明したが、本発明は、各実施の形態１〜５やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜５や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜５や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１６８】
１００ 光源部、２００ 挿入部、２１０ ライトガイドファイバ、
２２０ 照明レンズ、２３０ 対物レンズ、２４０ ハーフミラー、
２５０ 第１撮像素子、２６０ 第２撮像素子、３００ 画像処理部、
３１０ａ，３１０ｂ ＡＤ変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、
３４０，３４０ｂ ガイド画像生成部、３４１，３４１ｂ体内位置特定情報取得部、
３４２ モデル上位置特定部、３４３，３４３ｂ 部位モデル取得部、
３４４ 対応付け部、３４５ 注目領域検出部、３５０ 制御部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、６００ コンピューターシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、
６１４ ハードディスクドライブ（ＨＤＤ）、６１６ ＵＳＢポート、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ パソコン（ＰＣ）、６８２ サーバ、
６８３ プリンタ、３４１０ 画像記憶部、３４１１ 方向算出部、
３４１２ 距離算出部、３４１３ 補正部、３４２１ 基準位置検出部、
３４２２ 変換部、３４２３補正部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡装置に代表される、消化管などの体腔内へ挿入して、診断、治療等に用いる医用器具が知られている。このような医用器具を用い、生体に対して検査や手術を行う際、術者は、予め体内の各部位（器官、組織）の既知の位置関係を念頭に置きながら、現在観察している部位の位置を推定して、診断や手術を行う。このような診断や手術を支援するために、検査時や手術時に観察している内視鏡装置の体内の位置を表示する技術が提案されている。
【０００３】
このような医用支援システムとして、例えば特許文献１には、超音波内視鏡の先端位置を検出して、超音波内視鏡の体内での位置に対応したガイド画像を表示する技術が記載されている。
【０００４】
特許文献１では、生体の標本点の位置を検出する標本点位置検出手段を設け、標本点位置検出手段で検出された標本点の位置と、画像情報保持手段に保持された参照画像データ上の特徴点の位置とを照合してガイド画像を作成している。また、生体の位置もしくは体位を検出する体位検出手段が設けられ、被検体に装着される。この前記体位検出手段により検出された被検体の位置もしくは向きに基づいて、前記標本点位置検出手段により検出された前記標本点の位置を補正することで、被検体の体位変化を補正しながら前記ガイド画像を作成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４９４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、ガイド画像上の特徴点に対応する、生体の標本点を取得しなければいけないため、標本点を取得するための位置検出手段が必要になり、コストの面で有利ではない。また、参照画像データを取得した時と内視鏡検査の時で、骨格と内臓の位置関係や形状に違いが発生し、被検体上で取得した標本点と参照画像データ上で指定した特徴点がずれてしまうと、ガイド画像と実際の内視鏡装置の体内における位置に誤差が生じる。
【０００７】
具体的には、参照画像データとしてＣＴを使用する場合、ＣＴ撮影時には基本的に仰向けで撮影をする。一方、内視鏡検査では深部消化管、例えば大腸を経由して小腸へ挿入する場合、単に内視鏡挿入部を押し入れていくだけでは、複雑な腸管の屈曲のため内視鏡先端に力が伝わりにくく、深部への挿入は困難である。このため、大腸内視鏡挿入手技においては、アングル操作、捻り操作、引き戻し操作、軸保持などの工夫を要する。特に、Ｓ状結腸や横行結腸は、大腸の遊離部分であり、また、その走行は変化に富んでいる。このため、大腸内視鏡挿入時には、この部位にループ（内視鏡が屈曲した状態で挿入されていること）を生じやすく、挿入困難となり易いため、これら湾曲部を有する部位をたたみこんで短縮する軸保持短縮法が行われている。このような手技により、参照画像を作成するＣＴ撮影時と、内視鏡検査時では内臓の形状が異なるため、ガイド画像と実際の内視鏡装置の体内における位置に誤差が生じる。
【０００８】
本発明の幾つかの態様によれば、内視鏡の体内における位置と、部位モデル画像（ガイド画像）上での位置を高精度で一致させることができる画像処理装置、画像処理方法及びプログラム等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、内視鏡装置の体内における位置を検出するための大掛かりな装置が必要なく、ガイド画像上の内視鏡装置の位置を実際の内視鏡装置の体内における位置に高い精度で一致させることができる画像処理装置、画像処理方法及びプログラム等を提供できる
【課題を解決するための手段】
【００１０】
本発明の一態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様では、体内位置特定情報に基づいて、撮像画像を撮像した際の内視鏡の体内位置に対応するモデル上位置を特定する。そして特定されたモデル上位置に、撮像画像に関する情報を対応づける。そのため、内視鏡のモデル上位置と、体内における位置とが高い精度で一致するようなモデル画像（ガイド画像）を表示することが可能になる。
【００１２】
本発明の他の態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得し、前記被検体内の部位のモデルである部位モデルを取得し、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定し、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける画像処理方法に関係する。
【００１３】
本発明の他の態様は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における表示方法の例。
【図２】図２（Ａ）は大腸の通常の状態を表した図、図２（Ｂ）は軸保持短縮法を行う際の大腸の状態を表した図。
【図３】本実施形態のシステム構成例。
【図４】色フィルタｒ、ｇ、ｂの分光特性。
【図５】色フィルタｇ２，ｂ２の説明図。
【図６】色フィルタｇ２，ｂ２の分光特性。
【図７】通常光画像取得部の構成例。
【図８】特殊光画像取得部の構成例。
【図９】ガイド画像生成部の構成例。
【図１０】体内位置特定情報取得部の構成例。
【図１１】図１１（Ａ）は第１のタイミングにおける撮像画像、図１１（Ｂ）は第２のタイミングにおける相似形状の撮像画像の例。
【図１２】撮像画像における相似形状の倍率と移動距離の関係図。
【図１３】大腸の各部位の名称及び基準位置の説明図。
【図１４】モデル上位置特定部の構成例。
【図１５】図１５（Ａ）は軸保持短縮法を用いる場合の補正及び変換の処理を説明する図、図１５（Ｂ）は軸保持短縮法を用いない場合の補正及び変換の処理を説明する図。
【図１６】図１６（Ａ）は管空状の部位において病変部を観察する際の内視鏡装置の状態を説明する図、図１６（Ｂ）は病変部を詳細に観察する際の内視鏡装置の移動を説明する図。
【図１７】部位モデルに注目領域及び内視鏡装置位置を示すインジケータを表示する例。
【図１８】ソフトウェア処理で用いられるコンピュータの構成例。
【図１９】ソフトウェア処理で用いられるコンピュータの構成例。
【図２０】本実施形態の処理を説明するためのフローチャート。
【図２１】体内位置特定情報取得処理を説明するためのフローチャート。
【図２２】モデル上位置特定処理を説明するためのフローチャート。
【図２３】本実施形態の他のシステム構成例。
【図２４】体内位置特定情報取得部の他の構成例。
【図２５】体内位置特定情報取得部の他の構成例。
【図２６】モデル上位置特定部の他の構成例。
【図２７】図２７（Ａ）は軸保持短縮法を用いる場合の変換及び補正の処理を説明する図、図２７（Ｂ）は軸保持短縮法を用いない場合の変換及び補正の処理を説明する図。
【図２８】本実施形態の他のシステム構成例。
【図２９】ガイド画像生成部の他の構成例。
【発明を実施するための形態】
【００１５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。図１に本実施形態における表示方法の例を示す。図１に示したように、本実施形態の画像処理装置を含む内視鏡装置の表示部には、内視鏡装置の挿入部（撮像部）により撮像された生体内画像と、体内の部位のモデルであるモデル画像とが表示される。
【００１７】
そして、後述する図１７のように、モデル画像上には、内視鏡装置の挿入部が体内のどこにあるかを表すインジケータが表示される。また、注目すべき領域（例えば病変部等）である注目領域の位置を表すインジケータが表示されてもよい。
【００１８】
モデル画像上の内視鏡装置の位置を、実際の内視鏡装置の体内における位置に高い精度で一致させることができれば、内視鏡装置の現在位置や病変部の位置等を正確に把握することができるため、ドクターの診察を容易にすることが可能になる。
【００１９】
具体的な手法としては、まず何らかの方法で、体内位置特定情報として内視鏡装置の移動情報（例えば移動距離や移動方向等）を取得する。第１の実施形態においては、内視鏡装置の挿入部（撮像部）により撮像された画像に基づいて体内位置特定情報を取得する手法について説明する。また、第２の実施形態においては、センサからのセンサ情報に基づいて体内位置特定情報を取得する手法について説明する。
【００２０】
取得した体内位置特定情報は、内視鏡装置の挿入部の実移動距離に対応する。しかし、体内位置特定情報をそのまま用いて、内視鏡装置の体内位置に対応するモデルにおける位置（以下、モデル上位置と表記する）を求めるには問題がある。
【００２１】
なぜなら大腸内視鏡挿入時には、軸保持短縮法等の手法が用いられるからである。大腸内視鏡挿入時には、通常、捻りや引き戻しといった操作が必要になり、ループ（内視鏡が屈曲した状態で挿入されていること）が生じやすく、挿入が困難である。軸保持短縮法はこの問題を解決する１つの手法であり、本来は図２（Ａ）に示すように屈曲している部分を、図２（Ｂ）に示すようにまっすぐに伸ばすことで挿入を容易にする。そのため、実移動距離（体内位置特定情報により表される距離）が短かったとしても、モデル上においては、屈曲した部分のかなり先まで挿入されていることが想定される。
【００２２】
よって、軸保持短縮法等を用いることにより生じるずれを補正した上で、体内位置特定情報（補正後体内位置特定情報）を求める必要がある。また、体内位置特定情報は実スケールに対応する移動情報等であるため、モデル上の距離に変換する必要もある。以上の手法は第１の実施形態において説明する。
【００２３】
なお、補正と変換の順番はこれに限定されるものではなく、先に変換をしてから補正を行ってもよい。変換を先に行う手法について第３の実施形態で説明する。
【００２４】
また、部位モデルの取得方法には、様々なものが考えられるが、特にカプセル内視鏡を用いる例を第４の実施形態で説明し、ＣＴスキャンを用いる例を第５の実施形態で説明する。
【００２５】
２．第１の実施形態
本発明の第１の実施形態に係る画像処理装置を含む内視鏡装置について、図３を参照して説明する。本実施形態に係る画像処理装置を含む内視鏡装置は、光源部１００と、挿入部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００２６】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を含む。
【００２７】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を含む。
【００２８】
第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ，Ｇ，Ｂは例えば図４に示すような分光特性を持っている。第２撮像素子２６０は狭帯域画像を撮影するための撮像素子であり、例えば図５に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。第２撮像素子２６０の色フィルタｇ２、ｂ２は例えば図６に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。
【００２９】
画像処理部３００（画像処理装置）はＡＤ変換部３１０ａ、３１０ｂと通常光画像取得部３２０と特殊光画像取得部３３０とガイド画像生成部３４０と制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、ガイド画像生成部３４０と双方向に接続されていて、これらを制御するようになっている。
【００３０】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３５０へ出力するようになっている。
【００３１】
ＡＤ変換部３１０ａは、第１撮像素子２５０から出力されるアナログ信号をデジタル信号に変換して出力する。ＡＤ変換部３１０ｂは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【００３２】
通常光画像取得部３２０は、例えばＡＤ変換部３１０ａから出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０は、例えばＡＤ変換部３１０ｂから出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００３３】
通常光画像取得部３２０で取得された通常光画像は、観察画像として表示部４００に出力する。また、通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像はガイド画像生成部３４０に出力される。ガイド画像生成部３４０はガイド画像を生成して画像表示部４００に出力する。ガイド画像生成部３４０の詳細については後述する。
【００３４】
次に通常光画像取得部３２０について図７を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１はＡＤ変換部３１０ａで変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。
【００３５】
次に特殊光画像取得部３３０について図８を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１はＡＤ変換部３１０ｂで変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像は狭帯域光画像となる。
【００３６】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図５で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図５のｇ２（１，１）の位置でのｂ２の画素値ｂ２（１，１）、及びｂ２（１，２）位置でのｇ２の画素値ｇ２（１，２）は、下式（１）、（２）のように算出される。
【００３７】
b2(1,1)=[b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)]/4 ・・・・・（１）
g2(1,2)=[g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)]/4 ・・・・・（２）
次に全画素に対して補間されたＧ２画像及びＢ２画像からＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【００３８】
次に、ガイド画像生成部３４０の具体的な構成について説明する。図９は、第１の実施形態におけるガイド画像生成部３４０の構成の一例を説明するブロック図である。ガイド画像生成部３４０は、体内位置特定情報取得部３４１と、部位モデル取得部３４３と、モデル上位置特定部３４２と、対応付け部３４４と、注目領域検出部３４５と、を含む。
【００３９】
ここで、通常光画像取得部３２０からの画像信号は、体内位置特定情報取得部３４１と、モデル上位置特定部３４２と、に出力される。体内位置特定情報取得部３４１は、モデル上位置特定部３４２に接続されている。部位モデル取得部３４３は、モデル上位置特定部３４２と、対応付け部３４４とに接続されている。また、特殊光画像取得部３３０からの画像信号は、注目領域検出部３４５に出力される。注目領域検出部３４５は、対応付け部３４４に接続されている。対応付け部３４４は、表示部４００に接続されている。また、制御部３５０は、体内位置特定情報取得部３４１と、モデル上位置特定部３４２と、部位モデル取得部３４３と、対応付け部３４４と、注目領域検出部３４５と、に双方向に接続されていて、これらを制御するようになっている。
【００４０】
体内位置特定情報取得部３４１は、制御部３５０の制御に基づき、その画像が撮像された際の内視鏡装置の体内における位置を特定するための情報として、内視鏡装置の移動距離および体内での移動方向を取得する。体内位置特定情報取得部３４１の具体的な構成について説明する。図１０は、第１の実施形態における体内位置特定情報取得部３４１の構成の一例を説明するブロック図である。図１０に示すように、体内位置特定情報取得部３４１は、画像記憶部３４１０と、距離算出部３４１２と、方向算出部３４１１と、補正部３４１３と、を含んでいる。
【００４１】
画像記憶部３４１０は、制御部３５０の制御に基づき、通常光画像取得部から出力された通常光画像を記憶する。具体的には、通常光画像が画像記憶部に入力されると、画像記憶部３４１０に記憶されている１フレーム前の通常光画像が、距離算出部３４１２と、方向算出部３４１１に各々出力され、入力された通常光画像が上書きされる。
【００４２】
距離算出部３４１２は、制御部３５０の制御に基づき、取得された画像をもとに、内視鏡装置の移動距離として、内視鏡装置の体内での移動距離を算出する。ここでは、通常光画像取得部３２０で取得された画像の特徴点と、画像記憶部に記憶されたその画像よりも１フレーム前に取得された画像の特徴点をマッチングし、マッチングされた特徴点の相似形状から、内視鏡装置の体内での移動距離Ｌを算出する。移動距離Ｌの算出方法は、公知の技術を使う。具体的には例えば図１１（Ａ）、図１１（Ｂ）に示すように、片方の画像で特徴点を抽出し、他方の画像で抽出した特徴点の相似形状を抽出する。そして、図１２に示すような、相似形状の倍率と移動距離とのテーブルを保持しておき、テーブルを参照することで移動距離を算出すればよい。算出された移動距離Ｌは補正部３４１３に出力される。
【００４３】
なお、撮像画像から移動距離を求める方法は上記マッチングに限定されるものではない。挿入部２００にズーム機構を追加して、ズーム機能を利用して単眼画像による３次元計測を行ってもよい。また、挿入部２００にビーム射出機構を追加して、ビームによる動き推定（オプティカルフローの算出）により３次元計測を行ってもよい。
【００４４】
方向算出部３４１１は、制御部３５０の制御に基づき、取得された画像をもとに、内視鏡装置の測定開始地点からの体内での移動方向を算出する。具体的には、通常光画像取得部３４０で取得された画像と、画像記憶部に記憶されたその画像よりも１フレーム前に取得された画像とをマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動方向（ｈ，ｖ）を算出する。ここで、ｈは水平方向で移動した角度、ｖは垂直方向で移動した角度を示す。また、ｈは１フレーム前の画像が取得された時の撮像面の法線方向に対して、右が正、左が負とする。また、ｖは１フレーム前の画像が取得された時の撮像面の法線方向に対して、上が正、下が負とする。算出された移動方向（ｈ，ｖ）はモデル上位置特定部３４２に出力される。
【００４５】
補正部３４１３は、制御部３５０の制御に基づき、算出された体内での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する。具体的には、内視鏡装置が軸保持短縮法を用いて挿入される、湾曲部を有する湾曲部位の全体または一部の区間中の移動距離に対しては、その距離を増加させる補正を行う。これは、軸保持短縮法は腸をたたみこんで短縮するため、部位モデル上での移動距離は、算出した移動距離に対して長くなるためである。補正後の移動距離ｃＬは以下の式で算出する。
【００４６】
cL=corCoef×L ・・・・・（３）
ｃｏｒＣｏｅｆは１以上の係数であり、術者が予め決めてもよいし、患者情報から制御部３５０が自動で算出してもよい。補正された移動距離ｃＬは、モデル上位置特定部３４２に出力される。
【００４７】
部位モデル取得部３４３は、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルを取得する。ここで、部位モデル取得部３４３は、大容量のデータを記憶することが可能な例えばハードディスクドライブ、テープドライブを有し、複数の生体の部位モデルが記憶されている。ここで、部位モデルは健常者の生体部位を表す２次元モデルである（例えば、図１３大腸モデルのイメージ図）。なお、部位モデルは３次元モデルであってもよい。また、部位モデルは、被検体本人から取得されるものであってもよいし、異なる人体から取得されるものであってもよい。また、部位モデルは、身長や体格等の身体的特徴や性別等の条件ごとに、あらかじめ異なる人体から取得されるものであってもよい。また、部位モデルは、カプセル内視鏡装置、ＣＴ装置、ＭＲＩ装置から、ネットワーク経由で画像処理部３００に入力され、部位モデル取得部３４３に記憶されるものであってもよい。部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【００４８】
モデル上位置特定部３４２は、制御部３５０の制御に基づき、取得された部位モデル上において、算出された体内撮像位置に対応したモデル上位置を特定する。モデル上位置特定部３４２の具体的な構成について説明する。図１４は、第１の実施形態におけるモデル上位置特定部３４２の構成の一例を説明するブロック図である。図１４に示すように、モデル上位置特定部３４２は、基準位置検出部３４２１と、変換部３４２２と、を含んでいる。
【００４９】
基準位置検出部３４２１は、制御部３５０の制御に基づき、移動距離の基準となる基準位置を検出する。ここでは、基準位置の１つである測定開始地点は、内視鏡装置による体内の撮像そのものを開始した地点である。具体的には、通常光画像取得部から入力された通常光画像の特徴点を算出することで測定開始地点を検出する。ここで、特徴点は画像全体の色情報とし、画像全体が赤みがかった時点が、内視鏡装置による体内の撮像を開始した地点とする。図１３の基準位置Ａがこれにあたる。移動距離の基準位置は、これに限らず、内視鏡装置による特定の部位の撮像を開始した地点であってもよい。例えば、内視鏡装置の体内における位置が、大腸から小腸に切り替わった地点を基準位置として新たに設定してもよい。図１３の基準位置Ｂがこれにあたる。基準位置が検出された場合、検出信号を変換部３４２２に出力する。
【００５０】
変換部３４２２は、制御部３５０の制御に基づき、体内位置特定情報取得部３４１より算出された体内での移動距離を部位モデル上の距離に変換し、体内での移動方向を部位モデル上の移動方向に変換する。ここでは、まず、算出された移動距離ｃＬを、部位モデル上のスケールに合わせた移動距離ｍＬ１に以下の式で変換する。
【００５１】
mL１=modCoef×cL ・・・・・（４）
係数ｍｏｄＣｏｅｆは、部位モデルの大きさに合わせた係数となっており、部位モデル毎に予め設定されている。
【００５２】
ここで、撮影部位が軸保持短縮法の対象部位の場合、移動方向（ｈ，ｖ）を基準位置から積算した移動方向ａｄｄＨ、ａｄｄＶを算出する。そして、モデル上の移動距離ｍＬ１を移動方向で補正した移動距離ｒａｄＬを以下の式で算出する。
【００５３】
radL=mL１×cos(addH)×cos(addV) ・・・・・（５）
さらに、移動方向で補正された移動距離ｒａｄＬを、基準位置から積算した移動距離ａｄｄＬを算出する。基準位置からの移動距離ａｄｄＬは対応付け部３４４に出力される。
【００５４】
一方、撮影部位が軸保持短縮法の対象部位ではない場合、移動方向（ｈ，ｖ）から、部位モデル上での移動量（ｘ，ｙ）を以下の式で算出する
mL2= modCoef×L ・・・・・（６）
(x,y)=(mL2×sin(h)×cos(v),mL2×cos(h)×cos(v)) ・・・・・（７）
この（ｘ，ｙ）を、基準位置から積算した値を（ａｄｄＸ，ａｄｄＹ）と示す。（ａｄｄＸ，ａｄｄＹ）は、部位モデル上での基準座標からの相対座標を表している。基準位置からの相対座標（ａｄｄＸ，ａｄｄＹ）は対応付け部３４４に出力される。
【００５５】
以上の体内位置特定情報取得部３４１及びモデル上位置特定部３４２における処理を図示したものが図１５（Ａ）、図１５（Ｂ）である。図１５（Ａ）は軸保持短縮法が用いられる湾曲部位を移動している際に行われる処理であり、図１５（Ｂ）は軸保持短縮法等の手技が用いられない場合に行われる処理を表す。
【００５６】
図１５（Ａ）、図１５（Ｂ）を用いて上述した処理について再度説明する。まず画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する。軸保持短縮法が用いられる場合には、図１５（Ａ）に示すように、補正部３４１３による補正が行われる。具体的には上述した式（３）に相当し、Ｌに対して係数ｃｏｒＣｏｅｆを乗じてｃＬを求める処理である。移動方向情報（ｈ，ｖ）に対しては、補正処理は行われない。
【００５７】
次に変換部３４２２による変換処理が行われる。具体的には、上述した式（４）に相当し、ｃＬに対して係数ｍｏｄＣｏｅｆを乗じてｍＬ１を求める処理である。ｍＬ１を求めるとともに、移動方向情報（ｈ，ｖ）に対しては基準位置からの積算値（ａｄｄＨ，ａｄｄＶ）を求める。（ｈ，ｖ）は１フレームあたりの角度の変化量を示すものであるため、（ａｄｄＨ，ａｄｄＶ）は基準位置に対する現在の角度を示す値になる。そして、ｍＬ１と（ａｄｄＨ，ａｄｄｖ）とから上述した式（５）により、ｒａｄＬを求める。
【００５８】
式（５）について図１６（Ａ）、図１６（Ｂ）を用いて説明する。図１６（Ａ）は管空状の部位（例えば大腸）を移動する内視鏡装置を２次元的に表した図である。なお内視鏡装置の先端部はユーザの操作により曲げることが可能である。図１６（Ａ）のように進行方向６０（基準位置における移動方向を表す）に対して角度θだけ曲げた状態で、病変部６２を観察していたとする。その状態から病変部を詳細に観察するため、内視鏡装置を移動させたとすると、図１６（Ｂ）の６４に示す位置に移動することが想定される。この場合、画像情報から得られる移動距離情報は同図のｋ１で示す距離となるが、進行方向６０への移動距離はｋ２に相当する。モデル上位置を特定するに当たり必要な情報はｋ２であり、ｋ２＝ｋ１×ｃｏｓθであるから、上述した式（５）のように、算出された移動距離に対してｃｏｓ（ａｄｄＨ）及びｃｏｓ（ａｄｄＶ）を乗ずることになる。
【００５９】
なお、斜め方向に移動する例として、病変部を詳細に観察するというケースを挙げたが、これに限定されるものではない。例えば進行方向６０に直交する方向へのブレや挿入のための意図的な移動等による斜め方向の移動に対しても、同様の処理が行われる。
【００６０】
そして、ｒａｄＬの基準位置からの積算値ａｄｄＬを求めて、対応付け部３４４へ出力する。モデル上位置を特定するに当たり、２次元の部位モデル（３次元でもよいのは上述したとおりであるが、ここでは２次元を例にとって説明する）に対して、１次元の情報である距離情報が出力となっているが、問題は生じない。なぜなら、軸保持短縮法が用いられる部分においては、部位は直線上に伸ばされていることが想定されるためである。部位内を、ある一定の経路に沿って移動することを仮定すれば、距離情報からモデル上位置を特定することは可能である。
【００６１】
次に図１５（Ｂ）を用いて、軸保持短縮法が用いられない場合の処理について説明する。画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する点は図１５（Ａ）と同様である。
【００６２】
補正を必要としないため、補正部３４１３による処理は行われない。変換部３４２２において、上述した式（６）に示すように、Ｌに係数ｍｏｄＣｏｅｆを乗ずる処理を行い、ｍＬ２を求める。そして、移動距離情報ｍＬ２（モデル上の移動距離情報）と移動方向（ｈ，ｖ）とから、上述した（７）により、移動ベクトル（ｘ，ｙ）を求める。（ｘ，ｙ）は１フレームあたりの移動ベクトルを表すため、（ｘ，ｙ）を基準位置から積算することで、求めたい座標（ａｄｄＸ，ａｄｄＹ）を特定することができる。
【００６３】
次に注目領域検出部３４５について説明する。注目領域検出部３４５は、制御部３５０の制御に基づき、取得された画像から、注目すべき領域である注目領域を検出する。ここで注目領域とは、例えば体内画像における病変部に対応する領域等である。まず、取得された画像を複数の領域に分割し、各領域に対して特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで病変部を検出することができる。Ｒ，Ｇ，Ｂチャンネルの信号値をｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。
【００６４】
次にこの信号値ｒ，ｇ，ｂから例えば下式（８）〜（１３）を用いて色相Ｈを算出する。
【００６５】
MAX=MAX(r,g,b) ・・・・・（８）
ここで、ＭＡＸ関数は複数の引数の中で最大のものを出力する関数とする。
ＭＡＸが０の場合、
H=０ ・・・・・（９）
ＭＡＸが０以外の場合、
d=MAX(r,g,b)-MIN(r,g,b) ・・・・・（１０）
ここで、ＭＩＮ関数は複数の引数の中で最小のものを出力する関数とする。
【００６６】
さらに、
ｒ、ｇ、ｂのうちｒが最大の場合、
H=60*(g-b)/d ・・・・・（１１）
ｒ、ｇ、ｂのうちｇが最大の場合、
H=60*{2+(b-r)}/d ・・・・・（１２）
ｒ、ｇ、ｂのうちｂが最大の場合、
H=60*{4+(r-g)}/d ・・・・・（１３）
なお、Ｈが＜０になった場合には、Ｈに３６０を加える。また、Ｈ＝３６０の場合、Ｈ＝０とする。
【００６７】
ここで、局所領域に含まれる褐色を示す画素数を、各局所領域の特徴量とする。また、病変らしさを示す特徴量は、上記に限定されるものではなく、色の特徴量、空間周波数の特徴量、形の特徴量、および面積の特徴量等を各々求め、それぞれに重み付け係数を付与して線形結合し、各局所領域の病変らしさを示す特徴量としてもよい。
【００６８】
算出された各局所領域の特徴量は、所定の閾値と比較し、その比較結果に応じて注目領域か否かの判定を行う。この場合予め設定された閾値を用いてもよいし、制御部３５０により自動的に設定されてもよい。また、閾値は特殊光画像内の位置によって適応的に設定されてもよい。特徴量が閾値以上である局所領域は、注目領域として対応付け部３４４に出力される。
【００６９】
対応付け部３４４は、制御部３５０の制御に基づき、特定されたモデル上位置に、取得された画像に関する情報を対応付ける。ここで、取得された画像に関する情報は、例えば、その画像を撮像した際の内視鏡装置の位置を示すインジケータである。また、注目領域を含む注目画像についてモデル上位置特定部３４２により特定されたモデル上位置に、注目領域に関する情報を対応付ける。図１７に、部位モデルに内視鏡装置位置と、注目領域を対応付けたガイド画像の一例を示す。ガイド画像は表示部４００へ出力される。
【００７０】
表示部４００は、通常光画像取得部３２０から出力された通常光画像と、ガイド画像生成部３４０から出力されるガイド画像を同時に表示する。表示部の表示例は上述した図１のような形式が考えられる。
【００７１】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、内視鏡装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００７２】
撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００７３】
図１８は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１９は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１８に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【００７４】
また、このコンピューターシステム６００における本体部６１０は、図１９に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ1に接続するためのＬＡＮインターフェース６１８を備える。
【００７５】
さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【００７６】
そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２０〜図２２）を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００７７】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００７８】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図９のガイド画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図２０のフローチャートを用いて説明する。
【００７９】
この処理を開始すると、まず、時系列の通常光画像と、特殊光画像に対して、観察対象や撮影モード、照明光の同期信号などのヘッダ情報を入力する（Ｓ１１）。次に、ヘッダ情報から観察対象に対応する部位モデルを入力する（Ｓ１２）。そして、特殊光画像と通常光画像を予め確保しておいた画像バッファに入力する（Ｓ１３）。さらに、後で図２１を参照して詳細に説明するように、通常光画像から内視鏡装置の移動距離および体内での移動方向をもとに、その画像が撮像された際の内視鏡装置の体内における位置を特定するための、体内位置特定情報を取得する（Ｓ１４）。さらに、後で図２２を参照して詳細に説明するように、入力された部位モデル上において、取得された体内位置特定情報に基づいてモデル上位置を特定する（Ｓ１５）。そして、特殊光画像から注目すべき領域の候補である注目候補領域を検出する（Ｓ１６）。その後、特定されたモデル上位置に、入力された画像に関する情報を対応付ける（Ｓ１７）。取得された画像に関する情報は、その画像を撮像した際の内視鏡装置の位置を示すインジケータである。次に、モデル上位置にその画像を撮像した際の内視鏡装置の位置を示すインジケータを対応付けたガイド画像を出力する（Ｓ１８）。そして、時系列で最終画像の処理が終了したか否かを判定して（Ｓ１９）、終了していないと判定した場合にはＳ１３へ戻って次の画像信号について上述したような処理を繰り返して行う。一方、全画像信号の処理が終了していると判定した場合には、この処理を終了する。
【００８０】
次に、図２１を参照して、図２０のＳ１４における体内位置特定情報取得処理の詳細について説明する。
【００８１】
この処理を開始すると、まず、通常光画像の画像信号を記憶する（Ｓ２１）。そして、入力された画像信号の特徴点と、記憶されたその画像よりも１フレーム前に入力された画像信号の特徴点をマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動距離を算出する（Ｓ２２）。次に、入力された画像信号の特徴点と、記憶されたその画像よりも１フレーム前に入力された画像信号の特徴点をマッチングし、そのマッチング結果に基づいて、内視鏡装置の体内での移動方向を算出する（Ｓ２３）。そして、算出された体内での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する（Ｓ２４）。
【００８２】
次に、図２２を参照して、図２０のＳ１５におけるモデル上位置特定処理の詳細について説明する。
【００８３】
この処理を開始すると、まず、移動距離の測定開始地点となる基準位置を検出する（Ｓ３１）。続いて、体内位置特定情報取得処理で算出された体内での移動距離および移動方向を、部位モデル上の距離および方向に変換する（Ｓ３２）。
【００８４】
このような処理を行うことで、取得画像が体内のどの部位を撮影したかを、ガイド画像で視覚的に確認しながら検査を行うことができるため、術者の負荷を軽減することができる。
【００８５】
また、部位モデルと実際の内視鏡装置の体内の位置を補正しながら表示することができるため、高精度に撮像している画像がどの部位にあるかを確認することができる。
【００８６】
また、特殊光画像を用いて検出した注目領域をガイド画像に対応付けることで、注目領域を再度観察する場合でも用意に注目領域に内視鏡装置を移動することが可能になる。
【００８７】
以上の本実施形態では、図３に示した画像処理装置の画像取得部３２５は被検体内の部位の内部を内視鏡装置により撮像した撮像画像を取得する。そして図９に示した体内位置特定情報取得部３４１は取得した撮像画像に基づいて、その撮像画像が撮像された際の内視鏡装置の体内における位置を特定する情報を取得する。また、部位モデル取得部３４３は被検体内の部位のモデルである部位モデルを取得する。そして、モデル上位置特定部３４２は取得された部位モデル上において、体内位置特定情報に対応したモデル上位置を特定し、対応付け部３４４は特定されたモデル上位置に、取得された画像に関する情報を対応付ける処理を行う。
【００８８】
これにより、撮像画像及び体内位置特定情報を取得し、体内位置特定情報に基づいてモデル上位置を特定した上で、特定したモデル上位置に撮像画像に関する情報を対応づけることが可能になり、体内における内視鏡装置の位置を検出することができる。そして、内視鏡装置の体内における位置を対応付けられたガイド画像を表示することにより、術者の診断や手術を支援する画像処理装置を提供することができる。具体的には前述した図１のような表示形態が考えられる。
【００８９】
また、体内位置特定情報取得部３４１は、画像取得部３２５が取得した撮像画像に基づいて、体内位置特定情報を取得する。
【００９０】
これにより、画像処理に基づいて位置検出を行うことが可能になるため、体内における内視鏡装置の位置検出手段として大掛りな装置が不要になる。
【００９１】
また、体内位置特定情報取得部３４１は、図１０に示したように、内視鏡装置の移動距離を表す移動距離情報を算出する距離情報算出部３４１２を含む。そして、体内位置特定情報取得部３４１は、算出された移動距離情報を体内位置特定情報として取得する。
【００９２】
これにより、移動距離情報を体内位置特定情報として取得することが可能になる。よって移動距離に基づいた位置の検出が可能になる。
【００９３】
また、体内位置特定情報取得部３４１は、内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部３４１１を含む。そして、体内位置特定情報取得部３４１は、算出された移動方向情報を体内位置特定情報として取得する。
【００９４】
これにより、移動方向情報を体内位置特定情報として取得することが可能になる。よって移動方向に基づいた位置の検出が可能になる。また、移動距離と移動方向に対して異なる処理を行うことも可能になる。
【００９５】
また、画像取得部３２５は、第１のタイミングで第１の撮像画像を取得し、第１のタイミングよりも後の第２のタイミングにおいて第２の撮像画像を取得する。そして、第１の撮像画像と第２の撮像画像とのマッチング処理の結果に基づいて、体内位置特定情報を取得してもよい。
【００９６】
これにより、図１１（Ａ）、図１１（Ｂ）で示したように、２つの画像のマッチング処理によって体内位置特定情報を算出することが可能になる。よって大掛かりな装置がなくとも位置検出を行うことができる。また、１／３０秒や１／６０秒といったような短い間隔で、連続的な内視鏡装置の移動距離を算出することができる。なお、単眼の撮像画像による体内位置特定情報の取得方法に関しては、前述したようにマッチングに限定されるものではなく、ズーム機構やビーム射出機構を設け、それらの機能を用いて３次元計測を行ってもよい。
【００９７】
また、体内位置特定情報取得部３４１は、図１０に示したように、距離情報算出部３４１２により算出された移動距離情報を、内視鏡装置が移動した部位の全体又は一部の構造特性に応じて補正する補正部３４１３を含む。そして、モデル上位置特定部３４２は、補正部３４１３により補正された移動距離情報に基づいてモデル上位置を特定する。
【００９８】
ここで、補正部３４１３による補正とは、具体的には例えば、内視鏡装置が湾曲部位を移動した場合に、移動区間中の移動距離（移動距離情報により表される距離）を増加させる処理である。また、湾曲部位とは、具体的には例えば、大腸、小腸のいずれかである。
【００９９】
これにより、部位の構造特性に応じて、ガイド画像上の移動距離と、内視鏡装置の体内での移動距離の差を補正することが可能になる。具体的には前述した軸保持短縮法を用いるケースが考えられる。軸保持短縮法では図２（Ａ）、図２（Ｂ）に示すように湾曲部位をまっすぐに伸ばすことで挿入を容易にする。そのため、距離情報算出部により算出された距離情報に比べて、モデル上位置はより部位の奥にまで進んでいると考えられる。よって、移動距離を増加させるような補正が、補正部３４１３で行われる。なお、湾曲部位とは、大腸や小腸であり、具体的には例えば、図１３に示した下行結腸等である。
【０１００】
また、モデル上位置特定部３４２は、図１４に示したように補正部３４１３により補正された移動距離情報をモデル上の距離に変換する変換部３４２２を含む。そして、モデル上位置特定部３４２は、変換部３４２２により変換されたモデル上距離に基づいて、モデル上位置を特定する。
【０１０１】
これにより、部位モデルの大きさが様々であったとしても（例えば５００×５００ｐｉｘｅｌや１０００×１０００ｐｉｘｅｌ等）、適切にモデル上の位置を特定することができる。
【０１０２】
また、モデル上位置特定部３４２は、図１４に示したように内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部３４２１を含む。そして、モデル上位置特定部３４２は、基準位置からモデル上距離（変換部３４２２により変換された距離）だけ離れた位置を、モデル上位置として特定する。
【０１０３】
これにより、基準位置を基準としてモデル上位置を特定することが可能になる。よって、仮にガイド画像上の内視鏡位置と、内視鏡装置の体内における位置とにズレが生じた場合でも、基準位置を新たに設定しなおすことで、ズレの蓄積を抑止し、適切なモデル上位置を特定することができる。
【０１０４】
また、体内位置特定情報取得部３４１は、方向情報算出部３４１１を含み、変換部３４２２は方向情報算出部３４１１により算出された移動方向情報をモデル上方向に変換する。そして、モデル上位置特定部３４２は、基準位置からモデル上距離だけ離れ、かつ、モデル上方向に合致する位置をモデル上位置として特定する。
【０１０５】
これにより、基準位置を基準とした上で、移動距離情報だけでなく、移動方向情報にも基づいた、モデル上位置の特定が可能になる。また、部位モデルの角度が変わった場合でも、モデル上の位置を特定することができる
また、モデル上位置特定部３４２は、基準位置検出部３４２１を含み、基準位置と体内位置特定情報に基づいてモデル上位置を特定してもよい。
【０１０６】
ここで、基準位置とは、具体的には例えば、内視鏡装置による撮像を開始した地点（例えば体内への挿入地点である肛門）である測定開始地点でもよいし、特定の部位の撮像を開始した地点（例えば下行結腸から横行結腸へ移り変わる地点）
これにより、基準位置を基準として、体内位置特定情報に基づいたモデル上位置の特定が可能になる。基準位置とは例えば図１３に示す基準位置Ａや基準位置Ｂのことである。基準位置を設定することで、前述したように、ズレの蓄積を抑止し、適切なモデル上位置を特定することができる。
【０１０７】
また、本実施形態にかかる画像処理装置は、撮像画像から注目すべき領域である注目領域を検出する注目領域検出部３４５を含む。そして、図９に示した対応付け部３４４は、注目画像（撮像画像のうち注目領域を含む画像）について、モデル上位置特定部３４２により特定されたモデル上位置に、注目画像に関する情報を対応づける。
【０１０８】
ここで、注目領域とは、例えば病変部を表す領域のことであり、白色光よりも狭い波長帯域の情報を有する被写体像を含む特殊光画像に基づいて、注目領域検出部３４５により検出される。
【０１０９】
これにより、撮像画像から注目領域を検出し、注目画像に関する情報をモデル上位置に対応づけることが可能になる。よって、例えば図１７に示すように、病変部の位置に対して、病変部を含む画像情報を対応づけることが可能になり、体内における病変部の位置を視覚的に容易に把握することが可能になる。なお、特殊光画像を用いることで、例えば扁平上皮癌等の場合には、注目すべき病変部では褐色の割合が大きくなることになり、どこに注目すればよいかの判断を容易にすることができる。
【０１１０】
また、対応付け部３４５は、撮像画像に関する情報として、その撮像画像を撮像した際の内視鏡装置の位置を示すインジケータを対応づけてもよい。
【０１１１】
これにより、撮像した画像と、ガイド画像を対応付けて表示することができるため、術者が用意に撮像画像がどの部位かを確認することができる。
【０１１２】
また、本実施形態は、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、撮像画像が撮像された際の、体内位置を特定するための体内位置特定情報を取得し、被検体内の部位のモデルである部位モデルを取得し、取得された部位モデル上において、体内位置特定情報により特定される位置に対応したモデル上位置を特定し、特定されたモデル上位置に、撮像画像に関する情報を対応付ける画像処理方法であってもよい。
【０１１３】
これにより、内視鏡装置の体内における位置を検出することができ、内視鏡装置の体内における位置を対応付けられたガイド画像を表示することにより、術者の診断や手術を支援する画像処理方法を実現することができる。
【０１１４】
また、図３に示した画像取得部３２５は、通常光画像である第１の画像と、特殊光画像である第２の画像を取得する。ここで、第１の画像および第２の画像は生体内を写した生体内画像である。生体内画像に含まれる特定波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。このヘモグロビンに吸収される波長は、例えば３９０ｎｍ〜４４５ｎｍ（狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（狭帯域光のＧ２成分）である。
【０１１５】
これにより、ＮＢＩ（Narrow Band Imaging）と呼ばれる狭帯域光観察が可能になり、生体の表層部及び、深部に位置する血管の構造を観察することができる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１１６】
また、生体内画像に含まれる特定波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であってもよい。
【０１１７】
これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという波長は、前述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものであり、３９０ｎｍ〜４７０ｎｍという波長は蛍光を発生させるための励起光の波長帯域を示したものである。
【０１１８】
ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１１９】
また、生体内画像に含まれる特定波長帯域は、赤外光の波長帯域であってもよい。例えば、特定波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であってもよい。
【０１２０】
これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという波長は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１２１】
なお、以上の説明において、画像取得部３２５は、通常光画像取得部３２０及び特殊光画像取得部３３０を含み、通常光画像である第１の画像と、特殊光画像である第２の画像の両方を取得するものとしたが、これに限定されるものではない。病変位置の検出及び表示部４００における表示の両方に特殊光画像を用いてもよいし、病変位置の検出及び表示部４００における表示の両方に通常光画像を用いてもよい。
【０１２２】
また、本実施形態は、画像取得部３２５と、体内位置特定情報取得部３４１と、部位モデル取得部３４３と、モデル上位置特定部３４２と、対応付け部３４５としてコンピュータを機能させるプログラムであってもよい。画像取得部３２５は、部位の内部を内視鏡装置により撮像した撮像画像を取得し、体内位置特定情報取得部３４１は、撮像画像が撮像された際の体内位置を特定するための情報である体内位置特定情報を取得する。部位モデル取得部３４３は、部位モデルを取得し、モデル上位置特定部３４２は、体内位置特定情報により特定される位置に対応したモデル上位置を特定する。そして、対応付け部３４５は、特定されたモデル上位置に撮像画像に関する情報を対応づける。
【０１２３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１２４】
また本実施形態は、本実施形態の各部（画像取得部、体内位置特定情報取得部、部位モデル取得部、モデル上位置特定部、対応付け部）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１２５】
ここでプログラムコードとは、被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部とを実現する。
【０１２６】
また、コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１２７】
３．第２の実施形態
第２の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。図２３に本発明の第２の実施形態に係る内視鏡装置を示す。第１の実施形態の内視鏡装置にセンサ２７０、センサ情報取得に関するブロック（センサ情報取得部７００）及び表示制御部３６０が加わった構成になっている。また、体内位置特定情報取得部の構成が異なる。
【０１２８】
センサ２７０は例えば３軸加速度センサ等である。ｘ、ｙ、ｚの各軸の加速度を測定し、測定した加速度情報をセンサ情報取得部７００に送る。センサ情報取得部７００は、取得した加速度情報から移動情報を取得し、ガイド画像生成部３４０に送信する。
【０１２９】
ここで移動情報とは、加速度情報でもよいし、加速度情報を積分することで得られる速度情報でもよい。また、速度情報を積分することで得られる３次元的な移動の軌跡であってもよい。
【０１３０】
ガイド画像生成部３４０は、第１の実施形態と同様に体内位置特定情報取得部３４１を含む。本実施形態における体内位置特定情報取得部３４１の構成を図２４に示す。第１の実施形態における画像記憶部３４１０がなくなった構成になる。また入力が通常光画像取得部３２０からの通常光画像ではなく、センサ情報取得部７００からのセンサ情報（移動情報）になっている点が異なる。
【０１３１】
センサ情報取得部７００からの移動情報に基づいて、距離算出部３４１２は移動距離情報を算出し、方向算出部３４１１は移動方向情報を算出する。移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）が得られた後の処理は第１の実施形態と同様であり、補正部３４１３による補正（軸保持短縮法によるずれの補正）、及びモデル上位置特定部３４２の変換部３４２２によるモデル上距離への変換処理を行った上で、モデル上位置を特定する。
【０１３２】
以上の本実施形態では、画像処理装置はセンサ２７０からのセンサ情報を取得するセンサ情報取得部７００を含む。そして、センサ情報に基づいて体内位置特定情報として、内視鏡装置の移動情報を取得する。
【０１３３】
これにより、センサ情報に基づいて体内位置特定情報を取得することが可能になる。センサが例えば３軸加速度センサであれば、ｘ、ｙ、ｚの各軸における加速度（積分を行えば速度や変位）を求めることができるため、画像処理に比べて、直接的で正確なデータを取得することができる。また、超音波センサ等を用いることで、相対位置ではなく絶対位置を求めることも可能であると考えられる。
【０１３４】
また、画像処理装置は、部位モデル画像（ガイド画像）と撮像画像の表示を制御する表示制御部３６０を含み、表示制御部３６０は移動情報に基づいて部位モデル画像を変形させてもよい。
【０１３５】
これは、具体的には例えば、センサ情報（移動情報）により、図２（Ｂ）に示したように、湾曲部がまっすぐに伸ばされていると判断された場合には、部位モデル画像自体を図２（Ｂ）のように変形するというものである。
【０１３６】
これにより、撮像時（内視鏡装置挿入時）の体内の部位の形状に近い形で、部位モデル画像を表示することが可能になり、ユーザ（ドクター）は内視鏡装置の操作感覚に合致した画像を見ながら診断等を行うことができる。なお、このような手法は、前述した超音波センサ等、正確でかつ絶対位置を求めることが可能なセンサとあわせて用いることで、より効果を発揮すると考えられる。
【０１３７】
４．第３の実施形態
第３の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。体内位置特定情報取得部３４１及びモデル上位置特定部３４２以外は第１の実施形態と同様である。
【０１３８】
図２５に、体内位置特定情報取得部３４１ｂを示す。体内位置特定情報取得部３４１ｂは、体内位置特定情報取得部３４１から補正部３４１３がなくなった構成になる。距離算出部３４１２で算出された移動距離Ｌはモデル上位置算出部に出力される。
【０１３９】
図２６にモデル上位置特定部３４２ｂを示す。モデル上位置特定部３４２ｂは、モデル上位置特定部３４２から補正部３４２３が加わった構成になる。
【０１４０】
補正部３４２３は、制御部３５０の制御に基づき、変換された部位モデル上での移動距離を、内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する。具体的には、内視鏡装置が軸保持短縮法を用いて挿入される、湾曲部を有する部位の全体または一部の区間中の移動距離に対しては、その距離を増加させる補正を行う。これは、軸保持短縮法は腸をたたみこんで短縮するため、部位モデル上での移動距離は、算出した移動距離に対して長くなるためである。補正後の移動距離ｃｍＬは以下の式で算出する。
【０１４１】
mL=modCoed×L ・・・・・（１４）
radL=mL×cos(addH)×cos(addV) ・・・・・（１５）
cmL=corModCoef×radL ・・・・・（１６）
ｃｏｒＭｏｄＣｏｅｆは１以上の係数であり、術者が予め決めてもよいし、患者情報から制御部３５０が自動で算出してもよい。
【０１４２】
一方、撮影部位が軸保持短縮法の対象部位ではない場合、移動方向（ｈ，ｖ）から、部位モデル上での移動量（ｘ，ｙ）を以下の式で算出する
mL= modCoef×L ・・・・・（１７）
(x,y)=(mL×sin(h)×cos(v),mL×cos(h)×cos(v)) ・・・・・（１８）
この（ｘ，ｙ）を、基準位置から積算した値を（ａｄｄＸ，ａｄｄＹ）と示す。（ａｄｄＸ，ａｄｄＹ）は、部位モデル上での基準座標からの相対座標を表している。基準位置からの相対座標（ａｄｄＸ，ａｄｄＹ）は対応付け部３４４に出力される。
【０１４３】
以上の処理を図示したものが図２７（Ａ）、図２７（Ｂ）である。図２７（Ａ）は軸保持短縮法が用いられる湾曲部位を移動している際に行われる処理であり、図２７（Ｂ）は軸保持短縮法等の手技が用いられない場合に行われる処理を表す。
【０１４４】
図２７（Ａ）、図２７（Ｂ）を用いて上述した処理について再度説明する。まず画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する。軸保持短縮法が用いられる場合には、図２７（Ａ）に示すように、変換部３４２２による変換が行われる。具体的には上述した式（１４）、（１５）に相当し、Ｌに対して係数ｍｏｄＣｏｅｆを乗じてｍＬを求め、（ａｄｄＨ，ａｄｄＶ）で方向補正を行い、ｒａｄＬを求める処理である。
【０１４５】
次に補正部３４１３による補正が行われる。具体的には、上述した式（１６）に相当し、ｒａｄＬに対して係数ｃｏｒＭｏｄＣｏｅｆを乗じてｃｍＬを求める処理である。そしてｃｍＬを積算することでａｄｄＬを求め、ａｄｄＬを対応付け部３４４に出力する。
【０１４６】
次に図２７（Ｂ）を用いて、軸保持短縮法が用いられない場合の処理について説明する。画像情報から移動距離情報Ｌ及び移動方向情報（ｈ，ｖ）を算出する点は図２７（Ａ）と同様である。
【０１４７】
まず、図２７（Ｂ）に示すように、変換部３４２２による変換が行われる。具体的には上述した式（１７）、（１８）に相当し、Ｌに対して係数ｍｏｄＣｏｅｆを乗じてｍＬを求め、そして、移動距離情報ｍＬ（モデル上の移動距離情報）と移動方向（ｈ，ｖ）とから、上述した（１８）により、移動ベクトル（ｘ，ｙ）を求める。（ｘ，ｙ）は１フレームあたりの移動ベクトルを表すため、（ｘ，ｙ）を基準位置から積算することで、求めたい座標（ａｄｄＸ，ａｄｄＹ）を特定することができる。
【０１４８】
以上の本実施形態では、図２６に示したように、モデル上位置特定部３４２は、移動距離情報により表される距離を、部位モデル上の距離であるモデル上距離に変換する変換部３４２２を含む。そして、モデル上位置特定部３４２は、変換部３４２２により変換されたモデル上距離に基づいてモデル上位置を特定する。
【０１４９】
これにより、部位モデルの大きさが様々であったとしても、適切にモデル上の位置を特定することができる。
【０１５０】
また、モデル上位置特定部３４２は、図２６に示したように、変換部３４２２により変換されたモデル上距離を、内視鏡装置が移動した部位の構造特性に応じて補正する補正部３４２３を含む。そして、モデル上位置特定部３４２は、補正部３４２３により補正されたモデル上距離に基づいてモデル上位置を特定する。
【０１５１】
これにより、部位の構造特性に応じて、ガイド画像上の移動距離と、内視鏡装置の体内での移動距離の差を補正することが可能になる。
【０１５２】
５．第４の実施形態
第４の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。図２８に本発明の第４の実施形態に係る内視鏡装置を示す。第１の実施形態の内視鏡装置から特殊光画像取得に関するブロックがなくなった構成になっている。
【０１５３】
図２９に、ガイド画像生成部３４０ｂの構成を示す。ガイド画像生成部３４０ｂは、ガイド画像生成部３４０から、注目領域検出部がなくなった構成になっている。また、部位モデル取得部３４３ｂの作用が、第１の実施形態の部位モデル取得部３４３と異なる。
【０１５４】
部位モデル取得部３４３ｂは、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルをカプセル内視鏡装置から取得する。ここで、部位モデル取得部３４３ｂは、カプセル内視鏡装置により、３次元部位モデルをネットワーク経由で入力される。３次元部位モデルは、カプセル内視鏡装置により、事前に被検体本人から取得された時間的に連続な複数の画像から作成する。ここで、カプセル内視鏡装置が特殊光画像を取得することにより、この注目領域の対応付けられた３次元モデルを取得することができる。３次元部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【０１５５】
以上の本実施形態では、画像処理装置は、取得された画像から、注目すべき領域である注目領域を検出する注目領域検出部３４５を含み、注目領域検出部３４５は、カプセル型内視鏡装置の撮像に基づいて注目領域を検出する。
【０１５６】
これにより、通常の内視鏡装置を挿入する前に、注目領域検出することが可能になり、通常の内視鏡装置の挿入時に病変部等の注目領域の見逃しを抑止できる。また、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。
【０１５７】
また、部位モデル取得部３４３は、カプセル型内視鏡装置の撮像に基づいて、部位モデルを取得する。
【０１５８】
これにより、事前に本人からとった部位モデルを取得できるため、モデルが正確になる。前述したカプセル型内視鏡装置による注目領域の検出とあわせることで、注目領域の情報が対応づけられた部位モデルを取得することができ、よりドクターの診断を容易にすることが可能である。
【０１５９】
６．第５の実施形態
第５の実施形態にかかる画像処理装置を含む内視鏡装置について説明する。構成は第５の実施形態と同じであり、部位モデル取得部３４３ｂの作用が異なる。
【０１６０】
部位モデル取得部３４３ｂは、制御部３５０の制御に基づき、被検体内の生体部位の概観を表す部位モデルをＣＴスキャン装置から取得する。ここで、部位モデル取得部３４３ｂは、ＣＴスキャン装置により、３次元部位モデルをネットワーク経由で入力される。３次元部位モデルは、ＣＴスキャン装置により、事前に被検体本人から取得された空間的に連続な複数枚のスライス画像からモデルフィッティング手法により３次元部位モデルを作成する。ここで、３次元部位モデルの凹凸を検出し、注目領域として部位モデルに対応付ける。注目領域を対応付けられた３次元部位モデルは、モデル上位置特定部３４２と、対応付け部３４４に出力される。
【０１６１】
以上の本実施形態では、画像処理装置は、取得された部位モデル上において、注目すべき領域である注目領域を検出する注目領域検出部３４５を含み、対応付け部３４４はさらに、部位モデル上の検出された注目領域の位置に対し、その位置が注目領域である旨の情報を対応付ける。
【０１６２】
これにより、注目領域を対応付けられた部位モデルを取得することが可能となり、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。また、事前に本人からとった部位モデルなので、モデルが正確になる。
【０１６３】
また、注目領域検出部３４５は、ＣＴスキャン撮像に基づいて注目領域を検出する。
【０１６４】
これにより、通常の内視鏡装置を挿入する前に、注目領域検出することが可能になり、通常の内視鏡装置の挿入時に病変部等の注目領域の見逃しを抑止できる。また、観察時の内視鏡装置に特殊光画像取得部がなくてもよい。
【０１６５】
また、部位モデル取得部３４３は、ＣＴスキャン撮像に基づいて、部位モデルを取得する。
【０１６６】
これにより、事前に本人からとった部位モデルを取得できるため、モデルが正確になる。前述したＣＴスキャン撮像による注目領域の検出とあわせることで、注目領域の情報が対応づけられた部位モデルを取得することができ、よりドクターの診断を容易にすることが可能である。
【０１６７】
以上、本発明を適用した５つの実施の形態１〜５およびその変形例について説明したが、本発明は、各実施の形態１〜５やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜５や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜５や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１６８】
１００ 光源部、２００ 挿入部、２１０ ライトガイドファイバ、
２２０ 照明レンズ、２３０ 対物レンズ、２４０ ハーフミラー、
２５０ 第１撮像素子、２６０ 第２撮像素子、３００ 画像処理部、
３１０ａ，３１０ｂ ＡＤ変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、
３４０，３４０ｂ ガイド画像生成部、３４１，３４１ｂ体内位置特定情報取得部、
３４２ モデル上位置特定部、３４３，３４３ｂ 部位モデル取得部、
３４４ 対応付け部、３４５ 注目領域検出部、３５０ 制御部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、６００ コンピューターシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、
６１４ ハードディスクドライブ（ＨＤＤ）、６１６ ＵＳＢポート、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ パソコン（ＰＣ）、６８２ サーバ、
６８３ プリンタ、３４１０ 画像記憶部、３４１１ 方向算出部、
３４１２ 距離算出部、３４１３ 補正部、３４２１ 基準位置検出部、
３４２２ 変換部、３４２３補正部
【特許請求の範囲】
【請求項１】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、
前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記体内位置特定情報取得部は、
前記画像取得部が取得した前記撮像画像に基づいて、前記体内位置特定情報を取得することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記体内位置特定情報取得部は、
前記撮像画像に基づいて、体内における前記内視鏡装置の移動距離を表す移動距離情報を算出する距離情報算出部を含み、
前記体内位置特定情報取得部は、
算出された前記移動距離情報を前記体内位置特定情報として取得することを特徴とする画像処理装置。
【請求項４】
請求項２において、
前記体内位置特定情報取得部は、
前記撮像画像に基づいて、体内における前記内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部を含み、
前記体内位置特定情報取得部は、
算出された前記移動方向情報を前記体内位置特定情報として取得することを特徴とする画像処理装置。
【請求項５】
請求項２において、
前記画像取得部は、
前記撮像画像として、第１のタイミングで取得した第１の撮像画像と、第１のタイミングよりも後のタイミングである第２のタイミングで取得した第２の撮像画像とを取得し、
前記体内位置特定情報取得部は、
前記第１の撮像画像と、前記第２の撮像画像とのマッチング処理を行い、前記マッチング処理の結果に基づいて、前記体内位置特定情報を取得することを特徴とする画像処理装置。
【請求項６】
請求項３において、
前記体内位置特定情報取得部は、
前記距離情報算出部により算出された前記移動距離情報を、前記内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する補正部を含み、
前記モデル上位置特定部は、
前記補正部により補正された前記移動距離情報に基づいて、前記撮像画像に対応する前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記モデル上位置特定部は、
前記補正部により補正された前記移動距離情報により表される距離を、前記部位モデル上の距離に変換する変換部を含み、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離に基づいて、前記撮像画像に対応する前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記モデル上位置特定部は、
前記内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部を含み、
前記モデル上位置特定部は、
前記基準位置検出部により検出された前記基準位置に対して、変換された前記部位モデル上の距離分だけ離れた位置を、前記撮像画像に対応するモデル上位置として特定することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記体内位置特定情報取得部は、
体内における前記内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部を含み、
前記変換部は、
前記方向情報算出部により算出された前記移動方向情報により表される方向を、前記部位モデル上の移動方向に変換し、
前記モデル上位置特定部は、
前記基準位置検出部により検出された基準位置に対して、変換された前記部位モデル上の距離分だけ離れ、かつ、変換された前記部位モデル上の移動方向に合致する位置を、取得された前記撮像画像に対応するモデル上位置として特定することを特徴とする画像処理装置。
【請求項１０】
請求項６において、
前記補正部は、
前記内視鏡装置が湾曲部を有する湾曲部位の全体または一部の区間を移動した場合には、前記区間中の前記移動距離情報により表される距離を増加させる補正を行うことを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記湾曲部位は、
大腸、小腸のいずれかであることを特徴とする画像処理装置。
【請求項１２】
請求項３において、
前記モデル上位置特定部は、
前記距離情報算出部により算出された前記移動距離情報により表される距離を、前記部位モデル上の距離に変換する変換部を含み、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離に基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離を、前記内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する補正部を含み、
前記モデル上位置特定部は、
前記補正部により補正された前記部位モデル上の距離に基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記モデル上位置特定部は、
前記内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部を含み、
前記モデル上位置特定部は、
検出した前記基準位置と、前記体内位置特定情報とに基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記基準位置検出部は、
前記内視鏡装置による撮像を開始した地点である測定開始地点を、前記基準位置として検出することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記基準位置検出部は、
前記内視鏡装置による特定の部位の撮像を開始した地点を、前記基準位置として検出することを特徴とする画像処理装置。
【請求項１７】
請求項１において、
センサからのセンサ情報を取得するセンサ情報取得部を含み、
前記体内位置特定情報取得部は、
前記センサ情報取得部が取得した前記センサ情報に基づいて、前記体内位置特定情報として前記内視鏡装置の移動情報を取得することを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記部位モデルの画像である部位モデル画像と、前記撮像画像の表示を制御する表示制御部を含み、
前記表示制御部は、
前記移動情報に基づいて前記部位モデル画像を変形させることを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記画像取得部により取得された前記撮像画像から、注目すべき領域である注目領域を検出する注目領域検出部を含み、
前記対応付け部は、
前記撮像画像のうち前記注目領域を含む画像である注目画像について、前記モデル上位置特定部により特定されたモデル上位置に、前記注目画像に関する情報を対応付けることを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記画像取得部は、
白色光の波長帯域よりも狭い特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得し、
前記注目領域検出部は、
前記特殊光画像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記注目領域検出部は、
カプセル型内視鏡装置の撮像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記部位モデル取得部は、
カプセル型内視鏡装置の撮像に基づいて、前記部位モデルを取得することを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記取得された部位モデル上において、注目すべき領域である注目領域を検出する注目領域検出部を含み、
前記対応付け部は、
部位モデル上の前記検出された注目領域の位置に対して、その位置が注目領域である旨の情報を対応付けることを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記注目領域検出部は、
ＣＴスキャン撮像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２５】
請求項２３において、
前記部位モデル取得部は、
ＣＴスキャン撮像に基づいて、前記部位モデルを取得することを特徴とする画像処理装置。
【請求項２６】
請求項１において、
前記対応付け部は、
取得された前記撮像画像に関する情報として、前記撮像画像を撮像した際の内視鏡装置の位置を示すインジケータを対応付けることを特徴とする画像処理装置。
【請求項２７】
請求項１において、
前記画像取得部は、
白色光の波長帯域における情報を有した被写体像を含む第１の画像と、前記白色光の波長帯域に比べて狭帯域である特定波長帯域における情報を有した被写体像を含む第２の画像とを取得することを特徴とする画像処理装置。
【請求項２８】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３０】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３１】
請求項３０において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項３２において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３４】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得し、
前記被検体内の部位のモデルである部位モデルを取得し、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定し、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付けることを特徴とする画像処理方法。
【請求項３５】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、
前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、
前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記体内位置特定情報取得部は、
前記画像取得部が取得した前記撮像画像に基づいて、前記体内位置特定情報を取得することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記体内位置特定情報取得部は、
前記撮像画像に基づいて、体内における前記内視鏡装置の移動距離を表す移動距離情報を算出する距離情報算出部を含み、
前記体内位置特定情報取得部は、
算出された前記移動距離情報を前記体内位置特定情報として取得することを特徴とする画像処理装置。
【請求項４】
請求項２において、
前記体内位置特定情報取得部は、
前記撮像画像に基づいて、体内における前記内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部を含み、
前記体内位置特定情報取得部は、
算出された前記移動方向情報を前記体内位置特定情報として取得することを特徴とする画像処理装置。
【請求項５】
請求項２において、
前記画像取得部は、
前記撮像画像として、第１のタイミングで取得した第１の撮像画像と、第１のタイミングよりも後のタイミングである第２のタイミングで取得した第２の撮像画像とを取得し、
前記体内位置特定情報取得部は、
前記第１の撮像画像と、前記第２の撮像画像とのマッチング処理を行い、前記マッチング処理の結果に基づいて、前記体内位置特定情報を取得することを特徴とする画像処理装置。
【請求項６】
請求項３において、
前記体内位置特定情報取得部は、
前記距離情報算出部により算出された前記移動距離情報を、前記内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する補正部を含み、
前記モデル上位置特定部は、
前記補正部により補正された前記移動距離情報に基づいて、前記撮像画像に対応する前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記モデル上位置特定部は、
前記補正部により補正された前記移動距離情報により表される距離を、前記部位モデル上の距離に変換する変換部を含み、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離に基づいて、前記撮像画像に対応する前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記モデル上位置特定部は、
前記内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部を含み、
前記モデル上位置特定部は、
前記基準位置検出部により検出された前記基準位置に対して、変換された前記部位モデル上の距離分だけ離れた位置を、前記撮像画像に対応するモデル上位置として特定することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記体内位置特定情報取得部は、
体内における前記内視鏡装置の移動方向を表す移動方向情報を算出する方向情報算出部を含み、
前記変換部は、
前記方向情報算出部により算出された前記移動方向情報により表される方向を、前記部位モデル上の移動方向に変換し、
前記モデル上位置特定部は、
前記基準位置検出部により検出された基準位置に対して、変換された前記部位モデル上の距離分だけ離れ、かつ、変換された前記部位モデル上の移動方向に合致する位置を、取得された前記撮像画像に対応するモデル上位置として特定することを特徴とする画像処理装置。
【請求項１０】
請求項６において、
前記補正部は、
前記内視鏡装置が湾曲部を有する湾曲部位の全体または一部の区間を移動した場合には、前記区間中の前記移動距離情報により表される距離を増加させる補正を行うことを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記湾曲部位は、
大腸、小腸のいずれかであることを特徴とする画像処理装置。
【請求項１２】
請求項３において、
前記モデル上位置特定部は、
前記距離情報算出部により算出された前記移動距離情報により表される距離を、前記部位モデル上の距離に変換する変換部を含み、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離に基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記モデル上位置特定部は、
前記変換部により変換された前記部位モデル上の距離を、前記内視鏡装置が移動した部位の全体または一部の構造特性に応じて補正する補正部を含み、
前記モデル上位置特定部は、
前記補正部により補正された前記部位モデル上の距離に基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記モデル上位置特定部は、
前記内視鏡装置の移動の開始地点を表す基準位置を検出する基準位置検出部を含み、
前記モデル上位置特定部は、
検出した前記基準位置と、前記体内位置特定情報とに基づいて、前記モデル上位置を特定することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記基準位置検出部は、
前記内視鏡装置による撮像を開始した地点である測定開始地点を、前記基準位置として検出することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記基準位置検出部は、
前記内視鏡装置による特定の部位の撮像を開始した地点を、前記基準位置として検出することを特徴とする画像処理装置。
【請求項１７】
請求項１において、
センサからのセンサ情報を取得するセンサ情報取得部を含み、
前記体内位置特定情報取得部は、
前記センサ情報取得部が取得した前記センサ情報に基づいて、前記体内位置特定情報として前記内視鏡装置の移動情報を取得することを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記部位モデルの画像である部位モデル画像と、前記撮像画像の表示を制御する表示制御部を含み、
前記表示制御部は、
前記移動情報に基づいて前記部位モデル画像を変形させることを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記画像取得部により取得された前記撮像画像から、注目すべき領域である注目領域を検出する注目領域検出部を含み、
前記対応付け部は、
前記撮像画像のうち前記注目領域を含む画像である注目画像について、前記モデル上位置特定部により特定されたモデル上位置に、前記注目画像に関する情報を対応付けることを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記画像取得部は、
白色光の波長帯域よりも狭い特定の波長帯域の情報を有する被写体像を含む特殊光画像を取得し、
前記注目領域検出部は、
前記特殊光画像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２１】
請求項２０において、
前記注目領域検出部は、
カプセル型内視鏡装置の撮像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記部位モデル取得部は、
カプセル型内視鏡装置の撮像に基づいて、前記部位モデルを取得することを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記取得された部位モデル上において、注目すべき領域である注目領域を検出する注目領域検出部を含み、
前記対応付け部は、
部位モデル上の前記検出された注目領域の位置に対して、その位置が注目領域である旨の情報を対応付けることを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記注目領域検出部は、
ＣＴスキャン撮像に基づいて、前記注目領域を検出することを特徴とする画像処理装置。
【請求項２５】
請求項２３において、
前記部位モデル取得部は、
ＣＴスキャン撮像に基づいて、前記部位モデルを取得することを特徴とする画像処理装置。
【請求項２６】
請求項１において、
前記対応付け部は、
取得された前記撮像画像に関する情報として、前記撮像画像を撮像した際の内視鏡装置の位置を示すインジケータを対応付けることを特徴とする画像処理装置。
【請求項２７】
請求項１において、
前記画像取得部は、
白色光の波長帯域における情報を有した被写体像を含む第１の画像と、前記白色光の波長帯域に比べて狭帯域である特定波長帯域における情報を有した被写体像を含む第２の画像とを取得することを特徴とする画像処理装置。
【請求項２８】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記特定の波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３０】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３１】
請求項３０において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項２７において、
前記第１の画像及び前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項３２において、
前記特定の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３４】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得し、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得し、
前記被検体内の部位のモデルである部位モデルを取得し、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定し、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付けることを特徴とする画像処理方法。
【請求項３５】
被検体内の部位の内部を内視鏡装置により撮像した画像である撮像画像を取得する画像取得部と、
前記撮像画像が撮像された際の、前記内視鏡装置の体内における位置を特定するための情報である体内位置特定情報を取得する体内位置特定情報取得部と、
前記被検体内の部位のモデルである部位モデルを取得する部位モデル取得部と、
取得された前記部位モデル上において、取得された前記体内位置特定情報により特定される位置に対応したモデル上位置を特定するモデル上位置特定部と、
特定された前記モデル上位置に、前記撮像画像に関する情報を対応付ける対応付け部として、
コンピュータを機能させることを特徴とするプログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１】
【公開番号】特開２０１１−２０６２５１（Ｐ２０１１−２０６２５１Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７６７６０（Ｐ２０１０−７６７６０）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]