画像処理装置及びプログラム
【課題】注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供すること。
【解決手段】画像処理装置は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部330と、特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された誘導情報を含む情報の出力制御を行う出力制御部360と、を含む。
【解決手段】画像処理装置は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部330と、特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された誘導情報を含む情報の出力制御を行う出力制御部360と、を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【0002】
従来、体腔内の組織に対して回転フィルタを用いてR1,G1,B1の3色の光を順次照射し、それらの反射光画像から作成した画像(通常光画像)を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の3色の光とは特性が異なる2種類の狭帯域光G2とB2を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている(例えば、特許文献1)。
【0003】
また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている(例えば特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−68113号公報
【特許文献2】特開2007−229053号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の特許文献1のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
【0006】
また、上述の特許文献2のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することでその発見が容易になる。
【0007】
しかしこれらの狭帯域光画像や蛍光画像(これらを合わせて特殊光画像と呼ぶ)は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に1つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【0008】
本発明の幾つかの態様によれば、特殊画像における注目領域の見逃しを抑止できる画像処理装置及びプログラム等を提供できる。
【0009】
また、本発明の幾つかの態様によれば、特殊光画像から注目領域を検出し、注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【0010】
本発明の一態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、を含む画像処理装置に関係する。
【0011】
本発明の一態様では、特殊光画像から注目領域を検出し、注目領域の消失の有無を判定する。そして、判定に基づいて誘導情報を生成し、生成した誘導情報を出力する。これにより、消失した注目領域の発見が、誘導情報がない場合に比べて容易になり、注目領域の見逃し等を抑止することが可能になる。
【0012】
また、本発明の他の態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【0013】
【図1】本実施形態のシステム構成例。
【図2】色フィルタR,G,Bの分光特性。
【図3】色フィルタg2,b2の分光特性。
【図4】色フィルタg2,b2の説明図。
【図5】通常光画像取得部の構成例。
【図6】特殊光画像取得部の構成例。
【図7】出力画像生成部の構成例。
【図8】注目領域検出部の構成例。
【図9】局所領域の分割手法の説明図。
【図10】注目領域群の設定の説明図。
【図11】表示態様決定部の構成例。
【図12】記憶部に記憶される注目領域に関する情報の例。
【図13】図13(A)は通常光画像の例、図13(B)は特殊光画像の例、図13(C)、図13(D)は通常光画像に加工を施した例。
【図14】図14(A)〜図14(C)は各タイミングにおける特殊光画像上での注目領域群の移動を説明する図。
【図15】誘導情報の出力の例。
【図16】本実施形態の処理を説明するための状態遷移図。
【図17】複数の注目領域群が検出された場合の処理の説明図。
【図18】本実施形態の処理を説明するためのフローチャート。
【図19】注目領域検出処理を説明するためのフローチャート。
【図20】表示態様決定処理を説明するためのフローチャート。
【図21】本実施形態の他のシステム構成例。
【図22】回転フィルタの例。
【図23】フィルタF1,F2と蛍光の分光特性。
【図24】バリアフィルタの分光特性。
【図25】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図26】回転フィルタの他の例。
【発明を実施するための形態】
【0014】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0015】
1.第1の実施形態
まず、本実施形態の手法について説明する。内視鏡を用いた観察においては、病変部を一度検出しても、病変部が表示対象範囲から外れることで、見失ってしまうことが考えられる。しかし、消失した病変部(注目領域)を再度発見することは容易ではない。特に、ドクターが他の作業に集中していた、或いは、注目領域の検出が非常に短い時間であった等、そもそもドクターが注目領域の検出に気づかなかったケース等では、消失した注目領域の発見は偶然によるものしか期待できないといってもよい。
【0016】
そこで、本出願人は以下のような手法を提案する。後述する図14(A)〜図14(C)に示すように、特殊光画像において検出される注目領域は、内視鏡装置の撮像部の移動に伴い画像上を移動する。そして、図14(C)に示すように、あるタイミングにおいて表示対象範囲から外れたとする。このような場合に、消失してしまった注目領域の再発見を容易にするために、図14(A)、図14(B)の情報を用いて、後述する図15に示すように、誘導情報(図15の例では矢印)を出力する。
【0017】
第1の実施形態においては、特殊光画像がNBI(Narrow Band Imaging)画像である場合について説明する。1.1において具体的な実施例について説明し、1.2〜1.4で変形例について説明する。また1.5において本実施形態の処理の一部をソフトウェアで実現する例を、フローチャートを用いて説明し、1.6において本実施形態の詳細な構成について説明する。
【0018】
また、第2の実施形態においては、特殊光画像が蛍光画像(例えばAFI、Auto Fluorescence Imaging等)やIRI画像である場合について説明する。
【0019】
1.1 本実施形態の手法
本発明の第1の実施形態に係る画像処理装置を含む内視鏡システムについて、図1を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400(表示部)と、外部I/F部500を含む。
【0020】
光源部100は、白色光を発生する白色光源110と白色光をライトガイドファイバ210に集光するための集光レンズ120を含む。
【0021】
挿入部200は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部200には、光源部で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230と、集光した反射光を2つに分離するハーフミラー240と、分離された反射光を検出するための第1撮像素子250と第2撮像素子260を含む。
【0022】
第1撮像素子250は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第1撮像素子250の色フィルタr,g,bは例えば図2に示すような分光特性を持っている。第2撮像素子260は狭帯域光画像を撮影するための撮像素子であり、例えば図4に示すように2種類の狭帯域光G2とB2をそれぞれ透過する2種類の色フィルタg2とb2を市松状に並べたような色フィルタを持つ撮像素子である。
【0023】
第2撮像素子260の色フィルタg2,b2は例えば図3に示すように、b2が390〜445nm、g2が530〜550nmの波長帯域の光を透過させる透過率特性を有している。
【0024】
画像処理部300はA/D変換部310と通常光画像取得部320と特殊光画像取得部330と出力画像生成部340と制御部350を含む。制御部350は通常光画像取得部320、特殊光画像取得部330、出力画像生成部340と双方向に接続されていて、これらを制御するようになっている。
【0025】
外部I/F部500は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部I/F部500は、入力された情報を、制御部350へ出力するようになっている。
【0026】
A/D変換部310は、第1撮像素子250もしくは第2撮像素子260から出力されるアナログ信号をデジタル信号に変換して出力する。
【0027】
通常光画像取得部320は、A/D変換部310から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部330はA/D変換部310から出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部320及び特殊光画像取得部330の詳細については後述する。
【0028】
通常光画像取得部320で取得された通常光画像と、特殊光画像取得部330で取得された特殊光画像は出力画像生成部340に出力される。出力画像生成部340はこれら2枚の画像から1枚の出力画像を生成して出力部400に出力する。出力画像生成部340の詳細については後述する。
【0029】
次に通常光画像取得部320について図5を用いて説明する。通常光画像取得部320は通常光画像生成部321と通常光画像記憶部322を含む。通常光画像生成部321はA/D変換部310で変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部322は通常光画像生成部321から出力された通常光画像を記憶する。
【0030】
次に特殊光画像取得部330について図6を用いて説明する。特殊光画像取得部330は特殊光画像生成部331と特殊光画像記憶部332を含む。特殊光画像生成部331はA/D変換部310で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。
【0031】
ここで、特殊光画像生成部331で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図4で示す2種類の色フィルタg2とb2を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でg2フィルタの信号値を持つG2画像と、全画素でb2フィルタの信号値を持つB2画像を生成する。補間処理で算出される画素値は例えば周辺4画素の平均値とすればよく、例えば図4のg2(1,1)の位置でのb2の画素値b2(1,1)、及びb2(1,2)位置でのg2の画素値g2(1,2)は下式(1)、(2)により算出する。
【0032】
b2(1,1) = [b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)] / 4 ・・・・・(1)
g2(1,2) = [g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)] / 4 ・・・・・(2)
【0033】
次に全画素に対して補間されたG2画像及びB2画像からR,G,Bの3チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のRチャンネルにG2画像を入力し、GチャンネルとBチャンネルにB2画像を入力することでカラー画像が生成される。
【0034】
特殊光画像生成部331は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部332は特殊光画像生成部331から出力された特殊光画像を記憶する。
【0035】
次に、出力画像生成部340の具体的な構成について説明する。図7は、第1の実施形態における出力画像生成部340の構成の一例を説明するブロック図である。出力画像生成部340は、注目領域検出部341と表示態様決定部342とを含む。
【0036】
ここで、通常光画像取得部320からの画像信号は、表示態様決定部342に出力される。また、特殊光画像取得部330からの画像信号は、注目領域検出部341と、表示態様決定部342に出力される。注目領域検出部341は、特殊光画像取得部330から出力された特殊光画像を用いて注目領域を検出し、注目領域情報を表示態様決定部342に出力する。注目領域検出部341の詳細については後述する。制御部350は、注目領域検出部341と、表示態様決定部342に双方向に接続されていて、これらを制御するようになっている。
【0037】
また、表示態様決定部342は、通常光画像取得部320から出力される通常光画像及び特殊光画像取得部330から出力される特殊光画像から画像を選択し、出力部400に画像を出力する。さらに表示態様決定部342は、注目領域検出部341から出力される注目領域情報に基づいて、通常光画像を加工したうえで出力部に画像を出力することもできる。表示態様決定部342の詳細については後述する。
【0038】
次に、注目領域検出部341の具体的な構成について説明する。図8は、本実施形態における注目領域検出部341の構成の一例を説明するブロック図である。
【0039】
注目領域検出部341は局所領域設定部3411と、特徴量算出部3412と、注目候補領域設定部3414と、信頼度算出部3415と、注目領域設定部3416を含む。制御部350は、局所領域設定部3411と、特徴量算出部3412と、注目候補領域設定部3414と、信頼度算出部3415と、注目領域設定部3416に双方向に接続されていて、これらを制御するようになっている。
【0040】
局所領域設定部3411は、特殊光画像取得部330から出力された特殊光画像に対して、複数の局所領域を設定する。ここでは例えば特殊光画像を矩形領域に分割し、分割した各領域を局所領域として設定する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、図9に示すように、16×16画素を1つの局所領域とする。ここで特殊光画像はM×N個の局所領域で構成されていることとし、各局所領域の座標を(m,n)で示すこととする。また、座標(m,n)の局所領域はa(m,n)として示すこととする。ここでは画像の左上に位置する局所領域の座標を(0,0)とし、右方向をmの正方向、下方向をnの正方向として表している。
【0041】
局所領域は必ずしも矩形である必要はなく、特殊光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザーの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を1つの局所領域としているが、1画素を1つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【0042】
特徴量算出部3412はすべての局所領域に対して病変らしさを表す特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施の形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Hを使用することで病変部を検出することができる。局所領域a(m,n)の色相をH(m,n)とする。
【0043】
H(m,n)を算出するため、まずそれぞれの局所領域に含まれるすべての画素を用いて、R,G,Bチャンネルそれぞれに対して平均の信号値を算出する。ここで、局所領域a(m,n)におけるR,G,Bチャンネルの平均の信号値をr,g,bと表記し、各信号値は8ビット(0〜255)であるとする。
【0044】
次にこの平均の信号値r,g,bから例えば以下の式(3)〜(8)を用いて各局所領域の色相H(m,n)を算出する。
【0045】
max = MAX(r,g,b) ・・・・・(3)
ここで、MAX関数は複数の引数の中で最大のものを出力する関数とする。
maxが0の場合、
H = 0 ・・・・・(4)
maxが0以外の場合、
d = MAX(r,g,b)- MIN(r,g,b) ・・・・・(5)
ここで、MIN関数は複数の引数の中で最小のものを出力する関数とする。
【0046】
さらに、
r,g,bのうちrが最大の場合、
H = 60 *(g-b)/ d ・・・・・(6)
r,g,bのうちgが最大の場合、
H = 60 * {2+(b-r)} / d ・・・・・(7)
r,g,bのうちbが最大の場合、
H = 60 * {4+(r-g)} / d ・・・・・(8)
なお、Hが<0になった場合には、Hに360を加える。また、H=360の場合、H=0とする。
【0047】
次に、注目候補領域設定部3414はすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Hが5〜35の範囲にある局所領域を注目候補領域とすればよい。
【0048】
次に注目候補領域設定部3414は、注目候補領域として検出された複数の局所領域a(m,n)の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。例えば、図10に示すように2つの注目候補領域群が存在する場合、注目候補領域設定部3414は、注目候補領域群1に属する注目候補領域に対してはタグの値を1とし、注目候補領域群2に属する注目候補領域に対してはタグの値を2とする。
【0049】
次に注目候補領域設定部3414は、注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値H_aveを算出する。
【0050】
さらに注目候補領域設定部3414は、注目候補領域群に属する各局所領域a(m,n)の座標、および特徴量の平均値を、注目候補領域情報として信頼度算出部3415に出力する。
【0051】
また、ここでは色相Hの替わりに公知の手法で局所領域の平均の輝度や彩度を算出し、これらの値を特徴量として注目候補領域を検出してもよい。さらにこれらの輝度、色相、彩度の情報を任意に組み合わせることで1つの特徴量を算出し、注目候補領域を検出することも可能であることは言うまでもない。
【0052】
信頼度算出部3415は注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは各注目候補領域に付けられたタグの情報から、注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。例えば図10の注目候補領域群1及び注目候補領域群2の信頼度d1及びd2は、1つの局所領域の面積を1とすると、d1=9となりd2=2となる。さらに信頼度算出部3415は、注目候補領域群に属する各局所領域の座標(m,n)、色相の平均値H_ave、および信頼度を注目候補領域情報として注目領域設定部3416に出力する。
【0053】
注目領域設定部3416は注目候補領域情報に含まれる信頼度から注目領域を設定する。例えば信頼度が5以上の注目候補領域群を注目領域とすることで、注目候補領域群1だけが注目領域として設定される。このような処理を行うことで、微小な面積の注目候補領域群をノイズとして排除することが可能となり、信頼度の高い注目領域を検出することができる。
【0054】
次に注目領域設定部3416は、検出された注目候補領域群(今後、注目領域群と呼ぶ)に属する各局所領域a(m,n)の座標から注目領域群の重心の座標(x,y)を算出し、注目領域群に属する各局所領域の座標a(m,n)および注目領域群の重心の座標(x,y)、色相の平均値H_ave、信頼度を注目領域情報として表示態様決定部342に出力する。また、注目領域設定部3416は、特殊光画像中に注目領域が検出されたか否かの制御信号を表示態様決定部342に出力する。
【0055】
なお、本実施例では注目候補領域群に属する注目候補領域の数から面積を算出し、信頼度としたが、注目候補領域群に属する注目候補領域の平均の色相や彩度、輝度を算出し、これを用いて信頼度を算出してもよい。さらに、注目候補領域群の面積と色相や彩度、輝度を組み合わせて信頼度を算出することも可能なことは言うまでもない。
【0056】
次に、表示態様決定部342の具体的な構成について説明する。図11は、本実施の形態における表示態様決定部342の構成の一例を説明するブロック図である。表示態様決定部342は、加工部3421と誘導情報生成部3422と記憶部3423を含む。
【0057】
通常光画像取得部320および特殊光画像取得部330から出力される画像信号は、加工部に入力される。加工部3421は、制御部350の制御に基づき、注目領域検出部341から出力される注目領域情報および誘導情報生成部3422から出力される消失方向情報を用いて、通常光画像を加工する。加工部3421はさらに、加工した通常光画像を出力部400に出力する。制御部350は、例えば注目領域が検出された場合と検出されない場合に加工部3421がどのような画像を出力部400に出力するかについて、ユーザーの指示に基づいて制御することができる。加工部3421と誘導情報生成部3422の詳細については後述する。
【0058】
記憶部3423は注目領域検出部341から出力された注目領域情報のうち、注目領域群を表すタグ情報、注目領域群の重心の座標(x,y)、特徴量の平均値、信頼度を記憶する。記憶された情報の一例を図12に示す。ここでは注目領域群として1から3の3つが記憶されているが、これは注目領域検出部341に入力された1フレームの特殊光画像から、3つの注目領域群が検出されたことを表している。
【0059】
本実施例では動画を想定しているため、注目領域検出部341に対して1フレームの特殊光画像が順次入力されることになる。この結果、注目領域検出部341からは各フレームに対して検出された注目領域情報が順次出力されることになる。この場合、記憶部3423は特殊光画像が取得されたタイミングと関連付けて、注目領域情報を記憶する。この時、記憶部3423は例えば以下の処理に必要な、任意の個数の注目領域情報を記憶するリングバッファとすればよい。なお、特殊光画像から注目領域が検出されなかった場合、記憶部3423は注目領域無しという情報を記憶する。
【0060】
ここで加工部3421及び誘導情報生成部3422の具体的な処理について説明する。
加工部3421は、注目領域検出部341で注目領域が検出された場合、注目領域検出部341から出力された注目領域情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。図13(A)は通常光画像取得部320から出力された通常光画像と、注目領域検出部341から出力された注目領域情報を示した一例である。ここでは、点線で示した注目領域群に含まれるすべての画素の位置情報が注目領域情報として加工部3421に入力される。
【0061】
加工部3421は例えば、通常光画像のうち注目領域情報として入力されたすべての画素に対して、以下の式(9)〜(11)を用いて色変換処理を行う。ここでr(x,y),g(x,y),b(x,y)は色変換前の通常光画像の座標(x,y)におけるR,G,Bチャンネルの信号値であり、r_out(x,y),g_out(x,y),b_out(x,y)は色変換後の通常光画像のR,G,Bチャンネルの信号値である。また、T_r,T_g,T_bは任意の目標色のR,G,B信号値であり、gainは0〜1の任意の係数である。
【0062】
r_out(x,y)= gain*r(x,y)+(1-gain)* T_r ・・・・・(9)
g_out(x,y)= gain*g(x,y)+(1-gain)* T_g ・・・・・(10)
b_out(x,y)= gain*b(x,y)+(1-gain)* T_b ・・・・・(11)
【0063】
このような処理を行うことで、図13(B)に示す特殊光画像を観察した時に病変部と疑われる注目領域群が、図13(C)に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【0064】
また、加工部3421は例えば通常光画像のうち注目領域群の境界を構成するすべての画素に対して、以下の式12〜14を用いて色変換処理を行ってもよい。
【0065】
r_out(x,y)= T_r ・・・・・(12)
g_out(x,y)= T_g ・・・・・(13)
b_out(x,y)= T_b ・・・・・(14)
このような処理を行うことで、図13(D)に示すように通常光画像に対して注目領域群が任意の目標色に囲まれた部分として重畳して表示することができる。
【0066】
図14(A)〜図14(C)は、本実施形態における内視鏡システムの挿入部をユーザーが動かした場合に、特殊光画像取得部330から注目領域検出部341に出力される特殊光画像を示した図である。
【0067】
タイミング1で取得された特殊光画像1では注目領域群が検出されているが、タイミング2、タイミング3と時間が経過するに従って挿入部が左方向に移動し、これに伴い注目領域群は画像に対して相対的に右方向に移動している。この結果、タイミング3で取得された特殊光画像3では、注目領域群が画像として取得される範囲から外れることで、注目領域群が検出されなくなってしまう。
【0068】
ユーザーが画像に注目していない状態で意図せずこのような挿入部の動作を行ってしまうと、病変と疑われる領域である注目領域群を見失うことで、再度注目領域群を探すという手間が発生する。さらに、ユーザーが画像に注目している場合も、速いスピードで挿入部を移動させた場合は注目領域群が短時間しか検出されないことで、注目領域群の見落としにもつながる。
【0069】
このような課題を解決するため、注目領域検出部341で注目領域群が検出されなかった場合、加工部3421は誘導情報生成部3422に対して消失方向の推定を行わせるように制御信号を出力する。誘導情報生成部3422は、加工部3421からの制御信号に応じて、記憶部3423に記憶されている注目領域情報から消失方向を推定する。ここでは説明を簡単にするため、特殊光画像1及び特殊光画像2で1つの注目領域群が検出されたと仮定して説明を行う。例えば、図14(C)に示す特殊光画像3で注目領域群が検出されなかった場合、誘導情報生成部はまず図14(A)に示すタイミング1で取得された特殊光画像1と図14(B)に示すタイミング2で取得された特殊光画像2から、注目領域群が検出されていたか否かの判定を行う。次に、特殊光画像1と特殊光画像2から注目領域群が検出されていた場合は、特殊光画像1から検出された注目領域群の重心の座標(x1_T1,y1_T1)と、特殊光画像2から検出された注目領域群の重心の座標(x1_T2,y1_T2)を用いて下式(15)で注目領域群の動きベクトルVを算出する。
【0070】
V=(Vx,Vy)=(x1_T2-x1_T1,y1_T2-y1_T1) ・・・・・(15)
次に誘導情報生成部3422は算出された動きベクトル(Vx,Vy)から、例えば下式(16)で注目領域群の消失方向を決定する。
【0071】
(Vy<0,Vx>0,|Vy|>|Vx|)の場合 消失方向 上
(Vy<0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|>|Vx|)の場合 消失方向 上 ・・・・・(16)
【0072】
その後、誘導情報生成部3422は決定した消失方向を、消失方向情報として加工部3421に出力する。本実施例の消失方向情報をV1とすると、V1は右という情報を持っている。加工部3421は受け取った消失方向情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。ここでは例えば図15に示すように消失方向情報V1を右向きの矢印として付加する。
【0073】
なお、特殊光画像1または特殊光画像2で注目領域が検出されていなかった場合、誘導情報生成部3422では消失方向情報が決定されない。この場合、加工部3421は通常光画像取得部320から出力された通常光画像をそのまま出力部400へ出力する。
【0074】
本実施形態では、消失方向情報は上下左右の4方向から1つを選択しているが、例えば斜め方向を加えた8方向から1つを選択してもよい。また、本実施形態では注目領域が検出されなかった特殊光画像に対して、直前の2つのタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定しているが、過去の任意のタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定してもよい。また、本実施形態では消失方向情報を矢印として付加しているが、消失方向情報として任意の記号や文字情報等を用いることが可能であることは言うまでもない。
【0075】
また、本実施の形態ではタイミング3の次のタイミングで取得された特殊光画像から注目領域が検出されなかった場合、誘導情報生成部3422は特殊光画像2と特殊光画像3から注目領域が検出されていたか否かの判定を行うことになる。ここで特殊光画像3からは注目領域が検出されていないため、誘導情報生成部3422では消失方向情報は決定されない。この場合、加工部3421は1つ前のタイミングで決定された消失方向情報V1を通常光画像に付加する。その後のタイミングで取得された特殊光画像から、注目領域が検出されなかった場合も同様である。
【0076】
このように、一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行うことで、注目領域を見失った場合も容易に注目領域を探すことができる。また、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。一度決定された消失方向情報を通常光画像に付加する期間については、例えばユーザーが外部I/F部500から指示してもよいし、予め任意の時間を設定してもよい。
【0077】
また、新たに取得された特殊光画像から注目領域が検出された場合は、消失方向情報の付加を停止するような制御を行ってもよい。
【0078】
以上の本実施形態の手法について、図16の状態遷移図を用いて再度説明する。図16では、特に、一度出力した誘導情報を一定時間継続して出力する例について詳細に説明する。複数タイミング(フレーム)にわたって誘導情報の出力を継続することで、ユーザーが誘導情報の出力に気がつきやすくなり、注目領域の再発見や、見落とし抑止の効果を向上させることが可能になる。
【0079】
図16に示したように、状態は大別して3つであり、S0、S1−1〜S1−K及びS2である。S0は注目領域群が検出され(非消失であり)、かつ誘導情報が非出力になっている状態であり、S1−1〜S1−Kは注目領域群が消失しており、かつ誘導情報が出力されている状態である。また、S2は注目領域群が消失しており、かつ誘導情報が非出力になっている状態である。
【0080】
ここでKは、一度決定された消失方向情報を通常光画像に付加し続ける時間を表すパラメータである。
【0081】
まず、注目領域群が消失している(消失し続けている)場合、S2にとどまり続ける。このとき、誘導情報は出力されない。注目領域群が検出されると、S0に遷移する。このときも誘導情報は出力されない。
【0082】
そして、注目領域群が検出され続けている間は、S0にとどまっている。S0において、注目領域群が消失した場合には、誘導情報を出力して、S1−1に遷移する。S1−1において注目領域群が消失している(消失し続けている)とS1−2へ、S1−2で注目領域群が消失しているとS1−3へ遷移して行く。この間、誘導情報は出力され続ける。
【0083】
S1−Kにおいて、注目領域群が消失していると、S2へ遷移し誘導情報を非出力にする。つまり、一度誘導情報が表示されると、Kフレームの間は、注目領域群が再度検出されない限り、誘導情報が出力され続けることになる。
【0084】
また、図16の例ではS1−1〜S1−Kにおいて注目領域群が検出されると、誘導情報を非出力にしてS0に遷移する。これは、注目領域群が検出された場合は誘導情報の付加を停止する制御に相当する。ただし処理はこれに限定されるものではなく、注目領域群が検出された際に、誘導情報を表示し続けてもよい。
【0085】
1.2 変形例1(動きベクトルの大きさに基づく付加期間制御)
次に本実施形態の変形例について説明する。以上の説明では、誘導情報として方向情報を用いていたが、これだけに限定されるものではない。動きベクトルは方向と大きさを持っているため、動きベクトルの大きさに基づいて誘導情報の出力態様を制御してもよい。動きベクトルの大きさは消失注目領域への距離に関する情報に相当するため、消失注目領域群が遠い距離にあるか、近い距離にあるかに応じて、処理を変更すること等が可能になる。
【0086】
例えば本実施形態では、注目領域群の動きベクトルに基づいて、消失情報を通常光画像に付加する期間を制御する。具体的には、誘導情報生成部3422は、注目領域群の動きベクトルV=(Vx,Vy)から下式(17)で動きベクトルの大きさV_normを算出する。そして、消失方向情報と合わせてV_normを加工部3421に出力する。さらに加工部3421はV_normに応じて消失方向情報を通常光画像に付加する期間を制御する。
【数1】
【0087】
V_normが大きい場合は挿入部の移動速度が速いと予測されるため、消失方向情報を通常光画像に付加する期間が長いと消失方向情報の精度が悪くなる。このため加工部3421は、例えばV_normが大きい場合、消失方向情報を通常光画像に付加する期間を短くし、V_normが小さい場合、消失方向情報を通常光画像に付加する期間を長くするような制御を行ってもよい。
【0088】
1.3 変形例2(複数の注目領域群が検出される例)
また以上では、説明を簡単にするため、特殊光画像1及び特殊光画像2で1つの注目領域群が検出されていた場合について説明したが、複数の注目領域群が検出されていた場合、誘導情報の出力態様が問題となる。複数の誘導情報を同時に出力する場合には、例えば、右の矢印と左の矢印が同時に表示されてしまうケース等が考えられ、ユーザーを混乱させてしまう。誘導情報の出力を1つに限定する場合には、どの注目領域群に関する誘導情報を出力するのか選択し、かつ、特殊光画像1と特殊光画像2で、注目領域群同士のマッチング処理を行う必要がある。そこで本実施形態では、誘導情報生成部3422は例えば以下のような処理を行ってもよい。
【0089】
まず始めに、特殊光画像2で検出された複数の注目領域群のうち、最も信頼度が高い注目領域群Nを選択する。次に、特殊光画像1で検出された複数の注目領域群から、注目領域群Nに対応する注目領域群Mを選択する。ここでは例えば特徴量の平均値や信頼度の値が注目領域群Nと最も近い注目領域群を、対応する注目領域群Mとして選択すればよい。
【0090】
その後、誘導情報生成部3422は選択された注目領域群NおよびMの重心の座標から、前述の手法と同様にして消失方向を決定し、消失方向情報を加工部3421に出力する。加工部3421は受け取った消失方向情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。
【0091】
具体例を図17に示す。図17は図12と同様に、記憶部3423に記憶される注目領域群に関するデータの構造例を示している。タイミング1(特殊光画像1に対応)においては1〜3の3つの注目領域群が検出され、タイミング2(特殊光画像2に対応)においては4,5の2つの注目領域群が検出されたとする。タイミング3においてNULLであった(注目領域群が検出されなかった)場合には、上述してきた通り、特殊光画像1及び特殊光画像2から消失方向を決定する。
【0092】
図17の例の場合、タイミング2において、信頼度が最も高いものを選択する。ここでb4>b5であったとすれば、注目領域群4が上述した注目領域群Nに相当する注目領域群として選択される。次にタイミング1における注目領域群1〜3の中から、特徴量の平均値H_aveもしくは信頼度b、或いはその両方を用いて、注目領域群4との類似度を算出する。
【0093】
ここでH_ave4とH_ave3、b4とb3の類似度が高かったとすれば、注目領域群4に対応する注目領域群Mとして、注目領域群3が選択される。以降の処理はすでに説明したものと同様であり、(x4,y4)と(x3,y3)とから動きベクトルVを求め、式(16)を用いて誘導情報を生成する。
【0094】
このような処理を行うことで、特殊光画像から複数の注目領域群が検出されていた場合も、最も信頼度が高い注目領域群の消失方向を表示することができる。さらに、消失方向の表示を1つに制限することで、ユーザーの混乱を抑止するができる。
【0095】
1.4 変形例3(注目領域群に関する上限数の設定)
また、注目領域群が多数同時に検出されるような場合には、同じような特徴量、信頼度をもつ注目領域群が複数存在することが考えられ、注目領域群同士のマッチング処理が適切に行われない可能性が生ずる。マッチング処理が適切に行われないと、誤った消失方向を決定してしまう可能性が高くなる。
【0096】
そこで、誘導情報生成部3422は注目領域群の上限数に関する情報を保持しておく。そして、特殊光画像から上限数以上の注目領域群が検出されている場合は消失方向の決定を停止する処理を行うこのような処理を行うことで、誤った消失方向の決定を抑止することができる。
【0097】
1.5 本実施形態のフローチャート
また、本実施の形態では、画像処理部300を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【0098】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図7の出力画像生成部340の処理をソフトウェアで実現する場合の処理手順を、図18のフローチャートを用いて説明する。
【0099】
この場合は、まず特殊光画像をメモリに読み込み(Step1)、次にこの特殊光画像と同時に取得された通常光画像をメモリに読み込む(Step2)。次に読み込んだ特殊光画像を用いて、注目領域を検出し、注目領域情報を出力する(Step3)。その後、表示態様を決定し表示画像を出力する(Step4)。ここでは読み込んだ通常光画像及び特殊光画像から画像を選択し、表示画像として出力してもよいし、Step3で出力された注目領域情報に基づいて、通常光画像もしくは特殊光画像を加工したうえで表示画像として出力してもよい
【0100】
その後、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する(Step5)。
【0101】
次に、図18の注目領域検出ステップ(Step3)での詳細な処理手順について、図19のフローチャートを用いて説明する。
【0102】
まず、局所領域設定ステップ(Step31)について説明する。局所領域検出ステップではまず特殊光画像に対して、前述の図9に示されるように複数の局所領域を設定する。
【0103】
次に、特徴量算出ステップ(Step32)について説明する。特徴量算出ステップでは設定したすべての局所領域に対して、特徴量を算出する。ここでは特徴量の一例として前述の式(3)〜(8)で示される色相Hを使用する。
【0104】
次に、注目候補領域設定ステップ(Step33)について説明する。注目候補領域設定ステップでは、まずすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Hが5〜35の範囲にある局所領域を注目候補領域とすればよい。次に、注目候補領域として検出された複数の局所領域a(m,n)の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。そして、検出した注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値H_aveを算出する。
【0105】
次に、信頼度算出ステップ(Step34)について説明する。信頼度算出ステップでは、注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは例えば、前述の用に各注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。
【0106】
次に、注目領域設定ステップ(Step35)について説明する。注目領域設定ステップでは前述のように、注目候補領域群の信頼度から注目領域を設定する。例えば信頼度が5以上の注目候補領域群を注目領域とする。
【0107】
次に、注目領域情報出力ステップ(Step36)について説明する。注目領域情報出力ステップでは、検出された注目候補領域群(今後、注目領域群と呼ぶ)に属する各局所領域a(m,n)の座標から注目領域群の重心の座標(x,y)を算出し、注目領域群に属する各局所領域の座標a(m,n)および注目領域群の重心の座標(x,y)、色相の平均値H_ave、信頼度を注目領域情報として出力する。また、注目領域情報出力ステップでは、特殊光画像中に注目領域が検出されたか否かのフラグ情報も出力する。
【0108】
次に、図18の表示態様決定ステップ(Step4)での処理手順について、図20のフローチャートを用いて説明する。
【0109】
まず通常光画像の加工ステップ(Step41)について説明する。通常光画像の加工ステップではまず、注目領域検出ステップで出力された注目領域情報を用いて、前述の式(9)〜(11)で示される方法で通常光通常光画像を加工する。
【0110】
次に、消失方向の推定ステップ(Step42)について説明する。消失方向の推定ステップでは、注目領域検出ステップで出力されたフラグ情報に基づいて、前述の式(15)、(16)で示される方法で消失方向を推定する。
【0111】
次に、消失方向情報の付加ステップ(Step43)について説明する。消失方向情報の付加ステップでは、消失方向の推定ステップで推定された消失方向情報を、通常光画像に付加する。ここでは例えば、前述のように一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行う
【0112】
このような処理を行うことで、図13(B)に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図13(C)に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【0113】
さらに、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。
【0114】
1.6 本実施形態の詳細な構成
以上の本実施形態では、画像処理装置は、図1に示すように特殊光画像を取得する特殊光画像取得部330を含む。また、図7に示すように注目すべき領域である注目領域を検出する注目領域検出部341を含む。さらに、図11に示すように消失有無判定部及び誘導情報生成部3422を含む。消失有無判定部は、表示対象範囲からの注目領域の消失の有無を判定し、誘導情報生成部は、消失した注目領域への誘導情報を生成する。また、図1に示すように誘導情報を含む情報の出力制御を行う出力制御部360を含む。
【0115】
ここで、注目領域とは、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザーが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また前述の式(3)〜(8)で説明したように、注目領域は第2の画像の画素の特徴量(本実施形態では色相であるが彩度等であってもよい)を用いて検出することができ、例えば式(6)〜(8)の特徴量に対する閾値は、注目領域の種類に応じて変化する。例えば第1の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第2の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理(表示態様の設定処理等)については、本実施形態で説明した処理と同様の処理で実現するこができる
【0116】
これにより、特殊光画像を取得し、取得した特殊光画像の画素の特徴量に基づいて注目領域を検出するとともに、検出した注目領域の消失判定に基づいて、消失した注目領域への誘導情報を生成、出力する画像処理装置を実現することができる。よって、例えば、図14(A)〜図14(C)及び図15に示すような出力を行うことができる画像処理装置が実現可能になる。例えば図14(A)、図14(B)において注目領域(ここでは注目領域群)を検出し、図14(C)において、注目領域が消失した。このときには、図14(A)、図14(B)から、注目領域は画面に対して右方向に移動していたものと判断し、図15のように、具体的には例えば右方向への矢印として誘導情報を表示する。これにより、例えば、何らかの理由によりドクターが注目領域を見過ごしてしまった場合や、高速で撮像部を移動させていたために注目領域が一瞬しか写らなかった場合などに、消失した注目領域への誘導情報を出力することができるため、注目領域の再発見が容易になり、診断や治療を円滑に行うことが可能になる。
【0117】
また、図11に示した誘導情報生成部3422は、表示対象範囲(表示部に表示される領域)に対応する生体内の場所から、消失注目領域に対応する生体内の場所への方向を示す方向情報及び距離に応じた距離情報を誘導情報として生成する。
【0118】
ここで、生体内の場所とは、観察対象の体内であり、具体的に例えば対象が人であれば人体の内部の場所を表す。下部消化器系の内視鏡装置においては、大腸等が生体内の場所として考えられる。本実施形態における「表示対象範囲」および「注目領域」はともに画像情報を表すものであり、画像情報間において、方向や距離といったものは考えづらい。従ってここでは、誘導情報である方向情報や距離情報は、生体内の場所の相対関係を表す情報であると定義している。
【0119】
これにより、誘導情報として具体的に方向情報や距離情報を用いることが可能になる。方向情報としては上述した図15のように、消失注目領域があると考えられる方向を表す矢印等を表示することが考えられる。また、距離情報については図14(A)と図14(B)とから求めることが可能である。例えば、画像上における注目領域の移動距離が大きければ、次のタイミングではより遠くに移動していると考えられる。このとき、等速運動等を仮定して、具体的に数値を提示してもよいし、閾値処理を行い例えば3段階(遠・中・近)等で表示してもかまわない。
【0120】
また、特殊光画像取得部330は、第1〜第3の特殊光画像を取得し、注目領域検出部341は、それぞれの特殊光画像において注目領域を検出し、消失有無判定部は、それぞれの特殊光画像における注目領域の検出結果に基づいて注目領域の消失判定を行う。そして、誘導情報生成部3422は、第3の特殊光画像において注目領域が消失し、かつ、第1、第2の特殊光画像において注目領域が消失していないと判定された場合には、第1の画像上位置と第2の画像上位置に基づいて誘導情報を生成する。
【0121】
ここで第1の画像上位置とは第1の特殊光画像における注目領域の画像上の位置であり、第2の画像上位置とは第2の特殊光画像における注目領域の画像上の位置である。なお、具体的には例えば、第1の画像上位置と第2の画像上位置の差分を用いてもよい。また、具体的には例えば、第1の画像上位置とは第1の特殊光画像における注目領域の重心位置であり、第2の画像上位置とは第2の特殊光画像における注目領域の重心位置であってもよい。
【0122】
これにより、ある特殊光画像において注目領域が消失し、注目領域が消失した特殊光画像とは別の2つの特殊光画像において、注目領域が消失していない場合には、画像上位置に基づいて、誘導情報を生成することができる。これは、図14(A)〜図14(C)を例に取ると考えやすい。ただし、ここでは、タイミングを特に考慮していないため、時系列的に並んでいる図14(A)〜図14(C)とは厳密には異なる話である。
【0123】
図14(C)において、注目領域が消失したため、図14(A)の注目領域の画像上位置と図14(B)の注目領域の画像上位置から誘導情報を生成する。ここで画像上位置とは、図14(A)及び図14(B)において、楕円の点線で表された領域内の任意の点であってもよいし、正方形の点線で表された領域内の任意の点であってもよい(注目領域の重心位置を含む)。また、点ではなく、領域を表すものであってもよい。
【0124】
また、誘導情報生成部3422は、第1の画像上位置と第2の画像上位置の差分にもとづいて、注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて誘導情報を生成する。
【0125】
これにより、画像上位置の差分に基づく処理として、動きベクトルによる処理を行うことが可能になる。動きベクトルは方向及び大きさ(距離)を表すため、方向情報・距離情報としての誘導情報を、よりわかりやすい形で取得することができる。
【0126】
また、図1に示す出力制御部360は、動きベクトルに基づいて、誘導情報を出力する時間を制御してもよい。具体的には、動きベクトルの大きさが大きい場合には誘導情報を出力する時間を短くし、動きベクトルの大きさが小さい場合には誘導情報を出力する時間を長くする。ここで、動きベクトルの大きさが大きいか小さいかの判断は、所与の閾値との比較により行う。
【0127】
これにより、動きベクトルの大きさを考慮して、誘導情報の出力時間を変更することが可能になる。具体的には、動きベクトルの大きさが大きいときには注目領域は画像上で高速に移動している(内視鏡装置の撮像部が高速で移動もしくは回転等している)状態であり、消失した注目領域はかなり遠くまで移動してしまっていると考えられる。そのような状態ではなかなか消失注目領域を再発見できず、誘導情報を長時間表示しても、ユーザーを混乱させてしまうため、誘導情報の出力時間は短く設定する。逆に、動きベクトルの大きさが小さい場合には、消失注目領域はすぐ近くにあり、再発見が容易であることから長時間誘導情報を出力しても支障がない。
【0128】
また、図12に示す誘導情報生成部3422は、動きベクトルの各座標成分に基づいて、動きベクトルを第1〜第Nの方向情報のいずれかに対応づけて、対応づけられた方向情報を誘導情報として出力する。
【0129】
これにより、方向情報として具体的にN種類の方向を用いることが可能になる。動きベクトルの座標成分に基づいて方向を考えたとき、そのままでは連続的に無限の方向が考えられてしまい、出力(例えば矢印の表示)に当たって非常に煩雑である。そこで、上述した式(16)のようにN=4に限定することで、上下左右の4方向のみを考慮すれば欲なり、処理を容易にできる。なお代表的なNとして4や8が考えられるが、これに限定されるものではない。
【0130】
また、特殊光画像取得部330は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部341は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、消失有無判定部により第m(mは3以上の整数)のタイミングで注目領域が消失し、かつ、第mのタイミングより過去のタイミングにおいて、少なくとも2つ以上の特殊光画像で注目領域が検出された場合には誘導情報を生成する。
【0131】
また、第mのタイミングより過去のタイミングにおいて、注目領域が検出された特殊光画像が1つ以下の場合には誘導情報の生成を行わない。
【0132】
これにより、誘導情報の生成が可能な場合には誘導情報の生成を行い、誘導情報の生成が不可能な場合には誘導情報の生成を適切にスキップすることが可能になる。具体的には再度図14(A)〜図14(C)を示して説明する。図14(C)に示すように、あるタイミング(ここではm=3)において、注目領域が消失した場合、mより過去のタイミング(ここではタイミング1及びタイミング2)において少なくとも2つ以上の特殊光画像で注目領域が検出されていれば、前述したように例えば差分や動きベクトル等から、第mのタイミングにおける注目領域の位置を推定することができる。そのため、誘導情報を生成しても問題はない。
【0133】
それに対し、例えば第1のタイミングにおいて、注目領域が非検出であった場合を考える。このとき第3のタイミングにおける注目領域の位置の推定に用いることができるのは第2のタイミングにおける注目領域の情報である。しかし注目領域が1つ以下では差分や動きベクトル等を算出することができず、方向や距離の推定は行えない。このような場合には、そもそも誘導情報の生成をスキップすることで、不要な誘導情報の出力を回避でき、処理負担の軽減を図ることができる。
【0134】
また、出力制御部360は、消失有無判定部による判定結果に基づいて、誘導情報の出力態様を制御する。具体的には例えば、第N(Nは3以上の整数)のタイミングにおいて誘導情報の出力が開始され、かつ、第N〜第N+K(Kは1以上の整数)のタイミングの間で、注目領域が消失し続けている場合には、第N〜第N+Kのタイミングにおいて誘導情報を出力し続ける。ここでの誘導情報は第Nのタイミングで生成されたものである。
【0135】
これにより、一度出力された誘導情報は、所与の期間(上述のケースではK回のタイミングが経過する間)出力が継続されることになる。このような処理を行わないと、出力された誘導情報が1タイミング、例えば毎秒30フレームだとすれば1/30秒という、非常に短い時間しか出力されないことになる。それでは、消失注目領域の再発見等の本実施形態によるメリットが得られなくなってしまうため、上述のように誘導情報の出力を継続する。
【0136】
これは図16の例でいうと、S1−1〜S1−Kの状態間の遷移に相当する。S0からS1−0への遷移が第Nのタイミングにおける注目領域の消失及び誘導情報の出力開始に相当し、それ以降は、注目領域が消失し続けている限り、S1−2、S1−3と遷移を続け、S1−Kへ遷移するまでの間、誘導情報の出力は継続される。
【0137】
また、出力制御部360は、第N+1〜第N+Kのタイミングにおいて、注目領域が検出された場合には、誘導情報の出力を停止してもよい。
【0138】
これにより、誘導情報を出力している場合(つまり直前のタイミングまで注目領域が消失していた場合)に注目領域が検出されると、誘導情報の出力を停止することが可能になる。よって、注目領域の消失後、同一の注目領域を再発見した場合等に、不要となった誘導情報の出力を停止することが可能になり、ユーザー(ドクター)の診断・治療を円滑にすることができる。
【0139】
なお、消失した注目領域とは別の注目領域が新たに検出されるケースも考えられる。そのため、本実施形態では、誘導情報の出力を停止することに限定されず、出力を継続してもよい。マッチング手法等により、検出された誘導情報が消失したものと同一であるか否かの判定が可能であれば、同一の場合は誘導情報の出力を停止し、同一でない場合は誘導情報の出力を継続してもよい。
【0140】
これは図16の例でいうと、S1−1〜S1−KからS0への遷移に相当する。誘導情報の出力継続期間内であっても、注目領域が検出された場合には、誘導情報の出力を停止する。
【0141】
また、出力制御部360は、第N+K+1のタイミングにおいては、注目領域の消失及び非消失に関わらず、第Nのタイミングで生成された誘導情報の出力を停止する。
【0142】
これにより、誘導情報の出力継続期間終了後は、第Nのタイミングで生成された誘導情報の出力を停止することができる。K回のタイミング(例えばKフレーム)の間に、消失注目領域は遠くへ移動してしまっていること等が考えられる。または、ユーザーには注目領域を追いかける意志がないとも考えられる。そのようなときに誘導情報の出力を継続しても、ユーザーにとって不利益となるため、誘導情報の出力は停止する。
【0143】
これは図16の例でいうと、S1−KからS0、あるいはS1−KからS2への遷移に相当する。注目領域の消失・非消失にかかわらず、誘導情報は出力されない。
【0144】
また、出力制御部360は、誘導情報の出力継続時間に対応する残存出力時間情報を設定する残存出力時間設定部を含み、残存出力時間設定部は、残存出力時間情報を設定するための情報として、Kを設定する。
【0145】
これにより、第Nのタイミングで生成された誘導情報の出力継続時間Kを任意に設定することが可能になる。ここで残存出力時間情報とは、例えばカウンタのようなものを想定すればよい。誘導情報の出力開始時に例えばKに設定され、1フレーム出力を継続するごとに1ずつデクリメントされる。そして所与の閾値以下になった場合には、誘導情報の出力を停止する。
【0146】
また、特殊光画像取得部330は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部341は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、出力制御部360は、連続したタイミングにおいて注目領域が消失し続けている場合には、連続したタイミングにおいては、過去に生成された誘導情報の提示を継続する。
【0147】
これにより、注目領域が消失し続けている場合には、連続したタイミングにおいて誘導情報の出力を継続することができる。これは、連続したタイミングを第N〜第N+Kのタイミングととらえれば、上述した制御と同様である。
【0148】
また、画像処理装置は、注目領域の注目度合いを示す注目度情報を算出する注目度算出部を含み、出力制御部360は、注目度情報に基づいて誘導情報の出力態様を制御する。具体的には、注目度情報に基づいて、より注目すべきであると判定された注目領域に関連する誘導情報を優先的に出力する。また注目度情報とは、例えば、特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含む。
【0149】
これにより、注目領域に対して注目度情報を設定し、より注目すべき注目領域に対応する誘導情報を優先的に出力することが可能になる。注目度算出部とは、注目度情報が信頼度である場合には図8に示した信頼度算出部3415に相当する。
【0150】
図17を用いて具体例を説明する。タイミング3において注目領域が消失したことで誘導情報の生成が開始される。その際、タイミング2における注目度情報(ここでは信頼度)が最も高い注目領域を抽出する(ここでは注目領域群4)。そして、信頼度や特徴量の平均値の類似度から抽出した注目領域に対応する、タイミング1における注目領域を選択する(ここでは注目領域群3)。そして、注目領域群3と注目領域群4から、例えば動きベクトル等を求めて、誘導情報を生成する。
【0151】
このようにすることで、複数の注目領域が同時に検出されたとしても、出力される誘導情報は1つに限定される。そのため、複数の誘導情報が同時に出力される(例えば右と左の矢印が同時に出る)ケースを回避することができる。
【0152】
また、出力制御部360は、出力する誘導情報の上限数を設定する上限数設定部を含んでもよい。そして出力制御部360は、生成された誘導情報と設定された上限数との比較結果に基づいて、誘導情報の出力態様を制御してもよい。具体的には例えば、生成された誘導情報の数が上限数を超えた場合には誘導情報の出力をスキップする。
【0153】
これにより、多数の誘導情報が同時に出力されるケースを回避することが可能になる。誘導情報が多数同時に生成される場合とは、例えば、観察領域が多数の注目領域(病変部)で覆われているケース等が考えられ、このような場合、1つ1つの注目領域に注目するメリットは特にない。そのため、過度な誘導情報の出力を抑止することでドクターの診断や治療をスムーズにする。
【0154】
また、図1に示すように、画像処理装置は、通常光画像を取得する通常光画像取得部320を含んでもよい。そして、出力制御部360は、誘導情報を通常光画像に対応づけて出力する。
【0155】
これにより、図15に示すような出力形態を取ることが可能になる。特殊光画像は病変部の視認性を高める一方、暗く、独特の色味をしているため、全体に見づらい画像になってしまう。そのため、出力の形態としては、視認性の高い通常光画像に誘導情報を対応づけて出力することが考えられる。
【0156】
また、図1に示すように、画像処理装置は、出力制御部360により制御された出力態様に従って誘導情報を含む情報を出力する出力部を含む。
【0157】
ここで、出力部の一例として表示部と記載したが、画像の表示に限定されるものではない。警告音や音声、LED等の発光等の方法により出力を行ってもよい。
【0158】
また、注目領域とは病変部を示す領域である。
【0159】
これにより、注目領域として病変部を検出することが可能になる。具体的には後述するようにNBI、AFI、IRI等の手法を用いることで、手法ごとに異なる病変の視認性を高め、注目領域として検出する。
【0160】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、390nm〜445nmまたは530nm〜550nmの波長帯域である。
【0161】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(R,G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0162】
また、本実施形態は、特殊光画像取得部330と、注目領域検出部341と、消失有無判定部と、誘導情報生成部3422と、出力制御部360としてコンピュータを機能させるプログラムに関係する。ここで、特殊光画像取得部330は特殊光画像を取得し、注目領域検出部341は、特殊光画像から注目領域を検出する。消失有無判定部は、注目領域の消失の有無を判定し、誘導情報生成部3422は、消失有無判定部の判定に基づいて誘導情報を生成する。そして、出力制御部360は、誘導情報を含む情報の出力制御を行う。
【0163】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してPC等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【0164】
2.第2の実施形態
本発明の第2の実施形態にかかる画像処理装置を含む内視鏡システムについて、図21を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400と、外部I/F部500を含む。
【0165】
光源部100は、白色光を発生する白色光源110と、光源からの出射光をライトガイドファイバ210に集光するための集光レンズ120と、白色光から所定の波長帯域の光を抽出する回転フィルタ130を含む。
【0166】
回転フィルタ130は、図22に示されるように、透過率特性の異なる2種類のフィルタF1,F2から構成されている。これらフィルタF1、F2は例えば図23に示されるように、それぞれ、フィルタF1が400〜650nm、フィルタF2が600〜650nmの波長帯域の光を透過させる透過率特性を有している。フィルタF1の光は白色光である。フィルタF2により抽出された600〜650nmの波長帯域の光は、Cy5のような蛍光薬剤を励起して、660〜750nmの波長帯域の蛍光を発生させる特性を有している。ここで、この蛍光薬剤は腫瘍等の病変部に特異的に集積する性質を持つとする。
【0167】
挿入部200は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部200は、光源部で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバ210により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー280と、分岐された蛍光に含まれる励起光を遮断するバリアフィルタ270と、分岐された反射光を検出する第1撮像素子250と、バリアフィルタ270を通過した蛍光を検出する第2撮像素子260を含む。
【0168】
バリアフィルタ270は図24に示すように、ダイクロイックミラー280により反射光から分岐された光のうち、蛍光に相当する波長帯域660〜750nmの光のみを通過させ、その他の光を遮断する透過率特性を有している。また、第1撮像素子250は例えば図2に示すようなR,G,Bの分光特性をベイヤ型のカラー撮像素子であり、第2撮像素子260は、例えば波長帯域660〜750nmにおいて比較的高い感度特性を有するモノクロ撮像素子である。
【0169】
画像処理部300はA/D変換部310と、通常光画像取得部320と、特殊光画像取得部330と、出力画像生成部340と、制御部350を含む。制御部350は通常光画像取得部320、特殊光画像取得部330、出力画像生成部340に双方向に接続されていて、これらを制御するようになっている。
【0170】
さらに、制御部350は前述の回転フィルタ130とも双方向に接続されており、回転フィルタ130は制御部350からの信号に応じてモータを回転駆動することにより、フィルタF1とF2を順次切り替えて、照明光を観察対象である体腔内組織に順次照射する。また、制御部350は、光路中に配置されているフィルタF1,F2の情報をトリガ信号として、通常光画像取得部320、特殊光画像取得部330、出力画像生成部340に出力するようになっている。
【0171】
外部I/F部500は、この内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。
【0172】
A/D変換部310は、第1撮像素子250及び第2撮像素子260から出力されるアナログ信号をデジタル信号に変換して出力する。
【0173】
通常光画像取得部320はA/D変換部310から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部330はA/D変換部310から出力されるデジタル信号から特殊光画像を取得する。
【0174】
通常光画像取得部320で取得された通常光画像と、特殊光画像取得部330で取得された特殊光画像は出力画像生成部340に出力される。出力画像生成部340はこれら2枚の画像から1枚の出力画像を生成して画像出力部に出力する。
【0175】
通常光画像取得部320は、前述の図5に示すように、通常光画像生成部321と通常光画像記憶部322を含む。通常光画像生成部321は制御部350から送られてくるトリガ信号により、フィルタF1が光路中に位置する期間を識別し、フィルタF1が光路中に位置する期間内に第1撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部322は、通常光画像生成部321から出力された通常光画像を記憶する。
【0176】
特殊光画像取得部330は、前述の図6に示すように、特殊光画像生成部331と特殊光画像記憶部332を含む。特殊光画像生成部331は制御部350から送られてくるトリガ信号により、フィルタF2が光路中に位置する期間を識別し、フィルタF2が光路中に位置する期間内に第2撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像はモノクロの蛍光画像となる。具体的には、薬剤蛍光が集積した病変部から発生する蛍光を取得した画像信号に対して、例えばゲイン調整や階調変換等の処理を行い、モノクロの特殊光画像を生成して出力する。特殊光画像記憶部332は、特殊光画像生成部331から出力された特殊光画像を記憶する。
【0177】
図25は光路中に位置するフィルタの種類と、通常光画像記憶部322及び特殊光画像記憶部332で記憶される画像を示した図である。まずタイミング1で光路中にフィルタF1が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部322には通常光画像がカラー画像として記憶され、特殊光画像記憶部332には画像が記憶されない。次にタイミング2で光路中にフィルタF2が挿入される。この時、照射される照明光は励起光であり、特殊光画像記憶部332には薬剤蛍光が集積した病変部から発生する蛍光がモノクロ画像として記憶され、通常光画像記憶部322には画像が記憶されない。通常光画像記憶部322と特殊光画像記憶部332はそれぞれ複数枚の画像を記憶できるようになっている。
【0178】
出力画像生成部340の構成については、第1の実施形態と同様である。なお、本実施の形態における特殊光画像は前述のようにモノクロの蛍光画像になるため、注目領域検出部341で使用する特徴量としては、例えば蛍光画像の輝度値を使用すればよい。
【0179】
本実施の形態においては、2種類の照明光を使用しているが、3種類以上の照明を使用しても問題は無く、例えば図26に示すような回転フィルタを使用してもよい。ここでフィルタF1は白色光、フィルタF2はCy5のような蛍光薬剤に対する第1励起光、フィルタF3はさらに異なる蛍光薬剤に対する第2励起光をそれぞれ透過するフィルタである。この場合、例えば第1励起光照明時に第2撮像素子で取得される蛍光画像と第2励起光照明時に第2撮像素子で取得される蛍光画像の2種類の蛍光画像から疑似カラー処理を行い、特殊光画像を生成することが出来る。この時、注目領域検出部341で使用する特徴量としては、例えば第1の実施形態及び第2の実施形態と同様に色相Hの値を使用してもよいし、それ以外の輝度・色情報を使用してもよい。なお、この場合にはバリアフィルタを、第1励起光と第2励起光遮断しつつそれぞれの励起光に対する蛍光を透過するような特性に変更する必要がある。
【0180】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、AFI(Auto Fluorescence Imaging)として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として390〜470nmの波長帯域の光を使用し、バリアフィルタを490〜625nmの波長帯域の光を透過するような特性に変更すればよい。さらにこれに加えて、血液中のヘモグロビンに吸収される540〜560nmの波長帯域の光を照明光として使用し、その反射光画像と前述の自家蛍光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【0181】
さらに、例えば従来、IRI(Infra Red Imaging)として知られている技術のように、ICGを静脈注射した上で2つの赤外光(790〜820nm及び905〜970nmの波長帯域の光)を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【0182】
また、本実施の形態では、画像処理部300を構成する各部をハードウェアで構成することとしたが、第1の実施形態と同様に、予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【0183】
以上の本実施形態では、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には490nm〜625nmの波長帯域である。
【0184】
これにより、AFIと呼ばれる蛍光観察が可能となる。励起光(390nm〜470nm)を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお490nm〜625nmという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域(540nm〜560nm)を同時に照射し、擬似カラー画像を生成してもよい。
【0185】
また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には790nm〜820nmまたは905nm〜970nmの波長帯域である。
【0186】
これにより、IRIと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるICG(インドシアニングリーン)を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお790nm〜820nmという数字は赤外指標薬剤の吸収がもっとも強いという特性から、905nm〜970nmという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0187】
以上、本発明を適用した2つの実施の形態1〜2およびその変形例について説明したが、本発明は、各実施の形態1〜2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【0188】
100 光源部、110 白色光源、120 集光レンズ、130 回転フィルタ、
200 挿入部、210 ライトガイドファイバ、220 照明レンズ、
230 対物レンズ、240 ハーフミラー、250 第1撮像素子、
260 第2撮像素子、270 バリアフィルタ、280 ダイクロイックミラー、
300 画像処理部、310 A/D変換部、320 通常光画像取得部、
321 通常光画像生成部、322 通常光画像記憶部、330 特殊光画像取得部、
331 特殊光画像生成部、332 特殊光画像記憶部、340 出力画像生成部、
341 注目領域検出部、342 表示態様決定部、350 制御部、
360 出力制御部、400 出力部、500 外部I/F部、
3411 局所領域設定部、3412 特徴量算出部、3414 注目候補領域設定部、
3415 信頼度算出部、3416 注目領域設定部、3421 加工部、
3422 誘導情報生成部、3423 記憶部
【技術分野】
【0001】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【0002】
従来、体腔内の組織に対して回転フィルタを用いてR1,G1,B1の3色の光を順次照射し、それらの反射光画像から作成した画像(通常光画像)を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の3色の光とは特性が異なる2種類の狭帯域光G2とB2を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている(例えば、特許文献1)。
【0003】
また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている(例えば特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−68113号公報
【特許文献2】特開2007−229053号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の特許文献1のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
【0006】
また、上述の特許文献2のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することでその発見が容易になる。
【0007】
しかしこれらの狭帯域光画像や蛍光画像(これらを合わせて特殊光画像と呼ぶ)は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に1つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【0008】
本発明の幾つかの態様によれば、特殊画像における注目領域の見逃しを抑止できる画像処理装置及びプログラム等を提供できる。
【0009】
また、本発明の幾つかの態様によれば、特殊光画像から注目領域を検出し、注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【0010】
本発明の一態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、を含む画像処理装置に関係する。
【0011】
本発明の一態様では、特殊光画像から注目領域を検出し、注目領域の消失の有無を判定する。そして、判定に基づいて誘導情報を生成し、生成した誘導情報を出力する。これにより、消失した注目領域の発見が、誘導情報がない場合に比べて容易になり、注目領域の見逃し等を抑止することが可能になる。
【0012】
また、本発明の他の態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【0013】
【図1】本実施形態のシステム構成例。
【図2】色フィルタR,G,Bの分光特性。
【図3】色フィルタg2,b2の分光特性。
【図4】色フィルタg2,b2の説明図。
【図5】通常光画像取得部の構成例。
【図6】特殊光画像取得部の構成例。
【図7】出力画像生成部の構成例。
【図8】注目領域検出部の構成例。
【図9】局所領域の分割手法の説明図。
【図10】注目領域群の設定の説明図。
【図11】表示態様決定部の構成例。
【図12】記憶部に記憶される注目領域に関する情報の例。
【図13】図13(A)は通常光画像の例、図13(B)は特殊光画像の例、図13(C)、図13(D)は通常光画像に加工を施した例。
【図14】図14(A)〜図14(C)は各タイミングにおける特殊光画像上での注目領域群の移動を説明する図。
【図15】誘導情報の出力の例。
【図16】本実施形態の処理を説明するための状態遷移図。
【図17】複数の注目領域群が検出された場合の処理の説明図。
【図18】本実施形態の処理を説明するためのフローチャート。
【図19】注目領域検出処理を説明するためのフローチャート。
【図20】表示態様決定処理を説明するためのフローチャート。
【図21】本実施形態の他のシステム構成例。
【図22】回転フィルタの例。
【図23】フィルタF1,F2と蛍光の分光特性。
【図24】バリアフィルタの分光特性。
【図25】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図26】回転フィルタの他の例。
【発明を実施するための形態】
【0014】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0015】
1.第1の実施形態
まず、本実施形態の手法について説明する。内視鏡を用いた観察においては、病変部を一度検出しても、病変部が表示対象範囲から外れることで、見失ってしまうことが考えられる。しかし、消失した病変部(注目領域)を再度発見することは容易ではない。特に、ドクターが他の作業に集中していた、或いは、注目領域の検出が非常に短い時間であった等、そもそもドクターが注目領域の検出に気づかなかったケース等では、消失した注目領域の発見は偶然によるものしか期待できないといってもよい。
【0016】
そこで、本出願人は以下のような手法を提案する。後述する図14(A)〜図14(C)に示すように、特殊光画像において検出される注目領域は、内視鏡装置の撮像部の移動に伴い画像上を移動する。そして、図14(C)に示すように、あるタイミングにおいて表示対象範囲から外れたとする。このような場合に、消失してしまった注目領域の再発見を容易にするために、図14(A)、図14(B)の情報を用いて、後述する図15に示すように、誘導情報(図15の例では矢印)を出力する。
【0017】
第1の実施形態においては、特殊光画像がNBI(Narrow Band Imaging)画像である場合について説明する。1.1において具体的な実施例について説明し、1.2〜1.4で変形例について説明する。また1.5において本実施形態の処理の一部をソフトウェアで実現する例を、フローチャートを用いて説明し、1.6において本実施形態の詳細な構成について説明する。
【0018】
また、第2の実施形態においては、特殊光画像が蛍光画像(例えばAFI、Auto Fluorescence Imaging等)やIRI画像である場合について説明する。
【0019】
1.1 本実施形態の手法
本発明の第1の実施形態に係る画像処理装置を含む内視鏡システムについて、図1を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400(表示部)と、外部I/F部500を含む。
【0020】
光源部100は、白色光を発生する白色光源110と白色光をライトガイドファイバ210に集光するための集光レンズ120を含む。
【0021】
挿入部200は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部200には、光源部で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230と、集光した反射光を2つに分離するハーフミラー240と、分離された反射光を検出するための第1撮像素子250と第2撮像素子260を含む。
【0022】
第1撮像素子250は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第1撮像素子250の色フィルタr,g,bは例えば図2に示すような分光特性を持っている。第2撮像素子260は狭帯域光画像を撮影するための撮像素子であり、例えば図4に示すように2種類の狭帯域光G2とB2をそれぞれ透過する2種類の色フィルタg2とb2を市松状に並べたような色フィルタを持つ撮像素子である。
【0023】
第2撮像素子260の色フィルタg2,b2は例えば図3に示すように、b2が390〜445nm、g2が530〜550nmの波長帯域の光を透過させる透過率特性を有している。
【0024】
画像処理部300はA/D変換部310と通常光画像取得部320と特殊光画像取得部330と出力画像生成部340と制御部350を含む。制御部350は通常光画像取得部320、特殊光画像取得部330、出力画像生成部340と双方向に接続されていて、これらを制御するようになっている。
【0025】
外部I/F部500は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部I/F部500は、入力された情報を、制御部350へ出力するようになっている。
【0026】
A/D変換部310は、第1撮像素子250もしくは第2撮像素子260から出力されるアナログ信号をデジタル信号に変換して出力する。
【0027】
通常光画像取得部320は、A/D変換部310から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部330はA/D変換部310から出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部320及び特殊光画像取得部330の詳細については後述する。
【0028】
通常光画像取得部320で取得された通常光画像と、特殊光画像取得部330で取得された特殊光画像は出力画像生成部340に出力される。出力画像生成部340はこれら2枚の画像から1枚の出力画像を生成して出力部400に出力する。出力画像生成部340の詳細については後述する。
【0029】
次に通常光画像取得部320について図5を用いて説明する。通常光画像取得部320は通常光画像生成部321と通常光画像記憶部322を含む。通常光画像生成部321はA/D変換部310で変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部322は通常光画像生成部321から出力された通常光画像を記憶する。
【0030】
次に特殊光画像取得部330について図6を用いて説明する。特殊光画像取得部330は特殊光画像生成部331と特殊光画像記憶部332を含む。特殊光画像生成部331はA/D変換部310で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。
【0031】
ここで、特殊光画像生成部331で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図4で示す2種類の色フィルタg2とb2を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でg2フィルタの信号値を持つG2画像と、全画素でb2フィルタの信号値を持つB2画像を生成する。補間処理で算出される画素値は例えば周辺4画素の平均値とすればよく、例えば図4のg2(1,1)の位置でのb2の画素値b2(1,1)、及びb2(1,2)位置でのg2の画素値g2(1,2)は下式(1)、(2)により算出する。
【0032】
b2(1,1) = [b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)] / 4 ・・・・・(1)
g2(1,2) = [g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)] / 4 ・・・・・(2)
【0033】
次に全画素に対して補間されたG2画像及びB2画像からR,G,Bの3チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のRチャンネルにG2画像を入力し、GチャンネルとBチャンネルにB2画像を入力することでカラー画像が生成される。
【0034】
特殊光画像生成部331は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部332は特殊光画像生成部331から出力された特殊光画像を記憶する。
【0035】
次に、出力画像生成部340の具体的な構成について説明する。図7は、第1の実施形態における出力画像生成部340の構成の一例を説明するブロック図である。出力画像生成部340は、注目領域検出部341と表示態様決定部342とを含む。
【0036】
ここで、通常光画像取得部320からの画像信号は、表示態様決定部342に出力される。また、特殊光画像取得部330からの画像信号は、注目領域検出部341と、表示態様決定部342に出力される。注目領域検出部341は、特殊光画像取得部330から出力された特殊光画像を用いて注目領域を検出し、注目領域情報を表示態様決定部342に出力する。注目領域検出部341の詳細については後述する。制御部350は、注目領域検出部341と、表示態様決定部342に双方向に接続されていて、これらを制御するようになっている。
【0037】
また、表示態様決定部342は、通常光画像取得部320から出力される通常光画像及び特殊光画像取得部330から出力される特殊光画像から画像を選択し、出力部400に画像を出力する。さらに表示態様決定部342は、注目領域検出部341から出力される注目領域情報に基づいて、通常光画像を加工したうえで出力部に画像を出力することもできる。表示態様決定部342の詳細については後述する。
【0038】
次に、注目領域検出部341の具体的な構成について説明する。図8は、本実施形態における注目領域検出部341の構成の一例を説明するブロック図である。
【0039】
注目領域検出部341は局所領域設定部3411と、特徴量算出部3412と、注目候補領域設定部3414と、信頼度算出部3415と、注目領域設定部3416を含む。制御部350は、局所領域設定部3411と、特徴量算出部3412と、注目候補領域設定部3414と、信頼度算出部3415と、注目領域設定部3416に双方向に接続されていて、これらを制御するようになっている。
【0040】
局所領域設定部3411は、特殊光画像取得部330から出力された特殊光画像に対して、複数の局所領域を設定する。ここでは例えば特殊光画像を矩形領域に分割し、分割した各領域を局所領域として設定する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、図9に示すように、16×16画素を1つの局所領域とする。ここで特殊光画像はM×N個の局所領域で構成されていることとし、各局所領域の座標を(m,n)で示すこととする。また、座標(m,n)の局所領域はa(m,n)として示すこととする。ここでは画像の左上に位置する局所領域の座標を(0,0)とし、右方向をmの正方向、下方向をnの正方向として表している。
【0041】
局所領域は必ずしも矩形である必要はなく、特殊光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザーの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を1つの局所領域としているが、1画素を1つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【0042】
特徴量算出部3412はすべての局所領域に対して病変らしさを表す特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施の形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Hを使用することで病変部を検出することができる。局所領域a(m,n)の色相をH(m,n)とする。
【0043】
H(m,n)を算出するため、まずそれぞれの局所領域に含まれるすべての画素を用いて、R,G,Bチャンネルそれぞれに対して平均の信号値を算出する。ここで、局所領域a(m,n)におけるR,G,Bチャンネルの平均の信号値をr,g,bと表記し、各信号値は8ビット(0〜255)であるとする。
【0044】
次にこの平均の信号値r,g,bから例えば以下の式(3)〜(8)を用いて各局所領域の色相H(m,n)を算出する。
【0045】
max = MAX(r,g,b) ・・・・・(3)
ここで、MAX関数は複数の引数の中で最大のものを出力する関数とする。
maxが0の場合、
H = 0 ・・・・・(4)
maxが0以外の場合、
d = MAX(r,g,b)- MIN(r,g,b) ・・・・・(5)
ここで、MIN関数は複数の引数の中で最小のものを出力する関数とする。
【0046】
さらに、
r,g,bのうちrが最大の場合、
H = 60 *(g-b)/ d ・・・・・(6)
r,g,bのうちgが最大の場合、
H = 60 * {2+(b-r)} / d ・・・・・(7)
r,g,bのうちbが最大の場合、
H = 60 * {4+(r-g)} / d ・・・・・(8)
なお、Hが<0になった場合には、Hに360を加える。また、H=360の場合、H=0とする。
【0047】
次に、注目候補領域設定部3414はすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Hが5〜35の範囲にある局所領域を注目候補領域とすればよい。
【0048】
次に注目候補領域設定部3414は、注目候補領域として検出された複数の局所領域a(m,n)の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。例えば、図10に示すように2つの注目候補領域群が存在する場合、注目候補領域設定部3414は、注目候補領域群1に属する注目候補領域に対してはタグの値を1とし、注目候補領域群2に属する注目候補領域に対してはタグの値を2とする。
【0049】
次に注目候補領域設定部3414は、注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値H_aveを算出する。
【0050】
さらに注目候補領域設定部3414は、注目候補領域群に属する各局所領域a(m,n)の座標、および特徴量の平均値を、注目候補領域情報として信頼度算出部3415に出力する。
【0051】
また、ここでは色相Hの替わりに公知の手法で局所領域の平均の輝度や彩度を算出し、これらの値を特徴量として注目候補領域を検出してもよい。さらにこれらの輝度、色相、彩度の情報を任意に組み合わせることで1つの特徴量を算出し、注目候補領域を検出することも可能であることは言うまでもない。
【0052】
信頼度算出部3415は注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは各注目候補領域に付けられたタグの情報から、注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。例えば図10の注目候補領域群1及び注目候補領域群2の信頼度d1及びd2は、1つの局所領域の面積を1とすると、d1=9となりd2=2となる。さらに信頼度算出部3415は、注目候補領域群に属する各局所領域の座標(m,n)、色相の平均値H_ave、および信頼度を注目候補領域情報として注目領域設定部3416に出力する。
【0053】
注目領域設定部3416は注目候補領域情報に含まれる信頼度から注目領域を設定する。例えば信頼度が5以上の注目候補領域群を注目領域とすることで、注目候補領域群1だけが注目領域として設定される。このような処理を行うことで、微小な面積の注目候補領域群をノイズとして排除することが可能となり、信頼度の高い注目領域を検出することができる。
【0054】
次に注目領域設定部3416は、検出された注目候補領域群(今後、注目領域群と呼ぶ)に属する各局所領域a(m,n)の座標から注目領域群の重心の座標(x,y)を算出し、注目領域群に属する各局所領域の座標a(m,n)および注目領域群の重心の座標(x,y)、色相の平均値H_ave、信頼度を注目領域情報として表示態様決定部342に出力する。また、注目領域設定部3416は、特殊光画像中に注目領域が検出されたか否かの制御信号を表示態様決定部342に出力する。
【0055】
なお、本実施例では注目候補領域群に属する注目候補領域の数から面積を算出し、信頼度としたが、注目候補領域群に属する注目候補領域の平均の色相や彩度、輝度を算出し、これを用いて信頼度を算出してもよい。さらに、注目候補領域群の面積と色相や彩度、輝度を組み合わせて信頼度を算出することも可能なことは言うまでもない。
【0056】
次に、表示態様決定部342の具体的な構成について説明する。図11は、本実施の形態における表示態様決定部342の構成の一例を説明するブロック図である。表示態様決定部342は、加工部3421と誘導情報生成部3422と記憶部3423を含む。
【0057】
通常光画像取得部320および特殊光画像取得部330から出力される画像信号は、加工部に入力される。加工部3421は、制御部350の制御に基づき、注目領域検出部341から出力される注目領域情報および誘導情報生成部3422から出力される消失方向情報を用いて、通常光画像を加工する。加工部3421はさらに、加工した通常光画像を出力部400に出力する。制御部350は、例えば注目領域が検出された場合と検出されない場合に加工部3421がどのような画像を出力部400に出力するかについて、ユーザーの指示に基づいて制御することができる。加工部3421と誘導情報生成部3422の詳細については後述する。
【0058】
記憶部3423は注目領域検出部341から出力された注目領域情報のうち、注目領域群を表すタグ情報、注目領域群の重心の座標(x,y)、特徴量の平均値、信頼度を記憶する。記憶された情報の一例を図12に示す。ここでは注目領域群として1から3の3つが記憶されているが、これは注目領域検出部341に入力された1フレームの特殊光画像から、3つの注目領域群が検出されたことを表している。
【0059】
本実施例では動画を想定しているため、注目領域検出部341に対して1フレームの特殊光画像が順次入力されることになる。この結果、注目領域検出部341からは各フレームに対して検出された注目領域情報が順次出力されることになる。この場合、記憶部3423は特殊光画像が取得されたタイミングと関連付けて、注目領域情報を記憶する。この時、記憶部3423は例えば以下の処理に必要な、任意の個数の注目領域情報を記憶するリングバッファとすればよい。なお、特殊光画像から注目領域が検出されなかった場合、記憶部3423は注目領域無しという情報を記憶する。
【0060】
ここで加工部3421及び誘導情報生成部3422の具体的な処理について説明する。
加工部3421は、注目領域検出部341で注目領域が検出された場合、注目領域検出部341から出力された注目領域情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。図13(A)は通常光画像取得部320から出力された通常光画像と、注目領域検出部341から出力された注目領域情報を示した一例である。ここでは、点線で示した注目領域群に含まれるすべての画素の位置情報が注目領域情報として加工部3421に入力される。
【0061】
加工部3421は例えば、通常光画像のうち注目領域情報として入力されたすべての画素に対して、以下の式(9)〜(11)を用いて色変換処理を行う。ここでr(x,y),g(x,y),b(x,y)は色変換前の通常光画像の座標(x,y)におけるR,G,Bチャンネルの信号値であり、r_out(x,y),g_out(x,y),b_out(x,y)は色変換後の通常光画像のR,G,Bチャンネルの信号値である。また、T_r,T_g,T_bは任意の目標色のR,G,B信号値であり、gainは0〜1の任意の係数である。
【0062】
r_out(x,y)= gain*r(x,y)+(1-gain)* T_r ・・・・・(9)
g_out(x,y)= gain*g(x,y)+(1-gain)* T_g ・・・・・(10)
b_out(x,y)= gain*b(x,y)+(1-gain)* T_b ・・・・・(11)
【0063】
このような処理を行うことで、図13(B)に示す特殊光画像を観察した時に病変部と疑われる注目領域群が、図13(C)に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【0064】
また、加工部3421は例えば通常光画像のうち注目領域群の境界を構成するすべての画素に対して、以下の式12〜14を用いて色変換処理を行ってもよい。
【0065】
r_out(x,y)= T_r ・・・・・(12)
g_out(x,y)= T_g ・・・・・(13)
b_out(x,y)= T_b ・・・・・(14)
このような処理を行うことで、図13(D)に示すように通常光画像に対して注目領域群が任意の目標色に囲まれた部分として重畳して表示することができる。
【0066】
図14(A)〜図14(C)は、本実施形態における内視鏡システムの挿入部をユーザーが動かした場合に、特殊光画像取得部330から注目領域検出部341に出力される特殊光画像を示した図である。
【0067】
タイミング1で取得された特殊光画像1では注目領域群が検出されているが、タイミング2、タイミング3と時間が経過するに従って挿入部が左方向に移動し、これに伴い注目領域群は画像に対して相対的に右方向に移動している。この結果、タイミング3で取得された特殊光画像3では、注目領域群が画像として取得される範囲から外れることで、注目領域群が検出されなくなってしまう。
【0068】
ユーザーが画像に注目していない状態で意図せずこのような挿入部の動作を行ってしまうと、病変と疑われる領域である注目領域群を見失うことで、再度注目領域群を探すという手間が発生する。さらに、ユーザーが画像に注目している場合も、速いスピードで挿入部を移動させた場合は注目領域群が短時間しか検出されないことで、注目領域群の見落としにもつながる。
【0069】
このような課題を解決するため、注目領域検出部341で注目領域群が検出されなかった場合、加工部3421は誘導情報生成部3422に対して消失方向の推定を行わせるように制御信号を出力する。誘導情報生成部3422は、加工部3421からの制御信号に応じて、記憶部3423に記憶されている注目領域情報から消失方向を推定する。ここでは説明を簡単にするため、特殊光画像1及び特殊光画像2で1つの注目領域群が検出されたと仮定して説明を行う。例えば、図14(C)に示す特殊光画像3で注目領域群が検出されなかった場合、誘導情報生成部はまず図14(A)に示すタイミング1で取得された特殊光画像1と図14(B)に示すタイミング2で取得された特殊光画像2から、注目領域群が検出されていたか否かの判定を行う。次に、特殊光画像1と特殊光画像2から注目領域群が検出されていた場合は、特殊光画像1から検出された注目領域群の重心の座標(x1_T1,y1_T1)と、特殊光画像2から検出された注目領域群の重心の座標(x1_T2,y1_T2)を用いて下式(15)で注目領域群の動きベクトルVを算出する。
【0070】
V=(Vx,Vy)=(x1_T2-x1_T1,y1_T2-y1_T1) ・・・・・(15)
次に誘導情報生成部3422は算出された動きベクトル(Vx,Vy)から、例えば下式(16)で注目領域群の消失方向を決定する。
【0071】
(Vy<0,Vx>0,|Vy|>|Vx|)の場合 消失方向 上
(Vy<0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|<|Vx|)の場合 消失方向 右
(Vy>0,Vx>0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|>|Vx|)の場合 消失方向 下
(Vy>0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|<|Vx|)の場合 消失方向 左
(Vy<0,Vx<0,|Vy|>|Vx|)の場合 消失方向 上 ・・・・・(16)
【0072】
その後、誘導情報生成部3422は決定した消失方向を、消失方向情報として加工部3421に出力する。本実施例の消失方向情報をV1とすると、V1は右という情報を持っている。加工部3421は受け取った消失方向情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。ここでは例えば図15に示すように消失方向情報V1を右向きの矢印として付加する。
【0073】
なお、特殊光画像1または特殊光画像2で注目領域が検出されていなかった場合、誘導情報生成部3422では消失方向情報が決定されない。この場合、加工部3421は通常光画像取得部320から出力された通常光画像をそのまま出力部400へ出力する。
【0074】
本実施形態では、消失方向情報は上下左右の4方向から1つを選択しているが、例えば斜め方向を加えた8方向から1つを選択してもよい。また、本実施形態では注目領域が検出されなかった特殊光画像に対して、直前の2つのタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定しているが、過去の任意のタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定してもよい。また、本実施形態では消失方向情報を矢印として付加しているが、消失方向情報として任意の記号や文字情報等を用いることが可能であることは言うまでもない。
【0075】
また、本実施の形態ではタイミング3の次のタイミングで取得された特殊光画像から注目領域が検出されなかった場合、誘導情報生成部3422は特殊光画像2と特殊光画像3から注目領域が検出されていたか否かの判定を行うことになる。ここで特殊光画像3からは注目領域が検出されていないため、誘導情報生成部3422では消失方向情報は決定されない。この場合、加工部3421は1つ前のタイミングで決定された消失方向情報V1を通常光画像に付加する。その後のタイミングで取得された特殊光画像から、注目領域が検出されなかった場合も同様である。
【0076】
このように、一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行うことで、注目領域を見失った場合も容易に注目領域を探すことができる。また、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。一度決定された消失方向情報を通常光画像に付加する期間については、例えばユーザーが外部I/F部500から指示してもよいし、予め任意の時間を設定してもよい。
【0077】
また、新たに取得された特殊光画像から注目領域が検出された場合は、消失方向情報の付加を停止するような制御を行ってもよい。
【0078】
以上の本実施形態の手法について、図16の状態遷移図を用いて再度説明する。図16では、特に、一度出力した誘導情報を一定時間継続して出力する例について詳細に説明する。複数タイミング(フレーム)にわたって誘導情報の出力を継続することで、ユーザーが誘導情報の出力に気がつきやすくなり、注目領域の再発見や、見落とし抑止の効果を向上させることが可能になる。
【0079】
図16に示したように、状態は大別して3つであり、S0、S1−1〜S1−K及びS2である。S0は注目領域群が検出され(非消失であり)、かつ誘導情報が非出力になっている状態であり、S1−1〜S1−Kは注目領域群が消失しており、かつ誘導情報が出力されている状態である。また、S2は注目領域群が消失しており、かつ誘導情報が非出力になっている状態である。
【0080】
ここでKは、一度決定された消失方向情報を通常光画像に付加し続ける時間を表すパラメータである。
【0081】
まず、注目領域群が消失している(消失し続けている)場合、S2にとどまり続ける。このとき、誘導情報は出力されない。注目領域群が検出されると、S0に遷移する。このときも誘導情報は出力されない。
【0082】
そして、注目領域群が検出され続けている間は、S0にとどまっている。S0において、注目領域群が消失した場合には、誘導情報を出力して、S1−1に遷移する。S1−1において注目領域群が消失している(消失し続けている)とS1−2へ、S1−2で注目領域群が消失しているとS1−3へ遷移して行く。この間、誘導情報は出力され続ける。
【0083】
S1−Kにおいて、注目領域群が消失していると、S2へ遷移し誘導情報を非出力にする。つまり、一度誘導情報が表示されると、Kフレームの間は、注目領域群が再度検出されない限り、誘導情報が出力され続けることになる。
【0084】
また、図16の例ではS1−1〜S1−Kにおいて注目領域群が検出されると、誘導情報を非出力にしてS0に遷移する。これは、注目領域群が検出された場合は誘導情報の付加を停止する制御に相当する。ただし処理はこれに限定されるものではなく、注目領域群が検出された際に、誘導情報を表示し続けてもよい。
【0085】
1.2 変形例1(動きベクトルの大きさに基づく付加期間制御)
次に本実施形態の変形例について説明する。以上の説明では、誘導情報として方向情報を用いていたが、これだけに限定されるものではない。動きベクトルは方向と大きさを持っているため、動きベクトルの大きさに基づいて誘導情報の出力態様を制御してもよい。動きベクトルの大きさは消失注目領域への距離に関する情報に相当するため、消失注目領域群が遠い距離にあるか、近い距離にあるかに応じて、処理を変更すること等が可能になる。
【0086】
例えば本実施形態では、注目領域群の動きベクトルに基づいて、消失情報を通常光画像に付加する期間を制御する。具体的には、誘導情報生成部3422は、注目領域群の動きベクトルV=(Vx,Vy)から下式(17)で動きベクトルの大きさV_normを算出する。そして、消失方向情報と合わせてV_normを加工部3421に出力する。さらに加工部3421はV_normに応じて消失方向情報を通常光画像に付加する期間を制御する。
【数1】
【0087】
V_normが大きい場合は挿入部の移動速度が速いと予測されるため、消失方向情報を通常光画像に付加する期間が長いと消失方向情報の精度が悪くなる。このため加工部3421は、例えばV_normが大きい場合、消失方向情報を通常光画像に付加する期間を短くし、V_normが小さい場合、消失方向情報を通常光画像に付加する期間を長くするような制御を行ってもよい。
【0088】
1.3 変形例2(複数の注目領域群が検出される例)
また以上では、説明を簡単にするため、特殊光画像1及び特殊光画像2で1つの注目領域群が検出されていた場合について説明したが、複数の注目領域群が検出されていた場合、誘導情報の出力態様が問題となる。複数の誘導情報を同時に出力する場合には、例えば、右の矢印と左の矢印が同時に表示されてしまうケース等が考えられ、ユーザーを混乱させてしまう。誘導情報の出力を1つに限定する場合には、どの注目領域群に関する誘導情報を出力するのか選択し、かつ、特殊光画像1と特殊光画像2で、注目領域群同士のマッチング処理を行う必要がある。そこで本実施形態では、誘導情報生成部3422は例えば以下のような処理を行ってもよい。
【0089】
まず始めに、特殊光画像2で検出された複数の注目領域群のうち、最も信頼度が高い注目領域群Nを選択する。次に、特殊光画像1で検出された複数の注目領域群から、注目領域群Nに対応する注目領域群Mを選択する。ここでは例えば特徴量の平均値や信頼度の値が注目領域群Nと最も近い注目領域群を、対応する注目領域群Mとして選択すればよい。
【0090】
その後、誘導情報生成部3422は選択された注目領域群NおよびMの重心の座標から、前述の手法と同様にして消失方向を決定し、消失方向情報を加工部3421に出力する。加工部3421は受け取った消失方向情報を用いて、通常光画像取得部320から出力された通常光画像を加工する。
【0091】
具体例を図17に示す。図17は図12と同様に、記憶部3423に記憶される注目領域群に関するデータの構造例を示している。タイミング1(特殊光画像1に対応)においては1〜3の3つの注目領域群が検出され、タイミング2(特殊光画像2に対応)においては4,5の2つの注目領域群が検出されたとする。タイミング3においてNULLであった(注目領域群が検出されなかった)場合には、上述してきた通り、特殊光画像1及び特殊光画像2から消失方向を決定する。
【0092】
図17の例の場合、タイミング2において、信頼度が最も高いものを選択する。ここでb4>b5であったとすれば、注目領域群4が上述した注目領域群Nに相当する注目領域群として選択される。次にタイミング1における注目領域群1〜3の中から、特徴量の平均値H_aveもしくは信頼度b、或いはその両方を用いて、注目領域群4との類似度を算出する。
【0093】
ここでH_ave4とH_ave3、b4とb3の類似度が高かったとすれば、注目領域群4に対応する注目領域群Mとして、注目領域群3が選択される。以降の処理はすでに説明したものと同様であり、(x4,y4)と(x3,y3)とから動きベクトルVを求め、式(16)を用いて誘導情報を生成する。
【0094】
このような処理を行うことで、特殊光画像から複数の注目領域群が検出されていた場合も、最も信頼度が高い注目領域群の消失方向を表示することができる。さらに、消失方向の表示を1つに制限することで、ユーザーの混乱を抑止するができる。
【0095】
1.4 変形例3(注目領域群に関する上限数の設定)
また、注目領域群が多数同時に検出されるような場合には、同じような特徴量、信頼度をもつ注目領域群が複数存在することが考えられ、注目領域群同士のマッチング処理が適切に行われない可能性が生ずる。マッチング処理が適切に行われないと、誤った消失方向を決定してしまう可能性が高くなる。
【0096】
そこで、誘導情報生成部3422は注目領域群の上限数に関する情報を保持しておく。そして、特殊光画像から上限数以上の注目領域群が検出されている場合は消失方向の決定を停止する処理を行うこのような処理を行うことで、誤った消失方向の決定を抑止することができる。
【0097】
1.5 本実施形態のフローチャート
また、本実施の形態では、画像処理部300を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【0098】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図7の出力画像生成部340の処理をソフトウェアで実現する場合の処理手順を、図18のフローチャートを用いて説明する。
【0099】
この場合は、まず特殊光画像をメモリに読み込み(Step1)、次にこの特殊光画像と同時に取得された通常光画像をメモリに読み込む(Step2)。次に読み込んだ特殊光画像を用いて、注目領域を検出し、注目領域情報を出力する(Step3)。その後、表示態様を決定し表示画像を出力する(Step4)。ここでは読み込んだ通常光画像及び特殊光画像から画像を選択し、表示画像として出力してもよいし、Step3で出力された注目領域情報に基づいて、通常光画像もしくは特殊光画像を加工したうえで表示画像として出力してもよい
【0100】
その後、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する(Step5)。
【0101】
次に、図18の注目領域検出ステップ(Step3)での詳細な処理手順について、図19のフローチャートを用いて説明する。
【0102】
まず、局所領域設定ステップ(Step31)について説明する。局所領域検出ステップではまず特殊光画像に対して、前述の図9に示されるように複数の局所領域を設定する。
【0103】
次に、特徴量算出ステップ(Step32)について説明する。特徴量算出ステップでは設定したすべての局所領域に対して、特徴量を算出する。ここでは特徴量の一例として前述の式(3)〜(8)で示される色相Hを使用する。
【0104】
次に、注目候補領域設定ステップ(Step33)について説明する。注目候補領域設定ステップでは、まずすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Hが5〜35の範囲にある局所領域を注目候補領域とすればよい。次に、注目候補領域として検出された複数の局所領域a(m,n)の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。そして、検出した注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値H_aveを算出する。
【0105】
次に、信頼度算出ステップ(Step34)について説明する。信頼度算出ステップでは、注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは例えば、前述の用に各注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。
【0106】
次に、注目領域設定ステップ(Step35)について説明する。注目領域設定ステップでは前述のように、注目候補領域群の信頼度から注目領域を設定する。例えば信頼度が5以上の注目候補領域群を注目領域とする。
【0107】
次に、注目領域情報出力ステップ(Step36)について説明する。注目領域情報出力ステップでは、検出された注目候補領域群(今後、注目領域群と呼ぶ)に属する各局所領域a(m,n)の座標から注目領域群の重心の座標(x,y)を算出し、注目領域群に属する各局所領域の座標a(m,n)および注目領域群の重心の座標(x,y)、色相の平均値H_ave、信頼度を注目領域情報として出力する。また、注目領域情報出力ステップでは、特殊光画像中に注目領域が検出されたか否かのフラグ情報も出力する。
【0108】
次に、図18の表示態様決定ステップ(Step4)での処理手順について、図20のフローチャートを用いて説明する。
【0109】
まず通常光画像の加工ステップ(Step41)について説明する。通常光画像の加工ステップではまず、注目領域検出ステップで出力された注目領域情報を用いて、前述の式(9)〜(11)で示される方法で通常光通常光画像を加工する。
【0110】
次に、消失方向の推定ステップ(Step42)について説明する。消失方向の推定ステップでは、注目領域検出ステップで出力されたフラグ情報に基づいて、前述の式(15)、(16)で示される方法で消失方向を推定する。
【0111】
次に、消失方向情報の付加ステップ(Step43)について説明する。消失方向情報の付加ステップでは、消失方向の推定ステップで推定された消失方向情報を、通常光画像に付加する。ここでは例えば、前述のように一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行う
【0112】
このような処理を行うことで、図13(B)に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図13(C)に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【0113】
さらに、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。
【0114】
1.6 本実施形態の詳細な構成
以上の本実施形態では、画像処理装置は、図1に示すように特殊光画像を取得する特殊光画像取得部330を含む。また、図7に示すように注目すべき領域である注目領域を検出する注目領域検出部341を含む。さらに、図11に示すように消失有無判定部及び誘導情報生成部3422を含む。消失有無判定部は、表示対象範囲からの注目領域の消失の有無を判定し、誘導情報生成部は、消失した注目領域への誘導情報を生成する。また、図1に示すように誘導情報を含む情報の出力制御を行う出力制御部360を含む。
【0115】
ここで、注目領域とは、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザーが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また前述の式(3)〜(8)で説明したように、注目領域は第2の画像の画素の特徴量(本実施形態では色相であるが彩度等であってもよい)を用いて検出することができ、例えば式(6)〜(8)の特徴量に対する閾値は、注目領域の種類に応じて変化する。例えば第1の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第2の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理(表示態様の設定処理等)については、本実施形態で説明した処理と同様の処理で実現するこができる
【0116】
これにより、特殊光画像を取得し、取得した特殊光画像の画素の特徴量に基づいて注目領域を検出するとともに、検出した注目領域の消失判定に基づいて、消失した注目領域への誘導情報を生成、出力する画像処理装置を実現することができる。よって、例えば、図14(A)〜図14(C)及び図15に示すような出力を行うことができる画像処理装置が実現可能になる。例えば図14(A)、図14(B)において注目領域(ここでは注目領域群)を検出し、図14(C)において、注目領域が消失した。このときには、図14(A)、図14(B)から、注目領域は画面に対して右方向に移動していたものと判断し、図15のように、具体的には例えば右方向への矢印として誘導情報を表示する。これにより、例えば、何らかの理由によりドクターが注目領域を見過ごしてしまった場合や、高速で撮像部を移動させていたために注目領域が一瞬しか写らなかった場合などに、消失した注目領域への誘導情報を出力することができるため、注目領域の再発見が容易になり、診断や治療を円滑に行うことが可能になる。
【0117】
また、図11に示した誘導情報生成部3422は、表示対象範囲(表示部に表示される領域)に対応する生体内の場所から、消失注目領域に対応する生体内の場所への方向を示す方向情報及び距離に応じた距離情報を誘導情報として生成する。
【0118】
ここで、生体内の場所とは、観察対象の体内であり、具体的に例えば対象が人であれば人体の内部の場所を表す。下部消化器系の内視鏡装置においては、大腸等が生体内の場所として考えられる。本実施形態における「表示対象範囲」および「注目領域」はともに画像情報を表すものであり、画像情報間において、方向や距離といったものは考えづらい。従ってここでは、誘導情報である方向情報や距離情報は、生体内の場所の相対関係を表す情報であると定義している。
【0119】
これにより、誘導情報として具体的に方向情報や距離情報を用いることが可能になる。方向情報としては上述した図15のように、消失注目領域があると考えられる方向を表す矢印等を表示することが考えられる。また、距離情報については図14(A)と図14(B)とから求めることが可能である。例えば、画像上における注目領域の移動距離が大きければ、次のタイミングではより遠くに移動していると考えられる。このとき、等速運動等を仮定して、具体的に数値を提示してもよいし、閾値処理を行い例えば3段階(遠・中・近)等で表示してもかまわない。
【0120】
また、特殊光画像取得部330は、第1〜第3の特殊光画像を取得し、注目領域検出部341は、それぞれの特殊光画像において注目領域を検出し、消失有無判定部は、それぞれの特殊光画像における注目領域の検出結果に基づいて注目領域の消失判定を行う。そして、誘導情報生成部3422は、第3の特殊光画像において注目領域が消失し、かつ、第1、第2の特殊光画像において注目領域が消失していないと判定された場合には、第1の画像上位置と第2の画像上位置に基づいて誘導情報を生成する。
【0121】
ここで第1の画像上位置とは第1の特殊光画像における注目領域の画像上の位置であり、第2の画像上位置とは第2の特殊光画像における注目領域の画像上の位置である。なお、具体的には例えば、第1の画像上位置と第2の画像上位置の差分を用いてもよい。また、具体的には例えば、第1の画像上位置とは第1の特殊光画像における注目領域の重心位置であり、第2の画像上位置とは第2の特殊光画像における注目領域の重心位置であってもよい。
【0122】
これにより、ある特殊光画像において注目領域が消失し、注目領域が消失した特殊光画像とは別の2つの特殊光画像において、注目領域が消失していない場合には、画像上位置に基づいて、誘導情報を生成することができる。これは、図14(A)〜図14(C)を例に取ると考えやすい。ただし、ここでは、タイミングを特に考慮していないため、時系列的に並んでいる図14(A)〜図14(C)とは厳密には異なる話である。
【0123】
図14(C)において、注目領域が消失したため、図14(A)の注目領域の画像上位置と図14(B)の注目領域の画像上位置から誘導情報を生成する。ここで画像上位置とは、図14(A)及び図14(B)において、楕円の点線で表された領域内の任意の点であってもよいし、正方形の点線で表された領域内の任意の点であってもよい(注目領域の重心位置を含む)。また、点ではなく、領域を表すものであってもよい。
【0124】
また、誘導情報生成部3422は、第1の画像上位置と第2の画像上位置の差分にもとづいて、注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて誘導情報を生成する。
【0125】
これにより、画像上位置の差分に基づく処理として、動きベクトルによる処理を行うことが可能になる。動きベクトルは方向及び大きさ(距離)を表すため、方向情報・距離情報としての誘導情報を、よりわかりやすい形で取得することができる。
【0126】
また、図1に示す出力制御部360は、動きベクトルに基づいて、誘導情報を出力する時間を制御してもよい。具体的には、動きベクトルの大きさが大きい場合には誘導情報を出力する時間を短くし、動きベクトルの大きさが小さい場合には誘導情報を出力する時間を長くする。ここで、動きベクトルの大きさが大きいか小さいかの判断は、所与の閾値との比較により行う。
【0127】
これにより、動きベクトルの大きさを考慮して、誘導情報の出力時間を変更することが可能になる。具体的には、動きベクトルの大きさが大きいときには注目領域は画像上で高速に移動している(内視鏡装置の撮像部が高速で移動もしくは回転等している)状態であり、消失した注目領域はかなり遠くまで移動してしまっていると考えられる。そのような状態ではなかなか消失注目領域を再発見できず、誘導情報を長時間表示しても、ユーザーを混乱させてしまうため、誘導情報の出力時間は短く設定する。逆に、動きベクトルの大きさが小さい場合には、消失注目領域はすぐ近くにあり、再発見が容易であることから長時間誘導情報を出力しても支障がない。
【0128】
また、図12に示す誘導情報生成部3422は、動きベクトルの各座標成分に基づいて、動きベクトルを第1〜第Nの方向情報のいずれかに対応づけて、対応づけられた方向情報を誘導情報として出力する。
【0129】
これにより、方向情報として具体的にN種類の方向を用いることが可能になる。動きベクトルの座標成分に基づいて方向を考えたとき、そのままでは連続的に無限の方向が考えられてしまい、出力(例えば矢印の表示)に当たって非常に煩雑である。そこで、上述した式(16)のようにN=4に限定することで、上下左右の4方向のみを考慮すれば欲なり、処理を容易にできる。なお代表的なNとして4や8が考えられるが、これに限定されるものではない。
【0130】
また、特殊光画像取得部330は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部341は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、消失有無判定部により第m(mは3以上の整数)のタイミングで注目領域が消失し、かつ、第mのタイミングより過去のタイミングにおいて、少なくとも2つ以上の特殊光画像で注目領域が検出された場合には誘導情報を生成する。
【0131】
また、第mのタイミングより過去のタイミングにおいて、注目領域が検出された特殊光画像が1つ以下の場合には誘導情報の生成を行わない。
【0132】
これにより、誘導情報の生成が可能な場合には誘導情報の生成を行い、誘導情報の生成が不可能な場合には誘導情報の生成を適切にスキップすることが可能になる。具体的には再度図14(A)〜図14(C)を示して説明する。図14(C)に示すように、あるタイミング(ここではm=3)において、注目領域が消失した場合、mより過去のタイミング(ここではタイミング1及びタイミング2)において少なくとも2つ以上の特殊光画像で注目領域が検出されていれば、前述したように例えば差分や動きベクトル等から、第mのタイミングにおける注目領域の位置を推定することができる。そのため、誘導情報を生成しても問題はない。
【0133】
それに対し、例えば第1のタイミングにおいて、注目領域が非検出であった場合を考える。このとき第3のタイミングにおける注目領域の位置の推定に用いることができるのは第2のタイミングにおける注目領域の情報である。しかし注目領域が1つ以下では差分や動きベクトル等を算出することができず、方向や距離の推定は行えない。このような場合には、そもそも誘導情報の生成をスキップすることで、不要な誘導情報の出力を回避でき、処理負担の軽減を図ることができる。
【0134】
また、出力制御部360は、消失有無判定部による判定結果に基づいて、誘導情報の出力態様を制御する。具体的には例えば、第N(Nは3以上の整数)のタイミングにおいて誘導情報の出力が開始され、かつ、第N〜第N+K(Kは1以上の整数)のタイミングの間で、注目領域が消失し続けている場合には、第N〜第N+Kのタイミングにおいて誘導情報を出力し続ける。ここでの誘導情報は第Nのタイミングで生成されたものである。
【0135】
これにより、一度出力された誘導情報は、所与の期間(上述のケースではK回のタイミングが経過する間)出力が継続されることになる。このような処理を行わないと、出力された誘導情報が1タイミング、例えば毎秒30フレームだとすれば1/30秒という、非常に短い時間しか出力されないことになる。それでは、消失注目領域の再発見等の本実施形態によるメリットが得られなくなってしまうため、上述のように誘導情報の出力を継続する。
【0136】
これは図16の例でいうと、S1−1〜S1−Kの状態間の遷移に相当する。S0からS1−0への遷移が第Nのタイミングにおける注目領域の消失及び誘導情報の出力開始に相当し、それ以降は、注目領域が消失し続けている限り、S1−2、S1−3と遷移を続け、S1−Kへ遷移するまでの間、誘導情報の出力は継続される。
【0137】
また、出力制御部360は、第N+1〜第N+Kのタイミングにおいて、注目領域が検出された場合には、誘導情報の出力を停止してもよい。
【0138】
これにより、誘導情報を出力している場合(つまり直前のタイミングまで注目領域が消失していた場合)に注目領域が検出されると、誘導情報の出力を停止することが可能になる。よって、注目領域の消失後、同一の注目領域を再発見した場合等に、不要となった誘導情報の出力を停止することが可能になり、ユーザー(ドクター)の診断・治療を円滑にすることができる。
【0139】
なお、消失した注目領域とは別の注目領域が新たに検出されるケースも考えられる。そのため、本実施形態では、誘導情報の出力を停止することに限定されず、出力を継続してもよい。マッチング手法等により、検出された誘導情報が消失したものと同一であるか否かの判定が可能であれば、同一の場合は誘導情報の出力を停止し、同一でない場合は誘導情報の出力を継続してもよい。
【0140】
これは図16の例でいうと、S1−1〜S1−KからS0への遷移に相当する。誘導情報の出力継続期間内であっても、注目領域が検出された場合には、誘導情報の出力を停止する。
【0141】
また、出力制御部360は、第N+K+1のタイミングにおいては、注目領域の消失及び非消失に関わらず、第Nのタイミングで生成された誘導情報の出力を停止する。
【0142】
これにより、誘導情報の出力継続期間終了後は、第Nのタイミングで生成された誘導情報の出力を停止することができる。K回のタイミング(例えばKフレーム)の間に、消失注目領域は遠くへ移動してしまっていること等が考えられる。または、ユーザーには注目領域を追いかける意志がないとも考えられる。そのようなときに誘導情報の出力を継続しても、ユーザーにとって不利益となるため、誘導情報の出力は停止する。
【0143】
これは図16の例でいうと、S1−KからS0、あるいはS1−KからS2への遷移に相当する。注目領域の消失・非消失にかかわらず、誘導情報は出力されない。
【0144】
また、出力制御部360は、誘導情報の出力継続時間に対応する残存出力時間情報を設定する残存出力時間設定部を含み、残存出力時間設定部は、残存出力時間情報を設定するための情報として、Kを設定する。
【0145】
これにより、第Nのタイミングで生成された誘導情報の出力継続時間Kを任意に設定することが可能になる。ここで残存出力時間情報とは、例えばカウンタのようなものを想定すればよい。誘導情報の出力開始時に例えばKに設定され、1フレーム出力を継続するごとに1ずつデクリメントされる。そして所与の閾値以下になった場合には、誘導情報の出力を停止する。
【0146】
また、特殊光画像取得部330は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部341は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、出力制御部360は、連続したタイミングにおいて注目領域が消失し続けている場合には、連続したタイミングにおいては、過去に生成された誘導情報の提示を継続する。
【0147】
これにより、注目領域が消失し続けている場合には、連続したタイミングにおいて誘導情報の出力を継続することができる。これは、連続したタイミングを第N〜第N+Kのタイミングととらえれば、上述した制御と同様である。
【0148】
また、画像処理装置は、注目領域の注目度合いを示す注目度情報を算出する注目度算出部を含み、出力制御部360は、注目度情報に基づいて誘導情報の出力態様を制御する。具体的には、注目度情報に基づいて、より注目すべきであると判定された注目領域に関連する誘導情報を優先的に出力する。また注目度情報とは、例えば、特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含む。
【0149】
これにより、注目領域に対して注目度情報を設定し、より注目すべき注目領域に対応する誘導情報を優先的に出力することが可能になる。注目度算出部とは、注目度情報が信頼度である場合には図8に示した信頼度算出部3415に相当する。
【0150】
図17を用いて具体例を説明する。タイミング3において注目領域が消失したことで誘導情報の生成が開始される。その際、タイミング2における注目度情報(ここでは信頼度)が最も高い注目領域を抽出する(ここでは注目領域群4)。そして、信頼度や特徴量の平均値の類似度から抽出した注目領域に対応する、タイミング1における注目領域を選択する(ここでは注目領域群3)。そして、注目領域群3と注目領域群4から、例えば動きベクトル等を求めて、誘導情報を生成する。
【0151】
このようにすることで、複数の注目領域が同時に検出されたとしても、出力される誘導情報は1つに限定される。そのため、複数の誘導情報が同時に出力される(例えば右と左の矢印が同時に出る)ケースを回避することができる。
【0152】
また、出力制御部360は、出力する誘導情報の上限数を設定する上限数設定部を含んでもよい。そして出力制御部360は、生成された誘導情報と設定された上限数との比較結果に基づいて、誘導情報の出力態様を制御してもよい。具体的には例えば、生成された誘導情報の数が上限数を超えた場合には誘導情報の出力をスキップする。
【0153】
これにより、多数の誘導情報が同時に出力されるケースを回避することが可能になる。誘導情報が多数同時に生成される場合とは、例えば、観察領域が多数の注目領域(病変部)で覆われているケース等が考えられ、このような場合、1つ1つの注目領域に注目するメリットは特にない。そのため、過度な誘導情報の出力を抑止することでドクターの診断や治療をスムーズにする。
【0154】
また、図1に示すように、画像処理装置は、通常光画像を取得する通常光画像取得部320を含んでもよい。そして、出力制御部360は、誘導情報を通常光画像に対応づけて出力する。
【0155】
これにより、図15に示すような出力形態を取ることが可能になる。特殊光画像は病変部の視認性を高める一方、暗く、独特の色味をしているため、全体に見づらい画像になってしまう。そのため、出力の形態としては、視認性の高い通常光画像に誘導情報を対応づけて出力することが考えられる。
【0156】
また、図1に示すように、画像処理装置は、出力制御部360により制御された出力態様に従って誘導情報を含む情報を出力する出力部を含む。
【0157】
ここで、出力部の一例として表示部と記載したが、画像の表示に限定されるものではない。警告音や音声、LED等の発光等の方法により出力を行ってもよい。
【0158】
また、注目領域とは病変部を示す領域である。
【0159】
これにより、注目領域として病変部を検出することが可能になる。具体的には後述するようにNBI、AFI、IRI等の手法を用いることで、手法ごとに異なる病変の視認性を高め、注目領域として検出する。
【0160】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、390nm〜445nmまたは530nm〜550nmの波長帯域である。
【0161】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(R,G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0162】
また、本実施形態は、特殊光画像取得部330と、注目領域検出部341と、消失有無判定部と、誘導情報生成部3422と、出力制御部360としてコンピュータを機能させるプログラムに関係する。ここで、特殊光画像取得部330は特殊光画像を取得し、注目領域検出部341は、特殊光画像から注目領域を検出する。消失有無判定部は、注目領域の消失の有無を判定し、誘導情報生成部3422は、消失有無判定部の判定に基づいて誘導情報を生成する。そして、出力制御部360は、誘導情報を含む情報の出力制御を行う。
【0163】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してPC等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【0164】
2.第2の実施形態
本発明の第2の実施形態にかかる画像処理装置を含む内視鏡システムについて、図21を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、挿入部200と、画像処理部300と、出力部400と、外部I/F部500を含む。
【0165】
光源部100は、白色光を発生する白色光源110と、光源からの出射光をライトガイドファイバ210に集光するための集光レンズ120と、白色光から所定の波長帯域の光を抽出する回転フィルタ130を含む。
【0166】
回転フィルタ130は、図22に示されるように、透過率特性の異なる2種類のフィルタF1,F2から構成されている。これらフィルタF1、F2は例えば図23に示されるように、それぞれ、フィルタF1が400〜650nm、フィルタF2が600〜650nmの波長帯域の光を透過させる透過率特性を有している。フィルタF1の光は白色光である。フィルタF2により抽出された600〜650nmの波長帯域の光は、Cy5のような蛍光薬剤を励起して、660〜750nmの波長帯域の蛍光を発生させる特性を有している。ここで、この蛍光薬剤は腫瘍等の病変部に特異的に集積する性質を持つとする。
【0167】
挿入部200は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部200は、光源部で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバ210により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を集光する対物レンズ230と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー280と、分岐された蛍光に含まれる励起光を遮断するバリアフィルタ270と、分岐された反射光を検出する第1撮像素子250と、バリアフィルタ270を通過した蛍光を検出する第2撮像素子260を含む。
【0168】
バリアフィルタ270は図24に示すように、ダイクロイックミラー280により反射光から分岐された光のうち、蛍光に相当する波長帯域660〜750nmの光のみを通過させ、その他の光を遮断する透過率特性を有している。また、第1撮像素子250は例えば図2に示すようなR,G,Bの分光特性をベイヤ型のカラー撮像素子であり、第2撮像素子260は、例えば波長帯域660〜750nmにおいて比較的高い感度特性を有するモノクロ撮像素子である。
【0169】
画像処理部300はA/D変換部310と、通常光画像取得部320と、特殊光画像取得部330と、出力画像生成部340と、制御部350を含む。制御部350は通常光画像取得部320、特殊光画像取得部330、出力画像生成部340に双方向に接続されていて、これらを制御するようになっている。
【0170】
さらに、制御部350は前述の回転フィルタ130とも双方向に接続されており、回転フィルタ130は制御部350からの信号に応じてモータを回転駆動することにより、フィルタF1とF2を順次切り替えて、照明光を観察対象である体腔内組織に順次照射する。また、制御部350は、光路中に配置されているフィルタF1,F2の情報をトリガ信号として、通常光画像取得部320、特殊光画像取得部330、出力画像生成部340に出力するようになっている。
【0171】
外部I/F部500は、この内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。
【0172】
A/D変換部310は、第1撮像素子250及び第2撮像素子260から出力されるアナログ信号をデジタル信号に変換して出力する。
【0173】
通常光画像取得部320はA/D変換部310から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部330はA/D変換部310から出力されるデジタル信号から特殊光画像を取得する。
【0174】
通常光画像取得部320で取得された通常光画像と、特殊光画像取得部330で取得された特殊光画像は出力画像生成部340に出力される。出力画像生成部340はこれら2枚の画像から1枚の出力画像を生成して画像出力部に出力する。
【0175】
通常光画像取得部320は、前述の図5に示すように、通常光画像生成部321と通常光画像記憶部322を含む。通常光画像生成部321は制御部350から送られてくるトリガ信号により、フィルタF1が光路中に位置する期間を識別し、フィルタF1が光路中に位置する期間内に第1撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部322は、通常光画像生成部321から出力された通常光画像を記憶する。
【0176】
特殊光画像取得部330は、前述の図6に示すように、特殊光画像生成部331と特殊光画像記憶部332を含む。特殊光画像生成部331は制御部350から送られてくるトリガ信号により、フィルタF2が光路中に位置する期間を識別し、フィルタF2が光路中に位置する期間内に第2撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像はモノクロの蛍光画像となる。具体的には、薬剤蛍光が集積した病変部から発生する蛍光を取得した画像信号に対して、例えばゲイン調整や階調変換等の処理を行い、モノクロの特殊光画像を生成して出力する。特殊光画像記憶部332は、特殊光画像生成部331から出力された特殊光画像を記憶する。
【0177】
図25は光路中に位置するフィルタの種類と、通常光画像記憶部322及び特殊光画像記憶部332で記憶される画像を示した図である。まずタイミング1で光路中にフィルタF1が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部322には通常光画像がカラー画像として記憶され、特殊光画像記憶部332には画像が記憶されない。次にタイミング2で光路中にフィルタF2が挿入される。この時、照射される照明光は励起光であり、特殊光画像記憶部332には薬剤蛍光が集積した病変部から発生する蛍光がモノクロ画像として記憶され、通常光画像記憶部322には画像が記憶されない。通常光画像記憶部322と特殊光画像記憶部332はそれぞれ複数枚の画像を記憶できるようになっている。
【0178】
出力画像生成部340の構成については、第1の実施形態と同様である。なお、本実施の形態における特殊光画像は前述のようにモノクロの蛍光画像になるため、注目領域検出部341で使用する特徴量としては、例えば蛍光画像の輝度値を使用すればよい。
【0179】
本実施の形態においては、2種類の照明光を使用しているが、3種類以上の照明を使用しても問題は無く、例えば図26に示すような回転フィルタを使用してもよい。ここでフィルタF1は白色光、フィルタF2はCy5のような蛍光薬剤に対する第1励起光、フィルタF3はさらに異なる蛍光薬剤に対する第2励起光をそれぞれ透過するフィルタである。この場合、例えば第1励起光照明時に第2撮像素子で取得される蛍光画像と第2励起光照明時に第2撮像素子で取得される蛍光画像の2種類の蛍光画像から疑似カラー処理を行い、特殊光画像を生成することが出来る。この時、注目領域検出部341で使用する特徴量としては、例えば第1の実施形態及び第2の実施形態と同様に色相Hの値を使用してもよいし、それ以外の輝度・色情報を使用してもよい。なお、この場合にはバリアフィルタを、第1励起光と第2励起光遮断しつつそれぞれの励起光に対する蛍光を透過するような特性に変更する必要がある。
【0180】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、AFI(Auto Fluorescence Imaging)として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として390〜470nmの波長帯域の光を使用し、バリアフィルタを490〜625nmの波長帯域の光を透過するような特性に変更すればよい。さらにこれに加えて、血液中のヘモグロビンに吸収される540〜560nmの波長帯域の光を照明光として使用し、その反射光画像と前述の自家蛍光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【0181】
さらに、例えば従来、IRI(Infra Red Imaging)として知られている技術のように、ICGを静脈注射した上で2つの赤外光(790〜820nm及び905〜970nmの波長帯域の光)を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【0182】
また、本実施の形態では、画像処理部300を構成する各部をハードウェアで構成することとしたが、第1の実施形態と同様に、予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【0183】
以上の本実施形態では、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には490nm〜625nmの波長帯域である。
【0184】
これにより、AFIと呼ばれる蛍光観察が可能となる。励起光(390nm〜470nm)を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお490nm〜625nmという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域(540nm〜560nm)を同時に照射し、擬似カラー画像を生成してもよい。
【0185】
また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には790nm〜820nmまたは905nm〜970nmの波長帯域である。
【0186】
これにより、IRIと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるICG(インドシアニングリーン)を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお790nm〜820nmという数字は赤外指標薬剤の吸収がもっとも強いという特性から、905nm〜970nmという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0187】
以上、本発明を適用した2つの実施の形態1〜2およびその変形例について説明したが、本発明は、各実施の形態1〜2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【0188】
100 光源部、110 白色光源、120 集光レンズ、130 回転フィルタ、
200 挿入部、210 ライトガイドファイバ、220 照明レンズ、
230 対物レンズ、240 ハーフミラー、250 第1撮像素子、
260 第2撮像素子、270 バリアフィルタ、280 ダイクロイックミラー、
300 画像処理部、310 A/D変換部、320 通常光画像取得部、
321 通常光画像生成部、322 通常光画像記憶部、330 特殊光画像取得部、
331 特殊光画像生成部、332 特殊光画像記憶部、340 出力画像生成部、
341 注目領域検出部、342 表示態様決定部、350 制御部、
360 出力制御部、400 出力部、500 外部I/F部、
3411 局所領域設定部、3412 特徴量算出部、3414 注目候補領域設定部、
3415 信頼度算出部、3416 注目領域設定部、3421 加工部、
3422 誘導情報生成部、3423 記憶部
【特許請求の範囲】
【請求項1】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を含むことを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への方向を示す方向情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への距離に応じた距離情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項4】
請求項1において、
前記特殊光画像取得部は、
第1の特殊光画像、第2の特殊光画像及び第3の特殊光画像を取得し、
前記注目領域検出部は、
取得された前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、
前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により、前記第3の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第1の特殊光画像及び前記第2の特殊光画像において、前記注目領域が消失していないと判定された場合には、
前記第1の特殊光画像における前記注目領域の画像上の位置である第1の画像上位置と、前記第2の特殊光画像における前記注目領域の画像上の位置である第2の画像上位置に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項5】
請求項4において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項6】
請求項5において、
前記誘導情報生成部は、
前記第1の特殊光画像における前記注目領域の画像上の重心位置を前記第1の画像上位置として算出するとともに、前記第2の特殊光画像における前記注目領域の画像上の重心位置を前記第2の画像上位置として算出し、算出した前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項7】
請求項5において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて前記誘導情報を生成することを特徴とする画像処理装置。
【請求項8】
請求項7において、
前記出力制御部は、
算出された前記動きベクトルに基づいて、前記誘導情報を出力する時間を制御することを特徴とする画像処理装置。
【請求項9】
請求項8において、
前記出力制御部は、
算出された前記動きベクトルの大きさが大きい場合には、前記誘導情報を出力する時間を短くする制御を行い、
前記動きベクトルの大きさが小さい場合には、前記誘導情報を出力する時間を長くする制御を行うことを特徴とする画像処理装置。
【請求項10】
請求項7において、
前記誘導情報生成部は、
前記動きベクトルの各座標成分に基づいて、前記動きベクトルを第1〜第N(Nは2以上の整数)の方向情報のうちのいずれかに対応付ける消失方向決定部を含み、
前記誘導情報生成部は、
前記動きベクトルに対応づけられた方向情報を前記誘導情報として生成することを特徴とする画像処理装置。
【請求項11】
請求項1において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第mのタイミングよりも過去のタイミングで取得された少なくとも2つの特殊光画像において前記注目領域が消失していないと判定された場合に、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項12】
請求項1において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第mのタイミングよりも過去のタイミングで取得された複数の特殊光画像のうち、前記注目領域が消失していないと判定された特殊光画像が1つ以下である場合には、前記誘導情報の生成をスキップすることを特徴とする画像処理装置。
【請求項13】
請求項1において、
前記出力制御部は、
前記消失有無判定部による判定結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項14】
請求項13において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
第N(Nは3以上の整数)のタイミングにおいて誘導情報の出力が開始され、かつ、第N〜第N+K(Kは1以上の整数)のタイミングの間で、前記注目領域が消失し続けていると判定された場合には、前記第N〜第N+Kのタイミングにおいては、前記第Nのタイミングで生成された前記誘導情報の出力を継続することを特徴とする画像処理装置。
【請求項15】
請求項14において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記注目領域が検出された場合には、前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項16】
請求項14において、
前記出力制御部は、
第N+K+1のタイミングにおいては、前記注目領域の消失及び非消失にかかわらず、前記第Nのタイミングで生成された前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項17】
請求項14において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記第Nのタイミングにおいて生成された前記誘導情報を継続して出力する時間に対応する、残存出力時間情報を設定する残存出力時間設定部を含み、
前記残存出力時間設定部は、
前記残存出力時間情報を設定するための情報として、前記Kを設定することを特徴とする画像処理装置。
【請求項18】
請求項13において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
前記消失有無判定部により、連続したタイミングにおいて前記注目領域が消失し続けていると判定された場合には、前記連続したタイミング内においては、過去に生成された誘導情報の提示を継続する制御を行うことを特徴とする画像処理装置。
【請求項19】
請求項1において、
前記特殊光画像において検出された前記注目領域の、注目度合いを示す注目度情報を算出する注目度算出部を含み、
前記出力制御部は、
算出された前記注目度情報に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項20】
請求項19において、
前記出力制御部は、
算出された前記注目度情報に基づいて、より注目すべきであると判定された前記注目領域に関連する誘導情報を優先的に出力する制御を行うことを特徴とする画像処理装置。
【請求項21】
請求項19において、
前記注目度情報は、
前記特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含むことを特徴とする画像処理装置。
【請求項22】
請求項1において、
前記出力制御部は、
出力すべき前記誘導情報の上限数を設定する上限数設定部を含み、
前記出力制御部は、
生成された前記誘導情報の数と、設定された前記上限数との比較結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項23】
請求項22において、
前記出力制御部は、
前記生成された誘導情報の数が設定された前記上限数を超えた場合、生成された前記誘導情報の出力をスキップする制御を行うことを特徴とする画像処理装置。
【請求項24】
請求項1において、
白色光の波長帯域における情報を有する被写体像を含む画像を通常光画像として取得する通常光画像取得部を含むことを特徴とする画像処理装置。
【請求項25】
請求項24において、
前記出力制御部は、
生成された前記誘導情報を取得された前記通常光画像に対応づけて出力するよう制御することを特徴とする画像処理装置。
【請求項26】
請求項1において、
前記出力制御部により制御された出力態様に従って、前記生成された誘導情報を出力する出力部を含むことを特徴とする画像処理装置。
【請求項27】
請求項1において、
前記注目領域は、
病変部を示す領域であることを特徴とする画像処理装置。
【請求項28】
請求項1において、
前記特定の波長帯域は、
白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項29】
請求項28において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項30】
請求項29において、
前記波長帯域は、390ナノメータ〜445ナノメータ、または530ナノメータ〜550ナノメータであることを特徴とする画像処理装置。
【請求項31】
請求項1において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項32】
請求項31において、
前記特定の波長帯域は、490ナノメータ〜625ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項33】
請求項1において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項34】
請求項33において、
前記波長帯域は、790ナノメータ〜820ナノメータ、または905ナノメータ〜970ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項35】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項1】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を含むことを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への方向を示す方向情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への距離に応じた距離情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項4】
請求項1において、
前記特殊光画像取得部は、
第1の特殊光画像、第2の特殊光画像及び第3の特殊光画像を取得し、
前記注目領域検出部は、
取得された前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、
前記第1の特殊光画像、前記第2の特殊光画像及び前記第3の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により、前記第3の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第1の特殊光画像及び前記第2の特殊光画像において、前記注目領域が消失していないと判定された場合には、
前記第1の特殊光画像における前記注目領域の画像上の位置である第1の画像上位置と、前記第2の特殊光画像における前記注目領域の画像上の位置である第2の画像上位置に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項5】
請求項4において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項6】
請求項5において、
前記誘導情報生成部は、
前記第1の特殊光画像における前記注目領域の画像上の重心位置を前記第1の画像上位置として算出するとともに、前記第2の特殊光画像における前記注目領域の画像上の重心位置を前記第2の画像上位置として算出し、算出した前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項7】
請求項5において、
前記誘導情報生成部は、
前記第1の画像上位置と前記第2の画像上位置の差分に基づいて、前記注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて前記誘導情報を生成することを特徴とする画像処理装置。
【請求項8】
請求項7において、
前記出力制御部は、
算出された前記動きベクトルに基づいて、前記誘導情報を出力する時間を制御することを特徴とする画像処理装置。
【請求項9】
請求項8において、
前記出力制御部は、
算出された前記動きベクトルの大きさが大きい場合には、前記誘導情報を出力する時間を短くする制御を行い、
前記動きベクトルの大きさが小さい場合には、前記誘導情報を出力する時間を長くする制御を行うことを特徴とする画像処理装置。
【請求項10】
請求項7において、
前記誘導情報生成部は、
前記動きベクトルの各座標成分に基づいて、前記動きベクトルを第1〜第N(Nは2以上の整数)の方向情報のうちのいずれかに対応付ける消失方向決定部を含み、
前記誘導情報生成部は、
前記動きベクトルに対応づけられた方向情報を前記誘導情報として生成することを特徴とする画像処理装置。
【請求項11】
請求項1において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第mのタイミングよりも過去のタイミングで取得された少なくとも2つの特殊光画像において前記注目領域が消失していないと判定された場合に、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項12】
請求項1において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第m(mは3以上の整数)のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第mのタイミングよりも過去のタイミングで取得された複数の特殊光画像のうち、前記注目領域が消失していないと判定された特殊光画像が1つ以下である場合には、前記誘導情報の生成をスキップすることを特徴とする画像処理装置。
【請求項13】
請求項1において、
前記出力制御部は、
前記消失有無判定部による判定結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項14】
請求項13において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
第N(Nは3以上の整数)のタイミングにおいて誘導情報の出力が開始され、かつ、第N〜第N+K(Kは1以上の整数)のタイミングの間で、前記注目領域が消失し続けていると判定された場合には、前記第N〜第N+Kのタイミングにおいては、前記第Nのタイミングで生成された前記誘導情報の出力を継続することを特徴とする画像処理装置。
【請求項15】
請求項14において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記注目領域が検出された場合には、前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項16】
請求項14において、
前記出力制御部は、
第N+K+1のタイミングにおいては、前記注目領域の消失及び非消失にかかわらず、前記第Nのタイミングで生成された前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項17】
請求項14において、
前記出力制御部は、
第N+1〜第N+Kのタイミングにおいて、前記第Nのタイミングにおいて生成された前記誘導情報を継続して出力する時間に対応する、残存出力時間情報を設定する残存出力時間設定部を含み、
前記残存出力時間設定部は、
前記残存出力時間情報を設定するための情報として、前記Kを設定することを特徴とする画像処理装置。
【請求項18】
請求項13において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
前記消失有無判定部により、連続したタイミングにおいて前記注目領域が消失し続けていると判定された場合には、前記連続したタイミング内においては、過去に生成された誘導情報の提示を継続する制御を行うことを特徴とする画像処理装置。
【請求項19】
請求項1において、
前記特殊光画像において検出された前記注目領域の、注目度合いを示す注目度情報を算出する注目度算出部を含み、
前記出力制御部は、
算出された前記注目度情報に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項20】
請求項19において、
前記出力制御部は、
算出された前記注目度情報に基づいて、より注目すべきであると判定された前記注目領域に関連する誘導情報を優先的に出力する制御を行うことを特徴とする画像処理装置。
【請求項21】
請求項19において、
前記注目度情報は、
前記特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含むことを特徴とする画像処理装置。
【請求項22】
請求項1において、
前記出力制御部は、
出力すべき前記誘導情報の上限数を設定する上限数設定部を含み、
前記出力制御部は、
生成された前記誘導情報の数と、設定された前記上限数との比較結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項23】
請求項22において、
前記出力制御部は、
前記生成された誘導情報の数が設定された前記上限数を超えた場合、生成された前記誘導情報の出力をスキップする制御を行うことを特徴とする画像処理装置。
【請求項24】
請求項1において、
白色光の波長帯域における情報を有する被写体像を含む画像を通常光画像として取得する通常光画像取得部を含むことを特徴とする画像処理装置。
【請求項25】
請求項24において、
前記出力制御部は、
生成された前記誘導情報を取得された前記通常光画像に対応づけて出力するよう制御することを特徴とする画像処理装置。
【請求項26】
請求項1において、
前記出力制御部により制御された出力態様に従って、前記生成された誘導情報を出力する出力部を含むことを特徴とする画像処理装置。
【請求項27】
請求項1において、
前記注目領域は、
病変部を示す領域であることを特徴とする画像処理装置。
【請求項28】
請求項1において、
前記特定の波長帯域は、
白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項29】
請求項28において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項30】
請求項29において、
前記波長帯域は、390ナノメータ〜445ナノメータ、または530ナノメータ〜550ナノメータであることを特徴とする画像処理装置。
【請求項31】
請求項1において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項32】
請求項31において、
前記特定の波長帯域は、490ナノメータ〜625ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項33】
請求項1において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項34】
請求項33において、
前記波長帯域は、790ナノメータ〜820ナノメータ、または905ナノメータ〜970ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項35】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、
コンピュータを機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2011−224038(P2011−224038A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2010−94142(P2010−94142)
【出願日】平成22年4月15日(2010.4.15)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願日】平成22年4月15日(2010.4.15)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]