説明

画像処理装置、内視鏡装置及び画像処理方法

【課題】画像が静止状態であるか否を高精度に判定可能な画像処理装置、内視鏡装置及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、評価値算出部321、推定ノイズ量取得部322、判定部324、ノイズ低減処理部325を含む。評価値算出部321は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。推定ノイズ量取得部322は、撮像画像の推定ノイズ量を取得する。判定部324は、評価値と推定ノイズ量に基づいて、静止状態であるか否かの判定を行う。ノイズ低減処理部325は、静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を撮像画像に対して行い、静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を撮像画像に対して行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、内視鏡装置及び画像処理方法等に関する。
【背景技術】
【0002】
ノイズ低減処理(以下ではNR処理と呼ぶ)には、大別すると、処理フレーム内でNR処理を行う空間方向NR処理と、処理フレームと過去フレームを用いてNR処理を行う時間方向NR処理の2つが存在する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−47036号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
空間方向NR処理では、画像の高周波成分が減衰する傾向にあり、時間方向NR処理では、被写体が動体である場合に残像が残りやすい。そのため、画像が静止状態である場合に適応的に空間方向NR処理を選択することにより、高性能なNR処理を実現したいという要求がある。
【0005】
しかしながら、画像が静止状態であるか否かの判定を高精度に行う必要があるという課題がある。
【0006】
例えば特許文献1には、画像の静止状態と動作状態を判別し、その判別結果に応じて時間方向NR処理と空間方向NR処理を切り替える手法が開示されている。静止状態と動作状態の判別には、フレーム間で算出した差分値を用い、その差分値が閾値より小さい場合には静止状態と判別し、大きい場合には動作状態と判別する。
【0007】
しかしながら、フレーム間で算出した差分値は、画像に含まれるノイズ量に依存して変化する特徴がある。特許文献1では、閾値は固定値であり、ノイズ量に依存する差分値に対して固定値で判別を行うため、静止状態と動作状態を高精度に判別することは困難である。また、特許文献1には、ノイズ量に依存する差分値に対して適切な閾値について記載されていない。
【0008】
本発明の幾つかの態様によれば、画像が静止状態であるか否を高精度に判定可能な画像処理装置、内視鏡装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【0009】
本発明の一態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む画像処理装置に関係する。
【0010】
本発明の一態様によれば、撮像画像の推定ノイズ量が取得され、評価値と推定ノイズ量に基づいて、撮像画像上の被写体がフレーム間において静止状態であるか否かの判定が行われる。判定結果に応じて、第1のノイズ低減処理又は第2のノイズ低減処理が撮像画像に対して行われる。これにより、画像が静止状態であるか否を高精度に判定することが可能になる。
【0011】
本発明の他の態様は、撮像画像を撮像する撮像部と、前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、を含む内視鏡装置に関係する。
【0012】
本発明の更に他の態様は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、前記撮像画像の推定ノイズ量を取得し、前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行い、前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行う画像処理方法に関係する。
【図面の簡単な説明】
【0013】
【図1】第1の実施形態における内視鏡システムの構成例。
【図2】撮像素子の色フィルタの配列構成例。
【図3】撮像素子の色フィルタの透過率特性例。
【図4】第1の実施形態におけるノイズ低減部の詳細な構成例。
【図5】第1の実施形態におけるノイズ低減処理のフローチャート。
【図6】図6(A)は、画像信号に含まれる構造成分の例。図6(B)は、画像信号に含まれるノイズ成分の例。
【図7】図7(A)〜図7(C)は、フレーム間差分値mSADについての説明図。
【図8】図8(A)〜図8(C)は、フレーム間差分値mSADについての説明図。
【図9】画像におけるノイズ量の特性例。
【図10】第1の実施形態におけるノイズ低減処理の第2のフローチャート。
【図11】第2の実施形態における内視鏡システムの構成例。
【図12】前方視野領域、側方視野領域についての説明図。
【図13】領域判定処理についての説明図。
【図14】第2の実施形態におけるノイズ低減部の詳細な構成例。
【図15】第2の実施形態におけるノイズ低減処理のフローチャート。
【図16】第3の実施形態における内視鏡システムの構成例。
【図17】狭帯域フィルタの透過率特性例。
【図18】第3の実施形態におけるノイズ低減部の詳細な構成例。
【図19】第3の実施形態におけるノイズ低減処理のフローチャート。
【図20】第4の実施形態における内視鏡システムの構成例。
【図21】第4の実施形態におけるノイズ低減部の詳細な構成例。
【発明を実施するための形態】
【0014】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0015】
1.本実施形態の概要
まず、本実施形態が行うNR処理(ノイズ低減処理)の概要について説明する。なお以下では、静止状態とは、撮像部と被写体の相対的な位置関係が時間的に変化しない状態を表す。また、動作状態とは、撮像部と被写体の相対的な位置関係が時間的に変化する状態を表す。
【0016】
上述のように、NR処理には、空間方向NR処理と時間方向NR処理がある。空間方向NR処理では、NR処理の対象となる画素(処理対象画素)と、その周辺の画素を用いた加重平均処理によりノイズを低減する。空間方向NR処理では、周辺画素との加重平均処理を行うため、元画像の高周波成分が減衰するという副作用がある。
【0017】
時間方向NR処理では、NR処理の対象となるフレーム(処理フレーム)と、その処理フレームとは異なる時間に取得されたフレーム(過去フレーム)を用いた加重平均処理によりノイズを低減する。加重平均処理には、処理フレームの処理対象画素、及び過去フレームにおいて処理対象画素と同一座標の画素のみが用いられる。そのため、静止状態においては、元画像の高周波成分を保持可能であるという利点がある。一方、画像において被写体が動いている動作状態では、残像を生じるという副作用がある。
【0018】
以上の特性から、適応的にNR処理を選択することで、高性能なNR処理を実現可能である。具体的には、静止状態においては時間方向NR処理、動作状態においては空間方向NR処理を選択することで、静止状態においては高周波成分を保持した状態でノイズ成分のみを低減可能なNR処理を実現可能である。
【0019】
しかしながら、上述のように、画像のノイズの影響があるため、静止状態と動作状態の判別を高精度に行うことが困難という課題がある。
【0020】
そこで本実施形態では、図5等で後述するように、画素値に応じた推定ノイズ量Nを取得し、画像のフレーム間差分値mSADが推定ノイズ量N以下である場合には静止状態であると判定し、時間方向のNR処理である第1のNR処理を行う。これにより、画像において被写体が静止しているか否かを高精度に判定でき、静止状態である場合には高精細な画像を得ることが可能である。静止状態でない場合には、少なくとも空間方向のNR処理を含む第2のNR処理を行うことにより、残像を抑制できる。
【0021】
2.第1の実施形態
2.1.内視鏡システム
次に、本実施形態の詳細について説明する。図1に、第1の実施形態における内視鏡システムの構成例を示す。内視鏡システム(内視鏡装置)は、光源部100と、撮像部200と、制御装置300と、表示部400と、外部I/F部500を含む。制御装置300は、補間処理部310と、ノイズ低減部320と、フレームメモリ330と、表示画像生成部340と、制御部390を含む。
【0022】
光源部100は、白色光を発生する白色光源110と、その白色光をライトガイドファイバ210に集光するためのレンズ120と、を含む。
【0023】
撮像部200は、体腔への挿入を可能にするため、例えば細長く且つ湾曲可能に形成されている。また、観察する部位により異なる撮像部が用いられるため、撮像部200は制御装置300に対して着脱可能な構造をしている。なお以下の説明では適宜、撮像部200をスコープと呼ぶ。
【0024】
撮像部200は、光源部100で集光された光を導くためのライトガイドファイバ210と、そのライトガイドファイバ210により導かれた光を拡散させて被写体に照射する照明レンズ220と、を含む。また撮像部200は、被写体からの反射光を集光する集光レンズ230と、集光レンズ230により集光された反射光を検出するための撮像素子240と、メモリ250と、集光レンズ230のズームレンズを駆動するレンズ駆動部260と、を含む。
【0025】
メモリ250は制御部390に接続されている。レンズ駆動部260は制御部390と双方向に接続されている。
【0026】
撮像素子240は、図2に示すようにベイヤ配列の色フィルタを有する撮像素子である。色フィルタは、rフィルタ、gフィルタ、bフィルタの3種類である。図3に示すように、rフィルタは580〜700nmの光を透過させ、gフィルタは480〜600nmの光を透過させ、bフィルタは390〜500nmの光を透過させる特徴を有する。
【0027】
メモリ250には、スコープ固有の識別番号が保持されている。制御部390は、メモリ250に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。
【0028】
集光レンズ230は、画角θをθMIN〜θMAX[deg]の範囲で設定できるようになっている。本実施形態では、画角θ=θMAXの状態を通常観察状態とし、画角θがθMAXよりも小さい状態を拡大観察状態とする。この画角θは、外部I/F部500よりユーザーが任意の値を設定することにより、設定される。即ち、ユーザーから画角θが設定された場合、設定された画角θが制御部390に入力され、制御部390(狭義には画角制御部)が画角θをレンズ駆動部260に送信する。そして、レンズ駆動部260が、集光レンズ230の中のズームレンズを駆動することにより、撮像部200の画角が所望の画角θに設定される。また、制御部390は、設定された画角θをノイズ低減部320へ出力する。
【0029】
外部I/F部500は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部I/F部500は、電源のオン/オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部I/F部500は、入力された情報を制御部390へ出力する。
【0030】
制御装置300は、内視鏡装置の各部の制御や、撮像画像に対する画像処理等を行う。補間処理部310は、ノイズ低減部320に接続されている。ノイズ低減部320は表示画像生成部340に接続されている。また、ノイズ低減部320は、フレームメモリ330と双方向に接続されている。表示画像生成部340は表示部400に接続されている。制御部390は、補間処理部310と、ノイズ低減部320と、フレームメモリ330と、表示画像生成部340に接続されており、これらの制御を行う。
【0031】
補間処理部310は、撮像素子240により取得される画像に対して補間処理を行う。上述のように撮像素子240はベイヤ配列を有するため、撮像素子240により取得される画像の各画素は、R、G、B信号のうちの何れか1色の信号値を有し、他の2色の信号値が欠落した状態である。補間処理部310は、この画像の各画素に対して補間処理を行うとで、欠落している信号値を補間し、各画素においてR、G、B信号の全ての信号値を有する画像を生成する。補間処理として、例えば公知のバイキュービック補間処理を用いればよい。なお以下では、補間処理後の画像をRGB画像と呼ぶ。補間処理部310は、生成したRGB画像をノイズ低減部320へ出力する。
【0032】
ノイズ低減部320は、補間処理部310より出力されるRGB画像に対して、NR処理を行う。具体的には、ノイズ低減部320は、RGB画像の各画素において静止状態と動作状態を判別し、その判別結果に応じて適応的にNR処理を切り替える。即ち、ノイズ低減部320は、静止状態と判別された場合には、高周波成分を保持可能な時間方向NR処理を選択し、動作状態と判別された場合には、空間方向NR処理を選択する。これにより、静止状態には高周波成分を保持した状態でノイズのみを低減することが可能となり、高性能なNR処理を実現できる。ノイズ低減部320については、詳細に後述する。なお以下では、NR処理後の画像をNR画像(ノイズ低減画像)と呼ぶ。
【0033】
表示画像生成部340は、ノイズ低減部320より出力されるNR画像に対し、例えば既存のホワイトバランスや色変換処理、階調変換処理等を施し、表示画像を生成する。表示画像生成部340は、生成した表示画像を表示部400に出力する。表示部400は、例えば液晶表示装置等の表示装置により構成される。
【0034】
2.2.ノイズ低減処理
次に、ノイズ低減部320について詳細に説明する。図4に、第1の実施形態におけるノイズ低減部320の詳細な構成例を示す。ノイズ低減部320は、評価値算出部321、推定ノイズ量取得部322、ルックアップテーブル323、判定部324、ノイズ低減処理部325、画角情報取得部326を含む。
【0035】
図5に、第1の実施形態におけるノイズ低減処理のフローチャートを示す。この処理が開始されると、ステップS1に示すように、評価値算出部321は、補間処理部310から出力されるRGB画像と、フレームメモリ330に保持されている過去画像とを用いて、差分平均値mSADを算出する。過去画像とは、RGB画像よりも1フレーム前の時点において、ノイズ低減部320から出力されたNR画像である。
【0036】
NR処理の対象となる画素である注目画素の座標を(x,y)とすると、差分平均値mSAD(フレーム間差分値)は、下式(1)を用いて算出される。評価値算出部321は、下式(1)のSAD(m,n)が最小となる(m,n)の値を、ノイズ低減処理部325へ出力する。なお、以下ではG信号についての処理を説明するが、R信号、B信号についても同一の処理が施される。
【数1】

【0037】
ここで、上式(1)において、min()は、括弧内の値の最小値を取得する処理を表す。また、m=−1、0、1、n=−1、0、1である。また、FG_cur(x,y)はRGB画像の座標(x,y)におけるG信号値であり、FG_pre(x,y)は過去画像の座標(x,y)におけるG信号値である。また、kは自然数であり、(2k+1)は差分平均値mSADを算出する際のカーネルサイズに相当する。kは、予め一定の値を設定しておくこともできるし、外部I/F部500より、ユーザーが任意の値を設定する構成としてもよい。また、‖A‖は、実数Aの絶対値を取得する処理を表す。
【0038】
静止状態と動作状態のそれぞれにおける、上記差分平均値mSADの特徴について説明する。以下では説明を簡単にするために、画像を1次元の信号として扱う。また、画像信号の成分は、図6(A)に示す構造成分と、図6(B)に示すノイズ成分で構成されているものとする。
【0039】
ある時刻tにおいて図7(A)に示す画像が取得され、その直前の時刻t−1において図7(B)に示す画像が取得された場合を考える。この場合、時刻tと時刻t−1において、構造成分の位置は変化していない(静止状態に相当)。そのため、時刻tにおける画像と、時刻t−1における画像との差分値(差分値の絶対値)を求めると、図7(C)に示すように、差分値にはノイズ成分のみが含まれることになる。
【0040】
一方、ある時刻tにおいて図8(A)に示す画像が取得され、その直前の時刻t−1において図8(B)に示す画像が取得された場合を考える。図8(B)に示すdは、フレーム間における被写体の動き量に相当する(動作状態に相当)。この場合、時刻tにおける画像と、時刻t−1における画像の差分値を求めると、図8(C)に示すように、差分値にはノイズ成分と構造成分の両方が含まれることになる。
【0041】
従って、動作状態における差分平均値mSADは、静止状態における差分平均値mSADよりも大きくなる特徴がある。そのため、静止状態における差分平均値mSAD(=ノイズ量)を閾値とすることで、静止状態と動作状態の判別が可能となる。
【0042】
しかしながら、図9に示すように、一般にノイズ量は画像信号値に依存して変化する。即ち、画像信号値が大きいほどノイズ量が増加する。そのため、図7(C)に示す静止状態における差分平均値mSADも画像信号値に依存して変化する。静止状態と動作状態を判別するための閾値を固定値とした場合、このmSADのノイズ依存性により、静止状態と動作状態を精度よく判別することが困難となる。
【0043】
そこで、本実施形態では、図9に示すノイズ量の特性をテーブル(ノイズ量テーブル)として保持しておき、各画素の信号値に対応するノイズ量Nを、テーブルを参照することにより取得する。そして、そのノイズ量Nに基づいて、静止状態と動作状態を判別する。このようにして、高精度な判別が可能となる。
【0044】
ここで、上式(1)で説明した(m,n)は、フレーム間の動きベクトルに相当し、この動きベクトルの探索範囲は±1画素である。上式(1)では、探索範囲の中で最も小さいSADをmSADとして選択する。そのため、RGB画像と過去画像がフレーム間において厳密に静止しておらず、±1画素程度動く場合であっても、ステップS3で後述するように時間方向NR処理が選択される。一方、動き量m、nが1画素より大きい場合には、正しい動きベクトル(m,n)を算出できないため、この場合にはステップS3で説明するように、空間方向NR処理が選択される。
【0045】
画像において被写体が静止していても微小な動きは存在しているため、厳密に静止状態を判定すると、事実上の静止状態であっても空間方向のNR処理が選択され、画像の構造成分が減少してしまう。この点、上式(1)を用いることで、±1画素の動きであれば静止状態と判定できるため、時間方向NR処理により高解像の画像を得ることができる。
【0046】
次に、図5のステップS2に示すように、推定ノイズ量取得部322がノイズ量Nを取得する。即ち、ルックアップテーブル323には、図9で説明したノイズ量Nの特性をノイズ量テーブルとして記憶されている。推定ノイズ量取得部322は、RGB画像の注目画素(処理対象の画素)の信号値に対応するノイズ量Nを、ルックアップテーブル323を参照することにより取得する。
【0047】
なお、ノイズ量テーブルは、接続されるスコープにより異なる。上述のように、撮像部200のメモリ250には、各スコープ固有の識別番号が保持されているため、接続されているスコープを識別可能である。具体的には、制御部390がメモリ250に保持されている識別番号を取得し、接続されているスコープを識別し、その識別結果をノイズ低減部320に出力する。そして、推定ノイズ量取得部322は、スコープに対応するノイズ量テーブルを参照してノイズ量Nを取得する。
【0048】
次に、図5のステップS3に示すように、判定部324は、ステップS1で出力された差分平均値mSAD、及びステップS2で出力されたノイズ量Nを用いて、静止状態か動作状態かの判別処理を行う。具体的には、判定部324は、下式(2)により判別処理を行う。
【数2】

【0049】
次に、ステップS4に示すように、ノイズ低減処理部325は、ステップS3において静止状態と判別された場合には時間方向のNR処理(広義には第1のノイズ低減処理)を実行する。一方、ステップS5に示すように、ノイズ低減処理部325は、ステップS3において動作状態と判別された場合には空間方向のNR処理(広義には第2のノイズ低減処理)を実行する。なお、時間方向NR処理と空間方向NR処理の詳細は後述する。
【0050】
次に、ステップS6に示すように、RGB画像の全画素についてNR処理が実行されたか否かをチェックする。全画素についてNR処理が実行された場合には、ステップS7に示すように、ノイズ低減部320はNR画像をフレームメモリ330及び表示画像生成部340に出力し、処理を終了する。フレームメモリ330は、ノイズ低減部320より出力されたNR画像を過去画像として保持する。全画素についてNR処理が実行されていない場合には、ステップS1〜ステップS6を実行する。
【0051】
2.3.観察状態に応じたノイズ低減処理
次に、拡大観察状態か否かに応じて、静止状態と動作状態を判別するための閾値を変更する手法について説明する。
【0052】
図10に、第1の実施形態におけるノイズ低減処理の第2のフローチャートを示す。なお、ステップS22、S24以外は図5のステップS1〜S7と同様であるため、適宜説明を省略する。ステップS22に示すように、画角情報取得部326は、撮像部200の画角θの情報を制御部390から取得する。そして、判定部324は、画角θがθMAXより小さいか否かを判定する。
【0053】
画角θ=θMAX、即ち通常観察状態である場合には、ステップS23に示すように、上式(2)を用いて静止状態と動作状態の判別処理が行われる。一方、画角θ<θMAX(θ≠θMAX)、即ち拡大観察状態である場合には、ステップS24に示すように、下式(3)を用いて静止状態と動作状態の判別処理が行われる。
【数3】

【0054】
ここで、上式(3)において、係数Caは1よりも大きい実数とする。係数Caは、予め一定の値を設定しておいてもよいし、外部I/F部500よりユーザーが任意の値を設定する構成としてもよい。
【0055】
ステップS23、S24において静止状態と判別された場合には、ステップS25に示すように、時間方向のNR処理が実行される。一方、動作状態と判別された場合には、ステップS26に示すように、空間方向のNR処理が実行される。
【0056】
本実施形態と観察状態の関係について詳細に説明する。内視鏡診断においては、大別すると病変と疑われる箇所を探索するスクリーニングと、スクリーニングにより発見された箇所が病変であるか否かを診断する精査の、2つの診断が存在する。
【0057】
スクリーニング時には、ドクターがスコープを操作(挿入・抜去)しながら診断を行うため、画像上において被写体が大きく動く(動作状態)という特徴がある。そのため、時間方向NR処理が有効に機能しない。また、スクリーニング時には、発赤調や褪色調を有する領域を探索するため、比較的低周波成分が診断に重要な情報となるという特徴がある。そのため、スクリーニング時にはノイズ低減処理により、高周波成分が多少減衰しても診断に与える影響は少ない。以上より、スクリーニング処理時には、空間方向NR処理によりノイズを低減することが望ましい。
【0058】
一方、精査時には、ドクターがスコープを停止させた状態で診断を行うため、画像上における被写体の動き量は小さい(静止状態)という特徴がある。また、精査時には、微細血管や粘膜構造など、比較的高周波成分が診断に重要な情報となる。従って、動き量の小さい精査時には、高周波成分を保持可能な時間方向NR処理を機能させることが望ましい。このような精査は、拡大観察の状態で行われることが多い。
【0059】
本実施形態では、図5等で説明したように、精査に対応する静止状態とスクリーニングに対応する動作状態を高精度に判別する。そして、精査時においては、時間方向NR処理を選択することで診断に重要となる微細血管や粘膜構造を保持した状態でノイズのみを低減することが可能である。また、図10等で説明したように、画角θに応じて判別処理の閾値を変更することにより、精査に用いる拡大観察時においては、時間方向NR処理がより選択されやすく(支配的に)なるという利点がある。
【0060】
以上の実施形態によれば、内視鏡画像のノイズを適応的に低減することが可能であり、診断により適した画像を提供することが可能となる。具体的には、精査時のように動き量が小さい場合においては、時間方向NR処理が選択されやすくなるため、精査の際に重要となる高周波成分を保持しつつ、ノイズのみを低減することができる。
【0061】
一方、スクリーニング時においては、空間方向NR処理が選択される。この場合、高コントラストのエッジ部の高周波成分は保持可能であるが、低コントラストのエッジ部の高周波成分は減衰してしまう。しかし、スクリーニング時においては、発赤調や褪色調領域などの比較的低周波な情報が重要になるため、診断に与える影響は少ない。
【0062】
2.4.時間方向NR処理、空間方向NR処理
次に、時間方向NR処理の詳細について説明する。時間方向NR処理には、下式(4)が用いられる。
【数4】

【0063】
ここで、上式(4)において、FG_NR(x,y)はNR画像の座標(x,y)におけるG信号値である。また、we_cur、we_preは加重平均処理時の重み係数である。we_preを(we_curと比較して)大きくすることにより、ノイズ低減量が大きくなる。we_cur、we_preは予め一定の値を設定しておいてもよいし、外部I/F部500より、ユーザーが任意の値を設定する構成としてもよい。
【0064】
次に、空間方向NR処理の詳細について説明する。本実施形態において、空間方向NR処理は、NR処理の対象となる画素(注目画素)とその周辺の画素を用いた加重平均処理である。具体的には、下式(5)を用いてノイズを低減する。
【数5】

【0065】
ここで、上式(5)において、we_diff_cur(x+i,y+j)、we_diff_pre(x+i,y+j)は加重平均処理時の重み係数に相当する。この係数は、下式(6)に示すように、ガウス分布で与えられる。また、Iは自然数である。また、m、nは、上式(1)においてmSADとして選択されたSAD(m,n)のm、nである。
【数6】

【0066】
上式(6)に示すように、本実施形態で用いられる空間方向NR処理では、注目画素の信号値と周辺画素の信号値との差分の大きさに応じて、適応的に重み係数が設定される。具体的には、差分が大きい場合には、加重平均処理時の重みが小さくなる。従って、エッジ部など信号値が急に変化する領域の画素は加重平均処理に寄与しなくなるため、エッジ部を保持してノイズ成分のみを低減できる利点がある。
【0067】
しかしながら、この空間方向NR処理では、注目画素と周辺画素の信号値の差分に応じて重み係数が制御されるため、ノイズ低減の程度(平滑化の強度)が、画像に含まれるノイズ量に依存するという特徴がある。具体的には、ノイズが大きいほど差分が大きくなるため、重み係数が小さくなり、上式(5)の加重平均における寄与が小さくなる。そのため、ノイズが大きいほどノイズ低減の程度は弱くなり、ノイズが低減されなくなってしまう。
【0068】
そこで、本実施形態では、上式(6)のガウス分布の標準偏差σを、図5のステップS2(又は図10のステップS21)で出力されるノイズ量Nに基づいて算出する。具体的には、下式(7)を用いて標準偏差σを算出する。
【数7】

【0069】
ここで、上式(7)において、係数Cbは正の実数である。係数Cbは、予め一定の値を設定してもよいし、外部I/F部500よりユーザーが任意の値を設定する構成としてもよい。
【0070】
このように、ノイズ量Nに基づいてガウス分布の標準偏差σを算出することにより、ノイズ量に対して適応的なノイズ低減処理を実現することが可能である。即ち、ノイズ量Nが大きいほど標準偏差σが大きくなるため、上式(6)において差分(例えばFG_cur(x+i,y+j)−FG_cur(x,y))がノイズにより大きくなった場合でも、標準偏差σがノイズ量Nに依存しない場合に比べて、重み係数を大きくできる。そのため、ノイズが大きい場合でも平滑化の強度を維持できる。
【0071】
なお、以上の実施形態では、補間処理部310より出力されるRGB画像に対してNR処理を施す場合を例に説明したが、本実施形態はこれに限定されない。例えば、撮像素子240より出力される画像に対してNR処理を施してもよい。この場合、撮像素子240はベイヤ配列を有するため、撮像素子240が出力する画像は、各画素がR、G、Bのうち何れか1種類の信号値のみを有するベイヤ画像となる。そのため、同色の信号値を有する画素のみを用いて、NR処理が施される。例えば注目画素がG画素の場合には、注目画素と周辺のG画素を用いてNR処理が施される。
【0072】
また、以上の実施形態では、ノイズ量Nを取得する際のRGB画像の信号値として、RGB画像の注目画素の信号値を用いたが、本実施形態はこれに限定されない。例えば、RGB画像の注目画素及びその周辺画素の平均値を信号値として、その信号値に対応するノイズ量Nをノイズ量テーブルから取得してもよい。
【0073】
また、以上の実施形態では、推定ノイズ量取得部322がルックアップテーブル323からノイズ量Nを取得する場合を例に説明したが、本実施形態はこれに限定されない。例えば、推定ノイズ量取得部322が、補間処理部310からのRGB画像に基づいてノイズ量Nを推定(算出)してもよい。
【0074】
以上の実施形態によれば、図4に示すように、画像処理装置は、評価値算出部321と推定ノイズ量取得部322と判定部324とノイズ低減処理部325を含む。図5のS1で説明したように、評価値算出部321は、撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。S2で説明したように、推定ノイズ量取得部322は、撮像画像の推定ノイズ量Nを取得する。S3で説明したように、判定部324は、評価値と推定ノイズ量Nに基づいて、静止状態であるか否かの判定を行う。S4で説明したように、ノイズ低減処理部325は、静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を撮像画像に対して行う。S5で説明したように、静止状態でない(動作状態)と判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を撮像画像に対して行う。
【0075】
具体的には、判定部324は、推定ノイズ量Nを閾値とし、フレーム間差分値mSADが閾値以下である場合に静止状態であると判定する。
【0076】
このようにすれば、画像が静止状態であるか否を高精度に判定することが可能になる。即ち、図7(A)〜図8(C)で説明したように、フレーム間差分値mSADはノイズ量に依存して変化する。本実施形態では、推定ノイズ量Nを用いて、フレーム間差分値mSADが静止状態に該当するか否かの判定を行うため、ノイズ量に影響されず高精度に判定できる。
【0077】
例えば本実施形態では、画像処理装置は、補間処理部310、ノイズ低減部320、フレームメモリ330に対応する。また撮像画像は、補間処理部310からのRGB画像に対応する。また評価値は、フレーム間差分値mSADに対応する。なお、本実施形態はこれに限定されず、評価値とは、複数フレームの画像を用いて算出され、画像上において被写体が静止した状態と静止していない状態とで値が異なるものであればよい。
【0078】
ここで、時間方向のノイズ低減処理とは、撮像画像の時間方向におけるノイズを低減する処理である。具体的には、第1フレームの画像における処理対象画素と、第1フレームよりも後の第2フレームの画像における処理対象画素を時系列の画素とし、その時系列の画素に対して平滑化を行う処理である。例えば上式(4)において、第1フレームの画像における処理対象画素はFG_pre(x+m,y+n)であり、第2フレームの画像における処理対象画素はFG_cur(x,y)である。
【0079】
また、空間方向のノイズ低減処理とは、撮像画像の空間方向におけるノイズを低減する処理である。具体的には、1つのフレームの画像において、処理対象画素と処理対象画素の近傍の画素とを用いて、処理対象画素に対して平滑化を行う処理である。例えば上式(5)において、1つのフレームの画像はFG_curであり、処理対象画素は(x,y)であり、処理対象画素の近傍の画素は、−I≦i≦I、−I≦j≦Iにおける(x+i,y+j)である。
【0080】
なお、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理は、1つのフレームの画像のみに対する空間方向のノイズ低減処理を、少なくとも含んでいればよい。例えば、上式(5)に示すように、複数フレームの画像を用いたノイズ低減処理であってもよい。
【0081】
また本実施形態では、上式(1)で説明したように、撮像画像の第1フレームFG_curにおいて処理対象画素(x,y)を中心とする所定サイズ((2k+1)画素)の領域を第1領域とし、撮像画像の第2フレームFG_preにおいて処理対象画素(x,y)を中心とする所定サイズ((2k+1)画素)の領域を第2領域とする。この場合に、評価値算出部321は、第1領域の画素値と第2領域の画素値との差分値SAD(m,n)を、第1領域に対して第2領域を水平(x軸に沿った方向)及び垂直(y軸に沿った方向)に1画素ずつ順次シフト(m,n=−1,0,1)しながら複数求める。評価値算出部321は、求めた複数の差分値SAD(m,n)のうちの最小値min(SAD(m,n))をフレーム間差分値mSADとして出力する。判定部324は、その最小値が閾値N以下である場合に静止状態であると判定する。
【0082】
このようにすれば、フレーム間において1画素程度、被写体が動く場合であっても、時間方向NR処理を選択できる。即ち、静止状態とはいえ画像上において被写体が全く動かないわけではないため、静止状態と見なせる範囲の動きであれば時間方向NR処理を選択し、構造情報を失わずにノイズ低減処理できる。
【0083】
また本実施形態では、図4に示すように、画像処理装置は、撮像画像を撮像する撮像部200の画角情報を取得する画角情報取得部326を含む。判定部324は、画角情報が表す画角θに応じて、静止状態であるか否かの判定条件を設定する。
【0084】
より具体的には、図10のS20に示すように、評価値算出部321は、撮像画像のフレーム間差分値mSADを評価値として算出する。S22、S23に示すように、判定部324は、画角θが閾値θMAX以上である場合、フレーム間差分値mSADが推定ノイズ量N以下である場合に静止状態であると判定する。S22、S24に示すように、判定部324は、画角θが閾値θMAXよりも小さい場合、フレーム間差分値mSADが、1よりも大きい係数Caを推定ノイズ量Nに対して乗じた値以下である場合に、静止状態であると判定する。
【0085】
なお、上記の実施形態では画角判定の閾値を、画角調整範囲θMIN〜θMAXの上限θMAXとしたが、本実施形態はこれに限定されない。例えば、画角調整範囲θMIN〜θMAX内の所定画角を閾値としてもよい。
【0086】
このようにすれば、撮像部200の画角θが閾値より小さい場合に拡大観察状態であると判定できる。拡大観察状態であると判定された場合、閾値を推定ノイズ量Nより大きいCaNに設定することで、通常観察状態の場合よりも時間方向NR処理を選択されやすくできる。これにより、拡大観察状態において病変部等の微細な構造の視認性を向上できる。
【0087】
3.第2の実施形態
3.1.内視鏡システム
撮像部200の前方視野と側方視野とで異なる閾値により、静止状態と動作状態の判別処理を行う第2の実施形態について説明する。
【0088】
図11に、第2の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部100と、撮像部200と、制御装置300と、表示部400と、外部I/F部500を含む。なお以下では、第1の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部200と制御装置300以外は、第1の実施形態と同一であるため、説明を省略する。
【0089】
撮像部200は、ライトガイドファイバ210と、照明レンズ220と、集光レンズ270と、撮像素子240と、メモリ250を含む。ライトガイドファイバ210と、照明レンズ220と、撮像素子240と、メモリ250については、第1の実施形態と同一であるため、説明を省略する。集光レンズ270は、撮像部200の先端から突出しており、前方視野及び側方視野を観察可能である。集光レンズ270は、例えば視野角が230°の対物レンズにより構成される。
【0090】
図12に示すように、補間処理部310は、前方視野の被写体が撮像された前方視野領域と、側方視野の被写体が撮像された側方視野領域とを含むRGB画像を出力する。RGB画像の中央部は前方視野に対応し、RGB画像の周辺部は側方視野に対応する。図13に示すように、このRGB画像の中心座標を(xo,yo)とする。中心座標(xo,yo)を基準として、半径Rの範囲内にある領域を前方視野領域とし、半径Rの範囲外にある領域を側方視野領域とする。
【0091】
制御装置300は、補間処理部310と、ノイズ低減部320と、フレームメモリ330と、表示画像生成部340と、制御部390を含む。ノイズ低減部320以外の処理は、第1の実施形態と同一であるため、説明を省略する。
【0092】
3.2.ノイズ低減処理
図14に、第2の実施形態におけるノイズ低減部320の詳細な構成例を示す。ノイズ低減部320は、評価値算出部321、推定ノイズ量取得部322、ルックアップテーブル323、判定部324、ノイズ低減処理部325、領域判定部327を含む。
【0093】
図15に、第2の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップS42以外は図5や図10で説明したステップと同様であるため、適宜説明を省略する。
【0094】
ステップS42に示すように、領域判定部327は、注目画素が属する領域の判別処理を行う。即ち、領域判定部327は、注目画素が前方視野領域に属するか、側方視野領域に属するかを、下式(8)により判定する。下式(8)のrは、下式(9)により求められる。下式(9)において(x,y)は注目画素の座標である。
【数8】

【数9】

【0095】
ステップS43、S44に示すように、判定部324は、ステップS40で出力される差分平均値mSADと、ステップS41で出力されるノイズ量Nと、ステップS42より出力される注目画素の属する領域の情報と、に基づいて判別処理を行う。具体的には、注目画素が側方視野領域に属すると判定された場合には、ステップS44に示すように上式(2)を用いて静止状態か否かの判定を行う。注目画素が前方視野領域に属すると判定された場合には、ステップS43に示すように上式(3)を用いて静止状態か否かの判定を行う。
【0096】
一般に、視野角の広いレンズを用いて取得された画像では、周辺部において画像が大きく歪むため、周辺部の高周波成分が失われる特徴がある。そのため、本実施形態において取得される画像の側方視野領域は、スクリーニングには適しているが、歪みの少ない前方視野領域に比べると精査には適さない。
【0097】
本実施形態では、側方視野領域における閾値よりも前方視野領域における閾値を大きくして判別処理を行う。これにより、側方領域については空間方向NRを支配的にし、前方領域については時間方向NRを支配的にでき、適応的なNR処理を実現することが可能である。即ち、精査に用いられると考えられる前方領域については、閾値をCaN(Ca>1)として時間方向NRが選択されやすくすることで、高周波成分を保持した状態でノイズのみを低減する。一方、スクリーニングに用いられると考えられる側方領域については、閾値をNとし、空間方向NRが選択されやすくすることで、残像を抑制する。このようにして、より診断に適した画像をドクターに提示することが可能となる。
【0098】
上記の実施形態によれば、判定部324は、撮像画像においてノイズ低減処理の対象領域が属する領域に応じて、静止状態であるか否かの判定条件を設定する。
【0099】
このようにすれば、微細構造の観察に用いる領域において、時間方向NR処理を選択されやすくすることが可能になる。これにより、その領域において病変部等の微細な構造の視認性を向上できる。
【0100】
具体的には、図14に示すように、画像処理装置は領域判定部327を含む。図11、図12で説明したように、撮像部200は、撮像部200の前方視野及び側方視野を撮像可能である。図13で説明したように、領域判定部327は、対象領域が、撮像画像において前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行う。判定部324は、前方視野領域に属すると判定された場合と、側方視野領域に属すると判定された場合とで、異なる判定条件を設定する。
【0101】
より具体的には、図15のS42、S43に示すように、判定部324は、対象領域が側方視野領域に属すると判定された場合、フレーム間差分値mSADが推定ノイズ量N以下である場合に静止状態であると判定する。S42、S44に示すように、判定部324は、対象領域が前方視野領域に属すると判定された場合、フレーム間差分値mSADが、1よりも大きい係数Caを推定ノイズ量Nに対して乗じた値以下である場合に静止状態であると判定する。
【0102】
例えば、図13で説明したように、領域判定部327は、撮像画像における対象領域の位置(x,y)に基づいて、対象領域が属する領域を判定する。
【0103】
このようにすれば、前方視野領域であると判定された場合、閾値を推定ノイズ量Nより大きいCaNに設定することで、側方視野領域よりも時間方向NR処理を選択されやすくできる。
【0104】
ここで、ノイズ低減処理の対象領域とは、1画素により構成されてもよいし、複数画素により構成されてもよい。例えば、上式(4)に示す第1のノイズ低減処理や、上式(5)に示す第2のノイズ低減処理では、画素(x,y)が対象領域である。
【0105】
また、前方視野とは、撮像部200の光軸方向を含む視野範囲であり、例えば光軸に対して0度〜70度の範囲である。側方視野とは、光軸に直交する方向を含む視野範囲である。例えば、撮像部200の視野範囲が、光軸に対して0度〜115度である場合、側方視野は、光軸に対して70度〜115度の範囲である。
【0106】
4.第3の実施形態
4.1.内視鏡システム
白色光画像と特殊光画像とで異なる閾値により、静止状態と動作状態の判別処理を行う第3の実施形態について説明する。
【0107】
図16に、第3の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部100と、撮像部200と、制御装置300と、表示部400と、外部I/F部500を含む。なお以下では、第1の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。撮像部200と制御装置300以外は、第1の実施形態と同一であるため、説明を省略する。
【0108】
撮像部200は、ライトガイドファイバ210と、照明レンズ220と、集光レンズ231と、撮像素子240と、メモリ250と、狭帯域フィルタ290と、フィルタ駆動部280を含む。ライトガイドファイバ210と、照明レンズ220と、撮像素子240と、メモリ250は第1の実施形態と同一であるため、説明を省略する。フィルタ駆動部280は狭帯域フィルタ290に接続されており、さらに制御部390と双方向に接続されている。
【0109】
図17に示すように、狭帯域フィルタ290は、380〜450nm、及び530〜550nmの光を透過する。また、狭帯域フィルタ290は、集光レンズ231及び撮像素子240の間の光路に挿入できるようになっている。狭帯域フィルタ290の挿入・非挿入は、例えば外部I/F部500よりユーザーが制御する。この場合、ユーザーの指示が、外部I/F部500より制御部390を介してフィルタ駆動部280に送られ、フィルタ駆動部280が狭帯域フィルタ290を駆動する。狭帯域フィルタ290が光路中に挿入されている場合、制御部390は、補間処理部310及びノイズ低減部320へトリガ信号を出力する。
【0110】
制御装置300は、補間処理部310と、ノイズ低減部320と、フレームメモリ330と、表示画像生成部340と、制御部390を含む。
【0111】
補間処理部310は、撮像素子240により撮像される画像に対して補間処理を行う。補間処理部310は、上述のトリガ信号が制御部390から出力されていない場合(狭帯域フィルタ290が挿入されていない場合)には、第1の実施形態と同一の手法によりRGB画像を生成する。以下では、狭帯域フィルタ290が挿入されていない場合に取得されるRGB画像を、白色光画像(広義には通常光画像)と呼ぶ。
【0112】
一方、上述のトリガ信号が制御部390から出力されている場合(狭帯域フィルタ290が挿入されている場合)には、補間処理部310は、G信号及びB信号に対してのみ補間処理を行う。補間処理は、例えば公知のバイキュービック補間処理である。この場合、補間処理部310は、全画素においてG信号を有するG画像と、全画素においてB信号を有するB画像とを、補間処理により生成する。そして、RGB画像のR信号にG画像を入力し、RGB画像のG信号とB信号にB画像を入力することで、RGB画像を生成する。以下では、狭帯域フィルタ290が挿入されている場合に取得されるRGB画像を、狭帯域光画像(広義には特殊光画像)と呼ぶ。
【0113】
4.2.ノイズ低減処理
図18に、第3の実施形態におけるノイズ低減部320の詳細な構成例を示す。ノイズ低減部320は、評価値算出部321、推定ノイズ量取得部322、ルックアップテーブル323、判定部324、ノイズ低減処理部325を含む。
【0114】
図19に、第3の実施形態におけるノイズ低減処理のフローチャートを示す。なお、ステップS62、S64以外は図5や図10で説明したステップと同様であるため、適宜説明を省略する。
【0115】
ステップS62〜S64に示すように、判定部324は、ステップS60で出力される差分平均値mSADと、ステップS61で出力されるノイズ量Nと、制御部390から出力されるトリガ信号と、に基づいて判別処理を行う。具体的には、制御部390からトリガ信号が出力されている場合には、判定部324は、下式(10)を用いて判別処理を行う。下式(10)において、係数Ccは1より小さい正の実数である。制御部390からトリガ信号が出力されていない場合には、判定部324は、上式(2)を用いて判別処理を行う。
【数10】

【0116】
一般に、狭帯域光画像では光量が不足するため、白色光画像に比べてノイズが増加(S/Nが悪化)する特徴がある。そのため、図6(A)で説明した構造成分が、図6(B)で説明したノイズ成分に埋もれてしまい、静止状態と動作状態の判別処理の精度が劣化する。即ち、静止状態か否かの判別処理において、動作状態にも関わらず静止状態と判別され、時間方向NR処理が選択されてしまう。この場合、時間方向NR処理の副作用である残像を生じるという課題がある。
【0117】
この点、本実施形態によれば、狭帯域光画像が取得されている場合には、上式(10)を用いて静止状態か否かの判別処理を行う。Cc<1であるため、白色光画像の場合よりも閾値が小さくなり、空間方向NR処理を支配的にできる。これにより、動作状態にも関わらず静止状態と判別される可能性を低くでき、残像を生じる問題を改善可能である。このようにして、内視鏡の観察モード(白色光画像観察または狭帯域光画像観察)に応じて、動き判別処理時の閾値を制御することで、適応的なNR処理を実現することができる。
【0118】
上記の実施形態によれば、判定部324は、撮像画像の種類に応じて、静止状態であるか否かの判定条件を設定する。
【0119】
このようにすれば、撮像画像の種類がもつ特性に合わせて、第1のノイズ低減処理又は第2のノイズ低減処理を選択されやすくすることができる。例えば、微細構造の視認性向上が可能になり、又は、静止状態の誤判定を抑制することが可能になる。
【0120】
ここで、撮像画像の種類とは、例えば撮像画像の画素数や解像度、露出時間、フレームレート、装着された撮像部200の種類、照明光の特性、撮像に使用する光学フィルタの特性等によって決まる。
【0121】
また本実施形態では、図16で説明したように、撮像画像は、白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像(狭義には狭帯域光画像)である。判定部324は、撮像画像が白色光画像である場合と、撮像画像が特殊光画像である場合とで、異なる判定条件を設定する。
【0122】
具体的には、図19のS62、S63に示すように、判定部324は、撮像画像が白色光画像である場合、フレーム間差分値mSADが推定ノイズ量N以下である場合に静止状態であると判定する。S62、S64に示すように、判定部324は、撮像画像が特殊光画像である場合、フレーム間差分値mSADが、1よりも小さい係数Ccを推定ノイズ量Nに対して乗じた値以下である場合に、静止状態であると判定する。
【0123】
このようにすれば、特殊光画像であると判定された場合、閾値を推定ノイズ量Nより小さいCcNに設定することで、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を、白色光画像の場合よりも選択されやすくできる。これにより、白色光画像よりもS/Nが低い特殊光画像において、静止状態の誤判定を抑制できる。
【0124】
なお、上記の実施形態では、狭帯域フィルタ290を光路に挿入することにより特殊光画像を撮像する場合を例に説明したが、本実施形態はこれに限定されない。例えば、光源部100が、特殊光(狭義には狭帯域光)を出射することにより特殊光画像を撮像してもよい。あるいは、撮像部200が、特殊光を透過する色フィルタを有する撮像素子を更に含み、その撮像素子により特殊光画像を撮像してもよい。あるいは、画像処理により白色光画像から特殊光画像を生成してもよい。
【0125】
また本実施形態では、特定の波長帯域は、白色の波長帯域(例えば380nm〜650nm)よりも狭い帯域である(NBI:Narrow Band Imaging)。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、390nm〜445nm(第1の狭帯域光、狭帯域光のB2成分)、または530nm〜550nm(第2の狭帯域光、狭帯域光のG2成分)である。
【0126】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
【0127】
5.第4の実施形態
5.1.内視鏡システム
フレーム間における被写体の動きベクトルを検出し、その動きベクトルの分だけ位置をずらしたフレーム間において静止状態と動作状態の判別処理を行う第4の実施形態について説明する。
【0128】
図20に、第4の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、光源部100と、撮像部200と、制御装置300と、表示部400と、外部I/F部500を含む。なお以下では、第1の実施形態における内視鏡システムの構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。制御装置300以外は、第1の実施形態と同一であるため、説明を省略する。
【0129】
制御装置300は、補間処理部310と、ノイズ低減部320と、フレームメモリ330と、表示画像生成部340と、動きベクトル検出部350と、制御部390を含む。制御装置300の構成は、動きベクトル検出部350が追加された以外は、第1の実施形態と同一である。
【0130】
動きベクトル検出部350は、補間処理部310から出力されるRGB画像、及びフレームメモリ330に保持されている過去画像に基づいて、動きベクトル(Vec_x,Vec_y)を検出する。動きベクトルの検出には、例えば公知のブロックマッチング処理を用いればよい。動きベクトルは、例えば各画素について求める。
【0131】
5.2.ノイズ低減処理
図21に、第4の実施形態におけるノイズ低減部320の詳細な構成例を示す。ノイズ低減部320は、評価値算出部321、推定ノイズ量取得部322、ルックアップテーブル323、判定部324、ノイズ低減処理部325を含む。
【0132】
第4の実施形態におけるノイズ低減処理のフローチャートは、図10で説明した第1の実施形態と同様である。図10のステップS20、S25、S26以外の処理は、第1の実施形態と同様であるため、適宜説明を省略する。
【0133】
ステップS20では、評価値算出部321が、下式(11)を用いて差分平均値mSADを算出する。具体的には、動きベクトル検出部350が動きベクトル(Vec_x,Vec_y)を検出し、評価値算出部321が動きベクトル(Vec_x,Vec_y)を考慮して差分平均値mSADを算出する。
【数11】

【0134】
ステップS25では、下式(12)に示すように、ノイズ低減処理部325は、動きベクトル(Vec_x,Vec_y)を考慮した時間方向NR処理を行う。
【数12】

【0135】
ステップS26では、下式(13)に示すように、ノイズ低減処理部325は、動きベクトル(Vec_x,Vec_y)を考慮した空間方向NR処理を行う。
【数13】

【0136】
上式(13)において、重み係数we_cur、we_preは下式(14)で表される。
【数14】

【0137】
本実施形態によれば、動きベクトルを考慮することで、スクリーニング時のように動き量が大きい場合にも、時間方向NR処理が機能するようになる。即ち、上式(11)において過去画像FG_preの画素位置が動き補償されているため、動きベクトルの検出処理が被写体の動きに追従できる場合には静止状態と判別され、時間方向NR処理が選択される。これにより、被写体に動きがある場合であっても、高周波成分を保持した状態でノイズのみを減衰することが可能になる。
【0138】
上記の実施形態によれば、図20に示すように、画像処理装置は、撮像画像の第1フレームと第2フレームの間における被写体の動きベクトル(Vec_x,Vec_y)を検出する動きベクトル検出部350を含む。上式(11)で説明したように、評価値算出部321は、第1フレームと、動きベクトル(Vec_x,Vec_y)により動き補償される第2フレームとの間において、静止状態であるか否かを判定するための評価値(フレーム間差分値mSAD)を算出する。上式(12)〜(14)で説明したように、ノイズ低減処理部322は、第1フレームと、動きベクトル(Vec_x,Vec_y)により動き補償される第2フレームとに基づいて、第1のノイズ低減処理と第2のノイズ低減処理を行う。
【0139】
ここで、動きベクトルにより動き補償されるとは、判定処理やノイズ低減処理において、第2フレームの画素位置が動きベクトルにより補償されていることである。例えば、上式(11)において、SADを求める際に第2フレームFG_preの画素位置は、第1フレームFG_curの画素位置に対して、動きベクトル(Vec_x,Vec_y)の分だけずれた位置である。
【0140】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。なお、本実施形態は内視鏡システムに限定されず、デジタルビデオカメラ等の種々の撮像システムに適用可能である。
【0141】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0142】
100 光源部、110 白色光源、120 レンズ、200 撮像部、
210 ライトガイドファイバ、220 照明レンズ、230 集光レンズ、
231 集光レンズ、240 撮像素子、250 メモリ、260 レンズ駆動部、
270 集光レンズ、280 フィルタ駆動部、290 狭帯域フィルタ、
300 制御装置、310 補間処理部、320 ノイズ低減部、
321 評価値算出部、322 推定ノイズ量取得部、322 ノイズ低減処理部、
323 ルックアップテーブル、324 判定部、325 ノイズ低減処理部、
326 画角情報取得部、327 領域判定部、330 フレームメモリ、
340 表示画像生成部、350 動きベクトル検出部、390 制御部、
400 表示部、500 外部I/F部、
Ca,Cc 係数、mSAD フレーム間差分値、N 推定ノイズ量、
R 半径、x,y 画素位置、xo,yo 中心位置、θ 画角

【特許請求の範囲】
【請求項1】
撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、
前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
を含むことを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記撮像画像を撮像する撮像部の画角情報を取得する画角情報取得部を含み、
前記判定部は、
前記画角情報が表す画角に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記評価値算出部は、
前記撮像画像のフレーム間差分値を前記評価値として算出し、
前記判定部は、
前記画角が閾値以上である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
前記画角が前記閾値よりも小さい場合、前記フレーム間差分値が、1よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
【請求項4】
請求項1において、
前記判定部は、
前記撮像画像においてノイズ低減処理の対象領域が属する領域に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
【請求項5】
請求項4において、
領域判定部を含み、
前記撮像画像を撮像する撮像部は、前記撮像部の前方視野及び側方視野を撮像可能であり、
前記領域判定部は、
前記対象領域が、前記撮像画像において前記前方視野に対応する領域である前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である側方視野領域のいずれに属するかの判定を行い、
前記判定部は、
前記前方視野領域に属すると判定された場合と、前記側方視野領域に属すると判定された場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
【請求項6】
請求項5において、
前記評価値算出部は、
前記撮像画像のフレーム間差分値を前記評価値として算出し、
前記判定部は、
前記対象領域が前記側方視野領域に属すると判定された場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
前記対象領域が前記前方視野領域に属すると判定された場合、前記フレーム間差分値が、1よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
【請求項7】
請求項5において、
前記領域判定部は、
前記撮像画像における前記対象領域の位置に基づいて、前記対象領域が属する領域を判定することを特徴とする画像処理装置。
【請求項8】
請求項1において、
前記判定部は、
前記撮像画像の種類に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
【請求項9】
請求項8において、
前記撮像画像は、
白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像であり、
前記判定部は、
前記撮像画像が前記白色光画像である場合と、前記撮像画像が前記特殊光画像である場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
【請求項10】
請求項9において、
前記評価値算出部は、
前記撮像画像のフレーム間差分値を前記評価値として算出し、
前記判定部は、
前記撮像画像が前記白色光画像である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
前記撮像画像が前記特殊光画像である場合、前記フレーム間差分値が、前記推定ノイズ量に対して1よりも小さい係数を乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
【請求項11】
請求項9において、
前記特定の波長帯域は、
前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項12】
請求項11において、
前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項13】
請求項12において、
前記特定の波長帯域は、390nm〜445nm、または530nm〜550nmであることを特徴とする画像処理装置。
【請求項14】
請求項1において、
前記撮像画像の第1フレームと第2フレームの間における被写体の動きベクトルを検出する動きベクトル検出部を含み、
前記評価値算出部は、
前記第1フレームと、前記動きベクトルにより動き補償される前記第2フレームとの間において、前記静止状態であるか否かを判定するための前記評価値を算出し、
前記ノイズ低減処理部は、
前記第1フレームと、前記動きベクトルにより動き補償される前記第2フレームとに基づいて、前記第1のノイズ低減処理と前記第2のノイズ低減処理を行うことを特徴とする画像処理装置。
【請求項15】
請求項1において、
前記評価値算出部は、
前記撮像画像のフレーム間差分値を、前記評価値として算出し、
前記判定部は、
前記推定ノイズ量を閾値とし、前記フレーム間差分値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
【請求項16】
請求項15において、
前記撮像画像の第1フレームにおいて処理対象画素を中心とする所定サイズの領域を第1領域とし、前記撮像画像の第2フレームにおいて処理対象画素を中心とする所定サイズの領域を第2領域とする場合に、
前記評価値算出部は、
前記第1領域の画素値と前記第2領域の画素値との差分値を、前記第1領域に対して前記第2領域を水平及び垂直に1画素ずつ順次シフトしながら複数求め、求めた前記複数の差分値のうちの最小値を前記フレーム間差分値として出力し、
前記判定部は、
前記最小値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
【請求項17】
撮像画像を撮像する撮像部と、
前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行う判定部と、
前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
を含むことを特徴とする内視鏡装置。
【請求項18】
撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、
前記撮像画像の推定ノイズ量を取得し、
前記評価値と前記推定ノイズ量に基づいて、前記静止状態であるか否かの判定を行い、
前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うことを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2013−78460(P2013−78460A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−219817(P2011−219817)
【出願日】平成23年10月4日(2011.10.4)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】