画像処理装置、画像処理方法、及び画像処理ソフトウェア
【課題】正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得る。
【解決手段】結果補正部１２０は、病変検出部１１０から対象静止画像及び参考静止画像の各検出結果を受信し、これらの検出結果を用いて、異常部の位置、大きさ、及び範囲を特定する。そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と１／４以上重複する参考静止画像を検出する。そして、重複する領域の画素数を参考重みＧ（ｔ）とする。１／４以上重複しない参考静止画像に関しては、参考重みＧ（ｔ）は０となる。次に、正規化重みｇ（ｔ）を算出する。参考特徴量Ｐ（ｔ）に正規化重みｇ（ｔ）を乗じたものを全ての参考特徴量Ｐ（ｔ）に関して求め、対象特徴量Ｐ（０）に加え、加算特徴量Ｓ（０）を求める。加算特徴量Ｓ（０）を用いて、対象静止画像における異常部を検出する。
【解決手段】結果補正部１２０は、病変検出部１１０から対象静止画像及び参考静止画像の各検出結果を受信し、これらの検出結果を用いて、異常部の位置、大きさ、及び範囲を特定する。そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と１／４以上重複する参考静止画像を検出する。そして、重複する領域の画素数を参考重みＧ（ｔ）とする。１／４以上重複しない参考静止画像に関しては、参考重みＧ（ｔ）は０となる。次に、正規化重みｇ（ｔ）を算出する。参考特徴量Ｐ（ｔ）に正規化重みｇ（ｔ）を乗じたものを全ての参考特徴量Ｐ（ｔ）に関して求め、対象特徴量Ｐ（０）に加え、加算特徴量Ｓ（０）を求める。加算特徴量Ｓ（０）を用いて、対象静止画像における異常部を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像において所定の特徴を有する部分を検出する画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置は、例えば内視鏡装置に用いられる。内視鏡装置は、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられて画像処理を行う内視鏡プロセッサとを備える。内視鏡スコープは、遠位端に設けられる撮像素子が撮影した観察画像を内視鏡プロセッサに送信する。内視鏡プロセッサは、観察画像を画像処理して表示装置に表示する。
【０００３】
観察画像に含まれる病変部を自動的に検出して表示する内視鏡装置が知られている。内視鏡装置は、観察画像が有する色調情報に基づいて所定の特徴に関する特徴量を算出し、予め設定された基準特徴量と算出した特徴量とを比較して、病変部を検出する（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９２８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、観察条件に応じて観察画像に陰影ができたり、ハレーションが起きたりすることがある。このような場合、画像処理装置は病変部を正確に検出できず、病変部を正常部として判定したり、正常部を病変部として判定したりするおそれがある。
【０００６】
本発明はこの問題に鑑みてなされたものであり、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
本願発明による画像処理装置は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致する異常部を静止画像から特徴量を用いて検出する検出部と、異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出し、検出部は、加算特徴量を用いて対象静止画像における異常部を検出することを特徴とする。
【０００８】
補正部は、複数の重みを算出し、全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出することが好ましい。
【０００９】
補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出することが好ましい。
【００１０】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像が好適である。対象静止画像における異常部をリアルタイムで検出することができる。
【００１１】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像が好適である。記憶済みの対象静止画像における異常部をより正確に検出することができる。
【００１２】
本願第２の発明による画像処理方法は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出するステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を算出するステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を算出するステップと、加算特徴量を用いて対象静止画像における異常部を検出するステップとを備えることを特徴とする。
【００１３】
本願第３の発明によるソフトウェアは、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を補正部に算出させるステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を補正部に算出させるステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして補正部に算出させるステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を補正部に算出させるステップと、加算特徴量を用いて対象静止画像における異常部を検出部に検出させるステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得る。
【図面の簡単な説明】
【００１５】
【図１】電子内視鏡システムのブロック図である。
【図２】対象静止画像を示した図である。
【図３】対象特徴量及び対象検出結果を示した図である。
【図４】参考特徴量及び参考検出結果を示した図である。
【図５】加算特徴量によって構成される対象静止画像を示した図である。
【図６】加算検出結果を用いた検出結果を示した図である。
【図７】異常部検出処理を示したフローチャートである。
【図８】補正処理を示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明における画像処理装置１００の実施形態について添付図面を参照して説明する。まず、図１を用いて画像処理装置１００を備える電子内視鏡システム２００の構成について説明する。
【００１７】
電子内視鏡システム２００は、被験者の体内に挿入される内視鏡スコープ２１０と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ２２０と、内視鏡プロセッサ２２０に接続されるモニタ２４０とを主に備える。内視鏡スコープ２１０は、被写体像を撮像して得られた静止画像を内視鏡プロセッサ２２０に送信し、内視鏡プロセッサ２２０は、受信した静止画像に画像処理を施して表示画像を作成し、モニタ２４０に表示画像を表示させる。
【００１８】
内視鏡スコープ２１０の構成について詳細に説明する。内視鏡スコープ２１０の遠位端部には、撮像レンズ２１１及びＣＣＤ２１２が主に設けられる。ＣＣＤ２１２は撮像レンズ２１１を介して被写体像を受光し、静止画像を出力する。内視鏡スコープ２１０の全長に渡ってライトガイド２１３が設けられ、照明光を遠位端部まで運ぶ。
【００１９】
ＣＣＤ２１２の撮像面には複数の画素が設けられる。１つの画素の受光面には、赤色、青色、又は緑色いずれか１つの波長帯の光を透過するフィルタが取り付けられる。赤色のフィルタが取り付けられた画素は、赤色の波長帯を有する光の輝度を輝度情報として出力し、青色のフィルタが取り付けられた画素は青色の輝度情報、緑色のフィルタが取り付けられた画素は緑色の輝度情報を出力する。以下、赤色の波長帯を有する光の輝度を赤色輝度情報、青色の波長帯を有する光の輝度を青色輝度情報、そして緑色の波長帯を有する光の輝度を緑色輝度情報と呼ぶ。ＣＣＤ２１２が出力した輝度情報は、１つの画素に対して１つの色の輝度情報のみが存在する。ＣＣＤ２１２が出力した輝度情報は、内視鏡プロセッサ２２０に送信される。
【００２０】
内視鏡スコープ２１０は内視鏡プロセッサ２２０に接続される。内視鏡プロセッサ２２０は、主処理部２２１と画像処理装置１００とから主に構成される。主処理部２２１は、輝度情報を構成する輝度信号を内視鏡スコープ２１０から受け取り、画像処理を行って撮影画像を作成した後、モニタ２４０に撮影画像を出力する。画像処理装置１００は、主処理部２２１から撮影画像を受信して撮影画像を構成する画素を正常部と異常部とに区分し、異常部に関する情報を出力する。異常部に関する情報は、異常部を構成する画素の位置である。異常部は、病気によって変化した病変部に相当する。
【００２１】
主処理部２２１について説明する。主処理部２２１は、撮影動画入力処理部２２３、記録部２２４、出力部２２５、光源２２６、システムコントローラ２２２、及び保存済動画入力処理部２２７を有する。
【００２２】
撮影動画入力処理部２２３は、ＣＣＤ２１２から輝度信号を受信して、撮影画像を作成する。撮影画像を作成する処理について説明する。前述のように、ＣＣＤ２１２が出力した輝度信号は、１つの画素に対して１つの色の輝度情報のみが存在する。しかし、撮影画像における１つの画素は、３つの色の輝度情報を必要とする。そこで、撮影動画入力処理部２２３は、ＣＣＤ２１２の１つの画素の周囲に存在する画素の輝度情報を用いて、ＣＣＤ２１２の１つの画素に欠けている色の輝度情報を作成する。例えば、赤色輝度情報を有する画素に対して、青色輝度情報及び緑色輝度情報を作成する。これにより、撮影画像における画素は、赤色、青色、及び緑色の３つの輝度情報を有することになる。連続して撮影された複数の撮影画像を繋げて１つのファイルに加工することにより、撮影動画入力処理部２２３が動画像を作成する。１枚の撮影画像は１枚のフレームを構成する。記録部２２４は、撮影動画入力処理部２２３が作成した動画像を記憶する。
【００２３】
内視鏡プロセッサ２２０には外部記録媒体２３０を接続可能である。外部記録媒体２３０は、例えばＵＳＢメモリ、及びコンパクトフラッシュ（登録商標）やＳＤカードなどのメモリカードであって、保存済動画入力処理部２２７から動画像を受け取って記憶し、記憶済みの動画像を保存済動画入力処理部２２７に出力する。保存済動画入力処理部２２７は、外部記録媒体２３０から動画像を受信して、記録部２２４に送信する。記録部２２４は、保存済動画入力処理部２２７から動画像を受信して記憶する。
【００２４】
尚、記録部２２４に記録される動画像を構成する各フレームには、経由した入力処理部に関する情報が付加される。スコープ使用中の場合は、撮影動画入力処理部２２３を経由したことを示す情報が付加され、保存動画再生中の場合は、保存済動画入力処理部２２７を経由したことを示す情報が付加される。後述の異常部検出処理・補正処理において、経由した入力処理部を確認することにより、スコープ使用中なのか、保存動画再生中なのかを判断を行う。
【００２５】
システムコントローラ２２２は、記録部２２４に記憶された動画像を画像処理装置１００に送信する。後述するように、動画像を構成する撮影画像に含まれる異常部の位置を画像処理装置１００が算出して、システムコントローラ２２２に出力する。システムコントローラ２２２は、異常部の位置を画像処理装置１００から受信し、異常部の位置を出力部２２５に送信する。出力部２２５は、撮影画像において異常部が占める範囲に印を付けた表示画像を作成する。そして、モニタ２４０は、出力部２２５が作成した表示画像を表示する。
【００２６】
光源２２６は、システムコントローラ２２２の信号に応じて、ライトガイド２１３に照明光を供給する。
【００２７】
次に、画像処理装置１００について説明する。画像処理装置１００は病変検出部１１０及び結果補正部１２０を有し、異常部を正確に検出する異常部検出処理を実行する。異常部検出処理の詳細は後述される。病変検出部１１０は、後述する特徴量を撮影画像に対して算出し、特徴量に基づいて正常部と異常部とを判定する。結果補正部１２０は、病変検出部１１０が判定した異常部の位置、大きさ、及び範囲を複数の画像を用いて補正する。
【００２８】
病変検出部１１０が特徴量を算出する手段について詳細に説明する。病変検出部１１０は、システムコントローラ２２２から撮影画像、すなわち赤色輝度情報、青色輝度情報、及び緑色輝度情報を受信して、特徴量を算出する。特徴量は、画素の特性を表す値であって、正規化処理及びＰＣＡ（Primary Component Analysis）処理によって１フレームの撮影画像の画素１つ１つに対して求められる。正規化処理及びＰＣＡ処理は、病変検出部１１０によって実行される。正規化処理は、明るさの大小が画素分離処理の結果に影響を及ぼすことを防ぐため、１つの輝度情報を用いて他の２つの輝度情報を正規化する処理である。ＰＣＡ処理は、画像を構成する画素各々の特性を求める処理である。画素各々の特性は、一般にＰＣＡスコアと呼ばれ、本発明では、特徴量Ｐと呼ばれる。
【００２９】
次に、病変検出部１１０が特徴量に基づいて正常部と異常部とを判定する手段について詳細に説明する。病変検出部１１０は、既定の閾値に基づいて撮影画像に含まれる画素から異常部を判定する。より詳しく説明すると、閾値よりも大きい特徴量を有する画素を異常部、つまり病変部として判定する。異常部を構成する画素の位置を検出結果Ｒと呼ぶ。すなわち、検出結果Ｒとは、１フレームの静止画像内において異常部を構成する画素の位置情報であり、１フレーム毎に１つ検出される。
【００３０】
次に、結果補正部１２０について説明する。
【００３１】
まず、病変検出部１１０のみで異常部を検出する際に生じる問題点を説明する。対象静止画像にハレーションや陰影が発生すると、病変検出部１１０は異常部を正しく検出できない。ハレーションが発生した対象静止画像を図２に示す。異常部を正しく検出する場合、病変検出部１１０は異常部全体を検出するが、異常部にハレーションが発生している場合、ハレーション部分以外の異常部のみを検出する（図３参照）。
【００３２】
これを防止して異常部全体を正確に検出するため、結果補正部１２０は、異常部の検出対象である対象静止画像と、対象静止画像とは異なる複数の参考静止画像とを用いて、対象静止画像の特徴量を補正する。対象静止画像の特徴量を対象特徴量、参考静止画像の特徴量を参考特徴量と呼ぶ。
【００３３】
対象静止画像の特徴量を補正する補正処理の概略について説明する。補正処理を開始する前に、病変検出部１１０は、対象静止画像の対象特徴量Ｐ（０）及び複数の参考静止画像の参考特徴量Ｐ（ｔ）、（ｔは１から１０の整数）を算出し、対象静止画像及び複数の参考静止画像から異常部を検出している。対象静止画像は、現在撮影された１フレームの静止画像であって、内視鏡スコープ２１０からシステムコントローラ２２２を経て、病変検出部１１０に送信されている。参考静止画像は、動画撮影において対象静止画像が撮影された時よりも前、つまり過去に撮影された１０枚の画像であって、記録部２２４に記憶されており、システムコントローラ２２２を経て病変検出部１１０に送信されている。補正処理を開始する前の、対象静止画像における異常部の対象特徴量Ｐ（０）及び対象検出結果Ｒ（０）を図３に示し、参考静止画像における異常部の参考特徴量Ｐ（ｔ）及び参考検出結果Ｒ（ｔ）を図４に示す。
【００３４】
結果補正部１２０は、病変検出部１１０から対象静止画像及び参考静止画像の各検出結果Ｒを受信し、これらの検出結果Ｒを用いて、異常部の位置、大きさ、及び範囲を特定する。そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と１／４以上重複する参考静止画像を検出する。言い換えると、参考静止画像における異常部の位置、大きさ、範囲が対象静止画像における異常部の位置、大きさ、範囲と１／４以上重複する、つまり面積が１／４以上重複する参考静止画像を検出する。そして、重複する領域の画素数を参考重みＧ（ｔ）とする。１／４以上重複しない参考静止画像に関しては、参考重みＧ（ｔ）は０となる。１／４という値は、観察対象物や撮影条件、また経験則等から決定される。
【００３５】
次に、結果補正部１２０は、参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除して、正規化重みｇ（ｔ）を算出する。参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除することにより、各重みが正規化される。次に、参考静止画像の各画素の参考特徴量Ｐ（ｔ）に当該参考静止画像の正規化重みｇ（ｔ）を乗じる処理を全ての参考静止画像（本実施形態では１０フレーム）に対して行う。そして、各画素毎にそれぞれ１０個得られた上記乗算後の参考特徴量Ｐを、対象静止画像において対応する各画素の対象特徴量Ｐ（０）に加算し、加算特徴量Ｓ（０）を求める。以降、加算特徴量Ｓ（０）が対象特徴量Ｐ（０）として取り扱われる。これにより、対象特徴量Ｐ（０）が補正されることになる。加算特徴量Ｓ（０）によって構成される対象静止画像を図５に示す。
【００３６】
病変検出部１１０は、加算特徴量Ｓ（０）を用いて、対象静止画像における異常部を検出する。これによる検出結果を加算検出結果と呼ぶ。これにより、図６に示すように、ハレーション部分を異常部として検出できる。
【００３７】
加算検出結果はシステムコントローラ２２２を介して出力部２２５に送信され、異常部を破線で囲んだ画像を出力部２２５がモニタ２４０に送信する。
【００３８】
他方、外部記録媒体２３０に記憶されている対象静止画像及び参考静止画像を用いて補正処理を実行してもよい。この場合、対象静止画像は、ユーザが指定した１フレームの静止画像であって、外部記録媒体２３０から読み出されて一時的に記録部２２４に記憶された後、システムコントローラ２２２を経て、病変検出部１１０に送信されている。参考静止画像は、対象静止画像が撮影された時よりも前に撮影された５枚の画像と、対象静止画像が撮影された時よりも後、つまり最近撮影された５枚の画像とから成り、外部記録媒体２３０から読み出されて一時的に記録部２２４に記憶された後、システムコントローラ２２２を経て病変検出部１１０に送信されている。これらの静止画像を用いて、前述と同様の手段により加算特徴量Ｓ（０）が求められ、対象静止画像における異常部が検出される。
【００３９】
次に、図７を用いて、異常部検出処理について説明する。異常部検出処理は、内視鏡プロセッサ２２０にユーザが異常部を検出するように指示したときに実行される。異常部検出の指示は、内視鏡スコープ２１０若しくは内視鏡プロセッサ２２０に設けられるボタン（不図示）をユーザが操作することにより行う。
【００４０】
まず、ステップＳ６１において、動画像を構成する１フレーム分の静止画像を病変検出部１１０が取得する。スコープ使用中の場合は、記録部２２４を介して撮影動画入力処理部２２３から取得する。保存画像再生中の場合は、記録部２２４を介して保存済動画入力処理部２２７から取得する。この静止画像が対象静止画像である。次のステップＳ６２では、対象静止画像に含まれる全ての画素の対象特徴量Ｐ（０）と対象検出結果Ｒ（０）とを病変検出部１１０が算出し、記録部２２４が記憶する。
【００４１】
次のステップＳ６３では、参考静止画像が既定の数だけ記録部２２４に記憶されているか否かを判断する。記憶されている場合、処理はステップＳ６４に進み、対象特徴量Ｐ（０）を補正する。記憶されていない場合、対象特徴量Ｐ（０）を補正するための参考静止画像の数が足りないため、処理はステップＳ６９に進み、対象特徴量を補正しない。
【００４２】
ステップＳ６４では、記録部２２４から他のフレームの検出結果を読み出す。言い換えると、参考静止画像の参考検出結果Ｒ（ｔ）を記録部２２４から読み出す。次のステップＳ６５では、参考検出結果Ｒ（ｔ）を用いて、上述の補正処理を行う。これにより、加算特徴量Ｓ（０）と加算検出結果とを算出する。そして次のステップＳ６６において、記録部２２４が加算特徴量Ｓ（０）と加算検出結果とを記憶する。
【００４３】
次のステップＳ６７では、出力部２２５が加算検出結果を用いて異常部を破線で囲んだ画像を作成し、作成した画像をモニタ２４０に表示させる。そして、処理はステップＳ７０に進む。
【００４４】
ステップＳ６３において、参考静止画像が既定の数だけ記録部２２４に記憶されていない場合、対象特徴量を補正するための参考静止画像の数が足りない。そのため、ステップＳ７０では対象特徴量を補正せずに異常部の検出を行い、検出結果をモニタ２４０に表示する。次のステップＳ６９では、上述の経由した入力処理部を示す情報に基づいて対象静止画像が内視鏡スコープ２１０から現在入力されたものか否かを判断する。内視鏡スコープ２１０から入力されたものである場合、ユーザは被験者の体内を現在観察していると判断できるため、異常部の位置を示した画像をモニタ２４０に表示する必要がある。そこで、処理はステップＳ６７に進んで、補正されない対象検出結果Ｒ（０）を用いて異常部をモニタ２４０に表示する。ステップＳ６９において、対象静止画像が内視鏡スコープ２１０から入力されたものでない場合、ユーザは被験者の体内を現在観察しておらず、記録済みの画像を観察していると判断できるため、異常部の位置を示した画像をモニタ２４０に表示する必要がない。そこで、処理はステップＳ７０に進む。
【００４５】
ステップＳ７０では、動画像の表示が終了したか否かを判断する。スコープ使用中の場合は、スコープの操作部の動画撮影ボタン（図示せず）が操作され、撮影終了の指示があったか否かを判断し、保存画像再生中の場合は、静止画像が最後まで再生されたか否かを判断する。撮影終了の指示が無い場合、または最後の静止画像が再生されていない場合、処理はステップＳ６１に戻り、対象静止画像及び参考静止画像を再度取得して、対象特徴量Ｐ（０）の補正を行う。ステップＳ６１からＳ７０までを繰り返すことにより、動画像に含まれる各フレームにおいて対象特徴量Ｐ（０）を補正して、異常部を正確に指示する動画像をモニタ２４０に表示することができる。ステップＳ７０において撮影終了の指示があった場合、または最後の静止画像の再生が終了している場合、処理は終了する。
【００４６】
次に、図８を用いて、補正処理について説明する。補正処理は、異常部検出処理のステップＳ６４からＳ６６に相当する。
【００４７】
まず、ステップＳ７１では、現在のフレームｔｎにおける、検出結果Ｒ（ｔｎ）及び特徴量Ｐ（ｔｎ）を記録部２２４から読み出す。ｔｎは、現在のフレームを示すフレーム番号である。フレーム番号は、時系列に１ずつ増やされる整数である。そして、次のステップＳ７２では、上述の経由した入力処理部を示す情報に基づいて現在のフレームが内視鏡スコープ２１０から入力されたか否かを判断する。
【００４８】
ステップＳ７２において、現在のフレームが内視鏡スコープ２１０から入力された場合、ユーザは被験者の体内を現在観察していると判断できるため、現在のフレームよりも新しいフレームは存在しない。そこで、処理はステップＳ７３からＳ７５を実行して、現在の撮影動作において既に撮影済みのフレームを記録部２２４から読み出す。
【００４９】
ステップＳ７３からＳ７５について説明する。ステップＳ７３では、補正対象のフレームを決定する。すなわち対象静止画像のフレーム番号ｔ０を現在のフレームのフレーム番号ｔｎと決定する。これにより、ステップＳ７１において記録部２２４から既に読み出されている検出結果Ｒ（ｔｎ）及び特徴量Ｐ（ｔｎ）が、対象検出結果Ｒ（ｔ０）及び対象特徴量Ｐ（ｔ０）として取り扱われる。そして、次のステップＳ７４では、参考静止画像を特定するフレーム番号ｔにｔ０−１の値を代入する。これにより、以降のステップＳ７９からＳ８０にて処理される参考静止画像は、対象静止画像の１つ前に撮影された静止画像となる。そして、次のステップＳ７５では、記録部２２４から参考検出結果Ｒ（ｔ）と参考特徴量Ｐ（ｔ）とを記録部２２４から読み出す。そして、ステップＳ７９に進む。
【００５０】
ステップＳ７２において、現在のフレームが内視鏡スコープ２１０から入力されていないと判断された場合、ユーザは被験者の体内を現在観察しておらず、過去に記録済みのフレームを観察していると判断できるため、現在のフレームよりも古い静止画像及び新しい静止画像が存在する。そこで、処理はステップＳ７６からＳ７８を実行して、現在のフレームよりも古いフレーム及び新しいフレームを記録部２２４から読み出す。
【００５１】
ステップＳ７６からＳ７８について説明する。ステップＳ７６では、補正対象の静止画像を決定する。すなわち、対象静止画像のフレーム番号ｔ０を現在のフレームのフレーム番号ｔｎから５を引いた値とする。そして、次のステップＳ７７では、参考静止画像を特定するフレーム番号ｔにｔｎの値を代入する。これにより、以降のステップＳ７９からＳ８０にて処理される参考静止画像は、対象静止画像の５つ後に撮影された静止画像となる。そして、次のステップＳ７８では、記録部２２４から対象検出結果Ｒ（ｔ０）、対象特徴量Ｐ（ｔ０）を記録部２２４から読み出す。なお、参考検出結果Ｒ（ｔ）及び参考特徴量Ｐ（ｔ）はステップＳ７１において記録部２２４から既に読み出されている。そして、ステップＳ７９に進む。
【００５２】
次のステップＳ７９では、対象検出結果Ｒ（ｔ０）と参考検出結果Ｒ（ｔ）とにおいて重複する領域が、対象検出結果Ｒ（ｔ０）において１／４以上の面積を占めているか否かを判断する。１／４以上の面積を占めている場合、処理はステップＳ８０に進み、重複する領域の画素数を参考重みＧ（ｔ）として、ステップＳ８２に進む。占めていない場合、処理はステップＳ８１に進み、参考重みＧ（ｔ）を０として、ステップＳ８２に進む。
【００５３】
ステップＳ８２では、フレーム番号ｔから１を減じる。これにより得られたフレーム番号を持つフレームが、次のステップＳ７５からＳ８０において処理する参考静止画像となる。
【００５４】
次のステップＳ８３では、フレーム番号ｔが対象静止画像のフレーム番号ｔ０と等しいか否かを判断する。等しい場合、次のステップＳ７５からＳ８０において処理する参考静止画像が対象静止画像となってしまうため、これを防ぐため、処理は再度ステップＳ８２を実行してフレーム番号ｔから１を減じる。等しくない場合、処理はステップＳ８４に進む。
【００５５】
ステップＳ８４では、１０フレーム分の参考重みＧ（ｔ）を算出したか否かを判断する。算出した場合、処理はステップＳ８５に進む。算出していない場合、処理はステップＳ７５に戻り、記録部２２４から参考検出結果Ｒ（ｔ）と参考特徴量Ｐ（ｔ）とを記録部２２４から読み出す。ステップＳ７５からＳ８４を繰り返すことにより、現在のフレームが内視鏡スコープ２１０から入力されている場合には、現在のフレームよりも古い１０枚の静止画像の参考重みＧ（ｔ）を得る。また、現在のフレームが内視鏡スコープ２１０から入力されていない場合には、現在のフレームよりも古い５枚の静止画像の参考重みＧ（ｔ）と、現在のフレームよりも新しい５枚の静止画像の参考重みＧ（ｔ）を得る。
【００５６】
次のステップＳ８５では、参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除して、正規化重みｇ（ｔ）を算出する。参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除することにより、各重みが正規化される。
【００５７】
次のステップＳ８６では、参考特徴量Ｐ（ｔ）に正規化重みｇ（ｔ）を乗じたものを全ての参考特徴量Ｐ（ｔ）に関して求め、対象特徴量Ｐ（ｔ０）に加え、加算特徴量Ｓ（ｔ０）を求める。これにより、対象特徴量Ｐ（ｔ０）が補正されることになる。
【００５８】
次のステップＳ８７では、病変検出部１１０が、加算特徴量Ｓ（ｔ０）を用いて、対象静止画像における異常部を検出し、対象検出結果Ｒ（ｔ０）を求める。
【００５９】
そして、ステップＳ８８では、加算特徴量Ｓ（ｔ０）を対象特徴量Ｐ（ｔ０）として、対象検出結果Ｒ（ｔ０）と共に記録部２２４に記憶する。その後、処理が終了する。ステップＳ８８において新たに記憶された対象特徴量Ｐ（ｔ０）及び対象検出結果Ｒ（ｔ０）を用いることにより、図６に示すように、結果補正部がハレーション部分を異常部として検出できる。
【００６０】
本実施形態によれば、撮影条件の変化によって生じるハレーションや陰影などに左右されずに、正常部と異常部とを正確かつ明確に分別することができる。
【００６１】
また、ＰＣＡ処理でなく、フィッシャー判別法により分類された正規化信号に対してＮＮ法又はベイズ識別法を適用することにより特徴量を求めても良い。
【００６２】
撮像部はＣＣＤ２１２に限定されず、例えばＣＭＯＳ等の撮像素子であっても良い。
【００６３】
参考静止画像は、１０枚に限定されず、対象静止画像よりも後に撮影された静止画像のみで構成されても良い。
【００６４】
そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と重複する面積は、１／４以上に限定されない。
【００６５】
異常部検出結果の表示方法は破線に限定されず、例えば実線や検出領域内を塗りつぶす等の方法であっても良い。
【符号の説明】
【００６６】
１００ 画像処理装置
１１０ 病変検出部
１２０ 結果補正部
２００ 電子内視鏡システム
２１０ 内視鏡スコープ
２１１ 撮像レンズ
２１２ ＣＣＤ
２１３ ライトガイド
２２０ 内視鏡プロセッサ
２２１ 主処理部
２２２ システムコントローラ
２２３ 撮影動画入力処理部
２２４ 記録部
２２５ 出力部
２２６ 光源
２２７ 保存済動画入力処理部
２３０ 外部記録媒体
２４０ モニタ
【技術分野】
【０００１】
本発明は、画像において所定の特徴を有する部分を検出する画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置は、例えば内視鏡装置に用いられる。内視鏡装置は、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられて画像処理を行う内視鏡プロセッサとを備える。内視鏡スコープは、遠位端に設けられる撮像素子が撮影した観察画像を内視鏡プロセッサに送信する。内視鏡プロセッサは、観察画像を画像処理して表示装置に表示する。
【０００３】
観察画像に含まれる病変部を自動的に検出して表示する内視鏡装置が知られている。内視鏡装置は、観察画像が有する色調情報に基づいて所定の特徴に関する特徴量を算出し、予め設定された基準特徴量と算出した特徴量とを比較して、病変部を検出する（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９２８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、観察条件に応じて観察画像に陰影ができたり、ハレーションが起きたりすることがある。このような場合、画像処理装置は病変部を正確に検出できず、病変部を正常部として判定したり、正常部を病変部として判定したりするおそれがある。
【０００６】
本発明はこの問題に鑑みてなされたものであり、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
本願発明による画像処理装置は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致する異常部を静止画像から特徴量を用いて検出する検出部と、異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出し、検出部は、加算特徴量を用いて対象静止画像における異常部を検出することを特徴とする。
【０００８】
補正部は、複数の重みを算出し、全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出することが好ましい。
【０００９】
補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出することが好ましい。
【００１０】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像が好適である。対象静止画像における異常部をリアルタイムで検出することができる。
【００１１】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像が好適である。記憶済みの対象静止画像における異常部をより正確に検出することができる。
【００１２】
本願第２の発明による画像処理方法は、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出するステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を算出するステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を算出するステップと、加算特徴量を用いて対象静止画像における異常部を検出するステップとを備えることを特徴とする。
【００１３】
本願第３の発明によるソフトウェアは、動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を補正部に算出させるステップと、対象静止画像とは異なる複数の参考静止画像における参考特徴量を補正部に算出させるステップと、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして補正部に算出させるステップと、参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を補正部に算出させるステップと、加算特徴量を用いて対象静止画像における異常部を検出部に検出させるステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、正常部と異常部とを正確かつ明確に分別することが可能な画像処理装置を得る。
【図面の簡単な説明】
【００１５】
【図１】電子内視鏡システムのブロック図である。
【図２】対象静止画像を示した図である。
【図３】対象特徴量及び対象検出結果を示した図である。
【図４】参考特徴量及び参考検出結果を示した図である。
【図５】加算特徴量によって構成される対象静止画像を示した図である。
【図６】加算検出結果を用いた検出結果を示した図である。
【図７】異常部検出処理を示したフローチャートである。
【図８】補正処理を示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明における画像処理装置１００の実施形態について添付図面を参照して説明する。まず、図１を用いて画像処理装置１００を備える電子内視鏡システム２００の構成について説明する。
【００１７】
電子内視鏡システム２００は、被験者の体内に挿入される内視鏡スコープ２１０と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ２２０と、内視鏡プロセッサ２２０に接続されるモニタ２４０とを主に備える。内視鏡スコープ２１０は、被写体像を撮像して得られた静止画像を内視鏡プロセッサ２２０に送信し、内視鏡プロセッサ２２０は、受信した静止画像に画像処理を施して表示画像を作成し、モニタ２４０に表示画像を表示させる。
【００１８】
内視鏡スコープ２１０の構成について詳細に説明する。内視鏡スコープ２１０の遠位端部には、撮像レンズ２１１及びＣＣＤ２１２が主に設けられる。ＣＣＤ２１２は撮像レンズ２１１を介して被写体像を受光し、静止画像を出力する。内視鏡スコープ２１０の全長に渡ってライトガイド２１３が設けられ、照明光を遠位端部まで運ぶ。
【００１９】
ＣＣＤ２１２の撮像面には複数の画素が設けられる。１つの画素の受光面には、赤色、青色、又は緑色いずれか１つの波長帯の光を透過するフィルタが取り付けられる。赤色のフィルタが取り付けられた画素は、赤色の波長帯を有する光の輝度を輝度情報として出力し、青色のフィルタが取り付けられた画素は青色の輝度情報、緑色のフィルタが取り付けられた画素は緑色の輝度情報を出力する。以下、赤色の波長帯を有する光の輝度を赤色輝度情報、青色の波長帯を有する光の輝度を青色輝度情報、そして緑色の波長帯を有する光の輝度を緑色輝度情報と呼ぶ。ＣＣＤ２１２が出力した輝度情報は、１つの画素に対して１つの色の輝度情報のみが存在する。ＣＣＤ２１２が出力した輝度情報は、内視鏡プロセッサ２２０に送信される。
【００２０】
内視鏡スコープ２１０は内視鏡プロセッサ２２０に接続される。内視鏡プロセッサ２２０は、主処理部２２１と画像処理装置１００とから主に構成される。主処理部２２１は、輝度情報を構成する輝度信号を内視鏡スコープ２１０から受け取り、画像処理を行って撮影画像を作成した後、モニタ２４０に撮影画像を出力する。画像処理装置１００は、主処理部２２１から撮影画像を受信して撮影画像を構成する画素を正常部と異常部とに区分し、異常部に関する情報を出力する。異常部に関する情報は、異常部を構成する画素の位置である。異常部は、病気によって変化した病変部に相当する。
【００２１】
主処理部２２１について説明する。主処理部２２１は、撮影動画入力処理部２２３、記録部２２４、出力部２２５、光源２２６、システムコントローラ２２２、及び保存済動画入力処理部２２７を有する。
【００２２】
撮影動画入力処理部２２３は、ＣＣＤ２１２から輝度信号を受信して、撮影画像を作成する。撮影画像を作成する処理について説明する。前述のように、ＣＣＤ２１２が出力した輝度信号は、１つの画素に対して１つの色の輝度情報のみが存在する。しかし、撮影画像における１つの画素は、３つの色の輝度情報を必要とする。そこで、撮影動画入力処理部２２３は、ＣＣＤ２１２の１つの画素の周囲に存在する画素の輝度情報を用いて、ＣＣＤ２１２の１つの画素に欠けている色の輝度情報を作成する。例えば、赤色輝度情報を有する画素に対して、青色輝度情報及び緑色輝度情報を作成する。これにより、撮影画像における画素は、赤色、青色、及び緑色の３つの輝度情報を有することになる。連続して撮影された複数の撮影画像を繋げて１つのファイルに加工することにより、撮影動画入力処理部２２３が動画像を作成する。１枚の撮影画像は１枚のフレームを構成する。記録部２２４は、撮影動画入力処理部２２３が作成した動画像を記憶する。
【００２３】
内視鏡プロセッサ２２０には外部記録媒体２３０を接続可能である。外部記録媒体２３０は、例えばＵＳＢメモリ、及びコンパクトフラッシュ（登録商標）やＳＤカードなどのメモリカードであって、保存済動画入力処理部２２７から動画像を受け取って記憶し、記憶済みの動画像を保存済動画入力処理部２２７に出力する。保存済動画入力処理部２２７は、外部記録媒体２３０から動画像を受信して、記録部２２４に送信する。記録部２２４は、保存済動画入力処理部２２７から動画像を受信して記憶する。
【００２４】
尚、記録部２２４に記録される動画像を構成する各フレームには、経由した入力処理部に関する情報が付加される。スコープ使用中の場合は、撮影動画入力処理部２２３を経由したことを示す情報が付加され、保存動画再生中の場合は、保存済動画入力処理部２２７を経由したことを示す情報が付加される。後述の異常部検出処理・補正処理において、経由した入力処理部を確認することにより、スコープ使用中なのか、保存動画再生中なのかを判断を行う。
【００２５】
システムコントローラ２２２は、記録部２２４に記憶された動画像を画像処理装置１００に送信する。後述するように、動画像を構成する撮影画像に含まれる異常部の位置を画像処理装置１００が算出して、システムコントローラ２２２に出力する。システムコントローラ２２２は、異常部の位置を画像処理装置１００から受信し、異常部の位置を出力部２２５に送信する。出力部２２５は、撮影画像において異常部が占める範囲に印を付けた表示画像を作成する。そして、モニタ２４０は、出力部２２５が作成した表示画像を表示する。
【００２６】
光源２２６は、システムコントローラ２２２の信号に応じて、ライトガイド２１３に照明光を供給する。
【００２７】
次に、画像処理装置１００について説明する。画像処理装置１００は病変検出部１１０及び結果補正部１２０を有し、異常部を正確に検出する異常部検出処理を実行する。異常部検出処理の詳細は後述される。病変検出部１１０は、後述する特徴量を撮影画像に対して算出し、特徴量に基づいて正常部と異常部とを判定する。結果補正部１２０は、病変検出部１１０が判定した異常部の位置、大きさ、及び範囲を複数の画像を用いて補正する。
【００２８】
病変検出部１１０が特徴量を算出する手段について詳細に説明する。病変検出部１１０は、システムコントローラ２２２から撮影画像、すなわち赤色輝度情報、青色輝度情報、及び緑色輝度情報を受信して、特徴量を算出する。特徴量は、画素の特性を表す値であって、正規化処理及びＰＣＡ（Primary Component Analysis）処理によって１フレームの撮影画像の画素１つ１つに対して求められる。正規化処理及びＰＣＡ処理は、病変検出部１１０によって実行される。正規化処理は、明るさの大小が画素分離処理の結果に影響を及ぼすことを防ぐため、１つの輝度情報を用いて他の２つの輝度情報を正規化する処理である。ＰＣＡ処理は、画像を構成する画素各々の特性を求める処理である。画素各々の特性は、一般にＰＣＡスコアと呼ばれ、本発明では、特徴量Ｐと呼ばれる。
【００２９】
次に、病変検出部１１０が特徴量に基づいて正常部と異常部とを判定する手段について詳細に説明する。病変検出部１１０は、既定の閾値に基づいて撮影画像に含まれる画素から異常部を判定する。より詳しく説明すると、閾値よりも大きい特徴量を有する画素を異常部、つまり病変部として判定する。異常部を構成する画素の位置を検出結果Ｒと呼ぶ。すなわち、検出結果Ｒとは、１フレームの静止画像内において異常部を構成する画素の位置情報であり、１フレーム毎に１つ検出される。
【００３０】
次に、結果補正部１２０について説明する。
【００３１】
まず、病変検出部１１０のみで異常部を検出する際に生じる問題点を説明する。対象静止画像にハレーションや陰影が発生すると、病変検出部１１０は異常部を正しく検出できない。ハレーションが発生した対象静止画像を図２に示す。異常部を正しく検出する場合、病変検出部１１０は異常部全体を検出するが、異常部にハレーションが発生している場合、ハレーション部分以外の異常部のみを検出する（図３参照）。
【００３２】
これを防止して異常部全体を正確に検出するため、結果補正部１２０は、異常部の検出対象である対象静止画像と、対象静止画像とは異なる複数の参考静止画像とを用いて、対象静止画像の特徴量を補正する。対象静止画像の特徴量を対象特徴量、参考静止画像の特徴量を参考特徴量と呼ぶ。
【００３３】
対象静止画像の特徴量を補正する補正処理の概略について説明する。補正処理を開始する前に、病変検出部１１０は、対象静止画像の対象特徴量Ｐ（０）及び複数の参考静止画像の参考特徴量Ｐ（ｔ）、（ｔは１から１０の整数）を算出し、対象静止画像及び複数の参考静止画像から異常部を検出している。対象静止画像は、現在撮影された１フレームの静止画像であって、内視鏡スコープ２１０からシステムコントローラ２２２を経て、病変検出部１１０に送信されている。参考静止画像は、動画撮影において対象静止画像が撮影された時よりも前、つまり過去に撮影された１０枚の画像であって、記録部２２４に記憶されており、システムコントローラ２２２を経て病変検出部１１０に送信されている。補正処理を開始する前の、対象静止画像における異常部の対象特徴量Ｐ（０）及び対象検出結果Ｒ（０）を図３に示し、参考静止画像における異常部の参考特徴量Ｐ（ｔ）及び参考検出結果Ｒ（ｔ）を図４に示す。
【００３４】
結果補正部１２０は、病変検出部１１０から対象静止画像及び参考静止画像の各検出結果Ｒを受信し、これらの検出結果Ｒを用いて、異常部の位置、大きさ、及び範囲を特定する。そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と１／４以上重複する参考静止画像を検出する。言い換えると、参考静止画像における異常部の位置、大きさ、範囲が対象静止画像における異常部の位置、大きさ、範囲と１／４以上重複する、つまり面積が１／４以上重複する参考静止画像を検出する。そして、重複する領域の画素数を参考重みＧ（ｔ）とする。１／４以上重複しない参考静止画像に関しては、参考重みＧ（ｔ）は０となる。１／４という値は、観察対象物や撮影条件、また経験則等から決定される。
【００３５】
次に、結果補正部１２０は、参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除して、正規化重みｇ（ｔ）を算出する。参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除することにより、各重みが正規化される。次に、参考静止画像の各画素の参考特徴量Ｐ（ｔ）に当該参考静止画像の正規化重みｇ（ｔ）を乗じる処理を全ての参考静止画像（本実施形態では１０フレーム）に対して行う。そして、各画素毎にそれぞれ１０個得られた上記乗算後の参考特徴量Ｐを、対象静止画像において対応する各画素の対象特徴量Ｐ（０）に加算し、加算特徴量Ｓ（０）を求める。以降、加算特徴量Ｓ（０）が対象特徴量Ｐ（０）として取り扱われる。これにより、対象特徴量Ｐ（０）が補正されることになる。加算特徴量Ｓ（０）によって構成される対象静止画像を図５に示す。
【００３６】
病変検出部１１０は、加算特徴量Ｓ（０）を用いて、対象静止画像における異常部を検出する。これによる検出結果を加算検出結果と呼ぶ。これにより、図６に示すように、ハレーション部分を異常部として検出できる。
【００３７】
加算検出結果はシステムコントローラ２２２を介して出力部２２５に送信され、異常部を破線で囲んだ画像を出力部２２５がモニタ２４０に送信する。
【００３８】
他方、外部記録媒体２３０に記憶されている対象静止画像及び参考静止画像を用いて補正処理を実行してもよい。この場合、対象静止画像は、ユーザが指定した１フレームの静止画像であって、外部記録媒体２３０から読み出されて一時的に記録部２２４に記憶された後、システムコントローラ２２２を経て、病変検出部１１０に送信されている。参考静止画像は、対象静止画像が撮影された時よりも前に撮影された５枚の画像と、対象静止画像が撮影された時よりも後、つまり最近撮影された５枚の画像とから成り、外部記録媒体２３０から読み出されて一時的に記録部２２４に記憶された後、システムコントローラ２２２を経て病変検出部１１０に送信されている。これらの静止画像を用いて、前述と同様の手段により加算特徴量Ｓ（０）が求められ、対象静止画像における異常部が検出される。
【００３９】
次に、図７を用いて、異常部検出処理について説明する。異常部検出処理は、内視鏡プロセッサ２２０にユーザが異常部を検出するように指示したときに実行される。異常部検出の指示は、内視鏡スコープ２１０若しくは内視鏡プロセッサ２２０に設けられるボタン（不図示）をユーザが操作することにより行う。
【００４０】
まず、ステップＳ６１において、動画像を構成する１フレーム分の静止画像を病変検出部１１０が取得する。スコープ使用中の場合は、記録部２２４を介して撮影動画入力処理部２２３から取得する。保存画像再生中の場合は、記録部２２４を介して保存済動画入力処理部２２７から取得する。この静止画像が対象静止画像である。次のステップＳ６２では、対象静止画像に含まれる全ての画素の対象特徴量Ｐ（０）と対象検出結果Ｒ（０）とを病変検出部１１０が算出し、記録部２２４が記憶する。
【００４１】
次のステップＳ６３では、参考静止画像が既定の数だけ記録部２２４に記憶されているか否かを判断する。記憶されている場合、処理はステップＳ６４に進み、対象特徴量Ｐ（０）を補正する。記憶されていない場合、対象特徴量Ｐ（０）を補正するための参考静止画像の数が足りないため、処理はステップＳ６９に進み、対象特徴量を補正しない。
【００４２】
ステップＳ６４では、記録部２２４から他のフレームの検出結果を読み出す。言い換えると、参考静止画像の参考検出結果Ｒ（ｔ）を記録部２２４から読み出す。次のステップＳ６５では、参考検出結果Ｒ（ｔ）を用いて、上述の補正処理を行う。これにより、加算特徴量Ｓ（０）と加算検出結果とを算出する。そして次のステップＳ６６において、記録部２２４が加算特徴量Ｓ（０）と加算検出結果とを記憶する。
【００４３】
次のステップＳ６７では、出力部２２５が加算検出結果を用いて異常部を破線で囲んだ画像を作成し、作成した画像をモニタ２４０に表示させる。そして、処理はステップＳ７０に進む。
【００４４】
ステップＳ６３において、参考静止画像が既定の数だけ記録部２２４に記憶されていない場合、対象特徴量を補正するための参考静止画像の数が足りない。そのため、ステップＳ７０では対象特徴量を補正せずに異常部の検出を行い、検出結果をモニタ２４０に表示する。次のステップＳ６９では、上述の経由した入力処理部を示す情報に基づいて対象静止画像が内視鏡スコープ２１０から現在入力されたものか否かを判断する。内視鏡スコープ２１０から入力されたものである場合、ユーザは被験者の体内を現在観察していると判断できるため、異常部の位置を示した画像をモニタ２４０に表示する必要がある。そこで、処理はステップＳ６７に進んで、補正されない対象検出結果Ｒ（０）を用いて異常部をモニタ２４０に表示する。ステップＳ６９において、対象静止画像が内視鏡スコープ２１０から入力されたものでない場合、ユーザは被験者の体内を現在観察しておらず、記録済みの画像を観察していると判断できるため、異常部の位置を示した画像をモニタ２４０に表示する必要がない。そこで、処理はステップＳ７０に進む。
【００４５】
ステップＳ７０では、動画像の表示が終了したか否かを判断する。スコープ使用中の場合は、スコープの操作部の動画撮影ボタン（図示せず）が操作され、撮影終了の指示があったか否かを判断し、保存画像再生中の場合は、静止画像が最後まで再生されたか否かを判断する。撮影終了の指示が無い場合、または最後の静止画像が再生されていない場合、処理はステップＳ６１に戻り、対象静止画像及び参考静止画像を再度取得して、対象特徴量Ｐ（０）の補正を行う。ステップＳ６１からＳ７０までを繰り返すことにより、動画像に含まれる各フレームにおいて対象特徴量Ｐ（０）を補正して、異常部を正確に指示する動画像をモニタ２４０に表示することができる。ステップＳ７０において撮影終了の指示があった場合、または最後の静止画像の再生が終了している場合、処理は終了する。
【００４６】
次に、図８を用いて、補正処理について説明する。補正処理は、異常部検出処理のステップＳ６４からＳ６６に相当する。
【００４７】
まず、ステップＳ７１では、現在のフレームｔｎにおける、検出結果Ｒ（ｔｎ）及び特徴量Ｐ（ｔｎ）を記録部２２４から読み出す。ｔｎは、現在のフレームを示すフレーム番号である。フレーム番号は、時系列に１ずつ増やされる整数である。そして、次のステップＳ７２では、上述の経由した入力処理部を示す情報に基づいて現在のフレームが内視鏡スコープ２１０から入力されたか否かを判断する。
【００４８】
ステップＳ７２において、現在のフレームが内視鏡スコープ２１０から入力された場合、ユーザは被験者の体内を現在観察していると判断できるため、現在のフレームよりも新しいフレームは存在しない。そこで、処理はステップＳ７３からＳ７５を実行して、現在の撮影動作において既に撮影済みのフレームを記録部２２４から読み出す。
【００４９】
ステップＳ７３からＳ７５について説明する。ステップＳ７３では、補正対象のフレームを決定する。すなわち対象静止画像のフレーム番号ｔ０を現在のフレームのフレーム番号ｔｎと決定する。これにより、ステップＳ７１において記録部２２４から既に読み出されている検出結果Ｒ（ｔｎ）及び特徴量Ｐ（ｔｎ）が、対象検出結果Ｒ（ｔ０）及び対象特徴量Ｐ（ｔ０）として取り扱われる。そして、次のステップＳ７４では、参考静止画像を特定するフレーム番号ｔにｔ０−１の値を代入する。これにより、以降のステップＳ７９からＳ８０にて処理される参考静止画像は、対象静止画像の１つ前に撮影された静止画像となる。そして、次のステップＳ７５では、記録部２２４から参考検出結果Ｒ（ｔ）と参考特徴量Ｐ（ｔ）とを記録部２２４から読み出す。そして、ステップＳ７９に進む。
【００５０】
ステップＳ７２において、現在のフレームが内視鏡スコープ２１０から入力されていないと判断された場合、ユーザは被験者の体内を現在観察しておらず、過去に記録済みのフレームを観察していると判断できるため、現在のフレームよりも古い静止画像及び新しい静止画像が存在する。そこで、処理はステップＳ７６からＳ７８を実行して、現在のフレームよりも古いフレーム及び新しいフレームを記録部２２４から読み出す。
【００５１】
ステップＳ７６からＳ７８について説明する。ステップＳ７６では、補正対象の静止画像を決定する。すなわち、対象静止画像のフレーム番号ｔ０を現在のフレームのフレーム番号ｔｎから５を引いた値とする。そして、次のステップＳ７７では、参考静止画像を特定するフレーム番号ｔにｔｎの値を代入する。これにより、以降のステップＳ７９からＳ８０にて処理される参考静止画像は、対象静止画像の５つ後に撮影された静止画像となる。そして、次のステップＳ７８では、記録部２２４から対象検出結果Ｒ（ｔ０）、対象特徴量Ｐ（ｔ０）を記録部２２４から読み出す。なお、参考検出結果Ｒ（ｔ）及び参考特徴量Ｐ（ｔ）はステップＳ７１において記録部２２４から既に読み出されている。そして、ステップＳ７９に進む。
【００５２】
次のステップＳ７９では、対象検出結果Ｒ（ｔ０）と参考検出結果Ｒ（ｔ）とにおいて重複する領域が、対象検出結果Ｒ（ｔ０）において１／４以上の面積を占めているか否かを判断する。１／４以上の面積を占めている場合、処理はステップＳ８０に進み、重複する領域の画素数を参考重みＧ（ｔ）として、ステップＳ８２に進む。占めていない場合、処理はステップＳ８１に進み、参考重みＧ（ｔ）を０として、ステップＳ８２に進む。
【００５３】
ステップＳ８２では、フレーム番号ｔから１を減じる。これにより得られたフレーム番号を持つフレームが、次のステップＳ７５からＳ８０において処理する参考静止画像となる。
【００５４】
次のステップＳ８３では、フレーム番号ｔが対象静止画像のフレーム番号ｔ０と等しいか否かを判断する。等しい場合、次のステップＳ７５からＳ８０において処理する参考静止画像が対象静止画像となってしまうため、これを防ぐため、処理は再度ステップＳ８２を実行してフレーム番号ｔから１を減じる。等しくない場合、処理はステップＳ８４に進む。
【００５５】
ステップＳ８４では、１０フレーム分の参考重みＧ（ｔ）を算出したか否かを判断する。算出した場合、処理はステップＳ８５に進む。算出していない場合、処理はステップＳ７５に戻り、記録部２２４から参考検出結果Ｒ（ｔ）と参考特徴量Ｐ（ｔ）とを記録部２２４から読み出す。ステップＳ７５からＳ８４を繰り返すことにより、現在のフレームが内視鏡スコープ２１０から入力されている場合には、現在のフレームよりも古い１０枚の静止画像の参考重みＧ（ｔ）を得る。また、現在のフレームが内視鏡スコープ２１０から入力されていない場合には、現在のフレームよりも古い５枚の静止画像の参考重みＧ（ｔ）と、現在のフレームよりも新しい５枚の静止画像の参考重みＧ（ｔ）を得る。
【００５６】
次のステップＳ８５では、参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除して、正規化重みｇ（ｔ）を算出する。参考重みＧ（ｔ）の合計で各参考重みＧ（ｔ）を除することにより、各重みが正規化される。
【００５７】
次のステップＳ８６では、参考特徴量Ｐ（ｔ）に正規化重みｇ（ｔ）を乗じたものを全ての参考特徴量Ｐ（ｔ）に関して求め、対象特徴量Ｐ（ｔ０）に加え、加算特徴量Ｓ（ｔ０）を求める。これにより、対象特徴量Ｐ（ｔ０）が補正されることになる。
【００５８】
次のステップＳ８７では、病変検出部１１０が、加算特徴量Ｓ（ｔ０）を用いて、対象静止画像における異常部を検出し、対象検出結果Ｒ（ｔ０）を求める。
【００５９】
そして、ステップＳ８８では、加算特徴量Ｓ（ｔ０）を対象特徴量Ｐ（ｔ０）として、対象検出結果Ｒ（ｔ０）と共に記録部２２４に記憶する。その後、処理が終了する。ステップＳ８８において新たに記憶された対象特徴量Ｐ（ｔ０）及び対象検出結果Ｒ（ｔ０）を用いることにより、図６に示すように、結果補正部がハレーション部分を異常部として検出できる。
【００６０】
本実施形態によれば、撮影条件の変化によって生じるハレーションや陰影などに左右されずに、正常部と異常部とを正確かつ明確に分別することができる。
【００６１】
また、ＰＣＡ処理でなく、フィッシャー判別法により分類された正規化信号に対してＮＮ法又はベイズ識別法を適用することにより特徴量を求めても良い。
【００６２】
撮像部はＣＣＤ２１２に限定されず、例えばＣＭＯＳ等の撮像素子であっても良い。
【００６３】
参考静止画像は、１０枚に限定されず、対象静止画像よりも後に撮影された静止画像のみで構成されても良い。
【００６４】
そして、参考検出結果Ｒ（ｔ）が対象検出結果Ｒ（０）と重複する面積は、１／４以上に限定されない。
【００６５】
異常部検出結果の表示方法は破線に限定されず、例えば実線や検出領域内を塗りつぶす等の方法であっても良い。
【符号の説明】
【００６６】
１００ 画像処理装置
１１０ 病変検出部
１２０ 結果補正部
２００ 電子内視鏡システム
２１０ 内視鏡スコープ
２１１ 撮像レンズ
２１２ ＣＣＤ
２１３ ライトガイド
２２０ 内視鏡プロセッサ
２２１ 主処理部
２２２ システムコントローラ
２２３ 撮影動画入力処理部
２２４ 記録部
２２５ 出力部
２２６ 光源
２２７ 保存済動画入力処理部
２３０ 外部記録媒体
２４０ モニタ
【特許請求の範囲】
【請求項１】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致する異常部を静止画像から前記特徴量を用いて検出する検出部と、
異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、
前記補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出し、
前記検出部は、前記加算特徴量を用いて対象静止画像における異常部を検出する画像処理装置。
【請求項２】
前記補正部は、複数の重みを算出し、全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出する請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出する請求項１又は２に記載の画像処理装置。
【請求項４】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像である請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像である請求項１から３のいずれかに記載の画像処理装置。
【請求項６】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出するステップと、
所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を算出するステップと、
対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、
参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、
参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を算出するステップと、
前記加算特徴量を用いて対象静止画像における異常部を検出するステップとを備える画像処理方法。
【請求項７】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、
所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を補正部に算出させるステップと、
対象静止画像とは異なる複数の参考静止画像における参考特徴量を補正部に算出させるステップと、
参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして補正部に算出させるステップと、
参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を補正部に算出させるステップと、
前記加算特徴量を用いて対象静止画像における異常部を検出部に検出させるステップとを備えるソフトウェア。
【請求項１】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出し、所定の条件に合致する異常部を静止画像から前記特徴量を用いて検出する検出部と、
異常部を検出する対象である対象静止画像において算出された対象特徴量に、対象静止画像とは異なる複数の参考静止画像における参考特徴量に重みをかけた値を加算して加算特徴量を算出する補正部とを備え、
前記補正部は、参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出し、
前記検出部は、前記加算特徴量を用いて対象静止画像における異常部を検出する画像処理装置。
【請求項２】
前記補正部は、複数の重みを算出し、全ての重みを合計した値でそれぞれの重みを正規化して正規化重みを算出し、参考特徴量に正規化重みをかけた値を対象特徴量に加算して加算特徴量を算出する請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、参考静止画像における参考異常部の位置、大きさ、及び範囲が、対象静止画像における対象異常部の位置、大きさ、及び範囲と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出する請求項１又は２に記載の画像処理装置。
【請求項４】
参考静止画像は、対象静止画像が撮影された時よりも前に撮影された画像である請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
参考静止画像は、対象静止画像が撮影された時よりも後に撮影された画像である請求項１から３のいずれかに記載の画像処理装置。
【請求項６】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに算出するステップと、
所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を算出するステップと、
対象静止画像とは異なる複数の参考静止画像における参考特徴量を算出するステップと、
参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして算出するステップと、
参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を算出するステップと、
前記加算特徴量を用いて対象静止画像における異常部を検出するステップとを備える画像処理方法。
【請求項７】
動画像を構成する複数の静止画像の各画素において、画素の特徴を示す特徴量を画素ごとに検出部に算出させるステップと、
所定の条件に合致する異常部を検出する対象である対象静止画像において対象特徴量を補正部に算出させるステップと、
対象静止画像とは異なる複数の参考静止画像における参考特徴量を補正部に算出させるステップと、
参考静止画像における参考異常部の形態が、対象静止画像における対象異常部の形態と所定値以上合致するとき、参考異常部において対象異常部と合致する画素の数を重みとして補正部に算出させるステップと、
参考特徴量に重みをかけた値を対象特徴量に加算して加算特徴量を補正部に算出させるステップと、
前記加算特徴量を用いて対象静止画像における異常部を検出部に検出させるステップとを備えるソフトウェア。
【図１】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１３５６９（Ｐ２０１３−１３５６９Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８５８６（Ｐ２０１１−１４８５８６）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
[ Back to top ]