画像処理装置、画像処理方法、及び画像処理プログラム
【課題】時系列順に撮像された一連の画像から網羅性の高い要約画像を検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、該対応づけられた領域全体を１つの連結領域として設定する対応領域連結部１１０と、該連結領域の特徴量を算出する連結領域特徴量算出部１２０と、特徴量をもとに、上記一連の画像に映された対象が該一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出部１３０と、要約指標値をもとに要約画像を検出する要約画像検出部１４０とを備える。
【解決手段】画像処理装置は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、該対応づけられた領域全体を１つの連結領域として設定する対応領域連結部１１０と、該連結領域の特徴量を算出する連結領域特徴量算出部１２０と、特徴量をもとに、上記一連の画像に映された対象が該一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出部１３０と、要約指標値をもとに要約画像を検出する要約画像検出部１４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列順に撮像された一連の画像から、該一連の画像を要約する要約画像を検出する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
被検体内に導入されて管腔内を撮像するカプセル内視鏡を用いた検査においては、例えば２〜４フレーム／秒の撮像フレームレートで８時間程度に渡って撮像が行われる。このため、１回の検査により、時系列順に撮像された大量（数万枚以上）の画像が取得される。これらの画像の中には、カプセル内視鏡が１箇所にしばらく留まるなどして撮像を続けたために、同じ撮像対象が複数枚に渡って映された冗長なシーンが含まれることがある。そのため、一連の画像を効率良く診断するためには、これらの画像の要約（ダイジェスト）を表す要約画像を検出することが重要となる。
【０００３】
要約画像の検出に関連する技術として、例えば特許文献１には、連続した画像列から画像を抽出する画像処理装置において、時系列に沿って連続する画像間の変化量を算出し、変化量の大きい順の所定枚数の画像を、検出すべきシーンを含む画像として上記画像列から抽出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０４１４０１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このような要約画像は医療診断に用いられるものであるため、情報に漏れがあってはならず、一連の画像に含まれる情報を広く把握できる高い網羅性が要求される。この点について、従来の要約画像の検出技術においては、要約画像の網羅性までは考慮されていない。
【０００６】
本発明は、上記に鑑みて為されたものであって、時系列順に撮像された一連の画像から網羅性の高い要約画像を検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結手段と、前記連結領域の特徴量を算出する連結領域特徴量算出手段と、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出手段と、前記要約指標値をもとに要約画像を検出する要約画像検出手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、前記要約指標値をもとに要約画像を検出する要約画像検出ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、前記要約指標値をもとに要約画像を検出する要約画像検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけて設定した連結領域の特徴量に基づき、時系列画像に映された対象の集約度合いを表す指標値を算出し、この指標値に基づいて要約画像を検出するので、一連の画像に映された対象に対して網羅性の高い要約画像を検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置が実行する処理を示すフローチャートである。
【図３】図３は、図２に示す同一の対象が映る画素を連結する処理を示すフローチャートである。
【図４】図４は、連続する画素間の画素対応情報の一例を示す表である。
【図５】図５は、連結領域ラベリング情報の一例を示す表である。
【図６】図６は、時系列に連続する画像において、ラベリング処理の結果連結された画素の領域を示すモデル図である。
【図７】図７は、図６に示す各連結領域に対して特徴量を算出した結果を示すモデル図である。
【図８】図８は、要約指標値と時系列画像の集約の関係を示すモデル図である。
【図９】図９は、繰返し処理により網羅性の高い要約画像を検出できる理由を説明する図である。
【図１０】図１０は、変形例１係る繰返し制御部の構成を示すブロック図である。
【図１１】図１１は、変形例１に係る画像処理装置が実行する処理を示すフローチャートである。
【図１２】図１２は、実施の形態２に係る演算部の構成を示すブロック図である。
【図１３】図１３は、実施の形態２における各連結領域の特徴量を算出する処理を示すフローチャートである。
【図１４】図１４は、実施の形態３に係る演算部の構成を示すブロック図である。
【図１５】図１５は、実施の形態３に係る画像処理装置が実行する処理を示すフローチャートである。
【図１６】図１６は、図１５に示す各画像内の領域に対して視認性に基づく優先度を算出する処理を示すフローチャートである。
【図１７】図１７は、比較対象領域の面積を比較する例を示すモデル図である。
【図１８】図１８は、変形例２に係る要約指標値算出部の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を時系列順に撮像することにより取得された一連の管腔内画像に対する処理について説明する。なお、以下の実施の形態において画像処理を施される画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。また、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された一連の画像から要約画像を検出する場合にも広く適用することができる。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって時系列順に撮像された一連の画像（以下、時系列画像ともいう）に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１５】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１６】
画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１８】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、時系列画像から要約画像を検出する処理を実行するための画像処理プログラム５１を格納する。
【００１９】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって時系列画像に対応する画像データに画像処理を施し、時系列画像から要約画像を検出するための種々の演算処理を行う。
【００２０】
次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、一連の時系列画像間において同一の対象が映る領域同士を対応づけ、該対応づけられた領域を１つの連結領域として設定する対応領域連結部１１０と、各連結領域の特徴量を算出する連結領域特徴量算出部１２０と、上記特徴量をもとに要約指標値を算出する要約指標値算出部１３０と、要約指標値をもとに要約画像を検出する要約画像検出部１４０と、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰返しを制御する繰返し制御部１５０とを備える。なお、上記時系列画像において複数の対象が映っている場合には、複数の連結領域が設定され得る。
【００２１】
対応領域連結部１１０は、時系列に連続する画像間において、各画像内に含まれる領域の対応付けを行う領域対応付け部１１１を有し、この対応付けの結果をもとに、同一の対象が映る領域を各画像内及び画像間で連結する。より詳細には、領域対応付け部１１１は時系列で連続する画像間におけるオプティカルフローを算出するオプティカルフロー算出部１１１ａを含み、オプティカルフローをもとに画像間における領域の対応付けを行う。
【００２２】
連結領域特徴量算出部１２０は、各連結領域内に含まれる画素数の総和である連結領域体積を算出する連結領域体積算出部１２１を有し、この連結領域体積を特徴量とする。
【００２３】
要約指標値算出部１３０が算出する要約指標値は、時系列画像に映された対象が時系列画像内の各画像に集約されている度合いに対応する。要約指標値算出部１３０は、各画像内に含まれる各連結領域の特徴量の総和を画像毎に算出する特徴量和算出部１３１を有し、この特徴量の総和を要約指標値とする。
【００２４】
繰返し制御部１５０は、検出された要約画像の枚数を算出する要約画像枚数算出部１５１を有し、要約画像の枚数に応じて、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰返しを制御する。
【００２５】
次に、画像処理装置１が実行する処理について説明する。図２は、画像処理装置１が実行する処理を示すフローチャートである。
まず、ステップＳ１０１において、画像取得部２０は、被検体の管腔内を時系列に撮像した一連の管腔内画像（以下、単に画像という）を取得して記録部５０に格納する。演算部１００は、画像処理を施す画像を記録部５０から順次読み込む。
【００２６】
続くステップＳ１０２において、対応領域連結部１１０は、複数画像に渡って同一の対象が映る画素を連結する。
図３は、同一の対象が映る画素を連結する処理（ステップＳ１０２）の詳細を示すフローチャートである。
まず、ステップＳ１１１において、オプティカルフロー算出部１１１ａは、時系列で連続する画像間のオプティカルフローを算出する。ここで、オプティカルフローとは、異なる時間に撮影された２枚の画像間において同じ対象の対応付けを行い、その移動量をベクトルデータとして表現したものである。実施の形態１においては、管腔内画像の画素値の内のＧ成分に対して、公知のオプティカルフロー算出法（より詳細には、ブロックマッチング法又は勾配法）を用いてオプティカルフローを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第２４３〜２４５頁））。或いは、Lucas-Kanadeトラッキング（参考：B. D. Lucas and T. Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” Proceedings of the 7th International Joint Conference on Artificial Intelligence, pages 674-679, 1981）等の公知技術を用いてオプティカルフローを算出しても良い。
【００２７】
ここで、Ｇ成分を用いるのは、Ｇ成分は血液の吸光帯域に近いことから、病変、粘膜、内容物の境界等の管腔内画像の構造情報をよく表すためである。もちろん、Ｇ成分の代わりに、画素値の他の色成分（Ｒ成分又はＢ成分）や、公知の変換により画素値から２次的に算出される値、具体的には、輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等を用いてもよい。
【００２８】
続くステップＳ１１２において、領域対応付け部１１１は、オプティカルフローをもとに、連続する画像間における画素の対応付けを行う。詳細には、次のような処理が行われる。即ち、領域対応付け部１１１は、オプティカルフローに基づき、時系列における前画像内の画素座標（ｘｔ０,ｙｔ０）（ここで、ｘｔ０及びｙｔ０は自然数）に対し、時系列における後画像内の対応する座標（ｘｔ１,ｙｔ１）（ここで、ｘｔ１及びｙｔ１は実数）を求めると共に、時系列における後画像内の画素座標（ｘｔ１’,ｙｔ１’）（ここで、ｘｔ１’,ｙｔ１’は自然数）に対し、時系列における前画像内の対応する座標（ｘｔ０’,ｙｔ０’）（ここで、ｘｔ０’,ｙｔ０’は実数）を求める。そして、時系列の前後の画像内において互いに対応する画素を決定して、連続する画像間の画素対応情報を作成する。
【００２９】
このとき、領域対応付け部１１１は、一方の画像内の複数画素に対応する他方の画像内の座標（実数）が１つの画素座標（自然数）付近に集中する場合、この画素座標に対して座標がより近い一方の画像内の所定数の画素を当該画素座標に対応付ける。そして、それ以外の画素については、一方の画像に映りながらも、他方の画像には映らない対象部分の画素とみなし、対応関係を取らないこととする。
【００３０】
なお、対応付けられる座標同士が必ずしも１対１とならないのは、カプセル内視鏡と撮像対象（例えば粘膜表面等）との距離や角度によって、画像が拡大又は縮小する場合があるからである。
【００３１】
また、時系列の順方向（前画像の画素に対応する後画像の座標）及び逆方向（後画像の画素に対応する前画像の座標）双方における対応関係を検出するのは、対応座標の信頼性をより高めるためである。なお、実施の形態１においては、時系列の順方向又は逆方向の一方における対応関係のみを検出することとしても良い。
【００３２】
図４は、連続する画像間の画素対応情報の一例を示す表である。この画素対応情報は、時系列における前画像Ｉｎ及び後画像Ｉｎ＋１（ｎ＝０、１、２、…）にそれぞれ含まれる画素同士の対応関係を示す。なお、Ｐ（ｘ,ｙ）は各画像内の座標（ｘ,ｙ）における画素を示す。この画素対応情報では、隣接する列において、隣り合う行に記載された画素同士（例えば、画像Ｉ０の画素Ｐ（０，１）と、画像Ｉ１のＰ（０，１）及びＰ（０，２））が、互いに対応する画素を示している。なお、隣接する列において隣り合う行の一方が空欄の場合、対応する画素が存在しないことを示す。
【００３３】
続くステップＳ１１３において、対応領域連結部１１０は、対応する画素同士が同一のラベルとなるようにラベリングを行う。より詳細には、まず、対応領域連結部１１０は、画素対応情報をもとに、ある画素に設定されたラベル値を対応する全ての画素に設定する。次いで、ラベル値が未設定の画素に対して新たなラベル値を設定し、上記と同様の処理を行う。このような処理を順次繰返すことにより、全ての画素に対してラベリングを行う。さらに、対応領域連結部１１０は、同一のラベル値が設定された画素の集合を、同一の対象が映る画素の連結領域とする。
【００３４】
図５は、図４に示す画素対応情報に基づくラベリングの結果（連結領域ラベリング情報）の一例を示す表である。図５において、各画素Ｐ（ｘ，ｙ）に続くコロンの後に示された数値が、当該画素Ｐ（ｘ，ｙ）に設定されたラベル値を示す。
【００３５】
また、図６は、時系列に連続する４枚の画像Ｉ０〜Ｉ３において、ラベリング処理の結果連結された画素の領域を示すモデル図である。図６においては、各画像Ｉ０〜Ｉ３にそれぞれ含まれる画素Ｐ００〜Ｐ０７、Ｐ１０〜Ｐ１７、Ｐ２０〜Ｐ２７、Ｐ３０〜Ｐ３７を、模擬的に１次元の画素列によって示している。これらの画素の内、線分によって結ばれた画素同士（例えば、画素Ｐ０１と画素Ｐ１０）が、１つの連結領域を構成する画素である。
【００３６】
なお、ステップＳ１１１〜Ｓ１１３においては、１画素単位で処理（画素の対応付け処理及び連結処理）を実行する場合を説明したが、複数画素をまとめた小領域単位で同様の処理を行っても良い。この場合、各画像をエッジ強度等に基づいて予め小領域に分割しておく。画像の分割方法としては、エッジ強度の尾根を境界とする手法（例えば国際公開第２００６／０８０２３９号参照）、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等を利用することができる。
この後、処理はメインルーチンに戻る。
【００３７】
ステップＳ１０３において、連結領域特徴量算出部１２０は、各連結領域の特徴量を算出する。より詳細には、連結領域体積算出部１２１が、各連結領域内に含まれる画素数の総和を連結領域体積として算出する。連結領域特徴量算出部１２０は、この連結領域体積を各連結領域の特徴量として用いる。
【００３８】
図７は、図６に示す各連結領域に対して特徴量を算出した結果を示すモデル図である。図７に示す丸印内の数値は、各連結領域（丸印が配置された線分によって結ばれる画素を含む連結領域）の特徴量（本実施の形態１においては連結領域体積）を示す。例えば、画像Ｉ０の画素Ｐ０７、画像Ｉ１の画素Ｐ１４、並びに画像Ｉ２の画素Ｐ２０及びＰ２１を含む連結領域の体積（画素数）は「４」となる。
【００３９】
続くステップＳ１０４において、要約指標値算出部１３０は、連結領域の特徴量をもとに、各画像の要約指標値を算出する。より詳細には、特徴量和算出部１３１が、各画像内に含まれる連結領域の特徴量の総和を、画像毎に算出する。この連結領域の特徴量の総和が、要約指標値として用いられる。
【００４０】
具体的には、画像Ｉｎの要約指標値Ｅ（Ｉｎ）は、次式（１）によって与えられる。
Ｅ（Ｉｎ）＝ΣＦ（Ｌｉ） …（１）
式（１）において、右辺は、画像Ｉｎに含まれるラベル値ｉが設定された連結領域Ｌｉの特徴量Ｆ（Ｌｉ）（実施の形態１においては連結領域体積）の総和を示す。
【００４１】
従って、図５に示す画像Ｉ０〜Ｉ３の場合、要約指標値Ｅ（Ｉｎ）は次式によって与えられる。
Ｅ（Ｉ０）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ３）＋Ｆ（Ｌ５）＋…
Ｅ（Ｉ１）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋Ｆ（Ｌ５）＋…
Ｅ（Ｉ２）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋…
Ｅ（Ｉ３）＝Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋Ｆ（Ｌ６）＋…
【００４２】
これは、図７に示すモデル図においては、各画像Ｉ０〜Ｉ３に含まれる連結領域の特徴量（丸印内の数値）の総和を取ることに相当する。即ち、以下のとおりである。
Ｅ（Ｉ０）＝１＋２＋２＋３＋３＋４＝１５
Ｅ（Ｉ１）＝２＋２＋３＋３＋４＋３＋３＝２４
Ｅ（Ｉ２）＝４＋３＋３＋４＋２＋３＝１９
Ｅ（Ｉ３）＝４＋３＋２＋３＋１＋１＝１４
【００４３】
ステップＳ１０５において、要約画像検出部１４０は、要約指標値が最大となる１枚の画像を要約画像として検出する。これは、上記算出法により得られる要約指標値が大きいほど、時系列画像に映された対象がより多く集約された画像であると考えることができるからである。例えば、図７に示す画像Ｉ０〜Ｉ３の内からは、要約指標値Ｅ（Ｉｎ）が４画像の内で最大（２４）である画像Ｉ１が要約画像として検出される。
【００４４】
図８は、要約指標値と時系列画像の集約の関係を示すモデル図である。図８においては、画像Ｉ１内に含まれる画素、及びこれらの画素に対応する他の画像Ｉ０、Ｉ２、Ｉ３内の画素を網掛け表示している。このモデル図において、各画素の対応関係に着目すると、画像Ｉ１内の画素は、画像Ｉ０及びＩ２の大半の画素と対応していることがわかる。即ち、画像Ｉ１は、画像Ｉ０及びＩ２に映された対象の大半を含んでおり、これら時系列の画像Ｉ０〜Ｉ３に映された対象を最も集約しているといえる。
従って、要約指標値が最大である画像（画像Ｉ１）が最も適切な要約画像であることは、図８に示すモデル図からも確認することができる。
【００４５】
ステップＳ１０６において、繰返し制御部１５０の要約画像枚数算出部１５１は、検出済みの要約画像枚数（検出枚数）を算出する。
続くステップＳ１０７において、繰返し制御部１５０は、要約画像枚数が所定値に至ったか否かを判定する。この所定値としては、予めユーザが所望の枚数を設定することができる。
【００４６】
所定値に至っていない場合（ステップＳ１０７：Ｎｏ）、繰返し制御部１５０は、検出済みの要約画像内に含まれる連結領域に対応する対象を既に検出済みの対象であるとみなし、当該要約画像内に含まれる連結領域の特徴量をゼロに設定する（ステップＳ１０８）。その後、処理はステップＳ１０４に戻る。この場合、要約指標値算出部１３０及び要約画像検出部１４０における未検出の対象に対する処理（ステップＳ１０４、Ｓ１０５〜）が繰り返し実行される。
【００４７】
ここで、このような繰返し処理により、時系列画像に映された対象に対して網羅性の高い要約画像を検出できる理由を、図９を参照しながら説明する。図９においては、要約画像として検出された画像Ｉ１内に含まれる連結領域の特徴量がゼロに設定されている。また、画像Ｉ１内の画素に対応する全ての画素、即ち、要約画像に集約された対象が映る画素は、網掛け表示されている。これより、次に検出すべき要約画像として望ましいのは、まだ網羅されていない対象が多く映された画像Ｉ３であることがわかる。
【００４８】
繰り返し後のステップＳ１０４の処理により、各画像Ｉｎ（ｎ＝０、２、３）の要約指標値Ｅ（Ｉｎ）として、Ｅ（Ｉ０）＝１、Ｅ（Ｉ２）＝２＋３＝５、Ｅ（Ｉ３）＝２＋３＋１＋１＝７が算出される。これより、次に検出すべき要約画像は、要約指標値Ｅ（Ｉｎ）の値が最も大きい（７）画像Ｉ３であると判定される（繰り返し後のステップＳ１０５）。これは、図９のモデル図に示す概念とも一致する。このような処理をさらに繰り返すことにより、時系列画像に映された対象に対して網羅性の高い要約画像を検出することができる。
【００４９】
一方、ステップＳ１０７において、要約画像枚数が所定値に至った場合（ステップＳ１０７：Ｙｅｓ）、処理はステップＳ１０９に移行する。この場合、演算部１００は、要約画像の検出結果を表示部４０に出力すると共に、記録部５０に記録する。その後、画像処理装置１における処理は終了する。
【００５０】
以上説明したように、実施の形態１によれば、時系列画像において同一対象が映る領域を連結した連結領域を求め、各画像内に含まれる連結領域の体積の総和に基づき、時系列画像に映された対象が集約した要約画像を順次検出するので、診断対象に対して網羅性の高い要約画像を検出することが可能となる。
【００５１】
なお、上記実施の形態１においては、繰返し制御部１５０により、要約指標値算出部１３０及び要約画像検出部１４０における処理を繰り返し実行することとしたが、要約指標値算出部１３０及び要約画像検出部１４０における少なくとも１回の処理によっても、網羅性の高い要約画像を検出することが可能である。
【００５２】
（変形例１）
次に、実施の形態１の変形例１について、図１０を参照しながら説明する。
変形例１に係る画像処理装置は、図１に示す繰返し制御部１５０の代わりに、網羅率算出部１６１を有する繰返し制御部１６０を備える。網羅率算出部１６１は、検出済みの要約画像によって網羅される時系列画像に映された対象の網羅率を算出する。繰返し制御部１６０は、この網羅率に応じて、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰り返しを制御する。
【００５３】
図１１は、変形例１に係る画像処理装置が実行する処理を示すフローチャートである。この内、ステップＳ１０１〜Ｓ１０５、Ｓ１０８、Ｓ１０９における処理は、実施の形態１と同様である。
【００５４】
ステップＳ１０５に続くステップＳ１２６において、網羅率算出部１６１は、検出済みの要約画像による網羅率ＣＲを、次式（２）を用いて算出する。
【数１】
【００５５】
例えば、図８において、画像Ｉ１を要約画像として検出した場合、画像Ｉ１による網羅率ＣＲ（Ｉ１）は次のようになる。
ＣＲ（Ｉ１）＝２４／３２=０．７５
【００５６】
また、図９において、画像Ｉ１に続いて画像Ｉ３を要約画像として検出した場合、画像Ｉ１及びＩ３による網羅率ＣＲ（Ｉ１、Ｉ３）は次のようになる。
ＣＲ（Ｉ１、Ｉ３）＝（２４＋７）／３２＝０．９６８７５
【００５７】
ステップＳ１２７において、繰返し制御部１６０は、このようにして算出した網羅率ＣＲが所定値以上となったか否かを判定する。この網羅率としては、予めユーザが所望の値を設定することができる。
【００５８】
網羅率が所定値未満である場合（ステップＳ１２７：Ｎｏ）、繰返し制御部１６０は、検出済みの要約画像内に含まれる連結領域の特徴量をゼロに設定し（ステップＳ１０８）、その後、処理はステップＳ１０４に戻る。この場合、要約指標値算出部１３０及び要約画像検出部１４０における処理（ステップＳ１０４、Ｓ１０５〜）が繰り返し実行される。
一方、網羅率が所定値以上となった場合（ステップＳ１２７：Ｙｅｓ）、処理はステップＳ１０９に移行する。
【００５９】
以上説明したように、変形例１によれば、要約画像の検出と共に、検出済みの要約画像による網羅率を算出し、網羅率に応じた処理の繰返し制御を実行するので、所定以上の網羅率となる要約画像を検出することが可能となる。
【００６０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１２は、実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、実施の形態２に係る画像処理装置の演算部以外の構成及び動作については、図１に示すものと同様である。
【００６１】
図１２に示す演算部２００は、図１に示す連結領域特徴量算出部１２０の代わりに、連結領域重要度算出部２１１を有する連結領域特徴量算出部２１０を備える。その他の各部の構成及び動作については、実施の形態１と同様である。
【００６２】
連結領域重要度算出部２１１は、一連の時系列画像の各画像内の領域を、例えば診断における重要度に応じたカテゴリに分類すべく判定を行う領域判定部２１１ａを含み、この判定結果に基づいて、各連結領域の重要度を算出する。連結領域特徴量算出部２１０は、算出された重要度を連結領域の特徴量として用いる。
【００６３】
より詳細には、領域判定部２１１ａは、各画像内の領域を、検出すべき領域（検出対象領域）、検査すべき領域（検査対象領域）、及び検査に不要な領域（非検査対象領域）の何れかに判定する。具体的には、検出すべき領域には病変部が相当し、検査すべき領域には粘膜領域が相当し、検査が不要な領域には非粘膜領域が相当する。
【００６４】
次に、実施の形態２に係る画像処理装置が実行する処理について説明する。本実施の形態２に係る画像処理装置が実行する処理は全体として図２に示すものと同様であり、各連結領域の特徴量を算出する処理（ステップＳ１０３）が実施の形態１とは異なる。
図１３は、連結領域特徴量算出部２１０が実行する各連結領域の特徴量を算出する処理を示すフローチャートである。
【００６５】
対応領域連結部１１０により、同一の対象が映る画素が連結された後（図２のステップＳ１０２）、領域判定部２１１ａは、各画素の色情報をもとに、各画素を病変、粘膜、非粘膜の何れかのカテゴリに判定する（ステップＳ２０１）。なお、色情報をもとに管腔内画像の画素のカテゴリ（病変、粘膜、非粘膜など）を判定する方法としては、公知の種々の方法を用いて良い。一例として、管腔内画像内の各画素の特定波長成分（例えばＲ成分）の値をもとに管腔内画像を階層分類することにより当該画像を領域分割し、各領域内の各画素の画素特徴量（例えば、画素のＲ、Ｇ、Ｂ成分の値や、これらの成分をもとに２次的に計算される輝度、色差、色相、彩度、明度、色比等の値）を算出して画素特徴量の分布をクラスタリングし、各クラスタを所定のクラスタ判別基準と比較することにより、病変部クラスタを判別し、この病変部クラスタに属する画素を病変画素として特定するといった方法が挙げられる（特開２０１０−１１３６１６号公報参照）。
【００６６】
続くステップＳ２０２において、連結領域重要度算出部２１１は、各画素に対してカテゴリごとに重み付けを行う。この重みは、病変画素の重みが最も高く、粘膜画素、非粘膜画素の順に重みが下がるように設定される。これは、要約画像において網羅すべき画素の重要度は、高い順から、病変画素、粘膜画素、非粘膜画素となるからである。具体例として、病変画素には重み２が設定され、粘膜画素には重み１が設定され、非粘膜画素には重み０が設定される。
【００６７】
さらに、ステップＳ２０３において、連結領域重要度算出部２１１は、各連結領域に含まれる画素の重みの総和を連結領域重要度として算出する。この連結領域重要度が、各画像の要約指標値を算出（ステップＳ１０４）する際の特徴量として用いられる。
この後、処理はメインルーチンに戻る。
【００６８】
以上説明したように、実施の形態２によれば、各画像内の画素が属する領域（検出対象領域、検査対象領域、非検査対象領域）の判別結果に基づく重要度を考慮するので、時系列画像に映された重要な診断対象に対して網羅性の高い要約画像を検出することが可能となる。
【００６９】
なお、実施の形態２においては、１画素単位の処理により画素の判別を行ったが、複数画素をまとめた小領域単位で同様の処理を行っても良い。
【００７０】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１４は、実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、実施の形態３に係る画像処理装置の演算部以外の構成及び動作については、図１に示すものと同様である。
【００７１】
図１４に示す演算部３００は、図１に示す演算部１００に対して、領域優先度算出部３１０をさらに備え、また、図１に示す要約指標値算出部１３０の代わりに、要約指標値算出部３２０を備える。その他の各部の構成及び動作については、実施の形態１と同様である。
【００７２】
領域優先度算出部３１０は、一連の時系列画像の各画像内の領域に対し、視認性に基づく要約画像検出の優先度を算出する。より詳細には、領域優先度算出部３１０は、互いに異なる画像間において、同一の連結領域に属する領域を比較する対応領域比較部３１１を有し、対応領域比較部３１１による比較結果をもとに上記優先度を算出する。
【００７３】
要約指標値算出部３２０は、領域優先度算出部３１０によって算出された優先度と、連結領域特徴量算出部１２０によって算出された領域特徴量とに基づいて、要約指標値を算出する。
【００７４】
図１５は、実施の形態３に係る画像処理装置が実行する処理を示すフローチャートである。この内、ステップＳ１０１〜Ｓ１０３及びＳ１０５〜Ｓ１０９における処理については、実施の形態１と同様である。
【００７５】
ステップＳ１０３に続くステップＳ３０１において、領域優先度算出部３１０は、各画像内の領域に対して視認性に基づく優先度を算出する。
図１６は、視認性に基づく優先度を算出する（ステップＳ３０１）処理の詳細を示すフローチャートである。
まず、ステップＳ３１１において、対応領域比較部３１１は、互いに異なる画像間において、同一の連結領域に含まれる領域（以下、比較対象領域という）の面積を比較する。図１７は、比較対象領域の面積を比較する例を示すモデル図である。図１７においては、互いに異なる画像Ｉ０〜Ｉ２に含まれる１つの連結領域に注目し、該連結領域に含まれる比較対象領域（画素）を網掛け表示している。
【００７６】
図１７に示すように、各画像Ｉ０〜Ｉ２における比較対象領域の面積（画素数）Ｓ（Ｉｎ）は、それぞれ、Ｓ（Ｉ０）＝１、Ｓ（Ｉ１）＝１、Ｓ（Ｉ２）＝２である。これらの面積Ｓ（Ｉｎ）を比較対象領域の最大面積が１となるように正規化すると、正規化された値（以下、面積指標値という）Ｓ’（Ｉｎ）は、Ｓ’（Ｉ０）＝０．５、Ｓ’（Ｉ１）＝０．５、Ｓ’（Ｉ２）＝１となる。この面積指標値が１に近いほど、同一の対象が大きく映り、視認性が良いと言える。対応領域比較部３１１は、このような面積指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の面積指標値を取得する。
【００７７】
続くステップＳ３１２において、対応領域比較部３１１は、各画像内における比較対象領域の位置を、互いに異なる画像間で比較する。ここで、比較対象領域は、画像の中心に近い程、視認性が良いと言える。そこで、対応領域比較部３１１は、比較対象領域の重心座標（ｘｇ，ｙｇ）と、画像の中心座標（ｘｃ，ｙｃ）をもとに、次式（３）を用いて、比較対象領域が画像の中心に近い程、値が１に近くなる位置指標値を算出する。
【数２】
【００７８】
対応領域比較部３１１は、このような位置指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の位置指標値を取得する。
【００７９】
ステップＳ３１３において、対応領域比較部３１１は、各画像内における比較対象領域のノイズ量を、互いに異なる画像間で比較する。ここで、比較対象領域は、ノイズ量が少ない程、視認性が良いと言える。また、視認性を低下させるノイズには、所定の周波数以上の高周波成分ノイズが含まれる。そこで、対応領域比較部３１１は、比較対象領域内の各画素に対して公知のハイパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１３３〜１３６頁）処理を施し、ハイパスフィルタ処理後の出力値（画素値）の比較対象領域内における平均値をノイズ量として算出する。
【００８０】
さらに、対応領域比較部３１１は、次式（４）を用いて、比較対象領域のノイズ量が少ない程、値が１に近くなるノイズ量指標値を算出する。
【数３】
式（４）において、Ｎはノイズ量指標値の算出対象である比較対象領域のノイズ量、ｍａｘ（Ｎ）は同一の連結領域に含まれる比較対象領域の最大ノイズ量、ｍｉｎ（Ｎ）は同一の連結領域に含まれる比較対象領域の最小ノイズ量を示す。
【００８１】
対応領域比較部３１１は、このようなノイズ量指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎のノイズ量指標値を取得する。
【００８２】
ステップＳ３１４において、対応領域比較部３１１は、各画像内における比較対象領域の解像度を、互いに異なる画像間で比較する。ここで、比較対象領域は、解像度が高い程、視認性が良いと言える。また、一般に、解像度は、ノイズに相当する高周波成分を除き、より高い周波数成分が含まれるほど、即ち、中程度の周波数成分が多いほど、解像度は高いと言える。そこで、対応領域比較部３１１は、比較対象領域内の各画素に対して公知のバンドパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１３６頁）処理を施し、バンドパスフィルタ処理後の出力値（画素値）の比較対象領域内における平均値を解像度評価量として算出する。なお、バンドパスフィルタによって抽出する中程度の周波数成分については、ユーザ所望の値を予め設定しておく。
【００８３】
さらに、対応領域比較部３１１は、次式（５）を用いて、比較対象領域の解像度評価量が多い程、値が１に近くなる解像度指標値を算出する。
【数４】
式（５）において、Ｒは解像度指標値の算出対象である比較対象領域の解像度評価量、ｍａｘ（Ｒ）は同一の連結領域に含まれる比較対象領域の最大解像度評価量、ｍｉｎ（Ｒ）は同一の連結領域に含まれる比較対象領域の最小解像度評価量を示す。
【００８４】
対応領域比較部３１１は、このような解像度指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の解像度指標値を取得する。
【００８５】
ステップＳ３１５において、対応領域比較部３１１は、各画像内における比較対象領域の明るさを比較する。ここで、比較対象領域は、明るすぎたり暗すぎたりしない程、視認性が良いと言える。そこで、対応領域比較部３１１は、比較対象領域の平均輝度値を算出する。
【００８６】
さらに、次式（６）を用いて、比較対象領域の明るさが所定の範囲に近い程、値が１に近くなる明るさ指標値を算出する。なお、明るさの範囲については、ユーザ所望の範囲を予め設定しておく。
【数５】
式（６）において、Ｖは明るさ指標値の算出対象である比較対象領域の平均輝度値、ｍｉｎ＿ｔｈは視認性を考慮した場合における下限輝度値、ｍａｘ＿ｔｈは視認性を考慮した場合における上限輝度値、ｍａｘＶは取り得る輝度値の上限値を示す。
【００８７】
対応領域比較部３１１は、このような明るさ指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎に明るさ指標値を取得する。
【００８８】
ステップＳ３１６において、領域優先度算出部３１０は、面積、位置、ノイズ量、解像度、及び明るさの比較結果をもとに、各比較対象領域の優先度を算出する。この優先度は、次式（７）によって与えられる。
優先度＝ｗＡ×面積指標値＋ｗＰ×位置指標値＋ｗＮ×ノイズ量指標値
＋ｗＲ×解像度指標値＋ｗＶ×明るさ指標値 …（７）
式（７）において、ｗＡ、ｗＰ、ｗＮ、ｗＲ、及びｗＶは、それぞれ、面積、位置、ノイズ量、解像度、及び明るさの各指標値に対する重みを示し、次式（８）を満たす。
ｗＡ＋ｗＰ＋ｗＮ＋ｗＲ＋ｗＶ＝１ …（８）
その後、処理はメインルーチンに戻る。
【００８９】
ステップＳ３０２において、要約指標値算出部３２０は、優先度及び連結領域の特徴量に基づき、各画像の要約指標値を算出する。具体的には、特徴量がゼロではない連結領域内に含まれる画素の優先度の平均値を、画像毎に算出する。これより、画像内に優先度が高い領域が多く存在する程、要約指標値は高くなる。
この後、処理はステップＳ１０５に移行する。
【００９０】
以上説明したように、実施の形態３によれば、画像内の領域の視認性に基づく優先度を考慮した要約指標値を算出し、この要約指標値に基づいて要約画像を検出するので、時系列画像に映された診断対象に対して視認性の良い、かつ網羅性を考慮した要約画像を検出することが可能となる。
【００９１】
（変形例２）
次に、実施の形態３の変形例２について、図１８を参照しながら説明する。
変形例２に係る画像処理装置は、図１４に示す要約指標値算出部３２０の代わりに、重み付け優先度平均算出部３３１を有する要約指標値算出部３３０を備える。
【００９２】
重み付け優先度平均算出部３３１は、図１５に示すステップＳ３０１において各画像内の比較対象領域に対して視認性に基づく優先度が算出された後、各画像内に含まれる画素について算出された優先度に対して、当該画素を含む連結領域の特徴量を乗じることにより、重み付け優先度を算出する。さらに、重み付け優先度平均算出部３３１は、各画像内に含まれる画素の重み付け優先度の平均値を、画像毎に算出する。この重み付け優先度の平均値が要約指標値として用いられる。
【００９３】
このような変形例２によれば、画像内の領域の視認性に基づく優先度に対し、連結領域の特徴量を乗じた重み付けをするので、時系列画像に映された診断対象に対する視認性が良く、且つ、網羅性がさらに向上した要約画像を検出することが可能となる。
【００９４】
なお、実施の形態３及びその変形例２においては、１画素単位の処理により画素の判別を行ったが、複数画素をまとめた小領域単位で同様の処理を行っても良い。
【００９５】
以上説明した実施の形態１〜３及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９６】
なお、本発明は、実施の形態１〜３及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９７】
１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００ 演算部
１１０ 対応領域連結部
１１１ 領域対応付け部
１１１ａ オプティカルフロー算出部
１２０ 連結領域特徴量算出部
１２１ 連結領域体積算出部
１３０ 要約指標値算出部
１３１ 特徴量和算出部
１４０ 要約画像検出部
１５０、１６０ 繰返し制御部
１５１ 要約画像枚数算出部
１６１ 網羅率算出部
２１０ 連結領域特徴量算出部
２１１ａ 領域判定部
２１１ 連結領域重要度算出部
３１０ 領域優先度算出部
３１１ 対応領域比較部
３２０、３３０ 要約指標値算出部
３３１ 優先度平均算出部
【技術分野】
【０００１】
本発明は、時系列順に撮像された一連の画像から、該一連の画像を要約する要約画像を検出する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
被検体内に導入されて管腔内を撮像するカプセル内視鏡を用いた検査においては、例えば２〜４フレーム／秒の撮像フレームレートで８時間程度に渡って撮像が行われる。このため、１回の検査により、時系列順に撮像された大量（数万枚以上）の画像が取得される。これらの画像の中には、カプセル内視鏡が１箇所にしばらく留まるなどして撮像を続けたために、同じ撮像対象が複数枚に渡って映された冗長なシーンが含まれることがある。そのため、一連の画像を効率良く診断するためには、これらの画像の要約（ダイジェスト）を表す要約画像を検出することが重要となる。
【０００３】
要約画像の検出に関連する技術として、例えば特許文献１には、連続した画像列から画像を抽出する画像処理装置において、時系列に沿って連続する画像間の変化量を算出し、変化量の大きい順の所定枚数の画像を、検出すべきシーンを含む画像として上記画像列から抽出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０４１４０１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、このような要約画像は医療診断に用いられるものであるため、情報に漏れがあってはならず、一連の画像に含まれる情報を広く把握できる高い網羅性が要求される。この点について、従来の要約画像の検出技術においては、要約画像の網羅性までは考慮されていない。
【０００６】
本発明は、上記に鑑みて為されたものであって、時系列順に撮像された一連の画像から網羅性の高い要約画像を検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結手段と、前記連結領域の特徴量を算出する連結領域特徴量算出手段と、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出手段と、前記要約指標値をもとに要約画像を検出する要約画像検出手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、前記要約指標値をもとに要約画像を検出する要約画像検出ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、前記要約指標値をもとに要約画像を検出する要約画像検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけて設定した連結領域の特徴量に基づき、時系列画像に映された対象の集約度合いを表す指標値を算出し、この指標値に基づいて要約画像を検出するので、一連の画像に映された対象に対して網羅性の高い要約画像を検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置が実行する処理を示すフローチャートである。
【図３】図３は、図２に示す同一の対象が映る画素を連結する処理を示すフローチャートである。
【図４】図４は、連続する画素間の画素対応情報の一例を示す表である。
【図５】図５は、連結領域ラベリング情報の一例を示す表である。
【図６】図６は、時系列に連続する画像において、ラベリング処理の結果連結された画素の領域を示すモデル図である。
【図７】図７は、図６に示す各連結領域に対して特徴量を算出した結果を示すモデル図である。
【図８】図８は、要約指標値と時系列画像の集約の関係を示すモデル図である。
【図９】図９は、繰返し処理により網羅性の高い要約画像を検出できる理由を説明する図である。
【図１０】図１０は、変形例１係る繰返し制御部の構成を示すブロック図である。
【図１１】図１１は、変形例１に係る画像処理装置が実行する処理を示すフローチャートである。
【図１２】図１２は、実施の形態２に係る演算部の構成を示すブロック図である。
【図１３】図１３は、実施の形態２における各連結領域の特徴量を算出する処理を示すフローチャートである。
【図１４】図１４は、実施の形態３に係る演算部の構成を示すブロック図である。
【図１５】図１５は、実施の形態３に係る画像処理装置が実行する処理を示すフローチャートである。
【図１６】図１６は、図１５に示す各画像内の領域に対して視認性に基づく優先度を算出する処理を示すフローチャートである。
【図１７】図１７は、比較対象領域の面積を比較する例を示すモデル図である。
【図１８】図１８は、変形例２に係る要約指標値算出部の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を時系列順に撮像することにより取得された一連の管腔内画像に対する処理について説明する。なお、以下の実施の形態において画像処理を施される画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。また、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された一連の画像から要約画像を検出する場合にも広く適用することができる。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって時系列順に撮像された一連の画像（以下、時系列画像ともいう）に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１５】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１６】
画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１８】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、時系列画像から要約画像を検出する処理を実行するための画像処理プログラム５１を格納する。
【００１９】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって時系列画像に対応する画像データに画像処理を施し、時系列画像から要約画像を検出するための種々の演算処理を行う。
【００２０】
次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、一連の時系列画像間において同一の対象が映る領域同士を対応づけ、該対応づけられた領域を１つの連結領域として設定する対応領域連結部１１０と、各連結領域の特徴量を算出する連結領域特徴量算出部１２０と、上記特徴量をもとに要約指標値を算出する要約指標値算出部１３０と、要約指標値をもとに要約画像を検出する要約画像検出部１４０と、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰返しを制御する繰返し制御部１５０とを備える。なお、上記時系列画像において複数の対象が映っている場合には、複数の連結領域が設定され得る。
【００２１】
対応領域連結部１１０は、時系列に連続する画像間において、各画像内に含まれる領域の対応付けを行う領域対応付け部１１１を有し、この対応付けの結果をもとに、同一の対象が映る領域を各画像内及び画像間で連結する。より詳細には、領域対応付け部１１１は時系列で連続する画像間におけるオプティカルフローを算出するオプティカルフロー算出部１１１ａを含み、オプティカルフローをもとに画像間における領域の対応付けを行う。
【００２２】
連結領域特徴量算出部１２０は、各連結領域内に含まれる画素数の総和である連結領域体積を算出する連結領域体積算出部１２１を有し、この連結領域体積を特徴量とする。
【００２３】
要約指標値算出部１３０が算出する要約指標値は、時系列画像に映された対象が時系列画像内の各画像に集約されている度合いに対応する。要約指標値算出部１３０は、各画像内に含まれる各連結領域の特徴量の総和を画像毎に算出する特徴量和算出部１３１を有し、この特徴量の総和を要約指標値とする。
【００２４】
繰返し制御部１５０は、検出された要約画像の枚数を算出する要約画像枚数算出部１５１を有し、要約画像の枚数に応じて、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰返しを制御する。
【００２５】
次に、画像処理装置１が実行する処理について説明する。図２は、画像処理装置１が実行する処理を示すフローチャートである。
まず、ステップＳ１０１において、画像取得部２０は、被検体の管腔内を時系列に撮像した一連の管腔内画像（以下、単に画像という）を取得して記録部５０に格納する。演算部１００は、画像処理を施す画像を記録部５０から順次読み込む。
【００２６】
続くステップＳ１０２において、対応領域連結部１１０は、複数画像に渡って同一の対象が映る画素を連結する。
図３は、同一の対象が映る画素を連結する処理（ステップＳ１０２）の詳細を示すフローチャートである。
まず、ステップＳ１１１において、オプティカルフロー算出部１１１ａは、時系列で連続する画像間のオプティカルフローを算出する。ここで、オプティカルフローとは、異なる時間に撮影された２枚の画像間において同じ対象の対応付けを行い、その移動量をベクトルデータとして表現したものである。実施の形態１においては、管腔内画像の画素値の内のＧ成分に対して、公知のオプティカルフロー算出法（より詳細には、ブロックマッチング法又は勾配法）を用いてオプティカルフローを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第２４３〜２４５頁））。或いは、Lucas-Kanadeトラッキング（参考：B. D. Lucas and T. Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” Proceedings of the 7th International Joint Conference on Artificial Intelligence, pages 674-679, 1981）等の公知技術を用いてオプティカルフローを算出しても良い。
【００２７】
ここで、Ｇ成分を用いるのは、Ｇ成分は血液の吸光帯域に近いことから、病変、粘膜、内容物の境界等の管腔内画像の構造情報をよく表すためである。もちろん、Ｇ成分の代わりに、画素値の他の色成分（Ｒ成分又はＢ成分）や、公知の変換により画素値から２次的に算出される値、具体的には、輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等を用いてもよい。
【００２８】
続くステップＳ１１２において、領域対応付け部１１１は、オプティカルフローをもとに、連続する画像間における画素の対応付けを行う。詳細には、次のような処理が行われる。即ち、領域対応付け部１１１は、オプティカルフローに基づき、時系列における前画像内の画素座標（ｘｔ０,ｙｔ０）（ここで、ｘｔ０及びｙｔ０は自然数）に対し、時系列における後画像内の対応する座標（ｘｔ１,ｙｔ１）（ここで、ｘｔ１及びｙｔ１は実数）を求めると共に、時系列における後画像内の画素座標（ｘｔ１’,ｙｔ１’）（ここで、ｘｔ１’,ｙｔ１’は自然数）に対し、時系列における前画像内の対応する座標（ｘｔ０’,ｙｔ０’）（ここで、ｘｔ０’,ｙｔ０’は実数）を求める。そして、時系列の前後の画像内において互いに対応する画素を決定して、連続する画像間の画素対応情報を作成する。
【００２９】
このとき、領域対応付け部１１１は、一方の画像内の複数画素に対応する他方の画像内の座標（実数）が１つの画素座標（自然数）付近に集中する場合、この画素座標に対して座標がより近い一方の画像内の所定数の画素を当該画素座標に対応付ける。そして、それ以外の画素については、一方の画像に映りながらも、他方の画像には映らない対象部分の画素とみなし、対応関係を取らないこととする。
【００３０】
なお、対応付けられる座標同士が必ずしも１対１とならないのは、カプセル内視鏡と撮像対象（例えば粘膜表面等）との距離や角度によって、画像が拡大又は縮小する場合があるからである。
【００３１】
また、時系列の順方向（前画像の画素に対応する後画像の座標）及び逆方向（後画像の画素に対応する前画像の座標）双方における対応関係を検出するのは、対応座標の信頼性をより高めるためである。なお、実施の形態１においては、時系列の順方向又は逆方向の一方における対応関係のみを検出することとしても良い。
【００３２】
図４は、連続する画像間の画素対応情報の一例を示す表である。この画素対応情報は、時系列における前画像Ｉｎ及び後画像Ｉｎ＋１（ｎ＝０、１、２、…）にそれぞれ含まれる画素同士の対応関係を示す。なお、Ｐ（ｘ,ｙ）は各画像内の座標（ｘ,ｙ）における画素を示す。この画素対応情報では、隣接する列において、隣り合う行に記載された画素同士（例えば、画像Ｉ０の画素Ｐ（０，１）と、画像Ｉ１のＰ（０，１）及びＰ（０，２））が、互いに対応する画素を示している。なお、隣接する列において隣り合う行の一方が空欄の場合、対応する画素が存在しないことを示す。
【００３３】
続くステップＳ１１３において、対応領域連結部１１０は、対応する画素同士が同一のラベルとなるようにラベリングを行う。より詳細には、まず、対応領域連結部１１０は、画素対応情報をもとに、ある画素に設定されたラベル値を対応する全ての画素に設定する。次いで、ラベル値が未設定の画素に対して新たなラベル値を設定し、上記と同様の処理を行う。このような処理を順次繰返すことにより、全ての画素に対してラベリングを行う。さらに、対応領域連結部１１０は、同一のラベル値が設定された画素の集合を、同一の対象が映る画素の連結領域とする。
【００３４】
図５は、図４に示す画素対応情報に基づくラベリングの結果（連結領域ラベリング情報）の一例を示す表である。図５において、各画素Ｐ（ｘ，ｙ）に続くコロンの後に示された数値が、当該画素Ｐ（ｘ，ｙ）に設定されたラベル値を示す。
【００３５】
また、図６は、時系列に連続する４枚の画像Ｉ０〜Ｉ３において、ラベリング処理の結果連結された画素の領域を示すモデル図である。図６においては、各画像Ｉ０〜Ｉ３にそれぞれ含まれる画素Ｐ００〜Ｐ０７、Ｐ１０〜Ｐ１７、Ｐ２０〜Ｐ２７、Ｐ３０〜Ｐ３７を、模擬的に１次元の画素列によって示している。これらの画素の内、線分によって結ばれた画素同士（例えば、画素Ｐ０１と画素Ｐ１０）が、１つの連結領域を構成する画素である。
【００３６】
なお、ステップＳ１１１〜Ｓ１１３においては、１画素単位で処理（画素の対応付け処理及び連結処理）を実行する場合を説明したが、複数画素をまとめた小領域単位で同様の処理を行っても良い。この場合、各画像をエッジ強度等に基づいて予め小領域に分割しておく。画像の分割方法としては、エッジ強度の尾根を境界とする手法（例えば国際公開第２００６／０８０２３９号参照）、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等を利用することができる。
この後、処理はメインルーチンに戻る。
【００３７】
ステップＳ１０３において、連結領域特徴量算出部１２０は、各連結領域の特徴量を算出する。より詳細には、連結領域体積算出部１２１が、各連結領域内に含まれる画素数の総和を連結領域体積として算出する。連結領域特徴量算出部１２０は、この連結領域体積を各連結領域の特徴量として用いる。
【００３８】
図７は、図６に示す各連結領域に対して特徴量を算出した結果を示すモデル図である。図７に示す丸印内の数値は、各連結領域（丸印が配置された線分によって結ばれる画素を含む連結領域）の特徴量（本実施の形態１においては連結領域体積）を示す。例えば、画像Ｉ０の画素Ｐ０７、画像Ｉ１の画素Ｐ１４、並びに画像Ｉ２の画素Ｐ２０及びＰ２１を含む連結領域の体積（画素数）は「４」となる。
【００３９】
続くステップＳ１０４において、要約指標値算出部１３０は、連結領域の特徴量をもとに、各画像の要約指標値を算出する。より詳細には、特徴量和算出部１３１が、各画像内に含まれる連結領域の特徴量の総和を、画像毎に算出する。この連結領域の特徴量の総和が、要約指標値として用いられる。
【００４０】
具体的には、画像Ｉｎの要約指標値Ｅ（Ｉｎ）は、次式（１）によって与えられる。
Ｅ（Ｉｎ）＝ΣＦ（Ｌｉ） …（１）
式（１）において、右辺は、画像Ｉｎに含まれるラベル値ｉが設定された連結領域Ｌｉの特徴量Ｆ（Ｌｉ）（実施の形態１においては連結領域体積）の総和を示す。
【００４１】
従って、図５に示す画像Ｉ０〜Ｉ３の場合、要約指標値Ｅ（Ｉｎ）は次式によって与えられる。
Ｅ（Ｉ０）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ３）＋Ｆ（Ｌ５）＋…
Ｅ（Ｉ１）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋Ｆ（Ｌ５）＋…
Ｅ（Ｉ２）＝Ｆ（Ｌ１）＋Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋…
Ｅ（Ｉ３）＝Ｆ（Ｌ２）＋Ｆ（Ｌ４）＋Ｆ（Ｌ６）＋…
【００４２】
これは、図７に示すモデル図においては、各画像Ｉ０〜Ｉ３に含まれる連結領域の特徴量（丸印内の数値）の総和を取ることに相当する。即ち、以下のとおりである。
Ｅ（Ｉ０）＝１＋２＋２＋３＋３＋４＝１５
Ｅ（Ｉ１）＝２＋２＋３＋３＋４＋３＋３＝２４
Ｅ（Ｉ２）＝４＋３＋３＋４＋２＋３＝１９
Ｅ（Ｉ３）＝４＋３＋２＋３＋１＋１＝１４
【００４３】
ステップＳ１０５において、要約画像検出部１４０は、要約指標値が最大となる１枚の画像を要約画像として検出する。これは、上記算出法により得られる要約指標値が大きいほど、時系列画像に映された対象がより多く集約された画像であると考えることができるからである。例えば、図７に示す画像Ｉ０〜Ｉ３の内からは、要約指標値Ｅ（Ｉｎ）が４画像の内で最大（２４）である画像Ｉ１が要約画像として検出される。
【００４４】
図８は、要約指標値と時系列画像の集約の関係を示すモデル図である。図８においては、画像Ｉ１内に含まれる画素、及びこれらの画素に対応する他の画像Ｉ０、Ｉ２、Ｉ３内の画素を網掛け表示している。このモデル図において、各画素の対応関係に着目すると、画像Ｉ１内の画素は、画像Ｉ０及びＩ２の大半の画素と対応していることがわかる。即ち、画像Ｉ１は、画像Ｉ０及びＩ２に映された対象の大半を含んでおり、これら時系列の画像Ｉ０〜Ｉ３に映された対象を最も集約しているといえる。
従って、要約指標値が最大である画像（画像Ｉ１）が最も適切な要約画像であることは、図８に示すモデル図からも確認することができる。
【００４５】
ステップＳ１０６において、繰返し制御部１５０の要約画像枚数算出部１５１は、検出済みの要約画像枚数（検出枚数）を算出する。
続くステップＳ１０７において、繰返し制御部１５０は、要約画像枚数が所定値に至ったか否かを判定する。この所定値としては、予めユーザが所望の枚数を設定することができる。
【００４６】
所定値に至っていない場合（ステップＳ１０７：Ｎｏ）、繰返し制御部１５０は、検出済みの要約画像内に含まれる連結領域に対応する対象を既に検出済みの対象であるとみなし、当該要約画像内に含まれる連結領域の特徴量をゼロに設定する（ステップＳ１０８）。その後、処理はステップＳ１０４に戻る。この場合、要約指標値算出部１３０及び要約画像検出部１４０における未検出の対象に対する処理（ステップＳ１０４、Ｓ１０５〜）が繰り返し実行される。
【００４７】
ここで、このような繰返し処理により、時系列画像に映された対象に対して網羅性の高い要約画像を検出できる理由を、図９を参照しながら説明する。図９においては、要約画像として検出された画像Ｉ１内に含まれる連結領域の特徴量がゼロに設定されている。また、画像Ｉ１内の画素に対応する全ての画素、即ち、要約画像に集約された対象が映る画素は、網掛け表示されている。これより、次に検出すべき要約画像として望ましいのは、まだ網羅されていない対象が多く映された画像Ｉ３であることがわかる。
【００４８】
繰り返し後のステップＳ１０４の処理により、各画像Ｉｎ（ｎ＝０、２、３）の要約指標値Ｅ（Ｉｎ）として、Ｅ（Ｉ０）＝１、Ｅ（Ｉ２）＝２＋３＝５、Ｅ（Ｉ３）＝２＋３＋１＋１＝７が算出される。これより、次に検出すべき要約画像は、要約指標値Ｅ（Ｉｎ）の値が最も大きい（７）画像Ｉ３であると判定される（繰り返し後のステップＳ１０５）。これは、図９のモデル図に示す概念とも一致する。このような処理をさらに繰り返すことにより、時系列画像に映された対象に対して網羅性の高い要約画像を検出することができる。
【００４９】
一方、ステップＳ１０７において、要約画像枚数が所定値に至った場合（ステップＳ１０７：Ｙｅｓ）、処理はステップＳ１０９に移行する。この場合、演算部１００は、要約画像の検出結果を表示部４０に出力すると共に、記録部５０に記録する。その後、画像処理装置１における処理は終了する。
【００５０】
以上説明したように、実施の形態１によれば、時系列画像において同一対象が映る領域を連結した連結領域を求め、各画像内に含まれる連結領域の体積の総和に基づき、時系列画像に映された対象が集約した要約画像を順次検出するので、診断対象に対して網羅性の高い要約画像を検出することが可能となる。
【００５１】
なお、上記実施の形態１においては、繰返し制御部１５０により、要約指標値算出部１３０及び要約画像検出部１４０における処理を繰り返し実行することとしたが、要約指標値算出部１３０及び要約画像検出部１４０における少なくとも１回の処理によっても、網羅性の高い要約画像を検出することが可能である。
【００５２】
（変形例１）
次に、実施の形態１の変形例１について、図１０を参照しながら説明する。
変形例１に係る画像処理装置は、図１に示す繰返し制御部１５０の代わりに、網羅率算出部１６１を有する繰返し制御部１６０を備える。網羅率算出部１６１は、検出済みの要約画像によって網羅される時系列画像に映された対象の網羅率を算出する。繰返し制御部１６０は、この網羅率に応じて、要約指標値算出部１３０及び要約画像検出部１４０における処理の繰り返しを制御する。
【００５３】
図１１は、変形例１に係る画像処理装置が実行する処理を示すフローチャートである。この内、ステップＳ１０１〜Ｓ１０５、Ｓ１０８、Ｓ１０９における処理は、実施の形態１と同様である。
【００５４】
ステップＳ１０５に続くステップＳ１２６において、網羅率算出部１６１は、検出済みの要約画像による網羅率ＣＲを、次式（２）を用いて算出する。
【数１】
【００５５】
例えば、図８において、画像Ｉ１を要約画像として検出した場合、画像Ｉ１による網羅率ＣＲ（Ｉ１）は次のようになる。
ＣＲ（Ｉ１）＝２４／３２=０．７５
【００５６】
また、図９において、画像Ｉ１に続いて画像Ｉ３を要約画像として検出した場合、画像Ｉ１及びＩ３による網羅率ＣＲ（Ｉ１、Ｉ３）は次のようになる。
ＣＲ（Ｉ１、Ｉ３）＝（２４＋７）／３２＝０．９６８７５
【００５７】
ステップＳ１２７において、繰返し制御部１６０は、このようにして算出した網羅率ＣＲが所定値以上となったか否かを判定する。この網羅率としては、予めユーザが所望の値を設定することができる。
【００５８】
網羅率が所定値未満である場合（ステップＳ１２７：Ｎｏ）、繰返し制御部１６０は、検出済みの要約画像内に含まれる連結領域の特徴量をゼロに設定し（ステップＳ１０８）、その後、処理はステップＳ１０４に戻る。この場合、要約指標値算出部１３０及び要約画像検出部１４０における処理（ステップＳ１０４、Ｓ１０５〜）が繰り返し実行される。
一方、網羅率が所定値以上となった場合（ステップＳ１２７：Ｙｅｓ）、処理はステップＳ１０９に移行する。
【００５９】
以上説明したように、変形例１によれば、要約画像の検出と共に、検出済みの要約画像による網羅率を算出し、網羅率に応じた処理の繰返し制御を実行するので、所定以上の網羅率となる要約画像を検出することが可能となる。
【００６０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１２は、実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、実施の形態２に係る画像処理装置の演算部以外の構成及び動作については、図１に示すものと同様である。
【００６１】
図１２に示す演算部２００は、図１に示す連結領域特徴量算出部１２０の代わりに、連結領域重要度算出部２１１を有する連結領域特徴量算出部２１０を備える。その他の各部の構成及び動作については、実施の形態１と同様である。
【００６２】
連結領域重要度算出部２１１は、一連の時系列画像の各画像内の領域を、例えば診断における重要度に応じたカテゴリに分類すべく判定を行う領域判定部２１１ａを含み、この判定結果に基づいて、各連結領域の重要度を算出する。連結領域特徴量算出部２１０は、算出された重要度を連結領域の特徴量として用いる。
【００６３】
より詳細には、領域判定部２１１ａは、各画像内の領域を、検出すべき領域（検出対象領域）、検査すべき領域（検査対象領域）、及び検査に不要な領域（非検査対象領域）の何れかに判定する。具体的には、検出すべき領域には病変部が相当し、検査すべき領域には粘膜領域が相当し、検査が不要な領域には非粘膜領域が相当する。
【００６４】
次に、実施の形態２に係る画像処理装置が実行する処理について説明する。本実施の形態２に係る画像処理装置が実行する処理は全体として図２に示すものと同様であり、各連結領域の特徴量を算出する処理（ステップＳ１０３）が実施の形態１とは異なる。
図１３は、連結領域特徴量算出部２１０が実行する各連結領域の特徴量を算出する処理を示すフローチャートである。
【００６５】
対応領域連結部１１０により、同一の対象が映る画素が連結された後（図２のステップＳ１０２）、領域判定部２１１ａは、各画素の色情報をもとに、各画素を病変、粘膜、非粘膜の何れかのカテゴリに判定する（ステップＳ２０１）。なお、色情報をもとに管腔内画像の画素のカテゴリ（病変、粘膜、非粘膜など）を判定する方法としては、公知の種々の方法を用いて良い。一例として、管腔内画像内の各画素の特定波長成分（例えばＲ成分）の値をもとに管腔内画像を階層分類することにより当該画像を領域分割し、各領域内の各画素の画素特徴量（例えば、画素のＲ、Ｇ、Ｂ成分の値や、これらの成分をもとに２次的に計算される輝度、色差、色相、彩度、明度、色比等の値）を算出して画素特徴量の分布をクラスタリングし、各クラスタを所定のクラスタ判別基準と比較することにより、病変部クラスタを判別し、この病変部クラスタに属する画素を病変画素として特定するといった方法が挙げられる（特開２０１０−１１３６１６号公報参照）。
【００６６】
続くステップＳ２０２において、連結領域重要度算出部２１１は、各画素に対してカテゴリごとに重み付けを行う。この重みは、病変画素の重みが最も高く、粘膜画素、非粘膜画素の順に重みが下がるように設定される。これは、要約画像において網羅すべき画素の重要度は、高い順から、病変画素、粘膜画素、非粘膜画素となるからである。具体例として、病変画素には重み２が設定され、粘膜画素には重み１が設定され、非粘膜画素には重み０が設定される。
【００６７】
さらに、ステップＳ２０３において、連結領域重要度算出部２１１は、各連結領域に含まれる画素の重みの総和を連結領域重要度として算出する。この連結領域重要度が、各画像の要約指標値を算出（ステップＳ１０４）する際の特徴量として用いられる。
この後、処理はメインルーチンに戻る。
【００６８】
以上説明したように、実施の形態２によれば、各画像内の画素が属する領域（検出対象領域、検査対象領域、非検査対象領域）の判別結果に基づく重要度を考慮するので、時系列画像に映された重要な診断対象に対して網羅性の高い要約画像を検出することが可能となる。
【００６９】
なお、実施の形態２においては、１画素単位の処理により画素の判別を行ったが、複数画素をまとめた小領域単位で同様の処理を行っても良い。
【００７０】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１４は、実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、実施の形態３に係る画像処理装置の演算部以外の構成及び動作については、図１に示すものと同様である。
【００７１】
図１４に示す演算部３００は、図１に示す演算部１００に対して、領域優先度算出部３１０をさらに備え、また、図１に示す要約指標値算出部１３０の代わりに、要約指標値算出部３２０を備える。その他の各部の構成及び動作については、実施の形態１と同様である。
【００７２】
領域優先度算出部３１０は、一連の時系列画像の各画像内の領域に対し、視認性に基づく要約画像検出の優先度を算出する。より詳細には、領域優先度算出部３１０は、互いに異なる画像間において、同一の連結領域に属する領域を比較する対応領域比較部３１１を有し、対応領域比較部３１１による比較結果をもとに上記優先度を算出する。
【００７３】
要約指標値算出部３２０は、領域優先度算出部３１０によって算出された優先度と、連結領域特徴量算出部１２０によって算出された領域特徴量とに基づいて、要約指標値を算出する。
【００７４】
図１５は、実施の形態３に係る画像処理装置が実行する処理を示すフローチャートである。この内、ステップＳ１０１〜Ｓ１０３及びＳ１０５〜Ｓ１０９における処理については、実施の形態１と同様である。
【００７５】
ステップＳ１０３に続くステップＳ３０１において、領域優先度算出部３１０は、各画像内の領域に対して視認性に基づく優先度を算出する。
図１６は、視認性に基づく優先度を算出する（ステップＳ３０１）処理の詳細を示すフローチャートである。
まず、ステップＳ３１１において、対応領域比較部３１１は、互いに異なる画像間において、同一の連結領域に含まれる領域（以下、比較対象領域という）の面積を比較する。図１７は、比較対象領域の面積を比較する例を示すモデル図である。図１７においては、互いに異なる画像Ｉ０〜Ｉ２に含まれる１つの連結領域に注目し、該連結領域に含まれる比較対象領域（画素）を網掛け表示している。
【００７６】
図１７に示すように、各画像Ｉ０〜Ｉ２における比較対象領域の面積（画素数）Ｓ（Ｉｎ）は、それぞれ、Ｓ（Ｉ０）＝１、Ｓ（Ｉ１）＝１、Ｓ（Ｉ２）＝２である。これらの面積Ｓ（Ｉｎ）を比較対象領域の最大面積が１となるように正規化すると、正規化された値（以下、面積指標値という）Ｓ’（Ｉｎ）は、Ｓ’（Ｉ０）＝０．５、Ｓ’（Ｉ１）＝０．５、Ｓ’（Ｉ２）＝１となる。この面積指標値が１に近いほど、同一の対象が大きく映り、視認性が良いと言える。対応領域比較部３１１は、このような面積指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の面積指標値を取得する。
【００７７】
続くステップＳ３１２において、対応領域比較部３１１は、各画像内における比較対象領域の位置を、互いに異なる画像間で比較する。ここで、比較対象領域は、画像の中心に近い程、視認性が良いと言える。そこで、対応領域比較部３１１は、比較対象領域の重心座標（ｘｇ，ｙｇ）と、画像の中心座標（ｘｃ，ｙｃ）をもとに、次式（３）を用いて、比較対象領域が画像の中心に近い程、値が１に近くなる位置指標値を算出する。
【数２】
【００７８】
対応領域比較部３１１は、このような位置指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の位置指標値を取得する。
【００７９】
ステップＳ３１３において、対応領域比較部３１１は、各画像内における比較対象領域のノイズ量を、互いに異なる画像間で比較する。ここで、比較対象領域は、ノイズ量が少ない程、視認性が良いと言える。また、視認性を低下させるノイズには、所定の周波数以上の高周波成分ノイズが含まれる。そこで、対応領域比較部３１１は、比較対象領域内の各画素に対して公知のハイパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１３３〜１３６頁）処理を施し、ハイパスフィルタ処理後の出力値（画素値）の比較対象領域内における平均値をノイズ量として算出する。
【００８０】
さらに、対応領域比較部３１１は、次式（４）を用いて、比較対象領域のノイズ量が少ない程、値が１に近くなるノイズ量指標値を算出する。
【数３】
式（４）において、Ｎはノイズ量指標値の算出対象である比較対象領域のノイズ量、ｍａｘ（Ｎ）は同一の連結領域に含まれる比較対象領域の最大ノイズ量、ｍｉｎ（Ｎ）は同一の連結領域に含まれる比較対象領域の最小ノイズ量を示す。
【００８１】
対応領域比較部３１１は、このようなノイズ量指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎のノイズ量指標値を取得する。
【００８２】
ステップＳ３１４において、対応領域比較部３１１は、各画像内における比較対象領域の解像度を、互いに異なる画像間で比較する。ここで、比較対象領域は、解像度が高い程、視認性が良いと言える。また、一般に、解像度は、ノイズに相当する高周波成分を除き、より高い周波数成分が含まれるほど、即ち、中程度の周波数成分が多いほど、解像度は高いと言える。そこで、対応領域比較部３１１は、比較対象領域内の各画素に対して公知のバンドパスフィルタ（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第１３６頁）処理を施し、バンドパスフィルタ処理後の出力値（画素値）の比較対象領域内における平均値を解像度評価量として算出する。なお、バンドパスフィルタによって抽出する中程度の周波数成分については、ユーザ所望の値を予め設定しておく。
【００８３】
さらに、対応領域比較部３１１は、次式（５）を用いて、比較対象領域の解像度評価量が多い程、値が１に近くなる解像度指標値を算出する。
【数４】
式（５）において、Ｒは解像度指標値の算出対象である比較対象領域の解像度評価量、ｍａｘ（Ｒ）は同一の連結領域に含まれる比較対象領域の最大解像度評価量、ｍｉｎ（Ｒ）は同一の連結領域に含まれる比較対象領域の最小解像度評価量を示す。
【００８４】
対応領域比較部３１１は、このような解像度指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎の解像度指標値を取得する。
【００８５】
ステップＳ３１５において、対応領域比較部３１１は、各画像内における比較対象領域の明るさを比較する。ここで、比較対象領域は、明るすぎたり暗すぎたりしない程、視認性が良いと言える。そこで、対応領域比較部３１１は、比較対象領域の平均輝度値を算出する。
【００８６】
さらに、次式（６）を用いて、比較対象領域の明るさが所定の範囲に近い程、値が１に近くなる明るさ指標値を算出する。なお、明るさの範囲については、ユーザ所望の範囲を予め設定しておく。
【数５】
式（６）において、Ｖは明るさ指標値の算出対象である比較対象領域の平均輝度値、ｍｉｎ＿ｔｈは視認性を考慮した場合における下限輝度値、ｍａｘ＿ｔｈは視認性を考慮した場合における上限輝度値、ｍａｘＶは取り得る輝度値の上限値を示す。
【００８７】
対応領域比較部３１１は、このような明るさ指標値の算出を、全ての連結領域を対象として行うことにより、各画像内において、同一の連結領域に含まれる領域毎に明るさ指標値を取得する。
【００８８】
ステップＳ３１６において、領域優先度算出部３１０は、面積、位置、ノイズ量、解像度、及び明るさの比較結果をもとに、各比較対象領域の優先度を算出する。この優先度は、次式（７）によって与えられる。
優先度＝ｗＡ×面積指標値＋ｗＰ×位置指標値＋ｗＮ×ノイズ量指標値
＋ｗＲ×解像度指標値＋ｗＶ×明るさ指標値 …（７）
式（７）において、ｗＡ、ｗＰ、ｗＮ、ｗＲ、及びｗＶは、それぞれ、面積、位置、ノイズ量、解像度、及び明るさの各指標値に対する重みを示し、次式（８）を満たす。
ｗＡ＋ｗＰ＋ｗＮ＋ｗＲ＋ｗＶ＝１ …（８）
その後、処理はメインルーチンに戻る。
【００８９】
ステップＳ３０２において、要約指標値算出部３２０は、優先度及び連結領域の特徴量に基づき、各画像の要約指標値を算出する。具体的には、特徴量がゼロではない連結領域内に含まれる画素の優先度の平均値を、画像毎に算出する。これより、画像内に優先度が高い領域が多く存在する程、要約指標値は高くなる。
この後、処理はステップＳ１０５に移行する。
【００９０】
以上説明したように、実施の形態３によれば、画像内の領域の視認性に基づく優先度を考慮した要約指標値を算出し、この要約指標値に基づいて要約画像を検出するので、時系列画像に映された診断対象に対して視認性の良い、かつ網羅性を考慮した要約画像を検出することが可能となる。
【００９１】
（変形例２）
次に、実施の形態３の変形例２について、図１８を参照しながら説明する。
変形例２に係る画像処理装置は、図１４に示す要約指標値算出部３２０の代わりに、重み付け優先度平均算出部３３１を有する要約指標値算出部３３０を備える。
【００９２】
重み付け優先度平均算出部３３１は、図１５に示すステップＳ３０１において各画像内の比較対象領域に対して視認性に基づく優先度が算出された後、各画像内に含まれる画素について算出された優先度に対して、当該画素を含む連結領域の特徴量を乗じることにより、重み付け優先度を算出する。さらに、重み付け優先度平均算出部３３１は、各画像内に含まれる画素の重み付け優先度の平均値を、画像毎に算出する。この重み付け優先度の平均値が要約指標値として用いられる。
【００９３】
このような変形例２によれば、画像内の領域の視認性に基づく優先度に対し、連結領域の特徴量を乗じた重み付けをするので、時系列画像に映された診断対象に対する視認性が良く、且つ、網羅性がさらに向上した要約画像を検出することが可能となる。
【００９４】
なお、実施の形態３及びその変形例２においては、１画素単位の処理により画素の判別を行ったが、複数画素をまとめた小領域単位で同様の処理を行っても良い。
【００９５】
以上説明した実施の形態１〜３及びこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９６】
なお、本発明は、実施の形態１〜３及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９７】
１ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００ 演算部
１１０ 対応領域連結部
１１１ 領域対応付け部
１１１ａ オプティカルフロー算出部
１２０ 連結領域特徴量算出部
１２１ 連結領域体積算出部
１３０ 要約指標値算出部
１３１ 特徴量和算出部
１４０ 要約画像検出部
１５０、１６０ 繰返し制御部
１５１ 要約画像枚数算出部
１６１ 網羅率算出部
２１０ 連結領域特徴量算出部
２１１ａ 領域判定部
２１１ 連結領域重要度算出部
３１０ 領域優先度算出部
３１１ 対応領域比較部
３２０、３３０ 要約指標値算出部
３３１ 優先度平均算出部
【特許請求の範囲】
【請求項１】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結手段と、
前記連結領域の特徴量を算出する連結領域特徴量算出手段と、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出手段と、
前記要約指標値をもとに要約画像を検出する要約画像検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対応領域連結手段は、
前記一連の画像の内、時系列で連続する複数の画像間において、各画像内に含まれる前記領域の対応付けを行う領域対応付け手段を備え、
前記領域対応付け手段による対応付け結果をもとに、前記同一の対象が映る領域を連結することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域対応付け手段は、
時系列で連続する複数の画像間におけるオプティカルフローを算出するオプティカルフロー算出手段を備え、
前記オプティカルフローをもとに前記各画像内に含まれる前記領域の対応付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記連結領域特徴量算出手段は、各連結領域に含まれる画素数の総和である連結領域体積を算出する連結領域体積算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記連結領域特徴量算出手段は、各連結領域の重要度を算出する連結領域重要度算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記連結領域重要度算出手段は、
前記各画像内の領域を、検出すべき領域、検査すべき領域、及び検査に不要な領域の何れかに判定する領域判定手段を備え、
前記領域判定手段の判定結果に応じて、前記重要度を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記連結領域重要度算出手段は、前記検出すべき領域の重要度を前記検査すべき領域の重要度よりも高く、且つ、前記検査すべき領域の重要度を前記検査に不要な領域の重要度よりも高く設定して、前記重要度を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記要約指標値算出手段は、前記各画像内に含まれる連結領域の特徴量の総和を画像毎に算出する特徴量和算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記要約画像検出手段は、前記一連の画像の内、前記要約指標値が最大となる画像を前記要約画像として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記要約画像内に含まれる連結領域を検出済みの対象であるとみなし、未検出の対象に対する前記要約指標値算出手段及び前記要約画像検出手段における処理の繰返しを制御する繰返し制御手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記繰返し制御手段は、検出された要約画像内に存在する連結領域の特徴量をゼロに設定して、前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記繰返し制御手段は、
検出された要約画像の枚数を算出する要約画像枚数算出手段を備え、
前記要約画像の枚数に応じて前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記繰返し制御手段は、
検出済みの要約画像により網羅される前記一連の画像に映された対象の網羅率を算出する網羅率算出手段を備え、
前記網羅率に応じて前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記網羅率算出手段は、
前記検出済みの要約画像内に存在する連結領域の特徴量の総和と、全ての連結領域の特徴量の総和とから、前記網羅率を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記各画像内の前記領域に対して、視認性に基づく要約画像検出の優先度を算出する領域優先度算出手段を更に備え、
前記要約指標値算出手段は、前記優先度及び前記連結領域の特徴量をもとに前記要約指標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記領域優先度算出手段は、
互いに異なる画像間において、同一の連結領域に属する領域を比較する対応領域比較手段を備え、
前記対応領域比較手段による比較結果をもとに前記優先度を算出することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記対応領域比較手段は、前記領域の面積を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記対応領域比較手段は、前記互いに異なる画像の各々における前記領域の位置を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記対応領域比較手段は、前記領域のノイズ量を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記対応領域比較手段は、前記領域の解像度を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２１】
前記対応領域比較手段は、前記領域の明るさを比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２２】
前記要約指標値算出手段は、
前記各画像内の前記領域について算出された前記優先度に対して、該領域が含まれる連結領域の特徴量に応じた重み付けを行うことにより、前記領域の重み付け優先度を算出し、画像毎に前記重み付け優先度の平均値を算出する重み付け優先度平均算出手段を備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項２３】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、
前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、
前記要約指標値をもとに要約画像を検出する要約画像検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項２４】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、
前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、
前記要約指標値をもとに要約画像を検出する要約画像検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結手段と、
前記連結領域の特徴量を算出する連結領域特徴量算出手段と、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出手段と、
前記要約指標値をもとに要約画像を検出する要約画像検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対応領域連結手段は、
前記一連の画像の内、時系列で連続する複数の画像間において、各画像内に含まれる前記領域の対応付けを行う領域対応付け手段を備え、
前記領域対応付け手段による対応付け結果をもとに、前記同一の対象が映る領域を連結することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域対応付け手段は、
時系列で連続する複数の画像間におけるオプティカルフローを算出するオプティカルフロー算出手段を備え、
前記オプティカルフローをもとに前記各画像内に含まれる前記領域の対応付けを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記連結領域特徴量算出手段は、各連結領域に含まれる画素数の総和である連結領域体積を算出する連結領域体積算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記連結領域特徴量算出手段は、各連結領域の重要度を算出する連結領域重要度算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記連結領域重要度算出手段は、
前記各画像内の領域を、検出すべき領域、検査すべき領域、及び検査に不要な領域の何れかに判定する領域判定手段を備え、
前記領域判定手段の判定結果に応じて、前記重要度を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記連結領域重要度算出手段は、前記検出すべき領域の重要度を前記検査すべき領域の重要度よりも高く、且つ、前記検査すべき領域の重要度を前記検査に不要な領域の重要度よりも高く設定して、前記重要度を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記要約指標値算出手段は、前記各画像内に含まれる連結領域の特徴量の総和を画像毎に算出する特徴量和算出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記要約画像検出手段は、前記一連の画像の内、前記要約指標値が最大となる画像を前記要約画像として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記要約画像内に含まれる連結領域を検出済みの対象であるとみなし、未検出の対象に対する前記要約指標値算出手段及び前記要約画像検出手段における処理の繰返しを制御する繰返し制御手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記繰返し制御手段は、検出された要約画像内に存在する連結領域の特徴量をゼロに設定して、前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記繰返し制御手段は、
検出された要約画像の枚数を算出する要約画像枚数算出手段を備え、
前記要約画像の枚数に応じて前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記繰返し制御手段は、
検出済みの要約画像により網羅される前記一連の画像に映された対象の網羅率を算出する網羅率算出手段を備え、
前記網羅率に応じて前記処理の繰返しを制御することを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記網羅率算出手段は、
前記検出済みの要約画像内に存在する連結領域の特徴量の総和と、全ての連結領域の特徴量の総和とから、前記網羅率を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記各画像内の前記領域に対して、視認性に基づく要約画像検出の優先度を算出する領域優先度算出手段を更に備え、
前記要約指標値算出手段は、前記優先度及び前記連結領域の特徴量をもとに前記要約指標値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記領域優先度算出手段は、
互いに異なる画像間において、同一の連結領域に属する領域を比較する対応領域比較手段を備え、
前記対応領域比較手段による比較結果をもとに前記優先度を算出することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記対応領域比較手段は、前記領域の面積を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記対応領域比較手段は、前記互いに異なる画像の各々における前記領域の位置を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記対応領域比較手段は、前記領域のノイズ量を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記対応領域比較手段は、前記領域の解像度を比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２１】
前記対応領域比較手段は、前記領域の明るさを比較することを特徴とする請求項１６に記載の画像処理装置。
【請求項２２】
前記要約指標値算出手段は、
前記各画像内の前記領域について算出された前記優先度に対して、該領域が含まれる連結領域の特徴量に応じた重み付けを行うことにより、前記領域の重み付け優先度を算出し、画像毎に前記重み付け優先度の平均値を算出する重み付け優先度平均算出手段を備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項２３】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、
前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、
前記要約指標値をもとに要約画像を検出する要約画像検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項２４】
時系列順に撮像された一連の画像間において同一の対象が映る領域同士を対応づけ、前記対応づけられた領域全体を１つの連結領域として設定する対応領域連結ステップと、
前記連結領域の特徴量を算出する連結領域特徴量算出ステップと、
前記特徴量をもとに、前記一連の画像に映された対象が前記一連の画像内の各画像に集約されている度合いに対応する要約指標値を算出する要約指標値算出ステップと、
前記要約指標値をもとに要約画像を検出する要約画像検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−３０１０５（Ｐ２０１３−３０１０５Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６７２６８（Ｐ２０１１−１６７２６８）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]