画像表示装置
【課題】観察の必要性が低い画像の表示時間を削減して一連の画像を効率的に観察できるようにすること。
【解決手段】画像表示装置１は、記憶部５から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記憶部５に記憶させる画像処理制御部２ａと、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて各画像を画像グループに分類する画像分類部２ｂと、各画像から所定の特徴を有する特徴画像領域を検出するとともに、検出した特徴画像領域を有する特徴画像を注目画像として検出する注目画像検出部２ｃと、各画像グループ内の注目画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定する代表画像抽出部２ｄと、設定された表示レートに応じて一連の代表画像を順次表示させる制御を行う画像表示制御部６ａと、を備える。
【解決手段】画像表示装置１は、記憶部５から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記憶部５に記憶させる画像処理制御部２ａと、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて各画像を画像グループに分類する画像分類部２ｂと、各画像から所定の特徴を有する特徴画像領域を検出するとともに、検出した特徴画像領域を有する特徴画像を注目画像として検出する注目画像検出部２ｃと、各画像グループ内の注目画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定する代表画像抽出部２ｄと、設定された表示レートに応じて一連の代表画像を順次表示させる制御を行う画像表示制御部６ａと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された一連の画像を順次表示する画像表示装置に関し、特にカプセル型内視鏡を用いて披検体内を撮像した一連の画像の表示に適用して好適な画像表示装置に関するものである。
【背景技術】
【０００２】
近年、内視鏡の分野において、飲込み式のカプセル型内視鏡が開発されている。このカプセル型内視鏡は、撮像機能と無線通信機能とを備え、各種臓器内の観察のために患者の口から飲み込まれた後、人体から自然排出されるまでの間、たとえば胃、小腸、大腸などの消化器官の内部をその蠕動運動にしたがって移動しながら順次撮像する。
【０００３】
臓器内を移動する間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により体外に送信され、体外の受信機内に設けられたメモリに蓄積されるか、受信機に設けられたディスプレイに画像表示される。医師、看護師等は、メモリに蓄積された画像データをもとにディスプレイに表示させた画像、または受信とともに受信機に設けられたディスプレイに表示させた画像に基づいて診断を行うことができる。
【０００４】
通常、カプセル型内視鏡によって撮像される一連の画像数は膨大であり、医師、看護師等は、この一連の画像を観察して診断を行うために多大な時間と労力を要する。これに対応して、メモリに蓄積された画像データをもとに画像を表示させて観察を行う場合、２つの画像の類似性の程度を判定し、この判定結果をもとに画像の表示レートを変化させる表示装置が提案されている（たとえば、特許文献１参照）。この表示装置では、カプセル型内視鏡の移動が停滞した際に連続して撮像される類似画像が多いことに着目し、２つの画像の類似性が低い場合、低速の表示レートで画像を表示し、類似性が高い場合、高速の表示レートで画像を表示するようにしている。
【０００５】
【特許文献１】特表２００４−５２１６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような表示装置では、２つの画像の類似性に応じて画像の表示レートを変化させるようにしているため、たとえば、出血部位を含み観察の必要性が高い画像であっても、出血部位がわずかな領域であると、類似性が高く判定され高速の表示レートで表示されることになり、観察が困難となる場合が生じるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、画像の類似性に応じて一連の画像を分類する場合でも、観察の必要性が高い画像の観察を容易とし、観察の必要性が低い画像の表示時間を削減することができ、結果として一連の画像の観察を効率的に行うことができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、請求項１にかかる画像表示装置は、入力された一連の画像を順次表示する画像表示装置において、前記一連の画像に含まれる各画像を該各画像間の相関度に応じて１以上の画像グループに分類する画像分類手段と、前記各画像の中から所定の特徴を有する特徴画像領域を検出し、該検出した特徴画像領域を有する各特徴画像を前記一連の画像の中から検出する特徴画像検出手段と、前記画像分類手段によって分類された各画像グループ内の前記特徴画像を、該各画像グループを代表する代表画像として抽出する代表画像抽出手段と、前記代表画像抽出手段によって抽出された代表画像を順次表示する制御を行う画像表示制御手段と、を備えたことを特徴とする。
【０００９】
また、請求項２にかかる画像表示装置は、上記の発明において、前記代表画像抽出手段は、少なくとも各画像グループの時系列で先頭にある先頭画像を該各画像グループの代表画像として抽出することを特徴とする。
【００１０】
また、請求項３にかかる画像表示装置は、上記の発明において、前記特徴画像検出手段によって検出された複数の特徴画像のうち時系列で連続する特徴画像間で生じた前記特徴画像領域の所定の特徴量の変化量を算出し、該算出した変化量をもとに前記複数の特徴画像を代表する特徴代表画像を選択する特徴画像選択手段を備え、前記特徴画像検出手段は、検出した各特徴画像領域の前記所定の特徴量を算出し、前記特徴画像選択手段は、前記特徴画像検出手段によって算出された特徴量をもとに前記変化量を算出し、前記代表画像抽出手段は、各画像グループ内の特徴画像のうち前記特徴代表画像を代表画像として抽出することを特徴とする。
【００１１】
また、請求項４にかかる画像表示装置は、上記の発明において、前記所定の特徴量は、前記特徴画像内の特徴画像領域の位置であることを特徴とする。
【００１２】
また、請求項５にかかる画像表示装置は、上記の発明において、前記画像表示制御手段は、前記特徴画像である代表画像を表示する際、該代表画像の近傍に特徴画像であることを示すマークを表示する制御を行うことを特徴とする。
【００１３】
また、請求項６にかかる画像表示装置は、上記の発明において、前記各画像は、臓器の内部を撮像した画像であり、前記所定の特徴は、前記臓器の内部の病変を示す特徴であることを特徴とする。
【００１４】
また、請求項７にかかる画像表示装置は、上記の発明において、前記病変を示す特徴は、出血、褪色および形状異常の少なくとも１つであることを特徴とする。
【００１５】
また、請求項８にかかる画像表示装置は、上記の発明において、前記一連の画像は、カプセル型内視鏡を用いて生成されることを特徴とする。
【発明の効果】
【００１６】
本発明にかかる画像表示装置によれば、画像の類似性に応じて一連の画像を分類する場合でも、観察の必要性が高い画像の観察を容易とし、観察の必要性が低い画像の表示時間を削減することができ、結果として一連の画像の観察を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して、本発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１８】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像表示装置について説明する。図１は、この実施の形態にかかる画像表示装置１の構成を示すブロック図である。図１に示すように、画像表示装置１は、記憶部５に記憶された画像を処理する画像処理部２と、各種情報の入力を受け付ける入力部３と、各種情報を表示する表示部４と、各種情報を記憶する記憶部５と、画像表示装置１の各部の処理および動作を制御する制御部６と、を備える。画像処理部２、入力部３、表示部４および記憶部５は、制御部６に電気的に接続されている。
【００１９】
画像処理部２は、画像処理制御部２ａ、画像分類部２ｂ、注目画像検出部２ｃおよび代表画像抽出部２ｄを備える。画像処理制御部２ａは、記憶部５から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記憶部５に出力し記憶させる。画像処理制御部２ａは、特に、画像分類部２ｂ、注目画像検出部２ｃおよび代表画像抽出部２ｄを制御して所定の画像処理を実行させる。
【００２０】
画像分類部２ｂは、画像処理制御部２ａが取得した時系列で連続する２つの画像の相関値を算出し、算出した相関値に応じて処理対象の画像を既存または新規の画像グループに対応付けるとともに、この対応付けの処理を一連のすべての画像に対して繰り返すことにより、この一連の画像を１つ以上の画像グループに分類する。
【００２１】
具体的には、画像分類部２ｂは、あらかじめ入力された相関値に対するしきい値を参照し、このしきい値と算出した相関値との大小関係に応じて、処理対象の画像を既存の画像グループもしくは新しい画像グループに対応付け、この対応付けた画像グループのグループ番号を処理対象の画像に付加する。なお、画像分類部２ｂは、たとえば、２つの画像間の対応する各画素値の正規化相互相関を相関値として算出する。また、画像分類部２ｂは、各画素値をもとに、対応する各画素の色差、輝度差等を相関値として求めるようにしてもよい。
【００２２】
特徴画像検出手段としての注目画像検出部２ｃは、画像処理制御部２ａが取得した画像から所定の特徴を有する特徴画像領域を検出するとともに、この検出した特徴画像領域を有する特徴画像を、観察時に注目すべき画像である注目画像として検出する。注目画像検出部２ｃは、この検出処理を一連のすべての画像に対して繰り返すことにより、すべての特徴画像を注目画像として検出する。このとき、注目画像検出部２ｃは、注目画像として検出した各画像に、注目画像であることを示す注目画像情報を付加する。
【００２３】
なお、注目画像検出部２ｃは、たとえば、画像を構成する各画素が示す色情報をもとに所定の特徴を識別して特徴画像領域を検出する。また、注目画像検出部２ｃは、色情報に限らず、輪郭形状、テクスチャ、濃度勾配等の各種特徴量をもとに特徴画像領域を検出するようにしてもよい。
【００２４】
代表画像抽出部２ｄは、画像分類部２ｂによって分類された各画像グループの中から、この各画像グループを代表する代表画像を抽出する。具体的には、代表画像抽出部２ｄは、各画像グループ内の注目画像をこの各画像グループの代表画像として抽出するとともに、各画像グループ内の時系列で先頭にある先頭画像を代表画像として抽出する。また、代表画像抽出部２ｄは、注目画像である代表画像に対し、十分な観察時間が与えられるように、画像を低速で表示する低速表示レートを設定し、先頭画像である代表画像に対し、低速表示レートよりも高速な通常速度で表示する通常表示レートを設定する。
【００２５】
なお、代表画像抽出部２ｄは、画像グループ毎にすべての注目画像を抽出し、注目画像が含まれない画像グループでは先頭画像のみ抽出する。また、代表画像抽出部２ｄは、先頭画像を代表画像とする替わりに、たとえば、画像グループで時系列的に末尾にある画像等、所定の順位にある画像を代表画像として抽出するようにしてもよい。
【００２６】
また、代表画像抽出部２ｄによって抽出された各代表画像は、画像処理制御部２ａによって記憶部５に出力され、代表画像を記憶する記憶領域である代表画像記憶部５ｂに記憶される。ここで、画像処理制御部２ａは、各代表画像を記憶する替わりに、各代表画像のグループ番号、注目画像情報および表示レートのみを元の画像に関連付けて新たに記憶するようにしてもよい。
【００２７】
入力部３は、画像表示装置１で処理する画像、各種処理情報等の入力を受け付ける。具体的には、入力部３は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェースを備え、外部装置からの画像の入力を受け付ける。また、入力部３は、各種スイッチ、入力キー、マウス、タッチパネル等を備え、画像分類部２ｂが参照するしきい値、注目画像検出部２ｃが検出すべき特徴画像領域の特徴に関する情報等、各種処理情報の入力を受け付ける。なお、入力部３は、各種メモリカード、ＣＤ、ＤＶＤ等の携帯型記憶媒体に対応するインターフェースを備え、この携帯型記憶媒体からの画像の入力を受け付けるようにしてもよい。
【００２８】
表示部４は、液晶ディスプレイ等を備え、画像を含む各種情報を表示する。表示部４は、特に、記憶部５に記憶された画像と、画像表示装置１のオペレータに対して各種処理情報の入力を依頼するＧＵＩ（Graphical User Interface）画面とを表示する。
【００２９】
記憶部５は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部５は、特に、外部から入力された画像と代表画像抽出部２ｄによって抽出された代表画像とをそれぞれ記憶する記憶領域である画像記憶部５ａ、代表画像記憶部５ｂを備える。なお、記憶部５は、各種メモリカード、ＣＤ、ＤＶＤ等の携帯型記憶媒体を着脱可能な画像記憶部として備えるようにしてもよい。
【００３０】
制御部６は、記憶部５に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部６は、特に、画像表示制御部６ａを備え、この画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像を、各代表画像に設定された表示レートをもとに表示部４に順次表示させる制御を行う。また、画像表示制御部６ａは、注目画像である代表画像を表示させる際、注目画像であることを示す注目画像マークを代表画像の近傍に表示させる制御を行う。この注目画像マークは、記憶部５にあらかじめ記憶されており、画像表示制御部６ａは、処理対象の代表画像に注目画像情報が付加されている場合、記憶部５から注目画像マークを取得して画像とともに表示する。
【００３１】
ここで、画像表示装置１が行う処理および動作について説明する。図２は、画像表示装置１が、制御部６の制御のもと、画像記憶部５ａに記憶された一連の画像を処理して表示する処理手順を示すフローチャートである。なお、図２に示すフローチャートは、図示しないカプセル型内視鏡を用いて消化器官等の臓器の内部を撮像し生成された一連の画像を表示する処理手順を例示する。
【００３２】
図２に示すように、画像分類部２ｂは、画像記憶部５ａに記憶された一連の画像に含まれる各画像を画像グループに分類するグループ化処理を行い（ステップＳ１０１）、注目画像検出部２ｃは、一連の画像の中から注目画像を検出する注目画像検出処理を行い（ステップＳ１０３）、代表画像抽出部２ｄは、分類された各画像グループ内の注目画像および先頭画像を代表画像として抽出する代表画像抽出処理を行い（ステップＳ１０５）、画像表示制御部６ａは、抽出された一連の代表画像を各代表画像に設定された表示レートをもとに順次表示する代表画像表示処理を行い（ステップＳ１０７）、制御部６は、一連の処理を終了する。
【００３３】
つづいて、図２に示したステップＳ１０１のグループ化処理について説明する。図３は、グループ化処理の処理手順を示すフローチャートである。図３に示すように、画像処理制御部２ａは、画像グループのグループ番号を示す変数ＧをＧ＝０に初期化した後（ステップＳ１１１）、画像記憶部５ａに記憶された一連の画像の中から時系列で先頭と２番目とにある２つの画像を読み込む（ステップＳ１１３）。
【００３４】
そして、画像分類部２ｂは、この２番目の画像を処理対象の画像とし、先頭の画像であり時系列で前の時点の画像である前画像との相関値を算出し（ステップＳ１１５）、算出した相関値があらかじめ入力されたしきい値より大きいか否かを判断する（ステップＳ１１７）。相関値がしきい値よりも小さい場合（ステップＳ１１７：Ｎｏ）、画像分類部２ｂは、画像間の類似度が低いと判断し、変数Ｇをインクリメントしてグループ番号を更新し（ステップＳ１１９）、この更新したグループ番号を処理対象の画像に設定する（ステップＳ１２１）。一方、相関値がしきい値よりも大きい場合（ステップＳ１１７：Ｙｅｓ）、画像分類部２ｂは、画像間の類似度が高いと判断し、処理対象の画像に現時点の変数Ｇが示すグループ番号を設定する（ステップＳ１２１）。なお、画像分類部２ｂは、先頭画像にグループ番号「０」を設定する。
【００３５】
その後、画像処理制御部２ａは、グループ番号が設定された画像を画像記憶部５ａに記録し（ステップＳ１２３）、一連の画像に含まれるすべての画像にグループ番号が設定されているか否かを判断する（ステップＳ１２５）。すべての画像にグループ番号が設定されていない場合（ステップＳ１２５：Ｎｏ）、画像処理制御部２ａは、設定されていない画像に対してステップＳ１１３からの処理を繰り返すように制御を行う。一方、すべての画像にグループ番号が設定されている場合（ステップＳ１２５：Ｙｅｓ）、画像処理制御部２ａは、ステップＳ１０１にリターンする。
【００３６】
このようにして、ステップＳ１０１のグループ化処理では、前画像との類似度が高い画像は、前画像と同一の画像グループに対応付けられ、類似度の低い画像は、グループ番号を更新した新たな画像グループに対応付けられる。これによって、一連の画像は、互いに類似した画像群を１つの画像グループとして分類される。
【００３７】
つぎに、図２に示したステップＳ１０３の注目画像検出処理について説明する。図４は、注目画像検出処理の処理手順を示すフローチャートである。図４に示すように、画像処理制御部２ａは、グループ番号が設定され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ１３１）、注目画像検出部２ｃは、この読み込んだ画像の中から、特徴画像領域として出血部位を示す画像領域の検出を行い（ステップＳ１３３）、検出された出血部位があるか否かを判断する（ステップＳ１３５）。なお、注目画像検出部２ｃは、出血部位を検出する際、臓器内部の粘膜よりも赤みの強い画像領域を出血部位として検出するとよい。
【００３８】
検出された出血部位がある場合（ステップＳ１３５：Ｙｅｓ）、注目画像検出部２ｃは、処理対象の画像に注目画像情報を付加し（ステップＳ１３７）、画像処理制御部２ａは、この注目画像情報が付加された画像を画像記憶部５ａに記録した後（ステップＳ１３９）、一連のすべての画像を処理したか否かを判断する（ステップＳ１４１）。
【００３９】
すべての画像を処理していない場合（ステップＳ１４１：Ｎｏ）、画像処理制御部２ａは、処理していない画像に対してステップＳ１３１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ１４１：Ｙｅｓ）、ステップＳ１０３にリターンする。なお、ステップＳ１３５で、検出された出血部位がないと判断された場合（ステップＳ１３５：Ｎｏ）、画像処理制御部２ａは、直ちにステップＳ１４１の判断を行う。
【００４０】
このようにして、ステップＳ１０３の注目画像検出処理では、一連の画像の中から臓器内部で出血部位を撮像した画像を注目画像として検出することができる。なお、注目画像として検出する画像は出血部位を撮像した画像に限らず、たとえば、臓器内部の褪色部位、形状異常部位等、病変の疑いのある種々の部位を撮像した画像を注目画像として検出するようにしてもよい。この場合、注目画像検出部２ｃは、褪色、形状異常等の特徴を示す画像領域を特徴画像領域として検出するようにすればよい。
【００４１】
つぎに、図２に示したステップＳ１０５の代表画像抽出処理について説明する。図５は、代表画像抽出処理の処理手順を示すフローチャートである。図５に示すように、画像処理制御部２ａは、グループ化処理および注目画像検出処理が施され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ１５１）、代表画像抽出部２ｄは、この読み込んだ画像に注目画像情報が付加されているか否かを判断する（ステップＳ１５３）。
【００４２】
注目画像情報が付加されている場合（ステップＳ１５３：Ｙｅｓ）、代表画像抽出部２ｄは、処理対象の画像に低速表示レートを設定し（ステップＳ１５５）、画像処理制御部２ａは、この低速表示レートが設定された注目画像を代表画像として代表画像記憶部５ｂに記録する（ステップＳ１５７）。
【００４３】
一方、注目画像情報が付加されていない場合（ステップＳ１５３：Ｎｏ）、代表画像抽出部２ｄは、処理対象の画像が画像グループの先頭画像であるか否かを判断する（ステップＳ１５９）。先頭画像である場合（ステップＳ１５９：Ｙｅｓ）、代表画像抽出部２ｄは、処理対象の画像に通常表示レートを設定し（ステップＳ１６１）、画像処理制御部２ａは、この通常表示レートが設定された先頭画像を代表画像として代表画像記憶部５ｂに記録する（ステップＳ１６３）。
【００４４】
ステップＳ１５７またはステップＳ１６３の後、画像処理制御部２ａは、一連のすべての画像を処理したか否かを判断し（ステップＳ１６５）、すべての画像を処理していない場合（ステップＳ１６５：Ｎｏ）、処理していない画像に対してステップＳ１５１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ１６５：Ｙｅｓ）、ステップＳ１０５にリターンする。なお、ステップＳ１５９で、処理対象の画像が先頭画像ではないと判断された場合（ステップＳ１５９：Ｎｏ）、画像処理制御部２ａは、直ちにステップＳ１６５の判断を行う。
【００４５】
このようにして、ステップＳ１０５の代表画像抽出処理では、たとえば図６に示すように、各画像グループの先頭画像と注目画像とを代表画像として抽出することができる。図６に示す例では、時系列でｎ番目の画像グループである画像グループｎから先頭画像である「正常画像１」および注目画像である「出血画像１」〜「出血画像３」が、また、画像グループｎ＋１から先頭画像である「正常画像３」が、それぞれ代表画像として抽出されている。なお、このように抽出された一連の代表画像は、代表画像記憶部５ｂに時系列に記憶される。
【００４６】
つぎに、図２に示したステップＳ１０７の代表画像表示処理について説明する。図７は、代表画像表示処理の処理手順を示すフローチャートである。図７に示すように、画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像のうち時系列で先頭の画像を読み込み（ステップＳ１７１）、注目画像情報が付加されているか否かを判断する（ステップＳ１７３）。
【００４７】
注目画像情報が付加されている場合（ステップＳ１７３：Ｙｅｓ）、画像表示制御部６ａは、記憶部５から注目画像マークを読み込み（ステップＳ１７５）、読み込んだ代表画像および注目画像マークを低速表示レートで表示部４に表示させる（ステップＳ１７７）。これによって、画像表示制御部６ａは、観察の必要性が高い注目画像である代表画像を通常よりも長い時間表示させることができる。一方、注目画像情報が付加されていない場合（ステップＳ１７３：Ｎｏ）、画像表示制御部６ａは、読み込んだ代表画像を通常表示レートで表示部４に表示させる（ステップＳ１７９）。
【００４８】
その後、画像表示制御部６ａは、一連の代表画像をすべて表示したか否かを判断し（ステップＳ１８１）、すべて表示していない場合（ステップＳ１８１：Ｎｏ）、表示していない代表画像に対してステップＳ１７１からの処理を繰り返し、すべて表示している場合（ステップＳ１８１：Ｙｅｓ）、ステップＳ１０７にリターンする。このようにして、画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像を各画像に設定された表示レートに応じて順次表示する。
【００４９】
図８は、代表画像を表示する際に表示部４に表示されるＧＵＩ画面の一例を示す図である。図８に示す例では、「診察・診断」ウィンドウ内に、注目画像である代表画像Ｐｉ、注目画像マークＭａ、代表画像Ｐｉの各種属性を示す文字情報が表示されている。
【００５０】
以上説明したように、この実施の形態１にかかる画像表示装置１では、画像記憶部５ａに記憶された一連の画像に対して、画像分類部２ｂが、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて一連の画像を画像グループに分類し、注目画像検出部２ｃが、各画像から特徴画像領域を検出するとともに、検出した特徴画像領域を有する特徴画像を注目画像として検出し、代表画像抽出部２ｄが、各画像グループ内の注目画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定し、さらに、画像表示制御部６ａが、設定された表示レートに応じて一連の代表画像を順次表示するようにしているため、たとえば、出血部位を含み観察の必要性が高い画像の観察を容易とし、出血部位を含まず通常の状態を示す観察の必要性が低い画像の表示を各画像グループの先頭画像のみに限定して表示時間を削減することができ、結果として一連の画像を効率的に観察することができる。
【００５１】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、注目画像検出部２ｃが検出した注目画像をすべて代表画像として表示するようにしていたが、この実施の形態２では、複数の注目画像が同じ特徴を示す場合、この複数の注目画像の中から１つを代表画像として選択し表示するようにしている。
【００５２】
図９は、この実施の形態２にかかる画像表示装置１１の構成を示すブロック図である。図９に示すように、画像表示装置１１は、画像表示装置１が備えた画像処理部２に替えて画像処理部１２を備える。また、画像処理部１２は、画像処理部２が備えた画像処理制御部２ａおよび注目画像検出部２ｃに替えて画像処理制御部１２ａおよび注目画像検出部１２ｃを備えるとともに、注目画像選択部１２ｅを新たに備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００５３】
画像処理制御部１２ａは、画像処理制御部２ａと同様に、記憶部５に記憶された画像を取得して処理し、処理結果の画像を記憶部５に記憶させる。ただし、画像処理制御部１２ａは、注目画像検出部２ｃの替わりに注目画像検出部１２ｃを制御するとともに、新たに注目画像選択部１２ｅを制御することにより、同じ特徴を示す複数の注目画像のうち代表的な注目画像のみ代表画像として選択する。
【００５４】
注目画像検出部１２ｃは、一連の画像の中から注目画像検出部２ｃと同様に注目画像を検出するとともに、検出した各注目画像の特徴画像領域の特徴量を算出し、算出した特徴量を示す情報を注目画像に対応付ける。具体的には、注目画像検出部１２ｃは、特徴量として注目画像内の特徴画像領域の位置を算出し、この算出した位置を示す位置情報を生成し注目画像に付加する。なお、特徴画像領域の位置は、たとえば、特徴画像領域の重心位置、輝度の最大または最小位置、所定の色相を有する位置、特徴画像領域の最外周位置等の少なくとも１つによって示される。
【００５５】
注目画像選択部１２ｅは、注目画像検出部１２ｃによって検出された複数の注目画像の中から、時系列で連続する注目画像間で生じた特徴画像領域の位置変化をもとに、この複数の注目画像を代表する注目代表画像を選択する。具体的には、注目画像選択部１２ｅは、連続する２つの注目画像間で生じた特徴画像領域の位置変化を示す動きベクトルを算出し、この算出した動きベクトルをもとに、２つの特徴画像領域が同じ特徴を示す画像領域であるか否かを判断し、同じ特徴を示す画像領域である場合、一方の注目画像を、代表画像として抽出しない注目キャンセル画像に変更する。注目画像選択部１２ｅは、この処理を一連の注目画像に対して繰り返し、結果として注目キャンセル画像とならない注目画像を注目代表画像として選択する。
【００５６】
ここで、画像表示装置１１が行う処理および動作について説明する。図１０は、画像表示装置１１が、制御部６の制御のもと、画像記憶部５ａに記憶された一連の画像を処理して表示する処理手順を示すフローチャートである。なお、図１０に示すフローチャートは、図示しないカプセル型内視鏡を用いて消化器官等の臓器の内部を撮像し生成された一連の画像を表示する処理手順を例示する。
【００５７】
図１０に示すように、画像分類部２ｂは、ステップＳ１０１と同様のグループ化処理を行い（ステップＳ２０１）、注目画像検出部１２ｃは、一連の画像の中から注目画像を検出する注目画像検出処理を行い（ステップＳ２０３）、注目画像選択部１２ｅは、ステップＳ２０３で検出された注目画像の中から注目代表画像を選択する注目画像選択処理を行い（ステップＳ２０５）、代表画像抽出部２ｄは、ステップＳ１０５と同様の代表画像抽出処理を行い（ステップＳ２０７）、画像表示制御部６ａは、ステップＳ１０７と同様の代表画像表示処理を行い（ステップＳ２０９）、制御部６は、一連の処理を終了する。
【００５８】
ステップＳ２０１のグループ化処理、ステップＳ２０７の代表画像抽出処理およびステップＳ２０９の代表画像表示処理の処理手順は、それぞれ図３、図５および図７に示したフローチャートによって示される。ここでは、ステップＳ２０３の注目画像検出処理およびステップＳ２０５の注目画像選択処理について説明する。
【００５９】
図１１は、ステップＳ２０３の注目画像検出処理の処理手順を示すフローチャートである。図１１に示すように、画像処理制御部１２ａは、グループ番号が設定され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ２１１）、注目画像検出部１２ｃは、この読み込んだ画像の中から、特徴画像領域として出血部位を示す画像領域の検出を行うとともに、出血部位の位置を示す位置情報を生成する（ステップＳ２１３）。
【００６０】
つづいて、注目画像検出部１２ｃは、検出された出血部位があるか否かを判断し（ステップＳ２１５）、検出された出血部位がある場合（ステップＳ２１５：Ｙｅｓ）、処理対象の画像に注目画像情報とステップＳ２１３で生成した位置情報とを付加し（ステップＳ２１７）、画像処理制御部１２ａは、この注目画像情報および位置情報が付加された画像を画像記憶部５ａに記録した後（ステップＳ２１９）、一連のすべての画像を処理したか否かを判断する（ステップＳ２２１）。
【００６１】
すべての画像を処理していない場合（ステップＳ２２１：Ｎｏ）、画像処理制御部１２ａは、処理していない画像に対してステップＳ２１１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ２２１：Ｙｅｓ）、ステップＳ２０３にリターンする。なお、ステップＳ２１５で、検出された出血部位がないと判断された場合（ステップＳ２１５：Ｎｏ）、画像処理制御部１２ａは、直ちにステップＳ２２１の判断を行う。
【００６２】
このようにして、ステップＳ２０３の注目画像検出処理では、一連の画像の中から臓器内部で出血部位を撮像した画像を注目画像として検出するとともに、検出した注目画像に出血部位の位置を示す位置情報を付加することができる。なお、特徴画像領域として検出する画像領域は出血部位を示す画像領域に限らず、臓器内部の褪色部位、形状異常部位等、病変の疑いのある種々の特徴を示す画像領域としてよい。
【００６３】
つぎに、図１０に示したステップＳ２０５の注目画像選択処理について説明する。図１２は、注目画像選択処理の処理手順を示すフローチャートである。図１２に示すように、画像処理制御部１２ａは、注目画像検出処理が施され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭と２番目とにある２つの画像を読み込み（ステップＳ２３１）、注目画像選択部１２ｅは、この２番目の画像を処理対象の画像とし、先頭の画像であり時系列で前の時点の画像である前画像とともに、注目画像情報が付加されているか否かを判断する（ステップＳ２３３）。
【００６４】
処理対象画像および前画像に注目画像情報が付加されている場合（ステップＳ２３３：Ｙｅｓ）、注目画像選択部１２ｅは、出血部位の位置を示す位置情報を参照し、前画像の出血部位を含む画像領域をパターンマッチング処理のテンプレートである出血部テンプレートとして抽出し（ステップＳ２３５）、この出血部テンプレートをもとに処理対象画像に対してパターンマッチング処理を行い、出血部テンプレートと相関の高い出血部位を示す画像領域を検出するとともに、前画像に対する処理対象画像の出血部位の位置変化を示す動きベクトルを検出する（ステップＳ２３７）。
【００６５】
つづいて、注目画像選択部１２ｅは、前画像の中から出血部位と所定の位置関係にある出血部位周辺部の画像領域を周辺部テンプレートとして抽出し（ステップＳ２３９）、この周辺部テンプレートをもとに処理対象画像に対してパターンマッチング処理を行い、周辺部テンプレートと相関の高い画像領域を検出するとともに、前画像に対する処理対象画像の出血部位周辺部の動きを示す動きベクトルを検出する（ステップＳ２４１）。
【００６６】
そして、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとがほぼ同じか否かを判断し（ステップＳ２４３）、ほぼ同じである場合（ステップＳ２４３：Ｙｅｓ）、注目キャンセル画像であることを示す注目画像キャンセル情報を処理対象画像に付加する（ステップＳ２４５）。
【００６７】
その後、画像処理制御部１２ａは、注目画像キャンセル情報が付加された処理対象画像を画像記憶部５ａに記録し（ステップＳ２４７）、一連のすべての画像を処理したか否かを判断し（ステップＳ２４９）、すべての画像を処理していない場合（ステップＳ２４９：Ｎｏ）、処理していない画像に対してステップＳ２３１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ２４９：Ｙｅｓ）、ステップＳ２０５にリターンする。
【００６８】
なお、ステップＳ２３３で、注目画像情報が付加されていないと判断された場合（ステップＳ２３３：Ｎｏ）と、ステップＳ２４３で、各動きベクトルが同じではないと判断された場合（ステップＳ２４３：Ｎｏ）には、画像処理制御部１２ａは、直ちにステップＳ２４９の判断を行う。
【００６９】
また、ステップＳ２３７およびステップＳ２４１では、注目画像選択部１２ｅは、前画像から抽出した各テンプレートと、パターンマッチングによって対応する処理対象画像内の画像領域とを同一画面上で比較し、たとえば、各画像領域の重心位置の変化を示す動きベクトルを検出する。ただし、ステップＳ２３７では、注目画像選択部１２ｅは、パターンマッチングを行わず、前画像と処理対象画像との出血部の位置座標のみから動きベクトルを求めてもよい。
【００７０】
さらに、ステップＳ２４３では、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとについて、たとえば、各動きベクトルの方位および大きさの差があらかじめ設定されたしきい値以下であるか否かによって、この各動きベクトルが同じであるか否かを判断する。他にも、注目画像選択部１２ｅは、各動きベクトルのベクトル差、内積、外積等を演算し、これらの演算結果の少なくとも１つをもとに各動きベクトルが同じであるか否かを判断するようにしてもよい。
【００７１】
なお、ステップＳ２４５では、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとがほぼ同じである場合、処理対象画像の出血部位と前画像の出血部位とが同じである可能性が高く、観察時に処理対象画像を表示させる必要性が低いものとして、処理対象画像に注目画像キャンセル情報を付加する。また、注目画像選択部１２ｅは、この出血部位の同一性を高い精度で判断できるように、ステップＳ２３９では、複数の画像領域を周辺部テンプレートとして検出するとよい。
【００７２】
このようにして、ステップＳ２０５の注目画像選択処理では、連続する２つの注目画像間で出血部位と出血部位周辺部の画像領域の動きを比較することによって、この２つの注目画像の出血部位が同じであるか否かを判断することができ、同じである場合、一方の注目画像を注目キャンセル画像に変更することができる。なお、たとえば、ステップＳ２３７とステップＳ２３９の処理順序を交換するなど、ステップＳ２３５〜ステップＳ２４１の処理順序は適宜変更してもよい。
【００７３】
ここで、図１２に示した注目画像選択処理を具体的に説明する。図１３は、注目画像選択処理で処理される画像の一例を示す図である。図１３に示すように、注目画像選択部１２ｅは、前画像の出血部位ＢＬ１を含む画像領域ＴＰａ１を出血部テンプレートとして抽出するとともに、図上で出血部位ＢＬ１の左右に位置する画像領域ＴＰｂ１，ＴＰｃ１を周辺部テンプレートとして抽出する。その後、注目画像選択部１２ｅは、これらのテンプレートをもとに、処理対象画像に対してテンプレートマッチングを行う。
【００７４】
テンプレートマッチングの結果、前画像の各画像領域ＴＰａ１，ＴＰｂ１，ＴＰｃ１に対して、処理対象画像の画像領域ＴＰａ２，ＴＰｂ２，ＴＰｃ２が検出された場合、注目画像選択部１２ｅは、それぞれ対応する画像領域の重心の動きを示す動きベクトルＶａ２，Ｖｂ２，Ｖｃ２を検出し、この各動きベクトルの方位および大きさの差が所定のしきい値以下であるか否かを判断する。
【００７５】
図１３に示す動きベクトルＶａ２，Ｖｂ２，Ｖｃ２の場合、注目画像選択部１２ｅは、互いにほぼ同じ動きベクトルであると判断し、処理対象画像の出血部位ＢＬ２が出血部位ＢＬ１と同一の出血部位であるものとして、この処理対象画像に注目画像キャンセル情報を付加する。
【００７６】
一方、テンプレートマッチングの結果、処理対象画像の画像領域ＴＰａ３，ＴＰｂ３，ＴＰｃ３が検出された場合、注目画像選択部１２ｅは、動きベクトルＶａ３，Ｖｂ３，Ｖｃ３を検出し、この各動きベクトルの方位および大きさの差が所定のしきい値以下であるか否かを判断する。
【００７７】
図１３に示す動きベクトルＶａ３，Ｖｂ３，Ｖｃ３の場合、注目画像選択部１２ｅは、各動きベクトルが異なる動きベクトルであると判断し、処理対象画像の出血部位ＢＬ３が出血部位ＢＬ１とは異なる出血部位であるものとして、この処理対象画像を注目代表画像として選択する。
【００７８】
このように注目画像選択処理が行われた結果、ステップＳ２０７の代表画像抽出処理では、たとえば図１４に示すように、各画像グループから先頭画像と注目代表画像とが代表画像として抽出される。図１４に示す例では、時系列でｎ番目の画像グループである画像グループｎから先頭画像である「正常画像１」および注目代表画像である「出血画像１」が、また、画像グループｎ＋１から先頭画像である「正常画像３」が、それぞれ代表画像として抽出されている。なお、これら一連の代表画像は、代表画像記憶部５ｂに時系列に記憶される。
【００７９】
以上説明したように、この実施の形態２にかかる画像表示装置１１では、画像分類部２ｂによって画像グループに分類された一連の画像の中から、注目画像検出部１２ｃが、注目画像を検出するとともに、検出した各注目画像の特徴画像領域の位置を算出し、算出した位置を示す位置情報を注目画像に付加し、注目画像選択部１２ｅが、時系列で連続する注目画像間で生じた特徴画像領域および特徴画像領域周辺部の画像領域の位置変化を検出し、検出した位置変化をもとに、複数の類似した注目画像を代表する注目代表画像を選択し、代表画像抽出部２ｄが、各画像グループ内の注目代表画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定し、さらに、画像表示制御部６ａが、設定された表示レートに応じて一連の代表画像を順次表示するようにしているため、たとえば、出血部位を含む画像のうち時系列で前後の画像に類似性がなく観察の必要性が高い画像のみ表示させることができるとともに、出血部位を含まず通常の状態を示す観察の必要性が低い画像の表示を各画像グループの先頭画像のみに限定して表示時間を削減することができ、結果として一連の画像をさらに効率的に観察することができる。
【００８０】
なお、上述した実施の形態１および２では、グループ化されていない一連の画像をはじめに読み込んでから各種処理を実行するように説明したが、同様の処理手順により、既にグループ番号、注目画像情報、表示レート等が対応づけられた画像を読み込んで、これらの情報を更新するように各処理を実行するようにしてもよい。
【００８１】
また、上述した実施の形態１および２では、画像表示制御部６ａは、一連の代表画像のうち時系列で先頭の画像から順次表示を行うとともに、この一連のすべての代表画像を表示するように説明したが、たとえば、あらかじめ入力された表示開始画像に関する指示情報をもとに、時系列で途中の代表画像から表示を開始し、また、あらかじめ入力された表示終了画像に関する指示情報をもとに、時系列で途中の代表画像まで表示して画像表示処理を終了するようにしてもよい。
【００８２】
さらに、上述した実施の形態１および２では、画像表示制御部６ａは、代表画像のみ表示するように説明したが、たとえば、所定のスイッチ等から入力される指示情報をもとに、代表画像のみの表示と、すべての画像の表示とを切り換えられるようにしてもよい。
【００８３】
また、上述した実施の形態１では、制御部６は、グループ化処理の後に注目画像検出処理を行うようにしたが、注目画像検出処理の後にグループ化処理を行うようにしてもよい。同様に、実施の形態２では、制御部６は、注目画像検出処理または注目画像選択処理の後にグループ化処理を行うようにしてもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態１にかかる画像表示装置の構成を示すブロック図である。
【図２】図１に示した画像表示装置が行う処理手順を示すフローチャートである。
【図３】図２に示したグループ化処理の処理手順を示すフローチャートである。
【図４】図２に示した注目画像検出処理の処理手順を示すフローチャートである。
【図５】図２に示した代表画像抽出処理の処理手順を示すフローチャートである。
【図６】図５に示した代表画像抽出処理の結果の一例を説明する模式図である。
【図７】図２に示した代表画像表示処理の処理手順を示すフローチャートである。
【図８】図１に示した画像表示装置が表示するＧＵＩ画面の一例を示す図である。
【図９】本発明の実施の形態２にかかる画像表示装置の構成を示すブロック図である。
【図１０】図９に示した画像表示装置が行う処理手順を示すフローチャートである。
【図１１】図１０に示した注目画像検出処理の処理手順を示すフローチャートである。
【図１２】図１０に示した注目画像選択処理の処理手順を示すフローチャートである。
【図１３】図１２に示した注目画像選択処理の一例を説明する模式図である。
【図１４】図１２に示した注目画像選択処理の結果の一例を説明する模式図である。
【符号の説明】
【００８５】
１，１１ 画像表示装置
２，１２ 画像処理部
２ａ，１２ａ 画像処理制御部
２ｂ 画像分類部
２ｃ，１２ｃ 注目画像検出部
２ｄ 代表画像検出部
１２ｅ 注目画像選択部
３ 入力部
４ 表示部
５ 記憶部
５ａ 画像記憶部
５ｂ 代表画像記憶部
６，１６ 制御部
６ａ 画像表示制御部
【技術分野】
【０００１】
本発明は、入力された一連の画像を順次表示する画像表示装置に関し、特にカプセル型内視鏡を用いて披検体内を撮像した一連の画像の表示に適用して好適な画像表示装置に関するものである。
【背景技術】
【０００２】
近年、内視鏡の分野において、飲込み式のカプセル型内視鏡が開発されている。このカプセル型内視鏡は、撮像機能と無線通信機能とを備え、各種臓器内の観察のために患者の口から飲み込まれた後、人体から自然排出されるまでの間、たとえば胃、小腸、大腸などの消化器官の内部をその蠕動運動にしたがって移動しながら順次撮像する。
【０００３】
臓器内を移動する間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により体外に送信され、体外の受信機内に設けられたメモリに蓄積されるか、受信機に設けられたディスプレイに画像表示される。医師、看護師等は、メモリに蓄積された画像データをもとにディスプレイに表示させた画像、または受信とともに受信機に設けられたディスプレイに表示させた画像に基づいて診断を行うことができる。
【０００４】
通常、カプセル型内視鏡によって撮像される一連の画像数は膨大であり、医師、看護師等は、この一連の画像を観察して診断を行うために多大な時間と労力を要する。これに対応して、メモリに蓄積された画像データをもとに画像を表示させて観察を行う場合、２つの画像の類似性の程度を判定し、この判定結果をもとに画像の表示レートを変化させる表示装置が提案されている（たとえば、特許文献１参照）。この表示装置では、カプセル型内視鏡の移動が停滞した際に連続して撮像される類似画像が多いことに着目し、２つの画像の類似性が低い場合、低速の表示レートで画像を表示し、類似性が高い場合、高速の表示レートで画像を表示するようにしている。
【０００５】
【特許文献１】特表２００４−５２１６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような表示装置では、２つの画像の類似性に応じて画像の表示レートを変化させるようにしているため、たとえば、出血部位を含み観察の必要性が高い画像であっても、出血部位がわずかな領域であると、類似性が高く判定され高速の表示レートで表示されることになり、観察が困難となる場合が生じるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、画像の類似性に応じて一連の画像を分類する場合でも、観察の必要性が高い画像の観察を容易とし、観察の必要性が低い画像の表示時間を削減することができ、結果として一連の画像の観察を効率的に行うことができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、請求項１にかかる画像表示装置は、入力された一連の画像を順次表示する画像表示装置において、前記一連の画像に含まれる各画像を該各画像間の相関度に応じて１以上の画像グループに分類する画像分類手段と、前記各画像の中から所定の特徴を有する特徴画像領域を検出し、該検出した特徴画像領域を有する各特徴画像を前記一連の画像の中から検出する特徴画像検出手段と、前記画像分類手段によって分類された各画像グループ内の前記特徴画像を、該各画像グループを代表する代表画像として抽出する代表画像抽出手段と、前記代表画像抽出手段によって抽出された代表画像を順次表示する制御を行う画像表示制御手段と、を備えたことを特徴とする。
【０００９】
また、請求項２にかかる画像表示装置は、上記の発明において、前記代表画像抽出手段は、少なくとも各画像グループの時系列で先頭にある先頭画像を該各画像グループの代表画像として抽出することを特徴とする。
【００１０】
また、請求項３にかかる画像表示装置は、上記の発明において、前記特徴画像検出手段によって検出された複数の特徴画像のうち時系列で連続する特徴画像間で生じた前記特徴画像領域の所定の特徴量の変化量を算出し、該算出した変化量をもとに前記複数の特徴画像を代表する特徴代表画像を選択する特徴画像選択手段を備え、前記特徴画像検出手段は、検出した各特徴画像領域の前記所定の特徴量を算出し、前記特徴画像選択手段は、前記特徴画像検出手段によって算出された特徴量をもとに前記変化量を算出し、前記代表画像抽出手段は、各画像グループ内の特徴画像のうち前記特徴代表画像を代表画像として抽出することを特徴とする。
【００１１】
また、請求項４にかかる画像表示装置は、上記の発明において、前記所定の特徴量は、前記特徴画像内の特徴画像領域の位置であることを特徴とする。
【００１２】
また、請求項５にかかる画像表示装置は、上記の発明において、前記画像表示制御手段は、前記特徴画像である代表画像を表示する際、該代表画像の近傍に特徴画像であることを示すマークを表示する制御を行うことを特徴とする。
【００１３】
また、請求項６にかかる画像表示装置は、上記の発明において、前記各画像は、臓器の内部を撮像した画像であり、前記所定の特徴は、前記臓器の内部の病変を示す特徴であることを特徴とする。
【００１４】
また、請求項７にかかる画像表示装置は、上記の発明において、前記病変を示す特徴は、出血、褪色および形状異常の少なくとも１つであることを特徴とする。
【００１５】
また、請求項８にかかる画像表示装置は、上記の発明において、前記一連の画像は、カプセル型内視鏡を用いて生成されることを特徴とする。
【発明の効果】
【００１６】
本発明にかかる画像表示装置によれば、画像の類似性に応じて一連の画像を分類する場合でも、観察の必要性が高い画像の観察を容易とし、観察の必要性が低い画像の表示時間を削減することができ、結果として一連の画像の観察を効率的に行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して、本発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１８】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像表示装置について説明する。図１は、この実施の形態にかかる画像表示装置１の構成を示すブロック図である。図１に示すように、画像表示装置１は、記憶部５に記憶された画像を処理する画像処理部２と、各種情報の入力を受け付ける入力部３と、各種情報を表示する表示部４と、各種情報を記憶する記憶部５と、画像表示装置１の各部の処理および動作を制御する制御部６と、を備える。画像処理部２、入力部３、表示部４および記憶部５は、制御部６に電気的に接続されている。
【００１９】
画像処理部２は、画像処理制御部２ａ、画像分類部２ｂ、注目画像検出部２ｃおよび代表画像抽出部２ｄを備える。画像処理制御部２ａは、記憶部５から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記憶部５に出力し記憶させる。画像処理制御部２ａは、特に、画像分類部２ｂ、注目画像検出部２ｃおよび代表画像抽出部２ｄを制御して所定の画像処理を実行させる。
【００２０】
画像分類部２ｂは、画像処理制御部２ａが取得した時系列で連続する２つの画像の相関値を算出し、算出した相関値に応じて処理対象の画像を既存または新規の画像グループに対応付けるとともに、この対応付けの処理を一連のすべての画像に対して繰り返すことにより、この一連の画像を１つ以上の画像グループに分類する。
【００２１】
具体的には、画像分類部２ｂは、あらかじめ入力された相関値に対するしきい値を参照し、このしきい値と算出した相関値との大小関係に応じて、処理対象の画像を既存の画像グループもしくは新しい画像グループに対応付け、この対応付けた画像グループのグループ番号を処理対象の画像に付加する。なお、画像分類部２ｂは、たとえば、２つの画像間の対応する各画素値の正規化相互相関を相関値として算出する。また、画像分類部２ｂは、各画素値をもとに、対応する各画素の色差、輝度差等を相関値として求めるようにしてもよい。
【００２２】
特徴画像検出手段としての注目画像検出部２ｃは、画像処理制御部２ａが取得した画像から所定の特徴を有する特徴画像領域を検出するとともに、この検出した特徴画像領域を有する特徴画像を、観察時に注目すべき画像である注目画像として検出する。注目画像検出部２ｃは、この検出処理を一連のすべての画像に対して繰り返すことにより、すべての特徴画像を注目画像として検出する。このとき、注目画像検出部２ｃは、注目画像として検出した各画像に、注目画像であることを示す注目画像情報を付加する。
【００２３】
なお、注目画像検出部２ｃは、たとえば、画像を構成する各画素が示す色情報をもとに所定の特徴を識別して特徴画像領域を検出する。また、注目画像検出部２ｃは、色情報に限らず、輪郭形状、テクスチャ、濃度勾配等の各種特徴量をもとに特徴画像領域を検出するようにしてもよい。
【００２４】
代表画像抽出部２ｄは、画像分類部２ｂによって分類された各画像グループの中から、この各画像グループを代表する代表画像を抽出する。具体的には、代表画像抽出部２ｄは、各画像グループ内の注目画像をこの各画像グループの代表画像として抽出するとともに、各画像グループ内の時系列で先頭にある先頭画像を代表画像として抽出する。また、代表画像抽出部２ｄは、注目画像である代表画像に対し、十分な観察時間が与えられるように、画像を低速で表示する低速表示レートを設定し、先頭画像である代表画像に対し、低速表示レートよりも高速な通常速度で表示する通常表示レートを設定する。
【００２５】
なお、代表画像抽出部２ｄは、画像グループ毎にすべての注目画像を抽出し、注目画像が含まれない画像グループでは先頭画像のみ抽出する。また、代表画像抽出部２ｄは、先頭画像を代表画像とする替わりに、たとえば、画像グループで時系列的に末尾にある画像等、所定の順位にある画像を代表画像として抽出するようにしてもよい。
【００２６】
また、代表画像抽出部２ｄによって抽出された各代表画像は、画像処理制御部２ａによって記憶部５に出力され、代表画像を記憶する記憶領域である代表画像記憶部５ｂに記憶される。ここで、画像処理制御部２ａは、各代表画像を記憶する替わりに、各代表画像のグループ番号、注目画像情報および表示レートのみを元の画像に関連付けて新たに記憶するようにしてもよい。
【００２７】
入力部３は、画像表示装置１で処理する画像、各種処理情報等の入力を受け付ける。具体的には、入力部３は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェースを備え、外部装置からの画像の入力を受け付ける。また、入力部３は、各種スイッチ、入力キー、マウス、タッチパネル等を備え、画像分類部２ｂが参照するしきい値、注目画像検出部２ｃが検出すべき特徴画像領域の特徴に関する情報等、各種処理情報の入力を受け付ける。なお、入力部３は、各種メモリカード、ＣＤ、ＤＶＤ等の携帯型記憶媒体に対応するインターフェースを備え、この携帯型記憶媒体からの画像の入力を受け付けるようにしてもよい。
【００２８】
表示部４は、液晶ディスプレイ等を備え、画像を含む各種情報を表示する。表示部４は、特に、記憶部５に記憶された画像と、画像表示装置１のオペレータに対して各種処理情報の入力を依頼するＧＵＩ（Graphical User Interface）画面とを表示する。
【００２９】
記憶部５は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部５は、特に、外部から入力された画像と代表画像抽出部２ｄによって抽出された代表画像とをそれぞれ記憶する記憶領域である画像記憶部５ａ、代表画像記憶部５ｂを備える。なお、記憶部５は、各種メモリカード、ＣＤ、ＤＶＤ等の携帯型記憶媒体を着脱可能な画像記憶部として備えるようにしてもよい。
【００３０】
制御部６は、記憶部５に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部６は、特に、画像表示制御部６ａを備え、この画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像を、各代表画像に設定された表示レートをもとに表示部４に順次表示させる制御を行う。また、画像表示制御部６ａは、注目画像である代表画像を表示させる際、注目画像であることを示す注目画像マークを代表画像の近傍に表示させる制御を行う。この注目画像マークは、記憶部５にあらかじめ記憶されており、画像表示制御部６ａは、処理対象の代表画像に注目画像情報が付加されている場合、記憶部５から注目画像マークを取得して画像とともに表示する。
【００３１】
ここで、画像表示装置１が行う処理および動作について説明する。図２は、画像表示装置１が、制御部６の制御のもと、画像記憶部５ａに記憶された一連の画像を処理して表示する処理手順を示すフローチャートである。なお、図２に示すフローチャートは、図示しないカプセル型内視鏡を用いて消化器官等の臓器の内部を撮像し生成された一連の画像を表示する処理手順を例示する。
【００３２】
図２に示すように、画像分類部２ｂは、画像記憶部５ａに記憶された一連の画像に含まれる各画像を画像グループに分類するグループ化処理を行い（ステップＳ１０１）、注目画像検出部２ｃは、一連の画像の中から注目画像を検出する注目画像検出処理を行い（ステップＳ１０３）、代表画像抽出部２ｄは、分類された各画像グループ内の注目画像および先頭画像を代表画像として抽出する代表画像抽出処理を行い（ステップＳ１０５）、画像表示制御部６ａは、抽出された一連の代表画像を各代表画像に設定された表示レートをもとに順次表示する代表画像表示処理を行い（ステップＳ１０７）、制御部６は、一連の処理を終了する。
【００３３】
つづいて、図２に示したステップＳ１０１のグループ化処理について説明する。図３は、グループ化処理の処理手順を示すフローチャートである。図３に示すように、画像処理制御部２ａは、画像グループのグループ番号を示す変数ＧをＧ＝０に初期化した後（ステップＳ１１１）、画像記憶部５ａに記憶された一連の画像の中から時系列で先頭と２番目とにある２つの画像を読み込む（ステップＳ１１３）。
【００３４】
そして、画像分類部２ｂは、この２番目の画像を処理対象の画像とし、先頭の画像であり時系列で前の時点の画像である前画像との相関値を算出し（ステップＳ１１５）、算出した相関値があらかじめ入力されたしきい値より大きいか否かを判断する（ステップＳ１１７）。相関値がしきい値よりも小さい場合（ステップＳ１１７：Ｎｏ）、画像分類部２ｂは、画像間の類似度が低いと判断し、変数Ｇをインクリメントしてグループ番号を更新し（ステップＳ１１９）、この更新したグループ番号を処理対象の画像に設定する（ステップＳ１２１）。一方、相関値がしきい値よりも大きい場合（ステップＳ１１７：Ｙｅｓ）、画像分類部２ｂは、画像間の類似度が高いと判断し、処理対象の画像に現時点の変数Ｇが示すグループ番号を設定する（ステップＳ１２１）。なお、画像分類部２ｂは、先頭画像にグループ番号「０」を設定する。
【００３５】
その後、画像処理制御部２ａは、グループ番号が設定された画像を画像記憶部５ａに記録し（ステップＳ１２３）、一連の画像に含まれるすべての画像にグループ番号が設定されているか否かを判断する（ステップＳ１２５）。すべての画像にグループ番号が設定されていない場合（ステップＳ１２５：Ｎｏ）、画像処理制御部２ａは、設定されていない画像に対してステップＳ１１３からの処理を繰り返すように制御を行う。一方、すべての画像にグループ番号が設定されている場合（ステップＳ１２５：Ｙｅｓ）、画像処理制御部２ａは、ステップＳ１０１にリターンする。
【００３６】
このようにして、ステップＳ１０１のグループ化処理では、前画像との類似度が高い画像は、前画像と同一の画像グループに対応付けられ、類似度の低い画像は、グループ番号を更新した新たな画像グループに対応付けられる。これによって、一連の画像は、互いに類似した画像群を１つの画像グループとして分類される。
【００３７】
つぎに、図２に示したステップＳ１０３の注目画像検出処理について説明する。図４は、注目画像検出処理の処理手順を示すフローチャートである。図４に示すように、画像処理制御部２ａは、グループ番号が設定され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ１３１）、注目画像検出部２ｃは、この読み込んだ画像の中から、特徴画像領域として出血部位を示す画像領域の検出を行い（ステップＳ１３３）、検出された出血部位があるか否かを判断する（ステップＳ１３５）。なお、注目画像検出部２ｃは、出血部位を検出する際、臓器内部の粘膜よりも赤みの強い画像領域を出血部位として検出するとよい。
【００３８】
検出された出血部位がある場合（ステップＳ１３５：Ｙｅｓ）、注目画像検出部２ｃは、処理対象の画像に注目画像情報を付加し（ステップＳ１３７）、画像処理制御部２ａは、この注目画像情報が付加された画像を画像記憶部５ａに記録した後（ステップＳ１３９）、一連のすべての画像を処理したか否かを判断する（ステップＳ１４１）。
【００３９】
すべての画像を処理していない場合（ステップＳ１４１：Ｎｏ）、画像処理制御部２ａは、処理していない画像に対してステップＳ１３１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ１４１：Ｙｅｓ）、ステップＳ１０３にリターンする。なお、ステップＳ１３５で、検出された出血部位がないと判断された場合（ステップＳ１３５：Ｎｏ）、画像処理制御部２ａは、直ちにステップＳ１４１の判断を行う。
【００４０】
このようにして、ステップＳ１０３の注目画像検出処理では、一連の画像の中から臓器内部で出血部位を撮像した画像を注目画像として検出することができる。なお、注目画像として検出する画像は出血部位を撮像した画像に限らず、たとえば、臓器内部の褪色部位、形状異常部位等、病変の疑いのある種々の部位を撮像した画像を注目画像として検出するようにしてもよい。この場合、注目画像検出部２ｃは、褪色、形状異常等の特徴を示す画像領域を特徴画像領域として検出するようにすればよい。
【００４１】
つぎに、図２に示したステップＳ１０５の代表画像抽出処理について説明する。図５は、代表画像抽出処理の処理手順を示すフローチャートである。図５に示すように、画像処理制御部２ａは、グループ化処理および注目画像検出処理が施され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ１５１）、代表画像抽出部２ｄは、この読み込んだ画像に注目画像情報が付加されているか否かを判断する（ステップＳ１５３）。
【００４２】
注目画像情報が付加されている場合（ステップＳ１５３：Ｙｅｓ）、代表画像抽出部２ｄは、処理対象の画像に低速表示レートを設定し（ステップＳ１５５）、画像処理制御部２ａは、この低速表示レートが設定された注目画像を代表画像として代表画像記憶部５ｂに記録する（ステップＳ１５７）。
【００４３】
一方、注目画像情報が付加されていない場合（ステップＳ１５３：Ｎｏ）、代表画像抽出部２ｄは、処理対象の画像が画像グループの先頭画像であるか否かを判断する（ステップＳ１５９）。先頭画像である場合（ステップＳ１５９：Ｙｅｓ）、代表画像抽出部２ｄは、処理対象の画像に通常表示レートを設定し（ステップＳ１６１）、画像処理制御部２ａは、この通常表示レートが設定された先頭画像を代表画像として代表画像記憶部５ｂに記録する（ステップＳ１６３）。
【００４４】
ステップＳ１５７またはステップＳ１６３の後、画像処理制御部２ａは、一連のすべての画像を処理したか否かを判断し（ステップＳ１６５）、すべての画像を処理していない場合（ステップＳ１６５：Ｎｏ）、処理していない画像に対してステップＳ１５１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ１６５：Ｙｅｓ）、ステップＳ１０５にリターンする。なお、ステップＳ１５９で、処理対象の画像が先頭画像ではないと判断された場合（ステップＳ１５９：Ｎｏ）、画像処理制御部２ａは、直ちにステップＳ１６５の判断を行う。
【００４５】
このようにして、ステップＳ１０５の代表画像抽出処理では、たとえば図６に示すように、各画像グループの先頭画像と注目画像とを代表画像として抽出することができる。図６に示す例では、時系列でｎ番目の画像グループである画像グループｎから先頭画像である「正常画像１」および注目画像である「出血画像１」〜「出血画像３」が、また、画像グループｎ＋１から先頭画像である「正常画像３」が、それぞれ代表画像として抽出されている。なお、このように抽出された一連の代表画像は、代表画像記憶部５ｂに時系列に記憶される。
【００４６】
つぎに、図２に示したステップＳ１０７の代表画像表示処理について説明する。図７は、代表画像表示処理の処理手順を示すフローチャートである。図７に示すように、画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像のうち時系列で先頭の画像を読み込み（ステップＳ１７１）、注目画像情報が付加されているか否かを判断する（ステップＳ１７３）。
【００４７】
注目画像情報が付加されている場合（ステップＳ１７３：Ｙｅｓ）、画像表示制御部６ａは、記憶部５から注目画像マークを読み込み（ステップＳ１７５）、読み込んだ代表画像および注目画像マークを低速表示レートで表示部４に表示させる（ステップＳ１７７）。これによって、画像表示制御部６ａは、観察の必要性が高い注目画像である代表画像を通常よりも長い時間表示させることができる。一方、注目画像情報が付加されていない場合（ステップＳ１７３：Ｎｏ）、画像表示制御部６ａは、読み込んだ代表画像を通常表示レートで表示部４に表示させる（ステップＳ１７９）。
【００４８】
その後、画像表示制御部６ａは、一連の代表画像をすべて表示したか否かを判断し（ステップＳ１８１）、すべて表示していない場合（ステップＳ１８１：Ｎｏ）、表示していない代表画像に対してステップＳ１７１からの処理を繰り返し、すべて表示している場合（ステップＳ１８１：Ｙｅｓ）、ステップＳ１０７にリターンする。このようにして、画像表示制御部６ａは、代表画像記憶部５ｂに記憶された一連の代表画像を各画像に設定された表示レートに応じて順次表示する。
【００４９】
図８は、代表画像を表示する際に表示部４に表示されるＧＵＩ画面の一例を示す図である。図８に示す例では、「診察・診断」ウィンドウ内に、注目画像である代表画像Ｐｉ、注目画像マークＭａ、代表画像Ｐｉの各種属性を示す文字情報が表示されている。
【００５０】
以上説明したように、この実施の形態１にかかる画像表示装置１では、画像記憶部５ａに記憶された一連の画像に対して、画像分類部２ｂが、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて一連の画像を画像グループに分類し、注目画像検出部２ｃが、各画像から特徴画像領域を検出するとともに、検出した特徴画像領域を有する特徴画像を注目画像として検出し、代表画像抽出部２ｄが、各画像グループ内の注目画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定し、さらに、画像表示制御部６ａが、設定された表示レートに応じて一連の代表画像を順次表示するようにしているため、たとえば、出血部位を含み観察の必要性が高い画像の観察を容易とし、出血部位を含まず通常の状態を示す観察の必要性が低い画像の表示を各画像グループの先頭画像のみに限定して表示時間を削減することができ、結果として一連の画像を効率的に観察することができる。
【００５１】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、注目画像検出部２ｃが検出した注目画像をすべて代表画像として表示するようにしていたが、この実施の形態２では、複数の注目画像が同じ特徴を示す場合、この複数の注目画像の中から１つを代表画像として選択し表示するようにしている。
【００５２】
図９は、この実施の形態２にかかる画像表示装置１１の構成を示すブロック図である。図９に示すように、画像表示装置１１は、画像表示装置１が備えた画像処理部２に替えて画像処理部１２を備える。また、画像処理部１２は、画像処理部２が備えた画像処理制御部２ａおよび注目画像検出部２ｃに替えて画像処理制御部１２ａおよび注目画像検出部１２ｃを備えるとともに、注目画像選択部１２ｅを新たに備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００５３】
画像処理制御部１２ａは、画像処理制御部２ａと同様に、記憶部５に記憶された画像を取得して処理し、処理結果の画像を記憶部５に記憶させる。ただし、画像処理制御部１２ａは、注目画像検出部２ｃの替わりに注目画像検出部１２ｃを制御するとともに、新たに注目画像選択部１２ｅを制御することにより、同じ特徴を示す複数の注目画像のうち代表的な注目画像のみ代表画像として選択する。
【００５４】
注目画像検出部１２ｃは、一連の画像の中から注目画像検出部２ｃと同様に注目画像を検出するとともに、検出した各注目画像の特徴画像領域の特徴量を算出し、算出した特徴量を示す情報を注目画像に対応付ける。具体的には、注目画像検出部１２ｃは、特徴量として注目画像内の特徴画像領域の位置を算出し、この算出した位置を示す位置情報を生成し注目画像に付加する。なお、特徴画像領域の位置は、たとえば、特徴画像領域の重心位置、輝度の最大または最小位置、所定の色相を有する位置、特徴画像領域の最外周位置等の少なくとも１つによって示される。
【００５５】
注目画像選択部１２ｅは、注目画像検出部１２ｃによって検出された複数の注目画像の中から、時系列で連続する注目画像間で生じた特徴画像領域の位置変化をもとに、この複数の注目画像を代表する注目代表画像を選択する。具体的には、注目画像選択部１２ｅは、連続する２つの注目画像間で生じた特徴画像領域の位置変化を示す動きベクトルを算出し、この算出した動きベクトルをもとに、２つの特徴画像領域が同じ特徴を示す画像領域であるか否かを判断し、同じ特徴を示す画像領域である場合、一方の注目画像を、代表画像として抽出しない注目キャンセル画像に変更する。注目画像選択部１２ｅは、この処理を一連の注目画像に対して繰り返し、結果として注目キャンセル画像とならない注目画像を注目代表画像として選択する。
【００５６】
ここで、画像表示装置１１が行う処理および動作について説明する。図１０は、画像表示装置１１が、制御部６の制御のもと、画像記憶部５ａに記憶された一連の画像を処理して表示する処理手順を示すフローチャートである。なお、図１０に示すフローチャートは、図示しないカプセル型内視鏡を用いて消化器官等の臓器の内部を撮像し生成された一連の画像を表示する処理手順を例示する。
【００５７】
図１０に示すように、画像分類部２ｂは、ステップＳ１０１と同様のグループ化処理を行い（ステップＳ２０１）、注目画像検出部１２ｃは、一連の画像の中から注目画像を検出する注目画像検出処理を行い（ステップＳ２０３）、注目画像選択部１２ｅは、ステップＳ２０３で検出された注目画像の中から注目代表画像を選択する注目画像選択処理を行い（ステップＳ２０５）、代表画像抽出部２ｄは、ステップＳ１０５と同様の代表画像抽出処理を行い（ステップＳ２０７）、画像表示制御部６ａは、ステップＳ１０７と同様の代表画像表示処理を行い（ステップＳ２０９）、制御部６は、一連の処理を終了する。
【００５８】
ステップＳ２０１のグループ化処理、ステップＳ２０７の代表画像抽出処理およびステップＳ２０９の代表画像表示処理の処理手順は、それぞれ図３、図５および図７に示したフローチャートによって示される。ここでは、ステップＳ２０３の注目画像検出処理およびステップＳ２０５の注目画像選択処理について説明する。
【００５９】
図１１は、ステップＳ２０３の注目画像検出処理の処理手順を示すフローチャートである。図１１に示すように、画像処理制御部１２ａは、グループ番号が設定され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭の画像を読み込み（ステップＳ２１１）、注目画像検出部１２ｃは、この読み込んだ画像の中から、特徴画像領域として出血部位を示す画像領域の検出を行うとともに、出血部位の位置を示す位置情報を生成する（ステップＳ２１３）。
【００６０】
つづいて、注目画像検出部１２ｃは、検出された出血部位があるか否かを判断し（ステップＳ２１５）、検出された出血部位がある場合（ステップＳ２１５：Ｙｅｓ）、処理対象の画像に注目画像情報とステップＳ２１３で生成した位置情報とを付加し（ステップＳ２１７）、画像処理制御部１２ａは、この注目画像情報および位置情報が付加された画像を画像記憶部５ａに記録した後（ステップＳ２１９）、一連のすべての画像を処理したか否かを判断する（ステップＳ２２１）。
【００６１】
すべての画像を処理していない場合（ステップＳ２２１：Ｎｏ）、画像処理制御部１２ａは、処理していない画像に対してステップＳ２１１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ２２１：Ｙｅｓ）、ステップＳ２０３にリターンする。なお、ステップＳ２１５で、検出された出血部位がないと判断された場合（ステップＳ２１５：Ｎｏ）、画像処理制御部１２ａは、直ちにステップＳ２２１の判断を行う。
【００６２】
このようにして、ステップＳ２０３の注目画像検出処理では、一連の画像の中から臓器内部で出血部位を撮像した画像を注目画像として検出するとともに、検出した注目画像に出血部位の位置を示す位置情報を付加することができる。なお、特徴画像領域として検出する画像領域は出血部位を示す画像領域に限らず、臓器内部の褪色部位、形状異常部位等、病変の疑いのある種々の特徴を示す画像領域としてよい。
【００６３】
つぎに、図１０に示したステップＳ２０５の注目画像選択処理について説明する。図１２は、注目画像選択処理の処理手順を示すフローチャートである。図１２に示すように、画像処理制御部１２ａは、注目画像検出処理が施され画像記憶部５ａに記憶された一連の画像のうち時系列で先頭と２番目とにある２つの画像を読み込み（ステップＳ２３１）、注目画像選択部１２ｅは、この２番目の画像を処理対象の画像とし、先頭の画像であり時系列で前の時点の画像である前画像とともに、注目画像情報が付加されているか否かを判断する（ステップＳ２３３）。
【００６４】
処理対象画像および前画像に注目画像情報が付加されている場合（ステップＳ２３３：Ｙｅｓ）、注目画像選択部１２ｅは、出血部位の位置を示す位置情報を参照し、前画像の出血部位を含む画像領域をパターンマッチング処理のテンプレートである出血部テンプレートとして抽出し（ステップＳ２３５）、この出血部テンプレートをもとに処理対象画像に対してパターンマッチング処理を行い、出血部テンプレートと相関の高い出血部位を示す画像領域を検出するとともに、前画像に対する処理対象画像の出血部位の位置変化を示す動きベクトルを検出する（ステップＳ２３７）。
【００６５】
つづいて、注目画像選択部１２ｅは、前画像の中から出血部位と所定の位置関係にある出血部位周辺部の画像領域を周辺部テンプレートとして抽出し（ステップＳ２３９）、この周辺部テンプレートをもとに処理対象画像に対してパターンマッチング処理を行い、周辺部テンプレートと相関の高い画像領域を検出するとともに、前画像に対する処理対象画像の出血部位周辺部の動きを示す動きベクトルを検出する（ステップＳ２４１）。
【００６６】
そして、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとがほぼ同じか否かを判断し（ステップＳ２４３）、ほぼ同じである場合（ステップＳ２４３：Ｙｅｓ）、注目キャンセル画像であることを示す注目画像キャンセル情報を処理対象画像に付加する（ステップＳ２４５）。
【００６７】
その後、画像処理制御部１２ａは、注目画像キャンセル情報が付加された処理対象画像を画像記憶部５ａに記録し（ステップＳ２４７）、一連のすべての画像を処理したか否かを判断し（ステップＳ２４９）、すべての画像を処理していない場合（ステップＳ２４９：Ｎｏ）、処理していない画像に対してステップＳ２３１からの処理を繰り返し、すべての画像を処理している場合（ステップＳ２４９：Ｙｅｓ）、ステップＳ２０５にリターンする。
【００６８】
なお、ステップＳ２３３で、注目画像情報が付加されていないと判断された場合（ステップＳ２３３：Ｎｏ）と、ステップＳ２４３で、各動きベクトルが同じではないと判断された場合（ステップＳ２４３：Ｎｏ）には、画像処理制御部１２ａは、直ちにステップＳ２４９の判断を行う。
【００６９】
また、ステップＳ２３７およびステップＳ２４１では、注目画像選択部１２ｅは、前画像から抽出した各テンプレートと、パターンマッチングによって対応する処理対象画像内の画像領域とを同一画面上で比較し、たとえば、各画像領域の重心位置の変化を示す動きベクトルを検出する。ただし、ステップＳ２３７では、注目画像選択部１２ｅは、パターンマッチングを行わず、前画像と処理対象画像との出血部の位置座標のみから動きベクトルを求めてもよい。
【００７０】
さらに、ステップＳ２４３では、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとについて、たとえば、各動きベクトルの方位および大きさの差があらかじめ設定されたしきい値以下であるか否かによって、この各動きベクトルが同じであるか否かを判断する。他にも、注目画像選択部１２ｅは、各動きベクトルのベクトル差、内積、外積等を演算し、これらの演算結果の少なくとも１つをもとに各動きベクトルが同じであるか否かを判断するようにしてもよい。
【００７１】
なお、ステップＳ２４５では、注目画像選択部１２ｅは、検出した出血部位の動きベクトルと出血部位周辺部の動きベクトルとがほぼ同じである場合、処理対象画像の出血部位と前画像の出血部位とが同じである可能性が高く、観察時に処理対象画像を表示させる必要性が低いものとして、処理対象画像に注目画像キャンセル情報を付加する。また、注目画像選択部１２ｅは、この出血部位の同一性を高い精度で判断できるように、ステップＳ２３９では、複数の画像領域を周辺部テンプレートとして検出するとよい。
【００７２】
このようにして、ステップＳ２０５の注目画像選択処理では、連続する２つの注目画像間で出血部位と出血部位周辺部の画像領域の動きを比較することによって、この２つの注目画像の出血部位が同じであるか否かを判断することができ、同じである場合、一方の注目画像を注目キャンセル画像に変更することができる。なお、たとえば、ステップＳ２３７とステップＳ２３９の処理順序を交換するなど、ステップＳ２３５〜ステップＳ２４１の処理順序は適宜変更してもよい。
【００７３】
ここで、図１２に示した注目画像選択処理を具体的に説明する。図１３は、注目画像選択処理で処理される画像の一例を示す図である。図１３に示すように、注目画像選択部１２ｅは、前画像の出血部位ＢＬ１を含む画像領域ＴＰａ１を出血部テンプレートとして抽出するとともに、図上で出血部位ＢＬ１の左右に位置する画像領域ＴＰｂ１，ＴＰｃ１を周辺部テンプレートとして抽出する。その後、注目画像選択部１２ｅは、これらのテンプレートをもとに、処理対象画像に対してテンプレートマッチングを行う。
【００７４】
テンプレートマッチングの結果、前画像の各画像領域ＴＰａ１，ＴＰｂ１，ＴＰｃ１に対して、処理対象画像の画像領域ＴＰａ２，ＴＰｂ２，ＴＰｃ２が検出された場合、注目画像選択部１２ｅは、それぞれ対応する画像領域の重心の動きを示す動きベクトルＶａ２，Ｖｂ２，Ｖｃ２を検出し、この各動きベクトルの方位および大きさの差が所定のしきい値以下であるか否かを判断する。
【００７５】
図１３に示す動きベクトルＶａ２，Ｖｂ２，Ｖｃ２の場合、注目画像選択部１２ｅは、互いにほぼ同じ動きベクトルであると判断し、処理対象画像の出血部位ＢＬ２が出血部位ＢＬ１と同一の出血部位であるものとして、この処理対象画像に注目画像キャンセル情報を付加する。
【００７６】
一方、テンプレートマッチングの結果、処理対象画像の画像領域ＴＰａ３，ＴＰｂ３，ＴＰｃ３が検出された場合、注目画像選択部１２ｅは、動きベクトルＶａ３，Ｖｂ３，Ｖｃ３を検出し、この各動きベクトルの方位および大きさの差が所定のしきい値以下であるか否かを判断する。
【００７７】
図１３に示す動きベクトルＶａ３，Ｖｂ３，Ｖｃ３の場合、注目画像選択部１２ｅは、各動きベクトルが異なる動きベクトルであると判断し、処理対象画像の出血部位ＢＬ３が出血部位ＢＬ１とは異なる出血部位であるものとして、この処理対象画像を注目代表画像として選択する。
【００７８】
このように注目画像選択処理が行われた結果、ステップＳ２０７の代表画像抽出処理では、たとえば図１４に示すように、各画像グループから先頭画像と注目代表画像とが代表画像として抽出される。図１４に示す例では、時系列でｎ番目の画像グループである画像グループｎから先頭画像である「正常画像１」および注目代表画像である「出血画像１」が、また、画像グループｎ＋１から先頭画像である「正常画像３」が、それぞれ代表画像として抽出されている。なお、これら一連の代表画像は、代表画像記憶部５ｂに時系列に記憶される。
【００７９】
以上説明したように、この実施の形態２にかかる画像表示装置１１では、画像分類部２ｂによって画像グループに分類された一連の画像の中から、注目画像検出部１２ｃが、注目画像を検出するとともに、検出した各注目画像の特徴画像領域の位置を算出し、算出した位置を示す位置情報を注目画像に付加し、注目画像選択部１２ｅが、時系列で連続する注目画像間で生じた特徴画像領域および特徴画像領域周辺部の画像領域の位置変化を検出し、検出した位置変化をもとに、複数の類似した注目画像を代表する注目代表画像を選択し、代表画像抽出部２ｄが、各画像グループ内の注目代表画像と先頭画像とを代表画像として抽出するとともに、抽出した各代表画像に表示レートを設定し、さらに、画像表示制御部６ａが、設定された表示レートに応じて一連の代表画像を順次表示するようにしているため、たとえば、出血部位を含む画像のうち時系列で前後の画像に類似性がなく観察の必要性が高い画像のみ表示させることができるとともに、出血部位を含まず通常の状態を示す観察の必要性が低い画像の表示を各画像グループの先頭画像のみに限定して表示時間を削減することができ、結果として一連の画像をさらに効率的に観察することができる。
【００８０】
なお、上述した実施の形態１および２では、グループ化されていない一連の画像をはじめに読み込んでから各種処理を実行するように説明したが、同様の処理手順により、既にグループ番号、注目画像情報、表示レート等が対応づけられた画像を読み込んで、これらの情報を更新するように各処理を実行するようにしてもよい。
【００８１】
また、上述した実施の形態１および２では、画像表示制御部６ａは、一連の代表画像のうち時系列で先頭の画像から順次表示を行うとともに、この一連のすべての代表画像を表示するように説明したが、たとえば、あらかじめ入力された表示開始画像に関する指示情報をもとに、時系列で途中の代表画像から表示を開始し、また、あらかじめ入力された表示終了画像に関する指示情報をもとに、時系列で途中の代表画像まで表示して画像表示処理を終了するようにしてもよい。
【００８２】
さらに、上述した実施の形態１および２では、画像表示制御部６ａは、代表画像のみ表示するように説明したが、たとえば、所定のスイッチ等から入力される指示情報をもとに、代表画像のみの表示と、すべての画像の表示とを切り換えられるようにしてもよい。
【００８３】
また、上述した実施の形態１では、制御部６は、グループ化処理の後に注目画像検出処理を行うようにしたが、注目画像検出処理の後にグループ化処理を行うようにしてもよい。同様に、実施の形態２では、制御部６は、注目画像検出処理または注目画像選択処理の後にグループ化処理を行うようにしてもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態１にかかる画像表示装置の構成を示すブロック図である。
【図２】図１に示した画像表示装置が行う処理手順を示すフローチャートである。
【図３】図２に示したグループ化処理の処理手順を示すフローチャートである。
【図４】図２に示した注目画像検出処理の処理手順を示すフローチャートである。
【図５】図２に示した代表画像抽出処理の処理手順を示すフローチャートである。
【図６】図５に示した代表画像抽出処理の結果の一例を説明する模式図である。
【図７】図２に示した代表画像表示処理の処理手順を示すフローチャートである。
【図８】図１に示した画像表示装置が表示するＧＵＩ画面の一例を示す図である。
【図９】本発明の実施の形態２にかかる画像表示装置の構成を示すブロック図である。
【図１０】図９に示した画像表示装置が行う処理手順を示すフローチャートである。
【図１１】図１０に示した注目画像検出処理の処理手順を示すフローチャートである。
【図１２】図１０に示した注目画像選択処理の処理手順を示すフローチャートである。
【図１３】図１２に示した注目画像選択処理の一例を説明する模式図である。
【図１４】図１２に示した注目画像選択処理の結果の一例を説明する模式図である。
【符号の説明】
【００８５】
１，１１ 画像表示装置
２，１２ 画像処理部
２ａ，１２ａ 画像処理制御部
２ｂ 画像分類部
２ｃ，１２ｃ 注目画像検出部
２ｄ 代表画像検出部
１２ｅ 注目画像選択部
３ 入力部
４ 表示部
５ 記憶部
５ａ 画像記憶部
５ｂ 代表画像記憶部
６，１６ 制御部
６ａ 画像表示制御部
【特許請求の範囲】
【請求項１】
入力された一連の画像を順次表示する画像表示装置において、
前記一連の画像に含まれる各画像を該各画像間の相関度に応じて１以上の画像グループに分類する画像分類手段と、
前記各画像の中から所定の特徴を有する特徴画像領域を検出し、該検出した特徴画像領域を有する各特徴画像を前記一連の画像の中から検出する特徴画像検出手段と、
前記画像分類手段によって分類された各画像グループ内の前記特徴画像を、該各画像グループを代表する代表画像として抽出する代表画像抽出手段と、
前記代表画像抽出手段によって抽出された代表画像を順次表示する制御を行う画像表示制御手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記代表画像抽出手段は、少なくとも各画像グループの時系列で先頭にある先頭画像を該各画像グループの代表画像として抽出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記特徴画像検出手段によって検出された複数の特徴画像のうち時系列で連続する特徴画像間で生じた前記特徴画像領域の所定の特徴量の変化量を算出し、該算出した変化量をもとに前記複数の特徴画像を代表する特徴代表画像を選択する特徴画像選択手段を備え、
前記特徴画像検出手段は、検出した各特徴画像領域の前記所定の特徴量を算出し、
前記特徴画像選択手段は、前記特徴画像検出手段によって算出された特徴量をもとに前記変化量を算出し、
前記代表画像抽出手段は、各画像グループ内の特徴画像のうち前記特徴代表画像を代表画像として抽出することを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記所定の特徴量は、前記特徴画像内の特徴画像領域の位置であることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像表示制御手段は、前記特徴画像である代表画像を表示する際、該代表画像の近傍に特徴画像であることを示すマークを表示する制御を行うことを特徴とする請求項１〜４のいずれか一つに記載の画像表示装置。
【請求項６】
前記各画像は、臓器の内部を撮像した画像であり、
前記所定の特徴は、前記臓器の内部の病変を示す特徴であることを特徴とする請求項１〜５のいずれか一つに記載の画像表示装置。
【請求項７】
前記病変を示す特徴は、出血、褪色および形状異常の少なくとも１つであることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記一連の画像は、カプセル型内視鏡を用いて生成されることを特徴とする請求項１〜７のいずれか一つに記載の画像表示装置。
【請求項１】
入力された一連の画像を順次表示する画像表示装置において、
前記一連の画像に含まれる各画像を該各画像間の相関度に応じて１以上の画像グループに分類する画像分類手段と、
前記各画像の中から所定の特徴を有する特徴画像領域を検出し、該検出した特徴画像領域を有する各特徴画像を前記一連の画像の中から検出する特徴画像検出手段と、
前記画像分類手段によって分類された各画像グループ内の前記特徴画像を、該各画像グループを代表する代表画像として抽出する代表画像抽出手段と、
前記代表画像抽出手段によって抽出された代表画像を順次表示する制御を行う画像表示制御手段と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記代表画像抽出手段は、少なくとも各画像グループの時系列で先頭にある先頭画像を該各画像グループの代表画像として抽出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記特徴画像検出手段によって検出された複数の特徴画像のうち時系列で連続する特徴画像間で生じた前記特徴画像領域の所定の特徴量の変化量を算出し、該算出した変化量をもとに前記複数の特徴画像を代表する特徴代表画像を選択する特徴画像選択手段を備え、
前記特徴画像検出手段は、検出した各特徴画像領域の前記所定の特徴量を算出し、
前記特徴画像選択手段は、前記特徴画像検出手段によって算出された特徴量をもとに前記変化量を算出し、
前記代表画像抽出手段は、各画像グループ内の特徴画像のうち前記特徴代表画像を代表画像として抽出することを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記所定の特徴量は、前記特徴画像内の特徴画像領域の位置であることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像表示制御手段は、前記特徴画像である代表画像を表示する際、該代表画像の近傍に特徴画像であることを示すマークを表示する制御を行うことを特徴とする請求項１〜４のいずれか一つに記載の画像表示装置。
【請求項６】
前記各画像は、臓器の内部を撮像した画像であり、
前記所定の特徴は、前記臓器の内部の病変を示す特徴であることを特徴とする請求項１〜５のいずれか一つに記載の画像表示装置。
【請求項７】
前記病変を示す特徴は、出血、褪色および形状異常の少なくとも１つであることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記一連の画像は、カプセル型内視鏡を用いて生成されることを特徴とする請求項１〜７のいずれか一つに記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−３２０６５０（Ｐ２００６−３２０６５０Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４８６７０（Ｐ２００５−１４８６７０）
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]