シーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法
【課題】画像列内のシーン変化位置を精度よく検出すること。
【解決手段】画像列を構成する各画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出部52と、検出された複数の動きベクトルをもとに各画像を所定の動きパターンにパターン分類する動きベクトル分類処理部53と、各パターン分類内における画像間の画像変化をパターン分類毎に検出する分類別画像変化検出部54と、各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出する分類別シーン変化検出部55とを備える。
【解決手段】画像列を構成する各画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出部52と、検出された複数の動きベクトルをもとに各画像を所定の動きパターンにパターン分類する動きベクトル分類処理部53と、各パターン分類内における画像間の画像変化をパターン分類毎に検出する分類別画像変化検出部54と、各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出する分類別シーン変化検出部55とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像で構成される画像列からシーン変化位置を検出するためのシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法に関するものである。
【背景技術】
【0002】
従来から、連続して撮影された複数の静止画像列、あるいは動画像のような連続する画像列を処理し、これらの連続する画像列からシーン変化位置を検出する様々な手法が提案されている。例えば、隣接する画像間(フレーム間)の特徴変化を所定の閾値と比較し、閾値を超える場合にシーン変化位置として検出する方法が一般的によく知られている(例えば、特許文献1参照)。すなわち、特許文献1では、小ブロックに分割したブロック毎に動きベクトルを検出し、その大きさが閾値を超えた動きベクトルが所定数以上検出された場合にシーン変化位置として検出するものである。
【0003】
【特許文献1】特開平4−345382号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、動きベクトルの大きさのみを用いた画一的な処理によってシーン変化位置を検出するため、シーン変化位置の検出精度が低いという問題があった。
【0005】
本発明は、上記に鑑みてなされたものであって、画像列内のシーン変化位置を精度よく検出することができるシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するため、本発明にかかるシーン変化検出装置は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、を備えるものである。
【0007】
また、本発明にかかるシーン変化検出プログラムは、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、を実行させるためのものである。
【0008】
また、本発明にかかるシーン変化検出方法は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、を含むものである。
【発明の効果】
【0009】
本発明によれば、各パターン分類内における画像間の画像変化をパターン分類毎に検出し、この画像間の画像変化をもとに各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。したがって、パターン分類に応じて画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0011】
(実施の形態1)
図1は、実施の形態1のシーン変化検出装置1の機能構成例を示すブロック図である。実施の形態1では、シーン変化検出装置1は、入力部2と、表示部3と、記憶部4と、装置各部を制御する制御機能および各種演算処理を行う演算機能を備えた処理部5とで構成されている。
【0012】
入力部2は、キーボードやマウスの他、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を処理部5に出力する。表示部3は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、処理部5から入力される表示信号をもとに各種画面を表示する。
【0013】
記憶部4は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部4には、シーン変化検出装置1を動作させ、このシーン変化検出装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、連続して撮像された複数の画像で構成される画像列のデータ(画像情報)が格納される。また、画像列を構成する画像の中から、シーンの変化するシーン変化位置を検出するためのシーン変化検出プログラム41が格納される。
【0014】
処理部5は、CPU等のハードウェアによって実現される。この処理部5は、入力部2から入力される操作信号や、記憶部4に格納されるデータ等に基づいてシーン変化検出装置1を構成する各部への指示やデータの転送等を行い、シーン変化検出装置1全体の動作を統括的に制御する。この処理部5は、画像読込部51と、動きベクトル検出手段としての動きベクトル検出部52と、パターン分類手段としての動きベクトル分類処理部53と、分類別画像変化検出手段としての分類別画像変化検出部54と、分類別シーン変化検出手段としての分類別シーン変化検出部55と、シーン変化位置検出手段としての全体シーン変化検出部56とを含む。
【0015】
画像読込部51は、記憶部4に格納されている画像列のデータ(画像情報)を読み込む。動きベクトル検出部52は、画像列を構成する画像間で各画像に映る同一の領域の対応付けを行い、その位置の変化を表す複数のベクトルデータ(動きベクトル)を検出する。動きベクトル分類処理部53は、検出した複数の動きベクトルをもとに、画像列を構成する各画像の動きをパターン分類する。分類別画像変化検出部54は、画像列を構成する各画像間の画像変化を、パターン分類の結果を用いて検出する。具体的には、予め各動きパターンによるパターン分類毎に画像変化量の算出処理(分類別画像変化検出処理)を定義しておく。そして、分類別画像変化検出部54は、処理対象の画像について、その動きパターンに応じた分類別画像変化検出処理を適用することで例えば撮像順が隣接する他の画像との間で画像変化量を算出し、算出した画像変化量を各パターン分類内における画像間の画像変化として検出する。分類別シーン変化検出部55は、各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出する。具体的には、予め各動きパターンによるパターン分類毎に重み情報および検出条件を設定しておく。そして、分類別シーン変化検出部55は、各画像の画像変化量にその動きパターンに応じた重み情報を統合した上で、その動きパターンに応じた検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。全体シーン変化検出部56は、抽出したシーン変化画像で構成されるシーン変化画像列を生成する。生成されたシーン変化画像列は、例えば表示部3において撮像順に表示される。
【0016】
図2は、実施の形態1のシーン変化検出装置1が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、処理部5が記憶部4に格納されたシーン変化検出プログラム41を読み出して実行することによって実現される。
【0017】
先ず、画像読込部51が、記憶部4に記憶された画像列の画像情報を取得する(ステップa1)。
【0018】
続いて、動きベクトル検出部52が、画像列を構成する各画像を順次処理対象として動きベクトルの検出を行う(ステップa3)。動きベクトルの算出は、テンプレートマッチングの手法や、オプティカルフローの算出手法等の公知の手法を適用することによって実現できるが、ここでは、例えば、テンプレートマッチングを行って動きベクトルを算出する場合について説明する。
【0019】
すなわち、先ず、処理対象画像と撮像順が隣接する画像内の所定の位置に所定数の探索対象領域を設定する。探索対象領域を設定する設定位置および数は、適宜設定することができる。ここで、探索対象領域の設定については、例えば、画像内を格子状に分割して均等に設定することとしてもよい。あるいは、画像内から予め定められた所定の特徴を有する特徴領域を探索し、探索された特徴領域を探索対象領域としてもよい。具体的には、画素値の分散が大きい領域やエッジ抽出して得られたエッジ強度が強い領域を探索することによって、探索対象領域を設定することとしてもよい。次いで、各探索対象領域を順次テンプレートとしたテンプレートマッチングを行い、各テンプレートと最もマッチングする(相関値が高い)領域を処理対象画像の中から探索する。このテンプレートマッチングの結果、処理対象画像の中から探索対象領域と最も類似する領域が探索され、その相関値が得られる。そして、各探索対象領域とこの探索対象領域について探索された領域との中心座標の変化をそれぞれ動きベクトルとして検出し、処理対象画像内の動きベクトル群とする。また、このとき、動きベクトル検出部52は、検出した各動きベクトルの信頼度を算出する。例えば、探索の結果マッチングする領域が見つからなかった場合や、得られた相関値が低い動きベクトルについてはその信頼度を低く設定し、得られた相関値が高ければその信頼度を高く設定する。
【0020】
続いて、動きベクトル分類処理部53が、画像列を構成する各画像を順次処理対象とし、検出された動きベクトル群をもとに各画像の動きをパターン分類する(ステップa5)。具体的には、動きベクトル分類処理部53は、検出された動きベクトル群の配向特性から視野の動きを推定することによって画像の動きパターンを判定し、パターン分類を行う。本実施の形態では、各画像を、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の3つの動きパターンのいずれかに分類する。
【0021】
図3は、動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。図3に示すように、処理対象の画像内で検出された各動きベクトルV11がほぼ同じ方向を向いており、大きさもほぼ等しい場合、この画像の視野は、撮像順が隣接する他の画像との間で横にスライド(平行移動)していると推定できる。このような場合には、画像の動きパターンを「平行移動」に分類する。具体的な処理手順としては、例えば、各動きベクトルの向きを判定する。そして、各動きベクトルの向きがほぼ同じ方向を向いている場合に、動きベクトルの向きの分散値を算出する。そして、算出した分散値を閾値処理し、予め設定される閾値より小さい場合に、その画像の動きパターンを「平行移動」に分類する。
【0022】
図4は、動きパターンが「撮像対象から遠ざかる動き」にパターン分類される画像内の動きベクトル群を示す図である。図4に示すように、処理対象の画像内で検出された各動きベクトルV13が、画像内のある1点(中心)に集束するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が遠ざかるように移動していると推定できる。ここで、視野範囲がこのように動く場合、図4に示すように、各動きベクトルの大きさが中心に近づくにつれて小さく変化している。このような場合には、画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの終点が1点に集束する場合に、この画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。
【0023】
図5は、動きパターンが「撮像対象が近づく動き」にパターン分類される画像内の動きベクトル群を示す図である。図5に示すように、処理対象の画像内で検出された各動きベクトルV15が、画像内のある1点(中心)から放射状に発散するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が近づくように移動していると推定できる。ここで、視野範囲がこのように動く場合、図5に示すように各動きベクトルの大きさが中心に近づくにつれて大きく変化している。このような場合には、画像の動きパターンを「撮像対象が近づく動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの始点が1点に集束する場合に、この画像の動きパターンを「撮像対象が近づく動き」に分類する。
【0024】
なお、パターン分類の手法はこれに限定されるものではなく、さらに細かく分類することとしてもよい。例えば、「平行移動」に分類された画像を、その平行移動の方向に応じてさらに分類することとしてもよい。また、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像を、その中心の位置に応じてさらに分類することとしてもよい。また、例示した「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」以外の動きパターンに分類することとしてもよく、各動きパターンのパターン分類条件は、任意に定義しておくことができる。
【0025】
続いて、図2に示すように、各動きパターンのパターン分類を順次処理対象とし、各パターン分類に属する画像毎にループAの処理を行う(ステップa7〜ステップa15)。以下、ループA内の処理において、処理対象のパターン分類を「対象分類」と称す。
【0026】
ループAでは、先ず、分類別画像変化検出部54が、対象分類に応じた分類別画像変化検出処理を適用して例えば撮像順が隣接する他の画像との間で画像変化量を算出し、対象分類内における画像間の画像変化として検出する(ステップa9)。
【0027】
ここで、パターン分類毎に定義される分類別画像変化検出処理について説明する。動きベクトルが正しく検出できている場合には、この動きベクトルの大きさが画像間の画像変化を表す指標となる。一方で、動きパターンによって画像内の各動きベクトルの大きさの傾向が異なる。そこで、各動きベクトルの大きさを用い、パターン分類毎に定まる各動きベクトルそれぞれの大きさの傾向に従って、画像変化量を算出する分類別画像変化検出処理をパターン分類毎に定義しておく。より具体的には、例えば各動きベクトルの大きさに基づくパラメータ値を用いて画像変化量を算出する分類別画像変化検出処理を定義する。
【0028】
例えば、動きパターンが「平行移動」の画像の動きベクトル群は、上記のように、それぞれがほぼ同じ方向を向き、大きさもほぼ等しい。したがって、「平行移動」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておく。
【0029】
また、上記のように、動きパターンが「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の画像の動きベクトル群は、その大きさが中心からの距離に応じて変化する。したがって、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの中間値や最大値、最小値を画像変化量として算出するような処理を定義しておく。なお、動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておくこととしてもよい。
【0030】
なお、パターン分類毎に定義しておく分類別画像変化検出処理は、上記のように動きベクトルの大きさに基づく1つのパラメータ値を用いた処理に限定されるものではなく、動きベクトルの大きさに基づく複数のパラメータ値を用い、これらの値を統合して画像変化量を算出する処理とすることもできる。さらに、動きベクトルの大きさに基づくパラメータ値だけでなく、動きベクトルの向きに基づくパラメータ値等を用いることもできる。例えば、各動きベクトルの大きさの平均値や中間値、最大値、最小値、分散値、各動きベクトルの向きの分散値、各動きベクトルの信頼度等の各値を適宜組み合わせ、これらの値を統合して画像変化量を算出するような処理を分類別画像変化検出処理として定義しておくこととしてもよい。
【0031】
あるいは、各動きベクトルの信頼度を動きパターンに基づくパラメータ値として用い、この値を加味して画像変化量を算出するようにしてもよく、より信頼性の高い画像変化の検出が実現できる。具体的には、各動きベクトルの大きさや向きに対し、その信頼度を用いた重み付けを行う。例えば、動きベクトルの大きさをもとに重み付き平均値や重み付き中間値、重み付き最大値、重み付き最小値等の値を算出し、あるいは動きベクトルの向きをもとに重み付き分散値等の値を算出して、画像変化量を算出してもよい。
【0032】
続いて、分類別シーン変化検出部55が、検出した対象分類内における画像間の画像変化をもとに、対象分類内におけるシーン変化を検出する(ステップa11)。具体的には、分類別シーン変化検出部55は、先ず、対象分類に分類された各画像の画像変化量にそれぞれ予め対象分類について設定される重み情報を統合する。
【0033】
ここで、重み情報は、例えば各パターン分類に対して個別に設定される重み係数であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する重み係数と比較して、「平行移動」について設定する重み係数を大きく設定する。これは、各動きパターンを比較すると、「平行移動」では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比較してその視野内の撮像対象が視野から外れる速さが速く、隣接する画像間での撮像対象の見え方の変化が小さいことに基づく。
【0034】
図6は、動きパターンが「平行移動」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O11の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。そして、図7は、動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O13の画像間での見え方の変化を示している。また、各画像において、その画像内で検出された動きベクトル群を示している。さらに、図8は、動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O15の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。
【0035】
図6〜図8に示すように、視野が「平行移動」の動きをしている場合と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」をしている場合とでは、動きベクトルの大きさがほぼ等しい場合であっても、各画像に映る撮像対象の見え方の変化は異なり、撮像対象が視野から消失する速さも異なる。例えば、図6に示す視野が「平行移動」の動きをしている場合の撮像対象O11の見え方の変化は、図7に示す「撮像対象が遠ざかる動き」をしている場合の撮像対象O13の見え方の変化や、図8に示す「撮像対象が近づく動き」をしている場合の撮像対象O15の見え方の変化と比べて速く、撮像対象O11が視野から消失する速さも速い。
【0036】
すなわち、図6に示す「平行移動」の例では、3枚目(c)で撮像対象O11の一部が視野から外れており、4枚目(d)では完全に視野から外れて消失している。これに対し、図7に示す「撮像対象が遠ざかる動き」の例では、図6の場合と動きベクトルの大きさがほぼ同じにも関わらず、4枚目(d)の画像中に撮像対象O13が映っており、視野から外れていない。したがって、「平行移動」に分類された画像の画像変化量と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像の画像変化量とが同程度の場合であっても、「平行移動」の方が撮像対象の動きが大きい。図8の場合も同様であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比べて「平行移動」の重要度が高いといえる。
【0037】
そこで、実施の形態1では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の重み係数に対して「平行移動」の重み係数を大きく設定する。そして、この重み係数を画像変化量に統合する。これによって、パターン分類毎の撮像対象の見え方の変化量の違いに基づく重要度を加味した画像変化の検出が実現できる。また、画像変化量にその画像のパターン分類に応じた重み情報を統合することによって、各パターン分類の順序が動きパターンのみによって決定されず、重み係数により混合的に統合されるため、パターン分類間でのより適切な順序付けが実現できる。
【0038】
具体的には、分類別シーン変化検出部55は、次式(1)に従って重み情報を統合した画像変化量を算出し、画像間の画像変化として検出する。ここで、ImgMov(j)は画像列のj番目の画像について算出された画像変化量を表し、WImgMov(k)はk番目のパターン分類に重み情報として設定された重み係数を表す。
【数1】
【0039】
そして、分類別シーン変化検出部55は、重み情報を統合した画像変化量が予め対象分類について設定されるシーン変化の検出条件を満たす画像(シーン変化画像)を抽出し、対象分類内におけるシーン変化として検出する。ここで、検出条件は、例えばパターン分類毎に個別の閾値を定義したものであり、分類別シーン変化検出部55は、対象分類に分類された各画像の画像変化量を対象分類について定義された閾値を用いて閾値処理し、この閾値よりも画像変化量が大きい画像をシーン変化画像として抽出する。閾値は、例えば、上記したパターン分類の重要度をもとに、重要度の高いパターン分類の閾値より、重要度の低いパターン分類の閾値を大きく設定する。
【0040】
なお、ここでは検出条件としてパターン分類毎の閾値を定義しておき、この閾値を用いて画像変化量を閾値処理する場合について説明したが、これに限定されるものではない。例えば、検出条件としてパターン分類毎のシーン変化数を定義しておくこととしてもよい。シーン変化数は、例えば、パターン分類の重要度をもとに、重要度の高いパターン分類のシーン変化数より、重要度の低いパターン分類のシーン変化数を大きく設定する。そして、分類別シーン変化検出部55が、対象分類に分類された画像のうち、このシーン変化数の画像を画像変化量の大きいものから順にシーン変化画像として抽出し、シーン変化として検出することとしてもよい。
【0041】
全ての動きパターンのパターン分類についてループAの処理を実行したならば、続いて、全体シーン変化検出部56が、パターン分類毎にステップa11で検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化位置を検出する(ステップa15)。
【0042】
図9は、シーン変化画像が検出された画像列の一例を示す模式図である。以上のようにして処理された画像列は、図9に示すように、シーン変化画像をシーン変化として複数のショットに分割されたことになる。そして、実際に表示部3において表示を行う際には、ショットの最初のシーン変化画像を順次表示していくことになる。この表示において、画像間の画像変化が小さい画像は表示されない。すなわち、類似度の大きな画像は表示が省略される。したがって、画像列を構成する画像の効率的な表示が実現できる。
【0043】
また、実施の形態1によれば、予め画像列の各画像を動きパターンで分類したパターン分類毎に画像間の画像変化を検出することができる。より具体的には、予めパターン分類毎に分類別画像変化検出処理を定義しておき、そのパターン分類に応じた分類別画像変化検出処理を適用して画像間の画像変化をパターン分類毎に検出することができる。そして、このようにして各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。具体的には、各画像について算出した画像変化量に、そのパターン分類に応じた重み情報を統合した上で、そのパターン分類に応じた検出条件に従ってシーン変化検出画像を抽出することによって、各パターン分類内におけるシーン変化を検出することができる。したがって、パターン分類に応じた画像間の画像変化の検出を行い、さらに、パターン分類に応じたシーン変化の検出を行うことができるので、シーン変化の検出に要する処理時間を増大させることなく、またパターン分類毎に画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。
【0044】
さらに、「平行移動」と「撮像対象が遠ざかる動き」や「撮像対象が近づく動き」とでは、見かけ上動きベクトルの大きさが同じであっても、実際の動き量が異なる可能性が高い。実施の形態1によれば、動きベクトルのパターン分類毎に異なる重み情報や検出条件を適用することによって、精度の高いシーン変化の検出を行うことが可能となる。
【0045】
なお、上記した説明では、撮像順が隣接する画像間で検出した動きベクトルをもとに画像間の画像変化を検出することとしたが、これに限定されない。例えば、従来から一般的に知られている画像間の相関やSSD(画素の差の二乗和)、SAD(画素の差の絶対値和)等の画像特徴を用いて画像間の画像変化を検出することとしてもよい。
【0046】
また、動きベクトルの検出は、特に隣接する2枚の画像間の処理に限定されるものではない。例えば、2枚以上の画像間の画像特徴を算出し、これらの組み合わせによる統計的演算を用いて画像間の画像変化を検出することとしてもよい。例えば、数枚の隣接する各画像について、隣接する他の画像との間の動きベクトルや正規化相互相関、SSD、SAD等の画像特徴をそれぞれ算出する。そして、各値の平均値をもとに画像間の画像変化を検出することとしてもよい。
【0047】
また、連続する画像列においては、類似する画像が隣接する場合がある。このような場合には、ある1枚の画像について行った処理結果を隣接する複数の画像に対して適用することも可能である。この手法を適用する画像枚数を決定するための手法としては、簡易には、予め一定の枚数を決定しておく方法とすればよい。また、画像間の類似度を所定の閾値との比較により判定して、適応的に決定するようにしてもよい。これによれば、画像列を構成する全画像を処理する必要がなく、処理時間の短縮を図ることができる。
【0048】
(実施の形態2)
次に、実施の形態2について説明する。実施の形態1では、画像列を構成する各画像「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の各動きパターンに分類し、パターン分類毎に画像間の画像変化やシーン変化を検出することとした。しかしながら、実際の画像には、画像間でシーンが完全に変化し、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」等の動きパターンに分類できない画像が含まれる。実施の形態2では、このような画像を新たな分類(以下、「シーンチェンジ」と称す。)に分類することとし、これらの画像について、実施の形態1で説明した動きベクトルに基づく画像間の画像変化の検出処理とは別の処理を適用する。
【0049】
図10は、実施の形態2のシーン変化検出装置が行う処理手順を示すフローチャートである。なお、図10において、実施の形態1と同様の処理工程には同一の符号を付している。
【0050】
図10に示すように、ループAの処理を実行した後、動きベクトル分類処理部53が、「平行移動」「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」のいずれにも分類されない画像の有無を判定する。ここで、動きパターンに分類されない画像とは、例えば、動きベクトル算出時にこの画像内から探索対象領域に対応する領域として探索された領域数が少ない場合や、得られた動きベクトルの向きに統一性がない場合等、検出結果の信頼性が低いと考えられる画像である。そして、このような画像は、画像間の画像変化が大きく、シーンが完全に変化する画像と推定できる。動きパターンに分類されない画像がなければ(ステップb14:No)、ステップa15に移行する。そして、全体シーン変化検出部56が、ステップa11でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する。
【0051】
一方、動きベクトル分類処理部53は、動きパターンに分類されない画像がある場合には(ステップb14:Yes)、この動きパターンに分類されない画像をシーンチェンジに分類する。そして、分類別画像変化検出部54が、このシーンチェンジの分類内における画像間の画像変化を、動きベクトルに基づく画像変化検出の手法とは別の手法を用いて検出する(ステップb17)。具体的には、画像間の相関やSSD、SAD等の画像特徴を用いて画像間の画像変化を検出する。
【0052】
続いて、分類別シーン変化検出部55が、ステップa11と同様にして、シーンチェンジの分類内におけるシーン変化を検出する(ステップb19)。具体的には、シーンチェンジについての重み情報および検出条件を予め設定しておく。そして、分類別シーン変化検出部55は、先ず、シーンチェンジに分類された各画像の画像変化量に、それぞれシーンチェンジの重み情報を統合した上で、シーンチェンジについて設定された検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。例えば、上記のように、シーンチェンジの画像は画像間の画像変化が大きいと推定される画像であるので、重み情報として、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」よりも大きい重み係数を設定しておく。また、検出条件として閾値を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する閾値よりも閾値の値を小さく設定しておく。検出条件としてシーン変化数を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定するシーン変化数よりも大きい値を設定しておく。
【0053】
そして、全体シーン変化検出部56が、ステップb19でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する(ステップb21)。このとき、上記のように、パターン分類された画像の画像変化は動きベクトルが正しく検出できており、パターン分類されない画像と比較して画像変化が小さいと考えられるので、パターン分類された画像の画像変化の最大値と、パターン分類できていない画像群の画像変化の最小値の境界が連続になるように調整することも可能である。
【0054】
この実施の形態2によれば、実施の形態1と同様の効果を奏するとともに、いずれの動きパターンにも分類されないシーンチェンジの画像について、動きベクトルを用いた画像変化検出の手法とは別の手法を用いて画像間の画像変化を検出し、検出した画像間の画像変化をもとにシーン変化を検出することができる。これにより、画像列にパターン分類できない画像が含まれる場合であっても、適切にその画像間の画像変化を求めることが可能となる。したがって、画像列内のシーン変化位置をより適切に検出することができ、検出精度をより向上させることができる。
【0055】
なお、上記した実施の形態1,2のシーン変化検出装置は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態1,2で説明したシーン変化検出装置と同様の機能を有し、シーン変化検出プログラムを実行するコンピュータシステムについて説明する。
【0056】
図11は、実施の形態を適用したコンピュータシステム20の構成を示すシステム構成図であり、図12は、このコンピュータシステム20における本体部210の構成を示すブロック図である。図11に示すように、コンピュータシステム20は、本体部210と、本体部210からの指示によって表示画面221に画像等の情報を表示するためのディスプレイ220と、このコンピュータシステム20に種々の情報を入力するためのキーボード230と、ディスプレイ220の表示画面221上の任意の位置を指定するためのマウス240とを備える。
【0057】
また、このコンピュータシステム20における本体部210は、図12に示すように、CPU211と、RAM212と、ROM213と、ハードディスクドライブ(HDD)214と、CD−ROM260を受け入れるCD−ROMドライブ215と、USBメモリ270を着脱可能に接続するUSBポート216と、ディスプレイ220、キーボード230およびマウス240を接続するI/Oインターフェース217と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース218とを備える。
【0058】
さらに、このコンピュータシステム20には、インターネット等の公衆回線N3に接続するためのモデム250が接続されるとともに、LANインターフェース218およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピュータシステムであるパソコン(PC)281、サーバ282、プリンタ283等が接続される。
【0059】
そして、このコンピュータシステム20は、所定の記憶媒体に記憶されたシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。ここで、所定の記憶媒体とは、CD−ROM260やUSBメモリ270の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピュータシステム20の体腔内に備えられるHDD214やRAM212、ROM213等の「固定用の物理媒体」、モデム250を介して接続される公衆回線N3や、他のコンピュータシステム(PC)281またはサーバ282が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム20によって読み取り可能なシーン変化検出プログラムを記憶するあらゆる記憶媒体を含む。
【0060】
すなわち、シーン変化検出プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム20は、このような記憶媒体からシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。なお、シーン変化検出プログラムは、コンピュータシステム20によって実行されることに限定されるものではなく、他のコンピュータシステム(PC)281またはサーバ282がシーン変化検出プログラムを実行する場合や、これらが協働してシーン変化検出プログラムを実行するような場合にも、本発明を同様に適用することができる。
【0061】
そして、上記した実施の形態1,2のシーン変化検出装置は、例えばカプセル型内視鏡システムに好適に適用できる。図13は、実施の形態1または実施の形態2を適用したシーン変化検出装置39をワークステーションやパソコン等の汎用コンピュータとして備えたカプセル型内視鏡システムを模式的に示す構成図である。図13に示すように、カプセル型内視鏡システムは、シーン変化検出装置39の他、被検体31内部の画像(以下、「体腔内画像」と呼ぶ。)を撮像するカプセル型内視鏡33、カプセル型内視鏡33から無線送信される体腔内画像を受信する受信装置35等を備える。受信装置35とシーン変化検出装置39との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)37が使用され、図1の記憶部4に相当する。
【0062】
カプセル型内視鏡33は、撮像機能や無線機能等を具備するものであり、被検体31の口から飲み込まれて被検体31内部に導入される。そして、カプセル型内視鏡33は、体外に排出されるまでの間に、体腔内を蠕動運動等により移動しながら約0.5秒毎に約60000枚もの画像を撮像し、撮像した体腔内画像を体外に無線送信する。
【0063】
受信装置35は、被検体31内におけるカプセル型内視鏡33の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1〜Anを備える。そして、受信装置35は、各受信用アンテナA1〜Anを介してカプセル型内視鏡33から無線送信される画像データを受信する。この受信装置35は、可搬型記録媒体37の着脱が自在に構成されており、受信した画像データを可搬型記録媒体37に逐次保存する。このようにして、カプセル型内視鏡33が撮像した被検体31内部の体腔内画像は、受信装置35によって撮像順に可搬型記録媒体37に蓄積され、画像列として保存される。
【0064】
そして、シーン変化検出装置39は、可搬型記録媒体37の着脱が自在に構成されており、受信装置35によって受信されて可搬型記録媒体37に保存された体腔内画像の画像列を処理し、LCDやELD等のディスプレイに撮像順に順次表示する。ここで、シーン変化検出装置39は、実施の形態1,2のシーン変化検出装置と同様にして体腔内画像の画像列からシーン変化位置を検出し、シーン変化画像列を生成する。
【0065】
ここで、体腔内におけるカプセル型内視鏡33の移動速度は一定ではなく、撮像される画像の時系列変化は様々である。このため、処理対象の体腔内画像の画像列では、類似する画像が連続するといった事態が発生し得る。一方で、カプセル型内視鏡33が撮像した膨大な枚数の体腔内画像を全て表示すると、医師等の観察者は、約60000枚にも及ぶ膨大な枚数の画像を観察するために多くの時間を費やさなければならず、負担が大きい。以上のことから、各体腔内画像を処理することによって画像列におけるシーン変化位置を検出してシーン変化画像列を生成することは、類似する画像を表示するという冗長度を減少させ、画像列のおおまかな全体像を効率的に観察できるので、観察者の負担を軽減するという観点で有効である。
【0066】
このカプセル型内視鏡システムによれば、カプセル型内視鏡33が撮像した膨大な枚数の体腔内画像の画像列からシーン変化位置を適切に検出することができるので、観察者による観察効率を向上させることができ、効率的な診断支援が実現できる。特にカプセル型内視鏡33が撮像した体腔内画像には、動きパターンに分類できない画像が多く含まれる。このため、実施の形態2で説明したようにパターン分類できない画像について画像間の画像変化を検出することが重要であり、このカプセル型内視鏡システムに実施の形態2のシーン検出装置を適用することによって、シーン変化位置をより適切に検出できる。
【0067】
なお、カプセル型内視鏡が撮像した体腔内画像の画像列を処理する場合以外にも、シーン変化のある画像列からシーン変化位置を検出し、シーン変化の大きい画像を表示する場合に好適に適用できる。
【図面の簡単な説明】
【0068】
【図1】実施の形態1のシーン変化検出装置の機能構成例を示すブロック図である。
【図2】実施の形態1のシーン変化検出装置が行う処理手順を示すフローチャートである。
【図3】動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。
【図4】動きパターンが「撮像対象から遠ざかる動き」にパターン分類される動きベクトル群を示す図である。
【図5】動きパターンが「撮像対象が近づく動き」にパターン分類される動きベクトル群を示す図である。
【図6】動きパターンが「平行移動」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図7】動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図8】動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図9】シーン変化画像が検出された画像列の一例を示す模式図である。
【図10】実施の形態2のシーン変化検出装置が行う処理手順を示すフローチャートである。
【図11】実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。
【図12】図11のコンピュータシステムにおける本体部の構成を示すブロック図である。
【図13】シーン変化検出装置を備えたカプセル型内視鏡システムを模式的に示す構成図である。
【符号の説明】
【0069】
1 シーン変化検出装置
2 入力部
3 表示部
4 記憶部
41 シーン変化検出プログラム
5 処理部
51 画像読込部
52 動きベクトル検出部
53 動きベクトル分類処理部
54 分類別画像変化検出部
55 分類別シーン変化検出部
56 全体シーン変化検出部
【技術分野】
【0001】
本発明は、複数の画像で構成される画像列からシーン変化位置を検出するためのシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法に関するものである。
【背景技術】
【0002】
従来から、連続して撮影された複数の静止画像列、あるいは動画像のような連続する画像列を処理し、これらの連続する画像列からシーン変化位置を検出する様々な手法が提案されている。例えば、隣接する画像間(フレーム間)の特徴変化を所定の閾値と比較し、閾値を超える場合にシーン変化位置として検出する方法が一般的によく知られている(例えば、特許文献1参照)。すなわち、特許文献1では、小ブロックに分割したブロック毎に動きベクトルを検出し、その大きさが閾値を超えた動きベクトルが所定数以上検出された場合にシーン変化位置として検出するものである。
【0003】
【特許文献1】特開平4−345382号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、動きベクトルの大きさのみを用いた画一的な処理によってシーン変化位置を検出するため、シーン変化位置の検出精度が低いという問題があった。
【0005】
本発明は、上記に鑑みてなされたものであって、画像列内のシーン変化位置を精度よく検出することができるシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するため、本発明にかかるシーン変化検出装置は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、を備えるものである。
【0007】
また、本発明にかかるシーン変化検出プログラムは、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、を実行させるためのものである。
【0008】
また、本発明にかかるシーン変化検出方法は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、を含むものである。
【発明の効果】
【0009】
本発明によれば、各パターン分類内における画像間の画像変化をパターン分類毎に検出し、この画像間の画像変化をもとに各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。したがって、パターン分類に応じて画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0011】
(実施の形態1)
図1は、実施の形態1のシーン変化検出装置1の機能構成例を示すブロック図である。実施の形態1では、シーン変化検出装置1は、入力部2と、表示部3と、記憶部4と、装置各部を制御する制御機能および各種演算処理を行う演算機能を備えた処理部5とで構成されている。
【0012】
入力部2は、キーボードやマウスの他、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を処理部5に出力する。表示部3は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、処理部5から入力される表示信号をもとに各種画面を表示する。
【0013】
記憶部4は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部4には、シーン変化検出装置1を動作させ、このシーン変化検出装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、連続して撮像された複数の画像で構成される画像列のデータ(画像情報)が格納される。また、画像列を構成する画像の中から、シーンの変化するシーン変化位置を検出するためのシーン変化検出プログラム41が格納される。
【0014】
処理部5は、CPU等のハードウェアによって実現される。この処理部5は、入力部2から入力される操作信号や、記憶部4に格納されるデータ等に基づいてシーン変化検出装置1を構成する各部への指示やデータの転送等を行い、シーン変化検出装置1全体の動作を統括的に制御する。この処理部5は、画像読込部51と、動きベクトル検出手段としての動きベクトル検出部52と、パターン分類手段としての動きベクトル分類処理部53と、分類別画像変化検出手段としての分類別画像変化検出部54と、分類別シーン変化検出手段としての分類別シーン変化検出部55と、シーン変化位置検出手段としての全体シーン変化検出部56とを含む。
【0015】
画像読込部51は、記憶部4に格納されている画像列のデータ(画像情報)を読み込む。動きベクトル検出部52は、画像列を構成する画像間で各画像に映る同一の領域の対応付けを行い、その位置の変化を表す複数のベクトルデータ(動きベクトル)を検出する。動きベクトル分類処理部53は、検出した複数の動きベクトルをもとに、画像列を構成する各画像の動きをパターン分類する。分類別画像変化検出部54は、画像列を構成する各画像間の画像変化を、パターン分類の結果を用いて検出する。具体的には、予め各動きパターンによるパターン分類毎に画像変化量の算出処理(分類別画像変化検出処理)を定義しておく。そして、分類別画像変化検出部54は、処理対象の画像について、その動きパターンに応じた分類別画像変化検出処理を適用することで例えば撮像順が隣接する他の画像との間で画像変化量を算出し、算出した画像変化量を各パターン分類内における画像間の画像変化として検出する。分類別シーン変化検出部55は、各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出する。具体的には、予め各動きパターンによるパターン分類毎に重み情報および検出条件を設定しておく。そして、分類別シーン変化検出部55は、各画像の画像変化量にその動きパターンに応じた重み情報を統合した上で、その動きパターンに応じた検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。全体シーン変化検出部56は、抽出したシーン変化画像で構成されるシーン変化画像列を生成する。生成されたシーン変化画像列は、例えば表示部3において撮像順に表示される。
【0016】
図2は、実施の形態1のシーン変化検出装置1が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、処理部5が記憶部4に格納されたシーン変化検出プログラム41を読み出して実行することによって実現される。
【0017】
先ず、画像読込部51が、記憶部4に記憶された画像列の画像情報を取得する(ステップa1)。
【0018】
続いて、動きベクトル検出部52が、画像列を構成する各画像を順次処理対象として動きベクトルの検出を行う(ステップa3)。動きベクトルの算出は、テンプレートマッチングの手法や、オプティカルフローの算出手法等の公知の手法を適用することによって実現できるが、ここでは、例えば、テンプレートマッチングを行って動きベクトルを算出する場合について説明する。
【0019】
すなわち、先ず、処理対象画像と撮像順が隣接する画像内の所定の位置に所定数の探索対象領域を設定する。探索対象領域を設定する設定位置および数は、適宜設定することができる。ここで、探索対象領域の設定については、例えば、画像内を格子状に分割して均等に設定することとしてもよい。あるいは、画像内から予め定められた所定の特徴を有する特徴領域を探索し、探索された特徴領域を探索対象領域としてもよい。具体的には、画素値の分散が大きい領域やエッジ抽出して得られたエッジ強度が強い領域を探索することによって、探索対象領域を設定することとしてもよい。次いで、各探索対象領域を順次テンプレートとしたテンプレートマッチングを行い、各テンプレートと最もマッチングする(相関値が高い)領域を処理対象画像の中から探索する。このテンプレートマッチングの結果、処理対象画像の中から探索対象領域と最も類似する領域が探索され、その相関値が得られる。そして、各探索対象領域とこの探索対象領域について探索された領域との中心座標の変化をそれぞれ動きベクトルとして検出し、処理対象画像内の動きベクトル群とする。また、このとき、動きベクトル検出部52は、検出した各動きベクトルの信頼度を算出する。例えば、探索の結果マッチングする領域が見つからなかった場合や、得られた相関値が低い動きベクトルについてはその信頼度を低く設定し、得られた相関値が高ければその信頼度を高く設定する。
【0020】
続いて、動きベクトル分類処理部53が、画像列を構成する各画像を順次処理対象とし、検出された動きベクトル群をもとに各画像の動きをパターン分類する(ステップa5)。具体的には、動きベクトル分類処理部53は、検出された動きベクトル群の配向特性から視野の動きを推定することによって画像の動きパターンを判定し、パターン分類を行う。本実施の形態では、各画像を、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の3つの動きパターンのいずれかに分類する。
【0021】
図3は、動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。図3に示すように、処理対象の画像内で検出された各動きベクトルV11がほぼ同じ方向を向いており、大きさもほぼ等しい場合、この画像の視野は、撮像順が隣接する他の画像との間で横にスライド(平行移動)していると推定できる。このような場合には、画像の動きパターンを「平行移動」に分類する。具体的な処理手順としては、例えば、各動きベクトルの向きを判定する。そして、各動きベクトルの向きがほぼ同じ方向を向いている場合に、動きベクトルの向きの分散値を算出する。そして、算出した分散値を閾値処理し、予め設定される閾値より小さい場合に、その画像の動きパターンを「平行移動」に分類する。
【0022】
図4は、動きパターンが「撮像対象から遠ざかる動き」にパターン分類される画像内の動きベクトル群を示す図である。図4に示すように、処理対象の画像内で検出された各動きベクトルV13が、画像内のある1点(中心)に集束するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が遠ざかるように移動していると推定できる。ここで、視野範囲がこのように動く場合、図4に示すように、各動きベクトルの大きさが中心に近づくにつれて小さく変化している。このような場合には、画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの終点が1点に集束する場合に、この画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。
【0023】
図5は、動きパターンが「撮像対象が近づく動き」にパターン分類される画像内の動きベクトル群を示す図である。図5に示すように、処理対象の画像内で検出された各動きベクトルV15が、画像内のある1点(中心)から放射状に発散するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が近づくように移動していると推定できる。ここで、視野範囲がこのように動く場合、図5に示すように各動きベクトルの大きさが中心に近づくにつれて大きく変化している。このような場合には、画像の動きパターンを「撮像対象が近づく動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの始点が1点に集束する場合に、この画像の動きパターンを「撮像対象が近づく動き」に分類する。
【0024】
なお、パターン分類の手法はこれに限定されるものではなく、さらに細かく分類することとしてもよい。例えば、「平行移動」に分類された画像を、その平行移動の方向に応じてさらに分類することとしてもよい。また、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像を、その中心の位置に応じてさらに分類することとしてもよい。また、例示した「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」以外の動きパターンに分類することとしてもよく、各動きパターンのパターン分類条件は、任意に定義しておくことができる。
【0025】
続いて、図2に示すように、各動きパターンのパターン分類を順次処理対象とし、各パターン分類に属する画像毎にループAの処理を行う(ステップa7〜ステップa15)。以下、ループA内の処理において、処理対象のパターン分類を「対象分類」と称す。
【0026】
ループAでは、先ず、分類別画像変化検出部54が、対象分類に応じた分類別画像変化検出処理を適用して例えば撮像順が隣接する他の画像との間で画像変化量を算出し、対象分類内における画像間の画像変化として検出する(ステップa9)。
【0027】
ここで、パターン分類毎に定義される分類別画像変化検出処理について説明する。動きベクトルが正しく検出できている場合には、この動きベクトルの大きさが画像間の画像変化を表す指標となる。一方で、動きパターンによって画像内の各動きベクトルの大きさの傾向が異なる。そこで、各動きベクトルの大きさを用い、パターン分類毎に定まる各動きベクトルそれぞれの大きさの傾向に従って、画像変化量を算出する分類別画像変化検出処理をパターン分類毎に定義しておく。より具体的には、例えば各動きベクトルの大きさに基づくパラメータ値を用いて画像変化量を算出する分類別画像変化検出処理を定義する。
【0028】
例えば、動きパターンが「平行移動」の画像の動きベクトル群は、上記のように、それぞれがほぼ同じ方向を向き、大きさもほぼ等しい。したがって、「平行移動」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておく。
【0029】
また、上記のように、動きパターンが「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の画像の動きベクトル群は、その大きさが中心からの距離に応じて変化する。したがって、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの中間値や最大値、最小値を画像変化量として算出するような処理を定義しておく。なお、動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておくこととしてもよい。
【0030】
なお、パターン分類毎に定義しておく分類別画像変化検出処理は、上記のように動きベクトルの大きさに基づく1つのパラメータ値を用いた処理に限定されるものではなく、動きベクトルの大きさに基づく複数のパラメータ値を用い、これらの値を統合して画像変化量を算出する処理とすることもできる。さらに、動きベクトルの大きさに基づくパラメータ値だけでなく、動きベクトルの向きに基づくパラメータ値等を用いることもできる。例えば、各動きベクトルの大きさの平均値や中間値、最大値、最小値、分散値、各動きベクトルの向きの分散値、各動きベクトルの信頼度等の各値を適宜組み合わせ、これらの値を統合して画像変化量を算出するような処理を分類別画像変化検出処理として定義しておくこととしてもよい。
【0031】
あるいは、各動きベクトルの信頼度を動きパターンに基づくパラメータ値として用い、この値を加味して画像変化量を算出するようにしてもよく、より信頼性の高い画像変化の検出が実現できる。具体的には、各動きベクトルの大きさや向きに対し、その信頼度を用いた重み付けを行う。例えば、動きベクトルの大きさをもとに重み付き平均値や重み付き中間値、重み付き最大値、重み付き最小値等の値を算出し、あるいは動きベクトルの向きをもとに重み付き分散値等の値を算出して、画像変化量を算出してもよい。
【0032】
続いて、分類別シーン変化検出部55が、検出した対象分類内における画像間の画像変化をもとに、対象分類内におけるシーン変化を検出する(ステップa11)。具体的には、分類別シーン変化検出部55は、先ず、対象分類に分類された各画像の画像変化量にそれぞれ予め対象分類について設定される重み情報を統合する。
【0033】
ここで、重み情報は、例えば各パターン分類に対して個別に設定される重み係数であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する重み係数と比較して、「平行移動」について設定する重み係数を大きく設定する。これは、各動きパターンを比較すると、「平行移動」では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比較してその視野内の撮像対象が視野から外れる速さが速く、隣接する画像間での撮像対象の見え方の変化が小さいことに基づく。
【0034】
図6は、動きパターンが「平行移動」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O11の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。そして、図7は、動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O13の画像間での見え方の変化を示している。また、各画像において、その画像内で検出された動きベクトル群を示している。さらに、図8は、動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する4枚の画像(a)〜(d)の一例を示す模式図であり、画像中に映る撮像対象O15の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。
【0035】
図6〜図8に示すように、視野が「平行移動」の動きをしている場合と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」をしている場合とでは、動きベクトルの大きさがほぼ等しい場合であっても、各画像に映る撮像対象の見え方の変化は異なり、撮像対象が視野から消失する速さも異なる。例えば、図6に示す視野が「平行移動」の動きをしている場合の撮像対象O11の見え方の変化は、図7に示す「撮像対象が遠ざかる動き」をしている場合の撮像対象O13の見え方の変化や、図8に示す「撮像対象が近づく動き」をしている場合の撮像対象O15の見え方の変化と比べて速く、撮像対象O11が視野から消失する速さも速い。
【0036】
すなわち、図6に示す「平行移動」の例では、3枚目(c)で撮像対象O11の一部が視野から外れており、4枚目(d)では完全に視野から外れて消失している。これに対し、図7に示す「撮像対象が遠ざかる動き」の例では、図6の場合と動きベクトルの大きさがほぼ同じにも関わらず、4枚目(d)の画像中に撮像対象O13が映っており、視野から外れていない。したがって、「平行移動」に分類された画像の画像変化量と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像の画像変化量とが同程度の場合であっても、「平行移動」の方が撮像対象の動きが大きい。図8の場合も同様であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比べて「平行移動」の重要度が高いといえる。
【0037】
そこで、実施の形態1では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の重み係数に対して「平行移動」の重み係数を大きく設定する。そして、この重み係数を画像変化量に統合する。これによって、パターン分類毎の撮像対象の見え方の変化量の違いに基づく重要度を加味した画像変化の検出が実現できる。また、画像変化量にその画像のパターン分類に応じた重み情報を統合することによって、各パターン分類の順序が動きパターンのみによって決定されず、重み係数により混合的に統合されるため、パターン分類間でのより適切な順序付けが実現できる。
【0038】
具体的には、分類別シーン変化検出部55は、次式(1)に従って重み情報を統合した画像変化量を算出し、画像間の画像変化として検出する。ここで、ImgMov(j)は画像列のj番目の画像について算出された画像変化量を表し、WImgMov(k)はk番目のパターン分類に重み情報として設定された重み係数を表す。
【数1】
【0039】
そして、分類別シーン変化検出部55は、重み情報を統合した画像変化量が予め対象分類について設定されるシーン変化の検出条件を満たす画像(シーン変化画像)を抽出し、対象分類内におけるシーン変化として検出する。ここで、検出条件は、例えばパターン分類毎に個別の閾値を定義したものであり、分類別シーン変化検出部55は、対象分類に分類された各画像の画像変化量を対象分類について定義された閾値を用いて閾値処理し、この閾値よりも画像変化量が大きい画像をシーン変化画像として抽出する。閾値は、例えば、上記したパターン分類の重要度をもとに、重要度の高いパターン分類の閾値より、重要度の低いパターン分類の閾値を大きく設定する。
【0040】
なお、ここでは検出条件としてパターン分類毎の閾値を定義しておき、この閾値を用いて画像変化量を閾値処理する場合について説明したが、これに限定されるものではない。例えば、検出条件としてパターン分類毎のシーン変化数を定義しておくこととしてもよい。シーン変化数は、例えば、パターン分類の重要度をもとに、重要度の高いパターン分類のシーン変化数より、重要度の低いパターン分類のシーン変化数を大きく設定する。そして、分類別シーン変化検出部55が、対象分類に分類された画像のうち、このシーン変化数の画像を画像変化量の大きいものから順にシーン変化画像として抽出し、シーン変化として検出することとしてもよい。
【0041】
全ての動きパターンのパターン分類についてループAの処理を実行したならば、続いて、全体シーン変化検出部56が、パターン分類毎にステップa11で検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化位置を検出する(ステップa15)。
【0042】
図9は、シーン変化画像が検出された画像列の一例を示す模式図である。以上のようにして処理された画像列は、図9に示すように、シーン変化画像をシーン変化として複数のショットに分割されたことになる。そして、実際に表示部3において表示を行う際には、ショットの最初のシーン変化画像を順次表示していくことになる。この表示において、画像間の画像変化が小さい画像は表示されない。すなわち、類似度の大きな画像は表示が省略される。したがって、画像列を構成する画像の効率的な表示が実現できる。
【0043】
また、実施の形態1によれば、予め画像列の各画像を動きパターンで分類したパターン分類毎に画像間の画像変化を検出することができる。より具体的には、予めパターン分類毎に分類別画像変化検出処理を定義しておき、そのパターン分類に応じた分類別画像変化検出処理を適用して画像間の画像変化をパターン分類毎に検出することができる。そして、このようにして各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。具体的には、各画像について算出した画像変化量に、そのパターン分類に応じた重み情報を統合した上で、そのパターン分類に応じた検出条件に従ってシーン変化検出画像を抽出することによって、各パターン分類内におけるシーン変化を検出することができる。したがって、パターン分類に応じた画像間の画像変化の検出を行い、さらに、パターン分類に応じたシーン変化の検出を行うことができるので、シーン変化の検出に要する処理時間を増大させることなく、またパターン分類毎に画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。
【0044】
さらに、「平行移動」と「撮像対象が遠ざかる動き」や「撮像対象が近づく動き」とでは、見かけ上動きベクトルの大きさが同じであっても、実際の動き量が異なる可能性が高い。実施の形態1によれば、動きベクトルのパターン分類毎に異なる重み情報や検出条件を適用することによって、精度の高いシーン変化の検出を行うことが可能となる。
【0045】
なお、上記した説明では、撮像順が隣接する画像間で検出した動きベクトルをもとに画像間の画像変化を検出することとしたが、これに限定されない。例えば、従来から一般的に知られている画像間の相関やSSD(画素の差の二乗和)、SAD(画素の差の絶対値和)等の画像特徴を用いて画像間の画像変化を検出することとしてもよい。
【0046】
また、動きベクトルの検出は、特に隣接する2枚の画像間の処理に限定されるものではない。例えば、2枚以上の画像間の画像特徴を算出し、これらの組み合わせによる統計的演算を用いて画像間の画像変化を検出することとしてもよい。例えば、数枚の隣接する各画像について、隣接する他の画像との間の動きベクトルや正規化相互相関、SSD、SAD等の画像特徴をそれぞれ算出する。そして、各値の平均値をもとに画像間の画像変化を検出することとしてもよい。
【0047】
また、連続する画像列においては、類似する画像が隣接する場合がある。このような場合には、ある1枚の画像について行った処理結果を隣接する複数の画像に対して適用することも可能である。この手法を適用する画像枚数を決定するための手法としては、簡易には、予め一定の枚数を決定しておく方法とすればよい。また、画像間の類似度を所定の閾値との比較により判定して、適応的に決定するようにしてもよい。これによれば、画像列を構成する全画像を処理する必要がなく、処理時間の短縮を図ることができる。
【0048】
(実施の形態2)
次に、実施の形態2について説明する。実施の形態1では、画像列を構成する各画像「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の各動きパターンに分類し、パターン分類毎に画像間の画像変化やシーン変化を検出することとした。しかしながら、実際の画像には、画像間でシーンが完全に変化し、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」等の動きパターンに分類できない画像が含まれる。実施の形態2では、このような画像を新たな分類(以下、「シーンチェンジ」と称す。)に分類することとし、これらの画像について、実施の形態1で説明した動きベクトルに基づく画像間の画像変化の検出処理とは別の処理を適用する。
【0049】
図10は、実施の形態2のシーン変化検出装置が行う処理手順を示すフローチャートである。なお、図10において、実施の形態1と同様の処理工程には同一の符号を付している。
【0050】
図10に示すように、ループAの処理を実行した後、動きベクトル分類処理部53が、「平行移動」「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」のいずれにも分類されない画像の有無を判定する。ここで、動きパターンに分類されない画像とは、例えば、動きベクトル算出時にこの画像内から探索対象領域に対応する領域として探索された領域数が少ない場合や、得られた動きベクトルの向きに統一性がない場合等、検出結果の信頼性が低いと考えられる画像である。そして、このような画像は、画像間の画像変化が大きく、シーンが完全に変化する画像と推定できる。動きパターンに分類されない画像がなければ(ステップb14:No)、ステップa15に移行する。そして、全体シーン変化検出部56が、ステップa11でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する。
【0051】
一方、動きベクトル分類処理部53は、動きパターンに分類されない画像がある場合には(ステップb14:Yes)、この動きパターンに分類されない画像をシーンチェンジに分類する。そして、分類別画像変化検出部54が、このシーンチェンジの分類内における画像間の画像変化を、動きベクトルに基づく画像変化検出の手法とは別の手法を用いて検出する(ステップb17)。具体的には、画像間の相関やSSD、SAD等の画像特徴を用いて画像間の画像変化を検出する。
【0052】
続いて、分類別シーン変化検出部55が、ステップa11と同様にして、シーンチェンジの分類内におけるシーン変化を検出する(ステップb19)。具体的には、シーンチェンジについての重み情報および検出条件を予め設定しておく。そして、分類別シーン変化検出部55は、先ず、シーンチェンジに分類された各画像の画像変化量に、それぞれシーンチェンジの重み情報を統合した上で、シーンチェンジについて設定された検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。例えば、上記のように、シーンチェンジの画像は画像間の画像変化が大きいと推定される画像であるので、重み情報として、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」よりも大きい重み係数を設定しておく。また、検出条件として閾値を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する閾値よりも閾値の値を小さく設定しておく。検出条件としてシーン変化数を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定するシーン変化数よりも大きい値を設定しておく。
【0053】
そして、全体シーン変化検出部56が、ステップb19でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する(ステップb21)。このとき、上記のように、パターン分類された画像の画像変化は動きベクトルが正しく検出できており、パターン分類されない画像と比較して画像変化が小さいと考えられるので、パターン分類された画像の画像変化の最大値と、パターン分類できていない画像群の画像変化の最小値の境界が連続になるように調整することも可能である。
【0054】
この実施の形態2によれば、実施の形態1と同様の効果を奏するとともに、いずれの動きパターンにも分類されないシーンチェンジの画像について、動きベクトルを用いた画像変化検出の手法とは別の手法を用いて画像間の画像変化を検出し、検出した画像間の画像変化をもとにシーン変化を検出することができる。これにより、画像列にパターン分類できない画像が含まれる場合であっても、適切にその画像間の画像変化を求めることが可能となる。したがって、画像列内のシーン変化位置をより適切に検出することができ、検出精度をより向上させることができる。
【0055】
なお、上記した実施の形態1,2のシーン変化検出装置は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態1,2で説明したシーン変化検出装置と同様の機能を有し、シーン変化検出プログラムを実行するコンピュータシステムについて説明する。
【0056】
図11は、実施の形態を適用したコンピュータシステム20の構成を示すシステム構成図であり、図12は、このコンピュータシステム20における本体部210の構成を示すブロック図である。図11に示すように、コンピュータシステム20は、本体部210と、本体部210からの指示によって表示画面221に画像等の情報を表示するためのディスプレイ220と、このコンピュータシステム20に種々の情報を入力するためのキーボード230と、ディスプレイ220の表示画面221上の任意の位置を指定するためのマウス240とを備える。
【0057】
また、このコンピュータシステム20における本体部210は、図12に示すように、CPU211と、RAM212と、ROM213と、ハードディスクドライブ(HDD)214と、CD−ROM260を受け入れるCD−ROMドライブ215と、USBメモリ270を着脱可能に接続するUSBポート216と、ディスプレイ220、キーボード230およびマウス240を接続するI/Oインターフェース217と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース218とを備える。
【0058】
さらに、このコンピュータシステム20には、インターネット等の公衆回線N3に接続するためのモデム250が接続されるとともに、LANインターフェース218およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピュータシステムであるパソコン(PC)281、サーバ282、プリンタ283等が接続される。
【0059】
そして、このコンピュータシステム20は、所定の記憶媒体に記憶されたシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。ここで、所定の記憶媒体とは、CD−ROM260やUSBメモリ270の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピュータシステム20の体腔内に備えられるHDD214やRAM212、ROM213等の「固定用の物理媒体」、モデム250を介して接続される公衆回線N3や、他のコンピュータシステム(PC)281またはサーバ282が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム20によって読み取り可能なシーン変化検出プログラムを記憶するあらゆる記憶媒体を含む。
【0060】
すなわち、シーン変化検出プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム20は、このような記憶媒体からシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。なお、シーン変化検出プログラムは、コンピュータシステム20によって実行されることに限定されるものではなく、他のコンピュータシステム(PC)281またはサーバ282がシーン変化検出プログラムを実行する場合や、これらが協働してシーン変化検出プログラムを実行するような場合にも、本発明を同様に適用することができる。
【0061】
そして、上記した実施の形態1,2のシーン変化検出装置は、例えばカプセル型内視鏡システムに好適に適用できる。図13は、実施の形態1または実施の形態2を適用したシーン変化検出装置39をワークステーションやパソコン等の汎用コンピュータとして備えたカプセル型内視鏡システムを模式的に示す構成図である。図13に示すように、カプセル型内視鏡システムは、シーン変化検出装置39の他、被検体31内部の画像(以下、「体腔内画像」と呼ぶ。)を撮像するカプセル型内視鏡33、カプセル型内視鏡33から無線送信される体腔内画像を受信する受信装置35等を備える。受信装置35とシーン変化検出装置39との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)37が使用され、図1の記憶部4に相当する。
【0062】
カプセル型内視鏡33は、撮像機能や無線機能等を具備するものであり、被検体31の口から飲み込まれて被検体31内部に導入される。そして、カプセル型内視鏡33は、体外に排出されるまでの間に、体腔内を蠕動運動等により移動しながら約0.5秒毎に約60000枚もの画像を撮像し、撮像した体腔内画像を体外に無線送信する。
【0063】
受信装置35は、被検体31内におけるカプセル型内視鏡33の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1〜Anを備える。そして、受信装置35は、各受信用アンテナA1〜Anを介してカプセル型内視鏡33から無線送信される画像データを受信する。この受信装置35は、可搬型記録媒体37の着脱が自在に構成されており、受信した画像データを可搬型記録媒体37に逐次保存する。このようにして、カプセル型内視鏡33が撮像した被検体31内部の体腔内画像は、受信装置35によって撮像順に可搬型記録媒体37に蓄積され、画像列として保存される。
【0064】
そして、シーン変化検出装置39は、可搬型記録媒体37の着脱が自在に構成されており、受信装置35によって受信されて可搬型記録媒体37に保存された体腔内画像の画像列を処理し、LCDやELD等のディスプレイに撮像順に順次表示する。ここで、シーン変化検出装置39は、実施の形態1,2のシーン変化検出装置と同様にして体腔内画像の画像列からシーン変化位置を検出し、シーン変化画像列を生成する。
【0065】
ここで、体腔内におけるカプセル型内視鏡33の移動速度は一定ではなく、撮像される画像の時系列変化は様々である。このため、処理対象の体腔内画像の画像列では、類似する画像が連続するといった事態が発生し得る。一方で、カプセル型内視鏡33が撮像した膨大な枚数の体腔内画像を全て表示すると、医師等の観察者は、約60000枚にも及ぶ膨大な枚数の画像を観察するために多くの時間を費やさなければならず、負担が大きい。以上のことから、各体腔内画像を処理することによって画像列におけるシーン変化位置を検出してシーン変化画像列を生成することは、類似する画像を表示するという冗長度を減少させ、画像列のおおまかな全体像を効率的に観察できるので、観察者の負担を軽減するという観点で有効である。
【0066】
このカプセル型内視鏡システムによれば、カプセル型内視鏡33が撮像した膨大な枚数の体腔内画像の画像列からシーン変化位置を適切に検出することができるので、観察者による観察効率を向上させることができ、効率的な診断支援が実現できる。特にカプセル型内視鏡33が撮像した体腔内画像には、動きパターンに分類できない画像が多く含まれる。このため、実施の形態2で説明したようにパターン分類できない画像について画像間の画像変化を検出することが重要であり、このカプセル型内視鏡システムに実施の形態2のシーン検出装置を適用することによって、シーン変化位置をより適切に検出できる。
【0067】
なお、カプセル型内視鏡が撮像した体腔内画像の画像列を処理する場合以外にも、シーン変化のある画像列からシーン変化位置を検出し、シーン変化の大きい画像を表示する場合に好適に適用できる。
【図面の簡単な説明】
【0068】
【図1】実施の形態1のシーン変化検出装置の機能構成例を示すブロック図である。
【図2】実施の形態1のシーン変化検出装置が行う処理手順を示すフローチャートである。
【図3】動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。
【図4】動きパターンが「撮像対象から遠ざかる動き」にパターン分類される動きベクトル群を示す図である。
【図5】動きパターンが「撮像対象が近づく動き」にパターン分類される動きベクトル群を示す図である。
【図6】動きパターンが「平行移動」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図7】動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図8】動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する4枚の画像の一例を示す模式図である。
【図9】シーン変化画像が検出された画像列の一例を示す模式図である。
【図10】実施の形態2のシーン変化検出装置が行う処理手順を示すフローチャートである。
【図11】実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。
【図12】図11のコンピュータシステムにおける本体部の構成を示すブロック図である。
【図13】シーン変化検出装置を備えたカプセル型内視鏡システムを模式的に示す構成図である。
【符号の説明】
【0069】
1 シーン変化検出装置
2 入力部
3 表示部
4 記憶部
41 シーン変化検出プログラム
5 処理部
51 画像読込部
52 動きベクトル検出部
53 動きベクトル分類処理部
54 分類別画像変化検出部
55 分類別シーン変化検出部
56 全体シーン変化検出部
【特許請求の範囲】
【請求項1】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、
を備えることを特徴とするシーン変化検出装置。
【請求項2】
予め前記パターン分類毎に重み情報が設定されており、
前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化に、対応するパターン分類の重み情報を統合して前記各パターン分類内におけるシーン変化を検出することを特徴とする請求項1に記載のシーン変化検出装置。
【請求項3】
予め前記パターン分類毎に検出条件が設定されており、
前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化が対応するパターン分類の検出条件を満たすか否かによって、前記各パターン分類内におけるシーン変化を検出することを特徴とする請求項1に記載のシーン変化検出装置。
【請求項4】
前記検出条件は、前記パターン分類毎の閾値を定義したものであり、
前記分類別画像変化検出手段は、前記画像内で検出された前記複数の動きベクトルに基づく1つまたは複数のパラメータ値から前記画像の画像変化量を算出し、
前記分類別シーン変化検出手段は、前記各パターン分類内の各画像の前記画像変化量を対応するパターン分類の閾値で閾値処理し、シーン変化画像を抽出することを特徴とする請求項3に記載のシーン変化検出装置。
【請求項5】
前記検出条件は、前記パターン分類毎のシーン変化数を定義したものであり、
前記分類別シーン変化検出手段は、前記各パターン分類内の各画像から、対応するパターン分類のシーン変化数に従ってシーン変化画像を抽出することを特徴とする請求項3に記載のシーン変化検出装置。
【請求項6】
前記重み情報または前記検出条件は、予め前記パターン分類に定められる重要度を加味して設定されることを特徴とする請求項2〜5のいずれか1つに記載のシーン変化検出装置。
【請求項7】
前記パターン分類手段は、前記画像内で検出された前記複数の動きベクトルの統計データまたはばらつきをもとに、前記画像を平行移動、撮像対象が遠ざかる動きまたは撮像対象が近づく動きを含む動きパターンにパターン分類することを特徴とする請求項1〜6のいずれか1つに記載のシーン変化検出装置。
【請求項8】
前記分類別画像変化検出手段は、予め前記パターン分類毎に定義された分類別画像変化検出処理を対応するパターン分類にそれぞれ適用することによって、前記各パターン分類内における画像間の画像変化を検出することを特徴とする請求項1〜7のいずれか1つに記載のシーン変化検出装置。
【請求項9】
前記パターン分類毎に検出されたシーン変化をもとに、前記画像列のシーン変化位置を検出するシーン変化位置検出手段を備えることを特徴とする請求項1〜8のいずれか1つに記載のシーン変化検出装置。
【請求項10】
前記画像列は、被検体の体腔内に導入されるカプセル型内視鏡によって撮像された体腔内画像の画像列であることを特徴とする請求項1〜9のいずれか1つに記載のシーン変化検出装置。
【請求項11】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、
を実行させることを特徴とするシーン変化検出プログラム。
【請求項12】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、
を含むことを特徴とするシーン変化検出方法。
【請求項1】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、
を備えることを特徴とするシーン変化検出装置。
【請求項2】
予め前記パターン分類毎に重み情報が設定されており、
前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化に、対応するパターン分類の重み情報を統合して前記各パターン分類内におけるシーン変化を検出することを特徴とする請求項1に記載のシーン変化検出装置。
【請求項3】
予め前記パターン分類毎に検出条件が設定されており、
前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化が対応するパターン分類の検出条件を満たすか否かによって、前記各パターン分類内におけるシーン変化を検出することを特徴とする請求項1に記載のシーン変化検出装置。
【請求項4】
前記検出条件は、前記パターン分類毎の閾値を定義したものであり、
前記分類別画像変化検出手段は、前記画像内で検出された前記複数の動きベクトルに基づく1つまたは複数のパラメータ値から前記画像の画像変化量を算出し、
前記分類別シーン変化検出手段は、前記各パターン分類内の各画像の前記画像変化量を対応するパターン分類の閾値で閾値処理し、シーン変化画像を抽出することを特徴とする請求項3に記載のシーン変化検出装置。
【請求項5】
前記検出条件は、前記パターン分類毎のシーン変化数を定義したものであり、
前記分類別シーン変化検出手段は、前記各パターン分類内の各画像から、対応するパターン分類のシーン変化数に従ってシーン変化画像を抽出することを特徴とする請求項3に記載のシーン変化検出装置。
【請求項6】
前記重み情報または前記検出条件は、予め前記パターン分類に定められる重要度を加味して設定されることを特徴とする請求項2〜5のいずれか1つに記載のシーン変化検出装置。
【請求項7】
前記パターン分類手段は、前記画像内で検出された前記複数の動きベクトルの統計データまたはばらつきをもとに、前記画像を平行移動、撮像対象が遠ざかる動きまたは撮像対象が近づく動きを含む動きパターンにパターン分類することを特徴とする請求項1〜6のいずれか1つに記載のシーン変化検出装置。
【請求項8】
前記分類別画像変化検出手段は、予め前記パターン分類毎に定義された分類別画像変化検出処理を対応するパターン分類にそれぞれ適用することによって、前記各パターン分類内における画像間の画像変化を検出することを特徴とする請求項1〜7のいずれか1つに記載のシーン変化検出装置。
【請求項9】
前記パターン分類毎に検出されたシーン変化をもとに、前記画像列のシーン変化位置を検出するシーン変化位置検出手段を備えることを特徴とする請求項1〜8のいずれか1つに記載のシーン変化検出装置。
【請求項10】
前記画像列は、被検体の体腔内に導入されるカプセル型内視鏡によって撮像された体腔内画像の画像列であることを特徴とする請求項1〜9のいずれか1つに記載のシーン変化検出装置。
【請求項11】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、
を実行させることを特徴とするシーン変化検出プログラム。
【請求項12】
複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、
前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、
前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、
前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、
前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、
を含むことを特徴とするシーン変化検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−176569(P2010−176569A)
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願番号】特願2009−20703(P2009−20703)
【出願日】平成21年1月30日(2009.1.30)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願日】平成21年1月30日(2009.1.30)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]