説明

画像処理装置

【課題】操作者の負担を軽減することができる画像処理装置を提供する。
【解決手段】被検体P内の撮像によりカプセル内視鏡10で生成された画像データを処理する画像処理部50をフレーム毎に表示する表示エリア71を有する表示部70を備え、画像処理部50は、mフレームの画像データの内、nフレーム目の画像データに含まれる閾値以下の画素値を有する領域を検出する。次いで、検出した穴領域が基準位置と重なる位置へnフレーム目の画像データを移動して表示エリア71に表示する位置を調整する。更に穴領域の面積を求め、求めた穴面積が基準面積と同じ面積になるようにnフレーム目の画像データを拡大又は縮小して表示エリア71に表示するサイズを調整する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、被検体内を画像化し診断を行うカプセル内視鏡によって得られた画像データを処理する画像処理装置に関する。
【背景技術】
【0002】
被検体内の消化器等の検査や診断を行うカプセル内視鏡及び画像処理装置を備えたカプセル内視鏡システムが知られている。このカプセル内視鏡システムでは、飲み込まれたカプセル内視鏡が被検体内にある数時間の間に所定のフレームレートで撮像を行い、多数フレームの画像データを生成する。また、画像処理装置は、カプセル内視鏡で生成された画像データを処理部で処理した後、表示部に表示する。
【0003】
ところで、一般的な小腸の検査の場合、カプセル内視鏡が小腸を通過するのに30〜40分かかる。このため、カプセル内視鏡システムを操作する医師等の操作者は、多数フレームの画像データをフレーム毎に表示部に表示させ、動画像データを早送りしながら観察を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−230906号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、カプセル内視鏡が複雑な経路を有する小腸内を蠕動運動で揺れながら移動するため、表示部に表示される画像データがぶれて見える。このため、操作者に多大な負担がかかる問題がある。
【0006】
実施形態は、上記問題点を解決するためになされたもので、操作者の負担を軽減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記問題を解決するために、実施形態のカプセル内視鏡の画像処理装置は、被検体内の撮像によりカプセル内視鏡で生成された複数フレームの画像データを処理する画像処理部と、前記画像処理部で処理された画像データをフレーム毎に表示する表示エリアを有する表示部とを備え、前記画像処理部は、前記複数フレームの画像データの内、nフレーム目(nは1以上の整数)の画像データに含まれる予め設定された閾値以下の画素値を有する領域を検出する領域検出部と、前記領域が予め設定された位置と重なる位置へ前記nフレーム目の画像データを移動して、前記表示エリアに表示する位置を調整する位置調整部と、前記領域の面積を求め、求めた面積が予め設定された面積と同じ面積になるように前記nフレーム目の画像データを拡大又は縮小して、前記表示エリアに表示するサイズを調整するサイズ調整部とを有することを特徴とする。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るカプセル内視鏡システムの構成を示す図。
【図2】実施形態に係るカプセル内視鏡、受信装置、及び画像処理装置の構成を示すブロック図。
【図3】実施形態に係る画像処理部の構成を示すブロック図。
【図4】実施形態に係るカプセル内視鏡システムの動作を示すフローチャート。
【図5】実施形態に係る画像記憶部から読み出されたnフレーム目の画像データの一例を示す図。
【図6】実施形態に係る位置を調整した画像データの一例を示す図。
【図7】実施形態に係るサイズを調整した画像データの一例を示す図。
【図8】実施形態に係る基準角度と異なる画像データの一例を示す図。
【図9】実施形態に係る各基準処理が行われた画像データが表示部に表示されたときに表示エリアに生じる空白エリアを示す図。
【図10】実施形態に係るnフレーム目の画像データの前に生成された画像データの一例を示す図。
【図11】実施形態に係るnフレーム目の画像データの補整を説明するための図。
【図12】実施形態に係る補整した画像データの一例を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照して実施形態を説明する。
【0010】
図1は、カプセル内視鏡システムの構成を示した図である。このカプセル内視鏡システム100は、被検体Pにより飲み込まれ、被検体P内で例えば2fps(Frames Per Second)等の所定のフレームレートで撮像するカプセル内視鏡10と、被検体Pに取り付けられ、被検体P内の撮像によりカプセル内視鏡10で生成された複数フレームの画像データを記録する受信装置20と、受信装置20により記録された複数フレームの画像データの処理及び表示を行う画像処理装置30とを備えている。
【0011】
図2は、カプセル内視鏡10、受信装置20、及び画像処理装置30の構成を示したブロック図である。
カプセル内視鏡10は、被検体P内の消化器内壁を照射する複数の光源11と、照射された消化器内壁を撮像するためのレンズ12と、光源11から照射された光が消化器内壁で反射され、レンズ12を介して入射する光を検出して電気信号に変換する例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子を有する撮像部13と、被検体Pの消化器内におけるカプセイ内視鏡10の位置及び角度を検出する例えば加速度センサを有する位置検出部14とを備えている。
【0012】
また、カプセル内視鏡10は、撮像部13で生成される複数フレームの画像データ並びにこの画像データが生成されたときの位置検出部14で検出される位置及び角度の情報を受信装置20へ無線送信する送信部15と、光源11、撮像部13、及び送信部15を制御する制御部16と、光源11、撮像部13、位置検出部14、送信部15、及び制御部16に電力を供給するバッテリ17と、光源11、レンズ12、撮像部13、位置検出部14、送信部15、制御部16、及びバッテリ17を封入するカプセル18とを備えている。
【0013】
受信装置20は、被検体Pの体表に取り付けられ、カプセル内視鏡10の送信部15から無線送信される複数フレームの画像データ並びにこの画像データが生成されたときの位位置及び角度の情報を受信する複数のアンテナ21と、アンテナ21で受信した複数フレームの画像データ並びに位置及び角度の情報を記録するデータ記録部22とを備えている。
【0014】
画像処理装置30は、受信装置20のデータ記録部22に記録された複数フレームの画像データ並びに位置及び角度の情報を保存する画像記憶部40と、画像記憶部40に保存された複数フレームの画像データを処理する画像処理部50と、画像記憶部40に保存された画像データや画像処理部50で処理された画像データを再生する再生部60と、再生部60により再生される画像データをフレーム毎に表示する表示エリア71を有する表示部70とを備えている。
【0015】
また、画像処理装置30は、画像処理部50で処理される画像データの表示条件を設定するための入力や、処理を行う画像データの処理範囲を指定する入力等を行う操作部80と、操作部80により入力された入力情報に基づいて画像記憶部40、画像処理部50、及び再生部60を統括して制御する制御部90とを備えている。
【0016】
図3は、画像処理部50の構成を示したブロック図である。この画像処理部50は、領域検出部51、位置調整部52、サイズ調整部53、角度調整部54、及び補整部55を備えている。そして、操作部80からの入力により指定された開始フレームと終了フレーム間の複数フレームの画像データを、操作部80からの入力により設定された表示条件及びカプセル内視鏡10の位置検出部14で検出された位置及び角度の情報に基づいて、表示部70の表示エリア71に表示するための処理を行う。
【0017】
領域検出部51は、画像記憶部40に保存された開始フレームと終了フレーム間の各フレームの画像データを時系列順に読み出す。そして、読み出したnフレーム目(nは1以上の整数)の画像データに含まれ、被検体Pの消化器内の光源11からの光量が少ないカプセル内視鏡10の遠方部分に当たる領域(穴領域)を、表示条件として設定された閾値に基づいて検出する。ここでは、設定された閾値以下の画素値を有す領域を輝度の低い穴領域として検出する。
【0018】
位置調整部52は、領域検出部51により検出された穴領域が表示条件として設定された位置(基準位置)と重なる位置へnフレーム目の画像データを移動して、表示エリア71に表示する位置を調整する。ここでは、nフレーム目の画像データの穴領域の中心を求め、求めた中心が基準位置である例えば表示エリア71の中心に当たる位置へnフレーム目の画像データを移動する。
【0019】
サイズ調整部53は、領域検出部51により検出された穴領域の大きさを求め、求めた大きさに基づいてnフレーム目の画像データを拡大又は縮小して、表示エリア71に表示するサイズを調整する。ここでは、穴領域の面積を求め、求めた穴領域の面積が表示条件として設定された基準面積と同じ面積になるようにnフレーム目の画像データを拡大又は縮小する。
【0020】
角度調整部54は、nフレーム目の画像データが生成されたときの角度の情報に基づいて、nフレーム目の画像データを表示条件として設定された基準角度と同じ角度になるように回転して、表示エリア71に表示する角度を調整する。
【0021】
補整部55は、カプセル内視鏡10により撮像が行われたときのフレームレート、nフレーム目の画像データが生成されたときの位置及び角度、位置調整部52により位置調整されたときの移動方向及び移動量、サイズ調整部53によりサイズ調整されたときの拡大率又は縮小率、並びに角度調整部54により角度調整されたときの回転角度の情報に基づいて、表示エリア71に表示する位置調整、サイズ調整、及び角度調整による各基準処理が行われたnフレーム目の画像データを補整する。ここでは、各基準処理が行われたnフレーム目の画像データを表示エリア71に表示したときに空白となる空白エリアを、nフレーム目の画像データよりも前に生成された画像データを用いて補う。
【0022】
以下、図1乃至図12を参照して、カプセル内視鏡システム100の動作について説明する。
図4は、カプセル内視鏡システム100の動作を示したフローチャートである。被検体Pの消化器の例えば小腸内の検査を行うために、画像処理装置30の操作部80からの入力により閾値、基準面積、基準位置、基準角度等の表示条件が設定された後、受信装置20が取り付けられた被検体Pによりカプセル内視鏡10が飲み込まれると、カプセル内視鏡システム100は動作を開始する(ステップS1)。
【0023】
カプセル内視鏡10の撮像部13は、光源11から照射され、被検体Pの消化器内壁を反射してレンズ12を介して入射する光を検出し、所定のフレームレートで画像データを生成する。位置検出部14は、撮像部13で各フレームの画像データが生成されたときのカプセル内視鏡10の位置及び角度を検出する。送信部15は、撮像部13で生成された画像データ並びにこの画像データが生成されたときの位置検出部14で検出された位置及び角度の情報から成る画像情報を送信する。受信装置20のデータ記録部22は、送信部15から送信され、アンテナ21で受信した画像情報を記録する。
【0024】
データ記録部22に記録された後、操作部80から画像情報を保存する入力が行われると、画像記憶部40は、データ記録部22に記録された被検体Pの全ての画像情報を保存する。次いで、画像記憶部40に保存された画像情報を再生表示させる操作が操作部80から行われると、再生部60は、画像記憶部40から画像情報に含まれる複数フレームの画像データを時系列順にフレーム毎に読み出し、読み出した画像データを動画像データとして表示部70に出力する。表示部70は、再生部60から出力された動画像データを表示する。
【0025】
ここで、表示部70に表示された動画像データを観察するカプセル内視鏡システム100の操作者により、被検体Pの例えば小腸内を進行しているカプセル内視鏡10の撮像により生成された画像データの処理を行うために、カプセル内視鏡10が例えば十二指腸から小腸へ移った直後の画像データを開始フレームとし、小腸から大腸へ移る直前の画像データを終了フレームとする処理範囲を指定する入力が操作部80から行われる。
【0026】
この入力に応じて、画像処理部50は指定された処理範囲のmフレームの画像データの処理を行う。領域検出部51は、指定された処理範囲のmフレームの内、図5に示すように、nフレーム目(1≦n≦m)の表示エリア71に表示されるサイズの画像データ61を含む画像情報を読み出す(ステップS2)。
【0027】
次に、操作部80から画像処理を行う入力が行われると、領域検出部51は、画像データ61に含まれる表示条件として設定された閾値以下の輝度の低い画素値を有する画素及びこの画素と隣り合う閾値以下の画素値を有する画素を逐次抽出する。そして、図5に示すように、抽出した領域を穴領域611として検出する。(図4のステップS3)。
【0028】
このように、mフレームの画像データを動画再生したときに、各フレーム目の画像データに含まれる穴領域の位置、サイズ、及び角度等が異なることにより、動画像データがぶれているように見える原因となる穴領域を検出することができる。
【0029】
位置調整部52は、図5に示すように、画像データ61における穴領域611の中心C1を求める。そして、図6に示すように、中心C1が表示条件として設定された基準位置である例えば表示エリア71の中心C0に当たる位置へ画像データ61を移動することにより、表示エリア71に表示する位置を調整する(図4のステップS4)。
【0030】
このように、位置を調整することにより、表示エリア71の一定の位置に穴領域の表示が可能な画像データを得ることができる。
【0031】
サイズ調整部53は、画像データ61の穴領域611の面積A1を求め、求めた面積A1が表示条件として設定された基準面積と同じ面積になるように画像データ61を拡大又は縮小して、表示エリア71に表示するサイズを調整する(図4のステップS5)。
【0032】
図7は、サイズを調整した画像データの一例を示した図である。この画像データ61aは、図5及び図6に示した画像データ61と相似形を成し、穴領域611が基準面積と同じ面積になるように画像データ61を例えば縮小することにより得られた画像データである。そして、穴領域611に対応する基準面積と同じ面積を有する穴領域611aを含んでいる。
【0033】
このように、サイズを調整することにより、表示エリア71に一定のサイズで穴領域の表示が可能な画像データを得ることができる。
【0034】
なお、表示エリア71に表示するnフレーム目の画像データのサイズを調整した後に、表示エリア71に表示するnフレーム目の画像データの位置を調整するように実施してもよい。
【0035】
角度調整部54は、nフレーム目の画像データが生成されたときの角度θ1の情報に基づいて、サイズ調整部53によりサイズ調整された画像データ61aを表示条件として設定された基準角度と同じ角度になるように回転して、表示エリア71に表示する角度を調整する(図4のステップS6)。
【0036】
なお、nフレーム目の画像データの位置調整又はサイズ調整の前に、nフレーム目の画像データの角度調整を実施するようにしてもよい。
【0037】
ここでは、角度θ1は、例えば基準角度と同じ角度であるとする。なお、図8に示すように、基準角度に対して矢印R1方向へ角度θ2回転した画像データ62である場合、画像データ62の穴領域621の中心C2を回転軸としてR1方向とは反対方向へ角度θ2回転することにより角度を調整する。
【0038】
このように、角度を調整することにより、表示エリア71に一定の角度で穴領域の表示が可能な画像データを得ることができる。
【0039】
位置調整、サイズ調整、及び角度調整による各基準処理が行われた画像データ61aを表示部70に表示すると、図9に示すように、各基準処理が行われた画像データ61aと重複しないため空白となる空白エリア711が表示エリア71に生じる。
【0040】
補整部55は、フレームレート、nフレーム目の画像データが生成されたときの位置及び角度、位置調整されたときの移動方向及び移動量、サイズ調整されたときの縮小率、並びに角度調整されたときの回転角度の情報に基づいて、空白エリア711をnフレーム目の画像データの前に生成された画像データを用いて補うことにより、表示エリア71に表示する各基準処理が行われたnフレーム目の画像データを補整する(図4のステップS7)。
【0041】
図10は、nフレーム目の画像データの前に生成された画像データの一例を示した図である。この画像データ63は、処理条件として入力された閾値の情報に基づいて検出される領域に当たる穴領域631を含み、フレームレート、nフレーム目の画像データが生成されたときの位置及び角度、位置調整されたときの移動方向及び移動量、サイズ調整されたときの縮小率、並びに角度調整されたときの回転角度の情報に基づいて、画像記憶部40から読み出された画像データである。
【0042】
そして、画像データ63は、図5に示した画像データ61が被検体P内における画像データ63が生成されたときの位置から穴領域631に対応する方向へカプセル内視鏡10が進行した位置で生成された画像データであり、図9に示した各基準処理が行われた画像データ61aの周辺の空白エリア711に当たる領域のデータを含んでいる。
【0043】
補整部55は、図11(a)に示すように、画像データ63を拡大した画像データ63aを各基準処理が行われた画像データ61aの位置に合わせて移動配置する。次いで、図11(b)に示すように、各基準処理が行われた画像データ61aの表示エリア71と重複する領域61a1及び移動配置した画像データ63aの空白エリア711と重複する領域63a1を切り取る。更に、切り取った領域61a1及び重複する領域63a1を合成することにより、図12に示すように、画像データ64を生成する。この補整した画像データ64を画像記憶部40に保存する。
【0044】
このように、補整することにより、表示エリア71の空白エリア711に亘って表示可能な画像データ64を得ることができる。
【0045】
画像処理部50が1フレーム目からmフレーム目までの各画像データを処理し、処理した全ての画像データ(処理画像データ)を画像記憶部40に保存した後、操作部80から処理画像データの動画再生を指示する入力が行われると、再生部60は、処理画像データをフレーム毎に順次画像記憶部40から読み出し、読み出した各フレームの画像データを表示部70に出力する。表示部70は、再生部60から出力された処理画像データの動画を表示エリア71に再生表示する。
【0046】
また、操作部80から早送り再生の入力が行われると、再生部60は、処理画像データを表示部70の表示エリア71に早送り再生表示する。また、操作部80からスロー再生の入力が行われると、処理画像データをスロー再生表示する。また、コマ送り再生の入力が行われると、処理画像データを例えば1フレーム毎にコマ送りして再生表示する。
【0047】
このように、処理画像データを表示部70に再生表示することにより、処理画像データの各フレームの画像データに含まれる穴領域を、表示エリア71の一定の位置に表示することができる。また、前記穴領域を一定のサイズで表示エリア71に表示することができる。更に、前記穴領域を一定の角度で表示エリア71に表示することができる。更にまた、処理画像データの空白部分を含まない各フレームの画像データを表示エリア71に表示することができる。これにより、処理画像データの各フレームの画像データが滑らかに連続して繋がって表示エリア71に表示されるため、表示部70に表示された処理画像データを観察する操作者の負担を軽減することができる。
【0048】
そして、表示部70に表示された処理画像データの観察が終了し、再生表示終了の入力が行われると、制御部90が動作の停止を指示することにより、カプセル内視鏡システム100は、動作を終了する(図4のステップS8)。
【0049】
以上述べた実施形態によれば、被検体P内の撮像によりカプセル内視鏡10で生成された複数フレームの画像データを、表示部70の表示エリア71に表示するための処理を行う領域検出部51、位置調整部52、サイズ調整部53、角度調整部54、及び補整部55を設け、mフレームの画像データの内、nフレーム目の画像データに含まれる穴領域を領域検出部51により検出することができる。
【0050】
そして、検出した穴領域が表示条件として設定された基準位置と重なる位置へnフレーム目の画像データを移動して、表示エリア71に表示する位置を位置調整部52により調整することができる。これにより、表示エリア71の一定の位置に穴領域の表示が可能な画像データを得ることができる。
【0051】
また、穴領域の面積を求め、求めた面積が表示条件として設定された基準面積と同じ面積になるようにnフレーム目の画像データを拡大又は縮小して、表示エリア71に表示するサイズを調整することができる。これにより、表示エリア71に一定のサイズで穴領域の表示が可能な画像データを得ることができる。
【0052】
更に、nフレーム目の画像データが生成されたときの角度の情報に基づいて、nフレーム目の画像データを表示条件として設定された基準角度と同じ角度になるように回転することにより、表示エリア71に表示する角度を調整することができる。これにより、表示エリア71に一定の角度で穴領域の表示が可能な画像データを得ることができる。
【0053】
更にまた、フレームレート、nフレーム目の画像データが生成されたときの位置及び角度、位置調整されたときの移動方向及び移動量、サイズ調整されたときの拡大率又は縮小率、並びに角度調整されたときの回転角度の情報に基づいて、各基準処理が行われたnフレーム目の画像データを表示エリア71に表示したときに空白となる空白エリアを、nフレーム目の画像データよりも前に生成された画像データを用いて補うことにより、各基準処理が行われたnフレーム目の画像データを補整することができる。これにより、表示エリア71の空白エリア711に亘って表示可能な画像データ64を得ることができる。
【0054】
以上により、処理画像データを表示部70に再生表示したとき、処理画像データの各フレームの画像データが滑らかに連続して繋がって表示エリア71に表示されるため、操作者の負担を軽減することができる。
【0055】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0056】
10 カプセル内視鏡
30 画像処理装置
40 画像記憶部
50 画像処理部
51 領域検出部
52 位置調整部
53 サイズ調整部
54 角度調整部
55 補整部
60 再生部
70 表示部
71 表示エリア
80 操作部
90 制御部
100 カプセル内視鏡システム

【特許請求の範囲】
【請求項1】
被検体内の撮像によりカプセル内視鏡で生成された複数フレームの画像データを処理する画像処理部と、
前記画像処理部で処理された画像データをフレーム毎に表示する表示エリアを有する表示部とを備え、
前記画像処理部は、
前記複数フレームの画像データの内、nフレーム目(nは1以上の整数)の画像データに含まれる領域を、予め設定された閾値に基づいて検出する領域検出部と、
前記領域が予め設定された位置と重なる位置へ前記nフレーム目の画像データを移動して、前記表示エリアに表示する位置を調整する位置調整部と、
前記領域の大きさを求め、求めた大きさに基づいて前記nフレーム目の画像データを拡大又は縮小して、前記表示エリアに表示するサイズを調整するサイズ調整部とを
有することを特徴とする画像処理装置。
【請求項2】
前記領域検出部は、前記nフレーム目の画像データに含まれる前記閾値以下の画素値を有す領域を検出し、
前記サイズ調整部は、前記領域の面積を求め、求めた面積が予め設定された面積と同じ面積になるように前記nフレーム目の画像データを拡大又は縮小することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記nフレーム目の画像データが生成されたときの前記カプセル内視鏡により検出された角度の情報に基づいて、前記nフレーム目の画像データを予め設定された角度と同じ角度になるように回転して、前記表示エリアに表示する角度を調整する角度調整部を有することを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記画像処理部は、前記位置調整部、前記サイズ調整部、及び前記角度調整部により各処理が行われた前記nフレーム目の画像データを補整する補整部を有し、
前記補整部は、前記nフレーム目の画像データが生成されたときの前記カプセル内視鏡の位置及び角度、前記位置調整部により位置調整されたときの移動方向及び移動量、前記サイズ調整部によりサイズ調整されたときの拡大率又は縮小率、並びに前記角度調整部により角度調整されたときの回転角度の情報に基づいて、各処理が行われた前記nフレーム目の画像データを前記表示エリアに表示したときに空白となる空白エリアを、前記nフレーム目の画像データの前に生成された画像データを用いて補うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記表示部は、前記補整部により補整された画像データを再生表示することを特徴とする請求項4に記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−217647(P2012−217647A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−86709(P2011−86709)
【出願日】平成23年4月8日(2011.4.8)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】