医用画像表示装置
【課題】読影に要する読影時間及び読影者の労力的な負担を減らす。
【解決手段】医用画像表示装置４は、器官内撮像装置の一例であるカプセル内視鏡２により撮像された複数の画像と、画像ごとのカプセル内視鏡２の撮像位置及び撮像姿勢を取得する取得部４ｃと、器官をその延伸方向に沿って複数の領域に分割する領域分割部１３と、画像ごとにカプセル内視鏡２の撮像位置及び撮像姿勢を用いて器官に対する画像の位置を決定し、複数の領域に対して複数の画像を分類する画像分類部１４と、画像ごとに画像の特徴量を抽出し、領域ごとに画像の特徴量に応じて領域内の各画像の優先度を決定する優先度決定部１５と、領域ごとに領域内の各画像の優先度に応じて領域内の複数の画像を並べた表示画像を生成する画像生成部１６と、その分布画像を表示する表示部４ｅとを備える。
【解決手段】医用画像表示装置４は、器官内撮像装置の一例であるカプセル内視鏡２により撮像された複数の画像と、画像ごとのカプセル内視鏡２の撮像位置及び撮像姿勢を取得する取得部４ｃと、器官をその延伸方向に沿って複数の領域に分割する領域分割部１３と、画像ごとにカプセル内視鏡２の撮像位置及び撮像姿勢を用いて器官に対する画像の位置を決定し、複数の領域に対して複数の画像を分類する画像分類部１４と、画像ごとに画像の特徴量を抽出し、領域ごとに画像の特徴量に応じて領域内の各画像の優先度を決定する優先度決定部１５と、領域ごとに領域内の各画像の優先度に応じて領域内の複数の画像を並べた表示画像を生成する画像生成部１６と、その分布画像を表示する表示部４ｅとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像表示装置に関し、例えば、カプセル内視鏡により撮像された医用画像を表示する医用画像表示装置に関する。
【背景技術】
【０００２】
近年、管状の器官の一例である消化管を対象としたカプセル内視鏡が実用化されている。このカプセル内視鏡は、主に、体腔内の画像（医用画像）を撮像するＣＣＤカメラなどの撮像部や体腔内部を明るくするＬＥＤなどの照明部、撮影した画像情報を体外の受信装置に送るための送信部、これらの各部に電力を供給するボタン電池などの電源部を備えている。
【０００３】
このようなカプセル内視境は、被験者に経口投与されてから各消化管の主に蠕動運動により肛門から自然に排出されるまで、約８時間から１０時間の間に数枚／秒の体腔内画像を撮影する。例えば、１秒間に２枚の画像を８時間撮影したとすると、５万７千６００枚もの画像が一回の検査で撮像されることになる。
【０００４】
このように一回の検査で取得される画像枚数は大量であり、今後さらに増える傾向にある。このため、読影者の負担は今以上に大きくなることから、読影を支援する表示装置及びソフトの開発が行われている。例えば、読影の操作性及び効率の向上を目的に、時系列で撮像した内視鏡画像から、内視鏡の位置に基づいた診断画像を生成する方法、あるいは、内視鏡画像を領域分割して変形し、その変形画像を二次元や三次元のモデル上に貼り付けて診断画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２４００００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述のように、時系列の内視鏡位置に基づいて診断画像を生成することや内視鏡画像を領域分割して変形し、診断画像を生成することは、診断に使用する画像枚数を減らす効果をもたらすが、一方で、読影者が診断画像内の特徴領域や特徴量を確認することを難しくする。また、診断画像の生成に使われた画像や指定した特徴以外の病理所見の漏れがないかを確認することが不可能となる。このため、読影に要する読影時間が長くなってしまい、さらに、読影者の労力的な負担も増加してしまう。
【０００７】
本発明が解決しようとする課題は、読影に要する読影時間及び読影者の労力的な負担を減らすことができる医用画像表示装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る医用画像表示装置は、管状の器官内を移動して時系列で撮像する器官内撮像装置により撮像された複数の画像と、画像ごとの器官内撮像装置の撮像位置及び撮像姿勢を取得する取得部と、器官をその延伸方向に沿って複数の領域に分割する領域分割部と、画像ごとに器官内撮像装置の撮像位置及び撮像姿勢を用いて器官に対する画像の位置を決定し、複数の領域に対して複数の画像を分類する画像分類部と、画像ごとに画像の特徴量を抽出し、領域ごとに画像の特徴量に応じて領域内の各画像の優先度を決定する優先度決定部と、領域ごとに領域内の各画像の優先度に応じて領域内の複数の画像を並べた表示画像を生成する画像生成部と、表示画像を表示する表示部とを備える。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係るカプセル内視鏡検査システムの概略構成を示すブロック図である。
【図２】図１に示すカプセル内視鏡検査システムの医用画像表示装置が行う画像表示処理の流れを示すフローチャートである。
【図３】カプセル内視鏡の軌跡及び撮像方向の算出を説明するための説明図である。
【図４】消化管モデルの生成及びカプセル内視鏡の撮像領域の算出を説明するための説明図である。
【図５】消化管モデルの領域分割を説明するための説明図である。
【図６】第１のヒストグラム画像を含む内視鏡検査画面の一例を示す図である。
【図７】第２のヒストグラム画像を含む内視鏡検査画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。
【００１１】
図１に示すように、本実施形態に係るカプセル内視鏡検査システム１は、管状の器官内を撮像する器官内撮像装置の一例であるカプセル内視鏡２と、そのカプセル内視鏡２からのデータを受信する受信装置３と、その受信装置３のデータに基づいて器官内の医用画像を表示する医用画像表示装置４とを備えている。
【００１２】
カプセル内視鏡２は、管状の器官（例えば、消化管）内を照らす照明部２ａと、管状の器官内を撮像する撮像部２ｂと、カプセル内視鏡２の撮像位置を検出する位置検出部２ｃと、その撮像位置でのカプセル内視鏡２の撮像姿勢を検出する姿勢検出部２ｄと、撮像した画像や撮像位置、撮像姿勢などの情報を体外の受信装置３に送信する送信部２ｅと、それら各部に電力を供給する電源部２ｆと、各部を制御する制御部２ｇとを備えている。これらの各部はカプセル筺体内に封入されている。
【００１３】
照明部２ａは、撮像部２ｂによる撮像が可能に管状の器官内に光を照射する照明装置である。この照明部２ａとしては、例えばＬＥＤ（発光ダイオード）などが用いられる。なお、カプセル筺体は、内蔵する照明部２ａにより器官の内壁に光照射を可能に、例えば先端部分を透明にして形成されている。
【００１４】
撮像部２ｂは、一定の時間間隔（一定の周期）の時系列で撮像を行う撮像装置である。この撮像部２ｂとしては、例えばＣＣＤ（電荷結合素子）カメラなどが用いられる。なお、カプセル筺体は、前述の照明部２ａの光照射に加え、内蔵する撮像部２ｂにより器官の内壁を撮像可能に、例えば、前述のように先端部分を透明にして形成されている。
【００１５】
位置検出部２ｃは、撮像部２ｂの撮像と同期してカプセル内視鏡２の撮像位置を検出する検出装置である。この撮像位置は、カプセル内視鏡２の空間的な位置であり、Ｘ軸、Ｙ軸及びＺ軸により決定される。この空間的な位置検出に関しては、例えば、電磁波の強弱を用いた位置検出手段、あるいは、カプセル内視鏡２に内蔵された小型のＧＰＳ（全地球測位システム）を用いた位置検出手段など、様々な位置検出手段を用いることが可能である。
【００１６】
姿勢検出部２ｄは、撮像部２ｂの撮像と同期して前述の撮像位置と共に、その撮像位置でのカプセル内視鏡２の撮像姿勢を検出する検出装置である。この姿勢検出部２ｄとしては、例えば、加速度センサやジャイロセンサなどを用いた姿勢検出部など、様々な姿勢検出部を用いることが可能である。
【００１７】
送信部２ｅは、撮像部２ｂにより撮像された画像と、位置検出部２ｃにより検出されたカプセル内視鏡２の撮像位置及び姿勢検出部２ｄにより検出されたカプセル内視鏡２の撮像姿勢とを含む情報を無線で受信装置３に送信する送信装置である。この送信部２ｅとしては、例えば送信アンテナなどが用いられる。
【００１８】
電源部２ｆは、各部に電力を供給する電力供給装置である。この電源部２ｆとしては、例えばボタン型の電池などが用いられる。なお、電池は、８時間から１０時間程度の検査時間に対応するため、必要とする容量に応じて複数個設けられる。
【００１９】
制御部２ｇは、照明部２ａにより器官内を照射しながら撮像部２ｂにより一定の時間間隔（一定の周期）で器官の内壁を撮像する制御を行う。さらに、制御部２ｇは、撮像部２ｂにより撮像した画像、位置検出部２ｃにより検出した撮像位置、さらに、姿勢検出部２ｄにより検出した撮像姿勢を含む情報を順次、送信部２ｅにより受信装置３に送信する制御を行う。
【００２０】
このカプセル内視鏡２が患者によって飲み込まれると、カプセル内視鏡２は管状の器官内を蠕動運動により進みながら、一定の時間間隔（一定の周期）で撮像を行う。この撮像では、電源部２ｆからの電力により照射光が照明部２ａから器官の内壁に照射され、その内壁により反射された反射光は撮像部２ｂにより光電変換され、画像データが生成される。このとき、位置検出部２ｃでは、画像データの生成と同期してカプセル内視鏡２の撮像位置が検出され、同様に、姿勢検出部２ｄでも、画像データの生成と同期してカプセル内視鏡２の撮像姿勢が検出される。これらの画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢が送信部２ｅにより無線通信で患者の体外にある受信装置３に送信される。画像データの生成、位置検出部２ｃによる撮像位置の検出、姿勢検出部２ｄによる撮像姿勢の検出及びデータの送信は、制御部２ｇによる制御の下、一定の時間間隔（例えば、数フレーム／秒）で行われる。
【００２１】
受信装置３は、カプセル内視鏡２から送信された情報を無線で受信する受信アンテナなどの受信部３ａと、その受信した情報を記憶するフラッシュメモリなどの記憶媒体３ｂとを備えている。この受信装置３では、前述のカプセル内視鏡２から送信された情報、すなわち画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢を含む情報が受信され、順次、記憶媒体３ｂに格納される。なお、記憶媒体３ｂは着脱可能であり、この記憶媒体３ｂが医用画像表示装置４に装着され、記憶媒体３ｂ内の全情報が医用画像表示装置４に入力されることになる。
【００２２】
医用画像表示装置４は、各部を集中的に制御する制御部４ａと、各種プログラムや各種データなどを記憶する記憶部４ｂと、その記憶部４ｂから各種データを取得する取得部４ｃと、各種処理を行う処理部４ｄと、各種画像を表示する表示部４ｅと、医師などのユーザ（利用者）からの入力操作を受け付ける操作部４ｆとを備えている。この医用画像表示装置４はワークステーションとして機能する。
【００２３】
制御部４ａは、記憶部４ｂに記憶された各種プログラムや各種データなどに基づいて各部を制御する。さらに、制御部４ａは、記憶部４ｂに記憶された各種プログラムや各種データに基づいて一連のデータ処理などを実行する。
【００２４】
記憶部４ｂは、制御部４ａのワークエリアとして機能するメモリに加え、各種プログラム及び各種データを記憶するメモリなどを有している。これらのメモリとしては、例えばＲＯＭやＲＡＭ、磁気ディスク装置（ＨＤＤ）、フラッシュメモリ（半導体ディスク装置）などが用いられる。この記憶部４ｂには、受信装置３の記憶媒体３ｂ内の全情報、すなわち全画像分の画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢を含む情報が記憶される。
【００２５】
取得部４ｃは、記憶部４ｂから画像ごとに、画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢などの情報を取得し、処理部４ｄに送信する。なお、情報の取得は、例えば、医師などのユーザが操作部４ｆを入力操作して、処理部４ｄによる処理の実行を指示することに応じて行われる。
【００２６】
処理部４ｄは、カプセル内視鏡２の軌跡及び撮像方向を算出する撮像軌跡算出部１１と、管状の器官に対する画像の位置を算出する画像位置算出部１２と、器官を延伸方向に沿って複数の領域に分割する領域分割部１３と、分割した各領域に対して複数の画像（内視鏡画像）を分類する画像分類部１４と、領域ごとに画像の優先度を決定する優先度決定部１５と、ヒストグラム画像や合成画像（診断画像）などの各種画像を生成する画像生成部１６とを備えている。
【００２７】
撮像軌跡算出部１１は、取得部４ｃから画像ごとのカプセル内視鏡２の撮像位置及び撮像姿勢に関する情報を受信し、それらの情報に応じてカプセル内視鏡２の軌跡及び撮像方向を算出し、画像位置算出部１２に出力する。なお、撮像位置及び撮像姿勢に関する情報は、撮像された画像枚数に相当する時系列の位置データである。
【００２８】
画像位置算出部１２は、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡及び撮像方向に基づいて管状の器官（例えば、消化管など）に対する画像の位置を算出する。例えば、画像位置算出部１２は、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡に基づいて、その軌跡を芯線として任意の管径を持つ仮想器官である器官モデル（例えば、消化管モデルなど）を作成し、カプセル内視鏡２の撮像位置及び撮像方向から器官の内壁上の撮像領域を求め、その撮像領域の位置からその器官モデルに対する画像の位置を特定する。
【００２９】
領域分割部１３は、画像位置算出部１２により作成された器官モデルをその延伸方向、すなわちカプセル内視鏡２の軌跡に沿って任意の距離（例えば、所定間隔あるいは所望の間隔）で複数の領域に分割する。この領域分割では、撮像軌跡算出部１１により算出されたカプセル内視鏡２の軌跡を用いて、器官モデルの延伸方向の位置を基準に器官モデルを分割する。
【００３０】
画像分類部１４は、画像位置算出部１２により得られた器官モデルに対する画像の位置情報を用いて、領域分割部１３により分割された領域ごとに、その領域内に存在（該当）する画像を抽出し、その領域に属する画像群として分類する。なお、画像はその領域に一枚だけ存在する場合や存在しない場合もある。
【００３１】
優先度決定部１５は、ユーザによって指定された特徴に基づき、画像に対して特徴抽出を行い、その特徴量に応じて前述の領域ごとに画像群の個々（領域内の各画像）の優先度（例えば、画像を表示する優先度）、すなわち優先順位を決定する。例えば、体腔内部の出血の指標として用いられる赤色具合（色調：赤）が特徴として指定されると、各領域の画像は、特徴量である赤色具合が多い程、画像の優先度が高く設定される。なお、特徴量としては、色の具合（程度）以外にも、その色の具合（濃度）に加え、その色部分（色領域）の面積などを用いることも可能であり、さらに、それらの値をかけ合わせた数値（濃度×色領域）を用いることも可能である。
【００３２】
画像生成部１６は、領域分割部１３により分割された領域単位で、その領域に分類された複数の画像である画像群を、器官の進行方向の位置順もしくは撮像された時間順に並び替え、さらに、その領域ごとの画像群を各領域が並ぶ順番に並べ一覧画像を生成し、すなわち、器官の延伸方向の位置を横軸に、各領域に分類された画像群（もしくは枚数）を縦軸としてヒストグラム状に並べ、第１のヒストグラム画像を生成する。また、画像生成部１６は、前述の並び替えを優先度の高い順にかえて前述同様に処理を行って一覧画像、すなわち、優先度に基づく第２のヒストグラム画像（表示画像）も生成する。さらに、画像生成部１６は、ユーザによって指定された領域内の画像群を用いて、その領域内の任意方向の画像を合成し、診断画像となる合成画像を生成する。
【００３３】
なお、前述の処理部４ｄは、電気回路などのハードウエアで構成されても良く、あるいは、これらの機能を実行するプログラムなどのソフトウエアで構成されても良く、また、それらの両方の組合せにより構成されても良い。
【００３４】
表示部４ｅは、処理部４ｄから送信されたヒストグラム画像や合成画像、その他画像など、各種画像をカラー表示する表示装置である。この表示部４ｅとしては、例えば液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイなどが用いられる。
【００３５】
操作部４ｆは、医師などのユーザにより入力操作され、画像表示や画像の切り替え、設定変更などの各種の入力操作を受け付ける入力部である。この操作部４ｆとしては、例えばマウスやキーボードなどの入力デバイスが用いられる。
【００３６】
次に、前述の医用画像表示装置４が行う画像表示処理について詳しく説明する。医師などのユーザが操作部４ｆを入力操作して画像表示処理の実行を指示すると、以下の処理が実行される。なお、ここでは、管状の器官の一例として消化管（例えば、腸管）に対する処理について説明する。
【００３７】
図２に示すように、まず、取得部４ｃでは、記憶部４ｂからカプセル内視鏡２により撮像された撮像画像、そのカプセル内視鏡２の撮像位置及び撮像姿勢を読み込む（ステップＳ１）。
【００３８】
このステップＳ１では、カプセル内視鏡２により撮像された全画像が記憶部４ｂから読み込まれ、さらに、カプセル内視鏡２の撮像位置及び撮像姿勢も記憶部４ｂから全画像分読み込まれる。
【００３９】
ステップＳ１の処理後、処理部４ｄの撮像軌跡算出部１１では、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像位置及び撮像姿勢を用いて、カプセル内視鏡２の軌跡及び撮像方向を算出する（ステップＳ２）。
【００４０】
このステップＳ２では、図３に示すように、まず、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像位置を時系列にたどり、カプセル内視鏡２の軌跡Ｌ１を算出し、さらに、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像姿勢を用いて、そのカプセル内視鏡２の軌跡Ｌ１に沿った各撮像位置でカプセル内視鏡２が向いていた方向を撮像方向Ｄ１として算出する。
【００４１】
図２に戻り、ステップＳ２の処理後、処理部４ｄの画像位置算出部１２では、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡Ｌ１及び撮像方向Ｄ１を用いて、消化管に対する画像の位置を算出する（ステップＳ３）。
【００４２】
このステップＳ３では、図４に示すように、まず、撮像軌跡算出部１１で算出されたカプセル内視鏡２の軌跡Ｌ１を芯線（中心線）とし、任意の管径を持つ消化管モデルＭ１を作成する。次に、カプセル内視鏡２の撮像位置（画像を撮像したときの位置）とその撮像位置での撮像方向Ｄ１から消化管モデルＭ１の内壁上の撮像領域Ｆ１を求め、その撮像領域Ｆ１の位置に応じて、撮像された画像が消化管モデルＭ１上のどこに位置しているか推定し、消化管モデルＭ１と画像との位置を対応付けすることで、消化管に対する画像の位置を特定する。
【００４３】
前述の消化管モデルＭ１の生成では、消化管モデルＭ１の管径を算出するため、例えば消化管の太さ（年齢や体格に応じた平均的な太さ、あるいは、他の検査から得られた患者固有の太さ）などの情報が用いられる。この情報は予め記憶部４ｂに記憶されている。また、撮像領域Ｆ１の算出では、前述の消化管の太さなどの情報に加え、カプセル内視鏡２の視野角の情報も用いられる。この視野角の情報は前述の消化管の太さなどの情報と共に予め記憶部４ｂに記憶されている。例えば、撮像領域Ｆ１を算出する際には、前述の消化管の太さなどの情報を用いて撮像位置から消化管の内壁までの撮像方向Ｄ１に沿った距離（被写体距離）を算出し、その被写体距離と前述の視野角に基づいて、撮像視野、すなわち撮像領域Ｆ１を求める。
【００４４】
ここで、前述の消化管モデルＭ１の作成において、カプセル内視鏡２が同じ位置で方向を変えて滞留し、軌跡Ｌ１が同じ場所で上下左右に移動する場合には、平均位置もしくは中心位置を芯線上の点として算出し直して用いても良い。また、消化管モデルＭ１の管径を算出する場合には、前述の消化管の太さ情報ではなく、同じ場所でカプセル内視鏡２が移動する場合の移動可能な上下及び左右の範囲で推測しても良い。また、撮像画像の位置算出においては、周辺の画像と画像内の形状などの特徴を用いて位置の補正を行っても良い。
【００４５】
図２に戻り、ステップＳ３の処理後、処理部４ｄの領域分割部１３では、画像位置算出部１２により作成された消化管モデルＭ１を延伸方向に沿って任意の距離で領域分割する（ステップＳ４）。
【００４６】
このステップＳ４では、図５に示すように、作成された消化管モデルＭ１をその延伸方向、すなわちカプセル内視鏡２の軌跡Ｌ１に沿って任意の距離、例えば、所定の等間隔で領域分割する。これにより、消化管モデルＭ１は複数の領域Ａｎ（ｎは自然数である）に分割されることになる。なお、この領域分割は、ユーザにより分割位置（例えば、分割間隔など）が変更されると、再度行われる。
【００４７】
図２に戻り、ステップＳ４の処理後、処理部４ｄの画像分類部１４では、領域分割部１３により分割された各領域Ａｎに対し、取得部４ｃにより読み込まれた画像を分類する（ステップＳ５）。
【００４８】
このステップＳ５では、画像位置算出部１２により得られた消化管モデルＭ１に対する画像の位置情報を基に、分割された領域Ａｎごとに、その領域Ａｎ内に存在する画像を抽出し、その領域Ａｎに属する画像群として分類する。ただし、画像はその領域に一枚だけ存在する場合や存在しない場合もある。なお、この画像分類は、前述の領域分割が再度行われると、それに応じて再度行われる。
【００４９】
ここで、前述の画像分類において、ある画像の撮像領域Ｆ１が複数の領域Ａｎに属する場合（例えば、二つの領域Ａｎにまたがる場合）には、両方にもしくは領域Ａｎを占める割合が大きい方に分類されるなどの処理が行われる。なお、この分類の際の境界条件はユーザにより任意に指定されるようにしても良い。
【００５０】
ステップＳ５の処理後、処理部４ｄの画像生成部１６では、消化管の延伸方向の位置を基準に、領域Ａｎごとに画像Ｇ１ａを並べて示す第１のヒストグラム画像Ｇ１を生成し、表示部４ｅでは、その第１のヒストグラム画像Ｇ１を表示する（ステップＳ６）。
【００５１】
このステップＳ６では、領域分割部１３により分割された領域Ａｎごとに、その領域Ａｎに分類された画像群を消化管の進行方向の位置順もしくは撮像された時間順に並び替え、さらに、その領域Ａｎごとの画像群を各領域Ａｎが並ぶ順番に並べて一覧画像を生成し、すなわち、消化管の延伸方向の位置を横軸に、各領域Ａｎに分類された画像群を縦軸としてヒストグラム状に並べ、図６に示すように、第１のヒストグラム画像Ｇ１を生成する。
【００５２】
ここで、図６には、第１のヒストグラム画像Ｇ１の一例が示されており、領域Ａｎごとの画像Ｇ１ａが縦方向に並び、さらに、その領域Ａｎごとの画像群は横方向に各領域Ａｎが並ぶ順番で並んでいる。なお、図６では、左から右に向かう方向が消化管の進行方向である。この図６の内視鏡検査画面には、第１のヒストグラム画像Ｇ１と一緒に、消化管モデルＭ１を示す消化管モデル画像Ｇ２が示されている。この消化管モデル画像Ｇ２には、カプセル内視鏡２の軌跡Ｌ１及び消化管の分割位置なども示されている。
【００５３】
その後、ユーザは前述の内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図６中の操作パネルをマウスなどにより操作して、確認したい特徴を指定し、さらに、第１のヒストグラム画像Ｇ１から診断用に用いる画像の範囲（枚数）を選択して指定する。これらの指定値は、取得部４ｃにより読み込まれ、優先度決定部１５や画像生成部１６により用いられる。なお、前述の画像範囲の指定では、例えば、ユーザが操作部４ｆを入力操作し、第１のヒストグラム画像Ｇ１から直接表示の対象とする画像を選択したり、消化管モデル画像Ｇ２上に消化管モデルＭ１内の任意範囲を指定して表示の対象とする画像を選択したりすることが可能である。
【００５４】
図２に戻り、ステップＳ６の処理後、対象とする特徴及び画像が指定されたか否かが判断され（ステップＳ７）、その判断は特徴及び画像が指定されるまで繰り返される（ステップＳ７のＮＯ）。前述のユーザによる指定に応じて、対象とする特徴及び画像が指定されたと判断されると（ステップＳ７）、優先度決定部１５では、指定された特徴に基づいて、指定された画像を対象に特徴抽出を行い、特徴量に従って領域ごとに画像の優先度を決定する（ステップＳ８）。
【００５５】
このステップ８では、指定された画像から特徴を抽出し、その特徴量に応じて画像を表示する優先度を決定する。例えば、体腔内部の出血の指標として用いられる赤色具合（色調：赤）が特徴として指定された場合には、各領域Ａｎの画像は、特徴量である赤色具合が高い程、画像の優先度が高く決定される。すなわち、その優先度は、赤色具合が最も高い画像を一番手前に、その一番手前の画像から奥に向かって順次赤色具合が低い画像を表示するように決定される。
【００５６】
なお、疾患の種類により組織が黄色に変色するもの、あるいは、黒っぽくなるものがあるため、それらの特徴を確認したい場合には、色調の黄色又は黒を特徴として指定しても良い。また、形状の特徴として消化管の延伸方向に垂直な断面を示す画像上での管輪郭の凹凸（円形からの凹み具合など）を特徴として指定し、管狭窄の指標として凹み具合の多いものを優先度の高い画像としても良い。また、分割した領域Ａｎ内でのカプセル内視鏡２の滞留時間を特徴として指定し、カプセル内視鏡２の通り難い領域もしくは管狭窄の指標としてユーザに提示しても良い。複数の特徴が指定された場合には、任意の計算方法で複数の特徴量を用いて優先度を決定し、画像の並び替えを行わずにバロメータ画像の表示でその度合いを提示しても良い。ただし、このバロメータ画像の表示は、時間軸に沿ってバロメータ画像を表示する既存方法とは異なり、消化管の延伸方向の位置を基準としたバロメータ画像の表示である。
【００５７】
ステップＳ８の処理後、消化管の延伸方向の位置を基準に、領域ごとに優先度が高い順に画像を並べて示す第２のヒストグラム画像Ｇ３を生成し、表示部４ｅでは、その第２のヒストグラム画像Ｇ３を表示する（ステップＳ９）。
【００５８】
このステップＳ９では、領域分割部１３により分割された領域Ａｎごとに、その領域Ａｎに分類された画像群を優先度決定部１５により算出された優先度の高い順に並び替え、さらに、その領域Ａｎごとの画像群を各領域Ａｎが並ぶ順番に並べて一覧画像を生成し、すなわち、消化管の延伸方向の位置を横軸に、各領域Ａｎに分類されて優先度順に並ぶ画像群を縦軸としてヒストグラム状に並べ、図７に示すように、優先度に基づく第２のヒストグラム画像Ｇ３を生成する。なお、特徴が複数指定された場合には、特徴ごとに画像群の個々の優先度を決定し、その後、領域Ａｎ内の画像群を特徴ごとに分類して前述と同じように第２のヒストグラム画像Ｇ３を生成する。
【００５９】
ここで、図７には、第２のヒストグラム画像Ｇ３の一例が示されており、この第２のヒストグラム画像Ｇ３では、異なる二つの特徴（特徴１及び特徴２）ごとに表示範囲が存在し、特徴１に関する表示範囲Ｒ１と、特徴２に関する表示範囲Ｒ２とが存在する。このような表示範囲は指定される特徴の数に応じて自動的に設定される。領域Ａｎごとの画像Ｇ１ａは、表示範囲Ｒ１において特徴１に基づく優先度順に縦方向に並び、表示範囲Ｒ２において特徴２に基づく優先度順に縦方向に並んでいる。さらに、その領域Ａｎごとの画像群は横方向に各領域Ａｎが並ぶ順番で並んでいる。なお、図７では、左から右に向かう方向が消化管の進行方向であり、また、特徴ごとに優先度が高い画像が一番手前に存在し、優先度が低くなるほど奥に画像が位置する。
【００６０】
この図７の内視鏡検査画面には、前述の第２のヒストグラム画像Ｇ３と一緒に、消化管モデルＭ１を示す消化管モデル画像Ｇ２が示されており、さらに、消化管の延伸方向の優先度あるいは画像の枚数を色の濃度差で示すバロメータ画像Ｇ４が示されている。なお、消化管モデル画像Ｇ２は、仮想器官としての消化管モデルＭ１を示す仮想器官画像である。
【００６１】
ここで、異なる二つの特徴（特徴１及び特徴２）が指定された場合には、特徴１及び特徴２のどちらか一方に関するバロメータ画像Ｇ４が表示されており、ユーザが操作部４ｆを入力操作すると、他方の特徴に関するバロメータ画像に切り替えられる。これは、二つのバロメータ画像を同時に表示するスペースが内視鏡検査画面に無い場合などに有効であり、特徴１及び特徴２のどちらのバロメータ画像も確認することが可能となる。もちろん、この切替表示ではなく、特徴１及び特徴２の両方のバロメータ画像を同時に表示するスペースが内視鏡検査画面にある場合には、特徴１及び特徴２の両方のバロメータ画像を予め表示するようにしても良い。
【００６２】
その後、ユーザは前述の内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図７中の操作パネルをマウスなどにより操作して、確認したい領域Ａｎ内の任意方向を指定する。この指定値は、取得部４ｃにより読み込まれて画像生成部１６により用いられる。なお、領域Ａｎ内の任意方向の指定では、例えば、ユーザが操作部４ｆを入力操作し、第２のヒストグラム画像Ｇ３から表示の対象とする領域Ａｎ内の画像群を選択し、その領域Ａｎ内の任意方向を選択する。
【００６３】
図２に戻り、ステップＳ９の処理後、領域Ａｎ内の任意方向が指定されたか否かが判断され（ステップＳ１０）、その判断は領域Ａｎ内の任意方向が指定されるまで繰り返される（ステップＳ１０のＮＯ）。前述のユーザによる指定に応じて、任意方向が指定されたと判断されると（ステップＳ１０のＹＥＳ）、画像生成部１６では、指定された任意方向に応じ、領域Ａｎ内の画像群を合成して合成画像Ｇ５を生成し、表示部４ｅでは、その合成画像Ｇ５を前述の第２のヒストグラム画像Ｇ３と共に表示し（ステップＳ１１）、処理をステップＳ７に戻す。
【００６４】
このステップＳ１１では、ユーザにより領域Ａｎ内の見たい方向が指定されると、その領域Ａｎ内に存在する画像を用いて、見たい方向の画像を連結し、図７に示すように、合成画像Ｇ５を生成する。このとき、使用される画像はユーザが選択した画像としても良く、また、同じ領域Ａｎの画像が複数枚選択されている場合には、指定された特徴の優先度が高い画像、もしくは、特徴量の高い画素を用いて、合成画像Ｇ５を作成しても良い。
【００６５】
ここで、図７の内視鏡検査画面には、診断画像となる合成画像Ｇ５の一例が示されており、赤色の特徴Ｔ１が示されている。さらに、合成画像Ｇ５には、特徴１の特徴量が数値として示されている。この特徴量は優先度決定部１５により求められている数値である。合成画像Ｇ５は奥行き感が有する画像であり、その画像の拡大なども可能である。なお、合成画像Ｇ５は前述の見たい方向が変更されると、それに応じて再生成される。このため、合成画像Ｇ５は、消化管の芯線を中心として任意の領域Ａｎの内壁を３６０度示すパノラマ画像として機能するので、ユーザは自由に見たい方向を変更して読影を行うことが可能である。
【００６６】
その後、ユーザが内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図７中の操作パネルをマウスなどにより操作して、確認したい特徴や診断用に用いる画像を変更すると、ステップＳ７以降の処理が行われ、新たなヒストグラム画像Ｇ３や合成画像Ｇ５が生成されて表示される。この再表示処理は確認したい特徴や診断用に用いる画像の変更に応じて繰り返されることになる。また、ユーザが操作部４ｆを入力操作して表示終了が指示されると、前述の画像表示処理は終了される。
【００６７】
このように画像表示処理では、第２のヒストグラム画像Ｇ３が診断画像となる合成画像Ｇ５と共に表示部４ｅにより表示されてユーザに提示される。つまり、ユーザが確認したい特徴に基づいて画像の優先度が決定され、異常と思われる画像が優先的に表示される。さらに、確認したい特徴を顕著に示す合成画像Ｇ５も作成されて提示される。これにより、読影する画像枚数を少なくすることが可能であるうえ、確認したい特徴及びその値を一枚の合成画像Ｇ５上で確認することが可能になる。これにより、読影に要する読影時間及び読影者の労力的な負担が少ないカプセル内視鏡検査を行うことができる。
【００６８】
以上説明したように、本実施形態によれば、領域Ａｎごとにその領域Ａｎ内の画像群の個々の優先度に応じて領域Ａｎ内の画像群を並べ、さらに、領域Ａｎごとの画像群を領域Ａｎの並び順に並べて第２のヒストグラム画像Ｇ３を生成し、その第２のヒストグラム画像Ｇ３を診断画像となる合成画像Ｇ５と共に表示部４ｅにより表示する。これにより、診断画像内の特徴領域や特徴量を確認することが容易となることに加え、診断画像の生成に使われた画像や指定した特徴外の病理所見の漏れがないかを確認することが可能となるので、読影に要する読影時間及び読影者の労力的な負担を減らすことができる。
【００６９】
また、画像ごとに画像における種類が異なる複数の特徴量を抽出し、領域Ａｎ及び特徴量の種類ごとに画像の特徴量に応じて領域Ａｎ内の画像群の各々の優先度を決定し、領域Ａｎ及び特徴量の種類ごとに、領域Ａｎ内の画像群の個々の画像の優先度に応じて領域Ａｎ内の画像群を並べ、領域Ａｎごとの画像群を領域Ａｎが並ぶ順番に並べて第２のヒストグラム画像Ｇ３を生成することによって、異なる複数の特徴が指定された場合でも、特徴ごとに画像の優先度に応じて画像が並べられるので、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。
【００７０】
また、複数の領域Ａｎのうち同じ領域Ａｎに分類された複数の画像を合成し、任意方向の合成画像Ｇ５を生成して表示することによって、指定された特徴を顕著に示す合成画像Ｇ５を作成して提示することが可能になるため、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。なお、より優先度が高い画像を用いて任意方向の合成画像Ｇ５を作成することが望ましい。
【００７１】
また、画像ごとのカプセル内視鏡２の撮像位置に基づいて管状の器官の延伸方向に延びる器官の芯線を求め、求めた芯線を軸心とする管状の仮想器官を求め、求めた仮想器官をその延伸方向に沿って複数の領域Ａｎに分割することによって、実際の器官経路に則した分割を行うことが可能になるので、より正確な領域分割を実現することができる。
【００７２】
また、画像ごとにカプセル内視鏡２の撮像位置及び撮像姿勢を用いて撮像位置を基準とするカプセル内視鏡２の撮像領域Ｆ１を求め、求めた画像ごとのカプセル内視鏡２の撮像領域Ｆ１に応じて器官に対する画像の位置を決定し、各領域Ａｎに対して複数の画像を分類することによって、各画像を正確に各領域Ａｎに分類することが可能となり、より正確な読影を行うことができる。なお、この分類方法としては、カプセル内視鏡２の撮像領域Ｆ１を用いること以外にも、カプセル内視鏡２の撮像姿勢に基づいて撮像位置を基準とする撮像方向Ｈ１を求め、その撮像位置から撮像方向Ｈ１に延びる直線（撮像方向ベクトル）と、管状の器官の内壁との交点を用いるようにしても良い。ただし、管状の器官には多数の湾曲部分が存在しているため、前述の撮像領域Ｆ１を用いた方が分類精度は高くなる。
【００７３】
なお、分割した領域Ａｎ内でのカプセル内視鏡２の滞留時間を特徴として指定し、その滞留時間をカプセル内視鏡２の通り難い位置もしくは管狭窄の指標として、器官の延伸方向の位置を基準に各撮像位置での滞留時間を表示してユーザに提示した場合には、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。このときの画像表示処理では、処理部４ｄが領域Ａｎごとにカプセル内視鏡２の滞留時間を算出する滞留時間算出部として機能し、画像生成部１６は領域Ａｎごとに器官の延伸方向に沿って滞留時間を示す滞留時間画像を生成し、表示部４ｅがその滞留時間画像を表示することになる。これにより、カプセル内視鏡２の各撮像位置での滞留時間が器官の延伸方向の位置を基準に表示される。
【００７４】
また、前述の実施形態においては、消化管モデル画像Ｇ２に、消化管モデルＭ１に加えてカプセル内視鏡２の軌跡Ｌ１や分割位置を示しているが、これに限るものではなく、例えば、消化管モデルＭ１上で画像が存在する箇所あるいは存在しない箇所を色やグラデーション、パターンなどの表示により示すようにしても良い。この場合には、消化管モデルＭ１に対する撮像領域や非撮像領域を容易に把握することが可能となるので、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。また、ステップＳ７で指定した現在の画像範囲を色やグラデーション、パターンなどの表示により消化管モデルＭ１上に示すようにしても良い。この場合には、指定した現在の画像範囲が一目でわかるため、読影対象領域を容易に把握することが可能となり、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。
【００７５】
以上、本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
２ カプセル内視鏡
４ 医用画像表示装置
４ｃ 取得部
４ｄ 処理部
４ｅ 表示部
１３ 領域分割部
１４ 画像分類部
１５ 優先度決定部
１６ 画像生成部
Ａｎ 領域
Ｆ１ 撮像領域
Ｇ１ａ 画像
Ｇ２ 消化管モデル画像
Ｇ３ ヒストグラム画像
Ｇ５ 合成画像
Ｍ１ 消化管モデル
【技術分野】
【０００１】
本発明の実施形態は、医用画像表示装置に関し、例えば、カプセル内視鏡により撮像された医用画像を表示する医用画像表示装置に関する。
【背景技術】
【０００２】
近年、管状の器官の一例である消化管を対象としたカプセル内視鏡が実用化されている。このカプセル内視鏡は、主に、体腔内の画像（医用画像）を撮像するＣＣＤカメラなどの撮像部や体腔内部を明るくするＬＥＤなどの照明部、撮影した画像情報を体外の受信装置に送るための送信部、これらの各部に電力を供給するボタン電池などの電源部を備えている。
【０００３】
このようなカプセル内視境は、被験者に経口投与されてから各消化管の主に蠕動運動により肛門から自然に排出されるまで、約８時間から１０時間の間に数枚／秒の体腔内画像を撮影する。例えば、１秒間に２枚の画像を８時間撮影したとすると、５万７千６００枚もの画像が一回の検査で撮像されることになる。
【０００４】
このように一回の検査で取得される画像枚数は大量であり、今後さらに増える傾向にある。このため、読影者の負担は今以上に大きくなることから、読影を支援する表示装置及びソフトの開発が行われている。例えば、読影の操作性及び効率の向上を目的に、時系列で撮像した内視鏡画像から、内視鏡の位置に基づいた診断画像を生成する方法、あるいは、内視鏡画像を領域分割して変形し、その変形画像を二次元や三次元のモデル上に貼り付けて診断画像を生成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２４００００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述のように、時系列の内視鏡位置に基づいて診断画像を生成することや内視鏡画像を領域分割して変形し、診断画像を生成することは、診断に使用する画像枚数を減らす効果をもたらすが、一方で、読影者が診断画像内の特徴領域や特徴量を確認することを難しくする。また、診断画像の生成に使われた画像や指定した特徴以外の病理所見の漏れがないかを確認することが不可能となる。このため、読影に要する読影時間が長くなってしまい、さらに、読影者の労力的な負担も増加してしまう。
【０００７】
本発明が解決しようとする課題は、読影に要する読影時間及び読影者の労力的な負担を減らすことができる医用画像表示装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る医用画像表示装置は、管状の器官内を移動して時系列で撮像する器官内撮像装置により撮像された複数の画像と、画像ごとの器官内撮像装置の撮像位置及び撮像姿勢を取得する取得部と、器官をその延伸方向に沿って複数の領域に分割する領域分割部と、画像ごとに器官内撮像装置の撮像位置及び撮像姿勢を用いて器官に対する画像の位置を決定し、複数の領域に対して複数の画像を分類する画像分類部と、画像ごとに画像の特徴量を抽出し、領域ごとに画像の特徴量に応じて領域内の各画像の優先度を決定する優先度決定部と、領域ごとに領域内の各画像の優先度に応じて領域内の複数の画像を並べた表示画像を生成する画像生成部と、表示画像を表示する表示部とを備える。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係るカプセル内視鏡検査システムの概略構成を示すブロック図である。
【図２】図１に示すカプセル内視鏡検査システムの医用画像表示装置が行う画像表示処理の流れを示すフローチャートである。
【図３】カプセル内視鏡の軌跡及び撮像方向の算出を説明するための説明図である。
【図４】消化管モデルの生成及びカプセル内視鏡の撮像領域の算出を説明するための説明図である。
【図５】消化管モデルの領域分割を説明するための説明図である。
【図６】第１のヒストグラム画像を含む内視鏡検査画面の一例を示す図である。
【図７】第２のヒストグラム画像を含む内視鏡検査画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について図面を参照して説明する。
【００１１】
図１に示すように、本実施形態に係るカプセル内視鏡検査システム１は、管状の器官内を撮像する器官内撮像装置の一例であるカプセル内視鏡２と、そのカプセル内視鏡２からのデータを受信する受信装置３と、その受信装置３のデータに基づいて器官内の医用画像を表示する医用画像表示装置４とを備えている。
【００１２】
カプセル内視鏡２は、管状の器官（例えば、消化管）内を照らす照明部２ａと、管状の器官内を撮像する撮像部２ｂと、カプセル内視鏡２の撮像位置を検出する位置検出部２ｃと、その撮像位置でのカプセル内視鏡２の撮像姿勢を検出する姿勢検出部２ｄと、撮像した画像や撮像位置、撮像姿勢などの情報を体外の受信装置３に送信する送信部２ｅと、それら各部に電力を供給する電源部２ｆと、各部を制御する制御部２ｇとを備えている。これらの各部はカプセル筺体内に封入されている。
【００１３】
照明部２ａは、撮像部２ｂによる撮像が可能に管状の器官内に光を照射する照明装置である。この照明部２ａとしては、例えばＬＥＤ（発光ダイオード）などが用いられる。なお、カプセル筺体は、内蔵する照明部２ａにより器官の内壁に光照射を可能に、例えば先端部分を透明にして形成されている。
【００１４】
撮像部２ｂは、一定の時間間隔（一定の周期）の時系列で撮像を行う撮像装置である。この撮像部２ｂとしては、例えばＣＣＤ（電荷結合素子）カメラなどが用いられる。なお、カプセル筺体は、前述の照明部２ａの光照射に加え、内蔵する撮像部２ｂにより器官の内壁を撮像可能に、例えば、前述のように先端部分を透明にして形成されている。
【００１５】
位置検出部２ｃは、撮像部２ｂの撮像と同期してカプセル内視鏡２の撮像位置を検出する検出装置である。この撮像位置は、カプセル内視鏡２の空間的な位置であり、Ｘ軸、Ｙ軸及びＺ軸により決定される。この空間的な位置検出に関しては、例えば、電磁波の強弱を用いた位置検出手段、あるいは、カプセル内視鏡２に内蔵された小型のＧＰＳ（全地球測位システム）を用いた位置検出手段など、様々な位置検出手段を用いることが可能である。
【００１６】
姿勢検出部２ｄは、撮像部２ｂの撮像と同期して前述の撮像位置と共に、その撮像位置でのカプセル内視鏡２の撮像姿勢を検出する検出装置である。この姿勢検出部２ｄとしては、例えば、加速度センサやジャイロセンサなどを用いた姿勢検出部など、様々な姿勢検出部を用いることが可能である。
【００１７】
送信部２ｅは、撮像部２ｂにより撮像された画像と、位置検出部２ｃにより検出されたカプセル内視鏡２の撮像位置及び姿勢検出部２ｄにより検出されたカプセル内視鏡２の撮像姿勢とを含む情報を無線で受信装置３に送信する送信装置である。この送信部２ｅとしては、例えば送信アンテナなどが用いられる。
【００１８】
電源部２ｆは、各部に電力を供給する電力供給装置である。この電源部２ｆとしては、例えばボタン型の電池などが用いられる。なお、電池は、８時間から１０時間程度の検査時間に対応するため、必要とする容量に応じて複数個設けられる。
【００１９】
制御部２ｇは、照明部２ａにより器官内を照射しながら撮像部２ｂにより一定の時間間隔（一定の周期）で器官の内壁を撮像する制御を行う。さらに、制御部２ｇは、撮像部２ｂにより撮像した画像、位置検出部２ｃにより検出した撮像位置、さらに、姿勢検出部２ｄにより検出した撮像姿勢を含む情報を順次、送信部２ｅにより受信装置３に送信する制御を行う。
【００２０】
このカプセル内視鏡２が患者によって飲み込まれると、カプセル内視鏡２は管状の器官内を蠕動運動により進みながら、一定の時間間隔（一定の周期）で撮像を行う。この撮像では、電源部２ｆからの電力により照射光が照明部２ａから器官の内壁に照射され、その内壁により反射された反射光は撮像部２ｂにより光電変換され、画像データが生成される。このとき、位置検出部２ｃでは、画像データの生成と同期してカプセル内視鏡２の撮像位置が検出され、同様に、姿勢検出部２ｄでも、画像データの生成と同期してカプセル内視鏡２の撮像姿勢が検出される。これらの画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢が送信部２ｅにより無線通信で患者の体外にある受信装置３に送信される。画像データの生成、位置検出部２ｃによる撮像位置の検出、姿勢検出部２ｄによる撮像姿勢の検出及びデータの送信は、制御部２ｇによる制御の下、一定の時間間隔（例えば、数フレーム／秒）で行われる。
【００２１】
受信装置３は、カプセル内視鏡２から送信された情報を無線で受信する受信アンテナなどの受信部３ａと、その受信した情報を記憶するフラッシュメモリなどの記憶媒体３ｂとを備えている。この受信装置３では、前述のカプセル内視鏡２から送信された情報、すなわち画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢を含む情報が受信され、順次、記憶媒体３ｂに格納される。なお、記憶媒体３ｂは着脱可能であり、この記憶媒体３ｂが医用画像表示装置４に装着され、記憶媒体３ｂ内の全情報が医用画像表示装置４に入力されることになる。
【００２２】
医用画像表示装置４は、各部を集中的に制御する制御部４ａと、各種プログラムや各種データなどを記憶する記憶部４ｂと、その記憶部４ｂから各種データを取得する取得部４ｃと、各種処理を行う処理部４ｄと、各種画像を表示する表示部４ｅと、医師などのユーザ（利用者）からの入力操作を受け付ける操作部４ｆとを備えている。この医用画像表示装置４はワークステーションとして機能する。
【００２３】
制御部４ａは、記憶部４ｂに記憶された各種プログラムや各種データなどに基づいて各部を制御する。さらに、制御部４ａは、記憶部４ｂに記憶された各種プログラムや各種データに基づいて一連のデータ処理などを実行する。
【００２４】
記憶部４ｂは、制御部４ａのワークエリアとして機能するメモリに加え、各種プログラム及び各種データを記憶するメモリなどを有している。これらのメモリとしては、例えばＲＯＭやＲＡＭ、磁気ディスク装置（ＨＤＤ）、フラッシュメモリ（半導体ディスク装置）などが用いられる。この記憶部４ｂには、受信装置３の記憶媒体３ｂ内の全情報、すなわち全画像分の画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢を含む情報が記憶される。
【００２５】
取得部４ｃは、記憶部４ｂから画像ごとに、画像データ、カプセル内視鏡２の撮像位置及び撮像姿勢などの情報を取得し、処理部４ｄに送信する。なお、情報の取得は、例えば、医師などのユーザが操作部４ｆを入力操作して、処理部４ｄによる処理の実行を指示することに応じて行われる。
【００２６】
処理部４ｄは、カプセル内視鏡２の軌跡及び撮像方向を算出する撮像軌跡算出部１１と、管状の器官に対する画像の位置を算出する画像位置算出部１２と、器官を延伸方向に沿って複数の領域に分割する領域分割部１３と、分割した各領域に対して複数の画像（内視鏡画像）を分類する画像分類部１４と、領域ごとに画像の優先度を決定する優先度決定部１５と、ヒストグラム画像や合成画像（診断画像）などの各種画像を生成する画像生成部１６とを備えている。
【００２７】
撮像軌跡算出部１１は、取得部４ｃから画像ごとのカプセル内視鏡２の撮像位置及び撮像姿勢に関する情報を受信し、それらの情報に応じてカプセル内視鏡２の軌跡及び撮像方向を算出し、画像位置算出部１２に出力する。なお、撮像位置及び撮像姿勢に関する情報は、撮像された画像枚数に相当する時系列の位置データである。
【００２８】
画像位置算出部１２は、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡及び撮像方向に基づいて管状の器官（例えば、消化管など）に対する画像の位置を算出する。例えば、画像位置算出部１２は、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡に基づいて、その軌跡を芯線として任意の管径を持つ仮想器官である器官モデル（例えば、消化管モデルなど）を作成し、カプセル内視鏡２の撮像位置及び撮像方向から器官の内壁上の撮像領域を求め、その撮像領域の位置からその器官モデルに対する画像の位置を特定する。
【００２９】
領域分割部１３は、画像位置算出部１２により作成された器官モデルをその延伸方向、すなわちカプセル内視鏡２の軌跡に沿って任意の距離（例えば、所定間隔あるいは所望の間隔）で複数の領域に分割する。この領域分割では、撮像軌跡算出部１１により算出されたカプセル内視鏡２の軌跡を用いて、器官モデルの延伸方向の位置を基準に器官モデルを分割する。
【００３０】
画像分類部１４は、画像位置算出部１２により得られた器官モデルに対する画像の位置情報を用いて、領域分割部１３により分割された領域ごとに、その領域内に存在（該当）する画像を抽出し、その領域に属する画像群として分類する。なお、画像はその領域に一枚だけ存在する場合や存在しない場合もある。
【００３１】
優先度決定部１５は、ユーザによって指定された特徴に基づき、画像に対して特徴抽出を行い、その特徴量に応じて前述の領域ごとに画像群の個々（領域内の各画像）の優先度（例えば、画像を表示する優先度）、すなわち優先順位を決定する。例えば、体腔内部の出血の指標として用いられる赤色具合（色調：赤）が特徴として指定されると、各領域の画像は、特徴量である赤色具合が多い程、画像の優先度が高く設定される。なお、特徴量としては、色の具合（程度）以外にも、その色の具合（濃度）に加え、その色部分（色領域）の面積などを用いることも可能であり、さらに、それらの値をかけ合わせた数値（濃度×色領域）を用いることも可能である。
【００３２】
画像生成部１６は、領域分割部１３により分割された領域単位で、その領域に分類された複数の画像である画像群を、器官の進行方向の位置順もしくは撮像された時間順に並び替え、さらに、その領域ごとの画像群を各領域が並ぶ順番に並べ一覧画像を生成し、すなわち、器官の延伸方向の位置を横軸に、各領域に分類された画像群（もしくは枚数）を縦軸としてヒストグラム状に並べ、第１のヒストグラム画像を生成する。また、画像生成部１６は、前述の並び替えを優先度の高い順にかえて前述同様に処理を行って一覧画像、すなわち、優先度に基づく第２のヒストグラム画像（表示画像）も生成する。さらに、画像生成部１６は、ユーザによって指定された領域内の画像群を用いて、その領域内の任意方向の画像を合成し、診断画像となる合成画像を生成する。
【００３３】
なお、前述の処理部４ｄは、電気回路などのハードウエアで構成されても良く、あるいは、これらの機能を実行するプログラムなどのソフトウエアで構成されても良く、また、それらの両方の組合せにより構成されても良い。
【００３４】
表示部４ｅは、処理部４ｄから送信されたヒストグラム画像や合成画像、その他画像など、各種画像をカラー表示する表示装置である。この表示部４ｅとしては、例えば液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイなどが用いられる。
【００３５】
操作部４ｆは、医師などのユーザにより入力操作され、画像表示や画像の切り替え、設定変更などの各種の入力操作を受け付ける入力部である。この操作部４ｆとしては、例えばマウスやキーボードなどの入力デバイスが用いられる。
【００３６】
次に、前述の医用画像表示装置４が行う画像表示処理について詳しく説明する。医師などのユーザが操作部４ｆを入力操作して画像表示処理の実行を指示すると、以下の処理が実行される。なお、ここでは、管状の器官の一例として消化管（例えば、腸管）に対する処理について説明する。
【００３７】
図２に示すように、まず、取得部４ｃでは、記憶部４ｂからカプセル内視鏡２により撮像された撮像画像、そのカプセル内視鏡２の撮像位置及び撮像姿勢を読み込む（ステップＳ１）。
【００３８】
このステップＳ１では、カプセル内視鏡２により撮像された全画像が記憶部４ｂから読み込まれ、さらに、カプセル内視鏡２の撮像位置及び撮像姿勢も記憶部４ｂから全画像分読み込まれる。
【００３９】
ステップＳ１の処理後、処理部４ｄの撮像軌跡算出部１１では、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像位置及び撮像姿勢を用いて、カプセル内視鏡２の軌跡及び撮像方向を算出する（ステップＳ２）。
【００４０】
このステップＳ２では、図３に示すように、まず、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像位置を時系列にたどり、カプセル内視鏡２の軌跡Ｌ１を算出し、さらに、取得部４ｃにより読み込まれたカプセル内視鏡２の撮像姿勢を用いて、そのカプセル内視鏡２の軌跡Ｌ１に沿った各撮像位置でカプセル内視鏡２が向いていた方向を撮像方向Ｄ１として算出する。
【００４１】
図２に戻り、ステップＳ２の処理後、処理部４ｄの画像位置算出部１２では、撮像軌跡算出部１１から入力されたカプセル内視鏡２の軌跡Ｌ１及び撮像方向Ｄ１を用いて、消化管に対する画像の位置を算出する（ステップＳ３）。
【００４２】
このステップＳ３では、図４に示すように、まず、撮像軌跡算出部１１で算出されたカプセル内視鏡２の軌跡Ｌ１を芯線（中心線）とし、任意の管径を持つ消化管モデルＭ１を作成する。次に、カプセル内視鏡２の撮像位置（画像を撮像したときの位置）とその撮像位置での撮像方向Ｄ１から消化管モデルＭ１の内壁上の撮像領域Ｆ１を求め、その撮像領域Ｆ１の位置に応じて、撮像された画像が消化管モデルＭ１上のどこに位置しているか推定し、消化管モデルＭ１と画像との位置を対応付けすることで、消化管に対する画像の位置を特定する。
【００４３】
前述の消化管モデルＭ１の生成では、消化管モデルＭ１の管径を算出するため、例えば消化管の太さ（年齢や体格に応じた平均的な太さ、あるいは、他の検査から得られた患者固有の太さ）などの情報が用いられる。この情報は予め記憶部４ｂに記憶されている。また、撮像領域Ｆ１の算出では、前述の消化管の太さなどの情報に加え、カプセル内視鏡２の視野角の情報も用いられる。この視野角の情報は前述の消化管の太さなどの情報と共に予め記憶部４ｂに記憶されている。例えば、撮像領域Ｆ１を算出する際には、前述の消化管の太さなどの情報を用いて撮像位置から消化管の内壁までの撮像方向Ｄ１に沿った距離（被写体距離）を算出し、その被写体距離と前述の視野角に基づいて、撮像視野、すなわち撮像領域Ｆ１を求める。
【００４４】
ここで、前述の消化管モデルＭ１の作成において、カプセル内視鏡２が同じ位置で方向を変えて滞留し、軌跡Ｌ１が同じ場所で上下左右に移動する場合には、平均位置もしくは中心位置を芯線上の点として算出し直して用いても良い。また、消化管モデルＭ１の管径を算出する場合には、前述の消化管の太さ情報ではなく、同じ場所でカプセル内視鏡２が移動する場合の移動可能な上下及び左右の範囲で推測しても良い。また、撮像画像の位置算出においては、周辺の画像と画像内の形状などの特徴を用いて位置の補正を行っても良い。
【００４５】
図２に戻り、ステップＳ３の処理後、処理部４ｄの領域分割部１３では、画像位置算出部１２により作成された消化管モデルＭ１を延伸方向に沿って任意の距離で領域分割する（ステップＳ４）。
【００４６】
このステップＳ４では、図５に示すように、作成された消化管モデルＭ１をその延伸方向、すなわちカプセル内視鏡２の軌跡Ｌ１に沿って任意の距離、例えば、所定の等間隔で領域分割する。これにより、消化管モデルＭ１は複数の領域Ａｎ（ｎは自然数である）に分割されることになる。なお、この領域分割は、ユーザにより分割位置（例えば、分割間隔など）が変更されると、再度行われる。
【００４７】
図２に戻り、ステップＳ４の処理後、処理部４ｄの画像分類部１４では、領域分割部１３により分割された各領域Ａｎに対し、取得部４ｃにより読み込まれた画像を分類する（ステップＳ５）。
【００４８】
このステップＳ５では、画像位置算出部１２により得られた消化管モデルＭ１に対する画像の位置情報を基に、分割された領域Ａｎごとに、その領域Ａｎ内に存在する画像を抽出し、その領域Ａｎに属する画像群として分類する。ただし、画像はその領域に一枚だけ存在する場合や存在しない場合もある。なお、この画像分類は、前述の領域分割が再度行われると、それに応じて再度行われる。
【００４９】
ここで、前述の画像分類において、ある画像の撮像領域Ｆ１が複数の領域Ａｎに属する場合（例えば、二つの領域Ａｎにまたがる場合）には、両方にもしくは領域Ａｎを占める割合が大きい方に分類されるなどの処理が行われる。なお、この分類の際の境界条件はユーザにより任意に指定されるようにしても良い。
【００５０】
ステップＳ５の処理後、処理部４ｄの画像生成部１６では、消化管の延伸方向の位置を基準に、領域Ａｎごとに画像Ｇ１ａを並べて示す第１のヒストグラム画像Ｇ１を生成し、表示部４ｅでは、その第１のヒストグラム画像Ｇ１を表示する（ステップＳ６）。
【００５１】
このステップＳ６では、領域分割部１３により分割された領域Ａｎごとに、その領域Ａｎに分類された画像群を消化管の進行方向の位置順もしくは撮像された時間順に並び替え、さらに、その領域Ａｎごとの画像群を各領域Ａｎが並ぶ順番に並べて一覧画像を生成し、すなわち、消化管の延伸方向の位置を横軸に、各領域Ａｎに分類された画像群を縦軸としてヒストグラム状に並べ、図６に示すように、第１のヒストグラム画像Ｇ１を生成する。
【００５２】
ここで、図６には、第１のヒストグラム画像Ｇ１の一例が示されており、領域Ａｎごとの画像Ｇ１ａが縦方向に並び、さらに、その領域Ａｎごとの画像群は横方向に各領域Ａｎが並ぶ順番で並んでいる。なお、図６では、左から右に向かう方向が消化管の進行方向である。この図６の内視鏡検査画面には、第１のヒストグラム画像Ｇ１と一緒に、消化管モデルＭ１を示す消化管モデル画像Ｇ２が示されている。この消化管モデル画像Ｇ２には、カプセル内視鏡２の軌跡Ｌ１及び消化管の分割位置なども示されている。
【００５３】
その後、ユーザは前述の内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図６中の操作パネルをマウスなどにより操作して、確認したい特徴を指定し、さらに、第１のヒストグラム画像Ｇ１から診断用に用いる画像の範囲（枚数）を選択して指定する。これらの指定値は、取得部４ｃにより読み込まれ、優先度決定部１５や画像生成部１６により用いられる。なお、前述の画像範囲の指定では、例えば、ユーザが操作部４ｆを入力操作し、第１のヒストグラム画像Ｇ１から直接表示の対象とする画像を選択したり、消化管モデル画像Ｇ２上に消化管モデルＭ１内の任意範囲を指定して表示の対象とする画像を選択したりすることが可能である。
【００５４】
図２に戻り、ステップＳ６の処理後、対象とする特徴及び画像が指定されたか否かが判断され（ステップＳ７）、その判断は特徴及び画像が指定されるまで繰り返される（ステップＳ７のＮＯ）。前述のユーザによる指定に応じて、対象とする特徴及び画像が指定されたと判断されると（ステップＳ７）、優先度決定部１５では、指定された特徴に基づいて、指定された画像を対象に特徴抽出を行い、特徴量に従って領域ごとに画像の優先度を決定する（ステップＳ８）。
【００５５】
このステップ８では、指定された画像から特徴を抽出し、その特徴量に応じて画像を表示する優先度を決定する。例えば、体腔内部の出血の指標として用いられる赤色具合（色調：赤）が特徴として指定された場合には、各領域Ａｎの画像は、特徴量である赤色具合が高い程、画像の優先度が高く決定される。すなわち、その優先度は、赤色具合が最も高い画像を一番手前に、その一番手前の画像から奥に向かって順次赤色具合が低い画像を表示するように決定される。
【００５６】
なお、疾患の種類により組織が黄色に変色するもの、あるいは、黒っぽくなるものがあるため、それらの特徴を確認したい場合には、色調の黄色又は黒を特徴として指定しても良い。また、形状の特徴として消化管の延伸方向に垂直な断面を示す画像上での管輪郭の凹凸（円形からの凹み具合など）を特徴として指定し、管狭窄の指標として凹み具合の多いものを優先度の高い画像としても良い。また、分割した領域Ａｎ内でのカプセル内視鏡２の滞留時間を特徴として指定し、カプセル内視鏡２の通り難い領域もしくは管狭窄の指標としてユーザに提示しても良い。複数の特徴が指定された場合には、任意の計算方法で複数の特徴量を用いて優先度を決定し、画像の並び替えを行わずにバロメータ画像の表示でその度合いを提示しても良い。ただし、このバロメータ画像の表示は、時間軸に沿ってバロメータ画像を表示する既存方法とは異なり、消化管の延伸方向の位置を基準としたバロメータ画像の表示である。
【００５７】
ステップＳ８の処理後、消化管の延伸方向の位置を基準に、領域ごとに優先度が高い順に画像を並べて示す第２のヒストグラム画像Ｇ３を生成し、表示部４ｅでは、その第２のヒストグラム画像Ｇ３を表示する（ステップＳ９）。
【００５８】
このステップＳ９では、領域分割部１３により分割された領域Ａｎごとに、その領域Ａｎに分類された画像群を優先度決定部１５により算出された優先度の高い順に並び替え、さらに、その領域Ａｎごとの画像群を各領域Ａｎが並ぶ順番に並べて一覧画像を生成し、すなわち、消化管の延伸方向の位置を横軸に、各領域Ａｎに分類されて優先度順に並ぶ画像群を縦軸としてヒストグラム状に並べ、図７に示すように、優先度に基づく第２のヒストグラム画像Ｇ３を生成する。なお、特徴が複数指定された場合には、特徴ごとに画像群の個々の優先度を決定し、その後、領域Ａｎ内の画像群を特徴ごとに分類して前述と同じように第２のヒストグラム画像Ｇ３を生成する。
【００５９】
ここで、図７には、第２のヒストグラム画像Ｇ３の一例が示されており、この第２のヒストグラム画像Ｇ３では、異なる二つの特徴（特徴１及び特徴２）ごとに表示範囲が存在し、特徴１に関する表示範囲Ｒ１と、特徴２に関する表示範囲Ｒ２とが存在する。このような表示範囲は指定される特徴の数に応じて自動的に設定される。領域Ａｎごとの画像Ｇ１ａは、表示範囲Ｒ１において特徴１に基づく優先度順に縦方向に並び、表示範囲Ｒ２において特徴２に基づく優先度順に縦方向に並んでいる。さらに、その領域Ａｎごとの画像群は横方向に各領域Ａｎが並ぶ順番で並んでいる。なお、図７では、左から右に向かう方向が消化管の進行方向であり、また、特徴ごとに優先度が高い画像が一番手前に存在し、優先度が低くなるほど奥に画像が位置する。
【００６０】
この図７の内視鏡検査画面には、前述の第２のヒストグラム画像Ｇ３と一緒に、消化管モデルＭ１を示す消化管モデル画像Ｇ２が示されており、さらに、消化管の延伸方向の優先度あるいは画像の枚数を色の濃度差で示すバロメータ画像Ｇ４が示されている。なお、消化管モデル画像Ｇ２は、仮想器官としての消化管モデルＭ１を示す仮想器官画像である。
【００６１】
ここで、異なる二つの特徴（特徴１及び特徴２）が指定された場合には、特徴１及び特徴２のどちらか一方に関するバロメータ画像Ｇ４が表示されており、ユーザが操作部４ｆを入力操作すると、他方の特徴に関するバロメータ画像に切り替えられる。これは、二つのバロメータ画像を同時に表示するスペースが内視鏡検査画面に無い場合などに有効であり、特徴１及び特徴２のどちらのバロメータ画像も確認することが可能となる。もちろん、この切替表示ではなく、特徴１及び特徴２の両方のバロメータ画像を同時に表示するスペースが内視鏡検査画面にある場合には、特徴１及び特徴２の両方のバロメータ画像を予め表示するようにしても良い。
【００６２】
その後、ユーザは前述の内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図７中の操作パネルをマウスなどにより操作して、確認したい領域Ａｎ内の任意方向を指定する。この指定値は、取得部４ｃにより読み込まれて画像生成部１６により用いられる。なお、領域Ａｎ内の任意方向の指定では、例えば、ユーザが操作部４ｆを入力操作し、第２のヒストグラム画像Ｇ３から表示の対象とする領域Ａｎ内の画像群を選択し、その領域Ａｎ内の任意方向を選択する。
【００６３】
図２に戻り、ステップＳ９の処理後、領域Ａｎ内の任意方向が指定されたか否かが判断され（ステップＳ１０）、その判断は領域Ａｎ内の任意方向が指定されるまで繰り返される（ステップＳ１０のＮＯ）。前述のユーザによる指定に応じて、任意方向が指定されたと判断されると（ステップＳ１０のＹＥＳ）、画像生成部１６では、指定された任意方向に応じ、領域Ａｎ内の画像群を合成して合成画像Ｇ５を生成し、表示部４ｅでは、その合成画像Ｇ５を前述の第２のヒストグラム画像Ｇ３と共に表示し（ステップＳ１１）、処理をステップＳ７に戻す。
【００６４】
このステップＳ１１では、ユーザにより領域Ａｎ内の見たい方向が指定されると、その領域Ａｎ内に存在する画像を用いて、見たい方向の画像を連結し、図７に示すように、合成画像Ｇ５を生成する。このとき、使用される画像はユーザが選択した画像としても良く、また、同じ領域Ａｎの画像が複数枚選択されている場合には、指定された特徴の優先度が高い画像、もしくは、特徴量の高い画素を用いて、合成画像Ｇ５を作成しても良い。
【００６５】
ここで、図７の内視鏡検査画面には、診断画像となる合成画像Ｇ５の一例が示されており、赤色の特徴Ｔ１が示されている。さらに、合成画像Ｇ５には、特徴１の特徴量が数値として示されている。この特徴量は優先度決定部１５により求められている数値である。合成画像Ｇ５は奥行き感が有する画像であり、その画像の拡大なども可能である。なお、合成画像Ｇ５は前述の見たい方向が変更されると、それに応じて再生成される。このため、合成画像Ｇ５は、消化管の芯線を中心として任意の領域Ａｎの内壁を３６０度示すパノラマ画像として機能するので、ユーザは自由に見たい方向を変更して読影を行うことが可能である。
【００６６】
その後、ユーザが内視鏡検査画面を見ながら操作部４ｆを入力操作し、例えば、図７中の操作パネルをマウスなどにより操作して、確認したい特徴や診断用に用いる画像を変更すると、ステップＳ７以降の処理が行われ、新たなヒストグラム画像Ｇ３や合成画像Ｇ５が生成されて表示される。この再表示処理は確認したい特徴や診断用に用いる画像の変更に応じて繰り返されることになる。また、ユーザが操作部４ｆを入力操作して表示終了が指示されると、前述の画像表示処理は終了される。
【００６７】
このように画像表示処理では、第２のヒストグラム画像Ｇ３が診断画像となる合成画像Ｇ５と共に表示部４ｅにより表示されてユーザに提示される。つまり、ユーザが確認したい特徴に基づいて画像の優先度が決定され、異常と思われる画像が優先的に表示される。さらに、確認したい特徴を顕著に示す合成画像Ｇ５も作成されて提示される。これにより、読影する画像枚数を少なくすることが可能であるうえ、確認したい特徴及びその値を一枚の合成画像Ｇ５上で確認することが可能になる。これにより、読影に要する読影時間及び読影者の労力的な負担が少ないカプセル内視鏡検査を行うことができる。
【００６８】
以上説明したように、本実施形態によれば、領域Ａｎごとにその領域Ａｎ内の画像群の個々の優先度に応じて領域Ａｎ内の画像群を並べ、さらに、領域Ａｎごとの画像群を領域Ａｎの並び順に並べて第２のヒストグラム画像Ｇ３を生成し、その第２のヒストグラム画像Ｇ３を診断画像となる合成画像Ｇ５と共に表示部４ｅにより表示する。これにより、診断画像内の特徴領域や特徴量を確認することが容易となることに加え、診断画像の生成に使われた画像や指定した特徴外の病理所見の漏れがないかを確認することが可能となるので、読影に要する読影時間及び読影者の労力的な負担を減らすことができる。
【００６９】
また、画像ごとに画像における種類が異なる複数の特徴量を抽出し、領域Ａｎ及び特徴量の種類ごとに画像の特徴量に応じて領域Ａｎ内の画像群の各々の優先度を決定し、領域Ａｎ及び特徴量の種類ごとに、領域Ａｎ内の画像群の個々の画像の優先度に応じて領域Ａｎ内の画像群を並べ、領域Ａｎごとの画像群を領域Ａｎが並ぶ順番に並べて第２のヒストグラム画像Ｇ３を生成することによって、異なる複数の特徴が指定された場合でも、特徴ごとに画像の優先度に応じて画像が並べられるので、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。
【００７０】
また、複数の領域Ａｎのうち同じ領域Ａｎに分類された複数の画像を合成し、任意方向の合成画像Ｇ５を生成して表示することによって、指定された特徴を顕著に示す合成画像Ｇ５を作成して提示することが可能になるため、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。なお、より優先度が高い画像を用いて任意方向の合成画像Ｇ５を作成することが望ましい。
【００７１】
また、画像ごとのカプセル内視鏡２の撮像位置に基づいて管状の器官の延伸方向に延びる器官の芯線を求め、求めた芯線を軸心とする管状の仮想器官を求め、求めた仮想器官をその延伸方向に沿って複数の領域Ａｎに分割することによって、実際の器官経路に則した分割を行うことが可能になるので、より正確な領域分割を実現することができる。
【００７２】
また、画像ごとにカプセル内視鏡２の撮像位置及び撮像姿勢を用いて撮像位置を基準とするカプセル内視鏡２の撮像領域Ｆ１を求め、求めた画像ごとのカプセル内視鏡２の撮像領域Ｆ１に応じて器官に対する画像の位置を決定し、各領域Ａｎに対して複数の画像を分類することによって、各画像を正確に各領域Ａｎに分類することが可能となり、より正確な読影を行うことができる。なお、この分類方法としては、カプセル内視鏡２の撮像領域Ｆ１を用いること以外にも、カプセル内視鏡２の撮像姿勢に基づいて撮像位置を基準とする撮像方向Ｈ１を求め、その撮像位置から撮像方向Ｈ１に延びる直線（撮像方向ベクトル）と、管状の器官の内壁との交点を用いるようにしても良い。ただし、管状の器官には多数の湾曲部分が存在しているため、前述の撮像領域Ｆ１を用いた方が分類精度は高くなる。
【００７３】
なお、分割した領域Ａｎ内でのカプセル内視鏡２の滞留時間を特徴として指定し、その滞留時間をカプセル内視鏡２の通り難い位置もしくは管狭窄の指標として、器官の延伸方向の位置を基準に各撮像位置での滞留時間を表示してユーザに提示した場合には、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。このときの画像表示処理では、処理部４ｄが領域Ａｎごとにカプセル内視鏡２の滞留時間を算出する滞留時間算出部として機能し、画像生成部１６は領域Ａｎごとに器官の延伸方向に沿って滞留時間を示す滞留時間画像を生成し、表示部４ｅがその滞留時間画像を表示することになる。これにより、カプセル内視鏡２の各撮像位置での滞留時間が器官の延伸方向の位置を基準に表示される。
【００７４】
また、前述の実施形態においては、消化管モデル画像Ｇ２に、消化管モデルＭ１に加えてカプセル内視鏡２の軌跡Ｌ１や分割位置を示しているが、これに限るものではなく、例えば、消化管モデルＭ１上で画像が存在する箇所あるいは存在しない箇所を色やグラデーション、パターンなどの表示により示すようにしても良い。この場合には、消化管モデルＭ１に対する撮像領域や非撮像領域を容易に把握することが可能となるので、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。また、ステップＳ７で指定した現在の画像範囲を色やグラデーション、パターンなどの表示により消化管モデルＭ１上に示すようにしても良い。この場合には、指定した現在の画像範囲が一目でわかるため、読影対象領域を容易に把握することが可能となり、読影効率を向上させることができ、その結果、読影時間及び読影者の労力的な負担を減らすことができる。
【００７５】
以上、本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
２ カプセル内視鏡
４ 医用画像表示装置
４ｃ 取得部
４ｄ 処理部
４ｅ 表示部
１３ 領域分割部
１４ 画像分類部
１５ 優先度決定部
１６ 画像生成部
Ａｎ 領域
Ｆ１ 撮像領域
Ｇ１ａ 画像
Ｇ２ 消化管モデル画像
Ｇ３ ヒストグラム画像
Ｇ５ 合成画像
Ｍ１ 消化管モデル
【特許請求の範囲】
【請求項１】
管状の器官内を移動して時系列で撮像する器官内撮像装置により撮像された複数の画像と、前記画像ごとの前記器官内撮像装置の撮像位置及び撮像姿勢を取得する取得部と、
前記器官をその延伸方向に沿って複数の領域に分割する領域分割部と、
前記画像ごとに前記器官内撮像装置の撮像位置及び撮像姿勢を用いて前記器官に対する前記画像の位置を決定し、前記複数の領域に対して前記複数の画像を分類する画像分類部と、
前記画像ごとに前記画像の特徴量を抽出し、前記領域ごとに前記画像の特徴量に応じて前記領域内の各画像の優先度を決定する優先度決定部と、
前記領域ごとに前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べた表示画像を生成する画像生成部と、
前記表示画像を表示する表示部と、
を備えることを特徴とする医用画像表示装置。
【請求項２】
前記画像生成部は、前記表示画像として、前記領域ごとに前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べ、前記領域ごとの画像群を前記領域が並ぶ順番に並べた表示画像を生成することを特徴とする請求項１記載の医用画像表示装置。
【請求項３】
前記優先度決定部は、前記画像ごとに前記画像における種類が異なる複数の特徴量を抽出し、前記領域及び前記特徴量の種類ごとに前記画像の特徴量に応じて前記領域内の各画像の優先度を決定し、
前記画像生成部は、前記表示画像として、前記領域及び前記特徴量の種類ごとに、前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べ、前記領域ごとの画像群を前記領域が並ぶ順番に並べた表示画像を生成することを特徴とする請求項１又は２記載の医用画像表示装置。
【請求項４】
前記画像生成部は、前記複数の領域のうち同じ領域に分類された複数の画像を合成して任意方向の合成画像を生成し、
前記表示部は、前記合成画像を表示することを特徴とする請求項１ないし３のいずれか一に記載の医用画像表示装置。
【請求項５】
前記領域ごとに前記器官内撮像装置の滞留時間を算出する滞留時間算出部を備え、
前記画像生成部は、前記領域ごとに前記器官の延伸方向に沿って前記滞留時間を示す滞留時間画像を生成し、
前記表示部は、前記滞留時間画像を表示することを特徴とする請求項１ないし４のいずれか一に記載の医用画像表示装置。
【請求項６】
前記領域分割部は、前記画像ごとの前記器官内撮像装置の撮像位置に基づいて前記器官の延伸方向に延びる前記器官の芯線を求め、求めた前記芯線を軸心とする管状の仮想器官を求め、求めた前記仮想器官をその延伸方向に沿って前記複数の領域に分割することを特徴とする請求項１ないし５のいずれか一に記載の医用画像表示装置。
【請求項７】
前記画像分類部は、前記画像ごとに前記器官内撮像装置の撮像位置及び撮像姿勢を用いてその撮像位置を基準とする前記器官内撮像装置の撮像領域を求め、求めた前記画像ごとの前記器官内撮像装置の撮像領域に応じて前記器官に対する前記画像の位置を決定し、前記複数の領域に対して前記複数の画像を分類することを特徴とする請求項１ないし６のいずれか一に記載の医用画像表示装置。
【請求項８】
前記画像生成部は、前記仮想器官及び前記器官の芯線、前記仮想器官の分割位置を示す仮想器官画像を生成し、
前記表示部は、前記仮想器官画像を表示することを特徴とする請求項６記載の医用画像表示装置。
【請求項９】
前記画像生成部は、前記仮想器官画像として、前記仮想器官及び前記器官の芯線、前記仮想器官の分割位置に加え、前記仮想器官上で前記画像が存在する又は存在しない箇所を示す仮想器官画像を生成することを特徴とする請求項８記載の医用画像表示装置。
【請求項１】
管状の器官内を移動して時系列で撮像する器官内撮像装置により撮像された複数の画像と、前記画像ごとの前記器官内撮像装置の撮像位置及び撮像姿勢を取得する取得部と、
前記器官をその延伸方向に沿って複数の領域に分割する領域分割部と、
前記画像ごとに前記器官内撮像装置の撮像位置及び撮像姿勢を用いて前記器官に対する前記画像の位置を決定し、前記複数の領域に対して前記複数の画像を分類する画像分類部と、
前記画像ごとに前記画像の特徴量を抽出し、前記領域ごとに前記画像の特徴量に応じて前記領域内の各画像の優先度を決定する優先度決定部と、
前記領域ごとに前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べた表示画像を生成する画像生成部と、
前記表示画像を表示する表示部と、
を備えることを特徴とする医用画像表示装置。
【請求項２】
前記画像生成部は、前記表示画像として、前記領域ごとに前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べ、前記領域ごとの画像群を前記領域が並ぶ順番に並べた表示画像を生成することを特徴とする請求項１記載の医用画像表示装置。
【請求項３】
前記優先度決定部は、前記画像ごとに前記画像における種類が異なる複数の特徴量を抽出し、前記領域及び前記特徴量の種類ごとに前記画像の特徴量に応じて前記領域内の各画像の優先度を決定し、
前記画像生成部は、前記表示画像として、前記領域及び前記特徴量の種類ごとに、前記領域内の各画像の優先度に応じて前記領域内の複数の画像を並べ、前記領域ごとの画像群を前記領域が並ぶ順番に並べた表示画像を生成することを特徴とする請求項１又は２記載の医用画像表示装置。
【請求項４】
前記画像生成部は、前記複数の領域のうち同じ領域に分類された複数の画像を合成して任意方向の合成画像を生成し、
前記表示部は、前記合成画像を表示することを特徴とする請求項１ないし３のいずれか一に記載の医用画像表示装置。
【請求項５】
前記領域ごとに前記器官内撮像装置の滞留時間を算出する滞留時間算出部を備え、
前記画像生成部は、前記領域ごとに前記器官の延伸方向に沿って前記滞留時間を示す滞留時間画像を生成し、
前記表示部は、前記滞留時間画像を表示することを特徴とする請求項１ないし４のいずれか一に記載の医用画像表示装置。
【請求項６】
前記領域分割部は、前記画像ごとの前記器官内撮像装置の撮像位置に基づいて前記器官の延伸方向に延びる前記器官の芯線を求め、求めた前記芯線を軸心とする管状の仮想器官を求め、求めた前記仮想器官をその延伸方向に沿って前記複数の領域に分割することを特徴とする請求項１ないし５のいずれか一に記載の医用画像表示装置。
【請求項７】
前記画像分類部は、前記画像ごとに前記器官内撮像装置の撮像位置及び撮像姿勢を用いてその撮像位置を基準とする前記器官内撮像装置の撮像領域を求め、求めた前記画像ごとの前記器官内撮像装置の撮像領域に応じて前記器官に対する前記画像の位置を決定し、前記複数の領域に対して前記複数の画像を分類することを特徴とする請求項１ないし６のいずれか一に記載の医用画像表示装置。
【請求項８】
前記画像生成部は、前記仮想器官及び前記器官の芯線、前記仮想器官の分割位置を示す仮想器官画像を生成し、
前記表示部は、前記仮想器官画像を表示することを特徴とする請求項６記載の医用画像表示装置。
【請求項９】
前記画像生成部は、前記仮想器官画像として、前記仮想器官及び前記器官の芯線、前記仮想器官の分割位置に加え、前記仮想器官上で前記画像が存在する又は存在しない箇所を示す仮想器官画像を生成することを特徴とする請求項８記載の医用画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８５５９３（Ｐ２０１３−８５５９３Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６４８５（Ｐ２０１１−２２６４８５）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]