画像処理装置、画像処理方法及び画像処理プログラム
【課題】熟練者でなくとも、超音波診断装置によって測定対象物の情報を効率よく取得することを可能とする画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【解決手段】本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波診断により得られる画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムの技術に関する。
【背景技術】
【０００２】
幅広く用いられている診断方法として、超音波診断法が挙げられる。超音波診断法とは、医師が超音波プローブを手に持ち、患者の体表に押し当てるだけで生体内部の断層像や血流の情報が得られる診断方法である。超音波診断法は、その利便性と非侵襲性により幅広く用いられている。
【０００３】
また、近年、当該診断方法に用いられる超音波診断装置の小型化により、被災地や患者宅等、場所を選ばない診断が可能になりつつある。非特許文献１では、このような超音波診断装置により得られる断層像により、撮像対象臓器の３次元形状を構成する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】吉永 崇、宮崎 航、田口 侑人、酒井 太郎、桝田 晃司、「ポータブル超音波診断装置に搭載可能な心臓の３次元計測システムの開発」、生体医工学、2010年2月、vol.48、No.1、pp.33-41
【非特許文献２】酒井 太郎、吉永 崇、今井 崇雄、桝田 晃司、「動画像からの左心室壁形状抽出による超音波画像取得補助システムの開発」、電気学会論文誌Ｃ、vol.129、No.12、pp.2180-2188、2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、被災地等における緊急性、及び、生体に対する超音波の悪影響を考慮すると、熟練者でなくても測定対象物の情報（例えば、撮像対象の臓器の断層像）を効率よく取得することが求められる。
【０００６】
しかしながら、現状の技術では、熟練者でなければ、撮像対象の臓器の断層像を効率よく取得することはできない。その理由は、超音波診断装置の特性による。超音波診断装置は、空気及び骨等の障害物が存在すると、撮像対象の臓器の断層像を取得できなくなる。そのため、作業者は、臓器及び障害物の空間的な位置関係を把握しなければ、撮像対象の臓器の断層像を効率よく取得することはできない。また、臓器及び障害物は、循環器、腹部、産科等、専門によって異なる。そのため、たとえある臓器の専門家であっても、専門外の臓器については、撮像対象の臓器の断層像を効率よく取得することはできない。したがって、撮像対象の臓器の断層像を効率よく取得するためには、多くの経験により熟練することが求められる。
【０００７】
この点は、上記非特許文献１において開示される技術でも解決することはできない。なぜなら、上記非特許文献１において開示される技術においても、臓器の空間的な位置関係を把握しなければならないことに変わりがないためである。
【０００８】
本発明は、このような点を考慮してなされたものであり、熟練者でなくとも、超音波診断装置によって測定対象物の情報を効率よく取得することを可能とする画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【００１０】
すなわち、本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【００１１】
上記構成によれば、超音波プローブにより取得される情報から抽出される測定対象物の輪郭が、当該輪郭の実空間上の位置に対応付けられて取得される。そして、取得された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域が求められる。当該未検査領域は、輪郭と輪郭の間の領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、このように求められた領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応付けて描画した画像が生成される。これにより、上記構成によれば、生成される画像によって、作業者は、実空間上の位置関係に基づいて、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす、輪郭が取得されていない領域を知ることができる。したがって、上記構成によれば、生成される画像によって輪郭が取得されていない上記所定条件を満たす領域を知ることができるため、作業者は熟練者でなくても、超音波診断装置によって臓器の断層像を効率よく取得することが可能となる。
【００１２】
また、本発明の別の形態として、上記所定条件を満たす領域は、隣り合う輪郭の間隔が所定の値を超えた領域であってもよい。
【００１３】
上記構成によれば、画像生成部により生成される画像によって表示される領域は、隣り合う輪郭の間隔が所定の値を超えた領域である。つまり、取得された輪郭と輪郭の間が所定の長さを超えている領域が、生成される画像によって表示される。これにより、上記構成によれば、作業者は、生成される画像によって、取得された輪郭と輪郭の間が所定の長さを超えている領域を知ることができる。そして、このような取得された輪郭と輪郭の間が所定の長さを超えている領域を知ることで、作業者は、まんべんなく測定対象物の輪郭を取得することが可能となる。したがって、上記構成によれば、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００１４】
また、本発明の別の形態として、上記所定条件を満たす領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域であってもよい。
【００１５】
上記構成によれば、画像生成部により生成される画像によって表示される領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域である。つまり、隣り合う輪郭の間隔が長いものから順に所定番目までの領域が、生成される画像によって表示される。これにより、上記構成によれば、作業者は、生成される画像によって、隣り合う輪郭の間隔が長いものから順に所定番目までの領域を知ることができる。そして、このような領域を知ることで、作業者は、まんべんなく測定対象物の輪郭を取得することが可能となる。したがって、上記構成によれば、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００１６】
また、本発明の別の形態として、上記実空間上の位置を認識させる画像は、超音波プローブを示した画像であってもよい。
【００１７】
上記構成によれば、作業者は、超音波プローブの位置をもとに実空間上の位置を知ることができる。
【００１８】
また、本発明の別の形態として、上記実空間上の位置を認識させる画像は、カメラにより取得される実空間の画像であってもよい。
【００１９】
上記構成によれば、作業者は、カメラにより取得される実空間の画像をもとに実空間上の位置を知ることができる。
【００２０】
また、本発明の別の形態として、上記画像処理装置は、輪郭取得部により取得された輪郭から測定対象物の三次元形状を推定する形状推定部と、形状推定部により推定された測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、を更に備えてもよい。そして、上記画像生成部は、上記画像上に更に、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画してもよい。
【００２１】
上記構成によれば、輪郭取得部により取得された輪郭から測定対象物の三次元形状が推定される。そして、当該測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域が求められる。この未検査領域は、取得済みの輪郭に挟まれた輪郭存在領域の外側領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画した画像が生成される。これにより、作業者は、生成される画像によって、測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を知ることができる。
【００２２】
また、本発明の別の形態として、本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭取得部により取得された輪郭から測定対象物の三次元形状を推定する形状推定部と、形状推定部により推定された測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【００２３】
上記構成によれば、超音波プローブにより取得される情報から抽出される測定対象物の輪郭が、当該輪郭の実空間上の位置に対応付けられて取得される。また、上記構成によれば、取得された輪郭から測定対象物の三次元形状が推定される。そして、当該測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域が求められる。この未検査領域は、取得済みの輪郭に挟まれた輪郭存在領域の外側領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像が生成される。これにより、上記構成によれば、生成される画像に
よって、作業者は、実空間上の位置関係に基づいて、輪郭が取得されていない領域を知ることができる。したがって、上記構成によれば、生成される画像によって輪郭が取得されていない領域を知ることができるため、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００２４】
これまでに記載した本発明の画像処理装置は、測定対象物の未検査領域の認識及び可視化を可能とする画像を作成する。これにより、作業者は、測定対象物の輪郭が取得されていない領域（特に、輪郭間であまりデータが取得されていない領域、又は、輪郭が存在する範囲の外側の領域）を知ることができる。そして、このような情報を知ることにより、作業者は、熟練者でなくても、超音波診断装置によって臓器の断層像を効率よく取得することが可能となる。
【００２５】
なお、本発明の別態様としては、以上の各構成を実現する画像処理方法であってもよいし、画像処理プログラムであってもよいし、このような画像処理プログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。また、本発明の別態様として、以上の各構成を実現する複数の装置が通信可能に構成された画像処理システムであってもよい。
【発明の効果】
【００２６】
本発明によれば、熟練者でなくとも、超音波診断装置によって測定対象物の情報を効率よく取得することを可能とする画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態に係る画像処理装置に接続される装置を例示する図。
【図２】実施の形態に係る画像処理装置の構成を例示する図。
【図３】患者体表面に対する超音波プローブの位置と姿勢をリアルタイムに計測する処理を例示する図。
【図４】超音波プローブにより取得される臓器の輪郭を例示する図。
【図５Ａ】形状構成部により推定される臓器の形状を例示する図。
【図５Ｂ】臓器の輪郭が存在する範囲により構成された凸包を例示する図。
【図６】隣り合う輪郭が１対１の関係ではない状態の一例を示す図。
【図７】生成される画像の一例。
【図８】実施の形態に係る画像処理の処理手順の一例を示したフローチャート。
【発明を実施するための形態】
【００２８】
以下に詳細に説明される画像処理装置は、本発明の一側面に係る画像処理装置、画像処理方法及び画像処理プログラムの実施の形態（以下、「本実施形態」とも表記する）である。ただし、本実施形態は例示であり、本発明は本実施形態の構成に限定されない。
【００２９】
なお、本実施形態において登場するデータを自然言語（日本語等）により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
【００３０】
§１ 本実施形態の概要
＜各装置の接続例＞
本実施形態に係る画像処理装置の処理概要について説明するために、先に、本実施形態に係る画像処理装置に接続される装置について説明する。図１は、本実施形態に係る画像処理装置に接続される装置を例示する。図１に示されるとおり、本実施形態に係る画像処理装置１は、超音波プローブ２、超音波診断装置３、カメラ４、及びディスプレイ５と接
続している。
【００３１】
超音波プローブ２は、超音波検査において用いられる探触子である。探触子は、超音波の放射する方向の違いによって、例えば、コンベックス型、セクタ型、及びリニア型と区別される。しかしながら、本実施形態における超音波プローブ２は、これらの探触子に限定されない。本実施形態では、任意の超音波プローブが用いられる。
【００３２】
作業者は、超音波プローブ２を用いて測定対象物の測定を行う。具体的には、作業者は、超音波プローブ２を測定対象物の表面に接触させることにより、当該測定対象物の測定を行う。当該測定は、超音波プローブを用いて行える測定であればよい。例えば、当該測定は、エコー検査における患者の臓器の測定である。本実施形態では、患者の臓器を、超音波プローブ２による測定対象物の例示として以下、説明する。
【００３３】
超音波プローブ２は、測定対象物に超音波を発し、その反響データを得る。そして、超音波診断装置３は、当該反響データを用いて、測定対象物の断層画像を生成する。当該断層画像の生成処理は、従来、様々な方法により行われている。よって、ここでは説明を省略する。
【００３４】
なお、超音波診断装置３は、例えば、汎用コンピュータである。例えば、超音波診断装置３は、マイクロプロセッサ又はＣＰＵ（Central Processing Unit）等の１又は複数の
プロセッサと、当該プロセッサの処理に利用される周辺回路（ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、インタフェース回路等）、及び、当該プロセッサで実行される処理で利用される各種データ及びプログラムを記憶するハードディスク等を備える。また、超音波診断装置３は、超音波プローブ２の制御を行い、及び、超音波プローブ２から反響データを得るため、超音波プローブ２を制御可能な状態で接続されるための入出力部を持つ。当該入出力部は、例えば、超音波プローブを接続するための専用ポートであってもよいし、汎用のポートであるＵＳＢ（Universal Serial Bus）であってもよい。また、超音波診断装置３は、当該断層画像を表示するためのディスプレイを備えてもよい。
【００３５】
カメラ４は、実時間における画像を取得する。また、ディスプレイ５は、画像処理装置１によって生成される画像を表示するためのモニタである。
【００３６】
なお、カメラ４及びディスプレイ５は、画像処理装置１により制御可能な状態で、画像処理装置１と接続している。そして、画像処理装置１は、超音波診断装置３により生成される断層画像を取得可能な状態で、超音波診断装置３と接続している。
【００３７】
また、本実施形態では、画像処理装置１と超音波診断装置３は別の装置であるが、それぞれの構成を含む一体のコンピュータ（例えば、ＰＣ（Personal Computer））として構
成されてもよい。また、各装置（画像処理装置１、超音波プローブ２、超音波診断装置３、カメラ４、ディスプレイ５）の動作は、本実施形態における処理に限定されないことは言うまでもない。
【００３８】
＜本実施形態に係る画像処理装置における処理概要＞
本実施形態では、作業者は、超音波プローブ２を患者の体表面に押し当てて診断することにより、臓器の輪郭を取得する。超音波プローブ２は、患者の体内に超音波を照射して反響データを取得する。そして、超音波診断装置３は、超音波プローブ２によって取得される反響データに基づいて体内の断層画像を生成する。画像処理装置１は、このように生成される断層画像を得、更に、当該断層画像内に存在する臓器の輪郭を取得する。なお、断層画像内に存在する臓器の輪郭を取得することは、例えば、非特許文献２で挙げられる
ように、従来、様々な方法により行われている。よって、ここでは説明を省略する。なお、ここで取得される臓器の輪郭は、超音波プローブ２との位置関係を示す情報を含む。以下、超音波診断装置３によって生成される体内の断層画像から取得される臓器の輪郭は、超音波プローブ２によって取得されるものとして説明する。
【００３９】
この時、画像処理装置１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。そして、画像処理装置１は、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。更に、画像処理装置１は、当該三次元空間に配置された輪郭の空間分布を元に、当該測定対象の臓器の形状を三次元モデルとして構成する。
【００４０】
そして、画像処理装置１は、輪郭の空間分布から撮像部位の偏在の有無を判定する。当該判定により、画像処理装置１は、臓器の輪郭を撮像すべき、未検査位置を認識する。その後、画像処理装置１は、当該未検査位置を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する。そして、画像処理装置１は、生成した画像をディスプレイ５上に表示する。
【００４１】
このように、本実施形態では、画像処理装置１は、超音波プローブ２及び超音波診断装置３により体内の断層画像が取得されていない位置、すなわち、臓器の輪郭が取得されていない位置を可視化して作業者に提示する画像を生成する。これにより、作業者は、臓器の輪郭が取得されていない位置を知ることができ、当該位置を超音波プローブ２によって撮像すればよいことを知ることができる。つまり、作業者は、当該画像によって、超音波プローブ２による撮像位置の誘導がなされる。したがって、本実施形態によれば、作業者は、熟練者でなくとも、超音波診断装置によって臓器の輪郭を含む断層像を効率よく取得することができる。
【００４２】
§２ 画像処理装置の構成例
次に、本実施形態に係る画像処理装置１の構成例について説明する。図２は、本実施形態における画像処理装置１の構成例を示す。画像処理装置１は、図２に示されるとおり、そのハードウェア構成として、バス１３で接続される、記憶部１１、制御部１２、入出力部１４等の既存のハードウェアを有している。
【００４３】
記憶部１１は、例えばハードディスクであり、制御部１２で実行される処理で利用される各種データ及びプログラムを記憶する。なお、記憶部１１が格納する当該各種データ及びプログラムは、ＣＤ（Compact Disc）又はＤＶＤ（Digital Versatile Disc）等の記録媒体に格納されていてもよい。そして、記憶部１１は、当該記録媒体から当該各種データ及びプログラムを取得してもよい。
【００４４】
制御部１２は、マイクロプロセッサ又はＣＰＵ等の１又は複数のプロセッサと、このプロセッサの処理に利用される周辺回路（ＲＯＭ、ＲＡＭ、インタフェース回路等）を有する。制御部１２は、記憶部１１に格納されている各種データ及びプログラムを実行することにより、本実施形態における画像処理装置１の処理を実現する。
【００４５】
入出力部１４は、画像処理装置１の外部に存在する装置とデータの送受信を行うためのインタフェースである。入出力部１４は、例えば、ＵＳＢ等、ハードウェアインタフェースとして周知のものである。また、入出力部１４は、例えば、ＩＰ（Internet Protocol
）パケット等の送受信を行う通信部として構成されてもよい。更に、入出力部１４は、複数のインタフェースであってもよい。本実施形態では、入出力部１４は、超音波診断装置３及びカメラ４から取得されるデータをそれぞれ受信する。また、入出力部１４は、ディスプレイ５に対して表示するための画像を出力する。更に、本実施形態では、入出力部１
４は、不図示のユーザインタフェース（キーボード、マウス等の入力装置）と接続している。また、入出力部１４は、ＣＤドライブ、ＤＶＤドライブ等の入出力装置と接続していてもよい。
【００４６】
なお、画像処理装置１は、ＰＣ等のような汎用コンピュータで構成されてもよい。
【００４７】
本実施形態では、画像処理装置１は、記憶部１１に格納されたデータが制御部１２によって処理されることにより、超音波プローブ２により臓器の輪郭が取得されていない位置を可視化して作業者に提示する画像を生成する。この処理を実現する記憶部１１及び制御部１２について、以下、具体的に説明する。
【００４８】
§２−１ 記憶部１１
上述のとおり、記憶部１１は、制御部１２で実行される処理で利用される各種データ及びプログラムを記憶する（不図示）。記憶部１１は、例えば、ハードディスクによって実現される。記憶部１１は、ＵＳＢメモリ等の記録媒体により実現されてもよい。本実施形態では、制御部１２で実行される処理に利用されるデータの一つとして、記憶部１１は、プローブ画像データ２１を含む。
【００４９】
プローブ画像データ２１は、制御部１２における後述する画像処理において、超音波プローブ２を描画するために用いられるデータであり、超音波プローブ２の外観や撮像範囲を示すデータである。プローブ画像データ２１は、例えば、三次元ベクトルデータ、又は、画像データである。
【００５０】
§２−２ 制御部１２
図２に示されるとおり、制御部１２は、プローブ状態取得部３１、輪郭取得部３２、形状構成部３３、外側未検査領域取得部３４、輪郭間偏在領域取得部３５、及び画像生成部３６を含む。プローブ状態取得部３１、輪郭取得部３２、形状構成部３３、外側未検査領域取得部３４、輪郭間偏在領域取得部３５、及び画像生成部３６は、記憶部１１に格納されたプログラム等が制御部１２の周辺回路であるＲＡＭ等に展開され、制御部１２のプロセッサにより実行されることによって実現される。なお、図２中の各矢印は、各機能の関連を示すに過ぎず、各機能間の通信（例えば、プロセス間通信）が当該矢印間に限定される訳ではない。また、制御部１２は、記憶部１１に格納されたプログラム等を実行することにより、入出力部１４を介して超音波診断装置３より体内の断層画像を得る。
【００５１】
＜概要＞
まず、各構成についての概要を説明する。
【００５２】
プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。そして、輪郭取得部３２は、プローブ状態取得部３１により計測されたデータを用いて、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。形状構成部３３は、輪郭取得部３２によって配置された輪郭の空間分布より、撮像対象の臓器の形状を推定して、三次元モデルとして構成する。
【００５３】
外側未検査領域取得部３４は、輪郭取得部３２によって配置された輪郭の空間分布に基づいて、臓器の輪郭が存在する範囲を求める。そして、外側未検査領域取得部３４は、形状構成部３３によって推定された撮像対象の臓器における、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、外側未検査領域取得部３４は、臓器の輪郭が存在する領域の内側と外側を認識することによって、臓器の端部側における撮像部位の偏在の有無を判定する。
【００５４】
また、輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布から、輪郭の密度が疎である領域を判定する。ここで、輪郭の密度は、隣り合う輪郭同士の間の長さに比例する。また、輪郭の密度が疎である領域とは、例えば、他の領域よりも輪郭の密度が疎である領域、又は、所定の値よりも輪郭の密度が疎である領域を示す。輪郭間偏在領域取得部３５は、このような輪郭の密度が疎である領域として、輪郭と輪郭の間の領域であって、隣り合う輪郭の間隔が所定条件を満たす領域を求める。つまり、輪郭間偏在領域取得部３５は、輪郭と輪郭の間隔から、撮像部位の偏在の有無を判定する。
【００５５】
この外側未検査領域取得部３４及び輪郭間偏在領域取得部３５による判定により、臓器の輪郭を撮像すべき、未検査位置がそれぞれ取得される。
【００５６】
画像生成部３６は、当該未検査位置を実空間の位置関係に対応させて描画した画像を生成する。なお、生成された画像は、入出力部１４より出力され、ディスプレイ５上に表示される。
【００５７】
以下、各構成について詳細に説明する。
【００５８】
＜プローブ状態取得部３１＞
プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。プローブ状態取得部３１は、当該計測を所定の方法によって行う。本実施形態では、当該方法の一例として、ARToolKit（Augmented Reality ToolKit）が用いられる。
【００５９】
ARToolKitは、拡張現実を実現するためのC言語ライブラリであり、加藤博一によって開発されたソフトウェアである。ARToolKitは、具体的には、正方形マーカを使用した画像
処理による位置合わせを行うライブラリ群、それらを適切に使用するためのパラメタ等を取得するユーティリティプログラム、及び、サンプルアプリケーションプログラムからなるソフトウェアである。
【００６０】
本実施形態では、プローブ状態取得部３１は、ARToolKitを用いて、超音波プローブ２
の位置及び姿勢を実時間（リアルタイム）処理により計測する。当該処理について、図３を用いて具体的に説明する。図３は、患者体表面に対する超音波プローブの位置と姿勢をリアルタイムに計測する処理を例示する。
【００６１】
図３に示されるとおり、超音波プローブ２にはマーカ５１が取り付けられている。また、患者の体表面にはマーカ５２が取り付けられている。プローブ状態取得部３１は、カメラ４により取得される画像を画像処理することにより、マーカ５１及びマーカ５２を認識する。そして、プローブ状態取得部３１は、カメラ４の座標系に対する両者の相対関係から、体表面に対する超音波プローブ２の位置と姿勢をリアルタイムに計測する。ここで、カメラ４に対する各マーカの位置及び姿勢は、数１に示す回転行列Rと並進行列tからなる同次変換行列Tとして得られる。
【００６２】
【数１】
この同次変換行列について、超音波プローブ２に取り付けられたマーカ５１の同次変換行列をTcpとする。また、患者に取り付けられたマーカ５２の同次変換行列をTcoとする。
そして、超音波プローブ２に取り付けられたマーカ５１の座標系の三次元座標をvpとする。また、患者に取り付けられたマーカ５２の座標系の三次元座標をvoとする。この時、vpとvoの関係式は、数２により表される。
【００６３】
【数２】
したがって、Tcp及びTcoをリアルタイムに計測することでカメラ４の位置や患者の体動に関係なく超音波プローブ２のマーカ５１の座標系における撮像対象の座標vpを、患者の体表を原点とする三次元座標voに変換することができる。すなわち、プローブ状態取得部３１は、カメラ４の位置や患者の体動に関係なく、体表面に対する超音波プローブ２の位置と姿勢をリアルタイムに計測する。
【００６４】
なお、本実施形態の別形態として、プローブ状態取得部３１は、画像処理装置１に接続可能なモーションキャプチャ装置により、実時間における超音波プローブ２の位置及び姿勢を計測してもよい。当該モーションキャプチャ装置は、光学式、機械式、磁気式、ビデオ式のいずれの方式により、実時間における超音波プローブ２の位置及び姿勢を取得してよい。本発明は、実時間における超音波プローブ２の位置及び姿勢を計測する手段によって限定されるものではない。
【００６５】
＜輪郭取得部３２＞
輪郭取得部３２は、プローブ状態取得部３１により計測されたデータを用いて、プローブ状態取得部３１により計測されたデータを用いて、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。図４は、超音波プローブ２により取得される臓器の輪郭を例示する。図４における輪郭中の点線は、輪郭の曲線が途切れた箇所を示す。図４に示されるとおり、超音波プローブ２によって取得される臓器の輪郭は、完全に繋がった曲線である場合もあれば、一部が途切れた曲線である場合もある。なお、超音波プローブ２は、空気や骨などの障害物が存在すると、臓器の輪郭を取得することはできない。この場合、輪郭取得部３２は、臓器の輪郭を取得することはできない。輪郭取得部３２は、超音波診断装置３より得た断層画像から臓器の輪郭（超音波プローブ２により取得される臓器の輪郭）を抽出し、取得する。当該処理は、上述したとおり、例えば、非特許文献２で挙げられるように、従来、様々な方法により行われているので、説明を省略する。
【００６６】
輪郭取得部３２は、超音波プローブ２により取得される臓器の輪郭を所定の形式のデータとして保持する。例えば、輪郭取得部３２は、臓器の輪郭のデータとして、当該輪郭上に位置する点の集合を保持する。当該点は、例えば、超音波プローブ２を基準とする位置座標を示すデータである。
【００６７】
そして、輪郭取得部３２は、臓器の輪郭（点の集合）を取得した時点におけるプローブ状態取得部３１により取得された超音波プローブ２の位置と姿勢を用いて、臓器の輪郭（点の集合）を実空間に対応付けて三次元空間に展開する。これにより、輪郭取得部３２は、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。つまり、輪郭取得部３２は、臓器の輪郭（点の集合）の空間分布を構成する。
【００６８】
なお、輪郭取得部３２は、超音波プローブ２により臓器の輪郭が取得できた時点における超音波プローブ２の位置及び姿勢を記憶部１１又は制御部１２のＲＡＭに格納してもよい。当該位置及び姿勢情報は、超音波プローブ２による撮像が障害物によって邪魔されな
い場所を求めるために利用することができる。
【００６９】
＜形状構成部３３＞
形状構成部３３は、輪郭取得部３２によって配置された輪郭の空間分布より、撮像対象の臓器の形状を推定して、三次元モデルとして構成する。撮像対象の臓器の形状を表現する方法は、所定の方法でよい。図５Ａは、形状構成部３４により推定される臓器の形状を例示する。
【００７０】
本実施形態では、撮像対象の臓器の形状を表現する方法として、陰関数を用いた。陰関数は、定義領域をスカラ関数f(x,y,z)で表現する。陰関数では、目的の曲面は、空間の座標値を引数とするf(x,y,z)の零等値面f(x,y,z) = 0で表される。この時、陰関数曲面は、零等値面を境として異なる符号で領域が分割される。つまり、陰関数曲面は定義領域内において曲面の内外判定を行うことができる。なお、目的の曲面は、f(x,y,z) = h（hは任
意の値）で表現してもよい。
【００７１】
形状構成部３３は、輪郭取得部３２によって構成された臓器の輪郭上の点には０、単位法線の先端の値には＋１、反対方向の輪郭内側の点には−１をそれぞれスカラ値として割り当てる。そして、形状構成部３３は、陰関数表現の手法として、RBF（Radial Basis Function）補間法を利用してボリュームデータを作成する。すなわち、形状構成部３３は、数３によって定義されたRBF補間式によって三次元空間内のスカラ値f(q)の分布を求める
。
【００７２】
【数３】
なお、Nは、輪郭上の点の総数を表す。qは三次元座標(x,y,z)である。qiは、０、＋１
、−１が割り当てられた3N個の点を表す。λi、c1〜c4は、未知係数を表す。
【００７３】
そして、形状構成部３３は、f(q) = 0に相当する部分の抽出を行い、撮像対象の臓器を構成する。本実施形態では更に、形状構成部３３は、表面形状の抽出に、ボリュームデータからの等値面の抽出に多く用いられているMC（Marching Cubes）法を使用した。そして、形状構成部３３は、対象物体の表面形状を三角形の集合体として近似した。
【００７４】
なお、先に述べたとおり、撮像対象の臓器を表現する方法は、所定の方法でよい。例えば、撮像対象の臓器を表現する方法として、三次元ベクトルデータを用いた方法が挙げられる。そして、三次元ベクトルデータによって表現された臓器を記憶部１１に複数格納し、輪郭取得部３２によって構成された臓器の輪郭の空間分布を用いたパターン認識により当該撮像対象の臓器を構成してもよい。
【００７５】
また、本実施形態では、陰関数表現の手法として、RBF補間法を用いたが、その他の補
間法を用いてもよい。例えば、陰関数表現のその他の手法として、CSRBF（Compactly Supported Radial Basis Function）法、MPU（Multi-level Partition of Unity Implicits
）法等が挙げられる。
【００７６】
＜外側未検査領域取得部３４＞
外側未検査領域取得部３４は、輪郭取得部３２によって配置された輪郭の空間分布に基づいて、臓器の輪郭が存在する範囲を求める。そして、外側未検査領域取得部３４は、形状構成部３３によって推定された撮像対象の臓器における、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、外側未検査領域取得部３４は、臓器の輪郭
が存在する領域の内側と外側を認識することによって、臓器の端部側における撮像部位の偏在の有無を判定する。
【００７７】
外側未検査領域取得部３４は、形状構成部３３によって構成された撮像対象の臓器に対して、輪郭取得部３２によって配置された輪郭の空間分布の内外判定を行うことで、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、形状構成部３３によって構成された撮像対象の臓器において、輪郭取得部３２によって配置された輪郭の空間分布の内部の領域は、臓器の輪郭が取得された領域であり、臓器の端部側における未撮像領域ではないと判定される。他方、形状構成部３３によって構成された撮像対象の臓器において、輪郭取得部３２によって配置された輪郭の空間分布の外部の領域は、臓器の輪郭が取得されていない領域であり、臓器端部側の未撮像部位であると判定される。当該判定は、任意の方法を用いて行われる。
【００７８】
本実施形態では、外側未検査領域取得部３４は、形状構成部３３によって求められた三次元空間内のスカラ関数f(q)の分布と、輪郭取得部３２によって配置された輪郭の空間分布から求められる凸包を用いることによって、上記判定を行う。
【００７９】
三次元空間内のスカラ関数f(q)の分布は既に形状構成部３３によって求められているので、外側未検査領域取得部３４は、三次元空間に分布する全ての輪郭（点の集合）を包括する凸包を生成する。凸包を求めるアルゴリズムは任意でよい。例えば、凸包を求めるアルゴリズムとして、包装法、グラハム走査法、逐次構成法、分割統治法等が挙げられる。そして、外側未検査領域取得部３４は、当該凸包の外側の曲面を臓器端部側の未検査部位として判定する。
【００８０】
外側未検査領域取得部３４は、数４を用いることによって、三次元空間内のスカラ関数f(q)の値が0である点（すなわち、形状構成部３３が求めた撮像対象の臓器の曲面上の点
）Aの上記凸包に対する内外判定を行う。
【００８１】
【数４】
Pは、凸包を構成する輪郭上の任意の点である。また、nは、Pを含む凸包上の三角形（
以下、「凸包三角形」とも記載）の法線ベクトルである。図５Ｂは、三次元空間に分布する全ての輪郭を包括する凸包を例示する。ここで、凸包三角形は、三次元空間に分布する全ての輪郭の表面を覆うように配置している。そして、nは、当該凸包の外側を向く法線
ベクトルである。つまり、Pを含む凸包上の三角形とAからなる四面体を考慮すると、その符号付四面体体積（数４によって求められる値D）は、Aが凸包三角形の表側（つまり、輪郭が存在する領域の外側）にある場合は正となり、Aが凸包三角形の裏側（つまり、輪郭
が存在する領域内）にある場合は負となり、Aが凸包三角形上の点である場合は、0となる。従って、全ての凸包三角形に対して、１つでも符号付四面体体積が正となる場合、Aは
凸包の外側の点であると判定することができる。すなわち、形状構成部３３が求めた撮像対象の臓器の曲面上の点Aが、輪郭取得部３２によって配置された輪郭の空間分布から求
められる凸包の内部であるかどうかを判定することができる。本実施形態では、外側未検査領域取得部３４は、これに基づいて、撮像対象の臓器の曲面上の点Aの凸包に対する内
外判定を行う。
【００８２】
そして、外側未検査領域取得部３４は、凸包の外部である点Aの領域を臓器端部側の未
撮像部位の領域として判定する。
【００８３】
＜輪郭間偏在領域取得部３５＞
輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布から、輪郭の密度が疎である領域を判定する。上述のとおり、輪郭間偏在領域取得部３５は、輪郭の密度が疎である領域として、輪郭と輪郭の間（以下、「輪郭間」とも表記）の領域であって、隣り合う輪郭の間隔が所定条件を満たす領域を求める。つまり、輪郭間偏在領域取得部３５は、輪郭と輪郭の間隔から、撮像部位の偏在の有無を判定する。所定条件とは、撮像部位の偏在に関する条件であり、例えば、隣り合う輪郭の間隔の長さが所定の値を超えていることである。また、所定条件の他の例は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが所定番目まで長いことである。つまり、所定条件とは、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべきことを示すための条件である。
【００８４】
取得された輪郭は、例えば、所定の個数の点の集合である。輪郭取得部３２によって構成された輪郭の空間分布は、この点の集合が三次元空間上に配置されたものである。隣り合う輪郭同士（ある輪郭と、その輪郭に一番距離が近い輪郭）を、それぞれの輪郭上の点で結ぶと、それぞれの点を結ぶ直線は、当該隣り合う輪郭同士が離れていれば離れているほど、長くなる。したがって、所定の長さよりも長い直線が多ければ多いほど、隣り合う輪郭同士は離れていることになる。そこで、本実施形態では、輪郭間偏在領域取得部３５は、隣り合う輪郭上の点を結ぶ、所定の長さよりも長い直線上の中点の数を数えることにより、上記所定条件を満たす領域を求める。
【００８５】
本実施形態では、まず、輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布、つまり、三次元空間上に配置された輪郭（点の集合）を用いて、凸包で四面体の集合に近似する。凸包を求めるアルゴリズムについては、上述のとおりである。そして、輪郭間偏在領域取得部３５は、求めた四面体の集合の各線分の中点座標を取得する。
【００８６】
凸包の性質上、この四面体を構成する線分には、隣り合わない輪郭間を結ぶ線分が含まれる場合がある。そこで次に、輪郭間偏在領域取得部３５は、取得した四面体の集合の各線分の中点座標から、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。当該中点座標の削除は任意に行われる。
【００８７】
例えば、輪郭間偏在領域取得部３５は、当該中点座標を取得した線分の両端の輪郭が隣り合うか否かを判定することで、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。
【００８８】
また、例えば、前述した形状構成部３３が求めたスカラ関数f(q)を用いて、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。隣り合わない輪郭間を結ぶ線分の中点座標は、前述した形状構成部３３が求めた臓器形状の表面（すなわち、上記スカラ関数f(q)の値が0となる面）から離れた座標になると考えられる。陰関数表現により求められた上記ス
カラ関数f(q)は、スカラ値が0となる面から離れれば離れるほど、スカラ値の絶対値が大
きくなる。したがって、隣り合わない輪郭間を結ぶ線分の中点座標の値を上記スカラ関数f(q)に代入することで求められるスカラ値の絶対値は、隣り合う輪郭間を結ぶ線分の中点座標を用いることで求められるスカラ値の絶対値よりも比較的に大きい値となる。これに基づき、一部隣り合う輪郭間を結ぶ線分の中点座標も削除してしまうことになりうるが、例えば、輪郭間偏在領域取得部３５は、上記絶対値が所定の値を超える中点座標を、隣り合わない輪郭間を結ぶ線分の中点座標として削除する。
【００８９】
隣り合わない輪郭間を結ぶ線分の中点座標を削除した後、輪郭間偏在領域取得部３５は、中点が多い領域を求めるために、削除されなかった中点座標を組分けする。輪郭間偏在領域取得部３５は、隣り合う輪郭同士を一つの組として組分けをしてもよいが、本実施形態では、図６で示されるような隣り合う輪郭が１対１の関係ではない状態であっても一つ
の組として組分けをするために、多変量解析を用いて組分けする。本実施形態で用いる多変量解析の手法は、クラスタ分析である。なお、図６は、隣り合う輪郭が１対１の関係ではない状態を例示する。また、図中の各点は、各輪郭間を結ぶ線分のうち所定の長さを超える線分の中点を例示したものである。
【００９０】
そして、輪郭間偏在領域取得部３５は、クラスタ分析によって求められた各組の中点の数を数え、数の多い上位所定番目までの組（例えば、最も数の多い組）、又は、所定の値よりも数が多い組を求めることで、上記所定条件を満たす領域を求める。
【００９１】
上述したとおり、中点の数が多ければ多いほど、その隣り合う輪郭同士は離れていると考えられる。つまり、輪郭間偏在領域取得部３５の本処理によって求められる組は、他の組と比べて隣り合う輪郭同士が離れている輪郭間の中点の組である。そして、当該組に含まれる中点座標の位置及び領域は、他の組に含まれる中点座標の位置及び領域よりも隣り合う輪郭同士が離れている輪郭間の領域である。従って、輪郭間偏在領域取得部３５は、クラスタ分析によって求められた各組の中点の数を数え、数の多い上位所定番目までの組（例えば、最も数の多い組）、又は、所定の値よりも数が多い組を求めることで、上記所定条件を満たす領域を求めることができる。
【００９２】
なお、本実施形態では、輪郭間偏在領域取得部３５は、上述した処理により求めた組に含まれる中点座標の重心を求める。当該重心は、後述する本実施形態の画像生成部３６によって用いられる。詳しくは、後述する。
【００９３】
上記所定条件を満たす領域を求める方法は、本実施形態の方法以外の方法であってもよい。輪郭間偏在領域取得部３５は、例えば、それぞれの隣り合う輪郭同士の重心の距離を測り、それぞれの距離を比較することによって、上記所定条件を満たす領域を求めてもよい。
【００９４】
＜画像生成部３６＞
上記外側未検査領域取得部３４及び輪郭間偏在領域取得部３５による判定により、臓器の輪郭を撮像すべき、未検査位置がそれぞれ取得される。画像生成部３６は、超当該未検査位置を実空間の位置関係に対応させて描画した画像を生成する。なお、生成された画像は、ディスプレイ５上に表示される。
【００９５】
以下、画像生成部３６の描画手順の一例を示す。
【００９６】
画像生成部３６は、まず、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させて描画する。画像生成部３６は、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させるため、プローブ状態取得部３１によりリアルタイムに取得される超音波プローブ２の位置及び姿勢情報を用いる。また、画像生成部３６は、超音波プローブ２を描画するために、記憶部１１に格納されたプローブ画像データ２１を用いる。臓器の各輪郭は、輪郭取得部３２によって既に実空間に対応付けられ三次元空間に展開されている。この情報を用いて、画像生成部３６は、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させた画像を描画する。なお、臓器の輪郭は、点の集合として表現されてもよいし、一部が切れていることを許容する曲線で表現されてもよい。また、画像生成部３６は、プローブ画像データ２１に含まれる超音波プローブ２の撮像範囲を示すデータを用いて、超音波プローブ２とともに、超音波プローブ２の撮像領域を描画してもよい。超音波プローブ２の位置及び姿勢情報はリアルタイムに取得されるため、当該描画された画像がリアルタイムに表示されることで、作業者は、当該空間上の実時間における超音波プローブ２の位置及び撮像領域を知ることができる。
【００９７】
次に、画像生成部３６は、臓器端部側の未検査領域を描画するために、形状構成部３３が構成した撮像対象の臓器を描画する。本実施形態では、撮像対象の臓器の表面は、スカラ関数f(q)の値が0である面として表現されている。画像生成部３６は、当該スカラ関数f(q)の値が0である面を所定のアルファ値及び所定の色をもつ面として描画する。
【００９８】
次に、画像生成部３６は、臓器端部側の未検査領域を描画する。画像生成部３６は、先に描画した臓器の表面上の領域であって外側未検査領域取得部３４が臓器端部側の未撮像部位の領域であると判定した領域について、上記描画した臓器とは異なる表現を用いて描画する。異なる表現とは、例えば、異なる色やハッチングを施すことである。なお、画像生成部３６は、当該未撮像部位の領域が所定の面積を超える場合、更に異なる表現を用いて描画してもよいし、作業者に当該領域を撮像するように誘導するメッセージを合わせて描画してもよい。
【００９９】
最後に、画像生成部３６は、臓器の輪郭間の未撮像領域を描画する。画像生成部３６は、輪郭間偏在領域取得部３５が求めた所定条件を満たす輪郭間の領域を、これまでの描画とさらに異なる表現を用いて描画する。画像生成部３６は、例えば、輪郭間偏在領域取得部３５が求めた領域を、臓器の表面や、臓器端部側の未撮像領域とは異なる色により描画する。本実施形態では、画像生成部３６は、輪郭間偏在領域取得部３５が求めた領域を、所定の大きさの球により表現する。球の中心は、輪郭間偏在領域取得部３５の処理により求められた組に含まれる中点座標の重心である。
【０１００】
球の大きさは、輪郭間偏在領域取得部３５の処理により求められた組に含まれる中点の数に比例してもよいし、当該組に含まれる中点をもつ線分の中で一番長い線分の長さに比例してもよい。上述のとおり、クラスタ分析により組分けされた各組は、輪郭間が離れていれば離れているほど、中点を多く含む。従って、当該組に含まれる中点の数に比例した大きさの球を描画することで、画像生成部３６が生成する画像は、作業者に対して輪郭間における撮像部位の偏在を効果的に知らしめることができる。
【０１０１】
また、本実施形態では、画像生成部３６によって描画される球の中心は、隣り合う輪郭間を結ぶ線分の中点座標の重心である。このような重心を持つ球が描画された画像は、作業者に対して輪郭間における撮像部位の偏在を効果的に解消する撮像位置を知らしめることができる。なぜなら、当該重心を含む領域が撮像されることにより、輪郭間における撮像部位の偏在が効果的に解消しうるからである。
【０１０２】
臓器の輪郭を効率よく取得するためには、より少ない撮像回数で、臓器の輪郭がまんべんなく撮像されることが好ましい。つまり、作業者は、臓器の輪郭間において撮像部位の偏在がある場合、当該偏在を解消するように臓器を撮像することが好ましい。この時、臓器の輪郭間において撮像部位近辺の部位を撮像したとしても、すでに撮像されたものと同様のデータが取得されるだけであり、撮像部位の偏在は解消しない。撮像部位の偏在を解消するためには、撮像した臓器の輪郭間の略真ん中あたりが撮像されることが好ましい。上記重心はまさに、撮像した臓器の輪郭間の略真ん中の位置を示すものである。従って、当該重心を含む領域が撮像されることにより、輪郭間における撮像部位の偏在が効果的に解消しうる。
【０１０３】
なお、臓器の表面のアルファ値によっては、当該臓器の内部に位置するために、輪郭間の未撮像領域が可視できない場合がある。この場合、画像生成部３６は、例えば、輪郭間の未撮像領域を優先的に描画することで可視できるようにしてもよい。
【０１０４】
これまでの描画により、超音波プローブ２とともに、当該未検査位置を実空間の位置関係に対応させて描画された画像が生成される。図７は、画像生成部３６によって生成され
る画像の一例である。
【０１０５】
図７に示されるとおり、画像生成部３６は、超音波プローブ２、超音波プローブ２の撮像範囲、形状構成部３３により推定された臓器、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５により求められた未検査位置又は領域を含んだ画像を生成する。ここで、図中の臓器中央付近にある球は、上述した、輪郭間偏在領域取得部３５が求めた領域を示す球である。また、図中の臓器両端側に存在するハッチングの存在しない領域は、外側未検査領域取得部３４により求められた未検査領域を示す。
【０１０６】
なお、画像生成部３６は、カメラ４により取得される患者体表面上に当該未検査位置を重畳表示した画像を生成してもよい。この時、画像生成部３６は、超音波プローブ２を描画しなくてもよい。カメラ４により取得される画像により、作業者は、実空間上における位置関係を認識可能だからである。
【０１０７】
また、本実施形態では、画像生成部３６は、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５により求められた未検査位置又は領域を反映した画像を生成した。本実施形態の別の形態として、画像生成部３６は、外側未検査領域取得部３４又は輪郭間偏在領域取得部３５のどちらか一方が求めた未検査位置のみを反映した画像を生成してもよい。すなわち、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５は、必ず両方とも存在しなければならない訳ではなく、どちらか一方が存在すればよい。
【０１０８】
§３ 動作例
次に、図８を用いて、本実施形態における画像処理装置１の処理手順を説明する。図８は、本実施形態における画像処理装置１の処理手順の一例を示したフローチャートである。なお、フローチャート上の個々の具体的な処理は上述したので、ここでは、記載を省略する。
【０１０９】
図８に示されるとおり、本実施形態における画像処理装置１は、作業者の操作により、本実施形態に係る画像処理プログラムが実行されることで、本実施形態に係る画像処理を開始する（Ｓ１００）。
【０１１０】
画像処理が開始されると、まず、プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢情報を取得する（Ｓ１０１）。本実施形態では、プローブ状態取得部３１は、カメラ４から取得される画像を処理することによって、当該情報を取得する。
【０１１１】
次に、輪郭取得部３２は、超音波診断装置３より得た断層画像から臓器の輪郭（超音波プローブ２により取得される臓器の輪郭）を抽出し、取得する（Ｓ１０２）。そして、輪郭取得部３２は、プローブ状態取得部３１によって取得された超音波プローブ２の位置及び姿勢情報を用いて、当該臓器の輪郭を実空間に対応付けて三次元空間に配置する。
【０１１２】
次に、形状構成部３３は、三次元空間に配置された臓器の輪郭を用いて、撮像対象の臓器の形状を推定して、三次元モデルを構成する（Ｓ１０３）。本実施形態では、形状構成部３３は、RBF補間法によって、撮像対象の臓器の三次元形状を構成する。
【０１１３】
次に、外側未検査領域取得部３４は、三次元空間に配置された臓器の輪郭の空間分布と、形状構成部３３によって構成された撮像対象の臓器との差分から、臓器端部側の未撮像領域を判定する（Ｓ１０４）。本実施形態では、外側未検査領域取得部３４は、撮像対象の臓器に対して、三次元空間に配置された臓器の輪郭の空間分布の内外判定を行うことで、臓器端部の未撮像領域を判定する。
【０１１４】
次に、輪郭間偏在領域取得部３５は、三次元空間に配置された臓器の輪郭の空間分布から、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域を判定する（Ｓ１０５）。本実施形態では、輪郭間偏在領域取得部３５は、隣り合う輪郭間を結ぶ線分の中点を用いることで、当該領域を求める。
【０１１５】
次に、画像生成部３６は、外側未検査領域取得部３４が求めた領域、及び、輪郭間偏在領域取得部３５が求めた領域を、超音波プローブ２とともに、それぞれ実空間の位置関係に対応させて描画した画像を生成する（Ｓ１０６）。
【０１１６】
以上により、本実施形態に係る画像処理は終了する（Ｓ１０７）。
【０１１７】
§４ 実施の形態に係る作用及び効果
以上によれば、本実施形態に係る画像処理装置では、外側未検査領域取得部３４によって、臓器の輪郭が存在する範囲の外側に位置する未撮像領域が求められる。そして、像生成部３６は、超音波プローブ２と、推定により構成された撮像対象の臓器とを、実空間に対応付けて描画する。更に、画像生成部３６は、撮像対象の臓器について、輪郭が取得された範囲と、輪郭が取得されていない臓器端部側に位置する未撮像領域とを、異なる表現によって描画した画像を生成する。これにより、本実施形態に係る画像処理装置によれば、作業者に、臓器の輪郭が取得されていない臓器端部側に位置する未撮像領域を、超音波プローブ２の位置を基準として知らしめる画像を生成することができる。
【０１１８】
また、本実施形態に係る画像処理装置では、輪郭間偏在領域取得部３５によって、すでに取得された臓器の輪郭間の領域であって、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域が求められる。そして、画像生成部３６は、このような領域を、超音波プローブ２とともに、実空間上の位置関係に対応させて描画した画像を生成する。これにより、本実施形態に係る画像処理装置によれば、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域を、超音波プローブ２の位置を基準として知らしめる画像を生成することができる。
【０１１９】
§５ 補足
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈される。また、当業者は、上記本実施形態の記載から、特許請求の範囲の記載および技術常識に基づいて等価な範囲を実施することができる。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられる。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解される意味と同じ意味を有する。両者が矛盾する場合、本明細書において使用される用語は、本明細書（定義を含めて）に記載された意味において理解される。
【符号の説明】
【０１２０】
１ 画像処理装置
２ 超音波プローブ
３ 超音波診断装置
４ カメラ
５ ディスプレイ
１１ 記憶部
１２ 制御部
１３ バス
２１ プローブ画像データ
３１ プローブ状態取得部
３２ 輪郭取得部
３３ 形状構成部
３４ 外側未検査領域取得部
３５ 輪郭間偏在領域取得部
３６ 画像生成部
５１ マーカ
５２ マーカ
【技術分野】
【０００１】
本発明は、超音波診断により得られる画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムの技術に関する。
【背景技術】
【０００２】
幅広く用いられている診断方法として、超音波診断法が挙げられる。超音波診断法とは、医師が超音波プローブを手に持ち、患者の体表に押し当てるだけで生体内部の断層像や血流の情報が得られる診断方法である。超音波診断法は、その利便性と非侵襲性により幅広く用いられている。
【０００３】
また、近年、当該診断方法に用いられる超音波診断装置の小型化により、被災地や患者宅等、場所を選ばない診断が可能になりつつある。非特許文献１では、このような超音波診断装置により得られる断層像により、撮像対象臓器の３次元形状を構成する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】吉永 崇、宮崎 航、田口 侑人、酒井 太郎、桝田 晃司、「ポータブル超音波診断装置に搭載可能な心臓の３次元計測システムの開発」、生体医工学、2010年2月、vol.48、No.1、pp.33-41
【非特許文献２】酒井 太郎、吉永 崇、今井 崇雄、桝田 晃司、「動画像からの左心室壁形状抽出による超音波画像取得補助システムの開発」、電気学会論文誌Ｃ、vol.129、No.12、pp.2180-2188、2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、被災地等における緊急性、及び、生体に対する超音波の悪影響を考慮すると、熟練者でなくても測定対象物の情報（例えば、撮像対象の臓器の断層像）を効率よく取得することが求められる。
【０００６】
しかしながら、現状の技術では、熟練者でなければ、撮像対象の臓器の断層像を効率よく取得することはできない。その理由は、超音波診断装置の特性による。超音波診断装置は、空気及び骨等の障害物が存在すると、撮像対象の臓器の断層像を取得できなくなる。そのため、作業者は、臓器及び障害物の空間的な位置関係を把握しなければ、撮像対象の臓器の断層像を効率よく取得することはできない。また、臓器及び障害物は、循環器、腹部、産科等、専門によって異なる。そのため、たとえある臓器の専門家であっても、専門外の臓器については、撮像対象の臓器の断層像を効率よく取得することはできない。したがって、撮像対象の臓器の断層像を効率よく取得するためには、多くの経験により熟練することが求められる。
【０００７】
この点は、上記非特許文献１において開示される技術でも解決することはできない。なぜなら、上記非特許文献１において開示される技術においても、臓器の空間的な位置関係を把握しなければならないことに変わりがないためである。
【０００８】
本発明は、このような点を考慮してなされたものであり、熟練者でなくとも、超音波診断装置によって測定対象物の情報を効率よく取得することを可能とする画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【００１０】
すなわち、本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【００１１】
上記構成によれば、超音波プローブにより取得される情報から抽出される測定対象物の輪郭が、当該輪郭の実空間上の位置に対応付けられて取得される。そして、取得された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域が求められる。当該未検査領域は、輪郭と輪郭の間の領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、このように求められた領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応付けて描画した画像が生成される。これにより、上記構成によれば、生成される画像によって、作業者は、実空間上の位置関係に基づいて、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす、輪郭が取得されていない領域を知ることができる。したがって、上記構成によれば、生成される画像によって輪郭が取得されていない上記所定条件を満たす領域を知ることができるため、作業者は熟練者でなくても、超音波診断装置によって臓器の断層像を効率よく取得することが可能となる。
【００１２】
また、本発明の別の形態として、上記所定条件を満たす領域は、隣り合う輪郭の間隔が所定の値を超えた領域であってもよい。
【００１３】
上記構成によれば、画像生成部により生成される画像によって表示される領域は、隣り合う輪郭の間隔が所定の値を超えた領域である。つまり、取得された輪郭と輪郭の間が所定の長さを超えている領域が、生成される画像によって表示される。これにより、上記構成によれば、作業者は、生成される画像によって、取得された輪郭と輪郭の間が所定の長さを超えている領域を知ることができる。そして、このような取得された輪郭と輪郭の間が所定の長さを超えている領域を知ることで、作業者は、まんべんなく測定対象物の輪郭を取得することが可能となる。したがって、上記構成によれば、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００１４】
また、本発明の別の形態として、上記所定条件を満たす領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域であってもよい。
【００１５】
上記構成によれば、画像生成部により生成される画像によって表示される領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域である。つまり、隣り合う輪郭の間隔が長いものから順に所定番目までの領域が、生成される画像によって表示される。これにより、上記構成によれば、作業者は、生成される画像によって、隣り合う輪郭の間隔が長いものから順に所定番目までの領域を知ることができる。そして、このような領域を知ることで、作業者は、まんべんなく測定対象物の輪郭を取得することが可能となる。したがって、上記構成によれば、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００１６】
また、本発明の別の形態として、上記実空間上の位置を認識させる画像は、超音波プローブを示した画像であってもよい。
【００１７】
上記構成によれば、作業者は、超音波プローブの位置をもとに実空間上の位置を知ることができる。
【００１８】
また、本発明の別の形態として、上記実空間上の位置を認識させる画像は、カメラにより取得される実空間の画像であってもよい。
【００１９】
上記構成によれば、作業者は、カメラにより取得される実空間の画像をもとに実空間上の位置を知ることができる。
【００２０】
また、本発明の別の形態として、上記画像処理装置は、輪郭取得部により取得された輪郭から測定対象物の三次元形状を推定する形状推定部と、形状推定部により推定された測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、を更に備えてもよい。そして、上記画像生成部は、上記画像上に更に、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画してもよい。
【００２１】
上記構成によれば、輪郭取得部により取得された輪郭から測定対象物の三次元形状が推定される。そして、当該測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域が求められる。この未検査領域は、取得済みの輪郭に挟まれた輪郭存在領域の外側領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画した画像が生成される。これにより、作業者は、生成される画像によって、測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を知ることができる。
【００２２】
また、本発明の別の形態として、本発明の画像処理装置は、実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、輪郭取得部により取得された輪郭から測定対象物の三次元形状を推定する形状推定部と、形状推定部により推定された測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、を備える。
【００２３】
上記構成によれば、超音波プローブにより取得される情報から抽出される測定対象物の輪郭が、当該輪郭の実空間上の位置に対応付けられて取得される。また、上記構成によれば、取得された輪郭から測定対象物の三次元形状が推定される。そして、当該測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域が求められる。この未検査領域は、取得済みの輪郭に挟まれた輪郭存在領域の外側領域であるため、輪郭が取得されていない領域である。更に、上記構成によれば、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像が生成される。これにより、上記構成によれば、生成される画像に
よって、作業者は、実空間上の位置関係に基づいて、輪郭が取得されていない領域を知ることができる。したがって、上記構成によれば、生成される画像によって輪郭が取得されていない領域を知ることができるため、作業者は熟練者でなくても、超音波診断装置によって測定対象物の情報を効率よく取得することが可能となる。
【００２４】
これまでに記載した本発明の画像処理装置は、測定対象物の未検査領域の認識及び可視化を可能とする画像を作成する。これにより、作業者は、測定対象物の輪郭が取得されていない領域（特に、輪郭間であまりデータが取得されていない領域、又は、輪郭が存在する範囲の外側の領域）を知ることができる。そして、このような情報を知ることにより、作業者は、熟練者でなくても、超音波診断装置によって臓器の断層像を効率よく取得することが可能となる。
【００２５】
なお、本発明の別態様としては、以上の各構成を実現する画像処理方法であってもよいし、画像処理プログラムであってもよいし、このような画像処理プログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。また、本発明の別態様として、以上の各構成を実現する複数の装置が通信可能に構成された画像処理システムであってもよい。
【発明の効果】
【００２６】
本発明によれば、熟練者でなくとも、超音波診断装置によって測定対象物の情報を効率よく取得することを可能とする画像を生成する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態に係る画像処理装置に接続される装置を例示する図。
【図２】実施の形態に係る画像処理装置の構成を例示する図。
【図３】患者体表面に対する超音波プローブの位置と姿勢をリアルタイムに計測する処理を例示する図。
【図４】超音波プローブにより取得される臓器の輪郭を例示する図。
【図５Ａ】形状構成部により推定される臓器の形状を例示する図。
【図５Ｂ】臓器の輪郭が存在する範囲により構成された凸包を例示する図。
【図６】隣り合う輪郭が１対１の関係ではない状態の一例を示す図。
【図７】生成される画像の一例。
【図８】実施の形態に係る画像処理の処理手順の一例を示したフローチャート。
【発明を実施するための形態】
【００２８】
以下に詳細に説明される画像処理装置は、本発明の一側面に係る画像処理装置、画像処理方法及び画像処理プログラムの実施の形態（以下、「本実施形態」とも表記する）である。ただし、本実施形態は例示であり、本発明は本実施形態の構成に限定されない。
【００２９】
なお、本実施形態において登場するデータを自然言語（日本語等）により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
【００３０】
§１ 本実施形態の概要
＜各装置の接続例＞
本実施形態に係る画像処理装置の処理概要について説明するために、先に、本実施形態に係る画像処理装置に接続される装置について説明する。図１は、本実施形態に係る画像処理装置に接続される装置を例示する。図１に示されるとおり、本実施形態に係る画像処理装置１は、超音波プローブ２、超音波診断装置３、カメラ４、及びディスプレイ５と接
続している。
【００３１】
超音波プローブ２は、超音波検査において用いられる探触子である。探触子は、超音波の放射する方向の違いによって、例えば、コンベックス型、セクタ型、及びリニア型と区別される。しかしながら、本実施形態における超音波プローブ２は、これらの探触子に限定されない。本実施形態では、任意の超音波プローブが用いられる。
【００３２】
作業者は、超音波プローブ２を用いて測定対象物の測定を行う。具体的には、作業者は、超音波プローブ２を測定対象物の表面に接触させることにより、当該測定対象物の測定を行う。当該測定は、超音波プローブを用いて行える測定であればよい。例えば、当該測定は、エコー検査における患者の臓器の測定である。本実施形態では、患者の臓器を、超音波プローブ２による測定対象物の例示として以下、説明する。
【００３３】
超音波プローブ２は、測定対象物に超音波を発し、その反響データを得る。そして、超音波診断装置３は、当該反響データを用いて、測定対象物の断層画像を生成する。当該断層画像の生成処理は、従来、様々な方法により行われている。よって、ここでは説明を省略する。
【００３４】
なお、超音波診断装置３は、例えば、汎用コンピュータである。例えば、超音波診断装置３は、マイクロプロセッサ又はＣＰＵ（Central Processing Unit）等の１又は複数の
プロセッサと、当該プロセッサの処理に利用される周辺回路（ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、インタフェース回路等）、及び、当該プロセッサで実行される処理で利用される各種データ及びプログラムを記憶するハードディスク等を備える。また、超音波診断装置３は、超音波プローブ２の制御を行い、及び、超音波プローブ２から反響データを得るため、超音波プローブ２を制御可能な状態で接続されるための入出力部を持つ。当該入出力部は、例えば、超音波プローブを接続するための専用ポートであってもよいし、汎用のポートであるＵＳＢ（Universal Serial Bus）であってもよい。また、超音波診断装置３は、当該断層画像を表示するためのディスプレイを備えてもよい。
【００３５】
カメラ４は、実時間における画像を取得する。また、ディスプレイ５は、画像処理装置１によって生成される画像を表示するためのモニタである。
【００３６】
なお、カメラ４及びディスプレイ５は、画像処理装置１により制御可能な状態で、画像処理装置１と接続している。そして、画像処理装置１は、超音波診断装置３により生成される断層画像を取得可能な状態で、超音波診断装置３と接続している。
【００３７】
また、本実施形態では、画像処理装置１と超音波診断装置３は別の装置であるが、それぞれの構成を含む一体のコンピュータ（例えば、ＰＣ（Personal Computer））として構
成されてもよい。また、各装置（画像処理装置１、超音波プローブ２、超音波診断装置３、カメラ４、ディスプレイ５）の動作は、本実施形態における処理に限定されないことは言うまでもない。
【００３８】
＜本実施形態に係る画像処理装置における処理概要＞
本実施形態では、作業者は、超音波プローブ２を患者の体表面に押し当てて診断することにより、臓器の輪郭を取得する。超音波プローブ２は、患者の体内に超音波を照射して反響データを取得する。そして、超音波診断装置３は、超音波プローブ２によって取得される反響データに基づいて体内の断層画像を生成する。画像処理装置１は、このように生成される断層画像を得、更に、当該断層画像内に存在する臓器の輪郭を取得する。なお、断層画像内に存在する臓器の輪郭を取得することは、例えば、非特許文献２で挙げられる
ように、従来、様々な方法により行われている。よって、ここでは説明を省略する。なお、ここで取得される臓器の輪郭は、超音波プローブ２との位置関係を示す情報を含む。以下、超音波診断装置３によって生成される体内の断層画像から取得される臓器の輪郭は、超音波プローブ２によって取得されるものとして説明する。
【００３９】
この時、画像処理装置１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。そして、画像処理装置１は、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。更に、画像処理装置１は、当該三次元空間に配置された輪郭の空間分布を元に、当該測定対象の臓器の形状を三次元モデルとして構成する。
【００４０】
そして、画像処理装置１は、輪郭の空間分布から撮像部位の偏在の有無を判定する。当該判定により、画像処理装置１は、臓器の輪郭を撮像すべき、未検査位置を認識する。その後、画像処理装置１は、当該未検査位置を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する。そして、画像処理装置１は、生成した画像をディスプレイ５上に表示する。
【００４１】
このように、本実施形態では、画像処理装置１は、超音波プローブ２及び超音波診断装置３により体内の断層画像が取得されていない位置、すなわち、臓器の輪郭が取得されていない位置を可視化して作業者に提示する画像を生成する。これにより、作業者は、臓器の輪郭が取得されていない位置を知ることができ、当該位置を超音波プローブ２によって撮像すればよいことを知ることができる。つまり、作業者は、当該画像によって、超音波プローブ２による撮像位置の誘導がなされる。したがって、本実施形態によれば、作業者は、熟練者でなくとも、超音波診断装置によって臓器の輪郭を含む断層像を効率よく取得することができる。
【００４２】
§２ 画像処理装置の構成例
次に、本実施形態に係る画像処理装置１の構成例について説明する。図２は、本実施形態における画像処理装置１の構成例を示す。画像処理装置１は、図２に示されるとおり、そのハードウェア構成として、バス１３で接続される、記憶部１１、制御部１２、入出力部１４等の既存のハードウェアを有している。
【００４３】
記憶部１１は、例えばハードディスクであり、制御部１２で実行される処理で利用される各種データ及びプログラムを記憶する。なお、記憶部１１が格納する当該各種データ及びプログラムは、ＣＤ（Compact Disc）又はＤＶＤ（Digital Versatile Disc）等の記録媒体に格納されていてもよい。そして、記憶部１１は、当該記録媒体から当該各種データ及びプログラムを取得してもよい。
【００４４】
制御部１２は、マイクロプロセッサ又はＣＰＵ等の１又は複数のプロセッサと、このプロセッサの処理に利用される周辺回路（ＲＯＭ、ＲＡＭ、インタフェース回路等）を有する。制御部１２は、記憶部１１に格納されている各種データ及びプログラムを実行することにより、本実施形態における画像処理装置１の処理を実現する。
【００４５】
入出力部１４は、画像処理装置１の外部に存在する装置とデータの送受信を行うためのインタフェースである。入出力部１４は、例えば、ＵＳＢ等、ハードウェアインタフェースとして周知のものである。また、入出力部１４は、例えば、ＩＰ（Internet Protocol
）パケット等の送受信を行う通信部として構成されてもよい。更に、入出力部１４は、複数のインタフェースであってもよい。本実施形態では、入出力部１４は、超音波診断装置３及びカメラ４から取得されるデータをそれぞれ受信する。また、入出力部１４は、ディスプレイ５に対して表示するための画像を出力する。更に、本実施形態では、入出力部１
４は、不図示のユーザインタフェース（キーボード、マウス等の入力装置）と接続している。また、入出力部１４は、ＣＤドライブ、ＤＶＤドライブ等の入出力装置と接続していてもよい。
【００４６】
なお、画像処理装置１は、ＰＣ等のような汎用コンピュータで構成されてもよい。
【００４７】
本実施形態では、画像処理装置１は、記憶部１１に格納されたデータが制御部１２によって処理されることにより、超音波プローブ２により臓器の輪郭が取得されていない位置を可視化して作業者に提示する画像を生成する。この処理を実現する記憶部１１及び制御部１２について、以下、具体的に説明する。
【００４８】
§２−１ 記憶部１１
上述のとおり、記憶部１１は、制御部１２で実行される処理で利用される各種データ及びプログラムを記憶する（不図示）。記憶部１１は、例えば、ハードディスクによって実現される。記憶部１１は、ＵＳＢメモリ等の記録媒体により実現されてもよい。本実施形態では、制御部１２で実行される処理に利用されるデータの一つとして、記憶部１１は、プローブ画像データ２１を含む。
【００４９】
プローブ画像データ２１は、制御部１２における後述する画像処理において、超音波プローブ２を描画するために用いられるデータであり、超音波プローブ２の外観や撮像範囲を示すデータである。プローブ画像データ２１は、例えば、三次元ベクトルデータ、又は、画像データである。
【００５０】
§２−２ 制御部１２
図２に示されるとおり、制御部１２は、プローブ状態取得部３１、輪郭取得部３２、形状構成部３３、外側未検査領域取得部３４、輪郭間偏在領域取得部３５、及び画像生成部３６を含む。プローブ状態取得部３１、輪郭取得部３２、形状構成部３３、外側未検査領域取得部３４、輪郭間偏在領域取得部３５、及び画像生成部３６は、記憶部１１に格納されたプログラム等が制御部１２の周辺回路であるＲＡＭ等に展開され、制御部１２のプロセッサにより実行されることによって実現される。なお、図２中の各矢印は、各機能の関連を示すに過ぎず、各機能間の通信（例えば、プロセス間通信）が当該矢印間に限定される訳ではない。また、制御部１２は、記憶部１１に格納されたプログラム等を実行することにより、入出力部１４を介して超音波診断装置３より体内の断層画像を得る。
【００５１】
＜概要＞
まず、各構成についての概要を説明する。
【００５２】
プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。そして、輪郭取得部３２は、プローブ状態取得部３１により計測されたデータを用いて、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。形状構成部３３は、輪郭取得部３２によって配置された輪郭の空間分布より、撮像対象の臓器の形状を推定して、三次元モデルとして構成する。
【００５３】
外側未検査領域取得部３４は、輪郭取得部３２によって配置された輪郭の空間分布に基づいて、臓器の輪郭が存在する範囲を求める。そして、外側未検査領域取得部３４は、形状構成部３３によって推定された撮像対象の臓器における、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、外側未検査領域取得部３４は、臓器の輪郭が存在する領域の内側と外側を認識することによって、臓器の端部側における撮像部位の偏在の有無を判定する。
【００５４】
また、輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布から、輪郭の密度が疎である領域を判定する。ここで、輪郭の密度は、隣り合う輪郭同士の間の長さに比例する。また、輪郭の密度が疎である領域とは、例えば、他の領域よりも輪郭の密度が疎である領域、又は、所定の値よりも輪郭の密度が疎である領域を示す。輪郭間偏在領域取得部３５は、このような輪郭の密度が疎である領域として、輪郭と輪郭の間の領域であって、隣り合う輪郭の間隔が所定条件を満たす領域を求める。つまり、輪郭間偏在領域取得部３５は、輪郭と輪郭の間隔から、撮像部位の偏在の有無を判定する。
【００５５】
この外側未検査領域取得部３４及び輪郭間偏在領域取得部３５による判定により、臓器の輪郭を撮像すべき、未検査位置がそれぞれ取得される。
【００５６】
画像生成部３６は、当該未検査位置を実空間の位置関係に対応させて描画した画像を生成する。なお、生成された画像は、入出力部１４より出力され、ディスプレイ５上に表示される。
【００５７】
以下、各構成について詳細に説明する。
【００５８】
＜プローブ状態取得部３１＞
プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢を実時間（リアルタイム）処理により計測する。プローブ状態取得部３１は、当該計測を所定の方法によって行う。本実施形態では、当該方法の一例として、ARToolKit（Augmented Reality ToolKit）が用いられる。
【００５９】
ARToolKitは、拡張現実を実現するためのC言語ライブラリであり、加藤博一によって開発されたソフトウェアである。ARToolKitは、具体的には、正方形マーカを使用した画像
処理による位置合わせを行うライブラリ群、それらを適切に使用するためのパラメタ等を取得するユーティリティプログラム、及び、サンプルアプリケーションプログラムからなるソフトウェアである。
【００６０】
本実施形態では、プローブ状態取得部３１は、ARToolKitを用いて、超音波プローブ２
の位置及び姿勢を実時間（リアルタイム）処理により計測する。当該処理について、図３を用いて具体的に説明する。図３は、患者体表面に対する超音波プローブの位置と姿勢をリアルタイムに計測する処理を例示する。
【００６１】
図３に示されるとおり、超音波プローブ２にはマーカ５１が取り付けられている。また、患者の体表面にはマーカ５２が取り付けられている。プローブ状態取得部３１は、カメラ４により取得される画像を画像処理することにより、マーカ５１及びマーカ５２を認識する。そして、プローブ状態取得部３１は、カメラ４の座標系に対する両者の相対関係から、体表面に対する超音波プローブ２の位置と姿勢をリアルタイムに計測する。ここで、カメラ４に対する各マーカの位置及び姿勢は、数１に示す回転行列Rと並進行列tからなる同次変換行列Tとして得られる。
【００６２】
【数１】
この同次変換行列について、超音波プローブ２に取り付けられたマーカ５１の同次変換行列をTcpとする。また、患者に取り付けられたマーカ５２の同次変換行列をTcoとする。
そして、超音波プローブ２に取り付けられたマーカ５１の座標系の三次元座標をvpとする。また、患者に取り付けられたマーカ５２の座標系の三次元座標をvoとする。この時、vpとvoの関係式は、数２により表される。
【００６３】
【数２】
したがって、Tcp及びTcoをリアルタイムに計測することでカメラ４の位置や患者の体動に関係なく超音波プローブ２のマーカ５１の座標系における撮像対象の座標vpを、患者の体表を原点とする三次元座標voに変換することができる。すなわち、プローブ状態取得部３１は、カメラ４の位置や患者の体動に関係なく、体表面に対する超音波プローブ２の位置と姿勢をリアルタイムに計測する。
【００６４】
なお、本実施形態の別形態として、プローブ状態取得部３１は、画像処理装置１に接続可能なモーションキャプチャ装置により、実時間における超音波プローブ２の位置及び姿勢を計測してもよい。当該モーションキャプチャ装置は、光学式、機械式、磁気式、ビデオ式のいずれの方式により、実時間における超音波プローブ２の位置及び姿勢を取得してよい。本発明は、実時間における超音波プローブ２の位置及び姿勢を計測する手段によって限定されるものではない。
【００６５】
＜輪郭取得部３２＞
輪郭取得部３２は、プローブ状態取得部３１により計測されたデータを用いて、プローブ状態取得部３１により計測されたデータを用いて、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。図４は、超音波プローブ２により取得される臓器の輪郭を例示する。図４における輪郭中の点線は、輪郭の曲線が途切れた箇所を示す。図４に示されるとおり、超音波プローブ２によって取得される臓器の輪郭は、完全に繋がった曲線である場合もあれば、一部が途切れた曲線である場合もある。なお、超音波プローブ２は、空気や骨などの障害物が存在すると、臓器の輪郭を取得することはできない。この場合、輪郭取得部３２は、臓器の輪郭を取得することはできない。輪郭取得部３２は、超音波診断装置３より得た断層画像から臓器の輪郭（超音波プローブ２により取得される臓器の輪郭）を抽出し、取得する。当該処理は、上述したとおり、例えば、非特許文献２で挙げられるように、従来、様々な方法により行われているので、説明を省略する。
【００６６】
輪郭取得部３２は、超音波プローブ２により取得される臓器の輪郭を所定の形式のデータとして保持する。例えば、輪郭取得部３２は、臓器の輪郭のデータとして、当該輪郭上に位置する点の集合を保持する。当該点は、例えば、超音波プローブ２を基準とする位置座標を示すデータである。
【００６７】
そして、輪郭取得部３２は、臓器の輪郭（点の集合）を取得した時点におけるプローブ状態取得部３１により取得された超音波プローブ２の位置と姿勢を用いて、臓器の輪郭（点の集合）を実空間に対応付けて三次元空間に展開する。これにより、輪郭取得部３２は、超音波プローブ２により任意の時点で取得した臓器の輪郭を実空間上の位置に対応付けて、三次元空間に配置する。つまり、輪郭取得部３２は、臓器の輪郭（点の集合）の空間分布を構成する。
【００６８】
なお、輪郭取得部３２は、超音波プローブ２により臓器の輪郭が取得できた時点における超音波プローブ２の位置及び姿勢を記憶部１１又は制御部１２のＲＡＭに格納してもよい。当該位置及び姿勢情報は、超音波プローブ２による撮像が障害物によって邪魔されな
い場所を求めるために利用することができる。
【００６９】
＜形状構成部３３＞
形状構成部３３は、輪郭取得部３２によって配置された輪郭の空間分布より、撮像対象の臓器の形状を推定して、三次元モデルとして構成する。撮像対象の臓器の形状を表現する方法は、所定の方法でよい。図５Ａは、形状構成部３４により推定される臓器の形状を例示する。
【００７０】
本実施形態では、撮像対象の臓器の形状を表現する方法として、陰関数を用いた。陰関数は、定義領域をスカラ関数f(x,y,z)で表現する。陰関数では、目的の曲面は、空間の座標値を引数とするf(x,y,z)の零等値面f(x,y,z) = 0で表される。この時、陰関数曲面は、零等値面を境として異なる符号で領域が分割される。つまり、陰関数曲面は定義領域内において曲面の内外判定を行うことができる。なお、目的の曲面は、f(x,y,z) = h（hは任
意の値）で表現してもよい。
【００７１】
形状構成部３３は、輪郭取得部３２によって構成された臓器の輪郭上の点には０、単位法線の先端の値には＋１、反対方向の輪郭内側の点には−１をそれぞれスカラ値として割り当てる。そして、形状構成部３３は、陰関数表現の手法として、RBF（Radial Basis Function）補間法を利用してボリュームデータを作成する。すなわち、形状構成部３３は、数３によって定義されたRBF補間式によって三次元空間内のスカラ値f(q)の分布を求める
。
【００７２】
【数３】
なお、Nは、輪郭上の点の総数を表す。qは三次元座標(x,y,z)である。qiは、０、＋１
、−１が割り当てられた3N個の点を表す。λi、c1〜c4は、未知係数を表す。
【００７３】
そして、形状構成部３３は、f(q) = 0に相当する部分の抽出を行い、撮像対象の臓器を構成する。本実施形態では更に、形状構成部３３は、表面形状の抽出に、ボリュームデータからの等値面の抽出に多く用いられているMC（Marching Cubes）法を使用した。そして、形状構成部３３は、対象物体の表面形状を三角形の集合体として近似した。
【００７４】
なお、先に述べたとおり、撮像対象の臓器を表現する方法は、所定の方法でよい。例えば、撮像対象の臓器を表現する方法として、三次元ベクトルデータを用いた方法が挙げられる。そして、三次元ベクトルデータによって表現された臓器を記憶部１１に複数格納し、輪郭取得部３２によって構成された臓器の輪郭の空間分布を用いたパターン認識により当該撮像対象の臓器を構成してもよい。
【００７５】
また、本実施形態では、陰関数表現の手法として、RBF補間法を用いたが、その他の補
間法を用いてもよい。例えば、陰関数表現のその他の手法として、CSRBF（Compactly Supported Radial Basis Function）法、MPU（Multi-level Partition of Unity Implicits
）法等が挙げられる。
【００７６】
＜外側未検査領域取得部３４＞
外側未検査領域取得部３４は、輪郭取得部３２によって配置された輪郭の空間分布に基づいて、臓器の輪郭が存在する範囲を求める。そして、外側未検査領域取得部３４は、形状構成部３３によって推定された撮像対象の臓器における、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、外側未検査領域取得部３４は、臓器の輪郭
が存在する領域の内側と外側を認識することによって、臓器の端部側における撮像部位の偏在の有無を判定する。
【００７７】
外側未検査領域取得部３４は、形状構成部３３によって構成された撮像対象の臓器に対して、輪郭取得部３２によって配置された輪郭の空間分布の内外判定を行うことで、臓器の輪郭が存在する範囲の外側に位置する未撮像領域を求める。つまり、形状構成部３３によって構成された撮像対象の臓器において、輪郭取得部３２によって配置された輪郭の空間分布の内部の領域は、臓器の輪郭が取得された領域であり、臓器の端部側における未撮像領域ではないと判定される。他方、形状構成部３３によって構成された撮像対象の臓器において、輪郭取得部３２によって配置された輪郭の空間分布の外部の領域は、臓器の輪郭が取得されていない領域であり、臓器端部側の未撮像部位であると判定される。当該判定は、任意の方法を用いて行われる。
【００７８】
本実施形態では、外側未検査領域取得部３４は、形状構成部３３によって求められた三次元空間内のスカラ関数f(q)の分布と、輪郭取得部３２によって配置された輪郭の空間分布から求められる凸包を用いることによって、上記判定を行う。
【００７９】
三次元空間内のスカラ関数f(q)の分布は既に形状構成部３３によって求められているので、外側未検査領域取得部３４は、三次元空間に分布する全ての輪郭（点の集合）を包括する凸包を生成する。凸包を求めるアルゴリズムは任意でよい。例えば、凸包を求めるアルゴリズムとして、包装法、グラハム走査法、逐次構成法、分割統治法等が挙げられる。そして、外側未検査領域取得部３４は、当該凸包の外側の曲面を臓器端部側の未検査部位として判定する。
【００８０】
外側未検査領域取得部３４は、数４を用いることによって、三次元空間内のスカラ関数f(q)の値が0である点（すなわち、形状構成部３３が求めた撮像対象の臓器の曲面上の点
）Aの上記凸包に対する内外判定を行う。
【００８１】
【数４】
Pは、凸包を構成する輪郭上の任意の点である。また、nは、Pを含む凸包上の三角形（
以下、「凸包三角形」とも記載）の法線ベクトルである。図５Ｂは、三次元空間に分布する全ての輪郭を包括する凸包を例示する。ここで、凸包三角形は、三次元空間に分布する全ての輪郭の表面を覆うように配置している。そして、nは、当該凸包の外側を向く法線
ベクトルである。つまり、Pを含む凸包上の三角形とAからなる四面体を考慮すると、その符号付四面体体積（数４によって求められる値D）は、Aが凸包三角形の表側（つまり、輪郭が存在する領域の外側）にある場合は正となり、Aが凸包三角形の裏側（つまり、輪郭
が存在する領域内）にある場合は負となり、Aが凸包三角形上の点である場合は、0となる。従って、全ての凸包三角形に対して、１つでも符号付四面体体積が正となる場合、Aは
凸包の外側の点であると判定することができる。すなわち、形状構成部３３が求めた撮像対象の臓器の曲面上の点Aが、輪郭取得部３２によって配置された輪郭の空間分布から求
められる凸包の内部であるかどうかを判定することができる。本実施形態では、外側未検査領域取得部３４は、これに基づいて、撮像対象の臓器の曲面上の点Aの凸包に対する内
外判定を行う。
【００８２】
そして、外側未検査領域取得部３４は、凸包の外部である点Aの領域を臓器端部側の未
撮像部位の領域として判定する。
【００８３】
＜輪郭間偏在領域取得部３５＞
輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布から、輪郭の密度が疎である領域を判定する。上述のとおり、輪郭間偏在領域取得部３５は、輪郭の密度が疎である領域として、輪郭と輪郭の間（以下、「輪郭間」とも表記）の領域であって、隣り合う輪郭の間隔が所定条件を満たす領域を求める。つまり、輪郭間偏在領域取得部３５は、輪郭と輪郭の間隔から、撮像部位の偏在の有無を判定する。所定条件とは、撮像部位の偏在に関する条件であり、例えば、隣り合う輪郭の間隔の長さが所定の値を超えていることである。また、所定条件の他の例は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが所定番目まで長いことである。つまり、所定条件とは、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべきことを示すための条件である。
【００８４】
取得された輪郭は、例えば、所定の個数の点の集合である。輪郭取得部３２によって構成された輪郭の空間分布は、この点の集合が三次元空間上に配置されたものである。隣り合う輪郭同士（ある輪郭と、その輪郭に一番距離が近い輪郭）を、それぞれの輪郭上の点で結ぶと、それぞれの点を結ぶ直線は、当該隣り合う輪郭同士が離れていれば離れているほど、長くなる。したがって、所定の長さよりも長い直線が多ければ多いほど、隣り合う輪郭同士は離れていることになる。そこで、本実施形態では、輪郭間偏在領域取得部３５は、隣り合う輪郭上の点を結ぶ、所定の長さよりも長い直線上の中点の数を数えることにより、上記所定条件を満たす領域を求める。
【００８５】
本実施形態では、まず、輪郭間偏在領域取得部３５は、輪郭取得部３２によって構成された輪郭の空間分布、つまり、三次元空間上に配置された輪郭（点の集合）を用いて、凸包で四面体の集合に近似する。凸包を求めるアルゴリズムについては、上述のとおりである。そして、輪郭間偏在領域取得部３５は、求めた四面体の集合の各線分の中点座標を取得する。
【００８６】
凸包の性質上、この四面体を構成する線分には、隣り合わない輪郭間を結ぶ線分が含まれる場合がある。そこで次に、輪郭間偏在領域取得部３５は、取得した四面体の集合の各線分の中点座標から、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。当該中点座標の削除は任意に行われる。
【００８７】
例えば、輪郭間偏在領域取得部３５は、当該中点座標を取得した線分の両端の輪郭が隣り合うか否かを判定することで、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。
【００８８】
また、例えば、前述した形状構成部３３が求めたスカラ関数f(q)を用いて、隣り合わない輪郭間を結ぶ線分の中点座標を削除する。隣り合わない輪郭間を結ぶ線分の中点座標は、前述した形状構成部３３が求めた臓器形状の表面（すなわち、上記スカラ関数f(q)の値が0となる面）から離れた座標になると考えられる。陰関数表現により求められた上記ス
カラ関数f(q)は、スカラ値が0となる面から離れれば離れるほど、スカラ値の絶対値が大
きくなる。したがって、隣り合わない輪郭間を結ぶ線分の中点座標の値を上記スカラ関数f(q)に代入することで求められるスカラ値の絶対値は、隣り合う輪郭間を結ぶ線分の中点座標を用いることで求められるスカラ値の絶対値よりも比較的に大きい値となる。これに基づき、一部隣り合う輪郭間を結ぶ線分の中点座標も削除してしまうことになりうるが、例えば、輪郭間偏在領域取得部３５は、上記絶対値が所定の値を超える中点座標を、隣り合わない輪郭間を結ぶ線分の中点座標として削除する。
【００８９】
隣り合わない輪郭間を結ぶ線分の中点座標を削除した後、輪郭間偏在領域取得部３５は、中点が多い領域を求めるために、削除されなかった中点座標を組分けする。輪郭間偏在領域取得部３５は、隣り合う輪郭同士を一つの組として組分けをしてもよいが、本実施形態では、図６で示されるような隣り合う輪郭が１対１の関係ではない状態であっても一つ
の組として組分けをするために、多変量解析を用いて組分けする。本実施形態で用いる多変量解析の手法は、クラスタ分析である。なお、図６は、隣り合う輪郭が１対１の関係ではない状態を例示する。また、図中の各点は、各輪郭間を結ぶ線分のうち所定の長さを超える線分の中点を例示したものである。
【００９０】
そして、輪郭間偏在領域取得部３５は、クラスタ分析によって求められた各組の中点の数を数え、数の多い上位所定番目までの組（例えば、最も数の多い組）、又は、所定の値よりも数が多い組を求めることで、上記所定条件を満たす領域を求める。
【００９１】
上述したとおり、中点の数が多ければ多いほど、その隣り合う輪郭同士は離れていると考えられる。つまり、輪郭間偏在領域取得部３５の本処理によって求められる組は、他の組と比べて隣り合う輪郭同士が離れている輪郭間の中点の組である。そして、当該組に含まれる中点座標の位置及び領域は、他の組に含まれる中点座標の位置及び領域よりも隣り合う輪郭同士が離れている輪郭間の領域である。従って、輪郭間偏在領域取得部３５は、クラスタ分析によって求められた各組の中点の数を数え、数の多い上位所定番目までの組（例えば、最も数の多い組）、又は、所定の値よりも数が多い組を求めることで、上記所定条件を満たす領域を求めることができる。
【００９２】
なお、本実施形態では、輪郭間偏在領域取得部３５は、上述した処理により求めた組に含まれる中点座標の重心を求める。当該重心は、後述する本実施形態の画像生成部３６によって用いられる。詳しくは、後述する。
【００９３】
上記所定条件を満たす領域を求める方法は、本実施形態の方法以外の方法であってもよい。輪郭間偏在領域取得部３５は、例えば、それぞれの隣り合う輪郭同士の重心の距離を測り、それぞれの距離を比較することによって、上記所定条件を満たす領域を求めてもよい。
【００９４】
＜画像生成部３６＞
上記外側未検査領域取得部３４及び輪郭間偏在領域取得部３５による判定により、臓器の輪郭を撮像すべき、未検査位置がそれぞれ取得される。画像生成部３６は、超当該未検査位置を実空間の位置関係に対応させて描画した画像を生成する。なお、生成された画像は、ディスプレイ５上に表示される。
【００９５】
以下、画像生成部３６の描画手順の一例を示す。
【００９６】
画像生成部３６は、まず、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させて描画する。画像生成部３６は、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させるため、プローブ状態取得部３１によりリアルタイムに取得される超音波プローブ２の位置及び姿勢情報を用いる。また、画像生成部３６は、超音波プローブ２を描画するために、記憶部１１に格納されたプローブ画像データ２１を用いる。臓器の各輪郭は、輪郭取得部３２によって既に実空間に対応付けられ三次元空間に展開されている。この情報を用いて、画像生成部３６は、超音波プローブ２と臓器の輪郭を実空間の位置関係に対応させた画像を描画する。なお、臓器の輪郭は、点の集合として表現されてもよいし、一部が切れていることを許容する曲線で表現されてもよい。また、画像生成部３６は、プローブ画像データ２１に含まれる超音波プローブ２の撮像範囲を示すデータを用いて、超音波プローブ２とともに、超音波プローブ２の撮像領域を描画してもよい。超音波プローブ２の位置及び姿勢情報はリアルタイムに取得されるため、当該描画された画像がリアルタイムに表示されることで、作業者は、当該空間上の実時間における超音波プローブ２の位置及び撮像領域を知ることができる。
【００９７】
次に、画像生成部３６は、臓器端部側の未検査領域を描画するために、形状構成部３３が構成した撮像対象の臓器を描画する。本実施形態では、撮像対象の臓器の表面は、スカラ関数f(q)の値が0である面として表現されている。画像生成部３６は、当該スカラ関数f(q)の値が0である面を所定のアルファ値及び所定の色をもつ面として描画する。
【００９８】
次に、画像生成部３６は、臓器端部側の未検査領域を描画する。画像生成部３６は、先に描画した臓器の表面上の領域であって外側未検査領域取得部３４が臓器端部側の未撮像部位の領域であると判定した領域について、上記描画した臓器とは異なる表現を用いて描画する。異なる表現とは、例えば、異なる色やハッチングを施すことである。なお、画像生成部３６は、当該未撮像部位の領域が所定の面積を超える場合、更に異なる表現を用いて描画してもよいし、作業者に当該領域を撮像するように誘導するメッセージを合わせて描画してもよい。
【００９９】
最後に、画像生成部３６は、臓器の輪郭間の未撮像領域を描画する。画像生成部３６は、輪郭間偏在領域取得部３５が求めた所定条件を満たす輪郭間の領域を、これまでの描画とさらに異なる表現を用いて描画する。画像生成部３６は、例えば、輪郭間偏在領域取得部３５が求めた領域を、臓器の表面や、臓器端部側の未撮像領域とは異なる色により描画する。本実施形態では、画像生成部３６は、輪郭間偏在領域取得部３５が求めた領域を、所定の大きさの球により表現する。球の中心は、輪郭間偏在領域取得部３５の処理により求められた組に含まれる中点座標の重心である。
【０１００】
球の大きさは、輪郭間偏在領域取得部３５の処理により求められた組に含まれる中点の数に比例してもよいし、当該組に含まれる中点をもつ線分の中で一番長い線分の長さに比例してもよい。上述のとおり、クラスタ分析により組分けされた各組は、輪郭間が離れていれば離れているほど、中点を多く含む。従って、当該組に含まれる中点の数に比例した大きさの球を描画することで、画像生成部３６が生成する画像は、作業者に対して輪郭間における撮像部位の偏在を効果的に知らしめることができる。
【０１０１】
また、本実施形態では、画像生成部３６によって描画される球の中心は、隣り合う輪郭間を結ぶ線分の中点座標の重心である。このような重心を持つ球が描画された画像は、作業者に対して輪郭間における撮像部位の偏在を効果的に解消する撮像位置を知らしめることができる。なぜなら、当該重心を含む領域が撮像されることにより、輪郭間における撮像部位の偏在が効果的に解消しうるからである。
【０１０２】
臓器の輪郭を効率よく取得するためには、より少ない撮像回数で、臓器の輪郭がまんべんなく撮像されることが好ましい。つまり、作業者は、臓器の輪郭間において撮像部位の偏在がある場合、当該偏在を解消するように臓器を撮像することが好ましい。この時、臓器の輪郭間において撮像部位近辺の部位を撮像したとしても、すでに撮像されたものと同様のデータが取得されるだけであり、撮像部位の偏在は解消しない。撮像部位の偏在を解消するためには、撮像した臓器の輪郭間の略真ん中あたりが撮像されることが好ましい。上記重心はまさに、撮像した臓器の輪郭間の略真ん中の位置を示すものである。従って、当該重心を含む領域が撮像されることにより、輪郭間における撮像部位の偏在が効果的に解消しうる。
【０１０３】
なお、臓器の表面のアルファ値によっては、当該臓器の内部に位置するために、輪郭間の未撮像領域が可視できない場合がある。この場合、画像生成部３６は、例えば、輪郭間の未撮像領域を優先的に描画することで可視できるようにしてもよい。
【０１０４】
これまでの描画により、超音波プローブ２とともに、当該未検査位置を実空間の位置関係に対応させて描画された画像が生成される。図７は、画像生成部３６によって生成され
る画像の一例である。
【０１０５】
図７に示されるとおり、画像生成部３６は、超音波プローブ２、超音波プローブ２の撮像範囲、形状構成部３３により推定された臓器、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５により求められた未検査位置又は領域を含んだ画像を生成する。ここで、図中の臓器中央付近にある球は、上述した、輪郭間偏在領域取得部３５が求めた領域を示す球である。また、図中の臓器両端側に存在するハッチングの存在しない領域は、外側未検査領域取得部３４により求められた未検査領域を示す。
【０１０６】
なお、画像生成部３６は、カメラ４により取得される患者体表面上に当該未検査位置を重畳表示した画像を生成してもよい。この時、画像生成部３６は、超音波プローブ２を描画しなくてもよい。カメラ４により取得される画像により、作業者は、実空間上における位置関係を認識可能だからである。
【０１０７】
また、本実施形態では、画像生成部３６は、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５により求められた未検査位置又は領域を反映した画像を生成した。本実施形態の別の形態として、画像生成部３６は、外側未検査領域取得部３４又は輪郭間偏在領域取得部３５のどちらか一方が求めた未検査位置のみを反映した画像を生成してもよい。すなわち、外側未検査領域取得部３４及び輪郭間偏在領域取得部３５は、必ず両方とも存在しなければならない訳ではなく、どちらか一方が存在すればよい。
【０１０８】
§３ 動作例
次に、図８を用いて、本実施形態における画像処理装置１の処理手順を説明する。図８は、本実施形態における画像処理装置１の処理手順の一例を示したフローチャートである。なお、フローチャート上の個々の具体的な処理は上述したので、ここでは、記載を省略する。
【０１０９】
図８に示されるとおり、本実施形態における画像処理装置１は、作業者の操作により、本実施形態に係る画像処理プログラムが実行されることで、本実施形態に係る画像処理を開始する（Ｓ１００）。
【０１１０】
画像処理が開始されると、まず、プローブ状態取得部３１は、超音波プローブ２の位置及び姿勢情報を取得する（Ｓ１０１）。本実施形態では、プローブ状態取得部３１は、カメラ４から取得される画像を処理することによって、当該情報を取得する。
【０１１１】
次に、輪郭取得部３２は、超音波診断装置３より得た断層画像から臓器の輪郭（超音波プローブ２により取得される臓器の輪郭）を抽出し、取得する（Ｓ１０２）。そして、輪郭取得部３２は、プローブ状態取得部３１によって取得された超音波プローブ２の位置及び姿勢情報を用いて、当該臓器の輪郭を実空間に対応付けて三次元空間に配置する。
【０１１２】
次に、形状構成部３３は、三次元空間に配置された臓器の輪郭を用いて、撮像対象の臓器の形状を推定して、三次元モデルを構成する（Ｓ１０３）。本実施形態では、形状構成部３３は、RBF補間法によって、撮像対象の臓器の三次元形状を構成する。
【０１１３】
次に、外側未検査領域取得部３４は、三次元空間に配置された臓器の輪郭の空間分布と、形状構成部３３によって構成された撮像対象の臓器との差分から、臓器端部側の未撮像領域を判定する（Ｓ１０４）。本実施形態では、外側未検査領域取得部３４は、撮像対象の臓器に対して、三次元空間に配置された臓器の輪郭の空間分布の内外判定を行うことで、臓器端部の未撮像領域を判定する。
【０１１４】
次に、輪郭間偏在領域取得部３５は、三次元空間に配置された臓器の輪郭の空間分布から、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域を判定する（Ｓ１０５）。本実施形態では、輪郭間偏在領域取得部３５は、隣り合う輪郭間を結ぶ線分の中点を用いることで、当該領域を求める。
【０１１５】
次に、画像生成部３６は、外側未検査領域取得部３４が求めた領域、及び、輪郭間偏在領域取得部３５が求めた領域を、超音波プローブ２とともに、それぞれ実空間の位置関係に対応させて描画した画像を生成する（Ｓ１０６）。
【０１１６】
以上により、本実施形態に係る画像処理は終了する（Ｓ１０７）。
【０１１７】
§４ 実施の形態に係る作用及び効果
以上によれば、本実施形態に係る画像処理装置では、外側未検査領域取得部３４によって、臓器の輪郭が存在する範囲の外側に位置する未撮像領域が求められる。そして、像生成部３６は、超音波プローブ２と、推定により構成された撮像対象の臓器とを、実空間に対応付けて描画する。更に、画像生成部３６は、撮像対象の臓器について、輪郭が取得された範囲と、輪郭が取得されていない臓器端部側に位置する未撮像領域とを、異なる表現によって描画した画像を生成する。これにより、本実施形態に係る画像処理装置によれば、作業者に、臓器の輪郭が取得されていない臓器端部側に位置する未撮像領域を、超音波プローブ２の位置を基準として知らしめる画像を生成することができる。
【０１１８】
また、本実施形態に係る画像処理装置では、輪郭間偏在領域取得部３５によって、すでに取得された臓器の輪郭間の領域であって、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域が求められる。そして、画像生成部３６は、このような領域を、超音波プローブ２とともに、実空間上の位置関係に対応させて描画した画像を生成する。これにより、本実施形態に係る画像処理装置によれば、取得された輪郭と輪郭の間が離れていることにより、作業者に当該領域の輪郭を取得するべき領域を、超音波プローブ２の位置を基準として知らしめる画像を生成することができる。
【０１１９】
§５ 補足
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈される。また、当業者は、上記本実施形態の記載から、特許請求の範囲の記載および技術常識に基づいて等価な範囲を実施することができる。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられる。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解される意味と同じ意味を有する。両者が矛盾する場合、本明細書において使用される用語は、本明細書（定義を含めて）に記載された意味において理解される。
【符号の説明】
【０１２０】
１ 画像処理装置
２ 超音波プローブ
３ 超音波診断装置
４ カメラ
５ ディスプレイ
１１ 記憶部
１２ 制御部
１３ バス
２１ プローブ画像データ
３１ プローブ状態取得部
３２ 輪郭取得部
３３ 形状構成部
３４ 外側未検査領域取得部
３５ 輪郭間偏在領域取得部
３６ 画像生成部
５１ マーカ
５２ マーカ
【特許請求の範囲】
【請求項１】
実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記所定条件を満たす領域は、隣り合う輪郭の間隔の長さが所定の値を超えた領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定条件を満たす領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記実空間上の位置を認識させる画像は、前記超音波プローブを示した画像であることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記実空間上の位置を認識させる画像は、カメラにより取得される実空間の画像であることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項６】
前記輪郭取得部により配置された輪郭から前記測定対象物の三次元形状を推定する形状推定部と、
形状推定部により推定された前記測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、
を更に備え、
前記画像生成部は、前記画像上に更に、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画することを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、
前記輪郭取得部により取得された輪郭から前記測定対象物の三次元形状を推定する形状推定部と、
形状推定部により推定された前記測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、
取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項８】
コンピュータが、
実空間上における超音波プローブの位置及び姿勢情報を取得するステップと、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置するステップと、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求めるステップと、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成するステップと、
を実行することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
実空間上における超音波プローブの位置及び姿勢情報を取得するステップと、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置するステップと、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求めるステップと、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成するステップと、
を実行させるための画像処理プログラム。
【請求項１】
実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求める輪郭間偏在領域取得部と、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記所定条件を満たす領域は、隣り合う輪郭の間隔の長さが所定の値を超えた領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定条件を満たす領域は、それぞれの隣り合う輪郭の間隔の中で、当該間隔の長さが長い所定番目までの領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記実空間上の位置を認識させる画像は、前記超音波プローブを示した画像であることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記実空間上の位置を認識させる画像は、カメラにより取得される実空間の画像であることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項６】
前記輪郭取得部により配置された輪郭から前記測定対象物の三次元形状を推定する形状推定部と、
形状推定部により推定された前記測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、
を更に備え、
前記画像生成部は、前記画像上に更に、取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を描画することを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
実空間上における超音波プローブの位置及び姿勢情報を取得するプローブ状態取得部と、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置する輪郭取得部と、
前記輪郭取得部により取得された輪郭から前記測定対象物の三次元形状を推定する形状推定部と、
形状推定部により推定された前記測定対象物において、取得済みの輪郭に挟まれた輪郭存在領域の外側に位置する未検査領域を求める外側未検査領域取得部と、
取得済みの輪郭に挟まれた輪郭存在領域と、当該輪郭存在領域の外側に位置する未検査領域とを異なる表現で示す前記測定対象物を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成する画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項８】
コンピュータが、
実空間上における超音波プローブの位置及び姿勢情報を取得するステップと、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置するステップと、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求めるステップと、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成するステップと、
を実行することを特徴とする画像処理方法。
【請求項９】
コンピュータに、
実空間上における超音波プローブの位置及び姿勢情報を取得するステップと、
前記超音波プローブにより取得される情報から測定対象物の輪郭を抽出し、前記プローブ状態取得部によって取得された実空間上における前記超音波プローブの位置及び姿勢情報を用いて、実空間上の位置に対応付けて当該輪郭を三次元空間に配置するステップと、
前記輪郭取得部によって抽出された輪郭と輪郭の間の未検査領域でかつ、隣り合う輪郭の間隔についての撮像部位の偏在に関する所定条件を満たす領域を求めるステップと、
前記輪郭間偏在領域取得部により取得された領域を、実空間上の位置を認識させる画像とともに実空間上の位置関係に対応させて描画した画像を生成するステップと、
を実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１４７８５８（Ｐ２０１２−１４７８５８Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−７２４６（Ｐ２０１１−７２４６）
【出願日】平成２３年１月１７日（２０１１．１．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 第１５回日本バーチャルリアリティ学会大会論文集（平成２２年年９月１５日 日本バーチャルリアリティ学会発行）
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１７日（２０１１．１．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 第１５回日本バーチャルリアリティ学会大会論文集（平成２２年年９月１５日 日本バーチャルリアリティ学会発行）
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
[ Back to top ]