画像処理装置、画像処理方法
【課題】 撮像断層画像中の撮像不明瞭領域を、３次元ボリュームデータに基づいて補完する為の技術を提供すること。
【解決手段】 画像生成部１３０は、超音波プローブ１９５の位置姿勢情報に基づいて、３次元ボリュームデータから超音波プローブ１９５が撮像した被検体の断層画像に対応する断層面の像を取得する。画像合成部１４０は、断層面の像と断層画像とを合成した合成画像を生成し、出力する。係る合成では、断層画像において撮像不明瞭領域としての領域を特定し、撮像不明瞭領域内の画像を、断層面の像において撮像不明瞭領域に対応する領域内の画像で置き換えることで、断層画像と前記断層面の像とを合成する。
【解決手段】 画像生成部１３０は、超音波プローブ１９５の位置姿勢情報に基づいて、３次元ボリュームデータから超音波プローブ１９５が撮像した被検体の断層画像に対応する断層面の像を取得する。画像合成部１４０は、断層面の像と断層画像とを合成した合成画像を生成し、出力する。係る合成では、断層画像において撮像不明瞭領域としての領域を特定し、撮像不明瞭領域内の画像を、断層面の像において撮像不明瞭領域に対応する領域内の画像で置き換えることで、断層画像と前記断層面の像とを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）等の医用画像収集装置（モダリティ）で撮像した画像を処理する技術に関するものである。
【背景技術】
【０００２】
医療の分野において、医師は被検体を撮像した医用画像をモニタに表示し、表示された医用画像を読影して病変部の状態や経時変化を観察する。これらの医用画像の多くに被検体内部の断層画像が用いられている。断層画像を撮像する医用画像収集装置（モダリティ）としては、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）等がある。
【０００３】
これらのモダリティで撮像した個々の断層画像（撮像断層画像）を観察するだけでは、撮像断層画像に撮像不明瞭領域が存在する場合には、その領域の状態を把握することは困難である。
【０００４】
ここで、図１７を用いて、撮像不明瞭領域を説明する。撮像不明瞭領域とは、撮像断層画像の撮像領域内において、通常よりも輝度が低くまたは高くて不明瞭となっている領域である。例えば、撮像断層画像を撮像する医用画像収集装置として超音波画像診断装置を用いる場合には、シャドー領域や後方エコー領域などが、撮像不明瞭領域に相当する。ここでシャドー領域とは、撮像部としての超音波プローブが被検体表面に適切に接触しておらず、撮像断層画像に被検体内部の様子が描出されていない領域のことである。なお、超音波プローブが被検体表面に全く接触していない場合には、撮像断層画像の撮像領域全体がシャドー領域となる。また、後方エコー領域とは、撮像断層画像の撮像領域内において、被検体内部に存在する腫瘤等の影響によって、通常よりも輝度が低くまたは高くなり不明瞭となっている領域のことである。なお、以下の説明では、撮像断層画像の撮像領域の外側は、撮像不明瞭領域には含めないものとする。
【０００５】
非特許文献１には、あるモダリティで撮像した断層画像と同じ断面の画像を、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成し、両者を重ねて表示する手法が開示されている。この手法によれば、撮像断層画像に撮像不明瞭領域が存在する場合であっても、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成した断層画像（生成断層画像）に対応する領域が描出されていれば、撮像不明瞭領域の状態は把握可能である。また、特許文献１には、撮像断層画像と生成断層画像を並べて表示する手法が開示されている。この手法によっても、非特許文献１の手法と同様の効果が得られる。
【０００６】
また、上記のモダリティで撮影された個々の断層画像を観察するだけでは、病変部の３次元的な形状や拡がりを把握することは困難である。そこで、断層画像群から３次元形状データを復元する試みがなされている。３次元形状データが復元されれば、それに基づく解析や表示を行うことにより、病変部の３次元的な形状や拡がりを容易に把握することができる。
【０００７】
ＭＲＩ、Ｘ線ＣＴ、ＯＣＴなどの医用画像収集装置では、断層画像群が等間隔で撮影されるため、断層画像を単純に積み重ねることによって３次元形状データを容易に復元することができる。一方、超音波画像診断装置では、通常、医師や技師が超音波探触子（プローブ）を手に持って自由に動かしながら撮影を行うため、撮影した断層画像が人体を基準とした空間中のどの位置を撮影したものなのかが明らかではない。そこで、外部センサを用いて超音波探触子の位置姿勢を計測し、断層画像間の位置関係を求めて３次元形状データを復元する試みがなされている（非特許文献２）。また、外部センサを用いずに、断層画像中の画像特徴同士の相関に基づいて断層画像間の位置関係を推定し、３次元形状データを復元する試みもなされている（非特許文献３）。
【０００８】
ここで、断層画像群の撮影はプローブを被検体に押し当てて行われるため、プローブによる圧力で被検体が変形し、復元した３次元形状データに歪みが発生することが問題となる。
【０００９】
そこで、被検体の変形の無い形状を別途取得し、それに基づいて変形を補正する試みがなされている。例えば、非特許文献４に開示されている手法では、Ｘ線ＣＴを用いて被検体の変形の無い３次元形状データを事前に取得し、それに基づいて超音波のシミュレーション画像を生成している。そして、実際に超音波画像診断装置で撮影した断層画像とシミュレーション画像とを画像情報に基づいて対応付けることにより、変形の補正を可能としている。
【００１０】
また、プローブ圧力による被検体の変形量を推定して補正する試みもなされている。例えば、非特許文献５には、断層画像中の画像特徴と位置姿勢センサの計測値に基づいてプローブ圧力による変形量を推定し、補正する手法が開示されている。この手法では、プローブ圧力のかかる方向のみに変形が発生すると仮定している。そして、隣接する撮像時刻における断層画像の水平ライン同士の相関を取ることで、各断層画像の体表面からの深さに応じた変形量を推定し、補正している。その際に、撮影開始時と撮影終了時における、変形量の推定値と位置姿勢センサの計測値との整合が取れるように、各断層画像の変形量の推定値を調整して補正している。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特登録０３８７１７４７号公報
【非特許文献】
【００１２】
【非特許文献１】W. Wein, A. Khamene, D-A. Clevert, O. Kutter, and N. Navab, “Simulation and fully automatic multimodal registration of medical ultrasound,” Proc. MICCAI'07, vol.1, pp.136-143, 2007.
【非特許文献２】A. Fenster, "3-Dimensional Ultrasound Imaging," Imaging Economics, 2004.
【非特許文献３】T.A. Tuthill, J.F. Krucker, J.B. Fowlkes, and P.L. Carson, "Automated three-dimensional US frame positioning computed from elevational speckle decorrelation," Radiology, vol.209, pp.575-582, 1998.
【非特許文献４】W. Wein, B. Roper, and N. Navab, "Automatic registration and fusion of ultrasound with CT for radiotherapy," Proc. MICCAI 2005, vol.2, pp.303-311, 2005.
【非特許文献５】G.M. Treece, R.W. Prager, A.H. Gee, and L. Berman, "Correction of probe pressure artifacts in freehand 3D ultrasound," Medical Image Analysis, vol.6, no.3, pp.199-214, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、非特許文献１の手法では、撮像断層画像中の明瞭に撮像されている領域（撮像明瞭領域）と撮像不明瞭領域とが明示的には区別されていなかった。そのため、撮像明瞭領域も生成断層画像によって覆い隠されてしまい、撮像明瞭領域の観察が妨げられていた。したがって、撮像明瞭領域に例えば生検用の針が写っていたとしても、それが見えにくくなっていた。
【００１４】
また、特許文献１の手法では、撮像断層画像中の撮像不明瞭領域は、生成断層画像中の対応する領域を観察して医師が頭の中で補完するしかなかった。その際に、撮像断層画像中の撮像不明瞭領域が生成断層画像中でどの領域に対応するかを正確に判断することができず、撮像不明瞭領域の状態を把握することは依然として困難だった。
【００１５】
本発明は以上の問題に鑑みてなされたものであり、撮像断層画像中の撮像不明瞭領域を、３次元ボリュームデータに基づいて補完する為の技術を提供することを目的とする。
【００１６】
更に、非特許文献４の手法では、プローブの圧力による変形の無い被検体の基準形状を得るために、Ｘ線ＣＴ等の医用画像収集装置が別途必要であった。つまり、超音波画像診断装置で撮影した断層画像群のみからは歪みの無い３次元形状を復元することはできなかった。
【００１７】
また、非特許文献５の手法では、位置姿勢センサによる計測値は変形後の体表の位置姿勢であるため、プローブの圧力による変形の正解値は分からなかった。そのため、変形を正確に補正することができず、変形の無い被検体の基準形状を得ることはできなかった。
【００１８】
本発明の別の目的は、断層画像群から歪みの小さな３次元形状データを復元する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、以下の構成を備える。
【００２０】
即ち、撮像部が撮像した被検体の断層画像を取得する手段と、
前記撮像部の位置姿勢情報を取得する手段と、
前記被検体の３次元ボリュームデータを取得する手段と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する手段と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成手段と、
前記合成画像を出力する出力手段とを備え、
前記生成手段は、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする。
【発明の効果】
【００２１】
本発明の構成によれば、撮像断層画像中の撮像不明瞭領域を、３次元ボリュームデータに基づいて補完することができる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】コンピュータのハードウェア構成例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図４】第１の実施形態のステップＳ３０１０における処理を示すフローチャートである。
【図５】撮像領域の一例を示す図である。
【図６】第１の実施形態のステップＳ３０３０における処理を示すフローチャートである。
【図７】第２の実施形態のステップＳ３０１０における処理のフローチャートである。
【図８】第２の実施形態のステップＳ３０３０における処理のフローチャートである。
【図９】第３の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１０】第４の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１１】第４の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１２】第５の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１３】後方エコー領域を基準とする中央領域、左側領域、右側領域、を示す図である。
【図１４】第５の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１５】第６の実施形態のステップＳ３０２０における処理のフローチャートである。
【図１６】第６の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１７】撮像不明瞭領域を説明するための図である。
【図１８】第８の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図１９】第８の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図２０】第８の実施形態のステップＳ５３０１０における処理のフローチャートである。
【図２１】第８の実施形態のステップＳ５３０３０における処理のフローチャートである。
【図２２】第８の実施形態のステップＳ５３０４０における処理のフローチャートである。
【図２３】第９の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２４】被検体と超音波プローブ５１９５とが接触している状態を示す図である。
【図２５】第９の実施形態のステップＳ５３０４０における処理を示すフローチャートである。
【図２６】第１０の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２７】その他の実施形態における変形例３における接触判定方法を説明する図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００２４】
［第１の実施形態］
本実施形態に係る画像処理装置は、撮像断層画像中の撮像不明瞭領域を検出し、検出した撮像不明瞭領域を、３次元ボリュームデータに基づいて補完する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。以下、本実施形態について説明する。
【００２５】
先ず、図１を用いて、本実施形態に係る画像処理装置の構成と、その周辺機器について説明する。図１に示す如く、本実施形態に係る画像処理装置１００は、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０によって構成されている。更に、画像処理装置１００には、断層画像を撮像する医用画像収集装置としての超音波画像診断装置１９０が接続されていると共に、被検体の３次元ボリュームデータを保持するデータサーバ２００も接続されている。
【００２６】
超音波画像診断装置１９０は、被検体の断層画像を実時間で撮像する。超音波画像診断装置１９０によって得られた断層画像（撮像断層画像）は、データ入力部１１０を介して画像処理装置１００に入力される。
【００２７】
通常、医師や技師は、超音波画像診断装置１９０の撮像部（不図示）としての超音波プローブを手に持って、これを自由に動かしながら被検体の撮像を行う。しかしながら、撮像した断層画像が被検体を基準とした空間中のどの位置を撮像したものなのかが明らかではないので、不図示の位置姿勢センサを撮像部に装着して、撮像部の位置姿勢を計測する。位置姿勢センサは、例えば、米国Polhemus社のFASTRAK等によって構成される。なお、位置姿勢センサは、撮像部の位置姿勢が計測できるのであれば、どのように構成されていてもよい。そして、如何なる取得方法を適用にするにせよ、撮像部の位置姿勢を示す位置姿勢情報は、データ入力部１１０を介して画像処理装置１００に入力される。ここで、撮像部の位置姿勢は、例えば、基準座標系（被検体を基準とした空間上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置姿勢で表されている。なお、撮像部の位置姿勢は、不図示のキーボードやマウスなどを用いて操作者が入力してもよい。
【００２８】
データサーバ２００は、撮像断層画像と同一の被検体の３次元ボリュームデータを保持している。この３次元ボリュームデータは、例えば、超音波画像診断装置１９０によって被検体を事前に撮像して得られた断層画像群から予め復元したものである。例えば、上記非特許文献２に開示されている手法によれば、位置姿勢センサを用いて撮像部の位置姿勢を計測し、断層画像間の位置関係を求めて、３次元ボリュームデータを復元することができる。
【００２９】
なお、この３次元ボリュームデータは、前述の基準座標系において表現されているものとする。被検体の３次元ボリュームデータは、データ入力部１１０を介して画像処理装置１００に入力される。
【００３０】
ここで、ある方向から被検体を撮像した断層画像における撮像不明瞭領域（ここでは後方エコー領域も含む）が、別の方向から撮像した断層画像では撮像明瞭領域となっている場合がある。そのような場合には、被検体を複数方向から撮像した断層画像群を用いれば、撮像不明瞭領域がある程度補完された３次元ボリュームデータを復元することができる。そしてその結果として、撮像不明瞭領域がある程度補完された生成断層画像を得ることができる。ここで、「生成断層画像」とは上述の通り、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成した断層画像のことである。次に、画像処理装置１００を構成する各部について説明する。
【００３１】
データ入力部１１０は、超音波画像診断装置１９０から入力された撮像断層画像を必要に応じてデジタルデータに変換し、領域検出部１２０および画像合成部１４０へと出力する。またデータ入力部１１０は、データサーバ２００から入力される、撮像断層画像と同一の被検体に関する３次元ボリュームデータを、画像生成部１３０へと出力する。また、データ入力部１１０は、超音波画像診断装置１９０から入力される撮像部の位置姿勢情報と、予め算出して保持している「撮像断層画像の撮像部座標系における位置姿勢情報」と、に基づいて、撮像断層画像の基準座標系における位置姿勢情報を求める。そしてデータ入力部１１０は、この求めた「撮像断層画像の基準座標系における位置姿勢情報」を、後段の画像生成部１３０に出力する。ここで撮像部座標系とは、撮像部上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【００３２】
領域検出部１２０は、データ入力部１１０から入力された撮像断層画像中のシャドー領域を検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、シャドー領域を表すデータとして、撮像断層画像と同サイズの画像であって、シャドー領域とそれ以外の領域とで異なる画素値を割り当てたマスク画像を用いる。
【００３３】
画像生成部１３０は、データ入力部１１０から入力された３次元ボリュームデータと、撮像断層画像の基準座標系における位置姿勢情報と、を用いて生成断層画像を生成し、生成した生成断層画像を画像合成部１４０へと出力する。
【００３４】
画像合成部１４０は、データ入力部１１０から入力された撮像断層画像と、領域検出部１２０から入力されたマスク画像と、画像生成部１３０から入力された生成断層画像と、を用いて、撮像断層画像のシャドー領域に生成断層画像を合成する。そして画像合成部１４０は、係る合成処理により得られた合成画像を、外部機器へと出力する。
【００３５】
なお、図１に示したデータ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の少なくとも一部は、独立した装置として実現してもよい。また、夫々を１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部（データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０）は、それぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
【００３６】
図２を用いて、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータのハードウェア構成について説明する。
【００３７】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の夫々に対応するソフトウェアの実行を制御して、各部の機能を実現する。
【００３８】
ＲＡＭ１００２は、コンピュータ読み取り可能な記憶媒体の一例であり、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたコンピュータプログラムやデータを一時的に記憶する為のエリアを有する。更にＲＡＭ１００２は、Ｉ／Ｆ１００９を介して外部から受信したデータを一時的に記憶するためのエリア、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。
【００３９】
ＲＯＭ１００３は、コンピュータ読み取り可能な記憶媒体の一例であり、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は何れも入力デバイスとして用いられるものであり、操作者はこれらを用いて各種の指示をＣＰＵ１００１に入力することができる。
【００４０】
表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、ＣＰＵ１００１による処理結果を画像や文字などでもって表示することができる。例えば表示部１００６には、撮像断層画像や合成画像等の各種の医用画像を表示したり、画像処理のために表示すべきメッセージ等を表示したりすることができる。
【００４１】
外部記憶装置１００７は、ハードディスクドライブに代表される大容量情報記憶装置である。外部記憶装置１００７には、ＯＳ（オペレーティングシステム）や、本実施形態に係る画像処理装置が行うものとして後述する各処理をＣＰＵ１００１に実行させるためのコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０のそれぞれの機能をＣＰＵ１００１によって実現させるためのコンピュータプログラムが含まれている。また、係るデータには、以下の説明において既知の情報として説明するものが含まれている。外部記憶装置１００７に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。
【００４２】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているコンピュータプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００４３】
Ｉ／Ｆ１００９は、超音波画像診断装置１９０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。また、Ｉ／Ｆ１００９には、上記データサーバ２００も接続される。Ｉ／Ｆ１００９を介して外部から入力されたデータはＲＡＭ１００２に取り込まれる。データ入力部１１０の機能の一部は、Ｉ／Ｆ１００９によって実現される。上述した各構成要素は、バス１０１０によって相互に接続される。
【００４４】
次に、図３を用いて、本実施形態に係る画像処理装置の動作について説明する。なお、以下の説明では、図１に示した各部を処理の主体としているが、上述の通り、本実施形態では、各部はコンピュータプログラムとしてＣＰＵ１００１が実行するので、実際には、ＣＰＵ１００１が処理の主体となる。
【００４５】
ステップＳ３０００でデータ入力部１１０は、超音波画像診断装置１９０から、被検体の撮像断層画像と、超音波画像診断装置１９０が有する撮像部の位置姿勢情報とを取得すると共に、データサーバ２００からこの被検体の３次元ボリュームデータを取得する。そしてデータ入力部１１０は、撮像部の位置姿勢情報と、予め算出して保持している「撮像断層画像の撮像部座標系における位置姿勢情報」と、に基づいて、撮像断層画像の基準座標系における位置姿勢情報を求める。そしてデータ入力部１１０は、撮像断層画像については領域検出部１２０と画像合成部１４０とに出力し、３次元ボリュームデータと「撮像断層画像の撮像部座標系における位置姿勢情報」とについては画像生成部１３０に出力する。
【００４６】
ステップＳ３０１０で領域検出部１２０は、データ入力部１１０から受けた撮像断層画像から、撮像不明瞭領域としてのシャドー領域を検出する。なお、本ステップにおける処理の詳細については、図４に示すフローチャートを用いて後に詳しく説明する。
【００４７】
ステップＳ３０２０で画像生成部１３０は、ステップＳ３０００でデータ入力部１１０が求めた位置姿勢情報に基づいて、データ入力部１１０が取得した撮像断層画像と同じ断層面の像を、３次元ボリュームデータから切り出すことで生成断層画像を生成する。なお、３次元ボリュームデータにおいてシャドー領域に対応する部分のみを生成断層画像として生成しても良い。
【００４８】
ステップＳ３０３０で画像合成部１４０は、データ入力部１１０から受けた撮像断層画像中のシャドー領域に対して、ステップＳ３０２０で生成された生成断層画像を合成する。なお、本ステップにおける処理の詳細については、図６に示すフローチャートを用いて後に詳しく説明する。
【００４９】
ステップＳ３０４０で画像合成部１４０は、ステップＳ３０３０における合成処理で得られる合成画像を、Ｉ／Ｆ１００９を介して外部機器へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。
【００５０】
以上説明した処理によって、撮像断層画像中のシャドー領域が、３次元ボリュームデータに基づいて補完される。
【００５１】
次に、図４を用いて、上記ステップＳ３０１０における処理の詳細について説明する。なお、図４に示したフローチャートに従った処理は、ＣＰＵ１００１が領域検出部１２０の機能を実現するコンピュータプログラムを実行することにより実現される。
【００５２】
ステップＳ４０００において、領域検出部１２０は、撮像断層画像をデータ入力部１１０から入力する。ステップＳ４０１０において、領域検出部１２０は、ステップＳ４０００で入力した撮像断層画像と同じサイズの画像をマスク画像として生成する。なお、このマスク画像を構成する全ての画素の画素値には０を設定する。
【００５３】
ステップＳ４０２０において、領域検出部１２０は、撮像断層画像の撮像領域を長方形に変換し、また、同一の変換をマスク画像に対して施す。例えば、超音波画像診断装置１９０の撮像部としてコンベックスプローブを用いる場合には、撮像領域が図５に示すように扇形となるため、例えば次式によって長方形に変換する。
【００５４】
【数１】
【００５５】
ここで（ｒ，θ）は、図５に示すような、コンベックスプローブによる撮像領域の極座標を表す。ｒｍａｘ，θｍａｘはそれぞれ、撮像領域内におけるｒ及びθの最大値である。また（ｘ，ｙ）は変換後の直交座標を表す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【００５６】
ステップＳ４０３０において、領域検出部１２０は、撮像断層画像の長方形領域内の未処理の縦ラインを、選択縦ラインとして選択する。ステップＳ４０４０において、領域検出部１２０は、選択縦ラインを構成する全ての画素の画素値（輝度値）が閾値よりも低いか否かを判定する。
【００５７】
ここで、撮像領域の上端部付近は、超音波プローブが被検体表面に適切に接触していない場合であっても、輝度が低くならない場合がある。そこで、撮像領域の上端部を判定に用いないようにするために、所定のｙ座標値より大きなｙ座標における画素値が全て閾値よりも低いか否かの判定を行ってもよい。係る判定の結果、選択縦ラインを構成する全ての画素の画素値が閾値よりも低い場合にはステップＳ４０５０へと処理を進め、それ以外の場合にはステップＳ４０６０へと処理を進める。
【００５８】
なお、シャドー領域か否かを判定する処理は上述の処理に限らず、例えば、選択縦ラインを構成する全ての画素の画素値の平均が閾値以下でかつ分散が閾値以下であるか否かなどによって判定してもよい。
【００５９】
ステップＳ４０５０において、領域検出部１２０は、マスク画像において上記選択縦ラインに対応するライン上の各画素の画素値を１に設定し、ステップＳ４０６０へと処理を進める。
【００６０】
ステップＳ４０６０において、領域検出部１２０は、ステップＳ４０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ４０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ４０７０へと処理を進める。
【００６１】
ステップＳ４０７０において、領域検出部１２０は、長方形領域内の全ての画素位置におけるマスク画像の画素値が１に設定されたか否かを判定する。係る判定の結果、全ての画素値が１に設定されていない場合には、超音波プローブが被検体表面に全く接触していないかどうかを示すプローブ非接触フラグを０に設定する。一方、全ての画素値が１に設定されているのであれば、プローブ非接触フラグを１に設定する。
【００６２】
ステップＳ４０８０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００６３】
ステップＳ４０９０において、領域検出部１２０は、ステップＳ４０００からステップＳ４０８０の処理によって得られたシャドー領域を表すマスク画像、及びプローブ非接触フラグを画像合成部１４０へと出力する。
【００６４】
以上説明した処理によって、撮像断層画像からシャドー領域を検出することができる。そして検出したシャドー領域は、マスク画像において画素値が１の画素群で構成する領域として反映されている。
【００６５】
次に、図６を用いて、上記ステップＳ３０３０における処理の詳細について説明する。なお、図６に示したフローチャートに従った処理は、ＣＰＵ１００１が画像合成部１４０の機能を実現するコンピュータプログラムを実行することにより実現される。
【００６６】
ステップＳ６０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、シャドー領域を表すマスク画像およびプローブ非接触フラグを領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【００６７】
ステップＳ６０１０において、画像合成部１４０は、プローブ非接触フラグが０か１かを判定する。係る判定の結果、プローブ非接触フラグが０の場合にはステップＳ６０２０へと処理を進める。一方、プローブ非接触フラグが１の場合にはステップＳ６０５０へと処理を進める。
【００６８】
ステップＳ６０２０において、画像合成部１４０は、マスク画像において画素値が１の領域に対応する、撮像断層画像内の領域、即ちシャドー領域内（撮像不明瞭領域内）で未だ選択していない画素を選択画素として選択する。
【００６９】
ステップＳ６０３０において、画像合成部１４０は、選択画素の画素値を、生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ６０４０において、画像合成部１４０は、ステップＳ６０２０でシャドー領域内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ６０２０へと処理を戻す。一方、シャドー領域内の全ての画素を選択したのであれば、ステップＳ６０６０へと処理を進める。
【００７０】
一方、ステップＳ６０５０において、画像合成部１４０は、撮像断層画像を構成する全ての画素の画素値を、生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ６０６０において、画像合成部１４０は、ステップＳ６０００からステップＳ６０５０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像としてＲＡＭ１００２上に格納する。
【００７１】
以上説明した処理によって、撮像断層画像中のシャドー領域に対して生成断層画像を合成することができる。
【００７２】
以上の説明により、本実施形態によれば、撮像断層画像中の撮像不明瞭領域であるシャドー領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００７３】
［第２の実施形態］
第１の実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明した。しかし、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。本実施形態では、後方エコー領域を撮像不明瞭領域として取り扱う場合について説明する。
【００７４】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが第１の実施形態と異なっている。
【００７５】
領域検出部１２０は、データ入力部１１０から撮像断層画像を入力する。そして、撮像断層画像中の後方エコー領域を撮像不明瞭領域として検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、後方エコー領域を表すデータとして、後方エコー領域を表すマスク画像を用いる。
【００７６】
画像合成部１４０は、データ入力部１１０の出力である撮像断層画像と、領域検出部１２０の出力である後方エコー領域を表すマスク画像と、画像生成部１３０の出力である生成断層画像とを入力する。そして、これらのデータに基づいて、撮像断層画像の後方エコー領域に生成断層画像を合成し、得られた合成画像を外部へと出力する。
【００７７】
次に、図７を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図７において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【００７８】
ステップＳ７０３０において、領域検出部１２０は、撮像断層画像における後方エコー領域を、例えば以下の（文献２）に開示されている方法を用いて検出する。
【００７９】
（文献２） 福岡, "乳腺超音波画像におけるCADシステム", 日本放射線技術学会雑誌, vol.63, no.12, pp.1429-1434, 2007.
すなわち、垂直エッジの検出に基づく方法によって腫瘤候補領域を検出し、その後方（下方）を後方エコー領域とする。
【００８０】
ステップＳ７０４０において、領域検出部１２０は、ステップＳ７０３０で検出された後方エコー領域に対応するマスク画像内の領域を構成する各画素の画素値を１に設定し、ステップＳ７０５０へと処理を進める。
【００８１】
ステップＳ７０５０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００８２】
ステップＳ７０６０において、領域検出部１２０は、以上の処理によって得られた後方エコー領域を表すマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から後方エコー領域を検出することができる。
【００８３】
次に、図８を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ８０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、後方エコー領域を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【００８４】
ステップＳ８０１０において、画像合成部１４０は、マスク画像において画素値が１の領域に対応する、撮像断層画像内の領域、即ち後方エコー領域内で未だ選択していない画素を選択画素として選択する。
【００８５】
ステップＳ８０２０において、画像合成部１４０は、選択画素の画素値を生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ８０３０において、画像合成部１４０は、ステップＳ８０１０で後方エコー領域内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ８０１０へと処理を戻す。一方、後方エコー領域内の全ての画素を選択したのであれば、ステップＳ８０４０へと処理を進める。
【００８６】
ステップＳ８０４０において、画像合成部１４０は、ステップＳ８０００からステップＳ８０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。出力先については第１の実施形態と同様、特に限定するものではない。以上説明した処理によって、撮像断層画像中の後方エコー領域に対して生成断層画像を合成することができる。
【００８７】
以上説明したように、本実施形態によれば、断層画像中の撮像不明瞭領域である後方エコー領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００８８】
［第３の実施形態］
第１の実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明した。また、第２の実施形態では、後方エコー領域を撮像不明瞭領域として取り扱う場合について説明した。しかし、撮像不明瞭領域はシャドー領域または後方エコー領域のどちらか一方に限らず、シャドー領域と後方エコー領域の両方であってもよい。本実施形態では、シャドー領域と後方エコー領域の両方を撮像不明瞭領域として取り扱う場合について説明する。
【００８９】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。
【００９０】
領域検出部１２０は、データ入力部１１０の出力である撮像断層画像を入力する。そして、撮像断層画像中のシャドー領域と後方エコー領域とを合わせた領域を検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、シャドー領域と後方エコー領域とを合わせた領域を表すデータとして、シャドー領域と後方エコー領域とを合わせた領域を表すマスク画像を用いる。
【００９１】
画像合成部１４０は、データ入力部１１０の出力である撮像断層画像と、領域検出部１２０の出力であるシャドー領域と後方エコー領域とを合わせた領域を表すマスク画像と、画像生成部１３０の出力である生成断層画像とを入力する。そして、これらのデータに基づいて、撮像断層画像のシャドー領域と後方エコー領域とを合わせた領域に生成断層画像を合成し、得られた合成画像を外部へと出力する。
【００９２】
次に、図９を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図９において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【００９３】
ステップＳ９０８０において、領域検出部１２０は、マスク画像において画素値が０である画像領域に対応する、撮像断層画像の長方形領域内の画像領域から、後方エコー領域を、例えば上記（文献２）に開示されている方法を用いて検出する。
【００９４】
ステップＳ９０９０において、領域検出部１２０は、ステップＳ９０８０で検出された後方エコー領域に対応するマスク画像内の領域を構成する各画素の画素値を１に設定し、ステップＳ９１００へと処理を進める。
【００９５】
ステップＳ９１００において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００９６】
ステップＳ９１１０において、領域検出部１２０は、以上の処理によって得られた、シャドー領域と後方エコー領域とを合わせた領域を表すマスク画像、およびプローブ非接触フラグを、画像合成部１４０へと出力する。以上の処理によって、撮像断層画像からシャドー領域と後方エコー領域を合わせた領域を検出することができる。
【００９７】
画像合成部１４０が行う処理手順は、図６に示すフローチャートの処理と同様であり、図６に示すフローチャートにおけるシャドー領域を、シャドー領域と後方エコー領域とを合わせた領域に置き換えればよい。
【００９８】
以上説明したように、本実施形態によれば、断層画像中の撮像不明瞭領域であるシャドー領域と後方エコー領域を合わせた領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００９９】
［第４の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた方法で撮像断層画像内の領域の撮像明瞭度を算出し、撮像明瞭度に応じて３次元ボリュームデータから生成した生成断層画像と合成する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１００】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。
【０１０１】
本実施形態では領域検出部１２０は撮像断層画像内の領域の撮像明瞭度を算出する。なお、例えば撮像明瞭度が０の領域を撮像明瞭領域、撮像明瞭度が０より大きい領域を撮像不明瞭領域とすれば、撮像明瞭度を算出することにより領域の検出も行われることになる。
【０１０２】
次に、図１０を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図１０において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【０１０３】
ステップＳ１００４０において、領域検出部１２０は、選択縦ラインのシャドー領域らしさ（撮像明瞭度）を０〜１の範囲の値として算出する。例えば次式によって撮像明瞭度Ｒ１を算出する。
【０１０４】
【数２】
【０１０５】
ただし、Ｒ１＜０の場合には、Ｒ１＝０とする。ここで、ｙ０は所定のｙ座標値、ｙｍａｘはｙ座標の最大値、Ｉ０は閾値、Ｉ（Ｙ）は選択縦ラインにおいてｙ座標がＹである画素の輝度値を表す。ｙ０としては、例えばｙ座標の最小値を用いればよい。また、Ｉ０としては、例えば撮像領域の全画素の平均値を予め算出して用いればよい。
【０１０６】
換言すれば、撮像明瞭度とは、断層画像から順次選択された選択縦ラインを構成する各画素の画素値と閾値との差分をそれぞれの画素について加算した値を、閾値と選択縦ラインの画素数（ｙ０＝０の場合）との積で除した値である。そして、選択縦ラインがシャドー領域を構成する場合、選択縦ラインを構成する画素の画素値Ｉ（ｙ）は比較的小さい値となるため、結果としてＲ１は大きい値となる。
【０１０７】
ステップＳ１００５０において、領域検出部１２０は、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１００４０で求めた撮像明瞭度に基づいて設定する。例えば、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１００４０で求めた撮像明瞭度に設定する。
【０１０８】
ステップＳ１００６０において、領域検出部１２０は、ステップＳ４０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ４０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ１００７０へと処理を進める。
【０１０９】
ステップＳ１００７０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【０１１０】
ステップＳ１００８０において、領域検出部１２０は、以上の処理によって得られた撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から撮像不明瞭領域が検出されるとともに、その撮像明瞭度を算出することができる。
【０１１１】
次に、図１１を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１１０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【０１１２】
ステップＳ１１０１０において、画像合成部１４０は、撮像断層画像内で未だ選択していない画素を選択画素として選択する。ステップＳ１１０２０において、画像合成部１４０は、選択画素の画素値と、生成断層画像において対応する画素位置の画素値とを、マスク画像において選択画素に対応する画素位置の画素値に基づいて合成する。例えば、マスク画像において選択画素に対応する画素位置の画素値がα１である場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式３に基づいて行われる。
【０１１３】
【数３】
【０１１４】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。係る合成処理により、撮像断層画像と生成断層画像とを、合成率α１でもって合成することができる。
【０１１５】
ステップＳ１１０３０において、画像合成部１４０は、ステップＳ１１０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１１０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１１０４０へと処理を進める。
【０１１６】
ステップＳ１１０４０において、画像合成部１４０は、ステップＳ１１０００からステップＳ１１０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域に対して、生成断層画像を撮像明瞭度に応じて合成することができる。
【０１１７】
以上の説明により、本実施形態によれば、断層画像中の撮像不明瞭領域を検出し、その撮像明瞭度に応じて３次元ボリュームデータから生成された断層画像と合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明したが、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。
【０１１８】
［第５の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた複数の方法で撮像断層画像内の領域の撮像明瞭度を算出し、夫々の撮像明瞭度に応じて３次元ボリュームデータから生成した生成断層画像と合成する。なお、本実施形態では、シャドー領域と後方エコー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１１９】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。本実施形態では領域検出部１２０は、撮像断層画像内の領域の撮像明瞭度を算出する。
【０１２０】
次に、図１２を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。ステップＳ１２０００において、領域検出部１２０は、撮像断層画像をデータ入力部１１０から取得する。ステップＳ１２０１０において、領域検出部１２０は、ステップＳ１２０００で入力した撮像断層画像と同じサイズの画像を２つ生成し、一方を第１のマスク画像、他方を第２のマスク画像と呼称する。なお、このマスク画像を構成する全ての画素の画素値には０を設定する。
【０１２１】
ステップＳ１２０２０において、領域検出部１２０は、撮像断層画像の撮像領域を長方形に変換し、また、同一の変換を第１のマスク画像、第２のマスク画像に対して施す。超音波画像診断装置の撮像部としてコンベックスプローブを用いる場合には、例えば上記式１によって長方形に変換する。一方、超音波画像診断装置の撮像部としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【０１２２】
ステップＳ１２０３０において、領域検出部１２０は、撮像断層画像の長方形領域内の未処理の縦ラインを、選択縦ラインとして選択する。ステップＳ１２０４０において、領域検出部１２０は、選択縦ラインのシャドー領域らしさ（第１の撮像明瞭度）を０〜１の範囲の値として算出する。例えば上記式２によって第１の撮像明瞭度Ｒ１を算出する。ただし、Ｒ１＜０の場合には、Ｒ１＝０とする。
【０１２３】
ステップＳ１２０５０において、領域検出部１２０は、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１２０４０で求めた第１の撮像明瞭度Ｒ１に基づいて設定する。例えば、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１２０４０で求めた第１の撮像明瞭度Ｒ１に設定する。
【０１２４】
ステップＳ１２０６０において、領域検出部１２０は、ステップＳ１２０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ１２０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ１２０７０へと処理を進める。
【０１２５】
ステップＳ１２０７０において、領域検出部１２０は、撮像断層画像の撮像領域内の後方エコー領域を検出する。その際に、後方エコー領域らしさ（第２の撮像明瞭度）を０〜１の範囲の値として算出する。
【０１２６】
例えば先ず、長方形に変換した撮像領域中から着目部位領域としての腫瘤候補領域を、例えば上記文献２に開示されている垂直エッジの検出に基づく方法によって検出する。次に、腫瘤候補領域を内包する矩形領域を設定し、その後方（下方）に図１３に示すような３つの領域を設定する。この中央領域（腫瘤候補領域の直下の領域）と腫瘤候補領域より後方（下方）の矩形領域を合わせた領域が後方エコー領域である。そして、左側領域と右側領域の平均輝度値（腫瘤候補領域の直下の領域の左右に隣接する領域内の平均画素値）と、中央領域の平均輝度値とに基づいて、次式によって第２の撮像明瞭度Ｒ２を算出する。
【０１２７】
【数４】
【０１２８】
ここで、Ｉｌｒは左側領域と右側領域の平均輝度値、Ｉｃは中央領域の平均輝度値、Ｉｍａｘは輝度値の取り得る最大輝度値を表す。即ち、係る式は、ＩｃとＩｌｒとの差分を、Ｉｌｒ若しくはＩｍａｘからＩｌｒを引いた値で除した値を求める式である。
【０１２９】
ステップＳ１２０８０において、領域検出部１２０は、ステップＳ１２０７０で検出した後方エコー領域に対応する第２のマスク画像内の領域を構成する各画素の画素値を、ステップＳ１２０７０で算出した第２の撮像明瞭度Ｒ２に基づいて設定する。例えば、ステップＳ１２０７０で検出した後方エコー領域に対応する第２のマスク画像内の領域を構成する各画素の画素値に、ステップＳ１２０７０で算出した第２の撮像明瞭度Ｒ２を設定する。
【０１３０】
ステップＳ１２０９０において、領域検出部１２０は、第１のマスク画像、第２のマスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【０１３１】
ステップＳ１２１００において、領域検出部１２０は、ステップＳ１２０００からステップＳ１２０９０の処理によって得られた第１のマスク画像、第２のマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から性質の異なる撮像不明瞭領域を検出することができると共に、その撮像明瞭度を算出することができる。
【０１３２】
次に、図１４を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１４０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表す第１のマスク画像、第２のマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【０１３３】
ステップＳ１４０１０において、画像合成部１４０は、撮像断層画像において未だ選択されていない画素を１つ、選択画素として選択する。ステップＳ１４０２０で画像合成部１４０は選択画素の画素値を決定する。より詳しくは、選択画素の画素値と、生成断層画像内の対応する画素位置の画素値とを、第１のマスク画像内で選択画素に対応する画素位置の画素値Ｒ１、第２のマスク画像内で選択画素に対応する画素位置の画素値Ｒ２に基づいて合成する。
【０１３４】
例えば、Ｒ１＝α１、Ｒ２＝α２の場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式５に基づいて行われる。
【０１３５】
【数５】
【０１３６】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。係る合成処理により、撮像断層画像と生成断層画像とを、合成率α１、α２でもって合成することができる。
【０１３７】
ステップＳ１４０３０において、画像合成部１４０は、ステップＳ１４０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１４０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１４０４０へと処理を進める。
【０１３８】
ステップＳ１４０４０において、画像合成部１４０は、ステップＳ１４０００からステップＳ１４０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域に対して、撮像明瞭度に応じて生成断層画像が合成される。
【０１３９】
以上の説明により、本実施形態によれば、断層画像中の撮像不明瞭領域を複数の方法で検出し、夫々の撮像明瞭度に応じて３次元ボリュームデータから生成された断層画像と合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態ではシャドー領域を検出した後に後方エコー領域を検出したが、検出の順番は逆でもよいし、並列処理で検出してもよい。
【０１４０】
［第６の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた方法で撮像断層画像中の領域の撮像明瞭度を算出する。また、３次元画像データの信頼度の３次元分布に基づいて、３次元画像データから生成した断層画像中の信頼度分布を算出する。そして、撮像断層画像の撮像明瞭度および生成断層画像中の信頼度分布に基づいて、撮像断層画像と生成断層画像とを合成する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１４１】
以下、本実施形態について、第４の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、画像生成部１３０および画像合成部１４０の機能のみが異なっている。本実施形態では、画像生成部１３０は、３次元ボリュームデータの信頼度の３次元分布に基づいて、生成断層画像中の信頼度分布を算出する。
【０１４２】
次に、図１５を用いて、上記ステップＳ３０２０において本実施形態に係る画像生成部１３０が行う処理について説明する。
【０１４３】
ステップＳ１５０００において、画像生成部１３０は、３次元ボリュームデータと、予め算出した３次元ボリュームデータの信頼度の３次元分布と、撮像断層画像の基準座標系における位置姿勢情報と、をデータ入力部１１０から入力する。
【０１４４】
ここで、３次元ボリュームデータは、超音波画像診断装置１９０によって撮像した断層画像群から復元したものであるため、その信頼度は３次元ボリュームデータを構成する各ボクセルで一様ではない。例えば、超音波プローブを低速で動かしながら撮像した、断層画像群が密集している領域は、信頼度が高いと言える。一方、超音波プローブを高速に動かしながら撮像した、断層画像群が疎な領域は、信頼度が低いと言える。そこで、例えば、断層画像群から３次元ボリュームデータの各ボクセル値を復元する際に使用した断層画像の枚数を、使用枚数の最大値で割って０〜１の範囲に正規化した値を、各ボクセルの信頼度Ｌｖとする。
【０１４５】
ステップＳ１５０１０において、画像生成部１３０は、ステップＳ１５０００で取得した位置姿勢情報に基づいて、データ入力部１１０が取得した撮像断層画像と同じ断層面の像を、３次元ボリュームデータから切り出すことで生成断層画像を生成する。
【０１４６】
ステップＳ１５０２０において、画像生成部１３０は、生成断層画像の各画素の信頼度Ｌｐを、生成断層画像の各画素の生成に使用した各ボクセルの信頼度Ｌｖに基づいて算出する。例えば、各画素の値を最近傍のボクセルの値に設定する場合には、ある画素の信頼度Ｌｐは最近傍のボクセルの信頼度Ｌｖに設定すればよい。
【０１４７】
ステップＳ１５０３０において、画像生成部１３０は、生成断層画像および生成断層画像を構成する各画素の信頼度（信頼度分布）を、画像合成部１４０へと出力する。以上説明した処理によって、生成断層画像および生成断層画像中の信頼度分布を算出することができる。
【０１４８】
次に、図１６を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１６０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像および生成断層画像中の信頼度分布を画像生成部１３０から入力する。
【０１４９】
ステップＳ１６０１０において、画像合成部１４０は、撮像断層画像内で未だ選択していない画素を選択画素として選択する。ステップＳ１６０２０で画像合成部１４０は、選択画素の画素値と生成断層画像において対応する画素位置の画素値を、生成断層画像において選択画素に対応する画素位置の信頼度と、マスク画像において選択画素に対応する画素位置の画素値に基づいて合成する。例えば、生成断層画像において選択画素に対応する画素位置の信頼度がＬｐ、マスク画像において選択画素に対応する画素位置の画素値がα１であるとする。この場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式６に基づいて行われる。
【０１５０】
【数６】
【０１５１】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。
【０１５２】
ステップＳ１６０３０において、画像合成部１４０は、ステップＳ１６０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１６０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１６０４０へと処理を進める。
【０１５３】
ステップＳ１６０４０において、画像合成部１４０は、ステップＳ１６０００からステップＳ１６０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域の撮像明瞭度および生成断層画像中の信頼度分布に応じて撮像断層画像と生成断層画像とを合成することができる。
【０１５４】
以上の説明により、本実施形態によれば、撮像断層画像中の撮像不明瞭領域の撮像明瞭度と、生成断層画像中の信頼度分布とに応じて、両者を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明したが、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。
【０１５５】
［第７の実施形態］
（変形例１）
上記の実施形態の夫々において、断層画像を撮影する医用画像収集装置として超音波画像診断装置１９０を用いる場合を例に述べたが、断層画像を撮影する医用画像収集装置はこれに限るものではない。例えば、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）などの断層画像を撮影可能な医用画像収集装置を用いる場合にも、上記の実施形態の手法が適用可能である。
【０１５６】
（変形例２）
上記の実施形態の夫々において、超音波画像診断装置１９０で断層画像を撮影する場合を例に述べたが、医用画像収集装置で取得するデータはこれに限られるものではない。例えば、３次元の超音波プローブでＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔ）像を取得する場合にも、上記の実施形態の手法が適用可能である。すなわち、複数の切断面の夫々に対して上記の実施形態の手法をそのまま適用すればよい。
【０１５７】
（変形例３）
上記の実施形態の夫々において、３次元画像データとして、超音波画像診断装置１９０によって被検体を予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いる場合を例に述べた。しかし、使用する３次元画像データはこれに限られるものではない。例えば、３次元の超音波プローブで取得した３次元ボリュームデータを用いてもよい。また、取得磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）などによって被検体を予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いることも可能である。さらに、それらの輝度値配列データを、超音波画像診断装置によって撮像されたかのような輝度値配列データに変換して用いてもよい。また、標準形状モデルなどの３次元ＣＧデータを用いてもよい。
【０１５８】
なお、予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いるのではなく、実時間で撮像して得られた断層画像群から実時間で輝度値配列データを復元して用いてもよい。その場合には、輝度値配列データの復元に用いる断層画像群から、最新の撮像断層画像を除外してもよい。
【０１５９】
また、３次元画像データとして、予めまたは実時間で撮像して得られた断層画像群から輝度値配列データを復元せずに、断層画像群をそのまま用いてもよい。その場合には、例えば以下に示す文献に開示されている方法を用いて、撮像断層画像と略同一の断面を有する生成断層画像を断層画像群から直接生成すればよい。
【０１６０】
R.W. Prager, A.H. Gee, and L. Berman, “Stradx: real-time acquisition and visualisation of freehand 3D ultrasound,” Technical report CUED/F-INFENG/TR 319, Cambridge University Department of Engineering, April 1998.
（変形例４）
上記の実施形態の夫々において、撮像断層画像中の撮像不明瞭領域を検出してから、検出した領域を３次元ボリュームデータに基づいて補完する場合について説明した。しかし、撮像不明瞭領域が既知の場合には、撮像不明瞭領域を検出する処理が不要となる。例えば、超音波プローブを構成する圧電素子（振動子）の一部が破損している場合には、撮像領域内の特定の領域が常に、シャドー領域と同様に通常よりも輝度が低くて不明瞭となる。このような場合には、上記の特定の領域を予め手作業等で指定しておき、指定された領域に対して、上記の実施形態の夫々におけるシャドー領域に対する処理と同様の処理を行えばよい。その際に、撮像不明瞭領域の撮像明瞭度を予め算出しておき、撮像明瞭度に基づいて撮像不明瞭領域に対する合成を行ってもよい。
【０１６１】
（変形例５）
上記の実施形態の夫々において、撮像断層画像中の撮像不明瞭領域を３次元ボリュームデータに基づいて補完する場合について説明した。しかし、撮像明瞭領域に対しても、その観察を妨げない程度の比率で生成断層画像の画素値を混合してもよい。例えば、マスク画像の画素値が０．１以下の領域を全て画素値０．１に置換した上で、ステップＳ１１０２０における式３、またはステップＳ１４０２０における式５によって撮像断層画像の画素値と生成断層画像の画素値を混合すればよい。以上によって、撮像明瞭領域の観察が妨げられることなく、生成断層画像の全体像を把握することが可能となる。
【０１６２】
（変形例６）
第１の実施形態において、撮像明瞭領域と撮像不明瞭領域を夫々異なる表示属性で表示してもよい。例えば、撮像明瞭領域を２５６階調の青色で表示し、撮像不明瞭領域を２５６階調の赤色で表示してもよい。また、撮像不明瞭領域のみを点滅させて表示してもよい。さらに、撮像明瞭領域と撮像不明瞭領域の境界線を描画してもよい。
【０１６３】
即ち、合成画像を表示する際、撮像不明瞭領域とそれ以外の領域とを識別可能に表示する為の表示形態であれば、如何なる表示形態を採用しても良い。以上によって、撮像明瞭領域と撮像不明瞭領域とを混同せずに把握することが可能となる。
【０１６４】
（変形例７）
第３の実施形態において、撮像不明瞭領域の性質毎に異なる表示属性で表示してもよい。例えば、シャドー領域を２５６階調の赤色で表示し、後方エコー領域を２５６階調の緑色で表示してもよい。即ち、撮像不明瞭領域を表示する際、それぞれの種別の撮像不明瞭領域を識別可能に表示する為の表示形態であれば、如何なる表示形態を採用しても良い。その際に、撮像明瞭領域を２５６階調の青色で表示してもよい。
【０１６５】
さらに、撮像明瞭度、すなわちマスク画像の画素値に応じて各色の混合比率を変更してもよい。シャドー領域を表す第１のマスク画像の画素値がα１、後方エコー領域を表す第２のマスク画像の画素値がα２である場合には、例えば次式によって青色、赤色、緑色の混合比率Ｂ：Ｒ：Ｇを算出することが可能である。
【０１６６】
【数７】
【０１６７】
即ち、合成画像を構成する各画素を、対応する撮像明瞭度と信頼度とに基づく値に応じた表示形態でもって表示するのであれば、如何なる表示形態を採用しても良い。更に、以上説明した各実施形態、変形例はその一部若しくは全部を適宜組み合わせて用いても良い。
【０１６８】
［第８の実施形態］
本実施形態に係る画像処理装置は、超音波画像診断装置から被検体の断層画像を時系列的に（時間的に連続して）取得し、得られた断層画像群から被検体の３次元形状データを復元する。このとき、超音波プローブと被検体が接触した直後の時点で撮像された断層画像及びこの接触が解除される直前（非接触となる直前）の時点で撮像された断層画像と、それ以外の断層画像とを異なる方法で処理する。これにより、プローブ圧力による変形の影響を軽減する。
【０１６９】
ここで、接触した直後の時点で撮像された断層画像は、１枚の断層画像に限らず、指定した枚数の断層画像であってもよい。または、例えば接触後に所定の距離および／または角度だけプローブが移動するまでの間の全ての断層画像を、接触した直後の断層画像として扱ってもよい。なお、プローブの移動は後述の位置姿勢センサによって計測することができる。また、非接触となる直前の断層画像も、接触した直後の断層画像と同様に、１枚の断層画像に限られるものではない。
【０１７０】
本実施形態では、３次元形状データとして、３次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたボリュームデータ（以下、輝度値配列データと呼ぶ）を復元する。以下、本実施形態について説明する。
【０１７１】
先ず、図１８を用いて、本実施形態に係る画像処理装置の機能構成例について説明する。図１８に示す如く、本実施形態に係る画像処理装置５１００は、データ入力部５１１０、データ記憶部５１２０、位置姿勢算出部５１３０、接触判定部５１４０、変形判定部５１５０、変形補正部５１６０、３次元形状復元部５１７０によって構成される。そして更に、画像処理装置５１００には、断層画像を撮像する医用画像収集装置である超音波画像診断装置５１９０が接続されている。
【０１７２】
超音波画像診断装置５１９０は、被検体の断層画像を時系列的に撮像する。超音波画像診断装置５１９０には、断層画像群を取得するための超音波プローブ５１９５が接続されている。そして、この超音波プローブ５１９５を被検体に接触させることで、断層画像の撮像が行われる。超音波画像診断装置５１９０によって得られた断層画像群は、データ入力部５１１０を介して画像処理装置５１００に入力される。更に、この超音波プローブ５１９５には、第１の実施形態と同様、その位置姿勢を計測するための位置姿勢センサが装着されている。もちろん、本実施形態においても、超音波プローブ５１９５の位置姿勢を取得することができるのであれば、その手法は如何なるものであっても良い。如何なる手法を用いるにせよ、超音波プローブ５１９５の位置姿勢情報は、データ入力部５１１０を介して画像処理装置５１００に入力される。ここで、超音波プローブ５１９５の位置姿勢情報は、上記の基準座標系における位置姿勢で表されているものとする。なお、超音波プローブ５１９５の位置姿勢は、不図示のキーボードやマウスなどのユーザインタフェースを用いて操作者が入力してもよい。
【０１７３】
データ入力部５１１０には、断層画像と、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と、が時系列的に超音波画像診断装置５１９０から入力される。データ入力部５１１０は、入力された断層画像を必要に応じてデジタルデータに変換し、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と関連付けてデータ記憶部５１２０に格納する。
【０１７４】
位置姿勢算出部５１３０は、データ記憶部５１２０から、超音波プローブ５１９５の位置姿勢情報を読み出す。更に位置姿勢算出部５１３０は、予め算出してデータ記憶部５１２０内で管理している「超音波プローブ座標系における断層画像の位置姿勢情報」を読み出す。そして位置姿勢算出部５１３０は、これらの位置姿勢情報を用いて、基準座標系における断層画像の位置姿勢情報を算出し、データ記憶部５１２０に格納する。ここで、超音波プローブ座標系とは、超音波プローブ５１９５上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【０１７５】
接触判定部５１４０は、データ記憶部５１２０から断層画像を読み出し、読み出した断層画像を用いて、この断層画像の撮像時点での超音波プローブ５１９５と被検体との接触の有無を判定する。そして接触判定部５１４０は、この判定結果（接触の有無）を示す情報をデータ記憶部５１２０に格納する。
【０１７６】
変形判定部５１５０は、データ記憶部５１２０から、断層画像と、この断層画像を用いて判定した接触の有無を示す情報と、を読み出す。そして変形判定部５１５０は、読み出した断層画像と接触の有無を示す情報とを用いて、この断層画像が超音波プローブ５１９５の圧力による変形の小さな断層画像（小変形断層画像）であるのか、変形の大きな断層画像（変形断層画像）であるのかを判定する。そして変形判定部５１５０は、この判定の結果を示す情報を、データ記憶部５１２０に格納する。
【０１７７】
変形補正部５１６０は、データ記憶部５１２０から、断層画像と、この断層画像の基準座標系における位置姿勢情報と、この断層画像について変形判定部５１５０が判定した結果を示す情報と、を読み出す。そして変形補正部５１６０は、読み出したこれらの情報に基づいて、変形断層画像の変形を補正し、変形を補正した断層画像をデータ記憶部５１２０に格納する。なお、以下では、変形を補正した断層画像を補正断層画像と呼称する。
【０１７８】
３次元形状復元部５１７０は、データ記憶部５１２０から、小変形断層画像群と、補正断層画像群と、それぞれの基準座標系における位置姿勢情報と、を読み出す。そして３次元形状復元部５１７０は、読み出したこれらの情報を用いて、輝度値配列データを復元し、外部機器へと出力する。
【０１７９】
データ記憶部５１２０には、以下に挙げるデータが格納されることになる。
【０１８０】
（１） 時系列的に取得した被検体の断層画像と、それに関する情報
（１−１） データ入力部５１１０から入力される、被検体の断層画像
（１−２） 位置姿勢算出部５１３０から入力される、基準座標系における断層画像の位置姿勢情報
（１−３） 接触判定部５１４０から入力される、接触の有無を示す情報
（１−４） 変形判定部５１５０から入力される、変形判定部５１５０による判定結果を示す情報
（１−５） 変形補正部５１６０から入力される、補正断層画像
（２） 予め算出された、超音波プローブ座標系における断層画像の位置姿勢情報
そして、必要に応じてこれらのデータはデータ記憶部５１２０に対して入出力される。なお、図１に示したデータ入力部５１１０、データ記憶部５１２０、位置姿勢算出部５１３０、接触判定部５１４０、変形判定部５１５０、変形補正部５１６０、３次元形状復元部５１７０の少なくとも一部は、独立した装置として実現してもよい。また、夫々１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置５１００を構成する上記各部は、それぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。係るコンピュータとしては、第１の実施形態と同様、図２に示した構成例を有するコンピュータを適用すればよい。
【０１８１】
次に、図１９を用いて、本実施形態に係る画像処理装置５１００が行う処理について説明する。なお、以下の説明では、図１９に示した各部を処理の主体としているが、上述の通り、本実施形態では、各部はコンピュータプログラムとしてＣＰＵ１００１が実行するので、実際には、ＣＰＵ１００１が処理の主体となる。
【０１８２】
上述の通り、超音波画像診断装置５１９０からは、被検体の断層画像と、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と、が順次出力される。従って、ステップＳ５３０００においてデータ入力部５１１０は、被検体の断層画像と、この断層画像を撮像した時点における超音波プローブ５１９５の位置姿勢情報と、を順次取得し、データ記憶部５１２０に格納する。
【０１８３】
次に、位置姿勢算出部５１３０は、データ記憶部５１２０から、超音波プローブ５１９５の位置姿勢情報を読み出す。更に位置姿勢算出部５１３０は、予め算出してデータ記憶部５１２０に格納されている「超音波プローブ座標系における断層画像の位置姿勢情報」を読み出す。そして位置姿勢算出部５１３０は、これらの位置姿勢情報を用いて、基準座標系における断層画像の位置姿勢情報を算出し、データ記憶部５１２０に格納する。
【０１８４】
ステップＳ５３０１０において、接触判定部５１４０は、ステップＳ５３０００でデータ記憶部５１２０に格納した断層画像群に基づいて、夫々の断層画像を撮像した時刻における超音波プローブ５１９５と被検体との接触の有無（接触か非接触か）を判定する。そして接触判定部５１４０は、それぞれの断層画像を撮像した時刻における接触の有無を示す情報を、データ記憶部５１２０に格納する。なお、本ステップにおける処理の詳細については、図２０に示すフローチャートを用いて後に詳しく説明する。
【０１８５】
ステップＳ５３０２０において、変形判定部５１５０は、ステップＳ５３０１０で得られた接触の判定結果に基づいて、ステップＳ５３０００で得た断層画像の夫々について、小変形断層画像であるのか変形断層画像であるのかを判定する。具体的には、接触の直後の時点で撮像された断層画像及び接触が解除される直前の時点で撮像された断層画像を小変形断層画像と判定し、それ以外を変形断層画像と判定する。そして変形判定部５１５０は、それぞれの断層画像についての判定結果を示す情報をデータ記憶部５１２０に格納する。
【０１８６】
ステップＳ５３０３０において、変形補正部５１６０は、ステップＳ５３０２０で変形断層画像と判定された断層画像の夫々について変形の補正処理を施し、補正断層画像を生成する。そして変形補正部５１６０は、得られた補正断層画像をデータ記憶部５１２０に格納する。なお、本ステップにおける処理の詳細は、図２１に示すフローチャートを用いて後に詳しく説明する。
【０１８７】
ステップＳ５３０４０において、３次元形状復元部５１７０は、ステップＳ５３０２０で小変形断層画像と判定された断層画像群（補正対象外）と、ステップＳ５３０３０で生成された補正断層画像群とを用いて、被検体の輝度値配列データを復元する。なお、本ステップにおける処理の詳細は、図２２に示すフローチャートを用いて後に詳しく説明する。
【０１８８】
ステップＳ５３０５０において、３次元形状復元部５１７０は、ステップＳ５３０４０で復元した輝度値配列データを、Ｉ／Ｆ１００９を介して外部へと出力する、若しくは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、取得した断層画像群から３次元形状データを復元することができる。 次に、図２０に示すフローチャートを用いて、ステップＳ５３０１０において接触判定部５１４０が実行する処理の手順を説明する。ステップＳ５４０００において、接触判定部５１４０は、断層画像群をデータ記憶部５１２０から読み出す。ステップＳ５４０１０において、接触判定部５１４０は、読み出した断層画像群のうち未だ選択していない断層画像を選択断層画像として選択する。
【０１８９】
ステップＳ５４０２０において、接触判定部５１４０は、上記式１に従って選択断層画像の撮像領域を長方形に変換する。なお、超音波プローブ５１９５としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【０１９０】
ステップＳ５４０３０において、接触判定部５１４０は、長方形領域内の全ての縦ラインについて、接触状態を表すフラグを、接触を表す１に設定する。ステップＳ５４０４０において、接触判定部５１４０は、長方形領域内で未だ選択していない縦ラインを選択縦ラインとして選択する。
【０１９１】
ステップＳ５４０５０において、接触判定部５１４０は、選択縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定する。ここで、撮像領域の上端部付近は、超音波プローブ５１９５が被検体表面に適切に接触していない場合であっても、輝度が低くならない場合がある。そこで、撮像領域の上端部を判定に用いないようにするために、所定のｙ座標値より大きなｙ座標における全ての画素の画素値が閾値よりも低いか否かの判定を行ってもよい。係る判定の結果、全て閾値よりも低い場合にはステップＳ５４０６０へと処理を進め、それ以外の場合にはステップＳ５４０７０へと処理を進める。
【０１９２】
なお、選択縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定する処理は、上述の処理に限定されるものではない。例えば、選択縦ラインを構成する全ての画素の画素値の平均が閾値以下でかつ分散が閾値以下であるか否かなどによって判定してもよい。
【０１９３】
ステップＳ５４０６０において、接触判定部５１４０は、選択縦ラインの接触状態を表すフラグを、非接触を表す０に設定し、ステップＳ５４０７０へと処理を進める。ステップＳ５４０７０において接触判定部５１４０は、ステップＳ５４０４０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、選択断層画像について未だ選択していない縦ラインがある場合にはステップＳ５４０４０へと処理を戻す。一方、選択断層画像について全ての縦ラインを選択したのであればステップＳ５４０８０へと処理を進める。
【０１９４】
ステップＳ５４０８０において、接触判定部５１４０は、全ての縦ラインの接触状態を表すフラグ（フラグ値）が０であるか否かを判定する。係る判定の結果、全ての縦ラインの接触状態を表すフラグが０であれば、超音波プローブ５１９５と被検体とは接触していないと判定し、それ以外の場合は接触していると判定する。
【０１９５】
ステップＳ５４０９０において、接触判定部５１４０は、ステップＳ５４０１０で未だ選択されていない断層画像があるか否かを判定する。係る判定の結果、未だ選択されていない断層画像がある場合にはステップＳ５４０１０へと処理を戻す。一方、ステップＳ５４０００においてデータ記憶部５１２０から読み出された全ての断層画像についてステップＳ５４０１０で選択されたのであれば、ステップＳ５４１００へと処理を進める。
【０１９６】
ステップＳ５４１００において、接触判定部５１４０は、それぞれの断層画像についてステップＳ５４０８０で判定した結果を示す情報を、データ記憶部５１２０に格納する。以上説明した処理によって、夫々の断層画像を撮像した時刻において超音波プローブ５１９５と被検体とが接触しているか否かを判定することができる。
【０１９７】
次に、図２１のフローチャートを用いて、ステップＳ５３０３０において変形補正部５１６０が実行する処理の手順を説明する。ステップＳ５６０００において、変形補正部５１６０は、断層画像の夫々と、基準座標系における各断層画像の位置姿勢情報と、それぞれの断層画像について変形判定部５１５０が判定した結果を示す情報と、をデータ記憶部１２０から入力する。
【０１９８】
ステップＳ５６０１０において、変形補正部５１６０は先ず、それぞれの断層画像について変形判定部５１５０が判定した結果を示す情報を参照して、断層画像群のうち、変形断層画像を特定する。そして特定した変形断層画像群のうち、未だ選択していない変形断層画像を選択変形断層画像として選択する。
【０１９９】
ステップＳ５６０２０において、変形補正部５１６０は、例えば上記非特許文献５に開示されている手法によって、選択変形断層画像の体表面からの深さｙに応じた変形量ｄ（ｙ）を推定する。そして、推定結果に基づいて変形を補正した補正断層画像を生成する。
【０２００】
なお、補正断層画像を生成する処理は、上述の処理に限定されるものではない。例えば、超音波プローブ５１９５の圧力による変形を単純な剛体変換（平行移動）であると仮定して、スカラー値である変形量を推定して補正してもよい。または、超音波プローブ５１９５の圧力による体表面の押し込み量をパラメータとした変形モデルを作成しておき、例えば体表面が滑らかであると仮定した上で押し込み量を推定して、変形モデルに基づいて変形を補正してもよい。本ステップの処理により、変形量ｄ（ｙ）の初期値が推定され、変形が大まかに補正された補正断層画像が生成される。
【０２０１】
ステップＳ５６０３０において、変形補正部５１６０は、ステップＳ５６０２０の処理によって変形が大まかに補正された補正断層画像と、小変形断層画像群との交差を判定する。交差の判定には、例えば、以下の文献に開示されている、２枚の画像の画素値を比較して交線を探索する方法を用いる。
【０２０２】
R.F. Chang, W-J. Wu, D-R. Chen, W-M Chen, W. Shu, J-H. Lee, and L-B. Jeng, "3-D US frame positioning using speckle decorrelation and image registration," Ultrasound in Med. & Biol., Vol.29, No.6, pp.801-812, 2003.
そして、小変形断層画像のいずれかと交差していると判定されればステップＳ５６０４０へと処理を進め、それ以外の場合にはステップＳ５６０５０へと処理を進める。ステップＳ５６０４０において、変形補正部５１６０は、補正断層画像の推定変形量ｄ（ｙ）の更新を、補正断層画像と交差する小変形断層画像を参照して行う。すなわち、両者の交線上にある画素値の類似度が最大となるように、補正断層画像の推定変形量ｄ（ｙ）を繰り返し計算によって更新する。例えば、補正断層画像の推定変形量ｄ（ｙ）に対して１．０に近い数種類の係数を掛け合わせた変形量の候補群を生成し、その候補群の中から類似度が最大となる候補を選択して更新する。そして、求められた推定変形量を用いて補正断層画像を再度生成し、生成された補正断層画像に更新済みのフラグを付加する。以下では、生成された補正断層画像を補正更新断層画像と呼ぶ。
【０２０３】
ステップＳ５６０５０において、変形補正部５１６０は、ステップＳ５６０１０において全ての変形断層画像を選択したか否かを判定する。係る判定の結果、未だ選択していない変形断層画像がある場合には、ステップＳ５６０１０へと処理を戻す。一方、全ての変形断層画像を選択した場合には、ステップＳ５６０６０へと処理を進める。
【０２０４】
ステップＳ５６０６０において、変形補正部５１６０は、更新済みのフラグが付加されていない補正断層画像を選択する。すなわち、小変形断層画像のいずれとも交差しておらず、推定変形量の更新が行われていない補正断層画像を選択する。
【０２０５】
ステップＳ５６０７０において、変形補正部５１６０は、選択された補正断層画像の推定変形量を、補正更新断層画像の推定変形量に基づいて更新する。例えば、選択された補正断層画像の撮影時刻をｔとし、ｔ以前の最も近い時刻に撮影された補正更新断層画像の撮影時刻をｔ１、その推定変形量をｄ１（ｙ）とする。また、ｔ以降の最も近い時刻に撮影された補正更新断層画像の撮影時刻をｔ２、その推定変形量をｄ２（ｙ）とする。このとき、選択された補正断層画像の新たな推定変形量ｄ’（ｙ）を、例えば次式に従って算出する。
【０２０６】
【数８】
【０２０７】
なお、推定変形量の更新は上述の方法に限られるものではない。例えば、選択された補正断層画像の更新前の推定変形量ｄ（ｙ）と推定変形量ｄ’（ｙ）との両者に基づいて、両者の平均を取るなどして、新たな推定変形量を算出してもよい。
【０２０８】
ステップＳ５６０８０において、変形補正部５１６０は、更新済みのフラグが付加されていない全ての補正断層画像に対して処理を終えたか否かの判定を行い、処理を終えていない場合にはステップＳ５６０６０へと処理を戻す。一方、処理を終えているのであればステップＳ５６０９０へと処理を進める。
【０２０９】
ステップＳ５６０９０において、変形補正部５１６０は、ステップＳ５６０００からステップＳ５６０８０の処理によって得られた補正断層画像群をデータ記憶部５１２０に格納する。
【０２１０】
以上の処理によって、変形の少ない小変形断層画像群を手がかりとして、変形断層画像群の変形を効果的に補正することができる。すなわち、小変形断層画像群を、変形の補正を行わずに基準として用いることにより、基準なしで全ての断層画像群の変形を補正する場合よりも変形の影響が軽減された補正断層画像群を得ることができる。
【０２１１】
次に、図２２のフローチャートを用いて、ステップＳ５３０４０において３次元形状復元部５１７０が実行する処理の手順を説明する。ステップＳ５７０００において、３次元形状復元部５１７０は、小変形断層画像群と、補正断層画像群と、それらの基準座標系における位置姿勢情報とを、データ記憶部５１２０から読み出す。
【０２１２】
ステップＳ５７０１０において、３次元形状復元部５１７０は、輝度値配列データを格納するための、例えば２５６×２５６×２５６のボクセルからなるボクセルメッシュを生成する。ボクセルメッシュのサイズは、その内部に全ての断層画像が含まれる大きさにする。そして、ボクセルメッシュ座標系は、例えば、ある断層画像の中央位置を原点として定義し、この原点で互いに直交する３軸を基準座標系と一致するように定義する。
【０２１３】
ステップＳ５７０２０において、３次元形状復元部５１７０は、基準座標系における各断層画像の位置姿勢情報に基づいて、各断層画像の各画素のボクセルメッシュ座標系における位置を算出する。
【０２１４】
ステップＳ５７０３０において、３次元形状復元部５１７０は、輝度値配列データの復元、すなわち、全ボクセルの輝度値の算出を行う。各ボクセルの輝度値は、例えば、注目ボクセルの近傍に位置する複数の画素における輝度値の、ボクセルから各画素までの距離の逆数を重みとした加重平均によって算出する。
【０２１５】
ステップＳ５７０４０において、３次元形状復元部５１７０は、ステップＳ５７０３０で得られた輝度値配列データを、Ｉ／Ｆ１００９を介して外部へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、変形が補正された断層画像群から、歪みの小さな３次元形状データとして輝度値配列データが復元される。
【０２１６】
以上説明したように、本実施形態によれば、超音波プローブ５１９５と被検体との接触直後および非接触となる直前の断層画像とそれ以外の断層画像とを異なる方法で処理することで、断層画像群から歪みの小さな３次元形状データを復元することができる。すなわち、本実施形態では、小変形断層画像群を、超音波プローブ５１９５の圧力による変形が小さいものとして、補正を行わずに基準として用いている。そのため、基準なしで断層画像群の変形を補正する場合よりも、超音波プローブ５１９５の圧力による変形の影響が軽減された３次元形状データを復元することができる。
【０２１７】
［第９の実施形態］
第８の実施形態では、３次元形状データとして被検体のボリュームデータ（輝度値配列データ）を復元していたが、本実施形態では、３次元形状データとして、被検体のサーフェスモデル（表面形状モデル）を復元する。以下、本実施形態について、第８の実施形態との相違部分についてのみ説明する。
【０２１８】
図２３を用いて、本実施形態に係る画像処理装置５８００の機能構成について説明する。なお、図２３において、図１８と同じ部分については同じ参照番号を付けており、その説明は省略する。
【０２１９】
位置姿勢算出部５８３０は、データ記憶部５１２０から、基準座標系における超音波プローブ５１９５の位置姿勢と、予め算出して記憶された超音波プローブ座標系における超音波プローブ５１９５の接点の位置情報とを読み出す。本実施形態では、図２４に示すように、被検体と超音波プローブ５１９５との接触面の重心位置を接点とする。そして位置姿勢算出部５８３０は、読み出したこれらの情報に基づいて、基準座標系における接点の位置情報を算出し、算出した位置情報をデータ記憶部５１２０に格納する。
【０２２０】
次に、図２５に示すフローチャートを用いて、３次元形状復元部５８７０が上記ステップＳ５３０４０において行う処理について説明する。ステップＳ６１００において、３次元形状復元部５８７０は、断層画像の夫々を撮像した時刻における接点の位置情報と、夫々の断層画像についての超音波プローブ５１９５と被検体との接触判定結果を示す情報とを、データ記憶部５１２０から読み出す。
【０２２１】
ステップＳ６２００において、３次元形状復元部５８７０は、接触の判定結果が切り替わる時点での接点の位置情報に基づいて、被検体表面を表す点群を得る。具体的には、接触した直前および直後の接点の位置を平均して、接触した瞬間の接点の位置を算出する。同様に、非接触となる直前および直後の接点の位置を平均して、非接触となる瞬間の接点の位置を算出する。これらの接点群が被検体表面を表す点群となる。
【０２２２】
ステップＳ６３００において、３次元形状復元部５８７０は、被検体表面を表す点群からサーフェスモデルを復元する。例えば、被検体表面を表す点群を頂点とする三角形パッチを生成して、その集合をサーフェスモデルとする。
【０２２３】
ステップＳ６４００において、３次元形状合成部５８７０は、ステップＳ６３００で得られたサーフェスモデルを、Ｉ／Ｆ１００９を介して外部へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、超音波プローブ５１９５と被検体との接触の判定結果に基づいて、歪みの小さな３次元形状データとしてサーフェスモデルが復元される。
【０２２４】
以上の説明により、本実施形態によれば、超音波プローブ５１９５と被検体との接触判定結果が切り替わる時の超音波プローブ５１９５の位置姿勢に基づいて、歪みの小さな３次元形状データを復元することができる。すなわち、本実施形態では被検体との接触判定結果が切り替わる時の、超音波プローブ５１９５の圧力による被検体の変形が小さい時の位置姿勢のみを用いている。そのため、全ての位置姿勢を用いる場合よりも、超音波プローブ５１９５の圧力による変形の影響が軽減された３次元形状データを復元することができる。
【０２２５】
［第１０の実施形態］
本実施形態に係る画像処理装置は、超音波プローブと被検体との接触圧力が弱い時の断層画像と、それ以外の断層画像とを異なる方法で処理し、断層画像群から歪みの小さな３次元形状データを復元する。本実施形態では、圧力センサ５２００を超音波プローブ５１９５に装着し、超音波プローブ５１９５と被検体との接触圧力を計測する。また、本実施形態では、３次元形状データとして輝度値配列データを復元する。以下、本実施形態について、第８の実施形態との相違部分についてのみ説明する。
【０２２６】
図２６を用いて、本実施形態に係る画像処理装置５９００の機能構成について説明する。なお、図２６において、図１８と同じ部分については同じ参照番号を付けており、その説明は省略する。
【０２２７】
データ入力部５１１１０は、超音波プローブ５１９５が撮像した断層画像を第８の実施形態と同様に取得してデータ記憶部５１２０に格納すると共に、この断層画像を撮像した時点で圧力センサ５２００が計測した圧力値をデータ記憶部５１２０に格納する。
【０２２８】
変形判定部５１１５０は、データ記憶部５１２０から圧力センサ５２００による計測値としての圧力値を読み出すと、読み出した圧力値を用いて、それぞれの断層画像が小変形断層画像であるのか変形断層画像であるのかを判定する。具体的には、圧力センサ５２００の圧力値が閾値未満である場合には、この圧力値を計測した時点で撮像された断層画像を小変形断層画像と判定し、圧力値が閾値以上である場合には、この圧力値を計測した時点で撮像された断層画像を変形断層画像と判定する。そして、係る判定の結果を、第８の実施形態と同様に、データ記憶部５１２０に格納する。
【０２２９】
以上説明したように、本実施形態によれば、超音波プローブ５１９５と被検体との接触圧力が弱い時の断層画像とそれ以外の断層画像とを異なる方法で処理することで、断層画像群から歪みの小さな３次元形状データを復元することができる。
【０２３０】
［他の実施形態］
（変形例１）
第８の実施形態以降の夫々において、超音波画像診断装置５１９０で２次元の断層画像を取得する場合を例に述べたが、医用画像収集装置で取得するデータはこれに限られるものではない。例えば、３次元断層画像の取得が可能な２Ｄアレイの超音波プローブを用いてもよい。この場合、接触判定部５１４０による判定処理は、２次元断層画像の場合の処理（図２０のフローチャート）を容易に拡張することができる。また、プローブのヘッドが自動でスキャンした範囲の断層画像群を取得する場合であっても、第８の実施形態以降で説明した手法が適用可能である。
【０２３１】
（変形例２）
第８の実施形態において、超音波プローブ５１９５と被検体との接触直後および非接触直前の情報とそれ以外の情報とを異なる方法で処理して、断層画像群から歪みの小さな３次元形状データを復元する場合について説明した。しかし、超音波プローブ５１９５と被検体との接触直後および非接触となる直前の情報が十分にあれば、それ以外の情報は利用しなくてもよい。この場合、変形断層画像の補正は行う必要がなく、小変形断層画像群と、それらの基準座標系における位置姿勢に基づいて、輝度値配列データを復元すればよい。
【０２３２】
（変形例３）
第８および第９の実施形態において、断層画像の撮像領域のうち、全ての縦ラインの接触状態を表すフラグが０であれば、超音波プローブ５１９５と被検体とが接触していないと判定し、それ以外の場合は接触していると判定していた。すなわち、断層画像全体が非接触状態か否かを判定していた。しかし、接触の判定方法はこれに限らず、断層画像の部分領域毎に非接触状態か否かを判定してもよい。例えば、図２７に示す撮像領域２７０３のうち、２７０１で示す部分領域を非接触領域と判定し、それ以外の部分領域を接触領域と判定することができる。
【０２３３】
ここで、非接触領域の近傍の接触領域については、プローブの圧力による変形が小さいと考えられる。そこで、このような部分領域（以下では、小変形部分領域と呼ぶ）２７０２を、小変形断層画像と同時に利用して、変形補正部５１６０における変形の補正処理に利用することができる。小変形部分領域も利用することにより、変形補正部５１６０における変形の補正の精度を向上させることができる。
【０２３４】
（変形例４）
第８および第９の実施形態では、断層画像に基づいて超音波プローブ５１９５と被検体との接触を判定していた。しかし、接触の判定方法はこれに限らず、超音波プローブ５１９５または被検体に装着した接触センサに基づいて判定してもよい。接触センサを用いる場合には、上記の接触判定部５１４０が不要となる。
【０２３５】
（変形例５）
第８および第９の実施形態において、断層画像に基づいて超音波プローブ５１９５と被検体との接触を判定していた。しかし、接触の判定方法はこれに限らず、位置姿勢センサの計測値に基づいて判定してもよい。予め被検体の形状情報が分かっていれば、超音波プローブ５１９５と被検体とが接触しているか否かは、位置姿勢センサの計測値と被検体の形状情報に基づいて容易に判定することができる。
【０２３６】
（変形例６）
第８の実施形態において、位置姿勢センサを用いて超音波プローブ５１９５の位置姿勢を計測し、断層画像間の位置関係を求めて３次元形状データを復元する方法について説明した。しかし、断層画像間の位置関係を算出する方法はこれに限らず、位置姿勢センサを用いずに算出してもよい。例えば、上記の非特許文献３に開示されている方法によって、断層画像中の画像特徴同士の相関に基づいて断層画像間の位置関係を推定し、３次元形状データを復元してもよい。
【０２３７】
（変形例７）
第１０の実施形態において、超音波プローブ５１９５と被検体との接接触圧力が弱い時の情報とそれ以外の情報とを異なる方法で処理して、断層画像群から歪みの小さな３次元形状データを復元する場合について説明した。しかし、超音波プローブ５１９５と被検体との接触圧力が弱い時の情報が十分にあれば、それ以外の情報は利用しなくてもよい。この場合、変形断層画像の補正は行う必要がなく、小変形断層画像群と、それらの基準座標系における位置姿勢に基づいて、輝度値配列データを復元すればよい。
【０２３８】
（変形例８）
第９の実施形態において、超音波プローブ５１９５の代わりに、指示部として、例えばペンなどの一般的なポインティングデバイスを用いてもよい。この場合には、ポインティングデバイス座標系における、ポインティングデバイスと被検体との接点の位置を予め算出して記憶しておけば、被検体表面を表す点群を得ることができる。ここでポインティングデバイス座標系とは、ポインティングデバイス上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【０２３９】
ポインティングデバイスと被検体の接触は、その他の実施形態における変形例４と同様に、ポインティングデバイスまたは被検体に装着した接触センサに基づいて判定すればよい。または、その他の実施形態における変形例５と同様に、位置姿勢センサの計測値と被検体の形状情報に基づいて判定してもよい。または、第１０の実施形態と同様に、圧力センサをポインティングデバイスに装着して、被検体との接触圧力が弱い時の位置姿勢センサの計測値のみを利用して３次元形状モデルを復元してもよい。
【０２４０】
本変形例によれば、ポインティングデバイスによる被検体の変形の影響が軽減された３次元形状モデルを復元することができる。もちろん、第８の実施形態以降の各実施形態及び変形例は、その一部若しくは全部を適宜組み合わせて用いても良い。
【技術分野】
【０００１】
本発明は、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）等の医用画像収集装置（モダリティ）で撮像した画像を処理する技術に関するものである。
【背景技術】
【０００２】
医療の分野において、医師は被検体を撮像した医用画像をモニタに表示し、表示された医用画像を読影して病変部の状態や経時変化を観察する。これらの医用画像の多くに被検体内部の断層画像が用いられている。断層画像を撮像する医用画像収集装置（モダリティ）としては、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）等がある。
【０００３】
これらのモダリティで撮像した個々の断層画像（撮像断層画像）を観察するだけでは、撮像断層画像に撮像不明瞭領域が存在する場合には、その領域の状態を把握することは困難である。
【０００４】
ここで、図１７を用いて、撮像不明瞭領域を説明する。撮像不明瞭領域とは、撮像断層画像の撮像領域内において、通常よりも輝度が低くまたは高くて不明瞭となっている領域である。例えば、撮像断層画像を撮像する医用画像収集装置として超音波画像診断装置を用いる場合には、シャドー領域や後方エコー領域などが、撮像不明瞭領域に相当する。ここでシャドー領域とは、撮像部としての超音波プローブが被検体表面に適切に接触しておらず、撮像断層画像に被検体内部の様子が描出されていない領域のことである。なお、超音波プローブが被検体表面に全く接触していない場合には、撮像断層画像の撮像領域全体がシャドー領域となる。また、後方エコー領域とは、撮像断層画像の撮像領域内において、被検体内部に存在する腫瘤等の影響によって、通常よりも輝度が低くまたは高くなり不明瞭となっている領域のことである。なお、以下の説明では、撮像断層画像の撮像領域の外側は、撮像不明瞭領域には含めないものとする。
【０００５】
非特許文献１には、あるモダリティで撮像した断層画像と同じ断面の画像を、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成し、両者を重ねて表示する手法が開示されている。この手法によれば、撮像断層画像に撮像不明瞭領域が存在する場合であっても、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成した断層画像（生成断層画像）に対応する領域が描出されていれば、撮像不明瞭領域の状態は把握可能である。また、特許文献１には、撮像断層画像と生成断層画像を並べて表示する手法が開示されている。この手法によっても、非特許文献１の手法と同様の効果が得られる。
【０００６】
また、上記のモダリティで撮影された個々の断層画像を観察するだけでは、病変部の３次元的な形状や拡がりを把握することは困難である。そこで、断層画像群から３次元形状データを復元する試みがなされている。３次元形状データが復元されれば、それに基づく解析や表示を行うことにより、病変部の３次元的な形状や拡がりを容易に把握することができる。
【０００７】
ＭＲＩ、Ｘ線ＣＴ、ＯＣＴなどの医用画像収集装置では、断層画像群が等間隔で撮影されるため、断層画像を単純に積み重ねることによって３次元形状データを容易に復元することができる。一方、超音波画像診断装置では、通常、医師や技師が超音波探触子（プローブ）を手に持って自由に動かしながら撮影を行うため、撮影した断層画像が人体を基準とした空間中のどの位置を撮影したものなのかが明らかではない。そこで、外部センサを用いて超音波探触子の位置姿勢を計測し、断層画像間の位置関係を求めて３次元形状データを復元する試みがなされている（非特許文献２）。また、外部センサを用いずに、断層画像中の画像特徴同士の相関に基づいて断層画像間の位置関係を推定し、３次元形状データを復元する試みもなされている（非特許文献３）。
【０００８】
ここで、断層画像群の撮影はプローブを被検体に押し当てて行われるため、プローブによる圧力で被検体が変形し、復元した３次元形状データに歪みが発生することが問題となる。
【０００９】
そこで、被検体の変形の無い形状を別途取得し、それに基づいて変形を補正する試みがなされている。例えば、非特許文献４に開示されている手法では、Ｘ線ＣＴを用いて被検体の変形の無い３次元形状データを事前に取得し、それに基づいて超音波のシミュレーション画像を生成している。そして、実際に超音波画像診断装置で撮影した断層画像とシミュレーション画像とを画像情報に基づいて対応付けることにより、変形の補正を可能としている。
【００１０】
また、プローブ圧力による被検体の変形量を推定して補正する試みもなされている。例えば、非特許文献５には、断層画像中の画像特徴と位置姿勢センサの計測値に基づいてプローブ圧力による変形量を推定し、補正する手法が開示されている。この手法では、プローブ圧力のかかる方向のみに変形が発生すると仮定している。そして、隣接する撮像時刻における断層画像の水平ライン同士の相関を取ることで、各断層画像の体表面からの深さに応じた変形量を推定し、補正している。その際に、撮影開始時と撮影終了時における、変形量の推定値と位置姿勢センサの計測値との整合が取れるように、各断層画像の変形量の推定値を調整して補正している。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特登録０３８７１７４７号公報
【非特許文献】
【００１２】
【非特許文献１】W. Wein, A. Khamene, D-A. Clevert, O. Kutter, and N. Navab, “Simulation and fully automatic multimodal registration of medical ultrasound,” Proc. MICCAI'07, vol.1, pp.136-143, 2007.
【非特許文献２】A. Fenster, "3-Dimensional Ultrasound Imaging," Imaging Economics, 2004.
【非特許文献３】T.A. Tuthill, J.F. Krucker, J.B. Fowlkes, and P.L. Carson, "Automated three-dimensional US frame positioning computed from elevational speckle decorrelation," Radiology, vol.209, pp.575-582, 1998.
【非特許文献４】W. Wein, B. Roper, and N. Navab, "Automatic registration and fusion of ultrasound with CT for radiotherapy," Proc. MICCAI 2005, vol.2, pp.303-311, 2005.
【非特許文献５】G.M. Treece, R.W. Prager, A.H. Gee, and L. Berman, "Correction of probe pressure artifacts in freehand 3D ultrasound," Medical Image Analysis, vol.6, no.3, pp.199-214, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、非特許文献１の手法では、撮像断層画像中の明瞭に撮像されている領域（撮像明瞭領域）と撮像不明瞭領域とが明示的には区別されていなかった。そのため、撮像明瞭領域も生成断層画像によって覆い隠されてしまい、撮像明瞭領域の観察が妨げられていた。したがって、撮像明瞭領域に例えば生検用の針が写っていたとしても、それが見えにくくなっていた。
【００１４】
また、特許文献１の手法では、撮像断層画像中の撮像不明瞭領域は、生成断層画像中の対応する領域を観察して医師が頭の中で補完するしかなかった。その際に、撮像断層画像中の撮像不明瞭領域が生成断層画像中でどの領域に対応するかを正確に判断することができず、撮像不明瞭領域の状態を把握することは依然として困難だった。
【００１５】
本発明は以上の問題に鑑みてなされたものであり、撮像断層画像中の撮像不明瞭領域を、３次元ボリュームデータに基づいて補完する為の技術を提供することを目的とする。
【００１６】
更に、非特許文献４の手法では、プローブの圧力による変形の無い被検体の基準形状を得るために、Ｘ線ＣＴ等の医用画像収集装置が別途必要であった。つまり、超音波画像診断装置で撮影した断層画像群のみからは歪みの無い３次元形状を復元することはできなかった。
【００１７】
また、非特許文献５の手法では、位置姿勢センサによる計測値は変形後の体表の位置姿勢であるため、プローブの圧力による変形の正解値は分からなかった。そのため、変形を正確に補正することができず、変形の無い被検体の基準形状を得ることはできなかった。
【００１８】
本発明の別の目的は、断層画像群から歪みの小さな３次元形状データを復元する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、以下の構成を備える。
【００２０】
即ち、撮像部が撮像した被検体の断層画像を取得する手段と、
前記撮像部の位置姿勢情報を取得する手段と、
前記被検体の３次元ボリュームデータを取得する手段と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する手段と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成手段と、
前記合成画像を出力する出力手段とを備え、
前記生成手段は、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする。
【発明の効果】
【００２１】
本発明の構成によれば、撮像断層画像中の撮像不明瞭領域を、３次元ボリュームデータに基づいて補完することができる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】コンピュータのハードウェア構成例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図４】第１の実施形態のステップＳ３０１０における処理を示すフローチャートである。
【図５】撮像領域の一例を示す図である。
【図６】第１の実施形態のステップＳ３０３０における処理を示すフローチャートである。
【図７】第２の実施形態のステップＳ３０１０における処理のフローチャートである。
【図８】第２の実施形態のステップＳ３０３０における処理のフローチャートである。
【図９】第３の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１０】第４の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１１】第４の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１２】第５の実施形態のステップＳ３０１０における処理のフローチャートである。
【図１３】後方エコー領域を基準とする中央領域、左側領域、右側領域、を示す図である。
【図１４】第５の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１５】第６の実施形態のステップＳ３０２０における処理のフローチャートである。
【図１６】第６の実施形態のステップＳ３０３０における処理のフローチャートである。
【図１７】撮像不明瞭領域を説明するための図である。
【図１８】第８の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図１９】第８の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図２０】第８の実施形態のステップＳ５３０１０における処理のフローチャートである。
【図２１】第８の実施形態のステップＳ５３０３０における処理のフローチャートである。
【図２２】第８の実施形態のステップＳ５３０４０における処理のフローチャートである。
【図２３】第９の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２４】被検体と超音波プローブ５１９５とが接触している状態を示す図である。
【図２５】第９の実施形態のステップＳ５３０４０における処理を示すフローチャートである。
【図２６】第１０の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２７】その他の実施形態における変形例３における接触判定方法を説明する図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００２４】
［第１の実施形態］
本実施形態に係る画像処理装置は、撮像断層画像中の撮像不明瞭領域を検出し、検出した撮像不明瞭領域を、３次元ボリュームデータに基づいて補完する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。以下、本実施形態について説明する。
【００２５】
先ず、図１を用いて、本実施形態に係る画像処理装置の構成と、その周辺機器について説明する。図１に示す如く、本実施形態に係る画像処理装置１００は、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０によって構成されている。更に、画像処理装置１００には、断層画像を撮像する医用画像収集装置としての超音波画像診断装置１９０が接続されていると共に、被検体の３次元ボリュームデータを保持するデータサーバ２００も接続されている。
【００２６】
超音波画像診断装置１９０は、被検体の断層画像を実時間で撮像する。超音波画像診断装置１９０によって得られた断層画像（撮像断層画像）は、データ入力部１１０を介して画像処理装置１００に入力される。
【００２７】
通常、医師や技師は、超音波画像診断装置１９０の撮像部（不図示）としての超音波プローブを手に持って、これを自由に動かしながら被検体の撮像を行う。しかしながら、撮像した断層画像が被検体を基準とした空間中のどの位置を撮像したものなのかが明らかではないので、不図示の位置姿勢センサを撮像部に装着して、撮像部の位置姿勢を計測する。位置姿勢センサは、例えば、米国Polhemus社のFASTRAK等によって構成される。なお、位置姿勢センサは、撮像部の位置姿勢が計測できるのであれば、どのように構成されていてもよい。そして、如何なる取得方法を適用にするにせよ、撮像部の位置姿勢を示す位置姿勢情報は、データ入力部１１０を介して画像処理装置１００に入力される。ここで、撮像部の位置姿勢は、例えば、基準座標系（被検体を基準とした空間上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置姿勢で表されている。なお、撮像部の位置姿勢は、不図示のキーボードやマウスなどを用いて操作者が入力してもよい。
【００２８】
データサーバ２００は、撮像断層画像と同一の被検体の３次元ボリュームデータを保持している。この３次元ボリュームデータは、例えば、超音波画像診断装置１９０によって被検体を事前に撮像して得られた断層画像群から予め復元したものである。例えば、上記非特許文献２に開示されている手法によれば、位置姿勢センサを用いて撮像部の位置姿勢を計測し、断層画像間の位置関係を求めて、３次元ボリュームデータを復元することができる。
【００２９】
なお、この３次元ボリュームデータは、前述の基準座標系において表現されているものとする。被検体の３次元ボリュームデータは、データ入力部１１０を介して画像処理装置１００に入力される。
【００３０】
ここで、ある方向から被検体を撮像した断層画像における撮像不明瞭領域（ここでは後方エコー領域も含む）が、別の方向から撮像した断層画像では撮像明瞭領域となっている場合がある。そのような場合には、被検体を複数方向から撮像した断層画像群を用いれば、撮像不明瞭領域がある程度補完された３次元ボリュームデータを復元することができる。そしてその結果として、撮像不明瞭領域がある程度補完された生成断層画像を得ることができる。ここで、「生成断層画像」とは上述の通り、他のモダリティで取得した３次元形状ボリュームデータに基づいて生成した断層画像のことである。次に、画像処理装置１００を構成する各部について説明する。
【００３１】
データ入力部１１０は、超音波画像診断装置１９０から入力された撮像断層画像を必要に応じてデジタルデータに変換し、領域検出部１２０および画像合成部１４０へと出力する。またデータ入力部１１０は、データサーバ２００から入力される、撮像断層画像と同一の被検体に関する３次元ボリュームデータを、画像生成部１３０へと出力する。また、データ入力部１１０は、超音波画像診断装置１９０から入力される撮像部の位置姿勢情報と、予め算出して保持している「撮像断層画像の撮像部座標系における位置姿勢情報」と、に基づいて、撮像断層画像の基準座標系における位置姿勢情報を求める。そしてデータ入力部１１０は、この求めた「撮像断層画像の基準座標系における位置姿勢情報」を、後段の画像生成部１３０に出力する。ここで撮像部座標系とは、撮像部上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【００３２】
領域検出部１２０は、データ入力部１１０から入力された撮像断層画像中のシャドー領域を検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、シャドー領域を表すデータとして、撮像断層画像と同サイズの画像であって、シャドー領域とそれ以外の領域とで異なる画素値を割り当てたマスク画像を用いる。
【００３３】
画像生成部１３０は、データ入力部１１０から入力された３次元ボリュームデータと、撮像断層画像の基準座標系における位置姿勢情報と、を用いて生成断層画像を生成し、生成した生成断層画像を画像合成部１４０へと出力する。
【００３４】
画像合成部１４０は、データ入力部１１０から入力された撮像断層画像と、領域検出部１２０から入力されたマスク画像と、画像生成部１３０から入力された生成断層画像と、を用いて、撮像断層画像のシャドー領域に生成断層画像を合成する。そして画像合成部１４０は、係る合成処理により得られた合成画像を、外部機器へと出力する。
【００３５】
なお、図１に示したデータ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の少なくとも一部は、独立した装置として実現してもよい。また、夫々を１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部（データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０）は、それぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
【００３６】
図２を用いて、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータのハードウェア構成について説明する。
【００３７】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０の夫々に対応するソフトウェアの実行を制御して、各部の機能を実現する。
【００３８】
ＲＡＭ１００２は、コンピュータ読み取り可能な記憶媒体の一例であり、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたコンピュータプログラムやデータを一時的に記憶する為のエリアを有する。更にＲＡＭ１００２は、Ｉ／Ｆ１００９を介して外部から受信したデータを一時的に記憶するためのエリア、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。
【００３９】
ＲＯＭ１００３は、コンピュータ読み取り可能な記憶媒体の一例であり、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は何れも入力デバイスとして用いられるものであり、操作者はこれらを用いて各種の指示をＣＰＵ１００１に入力することができる。
【００４０】
表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、ＣＰＵ１００１による処理結果を画像や文字などでもって表示することができる。例えば表示部１００６には、撮像断層画像や合成画像等の各種の医用画像を表示したり、画像処理のために表示すべきメッセージ等を表示したりすることができる。
【００４１】
外部記憶装置１００７は、ハードディスクドライブに代表される大容量情報記憶装置である。外部記憶装置１００７には、ＯＳ（オペレーティングシステム）や、本実施形態に係る画像処理装置が行うものとして後述する各処理をＣＰＵ１００１に実行させるためのコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、データ入力部１１０、領域検出部１２０、画像生成部１３０、画像合成部１４０のそれぞれの機能をＣＰＵ１００１によって実現させるためのコンピュータプログラムが含まれている。また、係るデータには、以下の説明において既知の情報として説明するものが含まれている。外部記憶装置１００７に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。
【００４２】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているコンピュータプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００４３】
Ｉ／Ｆ１００９は、超音波画像診断装置１９０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。また、Ｉ／Ｆ１００９には、上記データサーバ２００も接続される。Ｉ／Ｆ１００９を介して外部から入力されたデータはＲＡＭ１００２に取り込まれる。データ入力部１１０の機能の一部は、Ｉ／Ｆ１００９によって実現される。上述した各構成要素は、バス１０１０によって相互に接続される。
【００４４】
次に、図３を用いて、本実施形態に係る画像処理装置の動作について説明する。なお、以下の説明では、図１に示した各部を処理の主体としているが、上述の通り、本実施形態では、各部はコンピュータプログラムとしてＣＰＵ１００１が実行するので、実際には、ＣＰＵ１００１が処理の主体となる。
【００４５】
ステップＳ３０００でデータ入力部１１０は、超音波画像診断装置１９０から、被検体の撮像断層画像と、超音波画像診断装置１９０が有する撮像部の位置姿勢情報とを取得すると共に、データサーバ２００からこの被検体の３次元ボリュームデータを取得する。そしてデータ入力部１１０は、撮像部の位置姿勢情報と、予め算出して保持している「撮像断層画像の撮像部座標系における位置姿勢情報」と、に基づいて、撮像断層画像の基準座標系における位置姿勢情報を求める。そしてデータ入力部１１０は、撮像断層画像については領域検出部１２０と画像合成部１４０とに出力し、３次元ボリュームデータと「撮像断層画像の撮像部座標系における位置姿勢情報」とについては画像生成部１３０に出力する。
【００４６】
ステップＳ３０１０で領域検出部１２０は、データ入力部１１０から受けた撮像断層画像から、撮像不明瞭領域としてのシャドー領域を検出する。なお、本ステップにおける処理の詳細については、図４に示すフローチャートを用いて後に詳しく説明する。
【００４７】
ステップＳ３０２０で画像生成部１３０は、ステップＳ３０００でデータ入力部１１０が求めた位置姿勢情報に基づいて、データ入力部１１０が取得した撮像断層画像と同じ断層面の像を、３次元ボリュームデータから切り出すことで生成断層画像を生成する。なお、３次元ボリュームデータにおいてシャドー領域に対応する部分のみを生成断層画像として生成しても良い。
【００４８】
ステップＳ３０３０で画像合成部１４０は、データ入力部１１０から受けた撮像断層画像中のシャドー領域に対して、ステップＳ３０２０で生成された生成断層画像を合成する。なお、本ステップにおける処理の詳細については、図６に示すフローチャートを用いて後に詳しく説明する。
【００４９】
ステップＳ３０４０で画像合成部１４０は、ステップＳ３０３０における合成処理で得られる合成画像を、Ｉ／Ｆ１００９を介して外部機器へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。
【００５０】
以上説明した処理によって、撮像断層画像中のシャドー領域が、３次元ボリュームデータに基づいて補完される。
【００５１】
次に、図４を用いて、上記ステップＳ３０１０における処理の詳細について説明する。なお、図４に示したフローチャートに従った処理は、ＣＰＵ１００１が領域検出部１２０の機能を実現するコンピュータプログラムを実行することにより実現される。
【００５２】
ステップＳ４０００において、領域検出部１２０は、撮像断層画像をデータ入力部１１０から入力する。ステップＳ４０１０において、領域検出部１２０は、ステップＳ４０００で入力した撮像断層画像と同じサイズの画像をマスク画像として生成する。なお、このマスク画像を構成する全ての画素の画素値には０を設定する。
【００５３】
ステップＳ４０２０において、領域検出部１２０は、撮像断層画像の撮像領域を長方形に変換し、また、同一の変換をマスク画像に対して施す。例えば、超音波画像診断装置１９０の撮像部としてコンベックスプローブを用いる場合には、撮像領域が図５に示すように扇形となるため、例えば次式によって長方形に変換する。
【００５４】
【数１】
【００５５】
ここで（ｒ，θ）は、図５に示すような、コンベックスプローブによる撮像領域の極座標を表す。ｒｍａｘ，θｍａｘはそれぞれ、撮像領域内におけるｒ及びθの最大値である。また（ｘ，ｙ）は変換後の直交座標を表す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【００５６】
ステップＳ４０３０において、領域検出部１２０は、撮像断層画像の長方形領域内の未処理の縦ラインを、選択縦ラインとして選択する。ステップＳ４０４０において、領域検出部１２０は、選択縦ラインを構成する全ての画素の画素値（輝度値）が閾値よりも低いか否かを判定する。
【００５７】
ここで、撮像領域の上端部付近は、超音波プローブが被検体表面に適切に接触していない場合であっても、輝度が低くならない場合がある。そこで、撮像領域の上端部を判定に用いないようにするために、所定のｙ座標値より大きなｙ座標における画素値が全て閾値よりも低いか否かの判定を行ってもよい。係る判定の結果、選択縦ラインを構成する全ての画素の画素値が閾値よりも低い場合にはステップＳ４０５０へと処理を進め、それ以外の場合にはステップＳ４０６０へと処理を進める。
【００５８】
なお、シャドー領域か否かを判定する処理は上述の処理に限らず、例えば、選択縦ラインを構成する全ての画素の画素値の平均が閾値以下でかつ分散が閾値以下であるか否かなどによって判定してもよい。
【００５９】
ステップＳ４０５０において、領域検出部１２０は、マスク画像において上記選択縦ラインに対応するライン上の各画素の画素値を１に設定し、ステップＳ４０６０へと処理を進める。
【００６０】
ステップＳ４０６０において、領域検出部１２０は、ステップＳ４０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ４０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ４０７０へと処理を進める。
【００６１】
ステップＳ４０７０において、領域検出部１２０は、長方形領域内の全ての画素位置におけるマスク画像の画素値が１に設定されたか否かを判定する。係る判定の結果、全ての画素値が１に設定されていない場合には、超音波プローブが被検体表面に全く接触していないかどうかを示すプローブ非接触フラグを０に設定する。一方、全ての画素値が１に設定されているのであれば、プローブ非接触フラグを１に設定する。
【００６２】
ステップＳ４０８０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００６３】
ステップＳ４０９０において、領域検出部１２０は、ステップＳ４０００からステップＳ４０８０の処理によって得られたシャドー領域を表すマスク画像、及びプローブ非接触フラグを画像合成部１４０へと出力する。
【００６４】
以上説明した処理によって、撮像断層画像からシャドー領域を検出することができる。そして検出したシャドー領域は、マスク画像において画素値が１の画素群で構成する領域として反映されている。
【００６５】
次に、図６を用いて、上記ステップＳ３０３０における処理の詳細について説明する。なお、図６に示したフローチャートに従った処理は、ＣＰＵ１００１が画像合成部１４０の機能を実現するコンピュータプログラムを実行することにより実現される。
【００６６】
ステップＳ６０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、シャドー領域を表すマスク画像およびプローブ非接触フラグを領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【００６７】
ステップＳ６０１０において、画像合成部１４０は、プローブ非接触フラグが０か１かを判定する。係る判定の結果、プローブ非接触フラグが０の場合にはステップＳ６０２０へと処理を進める。一方、プローブ非接触フラグが１の場合にはステップＳ６０５０へと処理を進める。
【００６８】
ステップＳ６０２０において、画像合成部１４０は、マスク画像において画素値が１の領域に対応する、撮像断層画像内の領域、即ちシャドー領域内（撮像不明瞭領域内）で未だ選択していない画素を選択画素として選択する。
【００６９】
ステップＳ６０３０において、画像合成部１４０は、選択画素の画素値を、生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ６０４０において、画像合成部１４０は、ステップＳ６０２０でシャドー領域内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ６０２０へと処理を戻す。一方、シャドー領域内の全ての画素を選択したのであれば、ステップＳ６０６０へと処理を進める。
【００７０】
一方、ステップＳ６０５０において、画像合成部１４０は、撮像断層画像を構成する全ての画素の画素値を、生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ６０６０において、画像合成部１４０は、ステップＳ６０００からステップＳ６０５０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像としてＲＡＭ１００２上に格納する。
【００７１】
以上説明した処理によって、撮像断層画像中のシャドー領域に対して生成断層画像を合成することができる。
【００７２】
以上の説明により、本実施形態によれば、撮像断層画像中の撮像不明瞭領域であるシャドー領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００７３】
［第２の実施形態］
第１の実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明した。しかし、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。本実施形態では、後方エコー領域を撮像不明瞭領域として取り扱う場合について説明する。
【００７４】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが第１の実施形態と異なっている。
【００７５】
領域検出部１２０は、データ入力部１１０から撮像断層画像を入力する。そして、撮像断層画像中の後方エコー領域を撮像不明瞭領域として検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、後方エコー領域を表すデータとして、後方エコー領域を表すマスク画像を用いる。
【００７６】
画像合成部１４０は、データ入力部１１０の出力である撮像断層画像と、領域検出部１２０の出力である後方エコー領域を表すマスク画像と、画像生成部１３０の出力である生成断層画像とを入力する。そして、これらのデータに基づいて、撮像断層画像の後方エコー領域に生成断層画像を合成し、得られた合成画像を外部へと出力する。
【００７７】
次に、図７を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図７において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【００７８】
ステップＳ７０３０において、領域検出部１２０は、撮像断層画像における後方エコー領域を、例えば以下の（文献２）に開示されている方法を用いて検出する。
【００７９】
（文献２） 福岡, "乳腺超音波画像におけるCADシステム", 日本放射線技術学会雑誌, vol.63, no.12, pp.1429-1434, 2007.
すなわち、垂直エッジの検出に基づく方法によって腫瘤候補領域を検出し、その後方（下方）を後方エコー領域とする。
【００８０】
ステップＳ７０４０において、領域検出部１２０は、ステップＳ７０３０で検出された後方エコー領域に対応するマスク画像内の領域を構成する各画素の画素値を１に設定し、ステップＳ７０５０へと処理を進める。
【００８１】
ステップＳ７０５０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００８２】
ステップＳ７０６０において、領域検出部１２０は、以上の処理によって得られた後方エコー領域を表すマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から後方エコー領域を検出することができる。
【００８３】
次に、図８を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ８０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、後方エコー領域を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【００８４】
ステップＳ８０１０において、画像合成部１４０は、マスク画像において画素値が１の領域に対応する、撮像断層画像内の領域、即ち後方エコー領域内で未だ選択していない画素を選択画素として選択する。
【００８５】
ステップＳ８０２０において、画像合成部１４０は、選択画素の画素値を生成断層画像において対応する画素位置の画素値で置き換える。ステップＳ８０３０において、画像合成部１４０は、ステップＳ８０１０で後方エコー領域内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ８０１０へと処理を戻す。一方、後方エコー領域内の全ての画素を選択したのであれば、ステップＳ８０４０へと処理を進める。
【００８６】
ステップＳ８０４０において、画像合成部１４０は、ステップＳ８０００からステップＳ８０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。出力先については第１の実施形態と同様、特に限定するものではない。以上説明した処理によって、撮像断層画像中の後方エコー領域に対して生成断層画像を合成することができる。
【００８７】
以上説明したように、本実施形態によれば、断層画像中の撮像不明瞭領域である後方エコー領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００８８】
［第３の実施形態］
第１の実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明した。また、第２の実施形態では、後方エコー領域を撮像不明瞭領域として取り扱う場合について説明した。しかし、撮像不明瞭領域はシャドー領域または後方エコー領域のどちらか一方に限らず、シャドー領域と後方エコー領域の両方であってもよい。本実施形態では、シャドー領域と後方エコー領域の両方を撮像不明瞭領域として取り扱う場合について説明する。
【００８９】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。
【００９０】
領域検出部１２０は、データ入力部１１０の出力である撮像断層画像を入力する。そして、撮像断層画像中のシャドー領域と後方エコー領域とを合わせた領域を検出し、検出した領域を表すデータを画像合成部１４０へと出力する。本実施形態では、シャドー領域と後方エコー領域とを合わせた領域を表すデータとして、シャドー領域と後方エコー領域とを合わせた領域を表すマスク画像を用いる。
【００９１】
画像合成部１４０は、データ入力部１１０の出力である撮像断層画像と、領域検出部１２０の出力であるシャドー領域と後方エコー領域とを合わせた領域を表すマスク画像と、画像生成部１３０の出力である生成断層画像とを入力する。そして、これらのデータに基づいて、撮像断層画像のシャドー領域と後方エコー領域とを合わせた領域に生成断層画像を合成し、得られた合成画像を外部へと出力する。
【００９２】
次に、図９を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図９において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【００９３】
ステップＳ９０８０において、領域検出部１２０は、マスク画像において画素値が０である画像領域に対応する、撮像断層画像の長方形領域内の画像領域から、後方エコー領域を、例えば上記（文献２）に開示されている方法を用いて検出する。
【００９４】
ステップＳ９０９０において、領域検出部１２０は、ステップＳ９０８０で検出された後方エコー領域に対応するマスク画像内の領域を構成する各画素の画素値を１に設定し、ステップＳ９１００へと処理を進める。
【００９５】
ステップＳ９１００において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【００９６】
ステップＳ９１１０において、領域検出部１２０は、以上の処理によって得られた、シャドー領域と後方エコー領域とを合わせた領域を表すマスク画像、およびプローブ非接触フラグを、画像合成部１４０へと出力する。以上の処理によって、撮像断層画像からシャドー領域と後方エコー領域を合わせた領域を検出することができる。
【００９７】
画像合成部１４０が行う処理手順は、図６に示すフローチャートの処理と同様であり、図６に示すフローチャートにおけるシャドー領域を、シャドー領域と後方エコー領域とを合わせた領域に置き換えればよい。
【００９８】
以上説明したように、本実施形態によれば、断層画像中の撮像不明瞭領域であるシャドー領域と後方エコー領域を合わせた領域に対して、３次元ボリュームデータから生成された断層画像と同一断面の画像を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。
【００９９】
［第４の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた方法で撮像断層画像内の領域の撮像明瞭度を算出し、撮像明瞭度に応じて３次元ボリュームデータから生成した生成断層画像と合成する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１００】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。
【０１０１】
本実施形態では領域検出部１２０は撮像断層画像内の領域の撮像明瞭度を算出する。なお、例えば撮像明瞭度が０の領域を撮像明瞭領域、撮像明瞭度が０より大きい領域を撮像不明瞭領域とすれば、撮像明瞭度を算出することにより領域の検出も行われることになる。
【０１０２】
次に、図１０を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。図１０において図４と同じ処理ステップには同じ参照番号を付けており、その説明は省略する。
【０１０３】
ステップＳ１００４０において、領域検出部１２０は、選択縦ラインのシャドー領域らしさ（撮像明瞭度）を０〜１の範囲の値として算出する。例えば次式によって撮像明瞭度Ｒ１を算出する。
【０１０４】
【数２】
【０１０５】
ただし、Ｒ１＜０の場合には、Ｒ１＝０とする。ここで、ｙ０は所定のｙ座標値、ｙｍａｘはｙ座標の最大値、Ｉ０は閾値、Ｉ（Ｙ）は選択縦ラインにおいてｙ座標がＹである画素の輝度値を表す。ｙ０としては、例えばｙ座標の最小値を用いればよい。また、Ｉ０としては、例えば撮像領域の全画素の平均値を予め算出して用いればよい。
【０１０６】
換言すれば、撮像明瞭度とは、断層画像から順次選択された選択縦ラインを構成する各画素の画素値と閾値との差分をそれぞれの画素について加算した値を、閾値と選択縦ラインの画素数（ｙ０＝０の場合）との積で除した値である。そして、選択縦ラインがシャドー領域を構成する場合、選択縦ラインを構成する画素の画素値Ｉ（ｙ）は比較的小さい値となるため、結果としてＲ１は大きい値となる。
【０１０７】
ステップＳ１００５０において、領域検出部１２０は、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１００４０で求めた撮像明瞭度に基づいて設定する。例えば、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１００４０で求めた撮像明瞭度に設定する。
【０１０８】
ステップＳ１００６０において、領域検出部１２０は、ステップＳ４０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ４０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ１００７０へと処理を進める。
【０１０９】
ステップＳ１００７０において、領域検出部１２０は、マスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置１９０の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【０１１０】
ステップＳ１００８０において、領域検出部１２０は、以上の処理によって得られた撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から撮像不明瞭領域が検出されるとともに、その撮像明瞭度を算出することができる。
【０１１１】
次に、図１１を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１１０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【０１１２】
ステップＳ１１０１０において、画像合成部１４０は、撮像断層画像内で未だ選択していない画素を選択画素として選択する。ステップＳ１１０２０において、画像合成部１４０は、選択画素の画素値と、生成断層画像において対応する画素位置の画素値とを、マスク画像において選択画素に対応する画素位置の画素値に基づいて合成する。例えば、マスク画像において選択画素に対応する画素位置の画素値がα１である場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式３に基づいて行われる。
【０１１３】
【数３】
【０１１４】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。係る合成処理により、撮像断層画像と生成断層画像とを、合成率α１でもって合成することができる。
【０１１５】
ステップＳ１１０３０において、画像合成部１４０は、ステップＳ１１０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１１０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１１０４０へと処理を進める。
【０１１６】
ステップＳ１１０４０において、画像合成部１４０は、ステップＳ１１０００からステップＳ１１０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域に対して、生成断層画像を撮像明瞭度に応じて合成することができる。
【０１１７】
以上の説明により、本実施形態によれば、断層画像中の撮像不明瞭領域を検出し、その撮像明瞭度に応じて３次元ボリュームデータから生成された断層画像と合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明したが、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。
【０１１８】
［第５の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた複数の方法で撮像断層画像内の領域の撮像明瞭度を算出し、夫々の撮像明瞭度に応じて３次元ボリュームデータから生成した生成断層画像と合成する。なお、本実施形態では、シャドー領域と後方エコー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１１９】
以下、本実施形態について、第１の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、領域検出部１２０および画像合成部１４０の機能のみが異なっている。本実施形態では領域検出部１２０は、撮像断層画像内の領域の撮像明瞭度を算出する。
【０１２０】
次に、図１２を用いて、上記ステップＳ３０１０において本実施形態に係る領域検出部１２０が行う処理について説明する。ステップＳ１２０００において、領域検出部１２０は、撮像断層画像をデータ入力部１１０から取得する。ステップＳ１２０１０において、領域検出部１２０は、ステップＳ１２０００で入力した撮像断層画像と同じサイズの画像を２つ生成し、一方を第１のマスク画像、他方を第２のマスク画像と呼称する。なお、このマスク画像を構成する全ての画素の画素値には０を設定する。
【０１２１】
ステップＳ１２０２０において、領域検出部１２０は、撮像断層画像の撮像領域を長方形に変換し、また、同一の変換を第１のマスク画像、第２のマスク画像に対して施す。超音波画像診断装置の撮像部としてコンベックスプローブを用いる場合には、例えば上記式１によって長方形に変換する。一方、超音波画像診断装置の撮像部としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【０１２２】
ステップＳ１２０３０において、領域検出部１２０は、撮像断層画像の長方形領域内の未処理の縦ラインを、選択縦ラインとして選択する。ステップＳ１２０４０において、領域検出部１２０は、選択縦ラインのシャドー領域らしさ（第１の撮像明瞭度）を０〜１の範囲の値として算出する。例えば上記式２によって第１の撮像明瞭度Ｒ１を算出する。ただし、Ｒ１＜０の場合には、Ｒ１＝０とする。
【０１２３】
ステップＳ１２０５０において、領域検出部１２０は、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１２０４０で求めた第１の撮像明瞭度Ｒ１に基づいて設定する。例えば、選択縦ラインに対応するマスク画像内のライン上の各画素の画素値を、選択縦ラインについてステップＳ１２０４０で求めた第１の撮像明瞭度Ｒ１に設定する。
【０１２４】
ステップＳ１２０６０において、領域検出部１２０は、ステップＳ１２０３０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、未だ選択していない縦ラインが存在する場合にはステップＳ１２０３０へと処理を戻す。一方、全ての縦ラインを選択したのであれば、ステップＳ１２０７０へと処理を進める。
【０１２５】
ステップＳ１２０７０において、領域検出部１２０は、撮像断層画像の撮像領域内の後方エコー領域を検出する。その際に、後方エコー領域らしさ（第２の撮像明瞭度）を０〜１の範囲の値として算出する。
【０１２６】
例えば先ず、長方形に変換した撮像領域中から着目部位領域としての腫瘤候補領域を、例えば上記文献２に開示されている垂直エッジの検出に基づく方法によって検出する。次に、腫瘤候補領域を内包する矩形領域を設定し、その後方（下方）に図１３に示すような３つの領域を設定する。この中央領域（腫瘤候補領域の直下の領域）と腫瘤候補領域より後方（下方）の矩形領域を合わせた領域が後方エコー領域である。そして、左側領域と右側領域の平均輝度値（腫瘤候補領域の直下の領域の左右に隣接する領域内の平均画素値）と、中央領域の平均輝度値とに基づいて、次式によって第２の撮像明瞭度Ｒ２を算出する。
【０１２７】
【数４】
【０１２８】
ここで、Ｉｌｒは左側領域と右側領域の平均輝度値、Ｉｃは中央領域の平均輝度値、Ｉｍａｘは輝度値の取り得る最大輝度値を表す。即ち、係る式は、ＩｃとＩｌｒとの差分を、Ｉｌｒ若しくはＩｍａｘからＩｌｒを引いた値で除した値を求める式である。
【０１２９】
ステップＳ１２０８０において、領域検出部１２０は、ステップＳ１２０７０で検出した後方エコー領域に対応する第２のマスク画像内の領域を構成する各画素の画素値を、ステップＳ１２０７０で算出した第２の撮像明瞭度Ｒ２に基づいて設定する。例えば、ステップＳ１２０７０で検出した後方エコー領域に対応する第２のマスク画像内の領域を構成する各画素の画素値に、ステップＳ１２０７０で算出した第２の撮像明瞭度Ｒ２を設定する。
【０１３０】
ステップＳ１２０９０において、領域検出部１２０は、第１のマスク画像、第２のマスク画像に対して、上記式１の変換の逆変換を施す。なお、超音波画像診断装置の撮像部としてリニアプローブを用いる場合には、本ステップは不要となる。
【０１３１】
ステップＳ１２１００において、領域検出部１２０は、ステップＳ１２０００からステップＳ１２０９０の処理によって得られた第１のマスク画像、第２のマスク画像を画像合成部１４０へと出力する。以上説明した処理によって、撮像断層画像から性質の異なる撮像不明瞭領域を検出することができると共に、その撮像明瞭度を算出することができる。
【０１３２】
次に、図１４を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１４０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表す第１のマスク画像、第２のマスク画像を領域検出部１２０から入力する。また、生成断層画像を画像生成部１３０から入力する。
【０１３３】
ステップＳ１４０１０において、画像合成部１４０は、撮像断層画像において未だ選択されていない画素を１つ、選択画素として選択する。ステップＳ１４０２０で画像合成部１４０は選択画素の画素値を決定する。より詳しくは、選択画素の画素値と、生成断層画像内の対応する画素位置の画素値とを、第１のマスク画像内で選択画素に対応する画素位置の画素値Ｒ１、第２のマスク画像内で選択画素に対応する画素位置の画素値Ｒ２に基づいて合成する。
【０１３４】
例えば、Ｒ１＝α１、Ｒ２＝α２の場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式５に基づいて行われる。
【０１３５】
【数５】
【０１３６】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。係る合成処理により、撮像断層画像と生成断層画像とを、合成率α１、α２でもって合成することができる。
【０１３７】
ステップＳ１４０３０において、画像合成部１４０は、ステップＳ１４０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１４０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１４０４０へと処理を進める。
【０１３８】
ステップＳ１４０４０において、画像合成部１４０は、ステップＳ１４０００からステップＳ１４０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域に対して、撮像明瞭度に応じて生成断層画像が合成される。
【０１３９】
以上の説明により、本実施形態によれば、断層画像中の撮像不明瞭領域を複数の方法で検出し、夫々の撮像明瞭度に応じて３次元ボリュームデータから生成された断層画像と合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態ではシャドー領域を検出した後に後方エコー領域を検出したが、検出の順番は逆でもよいし、並列処理で検出してもよい。
【０１４０】
［第６の実施形態］
本実施形態では、撮像不明瞭領域の性質に応じた方法で撮像断層画像中の領域の撮像明瞭度を算出する。また、３次元画像データの信頼度の３次元分布に基づいて、３次元画像データから生成した断層画像中の信頼度分布を算出する。そして、撮像断層画像の撮像明瞭度および生成断層画像中の信頼度分布に基づいて、撮像断層画像と生成断層画像とを合成する。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱い、３次元ボリュームデータを３次元画像データとして取り扱う場合について説明する。
【０１４１】
以下、本実施形態について、第４の実施形態との相違部分についてのみ説明する。なお、本実施形態に係る画像処理装置の構成は図１と同様であり、画像生成部１３０および画像合成部１４０の機能のみが異なっている。本実施形態では、画像生成部１３０は、３次元ボリュームデータの信頼度の３次元分布に基づいて、生成断層画像中の信頼度分布を算出する。
【０１４２】
次に、図１５を用いて、上記ステップＳ３０２０において本実施形態に係る画像生成部１３０が行う処理について説明する。
【０１４３】
ステップＳ１５０００において、画像生成部１３０は、３次元ボリュームデータと、予め算出した３次元ボリュームデータの信頼度の３次元分布と、撮像断層画像の基準座標系における位置姿勢情報と、をデータ入力部１１０から入力する。
【０１４４】
ここで、３次元ボリュームデータは、超音波画像診断装置１９０によって撮像した断層画像群から復元したものであるため、その信頼度は３次元ボリュームデータを構成する各ボクセルで一様ではない。例えば、超音波プローブを低速で動かしながら撮像した、断層画像群が密集している領域は、信頼度が高いと言える。一方、超音波プローブを高速に動かしながら撮像した、断層画像群が疎な領域は、信頼度が低いと言える。そこで、例えば、断層画像群から３次元ボリュームデータの各ボクセル値を復元する際に使用した断層画像の枚数を、使用枚数の最大値で割って０〜１の範囲に正規化した値を、各ボクセルの信頼度Ｌｖとする。
【０１４５】
ステップＳ１５０１０において、画像生成部１３０は、ステップＳ１５０００で取得した位置姿勢情報に基づいて、データ入力部１１０が取得した撮像断層画像と同じ断層面の像を、３次元ボリュームデータから切り出すことで生成断層画像を生成する。
【０１４６】
ステップＳ１５０２０において、画像生成部１３０は、生成断層画像の各画素の信頼度Ｌｐを、生成断層画像の各画素の生成に使用した各ボクセルの信頼度Ｌｖに基づいて算出する。例えば、各画素の値を最近傍のボクセルの値に設定する場合には、ある画素の信頼度Ｌｐは最近傍のボクセルの信頼度Ｌｖに設定すればよい。
【０１４７】
ステップＳ１５０３０において、画像生成部１３０は、生成断層画像および生成断層画像を構成する各画素の信頼度（信頼度分布）を、画像合成部１４０へと出力する。以上説明した処理によって、生成断層画像および生成断層画像中の信頼度分布を算出することができる。
【０１４８】
次に、図１６を用いて、上記ステップＳ３０３０において本実施形態に係る画像合成部１４０が行う処理について説明する。ステップＳ１６０００において、画像合成部１４０は、撮像断層画像をデータ入力部１１０から入力し、撮像不明瞭領域およびその撮像明瞭度を表すマスク画像を領域検出部１２０から入力する。また、生成断層画像および生成断層画像中の信頼度分布を画像生成部１３０から入力する。
【０１４９】
ステップＳ１６０１０において、画像合成部１４０は、撮像断層画像内で未だ選択していない画素を選択画素として選択する。ステップＳ１６０２０で画像合成部１４０は、選択画素の画素値と生成断層画像において対応する画素位置の画素値を、生成断層画像において選択画素に対応する画素位置の信頼度と、マスク画像において選択画素に対応する画素位置の画素値に基づいて合成する。例えば、生成断層画像において選択画素に対応する画素位置の信頼度がＬｐ、マスク画像において選択画素に対応する画素位置の画素値がα１であるとする。この場合、選択画素の画素値Ｉｓと、生成断層画像において対応する画素位置の画素値Ｉｇとの合成は、以下の式６に基づいて行われる。
【０１５０】
【数６】
【０１５１】
ここで、Ｉは画素値Ｉｓと画素値Ｉｇとの合成結果としての画素値である。そして、選択画素の画素値Ｉｓを、係る合成処理により得られる画素値Ｉに置き換える。
【０１５２】
ステップＳ１６０３０において、画像合成部１４０は、ステップＳ１６０１０で撮像断層画像内の全ての画素を選択したか否かを判定する。係る判定の結果、未だ選択していない画素がある場合にはステップＳ１６０１０へと処理を戻す。一方、撮像断層画像内の全ての画素を選択したのであれば、ステップＳ１６０４０へと処理を進める。
【０１５３】
ステップＳ１６０４０において、画像合成部１４０は、ステップＳ１６０００からステップＳ１６０３０の処理によって更新された撮像断層画像を、撮像断層画像と生成断層画像との合成画像として出力する。以上説明した処理によって、撮像断層画像中の撮像不明瞭領域の撮像明瞭度および生成断層画像中の信頼度分布に応じて撮像断層画像と生成断層画像とを合成することができる。
【０１５４】
以上の説明により、本実施形態によれば、撮像断層画像中の撮像不明瞭領域の撮像明瞭度と、生成断層画像中の信頼度分布とに応じて、両者を合成することができる。その結果として、断層画像中の撮像明瞭領域の観察を妨げることなく、撮像不明瞭領域を３次元ボリュームデータに基づいて補完することができる。なお、本実施形態では、シャドー領域を撮像不明瞭領域として取り扱う場合について説明したが、撮像不明瞭領域はシャドー領域に限らず、後方エコー領域であってもよい。
【０１５５】
［第７の実施形態］
（変形例１）
上記の実施形態の夫々において、断層画像を撮影する医用画像収集装置として超音波画像診断装置１９０を用いる場合を例に述べたが、断層画像を撮影する医用画像収集装置はこれに限るものではない。例えば、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）などの断層画像を撮影可能な医用画像収集装置を用いる場合にも、上記の実施形態の手法が適用可能である。
【０１５６】
（変形例２）
上記の実施形態の夫々において、超音波画像診断装置１９０で断層画像を撮影する場合を例に述べたが、医用画像収集装置で取得するデータはこれに限られるものではない。例えば、３次元の超音波プローブでＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔ）像を取得する場合にも、上記の実施形態の手法が適用可能である。すなわち、複数の切断面の夫々に対して上記の実施形態の手法をそのまま適用すればよい。
【０１５７】
（変形例３）
上記の実施形態の夫々において、３次元画像データとして、超音波画像診断装置１９０によって被検体を予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いる場合を例に述べた。しかし、使用する３次元画像データはこれに限られるものではない。例えば、３次元の超音波プローブで取得した３次元ボリュームデータを用いてもよい。また、取得磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、光干渉断層計（ＯＣＴ）などによって被検体を予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いることも可能である。さらに、それらの輝度値配列データを、超音波画像診断装置によって撮像されたかのような輝度値配列データに変換して用いてもよい。また、標準形状モデルなどの３次元ＣＧデータを用いてもよい。
【０１５８】
なお、予め撮像して得られた断層画像群から予め復元した輝度値配列データを用いるのではなく、実時間で撮像して得られた断層画像群から実時間で輝度値配列データを復元して用いてもよい。その場合には、輝度値配列データの復元に用いる断層画像群から、最新の撮像断層画像を除外してもよい。
【０１５９】
また、３次元画像データとして、予めまたは実時間で撮像して得られた断層画像群から輝度値配列データを復元せずに、断層画像群をそのまま用いてもよい。その場合には、例えば以下に示す文献に開示されている方法を用いて、撮像断層画像と略同一の断面を有する生成断層画像を断層画像群から直接生成すればよい。
【０１６０】
R.W. Prager, A.H. Gee, and L. Berman, “Stradx: real-time acquisition and visualisation of freehand 3D ultrasound,” Technical report CUED/F-INFENG/TR 319, Cambridge University Department of Engineering, April 1998.
（変形例４）
上記の実施形態の夫々において、撮像断層画像中の撮像不明瞭領域を検出してから、検出した領域を３次元ボリュームデータに基づいて補完する場合について説明した。しかし、撮像不明瞭領域が既知の場合には、撮像不明瞭領域を検出する処理が不要となる。例えば、超音波プローブを構成する圧電素子（振動子）の一部が破損している場合には、撮像領域内の特定の領域が常に、シャドー領域と同様に通常よりも輝度が低くて不明瞭となる。このような場合には、上記の特定の領域を予め手作業等で指定しておき、指定された領域に対して、上記の実施形態の夫々におけるシャドー領域に対する処理と同様の処理を行えばよい。その際に、撮像不明瞭領域の撮像明瞭度を予め算出しておき、撮像明瞭度に基づいて撮像不明瞭領域に対する合成を行ってもよい。
【０１６１】
（変形例５）
上記の実施形態の夫々において、撮像断層画像中の撮像不明瞭領域を３次元ボリュームデータに基づいて補完する場合について説明した。しかし、撮像明瞭領域に対しても、その観察を妨げない程度の比率で生成断層画像の画素値を混合してもよい。例えば、マスク画像の画素値が０．１以下の領域を全て画素値０．１に置換した上で、ステップＳ１１０２０における式３、またはステップＳ１４０２０における式５によって撮像断層画像の画素値と生成断層画像の画素値を混合すればよい。以上によって、撮像明瞭領域の観察が妨げられることなく、生成断層画像の全体像を把握することが可能となる。
【０１６２】
（変形例６）
第１の実施形態において、撮像明瞭領域と撮像不明瞭領域を夫々異なる表示属性で表示してもよい。例えば、撮像明瞭領域を２５６階調の青色で表示し、撮像不明瞭領域を２５６階調の赤色で表示してもよい。また、撮像不明瞭領域のみを点滅させて表示してもよい。さらに、撮像明瞭領域と撮像不明瞭領域の境界線を描画してもよい。
【０１６３】
即ち、合成画像を表示する際、撮像不明瞭領域とそれ以外の領域とを識別可能に表示する為の表示形態であれば、如何なる表示形態を採用しても良い。以上によって、撮像明瞭領域と撮像不明瞭領域とを混同せずに把握することが可能となる。
【０１６４】
（変形例７）
第３の実施形態において、撮像不明瞭領域の性質毎に異なる表示属性で表示してもよい。例えば、シャドー領域を２５６階調の赤色で表示し、後方エコー領域を２５６階調の緑色で表示してもよい。即ち、撮像不明瞭領域を表示する際、それぞれの種別の撮像不明瞭領域を識別可能に表示する為の表示形態であれば、如何なる表示形態を採用しても良い。その際に、撮像明瞭領域を２５６階調の青色で表示してもよい。
【０１６５】
さらに、撮像明瞭度、すなわちマスク画像の画素値に応じて各色の混合比率を変更してもよい。シャドー領域を表す第１のマスク画像の画素値がα１、後方エコー領域を表す第２のマスク画像の画素値がα２である場合には、例えば次式によって青色、赤色、緑色の混合比率Ｂ：Ｒ：Ｇを算出することが可能である。
【０１６６】
【数７】
【０１６７】
即ち、合成画像を構成する各画素を、対応する撮像明瞭度と信頼度とに基づく値に応じた表示形態でもって表示するのであれば、如何なる表示形態を採用しても良い。更に、以上説明した各実施形態、変形例はその一部若しくは全部を適宜組み合わせて用いても良い。
【０１６８】
［第８の実施形態］
本実施形態に係る画像処理装置は、超音波画像診断装置から被検体の断層画像を時系列的に（時間的に連続して）取得し、得られた断層画像群から被検体の３次元形状データを復元する。このとき、超音波プローブと被検体が接触した直後の時点で撮像された断層画像及びこの接触が解除される直前（非接触となる直前）の時点で撮像された断層画像と、それ以外の断層画像とを異なる方法で処理する。これにより、プローブ圧力による変形の影響を軽減する。
【０１６９】
ここで、接触した直後の時点で撮像された断層画像は、１枚の断層画像に限らず、指定した枚数の断層画像であってもよい。または、例えば接触後に所定の距離および／または角度だけプローブが移動するまでの間の全ての断層画像を、接触した直後の断層画像として扱ってもよい。なお、プローブの移動は後述の位置姿勢センサによって計測することができる。また、非接触となる直前の断層画像も、接触した直後の断層画像と同様に、１枚の断層画像に限られるものではない。
【０１７０】
本実施形態では、３次元形状データとして、３次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたボリュームデータ（以下、輝度値配列データと呼ぶ）を復元する。以下、本実施形態について説明する。
【０１７１】
先ず、図１８を用いて、本実施形態に係る画像処理装置の機能構成例について説明する。図１８に示す如く、本実施形態に係る画像処理装置５１００は、データ入力部５１１０、データ記憶部５１２０、位置姿勢算出部５１３０、接触判定部５１４０、変形判定部５１５０、変形補正部５１６０、３次元形状復元部５１７０によって構成される。そして更に、画像処理装置５１００には、断層画像を撮像する医用画像収集装置である超音波画像診断装置５１９０が接続されている。
【０１７２】
超音波画像診断装置５１９０は、被検体の断層画像を時系列的に撮像する。超音波画像診断装置５１９０には、断層画像群を取得するための超音波プローブ５１９５が接続されている。そして、この超音波プローブ５１９５を被検体に接触させることで、断層画像の撮像が行われる。超音波画像診断装置５１９０によって得られた断層画像群は、データ入力部５１１０を介して画像処理装置５１００に入力される。更に、この超音波プローブ５１９５には、第１の実施形態と同様、その位置姿勢を計測するための位置姿勢センサが装着されている。もちろん、本実施形態においても、超音波プローブ５１９５の位置姿勢を取得することができるのであれば、その手法は如何なるものであっても良い。如何なる手法を用いるにせよ、超音波プローブ５１９５の位置姿勢情報は、データ入力部５１１０を介して画像処理装置５１００に入力される。ここで、超音波プローブ５１９５の位置姿勢情報は、上記の基準座標系における位置姿勢で表されているものとする。なお、超音波プローブ５１９５の位置姿勢は、不図示のキーボードやマウスなどのユーザインタフェースを用いて操作者が入力してもよい。
【０１７３】
データ入力部５１１０には、断層画像と、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と、が時系列的に超音波画像診断装置５１９０から入力される。データ入力部５１１０は、入力された断層画像を必要に応じてデジタルデータに変換し、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と関連付けてデータ記憶部５１２０に格納する。
【０１７４】
位置姿勢算出部５１３０は、データ記憶部５１２０から、超音波プローブ５１９５の位置姿勢情報を読み出す。更に位置姿勢算出部５１３０は、予め算出してデータ記憶部５１２０内で管理している「超音波プローブ座標系における断層画像の位置姿勢情報」を読み出す。そして位置姿勢算出部５１３０は、これらの位置姿勢情報を用いて、基準座標系における断層画像の位置姿勢情報を算出し、データ記憶部５１２０に格納する。ここで、超音波プローブ座標系とは、超音波プローブ５１９５上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【０１７５】
接触判定部５１４０は、データ記憶部５１２０から断層画像を読み出し、読み出した断層画像を用いて、この断層画像の撮像時点での超音波プローブ５１９５と被検体との接触の有無を判定する。そして接触判定部５１４０は、この判定結果（接触の有無）を示す情報をデータ記憶部５１２０に格納する。
【０１７６】
変形判定部５１５０は、データ記憶部５１２０から、断層画像と、この断層画像を用いて判定した接触の有無を示す情報と、を読み出す。そして変形判定部５１５０は、読み出した断層画像と接触の有無を示す情報とを用いて、この断層画像が超音波プローブ５１９５の圧力による変形の小さな断層画像（小変形断層画像）であるのか、変形の大きな断層画像（変形断層画像）であるのかを判定する。そして変形判定部５１５０は、この判定の結果を示す情報を、データ記憶部５１２０に格納する。
【０１７７】
変形補正部５１６０は、データ記憶部５１２０から、断層画像と、この断層画像の基準座標系における位置姿勢情報と、この断層画像について変形判定部５１５０が判定した結果を示す情報と、を読み出す。そして変形補正部５１６０は、読み出したこれらの情報に基づいて、変形断層画像の変形を補正し、変形を補正した断層画像をデータ記憶部５１２０に格納する。なお、以下では、変形を補正した断層画像を補正断層画像と呼称する。
【０１７８】
３次元形状復元部５１７０は、データ記憶部５１２０から、小変形断層画像群と、補正断層画像群と、それぞれの基準座標系における位置姿勢情報と、を読み出す。そして３次元形状復元部５１７０は、読み出したこれらの情報を用いて、輝度値配列データを復元し、外部機器へと出力する。
【０１７９】
データ記憶部５１２０には、以下に挙げるデータが格納されることになる。
【０１８０】
（１） 時系列的に取得した被検体の断層画像と、それに関する情報
（１−１） データ入力部５１１０から入力される、被検体の断層画像
（１−２） 位置姿勢算出部５１３０から入力される、基準座標系における断層画像の位置姿勢情報
（１−３） 接触判定部５１４０から入力される、接触の有無を示す情報
（１−４） 変形判定部５１５０から入力される、変形判定部５１５０による判定結果を示す情報
（１−５） 変形補正部５１６０から入力される、補正断層画像
（２） 予め算出された、超音波プローブ座標系における断層画像の位置姿勢情報
そして、必要に応じてこれらのデータはデータ記憶部５１２０に対して入出力される。なお、図１に示したデータ入力部５１１０、データ記憶部５１２０、位置姿勢算出部５１３０、接触判定部５１４０、変形判定部５１５０、変形補正部５１６０、３次元形状復元部５１７０の少なくとも一部は、独立した装置として実現してもよい。また、夫々１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置５１００を構成する上記各部は、それぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。係るコンピュータとしては、第１の実施形態と同様、図２に示した構成例を有するコンピュータを適用すればよい。
【０１８１】
次に、図１９を用いて、本実施形態に係る画像処理装置５１００が行う処理について説明する。なお、以下の説明では、図１９に示した各部を処理の主体としているが、上述の通り、本実施形態では、各部はコンピュータプログラムとしてＣＰＵ１００１が実行するので、実際には、ＣＰＵ１００１が処理の主体となる。
【０１８２】
上述の通り、超音波画像診断装置５１９０からは、被検体の断層画像と、この断層画像を撮像した時点での超音波プローブ５１９５の位置姿勢情報と、が順次出力される。従って、ステップＳ５３０００においてデータ入力部５１１０は、被検体の断層画像と、この断層画像を撮像した時点における超音波プローブ５１９５の位置姿勢情報と、を順次取得し、データ記憶部５１２０に格納する。
【０１８３】
次に、位置姿勢算出部５１３０は、データ記憶部５１２０から、超音波プローブ５１９５の位置姿勢情報を読み出す。更に位置姿勢算出部５１３０は、予め算出してデータ記憶部５１２０に格納されている「超音波プローブ座標系における断層画像の位置姿勢情報」を読み出す。そして位置姿勢算出部５１３０は、これらの位置姿勢情報を用いて、基準座標系における断層画像の位置姿勢情報を算出し、データ記憶部５１２０に格納する。
【０１８４】
ステップＳ５３０１０において、接触判定部５１４０は、ステップＳ５３０００でデータ記憶部５１２０に格納した断層画像群に基づいて、夫々の断層画像を撮像した時刻における超音波プローブ５１９５と被検体との接触の有無（接触か非接触か）を判定する。そして接触判定部５１４０は、それぞれの断層画像を撮像した時刻における接触の有無を示す情報を、データ記憶部５１２０に格納する。なお、本ステップにおける処理の詳細については、図２０に示すフローチャートを用いて後に詳しく説明する。
【０１８５】
ステップＳ５３０２０において、変形判定部５１５０は、ステップＳ５３０１０で得られた接触の判定結果に基づいて、ステップＳ５３０００で得た断層画像の夫々について、小変形断層画像であるのか変形断層画像であるのかを判定する。具体的には、接触の直後の時点で撮像された断層画像及び接触が解除される直前の時点で撮像された断層画像を小変形断層画像と判定し、それ以外を変形断層画像と判定する。そして変形判定部５１５０は、それぞれの断層画像についての判定結果を示す情報をデータ記憶部５１２０に格納する。
【０１８６】
ステップＳ５３０３０において、変形補正部５１６０は、ステップＳ５３０２０で変形断層画像と判定された断層画像の夫々について変形の補正処理を施し、補正断層画像を生成する。そして変形補正部５１６０は、得られた補正断層画像をデータ記憶部５１２０に格納する。なお、本ステップにおける処理の詳細は、図２１に示すフローチャートを用いて後に詳しく説明する。
【０１８７】
ステップＳ５３０４０において、３次元形状復元部５１７０は、ステップＳ５３０２０で小変形断層画像と判定された断層画像群（補正対象外）と、ステップＳ５３０３０で生成された補正断層画像群とを用いて、被検体の輝度値配列データを復元する。なお、本ステップにおける処理の詳細は、図２２に示すフローチャートを用いて後に詳しく説明する。
【０１８８】
ステップＳ５３０５０において、３次元形状復元部５１７０は、ステップＳ５３０４０で復元した輝度値配列データを、Ｉ／Ｆ１００９を介して外部へと出力する、若しくは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、取得した断層画像群から３次元形状データを復元することができる。 次に、図２０に示すフローチャートを用いて、ステップＳ５３０１０において接触判定部５１４０が実行する処理の手順を説明する。ステップＳ５４０００において、接触判定部５１４０は、断層画像群をデータ記憶部５１２０から読み出す。ステップＳ５４０１０において、接触判定部５１４０は、読み出した断層画像群のうち未だ選択していない断層画像を選択断層画像として選択する。
【０１８９】
ステップＳ５４０２０において、接触判定部５１４０は、上記式１に従って選択断層画像の撮像領域を長方形に変換する。なお、超音波プローブ５１９５としてリニアプローブを用いる場合には、撮像領域が長方形となるため、本ステップは不要となる。
【０１９０】
ステップＳ５４０３０において、接触判定部５１４０は、長方形領域内の全ての縦ラインについて、接触状態を表すフラグを、接触を表す１に設定する。ステップＳ５４０４０において、接触判定部５１４０は、長方形領域内で未だ選択していない縦ラインを選択縦ラインとして選択する。
【０１９１】
ステップＳ５４０５０において、接触判定部５１４０は、選択縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定する。ここで、撮像領域の上端部付近は、超音波プローブ５１９５が被検体表面に適切に接触していない場合であっても、輝度が低くならない場合がある。そこで、撮像領域の上端部を判定に用いないようにするために、所定のｙ座標値より大きなｙ座標における全ての画素の画素値が閾値よりも低いか否かの判定を行ってもよい。係る判定の結果、全て閾値よりも低い場合にはステップＳ５４０６０へと処理を進め、それ以外の場合にはステップＳ５４０７０へと処理を進める。
【０１９２】
なお、選択縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定する処理は、上述の処理に限定されるものではない。例えば、選択縦ラインを構成する全ての画素の画素値の平均が閾値以下でかつ分散が閾値以下であるか否かなどによって判定してもよい。
【０１９３】
ステップＳ５４０６０において、接触判定部５１４０は、選択縦ラインの接触状態を表すフラグを、非接触を表す０に設定し、ステップＳ５４０７０へと処理を進める。ステップＳ５４０７０において接触判定部５１４０は、ステップＳ５４０４０で全ての縦ラインを選択したか否かを判定する。係る判定の結果、選択断層画像について未だ選択していない縦ラインがある場合にはステップＳ５４０４０へと処理を戻す。一方、選択断層画像について全ての縦ラインを選択したのであればステップＳ５４０８０へと処理を進める。
【０１９４】
ステップＳ５４０８０において、接触判定部５１４０は、全ての縦ラインの接触状態を表すフラグ（フラグ値）が０であるか否かを判定する。係る判定の結果、全ての縦ラインの接触状態を表すフラグが０であれば、超音波プローブ５１９５と被検体とは接触していないと判定し、それ以外の場合は接触していると判定する。
【０１９５】
ステップＳ５４０９０において、接触判定部５１４０は、ステップＳ５４０１０で未だ選択されていない断層画像があるか否かを判定する。係る判定の結果、未だ選択されていない断層画像がある場合にはステップＳ５４０１０へと処理を戻す。一方、ステップＳ５４０００においてデータ記憶部５１２０から読み出された全ての断層画像についてステップＳ５４０１０で選択されたのであれば、ステップＳ５４１００へと処理を進める。
【０１９６】
ステップＳ５４１００において、接触判定部５１４０は、それぞれの断層画像についてステップＳ５４０８０で判定した結果を示す情報を、データ記憶部５１２０に格納する。以上説明した処理によって、夫々の断層画像を撮像した時刻において超音波プローブ５１９５と被検体とが接触しているか否かを判定することができる。
【０１９７】
次に、図２１のフローチャートを用いて、ステップＳ５３０３０において変形補正部５１６０が実行する処理の手順を説明する。ステップＳ５６０００において、変形補正部５１６０は、断層画像の夫々と、基準座標系における各断層画像の位置姿勢情報と、それぞれの断層画像について変形判定部５１５０が判定した結果を示す情報と、をデータ記憶部１２０から入力する。
【０１９８】
ステップＳ５６０１０において、変形補正部５１６０は先ず、それぞれの断層画像について変形判定部５１５０が判定した結果を示す情報を参照して、断層画像群のうち、変形断層画像を特定する。そして特定した変形断層画像群のうち、未だ選択していない変形断層画像を選択変形断層画像として選択する。
【０１９９】
ステップＳ５６０２０において、変形補正部５１６０は、例えば上記非特許文献５に開示されている手法によって、選択変形断層画像の体表面からの深さｙに応じた変形量ｄ（ｙ）を推定する。そして、推定結果に基づいて変形を補正した補正断層画像を生成する。
【０２００】
なお、補正断層画像を生成する処理は、上述の処理に限定されるものではない。例えば、超音波プローブ５１９５の圧力による変形を単純な剛体変換（平行移動）であると仮定して、スカラー値である変形量を推定して補正してもよい。または、超音波プローブ５１９５の圧力による体表面の押し込み量をパラメータとした変形モデルを作成しておき、例えば体表面が滑らかであると仮定した上で押し込み量を推定して、変形モデルに基づいて変形を補正してもよい。本ステップの処理により、変形量ｄ（ｙ）の初期値が推定され、変形が大まかに補正された補正断層画像が生成される。
【０２０１】
ステップＳ５６０３０において、変形補正部５１６０は、ステップＳ５６０２０の処理によって変形が大まかに補正された補正断層画像と、小変形断層画像群との交差を判定する。交差の判定には、例えば、以下の文献に開示されている、２枚の画像の画素値を比較して交線を探索する方法を用いる。
【０２０２】
R.F. Chang, W-J. Wu, D-R. Chen, W-M Chen, W. Shu, J-H. Lee, and L-B. Jeng, "3-D US frame positioning using speckle decorrelation and image registration," Ultrasound in Med. & Biol., Vol.29, No.6, pp.801-812, 2003.
そして、小変形断層画像のいずれかと交差していると判定されればステップＳ５６０４０へと処理を進め、それ以外の場合にはステップＳ５６０５０へと処理を進める。ステップＳ５６０４０において、変形補正部５１６０は、補正断層画像の推定変形量ｄ（ｙ）の更新を、補正断層画像と交差する小変形断層画像を参照して行う。すなわち、両者の交線上にある画素値の類似度が最大となるように、補正断層画像の推定変形量ｄ（ｙ）を繰り返し計算によって更新する。例えば、補正断層画像の推定変形量ｄ（ｙ）に対して１．０に近い数種類の係数を掛け合わせた変形量の候補群を生成し、その候補群の中から類似度が最大となる候補を選択して更新する。そして、求められた推定変形量を用いて補正断層画像を再度生成し、生成された補正断層画像に更新済みのフラグを付加する。以下では、生成された補正断層画像を補正更新断層画像と呼ぶ。
【０２０３】
ステップＳ５６０５０において、変形補正部５１６０は、ステップＳ５６０１０において全ての変形断層画像を選択したか否かを判定する。係る判定の結果、未だ選択していない変形断層画像がある場合には、ステップＳ５６０１０へと処理を戻す。一方、全ての変形断層画像を選択した場合には、ステップＳ５６０６０へと処理を進める。
【０２０４】
ステップＳ５６０６０において、変形補正部５１６０は、更新済みのフラグが付加されていない補正断層画像を選択する。すなわち、小変形断層画像のいずれとも交差しておらず、推定変形量の更新が行われていない補正断層画像を選択する。
【０２０５】
ステップＳ５６０７０において、変形補正部５１６０は、選択された補正断層画像の推定変形量を、補正更新断層画像の推定変形量に基づいて更新する。例えば、選択された補正断層画像の撮影時刻をｔとし、ｔ以前の最も近い時刻に撮影された補正更新断層画像の撮影時刻をｔ１、その推定変形量をｄ１（ｙ）とする。また、ｔ以降の最も近い時刻に撮影された補正更新断層画像の撮影時刻をｔ２、その推定変形量をｄ２（ｙ）とする。このとき、選択された補正断層画像の新たな推定変形量ｄ’（ｙ）を、例えば次式に従って算出する。
【０２０６】
【数８】
【０２０７】
なお、推定変形量の更新は上述の方法に限られるものではない。例えば、選択された補正断層画像の更新前の推定変形量ｄ（ｙ）と推定変形量ｄ’（ｙ）との両者に基づいて、両者の平均を取るなどして、新たな推定変形量を算出してもよい。
【０２０８】
ステップＳ５６０８０において、変形補正部５１６０は、更新済みのフラグが付加されていない全ての補正断層画像に対して処理を終えたか否かの判定を行い、処理を終えていない場合にはステップＳ５６０６０へと処理を戻す。一方、処理を終えているのであればステップＳ５６０９０へと処理を進める。
【０２０９】
ステップＳ５６０９０において、変形補正部５１６０は、ステップＳ５６０００からステップＳ５６０８０の処理によって得られた補正断層画像群をデータ記憶部５１２０に格納する。
【０２１０】
以上の処理によって、変形の少ない小変形断層画像群を手がかりとして、変形断層画像群の変形を効果的に補正することができる。すなわち、小変形断層画像群を、変形の補正を行わずに基準として用いることにより、基準なしで全ての断層画像群の変形を補正する場合よりも変形の影響が軽減された補正断層画像群を得ることができる。
【０２１１】
次に、図２２のフローチャートを用いて、ステップＳ５３０４０において３次元形状復元部５１７０が実行する処理の手順を説明する。ステップＳ５７０００において、３次元形状復元部５１７０は、小変形断層画像群と、補正断層画像群と、それらの基準座標系における位置姿勢情報とを、データ記憶部５１２０から読み出す。
【０２１２】
ステップＳ５７０１０において、３次元形状復元部５１７０は、輝度値配列データを格納するための、例えば２５６×２５６×２５６のボクセルからなるボクセルメッシュを生成する。ボクセルメッシュのサイズは、その内部に全ての断層画像が含まれる大きさにする。そして、ボクセルメッシュ座標系は、例えば、ある断層画像の中央位置を原点として定義し、この原点で互いに直交する３軸を基準座標系と一致するように定義する。
【０２１３】
ステップＳ５７０２０において、３次元形状復元部５１７０は、基準座標系における各断層画像の位置姿勢情報に基づいて、各断層画像の各画素のボクセルメッシュ座標系における位置を算出する。
【０２１４】
ステップＳ５７０３０において、３次元形状復元部５１７０は、輝度値配列データの復元、すなわち、全ボクセルの輝度値の算出を行う。各ボクセルの輝度値は、例えば、注目ボクセルの近傍に位置する複数の画素における輝度値の、ボクセルから各画素までの距離の逆数を重みとした加重平均によって算出する。
【０２１５】
ステップＳ５７０４０において、３次元形状復元部５１７０は、ステップＳ５７０３０で得られた輝度値配列データを、Ｉ／Ｆ１００９を介して外部へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、変形が補正された断層画像群から、歪みの小さな３次元形状データとして輝度値配列データが復元される。
【０２１６】
以上説明したように、本実施形態によれば、超音波プローブ５１９５と被検体との接触直後および非接触となる直前の断層画像とそれ以外の断層画像とを異なる方法で処理することで、断層画像群から歪みの小さな３次元形状データを復元することができる。すなわち、本実施形態では、小変形断層画像群を、超音波プローブ５１９５の圧力による変形が小さいものとして、補正を行わずに基準として用いている。そのため、基準なしで断層画像群の変形を補正する場合よりも、超音波プローブ５１９５の圧力による変形の影響が軽減された３次元形状データを復元することができる。
【０２１７】
［第９の実施形態］
第８の実施形態では、３次元形状データとして被検体のボリュームデータ（輝度値配列データ）を復元していたが、本実施形態では、３次元形状データとして、被検体のサーフェスモデル（表面形状モデル）を復元する。以下、本実施形態について、第８の実施形態との相違部分についてのみ説明する。
【０２１８】
図２３を用いて、本実施形態に係る画像処理装置５８００の機能構成について説明する。なお、図２３において、図１８と同じ部分については同じ参照番号を付けており、その説明は省略する。
【０２１９】
位置姿勢算出部５８３０は、データ記憶部５１２０から、基準座標系における超音波プローブ５１９５の位置姿勢と、予め算出して記憶された超音波プローブ座標系における超音波プローブ５１９５の接点の位置情報とを読み出す。本実施形態では、図２４に示すように、被検体と超音波プローブ５１９５との接触面の重心位置を接点とする。そして位置姿勢算出部５８３０は、読み出したこれらの情報に基づいて、基準座標系における接点の位置情報を算出し、算出した位置情報をデータ記憶部５１２０に格納する。
【０２２０】
次に、図２５に示すフローチャートを用いて、３次元形状復元部５８７０が上記ステップＳ５３０４０において行う処理について説明する。ステップＳ６１００において、３次元形状復元部５８７０は、断層画像の夫々を撮像した時刻における接点の位置情報と、夫々の断層画像についての超音波プローブ５１９５と被検体との接触判定結果を示す情報とを、データ記憶部５１２０から読み出す。
【０２２１】
ステップＳ６２００において、３次元形状復元部５８７０は、接触の判定結果が切り替わる時点での接点の位置情報に基づいて、被検体表面を表す点群を得る。具体的には、接触した直前および直後の接点の位置を平均して、接触した瞬間の接点の位置を算出する。同様に、非接触となる直前および直後の接点の位置を平均して、非接触となる瞬間の接点の位置を算出する。これらの接点群が被検体表面を表す点群となる。
【０２２２】
ステップＳ６３００において、３次元形状復元部５８７０は、被検体表面を表す点群からサーフェスモデルを復元する。例えば、被検体表面を表す点群を頂点とする三角形パッチを生成して、その集合をサーフェスモデルとする。
【０２２３】
ステップＳ６４００において、３次元形状合成部５８７０は、ステップＳ６３００で得られたサーフェスモデルを、Ｉ／Ｆ１００９を介して外部へと出力する。あるいは、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。以上説明した処理によって、超音波プローブ５１９５と被検体との接触の判定結果に基づいて、歪みの小さな３次元形状データとしてサーフェスモデルが復元される。
【０２２４】
以上の説明により、本実施形態によれば、超音波プローブ５１９５と被検体との接触判定結果が切り替わる時の超音波プローブ５１９５の位置姿勢に基づいて、歪みの小さな３次元形状データを復元することができる。すなわち、本実施形態では被検体との接触判定結果が切り替わる時の、超音波プローブ５１９５の圧力による被検体の変形が小さい時の位置姿勢のみを用いている。そのため、全ての位置姿勢を用いる場合よりも、超音波プローブ５１９５の圧力による変形の影響が軽減された３次元形状データを復元することができる。
【０２２５】
［第１０の実施形態］
本実施形態に係る画像処理装置は、超音波プローブと被検体との接触圧力が弱い時の断層画像と、それ以外の断層画像とを異なる方法で処理し、断層画像群から歪みの小さな３次元形状データを復元する。本実施形態では、圧力センサ５２００を超音波プローブ５１９５に装着し、超音波プローブ５１９５と被検体との接触圧力を計測する。また、本実施形態では、３次元形状データとして輝度値配列データを復元する。以下、本実施形態について、第８の実施形態との相違部分についてのみ説明する。
【０２２６】
図２６を用いて、本実施形態に係る画像処理装置５９００の機能構成について説明する。なお、図２６において、図１８と同じ部分については同じ参照番号を付けており、その説明は省略する。
【０２２７】
データ入力部５１１１０は、超音波プローブ５１９５が撮像した断層画像を第８の実施形態と同様に取得してデータ記憶部５１２０に格納すると共に、この断層画像を撮像した時点で圧力センサ５２００が計測した圧力値をデータ記憶部５１２０に格納する。
【０２２８】
変形判定部５１１５０は、データ記憶部５１２０から圧力センサ５２００による計測値としての圧力値を読み出すと、読み出した圧力値を用いて、それぞれの断層画像が小変形断層画像であるのか変形断層画像であるのかを判定する。具体的には、圧力センサ５２００の圧力値が閾値未満である場合には、この圧力値を計測した時点で撮像された断層画像を小変形断層画像と判定し、圧力値が閾値以上である場合には、この圧力値を計測した時点で撮像された断層画像を変形断層画像と判定する。そして、係る判定の結果を、第８の実施形態と同様に、データ記憶部５１２０に格納する。
【０２２９】
以上説明したように、本実施形態によれば、超音波プローブ５１９５と被検体との接触圧力が弱い時の断層画像とそれ以外の断層画像とを異なる方法で処理することで、断層画像群から歪みの小さな３次元形状データを復元することができる。
【０２３０】
［他の実施形態］
（変形例１）
第８の実施形態以降の夫々において、超音波画像診断装置５１９０で２次元の断層画像を取得する場合を例に述べたが、医用画像収集装置で取得するデータはこれに限られるものではない。例えば、３次元断層画像の取得が可能な２Ｄアレイの超音波プローブを用いてもよい。この場合、接触判定部５１４０による判定処理は、２次元断層画像の場合の処理（図２０のフローチャート）を容易に拡張することができる。また、プローブのヘッドが自動でスキャンした範囲の断層画像群を取得する場合であっても、第８の実施形態以降で説明した手法が適用可能である。
【０２３１】
（変形例２）
第８の実施形態において、超音波プローブ５１９５と被検体との接触直後および非接触直前の情報とそれ以外の情報とを異なる方法で処理して、断層画像群から歪みの小さな３次元形状データを復元する場合について説明した。しかし、超音波プローブ５１９５と被検体との接触直後および非接触となる直前の情報が十分にあれば、それ以外の情報は利用しなくてもよい。この場合、変形断層画像の補正は行う必要がなく、小変形断層画像群と、それらの基準座標系における位置姿勢に基づいて、輝度値配列データを復元すればよい。
【０２３２】
（変形例３）
第８および第９の実施形態において、断層画像の撮像領域のうち、全ての縦ラインの接触状態を表すフラグが０であれば、超音波プローブ５１９５と被検体とが接触していないと判定し、それ以外の場合は接触していると判定していた。すなわち、断層画像全体が非接触状態か否かを判定していた。しかし、接触の判定方法はこれに限らず、断層画像の部分領域毎に非接触状態か否かを判定してもよい。例えば、図２７に示す撮像領域２７０３のうち、２７０１で示す部分領域を非接触領域と判定し、それ以外の部分領域を接触領域と判定することができる。
【０２３３】
ここで、非接触領域の近傍の接触領域については、プローブの圧力による変形が小さいと考えられる。そこで、このような部分領域（以下では、小変形部分領域と呼ぶ）２７０２を、小変形断層画像と同時に利用して、変形補正部５１６０における変形の補正処理に利用することができる。小変形部分領域も利用することにより、変形補正部５１６０における変形の補正の精度を向上させることができる。
【０２３４】
（変形例４）
第８および第９の実施形態では、断層画像に基づいて超音波プローブ５１９５と被検体との接触を判定していた。しかし、接触の判定方法はこれに限らず、超音波プローブ５１９５または被検体に装着した接触センサに基づいて判定してもよい。接触センサを用いる場合には、上記の接触判定部５１４０が不要となる。
【０２３５】
（変形例５）
第８および第９の実施形態において、断層画像に基づいて超音波プローブ５１９５と被検体との接触を判定していた。しかし、接触の判定方法はこれに限らず、位置姿勢センサの計測値に基づいて判定してもよい。予め被検体の形状情報が分かっていれば、超音波プローブ５１９５と被検体とが接触しているか否かは、位置姿勢センサの計測値と被検体の形状情報に基づいて容易に判定することができる。
【０２３６】
（変形例６）
第８の実施形態において、位置姿勢センサを用いて超音波プローブ５１９５の位置姿勢を計測し、断層画像間の位置関係を求めて３次元形状データを復元する方法について説明した。しかし、断層画像間の位置関係を算出する方法はこれに限らず、位置姿勢センサを用いずに算出してもよい。例えば、上記の非特許文献３に開示されている方法によって、断層画像中の画像特徴同士の相関に基づいて断層画像間の位置関係を推定し、３次元形状データを復元してもよい。
【０２３７】
（変形例７）
第１０の実施形態において、超音波プローブ５１９５と被検体との接接触圧力が弱い時の情報とそれ以外の情報とを異なる方法で処理して、断層画像群から歪みの小さな３次元形状データを復元する場合について説明した。しかし、超音波プローブ５１９５と被検体との接触圧力が弱い時の情報が十分にあれば、それ以外の情報は利用しなくてもよい。この場合、変形断層画像の補正は行う必要がなく、小変形断層画像群と、それらの基準座標系における位置姿勢に基づいて、輝度値配列データを復元すればよい。
【０２３８】
（変形例８）
第９の実施形態において、超音波プローブ５１９５の代わりに、指示部として、例えばペンなどの一般的なポインティングデバイスを用いてもよい。この場合には、ポインティングデバイス座標系における、ポインティングデバイスと被検体との接点の位置を予め算出して記憶しておけば、被検体表面を表す点群を得ることができる。ここでポインティングデバイス座標系とは、ポインティングデバイス上の１点を原点として定義し、この原点で互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系のことを表す。
【０２３９】
ポインティングデバイスと被検体の接触は、その他の実施形態における変形例４と同様に、ポインティングデバイスまたは被検体に装着した接触センサに基づいて判定すればよい。または、その他の実施形態における変形例５と同様に、位置姿勢センサの計測値と被検体の形状情報に基づいて判定してもよい。または、第１０の実施形態と同様に、圧力センサをポインティングデバイスに装着して、被検体との接触圧力が弱い時の位置姿勢センサの計測値のみを利用して３次元形状モデルを復元してもよい。
【０２４０】
本変形例によれば、ポインティングデバイスによる被検体の変形の影響が軽減された３次元形状モデルを復元することができる。もちろん、第８の実施形態以降の各実施形態及び変形例は、その一部若しくは全部を適宜組み合わせて用いても良い。
【特許請求の範囲】
【請求項１】
撮像部が撮像した被検体の断層画像を取得する手段と、
前記撮像部の位置姿勢情報を取得する手段と、
前記被検体の３次元ボリュームデータを取得する手段と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する手段と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成手段と、
前記合成画像を出力する出力手段とを備え、
前記生成手段は、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
前記断層画像において撮像不明瞭領域を示すマスク画像を生成し、
前記断層画像において前記マスク画像が示す撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る撮像明瞭度を求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記撮像明瞭度が示す比率に応じて合成することで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像明瞭度は、断層画像から順次選択された選択縦ラインを構成する各画素の画素値と閾値との差分をそれぞれの画素について加算した値を、前記閾値と前記選択縦ラインの画素数との積で除した値であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る第１の撮像明瞭度を求め、
前記断層画像内の着目部位領域の直下の領域内の平均画素値と、当該直下の領域の左右に隣接する領域内の平均輝度値との差分を、前記左右に隣接する領域内の平均輝度値若しくは輝度値が取りうる最大輝度値から前記左右に隣接する領域内の平均輝度値を引いた値で除した値を第２の撮像明瞭度として求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記第１の撮像明瞭度及び前記第２の撮像明瞭度に基づいて算出される比率に応じて合成することで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る撮像明瞭度を求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記撮像明瞭度と対応する信頼度とに基づく比率に応じて合成することで、前記断層画像と前記断層面の像とを合成し、
前記信頼度は、前記断層面の像を構成する各画素について予め定められた値であり、当該各画素を生成する為に用いた、前記３次元ボリュームデータを構成するボクセルについて予め求めた値である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を表示する際、前記撮像不明瞭領域とそれ以外の領域とを識別可能に表示することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を表示する際、種別ごとの撮像不明瞭領域を識別可能に表示することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を構成する各画素を、対応する前記撮像明瞭度と前記信頼度とに基づく値に応じた表示形態でもって表示することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
撮像部が撮像した被検体の断層画像を取得する工程と、
前記撮像部の位置姿勢情報を取得する工程と、
前記被検体の３次元ボリュームデータを取得する工程と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する工程と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成工程と、
前記合成画像を出力する出力工程とを備え、
前記生成工程では、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする画像処理方法。
【請求項１１】
撮像部によって撮像された被検体の断層画像を時系列的に取得する取得手段と、
前記取得手段が取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定手段と、
前記取得手段が取得した断層画像群のうち、前記接触の直後の時点で撮像された断層画像及び前記接触が解除される直前の時点で撮像された断層画像をのぞく他の断層画像群の変形を補正する補正手段と、
前記補正手段により補正された断層画像群に基づいて、前記被検体の３次元形状データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１２】
前記判定手段は、断層画像から縦ラインを選択し、選択した縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定し、低いと判定した場合には前記選択した縦ラインに対するフラグ値を０に設定し、高いと判定した場合には前記選択した縦ラインに対するフラグ値を１に設定し、フラグ値が１である縦ラインが存在する場合には、この断層画像は、前記撮像部と前記被検体との接触圧力が小さい状態で撮像された断層画像であると判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段は、前記撮像部と前記被検体との接触圧力を計測するセンサが計測した圧力値が閾値未満である場合には、この圧力値を計測した時点で撮像された断層画像は、前記撮像部と前記被検体との接触圧力が小さい状態で撮像された断層画像であると判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記生成手段は、前記補正手段による補正対象外の断層画像群を更に用いて、前記被検体の３次元形状データを生成することを特徴とする請求項１１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記３次元形状データは、３次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたボリュームデータであることを特徴とする請求項１１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
撮像部によって撮像された被検体の断層画像と、当該撮像部の位置姿勢情報と、を時系列的に取得する手段と、
前記取得手段が取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定手段と、
前記接触の直前および直後の時点での前記位置姿勢情報、前記接触が解除される直前および直後の時点での前記位置姿勢情報、を用いて、前記被検体の３次元形状データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１７】
前記３次元形状データは、被検体表面を表す点群に基づくサーフェスモデルであることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
撮像部によって撮像された被検体の断層画像を時系列的に取得する取得工程と、
前記取得工程で取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定工程と、
前記取得工程で取得した断層画像群のうち、前記接触の直後の時点で撮像された断層画像及び前記接触が解除される直前の時点で撮像された断層画像をのぞく他の断層画像群の変形を補正する補正工程と、
前記補正工程で補正された断層画像群に基づいて、前記被検体の３次元形状データを生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項１９】
撮像部によって撮像された被検体の断層画像と、当該撮像部の位置姿勢情報と、を時系列的に取得する工程と、
前記取得工程で取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定工程と、
前記接触の直前および直後の時点での前記位置姿勢情報、前記接触が解除される直前および直後の時点での前記位置姿勢情報、を用いて、前記被検体の３次元形状データを生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項２０】
コンピュータを、請求項１乃至９、請求項１１乃至１７、の何れか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。
【請求項１】
撮像部が撮像した被検体の断層画像を取得する手段と、
前記撮像部の位置姿勢情報を取得する手段と、
前記被検体の３次元ボリュームデータを取得する手段と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する手段と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成手段と、
前記合成画像を出力する出力手段とを備え、
前記生成手段は、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
前記断層画像において撮像不明瞭領域を示すマスク画像を生成し、
前記断層画像において前記マスク画像が示す撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る撮像明瞭度を求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記撮像明瞭度が示す比率に応じて合成することで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像明瞭度は、断層画像から順次選択された選択縦ラインを構成する各画素の画素値と閾値との差分をそれぞれの画素について加算した値を、前記閾値と前記選択縦ラインの画素数との積で除した値であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る第１の撮像明瞭度を求め、
前記断層画像内の着目部位領域の直下の領域内の平均画素値と、当該直下の領域の左右に隣接する領域内の平均輝度値との差分を、前記左右に隣接する領域内の平均輝度値若しくは輝度値が取りうる最大輝度値から前記左右に隣接する領域内の平均輝度値を引いた値で除した値を第２の撮像明瞭度として求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記第１の撮像明瞭度及び前記第２の撮像明瞭度に基づいて算出される比率に応じて合成することで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記断層画像を構成する各画素について、画素値が低いほど高い値を取る撮像明瞭度を求め、
画素ごとに、前記断層画像と前記断層面の像とを、対応する前記撮像明瞭度と対応する信頼度とに基づく比率に応じて合成することで、前記断層画像と前記断層面の像とを合成し、
前記信頼度は、前記断層面の像を構成する各画素について予め定められた値であり、当該各画素を生成する為に用いた、前記３次元ボリュームデータを構成するボクセルについて予め求めた値である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を表示する際、前記撮像不明瞭領域とそれ以外の領域とを識別可能に表示することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を表示する際、種別ごとの撮像不明瞭領域を識別可能に表示することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
更に、
前記出力手段が出力した合成画像を表示する表示手段を備え、
前記表示手段は、前記合成画像を構成する各画素を、対応する前記撮像明瞭度と前記信頼度とに基づく値に応じた表示形態でもって表示することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
撮像部が撮像した被検体の断層画像を取得する工程と、
前記撮像部の位置姿勢情報を取得する工程と、
前記被検体の３次元ボリュームデータを取得する工程と、
前記位置姿勢情報に基づいて、前記３次元ボリュームデータから前記断層画像に対応する断層面の像を取得する工程と、
前記断層面の像と前記断層画像とを合成した合成画像を生成する生成工程と、
前記合成画像を出力する出力工程とを備え、
前記生成工程では、
前記断層画像において撮像不明瞭領域としての領域を特定し、
前記撮像不明瞭領域内の画像を、前記断層面の像において前記撮像不明瞭領域に対応する領域内の画像で置き換えることで、前記断層画像と前記断層面の像とを合成する
ことを特徴とする画像処理方法。
【請求項１１】
撮像部によって撮像された被検体の断層画像を時系列的に取得する取得手段と、
前記取得手段が取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定手段と、
前記取得手段が取得した断層画像群のうち、前記接触の直後の時点で撮像された断層画像及び前記接触が解除される直前の時点で撮像された断層画像をのぞく他の断層画像群の変形を補正する補正手段と、
前記補正手段により補正された断層画像群に基づいて、前記被検体の３次元形状データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１２】
前記判定手段は、断層画像から縦ラインを選択し、選択した縦ラインを構成する全ての画素の画素値が閾値よりも低いか否かを判定し、低いと判定した場合には前記選択した縦ラインに対するフラグ値を０に設定し、高いと判定した場合には前記選択した縦ラインに対するフラグ値を１に設定し、フラグ値が１である縦ラインが存在する場合には、この断層画像は、前記撮像部と前記被検体との接触圧力が小さい状態で撮像された断層画像であると判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段は、前記撮像部と前記被検体との接触圧力を計測するセンサが計測した圧力値が閾値未満である場合には、この圧力値を計測した時点で撮像された断層画像は、前記撮像部と前記被検体との接触圧力が小さい状態で撮像された断層画像であると判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記生成手段は、前記補正手段による補正対象外の断層画像群を更に用いて、前記被検体の３次元形状データを生成することを特徴とする請求項１１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記３次元形状データは、３次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたボリュームデータであることを特徴とする請求項１１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
撮像部によって撮像された被検体の断層画像と、当該撮像部の位置姿勢情報と、を時系列的に取得する手段と、
前記取得手段が取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定手段と、
前記接触の直前および直後の時点での前記位置姿勢情報、前記接触が解除される直前および直後の時点での前記位置姿勢情報、を用いて、前記被検体の３次元形状データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１７】
前記３次元形状データは、被検体表面を表す点群に基づくサーフェスモデルであることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
撮像部によって撮像された被検体の断層画像を時系列的に取得する取得工程と、
前記取得工程で取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定工程と、
前記取得工程で取得した断層画像群のうち、前記接触の直後の時点で撮像された断層画像及び前記接触が解除される直前の時点で撮像された断層画像をのぞく他の断層画像群の変形を補正する補正工程と、
前記補正工程で補正された断層画像群に基づいて、前記被検体の３次元形状データを生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項１９】
撮像部によって撮像された被検体の断層画像と、当該撮像部の位置姿勢情報と、を時系列的に取得する工程と、
前記取得工程で取得した断層画像が、前記撮像部が前記被検体と接触した状態で撮像された断層画像であるか否かを判定する判定工程と、
前記接触の直前および直後の時点での前記位置姿勢情報、前記接触が解除される直前および直後の時点での前記位置姿勢情報、を用いて、前記被検体の３次元形状データを生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項２０】
コンピュータを、請求項１乃至９、請求項１１乃至１７、の何れか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−２３３９６１（Ｐ２０１０−２３３９６１Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８７８３５（Ｐ２００９−８７８３５）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]