画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブ
【課題】被写体の断面の画像を手軽に取得する。
【解決手段】センサ情報取得部１５３は、超音波の発生および反射波の受信を行うプローブ１１１の位置および向きを示す情報を取得する。断面画像生成部１５５は、被写体の周りの複数の位置においてプローブ１１１が受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときのプローブ１１１の位置および向きに基づいて配置し、合成することにより被写体の断面の少なくとも一部を示す断面画像を生成する。本技術は、例えば、超音波検査装置に適用できる。
【解決手段】センサ情報取得部１５３は、超音波の発生および反射波の受信を行うプローブ１１１の位置および向きを示す情報を取得する。断面画像生成部１５５は、被写体の周りの複数の位置においてプローブ１１１が受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときのプローブ１１１の位置および向きに基づいて配置し、合成することにより被写体の断面の少なくとも一部を示す断面画像を生成する。本技術は、例えば、超音波検査装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブに関し、特に、超音波を用いて被写体の断面の画像を生成する場合に用いて好適な画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブに関する。
【背景技術】
【０００２】
従来、医療分野では超音波検査装置が広く普及してきている。また、近年、超音波の出力パワーを下げることで、非医療機器として一般向けに開発、販売される超音波検査装置も見受けられる（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】福田他、「体脂肪・筋肉量測定を目的としたヘルスケア用超音波エコーの開発」、医療機器学、日本医療機器学会、2008年3月1日、第78巻、第3号、p.113-124
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の超音波検査装置では、医療用、非医療用を問わず、プローブを当てた箇所がピンポイントで画像化される。そのため、例えば、腹部のプローブを当てた箇所の皮下脂肪や筋肉の厚さを計測することはできるが、腹部周り全体の状態を一目で把握することは困難であった。
【０００５】
一方、MRI（Magnetic Resonance Imaging）やCT（Computed Tomography）等の技術を用いた医療検査装置を使用すれば、腹部の断面を可視化することが可能である。しかし、そのような医療検査装置は大規模かつ高価であったり、検査するためにベッドに横になる必要があったりして、一般の人が手軽に使用できるものではない。
【０００６】
本技術は、腹部等の被写体の断面の画像を手軽に取得できるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部とを含む。
【０００８】
前記断面画像生成部には、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置させることができる。
【０００９】
前記断面画像生成部には、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置させることができる。
【００１０】
前記断面画像生成部には、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出させることができる。
【００１１】
前記断面画像生成部には、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出させることができる。
【００１２】
前記情報取得部には、前記プローブが前記被写体を押す力を示す情報をさらに取得させ、前記断面画像生成部には、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行わせることができる。
【００１３】
前記断面画像生成部には、前記被写体が生体である場合、前記断面画像内の前記身体の内部の各組織を認識させ、認識させた組織毎に前記プローブに押されることにより生じる変形の補正を行わせることができる。
【００１４】
前記断面画像生成部には、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求めさせ、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成させることができる。
【００１５】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部をさらに設け、前記情報取得部には、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得させ、前記プローブ状態検出部には、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択させることができる。
【００１６】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部をさらに設け、前記情報取得部には、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得させ、前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替えさせることができる。
【００１７】
前記断面画像生成部には、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成させることができる。
【００１８】
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部をさらに設けることができる。
【００１９】
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部をさらに設けることができる。
【００２０】
本技術の第１の側面の画像処理方法は、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む。
【００２１】
本技術の第１の側面のプログラムは、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む処理をコンピュータに実行させる。
【００２２】
本技術の第２の側面の画像処理システムは、プローブおよび画像処理装置を備え、前記プローブは、超音波を発生する超音波発生部と、前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、前記プローブの位置および向きを検出する検出部とを含み、前記画像処理装置は、前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部とを含む。
【００２３】
本技術の第２の側面の画像処理方法は、プローブおよび画像処理装置を備える画像処理システムの前記プローブが、超音波を発生させ、発生させた超音波の反射波を受信し、前記プローブの位置および向きを検出し、前記画像処理装置が、前記プローブが受信した反射波に基づいて、超音波画像を生成し、被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む。
【００２４】
本発明の第３の側面のプローブは、超音波を発生する超音波発生部と、前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部とを含む。
【００２５】
前記検出部には、前記プローブが前記被写体を押す力をさらに検出させることができる。
【００２６】
本発明の第１の側面においては、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報が取得され、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置され、合成されることにより前記被写体の断面の少なくとも一部を示す断面画像が生成される。
【００２７】
本発明の第２の側面においては、超音波を発生され、発生された超音波の反射波が受信され、プローブの位置および向きを検出され、前記プローブが受信した反射波に基づいて、超音波画像が生成され、被写体の周りの複数の位置における複数の超音波画像が、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置され、合成されることにより前記被写体の断面の少なくとも一部を示す断面画像が生成される。
【００２８】
本発明の第３の側面においては、超音波が発生され、発生された超音波の反射波が受信され、被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きが検出される。
【発明の効果】
【００２９】
本技術の第１乃至第３の側面によれば、被写体の断面の画像を手軽に取得することができる。
【図面の簡単な説明】
【００３０】
【図１】本技術を適用した画像処理システムの一実施の形態を示すブロック図である。
【図２】撮影処理を説明するためのフローチャートである。
【図３】腹部の撮影時のプローブの動きの例を示す図である。
【図４】断面画像生成処理の詳細を説明するためのフローチャートである。
【図５】超音波画像を仮想空間上に配置したイメージを示す模式図である。
【図６】プローブの上下方向の動きを補正する処理を説明するための図である。
【図７】断面画像の一例を示す図である。
【図８】断面画像をデフォルメして表示する例を示す図である。
【図９】断面画像をデフォルメして表示する例を示す図である。
【図１０】本技術を適用した画像処理システムの変形例を示すブロック図である。
【図１１】断面画像生成部の機能の構成例を示すブロック図である。
【図１２】断面画像生成処理の変形例を説明するためのフローチャートである。
【図１３】プローブの移動方向を説明するための図である。
【図１４】並進ベクトルの検出方法を説明するための図である。
【図１５】超音波画像の合成方法の第１の具体例を説明するための図である。
【図１６】超音波画像の合成方法の第２の具体例を説明するための図である。
【図１７】超音波画像の合成方法の第３の具体例を説明するための図である。
【図１８】超音波画像を変形させてから合成する方法を説明するための図である。
【図１９】被撮影者の体位とプローブの移動方向の第１の例を示す図である。
【図２０】被撮影者の体位とプローブの移動方向の第２の例を示す図である。
【図２１】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３２】
＜１．実施の形態＞
［画像処理システム１０１の構成例］
図１は、本技術を適用した画像処理システム１０１の構成例を示すブロック図である。
【００３３】
画像処理システム１０１は、超音波を用いて被写体の断面の少なくとも一部を示す断面画像を生成し、表示するシステムである。画像処理システム１０１は、例えば、超音波検査装置として、人の腹部等の各部位の断面の画像を撮影し、検査する場合に用いられる。
【００３４】
画像処理システム１０１は、プローブ１１１、画像処理装置１１２、記録装置１１３ａ乃至１１３ｃ、および、ディスプレイ１１４を含むように構成される。
【００３５】
プローブ１１１は、超音波送受信部１２１および検出部１２２を含むように構成される。
【００３６】
超音波送受信部１２１は、例えば、プローブ１１１の先端に設けられ、画像処理装置１１２の超音波制御部１５１の制御の下に超音波の送受信を行う。超音波送受信部１２１は、超音波発生装置１３１および超音波受信装置１３２を含むように構成される。
【００３７】
超音波発生装置１３１は、超音波制御部１５１の制御の下に、超音波を発生させる。より具体的には、超音波発生装置１３１は、例えば、所定の間隔でパルス状の超音波を発振するとともに、超音波の走査を行う。
【００３８】
なお、超音波の走査方法には、任意の方法を採用することができる。例えば、放射状に走査するようにしてもよいし、平行に走査するようにしてもよい。放射状に走査した場合、扇形の超音波画像を取得することができ、平行に走査した場合、矩形の超音波画像を取得することができる。
【００３９】
超音波受信装置１３２は、超音波制御部１５１の制御の下に、超音波発生装置１３１が発生させた超音波の反射波を受信する。そして、超音波受信装置１３２は、受信した反射波の強度を測定し、例えば反射波の強度の時系列の測定結果を示すデータ（以下、超音波測定データと称する）を画像処理装置１１２の超音波画像生成部１５２に供給する。
【００４０】
検出部１２２は、プローブ１１１の状態（例えば、位置や向きなど）の検出を行う。検出部１２２は、加速度センサ１４１、角速度センサ１４２、地磁気センサ１４３、移動量センサ１４４、気圧センサ１４５、および、圧力センサ１４６を含むように構成される。
【００４１】
加速度センサ１４１は、例えば、プローブ１１１の加速度と傾きを検出する。
【００４２】
角速度センサ１４２は、例えば、プローブ１１１のピッチ、ヨー、ロールの各方向の回転動作（例えば、角速度や回転角）を検出する。
【００４３】
地磁気センサ１４３は、例えば、地磁気の方向に対するプローブ１１１の向き（方位）を検出する。
【００４４】
移動量センサ１４４は、例えば、プローブ１１１の並進方向の移動量を検出する。
【００４５】
気圧センサ１４５は、例えば、プローブ１１１の高さ方向の位置を検出する。
【００４６】
圧力センサ１４６は、例えば、超音波送受信部１２１の設置位置付近に設けられる。圧力センサ１４６は、超音波画像の撮影を行うために被写体にプローブ１１１を当てたときにプローブ１１１が被写体を押す力（以下、接触圧と称する）を検出する。
【００４７】
そして、検出部１２２の各センサは、検出結果を示すセンサデータを画像処理装置２１２のセンサ情報取得部１５３に供給する。
【００４８】
画像処理装置１１２は、被写体の断面の画像を生成し、ディスプレイ１１４に表示させる処理を行う。画像処理装置１１２は、超音波制御部１５１、超音波画像生成部１５２、センサ情報取得部１５３、プローブ状態検出部１５４、断面画像生成部１５５、および、表示制御部１５６を含むように構成される。
【００４９】
超音波制御部１５１は、超音波発生装置１３１および超音波受信装置１３２を制御し、プローブ１１１の超音波の送受信を制御する。
【００５０】
超音波画像生成部１５２は、超音波受信装置１３２から供給される超音波測定データに基づいて、超音波画像を生成する。
【００５１】
従って、超音波発生装置１３１、超音波受信装置１３２、超音波制御部１５１、および、超音波画像生成部１５２により、超音波を発生させ、その反射波を受信し、受信した反射波に基づいて超音波画像を生成する処理、すなわち、超音波画像の撮影が行われる。
【００５２】
超音波画像生成部１５２は、生成した超音波画像を示す超音波画像データを記録装置１１３ａに保存する。
【００５３】
センサ情報取得部１５３は、プローブ１１１の位置や向きなどの状態を示す情報を取得する。具体的には、センサ情報取得部１５３は、プローブ１１１の各センサから供給されるセンサデータに基づいて、所定の間隔で各センサの検出値のサンプリングを行う。そして、センサ情報取得部１５３は、各センサの検出値をサンプリングした時刻とともにセンサ情報として記録装置１１３ｂに保存する。
【００５４】
プローブ状態検出部１５４は、記録装置１１３ｂに保存されているセンサ情報に基づいて、超音波画像を撮影中のプローブ１１１の状態を検出し、検出結果を断面画像生成部１５５に供給する。
【００５５】
断面画像生成部１５５は、記録装置１１３ａに保存されている超音波画像、および、超音波画像を撮影中のプローブ１１１の状態に基づいて、被写体の断面画像を生成する。断面画像生成部１５５は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【００５６】
表示制御部１５６は、記録装置１１３ｃに保存されている断面画像データに基づいて、被写体の断面画像をディスプレイ１１４に表示させる。
【００５７】
［撮影処理］
次に、図２のフローチャートを参照して、画像処理システム１０１により実行される撮影処理について説明する。
【００５８】
なお、この処理は、例えば、画像処理システム１０１の図示せぬ操作部を介して、撮影の開始の指令が入力されたとき開始される。
【００５９】
なお、以下、画像処理システム１０１を用いて、人の腹部の断面の撮影を行う場合を例に挙げて説明する。この場合、例えば、図３に示されるように、被撮影者は、腹部の断面を撮影するために、プローブ１１１を腹部に対してほぼ垂直に当て、矢印Ａ１に示されるように腹部の周りをほぼ水平に一周させる。
【００６０】
なお、被撮影者以外の人がプローブ１１１の操作を行うようにしてもよいし、あるいは、ロボットアームなどを用いて遠隔操作を行うようにしてもよい。
【００６１】
ステップＳ１において、超音波発生装置１３１は、超音波制御部１５１の制御の下に、超音波の発生を開始する。例えば、超音波発生装置１３１は、所定の間隔でパルス状の超音波を発振するとともに、所定の方向に超音波を走査する。
【００６２】
ステップＳ２において、超音波受信装置１３２は、超音波制御部１５１の制御の下に、超音波発生装置１３１が発生させた超音波の反射波の受信を開始する。そして、超音波受信装置１３２は、受信した反射波の強度を測定し、測定結果を示す超音波測定データを超音波画像生成部１５２に供給する。
【００６３】
ステップＳ３において、センサ情報取得部１５３は、センサ情報の取得を開始する。具体的には、センサ情報取得部１５３は、プローブ１１１の各センサから供給されるセンサデータに基づいて、所定の間隔で各センサの検出値のサンプリングを行う。そして、センサ情報取得部１５３は、各センサの検出値をサンプリングした時刻とともにセンサ情報として記録装置１１３ｂに保存する。
【００６４】
ステップＳ４において、超音波画像生成部１５２は、超音波受信装置１３２から供給される超音波測定データに基づいて、超音波画像を生成する。すなわち、超音波画像生成部１５２は、被撮影者の腹部のプローブ１１１が当てられた位置付近の内部の断面を示す２次元の超音波画像を生成する。超音波画像生成部１５２は、生成した超音波画像を示す超音波画像データを、撮影時刻とともに記録装置１１３ａに保存する。
【００６５】
なお、超音波画像の生成方法は、特定の方法に限定されるものではなく、任意の方法を採用することができる。
【００６６】
ステップＳ５において、断面画像生成部１５５は、断面画像生成処理を実行する。
【００６７】
［断面画像生成処理の詳細］
ここで、図４のフローチャートを参照して、ステップＳ５の断面画像生成処理の詳細について説明する。
【００６８】
ステップＳ５１において、プローブ状態検出部１５４は、記録装置１１３ｂに保存されているセンサ情報に基づいて、撮影時のプローブ１１１の状態を検出する。
【００６９】
具体的には、プローブ状態検出部１５４は、加速度センサ１４１、角速度センサ１４２、地磁気センサ１４３、移動量センサ１４４、および、気圧センサ１４５の検出結果に基づいて、現在までのプローブ１１１の位置と向きの変化（軌跡）を求める。
【００７０】
なお、上述したように、各センサの検出値は所定のサンプリング間隔で離散的に取得されている。そこで、プローブ状態検出部１５４は、必要に応じて各センサの検出値を補間することにより、プローブ１１１の位置と向きの変化を求める。
【００７１】
なお、このとき用いられる補間方法は、特定の方法に限定されるものではなく、例えば、撮影中のプローブ１１１の動きが滑らかであると仮定して、線形補間やスプライン補間等が行われる。
【００７２】
そして、プローブ状態検出部１５４は、プローブ１１１の位置と向きの変化に基づいて、最新の超音波画像を撮影するために超音波の発生および反射波の受信を行ったときのプローブ１１１の位置と向きを検出する。
【００７３】
また、プローブ状態検出部１５４は、圧力センサ１４６の検出結果に基づいて、最新の超音波画像を撮影するためにプローブ１１１を腹部に当てたときのプローブ１１１の接触圧を検出する。
【００７４】
そして、プローブ状態検出部１５４は、撮影時のプローブ１１１の状態の検出結果を断面画像生成部１５５に供給する。
【００７５】
ステップＳ５２において、断面画像生成部１５５は、超音波画像を撮影した位置と向きを求める。具体的には、断面画像生成部１５５は、最新の超音波画像の撮影時のプローブ１１１の位置と向きに基づいて、最新の超音波画像を撮影した位置（撮影位置）と向き（撮影方向）を計算する。なお、プローブ１１１の位置および向きと、超音波画像の定位位置（撮影位置と撮影方向）との関係は、既知であるものとする。
【００７６】
ステップＳ５３において、断面画像生成部１５５は、超音波画像を仮想空間に配置する。具体的には、断面画像生成部１５５は、最新の超音波画像を記録装置１１３ａから読み出す。そして、断面画像生成部１５５は、最新の超音波画像の撮影位置と撮影方向に基づいて、１フレーム前までの超音波画像が配置されている３次元の仮想空間に、最新の超音波画像を配置する。なお、各超音波画像の相対的な位置関係は、各超音波画像の撮影位置と撮影方向により求めることができる。
【００７７】
図５は、腹部の周囲の複数の位置において撮影された超音波画像ＵＩ１乃至ＵＩ８を、仮想空間上に配置したイメージを示す模式図である。
【００７８】
また、断面画像生成部１５５は、超音波画像の情報に基づいて、超音波画像を配置する位置を調整する。
【００７９】
例えば、断面画像生成部１５５は、最新の超音波画像の特徴点を検出する。そして、断面画像生成部１５５は、これまでの超音波画像の特徴点の軌跡を追跡することにより、各超音波画像を配置する位置を調整する。
【００８０】
例えば、一般的にセンサは並進方向の動きの検出が苦手であり、検出誤差が大きくなる傾向がある。従って、センサ情報だけを用いた場合、超音波画像の位置合わせの精度が悪くなる場合がある。そこで、センサ情報だけでなく、超音波画像の情報も用いることにより、超音波画像の位置合わせの精度が向上する。
【００８１】
逆に、一般的に超音波画像はノイズが多いため、超音波画像の情報だけを用いて、精度よく超音波画像の位置合わせを行うのは難しい。そこで、超音波画像の情報だけでなく、センサ情報も用いることにより、超音波画像の位置合わせの精度が向上する。
【００８２】
ステップＳ５４において、断面画像生成部１５５は、断面画像を生成する。すなわち、断面画像生成部１５５は、仮想空間上に配置した超音波画像を合成することにより、２次元の断面画像を生成する。
【００８３】
このとき、断面画像生成部１５５は、例えば、複数の超音波画像が重なる部分について、重複する画像がぴったり重なるように補正したり、あるいは、重なる部分に用いる画像を選択したりする。
【００８４】
また、例えば、超音波画像の数が十分ではなく、配置した超音波画像の間に隙間がある場合、断面画像生成部１５５は、所定の方法により画像の補間を行う。ここで画像を補間する方法は、特定の方法に限定されるものではない。
【００８５】
例えば、標準的な人の腹部の断面のテンプレート画像を用意しておき、そのテンプレート画像を用いて、画像の補間を行うようにしてもよい。この場合、例えば、年齢、性別、体重など、腹部の断面の形状に影響を与えるパラメータ別に、異なる複数のテンプレート画像を用意しておくことが望ましい。
【００８６】
あるいは、例えば、同じ被撮影者について過去に撮影した超音波画像を用いて、画像の補間を行うようにしてもよい。
【００８７】
あるいは、例えば、インペインティングやモーフィングなどの画像処理の手法を用いて、画像の補間を行うようにしてもよい。
【００８８】
また、プローブ１１１を手で動かす場合、プローブ１１１が、図６の左側に示される矢印Ａ１１のように腹部の周りを水平に移動せずに、矢印Ａ１２のように、波打つように上下動しながら移動することが想定される。この場合、そのまま超音波画像を合成したのでは、腹部を水平に切り取ったようなきれいな断面を再現することは難しい。
【００８９】
そこで、断面画像生成部１５５は、例えば、各超音波画像の撮影位置および撮影方向に基づいて、地面に水平な平面（以下、基準面と称する）に対する各超音波画像の傾きを求める。例えば、水平方向に対するプローブ１１１の傾きは、角速度センサ１４２等により検出することが可能である。そして、断面画像生成部１５５は、基準面上に各超音波画像を射影変換する。例えば、断面画像生成部１５５は、図６の右側に示されるように、超音波画像ＵＩａの基準面に対する傾きを解消するように超音波画像ＵＩａを基準面上に射影変換した超音波画像ＵＩｂを生成する。そして、断面画像生成部１５５は、基準面上に射影した超音波画像を合成する。
【００９０】
これにより、腹部を水平に切り取ったようなきれいな断面を再現することができる。
【００９１】
また、一般的に、超音波画像を撮影する場合、プローブ１１１を皮膚に密着させるように押し当てないと良好な画質の画像を得ることができない。一方、腹部は柔軟なため、プローブ１１１を押し当てると容易に変形してしまう。
【００９２】
また、腹部の断面の観察や検査を行う人は、変形していない状態の腹部の断面を見たい場合が多いと想定され、プローブ１１１に押されることにより変形した状態の腹部の断面画像をそのまま提示するのは好ましくない場合がある。
【００９３】
そこで、断面画像生成部１５５は、圧力センサ１４６の検出結果に基づいて、断面画像内の腹部の断面のプローブ１１１に押されることにより生じる変形の補正を行う。
【００９４】
具体的には、断面画像生成部１５５は、まず断面画像内の腹部の内部の各組織を認識する。例えば、断面画像生成部１５５は、生成した断面画像のエッジを抽出し、抽出したエッジに基づいて、腹部の断面を複数の領域に分割する。そして、断面画像生成部１５５は、各領域のテクスチャに基づいて、各領域が身体のどの組織に相当するかを認識する。例えば、真っ白い領域が骨、筋張った領域（白い部分が筋状に写っている領域）が筋肉、霜降りの状態の領域（白い部分がまだらに写っている領域）が脂肪などのように認識される。
【００９５】
次に、断面画像生成部１５５は、プローブ１１１の位置と向きの変化の検出結果、および、プローブ１１１の接触圧の検出結果に基づいて、各超音波画像の撮影時にプローブ１１１が腹部を押していた力（接触圧）、位置および向きを求める。また、断面画像生成部１５５は、身体の各組織の力学的変形や位置関係等の既知のデータに基づいて、各領域を構成する組織にかかる圧力、並びに、変形度合いと分散具合を推定する。そして、断面画像生成部１５５は、プローブ１１１による圧力を取り除いた各領域の形状を推定する。
【００９６】
最後に、断面画像生成部１５５は、断面画像の各領域の形状を推定した形状に補正することにより、変形していない状態の腹部の断面を表す断面画像を生成する。
【００９７】
なお、より補正精度を向上させるために、事前に被撮影者の身体の変形パラメータを取得しておき、その変形パラメータに基づく個人差を反映した補正を行うようにしてもよい。
【００９８】
また、このステップＳ５４の処理では、まだプローブ１１１が腹部の周りを一周していない場合、超音波画像を撮影した範囲までの途中経過を示す断面画像が生成される。
【００９９】
［撮影処理の続き］
図２に戻り、ステップＳ６において、断面画像生成部１５５は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【０１００】
ステップＳ７において、画像処理システム１０１は、断面画像を表示する。具体的には、表示制御部１５６は、断面画像データを記録装置１１３ｃから読み出す。そして、表示制御部１５６は、読み出した断面画像データに基づく断面画像をディスプレイ１１４に表示させる。
【０１０１】
図７は、このとき表示される断面画像の一例を模式的に示している。なお、この図では、腹部の内部の組織の図示を省略している。
【０１０２】
この例では、腹部の断面画像がそのまま表示されるとともに、前後左右の方向が示されている。また、皮下脂肪の厚さを示す矢印Ａ２１が示されている。これにより、皮下脂肪の厚さが一目瞭然となる。なお、皮下脂肪の厚さを示す数値をあわせて表示するようにしてもよい。
【０１０３】
また、例えば、断面画像をそのまま表示せずに、模式的に簡略化した画像（例えば、イラスト調の画像）を表示するようにしてもよい。
【０１０４】
あるいは、例えば、断面画像の代わりに、腹部の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像（例えば、デフォルメした画像）を表示するようにしてもよい。
【０１０５】
例えば、図８に示されるように、腹部の断面の形状を複数のパターンに分類して、各パターンの形状を簡単な説明とともに表示するようにしてもよい。
【０１０６】
さらに、例えば、図９に示されるように、腹部の断面の形状や皮下脂肪の厚さ等に基づいて、腹部の状態を複数のパターンに分類し、各パターンを野菜や果物に例えたキャラクターを、簡単な説明とともに表示するようにしてもよい。なお、他にも、動物や擬人化したキャラクター等を用いるようにしてもよい。
【０１０７】
なお、断面画像とともに、図８や図９の表示を行うようにしてもよい。
【０１０８】
ステップＳ８において、画像処理システム１０１は、撮影を継続するか否かを判定する。撮影を継続すると判定された場合、処理はステップＳ４に戻る。
【０１０９】
その後、ステップＳ８において、撮影を継続しないと判定されるまで、ステップＳ４乃至Ｓ８の処理が繰り返し実行される。すなわち、超音波画像を撮影し、断面画像を生成し、表示する処理が継続して行われる。
【０１１０】
なお、超音波画像を撮影し、断面画像を生成する間隔は、例えば、システムの処理能力や、記録装置１１３ａ乃至１１３ｃの容量等を考慮して決定される。また、画像処理システム１０１がバッテリで駆動される場合、バッテリの容量等を考慮するようにしてもよい。
【０１１１】
また、例えば、プローブ１１１が腹部にきちんと当てられていない等の要因により、最新の超音波画像の画質が悪い場合には、ステップＳ５乃至Ｓ７の処理をスキップし、断面画像の生成および表示を行わないようにしてもよい。
【０１１２】
一方、ステップＳ８において、例えば、画像処理システム１０１の図示せぬ操作部を介して、撮影の終了の指令が入力されたとき、画像処理システム１０１は、撮影を継続しないと判定し、撮影処理は終了する。
【０１１３】
以上のようにして、特別な訓練を受けたり、医学的な専門的な知識を有していなくても、腹部の断面画像を簡単な操作により手軽に取得することができる。
【０１１４】
また、超音波画像の情報だけでなく、センサ情報を用いて、各超音波画像の位置合わせを行い合成するので、精度良く腹部の断面を再現することができる。
【０１１５】
さらに、プローブ１１１を腹部の周りを移動させるだけでよいので、例えば、立位、座位、臥位など任意の体位で腹部の断面画像を撮影することができる。
【０１１６】
また、必ずしもプローブ１１１を腹部の周りを一周させる必要はなく、一周させない場合には、腹部の断面の一部を示す断面画像を生成することができる。
【０１１７】
＜２．変形例＞
以下、本技術の実施の形態の変形例について説明する。
【０１１８】
［変形例１：本技術の適用対象等の変形例］
以上の説明では、人の腹部を撮影する例を説明したが、本技術は、もちろんそれ以外の部位、例えば、頭部、頸部、胸部、四肢等の断面の撮影を行うことも可能である。また、断面画像を用いて検査を行う対象も特に限定されるものではなく、例えば、皮下脂肪や筋肉以外にも、内蔵、骨、腱、血管等の検査に用いることができる。
【０１１９】
さらに、本技術は、医療用途および非医療用途のいずれにも用いることが可能である。
なお、非医療用途に用いる場合、例えば、内臓等が写らないように、超音波の周波数と強度を適切に調整できるようにすることが望ましい。
【０１２０】
また、本技術は、人間だけでなく、例えば、動物や植物、人工物など、超音波により被写体の断面の撮影を行う様々な場面に用いることができる。
【０１２１】
［変形例２：断面画像の生成タイミングの変形例］
また、以上の説明では、超音波画像を撮影しながら、リアルタイムに断面画像を生成し、表示する例を示したが、先に全ての超音波画像を撮影した後に、断面画像を生成し、表示するようにしてもよい。
【０１２２】
なお、リアルタイムに断面画像の生成および表示を行うようにした場合、例えば、ユーザは、画像を実際に確認しながら、プローブ１１１の移動速度や位置を調整して、より望ましい断面画像を取得することが可能になる。
【０１２３】
［変形例３：超音波画像の撮影とセンサ情報の取得タイミングの変形例］
さらに、超音波画像の撮影とセンサ情報の取得は、同期させるようにしてもよいし、同期させないようにしてもよい。なお、同期させない場合には、後で対応関係が分かるように、超音波画像を撮影した時刻、および、センサ情報を取得した時刻を記録するのが望ましい。
【０１２４】
［変形例４：センサの種類の変形例］
また、上述したプローブ１１１に設けるセンサの種類は、その一例であり、必要に応じて、追加したり、省略したり、別の種類のものを用いたりすることが可能である。例えば、被写体の断面の変形を特に補正する必要がない場合、圧力センサ１４６を省略することが可能である。
【０１２５】
［変形例５：断層画像を生成する例］
さらに、プローブ１１１を周回させる方向と垂直な方向にプローブをずらしながら、複数の断面画像を生成し、それらを合成することにより３次元の断層画像を生成するようにしてもよい。例えば、腹部の上下方向の複数の位置において断面画像を生成し、それらを合成することにより腹部の断層画像を生成することが可能である。
【０１２６】
［変形例６：再撮影を促す例］
また、撮影中に被写体が想定以上に移動する等の要因により、センサ情報に基づいて適切に超音波画像を合成できない場合、再撮影を促すようにしてもよい。
【０１２７】
［変形例７：超音波画像の生成に使用する情報の変形例］
さらに、本技術では、例えば、超音波画像の情報を用いずに、センサ情報のみを用いて超音波画像を合成し、断面画像を生成するようにすることも可能である。
【０１２８】
［変形例８：画像処理システムの構成の変形例］
また、例えば、画像処理システム１０１の各部の配置は、図１の例に限定されるものではなく、任意に変更することが可能である。例えば、プローブ１１１と画像処理装置１１２を一体化するようにしてもよい。また、例えば、超音波制御部１５１および超音波画像生成部１５２をプローブ１１１に設けるようにしてもよい。さらに、例えば、記録装置１１３ａ乃至１１３ｃを一体化したり、画像処理装置１１２に搭載したりするようにしてもよい。
【０１２９】
［変形例９：各部間の通信方法等の変形例］
また、各部間の通信は、有線通信により実現してもよいし、無線通信により実現してもよい。
【０１３０】
例えば、図１０は、プローブ２１１と画像処理装置２１２との間の通信を無線通信により行うようにした画像処理システム２０１の構成例を示すブロック図である。なお、図中、図１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
【０１３１】
画像処理システム２０１は、図１の画像処理システム１０１と比較して、プローブ１１１および画像処理装置１１２の代わりに、プローブ２１１および画像処理装置２１２が設けられている点が異なる。また、プローブ２１１は、プローブ１１１と比較して、インタフェース部２３１が追加されている点が異なる。さらに、画像処理装置２１２は、画像処理装置１１２と比較して、インタフェース部２５１が追加されている点が異なる。
【０１３２】
プローブ２１１のインタフェース部２３１と画像処理装置２１２のインタフェース部２５１は、例えば、所定の方式により無線通信を行う通信装置により構成される。
【０１３３】
従って、超音波測定データ、および、各センサのセンサデータは、無線通信によりプローブ２１１から画像処理装置２１２に送信される。また、画像処理装置２１２からの超音波発生装置１３１および超音波受信装置１３２の制御も無線通信により行われる。
【０１３４】
これにより、プローブ２１１と画像処理装置２１２との間のケーブル等による接続が不要になり、プローブ２１１の移動の自由度が高くなる。その結果、プローブ２１１の操作性が向上し、例えば、身体の所望の位置をより簡単に撮影することが可能になる。
【０１３５】
また、例えば、超音波測定データおよびセンサデータをリムーバブルメディアに記録し、そのリムーバブルメディアを介して画像処理装置１１２に入力するようにしてもよい。
【０１３６】
［変形例１０：断面画像の生成方法の変形例］
また、図４を参照して上述した断面画像生成処理は、その一例であり、他の方法を用いることも可能である。ここで、図１１乃至図１８を参照して、断面画像生成処理の変形例について具体的に説明する。
【０１３７】
図１１は、図１の画像処理装置１１２の断面画像生成部１５５の機能の構成例を示すブロック図である。
【０１３８】
断面画像生成部１５５は、並進ベクトル検出部３０１、描画位置算出部３０２、および、合成部３０３を含むように構成される。
【０１３９】
並進ベクトル検出部３０１は、記録装置１１３ａに保存されている超音波画像、および、プローブ状態検出部１５４により検出されたプローブ１１１の状態に基づいて、プローブ１１１の並進方向の動きを検出する。並進ベクトル検出部３０１は、プローブ１１１の並進方向の動きの検出結果を描画位置算出部３０２に供給する。
【０１４０】
描画位置算出部３０２は、プローブ状態検出部１５４により検出されたプローブ１１１の状態、および、並進ベクトル検出部３０１により検出されたプローブ１１１の並進方向の動きに基づいて、超音波画像の描画位置を算出する。描画位置算出部３０２は、算出した超音波画像の描画位置を合成部３０３に供給する。
【０１４１】
合成部３０３は、描画位置算出部３０２により算出された描画位置に基づいて、記録装置１１３ａに保存されている超音波画像を合成することにより、被写体の断面画像を生成する。合成部３０３は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【０１４２】
次に、図１２のフローチャートを参照して、図２のステップＳ５の断面画像生成処理の変形例について具体的に説明する。
【０１４３】
なお、以下、説明を簡単にするために、上述した図３に示されるように、プローブ１１１を腹部に対して垂直に当て、図１３に示されるように、プローブ１１１を接触面１１１Ａの長辺方向に移動させることにより、腹部の周りを水平に一周させて、超音波画像を撮影する場合について説明する。なお、プローブ１１１は、接触面の長辺方向に振動子が１次元に配置された１次元アレイプローブにより構成されているものとする。また、十分速いフレームレートに設定するか、プローブ１１１をゆっくり動かすことにより、図１３に示されるように、隣接するフレームの撮影範囲が重なるように超音波画像が撮影されるものとする。
【０１４４】
ステップＳ１０１において、プローブ状態検出部１５４は、記録装置１１３ｂに保存されている地磁気センサ１４３の検出結果に基づいて、撮影時のプローブ１１１の方位、すなわち、地磁気の方向に対するプローブ１１１の向きを検出する。
【０１４５】
ステップＳ１０２において、プローブ状態検出部１５４は、プローブ１１１の方位の検出結果に基づいて、前のフレームとのプローブ１１１の方位の変化量を求める。
【０１４６】
ここで、図１４を参照して、最新のｋ＋１番目のフレームの超音波画像ＵＩ（ｋ＋１）と１つ前のｋ番目のフレームの超音波画像ＵＩ（ｋ）との間の方位の変化量を求める場合について説明する。例えば、超音波画像ＵＩ（ｋ）を撮影したときに地磁気センサ１４３により検出された方位をθａ、超音波画像ＵＩ（ｋ＋１）を撮影したときに地磁気センサ１４３により検出された方位をθｂとすると、Δθ＝θｂ−θａがプローブ１１１の方位の変化量として求められる。このΔθは、超音波画像ＵＩ（ｋ）を撮影してから超音波画像ＵＩ（ｋ＋１）を撮影するまでの間のプローブ１１１の水平方向（ヨー方向）の回転方向の動きを表している。
【０１４７】
なお、地磁気センサ１４３により検出される方位は、周囲の磁場等の影響により誤差が生じる可能性があるが、方位の変化量は周囲の磁場等の影響を受けにくい。従って、方位の変化量Δθを求めることにより、プローブ１１１の水平方向の回転方向の動きを正確に検出することができる。
【０１４８】
プローブ状態検出部１５４は、求めたプローブ１１１の方位の変化量を示す情報を並進ベクトル検出部３０１に供給する。
【０１４９】
ステップＳ１０３において、並進ベクトル検出部３０１は、プローブ１１１の方位の変化量に基づいて、前のフレームの超音波画像を回転させる。
【０１５０】
例えば、図１４に示されるように、超音波画像ＵＩ（ｋ）を２次元アフィン変換により回転中心Ｃを軸にプローブ１１１の方位の変化量Δθだけ回転させる。これにより、回転後の超音波画像ＵＩ（ｋ）’（以下、回転画像ＵＩ（ｋ）’と称する）の座標系と超音波画像ＵＩ（ｋ＋１）の座標系とが一致する。
【０１５１】
ステップＳ１０４において、並進ベクトル検出部３０１は、前のフレームと現フレームの超音波画像の局所特徴点を検出する。より正確には、並進ベクトル検出部３０１は、前のフレームの回転画像と現フレームの超音波画像の局所特徴点を検出する。
【０１５２】
なお、局所特徴点の種類や検出方法には、任意のものを採用することができる。例えば、撮影対象の変形に強く、柔軟な人体組織に適したHarris Cornerが局所特徴点として用いられる。
【０１５３】
ステップＳ１０５において、並進ベクトル検出部３０１は、前のフレームと現フレームとの間の局所特徴点の動きを追跡する。より正確には、並進ベクトル検出部３０１は、前のフレームの回転画像と現フレームの超音波画像との間の局所特徴点の動きを追跡する。
【０１５４】
なお、局所特徴点の動きの追跡方法には、任意のものを採用することができる。例えば、撮影対象の変形に強く、柔軟な人体組織に適したOptical Flow Lucas-Kanade法が用いられる。
【０１５５】
例えば、図１４に示されるように、超音波画像ＵＩ（ｋ）と超音波画像ＵＩ（ｋ＋１）の両方に同じ局所特徴点Ｐ１乃至Ｐ３が写っている場合、回転画像ＵＩ（ｋ）’から局所特徴点Ｐ１乃至Ｐ３に対応する局所特徴点Ｐ１’乃至Ｐ３’が検出される。また、超音波画像ＵＩ（ｋ＋１）から局所特徴点Ｐ１乃至Ｐ３が検出される。そして、局所特徴点Ｐａ’から局所特徴点Ｐａに向かうベクトルＶａ、局所特徴点Ｐｂ’から局所特徴点Ｐｂに向かうベクトルＶｂ、および、局所特徴点Ｐｃ’から局所特徴点Ｐｃに向かうベクトルＶｃが検出される。
【０１５６】
ステップＳ１０６において、並進ベクトル検出部３０１は、追跡結果に基づいて、フレーム間の並進ベクトルを求める。すなわち、並進ベクトル検出部３０１は、ベクトルＶａ乃至Ｖｃに基づいて、任意の方法により超音波画像ＵＩ（ｋ）と超音波画像ＵＩ（ｋ＋１）との間の並進ベクトルＴを求める。例えば、並進ベクトル検出部３０１は、ベクトルＶａ乃至Ｖｃのうちの１つを並進ベクトルＴに選択したり、ベクトルＶａ乃至Ｖｃの平均ベクトルを並進ベクトルＴとして求めたりする。
【０１５７】
ステップＳ１０７において、並進ベクトル検出部３０１は、プローブ１１１の並進ベクトルを求める。具体的には、並進ベクトル検出部３０１は、ステップＳ１０６の処理で求めた並進ベクトルＴを反転した逆ベクトルを、プローブ１１１の並進ベクトルとして求める。この並進ベクトルは、超音波画像ＵＩ（ｋ）を撮影してから超音波画像ＵＩ（ｋ＋１）を撮影するまでの間のプローブ１１１の並進方向の動きを表している。並進ベクトル検出部３０１は、求めたプローブ１１１の並進ベクトルを示す情報を描画位置算出部３０２に供給する。
【０１５８】
ステップＳ１０８において、描画位置算出部３０２は、プローブ１１１の方位と並進ベクトルに基づいて、描画位置を求める。具体的には、描画位置算出部３０２は、地磁気センサ１４３により検出されたプローブ１１１の方位と並進ベクトル検出部３０１により検出されたプローブ１１１の並進ベクトルに基づいて、１フレーム前までの超音波画像が配置されている３次元の仮想空間における現フレームの超音波画像の描画位置を求める。
【０１５９】
例えば、描画位置算出部３０２は、プローブ１１１の方位と並進ベクトルに基づいて、１フレーム前の超音波画像と現フレームの超音波画像との間の描画位置の相対的な変化量を求める。そして、描画位置算出部３０２は、求めた変化量に基づいて、仮想空間における現フレームの超音波画像の描画位置を求める。描画位置算出部３０２は、求めた現フレームの超音波画像の描画位置を示す情報を合成部３０３に供給する。
【０１６０】
ステップＳ１０９において、合成部３０３は、超音波画像を合成する。すなわち、合成部３０３は、描画位置算出部３０２により求められた描画位置に現フレームの超音波画像を配置し、現フレームまでの超音波画像を合成することにより、断面画像を生成する。
【０１６１】
その後、断面画像生成処理は終了する。
【０１６２】
ここで、図１５乃至図１７を参照して、超音波画像の合成方法の具体例について説明する。
【０１６３】
例えば、図１５に示されるように、古い超音波画像の上に新しい超音波画像を単純に上書きしていくようにすることが考えられる。この場合、複数の超音波画像が重なる部分が、新しい超音波画像により更新されていく。
【０１６４】
また、例えば、図１６に示されるように、新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っていない部分のみを付け加えていくようにすることが考えられる。これは、新しい超音波画像の上に古い超音波画像を単純に上書きしていく場合と同等である。
【０１６５】
さらに、例えば、図１７に示されるように、各超音波画像の透過率を設定して合成することにより、複数の超音波画像が重なる部分を、重み付けて合成するようにすることが考えられる。なお、各超音波画像の透過率は、固定値としてもよいし、フレーム毎に動的に調整するようにしてもよい。
【０１６６】
透過率をフレーム毎に動的に調整する場合、例えば、超音波画像に写っている部位の重要度や画質等の評価基準に基づいて、透過率を設定することが考えられる。例えば、臓器などの重要な部位が写っている超音波画像の透過率を低く設定し、当該超音波画像の成分が合成される比率を高くすることが考えられる。また、例えば、ボケ量が大きい超音波画像や射影変換等による補正量が大きい超音波画像など、画質が悪い超音波画像の透過率を低く設定し、当該超音波画像の成分が合成される比率を低くすることが考えられる。これにより、仮に推定した描画位置にズレが生じても、生成される断面画像の粗さを目立たなくすることができる。
【０１６７】
なお、図１５の例は、例えば、各超音波画像の透過率を０％に設定して、古い超音波画像の上に新しい超音波画像を上書きしていくことにより実現可能である。また、図１６の例は、上述したように新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っていない部分のみを付け加えていく（上書きする）以外にも、例えば、新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っている部分の透過率を１００％に設定し、写っていない部分の透過率を０％に設定して、新しい超音波画像を上書きしていくことにより実現することも可能である。あるいは、図１６の例は、例えば、各超音波画像の透過率を０％に設定して、新しい超音波画像の上に古い超音波画像を上書きしていくことにより実現することも可能である。
【０１６８】
さらに、上述したように人の腹部は柔軟であり、容易に変形してしまうため、合成部分の違和感を減らすために、複数の超音波画像が重なる部分の画像のうち、変形している画像をモーフィング等の画像処理により変形させてから合成することが考えられる。例えば、図１８に示されるように、変形した元画像Ａからモーフィングを用いて変形前の元画像Ｂに戻す過程で生成される中間画像を合成するようにすることが考えられる。これにより、仮に推定した描画位置にズレが生じても、生成される断面画像の粗さを目立たなくすることができる。
【０１６９】
また、図６を参照して上述したように、角速度センサ１４２等により検出したプローブ１１１の傾きに基づいて、各超音波画像を基準面上に射影した後、合成するようにすることも可能である。
【０１７０】
なお、以上の説明では、超音波画像の局所特徴点を用いて並進ベクトルを求める例を示したが、他の方法により、並進ベクトルを求めるようにしてもよい。例えば、ブロックマッチングを用いた動体予測（Motion Estimation）により、フレーム間のグローバル動きベクトルを並進ベクトルして求めるようにしてもよい。この方法は、撮影対象が大きく変形しない場合に特に有効である。すなわち、ブロックマッチングを用いた動体予測は動画圧縮分野で標準的に用いられており、その機能を搭載したCPU（Central Processing Unit）やGPU（Graphics Processing Unit）等のプロセッサも多い。従って、コストや処理速度等のパフォーマンス面で優れた方法であると言える。
【０１７１】
なお、上述したように腹部の形状は容易に変化するため、ブロックマッチングを行う場合、圧力センサ１４６の検出結果に基づいて、ブロックを変形させてからマッチングを行うことにより、ブロックマッチングの精度を向上させることができる。
【０１７２】
また、以上の説明では、１フレーム前の超音波画像を回転させる例を示したが、現フレームの超音波画像を回転させて、２つの超音波画像の座標系を一致させるようにしてもよい。
【０１７３】
さらに、隣接する（連続する）フレーム間だけでなく、２フレーム以上離れた２つの超音波画像を用いて、並進ベクトルを求めるようにしてもよい。
【０１７４】
また、以上の説明では、プローブ１１１の水平方向（ヨー方向）の回転のみを考慮した例を示したが、プローブ１１１がピッチ方向やロール方向に回転する場合も、同様の方法により、超音波画像の描画位置を求めることができる。
【０１７５】
なお、上述したように、画像処理システム１０１では、任意の体位で腹部の断面画像を撮影することができるが、撮影を行う体位によりプローブ１１１を動かす方向が異なる。例えば、図１９に示されるように、被撮影者３３１が立った状態で撮影する場合、矢印Ａ３１で示されるように、被撮影者３３１の腹部の周りに沿って、地面に対して水平な（鉛直方向に対して垂直な）平面上でプローブ１１１を回転させることが想定される。また、図２０に示されるように、被撮影者３３１が横になった状態で撮影する場合、矢印Ａ３２で示されるように、被撮影者３３１の腹部の周りに沿って、地面に対して垂直な（鉛直方向に対して水平な）平面上でプローブ１１１を回転させることが想定される。
【０１７６】
一方、地磁気センサ１４３は、地磁気の方向に対するプローブ１１１の向きを検出するため、図１９に示されるように、プローブ１１１を水平方向に回転させた場合、プローブ１１１の向きの変化量を精度よく検出することができる。しかし、図２０に示されるように、プローブ１１１を垂直方向に回転させた場合、プローブ１１１の向きの変化量の検出精度が低下する場合がある。
【０１７７】
そこで、図２０に示されるように、プローブ１１１を垂直方向に回転させる場合には、例えば、地磁気センサ１４３の代わりに角速度センサ１４２により、プローブ１１１の向きの変化量の検出するようにすればよい。
【０１７８】
なお、使用するセンサの切り替えは、手動で行うようにしてもよいし、自動で行うようにしてもよい。
【０１７９】
手動で行う場合、例えば、立位（または座位）撮影モード、臥位撮影モード等の撮影モードを設けて、ユーザが設定するようにすればよい。そして、立位撮影モードに設定された場合、地磁気センサ１４３を使用し、臥位撮影モードに設定された場合、角速度センサ１４２を用いるようにすればよい。
【０１８０】
一方、例えば、先に全ての超音波画像を撮影した後に断面画像を生成する場合には、自動で使用するセンサを切り替えるようにすることが可能である。例えば、超音波画像の撮影中の角速度センサ１４２および地磁気センサ１４３の両方のセンサデータを記録装置１１３ｂに蓄積しておき、断面画像の生成時に、所定の条件に基づいて、使用するセンサデータを選択するようにすることが可能である。例えば、各センサデータの信頼度を求めて、その信頼度に基づいて、使用するセンサデータを選択するようにすることが可能である。また、例えば、他のセンサにより検出されたプローブ１１１の移動方向や、被撮影者３３１の体位に基づいて、使用するセンサデータを選択するようにすることが可能である。
【０１８１】
なお、他の種類のセンサについても同様に、複数のセンサ間で互いに代用が可能な場合、プローブ状態検出部１５４が、所定の条件に基づいて、プローブ１１１の状態の検出に用いるセンサを切り替えるようにすることが可能である。
【０１８２】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８３】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８４】
コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０１８５】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０１８６】
入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。
【０１８７】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８８】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８９】
コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。すなわち、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９２】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９６】
また、例えば、本技術は以下のような構成も取ることができる。
【０１９７】
（１）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、
被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理装置。
（２）
前記断面画像生成部は、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置する
前記（１）に記載の画像処理装置。
（３）
前記断面画像生成部は、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置する
前記（２）に記載の画像処理装置。
（４）
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出する
前記（３）に記載の画像処理装置。
（５）
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出する
前記（３）に記載の画像処理装置。
（６）
前記情報取得部は、前記プローブが前記被写体を押す力を示す情報をさらに取得し、
前記断面画像生成部は、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行う
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記断面画像生成部は、前記被写体が生体の身体である場合、前記断面画像内の前記身体の内部の各組織を認識し、認識した組織毎に前記プローブに押されることにより生じる変形の補正を行う
前記（６）に記載の画像処理装置。
（８）
前記断面画像生成部は、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求め、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１１）
前記断面画像生成部は、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部を
さらに含む前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部を
さらに含む前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
（１５）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
（１６）
前記（１５）に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（１７）
プローブおよび画像処理装置を備え、
前記プローブは、
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
前記プローブの位置および向きを検出する検出部と
を含み、
前記画像処理装置は、
前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、
被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理システム。
（１８）
プローブおよび画像処理装置を備える画像処理システムの前記プローブが、
超音波を発生させ、
発生させた超音波の反射波を受信し、
前記プローブの位置および向きを検出し、
前記画像処理装置が、
前記プローブが受信した反射波に基づいて、超音波画像を生成し、
被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
（１９）
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部と
を含むプローブ。
（２０）
前記検出部は、前記プローブが前記被写体を押す力をさらに検出する
前記（１９）に記載のプローブ。
【符号の説明】
【０１９８】
１０１ 画像処理システム， １１１ プローブ， １１２ 画像処理装置， １１３ａ乃至１１３ｃ 記録装置， １１４ ディスプレイ， １２１ 超音波送受信部， １２２ 検出部， １３１ 超音波発生装置， １３２ 超音波受信装置， １４１ 加速度センサ， １４２ 角速度センサ， １４３ 地磁気センサ， １４４ 移動量センサ， １４５ 気圧センサ， １４６ 圧力センサ， １５１ 超音波制御部， １５２ 超音波画像生成部， １５３ センサ情報取得部， １５４ プローブ状態検出部， １５５ 断面画像生成部， １５６ 表示制御部， ２０１ 画像処理システム， ２１１ プローブ， ２１２ 画像処理装置， ２３１ インタフェース部， ２５１ インタフェース部， ３０１ 並進ベクトル検出部， ３０２ 描画位置算出部， ３０３ 合成部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブに関し、特に、超音波を用いて被写体の断面の画像を生成する場合に用いて好適な画像処理装置、画像処理方法、プログラム、記録媒体、画像処理システム、および、プローブに関する。
【背景技術】
【０００２】
従来、医療分野では超音波検査装置が広く普及してきている。また、近年、超音波の出力パワーを下げることで、非医療機器として一般向けに開発、販売される超音波検査装置も見受けられる（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】福田他、「体脂肪・筋肉量測定を目的としたヘルスケア用超音波エコーの開発」、医療機器学、日本医療機器学会、2008年3月1日、第78巻、第3号、p.113-124
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の超音波検査装置では、医療用、非医療用を問わず、プローブを当てた箇所がピンポイントで画像化される。そのため、例えば、腹部のプローブを当てた箇所の皮下脂肪や筋肉の厚さを計測することはできるが、腹部周り全体の状態を一目で把握することは困難であった。
【０００５】
一方、MRI（Magnetic Resonance Imaging）やCT（Computed Tomography）等の技術を用いた医療検査装置を使用すれば、腹部の断面を可視化することが可能である。しかし、そのような医療検査装置は大規模かつ高価であったり、検査するためにベッドに横になる必要があったりして、一般の人が手軽に使用できるものではない。
【０００６】
本技術は、腹部等の被写体の断面の画像を手軽に取得できるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部とを含む。
【０００８】
前記断面画像生成部には、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置させることができる。
【０００９】
前記断面画像生成部には、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置させることができる。
【００１０】
前記断面画像生成部には、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出させることができる。
【００１１】
前記断面画像生成部には、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出させることができる。
【００１２】
前記情報取得部には、前記プローブが前記被写体を押す力を示す情報をさらに取得させ、前記断面画像生成部には、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行わせることができる。
【００１３】
前記断面画像生成部には、前記被写体が生体である場合、前記断面画像内の前記身体の内部の各組織を認識させ、認識させた組織毎に前記プローブに押されることにより生じる変形の補正を行わせることができる。
【００１４】
前記断面画像生成部には、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求めさせ、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成させることができる。
【００１５】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部をさらに設け、前記情報取得部には、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得させ、前記プローブ状態検出部には、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択させることができる。
【００１６】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部をさらに設け、前記情報取得部には、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得させ、前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替えさせることができる。
【００１７】
前記断面画像生成部には、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成させることができる。
【００１８】
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部をさらに設けることができる。
【００１９】
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部をさらに設けることができる。
【００２０】
本技術の第１の側面の画像処理方法は、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む。
【００２１】
本技術の第１の側面のプログラムは、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む処理をコンピュータに実行させる。
【００２２】
本技術の第２の側面の画像処理システムは、プローブおよび画像処理装置を備え、前記プローブは、超音波を発生する超音波発生部と、前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、前記プローブの位置および向きを検出する検出部とを含み、前記画像処理装置は、前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部とを含む。
【００２３】
本技術の第２の側面の画像処理方法は、プローブおよび画像処理装置を備える画像処理システムの前記プローブが、超音波を発生させ、発生させた超音波の反射波を受信し、前記プローブの位置および向きを検出し、前記画像処理装置が、前記プローブが受信した反射波に基づいて、超音波画像を生成し、被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成するステップを含む。
【００２４】
本発明の第３の側面のプローブは、超音波を発生する超音波発生部と、前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部とを含む。
【００２５】
前記検出部には、前記プローブが前記被写体を押す力をさらに検出させることができる。
【００２６】
本発明の第１の側面においては、超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報が取得され、前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置され、合成されることにより前記被写体の断面の少なくとも一部を示す断面画像が生成される。
【００２７】
本発明の第２の側面においては、超音波を発生され、発生された超音波の反射波が受信され、プローブの位置および向きを検出され、前記プローブが受信した反射波に基づいて、超音波画像が生成され、被写体の周りの複数の位置における複数の超音波画像が、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置され、合成されることにより前記被写体の断面の少なくとも一部を示す断面画像が生成される。
【００２８】
本発明の第３の側面においては、超音波が発生され、発生された超音波の反射波が受信され、被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きが検出される。
【発明の効果】
【００２９】
本技術の第１乃至第３の側面によれば、被写体の断面の画像を手軽に取得することができる。
【図面の簡単な説明】
【００３０】
【図１】本技術を適用した画像処理システムの一実施の形態を示すブロック図である。
【図２】撮影処理を説明するためのフローチャートである。
【図３】腹部の撮影時のプローブの動きの例を示す図である。
【図４】断面画像生成処理の詳細を説明するためのフローチャートである。
【図５】超音波画像を仮想空間上に配置したイメージを示す模式図である。
【図６】プローブの上下方向の動きを補正する処理を説明するための図である。
【図７】断面画像の一例を示す図である。
【図８】断面画像をデフォルメして表示する例を示す図である。
【図９】断面画像をデフォルメして表示する例を示す図である。
【図１０】本技術を適用した画像処理システムの変形例を示すブロック図である。
【図１１】断面画像生成部の機能の構成例を示すブロック図である。
【図１２】断面画像生成処理の変形例を説明するためのフローチャートである。
【図１３】プローブの移動方向を説明するための図である。
【図１４】並進ベクトルの検出方法を説明するための図である。
【図１５】超音波画像の合成方法の第１の具体例を説明するための図である。
【図１６】超音波画像の合成方法の第２の具体例を説明するための図である。
【図１７】超音波画像の合成方法の第３の具体例を説明するための図である。
【図１８】超音波画像を変形させてから合成する方法を説明するための図である。
【図１９】被撮影者の体位とプローブの移動方向の第１の例を示す図である。
【図２０】被撮影者の体位とプローブの移動方向の第２の例を示す図である。
【図２１】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３２】
＜１．実施の形態＞
［画像処理システム１０１の構成例］
図１は、本技術を適用した画像処理システム１０１の構成例を示すブロック図である。
【００３３】
画像処理システム１０１は、超音波を用いて被写体の断面の少なくとも一部を示す断面画像を生成し、表示するシステムである。画像処理システム１０１は、例えば、超音波検査装置として、人の腹部等の各部位の断面の画像を撮影し、検査する場合に用いられる。
【００３４】
画像処理システム１０１は、プローブ１１１、画像処理装置１１２、記録装置１１３ａ乃至１１３ｃ、および、ディスプレイ１１４を含むように構成される。
【００３５】
プローブ１１１は、超音波送受信部１２１および検出部１２２を含むように構成される。
【００３６】
超音波送受信部１２１は、例えば、プローブ１１１の先端に設けられ、画像処理装置１１２の超音波制御部１５１の制御の下に超音波の送受信を行う。超音波送受信部１２１は、超音波発生装置１３１および超音波受信装置１３２を含むように構成される。
【００３７】
超音波発生装置１３１は、超音波制御部１５１の制御の下に、超音波を発生させる。より具体的には、超音波発生装置１３１は、例えば、所定の間隔でパルス状の超音波を発振するとともに、超音波の走査を行う。
【００３８】
なお、超音波の走査方法には、任意の方法を採用することができる。例えば、放射状に走査するようにしてもよいし、平行に走査するようにしてもよい。放射状に走査した場合、扇形の超音波画像を取得することができ、平行に走査した場合、矩形の超音波画像を取得することができる。
【００３９】
超音波受信装置１３２は、超音波制御部１５１の制御の下に、超音波発生装置１３１が発生させた超音波の反射波を受信する。そして、超音波受信装置１３２は、受信した反射波の強度を測定し、例えば反射波の強度の時系列の測定結果を示すデータ（以下、超音波測定データと称する）を画像処理装置１１２の超音波画像生成部１５２に供給する。
【００４０】
検出部１２２は、プローブ１１１の状態（例えば、位置や向きなど）の検出を行う。検出部１２２は、加速度センサ１４１、角速度センサ１４２、地磁気センサ１４３、移動量センサ１４４、気圧センサ１４５、および、圧力センサ１４６を含むように構成される。
【００４１】
加速度センサ１４１は、例えば、プローブ１１１の加速度と傾きを検出する。
【００４２】
角速度センサ１４２は、例えば、プローブ１１１のピッチ、ヨー、ロールの各方向の回転動作（例えば、角速度や回転角）を検出する。
【００４３】
地磁気センサ１４３は、例えば、地磁気の方向に対するプローブ１１１の向き（方位）を検出する。
【００４４】
移動量センサ１４４は、例えば、プローブ１１１の並進方向の移動量を検出する。
【００４５】
気圧センサ１４５は、例えば、プローブ１１１の高さ方向の位置を検出する。
【００４６】
圧力センサ１４６は、例えば、超音波送受信部１２１の設置位置付近に設けられる。圧力センサ１４６は、超音波画像の撮影を行うために被写体にプローブ１１１を当てたときにプローブ１１１が被写体を押す力（以下、接触圧と称する）を検出する。
【００４７】
そして、検出部１２２の各センサは、検出結果を示すセンサデータを画像処理装置２１２のセンサ情報取得部１５３に供給する。
【００４８】
画像処理装置１１２は、被写体の断面の画像を生成し、ディスプレイ１１４に表示させる処理を行う。画像処理装置１１２は、超音波制御部１５１、超音波画像生成部１５２、センサ情報取得部１５３、プローブ状態検出部１５４、断面画像生成部１５５、および、表示制御部１５６を含むように構成される。
【００４９】
超音波制御部１５１は、超音波発生装置１３１および超音波受信装置１３２を制御し、プローブ１１１の超音波の送受信を制御する。
【００５０】
超音波画像生成部１５２は、超音波受信装置１３２から供給される超音波測定データに基づいて、超音波画像を生成する。
【００５１】
従って、超音波発生装置１３１、超音波受信装置１３２、超音波制御部１５１、および、超音波画像生成部１５２により、超音波を発生させ、その反射波を受信し、受信した反射波に基づいて超音波画像を生成する処理、すなわち、超音波画像の撮影が行われる。
【００５２】
超音波画像生成部１５２は、生成した超音波画像を示す超音波画像データを記録装置１１３ａに保存する。
【００５３】
センサ情報取得部１５３は、プローブ１１１の位置や向きなどの状態を示す情報を取得する。具体的には、センサ情報取得部１５３は、プローブ１１１の各センサから供給されるセンサデータに基づいて、所定の間隔で各センサの検出値のサンプリングを行う。そして、センサ情報取得部１５３は、各センサの検出値をサンプリングした時刻とともにセンサ情報として記録装置１１３ｂに保存する。
【００５４】
プローブ状態検出部１５４は、記録装置１１３ｂに保存されているセンサ情報に基づいて、超音波画像を撮影中のプローブ１１１の状態を検出し、検出結果を断面画像生成部１５５に供給する。
【００５５】
断面画像生成部１５５は、記録装置１１３ａに保存されている超音波画像、および、超音波画像を撮影中のプローブ１１１の状態に基づいて、被写体の断面画像を生成する。断面画像生成部１５５は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【００５６】
表示制御部１５６は、記録装置１１３ｃに保存されている断面画像データに基づいて、被写体の断面画像をディスプレイ１１４に表示させる。
【００５７】
［撮影処理］
次に、図２のフローチャートを参照して、画像処理システム１０１により実行される撮影処理について説明する。
【００５８】
なお、この処理は、例えば、画像処理システム１０１の図示せぬ操作部を介して、撮影の開始の指令が入力されたとき開始される。
【００５９】
なお、以下、画像処理システム１０１を用いて、人の腹部の断面の撮影を行う場合を例に挙げて説明する。この場合、例えば、図３に示されるように、被撮影者は、腹部の断面を撮影するために、プローブ１１１を腹部に対してほぼ垂直に当て、矢印Ａ１に示されるように腹部の周りをほぼ水平に一周させる。
【００６０】
なお、被撮影者以外の人がプローブ１１１の操作を行うようにしてもよいし、あるいは、ロボットアームなどを用いて遠隔操作を行うようにしてもよい。
【００６１】
ステップＳ１において、超音波発生装置１３１は、超音波制御部１５１の制御の下に、超音波の発生を開始する。例えば、超音波発生装置１３１は、所定の間隔でパルス状の超音波を発振するとともに、所定の方向に超音波を走査する。
【００６２】
ステップＳ２において、超音波受信装置１３２は、超音波制御部１５１の制御の下に、超音波発生装置１３１が発生させた超音波の反射波の受信を開始する。そして、超音波受信装置１３２は、受信した反射波の強度を測定し、測定結果を示す超音波測定データを超音波画像生成部１５２に供給する。
【００６３】
ステップＳ３において、センサ情報取得部１５３は、センサ情報の取得を開始する。具体的には、センサ情報取得部１５３は、プローブ１１１の各センサから供給されるセンサデータに基づいて、所定の間隔で各センサの検出値のサンプリングを行う。そして、センサ情報取得部１５３は、各センサの検出値をサンプリングした時刻とともにセンサ情報として記録装置１１３ｂに保存する。
【００６４】
ステップＳ４において、超音波画像生成部１５２は、超音波受信装置１３２から供給される超音波測定データに基づいて、超音波画像を生成する。すなわち、超音波画像生成部１５２は、被撮影者の腹部のプローブ１１１が当てられた位置付近の内部の断面を示す２次元の超音波画像を生成する。超音波画像生成部１５２は、生成した超音波画像を示す超音波画像データを、撮影時刻とともに記録装置１１３ａに保存する。
【００６５】
なお、超音波画像の生成方法は、特定の方法に限定されるものではなく、任意の方法を採用することができる。
【００６６】
ステップＳ５において、断面画像生成部１５５は、断面画像生成処理を実行する。
【００６７】
［断面画像生成処理の詳細］
ここで、図４のフローチャートを参照して、ステップＳ５の断面画像生成処理の詳細について説明する。
【００６８】
ステップＳ５１において、プローブ状態検出部１５４は、記録装置１１３ｂに保存されているセンサ情報に基づいて、撮影時のプローブ１１１の状態を検出する。
【００６９】
具体的には、プローブ状態検出部１５４は、加速度センサ１４１、角速度センサ１４２、地磁気センサ１４３、移動量センサ１４４、および、気圧センサ１４５の検出結果に基づいて、現在までのプローブ１１１の位置と向きの変化（軌跡）を求める。
【００７０】
なお、上述したように、各センサの検出値は所定のサンプリング間隔で離散的に取得されている。そこで、プローブ状態検出部１５４は、必要に応じて各センサの検出値を補間することにより、プローブ１１１の位置と向きの変化を求める。
【００７１】
なお、このとき用いられる補間方法は、特定の方法に限定されるものではなく、例えば、撮影中のプローブ１１１の動きが滑らかであると仮定して、線形補間やスプライン補間等が行われる。
【００７２】
そして、プローブ状態検出部１５４は、プローブ１１１の位置と向きの変化に基づいて、最新の超音波画像を撮影するために超音波の発生および反射波の受信を行ったときのプローブ１１１の位置と向きを検出する。
【００７３】
また、プローブ状態検出部１５４は、圧力センサ１４６の検出結果に基づいて、最新の超音波画像を撮影するためにプローブ１１１を腹部に当てたときのプローブ１１１の接触圧を検出する。
【００７４】
そして、プローブ状態検出部１５４は、撮影時のプローブ１１１の状態の検出結果を断面画像生成部１５５に供給する。
【００７５】
ステップＳ５２において、断面画像生成部１５５は、超音波画像を撮影した位置と向きを求める。具体的には、断面画像生成部１５５は、最新の超音波画像の撮影時のプローブ１１１の位置と向きに基づいて、最新の超音波画像を撮影した位置（撮影位置）と向き（撮影方向）を計算する。なお、プローブ１１１の位置および向きと、超音波画像の定位位置（撮影位置と撮影方向）との関係は、既知であるものとする。
【００７６】
ステップＳ５３において、断面画像生成部１５５は、超音波画像を仮想空間に配置する。具体的には、断面画像生成部１５５は、最新の超音波画像を記録装置１１３ａから読み出す。そして、断面画像生成部１５５は、最新の超音波画像の撮影位置と撮影方向に基づいて、１フレーム前までの超音波画像が配置されている３次元の仮想空間に、最新の超音波画像を配置する。なお、各超音波画像の相対的な位置関係は、各超音波画像の撮影位置と撮影方向により求めることができる。
【００７７】
図５は、腹部の周囲の複数の位置において撮影された超音波画像ＵＩ１乃至ＵＩ８を、仮想空間上に配置したイメージを示す模式図である。
【００７８】
また、断面画像生成部１５５は、超音波画像の情報に基づいて、超音波画像を配置する位置を調整する。
【００７９】
例えば、断面画像生成部１５５は、最新の超音波画像の特徴点を検出する。そして、断面画像生成部１５５は、これまでの超音波画像の特徴点の軌跡を追跡することにより、各超音波画像を配置する位置を調整する。
【００８０】
例えば、一般的にセンサは並進方向の動きの検出が苦手であり、検出誤差が大きくなる傾向がある。従って、センサ情報だけを用いた場合、超音波画像の位置合わせの精度が悪くなる場合がある。そこで、センサ情報だけでなく、超音波画像の情報も用いることにより、超音波画像の位置合わせの精度が向上する。
【００８１】
逆に、一般的に超音波画像はノイズが多いため、超音波画像の情報だけを用いて、精度よく超音波画像の位置合わせを行うのは難しい。そこで、超音波画像の情報だけでなく、センサ情報も用いることにより、超音波画像の位置合わせの精度が向上する。
【００８２】
ステップＳ５４において、断面画像生成部１５５は、断面画像を生成する。すなわち、断面画像生成部１５５は、仮想空間上に配置した超音波画像を合成することにより、２次元の断面画像を生成する。
【００８３】
このとき、断面画像生成部１５５は、例えば、複数の超音波画像が重なる部分について、重複する画像がぴったり重なるように補正したり、あるいは、重なる部分に用いる画像を選択したりする。
【００８４】
また、例えば、超音波画像の数が十分ではなく、配置した超音波画像の間に隙間がある場合、断面画像生成部１５５は、所定の方法により画像の補間を行う。ここで画像を補間する方法は、特定の方法に限定されるものではない。
【００８５】
例えば、標準的な人の腹部の断面のテンプレート画像を用意しておき、そのテンプレート画像を用いて、画像の補間を行うようにしてもよい。この場合、例えば、年齢、性別、体重など、腹部の断面の形状に影響を与えるパラメータ別に、異なる複数のテンプレート画像を用意しておくことが望ましい。
【００８６】
あるいは、例えば、同じ被撮影者について過去に撮影した超音波画像を用いて、画像の補間を行うようにしてもよい。
【００８７】
あるいは、例えば、インペインティングやモーフィングなどの画像処理の手法を用いて、画像の補間を行うようにしてもよい。
【００８８】
また、プローブ１１１を手で動かす場合、プローブ１１１が、図６の左側に示される矢印Ａ１１のように腹部の周りを水平に移動せずに、矢印Ａ１２のように、波打つように上下動しながら移動することが想定される。この場合、そのまま超音波画像を合成したのでは、腹部を水平に切り取ったようなきれいな断面を再現することは難しい。
【００８９】
そこで、断面画像生成部１５５は、例えば、各超音波画像の撮影位置および撮影方向に基づいて、地面に水平な平面（以下、基準面と称する）に対する各超音波画像の傾きを求める。例えば、水平方向に対するプローブ１１１の傾きは、角速度センサ１４２等により検出することが可能である。そして、断面画像生成部１５５は、基準面上に各超音波画像を射影変換する。例えば、断面画像生成部１５５は、図６の右側に示されるように、超音波画像ＵＩａの基準面に対する傾きを解消するように超音波画像ＵＩａを基準面上に射影変換した超音波画像ＵＩｂを生成する。そして、断面画像生成部１５５は、基準面上に射影した超音波画像を合成する。
【００９０】
これにより、腹部を水平に切り取ったようなきれいな断面を再現することができる。
【００９１】
また、一般的に、超音波画像を撮影する場合、プローブ１１１を皮膚に密着させるように押し当てないと良好な画質の画像を得ることができない。一方、腹部は柔軟なため、プローブ１１１を押し当てると容易に変形してしまう。
【００９２】
また、腹部の断面の観察や検査を行う人は、変形していない状態の腹部の断面を見たい場合が多いと想定され、プローブ１１１に押されることにより変形した状態の腹部の断面画像をそのまま提示するのは好ましくない場合がある。
【００９３】
そこで、断面画像生成部１５５は、圧力センサ１４６の検出結果に基づいて、断面画像内の腹部の断面のプローブ１１１に押されることにより生じる変形の補正を行う。
【００９４】
具体的には、断面画像生成部１５５は、まず断面画像内の腹部の内部の各組織を認識する。例えば、断面画像生成部１５５は、生成した断面画像のエッジを抽出し、抽出したエッジに基づいて、腹部の断面を複数の領域に分割する。そして、断面画像生成部１５５は、各領域のテクスチャに基づいて、各領域が身体のどの組織に相当するかを認識する。例えば、真っ白い領域が骨、筋張った領域（白い部分が筋状に写っている領域）が筋肉、霜降りの状態の領域（白い部分がまだらに写っている領域）が脂肪などのように認識される。
【００９５】
次に、断面画像生成部１５５は、プローブ１１１の位置と向きの変化の検出結果、および、プローブ１１１の接触圧の検出結果に基づいて、各超音波画像の撮影時にプローブ１１１が腹部を押していた力（接触圧）、位置および向きを求める。また、断面画像生成部１５５は、身体の各組織の力学的変形や位置関係等の既知のデータに基づいて、各領域を構成する組織にかかる圧力、並びに、変形度合いと分散具合を推定する。そして、断面画像生成部１５５は、プローブ１１１による圧力を取り除いた各領域の形状を推定する。
【００９６】
最後に、断面画像生成部１５５は、断面画像の各領域の形状を推定した形状に補正することにより、変形していない状態の腹部の断面を表す断面画像を生成する。
【００９７】
なお、より補正精度を向上させるために、事前に被撮影者の身体の変形パラメータを取得しておき、その変形パラメータに基づく個人差を反映した補正を行うようにしてもよい。
【００９８】
また、このステップＳ５４の処理では、まだプローブ１１１が腹部の周りを一周していない場合、超音波画像を撮影した範囲までの途中経過を示す断面画像が生成される。
【００９９】
［撮影処理の続き］
図２に戻り、ステップＳ６において、断面画像生成部１５５は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【０１００】
ステップＳ７において、画像処理システム１０１は、断面画像を表示する。具体的には、表示制御部１５６は、断面画像データを記録装置１１３ｃから読み出す。そして、表示制御部１５６は、読み出した断面画像データに基づく断面画像をディスプレイ１１４に表示させる。
【０１０１】
図７は、このとき表示される断面画像の一例を模式的に示している。なお、この図では、腹部の内部の組織の図示を省略している。
【０１０２】
この例では、腹部の断面画像がそのまま表示されるとともに、前後左右の方向が示されている。また、皮下脂肪の厚さを示す矢印Ａ２１が示されている。これにより、皮下脂肪の厚さが一目瞭然となる。なお、皮下脂肪の厚さを示す数値をあわせて表示するようにしてもよい。
【０１０３】
また、例えば、断面画像をそのまま表示せずに、模式的に簡略化した画像（例えば、イラスト調の画像）を表示するようにしてもよい。
【０１０４】
あるいは、例えば、断面画像の代わりに、腹部の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像（例えば、デフォルメした画像）を表示するようにしてもよい。
【０１０５】
例えば、図８に示されるように、腹部の断面の形状を複数のパターンに分類して、各パターンの形状を簡単な説明とともに表示するようにしてもよい。
【０１０６】
さらに、例えば、図９に示されるように、腹部の断面の形状や皮下脂肪の厚さ等に基づいて、腹部の状態を複数のパターンに分類し、各パターンを野菜や果物に例えたキャラクターを、簡単な説明とともに表示するようにしてもよい。なお、他にも、動物や擬人化したキャラクター等を用いるようにしてもよい。
【０１０７】
なお、断面画像とともに、図８や図９の表示を行うようにしてもよい。
【０１０８】
ステップＳ８において、画像処理システム１０１は、撮影を継続するか否かを判定する。撮影を継続すると判定された場合、処理はステップＳ４に戻る。
【０１０９】
その後、ステップＳ８において、撮影を継続しないと判定されるまで、ステップＳ４乃至Ｓ８の処理が繰り返し実行される。すなわち、超音波画像を撮影し、断面画像を生成し、表示する処理が継続して行われる。
【０１１０】
なお、超音波画像を撮影し、断面画像を生成する間隔は、例えば、システムの処理能力や、記録装置１１３ａ乃至１１３ｃの容量等を考慮して決定される。また、画像処理システム１０１がバッテリで駆動される場合、バッテリの容量等を考慮するようにしてもよい。
【０１１１】
また、例えば、プローブ１１１が腹部にきちんと当てられていない等の要因により、最新の超音波画像の画質が悪い場合には、ステップＳ５乃至Ｓ７の処理をスキップし、断面画像の生成および表示を行わないようにしてもよい。
【０１１２】
一方、ステップＳ８において、例えば、画像処理システム１０１の図示せぬ操作部を介して、撮影の終了の指令が入力されたとき、画像処理システム１０１は、撮影を継続しないと判定し、撮影処理は終了する。
【０１１３】
以上のようにして、特別な訓練を受けたり、医学的な専門的な知識を有していなくても、腹部の断面画像を簡単な操作により手軽に取得することができる。
【０１１４】
また、超音波画像の情報だけでなく、センサ情報を用いて、各超音波画像の位置合わせを行い合成するので、精度良く腹部の断面を再現することができる。
【０１１５】
さらに、プローブ１１１を腹部の周りを移動させるだけでよいので、例えば、立位、座位、臥位など任意の体位で腹部の断面画像を撮影することができる。
【０１１６】
また、必ずしもプローブ１１１を腹部の周りを一周させる必要はなく、一周させない場合には、腹部の断面の一部を示す断面画像を生成することができる。
【０１１７】
＜２．変形例＞
以下、本技術の実施の形態の変形例について説明する。
【０１１８】
［変形例１：本技術の適用対象等の変形例］
以上の説明では、人の腹部を撮影する例を説明したが、本技術は、もちろんそれ以外の部位、例えば、頭部、頸部、胸部、四肢等の断面の撮影を行うことも可能である。また、断面画像を用いて検査を行う対象も特に限定されるものではなく、例えば、皮下脂肪や筋肉以外にも、内蔵、骨、腱、血管等の検査に用いることができる。
【０１１９】
さらに、本技術は、医療用途および非医療用途のいずれにも用いることが可能である。
なお、非医療用途に用いる場合、例えば、内臓等が写らないように、超音波の周波数と強度を適切に調整できるようにすることが望ましい。
【０１２０】
また、本技術は、人間だけでなく、例えば、動物や植物、人工物など、超音波により被写体の断面の撮影を行う様々な場面に用いることができる。
【０１２１】
［変形例２：断面画像の生成タイミングの変形例］
また、以上の説明では、超音波画像を撮影しながら、リアルタイムに断面画像を生成し、表示する例を示したが、先に全ての超音波画像を撮影した後に、断面画像を生成し、表示するようにしてもよい。
【０１２２】
なお、リアルタイムに断面画像の生成および表示を行うようにした場合、例えば、ユーザは、画像を実際に確認しながら、プローブ１１１の移動速度や位置を調整して、より望ましい断面画像を取得することが可能になる。
【０１２３】
［変形例３：超音波画像の撮影とセンサ情報の取得タイミングの変形例］
さらに、超音波画像の撮影とセンサ情報の取得は、同期させるようにしてもよいし、同期させないようにしてもよい。なお、同期させない場合には、後で対応関係が分かるように、超音波画像を撮影した時刻、および、センサ情報を取得した時刻を記録するのが望ましい。
【０１２４】
［変形例４：センサの種類の変形例］
また、上述したプローブ１１１に設けるセンサの種類は、その一例であり、必要に応じて、追加したり、省略したり、別の種類のものを用いたりすることが可能である。例えば、被写体の断面の変形を特に補正する必要がない場合、圧力センサ１４６を省略することが可能である。
【０１２５】
［変形例５：断層画像を生成する例］
さらに、プローブ１１１を周回させる方向と垂直な方向にプローブをずらしながら、複数の断面画像を生成し、それらを合成することにより３次元の断層画像を生成するようにしてもよい。例えば、腹部の上下方向の複数の位置において断面画像を生成し、それらを合成することにより腹部の断層画像を生成することが可能である。
【０１２６】
［変形例６：再撮影を促す例］
また、撮影中に被写体が想定以上に移動する等の要因により、センサ情報に基づいて適切に超音波画像を合成できない場合、再撮影を促すようにしてもよい。
【０１２７】
［変形例７：超音波画像の生成に使用する情報の変形例］
さらに、本技術では、例えば、超音波画像の情報を用いずに、センサ情報のみを用いて超音波画像を合成し、断面画像を生成するようにすることも可能である。
【０１２８】
［変形例８：画像処理システムの構成の変形例］
また、例えば、画像処理システム１０１の各部の配置は、図１の例に限定されるものではなく、任意に変更することが可能である。例えば、プローブ１１１と画像処理装置１１２を一体化するようにしてもよい。また、例えば、超音波制御部１５１および超音波画像生成部１５２をプローブ１１１に設けるようにしてもよい。さらに、例えば、記録装置１１３ａ乃至１１３ｃを一体化したり、画像処理装置１１２に搭載したりするようにしてもよい。
【０１２９】
［変形例９：各部間の通信方法等の変形例］
また、各部間の通信は、有線通信により実現してもよいし、無線通信により実現してもよい。
【０１３０】
例えば、図１０は、プローブ２１１と画像処理装置２１２との間の通信を無線通信により行うようにした画像処理システム２０１の構成例を示すブロック図である。なお、図中、図１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
【０１３１】
画像処理システム２０１は、図１の画像処理システム１０１と比較して、プローブ１１１および画像処理装置１１２の代わりに、プローブ２１１および画像処理装置２１２が設けられている点が異なる。また、プローブ２１１は、プローブ１１１と比較して、インタフェース部２３１が追加されている点が異なる。さらに、画像処理装置２１２は、画像処理装置１１２と比較して、インタフェース部２５１が追加されている点が異なる。
【０１３２】
プローブ２１１のインタフェース部２３１と画像処理装置２１２のインタフェース部２５１は、例えば、所定の方式により無線通信を行う通信装置により構成される。
【０１３３】
従って、超音波測定データ、および、各センサのセンサデータは、無線通信によりプローブ２１１から画像処理装置２１２に送信される。また、画像処理装置２１２からの超音波発生装置１３１および超音波受信装置１３２の制御も無線通信により行われる。
【０１３４】
これにより、プローブ２１１と画像処理装置２１２との間のケーブル等による接続が不要になり、プローブ２１１の移動の自由度が高くなる。その結果、プローブ２１１の操作性が向上し、例えば、身体の所望の位置をより簡単に撮影することが可能になる。
【０１３５】
また、例えば、超音波測定データおよびセンサデータをリムーバブルメディアに記録し、そのリムーバブルメディアを介して画像処理装置１１２に入力するようにしてもよい。
【０１３６】
［変形例１０：断面画像の生成方法の変形例］
また、図４を参照して上述した断面画像生成処理は、その一例であり、他の方法を用いることも可能である。ここで、図１１乃至図１８を参照して、断面画像生成処理の変形例について具体的に説明する。
【０１３７】
図１１は、図１の画像処理装置１１２の断面画像生成部１５５の機能の構成例を示すブロック図である。
【０１３８】
断面画像生成部１５５は、並進ベクトル検出部３０１、描画位置算出部３０２、および、合成部３０３を含むように構成される。
【０１３９】
並進ベクトル検出部３０１は、記録装置１１３ａに保存されている超音波画像、および、プローブ状態検出部１５４により検出されたプローブ１１１の状態に基づいて、プローブ１１１の並進方向の動きを検出する。並進ベクトル検出部３０１は、プローブ１１１の並進方向の動きの検出結果を描画位置算出部３０２に供給する。
【０１４０】
描画位置算出部３０２は、プローブ状態検出部１５４により検出されたプローブ１１１の状態、および、並進ベクトル検出部３０１により検出されたプローブ１１１の並進方向の動きに基づいて、超音波画像の描画位置を算出する。描画位置算出部３０２は、算出した超音波画像の描画位置を合成部３０３に供給する。
【０１４１】
合成部３０３は、描画位置算出部３０２により算出された描画位置に基づいて、記録装置１１３ａに保存されている超音波画像を合成することにより、被写体の断面画像を生成する。合成部３０３は、生成した断面画像を示す断面画像データを記録装置１１３ｃに保存する。
【０１４２】
次に、図１２のフローチャートを参照して、図２のステップＳ５の断面画像生成処理の変形例について具体的に説明する。
【０１４３】
なお、以下、説明を簡単にするために、上述した図３に示されるように、プローブ１１１を腹部に対して垂直に当て、図１３に示されるように、プローブ１１１を接触面１１１Ａの長辺方向に移動させることにより、腹部の周りを水平に一周させて、超音波画像を撮影する場合について説明する。なお、プローブ１１１は、接触面の長辺方向に振動子が１次元に配置された１次元アレイプローブにより構成されているものとする。また、十分速いフレームレートに設定するか、プローブ１１１をゆっくり動かすことにより、図１３に示されるように、隣接するフレームの撮影範囲が重なるように超音波画像が撮影されるものとする。
【０１４４】
ステップＳ１０１において、プローブ状態検出部１５４は、記録装置１１３ｂに保存されている地磁気センサ１４３の検出結果に基づいて、撮影時のプローブ１１１の方位、すなわち、地磁気の方向に対するプローブ１１１の向きを検出する。
【０１４５】
ステップＳ１０２において、プローブ状態検出部１５４は、プローブ１１１の方位の検出結果に基づいて、前のフレームとのプローブ１１１の方位の変化量を求める。
【０１４６】
ここで、図１４を参照して、最新のｋ＋１番目のフレームの超音波画像ＵＩ（ｋ＋１）と１つ前のｋ番目のフレームの超音波画像ＵＩ（ｋ）との間の方位の変化量を求める場合について説明する。例えば、超音波画像ＵＩ（ｋ）を撮影したときに地磁気センサ１４３により検出された方位をθａ、超音波画像ＵＩ（ｋ＋１）を撮影したときに地磁気センサ１４３により検出された方位をθｂとすると、Δθ＝θｂ−θａがプローブ１１１の方位の変化量として求められる。このΔθは、超音波画像ＵＩ（ｋ）を撮影してから超音波画像ＵＩ（ｋ＋１）を撮影するまでの間のプローブ１１１の水平方向（ヨー方向）の回転方向の動きを表している。
【０１４７】
なお、地磁気センサ１４３により検出される方位は、周囲の磁場等の影響により誤差が生じる可能性があるが、方位の変化量は周囲の磁場等の影響を受けにくい。従って、方位の変化量Δθを求めることにより、プローブ１１１の水平方向の回転方向の動きを正確に検出することができる。
【０１４８】
プローブ状態検出部１５４は、求めたプローブ１１１の方位の変化量を示す情報を並進ベクトル検出部３０１に供給する。
【０１４９】
ステップＳ１０３において、並進ベクトル検出部３０１は、プローブ１１１の方位の変化量に基づいて、前のフレームの超音波画像を回転させる。
【０１５０】
例えば、図１４に示されるように、超音波画像ＵＩ（ｋ）を２次元アフィン変換により回転中心Ｃを軸にプローブ１１１の方位の変化量Δθだけ回転させる。これにより、回転後の超音波画像ＵＩ（ｋ）’（以下、回転画像ＵＩ（ｋ）’と称する）の座標系と超音波画像ＵＩ（ｋ＋１）の座標系とが一致する。
【０１５１】
ステップＳ１０４において、並進ベクトル検出部３０１は、前のフレームと現フレームの超音波画像の局所特徴点を検出する。より正確には、並進ベクトル検出部３０１は、前のフレームの回転画像と現フレームの超音波画像の局所特徴点を検出する。
【０１５２】
なお、局所特徴点の種類や検出方法には、任意のものを採用することができる。例えば、撮影対象の変形に強く、柔軟な人体組織に適したHarris Cornerが局所特徴点として用いられる。
【０１５３】
ステップＳ１０５において、並進ベクトル検出部３０１は、前のフレームと現フレームとの間の局所特徴点の動きを追跡する。より正確には、並進ベクトル検出部３０１は、前のフレームの回転画像と現フレームの超音波画像との間の局所特徴点の動きを追跡する。
【０１５４】
なお、局所特徴点の動きの追跡方法には、任意のものを採用することができる。例えば、撮影対象の変形に強く、柔軟な人体組織に適したOptical Flow Lucas-Kanade法が用いられる。
【０１５５】
例えば、図１４に示されるように、超音波画像ＵＩ（ｋ）と超音波画像ＵＩ（ｋ＋１）の両方に同じ局所特徴点Ｐ１乃至Ｐ３が写っている場合、回転画像ＵＩ（ｋ）’から局所特徴点Ｐ１乃至Ｐ３に対応する局所特徴点Ｐ１’乃至Ｐ３’が検出される。また、超音波画像ＵＩ（ｋ＋１）から局所特徴点Ｐ１乃至Ｐ３が検出される。そして、局所特徴点Ｐａ’から局所特徴点Ｐａに向かうベクトルＶａ、局所特徴点Ｐｂ’から局所特徴点Ｐｂに向かうベクトルＶｂ、および、局所特徴点Ｐｃ’から局所特徴点Ｐｃに向かうベクトルＶｃが検出される。
【０１５６】
ステップＳ１０６において、並進ベクトル検出部３０１は、追跡結果に基づいて、フレーム間の並進ベクトルを求める。すなわち、並進ベクトル検出部３０１は、ベクトルＶａ乃至Ｖｃに基づいて、任意の方法により超音波画像ＵＩ（ｋ）と超音波画像ＵＩ（ｋ＋１）との間の並進ベクトルＴを求める。例えば、並進ベクトル検出部３０１は、ベクトルＶａ乃至Ｖｃのうちの１つを並進ベクトルＴに選択したり、ベクトルＶａ乃至Ｖｃの平均ベクトルを並進ベクトルＴとして求めたりする。
【０１５７】
ステップＳ１０７において、並進ベクトル検出部３０１は、プローブ１１１の並進ベクトルを求める。具体的には、並進ベクトル検出部３０１は、ステップＳ１０６の処理で求めた並進ベクトルＴを反転した逆ベクトルを、プローブ１１１の並進ベクトルとして求める。この並進ベクトルは、超音波画像ＵＩ（ｋ）を撮影してから超音波画像ＵＩ（ｋ＋１）を撮影するまでの間のプローブ１１１の並進方向の動きを表している。並進ベクトル検出部３０１は、求めたプローブ１１１の並進ベクトルを示す情報を描画位置算出部３０２に供給する。
【０１５８】
ステップＳ１０８において、描画位置算出部３０２は、プローブ１１１の方位と並進ベクトルに基づいて、描画位置を求める。具体的には、描画位置算出部３０２は、地磁気センサ１４３により検出されたプローブ１１１の方位と並進ベクトル検出部３０１により検出されたプローブ１１１の並進ベクトルに基づいて、１フレーム前までの超音波画像が配置されている３次元の仮想空間における現フレームの超音波画像の描画位置を求める。
【０１５９】
例えば、描画位置算出部３０２は、プローブ１１１の方位と並進ベクトルに基づいて、１フレーム前の超音波画像と現フレームの超音波画像との間の描画位置の相対的な変化量を求める。そして、描画位置算出部３０２は、求めた変化量に基づいて、仮想空間における現フレームの超音波画像の描画位置を求める。描画位置算出部３０２は、求めた現フレームの超音波画像の描画位置を示す情報を合成部３０３に供給する。
【０１６０】
ステップＳ１０９において、合成部３０３は、超音波画像を合成する。すなわち、合成部３０３は、描画位置算出部３０２により求められた描画位置に現フレームの超音波画像を配置し、現フレームまでの超音波画像を合成することにより、断面画像を生成する。
【０１６１】
その後、断面画像生成処理は終了する。
【０１６２】
ここで、図１５乃至図１７を参照して、超音波画像の合成方法の具体例について説明する。
【０１６３】
例えば、図１５に示されるように、古い超音波画像の上に新しい超音波画像を単純に上書きしていくようにすることが考えられる。この場合、複数の超音波画像が重なる部分が、新しい超音波画像により更新されていく。
【０１６４】
また、例えば、図１６に示されるように、新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っていない部分のみを付け加えていくようにすることが考えられる。これは、新しい超音波画像の上に古い超音波画像を単純に上書きしていく場合と同等である。
【０１６５】
さらに、例えば、図１７に示されるように、各超音波画像の透過率を設定して合成することにより、複数の超音波画像が重なる部分を、重み付けて合成するようにすることが考えられる。なお、各超音波画像の透過率は、固定値としてもよいし、フレーム毎に動的に調整するようにしてもよい。
【０１６６】
透過率をフレーム毎に動的に調整する場合、例えば、超音波画像に写っている部位の重要度や画質等の評価基準に基づいて、透過率を設定することが考えられる。例えば、臓器などの重要な部位が写っている超音波画像の透過率を低く設定し、当該超音波画像の成分が合成される比率を高くすることが考えられる。また、例えば、ボケ量が大きい超音波画像や射影変換等による補正量が大きい超音波画像など、画質が悪い超音波画像の透過率を低く設定し、当該超音波画像の成分が合成される比率を低くすることが考えられる。これにより、仮に推定した描画位置にズレが生じても、生成される断面画像の粗さを目立たなくすることができる。
【０１６７】
なお、図１５の例は、例えば、各超音波画像の透過率を０％に設定して、古い超音波画像の上に新しい超音波画像を上書きしていくことにより実現可能である。また、図１６の例は、上述したように新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っていない部分のみを付け加えていく（上書きする）以外にも、例えば、新たに追加する超音波画像のうち１フレーム前までの超音波画像に写っている部分の透過率を１００％に設定し、写っていない部分の透過率を０％に設定して、新しい超音波画像を上書きしていくことにより実現することも可能である。あるいは、図１６の例は、例えば、各超音波画像の透過率を０％に設定して、新しい超音波画像の上に古い超音波画像を上書きしていくことにより実現することも可能である。
【０１６８】
さらに、上述したように人の腹部は柔軟であり、容易に変形してしまうため、合成部分の違和感を減らすために、複数の超音波画像が重なる部分の画像のうち、変形している画像をモーフィング等の画像処理により変形させてから合成することが考えられる。例えば、図１８に示されるように、変形した元画像Ａからモーフィングを用いて変形前の元画像Ｂに戻す過程で生成される中間画像を合成するようにすることが考えられる。これにより、仮に推定した描画位置にズレが生じても、生成される断面画像の粗さを目立たなくすることができる。
【０１６９】
また、図６を参照して上述したように、角速度センサ１４２等により検出したプローブ１１１の傾きに基づいて、各超音波画像を基準面上に射影した後、合成するようにすることも可能である。
【０１７０】
なお、以上の説明では、超音波画像の局所特徴点を用いて並進ベクトルを求める例を示したが、他の方法により、並進ベクトルを求めるようにしてもよい。例えば、ブロックマッチングを用いた動体予測（Motion Estimation）により、フレーム間のグローバル動きベクトルを並進ベクトルして求めるようにしてもよい。この方法は、撮影対象が大きく変形しない場合に特に有効である。すなわち、ブロックマッチングを用いた動体予測は動画圧縮分野で標準的に用いられており、その機能を搭載したCPU（Central Processing Unit）やGPU（Graphics Processing Unit）等のプロセッサも多い。従って、コストや処理速度等のパフォーマンス面で優れた方法であると言える。
【０１７１】
なお、上述したように腹部の形状は容易に変化するため、ブロックマッチングを行う場合、圧力センサ１４６の検出結果に基づいて、ブロックを変形させてからマッチングを行うことにより、ブロックマッチングの精度を向上させることができる。
【０１７２】
また、以上の説明では、１フレーム前の超音波画像を回転させる例を示したが、現フレームの超音波画像を回転させて、２つの超音波画像の座標系を一致させるようにしてもよい。
【０１７３】
さらに、隣接する（連続する）フレーム間だけでなく、２フレーム以上離れた２つの超音波画像を用いて、並進ベクトルを求めるようにしてもよい。
【０１７４】
また、以上の説明では、プローブ１１１の水平方向（ヨー方向）の回転のみを考慮した例を示したが、プローブ１１１がピッチ方向やロール方向に回転する場合も、同様の方法により、超音波画像の描画位置を求めることができる。
【０１７５】
なお、上述したように、画像処理システム１０１では、任意の体位で腹部の断面画像を撮影することができるが、撮影を行う体位によりプローブ１１１を動かす方向が異なる。例えば、図１９に示されるように、被撮影者３３１が立った状態で撮影する場合、矢印Ａ３１で示されるように、被撮影者３３１の腹部の周りに沿って、地面に対して水平な（鉛直方向に対して垂直な）平面上でプローブ１１１を回転させることが想定される。また、図２０に示されるように、被撮影者３３１が横になった状態で撮影する場合、矢印Ａ３２で示されるように、被撮影者３３１の腹部の周りに沿って、地面に対して垂直な（鉛直方向に対して水平な）平面上でプローブ１１１を回転させることが想定される。
【０１７６】
一方、地磁気センサ１４３は、地磁気の方向に対するプローブ１１１の向きを検出するため、図１９に示されるように、プローブ１１１を水平方向に回転させた場合、プローブ１１１の向きの変化量を精度よく検出することができる。しかし、図２０に示されるように、プローブ１１１を垂直方向に回転させた場合、プローブ１１１の向きの変化量の検出精度が低下する場合がある。
【０１７７】
そこで、図２０に示されるように、プローブ１１１を垂直方向に回転させる場合には、例えば、地磁気センサ１４３の代わりに角速度センサ１４２により、プローブ１１１の向きの変化量の検出するようにすればよい。
【０１７８】
なお、使用するセンサの切り替えは、手動で行うようにしてもよいし、自動で行うようにしてもよい。
【０１７９】
手動で行う場合、例えば、立位（または座位）撮影モード、臥位撮影モード等の撮影モードを設けて、ユーザが設定するようにすればよい。そして、立位撮影モードに設定された場合、地磁気センサ１４３を使用し、臥位撮影モードに設定された場合、角速度センサ１４２を用いるようにすればよい。
【０１８０】
一方、例えば、先に全ての超音波画像を撮影した後に断面画像を生成する場合には、自動で使用するセンサを切り替えるようにすることが可能である。例えば、超音波画像の撮影中の角速度センサ１４２および地磁気センサ１４３の両方のセンサデータを記録装置１１３ｂに蓄積しておき、断面画像の生成時に、所定の条件に基づいて、使用するセンサデータを選択するようにすることが可能である。例えば、各センサデータの信頼度を求めて、その信頼度に基づいて、使用するセンサデータを選択するようにすることが可能である。また、例えば、他のセンサにより検出されたプローブ１１１の移動方向や、被撮影者３３１の体位に基づいて、使用するセンサデータを選択するようにすることが可能である。
【０１８１】
なお、他の種類のセンサについても同様に、複数のセンサ間で互いに代用が可能な場合、プローブ状態検出部１５４が、所定の条件に基づいて、プローブ１１１の状態の検出に用いるセンサを切り替えるようにすることが可能である。
【０１８２】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８３】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８４】
コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０１８５】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０１８６】
入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。
【０１８７】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８８】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８９】
コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。すなわち、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９２】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９６】
また、例えば、本技術は以下のような構成も取ることができる。
【０１９７】
（１）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、
被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理装置。
（２）
前記断面画像生成部は、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置する
前記（１）に記載の画像処理装置。
（３）
前記断面画像生成部は、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置する
前記（２）に記載の画像処理装置。
（４）
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出する
前記（３）に記載の画像処理装置。
（５）
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出する
前記（３）に記載の画像処理装置。
（６）
前記情報取得部は、前記プローブが前記被写体を押す力を示す情報をさらに取得し、
前記断面画像生成部は、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行う
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記断面画像生成部は、前記被写体が生体の身体である場合、前記断面画像内の前記身体の内部の各組織を認識し、認識した組織毎に前記プローブに押されることにより生じる変形の補正を行う
前記（６）に記載の画像処理装置。
（８）
前記断面画像生成部は、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求め、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１１）
前記断面画像生成部は、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部を
さらに含む前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部を
さらに含む前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
（１５）
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
（１６）
前記（１５）に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（１７）
プローブおよび画像処理装置を備え、
前記プローブは、
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
前記プローブの位置および向きを検出する検出部と
を含み、
前記画像処理装置は、
前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、
被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理システム。
（１８）
プローブおよび画像処理装置を備える画像処理システムの前記プローブが、
超音波を発生させ、
発生させた超音波の反射波を受信し、
前記プローブの位置および向きを検出し、
前記画像処理装置が、
前記プローブが受信した反射波に基づいて、超音波画像を生成し、
被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
（１９）
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部と
を含むプローブ。
（２０）
前記検出部は、前記プローブが前記被写体を押す力をさらに検出する
前記（１９）に記載のプローブ。
【符号の説明】
【０１９８】
１０１ 画像処理システム， １１１ プローブ， １１２ 画像処理装置， １１３ａ乃至１１３ｃ 記録装置， １１４ ディスプレイ， １２１ 超音波送受信部， １２２ 検出部， １３１ 超音波発生装置， １３２ 超音波受信装置， １４１ 加速度センサ， １４２ 角速度センサ， １４３ 地磁気センサ， １４４ 移動量センサ， １４５ 気圧センサ， １４６ 圧力センサ， １５１ 超音波制御部， １５２ 超音波画像生成部， １５３ センサ情報取得部， １５４ プローブ状態検出部， １５５ 断面画像生成部， １５６ 表示制御部， ２０１ 画像処理システム， ２１１ プローブ， ２１２ 画像処理装置， ２３１ インタフェース部， ２５１ インタフェース部， ３０１ 並進ベクトル検出部， ３０２ 描画位置算出部， ３０３ 合成部
【特許請求の範囲】
【請求項１】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、
被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理装置。
【請求項２】
前記断面画像生成部は、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置する
請求項１に記載の画像処理装置。
【請求項３】
前記断面画像生成部は、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置する
請求項２に記載の画像処理装置。
【請求項４】
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出する
請求項３に記載の画像処理装置。
【請求項５】
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出する
請求項３に記載の画像処理装置。
【請求項６】
前記情報取得部は、前記プローブが前記被写体を押す力を示す情報をさらに取得し、
前記断面画像生成部は、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行う
請求項１に記載の画像処理装置。
【請求項７】
前記断面画像生成部は、前記被写体が生体である場合、前記断面画像内の前記生体の内部の各組織を認識し、認識した組織毎に前記プローブに押されることにより生じる変形の補正を行う
請求項６に記載の画像処理装置。
【請求項８】
前記断面画像生成部は、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求め、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成する
請求項１に記載の画像処理装置。
【請求項９】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択する
請求項１に記載の画像処理装置。
【請求項１０】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替える
請求項１に記載の画像処理装置。
【請求項１１】
前記断面画像生成部は、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成する
請求項１に記載の画像処理装置。
【請求項１２】
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部を
さらに含む請求項１に記載の画像処理装置。
【請求項１３】
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部を
さらに含む請求項１に記載の画像処理装置。
【請求項１４】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
【請求項１５】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
プローブおよび画像処理装置を備え、
前記プローブは、
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
前記プローブの位置および向きを検出する検出部と
を含み、
前記画像処理装置は、
前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、
被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理システム。
【請求項１８】
プローブおよび画像処理装置を備える画像処理システムの前記プローブが、
超音波を発生させ、
発生させた超音波の反射波を受信し、
前記プローブの位置および向きを検出し、
前記画像処理装置が、
前記プローブが受信した反射波に基づいて、超音波画像を生成し、
被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
【請求項１９】
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部と
を含むプローブ。
【請求項２０】
前記検出部は、前記プローブが前記被写体を押す力をさらに検出する
請求項１９に記載のプローブ。
【請求項１】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得する情報取得部と、
被写体の周りの複数の位置において前記プローブが受信した反射波に基づく複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理装置。
【請求項２】
前記断面画像生成部は、さらに前記超音波画像の情報に基づいて、前記超音波画像を配置する
請求項１に記載の画像処理装置。
【請求項３】
前記断面画像生成部は、前記情報取得部により取得された前記プローブの向きの変化、および、前記超音波画像の情報に基づいて、前記プローブの並進方向の動きを検出し、前記プローブの向き、および、前記プローブの並進方向の動きに基づいて、前記超音波画像を配置する
請求項２に記載の画像処理装置。
【請求項４】
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像の局所特徴点の動きに基づいて、前記プローブの並進方向の動きを検出する
請求項３に記載の画像処理装置。
【請求項５】
前記断面画像生成部は、前記プローブの向きの変化に基づいて、２つのフレームの前記超音波画像の座標系を一致させた後、前記２つのフレーム間の前記超音波画像に対してブロックマッチングを行うことにより、前記プローブの並進方向の動きを検出する
請求項３に記載の画像処理装置。
【請求項６】
前記情報取得部は、前記プローブが前記被写体を押す力を示す情報をさらに取得し、
前記断面画像生成部は、前記プローブが前記被写体を押す力、位置および向きに基づいて、前記断面画像内の前記被写体の断面の前記プローブに押されることにより生じる変形の補正を行う
請求項１に記載の画像処理装置。
【請求項７】
前記断面画像生成部は、前記被写体が生体である場合、前記断面画像内の前記生体の内部の各組織を認識し、認識した組織毎に前記プローブに押されることにより生じる変形の補正を行う
請求項６に記載の画像処理装置。
【請求項８】
前記断面画像生成部は、前記プローブの位置および向きに基づいて、各前記超音波画像を撮影した位置および向きを求め、前記超音波画像を撮影した位置および向きに基づいて、各前記超音波画像を所定の平面上に射影し、前記平面上に射影した画像を合成する
請求項１に記載の画像処理装置。
【請求項９】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、複数の前記センサにより取得されたデータの中から、前記プローブの状態の検出に用いるデータを選択する
請求項１に記載の画像処理装置。
【請求項１０】
前記情報取得部により取得された情報に基づいて、前記プローブの状態を検出するプローブ状態検出部を
さらに含み、
前記情報取得部は、複数の種類のセンサから前記プローブの位置および向きを示すデータを取得し、
前記プローブ状態検出部は、ユーザ設定に基づいて、前記プローブの状態の検出に用いる前記センサの種類を切り替える
請求項１に記載の画像処理装置。
【請求項１１】
前記断面画像生成部は、各前記超音波画像の透過率を調整して合成することにより前記断面画像を生成する
請求項１に記載の画像処理装置。
【請求項１２】
前記プローブが受信した反射波に基づいて、超音波画像を生成する超音波画像生成部を
さらに含む請求項１に記載の画像処理装置。
【請求項１３】
前記断面画像とともに、または、前記断面画像の代わりに、前記被写体の断面の状態の分類を示すパターンのうち、該当するパターンを表す画像を表示するように制御する表示制御部を
さらに含む請求項１に記載の画像処理装置。
【請求項１４】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
【請求項１５】
超音波の発生および反射波の受信を行うプローブの位置および向きを示す情報を取得し、
前記プローブが受信した反射波に基づく被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む処理をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
プローブおよび画像処理装置を備え、
前記プローブは、
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
前記プローブの位置および向きを検出する検出部と
を含み、
前記画像処理装置は、
前記超音波受信部が受信した反射波に基づいて、超音波画像を生成する超音波画像生成部と、
被写体の周りの複数の位置における超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する断面画像生成部と
を含む画像処理システム。
【請求項１８】
プローブおよび画像処理装置を備える画像処理システムの前記プローブが、
超音波を発生させ、
発生させた超音波の反射波を受信し、
前記プローブの位置および向きを検出し、
前記画像処理装置が、
前記プローブが受信した反射波に基づいて、超音波画像を生成し、
被写体の周りの複数の位置における複数の超音波画像を、超音波の発生および反射波の受信を行ったときの前記プローブの位置および向きに基づいて配置し、合成することにより前記被写体の断面の少なくとも一部を示す断面画像を生成する
ステップを含む画像処理方法。
【請求項１９】
超音波を発生する超音波発生部と、
前記超音波発生部が発生させた超音波の反射波を受信する超音波受信部と、
被写体の周りの複数の位置において前記超音波受信部が受信した反射波に基づく複数の超音波画像を合成するときに前記超音波画像を配置するための、自身の位置および向きを検出する検出部と
を含むプローブ。
【請求項２０】
前記検出部は、前記プローブが前記被写体を押す力をさらに検出する
請求項１９に記載のプローブ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２５４２７９（Ｐ２０１２−２５４２７９Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１２−９５８７（Ｐ２０１２−９５８７）
【出願日】平成２４年１月２０日（２０１２．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２４年１月２０日（２０１２．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]