画像処理装置
【課題】 医用画像診断装置により収集されている時系列的な３次元画像から所望の観察領域に含まれる画像をリアルタイムに抽出して表示する画像処理装置を提供する。
【解決手段】 時間制御部３４は、生体情報収集部７により収集された生体情報と生体情報記憶部４３に記憶されている生体情報とを読み込み、その生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データと、予め収集されている時系列的な３次元画像データとを同期させる。領域制御部３５は、領域情報記憶部４４に記憶されている、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その領域を示す情報（抽出領域情報）を読み込み、スキャンにより得られている３次元画像データからその抽出領域情報に対応する観察領域に含まれる３次元画像データの抽出を行う。
【解決手段】 時間制御部３４は、生体情報収集部７により収集された生体情報と生体情報記憶部４３に記憶されている生体情報とを読み込み、その生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データと、予め収集されている時系列的な３次元画像データとを同期させる。領域制御部３５は、領域情報記憶部４４に記憶されている、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その領域を示す情報（抽出領域情報）を読み込み、スキャンにより得られている３次元画像データからその抽出領域情報に対応する観察領域に含まれる３次元画像データの抽出を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、超音波診断装置、Ｘ線ＣＴ装置、又はＭＲＩ装置等の医用画像診断装置により時系列的に撮像された３次元で表される医用画像を画像処理して表示するための画像処理装置に関する。
【背景技術】
【０００２】
超音波診断装置又はＸ線ＣＴ装置等の医用画像診断装置にて撮像された患者の医用画像を観察するために、画像表示及び画像処理が行える画像処理装置が用いられている。この画像処理装置は、２次元画像の表示に加え、３次元画像を観察することもできる。この観察の際には、画像同士を比較するため、例えば、各々の画像表示の観察角度及び拡大率を同じ状態にして観察することにより、画像同士の比較が容易になる。
【０００３】
また、３次元画像を表示する画像処理装置では、複数の３次元画像を表示することができるものがあり、複数の３次元画像を表示する際に、撮影時の撮影情報及び表示パラメータに基づいて同期させて表示するものが知られている（例えば特許文献１）。
【０００４】
【特許文献１】特開２００２−１２５９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の画像処理装置においては、所定の時間ごとに撮像された時系列的な３次元画像データを同期させて表示することは行われていない。そのため、医用画像診断装置にてスキャンが行なわれている最中に、いわゆるリアルタイムに複数の３次元画像データを同期させて表示させることは困難であり、また、異なる医用画像診断装置にて撮像された時系列的な３次元画像データを重畳させて表示することは困難であった。
【０００６】
また、従来の画像処理装置においては、スキャン中に３次元画像データから観察したい領域を抽出して、抽出した観察領域に含まれる３次元画像同士を同期させて比較することが行われていなかった。そのため、時系列的な３次元画像データを扱う場合、特に、複数の時系列的な３次元画像データ同士を比較する場合に、各時相における３次元画像データを領域抽出する必要があるが、そのデータ量が膨大であるため、操作者は多大な労力と時間を費やす必要があった。これにより、例えば、術前と術後の時系列的な３次元画像データの比較や、典型症例との比較等が困難となっていた。
【０００７】
以上のように、従来技術に係る画像処理装置においては、スキャン中（リアルタイム）に時系列的な３次元画像データ同士を比較することができず、一旦保存した３次元画像データに対する処理のみが可能となるため、その応用が限られていた。
【０００８】
また、スキャン中（リアルタイム）に所望の観察領域に含まれる３次元画像の抽出が行われていなかったため、ロボット手術等の術中ナビゲーションシステムへの応用が困難となっていた。
【０００９】
さらに、医用画像診断装置として例えば超音波診断装置を用いる場合、ストレスエコー方法により、心電信号（ＥＣＧ信号）を利用して時系列的な断層像データを同期させて表示するものが知られている。しかしながら、従来の超音波診断装置においては、断層像データの位置が超音波プローブの位置に依存するため、複数の断層像データを比較する際に、各断層像データの座標系が異なるため、複数の断層像データの位置合わせを行って比較することが困難であり、更にこの位置合わせは、医師や技師等の経験や勘に頼っていた。また、ＥＣＧ信号を利用して同期して表示する際に、断層像データから所望の観察領域を抽出して、その所望の観察領域に含まれる断層像同士をリアルタイムに比較することや、欠けている画像データを補間処理により求めることは行われていなかった。
【００１０】
この発明は上記の問題を解決するものであり、予め収集された時系列的な３次元画像データから抽出した観察領域の範囲に基づいて、スキャンにより時系列的に収集されている３次元画像データから時間ごとに所望の観察領域をリアルタイムに抽出することが可能な画像処理装置を提供することを目的とするものである。そのことにより、医用画像診断装置を用いて時系列的に収集される３次元画像データと、予め医用画像診断装置により収集されて保存されている時系列的な３次元画像データとを、表示装置にて表示して比較する際に、時間ごとに所望の観察領域に含まれる３次元画像同士の比較を容易にすることが可能な画像処理装置を提供することを目的とするものである。
【００１１】
また、心電信号等の生体情報を用いることにより、複数の３次元画像データを時間的に同期させことが可能な画像処理装置を提供することを目的とするものである。その結果、複数の３次元画像データ同士の比較を容易にすることが可能な画像処理装置を提供することを目的とするものである。
【００１２】
また、抽出された観察領域に含まれる３次元画像の向き（座標系）を一致させたり、表示される画像の操作方法において、観察角度、拡大率等の表示操作を、比較する複数の３次元画像データで共通化したり、画像処理に用いられるオパシティ（画像の不透明度）等の表示パラメータを共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易であって、診察や診断の援助となる新たな医療情報の提供が可能な画像処理装置を提供することを目的とするものである。
【００１３】
さらに、スキャン中に時系列的な３次元画像データから所望の観察領域をリアルタイムに抽出することが可能となることにより、スキャン中の時系列的な３次元画像データ、過去に収集された時系列的な３次元画像データ、又は被検体の実画像の比較が可能となるため、ロボット手術等の術中ナビゲーションシステムへの応用を可能とするものである。
【課題を解決するための手段】
【００１４】
請求項１に記載の発明は、所望の観察領域を示す抽出領域情報を記憶する記憶手段と、
所定時間ごとに収集される第１の時系列的な３次元画像データから、前記記憶手段に記憶されている抽出領域情報が示す観察領域を基準とした領域に含まれる３次元画像データを、前記収集されるごとに逐次、抽出する領域抽出手段と、前記第１の時系列的な３次元画像データから抽出された３次元画像データを時系列的に表示する表示手段と、を有することを特徴とする画像処理装置である。請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記記憶手段に記憶されている抽出領域情報は、予め所定時間ごとに収集された第２の時系列的な３次元画像データから３次元画像データを抽出したときに用いられた情報であることを特徴とするものである。請求項３に記載の発明は、請求項１又は請求項２のいずれかに記載の画像処理装置であって前記領域抽出手段は、観察対象の時間的変化に追従して前記所望の観察領域の範囲を変化させ、前記第１の時系列的な３次元画像データから変化後の観察領域に含まれる３次元画像データを抽出することを特徴とするものである。請求項４に記載の発明は、請求項２又は請求項３のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の生体情報とともに収集され、前記生体情報に基づいて、前記第１の時系列的な３次元画像データと前記第２の時系列的な３次元画像データとを同期させる時間同期手段を更に有することを特徴とするものである。請求項５に記載の発明は、請求項４に記載の画像処理装置であって、前記時間同期手段は、前記生体情報に基づいて、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データのうち、同じ時相に収集された３次元画像データ同士を同期させることを特徴とするものである。請求項６に記載の発明は、請求項４又は請求項５のいずれかに記載の画像処理装置であって、前記生体情報は、前記被検体の心電信号、筋電信号又は関節の動作を時系列的に示す関節動作情報からなることを特徴とするものである。請求項７に記載の発明は、請求項１乃至請求項６のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データの、それぞれの所定時間に欠けている３次元画像データを、前記所定時間の前後で収集された３次元画像データを用いて補間して生成する画像補間手段を更に有することを特徴とするものである。請求項８に記載の発明は、請求項２乃至請求項７のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の３次元位置情報とともに収集され、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とするものである。請求項９に記載の発明は、請求項２乃至請求項７のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データから、それぞれ時間ごとに変化する時系列的な３次元位置情報を抽出し、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とするものである。請求項１０に記載の発明は、請求項２乃至請求項９のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データのうち、いずれか一方の時系列的な３次元画像データに対して行われた操作又は画像処理を、他方の３次元画像データに対しても行う操作制御手段を更に有することを特徴とするものである。請求項１１に記載の発明は、請求項２乃至請求項９のいずれかに記載の画像処理装置であって、前記記憶手段は、前記第２の時系列的な３次元画像データに対して行われた操作の内容を示す操作情報、又は、前記第２の時系列的な３次元画像データに対して行われた画像処理の内容を示す画像処理情報を記憶し、前記記憶手段に記憶されている操作情報が示す操作、又は画像処理情報が示す画像処理を、前記第１の時系列的な３次元画像データに対して行う操作制御手段を更に有することを特徴とするものである。
【発明の効果】
【００１５】
請求項１及び請求項２に記載の発明によると、予め収集された時系列的な３次元画像データから抽出した領域の観察領域に基づいて、スキャンにより得られている時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することが可能となる。この発明を応用することにより、各時間における観察領域に含まれる３次元画像同士の比較を容易に行うことが可能となる。また、請求項３に記載の発明によると、観察対象の変化に追従して抽出する観察領域の範囲を変更して、スキャンにより得られている時系列的な３次元画像データに適用することにより、その時系列的な３次元画像データに適合した範囲に含まれる３次元画像を抽出することが可能となる。さらに、請求項４、請求項５及び請求項６に記載の発明によると、時間ごとに変化する生体情報に基づいて、予め収集された時系列的な３次元画像データと、スキャンにより得られている時系列的な３次元画像データとを同期させることが可能となる。これを応用することにより、同じ時間で収集された３次元画像同士の比較が可能となり、画像の比較が容易になる。また、請求項７に記載の発明によると、所定時間において３次元画像データが欠けている場合であっても、その所定時間の前後で収集された３次元画像データを用いて、その所定時間における３次元画像データを補間して生成することにより、その所定時間において３次元画像を比較することが可能となる。また、請求項８及び請求項９に記載の発明によると、時間ごとに座標系を一致させることにより、予め収集された時系列的な３次元画像データと、スキャンにより得られている時系列的な３次元画像データとの表示装置上における向き及び位置を時間ごとに一致させることが可能となる。この発明を応用することにより、３次元画像同士の比較が容易になる。また、請求項１０及び請求項１１に記載の発明によると、操作情報又は画像処理の内容を各時間における３次元画像に適用することにより、３次元画像同士の比較が容易になる。
【００１６】
以上のように、スキャン中にいわゆるリアルタイムに、時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出し、生体情報に基づいて時系列的な３次元画像データ同士を同期させ、更に、抽出された観察領域に含まれる３次元画像の向きや、表示装置に表示される３次元画像の角度や拡大率等の表示操作を、比較する時系列的な３次元画像データとの間で共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易にすることが可能となる。これにより、診断に有効な新たな情報を医師等に提供することが可能となる。
【００１７】
また、この発明を応用することにより、過去に収集された時系列的な３次元画像データ同士の時間ごとの比較も容易になる。そして、異なる種類の医用画像診断装置にて収集された時系列的な３次元画像データの時間ごとの比較も可能となるため、例えば、術前と術後の患部の経時変化や治療効果等の確認を容易にすることができる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【００１８】
さらに、この発明を応用することにより、術中に、観察したい領域に含まれる画像を抽出して表示装置に表示すること可能となるため、術者は術中にリアルタイムに臓器等の経時変化を観察することが可能となる。また、術中に、術前の時系列的な３次元画像との比較が可能となるため、治療等を行いつつ過去に収集された画像や実画像との比較も可能となる。
【発明を実施するための最良の形態】
【００１９】
［第１の実施の形態］
まず、この発明の第１の実施形態に係る画像処理装置について、図１乃至図１８を参照しつつ説明する。
【００２０】
（構成）
この発明の第１の実施形態に係る画像処理装置の構成について、図１及び図２を参照しつつ説明する。図１は、この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。医用画像システムは、医用画像診断装置１、位置情報収集部６、生体情報収集部７、画像処理装置２０及び記憶装置４０を備えて構成されている。
【００２１】
医用画像診断装置１は、例えば、Ｘ線ＣＴ装置や超音波診断装置等で構成されている。図１には、Ｘ線ＣＴ装置の例が示されている。照射部２は、Ｘ線源、高電圧発生装置及びＸ線源制御装置等で構成され、被検体である撮影対象に向けてＸ線ビームを曝射するものである。Ｘ線源は、例えば、チャンネル方向とスライス方向（被検体の体軸方向）との２方向に広がるいわゆるコーンビームＸ線を発生する。検出器３は、照射部２から曝射され、被検体を透過したＸ線ビームを検出するＸ線検出器からなる。また、検出器３は、例えば、Ｘ線検出素子を互いに直交する２方向それぞれにアレイ状に複数個配列され、これにより２次元のＸ線検出器を成している。
【００２２】
データ収集部４（ＤＡＳ）は、検出器３の各Ｘ線検出素子と同様にアレイ状に配列されたデータ収集素子を有し、検出器３により検出されたＸ線ビームを、スキャン制御部（図示しない）により出力されたデータ収集制御信号に対応させて収集する。この収集されたデータがＸ線投影データとなる。
【００２３】
画像再構成部５は、データ収集部４から出力されるＸ線投影データを逆投影処理することにより、画像データを再構成する。この逆投影の方法は公知の方法と同じであり、例えばＦｅｌｄｋａｍｐ法と呼ばれる方法に代表される３次元画像再構成アルゴリズムによる再構成を行い、スライス方向に広い対象領域（ボリューム）内におけるＸ線吸収係数の３次元的分布データ（以下、ボリュームデータと称する）を再構成する。再構成されたボリュームデータは、データ処理装置（図示しない）にて、操作者の指示に基づき、任意断面の断層像、任意方向からの投影像、レンダリング処理による特定臓器の３次元表面画像等のいわゆる擬似３次元画像データに変換され、画像処理装置２０に送られる。
【００２４】
位置情報収集部６は、例えば、磁気的又は光学的な原理により動作する３次元位置センサからなり、被検体（撮影対象）Ｐの３次元位置情報を収集し、その３次元位置情報を時間ごとに位置制御部３３に出力する。つまり、位置情報収集部６は時系列的な３次元位置情報を収集して位置制御部３３に出力する。なお、後述するが、３次元画像データから抽出される解剖学的特徴点も３次元位置情報とする。
【００２５】
生体情報収集部７は、医用画像診断装置１にてスキャン中に、被検体の心電信号（ＥＣＧ信号）、筋電信号（ＥＭＧ信号）又は関節の動作情報等の生体情報を取得するものである。例えば心電計が用いられる場合は、生体情報収集部７は、被検体の心電信号（ＥＣＧ信号）を検出し、検出された心電信号（ＥＣＧ信号）をデジタル信号に変換する。そして、時系列的な３次元画像データと同時に得られる心電信号（ＥＣＧ信号）は、時間ごとに収集される複数の３次元画像データの付帯情報として時間制御部３４に出力され、更に生体情報記憶部４３に保存される。なお、筋電信号（ＥＭＧ信号）とは、筋の活動電位を皮膚表面から測定した信号である、また、関節の動作情報とは、意図的に被検体の関節を動かしたときのその関節がなす角度等を示すものであり、動かすことにより、時間ごとに変化して異なる角度となる。
【００２６】
画像処理装置２０は、操作入力部２１、画像表示部２２及び制御部３０を備えて構成されている。画像表示部２２は、医用画像診断装置１にて収集された時系列的な３次元画像を表示する。操作入力部２１は、画像表示部２２に表示された時系列的な３次元画像に対する画像処理、計測、領域抽出等の操作を行うものであり、その操作に対応する信号がシステム制御部３１に出力される。
【００２７】
制御部３０は、システム制御部３１、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６を備えて構成されている。システム制御部３１は、画像処理装置２０の各部に接続されて、画像処理装置２０全体の動作を制御するものである。
【００２８】
画像制御部３２は、医用画像診断装置１から出力される時系列的な３次元画像データを制御するものである。具体的には、医用画像診断装置１にてスキャン中に、画像再構成部５から出力される時系列的な３次元画像データを読み込み、それと同時に、記憶装置４０の画像記憶部４１に記憶され、予め収集されている時系列的な３次元画像データを読み込んで、それらを位置制御部３３に出力する。
【００２９】
位置制御部３３は、医用画像診断装置１にて収集されている時系列的な３次元画像データの座標系と、画像記憶部４１に保存されている時系列的な３次元画像データの座標系を一致させるものである。位置制御部３３は、画像に表示されたマーカや解剖学的特徴点等の、時間ごとに少しずつ異なる時系列的な３次元位置情報を抽出し、その３次元位置情報を基準として各時間に収集された画像内にローカル座標を定義し、比較する３次元画像同士のローカル座標を一致させる。例えば、予め撮影時に被検体Ｐに補助具等を装着させ、その状態で撮像すると、画像中にマーカが表示されるため、このマーカを３次元位置情報として、位置制御部３３は各画像においてローカル座標系を定義する。なお、解剖学的特徴点とは、例えば図４に示すような骨格上の特徴点を意味する。
【００３０】
具体的には、位置制御部３３は、スキャン中の時系列的な３次元画像から３次元位置情報を抽出し、更に、画像記憶部４１に保存されている３次元画像内の３次元位置情報を読み込む。そして、位置制御部３３は、それら時系列的な３次元位置情報から各時間における３次元画像のローカル座標系を定義し、ローカル座標系を一致させる。
【００３１】
また、位置制御部３３は、３次元位置センサを備えた位置情報収集部６により収集された被検体（撮影対象）Ｐの時系列的な３次元位置情報を読み込み、その３次元位置情報を基準に各時間に収集された画像においてローカル座標系を定義して、各画像のローカル座標を一致させても良い。
【００３２】
時間制御部３４は、生体情報収集部７により収集された生体情報と、生体情報記憶部４３に記憶されている生体情報とを読み込む。この生体情報は、時間ごとに変化する情報であり、上述した心電信号（ＥＣＧ信号）や筋電信号（ＥＭＧ信号）等が該当する。そして、時間制御部３４は、読み込んだ生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データと、画像記憶部４１に保存されている時系列的な３次元画像データとを同期させる。つまり、同じ時刻（時相）に収集された３次元画像データを画像表示部２２に同時に表示させるために、３次元画像データの付帯情報としての生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データ及び予め収集されている時系列的な３次元画像データのうち、同じ時刻（時相）に収集された３次元画像データ同士を同期させ、画像表示部２２は、同期させられた３次元画像データを同時に表示する。
【００３３】
さらに、スキャンにより得られている３次元画像データと予め収集された３次元画像データとで、単位時間当たり（例えば１秒当たり）の画像数が異なる場合は、単位時間当たりの画像数が少ない画像データに対して補間処理を行って、スキャンにより得られている３次元画像データと予め収集された３次元画像データとを同期させる。
【００３４】
領域制御部３５は、３次元画像データから所望の観察領域に含まれる３次元画像データを抽出するものである。例えば、領域制御部３５は、３次元画像のうち、所望の観察領域の範囲内の３次元画像を出力し、画像表示部２２にて抽出された観察領域に含まれる３次元画像を表示するものである。この実施形態においては、領域制御部３５は、領域情報記憶部４４に記憶されている、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その観察領域を示す情報（抽出領域情報）を読み込み、スキャンにより得られている時系列的な３次元画像データからその抽出領域情報に対応する領域に含まれる３次元画像データの抽出を行う。この抽出領域情報も時系列的なものであり、時間ごとに異なるものである。
【００３５】
なお、観察領域の指定は操作入力部２１により行われる。例えば、操作入力部２１に備えられているマウス等を操作者が操作することにより、画像表示部２２に表示されている画像の観察したい領域（範囲）を指定すると、領域制御部３５は、その指定された観察領域（範囲）に含まれる画像を抽出して画像表示部２２に表示させる。そして、指定された観察領域を示す情報（抽出領域情報）は領域情報記憶部４４に記憶される。このようにして、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データが抽出される。
【００３６】
操作制御部３６は、操作情報記憶部４５に記憶されている操作情報や画像処理のパラメータを読み込み、その操作情報や画像処理のパラメータを、スキャンにより得られている時系列的な３次元画像データに反映させる。この操作情報は、画像表示部２２で表示される画像に対して行われる回転操作、移動又は拡大等の操作を示す情報である。また、画像処理のパラメータは、画像の不透明度を決定する係数であるオパシティ（Ｏｐａｃｉｔｙ）やコントラストや明るさ等を決定する係数であるパラメータ（ＷＬ／ＷＷ）等である。予め収集された時系列的な３次元画像データに対して行われた回転操作等の操作や画像処理を、スキャン中の時系列的な３次元画像データに対しても行い、画像表示部２２に表示される画像の、回転角度や大きさや不透明度やコントラスト等を統一する。つまり、画像表示部２２の画面上において、３次元画像の観察角度や拡大率や位置や不透明度やコントラスト等を統一して、観察を容易にするものである。この操作情報及び画像処理のパラメータも時系列的なものであり、時間ごとに異なるものである。
【００３７】
また、操作制御部３６は、操作入力部２１から入力された操作情報を、スキャンにより得られている時系列的な３次元画像データに反映するだけでなく、予め収集された時系列的な３次元画像データに対しても反映する。つまり、操作入力部２１から操作情報が入力されると、操作制御部３６は、画像表示部２２に表示されている、スキャンにより得られている時系列的な３次元画像データ及び予め収集された時系列的な３次元画像データに、その操作情報を反映する。例えば、回転操作を示す情報が操作入力部２１から入力されると、操作制御部３６は、画像表示部２２においてスキャンにより得られている時系列的な３次元画像データを回転させるとともに、予め収集された時系列的な３次元画像データを同じように回転させる。同様に、予め収集された時系列的な３次元画像データを回転させると、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データも回転させる。このように、画像表示部２２に表示される画像の、観察角度や拡大率等を統一する。
【００３８】
さらに、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データに対してある画像処理が施されると、同じ画像処理を予め収集された時系列的な３次元画像データに施す。例えば、画像の不透明度やコントラストや明るさ等を統一するために、スキャンにより得られている時系列的な３次元画像データに対して施された画像処理のパラメータ（オパシティ等）と同じパラメータを用いて、予め収集された時系列的な３次元画像データに対して画像処理を施す。このように、画像表示部２２に表示される画像の不透明度やコントラスト等を統一する。
【００３９】
画像表示部２２は、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５又は操作制御部３６によって処理が施された時系列的な３次元画像データを表示する。
【００４０】
また、システム制御部３１は、操作入力部２１からの指示に従って、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６の処理を個別に解除することもできる。つまり、システム制御部３１の制御により、ある画像データに対しては、位置制御部３３による処理のみを行い、その他の時間制御部３４、領域制御部３５等による処理を行わないようにしても良い。また、システム制御部３１の制御により、ある画像データに対しては、位置制御部３３、時間制御部３４及び領域制御部３５による処理を行い、操作制御部３６による処理を行わないようにしても良い。この実施形態に係る画像処理装置２０によると、このように全ての処理を行わず、指定された処理の情報のみを共有させて画像表示部２２に画像を表示することができる。
【００４１】
また、記憶装置４０は、画像記憶部４１、位置情報記憶部４２、生体情報記憶部４３、領域情報記憶部４４及び操作情報記憶部４５を備えて構成されている。
【００４２】
画像記憶部４１には、医用画像診断装置１により予め所定時間ごとに収集された時系列的な３次元画像データが保存されている。例えば、Ｘ線ＣＴ装置、超音波診断装置又はＭＲＩ装置等により収集された、時間ごとに少しずつ異なる時系列的な３次元画像データが保存されている。この実施形態に係る医用画像診断装置１はＸ線ＣＴ装置を想定しているが、画像記憶部４１には、Ｘ線ＣＴ装置により収集された画像データの他、別の装置、例えば、超音波診断装置やＭＲＩ装置等により収集された画像データが保存されていても良い。つまり、同じ診断装置で収集された画像データのみならず、別の診断装置で収集された画像データが保存されていても構わないことになる。例えば、異なる診断装置で収集された画像同士を比較するために、異なる診断装置で収集された画像データを保存しておく。
【００４３】
位置情報記憶部４２には、解剖学的特徴点や予め撮像時に被検体に装着された補助具によるマーカ等により表される、時間ごとに少しずつ異なる時系列的な３次元位置情報が記憶されている。または、位置情報収集部６により収集された被検体Ｐの３次元位置情報が記憶されている。
【００４４】
生体情報記憶部４３には、心電信号（ＥＣＧ）、筋電信号（ＥＭＧ）又は関節動作情報等からなる時間ごとに変化する生体情報が記憶されている。この生体情報は、医用画像診断装置１によるスキャン中に同時に被検体Ｐから収集される情報であり、時間ごとに収集される複数の３次元画像データの付帯情報を成すものである。
【００４５】
領域情報記憶部４４には、予め医用画像診断装置１により収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その観察領域の範囲を示す、時間ごとに異なる情報（領域抽出情報）が記憶されている。
【００４６】
操作情報記憶部４５には、予め医用画像診断装置１により収集された時系列的な３次元画像データに対して、画像表示部２２の画面上で行われた操作を示す、時間ごとに異なる操作情報が記憶されている。
【００４７】
なお、図１に示す例においては、Ｘ線ＣＴ装置としての医用画像診断装置１の外部に、この実施形態の特徴部分である画像処理装置２０を設け、医用画像診断装置１から送られてくる画像データを処理しているが、この発明はその例に限定されることはない。例えば、医用画像診断装置１内（Ｘ線ＣＴ装置内）に画像処理装置２０を設け、医用画像診断装置１の内部にて画像処理を行っても良い。つまり、医用画像診断装置１（Ｘ線ＣＴ装置）自体に画像処理装置２０の機能を持たせて、医用画像診断装置１が画像処理を行っても良い。
【００４８】
従って、医用画像診断装置１と画像処理装置２０とをネットワーク等を介して接続し、医用画像診断装置１にて収集された画像データを画像処理装置２０に送信して、画像処理装置２０にて画像処理を行っても良く、また、医用画像診断装置１内に画像処理装置２０を設け、医用画像診断装置１自体が画像処理を行っても良い。さらに、画像処理装置２０ととともに記憶装置４０も医用画像診断装置１に設けても良い。
【００４９】
上述した例においては、医用画像診断装置１としてＸ線ＣＴ装置を用いているが、この他、超音波診断装置やＭＲＩ装置等を用いても良い。図２に、医用画像診断装置として超音波診断装置を用いた例を示す。図２のブロック図に示す医用画像システムにおいては、医用画像診断装置の構成のみが異なっている。図２に示す医用画像診断装置１０は、超音波診断装置からなり、超音波プローブ１１、送受信部１２、信号処理部１３及びＤＳＣ（デジタルスキャンコンバータ）１４を備えて構成されている。
【００５０】
超音波プローブ１１は、超音波を送受信する超音波振動子がマトリックス（格子）状に配置された２次元超音波プローブからなる。そして、走査（スキャン）することによって３次元的に超音波を送受信し、プローブの表面から放射状に広がる形状の３次元データをエコー信号として受信する。また、超音波プローブ２として１次元超音波プローブを用いた場合は、超音波プローブ２を機械的に走査することで３次元データを収集する。
【００５１】
送受信部１２は送信部と受信部とからなり、超音波プローブ１１に電気信号を供給して超音波を発生させるとともに、超音波プローブ１１が受信したエコー信号を受信する。
【００５２】
送受信部１２内の送信部は、図示しないクロック発生回路、送信遅延回路及びパルサ回路を備えている。クロック発生回路は、超音波信号の送信タイミングや送信周波数を決めるクロック信号を発生する回路である。送信遅延回路は、超音波の送信時に遅延を掛けて送信フォーカスを実施する回路である。パルサ回路は、各超音波振動子に対応した個別経路（チャンネル）の数分のパルサを内蔵し、遅延が掛けられた送信タイミングで駆動パルスを発生し、超音波プローブ１２の各超音波振動子に供給するようになっている。
【００５３】
また、送受信部１２内の受信部は、図示しないプリアンプ回路、Ａ／Ｄ変換回路及び受信遅延・加算回路を備えている。プリアンプ回路は、超音波プローブ１１の各超音波振動子から出力されるエコー信号を受信チャンネルごとに増幅する。Ａ／Ｄ変換回路は、増幅されたエコー信号をＡ／Ｄ変換する。受信遅延・加算回路は、Ａ／Ｄ変換後のエコー信号に対して受信指向性を決定するのに必要な遅延時間を与え、加算する。その加算により、受信指向性に応じた方向からの反射成分が強調される。この受信部から出力される信号をＲＦデータと称する。
【００５４】
信号処理部１３は、Ｂモード処理部、ドプラ処理部及びカラーモード処理部を備えている。送受信部１２から出力されたＲＦデータは、いずれかの処理部にて所定の処理を施される。
【００５５】
Ｂモード処理部は、エコーの振幅情報の映像化を行い、エコー信号からＢモード超音波ラスタデータを生成する。具体的には、ＲＦデータに対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波し、検波されたデータに対して対数変換による圧縮処理を施す。その他、エッジ強調等の処理が行われる場合もある。このＢモード処理部で生成されるデータをＢモード超音波ラスタデータという。
【００５６】
ドプラ処理部は、位相検波回路及びＦＦＴ演算回路等から構成され、ＲＦデータからドプラ偏移周波数成分を取り出し、更にＦＦＴ処理等を施して血流情報を有するデータを生成する
【００５７】
カラーモード処理部は、動いている血流情報の映像化を行い、カラー超音波ラスタデータを生成する。血流情報には、速度、分散、パワー等の情報があり、血流情報は２値化情報として得られる。具体的には、カラーモード処理部は、位相検波回路、ＭＴＩフィルタ、自己相関器、及び流速・分散演算器から構成されている。このカラーモード処理部は、組織信号と血流信号とを分離するためのハイパスフィルタ処理（ＭＴＩフィルタ処理）が行われ、自己相関処理により血流の移動速度、分散、パワー等の血流情報を多点について求める。その他、組織信号を低減及び削減するための非線形処理が行われる場合もある。
【００５８】
ＤＳＣ１４（Ｄｉｇｉｔａｌ Ｓｃａｎ Ｃｏｎｖｅｒｔｅｒ：デジタルスキャンコンバータ）は、直交座標系で表される画像を得るために、超音波ラスタデータを直交座標で表されるボクセルデータに変換する。ＤＳＣ１４は、上述した信号処理部１３から出力された走査線信号列で表される信号処理後のデータを空間情報に基づいた座標系のデータに変換する（スキャンコンバージョン処理）。つまり、超音波走査に同期した信号列をテレビ走査方式の画像表示部２２で表示できるようにするために、標準のテレビ走査に同期して読み出すことにより走査方式を変換している。
【００５９】
ＤＳＣ１４から出力されたボクセルデータは、ボリュームレンダリング処理回路（図示しない）によりボリュームレンダリング処理が施されて３次元画像データが生成される。この３次元画像データは画像制御部３２を介して画像記憶部４１に記憶されるとともに、画像表示部２２により表示される。
【００６０】
なお、医用画像診断装置１０として超音波診断装置を用いた場合も、上述したＸ線ＣＴ装置の例と同様に、医用画像診断装置１０（超音波診断装置）内に画像処理装置２０を設け、医用画像診断装置１０（超音波診断装置）内で画像処理を行っても良い。
【００６１】
（動作）
次に、この発明の第１の実施形態に係る画像処理装置に動作について、図３乃至図１８を参照しつつ説明する。まず、スキャンにより得られている時系列的な３次元画像データと、予め収集されて画像記憶部４１に保存されている時系列的な３次元画像データとの座標系を一致させるための制御について、図３及び図４を参照しつつ説明する。図３は、この発明の第１の実施形態に係る画像処理装置による座標変換処理を順番に示すフローチャートである。図４は、この発明の第１の実施形態に係る画像処理装置による座標変換処理を説明するための図である。
【００６２】
まず、Ｘ線ＣＴ装置又は超音波診断装置等からなる医用画像診断装置１（１０）により、時間的に少しずつ異なる時系列的な３次元画像データが収集され、図１又は図２に示す画像制御部３２を介して画像記憶部４１に保存される。この時系列的な３次元画像データは、画像制御部３２からシステム制御部３１を介して画像表示部２２に出力され、画像表示部２２にて時間ごとに少しずつ異なる３次元画像データが表示される。これにより、操作者は、３次元画像データを動画としていわゆるリアルタイムに観察することが可能となる。この画像記憶部４１に保存されている時系列的な３次元画像データを、予め収集された時系列的な３次元画像データ（過去に収集された時系列的な３次元画像データ）とし、便宜的に「時系列的な３次元画像データＡ」と称する場合もある。
【００６３】
そして、医用画像診断装置１（１０）により、時間ごとに少しずつ異なる、新たな時系列的な３次元画像データを収集する。ここで、今現在スキャンにより得られている時系列的な３次元画像データを、便宜的に「時系列的な３次元画像データＢ」と称する場合もある。この新たな時系列的な３次元画像データＢは、逐次、医用画像診断装置１（１０）から画像処理装置２０の画像制御部３２に出力される。
【００６４】
そして、スキャンにより新たな時系列的な３次元画像データＢを収集しているときに、画像制御部３２は、画像記憶部４１から予め収集された時系列的な３次元画像データＡを読み込む。そして、画像制御部３２は、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとを位置制御部３３に出力する。
【００６５】
位置制御部３３は、位置情報記憶部４２に記憶されている、予め収集された時系列的な３次元画像データＡにおける、時間ごとに少しずつ異なる時系列的な３次元位置情報を読み込む（ステップＳ０１）。位置制御部３３は、例えば図４に示すような、解剖学的特徴点（骨格上の特徴点）で表される時系列的な３次元位置情報を読み込む。この解剖学的特徴点で表される３次元位置情報は時間ごとに少しずつ異なるものである。
【００６６】
さらに、位置制御部３３は、スキャンにより得られている時系列的な３次元画像データＢにおける、時間ごとに少しずつ異なる時系列的な３次元位置情報を抽出する（ステップＳ０２）。例えば、位置制御部３３は、画像制御部３２から送られるスキャンにより得られている時系列的な３次元画像データＢから解剖学的特徴点（骨格上の特徴点）を抽出し、その解剖学的特徴点を３次元位置情報とする。この解剖学的特徴点で表される３次元位置情報も時間ごとに少しずつ異なるものである。
【００６７】
そして、位置制御部３３は、予め収集された時系列的な３次元画像データＡの解剖学的特徴点と、スキャンにより得られている時系列的な３次元画像データＢの解剖学的特徴点とを比較し、それらが一致しているか否かの判断を行う（ステップＳ０３）。位置制御部３３により、解剖学的特徴点が一致していないと判断された場合は（ステップＳ０３、Ｎｏ）、例えば、スキャンにより得られている３次元画像データＢから新たな解剖学的特徴点を抽出し、予め収集された３次元画像データＡの解剖学的特徴点と一致させる（ステップＳ０４）。
【００６８】
位置制御部３３により、解剖学的特徴点が一致すると判断された場合は（ステップＳ０３、Ｙｅｓ）、位置制御部３３は、各３次元画像データにおけるローカル座標系を定義する（ステップＳ０５）。例えば、図４に示すように、位置制御部３３により３点の解剖学的特徴点が抽出された場合、その３点で表される座標系をローカル座標系と定義する。図４（ａ）には、予め収集された３次元画像データＡとその解剖学的特徴点が示され、図４（ｂ）には、スキャンにより得られている３次元画像データＢとその解剖学的特徴点が示されている。そして、位置制御部３３は、図４（ａ）、（ｂ）に示すように、３点の解剖学的特徴点に従ってローカル座標系を定義する。なお、複数の３次元画像の位置合わせを行う場合、一致させたい診断部位によって定義するローカル座標は異なる。
【００６９】
そして、位置制御部３３は、スキャンにより得られている３次元画像データＢのローカル座標系を座標変換して、予め収集された３次元画像データＡのローカル座標系に一致させる（ステップＳ０６）。例えば、図４（ｃ）に示すように、位置制御部３３は、スキャンにより得られている時系列的な３次元画像データＢのローカル座標系を座標変換して回転させ、更に移動させることにより、両者のローカル座標系を一致させる。これにより、そのローカル座標系で表される３次元画像データＢも回転させられ、３次元画像データＡと３次元画像データＢの向き及び位置が一致することになる。
【００７０】
このように両画像データの向き及び位置を一致させることができるため、スキャンにより得られている時系列的な３次元画像データＢと、予め収集された時系列的な３次元画像データＡとを画像表示部２２に表示させると、両画像の向き及び位置が一致しているため、両画像の比較が容易になる。
【００７１】
また、３次元位置情報として解剖学的特徴点を用いずに、３次元位置センサからなる位置情報収集部６により収集された被検体Ｐの３次元位置情報や、予め撮像時に被検体に装着させた補助具により撮像されたマーカ等により表される３次元位置情報を用いても良い。この場合、位置制御部３３は、位置情報記憶部４２に記憶されている、予め収集された時系列的な３次元画像データＡにおける、３次元位置センサにより収集された被検体Ｐの３次元位置情報や、マーカ等により表される３次元位置情報を読み込む。
【００７２】
さらに、位置制御部３３は、位置情報収集部６から、スキャンにより得られている時系列的な３次元画像データＢにおける、３次元位置センサにより収集された被検体Ｐの３次元位置情報や、マーカ等により表される３次元位置情報を読み込む。
【００７３】
そして、位置制御部３３は、３次元画像データＡのマーカ等と３次元画像データＢのマーカ等の位置及び向きを一致させる。このように、マーカ等の３次元位置情報を基準にして向き及び位置を調整することにより、３次元画像データＡと３次元画像データＢの向き及び位置が一致することになり、両画像の観察、比較が容易になる。
【００７４】
このように各３次元画像データの向き及び位置が一致させられた後、各３次元画像データは時間制御部３４に出力される。時間制御部３４は、生体情報収集部７により収集される心電波形（ＥＣＧ信号）等の生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データＢと、予め収集された時系列的な３次元画像データＡとを同期させる。この時間制御部３４による制御について、図５乃至図１１を参照しつつ説明する。図５は、この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像データを同期させて表示する処理を順番に示すフローチャートである。
【００７５】
まず、時間制御部３４は、位置制御部３３から出力された３次元画像データＡと３次元画像データＢとを受け、更に、生体情報記憶部４３に記憶されている、予め収集された３次元画像データＡの付帯情報である生体情報を読み込む（ステップＳ１０）。次に、時間制御部３４は、生体情報収集部７から、スキャンにより得られている３次元画像データＢの付帯情報である生体情報を読み込む（ステップＳ１１）。
【００７６】
生体情報収集部７として、心電計を用いた場合は、被検体（撮影対象）Ｐの心電信号（ＥＣＧ信号）が収集されるため、その心電信号（ＥＣＧ信号）が生体情報となる。また、筋電計を用いた場合は、ＥＭＧ信号が収集されるため、そのＥＭＧ信号が生体情報となる。その他、意図的に被検体の関節を動かしたときのその動きを示す関節動作情報を生体情報とすることもできる。
【００７７】
時間制御部３４は、３次元画像データＡの付帯情報としての生体情報と、３次元画像データＢの付帯情報としての生体情報とが一致しているか否かの判断を行い（ステップＳ１２）、生体情報が異なっている場合は（ステップＳ１２、Ｎｏ）、時間制御部３４は、生体情報を一致させる（ステップＳ１３）。例えば、３次元画像データＡの生体情報として筋電信号（ＥＭＧ信号）が読み込まれ、３次元画像データＢの生体情報として心電信号（ＥＣＧ信号）が読み込まれた場合は、生体情報が異なっている。この場合、時間制御部３４は、例えば、３次元画像データＡの生体情報として心電信号（ＥＣＧ信号）を生体情報記憶部４３から読み込み、生体情報を一致させる。
【００７８】
この実施形態においては、生体情報収集部７に心電計を用いて、被検体Ｐの心電信号（ＥＣＧ信号）を収集する場合について説明する。生体情報が一致している場合は（ステップＳ１２、Ｙｅｓ）、時間制御部３４は、その生体情報のタイムスケールを一致させ、互いの生体情報の時刻（時相）を一致させる（ステップＳ１４）。ここで、生体情報として心電信号（ＥＣＧ信号）を用いた場合において、タイムスケールを一致させる処理について図６及び図７を参照しつつ説明する。図６は、心電信号（ＥＣＧ信号）を示す図である。図７は、この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を説明するための図である。
【００７９】
図６に示す、ＥＣＧ１は、予め収集された時系列的な３次元画像データＡを収集する際に、同時に収集された心電信号（ＥＣＧ信号）である。また、ＥＣＧ２は、スキャンにより得られている時系列的な３次元画像データＢを収集している際に、同時に収集されている心電信号（ＥＣＧ信号）である。この例においては、ＥＣＧ２よりもＥＣＧ１の方が心拍の間隔が短い。なお、図６に示すように、心電信号（ＥＣＧ信号）には、「Ｐ」、「Ｑ」、「Ｒ」、「Ｓ」、「Ｔ」、「Ｕ」と命名されたピークがある。
【００８０】
時間制御部３４は、ＥＣＧ１とＥＣＧ２とを利用して、３次元画像データＡと３次元画像データＢのタイムスケールを一致させる。時間制御部３４は、例えば、ＥＣＧ信号のＲ波（ピークＲ）のみを抽出して、Ｒ波（ピークＲ）を一致させることにより、タイムスケールを一致させる。例えば図７に示すように、ＥＣＧ１のＲ波（ピークＲ）が、ＥＣＧ２のＲ波（ピークＲ）に一致するようにＥＣＧ１の時間軸を延ばしてＥＣＧ１’とする。また、Ｒ波（ピークＲ）のみならず、他のピークも使用してタイムスケールを一致させても良い。例えば、時間制御部３４は、ＥＣＧ１の各ピークが、ＥＣＧ２の各ピークにそれぞれ一致するようにＥＣＧ１の時間軸を延ばしてＥＣＧ１’としても良い。このように、３次元画像データＡと３次元画像データＢのタイムスケールを一致させ、同じ時刻（時相）における３次元画像データ同士を同期させ、それらを画像表示部２２に出力して画像表示部２２にて同時に表示することで、同じ時刻（時相）にて収集された３次元画像同士の比較が可能となる。
【００８１】
そして、時間制御部３４は、３次元画像データＡ及び３次元画像データＢの単位時間当たり（例えば１秒当たり）の画像数をそれぞれ算出し、単位時間当たりの画像数が少ない方の画像データに対して補間処理を施して所定の時刻（時相）の３次元画像データを生成する。例えば、単位時間当たりの画像数が、３次元画像データＡよりも３次元画像データＢの方が多い場合は（ステップＳ１５、Ｙｅｓ）、３次元画像データＡに対して補間処理を施して、単位時間当たりの画像数を３次元画像データＢに一致させる（ステップＳ１７）。一方、単位時間当たりの画像数が、３次元画像データＢよりも３次元画像データＡの方が多い場合は（ステップＳ１５、Ｎｏ）、３次元画像データＢに対して補間処理を施して、単位時間当たりの画像数を３次元画像データＡに一致させる（ステップＳ１６）。
【００８２】
ここでは、まず、３次元画像データＡと３次元画像データＢの単位時間当たりの画像数が同じ場合であって、補間処理を行わない場合について説明する。
【００８３】
図７に示すように、予め収集された時系列的な３次元画像データＡのうち、ピークＰにて収集された３次元画像データを、画像データｇ１１とし、ピークＲにて収集された３次元画像データを、画像データｇ１２とし、ピークＴにて収集された３次元画像データを、画像データｇ１３とする。さらに続けて、ピークＲにて収集された３次元画像データを、画像データｇ１４とし、ピークＴにて収集された３次元画像データを、画像データｇ１５とし、ピークＰにて収集された３次元画像データを、画像データｇ１６とする。
【００８４】
また、スキャンにより得られている時系列的な３次元画像データＢのうち、ピークＰにて収集された３次元画像データを、画像データｇ２１とし、ピークＲにて収集された３次元画像データを、画像データｇ２２とし、ピークＴにて収集された３次元画像データを、画像データｇ２３とする。さらに続けて、ピークＲにて収集された３次元画像データを、画像データｇ２４とし、ピークＴにて収集された３次元画像データを、画像データｇ２５とし、ピークＰにて収集された３次元画像データを、画像データｇ２６とする。
【００８５】
そして、ＥＣＧ１’とＥＣＧ２の時刻（時相）が一致する３次元画像データＡ及び３次元画像データＢを、画像表示部２２にて同時に表示することで、同じ時刻（時相）の３次元画像データを表示して比較することが可能となる。このように同期表示することにより、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとの比較が容易になる。
【００８６】
例えば、ピークＲにて収集された画像データｇ１２と画像データｇ２２とを同時に表示することで、つまり、スキャンにより得られている画像データｇ２２の表示のタイミングに合わせて予め収集された画像データｇ１２を表示することで、ピークＲにおける画像同士の比較が可能となる。
【００８７】
次に、単位時間当たりの画像数が、３次元画像データＡよりも３次元画像データＢの方が多い場合（ステップＳ１５、Ｙｅｓ）について説明する。この場合においては、ある時刻（時相）において収集された３次元画像データＢに対応する３次元画像データＡが欠けて存在しないため、３次元画像データＡに対して補間処理を施して、その時刻（時相）における欠けている３次元画像データを生成して、その時刻（時相）の３次元画像データＢに一致させる。
【００８８】
予め収集された時系列的な３次元画像データＡを補間する場合について、図８及び図９を参照しつつ説明する。図８及び図９は、この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【００８９】
図８に示すように、時間制御部３４によりタイムスケールが延ばされた状態において、画像データｇ２３に対応する画像データｇ１３が存在しない。つまり、時刻（時相）ｔ３（ピークＴ）における３次元画像データＡが欠けて存在しない。従って、３次元画像データＡと３次元画像データＢとを比較する場合に、時刻（時相）ｔ３（ピークＴ）における画像データ同士の比較が不可能となってしまう。そこで、時間制御部３４は、時刻（時相）ｔ３の前後の時刻（時相）ｔ２、ｔ４にて収集された画像データｇ１２及びｇ１４を用いて、時刻（時相）ｔ３の欠けている画像データｇ１３を補間して求める。
【００９０】
図９（ａ）に、時刻（時相）ｔ２、ｔ４におけるボリュームデータ内のボクセル位置とボクセル値との関係を示す。横軸は、ボリュームデータのボクセル位置を示し、縦軸はそのボクセル位置におけるボクセル値を示している。例えば、任意のボクセル位置ｎにおける時刻（時相）ｔ２のボクセル値はｖ２となり、時刻（時相）ｔ４のボクセル値はｖ４となる。
【００９１】
図９（ｂ）に、任意のボクセル位置ｎにおける、時刻（時相）ｔ２のボクセル値と、時刻（時相）ｔ４のボクセル値とを示す。時刻（時相）ｔ３におけるボクセル値ｖ３は、ボクセル値ｖ２とｖ４との間にあると推測されるため、ボクセル値ｖ２とｖ４を結ぶ、ユーザ指定の関数「ｖ＝ｆ（ｔ）」により、時間制御部３４は、時刻（時相）ｔ３におけるボクセル値ｖ３を算出する。この関数「ｖ＝ｆ（ｔ）」は、線形又は非線形の関数の指定が可能である。そして、時間制御部３４は、全てのボクセル位置におけるボクセル値を算出し、時刻（時相）ｔ３における欠けている画像データｇ１３を生成する。
【００９２】
このように、画像データを補間して３次元画像データＡ及び３次元画像データＢを、画像表示部２２にて同時に表示することで、同じ時刻（時相）の３次元画像データを表示して比較することが可能となる。
【００９３】
次に、単位時間当たりの画像数が、３次元画像データＢよりも３次元画像データＡの方が多い場合（ステップＳ１５、Ｎｏ）について説明する。この場合においては、ある時刻（時相）において収集された３次元画像データＡに対応する３次元画像データＢが欠けて存在しないため、３次元画像データＢに対して補間処理を施して、その時刻（時相）における画像データを生成して、３次元画像データＡに一致させる。
【００９４】
スキャンにより得られている時系列的な３次元画像データＢを補間する場合について、図１０及び図１１を参照しつつ説明する。図１０及び図１１は、この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【００９５】
例えば図１０に示すように、画像データｇ１３に対応する画像データｇ２３が欠けて存在しないものとする。つまり、時刻（時相）ｔ３における３次元画像データＢが欠けて存在しない。この場合も上述した補間方法により補間して時刻ｔ３における３次元画像データＢを生成すれば良いが、３次元画像データＢは今現在、スキャンにより収集しているデータであるため、時刻ｔ３における３次元画像データを表示するまでに、時刻ｔ４における３次元画像データが収集されていなければ、時刻ｔ３における３次元画像データを補間することができない。つまり、図１０に時刻ｔ０で表す現在の時刻においては、画像データｇ２４以降のデータが存在しないため、時刻ｔ０の段階においては、上述したように時刻ｔ２と時刻ｔ４における３次元画像データを用いて補間処理を行って、時刻（時相）ｔ３における欠けている画像データｇ２３を生成することはできない。
【００９６】
そこで、スキャンにより現在得られている時系列的な３次元画像データＢを補間する場合は、画像表示部２２の表示更新のタイミングをずらすことによって、補間処理を完了して画像データを生成し、補完された画像データを表示する。
【００９７】
この画像表示更新タイミングについて、図１１を参照しつつ説明する。横軸を時間ｔとする。医用画像診断装置１のスキャンにより、所定時間ごとにデータ収集部４によりデータが収集され、画像再構成部５により次々とボリュームデータＶ１〜が再構成される。そして、例えばボリュームデータＶ１とＶ２との間の３次元画像データを補間して求める場合は、ボリュームデータＶ１、Ｖ２が再構成されると、時間制御部３４はそのボリュームデータＶ１、Ｖ２を用いて、ボリュームデータＶ１とボリュームデータＶ２が収集される間のボリュームデータを補間して生成する。また、ボリュームデータＶ３が再構成され、ボリュームデータＶ２とＶ３と間の３次元画像データを補間して求める場合は、時間制御部３４は、ボリュームデータＶ２、Ｖ３を用いて、ボリュームデータＶ２とＶ３の間のボリュームデータを補間して生成する。
【００９８】
そして、画像表示部２２は、ボリュームデータＶ１に対応する３次元画像データを表示した後、ボリュームデータＶ２に対応する３次元画像データを表示する前に、補間されたボリュームデータに対応する３次元画像データを表示する。画像表示部２２は、補間された３次元画像データが表示された一定時間後に、ボリュームデータＶ２に対応する３次元画像データを表示する。画像表示部２２は表示更新の間隔を一定に保ちつつ、ボリュームデータＶ１に対応する３次元画像、Ｖ１とＶ２の補間により生成された３次元画像、ボリュームデータＶ２に対応する３次元画像、Ｖ２とＶ３の補間により生成された３次元画像、ボリュームデータＶ３に対応する３次元画像、・・・の順番で、３次元画像を表示する。
【００９９】
つまり、３次元画像Ｖ１が表示されてから次の画像が表示されるまでの間に、３次元画像Ｖ２を再構成し、３次元画像Ｖ１とＶ２を用いて補間し、それから補間された３次元画像の表示を行い、その後、３次元画像Ｖ２を表示する。
【０１００】
図１０に示す画像データで説明すると、画像データｇ２２を再構成し、画像データｇ２２を表示している間に、スキャン及び再構成を行って画像データｇ２４を再構成し、さらに、画像データｇ２２と画像データｇ２４と用いて補間された画像データｇ２３を生成し、画像データｇ２２の表示に続いて画像データｇ２３を表示し、次に画像データｇ２４を表示する。このように、表示更新のタイミングをずらすことで、補間された画像を表示することが可能となり、画像データｇ１３との比較が可能となる。なお、画像表示部２２は、一定時間後に表示を行うために必要なメモリ及びカウンタ等を備えている。
【０１０１】
時間制御部３４により、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている３次元画像データＢとが、同期させられて、領域制御部３５に出力される。次に、この領域制御部３５による制御について、図１２乃至図１５を参照しつつ説明する。図１２は、この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の領域を抽出する処理を順番に示すフローチャートである。図１３乃至図１５は、この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の領域を抽出する処理を説明するための図である。
【０１０２】
まず、領域制御部３５は、予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲を示す情報（領域抽出情報）を領域情報記憶部４４から読み込み（ステップＳ２０）、さらに、スキャンにより得られている３次元画像データＢを読み込む（ステップＳ２１）。そして、領域制御部３５は、読み込んだ領域抽出情報から３次元画像データＢに対する領域抽出情報を算出し（ステップＳ２２）、算出された領域抽出情報の範囲を３次元画像データＢから抽出する（ステップＳ２３）。なお、読み込まれた領域抽出情報は、時間ごとに少しずつ異なるものである。また、３次元画像データＡと３次元画像データＢとでは、抽出する観察領域にずれが生じる場合があるため、領域制御部３５は、観察領域の範囲を微調整してそのずれを修正し、３次元画像データＢに適合する領域抽出情報を算出する（ステップＳ２２）。そして、領域制御部３５は、微調整した領域抽出情報に基づいて、３次元画像データＢからその微調整後の範囲に含まれる３次元画像データを抽出する（ステップＳ２３）。
【０１０３】
例えば、予め収集された時系列的な３次元画像データＡが被検体の上半身（胸部）の画像を表している場合であって、過去において、その上半身の画像から心臓の部分を抽出して表示したものとする。その抽出した範囲を示す情報（領域抽出情報）が時間ごとに抽出情報記憶部４４に記憶され、領域制御部３５は各時間における領域抽出情報を読み込む。そして、領域制御部３５は、その読み込んだ領域抽出情報をスキャンにより得られている時系列的な３次元画像データＢに対して適用し、領域抽出情報を反映した範囲の３次元画像データを抽出する。
【０１０４】
例えば、図１３（ａ）に示すように、領域制御部３５は、予め領域情報記憶部４４に保存されている、各時刻（時相）の領域抽出情報を読み込む。そして、領域制御部３５は、図１３（ｂ）に示す、時刻（時相）ｔ１に収集された３次元画像データＡに対してその領域抽出情報を適用して、図１３（ｃ）に示すように、その領域抽出情報の範囲の３次元画像データを抽出する。これと同様に、領域制御部３５は、図１３（ｂ）に示す、時刻（時相）ｔ１に収集されている３次元画像データＢに対してその領域抽出情報を適用して、図１３（ｃ）に示すように、その領域抽出情報の範囲の３次元画像データを抽出する。時刻（時相）ｔ２及びｔ３においても、同様に、それぞれの時刻（時相）において施された領域抽出の情報に従って、３次元画像データを抽出する。
【０１０５】
時系列的な３次元画像データに対して、時間ごとに異なる範囲の領域抽出が行われている場合は、領域抽出情報も時系列的に記憶されている。例えば、時刻（時相）ｔ１における領域抽出情報と、時刻（時相）ｔ２における領域抽出情報とは、その範囲が異なる場合がある。従って、領域制御部３５は、時間ごとに異なる領域抽出情報を３次元画像データＡ、Ｂに適用して所望の観察領域の画像を抽出する。これにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１０６】
また、領域制御部３５は、予め収集された時系列的な３次元画像データＡから抽出された時系列的な３次元画像データから、その抽出領域を示すマスク（抽出領域情報）を生成して、そのマスクをスキャンにより得られている時系列的な３次元画像データＢに適用して所望の観察領域に含まれる３次元画像データを抽出しても良い。図１４に示すように、領域制御部３５は、予め収集された時系列的な３次元画像データＡの各時刻において抽出された３次元画像データｇ３１、ｇ３２、ｇ３３、ｇ３４・・・から、各時刻（時相）におけるマスク（抽出領域情報）ｍ１、ｍ２、ｍ３、ｍ４、・・・を生成し、各時刻（時相）に対応する３次元画像データＢにそのマスク（抽出領域情報）ｍ１、ｍ２、ｍ３、ｍ４、・・・を適用して所望の観察領域に含まれる３次元画像データｇ４１、ｇ４２、ｇ４３、ｇ４４、・・・を抽出する。これにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１０７】
予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲と同じ範囲の観察領域を、スキャンにより得られている時系列的な３次元画像データＢから抽出する場合について説明したが、全く同じ範囲の観察領域を抽出することが適していない場合がある。例えば、心臓の画像を抽出する場合、心臓の収縮率により、図１４に示すように、抽出する観察領域にずれが生じる場合がある。つまり、時刻ｔ１、ｔ２において予め収集された３次元画像データＡの範囲よりも、スキャンにより得られている３次元画像データＢの方が、大きさが小さいため、そのまま過去の観察領域を適用すると、ずれが生じる。具体的には、時刻（時相）ｔ１における画像データｇ３１よりも画像データｇ４１の方が小さく、また、時刻（時相）ｔ２における画像データｇ３２よりも画像データｇ４２の方が小さい。従って、３次元画像データＡに適用したマスク（領域抽出情報）をそのまま３次元画像データＢに適用すると、抽出領域のずれが生じる。
【０１０８】
この場合、領域制御部３５は、３次元画像データＢに適合するマスク（領域抽出情報）を生成し（ステップＳ２２）、その生成されたマスク（領域抽出情報）をスキャンにより得られている３次元画像データＢに適用して所望の観察領域の３次元画像を抽出する（ステップＳ２３）。領域制御部３５は、例えば、観察対象である心臓の変化（例えば収縮率等）に追従して抽出領域の範囲（マスクの形状）を微調整して、３次元画像データＢに適合するマスク（領域抽出情報）を生成する。例えば、モルフォロジカル・フィルタ処理を行うことにより、領域制御部３５は心臓の収縮率等に基づいて、図１５に示すように抽出領域の範囲（マスクの形状）を微調整（収縮又は拡張）して、３次元画像データＢに適合するマスク（領域抽出情報）を生成する。そして、領域制御部３５は、微調整された抽出領域の範囲を、スキャンにより得られている３次元画像データＢに適用して所望の観察領域に含まれる３次元画像データを抽出する。このように、領域抽出情報を微調整してずれを補正し、その補正後の領域抽出情報を３次元画像データＢに適用することで、３次元画像データＢに適合した観察領域に含まれる画像を抽出することが可能となる。
【０１０９】
このように、領域制御部３５により、予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲に対応する領域を、スキャンにより得られている時系列的な３次元画像データＢに適用して３次元画像データを抽出することにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１１０】
領域制御部３５により抽出された３次元画像データは、操作制御部３６に出力される。この操作制御部３６による制御について、図１６及び図１７を参照しつつ説明する。図１６は、この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を順番に示すフローチャートである。図１７は、この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を説明するための図である。
【０１１１】
操作制御部３６は、操作情報記憶部４５に記憶されている、予め収集された時系列的な３次元画像データＡに対して行われた操作の内容を示す情報（操作情報）を読み込む（ステップＳ３０）。さらに、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データＢを読み込む（ステップＳ３１）。この操作情報や画像処理のパラメータは時系列的なものであり、時間ごとに異なるものである。
【０１１２】
そして、操作制御部３６は、読み込んだ操作情報を、予め収集された３次元画像データＡに反映して、画像表示部２２上の表示を変更する（ステップＳ３２）。さらに、操作制御部３６は、読み込んだ操作情報を、スキャンにより得られている３次元画像データＢに反映して、画像表示部２２上の表示を変更する（ステップＳ３３）。この操作情報には、例えば、画像表示部２２の画面上で画像を回転させる情報等が含まれており、操作制御部３５は、例えばその回転させる情報を受けると、予め収集された３次元画像データＡ及びスキャンにより得られている３次元画像データＢにその回転操作を反映させる。そして、操作制御部３５から出力された３次元画像データＡ及び３次元画像データＢは、システム制御部３１を介して画像表示部２２に出力され、３次元画像データＡと３次元画像データＢは、画面上で、同じように回転させられて表示される。このように、各３次元画像データに同じ操作を適用して向き及び位置を一致させることで、画像の比較、観察が容易になる。
【０１１３】
また、図１７に示すように、操作入力部２１から入力された、回転、移動又はズーム等の操作情報を３次元画像データＡ、Ｂに反映させても良い。例えば、３次元画像データＡを回転させた場合、操作制御部３５は、その回転操作を３次元画像データＢに対しても行い、同じように３次元画像データＢも回転させる。このように、各時刻における３次元画像データごとに同じ操作を適用することで、画像の比較、観察が容易になる。
【０１１４】
また、３次元画像データＡ、Ｂの画像処理の内容を一致させる場合は、操作制御部３６は、操作情報記憶部４５に記憶されている、予め収集された時系列的な３次元画像データＡに対して行われた画像処理のパラメータ（オパシティやＷＬ／ＷＷ等）を読み込み、そのパラメータを用いて３次元画像データＡ、Ｂに対して画像処理を施す。これにより、３次元画像データＡ、Ｂの不透明度やコントラストや明るさ等が統一されるため、画像の比較、観察が容易になる。また、操作制御部３６は、スキャンにより得られている３次元画像データＢに対して施される画像処理を、予め収集された３次元画像データＡに対して施しても良い。つまり、３次元画像データＡ、Ｂに対して同じパラメータを用いて画像処理を行っても良い。
【０１１５】
以上のように、各制御部により処理が施されて、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとが画像表示部２２に出力される。この画像表示部２２における表示の内容を図１８に示す。図１８において、画像表示部２２の画面上には、時間ごとに、予め収集された３次元画像データＡと、スキャンにより得られている３次元画像データＢとが同時に表示される。この表示内容は、上述した位置制御部３３による処理により、ローカル座標系が一致しているものである。さらに、時間制御部３４による処理により、例えば心電信号（ＥＣＧ信号）に同期した３次元画像データが表示され、同じ時刻（時相）において収集された３次元画像データが同時に表示される。また、領域制御部３５による処理により、互いに対応する領域が抽出された画像が表示されている。この例においては、関心領域として心臓の３次元画像が表示されている。さらに、操作制御部３６による処理により、回転の向きやズームの倍率等が同じになる。
【０１１６】
画像表示部２２の画面上には、時間ごとに少しずつ異なる３次元画像が表示され、操作者は動画として観察し、両画像を比較することができる。このように、この実施形態に係る画像処理装置２０によると、スキャン中にいわゆるリアルタイムに、時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出し、生体情報に基づいて時系列的な３次元画像データ同士を同期させ、更に、抽出された観察領域に含まれる３次元画像の向きや、表示されている３次元画像の観察角度や拡大率等の表示操作や、画像処理の内容を、比較する時系列的な３次元画像データ同士で共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易にすることが可能となる。これにより、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１１７】
また、医用画像診断装置として超音波診断装置を用いて、ストレスエコー法により画像を収集する場合、この実施形態に係る画像処理装置２０を用いると、有効な情報を医師に提供することが可能となる。例えば、ストレスエコー法により、被検体にジョギングをさせ、ジョギングする前とジョギングする後とのそれぞれにおいて心筋の時系列的な３次元画像データを収集し、ジョギング前後の時系列的な３次元画像を比較する場合に、画像処理装置２０によりジョギング前後の時系列的な３次元画像データを処理することにより、心臓の時系列的な３次元画像同士を容易に比較することが可能となる。
【０１１８】
従来、ストレスエコー法により画像を収集する場合、スキャン中の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することができなかったため、ジョギング後の時系列的な３次元画像データを収集しながら、ジョギング前後の時系列的な３次元画像の比較をリアルタイムに行うことができなかった。しかし、この実施形態に係る画像処理装置２０を用いると、スキャン中の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することができるため、ジョギング前後の時系列的な３次元画像の比較をリアルタイムに行うことが可能となる。
【０１１９】
また、システム制御部３１は、操作入力部２１からの指示に従って、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６の処理を個別に解除することもできる。このように全ての処理を行わず、指定された処理のみを同期させて画像表示部２２に画像を表示することができる。例えば、時間制御部３４及び領域制御部３５のみの処理を行って、時系列的な３次元画像データＡ、Ｂを時間的に同期させ、更に、所望の観察領域に含まれる３次元画像データを抽出して、画像表示部２２に表示させることもできる。このように処理を行っても、観察領域に含まれる３次元画像同士を時系列的に比較することが可能となる。
【０１２０】
また、画像表示部２２の画面上には、３次元画像以外に、生体情報の波形が表示される。この生体情報の波形には、現在表示している画像が収集された時刻（時相）を示すマーカが表示されるようにしても良い。さらに、画像表示部２２の画面上に、各制御部の処理をＯＮ／ＯＦＦさせるための入力部をＧＵＩ（グラフィカルユーザインターフェース）として表示して、操作入力部２１に設置されているマウス等によりＯＮ／ＯＦＦの切替を選択できるようにしても良い。また、位置制御部３３にて用いられる３次元位置情報、時間制御部３４にて用いられる生体情報、領域制御部３５にて用いられる領域抽出情報、及び操作制御部３６にて用いられる操作情報の具体的な内容が選択可能に表示されていても良い。例えば、操作入力部２１に設置されているマウス等により、位置「骨領域の特徴点」が選択されると、上述した処理のように、骨領域の特徴点（解剖学的特徴点）が３次元位置情報として用いられ、時間「ＥＣＧ」が選択されると、心電信号（ＥＣＧ信号）が生体情報として用いられる。さらに、画面上に操作パネルを表示させ、３次元画像の拡大、移動、回転又は計測等の操作が選択されるようにしても良い。また、画面上に、画像処理のパラメータであるオパシティ（Ｏｐａｃｉｔｙ）のカーブや、コントラストや明るさを決定するパラメータであるＷＬ／ＷＷのカーブを表示しても良い。
【０１２１】
また、この実施形態に係る画像処理装置を応用すると、異なる医用画像診断装置にて収集された時系列的な３次元画像データを比較することも可能となり、複数の３次元画像データ同士を重畳して画像表示部２２に表示することによって、時系列的な合成画像（いわゆるＦｕｓｉｏｎ画像）を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な３次元画像データと、Ｘ線ＣＴ装置にて収集された時系列的な３次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる３次元画像同士の比較が容易になる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１２２】
［第２の実施の形態］
次に、この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムについて、図１９を参照しつつ説明する。図１９は、この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。この第２の実施形態に係る画像処理装置２０は、第１の実施形態に係る画像処理装置２０と同じ構成を有するが、この実施形態においては、図１９に示すように、画像処理装置２０と医用画像診断装置１（１０）とが接続されておらず、いわゆるリアルタイムに医用画像診断装置１から３次元画像データが入力されない。この場合は、複数の時系列的な３次元画像データを記憶装置４０に保存しておき、保存された３次元画像データに対して上述した処理を施す。
【０１２３】
上述したように、記憶装置４０に保存されている複数の時系列的な３次元画像データに対して、生体情報により同期した３次元画像を画像表示部２２に表示し、更に、一方の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した場合、その観察領域の範囲を他方の時系列的な３次元画像データに対しても適用して、所望の観察領域に含まれる３次元画像データを抽出して表示する。このとき、観察領域の範囲にずれがある場合は、その観察領域を微調整により収縮又は拡張し、微調整された観察領域を他方の３次元画像データに適用して所望の観察領域に含まれる３次元画像データを抽出する。その他、操作情報等を同期させて同じ表示操作が施された状態で画像表示部２２に３次元画像を表示する。
【０１２４】
これにより、異なる医用画像診断装置にて収集された時系列的な３次元画像データを比較することも可能となり、複数の３次元画像データ同士を重畳して画像表示部２２に表示することによって、時系列的な合成画像（いわゆるＦｕｓｉｏｎ画像）を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な３次元画像データと、Ｘ線ＣＴ装置にて収集された時系列的な３次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる３次元画像同士の比較が容易になる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１２５】
［第３の実施の形態］
次に、この発明の第３の実施形態に係る画像処理システムについて、図２０を参照しつつ説明する。この実施形態に係る画像処理システムは、ロボット手術等を想定した術中ナビゲーションシステムに相当し、第１の実施形態に係る画像処理装置を備えることにより、実現可能となるものである。
【０１２６】
図２０に示すように、画像処理装置２０には、術中ナビゲーション装置５０が接続されている。さらに、画像処理装置２０には、編集画像出力部３７が備えられている。この編集画像出力部３７は、画像処理装置２０にて領域抽出や生体情報に基づく同期処理等が施された時系列的な３次元画像データを術中ナビゲーション装置５０に出力する。
【０１２７】
術中ナビゲーション装置５０は、操作入力部５１、実画像収集部５２、実画像出力部５３、画像表示部５４、制御部５５及び重畳画像処理部５６を備えて構成されている。
【０１２８】
操作入力部５１は、術者による操作により、手術に必要なメス等の手術器具５７を操作する。また、操作入力部５１は、術者の操作により、手術器具５７と連動したロボットアームを操作することもできる。
【０１２９】
実画像収集部５２は、医用画像診断装置１の撮像対象である被検体Ｐの実画像を撮影するものであり、更に、術者の視点を追従することもでき、術者の挙動（視点の挙動）に追従して実画像を撮影することができる。画像出力部５３は、実画像収集部５２により収集された実画像に対して画像処理を行い、収集した実画像を鮮明な画像に変換して重畳画像処理部５６に出力する。
【０１３０】
重畳画像処理部５６は、画像出力部５３から出力された実画像と、画像処理装置２０の編集画像出力部３７から出力された、領域抽出等の処理が施された時系列的な３次元画像データとを受け、それらを重ね合わせる。
【０１３１】
制御部５５は、術中ナビゲーション装置５０全体を制御するものであり、主に、操作入力部５１から出力される術者による操作情報や、重畳画像処理部５６から出力される、実画像と時系列的な３次元画像データとが重畳された画像データ等を画像表示部５４に受け渡す処理を行う。
【０１３２】
画像表示部５４は、術者の視点の移動に追従した実画像と、医用画像診断装置１にて収集され、画像処理装置２０にて領域抽出や同期処理等が施された時系列的な３次元画像データとを、重畳して表示する。術者（手術ロボット操作者）は、この画像表示部５４に表示された重畳画像を観察しながら、操作入力部５１を介して手術器具５７を操作して手術を行うことになる。
【０１３３】
このように、画像処理装置２０により領域抽出等が施された時系列的な３次元画像と実画像とを重畳して表示することにより、実画像では得られない、被検体内部に存在する臓器の移動や変形等の経時的変化等を、術者は手術中にリアルタイムに取得することが可能となる。例えば、術中の時系列的な３次元画像データと、術前の時系列的な３次元画像データとを、同期させて表示したり、観察したい部分の画像を抽出して表示したりすることにより、手術中に比較検討することが可能となる。
【図面の簡単な説明】
【０１３４】
【図１】この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。
【図２】この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。
【図３】この発明の第１の実施形態に係る画像処理装置による座標変換処理を順番に示すフローチャートである。
【図４】この発明の第１の実施形態に係る画像処理装置による座標変換処理を説明するための図である。
【図５】この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を順番に示すフローチャートである。
【図６】心電信号（ＥＣＧ信号）を示す図である。
【図７】この発明の第1の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を説明するための図である。
【図８】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図９】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１０】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１１】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１２】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を順番に示すフローチャートである。
【図１３】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１４】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１５】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１６】この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を順番に示すフローチャートである。
【図１７】この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を説明するための図である。
【図１８】この発明の第１の実施形態に係る画像処理装置に設置されている画像表示部に表示される画像を示す図である。
【図１９】この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。
【図２０】この発明の第３の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。
【符号の説明】
【０１３５】
１、１０ 医用画像診断装置
２ 照射部
３ 検出器
４ データ収集部
５ 画像再構成部
６ 位置情報収集部
７ 生体情報収集部
１１ 超音波プローブ
１２ 送受信部
１３ 信号処理部
１４ ＤＳＣ（デジタルスキャンコンバータ）
２０ 画像処理装置
２１ 操作入力部
２２ 画像表示部
３０ 制御部
３１ システム制御部
３２ 画像制御部
３３ 位置制御部
３４ 時間制御部
３５ 領域制御部
３６ 操作制御部
４０ 記憶装置
４１ 画像記憶部
４２ 位置情報記憶部
４３ 生体情報記憶部
４４ 領域情報記憶部
４５ 操作情報記憶部
【技術分野】
【０００１】
この発明は、超音波診断装置、Ｘ線ＣＴ装置、又はＭＲＩ装置等の医用画像診断装置により時系列的に撮像された３次元で表される医用画像を画像処理して表示するための画像処理装置に関する。
【背景技術】
【０００２】
超音波診断装置又はＸ線ＣＴ装置等の医用画像診断装置にて撮像された患者の医用画像を観察するために、画像表示及び画像処理が行える画像処理装置が用いられている。この画像処理装置は、２次元画像の表示に加え、３次元画像を観察することもできる。この観察の際には、画像同士を比較するため、例えば、各々の画像表示の観察角度及び拡大率を同じ状態にして観察することにより、画像同士の比較が容易になる。
【０００３】
また、３次元画像を表示する画像処理装置では、複数の３次元画像を表示することができるものがあり、複数の３次元画像を表示する際に、撮影時の撮影情報及び表示パラメータに基づいて同期させて表示するものが知られている（例えば特許文献１）。
【０００４】
【特許文献１】特開２００２−１２５９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の画像処理装置においては、所定の時間ごとに撮像された時系列的な３次元画像データを同期させて表示することは行われていない。そのため、医用画像診断装置にてスキャンが行なわれている最中に、いわゆるリアルタイムに複数の３次元画像データを同期させて表示させることは困難であり、また、異なる医用画像診断装置にて撮像された時系列的な３次元画像データを重畳させて表示することは困難であった。
【０００６】
また、従来の画像処理装置においては、スキャン中に３次元画像データから観察したい領域を抽出して、抽出した観察領域に含まれる３次元画像同士を同期させて比較することが行われていなかった。そのため、時系列的な３次元画像データを扱う場合、特に、複数の時系列的な３次元画像データ同士を比較する場合に、各時相における３次元画像データを領域抽出する必要があるが、そのデータ量が膨大であるため、操作者は多大な労力と時間を費やす必要があった。これにより、例えば、術前と術後の時系列的な３次元画像データの比較や、典型症例との比較等が困難となっていた。
【０００７】
以上のように、従来技術に係る画像処理装置においては、スキャン中（リアルタイム）に時系列的な３次元画像データ同士を比較することができず、一旦保存した３次元画像データに対する処理のみが可能となるため、その応用が限られていた。
【０００８】
また、スキャン中（リアルタイム）に所望の観察領域に含まれる３次元画像の抽出が行われていなかったため、ロボット手術等の術中ナビゲーションシステムへの応用が困難となっていた。
【０００９】
さらに、医用画像診断装置として例えば超音波診断装置を用いる場合、ストレスエコー方法により、心電信号（ＥＣＧ信号）を利用して時系列的な断層像データを同期させて表示するものが知られている。しかしながら、従来の超音波診断装置においては、断層像データの位置が超音波プローブの位置に依存するため、複数の断層像データを比較する際に、各断層像データの座標系が異なるため、複数の断層像データの位置合わせを行って比較することが困難であり、更にこの位置合わせは、医師や技師等の経験や勘に頼っていた。また、ＥＣＧ信号を利用して同期して表示する際に、断層像データから所望の観察領域を抽出して、その所望の観察領域に含まれる断層像同士をリアルタイムに比較することや、欠けている画像データを補間処理により求めることは行われていなかった。
【００１０】
この発明は上記の問題を解決するものであり、予め収集された時系列的な３次元画像データから抽出した観察領域の範囲に基づいて、スキャンにより時系列的に収集されている３次元画像データから時間ごとに所望の観察領域をリアルタイムに抽出することが可能な画像処理装置を提供することを目的とするものである。そのことにより、医用画像診断装置を用いて時系列的に収集される３次元画像データと、予め医用画像診断装置により収集されて保存されている時系列的な３次元画像データとを、表示装置にて表示して比較する際に、時間ごとに所望の観察領域に含まれる３次元画像同士の比較を容易にすることが可能な画像処理装置を提供することを目的とするものである。
【００１１】
また、心電信号等の生体情報を用いることにより、複数の３次元画像データを時間的に同期させことが可能な画像処理装置を提供することを目的とするものである。その結果、複数の３次元画像データ同士の比較を容易にすることが可能な画像処理装置を提供することを目的とするものである。
【００１２】
また、抽出された観察領域に含まれる３次元画像の向き（座標系）を一致させたり、表示される画像の操作方法において、観察角度、拡大率等の表示操作を、比較する複数の３次元画像データで共通化したり、画像処理に用いられるオパシティ（画像の不透明度）等の表示パラメータを共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易であって、診察や診断の援助となる新たな医療情報の提供が可能な画像処理装置を提供することを目的とするものである。
【００１３】
さらに、スキャン中に時系列的な３次元画像データから所望の観察領域をリアルタイムに抽出することが可能となることにより、スキャン中の時系列的な３次元画像データ、過去に収集された時系列的な３次元画像データ、又は被検体の実画像の比較が可能となるため、ロボット手術等の術中ナビゲーションシステムへの応用を可能とするものである。
【課題を解決するための手段】
【００１４】
請求項１に記載の発明は、所望の観察領域を示す抽出領域情報を記憶する記憶手段と、
所定時間ごとに収集される第１の時系列的な３次元画像データから、前記記憶手段に記憶されている抽出領域情報が示す観察領域を基準とした領域に含まれる３次元画像データを、前記収集されるごとに逐次、抽出する領域抽出手段と、前記第１の時系列的な３次元画像データから抽出された３次元画像データを時系列的に表示する表示手段と、を有することを特徴とする画像処理装置である。請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記記憶手段に記憶されている抽出領域情報は、予め所定時間ごとに収集された第２の時系列的な３次元画像データから３次元画像データを抽出したときに用いられた情報であることを特徴とするものである。請求項３に記載の発明は、請求項１又は請求項２のいずれかに記載の画像処理装置であって前記領域抽出手段は、観察対象の時間的変化に追従して前記所望の観察領域の範囲を変化させ、前記第１の時系列的な３次元画像データから変化後の観察領域に含まれる３次元画像データを抽出することを特徴とするものである。請求項４に記載の発明は、請求項２又は請求項３のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の生体情報とともに収集され、前記生体情報に基づいて、前記第１の時系列的な３次元画像データと前記第２の時系列的な３次元画像データとを同期させる時間同期手段を更に有することを特徴とするものである。請求項５に記載の発明は、請求項４に記載の画像処理装置であって、前記時間同期手段は、前記生体情報に基づいて、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データのうち、同じ時相に収集された３次元画像データ同士を同期させることを特徴とするものである。請求項６に記載の発明は、請求項４又は請求項５のいずれかに記載の画像処理装置であって、前記生体情報は、前記被検体の心電信号、筋電信号又は関節の動作を時系列的に示す関節動作情報からなることを特徴とするものである。請求項７に記載の発明は、請求項１乃至請求項６のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データの、それぞれの所定時間に欠けている３次元画像データを、前記所定時間の前後で収集された３次元画像データを用いて補間して生成する画像補間手段を更に有することを特徴とするものである。請求項８に記載の発明は、請求項２乃至請求項７のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の３次元位置情報とともに収集され、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とするものである。請求項９に記載の発明は、請求項２乃至請求項７のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データから、それぞれ時間ごとに変化する時系列的な３次元位置情報を抽出し、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とするものである。請求項１０に記載の発明は、請求項２乃至請求項９のいずれかに記載の画像処理装置であって、前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データのうち、いずれか一方の時系列的な３次元画像データに対して行われた操作又は画像処理を、他方の３次元画像データに対しても行う操作制御手段を更に有することを特徴とするものである。請求項１１に記載の発明は、請求項２乃至請求項９のいずれかに記載の画像処理装置であって、前記記憶手段は、前記第２の時系列的な３次元画像データに対して行われた操作の内容を示す操作情報、又は、前記第２の時系列的な３次元画像データに対して行われた画像処理の内容を示す画像処理情報を記憶し、前記記憶手段に記憶されている操作情報が示す操作、又は画像処理情報が示す画像処理を、前記第１の時系列的な３次元画像データに対して行う操作制御手段を更に有することを特徴とするものである。
【発明の効果】
【００１５】
請求項１及び請求項２に記載の発明によると、予め収集された時系列的な３次元画像データから抽出した領域の観察領域に基づいて、スキャンにより得られている時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することが可能となる。この発明を応用することにより、各時間における観察領域に含まれる３次元画像同士の比較を容易に行うことが可能となる。また、請求項３に記載の発明によると、観察対象の変化に追従して抽出する観察領域の範囲を変更して、スキャンにより得られている時系列的な３次元画像データに適用することにより、その時系列的な３次元画像データに適合した範囲に含まれる３次元画像を抽出することが可能となる。さらに、請求項４、請求項５及び請求項６に記載の発明によると、時間ごとに変化する生体情報に基づいて、予め収集された時系列的な３次元画像データと、スキャンにより得られている時系列的な３次元画像データとを同期させることが可能となる。これを応用することにより、同じ時間で収集された３次元画像同士の比較が可能となり、画像の比較が容易になる。また、請求項７に記載の発明によると、所定時間において３次元画像データが欠けている場合であっても、その所定時間の前後で収集された３次元画像データを用いて、その所定時間における３次元画像データを補間して生成することにより、その所定時間において３次元画像を比較することが可能となる。また、請求項８及び請求項９に記載の発明によると、時間ごとに座標系を一致させることにより、予め収集された時系列的な３次元画像データと、スキャンにより得られている時系列的な３次元画像データとの表示装置上における向き及び位置を時間ごとに一致させることが可能となる。この発明を応用することにより、３次元画像同士の比較が容易になる。また、請求項１０及び請求項１１に記載の発明によると、操作情報又は画像処理の内容を各時間における３次元画像に適用することにより、３次元画像同士の比較が容易になる。
【００１６】
以上のように、スキャン中にいわゆるリアルタイムに、時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出し、生体情報に基づいて時系列的な３次元画像データ同士を同期させ、更に、抽出された観察領域に含まれる３次元画像の向きや、表示装置に表示される３次元画像の角度や拡大率等の表示操作を、比較する時系列的な３次元画像データとの間で共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易にすることが可能となる。これにより、診断に有効な新たな情報を医師等に提供することが可能となる。
【００１７】
また、この発明を応用することにより、過去に収集された時系列的な３次元画像データ同士の時間ごとの比較も容易になる。そして、異なる種類の医用画像診断装置にて収集された時系列的な３次元画像データの時間ごとの比較も可能となるため、例えば、術前と術後の患部の経時変化や治療効果等の確認を容易にすることができる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【００１８】
さらに、この発明を応用することにより、術中に、観察したい領域に含まれる画像を抽出して表示装置に表示すること可能となるため、術者は術中にリアルタイムに臓器等の経時変化を観察することが可能となる。また、術中に、術前の時系列的な３次元画像との比較が可能となるため、治療等を行いつつ過去に収集された画像や実画像との比較も可能となる。
【発明を実施するための最良の形態】
【００１９】
［第１の実施の形態］
まず、この発明の第１の実施形態に係る画像処理装置について、図１乃至図１８を参照しつつ説明する。
【００２０】
（構成）
この発明の第１の実施形態に係る画像処理装置の構成について、図１及び図２を参照しつつ説明する。図１は、この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。医用画像システムは、医用画像診断装置１、位置情報収集部６、生体情報収集部７、画像処理装置２０及び記憶装置４０を備えて構成されている。
【００２１】
医用画像診断装置１は、例えば、Ｘ線ＣＴ装置や超音波診断装置等で構成されている。図１には、Ｘ線ＣＴ装置の例が示されている。照射部２は、Ｘ線源、高電圧発生装置及びＸ線源制御装置等で構成され、被検体である撮影対象に向けてＸ線ビームを曝射するものである。Ｘ線源は、例えば、チャンネル方向とスライス方向（被検体の体軸方向）との２方向に広がるいわゆるコーンビームＸ線を発生する。検出器３は、照射部２から曝射され、被検体を透過したＸ線ビームを検出するＸ線検出器からなる。また、検出器３は、例えば、Ｘ線検出素子を互いに直交する２方向それぞれにアレイ状に複数個配列され、これにより２次元のＸ線検出器を成している。
【００２２】
データ収集部４（ＤＡＳ）は、検出器３の各Ｘ線検出素子と同様にアレイ状に配列されたデータ収集素子を有し、検出器３により検出されたＸ線ビームを、スキャン制御部（図示しない）により出力されたデータ収集制御信号に対応させて収集する。この収集されたデータがＸ線投影データとなる。
【００２３】
画像再構成部５は、データ収集部４から出力されるＸ線投影データを逆投影処理することにより、画像データを再構成する。この逆投影の方法は公知の方法と同じであり、例えばＦｅｌｄｋａｍｐ法と呼ばれる方法に代表される３次元画像再構成アルゴリズムによる再構成を行い、スライス方向に広い対象領域（ボリューム）内におけるＸ線吸収係数の３次元的分布データ（以下、ボリュームデータと称する）を再構成する。再構成されたボリュームデータは、データ処理装置（図示しない）にて、操作者の指示に基づき、任意断面の断層像、任意方向からの投影像、レンダリング処理による特定臓器の３次元表面画像等のいわゆる擬似３次元画像データに変換され、画像処理装置２０に送られる。
【００２４】
位置情報収集部６は、例えば、磁気的又は光学的な原理により動作する３次元位置センサからなり、被検体（撮影対象）Ｐの３次元位置情報を収集し、その３次元位置情報を時間ごとに位置制御部３３に出力する。つまり、位置情報収集部６は時系列的な３次元位置情報を収集して位置制御部３３に出力する。なお、後述するが、３次元画像データから抽出される解剖学的特徴点も３次元位置情報とする。
【００２５】
生体情報収集部７は、医用画像診断装置１にてスキャン中に、被検体の心電信号（ＥＣＧ信号）、筋電信号（ＥＭＧ信号）又は関節の動作情報等の生体情報を取得するものである。例えば心電計が用いられる場合は、生体情報収集部７は、被検体の心電信号（ＥＣＧ信号）を検出し、検出された心電信号（ＥＣＧ信号）をデジタル信号に変換する。そして、時系列的な３次元画像データと同時に得られる心電信号（ＥＣＧ信号）は、時間ごとに収集される複数の３次元画像データの付帯情報として時間制御部３４に出力され、更に生体情報記憶部４３に保存される。なお、筋電信号（ＥＭＧ信号）とは、筋の活動電位を皮膚表面から測定した信号である、また、関節の動作情報とは、意図的に被検体の関節を動かしたときのその関節がなす角度等を示すものであり、動かすことにより、時間ごとに変化して異なる角度となる。
【００２６】
画像処理装置２０は、操作入力部２１、画像表示部２２及び制御部３０を備えて構成されている。画像表示部２２は、医用画像診断装置１にて収集された時系列的な３次元画像を表示する。操作入力部２１は、画像表示部２２に表示された時系列的な３次元画像に対する画像処理、計測、領域抽出等の操作を行うものであり、その操作に対応する信号がシステム制御部３１に出力される。
【００２７】
制御部３０は、システム制御部３１、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６を備えて構成されている。システム制御部３１は、画像処理装置２０の各部に接続されて、画像処理装置２０全体の動作を制御するものである。
【００２８】
画像制御部３２は、医用画像診断装置１から出力される時系列的な３次元画像データを制御するものである。具体的には、医用画像診断装置１にてスキャン中に、画像再構成部５から出力される時系列的な３次元画像データを読み込み、それと同時に、記憶装置４０の画像記憶部４１に記憶され、予め収集されている時系列的な３次元画像データを読み込んで、それらを位置制御部３３に出力する。
【００２９】
位置制御部３３は、医用画像診断装置１にて収集されている時系列的な３次元画像データの座標系と、画像記憶部４１に保存されている時系列的な３次元画像データの座標系を一致させるものである。位置制御部３３は、画像に表示されたマーカや解剖学的特徴点等の、時間ごとに少しずつ異なる時系列的な３次元位置情報を抽出し、その３次元位置情報を基準として各時間に収集された画像内にローカル座標を定義し、比較する３次元画像同士のローカル座標を一致させる。例えば、予め撮影時に被検体Ｐに補助具等を装着させ、その状態で撮像すると、画像中にマーカが表示されるため、このマーカを３次元位置情報として、位置制御部３３は各画像においてローカル座標系を定義する。なお、解剖学的特徴点とは、例えば図４に示すような骨格上の特徴点を意味する。
【００３０】
具体的には、位置制御部３３は、スキャン中の時系列的な３次元画像から３次元位置情報を抽出し、更に、画像記憶部４１に保存されている３次元画像内の３次元位置情報を読み込む。そして、位置制御部３３は、それら時系列的な３次元位置情報から各時間における３次元画像のローカル座標系を定義し、ローカル座標系を一致させる。
【００３１】
また、位置制御部３３は、３次元位置センサを備えた位置情報収集部６により収集された被検体（撮影対象）Ｐの時系列的な３次元位置情報を読み込み、その３次元位置情報を基準に各時間に収集された画像においてローカル座標系を定義して、各画像のローカル座標を一致させても良い。
【００３２】
時間制御部３４は、生体情報収集部７により収集された生体情報と、生体情報記憶部４３に記憶されている生体情報とを読み込む。この生体情報は、時間ごとに変化する情報であり、上述した心電信号（ＥＣＧ信号）や筋電信号（ＥＭＧ信号）等が該当する。そして、時間制御部３４は、読み込んだ生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データと、画像記憶部４１に保存されている時系列的な３次元画像データとを同期させる。つまり、同じ時刻（時相）に収集された３次元画像データを画像表示部２２に同時に表示させるために、３次元画像データの付帯情報としての生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データ及び予め収集されている時系列的な３次元画像データのうち、同じ時刻（時相）に収集された３次元画像データ同士を同期させ、画像表示部２２は、同期させられた３次元画像データを同時に表示する。
【００３３】
さらに、スキャンにより得られている３次元画像データと予め収集された３次元画像データとで、単位時間当たり（例えば１秒当たり）の画像数が異なる場合は、単位時間当たりの画像数が少ない画像データに対して補間処理を行って、スキャンにより得られている３次元画像データと予め収集された３次元画像データとを同期させる。
【００３４】
領域制御部３５は、３次元画像データから所望の観察領域に含まれる３次元画像データを抽出するものである。例えば、領域制御部３５は、３次元画像のうち、所望の観察領域の範囲内の３次元画像を出力し、画像表示部２２にて抽出された観察領域に含まれる３次元画像を表示するものである。この実施形態においては、領域制御部３５は、領域情報記憶部４４に記憶されている、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その観察領域を示す情報（抽出領域情報）を読み込み、スキャンにより得られている時系列的な３次元画像データからその抽出領域情報に対応する領域に含まれる３次元画像データの抽出を行う。この抽出領域情報も時系列的なものであり、時間ごとに異なるものである。
【００３５】
なお、観察領域の指定は操作入力部２１により行われる。例えば、操作入力部２１に備えられているマウス等を操作者が操作することにより、画像表示部２２に表示されている画像の観察したい領域（範囲）を指定すると、領域制御部３５は、その指定された観察領域（範囲）に含まれる画像を抽出して画像表示部２２に表示させる。そして、指定された観察領域を示す情報（抽出領域情報）は領域情報記憶部４４に記憶される。このようにして、予め収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データが抽出される。
【００３６】
操作制御部３６は、操作情報記憶部４５に記憶されている操作情報や画像処理のパラメータを読み込み、その操作情報や画像処理のパラメータを、スキャンにより得られている時系列的な３次元画像データに反映させる。この操作情報は、画像表示部２２で表示される画像に対して行われる回転操作、移動又は拡大等の操作を示す情報である。また、画像処理のパラメータは、画像の不透明度を決定する係数であるオパシティ（Ｏｐａｃｉｔｙ）やコントラストや明るさ等を決定する係数であるパラメータ（ＷＬ／ＷＷ）等である。予め収集された時系列的な３次元画像データに対して行われた回転操作等の操作や画像処理を、スキャン中の時系列的な３次元画像データに対しても行い、画像表示部２２に表示される画像の、回転角度や大きさや不透明度やコントラスト等を統一する。つまり、画像表示部２２の画面上において、３次元画像の観察角度や拡大率や位置や不透明度やコントラスト等を統一して、観察を容易にするものである。この操作情報及び画像処理のパラメータも時系列的なものであり、時間ごとに異なるものである。
【００３７】
また、操作制御部３６は、操作入力部２１から入力された操作情報を、スキャンにより得られている時系列的な３次元画像データに反映するだけでなく、予め収集された時系列的な３次元画像データに対しても反映する。つまり、操作入力部２１から操作情報が入力されると、操作制御部３６は、画像表示部２２に表示されている、スキャンにより得られている時系列的な３次元画像データ及び予め収集された時系列的な３次元画像データに、その操作情報を反映する。例えば、回転操作を示す情報が操作入力部２１から入力されると、操作制御部３６は、画像表示部２２においてスキャンにより得られている時系列的な３次元画像データを回転させるとともに、予め収集された時系列的な３次元画像データを同じように回転させる。同様に、予め収集された時系列的な３次元画像データを回転させると、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データも回転させる。このように、画像表示部２２に表示される画像の、観察角度や拡大率等を統一する。
【００３８】
さらに、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データに対してある画像処理が施されると、同じ画像処理を予め収集された時系列的な３次元画像データに施す。例えば、画像の不透明度やコントラストや明るさ等を統一するために、スキャンにより得られている時系列的な３次元画像データに対して施された画像処理のパラメータ（オパシティ等）と同じパラメータを用いて、予め収集された時系列的な３次元画像データに対して画像処理を施す。このように、画像表示部２２に表示される画像の不透明度やコントラスト等を統一する。
【００３９】
画像表示部２２は、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５又は操作制御部３６によって処理が施された時系列的な３次元画像データを表示する。
【００４０】
また、システム制御部３１は、操作入力部２１からの指示に従って、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６の処理を個別に解除することもできる。つまり、システム制御部３１の制御により、ある画像データに対しては、位置制御部３３による処理のみを行い、その他の時間制御部３４、領域制御部３５等による処理を行わないようにしても良い。また、システム制御部３１の制御により、ある画像データに対しては、位置制御部３３、時間制御部３４及び領域制御部３５による処理を行い、操作制御部３６による処理を行わないようにしても良い。この実施形態に係る画像処理装置２０によると、このように全ての処理を行わず、指定された処理の情報のみを共有させて画像表示部２２に画像を表示することができる。
【００４１】
また、記憶装置４０は、画像記憶部４１、位置情報記憶部４２、生体情報記憶部４３、領域情報記憶部４４及び操作情報記憶部４５を備えて構成されている。
【００４２】
画像記憶部４１には、医用画像診断装置１により予め所定時間ごとに収集された時系列的な３次元画像データが保存されている。例えば、Ｘ線ＣＴ装置、超音波診断装置又はＭＲＩ装置等により収集された、時間ごとに少しずつ異なる時系列的な３次元画像データが保存されている。この実施形態に係る医用画像診断装置１はＸ線ＣＴ装置を想定しているが、画像記憶部４１には、Ｘ線ＣＴ装置により収集された画像データの他、別の装置、例えば、超音波診断装置やＭＲＩ装置等により収集された画像データが保存されていても良い。つまり、同じ診断装置で収集された画像データのみならず、別の診断装置で収集された画像データが保存されていても構わないことになる。例えば、異なる診断装置で収集された画像同士を比較するために、異なる診断装置で収集された画像データを保存しておく。
【００４３】
位置情報記憶部４２には、解剖学的特徴点や予め撮像時に被検体に装着された補助具によるマーカ等により表される、時間ごとに少しずつ異なる時系列的な３次元位置情報が記憶されている。または、位置情報収集部６により収集された被検体Ｐの３次元位置情報が記憶されている。
【００４４】
生体情報記憶部４３には、心電信号（ＥＣＧ）、筋電信号（ＥＭＧ）又は関節動作情報等からなる時間ごとに変化する生体情報が記憶されている。この生体情報は、医用画像診断装置１によるスキャン中に同時に被検体Ｐから収集される情報であり、時間ごとに収集される複数の３次元画像データの付帯情報を成すものである。
【００４５】
領域情報記憶部４４には、予め医用画像診断装置１により収集された時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した際の、その観察領域の範囲を示す、時間ごとに異なる情報（領域抽出情報）が記憶されている。
【００４６】
操作情報記憶部４５には、予め医用画像診断装置１により収集された時系列的な３次元画像データに対して、画像表示部２２の画面上で行われた操作を示す、時間ごとに異なる操作情報が記憶されている。
【００４７】
なお、図１に示す例においては、Ｘ線ＣＴ装置としての医用画像診断装置１の外部に、この実施形態の特徴部分である画像処理装置２０を設け、医用画像診断装置１から送られてくる画像データを処理しているが、この発明はその例に限定されることはない。例えば、医用画像診断装置１内（Ｘ線ＣＴ装置内）に画像処理装置２０を設け、医用画像診断装置１の内部にて画像処理を行っても良い。つまり、医用画像診断装置１（Ｘ線ＣＴ装置）自体に画像処理装置２０の機能を持たせて、医用画像診断装置１が画像処理を行っても良い。
【００４８】
従って、医用画像診断装置１と画像処理装置２０とをネットワーク等を介して接続し、医用画像診断装置１にて収集された画像データを画像処理装置２０に送信して、画像処理装置２０にて画像処理を行っても良く、また、医用画像診断装置１内に画像処理装置２０を設け、医用画像診断装置１自体が画像処理を行っても良い。さらに、画像処理装置２０ととともに記憶装置４０も医用画像診断装置１に設けても良い。
【００４９】
上述した例においては、医用画像診断装置１としてＸ線ＣＴ装置を用いているが、この他、超音波診断装置やＭＲＩ装置等を用いても良い。図２に、医用画像診断装置として超音波診断装置を用いた例を示す。図２のブロック図に示す医用画像システムにおいては、医用画像診断装置の構成のみが異なっている。図２に示す医用画像診断装置１０は、超音波診断装置からなり、超音波プローブ１１、送受信部１２、信号処理部１３及びＤＳＣ（デジタルスキャンコンバータ）１４を備えて構成されている。
【００５０】
超音波プローブ１１は、超音波を送受信する超音波振動子がマトリックス（格子）状に配置された２次元超音波プローブからなる。そして、走査（スキャン）することによって３次元的に超音波を送受信し、プローブの表面から放射状に広がる形状の３次元データをエコー信号として受信する。また、超音波プローブ２として１次元超音波プローブを用いた場合は、超音波プローブ２を機械的に走査することで３次元データを収集する。
【００５１】
送受信部１２は送信部と受信部とからなり、超音波プローブ１１に電気信号を供給して超音波を発生させるとともに、超音波プローブ１１が受信したエコー信号を受信する。
【００５２】
送受信部１２内の送信部は、図示しないクロック発生回路、送信遅延回路及びパルサ回路を備えている。クロック発生回路は、超音波信号の送信タイミングや送信周波数を決めるクロック信号を発生する回路である。送信遅延回路は、超音波の送信時に遅延を掛けて送信フォーカスを実施する回路である。パルサ回路は、各超音波振動子に対応した個別経路（チャンネル）の数分のパルサを内蔵し、遅延が掛けられた送信タイミングで駆動パルスを発生し、超音波プローブ１２の各超音波振動子に供給するようになっている。
【００５３】
また、送受信部１２内の受信部は、図示しないプリアンプ回路、Ａ／Ｄ変換回路及び受信遅延・加算回路を備えている。プリアンプ回路は、超音波プローブ１１の各超音波振動子から出力されるエコー信号を受信チャンネルごとに増幅する。Ａ／Ｄ変換回路は、増幅されたエコー信号をＡ／Ｄ変換する。受信遅延・加算回路は、Ａ／Ｄ変換後のエコー信号に対して受信指向性を決定するのに必要な遅延時間を与え、加算する。その加算により、受信指向性に応じた方向からの反射成分が強調される。この受信部から出力される信号をＲＦデータと称する。
【００５４】
信号処理部１３は、Ｂモード処理部、ドプラ処理部及びカラーモード処理部を備えている。送受信部１２から出力されたＲＦデータは、いずれかの処理部にて所定の処理を施される。
【００５５】
Ｂモード処理部は、エコーの振幅情報の映像化を行い、エコー信号からＢモード超音波ラスタデータを生成する。具体的には、ＲＦデータに対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波し、検波されたデータに対して対数変換による圧縮処理を施す。その他、エッジ強調等の処理が行われる場合もある。このＢモード処理部で生成されるデータをＢモード超音波ラスタデータという。
【００５６】
ドプラ処理部は、位相検波回路及びＦＦＴ演算回路等から構成され、ＲＦデータからドプラ偏移周波数成分を取り出し、更にＦＦＴ処理等を施して血流情報を有するデータを生成する
【００５７】
カラーモード処理部は、動いている血流情報の映像化を行い、カラー超音波ラスタデータを生成する。血流情報には、速度、分散、パワー等の情報があり、血流情報は２値化情報として得られる。具体的には、カラーモード処理部は、位相検波回路、ＭＴＩフィルタ、自己相関器、及び流速・分散演算器から構成されている。このカラーモード処理部は、組織信号と血流信号とを分離するためのハイパスフィルタ処理（ＭＴＩフィルタ処理）が行われ、自己相関処理により血流の移動速度、分散、パワー等の血流情報を多点について求める。その他、組織信号を低減及び削減するための非線形処理が行われる場合もある。
【００５８】
ＤＳＣ１４（Ｄｉｇｉｔａｌ Ｓｃａｎ Ｃｏｎｖｅｒｔｅｒ：デジタルスキャンコンバータ）は、直交座標系で表される画像を得るために、超音波ラスタデータを直交座標で表されるボクセルデータに変換する。ＤＳＣ１４は、上述した信号処理部１３から出力された走査線信号列で表される信号処理後のデータを空間情報に基づいた座標系のデータに変換する（スキャンコンバージョン処理）。つまり、超音波走査に同期した信号列をテレビ走査方式の画像表示部２２で表示できるようにするために、標準のテレビ走査に同期して読み出すことにより走査方式を変換している。
【００５９】
ＤＳＣ１４から出力されたボクセルデータは、ボリュームレンダリング処理回路（図示しない）によりボリュームレンダリング処理が施されて３次元画像データが生成される。この３次元画像データは画像制御部３２を介して画像記憶部４１に記憶されるとともに、画像表示部２２により表示される。
【００６０】
なお、医用画像診断装置１０として超音波診断装置を用いた場合も、上述したＸ線ＣＴ装置の例と同様に、医用画像診断装置１０（超音波診断装置）内に画像処理装置２０を設け、医用画像診断装置１０（超音波診断装置）内で画像処理を行っても良い。
【００６１】
（動作）
次に、この発明の第１の実施形態に係る画像処理装置に動作について、図３乃至図１８を参照しつつ説明する。まず、スキャンにより得られている時系列的な３次元画像データと、予め収集されて画像記憶部４１に保存されている時系列的な３次元画像データとの座標系を一致させるための制御について、図３及び図４を参照しつつ説明する。図３は、この発明の第１の実施形態に係る画像処理装置による座標変換処理を順番に示すフローチャートである。図４は、この発明の第１の実施形態に係る画像処理装置による座標変換処理を説明するための図である。
【００６２】
まず、Ｘ線ＣＴ装置又は超音波診断装置等からなる医用画像診断装置１（１０）により、時間的に少しずつ異なる時系列的な３次元画像データが収集され、図１又は図２に示す画像制御部３２を介して画像記憶部４１に保存される。この時系列的な３次元画像データは、画像制御部３２からシステム制御部３１を介して画像表示部２２に出力され、画像表示部２２にて時間ごとに少しずつ異なる３次元画像データが表示される。これにより、操作者は、３次元画像データを動画としていわゆるリアルタイムに観察することが可能となる。この画像記憶部４１に保存されている時系列的な３次元画像データを、予め収集された時系列的な３次元画像データ（過去に収集された時系列的な３次元画像データ）とし、便宜的に「時系列的な３次元画像データＡ」と称する場合もある。
【００６３】
そして、医用画像診断装置１（１０）により、時間ごとに少しずつ異なる、新たな時系列的な３次元画像データを収集する。ここで、今現在スキャンにより得られている時系列的な３次元画像データを、便宜的に「時系列的な３次元画像データＢ」と称する場合もある。この新たな時系列的な３次元画像データＢは、逐次、医用画像診断装置１（１０）から画像処理装置２０の画像制御部３２に出力される。
【００６４】
そして、スキャンにより新たな時系列的な３次元画像データＢを収集しているときに、画像制御部３２は、画像記憶部４１から予め収集された時系列的な３次元画像データＡを読み込む。そして、画像制御部３２は、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとを位置制御部３３に出力する。
【００６５】
位置制御部３３は、位置情報記憶部４２に記憶されている、予め収集された時系列的な３次元画像データＡにおける、時間ごとに少しずつ異なる時系列的な３次元位置情報を読み込む（ステップＳ０１）。位置制御部３３は、例えば図４に示すような、解剖学的特徴点（骨格上の特徴点）で表される時系列的な３次元位置情報を読み込む。この解剖学的特徴点で表される３次元位置情報は時間ごとに少しずつ異なるものである。
【００６６】
さらに、位置制御部３３は、スキャンにより得られている時系列的な３次元画像データＢにおける、時間ごとに少しずつ異なる時系列的な３次元位置情報を抽出する（ステップＳ０２）。例えば、位置制御部３３は、画像制御部３２から送られるスキャンにより得られている時系列的な３次元画像データＢから解剖学的特徴点（骨格上の特徴点）を抽出し、その解剖学的特徴点を３次元位置情報とする。この解剖学的特徴点で表される３次元位置情報も時間ごとに少しずつ異なるものである。
【００６７】
そして、位置制御部３３は、予め収集された時系列的な３次元画像データＡの解剖学的特徴点と、スキャンにより得られている時系列的な３次元画像データＢの解剖学的特徴点とを比較し、それらが一致しているか否かの判断を行う（ステップＳ０３）。位置制御部３３により、解剖学的特徴点が一致していないと判断された場合は（ステップＳ０３、Ｎｏ）、例えば、スキャンにより得られている３次元画像データＢから新たな解剖学的特徴点を抽出し、予め収集された３次元画像データＡの解剖学的特徴点と一致させる（ステップＳ０４）。
【００６８】
位置制御部３３により、解剖学的特徴点が一致すると判断された場合は（ステップＳ０３、Ｙｅｓ）、位置制御部３３は、各３次元画像データにおけるローカル座標系を定義する（ステップＳ０５）。例えば、図４に示すように、位置制御部３３により３点の解剖学的特徴点が抽出された場合、その３点で表される座標系をローカル座標系と定義する。図４（ａ）には、予め収集された３次元画像データＡとその解剖学的特徴点が示され、図４（ｂ）には、スキャンにより得られている３次元画像データＢとその解剖学的特徴点が示されている。そして、位置制御部３３は、図４（ａ）、（ｂ）に示すように、３点の解剖学的特徴点に従ってローカル座標系を定義する。なお、複数の３次元画像の位置合わせを行う場合、一致させたい診断部位によって定義するローカル座標は異なる。
【００６９】
そして、位置制御部３３は、スキャンにより得られている３次元画像データＢのローカル座標系を座標変換して、予め収集された３次元画像データＡのローカル座標系に一致させる（ステップＳ０６）。例えば、図４（ｃ）に示すように、位置制御部３３は、スキャンにより得られている時系列的な３次元画像データＢのローカル座標系を座標変換して回転させ、更に移動させることにより、両者のローカル座標系を一致させる。これにより、そのローカル座標系で表される３次元画像データＢも回転させられ、３次元画像データＡと３次元画像データＢの向き及び位置が一致することになる。
【００７０】
このように両画像データの向き及び位置を一致させることができるため、スキャンにより得られている時系列的な３次元画像データＢと、予め収集された時系列的な３次元画像データＡとを画像表示部２２に表示させると、両画像の向き及び位置が一致しているため、両画像の比較が容易になる。
【００７１】
また、３次元位置情報として解剖学的特徴点を用いずに、３次元位置センサからなる位置情報収集部６により収集された被検体Ｐの３次元位置情報や、予め撮像時に被検体に装着させた補助具により撮像されたマーカ等により表される３次元位置情報を用いても良い。この場合、位置制御部３３は、位置情報記憶部４２に記憶されている、予め収集された時系列的な３次元画像データＡにおける、３次元位置センサにより収集された被検体Ｐの３次元位置情報や、マーカ等により表される３次元位置情報を読み込む。
【００７２】
さらに、位置制御部３３は、位置情報収集部６から、スキャンにより得られている時系列的な３次元画像データＢにおける、３次元位置センサにより収集された被検体Ｐの３次元位置情報や、マーカ等により表される３次元位置情報を読み込む。
【００７３】
そして、位置制御部３３は、３次元画像データＡのマーカ等と３次元画像データＢのマーカ等の位置及び向きを一致させる。このように、マーカ等の３次元位置情報を基準にして向き及び位置を調整することにより、３次元画像データＡと３次元画像データＢの向き及び位置が一致することになり、両画像の観察、比較が容易になる。
【００７４】
このように各３次元画像データの向き及び位置が一致させられた後、各３次元画像データは時間制御部３４に出力される。時間制御部３４は、生体情報収集部７により収集される心電波形（ＥＣＧ信号）等の生体情報に基づいて、スキャンにより得られている時系列的な３次元画像データＢと、予め収集された時系列的な３次元画像データＡとを同期させる。この時間制御部３４による制御について、図５乃至図１１を参照しつつ説明する。図５は、この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像データを同期させて表示する処理を順番に示すフローチャートである。
【００７５】
まず、時間制御部３４は、位置制御部３３から出力された３次元画像データＡと３次元画像データＢとを受け、更に、生体情報記憶部４３に記憶されている、予め収集された３次元画像データＡの付帯情報である生体情報を読み込む（ステップＳ１０）。次に、時間制御部３４は、生体情報収集部７から、スキャンにより得られている３次元画像データＢの付帯情報である生体情報を読み込む（ステップＳ１１）。
【００７６】
生体情報収集部７として、心電計を用いた場合は、被検体（撮影対象）Ｐの心電信号（ＥＣＧ信号）が収集されるため、その心電信号（ＥＣＧ信号）が生体情報となる。また、筋電計を用いた場合は、ＥＭＧ信号が収集されるため、そのＥＭＧ信号が生体情報となる。その他、意図的に被検体の関節を動かしたときのその動きを示す関節動作情報を生体情報とすることもできる。
【００７７】
時間制御部３４は、３次元画像データＡの付帯情報としての生体情報と、３次元画像データＢの付帯情報としての生体情報とが一致しているか否かの判断を行い（ステップＳ１２）、生体情報が異なっている場合は（ステップＳ１２、Ｎｏ）、時間制御部３４は、生体情報を一致させる（ステップＳ１３）。例えば、３次元画像データＡの生体情報として筋電信号（ＥＭＧ信号）が読み込まれ、３次元画像データＢの生体情報として心電信号（ＥＣＧ信号）が読み込まれた場合は、生体情報が異なっている。この場合、時間制御部３４は、例えば、３次元画像データＡの生体情報として心電信号（ＥＣＧ信号）を生体情報記憶部４３から読み込み、生体情報を一致させる。
【００７８】
この実施形態においては、生体情報収集部７に心電計を用いて、被検体Ｐの心電信号（ＥＣＧ信号）を収集する場合について説明する。生体情報が一致している場合は（ステップＳ１２、Ｙｅｓ）、時間制御部３４は、その生体情報のタイムスケールを一致させ、互いの生体情報の時刻（時相）を一致させる（ステップＳ１４）。ここで、生体情報として心電信号（ＥＣＧ信号）を用いた場合において、タイムスケールを一致させる処理について図６及び図７を参照しつつ説明する。図６は、心電信号（ＥＣＧ信号）を示す図である。図７は、この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を説明するための図である。
【００７９】
図６に示す、ＥＣＧ１は、予め収集された時系列的な３次元画像データＡを収集する際に、同時に収集された心電信号（ＥＣＧ信号）である。また、ＥＣＧ２は、スキャンにより得られている時系列的な３次元画像データＢを収集している際に、同時に収集されている心電信号（ＥＣＧ信号）である。この例においては、ＥＣＧ２よりもＥＣＧ１の方が心拍の間隔が短い。なお、図６に示すように、心電信号（ＥＣＧ信号）には、「Ｐ」、「Ｑ」、「Ｒ」、「Ｓ」、「Ｔ」、「Ｕ」と命名されたピークがある。
【００８０】
時間制御部３４は、ＥＣＧ１とＥＣＧ２とを利用して、３次元画像データＡと３次元画像データＢのタイムスケールを一致させる。時間制御部３４は、例えば、ＥＣＧ信号のＲ波（ピークＲ）のみを抽出して、Ｒ波（ピークＲ）を一致させることにより、タイムスケールを一致させる。例えば図７に示すように、ＥＣＧ１のＲ波（ピークＲ）が、ＥＣＧ２のＲ波（ピークＲ）に一致するようにＥＣＧ１の時間軸を延ばしてＥＣＧ１’とする。また、Ｒ波（ピークＲ）のみならず、他のピークも使用してタイムスケールを一致させても良い。例えば、時間制御部３４は、ＥＣＧ１の各ピークが、ＥＣＧ２の各ピークにそれぞれ一致するようにＥＣＧ１の時間軸を延ばしてＥＣＧ１’としても良い。このように、３次元画像データＡと３次元画像データＢのタイムスケールを一致させ、同じ時刻（時相）における３次元画像データ同士を同期させ、それらを画像表示部２２に出力して画像表示部２２にて同時に表示することで、同じ時刻（時相）にて収集された３次元画像同士の比較が可能となる。
【００８１】
そして、時間制御部３４は、３次元画像データＡ及び３次元画像データＢの単位時間当たり（例えば１秒当たり）の画像数をそれぞれ算出し、単位時間当たりの画像数が少ない方の画像データに対して補間処理を施して所定の時刻（時相）の３次元画像データを生成する。例えば、単位時間当たりの画像数が、３次元画像データＡよりも３次元画像データＢの方が多い場合は（ステップＳ１５、Ｙｅｓ）、３次元画像データＡに対して補間処理を施して、単位時間当たりの画像数を３次元画像データＢに一致させる（ステップＳ１７）。一方、単位時間当たりの画像数が、３次元画像データＢよりも３次元画像データＡの方が多い場合は（ステップＳ１５、Ｎｏ）、３次元画像データＢに対して補間処理を施して、単位時間当たりの画像数を３次元画像データＡに一致させる（ステップＳ１６）。
【００８２】
ここでは、まず、３次元画像データＡと３次元画像データＢの単位時間当たりの画像数が同じ場合であって、補間処理を行わない場合について説明する。
【００８３】
図７に示すように、予め収集された時系列的な３次元画像データＡのうち、ピークＰにて収集された３次元画像データを、画像データｇ１１とし、ピークＲにて収集された３次元画像データを、画像データｇ１２とし、ピークＴにて収集された３次元画像データを、画像データｇ１３とする。さらに続けて、ピークＲにて収集された３次元画像データを、画像データｇ１４とし、ピークＴにて収集された３次元画像データを、画像データｇ１５とし、ピークＰにて収集された３次元画像データを、画像データｇ１６とする。
【００８４】
また、スキャンにより得られている時系列的な３次元画像データＢのうち、ピークＰにて収集された３次元画像データを、画像データｇ２１とし、ピークＲにて収集された３次元画像データを、画像データｇ２２とし、ピークＴにて収集された３次元画像データを、画像データｇ２３とする。さらに続けて、ピークＲにて収集された３次元画像データを、画像データｇ２４とし、ピークＴにて収集された３次元画像データを、画像データｇ２５とし、ピークＰにて収集された３次元画像データを、画像データｇ２６とする。
【００８５】
そして、ＥＣＧ１’とＥＣＧ２の時刻（時相）が一致する３次元画像データＡ及び３次元画像データＢを、画像表示部２２にて同時に表示することで、同じ時刻（時相）の３次元画像データを表示して比較することが可能となる。このように同期表示することにより、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとの比較が容易になる。
【００８６】
例えば、ピークＲにて収集された画像データｇ１２と画像データｇ２２とを同時に表示することで、つまり、スキャンにより得られている画像データｇ２２の表示のタイミングに合わせて予め収集された画像データｇ１２を表示することで、ピークＲにおける画像同士の比較が可能となる。
【００８７】
次に、単位時間当たりの画像数が、３次元画像データＡよりも３次元画像データＢの方が多い場合（ステップＳ１５、Ｙｅｓ）について説明する。この場合においては、ある時刻（時相）において収集された３次元画像データＢに対応する３次元画像データＡが欠けて存在しないため、３次元画像データＡに対して補間処理を施して、その時刻（時相）における欠けている３次元画像データを生成して、その時刻（時相）の３次元画像データＢに一致させる。
【００８８】
予め収集された時系列的な３次元画像データＡを補間する場合について、図８及び図９を参照しつつ説明する。図８及び図９は、この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【００８９】
図８に示すように、時間制御部３４によりタイムスケールが延ばされた状態において、画像データｇ２３に対応する画像データｇ１３が存在しない。つまり、時刻（時相）ｔ３（ピークＴ）における３次元画像データＡが欠けて存在しない。従って、３次元画像データＡと３次元画像データＢとを比較する場合に、時刻（時相）ｔ３（ピークＴ）における画像データ同士の比較が不可能となってしまう。そこで、時間制御部３４は、時刻（時相）ｔ３の前後の時刻（時相）ｔ２、ｔ４にて収集された画像データｇ１２及びｇ１４を用いて、時刻（時相）ｔ３の欠けている画像データｇ１３を補間して求める。
【００９０】
図９（ａ）に、時刻（時相）ｔ２、ｔ４におけるボリュームデータ内のボクセル位置とボクセル値との関係を示す。横軸は、ボリュームデータのボクセル位置を示し、縦軸はそのボクセル位置におけるボクセル値を示している。例えば、任意のボクセル位置ｎにおける時刻（時相）ｔ２のボクセル値はｖ２となり、時刻（時相）ｔ４のボクセル値はｖ４となる。
【００９１】
図９（ｂ）に、任意のボクセル位置ｎにおける、時刻（時相）ｔ２のボクセル値と、時刻（時相）ｔ４のボクセル値とを示す。時刻（時相）ｔ３におけるボクセル値ｖ３は、ボクセル値ｖ２とｖ４との間にあると推測されるため、ボクセル値ｖ２とｖ４を結ぶ、ユーザ指定の関数「ｖ＝ｆ（ｔ）」により、時間制御部３４は、時刻（時相）ｔ３におけるボクセル値ｖ３を算出する。この関数「ｖ＝ｆ（ｔ）」は、線形又は非線形の関数の指定が可能である。そして、時間制御部３４は、全てのボクセル位置におけるボクセル値を算出し、時刻（時相）ｔ３における欠けている画像データｇ１３を生成する。
【００９２】
このように、画像データを補間して３次元画像データＡ及び３次元画像データＢを、画像表示部２２にて同時に表示することで、同じ時刻（時相）の３次元画像データを表示して比較することが可能となる。
【００９３】
次に、単位時間当たりの画像数が、３次元画像データＢよりも３次元画像データＡの方が多い場合（ステップＳ１５、Ｎｏ）について説明する。この場合においては、ある時刻（時相）において収集された３次元画像データＡに対応する３次元画像データＢが欠けて存在しないため、３次元画像データＢに対して補間処理を施して、その時刻（時相）における画像データを生成して、３次元画像データＡに一致させる。
【００９４】
スキャンにより得られている時系列的な３次元画像データＢを補間する場合について、図１０及び図１１を参照しつつ説明する。図１０及び図１１は、この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【００９５】
例えば図１０に示すように、画像データｇ１３に対応する画像データｇ２３が欠けて存在しないものとする。つまり、時刻（時相）ｔ３における３次元画像データＢが欠けて存在しない。この場合も上述した補間方法により補間して時刻ｔ３における３次元画像データＢを生成すれば良いが、３次元画像データＢは今現在、スキャンにより収集しているデータであるため、時刻ｔ３における３次元画像データを表示するまでに、時刻ｔ４における３次元画像データが収集されていなければ、時刻ｔ３における３次元画像データを補間することができない。つまり、図１０に時刻ｔ０で表す現在の時刻においては、画像データｇ２４以降のデータが存在しないため、時刻ｔ０の段階においては、上述したように時刻ｔ２と時刻ｔ４における３次元画像データを用いて補間処理を行って、時刻（時相）ｔ３における欠けている画像データｇ２３を生成することはできない。
【００９６】
そこで、スキャンにより現在得られている時系列的な３次元画像データＢを補間する場合は、画像表示部２２の表示更新のタイミングをずらすことによって、補間処理を完了して画像データを生成し、補完された画像データを表示する。
【００９７】
この画像表示更新タイミングについて、図１１を参照しつつ説明する。横軸を時間ｔとする。医用画像診断装置１のスキャンにより、所定時間ごとにデータ収集部４によりデータが収集され、画像再構成部５により次々とボリュームデータＶ１〜が再構成される。そして、例えばボリュームデータＶ１とＶ２との間の３次元画像データを補間して求める場合は、ボリュームデータＶ１、Ｖ２が再構成されると、時間制御部３４はそのボリュームデータＶ１、Ｖ２を用いて、ボリュームデータＶ１とボリュームデータＶ２が収集される間のボリュームデータを補間して生成する。また、ボリュームデータＶ３が再構成され、ボリュームデータＶ２とＶ３と間の３次元画像データを補間して求める場合は、時間制御部３４は、ボリュームデータＶ２、Ｖ３を用いて、ボリュームデータＶ２とＶ３の間のボリュームデータを補間して生成する。
【００９８】
そして、画像表示部２２は、ボリュームデータＶ１に対応する３次元画像データを表示した後、ボリュームデータＶ２に対応する３次元画像データを表示する前に、補間されたボリュームデータに対応する３次元画像データを表示する。画像表示部２２は、補間された３次元画像データが表示された一定時間後に、ボリュームデータＶ２に対応する３次元画像データを表示する。画像表示部２２は表示更新の間隔を一定に保ちつつ、ボリュームデータＶ１に対応する３次元画像、Ｖ１とＶ２の補間により生成された３次元画像、ボリュームデータＶ２に対応する３次元画像、Ｖ２とＶ３の補間により生成された３次元画像、ボリュームデータＶ３に対応する３次元画像、・・・の順番で、３次元画像を表示する。
【００９９】
つまり、３次元画像Ｖ１が表示されてから次の画像が表示されるまでの間に、３次元画像Ｖ２を再構成し、３次元画像Ｖ１とＶ２を用いて補間し、それから補間された３次元画像の表示を行い、その後、３次元画像Ｖ２を表示する。
【０１００】
図１０に示す画像データで説明すると、画像データｇ２２を再構成し、画像データｇ２２を表示している間に、スキャン及び再構成を行って画像データｇ２４を再構成し、さらに、画像データｇ２２と画像データｇ２４と用いて補間された画像データｇ２３を生成し、画像データｇ２２の表示に続いて画像データｇ２３を表示し、次に画像データｇ２４を表示する。このように、表示更新のタイミングをずらすことで、補間された画像を表示することが可能となり、画像データｇ１３との比較が可能となる。なお、画像表示部２２は、一定時間後に表示を行うために必要なメモリ及びカウンタ等を備えている。
【０１０１】
時間制御部３４により、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている３次元画像データＢとが、同期させられて、領域制御部３５に出力される。次に、この領域制御部３５による制御について、図１２乃至図１５を参照しつつ説明する。図１２は、この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の領域を抽出する処理を順番に示すフローチャートである。図１３乃至図１５は、この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の領域を抽出する処理を説明するための図である。
【０１０２】
まず、領域制御部３５は、予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲を示す情報（領域抽出情報）を領域情報記憶部４４から読み込み（ステップＳ２０）、さらに、スキャンにより得られている３次元画像データＢを読み込む（ステップＳ２１）。そして、領域制御部３５は、読み込んだ領域抽出情報から３次元画像データＢに対する領域抽出情報を算出し（ステップＳ２２）、算出された領域抽出情報の範囲を３次元画像データＢから抽出する（ステップＳ２３）。なお、読み込まれた領域抽出情報は、時間ごとに少しずつ異なるものである。また、３次元画像データＡと３次元画像データＢとでは、抽出する観察領域にずれが生じる場合があるため、領域制御部３５は、観察領域の範囲を微調整してそのずれを修正し、３次元画像データＢに適合する領域抽出情報を算出する（ステップＳ２２）。そして、領域制御部３５は、微調整した領域抽出情報に基づいて、３次元画像データＢからその微調整後の範囲に含まれる３次元画像データを抽出する（ステップＳ２３）。
【０１０３】
例えば、予め収集された時系列的な３次元画像データＡが被検体の上半身（胸部）の画像を表している場合であって、過去において、その上半身の画像から心臓の部分を抽出して表示したものとする。その抽出した範囲を示す情報（領域抽出情報）が時間ごとに抽出情報記憶部４４に記憶され、領域制御部３５は各時間における領域抽出情報を読み込む。そして、領域制御部３５は、その読み込んだ領域抽出情報をスキャンにより得られている時系列的な３次元画像データＢに対して適用し、領域抽出情報を反映した範囲の３次元画像データを抽出する。
【０１０４】
例えば、図１３（ａ）に示すように、領域制御部３５は、予め領域情報記憶部４４に保存されている、各時刻（時相）の領域抽出情報を読み込む。そして、領域制御部３５は、図１３（ｂ）に示す、時刻（時相）ｔ１に収集された３次元画像データＡに対してその領域抽出情報を適用して、図１３（ｃ）に示すように、その領域抽出情報の範囲の３次元画像データを抽出する。これと同様に、領域制御部３５は、図１３（ｂ）に示す、時刻（時相）ｔ１に収集されている３次元画像データＢに対してその領域抽出情報を適用して、図１３（ｃ）に示すように、その領域抽出情報の範囲の３次元画像データを抽出する。時刻（時相）ｔ２及びｔ３においても、同様に、それぞれの時刻（時相）において施された領域抽出の情報に従って、３次元画像データを抽出する。
【０１０５】
時系列的な３次元画像データに対して、時間ごとに異なる範囲の領域抽出が行われている場合は、領域抽出情報も時系列的に記憶されている。例えば、時刻（時相）ｔ１における領域抽出情報と、時刻（時相）ｔ２における領域抽出情報とは、その範囲が異なる場合がある。従って、領域制御部３５は、時間ごとに異なる領域抽出情報を３次元画像データＡ、Ｂに適用して所望の観察領域の画像を抽出する。これにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１０６】
また、領域制御部３５は、予め収集された時系列的な３次元画像データＡから抽出された時系列的な３次元画像データから、その抽出領域を示すマスク（抽出領域情報）を生成して、そのマスクをスキャンにより得られている時系列的な３次元画像データＢに適用して所望の観察領域に含まれる３次元画像データを抽出しても良い。図１４に示すように、領域制御部３５は、予め収集された時系列的な３次元画像データＡの各時刻において抽出された３次元画像データｇ３１、ｇ３２、ｇ３３、ｇ３４・・・から、各時刻（時相）におけるマスク（抽出領域情報）ｍ１、ｍ２、ｍ３、ｍ４、・・・を生成し、各時刻（時相）に対応する３次元画像データＢにそのマスク（抽出領域情報）ｍ１、ｍ２、ｍ３、ｍ４、・・・を適用して所望の観察領域に含まれる３次元画像データｇ４１、ｇ４２、ｇ４３、ｇ４４、・・・を抽出する。これにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１０７】
予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲と同じ範囲の観察領域を、スキャンにより得られている時系列的な３次元画像データＢから抽出する場合について説明したが、全く同じ範囲の観察領域を抽出することが適していない場合がある。例えば、心臓の画像を抽出する場合、心臓の収縮率により、図１４に示すように、抽出する観察領域にずれが生じる場合がある。つまり、時刻ｔ１、ｔ２において予め収集された３次元画像データＡの範囲よりも、スキャンにより得られている３次元画像データＢの方が、大きさが小さいため、そのまま過去の観察領域を適用すると、ずれが生じる。具体的には、時刻（時相）ｔ１における画像データｇ３１よりも画像データｇ４１の方が小さく、また、時刻（時相）ｔ２における画像データｇ３２よりも画像データｇ４２の方が小さい。従って、３次元画像データＡに適用したマスク（領域抽出情報）をそのまま３次元画像データＢに適用すると、抽出領域のずれが生じる。
【０１０８】
この場合、領域制御部３５は、３次元画像データＢに適合するマスク（領域抽出情報）を生成し（ステップＳ２２）、その生成されたマスク（領域抽出情報）をスキャンにより得られている３次元画像データＢに適用して所望の観察領域の３次元画像を抽出する（ステップＳ２３）。領域制御部３５は、例えば、観察対象である心臓の変化（例えば収縮率等）に追従して抽出領域の範囲（マスクの形状）を微調整して、３次元画像データＢに適合するマスク（領域抽出情報）を生成する。例えば、モルフォロジカル・フィルタ処理を行うことにより、領域制御部３５は心臓の収縮率等に基づいて、図１５に示すように抽出領域の範囲（マスクの形状）を微調整（収縮又は拡張）して、３次元画像データＢに適合するマスク（領域抽出情報）を生成する。そして、領域制御部３５は、微調整された抽出領域の範囲を、スキャンにより得られている３次元画像データＢに適用して所望の観察領域に含まれる３次元画像データを抽出する。このように、領域抽出情報を微調整してずれを補正し、その補正後の領域抽出情報を３次元画像データＢに適用することで、３次元画像データＢに適合した観察領域に含まれる画像を抽出することが可能となる。
【０１０９】
このように、領域制御部３５により、予め収集された時系列的な３次元画像データＡに対して施された領域抽出の範囲に対応する領域を、スキャンにより得られている時系列的な３次元画像データＢに適用して３次元画像データを抽出することにより、各時刻（時相）における観察領域に含まれる３次元画像同士の比較が可能となる。
【０１１０】
領域制御部３５により抽出された３次元画像データは、操作制御部３６に出力される。この操作制御部３６による制御について、図１６及び図１７を参照しつつ説明する。図１６は、この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を順番に示すフローチャートである。図１７は、この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を説明するための図である。
【０１１１】
操作制御部３６は、操作情報記憶部４５に記憶されている、予め収集された時系列的な３次元画像データＡに対して行われた操作の内容を示す情報（操作情報）を読み込む（ステップＳ３０）。さらに、操作制御部３６は、スキャンにより得られている時系列的な３次元画像データＢを読み込む（ステップＳ３１）。この操作情報や画像処理のパラメータは時系列的なものであり、時間ごとに異なるものである。
【０１１２】
そして、操作制御部３６は、読み込んだ操作情報を、予め収集された３次元画像データＡに反映して、画像表示部２２上の表示を変更する（ステップＳ３２）。さらに、操作制御部３６は、読み込んだ操作情報を、スキャンにより得られている３次元画像データＢに反映して、画像表示部２２上の表示を変更する（ステップＳ３３）。この操作情報には、例えば、画像表示部２２の画面上で画像を回転させる情報等が含まれており、操作制御部３５は、例えばその回転させる情報を受けると、予め収集された３次元画像データＡ及びスキャンにより得られている３次元画像データＢにその回転操作を反映させる。そして、操作制御部３５から出力された３次元画像データＡ及び３次元画像データＢは、システム制御部３１を介して画像表示部２２に出力され、３次元画像データＡと３次元画像データＢは、画面上で、同じように回転させられて表示される。このように、各３次元画像データに同じ操作を適用して向き及び位置を一致させることで、画像の比較、観察が容易になる。
【０１１３】
また、図１７に示すように、操作入力部２１から入力された、回転、移動又はズーム等の操作情報を３次元画像データＡ、Ｂに反映させても良い。例えば、３次元画像データＡを回転させた場合、操作制御部３５は、その回転操作を３次元画像データＢに対しても行い、同じように３次元画像データＢも回転させる。このように、各時刻における３次元画像データごとに同じ操作を適用することで、画像の比較、観察が容易になる。
【０１１４】
また、３次元画像データＡ、Ｂの画像処理の内容を一致させる場合は、操作制御部３６は、操作情報記憶部４５に記憶されている、予め収集された時系列的な３次元画像データＡに対して行われた画像処理のパラメータ（オパシティやＷＬ／ＷＷ等）を読み込み、そのパラメータを用いて３次元画像データＡ、Ｂに対して画像処理を施す。これにより、３次元画像データＡ、Ｂの不透明度やコントラストや明るさ等が統一されるため、画像の比較、観察が容易になる。また、操作制御部３６は、スキャンにより得られている３次元画像データＢに対して施される画像処理を、予め収集された３次元画像データＡに対して施しても良い。つまり、３次元画像データＡ、Ｂに対して同じパラメータを用いて画像処理を行っても良い。
【０１１５】
以上のように、各制御部により処理が施されて、予め収集された時系列的な３次元画像データＡと、スキャンにより得られている時系列的な３次元画像データＢとが画像表示部２２に出力される。この画像表示部２２における表示の内容を図１８に示す。図１８において、画像表示部２２の画面上には、時間ごとに、予め収集された３次元画像データＡと、スキャンにより得られている３次元画像データＢとが同時に表示される。この表示内容は、上述した位置制御部３３による処理により、ローカル座標系が一致しているものである。さらに、時間制御部３４による処理により、例えば心電信号（ＥＣＧ信号）に同期した３次元画像データが表示され、同じ時刻（時相）において収集された３次元画像データが同時に表示される。また、領域制御部３５による処理により、互いに対応する領域が抽出された画像が表示されている。この例においては、関心領域として心臓の３次元画像が表示されている。さらに、操作制御部３６による処理により、回転の向きやズームの倍率等が同じになる。
【０１１６】
画像表示部２２の画面上には、時間ごとに少しずつ異なる３次元画像が表示され、操作者は動画として観察し、両画像を比較することができる。このように、この実施形態に係る画像処理装置２０によると、スキャン中にいわゆるリアルタイムに、時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出し、生体情報に基づいて時系列的な３次元画像データ同士を同期させ、更に、抽出された観察領域に含まれる３次元画像の向きや、表示されている３次元画像の観察角度や拡大率等の表示操作や、画像処理の内容を、比較する時系列的な３次元画像データ同士で共通化することにより、時系列的な３次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易にすることが可能となる。これにより、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１１７】
また、医用画像診断装置として超音波診断装置を用いて、ストレスエコー法により画像を収集する場合、この実施形態に係る画像処理装置２０を用いると、有効な情報を医師に提供することが可能となる。例えば、ストレスエコー法により、被検体にジョギングをさせ、ジョギングする前とジョギングする後とのそれぞれにおいて心筋の時系列的な３次元画像データを収集し、ジョギング前後の時系列的な３次元画像を比較する場合に、画像処理装置２０によりジョギング前後の時系列的な３次元画像データを処理することにより、心臓の時系列的な３次元画像同士を容易に比較することが可能となる。
【０１１８】
従来、ストレスエコー法により画像を収集する場合、スキャン中の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することができなかったため、ジョギング後の時系列的な３次元画像データを収集しながら、ジョギング前後の時系列的な３次元画像の比較をリアルタイムに行うことができなかった。しかし、この実施形態に係る画像処理装置２０を用いると、スキャン中の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データをリアルタイムに抽出することができるため、ジョギング前後の時系列的な３次元画像の比較をリアルタイムに行うことが可能となる。
【０１１９】
また、システム制御部３１は、操作入力部２１からの指示に従って、画像制御部３２、位置制御部３３、時間制御部３４、領域制御部３５及び操作制御部３６の処理を個別に解除することもできる。このように全ての処理を行わず、指定された処理のみを同期させて画像表示部２２に画像を表示することができる。例えば、時間制御部３４及び領域制御部３５のみの処理を行って、時系列的な３次元画像データＡ、Ｂを時間的に同期させ、更に、所望の観察領域に含まれる３次元画像データを抽出して、画像表示部２２に表示させることもできる。このように処理を行っても、観察領域に含まれる３次元画像同士を時系列的に比較することが可能となる。
【０１２０】
また、画像表示部２２の画面上には、３次元画像以外に、生体情報の波形が表示される。この生体情報の波形には、現在表示している画像が収集された時刻（時相）を示すマーカが表示されるようにしても良い。さらに、画像表示部２２の画面上に、各制御部の処理をＯＮ／ＯＦＦさせるための入力部をＧＵＩ（グラフィカルユーザインターフェース）として表示して、操作入力部２１に設置されているマウス等によりＯＮ／ＯＦＦの切替を選択できるようにしても良い。また、位置制御部３３にて用いられる３次元位置情報、時間制御部３４にて用いられる生体情報、領域制御部３５にて用いられる領域抽出情報、及び操作制御部３６にて用いられる操作情報の具体的な内容が選択可能に表示されていても良い。例えば、操作入力部２１に設置されているマウス等により、位置「骨領域の特徴点」が選択されると、上述した処理のように、骨領域の特徴点（解剖学的特徴点）が３次元位置情報として用いられ、時間「ＥＣＧ」が選択されると、心電信号（ＥＣＧ信号）が生体情報として用いられる。さらに、画面上に操作パネルを表示させ、３次元画像の拡大、移動、回転又は計測等の操作が選択されるようにしても良い。また、画面上に、画像処理のパラメータであるオパシティ（Ｏｐａｃｉｔｙ）のカーブや、コントラストや明るさを決定するパラメータであるＷＬ／ＷＷのカーブを表示しても良い。
【０１２１】
また、この実施形態に係る画像処理装置を応用すると、異なる医用画像診断装置にて収集された時系列的な３次元画像データを比較することも可能となり、複数の３次元画像データ同士を重畳して画像表示部２２に表示することによって、時系列的な合成画像（いわゆるＦｕｓｉｏｎ画像）を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な３次元画像データと、Ｘ線ＣＴ装置にて収集された時系列的な３次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる３次元画像同士の比較が容易になる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１２２】
［第２の実施の形態］
次に、この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムについて、図１９を参照しつつ説明する。図１９は、この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。この第２の実施形態に係る画像処理装置２０は、第１の実施形態に係る画像処理装置２０と同じ構成を有するが、この実施形態においては、図１９に示すように、画像処理装置２０と医用画像診断装置１（１０）とが接続されておらず、いわゆるリアルタイムに医用画像診断装置１から３次元画像データが入力されない。この場合は、複数の時系列的な３次元画像データを記憶装置４０に保存しておき、保存された３次元画像データに対して上述した処理を施す。
【０１２３】
上述したように、記憶装置４０に保存されている複数の時系列的な３次元画像データに対して、生体情報により同期した３次元画像を画像表示部２２に表示し、更に、一方の時系列的な３次元画像データから所望の観察領域に含まれる３次元画像データを抽出した場合、その観察領域の範囲を他方の時系列的な３次元画像データに対しても適用して、所望の観察領域に含まれる３次元画像データを抽出して表示する。このとき、観察領域の範囲にずれがある場合は、その観察領域を微調整により収縮又は拡張し、微調整された観察領域を他方の３次元画像データに適用して所望の観察領域に含まれる３次元画像データを抽出する。その他、操作情報等を同期させて同じ表示操作が施された状態で画像表示部２２に３次元画像を表示する。
【０１２４】
これにより、異なる医用画像診断装置にて収集された時系列的な３次元画像データを比較することも可能となり、複数の３次元画像データ同士を重畳して画像表示部２２に表示することによって、時系列的な合成画像（いわゆるＦｕｓｉｏｎ画像）を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な３次元画像データと、Ｘ線ＣＴ装置にて収集された時系列的な３次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる３次元画像同士の比較が容易になる。また、被検体の時系列的な３次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
【０１２５】
［第３の実施の形態］
次に、この発明の第３の実施形態に係る画像処理システムについて、図２０を参照しつつ説明する。この実施形態に係る画像処理システムは、ロボット手術等を想定した術中ナビゲーションシステムに相当し、第１の実施形態に係る画像処理装置を備えることにより、実現可能となるものである。
【０１２６】
図２０に示すように、画像処理装置２０には、術中ナビゲーション装置５０が接続されている。さらに、画像処理装置２０には、編集画像出力部３７が備えられている。この編集画像出力部３７は、画像処理装置２０にて領域抽出や生体情報に基づく同期処理等が施された時系列的な３次元画像データを術中ナビゲーション装置５０に出力する。
【０１２７】
術中ナビゲーション装置５０は、操作入力部５１、実画像収集部５２、実画像出力部５３、画像表示部５４、制御部５５及び重畳画像処理部５６を備えて構成されている。
【０１２８】
操作入力部５１は、術者による操作により、手術に必要なメス等の手術器具５７を操作する。また、操作入力部５１は、術者の操作により、手術器具５７と連動したロボットアームを操作することもできる。
【０１２９】
実画像収集部５２は、医用画像診断装置１の撮像対象である被検体Ｐの実画像を撮影するものであり、更に、術者の視点を追従することもでき、術者の挙動（視点の挙動）に追従して実画像を撮影することができる。画像出力部５３は、実画像収集部５２により収集された実画像に対して画像処理を行い、収集した実画像を鮮明な画像に変換して重畳画像処理部５６に出力する。
【０１３０】
重畳画像処理部５６は、画像出力部５３から出力された実画像と、画像処理装置２０の編集画像出力部３７から出力された、領域抽出等の処理が施された時系列的な３次元画像データとを受け、それらを重ね合わせる。
【０１３１】
制御部５５は、術中ナビゲーション装置５０全体を制御するものであり、主に、操作入力部５１から出力される術者による操作情報や、重畳画像処理部５６から出力される、実画像と時系列的な３次元画像データとが重畳された画像データ等を画像表示部５４に受け渡す処理を行う。
【０１３２】
画像表示部５４は、術者の視点の移動に追従した実画像と、医用画像診断装置１にて収集され、画像処理装置２０にて領域抽出や同期処理等が施された時系列的な３次元画像データとを、重畳して表示する。術者（手術ロボット操作者）は、この画像表示部５４に表示された重畳画像を観察しながら、操作入力部５１を介して手術器具５７を操作して手術を行うことになる。
【０１３３】
このように、画像処理装置２０により領域抽出等が施された時系列的な３次元画像と実画像とを重畳して表示することにより、実画像では得られない、被検体内部に存在する臓器の移動や変形等の経時的変化等を、術者は手術中にリアルタイムに取得することが可能となる。例えば、術中の時系列的な３次元画像データと、術前の時系列的な３次元画像データとを、同期させて表示したり、観察したい部分の画像を抽出して表示したりすることにより、手術中に比較検討することが可能となる。
【図面の簡単な説明】
【０１３４】
【図１】この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。
【図２】この発明の第１の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。
【図３】この発明の第１の実施形態に係る画像処理装置による座標変換処理を順番に示すフローチャートである。
【図４】この発明の第１の実施形態に係る画像処理装置による座標変換処理を説明するための図である。
【図５】この発明の第１の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を順番に示すフローチャートである。
【図６】心電信号（ＥＣＧ信号）を示す図である。
【図７】この発明の第1の実施形態に係る画像処理装置により、２つの時系列的な３次元画像を同期させて表示する処理を説明するための図である。
【図８】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図９】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１０】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１１】この発明の第１の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
【図１２】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を順番に示すフローチャートである。
【図１３】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１４】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１５】この発明の第１の実施形態に係る画像処理装置により、時系列的な３次元画像から所望の観察領域を抽出する処理を説明するための図である。
【図１６】この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を順番に示すフローチャートである。
【図１７】この発明の第１の実施形態に係る画像処理装置により、操作状態を一致させる処理を説明するための図である。
【図１８】この発明の第１の実施形態に係る画像処理装置に設置されている画像表示部に表示される画像を示す図である。
【図１９】この発明の第２の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。
【図２０】この発明の第３の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。
【符号の説明】
【０１３５】
１、１０ 医用画像診断装置
２ 照射部
３ 検出器
４ データ収集部
５ 画像再構成部
６ 位置情報収集部
７ 生体情報収集部
１１ 超音波プローブ
１２ 送受信部
１３ 信号処理部
１４ ＤＳＣ（デジタルスキャンコンバータ）
２０ 画像処理装置
２１ 操作入力部
２２ 画像表示部
３０ 制御部
３１ システム制御部
３２ 画像制御部
３３ 位置制御部
３４ 時間制御部
３５ 領域制御部
３６ 操作制御部
４０ 記憶装置
４１ 画像記憶部
４２ 位置情報記憶部
４３ 生体情報記憶部
４４ 領域情報記憶部
４５ 操作情報記憶部
【特許請求の範囲】
【請求項１】
所望の観察領域を示す抽出領域情報を記憶する記憶手段と、
所定時間ごとに収集される第１の時系列的な３次元画像データから、前記記憶手段に記憶されている抽出領域情報が示す観察領域を基準とした領域に含まれる３次元画像データを、前記収集されるごとに逐次、抽出する領域抽出手段と、
前記第１の時系列的な３次元画像データから抽出された３次元画像データを時系列的に表示する表示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶手段に記憶されている抽出領域情報は、予め所定時間ごとに収集された第２の時系列的な３次元画像データから３次元画像データを抽出したときに用いられた情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出手段は、観察対象の時間的変化に追従して前記所望の観察領域の範囲を変化させ、前記第１の時系列的な３次元画像データから変化後の観察領域に含まれる３次元画像データを抽出することを特徴とする請求項１又は請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の生体情報とともに収集され、
前記生体情報に基づいて、前記第１の時系列的な３次元画像データと前記第２の時系列的な３次元画像データとを同期させる時間同期手段を更に有することを特徴とする請求項２又は請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記時間同期手段は、前記生体情報に基づいて、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データのうち、同じ時相に収集された３次元画像データ同士を同期させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生体情報は、前記被検体の心電信号、筋電信号又は関節の動作を時系列的に示す関節動作情報からなることを特徴とする請求項４又は請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データの、それぞれの所定時間に欠けている３次元画像データを、前記所定時間の前後で収集された３次元画像データを用いて補間して生成する画像補間手段を更に有することを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の３次元位置情報とともに収集され、
前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データから、それぞれ時間ごとに変化する時系列的な３次元位置情報を抽出し、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【請求項１０】
前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データのうち、いずれか一方の時系列的な３次元画像データに対して行われた操作又は画像処理を、他方の３次元画像データに対しても行う操作制御手段を更に有することを特徴とする請求項２乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記記憶手段は、前記第２の時系列的な３次元画像データに対して行われた操作の内容を示す操作情報、又は、前記第２の時系列的な３次元画像データに対して行われた画像処理の内容を示す画像処理情報を記憶し、
前記記憶手段に記憶されている操作情報が示す操作、又は画像処理情報が示す画像処理を、前記第１の時系列的な３次元画像データに対して行う操作制御手段を更に有することを特徴とする請求項２乃至請求項９のいずれかに記載の画像処理装置。
【請求項１】
所望の観察領域を示す抽出領域情報を記憶する記憶手段と、
所定時間ごとに収集される第１の時系列的な３次元画像データから、前記記憶手段に記憶されている抽出領域情報が示す観察領域を基準とした領域に含まれる３次元画像データを、前記収集されるごとに逐次、抽出する領域抽出手段と、
前記第１の時系列的な３次元画像データから抽出された３次元画像データを時系列的に表示する表示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記記憶手段に記憶されている抽出領域情報は、予め所定時間ごとに収集された第２の時系列的な３次元画像データから３次元画像データを抽出したときに用いられた情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出手段は、観察対象の時間的変化に追従して前記所望の観察領域の範囲を変化させ、前記第１の時系列的な３次元画像データから変化後の観察領域に含まれる３次元画像データを抽出することを特徴とする請求項１又は請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の生体情報とともに収集され、
前記生体情報に基づいて、前記第１の時系列的な３次元画像データと前記第２の時系列的な３次元画像データとを同期させる時間同期手段を更に有することを特徴とする請求項２又は請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記時間同期手段は、前記生体情報に基づいて、前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データのうち、同じ時相に収集された３次元画像データ同士を同期させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生体情報は、前記被検体の心電信号、筋電信号又は関節の動作を時系列的に示す関節動作情報からなることを特徴とする請求項４又は請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データの、それぞれの所定時間に欠けている３次元画像データを、前記所定時間の前後で収集された３次元画像データを用いて補間して生成する画像補間手段を更に有することを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データは、時間ごとに変化する被検体の３次元位置情報とともに収集され、
前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記第１の時系列的な３次元画像データ及び前記第２の時系列的な３次元画像データから、それぞれ時間ごとに変化する時系列的な３次元位置情報を抽出し、前記３次元位置情報に基づいて、前記第１の時系列的な３次元画像データの座標系、又は、前記第２の時系列的な３次元画像データの座標系の少なくとも一方の座標系を変更して他方の座標系に一致させる位置制御手段を更に有することを特徴とする請求項２乃至請求項７のいずれかに記載の画像処理装置。
【請求項１０】
前記第１の時系列的な３次元画像データ又は前記第２の時系列的な３次元画像データのうち、いずれか一方の時系列的な３次元画像データに対して行われた操作又は画像処理を、他方の３次元画像データに対しても行う操作制御手段を更に有することを特徴とする請求項２乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記記憶手段は、前記第２の時系列的な３次元画像データに対して行われた操作の内容を示す操作情報、又は、前記第２の時系列的な３次元画像データに対して行われた画像処理の内容を示す画像処理情報を記憶し、
前記記憶手段に記憶されている操作情報が示す操作、又は画像処理情報が示す画像処理を、前記第１の時系列的な３次元画像データに対して行う操作制御手段を更に有することを特徴とする請求項２乃至請求項９のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−１９２１５１（Ｐ２００６−１９２１５１Ａ）
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願番号】特願２００５−８２２５（Ｐ２００５−８２２５）
【出願日】平成１７年１月１４日（２００５．１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願日】平成１７年１月１４日（２００５．１．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]