画像処理装置

【課題】部分的に動く領域を含む対象を撮影した断層像から３次元動画像を高速に生成することが可能な画像処理装置を提供する。
【解決手段】画像処理装置１００のＣＰＵ１０１は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像から３次元動画を生成・表示する際に、対象領域のうち、時相間で変化が大きい変化領域を決定し、変化領域については忠実に３次元画像を生成し、その他の領域については簡略に３次元画像を生成し、生成された３次元画像を時系列に順次表示する。例えば、ある時相の一連の断層像を用いて、全領域３Ｄを生成するとともに、変化領域については、各時相の一連の断層像を用いて変化領域３Ｄをそれぞれ生成し、上記全領域３Ｄに各時相での変化領域３Ｄを上塗り合成し、時系列に順次表示する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の断層像から３次元画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来から、例えばＸ線ＣＴ（ｃｏｍｐｕｔｅｄｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（ｍａｇｎｅｔｉｃｒｅｓｏｎａｎｃｅｉｍａｇｉｎｇ）装置、超音波診断装置等によって撮影される一連の断層像群を用い、対象物の３次元画像を生成する手法が知られている。例えば、特許文献１には、複数の断層像から３次元画像を構成し、ボリュームレンダリング法で用いられる陰影付けの勾配を断層像の画素値及び画素値勾配を用いることにより、部位に応じた適切な陰影付けを施す手法が開示されている。更に、時間の経過に伴い複数の時相で断続的に撮影された各断層像群から３次元画像を複数生成し、連続的な動画として表示させる手法も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１１６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般に３次元画像の構成処理は演算量が多く、処理時間が長くなる傾向があった。特に、動画のように多数の３次元画像を生成するにはより多くの処理時間が必要であった。
ところで、演算対象とする各断層像には、時間の経過に伴い、動きの大きい領域とほとんど動かない領域とが含まれることがある。例えば、心臓領域を対象に撮影した断層像では、動脈弁領域は時間の経過に伴い動きがあるが、その他の領域はほとんど動きがない。
【０００５】
本発明は、以上の問題点に鑑みてなされたものであり、時間経過に伴い変化する領域を含む断層像に基づいて、高速に３次元動画を生成し、表示する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述した目的を達成するために、本発明は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像を用いて、各時相の３次元画像をそれぞれ生成し、動画表示する画像処理装置であって、前記対象領域のうち、時相間で変化が大きい変化領域を決定する領域決定手段と、前記変化領域については忠実に３次元画像を生成し、その他の領域については簡略に３次元画像を生成する生成手段と、前記生成手段によって生成された３次元画像を時系列に順次表示する表示手段と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【０００７】
本発明の画像処理装置により、時間経過に伴い変化する領域を含む断層像に基づいて、高速に３次元動画を生成し、表示できる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置１００の全体構成を示す図
【図２】本発明に係る画像処理装置１００が実行する３次元動画表示処理の流れを説明するフローチャート
【図３】変化領域の決定の一例（前後時相での比較）について説明する図
【図４】変化領域の決定の一例（全時相での比較）について説明する図
【図５】変化領域の画像生成の一例（中心投影）について説明する図
【図６】変化領域の画像生成の一例（平行投影）について説明する図
【図７】埋め込み動画の生成・表示から全領域動画の生成・表示までの流れを説明するフローチャート
【図８】演算モードの選択画面と、高／低密度３次元画像とを説明する図
【図９】「高／低密度」モードの演算処理の流れを説明するフローチャート
【図１０】「高／低フレームレート」モードの演算処理の流れを説明するフローチャート
【図１１】「高／低フレームレート」モードにおける画像生成を説明する図
【図１２】心拍等の周期的運動に応じた画像生成について説明する図
【発明を実施するための形態】
【０００９】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
【００１０】
［第１の実施の形態］
まず、図１を参照して、本発明の画像処理装置１００を適用した画像処理システム１の構成について説明する。
【００１１】
図１に示すように、画像処理システム１は、表示装置１０７、入力装置１０９を有する画像処理装置１００と、画像処理装置１００にネットワーク１１０を介して接続される画像データベース１１１と、画像撮影装置１１２とを備える。
【００１２】
画像処理装置１００は、画像生成、画像解析等の処理を行うコンピュータである。例えば、病院等に設置される医用画像処理装置を含む。
画像処理装置１００は、図１に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１、主メモリ１０２、記憶装置１０３、通信インタフェース（通信Ｉ／Ｆ）１０４、表示メモリ１０５、マウス１０８等の外部機器とのインタフェース（Ｉ／Ｆ）１０６を備え、各部はバス１１３を介して接続されている。
【００１３】
ＣＰＵ１０１は、主メモリ１０２または記憶装置１０３等に格納されるプログラムを主メモリ１０２のＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１１３を介して接続された各部を駆動制御し、画像処理装置１００が行う各種処理を実現する。
【００１４】
また、ＣＰＵ１０１は、後述する３次元動画表示処理（図２参照）において、時間の経過に伴い複数の時相で断続的に撮影された各一連の断層像について、時相間の変化が大きい変化領域を決定し、変化領域については忠実な３次元動画を生成し、その他の領域（変化の少ない領域）については既に生成した３次元画像を利用する等して演算処理を簡略化し、これらの各領域の画像を合成した埋め込み動画を表示する。
変化領域の決定や埋め込み動画の生成についての詳細は後述する。
【００１５】
主メモリ１０２は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等により構成される。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。また、ＲＡＭは、ＲＯＭ、記憶装置１０３等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵ１０１が各種処理を行う為に使用するワークエリアを備える。
【００１６】
記憶装置１０３は、ＨＤＤ（ハードディスクドライブ）や他の記録媒体へのデータの読み書きを行う記憶装置であり、ＣＰＵ１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、ＣＰＵ１０１により必要に応じて読み出されて主メモリ１０２のＲＡＭに移され、各種の手段として実行される。
【００１７】
通信Ｉ／Ｆ１０４は、通信制御装置、通信ポート等を有し、画像処理装置１００とネットワーク１１０との通信を媒介する。また通信Ｉ／Ｆ１０４は、ネットワーク１１０を介して、画像データベース１１１や、他のコンピュータ、或いは、Ｘ線ＣＴ装置、ＭＲＩ装置等の画像撮影装置１１２との通信制御を行う。
Ｉ／Ｆ１０６は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス１０８やスタイラスペン等のポインティングデバイスをＩ／Ｆ１０６を介して接続させるようにしてもよい。
【００１８】
表示メモリ１０５は、ＣＰＵ１０１から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置１０７に出力される。
【００１９】
表示装置１０７は、液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ１０５を介してＣＰＵ１０１に接続される。表示装置１０７はＣＰＵ１０１の制御により表示メモリ１０５に蓄積された表示データを表示する。
【００２０】
入力装置１０９は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をＣＰＵ１０１に出力する。操作者は、表示装置１０７、入力装置１０９、及びマウス１０８等の外部機器を使用して対話的に画像処理装置１００を操作する。
【００２１】
ネットワーク１１０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、イントラネット、インターネット等の各種通信網を含み、画像データベース１１１やサーバ、他の情報機器等と画像処理装置１００との通信接続を媒介する。
【００２２】
画像データベース１１１は、画像撮影装置１１２によって撮影された画像データを蓄積して記憶するものである。図１に示す画像処理システム１では、画像データベース１１１はネットワーク１１０を介して画像処理装置１００に接続される構成であるが、画像処理装置１００内の例えば記憶装置１０３に画像データベース１１１を設けるようにしてもよい。
【００２３】
次に、図２〜図７を参照して、画像処理装置１００の動作について説明する。
【００２４】
画像処理装置１００のＣＰＵ１０１は、主メモリ１０２から図２の３次元動画表示処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
【００２５】
なお、以下の３次元動画表示処理の実行開始に際して、演算対象とする断層像データは画像データベース１１１等からネットワーク１１０及び通信Ｉ／Ｆ１０４を介して取り込まれ、画像処理装置１００の記憶装置１０３に記憶されているものとする。
【００２６】
図２の３次元動画表示処理において、まず画像処理装置１００のＣＰＵ１０１は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像を入力画像データとして読み込む。ここで読み込む画像は、例えば心臓の動脈弁のように動きのある領域を含む対象についての一連の断層像群とし、対象領域は全時相で同一のままとする。入力画像データの好適な例として、超音波画像、ＣＴ画像、またはＭＲ画像等が挙げられる。
なお、対象領域は心臓に限定されるものではなく、他の臓器としてもよい。
【００２７】
ＣＰＵ１０１は、読み込んだ画像データから、時相間で変化する領域（変化領域）を決定する。
すなわち、ＣＰＵ１０１は、時相の異なる断層像のうち対応するスライス位置の画像（以下、対応画像という）間で差分を算出し（ステップＳ１）、差分値の大きさが大きい領域を変化領域として決定する（ステップＳ２）。
【００２８】
変化領域を決定する際、ＣＰＵ１０１は、図３に示すように前後する時相の対応画像から各画素の差分を算出し、その差分値の大きさが所定の閾値より大きい領域を変化領域として決定する。また、変化領域の別の決定方法として、図４に示すように、ＣＰＵ１０１は、全時相の対応画像から各画素の最大画素値と最小画素値との差分を算出し、その差分値の大きさが所定の閾値より大きい領域を変化領域として決定するようにしてもよい。
【００２９】
前後時相の断層像に基づいて変化領域を決定する場合は、具体的には、図３（Ａ）に示すように、ある時相ｔ１の断層像群５１と次の時相ｔ２の断層像群５２との差分を算出する。時相ｔ１の断層像群５１は、断層像ＳＬ５１１，ＳＬ５１２，ＳＬ５１３，ＳＬ５１４，・・・から構成され、時相ｔ２の断層像群５２は、複数の断層像ＳＬ５２１，ＳＬ５２２，ＳＬ５２３，ＳＬ５２４，・・・から構成されるものとする。ＣＰＵ１０１は、例えばＳＬ５１１とＳＬ５２１、ＳＬ５１２とＳＬ５２２のように、対応画像の各画素について画素値（濃度値）の差分を算出する。
【００３０】
そしてＣＰＵ１０１は、対応画像の画素値の差分が所定値より大きい画素についてはフラグ「１」、上記差分が所定値以下の画素についてはフラグ「０」として画素毎に変化フラグを設定し、フラグ格納面６に格納する。同様に全てのスライス位置についてのフラグ格納面６を主メモリ１０２に保持する。なお、このフラグ格納面６は比較した時相毎に作成されることとなる。
【００３１】
図３（Ｂ）に示すように、変化フラグ「１」が設定された領域を変化領域６１、６２として決定することができる。
また、図３（Ｃ）に示すように、算出した変化領域６１，６２の周囲を拡張し、拡張した領域６３，６４を変化領域とすることが望ましい。領域の拡張は、拡張領域６３のように直方体に拡張しても良いし、拡張領域６４のように相似形に拡張しても良いし、図示しないが楕円球としてもよい。このように変化領域を広く抽出しておくことにより、後の処理で生成される３次元画像の正確さを向上でき、医用画像としての信頼性を高めることができる。また拡張領域６３のように直方体に拡張した場合は、変化領域が三軸方向の各最大座標及び最小座標のみで決定されることとなるため小さなデータ量で保存でき、メモリ領域の縮小に寄与できる。
【００３２】
一方、変化領域を決定する別の手法として、全時相の対応画像から各画素の最大画素値と最小画素値との差分を算出する場合には、ＣＰＵ１０１は、図４（Ａ）に示すように、時相ｔ１〜ｔＮの全ての時相の断層像群５１〜断層像群５Ｎから、各画素について最小画素値及び最大画素値を求める。この演算はスキャン中に行ってもよいし、スキャン終了後に行ってもよい。
図４（Ｂ）に示すように、各断層像の各画素について最小画素値及び最大画素値が決定すると、ＣＰＵ１０１は最小画素値と最大画素値との差分を算出する。
【００３３】
そしてＣＰＵ１０１は、図３の例と同様に、上記差分が所定値より大きい画素については変化フラグ「１」、上記差分が所定値以下の画素については変化フラグ「０」のように画素毎に変化フラグを設定し、フラグ格納面６に格納する。同様に全てのスライス位置についてフラグ格納面６を生成し、主メモリ１０２に保持する。なお、この場合フラグ格納面６は全時相に一つとなる。
この結果、図４（Ｃ）に示すように、変化フラグ「１」が設定された領域を変化領域６１として決定することができる。また、図３の例と同様に図４（Ｄ）に示すように、変化領域６１の周囲を拡張し、拡張領域６３を変化領域とすることが望ましい。
【００３４】
なお、図４の例では、上述のようにすべての時相について画素値の大きさを比較してもよいし、処理時間の短縮のためにある程度時相を間引いて変化領域を決定してもよい。
【００３５】
図３に示す例では、前後する時相（連続する二つの時相）の断層像間で対応画像を比較するため、変化領域の抽出結果は時相毎に異なるのに対し、図４に示す例では、時相全体で対応画像を比較して変化領域を抽出するため、変化領域が時相毎に変化しない。よって、図３の手法では時間による変化をより細かく捉え、より信頼性の高い３次元動画を得ることとなる。一方、図４の手法では全体的な変化の要所を捉えつつ、変化領域決定に要する処理量を比較的少なくできる。従って、変化領域の決定にどちらの手法を使用するかは、要求される画像の信頼性や、処理時間、あるいは対象領域に応じて選択すべきである。
【００３６】
ステップＳ１〜ステップＳ２の処理によって変化領域を決定すると、次に、ＣＰＵ１０１は３次元画像の生成を開始する。
このとき、ＣＰＵ１０１はある時相、例えば最初の時相について全体の３次元画像を生成し、ステップＳ１〜Ｓ２で決定した変化領域については更に、各時相についてそれぞれ３次元画像を生成する（ステップＳ３）。
そして、ある時相（例えば最初の時相）についての３次元画像内に、変化領域の各時相の３次元画像をそれぞれ合成した埋め込み画像を生成し、時系列に順次表示することにより動画表示とする（ステップＳ４）。
【００３７】
３次元画像の生成は、図５に示すような中心投影法としてもよいし、図６にしめすような平行投影法としてもよい。
図５に示すように、時相ｔ２の断層像群５２の３次元画像を生成する場合、ＣＰＵ１０１は時相ｔ２についてのフラグ格納面６を参照して変化領域６１（または拡張した変化領域６３）、変化領域６２（または拡張した変化領域６４）についての３次元画像７１、７２を構成する。その他の領域については、既に演算済みの別の時相（例えばｔ１）の全領域３次元画像７３を利用（コピー）する。
【００３８】
図５の投影面７には、時相ｔ２の断層像５２の変化領域６１（その拡張領域６３）の３次元画像７１と、時相ｔ２の断層像５２の変化領域６２（その拡張領域６４）の３次元画像７２とが投影されるとともに、その他の領域の画像としてある時相（例えばｔ１）の３次元画像７３が投影される。他の時相についても、同様に、変化領域の３次元画像を生成し、その他の領域については既に演算済みの時相の３次元画像を利用し、合成する。
【００３９】
また、図６に示すように、平行投影法により３次元画像を生成する場合も同様に、変化領域６１（または拡張した変化領域６３）や変化領域６２（または拡張した変化領域６４）について３次元画像８１、８２を構成し、その他の領域については、既に演算済みの別の時相（例えばｔ１）の３次元画像８３を利用（コピー）する。
図６の投影面８には、時相ｔ２の断層像５２の変化領域６１（その拡張領域６３）の３次元画像８１と、変化領域６２（その拡張領域６４）の３次元画像８２とが投影されるとともに、ある時相（例えばｔ１）の３次元画像８３が投影される。他の時相についても、同様に、変化領域の３次元画像を生成し、その他の領域については既に演算済みの時相の３次元画像を合成する。
【００４０】
次に、図７を参照して、３次元動画表示処理における画像の生成及び表示の手順を詳細に説明する。
なお、図７に示す処理の開始までに、図２のステップＳ１及びステップＳ２の処理によって、対象画像から変化領域が決定されているものとする。
【００４１】
図７の処理において、まず、ＣＰＵ１０１は、最初の時相ｔ１の全領域の３次元画像（全領域３Ｄ）を構成する（ステップＳ１０１）。その後、次の時相ｔ２の変化領域の３次元画像（変化領域３Ｄ）を構成する（ステップＳ１０２)。そして、最初時相ｔ１の全領域３Ｄに次の時相ｔ２の変化領域３Ｄを上塗りするように合成し、３次元合成画像とする。
【００４２】
ここで上塗りとは、既に生成済みの全領域３Ｄを投影面にコピーし、そのコピー画像の変化領域の部分のみを新たに生成した画像に更新することをいう。或いはその逆に、変化領域の画像を生成した投影面に、既に生成済みの全領域３Ｄの変化領域以外の部分の画像をコピーして合成する。
つまり、変化領域については時刻ｔ２の画像、その他の領域については時刻ｔ１の画像が１画面内に合成される。
この上塗り合成された画像を以下、埋め込み画像と呼ぶ。
この段階で生成されている各時相の３次元画像（時刻ｔ１の全領域３Ｄと時刻ｔ２の埋め込み画像）は表示装置１０７に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい（ステップＳ１０３）。
【００４３】
ＣＰＵ１０１は、全時相での変化領域３Ｄが終了したか否かを判定し、まだ全時相での変化領域３Ｄを構成していない場合は（ステップＳ１０４；Ｎｏ）、ステップＳ１０２に戻り、次の時相での変化領域３Ｄを構成し、最初時相の全領域３Ｄに上塗り合成する。
【００４４】
全時相での変化領域３Ｄの構成が終了した場合は（ステップＳ１０４；Ｙｅｓ）、次に、全時相の全領域３Ｄの構成を開始する。ここでは全領域３Ｄの構成処理は、本処理（ステップＳ１０１〜Ｓ１１０）の別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。
【００４５】
ＣＰＵ１０１は、ステップＳ１０１〜ステップＳ１０４の処理によって生成した埋め込み画像を時系列に順次表示している（ステップＳ１０５）。
【００４６】
一方で、ステップＳ１０４の後に起動したプロシジャ（全領域３Ｄ構成処理）では、まず最初時相の全領域３Ｄを演算し（ステップＳ２０１）、演算結果を本処理側に渡す（ステップＳ２０２）。なお、最初時相の全領域３Ｄは、ステップＳ１０１において生成済みであるため、ステップＳ２０１〜ステップＳ２０２の処理は省略してもよい。また、次の時相の全領域３Ｄを演算し（ステップＳ２０３）、演算結果を本処理側に渡す（ステップＳ２０４）。ステップＳ２０３〜ステップＳ２０４を全ての時相について繰り返し、全ての時相について全領域３Ｄの演算が終了した場合は（ステップＳ２０５）、全領域３Ｄ構成処理を終了する。
【００４７】
一方、本処理側では、埋め込み３Ｄ動画を表示しつつ、プロシジャ（全領域３Ｄ構成処理）が特定時相での全領域３Ｄを演算したかを調べ、演算結果を得ている場合には（ステップＳ１０６；Ｙｅｓ）、その時相の全領域３Ｄで、同じ時相の埋め込み画像を置き換える（ステップＳ１０７）。ＣＰＵ１０１は、ステップＳ１０６〜ステップＳ１０７の置き換え処理を全ての時相について順次画像を置き換える。
【００４８】
ＣＰＵ１０１は、全ての時相についての置き換えが終了すると（ステップＳ１０８；Ｙｅｓ）、全領域３Ｄを時系列に順次表示して動画表示とする（ステップＳ１０９）。その後、ユーザにより終了指示が入力されると（ステップＳ１１０；Ｙｅｓ）、本処理を終了する。
【００４９】
以上説明したように、第１の実施の形態の画像処理装置１００は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像について、対象領域のうち、時相間で変化が大きい変化領域を決定する。そして、ある時相の一連の断層像を用いて、前記対象領域全体についての３次元画像（全領域３Ｄ）を生成するとともに、変化領域については、各時相の一連の断層像を用いて３次元画像（変化領域３Ｄ）をそれぞれ生成する。そして、ある時相の全領域３Ｄに各時相での変化領域３Ｄを上塗り合成し、各時相の３次元合成画像（埋め込み画像）を生成し、時系列に順次表示する。
【００５０】
従って、対象領域のうち、動きの大きい部位（変化領域）についてのみ、各時相の３次元画像を構成するが、その他の領域についてはある時相についての３次元画像を利用できるので、演算量を少なくでき、３Ｄ動画の演算処理に要する時間が短縮できる。そのため、３Ｄ動画を表示させるための待ち時間を短くすることができる。
【００５１】
また、対象領域から変化領域を決定する際に、前後する時相（連続する二つの時相）で対応画像を比較する手法を用いる場合には、変化を細かく捉えることができ、より信頼性の高い３次元動画を得られる。
また、時相全体で対応画像を比較する手法を用いる場合には、変化領域決定に要する処理量がより少なくなり、処理時間をより短縮できる。
【００５２】
また、３次元画像の生成と表示の手順として、本実施の形態に示すように、例えば最初時相の対象領域全体についての３次元画像（全領域３Ｄ）を生成した後に、各時相の変化領域についてのみ３次元画像（変化領域３Ｄ）をそれぞれ生成し、はじめに、前記最初時相の全領域３Ｄと、各時相の前記変化領域３Ｄとを合成した３次元合成画像（埋め込み画像）を時系列に順次表示し、次に、全ての時相について全領域３Ｄを生成して時系列に順次表示するようにすれば、正確な３次元画像の演算が終了するまでの間に、埋め込み画像を高速に構成して表示できるため、ユーザは少ない待ち時間で埋め込み画像による大まかな表示内容を視認でき、かつ後の段階では正確な３次元画像を用いて画像診断を行える。
【００５３】
なお、上述の実施の形態では、最初時相（ｔ１）の全領域３Ｄを基準画像とし、変化領域３Ｄをこの基準画像に合成し、埋め込み画像を生成する例を示したが、基準画像は、最初時相に限らず他の時相の全領域３Ｄとしてもよい。
【００５４】
［第２の実施の形態］
次に、図８〜図１１を参照して、本発明の第２の実施の形態について説明する。
第２の実施の形態の画像処理装置１００のハードウエア構成は第１の実施の形態と同様であるので説明を省略し、同一の各部は同一の符号を用いることとする。
【００５５】
第２の実施の形態の画像処理装置１００は、３次元画像生成の演算モードとして、「変化領域のみモード」、「高／低密度」モード、「高／低フレームレート」モードの３種類のモードを有し、操作者の所望する演算モードを選択可能とする。各モードの説明は後述する。
【００５６】
図８に示すように、３次元画像を生成する処理の実行に先立ち、ＣＰＵ１０１は演算モード選択画面９を表示装置１０７に表示する。演算モード選択画面９には、画像表示エリア９１と、演算モードを選択するための各種ボタン９６、９７、９８、及び終了ボタン９９等が表示される。
【００５７】
「変化領域のみ」モードは、第１の実施の形態にて説明したように、変化領域のみ各時相の３次元画像を生成し、これを既に演算済みの、ある時相の全領域３Ｄに上塗り合成して、埋め込み動画を表示するモードである。
【００５８】
「高／低密度」モードとは、図８に示すように、変化領域９５については高画素密度に３次元画像を生成し、その他の領域９３については低画素密度に３次元画像を生成するモードである。
【００５９】
「高／低フレームレート」モードとは、変化領域については３次元画像を高フレームレート（例えば、全時相）で生成し、その他の領域を含む全領域については低フレームレート、すなわち時相を間引いて３次元画像を生成するモードである。例えば、全時相を複数時相毎に区切り、各区間に１つ全領域３Ｄを生成するとともに各時相の変化領域３Ｄを生成し、その区間の全領域３Ｄに上塗り合成して埋め込み画像とする。
【００６０】
演算モード選択画面９において、演算モードの選択ボタン９６が押下操作され、「高／低密度」モードが選択されると、ＣＰＵ１０１は、図９に示す「高／低密度」モードの演算処理を実行する。
なお、図９に示す「高／低密度」モードの演算処理の開始までに、図２のステップＳ１及びステップＳ２の処理によって、対象画像から変化領域が決定されているものとする。
【００６１】
図９の「高／低密度」モードの演算処理において、まずＣＰＵ１０１は、最初の時相ｔ１について、全領域低密度で３次元画像を構成し、これを基準画像とする（ステップＳ３０１）。その後、次の時相ｔ２について、変化領域のみ高密度で３次元画像を構成する（ステップＳ３０２）。そして、変化領域３Ｄ（高密度）を、ステップＳ３０１で演算済みの基準画像（全領域低密度画像）に上塗り合成し、高／低密度３次元画像（高／低密度３Ｄ）とする（ステップＳ３０３)。この段階で生成されている各時相の高／低密度３Ｄは表示装置１０７に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい（ステップＳ３０３）。
【００６２】
ＣＰＵ１０１は、全時相での高／低密度３Ｄの構成が終了したか否かを判定し、まだ全時相での高／低密度３Ｄを構成していない場合は（ステップＳ３０４；Ｎｏ）、ステップＳ３０２に戻り、次の時相での高／低密度３Ｄを構成する。
【００６３】
全時相での高／低密度３Ｄの構成が終了した場合は（ステップＳ３０４；Ｙｅｓ）、次に、ＣＰＵ１０１は、全領域について高密度に３次元画像を構成する処理を開始する。ここでは全領域高密度３Ｄの構成処理は、高／低密度モード演算処理の別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。
【００６４】
ＣＰＵ１０１は、ステップＳ３０１〜ステップＳ３０４の処理によって生成した高／低密度３Ｄを時系列に順次表示する（ステップＳ３０５）。
【００６５】
一方、ステップＳ３０４で起動したプロシジャ（全領域高密度３Ｄ構成処理）では、まず最初時相の全領域高密度３Ｄを演算し（ステップＳ４０１）、演算結果を本処理側に渡す（ステップＳ４０２）。また、次の時相の全領域高密度３Ｄを演算し（ステップＳ４０３）、演算結果を本処理側に渡す（ステップＳ４０４）。ステップＳ４０３〜ステップＳ４０４を全ての時相について繰り返し、全ての時相について全領域高密度３Ｄの演算が終了した場合は（ステップＳ４０５）、このプロシジャを終了する。
【００６６】
一方、高／低密度モードの演算処理では、高／低密度３Ｄを表示しつつ、プロシジャ（全領域高密度３Ｄ構成処理）が特定時相での全領域高密度３Ｄを演算したかを調べ、演算結果を得ている場合には（ステップＳ３０６；Ｙｅｓ）、その時相の全領域高密度３Ｄで、同じ時相の高／低密度３Ｄを置き換える（ステップＳ３０７）。ＣＰＵ１０１は、ステップＳ３０６〜ステップＳ３０７の置き換え処理を全ての時相について順次画像を置き換える。
【００６７】
ＣＰＵ１０１は、全ての時相についての置き換えが終了すると（ステップＳ３０８；Ｙｅｓ）、全領域高密度３Ｄを時系列に順次表示して、動画表示とする（ステップＳ３０９）。その後、ユーザにより終了指示が入力されると（ステップＳ３１０；Ｙｅｓ）、一連の高／低密度モードの演算処理を終了する。
【００６８】
次に、図１０、図１１を参照して「高／低フレームレート」モードについて説明する。
【００６９】
演算モード選択画面９において、演算モードの選択ボタン９８が押下操作され、「高／低フレームレート」モードが選択されると、ＣＰＵ１０１は、図１０に示す「高／低フレームレート」モードの演算処理を実行する。
なお、図１０に示す「高／低フレームレート」モードの演算処理の開始までに、図２のステップＳ１及びステップＳ２の処理によって、対象画像から変化領域が決定されているものとする。また、全時相を複数時相毎に区切り、区間を設定する。１区間の長さはユーザが任意に設定してもよいし、動画のフレームレート（時相刻み）や対象部位に応じて、予め適当な区間が設定されるものとしてもよい。
【００７０】
図１０の「高／低フレームレート」モードの演算処理において、まず、ＣＰＵ１０１は、最初の区間内の最初の時相ｔ１の全領域３Ｄを構成する（ステップＳ５０１）。その後、次の時相ｔ２の変化領域３Ｄを構成する（ステップＳ５０２)。そして、最初時相ｔ１の全領域３Ｄに次の時相ｔ２の変化領域３Ｄを上塗りするように合成し、３次元合成画像（埋め込み画像）とする。つまり、変化領域については時刻ｔ２の画像、その他の領域については時刻ｔ１の画像が合成され、１つの埋め込み画像が生成される。
この段階で生成されている各時相の３次元画像（全領域３Ｄまたは埋め込み画像）は表示装置１０７に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい（ステップＳ５０３）。
【００７１】
ＣＰＵ１０１は、１区間内の全時相での変化領域３Ｄの構成が終了したか否かを判定し、まだ１区間内の全時相の変化領域３Ｄを構成していない場合は（ステップＳ５０４；Ｎｏ）、ステップＳ５０２に戻り、その区間の次の時相での変化領域３Ｄを構成し、最初時相に上塗り合成し、埋め込み画像を生成する。
【００７２】
１区間内の全時相での変化領域３Ｄの構成が終了した場合は（ステップＳ５０４；Ｙｅｓ）、更に、全区間について上述のステップＳ５０１〜ステップＳ５０４の処理が終了したか否かを判定し（ステップＳ５０５）、終了していない場合はステップＳ５０１〜ステップＳ５０４の処理を繰り返す。全区間について処理が終了すると、次に、全時相の全領域３Ｄの構成を開始する（図７のステップＳ２０１へ）。ここでは全時相の全領域３Ｄの構成処理は、第１の実施の形態の処理手順と同様に、別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。
【００７３】
以降の処理は、図７のステップＳ１０５以降と同様とする。
すなわち、全時相の全領域３Ｄを生成し、演算結果を本処理（高／低フレームレート演算処理）側に渡す一方で、ステップＳ５０１〜ステップＳ５０５の処理で生成した埋め込み画像を表示する。そして、特定時相での全領域３Ｄが生成されると、その時相の全領域３Ｄで同じ時相の埋め込み画像を置き換える。このようにして全ての時相についての置き換えが終了すると、全領域３Ｄを時系列に順次表示して動画表示とする。その後、ユーザにより終了指示が入力されると一連の高／低フレームレート演算処理を終了する。
【００７４】
図１１に「高／低フレームレート」モードで構成された３次元画像を示す。
図１１の例では、１区間をｔ１、ｔ２、ｔ３のように連続した３つの時相とする。すると、全領域３Ｄは、時相ｔ１、ｔ４、・・・、ｔＮ−２のように、所定の間隔で生成される。一方、変化領域の３次元画像は全ての時相ｔ１、ｔ２、ｔ３、・・・ｔＮについて生成され、該当区間の全領域３Ｄに上塗り合成される。よって、変化領域については各時相で更新され、その他の領域については所定の区間毎に更新されることとなる。
【００７５】
以上説明したように、第２の実施の形態の画像処理装置１００は、演算モードの選択を可能とし、「高／低密度」モードが選択された場合は、各時相の３次元画像を、変化領域については高密度に構成し、その他の領域については演算済みの全領域低密度３Ｄを利用する。そして、生成した高／低密度３次元画像を時系列に順次表示する。また、「高／低フレームレート」モードが選択された場合は、低フレームレートで全領域３Ｄを生成し、高フレームレートで変化領域３Ｄを生成する。
【００７６】
従って、「高／低密度」モードでは、対象領域のうち、動きの大きい部位（変化領域）については、高密度で忠実に３次元画像を構成するが、その他の領域については低密度の３次元画像が利用されるため、演算量を省略することができ、処理時間を短縮できる。そのため、３次元動画を表示させるための待ち時間を短くすることができる。
また、「高／低フレームレート」モードでは、対象領域のうち、動きの大きい部位（変化領域）については、高フレームレートで忠実に３次元画像を構成するが、その他の領域については低フレームレートで３次元画像を構成するため、全体としては演算量を省略しつつも、第１実施形態の処理（「変化領域のみ」モード）と比較して、その他の領域についての画像の信頼性を向上できる。
【００７７】
また、第１の実施の形態と同様に、３次元画像の構成と表示の手順として、はじめに、高／低密度３次元画像（或いは高／低フレームレートで生成した全領域画像及び埋め込み画像）を時系列に順次構成・表示し、次に、各時相の全領域高密度３Ｄを時系列に順次構成・表示するようにすれば、ユーザは少ない待ち時間で大まかな表示内容を視認でき、かつ後の段階では正確な３次元画像を確認できる。
【００７８】
なお、第２の実施の形態の「高／低密度」モードにおける画素の密度は、要求される演算時間や画質に応じて適当なものに設定されることが望ましい。或いは、高／低の各画素密度をユーザが任意に設定可能としてもよい。
同様に、「高／低フレームレート」モードにおけるフレームの区間も、要求される演算時間や画質に応じて適当なものに設定されることが望ましい。
【００７９】
また、「高／低密度」モードにおいて、変化領域以外の領域については、全時相にわたってある時相の低密度３Ｄを利用するものとしたが、各時相で変化領域以外の低密度３Ｄを構成し、変化領域の高密度３Ｄとともに表示すれば、画像の正確さが向上する。また、要求する画質や処理時間に応じて、「高／低密度」と「高／低フレームレート」とを適宜組み合わせ、変化領域については、高密度かつ高フレームレートで３次元画像を生成し、その他の領域では低密度かつ低フレームレートで３次元画像を生成するようにしてもよい。
【００８０】
［第３の実施の形態］
次に、図１２を参照して、本発明の第３の実施の形態について説明する。
第３の実施の形態では、画像処理装置１００は、時間経過に伴い断続的に撮影した各時相の各一連の断層像とともに、その時間に計測した被検者の心拍データ或いは呼吸データを取得し、取得した心拍データまたは呼吸データから動きの周期を解析し、この解析結果を利用して画像の演算処理を簡略化する。
【００８１】
第３の実施の形態の画像処理装置１００のハードウエア構成は、第１の実施の形態の画像処理装置１００と同様であるので説明を省略し、同一の各部は同一の符号を用いることとする。
【００８２】
第３の実施の形態の画像処理装置１００において、更に演算量を減らすため、ＣＰＵ１０１は、心拍データまたは呼吸データの周期的に対応する時相の、対応する断層像同士を比較し、差分のある領域についてのみ３次元画像を生成し、差分のない領域については演算済みの基準画像を利用する。なお、基準とする１周期分の画像については、第１の実施の形態或いは第２の実施の形態の手法（「変化領域のみ」モード、「高／低密度」モード、「高／低フレームレート」モードのいずれでもよい）により、各時相の３次元画像が生成されているものとする。
【００８３】
図１２に第３の実施の形態における３次元画像生成の概念図を示す。
図１２（Ａ）は、被検者の心電波形データであり、横軸は時間ｔである。
図１２（Ａ）に示す心電波形データの各周期をｌ１、ｌ２、・・とすると、通常、時刻ｔ１ａと時刻ｔ２ａ、時刻ｔ１ｂと時刻ｔ２ｂ、時刻ｔ１ｃと時刻ｔ２ｃのように、周期的に対応する時刻（時相）における心電波形データはそれぞれほぼ一致する。そして周期の対応する時相同士は断層像の差分が小さい。
【００８４】
そこで、図１２（Ｂ）に示すように、時相ｔ１ａ、ｔ１ｂ、ｔ１ｃ、・・・、ｔ２ａ、ｔ２ｂ、ｔ２ｃ、・・・、ｔ３ａ、ｔ３ｂ、ｔ３ｃ、・・・のように周期的に変化する一連の断層像が入力画像データとして用いられている場合において、ＣＰＵ１０１は、まず１周期目について、第１及び第２の実施の形態の手法により各時相の３次元画像を生成し、２周期目以降については、１周期目と周期的に対応する時相の対応する断層像同士を比較し、差分を求め、差分のある領域についてのみ３次元画像を構成する。そして、ＣＰＵ１０１は、周期的に対応する時相の、すでに生成済みの３次元画像（ここでは１周期目の３次元画像）に差分領域の画像を上塗り合成し、埋め込み画像とする。
【００８５】
このように、心拍や呼吸のような周期的な動きのある画像については、その周期性を利用し、基準とする周期について、変化領域を忠実に演算した３次元画像を生成しておき、その他の周期については、周期的に対応する時相での差分領域のみを更新し、差分のない領域は演算済みの対応する時相の３次元画像をそのまま利用すればよい。
このように、第３の実施の形態の画像処理装置１００では、動きの周期性を利用し、差分のみを演算するので、全体の演算量を低減させることができる。
【００８６】
以上、第１〜第３の実施の形態にて説明したように、本発明の画像処理装置は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像から３次元動画を生成・表示する際に、対象領域のうち、時相間で変化が大きい変化領域を決定し、変化領域については忠実に３次元画像を生成し、その他の領域については簡略に３次元画像を生成し、生成された３次元画像を時系列に順次表示する。
したがって、時間経過に伴い変化する領域を含む断層像に基づいて、高速に３次元動画を生成し、表示できる。
【００８７】
なお、本発明は第１から第３の実施の形態を適宜組み合わせてもよい。例えば、第３の実施の形態において周期を考慮して生成した３次元動画像についても、第１、第２の実施の形態の各表示処理と同様に、はじめの段階では差分のみを生成した合成画像を表示し、後の段階で全領域の３次元画像を忠実に生成して表示することが望ましい。
【００８８】
また、上述の各実施の形態において、変化領域を決定する際、ユーザが任意に変化領域を設定するようにしてもよい。この場合、時相毎に変化領域を設定してもよいし、全時相で一括して変化領域を設定するようにしてもよい。
【００８９】
以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９０】
１・・・・・画像処理システム
１００・・・・・画像処理装置
１０１・・・・・ＣＰＵ
１０２・・・・・主メモリ
１０３・・・・・記憶装置
１０４・・・・・通信Ｉ／Ｆ
１０５・・・・・表示メモリ
１０６・・・・・Ｉ／Ｆ
１０７・・・・・表示装置
１０８・・・・・マウス
１０９・・・・・入力装置
１１０・・・・・ネットワーク
１１１・・・・・画像データベース
１１２・・・・・画像撮影装置
５１・・・・・・時相ｔ１における断層像群
５２・・・・・・時相ｔ２における断層像群
５Ｎ・・・・・・時相ｔＮにおける断層像群
６・・・・・・・フラグ格納面
６１，６２・・・変化領域
６３，６４・・・拡張した変化領域
７１，７２・・・変化領域３Ｄ
７３・・・・・・全領域３Ｄ
９・・・・・・・演算モード選択画面
９３・・・・・・低密度３Ｄ
９５・・・・・・高密度３Ｄ
９６・・・・・・「高／低密度」モード選択ボタン
９７・・・・・・「変化領域のみ」モード選択ボタン
９８・・・・・・「高／低フレームレート」モード選択ボタン

【特許請求の範囲】
【請求項１】
対象領域を時間経過に伴い断続的に撮影した各一連の断層像を用いて、各時相の３次元画像をそれぞれ生成し、動画表示する画像処理装置であって、
前記対象領域のうち、時相間で変化が大きい変化領域を決定する領域決定手段と、
前記変化領域については忠実に３次元画像を生成し、その他の領域については簡略に３次元画像を生成する生成手段と、
前記生成手段によって生成された３次元画像を時系列に順次表示する表示手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
ある時相の一連の断層像を用いて前記対象領域全体についての３次元画像を生成する全領域画像生成手段と、
各時相の一連の断層像を用いて前記変化領域についての３次元画像をそれぞれ生成する変化領域画像生成手段と、
前記全領域画像生成手段によって生成された３次元画像と、前記変化領域画像生成手段によって生成された各時相での前記変化領域についての３次元画像とを合成し、各時相の３次元合成画像を生成する第１の合成手段と、を備え、
前記表示手段は、
前記第１の合成手段によって生成された各時相の３次元合成画像を時系列に順次表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
各時相の一連の断層像を用いて、前記変化領域については高画素密度で３次元画像を生成し、その他の領域については低画素密度で３次元画像を生成する高／低密度画像生成手段を備え、
前記表示手段は、
前記高／低密度画像生成手段によって生成された各時相の高／低密度３次元画像を時系列に順次表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記領域決定手段は、前後する時相の対応する断層像の各画素値を比較し、画素値の差の大きさが所定値より大きい領域を前記変化領域とすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記領域決定手段は、全時相の対応する断層像の各画素について最大画素値と最小画素値とを比較し、最大画素値と最小画素値との差の大きさが所定値より大きい領域を前記変化領域とすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項６】
前記全領域画像生成手段は、
最初時相の一連の断層像を用いて、前記対象領域全体についての３次元画像を生成した後に、その他の時相の一連の断層像を用いて、前記対象領域全体についての３次元画像をそれぞれ生成し、
前記表示手段は、
はじめに、前記全領域画像生成手段によって生成された前記最初時相の対象領域全体についての３次元画像と、前記第１の合成手段によって合成された３次元合成画像を時系列に順次表示し、
次に、前記全領域画像生成手段によって生成された各時相の対象領域全体についての３次元画像を時系列に順次表示することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記生成手段は、更に、
全時相の一連の断層像を用いて、全時相についてそれぞれ前記対象領域全体の３次元画像を高画素密度で生成する高密度３次元画像生成手段を備え、
前記表示手段は、
はじめに、前記高／低密度３次元画像生成手段によって生成された高／低密度３次元画像を時系列に順次表示し、
次に、前記高密度３次元画像生成手段によって生成された高密度３次元画像を時系列に順次表示することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記一連の断層像を取得した際の心拍データまたは呼吸データを取得する取得手段と、
前記取得手段によって取得したデータに基づき心拍または呼吸の周期を解析し、周期的に対応する時相を特定する周期特定手段と、を更に備え、
前記生成手段は、
ある周期について、前記変化領域については忠実に、その他の領域については簡略に基準３次元画像を生成する基準画像生成手段と、
その他の周期について、周期的に対応する時相の対応する断層像を比較し、差分のある領域の３次元画像を生成する差分領域画像生成手段と、
前記差分領域画像生成手段によって生成された差分のある領域の３次元画像をその時相に対応する時相の、既に生成済みの基準３次元画像と合成する第２の合成手段と、を備え、
前記表示手段は、
前記ある周期の各時相の３次元画像と、前記第２の合成手段によって生成された各時相の合成画像とを、時系列に順次表示することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記生成手段は、
前記変化領域についての３次元画像を高フレームレートで生成し、その他の領域についての３次元画像を低フレームレートで生成することを特徴とする請求項１に記載の画像処理装置。

【図１】