画像処理装置および画像処理方法、並びに、画像処理プログラム
【課題】回転処理および領域指定処理を、ポインティングデバイスのみを用いた直感的に理解しやすい簡易な操作で容易に切り替えて3次元医用画像に施すことを可能にする。
【解決手段】
3次元医用画像を取得して表示画面Wに表示し、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面Wの中央領域6である場合に、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し、受け付けられた入力位置が表示画面Wのうち中央領域6以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す。また、領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理である。
【解決手段】
3次元医用画像を取得して表示画面Wに表示し、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面Wの中央領域6である場合に、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し、受け付けられた入力位置が表示画面Wのうち中央領域6以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す。また、領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元医用画像に回転処理および領域指定処理を切り替えて施すための画像処理技術、特に、表示された3次元医用画像を回転して不要部分を削除する処理を繰り返して、所望の臓器だけを切り出すのに適する画像処理技術に関するものである。
【背景技術】
【0002】
近年、画像処理技術の発展により、3次元医用画像をボリュームレンダリング法やサーフィスレンダリング法等の各種の画像生成方法により様々な角度から投影した投影画像を生成することができるようになってきた。そして、これらの生成された画像は、ユーザの表示画面上でのマウス等の操作により、3次元医用画像を移動、拡大、回転等させた画像として表示画面に表示され、3次元医用画像を立体的に理解することを支援する。
【0003】
従来、このような3次元医用画像中から診断目的に応じた所望の部分を抽出して表示するために、放射線技師等のユーザがマウスやキーボードによるマニュアル操作により3次元医用画像を様々な向きに回転させる処理と不要な領域を指定して削除する処理を3次元医用画像が所望の部分のみになるまで何度も繰り返すことが一般に行われている。このため、3次元医用画像を様々な向きに回転させる処理と不要な領域を削除する処理を実行するためにユーザが行う必要のあるマニュアル操作をできるだけ簡易にする方法が求められている。
【0004】
例えば、マウスの左ボタンによるドラッグ操作に領域指定処理を割り当て、キーボードのシフトボタンを押しながらマウスの左ボタンによるドラッグ操作に回転処理を割り当てて、領域指定処理と回転処理を切り替える方法のように、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせることにより簡易に切り替える方法が提案されている。
【0005】
また、特許文献1には、撮像画像の表示画面を所定の分割パターンで分割した複数の領域a、b、c・・・に、異なる種類の処理機能を割り当てておき、ポインティングデバイスによる所望の領域の指定を受け付け、ポインティングデバイスの操作により、指定された領域に割り当てられた処理機能を実行する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−296156号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、撮像された3次元医用画像を表示編集する画像処理用のコンピュータ端末の使用環境では、キーボードを用いず、マウスのみで各種作業を行いたいという要求がある。このため、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせて、領域指定処理と回転処理を切り替える方法では、上記ユーザの要望に応えることができない。
【0008】
また、特許文献1に記載された方法は、複数の領域にどのような機能が対応付けられているのかを直感的に把握できないため、不慣れなユーザには使いづらいという問題があった。さらに、領域指定のような3次元画像の任意の部分を自在に指定する必要がある処理に対しては、特許文献1の図2または図3に示されるような領域の配分で領域を対応付けると、対応付けられている領域が狭すぎて、領域指定処理を対応付けられている領域に3次元医用画像の所望の部分が含まれていない場合には、領域指定処理を対応付けられている領域に所望の部分が含まれるように3次元医用画像を平行移動する、または拡大縮小する、などの余分な処理を行う手間が生じ、複数の処理を切り替えるユーザの手間を十分に低減することはできない。
【0009】
本発明は上記事情に鑑みてなされたものであり、回転処理および領域指定処理を、直感的に理解しやすい簡易な操作で容易に切り替えて3次元医用画像に施すための画像処理装置および方法、およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、3次元医用画像を取得する画像取得手段と、前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段を備え、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とするものである。
【0011】
本発明の画像処理方法は、3次元医用画像を取得する画像取得ステップと、前記取得した3次元医用画像を表示画面に表示させる表示制御ステップと、前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理ステップとを有する画像処理方法であって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とするものである。
【0012】
本発明の画像処理プログラムは、コンピュータを、3次元医用画像を取得する画像取得手段と、前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であるものである。
【0013】
本発明において、上記ポインティングデバイスは、画面上に表れるポインタを移動操作可能な、マウスやタッチパネル等の周知の種々の入力機器を本発明の入力部として適用可能である。
【0014】
また、本発明において、上記3次元医用画像は、たとえばCT、MR、超音波装置、PET―CT、SPECT、4D-CT、OCT、X線撮影装置(CR、DR)により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の3次元画像データであってもよい。
【0015】
また、表示された3次元医用画像は、3次元医用画像を表すものであれば、周知の様々な再構成法により表されたものであってよい。望ましくは、ボリュームレンダリング法で生成されたボリュームレンダリング画像または、サーフィスレンダリング法で生成されたサーフィスレンダリング画像等の擬似3次元画像であることが好ましい。
【0016】
また、本発明において、前記中央領域とは、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の1以下の面積を有するものである。数分の1とは、少なくとも4分の1よりも小さい面積で、9分の1より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して1/9以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の1/300以上1/10以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の1/300以上1/18以下の面積を有する円または楕円であることが好ましい。
【0017】
また、本発明において、表示制御手段は、中央領域の位置をユーザに識別させるための指標を、中央領域付近に表示することが好ましく、中央領域内に中央領域より小さい大きさの指標を表示するものであることがさらに好ましい。かかる指標は中央領域をユーザに識別容易にするとともに、3次元医用画像の観察を阻害しないものであることが好ましく、例えば指標を半透明とすることが好ましく、入力位置と入力操作を受け付けている間など、中央領域を視認する必要がないときには指標を表示させないことが好ましい。指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、3次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、画面の面積の1/300以上1/10以下のサイズにすることが好ましく、画面の面積の1/300以上1/18以下のサイズにすることが好ましく、画面の面積の1/300以上1/20以下のサイズにすることが好ましい。
【0018】
本発明において前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理であってもよい。
【0019】
本発明における3次元医用画像は、複数の臓器を含むものであってよい。例えば、心臓、肺、肝臓、胃、骨などを含む胸部CT撮影により得られた医用画像があげられる。
【発明の効果】
【0020】
本発明の画像表示装置の画像処理装置、方法およびプログラムは、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面の中央領域である場合に、その入力操作により回転処理を、表示された3次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合には、その入力操作により領域指定処理を、表示された3次元医用画像に施すものであり、領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理である。このため、領域指定処理に対応付けられた領域が中央領域を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより3次元画像の所望の部分をほぼ自在に指定できる。ユーザは、一般的に、ユーザの関心領域を画面中央に配置して3次元画像を観察し、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられるから、削除したい不要部分が画面中央にあることは実際には少ないので、これで不都合はなく、実用に適した効率のよい操作が可能になる。
【0021】
すなわち、回転処理を中央領域に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに3次元画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。また、ポインティングデバイスにより所定の操作を入力位置を変えて入力するだけで、領域指定処理と回転処理が自動的に切り替わるので、これらの処理を別操作で切り替える煩雑な操作を行うことなく両処理を切り替えて実行できるので、ポインティングデバイスのみにより両処理を3次元画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態における画像処理装置の機能ブロック図
【図2】本発明の実施形態における画像処理の流れを表したフローチャート
【図3A】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#1)
【図3B】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#2)
【図3C】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#3)
【図3D】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#4)
【図3E】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#5)
【図3F】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#6)
【図3G】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#7)
【図3H】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#8)
【図3I】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#9)
【図3J】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#10)
【図3K】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#11)
【図3L】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#12)
【図3M】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#13)
【発明を実施するための形態】
【0023】
以下、本発明の画像処理装置、画像処理プログラムおよび画像処理方法の実施形態について、図面を参照しながら詳細に説明する。本発明は、画像装置に表示された3次元画像から所望の画像を回転させながら順次不要な領域を削除し所望の領域を抽出する処理を行う様々な分野で応用可能であるが、ここでは、医療分野における画像診断に本発明を適用した例をもとに説明を行う。
【0024】
図1に、医師が使用するワークステーションに、画像表示プログラムをインストールすることにより実現された画像処理装置の概略構成を示す。画像処理装置1は、標準的なワークステーションの構成として、プロセッサおよびメモリ(いずれも図示せず)を備え、さらに、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ2を備えている。また、画像処理装置1には、ディスプレイ3と、マウス、キーボード等の入力部4が接続されている。
【0025】
画像表示プログラムと画像表示プログラムが参照するデータは、インストール時にストレージ2に記憶され、起動時にメモリにロードされる。画像処理プログラムは、CPUに実行させる処理として、画像取得処理と、画像処理と、表示制御処理とを規定している。
【0026】
そして、プログラムの規定にしたがって、CPUが上記各処理を実行することにより、汎用のワークステーションは、3次元医用画像を取得する画像取得手段11と、取得した3次元医用画像を表示画面に表示させる表示制御手段13と、表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部4と、受け付けられた入力位置が表示画面の中央領域6である場合に、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す画像処理手段12として機能する。
【0027】
ストレージ2には、撮影を担当する検査部門から転送された、3次元医用画像、もしくはデータベース検索により取得された内視鏡画像および3次元医用画像が記憶される。3次元画像は、マルチスライスCT装置等から直接出力された3次元医用画像でもよいし、従来型のCT装置等から出力された2次元のスライスデータ群を再構成することにより生成された3次元医用画像でもよい。
【0028】
画像処理装置1は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、3次元医用画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、3次元医用画像が特定されると、ストレージ2からメモリに、該当する3次元医用画像をロードする。
【0029】
ここでは、ある患者の検査において、マルチスライスCT装置による撮影が行われ、患者の情報を含む3次元医用画像Vが取得されて不図示のデータベースに記憶されているものとする。ユーザがボリュームレンダリング表示機能を選択し、その患者の識別子や検査日を入力すると、該当する3次元医用画像Vが取得されてストレージ2に記憶され、本発明の画像処理方法が実行される。
【0030】
図2は本発明の画像処理方法の好ましい実施形態を示すフローチャートであり、図3A乃至3Mは、本実施形態の画像処理方法を用いて、3次元医用画像Vに回転処理と指定した領域を削除する処理を繰り返して、被写体5の胸部CT撮影で取得された心臓、肺、肝臓、肋骨、脊柱などを含む3次元医用画像Vから画像診断対象の臓器である心臓を抽出して表示する作業の表示画面例を表す図である。以下、図2および図3A乃至3Mを参照して本実施形態の画像処理方法について説明する。
【0031】
まず、画像取得手段11がストレージ2からCT装置による断層撮影により取得された観察対象である被写体5を表す3次元医用画像Vを取得する(S01)。本発明の画像処理方法に先立って、ユーザの入力部を用いたマニュアル操作に応じて3次元医用画像Vに表される被写体5をディスプレイ3の画面上で平行移動させて、図3Aに示すように、抽出したい臓器である心臓が中央に位置するように画面表示した状態にする。そして、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードを選択すると本発明の画像処理方法が開始する。
【0032】
まず、表示制御手段13は、図3Aに示すように、被写体5を表す3次元医用画像Vをディスプレイ3の表示画面Wに表示させる(S02)。図3Aに示すように、本実施形態では、中央領域6は、表示画面Wの面積の約40分の1の面積を有する円領域であり、画面上に中央領域6の境界は表示されず、その代わりに、表示制御手段13はユーザが中央領域6の大まかな位置を把握できるように中央領域内に中央領域より小さい大きさの指標である中央領域アイコンMを表示させている。ここでは、中央領域アイコンMは、中央領域に対して約60%程度のサイズを有している。
【0033】
入力部4は、ユーザのマウスによる入力を待機し(S03のN)、ユーザの入力を検出すると(S03のY)、中央領域アイコンMを非表示にするとともに(S04)、表示画面上での入力位置と入力操作を周知の方法により受け付ける(S05)。ここでは、表示された3次元医用画像の回転処理または領域指定に割り当てられているユーザの入力操作は、マウスの左ボタンによるドラッグ操作であり、入力位置は、マウスのドラッグの開始位置である。かかる、入力位置と入力操作の受付は、例えば特許文献1に記載された方法が適用できる。
【0034】
次いで、画像処理手段12は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作であれば、受け付けた入力位置が表示画面の中央領域である場合に(S06のY)、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し(S07)、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に(S06のN)、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す(S08)。
【0035】
なお、画像処理手段12は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作以外の入力操作であれば、その入力操作に割り当てられた所定の処理機能を実行する。また、特許文献1に記載された方法と同様に、画像処理装置1は、ストレージ2に、中央領域と回転処理、表示画面から中央領域を除いた領域に領域指定処理をそれぞれ対応付けた対応付けテーブルTを予め記憶しており、対応付けテーブルTをメモリ上にロードして参照し、上記処理を行う。
【0036】
図3Bは、図3Aから削除の対象である脊柱および肋骨領域を含む領域7を指定した図である。画像処理手段12は、ユーザがマウス4によりポインタPを閉曲線を描くようにドラッグする操作の開始位置と軌跡に応じて、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に(S06のN)、表示画面W上で閉曲線を指定し、指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側の3次元医用画像を削除し、かかる削除処理後の3次元医用画像Vを生成する(S08)。なお、3次元医用画像Vのうち、かかる指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側に属する領域7を、本実施形態では指定領域7と場合により称する。かかる閉曲線は、ユーザの入力軌跡に基づく折れ線多角形により指定してもよく、ユーザのフリーハンド入力の軌跡により構成される曲線にしてもよく、ユーザの入力軌跡に基づくスプライン曲線により指定してもよい。また、閉曲線の指定方法を選択メニューにより指定可能にしてもよい。
【0037】
また、本実施形態において、画像処理手段13は、図3Bに示すように、ユーザのドラッグ操作によるマウスの軌跡が表示画面Wの外縁を超えて閉曲線または、曲線を描くものであれば、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する。
【0038】
図3Cに示すように、表示制御手段13は、指定領域を削除処理した後の3次元医用画像Vを表示画面に表示するとともに表示画面上に中央領域アイコンMを再表示する(S09)。図3Cに示すように、表示された3次元医用画像Vは、図3Bの指定領域7が削除されている。また、回転処理および領域指定処理限定モードがオンの状態が続いているため(S10のN)、図3Cに示す表示状態で、画像処理装置1はユーザの入力を待機する(S03)。
【0039】
図3Dは、図3Cに示す画像上でさらに削除の対象である肋骨領域を含む領域7を指定した様子を表す図である。図3Bの説明と同様に、入力部4がユーザの入力を受け付けるとともに中央領域アイコンMを非表示にし、画像処理手段12が、ユーザがマウス4によりポインタPをドラッグする操作の位置と軌跡に応じて、表示画面W上で閉曲線を指定し、指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側の3次元医用画像を削除した3次元医用画像Vを生成し、生成した3次元医用画像Vおよび中央領域アイコンMを表示するまでのS04乃至S09の処理を実行する。
【0040】
図3Eは、表示制御手段13が、図3Dの指定領域を削除処理した後の3次元医用画像Vを表示画面Wに表示するとともに表示画面W上に中央領域アイコンMを再表示した画面例である。図3Eでは、図3Cと同様に、回転処理および領域指定処理限定モードがオンの状態が続いているため(S10のN)、図3Eに示す表示状態で、画像処理装置1はユーザの入力を待機する(S03)。
【0041】
図3Fは、図3Eに示した状態に対して、表示された3次元医用画像Vを回転させるために中央領域6からドラッグ操作が入力される様子を表している。S04およびS05の処理は、先述の領域指定処理の場合と同様である。画像処理手段12は、対応付けテーブルTを参照して、受け付けた入力位置が中央領域6内である場合には(S06のY)、受け付けた入力操作を解析して、表示画面W上でドラッグ操作の始点から終点への向きおよび距離を算出する。そして、画像処理手段12は、算出された向きおよび距離に応じて3次元医用画像Vに対する視点を回転し、かかる回転処理後の3次元医用画像Vを生成する(S07)。
【0042】
図3Fに示すように、ここでは、ユーザが、中央領域6内にある図3Fの下側のポインタPの位置にポインタPを合わせてマウスの左ボタンを押し下げ、マウスの左ボタンを押し下げた状態で白色矢印方向(画面上方)にポインタを移動させて、図3Fの上側のポインタPの位置でマウスの左ボタンを解放するという操作が行われている。入力部4は、受け付けた入力操作から、マウスの左ボタンを押し下げた位置(ドラッグ操作の始点)である入力位置と左ボタンを解放した位置(ドラッグ操作の終点)を解析することにより、回転の向き(図3Fにおける白色矢印方向)および回転量を算出し、指定された向きおよび距離に応じて3次元医用画像に対する視点を回転し、かかる回転処理後の3次元医用画像Vを生成する。
【0043】
そして、表示制御手段13は、生成された3次元医用画像Vを表示するとともに表示画面上に中央領域アイコンMを再表示する(S09)。図3Gは、図3Fで指定された回転処理を行った後の表示画面Wの例を示す図である。
【0044】
そして、画像処理装置1は、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードをオフにするまで(S10のN)、S03からS09までの処理を繰り返す。
【0045】
本実施形態では、ユーザは適宜3次元画像を回転させて心臓以外の領域を目視確認し、心臓以外の領域がなくなるまで3次元画像から心臓以外の領域を削除する操作を繰り返す。このため、図3Hに示すように、画像処理装置1は、ユーザの入力に基づいて図3Gに表示された3次元医用画像Vからさらに心臓以外の領域(肺の血管領域7A、7Bおよび肝臓領域7C)を指定して削除する領域指定処理を順に繰り返す。さらに、画像処理装置1は、図3I乃至3Lに示すように、ユーザの入力に基づいて3次元医用画像Vを回転処理して回転された3次元医用画像Vに対し心臓以外の領域7を指定して削除する領域指定処理を順に実行する。そして、画像処理装置1は、最終的に図3Mのように心臓のみが抽出された3次元画像を表示する(S09)。
【0046】
そして、ユーザが、メニュー選択により、本実施形態による回転処理および領域指定処理限定モードをオフにすると(S10のY)、本実施形態による画像処理を終了し、通常の画像処理モードに戻る。
【0047】
本実施形態によれば、領域指定処理に対応付けられた領域が中央領域6を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより3次元画像の所望の部分をほぼ自在に指定できる。
【0048】
ユーザは、一般的に、ユーザの関心領域を画面中央に配置して3次元医用画像を観察すると推定できるため、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられる。このため、回転処理を中央領域6に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに3次元医用画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。
【0049】
また、ポインティングデバイスによる所定の操作を、入力位置を変えて入力するだけで、領域指定処理と回転処理を切り替える煩雑な操作を行うことなく両処理を切り替えて実行でき、ポインティングデバイスのみにより両処理を3次元医用画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。また、キーボードを使う必要がないため、作業台のスペース確保のためにコンピュータ端末の操作を全てマウスで行っている医療現場においても、本発明の画像処理方法を好適に適用でき、使用環境に対応する汎用性が高い。
【0050】
また、中央領域よりも小さい大きさの指標である中央領域アイコンMを表示画面に表示するものであるため、指標により3次元医用画像Vの視認を妨げない範囲で、ユーザの中央領域6の把握を効果的に支援できる。なお、指標を半透明に設けた場合は、指標の重なっている部分であっても半透明の指標を通して3次元医用画像Vを視認でき、さらに好適である。
【0051】
また、本実施形態における領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理である。一般的に、ユーザは関心領域を画面中央に配置して3次元医用画像を観察していると推定されるため、ユーザの削除対象となる部分の閉曲線は、表示画面の中央領域ではなく辺縁領域に存在している可能性が高い。このため、ユーザは辺縁領域に閉曲線を指定するという操作を行うことにより3次元医用画像の削除部分を、3次元医用画像の移動や拡大などの余分な手間を要さず指定でき、簡単に削除操作をすることができる。また、領域指定処理は、入力操作により指定された閉曲線から表示画面奥行き方向にのびる筒体の内側でなく外側の3次元医用画像を削除する処理であってもよい。かかる場合には、ユーザの削除対象となる部分の閉曲線は、辺縁領域内において、中央領域6を取り囲むように指定される。そうすることにより、3次元医用画像の削除部分を、3次元医用画像の移動や拡大などの余分な手間を要さず指定することができる。なお、本実施形態では、領域指定処理に、削除する領域を上述の筒体の内側および外側のいずれにするかを予め設定する設定オプションが設けられ、削除する領域を上述の筒体の内側とする設定がされているものとする。なお、閉曲線を指定して3次元医用画像の一部を削除する操作をする場合でも、必要に応じて3次元医用画像の移動や拡大を行ってもよいのは言うまでもない。
【0052】
また、本実施形態における領域指定処理を、指定領域を削除する処理をしないようにし、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を指定する処理としてもよい。かかる場合には、指定領域を指定するドラッグ操作を行い、ドラッグ操作を終了したマウスポインタの位置(マウスのボタンを解放した位置)に、指定領域の削除(指定領域の内側の削除)、指定領域の選択(指定領域の外側の削除)を選択可能なダイアログ等を表示し、ユーザに削除領域を選択させる方法が考えられる。
【0053】
また、本実施形態において、画像処理手段13は、ユーザのドラッグ操作によるマウスの軌跡が表示画面Wの外縁を超えて閉曲線または曲線を描くものであれば、領域指定処理として、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除するため、ユーザは表示画面Wの外縁を意識せずに領域指定のためのマニュアル操作をすればよく、より使い勝手がよい。
【0054】
また、本実施形態のように、複数の臓器を含む3次元医用画像Vから所望の部分を切り出す処理に、本実施形態の画像処理方法を適用した場合には、患者により異なる部位を抽出する作業を数多く行う必要がある医療分野において、本画像処理による上述の各効果が大いに有益である。
【0055】
例えば、上述の実施形態において、3次元医用画像から心臓を切り出す一連の処理は、領域を指定して削除する少なくとも8回の領域指定処理と、少なくとも5回の回転処理の2種類の処理の組み合わせにより実行されている。そして、3次元医用画像からさらに複雑な形状の部分を切り出す作業では、2種類の処理の切り替えをするためのさらに多くのユーザ操作が必要となることが予想される。本実施形態の画像処理方法は、領域を指定して削除する少なくとも8回の領域指定処理と、少なくとも5回の回転処理からなる13回の処理を、ユーザの1つの操作のみにより最低13回の入力で実行することができるものである。マウスの入力操作とキーボードの所定の操作の有無の組合せにより実行する場合には、本実施形態のユーザ操作にキーボードの所定の操作を切り替える付加動作が必要となり、特許文献1のように、回転処理が本処理に特に適した領域と割合に割り当てられていない場合には、本実施形態のユーザ操作に3次元医用画像Vを領域指定処理に割り当てられた画面上の領域に移動させる余分な付加動作が必要となることを鑑みて、本実施形態の画像処理方法はユーザ操作を直感的に把握できるとともにユーザ操作の回数を必要最小限に絞り込むことができ、ユーザ操作の手間およびユーザの作業時間を著しく低減するという、ユーザにとって非常に有意義な効果をもたらすものである。
【0056】
以下に本実施形態の変形例について説明する。
【0057】
また、上記実施形態における表示制御手段13が、3次元医用画像を表示画面の8割程度の体積または表示面積になるように自動的に拡大縮小して表示するものであってもよい。かかる場合には、ユーザは、3次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、3次元画像が回転、領域指定などのユーザ操作にちょうどよいサイズで自動表示されるため、領域指定により削除されてサイズが小さくなった3次元画像を拡大するための操作を行う必要がない。つまり、3次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく、簡易かつ迅速に所望の部位の抽出処理を行うことができる。
【0058】
上記実施形態において、画像処理装置1は、3次元医用画像の中心(例えば、3次元医用画像の重心)を関心領域として抽出し、抽出された関心領域を画面中央に移動させて表示する関心領域移動手段をさらに備えるものであってもよい。また、画像処理装置1は、3次元画像に含まれる臓器や病変などの構造物を、自動抽出する関心領域抽出手段をさらに備え、抽出された関心領域を画面中央に移動させて表示する関心領域移動手段を備えるものであってもよい。かかる場合には、3次元医用画像の関心領域を自動的に画面中央に配置した投影画像について本発明の画像処理を行うことができるため、ユーザは、3次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、関心領域を画面中央に表示するとともに関心領域内またはその近傍に回転中心を自動的に決定することができるため、3次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく簡易かつ迅速に所望の部位の抽出処理を行うことができる。また、関心領域を中央に位置させることができ、被写体の直感的な把握が容易である。
【0059】
なお、上記の関心領域抽出手段として、例えば、以下の技術が適用可能である。
【0060】
例えば、計算機支援画像診断(CAD;Computer Aided Diagnosis)による抽出技術として、肺野について、特開2001−137230号、特開2008−253293号、肝臓抽出について特開2001−283191号、特開2002−345807号、骨について、特開2008−43564号、心臓について、特開2004−141612号の技術が利用でき、その他の臓器認識技術も指定された病変の位置が所属する臓器を自動的に抽出できるものであれば利用可能である。
【0061】
また、3次元画像から抽出する構造物は、医用画像に写った異常陰影等の病変でもよい。異常陰影を手動で抽出してもよく、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断(CAD;Computer Aided Diagnosis)を行い、自動的に病変領域を検出することができる。
【0062】
病変領域検出に利用できる技術は、具体的には、特開2003−225231号、特開2003−271924号、および、久保田等、「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」、電子情報通信学会、信学技報、pp.41-46、MI2001-41(2001-09)に示す肺がんを検出する技術、脇田等、「びまん性肺疾患の知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第4回シンポジウム論文集、pp. 45-54、2007に示すコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出技術、脇田等、「多時相腹部X線CT像の時相間濃度特徴計測に基づく肝臓がん検出」、コンピュータ支援画像診断学会論文誌、Vol.10、No.1、Mar 2007に示す肝臓がん検出技術、「正常構造の理解に基づく知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第4回シンポジウム論文集pp.55-60、2007に示す肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血、脳領域における出血を検出する技術を用いることができる。また、特開2004−329929号に示すような血管の異常を検出する技術、本出願人の出願である特開平10−97624号に示す異常陰影候補の検出技術、特開平8−215183号に示すような石灰化領域の検出技術を用いることもできる。
【0063】
また、上記実施形態において中央領域は、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の1以下の面積を有するものである。数分の1とは、少なくとも4分の1よりも小さい面積で、9分の1より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して1/9以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の1/300以上1/10以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の1/300以上1/18以下の面積を有する円または楕円であることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域のサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域のサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域を設定してもよく、例えば、直径0.5−5cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することが好ましく、直径0.7−3cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することがさらに好ましく、直径1−2cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することがさらに好ましい。
【0064】
指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、3次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、例えば、指標を、中央領域より小さい範囲で、画面の面積の1/300以上1/10以下のサイズにすることが好ましく、画面の面積の1/300以上1/18以下のサイズにすることが好ましく、画面の面積の1/300以上1/20以下のサイズにすることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域アイコンのサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域アイコンのサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域アイコンのサイズを設定してもよく、例えば、中央領域よりも小さい範囲で、直径0.5−5cm程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径0.7−3cm程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径1−2cm程度の円の円と同程度のサイズになるように中央領域アイコンの大きさを設定することがさらに好ましい。
【0065】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【0066】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【0067】
なお、3次元画像は、断層撮影等で取得されて形成されたものでもよく、CGで仮想的に作成されたものでもよい。また、被写体は、3次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。断層撮影に使用するモダリティは、CT、MRI、超音波撮影装置等、3次元画像を撮影可能なものであれば何でもよい。
【0068】
また、画像処理装置1は、複数台のコンピュータにより、手段としての機能を分担する構成としてもよい。また、入力部、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
【符号の説明】
【0069】
1 画像処理装置、 2 ストレージ、 3 ディスプレイ
4 入力部
5 表示された3次元画像
6 中央領域
7 指定領域
11 画像取得手段
12 画像処理手段
13 表示制御手段
V ボリュームデータ
【技術分野】
【0001】
本発明は、3次元医用画像に回転処理および領域指定処理を切り替えて施すための画像処理技術、特に、表示された3次元医用画像を回転して不要部分を削除する処理を繰り返して、所望の臓器だけを切り出すのに適する画像処理技術に関するものである。
【背景技術】
【0002】
近年、画像処理技術の発展により、3次元医用画像をボリュームレンダリング法やサーフィスレンダリング法等の各種の画像生成方法により様々な角度から投影した投影画像を生成することができるようになってきた。そして、これらの生成された画像は、ユーザの表示画面上でのマウス等の操作により、3次元医用画像を移動、拡大、回転等させた画像として表示画面に表示され、3次元医用画像を立体的に理解することを支援する。
【0003】
従来、このような3次元医用画像中から診断目的に応じた所望の部分を抽出して表示するために、放射線技師等のユーザがマウスやキーボードによるマニュアル操作により3次元医用画像を様々な向きに回転させる処理と不要な領域を指定して削除する処理を3次元医用画像が所望の部分のみになるまで何度も繰り返すことが一般に行われている。このため、3次元医用画像を様々な向きに回転させる処理と不要な領域を削除する処理を実行するためにユーザが行う必要のあるマニュアル操作をできるだけ簡易にする方法が求められている。
【0004】
例えば、マウスの左ボタンによるドラッグ操作に領域指定処理を割り当て、キーボードのシフトボタンを押しながらマウスの左ボタンによるドラッグ操作に回転処理を割り当てて、領域指定処理と回転処理を切り替える方法のように、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせることにより簡易に切り替える方法が提案されている。
【0005】
また、特許文献1には、撮像画像の表示画面を所定の分割パターンで分割した複数の領域a、b、c・・・に、異なる種類の処理機能を割り当てておき、ポインティングデバイスによる所望の領域の指定を受け付け、ポインティングデバイスの操作により、指定された領域に割り当てられた処理機能を実行する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−296156号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、撮像された3次元医用画像を表示編集する画像処理用のコンピュータ端末の使用環境では、キーボードを用いず、マウスのみで各種作業を行いたいという要求がある。このため、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせて、領域指定処理と回転処理を切り替える方法では、上記ユーザの要望に応えることができない。
【0008】
また、特許文献1に記載された方法は、複数の領域にどのような機能が対応付けられているのかを直感的に把握できないため、不慣れなユーザには使いづらいという問題があった。さらに、領域指定のような3次元画像の任意の部分を自在に指定する必要がある処理に対しては、特許文献1の図2または図3に示されるような領域の配分で領域を対応付けると、対応付けられている領域が狭すぎて、領域指定処理を対応付けられている領域に3次元医用画像の所望の部分が含まれていない場合には、領域指定処理を対応付けられている領域に所望の部分が含まれるように3次元医用画像を平行移動する、または拡大縮小する、などの余分な処理を行う手間が生じ、複数の処理を切り替えるユーザの手間を十分に低減することはできない。
【0009】
本発明は上記事情に鑑みてなされたものであり、回転処理および領域指定処理を、直感的に理解しやすい簡易な操作で容易に切り替えて3次元医用画像に施すための画像処理装置および方法、およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、3次元医用画像を取得する画像取得手段と、前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段を備え、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とするものである。
【0011】
本発明の画像処理方法は、3次元医用画像を取得する画像取得ステップと、前記取得した3次元医用画像を表示画面に表示させる表示制御ステップと、前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理ステップとを有する画像処理方法であって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とするものである。
【0012】
本発明の画像処理プログラムは、コンピュータを、3次元医用画像を取得する画像取得手段と、前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であるものである。
【0013】
本発明において、上記ポインティングデバイスは、画面上に表れるポインタを移動操作可能な、マウスやタッチパネル等の周知の種々の入力機器を本発明の入力部として適用可能である。
【0014】
また、本発明において、上記3次元医用画像は、たとえばCT、MR、超音波装置、PET―CT、SPECT、4D-CT、OCT、X線撮影装置(CR、DR)により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の3次元画像データであってもよい。
【0015】
また、表示された3次元医用画像は、3次元医用画像を表すものであれば、周知の様々な再構成法により表されたものであってよい。望ましくは、ボリュームレンダリング法で生成されたボリュームレンダリング画像または、サーフィスレンダリング法で生成されたサーフィスレンダリング画像等の擬似3次元画像であることが好ましい。
【0016】
また、本発明において、前記中央領域とは、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の1以下の面積を有するものである。数分の1とは、少なくとも4分の1よりも小さい面積で、9分の1より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して1/9以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の1/300以上1/10以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の1/300以上1/18以下の面積を有する円または楕円であることが好ましい。
【0017】
また、本発明において、表示制御手段は、中央領域の位置をユーザに識別させるための指標を、中央領域付近に表示することが好ましく、中央領域内に中央領域より小さい大きさの指標を表示するものであることがさらに好ましい。かかる指標は中央領域をユーザに識別容易にするとともに、3次元医用画像の観察を阻害しないものであることが好ましく、例えば指標を半透明とすることが好ましく、入力位置と入力操作を受け付けている間など、中央領域を視認する必要がないときには指標を表示させないことが好ましい。指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、3次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、画面の面積の1/300以上1/10以下のサイズにすることが好ましく、画面の面積の1/300以上1/18以下のサイズにすることが好ましく、画面の面積の1/300以上1/20以下のサイズにすることが好ましい。
【0018】
本発明において前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理であってもよい。
【0019】
本発明における3次元医用画像は、複数の臓器を含むものであってよい。例えば、心臓、肺、肝臓、胃、骨などを含む胸部CT撮影により得られた医用画像があげられる。
【発明の効果】
【0020】
本発明の画像表示装置の画像処理装置、方法およびプログラムは、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面の中央領域である場合に、その入力操作により回転処理を、表示された3次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合には、その入力操作により領域指定処理を、表示された3次元医用画像に施すものであり、領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理である。このため、領域指定処理に対応付けられた領域が中央領域を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより3次元画像の所望の部分をほぼ自在に指定できる。ユーザは、一般的に、ユーザの関心領域を画面中央に配置して3次元画像を観察し、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられるから、削除したい不要部分が画面中央にあることは実際には少ないので、これで不都合はなく、実用に適した効率のよい操作が可能になる。
【0021】
すなわち、回転処理を中央領域に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに3次元画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。また、ポインティングデバイスにより所定の操作を入力位置を変えて入力するだけで、領域指定処理と回転処理が自動的に切り替わるので、これらの処理を別操作で切り替える煩雑な操作を行うことなく両処理を切り替えて実行できるので、ポインティングデバイスのみにより両処理を3次元画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態における画像処理装置の機能ブロック図
【図2】本発明の実施形態における画像処理の流れを表したフローチャート
【図3A】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#1)
【図3B】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#2)
【図3C】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#3)
【図3D】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#4)
【図3E】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#5)
【図3F】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#6)
【図3G】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#7)
【図3H】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#8)
【図3I】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#9)
【図3J】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#10)
【図3K】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#11)
【図3L】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#12)
【図3M】本発明の実施形態における心臓を切り出す一連の処理の表示画面例(#13)
【発明を実施するための形態】
【0023】
以下、本発明の画像処理装置、画像処理プログラムおよび画像処理方法の実施形態について、図面を参照しながら詳細に説明する。本発明は、画像装置に表示された3次元画像から所望の画像を回転させながら順次不要な領域を削除し所望の領域を抽出する処理を行う様々な分野で応用可能であるが、ここでは、医療分野における画像診断に本発明を適用した例をもとに説明を行う。
【0024】
図1に、医師が使用するワークステーションに、画像表示プログラムをインストールすることにより実現された画像処理装置の概略構成を示す。画像処理装置1は、標準的なワークステーションの構成として、プロセッサおよびメモリ(いずれも図示せず)を備え、さらに、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ2を備えている。また、画像処理装置1には、ディスプレイ3と、マウス、キーボード等の入力部4が接続されている。
【0025】
画像表示プログラムと画像表示プログラムが参照するデータは、インストール時にストレージ2に記憶され、起動時にメモリにロードされる。画像処理プログラムは、CPUに実行させる処理として、画像取得処理と、画像処理と、表示制御処理とを規定している。
【0026】
そして、プログラムの規定にしたがって、CPUが上記各処理を実行することにより、汎用のワークステーションは、3次元医用画像を取得する画像取得手段11と、取得した3次元医用画像を表示画面に表示させる表示制御手段13と、表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部4と、受け付けられた入力位置が表示画面の中央領域6である場合に、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す画像処理手段12として機能する。
【0027】
ストレージ2には、撮影を担当する検査部門から転送された、3次元医用画像、もしくはデータベース検索により取得された内視鏡画像および3次元医用画像が記憶される。3次元画像は、マルチスライスCT装置等から直接出力された3次元医用画像でもよいし、従来型のCT装置等から出力された2次元のスライスデータ群を再構成することにより生成された3次元医用画像でもよい。
【0028】
画像処理装置1は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、3次元医用画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、3次元医用画像が特定されると、ストレージ2からメモリに、該当する3次元医用画像をロードする。
【0029】
ここでは、ある患者の検査において、マルチスライスCT装置による撮影が行われ、患者の情報を含む3次元医用画像Vが取得されて不図示のデータベースに記憶されているものとする。ユーザがボリュームレンダリング表示機能を選択し、その患者の識別子や検査日を入力すると、該当する3次元医用画像Vが取得されてストレージ2に記憶され、本発明の画像処理方法が実行される。
【0030】
図2は本発明の画像処理方法の好ましい実施形態を示すフローチャートであり、図3A乃至3Mは、本実施形態の画像処理方法を用いて、3次元医用画像Vに回転処理と指定した領域を削除する処理を繰り返して、被写体5の胸部CT撮影で取得された心臓、肺、肝臓、肋骨、脊柱などを含む3次元医用画像Vから画像診断対象の臓器である心臓を抽出して表示する作業の表示画面例を表す図である。以下、図2および図3A乃至3Mを参照して本実施形態の画像処理方法について説明する。
【0031】
まず、画像取得手段11がストレージ2からCT装置による断層撮影により取得された観察対象である被写体5を表す3次元医用画像Vを取得する(S01)。本発明の画像処理方法に先立って、ユーザの入力部を用いたマニュアル操作に応じて3次元医用画像Vに表される被写体5をディスプレイ3の画面上で平行移動させて、図3Aに示すように、抽出したい臓器である心臓が中央に位置するように画面表示した状態にする。そして、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードを選択すると本発明の画像処理方法が開始する。
【0032】
まず、表示制御手段13は、図3Aに示すように、被写体5を表す3次元医用画像Vをディスプレイ3の表示画面Wに表示させる(S02)。図3Aに示すように、本実施形態では、中央領域6は、表示画面Wの面積の約40分の1の面積を有する円領域であり、画面上に中央領域6の境界は表示されず、その代わりに、表示制御手段13はユーザが中央領域6の大まかな位置を把握できるように中央領域内に中央領域より小さい大きさの指標である中央領域アイコンMを表示させている。ここでは、中央領域アイコンMは、中央領域に対して約60%程度のサイズを有している。
【0033】
入力部4は、ユーザのマウスによる入力を待機し(S03のN)、ユーザの入力を検出すると(S03のY)、中央領域アイコンMを非表示にするとともに(S04)、表示画面上での入力位置と入力操作を周知の方法により受け付ける(S05)。ここでは、表示された3次元医用画像の回転処理または領域指定に割り当てられているユーザの入力操作は、マウスの左ボタンによるドラッグ操作であり、入力位置は、マウスのドラッグの開始位置である。かかる、入力位置と入力操作の受付は、例えば特許文献1に記載された方法が適用できる。
【0034】
次いで、画像処理手段12は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作であれば、受け付けた入力位置が表示画面の中央領域である場合に(S06のY)、受け付けられた入力操作により回転処理を表示された3次元医用画像に施し(S07)、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に(S06のN)、受け付けられた入力操作により領域指定処理を表示された3次元医用画像に施す(S08)。
【0035】
なお、画像処理手段12は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作以外の入力操作であれば、その入力操作に割り当てられた所定の処理機能を実行する。また、特許文献1に記載された方法と同様に、画像処理装置1は、ストレージ2に、中央領域と回転処理、表示画面から中央領域を除いた領域に領域指定処理をそれぞれ対応付けた対応付けテーブルTを予め記憶しており、対応付けテーブルTをメモリ上にロードして参照し、上記処理を行う。
【0036】
図3Bは、図3Aから削除の対象である脊柱および肋骨領域を含む領域7を指定した図である。画像処理手段12は、ユーザがマウス4によりポインタPを閉曲線を描くようにドラッグする操作の開始位置と軌跡に応じて、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に(S06のN)、表示画面W上で閉曲線を指定し、指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側の3次元医用画像を削除し、かかる削除処理後の3次元医用画像Vを生成する(S08)。なお、3次元医用画像Vのうち、かかる指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側に属する領域7を、本実施形態では指定領域7と場合により称する。かかる閉曲線は、ユーザの入力軌跡に基づく折れ線多角形により指定してもよく、ユーザのフリーハンド入力の軌跡により構成される曲線にしてもよく、ユーザの入力軌跡に基づくスプライン曲線により指定してもよい。また、閉曲線の指定方法を選択メニューにより指定可能にしてもよい。
【0037】
また、本実施形態において、画像処理手段13は、図3Bに示すように、ユーザのドラッグ操作によるマウスの軌跡が表示画面Wの外縁を超えて閉曲線または、曲線を描くものであれば、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する。
【0038】
図3Cに示すように、表示制御手段13は、指定領域を削除処理した後の3次元医用画像Vを表示画面に表示するとともに表示画面上に中央領域アイコンMを再表示する(S09)。図3Cに示すように、表示された3次元医用画像Vは、図3Bの指定領域7が削除されている。また、回転処理および領域指定処理限定モードがオンの状態が続いているため(S10のN)、図3Cに示す表示状態で、画像処理装置1はユーザの入力を待機する(S03)。
【0039】
図3Dは、図3Cに示す画像上でさらに削除の対象である肋骨領域を含む領域7を指定した様子を表す図である。図3Bの説明と同様に、入力部4がユーザの入力を受け付けるとともに中央領域アイコンMを非表示にし、画像処理手段12が、ユーザがマウス4によりポインタPをドラッグする操作の位置と軌跡に応じて、表示画面W上で閉曲線を指定し、指定された閉曲線から表示画面Wの奥行き方向にのびる筒体の内側の3次元医用画像を削除した3次元医用画像Vを生成し、生成した3次元医用画像Vおよび中央領域アイコンMを表示するまでのS04乃至S09の処理を実行する。
【0040】
図3Eは、表示制御手段13が、図3Dの指定領域を削除処理した後の3次元医用画像Vを表示画面Wに表示するとともに表示画面W上に中央領域アイコンMを再表示した画面例である。図3Eでは、図3Cと同様に、回転処理および領域指定処理限定モードがオンの状態が続いているため(S10のN)、図3Eに示す表示状態で、画像処理装置1はユーザの入力を待機する(S03)。
【0041】
図3Fは、図3Eに示した状態に対して、表示された3次元医用画像Vを回転させるために中央領域6からドラッグ操作が入力される様子を表している。S04およびS05の処理は、先述の領域指定処理の場合と同様である。画像処理手段12は、対応付けテーブルTを参照して、受け付けた入力位置が中央領域6内である場合には(S06のY)、受け付けた入力操作を解析して、表示画面W上でドラッグ操作の始点から終点への向きおよび距離を算出する。そして、画像処理手段12は、算出された向きおよび距離に応じて3次元医用画像Vに対する視点を回転し、かかる回転処理後の3次元医用画像Vを生成する(S07)。
【0042】
図3Fに示すように、ここでは、ユーザが、中央領域6内にある図3Fの下側のポインタPの位置にポインタPを合わせてマウスの左ボタンを押し下げ、マウスの左ボタンを押し下げた状態で白色矢印方向(画面上方)にポインタを移動させて、図3Fの上側のポインタPの位置でマウスの左ボタンを解放するという操作が行われている。入力部4は、受け付けた入力操作から、マウスの左ボタンを押し下げた位置(ドラッグ操作の始点)である入力位置と左ボタンを解放した位置(ドラッグ操作の終点)を解析することにより、回転の向き(図3Fにおける白色矢印方向)および回転量を算出し、指定された向きおよび距離に応じて3次元医用画像に対する視点を回転し、かかる回転処理後の3次元医用画像Vを生成する。
【0043】
そして、表示制御手段13は、生成された3次元医用画像Vを表示するとともに表示画面上に中央領域アイコンMを再表示する(S09)。図3Gは、図3Fで指定された回転処理を行った後の表示画面Wの例を示す図である。
【0044】
そして、画像処理装置1は、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードをオフにするまで(S10のN)、S03からS09までの処理を繰り返す。
【0045】
本実施形態では、ユーザは適宜3次元画像を回転させて心臓以外の領域を目視確認し、心臓以外の領域がなくなるまで3次元画像から心臓以外の領域を削除する操作を繰り返す。このため、図3Hに示すように、画像処理装置1は、ユーザの入力に基づいて図3Gに表示された3次元医用画像Vからさらに心臓以外の領域(肺の血管領域7A、7Bおよび肝臓領域7C)を指定して削除する領域指定処理を順に繰り返す。さらに、画像処理装置1は、図3I乃至3Lに示すように、ユーザの入力に基づいて3次元医用画像Vを回転処理して回転された3次元医用画像Vに対し心臓以外の領域7を指定して削除する領域指定処理を順に実行する。そして、画像処理装置1は、最終的に図3Mのように心臓のみが抽出された3次元画像を表示する(S09)。
【0046】
そして、ユーザが、メニュー選択により、本実施形態による回転処理および領域指定処理限定モードをオフにすると(S10のY)、本実施形態による画像処理を終了し、通常の画像処理モードに戻る。
【0047】
本実施形態によれば、領域指定処理に対応付けられた領域が中央領域6を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより3次元画像の所望の部分をほぼ自在に指定できる。
【0048】
ユーザは、一般的に、ユーザの関心領域を画面中央に配置して3次元医用画像を観察すると推定できるため、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられる。このため、回転処理を中央領域6に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに3次元医用画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。
【0049】
また、ポインティングデバイスによる所定の操作を、入力位置を変えて入力するだけで、領域指定処理と回転処理を切り替える煩雑な操作を行うことなく両処理を切り替えて実行でき、ポインティングデバイスのみにより両処理を3次元医用画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。また、キーボードを使う必要がないため、作業台のスペース確保のためにコンピュータ端末の操作を全てマウスで行っている医療現場においても、本発明の画像処理方法を好適に適用でき、使用環境に対応する汎用性が高い。
【0050】
また、中央領域よりも小さい大きさの指標である中央領域アイコンMを表示画面に表示するものであるため、指標により3次元医用画像Vの視認を妨げない範囲で、ユーザの中央領域6の把握を効果的に支援できる。なお、指標を半透明に設けた場合は、指標の重なっている部分であっても半透明の指標を通して3次元医用画像Vを視認でき、さらに好適である。
【0051】
また、本実施形態における領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理である。一般的に、ユーザは関心領域を画面中央に配置して3次元医用画像を観察していると推定されるため、ユーザの削除対象となる部分の閉曲線は、表示画面の中央領域ではなく辺縁領域に存在している可能性が高い。このため、ユーザは辺縁領域に閉曲線を指定するという操作を行うことにより3次元医用画像の削除部分を、3次元医用画像の移動や拡大などの余分な手間を要さず指定でき、簡単に削除操作をすることができる。また、領域指定処理は、入力操作により指定された閉曲線から表示画面奥行き方向にのびる筒体の内側でなく外側の3次元医用画像を削除する処理であってもよい。かかる場合には、ユーザの削除対象となる部分の閉曲線は、辺縁領域内において、中央領域6を取り囲むように指定される。そうすることにより、3次元医用画像の削除部分を、3次元医用画像の移動や拡大などの余分な手間を要さず指定することができる。なお、本実施形態では、領域指定処理に、削除する領域を上述の筒体の内側および外側のいずれにするかを予め設定する設定オプションが設けられ、削除する領域を上述の筒体の内側とする設定がされているものとする。なお、閉曲線を指定して3次元医用画像の一部を削除する操作をする場合でも、必要に応じて3次元医用画像の移動や拡大を行ってもよいのは言うまでもない。
【0052】
また、本実施形態における領域指定処理を、指定領域を削除する処理をしないようにし、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を指定する処理としてもよい。かかる場合には、指定領域を指定するドラッグ操作を行い、ドラッグ操作を終了したマウスポインタの位置(マウスのボタンを解放した位置)に、指定領域の削除(指定領域の内側の削除)、指定領域の選択(指定領域の外側の削除)を選択可能なダイアログ等を表示し、ユーザに削除領域を選択させる方法が考えられる。
【0053】
また、本実施形態において、画像処理手段13は、ユーザのドラッグ操作によるマウスの軌跡が表示画面Wの外縁を超えて閉曲線または曲線を描くものであれば、領域指定処理として、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除するため、ユーザは表示画面Wの外縁を意識せずに領域指定のためのマニュアル操作をすればよく、より使い勝手がよい。
【0054】
また、本実施形態のように、複数の臓器を含む3次元医用画像Vから所望の部分を切り出す処理に、本実施形態の画像処理方法を適用した場合には、患者により異なる部位を抽出する作業を数多く行う必要がある医療分野において、本画像処理による上述の各効果が大いに有益である。
【0055】
例えば、上述の実施形態において、3次元医用画像から心臓を切り出す一連の処理は、領域を指定して削除する少なくとも8回の領域指定処理と、少なくとも5回の回転処理の2種類の処理の組み合わせにより実行されている。そして、3次元医用画像からさらに複雑な形状の部分を切り出す作業では、2種類の処理の切り替えをするためのさらに多くのユーザ操作が必要となることが予想される。本実施形態の画像処理方法は、領域を指定して削除する少なくとも8回の領域指定処理と、少なくとも5回の回転処理からなる13回の処理を、ユーザの1つの操作のみにより最低13回の入力で実行することができるものである。マウスの入力操作とキーボードの所定の操作の有無の組合せにより実行する場合には、本実施形態のユーザ操作にキーボードの所定の操作を切り替える付加動作が必要となり、特許文献1のように、回転処理が本処理に特に適した領域と割合に割り当てられていない場合には、本実施形態のユーザ操作に3次元医用画像Vを領域指定処理に割り当てられた画面上の領域に移動させる余分な付加動作が必要となることを鑑みて、本実施形態の画像処理方法はユーザ操作を直感的に把握できるとともにユーザ操作の回数を必要最小限に絞り込むことができ、ユーザ操作の手間およびユーザの作業時間を著しく低減するという、ユーザにとって非常に有意義な効果をもたらすものである。
【0056】
以下に本実施形態の変形例について説明する。
【0057】
また、上記実施形態における表示制御手段13が、3次元医用画像を表示画面の8割程度の体積または表示面積になるように自動的に拡大縮小して表示するものであってもよい。かかる場合には、ユーザは、3次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、3次元画像が回転、領域指定などのユーザ操作にちょうどよいサイズで自動表示されるため、領域指定により削除されてサイズが小さくなった3次元画像を拡大するための操作を行う必要がない。つまり、3次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく、簡易かつ迅速に所望の部位の抽出処理を行うことができる。
【0058】
上記実施形態において、画像処理装置1は、3次元医用画像の中心(例えば、3次元医用画像の重心)を関心領域として抽出し、抽出された関心領域を画面中央に移動させて表示する関心領域移動手段をさらに備えるものであってもよい。また、画像処理装置1は、3次元画像に含まれる臓器や病変などの構造物を、自動抽出する関心領域抽出手段をさらに備え、抽出された関心領域を画面中央に移動させて表示する関心領域移動手段を備えるものであってもよい。かかる場合には、3次元医用画像の関心領域を自動的に画面中央に配置した投影画像について本発明の画像処理を行うことができるため、ユーザは、3次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、関心領域を画面中央に表示するとともに関心領域内またはその近傍に回転中心を自動的に決定することができるため、3次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく簡易かつ迅速に所望の部位の抽出処理を行うことができる。また、関心領域を中央に位置させることができ、被写体の直感的な把握が容易である。
【0059】
なお、上記の関心領域抽出手段として、例えば、以下の技術が適用可能である。
【0060】
例えば、計算機支援画像診断(CAD;Computer Aided Diagnosis)による抽出技術として、肺野について、特開2001−137230号、特開2008−253293号、肝臓抽出について特開2001−283191号、特開2002−345807号、骨について、特開2008−43564号、心臓について、特開2004−141612号の技術が利用でき、その他の臓器認識技術も指定された病変の位置が所属する臓器を自動的に抽出できるものであれば利用可能である。
【0061】
また、3次元画像から抽出する構造物は、医用画像に写った異常陰影等の病変でもよい。異常陰影を手動で抽出してもよく、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断(CAD;Computer Aided Diagnosis)を行い、自動的に病変領域を検出することができる。
【0062】
病変領域検出に利用できる技術は、具体的には、特開2003−225231号、特開2003−271924号、および、久保田等、「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」、電子情報通信学会、信学技報、pp.41-46、MI2001-41(2001-09)に示す肺がんを検出する技術、脇田等、「びまん性肺疾患の知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第4回シンポジウム論文集、pp. 45-54、2007に示すコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出技術、脇田等、「多時相腹部X線CT像の時相間濃度特徴計測に基づく肝臓がん検出」、コンピュータ支援画像診断学会論文誌、Vol.10、No.1、Mar 2007に示す肝臓がん検出技術、「正常構造の理解に基づく知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第4回シンポジウム論文集pp.55-60、2007に示す肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血、脳領域における出血を検出する技術を用いることができる。また、特開2004−329929号に示すような血管の異常を検出する技術、本出願人の出願である特開平10−97624号に示す異常陰影候補の検出技術、特開平8−215183号に示すような石灰化領域の検出技術を用いることもできる。
【0063】
また、上記実施形態において中央領域は、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の1以下の面積を有するものである。数分の1とは、少なくとも4分の1よりも小さい面積で、9分の1より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して1/9以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の1/300以上1/10以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の1/300以上1/18以下の面積を有する円または楕円であることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域のサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域のサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域を設定してもよく、例えば、直径0.5−5cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することが好ましく、直径0.7−3cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することがさらに好ましく、直径1−2cm程度の円(または同程度のサイズの閉曲面)になるように中央領域を設定することがさらに好ましい。
【0064】
指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、3次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、例えば、指標を、中央領域より小さい範囲で、画面の面積の1/300以上1/10以下のサイズにすることが好ましく、画面の面積の1/300以上1/18以下のサイズにすることが好ましく、画面の面積の1/300以上1/20以下のサイズにすることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域アイコンのサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域アイコンのサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域アイコンのサイズを設定してもよく、例えば、中央領域よりも小さい範囲で、直径0.5−5cm程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径0.7−3cm程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径1−2cm程度の円の円と同程度のサイズになるように中央領域アイコンの大きさを設定することがさらに好ましい。
【0065】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【0066】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【0067】
なお、3次元画像は、断層撮影等で取得されて形成されたものでもよく、CGで仮想的に作成されたものでもよい。また、被写体は、3次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。断層撮影に使用するモダリティは、CT、MRI、超音波撮影装置等、3次元画像を撮影可能なものであれば何でもよい。
【0068】
また、画像処理装置1は、複数台のコンピュータにより、手段としての機能を分担する構成としてもよい。また、入力部、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
【符号の説明】
【0069】
1 画像処理装置、 2 ストレージ、 3 ディスプレイ
4 入力部
5 表示された3次元画像
6 中央領域
7 指定領域
11 画像取得手段
12 画像処理手段
13 表示制御手段
V ボリュームデータ
【特許請求の範囲】
【請求項1】
3次元医用画像を取得する画像取得手段と、
前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段を備え、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理装置。
【請求項2】
前記中央領域は、前記表示画面の面積の9分の1以下の面積を有するものであることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記表示制御手段は前記中央領域内に該中央領域より小さい大きさの指標を表示させるものであることを特徴とする請求項1または2記載の画像処理装置。
【請求項4】
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理であることを特徴とする請求項1から3いずれか1項記載の画像処理装置。
【請求項5】
前記中央領域は、前記表示画面の面積の300分の1以上20分の1以下の面積を有するものであることを特徴とする請求項1から4いずれか1項記載の画像処理装置。
【請求項6】
前記3次元医用画像は、複数の臓器を含むものであることを特徴とする請求項1から5いずれか1項記載の画像処理装置。
【請求項7】
3次元医用画像を取得する画像取得ステップと、
前記取得した3次元医用画像を表示画面に表示させる表示制御ステップと、
前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理ステップとを有する画像処理方法であって、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理方法。
【請求項8】
コンピュータを、
3次元医用画像を取得する画像取得手段と、
前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理プログラム。
【請求項1】
3次元医用画像を取得する画像取得手段と、
前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段を備え、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理装置。
【請求項2】
前記中央領域は、前記表示画面の面積の9分の1以下の面積を有するものであることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記表示制御手段は前記中央領域内に該中央領域より小さい大きさの指標を表示させるものであることを特徴とする請求項1または2記載の画像処理装置。
【請求項4】
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の3次元医用画像を削除する処理であることを特徴とする請求項1から3いずれか1項記載の画像処理装置。
【請求項5】
前記中央領域は、前記表示画面の面積の300分の1以上20分の1以下の面積を有するものであることを特徴とする請求項1から4いずれか1項記載の画像処理装置。
【請求項6】
前記3次元医用画像は、複数の臓器を含むものであることを特徴とする請求項1から5いずれか1項記載の画像処理装置。
【請求項7】
3次元医用画像を取得する画像取得ステップと、
前記取得した3次元医用画像を表示画面に表示させる表示制御ステップと、
前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理ステップとを有する画像処理方法であって、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理方法。
【請求項8】
コンピュータを、
3次元医用画像を取得する画像取得手段と、
前記取得した3次元医用画像を表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、
前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された3次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された3次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、
前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の3次元医用画像を削除する処理であることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図3J】
【図3K】
【図3L】
【図3M】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図3J】
【図3K】
【図3L】
【図3M】
【公開番号】特開2012−161460(P2012−161460A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−23810(P2011−23810)
【出願日】平成23年2月7日(2011.2.7)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願日】平成23年2月7日(2011.2.7)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]