説明

診断支援システム、診断支援プログラムおよび診断支援方法

【課題】画像診断において複数の画像を比較するときの読影者の負担を軽減する。
【解決手段】同じ被検体について異なる撮影日時に取得されたボリュームデータ(ファイルF1〜F3)から、それぞれ観察形態が異なる複数の観察用画像と、各観察用画像に対応するサムネイル画像を生成する。診断画面71に、アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを複数配置し、各画像ウィンドウに指定された撮影日時に取得されたボリュームデータから生成された観察用画像を表示する。アクティブ化された画像ウィンドウでは、観察用画像の近辺に、その観察用画像と観察形態が同じサムネイル画像を並べて表示する(診断画面76)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療分野での利用に適した発明で、3次元画像データに基づく画像診断を支援するシステム、コンピュータプログラムおよび方法に関するものである。
【背景技術】
【0002】
画像診断では、直近の検査で取得された被検体の画像(以下、現在画像)を、過去の検査で取得された同じ被検体の画像(以下、過去画像)と対比することにより、病状の変化を確認することがある(以下、比較読影)。このため、診断支援装置の多くは、過去画像のデータベースから、読影中の画像と同じ被検体の同じ位置を表す過去画像を選出し、読影中の現在画像と並べて表示する機能を備えている。
【0003】
比較読影用のユーザインタフェースとしては、同じ大きさの現在画像と過去画像を、モニタ画面に並べて表示するインタフェースが一般的である。例えば、特許文献1の図9、図11、図12には、CT装置等により取得されたスライス画像を対比するときの画面として、スライス位置が同じ現在画像と過去画像とをモニタ画面に並べて表示した画面が例示されている。また、同文献の図15には、モニタ画面の表示内容を、スクロール操作により、現在画像から過去画像へ、また過去画像から現在画像へと切り替えることが示されている。さらに、診断支援装置に2台以上のモニタを接続し、一台のモニタに現在画像群を表示し、他の一台または複数台のモニタに過去画像群を表示するシステムも提案されている。
【0004】
比較読影用のユーザインタフェースとしては、この他、2つの画像の関心領域のみを近接させて表示することが提案されている(特許文献2、特に図8、図9、図13および図14参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−72412号公報
【特許文献2】特開2007−29248号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
現在画像と過去画像とを1台または複数台のモニタ画面に並べて表示するインタフェースでは、読影を行う医師は、視線を左右上下に移動させながら画像を観察しなければならない。特に3台以上のモニタが上下左右に並んで配置されたシステムでは、視線のみならず首を左右上下に回転させなければならないこともあり、眼精疲労や肩こりを引き起こしやすい。一方、スクロール操作により現在画像と過去画像を切り替えるインタフェースでは、医師は、一方の画像が視界に入らない状態で(一方の画像を記憶に留めた状態で)他方の画像との対比を行わなければならないことがある。このような作業は、脳にかかる負担が少なくなく、神経疲労を引き起こしやすい。
【0007】
特許文献2は、2つの画像の関心領域のみを近接表示することで視線移動量を減らすことを提案しているが、過去に何回もの検査が行われ、対比すべき画像が多数ある場合の画面レイアウトについては、何ら言及していない。
【0008】
本発明は、上記事情に鑑みて、対比すべき画像の数に拘らず、読影を行う医師の肉体的/精神的疲労を軽減することができるユーザインタフェースを提案することを目的とする。
【発明の概要】
【0009】
本発明の診断支援システムは、以下に説明するボリュームデータ記憶手段、ボリュームデータ選出手段、画像生成手段、画像ウィンドウ制御手段および表示制御手段を備えたシステムである。また、本発明の診断支援プログラムは、一台または複数台のコンピュータを、以下に説明するボリュームデータ記憶手段、ボリュームデータ選出手段、画像生成手段、画像ウィンドウ制御手段および表示制御手段として機能させるためのプログラムである。診断支援プログラムは、通常、複数のプログラムモジュールからなり、上記各手段の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、CD−ROM,DVDなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。また、本発明の診断支援方法は、以下に説明するボリュームデータ記憶手段、ボリュームデータ選出手段、画像生成手段、画像ウィンドウ制御手段および表示制御手段の処理を、一または複数のコンピュータで実行することにより診断を支援する方法である。
【0010】
ボリュームデータ記憶手段は、少なくとも1つの被検体を、撮影日時を異ならせて複数回撮影することにより取得された複数のボリュームデータを、その被検体を示す被検体識別データおよび撮影日時を示す撮影日時データと関連づけて、所定の記憶装置に記憶せしめる。記憶装置は、診断支援システムを構成するコンピュータに内蔵されるメモリ、ストレージのほか、そのコンピュータに直接またはネットワークを介して接続された外部記憶装置等でもよい。
【0011】
なお、「被検体」は、検査の対象、すなわち撮影または診断の対象となる部位を意味する。例えば、一人の患者が肺の検査と胃の検査を受けた場合、患者は一人であるが、被検体は2つである。この場合、被検体を示す識別データは、患者情報と撮影部位情報とを含むデータとすることが好ましい。
【0012】
ボリュームデータ選出手段は、記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す識別データと関連づけられたボリュームデータを、二つ以上選出する。これにより、指定された被検体について、異なる撮影日時に取得された複数のボリュームデータが取得される。例えば、その被検体について、三回のCT検査が行われていた場合には、各検査において取得された三つのボリュームデータが選出される。なお、同一撮影日に複数のモダリティによる撮影が行われた場合や、同一検査内で時系列的に複数回の撮影を行って複数のボリュームデータを取得した場合などでは、一撮影日につき二以上のボリュームデータが選出されることもある。
【0013】
画像生成手段は、ボリュームデータ選出手段により選出されたボリュームデータごとに、指定された被検体を異なる観察形態で表す複数の観察用画像と、その各観察用画像に対応する複数のサムネイル画像とを生成する。そして、生成した観察用画像およびサムネイル画像に、それらの画像の生成に用いたボリュームデータと関連づけられた撮影日時データを関連づける。このとき、各ボリュームデータから生成された観察用画像およびサムネイル画像中の被検体の位置が、ボリュームデータ間で揃ったものとなるように、位置合わせ処理をさらに行うことが好ましい。この位置合わせ処理は、ボリュームデータに対して行ってもよいし、生成された観察用画像やサムネイル画像に対して行ってもよい。
【0014】
なお、「観察形態」が異なるとは、被検体を表現するときの表現方法が異なることを意味する。すなわち、被検体の何に着眼し、その着眼点をどのようにユーザに見せるかが異なるということである。例えば、ボリュームデータを2次元画像に変換するときの変換手法(ボリュームレンダリング法、多断面再構成法等)が異なる画像は、観察形態が異なる画像である。また、変換手法が同じであっても、変換パラメータ(視点、視線方向、スライス位置等)が異なる画像は、観察形態が異なる画像である。
【0015】
画像ウィンドウ制御手段は、アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する。ここで、アクティブ状態とは、画像ウィンドウの表示内容に対する操作入力を受け付けられる状態を意味し、非アクティブ状態とは、画像ウィンドウの表示内容に対する操作入力を受け付けない状態を意味する。また、複数の画像ウィンドウは、表示画面の任意の位置に、必要に応じて重ねて配置できるウィンドウであってもよいし、表示画面を複数の領域に分割して、個々の領域を1つの画像ウィンドウとしてもよい。さらに、画像ウィンドウ制御手段は、ユーザの所定の操作に応じて、複数の画像ウィンドウのレイアウトの変更を行えるようにすることが好ましい。
【0016】
表示制御手段は、画像生成手段により生成された観察用画像の中から、指定された撮影日時を示す撮影日時データと関連づけられた観察用画像を選出して、各画像ウィンドウにそれぞれ表示する。ここで、「指定された撮影日時」については、撮影された年・月・日・時・分・秒のうち、観察用画像の選出に十分な範囲が指定されていればよい。また、「観察用画像を選出」について、例えば、観察用画像として、VR画像と、3つの断面に対応する3つのMPR画像が生成されていた場合には、4つの画像ウィンドウに、VR画像および3つのMPR画像を、それぞれ表示する。
【0017】
さらに、表示制御手段は、画像生成手段により生成されたサムネイル画像の中から、アクティブ状態の画像ウィンドウに表示されている観察用画像と観察形態が同じであるサムネイル画像を選出して、アクティブ状態の画像ウィンドウに表示する。観察形態が同じであるとは、被検体を表現するときの表現方法が同じということ、すなわち前述した画像の変換手法や変換パラメータが同じということである。
【0018】
上記構成および手順では、画像を表示する画像ウィンドウがアクティブ状態にされない限り、比較の対象となる画像は画面に現れない。このため、モニタ画面に観察形態が異なる複数の観察用画像が表示されているときでも、混乱なく比較読影を行うことができる。また、比較の対象となる画像は、1つの画像ウィンドウの中にサムネイル表示されるので、比較の対象となる画像が多数ある場合でも、視線を大きく動かすことなく画像を対比することができる。また、比較読影を行うにあたり、複数台のモニタを用意する必要もなくなる。
【0019】
但し、実際の診断では、一定の期間内に取得された画像のみを対象として比較読影を行いたい場合もある。例えば、定期的に行われる健康診断の結果がすべて保存されているときに、異常がなかった時期の画像は除外し、異常が発見されたとき以降の画像のみを対象として比較読影を行いたい場合がある。あるいは、長期にわたる、または、高頻度の経過観察や、造影剤投与を伴う複数時点での画像の取得等の事情により、同一被検体の画像が膨大な数となっている場合、すべての画像の比較読影を行うことは実質的に不可能であり、画像を絞り込んで比較読影を行いたい場合がある。そこで、本発明では、このようなニーズに応えるために、以下の2つの解決手段を提案する。
【0020】
第1に、ボリュームデータ選出手段が、選出対象のボリュームデータを絞り込むための所与の第1の絞り込み条件をさらに満たすボリュームデータを選出することが考えられる。これにより、指定された被検体を示す被検体識別データと関連づけられたボリュームデータのうち、第1の絞り込み条件を満たさないものは選出されず、選出されなかったボリュームデータからは観察用画像やサムネイル画像が生成されないので、表示制御手段では、比較読影を行いたい画像のみを表示できるようになる。また、比較読影を行いたい画像以外は生成されないので、システムの処理負荷が軽減され、処理効率が向上する。
【0021】
より具体的には、第1の絞り込み条件を、所与の期間内の撮影で取得されたボリュームデータに絞り込むという条件とし、ボリュームデータ選出手段が、ボリュームデータに関連づけられた撮影日時データに基づいて、第1の絞り込み条件をさらに満たすボリュームデータを選出することが考えられる。または、記憶装置に記憶されたボリュームデータを、ボリュームデータの取得を伴う個々の検査を識別する検査識別データとさらに関連づけられたものとし、第1の絞り込み条件を、直近の所与の回数の検査で得られたボリュームデータに絞り込むという条件とし、ボリュームデータ選出手段が、検査識別データに基づいて、第1の絞り込み条件をさらに満たすボリュームデータを選出することが考えられる。さらに、記憶装置に記憶されたボリュームデータを、ボリュームデータの取得の際の検査または診断の結果を表すデータとさらに関連づけられたものとし、第1の絞り込み条件を、検査または診断の結果が所与の内容であったときに得られたボリュームデータに絞り込むという条件とし、ボリュームデータ選出手段が、結果データに基づいて、第1の絞り込み条件をさらに満たすボリュームデータを選出することが考えられる。ここで、「検査または診断の結果が所与の内容」とは、例えば、異常ありという検査結果や、特定の病名であるという確定診断等が挙げられる。
【0022】
第2に、表示制御手段が、表示対象のサムネイル画像を絞り込むための所与の第2の絞り込み条件をさらに満たすサムネイル画像を選出して、アクティブ状態の画像ウィンドウに表示することが考えられる。これにより、アクティブ状態の画像ウィンドウに表示されている観察用画像と観察形態が同じサムネイル画像のうち、第2の絞り込み条件を満たさないものは表示対象として選出されないので、比較読影を行いたい画像のみを表示できるようになる。また、この第2の解決手段では、第2の絞り込み条件を満たさないものについても観察用画像とサムネイル画像が生成されているので、第2の絞り込み条件を変更したり、解除したりすれば、比較読影対象外となっていた画像もすぐに表示可能となる。
【0023】
より具体的には、第2の絞り込み条件を、所与の期間内の撮影で取得されたサムネイル画像に絞り込むという条件とし、表示制御手段が、サムネイル画像に関連づけられた撮影日時データに基づいて、第2の絞り込み条件をさらに満たすサムネイル画像の表示を行うことが考えられる。すなわち、前記表示制御手段によりサムネイル画像を選出するときに、アクティブ状態の画像ウィンドウに表示されている観察用画像と観察形態が同じであり且つ指定された期間内の撮影日時を示す撮影日時データと関連づけられたサムネイル画像を選出するようにすることが考えられる。または、記憶装置に記憶されたボリュームデータを、ボリュームデータの取得を伴う個々の検査を識別する検査識別データとさらに関連づけられたものとし、画像生成手段が、生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた検査識別データを関連づけるようにし、第2の絞り込み条件を、直近の所与の回数の検査で得られたボリュームデータから生成されたサムネイル画像に絞り込むという条件とし、表示制御手段が、サムネイル画像に関連づけられた検査識別データに基づいて、第2の絞り込み条件をさらに満たすサムネイル画像の表示を行うことが考えられる。あるいは、記憶装置に記憶されたボリュームデータを、ボリュームデータの取得の際の検査または診断の結果を表すデータとさらに関連づけられたものとし、画像生成手段が、生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた結果データを関連づけるようにし、第2の絞り込み条件を、検査または診断の結果が所与の内容であったときに得られたボリュームデータから生成されたサムネイル画像に絞り込むという条件とし、表示制御手段が、サムネイル画像に関連づけられた結果データに基づいて、第2の絞り込み条件をさらに満たすサムネイル画像の表示を行うことが考えられる。
【0024】
また、上記のように絞り込みを行うかどうかにかかわらず、表示制御手段が、アクティブ状態の画像ウィンドウに表示されるサムネイル画像の数の最大値の設定を受け付け、設定された最大値の範囲内のサムネイル画像を表示するようにしてもよい。これにより、表示されるサムネイル画像が増大して、各サムネイル画像が小さくなりすぎて見にくくなることが防止される。さらに、表示制御手段が、選出されたサムネイル画像の数が最大値を超える場合、表示対象のサムネイル画像の選択を受け付け、選択されたサムネイル画像のみを表示するようにしてもよい。これにより、ユーザが所望のサムネイル画像のみを選択的に表示させることが可能になる。
【0025】
あるいは、表示制御手段が、アクティブ状態の画像ウィンドウに表示されたサムネイル画像の各々の表示・非表示の設定操作を受け付け、表示と設定されたサムネイル画像のみを表示するようにしてもよい。これにより、ユーザが所望のサムネイル画像のみを選択的に表示させることが可能になる。さらに、表示制御手段が、非表示と設定されたサムネイル画像が表示されていた位置を識別可能な態様で表示するようにしてもよい。これにより、ユーザは非表示と設定したサムネイル画像の存在を意識することが可能になり、必要な画像の見落とし等の防止にもつながる。
【0026】
また、表示制御手段が、ユーザによる所定の操作に応じて、アクティブ状態の画像ウィンドウに表示されたサムネイル画像に対応する観察用画像を、別の所定の画像ウィンドウに一覧表示するようにしてもよい。これにより、個々のサムネイル画像のサイズでは小さすぎて比較読影が困難な場合であっても、対応する観察用画像を一覧表示することによって、大きなサイズで詳細な比較読影を行うことが可能になる。
【0027】
また、ボリュームデータを用いた画像診断では、診断画面において観察形態を切換えながら画像の観察を行うことが一般的である。よって、アクティブ状態の画像ウィンドウに表示された観察用画像について、観察形態の変更を要求する操作が検出されたときには、画像生成手段が、その操作により指定された観察形態の観察用画像およびサムネイル画像を生成し、表示制御手段が、生成された観察用画像の表示と、生成されたサムネイル画像の表示とを、更新することが好ましい。特に、両画像の表示の更新を同期して行うようにすることで、比較の対象となる全画像の観察形態が連動して切り換わるようにすることが好ましい。
【0028】
なお、観察形態の変更を要求する操作の好ましい具体例としては、アクティブ状態の画像ウィンドウに表示されている観察用画像中に切り出し対象領域を指定する操作が挙げられる。この場合、画像生成手段が、指定された切り出し対象領域に対応する領域を切り出したサムネイル画像を生成し、表示制御手段が、観察用画像に切り出し対象領域を識別可能な態様で表示するとともに、生成されたサムネイル画像に表示を更新する。
【0029】
アクティブ状態の画像ウィンドウにおいて、サムネイル画像は、非アクティブ状態のときから表示されていた観察用画像の端に、観察用画像と重ねて配置すればよい。あるいは、非アクティブ状態のときから表示されていた観察用画像を縮小し、空いたスペースにサムネイル画像を配置してもよい。但し、これらのレイアウトでは、非アクティブ状態のときと比べ観察用画像が観にくくなる恐れがあるので、好ましくは、非アクティブ状態のときから表示されていた観察用画像の周りにサムネイル画像が配置されるように表示を制御することが好ましい。
【0030】
例えば、一つの常時表示領域と少なくとも一つの一時表示領域とを有する画像ウィンドウを画面に複数配置し、各画像ウィンドウの一時表示領域を、その画像ウィンドウがアクティブ状態のときのみ画面に現れるように制御する。常時表示領域は、画像ウィンドウがアクティブ状態か非アクティブ状態かに拘わらず常に表示される領域である。一時表示領域は、画像ウィンドウがアクティブ状態のときだけ一時的に表示される領域である。一時表示領域は、選出されたサムネイル画像の数等に基づいて設定することが好ましく、常時表示領域とともにユーザの視界に入る程度の広さとすることが好ましい。
【0031】
画像ウィンドウを上記構成とし、選出した観察用画像を、各画像ウィンドウの常時表示領域にそれぞれ表示し、選出したサムネイル画像を、アクティブ状態の画像ウィンドウの一時表示領域に表示すれば、ユーザの目には、アクティブ化とともに画像ウィンドウが見かけ上拡張され、観察用画像の近辺にサムネイルが現れたようにみえる。
【0032】
なお、表示制御手段は、一時表示領域においてサムネイル画像の指定を伴う第1の操作が検出されたときに、アクティブ状態の画像ウィンドウの常時表示領域の画像を、指定されたサムネイル画像に対応する観察用画像に置き換えることが好ましい。これにより、ユーザは、上記操作を一時表示領域に表示されている複数のサムネイル画像に対し順番に行うことで、各画像を詳細に観察することができる。
【0033】
また、表示制御手段は、一時表示領域においてサムネイル画像の指定を伴う第2の操作が検出されたときに、指定されたサムネイル画像を、そのサムネイル画像に対応する観察用画像に置き換えることが好ましい。これにより、常時表示領域に表示される画像と、ユーザが指定した画像とが同じ大きさの観察用画像として画面に表示されることとなり、2つの画像の対比が容易になる。
【0034】
さらに、表示制御手段は、観察用画像、および/または、サムネイル画像に対して、各画像に関連づけられた撮影日時データによる撮影日時を付加して、表示を行うようにすることが好ましい。これにより、比較読影の際に、その画像の撮影日時の確認が容易になる。
【発明の効果】
【0035】
本発明の診断支援システム、プログラムおよび方法によれば、診断画面に多種類の画像が表示されており、また、過去に何回もの検査が行われ、比較読影の対象となり得る画像の数が多いような場合であっても、ユーザは、疲労を感じることなく比較読影を行うことができる。
【図面の簡単な説明】
【0036】
【図1】本発明の一実施形態における診断支援システムの概略構成を示す図
【図2A】診断画面の第1のレイアウト例を示す図
【図2B】診断画面の表示例を示す図
【図2C】診断画面の第2のレイアウト例を示す図
【図2D】診断画面の第3のレイアウト例を示す図
【図2E】診断画面の第4のレイアウト例を示す図
【図3】スナップショット機能を利用した比較読影方法を示す図
【図4A】本実施形態のシステムが表示する診断画面の一例を示す図
【図4B】本実施形態のシステムが表示する診断画面の他の例を示す図
【図4C】本実施形態のシステムが表示する診断画面のさらに他の例を示す図
【図5】画像ウィンドウの動作例を示す図
【図6】画像ウィンドウの他の動作例を示す図
【図7】ボリュームデータ選出手段(C)の処理を示すフローチャート
【図8】画像生成手段の構成および処理の概要を示す図
【図9】画像生成手段の処理を示すフローチャート
【図10】画像生成手段が行う処理と表示制御手段が行う処理の関係を示す図
【図11】表示制御手段と画像ウィンドウ制御手段の処理を関連づけて示すフローチャート
【図12】画像ウィンドウとリージョンの関係を示す図(非アクティブ状態)
【図13】画像ウィンドウとリージョンの関係を示す図(アクティブ状態)
【図14】アクティブ状態の画像ウィンドウの他の表示例を示す図
【図15】アクティブ状態の画像ウィンドウのさらに他の表示例を示す図
【発明を実施するための形態】
【0037】
図1に、本発明の一実施形態における診断支援システム1の概略構成を示す。本実施形態における診断支援システムは、ローカルエリアネットワーク(LAN)2を介して互いに接続された検査室システム3、データサーバ4、および診断用ワークステーション(WS)6により構成される。
【0038】
検査室システム3は、被検体を撮影するモダリティ群32と、各モダリティから出力された画像の確認や調整を行う検査室ワークステーション(WS)31により構成される。
【0039】
検査室WS31は、モダリティ32が2次元のスライスデータを出力するもの(例えばCT(Computed Tomography)装置、MR(Magnetic Resonance)装置等)である場合には、スライスデータ群を再構成することにより3次元のボリュームデータを生成し、生成したボリュームデータを付帯情報とともにデータサーバ4に転送する。また、検査室WS31は、モダリティ32がボリュームデータを直接出力するもの(例えば3DCT装置、コーンビームCT装置等)である場合には、そのボリュームデータを、付帯情報とともにデータサーバ4に転送する。
【0040】
データサーバ4は、高性能プロセッサと大容量メモリを備えた比較的処理能力の高いコンピュータに、データベースマネージメントサーバ(DBMS:DataBase Management Server)の機能を提供するソフトウェアプログラムを実装したものである。プログラムはストレージに記憶され、起動時にメモリにロードされ、プロセッサにより実行される。これにより、データサーバ4は、ボリュームデータ記憶手段41として、またサーバ(S)側のボリュームデータ選出手段42として機能する。
【0041】
ボリュームデータ記憶手段41は、検査室WS31から転送されたボリュームデータおよび付帯情報を、データサーバ4に接続された大容量ストレージ5に、ファイル10として記憶せしめる。ファイル10は、ヘッダ領域とボリュームデータを記憶する領域とからなる。ヘッダ領域には、検査室WS31から転送された付帯情報や、データサーバ4において追加されたデータ検索用の付帯情報が記録される。例えば、被検体を特定する情報として、患者の識別番号、氏名、年齢、性別、撮影部位(頭部、胸部、腹部等)の情報が記録される。また、撮影日時を特定する情報として、検査が行われた日、撮影が行われた時刻の情報が記録される。このほか、撮影に使用されたモダリティ、撮影条件(造影剤の使用有無/使用された色素、放射線核種、放射線量など)等の情報も記録される。
【0042】
なお、大容量ストレージ5にファイルとして保管するボリュームデータは、撮影モダリティから出力されたままのボリュームデータでもよいし、撮影モダリティから出力されたデータ(スライスデータ等)を再構成することにより得られたボリュームデータでもよい。さらには、撮影により取得されたボリュームデータから診断に不要な情報を削除するなど、検査室WS31において何らかの加工が施されたボリュームデータでもよい。
【0043】
ボリュームデータ選出手段42は、診断用WS6からの検索要求に応じて、大容量ストレージ5に記憶されている複数のファイル10の中から、検索条件に適ったファイルを選出し、診断用WS6に送信する。
【0044】
診断用WS6は、標準的なプロセッサおよびメモリを備えた汎用のワークステーションに、後述する各機能を提供するプログラムを実装したものである。プログラムはメモリに記憶され、プロセッサにより実行される。これにより、診断用WS6は、画像ウィンドウ制御手段61、表示制御手段62、画像生成手段63およびクライアント(C)側のボリュームデータ選出手段64として機能する。また、診断用WS6には、ディスプレイ7と、マウス、キーボード等の入力装置8が接続されている。
【0045】
以下、診断用WS6の機能、構成および動作について、さらに説明する。診断用WS6は、診断の対象となる生体組織(臓器、骨、筋肉、血管等)の種類に応じて、多様な診断支援機能を提供する。本発明は診断の対象に拘らず適用可能な発明であるが、ここでは、冠動脈の診断支援機能が選択された場合を例示して説明する。
【0046】
はじめに、診断用WS6の機能(主にユーザインタフェース)について説明する。診断用WS6の初期画面では、機能選択メニューが表示される。初期画面において冠動脈の診断支援機能が選択されると、患者を特定する値(識別番号等)と撮影日時を示す数値と、比較読影を行うときの参照期間を指定する数値を、入力または選択するためのダイアログが現れる。ユーザの入力または選択操作により、被検体(患者と部位)と撮影日時が特定されると、特定された被検体の、特定された撮影日時における冠動脈像を表す診断画面が現れる。
【0047】
図2Aおよび図2Bに、冠動脈の診断画面を例示する。図2Aはディスプレイ7に表示される診断画面71の画面レイアウトを示す図であり、図2Bは診断画面71の表示を、具体的に示した図である。図2Aに示すように、診断画面71は複数の画像ウィンドウが配置された画像領域IMGと、画面切り換えや画像の調整を行うための操作ボタン等が配置された操作領域OPとに区分される。
【0048】
画像領域IMGには、複数の画像ウィンドウが配置される。図は、冠動脈の平均径を表すグラフGRが表示されるウィンドウWGR、冠動脈のストレートCPR(Curved Planer Reconstruction)画像ST−CPRが表示されるウィンドウWST−CPR、直交断面を表すMPR(Multi Planer Reconstruction)画像MPR−0が表示されるウィンドウWMPR−0、アキシャル(Axial)、サジタル(Sagital)、コロナル(Coronal)断面を表す3つのMPR画像MPR−1、MPR−2、MPR−3がそれぞれ表示されるウィンドウWMPR−1、WMPR−2、WMPR−3、ストレッチCPR画像SC−CPRが表示されるウィンドウWSC−CPR、ボリュームレンダリング(Volume Rendering)画像VRが表示されるウィンドウWVRの8つのウィンドウが配置されたレイアウトを例示している。このレイアウトの診断画面は、図2Bに例示したようなものとなる。
【0049】
各ウィンドウには、画像とともに、画像同士の関連性を示す標識が表示される。図2Bの例では、ウィンドウWMPR−1、WMPR−2、WMPR−3、WSC−CPRおよびWVRにおいて、画像上に互いに向き合った2つの矢印が表示されている。これらの矢印は、被検体の同じ箇所を同じ方向から指し示すものである。ユーザは、矢印の位置や向きを画像間で対比しながら観察を行うことで、例えばMPR画像として表された断面が、VR画像上のどの箇所に相当するかを把握することができる。
【0050】
画像領域IMG内にある画像ウィンドウの1つをクリック操作などにより選択すると、その画像ウィンドウはアクティブ状態となる。以降、アクティブ状態の画像ウィンドウの表示は、ユーザがマウス等を使って行う操作により制御される。一方、選択されなかった画像ウィンドウの表示は、非アクティブ状態であるので、ユーザの操作とは無関係に制御される。
【0051】
操作領域OPには、ボタン、チェックボックス等の操作用インタフェースが配置されている。操作用インタフェースは、診断の対象(臓器等の種類)によって異なるものとなるが、レイアウト変更ボタンLCおよび保存ボタンSVは、診断の対象に拘わらず常に表示される。
【0052】
レイアウト変更ボタンLCは、診断画面における各画像ウィンドウの配置(各ウィンドウの並び順やウィンドウ毎の形状・サイズ)や表示させる画像の内容(生成手法やパラメータ)を変更するためのユーザインタフェースを表示するためのトリガとなるボタンである。例えば、診断画面において、レイアウト変更ボタンLCをクリックすると、図2Aの画像領域IMG、図2Cから図2Eの画像領域IMGに示したような、各画像ウィンドウの配置や表示させる画像の内容を表すテンプレートが並べて表示され、ユーザが、クリック操作によって、それらのテンプレートの中から所望のテンプレートを選択すると、診断画面の画像領域のレイアウトが変更される。なお、図中、WANGIOは血管造影画像(アンギオ画像)、WMPR−11からWMPR−16は、各々、冠動脈上の所与の位置における直交断面を表すMPR画像である。
【0053】
また、診断画面において、保存ボタンSVをクリックすると、そのとき表示されている画面のイメージが、スナップショットとして保存される。
【0054】
スナップショットとして保存されるデータは、ディスプレイ画面の全体イメージを表す画像データでもよいが、本実施形態では、ボリュームデータから表示中の画像を生成する際に設定されたパラメータ群(例えば、CPR画像として表示されている範囲、MPR画像として表示されている断面の位置や向き、ボリュームレンダリングの視点等)を、スナップショットとして保存する。そして、保存された画面を後に再現するときには、それらのパラメータを用いてボリュームデータから再度各画像を生成し、表示する。この保存方法によれば、保存された画面を再現した後、その状態を基準としてさらにパラメータを調整し、あらたな画像を表示させることができる。例えば、断面の向きを調整して、あらたな断面像を表示させることができる。
【0055】
スナップショットとして保存しておいた画面は、後に所定の操作を行うことにより、簡単に再現することができ、また再現後の調整も可能である。よって、例えば、図3に示すように、3台のモニタを並べ、1つのモニタに直近の検査で取得された現在画像を並べた診断画面71を表示し、他のモニタには過去に保存しておいたスナップショットから再現された診断画面72、73を表示すれば、比較読影を行うことができる。しかしながら、この方法は、診断画面の数がモニタの台数に限定される。また、モニタ数が多くなると、対比すべき画像を同時に視界に入れることが難しくなり、頻繁且つ広範囲にわたる視線移動が必要になる。
【0056】
これに対し、以下に説明するように、本実施形態のシステムは、ディスプレイが1台しかなくても、快適に比較読影を行えるよう、ユーザインタフェースに工夫がなされている。本実施形態において、比較読影機能は、設定画面においてあらかじめ設定しておくことにより、または読影の最中にユーザが所定の操作を行うことにより、有効(ON)となる。以下、比較読影機能が有効なときのユーザインタフェースについて、図4A〜図6を参照して説明する。
【0057】
比較読影機能が有効な状態で画像ウィンドウをアクティブ状態にすると、その画像ウィンドウのウィンドウ領域が自動的に拡張される。具体的には、その画像ウィンドウのウィンドウ領域として以前から表示されていた領域、すなわち画像ウィンドウの状態に拘らず常に表示されている領域(常時表示領域)の周囲に、その画像ウィンドウの一部である新たなウィンドウ領域(一時表示領域)が現れる。
【0058】
新たに現れる一時表示領域には、比較読影の対象となる1つまたは複数のサムネイル画像が表示される。常時表示領域に表示されている観察用画像が、ある時点における被検体の状態を表す画像であるとすると、サムネイル画像は、他の時点における被検体の状態を、観察用画像と同じ観察形態で表した画像となる。例えば、観察用画像が被検体の断面Xを表すMPR画像であれば、サムネイル画像は被検体の断面Xを表すMPRサムネイル画像となる。
【0059】
例えば、図4Aは、図2Aおよび図2Bに示した画面71において、画像ウィンドウWMPR−2がアクティブ化されたときの画面74を例示した図である。同図に示すように、画像ウィンドウWMPR−2をアクティブ状態にすると、その画像ウィンドウに表示されていた観察用画像MPR−2の上側と右側に、観察用画像MPR−2を取り囲むように一時表示領域が現れ、その領域にサムネイルMPR画像T1〜T7が表示される。
【0060】
ここで、拡張された画像ウィンドウの形やサムネイル画像が表示される位置は、常時表示領域の形状やサイズ、サムネイル画像の数、周辺の画像ウィンドウの内容、画面全体に対する画像ウィンドウの位置等によって変化する。
【0061】
例えば、常時表示領域が横方向に長い場合、一時表示領域は、常時表示領域の上側もしくは下側に現れ、左側や右側には現れない。横方向に長い画像を左右に並べて配置すると、読影時の視線の移動量が大きくなりやすいが、上下方向であれば並べて配置しても視線の移動量を少なく抑えられるからである。
【0062】
また、近隣の非アクティブ状態の画像ウィンドウに、アクティブ状態の画像ウィンドウの画像と同時に観察することが好ましい画像が表示されている場合には、その近隣の画像ウィンドウと重ならない位置に一時表示領域が現れる。
【0063】
例えば、図4Bは、画像ウィンドウWST−CPRをアクティブ状態にしたときの画面75を示している。ストレートCPR画像は横方向に長い画像であり、また平均径のグラフと一緒に観察することが好ましいことから、画面75では、サムネイルCPR画像T8〜T11は、既存のストレートCPR画像の下方向にのみ現れる。なお、同図に例示するように、サムネイル画像は、必ずしも既存の画像に隣接するとは限らず、2列(乃至3列以上)に並んで表示されることもある。
【0064】
また、操作領域OPに隣接している画像ウィンドウの場合、一時表示領域が操作領域OP側に現れることはない。これは、画像ウィンドウが拡張されたことで、操作領域OPにおいて行われる操作が妨げられないようにするためである。例えば、図4Cに示すように、画像ウィンドウWVRがアクティブ状態とされた場合には、サムネイルVR画像T12〜T15は既存のVR画像の左側もしくは上側にのみ現れる。
【0065】
なお、図4Aから図4Cには示していないが、各観察用画像と同様に、各サムネイル画像にも撮影日時を付加して表示するのが好ましい。これにより、ユーザは、比較読影時に、観察用画像およびサムネイル画像の撮影日時を容易に確認することができる。
【0066】
続いて、アクティブ状態の画像ウィンドウに対する操作および操作が行われたときの、画像ウィンドウの動作について説明する。本実施形態では、一時表示領域内のサムネイル画像を指定して所定操作を行うと、常時表示領域の観察用画像が、指定したサムネイル画像に対応する観察用画像と置き換わる。また、一時表示領域内のサムネイル画像を指定して他の所定操作を行うと、指定したサムネイル画像が、そのサムネイル画像に対応する観察用画像と置き換わる。以下、図5および図6を参照して、画像ウィンドウの具体的動作について説明する。
【0067】
図5および図6において、左側の図は、ある時点における画像ウィンドウWMPR−2のレイアウトを示しており、右側の図は、その状態で所定の操作を行った後の画像ウィンドウWMPR−2のレイアウトを示している。画像a〜gは、被検体を同じ観察形態で表した画像であるが、異なる撮影日時(例えば異なる検査日)における被検体の状態を表している。なお、画像の符号a〜gは画像の内容を区別するための符号であり、以下の説明では、内容が同じであれば、画像の大きさに拘わらず(観察用画像かサムネイル画像かに拘わらず)、同じ符号を付するものとする。
【0068】
図5および図6の左側に示すように、ある時点において、画像ウィンドウWMPR−2の常時表示領域には観察用画像aが表示され、一時表示領域にはサムネイル画像a〜gが表示されているものとする。この際、一時表示領域のサムネイル画像a〜gは、撮影日時に基づいて、昇順または降順に並んで表示される。
【0069】
図5の左側に示す状態で、サムネイル画像bにカーソル9を合わせてマウスの左ボタンをクリックすると、図5の右側に示すように、常時表示領域の観察用画像aが、カーソルで指定したサムネイル画像bに対応する観察用画像bと置き換わる。他のサムネイル画像にカーソル9を合わせて同様の操作を行えば、常時表示領域の観察用画像bは、そのサムネイル画像に対応する観察用画像と置き換わる。この操作により、ユーザは、サムネイル画像として表示されている画像を、詳細に観たいときだけ大きく表示することができる。言い換えれば、詳細観察を行わないときは、その画像をサムネイル画像として画面に配置しておくことで、一台しかないモニタの画面を効率的に利用することができる。
【0070】
また、図6の左側に示す状態で、サムネイル画像eにカーソル9を合わせてマウスの右ボタンを押すと、右ボタンを押下している間だけ、図6の右側に示すように、サムネイル画像eが、サムネイル画像eに対応する観察用画像と置き換わる。この際、サムネイル画像f、gは、常時表示領域の下方へと自動的に移動する。右ボタンを放すと、画像ウィンドウのレイアウトは、図6の左側に示した状態に戻る。他のサムネイル画像にカーソル9を合わせて同様の操作を行ったときも、同様の画面遷移が生じる。この操作により、ユーザは、対比したい2つの画像を、一時的に同じ大きさで並べ、観察を行うことができる。
【0071】
ユーザは、図5の操作と図6の操作を繰り返すことにより、画像ウィンドウに表示されている任意の2つの画像を同じ大きさで並べて表示し、観察することができる。
【0072】
また、アクティブ状態の画像ウィンドウで、常時表示領域に表示されている観察用画像に対し、視線方向の変更(回転)、表示範囲の変更(平行移動/ズーム)などの操作が行われた場合には、常時表示領域の観察用画像の視線方向、表示範囲などが変更されるのと連動して、一時表示領域に表示されているサムネイル画像の視線方向、表示範囲などが自動的に変更される。よって、画像の観察形態を個別に調整しなくても、観察用画像の周囲に表示されるサムネイル画像は、常に、その観察用画像と同じ観察形態の画像となる。なお、常時表示領域の表示の更新と一時表示領域の表示の更新とを、同期して行ってもよい。
【0073】
以下、図1に示した画像ウィンドウ制御手段61、表示制御手段62、画像生成手段63およびクライアント(C)側ボリュームデータ選出手段64の処理を説明することにより、上記ユーザインタフェースの実現方法を明らかにする。
【0074】
本実施形態では、初期画面において必要な情報が入力されると、最初に、ボリュームデータ選出手段64によるデータ選出処理が実行される。図7は、ボリュームデータ選出手段64の処理を示すフローチャートである。
【0075】
ボリュームデータ選出手段64は、前述の初期画面およびその後のダイアログを表示する。そして、ユーザが行った機能選択操作、あるいは患者や撮影日時を指定する操作を検出することにより、被検体識別データと撮影日時データを取得する(S101,S102)。この際、前述のダイアログにおいて、参照期間が指定されているときには、参照期間のデータを併せて取得する。
【0076】
本実施形態では、被検体識別データは、患者の識別番号と診断の対象となる部位を表す記号の組み合わせからなるものとする。例えば、患者の識別番号がP11861であり、部位が記号CORで表される冠動脈である場合、被検体識別データはP11861CORとなる。患者の識別番号は、初期画面において入力または選択される。また、本実施形態では、診断支援機能は診断の対象となる部位(臓器、血管、骨等)ごとに異なるため、ユーザが機能選択を行うことで、診断の対象となる部位が特定される。よって、機能選択操作と患者を指定する操作を検出することで、被検体識別データを取得することができる。
【0077】
また、本実施形態では、撮影日時データは、撮影日(西暦年月日)から撮影時刻(時・分・秒)までを表す14桁の数値とする。この数値は、前述のダイアログにおいて、ユーザにより入力または選択される。参照期間は、期間の始点および終点を、それぞれ西暦で表した8桁の数値とする。もしくは、年数または月数を表す一桁乃至二桁の数値としてもよい。なお、ユーザによって指定される撮影日時についても、撮影年月日のみというように、撮影日時のうちの一部のみであってもよい。
【0078】
次に、ボリュームデータ選出手段64は、被検体識別データと撮影日時データとに基づいて、観察用画像の生成に用いるボリュームデータを選出する(S103)。詳細には、被検体識別データと撮影日時データを、データサーバ4側のボリュームデータ選出手段42へと送信して、大容量ストレージ5に保存されているファイルの検索を要求する。
【0079】
ボリュームデータ選出手段42は、保存されているファイル群の中から、被検体識別データおよび撮影日時データとして、受信した被検体識別データおよび撮影日時データと同じ値が付与されたファイルを選出し、ボリュームデータ選出手段64に返信する。例えば、図は、被検体識別データがP11861COR、撮影日時データが20091003101229(2009年10月3日10時12分29秒)、撮影モダリティを示すモダリティデータがMRIであるファイルF1が選出された場合を例示している。なお、撮影日時データについては、撮影日時のうちの撮影年月日のみ同じ値が付与されたファイルを選出するというように、部分一致によってファイルを選出してもよい。
【0080】
その後、ボリュームデータ選出手段64は、比較読影機能が有効か否かを判定する(S104)。例えばメモリに記憶されている機能ごとの設定フラグ(ONのときは1、OFFのときは0となるフラグ)を参照することにより、比較読影機能が有効か否かを判定する。
【0081】
比較読影機能が有効であった場合、ボリュームデータ選出手段64は、再度、被検体識別データに基づいて、観察用画像の生成に用いるボリュームデータを選出する(S105)。ボリュームデータは、ステップS103と同様、ボリュームデータ選出手段42に対し、該当するボリュームデータを含むファイルの検索を要求することで選出される。但し、ステップS105では、検索を要求するとき、撮影日時データは受け渡されない。これにより、指定された被検体について、異なる撮影日時に取得された複数のボリュームデータが選出される。
【0082】
例えば、図は、撮影日時データとして20070403103025、20060410110631、20051008145308、20051008155151がそれぞれ付与されたファイルF2、F3、F41およびF42が選出された場合を例示している。ファイルF41、F42として例示したように、被検体識別データおよび撮影日時データのうち撮影日付部分が同じであって、モダリティデータだけが異なる2つ(乃至それ以上)のファイルが選出されることもある。例えば、定期健診ではMR装置が用いられ、後日行われた精密検査ではCT装置が用いられるといったケースが該当する。あるいは、造影剤注入前および注入後の所定の複数の時点での撮影によって取得された複数のボリュームデータのように、被検体識別データ、撮影日時データのうち撮影日付部分、および、モダリティデータが同じであって、撮影日時データのうち撮影時刻部分が異なる2つ以上のファイルが選出されることもある。この他、撮影モダリティは同じで、撮影方法や撮影条件が異なるボリュームデータが取得される場合もある。
【0083】
なお、前述のダイアログにおいて、参照期間が指定されているときには、ボリュームデータ選出手段64は、参照期間の始点および終点を表す撮影日時データ(参照範囲日時データ)も、被検体識別データとともに、ボリュームデータ選出手段42に送信する。ここで、参照期間が「過去2年」や「過去6カ月」というように、年数や月数で表されている場合には、現在の日付に基づいて参照期間の始点および終点を特定し、参照範囲日時データに変換してボリュームデータ選出手段42に送信する。そして、ボリュームデータ選出手段42は、指定された被検体について、指定された参照範囲日時データの範囲内の撮影日時に取得された複数のボリュームデータを選出し、ボリュームデータ選出手段64に返信する。
【0084】
一方、比較読影機能が無効であった場合には、ステップS105の処理は実行されない。
【0085】
次に、画像生成手段63の構成および処理について説明する。図8に示すように、本実施形態では、画像生成手段63は、画像生成処理全体を統括する統括部(図示せず)のほかに、間引き部631、ストレートCPR画像生成部632、ストレッチCPR画像生成部633、MPR画像生成部634およびVR画像生成部635を備える。言い換えれば、画像生成手段63が実行する処理を規定するプログラムは、メインプログラムと、間引き処理、ストレートCPR画像生成処理、ストレッチCPR画像生成処理、MPR画像生成処理およびVR画像生成処理を、それぞれ規定する複数のプログラムモジュール群からなる。
【0086】
なお、CPR画像、MPR画像等の生成方法は、いずれも公知であるため、画像生成手段63を構成する上記各部が実行する処理の具体的説明は省略する。以下、図8および図9を参照して、画像生成手段63の処理の、全体的な流れについて説明する。
【0087】
ボリュームデータ選出手段64により選出されたファイルFが画像生成手段63に供給されると、はじめに間引き部631による間引き処理が実行される(S201)。間引き部631は、ファイルFからヘッダ情報を除くボリュームデータVを取り出し、ボリュームデータVよりもデータ量が少ないボリュームデータV´を生成する。
【0088】
例えば、ボリュームデータV´のデータ量が、ボリュームデータVの1/8程度となるようにボクセルデータを間引きする。間引き部631は、ボリュームデータV´を、ファイルF´としてメモリに保存する。この際、ファイルF´のヘッダ領域には、ファイルFのヘッダ領域に記録されている情報をコピーし、さらに間引きされたデータであることを示す情報をヘッダ領域に追記する。
【0089】
なお、ボリュームデータVを含むファイルFは、ボリュームデータV´の生成後も更新されることなく、もとのままの状態で、メモリに保存されている。
【0090】
続いて、画像生成手段63は、画像生成部632〜635に供給するパラメータを初期設定する(S202)。画像生成部632〜635の処理に必要なパラメータは、画像生成部ごとに、すなわち生成される画像の観察形態ごとに異なる。例えば、ストレートCPR画像生成部632やストレッチCPR画像生成部633には、冠動脈の経路方向の表示範囲等を指定するパラメータを供給する必要がある。また、MPR画像生成部634には、断面の位置や向き等を指定するパラメータを、さらに、VR画像生成部635には、視点の位置等を指定するパラメータを、それぞれ供給する必要がある。ステップS202では、画像生成部632〜635に供給するパラメータの初期値として、メモリ等に予め記憶されているデフォルト値もしくはユーザが事前に設定した値が設定される。
【0091】
なお、診断画面において、同じ種別の画像を複数表示する場合には、1種類のパラメータについて複数の値が設定される。例えば、図2A、2Bに例示した診断画面のように、直交断面、アキシャル断面、サジタル断面、コロナル断面のそれぞれについてMPR画像を表示する場合には、MPR画像生成部634に対し、断面を指定するパラメータの値として、4つの値が供給される。
【0092】
画像生成部632〜635は、ボリュームデータV、ボリュームデータV´およびそれぞれに供給されたパラメータ値から、観察用画像とサムネイル画像を生成する(S203)。例えば、ストレートCPR画像生成部632は、ボリュームデータVと入力されたパラメータを用いて、観察用のストレートCPR画像ST−CPRを生成し、さらに、ボリュームデータV´と入力されたパラメータを用いて、ストレートCPRのサムネイル画像ST−CPR´を生成する。
【0093】
このとき、観察用画像ST−CPRとサムネイル画像ST−CPR´とは、同じパラメータを使って生成されるので、サイズは異なるものの観察形態(表示される範囲等)は同じになる。他の画像生成部633〜635も同様に、それぞれ、サイズが異なる2つの画像を生成する。
【0094】
画像生成部632〜635は、それぞれ、生成した観察用画像およびサムネイル画像を、所定フォーマットのファイルとしてメモリ等に保存する。この際、ファイルのヘッダ領域には、その画像の生成に用いられたファイルFやファイルF´のヘッダ領域に記録されている情報を、コピーする。これにより、生成された観察用画像およびサムネイル画像には、被検体、撮影日時、モダリティ等の情報が付加される。画像生成部632〜635は、さらに、ファイルのヘッダ領域に、画像の観察形態を示す情報(画像種別、パラメータ等)と、観察用画像/サムネイル画像の区別(フラグ等)を、ファイルのヘッダ領域に記録する。
【0095】
生成された画像は、後述するように、表示制御手段62および画像ウィンドウ制御手段61により、選択的に画面に出力される。これにより、ディスプレイ上に、図2Bに例示したような診断画面が現れる。
【0096】
診断画面において、ユーザが、アクティブ状態の画像ウィンドウに表示された観察用画像の観察形態の変更を要求する操作を行うと、その操作は、画像ウィンドウ制御手段61および表示制御手段62により検出され、画像生成手段63に伝達される。例えば、ユーザが、ボリュームレンダリング画像に対する視線方向を変更する操作(画像の回転操作)を行うと、表示制御手段62から画像生成手段63に対し、ユーザが指定した視点および視線方向の情報が供給される。
【0097】
画像生成手段63は、観察形態の変更要求を受けると(S204)、ユーザの操作に応じて、ステップS202において設定したパラメータを再設定する(S205)。各画像生成部632〜635は、ボリュームデータV、ボリュームデータV´、および、ステップS205において再設定されたパラメータ値に基づいて、観察用画像とサムネイル画像を生成しなおす。
【0098】
ユーザの操作に応じて画像生成手段63により生成された観察用画像とサムネイル画像は、表示制御手段62および画像ウィンドウ制御手段61により、画面に出力される。これにより、アクティブ状態の画像ウィンドウの表示が更新される。例えば上記例であれば、観察用のボリュームレンダリング画像とサムネイルボリュームレンダリング画像とに表された冠動脈等の被検体が、各々回転する。このとき、各画像の表示を更新するタイミングを一致させれば、画像中の被検体を同期して回転させることができる。
【0099】
図10は、画像生成手段63が行う処理と表示制御手段62が行う処理の関係を示す図である。ここでは、図2A、図2B、および図4Cの画像ウィンドウのレイアウトを例として説明する。図に示すようにボリュームデータ選出手段64によりN個のファイル(たとえば3個のファイルF1〜F3)が選出された場合、画像生成手段63は、各画像ウィンドウに表示する複数種類の観察用画像を含むN組の観察用画像セットと、その観察用画像セットに対応するN組のサムネイル画像セットを生成する。前述のとおり、観察用画像とサムネイル画像には、ヘッダ情報として、観察形態(画像種別、パラメータ等)、観察用画像/サムネイル画像の区別、被検体、撮影日時、モダリティ等の情報が付加されている。
【0100】
表示制御手段62は、N組の観察用画像セットについて、各観察用画像のヘッダ情報に含まれる撮影日時データを、ユーザが入力または選択した撮影日時と照合し、撮影日時が一致する一組の観察用画像セットを選出する。ここで、ユーザによって入力または選択された撮影日時が撮影年月日のみ等のように撮影日時の一部であった場合には、部分一致により、観察用画像セットが選出される。図は、ファイルF1に含まれるボリュームデータから生成された観察用画像セットが選出された場合を例示している。表示制御手段62は、図に示すように、選出した観察用画像セットに含まれる観察用画像を、それぞれ、対応する画像ウィンドウの常時表示領域に出力する。これにより、図2Bに例示したような診断画面71が表示される。
【0101】
表示制御手段62は、さらに、N組のサムネイル画像セットについて、各サムネイル画像のヘッダ情報に含まれる観察形態の情報を参照する。表示制御手段62は、参照した情報を、アクティブ状態の画像ウィンドウ(ここでは、ウィンドウWVRとする)に表示した観察用画像に付加されている観察形態の情報と照合し、観察形態が一致するサムネイル画像を選出する。そして、選出したサムネイル画像を、ヘッダ情報に含まれる撮影日時データに基づいて降順または昇順にソートしてから、アクティブ状態の画像ウィンドウの一時表示領域に出力する。図は、ファイルF1〜F3から生成された3組のサムネイル画像セットから、それぞれボリュームレンダリング画像が選出された場合を例示している。表示制御手段62は、図に示すように、選出した3つのサムネイルボリュームレンダリング画像を、アクティブ状態のウィンドウWVRに出力する。これにより、図4Cに例示したような診断画面76が表示される。
【0102】
図11は、表示制御手段62および画像ウィンドウ制御手段61の処理を関連づけて示すフローチャートである。表示制御手段62は、常時表示領域に表示する一組の観察用画像セットを選出すると、画像ウィンドウ制御手段61に対し、各画像ウィンドウの常時表示領域に選出された観察用画像を表示するよう要求する(S301)。どの観察用画像を、いずれの画像ウィンドウに表示するかは、ウィンドウ識別子(ハンドル等)により指定する。この要求を受けた画像ウィンドウ制御手段61は、各画像ウィンドウの常時表示領域に画像を配置し、図2Bに例示したような診断画面を構成する(S401)。
【0103】
ユーザが、いずれかの画像ウィンドウをアクティブ化する操作を行うと、その操作は画像ウィンドウ制御手段61により検出され(S402)、アクティブ化されたウィンドウの識別子が表示制御手段62に通知される(S403)。表示制御手段62は、通知されたウィンドウの識別子から、アクティブ化された画像ウィンドウに表示されている観察用画像の観察形態を判定する(S302)。そして、その観察用画像と同じ観察形態のサムネイル画像を、一時表示領域に表示するサムネイル画像として選出する(S303)。
【0104】
次に、表示制御手段62は、アクティブ化された画像ウィンドウに表示される画像の観察形態と、選出されたサムネイル画像の数とに基づいて、一時表示領域のパターンを決定する(S304)。一時表示領域の拡張方向は、常時表示領域の上、左、下、右の4つの方向の中から一つまたは複数の位置が選択される。一時表示領域は、図4Aや図4Bに例示したように一続きの領域でもよいし、図4Cに例示したように異なる方向に拡張された複数の領域でもよい。
【0105】
図4A〜図4Cを参照して説明したとおり、一時表示領域の好ましい形状は、画面全体における画像ウィンドウの位置や画像種別によって異なる。また、一方向への拡張で足りるか多方向に拡張すべきかは、選出されたサムネイル画像の形状や数にも依存する。このため、本実施形態では、画像ウィンドウの位置、観察形態およびサムネイル画像の数と、一時領域のパターンとの対応づけを、予め定義している。そして、ステップS304では、定義データを参照することで一時表示領域のパターンを決定している。画像ウィンドウ制御手段61は、表示制御手段62が決定したパターンの一時表示領域が画面に現れるように、画像ウィンドウの表示状態を設定する(S404)。
【0106】
ステップS404の処理と並行して、表示制御手段62は、選出したサムネイル画像を、ヘッダ情報に含まれる撮影日時データに基づいて降順または昇順にソートする。そして、画像ウィンドウ制御手段61に対し、ソートしたサムネイル画像を供給し、一時表示領域への表示を要求する(S305)。この要求を受けて、画像ウィンドウ制御手段61は、一時表示領域にサムネイル画像を配置する(S405)。このとき、どの位置を始点として画像を並べるか等、一時表示領域のレイアウトに関することは、予め定義され、定義データとして記憶されている。ステップS405では、この定義データに基づいて、サムネイル画像が配置される。
【0107】
ユーザが、観察形態の変更操作、例えば視線方向の変更(回転)操作や表示範囲の変更(移動/サイズ変更)操作を行うと、その操作は画像ウィンドウ制御手段61により検出され(S406)、表示制御手段62に伝達される(S306)。表示制御手段62は、ユーザの操作を検出すると、画像生成手段63に対し、ユーザ操作により指定された視線方向や表示範囲を示すパラメータを供給し、観察形態の変更を要求する(S307)。これにより、図9を参照して説明したように、再度、観察用画像とサムネイル画像の生成処理が実行され、診断画面の表示が更新される。
【0108】
ここで、図12および図13を参照して、一時表示領域について、さらに説明する。Windows(登録商標)プラットフォームでは、画像ウィンドウW内にリージョンRを設定し、そのリージョンの形状を設定し直すことで、画像ウィンドウの見かけ上の形状を変えることができる。リージョンの形状としては、矩形、楕円形のほか、多角形も設定することができる。よって、画像ウィンドウが非アクティブ状態のときには、常時表示領域はリージョンRの範囲内で一時表示領域はリージョンRの範囲外となるようにリージョンRを設定し、画像ウィンドウがアクティブ化されたときだけ、常時表示領域と一時表示領域の両方がリージョンRの範囲内に入るようにリージョンRを設定すれば、ユーザの目には、画像ウィンドウがアクティブ化されたときのみ一時表示領域が現れたようにみえる。
【0109】
例えば、常時表示領域に表示する観察用画像のサイズが幅W、高さHであり、一時表示領域に表示するサムネイル画像のサイズが幅w、高さhである場合、画像ウィンドウの幅W、高さHを、W=W+2w、H=H+2hに設定する。そして、非アクティブ状態では、図12に示すように、画像ウィンドウの中央に位置する幅W、高さHの領域をリージョンRに設定し、リージョンRに観察用画像を配置する。そして、画像ウィンドウがアクティブ化されたときには、例えば図13に示すように、リージョンRを右方向に+w、上方向に+hだけ拡張したリージョンR´を設定し、拡張した領域に選出されたサムネイル画像を配置する。これにより、図2Bに例示した診断画面71を、図4Aに例示した診断画面74へと変移させることができる。
【0110】
以上に説明したとおり、本実施形態のシステムでは、現在画像が表示された診断画面において、過去画像と対比したい画像を表示する画像ウィンドウをアクティブ化するだけで、現在画像の近辺に過去画像が現れる。すなわち、比較すべき過去画像を検索したり、指定したりしなくても、ワンクリック程度の簡単な操作で、蓄積されている過去画像を画面に呼び出すことができる。
【0111】
また、非アクティブ状態の画像ウィンドウにおいては、過去画像は現れないので、VR画像、MPR画像、CPR画像、MIP画像等、観察形態が異なる画像が多数画面に表示されているときでも、各画像ウィンドウを交替でアクティブ化していくことで、混乱なく比較読影を行うことができる。
【0112】
また、過去画像はサムネイル表示されるため、ディスプレイが1台しかない構成でも、多数(例えば10以上)の画像を対象とした比較読影を行うことができる。サムネイル表示することで過去画像に占有される画面スペースは狭くなるので、ユーザは視線を大きく動かさずに比較読影を行うことができる。また、比較の対象となる全画像が同時に画面に表示されるので、一方の画像を記憶に留めた状態で比較読影を行わなければならないといった不都合もない。これにより、ユーザの肉体的/精神的疲労は従来よりも大幅に軽減される。
【0113】
また、サムネイル画像を指定して所定の操作を行えば、サムネイル表示されている過去画像は、観察に適した大きさで表示されるので、サムネイル表示することで、個々の画像の観察に支障をきたす心配もない。
【0114】
また、異常が発見された前後の一定期間の画像のみを観察したい場合などには、参照期間を限定し、限られた数の過去画像のみを表示することもできる。例えば、定期的な健康診断で、健常時の画像が多く保存されているような場合には、比較の対象を絞り込むことで、効率よく診断を行うことができる。
【0115】
また、ユーザによる観察形態を変更するための操作に応じて、観察用画像の更新とサムネイル画像の更新の両方を行うので、アクティブ状態の画像ウィンドウにおいて、観察用画像の観察形態とサムネイル画像の観察形態を一致させることができる。その際、両画像の更新を同期して行うようにした場合には、両画像の観察形態を常に一致させることができる。これにより、ユーザは、異なる観点で画像を比較したくなった場合には、アクティブ状態の画像ウィンドウにおいて観察用画像の観察形態を変更する操作を行うだけで、直ちに、異なる観点での比較読影を開始することができる。
【0116】
また、本実施形態では、画像ウィンドウが非アクティブ状態のときに表示されていた観察用画像の大きさを変えることなく、また観察用画像の一部を覆い隠すことなく、サムネイル画像を表示できるので、画像をアクティブ化したことにより観察用画像が観難くなることもない。
【0117】
なお、上記説明では、主として、撮影日ごとに1つのボリュームデータが選出される場合を例示したが、図7に例示したように、同じ撮影日に異なるモダリティを使った撮影が行われる場合もある。ボリュームデータ選出手段64により、撮影日データが同じである複数のファイルが選出された場合は、各ファイルについて、間引きされたボリュームデータを生成し、観察用画像を生成する。
【0118】
例えば図7に例示したファイルF41、F42が選出された場合には、ファイルF41に記録されていたボリュームデータV41から間引きされたボリュームデータV41´を生成し、さらに、ファイルF42に記録されていたボリュームデータV42から間引きされたボリュームデータV42´を生成する。そして、4つのボリュームデータV41、V41´、V42、V42´を、画像生成手段63の各画像生成部に入力する。この際、ボリュームデータV41、V41´を入力する画像生成部と、ボリュームデータV42、V42´を入力する画像生成部とは、必ずしも同じである必要はない。なお、複数のボリュームデータから観察用画像を生成する場合、生成される観察用画像の種類および数は、1つのボリュームデータから観察用画像を生成する場合よりも多くなる。この場合、生成されたすべての観察用画像を一画面に表示することが難しければ、観察形態の切換え操作により表示される画像が切り替わるようにすることが好ましい。あるいは、ユーザが前述のダイアログにおいて撮影日だけでなく撮影時刻まで入力または選択するようにすれば、表示制御手段62は、その撮影日および撮影時刻に基づいて、1つのボリュームデータから生成された観察用画像セットを選出することが可能になる。
【0119】
次に、上記実施形態に対する変形例について説明する。
上記実施形態では、ボリュームデータ選出手段42および64が、比較読影機能が有効な場合に、指定された参照期間の範囲内のボリュームデータに絞り込んで選出するようにしたが、これ以外の絞り込み条件を用いてもよい。
【0120】
例えば、ボリュームデータ記憶手段41が、ヘッダ領域に、個々の検査を識別する検査IDが付帯情報として記録されたファイル10を記憶せしめるようにしておき、前述のダイアログで、参照期間の代わりに、または、参照期間に加えて、直近の何検査分のボリュームデータを選出するかを指定できるようにし、ボリュームデータ選出手段64が、指定された検査回数の値をボリュームデータ選出手段42に送信するようにする。ボリュームデータ選出手段42は、指定された被検体識別データと関連づけられたボリュームデータを取得して、検査日付(撮影日時)の順に並べ替え、検査日付の新しいものから順に、指定された検査回数分の検査で取得されたボリュームデータを特定し、ボリュームデータ選出手段64に返信するようにする。
【0121】
あるいは、本実施形態の診断支援システム1と、医用画像に対する読影レポートの管理システムや電子カルテの管理システムとが連携可能な構成としておき、読影レポート中の所見データや電子カルテ中の確定診断データを用いて選出対象のボリュームデータを絞り込むことが考えられる。例えば、診断支援システム1のボリュームデータ記憶手段41では、各ファイル10のヘッダ領域に画像を識別する画像IDを記録しておき、読影レポート管理システムでは、所見データと被検体識別データと画像IDとを関連づけて記憶しておく。診断支援システム1の前述のダイアログにおいて、参照期間の代わりに、または、参照期間に加えて、読影所見を指定できるようにしておく。具体的には、異常の有無や陰影の種類等が選択可能なユーザインタフェースとしておくことが考えられる。ボリュームデータ選出手段64が、読影レポート管理システムにアクセスし、指定された被検体識別データと読影所見のデータと関連づけられた画像IDを取得し、取得した画像IDをボリュームデータ選出手段42に送信するようにする。ボリュームデータ選出手段42は、送信されてきた画像IDと関連づけられたボリュームデータを取得して、ボリュームデータ選出手段64に返信するようにする。なお、電子カルテ管理システムとの連携の場合も上記と同様であり、電子カルテの確定診断データと、被検体識別データと、診断の根拠の1つとなった画像診断対象のボリュームデータの画像IDとを関連づけて記憶しておけばよい。また、ボリュームデータに対して、対応する所見データや確定診断データを識別する情報を関連づけておいてもよいし、所見や確定診断の内容自体をフィル10のヘッダ領域に記録するようにしてもよい。
【0122】
このように、ボリュームデータの選出の際に、様々な絞り込み条件に基づいてボリュームデータの絞り込みを行えば、指定された被検体識別データと関連づけられたボリュームデータのうち、絞り込み条件を満たさないものは選出されず、選出されなかったボリュームデータからは観察用画像やサムネイル画像が生成されないので、表示制御手段62では、比較読影を行いたい画像のみを表示できるようになる。また、比較読影を行いたい画像以外は生成されないので、システムの処理負荷が軽減され、処理効率が向上する。
【0123】
一方、ボリュームデータ選出手段64および42の代わりに、表示制御手段62が、表示対象のサムネイル画像の絞り込みを行うようにする実施形態も考えられる。具体的には、ボリュームデータ選出手段64の代わりに、表示制御手段62が、前述のダイアログで指定された参照期間を取得し、アクティブ状態の画像ウィンドウに表示されている観察用画像に付加されている観察形態の情報と照合し、観察形態が一致するサムネイル画像を選出した後、サムネイル画像に関連づけられている撮影日時データを参照し、上記参照期間の範囲内の撮影日時を有するサムネイル画像のみを最終的に選出し、画像ウィンドウの一時表示領域に出力するようにする。
【0124】
または、前述のダイアログで上記直近の検査回数の指定を可能にし、画像生成手段63が、ボリュームデータに関連づけられている上記検査IDを観察用画像とサムネイル画像に付加するようにし、表示制御手段62が、上記のボリュームデータ選出手段42と同様にして、直近の検査回数の範囲内のサムネイル画像のみを最終的に選出するようにする。
【0125】
あるいは、本実施形態の診断支援システム1と、医用画像に対する読影レポートの管理システムや電子カルテの管理システムとが連携可能な構成において、前述のダイアログで読影所見や確定診断の指定を可能にし、画像生成手段63が、ボリュームデータに関連づけられている上記画像IDを観察用画像とサムネイル画像に付加するようにし、表示制御手段62が、上記ボリュームデータ選出手段64と同様にして、読影レポート管理システムや電子カルテ管理システムにアクセスして、表示対象のサムネイル画像の画像IDを特定し、その画像IDを有するサムネイル画像を最終的に選出するようにする。
【0126】
このように、表示対象のサムネイル画像の選出の際に、様々な絞り込み条件に基づいてサムネイル画像の絞り込みを行えば、観察形態が同じサムネイル画像のうち、絞り込み条件を満たさないものは表示対象として選出されないので、比較読影を行いたい画像のみを表示できるようになる。また、この場合、絞り込み条件を満たさないものについても観察用画像とサムネイル画像が生成されているので、絞り込み条件を変更したり、解除したりすれば、比較読影対象外となっていた画像もすぐに表示可能となる。
【0127】
他の変形例としては、上記実施形態において、アクティブ状態の画像ウィンドウに表示されるサムネイル画像の数の最大値の設定を受け付けるユーザインタフェースを設け、表示制御手段62が、そこで設定された最大値の範囲内のサムネイル画像を表示するようにしてもよい。これにより、表示されるサムネイル画像が増大して、各サムネイル画像が小さくなりすぎて見にくくなることが防止される。さらに、選出されたサムネイル画像の数が最大値を超える場合、表示対象のサムネイル画像の選択を受け付けるユーザインタフェースを設け、表示制御手段62が、選択されたサムネイル画像のみを表示するようにしてもよい。これにより、ユーザが所望のサムネイル画像のみを選択的に表示させることが可能になる。
【0128】
図14は、図4Aに示したアクティブ状態の画像ウィンドウの変形例であり、表示制御手段62の制御によって、以下のようなユーザインタフェースが実現される。
【0129】
図に示したように、本変形例では、一時表示領域の各サムネイル画像T2からT8に、各々、非表示ボタン744aから744eが付加されている。ユーザが、表示を望まないサムネイル画像の非表示ボタンをクリックすると、そのサムネイル画像は非表示状態となる。これにより、ユーザが所望するサムネイル画像のみを選択的に表示させることが可能になる。なお、非表示ボタンの表示位置は、図14の例に限定されず、好ましい表示位置としては、各サムネイル画像の左上隅が挙げられる。
【0130】
アイコン745aおよび745bは、各々、サムネイル画像T3、T7の非表示状態を表すアイコンである。上記のように、サムネイル画像の非表示ボタンがクリックされると、そのサムネイル画像は非表示になるとともに、その位置に非表示状態を表すアイコンが表示される。これにより、ユーザは非表示と設定したサムネイル画像の存在を意識することが可能になり、必要な画像の見落とし等の防止にもつながる。ここで、表示対象のサムネイル画像の減少に伴って、表示されているサムネイル画像のサイズが、一時表示領域の縦横の辺の長さや表示対象のサムネイル画像の画像数に基づいて自動調整される。逆に、例えば、非表示状態のアイコン745aがクリックされると、非表示状態となっていたサムネイル画像T3がその位置に再度表示される。このときにも、表示対象のサムネイル画像の増加に伴って、表示されているサムネイル画像のサイズが、一時表示領域の縦横の辺の長さや表示対象のサムネイル画像の画像数に基づいて自動調整される。なお、非表示状態を表すアイコンの形状は図示した形状に限定されず、より省スペースな表示態様とすることが好ましい。例えば、図のサムネイル画像T2とT4を接触させて表示しつつ、両画像の境界線を、連続する表示対象のサムネイル画像間の境界とは異なる色や線種、線の太さで表示することによって、サムネイル画像T3の非表示状態を表すようにしてもよい。
【0131】
また、図14は、本来の表示対象であるサムネイル画像T1からT10のすべては表示されていない状態を表している。ここで、矢印アイコン743aをクリックすることにより、表示対象のサムネイル画像が、右方向にスライドするように更新される。すなわち、表示対象のサムネイル画像が、T2、T4、T5、T6、T8から、T1、T2、T4、T5、T6に更新され、表示されていなかったサムネイル画像T1が画像ウィンドウ中に現れ、サムネイル画像T8が表示されなくなる。同様に、図の状態で、矢印アイコン743bを1回クリックすると、表示対象のサムネイル画像が、T2、T4、T5、T6、T8から、T4、T5、T6、T8、T9に上方向にスライドするように更新され、表示されていなかったサムネイル画像T9が画像ウィンドウ中に現れ、サムネイル画像T2が表示されなくなり、矢印アイコン743bをもう1回クリックすると、さらにサムネイル画像T10が画像ウィンドウ中に現れ、サムネイル画像T4が表示されなくなる。
【0132】
また、アイコンボタン741がクリックされると、サムネイル画像の表示が初期状態に戻る。
【0133】
また、アイコンボタン742がクリックされると、表示制御手段62は、別の画像ウィンドウを開き、現在表示されているサムネイル画像に対応する観察用画像を一覧表示する。これにより、個々のサムネイル画像のサイズでは小さすぎて比較読影が困難な場合であっても、対応する観察用画像を別ウィンドウ一覧表示することによって、大きなサイズで詳細な比較読影を行うことが可能になる。
【0134】
図15は、観察用画像とサムネイル画像の表示の更新の連動に関する好ましい変形例を模式的に表したものである。図に示したように、ユーザが、マウスのドラッグ操作により、アクティブ状態の画像ウィンドウに表示されている観察用画像中に切り出し対象領域を表す枠746を設定すると、画像生成手段63が、各サムネイル画像に対応する観察用画像から、指定された切り出し対象領域に対応する領域を切り出した様子を表すサムネイル画像を生成し、表示制御手段62が、観察用画像に切り出し対象領域を表す枠746の表示を行ったまま、生成されたサムネイル画像に表示を更新する。なお、各観察用画像における切り出し対象領域は、各画像間の座標値の対応関係に基づいて決定してもよいし、管状構造物を表す画像の場合であれば、その構造物の経路解析結果を用いて、例えば、経路の始点からの道のり(経路に沿った長さ)に基づいて決定してもよい。
【0135】
また、上記実施形態では、常時表示領域に表示中の観察用画像に対応するサムネイル画像も一時表示領域に表示しているが、常時表示領域に表示中の観察用画像に対応するサムネイル画像は、一時表示領域に表示しない形態も考えられる。そのような形態では、サムネイル画像の指定を伴う所定の操作が行われたときに、観察用画像と指定されたサムネイル画像とが入れ替わるように、表示を制御すればよい。
【0136】
また、上記実施形態では、画像ウィンドウがアクティブ化されたときにのみ現れる一時表示領域にサムネイル画像を配置しているが、一時表示領域を設けず、既存のウィンドウ枠の中に納まるようにサムネイル画像を表示する形態も考えられる。このような形態は、画像をアクティブ化したときに観察用画像が観難くなるという問題がある一方、アクティブ状態の画像ウィンドウの周辺にある非アクティブ状態の画像ウィンドウがサムネイル画像により覆い隠されることがないという利点がある。
【0137】
なお、図8およびその説明においては、便宜上、図2A、図2Bに例示したレイアウトを実現するために必要な画像生成部のみを示したが、前述のとおり診断画面のレイアウト(特に、表示させる画像の内容)は診断対象によって異なるものである。このため、画像生成手段63は、上記説明で例示したプログラムモジュール以外にも、MIP(Maximum Intensity Projection)画像、ブルズアイ画像、仮想内視鏡画像等、他の観察形態の画像を生成するための多数のプログラムモジュールを備え、選択された機能(診断対象)に応じて、選択的にプログラムモジュール使い分ける構成とすることが好ましい。
【0138】
また、同じく図8およびその説明においては、間引き処理部と画像生成部とを別個の処理部として例示したが、間引き処理と画像生成(例えば投影処理)とを同時に行うことも可能である。あるいは、画像生成部により各観察形態の観察用画像を生成した後、その観察用画像を間引きすることによってサムネイル画像を生成してもよい。
【0139】
さらに、画像生成手段63において、前処理として、各ボリュームデータ中の被検体の位置を合わせる位置合わせ処理を行うようにしてもよい。これにより、被検体の呼吸等による体動や各ボリュームデータの撮影時の姿勢の違い、各撮影での撮影範囲の違い等による、各ボリュームデータ間での被検体の位置のずれを修正することができ、それにより、観察用画像およびサムネイル画像を比較読影する際に、被検体の対応する位置を観察することが可能になる。
【0140】
具体的な位置合わせ方法としては、公知の非剛体レジストレーション手法等を用いることができ、対応する2点をユーザに指定させる手法や、ランドマークなしで画像のコントラストに基づいて行う手法等がある(詳細については、特開2005-28121号公報や、Rueckert D Sonoda LI,Hayes C,et al.、「Nonrigid Registration Using Free-Form Deformations:Application to Breast MR Images」、IEEE Transactions on Medical Imaging、1999年、Vol.18,No.8,pp.712-721等参照)。または、本出願人が特開2009-219655号公報等にて提案している、ボリュームデータの各スライスにおける撮影部位の自動認識処理を応用し、異なる撮影部位の境界の位置が各ボリュームデータ間で一致するように位置合わせを行う方法も採用可能である。
【0141】
あるいは、冠動脈の診断の場合であれば、各ボリュームデータから抽出された冠動脈の木構造データのマッチングによって位置合わせを行うことも可能である。
【0142】
具体的には、まず、所定のアルゴリズムに基づいて、各ボリュームデータから、心臓に相当する領域(以下、心臓領域)を抽出する。次に、各ボリュームデータ内の心臓領域を含む直方体領域を探索範囲として設定し、所定のアルゴリズムに基づいて探索範囲に含まれる線状構造を探索する。さらに、探索により検出された線状構造に基づいて、冠動脈の芯線上の点と推定される点を検出する。以下の説明では、冠動脈経路上の点と推定される点を候補点またはノードと称する。ここで、線状構造の探索は、探索範囲内の局所領域ごとに、3×3のヘシアン(Hessian)行列の固有値を算出することにより行う。線状構造が含まれる領域では、ヘシアン行列の3つの固有値のうち1つは0に近い値となり、他の2つは相対的に大きな値となる。また、値が0に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。そして、この関係を利用して、局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。次に、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、候補点および候補点同士を連結する血管枝(エッジ)からなる木構造が構築される。検出された複数の候補点の座標情報や、血管枝の方向を示すベクトル情報は、候補点や血管枝の識別子とともにメモリに記憶される。続いて、検出された候補点ごとに、周辺のボクセルの値(CT値)に基づき、冠動脈の形状を詳細に識別する。具体的には、冠動脈経路に垂直な断面において、冠動脈の輪郭(血管の外壁)を識別する。形状の識別は、Graph-Cutsに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、抽出された冠動脈領域の特定に必要な情報が生成される。
【0143】
ここで、被検体の経時変化が発生していない領域では、各ボリュームデータにおいて、ほぼ同じ点が候補点として検出されるので、経時変化が無い領域の候補点を基準にすれば、ボリュームデータ間で木構造同士のマッチング(グラフマッチング)を行うことができる。すなわち、主要なノードの類似度を、所定の評価関数に基づいて算出し、類似度が最も高い候補点同士を対応づける。そして、木構造の主要なノードの対応関係から、他の候補点の対応関係を推定する。この方法によれば、各ボリュームデータから抽出された冠動脈領域の形状が異なっていても、解剖学的に同じ点同士を対応付けることができる。なお、グラフマッチングによる解剖学的構造の対応付けについては、特開2007-44488号公報にも開示があるとおり、この他にも種々の方法が提案されている。
【0144】
なお、位置合わせ処理は、前述のように前処理として行わずに、生成された観察用画像毎、サムネイル画像毎、観察形態毎に行うようにしても前述と同様の効果が得られるが、この場合には位置合わせ処理の回数が増大するため、処理効率の点では前処理として行う方がより好ましい。
【0145】
また、上記実施形態は、クライアント/サーバ型のシステムであるが、一台のコンピュータが、ボリュームデータ記憶手段、ボリュームデータ選出手段、画像生成手段、画像ウィンドウ制御手段および表示制御手段としての機能を備えていてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
【0146】
このように、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変更を加えることができる。また、冠動脈に限らずあらゆる生体組織の診断支援に用いることができ、さらには、生体の診断支援に限らず、例えばCTスキャンにより機械等の劣化具合を定期的に診断するときにも、利用することができる。
【符号の説明】
【0147】
1 診断支援システム、32 モダリティ、5 大容量ストレージ、
9 カーソル、 10 ファイル、 71〜76 診断画面
F,F´,F1〜F3,F41,F42 ファイル
V,V´,V41,V42 ボリュームデータ

【特許請求の範囲】
【請求項1】
少なくとも一つの被検体を撮影日時を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶手段と、
前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、二つ以上選出するボリュームデータ選出手段と、
前記ボリュームデータ選出手段により選出されたボリュームデータごとに、前記指定された被検体を異なる観察形態で表す複数の観察用画像と、該各観察用画像に対応する複数のサムネイル画像とを生成し、生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける画像生成手段と、
アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する画像ウィンドウ制御手段と、
前記画像生成手段により生成された観察用画像の中から、指定された撮影日時を示す撮影日時データと関連づけられた観察用画像を選出して、前記各画像ウィンドウにそれぞれ表示するとともに、前記画像生成手段により生成されたサムネイル画像の中から、アクティブ状態の画像ウィンドウに表示されている観察用画像と前記観察形態が同じであるサムネイル画像を選出して、前記アクティブ状態の画像ウィンドウに表示する表示制御手段と、
を備えたことを特徴とする診断支援システム。
【請求項2】
前記アクティブ状態の画像ウィンドウに表示された観察用画像について、観察形態の変更を要求する操作が検出されたときに、
前記画像生成手段が、前記操作により指定された観察形態の観察用画像およびサムネイル画像を生成し、
前記表示制御手段が、生成された観察用画像の表示と、生成されたサムネイル画像の表示とを、更新することを特徴とする請求項1記載の診断支援システム。
【請求項3】
前記アクティブ状態の画像ウィンドウに表示されている観察用画像中に切り出し対象領域を指定する操作が検出されたときに、
前記画像生成手段が、前記切り出し対象領域に対応する領域を切り出した前記サムネイル画像を生成するものであり、
前記表示制御手段が、前記観察用画像に前記切り出し対象領域を識別可能な態様で表示するとともに、生成されたサムネイル画像に表示を更新することを特徴とする請求項2記載の診断支援システム。
【請求項4】
前記画像ウィンドウ制御手段が、一つの常時表示領域と少なくとも一つの一時表示領域とを有する画像ウィンドウを画面に複数配置し、前記各画像ウィンドウの前記一時表示領域が、当該画像ウィンドウがアクティブ状態のときのみ前記画面に現れるように前記各画像ウィンドウを制御し、
前記表示制御手段が、前記選出した観察用画像を、前記各画像ウィンドウの前記常時表示領域にそれぞれ表示し、前記選出したサムネイル画像を、前記アクティブ状態の画像ウィンドウの前記一時表示領域に表示することを特徴とする、請求項1から3のいずれか1項記載の診断支援システム。
【請求項5】
前記表示制御手段が、前記一時表示領域において前記サムネイル画像の指定を伴う第1の操作が検出されたときに、前記アクティブ状態の画像ウィンドウの常時表示領域の画像を、指定されたサムネイル画像に対応する観察用画像に置き換えることを特徴とする請求項4記載の診断支援システム。
【請求項6】
前記表示制御手段が、前記一時表示領域において前記サムネイル画像の指定を伴う第2の操作が検出されたときに、指定されたサムネイル画像を該サムネイル画像に対応する観察用画像に置き換えることを特徴とする請求項4または5記載の診断支援システム。
【請求項7】
前記画像ウィンドウ制御手段が、前記表示制御手段により選出された前記サムネイル画像の数に基づいて、前記一時表示領域を設定することを特徴とする請求項4から6のいずれか1項記載の診断支援システム。
【請求項8】
前記表示制御手段が、前記アクティブ状態の画像ウィンドウに表示されるサムネイル画像の数の最大値の設定を受け付け、設定された最大値の範囲内のサムネイル画像を表示することを特徴とする請求項1から7のいずれか1項記載の診断支援システム。
【請求項9】
前記表示制御手段が、前記選出されたサムネイル画像の数が前記最大値を超える場合、表示対象のサムネイル画像の選択を受け付け、選択されたサムネイル画像のみを表示することを特徴とする請求項8記載の診断支援システム。
【請求項10】
前記表示制御手段が、前記アクティブ状態の画像ウィンドウに表示されたサムネイル画像の各々の表示・非表示の設定操作を受け付け、表示と設定されたサムネイル画像のみを表示することを特徴とする請求項1から9のいずれか1項記載の診断支援システム。
【請求項11】
前記表示制御手段が、前記非表示と設定されたサムネイル画像が表示されていた位置を識別可能な態様で表示することを特徴とする請求項10記載の診断支援システム。
【請求項12】
前記表示制御手段が、前記観察用画像および/または前記サムネイル画像に対して、各画像に関連づけられた撮影日時データによる撮影日時の少なくとも一部を付加して、前記表示を行うことを特徴とする請求項1から11のいずれか1項記載の診断支援システム。
【請求項13】
前記表示制御手段が、ユーザによる所定の操作に応じて、前記アクティブ状態の画像ウィンドウに表示されたサムネイル画像に対応する観察用画像を、別の所定の画像ウィンドウに一覧表示することを特徴とする請求項1から12のいずれか1項記載の診断支援システム。
【請求項14】
前記ボリュームデータ選出手段が、選出対象のボリュームデータを絞り込むための所与の第1の絞り込み条件をさらに満たすボリュームデータを選出することを特徴とする請求項1から13のいずれか1項記載の診断支援システム。
【請求項15】
前記第1の絞り込み条件が、所与の期間内の撮影で取得されたボリュームデータに絞り込むという条件であり、
前記ボリュームデータ選出手段が、前記ボリュームデータに関連づけられた撮影日時データに基づいて、前記第1の絞り込み条件をさらに満たすボリュームデータを選出することを特徴とする請求項14記載の診断支援システム。
【請求項16】
前記記憶装置に記憶されたボリュームデータが、該ボリュームデータの取得を伴う個々の検査を識別する検査識別データとさらに関連づけられたものであり、
前記第1の絞り込み条件が、直近の所与の回数の検査で得られたボリュームデータに絞り込むという条件であり、
前記ボリュームデータ選出手段が、前記検査識別データに基づいて、前記第1の絞り込み条件をさらに満たすボリュームデータを選出することを特徴とする請求項14または15記載の診断支援システム。
【請求項17】
前記記憶装置に記憶されたボリュームデータが、該ボリュームデータの取得の際の検査または診断の結果を表すデータとさらに関連づけられたものであり、
前記第1の絞り込み条件が、前記検査または診断の結果が所与の内容であったときに得られたボリュームデータに絞り込むという条件であり、
前記ボリュームデータ選出手段が、前記結果データに基づいて、前記第1の絞り込み条件をさらに満たすボリュームデータを選出することを特徴とする請求項14から16のいずれか1項記載の診断支援システム。
【請求項18】
前記表示制御手段が、表示対象のサムネイル画像を絞り込むための所与の第2の絞り込み条件をさらに満たすサムネイル画像を選出して、前記アクティブ状態の画像ウィンドウに表示することを特徴とする請求項1から17のいずれか1項記載の診断支援システム。
【請求項19】
前記第2の絞り込み条件が、所与の期間内の撮影で取得されたサムネイル画像に絞り込むという条件であり、
前記表示制御手段が、前記サムネイル画像に関連づけられた撮影日時データに基づいて、前記第2の絞り込み条件をさらに満たすサムネイル画像の前記表示を行うことを特徴とする請求項18記載の診断支援システム。
【請求項20】
前記記憶装置に記憶されたボリュームデータが、該ボリュームデータの取得を伴う個々の検査を識別する検査識別データとさらに関連づけられたものであり、
前記画像生成手段が、前記生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた検査識別データを関連づけるものであり、
前記第2の絞り込み条件が、直近の所与の回数の検査で得られたボリュームデータから生成されたサムネイル画像に絞り込むという条件であり、
前記表示制御手段が、前記サムネイル画像に関連づけられた検査識別データに基づいて、前記第2の絞り込み条件をさらに満たすサムネイル画像の前記表示を行うことを特徴とする請求項18または19記載の診断支援システム。
【請求項21】
前記記憶装置に記憶されたボリュームデータが、該ボリュームデータの取得の際の検査または診断の結果を表すデータとさらに関連づけられたものであり、
前記画像生成手段が、前記生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた結果データを関連づけるものであり、
前記第2の絞り込み条件が、前記検査または診断の結果が所与の内容であったときに得られたボリュームデータから生成されたサムネイル画像に絞り込むという条件であり、
前記表示制御手段が、前記サムネイル画像に関連づけられた結果データに基づいて、前記第2の絞り込み条件をさらに満たすサムネイル画像の前記表示を行うことを特徴とする請求項18から20のいずれか1項記載の診断支援システム。
【請求項22】
前記画像生成手段が、前記各ボリュームデータから生成された観察用画像およびサムネイル画像中の被検体の位置が、該ボリュームデータ間で揃ったものとなるように、位置合わせ処理をさらに行うことを特徴とする請求項1から21のいずれか1項記載の診断支援システム。
【請求項23】
前記画像ウィンドウ制御手段が、ユーザの所定の操作に応じて、前記複数の画像ウィンドウのレイアウトの変更を行うことを特徴とする請求項1から20のいずれか1項記載の診断支援システム。
【請求項24】
一台または複数台のコンピュータを、
少なくとも一つの被検体を撮影日時を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶手段、
前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、二つ以上選出するボリュームデータ選出手段、
前記ボリュームデータ選出手段により選出されたボリュームデータごとに、前記指定された被検体を異なる観察形態で表す複数の観察用画像と、該各観察用画像に対応する複数のサムネイル画像とを生成し、生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける画像生成手段、
アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する画像ウィンドウ制御手段、および
前記画像生成手段により生成された観察用画像の中から、指定された撮影日時を示す撮影日時データと関連づけられた観察用画像を選出して、前記各画像ウィンドウにそれぞれ表示するとともに、前記画像生成手段により生成されたサムネイル画像の中から、アクティブ状態の画像ウィンドウに表示されている観察用画像と前記観察形態が同じであるサムネイル画像を選出して、前記アクティブ状態の画像ウィンドウに表示する表示制御手段、
として機能させることを特徴とする診断支援プログラム。
【請求項25】
一台または複数台のコンピュータにより、
少なくとも一つの被検体を撮影日時を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶処理と、
前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、二つ以上選出するボリュームデータ選出処理と、
前記ボリュームデータ選出処理において選出されたボリュームデータごとに、前記指定された被検体を異なる観察形態で表す複数の観察用画像と、該各観察用画像に対応する複数のサムネイル画像とを生成し、生成した観察用画像およびサムネイル画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける画像生成処理と、
アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する画像ウィンドウ制御処理と、
前記画像生成処理において生成された観察用画像の中から、指定された撮影日時を示す撮影日時データと関連づけられた観察用画像を選出して、前記各画像ウィンドウにそれぞれ表示するとともに、前記画像生成処理において生成されたサムネイル画像の中から、アクティブ状態の画像ウィンドウに表示されている観察用画像と前記観察形態が同じであるサムネイル画像を選出して、前記アクティブ状態の画像ウィンドウに表示する表示制御処理と、
を実行することを特徴とする診断支援方法。

【図1】
image rotate

【図2A】
image rotate

【図2C】
image rotate

【図2D】
image rotate

【図2E】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図2B】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図4C】
image rotate


【公開番号】特開2011−83591(P2011−83591A)
【公開日】平成23年4月28日(2011.4.28)
【国際特許分類】
【出願番号】特願2010−84280(P2010−84280)
【出願日】平成22年3月31日(2010.3.31)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100124213
【弁理士】
【氏名又は名称】尾原 和貴
【復代理人】
【識別番号】100118614
【弁理士】
【氏名又は名称】重松 万里
【Fターム(参考)】