説明

立体視画像表示装置および立体視画像表示方法

【課題】観察者に負担をかけることなく、観察者の意図する異常陰影候補の位置に立体カーソルを精度良く移動させることができるようにする。
【解決手段】撮影方向毎の放射線画像の各々から異常陰影候補を検出し、検出された異常陰影候補の位置を立体視画像と共に表示部に表示し、観察者の注視点を検出し、検出された注視点が前記異常陰影候補の位置から予め定められた所定の範囲内に位置したとき異常陰影候補の位置に立体カーソルを移動させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、互いに異なる2つの撮影方向から放射線を被写体へ照射して撮影方向毎の放射線画像を検出し、その検出した2つの放射線画像を用いて立体視画像を表示する立体視画像表示装置及び立体視画像表示方法に関するものである。
【背景技術】
【0002】
従来、複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視できる画像(以下、立体視画像またはステレオ画像という)は、同一の被写体を異なる方向から撮影して取得された互いに視差のある複数の画像に基づいて生成されており、このような立体視画像の生成は、デジタルカメラやテレビなどの分野だけでなく、放射線画像撮影の分野においても利用されている。すなわち、被検者に対して互いに異なる方向から放射線を照射し、その被検者を透過した放射線を放射線画像検出器によりそれぞれ検出して互いに視差のある複数の放射線画像を取得し、これらの放射線画像に基づいて立体視画像を生成することが行われており、このように立体視画像を生成することによって観察者は奥行感のある放射線画像を観察することができて、より診断に適した放射線画像を観察することができる。
【0003】
そして上述したような立体視画像を表示する立体視画像表示装置においては、2次元の放射線画像を表示する装置と同様に、計算機処理を用いて異常陰影の濃度分布の特徴や形態的な特徴に基づいて異常陰影候補を自動的に検出するようにした計算機支援画像診断(CAD;computer aided diagnosis)を使用して放射線画像における異常陰影候補を検出し、検出された異常陰影候補の位置を示す検出結果を表示部に立体視可能に表示している。
【0004】
また医療画像の読影においては、画像に含まれる異常陰影の鑑別は、同一の患者について過去に取得した画像を用いて異常陰影候補の変遷を比較することにより、精度良く診断を行うことができること等から、現在の画像上において異常陰影候補を指定すると、その異常陰影候補の領域に対応する部分画像を抽出するとともに、同一患者の過去画像において対応する領域の現在の画像との差分画像を抽出し、抽出した2つの画像を並べて表示することにより、診断を効率よく行う手法が提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−329742号公報
【特許文献2】特開平4−354015号公報
【特許文献3】特開平5−298015号公報
【特許文献4】特開平10−276987号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、立体視画像表示装置では、特に放射線画像のような透視画像においては、奥行方向に重なり合う被写体画像中に異常陰影候補を指定するための立体カーソルが表示されるため、立体カーソルを立体的に認識し、立体カーソルの奥行方向の位置を認識することは極めて困難であり、観察者が立体カーソルを意図する異常陰影候補の位置に精度良く合わせるのは困難である。
【0007】
特許文献2や特許文献3には、観察者がカーソルを意図する位置に移動させるために観察者の視線を検出し、この視線の情報をもとにディスプレイ上のカーソルの位置制御を行うことが記載されているが、上述したような放射線画像における立体カーソルの奥行方向の位置の認識が困難であるという問題点については何も開示されていない。特許文献4には精度良く3次元的な視線位置の検出を行う方法について開示されているだけで、立体カーソルについては何も開示されていない。
【0008】
本発明は上記事情に鑑みてなされたものであり、観察者に負担をかけることなく、観察者の意図する異常陰影候補の位置に立体カーソルを精度良く移動させることができる立体視画像表示装置及び立体視画像表示方法を提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明の第1の立体視画像表示装置は、互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出する異常陰影候補検出部と、
該異常陰影候補検出部により検出された異常陰影候補の位置を前記立体視画像と共に前記表示部に表示させる異常陰影候補表示制御部と、
観察者の注視点を検出する注視点検出部と、
前記表示部に前記異常陰影候補の位置が表示されたときに、前記注視点検出部により検出された注視点が前記異常陰影候補の位置から予め定められた所定の範囲内に位置したとき前記異常陰影候補の位置に前記立体カーソルを移動させる立体カーソル位置制御部とを備えていることを特徴とするものである。
【0010】
なお本発明の第1の立体視画像表示装置は、前記異常陰影候補検出部により複数の前記異常陰影候補が検出されたときに、
前記立体カーソル位置制御部が、前記注視点から最も近い前記異常陰影候補の位置に前記立体カーソルを移動させるものであってもよい。
【0011】
また本発明の第1の立体視画像表示装置は、前記注視点検出部により検出された注視点の軌跡を前記表示部に表示させる軌跡表示制御部を備えていてもよい。
【0012】
また本発明の第1の立体視画像表示装置は、前記異常陰影候補検出部により複数の前記異常陰影候補が検出されたときに、
前記異常陰影候補表示制御部が、前記注視点から最も近い前記異常陰影候補の位置の表示態様を変更して前記表示部に表示するものであってもよい。
【0013】
本発明の第2の立体視画像表示装置は、互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
該立体カーソルの移動指示を入力する入力部と、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出する異常陰影候補検出部と、
観察者の注視点を検出する注視点検出部と、
該注視点検出部により検出された注視点の軌跡を前記表示部に表示させる軌跡表示制御部と、
該視点軌跡表示制御部により表示された前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置するときに、該位置する異常陰影候補の位置を前記立体視画像と共に前記表示部に表示させる異常陰影候補表示制御部とを備えていることを特徴とするものである。
【0014】
なお本発明の第2の立体視画像表示装置は、前記異常陰影候補表示制御部が、前記異常陰影候補検出部により検出された異常陰影候補の位置を全て前記表示部に表示すると共に前記軌跡から予め定められた所定の範囲内の前記異常陰影候補の位置のみ表示態様を変更して前記表示部に表示するものであってもよい。
【0015】
また本発明の第2の立体視画像表示装置は、前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置したときに、前記所定の範囲内の前記異常陰影候補の位置に前記立体カーソルを移動させる立体カーソル位置制御部を備えていてもよい。
【0016】
本発明の第1の立体視画像表示方法は、互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部とを備えた立体視画像表示装置における立体視画像表示方法において、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出し、
該検出された異常陰影候補の位置を前記立体視画像と共に前記表示部に表示し、
観察者の注視点を検出し、
該検出された注視点が前記異常陰影候補の位置から予め定められた所定の範囲内に位置したとき前記異常陰影候補の位置に前記立体カーソルを移動させることを特徴とする。
【0017】
なお本発明の第1の立体視画像表示方法は、前記異常陰影候補が複数検出されたときに、
前記注視点から最も近い前記異常陰影候補の位置に前記立体カーソルを移動させてもよい。
【0018】
また本発明の第1の立体視画像表示方法は、前記注視点の軌跡を前記表示部に表示させてもよい。
【0019】
また本発明の第1の立体視画像表示方法は、前記異常陰影候補が複数検出されたときに、
前記注視点から最も近い前記異常陰影候補の位置の表示態様を変更して前記表示部に表示してもよい。
【0020】
本発明の第2の立体視画像表示方法は、互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
該立体カーソルの移動指示を入力する入力部とを備えた立体視画像表示装置における立体視画像表示方法において、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出し、
観察者の注視点を検出し、
該検出された注視点の軌跡を前記表示部に表示し、
該表示された前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置するときに、該位置する異常陰影候補の位置を前記立体視画像と共に前記表示部に表示することを特徴とする。
【0021】
なお本発明の第2の立体視画像表示方法は、検出された前記異常陰影候補の位置を全て前記表示部に表示すると共に前記軌跡から予め定められた所定の範囲内の前記異常陰影候補の位置のみ表示態様を変更して前記表示部に表示してもよい。
【0022】
また本発明の第2の立体視画像表示方法は、前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置したときに、前記所定の範囲内の前記異常陰影候補の位置に前記立体カーソルを移動させてもよい。
【発明の効果】
【0023】
本発明の第1の立体視画像表示装置及び立体視画像表示方法によれば、撮影方向毎の放射線画像の各々から異常陰影候補を検出し、検出された異常陰影候補の位置を立体視画像と共に表示部に表示し、観察者の注視点を検出し、検出された注視点が異常陰影候補の位置から予め定められた所定の範囲内に位置したとき異常陰影候補の位置に立体カーソルを移動させるようにしたので、観察者が立体カーソルの奥行方向の位置を認識することが困難であっても観察者が意図する異常陰影候補を注視するだけで、観察者に負担をかけることなく、観察者の意図する異常陰影候補の位置に立体カーソルを精度良く移動させることができる。
【0024】
また本発明の第2の立体視画像表示装置及び立体視画像表示方法によれば、撮影方向毎の放射線画像の各々から異常陰影候補を検出し、観察者の注視点を検出し、検出された注視点の軌跡を表示部に表示し、表示された軌跡から予め定められた所定の範囲内に異常陰影候補が位置するときに、該位置する異常陰影候補の位置を立体視画像と共に表示部に表示するようにしたので、観察者は自分が注視した先に存在する異常陰影候補の位置を認識することができて、観察者が自分の意図する異常陰影候補の位置に立体カーソルを移動し易くすることができる。
【図面の簡単な説明】
【0025】
【図1】本発明の立体視画像表示装置の一実施形態を用いた乳房画像撮影表示システムの概略構成図
【図2】図1に示す乳房画像撮影表示システムのアーム部を図1の右方向から見た図
【図3】図1に示す乳房画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図
【図4】図3に示す乳房画像撮影表示システムの作用を説明するためのフローチャート
【図5】右目用放射線画像と左目用放射線画像とにおける異常陰影候補A1,A2と、右目用マーカー画像M1及び左目用マーカー画像M2と、右目用立体カーソル画像C及び左目用立体カーソル画像Cの一例を模式的に示した図
【図6】異常陰影候補を含む乳房のステレオ画像とマーカー画像と立体カーソルの一例を模式的に示す図
【図7】観察者の注視点の検出方法を説明するための説明図
【図8】右目用放射線画像と左目用放射線画像とにおける異常陰影候補A1,A2と、右目用マーカー画像M1及び左目用マーカー画像M2と、移動後の右目用立体カーソル画像C及び左目用立体カーソル画像Cの一例を模式的に示した図
【図9】異常陰影候補を含む乳房のステレオ画像とマーカー画像と移動後の立体カーソルの一例を模式的に示す図
【図10】異常陰影候補を含む乳房のステレオ画像とマーカー画像の他の一例を模式的に示す図
【図11】異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の一例を模式的に示す図
【図12】図1に示す乳房画像撮影表示システムのコンピュータ内部の他の概略構成を示すブロック図
【図13】図12に示す乳房画像撮影表示システムの作用を説明するためのフローチャート
【図14】異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の一例を模式的に示す図
【図15】異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の他の一例を模式的に示す図
【発明を実施するための形態】
【0026】
以下、図面を参照して本発明の立体視画像表示装置の一実施形態を用いた乳房画像撮影表示システムについて説明する。図1は、本実施形態の乳房画像撮影表示システム全体の概略構成を示す図である。
【0027】
本実施形態の乳房画像撮影表示システム1は、図1に示すように、乳房画像撮影装置10と、乳房画像撮影装置10に接続されたコンピュータ2と、コンピュータ2に接続されたモニタ3および入力部4とを備えている。
【0028】
そして、乳房画像撮影装置10は、図1に示すように、基台11と、基台11に対し上下方向(Z方向)に移動可能であり、かつ回転可能な回転軸12と、回転軸12により基台11と連結されたアーム部13を備えている。なお、図2には、図1の右方向から見たアーム部13を示している。
【0029】
アーム部13はアルファベットのCの形をしており、その一端には撮影台14が、その他端には撮影台14と対向するように放射線照射部16が取り付けられている。アーム部13の回転および上下方向の移動は、基台11に組み込まれたアームコントローラ31により制御される。
【0030】
撮影台14の内部には、フラットパネルディテクタ等の放射線画像検出器15と、放射線画像検出器15からの電荷信号の読み出しなどを制御する検出器コントローラ33が備えられている。
【0031】
また、撮影台14の内部には、放射線画像検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプや、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路や、電圧信号をデジタル信号に変換するAD変換部などが設けられた回路基板なども設置されている。
【0032】
また、撮影台14はアーム部13に対し回転可能に構成されており、基台11に対してアーム部13が回転したときでも、撮影台14の向きは基台11に対し固定された向きとすることができる。
【0033】
放射線画像検出器15は、放射線画像の記録と読出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線画像検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線画像検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(thin film transistor)スイッチをオン・オフされることによって放射線画像信号が読み出される、いわゆるTFT読出方式のものや、読取光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
【0034】
放射線照射部16の中には放射線源17と、放射線源コントローラ32が収納されている。放射線源コントローラ32は、放射線源17から放射線を照射するタイミングと、放射線源17における放射線発生条件(管電圧、管電流時間積等)を制御するものである。
【0035】
また、アーム部13の中央部には、撮影台14の上方に配置されて乳房を押さえつけて圧迫する圧迫板18と、その圧迫板18を支持する支持部20と、支持部20を上下方向(Z方向)に移動させる移動機構19が設けられている。圧迫板18の位置、圧迫圧は、圧迫板コントローラ34により制御される。
【0036】
コンピュータ2は、中央処理装置(CPU)および半導体メモリやハードディスクやSSD等のストレージデバイスなどを備えており、これらのハードウェアによって、図3に示すような制御部8a、放射線画像記憶部8b、異常陰影候補検出部8c、マーカー画像生成部8d、注視点検出部8e、立体カーソル移動制御部8f、立体カーソル表示制御部8gおよび表示制御部8hが構成されている。
【0037】
なお図3は図1に示す乳房画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図であり、図4は図3に示す乳房画像撮影表示システムの作用を説明するためのフローチャート、図5は、右目用放射線画像と左目用放射線画像とにおける異常陰影A1,A2と、右目用マーカー画像M1及び左目用マーカー画像M2と、右目用立体カーソル画像C及び左目用立体カーソル画像Cの一例を模式的に示した図、図6は異常陰影を含む乳房のステレオ画像とマーカー画像と立体カーソルの一例を模式的に示す図、図7は観察者の注視点の検出方法を説明するための説明図である。
【0038】
制御部8aは、各種のコントローラ31〜35に対して所定の制御信号を出力し、システム全体の制御を行うものである。具体的な制御方法については後で詳述する。
【0039】
放射線画像記憶部8bは、互いに異なる2つの撮影方向からの撮影によって放射線画像検出器15によって検出された2枚の放射線画像信号を予め記憶するものである。
【0040】
異常陰影候補検出部8cは、放射線画像記憶部8bに記憶された2枚の放射線画像信号が入力され、その2枚の放射線画像信号に対して異常陰影候補を検出するための異常陰影候補検出処理を施すものである。本実施形態においては異常陰影候補として石灰化や腫瘤などの可能性のある領域を検出する。異常陰影候補の検出方法については、異常陰影の濃度分布の特徴や形態的な特徴に基づいて検出するようにすればよく、具体的には、主として腫瘤陰影を検出するのに適したアイリスフィルタ処理や、主として微小石灰化陰影を検出するのに適したモフォロジーフィルタ処理等を利用して異常陰影候補を検出するようにすればよい。異常陰影候補検出部8cにおける異常陰影候補の検出結果はマーカー画像生成部8dに出力される。
【0041】
マーカー画像生成部8dは、異常陰影候補検出部8cから出力された検出結果に基づいて、図5に示すように右目用放射線画像と左目用放射線画像とでそれぞれ検出された異常陰影候補A1,A2の位置情報に基づいて、異常陰影候補A1,A2を囲むような右目用マーカー画像M1と左目用マーカー画像M2を生成するものである。なお、図5に示す異常陰影候補A1と異常陰影候補A2とは同一の異常陰影候補を表すものとする。これらのマーカー画像M1,M2は、モニタ3に表示されることによって図6に示すように観察者が立体視可能な立体視マーカー画像M3を構成している。
【0042】
具体的には、たとえば、立方体や直方体などのボックス形状のものや、ワイヤーフレームや、バルーンなどが立体視マーカー画像として表示されるように右目用マーカー画像と左目用マーカー画像とが生成される。本実施形態においては、右目用マーカー画像M1と左目用マーカー画像M2は異常陰影候補A1,A2を囲む立方体形状としたため、立体視マーカー画像M3は図6に示すように異常陰影候補A3を囲む立方体となる。なお図6に示す異常陰影候補A3は図5に示す異常陰影候補A1,A2とは同一の異常陰影候補を表すものとする。
【0043】
マーカー画像生成部8dにおいて生成された右目用マーカー画像M1と左目用マーカー画像M2とは表示制御部8hに出力される。モニタ3の観察者はこの立体視マーカー画像M3を見ることにより異常陰影候補の位置を確認することができる。なお本実施形態においては異常陰影候補の位置を、異常陰影候補を囲み、かつモニタ3に表示されることによって立体視される立体視マーカー画像で表示するようにしたが、本発明はこれに限られるものではなく、異常陰影候補の奥行方向を含む位置が表示できれば、例えば異常陰影候補の領域の中心に立方体や直方体等のボックス形状のものや、ワイヤーフレームや、バルーン等が立体視マーカー画像として表示されるようにしてもよい。
【0044】
注視点検出部8eは、観察者の注視点位置を検出するものであり、第一のカメラ部41と第二のカメラ部42により撮像された観察者Pの顔画像の撮像信号に基づいて注視点を検出する。第一のカメラ部41と第二のカメラ部42は、図7に示すように、それぞれカメラ41a,42aと、レンズ41b,42bと光源41c,42cとを備え、観察者Pの眼球E,Eに光源41c,42cから光を照射したときに黒眼の中に生じる虚像である角膜反射像を眼球の特徴点として採用し、瞳孔中心と角膜反射像の位置から眼球中心の位置を算出して、求められた眼球中心と瞳孔中心により視線方向を検出する。このようにして観察者の左右の眼球E,Eの視線方向を検出し、左右の視線方向の交点を求めることで観察者の注視点Gの位置を検出する。なお注視点位置の検出方法については、例えば特許第2739331号公報や特開2005−198743号方向等に記載されている公知の技術を使用することができる。
【0045】
立体カーソル移動制御部8fは、モニタ3に異常陰影候補の位置すなわち立体視マーカー画像M3が表示されたときに、注視点検出部8eによって検出された観察者の注視点が、立体視マーカー画像M3から予め定められた所定の範囲内に位置したときに異常陰影候補の位置すなわち立体視マーカー画像M3上に後述する立体カーソルを移動させるものである。
【0046】
なお立体カーソル移動制御部8fは、観察者による入力部4からの入力に応じてモニタ3に表示された立体カーソルをステレオ画像の奥行方向および面内方向に移動させることもできる。ここで面内方向とは、奥行方向に対して直交する面内の方向のことをいう。奥行方向をZ方向とした場合、そのZ方向に直交するX−Y面内の方向のことをいう。
【0047】
具体的には、立体カーソル移動制御部8fは、入力部4からの入力に応じて右目用カーソル画像信号と左目用カーソル画像信号との相対的な左右のシフト量を変更することによって立体カーソルを奥行方向に移動させる。また、立体カーソル移動制御部8fは、入力部4からの入力に応じて右目用カーソル画像信号と左目用カーソル画像信号との相対的な左右のシフト量を維持した状態で、これらの表示位置を左右方向および上下方向に変更することによって立体カーソルを面内方向に移動させる。
【0048】
立体カーソル表示制御部51は、図5に示すように立体カーソルを構成する右目用カーソル画像信号Cと左目用カーソル画像信号Cとを生成し、これらをたとえばモニタ3の2つのモニタにそれぞれ表示させることによって図6に示すように立体視可能な立体カーソルCを表示させるものである。これらの右目用カーソル画像信号Cと左目用カーソル画像信号Cとは左右方向に相対的なシフト量をもつように生成されている。本実施形態において立体カーソルCは図6に示すように立方体で構成されるため、この立体カーソルCを構成する右目用カーソル画像信号Cと左目用カーソル画像信号Cは図5に示すように立方体形状とする。
【0049】
表示制御部8hは、放射線画像記憶部8bから読み出された2枚の放射線画像信号に対して所定の処理を施した後、モニタ3に乳房Mの通常撮影のステレオ画像を表示させるものである。また上記2枚の放射線画像信号とともにマーカー画像生成部8dにおいて生成された右目用マーカー画像M1と左目用マーカー画像M2の画像信号に対して所定の処理を施した後、モニタ3に乳房Mのステレオ画像と共に立体視マーカー画像M3を表示させるマーカー画像表示制御部すなわち異常陰影候補表示制御部としても機能する。
【0050】
入力部4は、観察者による撮影条件や観察条件などの入力や操作指示の入力などを受け付けるものであり、たとえば、キーボードやマウスなどの入力デバイスによって構成されるものである。本実施形態においては、立体カーソルCの奥行方向の位置を移動させるものとして、回転ホイールを備えた一般的なホイールマウスが用いられる。回転ホイールを観察者が回転させることによって立体カーソルCの奥行方向の位置を変更することができる。
【0051】
モニタ3は、ステレオ画像の撮影時においては、コンピュータ2から出力された2つの放射線画像信号を用いてステレオ画像を表示可能なように構成されたものである。ステレオ画像を表示する構成としては、たとえば、2つの画面を用いて2つの放射線画像信号に基づく放射線画像をそれぞれ表示させて、これらをハーフミラーや偏光グラスなどを用いることで一方の放射線画像は観察者の右目に入射させ、他方の放射線画像は観察者の左目に入射させることによってステレオ画像を表示する構成を採用することができる。または、たとえば、2つの放射線画像を所定の視差量だけずらして重ね合わせて表示し、これを偏光グラスで観察することでステレオ画像を生成する構成としてもよいし、もしくはパララックスバリア方式およびレンチキュラー方式のように、2つの放射線画像を立体視可能な3D液晶に表示することによってステレオ画像を生成する構成としてもよい。
【0052】
次に、本実施形態の乳房画像撮影表示システムの作用について説明する、図4に示すフローチャートを参照しながら説明する。なお図8に右目用放射線画像と左目用放射線画像とにおける異常陰影候補A1,A2と、右目用マーカー画像M1及び左目用マーカー画像M2と、移動後の右目用立体カーソル画像C及び左目用立体カーソル画像Cの一例を模式的に示した図、図9に異常陰影候補を含む乳房のステレオ画像とマーカー画像と移動後の立体カーソルの一例を模式的に示す図、図10に異常陰影候補を含む乳房のステレオ画像とマーカー画像の他の一例を模式的に示す図、図11に異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の一例を模式的に示す図をそれぞれ示す。
【0053】
図4に示すように、まず、撮影台14の上に患者の乳房Mが設置され、圧迫板18により乳房Mが所定の圧力によって圧迫される(S10)。
【0054】
次に、入力部4おいて、撮影者によって種々の撮影条件が入力された後、撮影開始の指示が入力される(S11)。
【0055】
そして、入力部4において撮影開始の指示があると、乳房Mのステレオ画像を構成する2枚の放射線画像のうちの1枚目の放射線画像の撮影が行われる(S12)。
【0056】
具体的には、まず、制御部8aが、予め設定されたステレオ画像の撮影のための輻輳角θを読み出し、その読み出した輻輳角θの情報をアームコントローラ31に出力する。なお、本実施形態においては、このときの輻輳角θの情報としてθ=±2°が予め記憶されているものとするが、これに限らず、撮影者によって入力部4において任意の輻輳角を設定可能である。
【0057】
そして、アームコントローラ31において、制御部8aから出力された輻輳角θの情報が受け付けられ、アームコントローラ31は、この輻輳角θの情報に基づいて、図2に示すように、アーム部13が撮影台14に垂直な方向に対して+θ°回転するよう制御信号を出力する。すなわち、本実施形態においては、アーム部13を撮影台14に垂直な方向に対して+2°回転するよう制御信号を出力する。
【0058】
そして、このアームコントローラ31から出力された制御信号に応じてアーム部13が、+2°だけ回転した状態において、制御部8aは、放射線源コントローラ32および検出器コントローラ33に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源17から放射線が射出され、乳房を+2°方向から撮影した放射線画像が放射線画像検出器15によって検出され、検出器コントローラ33によって放射線画像信号が読み出され、その放射線画像信号に対して所定の信号処理が施された後、コンピュータ2の放射線画像記憶部8bに記憶される。
【0059】
次に、乳房Mのステレオ画像を構成する2枚の放射線画像のうちの2枚目の放射線画像の撮影が行われる(S13)。具体的には、アームコントローラ31が、図2に示すように、アーム部13を撮影台14に垂直な方向に対して−θ°回転するよう制御信号を出力する。すなわち、本実施形態においては、アーム部13を撮影台14に垂直な方向に対して−2°回転するよう制御信号を出力する。
【0060】
そして、このアームコントローラ31から出力された制御信号に応じてアーム部13が−2°だけ回転した状態において、制御部8aは、放射線源コントローラ32および検出器コントローラ33に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源17から放射線が射出され、乳房を−2°方向から撮影した放射線画像が放射線画像検出器15によって検出され、検出器コントローラ33によって放射線画像信号が読み出され、所定の信号処理が施された後、コンピュータ2の放射線画像記憶部8bに記憶される。
【0061】
次に、上述したようにして放射線画像記憶部8bに記憶された2枚の放射線画像信号は、異常陰影候補検出部8cに入力され、異常陰影候補検出部8cにおいて異常陰影候補検出処理が施されて放射線画像信号内の異常陰影候補が検出され(S14)、その検出された異常陰影候補の位置情報がマーカー画像生成部8dに入力される。
【0062】
そして、マーカー画像生成部8dは、異常陰影候補検出部8cから出力された異常陰影候補の位置情報に基づいて、図5に示すように異常陰影候補A1,A2を囲むような右目用マーカー画像M1と左目用マーカー画像M2とをそれぞれ生成する(S15)。
【0063】
そして、放射線画像記憶部8bに記憶された2枚の放射線画像の画像信号とマーカー画像生成部8dによって生成された右目用マーカー画像M1と左目用マーカー画像M2の画像信号、及び立体カーソル表示制御部51によって予め生成されている右目用カーソル画像Cと左目用カーソル画像Cの画像信号が表示制御部8fに入力され、これらの信号に対して所定の処理が施された後、モニタ3に出力され、モニタ3において、図6に示すように乳房のステレオ画像と立体視マーカー画像M3と立体カーソルCが表示される(S16)。なおここでの立体カーソルCの表示位置は、観察者による入力部4からの入力に応じて決定される。
【0064】
図6に示すように特に放射線画像のような透視画像においては、奥行方向に重なり合う被写体画像中に異常陰影候補A3を指定するための立体カーソルCが表示されるため、立体カーソルCを立体的に認識し、立体カーソルCの奥行方向の位置を認識することは極めて困難であり、観察者が入力部4によって立体カーソルCを意図する異常陰影候補の位置すなわち立体視マーカー画像M3に精度良く合わせるのは困難である。
【0065】
そこで本実施形態では、次に注視点検出部8eが上述したようにして右目の注視点と左目の注視点の交点から、観察者の注視点の位置を検出し(S17)、立体カーソル移動制御部8fが検出された注視点が異常陰影候補の位置から所定範囲内に位置しているか否かを判別する(S18)。注視点が異常陰影候補の位置から所定範囲内に位置しているか否かの判別は、異常陰影候補の位置を、右目用放射線画像の異常陰影候補と観察者の右目の注視点とを結んだ線分と、左目用放射線画像の異常陰影候補と左目の注視点とを結んだ線分との交点とし、観察者の注視点の位置がこの交点から所定範囲内にあるか否かを判別することにより行う。なお所定範囲は、予め観察者が入力部4によって任意の値を設定することができるものとするが、本実施形態においては立体視マーカー画像M3の領域内を設定する。
【0066】
また注視点が異常陰影候補の位置から所定範囲内に位置しているか否かを判別する他の方法としては、右目の注視点が右目用放射線画像の異常陰影候補の位置から所定範囲内にあり、かつ左目の注視点も左目用放射線画像の異常陰影候補の位置から所定範囲内にあるか否かを判定するようにしてもよい。この方法では、空間的な判定距離は異常陰影候補から一定にはならないが、実用上は十分である。
【0067】
そして注視点が異常陰影候補から所定範囲内に位置していると判断された場合(S18;YES)は、立体カーソル移動制御部8fが、図9に示すように立体カーソルCを異常陰影候補の位置すなわち立体視マーカー画像M3上に立体カーソルCを移動させる(S19)。具体的には、立体カーソル移動制御部8fが立体カーソルCを移動させる信号を立体カーソル表示制御部8gに出力し、立体カーソル表示制御部51が、図8に示すように、立体カーソルCを構成する右目用カーソル画像Cと左目用カーソル画像Cが、それぞれ異常陰影候補A1,A2の位置すなわち右目用マーカー画像M1と左目用マーカー画像M2の領域内に位置するように画像信号を生成する。
【0068】
なお異常陰影候補検出部8cにより複数の異常陰影候補が検出され、図10に示すようにモニタ3に複数の異常陰影候補A3,A3’の位置すなわち立体視マーカー画像M3,M3’が表示されている場合には、観察者の注視点Gから最も近い異常陰影候補A3の位置すなわち立体視マーカー画像M3上に立体視カーソルCを移動させる。このとき観察者の注視点Gから最も近い立体視マーカー画像M3の表示態様を、例えば図15で示す立体視マーカー画像M13のように点線で示したり、点滅させたり等して変更してもよい。これにより、観察者は自分がどの異常陰影候補の位置すなわち立体視マーカー画像を注視しているのかを確認することができる。
【0069】
なお図3のコンピュータ2に図示しない軌跡表示制御部を備え、この軌跡表示制御部によって図11に示すように、注視点検出部8eにより検出された観察者の注視点の軌跡Sをモニタ3に表示させるようにしてもよい。これにより観察者は自分がモニタ3上のどの位置を注視したのかを確認することができる。
【0070】
次に表示制御部8hが、放射線画像記憶部8bに記憶された2枚の放射線画像の画像信号とマーカー画像生成部8dによって生成された右目用マーカー画像M1と左目用マーカー画像M2の画像信号、及び立体カーソル表示制御部51によって生成された立体カーソルCの移動後の右目用カーソル画像Cと左目用カーソル画像Cの画像信号に対して所定の処理を施してモニタ3に出力し、モニタ3において、図9に示すように乳房のステレオ画像と立体視マーカー画像M3と移動後の立体カーソルCが表示される(S20)。
【0071】
なお注視点が異常陰影候補から所定範囲内に位置していないと判断された場合(S18;NO)は、立体カーソル移動制御部8fによって注視点が異常陰影候補から所定範囲内に位置していると判断されるまでステップS17以降の処理を繰り返し行う。
【0072】
このように本実施形態の乳房画像撮影表示システム及び乳房画像表示システムにおける乳房画像撮影表示方法によれば、撮影方向毎の放射線画像の各々から異常陰影候補を検出し、検出された異常陰影候補の位置をステレオ画像と共にモニタ8に表示し、観察者の注視点を検出し、検出された注視点が異常陰影候補の位置から予め定められた所定の範囲内に位置したとき異常陰影候補の位置すなわち立体視マーカー画像の領域内に立体カーソルCを移動させるようにしたので、観察者が立体カーソルCの奥行方向の位置を認識することが困難であっても観察者が意図する異常陰影候補A3すなわち立体視マーカー画像M3を注視するだけで、観察者に負担をかけることなく、観察者の意図する異常陰影候補の位置に立体カーソルCを精度良く移動させることができる。
【0073】
次に本発明の立体視画像表示装置の第2の実施形態を用いた乳房画像撮影表示システムについて説明する。図12は本実施形態の乳房画像撮影表示システム全体の概略構成を示す図、図13は図12に示す乳房画像撮影表示システムの作用を説明するためのフローチャート、図14は異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の一例を模式的に示す図、図15は異常陰影候補を含む乳房のステレオ画像とマーカー画像と注視点の軌跡の他の一例を模式的に示す図である。
【0074】
なお本実施形態の乳房画像撮影表示システムは図1及び図2に示す上述した実施形態の乳房画像撮影表示システム1と同様の構成のため説明は省略する。また図12は、便宜上、上述した実施形態の図3と同様の箇所は同符号で示して説明を省略し、異なる箇所のみを詳細に説明するものとする。
【0075】
本実施形態の乳房画像撮影表示システムのコンピュータ2は、図12に示すように、図3のコンピュータ2の構成に加えて軌跡表示制御部8jを備えている。
【0076】
軌跡表示制御部8jは、注視点検出部8eにより検出された観察者の注視点の軌跡をモニタ3に表示させるものである。また本実施形態の立体カーソル移動制御部8f’は、上記実施形態の立体カーソル移動制御部8fとは立体視マーカー画像上に立体カーソルを自動的に移動させていない点が異なっており、本実施形態の立体カーソル移動制御部8f’は、観察者による入力部4からの入力に応じてモニタ3に表示された立体カーソルをステレオ画像の奥行方向および面内方向に移動させるものである。
【0077】
次に、本実施形態の乳房画像撮影表示システムの作用について図13に示すフローチャートを参照しながら以下に説明する。なお図13のステップS30〜ステップS37の処理は、図4のステップS10〜ステップS17の処理と同じ処理であるため、便宜上、説明は省略する。
【0078】
図13に示すように、ステップS37にて注視点検出部8eが観察者の注視点の検出を行うと(S37)、次に軌跡表示制御部8jが図14に示すように、検出された注視点の軌跡Sをモニタ2に表示する(S38)。軌跡Sは単純にそれぞれの注視点を、それぞれの放射線画像に描くようにすればよい。軌跡Sは、目の動きの高周波成分を除去してから描くようにすることが望ましい。また、予め設定した時間分だけの軌跡を描くようにすることが望ましい。
【0079】
そして軌跡表示制御部8jは、軌跡Sから所定範囲内に異常陰影候補が位置しているか否か、すなわち軌跡Sから所定範囲内に立体視マーカー画像が存在するか否かを判別し(S39)、存在している場合には(S39;YES)、図14に示すように、存在する立体視マーカー画像M10,M11,M12のみをモニタ2に表示するように画像信号を生成して、表示制御部8hへ出力し、表示制御部8hは図14に示すように乳房のステレオ画像と立体視マーカー画像M10,M11,M12と軌跡Sをモニタ2へ再表示させる(S40)。
【0080】
このとき図15に示すように、軌跡Sから所定範囲外の立体視マーカー画像M13を例えば点線等で表示させるようにしてもよい。
【0081】
なお異常陰影候補が軌跡Sから所定範囲内に位置していないと判断された場合(S39;NO)は、軌跡表示制御部8jによって異常陰影候補が軌跡Sから所定範囲内に位置していると判断されるまでステップS37以降の処理を繰り返し行う。
【0082】
このように本実施形態の乳房画像撮影表示システム及び乳房画像表示システムにおける乳房画像撮影表示方法によれば、撮影方向毎の放射線画像の各々から異常陰影候補を検出し、検出された異常陰影候補の位置をステレオ画像と共にモニタ8に表示し、観察者の注視点を検出し、検出された注視点の軌跡Sをモニタ2に表示し、表示された軌跡Sから予め定められた所定の範囲内に異常陰影候補が位置するとき、すなわち軌跡Sから所定範囲内に立体視マーカー画像が存在するときに、存在する立体視マーカー画像M10,M11,M12をステレオ画像と共にモニタ2に表示するようにしたので、観察者は自分が注視した先に存在する立体マーカー画像M10,M11,M12を認識することができて、観察者が入力部4から立体カーソルの移動量を入力することによって自分の意図する立体マーカー画像上に立体カーソルCを移動し易くすることができる。
【0083】
なお本実施形態では、観察者が入力部4から入力することによって軌跡Sから所定範囲内に存在する立体マーカー画像上に立体カーソルCを移動させるようにしたが、例えば立体カーソル移動制御部8f’が立体カーソルCを移動させるようにしてもよい。
【0084】
また上述した2つの実施形態は、本発明の立体視画像表示装置の一実施形態を乳房画像撮影表示システムに適用したものであるが、本発明の被写体としては乳房に限らず、たとえば、胸部や頭部などを撮影する放射線画像撮影表示システムにも本発明を適用することができる。
【符号の説明】
【0085】
1 乳房画像撮影表示システム
2 コンピュータ
3 モニタ
3a 表示面
4 入力部
8a 制御部
8b 放射線画像記憶部
8c 異常陰影候補検出部
8d マーカー画像生成部
8e 注視点検出部
8f,8f’立体カーソル移動制御部
8g 立体カーソル表示制御部
8h 表示制御部(異常陰影候補表示制御部)
8j 軌跡表示制御部
10 乳房画像撮影装置
13 アーム部
14 撮影台
15 放射線画像検出器
16 放射線照射部
17 放射線源
18 圧迫板
41 第一のカメラ部
42 第二のカメラ部

【特許請求の範囲】
【請求項1】
互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出する異常陰影候補検出部と、
該異常陰影候補検出部により検出された異常陰影候補の位置を前記立体視画像と共に前記表示部に表示させる異常陰影候補表示制御部と、
観察者の注視点を検出する注視点検出部と、
前記表示部に前記異常陰影候補の位置が表示されたときに、前記注視点検出部により検出された注視点が前記異常陰影候補の位置から予め定められた所定の範囲内に位置したとき前記異常陰影候補の位置に前記立体カーソルを移動させる立体カーソル位置制御部とを備えていることを特徴とする立体視画像表示装置。
【請求項2】
前記異常陰影候補検出部により複数の前記異常陰影候補が検出されたときに、
前記立体カーソル位置制御部が、前記注視点から最も近い前記異常陰影候補の位置に前記立体カーソルを移動させるものであることを特徴とする請求項1に記載の立体視画像表示装置。
【請求項3】
前記注視点検出部により検出された注視点の軌跡を前記表示部に表示させる軌跡表示制御部を備えていることを特徴とする請求項1又は2に記載の立体視画像表示装置。
【請求項4】
前記異常陰影候補検出部により複数の前記異常陰影候補が検出されたときに、
前記異常陰影候補表示制御部が、前記注視点から最も近い前記異常陰影候補の位置の表示態様を変更して前記表示部に表示するものであることを特徴とする請求項1〜4いずれか1項記載の立体視画像表示装置。
【請求項5】
互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
該立体カーソルの移動指示を入力する入力部と、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出する異常陰影候補検出部と、
観察者の注視点を検出する注視点検出部と、
該注視点検出部により検出された注視点の軌跡を前記表示部に表示させる軌跡表示制御部と、
該視点軌跡表示制御部により表示された前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置するときに、該位置する異常陰影候補の位置を前記立体視画像と共に前記表示部に表示させる異常陰影候補表示制御部とを備えていることを特徴とする立体視画像表示装置。
【請求項6】
前記異常陰影候補表示制御部が、前記異常陰影候補検出部により検出された異常陰影候補の位置を全て前記表示部に表示すると共に前記軌跡から予め定められた所定の範囲内の前記異常陰影候補の位置のみ表示態様を変更して前記表示部に表示するものであることを特徴とする請求項5に記載の立体視画像表示装置。
【請求項7】
前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置したときに、前記所定の範囲内の前記異常陰影候補の位置に前記立体カーソルを移動させる立体カーソル位置制御部を備えていることを特徴とする請求項5又は6記載の立体視画像表示装置。
【請求項8】
互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部とを備えた立体視画像表示装置における立体視画像表示方法において、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出し、
該検出された異常陰影候補の位置を前記立体視画像と共に前記表示部に表示し、
観察者の注視点を検出し、
該検出された注視点が前記異常陰影候補の位置から予め定められた所定の範囲内に位置したとき前記異常陰影候補の位置に前記立体カーソルを移動させることを特徴とする立体視画像表示方法。
【請求項9】
前記異常陰影候補が複数検出されたときに、
前記注視点から最も近い前記異常陰影候補の位置に前記立体カーソルを移動させることを特徴とする請求項8に記載の立体視画像表示方法。
【請求項10】
前記注視点の軌跡を前記表示部に表示させることを特徴とする請求項8又は9に記載の立体視画像表示方法。
【請求項11】
前記異常陰影候補が複数検出されたときに、
前記注視点から最も近い前記異常陰影候補の位置の表示態様を変更して前記表示部に表示することを特徴とする請求項8〜10いずれか1項記載の立体視画像表示方法。
【請求項12】
互いに異なる撮影方向から被写体へ放射線を照射することにより取得された前記撮影方向毎の放射線画像を用いて立体視可能な立体視画像を表示する表示部と、
該表示部に表示された前記立体視画像の奥行方向及び面内方向に移動可能な立体カーソルを前記表示部に表示させる立体カーソル表示制御部と、
該立体カーソルの移動指示を入力する入力部とを備えた立体視画像表示装置における立体視画像表示方法において、
前記撮影方向毎の放射線画像の各々から異常陰影候補を検出し、
観察者の注視点を検出し、
該検出された注視点の軌跡を前記表示部に表示し、
該表示された前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置するときに、該位置する異常陰影候補の位置を前記立体視画像と共に前記表示部に表示することを特徴とする立体視画像表示方法。
【請求項13】
検出された前記異常陰影候補の位置を全て前記表示部に表示すると共に前記軌跡から予め定められた所定の範囲内の前記異常陰影候補の位置のみ表示態様を変更して前記表示部に表示することを特徴とする請求項12に記載の立体視画像表示方法。
【請求項14】
前記軌跡から予め定められた所定の範囲内に前記異常陰影候補が位置したときに、前記所定の範囲内の前記異常陰影候補の位置に前記立体カーソルを移動させることを特徴とする請求項12又は13記載の立体視画像表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図12】
image rotate

【図13】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−95274(P2012−95274A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2011−176586(P2011−176586)
【出願日】平成23年8月12日(2011.8.12)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】