医用画像装置及び医用画像保管装置
【課題】読影医等が要求するフレームレートで動画像表示を行う医用画像装置及び医用画像保管装置を提供する。
【解決手段】実施形態に記載の医用画像装置は、医用画像利用装置及び医用画像保管装置を有する。医用画像利用装置は、医用画像撮影装置によって撮影された複数の医用画像を医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部、表示部に表示される複数の医用画像の1つに対して注目点を指定する指定部を有する。医用画像保管装置は、医用画像利用装置と医用画像保管装置とのデータ伝送速度を計測する伝送速度計測部、要求フレームレート、注目点及びデータ伝送速度から、複数の医用画像のそれぞれにおける注目点を含む領域を抽出する抽出部、抽出された領域の画像を表示部に送信する送信部を有する。表示部は抽出された領域の画像について要求フレームレートで動画像表示を行う。
【解決手段】実施形態に記載の医用画像装置は、医用画像利用装置及び医用画像保管装置を有する。医用画像利用装置は、医用画像撮影装置によって撮影された複数の医用画像を医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部、表示部に表示される複数の医用画像の1つに対して注目点を指定する指定部を有する。医用画像保管装置は、医用画像利用装置と医用画像保管装置とのデータ伝送速度を計測する伝送速度計測部、要求フレームレート、注目点及びデータ伝送速度から、複数の医用画像のそれぞれにおける注目点を含む領域を抽出する抽出部、抽出された領域の画像を表示部に送信する送信部を有する。表示部は抽出された領域の画像について要求フレームレートで動画像表示を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像装置及び医用画像保管装置に関する。
【背景技術】
【0002】
一般に、X線撮影装置、X線CT装置及びMRI(磁気共鳴イメージング)診断装置等の医用画像撮影装置によって撮影された画像は、病院内にある医用画像保管装置(サーバ)に記録される。当該画像は、読影医等の要求に基づき、病院内のサーバから有線LAN、無線LAN或いはインターネット等を介して院内、院外(医師の自宅等)の医用画像利用装置(ビューア)に表示される。
【0003】
一方、医用画像利用装置として、性能の低い簡易端末を用いる場合がある。また回線速度が低速度のネットワークを介して医用画像利用装置を利用する場合がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−12599号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
医用画像利用装置を使用する際、上記のような性能の低い端末を用いる場合や低回線速度のネットワークを使用する場合には、読影医等の望むフレームレート(単位時間当たりに何枚の画像更新がなされるかを表す指標)で画像を読影することが困難であった。
【0006】
実施形態では、上記課題を解決するために読影医等が要求するフレームレートで画像表示を行う構成を説明する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、実施形態に記載の医用画像装置は、医用画像利用装置及び医用画像保管装置を有する。また医用画像利用装置は、医用画像撮影装置によって撮影された複数の医用画像を医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部、表示部に表示される複数の医用画像の1つに対して注目点を指定する指定部を有する。また医用画像保管装置は、医用画像利用装置と医用画像保管装置との間におけるデータ伝送速度を計測する伝送速度計測部、要求フレームレート、注目点及びデータ伝送速度に基づいて、複数の医用画像のそれぞれにおける注目点を含む領域を抽出する抽出部、抽出部において抽出された領域の画像を表示部に送信する送信部を有する。また表示部は抽出部において抽出された領域の画像について要求フレームレートで動画像表示を行う。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態から第3の実施形態に係る医用画像装置を含む医用画像システムの外観図である。
【図2】第1の実施形態に係る各構成の関連を示すブロック図である。
【図3】第1の実施形態に係る処理の概要を示すフローチャートである。
【図4A】第1の実施形態に係るフローチャートの説明を補足する図である。
【図4B】第1の実施形態に係るフローチャートの説明を補足する図である。
【図5】第2の実施形態に係る各構成の関連を示すブロック図である。
【図6】第2の実施形態に係る処理の概要を示すフローチャートである。
【図7】第3の実施形態に係る処理の概要を示すフローチャートである。
【図8A】第4の実施形態の説明に用いるボリュームレンダリング画像の一例である。
【図8B】第4の実施形態の説明に用いるボリュームレンダリング画像の一例である。
【図9】第4の実施形態に係る各構成の関連を示すブロック図である。
【図10】第5の実施形態の説明に用いる画像の一例である。
【発明を実施するための形態】
【0009】
(装置構成)
まず、図1を用いて第1から第3の実施形態に共通する医用画像システム1の構成について説明する。
【0010】
図1に示す通り、病院2内には複数の検査室3が存在する。各検査室3内にはX線撮影装置、X線CT装置、MRI装置等の医用画像撮影装置4が配置されている。
【0011】
また病院2内には、医用画像撮影装置4で取得された医用画像を保管する医用画像保管装置5(以下「サーバ」という場合がある)が配置されている。
【0012】
また病院2内には、医用画像撮影装置4で得られた医用画像或いは医用画像保管装置5に保管された医用画像を表示することが可能な医用画像利用装置6が配置されている。
【0013】
これら病院2内にある各装置は、院内ネットワーク7を介して相互に通信可能となっている。各装置間の画像通信は、DICOM(Digital Imaging and Communication in Medicine)の規格に準拠している。なお、DICOMに限らず既成の標準規格を適用することも可能である。
【0014】
また病院2の外(例えば読影医の自宅)には、医用画像撮影装置4で得られた医用画像或いは医用画像保管装置5に保管された医用画像を表示することが可能な医用画像利用装置8が配置されている。医用画像利用装置8は、医用画像利用装置6に比べ処理速度が遅い等の性能が低い装置である場合が多い。
【0015】
これら院外にある医用画像利用装置8は、院外ネットワーク9を介して院内ネットワーク7上に接続された各装置と相互に通信可能となっている。院外ネットワーク9は院内ネットワーク7より回線速度が遅いネットワークである。
【0016】
上記検査室3、医用画像撮影装置4、医用画像保管装置5、医用画像利用装置6、8、院内ネットワーク7及び院外ネットワーク9により医用画像システム1が構築されている。
【0017】
なお、本明細書中では、医用画像保管装置5と、医用画像利用装置6及び/または医用画像利用装置8とを合わせて「医用画像装置」という場合がある。また、医用画像利用装置6及び/または医用画像利用装置8を「ビューア」という場合がある。
【0018】
(第1の実施形態)
図2から図4Bを用いて第1の実施形態に係る医用画像装置の構成について詳述する。
【0019】
図2は医用画像保管装置5と医用画像利用装置8からなる医用画像装置10の構成を示す図である。なお、医用画像利用装置6についても医用画像利用装置8と同様の構成を有する。
【0020】
(医用画像利用装置の構成)
医用画像利用装置8は、表示部11、受信部12、取得部13、指定部14、送信部15を有する。
【0021】
表示部11は、医用画像撮影装置4によって撮影された医用画像を表示する機能を有する。当該医用画像は、例えば医用画像保管装置5(後述する画像DB18)から受信部12を介して送信される。
【0022】
取得部13は、医用画像撮影装置4によって撮影された複数の医用画像を表示部11に動画表示する場合のフレームレートを取得する機能を有する。例えば図示しない入力手段を用いた、読影医による具体的な数値(例えば40fps)の入力に基づき、取得部13はフレームレートを取得する。当該取得されたフレームレートについては、以下「要求フレームレート」という場合がある。
【0023】
なお、本明細書中において「動画」とはcine表示(複数の静止画を1枚1枚切り換える表示方法)及びMPEG形式等で作成された動画ファイルに基づく表示等、複数の医用画像を順次提示する表示形態をいう。以下はcine表示形式の場合について説明を行う。
【0024】
指定部14は、表示部11に表示される複数の医用画像の1つに対して注目点を指定する機能を有する。注目点の指定は、表示部11上に表示された医用画像を読影医が観察し、注目すべき個所の位置情報を図示しない入力手段により入力することにより行われる。例えば、キーボード等の入力手段で医用画像における注目点のXY座標値を入力する。或いはマウス等の入力手段を操作し、医用画像上における注目点をポインタで特定し、その特定された位置の座標値を求めるようにしてもよい。
【0025】
取得部13で取得された要求フレームレート及び指定部14で指定された注目点の情報は、送信部15を介して医用画像保管装置5に送信される。
【0026】
本実施形態においては、指定部14により指定された注目点に関する情報(座標値)は医用画像保管装置5に送信されると共に、医用画像利用装置8内に設けられた図示しない記憶部に記憶される。当該情報は表示部11に医用画像を表示する際の位置調整等に利用される。なお、当該情報をサーバ側で管理する方式を用いることも可能である。
【0027】
(医用画像保管装置の構成)
医用画像保管装置5は、受信部16、伝送速度計測部17、画像DB(データベース)18、抽出部19、データ処理部20、送信部21、制御部22を有する。
【0028】
受信部16は、医用画像利用装置8の送信部15から送信された要求フレームレート及び注目点の情報を受信する。また受信部16は当該受信した情報を伝送速度計測部17及び抽出部19に送信する。
【0029】
伝送速度計測部17は、医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度を計測する機能を有している。当該データ伝送速度とは、後述する送信部21から受信部12へ医用画像を伝送するための速度をいう。伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合、データ伝送速度の計測を行う。当該計測についての詳細は後述する。計測されたデータ伝送速度は抽出部19に送信される。なおデータ伝送速度については、医用画像保管装置内の図示しない記憶部等に予め記録されている値を用いることでもよい。
【0030】
画像DB18は、医用画像撮影装置4で撮影された医用画像を保管する機能を有する。保管された医用画像は読影医からの入力指示により読みだされ、ビューア上の表示部11に表示される。或いは保管された医用画像は後述する抽出部19における抽出処理に利用される。
【0031】
抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度に基づいて、複数の医用画像を動画表示する際に要求フレームレートで画像更新を行う医用画像中における注目点を含む領域(以下、「抽出領域」という場合がある)を抽出する機能を有する。当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出部19における抽出処理の詳細は後述する。
【0032】
なお、抽出処理は、動画を構成する複数の画像全てに行う必要はない。例えば、医用画像利用装置8において、動画表示に使用する画像が指定された場合(例えば、撮影された画像が100枚ある場合に、その20枚〜50枚目までを指定)、抽出部19は、その指定された画像に対してのみ上記抽出処理を行うことも可能である。
【0033】
データ処理部20は、抽出部19で抽出された抽出領域の医用画像について、撮影時の解像度を保ったまま(高解像度)、送信部21を介して表示部11へ順次送る処理を行う。またデータ処理部20は、抽出領域以外の領域(以下、「抽出外領域」という場合がある)の医用画像については、抽出領域の画像更新に影響を与えない程度の低解像度(撮影時の解像度よりも低い解像度)に変換した後、送信部21を介して表示部11へ順次送る処理を行う。なお、データ処理部20は、表示部11へ医用画像を順次送る処理を行う場合、各医用画像の抽出領域と抽出外領域を関連付ける処理も行う。
【0034】
制御部22は、医用画像保管装置5の各部位の動作制御を行う。例えば、抽出部19において抽出された領域の画像を表示部11に送るよう送信部21の動作制御を行う。
【0035】
なお、医用画像としてMPEG等の動画ファイルを用いる場合、まず医用画像保管装置5内のメモリ(図示なし)に動画ファイルデータをロードし、動画表示する複数の画像に分割を行う。その後、抽出部19において当該分割された各画像に対して抽出処理を行うこととなる。
【0036】
次に図3から図4Bを用いて第1の実施形態に係る医用画像装置の動作を詳述する。
【0037】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が静止画として表示される(S10)。
【0038】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S11)。
【0039】
また、読影医はS10で表示された静止画を見ながら、図示しない入力手段等を介して、特に観察したい部分(注目点)を入力する。指定部14は、当該入力に基づき静止画における注目点を指定する(S12)。静止画内に注目点が指定された状態を図4Aに示す。表示部11に表示された静止画23には、被検体24の断層画像が描出されている。そしてその一部に指定部14が指定した注目点Iが表示されている。なお、S11とS12はいずれのステップが先に行われてもよい。
【0040】
次に伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合、画像DB18から動画を構成する複数の医用画像のいくつかを医用画像利用装置8に送信するよう制御部22に指示を行う。制御部22は当該指示に基づき送信部21に対して医用画像利用装置8へ医用画像を伝送させる制御を行う。そして伝送速度計測部17は、医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度(送信部21と受信部12の間のデータ伝送速度)を計測する動作を行う(S13)。計測されたデータ転送速度は抽出部19に送信される。
【0041】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度を受信すると、当該情報に基づいて複数の医用画像を動画表示する際に要求フレームレートで表示する領域を抽出する処理を開始する(S14)。
【0042】
ここで当該抽出処理について、例えば、32ビットカラーの画像データから正方形の領域を抽出する場合について説明を行う。ここで正方形1辺の長さをa(pixel)、要求フレームレートをF(fps)、データ伝送速度をB(bps)とすると以下の式(1)が成り立つ。
【0043】
[数1]
a2×32×F=B・・・(1)
【0044】
式(1)によると正方形1辺の長さaは√(B/32F)(pixel)となる。つまり医用画像を動画表示する際に要求フレームレートで画像更新を行う領域のサイズ(面積)は√(B/32F)×√(B/32F)となる。
【0045】
このサイズと注目点Iとの関係から、医用画像を動画表示する際に要求フレームレートで画像更新を行う医用画像中における注目点を含む領域の位置が決定される。例えば図4Aにおいて、注目点Iを中心として上下左右にa/2の範囲の正方形領域を決定することにより当該領域を抽出領域として抽出する。
【0046】
決定された正方形領域の一例を図4Bに示す。表示部11に表示された静止画23には、被検体24の断層画像が描出されている。そして指定部14により指定された注目点Iを中心とする領域Rが表示されている。なお、図4Bは説明のために便宜的に記載したものであって、実際には複数の医用画像のそれぞれから抽出された領域Rが要求フレームレートに応じて動画表示される。
【0047】
また、要求フレームレートで画像更新を行う領域におけるpixel数が同じであれば抽出される領域の形は正方形に限られない。
【0048】
当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S15)。なお制御部22において表示部11の制御を行うことで、要求フレームレートでの抽出領域の画像更新を行うことも可能である。
【0049】
以上の通り本実施形態によれば、抽出領域について要求フレームレートで高解像度の動画像を観察することが可能となる。つまり画像伝送する際に高解像度で伝送する画像を抽出領域のみに限定することにより、読影医の要求するフレームレートで注目点を含む抽出領域を動画表示することが可能となる。従って、性能の低い端末や低回線速度のネットワークを介する場合であってもスムーズな読影が可能となり診断支援に繋がる。
【0050】
(第2の実施形態)
次に図5と図6を用いて第2の実施形態に係る医用画像装置の構成について詳述する。なお、第1の実施形態と同じ構成については説明を省略する。
【0051】
第2の実施形態は、要求フレームレートで表示する領域を抽出する場合にデータ伝送速度ではなく実フレームレートを用いる点が第1の実施形態と異なる。
【0052】
そのため第2の実施形態においては、図5に示す通り、医用画像保管装置5内に実フレームレート計測部25が設けられている。
【0053】
実フレームレート計測部25は、医用画像利用装置8の表示部11で実際に動画表示がなされる場合の実フレームレートを計測する機能を有している。ここで「実フレームレート」とは、医用画像保管装置5から伝送される医用画像が、表示部11上で1秒間に実際に何回画像更新されるかを示す値をいう。実フレームレート計測部25における計測処理の詳細は後述する。計測されたデータ転送速度は抽出部19に送信される。
【0054】
なお実フレームレート計測部25は、医用画像利用装置8内に設けられていても良い。この場合、送信部15から要求フレームレート等の情報が医用画像保管装置5に送信される際、当該情報を実フレームレート計測部25へも送信する。実フレームレート計測部25は、当該情報の送信をトリガーとして表示部11の実フレームレートを計測する。そして実フレームレート計測部25は、計測した実フレームレートの値を送信部15を介して抽出部19に送信する。
【0055】
次に図6を用いて第2の実施形態に係る医用画像装置の動作を詳述する。
【0056】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が動画として表示される(S20)。
【0057】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S21)。
【0058】
また、読影医はS20で表示された動画を見ながら、特に観察したい部分(注目点)を特定する。注目点の特定ができると読影医の指示に基づき表示部11は動画を構成する静止画の1枚を表示させる。読影医は図示しない入力手段等を介して当該静止画上に注目点を入力する。指定部14は、当該入力に基づき当該静止画における注目点を指定する(S22)。なお、S21とS22はいずれのステップが先に行われても良い。
【0059】
次に実フレームレート計測部25は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取ると、表示部11に対してS20で行われた動画表示を再度実行するように指示を行う。当該指示に基づき、表示部11では動画表示が行われる。実フレームレート計測部25は、その動画表示の際、1秒間に何回の画像更新がされているかを計測することにより実フレームレートを求める(S23)。計測された実フレームレートは抽出部19に送信される。
【0060】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び実フレームレート計測部25で計測されたフレームレートを受信し、当該情報に基づいて複数の医用画像を動画表示する場合に要求フレームレートで表示する領域を抽出する処理を開始する(S24)。
【0061】
S24における抽出処理に関しては、例えば、注目点を中心とする抽出領域のサイズを変化させながら、最適な抽出領域のサイズを決定する手法(いわゆるバイナリサーチアルゴリズムを用いる手法)が用いられる。
【0062】
具体的には、まず抽出部19が抽出領域の検索範囲(最大値〜最小値)を設定し、その設定された範囲の中間値を仮の抽出領域として指定する。次に、医用画像利用装置8は、設定された仮の抽出領域を表示部11上に表示し、その際に実フレームレート計測部25で計測された実フレームレートを医用医画像保管装置5に送信する。抽出部19は、当該送信された実フレームレートと要求フレームレート(例えば要求フレームレート±10%)とを比較する。ここで比較された値が一致する場合には、抽出部19により先に設定した仮の抽出領域が求めるべき抽出領域であるとして決定される。
【0063】
一方、例えば実フレームレートの値が要求フレームレートの値よりも大きい場合には、抽出部19において検索範囲を中間値と最小値の間に再設定し、当該再設定された検索範囲内の中間値を仮の抽出領域として再指定する。再指定された仮の抽出領域は表示部11上に表示され、その際に実フレームレート計測部25で計測された実フレームレートが医用画像保管装置5に送信される。そして抽出部19は、当該送信された実フレームレートと要求フレームレート(要求フレームレート±10%)とを比較する処理を行う。
【0064】
このように実フレームレートと要求フレームレートが一致するまで同様の処理を繰り返すことにより、抽出領域を決定する。なお、ネットワーク帯域の変化等により実フレームレートが変化した場合には、再度上記の抽出処理を行うことで最適な領域を抽出することが可能となる。
【0065】
当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S25)。
【0066】
以上の通り本実施形態によれば、表示部11における実フレームレートに基づいて要求フレームレートで更新する領域を抽出する。つまり実際に動画表示がなされる表示部11の表示性能を基に更新領域を抽出することが可能となる。従って、性能の低い端末や低回線速度のネットワークを介する場合であってもスムーズな読影が可能となり診断支援に繋がる。
【0067】
(第3の実施形態)
次に図7を用いて第3の実施形態に係る処理について詳述する。
【0068】
第1の実施形態及び第2の実施形態において、所定領域について要求フレームレートで画像更新を行う場合、画像更新を開始する前に当該所定領域が読影医の所望する範囲であるか否かを確かめたい場合がある。第3の実施形態はこのような要求を満たすための処理に関する。なお、以下は第1の実施形態の処理をベースに説明するが、本実施形態の処理は第2の実施形態にも応用可能である。
【0069】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が静止画として表示される(S30)。
【0070】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S31)。
【0071】
また、読影医はS30で表示された静止画を見ながら、図示しない入力手段等を介して、特に観察したい部分(注目点)を入力する。指定部14は、当該入力に基づき静止画における注目点を指定する(S32)。
【0072】
次に伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合に医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度(送信部21と受信部12の間のデータ伝送速度)を計測する動作を行う(S33)。計測されたデータ伝送速度は抽出部19に送信される。
【0073】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度を受信すると、当該情報に基づいて複数の医用画像を動画表示する際に要求フレームレートで表示する領域を抽出する処理を開始する(S34)。具体的な抽出処理に関しては第1の実施形態と同様であるため説明を省略する。
【0074】
抽出領域の医用画像は制御部22の制御に基づいて送信部21を介して表示部11に送信される。また抽出外領域の医用画像については、データ処理部20で低解像度に変換された後、送信部21を介して表示部11に送信される。表示部11は、医用画像上で抽出領域がどこに位置するかを示す表示を行う(S35)。当該表示形態としては、例えば表示部11に表示された静止画像上で抽出領域の範囲を示す枠を表示する。
【0075】
S35による表示を見た読影医は、抽出領域が適切であるかどうかを判断する(S36)。
【0076】
読影医が適切であると判断した場合(S36でYの場合)、読影医は図示しない入力手段等を介して、適切である旨の入力を行う。当該入力に基づき、抽出部19は、動画を構成する画像の全てに対して同様の抽出処理を行う。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S38)。
【0077】
一方、読影医が適切でないと判断した場合(S36でNの場合)、読影医は新たに要求フレームレートの入力等を行う。当該入力に伴い、取得部13は新たな要求フレームレートの取得等を行う。そして抽出部19は、新たな要求フレームレート等に基づき、抽出領域の再抽出をおこなう(S37)。
【0078】
再抽出された領域は、制御部22の動作制御に基づいて表示部11上に表示される(S35)。
【0079】
これらS35からS37までの動作を繰り返すことで読影医の要求するフレームレート且つ要求する更新領域での更新が可能となる。
【0080】
以上の通り本実施形態によれば、動画表示を行う前に要求フレームレートで更新される領域が読影医の要求に合致しているか否かを判断することができる。よって読影医の要求にあった動画表示を迅速に実現可能となる。
【0081】
(第4の実施形態)
次に、図8Aから図9を用いて第4の実施形態に係る処理について詳述する。なお、本実施形態では、第1の実施形態の構成をベースに説明するが、本実施形態の構成は第2の実施形態、第3の実施形態にも応用可能である。また、第1の実施形態と同様の構成については、詳細な説明を省略する。
【0082】
図8Aに示すような、ボリュームデータに基づくボリュームレンダリング画像(以下、「VR画像」という場合がある)を用いて注目部位(図8Aの矢印参照)の読影を行う場合、当該注目部位を任意の方向から観察するために当該VR画像を回転させることがある。このとき、表示部11の表示画面W中において注目部位の位置が変化する(図8Bの矢印参照。なお、図8Bでは血管のみを表示させている)。よって、読影医があるVR画像中の注目部位を注目点として指定したとしても、VR画像を回転させた場合には注目部位の位置の変化に伴い、注目点の位置も変化することとなる。本実施形態では、このような場合であっても注目点を含む領域を抽出することができる構成について述べる。
【0083】
図9に示すように、医用画像保管装置5は、特定部26を含んで構成されている。特定部26は、指定部14で指定されたVR画像中の注目点の情報に基づいて、当該VR画像の基となるボリュームデータ中において、注目点に対応する3次元座標値を特定する。また、特定部26は、VR画像を回転させた場合に、注目点の3次元座標値がどれだけ変化したかを算出し、新たな3次元座標値を特定する。更に、特定部26は、新たな3次元座標値に対応するVR画像中の注目点を求める。
【0084】
たとえば、医用画像利用装置8の表示部11に図8Aに示すようなVR画像を表示させる。読影医が当該画像中で注目点(図8Aの矢印参照)を入力すると、指定部14は、当該入力に基づき、当該VR画像における注目点を指定する。指定された注目点の情報は、送信部15及び受信部16を介して特定部26に送信される。
【0085】
特定部26は、注目点の情報に基づいて、ボリュームデータ中において、注目点に対応する3次元座標値を特定する。特定された値は、たとえば、図示しない記憶部等に記憶される。
【0086】
その後、読影医が医用画像利用装置8に表示されたVR画像を回転させる指示入力を行った場合、当該入力情報に基づいて、特定部26は、先に特定した3次元座標値が当該回転によりどれだけ変化したかを算出することで新たな3次元座標値を特定する。更に、特定部26は、この新たな3次元座標に対応するVR画像中の座標値を特定する。
【0087】
特定部26により特定された座標値は、抽出部19に送信され、この座標値に基づいて抽出部19による抽出処理が実行される。
【0088】
このように、本実施形態の構成によれば、表示部11中で注目点が移動する場合であっても注目点に対応する領域(抽出領域)について要求フレームレートで高解像度の動画像を観察することが可能となる。なお、本実施形態における特定部26は、「第1特定部」に該当する。
【0089】
(第5の実施形態)
次に図10を用いて第5の実施形態に係る処理について詳述する。なお、本実施形態では、第1の実施形態の構成をベースに説明するが、本実施形態の構成は第2の実施形態、第3の実施形態にも応用可能である。また、第1の実施形態と同様の構成については、詳細な説明を省略する。
【0090】
図10に示すように、心臓等のある領域をX線撮影しながら、そこに表示される血管に対してカテーテルKを挿入して治療を行う手技がある。このとき、カテーテル先端Ktの動きに注目するため、読影医はカテーテル先端Ktを注目点(図10の破線円参照)として指定することがある。しかし、表示部11の表示画面Wに表示されたある画像中でカテーテル先端Ktを注目点として指定しても、カテーテルKは手技に合わせて移動する。つまり、注目点が移動することとなる。本実施形態では、このような場合であっても注目点を含む領域を抽出することができる構成について述べる。
【0091】
本実施形態における医用画像保管装置5は、第4実施形態と同様、特定部26を含んで構成されている。本実施形態における特定部26は、指定部14で指定された注目部位に基づいて、表示部11に表示された画像中の当該注目部位に対応する位置を特定する。たとえば、指定部14で「カテーテル先端」を注目部位として指定した場合、特定部26は、表示された画像中においてカテーテル先端の座標を特定する。なお、画像中におけるカテーテル先端の特定は、たとえば特開平5−161634号公報、特開2008−264254号公報、特開2000−175897号公報等公知の手法を用いることができる。また、注目部位の指定は、たとえば、表示画面にいくつかの項目(たとえば、「カテーテル先端」、「冠動脈」等)が表示され、その中から任意の項目を選択することでもよいし、注目部位の名称等を直接入力することでもよい。
【0092】
特定部26により特定された座標値は、抽出部19に送信され、この座標値に基づいて抽出部19による抽出処理が実行される。
【0093】
このように、本実施形態の構成によれば、表示部11中で注目点が移動する場合であっても注目点に対応する領域(抽出領域)について要求フレームレートで高解像度の動画観察することが可能となる。なお、本実施形態における特定部26は、「第2特定部」に該当する。
【0094】
(第1の実施形態から第5の実施形態に共通の事項)
注目点を複数指定する場合であっても実施形態と同様の処理を行うことにより実現可能となる。
【0095】
また要求フレームレートを優先するか、抽出領域を優先するかを図示しない入力手段等を用いて予め定めておくことも可能である。
【0096】
例えば、読影医が心臓全体の画像をある要求フレームレートで見たい場合を考える。この場合、医用画像利用装置8の性能によっては心臓領域全体が抽出領域として抽出されない可能性或いは要求フレームレートを満たさない可能性がある。
【0097】
そのような場合、例えば図示しない入力手段により抽出領域を優先する(心臓全体を対象)ように指定しておくと、読影医が望む要求フレームレートが当該対象を高解像度で表示するために適切か否かの判断を行い、適切でない場合には心臓領域全体を表示するときに最適なフレームレートを自動算出する自動算出部を医用画像利用装置8内に設けることも可能である。自動算出部は、「判断部」及び「算出部」の一例である。
【0098】
逆に、図示しない入力手段により要求フレームレートを優先するように指定しておくと、自動算出部において、読影医が望む要求フレームレートが心臓全体を高解像度で表示するために適切か否かの判断を行い、適切でない場合には要求フレームレートにあった抽出領域を自動算出する処理が行われる。
【0099】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0100】
10 医用画像装置
11 表示部
12、16 受信部
13 取得部
14 指定部
15、21 送信部
17 伝送速度計測部
18 画像DB
19 抽出部
20 データ処理部
22 制御部
【技術分野】
【0001】
本発明の実施形態は、医用画像装置及び医用画像保管装置に関する。
【背景技術】
【0002】
一般に、X線撮影装置、X線CT装置及びMRI(磁気共鳴イメージング)診断装置等の医用画像撮影装置によって撮影された画像は、病院内にある医用画像保管装置(サーバ)に記録される。当該画像は、読影医等の要求に基づき、病院内のサーバから有線LAN、無線LAN或いはインターネット等を介して院内、院外(医師の自宅等)の医用画像利用装置(ビューア)に表示される。
【0003】
一方、医用画像利用装置として、性能の低い簡易端末を用いる場合がある。また回線速度が低速度のネットワークを介して医用画像利用装置を利用する場合がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−12599号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
医用画像利用装置を使用する際、上記のような性能の低い端末を用いる場合や低回線速度のネットワークを使用する場合には、読影医等の望むフレームレート(単位時間当たりに何枚の画像更新がなされるかを表す指標)で画像を読影することが困難であった。
【0006】
実施形態では、上記課題を解決するために読影医等が要求するフレームレートで画像表示を行う構成を説明する。
【課題を解決するための手段】
【0007】
上記課題を解決するために、実施形態に記載の医用画像装置は、医用画像利用装置及び医用画像保管装置を有する。また医用画像利用装置は、医用画像撮影装置によって撮影された複数の医用画像を医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部、表示部に表示される複数の医用画像の1つに対して注目点を指定する指定部を有する。また医用画像保管装置は、医用画像利用装置と医用画像保管装置との間におけるデータ伝送速度を計測する伝送速度計測部、要求フレームレート、注目点及びデータ伝送速度に基づいて、複数の医用画像のそれぞれにおける注目点を含む領域を抽出する抽出部、抽出部において抽出された領域の画像を表示部に送信する送信部を有する。また表示部は抽出部において抽出された領域の画像について要求フレームレートで動画像表示を行う。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態から第3の実施形態に係る医用画像装置を含む医用画像システムの外観図である。
【図2】第1の実施形態に係る各構成の関連を示すブロック図である。
【図3】第1の実施形態に係る処理の概要を示すフローチャートである。
【図4A】第1の実施形態に係るフローチャートの説明を補足する図である。
【図4B】第1の実施形態に係るフローチャートの説明を補足する図である。
【図5】第2の実施形態に係る各構成の関連を示すブロック図である。
【図6】第2の実施形態に係る処理の概要を示すフローチャートである。
【図7】第3の実施形態に係る処理の概要を示すフローチャートである。
【図8A】第4の実施形態の説明に用いるボリュームレンダリング画像の一例である。
【図8B】第4の実施形態の説明に用いるボリュームレンダリング画像の一例である。
【図9】第4の実施形態に係る各構成の関連を示すブロック図である。
【図10】第5の実施形態の説明に用いる画像の一例である。
【発明を実施するための形態】
【0009】
(装置構成)
まず、図1を用いて第1から第3の実施形態に共通する医用画像システム1の構成について説明する。
【0010】
図1に示す通り、病院2内には複数の検査室3が存在する。各検査室3内にはX線撮影装置、X線CT装置、MRI装置等の医用画像撮影装置4が配置されている。
【0011】
また病院2内には、医用画像撮影装置4で取得された医用画像を保管する医用画像保管装置5(以下「サーバ」という場合がある)が配置されている。
【0012】
また病院2内には、医用画像撮影装置4で得られた医用画像或いは医用画像保管装置5に保管された医用画像を表示することが可能な医用画像利用装置6が配置されている。
【0013】
これら病院2内にある各装置は、院内ネットワーク7を介して相互に通信可能となっている。各装置間の画像通信は、DICOM(Digital Imaging and Communication in Medicine)の規格に準拠している。なお、DICOMに限らず既成の標準規格を適用することも可能である。
【0014】
また病院2の外(例えば読影医の自宅)には、医用画像撮影装置4で得られた医用画像或いは医用画像保管装置5に保管された医用画像を表示することが可能な医用画像利用装置8が配置されている。医用画像利用装置8は、医用画像利用装置6に比べ処理速度が遅い等の性能が低い装置である場合が多い。
【0015】
これら院外にある医用画像利用装置8は、院外ネットワーク9を介して院内ネットワーク7上に接続された各装置と相互に通信可能となっている。院外ネットワーク9は院内ネットワーク7より回線速度が遅いネットワークである。
【0016】
上記検査室3、医用画像撮影装置4、医用画像保管装置5、医用画像利用装置6、8、院内ネットワーク7及び院外ネットワーク9により医用画像システム1が構築されている。
【0017】
なお、本明細書中では、医用画像保管装置5と、医用画像利用装置6及び/または医用画像利用装置8とを合わせて「医用画像装置」という場合がある。また、医用画像利用装置6及び/または医用画像利用装置8を「ビューア」という場合がある。
【0018】
(第1の実施形態)
図2から図4Bを用いて第1の実施形態に係る医用画像装置の構成について詳述する。
【0019】
図2は医用画像保管装置5と医用画像利用装置8からなる医用画像装置10の構成を示す図である。なお、医用画像利用装置6についても医用画像利用装置8と同様の構成を有する。
【0020】
(医用画像利用装置の構成)
医用画像利用装置8は、表示部11、受信部12、取得部13、指定部14、送信部15を有する。
【0021】
表示部11は、医用画像撮影装置4によって撮影された医用画像を表示する機能を有する。当該医用画像は、例えば医用画像保管装置5(後述する画像DB18)から受信部12を介して送信される。
【0022】
取得部13は、医用画像撮影装置4によって撮影された複数の医用画像を表示部11に動画表示する場合のフレームレートを取得する機能を有する。例えば図示しない入力手段を用いた、読影医による具体的な数値(例えば40fps)の入力に基づき、取得部13はフレームレートを取得する。当該取得されたフレームレートについては、以下「要求フレームレート」という場合がある。
【0023】
なお、本明細書中において「動画」とはcine表示(複数の静止画を1枚1枚切り換える表示方法)及びMPEG形式等で作成された動画ファイルに基づく表示等、複数の医用画像を順次提示する表示形態をいう。以下はcine表示形式の場合について説明を行う。
【0024】
指定部14は、表示部11に表示される複数の医用画像の1つに対して注目点を指定する機能を有する。注目点の指定は、表示部11上に表示された医用画像を読影医が観察し、注目すべき個所の位置情報を図示しない入力手段により入力することにより行われる。例えば、キーボード等の入力手段で医用画像における注目点のXY座標値を入力する。或いはマウス等の入力手段を操作し、医用画像上における注目点をポインタで特定し、その特定された位置の座標値を求めるようにしてもよい。
【0025】
取得部13で取得された要求フレームレート及び指定部14で指定された注目点の情報は、送信部15を介して医用画像保管装置5に送信される。
【0026】
本実施形態においては、指定部14により指定された注目点に関する情報(座標値)は医用画像保管装置5に送信されると共に、医用画像利用装置8内に設けられた図示しない記憶部に記憶される。当該情報は表示部11に医用画像を表示する際の位置調整等に利用される。なお、当該情報をサーバ側で管理する方式を用いることも可能である。
【0027】
(医用画像保管装置の構成)
医用画像保管装置5は、受信部16、伝送速度計測部17、画像DB(データベース)18、抽出部19、データ処理部20、送信部21、制御部22を有する。
【0028】
受信部16は、医用画像利用装置8の送信部15から送信された要求フレームレート及び注目点の情報を受信する。また受信部16は当該受信した情報を伝送速度計測部17及び抽出部19に送信する。
【0029】
伝送速度計測部17は、医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度を計測する機能を有している。当該データ伝送速度とは、後述する送信部21から受信部12へ医用画像を伝送するための速度をいう。伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合、データ伝送速度の計測を行う。当該計測についての詳細は後述する。計測されたデータ伝送速度は抽出部19に送信される。なおデータ伝送速度については、医用画像保管装置内の図示しない記憶部等に予め記録されている値を用いることでもよい。
【0030】
画像DB18は、医用画像撮影装置4で撮影された医用画像を保管する機能を有する。保管された医用画像は読影医からの入力指示により読みだされ、ビューア上の表示部11に表示される。或いは保管された医用画像は後述する抽出部19における抽出処理に利用される。
【0031】
抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度に基づいて、複数の医用画像を動画表示する際に要求フレームレートで画像更新を行う医用画像中における注目点を含む領域(以下、「抽出領域」という場合がある)を抽出する機能を有する。当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出部19における抽出処理の詳細は後述する。
【0032】
なお、抽出処理は、動画を構成する複数の画像全てに行う必要はない。例えば、医用画像利用装置8において、動画表示に使用する画像が指定された場合(例えば、撮影された画像が100枚ある場合に、その20枚〜50枚目までを指定)、抽出部19は、その指定された画像に対してのみ上記抽出処理を行うことも可能である。
【0033】
データ処理部20は、抽出部19で抽出された抽出領域の医用画像について、撮影時の解像度を保ったまま(高解像度)、送信部21を介して表示部11へ順次送る処理を行う。またデータ処理部20は、抽出領域以外の領域(以下、「抽出外領域」という場合がある)の医用画像については、抽出領域の画像更新に影響を与えない程度の低解像度(撮影時の解像度よりも低い解像度)に変換した後、送信部21を介して表示部11へ順次送る処理を行う。なお、データ処理部20は、表示部11へ医用画像を順次送る処理を行う場合、各医用画像の抽出領域と抽出外領域を関連付ける処理も行う。
【0034】
制御部22は、医用画像保管装置5の各部位の動作制御を行う。例えば、抽出部19において抽出された領域の画像を表示部11に送るよう送信部21の動作制御を行う。
【0035】
なお、医用画像としてMPEG等の動画ファイルを用いる場合、まず医用画像保管装置5内のメモリ(図示なし)に動画ファイルデータをロードし、動画表示する複数の画像に分割を行う。その後、抽出部19において当該分割された各画像に対して抽出処理を行うこととなる。
【0036】
次に図3から図4Bを用いて第1の実施形態に係る医用画像装置の動作を詳述する。
【0037】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が静止画として表示される(S10)。
【0038】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S11)。
【0039】
また、読影医はS10で表示された静止画を見ながら、図示しない入力手段等を介して、特に観察したい部分(注目点)を入力する。指定部14は、当該入力に基づき静止画における注目点を指定する(S12)。静止画内に注目点が指定された状態を図4Aに示す。表示部11に表示された静止画23には、被検体24の断層画像が描出されている。そしてその一部に指定部14が指定した注目点Iが表示されている。なお、S11とS12はいずれのステップが先に行われてもよい。
【0040】
次に伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合、画像DB18から動画を構成する複数の医用画像のいくつかを医用画像利用装置8に送信するよう制御部22に指示を行う。制御部22は当該指示に基づき送信部21に対して医用画像利用装置8へ医用画像を伝送させる制御を行う。そして伝送速度計測部17は、医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度(送信部21と受信部12の間のデータ伝送速度)を計測する動作を行う(S13)。計測されたデータ転送速度は抽出部19に送信される。
【0041】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度を受信すると、当該情報に基づいて複数の医用画像を動画表示する際に要求フレームレートで表示する領域を抽出する処理を開始する(S14)。
【0042】
ここで当該抽出処理について、例えば、32ビットカラーの画像データから正方形の領域を抽出する場合について説明を行う。ここで正方形1辺の長さをa(pixel)、要求フレームレートをF(fps)、データ伝送速度をB(bps)とすると以下の式(1)が成り立つ。
【0043】
[数1]
a2×32×F=B・・・(1)
【0044】
式(1)によると正方形1辺の長さaは√(B/32F)(pixel)となる。つまり医用画像を動画表示する際に要求フレームレートで画像更新を行う領域のサイズ(面積)は√(B/32F)×√(B/32F)となる。
【0045】
このサイズと注目点Iとの関係から、医用画像を動画表示する際に要求フレームレートで画像更新を行う医用画像中における注目点を含む領域の位置が決定される。例えば図4Aにおいて、注目点Iを中心として上下左右にa/2の範囲の正方形領域を決定することにより当該領域を抽出領域として抽出する。
【0046】
決定された正方形領域の一例を図4Bに示す。表示部11に表示された静止画23には、被検体24の断層画像が描出されている。そして指定部14により指定された注目点Iを中心とする領域Rが表示されている。なお、図4Bは説明のために便宜的に記載したものであって、実際には複数の医用画像のそれぞれから抽出された領域Rが要求フレームレートに応じて動画表示される。
【0047】
また、要求フレームレートで画像更新を行う領域におけるpixel数が同じであれば抽出される領域の形は正方形に限られない。
【0048】
当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S15)。なお制御部22において表示部11の制御を行うことで、要求フレームレートでの抽出領域の画像更新を行うことも可能である。
【0049】
以上の通り本実施形態によれば、抽出領域について要求フレームレートで高解像度の動画像を観察することが可能となる。つまり画像伝送する際に高解像度で伝送する画像を抽出領域のみに限定することにより、読影医の要求するフレームレートで注目点を含む抽出領域を動画表示することが可能となる。従って、性能の低い端末や低回線速度のネットワークを介する場合であってもスムーズな読影が可能となり診断支援に繋がる。
【0050】
(第2の実施形態)
次に図5と図6を用いて第2の実施形態に係る医用画像装置の構成について詳述する。なお、第1の実施形態と同じ構成については説明を省略する。
【0051】
第2の実施形態は、要求フレームレートで表示する領域を抽出する場合にデータ伝送速度ではなく実フレームレートを用いる点が第1の実施形態と異なる。
【0052】
そのため第2の実施形態においては、図5に示す通り、医用画像保管装置5内に実フレームレート計測部25が設けられている。
【0053】
実フレームレート計測部25は、医用画像利用装置8の表示部11で実際に動画表示がなされる場合の実フレームレートを計測する機能を有している。ここで「実フレームレート」とは、医用画像保管装置5から伝送される医用画像が、表示部11上で1秒間に実際に何回画像更新されるかを示す値をいう。実フレームレート計測部25における計測処理の詳細は後述する。計測されたデータ転送速度は抽出部19に送信される。
【0054】
なお実フレームレート計測部25は、医用画像利用装置8内に設けられていても良い。この場合、送信部15から要求フレームレート等の情報が医用画像保管装置5に送信される際、当該情報を実フレームレート計測部25へも送信する。実フレームレート計測部25は、当該情報の送信をトリガーとして表示部11の実フレームレートを計測する。そして実フレームレート計測部25は、計測した実フレームレートの値を送信部15を介して抽出部19に送信する。
【0055】
次に図6を用いて第2の実施形態に係る医用画像装置の動作を詳述する。
【0056】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が動画として表示される(S20)。
【0057】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S21)。
【0058】
また、読影医はS20で表示された動画を見ながら、特に観察したい部分(注目点)を特定する。注目点の特定ができると読影医の指示に基づき表示部11は動画を構成する静止画の1枚を表示させる。読影医は図示しない入力手段等を介して当該静止画上に注目点を入力する。指定部14は、当該入力に基づき当該静止画における注目点を指定する(S22)。なお、S21とS22はいずれのステップが先に行われても良い。
【0059】
次に実フレームレート計測部25は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取ると、表示部11に対してS20で行われた動画表示を再度実行するように指示を行う。当該指示に基づき、表示部11では動画表示が行われる。実フレームレート計測部25は、その動画表示の際、1秒間に何回の画像更新がされているかを計測することにより実フレームレートを求める(S23)。計測された実フレームレートは抽出部19に送信される。
【0060】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び実フレームレート計測部25で計測されたフレームレートを受信し、当該情報に基づいて複数の医用画像を動画表示する場合に要求フレームレートで表示する領域を抽出する処理を開始する(S24)。
【0061】
S24における抽出処理に関しては、例えば、注目点を中心とする抽出領域のサイズを変化させながら、最適な抽出領域のサイズを決定する手法(いわゆるバイナリサーチアルゴリズムを用いる手法)が用いられる。
【0062】
具体的には、まず抽出部19が抽出領域の検索範囲(最大値〜最小値)を設定し、その設定された範囲の中間値を仮の抽出領域として指定する。次に、医用画像利用装置8は、設定された仮の抽出領域を表示部11上に表示し、その際に実フレームレート計測部25で計測された実フレームレートを医用医画像保管装置5に送信する。抽出部19は、当該送信された実フレームレートと要求フレームレート(例えば要求フレームレート±10%)とを比較する。ここで比較された値が一致する場合には、抽出部19により先に設定した仮の抽出領域が求めるべき抽出領域であるとして決定される。
【0063】
一方、例えば実フレームレートの値が要求フレームレートの値よりも大きい場合には、抽出部19において検索範囲を中間値と最小値の間に再設定し、当該再設定された検索範囲内の中間値を仮の抽出領域として再指定する。再指定された仮の抽出領域は表示部11上に表示され、その際に実フレームレート計測部25で計測された実フレームレートが医用画像保管装置5に送信される。そして抽出部19は、当該送信された実フレームレートと要求フレームレート(要求フレームレート±10%)とを比較する処理を行う。
【0064】
このように実フレームレートと要求フレームレートが一致するまで同様の処理を繰り返すことにより、抽出領域を決定する。なお、ネットワーク帯域の変化等により実フレームレートが変化した場合には、再度上記の抽出処理を行うことで最適な領域を抽出することが可能となる。
【0065】
当該抽出処理は動画を構成する複数の画像全てに対して行われる。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S25)。
【0066】
以上の通り本実施形態によれば、表示部11における実フレームレートに基づいて要求フレームレートで更新する領域を抽出する。つまり実際に動画表示がなされる表示部11の表示性能を基に更新領域を抽出することが可能となる。従って、性能の低い端末や低回線速度のネットワークを介する場合であってもスムーズな読影が可能となり診断支援に繋がる。
【0067】
(第3の実施形態)
次に図7を用いて第3の実施形態に係る処理について詳述する。
【0068】
第1の実施形態及び第2の実施形態において、所定領域について要求フレームレートで画像更新を行う場合、画像更新を開始する前に当該所定領域が読影医の所望する範囲であるか否かを確かめたい場合がある。第3の実施形態はこのような要求を満たすための処理に関する。なお、以下は第1の実施形態の処理をベースに説明するが、本実施形態の処理は第2の実施形態にも応用可能である。
【0069】
読影医が自宅等にある医用画像利用装置8から院外ネットワーク9を介してある被検体に係る医用画像の要求を行った場合、画像DB18は、当該要求にあった医用画像の一部(複数枚ある医用画像の一部)を医用画像利用装置8に送信する。その結果、医用画像利用装置8の表示部11には、医用画像の一部が静止画として表示される(S30)。
【0070】
次に、読影医は図示しない入力手段等を介して、医用画像を表示部11上で動画表示する際に希望するフレームレートを入力する。取得部13は、当該入力された値を要求フレームレートとして取得する(S31)。
【0071】
また、読影医はS30で表示された静止画を見ながら、図示しない入力手段等を介して、特に観察したい部分(注目点)を入力する。指定部14は、当該入力に基づき静止画における注目点を指定する(S32)。
【0072】
次に伝送速度計測部17は、受信部16から取得部13で取得された要求フレームレート等の情報を受け取った場合に医用画像利用装置8と医用画像保管装置5との間における医用画像のデータ伝送速度(送信部21と受信部12の間のデータ伝送速度)を計測する動作を行う(S33)。計測されたデータ伝送速度は抽出部19に送信される。
【0073】
そして抽出部19は、取得部13において取得された要求フレームレート、指定部14で指定された注目点及び伝送速度計測部17で計測されたデータ伝送速度を受信すると、当該情報に基づいて複数の医用画像を動画表示する際に要求フレームレートで表示する領域を抽出する処理を開始する(S34)。具体的な抽出処理に関しては第1の実施形態と同様であるため説明を省略する。
【0074】
抽出領域の医用画像は制御部22の制御に基づいて送信部21を介して表示部11に送信される。また抽出外領域の医用画像については、データ処理部20で低解像度に変換された後、送信部21を介して表示部11に送信される。表示部11は、医用画像上で抽出領域がどこに位置するかを示す表示を行う(S35)。当該表示形態としては、例えば表示部11に表示された静止画像上で抽出領域の範囲を示す枠を表示する。
【0075】
S35による表示を見た読影医は、抽出領域が適切であるかどうかを判断する(S36)。
【0076】
読影医が適切であると判断した場合(S36でYの場合)、読影医は図示しない入力手段等を介して、適切である旨の入力を行う。当該入力に基づき、抽出部19は、動画を構成する画像の全てに対して同様の抽出処理を行う。抽出領域の画像は制御部22の制御に基づいて送信部21を介して順次表示部11に送信される。また抽出外領域の画像については、データ処理部20で低解像度に変換された後、抽出領域の画像と関連付けられた上で、送信部21を介して順次表示部11に送信される。表示部11は、順次送られてきたそれらの画像を順次表示させることにより動画像表示(cine表示)を行う(S38)。
【0077】
一方、読影医が適切でないと判断した場合(S36でNの場合)、読影医は新たに要求フレームレートの入力等を行う。当該入力に伴い、取得部13は新たな要求フレームレートの取得等を行う。そして抽出部19は、新たな要求フレームレート等に基づき、抽出領域の再抽出をおこなう(S37)。
【0078】
再抽出された領域は、制御部22の動作制御に基づいて表示部11上に表示される(S35)。
【0079】
これらS35からS37までの動作を繰り返すことで読影医の要求するフレームレート且つ要求する更新領域での更新が可能となる。
【0080】
以上の通り本実施形態によれば、動画表示を行う前に要求フレームレートで更新される領域が読影医の要求に合致しているか否かを判断することができる。よって読影医の要求にあった動画表示を迅速に実現可能となる。
【0081】
(第4の実施形態)
次に、図8Aから図9を用いて第4の実施形態に係る処理について詳述する。なお、本実施形態では、第1の実施形態の構成をベースに説明するが、本実施形態の構成は第2の実施形態、第3の実施形態にも応用可能である。また、第1の実施形態と同様の構成については、詳細な説明を省略する。
【0082】
図8Aに示すような、ボリュームデータに基づくボリュームレンダリング画像(以下、「VR画像」という場合がある)を用いて注目部位(図8Aの矢印参照)の読影を行う場合、当該注目部位を任意の方向から観察するために当該VR画像を回転させることがある。このとき、表示部11の表示画面W中において注目部位の位置が変化する(図8Bの矢印参照。なお、図8Bでは血管のみを表示させている)。よって、読影医があるVR画像中の注目部位を注目点として指定したとしても、VR画像を回転させた場合には注目部位の位置の変化に伴い、注目点の位置も変化することとなる。本実施形態では、このような場合であっても注目点を含む領域を抽出することができる構成について述べる。
【0083】
図9に示すように、医用画像保管装置5は、特定部26を含んで構成されている。特定部26は、指定部14で指定されたVR画像中の注目点の情報に基づいて、当該VR画像の基となるボリュームデータ中において、注目点に対応する3次元座標値を特定する。また、特定部26は、VR画像を回転させた場合に、注目点の3次元座標値がどれだけ変化したかを算出し、新たな3次元座標値を特定する。更に、特定部26は、新たな3次元座標値に対応するVR画像中の注目点を求める。
【0084】
たとえば、医用画像利用装置8の表示部11に図8Aに示すようなVR画像を表示させる。読影医が当該画像中で注目点(図8Aの矢印参照)を入力すると、指定部14は、当該入力に基づき、当該VR画像における注目点を指定する。指定された注目点の情報は、送信部15及び受信部16を介して特定部26に送信される。
【0085】
特定部26は、注目点の情報に基づいて、ボリュームデータ中において、注目点に対応する3次元座標値を特定する。特定された値は、たとえば、図示しない記憶部等に記憶される。
【0086】
その後、読影医が医用画像利用装置8に表示されたVR画像を回転させる指示入力を行った場合、当該入力情報に基づいて、特定部26は、先に特定した3次元座標値が当該回転によりどれだけ変化したかを算出することで新たな3次元座標値を特定する。更に、特定部26は、この新たな3次元座標に対応するVR画像中の座標値を特定する。
【0087】
特定部26により特定された座標値は、抽出部19に送信され、この座標値に基づいて抽出部19による抽出処理が実行される。
【0088】
このように、本実施形態の構成によれば、表示部11中で注目点が移動する場合であっても注目点に対応する領域(抽出領域)について要求フレームレートで高解像度の動画像を観察することが可能となる。なお、本実施形態における特定部26は、「第1特定部」に該当する。
【0089】
(第5の実施形態)
次に図10を用いて第5の実施形態に係る処理について詳述する。なお、本実施形態では、第1の実施形態の構成をベースに説明するが、本実施形態の構成は第2の実施形態、第3の実施形態にも応用可能である。また、第1の実施形態と同様の構成については、詳細な説明を省略する。
【0090】
図10に示すように、心臓等のある領域をX線撮影しながら、そこに表示される血管に対してカテーテルKを挿入して治療を行う手技がある。このとき、カテーテル先端Ktの動きに注目するため、読影医はカテーテル先端Ktを注目点(図10の破線円参照)として指定することがある。しかし、表示部11の表示画面Wに表示されたある画像中でカテーテル先端Ktを注目点として指定しても、カテーテルKは手技に合わせて移動する。つまり、注目点が移動することとなる。本実施形態では、このような場合であっても注目点を含む領域を抽出することができる構成について述べる。
【0091】
本実施形態における医用画像保管装置5は、第4実施形態と同様、特定部26を含んで構成されている。本実施形態における特定部26は、指定部14で指定された注目部位に基づいて、表示部11に表示された画像中の当該注目部位に対応する位置を特定する。たとえば、指定部14で「カテーテル先端」を注目部位として指定した場合、特定部26は、表示された画像中においてカテーテル先端の座標を特定する。なお、画像中におけるカテーテル先端の特定は、たとえば特開平5−161634号公報、特開2008−264254号公報、特開2000−175897号公報等公知の手法を用いることができる。また、注目部位の指定は、たとえば、表示画面にいくつかの項目(たとえば、「カテーテル先端」、「冠動脈」等)が表示され、その中から任意の項目を選択することでもよいし、注目部位の名称等を直接入力することでもよい。
【0092】
特定部26により特定された座標値は、抽出部19に送信され、この座標値に基づいて抽出部19による抽出処理が実行される。
【0093】
このように、本実施形態の構成によれば、表示部11中で注目点が移動する場合であっても注目点に対応する領域(抽出領域)について要求フレームレートで高解像度の動画観察することが可能となる。なお、本実施形態における特定部26は、「第2特定部」に該当する。
【0094】
(第1の実施形態から第5の実施形態に共通の事項)
注目点を複数指定する場合であっても実施形態と同様の処理を行うことにより実現可能となる。
【0095】
また要求フレームレートを優先するか、抽出領域を優先するかを図示しない入力手段等を用いて予め定めておくことも可能である。
【0096】
例えば、読影医が心臓全体の画像をある要求フレームレートで見たい場合を考える。この場合、医用画像利用装置8の性能によっては心臓領域全体が抽出領域として抽出されない可能性或いは要求フレームレートを満たさない可能性がある。
【0097】
そのような場合、例えば図示しない入力手段により抽出領域を優先する(心臓全体を対象)ように指定しておくと、読影医が望む要求フレームレートが当該対象を高解像度で表示するために適切か否かの判断を行い、適切でない場合には心臓領域全体を表示するときに最適なフレームレートを自動算出する自動算出部を医用画像利用装置8内に設けることも可能である。自動算出部は、「判断部」及び「算出部」の一例である。
【0098】
逆に、図示しない入力手段により要求フレームレートを優先するように指定しておくと、自動算出部において、読影医が望む要求フレームレートが心臓全体を高解像度で表示するために適切か否かの判断を行い、適切でない場合には要求フレームレートにあった抽出領域を自動算出する処理が行われる。
【0099】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0100】
10 医用画像装置
11 表示部
12、16 受信部
13 取得部
14 指定部
15、21 送信部
17 伝送速度計測部
18 画像DB
19 抽出部
20 データ処理部
22 制御部
【特許請求の範囲】
【請求項1】
医用画像利用装置及び医用画像保管装置を有する医用画像装置において、
前記医用画像利用装置は、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部と、
前記表示部に表示される前記複数の医用画像の1つに対して注目点を指定する指定部と、を有し、
前記医用画像保管装置は、
前記医用画像利用装置と前記医用画像保管装置との間におけるデータ伝送速度を計測する伝送速度計測部と、
前記要求フレームレート、前記注目点及び前記データ伝送速度に基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記表示部に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像装置。
【請求項2】
前記抽出部は、前記要求フレームレート及び前記データ伝送速度に基づいて前記領域のサイズを算出し、当該サイズと前記注目点に基づいて前記複数の医用画像のそれぞれにおける前記領域の位置を決定することを特徴とする請求項1記載の医用画像装置。
【請求項3】
医用画像利用装置及び医用画像保管装置を有する医用画像装置において、
前記医用画像利用装置は、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部と、
前記表示部に表示される前記複数の医用画像の1つに対して注目点を指定する指定部と、
前記表示部に前記複数の医用画像の一部を動画表示させた際の実フレームレートを計測する実フレームレート計測部と、を有し、
前記医用画像保管装置は、
前記要求フレームレート、前記注目点及び前記実フレームレートに基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記医用画像利用装置に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像装置。
【請求項4】
前記制御部は、前記抽出部において抽出された領域において前記要求フレームレートで動画像表示をさせる前に、前記表示部に表示された医用画像上に前記抽出部において抽出された領域を示す情報の表示を行うよう制御することを特徴とする請求項1から3のいずれか一に記載の医用画像装置。
【請求項5】
前記抽出部は、前記要求フレームレートと前記実フレームレートに基づいて、前記抽出領域の検索範囲を設定することを特徴とする請求項3記載の医用画像装置。
【請求項6】
前記抽出部は、前記抽出領域の決定前に、予め前記検索範囲を設定し、当該検索範囲の中間値を仮の抽出領域と設定し、前記要求フレームレートと前記実フレームレートが一致する場合、前記仮の抽出領域を前記抽出領域と決定することを特徴とする請求項5記載の医用画像装置。
【請求項7】
前記抽出部は、前記実フレームレートが前記要求フレームレートを上回る場合、前記検索範囲の中間値と最小値の間となる新たな検索範囲を決定し、当該新たな検索範囲の中間値を新たな仮の抽出領域として決定することを特徴とする請求項6記載の医用画像装置。
【請求項8】
前記取得部により取得された要求フレームレートが前記複数の医用画像を動画像表示する際に適切であるか否かを判断する判断部と、
前記判断部により適切でないと判断された場合、前記複数の医用画像を動画像表示するための最適なフレームレートを算出する算出部と、
を備えることを特徴とする請求項1記載の医用画像装置。
【請求項9】
前記取得部により取得された要求フレームレートが前記複数の医用画像を動画像表示する際に適切であるか否かを判断する判断部と、
前記判断部により適切でないと判断された場合、前記要求フレームレートに適した抽出領域を算出する算出部と、
を備えることを特徴とする請求項1記載の医用画像装置。
【請求項10】
医用画像利用装置との間におけるデータ伝送速度を計測する伝送速度計測部と、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレート、前記表示部に表示される前記複数の医用画像の1つに対して指定された注目点及び前記データ伝送速度に基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記表示部に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像保管装置。
【請求項1】
医用画像利用装置及び医用画像保管装置を有する医用画像装置において、
前記医用画像利用装置は、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部と、
前記表示部に表示される前記複数の医用画像の1つに対して注目点を指定する指定部と、を有し、
前記医用画像保管装置は、
前記医用画像利用装置と前記医用画像保管装置との間におけるデータ伝送速度を計測する伝送速度計測部と、
前記要求フレームレート、前記注目点及び前記データ伝送速度に基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記表示部に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像装置。
【請求項2】
前記抽出部は、前記要求フレームレート及び前記データ伝送速度に基づいて前記領域のサイズを算出し、当該サイズと前記注目点に基づいて前記複数の医用画像のそれぞれにおける前記領域の位置を決定することを特徴とする請求項1記載の医用画像装置。
【請求項3】
医用画像利用装置及び医用画像保管装置を有する医用画像装置において、
前記医用画像利用装置は、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレートを取得する取得部と、
前記表示部に表示される前記複数の医用画像の1つに対して注目点を指定する指定部と、
前記表示部に前記複数の医用画像の一部を動画表示させた際の実フレームレートを計測する実フレームレート計測部と、を有し、
前記医用画像保管装置は、
前記要求フレームレート、前記注目点及び前記実フレームレートに基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記医用画像利用装置に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像装置。
【請求項4】
前記制御部は、前記抽出部において抽出された領域において前記要求フレームレートで動画像表示をさせる前に、前記表示部に表示された医用画像上に前記抽出部において抽出された領域を示す情報の表示を行うよう制御することを特徴とする請求項1から3のいずれか一に記載の医用画像装置。
【請求項5】
前記抽出部は、前記要求フレームレートと前記実フレームレートに基づいて、前記抽出領域の検索範囲を設定することを特徴とする請求項3記載の医用画像装置。
【請求項6】
前記抽出部は、前記抽出領域の決定前に、予め前記検索範囲を設定し、当該検索範囲の中間値を仮の抽出領域と設定し、前記要求フレームレートと前記実フレームレートが一致する場合、前記仮の抽出領域を前記抽出領域と決定することを特徴とする請求項5記載の医用画像装置。
【請求項7】
前記抽出部は、前記実フレームレートが前記要求フレームレートを上回る場合、前記検索範囲の中間値と最小値の間となる新たな検索範囲を決定し、当該新たな検索範囲の中間値を新たな仮の抽出領域として決定することを特徴とする請求項6記載の医用画像装置。
【請求項8】
前記取得部により取得された要求フレームレートが前記複数の医用画像を動画像表示する際に適切であるか否かを判断する判断部と、
前記判断部により適切でないと判断された場合、前記複数の医用画像を動画像表示するための最適なフレームレートを算出する算出部と、
を備えることを特徴とする請求項1記載の医用画像装置。
【請求項9】
前記取得部により取得された要求フレームレートが前記複数の医用画像を動画像表示する際に適切であるか否かを判断する判断部と、
前記判断部により適切でないと判断された場合、前記要求フレームレートに適した抽出領域を算出する算出部と、
を備えることを特徴とする請求項1記載の医用画像装置。
【請求項10】
医用画像利用装置との間におけるデータ伝送速度を計測する伝送速度計測部と、
医用画像撮影装置によって撮影された複数の医用画像を前記医用画像利用装置の表示部に動画表示する場合の要求フレームレート、前記表示部に表示される前記複数の医用画像の1つに対して指定された注目点及び前記データ伝送速度に基づいて、前記複数の医用画像のそれぞれにおける前記注目点を含む領域を抽出する抽出部と、
前記抽出部において抽出された領域の画像を前記表示部に送信する送信部と、を有し、
前記表示部は前記抽出部において抽出された領域の画像について前記要求フレームレートで動画像表示を行うことを特徴とする医用画像保管装置。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図4A】
【図4B】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図4A】
【図4B】
【公開番号】特開2012−35062(P2012−35062A)
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願番号】特願2011−136849(P2011−136849)
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]