医用画像制御システム及び携帯端末
【課題】携帯端末によって医療行為を支援することが可能になる医用画像制御システム及び携帯端末を提供すること。
【解決手段】実施形態の医用画像制御システムは、医用画像診断装置と、携帯端末とを備える。医用画像診断装置は、収集部と配信部と反映部とを備える。収集部は、所定の撮影条件に従って被検体を動画撮影し、動画データを収集する。配信部は、動画データを携帯端末に即時に配信する。反映部は、携帯端末から送信された制御情報を受信し、受信した制御情報を医用画像診断装置による処理に反映する。携帯端末は、再生部と制御情報送信部とを備える。再生部は、配信部によって配信された動画データを受信し、受信した動画データを即時に再生する。制御情報送信部は、医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置に送信する。
【解決手段】実施形態の医用画像制御システムは、医用画像診断装置と、携帯端末とを備える。医用画像診断装置は、収集部と配信部と反映部とを備える。収集部は、所定の撮影条件に従って被検体を動画撮影し、動画データを収集する。配信部は、動画データを携帯端末に即時に配信する。反映部は、携帯端末から送信された制御情報を受信し、受信した制御情報を医用画像診断装置による処理に反映する。携帯端末は、再生部と制御情報送信部とを備える。再生部は、配信部によって配信された動画データを受信し、受信した動画データを即時に再生する。制御情報送信部は、医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像制御システム及び携帯端末に関する。
【背景技術】
【0002】
近年、医療現場における医師不足が深刻な問題となっており、その対策のひとつとして遠隔医療支援システムが登場した。遠隔医療支援システムは、主に病院内(以下、院内)に設置された装置に対する遠隔からのアクセスを実現することで、院内の医療行為を支援するシステムである。
【0003】
例えば、緊急を要する事態が深夜に発生した場合、以前であれば、担当の医師が深夜であるにも関わらず病院に駆けつけたり、音声データのみの電話によって現場に指示したりすることが一般的であった。この点、遠隔医療支援システムの登場により、医師は、自宅や出張先などから院内の装置にアクセスし、画像データなどの情報をPC(Personal Computer)によって閲覧することが可能になった。更に、携帯電話やタブレット(tablet)PCなどの携帯端末の普及に伴い、自宅や出張先に限らず、例えば車や新幹線で移動中の場合などにも、院内の医療行為を支援することが可能なシステムが望まれている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−75927号公報
【特許文献2】特開2006−198241号公報
【特許文献3】特開2003−93354号公報
【特許文献4】特開2005−34207号公報
【非特許文献】
【0005】
【非特許文献1】“遠隔画像診断治療補助システム「i-Stroke(アイストローク)」”、2011年6月16日、富士フイルム株式会社、[平成23年7月20日検索]、インターネット<URL:http://www.fujifilm.co.jp/corporate/news/articleffnr_0519.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、携帯端末を用いて医療行為を支援することが可能な医用画像制御システム及び携帯端末を提供することである。
【課題を解決するための手段】
【0007】
実施形態の医用画像制御システムは、医用画像診断装置と、携帯端末とを備える。医用画像診断装置は、収集部と、配信部と、反映部とを備える。収集部は、所定の撮影条件に従って被検体を動画撮影し、動画データを収集する。配信部は、前記動画データを携帯端末に即時に配信する。反映部は、前記携帯端末から送信された制御情報を受信し、受信した制御情報を前記医用画像診断装置による処理に反映する。携帯端末は、再生部と、制御情報送信部とを備える。再生部は、前記配信部によって配信された動画データを受信し、受信した動画データを即時に再生する。制御情報送信部は、前記医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を前記医用画像診断装置に送信する。
【図面の簡単な説明】
【0008】
【図1】図1は、第1の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図2】図2は、第1の実施形態に係る医用画像制御システムの構成例を説明するための図である。
【図3】図3は、第1の実施形態における処理手順の一例を示すフローチャートである。
【図4】図4は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図5】図5は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図6】図6は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図7】図7は、第2の実施形態に係る医用画像制御システムの構成例を説明するための図である。
【図8】図8は、第2の実施形態における処理手順の一例を示すシーケンス図である。
【図9】図9は、第2の実施形態における処理手順の一例を示すシーケンス図である。
【図10】図10は、第2の実施形態の変形例を説明するための図である。
【図11】図11は、第3の実施形態におけるリスクテーブルを説明するための図である。
【図12】図12は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。
【図13】図13は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。
【図14】図14は、第3の実施形態における遠隔制御の機能制限の変形例を説明するための図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、医用画像制御システム及び携帯端末の実施形態を詳細に説明する。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る医用画像制御システムの概念を説明するための図である。図1に示すように、第1の実施形態に係る医用画像制御システムは、医用画像診断装置20と携帯端末30とを備え、医用画像診断装置20が、携帯端末30に対してリアルタイム(real time)の動画配信を行う。すなわち、医用画像診断装置20は、被検体を動画撮影することにより収集した動画データを携帯端末30に即時に配信する。
【0011】
また、第1の実施形態において、携帯端末30は、医用画像診断装置20に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置20に送信する。例えば、医用画像診断装置20がX線診断装置の場合、携帯端末30は、図1に示すように、医用画像診断装置20における撮影条件に関する操作として、Cアーム(arm)の角度を指定する操作を受け付け、受け付けた角度の指定情報を、医用画像診断装置20に送信する。医用画像診断装置20は、この指定情報を受信すると、携帯端末30によって指定されたCアームの角度を撮影条件に反映し、撮影を行う。
【0012】
また、例えば、携帯端末30は、図1に示すように、医用画像診断装置20から配信された動画データ(例えば、X線画像)に対する編集操作(例えば、ROI(Region Of Interest)の描画)を受け付け、受け付けた編集情報を、医用画像診断装置20に送信する。医用画像診断装置20は、この編集情報を受信すると、受信した編集情報を医用画像診断装置20にて再生される動画データに反映する。例えば、医用画像診断装置20は、医用画像診断装置20が備えるコンソール(console)画面上で再生される動画データ上に、携帯端末30にて描画されたROIを表示する。
【0013】
図2は、第1の実施形態に係る医用画像制御システムの構成例を説明するための図である。図2に示すように、医用画像診断装置20と携帯端末30とは、ネットワーク50を介して接続される。例えば、無線LAN(Local Area Network)や携帯電話網などを経由してインターネットに接続可能な携帯端末30は、このインターネットを介して、院内LANに設置された医用画像診断装置20にアクセスする。なお、医用画像制御システムが院内に閉じた環境で実現される場合、例えば、携帯端末30は、院内LANを介して、医用画像診断装置20にアクセスする。
【0014】
医用画像診断装置20は、通信部21と、本体制御部22と、記憶部23と、表示部24と、入力部25と、撮影部26と、再構成部27と、演算処理部28と、遠隔装置用演算処理部29aとを備える。
【0015】
通信部21は、院内LANに接続する医用画像診断装置20のインタフェースである。通信部21は、ハブ(hub)などのネットワーク機器を経由して院内LANや院外のインターネットに接続され、携帯端末30との間で通信を行う。
【0016】
本体制御部22は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路であり、医用画像診断装置20内の各処理部全体を制御する。本体制御部22は、配信部22aと、反映部22bとを備える。
【0017】
配信部22aは、撮影部26によって収集され、再構成部27や演算処理部28によって生成された動画データを、携帯端末30にリアルタイムにプッシュ型で配信する。配信部22aは、例えば、公知のストリーミング(streaming)技術(例えば、RTSP(Real Time Streaming Protocol)など)や、プログレッシブダウンロード(progressive download)技術を用いて実現することが可能である。
【0018】
反映部22bは、携帯端末30から送信された制御情報を受信し、受信した制御情報を、医用画像診断装置20による処理に反映する。例えば、反映部22bは、携帯端末30から撮影条件の設定情報(例えば、Cアームの角度の指定情報)を受信した場合には、受信した設定情報を、医用画像診断装置20にて用いられる撮影条件に反映する。また、例えば、反映部22bは、携帯端末30から動画データに対する編集情報(例えば、ROIの編集情報)を受信した場合には、受信した編集情報を、医用画像診断装置20にて再生される動画データに反映する。
【0019】
記憶部23は、ハードディスク、半導体メモリなどであり、医用画像診断装置20における各種情報を記憶する。例えば、記憶部23は、撮影部26によって用いられる撮影条件や、撮影部26によって収集された撮影データ、あるいは、再構成部27によって生成された画像データや、演算処理部28によって生成された画像データなどを記憶する。
【0020】
表示部24は、モニタであり、医用画像診断装置20のコンソール画面として、医用画像診断装置20における各種情報を表示する。例えば、表示部24は、医用画像診断装置20に対する操作を受け付けるためのGUI(Graphical User Interface)や、撮影中や撮影後に、再構成部27や演算処理部28によって生成された画像データなどを表示する。入力部25は、マウス、キーボード、トラックボールなどであり、医用画像診断装置20に対する操作を操作者から受け付ける。
【0021】
撮影部26は、所定の撮影条件に従って医用画像診断装置20のハードウェアを制御することで被検体を撮影し、撮影データを収集する。例えば、医用画像診断装置20がX線診断装置の場合、撮影部26は、操作者による撮影開始ボタンの押下を受け付けると、Cアーム及びX線管を制御することで被検体を撮影し、検出器を制御することで被検体を透過したX線を受信する。また、第1の実施形態に係る撮影部26は、被検体を動画撮影し、動画撮影データを収集する。
【0022】
再構成部27は、撮影部26によって収集された撮影データを再構成し、画像データを生成する。例えば、再構成部27は、撮影部26によって収集された動画撮影データを再構成し、動画データを生成する。
【0023】
演算処理部28は、再構成部27によって生成された画像データに対して画像処理を施す。例えば、医用画像診断装置20がX線CT(Computed Tomography)装置の場合、演算処理部28は、再構成部27によって生成されたスライス画像の画像データをボリュームデータに変換し、画像データ間の位置合わせや特定領域の抽出などの画像処理を施した後、ボリュームレンダリング処理を行う。
【0024】
遠隔装置用演算処理部29aは、医用画像診断装置20及び携帯端末30それぞれにおいて異なる操作を受け付け、受け付けた操作を並列に実行する場合に、携帯端末30専用の処理を行う。例えば、医用画像診断装置20の表示部24(コンソール画面、ローカル画面とも称する)及び携帯端末30の表示部34(リモート画面)それぞれにおいて異なる操作を受け付け、受け付けた操作を並列に実行する場合に、リモート画面専用の処理を行う。この場合、例えば、ローカル画面とリモート画面とで異なるコンテンツが表示され、異なる操作が並列に実行されるなどする。なお、ローカル画面及びリモート画面の双方にて医用画像診断装置20の制御が可能な場合、一方のみが制御権を持つように制御してもよい。例えば、携帯端末30が制御権を持つ場合、医用画像診断装置20にて収集され、記憶されている動画データに対して、ローカル画面からの操作はできず、リモート画面からの操作のみが有効となる。
【0025】
携帯端末30は、PCやタブレット式PC、PDA(Personal Digital Assistant)、携帯電話などである。図2に示すように、携帯端末30は、通信部31と、携帯端末制御部32と、入力部33と、表示部34と、記憶部35と、医用画像診断装置遠隔制御部36aとを備える。
【0026】
通信部31は、携帯端末30のインタフェースであり、無線アクセスポイントなど経由して院内LANやインターネットに接続され、医用画像診断装置20との間で通信を行う。携帯端末制御部32は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、携帯端末30内の各処理部全体を制御する。携帯端末制御部32は、再生部32aと、動画データ編集部32bとを備える。
【0027】
再生部32aは、医用画像診断装置20から配信された動画データを受信し、受信した動画データを、表示部34にリアルタイムに再生する。動画データ編集部32bは、再生部32aによって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、再生部32aによって再生される動画データに反映する。例えば、動画データ編集部32bは、再生中の動画データに対するROIの描画を受け付けると、受け付けたROIを再生中の動画データに表示する。なお、動画データ編集部32bによって受け付けられた編集操作の内容は、記憶部35に記憶されてもよい。
【0028】
入力部33は、タッチパネル、専用ボタン、ジャイロセンサなどであり、携帯端末30に対する操作を操作者から受け付ける。表示部34は、液晶パネルなどであり、携帯端末30の画面(リモート画面)として、携帯端末30における各種情報を表示する。例えば、表示部34は、医用画像診断装置20から送信された画像データや、医用画像診断装置20に対する操作を受け付けるためのGUIなどを表示する。なお、入力部33がタッチパネルの場合、入力部33と表示部34とは兼用される場合もある。記憶部35は、ハードディスク、半導体メモリなどであり、携帯端末30における各種情報を記憶する。
【0029】
医用画像診断装置遠隔制御部36aは、医用画像診断装置20に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置20に送信することで、医用画像診断装置20を遠隔制御する。例えば、医用画像診断装置遠隔制御部36aは、撮影条件に関する操作(例えば、Cアームの角度の指定)を受け付け、受け付けた撮影条件の設定情報を医用画像診断装置20に送信する。また、例えば、医用画像診断装置遠隔制御部36aは、動画データに対する編集情報(例えば、ROIの描画)を受け付け、受け付けた編集情報を医用画像診断装置20に送信する。なお、医用画像診断装置20側では、携帯端末30から送信された編集情報を受信し、これをローカル画面に再生中の動画データに反映したり、バックグラウンドで記憶部23に保存したりする。また、編集情報は、携帯端末30の記憶部35に記憶されてもよい。
【0030】
図3は、第1の実施形態における処理手順の一例を示すフローチャートである。図3に示すように、第1の実施形態に係る医用画像制御システムにおいて、まず、検査若しくは治療が開始され、医用画像診断装置20において撮影が開始される(ステップS01)。
【0031】
次に、セキュリティの観点から、医用画像診断装置20と携帯端末30との間で、相互認証が行われる(ステップS02)。例えば、医用画像診断装置20と携帯端末30との間で互いの識別子を取得し、安全な機器であるか否かを認証する。
【0032】
一例を説明すると、例えば、携帯端末30の利用者は、接続先ID(医用画像診断装置20のID)が登録済みであるか否かを確認する(ステップS02−1)。登録済みである場合には(ステップS02−1肯定)、携帯端末30の利用者は、登録済みの接続先IDを選択する操作を行う(ステップS02−2)。一方、登録済みでない場合には(ステップS02−1否定)、医用画像診断装置20の利用者が、医用画像診断装置20から携帯端末30に対して接続依頼通知を送信するように(例えば、メール送信するように)操作する(ステップS02−3)。すると、携帯端末30の利用者は、接続依頼通知内の接続先IDを選択する操作を行う(ステップS02−4)。
【0033】
こうして、携帯端末30の利用者は、接続先IDを選択することで、例えば接続先IDに対応付けられたURL(Uniform Resource Locator)にアクセスして携帯端末30から医用画像診断装置20にログインし(ステップS02−5)、医用画像診断装置20と携帯端末30との間で接続が確立する(ステップS02−6)。なお、医用画像診断装置20と携帯端末30との間で接続を確立する処理は、上述した例に限られるものではなく、その他の公知の認証技術を用いて実現することが可能である。
【0034】
続いて、医用画像診断装置20の配信部22aが、携帯端末30に対して動画データやその他のコンテンツを送信する(ステップS03)。例えば、配信部22aは、現在ローカル画面に再生中(若しくは表示中)のコンテンツを携帯端末30へ転送する(ステップS03−1)。動画データを配信する場合は、上述したように、例えば、公知のストリーミング技術やプログレッシブダウンロード技術を用いる。
【0035】
具体例を挙げて説明すると、配信部22aが、撮影条件を入力するメニュー画面を携帯端末30に対して送信することで、リモート画面には、このメニュー画面が表示される(ステップS03−2)。携帯端末30の利用者は、例えば、このメニュー画面に数値や文字を入力することで、X線管の管電流や管電圧などの撮影条件を入力する。すると、携帯端末30の医用画像診断装置遠隔制御部36aは、利用者によって入力された撮影条件の設定情報を、医用画像診断装置20に送信する。医用画像診断装置20側では、これらの撮影条件を反映した撮影を行う。このように、携帯端末30から医用画像診断装置20における撮影を制御することが可能である。
【0036】
また、配信部22aが、ローカル画面に再生中の動画データを携帯端末30に対して送信することで、リモート画面には、ローカル画面と同じ動画データが再生される(ステップS03−3)。携帯端末30の利用者は、例えば、この動画データ上で、マウスによるドラッグ操作や、携帯端末30を傾けるといった操作によって、撮影方向などの撮影条件を入力する。すると、携帯端末30の医用画像診断装置遠隔制御部36aは、利用者によって入力された撮影条件の設定情報を、医用画像診断装置20に送信する。医用画像診断装置20側では、これらの撮影条件を反映した撮影を行う。このように、携帯端末30から医用画像診断装置20における撮影を制御することが可能である。
【0037】
また、配信部22aが、ローカル画面に再生中の動画データとは異なる動画データ(例えば、医用画像診断装置20に保存されている動画データ)を携帯端末30に対して送信することで、リモート画面には、ローカル画面とは異なる動画データが再生される(ステップS03−4)。携帯端末30の利用者は、例えば、この動画データに対して、ROIの描画などを行う。すると、携帯端末30の動画データ編集部32bが、利用者によって入力された編集情報を、携帯端末30の記憶部35に保存したり、医用画像診断装置遠隔制御部36aが、利用者によって入力された編集情報を、医用画像診断装置20に送信したりする。このように、医用画像診断装置20が配信する動画データの再生状態を、医用画像診断装置20において再生されている動画データの再生状態とは独立して指定することができ、携帯端末30側にて編集することができる。
【0038】
(第1の実施形態の効果)
上述したように、第1の実施形態によれば、医用画像診断装置20にて撮影中の動画データを、携帯端末30にてリアルタイムに再生することが可能になる。また、第1の実施形態によれば、医用画像診断装置20にて行われる撮影の撮影条件を、携帯端末30から制御することが可能になる。また、第1の実施形態によれば、医用画像診断装置20から配信された動画データを、携帯端末30側で編集することが可能になる。なお、医用画像制御システムは、必ずしもこれらの機能全てを備える必要はなく、一部の機能を備えるのみでもよい。例えば、携帯端末30に対するリアルタイムの動画配信のみを行い、携帯端末30における撮影条件の制御や編集を受け付けないシステムであってもよい。また、例えば、携帯端末30側で実行可能な操作を、利用者毎のアクセス権限によって制御してもよい。
【0039】
(第2の実施形態)
図4〜6は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【0040】
第2の実施形態に係る医用画像制御システムは、図4に示すように、医用画像診断装置20及び携帯端末30の他に、画像処理装置10及び外部表示装置40を備える。医用画像診断装置20からリアルタイムに行われる動画配信の配信先は外部表示装置40に変更され、携帯端末30には、外部表示装置40に配信される動画データと関連する別のコンテンツ(以下、関連コンテンツ)が、画像処理装置10から同時配信される。関連コンテンツを特定する情報は、医用画像診断装置20から画像処理装置10に送信される。
【0041】
例えば、外部表示装置40は、TV(television)装置やPCなどであり、例えば、携帯端末30の表示部34に比較して大画面の表示部を有するものである。医用画像診断装置20から配信される動画データについては大画面の外部表示装置40が表示し、一方、携帯端末30は、画像処理装置10から関連コンテンツを受信して表示する。
【0042】
関連コンテンツの一例を説明する。例えば、医用画像診断装置20は、自装置にて収集された動画データに対して画像処理による解析を行うことでカテーテルの位置を特定し、特定したカテーテルの位置から治療対象の冠動脈部位を特定し、特定した冠動脈部位を示す冠動脈IDを画像処理装置10に通知する。すると、画像処理装置10は、自装置に記憶している同じ被検体に関する過去の画像データから、冠動脈IDによって示される冠動脈の解析結果の画像データを検索し、検索した画像データを関連コンテンツとして携帯端末30に送信する。この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が表示される。携帯端末30の利用者は、治療中の患者の過去の冠動脈部位の解析結果を参照しながら、治療中の動画データを確認することができる。例えば、携帯端末30の表示部34が小さい場合などに有効である。
【0043】
また、図5に示すように、第2の実施形態に係る医用画像制御システムは、更に応用として、リアルタイムに配信される動画データと関連コンテンツとを同期させるように制御する。
【0044】
例えば、画像処理装置10は、リアルタイムに配信される動画データ内の位置情報(例えば、治療対象部位や観察方向)を用いて、リアルタイムに配信される動画データと関連コンテンツとの表示位置を同期させるように制御する。例えば、医用画像診断装置20は、治療対象の冠動脈部位を特定して冠動脈IDを画像処理装置10に通知するとともに、X線診断装置である医用画像診断装置20のCアームの角度情報を画像処理装置10に通知する。すると、画像処理装置10は、自装置に記憶している同じ被検体に関する過去の画像データから、冠動脈IDによって示される冠動脈の解析結果の画像データを検索し、検索した画像データについて、通知されたCアームの角度に応じた画像データを生成する。そして、画像処理装置10は、生成した画像データを携帯端末30に配信する。
【0045】
この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が、同じ観察方向から観察される解析結果として表示される。すなわち、表示位置が同期した解析結果の画像が携帯端末30に配信される。
【0046】
また、例えば、画像処理装置10は、リアルタイムに配信される動画データ内の時相情報(例えば、ECG(electrocardiogram)や呼吸などの生体情報)を用いて、リアルタイムに配信される動画データと関連コンテンツとの表示タイミングを同期させるように制御する。例えば、医用画像診断装置20は、被検体のECGを取得し、ECG(又は主要波(例えばR波)のタイミング)を画像処理装置10に送信する。すると、画像処理装置10は、同じ被検体に関する過去の画像データが、医用画像診断装置20から送信されるECGのタイミングと一致するように表示を制御する。そして、画像処理装置10は、タイミングを制御したこの画像データを、携帯端末30に配信する。
【0047】
この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が、同じECGのタイミングで同期しながら表示される。すなわち、表示タイミングが同期した解析結果の画像が携帯端末30に配信される。
【0048】
なお、上述した表示位置の同期や表示タイミングの同期は、医用画像診断装置20のコンソール画面、携帯端末30の画面、及び外部表示装置40の画面の全てで同期するように制御してもよいし、その一部で同期するように制御してもよい。また、同期させる情報も、全種類の情報が同期するように制御してもよいし、一部の情報のみが同期するように制御してもよい。また、同一のコンテンツ間で同期してもよいし、異なるコンテンツ間で同期してもよい。
【0049】
また、図6に示すように、第2の実施形態に係る医用画像制御システムは、更に応用として、携帯端末30が、画像処理装置10や医用画像診断装置20を介して、外部表示装置40にて表示中の動画データを制御する。すなわち、携帯端末30にて撮影条件の入力や動画データの編集が行われると、これらの情報が画像処理装置10を介して医用画像診断装置20に転送される。そして、医用画像診断装置20がこれらの情報に従って撮影や編集を行うことで、医用画像診断装置20から外部表示装置40にリアルタイムに配信される動画データに、携帯端末30にて行われた制御内容が反映される。
【0050】
例えば、携帯端末30は、図6に示すように、画像処理装置10から配信された動画データ上で、Cアームの角度を指定する操作(再生中のボリュームレンダリング画像を回転させる、若しくは、ジャイロセンサを備えた携帯端末30自体を回転させるなど)や、ROIの描画などを受け付け、受け付けたこれらの情報を画像処理装置10に送信する。画像処理装置10は、これらの情報を受信すると、受信した情報を医用画像診断装置20に転送する。すると、例えば、医用画像診断装置20は、画像処理装置10から転送されたCアームの角度の指定情報を撮影条件に反映して撮影を行う。また、例えば、医用画像診断装置20は、画像処理装置10から転送されたROIを、配信中の動画データに反映する。そして、医用画像診断装置20は、新たな撮影条件で収集された動画データを、コンソール画面上に表示するとともに、外部表示装置40にリアルタイムに配信する。また、この動画データ上には、携帯端末30にて描画されたROIが表示される。
【0051】
図7は、第2の実施形態に係る医用画像制御システムの構成例を説明するための図である。図7において、点線で囲んだ装置や部が、第1の実施形態の構成例に更に追加されたものである。図7に示すように、医用画像診断装置20は、更に、時間同期信号処理部29bと、位置同期信号処理部29cとを備える。
【0052】
時間同期信号処理部29bは、外部表示装置40に配信される動画データと携帯端末30に配信される関連コンテンツとの表示タイミングを同期させるための処理を行う。具体的には、時間同期信号処理部29bは、動画データに描出される対象物の時相情報を画像処理装置10に送信する。例えば、時間同期信号処理部29bは、被検体のECGを取得し、ECG(又は主要波(例えばR波)のタイミング)を画像処理装置10に送信する。
【0053】
位置同期信号処理部29cは、外部表示装置40に配信される動画データと携帯端末30に配信される関連コンテンツとの表示位置を同期させるための処理を行う。具体的には、位置同期信号処理部29cは、動画データに描出される対象物の位置情報を画像処理装置10に送信する。例えば、位置同期信号処理部29cは、治療対象部位や観察方向を特定し、これらの情報を画像処理装置10に送信する。なお、表示位置の同期及び表示タイミングの同期の双方が行われずに表示タイミングの同期のみが行われる場合、位置同期信号処理部29cによって特定された治療対象部位の情報などは、必要に応じて時間同期信号処理部29bに通知され、時間同期信号処理部29bから画像処理装置10に送信されればよい。
【0054】
図7に示すように、携帯端末30は、更に、画像処理装置遠隔制御部36bと、外部表示装置遠隔制御部36cと、位置同期制御部37aと、時間同期制御部37bとを備える。
【0055】
画像処理装置遠隔制御部36bは、医用画像診断装置遠隔制御部36aと同様、画像処理装置10に関する操作を受け付け、受け付けた操作内容を示す制御情報を画像処理装置10に送信することで、画像処理装置10を遠隔制御する。例えば、画像処理装置遠隔制御部36bは、関連コンテンツに関する操作を受け付け、受け付けた操作内容を示す制御情報を画像処理装置10に送信する。
【0056】
外部表示装置遠隔制御部36cは、医用画像診断装置遠隔制御部36aと同様、外部表示装置40に関する操作を受け付け、受け付けた操作内容を示す制御情報を外部表示装置40に送信することで、外部表示装置40を遠隔制御する。なお、携帯端末30と外部表示装置40とは、直接接続されてもよい。この場合、携帯端末30は、外部表示装置40のいわゆる操作用リモコンとして機能する。
【0057】
位置同期制御部37a及び時間同期制御部37bは、携帯端末30にて再生される関連コンテンツについて、表示位置の同期や表示タイミングの同期を制御する。ここで、後述するシーケンス図においては、画像処理装置10が、表示位置の同期や表示タイミングの同期を制御する例を説明する。すなわち、画像処理装置10が、表示位置や表示タイミングを同期させた上で、関連コンテンツを携帯端末30に配信する例を説明する。しかしながら、実施形態はこれに限られるものではなく、携帯端末30側にて、表示位置の同期や表示タイミングの同期を制御してもよい。例えば、位置同期制御部37a及び時間同期制御部37bは、画像処理装置10から、関連コンテンツとともに位置情報や時相情報を受信し、これらの位置情報や時相情報を用いて、関連コンテンツの再生を制御する。
【0058】
図7に示すように、画像処理装置10は、通信部11と、本体制御部12と、記憶部13と、画像処理部14と、アプリケーション管理部15とを備える。通信部11は、院内LANに接続する画像処理装置10のインタフェースである。通信部21は、ハブなどのネットワーク機器を経由して院内LANや院外のインターネットに接続され、医用画像診断装置20や携帯端末30との間で通信を行う。
【0059】
本体制御部12は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、画像処理装置10内の各処理部全体を制御する。また、本体制御部12は、配信部12aを備える。配信部12aは、医用画像診断装置20から送信された情報(例えば、位置情報の他、検査IDや患者IDなどが送信されてもよい)に基づいて、記憶部13に記憶されているコンテンツ群の中から関連コンテンツを特定し、特定した関連コンテンツを携帯端末30にリアルタイムにプッシュ型で配信する。配信部12aは、例えば、公知のストリーミング技術やプログレッシブダウンロード技術を用いて実現することが可能である。
【0060】
また、配信部12aは、携帯端末30に配信する関連コンテンツに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期するように、医用画像診断装置20から送信された位置情報に基づいて、関連コンテンツの配信を制御する。また、配信部12aは、携帯端末30に配信する関連コンテンツに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期するように、医用画像診断装置20から送信された時相情報に基づいて、関連コンテンツの配信を制御する。
【0061】
記憶部13は、ハードディスク、半導体メモリなどであり、画像処理装置10における各種情報を記憶する。画像処理部14は、画像処理装置10に入力された画像データに対して画像処理を施す。アプリケーション管理部15は、画像処理装置10に搭載されたアプリケーションを管理する。例えば、アプリケーション管理部15は、解析のためのアプリケーションを起動し、画像処理装置10に入力された画像データに対する解析を実行する。なお、第2の実施形態において、解析結果は、記憶部13に蓄積される。
【0062】
図7に示すように、外部表示装置40は、通信部41と、本体制御部42と、表示部43と、記憶部44と、入力部45と、動画処理部46とを備える。通信部41は、外部表示装置40のインタフェースであり、院内LANやインターネットに接続され、携帯端末30や医用画像診断装置20との間で通信を行う。
【0063】
本体制御部42は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、外部表示装置40内の各処理部全体を制御する。表示部43は、モニタであり、第2の実施形態においては、携帯端末30の表示部34よりも大画面であることを想定する。もっとも、実施形態はこれに限られるものではない。記憶部44は、ハードディスク、半導体メモリなどであり、外部表示装置40における各種情報を記憶する。入力部45は、リモコン、マウス、キーボード、トラックボールなどであり、外部表示装置40に対する操作を操作者から受け付ける。
【0064】
動画処理部46は、医用画像診断装置20によって配信された動画データを受信し、受信した動画データをリアルタイムに再生する。また、動画処理部46は、再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、動画データに反映する。この編集操作は、医用画像診断装置20にて撮影されている動画データとは独立に行うことができる。なお、動画処理部46は、携帯端末30から編集操作を受け付けることも可能である。
【0065】
図8及び図9は、第2の実施形態における処理手順の一例を示すシーケンス図である。なお、図8は、主に装置間接続時の処理手順を示し、図9は、主にコンテンツ配信時の処理手順を示す。実際の動作としては、まず、装置間接続した後にコンテンツを配信するため、これらの処理手順は、連続して実行されることが一般的である。
【0066】
(A)は、携帯端末30が接続するまでの処理手順である。図8に示すように、医用画像診断装置20を操作する操作者(図8において『院内ユーザ』)が、医用画像診断装置20に対して、院外ユーザを接続させることを要求する「院外ユーザ接続要求」を入力する(ステップS101)。例えば、操作者は、該当する院外ユーザのメールアドレスとともに「院外ユーザ接続要求」を入力する。
【0067】
すると、医用画像診断装置20は、「院外ユーザ接続要求」を、該当する院外ユーザが利用する携帯端末30に送信する(ステップS102)。例えば、医用画像診断装置20は、院内ユーザから入力されたメールアドレス宛に「院外ユーザ接続要求」をメール送信する。
【0068】
すると、携帯端末30が、携帯端末30の利用者に対して「院外ユーザ接続要求」を受信したことを通知し(ステップS103)、院外ユーザは、携帯端末30に対してログイン操作を行い(ステップS104)、医用画像診断装置20との間でユーザ認証を行う(ステップS105〜106)。例えば、院外ユーザは、「院外ユーザ接続要求」のメールを受信すると、このメールを開封し、メールに記載されたURLにアクセスするなどして、医用画像診断装置20に「ユーザ認証要求」(例えば、ID及びパスワード)を送信する。医用画像診断装置20は、ユーザの認証に成功すると、その承認結果を携帯端末30に送信する。
【0069】
(B)は、関連コンテンツを携帯端末へ配信するまでの処理手順である。図8に示すように、医用画像診断装置20は、画像処理装置10に対して装置識別子を要求し(ステップS107)、返答を受け取る(ステップS108)。そして、医用画像診断装置20は、携帯端末30に対して、画像処理装置10の装置識別子を送信する(ステップS109)。
【0070】
携帯端末30は、受信した装置識別子を指定することで、画像処理装置10に接続する(ステップS110)。例えば、携帯端末30は、装置識別子とURLとを予め対応付けて記憶し、受信した装置識別子に対応付けて記憶されているURLを指定してアクセスするなどして、画像処理装置10に接続する。
【0071】
画像処理装置10は、携帯端末30からの接続を受け付けると、携帯端末30との間でセッションを起動し、アプリケーションを起動して、関連コンテンツ(例えば、画像データ、解析結果)を読み込む(ステップS111)。なお、図8には図示されていないが、例えば、画像処理装置10は、予め、医用画像診断装置10から、関連コンテンツを特定するための情報を受け取り、この情報に基づいて、関連コンテンツを特定すればよい。例えば、画像処理装置10は、予め、医用画像診断装置10から、検査IDや患者IDなどの情報や、治療部位の情報などを受け取り、これらの情報に基づいて、同じ患者の過去の画像データや解析結果を検索する。そして、画像処理装置10は、検索した画像データや解析結果を関連コンテンツとして読み込む。
【0072】
そして、画像処理装置10は、関連コンテンツを携帯端末30に配信し(ステップS112)、携帯端末30は、配信された関連コンテンツを表示部34に表示する(ステップS113)。なお、関連コンテンツは、静止画データ、動画データ、患者情報、電子カルテ、検査レポートなどである。
【0073】
(C)は、リアルタイム動画を外部表示装置へ配信するまでの処理手順である。図8に示すように、携帯端末30は、配信先を変更することを要求する「配信先変更要求」を、医用画像診断装置20に対して送信する(ステップS114)。医用画像診断装置20は、これに応答する(ステップS115)。
【0074】
続いて、携帯端末30は、装置識別子を外部表示装置40に対して要求し(ステップS116)、その返答を受け取る(ステップS117)。そして、携帯端末30は、変更先の外部表示装置40を識別する装置識別子を医用画像診断装置20に対して送信する(ステップS118)。ここで、医用画像診断装置20が、外部表示装置40にアクセスするための情報を把握していない場合には、携帯端末30は、例えばステップS118にて装置識別子を送信する際に、外部表示装置40にアクセスするための情報を送信すればよい。
【0075】
次に、医用画像診断装置20は、携帯端末30から通知された外部表示装置40に接続し(ステップS119)、リアルタイムの動画配信を開始する(ステップS120)。すると、外部表示装置40は、医用画像診断装置20から配信された動画データを表示部43上で再生する(ステップS121)。
【0076】
図9の(A)は、表示位置を同期するための処理手順である。図9に示すように、医用画像診断装置20は、動画データを解析することで、治療対象の冠動脈を抽出する(ステップS201)。次に、医用画像診断装置20は、冠動脈を示す冠動脈IDやCアームの角度などの位置情報を、画像処理装置10に対して通知する(ステップS202)。なお、医用画像診断装置20は、関連コンテンツを特定するために必要なその他の情報を併せて通知してもよい。
【0077】
すると、画像処理装置10は、医用画像診断装置20から通知された情報を用いて、自装置や他装置に蓄積された過去の画像データから、指定された冠動脈の解析結果を検索する(ステップS203)。この場合、画像処理装置10は、携帯端末30に配信する解析結果に描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期するように、医用画像診断装置20から送信されたCアームの角度に基づいて、解析結果に描出される冠動脈の角度などを調整する。
【0078】
そして、画像処理装置10は、解析結果を携帯端末30に対して配信する(ステップS204)。すると、携帯端末30は、これを表示部34に表示する(ステップS205)。一方、医用画像診断装置20は、外部表示装置40に対してリアルタイムに動画配信を行い(ステップS206)、外部表示装置40は、これを表示部43に表示する(ステップS207)。こうして、携帯端末30に配信する解析結果に描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期する。
【0079】
(B)は、表示タイミングを同期するための処理手順である。図9に示すように、医用画像診断装置20は、被検体からECGを取得する(ステップS208)。次に、医用画像診断装置20は、ECGなどの時相情報を、画像処理装置10に対して通知する(ステップS209)。なお、医用画像診断装置20は、関連コンテンツを特定するために必要なその他の情報を併せて通知してもよい。
【0080】
すると、画像処理装置10は、医用画像診断装置20から通知された情報を用いて、自装置や他装置に蓄積された過去の画像データから、解析結果の動画データを検索する(ステップS210)。この場合、画像処理装置10は、携帯端末30に配信する解析結果の動画データに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期するように、すなわち、医用画像診断装置20から送信されたECGと一致するように解析結果の動画データに描出される対象物の表示タイミングを調整する。
【0081】
そして、画像処理装置10は、ECGと一致する表示タイミングとなった解析動画データを携帯端末30に対して配信する(ステップS211)。すると、携帯端末30は、これを表示部34に表示する(ステップS212)。一方、医用画像診断装置20は、外部表示装置40に対してリアルタイムに動画配信を行い(ステップS213)、外部表示装置40は、これを表示部43に表示する(ステップS214)。こうして、携帯端末30に配信する解析結果の動画データに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期する。
【0082】
(第2の実施形態の変形例)
なお、第2の実施形態は、上述した内容に限られるものではない。例えば、図7に、第2の実施形態に係る医用画像制御システムの構成例を図示したが、必ずしも全ての装置や部を備える構成が必須ではなく、一部の装置や部のみを追加した構成としてもよい。また、例えば、表示位置の同期や表示タイミングの同期は必須な構成ではない。
【0083】
また、図8及び図9に示した処理手順も、適宜変更することが可能である。例えば、図8の(A)に説明した認証の処理手順は、割愛してもよいし、他の手順に変更してもよい。例えば、院外ユーザから接続を要求する手順に変更してもよい。また、図8の(B)に説明した処理手順は、例えば、最初は携帯端末30にリアルタイムに動画を配信し、その後、携帯端末30からの要求を契機として、外部表示装置40に配信先が変更されてもよい。この場合、外部表示装置40は、携帯端末30における編集状態を引き継いだ状態で動画データの配信を受けてもよい。また、例えば、図9の(A)や(B)に説明した処理手順は、いずれか一方のみでもよく、また、位置情報や時相情報として画像処理装置10に通知される情報は、任意に変更することができる。また、関連コンテンツとリアルタイム動画の表示は、逆でもよい。すなわち、携帯端末30にリアルタイム動画が配信され、外部表示装置40に関連コンテンツが配信されてもよい。この場合には、携帯端末30は、画像処理装置10に対して、配信先の変更を要求することになる。
【0084】
また、外部表示装置40は、携帯端末30と比較して大画面でなければならないものではなく、他の携帯端末でもよい。また、第2の実施形態においては、1台の医用画像診断装置、1台の画像処理装置、1台の携帯端末、及び1台の外部表示装置を例に挙げて説明したが、実施形態はこれに限られるものではない。複数の医用画像診断装置、複数の画像処理装置、複数の携帯端末、及び複数の外部表示装置がネットワークを介して接続された状態で、これらの装置のうちの一部の装置が通信を行って、表示位置や表示タイミングを同期させた表示を行ってもよい。また、この場合、任意の装置上で編集した一時的な編集状態を、他の装置が引き継ぐことが可能である。すなわち、任意の装置で受け付けた編集情報は、ネットワークを介して他の装置に送信され、他の装置において反映されればよい。
【0085】
また、図10は、第2の実施形態の変形例を説明するための図である。図10に示すように、術場(手術室などの医療現場)を撮影した動画データも、併せてリアルタイム動画配信されてもよい。また、図10に示すように、生体情報についても、併せてリアルタイム配信されてもよい。図10に示すように、例えば、外部表示装置40は、被検体を撮影した動画データ、術場を撮影した動画データ、及び生体情報を、全てリアルタイム配信により受信し、これらを1画面内に表示することができる。
【0086】
(第2の実施形態の効果)
上述したように、第2の実施形態によれば、リアルタイムの動画配信を一方の装置で受信して表示し、これと関連するコンテンツの配信を他方の装置(例えば、携帯端末)で受信して表示することで、携帯端末の利用者は、複数の情報を閲覧しながら遠隔から医療行為を支援することが可能になる。また、画像処理装置のようなサーバを中心として、携帯端末、医用画像診断装置、外部表示装置にて表示されるコンテンツを同期させたり、編集内容や操作内容を共有することが可能になる。
【0087】
(第3の実施形態)
第3の実施形態に係る医用画像制御システムは、遠隔制御の機能制限による安全対策を講じる。具体的には、医用画像診断装置20(ローカル側)は、操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを保持し、携帯端末30(リモート側)から操作を受け付けると、このリスクテーブルを参照して、携帯端末30の操作者(リモートユーザ)の操作内容を制御する。なお、第3の実施形態に係る医用画像制御システムは、第1及び第2の実施形態に係る医用画像制御システムと同様の構成を有し、第1及び第2の実施形態に係る医用画像制御システムに適用することができる。
【0088】
図11は、第3の実施形態におけるリスクテーブルを説明するための図である。なお、図11に例示する内容はあくまで一例に過ぎず、運用の形態に応じて任意に変更される。例えば、医用画像診断装置20は、記憶部23にリスクテーブルを記憶する。リスクテーブルは、例えば、図11に示すように、リスクレベルと、機能(操作)と、操作の制限内容とを対応付ける。例えば、リスクレベル『A』は、人体への危険性が極めて高いレベルであり、『B』は、人体への危険性が高いレベルであり、『C』は、人体への危険性が低いレベルである。
【0089】
例えば、リスクレベル『A』には、機能(操作)として、『撮影開始』が対応付けられている。例えば、ローカルユーザの意図しないタイミングで撮影が開始されることで、急にCアームが動作したり、急にX線の照射が開始すると、人体への危険性は極めて高いといえる。このため、リモートユーザに対してはこのような操作を制限することが望ましい。そこで、リスクテーブルには、『撮影開始』に対応付けて『操作不可』が記憶される。同様に、例えば、リスクレベル『B』には、機能(操作)として、『撮影中の画像の条件変更』が対応付けられている。リモートユーザに対しては、ローカルユーザによる承認を前提に、このような操作を可能とする。また、例えば、リスクレベル『C』には、機能(操作)として、『保存画像の操作』が対応付けられている。このような操作は危険性が低いものであるので、リモートユーザに対して特に制限する必要がない。そこで、リスクテーブルには、『保存画像の操作』に対応付けて『操作可能』が記憶される。
【0090】
このような構成の下、医用画像診断装置20の反映部22bは、携帯端末30から制御情報を受信すると、リスクテーブルを参照して制御情報によって示される操作内容のリスクレベルを特定し、特定したリスクレベルに対応付けられた制限内容に応じて、医用画像診断装置20による処理への反映を制御する。
【0091】
図12及び図13は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。図12に示すように、例えば、医用画像診断装置20を操作するローカルユーザが、そのコンソール画面上で再生される動画データ上に、ROIを描画したとする(S1)。ROIが描画された動画データは、携帯端末30に配信される(S2)。すると、例えば、携帯端末30は、動画データに対する編集操作としてROIの編集を受け付け(S3)、受け付けた編集情報を、医用画像診断装置20に転送する(S4)。ここで、第3の実施形態に係る反映部22bは、リスクテーブルを参照し、制御情報によって示される操作内容(ROIの編集)のリスクレベルを評価し、例えばリスクレベル『B』と判断する(S5)。
【0092】
第3の実施形態において、リスクレベル『B』は、ローカルユーザによる承認を前提に操作が許可されるレベルである。そこで、反映部22bは、例えば、コンソール画面上で再生される動画データに対して、ローカルユーザによって描画されたROIと、リモートユーザによって編集されたROIとが区別できるように、異なる表示属性(例えば、異なる色や異なる形状、その組合せなど)で、ROIを表示する(S6)。例えば、図12において、反映部22bは、比較画面を表示するが、この比較画面上では、ローカルユーザによって描画されたROIが点線の楕円で示され、リモートユーザによって編集されたROIが実線の四角で示されている。ローカル側での承認の際、それぞれを区別して比較することが可能である。
【0093】
そこで、ローカルユーザは、この比較画面を閲覧し、リモートユーザによるROIの編集を承認するか否かを判断し、その判断結果を、医用画像診断装置20に入力する。すると、例えば、反映部22bは、ローカルユーザによる承認の有無に応じて、最終的なROIの結果を示す結果表示画面を表示する。例えば、反映部22bは、承認された場合には、リモートユーザによって編集されたROIを採用してその後の処理を実行する。一方、反映部22bは、承認されなかった場合には、ローカルユーザによって描画されたROIを採用してその後の処理を実行する。
【0094】
また、図13に示すように、例えば、ROIの編集がリスクレベル『A』でリスクテーブルに管理されていた場合、リスクレベル『A』は、リモートユーザに対して操作を許可しないレベルである。そこで、反映部22bは、リモートユーザによる編集内容を拒絶し、リモートユーザによって編集されたROIを採用せずに、ローカルユーザによって描画されたROIを採用してその後の処理を実行する(S6)。例えば、反映部22bは、携帯端末30に対して、元の状態(すなわち、ローカルユーザによって描画されたROIが表示された状態)の画面を転送する(S7)。なお、反映部22bは、例えば、操作が受け付けられなかった旨の通知情報を転送してもよい。
【0095】
なお、第3の実施形態はこれに限られるものではない。図14は、第3の実施形態における遠隔制御の機能制限の変形例を説明するための図である。例えば、医用画像診断装置20の配信部22aは、動画データを携帯端末30に配信する際に、リスクテーブルを参照し、携帯端末30にて操作を受け付けるための操作画面として、制限内容に基づき操作内容が制限された操作画面を配信してもよい。
【0096】
例えば、図14においては、医用画像診断装置20のコンソール画面や携帯端末30の表示部34上に、操作を受け付けるための操作画面が表示され、操作画面には、機能別の操作ボタンが表示されることを想定する。例えば、『機能1』は、リスクレベル『A』の操作を実行するための操作ボタンであり、『機能2』は、リスクレベル『B』の操作を実行するための操作ボタンであり、『機能3』は、リスクレベル『C』の操作を実行するための操作ボタンであるとする。
【0097】
例えば、ローカル側では全ての操作が許可されているので、医用画像診断装置20は、コンソール画面に、『機能1』、『機能2』、及び『機能3』の全ての操作ボタンを表示する。しかしながら、配信部22aは、動画データを携帯端末30に配信する際に、リスクテーブルを参照し、携帯端末30側の操作画面上に表示される各機能のリスクレベルを評価する(S1)。そして、配信部22aは、リスクレベル『A』に対応する機能の操作ボタンについては、携帯端末30側で非表示(若しくは操作不可の状態)となるように変更した操作画面を、携帯端末30に配信する。例えば、図14において、携帯端末30に表示される操作画面では、『機能1』の操作ボタンは表示されず、『機能2』及び『機能3』の操作ボタンが表示される。このため、リモートユーザは、リスクレベル『B』又は『C』の機能を操作して、編集結果を転送することになる(S3)。
【0098】
なお、医用画像診断装置20は、ローカルユーザ及びリモートユーザによる操作の履歴や、実際にどちらの操作が適用されたか、どのローカルユーザが承認したかなどを示す履歴を記憶してもよい。この場合、医用画像診断装置20は、例えば、ローカルユーザによる操作と、リモートユーザによる操作とを比較して、その差分を評価してもよい。また、医用画像診断装置20は、処理の巻き戻しの操作を受け付けて、過去の状態を再現してもよい。例えば、ローカルユーザがその場を離れた間に、リモートユーザによる操作(例えば、リスクレベル『C』の操作)が行われた場合に、ローカルユーザは、医用画像診断装置20に蓄積された履歴を閲覧し、例えば、ローカルユーザ自身が行った操作で最新の操作の状態まで処理の状態を巻き戻すよう、指定することができる。医用画像診断装置20は、履歴の指定を受け付けると、指定された履歴の状態を再現する。
【0099】
なお、第3の実施形態においては、医用画像診断装置20がリスクテーブルを保持し、リモートユーザの操作内容を制限する例を説明したが、実施形態はこれに限られるものではない。例えば、医用画像診断装置20とは異なる装置が、医用画像診断装置20と携帯端末30との間の通信に介在し、保持するリスクテーブルに基づきリモートユーザの操作内容を制限する構成などでもよい。
【0100】
(その他の実施形態)
実施形態に係る医用画像制御システム及び携帯端末は、上記実施形態に限られるものではない。
【0101】
上記実施形態においては、医用画像診断装置20としてX線診断装置やX線CT装置を例に挙げて説明したが、実施形態はこれに限られるものではない。医用画像診断装置20は、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT−CT装置、PET−CT装置などでもよい。また、医用画像診断装置20は、ガンマナイフ(Gamma Knife)やサイバーナイフ(Cyber Knife)などの放射線治療装置に置き換えられてもよい。また、医用画像診断装置20は、上記実施形態において説明した機能が、医用画像診断装置から独立した別の装置に備えられる構成でもよい。例えば、この別の装置は、撮影部などの処理部を備えずに、リアルタイム動画配信の機能や、時間同期、位置同期の機能などを備えればよい。
【0102】
また、上記実施形態においては、画像処理装置10として、画像処理のためのアプリケーションなどを搭載したワークステーション(WS(workstation))を例に挙げて説明したが、実施形態はこれに限られるものではない。画像処理装置10は、PACS(Picture Archiving and Communication System)が導入されている場合の画像保管装置や、放射線治療計画装置などに置き換えられてもよい。
【0103】
また、上記実施形態においては、外部表示装置40として、TV装置やPCなどを例に挙げて説明したが、実施形態はこれに限られるものではない。例えば、外部表示装置40は、関連コンテンツを表示する携帯端末30とは別の携帯端末に置き換えられてもよい。
【0104】
また、医用画像診断装置20の設置場所や携帯端末30の利用場所は、院内に限定されるものではなく、例えば、救急車の中や災害現場などの屋外でもよい。医用画像診断装置20と携帯端末30とが直接又は間接に通信可能な環境であればよい。また、画像処理装置10や外部表示装置40とも直接又は間接に通信可能な環境であれば、第2の実施形態についても同様に実現することが可能である。
【0105】
また、上記実施形態においては、リアルタイムに配信する動画データとして、医用画像診断装置20にて収集、生成された動画データを例に挙げて説明したが、実施形態はこれに限られるものではない。リアルタイムに配信する動画データは、例えば、Angio室、手術室、救急車内などを動画撮影した動画データに置き換えられてもよい。この場合、この動画データをリアルタイムに配信する装置と携帯端末30とが直接又は間接に通信可能な環境であればよい。また、上記実施形態においては、携帯端末30における動画データの再生を例に挙げて説明したが、実施形態はこれに限られるものではない。例えば、静止画データ、電子カルテ、検査レポート、患者情報などが携帯端末30において表示されてもよい。例えば、外部表示装置40にはリアルタイムの動画データが表示され、携帯端末30には、この動画データに描出される患者の患者情報などが表示されてもよい。
【0106】
また、上記実施形態においては、医用画像診断装置20と携帯端末30とがネットワーク50を介して間接的に接続する例を説明したが、実施形態はこれに限られるものではない。医用画像診断装置20と携帯端末30とは直接接続されてもよい。
【0107】
(その他)
なお、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0108】
また、上述の実施形態で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0109】
以上述べた少なくとも一つの実施形態の医用画像制御システム及び携帯端末によれば、携帯端末によって医療行為を支援することが可能になる。
【0110】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0111】
10 画像処理装置
20 医用画像診断装置
30 携帯端末
40 外部表示装置
50 ネットワーク
【技術分野】
【0001】
本発明の実施形態は、医用画像制御システム及び携帯端末に関する。
【背景技術】
【0002】
近年、医療現場における医師不足が深刻な問題となっており、その対策のひとつとして遠隔医療支援システムが登場した。遠隔医療支援システムは、主に病院内(以下、院内)に設置された装置に対する遠隔からのアクセスを実現することで、院内の医療行為を支援するシステムである。
【0003】
例えば、緊急を要する事態が深夜に発生した場合、以前であれば、担当の医師が深夜であるにも関わらず病院に駆けつけたり、音声データのみの電話によって現場に指示したりすることが一般的であった。この点、遠隔医療支援システムの登場により、医師は、自宅や出張先などから院内の装置にアクセスし、画像データなどの情報をPC(Personal Computer)によって閲覧することが可能になった。更に、携帯電話やタブレット(tablet)PCなどの携帯端末の普及に伴い、自宅や出張先に限らず、例えば車や新幹線で移動中の場合などにも、院内の医療行為を支援することが可能なシステムが望まれている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−75927号公報
【特許文献2】特開2006−198241号公報
【特許文献3】特開2003−93354号公報
【特許文献4】特開2005−34207号公報
【非特許文献】
【0005】
【非特許文献1】“遠隔画像診断治療補助システム「i-Stroke(アイストローク)」”、2011年6月16日、富士フイルム株式会社、[平成23年7月20日検索]、インターネット<URL:http://www.fujifilm.co.jp/corporate/news/articleffnr_0519.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、携帯端末を用いて医療行為を支援することが可能な医用画像制御システム及び携帯端末を提供することである。
【課題を解決するための手段】
【0007】
実施形態の医用画像制御システムは、医用画像診断装置と、携帯端末とを備える。医用画像診断装置は、収集部と、配信部と、反映部とを備える。収集部は、所定の撮影条件に従って被検体を動画撮影し、動画データを収集する。配信部は、前記動画データを携帯端末に即時に配信する。反映部は、前記携帯端末から送信された制御情報を受信し、受信した制御情報を前記医用画像診断装置による処理に反映する。携帯端末は、再生部と、制御情報送信部とを備える。再生部は、前記配信部によって配信された動画データを受信し、受信した動画データを即時に再生する。制御情報送信部は、前記医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を前記医用画像診断装置に送信する。
【図面の簡単な説明】
【0008】
【図1】図1は、第1の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図2】図2は、第1の実施形態に係る医用画像制御システムの構成例を説明するための図である。
【図3】図3は、第1の実施形態における処理手順の一例を示すフローチャートである。
【図4】図4は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図5】図5は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図6】図6は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【図7】図7は、第2の実施形態に係る医用画像制御システムの構成例を説明するための図である。
【図8】図8は、第2の実施形態における処理手順の一例を示すシーケンス図である。
【図9】図9は、第2の実施形態における処理手順の一例を示すシーケンス図である。
【図10】図10は、第2の実施形態の変形例を説明するための図である。
【図11】図11は、第3の実施形態におけるリスクテーブルを説明するための図である。
【図12】図12は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。
【図13】図13は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。
【図14】図14は、第3の実施形態における遠隔制御の機能制限の変形例を説明するための図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、医用画像制御システム及び携帯端末の実施形態を詳細に説明する。
【0010】
(第1の実施形態)
図1は、第1の実施形態に係る医用画像制御システムの概念を説明するための図である。図1に示すように、第1の実施形態に係る医用画像制御システムは、医用画像診断装置20と携帯端末30とを備え、医用画像診断装置20が、携帯端末30に対してリアルタイム(real time)の動画配信を行う。すなわち、医用画像診断装置20は、被検体を動画撮影することにより収集した動画データを携帯端末30に即時に配信する。
【0011】
また、第1の実施形態において、携帯端末30は、医用画像診断装置20に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置20に送信する。例えば、医用画像診断装置20がX線診断装置の場合、携帯端末30は、図1に示すように、医用画像診断装置20における撮影条件に関する操作として、Cアーム(arm)の角度を指定する操作を受け付け、受け付けた角度の指定情報を、医用画像診断装置20に送信する。医用画像診断装置20は、この指定情報を受信すると、携帯端末30によって指定されたCアームの角度を撮影条件に反映し、撮影を行う。
【0012】
また、例えば、携帯端末30は、図1に示すように、医用画像診断装置20から配信された動画データ(例えば、X線画像)に対する編集操作(例えば、ROI(Region Of Interest)の描画)を受け付け、受け付けた編集情報を、医用画像診断装置20に送信する。医用画像診断装置20は、この編集情報を受信すると、受信した編集情報を医用画像診断装置20にて再生される動画データに反映する。例えば、医用画像診断装置20は、医用画像診断装置20が備えるコンソール(console)画面上で再生される動画データ上に、携帯端末30にて描画されたROIを表示する。
【0013】
図2は、第1の実施形態に係る医用画像制御システムの構成例を説明するための図である。図2に示すように、医用画像診断装置20と携帯端末30とは、ネットワーク50を介して接続される。例えば、無線LAN(Local Area Network)や携帯電話網などを経由してインターネットに接続可能な携帯端末30は、このインターネットを介して、院内LANに設置された医用画像診断装置20にアクセスする。なお、医用画像制御システムが院内に閉じた環境で実現される場合、例えば、携帯端末30は、院内LANを介して、医用画像診断装置20にアクセスする。
【0014】
医用画像診断装置20は、通信部21と、本体制御部22と、記憶部23と、表示部24と、入力部25と、撮影部26と、再構成部27と、演算処理部28と、遠隔装置用演算処理部29aとを備える。
【0015】
通信部21は、院内LANに接続する医用画像診断装置20のインタフェースである。通信部21は、ハブ(hub)などのネットワーク機器を経由して院内LANや院外のインターネットに接続され、携帯端末30との間で通信を行う。
【0016】
本体制御部22は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路であり、医用画像診断装置20内の各処理部全体を制御する。本体制御部22は、配信部22aと、反映部22bとを備える。
【0017】
配信部22aは、撮影部26によって収集され、再構成部27や演算処理部28によって生成された動画データを、携帯端末30にリアルタイムにプッシュ型で配信する。配信部22aは、例えば、公知のストリーミング(streaming)技術(例えば、RTSP(Real Time Streaming Protocol)など)や、プログレッシブダウンロード(progressive download)技術を用いて実現することが可能である。
【0018】
反映部22bは、携帯端末30から送信された制御情報を受信し、受信した制御情報を、医用画像診断装置20による処理に反映する。例えば、反映部22bは、携帯端末30から撮影条件の設定情報(例えば、Cアームの角度の指定情報)を受信した場合には、受信した設定情報を、医用画像診断装置20にて用いられる撮影条件に反映する。また、例えば、反映部22bは、携帯端末30から動画データに対する編集情報(例えば、ROIの編集情報)を受信した場合には、受信した編集情報を、医用画像診断装置20にて再生される動画データに反映する。
【0019】
記憶部23は、ハードディスク、半導体メモリなどであり、医用画像診断装置20における各種情報を記憶する。例えば、記憶部23は、撮影部26によって用いられる撮影条件や、撮影部26によって収集された撮影データ、あるいは、再構成部27によって生成された画像データや、演算処理部28によって生成された画像データなどを記憶する。
【0020】
表示部24は、モニタであり、医用画像診断装置20のコンソール画面として、医用画像診断装置20における各種情報を表示する。例えば、表示部24は、医用画像診断装置20に対する操作を受け付けるためのGUI(Graphical User Interface)や、撮影中や撮影後に、再構成部27や演算処理部28によって生成された画像データなどを表示する。入力部25は、マウス、キーボード、トラックボールなどであり、医用画像診断装置20に対する操作を操作者から受け付ける。
【0021】
撮影部26は、所定の撮影条件に従って医用画像診断装置20のハードウェアを制御することで被検体を撮影し、撮影データを収集する。例えば、医用画像診断装置20がX線診断装置の場合、撮影部26は、操作者による撮影開始ボタンの押下を受け付けると、Cアーム及びX線管を制御することで被検体を撮影し、検出器を制御することで被検体を透過したX線を受信する。また、第1の実施形態に係る撮影部26は、被検体を動画撮影し、動画撮影データを収集する。
【0022】
再構成部27は、撮影部26によって収集された撮影データを再構成し、画像データを生成する。例えば、再構成部27は、撮影部26によって収集された動画撮影データを再構成し、動画データを生成する。
【0023】
演算処理部28は、再構成部27によって生成された画像データに対して画像処理を施す。例えば、医用画像診断装置20がX線CT(Computed Tomography)装置の場合、演算処理部28は、再構成部27によって生成されたスライス画像の画像データをボリュームデータに変換し、画像データ間の位置合わせや特定領域の抽出などの画像処理を施した後、ボリュームレンダリング処理を行う。
【0024】
遠隔装置用演算処理部29aは、医用画像診断装置20及び携帯端末30それぞれにおいて異なる操作を受け付け、受け付けた操作を並列に実行する場合に、携帯端末30専用の処理を行う。例えば、医用画像診断装置20の表示部24(コンソール画面、ローカル画面とも称する)及び携帯端末30の表示部34(リモート画面)それぞれにおいて異なる操作を受け付け、受け付けた操作を並列に実行する場合に、リモート画面専用の処理を行う。この場合、例えば、ローカル画面とリモート画面とで異なるコンテンツが表示され、異なる操作が並列に実行されるなどする。なお、ローカル画面及びリモート画面の双方にて医用画像診断装置20の制御が可能な場合、一方のみが制御権を持つように制御してもよい。例えば、携帯端末30が制御権を持つ場合、医用画像診断装置20にて収集され、記憶されている動画データに対して、ローカル画面からの操作はできず、リモート画面からの操作のみが有効となる。
【0025】
携帯端末30は、PCやタブレット式PC、PDA(Personal Digital Assistant)、携帯電話などである。図2に示すように、携帯端末30は、通信部31と、携帯端末制御部32と、入力部33と、表示部34と、記憶部35と、医用画像診断装置遠隔制御部36aとを備える。
【0026】
通信部31は、携帯端末30のインタフェースであり、無線アクセスポイントなど経由して院内LANやインターネットに接続され、医用画像診断装置20との間で通信を行う。携帯端末制御部32は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、携帯端末30内の各処理部全体を制御する。携帯端末制御部32は、再生部32aと、動画データ編集部32bとを備える。
【0027】
再生部32aは、医用画像診断装置20から配信された動画データを受信し、受信した動画データを、表示部34にリアルタイムに再生する。動画データ編集部32bは、再生部32aによって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、再生部32aによって再生される動画データに反映する。例えば、動画データ編集部32bは、再生中の動画データに対するROIの描画を受け付けると、受け付けたROIを再生中の動画データに表示する。なお、動画データ編集部32bによって受け付けられた編集操作の内容は、記憶部35に記憶されてもよい。
【0028】
入力部33は、タッチパネル、専用ボタン、ジャイロセンサなどであり、携帯端末30に対する操作を操作者から受け付ける。表示部34は、液晶パネルなどであり、携帯端末30の画面(リモート画面)として、携帯端末30における各種情報を表示する。例えば、表示部34は、医用画像診断装置20から送信された画像データや、医用画像診断装置20に対する操作を受け付けるためのGUIなどを表示する。なお、入力部33がタッチパネルの場合、入力部33と表示部34とは兼用される場合もある。記憶部35は、ハードディスク、半導体メモリなどであり、携帯端末30における各種情報を記憶する。
【0029】
医用画像診断装置遠隔制御部36aは、医用画像診断装置20に関する操作を受け付け、受け付けた操作内容を示す制御情報を医用画像診断装置20に送信することで、医用画像診断装置20を遠隔制御する。例えば、医用画像診断装置遠隔制御部36aは、撮影条件に関する操作(例えば、Cアームの角度の指定)を受け付け、受け付けた撮影条件の設定情報を医用画像診断装置20に送信する。また、例えば、医用画像診断装置遠隔制御部36aは、動画データに対する編集情報(例えば、ROIの描画)を受け付け、受け付けた編集情報を医用画像診断装置20に送信する。なお、医用画像診断装置20側では、携帯端末30から送信された編集情報を受信し、これをローカル画面に再生中の動画データに反映したり、バックグラウンドで記憶部23に保存したりする。また、編集情報は、携帯端末30の記憶部35に記憶されてもよい。
【0030】
図3は、第1の実施形態における処理手順の一例を示すフローチャートである。図3に示すように、第1の実施形態に係る医用画像制御システムにおいて、まず、検査若しくは治療が開始され、医用画像診断装置20において撮影が開始される(ステップS01)。
【0031】
次に、セキュリティの観点から、医用画像診断装置20と携帯端末30との間で、相互認証が行われる(ステップS02)。例えば、医用画像診断装置20と携帯端末30との間で互いの識別子を取得し、安全な機器であるか否かを認証する。
【0032】
一例を説明すると、例えば、携帯端末30の利用者は、接続先ID(医用画像診断装置20のID)が登録済みであるか否かを確認する(ステップS02−1)。登録済みである場合には(ステップS02−1肯定)、携帯端末30の利用者は、登録済みの接続先IDを選択する操作を行う(ステップS02−2)。一方、登録済みでない場合には(ステップS02−1否定)、医用画像診断装置20の利用者が、医用画像診断装置20から携帯端末30に対して接続依頼通知を送信するように(例えば、メール送信するように)操作する(ステップS02−3)。すると、携帯端末30の利用者は、接続依頼通知内の接続先IDを選択する操作を行う(ステップS02−4)。
【0033】
こうして、携帯端末30の利用者は、接続先IDを選択することで、例えば接続先IDに対応付けられたURL(Uniform Resource Locator)にアクセスして携帯端末30から医用画像診断装置20にログインし(ステップS02−5)、医用画像診断装置20と携帯端末30との間で接続が確立する(ステップS02−6)。なお、医用画像診断装置20と携帯端末30との間で接続を確立する処理は、上述した例に限られるものではなく、その他の公知の認証技術を用いて実現することが可能である。
【0034】
続いて、医用画像診断装置20の配信部22aが、携帯端末30に対して動画データやその他のコンテンツを送信する(ステップS03)。例えば、配信部22aは、現在ローカル画面に再生中(若しくは表示中)のコンテンツを携帯端末30へ転送する(ステップS03−1)。動画データを配信する場合は、上述したように、例えば、公知のストリーミング技術やプログレッシブダウンロード技術を用いる。
【0035】
具体例を挙げて説明すると、配信部22aが、撮影条件を入力するメニュー画面を携帯端末30に対して送信することで、リモート画面には、このメニュー画面が表示される(ステップS03−2)。携帯端末30の利用者は、例えば、このメニュー画面に数値や文字を入力することで、X線管の管電流や管電圧などの撮影条件を入力する。すると、携帯端末30の医用画像診断装置遠隔制御部36aは、利用者によって入力された撮影条件の設定情報を、医用画像診断装置20に送信する。医用画像診断装置20側では、これらの撮影条件を反映した撮影を行う。このように、携帯端末30から医用画像診断装置20における撮影を制御することが可能である。
【0036】
また、配信部22aが、ローカル画面に再生中の動画データを携帯端末30に対して送信することで、リモート画面には、ローカル画面と同じ動画データが再生される(ステップS03−3)。携帯端末30の利用者は、例えば、この動画データ上で、マウスによるドラッグ操作や、携帯端末30を傾けるといった操作によって、撮影方向などの撮影条件を入力する。すると、携帯端末30の医用画像診断装置遠隔制御部36aは、利用者によって入力された撮影条件の設定情報を、医用画像診断装置20に送信する。医用画像診断装置20側では、これらの撮影条件を反映した撮影を行う。このように、携帯端末30から医用画像診断装置20における撮影を制御することが可能である。
【0037】
また、配信部22aが、ローカル画面に再生中の動画データとは異なる動画データ(例えば、医用画像診断装置20に保存されている動画データ)を携帯端末30に対して送信することで、リモート画面には、ローカル画面とは異なる動画データが再生される(ステップS03−4)。携帯端末30の利用者は、例えば、この動画データに対して、ROIの描画などを行う。すると、携帯端末30の動画データ編集部32bが、利用者によって入力された編集情報を、携帯端末30の記憶部35に保存したり、医用画像診断装置遠隔制御部36aが、利用者によって入力された編集情報を、医用画像診断装置20に送信したりする。このように、医用画像診断装置20が配信する動画データの再生状態を、医用画像診断装置20において再生されている動画データの再生状態とは独立して指定することができ、携帯端末30側にて編集することができる。
【0038】
(第1の実施形態の効果)
上述したように、第1の実施形態によれば、医用画像診断装置20にて撮影中の動画データを、携帯端末30にてリアルタイムに再生することが可能になる。また、第1の実施形態によれば、医用画像診断装置20にて行われる撮影の撮影条件を、携帯端末30から制御することが可能になる。また、第1の実施形態によれば、医用画像診断装置20から配信された動画データを、携帯端末30側で編集することが可能になる。なお、医用画像制御システムは、必ずしもこれらの機能全てを備える必要はなく、一部の機能を備えるのみでもよい。例えば、携帯端末30に対するリアルタイムの動画配信のみを行い、携帯端末30における撮影条件の制御や編集を受け付けないシステムであってもよい。また、例えば、携帯端末30側で実行可能な操作を、利用者毎のアクセス権限によって制御してもよい。
【0039】
(第2の実施形態)
図4〜6は、第2の実施形態に係る医用画像制御システムの概念を説明するための図である。
【0040】
第2の実施形態に係る医用画像制御システムは、図4に示すように、医用画像診断装置20及び携帯端末30の他に、画像処理装置10及び外部表示装置40を備える。医用画像診断装置20からリアルタイムに行われる動画配信の配信先は外部表示装置40に変更され、携帯端末30には、外部表示装置40に配信される動画データと関連する別のコンテンツ(以下、関連コンテンツ)が、画像処理装置10から同時配信される。関連コンテンツを特定する情報は、医用画像診断装置20から画像処理装置10に送信される。
【0041】
例えば、外部表示装置40は、TV(television)装置やPCなどであり、例えば、携帯端末30の表示部34に比較して大画面の表示部を有するものである。医用画像診断装置20から配信される動画データについては大画面の外部表示装置40が表示し、一方、携帯端末30は、画像処理装置10から関連コンテンツを受信して表示する。
【0042】
関連コンテンツの一例を説明する。例えば、医用画像診断装置20は、自装置にて収集された動画データに対して画像処理による解析を行うことでカテーテルの位置を特定し、特定したカテーテルの位置から治療対象の冠動脈部位を特定し、特定した冠動脈部位を示す冠動脈IDを画像処理装置10に通知する。すると、画像処理装置10は、自装置に記憶している同じ被検体に関する過去の画像データから、冠動脈IDによって示される冠動脈の解析結果の画像データを検索し、検索した画像データを関連コンテンツとして携帯端末30に送信する。この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が表示される。携帯端末30の利用者は、治療中の患者の過去の冠動脈部位の解析結果を参照しながら、治療中の動画データを確認することができる。例えば、携帯端末30の表示部34が小さい場合などに有効である。
【0043】
また、図5に示すように、第2の実施形態に係る医用画像制御システムは、更に応用として、リアルタイムに配信される動画データと関連コンテンツとを同期させるように制御する。
【0044】
例えば、画像処理装置10は、リアルタイムに配信される動画データ内の位置情報(例えば、治療対象部位や観察方向)を用いて、リアルタイムに配信される動画データと関連コンテンツとの表示位置を同期させるように制御する。例えば、医用画像診断装置20は、治療対象の冠動脈部位を特定して冠動脈IDを画像処理装置10に通知するとともに、X線診断装置である医用画像診断装置20のCアームの角度情報を画像処理装置10に通知する。すると、画像処理装置10は、自装置に記憶している同じ被検体に関する過去の画像データから、冠動脈IDによって示される冠動脈の解析結果の画像データを検索し、検索した画像データについて、通知されたCアームの角度に応じた画像データを生成する。そして、画像処理装置10は、生成した画像データを携帯端末30に配信する。
【0045】
この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が、同じ観察方向から観察される解析結果として表示される。すなわち、表示位置が同期した解析結果の画像が携帯端末30に配信される。
【0046】
また、例えば、画像処理装置10は、リアルタイムに配信される動画データ内の時相情報(例えば、ECG(electrocardiogram)や呼吸などの生体情報)を用いて、リアルタイムに配信される動画データと関連コンテンツとの表示タイミングを同期させるように制御する。例えば、医用画像診断装置20は、被検体のECGを取得し、ECG(又は主要波(例えばR波)のタイミング)を画像処理装置10に送信する。すると、画像処理装置10は、同じ被検体に関する過去の画像データが、医用画像診断装置20から送信されるECGのタイミングと一致するように表示を制御する。そして、画像処理装置10は、タイミングを制御したこの画像データを、携帯端末30に配信する。
【0047】
この結果、大画面の外部表示装置40には、治療中の冠動脈部位の動画データがリアルタイムに表示され、携帯端末30には、同じ患者の過去の冠動脈部位の解析結果が、同じECGのタイミングで同期しながら表示される。すなわち、表示タイミングが同期した解析結果の画像が携帯端末30に配信される。
【0048】
なお、上述した表示位置の同期や表示タイミングの同期は、医用画像診断装置20のコンソール画面、携帯端末30の画面、及び外部表示装置40の画面の全てで同期するように制御してもよいし、その一部で同期するように制御してもよい。また、同期させる情報も、全種類の情報が同期するように制御してもよいし、一部の情報のみが同期するように制御してもよい。また、同一のコンテンツ間で同期してもよいし、異なるコンテンツ間で同期してもよい。
【0049】
また、図6に示すように、第2の実施形態に係る医用画像制御システムは、更に応用として、携帯端末30が、画像処理装置10や医用画像診断装置20を介して、外部表示装置40にて表示中の動画データを制御する。すなわち、携帯端末30にて撮影条件の入力や動画データの編集が行われると、これらの情報が画像処理装置10を介して医用画像診断装置20に転送される。そして、医用画像診断装置20がこれらの情報に従って撮影や編集を行うことで、医用画像診断装置20から外部表示装置40にリアルタイムに配信される動画データに、携帯端末30にて行われた制御内容が反映される。
【0050】
例えば、携帯端末30は、図6に示すように、画像処理装置10から配信された動画データ上で、Cアームの角度を指定する操作(再生中のボリュームレンダリング画像を回転させる、若しくは、ジャイロセンサを備えた携帯端末30自体を回転させるなど)や、ROIの描画などを受け付け、受け付けたこれらの情報を画像処理装置10に送信する。画像処理装置10は、これらの情報を受信すると、受信した情報を医用画像診断装置20に転送する。すると、例えば、医用画像診断装置20は、画像処理装置10から転送されたCアームの角度の指定情報を撮影条件に反映して撮影を行う。また、例えば、医用画像診断装置20は、画像処理装置10から転送されたROIを、配信中の動画データに反映する。そして、医用画像診断装置20は、新たな撮影条件で収集された動画データを、コンソール画面上に表示するとともに、外部表示装置40にリアルタイムに配信する。また、この動画データ上には、携帯端末30にて描画されたROIが表示される。
【0051】
図7は、第2の実施形態に係る医用画像制御システムの構成例を説明するための図である。図7において、点線で囲んだ装置や部が、第1の実施形態の構成例に更に追加されたものである。図7に示すように、医用画像診断装置20は、更に、時間同期信号処理部29bと、位置同期信号処理部29cとを備える。
【0052】
時間同期信号処理部29bは、外部表示装置40に配信される動画データと携帯端末30に配信される関連コンテンツとの表示タイミングを同期させるための処理を行う。具体的には、時間同期信号処理部29bは、動画データに描出される対象物の時相情報を画像処理装置10に送信する。例えば、時間同期信号処理部29bは、被検体のECGを取得し、ECG(又は主要波(例えばR波)のタイミング)を画像処理装置10に送信する。
【0053】
位置同期信号処理部29cは、外部表示装置40に配信される動画データと携帯端末30に配信される関連コンテンツとの表示位置を同期させるための処理を行う。具体的には、位置同期信号処理部29cは、動画データに描出される対象物の位置情報を画像処理装置10に送信する。例えば、位置同期信号処理部29cは、治療対象部位や観察方向を特定し、これらの情報を画像処理装置10に送信する。なお、表示位置の同期及び表示タイミングの同期の双方が行われずに表示タイミングの同期のみが行われる場合、位置同期信号処理部29cによって特定された治療対象部位の情報などは、必要に応じて時間同期信号処理部29bに通知され、時間同期信号処理部29bから画像処理装置10に送信されればよい。
【0054】
図7に示すように、携帯端末30は、更に、画像処理装置遠隔制御部36bと、外部表示装置遠隔制御部36cと、位置同期制御部37aと、時間同期制御部37bとを備える。
【0055】
画像処理装置遠隔制御部36bは、医用画像診断装置遠隔制御部36aと同様、画像処理装置10に関する操作を受け付け、受け付けた操作内容を示す制御情報を画像処理装置10に送信することで、画像処理装置10を遠隔制御する。例えば、画像処理装置遠隔制御部36bは、関連コンテンツに関する操作を受け付け、受け付けた操作内容を示す制御情報を画像処理装置10に送信する。
【0056】
外部表示装置遠隔制御部36cは、医用画像診断装置遠隔制御部36aと同様、外部表示装置40に関する操作を受け付け、受け付けた操作内容を示す制御情報を外部表示装置40に送信することで、外部表示装置40を遠隔制御する。なお、携帯端末30と外部表示装置40とは、直接接続されてもよい。この場合、携帯端末30は、外部表示装置40のいわゆる操作用リモコンとして機能する。
【0057】
位置同期制御部37a及び時間同期制御部37bは、携帯端末30にて再生される関連コンテンツについて、表示位置の同期や表示タイミングの同期を制御する。ここで、後述するシーケンス図においては、画像処理装置10が、表示位置の同期や表示タイミングの同期を制御する例を説明する。すなわち、画像処理装置10が、表示位置や表示タイミングを同期させた上で、関連コンテンツを携帯端末30に配信する例を説明する。しかしながら、実施形態はこれに限られるものではなく、携帯端末30側にて、表示位置の同期や表示タイミングの同期を制御してもよい。例えば、位置同期制御部37a及び時間同期制御部37bは、画像処理装置10から、関連コンテンツとともに位置情報や時相情報を受信し、これらの位置情報や時相情報を用いて、関連コンテンツの再生を制御する。
【0058】
図7に示すように、画像処理装置10は、通信部11と、本体制御部12と、記憶部13と、画像処理部14と、アプリケーション管理部15とを備える。通信部11は、院内LANに接続する画像処理装置10のインタフェースである。通信部21は、ハブなどのネットワーク機器を経由して院内LANや院外のインターネットに接続され、医用画像診断装置20や携帯端末30との間で通信を行う。
【0059】
本体制御部12は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、画像処理装置10内の各処理部全体を制御する。また、本体制御部12は、配信部12aを備える。配信部12aは、医用画像診断装置20から送信された情報(例えば、位置情報の他、検査IDや患者IDなどが送信されてもよい)に基づいて、記憶部13に記憶されているコンテンツ群の中から関連コンテンツを特定し、特定した関連コンテンツを携帯端末30にリアルタイムにプッシュ型で配信する。配信部12aは、例えば、公知のストリーミング技術やプログレッシブダウンロード技術を用いて実現することが可能である。
【0060】
また、配信部12aは、携帯端末30に配信する関連コンテンツに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期するように、医用画像診断装置20から送信された位置情報に基づいて、関連コンテンツの配信を制御する。また、配信部12aは、携帯端末30に配信する関連コンテンツに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期するように、医用画像診断装置20から送信された時相情報に基づいて、関連コンテンツの配信を制御する。
【0061】
記憶部13は、ハードディスク、半導体メモリなどであり、画像処理装置10における各種情報を記憶する。画像処理部14は、画像処理装置10に入力された画像データに対して画像処理を施す。アプリケーション管理部15は、画像処理装置10に搭載されたアプリケーションを管理する。例えば、アプリケーション管理部15は、解析のためのアプリケーションを起動し、画像処理装置10に入力された画像データに対する解析を実行する。なお、第2の実施形態において、解析結果は、記憶部13に蓄積される。
【0062】
図7に示すように、外部表示装置40は、通信部41と、本体制御部42と、表示部43と、記憶部44と、入力部45と、動画処理部46とを備える。通信部41は、外部表示装置40のインタフェースであり、院内LANやインターネットに接続され、携帯端末30や医用画像診断装置20との間で通信を行う。
【0063】
本体制御部42は、CPUやMPUなどの電子回路、ASICやFPGAなどの集積回路であり、外部表示装置40内の各処理部全体を制御する。表示部43は、モニタであり、第2の実施形態においては、携帯端末30の表示部34よりも大画面であることを想定する。もっとも、実施形態はこれに限られるものではない。記憶部44は、ハードディスク、半導体メモリなどであり、外部表示装置40における各種情報を記憶する。入力部45は、リモコン、マウス、キーボード、トラックボールなどであり、外部表示装置40に対する操作を操作者から受け付ける。
【0064】
動画処理部46は、医用画像診断装置20によって配信された動画データを受信し、受信した動画データをリアルタイムに再生する。また、動画処理部46は、再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、動画データに反映する。この編集操作は、医用画像診断装置20にて撮影されている動画データとは独立に行うことができる。なお、動画処理部46は、携帯端末30から編集操作を受け付けることも可能である。
【0065】
図8及び図9は、第2の実施形態における処理手順の一例を示すシーケンス図である。なお、図8は、主に装置間接続時の処理手順を示し、図9は、主にコンテンツ配信時の処理手順を示す。実際の動作としては、まず、装置間接続した後にコンテンツを配信するため、これらの処理手順は、連続して実行されることが一般的である。
【0066】
(A)は、携帯端末30が接続するまでの処理手順である。図8に示すように、医用画像診断装置20を操作する操作者(図8において『院内ユーザ』)が、医用画像診断装置20に対して、院外ユーザを接続させることを要求する「院外ユーザ接続要求」を入力する(ステップS101)。例えば、操作者は、該当する院外ユーザのメールアドレスとともに「院外ユーザ接続要求」を入力する。
【0067】
すると、医用画像診断装置20は、「院外ユーザ接続要求」を、該当する院外ユーザが利用する携帯端末30に送信する(ステップS102)。例えば、医用画像診断装置20は、院内ユーザから入力されたメールアドレス宛に「院外ユーザ接続要求」をメール送信する。
【0068】
すると、携帯端末30が、携帯端末30の利用者に対して「院外ユーザ接続要求」を受信したことを通知し(ステップS103)、院外ユーザは、携帯端末30に対してログイン操作を行い(ステップS104)、医用画像診断装置20との間でユーザ認証を行う(ステップS105〜106)。例えば、院外ユーザは、「院外ユーザ接続要求」のメールを受信すると、このメールを開封し、メールに記載されたURLにアクセスするなどして、医用画像診断装置20に「ユーザ認証要求」(例えば、ID及びパスワード)を送信する。医用画像診断装置20は、ユーザの認証に成功すると、その承認結果を携帯端末30に送信する。
【0069】
(B)は、関連コンテンツを携帯端末へ配信するまでの処理手順である。図8に示すように、医用画像診断装置20は、画像処理装置10に対して装置識別子を要求し(ステップS107)、返答を受け取る(ステップS108)。そして、医用画像診断装置20は、携帯端末30に対して、画像処理装置10の装置識別子を送信する(ステップS109)。
【0070】
携帯端末30は、受信した装置識別子を指定することで、画像処理装置10に接続する(ステップS110)。例えば、携帯端末30は、装置識別子とURLとを予め対応付けて記憶し、受信した装置識別子に対応付けて記憶されているURLを指定してアクセスするなどして、画像処理装置10に接続する。
【0071】
画像処理装置10は、携帯端末30からの接続を受け付けると、携帯端末30との間でセッションを起動し、アプリケーションを起動して、関連コンテンツ(例えば、画像データ、解析結果)を読み込む(ステップS111)。なお、図8には図示されていないが、例えば、画像処理装置10は、予め、医用画像診断装置10から、関連コンテンツを特定するための情報を受け取り、この情報に基づいて、関連コンテンツを特定すればよい。例えば、画像処理装置10は、予め、医用画像診断装置10から、検査IDや患者IDなどの情報や、治療部位の情報などを受け取り、これらの情報に基づいて、同じ患者の過去の画像データや解析結果を検索する。そして、画像処理装置10は、検索した画像データや解析結果を関連コンテンツとして読み込む。
【0072】
そして、画像処理装置10は、関連コンテンツを携帯端末30に配信し(ステップS112)、携帯端末30は、配信された関連コンテンツを表示部34に表示する(ステップS113)。なお、関連コンテンツは、静止画データ、動画データ、患者情報、電子カルテ、検査レポートなどである。
【0073】
(C)は、リアルタイム動画を外部表示装置へ配信するまでの処理手順である。図8に示すように、携帯端末30は、配信先を変更することを要求する「配信先変更要求」を、医用画像診断装置20に対して送信する(ステップS114)。医用画像診断装置20は、これに応答する(ステップS115)。
【0074】
続いて、携帯端末30は、装置識別子を外部表示装置40に対して要求し(ステップS116)、その返答を受け取る(ステップS117)。そして、携帯端末30は、変更先の外部表示装置40を識別する装置識別子を医用画像診断装置20に対して送信する(ステップS118)。ここで、医用画像診断装置20が、外部表示装置40にアクセスするための情報を把握していない場合には、携帯端末30は、例えばステップS118にて装置識別子を送信する際に、外部表示装置40にアクセスするための情報を送信すればよい。
【0075】
次に、医用画像診断装置20は、携帯端末30から通知された外部表示装置40に接続し(ステップS119)、リアルタイムの動画配信を開始する(ステップS120)。すると、外部表示装置40は、医用画像診断装置20から配信された動画データを表示部43上で再生する(ステップS121)。
【0076】
図9の(A)は、表示位置を同期するための処理手順である。図9に示すように、医用画像診断装置20は、動画データを解析することで、治療対象の冠動脈を抽出する(ステップS201)。次に、医用画像診断装置20は、冠動脈を示す冠動脈IDやCアームの角度などの位置情報を、画像処理装置10に対して通知する(ステップS202)。なお、医用画像診断装置20は、関連コンテンツを特定するために必要なその他の情報を併せて通知してもよい。
【0077】
すると、画像処理装置10は、医用画像診断装置20から通知された情報を用いて、自装置や他装置に蓄積された過去の画像データから、指定された冠動脈の解析結果を検索する(ステップS203)。この場合、画像処理装置10は、携帯端末30に配信する解析結果に描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期するように、医用画像診断装置20から送信されたCアームの角度に基づいて、解析結果に描出される冠動脈の角度などを調整する。
【0078】
そして、画像処理装置10は、解析結果を携帯端末30に対して配信する(ステップS204)。すると、携帯端末30は、これを表示部34に表示する(ステップS205)。一方、医用画像診断装置20は、外部表示装置40に対してリアルタイムに動画配信を行い(ステップS206)、外部表示装置40は、これを表示部43に表示する(ステップS207)。こうして、携帯端末30に配信する解析結果に描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との位置関係が同期する。
【0079】
(B)は、表示タイミングを同期するための処理手順である。図9に示すように、医用画像診断装置20は、被検体からECGを取得する(ステップS208)。次に、医用画像診断装置20は、ECGなどの時相情報を、画像処理装置10に対して通知する(ステップS209)。なお、医用画像診断装置20は、関連コンテンツを特定するために必要なその他の情報を併せて通知してもよい。
【0080】
すると、画像処理装置10は、医用画像診断装置20から通知された情報を用いて、自装置や他装置に蓄積された過去の画像データから、解析結果の動画データを検索する(ステップS210)。この場合、画像処理装置10は、携帯端末30に配信する解析結果の動画データに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期するように、すなわち、医用画像診断装置20から送信されたECGと一致するように解析結果の動画データに描出される対象物の表示タイミングを調整する。
【0081】
そして、画像処理装置10は、ECGと一致する表示タイミングとなった解析動画データを携帯端末30に対して配信する(ステップS211)。すると、携帯端末30は、これを表示部34に表示する(ステップS212)。一方、医用画像診断装置20は、外部表示装置40に対してリアルタイムに動画配信を行い(ステップS213)、外部表示装置40は、これを表示部43に表示する(ステップS214)。こうして、携帯端末30に配信する解析結果の動画データに描出される対象物と、外部表示装置40に配信される動画データに描出される対象物との時相関係が同期する。
【0082】
(第2の実施形態の変形例)
なお、第2の実施形態は、上述した内容に限られるものではない。例えば、図7に、第2の実施形態に係る医用画像制御システムの構成例を図示したが、必ずしも全ての装置や部を備える構成が必須ではなく、一部の装置や部のみを追加した構成としてもよい。また、例えば、表示位置の同期や表示タイミングの同期は必須な構成ではない。
【0083】
また、図8及び図9に示した処理手順も、適宜変更することが可能である。例えば、図8の(A)に説明した認証の処理手順は、割愛してもよいし、他の手順に変更してもよい。例えば、院外ユーザから接続を要求する手順に変更してもよい。また、図8の(B)に説明した処理手順は、例えば、最初は携帯端末30にリアルタイムに動画を配信し、その後、携帯端末30からの要求を契機として、外部表示装置40に配信先が変更されてもよい。この場合、外部表示装置40は、携帯端末30における編集状態を引き継いだ状態で動画データの配信を受けてもよい。また、例えば、図9の(A)や(B)に説明した処理手順は、いずれか一方のみでもよく、また、位置情報や時相情報として画像処理装置10に通知される情報は、任意に変更することができる。また、関連コンテンツとリアルタイム動画の表示は、逆でもよい。すなわち、携帯端末30にリアルタイム動画が配信され、外部表示装置40に関連コンテンツが配信されてもよい。この場合には、携帯端末30は、画像処理装置10に対して、配信先の変更を要求することになる。
【0084】
また、外部表示装置40は、携帯端末30と比較して大画面でなければならないものではなく、他の携帯端末でもよい。また、第2の実施形態においては、1台の医用画像診断装置、1台の画像処理装置、1台の携帯端末、及び1台の外部表示装置を例に挙げて説明したが、実施形態はこれに限られるものではない。複数の医用画像診断装置、複数の画像処理装置、複数の携帯端末、及び複数の外部表示装置がネットワークを介して接続された状態で、これらの装置のうちの一部の装置が通信を行って、表示位置や表示タイミングを同期させた表示を行ってもよい。また、この場合、任意の装置上で編集した一時的な編集状態を、他の装置が引き継ぐことが可能である。すなわち、任意の装置で受け付けた編集情報は、ネットワークを介して他の装置に送信され、他の装置において反映されればよい。
【0085】
また、図10は、第2の実施形態の変形例を説明するための図である。図10に示すように、術場(手術室などの医療現場)を撮影した動画データも、併せてリアルタイム動画配信されてもよい。また、図10に示すように、生体情報についても、併せてリアルタイム配信されてもよい。図10に示すように、例えば、外部表示装置40は、被検体を撮影した動画データ、術場を撮影した動画データ、及び生体情報を、全てリアルタイム配信により受信し、これらを1画面内に表示することができる。
【0086】
(第2の実施形態の効果)
上述したように、第2の実施形態によれば、リアルタイムの動画配信を一方の装置で受信して表示し、これと関連するコンテンツの配信を他方の装置(例えば、携帯端末)で受信して表示することで、携帯端末の利用者は、複数の情報を閲覧しながら遠隔から医療行為を支援することが可能になる。また、画像処理装置のようなサーバを中心として、携帯端末、医用画像診断装置、外部表示装置にて表示されるコンテンツを同期させたり、編集内容や操作内容を共有することが可能になる。
【0087】
(第3の実施形態)
第3の実施形態に係る医用画像制御システムは、遠隔制御の機能制限による安全対策を講じる。具体的には、医用画像診断装置20(ローカル側)は、操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを保持し、携帯端末30(リモート側)から操作を受け付けると、このリスクテーブルを参照して、携帯端末30の操作者(リモートユーザ)の操作内容を制御する。なお、第3の実施形態に係る医用画像制御システムは、第1及び第2の実施形態に係る医用画像制御システムと同様の構成を有し、第1及び第2の実施形態に係る医用画像制御システムに適用することができる。
【0088】
図11は、第3の実施形態におけるリスクテーブルを説明するための図である。なお、図11に例示する内容はあくまで一例に過ぎず、運用の形態に応じて任意に変更される。例えば、医用画像診断装置20は、記憶部23にリスクテーブルを記憶する。リスクテーブルは、例えば、図11に示すように、リスクレベルと、機能(操作)と、操作の制限内容とを対応付ける。例えば、リスクレベル『A』は、人体への危険性が極めて高いレベルであり、『B』は、人体への危険性が高いレベルであり、『C』は、人体への危険性が低いレベルである。
【0089】
例えば、リスクレベル『A』には、機能(操作)として、『撮影開始』が対応付けられている。例えば、ローカルユーザの意図しないタイミングで撮影が開始されることで、急にCアームが動作したり、急にX線の照射が開始すると、人体への危険性は極めて高いといえる。このため、リモートユーザに対してはこのような操作を制限することが望ましい。そこで、リスクテーブルには、『撮影開始』に対応付けて『操作不可』が記憶される。同様に、例えば、リスクレベル『B』には、機能(操作)として、『撮影中の画像の条件変更』が対応付けられている。リモートユーザに対しては、ローカルユーザによる承認を前提に、このような操作を可能とする。また、例えば、リスクレベル『C』には、機能(操作)として、『保存画像の操作』が対応付けられている。このような操作は危険性が低いものであるので、リモートユーザに対して特に制限する必要がない。そこで、リスクテーブルには、『保存画像の操作』に対応付けて『操作可能』が記憶される。
【0090】
このような構成の下、医用画像診断装置20の反映部22bは、携帯端末30から制御情報を受信すると、リスクテーブルを参照して制御情報によって示される操作内容のリスクレベルを特定し、特定したリスクレベルに対応付けられた制限内容に応じて、医用画像診断装置20による処理への反映を制御する。
【0091】
図12及び図13は、第3の実施形態における遠隔制御の機能制限の一例を説明するための図である。図12に示すように、例えば、医用画像診断装置20を操作するローカルユーザが、そのコンソール画面上で再生される動画データ上に、ROIを描画したとする(S1)。ROIが描画された動画データは、携帯端末30に配信される(S2)。すると、例えば、携帯端末30は、動画データに対する編集操作としてROIの編集を受け付け(S3)、受け付けた編集情報を、医用画像診断装置20に転送する(S4)。ここで、第3の実施形態に係る反映部22bは、リスクテーブルを参照し、制御情報によって示される操作内容(ROIの編集)のリスクレベルを評価し、例えばリスクレベル『B』と判断する(S5)。
【0092】
第3の実施形態において、リスクレベル『B』は、ローカルユーザによる承認を前提に操作が許可されるレベルである。そこで、反映部22bは、例えば、コンソール画面上で再生される動画データに対して、ローカルユーザによって描画されたROIと、リモートユーザによって編集されたROIとが区別できるように、異なる表示属性(例えば、異なる色や異なる形状、その組合せなど)で、ROIを表示する(S6)。例えば、図12において、反映部22bは、比較画面を表示するが、この比較画面上では、ローカルユーザによって描画されたROIが点線の楕円で示され、リモートユーザによって編集されたROIが実線の四角で示されている。ローカル側での承認の際、それぞれを区別して比較することが可能である。
【0093】
そこで、ローカルユーザは、この比較画面を閲覧し、リモートユーザによるROIの編集を承認するか否かを判断し、その判断結果を、医用画像診断装置20に入力する。すると、例えば、反映部22bは、ローカルユーザによる承認の有無に応じて、最終的なROIの結果を示す結果表示画面を表示する。例えば、反映部22bは、承認された場合には、リモートユーザによって編集されたROIを採用してその後の処理を実行する。一方、反映部22bは、承認されなかった場合には、ローカルユーザによって描画されたROIを採用してその後の処理を実行する。
【0094】
また、図13に示すように、例えば、ROIの編集がリスクレベル『A』でリスクテーブルに管理されていた場合、リスクレベル『A』は、リモートユーザに対して操作を許可しないレベルである。そこで、反映部22bは、リモートユーザによる編集内容を拒絶し、リモートユーザによって編集されたROIを採用せずに、ローカルユーザによって描画されたROIを採用してその後の処理を実行する(S6)。例えば、反映部22bは、携帯端末30に対して、元の状態(すなわち、ローカルユーザによって描画されたROIが表示された状態)の画面を転送する(S7)。なお、反映部22bは、例えば、操作が受け付けられなかった旨の通知情報を転送してもよい。
【0095】
なお、第3の実施形態はこれに限られるものではない。図14は、第3の実施形態における遠隔制御の機能制限の変形例を説明するための図である。例えば、医用画像診断装置20の配信部22aは、動画データを携帯端末30に配信する際に、リスクテーブルを参照し、携帯端末30にて操作を受け付けるための操作画面として、制限内容に基づき操作内容が制限された操作画面を配信してもよい。
【0096】
例えば、図14においては、医用画像診断装置20のコンソール画面や携帯端末30の表示部34上に、操作を受け付けるための操作画面が表示され、操作画面には、機能別の操作ボタンが表示されることを想定する。例えば、『機能1』は、リスクレベル『A』の操作を実行するための操作ボタンであり、『機能2』は、リスクレベル『B』の操作を実行するための操作ボタンであり、『機能3』は、リスクレベル『C』の操作を実行するための操作ボタンであるとする。
【0097】
例えば、ローカル側では全ての操作が許可されているので、医用画像診断装置20は、コンソール画面に、『機能1』、『機能2』、及び『機能3』の全ての操作ボタンを表示する。しかしながら、配信部22aは、動画データを携帯端末30に配信する際に、リスクテーブルを参照し、携帯端末30側の操作画面上に表示される各機能のリスクレベルを評価する(S1)。そして、配信部22aは、リスクレベル『A』に対応する機能の操作ボタンについては、携帯端末30側で非表示(若しくは操作不可の状態)となるように変更した操作画面を、携帯端末30に配信する。例えば、図14において、携帯端末30に表示される操作画面では、『機能1』の操作ボタンは表示されず、『機能2』及び『機能3』の操作ボタンが表示される。このため、リモートユーザは、リスクレベル『B』又は『C』の機能を操作して、編集結果を転送することになる(S3)。
【0098】
なお、医用画像診断装置20は、ローカルユーザ及びリモートユーザによる操作の履歴や、実際にどちらの操作が適用されたか、どのローカルユーザが承認したかなどを示す履歴を記憶してもよい。この場合、医用画像診断装置20は、例えば、ローカルユーザによる操作と、リモートユーザによる操作とを比較して、その差分を評価してもよい。また、医用画像診断装置20は、処理の巻き戻しの操作を受け付けて、過去の状態を再現してもよい。例えば、ローカルユーザがその場を離れた間に、リモートユーザによる操作(例えば、リスクレベル『C』の操作)が行われた場合に、ローカルユーザは、医用画像診断装置20に蓄積された履歴を閲覧し、例えば、ローカルユーザ自身が行った操作で最新の操作の状態まで処理の状態を巻き戻すよう、指定することができる。医用画像診断装置20は、履歴の指定を受け付けると、指定された履歴の状態を再現する。
【0099】
なお、第3の実施形態においては、医用画像診断装置20がリスクテーブルを保持し、リモートユーザの操作内容を制限する例を説明したが、実施形態はこれに限られるものではない。例えば、医用画像診断装置20とは異なる装置が、医用画像診断装置20と携帯端末30との間の通信に介在し、保持するリスクテーブルに基づきリモートユーザの操作内容を制限する構成などでもよい。
【0100】
(その他の実施形態)
実施形態に係る医用画像制御システム及び携帯端末は、上記実施形態に限られるものではない。
【0101】
上記実施形態においては、医用画像診断装置20としてX線診断装置やX線CT装置を例に挙げて説明したが、実施形態はこれに限られるものではない。医用画像診断装置20は、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT−CT装置、PET−CT装置などでもよい。また、医用画像診断装置20は、ガンマナイフ(Gamma Knife)やサイバーナイフ(Cyber Knife)などの放射線治療装置に置き換えられてもよい。また、医用画像診断装置20は、上記実施形態において説明した機能が、医用画像診断装置から独立した別の装置に備えられる構成でもよい。例えば、この別の装置は、撮影部などの処理部を備えずに、リアルタイム動画配信の機能や、時間同期、位置同期の機能などを備えればよい。
【0102】
また、上記実施形態においては、画像処理装置10として、画像処理のためのアプリケーションなどを搭載したワークステーション(WS(workstation))を例に挙げて説明したが、実施形態はこれに限られるものではない。画像処理装置10は、PACS(Picture Archiving and Communication System)が導入されている場合の画像保管装置や、放射線治療計画装置などに置き換えられてもよい。
【0103】
また、上記実施形態においては、外部表示装置40として、TV装置やPCなどを例に挙げて説明したが、実施形態はこれに限られるものではない。例えば、外部表示装置40は、関連コンテンツを表示する携帯端末30とは別の携帯端末に置き換えられてもよい。
【0104】
また、医用画像診断装置20の設置場所や携帯端末30の利用場所は、院内に限定されるものではなく、例えば、救急車の中や災害現場などの屋外でもよい。医用画像診断装置20と携帯端末30とが直接又は間接に通信可能な環境であればよい。また、画像処理装置10や外部表示装置40とも直接又は間接に通信可能な環境であれば、第2の実施形態についても同様に実現することが可能である。
【0105】
また、上記実施形態においては、リアルタイムに配信する動画データとして、医用画像診断装置20にて収集、生成された動画データを例に挙げて説明したが、実施形態はこれに限られるものではない。リアルタイムに配信する動画データは、例えば、Angio室、手術室、救急車内などを動画撮影した動画データに置き換えられてもよい。この場合、この動画データをリアルタイムに配信する装置と携帯端末30とが直接又は間接に通信可能な環境であればよい。また、上記実施形態においては、携帯端末30における動画データの再生を例に挙げて説明したが、実施形態はこれに限られるものではない。例えば、静止画データ、電子カルテ、検査レポート、患者情報などが携帯端末30において表示されてもよい。例えば、外部表示装置40にはリアルタイムの動画データが表示され、携帯端末30には、この動画データに描出される患者の患者情報などが表示されてもよい。
【0106】
また、上記実施形態においては、医用画像診断装置20と携帯端末30とがネットワーク50を介して間接的に接続する例を説明したが、実施形態はこれに限られるものではない。医用画像診断装置20と携帯端末30とは直接接続されてもよい。
【0107】
(その他)
なお、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0108】
また、上述の実施形態で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0109】
以上述べた少なくとも一つの実施形態の医用画像制御システム及び携帯端末によれば、携帯端末によって医療行為を支援することが可能になる。
【0110】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0111】
10 画像処理装置
20 医用画像診断装置
30 携帯端末
40 外部表示装置
50 ネットワーク
【特許請求の範囲】
【請求項1】
医用画像診断装置は、
所定の撮影条件に従って被検体を動画撮影し、動画データを収集する収集部と、
前記動画データを携帯端末に即時に配信する配信部と、
前記携帯端末から送信された制御情報を受信し、受信した制御情報を前記医用画像診断装置による処理に反映する反映部と
を備え、
前記携帯端末は、
前記配信部によって配信された動画データを受信し、受信した動画データを即時に再生する再生部と、
前記医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を前記医用画像診断装置に送信する制御情報送信部と
を備える、医用画像制御システム。
【請求項2】
前記反映部は、前記制御情報として撮影条件の設定情報を受信し、受信した設定情報を前記収集部によって行われる動画撮影の撮影条件に反映し、
前記制御情報送信部は、前記撮影条件に関する操作を受け付け、受け付けた撮影条件の設定情報を前記医用画像診断装置に送信する、請求項1に記載の医用画像制御システム。
【請求項3】
前記反映部は、前記制御情報として前記動画データに対する編集情報を受信し、受信した編集情報を前記医用画像診断装置にて再生される動画データに反映し、
前記制御情報送信部は、前記動画データに対する編集操作を受け付け、受け付けた編集操作の内容を示す編集情報を前記医用画像診断装置に送信する、請求項1に記載の医用画像制御システム。
【請求項4】
前記携帯端末は、
前記再生部によって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、前記再生部によって再生される動画データに反映する動画データ編集部を更に備える、請求項1〜3のいずれか一つに記載の医用画像制御システム。
【請求項5】
前記医用画像診断装置は、
前記操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを記憶するリスクテーブル記憶部を備え、
前記反映部は、前記携帯端末から前記制御情報を受信すると、前記リスクテーブルを参照して前記制御情報によって示される操作内容のリスクレベルを特定し、特定したリスクレベルに対応付けられた制限内容に応じて、前記医用画像診断装置による処理への反映を制御する、請求項1に記載の医用画像制御システム。
【請求項6】
前記医用画像診断装置は、
前記操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを記憶するリスクテーブル記憶部を備え、
前記配信部は、前記動画データを前記携帯端末に配信する際に、前記リスクテーブルを参照し、前記携帯端末にて前記操作を受け付けるための操作画面として、前記制限内容に基づき操作内容が制限された操作画面を配信する、請求項1に記載の医用画像制御システム。
【請求項7】
医用画像診断装置において被検体が動画撮影されることで収集され、即時に配信された動画データを受信し、受信した動画データを即時に再生する再生部を備える、携帯端末。
【請求項8】
医用画像診断装置は、
所定の撮影条件に従って被検体を動画撮影し、動画データを収集する収集部と、
前記動画データを、携帯端末の利用者に用いられる表示装置に即時に配信する配信部と、
前記動画データに関連する関連画像データを特定する情報を、関連画像データ群を管理する管理装置に通知する通知部と
を備え、
前記管理装置は、
前記通知部によって通知された情報に基づいて、前記関連画像データを前記携帯端末に配信する配信部を備え、
前記携帯端末は、
前記管理装置の配信部によって配信された関連動画データを受信し、受信した関連動画データを即時に再生する再生部を備え、
前記表示装置は、
前記医用画像診断装置の配信部によって配信された動画データを受信し、受信した動画データを即時に再生する再生部を備える、医用画像制御システム。
【請求項9】
前記医用画像診断装置の通知部は、前記医用画像診断装置の撮影方向に関する情報を通知し、
前記管理装置の配信部は、前記関連画像データとして、3次元画像及び前記撮影方向に関する情報に基づいて生成した画像データを配信する、請求項8に記載の医用画像制御システム。
【請求項10】
前記医用画像診断装置の配信部は、配信先として前記表示装置を指定する要求を該携帯端末から受け付けた場合に、前記動画データを該表示装置に即時に配信する、請求項9に記載の医用画像制御システム。
【請求項11】
前記医用画像診断装置の通知部は、前記動画データに関連する関連動画データを特定する情報とともに、該動画データに描出される対象物の位置情報を通知し、
前記管理装置の配信部は、前記携帯端末に配信する関連動画データに描出される対象物と、前記表示装置に配信される動画データに描出される対象物との位置関係が同期するように、前記位置情報に基づいて該関連動画データの配信を制御する、請求項9に記載の医用画像制御システム。
【請求項12】
前記医用画像診断装置の通知部は、前記動画データに関連する関連動画データを特定する情報とともに、該動画データに描出される対象物の時相情報を通知し、
前記管理装置の配信部は、前記携帯端末に配信する関連動画データに描出される対象物と、前記表示装置に配信される動画データに描出される対象物との時相関係が同期するように、前記時相情報に基づいて該関連動画データの配信を制御する、請求項9に記載の医用画像制御システム。
【請求項13】
前記表示装置は、
前記再生部によって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、前記再生部によって再生される動画データに反映する動画データ編集部を更に備える、請求項9に記載の医用画像制御システム。
【請求項14】
前記動画データ編集部は、前記携帯端末から前記編集操作を受け付ける、請求項13に記載の医用画像制御システム。
【請求項1】
医用画像診断装置は、
所定の撮影条件に従って被検体を動画撮影し、動画データを収集する収集部と、
前記動画データを携帯端末に即時に配信する配信部と、
前記携帯端末から送信された制御情報を受信し、受信した制御情報を前記医用画像診断装置による処理に反映する反映部と
を備え、
前記携帯端末は、
前記配信部によって配信された動画データを受信し、受信した動画データを即時に再生する再生部と、
前記医用画像診断装置に関する操作を受け付け、受け付けた操作内容を示す制御情報を前記医用画像診断装置に送信する制御情報送信部と
を備える、医用画像制御システム。
【請求項2】
前記反映部は、前記制御情報として撮影条件の設定情報を受信し、受信した設定情報を前記収集部によって行われる動画撮影の撮影条件に反映し、
前記制御情報送信部は、前記撮影条件に関する操作を受け付け、受け付けた撮影条件の設定情報を前記医用画像診断装置に送信する、請求項1に記載の医用画像制御システム。
【請求項3】
前記反映部は、前記制御情報として前記動画データに対する編集情報を受信し、受信した編集情報を前記医用画像診断装置にて再生される動画データに反映し、
前記制御情報送信部は、前記動画データに対する編集操作を受け付け、受け付けた編集操作の内容を示す編集情報を前記医用画像診断装置に送信する、請求項1に記載の医用画像制御システム。
【請求項4】
前記携帯端末は、
前記再生部によって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、前記再生部によって再生される動画データに反映する動画データ編集部を更に備える、請求項1〜3のいずれか一つに記載の医用画像制御システム。
【請求項5】
前記医用画像診断装置は、
前記操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを記憶するリスクテーブル記憶部を備え、
前記反映部は、前記携帯端末から前記制御情報を受信すると、前記リスクテーブルを参照して前記制御情報によって示される操作内容のリスクレベルを特定し、特定したリスクレベルに対応付けられた制限内容に応じて、前記医用画像診断装置による処理への反映を制御する、請求項1に記載の医用画像制御システム。
【請求項6】
前記医用画像診断装置は、
前記操作の種類に応じたリスクレベルと操作の制限内容とを対応付けたリスクテーブルを記憶するリスクテーブル記憶部を備え、
前記配信部は、前記動画データを前記携帯端末に配信する際に、前記リスクテーブルを参照し、前記携帯端末にて前記操作を受け付けるための操作画面として、前記制限内容に基づき操作内容が制限された操作画面を配信する、請求項1に記載の医用画像制御システム。
【請求項7】
医用画像診断装置において被検体が動画撮影されることで収集され、即時に配信された動画データを受信し、受信した動画データを即時に再生する再生部を備える、携帯端末。
【請求項8】
医用画像診断装置は、
所定の撮影条件に従って被検体を動画撮影し、動画データを収集する収集部と、
前記動画データを、携帯端末の利用者に用いられる表示装置に即時に配信する配信部と、
前記動画データに関連する関連画像データを特定する情報を、関連画像データ群を管理する管理装置に通知する通知部と
を備え、
前記管理装置は、
前記通知部によって通知された情報に基づいて、前記関連画像データを前記携帯端末に配信する配信部を備え、
前記携帯端末は、
前記管理装置の配信部によって配信された関連動画データを受信し、受信した関連動画データを即時に再生する再生部を備え、
前記表示装置は、
前記医用画像診断装置の配信部によって配信された動画データを受信し、受信した動画データを即時に再生する再生部を備える、医用画像制御システム。
【請求項9】
前記医用画像診断装置の通知部は、前記医用画像診断装置の撮影方向に関する情報を通知し、
前記管理装置の配信部は、前記関連画像データとして、3次元画像及び前記撮影方向に関する情報に基づいて生成した画像データを配信する、請求項8に記載の医用画像制御システム。
【請求項10】
前記医用画像診断装置の配信部は、配信先として前記表示装置を指定する要求を該携帯端末から受け付けた場合に、前記動画データを該表示装置に即時に配信する、請求項9に記載の医用画像制御システム。
【請求項11】
前記医用画像診断装置の通知部は、前記動画データに関連する関連動画データを特定する情報とともに、該動画データに描出される対象物の位置情報を通知し、
前記管理装置の配信部は、前記携帯端末に配信する関連動画データに描出される対象物と、前記表示装置に配信される動画データに描出される対象物との位置関係が同期するように、前記位置情報に基づいて該関連動画データの配信を制御する、請求項9に記載の医用画像制御システム。
【請求項12】
前記医用画像診断装置の通知部は、前記動画データに関連する関連動画データを特定する情報とともに、該動画データに描出される対象物の時相情報を通知し、
前記管理装置の配信部は、前記携帯端末に配信する関連動画データに描出される対象物と、前記表示装置に配信される動画データに描出される対象物との時相関係が同期するように、前記時相情報に基づいて該関連動画データの配信を制御する、請求項9に記載の医用画像制御システム。
【請求項13】
前記表示装置は、
前記再生部によって再生される動画データに対する編集操作を受け付け、受け付けた編集操作の内容を、前記再生部によって再生される動画データに反映する動画データ編集部を更に備える、請求項9に記載の医用画像制御システム。
【請求項14】
前記動画データ編集部は、前記携帯端末から前記編集操作を受け付ける、請求項13に記載の医用画像制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−47940(P2013−47940A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2012−161576(P2012−161576)
【出願日】平成24年7月20日(2012.7.20)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成24年7月20日(2012.7.20)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]