医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
【課題】医者と患者の双方に余計な負担を強いることなく、分かりやすい検査説明ができるようにする。
【解決手段】医用画像表示装置の表示画面56には、内視鏡装置で記録された動画と静止画に加えて、シェーマ図が表示される。動画と静止画とは、内視鏡装置で撮影される際に、動画内の静止画の記録位置情報が付与されており、この情報に基づいて、動画再生中にその記録位置に達したときに対応する静止画が呼び出される。また、静止画の撮影部位を示す識別情報が内視鏡装置の撮影時に記録されており、医用画像表示装置は、その識別情報に基づいて、シェーマ図内の特定位置と静止画とが対応付けられるようにリンク情報を付与する。これにより、シェーマ図の特定位置をポイントすると、そのポイントに対応する静止画が呼び出される。
【解決手段】医用画像表示装置の表示画面56には、内視鏡装置で記録された動画と静止画に加えて、シェーマ図が表示される。動画と静止画とは、内視鏡装置で撮影される際に、動画内の静止画の記録位置情報が付与されており、この情報に基づいて、動画再生中にその記録位置に達したときに対応する静止画が呼び出される。また、静止画の撮影部位を示す識別情報が内視鏡装置の撮影時に記録されており、医用画像表示装置は、その識別情報に基づいて、シェーマ図内の特定位置と静止画とが対応付けられるようにリンク情報を付与する。これにより、シェーマ図の特定位置をポイントすると、そのポイントに対応する静止画が呼び出される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡で生体内を撮影して得た医用画像を表示する医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに医用画像表示システムに用いられる内視鏡装置に関するものである。
【背景技術】
【0002】
生体内を検査するために、内視鏡装置を利用した内視鏡検査が行われている。内視鏡装置は、内視鏡とプロセッサ装置とからなる。内視鏡は、生体内(例えば、消化管など)に挿入され、屈曲自在なチューブ状の挿入部を備えており、この挿入部の先端には、CCDなどの撮像素子と、撮像部位に照明光を照射する照明窓とを備えた撮影ユニットが配されている。内視鏡は、撮像素子が所定のフレームレートで出力する撮像信号を、内視鏡と接続されたプロセッサ装置に順次送信する。プロセッサ装置は、受信した撮像信号に対して順次画像処理を施して内視鏡画像(医用画像)を生成して、これをモニタにリアルタイムで表示する。医師は、モニタに映し出された映像を通じて生体内を観察しながら検査を行う。
【0003】
また、内視鏡は、撮影された内視鏡画像を高精細な静止画の画像データとして記録する機能を備えている。内視鏡の操作部にはレリーズスイッチが設けられており、必要に応じてこれを押下することにより、所要部位の静止画が記録される。こうして記録された内視鏡画像は、これをプリンタでプリントアウトしたり、パーソナルコンピュータのディスプレイに表示することにより、医師の検査後の診断や、患者に対する検査結果等の説明に使用される(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−120498号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、インフォームドコンセント(医療行為の説明と同意)の必要性が社会的に認識されてきており、医療現場においては、患者に対して医療行為に関する十分な説明をすることが求められている。内視鏡検査においては、上述のとおり、検査後に所要部位を撮影した静止画を見せながら検査結果等の説明が行われるが、静止画に基づいた説明だけでは、撮影部位の体全体の中の位置などを把握しにくく、説明内容を正確に理解しづらいという問題があった。
【0006】
もちろん、内視鏡検査では、検査中の映像がプロセッサ装置のモニタにリアルタイムで表示されるので、その映像を患者に見せながら医師が適宜説明を加えて、検査後の説明だけでは分かりにくい部分を補足することも行われている。しかし、検査中は、患者は体内に内視鏡が挿入された状態にあり、そうした状態で、患者に対してモニタの映像を注視させたり、詳細な説明を聞かせたりすることは、患者にとって負担が大きいばかりでなく、その説明を受ける余裕すら無いケースもある。
【0007】
そこで、検査後に、生体の内部構造を模式的に表す模式図(シェーマ図)と、撮影した静止画に基づいて、それらの関連が分かるような説明用の資料を作成し、それを用いた説明も行われている。しかし、分かりやすい資料を作成するにはそれなりの手間がかかるため、医師の負担が大きく、そうした説明は敬遠される傾向があった。
【0008】
本発明は、こうした背景に鑑みてなされたものであり、医師と患者の双方に余計な負担を強いることなく、分かりやすい検査説明ができるようにすることを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の医用画像表示装置は、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置を用いて、画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする。
【0010】
前記シェーマ図の画像データには、前記識別情報と照合するための照合情報が前記シェーマ図内の特定位置毎に予め付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることが好ましい。
【0011】
前記識別情報は、例えば、前記マイクによって録音された音声データであり、前記識別情報に対応して音声データで記録された前記照合情報と照合される。
【0012】
前記識別情報は、例えば、前記操作部の操作又は前記内視鏡装置が有するプロセッサ装置のコンソールの操作によって入力される。
【0013】
前記識別情報は、例えば、テキストデータであり、前記識別情報に対応してテキストデータで記録された前記照合情報と照合される。
【0014】
前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することが好ましい。
【0015】
前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することが好ましい。
【0016】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示してもよい。
【0017】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示してもよい。
【0018】
前記制御部は、前記静止画と前記シェーマ図に加えて、前記動画を前記ディスプレイに並べて表示することが好ましい。
【0019】
本発明の医用画像表示システムは、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置と、前記内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置とを有する医用画像表示システムにおいて、前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする。
【0020】
前記内視鏡装置は、前記静止画の撮影指示を入力するレリーズボタンと、前記識別情報を入力する識別情報入力部であり、前記マイク、前記操作部及び前記内視鏡装置が有するプロセッサ装置のコンソールのうちのいずれかからなる識別情報入力部と、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録部とを備えていることが好ましい。
【0021】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することが好ましい。
【0022】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することが好ましい。
【0023】
前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプが使用されることが好ましい。前記内視鏡は、前記医用画像リンク情報を記録する医用画像リンク情報記録部を有することが好ましい。前記静止画は、前記動画の1フレームの画素数よりも高い画素数で記録されることが好ましい。
【0024】
本発明の医用画像表示方法は、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有する内視鏡装置によって撮影された医用画像を画像データとして記録し、この医用画像を医用画像表示装置のディスプレイに表示する医用画像表示方法において、前記医用画像には静止画が含まれており、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって、前記静止画の撮影部位を識別するための識別情報を入力する識別情報入力ステップと、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含むことが好ましい。
【発明の効果】
【0025】
本発明によれば、内視鏡装置によって撮影された医用画像をディスプレイに表示する際に、内視鏡装置で撮影された静止画と、生体の内部構造を模式的に表したシェーマ図とを関連づけるシェーマ図リンク情報を付与し、この情報に基づいて、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、他方を検索して前記ディスプレイに表示するようにしたから、医師と患者の双方に対して余計な負担を強いることなく、内視鏡の検査結果を分かりやすく説明することができる。
【図面の簡単な説明】
【0026】
【図1】医用画像表示システムの説明図である。
【図2】内視鏡装置及び医用画像表示装置の概略を示す構成図である。
【図3】動画、静止画、シェーマ図の各ファイルのリンク状況を説明する説明図である。
【図4】動画及び静止画の各ファイルのファイル構成を示す説明図である。
【図5】シェーマ図ファイルのファイル構成を示す説明図である。
【図6】静止画とシェーマ図の関連付け処理の説明図である。
【図7】操作画面の説明図である。
【図8】内視鏡撮影手順を示すフローチャートである。
【図9】内視鏡画像とシェーマ図の関連付け処理の手順を示すフローチャートである。
【図10】動画、静止画、シェーマ図の表示手順を示すフローチャートである。
【図11】シェーマ図と静止画の表示手順を示すフローチャートである。
【発明を実施するための形態】
【0027】
図1は、生体内を撮影して検査を行い撮影した内視鏡画像(医用画像)を画像データとして記録する内視鏡装置10と、検査を終了した後、患者への検査の説明や画像診断を行うために、内視鏡装置10で記録された内視鏡画像を表示する医用画像表示装置11とからなる医用画像表示システムを示す。
【0028】
内視鏡装置10は、撮影ユニットを備えた内視鏡13,撮影ユニットが出力する信号に基づいて内視鏡画像を生成するプロセッサ装置14,コンソール16,及びヘッドセット17からなる。コンソール16は、このプロセッサ装置14を操作する操作信号を入力するキーボードやマウスからなる操作部18と、操作画面を表示するとともに撮影された内視鏡画像をリアルタイムで表示するモニタ19とからなる。ヘッドセット17には、プロセッサ装置14へ音声信号を入力するマイク17aが設けられている。
【0029】
内視鏡13は、生体内に挿入される挿入部21と、この挿入部21の基端部分に連設された操作部22とを備えており、コード23によってプロセッサ装置14と接続される。挿入部21の先端21aには、撮影ユニット、鉗子を出入させる鉗子口、レンズの洗浄のための送水や送気を行うノズルなどが配されている。撮影ユニットは、CCD25(図2参照)、このCCD25へ撮影光を集光する対物レンズ、撮影対象となる撮影部位へ照明光を照射する照明窓からなる。
【0030】
挿入部21の内部には、CCD25の撮影アングルを変化させるためのアングルワイヤ、光源からの照明光を照明窓へ導く光ファイバーからなるライトガイド、CCD25が出力する撮像信号や、撮影指示などの操作信号を伝達する信号ケーブル、送水パイプ及び送気パイプなどが挿通されている。
【0031】
また、操作部22には、アングルワイヤの巻き取りと引き出しとを行うアングルノブ、送水を行う送水スイッチ、送気を行う送気スイッチ、モニタ表示切り替えスイッチなどが設けられている。アングルノブを操作してアングルワイヤを押し引きすると、先端21aの向きが変化して撮影アングルが所望の方向に向けられる。
【0032】
モニタ表示切り替えスイッチは、CCD25が所定のフレームレートで出力する取得する複数のフレームをモニタ19にリアルタイムで順次表示するライブ表示と、フレームの更新を停止(フリーズ)して停止時の1フレームをモニタ19に表示するフリーズ表示との切り替えを行う。
【0033】
図2に示すように、操作部22には、静止画を画像データとして記録するために静止画の撮影指示を入力するレリーズボタン26と、動画の記録開始及び終了の指示を入力する動画記録スイッチ27とが設けられている。レリーズボタン26が操作されると、内視鏡13で撮影した映像が静止画の画像データとして記録される。動画の記録を開始すると、例えば、モニタ表示用にCCD25が出力する撮像信号を動画の画像データとして記録する。静止画撮影では、CCD25の記録画素数が動画の1フレームよりも高く、動画に比べて、高精細な画像が記録される。静止画撮影は、動画記録中でもできるようになっている。その場合には、静止画撮影を行う間、動画のフレームの取得が一瞬停止されて、静止画撮影が終了すると再開される。
【0034】
内視鏡検査を行う場合には、検査対象範囲全体の映像をモニタ19で観察して検査を行うとともに、観察対象として特に重要な部分である所要部位を静止画撮影することが多い。所要部位は、例えば、上部消化管(食道,胃,十二指腸)であれば、食道から胃への入口となる噴門、上部胃壁の屈曲部分である胃角、胃から十二指腸への出口となる幽門、十二指腸の入口にあたる十二指腸球部などであり、この他、検査前の所見で病変の疑いのある部分が含まれる。こうした所要部位は、高精細な静止画として記録され、その画像に基づいて検査後に画像診断がなされる。上部消化管の場合には、挿入部21を患者の口から挿入して、先端21aを十二指腸まで挿入した後、挿入部21を引き抜く過程で、20カットから40カット程度の静止画が撮影される。
【0035】
マイク17aは、こうした静止画撮影の際に、静止画の撮影部位を識別するための識別情報となる音声を入力する識別情報入力部である。例えば、レリーズボタン26を押下する際に、医師が撮影部位の名称(「噴門(ふんもん)」、「胃角(いかく)」、「幽門(ゆうもん)」など)を発声し、その音声がマイク17aで録音される。録音された音声データは、それに対応する静止画の画像データに対応付けられて格納され、後述するように、医用画像表示装置11によって、静止画と予め用意されたシェーマ図との関連付けに使用される。マイク17aからの音声信号は、例えば、無線によってプロセッサ装置14に送られる。もちろん、有線で通信してもよい。
【0036】
プロセッサ装置14は、装置全体を統括的に制御するCPU31、CPU31がプログラムを実行する際に使用する作業用のメモリ32、CCD25から入力される撮像信号に画像処理を施して内視鏡画像を生成する内視鏡画像生成部33,マイク17aからのアナログの音声信号をデジタルな音声データに変換する音声信号処理部34、動画及び静止画の画像データや音声データを蓄積するデータストレージ36、LANなどの通信ネットワークを通じて他の機器とデータ通信を行うための通信I/F37からなる。
【0037】
CPU31は、画像データや音声データを所定のファイルフォーマットに変換し、それぞれを静止画ファイル、動画ファイル、音声ファイルとしてデータストレージ36に格納する。CPU31は、上述したとおり、音声データと静止画との対応付けを行い、1個の静止画ファイルに1個の音声ファイルを付帯させる。また、CPU31は、動画記録中に静止画撮影がなされた場合には、動画及び静止画のそれぞれの画像ファイルを関連付けるために、各画像ファイルに内視鏡画像リンク情報(医用画像リンク情報)を付与する。
【0038】
この内視鏡画像リンク情報は、後述するように、医用画像表示装置11で利用される情報であり、動画及び静止画の各画像ファイルを相互に関連づけるためのファイル名や、動画の全編内のどの時点で静止画が撮影されたかを示す記録位置情報などが含まれる。動画を記録する際には、一般的に、フレームデータの他に、各フレームの再生位置を示す情報としてタイムスタンプが付与される。記録位置情報としては、例えば、こうしたタイムスタンプが使用される。
【0039】
また、データストレージ36内の内視鏡画像と音声データは、検査前に予め登録された患者情報及び検査情報に基づいて、分類されて格納される。患者情報は、患者ID,氏名,生年月日,年齢,性別などがあり、検査情報は、検査日付や検査部位などである。内視鏡画像や音声データは、例えば、患者毎に分類されて格納される。また、患者毎のデータは、さらに、検査日付、検査の種類、診療科などに応じて適宜分類されて整理した状態で格納される。こうした患者情報及び検査情報は、例えば、検査前にコンソール16を通じて手入力でプロセッサ装置14に登録される。なお、院内の他の医療検査機器や会計用のデータベースなどに患者情報等が既に登録されている場合には、そうした登録済みの情報を通信ネットワークを介してプロセッサ装置14に取り込んでもよい。
【0040】
医用画像表示装置11は、例えば、パーソナルコンピュータをベースにして、医用画像表示プログラムをインストールしたものである。医用画像表示装置11は、装置本体38と、この装置本体38に接続されたコンソール39からなる。コンソール39は、この装置本体38を操作する操作信号を入力するキーボードやマウスからなる操作部41(図1参照)と、操作画面や、内視鏡装置10で記録された医用画像を表示するディスプレイ42(図1参照)とからなる。装置本体38は、装置全体を制御するCPU46と、CPU46がプログラムを実行する際に使用する作業用のメモリ47,医用画像表示プログラムや各種データが格納されるデータストレージ48,通信ネットワークを通じてデータ通信を行うための通信I/F49を備えている。CPU46は、医用画像表示プログラムが起動されると、プログラムに記述された各種の処理を実行する。
【0041】
医用画像表示装置11は、通信I/F49を通じて、内視鏡装置10が記録した画像ファイルや音声ファイルを取り込み、これらをデータストレージ48に格納する。データストレージ48には、内視鏡装置10から取り込んだデータの他に、シェーマ図ファイルと、音声サンプルファイルが格納されている。
【0042】
図3に示すように、シェーマ図ファイルは、生体の内部構造を模式的に表したシェーマ図をデジタルデータ化したものである。このシェーマ図ファイルは、CPU46によってデータストレージ48から読み出されて、シェーマ図がディスプレイ42に再生表示される。シェーマ図ファイルは、上部消化管、下部消化管といった検査部位に応じて複数種類格納されている。
【0043】
シェーマ図SCM1は、例えば、主として上部消化管の全体構造を示したものである。上部消化管の検査を行った場合には、患者への説明に際して、こうしたシェーマ図SCM1とともに、記録した内視鏡画像とを参照させれば、わかりやすい説明を行うことができる。そこで、CPU46は、内視鏡画像とシェーマ図ファイルとを関連付けるシェーマ図リンク情報を付与して、そのシェーマ図リンク情報に基づいて、一方をディスプレイ42に表示しているときに、他方を簡単に検索して表示できるようにしている。シェーマ図リンク情報は、動画ファイルとシェーマ図ファイルとの間のリンク情報と、静止画ファイルとシェーマ図ファイルとの間のリンク情報とがそれぞれ付与される。
【0044】
また、シェーマ図SCM1上には、上述した所要部位(例えば、噴門,胃角,幽門)が示されている。検査においてそれらの所要部位を撮影した静止画PIC1〜PIC3は、シェーマ図SCM1上の所要部位に相当する特定位置P1〜P3に対応付けられる。これにより、例えば、ディスプレイ42に表示したシェーマ図SCM1上の特定位置P1をマウスでポイントすると、静止画ファイルPIC1を検索して表示させるといったことが可能になる。なお、本例では、3カットの静止画を例に説明したが、もちろん、これは1例であり、静止画の枚数はこれに限定されるものではない。
【0045】
また、上述したとおり、静止画ファイルと動画ファイルは、内視鏡装置10によって付与された内視鏡画像リンク情報によって関連づけられている。この内視鏡画像リンク情報には、記録位置情報が含まれているので、医用画像表示装置11は、例えば、動画のフレームデータを再生し、静止画が記録された再生位置T1〜T3に達したときに、各位置T1〜T3に対応する静止画PIC1〜PIC3を検索して表示させる。
【0046】
図4は、内視鏡装置10によって取得される、動画、静止画、音声の各ファイルの構成図である。図4(A)に示すように、動画ファイルは、撮影したフレームデータと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報(静止画とのリンク情報)と、シェーマ図リンク情報が含まれる。静止画とのリンク情報は、静止画ファイル名(PIC1〜PIC3)と、その記録位置を示すタイムスタンプT1〜T3とを対応付けたものである。シェーマ図リンク情報は、シェーマ図SCM1のファイル名である。シェーマ図リンク情報は、医用画像表示装置11によって付与される。そのため、内視鏡装置10で記録した時点では、その情報を格納するエリアは、ブランクになっている。
【0047】
図4(B)に示すように、静止画ファイルは、画像データと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報(動画とのリンク情報)と、シェーマ図リンク情報とが含まれる。動画とのリンク情報は、例えば、動画ファイル名(MOV1)と、その動画内の記録位置を示すタイムスタンプT1とを対応付けたものである。静止画のシェーマ図リンク情報は、シェーマ図SCM1のファイル名と、特定位置に関する特定位置情報とを対応付けたものである。特定位置情報には、例えば、シェーマ図SCM1上の座標情報が含まれる。このシェーマ図リンク情報を格納するエリアは、動画ファイルと同様に、内視鏡装置10で記録された時点では、ブランクになっている。
【0048】
図4(C)に示すように、音声ファイルは、音声データと、対応する静止画のファイル名とからなる。噴門を撮影した静止画ファイル(PIC1)と対応する音声ファイルVO1の場合には、撮影時に録音された“ふんもん“という音声データと、静止画ファイル
のファイル名「PIC1」とが含まれる。このファイル名によって、音声ファイルは、静止画に付帯されて対応付けられる。
【0049】
図5は、シェーマ図ファイルの構成図である。シェーマ図ファイルは、シェーマ図SCM1の画像データと、付帯情報とからなる。この付帯情報には、動画ファイルと静止画ファイルのそれぞれのファイル名がシェーマ図リンク情報として含まれている。静止画ファイルとのリンク情報は、予め設定された各特定位置P1〜P3に関する特定位置情報にそれぞれ対応付けられる。これらのリンク情報は、医用画像表示装置11による関連付け処理が施されることによって生成されるので、その処理がなされるまではブランクになっている。
【0050】
また、シェーマ図ファイルには、各特定位置P1〜P3に対応して、SVO1〜SVO3の音声サンプルファイルが付帯されている。音声サンプルファイルは、静止画と特定位置を関連付けるために、静止画に付帯する音声ファイルと照合される照合情報である。音声サンプルファイルSVO1〜SVO3は、特定位置P1〜P3の部位名を音声データとして記録したものである。音声サンプルファイルは、この音声データと、対応するシェーマ図のファイル名(SCM1)と、特定位置情報とからなる。
【0051】
図6に示すように、医用画像表示装置11のCPU46は、例えば、静止画ファイルPIC1とシェーマ図ファイルとの関連付け処理を行う場合には、まず、静止画ファイルPIC1に付帯する音声ファイルVO1と、シェーマ図ファイルに付帯する複数の音声サンプルファイルSVO1〜SVO3とを照合して、音声ファイルVO1の音声データと一致する音声データを持つ音声サンプルファイルを調べる。そして、一致した音声サンプルファイルSVO1が見つかった場合には、その音声サンプルファイルSVO1に対応するシェーマ図ファイルのファイル名SCM1と特定位置情報P1とを、静止画ファイルPIC1内に格納する。他方、シェーマ図ファイル内には、静止画ファイルのファイル名PIC1を、特定位置P1に対応付けて格納する。
【0052】
なお、本例では、各ファイルのリンク情報として、関連付けたファイルのファイル名を付与しているが、リンク元とリンク先のファイルが別のフォルダや別の装置に格納されている場合には、ファイル名に加えて、その格納先を示すパス名やアドレス情報(URLなど)が付与される。
【0053】
図7は、ディスプレイ42に表示される医用画像表示画面(以下、表示画面という)56の例を示す。また、表示画面56には、動画を表示する表示窓57,静止画ファイルを表示する表示窓58,シェーマ図を表示する表示窓59,検査情報,患者情報を表示する表示窓61がそれぞれ設けられている。これらの窓は、それぞれ表示サイズを適宜変更することができるようになっている。表示サイズの変更は、例えば、マウスのポインタ62の操作によって行われる。また、図に示すように、これらの窓は、表示画面56内に並列的に表示される他、1つの窓を表示画面56の全域に拡大して表示することもできる。また、表示画面56には、ファイルボタン63が設けられており、このファイルボタン63をマウスでクリックすると、ファイル選択画面が表示され、この選択画面で表示するファイルを選択することができる。
【0054】
表示窓57には、動画の再生、一時停止、再生終了を指示するボタンが設けられている。また、マウス操作(例えば、右クリック操作)などによって、さらに詳細な操作メニューがポップアップ形式で表示され、早回しや早戻しや再生速度の変更などを行うこともできる。動画は再生時間が長いので、初期設定では、早回しで再生されるようになっている。
【0055】
表示窓59には、静止画が関連付けられたシェーマ図上の特定位置P1〜P3に丸印などのマークが表示され、その位置に静止画が関連付けられていることが識別できるようになっている。そのマークをポインタ62でポイントすると、ポイント位置に対応する静止画が呼び出される。さらに、表示画面56には、呼び出された静止画と特定位置との対応関係を示すラインや矢印などを示してもよい。
【0056】
以下、上記構成の作用について、図8〜11のフローチャートを参照しながら説明する。図8は、検査の際の内視鏡画像撮影手順を示す。まず、検査の前に、患者情報及び検査情報をプロセッサ装置14に登録する。そして、動画記録スイッチ27を押下して動画記録を開始する。挿入部21を患者の体内に挿入して、消化管内をモニタ19で観察しながら検査を行う。この観察中に、所要部位について適宜静止画を撮影する。この撮影の際に医師が撮影部位の名称を発声して、その音声をマイク17aで録音する。このように撮影部位の識別情報は音声で入力できるので、ボタン操作などの余計な操作がなく、簡単である。また、撮影時に撮影部位の名称を発する行為は、ボタン操作に比べて直感的でもあり違和感も少ない。
【0057】
プロセッサ装置14のCPU31は、静止画の画像データに録音した音声データを対応付けて保存する。また、CPU31は、静止画ファイルの付帯情報に、患者情報、検査情報、及び動画とのリンク情報(内視鏡画像リンク情報)を付加して、静止画ファイルをデータストレージ36に保存する。こうした手順が検査を終了するまで繰り返される。こうした静止画撮影により、所要部位について、動画のフレームよりも高精細な映像を記録することができる。検査が終了したら、動画記録を終了させる。動画データには、静止画とのリンク情報(内視鏡リンク情報)を付加して、動画ファイルをデータストレージ36に保存する。
【0058】
検査を終了した後、内視鏡装置10で記録した内視鏡画像と音声ファイルは、通信I/F49を通じて医用画像表示装置11に取り込まれ、データストレージ48に格納される。医用画像表示装置11のCPU46は、関連付け処理の操作指示に基づいて、内視鏡画像とシェーマ図との関連づけ処理を開始する。CPU46は、シェーマ図が複数種類ある場合には、動画又は静止画のファイル内の検査情報から検査部位を調べて、その検査部位に対応するシェーマ図を抽出する。これにより、関連づけ処理を行うシェーマ図が選択される。もちろん、医師が複数種類のうち所望のシェーマ図を選択してもよい。
【0059】
そして、内視鏡画像とシェーマ図のそれぞれのファイルにシェーマ図リンク情報(ファイル名)を付与する。静止画の場合には、図6に示したように、静止画に付帯する音声ファイルと、シェーマ図に付帯する音声サンプルファイルとが照合されて、シェーマ図上の特定位置との対応づけがなされる。こうして関連付け処理がなされた内視鏡画像が再びデータストレージ48に格納される。こうしたシェーマ図との関連付け処理がなされると、図3に示すように、動画、静止画、シェーマ図の三者が、内視鏡画像リンク情報及びシェーマ図リンク情報によって相互に関連付けがなされた状態になる。
【0060】
こうして関連付け処理が終了した後、医師は、医用画像表示装置11を使用して、患者に図7に示す表示画面56を見せながら検査の説明を行う。説明を行う際には、図10のフローチャートに示すように、医師は、例えば、まず、再生する動画ファイルを選択する。動画ファイルが選択されると、CPU46は、表示窓57を開き、動画ファイルの最初のフレームを表示する。さらに、シェーマ図リンク情報に基づいて、リンクされたシェーマ図SCM1を検索して、シェーマ図SCM1を表示窓59に表示する。医師は、これら動画とシェーマ図とを参照させながら、検査の概要などを説明する。
【0061】
さらに、動画の再生を開始すると、CPU46は、動画の再生中に、内視鏡リンク情報に基づいて、再生しているフレームに対応する静止画があるかどうかを監視して、静止画が存在するフレームに達したときには、表示窓58を開いて静止画を表示する。静止画が表示されると、例えば、動画は自動的に一時停止される。静止画は、動画のフレームよりも画質がよいので、患者に対してこの静止画を見せながら、詳細な説明が加えられる。こうした手順が動画の再生終了まで繰り返される。
【0062】
また、静止画ファイルにも、動画の全編内の記録位置が格納されているので、任意の静止画を表示しているときに、この記録位置情報に基づいて、その静止画の記録位置付近(例えば、その静止画の前後の部分)の動画のフレームを表示させることも、もちろん可能である。このように、動画と静止画とをリンクさせることで、一方から他方の検索が容易になり両者の間でシームレスな再生表示が可能となる。
【0063】
静止画に加えて動画を記録するメリットとしては、検査後に、患者に対して検査中の体内の状況を示すことができるとともに、医師も改めて検査状況を確認できるというメリットがある。例えば、バイオプシー(生検組織診断)を行うために、検査中に、内視鏡の先端から鉗子を出して、病変部位の組織を一部摘出する場合がある。この摘出に際しては、色素を含んだ薬品を鉗子口から噴射して、摘出部位の起伏を際だたせるなどの処置が行われる。動画を記録することで、噴射した薬品の広がり具合、広がる過程などを再確認できるので、摘出処置が適正に行われたか否かをチェックすることも可能となる。また、こうしたメリットがあることから、内視鏡の診断を動画で行うべきだと主張する医師も少なくない。
【0064】
また、図11のフローチャートに示すように、表示されたシェーマ図の画面上の特定位置をマウスでポイントすると、CPU46は、シェーマ図リンク情報に基づいて、その位置に対応する静止画を検索して、表示窓58に表示する。こうすることで、シェーマ図によって検査部位を全体的に示しながら、部分的に撮影された静止画を示すことで、両者の対応関係を明確にしながら、所要部位の状況を詳細に説明することができる。
【0065】
このように、シェーマ図と内視鏡画像とを相互に参照させながら、検査説明を行うことができるので、医師にとっても説明がしやすいし、患者にとっても理解しやすい説明を受けることが可能となる。また、検査後にこうした分かりやすい説明を受けることができるので、患者は、検査中に詳細な説明を受けるという負担から解放される。しかも、動画と静止画の関連づけを内視鏡装置10が行い、シェーマ図と内視鏡画像の関連づけを医用画像表示装置11が行うので、説明資料の作成という煩雑な手続きが不要になり、医師にとっても負担が少ない。
【0066】
上記実施形態では、内視鏡画像リンク情報及びシェーマ図リンク情報を、動画、静止画、シェーマ図の各ファイルにそれぞれ付与することで、各ファイルの関連付けを行う例で示したが、リンク情報を各ファイルとは独立した別のファイルとして付与してもよい。この場合には、各ファイル間のリンク情報をテーブルデータ化して、データベースを作成するとよい。
【0067】
また、上記実施形態では、静止画と動画、これら内視鏡画像とシェーマ図との間で相互に呼び出し(検索して表示すること)ができるようにリンク情報を付与しているが、相互でなくてもよく、例えば、静止画とシェーマ図との関係では、静止画からシェーマ図ファイルを呼び出させるのみで、静止画からシェーマ図を呼び出すことはできないというように、一方向のみを呼び出しできるようにリンク情報を付与してもよい。
【0068】
また、シェーマ図の特定位置をポイントしたときに、それに対応する静止画が呼び出されるようにしているが、例えば、シェーマ図が表示されたら、シェーマ図リンク情報に基づいて、そのシェーマ図に関連づけられた複数の静止画を検索して、シェーマ図の表示窓の周辺に同時に表示されるようにしてもよい。
【0069】
また、静止画やシェーマ図に付帯させている音声データを利用して、静止画やシェーマ図を音声によって呼び出せるようにしてもよい。例えば、「噴門」と発声すれば、医用画像表示装置がこの音声を認識し、入力された音声に基づいて、噴門を撮影した静止画が表示されるようにする。これによれば、患者への説明中にマウスやキーボードを操作する手間を省くことができる。
【0070】
また、上記実施形態では、1つのシェーマ図に内視鏡画像を関連付ける例で説明しているが、例えば、静止画の撮影部位毎に、関連づけるシェーマ図を変更するというように、複数のシェーマ図と関連付けてもよい。
【0071】
また、上記実施形態では、シェーマ図と静止画の特定位置とを対応付けるための識別情報として、音声データを使用する例で説明しているが、音声データでなくてもよい。例えば、内視鏡の操作部やプロセッサ装置のコンソールに、撮影部位の種類に応じた識別情報(例えばテキストデータ)を入力するためのボタンを設けて、このボタン操作によって撮影部位に応じた識別情報が入力されるようにしてもよい。また、カプセル内視鏡などで使用されているように、内視鏡の撮影部から測位用の電波を発信させてこれを受信することにより撮影位置を測位する測位装置を設け、その測位情報を識別情報に利用してもよい。
【0072】
また、静止画の撮影部位の数とその撮影順序がパターン化されているような場合には、識別情報として、撮影順序を表す番号などのテキストデータを使用してもよい。この場合には、例えば、内視鏡装置のレリーズボタンが押下されたときに、内視鏡装置が自動的に撮影順序を表す番号を静止画に付帯させる。識別情報は、シェーマ図に付帯する照合情報と照合されるものであるので、識別情報としてテキストデータを使用する場合には、シェーマ図の照合情報もそれに対応するテキストデータが使用される。
【0073】
また、上記実施形態では、内視鏡装置によって静止画に加えて動画も記録して、医用画像表示装置で動画の再生も行うようにしているが、動画はなくてもよく、静止画とシェーマ図だけでもよい。ただし、上述したとおり、動画を記録することの有用性はあるので、動画を記録再生することが好ましい。また、動画を記録する場合には、動画と静止画を撮影する撮像素子を別々に設けてもよい。
【0074】
また、上記実施形態では、シェーマ図として平面的な図を使用した例で説明しているが、もちろん、立体的な図を使用してもよい。また、シェーマ図としては、描画された画像の他に、撮影された写真を使用してもよい。また、立体的な図を使用する場合には、例えば、MRI(磁気共鳴画像)装置やCT(X線断層写真)装置などの画像撮影モダリティ(医療機器)で取得された断層写真から、生体の内部構造を立体的に構成したものを使用してもよい。こうした立体図をシェーマ図として使用すれば、その図を立体的に回転させることで、内部構造を正面からだけでなく、背面からも示すことができるので、より分かりやすい説明資料となる。
【0075】
また、上記実施形態では、医用画像表示装置内のデータストレージに内視鏡画像及びシェーマ図の各データを格納するようにしているが、データの格納場所は、これに限るものではない。例えば、通信ネットワークを通じて医用画像表示装置と接続された、院内又は院外に存在するデータストレージサーバにデータを格納しておき、医用画像表示装置がそこにアクセスすることでデータを読み出すようにしてもよい。
【0076】
また、上記実施形態では、内視鏡装置として、撮像素子のみを備えた電子内視鏡を例に説明したが、超音波プローブを備えた超音波内視鏡を用いてもよい。この場合には、内視鏡画像に加えて、超音波プローブで撮影された超音波画像も、医用画像として、シェーマ図とリンクさせるようにするとよい。
【符号の説明】
【0077】
10 内視鏡装置
11 医用画像表示装置
13 内視鏡
14 プロセッサ装置
17a マイク(識別情報入力部)
22 操作部
26 レリーズボタン
27 動画記録スイッチ
31 CPU(医用画像リンク情報記録部)
36 データストレージ
42 ディスプレイ
46 CPU(シェーマ図リンク情報付与部、制御部)
【技術分野】
【0001】
本発明は、内視鏡で生体内を撮影して得た医用画像を表示する医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに医用画像表示システムに用いられる内視鏡装置に関するものである。
【背景技術】
【0002】
生体内を検査するために、内視鏡装置を利用した内視鏡検査が行われている。内視鏡装置は、内視鏡とプロセッサ装置とからなる。内視鏡は、生体内(例えば、消化管など)に挿入され、屈曲自在なチューブ状の挿入部を備えており、この挿入部の先端には、CCDなどの撮像素子と、撮像部位に照明光を照射する照明窓とを備えた撮影ユニットが配されている。内視鏡は、撮像素子が所定のフレームレートで出力する撮像信号を、内視鏡と接続されたプロセッサ装置に順次送信する。プロセッサ装置は、受信した撮像信号に対して順次画像処理を施して内視鏡画像(医用画像)を生成して、これをモニタにリアルタイムで表示する。医師は、モニタに映し出された映像を通じて生体内を観察しながら検査を行う。
【0003】
また、内視鏡は、撮影された内視鏡画像を高精細な静止画の画像データとして記録する機能を備えている。内視鏡の操作部にはレリーズスイッチが設けられており、必要に応じてこれを押下することにより、所要部位の静止画が記録される。こうして記録された内視鏡画像は、これをプリンタでプリントアウトしたり、パーソナルコンピュータのディスプレイに表示することにより、医師の検査後の診断や、患者に対する検査結果等の説明に使用される(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−120498号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、インフォームドコンセント(医療行為の説明と同意)の必要性が社会的に認識されてきており、医療現場においては、患者に対して医療行為に関する十分な説明をすることが求められている。内視鏡検査においては、上述のとおり、検査後に所要部位を撮影した静止画を見せながら検査結果等の説明が行われるが、静止画に基づいた説明だけでは、撮影部位の体全体の中の位置などを把握しにくく、説明内容を正確に理解しづらいという問題があった。
【0006】
もちろん、内視鏡検査では、検査中の映像がプロセッサ装置のモニタにリアルタイムで表示されるので、その映像を患者に見せながら医師が適宜説明を加えて、検査後の説明だけでは分かりにくい部分を補足することも行われている。しかし、検査中は、患者は体内に内視鏡が挿入された状態にあり、そうした状態で、患者に対してモニタの映像を注視させたり、詳細な説明を聞かせたりすることは、患者にとって負担が大きいばかりでなく、その説明を受ける余裕すら無いケースもある。
【0007】
そこで、検査後に、生体の内部構造を模式的に表す模式図(シェーマ図)と、撮影した静止画に基づいて、それらの関連が分かるような説明用の資料を作成し、それを用いた説明も行われている。しかし、分かりやすい資料を作成するにはそれなりの手間がかかるため、医師の負担が大きく、そうした説明は敬遠される傾向があった。
【0008】
本発明は、こうした背景に鑑みてなされたものであり、医師と患者の双方に余計な負担を強いることなく、分かりやすい検査説明ができるようにすることを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の医用画像表示装置は、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置を用いて、画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする。
【0010】
前記シェーマ図の画像データには、前記識別情報と照合するための照合情報が前記シェーマ図内の特定位置毎に予め付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることが好ましい。
【0011】
前記識別情報は、例えば、前記マイクによって録音された音声データであり、前記識別情報に対応して音声データで記録された前記照合情報と照合される。
【0012】
前記識別情報は、例えば、前記操作部の操作又は前記内視鏡装置が有するプロセッサ装置のコンソールの操作によって入力される。
【0013】
前記識別情報は、例えば、テキストデータであり、前記識別情報に対応してテキストデータで記録された前記照合情報と照合される。
【0014】
前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することが好ましい。
【0015】
前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することが好ましい。
【0016】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示してもよい。
【0017】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示してもよい。
【0018】
前記制御部は、前記静止画と前記シェーマ図に加えて、前記動画を前記ディスプレイに並べて表示することが好ましい。
【0019】
本発明の医用画像表示システムは、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置と、前記内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置とを有する医用画像表示システムにおいて、前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする。
【0020】
前記内視鏡装置は、前記静止画の撮影指示を入力するレリーズボタンと、前記識別情報を入力する識別情報入力部であり、前記マイク、前記操作部及び前記内視鏡装置が有するプロセッサ装置のコンソールのうちのいずれかからなる識別情報入力部と、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録部とを備えていることが好ましい。
【0021】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することが好ましい。
【0022】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することが好ましい。
【0023】
前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプが使用されることが好ましい。前記内視鏡は、前記医用画像リンク情報を記録する医用画像リンク情報記録部を有することが好ましい。前記静止画は、前記動画の1フレームの画素数よりも高い画素数で記録されることが好ましい。
【0024】
本発明の医用画像表示方法は、生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有する内視鏡装置によって撮影された医用画像を画像データとして記録し、この医用画像を医用画像表示装置のディスプレイに表示する医用画像表示方法において、前記医用画像には静止画が含まれており、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって、前記静止画の撮影部位を識別するための識別情報を入力する識別情報入力ステップと、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含むことが好ましい。
【発明の効果】
【0025】
本発明によれば、内視鏡装置によって撮影された医用画像をディスプレイに表示する際に、内視鏡装置で撮影された静止画と、生体の内部構造を模式的に表したシェーマ図とを関連づけるシェーマ図リンク情報を付与し、この情報に基づいて、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、他方を検索して前記ディスプレイに表示するようにしたから、医師と患者の双方に対して余計な負担を強いることなく、内視鏡の検査結果を分かりやすく説明することができる。
【図面の簡単な説明】
【0026】
【図1】医用画像表示システムの説明図である。
【図2】内視鏡装置及び医用画像表示装置の概略を示す構成図である。
【図3】動画、静止画、シェーマ図の各ファイルのリンク状況を説明する説明図である。
【図4】動画及び静止画の各ファイルのファイル構成を示す説明図である。
【図5】シェーマ図ファイルのファイル構成を示す説明図である。
【図6】静止画とシェーマ図の関連付け処理の説明図である。
【図7】操作画面の説明図である。
【図8】内視鏡撮影手順を示すフローチャートである。
【図9】内視鏡画像とシェーマ図の関連付け処理の手順を示すフローチャートである。
【図10】動画、静止画、シェーマ図の表示手順を示すフローチャートである。
【図11】シェーマ図と静止画の表示手順を示すフローチャートである。
【発明を実施するための形態】
【0027】
図1は、生体内を撮影して検査を行い撮影した内視鏡画像(医用画像)を画像データとして記録する内視鏡装置10と、検査を終了した後、患者への検査の説明や画像診断を行うために、内視鏡装置10で記録された内視鏡画像を表示する医用画像表示装置11とからなる医用画像表示システムを示す。
【0028】
内視鏡装置10は、撮影ユニットを備えた内視鏡13,撮影ユニットが出力する信号に基づいて内視鏡画像を生成するプロセッサ装置14,コンソール16,及びヘッドセット17からなる。コンソール16は、このプロセッサ装置14を操作する操作信号を入力するキーボードやマウスからなる操作部18と、操作画面を表示するとともに撮影された内視鏡画像をリアルタイムで表示するモニタ19とからなる。ヘッドセット17には、プロセッサ装置14へ音声信号を入力するマイク17aが設けられている。
【0029】
内視鏡13は、生体内に挿入される挿入部21と、この挿入部21の基端部分に連設された操作部22とを備えており、コード23によってプロセッサ装置14と接続される。挿入部21の先端21aには、撮影ユニット、鉗子を出入させる鉗子口、レンズの洗浄のための送水や送気を行うノズルなどが配されている。撮影ユニットは、CCD25(図2参照)、このCCD25へ撮影光を集光する対物レンズ、撮影対象となる撮影部位へ照明光を照射する照明窓からなる。
【0030】
挿入部21の内部には、CCD25の撮影アングルを変化させるためのアングルワイヤ、光源からの照明光を照明窓へ導く光ファイバーからなるライトガイド、CCD25が出力する撮像信号や、撮影指示などの操作信号を伝達する信号ケーブル、送水パイプ及び送気パイプなどが挿通されている。
【0031】
また、操作部22には、アングルワイヤの巻き取りと引き出しとを行うアングルノブ、送水を行う送水スイッチ、送気を行う送気スイッチ、モニタ表示切り替えスイッチなどが設けられている。アングルノブを操作してアングルワイヤを押し引きすると、先端21aの向きが変化して撮影アングルが所望の方向に向けられる。
【0032】
モニタ表示切り替えスイッチは、CCD25が所定のフレームレートで出力する取得する複数のフレームをモニタ19にリアルタイムで順次表示するライブ表示と、フレームの更新を停止(フリーズ)して停止時の1フレームをモニタ19に表示するフリーズ表示との切り替えを行う。
【0033】
図2に示すように、操作部22には、静止画を画像データとして記録するために静止画の撮影指示を入力するレリーズボタン26と、動画の記録開始及び終了の指示を入力する動画記録スイッチ27とが設けられている。レリーズボタン26が操作されると、内視鏡13で撮影した映像が静止画の画像データとして記録される。動画の記録を開始すると、例えば、モニタ表示用にCCD25が出力する撮像信号を動画の画像データとして記録する。静止画撮影では、CCD25の記録画素数が動画の1フレームよりも高く、動画に比べて、高精細な画像が記録される。静止画撮影は、動画記録中でもできるようになっている。その場合には、静止画撮影を行う間、動画のフレームの取得が一瞬停止されて、静止画撮影が終了すると再開される。
【0034】
内視鏡検査を行う場合には、検査対象範囲全体の映像をモニタ19で観察して検査を行うとともに、観察対象として特に重要な部分である所要部位を静止画撮影することが多い。所要部位は、例えば、上部消化管(食道,胃,十二指腸)であれば、食道から胃への入口となる噴門、上部胃壁の屈曲部分である胃角、胃から十二指腸への出口となる幽門、十二指腸の入口にあたる十二指腸球部などであり、この他、検査前の所見で病変の疑いのある部分が含まれる。こうした所要部位は、高精細な静止画として記録され、その画像に基づいて検査後に画像診断がなされる。上部消化管の場合には、挿入部21を患者の口から挿入して、先端21aを十二指腸まで挿入した後、挿入部21を引き抜く過程で、20カットから40カット程度の静止画が撮影される。
【0035】
マイク17aは、こうした静止画撮影の際に、静止画の撮影部位を識別するための識別情報となる音声を入力する識別情報入力部である。例えば、レリーズボタン26を押下する際に、医師が撮影部位の名称(「噴門(ふんもん)」、「胃角(いかく)」、「幽門(ゆうもん)」など)を発声し、その音声がマイク17aで録音される。録音された音声データは、それに対応する静止画の画像データに対応付けられて格納され、後述するように、医用画像表示装置11によって、静止画と予め用意されたシェーマ図との関連付けに使用される。マイク17aからの音声信号は、例えば、無線によってプロセッサ装置14に送られる。もちろん、有線で通信してもよい。
【0036】
プロセッサ装置14は、装置全体を統括的に制御するCPU31、CPU31がプログラムを実行する際に使用する作業用のメモリ32、CCD25から入力される撮像信号に画像処理を施して内視鏡画像を生成する内視鏡画像生成部33,マイク17aからのアナログの音声信号をデジタルな音声データに変換する音声信号処理部34、動画及び静止画の画像データや音声データを蓄積するデータストレージ36、LANなどの通信ネットワークを通じて他の機器とデータ通信を行うための通信I/F37からなる。
【0037】
CPU31は、画像データや音声データを所定のファイルフォーマットに変換し、それぞれを静止画ファイル、動画ファイル、音声ファイルとしてデータストレージ36に格納する。CPU31は、上述したとおり、音声データと静止画との対応付けを行い、1個の静止画ファイルに1個の音声ファイルを付帯させる。また、CPU31は、動画記録中に静止画撮影がなされた場合には、動画及び静止画のそれぞれの画像ファイルを関連付けるために、各画像ファイルに内視鏡画像リンク情報(医用画像リンク情報)を付与する。
【0038】
この内視鏡画像リンク情報は、後述するように、医用画像表示装置11で利用される情報であり、動画及び静止画の各画像ファイルを相互に関連づけるためのファイル名や、動画の全編内のどの時点で静止画が撮影されたかを示す記録位置情報などが含まれる。動画を記録する際には、一般的に、フレームデータの他に、各フレームの再生位置を示す情報としてタイムスタンプが付与される。記録位置情報としては、例えば、こうしたタイムスタンプが使用される。
【0039】
また、データストレージ36内の内視鏡画像と音声データは、検査前に予め登録された患者情報及び検査情報に基づいて、分類されて格納される。患者情報は、患者ID,氏名,生年月日,年齢,性別などがあり、検査情報は、検査日付や検査部位などである。内視鏡画像や音声データは、例えば、患者毎に分類されて格納される。また、患者毎のデータは、さらに、検査日付、検査の種類、診療科などに応じて適宜分類されて整理した状態で格納される。こうした患者情報及び検査情報は、例えば、検査前にコンソール16を通じて手入力でプロセッサ装置14に登録される。なお、院内の他の医療検査機器や会計用のデータベースなどに患者情報等が既に登録されている場合には、そうした登録済みの情報を通信ネットワークを介してプロセッサ装置14に取り込んでもよい。
【0040】
医用画像表示装置11は、例えば、パーソナルコンピュータをベースにして、医用画像表示プログラムをインストールしたものである。医用画像表示装置11は、装置本体38と、この装置本体38に接続されたコンソール39からなる。コンソール39は、この装置本体38を操作する操作信号を入力するキーボードやマウスからなる操作部41(図1参照)と、操作画面や、内視鏡装置10で記録された医用画像を表示するディスプレイ42(図1参照)とからなる。装置本体38は、装置全体を制御するCPU46と、CPU46がプログラムを実行する際に使用する作業用のメモリ47,医用画像表示プログラムや各種データが格納されるデータストレージ48,通信ネットワークを通じてデータ通信を行うための通信I/F49を備えている。CPU46は、医用画像表示プログラムが起動されると、プログラムに記述された各種の処理を実行する。
【0041】
医用画像表示装置11は、通信I/F49を通じて、内視鏡装置10が記録した画像ファイルや音声ファイルを取り込み、これらをデータストレージ48に格納する。データストレージ48には、内視鏡装置10から取り込んだデータの他に、シェーマ図ファイルと、音声サンプルファイルが格納されている。
【0042】
図3に示すように、シェーマ図ファイルは、生体の内部構造を模式的に表したシェーマ図をデジタルデータ化したものである。このシェーマ図ファイルは、CPU46によってデータストレージ48から読み出されて、シェーマ図がディスプレイ42に再生表示される。シェーマ図ファイルは、上部消化管、下部消化管といった検査部位に応じて複数種類格納されている。
【0043】
シェーマ図SCM1は、例えば、主として上部消化管の全体構造を示したものである。上部消化管の検査を行った場合には、患者への説明に際して、こうしたシェーマ図SCM1とともに、記録した内視鏡画像とを参照させれば、わかりやすい説明を行うことができる。そこで、CPU46は、内視鏡画像とシェーマ図ファイルとを関連付けるシェーマ図リンク情報を付与して、そのシェーマ図リンク情報に基づいて、一方をディスプレイ42に表示しているときに、他方を簡単に検索して表示できるようにしている。シェーマ図リンク情報は、動画ファイルとシェーマ図ファイルとの間のリンク情報と、静止画ファイルとシェーマ図ファイルとの間のリンク情報とがそれぞれ付与される。
【0044】
また、シェーマ図SCM1上には、上述した所要部位(例えば、噴門,胃角,幽門)が示されている。検査においてそれらの所要部位を撮影した静止画PIC1〜PIC3は、シェーマ図SCM1上の所要部位に相当する特定位置P1〜P3に対応付けられる。これにより、例えば、ディスプレイ42に表示したシェーマ図SCM1上の特定位置P1をマウスでポイントすると、静止画ファイルPIC1を検索して表示させるといったことが可能になる。なお、本例では、3カットの静止画を例に説明したが、もちろん、これは1例であり、静止画の枚数はこれに限定されるものではない。
【0045】
また、上述したとおり、静止画ファイルと動画ファイルは、内視鏡装置10によって付与された内視鏡画像リンク情報によって関連づけられている。この内視鏡画像リンク情報には、記録位置情報が含まれているので、医用画像表示装置11は、例えば、動画のフレームデータを再生し、静止画が記録された再生位置T1〜T3に達したときに、各位置T1〜T3に対応する静止画PIC1〜PIC3を検索して表示させる。
【0046】
図4は、内視鏡装置10によって取得される、動画、静止画、音声の各ファイルの構成図である。図4(A)に示すように、動画ファイルは、撮影したフレームデータと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報(静止画とのリンク情報)と、シェーマ図リンク情報が含まれる。静止画とのリンク情報は、静止画ファイル名(PIC1〜PIC3)と、その記録位置を示すタイムスタンプT1〜T3とを対応付けたものである。シェーマ図リンク情報は、シェーマ図SCM1のファイル名である。シェーマ図リンク情報は、医用画像表示装置11によって付与される。そのため、内視鏡装置10で記録した時点では、その情報を格納するエリアは、ブランクになっている。
【0047】
図4(B)に示すように、静止画ファイルは、画像データと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報(動画とのリンク情報)と、シェーマ図リンク情報とが含まれる。動画とのリンク情報は、例えば、動画ファイル名(MOV1)と、その動画内の記録位置を示すタイムスタンプT1とを対応付けたものである。静止画のシェーマ図リンク情報は、シェーマ図SCM1のファイル名と、特定位置に関する特定位置情報とを対応付けたものである。特定位置情報には、例えば、シェーマ図SCM1上の座標情報が含まれる。このシェーマ図リンク情報を格納するエリアは、動画ファイルと同様に、内視鏡装置10で記録された時点では、ブランクになっている。
【0048】
図4(C)に示すように、音声ファイルは、音声データと、対応する静止画のファイル名とからなる。噴門を撮影した静止画ファイル(PIC1)と対応する音声ファイルVO1の場合には、撮影時に録音された“ふんもん“という音声データと、静止画ファイル
のファイル名「PIC1」とが含まれる。このファイル名によって、音声ファイルは、静止画に付帯されて対応付けられる。
【0049】
図5は、シェーマ図ファイルの構成図である。シェーマ図ファイルは、シェーマ図SCM1の画像データと、付帯情報とからなる。この付帯情報には、動画ファイルと静止画ファイルのそれぞれのファイル名がシェーマ図リンク情報として含まれている。静止画ファイルとのリンク情報は、予め設定された各特定位置P1〜P3に関する特定位置情報にそれぞれ対応付けられる。これらのリンク情報は、医用画像表示装置11による関連付け処理が施されることによって生成されるので、その処理がなされるまではブランクになっている。
【0050】
また、シェーマ図ファイルには、各特定位置P1〜P3に対応して、SVO1〜SVO3の音声サンプルファイルが付帯されている。音声サンプルファイルは、静止画と特定位置を関連付けるために、静止画に付帯する音声ファイルと照合される照合情報である。音声サンプルファイルSVO1〜SVO3は、特定位置P1〜P3の部位名を音声データとして記録したものである。音声サンプルファイルは、この音声データと、対応するシェーマ図のファイル名(SCM1)と、特定位置情報とからなる。
【0051】
図6に示すように、医用画像表示装置11のCPU46は、例えば、静止画ファイルPIC1とシェーマ図ファイルとの関連付け処理を行う場合には、まず、静止画ファイルPIC1に付帯する音声ファイルVO1と、シェーマ図ファイルに付帯する複数の音声サンプルファイルSVO1〜SVO3とを照合して、音声ファイルVO1の音声データと一致する音声データを持つ音声サンプルファイルを調べる。そして、一致した音声サンプルファイルSVO1が見つかった場合には、その音声サンプルファイルSVO1に対応するシェーマ図ファイルのファイル名SCM1と特定位置情報P1とを、静止画ファイルPIC1内に格納する。他方、シェーマ図ファイル内には、静止画ファイルのファイル名PIC1を、特定位置P1に対応付けて格納する。
【0052】
なお、本例では、各ファイルのリンク情報として、関連付けたファイルのファイル名を付与しているが、リンク元とリンク先のファイルが別のフォルダや別の装置に格納されている場合には、ファイル名に加えて、その格納先を示すパス名やアドレス情報(URLなど)が付与される。
【0053】
図7は、ディスプレイ42に表示される医用画像表示画面(以下、表示画面という)56の例を示す。また、表示画面56には、動画を表示する表示窓57,静止画ファイルを表示する表示窓58,シェーマ図を表示する表示窓59,検査情報,患者情報を表示する表示窓61がそれぞれ設けられている。これらの窓は、それぞれ表示サイズを適宜変更することができるようになっている。表示サイズの変更は、例えば、マウスのポインタ62の操作によって行われる。また、図に示すように、これらの窓は、表示画面56内に並列的に表示される他、1つの窓を表示画面56の全域に拡大して表示することもできる。また、表示画面56には、ファイルボタン63が設けられており、このファイルボタン63をマウスでクリックすると、ファイル選択画面が表示され、この選択画面で表示するファイルを選択することができる。
【0054】
表示窓57には、動画の再生、一時停止、再生終了を指示するボタンが設けられている。また、マウス操作(例えば、右クリック操作)などによって、さらに詳細な操作メニューがポップアップ形式で表示され、早回しや早戻しや再生速度の変更などを行うこともできる。動画は再生時間が長いので、初期設定では、早回しで再生されるようになっている。
【0055】
表示窓59には、静止画が関連付けられたシェーマ図上の特定位置P1〜P3に丸印などのマークが表示され、その位置に静止画が関連付けられていることが識別できるようになっている。そのマークをポインタ62でポイントすると、ポイント位置に対応する静止画が呼び出される。さらに、表示画面56には、呼び出された静止画と特定位置との対応関係を示すラインや矢印などを示してもよい。
【0056】
以下、上記構成の作用について、図8〜11のフローチャートを参照しながら説明する。図8は、検査の際の内視鏡画像撮影手順を示す。まず、検査の前に、患者情報及び検査情報をプロセッサ装置14に登録する。そして、動画記録スイッチ27を押下して動画記録を開始する。挿入部21を患者の体内に挿入して、消化管内をモニタ19で観察しながら検査を行う。この観察中に、所要部位について適宜静止画を撮影する。この撮影の際に医師が撮影部位の名称を発声して、その音声をマイク17aで録音する。このように撮影部位の識別情報は音声で入力できるので、ボタン操作などの余計な操作がなく、簡単である。また、撮影時に撮影部位の名称を発する行為は、ボタン操作に比べて直感的でもあり違和感も少ない。
【0057】
プロセッサ装置14のCPU31は、静止画の画像データに録音した音声データを対応付けて保存する。また、CPU31は、静止画ファイルの付帯情報に、患者情報、検査情報、及び動画とのリンク情報(内視鏡画像リンク情報)を付加して、静止画ファイルをデータストレージ36に保存する。こうした手順が検査を終了するまで繰り返される。こうした静止画撮影により、所要部位について、動画のフレームよりも高精細な映像を記録することができる。検査が終了したら、動画記録を終了させる。動画データには、静止画とのリンク情報(内視鏡リンク情報)を付加して、動画ファイルをデータストレージ36に保存する。
【0058】
検査を終了した後、内視鏡装置10で記録した内視鏡画像と音声ファイルは、通信I/F49を通じて医用画像表示装置11に取り込まれ、データストレージ48に格納される。医用画像表示装置11のCPU46は、関連付け処理の操作指示に基づいて、内視鏡画像とシェーマ図との関連づけ処理を開始する。CPU46は、シェーマ図が複数種類ある場合には、動画又は静止画のファイル内の検査情報から検査部位を調べて、その検査部位に対応するシェーマ図を抽出する。これにより、関連づけ処理を行うシェーマ図が選択される。もちろん、医師が複数種類のうち所望のシェーマ図を選択してもよい。
【0059】
そして、内視鏡画像とシェーマ図のそれぞれのファイルにシェーマ図リンク情報(ファイル名)を付与する。静止画の場合には、図6に示したように、静止画に付帯する音声ファイルと、シェーマ図に付帯する音声サンプルファイルとが照合されて、シェーマ図上の特定位置との対応づけがなされる。こうして関連付け処理がなされた内視鏡画像が再びデータストレージ48に格納される。こうしたシェーマ図との関連付け処理がなされると、図3に示すように、動画、静止画、シェーマ図の三者が、内視鏡画像リンク情報及びシェーマ図リンク情報によって相互に関連付けがなされた状態になる。
【0060】
こうして関連付け処理が終了した後、医師は、医用画像表示装置11を使用して、患者に図7に示す表示画面56を見せながら検査の説明を行う。説明を行う際には、図10のフローチャートに示すように、医師は、例えば、まず、再生する動画ファイルを選択する。動画ファイルが選択されると、CPU46は、表示窓57を開き、動画ファイルの最初のフレームを表示する。さらに、シェーマ図リンク情報に基づいて、リンクされたシェーマ図SCM1を検索して、シェーマ図SCM1を表示窓59に表示する。医師は、これら動画とシェーマ図とを参照させながら、検査の概要などを説明する。
【0061】
さらに、動画の再生を開始すると、CPU46は、動画の再生中に、内視鏡リンク情報に基づいて、再生しているフレームに対応する静止画があるかどうかを監視して、静止画が存在するフレームに達したときには、表示窓58を開いて静止画を表示する。静止画が表示されると、例えば、動画は自動的に一時停止される。静止画は、動画のフレームよりも画質がよいので、患者に対してこの静止画を見せながら、詳細な説明が加えられる。こうした手順が動画の再生終了まで繰り返される。
【0062】
また、静止画ファイルにも、動画の全編内の記録位置が格納されているので、任意の静止画を表示しているときに、この記録位置情報に基づいて、その静止画の記録位置付近(例えば、その静止画の前後の部分)の動画のフレームを表示させることも、もちろん可能である。このように、動画と静止画とをリンクさせることで、一方から他方の検索が容易になり両者の間でシームレスな再生表示が可能となる。
【0063】
静止画に加えて動画を記録するメリットとしては、検査後に、患者に対して検査中の体内の状況を示すことができるとともに、医師も改めて検査状況を確認できるというメリットがある。例えば、バイオプシー(生検組織診断)を行うために、検査中に、内視鏡の先端から鉗子を出して、病変部位の組織を一部摘出する場合がある。この摘出に際しては、色素を含んだ薬品を鉗子口から噴射して、摘出部位の起伏を際だたせるなどの処置が行われる。動画を記録することで、噴射した薬品の広がり具合、広がる過程などを再確認できるので、摘出処置が適正に行われたか否かをチェックすることも可能となる。また、こうしたメリットがあることから、内視鏡の診断を動画で行うべきだと主張する医師も少なくない。
【0064】
また、図11のフローチャートに示すように、表示されたシェーマ図の画面上の特定位置をマウスでポイントすると、CPU46は、シェーマ図リンク情報に基づいて、その位置に対応する静止画を検索して、表示窓58に表示する。こうすることで、シェーマ図によって検査部位を全体的に示しながら、部分的に撮影された静止画を示すことで、両者の対応関係を明確にしながら、所要部位の状況を詳細に説明することができる。
【0065】
このように、シェーマ図と内視鏡画像とを相互に参照させながら、検査説明を行うことができるので、医師にとっても説明がしやすいし、患者にとっても理解しやすい説明を受けることが可能となる。また、検査後にこうした分かりやすい説明を受けることができるので、患者は、検査中に詳細な説明を受けるという負担から解放される。しかも、動画と静止画の関連づけを内視鏡装置10が行い、シェーマ図と内視鏡画像の関連づけを医用画像表示装置11が行うので、説明資料の作成という煩雑な手続きが不要になり、医師にとっても負担が少ない。
【0066】
上記実施形態では、内視鏡画像リンク情報及びシェーマ図リンク情報を、動画、静止画、シェーマ図の各ファイルにそれぞれ付与することで、各ファイルの関連付けを行う例で示したが、リンク情報を各ファイルとは独立した別のファイルとして付与してもよい。この場合には、各ファイル間のリンク情報をテーブルデータ化して、データベースを作成するとよい。
【0067】
また、上記実施形態では、静止画と動画、これら内視鏡画像とシェーマ図との間で相互に呼び出し(検索して表示すること)ができるようにリンク情報を付与しているが、相互でなくてもよく、例えば、静止画とシェーマ図との関係では、静止画からシェーマ図ファイルを呼び出させるのみで、静止画からシェーマ図を呼び出すことはできないというように、一方向のみを呼び出しできるようにリンク情報を付与してもよい。
【0068】
また、シェーマ図の特定位置をポイントしたときに、それに対応する静止画が呼び出されるようにしているが、例えば、シェーマ図が表示されたら、シェーマ図リンク情報に基づいて、そのシェーマ図に関連づけられた複数の静止画を検索して、シェーマ図の表示窓の周辺に同時に表示されるようにしてもよい。
【0069】
また、静止画やシェーマ図に付帯させている音声データを利用して、静止画やシェーマ図を音声によって呼び出せるようにしてもよい。例えば、「噴門」と発声すれば、医用画像表示装置がこの音声を認識し、入力された音声に基づいて、噴門を撮影した静止画が表示されるようにする。これによれば、患者への説明中にマウスやキーボードを操作する手間を省くことができる。
【0070】
また、上記実施形態では、1つのシェーマ図に内視鏡画像を関連付ける例で説明しているが、例えば、静止画の撮影部位毎に、関連づけるシェーマ図を変更するというように、複数のシェーマ図と関連付けてもよい。
【0071】
また、上記実施形態では、シェーマ図と静止画の特定位置とを対応付けるための識別情報として、音声データを使用する例で説明しているが、音声データでなくてもよい。例えば、内視鏡の操作部やプロセッサ装置のコンソールに、撮影部位の種類に応じた識別情報(例えばテキストデータ)を入力するためのボタンを設けて、このボタン操作によって撮影部位に応じた識別情報が入力されるようにしてもよい。また、カプセル内視鏡などで使用されているように、内視鏡の撮影部から測位用の電波を発信させてこれを受信することにより撮影位置を測位する測位装置を設け、その測位情報を識別情報に利用してもよい。
【0072】
また、静止画の撮影部位の数とその撮影順序がパターン化されているような場合には、識別情報として、撮影順序を表す番号などのテキストデータを使用してもよい。この場合には、例えば、内視鏡装置のレリーズボタンが押下されたときに、内視鏡装置が自動的に撮影順序を表す番号を静止画に付帯させる。識別情報は、シェーマ図に付帯する照合情報と照合されるものであるので、識別情報としてテキストデータを使用する場合には、シェーマ図の照合情報もそれに対応するテキストデータが使用される。
【0073】
また、上記実施形態では、内視鏡装置によって静止画に加えて動画も記録して、医用画像表示装置で動画の再生も行うようにしているが、動画はなくてもよく、静止画とシェーマ図だけでもよい。ただし、上述したとおり、動画を記録することの有用性はあるので、動画を記録再生することが好ましい。また、動画を記録する場合には、動画と静止画を撮影する撮像素子を別々に設けてもよい。
【0074】
また、上記実施形態では、シェーマ図として平面的な図を使用した例で説明しているが、もちろん、立体的な図を使用してもよい。また、シェーマ図としては、描画された画像の他に、撮影された写真を使用してもよい。また、立体的な図を使用する場合には、例えば、MRI(磁気共鳴画像)装置やCT(X線断層写真)装置などの画像撮影モダリティ(医療機器)で取得された断層写真から、生体の内部構造を立体的に構成したものを使用してもよい。こうした立体図をシェーマ図として使用すれば、その図を立体的に回転させることで、内部構造を正面からだけでなく、背面からも示すことができるので、より分かりやすい説明資料となる。
【0075】
また、上記実施形態では、医用画像表示装置内のデータストレージに内視鏡画像及びシェーマ図の各データを格納するようにしているが、データの格納場所は、これに限るものではない。例えば、通信ネットワークを通じて医用画像表示装置と接続された、院内又は院外に存在するデータストレージサーバにデータを格納しておき、医用画像表示装置がそこにアクセスすることでデータを読み出すようにしてもよい。
【0076】
また、上記実施形態では、内視鏡装置として、撮像素子のみを備えた電子内視鏡を例に説明したが、超音波プローブを備えた超音波内視鏡を用いてもよい。この場合には、内視鏡画像に加えて、超音波プローブで撮影された超音波画像も、医用画像として、シェーマ図とリンクさせるようにするとよい。
【符号の説明】
【0077】
10 内視鏡装置
11 医用画像表示装置
13 内視鏡
14 プロセッサ装置
17a マイク(識別情報入力部)
22 操作部
26 レリーズボタン
27 動画記録スイッチ
31 CPU(医用画像リンク情報記録部)
36 データストレージ
42 ディスプレイ
46 CPU(シェーマ図リンク情報付与部、制御部)
【特許請求の範囲】
【請求項1】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置を用いて、画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、
前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、
前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、
前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、
前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする医用画像表示装置。
【請求項2】
前記シェーマ図の画像データには、前記識別情報と照合するための照合情報が前記シェーマ図内の特定位置毎に予め付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることを特徴とする請求項1記載の医用画像表示装置。
【請求項3】
前記識別情報は、前記マイクによって録音された音声データであり、前記識別情報に対応して音声データで記録された前記照合情報と照合されることを特徴とする請求項1又は2記載の医用画像表示装置。
【請求項4】
前記識別情報は、前記操作部の操作又は前記内視鏡装置が有するプロセッサ装置のコンソールの操作によって入力されることを特徴とする請求項1又は2記載の医用画像表示装置。
【請求項5】
前記識別情報は、テキストデータであり、前記識別情報に対応してテキストデータで記録された前記照合情報と照合されることを特徴とする請求項4記載の医用画像表示装置。
【請求項6】
前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することを特徴とする請求項1〜5いずれか記載の医用画像表示装置。
【請求項7】
前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することを特徴とする請求項1〜6いずれか記載の医用画像表示装置。
【請求項8】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することを特徴とする請求項1〜7いずれか記載の医用画像表示装置。
【請求項9】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする請求項8記載の医用画像表示装置。
【請求項10】
前記制御部は、前記静止画と前記シェーマ図に加えて、前記動画を前記ディスプレイに並べて表示することを特徴とする請求項8又は9記載の医用画像表示装置。
【請求項11】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置と、前記内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置とを有する医用画像表示システムにおいて、
前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、
前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、
前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、
前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする医用画像表示システム。
【請求項12】
前記内視鏡装置は、
前記静止画の撮影指示を入力するレリーズボタンと、
前記識別情報を入力する識別情報入力部であり、前記マイク、前記操作部及び前記内視鏡装置が有するプロセッサ装置のコンソールのうちのいずれかからなる識別情報入力部と、
前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録部とを備えていることを特徴とする請求項11記載の医用画像表示システム。
【請求項13】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することを特徴とする請求項11又は12記載の医用画像表示システム。
【請求項14】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする請求項13記載の医用画像表示システム。
【請求項15】
前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプが使用されることを特徴とする請求項14記載の医用画像表示システム。
【請求項16】
前記内視鏡は、前記医用画像リンク情報を記録する医用画像リンク情報記録部を有することを特徴とする請求項13〜15いずれか記載の医用画像表示システム。
【請求項17】
前記静止画は、前記動画の1フレームの画素数よりも高い画素数で記録されることを特徴とする請求項11〜16いずれか記載の医用画像表示システム。
【請求項18】
請求項11〜17のいずれか1項に記載の医用画像表示システムに用いられる内視鏡装置。
【請求項19】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有する内視鏡装置によって撮影された医用画像を画像データとして記録し、この医用画像を医用画像表示装置のディスプレイに表示する医用画像表示方法において、
前記医用画像には静止画が含まれており、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって、前記静止画の撮影部位を識別するための識別情報を入力する識別情報入力ステップと、
前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、
前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、
生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、
前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含むことを特徴とする医用画像表示方法。
【請求項1】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置を用いて、画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、
前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、
前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、
前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、
前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする医用画像表示装置。
【請求項2】
前記シェーマ図の画像データには、前記識別情報と照合するための照合情報が前記シェーマ図内の特定位置毎に予め付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることを特徴とする請求項1記載の医用画像表示装置。
【請求項3】
前記識別情報は、前記マイクによって録音された音声データであり、前記識別情報に対応して音声データで記録された前記照合情報と照合されることを特徴とする請求項1又は2記載の医用画像表示装置。
【請求項4】
前記識別情報は、前記操作部の操作又は前記内視鏡装置が有するプロセッサ装置のコンソールの操作によって入力されることを特徴とする請求項1又は2記載の医用画像表示装置。
【請求項5】
前記識別情報は、テキストデータであり、前記識別情報に対応してテキストデータで記録された前記照合情報と照合されることを特徴とする請求項4記載の医用画像表示装置。
【請求項6】
前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することを特徴とする請求項1〜5いずれか記載の医用画像表示装置。
【請求項7】
前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することを特徴とする請求項1〜6いずれか記載の医用画像表示装置。
【請求項8】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することを特徴とする請求項1〜7いずれか記載の医用画像表示装置。
【請求項9】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする請求項8記載の医用画像表示装置。
【請求項10】
前記制御部は、前記静止画と前記シェーマ図に加えて、前記動画を前記ディスプレイに並べて表示することを特徴とする請求項8又は9記載の医用画像表示装置。
【請求項11】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有し前記生体内を撮影する内視鏡装置と、前記内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置とを有する医用画像表示システムにおいて、
前記医用画像には静止画が含まれており、前記静止画と、前記静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、
前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、
前記静止画の前記撮影部位を識別するための識別情報であって、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって入力された識別情報が前記静止画の画像データに付帯されており、
前記シェーマ図リンク情報付与部は、前記識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする医用画像表示システム。
【請求項12】
前記内視鏡装置は、
前記静止画の撮影指示を入力するレリーズボタンと、
前記識別情報を入力する識別情報入力部であり、前記マイク、前記操作部及び前記内視鏡装置が有するプロセッサ装置のコンソールのうちのいずれかからなる識別情報入力部と、
前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録部とを備えていることを特徴とする請求項11記載の医用画像表示システム。
【請求項13】
前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することを特徴とする請求項11又は12記載の医用画像表示システム。
【請求項14】
前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする請求項13記載の医用画像表示システム。
【請求項15】
前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプが使用されることを特徴とする請求項14記載の医用画像表示システム。
【請求項16】
前記内視鏡は、前記医用画像リンク情報を記録する医用画像リンク情報記録部を有することを特徴とする請求項13〜15いずれか記載の医用画像表示システム。
【請求項17】
前記静止画は、前記動画の1フレームの画素数よりも高い画素数で記録されることを特徴とする請求項11〜16いずれか記載の医用画像表示システム。
【請求項18】
請求項11〜17のいずれか1項に記載の医用画像表示システムに用いられる内視鏡装置。
【請求項19】
生体内に挿入される挿入部と挿入部の基端部分に連設された操作部とを有する内視鏡装置によって撮影された医用画像を画像データとして記録し、この医用画像を医用画像表示装置のディスプレイに表示する医用画像表示方法において、
前記医用画像には静止画が含まれており、前記静止画の撮影時においてマイクによる録音又は前記内視鏡装置の操作によって、前記静止画の撮影部位を識別するための識別情報を入力する識別情報入力ステップと、
前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、
前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、
生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、
前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含むことを特徴とする医用画像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−45419(P2012−45419A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2011−248217(P2011−248217)
【出願日】平成23年11月14日(2011.11.14)
【分割の表示】特願2006−154046(P2006−154046)の分割
【原出願日】平成18年6月1日(2006.6.1)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願日】平成23年11月14日(2011.11.14)
【分割の表示】特願2006−154046(P2006−154046)の分割
【原出願日】平成18年6月1日(2006.6.1)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]