医療画像記録装置
【課題】短時間で、かつ、人為的な判断が介入することなく、手術時の動画から出血箇所や出血量等の必要な情報を得ることのできる医療画像記録装置を提供する。
【解決手段】本発明の医療画像記録装置は、手術中の術部の動画情報を取得する動画情報取得部１１と、動画情報取得部１１が取得した動画情報を画像処理することにより、画像中において出血領域５０（動きのある領域）を検出し、この出血領域５０（動きのある領域）の変化量に基づいて出血領域５０（動きのある領域）の状態を判定する画像処理部とを有する。
【解決手段】本発明の医療画像記録装置は、手術中の術部の動画情報を取得する動画情報取得部１１と、動画情報取得部１１が取得した動画情報を画像処理することにより、画像中において出血領域５０（動きのある領域）を検出し、この出血領域５０（動きのある領域）の変化量に基づいて出血領域５０（動きのある領域）の状態を判定する画像処理部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置を用いて手術の経過を動画として記録する医療画像記録装置に関するものである。
【背景技術】
【０００２】
従来、内視鏡等を用いた手術では、撮像装置を用いて手術の経過を撮影し、動画として記録することが行われており（たとえば特許文献１，２を参照）、病院内には膨大な数の手術の動画記録が保存されている。手術の動画記録は、医師が実際の手術の流れや緊急時の対処等を検討するための貴重な資料となるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０７６７８６号公報
【特許文献２】特開平７−１２４１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画記録では、手術の動画情報を基にして、手術時における出血時刻、出血箇所、出血量、あるいは、患部の摘出部位、摘出量といった情報を知りたい場合に、人の手で長時間に亘る動画を見直し、かつ人の主観的な判断に基づいて、上記の情報を抽出しなければならず、多大な時間を要するという問題があった。また、上記の情報を特定するに際し人為的な判断が入るため、得られた情報の信頼性に欠けるという問題もある。
【０００５】
本発明は、上記に鑑みてなされたものであって、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から必要な情報を得ることのできる医療画像記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る医療画像記録装置は、手術中の術部の動画情報を取得する動画情報取得部と、前記動画情報取得部が取得した動画情報を画像処理することにより、画像中において動きのある領域を検出し、前記動きのある領域の変化量に基づいて前記動きのある領域の状態を判定する画像処理部と、を有することを特徴とする。
【０００７】
次の本発明に係る医療画像記録装置は、前記変化量が、ある時刻での画像の特徴領域の面積と、それより後の時刻での画像の特徴領域の面積との差であり、前記変化量を予め設定した閾値と比較することにより、前記動きのある領域の状態を判定することを特徴とする。
【０００８】
次の本発明に係る医療画像記録装置は、前記動きのある領域を表示装置に表示させる際に、前記画像処理部が、前記画像中の動きのある領域の近傍にマークが表れるように画像を処理することを特徴とする。
【０００９】
次の本発明に係る医療画像記録装置は、前記動きのある領域が出血領域であり、前記変化量が、前記出血領域の面積の変化量又は出血量であることを特徴とする。
【００１０】
次の本発明に係る医療画像記録装置は、前記画像処理部が、前記動画情報取得部が取得した動画情報を画像処理することにより、手術で使用した手術器具を検出することを特徴とする。
【００１１】
次の本発明に係る医療画像記録装置は、手術中の患者の生体情報を取得する生体情報取得部と、前記動きのある領域の状態と前記生体情報とを含む医療情報を作成する医療情報作成部と、をさらに備えたことを特徴とする。
【発明の効果】
【００１２】
本発明に係る医療画像記録装置によれば、手術中の術部の動画情報を画像処理することにより、画像中において例えば出血部位等の動きのある領域を検出し、検出した領域の変化量に基づいて、この領域の状態を判定するように構成したことで、従来のように人の手で長時間に亘る動画を見直す必要がなく、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から患部に関する必要な情報を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施の形態に係る医療画像記録装置とその周辺機器を示すブロック図である。
【図２】図２は、本実施の形態に係る医療画像記録装置のデータ表示部に表示される画面の一例の説明図である。
【図３】図３は、画像処理部が行うマーキング処理の一例の説明図である。
【図４】図４は、画像処理部が行うタグ付与処理の一例の説明図である。
【図５】図５は、本実施の形態に係る医療画像記録装置の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明に係る医療画像記録装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、この実施の形態の構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的同一のものが含まれる。
【００１５】
以下では、腹腔鏡下外科手術の動画記録に本発明の医療画像記録装置を適用した例について説明する。腹腔鏡下外科手術では、患者の腹部に数カ所の小さい穴を開けて内視鏡（腹腔鏡）を挿入し、この内視鏡に内蔵された撮像装置で腹腔内を撮像する。執刀医は、撮像された腹腔内の様子をモニタ画面で見ながら、他の穴から鉗子等の手術器具を挿入して手術を行う。
【００１６】
図１は、本実施の形態の医療画像記録装置１０とその周辺機器を示すブロック図であり、図２は医療画像記録装置１０のデータ表示部１７が表示する画面の一例を示した図である。内視鏡撮像装置３１は、上述したように内視鏡（図示せず）に内蔵されたＣＣＤ撮像素子等の撮像手段であり、手術中の術部（患部）を撮像する。内視鏡撮像装置３１によって撮像された動画像は、手術中、モニタ３２に表示される。室内撮像装置３３は、手術室の所定位置に固定された監視カメラであり、手術室内の様子を継続的に撮像する。生体情報センサ３４は、患者の心拍数や血圧等の生体情報を検出する装置であり、生体情報センサ３４により検出された数値は、手術中、モニタ３５に表示される。
【００１７】
医療画像記録装置１０は、第１動画情報取得部１１、第２動画情報取得部１２、生体情報取得部１３、データ格納部１４、画像処理部１５、医療情報作成部１６及びデータ表示部１７とを有している。
【００１８】
第１動画情報取得部１１は、内視鏡撮像装置３１が撮像した動画情報を取得するための手段である。上述したように、内視鏡撮像装置３１が撮像した動画情報とは、手術中の術部（患部）の符号化映像である。この第１動画情報取得部１１の動画情報の取得は、外部装置である内視鏡撮像装置３１からインターネット、ＷＡＮ、ＬＡＮなどを介して行う。あるいは、医療画像記録装置１０自身がかかる撮像手段を有しており、撮像センサを介して直接取得するようにしてもよい。
【００１９】
取得する動画情報の符号化フォーマットの一例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４（主に移動通信の場合）、Ｈ．２６１（国際電気通信連合勧告の規格）などを挙げることができる。例えばＭＰＥＧ−２では、符号化された情報は適当な長さの単位のパケットであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット（可変長）によって構成される。動画情報は、複数のＰＥＳパケットからなるストリームとして取得される。
【００２０】
第２動画情報取得部１２は、室内撮像装置３３が撮像した手術室内の動画情報を取得するための手段である。この第２動画情報取得部１２の動画情報の取得は、外部装置である室内撮像装置３３からインターネット、ＷＡＮ、ＬＡＮなどを介して行う。あるいは、医療画像記録装置１０自身がかかる撮像手段を有しており、撮像センサを介して直接取得するようにしてもよい。なお、取得する動画情報の符号化フォーマットは、上述した第１動画情報取得部１１と同じである。
【００２１】
生体情報取得部１３は、生体情報センサ３４が検出した手術中の患者の生体情報を取得するための手段である。生体情報としては、例えば心拍数、血圧、体温、脳波等の情報を挙げることができる。生体情報の取得は、外部装置である生体情報センサ３４からインターネット、ＷＡＮ、ＬＡＮなどを介して行ってもよいし、医療画像記録装置１０自身が測定センサを介して直接取得するようにしてもよい。なお、生体情報は、生体情報センサ３４から時々刻々と送信されてくるものを取得してもよく、また、予め設定された一定時間ごとに取得するか、あるいは、執刀医の要求するタイミングで取得するようにしてもよい。
【００２２】
上述した第１動画情報取得部１１及び第２動画情報取得部１２が取得した各動画情報と、生体情報取得部１３が取得した生体情報は、図２に一例として示すように、データ表示部１７の表示画面４０に表示される。図２に示す表示画面４０において、左上の表示領域である術部映像表示部４１には、第１動画情報取得部１１で取得した手術中の腹腔内の動画が表示され、右上の表示領域である手術室内映像表示部４２には、第２動画情報取得部１２で取得した手術室内の動画が表示されている。また、下方の表示領域である生体情報表示部４３には、生体情報取得部１３で取得した生体情報が表示されている。
【００２３】
第１動画情報取得部１１及び第２動画情報取得部１２が取得した各動画情報と、生体情報取得部１３が取得した生体情報は、ハードディスク等の画像記録手段であるデータ格納部１４に格納される。そして、手術終了後、データ格納部１４に格納されている動画情報を読み出し、後述する画像処理等を行う。なお、手術中にリアルタイムで画像処理することも可能である。
【００２４】
画像処理部１５は、第１動画情報取得部１１が取得した手術中の術部（患部）の動画情報を画像処理することにより、画像中から、患部の出血領域等の異常部位や、手術で使用した手術器具等の検出を行うものである。画像処理は、手術後にデータ格納部１４に格納された動画情報を読み出して行われるが、手術中にリアルタイムで処理する場合には第１動画情報取得部１１から直接動画情報を取得する。画像処理部１５は、出血領域判定部（動き領域判定部）２１、使用器具判定部２２及びタグ付与部２３とを備えている。
【００２５】
出血領域判定部２１は、手術中の術部の動画情報の画像中から、検出対象となる所定の特徴を有する動き領域（動きのある領域）を検出し、この動き領域の変化量に基づいて当該動き領域の状態を判定するものである。ここで、「動き領域」とは、一連の動画中において面積が変化する領域、あるいは、面積が変化せずに動く領域である。具体的には、手術中に用いる手術器具、臓器、患部における出血領域等である。本実施の形態では、これらの複数の動き領域から、患部における出血領域を特定するとともに、出血領域の状態、具体的には出血領域の面積の変化及び出血量を把握する。出血領域判定部２１は、変化量算出部２４及びマーキング処理部２５とから構成されている。
【００２６】
変化量算出部２４は、第１動画情報取得部１１が取得した術部の動画情報から、所定の大きさ以上の動き領域をすべて検出し、これら動き領域の変化量を算出する。ここで、「動き領域の変化量」とは、具体的には動き領域の面積の変化量あるいは変化率（変化速度）である。
【００２７】
上記の動き領域を検出するにあたり、変化量算出部２４は、取得した画像を複数の画素に分解し、各画素の色度を求める。なお、撮像場面が切替えられた場合のように、ある時刻での画像の場面と、その後の時刻（すなわち微小時間後の時刻）での画像の場面とが異なることが考えられる。そこで、まず、ある時刻での画像の場面と微小時間後の時刻での画像の場面の一致度を判定する処理を行う。この判定処理は、２つの画像の相関値を算出することにより判定される。ここで、相関値とは、例えば画像の中で色度、輝度が変化しない部分の割合である。変化算出部２４は、相関値に対する閾値を予め記憶しておき、算出した相関値をこの閾値と比較する。算出した相関値が閾値以上である場合には、２つの画像が同じ場面であると判定し、後述する動き領域の変化量の算出処理を行う。一方、算出した相関値が閾値以下である場合には、２つの画像は異なる場面である（すなわち撮影場面が切り替えられている）と判定し、動き領域の変化量の算出処理は行わない。
【００２８】
次に、動き領域のうち「面積が変化する領域」の算出について具体的に説明する。変化量算出部２４は、画像中において類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、ある時刻での画像内にある上記領域の面積と、その後の時刻（すなわち微小時間後の時刻）での画像内にある上記領域の面積とを比較する。そして、ある時刻での画像内にある上記領域の面積と、微小時間後の時刻での画像内にある上記領域の面積との差（変化量）がある場合に、その領域を「動き領域」と判定する。この面積の算出処理を手術開始から手術終了までの全時刻に亘って行う。なお、動き領域の面積の変化量とは、ある時刻ｔにおける領域の面積と微小時間後の時刻ｔ＋Δｔにおける領域の面積の差であり、動き領域の面積の変化率は、上記変化量を時間差Δｔで割ることにより算出される。但し、上記では２つの時刻における画像から面積の変化量を算出する場合について説明したが、精度を向上させるためには、３つ以上の時刻における画像を用い、統計平均により動き領域の面積の変化量を求めるのが好ましい。
【００２９】
次に、「面積が変化せずに動く領域」の算出について具体的に説明する。変化量算出部２４は、画像中において類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、ある時刻での画像内にある上記領域の位置情報と、その後の時刻（微小時間後の時刻）での画像内にある上記領域の位置情報とを比較する。そして、ある時刻での画像内にある上記領域の位置情報と、微小時間後の時刻での画像内にある上記領域の位置情報との差（変化量）がある場合に、その領域を「動き領域」と判定する。この位置情報の算出処理を手術開始から手術終了までの全時刻に亘って行う。
【００３０】
次に、変化量算出部２４は、検出した複数の動き領域から、出血領域と関係のない動き領域をノイズ成分として除去する。ここで、ノイズ成分とは、たとえば手術中に用いる手術器具の動きや、臓器の動き等である。ノイズ除去処理は、例えば以下のように行われる。検出したすべての動き領域について、時間の経過に伴い領域の面積が増加しない、一定時間以上面積の増加が継続しない、予め設定された血液の色度と類似していない、という３つの条件に該当するか否かを判定する。そして、これらの３つの条件のうち一つでも該当したならば、その動き領域をノイズと判定し、検出した動き領域から削除する。一方、上記３つの条件すべてに該当しない場合、すなわち、時間の経過に伴い領域の面積が増加し、且つ、一定時間以上面積の増加が継続し、且つ、予め設定された血液の色度と類似するという条件を満たすならば、その動き領域を「出血領域」であると推定する。
【００３１】
なお、手術で使用する手術器具の形状データを予め記憶部１８に記憶しておき、上記画像処理によって検出した動き領域の形状を、記憶部１８に記憶された手術器具の形状と比較し、両者が一致した場合にその動き領域を削除するようにしてもよい。これにより、ノイズの除去をより効率的に行うことができる。また、領域の面積の増加割合、領域の面積の継続時間、血液の色度の範囲は、種々の範囲とすることができ、使用者により設定することができる。なお増加割合は大きく、継続時間は長く、色度の範囲は狭くすることで、出血点の検出条件は厳しくなり、より重大な出血のみを検出することができる。また、増加割合は小さく、継続時間は短く、色度の範囲は広くすることでより細かい出血点を検出することができる。なお、この場合は、誤検出、つまり出血していない部分を出血点として検出する可能性は高くなる。
【００３２】
また、変化量算出部２４は、出血領域の面積の変化量から出血量を推定することもできる。たとえば、出血領域の面積の変化率と、患部から出血する血液の単位時間あたりの流量との関係を示すデータを予め記憶しておく。そして、上述した手順で算出した出血領域の面積の変化率を、記憶したデータと比較することにより、出血量を推定することができる。
【００３３】
また、変化量算出部２４は、以下に説明するように、上述した出血領域の「出血認識時刻」と「出血開始時刻」を設定する。変化量算出部２４は、ある時刻の出血領域の面積と、微小時間後の出血領域の面積とを比較する。この処理は出血領域を検出している間の全時刻に亘って行う。そして、ある時刻の出血領域の面積と微小時間後の出血領域の面積との変化量が予め設定された閾値よりも大きい場合、変化量算出部２４は、「出血が起きている」と認識する。なお、認識精度をより向上させるために、上記面積の変化量が上記閾値より大きくなる時間が所定の時間以上継続した場合に、「出血が起きている」と認識するようにしてもよい。以下では、上記の出血領域の面積の変化量が閾値より大きくなった最初の時刻を「出血認識時刻」とよぶ。但し、上記では２つの時刻における画像から面積の変化量を算出する場合について説明したが、精度を向上させるためには、３つ以上の時刻における画像を用い、統計平均により動き領域の面積の変化量を求めるのが好ましい。
【００３４】
図３は、時刻Ｔ１から時刻Ｔ４までの出血領域５０の画像を時系列で並べた図である。図３に示すように、上記で求めた出血認識時刻Ｔ３においては、既にある量の出血が起きている。すなわち、患部の出血点から実際に出血が開始したのは、これよりも少し前の時刻ということになる。そのため、変化量算出部２４は、出血認識時刻Ｔ３から、所定時刻遡った時刻（例えば５秒前）を「出血開始時刻」であると判断する。
【００３５】
マーキング処理部２５は、手術後に使用者が動画を見る際に出血領域及び出血時刻を認識しやすくするために、画像中の出血領域の近傍にマーキング処理を行う。具体的には、図３に示す画像４１ｃ，４１ｄのように、出血認識時刻Ｔ３以後、出血領域５０の周囲に実線の円のマーク５１が表れるように画像を加工する。また、マーキング処理部２５は、出血開始時刻Ｔ１から出血認識時刻Ｔ３までの間、画像中の出血領域５０の周囲に破線の円で示すマーク５２が表れるように画像を加工する。このような処理を行うことで、使用者が手術後に動画を見た際に、出血開始時刻Ｔ１、出血認識時刻Ｔ３及びそのときの出血領域５０の状況を容易に且つ明確に認識することができるようになる。
【００３６】
使用器具判定部２２は、第１動画情報取得部１１が取得した動画情報の画像中から、手術で使用している手術器具を検出する。検出対象となる手術器具は、例えば図２の表示画面４０の術部映像に表示されている鉗子５４や、電気メス（図示せず）、はさみ（図示せず）等である。記憶部１８には、上記の複数の手術器具の形状データが予め記憶されている。使用器具判定部２２は、出血領域判定部２１での処理と同様に、画像を複数の画素に分解し、各画素の色度を求めた後、類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、その領域の形状と記憶部１８に格納された形状データとを比較し、一致した場合に、使用している手術器具を特定する。検出した領域の形状と予め記憶された形状データが一致した最初の時刻を、当該手術器具の使用開始時刻とする。
【００３７】
タグ付与部２３は、使用者が手術後に動画を再生する際に、使用者が所望とする場面の動画をすばやく頭出しできるように、画像データにタグを付ける加工する。図４はタグ付与部２３の処理の一例を概念的に示した図である。図４に示すように、たとえば１４時から１６時まで行われた手術を記録した動画情報があるとする。上述した使用器具判定部２２で説明したように、例えば１４時１０分に手術器具Ａを用いたことが特定され、１４時４０分に手術器具Ｂを用いたことが特定されたならば、１４時１０分と１４時４０分の画像データに、頭出し用のタグ５３ａ，５３ｂを付与する。同様に、上述した出血部位判定部２１で説明したように、例えば１４時２０分に出血が開始し、１４時２１分に出血を認識したことが特定されたならば、１４時２０分と１４時２１分の画像データのいずれか一方又は両方に、手術器具Ａに対応する頭出し用のタグ５３ｃと、手術器具Ｂに対応する頭出し用のタグ５３ｄをそれぞれ付与する。これに伴い、タグ５３ａ〜５３ｄが付与された画像のサムネイル画像を作成する。そして、再生時にサムネイル画像の一つが使用者によって操作されることにより、全動画情報中から該当する画像を検索する。これにより、例えば手術器具Ａを用いたときの情報を知りたい場合に、タグ５３ａを利用してすばやく手術器具Ａの動画の頭出し再生をすることができる。
【００３８】
医療情報作成部１６は、第１動画情報取得部１１で取得した画像と、第２動画情報取得部１２で取得した動画情報と、生体情報取得部１３で取得した生体情報の時間の同期をとることにより、上記３つのデータを包含した医療情報を作成するものである。このように、上記３つの情報を対応させることにより、３つの情報の間の関連性を把握することができるとともに、手術全体の流れを総合的に把握することができる。
【００３９】
さらに、例えば図４に示すように、１５時に血圧上昇が起こったことが生体情報から分かっていれば、頭出し用のタグ５３ｅを１５時の画像データに付与する。これにより、手術後に使用者が動画を再生して手術内容の確認をする際、血圧が上昇したときの出血領域の状況を知りたいような場合に、タグ５３ｅを利用してすばやく頭出し再生をすることができる。
【００４０】
データ表示部１７は、医療情報作成部１６で作成した医療情報を表示するものであり、液晶ディスプレイ等から構成されている。図２にデータ表示部１７の表示画面４０の一例を示す。図２に示す例では、表示画面４０はいくつかの領域に分割され、各表示領域には、第１動画情報取得部１１で取得した動画情報を表示する術部映像表示部４１、第２動画情報取得部１２で取得した動画情報を表示する手術室内映像表示部４２、生体情報取得部１３で取得した生体情報を表示する生体情報表示部４３、タッチパネル式の操作ボタン４４、手術開始からの時刻を表示する時刻表示部４５、動画情報の進行具合を示すプログレスバー４６等が表示される。このように、術部の動画情報、手術室内の動画情報及び患者の生体情報の時間の同期をとって記録された医療情報を表示することにより、使用者は、手術の経過状況を総合的に把握することができる。
【００４１】
図５は、上述した医療画像記録装置１０が実施するフローチャートである。以下、図５を参照しながら医療情報の作成手順の一例について説明する。
【００４２】
第１動画情報取得部１１は、内視鏡撮像装置３１から術部（腹腔内部）の動画情報を取得し、第２動画情報取得部１２は、室内撮像装置３３から手術室内の動画情報を取得し、生体情報取得部１３は、生体情報センサ３４から患者の生体情報を取得する（ステップＳ０１）。取得した動画情報及び生体情報はデータ格納部１４に格納される。
【００４３】
画像処理部１５は、第１動画情報取得部１１が取得した動画情報の画像を複数の画素に分解し、各画素の色度を求め、ある時刻での画像の場面と微小時間後の時刻での画像の場面の一致度を判定する処理を行った後、画像中から類似の色度を持つ画素からなる領域を把握し、上述した方法でこれらの領域の変化量を算出することにより、複数の動き領域を検出する（ステップＳ０２）。次いで、画像処理部１５は、検出した複数の動き領域から、手術で用いる手術器具の動きや臓器の動きなど、検出対象である出血領域と関係のない動き領域をノイズ成分として除去し（ステップＳ０３）、出血領域を特定する（ステップＳ０４）。次いで、画像処理部１５は、出血領域の面積の変化量から「出血認識時刻」を設定し、この出血認識時刻以後の出血領域の周囲にマーク５１（図３を参照）が表れるように画像情報を加工する。また、「出血認識時刻」より所定時間遡った時刻を「出血開始時刻」とし、この「出血開始時刻」から「出血認識時刻」までの間に、画像中の出血領域の周囲にマーク５２（図３を参照）が表れるように画像情報を加工する（ステップＳ０５）。なお、動画情報の再生時に手術器具の頭出しを行いたい場合には、ステップＳ０２〜Ｓ０５に加えて、動画情報の画像中から上述した手術器具の検出処理を行う。この後、画像処理部１５は、必要に応じて上述したタグ付与処理を行う。画像処理部１５で処理された術部の動画情報は、医療情報作成部１６に送られる。
【００４４】
医療情報作成部１６は、画像処理部１５で処理された動画情報（第１動画情報取得部で取得した術部の動画情報）と、第２動画情報取得部１２で取得した手術室内の動画情報と、生体情報取得部１３で取得した生体情報の時間の同期をとることにより、上記３つのデータを包含した医療情報を作成する（ステップＳ０６）。作成された医療情報は、使用者の操作によりデータ表示部１７に表示される。
【００４５】
以上説明したように、本実施の形態の医療画像記録装置１０は、手術中の術部の動画情報を画像処理することにより、画像中において出血領域を検出し、検出した出血領域の変化量に基づいて、出血領域の状態を判定するように構成している。上記のように構成したことで、従来のように人の手で長時間に亘る動画を見直す必要がなく、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から患部に関する必要な情報を得ることが可能となる。
【００４６】
また、本実施の形態の医療画像記録装置１０によれば、ある時刻での画像の出血領域の面積と、それより後の時刻での画像の出血領域の面積との差から出血領域の面積の変化量を算出し、算出した変化量を予め設定した閾値と比較することにより、出血領域の状態を判定しているため、手術時の動画から出血領域の面積の変化量や出血量を把握することが可能となる。
【００４７】
また、本実施の形態の医療画像記録装置１０によれば、出血領域を表示装置に表示させる際に、画像中の出血領域の周囲にマーク５１，５２が表れるように画像を処理するようにしたので、使用者が手術後に動画を見た際に、出血開始時刻（又は出血認識時刻）及びそのときの出血領域５０の状況を容易に認識することが可能となる。
【００４８】
また、本実施の形態の医療画像記録装置１０では、動画情報取得部が取得した動画情報を画像処理することにより手術で使用した手術器具を検出し、検出した手術器具が映っている画像に頭出し再生用のタグを付与する処理を行っている。このため、ある手術器具を用いたときの情報を知りたい場合に、該当する手術映像を速やかに頭出し再生することができる。
【００４９】
また、本実施の形態の医療画像記録装置１０は、術部の動画情報と生体情報の時間の同期をとり、これらのデータを包含した医療情報を作成することで、手術の経過を総合的に把握することが可能となる。
【００５０】
なお、上記実施の形態では、動画情報から患部における出血領域を特定するとともに、出血領域の面積の変化及び出血量を求める構成としたが、出血領域以外の動き領域についても、上述した実施の形態と同様に特定し、その状態を判定することが可能である。
【００５１】
また、上記実施の形態では、動画を見た使用者が出血領域を容易に且つ明確に把握できるように、画像中の出血領域の近傍にマーキング処理を行ったが、マーキング以外の報知手段を用いてもよい。例えば、出血認識時刻及び出血開始時刻に警告音を発生させるように構成してもよい。
【００５２】
さらに、上記実施の形態では、手術終了後にデータ格納部１４に格納されている動画情報を読み出し、画像処理等を行うことにより、出血領域を特定し出血認識時刻を判断したが、手術中にリアルタイムで画像処理を行い、出血領域等を検出してもよい。このように手術中にリアルタイムで画像処理を行い、上述したマーキング処理又は音声等による報知を行うことで、手術を安全に行うことができる。
【００５３】
加えて、上記実施の形態では、手術で用いる手術器具を画像から検出したが、センサ等で検出してもよい。たとえば、手術器具が電気メスの場合には、使用時に流れる電流を検出するようにしてもよい。
【産業上の利用可能性】
【００５４】
以上のように、本発明に係る医療画像記録装置は、医師が実際の手術の流れや緊急時の対処等を検討するための手段として有用である。
【符号の説明】
【００５５】
１０ 医療画像記録装置
１１ 第１動画情報取得部
１２ 第２動画情報取得部
１３ 生体情報取得部
１４ データ格納部
１５ 画像処理部
１６ 医療情報作成部
１７ データ表示部
１８ 記憶部
２１ 出血領域判定部
２２ 使用器具判定部
２３ タグ付与部
２４ 変化量算出部
２５ マーキング処理部
３１ 内視鏡撮像装置
３２，３５ モニタ
３３ 室内撮像装置
３４ 生体情報センサ
４０ 表示画面
４１ 術部映像表示部
４２ 手術室内映像表示部
４３ 生体情報表示部
４４ 操作ボタン
４５ 時刻表示部
４６ プログレスバー
５０ 出血領域
５１，５２ マーク
５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅ タグ
【技術分野】
【０００１】
本発明は、撮影装置を用いて手術の経過を動画として記録する医療画像記録装置に関するものである。
【背景技術】
【０００２】
従来、内視鏡等を用いた手術では、撮像装置を用いて手術の経過を撮影し、動画として記録することが行われており（たとえば特許文献１，２を参照）、病院内には膨大な数の手術の動画記録が保存されている。手術の動画記録は、医師が実際の手術の流れや緊急時の対処等を検討するための貴重な資料となるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−０７６７８６号公報
【特許文献２】特開平７−１２４１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画記録では、手術の動画情報を基にして、手術時における出血時刻、出血箇所、出血量、あるいは、患部の摘出部位、摘出量といった情報を知りたい場合に、人の手で長時間に亘る動画を見直し、かつ人の主観的な判断に基づいて、上記の情報を抽出しなければならず、多大な時間を要するという問題があった。また、上記の情報を特定するに際し人為的な判断が入るため、得られた情報の信頼性に欠けるという問題もある。
【０００５】
本発明は、上記に鑑みてなされたものであって、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から必要な情報を得ることのできる医療画像記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る医療画像記録装置は、手術中の術部の動画情報を取得する動画情報取得部と、前記動画情報取得部が取得した動画情報を画像処理することにより、画像中において動きのある領域を検出し、前記動きのある領域の変化量に基づいて前記動きのある領域の状態を判定する画像処理部と、を有することを特徴とする。
【０００７】
次の本発明に係る医療画像記録装置は、前記変化量が、ある時刻での画像の特徴領域の面積と、それより後の時刻での画像の特徴領域の面積との差であり、前記変化量を予め設定した閾値と比較することにより、前記動きのある領域の状態を判定することを特徴とする。
【０００８】
次の本発明に係る医療画像記録装置は、前記動きのある領域を表示装置に表示させる際に、前記画像処理部が、前記画像中の動きのある領域の近傍にマークが表れるように画像を処理することを特徴とする。
【０００９】
次の本発明に係る医療画像記録装置は、前記動きのある領域が出血領域であり、前記変化量が、前記出血領域の面積の変化量又は出血量であることを特徴とする。
【００１０】
次の本発明に係る医療画像記録装置は、前記画像処理部が、前記動画情報取得部が取得した動画情報を画像処理することにより、手術で使用した手術器具を検出することを特徴とする。
【００１１】
次の本発明に係る医療画像記録装置は、手術中の患者の生体情報を取得する生体情報取得部と、前記動きのある領域の状態と前記生体情報とを含む医療情報を作成する医療情報作成部と、をさらに備えたことを特徴とする。
【発明の効果】
【００１２】
本発明に係る医療画像記録装置によれば、手術中の術部の動画情報を画像処理することにより、画像中において例えば出血部位等の動きのある領域を検出し、検出した領域の変化量に基づいて、この領域の状態を判定するように構成したことで、従来のように人の手で長時間に亘る動画を見直す必要がなく、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から患部に関する必要な情報を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施の形態に係る医療画像記録装置とその周辺機器を示すブロック図である。
【図２】図２は、本実施の形態に係る医療画像記録装置のデータ表示部に表示される画面の一例の説明図である。
【図３】図３は、画像処理部が行うマーキング処理の一例の説明図である。
【図４】図４は、画像処理部が行うタグ付与処理の一例の説明図である。
【図５】図５は、本実施の形態に係る医療画像記録装置の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明に係る医療画像記録装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、この実施の形態の構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的同一のものが含まれる。
【００１５】
以下では、腹腔鏡下外科手術の動画記録に本発明の医療画像記録装置を適用した例について説明する。腹腔鏡下外科手術では、患者の腹部に数カ所の小さい穴を開けて内視鏡（腹腔鏡）を挿入し、この内視鏡に内蔵された撮像装置で腹腔内を撮像する。執刀医は、撮像された腹腔内の様子をモニタ画面で見ながら、他の穴から鉗子等の手術器具を挿入して手術を行う。
【００１６】
図１は、本実施の形態の医療画像記録装置１０とその周辺機器を示すブロック図であり、図２は医療画像記録装置１０のデータ表示部１７が表示する画面の一例を示した図である。内視鏡撮像装置３１は、上述したように内視鏡（図示せず）に内蔵されたＣＣＤ撮像素子等の撮像手段であり、手術中の術部（患部）を撮像する。内視鏡撮像装置３１によって撮像された動画像は、手術中、モニタ３２に表示される。室内撮像装置３３は、手術室の所定位置に固定された監視カメラであり、手術室内の様子を継続的に撮像する。生体情報センサ３４は、患者の心拍数や血圧等の生体情報を検出する装置であり、生体情報センサ３４により検出された数値は、手術中、モニタ３５に表示される。
【００１７】
医療画像記録装置１０は、第１動画情報取得部１１、第２動画情報取得部１２、生体情報取得部１３、データ格納部１４、画像処理部１５、医療情報作成部１６及びデータ表示部１７とを有している。
【００１８】
第１動画情報取得部１１は、内視鏡撮像装置３１が撮像した動画情報を取得するための手段である。上述したように、内視鏡撮像装置３１が撮像した動画情報とは、手術中の術部（患部）の符号化映像である。この第１動画情報取得部１１の動画情報の取得は、外部装置である内視鏡撮像装置３１からインターネット、ＷＡＮ、ＬＡＮなどを介して行う。あるいは、医療画像記録装置１０自身がかかる撮像手段を有しており、撮像センサを介して直接取得するようにしてもよい。
【００１９】
取得する動画情報の符号化フォーマットの一例としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４（主に移動通信の場合）、Ｈ．２６１（国際電気通信連合勧告の規格）などを挙げることができる。例えばＭＰＥＧ−２では、符号化された情報は適当な長さの単位のパケットであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット（可変長）によって構成される。動画情報は、複数のＰＥＳパケットからなるストリームとして取得される。
【００２０】
第２動画情報取得部１２は、室内撮像装置３３が撮像した手術室内の動画情報を取得するための手段である。この第２動画情報取得部１２の動画情報の取得は、外部装置である室内撮像装置３３からインターネット、ＷＡＮ、ＬＡＮなどを介して行う。あるいは、医療画像記録装置１０自身がかかる撮像手段を有しており、撮像センサを介して直接取得するようにしてもよい。なお、取得する動画情報の符号化フォーマットは、上述した第１動画情報取得部１１と同じである。
【００２１】
生体情報取得部１３は、生体情報センサ３４が検出した手術中の患者の生体情報を取得するための手段である。生体情報としては、例えば心拍数、血圧、体温、脳波等の情報を挙げることができる。生体情報の取得は、外部装置である生体情報センサ３４からインターネット、ＷＡＮ、ＬＡＮなどを介して行ってもよいし、医療画像記録装置１０自身が測定センサを介して直接取得するようにしてもよい。なお、生体情報は、生体情報センサ３４から時々刻々と送信されてくるものを取得してもよく、また、予め設定された一定時間ごとに取得するか、あるいは、執刀医の要求するタイミングで取得するようにしてもよい。
【００２２】
上述した第１動画情報取得部１１及び第２動画情報取得部１２が取得した各動画情報と、生体情報取得部１３が取得した生体情報は、図２に一例として示すように、データ表示部１７の表示画面４０に表示される。図２に示す表示画面４０において、左上の表示領域である術部映像表示部４１には、第１動画情報取得部１１で取得した手術中の腹腔内の動画が表示され、右上の表示領域である手術室内映像表示部４２には、第２動画情報取得部１２で取得した手術室内の動画が表示されている。また、下方の表示領域である生体情報表示部４３には、生体情報取得部１３で取得した生体情報が表示されている。
【００２３】
第１動画情報取得部１１及び第２動画情報取得部１２が取得した各動画情報と、生体情報取得部１３が取得した生体情報は、ハードディスク等の画像記録手段であるデータ格納部１４に格納される。そして、手術終了後、データ格納部１４に格納されている動画情報を読み出し、後述する画像処理等を行う。なお、手術中にリアルタイムで画像処理することも可能である。
【００２４】
画像処理部１５は、第１動画情報取得部１１が取得した手術中の術部（患部）の動画情報を画像処理することにより、画像中から、患部の出血領域等の異常部位や、手術で使用した手術器具等の検出を行うものである。画像処理は、手術後にデータ格納部１４に格納された動画情報を読み出して行われるが、手術中にリアルタイムで処理する場合には第１動画情報取得部１１から直接動画情報を取得する。画像処理部１５は、出血領域判定部（動き領域判定部）２１、使用器具判定部２２及びタグ付与部２３とを備えている。
【００２５】
出血領域判定部２１は、手術中の術部の動画情報の画像中から、検出対象となる所定の特徴を有する動き領域（動きのある領域）を検出し、この動き領域の変化量に基づいて当該動き領域の状態を判定するものである。ここで、「動き領域」とは、一連の動画中において面積が変化する領域、あるいは、面積が変化せずに動く領域である。具体的には、手術中に用いる手術器具、臓器、患部における出血領域等である。本実施の形態では、これらの複数の動き領域から、患部における出血領域を特定するとともに、出血領域の状態、具体的には出血領域の面積の変化及び出血量を把握する。出血領域判定部２１は、変化量算出部２４及びマーキング処理部２５とから構成されている。
【００２６】
変化量算出部２４は、第１動画情報取得部１１が取得した術部の動画情報から、所定の大きさ以上の動き領域をすべて検出し、これら動き領域の変化量を算出する。ここで、「動き領域の変化量」とは、具体的には動き領域の面積の変化量あるいは変化率（変化速度）である。
【００２７】
上記の動き領域を検出するにあたり、変化量算出部２４は、取得した画像を複数の画素に分解し、各画素の色度を求める。なお、撮像場面が切替えられた場合のように、ある時刻での画像の場面と、その後の時刻（すなわち微小時間後の時刻）での画像の場面とが異なることが考えられる。そこで、まず、ある時刻での画像の場面と微小時間後の時刻での画像の場面の一致度を判定する処理を行う。この判定処理は、２つの画像の相関値を算出することにより判定される。ここで、相関値とは、例えば画像の中で色度、輝度が変化しない部分の割合である。変化算出部２４は、相関値に対する閾値を予め記憶しておき、算出した相関値をこの閾値と比較する。算出した相関値が閾値以上である場合には、２つの画像が同じ場面であると判定し、後述する動き領域の変化量の算出処理を行う。一方、算出した相関値が閾値以下である場合には、２つの画像は異なる場面である（すなわち撮影場面が切り替えられている）と判定し、動き領域の変化量の算出処理は行わない。
【００２８】
次に、動き領域のうち「面積が変化する領域」の算出について具体的に説明する。変化量算出部２４は、画像中において類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、ある時刻での画像内にある上記領域の面積と、その後の時刻（すなわち微小時間後の時刻）での画像内にある上記領域の面積とを比較する。そして、ある時刻での画像内にある上記領域の面積と、微小時間後の時刻での画像内にある上記領域の面積との差（変化量）がある場合に、その領域を「動き領域」と判定する。この面積の算出処理を手術開始から手術終了までの全時刻に亘って行う。なお、動き領域の面積の変化量とは、ある時刻ｔにおける領域の面積と微小時間後の時刻ｔ＋Δｔにおける領域の面積の差であり、動き領域の面積の変化率は、上記変化量を時間差Δｔで割ることにより算出される。但し、上記では２つの時刻における画像から面積の変化量を算出する場合について説明したが、精度を向上させるためには、３つ以上の時刻における画像を用い、統計平均により動き領域の面積の変化量を求めるのが好ましい。
【００２９】
次に、「面積が変化せずに動く領域」の算出について具体的に説明する。変化量算出部２４は、画像中において類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、ある時刻での画像内にある上記領域の位置情報と、その後の時刻（微小時間後の時刻）での画像内にある上記領域の位置情報とを比較する。そして、ある時刻での画像内にある上記領域の位置情報と、微小時間後の時刻での画像内にある上記領域の位置情報との差（変化量）がある場合に、その領域を「動き領域」と判定する。この位置情報の算出処理を手術開始から手術終了までの全時刻に亘って行う。
【００３０】
次に、変化量算出部２４は、検出した複数の動き領域から、出血領域と関係のない動き領域をノイズ成分として除去する。ここで、ノイズ成分とは、たとえば手術中に用いる手術器具の動きや、臓器の動き等である。ノイズ除去処理は、例えば以下のように行われる。検出したすべての動き領域について、時間の経過に伴い領域の面積が増加しない、一定時間以上面積の増加が継続しない、予め設定された血液の色度と類似していない、という３つの条件に該当するか否かを判定する。そして、これらの３つの条件のうち一つでも該当したならば、その動き領域をノイズと判定し、検出した動き領域から削除する。一方、上記３つの条件すべてに該当しない場合、すなわち、時間の経過に伴い領域の面積が増加し、且つ、一定時間以上面積の増加が継続し、且つ、予め設定された血液の色度と類似するという条件を満たすならば、その動き領域を「出血領域」であると推定する。
【００３１】
なお、手術で使用する手術器具の形状データを予め記憶部１８に記憶しておき、上記画像処理によって検出した動き領域の形状を、記憶部１８に記憶された手術器具の形状と比較し、両者が一致した場合にその動き領域を削除するようにしてもよい。これにより、ノイズの除去をより効率的に行うことができる。また、領域の面積の増加割合、領域の面積の継続時間、血液の色度の範囲は、種々の範囲とすることができ、使用者により設定することができる。なお増加割合は大きく、継続時間は長く、色度の範囲は狭くすることで、出血点の検出条件は厳しくなり、より重大な出血のみを検出することができる。また、増加割合は小さく、継続時間は短く、色度の範囲は広くすることでより細かい出血点を検出することができる。なお、この場合は、誤検出、つまり出血していない部分を出血点として検出する可能性は高くなる。
【００３２】
また、変化量算出部２４は、出血領域の面積の変化量から出血量を推定することもできる。たとえば、出血領域の面積の変化率と、患部から出血する血液の単位時間あたりの流量との関係を示すデータを予め記憶しておく。そして、上述した手順で算出した出血領域の面積の変化率を、記憶したデータと比較することにより、出血量を推定することができる。
【００３３】
また、変化量算出部２４は、以下に説明するように、上述した出血領域の「出血認識時刻」と「出血開始時刻」を設定する。変化量算出部２４は、ある時刻の出血領域の面積と、微小時間後の出血領域の面積とを比較する。この処理は出血領域を検出している間の全時刻に亘って行う。そして、ある時刻の出血領域の面積と微小時間後の出血領域の面積との変化量が予め設定された閾値よりも大きい場合、変化量算出部２４は、「出血が起きている」と認識する。なお、認識精度をより向上させるために、上記面積の変化量が上記閾値より大きくなる時間が所定の時間以上継続した場合に、「出血が起きている」と認識するようにしてもよい。以下では、上記の出血領域の面積の変化量が閾値より大きくなった最初の時刻を「出血認識時刻」とよぶ。但し、上記では２つの時刻における画像から面積の変化量を算出する場合について説明したが、精度を向上させるためには、３つ以上の時刻における画像を用い、統計平均により動き領域の面積の変化量を求めるのが好ましい。
【００３４】
図３は、時刻Ｔ１から時刻Ｔ４までの出血領域５０の画像を時系列で並べた図である。図３に示すように、上記で求めた出血認識時刻Ｔ３においては、既にある量の出血が起きている。すなわち、患部の出血点から実際に出血が開始したのは、これよりも少し前の時刻ということになる。そのため、変化量算出部２４は、出血認識時刻Ｔ３から、所定時刻遡った時刻（例えば５秒前）を「出血開始時刻」であると判断する。
【００３５】
マーキング処理部２５は、手術後に使用者が動画を見る際に出血領域及び出血時刻を認識しやすくするために、画像中の出血領域の近傍にマーキング処理を行う。具体的には、図３に示す画像４１ｃ，４１ｄのように、出血認識時刻Ｔ３以後、出血領域５０の周囲に実線の円のマーク５１が表れるように画像を加工する。また、マーキング処理部２５は、出血開始時刻Ｔ１から出血認識時刻Ｔ３までの間、画像中の出血領域５０の周囲に破線の円で示すマーク５２が表れるように画像を加工する。このような処理を行うことで、使用者が手術後に動画を見た際に、出血開始時刻Ｔ１、出血認識時刻Ｔ３及びそのときの出血領域５０の状況を容易に且つ明確に認識することができるようになる。
【００３６】
使用器具判定部２２は、第１動画情報取得部１１が取得した動画情報の画像中から、手術で使用している手術器具を検出する。検出対象となる手術器具は、例えば図２の表示画面４０の術部映像に表示されている鉗子５４や、電気メス（図示せず）、はさみ（図示せず）等である。記憶部１８には、上記の複数の手術器具の形状データが予め記憶されている。使用器具判定部２２は、出血領域判定部２１での処理と同様に、画像を複数の画素に分解し、各画素の色度を求めた後、類似の色度を持つ複数の画素からなる「領域」を把握する。次いで、その領域の形状と記憶部１８に格納された形状データとを比較し、一致した場合に、使用している手術器具を特定する。検出した領域の形状と予め記憶された形状データが一致した最初の時刻を、当該手術器具の使用開始時刻とする。
【００３７】
タグ付与部２３は、使用者が手術後に動画を再生する際に、使用者が所望とする場面の動画をすばやく頭出しできるように、画像データにタグを付ける加工する。図４はタグ付与部２３の処理の一例を概念的に示した図である。図４に示すように、たとえば１４時から１６時まで行われた手術を記録した動画情報があるとする。上述した使用器具判定部２２で説明したように、例えば１４時１０分に手術器具Ａを用いたことが特定され、１４時４０分に手術器具Ｂを用いたことが特定されたならば、１４時１０分と１４時４０分の画像データに、頭出し用のタグ５３ａ，５３ｂを付与する。同様に、上述した出血部位判定部２１で説明したように、例えば１４時２０分に出血が開始し、１４時２１分に出血を認識したことが特定されたならば、１４時２０分と１４時２１分の画像データのいずれか一方又は両方に、手術器具Ａに対応する頭出し用のタグ５３ｃと、手術器具Ｂに対応する頭出し用のタグ５３ｄをそれぞれ付与する。これに伴い、タグ５３ａ〜５３ｄが付与された画像のサムネイル画像を作成する。そして、再生時にサムネイル画像の一つが使用者によって操作されることにより、全動画情報中から該当する画像を検索する。これにより、例えば手術器具Ａを用いたときの情報を知りたい場合に、タグ５３ａを利用してすばやく手術器具Ａの動画の頭出し再生をすることができる。
【００３８】
医療情報作成部１６は、第１動画情報取得部１１で取得した画像と、第２動画情報取得部１２で取得した動画情報と、生体情報取得部１３で取得した生体情報の時間の同期をとることにより、上記３つのデータを包含した医療情報を作成するものである。このように、上記３つの情報を対応させることにより、３つの情報の間の関連性を把握することができるとともに、手術全体の流れを総合的に把握することができる。
【００３９】
さらに、例えば図４に示すように、１５時に血圧上昇が起こったことが生体情報から分かっていれば、頭出し用のタグ５３ｅを１５時の画像データに付与する。これにより、手術後に使用者が動画を再生して手術内容の確認をする際、血圧が上昇したときの出血領域の状況を知りたいような場合に、タグ５３ｅを利用してすばやく頭出し再生をすることができる。
【００４０】
データ表示部１７は、医療情報作成部１６で作成した医療情報を表示するものであり、液晶ディスプレイ等から構成されている。図２にデータ表示部１７の表示画面４０の一例を示す。図２に示す例では、表示画面４０はいくつかの領域に分割され、各表示領域には、第１動画情報取得部１１で取得した動画情報を表示する術部映像表示部４１、第２動画情報取得部１２で取得した動画情報を表示する手術室内映像表示部４２、生体情報取得部１３で取得した生体情報を表示する生体情報表示部４３、タッチパネル式の操作ボタン４４、手術開始からの時刻を表示する時刻表示部４５、動画情報の進行具合を示すプログレスバー４６等が表示される。このように、術部の動画情報、手術室内の動画情報及び患者の生体情報の時間の同期をとって記録された医療情報を表示することにより、使用者は、手術の経過状況を総合的に把握することができる。
【００４１】
図５は、上述した医療画像記録装置１０が実施するフローチャートである。以下、図５を参照しながら医療情報の作成手順の一例について説明する。
【００４２】
第１動画情報取得部１１は、内視鏡撮像装置３１から術部（腹腔内部）の動画情報を取得し、第２動画情報取得部１２は、室内撮像装置３３から手術室内の動画情報を取得し、生体情報取得部１３は、生体情報センサ３４から患者の生体情報を取得する（ステップＳ０１）。取得した動画情報及び生体情報はデータ格納部１４に格納される。
【００４３】
画像処理部１５は、第１動画情報取得部１１が取得した動画情報の画像を複数の画素に分解し、各画素の色度を求め、ある時刻での画像の場面と微小時間後の時刻での画像の場面の一致度を判定する処理を行った後、画像中から類似の色度を持つ画素からなる領域を把握し、上述した方法でこれらの領域の変化量を算出することにより、複数の動き領域を検出する（ステップＳ０２）。次いで、画像処理部１５は、検出した複数の動き領域から、手術で用いる手術器具の動きや臓器の動きなど、検出対象である出血領域と関係のない動き領域をノイズ成分として除去し（ステップＳ０３）、出血領域を特定する（ステップＳ０４）。次いで、画像処理部１５は、出血領域の面積の変化量から「出血認識時刻」を設定し、この出血認識時刻以後の出血領域の周囲にマーク５１（図３を参照）が表れるように画像情報を加工する。また、「出血認識時刻」より所定時間遡った時刻を「出血開始時刻」とし、この「出血開始時刻」から「出血認識時刻」までの間に、画像中の出血領域の周囲にマーク５２（図３を参照）が表れるように画像情報を加工する（ステップＳ０５）。なお、動画情報の再生時に手術器具の頭出しを行いたい場合には、ステップＳ０２〜Ｓ０５に加えて、動画情報の画像中から上述した手術器具の検出処理を行う。この後、画像処理部１５は、必要に応じて上述したタグ付与処理を行う。画像処理部１５で処理された術部の動画情報は、医療情報作成部１６に送られる。
【００４４】
医療情報作成部１６は、画像処理部１５で処理された動画情報（第１動画情報取得部で取得した術部の動画情報）と、第２動画情報取得部１２で取得した手術室内の動画情報と、生体情報取得部１３で取得した生体情報の時間の同期をとることにより、上記３つのデータを包含した医療情報を作成する（ステップＳ０６）。作成された医療情報は、使用者の操作によりデータ表示部１７に表示される。
【００４５】
以上説明したように、本実施の形態の医療画像記録装置１０は、手術中の術部の動画情報を画像処理することにより、画像中において出血領域を検出し、検出した出血領域の変化量に基づいて、出血領域の状態を判定するように構成している。上記のように構成したことで、従来のように人の手で長時間に亘る動画を見直す必要がなく、短時間で、かつ、人為的な判断が介入することなく、手術時の動画から患部に関する必要な情報を得ることが可能となる。
【００４６】
また、本実施の形態の医療画像記録装置１０によれば、ある時刻での画像の出血領域の面積と、それより後の時刻での画像の出血領域の面積との差から出血領域の面積の変化量を算出し、算出した変化量を予め設定した閾値と比較することにより、出血領域の状態を判定しているため、手術時の動画から出血領域の面積の変化量や出血量を把握することが可能となる。
【００４７】
また、本実施の形態の医療画像記録装置１０によれば、出血領域を表示装置に表示させる際に、画像中の出血領域の周囲にマーク５１，５２が表れるように画像を処理するようにしたので、使用者が手術後に動画を見た際に、出血開始時刻（又は出血認識時刻）及びそのときの出血領域５０の状況を容易に認識することが可能となる。
【００４８】
また、本実施の形態の医療画像記録装置１０では、動画情報取得部が取得した動画情報を画像処理することにより手術で使用した手術器具を検出し、検出した手術器具が映っている画像に頭出し再生用のタグを付与する処理を行っている。このため、ある手術器具を用いたときの情報を知りたい場合に、該当する手術映像を速やかに頭出し再生することができる。
【００４９】
また、本実施の形態の医療画像記録装置１０は、術部の動画情報と生体情報の時間の同期をとり、これらのデータを包含した医療情報を作成することで、手術の経過を総合的に把握することが可能となる。
【００５０】
なお、上記実施の形態では、動画情報から患部における出血領域を特定するとともに、出血領域の面積の変化及び出血量を求める構成としたが、出血領域以外の動き領域についても、上述した実施の形態と同様に特定し、その状態を判定することが可能である。
【００５１】
また、上記実施の形態では、動画を見た使用者が出血領域を容易に且つ明確に把握できるように、画像中の出血領域の近傍にマーキング処理を行ったが、マーキング以外の報知手段を用いてもよい。例えば、出血認識時刻及び出血開始時刻に警告音を発生させるように構成してもよい。
【００５２】
さらに、上記実施の形態では、手術終了後にデータ格納部１４に格納されている動画情報を読み出し、画像処理等を行うことにより、出血領域を特定し出血認識時刻を判断したが、手術中にリアルタイムで画像処理を行い、出血領域等を検出してもよい。このように手術中にリアルタイムで画像処理を行い、上述したマーキング処理又は音声等による報知を行うことで、手術を安全に行うことができる。
【００５３】
加えて、上記実施の形態では、手術で用いる手術器具を画像から検出したが、センサ等で検出してもよい。たとえば、手術器具が電気メスの場合には、使用時に流れる電流を検出するようにしてもよい。
【産業上の利用可能性】
【００５４】
以上のように、本発明に係る医療画像記録装置は、医師が実際の手術の流れや緊急時の対処等を検討するための手段として有用である。
【符号の説明】
【００５５】
１０ 医療画像記録装置
１１ 第１動画情報取得部
１２ 第２動画情報取得部
１３ 生体情報取得部
１４ データ格納部
１５ 画像処理部
１６ 医療情報作成部
１７ データ表示部
１８ 記憶部
２１ 出血領域判定部
２２ 使用器具判定部
２３ タグ付与部
２４ 変化量算出部
２５ マーキング処理部
３１ 内視鏡撮像装置
３２，３５ モニタ
３３ 室内撮像装置
３４ 生体情報センサ
４０ 表示画面
４１ 術部映像表示部
４２ 手術室内映像表示部
４３ 生体情報表示部
４４ 操作ボタン
４５ 時刻表示部
４６ プログレスバー
５０ 出血領域
５１，５２ マーク
５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅ タグ
【特許請求の範囲】
【請求項１】
手術中の術部の動画情報を取得する動画情報取得部と、
前記動画情報取得部が取得した動画情報を画像処理することにより、画像中において動きのある領域を検出し、前記動きのある領域の変化量に基づいて前記動きのある領域の状態を判定する画像処理部と、
を有することを特徴とする医療画像記録装置。
【請求項２】
前記変化量は、ある時刻の画像における動きのある領域の面積と、それより後の時刻の画像における動きのある領域の面積との差であり、前記変化量を予め設定した閾値と比較することにより、前記動きのある領域の状態を判定することを特徴とする請求項１に記載の医療画像記録装置。
【請求項３】
前記画像処理部は、
前記動きのある領域を表示装置に表示させる際に、前記画像中における動きのある領域の近傍にマークが表れるように画像を処理することを特徴とする請求項１又は２に記載の医療画像記録装置。
【請求項４】
前記動きのある領域は出血領域であり、
前記変化量は、前記出血領域の面積の変化量又は出血量であることを特徴とする請求項１から３のいずれか一つに記載の医療画像記録装置。
【請求項５】
前記画像処理部は、
前記動画情報取得部が取得した動画情報を画像処理することにより、手術で使用した手術器具を検出することを特徴とする請求項１から４のいずれか一つに記載の医療画像記録装置。
【請求項６】
手術中の患者の生体情報を取得する生体情報取得部と、
前記動きのある領域の状態と前記生体情報とを含む医療情報を作成する医療情報作成部と、をさらに備えたことを特徴とする請求項１から５のいずれか一つに記載の医療画像記録装置。
【請求項１】
手術中の術部の動画情報を取得する動画情報取得部と、
前記動画情報取得部が取得した動画情報を画像処理することにより、画像中において動きのある領域を検出し、前記動きのある領域の変化量に基づいて前記動きのある領域の状態を判定する画像処理部と、
を有することを特徴とする医療画像記録装置。
【請求項２】
前記変化量は、ある時刻の画像における動きのある領域の面積と、それより後の時刻の画像における動きのある領域の面積との差であり、前記変化量を予め設定した閾値と比較することにより、前記動きのある領域の状態を判定することを特徴とする請求項１に記載の医療画像記録装置。
【請求項３】
前記画像処理部は、
前記動きのある領域を表示装置に表示させる際に、前記画像中における動きのある領域の近傍にマークが表れるように画像を処理することを特徴とする請求項１又は２に記載の医療画像記録装置。
【請求項４】
前記動きのある領域は出血領域であり、
前記変化量は、前記出血領域の面積の変化量又は出血量であることを特徴とする請求項１から３のいずれか一つに記載の医療画像記録装置。
【請求項５】
前記画像処理部は、
前記動画情報取得部が取得した動画情報を画像処理することにより、手術で使用した手術器具を検出することを特徴とする請求項１から４のいずれか一つに記載の医療画像記録装置。
【請求項６】
手術中の患者の生体情報を取得する生体情報取得部と、
前記動きのある領域の状態と前記生体情報とを含む医療情報を作成する医療情報作成部と、をさらに備えたことを特徴とする請求項１から５のいずれか一つに記載の医療画像記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−３６３７１（Ｐ２０１１−３６３７１Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８５９４８（Ｐ２００９−１８５９４８）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（３９２０２２６５１）東北オータス株式会社 (8)
【出願人】（３０２０４８３７１）株式会社エクシオン (8)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（３９２０２２６５１）東北オータス株式会社 (8)
【出願人】（３０２０４８３７１）株式会社エクシオン (8)
【Ｆターム（参考）】
[ Back to top ]