手術映像蓄積装置、手術映像蓄積方法、およびプログラム
【課題】再利用が容易な手術映像を蓄積する手術映像蓄積装置を提供する。
【解決手段】手術中の映像である手術映像を１以上受け付ける手術映像受付部１０２と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部１０９と、手術映像受付部１０２が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部１１０とを備えた。
【解決手段】手術中の映像である手術映像を１以上受け付ける手術映像受付部１０２と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部１０９と、手術映像受付部１０２が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部１１０とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術の映像を蓄積する手術映像蓄積装置等に関するものである。
【背景技術】
【０００２】
従来の手術の映像を蓄積する装置として、例えば、手術映像に各種のＩＤ情報を透かし情報として埋め込んで記録することで、証拠性の高い医療映像を残せるようにし、また、その装置を用いて手術映像を記録した情報記録媒体を患者に渡すことで、医療機関と患者の双方に利点のある医療方法を提供し、医療ミスの防止に役立つようにしたものが知られていた（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４８８９５号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の手術映像を蓄積する装置等においては、蓄積した手術の映像から、医学的に重要な場面等を取得するためには、映像を確認しながら、映像の早送りや早送り再生等を行う必要があり、医学的に重要な場面等の映像を短時間で検索して取得させることが困難であった。このため、蓄積した手術の映像を利用するための時間や労力がかかってしまい、蓄積した手術の映像の再利用が容易ではない、という課題があった。
【課題を解決するための手段】
【０００５】
本発明の手術映像蓄積装置は、手術中の映像である手術映像を１以上受け付ける手術映像受付部と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、手術映像受付部が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部とを備えた手術映像蓄積装置である。
【０００６】
かかる構成により、再利用が容易な手術映像を蓄積することができる。例えば、手術動的情報を用いて、手術映像内の位置、具体的には手術映像内の時間的な位置を適宜検索することが可能となる。特に手術動的情報として、手術中に取得される情報等の変化を示す情報を取得するようにし、手術映像の時間的位置を、手術動的情報を用いて検索することで、手術中に生じた変化がある箇所の手術映像を検索して表示することができる。
【０００７】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術に用いられる機器が、手術中の操作に応じて出力する機器操作情報を受け付ける機器操作情報受付部を更に備え、手術情報取得部は、機器操作情報受付部が受け付けた機器操作情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【０００８】
かかる構成により、手術映像内の機器の操作に関連した時間的位置を、手術映像の出力する位置に指定することができる。
【０００９】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術に用いられる手術器具の情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１０】
かかる構成により、手術映像内の、手術器具が利用されている時間的位置を、手術映像の出力する位置に指定することができる。
【００１１】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術に用いられる機器が出力する機器出力情報を受け付ける機器出力情報受付部を更に備え、手術情報取得部は、機器出力情報受付部が受け付けた機器出力情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１２】
かかる構成により、手術映像内の、機器の出力に関連している時間的位置を、手術映像の表示する位置に指定することができる。
【００１３】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術中の音声である手術音声を１以上受け付ける手術音声受付部を更に備え、手術情報取得部は、手術音声受付部が受け付けた手術音声の特徴を検出し、検出した特徴に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１４】
かかる構成により、手術映像内の、手術音声の特徴が検出された時間的位置を、手術映像の表示する位置に指定することができる。
【００１５】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１６】
かかる構成により、手術映像内の、照明の変化が検出された時間的位置を、手術映像の表示する位置に指定することができる。
【００１７】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得し、蓄積部は、手術映像受付部が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する手術映像蓄積装置である。
【００１８】
かかる構成により、手術環境情報を指定して出力対象となる手術映像を検索することが可能となる。
【００１９】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、医師が保持している端末に格納されており、端末から送信される医師の医師識別情報を受信する医師識別情報受信部を更に備え、手術情報取得部は、医師識別情報受信部が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する手術映像蓄積装置である。
【００２０】
かかる構成により、医師識別情報の入力を簡略化することができる。
【００２１】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、患者が保持している端末に格納されており、端末から送信される患者の患者識別情報を受信する患者識別情報受信部を更に備え、手術情報取得部は、患者識別情報受信部が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する手術映像蓄積装置である。
【００２２】
かかる構成により、患者識別情報の入力を簡略化することができる。
【００２３】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報を指定する手術情報指定受付部と、手術情報指定受付部が受け付けた手術情報に対応付けられた手術映像を検索する手術映像検索部と、手術映像検索部が検索した手術映像を出力する出力部とを更に備えた手術映像蓄積装置である。
【００２４】
かかる構成により、手術情報を用いて手術映像やその映像内の時間的位置を検索して出力することができる。
【発明の効果】
【００２５】
本発明による手術映像蓄積装置等によれば、再利用が容易な手術映像を蓄積することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態における手術映像蓄積装置のブロック図
【図２】同手術映像蓄積装置を説明するための、機器操作情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図
【図３】同手術映像蓄積装置を説明するための、機器出力情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図
【図４】同手術映像蓄積装置の動作を説明するためのフローチャート
【図５】同手術映像蓄積装置を有する手術映像蓄積システムの概略図
【図６】同手術映像蓄積装置を説明するための、医師および患者に装着された端末を示すための図
【図７】同手術映像蓄積装置の撮影部が撮影した手術映像の一例を示す図
【図８】同手術映像蓄積装置の動作を説明するための、機器操作情報の一例を示す図
【図９】同手術映像蓄積装置の動作を説明するための、手術器具画像管理情報の一例を示す図
【図１０】同手術映像蓄積装置の動作を説明するための、手術映像の１フレームの一例を示す図
【図１１】同手術映像蓄積装置の動作を説明するための、機器出力情報の一例を示す図
【図１２】同手術映像蓄積装置の動作を説明するための、手術音声を示す模式図
【図１３】同手術映像蓄積装置の動作を説明するための、手術映像を示す図
【図１４】同手術映像蓄積装置の動作を説明するための、手術映像と手術情報とを対応付けて管理する手術情報管理情報を示す図
【図１５】同手術映像蓄積装置の動作を説明するための、手術映像と、手術動的情報との対応関係を管理する手術動的情報管理ファイルを示す図
【図１６】同手術映像蓄積装置の動作を説明するための、手術映像ファイルの一例を示す模式図
【図１７】同手術映像蓄積装置の動作を説明するための、手術映像を検索するための検索条件を入力する入力画面を示す図
【図１８】同手術映像蓄積装置の動作を説明するための、手術映像内のフレームの検索結果を示す図
【図１９】本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図
【図２０】本発明の実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００２７】
以下、手術映像蓄積装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２８】
（実施の形態）
図１は、本実施の形態における手術映像蓄積装置１のブロック図である。
手術映像蓄積装置１は、撮影部１０１、手術映像受付部１０２、機器操作情報受付部１０３、機器出力情報受付部１０４、音声取得部１０５、手術音声受付部１０６、医師識別情報受信部１０７、患者識別情報受信部１０８、手術情報取得部１０９、蓄積部１１０、格納部１１１、手術情報指定受付部１１２、手術映像検索部１１３、および出力部１１４を備える。
【００２９】
撮影部１０１は、手術中の映像を撮影する。そして、撮影した映像を、後述する手術映像受付部１０２に出力する。手術中の映像とは、医師等が患者等に対して行っている手術の状態を撮影した映像である。手術中の映像は、例えば、手術室内全体またはその一部や、手術台上またはその近傍の映像であっても良い。また、患者の一部、例えば手術箇所を主として撮影した映像であっても良い。また、手術中の医師から見た視野を撮影した映像であっても良い。また、内視鏡や顕微鏡等で写される手術中の患者の体内の映像や、手術中に取り出された患者の組織等の映像であっても良い。撮影部１０１は、例えば、ＣＣＤやＣＭＯＳ等の撮影素子を備えたカメラにより実現され得る。カメラは、手術室内に設置される術場撮影カメラであってもよいし、手術箇所近傍を撮影する術野カメラや、内視鏡の視野を撮影する内視鏡カメラや手術顕微鏡の視野を撮影する手術顕微鏡カメラであってもよい。あるいは医師の視野を撮影するためにヘッドセット等に取り付けたカメラ等であっても良い。ここでは、撮影部１０１が一つの場合を例に示しているが、撮影部１０１は、複数であっても良い。撮影部１０１が複数の場合、各撮影部１０１が出力する手術映像に、取得した撮影部１０１を識別する情報を付与するようにしても良い。ここで述べる映像は、通常は、動画像である。ただし、時系列に沿って連続した静止画像であってもよい。撮影部１０１が出力する映像の形式は、例えば、非圧縮であっても良いし、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４や、ＭＰＥＧ−２、ＭＰＥＧ−１、ｍｏｔｉｏｎＪＰＥＧ、ＤＶ、どのような形式のものであっても良い。撮影部１０１は、撮影した映像に、通常タイムコードを付与する。また、撮影した映像に予め用意された撮影部１０１の識別情報や、撮影部１０１が撮影する撮影領域や撮影対象を示す情報を付与するようにしても良い。撮影部１０１が、撮影した映像をエンコードして出力する場合、撮影部１０１がエンコード処理を行うエンコーダ等（図示せず）を備えていても良い。撮影部１０１が撮影する映像のアスペクト比や、画素数や色数やカラーモード等は問わない。なお、手術中とは、ここでは、手術を行うために、医師等が手術室等の手術を行う部屋等に入室している期間と考えても良いし、患者に対して実際の手術が行われている期間と考えても良い。なお、ここでは、手術映像蓄積装置１が撮影部１０１を備えている場合を例に挙げて説明したが、手術映像蓄積装置１は、撮影部１０１を備えていなくてもよく、手術中の映像を撮影する外部の撮影部が撮影する手術映像を受け付けるようにしても良い。
【００３０】
手術映像受付部１０２は、手術中の映像である手術映像を１以上受け付ける。具体的には、撮影部１０１から出力される手術映像を受け付ける。複数の撮影部１０１が設けられている場合、手術映像受付部１０２は、各撮影部１０１が出力する手術映像を個別に受け付ける。手術映像受付部１０２は、個別に受け付けた手術映像に、それぞれ識別情報を付与するようにしてもよい。手術映像受付部１０２と各撮影部１０１とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、手術映像受付部１０２と各撮影部１０１とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。ここで述べる受け付けとは、有線もしくは無線の通信回線を介して送信された情報の受信である。手術映像受付部１０２は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。また、手術映像受付部１０２は、撮影部１０１を接続するためのインターフェース等と考えても良い。
【００３１】
機器操作情報受付部１０３は、手術に用いられる１以上の機器が、手術中の操作に応じて出力する機器操作情報を受け付ける。ここで述べる手術に用いられる機器とは、例えば、ユーザの操作によって動作する装置であり、例えば、顕微鏡や内視鏡である。また、除細動器や、レーザ手術機器等でもよい。手術に用いられる機器の構成については後述する。機器操作情報は、例えば、手術に用いられる機器の電源がオンまたはオフされたことを示す情報や、つまみ等を回転させたことを示す情報である。また、顕微鏡や内視鏡等の場合には、拡大率等を示す情報や、拡大率が変更されたことを示す情報等である。あるいは、機器の設定等の情報や、設定が変更されたことを示す情報等である。また、機器操作情報は、例えば、手術に用いられる機器に対して、予め指定された操作、例えば、電源のオンやオフ、予め指定されたスイッチのオンやオフ等が行われた場合にだけ、予め指定された操作が行われたことを示す機器操作情報を出力してもよい。この場合、機器操作情報は、操作の内容を識別可能な情報を含んでもいても良いし、含んでいなくてもよい。また、機器操作情報受付部１０３が受け付ける機器操作情報は、機器を識別するための機器識別情報を含んでいてもよい。ここで述べる受付とは、例えば、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。なお、機器が出力する機器操作情報に、操作が行われた時刻を示す情報が含まれていない場合、機器操作情報受付部１０３は、受け付けた機器操作情報に対して、受け付けた時刻を示す情報を図示しない時計等から取得して付与してもよい。機器操作情報受付部１０３は、例えば、入出力制御のためのドライバや、通信手段や、通信制御のためのドライバ等で実現され得る。
【００３２】
ここで、本実施の形態において利用され得る、機器操作情報を出力可能な、手術に用いられる機器の構成の一例について説明する。
【００３３】
図２は、機器操作情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図である。機器５０は、操作受付部５１、機器識別情報格納部５２、送信部５３を備えている。なお、機器５０は、操作受付部５１が受け付けた操作に応じた、機器としての本来の機能を果たすための処理部や入力部や出力部等を適宜備えているが、ここでは、説明を省略している。
【００３４】
機器５０は、手術中に利用される機器であれば、上述した内視鏡や顕微鏡等のどのような機器であっても良い。
【００３５】
操作受付部５１は、機器５０に対する操作を受け付ける。操作は、機器５０に電源を投入する操作等、どのような操作であっても良い。ここで述べる受付は、例えば、スイッチやボタンやノブ等の入力手段からの受付等である。
【００３６】
機器識別情報格納部５２には、機器５０を識別可能な機器識別情報が格納されている。機器識別情報は、例えば、機器名や、機器のシリアルナンバーや、機器のＩＤである。
【００３７】
送信部５３は、操作受付部５１が受け付けた操作に応じて、機器操作情報を送信する。具体的には、操作受付部５１が操作を受け付けた場合に、受け付けた操作に応じて、図示しない格納部等に予め格納されている当該受け付けた操作を示す情報、例えば操作識別情報と、機器識別情報格納部５２に格納されている機器識別情報とを読み出し、当該操作を示す情報と機器識別情報とを含む機器操作情報を、手術映像蓄積装置１に送信する。なお、機器５０が一つだけである場合、機器識別情報格納部５２は省略可能である。あるいは、送信部５３は、操作受付部５１が受け付けた操作が、予め指定された操作であるか否かを、予め用意された操作を識別するための情報と比較して判断し、予め指定された操作である場合に、予め指定された操作が行われたことを示す情報と、機器識別情報格納部５２に格納されている機器識別情報とを含む機器操作情報を手術映像蓄積装置１に送信してもよい。機器識別情報を含む機器操作情報を送信する場合、予め指定された操作が行われたことを示す情報の送信は省略しても良い。また、機器に対して行われた操作を識別する情報等を含む機器操作情報を手術映像蓄積装置１に送信してもよい。また、送信部５３は、送信時刻や、操作を受け付けた時刻を示す情報を含む機器操作情報を送信しても良い。なお、機器５０が一つだけである場合、機器識別情報格納部５２は省略してもよい。
【００３８】
送信部５３と、機器操作情報受付部１０３とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、送信部５３と、機器操作情報受付部１０３とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。送信部５３は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。
【００３９】
なお、機器５０に送信部５３を設ける代わりに、操作受付部５１等が上記と同様の機器操作情報を取得して、機器５０内の図示しないバッファ等の記憶媒体に蓄積するようにし、蓄積された機器操作情報を、手術映像蓄積装置１が直接読み出すこと等によって取得するようにしても良い。あるいは、機器５０が、図示しない処理部等により、上記と同様の機器操作情報を、例えば、この機器操作情報に対応する操作が行われた時刻を示す情報等と対応付けて取得して、取得した機器操作情報を、例えばフラッシュメモリや光ディスクやハードディスク等により構成される図示しない着脱可能な可搬型記憶媒体（図示せず）に蓄積するようにしてもよい。そして、この可搬型記憶媒体を機器５０から取り外して手術映像蓄積装置１に取り付けて、機器操作情報受付部１０３がこの可搬型記憶媒体に蓄積されている機器操作情報と時刻を示す情報を読み出すことで機器操作情報を取得する用にしても良い。この場合の時刻を示す情報は、例えば、手術映像と機器操作情報とを対応付ける、即ち同期させる際に利用される。
【００４０】
機器出力情報受付部１０４は、手術に用いられる機器が出力する機器出力情報を受け付ける。機器出力情報受付部１０４が受け付ける機器出力情報は、例えば、上記の機器操作情報とは異なり、ユーザによる機器の操作に関係なく機器が出力する情報である。ここで述べる手術に用いられる機器は、上述した手術に用いられる機器と同様の機器であっても良いが、ここでの機器は、ユーザの操作に関係なく作動する機器であることが好ましい。ここで述べる手術に用いられる機器は、例えば、患者の生体情報を測定する生体情報測定装置である。生体情報測定装置は、例えば、脈拍、心拍、呼吸、体温、血圧等を経時的に測定する装置である。機器出力情報受付部１０４は、手術に用いられる機器が出力する機器出力情報を受け付ける。ここでの機器出力情報は、例えば、手術に用いられる機器が一定または不定のタイミングで測定した値を示す情報である。また、機器出力情報は、例えば、手術に用いられる機器が、測定値が予め指定された値を超えたことや、下回ったことを示すために出力した情報であってもよい。また、機器出力情報は、例えば、手術に用いられる機器が、測定値の変化等から患者の容態が変化したと判断した場合に出力する判断結果を示す情報であってもよい。機器出力情報は、出力する機器の識別情報を含むようにしてもよい。また、機器出力情報は、手術に用いられる機器が機器出力情報を送信する時刻の情報等を有していてもよい。あるいは、機器出力情報が、生体情報等を測定した情報を含む場合、生体情報を測定した各時刻の情報を含んでいてもよい。また、機器出力情報は、この情報が、機器のどのような出力の情報であるかを示す情報を含んでいてもよい。例えば、機器が、血圧計であれば、血圧の値に関する情報であることを示す識別情報等を含むようにしてもよい。ここで述べる受付とは、例えば、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。なお、機器が出力する機器操作情報に、操作が行われた時刻を示す情報が含まれていない場合、機器出力情報受付部１０４は、受け付けた機器操作情報に対して、受け付けた時刻を示す情報を図示しない時計等から取得して付与してもよい。機器出力情報受付部１０４は、例えば、入出力制御のためのドライバや、通信手段や、通信制御のためのドライバ等で実現され得る。
【００４１】
ここで、本実施の形態において利用可能な、機器出力情報を出力可能な、手術に用いられる機器の構成の一例について説明する。
【００４２】
図３は、手術に用いられる機器の構成の一例を示すブロック図である。機器６０は、出力用情報取得部６１、機器識別情報格納部６２、送信部６３を備えている。なお、機器６０は、機器としての本来の機能を果たすための処理部や入力部や出力部等を適宜備えているが、ここでは、説明を省略している。
【００４３】
機器６０は、手術中に利用される機器であって、ユーザの操作がなくても、機器出力情報を出力可能な機器であれば、上述した生体情報測定装置等のどのような機器であっても良い。
【００４４】
出力用情報取得部６１は、例えば、予め指定されたタイミング等で出力用の情報である出力用情報を取得する。例えば、機器６０が生体情報測定装置であれば、脈拍数や呼吸数等の生体情報を患者から取得する。出力用情報取得部６１は、機器６０が生体情報測定装置等の場合、センサー等である。
【００４５】
機器識別情報格納部６２には、機器６０を識別可能な機器識別情報が格納されている。機器識別情報は、例えば、機器名や、機器のシリアルナンバーや、機器のＩＤである。
【００４６】
送信部６３は、出力用情報取得部６１が取得した出力用情報に応じて、機器操作情報を送信する。具体的には、出力用情報取得部６１が取得した出力用情報と、機器識別情報格納部６２から読み出した機器識別情報とを含む機器出力情報を、手術映像蓄積装置１に送信する。なお、機器出力情報に、出力用情報がどのような情報であるかを示す情報を付加するようにしてもよい。なお、機器６０が一つだけである場合、機器識別情報格納部６２は省略可能である。あるいは、送信部６３は、出力用情報取得部６１が取得した出力用情報が、予め指定された範囲内の情報であるか否かを判断し、指定された範囲内の情報である場合に、機器６０で予め指定された範囲内の情報が取得されたことを示す情報と、機器識別情報格納部６２に格納されている機器識別情報とを含む機器出力情報を手術映像蓄積装置１に送信する。機器識別情報を含む機器操作情報を送信する場合、予め指定された範囲内の情報が取得されたことを示す情報の送信は省略しても良い。また、予め指定された範囲内の情報がどのような情報であるかを示す識別情報等を含む機器出力情報を手術映像蓄積装置１に送信してもよい。予め指定された範囲とは、例えば、異常な値であることを示す範囲である。また、送信部６３は、送信時刻や、予め指定された範囲内の情報を取得した時刻を示す情報を含む機器出力情報を送信しても良い。なお、機器６０が一つだけである場合、機器識別情報格納部６２は省略してもよい。また、ここでの送信は、出力用情報取得部６１が取得した電気的な信号である出力用情報等の信号線等を介した出力を含むと考えても良い。
【００４７】
送信部６３と、機器出力情報受付部１０４とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、送信部６３と、機器出力情報受付部１０４とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。送信部６３は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。
【００４８】
なお、機器６０に送信部６３を設ける代わりに、出力情報取得部６１等が上記と同様の機器出力情報を取得して、機器６０内の図示しないバッファ等の記憶媒体に蓄積するようにし、蓄積された機器出力情報を、手術映像蓄積装置１が直接読み出すこと等によって取得するようにしても良い。あるいは、機器６０が、図示しない処理部等により、上記と同様の機器出力情報を、例えば、この機器出力情報に対応する操作が行われた時刻を示す情報等と対応付けて取得して、取得した機器出力情報を、例えばフラッシュメモリや光ディスクやハードディスク等により構成される図示しない着脱可能な可搬型記憶媒体（図示せず）に蓄積するようにしてもよい。そして、この可搬型記憶媒体を機器６０から取り外して手術映像蓄積装置１に取り付けて、機器出力情報受付部１０４がこの可搬型記憶媒体に蓄積されている機器出力情報と時刻を示す情報を読み出すことで機器操作情報を取得する用にしても良い。この場合の時刻を示す情報は、例えば、手術映像と機器出力情報とを対応付ける、即ち同期させる際等に利用される。
【００４９】
音声取得部１０５は、手術中の音声である手術音声を１以上取得する。手術中の音声とは、手術中に手術室内等で発せられる医師や、患者等の音声である。音声取得部１０５は、具体的にはマイクロフォンである。音声取得部１０５は、取得した手術音声を、後述する手術音声受付部１０６に出力する。音声取得部１０５が取得する音声の形式は、例えば、非圧縮や、ＡＡＣ、ＭＰ３、ＷＡＶ等、どのような形式であってもよい。音声取得部１０５が取得した音声をエンコードして出力する場合、音声取得部１０５がエンコーダを備えるようにしてよい。ここでは音声取得部１０５が一つの場合を例に示しているが、音声取得部１０５は、複数であっても良い。音声取得部１０５が複数の場合、各音声取得部１０５が出力する手術音声に、取得した音声取得部１０５を識別する情報を付与するようにしても良い。
【００５０】
手術音声受付部１０６は、手術中の音声である手術音声を１以上受け付ける。具体的には、音声取得部１０５から出力される手術音声を受け付ける。複数の音声取得部１０５が設けられている場合、音声取得部１０５は、各音声取得部１０５が出力する手術映像を個別に受け付ける。個別に受け付けた手術音声に、それぞれ識別情報を付与するようにしてもよい。手術音声受付部１０６と各音声取得部１０５とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、手術音声受付部１０６と各音声取得部１０５とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。ここで述べる受け付けとは、有線もしくは無線の通信回線を介して送信された情報の受信である。手術映像受付部１０２は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。また、手術音声受付部１０６は、音声取得部１０５を接続するためのインターフェース等と考えても良い。
【００５１】
医師識別情報受信部１０７は、医師が保持している端末（図示せず）から送信される医師の医師識別情報を受信する。各医師の識別情報は、各医師が保持している端末に予め格納されている。ここで述べる端末とは、具体的には、携帯型の端末である。例えば、端末は、パッシブ型、あるいはアクティブ型のＲＦＩＤタグ、もしくはタグを有するカードや、小型の装置である。また、携帯電話やＰＨＳやＰＤＡやスマートフォン等であってもよい。あるいは、ノート型コンピュータ等であってもよい。医師の識別番号は、医師が識別可能な情報であればよく、例えば、医師の名前や、医師の識別番号や識別記号である。医師の登録番号等であってもよい。端末がＲＦＩＤタグである場合、医師の識別番号は、例えば、ＲＦＩＤタグ内に予め蓄積されている。端末は、例えば、医師識別情報受信部１０７が端末に対して送信する、医師識別情報を要求する情報に応じて医師識別情報を読み出して出力されるようにしてもよいし、医師が、例えば、ボタンやスイッチ等を操作することで、医師識別情報が出力されるようにしてもよい。
【００５２】
医師識別情報受信部１０７は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。また、端末がＲＦＩＤタグである場合、医師識別情報受信部１０７は、ＲＦＩＤタグリーダライタを備えていてもよいし、備えていなくてもよい。備えていない場合、外部のＲＦＩＤタグリーダライタ等が受信した医師識別情報を受信するようにすればよい。なお、ＲＦＩＤタグの情報を読み書きする構成については公知技術であるので、ここでは説明を省略する。
【００５３】
患者識別情報受信部１０８は、患者が保持している端末から送信される患者の患者識別情報を受信する。各患者の識別情報は、各患者が保持している端末に予め格納されている。患者識別情報受信部１０８の構成や、端末や、患者識別情報等については、上述した医師識別情報受信部１０７の構成や、端末や、医師識別情報等と同様であるのでここでは説明を省略する。なお、手術室等に入る際や手術開始前に、患者の端末に格納されている患者識別情報を受信することができれば、患者が手術中に端末を保持している必要はない。
【００５４】
手術情報取得部１０９は、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する。手術中に取得できる情報は、例えば、手術の進行に伴って取得できる情報である。また、手術の信号に伴って動的に変化する情報である。手術動的情報は、例えば、手術に用いられる機器等が手術中に出力する情報である。あるいは、手術映像や、手術中に取得した音声や、手術に用いられる機器等が出力する情報に対して所定の処理を行うことで得られる情報である。ただし、所定の処理は、手術終了後に行ってもよい。
【００５５】
手術動的情報は、好ましくは、手術中の動的な変化を示す情報である。手術動的情報は、例えば、手術中の、患者の状態や、手術室の状態や、医師等の医療スタッフの状態や、手術に用いられている手術器具や機器の状態や使用状況等についての動的な変化を示す情報、例えば変化が発生したことを示す情報や、変化の内容等を示す情報である。また、手術動的情報を、手術場面の変化を示す情報や、手術行程の移り変わりを示す情報と考えても良い。また、手術動的情報を、手術中における医学的に重要と考えられる可能性の高い状況が発生したことを示す情報と考えてもよい。また、手術動的情報は、手術における処置内容が変化したことを示す情報であってもよい。手術動的情報は、具体的には、手術中に取得される予め指定された情報において検出される予め指定された変化を示す情報である。例えば、手術動的情報は、手術中に取得される手術映像や、生体情報や、音声情報等から検出される予め指定された変化を示す情報である。手術動的情報は、例えば、手術中の動的な変化が発生したことを示す情報であれば、変化が発生したことを示す情報であっても良いし、変化が発生した時点や期間等を示す情報であっても良いし、どのような変化が発生したかを示す情報、つまり変化の内容を示す情報であってもよい。手術情報取得部１０９は、例えば、手術中にリアルタイムで動的な変化の検出等が行われる場合、変化が検出された時点で変化が発生したことを示す手術動的情報を取得する。また、手術情報取得部１０９は、手術中の動的な変化が発生した時点や期間を示す情報を含む手術動的情報を取得しても良い。また、手術情報取得部１０９は、動的な変化の内容を示す情報を含む手術動的情報を取得しても良い。また、手術動的情報は、どのような変化であるかを示す情報や、動的な変化に付随した情報、例えば変化が発生した時点の状況を示す情報等を含んでいても良い。例えば変化が検出された対象を識別する情報を付与しても良い。例えば、手術室内の照明について動的な変化を検出した場合、例えば「照明」という識別情報を手術動的情報に付与しても良い。手術動的情報は、手術に動的な変化があった時点を示す情報や期間を示すための情報と考えても良い。
【００５６】
手術動的情報は、手術映像の一部を検索する際に用いられる情報であっても良い。例えば、手術動的情報は、手術映像の一部を検索する際に用いられるインデックスとして用いられる情報（以下インデックス情報）と考えても良い。また、インデックス情報は、手術映像の頭出し等に用いられる手術映像内の位置、例えばチャプターの位置等を示すための情報と考えても良い。手術映像内の位置とは、例えば、手術映像内の時間的な位置である。手術映像内の位置は、例えば、手術映像内のタイムライン上の位置と考えてもよいし、手術映像内の時刻や、フレーム等を示す位置と考えても良い。また、ここでの位置は、手術映像内の一点と考えても良いし、手術映像内の部分、即ち開始位置と終了位置とが特定される期間と考えても良い。また、インデックス情報は、これらの位置で発生した変化の属性、具体的には変化の内容等を示す情報であってもよい。インデックス情報は、手術映像に付与されるフラグ情報であってもよい。また、インデックス情報はタグと考えても良い。インデックス情報等を手術映像に付与することで、インデックス情報を利用して手術映像内の所望の時間的な位置を探して、インデックス情報を付与した位置から手術映像を読み出すことが可能となる。ここでの付与は、対応付けることも含む概念である。また、手術動的情報は、手術中に取得される情報のうちの、検索に利用可能な情報と考えても良い。
【００５７】
手術情報取得部１０９は、手術動的情報をどのように取得してもよい。例えば、手術室内の機器等が出力する情報を、手術動的情報として取得してもよい。また、手術室内の機器等が出力する情報等を用いて、手術中に発生した動的な変化を検出し、この変化が発生したことを示す手術動的情報を取得してもよい。また、変化の内容を示す手術動的情報を取得してもよい。また、例えば、手術映像受付部１０２が受け付けた手術映像を解析して、手術中に発生した動的な変化を検出し、この変化が発生したことを示す手術動的情報を取得してもよい。つまり、この場合に取得する手術動的情報は、手術映像において検出される予め指定された変化を示す情報である。また、手術室内の機器等が出力する、手術中に動的な変化が発生したことを示す情報を手術動的情報として取得しても良い。
【００５８】
以下、手術動的情報を取得する例を示す。
【００５９】
（１）機器操作情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、例えば、機器操作情報受付部１０３が受け付けた機器操作情報に応じて手術動的情報を取得する。具体的には、機器操作情報受付部１０３が受け付けた機器操作情報の少なくとも一部を含む手術動的情報を取得する。機器操作情報の少なくとも一部とは、例えば、機器が受け付けた操作を示す情報や、機器の識別情報等である。また、手術情報取得部１０９は、機器操作情報受付部１０３が、何らかの機器操作情報を受け付けた場合に、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、一の機器（例えば内視鏡等）が、予め指定された操作（例えば電源のオンや、内視鏡先端の電気メスの操作等）を受け付けた場合にのみ、機器操作情報を出力するようなものであった場合等には、機器操作情報を受け付けた場合に、一の機器が使用されて、手術中に変化が生じたことを示す手術動的情報を取得する。また、機器操作情報受付部１０３が、機器操作情報を受け付けた場合に、この機器操作情報が、予め指定された機器操作情報であるか否かを判断し、予め指定された機器操作情報である場合、動的な変化があったことを示す手術動的情報を取得しても良い。あるいは予め指定された機器操作情報でない場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器操作情報受付部１０３が受け付けた一の機器が出力する機器操作情報が、一の機器の電源をオンする機器操作情報であるか否かを判断し、オンする機器操作情報である場合に、今まで使われていなかった一の機器の使用が開始された、即ち手術中に動的な変化があったことを示す機器操作情報を取得する。また、機器操作情報受付部１０３が受け付ける機器操作情報に変化が生じた場合に、手術動的情報を取得してもよい。例えば、一の機器から受け付けた機器操作情報が示す一の設定値に変更が生じた場合に、手術動的情報を取得しても良い。ここで取得する手術動的情報は、例えば機器の識別情報、例えば内視鏡の識別情報や、機器において検出された変化を示す情報、例えば、「電源オン」等を含む情報であってもよいし、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６０】
（２）手術器具の情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、例えば、手術に用いられる手術器具の情報に応じて手術動的情報を取得する。具体的には、手術に用いられる手術器具の情報を含む手術動的情報を取得する。ただし、ここでの検出した手術器具の情報を含むとは、検出した手術器具の情報の少なくとも一部を含むことを意味する。手術器具とは、具体的には、手術に用いられる道具である。手術器具は例えば、メスや、電気メス、はさみ、ピンセット、鉗子等である。手術情報取得部１０９は、具体的には、予め指定された手術器具が手術に使用されていること、あるいは使用が終了したこと等を検出した場合に、手術動的情報を取得する。手術器具の情報は、例えば、手術器具の識別情報である。ただし、手術器具の情報は、予め指定された手術器具の一つが使用されたことを示す情報であっても良い。ここで取得する手術動的情報は、例えば、検出した手術器具の識別情報を含むものである。ただし、予め指定された手術器具の一つが使用されたことを示す情報であっても良いし、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６１】
手術情報取得部１０９は、例えば、手術映像受付部１０２が受け付けた手術映像に対して、例えば画像処理を行うことで、手術器具が使用される手術器具の情報を取得する。具体的には、検出したい手術器具の画像を、手術器具の検出用画像として用意して、手術器具の識別情報、例えば、手術器具名や、手術器具の製造番号やメーカー名等と対応付けて、予め図示しない記憶媒体等に蓄積しておく。そして、手術映像受付部１０２が受け付けた手術映像に対して、この検出用画像と適合する画像を検出するための画像認識処理を行い、手術映像について手術器具の検出を行う。なお、手術器具の検出のための画像認識処理は、例えば、入力された画像上を、検出用画像を比較しながら移動させて、一致するあるいは近似する画像を検出するパターンマッチングや、画像の輪郭やエッジや特徴点を抽出して入力画像の構造を数値化し、この数値化したもの同士の類似度から画像の認識を行う構造識別法や、画像から抽出した特徴点等を統計処理して、画像同士が類似するか否かを判断する方法等が利用可能である。そして、手術器具の識別情報が必要な場合には、検出した手術器具に対応した手術器具の識別情報を取得する。ただし、手術器具の識別情報が不要な場合には、手術器具の識別情報の取得は不要であり、単に、手術器具が検出されたことを示す情報を取得すればよい。パターンマッチングの際には、予めパターンマッチングは、例えば、手術映像が動画である場合、全てのフレームに対して個別に行っても良いし、所定の間隔を隔てたフレーム毎に行っても良い。手術器具は、通常、手に持って操作されるため、持ち手等が手で隠れることとなるため、手で隠れない部分（例えばメスははさみの刃先等）のみのパターンマッチングを行うようにしても良い。パターンマッチングはどのように行っても良い。例えば、パターンマッチングの対象となる手術映像から、手術器具の色に近い色を含む領域を検出し、その領域内の画像と、検出用画像とでパターンマッチングを行っても良い。また、検出用画像として、手術器具の輪郭を示す画像を用意し、その輪郭と相関の高い輪郭を手術映像内において検出するようにしても良い。
【００６２】
なお、例えば、予め、手術器具に対して、手術器具を識別する情報を示す二次元バーコードを付けておくようにし、手術映像から、二次元バーコードを検出し、検出した二次元バーコードを読み取ることで、予め指定された手術器具が使用されたか否かを判断する用にしても良い。映像から二次元バーコードを検出し、読み取る処理等は公知技術であるので、ここでは説明を省略する。二次元バーコードのかわりに、手術器具に、手術器具名や識別番号等を付与しておき、この手術器具名や識別番号等を手術映像から読み取るようにしてもよい。また、手術器具を識別する形状や色、あるいはこれらの組合せを有する印を手術器具に付けておくようにし、手術映像からこれらの印の検出を行い、検出した印がどのような印であるかを判断するためのパターンマッチングや色検出等を行って、マッチするパターンや色に対応付けられた手術器具の識別情報等を取得するようにしても良い。例えば、予め紫色の印をメス等に付けておくようにし、手術映像内において紫色の印を検出した場合に、メスが使用されたことを示す手術動的情報を取得しても良い。
【００６３】
上記で述べた手術映像から手術器具の情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００６４】
なお、手術映像受付部１０２が受け付けた手術映像を用いて、手術器具が使用されたか否かを判断する代わりに、手術器具が使用されたか否かの検出に利用可能な情報を、手術情報取得部１０９が受け付けるようにし、この受け付けた情報により手術器具が使用されたか否かを判断しても良い。例えば、手術器具に、各手術器具に対応付けられた識別情報を格納したＲＦＩＤタグを取り付けておくようにし、手術室内等に設置されたアンテナ（図示せず）を用いてＲＦＩＤタグリーダライタ（図示せず）が読み出したタグの識別情報を手術情報取得部１０９を受け付け、このＲＦＩＤタグの識別情報を用いて、手術器具が用いられたか否かを検出する。具体的には、手術を行っている箇所の近傍や、手術台上のみに位置するＲＦＩＤタグのみを読み取れるように、ＲＦＩＤタグリーダライタの読み出し範囲や、アンテナの位置を予め調整しておくようにする。そして、この範囲内に入った手術器具に取り付けられたＲＦＩＤタグの識別情報を、ＲＦＩＤタグリーダライタが読み出して手術情報取得部１０９に送信する。手術情報取得部１０９は、ＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報が、予め指定された識別情報の一つであるか否かを判断し、一つであると判断された場合に、予め指定された手術器具が使用されたことを検出する。なお、ＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報が、予め指定された識別情報の一つであるか否かを判断する代わりに、新たな識別情報が検出される都度、手術器具が使用されたことを判断してもよい。なお、予め手術器具の識別情報と、当該手術器具に取り付けられたＲＦＩＤタグの識別情報とを対応付けて管理する管理情報を、図示しない記憶媒体等で構成される手術器具識別情報格納部等に蓄積しておくようにし、この情報を用いて手術情報取得部１０９がＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報に対応する手術器具の識別情報を取得するようにしても良い。そして、手術情報取得部１０９は、この手術器具の識別情報を含む手術動的情報を取得しても良い。なお、この場合、ＲＦＩＤタグリーダライタから出力される識別情報を受け付けるための受付手段（図示せず）等を設けておく必要がある。この受付手段は、例えば、他の受付手段と同様のものが利用可能である。
【００６５】
（３）機器出力情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、機器出力情報受付部１０４が受け付けた機器出力情報に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、機器出力情報受付部１０４が受け付けた機器出力情報の少なくとも一部を含む手術動的情報を取得する。機器出力情報の少なくとも一部は、例えば、機器が測定した情報や、機器の識別情報である。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。手術情報取得部１０９は、例えば、機器出力情報受付部１０４が、何らかの機器出力情報を受け付けた場合に、手術動的情報を取得しても良い。例えば、一の機器が、何らかの変化を検出した場合に機器出力情報を出力するものである場合、機器出力情報受付部１０４は、機器出力情報を受け付けた場合に、一の機器が手術中における動的な変化を検出したと判断して、手術動的情報を取得する。この手術動的情報は、例えば、動的な変化を検出した機器の識別情報を含むものである。例えば、予め指定されたしきい値より小さい心拍数を検出した場合に、心拍に異常が発生したことを示す機器出力情報を出力する心拍計が一の機器である場合、機器出力情報受付部１０４は機器出力情報を受け付けた場合に、手術動的情報を取得する。この手術動的情報は、例えば、心拍計の識別情報を含むものであっても良い。あるいは、この手術動的情報は、心拍計の識別情報のみであっても良い。また、この手術動的情報は、手術中に情報が取得されたことを示す情報や、何らかの動的な変化があったことを単に示す情報であっても良い。また、機器出力情報受付部１０４が、機器出力情報を受け付けた場合に、この機器出力情報が手術中の動的な変化を示すものであるか否かを判断し、動的な変化を示す機器出力情報である場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器出力情報が示す値が、予め指定された値の範囲内にあるか否かを判断し、予め指定された値の範囲内にある場合に、動的な変化があったことを示す手術動的情報を取得しても良い。あるいは予め指定された値の範囲内にない場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器出力情報受付部１０４が受け付けた、血圧計が出力する機器出力情報が示す値が、予め指定された下限値以下の値であった場合に、手術情報取得部１０９は、手術中における動的な変化が発生したと判断して、手術動的情報を取得する。この手術動的情報は、例えば、血圧計の識別情報を含む手術動的情報、あるいは心拍計の識別情報のみで構成されるものであっても良い。また、この手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを単に示す情報であっても良いし、血圧に異常が有ったことを示す情報であっても良い。
【００６６】
（４）手術音声を用いて手術動的情報を取得する場合
手術情報取得部１０９は、手術音声受付部１０６が受け付けた手術音声の特徴を検出して、検出した特徴に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、手術音声受付部１０６が受け付けた手術音声の特徴を検出して、検出した特徴を示す情報を含む手術動的情報を取得する。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。手術情報取得部１０９は、例えば、特徴が検出された場合、あるいは予め指定された特徴が検出された場合に手術動的情報を取得する。検出した特徴を示す情報は、例えば、検出した特徴を示す識別情報や、手術音声について何らかの特徴が検出されたことを示す情報であっても良い。手術情報取得部１０９が検出する手術音声の特徴は、具体的には、音声の有無や、音声の強さ、長さ、音声の高低等の情報である。あるいは医師が発した音声であるか否かの情報である。あるいは、予め指定された文字列の音声の有無であっても良い。例えば、手術情報取得部１０９は、手術音声の音声レベルが予め指定されたしきい値以上の値であれば、音声が有るという特徴を検出し、しきい値未満であれば、音声がないという特徴を検出する。この場合、例えば音声有り、音声なし等を示す識別情報を含む手術動的情報を取得する。あるいは、手術音声の音声レベルが予め指定されたしきい値以上の値であれば、強い音声が有るという特徴を検出する。この場合、例えば強い音声があることを示す識別情報を含む手術動的情報を取得する。また、音声の周波数を検出しその周波数の高さが、予めしきい値以上でれば、音声が高いという特徴を検出する。この場合、例えば、高音の音声があることを示す識別情報を含む手術動的情報を取得する。また、音声の声紋を、予め登録されている医師等の声紋と比較して、一致している場合、医師の音声であるという特徴を検出する。この場合、医師の音声があることを示す手術動的情報を取得しても良いし、医師の識別情報を、比較に用いて声紋の情報と対応付けられた医師の識別情報等から取得しても良い。また、手術音声を音声認識させて文字列に変換し、この文字列が、予め指定された文字列に一致するか否かを判断し、一致する場合、予め指定された文字列を示す音声であるという特徴を検出する。この場合、例えば指定された文字列の音声があることを示す識別情報を含む手術動的情報を取得する。あるいは、手術音声から検出された文字列を含む手術動的情報を取得してもよい。音声認識処理は、公知技術であるので、ここでは詳細な説明は省略する。
【００６７】
なお、手術情報取得部１０９は、手術音声受付部１０６が手術音声を受け付けた場合に、リアルタイムに、受け付けた手術音声の特徴を検出して、検出した特徴に応じて手術動的情報を取得してもよいし、手術音声受付部１０６が受け付けた手術音声を一旦ハードディスク等の記憶媒体等に蓄積した後、蓄積された手術音声を用いてバッチ処理で手術音声の特徴を検出して手術動的情報を取得しても良い。この場合、例えば、手術音声受付部１０６が、手術映像と同期可能なタイムコードの情報を含む手術音声を受け付けるようにし、このタイムコード上の手術音声の特徴が検出された時刻の情報を、手術情報取得部１０９がバッチ処理で得られた手術動的情報が取得された時間的位置の情報として取得し、手術映像との時間的な対応付けを取る際に利用できるようにしても良い。また、この場合、バッチ処理後に、手術音声は自動消去するようにしても良い。なお、手術情報取得部１０９が手術音声を消去しても良いし、図示しない他の手段（例えば、消去手段）が手術音声を消去しても良い。
【００６８】
（５）照明の変化に応じて手術動的情報を取得する場合
手術情報取得部１０９は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、手術中の照明の変化を示す手術動的情報を取得する。照明の変換とは、照明のオンまたはオフや、照度の変更等である。手術中の照明の変化を示す手術動的情報とは、具体的には、照明の変化を示す識別情報（例えば、「照明オン」等）を含む手術動的情報や、照明に動的な変化があったことを示す情報、（例えば「照明変化」）等を含む手術動的情報である。また、変化した照明を特定することが可能な場合、変化した照明を識別する情報を含んでもよい。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６９】
手術情報取得部１０９は、例えば、手術映像受付部１０２が受け付けた手術映像を用いて、画像処理により、照明の変化を検出する。例えば、手術映像の時系列に沿った手術映像の２以上のフレーム画像の画像全体、あるいは一部の輝度の変化により、照明がオンされたかオフされたか、あるいは照度が変更されたか否か等を判断する。あるいは照明器具を写している手術映像における照明器具の色の変化から、照明がオンされたかオフされたかを判断してもよい。なお、手術映像から照明についての手術動的情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００７０】
また、手術情報取得部１０９は、手術室内の照明を制御する装置等が、照明を制御するための操作に応じて出力する情報を受け付け、この情報から、手術室内の照明がオンであるかオフであるか、照度が変更されたか等を検出しても良い。この場合、照明を制御する装置は、制御した照明の識別情報を含む情報を、手術情報取得部１０９に送信するようにしても良い。
また、手術情報取得部１０９は、手術室内に設置された照度計等が出力する照度の測定結果を示す情報を受け付け、この照度を示す情報の変化から、手術室内の照明がオンであるかオフであるか、照度が変更されたか等を検出しても良い。この場合、照度計は、照度の測定結果を示す情報を、手術情報取得部１０９に送信するようにしても良い。
【００７１】
なお、この他にも、手術情報取得部１０９は、手術室内等の医療スタッフの動きを検出し、動きに応じて手術動的情報を取得しても良い。医療スタッフは医師や看護士を含む概念である。例えば、医療スタッフの動きの大きさを、手術映像受付部１０２が受け付けた手術映像を用いて、画像処理により検出し、その動きの大きさが大きいか否か、動きの速さが早いか否か等に応じて、手術動的情報を取得しても良い。例えば、動きが大きい場合および速さが早い場合に手術動的情報を取得する。この手術動的情報は、動きの大きさや速さに関して取得したものであることを示す情報を含んでいても良いし、手術中に取得された情報であることを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。画像内の医療スタッフの動きは、ＭＰＥＧ等で用いられる動き検出の技術で検出可能である。動きの大きさや速さ等も、動きを示すベクトル等から算出可能である。手術情報取得部１０９は、例えば、検出した動きの大きさや速さが予め用意したしきい値以上であるか否かを判断し、しきい値以上であれば、動きが大きい、速さが早い等の検出結果を得る。ここで取得する手術動的情報は、例えば、動きの大きさが大きい、動きの速さが早い等の医療スタッフの動きの情報を含んでも良いし、医療スタッフの動きに変化が有ったことを示す情報を含むものであっても良い。なお、動きは、手術画像から取得する代わりに、例えば、医療スタッフが保持している、医療スタッフの識別情報等を含むＲＦＩＤタグ（図示せず）の位置情報の変化から検出しても良い。なお、手術映像から上記の動きについての手術動的情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００７２】
手術情報取得部１０９は、さらに、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得してもよい。手術環境情報は、例えば、一の手術内においてほぼ変化のない、手術が行われる状況全体についての情報と考えても良い。手術環境情報は、手術についての静的な情報と考えても良い。ここで述べる医師情報は、手術する医師（例えば執刀医等）の名前や専門や役職、経歴、所属等に関する情報である。医師情報は、少なくとも医師を識別するための医師識別情報を含むものであることが好ましい。医師識別情報と、医師に関する情報とを対応付けて管理するデータベース等（図示せず）を予め用意しておくことで、医師識別情報を用いて、医師についての情報を結果的に取得することが可能であるからである。医師識別情報は、医師の名前であっても良いし、各医師に個別に割り当てられた文字列（数字列を含む）であっても良い。患者情報は、手術の対象となる患者の名前や、年齢や、身長、体重、現在、あるいは過去の生体情報、手術対象となる患部や、病歴等である。患者情報はカルテの情報であっても良い。患者情報は、少なくとも患者を識別するための患者識別情報を含むものであることが好ましい。患者識別情報と、患者に関する情報とを対応付けて管理するデータベース等（図示せず）を予め用意しておくことで、患者識別情報を用いて、患者についての情報を結果的に取得することが可能であるからである。
【００７３】
手術情報取得部１０９は、例えば、医師識別情報受信部１０７が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する。具体的には、医師識別情報受信部１０７が受信した医師識別情報だけを含む医師情報を有する手術環境情報を取得しても良い。また、手術情報取得部１０９は、医師識別情報受信部１０７が受信した医師識別情報を用いて、予め用意した、上述したような医師識別情報と、医師に関する情報とを対応付けて管理するデータベース等を用いて、検索により医師に関する情報を取得して、取得した情報と医師識別情報とを有する医師情報を取得し、この医師情報を有する手術環境情報を取得しても良い。
【００７４】
また、手術情報取得部１０９は、例えば、患者識別情報受信部１０８が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する。具体的には、患者識別情報受信部１０８が受信した患者識別情報だけを含む患者情報を有する手術環境情報を取得してもよい。また、手術情報取得部１０９は、患者識別情報受信部１０８が受信した患者識別情報を用いて、予め用意した、上述したような患者識別情報と、患者に関する情報とを対応付けて管理するデータベース等を用いて、検索により患者に関する情報を取得して、取得した情報と患者識別情報とを有する患者情報を取得し、この患者情報を有する手術環境情報を取得しても良い。
【００７５】
手術情報取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。手術情報取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７６】
蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像の、手術動的映像に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する。手術動的映像に対応する部分とは、例えば、手術動的情報を取得した際に、撮影部１０１が撮影した、あるいは、手術映像受付部１０２が受け付けた手術映像の時間的な位置である。具体的には、手術映像内のフレームや、フレームを示すタイムコード等である。蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像の、動的な変化を示す部分に、この動的な変化を示す手術動的情報を対応付けて、手術映像と手術情報とを蓄積してもよい。蓄積部１１０が蓄積する手術動的情報は、手術映像内の一部を検索したり、頭出ししたりする際に用いられるインデックス情報と考えてもよい。あるいは、検索や頭出しのためのフラグの情報と考えても良い。ここでの対応付けは、同期と考えても良い。具体的には、蓄積部１１０は、手術映像と手術情報とを後述する格納部１１１に蓄積する。蓄積部１１０は、手術映像の動的な変化を示す部分と、手術動的情報とをどのように対応付けて蓄積しても良い。例えば、手術映像の、手術動的情報が対応する時間的な位置に手術動的情報を多重化して蓄積してもよい。例えば、ＭＰＥＧ等の画像であれば、データの埋め込みが可能であるため、手術動的情報を、手術映像情報の動的変化を示す部分に埋め込むようにしても良い。例えば、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等で手術映像受付部１０２が受け付けた手術映像のフレームの識別情報や、フレーム群（例えばＧＯＰ等）の、テキスト情報等の情報を埋め込み可能な領域に、取得した手術動的情報を埋め込むようにしても良い。また、同様に、手術映像の変化が検出された部分のテキストトラック等に、取得した手術動的情報を埋め込むようにしても良い。また、手術映像の変化があった部分に対応付けて手術動的情報を埋め込む代わりに、手術映像の変化があった部分と、この変化を示す手術動的情報との対応付けを管理する管理情報等を用意し、この情報で両者の対応付けを行うようにしても良い。例えば、蓄積部１１０は、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等で手術映像受付部１０２が受け付けた手術映像のフレームや、フレーム群（例えばＧＯＰ等）の識別情報、例えばフレーム番号等と、手術情報取得部１０９が取得した手術動的情報とを対応付けて管理する管理情報を作成し、蓄積する。この管理情報は、手術映像情報と対応付けて管理しても良いし、手術映像情報内に埋め込むようにしても良い。また、例えば、蓄積部１１０は、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等の時刻を示す情報、具体的にはいわゆるタイムコードを図示しない時計や、手術映像受付部１０２が受け付けた手術映像から取得し、このタイムコードと、手術情報取得部１０９が取得した手術動的情報とを対応付けて管理する管理情報を作成し、蓄積するようにしてもよい。タイムコードは、時刻等の絶対的な時間を示す情報であっても良いし、撮影開始からの経過時間等の相対的な時間を示す情報であっても良い。この管理情報は、手術映像情報と対応付けて管理しても良いし、手術映像情報内に埋め込むようにしても良い。なお、蓄積部１１０は、手術動的情報を取得する毎に、手術映像を分割して、分割した手術映像を手術動的情報と対応付けて蓄積するようにしても良い。なお、連続した同じ手術動的情報がある場合、その最も古い手術動的情報と、最も新しい手術動的情報だけを蓄積するようにし、最も古い手術動的情報を、一の動的変化の期間の開始を示す手術動的情報とし、最も新しい手術動的情報を、一の動的変化の期間の終了を示す手術動的情報とし、蓄積するようにしてもよい。また、連続した同じ手術動的情報の最も古いものだけを蓄積してもよい。なお、手術映像受付部１０２が受け付けた手術映像が、複数である場合、各手術映像に手術動的情報を対応付けるようにしても良いし、一部、例えば一の手術映像だけに、手術動的情報を対応付けるようにしても良い。
【００７７】
また、蓄積部１１０は、手術画像を蓄積する際に、適宜エンコードしたり、デコードしたりしてもよい。
【００７８】
また、蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する。例えば、蓄積部１１０は、手術映像のファイル名等の識別情報と、手術環境情報とを対応付けて管理する管理情報を用いて、両者の対応付けを管理しても良い。また、手術環境情報を、手術映像内のテキストトラックや、コメント領域等に埋め込むようにしても良い。また、手術映像と手術環境情報とを対応付けるタイミングは問わない。
【００７９】
蓄積部１１０は、通常、ＭＰＵやメモリ等から実現され得る。蓄積部１１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８０】
格納部１１１には、１以上の手術映像と、手術情報とが対応付けて蓄積される。格納部１１１は、物理的に一の記憶媒体で構成されても複数の記憶媒体で接続されてもよい。また、格納部１１１は、ネットワーク接続された格納部であっても良い。格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００８１】
手術情報指定受付部１１２は、手術情報の指定を受け付ける。手術情報の指定とは、例えば、手術情報を検索するための検索キーとなる情報の指定である。手術情報の指定とは、手術映像と対応付けて蓄積された手術情報、あるいはその一部を指定可能な情報であればよい。ここで受け付ける手術情報の指定は、例えば、格納部１１１に蓄積された手術映像内の位置を検索するために用いられる検索キー等と考えても良い。ここでの位置は、手術映像内の時間的な位置であり、手術映像内の期間と考えても、一点と考えても良い。また、ここでの位置は、時間軸上の位置や、手術映像のタイムライン上の位置や、時刻や時間と考えても良い。また、手術映像内のフレームと考えても良い。例えば、手術情報指定受付部１１２は、手術情報として蓄積され得る情報の１以上を受け付ける。手術情報の指定は、手術動的情報の指定であっても、手術環境情報の指定であっても、その両方を含むものであっても良い。ここで手術情報指定受付部１１２が受け付ける手術情報の指定は、少なくとも、１以上の手術動的情報の指定を含むものであることが好ましい。手術情報の指定は、例えは、キーワードであっても良い。また、この手術情報の指定は、手術情報の条件を指定する情報と考えても良い。この手術情報は、上述した手術動的情報として用いられる情報の１以上であっても良いし、手術環境情報として用いられる情報の１以上であっても良い。また、手術動的情報が、数値のデータ等を有している場合、そのデータの値の範囲や大小等を指定する情報であっても良い。あるいは、手術情報の指定は、時系列に沿って蓄積された予め指定された手術動的情報のうちの、蓄積された順番を指定する情報であっても良い。ここでの予め指定された手術動的情報は、全ての手術動的情報であっても良いし、予め指定された属性を有する手術動的情報であっても良いし、一部の手術動的情報を除外した手術動的情報であっても良い。例えば、蓄積された順番が最も古い手術動的情報を指定する情報であっても良い。また、ある手術動的情報の、次に古い手術動的情報や、一つ新しい手術動的情報を指定する情報であっても良い。なお、ここでの予め指定された手術動的情報は、全ての手術動的情報であっても良いし、予め指定された属性を有する手術動的情報であっても良いし、一部の手術動的情報を除外した手術動的情報であっても良い。また、一覧等で表示された手術情報から、所望の手術情報を直接指定しても良い。
【００８２】
手術情報の指定を入力する手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。手術情報指定受付部１１２は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００８３】
手術映像検索部１１３は、手術情報指定受付部１１２が受け付けた手術情報に対応付けられた手術映像を検索する。具体的には、格納部１１１に手術映像と対応付けて蓄積された手術情報から、手術情報指定受付部１１２が受け付けた手術情報の指定が示す手術情報を検出し、検出した手術情報と対応付けられた手術映像を検出する。特に、手術情報指定受付部１１２が受け付けた手術情報の指定が、手術動的情報の指定を含む場合、この指定が示す手術動的情報と対応付けられた手術映像内の時間的な位置、例えばフレーム等を検出する。例えば、手術情報の指定が、文字列である場合、手術動的情報は、この文字列と一致する手術動的情報を検出し、検出した手術動的情報と対応付けられた手術映像内の時間的な位置を検出する。ここでの一致は、完全一致であっても部分一致であっても良い。例えば、手術情報の指定が、一の手術映像について、手術動的情報である「はさみ」を指定する情報であれば、「はさみ」と一致する手術動的情報と対応付けられた時間的な位置を、一の手術映像内で検出する。また、手術情報指定受付部１１２が受け付けた手術動的情報の指定が、手術動的情報の蓄積された順番を指定するものである場合、指定された順番の手術動的情報と対応付けられた手術映像の位置、例えばフレームを検索する。例えば、蓄積された順番がもっともの古い手術動的情報を指定する情報を受け付けた場合、最も古い手術動的情報と対応付けられた手術映像の時間的な位置、例えばフレーム等を検索する。ある手術動的情報の次の手術動的情報を指定するものである場合、ある手術動的情報の次に古い手術動的情報に対応付けられた手術映像の時間的な位置、例えばフレーム等を検出する。また、手術情報の指定が、手術動的情報の値の範囲等の条件を指定する情報である場合、この条件を満たす値を有する手術動的情報と対応付けられた手術映像内の時間的な位置を検出しても良い。なお、ここでの検索は、何らかの手術動的情報が付加されている時間的な位置を検出すること、例えば、内容を問わずインデックスとなる手術動的情報が付加されている位置や、手術中に取得された情報等が変化した位置を示すフラグを検出すること等も検索と考える。
【００８４】
手術映像検索部１１３は、通常、ＭＰＵやメモリ等から実現され得る。手術映像検索部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８５】
出力部１１４は、手術映像検索部１１３が検索した手術映像を出力する。具体的には、手術映像検索部１１３が検索した手術映像内の時間的な位置から手術映像を読み出し、出力する。手術映像を出力する際に、手術映像のデコード等を適宜行って良い。ここでの出力は、モニタ等を用いた手術映像の表示や、手術映像の情報を他の機器等に、ネットワーク等を介して送信することを含む概念である。
【００８６】
出力部１１４は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００８７】
なお、上記の説明では省略したが、音声取得部１０５が取得した手術音声を、手術映像と同期させて、蓄積部１１０が格納部１１１に蓄積するようにしても良い。また、出力部１１４は、手術映像を出力する際に、この手術映像に同期された手術音声を読み出して出力しても良い。
【００８８】
次に、手術映像蓄積装置１の動作の一例について図４のフローチャートを用いて説明する。
【００８９】
（ステップＳ４０１）手術映像蓄積装置１は、図示しない受付部等を介して、手術映像を取得して蓄積する指示をユーザ等から受け付けたか否かを判断する。受け付けた場合、ステップＳ４０２に進み、受け付けていない場合、ステップＳ４２５に進む。
【００９０】
（ステップＳ４０２）医師識別情報受信部１０７は、医師識別情報を受信したか否かを判断する。受信した場合、ステップＳ４０３に進み、受信していない場合、ステップＳ４０４に進む。
【００９１】
（ステップＳ４０３）手術情報取得部１０９は、ステップＳ４０２において受信した医師識別情報を含む医師情報を取得する。取得した医師情報は、図示しない記憶媒体等に一時記憶する。そしてステップＳ４０４に進む。
【００９２】
（ステップＳ４０４）患者識別情報受信部１０８は、患者識別情報を受信したか否かを判断する。受信した場合、ステップＳ４０５に進み、受信していない場合、ステップＳ４０６に進む。
【００９３】
（ステップＳ４０５）手術情報取得部１０９は、ステップＳ４０４において受信した患者識別情報を含む患者情報を取得する。取得した患者情報は、図示しない記憶媒体等に一時記憶する。そして、ステップＳ４０６に進む。
【００９４】
（ステップＳ４０６）手術映像受付部１０２は、手術映像を受け付けたか否かを判断する。手術映像受付部１０２は、例えば、撮影部１０１が取得する一連の手術映像を、フレーム単位や秒単位等で手術映像を受け付ける。受け付ける手術映像は、例えば、直前に受け付けた手術映像の続きのフレームにより構成される手術映像である。なお、この判断処理は、予め指定された時間間隔で行うようにしても良い。例えば、手術映像を受け付けるタイミングであるか否かを判断し、受け付けるタイミングになった時点で、手術映像を受け付けたか否かを判断して良い。受け付けた場合、受け付けた手術映像を、図示しない記憶媒体等に一時記憶して、ステップＳ４０７に進み、受け付けていない場合、ステップＳ４２４に進む。なお、図示しない記憶媒体等に一時記憶する代わりに、蓄積部１１０が格納部１１１に直接蓄積するようにしてもよい。
【００９５】
（ステップＳ４０７）機器操作情報受付部１０３は、機器操作情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ４０８に進み、受け付けていない場合、ステップＳ４０９に進む。
【００９６】
（ステップＳ４０８）手術情報取得部１０９は、機器操作についての手術動的情報を取得する。例えば、ステップＳ４０７において受け付けた機器操作情報に含まれる機器の識別情報を含む手術動的情報を取得する。そして、図示しない記憶媒体等に一時記憶する。
【００９７】
（ステップＳ４０９）手術情報取得部１０９は、ステップＳ４０６で受け付けた手術映像を用いて、手術器具の情報を取得する処理を行う。具体的には、ステップＳ４０６で受け付けた手術映像について、予め図示しない記憶媒体等に用意した、１以上の手術器具の画像と類似する画像を、パターンマッチング等の画像認識処理により検索する。そして、類似する画像、即ち類似度が高い画像が検出された場合、この手術器具の画像に対応付けて予め用意しておいた手術器具の情報、例えば手術器具名を取得する。なお、手術器具のいずれかの画像と類似する画像が、手術映像内において検出できなかった場合、手術器具の情報を取得しない。
【００９８】
（ステップＳ４１０）手術情報取得部１０９は、ステップＳ４０９において、手術器具の情報を取得したか否かを判断する。取得した場合、ステップＳ４１１に進み、取得していない場合、ステップＳ４１２に進む。
【００９９】
（ステップＳ４１１）手術情報取得部１０９は、手術器具についての手術動的情報を取得する。例えば、ステップＳ４０９で取得した手術器具の情報を含む手術動的情報を取得する。
【０１００】
（ステップＳ４１２）機器出力情報受付部１０４は、機器出力情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ４１３に進み、受け付けていない場合、ステップＳ４１６に進む。ここでは、機器出力情報は、手術室内の機器が出力する測定結果等のデータであるとする。
【０１０１】
（ステップＳ４１３）手術情報取得部１０９は、ステップＳ４１２で受け付けた機器出力情報を、手術動的情報として取得する。取得した手術動的情報は、図示しない記憶媒体等に一時記憶する。
【０１０２】
（ステップＳ４１４）手術情報取得部１０９は、ステップＳ４１２で受け付けた機器出力情報が予め指定された範囲内の情報であるか否かを判断する。例えば、機器出力情報に含まれる機器識別情報と対応付けて予め用意されたしきい値と比較して、しきい値以上であるか否かを判断し、しきい値以上であれば、予め指定された範囲内の情報であると判断する。あるいは、しきい値以下であるか否かを判断しても良い。予め指定された範囲内の情報である場合、ステップＳ４１５に進み、範囲内の情報でない場合、ステップＳ４１６に進む。
【０１０３】
（ステップＳ４１５）手術情報取得部１０９は、機器出力情報が予め指定された範囲内の情報となったことを示す手術動的情報を取得する。例えば、機器出力情報に含まれる機器識別情報や、この機器識別情報に対応付けて用意された情報（例えば異常等）を含む手術動的情報を取得する。そして、取得した手術動的情報は、図示しない記憶媒体等に一時記憶する。そして、ステップＳ４１６に進む。
【０１０４】
（ステップＳ４１６）手術音声受付部１０６は、手術音声を受け付ける。受け付けた手術音声は、図示しない記憶媒体等に一時記憶する。
【０１０５】
（ステップＳ４１７）手術情報取得部１０９は、ステップＳ４１６で受け付けた手術音声について、特徴を検出する処理を行う。例えば、手術音声の大きさ、即ち音量レベルが、予め指定されたしきい値以上であるか否かを判断する。そして、しきい値以上であれば、音量レベルについての特徴があることを検出する。あるいは、手術音声に特定のフレーズが含まれているか否かを音声認識処理により判断し、含まれている場合、フレーズについて特徴があることを検出する。
【０１０６】
（ステップＳ４１８）手術情報取得部１０９は、ステップＳ４１７で手術音声について特徴が検出されたか否かを判断する。特徴が検出された場合、ステップＳ４１９に進み、特徴が検出されなかった場合、ステップＳ４２０に進む。
【０１０７】
（ステップＳ４１９）手術情報取得部１０９は、手術音声の特徴についての手術動的情報を取得する。
【０１０８】
（ステップＳ４２０）手術情報取得部１０９は、手術中の照明の変化を検出する処理を行う。例えば、ステップＳ４０６で受け付けた手術映像と、直前に蓄積部１１０が蓄積した手術映像との、輝度の平均値や、画像の最も明るい部分の色温度等をそれぞれ算出して比較し、その差の絶対値が、予め指定された値以上であるか否かを判断し、値以上であれば、照明が変化したと判断する。
【０１０９】
（ステップＳ４２１）手術情報取得部１０９は、照明の変化が検出されたか否かを判断する。照明の変化が検出された場合、ステップＳ４２２に進み、検出されなかった場合、ステップＳ４２３に進む。
【０１１０】
（ステップＳ４２２）手術情報取得部１０９は、照明の変化について手術動的情報を取得する。
【０１１１】
（ステップＳ４２３）蓄積部１１０は、手術情報取得部１０９がステップＳ４０３で取得した医師情報およびステップＳ４０５で取得した患者情報とを含む手術環境情報と、手術情報取得部１０９がステップＳ４０８、ステップＳ４１１、ステップＳ４１３、ステップＳ４１５、ステップＳ４１９、およびステップＳ４２２で取得した手術動的情報と、ステップＳ４０６で受け付けた手術映像とを対応付けて、格納部１１１に蓄積する。手術情報が取得できなかった場合、手術情報を除いて手術映像を蓄積する。なお、ここでの手術情報の蓄積は、手術情報の手術映像に対する多重化であっても良い。そして、ステップＳ４０２に戻る。
【０１１２】
（ステップＳ４２４）手術映像受付部１０２は、最後に手術映像を受け付けてから予め指定した所定の時間が経過したか否かを判断する。所定の時間経過した場合、ステップＳ４０１に戻り、経過していない場合、ステップＳ４０６に戻る。なお、この処理を行う代わりに、手術映像の受付を終了する指示を、図示しない受付部等が受け付けたか否か等の判断を行うようにしても良い。
【０１１３】
（ステップＳ４２５）手術情報指定受付部１１２は、手術情報の指定を受け付けたか否かを判断する。受け付けた場合、ステップＳ４２６に進み、受け付けていない場合、ステップＳ４０６に戻る。
【０１１４】
（ステップＳ４２６）手術映像検索部１１３は、ステップＳ４２５で受け付けた手術情報の指定に対応する手術映像内の、手術情報の指定に対応する時間的な位置を検索する。具体的には、手術情報の指定に含まれる手術環境情報の指定に対応する手術環境情報と対応付けられた手術映像内において、手術情報の指定に含まれる手術動的情報の指定に対応する手術動的情報と対応付けられた時間的な位置を検出する。ここでの手術映像内の時間的な位置は、手術映像内の手術動的情報と対応付けられたフレームと考えてもよい。あるいは、始点と終点を有する範囲であっても良い。また、ここでの位置は、時間軸上の位置や、時間と考えても良い。
【０１１５】
（ステップＳ４２７）出力部１１４は、ステップＳ４２６で検索した手術映像内の時間的な位置から順次読み出して出力する。そして、ステップＳ４０１に戻る。
【０１１６】
なお、図４のフローチャートにおいて、手術情報取得部１０９は、例えば１秒間隔や、複数フレーム間隔等の所定の時間間隔で、手術動的情報等の手術情報を取得する処理を行うようにしても良い。
【０１１７】
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１１８】
以下、本実施の形態の具体例について説明する。
【０１１９】
図５は、本実施の形態の手術映像蓄積装置１を有する手術映像蓄積システムの概略図である。ここでは、手術映像蓄積システムを設置した手術室４００内の状況を模式的に示している。撮影部１０１は、ここでは患者の手術箇所を撮影するカメラであるとする。また、音声取得部１０５は手術室４００内に設置されたマイクロフォンであるとする。内視鏡５１０は、内視鏡５１０の動作を制御したり、内視鏡５１０が出力する情報の入力インターフェースとして機能する制御装置５１１と、内視鏡の映像を表示するモニタ５１２とに接続されて、内視鏡システムを構成している。この内視鏡システムは、図２に示した機器に相当する。制御装置５１１は、手術映像蓄積装置１と接続されており、内視鏡５１０に対して、医師が予め指定された操作を行うと、この操作を示す情報が、制御装置５１１から、手術映像蓄積装置１に対して送信される。また、手術映像蓄積装置１は、患者の心拍数を測定する心拍計５００と接続されている。心拍計５００は、図３に示した機器に相当する。
【０１２０】
また、手術室内の医師には医師識別情報が格納された端末が装着されており、同様に、手術室内には，患者に装着されていた、患者識別情報を有する端末が持ち込まれているものとする。
【０１２１】
図６は、医師および患者に装着された端末を示すための図である。端末５２１および端末５２２は、パッシブ型のＲＦＩＤタグが埋め込まれたカード型の端末である。端末５２１は、医師識別情報が格納された端末であり、医師５２３が装着している。端末５２１に格納されている医師識別情報は、ここでは、例として「ＤＲ１００１２」であるとする。また、端末５２２は、患者識別情報が格納された端末であり、患者５２４が装着している。端末５２２に格納されている患者識別情報は、ここでは、例として「ＰＴ５００３３」であるとする。ただし、手術中は、邪魔になるため、取り外されていても良い。ここでは、一例として、これらのカード型端末５２１および端末５２２の表面には、医師５２３や患者５２４の名前が記載されており、医師５２３や患者５２４の名札を兼用しているものとする。
【０１２２】
図５に示した手術室４００の入口には、医師および患者に装着された端末５２１および端末５２２から送信される医師識別情報および患者識別情報を受信するための、アンテナと一体化されたＲＦＩＤタグリーダライタ５２０が設置されている。
【０１２３】
なお、ここでは、一例として、手術情報取得部１０９は、手術映像受付部１０２が受け付ける手術映像に含まれるタイムコードが示す１秒間隔で、手術情報を取得する処理を行うものとする。例えば、タイムコードが示すフレーム数の値が「０１」となった時点、例えば「００：１２：１１．０１」となった時点で、手術情報を取得する処理を行うものとする。なお、ここでのタイムコードは、「時：分：秒．フレーム」を示すものとする。また、フレームを省略する場合は、「時：分：秒」となる。
【０１２４】
まず、手術中の映像を記録するために、手術映像蓄積装置１に対して、ユーザが、手術映像を蓄積する指示を与えたとすると、手術映像蓄積装置１は、撮影部１０１は手術映像の撮影を開始する。手術映像受付部１０２は、撮影部１０１が出力する手術映像の受け付を開始する。そして、蓄積部１１０は、手術映像受付部１０２が受け付けた手術映像を、順次、格納部１１１に蓄積する。
【０１２５】
また、音声取得部１０５は、手術中の音声の取得を開始する。手術音声受付部１０６は、音声取得部１０５が取得した手術音声の受け付けを開始する。ここでは、一例として、蓄積部１１０は、手術音声受付部１０６が受け付けた手術音声を上述した手術映像と同期させて、順次格納部１１１に蓄積する。
【０１２６】
次に、医師および患者が手術室４００に入出する際に、医師および患者の端末５２１および端末５２２をＲＦＩＤタグリーダライタ５２０のアンテナにかざすと、ＲＦＩＤタグリーダライタ５２０が端末５２１および端末５２２にそれぞれ格納されている医師識別情報および患者識別情報を読み出し、手術映像蓄積装置１に送信する。手術映像蓄積装置１の医師識別情報受信部１０７は、ＲＦＩＤタグリーダライタ５２０から送信される医師識別情報を受信する。ここでは、例えば、医師識別情報「ＤＲ１００１２」を受信する。また、手術映像蓄積装置１の患者識別情報受信部１０８は、ＲＦＩＤタグリーダライタ５２０から送信される患者識別情報を受信する。ここでは、例えば、患者識別情報「ＰＴ５００３３」を受信する。
【０１２７】
手術情報取得部１０９は、医師識別情報受信部１０７が受信した医師識別情報を含む医師情報を取得する。ここでは、医師識別情報「ＤＲ１００１２」そのものを医師情報として取得するものとする。
【０１２８】
また、手術情報取得部１０９は、患者識別情報受信部１０８が受信した患者識別情報を含む患者情報を取得する。ここでは、患者識別情報「ＰＴ５００３３」そのものを患者情報として取得するものとする。
【０１２９】
そして、蓄積部１１０は、手術映像受付部１０２が受け付けた手術映像を、医師情報および患者情報を含む手術環境情報と対応付けて格納部１１１に蓄積する。ここでは例として、手術環境情報は、手術映像の各フレームに対応付けられるのではなく、手術映像全体に対して対応付けられるものとする。例えば、手術映像のファイルを、医師情報および患者情報を含む手術環境情報と対応付けて蓄積する。
【０１３０】
図７は、撮影部１０１が撮影した手術映像、即ち、手術映像受付部１０２が受け付ける手術映像を模式的に示す図である。手術映像は、複数のフレームにより構成されており、ここでは、各フレームにタイムコードが付与されているものとする。ここでのタイムコードは、手術映像が撮影された日時を示すものであるとする。例えば、手術映像受付部１０２は、図７に示したような手術映像の、１フレームや複数フレームの画像を順次受け付ける。
【０１３１】
ここで、例えば、医師が、内視鏡５１０を使用するために、内視鏡システムを構成する制御装置５１１、モニタ５１２、および内視鏡５１０に電源を投入し、内視鏡５１０を使用可能な状態にしたとする。内視鏡システムの制御装置５１１は、内視鏡５１０に電源が投入されたことを検出して、内視鏡５１０に電源が投入されたことを示す機器操作情報、例えば、機器の操作を識別する操作識別情報「電源ＯＮ」と、内視鏡５１０の機器識別情報「内視鏡ＥＳ００２」を手術映像蓄積装置１に送信する。
【０１３２】
手術映像蓄積装置１の機器操作情報受付部１０３は、内視鏡システムの制御装置５１１から送信される機器操作情報を受け付け、受け付けた機器操作情報を図示しない記憶媒体等に一時記憶する。
【０１３３】
図８は、機器操作情報受付部１０３が受信して一時記憶した機器操作情報の一例を示す図である。機器操作情報は、「機器ＩＤ」と「操作ＩＤ」という項目を有している。「機器ＩＤ」は、操作を受け付けた機器の識別情報である。また、「操作ＩＤ」は、機器に対して行われた操作を識別するための操作識別情報である。
【０１３４】
手術情報取得部１０９は、図８に示すような機器操作情報受付部１０３が受け付けた機器操作情報を含む手術動的情報を取得する。なお、ここでは、取得する手術動的情報は、図８に示すような機器操作情報をテキストで表した情報、例えば「内視鏡ＥＳ００２：電源ＯＮ」であるとする。
【０１３５】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「内視鏡ＥＳ００２：電源ＯＮ」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。なお、ここでの対応付けは、手術映像の、手術動的情報を取得した際に受け付けたフレームに対応したテキストトラックに、手術動的情報を配置することであっても良いし、手術動的情報を取得した際に受け付けたフレームに対応したタイムコードや、フレームに割り当てられたフレーム番号等と対応付けた手術動的情報を、手術映像と対応付けて蓄積することであっても良い。ここでは、特に、１秒単位で手術動的情報を取得する処理を行っているため、フレーム数を省略したタイムコードと手術動的情報とを対応付けるようにしても良い。
【０１３６】
また、手術情報取得部１０９は、手術映像受付部１０２が順次受け付ける手術映像に対して、順次、手術器具の情報を取得する処理を行う。
【０１３７】
図９は、予め指定された手術器具の主要部の静止画像を管理する手術器具画像管理情報である。手術器具画像管理情報は、例えば、図示しない記憶媒体等に蓄積されている。手術器具画像管理情報は、「器具画像」および「器具ＩＤ」という項目を有している。「器具画像」は、手術器具の主要部を示す画像情報である。画像情報のデータ形式等は問わない。「器具ＩＤ」は、手術器具の器具名等の識別情報である。ここでは、器具の名称であるとする。
【０１３８】
図１０は、手術映像受付部１０２が受け付けた手術映像の１フレームの一例を示す図である。
【０１３９】
手術情報取得部１０９は、図９に示す「器具画像」の情報を、順次読み出し、図１０に示すような手術映像受付部１０２が受け付けた手術映像の１フレームについて、図９に示す「器具画像」と適合する画像を検出する画像認識処理、例えばパターンマッチング等を行う。そして、適合する「器具画像」が検出された場合、この「器具画像」に対応付けられた「器具ＩＤ」の値を読み出す。
【０１４０】
例えば、画像認識処理により、図１０に示す手術映像の１フレームの領域９１内に、図９に示した「器具ＩＤ」が「メス」である「器具画像」と適合する画像が検出されたとする。手術情報取得部１０９は、この「器具画像」に対応する「器具ＩＤ」である「メス」を手術器具画像管理情報から読み出し、予め用意された「手術器具：」という文字列を先頭に付加することで、手術動的情報である「手術器具：メス」を取得する。
【０１４１】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「手術器具：メス」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１４２】
また、ここでは、心拍計５００は、患者の心拍数を随時取得しており、取得した心拍数の値と、心拍計５００自身の機器の識別情報とを対応付けた情報である機器出力情報を、予め指定されたタイミング、例えば心拍数の値が取得されたタイミング等で、出力するものであったとする。そして、例えば、心拍計５００は、ある出力タイミングで、心拍数「４２」と、心拍計５００の機器識別情報である「心拍計ＨＢ５００１」とを組み合わせた情報を出力したとする。
【０１４３】
機器出力情報受付部１０４は、心拍計５００から送信される機器出力情報を受け付け、受け付けた機器出力情報を、図示しない記憶媒体等に一時記憶する。
【０１４４】
図１１は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報の一例を示す図である。機器出力情報は、「機器ＩＤ」と「出力値」という項目を有している。「機器ＩＤ」は、機器出力情報を出力した機器の識別情報である。また、「出力値」は、機器出力情報を出力した機器が出力する値、例えば測定値や、測定値を用いて算出した値等である。
【０１４５】
手術情報取得部１０９は、まず、機器出力情報受付部１０４が受信して一時記憶した機器出力情報を、手術動的情報の一つとして取得する。具体的には、機器出力情報に含まれる「出力値」を、「機器ＩＤ」が示す機器の出力値として取得する。つまり「心拍計ＨＢ５００１」の出力値、即ち心拍数が「４２」であることを示す手術動的情報「心拍計ＨＢ５００１：４２」を取得する。
【０１４６】
さらに手術情報取得部１０９は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報の「出力値」が、機器出力情報に含まれる「機器ＩＤ」と対応付けて予め用意された異常値を検出するための条件を満たすか否かを判断する。例えば、ここでは、「機器ＩＤ」が「心拍計」という文字列を含む機器の出力値の異常を判断するための条件として、「出力値が５０以下である」、という条件が予め図示しない記憶媒体等に用意されていたとすると、手術情報取得部１０９は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報に含まれる「機器ＩＤ」である「心拍計ＨＢ５００１」を読み出し、この「心拍計ＨＢ５００１」が部分一致する「機器ＩＤ」と対応付けられた条件として、「心拍数」という文字列を含む「機器ＩＤ」と対応付けられた、「出力値が５０以下である」という条件を記憶媒体等から検索により読み出す。そして、機器出力情報に含まれる出力値の値が、「５０」以下であるか否かを判断する。ここでは、機器出力情報に含まれる「出力値」は「４２」で「５０」以下であると判断される。これにより、手術情報取得部１０９は、機器出力情報に含まれる「機器ＩＤ」が「心拍計ＨＢ５００１」である機器の「出力値」が異常であると判断する。そして、予め上述した条件等と対応付けて用意された、判断結果が「異常」である場合に用意された文字列を、図示しない記憶媒体等から読み出す。例えば、読み出す文字列は、「心拍数：異常」である。手術情報取得部１０９は、この文字列を、手術動的情報として取得する。なお、「出力値」が「機器ＩＤ」と対応付けられた条件を満たさない場合、この「出力値」の値だけを手術動的情報として取得する。
【０１４７】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「心拍計ＨＢ５００１」の出力値「４２」と、「心拍数：異常」とを、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。なお、手術動的情報「心拍数：異常」が取得できなかった場合、手術動的情報の一つである「心拍計ＨＢ５００１」の出力値「４２」だけを、手術映像のフレームと対応付けて格納部１１１に蓄積する。
【０１４８】
図１２は、手術音声受付部１０６が受け付けた手術音声を示す模式図である。
【０１４９】
手術情報取得部１０９は、手術映像受付部１０２が手術映像（例えば手術映像のフレーム等）を受け付けた際に、手術音声受付部１０６が受け付けた手術音声から、音声認識処理等により、予め指定された条件を示す音声を検出する処理を行う。例えば、ここでは、異常が発生したことを示す音声を検出するために、予め指定された音量よりも大きな音量の音声が出力されたか否かを判断する。具体的には、８０ｄＢ異常の音の大きさが出力されたか否かを判断する。通常、異常時には、人間の声は大きくなると考えられるため、音声の大きさで、異常が発生したか否かを判断する。
【０１５０】
例えば、手術映像を受け付けた際の手術音声の大きさが、「９２ｄＢ」であったとすると、手術情報取得部１０９は、この手術音声が、異常が発生したことを示す音声であると判断する。そして、上記の予め指定された条件と対応付けて予め用意された文字列である「音声：異常」を手術動的情報として取得する。
【０１５１】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「音声：異常」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１５２】
また、手術情報取得部１０９は、手術映像受付部１０２が新たな手術映像を受け付けた場合に、この新たに受け付けた手術映像のフレームと、その直前に受け付けた手術映像のフレームとを比較して照明の変化を検出する。例えば、比較する手術映像のフレームを構成する画素の平均輝度をそれぞれ算出して、その差が、予め指定された値以上であるか否かによって、照明が追加されたか否かを判断する。手術映像受付部１０２が受け付けた手術映像の直前に受け付けた手術映像は、格納部１１１から読み出しても良いし、予め直前に蓄積した手術映像と同じ手術映像を比較用にメモリ等の記憶媒体に保存しておくようにし、この手術画像を読み出しても良い。
【０１５３】
図１３は、手術映像から照明を検出する処理を説明するための、手術映像を示す図である。図１３（ａ）は、手術映像受付部１０２が受け付けた新たな手術映像のフレーム、図１３（ｂ）は、手術映像受付部１０２が直前に受け付けた手術映像のフレームである。
【０１５４】
例えば、図１３（ａ）の手術映像のフレームから算出した画素の平均輝度の値が、「１７８」、図１３（ｂ）の手術映像のフレームから算出した画素の平均輝度の値が、「１２０」であったとする。但し、ここでの平均輝度の値は、「０」から「２５６」までの間であるとする。この場合、平均輝度の差は、１７８−１２０＝５８となる。そして、この差が、照明を追加したことを示す値「３０」以上であるか否かを検出する。ここでは、差が「３０」以上であるため、照明が追加されたこととなる。このため、差が「３０」以上である場合に取得される手術動的情報として予め用意された「照明変化：追加」という手術動的情報を、手術情報取得部１０９が取得する。
【０１５５】
なお、一の画像内の、予め指定された領域の平均輝度の差や任意の位置の輝度の差が、予め指定された値以上であるか否かを検出し、予め指定された値以上である場合に、例えばスポットライトが点灯されたこと等を示す手術動的情報を取得するようにしても良い。
【０１５６】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「照明変化：追加」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１５７】
以上のように、手術環境情報および手術動的情報を取得する処理およびこれらの手術環境情報および手術動的情報を含む手術情報を、手術映像と対応付けて蓄積する処理を繰り返し行うことで、手術情報と対応付けた手術映像を、格納部１１１に蓄積することができる。
【０１５８】
なお、この具体例においては、手術情報取得部１０９が一の手術動的情報を取得する毎に、蓄積部１１０が、手術映像受付部１０２が受け付けた手術映像と手術動的情報とを対応付けて蓄積するように説明しているが、実際には、手術映像受付部１０２が手術映像（例えばフレーム）を受け付けた直後にほぼ同時に取得された複数の手術動的情報を、同時に、手術映像受付部１０２が受け付けた手術映像（例えばフレーム）と対応付けて蓄積するようにしてよい。
【０１５９】
ここで、格納部１１１に蓄積された手術映像と手術情報とが、対応関係を管理する管理情報を用いて管理されている場合の一例を示す。
【０１６０】
図１４は、格納部１１１に蓄積された手術映像と手術情報とを対応付けて管理する手術情報管理情報を示す図である。手術情報管理情報は、「手術映像」と、「ファイル名」と、「作成日」と、「手術環境情報」と、「手術動的情報ファイル」という項目を有している。「手術環境情報」は、更に「医師情報」および「患者情報」という項目を有している。「手術映像」は、蓄積された手術映像である。なお、手術映像には、タイムコードが埋め込まれている、もしくは対応付けられているものとする。「ファイル名」は手術映像のファイル名であり、例えば、予め用意された文字列と、連番や日付との組合せ等が用いられる。ここでは、一例として、一の手術中に取得された手術映像が一のファイルを構成するものとする。「作成日」は、手術映像のファイルが作成された最新の日付である。「医師情報」は、手術情報取得部１０９が取得した医師情報である。「患者情報」は、手術情報取得部１０９が取得した患者情報である。また、「手術動的情報」は、格納部１１１に蓄積された手術映像と、手術情報取得部１０９が取得した手術動的情報との対応関係を管理する手術動的情報管理ファイルのファイル名である。
【０１６１】
手術映像は、図１４に示す手術情報管理情報によって、医師情報および患者情報を含む手術環境情報と対応付けて管理されている。また、手術映像と、当該手術映像に関して取得された手術動的情報とは、手術動的情報管理ファイルにより管理されている。
【０１６２】
図１５は、格納部１１１に蓄積された手術映像と、手術動的情報との対応関係を管理する手術動的情報管理ファイルを示す図である。この手術動的情報管理ファイルは、図１４における「ファイル名」が「ＯＰ００１」である手術映像と対応付けられた手術動的情報管理ファイル「ＯＰ００１＿ＭＦ」であるとする。手術動的情報管理ファイルは、「タイムコード」と、「手術動的情報」とを有する。「タイムコード」は、手術映像のタイムコードに同期したタイムコードであり、手術情報取得部１０９が手術動的情報を取得した際に、手術映像受付部１０２が受け付けていた手術映像のフレームに対応付けられたタイムコードである。ここでは、手術動的情報を取得する処理が、１秒間隔で行われているため、ここに蓄積されているタイムコードはフレーム数を省略したものを用いてる。「手術動的情報」は、手術情報取得部１０９が取得した手術動的情報である。ここでは、様々な手術動的情報の同じタイムコードと対応付けられたもの同士を、まとめて表示しているが、取得の仕方が異なる手術動的情報を異なる項目で管理するようにしても良い。
【０１６３】
なお、図１４および図１５においては、手術動的情報を、手術動的情報管理ファイルを用いて、手術映像と対応付けて管理する例を示したが、手術動的情報を、この手術動的情報が取得された際に手術映像受付部１０２が受け付けていた手術映像（フレーム）のテキスト等のデータを配置できる領域や、このフレームと対応した手術映像ファイルのテキストトラック上の時間的な位置に、配置するようにしても良い。
【０１６４】
図１６は、フレームのデータ領域に手術動的情報が配置された手術映像ファイルの一例を示す模式図である。即ち、手術動的情報が多重化された手術映像ファイルの一例を示す図である。図において、映像領域１５０には、手術映像が配置されており、データ領域１５１には、手術映像のフレームと対応付けて手術動的情報が配置されている。また、タイムコード領域１５２には、各フレームのタイムコードが配置されている。なお、ここでは、説明の便宜上、１秒間隔でフレームの画像を示しているが、通常は、フレーム間にも複数のフレームが存在しており、手術動的情報は、１秒間隔内のフレームのうちの少なくとも一つ、例えば、各秒の最初のフレーム等と対応付けられている。
【０１６５】
ここで、手術映像を取得する処理の終了後に、手術映像を検索して表示する処理を行う場合について説明する。
【０１６６】
図１７は、手術映像を検索するための検索条件を入力する入力画面を示す図である。
【０１６７】
まず、例えば医師識別情報が「ＤＲ１００１２」である医師が、患者識別情報が「ＰＴ５００３３」である患者に対して行った手術内容の映像の、主要な部分を編集してまとめるために、まず主要な部分の映像を確認しようとしたとする。
【０１６８】
まず、医師は、図１７に示すような入力画面１６０をモニタ等に表示させ、医師情報を指定するためのフィールド１６１および患者情報を指定するためのフィールド１６２に医師識別情報「ＤＲ１００１２」および患者識別情報「ＰＴ５００３３」をそれぞれ入力し、検索ボタン１６３をマウス等を操作して押したとする。
【０１６９】
検索ボタン１６３が押されると、手術情報指定受付部１１２は、フィールド１６１およびフィールド１６２にそれぞれ入力された医師識別情報「ＤＲ１００１２」および患者識別情報「ＰＴ５００３３」を受け付ける。
【０１７０】
手術映像検索部１１３は、図１４に示した手術情報管理情報において、手術情報指定受付部１１２が受け付けた医師情報の指定である「ＤＲ１００１２」と一致する「医師情報」を有し、かつ手術情報指定受付部１１２が受け付けた患者情報の指定である「ＰＴ５００３３」と一致する「患者情報」を有するレコードを検出し、検出したレコードのファイル名と、プレビュー画像を取得する。プレビュー画像として、例えば、手術映像のうちの、予め指定された手術動的情報と対応付けられたフレームの画像を取得するものとする。予め指定された手術動的情報は、ここでは、「手術器具：」という文字列、「異常」という文字列、「照明変化：」という文字列のいずれかを含む手術動的情報であるとする。プレビュー画像はサムネイル画像と考えてもよい。
【０１７１】
ここでは、例えば、「ＤＲ１００１２」と一致する「医師情報」を有し、かつ「ＰＴ５００３３」と一致する「患者情報」を有するレコードが検出され、そのファイル名が、「ＯＰ００１」であったとする。手術映像検索部１１３は、このファイル名「ＯＰ００１」と、この手術映像に対応付けられた手術動的情報のうちの、「手術器具：」という文字列、「異常」という文字列、「照明変化：」という文字列のいずれかを含む手術動的情報を検索し、検出した手術動的情報と対応付けられたフレームの画像を取得する。
【０１７２】
出力部１１４は、手術映像検索部１１３が検出したファイル名「ＯＰ００１」と、手術映像検索部１１３が検出したフレームの画像を格納部１１１から読み出し、マトリクス状に並べてモニタ等に表示する。なお、読み出したフレームと対応付けられたタイムコードや、手術動的情報も読み出して、表示しても良い。
【０１７３】
さらに、検索した手術映像において、医師が、心拍数に異常が生じた箇所と、メスを持った箇所の手術映像だけを閲覧したいと考え、図１７と同様の検索のための入力画面を表示させ、手術動的情報を絞り込むための条件を指定するフィールドである動的条件フィールド１６５に「心拍数：異常、メス」という文字列を入力したとする。なお、「、」は、ＯＲ条件であることを示す文字列であるとする。そして、検索ボタン１６３をマウス等を操作して押したとする。
【０１７４】
検索ボタン１６３が押されると、手術情報指定受付部１１２は、動的条件フィールド１６５に入力された情報を、手術動的情報を絞り込むための条件として受け付ける。
【０１７５】
手術映像検索部１１３は、先に検出したファイル名が「ＯＰ００１」である手術映像に対応付けられた、図１５に示すような手術動的情報管理ファイルにおいて、「心拍数：異常」または「メス」のいずれかと部分一致する「手術動的情報」を有するレコードを検出し、検出したレコードのタイムコードを取得する。ただし、ここでは、例として、同じ手術動的情報が連続して現れる場合には、連続した手術動的情報のうちの最も古いものに対応したタイムコードだけを取得する。例えば、「００：１２：１２」から「００：１２：１６」までのタイムコードにすべて「心拍数：異常」という手術動的情報が対応付けられていた場合、「心拍数：異常」に対応したタイムコードとして「００：１２：１２」だけを取得するようにしてもよい。
【０１７６】
例えば、図１５に示す手術動的情報管理ファイルにおいて、タイムコードが「００：０５：３７」の際の「手術動的情報」は「メス」という手術動的情報を含むため、このタイムコードが取得される。
【０１７７】
出力部１１４は、手術映像検索部１１３が検出したタイムコードに対応したフレームの画像を、プレビュー画像として格納部１１１に格納されているファイル名が「ＯＰ００１」である手術映像から読み出し、モニタ等にマトリクス状に並べて表示する。
【０１７８】
図１８は、手術映像内のフレームの検索結果を示す図である。各フレームは、「心拍数：異常」または「メス」のいずれかと部分一致する手術動的情報と対応付けられたフレームの画像である。これらのフレームの画像は、手術映像内の主要なシーンを示す画像と考えても良い。なお、ここでは絞込の検索を行う例を示したが、最初から、ユーザが入力する手術環境情報と手術動的情報とを指定する情報を用いて、検索を行うようにしても良い。
【０１７９】
そして、例えば、医師等のユーザが、図示しない受付部等を介して、一のフレームの画像を選択して、再生する指示を与えると、出力部１１４は、指定されたフレームに対応するタイムコードの時間的な位置から手術映像を読み出し、手術映像の再生を開始する。
【０１８０】
また、上記の検索の代わりに、手術情報指定受付部１１２が受け付けた、予め指定された手術動的情報の蓄積された順番を指定する情報によって指定される蓄積順番の手術動的情報と対応付けられた手術映像の時間的な位置を検索して、この時間的な位置から手術映像を出力できるようにしても良い。例えば、予め指定された手術動的情報、例えば手術の状態が変化した時間的な位置を示す手術動的情報と対応付けられたフレームを先頭とした手術映像を、医師等のユーザの指示により、蓄積順番が古いものから順番に読み出して表示できるようにしても良い。例えばインデックスとなる手術動的情報と対応付けられたフレームごとに、蓄積順番の古いものから順番に手術映像を頭出しして出力してもよい。
【０１８１】
なお、上記の具体例においては、検索のための手術情報の指定として、手術動的情報等に含まれると考えられる文字列の情報、例えばキーワードを入力するようにしたが、手術動的情報の値の範囲等を指定するようにしても良い。例えば「心拍計」の「出力」が、「６０以下」となっている状態を指定するための手術情報の指定を行って、「心拍計」と「出力」と一致する文字列を含む手術動的情報であって、「６０」以下の数値を含む手術動的情報を検索するようにし、検出した手術動的情報に対応付けられたタイムコードを取得して、手術映像のフレームを検出するようにしても良い。
【０１８２】
以上、本実施の形態によれば、手術映像と対応付けて手術動的情報を蓄積するようにしたことにより、再利用が容易な手術映像を蓄積することができる。例えば、手術動的情報を検索することで、手術映像内の時間的な位置を適切に検索して出力することが可能となる。
【０１８３】
これにより、例えば、手術映像中の医学的に有意と考えられる部分を容易に検索することが可能となり、手術映像の利便性が向上し、手術映像の価値を高めることができる。
【０１８４】
特に手術動的情報として、手術中に取得される情報等の変化を示す情報を取得するようにし、手術映像の時間的な位置を、手術動的情報を用いて検索することで、手術中に生じた変化がある箇所の手術映像を検索して表示することができ、手術映像の効率的な利用が可能となる。
【０１８５】
なお、本実施の形態においては、必ずしも、手術映像受付部１０２が手術映像を受け付けた場合に、リアルタイムに手術動的情報等の手術情報を取得する処理や、手術情報を手術映像に対応付ける処理を行う必要はない。例えば、手術映像蓄積装置１に入力される機器操作情報等に手術映像と同期可能なタイムコード等の情報が含まれる場合、このタイムコードを用いることで、機器操作情報から取得した手術動的情報と手術映像との同期がとれるから、一旦、機器操作情報等の情報を、格納部１１１や図示しない記憶媒体等に一旦蓄積後、蓄積した機器操作情報等を用いて上記と同様に手術動的情報を取得し、取得した手術動的情報をタイムコード等を用いて、手術映像と対応付けて蓄積するようにしてもよい。
【０１８６】
なお、手術情報取得部１０９が、手術中に取得される情報等に変化があったことを示す手術動的情報を取得する場合、蓄積部１１０は、変化があったことを示す手術動的情報を最初に取得した場合や変化が終了した場合にのみ、手術映像と対応付けて蓄積してもよい。例えば変化の発生や終了は、その直前に同じ手術動的情報が取得されたか否かにより判断可能である。
【０１８７】
なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１８８】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段（情報送信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１８９】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【０１９０】
また、上記各実施の形態では、手術映像蓄積装置がスタンドアロンである場合について説明したが、手術映像蓄積装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【０１９１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０１９２】
なお、上記各実施の形態における手術映像蓄積装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、手術中の映像である手術映像を１以上受け付ける手術映像受付部と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、手術映像受付部が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部として機能させるためのプログラムである。
【０１９３】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
【０１９４】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１９５】
図１９は、上記プログラムを実行して、上記実施の形態による手術映像蓄積装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０１９６】
図１９において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０１９７】
図２０は、コンピュータシステム９００の内部構成を示す図である。図２０において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１９８】
コンピュータシステム９００に、上記実施の形態による手術映像蓄積装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０１９９】
プログラムは、コンピュータ９０１に、上記実施の形態による手術映像蓄積装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０２００】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２０１】
以上のように、本発明にかかる手術映像蓄積装置等は、手術映像を蓄積する装置として適しており、特に、手術映像を効率的に活用できるよう蓄積する装置等として有用である。
【符号の説明】
【０２０２】
１ 手術映像蓄積装置
５０、６０ 機器
５１ 操作受付部
５２、６２ 機器識別情報格納部
５３、６３ 送信部
６１ 出力用情報取得部
１０１ 撮影部
１０２ 手術映像受付部
１０３ 機器操作情報受付部
１０４ 機器出力情報受付部
１０５ 音声取得部
１０６ 手術音声受付部
１０７ 医師識別情報受信部
１０８ 患者識別情報受信部
１０９ 手術情報取得部
１１０ 蓄積部
１１１ 格納部
１１２ 手術情報指定受付部
１１３ 手術映像検索部
１１４ 出力部
【技術分野】
【０００１】
本発明は、手術の映像を蓄積する手術映像蓄積装置等に関するものである。
【背景技術】
【０００２】
従来の手術の映像を蓄積する装置として、例えば、手術映像に各種のＩＤ情報を透かし情報として埋め込んで記録することで、証拠性の高い医療映像を残せるようにし、また、その装置を用いて手術映像を記録した情報記録媒体を患者に渡すことで、医療機関と患者の双方に利点のある医療方法を提供し、医療ミスの防止に役立つようにしたものが知られていた（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４８８９５号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の手術映像を蓄積する装置等においては、蓄積した手術の映像から、医学的に重要な場面等を取得するためには、映像を確認しながら、映像の早送りや早送り再生等を行う必要があり、医学的に重要な場面等の映像を短時間で検索して取得させることが困難であった。このため、蓄積した手術の映像を利用するための時間や労力がかかってしまい、蓄積した手術の映像の再利用が容易ではない、という課題があった。
【課題を解決するための手段】
【０００５】
本発明の手術映像蓄積装置は、手術中の映像である手術映像を１以上受け付ける手術映像受付部と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、手術映像受付部が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部とを備えた手術映像蓄積装置である。
【０００６】
かかる構成により、再利用が容易な手術映像を蓄積することができる。例えば、手術動的情報を用いて、手術映像内の位置、具体的には手術映像内の時間的な位置を適宜検索することが可能となる。特に手術動的情報として、手術中に取得される情報等の変化を示す情報を取得するようにし、手術映像の時間的位置を、手術動的情報を用いて検索することで、手術中に生じた変化がある箇所の手術映像を検索して表示することができる。
【０００７】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術に用いられる機器が、手術中の操作に応じて出力する機器操作情報を受け付ける機器操作情報受付部を更に備え、手術情報取得部は、機器操作情報受付部が受け付けた機器操作情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【０００８】
かかる構成により、手術映像内の機器の操作に関連した時間的位置を、手術映像の出力する位置に指定することができる。
【０００９】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術に用いられる手術器具の情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１０】
かかる構成により、手術映像内の、手術器具が利用されている時間的位置を、手術映像の出力する位置に指定することができる。
【００１１】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術に用いられる機器が出力する機器出力情報を受け付ける機器出力情報受付部を更に備え、手術情報取得部は、機器出力情報受付部が受け付けた機器出力情報に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１２】
かかる構成により、手術映像内の、機器の出力に関連している時間的位置を、手術映像の表示する位置に指定することができる。
【００１３】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術中の音声である手術音声を１以上受け付ける手術音声受付部を更に備え、手術情報取得部は、手術音声受付部が受け付けた手術音声の特徴を検出し、検出した特徴に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１４】
かかる構成により、手術映像内の、手術音声の特徴が検出された時間的位置を、手術映像の表示する位置に指定することができる。
【００１５】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する手術映像蓄積装置である。
【００１６】
かかる構成により、手術映像内の、照明の変化が検出された時間的位置を、手術映像の表示する位置に指定することができる。
【００１７】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報取得部は、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得し、蓄積部は、手術映像受付部が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する手術映像蓄積装置である。
【００１８】
かかる構成により、手術環境情報を指定して出力対象となる手術映像を検索することが可能となる。
【００１９】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、医師が保持している端末に格納されており、端末から送信される医師の医師識別情報を受信する医師識別情報受信部を更に備え、手術情報取得部は、医師識別情報受信部が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する手術映像蓄積装置である。
【００２０】
かかる構成により、医師識別情報の入力を簡略化することができる。
【００２１】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、患者が保持している端末に格納されており、端末から送信される患者の患者識別情報を受信する患者識別情報受信部を更に備え、手術情報取得部は、患者識別情報受信部が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する手術映像蓄積装置である。
【００２２】
かかる構成により、患者識別情報の入力を簡略化することができる。
【００２３】
また、本発明の手術映像蓄積装置は、前記手術映像蓄積装置において、手術情報を指定する手術情報指定受付部と、手術情報指定受付部が受け付けた手術情報に対応付けられた手術映像を検索する手術映像検索部と、手術映像検索部が検索した手術映像を出力する出力部とを更に備えた手術映像蓄積装置である。
【００２４】
かかる構成により、手術情報を用いて手術映像やその映像内の時間的位置を検索して出力することができる。
【発明の効果】
【００２５】
本発明による手術映像蓄積装置等によれば、再利用が容易な手術映像を蓄積することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態における手術映像蓄積装置のブロック図
【図２】同手術映像蓄積装置を説明するための、機器操作情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図
【図３】同手術映像蓄積装置を説明するための、機器出力情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図
【図４】同手術映像蓄積装置の動作を説明するためのフローチャート
【図５】同手術映像蓄積装置を有する手術映像蓄積システムの概略図
【図６】同手術映像蓄積装置を説明するための、医師および患者に装着された端末を示すための図
【図７】同手術映像蓄積装置の撮影部が撮影した手術映像の一例を示す図
【図８】同手術映像蓄積装置の動作を説明するための、機器操作情報の一例を示す図
【図９】同手術映像蓄積装置の動作を説明するための、手術器具画像管理情報の一例を示す図
【図１０】同手術映像蓄積装置の動作を説明するための、手術映像の１フレームの一例を示す図
【図１１】同手術映像蓄積装置の動作を説明するための、機器出力情報の一例を示す図
【図１２】同手術映像蓄積装置の動作を説明するための、手術音声を示す模式図
【図１３】同手術映像蓄積装置の動作を説明するための、手術映像を示す図
【図１４】同手術映像蓄積装置の動作を説明するための、手術映像と手術情報とを対応付けて管理する手術情報管理情報を示す図
【図１５】同手術映像蓄積装置の動作を説明するための、手術映像と、手術動的情報との対応関係を管理する手術動的情報管理ファイルを示す図
【図１６】同手術映像蓄積装置の動作を説明するための、手術映像ファイルの一例を示す模式図
【図１７】同手術映像蓄積装置の動作を説明するための、手術映像を検索するための検索条件を入力する入力画面を示す図
【図１８】同手術映像蓄積装置の動作を説明するための、手術映像内のフレームの検索結果を示す図
【図１９】本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図
【図２０】本発明の実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００２７】
以下、手術映像蓄積装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２８】
（実施の形態）
図１は、本実施の形態における手術映像蓄積装置１のブロック図である。
手術映像蓄積装置１は、撮影部１０１、手術映像受付部１０２、機器操作情報受付部１０３、機器出力情報受付部１０４、音声取得部１０５、手術音声受付部１０６、医師識別情報受信部１０７、患者識別情報受信部１０８、手術情報取得部１０９、蓄積部１１０、格納部１１１、手術情報指定受付部１１２、手術映像検索部１１３、および出力部１１４を備える。
【００２９】
撮影部１０１は、手術中の映像を撮影する。そして、撮影した映像を、後述する手術映像受付部１０２に出力する。手術中の映像とは、医師等が患者等に対して行っている手術の状態を撮影した映像である。手術中の映像は、例えば、手術室内全体またはその一部や、手術台上またはその近傍の映像であっても良い。また、患者の一部、例えば手術箇所を主として撮影した映像であっても良い。また、手術中の医師から見た視野を撮影した映像であっても良い。また、内視鏡や顕微鏡等で写される手術中の患者の体内の映像や、手術中に取り出された患者の組織等の映像であっても良い。撮影部１０１は、例えば、ＣＣＤやＣＭＯＳ等の撮影素子を備えたカメラにより実現され得る。カメラは、手術室内に設置される術場撮影カメラであってもよいし、手術箇所近傍を撮影する術野カメラや、内視鏡の視野を撮影する内視鏡カメラや手術顕微鏡の視野を撮影する手術顕微鏡カメラであってもよい。あるいは医師の視野を撮影するためにヘッドセット等に取り付けたカメラ等であっても良い。ここでは、撮影部１０１が一つの場合を例に示しているが、撮影部１０１は、複数であっても良い。撮影部１０１が複数の場合、各撮影部１０１が出力する手術映像に、取得した撮影部１０１を識別する情報を付与するようにしても良い。ここで述べる映像は、通常は、動画像である。ただし、時系列に沿って連続した静止画像であってもよい。撮影部１０１が出力する映像の形式は、例えば、非圧縮であっても良いし、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４や、ＭＰＥＧ−２、ＭＰＥＧ−１、ｍｏｔｉｏｎＪＰＥＧ、ＤＶ、どのような形式のものであっても良い。撮影部１０１は、撮影した映像に、通常タイムコードを付与する。また、撮影した映像に予め用意された撮影部１０１の識別情報や、撮影部１０１が撮影する撮影領域や撮影対象を示す情報を付与するようにしても良い。撮影部１０１が、撮影した映像をエンコードして出力する場合、撮影部１０１がエンコード処理を行うエンコーダ等（図示せず）を備えていても良い。撮影部１０１が撮影する映像のアスペクト比や、画素数や色数やカラーモード等は問わない。なお、手術中とは、ここでは、手術を行うために、医師等が手術室等の手術を行う部屋等に入室している期間と考えても良いし、患者に対して実際の手術が行われている期間と考えても良い。なお、ここでは、手術映像蓄積装置１が撮影部１０１を備えている場合を例に挙げて説明したが、手術映像蓄積装置１は、撮影部１０１を備えていなくてもよく、手術中の映像を撮影する外部の撮影部が撮影する手術映像を受け付けるようにしても良い。
【００３０】
手術映像受付部１０２は、手術中の映像である手術映像を１以上受け付ける。具体的には、撮影部１０１から出力される手術映像を受け付ける。複数の撮影部１０１が設けられている場合、手術映像受付部１０２は、各撮影部１０１が出力する手術映像を個別に受け付ける。手術映像受付部１０２は、個別に受け付けた手術映像に、それぞれ識別情報を付与するようにしてもよい。手術映像受付部１０２と各撮影部１０１とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、手術映像受付部１０２と各撮影部１０１とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。ここで述べる受け付けとは、有線もしくは無線の通信回線を介して送信された情報の受信である。手術映像受付部１０２は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。また、手術映像受付部１０２は、撮影部１０１を接続するためのインターフェース等と考えても良い。
【００３１】
機器操作情報受付部１０３は、手術に用いられる１以上の機器が、手術中の操作に応じて出力する機器操作情報を受け付ける。ここで述べる手術に用いられる機器とは、例えば、ユーザの操作によって動作する装置であり、例えば、顕微鏡や内視鏡である。また、除細動器や、レーザ手術機器等でもよい。手術に用いられる機器の構成については後述する。機器操作情報は、例えば、手術に用いられる機器の電源がオンまたはオフされたことを示す情報や、つまみ等を回転させたことを示す情報である。また、顕微鏡や内視鏡等の場合には、拡大率等を示す情報や、拡大率が変更されたことを示す情報等である。あるいは、機器の設定等の情報や、設定が変更されたことを示す情報等である。また、機器操作情報は、例えば、手術に用いられる機器に対して、予め指定された操作、例えば、電源のオンやオフ、予め指定されたスイッチのオンやオフ等が行われた場合にだけ、予め指定された操作が行われたことを示す機器操作情報を出力してもよい。この場合、機器操作情報は、操作の内容を識別可能な情報を含んでもいても良いし、含んでいなくてもよい。また、機器操作情報受付部１０３が受け付ける機器操作情報は、機器を識別するための機器識別情報を含んでいてもよい。ここで述べる受付とは、例えば、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。なお、機器が出力する機器操作情報に、操作が行われた時刻を示す情報が含まれていない場合、機器操作情報受付部１０３は、受け付けた機器操作情報に対して、受け付けた時刻を示す情報を図示しない時計等から取得して付与してもよい。機器操作情報受付部１０３は、例えば、入出力制御のためのドライバや、通信手段や、通信制御のためのドライバ等で実現され得る。
【００３２】
ここで、本実施の形態において利用され得る、機器操作情報を出力可能な、手術に用いられる機器の構成の一例について説明する。
【００３３】
図２は、機器操作情報を出力可能な、手術に用いられる機器の構成の一例を示すブロック図である。機器５０は、操作受付部５１、機器識別情報格納部５２、送信部５３を備えている。なお、機器５０は、操作受付部５１が受け付けた操作に応じた、機器としての本来の機能を果たすための処理部や入力部や出力部等を適宜備えているが、ここでは、説明を省略している。
【００３４】
機器５０は、手術中に利用される機器であれば、上述した内視鏡や顕微鏡等のどのような機器であっても良い。
【００３５】
操作受付部５１は、機器５０に対する操作を受け付ける。操作は、機器５０に電源を投入する操作等、どのような操作であっても良い。ここで述べる受付は、例えば、スイッチやボタンやノブ等の入力手段からの受付等である。
【００３６】
機器識別情報格納部５２には、機器５０を識別可能な機器識別情報が格納されている。機器識別情報は、例えば、機器名や、機器のシリアルナンバーや、機器のＩＤである。
【００３７】
送信部５３は、操作受付部５１が受け付けた操作に応じて、機器操作情報を送信する。具体的には、操作受付部５１が操作を受け付けた場合に、受け付けた操作に応じて、図示しない格納部等に予め格納されている当該受け付けた操作を示す情報、例えば操作識別情報と、機器識別情報格納部５２に格納されている機器識別情報とを読み出し、当該操作を示す情報と機器識別情報とを含む機器操作情報を、手術映像蓄積装置１に送信する。なお、機器５０が一つだけである場合、機器識別情報格納部５２は省略可能である。あるいは、送信部５３は、操作受付部５１が受け付けた操作が、予め指定された操作であるか否かを、予め用意された操作を識別するための情報と比較して判断し、予め指定された操作である場合に、予め指定された操作が行われたことを示す情報と、機器識別情報格納部５２に格納されている機器識別情報とを含む機器操作情報を手術映像蓄積装置１に送信してもよい。機器識別情報を含む機器操作情報を送信する場合、予め指定された操作が行われたことを示す情報の送信は省略しても良い。また、機器に対して行われた操作を識別する情報等を含む機器操作情報を手術映像蓄積装置１に送信してもよい。また、送信部５３は、送信時刻や、操作を受け付けた時刻を示す情報を含む機器操作情報を送信しても良い。なお、機器５０が一つだけである場合、機器識別情報格納部５２は省略してもよい。
【００３８】
送信部５３と、機器操作情報受付部１０３とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、送信部５３と、機器操作情報受付部１０３とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。送信部５３は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。
【００３９】
なお、機器５０に送信部５３を設ける代わりに、操作受付部５１等が上記と同様の機器操作情報を取得して、機器５０内の図示しないバッファ等の記憶媒体に蓄積するようにし、蓄積された機器操作情報を、手術映像蓄積装置１が直接読み出すこと等によって取得するようにしても良い。あるいは、機器５０が、図示しない処理部等により、上記と同様の機器操作情報を、例えば、この機器操作情報に対応する操作が行われた時刻を示す情報等と対応付けて取得して、取得した機器操作情報を、例えばフラッシュメモリや光ディスクやハードディスク等により構成される図示しない着脱可能な可搬型記憶媒体（図示せず）に蓄積するようにしてもよい。そして、この可搬型記憶媒体を機器５０から取り外して手術映像蓄積装置１に取り付けて、機器操作情報受付部１０３がこの可搬型記憶媒体に蓄積されている機器操作情報と時刻を示す情報を読み出すことで機器操作情報を取得する用にしても良い。この場合の時刻を示す情報は、例えば、手術映像と機器操作情報とを対応付ける、即ち同期させる際に利用される。
【００４０】
機器出力情報受付部１０４は、手術に用いられる機器が出力する機器出力情報を受け付ける。機器出力情報受付部１０４が受け付ける機器出力情報は、例えば、上記の機器操作情報とは異なり、ユーザによる機器の操作に関係なく機器が出力する情報である。ここで述べる手術に用いられる機器は、上述した手術に用いられる機器と同様の機器であっても良いが、ここでの機器は、ユーザの操作に関係なく作動する機器であることが好ましい。ここで述べる手術に用いられる機器は、例えば、患者の生体情報を測定する生体情報測定装置である。生体情報測定装置は、例えば、脈拍、心拍、呼吸、体温、血圧等を経時的に測定する装置である。機器出力情報受付部１０４は、手術に用いられる機器が出力する機器出力情報を受け付ける。ここでの機器出力情報は、例えば、手術に用いられる機器が一定または不定のタイミングで測定した値を示す情報である。また、機器出力情報は、例えば、手術に用いられる機器が、測定値が予め指定された値を超えたことや、下回ったことを示すために出力した情報であってもよい。また、機器出力情報は、例えば、手術に用いられる機器が、測定値の変化等から患者の容態が変化したと判断した場合に出力する判断結果を示す情報であってもよい。機器出力情報は、出力する機器の識別情報を含むようにしてもよい。また、機器出力情報は、手術に用いられる機器が機器出力情報を送信する時刻の情報等を有していてもよい。あるいは、機器出力情報が、生体情報等を測定した情報を含む場合、生体情報を測定した各時刻の情報を含んでいてもよい。また、機器出力情報は、この情報が、機器のどのような出力の情報であるかを示す情報を含んでいてもよい。例えば、機器が、血圧計であれば、血圧の値に関する情報であることを示す識別情報等を含むようにしてもよい。ここで述べる受付とは、例えば、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。なお、機器が出力する機器操作情報に、操作が行われた時刻を示す情報が含まれていない場合、機器出力情報受付部１０４は、受け付けた機器操作情報に対して、受け付けた時刻を示す情報を図示しない時計等から取得して付与してもよい。機器出力情報受付部１０４は、例えば、入出力制御のためのドライバや、通信手段や、通信制御のためのドライバ等で実現され得る。
【００４１】
ここで、本実施の形態において利用可能な、機器出力情報を出力可能な、手術に用いられる機器の構成の一例について説明する。
【００４２】
図３は、手術に用いられる機器の構成の一例を示すブロック図である。機器６０は、出力用情報取得部６１、機器識別情報格納部６２、送信部６３を備えている。なお、機器６０は、機器としての本来の機能を果たすための処理部や入力部や出力部等を適宜備えているが、ここでは、説明を省略している。
【００４３】
機器６０は、手術中に利用される機器であって、ユーザの操作がなくても、機器出力情報を出力可能な機器であれば、上述した生体情報測定装置等のどのような機器であっても良い。
【００４４】
出力用情報取得部６１は、例えば、予め指定されたタイミング等で出力用の情報である出力用情報を取得する。例えば、機器６０が生体情報測定装置であれば、脈拍数や呼吸数等の生体情報を患者から取得する。出力用情報取得部６１は、機器６０が生体情報測定装置等の場合、センサー等である。
【００４５】
機器識別情報格納部６２には、機器６０を識別可能な機器識別情報が格納されている。機器識別情報は、例えば、機器名や、機器のシリアルナンバーや、機器のＩＤである。
【００４６】
送信部６３は、出力用情報取得部６１が取得した出力用情報に応じて、機器操作情報を送信する。具体的には、出力用情報取得部６１が取得した出力用情報と、機器識別情報格納部６２から読み出した機器識別情報とを含む機器出力情報を、手術映像蓄積装置１に送信する。なお、機器出力情報に、出力用情報がどのような情報であるかを示す情報を付加するようにしてもよい。なお、機器６０が一つだけである場合、機器識別情報格納部６２は省略可能である。あるいは、送信部６３は、出力用情報取得部６１が取得した出力用情報が、予め指定された範囲内の情報であるか否かを判断し、指定された範囲内の情報である場合に、機器６０で予め指定された範囲内の情報が取得されたことを示す情報と、機器識別情報格納部６２に格納されている機器識別情報とを含む機器出力情報を手術映像蓄積装置１に送信する。機器識別情報を含む機器操作情報を送信する場合、予め指定された範囲内の情報が取得されたことを示す情報の送信は省略しても良い。また、予め指定された範囲内の情報がどのような情報であるかを示す識別情報等を含む機器出力情報を手術映像蓄積装置１に送信してもよい。予め指定された範囲とは、例えば、異常な値であることを示す範囲である。また、送信部６３は、送信時刻や、予め指定された範囲内の情報を取得した時刻を示す情報を含む機器出力情報を送信しても良い。なお、機器６０が一つだけである場合、機器識別情報格納部６２は省略してもよい。また、ここでの送信は、出力用情報取得部６１が取得した電気的な信号である出力用情報等の信号線等を介した出力を含むと考えても良い。
【００４７】
送信部６３と、機器出力情報受付部１０４とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、送信部６３と、機器出力情報受付部１０４とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。送信部６３は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。
【００４８】
なお、機器６０に送信部６３を設ける代わりに、出力情報取得部６１等が上記と同様の機器出力情報を取得して、機器６０内の図示しないバッファ等の記憶媒体に蓄積するようにし、蓄積された機器出力情報を、手術映像蓄積装置１が直接読み出すこと等によって取得するようにしても良い。あるいは、機器６０が、図示しない処理部等により、上記と同様の機器出力情報を、例えば、この機器出力情報に対応する操作が行われた時刻を示す情報等と対応付けて取得して、取得した機器出力情報を、例えばフラッシュメモリや光ディスクやハードディスク等により構成される図示しない着脱可能な可搬型記憶媒体（図示せず）に蓄積するようにしてもよい。そして、この可搬型記憶媒体を機器６０から取り外して手術映像蓄積装置１に取り付けて、機器出力情報受付部１０４がこの可搬型記憶媒体に蓄積されている機器出力情報と時刻を示す情報を読み出すことで機器操作情報を取得する用にしても良い。この場合の時刻を示す情報は、例えば、手術映像と機器出力情報とを対応付ける、即ち同期させる際等に利用される。
【００４９】
音声取得部１０５は、手術中の音声である手術音声を１以上取得する。手術中の音声とは、手術中に手術室内等で発せられる医師や、患者等の音声である。音声取得部１０５は、具体的にはマイクロフォンである。音声取得部１０５は、取得した手術音声を、後述する手術音声受付部１０６に出力する。音声取得部１０５が取得する音声の形式は、例えば、非圧縮や、ＡＡＣ、ＭＰ３、ＷＡＶ等、どのような形式であってもよい。音声取得部１０５が取得した音声をエンコードして出力する場合、音声取得部１０５がエンコーダを備えるようにしてよい。ここでは音声取得部１０５が一つの場合を例に示しているが、音声取得部１０５は、複数であっても良い。音声取得部１０５が複数の場合、各音声取得部１０５が出力する手術音声に、取得した音声取得部１０５を識別する情報を付与するようにしても良い。
【００５０】
手術音声受付部１０６は、手術中の音声である手術音声を１以上受け付ける。具体的には、音声取得部１０５から出力される手術音声を受け付ける。複数の音声取得部１０５が設けられている場合、音声取得部１０５は、各音声取得部１０５が出力する手術映像を個別に受け付ける。個別に受け付けた手術音声に、それぞれ識別情報を付与するようにしてもよい。手術音声受付部１０６と各音声取得部１０５とは、信号線等で接続されていても良いし、ＵＳＢやＩＥＥＥ１３９４等のバスで接続されていても良い。また、手術音声受付部１０６と各音声取得部１０５とは、ＬＡＮやインターネット等のネットワークで接続されていても良い。また、接続は有線接続であっても、無線接続であっても良い。ここで述べる受け付けとは、有線もしくは無線の通信回線を介して送信された情報の受信である。手術映像受付部１０２は、入出力制御のためのドライバや通信手段や通信制御のためのドライバ等により実現可能である。また、手術音声受付部１０６は、音声取得部１０５を接続するためのインターフェース等と考えても良い。
【００５１】
医師識別情報受信部１０７は、医師が保持している端末（図示せず）から送信される医師の医師識別情報を受信する。各医師の識別情報は、各医師が保持している端末に予め格納されている。ここで述べる端末とは、具体的には、携帯型の端末である。例えば、端末は、パッシブ型、あるいはアクティブ型のＲＦＩＤタグ、もしくはタグを有するカードや、小型の装置である。また、携帯電話やＰＨＳやＰＤＡやスマートフォン等であってもよい。あるいは、ノート型コンピュータ等であってもよい。医師の識別番号は、医師が識別可能な情報であればよく、例えば、医師の名前や、医師の識別番号や識別記号である。医師の登録番号等であってもよい。端末がＲＦＩＤタグである場合、医師の識別番号は、例えば、ＲＦＩＤタグ内に予め蓄積されている。端末は、例えば、医師識別情報受信部１０７が端末に対して送信する、医師識別情報を要求する情報に応じて医師識別情報を読み出して出力されるようにしてもよいし、医師が、例えば、ボタンやスイッチ等を操作することで、医師識別情報が出力されるようにしてもよい。
【００５２】
医師識別情報受信部１０７は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。また、端末がＲＦＩＤタグである場合、医師識別情報受信部１０７は、ＲＦＩＤタグリーダライタを備えていてもよいし、備えていなくてもよい。備えていない場合、外部のＲＦＩＤタグリーダライタ等が受信した医師識別情報を受信するようにすればよい。なお、ＲＦＩＤタグの情報を読み書きする構成については公知技術であるので、ここでは説明を省略する。
【００５３】
患者識別情報受信部１０８は、患者が保持している端末から送信される患者の患者識別情報を受信する。各患者の識別情報は、各患者が保持している端末に予め格納されている。患者識別情報受信部１０８の構成や、端末や、患者識別情報等については、上述した医師識別情報受信部１０７の構成や、端末や、医師識別情報等と同様であるのでここでは説明を省略する。なお、手術室等に入る際や手術開始前に、患者の端末に格納されている患者識別情報を受信することができれば、患者が手術中に端末を保持している必要はない。
【００５４】
手術情報取得部１０９は、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する。手術中に取得できる情報は、例えば、手術の進行に伴って取得できる情報である。また、手術の信号に伴って動的に変化する情報である。手術動的情報は、例えば、手術に用いられる機器等が手術中に出力する情報である。あるいは、手術映像や、手術中に取得した音声や、手術に用いられる機器等が出力する情報に対して所定の処理を行うことで得られる情報である。ただし、所定の処理は、手術終了後に行ってもよい。
【００５５】
手術動的情報は、好ましくは、手術中の動的な変化を示す情報である。手術動的情報は、例えば、手術中の、患者の状態や、手術室の状態や、医師等の医療スタッフの状態や、手術に用いられている手術器具や機器の状態や使用状況等についての動的な変化を示す情報、例えば変化が発生したことを示す情報や、変化の内容等を示す情報である。また、手術動的情報を、手術場面の変化を示す情報や、手術行程の移り変わりを示す情報と考えても良い。また、手術動的情報を、手術中における医学的に重要と考えられる可能性の高い状況が発生したことを示す情報と考えてもよい。また、手術動的情報は、手術における処置内容が変化したことを示す情報であってもよい。手術動的情報は、具体的には、手術中に取得される予め指定された情報において検出される予め指定された変化を示す情報である。例えば、手術動的情報は、手術中に取得される手術映像や、生体情報や、音声情報等から検出される予め指定された変化を示す情報である。手術動的情報は、例えば、手術中の動的な変化が発生したことを示す情報であれば、変化が発生したことを示す情報であっても良いし、変化が発生した時点や期間等を示す情報であっても良いし、どのような変化が発生したかを示す情報、つまり変化の内容を示す情報であってもよい。手術情報取得部１０９は、例えば、手術中にリアルタイムで動的な変化の検出等が行われる場合、変化が検出された時点で変化が発生したことを示す手術動的情報を取得する。また、手術情報取得部１０９は、手術中の動的な変化が発生した時点や期間を示す情報を含む手術動的情報を取得しても良い。また、手術情報取得部１０９は、動的な変化の内容を示す情報を含む手術動的情報を取得しても良い。また、手術動的情報は、どのような変化であるかを示す情報や、動的な変化に付随した情報、例えば変化が発生した時点の状況を示す情報等を含んでいても良い。例えば変化が検出された対象を識別する情報を付与しても良い。例えば、手術室内の照明について動的な変化を検出した場合、例えば「照明」という識別情報を手術動的情報に付与しても良い。手術動的情報は、手術に動的な変化があった時点を示す情報や期間を示すための情報と考えても良い。
【００５６】
手術動的情報は、手術映像の一部を検索する際に用いられる情報であっても良い。例えば、手術動的情報は、手術映像の一部を検索する際に用いられるインデックスとして用いられる情報（以下インデックス情報）と考えても良い。また、インデックス情報は、手術映像の頭出し等に用いられる手術映像内の位置、例えばチャプターの位置等を示すための情報と考えても良い。手術映像内の位置とは、例えば、手術映像内の時間的な位置である。手術映像内の位置は、例えば、手術映像内のタイムライン上の位置と考えてもよいし、手術映像内の時刻や、フレーム等を示す位置と考えても良い。また、ここでの位置は、手術映像内の一点と考えても良いし、手術映像内の部分、即ち開始位置と終了位置とが特定される期間と考えても良い。また、インデックス情報は、これらの位置で発生した変化の属性、具体的には変化の内容等を示す情報であってもよい。インデックス情報は、手術映像に付与されるフラグ情報であってもよい。また、インデックス情報はタグと考えても良い。インデックス情報等を手術映像に付与することで、インデックス情報を利用して手術映像内の所望の時間的な位置を探して、インデックス情報を付与した位置から手術映像を読み出すことが可能となる。ここでの付与は、対応付けることも含む概念である。また、手術動的情報は、手術中に取得される情報のうちの、検索に利用可能な情報と考えても良い。
【００５７】
手術情報取得部１０９は、手術動的情報をどのように取得してもよい。例えば、手術室内の機器等が出力する情報を、手術動的情報として取得してもよい。また、手術室内の機器等が出力する情報等を用いて、手術中に発生した動的な変化を検出し、この変化が発生したことを示す手術動的情報を取得してもよい。また、変化の内容を示す手術動的情報を取得してもよい。また、例えば、手術映像受付部１０２が受け付けた手術映像を解析して、手術中に発生した動的な変化を検出し、この変化が発生したことを示す手術動的情報を取得してもよい。つまり、この場合に取得する手術動的情報は、手術映像において検出される予め指定された変化を示す情報である。また、手術室内の機器等が出力する、手術中に動的な変化が発生したことを示す情報を手術動的情報として取得しても良い。
【００５８】
以下、手術動的情報を取得する例を示す。
【００５９】
（１）機器操作情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、例えば、機器操作情報受付部１０３が受け付けた機器操作情報に応じて手術動的情報を取得する。具体的には、機器操作情報受付部１０３が受け付けた機器操作情報の少なくとも一部を含む手術動的情報を取得する。機器操作情報の少なくとも一部とは、例えば、機器が受け付けた操作を示す情報や、機器の識別情報等である。また、手術情報取得部１０９は、機器操作情報受付部１０３が、何らかの機器操作情報を受け付けた場合に、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、一の機器（例えば内視鏡等）が、予め指定された操作（例えば電源のオンや、内視鏡先端の電気メスの操作等）を受け付けた場合にのみ、機器操作情報を出力するようなものであった場合等には、機器操作情報を受け付けた場合に、一の機器が使用されて、手術中に変化が生じたことを示す手術動的情報を取得する。また、機器操作情報受付部１０３が、機器操作情報を受け付けた場合に、この機器操作情報が、予め指定された機器操作情報であるか否かを判断し、予め指定された機器操作情報である場合、動的な変化があったことを示す手術動的情報を取得しても良い。あるいは予め指定された機器操作情報でない場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器操作情報受付部１０３が受け付けた一の機器が出力する機器操作情報が、一の機器の電源をオンする機器操作情報であるか否かを判断し、オンする機器操作情報である場合に、今まで使われていなかった一の機器の使用が開始された、即ち手術中に動的な変化があったことを示す機器操作情報を取得する。また、機器操作情報受付部１０３が受け付ける機器操作情報に変化が生じた場合に、手術動的情報を取得してもよい。例えば、一の機器から受け付けた機器操作情報が示す一の設定値に変更が生じた場合に、手術動的情報を取得しても良い。ここで取得する手術動的情報は、例えば機器の識別情報、例えば内視鏡の識別情報や、機器において検出された変化を示す情報、例えば、「電源オン」等を含む情報であってもよいし、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６０】
（２）手術器具の情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、例えば、手術に用いられる手術器具の情報に応じて手術動的情報を取得する。具体的には、手術に用いられる手術器具の情報を含む手術動的情報を取得する。ただし、ここでの検出した手術器具の情報を含むとは、検出した手術器具の情報の少なくとも一部を含むことを意味する。手術器具とは、具体的には、手術に用いられる道具である。手術器具は例えば、メスや、電気メス、はさみ、ピンセット、鉗子等である。手術情報取得部１０９は、具体的には、予め指定された手術器具が手術に使用されていること、あるいは使用が終了したこと等を検出した場合に、手術動的情報を取得する。手術器具の情報は、例えば、手術器具の識別情報である。ただし、手術器具の情報は、予め指定された手術器具の一つが使用されたことを示す情報であっても良い。ここで取得する手術動的情報は、例えば、検出した手術器具の識別情報を含むものである。ただし、予め指定された手術器具の一つが使用されたことを示す情報であっても良いし、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６１】
手術情報取得部１０９は、例えば、手術映像受付部１０２が受け付けた手術映像に対して、例えば画像処理を行うことで、手術器具が使用される手術器具の情報を取得する。具体的には、検出したい手術器具の画像を、手術器具の検出用画像として用意して、手術器具の識別情報、例えば、手術器具名や、手術器具の製造番号やメーカー名等と対応付けて、予め図示しない記憶媒体等に蓄積しておく。そして、手術映像受付部１０２が受け付けた手術映像に対して、この検出用画像と適合する画像を検出するための画像認識処理を行い、手術映像について手術器具の検出を行う。なお、手術器具の検出のための画像認識処理は、例えば、入力された画像上を、検出用画像を比較しながら移動させて、一致するあるいは近似する画像を検出するパターンマッチングや、画像の輪郭やエッジや特徴点を抽出して入力画像の構造を数値化し、この数値化したもの同士の類似度から画像の認識を行う構造識別法や、画像から抽出した特徴点等を統計処理して、画像同士が類似するか否かを判断する方法等が利用可能である。そして、手術器具の識別情報が必要な場合には、検出した手術器具に対応した手術器具の識別情報を取得する。ただし、手術器具の識別情報が不要な場合には、手術器具の識別情報の取得は不要であり、単に、手術器具が検出されたことを示す情報を取得すればよい。パターンマッチングの際には、予めパターンマッチングは、例えば、手術映像が動画である場合、全てのフレームに対して個別に行っても良いし、所定の間隔を隔てたフレーム毎に行っても良い。手術器具は、通常、手に持って操作されるため、持ち手等が手で隠れることとなるため、手で隠れない部分（例えばメスははさみの刃先等）のみのパターンマッチングを行うようにしても良い。パターンマッチングはどのように行っても良い。例えば、パターンマッチングの対象となる手術映像から、手術器具の色に近い色を含む領域を検出し、その領域内の画像と、検出用画像とでパターンマッチングを行っても良い。また、検出用画像として、手術器具の輪郭を示す画像を用意し、その輪郭と相関の高い輪郭を手術映像内において検出するようにしても良い。
【００６２】
なお、例えば、予め、手術器具に対して、手術器具を識別する情報を示す二次元バーコードを付けておくようにし、手術映像から、二次元バーコードを検出し、検出した二次元バーコードを読み取ることで、予め指定された手術器具が使用されたか否かを判断する用にしても良い。映像から二次元バーコードを検出し、読み取る処理等は公知技術であるので、ここでは説明を省略する。二次元バーコードのかわりに、手術器具に、手術器具名や識別番号等を付与しておき、この手術器具名や識別番号等を手術映像から読み取るようにしてもよい。また、手術器具を識別する形状や色、あるいはこれらの組合せを有する印を手術器具に付けておくようにし、手術映像からこれらの印の検出を行い、検出した印がどのような印であるかを判断するためのパターンマッチングや色検出等を行って、マッチするパターンや色に対応付けられた手術器具の識別情報等を取得するようにしても良い。例えば、予め紫色の印をメス等に付けておくようにし、手術映像内において紫色の印を検出した場合に、メスが使用されたことを示す手術動的情報を取得しても良い。
【００６３】
上記で述べた手術映像から手術器具の情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００６４】
なお、手術映像受付部１０２が受け付けた手術映像を用いて、手術器具が使用されたか否かを判断する代わりに、手術器具が使用されたか否かの検出に利用可能な情報を、手術情報取得部１０９が受け付けるようにし、この受け付けた情報により手術器具が使用されたか否かを判断しても良い。例えば、手術器具に、各手術器具に対応付けられた識別情報を格納したＲＦＩＤタグを取り付けておくようにし、手術室内等に設置されたアンテナ（図示せず）を用いてＲＦＩＤタグリーダライタ（図示せず）が読み出したタグの識別情報を手術情報取得部１０９を受け付け、このＲＦＩＤタグの識別情報を用いて、手術器具が用いられたか否かを検出する。具体的には、手術を行っている箇所の近傍や、手術台上のみに位置するＲＦＩＤタグのみを読み取れるように、ＲＦＩＤタグリーダライタの読み出し範囲や、アンテナの位置を予め調整しておくようにする。そして、この範囲内に入った手術器具に取り付けられたＲＦＩＤタグの識別情報を、ＲＦＩＤタグリーダライタが読み出して手術情報取得部１０９に送信する。手術情報取得部１０９は、ＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報が、予め指定された識別情報の一つであるか否かを判断し、一つであると判断された場合に、予め指定された手術器具が使用されたことを検出する。なお、ＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報が、予め指定された識別情報の一つであるか否かを判断する代わりに、新たな識別情報が検出される都度、手術器具が使用されたことを判断してもよい。なお、予め手術器具の識別情報と、当該手術器具に取り付けられたＲＦＩＤタグの識別情報とを対応付けて管理する管理情報を、図示しない記憶媒体等で構成される手術器具識別情報格納部等に蓄積しておくようにし、この情報を用いて手術情報取得部１０９がＲＦＩＤタグリーダライタから送信されたＲＦＩＤタグの識別情報に対応する手術器具の識別情報を取得するようにしても良い。そして、手術情報取得部１０９は、この手術器具の識別情報を含む手術動的情報を取得しても良い。なお、この場合、ＲＦＩＤタグリーダライタから出力される識別情報を受け付けるための受付手段（図示せず）等を設けておく必要がある。この受付手段は、例えば、他の受付手段と同様のものが利用可能である。
【００６５】
（３）機器出力情報に応じて手術動的情報を取得する場合
手術情報取得部１０９は、機器出力情報受付部１０４が受け付けた機器出力情報に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、機器出力情報受付部１０４が受け付けた機器出力情報の少なくとも一部を含む手術動的情報を取得する。機器出力情報の少なくとも一部は、例えば、機器が測定した情報や、機器の識別情報である。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。手術情報取得部１０９は、例えば、機器出力情報受付部１０４が、何らかの機器出力情報を受け付けた場合に、手術動的情報を取得しても良い。例えば、一の機器が、何らかの変化を検出した場合に機器出力情報を出力するものである場合、機器出力情報受付部１０４は、機器出力情報を受け付けた場合に、一の機器が手術中における動的な変化を検出したと判断して、手術動的情報を取得する。この手術動的情報は、例えば、動的な変化を検出した機器の識別情報を含むものである。例えば、予め指定されたしきい値より小さい心拍数を検出した場合に、心拍に異常が発生したことを示す機器出力情報を出力する心拍計が一の機器である場合、機器出力情報受付部１０４は機器出力情報を受け付けた場合に、手術動的情報を取得する。この手術動的情報は、例えば、心拍計の識別情報を含むものであっても良い。あるいは、この手術動的情報は、心拍計の識別情報のみであっても良い。また、この手術動的情報は、手術中に情報が取得されたことを示す情報や、何らかの動的な変化があったことを単に示す情報であっても良い。また、機器出力情報受付部１０４が、機器出力情報を受け付けた場合に、この機器出力情報が手術中の動的な変化を示すものであるか否かを判断し、動的な変化を示す機器出力情報である場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器出力情報が示す値が、予め指定された値の範囲内にあるか否かを判断し、予め指定された値の範囲内にある場合に、動的な変化があったことを示す手術動的情報を取得しても良い。あるいは予め指定された値の範囲内にない場合、動的な変化があったことを示す手術動的情報を取得しても良い。例えば、機器出力情報受付部１０４が受け付けた、血圧計が出力する機器出力情報が示す値が、予め指定された下限値以下の値であった場合に、手術情報取得部１０９は、手術中における動的な変化が発生したと判断して、手術動的情報を取得する。この手術動的情報は、例えば、血圧計の識別情報を含む手術動的情報、あるいは心拍計の識別情報のみで構成されるものであっても良い。また、この手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを単に示す情報であっても良いし、血圧に異常が有ったことを示す情報であっても良い。
【００６６】
（４）手術音声を用いて手術動的情報を取得する場合
手術情報取得部１０９は、手術音声受付部１０６が受け付けた手術音声の特徴を検出して、検出した特徴に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、手術音声受付部１０６が受け付けた手術音声の特徴を検出して、検出した特徴を示す情報を含む手術動的情報を取得する。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。手術情報取得部１０９は、例えば、特徴が検出された場合、あるいは予め指定された特徴が検出された場合に手術動的情報を取得する。検出した特徴を示す情報は、例えば、検出した特徴を示す識別情報や、手術音声について何らかの特徴が検出されたことを示す情報であっても良い。手術情報取得部１０９が検出する手術音声の特徴は、具体的には、音声の有無や、音声の強さ、長さ、音声の高低等の情報である。あるいは医師が発した音声であるか否かの情報である。あるいは、予め指定された文字列の音声の有無であっても良い。例えば、手術情報取得部１０９は、手術音声の音声レベルが予め指定されたしきい値以上の値であれば、音声が有るという特徴を検出し、しきい値未満であれば、音声がないという特徴を検出する。この場合、例えば音声有り、音声なし等を示す識別情報を含む手術動的情報を取得する。あるいは、手術音声の音声レベルが予め指定されたしきい値以上の値であれば、強い音声が有るという特徴を検出する。この場合、例えば強い音声があることを示す識別情報を含む手術動的情報を取得する。また、音声の周波数を検出しその周波数の高さが、予めしきい値以上でれば、音声が高いという特徴を検出する。この場合、例えば、高音の音声があることを示す識別情報を含む手術動的情報を取得する。また、音声の声紋を、予め登録されている医師等の声紋と比較して、一致している場合、医師の音声であるという特徴を検出する。この場合、医師の音声があることを示す手術動的情報を取得しても良いし、医師の識別情報を、比較に用いて声紋の情報と対応付けられた医師の識別情報等から取得しても良い。また、手術音声を音声認識させて文字列に変換し、この文字列が、予め指定された文字列に一致するか否かを判断し、一致する場合、予め指定された文字列を示す音声であるという特徴を検出する。この場合、例えば指定された文字列の音声があることを示す識別情報を含む手術動的情報を取得する。あるいは、手術音声から検出された文字列を含む手術動的情報を取得してもよい。音声認識処理は、公知技術であるので、ここでは詳細な説明は省略する。
【００６７】
なお、手術情報取得部１０９は、手術音声受付部１０６が手術音声を受け付けた場合に、リアルタイムに、受け付けた手術音声の特徴を検出して、検出した特徴に応じて手術動的情報を取得してもよいし、手術音声受付部１０６が受け付けた手術音声を一旦ハードディスク等の記憶媒体等に蓄積した後、蓄積された手術音声を用いてバッチ処理で手術音声の特徴を検出して手術動的情報を取得しても良い。この場合、例えば、手術音声受付部１０６が、手術映像と同期可能なタイムコードの情報を含む手術音声を受け付けるようにし、このタイムコード上の手術音声の特徴が検出された時刻の情報を、手術情報取得部１０９がバッチ処理で得られた手術動的情報が取得された時間的位置の情報として取得し、手術映像との時間的な対応付けを取る際に利用できるようにしても良い。また、この場合、バッチ処理後に、手術音声は自動消去するようにしても良い。なお、手術情報取得部１０９が手術音声を消去しても良いし、図示しない他の手段（例えば、消去手段）が手術音声を消去しても良い。
【００６８】
（５）照明の変化に応じて手術動的情報を取得する場合
手術情報取得部１０９は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する。具体的には、手術情報取得部１０９は、手術中の照明の変化を示す手術動的情報を取得する。照明の変換とは、照明のオンまたはオフや、照度の変更等である。手術中の照明の変化を示す手術動的情報とは、具体的には、照明の変化を示す識別情報（例えば、「照明オン」等）を含む手術動的情報や、照明に動的な変化があったことを示す情報、（例えば「照明変化」）等を含む手術動的情報である。また、変化した照明を特定することが可能な場合、変化した照明を識別する情報を含んでもよい。ただし、ここで取得する手術動的情報は、手術中に情報が取得されたことを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。
【００６９】
手術情報取得部１０９は、例えば、手術映像受付部１０２が受け付けた手術映像を用いて、画像処理により、照明の変化を検出する。例えば、手術映像の時系列に沿った手術映像の２以上のフレーム画像の画像全体、あるいは一部の輝度の変化により、照明がオンされたかオフされたか、あるいは照度が変更されたか否か等を判断する。あるいは照明器具を写している手術映像における照明器具の色の変化から、照明がオンされたかオフされたかを判断してもよい。なお、手術映像から照明についての手術動的情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００７０】
また、手術情報取得部１０９は、手術室内の照明を制御する装置等が、照明を制御するための操作に応じて出力する情報を受け付け、この情報から、手術室内の照明がオンであるかオフであるか、照度が変更されたか等を検出しても良い。この場合、照明を制御する装置は、制御した照明の識別情報を含む情報を、手術情報取得部１０９に送信するようにしても良い。
また、手術情報取得部１０９は、手術室内に設置された照度計等が出力する照度の測定結果を示す情報を受け付け、この照度を示す情報の変化から、手術室内の照明がオンであるかオフであるか、照度が変更されたか等を検出しても良い。この場合、照度計は、照度の測定結果を示す情報を、手術情報取得部１０９に送信するようにしても良い。
【００７１】
なお、この他にも、手術情報取得部１０９は、手術室内等の医療スタッフの動きを検出し、動きに応じて手術動的情報を取得しても良い。医療スタッフは医師や看護士を含む概念である。例えば、医療スタッフの動きの大きさを、手術映像受付部１０２が受け付けた手術映像を用いて、画像処理により検出し、その動きの大きさが大きいか否か、動きの速さが早いか否か等に応じて、手術動的情報を取得しても良い。例えば、動きが大きい場合および速さが早い場合に手術動的情報を取得する。この手術動的情報は、動きの大きさや速さに関して取得したものであることを示す情報を含んでいても良いし、手術中に取得された情報であることを示す情報や、手術に何らかの動的な変化が発生したことを示す情報であっても良い。画像内の医療スタッフの動きは、ＭＰＥＧ等で用いられる動き検出の技術で検出可能である。動きの大きさや速さ等も、動きを示すベクトル等から算出可能である。手術情報取得部１０９は、例えば、検出した動きの大きさや速さが予め用意したしきい値以上であるか否かを判断し、しきい値以上であれば、動きが大きい、速さが早い等の検出結果を得る。ここで取得する手術動的情報は、例えば、動きの大きさが大きい、動きの速さが早い等の医療スタッフの動きの情報を含んでも良いし、医療スタッフの動きに変化が有ったことを示す情報を含むものであっても良い。なお、動きは、手術画像から取得する代わりに、例えば、医療スタッフが保持している、医療スタッフの識別情報等を含むＲＦＩＤタグ（図示せず）の位置情報の変化から検出しても良い。なお、手術映像から上記の動きについての手術動的情報を取得する処理は、手術後に、後述する格納部１１１等に蓄積された手術映像を用いて画像処理を行うことで取得するようにしても良い。
【００７２】
手術情報取得部１０９は、さらに、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得してもよい。手術環境情報は、例えば、一の手術内においてほぼ変化のない、手術が行われる状況全体についての情報と考えても良い。手術環境情報は、手術についての静的な情報と考えても良い。ここで述べる医師情報は、手術する医師（例えば執刀医等）の名前や専門や役職、経歴、所属等に関する情報である。医師情報は、少なくとも医師を識別するための医師識別情報を含むものであることが好ましい。医師識別情報と、医師に関する情報とを対応付けて管理するデータベース等（図示せず）を予め用意しておくことで、医師識別情報を用いて、医師についての情報を結果的に取得することが可能であるからである。医師識別情報は、医師の名前であっても良いし、各医師に個別に割り当てられた文字列（数字列を含む）であっても良い。患者情報は、手術の対象となる患者の名前や、年齢や、身長、体重、現在、あるいは過去の生体情報、手術対象となる患部や、病歴等である。患者情報はカルテの情報であっても良い。患者情報は、少なくとも患者を識別するための患者識別情報を含むものであることが好ましい。患者識別情報と、患者に関する情報とを対応付けて管理するデータベース等（図示せず）を予め用意しておくことで、患者識別情報を用いて、患者についての情報を結果的に取得することが可能であるからである。
【００７３】
手術情報取得部１０９は、例えば、医師識別情報受信部１０７が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する。具体的には、医師識別情報受信部１０７が受信した医師識別情報だけを含む医師情報を有する手術環境情報を取得しても良い。また、手術情報取得部１０９は、医師識別情報受信部１０７が受信した医師識別情報を用いて、予め用意した、上述したような医師識別情報と、医師に関する情報とを対応付けて管理するデータベース等を用いて、検索により医師に関する情報を取得して、取得した情報と医師識別情報とを有する医師情報を取得し、この医師情報を有する手術環境情報を取得しても良い。
【００７４】
また、手術情報取得部１０９は、例えば、患者識別情報受信部１０８が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する。具体的には、患者識別情報受信部１０８が受信した患者識別情報だけを含む患者情報を有する手術環境情報を取得してもよい。また、手術情報取得部１０９は、患者識別情報受信部１０８が受信した患者識別情報を用いて、予め用意した、上述したような患者識別情報と、患者に関する情報とを対応付けて管理するデータベース等を用いて、検索により患者に関する情報を取得して、取得した情報と患者識別情報とを有する患者情報を取得し、この患者情報を有する手術環境情報を取得しても良い。
【００７５】
手術情報取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。手術情報取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７６】
蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像の、手術動的映像に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する。手術動的映像に対応する部分とは、例えば、手術動的情報を取得した際に、撮影部１０１が撮影した、あるいは、手術映像受付部１０２が受け付けた手術映像の時間的な位置である。具体的には、手術映像内のフレームや、フレームを示すタイムコード等である。蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像の、動的な変化を示す部分に、この動的な変化を示す手術動的情報を対応付けて、手術映像と手術情報とを蓄積してもよい。蓄積部１１０が蓄積する手術動的情報は、手術映像内の一部を検索したり、頭出ししたりする際に用いられるインデックス情報と考えてもよい。あるいは、検索や頭出しのためのフラグの情報と考えても良い。ここでの対応付けは、同期と考えても良い。具体的には、蓄積部１１０は、手術映像と手術情報とを後述する格納部１１１に蓄積する。蓄積部１１０は、手術映像の動的な変化を示す部分と、手術動的情報とをどのように対応付けて蓄積しても良い。例えば、手術映像の、手術動的情報が対応する時間的な位置に手術動的情報を多重化して蓄積してもよい。例えば、ＭＰＥＧ等の画像であれば、データの埋め込みが可能であるため、手術動的情報を、手術映像情報の動的変化を示す部分に埋め込むようにしても良い。例えば、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等で手術映像受付部１０２が受け付けた手術映像のフレームの識別情報や、フレーム群（例えばＧＯＰ等）の、テキスト情報等の情報を埋め込み可能な領域に、取得した手術動的情報を埋め込むようにしても良い。また、同様に、手術映像の変化が検出された部分のテキストトラック等に、取得した手術動的情報を埋め込むようにしても良い。また、手術映像の変化があった部分に対応付けて手術動的情報を埋め込む代わりに、手術映像の変化があった部分と、この変化を示す手術動的情報との対応付けを管理する管理情報等を用意し、この情報で両者の対応付けを行うようにしても良い。例えば、蓄積部１１０は、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等で手術映像受付部１０２が受け付けた手術映像のフレームや、フレーム群（例えばＧＯＰ等）の識別情報、例えばフレーム番号等と、手術情報取得部１０９が取得した手術動的情報とを対応付けて管理する管理情報を作成し、蓄積する。この管理情報は、手術映像情報と対応付けて管理しても良いし、手術映像情報内に埋め込むようにしても良い。また、例えば、蓄積部１１０は、手術情報取得部１０９が手術動的情報を取得した時点あるいはその前後等の時刻を示す情報、具体的にはいわゆるタイムコードを図示しない時計や、手術映像受付部１０２が受け付けた手術映像から取得し、このタイムコードと、手術情報取得部１０９が取得した手術動的情報とを対応付けて管理する管理情報を作成し、蓄積するようにしてもよい。タイムコードは、時刻等の絶対的な時間を示す情報であっても良いし、撮影開始からの経過時間等の相対的な時間を示す情報であっても良い。この管理情報は、手術映像情報と対応付けて管理しても良いし、手術映像情報内に埋め込むようにしても良い。なお、蓄積部１１０は、手術動的情報を取得する毎に、手術映像を分割して、分割した手術映像を手術動的情報と対応付けて蓄積するようにしても良い。なお、連続した同じ手術動的情報がある場合、その最も古い手術動的情報と、最も新しい手術動的情報だけを蓄積するようにし、最も古い手術動的情報を、一の動的変化の期間の開始を示す手術動的情報とし、最も新しい手術動的情報を、一の動的変化の期間の終了を示す手術動的情報とし、蓄積するようにしてもよい。また、連続した同じ手術動的情報の最も古いものだけを蓄積してもよい。なお、手術映像受付部１０２が受け付けた手術映像が、複数である場合、各手術映像に手術動的情報を対応付けるようにしても良いし、一部、例えば一の手術映像だけに、手術動的情報を対応付けるようにしても良い。
【００７７】
また、蓄積部１１０は、手術画像を蓄積する際に、適宜エンコードしたり、デコードしたりしてもよい。
【００７８】
また、蓄積部１１０は、手術映像受付部１０２が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する。例えば、蓄積部１１０は、手術映像のファイル名等の識別情報と、手術環境情報とを対応付けて管理する管理情報を用いて、両者の対応付けを管理しても良い。また、手術環境情報を、手術映像内のテキストトラックや、コメント領域等に埋め込むようにしても良い。また、手術映像と手術環境情報とを対応付けるタイミングは問わない。
【００７９】
蓄積部１１０は、通常、ＭＰＵやメモリ等から実現され得る。蓄積部１１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８０】
格納部１１１には、１以上の手術映像と、手術情報とが対応付けて蓄積される。格納部１１１は、物理的に一の記憶媒体で構成されても複数の記憶媒体で接続されてもよい。また、格納部１１１は、ネットワーク接続された格納部であっても良い。格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００８１】
手術情報指定受付部１１２は、手術情報の指定を受け付ける。手術情報の指定とは、例えば、手術情報を検索するための検索キーとなる情報の指定である。手術情報の指定とは、手術映像と対応付けて蓄積された手術情報、あるいはその一部を指定可能な情報であればよい。ここで受け付ける手術情報の指定は、例えば、格納部１１１に蓄積された手術映像内の位置を検索するために用いられる検索キー等と考えても良い。ここでの位置は、手術映像内の時間的な位置であり、手術映像内の期間と考えても、一点と考えても良い。また、ここでの位置は、時間軸上の位置や、手術映像のタイムライン上の位置や、時刻や時間と考えても良い。また、手術映像内のフレームと考えても良い。例えば、手術情報指定受付部１１２は、手術情報として蓄積され得る情報の１以上を受け付ける。手術情報の指定は、手術動的情報の指定であっても、手術環境情報の指定であっても、その両方を含むものであっても良い。ここで手術情報指定受付部１１２が受け付ける手術情報の指定は、少なくとも、１以上の手術動的情報の指定を含むものであることが好ましい。手術情報の指定は、例えは、キーワードであっても良い。また、この手術情報の指定は、手術情報の条件を指定する情報と考えても良い。この手術情報は、上述した手術動的情報として用いられる情報の１以上であっても良いし、手術環境情報として用いられる情報の１以上であっても良い。また、手術動的情報が、数値のデータ等を有している場合、そのデータの値の範囲や大小等を指定する情報であっても良い。あるいは、手術情報の指定は、時系列に沿って蓄積された予め指定された手術動的情報のうちの、蓄積された順番を指定する情報であっても良い。ここでの予め指定された手術動的情報は、全ての手術動的情報であっても良いし、予め指定された属性を有する手術動的情報であっても良いし、一部の手術動的情報を除外した手術動的情報であっても良い。例えば、蓄積された順番が最も古い手術動的情報を指定する情報であっても良い。また、ある手術動的情報の、次に古い手術動的情報や、一つ新しい手術動的情報を指定する情報であっても良い。なお、ここでの予め指定された手術動的情報は、全ての手術動的情報であっても良いし、予め指定された属性を有する手術動的情報であっても良いし、一部の手術動的情報を除外した手術動的情報であっても良い。また、一覧等で表示された手術情報から、所望の手術情報を直接指定しても良い。
【００８２】
手術情報の指定を入力する手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。手術情報指定受付部１１２は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００８３】
手術映像検索部１１３は、手術情報指定受付部１１２が受け付けた手術情報に対応付けられた手術映像を検索する。具体的には、格納部１１１に手術映像と対応付けて蓄積された手術情報から、手術情報指定受付部１１２が受け付けた手術情報の指定が示す手術情報を検出し、検出した手術情報と対応付けられた手術映像を検出する。特に、手術情報指定受付部１１２が受け付けた手術情報の指定が、手術動的情報の指定を含む場合、この指定が示す手術動的情報と対応付けられた手術映像内の時間的な位置、例えばフレーム等を検出する。例えば、手術情報の指定が、文字列である場合、手術動的情報は、この文字列と一致する手術動的情報を検出し、検出した手術動的情報と対応付けられた手術映像内の時間的な位置を検出する。ここでの一致は、完全一致であっても部分一致であっても良い。例えば、手術情報の指定が、一の手術映像について、手術動的情報である「はさみ」を指定する情報であれば、「はさみ」と一致する手術動的情報と対応付けられた時間的な位置を、一の手術映像内で検出する。また、手術情報指定受付部１１２が受け付けた手術動的情報の指定が、手術動的情報の蓄積された順番を指定するものである場合、指定された順番の手術動的情報と対応付けられた手術映像の位置、例えばフレームを検索する。例えば、蓄積された順番がもっともの古い手術動的情報を指定する情報を受け付けた場合、最も古い手術動的情報と対応付けられた手術映像の時間的な位置、例えばフレーム等を検索する。ある手術動的情報の次の手術動的情報を指定するものである場合、ある手術動的情報の次に古い手術動的情報に対応付けられた手術映像の時間的な位置、例えばフレーム等を検出する。また、手術情報の指定が、手術動的情報の値の範囲等の条件を指定する情報である場合、この条件を満たす値を有する手術動的情報と対応付けられた手術映像内の時間的な位置を検出しても良い。なお、ここでの検索は、何らかの手術動的情報が付加されている時間的な位置を検出すること、例えば、内容を問わずインデックスとなる手術動的情報が付加されている位置や、手術中に取得された情報等が変化した位置を示すフラグを検出すること等も検索と考える。
【００８４】
手術映像検索部１１３は、通常、ＭＰＵやメモリ等から実現され得る。手術映像検索部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８５】
出力部１１４は、手術映像検索部１１３が検索した手術映像を出力する。具体的には、手術映像検索部１１３が検索した手術映像内の時間的な位置から手術映像を読み出し、出力する。手術映像を出力する際に、手術映像のデコード等を適宜行って良い。ここでの出力は、モニタ等を用いた手術映像の表示や、手術映像の情報を他の機器等に、ネットワーク等を介して送信することを含む概念である。
【００８６】
出力部１１４は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００８７】
なお、上記の説明では省略したが、音声取得部１０５が取得した手術音声を、手術映像と同期させて、蓄積部１１０が格納部１１１に蓄積するようにしても良い。また、出力部１１４は、手術映像を出力する際に、この手術映像に同期された手術音声を読み出して出力しても良い。
【００８８】
次に、手術映像蓄積装置１の動作の一例について図４のフローチャートを用いて説明する。
【００８９】
（ステップＳ４０１）手術映像蓄積装置１は、図示しない受付部等を介して、手術映像を取得して蓄積する指示をユーザ等から受け付けたか否かを判断する。受け付けた場合、ステップＳ４０２に進み、受け付けていない場合、ステップＳ４２５に進む。
【００９０】
（ステップＳ４０２）医師識別情報受信部１０７は、医師識別情報を受信したか否かを判断する。受信した場合、ステップＳ４０３に進み、受信していない場合、ステップＳ４０４に進む。
【００９１】
（ステップＳ４０３）手術情報取得部１０９は、ステップＳ４０２において受信した医師識別情報を含む医師情報を取得する。取得した医師情報は、図示しない記憶媒体等に一時記憶する。そしてステップＳ４０４に進む。
【００９２】
（ステップＳ４０４）患者識別情報受信部１０８は、患者識別情報を受信したか否かを判断する。受信した場合、ステップＳ４０５に進み、受信していない場合、ステップＳ４０６に進む。
【００９３】
（ステップＳ４０５）手術情報取得部１０９は、ステップＳ４０４において受信した患者識別情報を含む患者情報を取得する。取得した患者情報は、図示しない記憶媒体等に一時記憶する。そして、ステップＳ４０６に進む。
【００９４】
（ステップＳ４０６）手術映像受付部１０２は、手術映像を受け付けたか否かを判断する。手術映像受付部１０２は、例えば、撮影部１０１が取得する一連の手術映像を、フレーム単位や秒単位等で手術映像を受け付ける。受け付ける手術映像は、例えば、直前に受け付けた手術映像の続きのフレームにより構成される手術映像である。なお、この判断処理は、予め指定された時間間隔で行うようにしても良い。例えば、手術映像を受け付けるタイミングであるか否かを判断し、受け付けるタイミングになった時点で、手術映像を受け付けたか否かを判断して良い。受け付けた場合、受け付けた手術映像を、図示しない記憶媒体等に一時記憶して、ステップＳ４０７に進み、受け付けていない場合、ステップＳ４２４に進む。なお、図示しない記憶媒体等に一時記憶する代わりに、蓄積部１１０が格納部１１１に直接蓄積するようにしてもよい。
【００９５】
（ステップＳ４０７）機器操作情報受付部１０３は、機器操作情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ４０８に進み、受け付けていない場合、ステップＳ４０９に進む。
【００９６】
（ステップＳ４０８）手術情報取得部１０９は、機器操作についての手術動的情報を取得する。例えば、ステップＳ４０７において受け付けた機器操作情報に含まれる機器の識別情報を含む手術動的情報を取得する。そして、図示しない記憶媒体等に一時記憶する。
【００９７】
（ステップＳ４０９）手術情報取得部１０９は、ステップＳ４０６で受け付けた手術映像を用いて、手術器具の情報を取得する処理を行う。具体的には、ステップＳ４０６で受け付けた手術映像について、予め図示しない記憶媒体等に用意した、１以上の手術器具の画像と類似する画像を、パターンマッチング等の画像認識処理により検索する。そして、類似する画像、即ち類似度が高い画像が検出された場合、この手術器具の画像に対応付けて予め用意しておいた手術器具の情報、例えば手術器具名を取得する。なお、手術器具のいずれかの画像と類似する画像が、手術映像内において検出できなかった場合、手術器具の情報を取得しない。
【００９８】
（ステップＳ４１０）手術情報取得部１０９は、ステップＳ４０９において、手術器具の情報を取得したか否かを判断する。取得した場合、ステップＳ４１１に進み、取得していない場合、ステップＳ４１２に進む。
【００９９】
（ステップＳ４１１）手術情報取得部１０９は、手術器具についての手術動的情報を取得する。例えば、ステップＳ４０９で取得した手術器具の情報を含む手術動的情報を取得する。
【０１００】
（ステップＳ４１２）機器出力情報受付部１０４は、機器出力情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ４１３に進み、受け付けていない場合、ステップＳ４１６に進む。ここでは、機器出力情報は、手術室内の機器が出力する測定結果等のデータであるとする。
【０１０１】
（ステップＳ４１３）手術情報取得部１０９は、ステップＳ４１２で受け付けた機器出力情報を、手術動的情報として取得する。取得した手術動的情報は、図示しない記憶媒体等に一時記憶する。
【０１０２】
（ステップＳ４１４）手術情報取得部１０９は、ステップＳ４１２で受け付けた機器出力情報が予め指定された範囲内の情報であるか否かを判断する。例えば、機器出力情報に含まれる機器識別情報と対応付けて予め用意されたしきい値と比較して、しきい値以上であるか否かを判断し、しきい値以上であれば、予め指定された範囲内の情報であると判断する。あるいは、しきい値以下であるか否かを判断しても良い。予め指定された範囲内の情報である場合、ステップＳ４１５に進み、範囲内の情報でない場合、ステップＳ４１６に進む。
【０１０３】
（ステップＳ４１５）手術情報取得部１０９は、機器出力情報が予め指定された範囲内の情報となったことを示す手術動的情報を取得する。例えば、機器出力情報に含まれる機器識別情報や、この機器識別情報に対応付けて用意された情報（例えば異常等）を含む手術動的情報を取得する。そして、取得した手術動的情報は、図示しない記憶媒体等に一時記憶する。そして、ステップＳ４１６に進む。
【０１０４】
（ステップＳ４１６）手術音声受付部１０６は、手術音声を受け付ける。受け付けた手術音声は、図示しない記憶媒体等に一時記憶する。
【０１０５】
（ステップＳ４１７）手術情報取得部１０９は、ステップＳ４１６で受け付けた手術音声について、特徴を検出する処理を行う。例えば、手術音声の大きさ、即ち音量レベルが、予め指定されたしきい値以上であるか否かを判断する。そして、しきい値以上であれば、音量レベルについての特徴があることを検出する。あるいは、手術音声に特定のフレーズが含まれているか否かを音声認識処理により判断し、含まれている場合、フレーズについて特徴があることを検出する。
【０１０６】
（ステップＳ４１８）手術情報取得部１０９は、ステップＳ４１７で手術音声について特徴が検出されたか否かを判断する。特徴が検出された場合、ステップＳ４１９に進み、特徴が検出されなかった場合、ステップＳ４２０に進む。
【０１０７】
（ステップＳ４１９）手術情報取得部１０９は、手術音声の特徴についての手術動的情報を取得する。
【０１０８】
（ステップＳ４２０）手術情報取得部１０９は、手術中の照明の変化を検出する処理を行う。例えば、ステップＳ４０６で受け付けた手術映像と、直前に蓄積部１１０が蓄積した手術映像との、輝度の平均値や、画像の最も明るい部分の色温度等をそれぞれ算出して比較し、その差の絶対値が、予め指定された値以上であるか否かを判断し、値以上であれば、照明が変化したと判断する。
【０１０９】
（ステップＳ４２１）手術情報取得部１０９は、照明の変化が検出されたか否かを判断する。照明の変化が検出された場合、ステップＳ４２２に進み、検出されなかった場合、ステップＳ４２３に進む。
【０１１０】
（ステップＳ４２２）手術情報取得部１０９は、照明の変化について手術動的情報を取得する。
【０１１１】
（ステップＳ４２３）蓄積部１１０は、手術情報取得部１０９がステップＳ４０３で取得した医師情報およびステップＳ４０５で取得した患者情報とを含む手術環境情報と、手術情報取得部１０９がステップＳ４０８、ステップＳ４１１、ステップＳ４１３、ステップＳ４１５、ステップＳ４１９、およびステップＳ４２２で取得した手術動的情報と、ステップＳ４０６で受け付けた手術映像とを対応付けて、格納部１１１に蓄積する。手術情報が取得できなかった場合、手術情報を除いて手術映像を蓄積する。なお、ここでの手術情報の蓄積は、手術情報の手術映像に対する多重化であっても良い。そして、ステップＳ４０２に戻る。
【０１１２】
（ステップＳ４２４）手術映像受付部１０２は、最後に手術映像を受け付けてから予め指定した所定の時間が経過したか否かを判断する。所定の時間経過した場合、ステップＳ４０１に戻り、経過していない場合、ステップＳ４０６に戻る。なお、この処理を行う代わりに、手術映像の受付を終了する指示を、図示しない受付部等が受け付けたか否か等の判断を行うようにしても良い。
【０１１３】
（ステップＳ４２５）手術情報指定受付部１１２は、手術情報の指定を受け付けたか否かを判断する。受け付けた場合、ステップＳ４２６に進み、受け付けていない場合、ステップＳ４０６に戻る。
【０１１４】
（ステップＳ４２６）手術映像検索部１１３は、ステップＳ４２５で受け付けた手術情報の指定に対応する手術映像内の、手術情報の指定に対応する時間的な位置を検索する。具体的には、手術情報の指定に含まれる手術環境情報の指定に対応する手術環境情報と対応付けられた手術映像内において、手術情報の指定に含まれる手術動的情報の指定に対応する手術動的情報と対応付けられた時間的な位置を検出する。ここでの手術映像内の時間的な位置は、手術映像内の手術動的情報と対応付けられたフレームと考えてもよい。あるいは、始点と終点を有する範囲であっても良い。また、ここでの位置は、時間軸上の位置や、時間と考えても良い。
【０１１５】
（ステップＳ４２７）出力部１１４は、ステップＳ４２６で検索した手術映像内の時間的な位置から順次読み出して出力する。そして、ステップＳ４０１に戻る。
【０１１６】
なお、図４のフローチャートにおいて、手術情報取得部１０９は、例えば１秒間隔や、複数フレーム間隔等の所定の時間間隔で、手術動的情報等の手術情報を取得する処理を行うようにしても良い。
【０１１７】
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１１８】
以下、本実施の形態の具体例について説明する。
【０１１９】
図５は、本実施の形態の手術映像蓄積装置１を有する手術映像蓄積システムの概略図である。ここでは、手術映像蓄積システムを設置した手術室４００内の状況を模式的に示している。撮影部１０１は、ここでは患者の手術箇所を撮影するカメラであるとする。また、音声取得部１０５は手術室４００内に設置されたマイクロフォンであるとする。内視鏡５１０は、内視鏡５１０の動作を制御したり、内視鏡５１０が出力する情報の入力インターフェースとして機能する制御装置５１１と、内視鏡の映像を表示するモニタ５１２とに接続されて、内視鏡システムを構成している。この内視鏡システムは、図２に示した機器に相当する。制御装置５１１は、手術映像蓄積装置１と接続されており、内視鏡５１０に対して、医師が予め指定された操作を行うと、この操作を示す情報が、制御装置５１１から、手術映像蓄積装置１に対して送信される。また、手術映像蓄積装置１は、患者の心拍数を測定する心拍計５００と接続されている。心拍計５００は、図３に示した機器に相当する。
【０１２０】
また、手術室内の医師には医師識別情報が格納された端末が装着されており、同様に、手術室内には，患者に装着されていた、患者識別情報を有する端末が持ち込まれているものとする。
【０１２１】
図６は、医師および患者に装着された端末を示すための図である。端末５２１および端末５２２は、パッシブ型のＲＦＩＤタグが埋め込まれたカード型の端末である。端末５２１は、医師識別情報が格納された端末であり、医師５２３が装着している。端末５２１に格納されている医師識別情報は、ここでは、例として「ＤＲ１００１２」であるとする。また、端末５２２は、患者識別情報が格納された端末であり、患者５２４が装着している。端末５２２に格納されている患者識別情報は、ここでは、例として「ＰＴ５００３３」であるとする。ただし、手術中は、邪魔になるため、取り外されていても良い。ここでは、一例として、これらのカード型端末５２１および端末５２２の表面には、医師５２３や患者５２４の名前が記載されており、医師５２３や患者５２４の名札を兼用しているものとする。
【０１２２】
図５に示した手術室４００の入口には、医師および患者に装着された端末５２１および端末５２２から送信される医師識別情報および患者識別情報を受信するための、アンテナと一体化されたＲＦＩＤタグリーダライタ５２０が設置されている。
【０１２３】
なお、ここでは、一例として、手術情報取得部１０９は、手術映像受付部１０２が受け付ける手術映像に含まれるタイムコードが示す１秒間隔で、手術情報を取得する処理を行うものとする。例えば、タイムコードが示すフレーム数の値が「０１」となった時点、例えば「００：１２：１１．０１」となった時点で、手術情報を取得する処理を行うものとする。なお、ここでのタイムコードは、「時：分：秒．フレーム」を示すものとする。また、フレームを省略する場合は、「時：分：秒」となる。
【０１２４】
まず、手術中の映像を記録するために、手術映像蓄積装置１に対して、ユーザが、手術映像を蓄積する指示を与えたとすると、手術映像蓄積装置１は、撮影部１０１は手術映像の撮影を開始する。手術映像受付部１０２は、撮影部１０１が出力する手術映像の受け付を開始する。そして、蓄積部１１０は、手術映像受付部１０２が受け付けた手術映像を、順次、格納部１１１に蓄積する。
【０１２５】
また、音声取得部１０５は、手術中の音声の取得を開始する。手術音声受付部１０６は、音声取得部１０５が取得した手術音声の受け付けを開始する。ここでは、一例として、蓄積部１１０は、手術音声受付部１０６が受け付けた手術音声を上述した手術映像と同期させて、順次格納部１１１に蓄積する。
【０１２６】
次に、医師および患者が手術室４００に入出する際に、医師および患者の端末５２１および端末５２２をＲＦＩＤタグリーダライタ５２０のアンテナにかざすと、ＲＦＩＤタグリーダライタ５２０が端末５２１および端末５２２にそれぞれ格納されている医師識別情報および患者識別情報を読み出し、手術映像蓄積装置１に送信する。手術映像蓄積装置１の医師識別情報受信部１０７は、ＲＦＩＤタグリーダライタ５２０から送信される医師識別情報を受信する。ここでは、例えば、医師識別情報「ＤＲ１００１２」を受信する。また、手術映像蓄積装置１の患者識別情報受信部１０８は、ＲＦＩＤタグリーダライタ５２０から送信される患者識別情報を受信する。ここでは、例えば、患者識別情報「ＰＴ５００３３」を受信する。
【０１２７】
手術情報取得部１０９は、医師識別情報受信部１０７が受信した医師識別情報を含む医師情報を取得する。ここでは、医師識別情報「ＤＲ１００１２」そのものを医師情報として取得するものとする。
【０１２８】
また、手術情報取得部１０９は、患者識別情報受信部１０８が受信した患者識別情報を含む患者情報を取得する。ここでは、患者識別情報「ＰＴ５００３３」そのものを患者情報として取得するものとする。
【０１２９】
そして、蓄積部１１０は、手術映像受付部１０２が受け付けた手術映像を、医師情報および患者情報を含む手術環境情報と対応付けて格納部１１１に蓄積する。ここでは例として、手術環境情報は、手術映像の各フレームに対応付けられるのではなく、手術映像全体に対して対応付けられるものとする。例えば、手術映像のファイルを、医師情報および患者情報を含む手術環境情報と対応付けて蓄積する。
【０１３０】
図７は、撮影部１０１が撮影した手術映像、即ち、手術映像受付部１０２が受け付ける手術映像を模式的に示す図である。手術映像は、複数のフレームにより構成されており、ここでは、各フレームにタイムコードが付与されているものとする。ここでのタイムコードは、手術映像が撮影された日時を示すものであるとする。例えば、手術映像受付部１０２は、図７に示したような手術映像の、１フレームや複数フレームの画像を順次受け付ける。
【０１３１】
ここで、例えば、医師が、内視鏡５１０を使用するために、内視鏡システムを構成する制御装置５１１、モニタ５１２、および内視鏡５１０に電源を投入し、内視鏡５１０を使用可能な状態にしたとする。内視鏡システムの制御装置５１１は、内視鏡５１０に電源が投入されたことを検出して、内視鏡５１０に電源が投入されたことを示す機器操作情報、例えば、機器の操作を識別する操作識別情報「電源ＯＮ」と、内視鏡５１０の機器識別情報「内視鏡ＥＳ００２」を手術映像蓄積装置１に送信する。
【０１３２】
手術映像蓄積装置１の機器操作情報受付部１０３は、内視鏡システムの制御装置５１１から送信される機器操作情報を受け付け、受け付けた機器操作情報を図示しない記憶媒体等に一時記憶する。
【０１３３】
図８は、機器操作情報受付部１０３が受信して一時記憶した機器操作情報の一例を示す図である。機器操作情報は、「機器ＩＤ」と「操作ＩＤ」という項目を有している。「機器ＩＤ」は、操作を受け付けた機器の識別情報である。また、「操作ＩＤ」は、機器に対して行われた操作を識別するための操作識別情報である。
【０１３４】
手術情報取得部１０９は、図８に示すような機器操作情報受付部１０３が受け付けた機器操作情報を含む手術動的情報を取得する。なお、ここでは、取得する手術動的情報は、図８に示すような機器操作情報をテキストで表した情報、例えば「内視鏡ＥＳ００２：電源ＯＮ」であるとする。
【０１３５】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「内視鏡ＥＳ００２：電源ＯＮ」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。なお、ここでの対応付けは、手術映像の、手術動的情報を取得した際に受け付けたフレームに対応したテキストトラックに、手術動的情報を配置することであっても良いし、手術動的情報を取得した際に受け付けたフレームに対応したタイムコードや、フレームに割り当てられたフレーム番号等と対応付けた手術動的情報を、手術映像と対応付けて蓄積することであっても良い。ここでは、特に、１秒単位で手術動的情報を取得する処理を行っているため、フレーム数を省略したタイムコードと手術動的情報とを対応付けるようにしても良い。
【０１３６】
また、手術情報取得部１０９は、手術映像受付部１０２が順次受け付ける手術映像に対して、順次、手術器具の情報を取得する処理を行う。
【０１３７】
図９は、予め指定された手術器具の主要部の静止画像を管理する手術器具画像管理情報である。手術器具画像管理情報は、例えば、図示しない記憶媒体等に蓄積されている。手術器具画像管理情報は、「器具画像」および「器具ＩＤ」という項目を有している。「器具画像」は、手術器具の主要部を示す画像情報である。画像情報のデータ形式等は問わない。「器具ＩＤ」は、手術器具の器具名等の識別情報である。ここでは、器具の名称であるとする。
【０１３８】
図１０は、手術映像受付部１０２が受け付けた手術映像の１フレームの一例を示す図である。
【０１３９】
手術情報取得部１０９は、図９に示す「器具画像」の情報を、順次読み出し、図１０に示すような手術映像受付部１０２が受け付けた手術映像の１フレームについて、図９に示す「器具画像」と適合する画像を検出する画像認識処理、例えばパターンマッチング等を行う。そして、適合する「器具画像」が検出された場合、この「器具画像」に対応付けられた「器具ＩＤ」の値を読み出す。
【０１４０】
例えば、画像認識処理により、図１０に示す手術映像の１フレームの領域９１内に、図９に示した「器具ＩＤ」が「メス」である「器具画像」と適合する画像が検出されたとする。手術情報取得部１０９は、この「器具画像」に対応する「器具ＩＤ」である「メス」を手術器具画像管理情報から読み出し、予め用意された「手術器具：」という文字列を先頭に付加することで、手術動的情報である「手術器具：メス」を取得する。
【０１４１】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「手術器具：メス」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１４２】
また、ここでは、心拍計５００は、患者の心拍数を随時取得しており、取得した心拍数の値と、心拍計５００自身の機器の識別情報とを対応付けた情報である機器出力情報を、予め指定されたタイミング、例えば心拍数の値が取得されたタイミング等で、出力するものであったとする。そして、例えば、心拍計５００は、ある出力タイミングで、心拍数「４２」と、心拍計５００の機器識別情報である「心拍計ＨＢ５００１」とを組み合わせた情報を出力したとする。
【０１４３】
機器出力情報受付部１０４は、心拍計５００から送信される機器出力情報を受け付け、受け付けた機器出力情報を、図示しない記憶媒体等に一時記憶する。
【０１４４】
図１１は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報の一例を示す図である。機器出力情報は、「機器ＩＤ」と「出力値」という項目を有している。「機器ＩＤ」は、機器出力情報を出力した機器の識別情報である。また、「出力値」は、機器出力情報を出力した機器が出力する値、例えば測定値や、測定値を用いて算出した値等である。
【０１４５】
手術情報取得部１０９は、まず、機器出力情報受付部１０４が受信して一時記憶した機器出力情報を、手術動的情報の一つとして取得する。具体的には、機器出力情報に含まれる「出力値」を、「機器ＩＤ」が示す機器の出力値として取得する。つまり「心拍計ＨＢ５００１」の出力値、即ち心拍数が「４２」であることを示す手術動的情報「心拍計ＨＢ５００１：４２」を取得する。
【０１４６】
さらに手術情報取得部１０９は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報の「出力値」が、機器出力情報に含まれる「機器ＩＤ」と対応付けて予め用意された異常値を検出するための条件を満たすか否かを判断する。例えば、ここでは、「機器ＩＤ」が「心拍計」という文字列を含む機器の出力値の異常を判断するための条件として、「出力値が５０以下である」、という条件が予め図示しない記憶媒体等に用意されていたとすると、手術情報取得部１０９は、機器出力情報受付部１０４が受信して一時記憶した機器出力情報に含まれる「機器ＩＤ」である「心拍計ＨＢ５００１」を読み出し、この「心拍計ＨＢ５００１」が部分一致する「機器ＩＤ」と対応付けられた条件として、「心拍数」という文字列を含む「機器ＩＤ」と対応付けられた、「出力値が５０以下である」という条件を記憶媒体等から検索により読み出す。そして、機器出力情報に含まれる出力値の値が、「５０」以下であるか否かを判断する。ここでは、機器出力情報に含まれる「出力値」は「４２」で「５０」以下であると判断される。これにより、手術情報取得部１０９は、機器出力情報に含まれる「機器ＩＤ」が「心拍計ＨＢ５００１」である機器の「出力値」が異常であると判断する。そして、予め上述した条件等と対応付けて用意された、判断結果が「異常」である場合に用意された文字列を、図示しない記憶媒体等から読み出す。例えば、読み出す文字列は、「心拍数：異常」である。手術情報取得部１０９は、この文字列を、手術動的情報として取得する。なお、「出力値」が「機器ＩＤ」と対応付けられた条件を満たさない場合、この「出力値」の値だけを手術動的情報として取得する。
【０１４７】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「心拍計ＨＢ５００１」の出力値「４２」と、「心拍数：異常」とを、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。なお、手術動的情報「心拍数：異常」が取得できなかった場合、手術動的情報の一つである「心拍計ＨＢ５００１」の出力値「４２」だけを、手術映像のフレームと対応付けて格納部１１１に蓄積する。
【０１４８】
図１２は、手術音声受付部１０６が受け付けた手術音声を示す模式図である。
【０１４９】
手術情報取得部１０９は、手術映像受付部１０２が手術映像（例えば手術映像のフレーム等）を受け付けた際に、手術音声受付部１０６が受け付けた手術音声から、音声認識処理等により、予め指定された条件を示す音声を検出する処理を行う。例えば、ここでは、異常が発生したことを示す音声を検出するために、予め指定された音量よりも大きな音量の音声が出力されたか否かを判断する。具体的には、８０ｄＢ異常の音の大きさが出力されたか否かを判断する。通常、異常時には、人間の声は大きくなると考えられるため、音声の大きさで、異常が発生したか否かを判断する。
【０１５０】
例えば、手術映像を受け付けた際の手術音声の大きさが、「９２ｄＢ」であったとすると、手術情報取得部１０９は、この手術音声が、異常が発生したことを示す音声であると判断する。そして、上記の予め指定された条件と対応付けて予め用意された文字列である「音声：異常」を手術動的情報として取得する。
【０１５１】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「音声：異常」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１５２】
また、手術情報取得部１０９は、手術映像受付部１０２が新たな手術映像を受け付けた場合に、この新たに受け付けた手術映像のフレームと、その直前に受け付けた手術映像のフレームとを比較して照明の変化を検出する。例えば、比較する手術映像のフレームを構成する画素の平均輝度をそれぞれ算出して、その差が、予め指定された値以上であるか否かによって、照明が追加されたか否かを判断する。手術映像受付部１０２が受け付けた手術映像の直前に受け付けた手術映像は、格納部１１１から読み出しても良いし、予め直前に蓄積した手術映像と同じ手術映像を比較用にメモリ等の記憶媒体に保存しておくようにし、この手術画像を読み出しても良い。
【０１５３】
図１３は、手術映像から照明を検出する処理を説明するための、手術映像を示す図である。図１３（ａ）は、手術映像受付部１０２が受け付けた新たな手術映像のフレーム、図１３（ｂ）は、手術映像受付部１０２が直前に受け付けた手術映像のフレームである。
【０１５４】
例えば、図１３（ａ）の手術映像のフレームから算出した画素の平均輝度の値が、「１７８」、図１３（ｂ）の手術映像のフレームから算出した画素の平均輝度の値が、「１２０」であったとする。但し、ここでの平均輝度の値は、「０」から「２５６」までの間であるとする。この場合、平均輝度の差は、１７８−１２０＝５８となる。そして、この差が、照明を追加したことを示す値「３０」以上であるか否かを検出する。ここでは、差が「３０」以上であるため、照明が追加されたこととなる。このため、差が「３０」以上である場合に取得される手術動的情報として予め用意された「照明変化：追加」という手術動的情報を、手術情報取得部１０９が取得する。
【０１５５】
なお、一の画像内の、予め指定された領域の平均輝度の差や任意の位置の輝度の差が、予め指定された値以上であるか否かを検出し、予め指定された値以上である場合に、例えばスポットライトが点灯されたこと等を示す手術動的情報を取得するようにしても良い。
【０１５６】
蓄積部１１０は、手術情報取得部１０９が取得した手術動的情報である「照明変化：追加」を、手術映像受付部１０２が受信した手術映像のフレームと対応付けて格納部１１１に蓄積する。なお、ここでの手術映像のフレームは、手術情報取得部１０９が手術動的情報を取得した際に取得したフレームである。ここでの対応付けは、機器操作情報の場合と同様である。
【０１５７】
以上のように、手術環境情報および手術動的情報を取得する処理およびこれらの手術環境情報および手術動的情報を含む手術情報を、手術映像と対応付けて蓄積する処理を繰り返し行うことで、手術情報と対応付けた手術映像を、格納部１１１に蓄積することができる。
【０１５８】
なお、この具体例においては、手術情報取得部１０９が一の手術動的情報を取得する毎に、蓄積部１１０が、手術映像受付部１０２が受け付けた手術映像と手術動的情報とを対応付けて蓄積するように説明しているが、実際には、手術映像受付部１０２が手術映像（例えばフレーム）を受け付けた直後にほぼ同時に取得された複数の手術動的情報を、同時に、手術映像受付部１０２が受け付けた手術映像（例えばフレーム）と対応付けて蓄積するようにしてよい。
【０１５９】
ここで、格納部１１１に蓄積された手術映像と手術情報とが、対応関係を管理する管理情報を用いて管理されている場合の一例を示す。
【０１６０】
図１４は、格納部１１１に蓄積された手術映像と手術情報とを対応付けて管理する手術情報管理情報を示す図である。手術情報管理情報は、「手術映像」と、「ファイル名」と、「作成日」と、「手術環境情報」と、「手術動的情報ファイル」という項目を有している。「手術環境情報」は、更に「医師情報」および「患者情報」という項目を有している。「手術映像」は、蓄積された手術映像である。なお、手術映像には、タイムコードが埋め込まれている、もしくは対応付けられているものとする。「ファイル名」は手術映像のファイル名であり、例えば、予め用意された文字列と、連番や日付との組合せ等が用いられる。ここでは、一例として、一の手術中に取得された手術映像が一のファイルを構成するものとする。「作成日」は、手術映像のファイルが作成された最新の日付である。「医師情報」は、手術情報取得部１０９が取得した医師情報である。「患者情報」は、手術情報取得部１０９が取得した患者情報である。また、「手術動的情報」は、格納部１１１に蓄積された手術映像と、手術情報取得部１０９が取得した手術動的情報との対応関係を管理する手術動的情報管理ファイルのファイル名である。
【０１６１】
手術映像は、図１４に示す手術情報管理情報によって、医師情報および患者情報を含む手術環境情報と対応付けて管理されている。また、手術映像と、当該手術映像に関して取得された手術動的情報とは、手術動的情報管理ファイルにより管理されている。
【０１６２】
図１５は、格納部１１１に蓄積された手術映像と、手術動的情報との対応関係を管理する手術動的情報管理ファイルを示す図である。この手術動的情報管理ファイルは、図１４における「ファイル名」が「ＯＰ００１」である手術映像と対応付けられた手術動的情報管理ファイル「ＯＰ００１＿ＭＦ」であるとする。手術動的情報管理ファイルは、「タイムコード」と、「手術動的情報」とを有する。「タイムコード」は、手術映像のタイムコードに同期したタイムコードであり、手術情報取得部１０９が手術動的情報を取得した際に、手術映像受付部１０２が受け付けていた手術映像のフレームに対応付けられたタイムコードである。ここでは、手術動的情報を取得する処理が、１秒間隔で行われているため、ここに蓄積されているタイムコードはフレーム数を省略したものを用いてる。「手術動的情報」は、手術情報取得部１０９が取得した手術動的情報である。ここでは、様々な手術動的情報の同じタイムコードと対応付けられたもの同士を、まとめて表示しているが、取得の仕方が異なる手術動的情報を異なる項目で管理するようにしても良い。
【０１６３】
なお、図１４および図１５においては、手術動的情報を、手術動的情報管理ファイルを用いて、手術映像と対応付けて管理する例を示したが、手術動的情報を、この手術動的情報が取得された際に手術映像受付部１０２が受け付けていた手術映像（フレーム）のテキスト等のデータを配置できる領域や、このフレームと対応した手術映像ファイルのテキストトラック上の時間的な位置に、配置するようにしても良い。
【０１６４】
図１６は、フレームのデータ領域に手術動的情報が配置された手術映像ファイルの一例を示す模式図である。即ち、手術動的情報が多重化された手術映像ファイルの一例を示す図である。図において、映像領域１５０には、手術映像が配置されており、データ領域１５１には、手術映像のフレームと対応付けて手術動的情報が配置されている。また、タイムコード領域１５２には、各フレームのタイムコードが配置されている。なお、ここでは、説明の便宜上、１秒間隔でフレームの画像を示しているが、通常は、フレーム間にも複数のフレームが存在しており、手術動的情報は、１秒間隔内のフレームのうちの少なくとも一つ、例えば、各秒の最初のフレーム等と対応付けられている。
【０１６５】
ここで、手術映像を取得する処理の終了後に、手術映像を検索して表示する処理を行う場合について説明する。
【０１６６】
図１７は、手術映像を検索するための検索条件を入力する入力画面を示す図である。
【０１６７】
まず、例えば医師識別情報が「ＤＲ１００１２」である医師が、患者識別情報が「ＰＴ５００３３」である患者に対して行った手術内容の映像の、主要な部分を編集してまとめるために、まず主要な部分の映像を確認しようとしたとする。
【０１６８】
まず、医師は、図１７に示すような入力画面１６０をモニタ等に表示させ、医師情報を指定するためのフィールド１６１および患者情報を指定するためのフィールド１６２に医師識別情報「ＤＲ１００１２」および患者識別情報「ＰＴ５００３３」をそれぞれ入力し、検索ボタン１６３をマウス等を操作して押したとする。
【０１６９】
検索ボタン１６３が押されると、手術情報指定受付部１１２は、フィールド１６１およびフィールド１６２にそれぞれ入力された医師識別情報「ＤＲ１００１２」および患者識別情報「ＰＴ５００３３」を受け付ける。
【０１７０】
手術映像検索部１１３は、図１４に示した手術情報管理情報において、手術情報指定受付部１１２が受け付けた医師情報の指定である「ＤＲ１００１２」と一致する「医師情報」を有し、かつ手術情報指定受付部１１２が受け付けた患者情報の指定である「ＰＴ５００３３」と一致する「患者情報」を有するレコードを検出し、検出したレコードのファイル名と、プレビュー画像を取得する。プレビュー画像として、例えば、手術映像のうちの、予め指定された手術動的情報と対応付けられたフレームの画像を取得するものとする。予め指定された手術動的情報は、ここでは、「手術器具：」という文字列、「異常」という文字列、「照明変化：」という文字列のいずれかを含む手術動的情報であるとする。プレビュー画像はサムネイル画像と考えてもよい。
【０１７１】
ここでは、例えば、「ＤＲ１００１２」と一致する「医師情報」を有し、かつ「ＰＴ５００３３」と一致する「患者情報」を有するレコードが検出され、そのファイル名が、「ＯＰ００１」であったとする。手術映像検索部１１３は、このファイル名「ＯＰ００１」と、この手術映像に対応付けられた手術動的情報のうちの、「手術器具：」という文字列、「異常」という文字列、「照明変化：」という文字列のいずれかを含む手術動的情報を検索し、検出した手術動的情報と対応付けられたフレームの画像を取得する。
【０１７２】
出力部１１４は、手術映像検索部１１３が検出したファイル名「ＯＰ００１」と、手術映像検索部１１３が検出したフレームの画像を格納部１１１から読み出し、マトリクス状に並べてモニタ等に表示する。なお、読み出したフレームと対応付けられたタイムコードや、手術動的情報も読み出して、表示しても良い。
【０１７３】
さらに、検索した手術映像において、医師が、心拍数に異常が生じた箇所と、メスを持った箇所の手術映像だけを閲覧したいと考え、図１７と同様の検索のための入力画面を表示させ、手術動的情報を絞り込むための条件を指定するフィールドである動的条件フィールド１６５に「心拍数：異常、メス」という文字列を入力したとする。なお、「、」は、ＯＲ条件であることを示す文字列であるとする。そして、検索ボタン１６３をマウス等を操作して押したとする。
【０１７４】
検索ボタン１６３が押されると、手術情報指定受付部１１２は、動的条件フィールド１６５に入力された情報を、手術動的情報を絞り込むための条件として受け付ける。
【０１７５】
手術映像検索部１１３は、先に検出したファイル名が「ＯＰ００１」である手術映像に対応付けられた、図１５に示すような手術動的情報管理ファイルにおいて、「心拍数：異常」または「メス」のいずれかと部分一致する「手術動的情報」を有するレコードを検出し、検出したレコードのタイムコードを取得する。ただし、ここでは、例として、同じ手術動的情報が連続して現れる場合には、連続した手術動的情報のうちの最も古いものに対応したタイムコードだけを取得する。例えば、「００：１２：１２」から「００：１２：１６」までのタイムコードにすべて「心拍数：異常」という手術動的情報が対応付けられていた場合、「心拍数：異常」に対応したタイムコードとして「００：１２：１２」だけを取得するようにしてもよい。
【０１７６】
例えば、図１５に示す手術動的情報管理ファイルにおいて、タイムコードが「００：０５：３７」の際の「手術動的情報」は「メス」という手術動的情報を含むため、このタイムコードが取得される。
【０１７７】
出力部１１４は、手術映像検索部１１３が検出したタイムコードに対応したフレームの画像を、プレビュー画像として格納部１１１に格納されているファイル名が「ＯＰ００１」である手術映像から読み出し、モニタ等にマトリクス状に並べて表示する。
【０１７８】
図１８は、手術映像内のフレームの検索結果を示す図である。各フレームは、「心拍数：異常」または「メス」のいずれかと部分一致する手術動的情報と対応付けられたフレームの画像である。これらのフレームの画像は、手術映像内の主要なシーンを示す画像と考えても良い。なお、ここでは絞込の検索を行う例を示したが、最初から、ユーザが入力する手術環境情報と手術動的情報とを指定する情報を用いて、検索を行うようにしても良い。
【０１７９】
そして、例えば、医師等のユーザが、図示しない受付部等を介して、一のフレームの画像を選択して、再生する指示を与えると、出力部１１４は、指定されたフレームに対応するタイムコードの時間的な位置から手術映像を読み出し、手術映像の再生を開始する。
【０１８０】
また、上記の検索の代わりに、手術情報指定受付部１１２が受け付けた、予め指定された手術動的情報の蓄積された順番を指定する情報によって指定される蓄積順番の手術動的情報と対応付けられた手術映像の時間的な位置を検索して、この時間的な位置から手術映像を出力できるようにしても良い。例えば、予め指定された手術動的情報、例えば手術の状態が変化した時間的な位置を示す手術動的情報と対応付けられたフレームを先頭とした手術映像を、医師等のユーザの指示により、蓄積順番が古いものから順番に読み出して表示できるようにしても良い。例えばインデックスとなる手術動的情報と対応付けられたフレームごとに、蓄積順番の古いものから順番に手術映像を頭出しして出力してもよい。
【０１８１】
なお、上記の具体例においては、検索のための手術情報の指定として、手術動的情報等に含まれると考えられる文字列の情報、例えばキーワードを入力するようにしたが、手術動的情報の値の範囲等を指定するようにしても良い。例えば「心拍計」の「出力」が、「６０以下」となっている状態を指定するための手術情報の指定を行って、「心拍計」と「出力」と一致する文字列を含む手術動的情報であって、「６０」以下の数値を含む手術動的情報を検索するようにし、検出した手術動的情報に対応付けられたタイムコードを取得して、手術映像のフレームを検出するようにしても良い。
【０１８２】
以上、本実施の形態によれば、手術映像と対応付けて手術動的情報を蓄積するようにしたことにより、再利用が容易な手術映像を蓄積することができる。例えば、手術動的情報を検索することで、手術映像内の時間的な位置を適切に検索して出力することが可能となる。
【０１８３】
これにより、例えば、手術映像中の医学的に有意と考えられる部分を容易に検索することが可能となり、手術映像の利便性が向上し、手術映像の価値を高めることができる。
【０１８４】
特に手術動的情報として、手術中に取得される情報等の変化を示す情報を取得するようにし、手術映像の時間的な位置を、手術動的情報を用いて検索することで、手術中に生じた変化がある箇所の手術映像を検索して表示することができ、手術映像の効率的な利用が可能となる。
【０１８５】
なお、本実施の形態においては、必ずしも、手術映像受付部１０２が手術映像を受け付けた場合に、リアルタイムに手術動的情報等の手術情報を取得する処理や、手術情報を手術映像に対応付ける処理を行う必要はない。例えば、手術映像蓄積装置１に入力される機器操作情報等に手術映像と同期可能なタイムコード等の情報が含まれる場合、このタイムコードを用いることで、機器操作情報から取得した手術動的情報と手術映像との同期がとれるから、一旦、機器操作情報等の情報を、格納部１１１や図示しない記憶媒体等に一旦蓄積後、蓄積した機器操作情報等を用いて上記と同様に手術動的情報を取得し、取得した手術動的情報をタイムコード等を用いて、手術映像と対応付けて蓄積するようにしてもよい。
【０１８６】
なお、手術情報取得部１０９が、手術中に取得される情報等に変化があったことを示す手術動的情報を取得する場合、蓄積部１１０は、変化があったことを示す手術動的情報を最初に取得した場合や変化が終了した場合にのみ、手術映像と対応付けて蓄積してもよい。例えば変化の発生や終了は、その直前に同じ手術動的情報が取得されたか否かにより判断可能である。
【０１８７】
なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１８８】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段（情報送信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１８９】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【０１９０】
また、上記各実施の形態では、手術映像蓄積装置がスタンドアロンである場合について説明したが、手術映像蓄積装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【０１９１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０１９２】
なお、上記各実施の形態における手術映像蓄積装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、手術中の映像である手術映像を１以上受け付ける手術映像受付部と、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、手術映像受付部が受け付けた１以上の手術映像の、手術動的情報に対応する部分に、手術動的情報を対応付けて、手術映像と手術情報とを蓄積する蓄積部として機能させるためのプログラムである。
【０１９３】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
【０１９４】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１９５】
図１９は、上記プログラムを実行して、上記実施の形態による手術映像蓄積装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【０１９６】
図１９において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０１９７】
図２０は、コンピュータシステム９００の内部構成を示す図である。図２０において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【０１９８】
コンピュータシステム９００に、上記実施の形態による手術映像蓄積装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。
【０１９９】
プログラムは、コンピュータ９０１に、上記実施の形態による手術映像蓄積装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【０２００】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２０１】
以上のように、本発明にかかる手術映像蓄積装置等は、手術映像を蓄積する装置として適しており、特に、手術映像を効率的に活用できるよう蓄積する装置等として有用である。
【符号の説明】
【０２０２】
１ 手術映像蓄積装置
５０、６０ 機器
５１ 操作受付部
５２、６２ 機器識別情報格納部
５３、６３ 送信部
６１ 出力用情報取得部
１０１ 撮影部
１０２ 手術映像受付部
１０３ 機器操作情報受付部
１０４ 機器出力情報受付部
１０５ 音声取得部
１０６ 手術音声受付部
１０７ 医師識別情報受信部
１０８ 患者識別情報受信部
１０９ 手術情報取得部
１１０ 蓄積部
１１１ 格納部
１１２ 手術情報指定受付部
１１３ 手術映像検索部
１１４ 出力部
【特許請求の範囲】
【請求項１】
手術中の映像である手術映像を１以上受け付ける手術映像受付部と、
手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、
前記手術映像受付部が受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積部とを備えた手術映像蓄積装置。
【請求項２】
手術に用いられる機器が、手術中の操作に応じて出力する機器操作情報を受け付ける機器操作情報受付部を更に備え、
前記手術情報取得部は、前記機器操作情報受付部が受け付けた機器操作情報に応じて手術動的情報を取得する請求項１記載の手術映像蓄積装置。
【請求項３】
前記手術情報取得部は、手術に用いられる手術器具の情報に応じて手術動的情報を取得する請求項１または請求項２記載の手術映像蓄積装置。
【請求項４】
手術に用いられる機器が出力する機器出力情報を受け付ける機器出力情報受付部を更に備え、
前記手術情報取得部は、前記機器出力情報受付部が受け付けた機器出力情報に応じて手術動的情報を取得する請求項１から請求項３いずれか記載の手術映像蓄積装置。
【請求項５】
手術中の音声である手術音声を１以上受け付ける手術音声受付部を更に備え、
前記手術情報取得部は、前記手術音声受付部が受け付けた手術音声の特徴を検出し、当該検出した特徴に応じて手術動的情報を取得する請求項１から請求項４いずれか記載の手術映像蓄積装置。
【請求項６】
前記手術情報取得部は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する請求項１から請求項５記載いずれか記載の手術映像蓄積装置。
【請求項７】
前記手術情報取得部は、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得し、
前記蓄積部は、前記手術映像受付部が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する請求項１から請求項６いずれか記載の手術映像蓄積装置。
【請求項８】
医師が保持している端末に格納されており、当該端末から送信される当該医師の医師識別情報を受信する医師識別情報受信部を更に備え、
前記手術情報取得部は、前記医師識別情報受信部が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する請求項７記載の手術映像蓄積装置。
【請求項９】
患者が保持している端末に格納されており、当該端末から送信される当該患者の患者識別情報を受信する患者識別情報受信部を更に備え、
前記手術情報取得部は、前記患者識別情報受信部が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する請求項７または請求項８記載の手術映像蓄積装置。
【請求項１０】
前記手術情報を指定する手術情報指定受付部と、
当該手術情報指定受付部が受け付けた手術情報に対応付けられた手術映像を検索する手術映像検索部と、
前記手術映像検索部が検索した手術映像を出力する出力部とを更に備えた請求項１から請求項９いずれか記載の手術映像蓄積装置。
【請求項１１】
手術映像受付部と、手術情報取得部と、蓄積部とを用いて行われる手術映像蓄積方法であって、
前記手術映像受付部が、手術中の映像である手術映像を１以上受け付ける手術映像受付ステップと、
前記手術情報取得部が、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得ステップと、
前記蓄積部が、前記手術映像受付ステップで受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積ステップとを備えた手術映像蓄積方法。
【請求項１２】
コンピュータを、
手術中の映像である手術映像を１以上受け付ける手術映像受付部と、
手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、
前記手術映像受付部が受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積部として機能させるためのプログラム。
【請求項１】
手術中の映像である手術映像を１以上受け付ける手術映像受付部と、
手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、
前記手術映像受付部が受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積部とを備えた手術映像蓄積装置。
【請求項２】
手術に用いられる機器が、手術中の操作に応じて出力する機器操作情報を受け付ける機器操作情報受付部を更に備え、
前記手術情報取得部は、前記機器操作情報受付部が受け付けた機器操作情報に応じて手術動的情報を取得する請求項１記載の手術映像蓄積装置。
【請求項３】
前記手術情報取得部は、手術に用いられる手術器具の情報に応じて手術動的情報を取得する請求項１または請求項２記載の手術映像蓄積装置。
【請求項４】
手術に用いられる機器が出力する機器出力情報を受け付ける機器出力情報受付部を更に備え、
前記手術情報取得部は、前記機器出力情報受付部が受け付けた機器出力情報に応じて手術動的情報を取得する請求項１から請求項３いずれか記載の手術映像蓄積装置。
【請求項５】
手術中の音声である手術音声を１以上受け付ける手術音声受付部を更に備え、
前記手術情報取得部は、前記手術音声受付部が受け付けた手術音声の特徴を検出し、当該検出した特徴に応じて手術動的情報を取得する請求項１から請求項４いずれか記載の手術映像蓄積装置。
【請求項６】
前記手術情報取得部は、手術中の照明の変化を検出し、検出した照明の変化に応じて手術動的情報を取得する請求項１から請求項５記載いずれか記載の手術映像蓄積装置。
【請求項７】
前記手術情報取得部は、手術する医師に関する情報である医師情報または患者に関する情報である患者情報を有する情報である手術環境情報を更に含む手術情報を取得し、
前記蓄積部は、前記手術映像受付部が受け付けた１以上の手術映像と、手術情報が有する手術環境情報とを対応付けて蓄積する請求項１から請求項６いずれか記載の手術映像蓄積装置。
【請求項８】
医師が保持している端末に格納されており、当該端末から送信される当該医師の医師識別情報を受信する医師識別情報受信部を更に備え、
前記手術情報取得部は、前記医師識別情報受信部が受信した医師識別情報を含む医師情報を有する手術環境情報を取得する請求項７記載の手術映像蓄積装置。
【請求項９】
患者が保持している端末に格納されており、当該端末から送信される当該患者の患者識別情報を受信する患者識別情報受信部を更に備え、
前記手術情報取得部は、前記患者識別情報受信部が受信した患者識別情報を含む患者情報を有する手術環境情報を取得する請求項７または請求項８記載の手術映像蓄積装置。
【請求項１０】
前記手術情報を指定する手術情報指定受付部と、
当該手術情報指定受付部が受け付けた手術情報に対応付けられた手術映像を検索する手術映像検索部と、
前記手術映像検索部が検索した手術映像を出力する出力部とを更に備えた請求項１から請求項９いずれか記載の手術映像蓄積装置。
【請求項１１】
手術映像受付部と、手術情報取得部と、蓄積部とを用いて行われる手術映像蓄積方法であって、
前記手術映像受付部が、手術中の映像である手術映像を１以上受け付ける手術映像受付ステップと、
前記手術情報取得部が、手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得ステップと、
前記蓄積部が、前記手術映像受付ステップで受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積ステップとを備えた手術映像蓄積方法。
【請求項１２】
コンピュータを、
手術中の映像である手術映像を１以上受け付ける手術映像受付部と、
手術中に取得できる情報に関する情報である手術動的情報を含む手術情報を取得する手術情報取得部と、
前記手術映像受付部が受け付けた１以上の手術映像の、前記手術動的情報に対応する部分に、当該手術動的情報を対応付けて、前記手術映像と手術情報とを蓄積する蓄積部として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１６７３０１（Ｐ２０１１−１６７３０１Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３２６５７（Ｐ２０１０−３２６５７）
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（５０５２１０１１５）国立大学法人旭川医科大学 (17)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１７日（２０１０．２．１７）
【出願人】（５０５２１０１１５）国立大学法人旭川医科大学 (17)
【Ｆターム（参考）】
[ Back to top ]