画像処理装置及び画像処理方法
【課題】スイッチ等の操作を必要とせずに、術者等の使用者による見落としを低減することができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置には、撮像部110と、撮像部110により撮像された画像データを蓄積する画像蓄積部1191と、画像蓄積部191により蓄積された画像データを再生する画像再生部1192と、画像再生部1192により再生される画像データを表示する表示装置13に、任意に設定された人の視線が向けられているか否かを検出する注視情報受信部1121と、注視情報受信部1121による検出結果に応じて、画像再生部1192の動作を制御する再生制御部1193と、が設けられている。
【解決手段】画像処理装置には、撮像部110と、撮像部110により撮像された画像データを蓄積する画像蓄積部1191と、画像蓄積部191により蓄積された画像データを再生する画像再生部1192と、画像再生部1192により再生される画像データを表示する表示装置13に、任意に設定された人の視線が向けられているか否かを検出する注視情報受信部1121と、注視情報受信部1121による検出結果に応じて、画像再生部1192の動作を制御する再生制御部1193と、が設けられている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線画像診断等の画像診断に好適な画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来、可視光画像、超音波探査画像又はX線透視画像を利用した画像診断装置が利用されている。動画像向けX線診断装置においては、撮影したX線動画像データを保存する、所謂シネ撮影機能、又は所定期間の動画像データの再生を繰り返す、所謂シネ・ループ機能を装備するものが一般的である。また、内視鏡を用いた診断でも、表示画像データを録画することが広く行われている。こうした装置において、再生機能の操作は一般的には機器上のボタン又は図5Aのような表示画面上のボタンを操作することによって行われている。
【0003】
しかしながら、ボタンを操作する際には、表示画面から視線をボタンに移す必要がある。そこで、表示画面から視線を外さずに操作可能とすること、及び操作性の改善が求められている。これは、画像診断装置において、使用者が出力画像を注視していないことによる見落としを防止するためである。
【0004】
従来、医療現場においてX線画像診断装置を用いて透視や動画撮影を行う場合、一般的に、X線曝射の制御は診療行為を実施する者(以下、術者とする)の操作か、術者の補助を行う放射線技師によって行われている。
【0005】
X線画像診断装置を手術中に用いる場合には、術者は手に手術器具を保持しているので、清潔を維持しなければならない。そこで、特に手術支援用途に用いられるX線画像診断装置においては、曝射スイッチの形態はフットペダル式であることが多い。フットペダル式の曝射スイッチの場合、術者が前記フットペダルを踏下している期間、X線曝射がなされる。その一方で、手術中において術者は、血圧及び心電図等の情報を把握するために、他の測定機器にも注意を払わねばならず、常にX線画像診断装置の透視画像を注視できるわけではない。
【0006】
画像診断装置においては、使用者が出力画像を見ることが重要である。しかしながら、上記のように視線を外さざるを得ない状況も存在するため、視線を外している間に重要な画像を見逃してしまう可能性がある。
【0007】
録画・再生装置を併用することで、見落とした期間に対応する画像を遡って確認することは可能であるが、巻き戻し、及び再生のための操作が必要である。また、同一部位を継続して撮影している場合は、変化に乏しく、どのフレームまで確認済みで、どのフレームで視線を外したのか判別が難しい。更に、操作性においても、所望のフレームに正確に巻き戻すことが難しいため、操作に時間がかかる。そして、操作の間に新たな見落としが発生することもある。
【0008】
また、内視鏡検査において腫瘍を発見した場合、その一部を精密検査のために切除して取り出すことも行われている。このため、異常があれば、それを検査中に発見することが望ましい。また、消化管内部には湾曲部及びひだ等があり、それらの裏側等は観察しにくい。このため、その観察のためには、内視鏡を回転させながら動かす操作等が必要とされるが、この操作は患者にとって苦痛であり、また、消化管が傷つくこともある。このため、なるべく手早く検査を終えることが望ましい。
【0009】
このような要請に対し、観察者が医用動画像から視線をそらさずに医用動画像の再生制御を行う目的で、ボタンやスイッチの操作に代えて画面の特定領域の選択により再生制御を行う技術がある。この技術では、図5Bのように表示画面をいくつかの領域に区分しておいて、例えば、領域501に右回転、領域502に通常再生、領域503に早送りの機能を対応付けておく(特許文献1参照)。
【0010】
【特許文献1】特開平9-116868号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1に記載された従来の技術によっても、依然として特定領域を選択する必要があり、注目すべき領域と異なる領域を選択する場合に診断用の画像から注意が逸れることある。また、術者の所望の操作に時間がかかることがある。
【0012】
本発明は、スイッチ等の操作を必要とせずに、術者等の使用者による見落としを低減することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【0014】
本発明に係る画像処理装置は、撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、前記蓄積手段により蓄積された画像データを再生する再生手段と、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、を有することを特徴とする。
【0015】
本発明に係る画像処理方法は、撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、を有することを特徴とする。
【発明の効果】
【0016】
本発明によれば、スイッチ等の操作がなくとも、視線の検出に基づいて再生の制御が行われるので、視線が表示手段から外れている期間があっても、表示手段に戻った時から再生することができる。このため、使用者の見落としを低減することができる。更に、撮像動作を視線の向きに連動させることも可能である。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【0018】
(第1の実施形態)
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。また、図2は、X線画像診断システムを示す図である。
【0019】
本実施形態に係るX線画像診断装置11(画像処理装置)は、例えば、図2に示すように、Cアーム型装置であるが、これに限定されない。X線画像診断装置11には、図1に示すように、撮像部110、管理部111、通信部112、操作部113、表示画像選択部118、画像蓄積部1191、画像再生部1192、及び画像制御部1193が設けられている。
【0020】
管理部111は、図示していないが、X線画像診断装置11内の各部と接続されており、各部の制御を行う。
【0021】
撮像部110には、X線曝射制御部114、X線発生部115、X線受像部116、及び画像処理部117が設けられている。X線曝射制御部114は、X線発生条件を決定し、X線発生部115に印加する管電圧、管電流、及びパルス幅を制御する。X線曝射制御部114は、タイマ1141を有しており、所定の時間間隔で曝射制御を行うことが可能である。X線発生部115には、X線発生管1151が設けられており、このX線発生管1151は、X線曝射制御部114による制御に基づいてX線を発生させる。X線受像部116は、X線発生部115により曝射され被検体を透過したX線を検出し、透視画像を取得する。画像処理部117は、X線受像部116により取得されたX線画像データに対して、ノイズ低減及びゲイン調整等の加工を必要に応じて行う。また、画像処理部117は、タイマ1141の時刻に従って画像データが取得された時刻をフレームごとに関連付ける。
【0022】
通信部112は、院内での情報管理等を行う外部装置(図示せず)と通信を行う。通信部112には、注視情報受信部1121が設けられており、この注視情報受信部1121は、図2に示す注視検出装置12によって判定された表示装置注視の判定信号を受信する。つまり、注視情報受信部1121は、判定信号に基づいて表示装置13に視線が向けられているか否かを検出する。
【0023】
操作部113は、術者の操作を受け付ける。操作部113には、X線曝射の実施の指示のためのX線曝射指示部1131、X線量の調整のためのX線量調整部1132、及びX線画像診断装置11の状態を表示する表示部1133が設けられている。X線曝射指示部1131は術者がX線画像診断装置11に対してX線曝射指示を行うためのスイッチであり、例えば、図2に示すCアーム型装置のフットペダルに相当する。
【0024】
画像蓄積部1191は、画像処理部117により加工された画像データを保存するハードディスクドライブ等の蓄積装置である。
【0025】
画像再生部1192は、画像蓄積部1191により保存された画像データを再生する。
【0026】
再生制御部1193は、注視情報受信部1121が受信した表示装置注視の判定信号(検出結果)に応じて、画像蓄積部1191、画像再生部1192、及び表示画像選択部118の動作を制御する。
【0027】
表示画像選択部118は、再生制御部1193の制御に従って、画像蓄積部1191を介さずに撮像部117によって取得された画像、及び画像再生部1192による再生画像のうち一方を選択し、これらの一方を図2に示す表示装置13に表示させる。表示画像選択部118は、主に、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在していない場合に、撮像部110により撮像された画像データの出力を選択する。一方、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在する場合には、表示画像選択部118は、画像再生部1192により再生された画像データの出力を選択する。
【0028】
画像データの蓄積処理において、再生制御部1191は、注視検出装置12において術者の視線が表示装置13に向けられていなかったときの不図示の内蔵タイマに従う期間情報を内蔵メモリに保持しておく。そして、再生制御部1191は、撮像部110によって取得された画像データのフレームに関連付けられた時刻がこの期間内である場合、術者の視線が表示装置13に向けられていなかった旨を示すフラグaを該当する画像データのフレームに付加する。そして画像蓄積部1191に蓄積する。
【0029】
再生制御部1193は、注視検出装置12において術者の視線が表示装置13に向けられていることが検出された場合、表示画像選択部118に対して、画像再生部1192から出力される画像データを選択させる。この制御とともに、再生制御部1193は、フラグaが付加されたフレームの画像データを画像蓄積部19から読み出し、画像再生部1192に再生処理を実行させる。
【0030】
再生制御部1193は、再生処理された画像データのフレームに再生処理された旨を示すフラグbを付加する。再生制御部1193は、フラグaが付加されているフレームであって、フラグbが付加されていないフレーム(未再生)の存在がなくなることを確認した場合、表示選択部118に画像蓄積部1191を介さずに撮像部117によって取得された画像を選択させる。
【0031】
図2に示すように、X線画像診断装置11には、注視検出装置12及び表示装置13が接続されている。
【0032】
表示装置13は、X線画像診断装置11によって撮影された透視画像等を表示する。
【0033】
注視検出装置12は、表示装置13の近傍に設置され、所定の範囲内に存在する術者の注視点の方向を検出する。この際に、注視検出装置12は、所定の範囲内に存在する術者の顔が予め任意に定められた所定の術者の顔であるかの判別も行う。そして、所定の術者が表示装置13に対して注視状態になっているかを判定する。また、注視検出装置12は、X線画像診断装置11に対して、判定の結果を表示装置注視の判定信号として送信する。表示装置注視の判定信号は、所定の術者が注視状態となっているか否かを示す信号である。なお、画像データから個人を判別する方法は限定されず、公知の携帯電話機の内蔵データ保護目的で実用化されている方法等を採用することができる。また、注視状態になっているか否かを判定する方法も限定されず、公知の顔検出方法及び該検出された顔から視線を検出する方法等を採用することができる。例えば、特開平8−207617号公報に記載されている車両の脇見運転防止装置の技術を採用することが可能である。術者の識別が行われるのは、医療現場には複数のスタッフがいることが多いため、術者が診断を下すことができる特定の人物であるか否かを判別するためである。このような識別は、例えば、顔の特徴情報及び診断が可能か否かの情報の組み合わせか、予め診断が可能な者であると登録された人物の顔の特徴情報を用いて行われる。これらの情報は、例えば、通信部112を介して接続された情報管理等を行う外部装置(図示せず)等に記憶させておけばよい。
【0034】
また、医療現場内には、図2に示すように、寝台203上の患者の心臓の動き等を測定する種々の測定機器201が配置されている。更に、表示装置13及び注視検出装置12はカート202上に載置されている。
【0035】
次に、上述のように構成されたX線画像診断装置11を備えたX線画像撮影システムにおける画像蓄積の方法、再生の方法、及び表示の制御方法について説明する。表1は、本実施形態における曝射指示信号、表示注視信号及び滞留フレーム数と、撮像フレームレート、表示フレームレート及び表示画像選択部118が表示のために選択する画像データとの関係を示す図である。ここで、曝射指示信号は、X線曝射指示部1131の操作により有効となる信号であり、表示注視信号は、注視情報受信部1121が注視検出装置12から、所定の術者が表示装置13を注視している旨の判別信号を受信した場合に有効となる信号である。
【0036】
【表1】
【0037】
本実施形態では、表1に示す関係に基づいて、撮像フレームレート、表示フレームレート及び表示選択が行われる。
【0038】
表1において、曝射指示の項目において、「0」は「曝射指示なし」を示し、「1」は「曝射指示あり」を示している。
【0039】
また、表示注視の項目において、「x」は、表示注視ありまたはなしの任意の状態を示し、「0」は、表示注視なしを示し、「1」は、表示注視ありを示している。
【0040】
また、滞留フレーム数の項目において、「0」は滞留フレームなしを示し、「>0」は滞留フレーム数あり(1以上)を示し、「x」は滞留フレーム数が0または1以上の数を示している。
【0041】
また、撮像フレームレートの項目において、「0」は、撮像動作が実行されていないことを示し、「1/2」、「1」はそれぞれ1/2、1のフレームレートで画像データを取得するための撮像動作が実行されていることを示している。
【0042】
また、表示フレームレートの項目において、「0」は、あるフレームの画像が表示装置13上に固定表示されていることを示し、「1」は1のフレームレートで画像が表示装置13上に表示されていることを示している。撮像フレームレートおよび表示フレームレートの単位は例えば毎秒である。
【0043】
また、表示選択の項目において、「蓄積」は、表示装置13上に表示される画像として、表示画像選択部118が画像蓄積部1191において蓄積され、画像再生部1192において再生された画像データを選択することを示している。また、「撮像」は、表示画像選択部118が表示装置13上に表示される画像として、画像蓄積部1191を介さずに撮像部110において取得された画像データを選択することを示している。
【0044】
例えば、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合には、状態Eに該当するため、次のような動作が行われる。
【0045】
先ず、術者等によりX線曝者指示部1131、例えばフットペダルが操作されると、X線発生部1151がX線を曝射し、X線受像部116が患者等の被検体を透過したX線を検出する。そして、画像処理部117がX線画像データの処理を行う。その後、表示画像選択部118が、画像処理部117により処理された画像データを表示装置13に出力する。また、画像処理部117により処理された画像データは、術者の識別情報と共に画像蓄積部1191に保存される。このとき、画像再生部1192は休止している。
【0046】
また、注視検出装置12が所定の術者の注視を検出し、この結果を示す判定信号をX線画像診断装置11に送信する。そして、注視情報受信部1121がこの判定信号を受信する。ここでは、注視情報受信部1121は、所定の術者が表示装置13を注視しているという判定信号を受信することになる。
【0047】
そして、管理部111が、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。
【0048】
また、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視したり、他の表示装置201を注視したりする場合には、次のような動作が行われる。図3は、X線画像診断装置11の動作を示すタイミングチャートである。なお、撮像と表示との間には処理のための遅延が発生するが、図3では、説明の簡素化のために、遅延がないものとしている。
【0049】
先ず、時刻t0と時刻t1との間では、曝射指示信号が有効となっていないものとする。この時間帯では、状態Aに該当するため、X線画像診断装置11は、X線の曝射及び撮像処理を行わない。
【0050】
その後、時刻t1において、表示注視信号が有効となり、かつ曝射指示信号が有効となる。そして、管理部111は、時刻t1から時刻t2までの間では、状態Eに該当するため、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。つまり、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合の動作と同様である。時刻t2において、術者が他の測定機器201に視線を移し、表示注視信号が有効でなくなるものとする。
【0051】
その後、管理部111は、時刻t2から時刻t3までの間では、状態Dに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2のものを画像再生部1192が再生し続ける。そして、表示画像選択部118は、画像再生部1192により再生された時刻t2の画像データを選択し、これを表示装置13に送信する。この結果、時刻t2から時刻t3までの間の表示フレームは、時刻t2での表示フレームに固定される。但し、表示フレームが固定されていても、撮像部110は「1/2」のフレームレートで撮像を行う。このため、図3に示すように、滞留フレーム数は増加する。撮像フレームレートと表示フレームレートとの差が「1/2」であるため、滞留フレーム数は2単位の時間毎に1フレーム増加する。
【0052】
その後、時刻t3において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t3から時刻t4までの間では、状態Fに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2以降のものを画像再生部1192が再生する。そして、表示画像選択部118は、画像再生部1192により再生された画像データを選択し、これを表示装置13に送信する。つまり、時刻t3から時刻t4までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1/2」であるため、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。
【0053】
つまり、術者が表示装置13を注視していない間(時刻t2〜時刻t3)に滞留フレーム数が増加するが、その後の術者が注視している間(時刻t3〜時刻t4)に滞留フレーム数が減少する。
【0054】
その後、時刻t4において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t4から時刻t5までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t4から時刻t5までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。
【0055】
その後、時刻t5において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t5から時刻t6までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t5から時刻t6までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。
【0056】
その後、時刻t6において、滞留フレーム数が0になるものとする。管理部111は、時刻t6から時刻t7までの間では、状態Eに該当するため、時刻t1から時刻t2までの間と同様に、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。
【0057】
その後、時刻t7において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t7から時刻t8までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t7から時刻t8までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。
【0058】
その後、時刻t8において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t8から時刻t9までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t8から時刻t9までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。そして、時刻t9において、撮像が停止するが、滞留フレーム数が0より大きい状態となっている。
【0059】
その後、時刻t9において、表示注視信号が有効なまま、曝射指示信号が有効でなくなるものとする。管理部111は、時刻t9から時刻t10までの間では、状態Cに該当するため、撮像フレームレートを「0」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t9から時刻t10までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1」であるため、図3に示すように、滞留フレーム数が1単位の時間毎に1フレーム減少する。そして、時刻t10において、滞留フレーム数が0になるものとする。
【0060】
その後の動作は、操作部113が受け付けた指示に従ったものとなる。例えば、最終の表示画像データを保持したり、又は記録した画像データを再生したりする。
【0061】
このような第1の実施形態によれば、術者による操作部113による操作がなくても、表示装置13を注視するか否かによって、術者が出力画面を注視していなかった期間の画像データを、視線を戻した直後から再生することが可能となる。よって、表示装置13から視線を外していたことによる診断画像の見落としを減少させることができる。また、一時的に撮像フレームレートを「1/2」としているため、患者のX線被曝量が低減される。
【0062】
なお、蓄積されていた画像データを再生する際には、透視画像を即時的に表示している場合と区別するために、蓄積されていた画像データの再生であることを表示することが好ましい。また、撮像と表示との間の滞留フレーム数又は時間差をも表示することが好ましい。
【0063】
また、画像蓄積部1191に保存する情報に、撮影日時及び患者名等の情報を含めてもよい。また、より長期間の保存のためには、画像蓄積部1191に一時保存した情報を、通信部112経由で外部装置(図示せず)に転送してもよい。
【0064】
また、図4Aに示すように、曝射指示信号が有効であるが、表示注視信号が有効でない期間、例えば時刻t2から時刻t3までの期間において、撮像フレームレートを表示フレームレートと同一とすると共に、撮像した画像を随時そのまま表示してもよい。但し、この場合には、表示注視信号が有効でなくなった時に表示していたフレームのインデックスを記憶しておき、表示注視信号が有効となった時に当該フレームからの画像を再生することが好ましい。例えば、時刻t2において表示していたフレームのインデックスを記憶しておき、時刻t3からは、時刻t2において表示していたフレームからの画像を再生することが好ましい。
【0065】
また、表示装置13の能力によっては、滞留フレーム数が0を超えていて、曝射指示信号が有効である場合(状態D又は状態Fの場合)に、撮像フレームレートを1と設定してもよい。この場合には、全てのフレームを表示しながら滞留フレーム数を減少させることが可能となる。特に、表示注視信号も有効の場合(状態Fの場合)には、表示フレームレートを2とすることが好ましい。
【0066】
また、撮像したフレームの全てを画像蓄積部1191に記録しておきつつ、表示注視信号が有効となっている間に、2フレーム毎に1フレームを表示してもよい。このような制御を行うことにより、表示フレームが撮像フレームに追いつくようになる。
【0067】
更に、図4Bに示すように、曝射指示信号が有効で表示注視信号が有効でない期間でも撮像した画像を随時そのまま表示し、表示注視信号が有効となった時に、遡って表示をするか、又は表示を継続するかの選択結果を外部から受け取るようにしてもよい。つまり、外部からの選択を受け付ける選択手段が設けられていてもよい。このような選択が可能な場合、表示注視信号が有効でない期間の画像が不要であれば、そのまま表示を継続することにより、滞留フレーム数を速やかに減少させることができる。この結果、撮像した画像データをリアルタイムで観察することが早期に可能となる。
【0068】
なお、X線画像診断装置11の形態は、Cアーム型装置の他の形態であってもよい。
【0069】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。図6は、本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。
【0070】
本実施形態に係る内視鏡検査システムには、カメラ601、ケーブル602、画像処理装置603、視線検出センサ604、及び表示装置605が設けられている。
【0071】
カメラ601は、可視光を用いた内視鏡による観察画像を撮像する。カメラ601には、照明のための光源が付属している。
【0072】
ケーブル602は、カメラ601により撮像された画像データを取得するための配線を内包している。ケーブル602の先端には、カメラ601の他に、手術等の医療行為に用いられる装置(図示せず)が装備されている。ケーブル602のもう一方の先端は画像処理装置603に接続されている。
【0073】
画像処理装置603は、ケーブル602、表示装置605、及び視線検出センサ604に接続されている。画像処理装置603の構成については後述する。
【0074】
視線検出センサ604は、操作者が表示装置605を注視しているか否かを検出する。
【0075】
表示装置605は、検査画像を表示する。
【0076】
ここで、画像処理装置603の詳細について説明する。図7は、画像処理装置603の構成を示す機能ブロック図である。画像処理装置603には、画像処理部701、画像蓄積部702、画像再生部703、視線判定部704、及び再生制御部705が設けられている。
【0077】
画像蓄積部701は、カメラ601が取得した画像データを格納する。画像再生部702は、再生制御部705の指示によって画像蓄積部701に格納された画像データを再生し、出力する。画像処理部703は、画像データを見やすい角度で表示するために回転させたり、拡大・縮小表示をしたり、明るさを調整したりする。視線判定部704は、視線検出センサ604からの信号を処理し、操作者が表示装置605を注視しているか否かを判定する。再生制御部705は、視線判定部704の判定結果によって、次に表示すべきフレームを選択して画像再生部702に指示する。再生制御部705は、画像蓄積部701より保持されているフレームのインデックス情報を取得する。また、再生制御部705は、画像再生部702に対して直前に指示した再生すべきフレームのインデックスを記憶する。また、再生制御部705には、表示の更新間隔を管理するためのタイマ(図示せず)が内蔵されている。
【0078】
このように構成された画像処理装置603は、以下に説明するように、操作者が表示装置605から視線を逸らしていた場合の検査画像の見逃しを低減させるための動作を行う。
【0079】
図8は、再生制御部705による処理内容を示すフローチャートである。再生制御部705は、図8に示すように、検査終了となるまで所定の更新間隔で以下の動作を行う。
【0080】
先ず、ステップS801において、再生制御部705は、検査終了を判定する。再生制御部705は、終了スイッチ(図示せず)が操作されている場合に、検査終了(true)と判定し、操作されていない場合は、操作継続(false)と判定する。
【0081】
次に、ステップS802において、再生制御部705は、所定の表示更新間隔の時間経過を待つ。ステップS802からステップS803への遷移が所定間隔となるようにタイマが設けられているのである。
【0082】
次に、ステップS803において、視線判定部704が視線検出センサ604からの信号(表示注視信号)に応じて、操作者の視線が表示装置605に向いているか否かを判定する。そして、再生制御部705は、表示注視信号が有効であれば(true)、ステップS804に進み、そうでなければ(false)、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。
【0083】
ステップS804において、再生制御部705は、画像蓄積部701が保持している最終のフレームのインデックスを、画像再生部702に対して直前に指示した再生フレームのインデックスと比較する。そして、画像再生部702に対して直前に指示したフレームより後の画像データが画像蓄積部701にあれば(true)、ステップS805において、再生制御部705は、再生フレームを更新する。そうでなければ(false)、再生制御部705は、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。
【0084】
このように構成された第2の実施形態によれば、操作者の視線が表示装置605に向いている場合に限って再生フレームが更新されるため、検査装置における検査画像の見逃しを低減させることができる。
【0085】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。図9は、本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。本実施形態には、第2の実施形態におけるカメラ601に代えて、超音波発生器及びセンサを備えた超音波センサ部901が設けられており、更に、画像蓄積部701と超音波センサ部901との間に超音波を可視化する可視化処理部902が設けられている。そして、超音波センサ部901及び可視化処理部902により超音波診断画像が取得される。また、本実施形態では、可視化処理部902の出力は、画像蓄積部701に受け渡されるだけでなく、画像再生部702を迂回して画像処理部703に直接受け渡され得る。
【0086】
このような第3の実施形態によれば、未確認画像データがない場合に、表示の遅延を少なくすることが可能である。また、未確認画像データがある場合には、画像処理部703は、可視化処理部902からの出力、又は画像再生部702による未確認画像データの出力のいずれか一方を選択して表示することが可能である。なお、両者を縮小した後に、縮小後の両画像を並べて表示してもよい。
【0087】
なお、第3の実施形態を内視鏡検査システムに適用してもよく、第2の実施形態を超音波診断装置に適用してもよい。
【0088】
また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【0089】
【図1】本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。
【図2】X線画像診断システムを示す図である。
【図3】X線画像診断装置11の動作を示すタイミングチャートである。
【図4A】第1の実施形態の変形例の動作を示すタイミングチャートである。
【図4B】第1の実施形態の他の変形例の動作を示すタイミングチャートである。
【図5A】従来の技術を示す図である。
【図5B】他の従来の技術を示す図である。
【図6】本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。
【図7】画像処理装置603の構成を示す機能ブロック図である。
【図8】再生制御部705による処理内容を示すフローチャートである。
【図9】本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。
【符号の説明】
【0090】
11:X線画像診断装置
12:視線検出センサ
13:表示装置
110:撮像部
111:管理部
112:通信部
1121:注視情報受信部
113:操作部
1131:X線曝射指示部
1132:X線量調整部
1133:表示部
114:X線曝射制御部
1141:タイマ
115:X線発生部
1151:X線発生管
116:X線受像部
117:画像処理部
118:表示画像選択部
1191:画像蓄積部
1192:画像再生部
201:測定機器
202:カート
203:寝台
601:カメラ
602:ケーブル
603:画像処理装置
604:視線検出センサ
605:表示装置
701:画像蓄積部
702:画像再生部
703:画像処理部
704:視線判定部
705:再生制御部
901:超音波センサ部
902:可視化処理部
【技術分野】
【0001】
本発明は、X線画像診断等の画像診断に好適な画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来、可視光画像、超音波探査画像又はX線透視画像を利用した画像診断装置が利用されている。動画像向けX線診断装置においては、撮影したX線動画像データを保存する、所謂シネ撮影機能、又は所定期間の動画像データの再生を繰り返す、所謂シネ・ループ機能を装備するものが一般的である。また、内視鏡を用いた診断でも、表示画像データを録画することが広く行われている。こうした装置において、再生機能の操作は一般的には機器上のボタン又は図5Aのような表示画面上のボタンを操作することによって行われている。
【0003】
しかしながら、ボタンを操作する際には、表示画面から視線をボタンに移す必要がある。そこで、表示画面から視線を外さずに操作可能とすること、及び操作性の改善が求められている。これは、画像診断装置において、使用者が出力画像を注視していないことによる見落としを防止するためである。
【0004】
従来、医療現場においてX線画像診断装置を用いて透視や動画撮影を行う場合、一般的に、X線曝射の制御は診療行為を実施する者(以下、術者とする)の操作か、術者の補助を行う放射線技師によって行われている。
【0005】
X線画像診断装置を手術中に用いる場合には、術者は手に手術器具を保持しているので、清潔を維持しなければならない。そこで、特に手術支援用途に用いられるX線画像診断装置においては、曝射スイッチの形態はフットペダル式であることが多い。フットペダル式の曝射スイッチの場合、術者が前記フットペダルを踏下している期間、X線曝射がなされる。その一方で、手術中において術者は、血圧及び心電図等の情報を把握するために、他の測定機器にも注意を払わねばならず、常にX線画像診断装置の透視画像を注視できるわけではない。
【0006】
画像診断装置においては、使用者が出力画像を見ることが重要である。しかしながら、上記のように視線を外さざるを得ない状況も存在するため、視線を外している間に重要な画像を見逃してしまう可能性がある。
【0007】
録画・再生装置を併用することで、見落とした期間に対応する画像を遡って確認することは可能であるが、巻き戻し、及び再生のための操作が必要である。また、同一部位を継続して撮影している場合は、変化に乏しく、どのフレームまで確認済みで、どのフレームで視線を外したのか判別が難しい。更に、操作性においても、所望のフレームに正確に巻き戻すことが難しいため、操作に時間がかかる。そして、操作の間に新たな見落としが発生することもある。
【0008】
また、内視鏡検査において腫瘍を発見した場合、その一部を精密検査のために切除して取り出すことも行われている。このため、異常があれば、それを検査中に発見することが望ましい。また、消化管内部には湾曲部及びひだ等があり、それらの裏側等は観察しにくい。このため、その観察のためには、内視鏡を回転させながら動かす操作等が必要とされるが、この操作は患者にとって苦痛であり、また、消化管が傷つくこともある。このため、なるべく手早く検査を終えることが望ましい。
【0009】
このような要請に対し、観察者が医用動画像から視線をそらさずに医用動画像の再生制御を行う目的で、ボタンやスイッチの操作に代えて画面の特定領域の選択により再生制御を行う技術がある。この技術では、図5Bのように表示画面をいくつかの領域に区分しておいて、例えば、領域501に右回転、領域502に通常再生、領域503に早送りの機能を対応付けておく(特許文献1参照)。
【0010】
【特許文献1】特開平9-116868号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1に記載された従来の技術によっても、依然として特定領域を選択する必要があり、注目すべき領域と異なる領域を選択する場合に診断用の画像から注意が逸れることある。また、術者の所望の操作に時間がかかることがある。
【0012】
本発明は、スイッチ等の操作を必要とせずに、術者等の使用者による見落としを低減することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。
【0014】
本発明に係る画像処理装置は、撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、前記蓄積手段により蓄積された画像データを再生する再生手段と、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、を有することを特徴とする。
【0015】
本発明に係る画像処理方法は、撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、を有することを特徴とする。
【発明の効果】
【0016】
本発明によれば、スイッチ等の操作がなくとも、視線の検出に基づいて再生の制御が行われるので、視線が表示手段から外れている期間があっても、表示手段に戻った時から再生することができる。このため、使用者の見落としを低減することができる。更に、撮像動作を視線の向きに連動させることも可能である。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【0018】
(第1の実施形態)
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。また、図2は、X線画像診断システムを示す図である。
【0019】
本実施形態に係るX線画像診断装置11(画像処理装置)は、例えば、図2に示すように、Cアーム型装置であるが、これに限定されない。X線画像診断装置11には、図1に示すように、撮像部110、管理部111、通信部112、操作部113、表示画像選択部118、画像蓄積部1191、画像再生部1192、及び画像制御部1193が設けられている。
【0020】
管理部111は、図示していないが、X線画像診断装置11内の各部と接続されており、各部の制御を行う。
【0021】
撮像部110には、X線曝射制御部114、X線発生部115、X線受像部116、及び画像処理部117が設けられている。X線曝射制御部114は、X線発生条件を決定し、X線発生部115に印加する管電圧、管電流、及びパルス幅を制御する。X線曝射制御部114は、タイマ1141を有しており、所定の時間間隔で曝射制御を行うことが可能である。X線発生部115には、X線発生管1151が設けられており、このX線発生管1151は、X線曝射制御部114による制御に基づいてX線を発生させる。X線受像部116は、X線発生部115により曝射され被検体を透過したX線を検出し、透視画像を取得する。画像処理部117は、X線受像部116により取得されたX線画像データに対して、ノイズ低減及びゲイン調整等の加工を必要に応じて行う。また、画像処理部117は、タイマ1141の時刻に従って画像データが取得された時刻をフレームごとに関連付ける。
【0022】
通信部112は、院内での情報管理等を行う外部装置(図示せず)と通信を行う。通信部112には、注視情報受信部1121が設けられており、この注視情報受信部1121は、図2に示す注視検出装置12によって判定された表示装置注視の判定信号を受信する。つまり、注視情報受信部1121は、判定信号に基づいて表示装置13に視線が向けられているか否かを検出する。
【0023】
操作部113は、術者の操作を受け付ける。操作部113には、X線曝射の実施の指示のためのX線曝射指示部1131、X線量の調整のためのX線量調整部1132、及びX線画像診断装置11の状態を表示する表示部1133が設けられている。X線曝射指示部1131は術者がX線画像診断装置11に対してX線曝射指示を行うためのスイッチであり、例えば、図2に示すCアーム型装置のフットペダルに相当する。
【0024】
画像蓄積部1191は、画像処理部117により加工された画像データを保存するハードディスクドライブ等の蓄積装置である。
【0025】
画像再生部1192は、画像蓄積部1191により保存された画像データを再生する。
【0026】
再生制御部1193は、注視情報受信部1121が受信した表示装置注視の判定信号(検出結果)に応じて、画像蓄積部1191、画像再生部1192、及び表示画像選択部118の動作を制御する。
【0027】
表示画像選択部118は、再生制御部1193の制御に従って、画像蓄積部1191を介さずに撮像部117によって取得された画像、及び画像再生部1192による再生画像のうち一方を選択し、これらの一方を図2に示す表示装置13に表示させる。表示画像選択部118は、主に、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在していない場合に、撮像部110により撮像された画像データの出力を選択する。一方、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在する場合には、表示画像選択部118は、画像再生部1192により再生された画像データの出力を選択する。
【0028】
画像データの蓄積処理において、再生制御部1191は、注視検出装置12において術者の視線が表示装置13に向けられていなかったときの不図示の内蔵タイマに従う期間情報を内蔵メモリに保持しておく。そして、再生制御部1191は、撮像部110によって取得された画像データのフレームに関連付けられた時刻がこの期間内である場合、術者の視線が表示装置13に向けられていなかった旨を示すフラグaを該当する画像データのフレームに付加する。そして画像蓄積部1191に蓄積する。
【0029】
再生制御部1193は、注視検出装置12において術者の視線が表示装置13に向けられていることが検出された場合、表示画像選択部118に対して、画像再生部1192から出力される画像データを選択させる。この制御とともに、再生制御部1193は、フラグaが付加されたフレームの画像データを画像蓄積部19から読み出し、画像再生部1192に再生処理を実行させる。
【0030】
再生制御部1193は、再生処理された画像データのフレームに再生処理された旨を示すフラグbを付加する。再生制御部1193は、フラグaが付加されているフレームであって、フラグbが付加されていないフレーム(未再生)の存在がなくなることを確認した場合、表示選択部118に画像蓄積部1191を介さずに撮像部117によって取得された画像を選択させる。
【0031】
図2に示すように、X線画像診断装置11には、注視検出装置12及び表示装置13が接続されている。
【0032】
表示装置13は、X線画像診断装置11によって撮影された透視画像等を表示する。
【0033】
注視検出装置12は、表示装置13の近傍に設置され、所定の範囲内に存在する術者の注視点の方向を検出する。この際に、注視検出装置12は、所定の範囲内に存在する術者の顔が予め任意に定められた所定の術者の顔であるかの判別も行う。そして、所定の術者が表示装置13に対して注視状態になっているかを判定する。また、注視検出装置12は、X線画像診断装置11に対して、判定の結果を表示装置注視の判定信号として送信する。表示装置注視の判定信号は、所定の術者が注視状態となっているか否かを示す信号である。なお、画像データから個人を判別する方法は限定されず、公知の携帯電話機の内蔵データ保護目的で実用化されている方法等を採用することができる。また、注視状態になっているか否かを判定する方法も限定されず、公知の顔検出方法及び該検出された顔から視線を検出する方法等を採用することができる。例えば、特開平8−207617号公報に記載されている車両の脇見運転防止装置の技術を採用することが可能である。術者の識別が行われるのは、医療現場には複数のスタッフがいることが多いため、術者が診断を下すことができる特定の人物であるか否かを判別するためである。このような識別は、例えば、顔の特徴情報及び診断が可能か否かの情報の組み合わせか、予め診断が可能な者であると登録された人物の顔の特徴情報を用いて行われる。これらの情報は、例えば、通信部112を介して接続された情報管理等を行う外部装置(図示せず)等に記憶させておけばよい。
【0034】
また、医療現場内には、図2に示すように、寝台203上の患者の心臓の動き等を測定する種々の測定機器201が配置されている。更に、表示装置13及び注視検出装置12はカート202上に載置されている。
【0035】
次に、上述のように構成されたX線画像診断装置11を備えたX線画像撮影システムにおける画像蓄積の方法、再生の方法、及び表示の制御方法について説明する。表1は、本実施形態における曝射指示信号、表示注視信号及び滞留フレーム数と、撮像フレームレート、表示フレームレート及び表示画像選択部118が表示のために選択する画像データとの関係を示す図である。ここで、曝射指示信号は、X線曝射指示部1131の操作により有効となる信号であり、表示注視信号は、注視情報受信部1121が注視検出装置12から、所定の術者が表示装置13を注視している旨の判別信号を受信した場合に有効となる信号である。
【0036】
【表1】
【0037】
本実施形態では、表1に示す関係に基づいて、撮像フレームレート、表示フレームレート及び表示選択が行われる。
【0038】
表1において、曝射指示の項目において、「0」は「曝射指示なし」を示し、「1」は「曝射指示あり」を示している。
【0039】
また、表示注視の項目において、「x」は、表示注視ありまたはなしの任意の状態を示し、「0」は、表示注視なしを示し、「1」は、表示注視ありを示している。
【0040】
また、滞留フレーム数の項目において、「0」は滞留フレームなしを示し、「>0」は滞留フレーム数あり(1以上)を示し、「x」は滞留フレーム数が0または1以上の数を示している。
【0041】
また、撮像フレームレートの項目において、「0」は、撮像動作が実行されていないことを示し、「1/2」、「1」はそれぞれ1/2、1のフレームレートで画像データを取得するための撮像動作が実行されていることを示している。
【0042】
また、表示フレームレートの項目において、「0」は、あるフレームの画像が表示装置13上に固定表示されていることを示し、「1」は1のフレームレートで画像が表示装置13上に表示されていることを示している。撮像フレームレートおよび表示フレームレートの単位は例えば毎秒である。
【0043】
また、表示選択の項目において、「蓄積」は、表示装置13上に表示される画像として、表示画像選択部118が画像蓄積部1191において蓄積され、画像再生部1192において再生された画像データを選択することを示している。また、「撮像」は、表示画像選択部118が表示装置13上に表示される画像として、画像蓄積部1191を介さずに撮像部110において取得された画像データを選択することを示している。
【0044】
例えば、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合には、状態Eに該当するため、次のような動作が行われる。
【0045】
先ず、術者等によりX線曝者指示部1131、例えばフットペダルが操作されると、X線発生部1151がX線を曝射し、X線受像部116が患者等の被検体を透過したX線を検出する。そして、画像処理部117がX線画像データの処理を行う。その後、表示画像選択部118が、画像処理部117により処理された画像データを表示装置13に出力する。また、画像処理部117により処理された画像データは、術者の識別情報と共に画像蓄積部1191に保存される。このとき、画像再生部1192は休止している。
【0046】
また、注視検出装置12が所定の術者の注視を検出し、この結果を示す判定信号をX線画像診断装置11に送信する。そして、注視情報受信部1121がこの判定信号を受信する。ここでは、注視情報受信部1121は、所定の術者が表示装置13を注視しているという判定信号を受信することになる。
【0047】
そして、管理部111が、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。
【0048】
また、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視したり、他の表示装置201を注視したりする場合には、次のような動作が行われる。図3は、X線画像診断装置11の動作を示すタイミングチャートである。なお、撮像と表示との間には処理のための遅延が発生するが、図3では、説明の簡素化のために、遅延がないものとしている。
【0049】
先ず、時刻t0と時刻t1との間では、曝射指示信号が有効となっていないものとする。この時間帯では、状態Aに該当するため、X線画像診断装置11は、X線の曝射及び撮像処理を行わない。
【0050】
その後、時刻t1において、表示注視信号が有効となり、かつ曝射指示信号が有効となる。そして、管理部111は、時刻t1から時刻t2までの間では、状態Eに該当するため、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。つまり、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合の動作と同様である。時刻t2において、術者が他の測定機器201に視線を移し、表示注視信号が有効でなくなるものとする。
【0051】
その後、管理部111は、時刻t2から時刻t3までの間では、状態Dに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2のものを画像再生部1192が再生し続ける。そして、表示画像選択部118は、画像再生部1192により再生された時刻t2の画像データを選択し、これを表示装置13に送信する。この結果、時刻t2から時刻t3までの間の表示フレームは、時刻t2での表示フレームに固定される。但し、表示フレームが固定されていても、撮像部110は「1/2」のフレームレートで撮像を行う。このため、図3に示すように、滞留フレーム数は増加する。撮像フレームレートと表示フレームレートとの差が「1/2」であるため、滞留フレーム数は2単位の時間毎に1フレーム増加する。
【0052】
その後、時刻t3において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t3から時刻t4までの間では、状態Fに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2以降のものを画像再生部1192が再生する。そして、表示画像選択部118は、画像再生部1192により再生された画像データを選択し、これを表示装置13に送信する。つまり、時刻t3から時刻t4までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1/2」であるため、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。
【0053】
つまり、術者が表示装置13を注視していない間(時刻t2〜時刻t3)に滞留フレーム数が増加するが、その後の術者が注視している間(時刻t3〜時刻t4)に滞留フレーム数が減少する。
【0054】
その後、時刻t4において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t4から時刻t5までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t4から時刻t5までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。
【0055】
その後、時刻t5において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t5から時刻t6までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t5から時刻t6までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。
【0056】
その後、時刻t6において、滞留フレーム数が0になるものとする。管理部111は、時刻t6から時刻t7までの間では、状態Eに該当するため、時刻t1から時刻t2までの間と同様に、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。
【0057】
その後、時刻t7において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t7から時刻t8までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t7から時刻t8までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。
【0058】
その後、時刻t8において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t8から時刻t9までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t8から時刻t9までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。そして、時刻t9において、撮像が停止するが、滞留フレーム数が0より大きい状態となっている。
【0059】
その後、時刻t9において、表示注視信号が有効なまま、曝射指示信号が有効でなくなるものとする。管理部111は、時刻t9から時刻t10までの間では、状態Cに該当するため、撮像フレームレートを「0」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t9から時刻t10までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1」であるため、図3に示すように、滞留フレーム数が1単位の時間毎に1フレーム減少する。そして、時刻t10において、滞留フレーム数が0になるものとする。
【0060】
その後の動作は、操作部113が受け付けた指示に従ったものとなる。例えば、最終の表示画像データを保持したり、又は記録した画像データを再生したりする。
【0061】
このような第1の実施形態によれば、術者による操作部113による操作がなくても、表示装置13を注視するか否かによって、術者が出力画面を注視していなかった期間の画像データを、視線を戻した直後から再生することが可能となる。よって、表示装置13から視線を外していたことによる診断画像の見落としを減少させることができる。また、一時的に撮像フレームレートを「1/2」としているため、患者のX線被曝量が低減される。
【0062】
なお、蓄積されていた画像データを再生する際には、透視画像を即時的に表示している場合と区別するために、蓄積されていた画像データの再生であることを表示することが好ましい。また、撮像と表示との間の滞留フレーム数又は時間差をも表示することが好ましい。
【0063】
また、画像蓄積部1191に保存する情報に、撮影日時及び患者名等の情報を含めてもよい。また、より長期間の保存のためには、画像蓄積部1191に一時保存した情報を、通信部112経由で外部装置(図示せず)に転送してもよい。
【0064】
また、図4Aに示すように、曝射指示信号が有効であるが、表示注視信号が有効でない期間、例えば時刻t2から時刻t3までの期間において、撮像フレームレートを表示フレームレートと同一とすると共に、撮像した画像を随時そのまま表示してもよい。但し、この場合には、表示注視信号が有効でなくなった時に表示していたフレームのインデックスを記憶しておき、表示注視信号が有効となった時に当該フレームからの画像を再生することが好ましい。例えば、時刻t2において表示していたフレームのインデックスを記憶しておき、時刻t3からは、時刻t2において表示していたフレームからの画像を再生することが好ましい。
【0065】
また、表示装置13の能力によっては、滞留フレーム数が0を超えていて、曝射指示信号が有効である場合(状態D又は状態Fの場合)に、撮像フレームレートを1と設定してもよい。この場合には、全てのフレームを表示しながら滞留フレーム数を減少させることが可能となる。特に、表示注視信号も有効の場合(状態Fの場合)には、表示フレームレートを2とすることが好ましい。
【0066】
また、撮像したフレームの全てを画像蓄積部1191に記録しておきつつ、表示注視信号が有効となっている間に、2フレーム毎に1フレームを表示してもよい。このような制御を行うことにより、表示フレームが撮像フレームに追いつくようになる。
【0067】
更に、図4Bに示すように、曝射指示信号が有効で表示注視信号が有効でない期間でも撮像した画像を随時そのまま表示し、表示注視信号が有効となった時に、遡って表示をするか、又は表示を継続するかの選択結果を外部から受け取るようにしてもよい。つまり、外部からの選択を受け付ける選択手段が設けられていてもよい。このような選択が可能な場合、表示注視信号が有効でない期間の画像が不要であれば、そのまま表示を継続することにより、滞留フレーム数を速やかに減少させることができる。この結果、撮像した画像データをリアルタイムで観察することが早期に可能となる。
【0068】
なお、X線画像診断装置11の形態は、Cアーム型装置の他の形態であってもよい。
【0069】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。図6は、本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。
【0070】
本実施形態に係る内視鏡検査システムには、カメラ601、ケーブル602、画像処理装置603、視線検出センサ604、及び表示装置605が設けられている。
【0071】
カメラ601は、可視光を用いた内視鏡による観察画像を撮像する。カメラ601には、照明のための光源が付属している。
【0072】
ケーブル602は、カメラ601により撮像された画像データを取得するための配線を内包している。ケーブル602の先端には、カメラ601の他に、手術等の医療行為に用いられる装置(図示せず)が装備されている。ケーブル602のもう一方の先端は画像処理装置603に接続されている。
【0073】
画像処理装置603は、ケーブル602、表示装置605、及び視線検出センサ604に接続されている。画像処理装置603の構成については後述する。
【0074】
視線検出センサ604は、操作者が表示装置605を注視しているか否かを検出する。
【0075】
表示装置605は、検査画像を表示する。
【0076】
ここで、画像処理装置603の詳細について説明する。図7は、画像処理装置603の構成を示す機能ブロック図である。画像処理装置603には、画像処理部701、画像蓄積部702、画像再生部703、視線判定部704、及び再生制御部705が設けられている。
【0077】
画像蓄積部701は、カメラ601が取得した画像データを格納する。画像再生部702は、再生制御部705の指示によって画像蓄積部701に格納された画像データを再生し、出力する。画像処理部703は、画像データを見やすい角度で表示するために回転させたり、拡大・縮小表示をしたり、明るさを調整したりする。視線判定部704は、視線検出センサ604からの信号を処理し、操作者が表示装置605を注視しているか否かを判定する。再生制御部705は、視線判定部704の判定結果によって、次に表示すべきフレームを選択して画像再生部702に指示する。再生制御部705は、画像蓄積部701より保持されているフレームのインデックス情報を取得する。また、再生制御部705は、画像再生部702に対して直前に指示した再生すべきフレームのインデックスを記憶する。また、再生制御部705には、表示の更新間隔を管理するためのタイマ(図示せず)が内蔵されている。
【0078】
このように構成された画像処理装置603は、以下に説明するように、操作者が表示装置605から視線を逸らしていた場合の検査画像の見逃しを低減させるための動作を行う。
【0079】
図8は、再生制御部705による処理内容を示すフローチャートである。再生制御部705は、図8に示すように、検査終了となるまで所定の更新間隔で以下の動作を行う。
【0080】
先ず、ステップS801において、再生制御部705は、検査終了を判定する。再生制御部705は、終了スイッチ(図示せず)が操作されている場合に、検査終了(true)と判定し、操作されていない場合は、操作継続(false)と判定する。
【0081】
次に、ステップS802において、再生制御部705は、所定の表示更新間隔の時間経過を待つ。ステップS802からステップS803への遷移が所定間隔となるようにタイマが設けられているのである。
【0082】
次に、ステップS803において、視線判定部704が視線検出センサ604からの信号(表示注視信号)に応じて、操作者の視線が表示装置605に向いているか否かを判定する。そして、再生制御部705は、表示注視信号が有効であれば(true)、ステップS804に進み、そうでなければ(false)、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。
【0083】
ステップS804において、再生制御部705は、画像蓄積部701が保持している最終のフレームのインデックスを、画像再生部702に対して直前に指示した再生フレームのインデックスと比較する。そして、画像再生部702に対して直前に指示したフレームより後の画像データが画像蓄積部701にあれば(true)、ステップS805において、再生制御部705は、再生フレームを更新する。そうでなければ(false)、再生制御部705は、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。
【0084】
このように構成された第2の実施形態によれば、操作者の視線が表示装置605に向いている場合に限って再生フレームが更新されるため、検査装置における検査画像の見逃しを低減させることができる。
【0085】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。図9は、本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。本実施形態には、第2の実施形態におけるカメラ601に代えて、超音波発生器及びセンサを備えた超音波センサ部901が設けられており、更に、画像蓄積部701と超音波センサ部901との間に超音波を可視化する可視化処理部902が設けられている。そして、超音波センサ部901及び可視化処理部902により超音波診断画像が取得される。また、本実施形態では、可視化処理部902の出力は、画像蓄積部701に受け渡されるだけでなく、画像再生部702を迂回して画像処理部703に直接受け渡され得る。
【0086】
このような第3の実施形態によれば、未確認画像データがない場合に、表示の遅延を少なくすることが可能である。また、未確認画像データがある場合には、画像処理部703は、可視化処理部902からの出力、又は画像再生部702による未確認画像データの出力のいずれか一方を選択して表示することが可能である。なお、両者を縮小した後に、縮小後の両画像を並べて表示してもよい。
【0087】
なお、第3の実施形態を内視鏡検査システムに適用してもよく、第2の実施形態を超音波診断装置に適用してもよい。
【0088】
また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
【図面の簡単な説明】
【0089】
【図1】本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。
【図2】X線画像診断システムを示す図である。
【図3】X線画像診断装置11の動作を示すタイミングチャートである。
【図4A】第1の実施形態の変形例の動作を示すタイミングチャートである。
【図4B】第1の実施形態の他の変形例の動作を示すタイミングチャートである。
【図5A】従来の技術を示す図である。
【図5B】他の従来の技術を示す図である。
【図6】本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。
【図7】画像処理装置603の構成を示す機能ブロック図である。
【図8】再生制御部705による処理内容を示すフローチャートである。
【図9】本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。
【符号の説明】
【0090】
11:X線画像診断装置
12:視線検出センサ
13:表示装置
110:撮像部
111:管理部
112:通信部
1121:注視情報受信部
113:操作部
1131:X線曝射指示部
1132:X線量調整部
1133:表示部
114:X線曝射制御部
1141:タイマ
115:X線発生部
1151:X線発生管
116:X線受像部
117:画像処理部
118:表示画像選択部
1191:画像蓄積部
1192:画像再生部
201:測定機器
202:カート
203:寝台
601:カメラ
602:ケーブル
603:画像処理装置
604:視線検出センサ
605:表示装置
701:画像蓄積部
702:画像再生部
703:画像処理部
704:視線判定部
705:再生制御部
901:超音波センサ部
902:可視化処理部
【特許請求の範囲】
【請求項1】
撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、
前記蓄積手段により蓄積された画像データを再生する再生手段と、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、
前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記制御手段は、前記任意に設定された人の視線が前記表示手段に向けられていないことが前記注視検出手段によって検出された場合、前記撮像手段により撮像された画像データを前記蓄積手段に蓄積させ、前記任意に設定された人の視線が前記表示手段に向けられていることが前記注視検出手段によって検出された場合、前記蓄積手段によって蓄積された画像データを前記再生手段により再生させることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記撮像手段により撮像された画像データ及び前記再生手段により再生された画像データのうちの一方を選択して出力する選択手段を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記選択手段は、前記蓄積手段に未再生の画像データが存在しない場合に、前記撮像手段により撮像された画像データの出力を選択し、前記蓄積手段に未再生の画像データが存在する場合に、前記再生手段により再生された画像データの出力を選択することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記撮像手段は、前記蓄積手段に未再生の画像データが存在する場合、前記蓄積手段に未再生の画像データがない場合よりも遅いフレームレートで撮像を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記再生手段は、前記蓄積手段に未再生の画像データが存在しない場合、前記撮像手段が撮像するフレームレートよりも速いフレームレートで再生を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項7】
前記撮像手段は、X線画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記撮像手段は、内視鏡による観察画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項9】
前記撮像手段は、超音波診断画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項10】
撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を有することを特徴とする画像処理方法。
【請求項11】
コンピュータに、
撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を実行させることを特徴とするプログラム。
【請求項1】
撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、
前記蓄積手段により蓄積された画像データを再生する再生手段と、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、
前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記制御手段は、前記任意に設定された人の視線が前記表示手段に向けられていないことが前記注視検出手段によって検出された場合、前記撮像手段により撮像された画像データを前記蓄積手段に蓄積させ、前記任意に設定された人の視線が前記表示手段に向けられていることが前記注視検出手段によって検出された場合、前記蓄積手段によって蓄積された画像データを前記再生手段により再生させることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記撮像手段により撮像された画像データ及び前記再生手段により再生された画像データのうちの一方を選択して出力する選択手段を有することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記選択手段は、前記蓄積手段に未再生の画像データが存在しない場合に、前記撮像手段により撮像された画像データの出力を選択し、前記蓄積手段に未再生の画像データが存在する場合に、前記再生手段により再生された画像データの出力を選択することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記撮像手段は、前記蓄積手段に未再生の画像データが存在する場合、前記蓄積手段に未再生の画像データがない場合よりも遅いフレームレートで撮像を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記再生手段は、前記蓄積手段に未再生の画像データが存在しない場合、前記撮像手段が撮像するフレームレートよりも速いフレームレートで再生を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項7】
前記撮像手段は、X線画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記撮像手段は、内視鏡による観察画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項9】
前記撮像手段は、超音波診断画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項10】
撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を有することを特徴とする画像処理方法。
【請求項11】
コンピュータに、
撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2008−237369(P2008−237369A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−79682(P2007−79682)
【出願日】平成19年3月26日(2007.3.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願日】平成19年3月26日(2007.3.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]