画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置
【課題】画像を参照する参照者の疲労感や緊張感を緩和させる。
【解決手段】内視鏡による広角側撮影画像（２Ｄ画像）、立体視用画像（３Ｄ画像）およびナビゲーション用の画像（全体画像）を取得し、２Ｄ画像の一部に３Ｄ画像を表示させ（ステップ１００〜１０８）、３Ｄ画像への術者の視線滞留時間が所定時間Ｔ０以上で、３Ｄ画像表示領域を徐々に広げ（ステップ１１０〜１１４）、術者の２Ｄ画像と３Ｄ画像間の視線移動が所定頻度ｈ１以上で３Ｄ画像表示領域を徐々に狭くする（ステップ１１６〜１３４）。
【解決手段】内視鏡による広角側撮影画像（２Ｄ画像）、立体視用画像（３Ｄ画像）およびナビゲーション用の画像（全体画像）を取得し、２Ｄ画像の一部に３Ｄ画像を表示させ（ステップ１００〜１０８）、３Ｄ画像への術者の視線滞留時間が所定時間Ｔ０以上で、３Ｄ画像表示領域を徐々に広げ（ステップ１１０〜１１４）、術者の２Ｄ画像と３Ｄ画像間の視線移動が所定頻度ｈ１以上で３Ｄ画像表示領域を徐々に狭くする（ステップ１１６〜１３４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置に係り、特に内視鏡により対象物を観察するときの画像として立体画像を生成して提供する画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置に関する。
【背景技術】
【０００２】
従来より、内視鏡を用いて施術することが行われており、その内視鏡による観察画像を表示するシステムが知られている。このシステムでは、施術を円滑に進行させるために、表示する画像として、内視鏡による観察画像に併せて、予め対象物の周辺を含む部位の断層画像を再構築して得た参照用の３次元画像を提供するものもある。また、この３次元画像には、異なる２以上の視点から撮影された画像を用いて立体視用の画像を生成して提供するものもある。
【０００３】
例えば、仮想的な３次元画像を再構築して得たバーチャル画像、及び被検体像の観察画像を選択して表示することにより、操作性の良い被検体観察システムが提案されている（特許文献１参照。）。特許文献１の被検体観察システムでは、予め対象物周辺についてＣＴ（Computed Tomography）装置等により断層画像を得て再構築することで参照用の３次元画像（バーチャル画像）を得る。このバーチャル画像を確認用として参照しながら、術者は、内視鏡による対象物の観察画像を目視しつつ施術する。このとき、術者の意図するバーチャル画像を参照可能とするために、リモコンや音等の指示により、画像を切り替えることを可能としている。
【０００４】
また、独立して動作可能な複数の湾曲部を有する内視鏡と、各湾曲部の湾曲形状を観察部位に応じて立体視可能に制御する制御手段とを具備することで、生体の体腔内の処置部位を観察・処置に適した立体視可能な内視鏡装置が提案されている（特許文献２参照）。特許文献２の内視鏡装置では、術者の視線を検出して、術者の視線に応じて、立体視用の画像を生成するための２眼立体カメラの各々の視野を変更することで、内視鏡自体を動かすことなく立体画像の視野を変更することを可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３５７７８９号公報
【特許文献２】特開平６−１０５８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、術者の意図するバーチャル画像等を参照可能とするために、リモコンや音等の指示により、術者等が画像切替を指示しなければならず、内視鏡操作と参照画像の両方を同時に観察しつつ施術を進めることは、疲労感や緊張感が多かった。すなわち、内視鏡による観察は挿入部分近傍の狭い範囲しか確認できないので、内視鏡を対象物（例えば患部）付近にまで到達させるために、内視鏡操作を実際の操作状況と内視鏡の挿入部分近傍画像の両方を見ながら、内視鏡を意図する位置まで進める必要があり、術者にとって、内視鏡操作(バーチャル画像)と被検体像の観察画像（または対象物の画像）の両方を同時に観察することは、疲労感や緊張感が多かった。このうえ、操作中に画像を切り替え指示することは、さらに疲労感や緊張感を増大させる。
【０００７】
また、特許文献２の技術では、術者の視線に応じて、各カメラの視野を変更することで、内視鏡自体を動かさずに立体画像の視野を変更できるものの、対象物近傍の狭い範囲での確認についてである。内視鏡で対象物（例えば患部の）状況を立体視できることは術者にとって助けになるものの、内視鏡で立体視しょうとすると対象物近傍の狭い範囲しか確認できないため、内視鏡を対象物付近にまで到達させるためには、内視鏡操作を実際の操作状況を参照することが必要になる。従って、内視鏡操作を実際の操作状況と内視鏡の挿入部分近傍画像の両方を見ながら、内視鏡を意図する位置まで進める必要があり、術者にとって、内視鏡操作(直視)と患部画像の両方を同時に観察するときの疲労感や緊張感が解消されるものではない。
【０００８】
本発明は、上記事実を考慮してなされたもので、画像を参照する参照者の疲労感や緊張感を緩和させることができる画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の画像処理装置は、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得手段と、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力手段と、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出手段と、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更手段と、を備える。
【００１０】
本発明の画像処理装置によれば、取得手段が、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から参照画像を取得する。これと共に、取得手段は、内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する。画像出力手段は、これら参照画像と、基準画像と、立体画像とが同期されて表示手段に表示されるように画像出力する。画像出力されて表示される画像は、参照者により目視される。この表示された少なくとも１つの画像に対する参照者の視線の経時変動を、検出手段によって検出する。この経時変動は、画像に対する参照者の視線の時系列的な方向変化についての量、差分量、速度、加速度、及び方向変化の回数や履歴等の目視状態を含んでいる。従って、検出手段では、画像に対する参照者の視線の経時変動である目視状態が検出される。
【００１１】
変更手段は、検出手段の検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更する。検出手段により検出された画像に対する参照者の視線の経時変動である目視状態から、例えば、参照画像、基準画像及び立体画像に対する参照者の注目画像や複数画像を関係して参照した関係画像を把握することができる。このため、検出手段の検出結果に応じた参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更することにより、参照者の注目画像や関係画像の大きさを変更できる。
【００１２】
このように、画像に対する参照者の視線の経時変動を検出した検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更することによって、煩わしい操作等を実行することなく、画像を提示でき、これを参照する参照者の疲労感や緊張感を緩和させることができる。
【００１３】
[2] 前記画像処理装置において、前記基準画像は、広角撮影された広角画像であることを特徴とする。内視鏡による観察は挿入部分近傍の狭い範囲しか確認できない。このため、より広範囲の画像で確認するために、基準画像として取得する内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを、広角撮影された広角画像とする。これにより、複数の視点から各々同期して撮影された複数の画像のうちから画角が相違する画像を得ることができ、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。
【００１４】
[3] 前記画像処理装置において、前記検出手段は、前記参照者の視線の経時変動として、画像に対する視線滞留時間及び画像間の視線移動頻度の少なくとも一方を検出することを特徴とする。参照者は、その時点で注目する画像（注目画像）については凝視したり注意深く時間をかけて参照したりする。また、参照者が全体を把握したときや周辺部位を気遣うとき等には、複数画像を関係して参照する（関係画像）。例えば、この注目画像を特定するためには、視線滞留時間を検出することで視線の滞留先にある画像を注目画像として把握することが可能となる。また、関係画像を特定するためには、画像間の視線移動頻度を検出することで視線方向にある複数画像間の関係を把握できる。つまり画像を一定時間内に、ある画像から他の画像へ視線が移動した回数を把握することができる。また、視線滞留時間及び画像間の視線移動頻度の両方を検出することで、ある画像を一定時間内に目視した回数や画像を目視した時間、ある画像から他の画像へ視線が移動した回数と画像を目視した時間を把握できる。これによって、参照者が参照する画像、または複数画像の目視状態を把握でき、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。
【００１５】
[4] 前記画像処理装置において、前記検出手段は、対象物から内視鏡までの距離をさらに検出することを特徴とする。内視鏡による観察は挿入部分近傍の狭い範囲しか確認できないので、内視鏡を対象物（例えば患部）付近に到達したときに、例えば、対象物（例えば患部の）を立体視する等のように画像を参照したい等、参照者の注目画像が変化する場合がある。そこで、対象物から内視鏡までの距離をさらに検出して画像の大きさを変更することにより、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。対象物から内視鏡までの距離検出は、例えば対象物および内視鏡の位置を検出して計算すればよい。対象物の位置は、予め参照画像にマーキングしておきこれを検出してもよく、参照画像にマーキングしてから検出するようにしてもよい。また、内視鏡の位置は、対象物内における内視鏡の位置を検知する検知部を備えて検出するようにしてもよく、画像処理により位置検出するようにしてもよい。
【００１６】
[5] 前記画像処理装置において、前記変更手段は、前記立体画像の表示領域の大きさを変更することを特徴とする。施術中の参照者は、注目しつつ参照する画像は、対象物を目視に近く提供されている立体画像であろう。そこで、視線の経時変動に基づき立体画像の表示領域の大きさを変更することによって、参照者が目視を望む画像を視線の経時変動に基づく大きさで優先的に提供できる。
【００１７】
[6] 前記画像処理装置において、前記変更手段は、前記視線の経時変動に関係する画像の表示領域を徐々に拡大または縮小することを特徴とすることを特徴とする。参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更する場合、変更前後で大きさが急峻に切り替わるようにすることが効果的な場合もあるが、その切り替わりに違和感を感じさせる場合もある。そこで、表示領域を徐々に拡大または縮小することことにより、大きさの変更について違和感を感じさせることがない。
【００１８】
[7] 前記画像処理装置において、前記変更手段は、前記参照画像、前記基準画像及び前記立体画像の何れかの画像の表示領域内に、他の画像が重畳表示されるように表示領域の大きさを変更することを特徴とする。複数画像を参照する場合、１画像の大きさの拡大縮小により他の画像の大きさが逆方向に変化する場合、例えば参照者が第１に目視を望む画像の大きさの大小により他の画像の大きさが連動する。この場合、参照者が他の画像の参照もしつつ施術している場合、違和感を感じさせてしまう。ある画像内に他の画像を重畳させて表示するようにすることで、ある画像の全体としての大きさは変動せずに、他の画像を効果的に提供できる。
【００１９】
[8] 前記画像処理装置において、前記変更手段は、前記参照画像、前記基準画像及び前記立体画像を予め定めた有効表示領域に表示するときに、各画像の表示領域に関する表示配分を定めて各画像の表示領域の大きさを変更することを特徴とする。ディスプレイ等の表示装置は、その表示について有効表示領域を定めて画像を表示する場合がある。この有効表示領域に、参照画像、基準画像及び立体画像を表示させるためには、各画像の表示領域に関する表示配分を定める必要がある。このように表示配分を定めて画像を表示させる場合には、表示配分の比率や表示配分内の大きさを変更することで各画像の表示領域の大きさを変更すればよい。
【００２０】
[9] 前記画像処理装置に、観察する対象物内における内視鏡の位置情報を受け付ける受付手段をさらに備え、前記画像出力手段は、前記受け付けた位置情報による内視鏡の位置を少なくとも含む画像を出力することを特徴とする。なお、内視鏡の位置を把握するためには、観察中に位置検出することが好ましい。そこで、観察する対象物内における内視鏡の位置情報を受付手段により受け付けることで、内視鏡の位置を把握でき、受け付けた内視鏡の位置を画像に表示させることで、参照者は内視鏡の位置を容易に把握することができる。なお、内視鏡の位置は、観察中の内視鏡の先端位置を検出することが好ましい。また、内視鏡の位置を画像に表示させる場合、予め定めた対象物内における特定部位（例えば患部の位置）を含む画像を同時に出力することで、内視鏡と対象物の特定部位の関係を容易に把握することもできる。
【００２１】
[10]前記画像処理装置では、前記取得手段は、前記基準画像と視差画像とに基づいて立体画像を生成する生成手段により得られる立体画像を取得することを特徴とする。このように、立体画像を生成する生成手段により得られる立体画像を取得することにより、立体画像を生成するための処理についての処理負荷を軽減することができる。
【００２２】
[11]本発明の画像処理方法は、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得し、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力し、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出し、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する。
【００２３】
[12]本発明の画像処理プログラムは、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得ステップと、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力ステップと、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出ステップと、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更ステップと、をコンピュータに実行させる。
【００２４】
[13]本発明の立体内視鏡装置は、前記画像処理装置と、複数の視点から各々同期して撮影する複数の撮影装置を備えた内視鏡と、対象物に関係する参照画像を予め記憶した記憶手段と、参照画像と、基準画像と、立体画像とを表示する表示手段と、を備える。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、画像に対する参照者の視線の経時変動を検出した検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の何れかの画像の表示領域の大きさを変更することによって、煩わしい操作等を実行することなく、画像を提示でき、参照者の疲労感や緊張感を緩和させることができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る立体内視鏡装置の概略構成図である。
【図２】本実施形態に係る立体内視鏡装置の内視鏡の先端部分の概略構成である。
【図３】本実施形態に係る立体内視鏡装置の電装装置の内部構成を示す概略ブロック図である。
【図４】本実施形態に係る立体内視鏡装置の電装装置の表示領域設定部の概念構成を示す機能ブロック図である。
【図５】表示領域設定部による表示領域の設定例を示すイメージ図である。
【図６】第１実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図７】第１実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は表示領域変更された３Ｄ画像を示す。
【図８】第２実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図９】第２実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は表示領域変更された３Ｄ画像を示す。
【図１０】第３実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１１】第３実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は表示領域変更された２Ｄ画像を示す。
【図１２】第４実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１３】第４実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は表示領域変更された３Ｄ画像を示す。
【図１４】第５実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１５】第５実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は全体画像をさらに重畳した３Ｄ画像を示す。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を立体内視鏡装置に適用した場合について説明する。
【００２８】
〔第１実施形態〕
第１実施形態は、立体内視鏡装置において、表示される画像を参照する参照者（例えば、術者）の視線の方向を検出して、画像間（例えば広角画角の撮影光学系により得る広角画像と、内視鏡を対象物（例えば被検体）の目的部位（例えば患部）へ導くためのナビゲーション画像等の全体画像との間）の視線移動頻度や、各画像の視線滞留時間を求めて、これに基づき広角画像または立体視用画像（内視鏡により撮影された画像より得る立体画像）の表示領域を変更するものである。
【００２９】
図１は、第１実施形態に係る立体内視鏡装置１の概略構成図である。図１に示すように、立体内視鏡装置１は、内視鏡２、電源ボタン３、電装装置４及び画像表示のためのモニタ７を備えている。また、立体内視鏡装置１には、各種操作ボタン８およびフレキシブルディスクやＣＤＲＯＭ、ＤＶＤディスク等の記録メディア２９にアクセスしてデータ等の書き込み及び読み込みする装置の制御を行う表示制御部２６を備えている。
【００３０】
図２は、内視鏡２の先端部分２Ａの概略構成である。図２に示すように、内視鏡２は、２つの撮影部２１Ａ、２１Ｂが配設されている。また、内視鏡２は、図示しない光源装置からの光を対象物へ照明するための照明部４３、及び内視鏡２の位置検出のための位置センサ４２を備えている。照明部４３には、照明光を伝達する図示しないライトガイドが挿通配設される。なお、本実施の形態では、撮影部２１Ａと撮影部２１Ｂとについて、撮影光学系の画角を相違するものを用いている。撮影部２１Ａは広角画像を得るための広角画角の撮影光学系であり、撮影部２１Ｂは標準画像を得るための標準画角の撮影光学系である。撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、撮影部２１Ａ、２１Ｂは、画角が相違するため、上記基線長及び輻輳角で被写体を撮影するときに、撮影部２１Ａ、２１Ｂにより撮影された画像の大きさが一致するように、撮影部２１Ａによる撮影画像からトリミングした一部画像を用いて立体画像を生成することができる（詳細後述）。
【００３１】
図３は、本実施形態の立体内視鏡装置１に係る電装装置４の内部構成を示す概略ブロック図である。図３に示すように、電装装置４は、２つの撮影部２１Ａ、２１Ｂからの撮影信号を受け取るインタフェース部（Ｉ／Ｆ部）４０、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、及びＣＰＵ３５を備えている。ＣＰＵ３５は、各種操作ボタン８からの入力を受け付けると共に、各種プログラムを実行する。
【００３２】
撮影制御部２２は、図示しない露出処理部を含み、露出処理部は撮影部２１Ａ、２１Ｂにより撮影した撮影画像にについて周知の手法により最適な露出値（例えば、絞り値とシャッタ速度）とを決定し、撮影部２１Ａ、２１Ｂに出力する。なお、撮影制御部２２は、撮影範囲についてスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行うことができる。
【００３３】
画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
【００３４】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。ここで、撮影部２１Ａ、２１Ｂは、画角が相違するため、基線長及び輻輳角で被写体を撮影するときに、各撮影画像による立体画像を生成するための大きさが一致するように、撮影部２１Ａによる撮影画像（広角画像）からトリミングした一部画像と、撮影部２１Ｂによる撮影画像（標準画像）を用いて立体視用の画像ファイルを生成する。このために利用される各種情報は内部メモリ２７に記憶される。なお、立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報を格納するようにしてもよい。
【００３５】
フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３６】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
【００３７】
内部メモリ２７は、電装装置４において用いられる各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。
【００３８】
表示制御部２８は、撮影時にフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像をモニタ７に表示させたり、後述するナビゲーション画像を表示させたり、撮影部２１Ａによる撮影画像（広角画像）をそのまま表示させたりする。
【００３９】
また、インタフェース部４０には、位置センサ４２と方向センサ４４からの検出信号が入力されるように位置センサ４２と方向センサ４４が接続されている。位置センサ４２は、患者等の対象物内における内視鏡２の先端部分２Ａの位置を検出する。この位置検出により、全体画像メモリ３２に記憶された全体画像内に内視鏡２の先端部分２Ａを描画することができる。方向センサ４４は、画像を参照する参照者（例えば、術者）の視線の方向を検出するものである。方向センサ４４の一例には、参照者の眼球を少なくとも含む顔部分を撮影して、その眼球の移動を検知することにより参照者の視線の方向を検出する装置が挙げられる。また他例としては、参照者にメガネ等の補助具を装着してもらい、その補助具に眼球の移動を検知するセンサを設けて、眼球の移動を検知することにより参照者の視線の方向を検出する装置が挙げられる。
【００４０】
電装装置４は、全体画像メモリ３２を備えている。この全体画像メモリ３２は、内視鏡を対象物の目的部位へ導くためのナビゲーション画像や目的部位周辺を確認するための参照画像としてモニタの表示画面に表示可能とする全体画像に関する画像データを記憶するものである。全体画像に関する画像データの一例は、断層像から構築した画像データがある。例えば、まずＸ線ＣＴ（Computed Tomography）装置等により被検体の断層像を撮像することで、患者等の対象物内の３次元領域の画像データを得る。このＣＴ装置は、Ｘ線照射・検出を連続的に回転させつつ対象物を体軸方向に連続送りすることにより、対象物の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：helical scan ）を行い、３次元領域の連続するスライスの断層像から、３次元な仮想的な全体画像を生成する。電装装置４は、位置センサ４２の検出信号による内視鏡２の先端位置に連動して全体画像を読み取って表示させたり、予め定めた対処物の特定位置（患部）周辺の全体画像を読み取って表示させたりする。
【００４１】
また、電装装置４は、３次元処理部３０、及びナビゲーション画像処理部３３を備える。
【００４２】
３次元処理部３０は、左画像及び右画像をモニタ７の一部または全部に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。
【００４３】
ナビゲーション画像処理部３３は、立体内視鏡装置１における立体視用画像を含む画像表示を適切なものとするために、各画像の表示領域を設定したりその大きさを変更したりする（詳細は後述）。
【００４４】
ナビゲーション画像処理部３３は、頻度演算部５１，時間演算部５２，距離演算部５３を含む目視状態演算部５０と、表示領域設定部５４とを備えている。頻度演算部５１は、方向センサ４４の検出値から画像を参照する参照者の視線について、画像間の視線移動頻度や任意の画像から他の画像に視線が切り替わる頻度を求めるためのものである。時間演算部５２は、方向センサ４４の検出値から画像を参照する参照者の視線について、視線の滞留時間を計測するものである。視線の滞留に対しては、視線方向について予め滞留していると判別する微小立体角を設定してもよい。距離演算部５３は、位置センサ４２の検出値と、予め定めた対象物の位置（例えば患部）の位置とから、内視鏡２の先端部分２Ａと予め定めた対象物の位置（例えば患部）との距離を演算するものである。
【００４５】
なお、目視状態演算部５０は、これら頻度演算部５１，時間演算部５２，距離演算部５３に限定されるものではなく、画像を参照する参照者の視線の経時変動を求めるものを含めばよく、経時変動としては、画像に対する参照者の視線の時系列的な方向変化についての量、差分量、速度、加速度、及び方向変化の回数や履歴等の目視状態を含んでもよい。また、目視状態演算部５０、または頻度演算部５１，時間演算部５２および距離演算部５３の少なくとも１つについて、ハードウェア装置で構成してもよく、上述のハードウェア資源を用いたプログラム実行によるソフトウェアで構成してもよい。
【００４６】
図４は、表示領域設定部５４の概念構成を示す機能ブロック図である。図４に示すように、表示領域設定部５４は、２つの撮影部２１Ａからの撮影画像（広角画像、図４では、２Ｄ画像）の表示領域を担当する表示領域設定部５５Ａ、撮影部２１Ａ、２１Ｂにより生成された立体視用画像（立体画像、図４では、３Ｄ画像）の表示領域を担当する表示領域設定部５５Ｂ，全体画像メモリ３２から読み取ったナビゲーションのための画像（全体画像、図４では、全体画像）の表示領域を担当する表示領域設定部５５Ｃ、及び設定部５５Ｚから構成されている。表示領域設定部５４は、目視状態演算部５０により決定された目視状態の状態値が入力されると、広角画像、立体視用画像、ナビゲーションのための画像（図４の２Ｄ画像、３Ｄ画像、全体画像）の各々の位置及び大きさを定める。
【００４７】
図５は、表示領域設定部５４による表示領域の設定例を示すイメージ図である。図５に示すように、表示領域設定部５４は、有効表示領域６０内に、撮影部２１Ａからの撮影画像（広角画像、図４では、２Ｄ画像）の表示領域６２、撮影部２１Ａ、２１Ｂにより生成された立体視用画像（立体画像、図４では、３Ｄ画像）の表示領域６４、全体画像メモリ３２から読み取ったナビゲーションのための画像（全体画像、図４では、全体画像）の表示領域６６が、各画像の表示のため画像中心位置７２，７４，７６を中心として配置されるように設定する。詳細を後述するように、画像中心位置７２、７４，７６において各々設定された大きさの表示領域６２、６４，６６の大きさや位置が変更される。
【００４８】
図５の例では、有効表示領域６０内に、広角画像（２Ｄ画像）の表示領域６２、立体視用画像（３Ｄ画像）の表示領域６４、ナビゲーションのための画像（全体画像）の表示領域６６が、配置される場合を示しているが、これに限定されるものではない。例えば、分断線６１を境界として、表示領域６２及び表示領域６４を含む第１有効表示領域６０Ａと、表示領域６６を含む第２有効表示領域６０Ｂとからなる有効表示領域６０としてもよい。この場合、第１有効表示領域６０Ａと第２有効表示領域６０Ｂとを各々別モニタに表示させてもよい。このときには、表示を同期させることが好ましい。
【００４９】
なお、本実施形態では、立体視用の画像表示についての詳述を省略するが、周知の手法によって、容易に立体視用の画像表示は可能である。一例としては、立体視用として視差を有する左眼用画像及び右眼用画像を生成しておき、立体視用の画像表示をするときに、画像表示に同期して、左眼用画像表示のときに左眼のみ目視可能としかつ右眼用画像表示のときに右眼のみ目視可能とするように、画像提示すればよい。この場合、図３に点線出示すように、メガネ等の補助具に、左眼と右眼とを切り替える表示選択装置４６を設けて、立体視用の画像表示に同期して切り替えればよい。
【００５０】
また、立体視用の画像表示については、モニタ７に同様の装置を設けても良い。例えば、モニタ７に、左眼用画像及び右眼用画像に同期して、左眼用画像では参照者の左眼への指向性を有して画像表示しかつ右眼への指向性を有して画像表示する指向性表示制御装置を設けて、立体視用の左右の画像表示に同期して切り替え表示すればよい。
【００５１】
次に、図６を参照して、第１実施形態の立体内視鏡装置１における画像処理ルーチンについて説明する。
【００５２】
ステップ１００では、内視鏡２が挿入されると撮影部２１Ａ、２１Ｂによる撮影が開始され、広角で撮影された撮影部２１Ａからの広角側撮影画像（以下、２Ｄ画像という）及び標準画角で撮影された撮影部２１Ｂからの撮影画像（以下、標準画像という）を取得し、かつ全体画像メモリ３２から全体画像を取得する。なお、この全体画像は、予め設定した患部１５４付近の全体画像でもよく、位置センサ４２で検出した位置を含む全体画像でもよい。このステップ１００では、撮影部２１Ａ、２１Ｂの各画像から生成された立体視用画像（以下、３Ｄ画像という。）を取得してもよい。この場合、上述のように撮影部２１Ａ、２１Ｂは画角が相違するため、２Ｄ画像である撮影部２１Ａによる撮影画像からトリミングした画像が右画像として画像生成されると共に、標準画像である撮影部２１Ｂによる撮影画像を左画像として、これらの右画像と左画像を用いて立体視用の画像ファイルが生成される。この画像ファイルを立体視用画像（３Ｄ画像）として取得する。
【００５３】
次のステップ１０２では、２Ｄ画像及び全体画像をモニタ７に表示させる画像表示信号を出力する。ここでは、予め定めた画像の有効表示領域（モニタ７の表示領域）について２Ｄ画像及び全体画像を初期値により配分する。一例としては、図７（Ａ）に示すように、モニタ７の有効表示領域６０内に表示される表示画像１４０は、２Ｄ画像１４２と全体画像１４６との大きさを初期値（均等配分）に設定し、表示させる。なお、図７（Ａ）は、左側の表示領域６２に２Ｄ画像１４２が表示され、右側の全体画像の表示領域６６内に全体画像１４６が表示され、その全体画像１４６中に、参照者（術者）が注目すべき対象物の部位（患部）１５４と、患部１５４から予め定めた所定距離Ｘ０を示す境界線１５０と、内視鏡２の先端部位１５２とが表示されたものを示している。
【００５４】
次のステップ１０４では全体画像中における内視鏡２と患部１５４との距離Ｘを求めて、距離Ｘが所定距離Ｘ０以内のときステップ１０６で肯定され、ステップ１０８へ進み、画像表示領域の変更処理へと移行する。一方、距離Ｘが所定距離Ｘ０を超えるときにはステップ１０６で否定され、ステップ１０２へ戻る。ステップ１０４の距離Ｘの計算は、目視状態演算部５０の距離演算部５３により実行される。
【００５５】
次に、ステップ１０８では、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる。具体的には、図７（Ｂ）に示すように、表示領域６２の一部に表示領域６４を設けて、３Ｄ画像１４８を表示させる。この例では、表示領域６２の表示領域の大きさに対して、上部に２Ｄ画像の表示領域６２、下部に３Ｄ画像の表示領域６４を設定した場合を示している。また、３Ｄ画像１４８内には、方向センサ４４により参照者（術者）の視点１５６を求め、その視点１５６が表示された場合を示している。なお、表示領域の設定は、分割でもよく、重畳でもよい。すなわち、２Ｄ画像１４２の表示領域６２に対して表示領域を図７（Ｂ）に示すように上下に配分し、各表示領域内に画像を拡大縮小して表示させる。または、２Ｄ画像１４２の６２に対して表示領域の大きさを図７（Ｂ）に示すように上下に配分し、各表示領域に見合う大きさの画像をトリミングして表示させるようにしてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００５６】
このように、全体画像中における内視鏡２と患部１５４との距離Ｘを求めて、距離Ｘが所定距離Ｘ０以内のときに、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させることで、患部１５４に内視鏡２が近づいたとき、参照者（術者）に対して３Ｄ画像１４８を提供できる。このため、患部１５４に至るまでに画像を参照する参照者の疲労感や緊張感を緩和させることができる。
【００５７】
次に、ステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ１１２で肯定され、ステップ１１４において３Ｄ画像１４８の表示領域６４を徐々に広げる。具体的には、図７（Ｂ）及び図７（Ｃ）に示すように、領域高さがｓ１であった３Ｄ画像１４８から領域高さがｓ２へ３Ｄ画像１４８の大きさを変更する。この領域高さをｓ１からｓ２へ変更するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げる。ステップ１１０の時間Ｔの計算は、目視状態演算部５０の時間演算部５２により実行される。
【００５８】
次に、ステップ１１６では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における２Ｄ画像１４２と３Ｄ画像１４８の画像間における視線移動頻度Ｈａを求める。このステップ１１６の視線移動頻度Ｈａの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めたＨａが所定頻度ｈ１以上になるとステップ１１８で肯定され、ステップ１２０において３Ｄ画像１４８の表示領域６４を徐々に狭くして、ステップ１２２へ進む。一方、ステップ１１８で否定されると、ステップ１３２において３Ｄ画像１４８の表示領域６４の大きさを変更することなく、ステップ１２２へ進む。
【００５９】
ステップ１２２では、現在の３Ｄ画像１４８を表示している表示領域６４の面積を求めることで３Ｄ画像領域Ｒを求め、画像領域Ｒが所定領域ｒ０以上になるとステップ１２４で肯定され、操作ボタン８により終了指示がなされた場合は（ステップ１２６で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ１２６で否定）、ステップ１１０へ戻り、上記処理を繰り返し実行する。一方、画像領域Ｒが所定領域ｒ０未満の場合、ステップ１２４で否定され、ステップ１０２へ戻り、上記処理を繰り返す。
【００６０】
一方、ステップ１１０における３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０未満の場合には、ステップ１１２で否定され、ステップ１２８へ進む。ステップ１２８では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における２Ｄ画像１４２と全体画像１４６の画像間における視線移動頻度Ｈｂを求める。このステップ１２８の視線移動頻度Ｈｂの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めた視線移動頻度Ｈｂが所定頻度ｈ２以上になるとステップ１３０で肯定され、ステップ１３２へ進む。一方、ステップ１３０で否定されると、ステップ１３４において、３Ｄ画像１４８の表示領域６４を徐々に狭くして、ステップ１２２へ進む。
【００６１】
以上説明したように、本実施形態の立体内視鏡装置よれば、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０以上になると３Ｄ画像１４８の表示領域６４を徐々に広げている。また、参照者（術者）の視線方向（視点１５６）の経時変化として、所定時間内における２Ｄ画像１４２と３Ｄ画像１４８の画像間における視線移動頻度Ｈａと、２Ｄ画像１４２と全体画像１４６の画像間における視線移動頻度Ｈｂから、３Ｄ画像１４８の表示領域６４を拡大縮小している。このように参照者の画像に対する注目の度合いに応じて、３Ｄ画像１４８を注視する参照者（術者）に対して拡大縮小して画像を提供することによって、参照者の疲労感や緊張感を緩和させることができる。
【００６２】
なお、本実施形態では、画像間における視線移動頻度に応じて表示領域を拡大縮小する場合を説明したが、視線移動頻度と視線滞留時間とを組み合わせても良い。例えば、視線移動頻度と視線滞留時間とを予め定めた係数を付与して乗じた計算値を用いても良い。この組み合わせにより、各々の画像に対する注目の度合いを数値化できる。この数値化した画像について、３Ｄ画像の注目順位を基準として拡大縮小に用いても良い。
【００６３】
〔第２実施形態〕
次に、第２実施形態について説明する。第２実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００６４】
第２実施形態は、第１実施形態の立体内視鏡装置において、内視鏡の位置をさらに検出し、その結果を考慮して、視線の方向による画像間の視線移動頻度や、各画像の視線滞留時間から広角画像または立体視用画像（内視鏡により撮影された画像より得る立体画像）の表示領域を変更するものである。
【００６５】
図８を参照して、第２の実施の形態の電装装置おける画像処理ルーチンについて説明する。なお、第１実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図８は、図６と相違する追加部分を示した。
【００６６】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図９（Ａ）、及び図９（Ｂ）参照）。次のステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ１１２で肯定され、ステップ２０２へ進み、否定されるとステップ１２８へ進む。
【００６７】
ステップ２０２では、全体画像中における内視鏡２と患部１５４との距離Ｙを求めて、距離Ｙが所定距離Ｙ０以内のときステップ２０４で肯定され、ステップ１１４へ進み、３Ｄ画像１４８の表示領域６４を徐々に広げる画像表示領域の変更処理へと移行する。具体的には、図９（Ｂ）及び図９（Ｃ）に示すように、領域高さがｓ１であった３Ｄ画像１４８から領域高さがｓ３へ３Ｄ画像１４８の大きさを変更する。この領域高さをｓ１からｓ３へ変更するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げる。ステップ１１０の時間Ｔの計算は、目視状態演算部５０の時間演算部５２により実行される。一方、距離Ｙが所定距離Ｙ０を超えるときにはステップ２０４で否定され、ステップ１１０へ戻る。ステップ２０２の距離Ｙの計算は、目視状態演算部５０の距離演算部５３により実行される。
【００６８】
以下、第１実施形態と同様に処理する。
【００６９】
以上説明したように、第２実施形態の立体内視鏡装置によれば、内視鏡の位置を検出してその結果を考慮するので、視線の方向による画像間の視線移動頻度検出や、各画像の視線滞留時間検出による過剰な表示領域変更を抑制することができる。これによって、参照者の疲労感や緊張感を緩和させることができる。また、内視鏡位置の検出結果を考慮するので、視線移動頻度や視線滞留時間の検出のみによる異常信号等を排除可能なフィルタ効果も期待できる。
【００７０】
なお、第２実施形態では、位置センサ４２と全体画像とを用いて、全体画像中における内視鏡２と患部１５４との距離Ｙを求めているが、これに限定されるものではなく、直接内視鏡２と患部１５４との距離を検出してもよい。また、距離Ｙについて所定距離Ｙ０を規定しているが、距離の値に限定されるものではなく、距離Ｙ０が所定範囲であってもよい。
【００７１】
〔第３実施形態〕
次に、第３実施形態について説明する。第３実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００７２】
第３実施形態は、第１実施形態の立体内視鏡装置において、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させるものである。
【００７３】
図１０を参照して、第３の実施の形態の電装装置おける画像処理ルーチンについて説明する。なお、第１実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００７４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１１（Ａ）、及び図１１（Ｂ）参照）。次のステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ３０２で肯定され、ステップ３０４へ進み、否定されるとステップ１０８へ戻る。
【００７５】
ステップ３０４では、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる。すなわち、最初に表示させた２Ｄ画像１４２の表示領域６２の大きさで、３Ｄ画像１４８の表示領域６４を確保し、その表示領域６４上の一部に２Ｄ画像１４２の表示領域６２を設ける。具体的には、図１１（Ｃ）に示すように、２Ｄ画像１４２の表示領域６２と３Ｄ画像１４８の表示領域６４から表示配分される領域全てを３Ｄ画像１４８の表示領域６４に設定する。そして、その３Ｄ画像１４８の表示領域６４内に２Ｄ画像１４２の表示領域６２を設定する。従って、参照者が目視している視点１５６の周辺について３Ｄ画像１４８が拡大されつつ２Ｄ画像１４２の表示も同時に行われることになる。なお、２Ｄ画像１４２の表示領域６２に表示する画像は、２Ｄ画像１４２の表示領域６２に対して２Ｄ画像１４２を拡大縮小して表示させてもよく、２Ｄ画像１４２の表示領域６２に見合う大きさの画像をトリミングして表示させてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００７６】
次に、ステップ３０６では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める。このステップ３０６の視線移動頻度Ｈｃの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になるとステップ３０８で肯定され、ステップ３１０へ進む。一方、ステップ３０８で否定されると、ステップ３１２において３Ｄ画像１４８の表示領域６４の大きさを変更せずに維持する指示をしてステップ３１４へ進む。
【００７７】
ステップ３１０では、前記ステップ３０４で重畳表示した２Ｄ画像１４２の表示領域６２の大きさを大きくする。すなわち、２Ｄ画像１４２の表示領域６２を徐々に広げる。具体的には、図１１（Ｃ）及び図１１（Ｄ）に示すように、領域幅ｗ１であった２Ｄ画像１４２から領域幅ｗ２へ２Ｄ画像１４２の大きさ（表示領域６２）を変更する。この領域幅ｗ１から領域幅ｗ２へ変更するときには、一定量づつ増加させることにより徐々に２Ｄ画像１４２の表示領域６２を広げる。
【００７８】
次に、ステップ３１４では、現在の３Ｄ画像１４８を表示している表示領域６４の面積（３Ｄ画像領域Ｒｔ）と、２Ｄ画像１４２を表示している表示領域６２の面積（２Ｄ画像領域Ｒｓ）を求め、それらの画像領域（表示領域）の比率Ｐ（Ｒｓ／Ｒｔ）を計算する。画像領域の比率Ｐが所定領域ｐ０未満の場合、ステップ３１６で否定されてステップ１１０へ戻り、上記処理を繰り返し実行する。一方、画像領域の比率Ｐが所定領域ｐ０以上になるとステップ３１６で肯定され、ステップ３１８において３Ｄ画像１４８の表示領域６４の大きさを変更せずに維持する指示をしてステップ３２０へ進む。ステップ３２０では操作ボタン８により終了指示がなされた場合（ステップ３２０で肯定）本ルーチンを終了し、終了指示がなされていない場合は（ステップ３２０で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００７９】
以上説明したように、第３実施形態の立体内視鏡装置によれば、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させることにより、画像間の視線移動回数の減少を期待でき、参照者の疲労感や緊張感を緩和させることができる。
【００８０】
なお、第３実施形態は、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させてから、その３Ｄ画像を重畳表示させているが、２Ｄ画像１４２の一部に３Ｄ画像を表示させるときに、重畳表示させてもよい。また、上記第１実施形態、第２実施形態における他の処理の一部または複数を組合せて実施してもよい。
【００８１】
〔第４実施形態〕
次に、第４実施形態について説明する。第４実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００８２】
第４実施形態は、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させてさらに立体視用画像の表示領域を拡大縮小するものである。
【００８３】
図１２を参照して、第４実施形態の電装装置おける画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００８４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１３（Ａ）、及び図１３（Ｂ）参照）。次に、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０以上になると（ステップ１１０，ステップ３０２で肯定）、全体画像中における内視鏡２と患部１５４の距離を求める（ステップ２０２）。全体画像中における内視鏡２と患部１５４が接近すると（距離Ｙが所定距離Ｙ０以内）、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる（ステップ３０４、図１３（Ｃ）参照）。
【００８５】
次に、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める（ステップ３０６）。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になると（ステップ４０２で肯定）、ステップ１０８へ戻り、否定されると、ステップ４０４へ進む。
【００８６】
ステップ４０４では、前記ステップ３０４で表示した３Ｄ画像１４８の表示領域６４の大きさを大きくする。すなわち、３Ｄ画像１４８の表示領域６４を徐々に全体画像１４６側に広げる。具体的には、図１３（Ｃ）及び図１３（Ｄ）に示すように、３Ｄ画像１４８の表示領域６４と全体画像１４６の表示領域６６との境界Ｂｄを領域幅方向に距離Ｌだけ移動する。すなわち、最初に表示させた２Ｄ画像１４２の表示領域６２の大きさで確保した３Ｄ画像１４８の表示領域６４を、全体画像１４６の表示領域６６側に向かって境界Ｂｄを移動させることにより３Ｄ画像１４８の表示領域６４を拡大する。この領域拡大にあたっては、全体画像１４６の表示領域６６側に向かう３Ｄ画像１４８を追加する形態をとることが好ましい。このようにすることによって、参照者が目視している視点１５６の周辺について視点１５６を変更させることなく、３Ｄ画像１４８を拡大できる。なお、境界Ｂｄを領域幅方向に移動するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げることが、参照者の疲労感や緊張感を抑制する上で好ましい。
【００８７】
次に、ステップ４０６では、現在の３Ｄ画像１４８を表示している表示領域６４の面積を求めることで３Ｄ画像領域Ｒを求め、画像領域Ｒが所定領域ｒ１未満の場合には、ステップ４０８で否定され、ステップ３０６へ戻り、上記処理を繰り返す。一方、画像領域Ｒが所定領域ｒ１以上になるとステップ４０８で肯定され、ステップ４１０進む。ステップ４１０では、現在の３Ｄ画像１４８を表示している表示領域６４の面積が所定領域ｒ１以上のため、拡大することなく所定領域ｒ１を維持させたり、ステップ４０４で広げた表示領域６４の大きさを戻したりする。
【００８８】
これらのステップ４０８と４１０の処理は、全体画像１４６の表示領域６６を最小限度確保するためには必要である。一方、所定領域ｒ１の値を有効領域である表示画面の大きさに設定すれば、表示画像１４０としてモニタ７の表示領域全てに３Ｄ画像１４８を表示させることも可能である。
次に、操作ボタン８により終了指示がなされた場合は（ステップ４１２で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ４１２で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００８９】
以上説明したように、第４実施形態の立体内視鏡装置によれば、参照者が注目する患部に近づくと、３Ｄ画像の表示を徐々に広げているので、狭い立体視用画像の表示領域比べて、視認範囲を広げることがき、参照者の疲労感や緊張感を緩和させることができる。
【００９０】
なお、第４の実施の形態は、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させてさらに立体視用画像の表示領域を拡大縮小する部分について詳細に説明したが、上記第１実施形態〜第３実施形態における他の処理の一部または複数を組合せて実施してもよい。
【００９１】
〔第５実施形態〕
次に、第５実施形態について説明する。第５実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００９２】
第５実施形態は、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させるものである。
【００９３】
図１４を参照して、第５実施形態の電装装置おける画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００９４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１３（Ａ）、及び図１３（Ｂ）参照）。次に、ステップ１１０〜３０４において、表示画像１４０における３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０を超えて、全体画像中における内視鏡２と患部１５４が接近すると（距離Ｙが所定距離Ｙ０以内）、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる（図１５（Ｃ）参照）。
【００９５】
次に、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める（ステップ３０６）。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になると（ステップ５０２で肯定）、ステップ１０８へ戻り、否定されると、ステップ５０４へ進む。
【００９６】
ステップ５０４では、前記ステップ３０４で表示した３Ｄ画像１４８の表示領域６４内に全体画像１４６の一部を重畳表示させる。すなわち、３Ｄ画像１４８の表示領域６４内に所定の大きさの全体画像１４６の表示領域６６を設定する。具体的には、図１５（Ｃ）及び図１５（Ｄ）に示すように、３Ｄ画像１４８の表示領域６４と全体画像１４６の表示領域６６から表示配分される領域全てを３Ｄ画像１４８の表示領域６４に設定する。そして、その３Ｄ画像１４８の表示領域６４内に２Ｄ画像１４２の表示領域６２及び全体画像１４６の表示領域６４を設定する。従って、参照者が目視している視点１５６の周辺について３Ｄ画像１４８が拡大されつつ２Ｄ画像１４２と全体画像１４６の表示も同時に行われることになる。なお、全体画像１４６の表示領域６６に表示する画像は、全体画像１４６の表示領域６６に対して全体画像１４６を拡大縮小して表示させてもよく、全体画像１４６の表示領域６６に見合う大きさの画像をトリミングして表示させてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００９７】
次に、操作ボタン８により終了指示がなされた場合は（ステップ５０６で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ５０６で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００９８】
以上説明したように、第５実施形態の立体内視鏡装置によれば、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させることにより、参照者に対して、立体視用画像をより広範囲に提供することができる。これによって、参照者、例えば術者は詳細に３次元画像を参照することができ、施術の精度向上を図ることが容易となる。また、狭い立体視用画像の表示領域比べて、視認範囲を広げることがき、参照者の疲労感や緊張感を緩和させることができる。
【００９９】
なお、第５の実施の形態は、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させる部分について詳細に説明したが、上記第１実施形態〜第４実施形態における他の処理の一部または複数を組合せて実施してもよい。
【０１００】
なお、上記第１〜第５の実施の形態では、内視鏡により広角の撮影画像（広角画像）からトリミングした一部画像と、標準画角の撮影画像（標準画像）を用いて立体視用の画像ファイルを生成した場合について説明したが、双方共に、標準画角の撮影画像（標準画像）であってもよい。また、２つの撮影部により撮影画像を得た場合を説明したが、３つ以上の撮影部から２つの撮影部を選択して用いても良い。
【０１０１】
また、上記第１〜第５の実施の形態では、電装装置４に全体画像メモリ３２を備えた場合を説明したが、全体画像メモリ３２を独立した記憶装置としてこの記憶装置から読み取るようにしても良い。
【０１０２】
また、上記第１〜第５の実施の形態の画像処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。
【符号の説明】
【０１０３】
１…立体内視鏡装置
２…内視鏡
４…電装装置
７…モニタ
２１Ａ…撮影部
２１Ｂ…撮影部
３０…３次元処理部
３２…全体画像メモリ
３３…ナビゲーション画像処理部
３５…ＣＰＵ
４０…インタフェース部
４２…位置センサ
４４…方向センサ
５０…目視状態演算部
１４０…表示画像
１４２…２Ｄ画像
１４６…全体画像
１４８…３Ｄ画像
１５４…患部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置に係り、特に内視鏡により対象物を観察するときの画像として立体画像を生成して提供する画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置に関する。
【背景技術】
【０００２】
従来より、内視鏡を用いて施術することが行われており、その内視鏡による観察画像を表示するシステムが知られている。このシステムでは、施術を円滑に進行させるために、表示する画像として、内視鏡による観察画像に併せて、予め対象物の周辺を含む部位の断層画像を再構築して得た参照用の３次元画像を提供するものもある。また、この３次元画像には、異なる２以上の視点から撮影された画像を用いて立体視用の画像を生成して提供するものもある。
【０００３】
例えば、仮想的な３次元画像を再構築して得たバーチャル画像、及び被検体像の観察画像を選択して表示することにより、操作性の良い被検体観察システムが提案されている（特許文献１参照。）。特許文献１の被検体観察システムでは、予め対象物周辺についてＣＴ（Computed Tomography）装置等により断層画像を得て再構築することで参照用の３次元画像（バーチャル画像）を得る。このバーチャル画像を確認用として参照しながら、術者は、内視鏡による対象物の観察画像を目視しつつ施術する。このとき、術者の意図するバーチャル画像を参照可能とするために、リモコンや音等の指示により、画像を切り替えることを可能としている。
【０００４】
また、独立して動作可能な複数の湾曲部を有する内視鏡と、各湾曲部の湾曲形状を観察部位に応じて立体視可能に制御する制御手段とを具備することで、生体の体腔内の処置部位を観察・処置に適した立体視可能な内視鏡装置が提案されている（特許文献２参照）。特許文献２の内視鏡装置では、術者の視線を検出して、術者の視線に応じて、立体視用の画像を生成するための２眼立体カメラの各々の視野を変更することで、内視鏡自体を動かすことなく立体画像の視野を変更することを可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３５７７８９号公報
【特許文献２】特開平６−１０５８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、術者の意図するバーチャル画像等を参照可能とするために、リモコンや音等の指示により、術者等が画像切替を指示しなければならず、内視鏡操作と参照画像の両方を同時に観察しつつ施術を進めることは、疲労感や緊張感が多かった。すなわち、内視鏡による観察は挿入部分近傍の狭い範囲しか確認できないので、内視鏡を対象物（例えば患部）付近にまで到達させるために、内視鏡操作を実際の操作状況と内視鏡の挿入部分近傍画像の両方を見ながら、内視鏡を意図する位置まで進める必要があり、術者にとって、内視鏡操作(バーチャル画像)と被検体像の観察画像（または対象物の画像）の両方を同時に観察することは、疲労感や緊張感が多かった。このうえ、操作中に画像を切り替え指示することは、さらに疲労感や緊張感を増大させる。
【０００７】
また、特許文献２の技術では、術者の視線に応じて、各カメラの視野を変更することで、内視鏡自体を動かさずに立体画像の視野を変更できるものの、対象物近傍の狭い範囲での確認についてである。内視鏡で対象物（例えば患部の）状況を立体視できることは術者にとって助けになるものの、内視鏡で立体視しょうとすると対象物近傍の狭い範囲しか確認できないため、内視鏡を対象物付近にまで到達させるためには、内視鏡操作を実際の操作状況を参照することが必要になる。従って、内視鏡操作を実際の操作状況と内視鏡の挿入部分近傍画像の両方を見ながら、内視鏡を意図する位置まで進める必要があり、術者にとって、内視鏡操作(直視)と患部画像の両方を同時に観察するときの疲労感や緊張感が解消されるものではない。
【０００８】
本発明は、上記事実を考慮してなされたもので、画像を参照する参照者の疲労感や緊張感を緩和させることができる画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明の画像処理装置は、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得手段と、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力手段と、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出手段と、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更手段と、を備える。
【００１０】
本発明の画像処理装置によれば、取得手段が、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から参照画像を取得する。これと共に、取得手段は、内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する。画像出力手段は、これら参照画像と、基準画像と、立体画像とが同期されて表示手段に表示されるように画像出力する。画像出力されて表示される画像は、参照者により目視される。この表示された少なくとも１つの画像に対する参照者の視線の経時変動を、検出手段によって検出する。この経時変動は、画像に対する参照者の視線の時系列的な方向変化についての量、差分量、速度、加速度、及び方向変化の回数や履歴等の目視状態を含んでいる。従って、検出手段では、画像に対する参照者の視線の経時変動である目視状態が検出される。
【００１１】
変更手段は、検出手段の検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更する。検出手段により検出された画像に対する参照者の視線の経時変動である目視状態から、例えば、参照画像、基準画像及び立体画像に対する参照者の注目画像や複数画像を関係して参照した関係画像を把握することができる。このため、検出手段の検出結果に応じた参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更することにより、参照者の注目画像や関係画像の大きさを変更できる。
【００１２】
このように、画像に対する参照者の視線の経時変動を検出した検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更することによって、煩わしい操作等を実行することなく、画像を提示でき、これを参照する参照者の疲労感や緊張感を緩和させることができる。
【００１３】
[2] 前記画像処理装置において、前記基準画像は、広角撮影された広角画像であることを特徴とする。内視鏡による観察は挿入部分近傍の狭い範囲しか確認できない。このため、より広範囲の画像で確認するために、基準画像として取得する内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを、広角撮影された広角画像とする。これにより、複数の視点から各々同期して撮影された複数の画像のうちから画角が相違する画像を得ることができ、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。
【００１４】
[3] 前記画像処理装置において、前記検出手段は、前記参照者の視線の経時変動として、画像に対する視線滞留時間及び画像間の視線移動頻度の少なくとも一方を検出することを特徴とする。参照者は、その時点で注目する画像（注目画像）については凝視したり注意深く時間をかけて参照したりする。また、参照者が全体を把握したときや周辺部位を気遣うとき等には、複数画像を関係して参照する（関係画像）。例えば、この注目画像を特定するためには、視線滞留時間を検出することで視線の滞留先にある画像を注目画像として把握することが可能となる。また、関係画像を特定するためには、画像間の視線移動頻度を検出することで視線方向にある複数画像間の関係を把握できる。つまり画像を一定時間内に、ある画像から他の画像へ視線が移動した回数を把握することができる。また、視線滞留時間及び画像間の視線移動頻度の両方を検出することで、ある画像を一定時間内に目視した回数や画像を目視した時間、ある画像から他の画像へ視線が移動した回数と画像を目視した時間を把握できる。これによって、参照者が参照する画像、または複数画像の目視状態を把握でき、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。
【００１５】
[4] 前記画像処理装置において、前記検出手段は、対象物から内視鏡までの距離をさらに検出することを特徴とする。内視鏡による観察は挿入部分近傍の狭い範囲しか確認できないので、内視鏡を対象物（例えば患部）付近に到達したときに、例えば、対象物（例えば患部の）を立体視する等のように画像を参照したい等、参照者の注目画像が変化する場合がある。そこで、対象物から内視鏡までの距離をさらに検出して画像の大きさを変更することにより、参照者の疲労感や緊張感をより緩和させることが可能な画像を提供できる。対象物から内視鏡までの距離検出は、例えば対象物および内視鏡の位置を検出して計算すればよい。対象物の位置は、予め参照画像にマーキングしておきこれを検出してもよく、参照画像にマーキングしてから検出するようにしてもよい。また、内視鏡の位置は、対象物内における内視鏡の位置を検知する検知部を備えて検出するようにしてもよく、画像処理により位置検出するようにしてもよい。
【００１６】
[5] 前記画像処理装置において、前記変更手段は、前記立体画像の表示領域の大きさを変更することを特徴とする。施術中の参照者は、注目しつつ参照する画像は、対象物を目視に近く提供されている立体画像であろう。そこで、視線の経時変動に基づき立体画像の表示領域の大きさを変更することによって、参照者が目視を望む画像を視線の経時変動に基づく大きさで優先的に提供できる。
【００１７】
[6] 前記画像処理装置において、前記変更手段は、前記視線の経時変動に関係する画像の表示領域を徐々に拡大または縮小することを特徴とすることを特徴とする。参照画像、基準画像及び立体画像の少なくとも１つの画像の表示領域の大きさを変更する場合、変更前後で大きさが急峻に切り替わるようにすることが効果的な場合もあるが、その切り替わりに違和感を感じさせる場合もある。そこで、表示領域を徐々に拡大または縮小することことにより、大きさの変更について違和感を感じさせることがない。
【００１８】
[7] 前記画像処理装置において、前記変更手段は、前記参照画像、前記基準画像及び前記立体画像の何れかの画像の表示領域内に、他の画像が重畳表示されるように表示領域の大きさを変更することを特徴とする。複数画像を参照する場合、１画像の大きさの拡大縮小により他の画像の大きさが逆方向に変化する場合、例えば参照者が第１に目視を望む画像の大きさの大小により他の画像の大きさが連動する。この場合、参照者が他の画像の参照もしつつ施術している場合、違和感を感じさせてしまう。ある画像内に他の画像を重畳させて表示するようにすることで、ある画像の全体としての大きさは変動せずに、他の画像を効果的に提供できる。
【００１９】
[8] 前記画像処理装置において、前記変更手段は、前記参照画像、前記基準画像及び前記立体画像を予め定めた有効表示領域に表示するときに、各画像の表示領域に関する表示配分を定めて各画像の表示領域の大きさを変更することを特徴とする。ディスプレイ等の表示装置は、その表示について有効表示領域を定めて画像を表示する場合がある。この有効表示領域に、参照画像、基準画像及び立体画像を表示させるためには、各画像の表示領域に関する表示配分を定める必要がある。このように表示配分を定めて画像を表示させる場合には、表示配分の比率や表示配分内の大きさを変更することで各画像の表示領域の大きさを変更すればよい。
【００２０】
[9] 前記画像処理装置に、観察する対象物内における内視鏡の位置情報を受け付ける受付手段をさらに備え、前記画像出力手段は、前記受け付けた位置情報による内視鏡の位置を少なくとも含む画像を出力することを特徴とする。なお、内視鏡の位置を把握するためには、観察中に位置検出することが好ましい。そこで、観察する対象物内における内視鏡の位置情報を受付手段により受け付けることで、内視鏡の位置を把握でき、受け付けた内視鏡の位置を画像に表示させることで、参照者は内視鏡の位置を容易に把握することができる。なお、内視鏡の位置は、観察中の内視鏡の先端位置を検出することが好ましい。また、内視鏡の位置を画像に表示させる場合、予め定めた対象物内における特定部位（例えば患部の位置）を含む画像を同時に出力することで、内視鏡と対象物の特定部位の関係を容易に把握することもできる。
【００２１】
[10]前記画像処理装置では、前記取得手段は、前記基準画像と視差画像とに基づいて立体画像を生成する生成手段により得られる立体画像を取得することを特徴とする。このように、立体画像を生成する生成手段により得られる立体画像を取得することにより、立体画像を生成するための処理についての処理負荷を軽減することができる。
【００２２】
[11]本発明の画像処理方法は、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得し、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力し、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出し、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する。
【００２３】
[12]本発明の画像処理プログラムは、内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得ステップと、前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力ステップと、表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出ステップと、前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更ステップと、をコンピュータに実行させる。
【００２４】
[13]本発明の立体内視鏡装置は、前記画像処理装置と、複数の視点から各々同期して撮影する複数の撮影装置を備えた内視鏡と、対象物に関係する参照画像を予め記憶した記憶手段と、参照画像と、基準画像と、立体画像とを表示する表示手段と、を備える。
【発明の効果】
【００２５】
以上説明したように、本発明によれば、画像に対する参照者の視線の経時変動を検出した検出結果に基づいて、視線の経時変動に関係する参照画像、基準画像及び立体画像の何れかの画像の表示領域の大きさを変更することによって、煩わしい操作等を実行することなく、画像を提示でき、参照者の疲労感や緊張感を緩和させることができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る立体内視鏡装置の概略構成図である。
【図２】本実施形態に係る立体内視鏡装置の内視鏡の先端部分の概略構成である。
【図３】本実施形態に係る立体内視鏡装置の電装装置の内部構成を示す概略ブロック図である。
【図４】本実施形態に係る立体内視鏡装置の電装装置の表示領域設定部の概念構成を示す機能ブロック図である。
【図５】表示領域設定部による表示領域の設定例を示すイメージ図である。
【図６】第１実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図７】第１実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は表示領域変更された３Ｄ画像を示す。
【図８】第２実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図９】第２実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は表示領域変更された３Ｄ画像を示す。
【図１０】第３実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１１】第３実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は表示領域変更された２Ｄ画像を示す。
【図１２】第４実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１３】第４実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は表示領域変更された３Ｄ画像を示す。
【図１４】第５実施形態における画像処理ルーチンの流れを示すフローチャートである。
【図１５】第５実施形態におけるモニタの有効表示領域内に表示される表示画像と表示領域の説明図であり、（Ａ）は２Ｄ画像と全体画像、（Ｂ）は２Ｄ画像への一部表示の３Ｄ画像、（Ｃ）は３Ｄ画像に重畳した２Ｄ画像、（Ｄ）は全体画像をさらに重畳した３Ｄ画像を示す。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を立体内視鏡装置に適用した場合について説明する。
【００２８】
〔第１実施形態〕
第１実施形態は、立体内視鏡装置において、表示される画像を参照する参照者（例えば、術者）の視線の方向を検出して、画像間（例えば広角画角の撮影光学系により得る広角画像と、内視鏡を対象物（例えば被検体）の目的部位（例えば患部）へ導くためのナビゲーション画像等の全体画像との間）の視線移動頻度や、各画像の視線滞留時間を求めて、これに基づき広角画像または立体視用画像（内視鏡により撮影された画像より得る立体画像）の表示領域を変更するものである。
【００２９】
図１は、第１実施形態に係る立体内視鏡装置１の概略構成図である。図１に示すように、立体内視鏡装置１は、内視鏡２、電源ボタン３、電装装置４及び画像表示のためのモニタ７を備えている。また、立体内視鏡装置１には、各種操作ボタン８およびフレキシブルディスクやＣＤＲＯＭ、ＤＶＤディスク等の記録メディア２９にアクセスしてデータ等の書き込み及び読み込みする装置の制御を行う表示制御部２６を備えている。
【００３０】
図２は、内視鏡２の先端部分２Ａの概略構成である。図２に示すように、内視鏡２は、２つの撮影部２１Ａ、２１Ｂが配設されている。また、内視鏡２は、図示しない光源装置からの光を対象物へ照明するための照明部４３、及び内視鏡２の位置検出のための位置センサ４２を備えている。照明部４３には、照明光を伝達する図示しないライトガイドが挿通配設される。なお、本実施の形態では、撮影部２１Ａと撮影部２１Ｂとについて、撮影光学系の画角を相違するものを用いている。撮影部２１Ａは広角画像を得るための広角画角の撮影光学系であり、撮影部２１Ｂは標準画像を得るための標準画角の撮影光学系である。撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、撮影部２１Ａ、２１Ｂは、画角が相違するため、上記基線長及び輻輳角で被写体を撮影するときに、撮影部２１Ａ、２１Ｂにより撮影された画像の大きさが一致するように、撮影部２１Ａによる撮影画像からトリミングした一部画像を用いて立体画像を生成することができる（詳細後述）。
【００３１】
図３は、本実施形態の立体内視鏡装置１に係る電装装置４の内部構成を示す概略ブロック図である。図３に示すように、電装装置４は、２つの撮影部２１Ａ、２１Ｂからの撮影信号を受け取るインタフェース部（Ｉ／Ｆ部）４０、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、及びＣＰＵ３５を備えている。ＣＰＵ３５は、各種操作ボタン８からの入力を受け付けると共に、各種プログラムを実行する。
【００３２】
撮影制御部２２は、図示しない露出処理部を含み、露出処理部は撮影部２１Ａ、２１Ｂにより撮影した撮影画像にについて周知の手法により最適な露出値（例えば、絞り値とシャッタ速度）とを決定し、撮影部２１Ａ、２１Ｂに出力する。なお、撮影制御部２２は、撮影範囲についてスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行うことができる。
【００３３】
画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
【００３４】
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。ここで、撮影部２１Ａ、２１Ｂは、画角が相違するため、基線長及び輻輳角で被写体を撮影するときに、各撮影画像による立体画像を生成するための大きさが一致するように、撮影部２１Ａによる撮影画像（広角画像）からトリミングした一部画像と、撮影部２１Ｂによる撮影画像（標準画像）を用いて立体視用の画像ファイルを生成する。このために利用される各種情報は内部メモリ２７に記憶される。なお、立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報を格納するようにしてもよい。
【００３５】
フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３６】
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
【００３７】
内部メモリ２７は、電装装置４において用いられる各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。
【００３８】
表示制御部２８は、撮影時にフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像をモニタ７に表示させたり、後述するナビゲーション画像を表示させたり、撮影部２１Ａによる撮影画像（広角画像）をそのまま表示させたりする。
【００３９】
また、インタフェース部４０には、位置センサ４２と方向センサ４４からの検出信号が入力されるように位置センサ４２と方向センサ４４が接続されている。位置センサ４２は、患者等の対象物内における内視鏡２の先端部分２Ａの位置を検出する。この位置検出により、全体画像メモリ３２に記憶された全体画像内に内視鏡２の先端部分２Ａを描画することができる。方向センサ４４は、画像を参照する参照者（例えば、術者）の視線の方向を検出するものである。方向センサ４４の一例には、参照者の眼球を少なくとも含む顔部分を撮影して、その眼球の移動を検知することにより参照者の視線の方向を検出する装置が挙げられる。また他例としては、参照者にメガネ等の補助具を装着してもらい、その補助具に眼球の移動を検知するセンサを設けて、眼球の移動を検知することにより参照者の視線の方向を検出する装置が挙げられる。
【００４０】
電装装置４は、全体画像メモリ３２を備えている。この全体画像メモリ３２は、内視鏡を対象物の目的部位へ導くためのナビゲーション画像や目的部位周辺を確認するための参照画像としてモニタの表示画面に表示可能とする全体画像に関する画像データを記憶するものである。全体画像に関する画像データの一例は、断層像から構築した画像データがある。例えば、まずＸ線ＣＴ（Computed Tomography）装置等により被検体の断層像を撮像することで、患者等の対象物内の３次元領域の画像データを得る。このＣＴ装置は、Ｘ線照射・検出を連続的に回転させつつ対象物を体軸方向に連続送りすることにより、対象物の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：helical scan ）を行い、３次元領域の連続するスライスの断層像から、３次元な仮想的な全体画像を生成する。電装装置４は、位置センサ４２の検出信号による内視鏡２の先端位置に連動して全体画像を読み取って表示させたり、予め定めた対処物の特定位置（患部）周辺の全体画像を読み取って表示させたりする。
【００４１】
また、電装装置４は、３次元処理部３０、及びナビゲーション画像処理部３３を備える。
【００４２】
３次元処理部３０は、左画像及び右画像をモニタ７の一部または全部に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。
【００４３】
ナビゲーション画像処理部３３は、立体内視鏡装置１における立体視用画像を含む画像表示を適切なものとするために、各画像の表示領域を設定したりその大きさを変更したりする（詳細は後述）。
【００４４】
ナビゲーション画像処理部３３は、頻度演算部５１，時間演算部５２，距離演算部５３を含む目視状態演算部５０と、表示領域設定部５４とを備えている。頻度演算部５１は、方向センサ４４の検出値から画像を参照する参照者の視線について、画像間の視線移動頻度や任意の画像から他の画像に視線が切り替わる頻度を求めるためのものである。時間演算部５２は、方向センサ４４の検出値から画像を参照する参照者の視線について、視線の滞留時間を計測するものである。視線の滞留に対しては、視線方向について予め滞留していると判別する微小立体角を設定してもよい。距離演算部５３は、位置センサ４２の検出値と、予め定めた対象物の位置（例えば患部）の位置とから、内視鏡２の先端部分２Ａと予め定めた対象物の位置（例えば患部）との距離を演算するものである。
【００４５】
なお、目視状態演算部５０は、これら頻度演算部５１，時間演算部５２，距離演算部５３に限定されるものではなく、画像を参照する参照者の視線の経時変動を求めるものを含めばよく、経時変動としては、画像に対する参照者の視線の時系列的な方向変化についての量、差分量、速度、加速度、及び方向変化の回数や履歴等の目視状態を含んでもよい。また、目視状態演算部５０、または頻度演算部５１，時間演算部５２および距離演算部５３の少なくとも１つについて、ハードウェア装置で構成してもよく、上述のハードウェア資源を用いたプログラム実行によるソフトウェアで構成してもよい。
【００４６】
図４は、表示領域設定部５４の概念構成を示す機能ブロック図である。図４に示すように、表示領域設定部５４は、２つの撮影部２１Ａからの撮影画像（広角画像、図４では、２Ｄ画像）の表示領域を担当する表示領域設定部５５Ａ、撮影部２１Ａ、２１Ｂにより生成された立体視用画像（立体画像、図４では、３Ｄ画像）の表示領域を担当する表示領域設定部５５Ｂ，全体画像メモリ３２から読み取ったナビゲーションのための画像（全体画像、図４では、全体画像）の表示領域を担当する表示領域設定部５５Ｃ、及び設定部５５Ｚから構成されている。表示領域設定部５４は、目視状態演算部５０により決定された目視状態の状態値が入力されると、広角画像、立体視用画像、ナビゲーションのための画像（図４の２Ｄ画像、３Ｄ画像、全体画像）の各々の位置及び大きさを定める。
【００４７】
図５は、表示領域設定部５４による表示領域の設定例を示すイメージ図である。図５に示すように、表示領域設定部５４は、有効表示領域６０内に、撮影部２１Ａからの撮影画像（広角画像、図４では、２Ｄ画像）の表示領域６２、撮影部２１Ａ、２１Ｂにより生成された立体視用画像（立体画像、図４では、３Ｄ画像）の表示領域６４、全体画像メモリ３２から読み取ったナビゲーションのための画像（全体画像、図４では、全体画像）の表示領域６６が、各画像の表示のため画像中心位置７２，７４，７６を中心として配置されるように設定する。詳細を後述するように、画像中心位置７２、７４，７６において各々設定された大きさの表示領域６２、６４，６６の大きさや位置が変更される。
【００４８】
図５の例では、有効表示領域６０内に、広角画像（２Ｄ画像）の表示領域６２、立体視用画像（３Ｄ画像）の表示領域６４、ナビゲーションのための画像（全体画像）の表示領域６６が、配置される場合を示しているが、これに限定されるものではない。例えば、分断線６１を境界として、表示領域６２及び表示領域６４を含む第１有効表示領域６０Ａと、表示領域６６を含む第２有効表示領域６０Ｂとからなる有効表示領域６０としてもよい。この場合、第１有効表示領域６０Ａと第２有効表示領域６０Ｂとを各々別モニタに表示させてもよい。このときには、表示を同期させることが好ましい。
【００４９】
なお、本実施形態では、立体視用の画像表示についての詳述を省略するが、周知の手法によって、容易に立体視用の画像表示は可能である。一例としては、立体視用として視差を有する左眼用画像及び右眼用画像を生成しておき、立体視用の画像表示をするときに、画像表示に同期して、左眼用画像表示のときに左眼のみ目視可能としかつ右眼用画像表示のときに右眼のみ目視可能とするように、画像提示すればよい。この場合、図３に点線出示すように、メガネ等の補助具に、左眼と右眼とを切り替える表示選択装置４６を設けて、立体視用の画像表示に同期して切り替えればよい。
【００５０】
また、立体視用の画像表示については、モニタ７に同様の装置を設けても良い。例えば、モニタ７に、左眼用画像及び右眼用画像に同期して、左眼用画像では参照者の左眼への指向性を有して画像表示しかつ右眼への指向性を有して画像表示する指向性表示制御装置を設けて、立体視用の左右の画像表示に同期して切り替え表示すればよい。
【００５１】
次に、図６を参照して、第１実施形態の立体内視鏡装置１における画像処理ルーチンについて説明する。
【００５２】
ステップ１００では、内視鏡２が挿入されると撮影部２１Ａ、２１Ｂによる撮影が開始され、広角で撮影された撮影部２１Ａからの広角側撮影画像（以下、２Ｄ画像という）及び標準画角で撮影された撮影部２１Ｂからの撮影画像（以下、標準画像という）を取得し、かつ全体画像メモリ３２から全体画像を取得する。なお、この全体画像は、予め設定した患部１５４付近の全体画像でもよく、位置センサ４２で検出した位置を含む全体画像でもよい。このステップ１００では、撮影部２１Ａ、２１Ｂの各画像から生成された立体視用画像（以下、３Ｄ画像という。）を取得してもよい。この場合、上述のように撮影部２１Ａ、２１Ｂは画角が相違するため、２Ｄ画像である撮影部２１Ａによる撮影画像からトリミングした画像が右画像として画像生成されると共に、標準画像である撮影部２１Ｂによる撮影画像を左画像として、これらの右画像と左画像を用いて立体視用の画像ファイルが生成される。この画像ファイルを立体視用画像（３Ｄ画像）として取得する。
【００５３】
次のステップ１０２では、２Ｄ画像及び全体画像をモニタ７に表示させる画像表示信号を出力する。ここでは、予め定めた画像の有効表示領域（モニタ７の表示領域）について２Ｄ画像及び全体画像を初期値により配分する。一例としては、図７（Ａ）に示すように、モニタ７の有効表示領域６０内に表示される表示画像１４０は、２Ｄ画像１４２と全体画像１４６との大きさを初期値（均等配分）に設定し、表示させる。なお、図７（Ａ）は、左側の表示領域６２に２Ｄ画像１４２が表示され、右側の全体画像の表示領域６６内に全体画像１４６が表示され、その全体画像１４６中に、参照者（術者）が注目すべき対象物の部位（患部）１５４と、患部１５４から予め定めた所定距離Ｘ０を示す境界線１５０と、内視鏡２の先端部位１５２とが表示されたものを示している。
【００５４】
次のステップ１０４では全体画像中における内視鏡２と患部１５４との距離Ｘを求めて、距離Ｘが所定距離Ｘ０以内のときステップ１０６で肯定され、ステップ１０８へ進み、画像表示領域の変更処理へと移行する。一方、距離Ｘが所定距離Ｘ０を超えるときにはステップ１０６で否定され、ステップ１０２へ戻る。ステップ１０４の距離Ｘの計算は、目視状態演算部５０の距離演算部５３により実行される。
【００５５】
次に、ステップ１０８では、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる。具体的には、図７（Ｂ）に示すように、表示領域６２の一部に表示領域６４を設けて、３Ｄ画像１４８を表示させる。この例では、表示領域６２の表示領域の大きさに対して、上部に２Ｄ画像の表示領域６２、下部に３Ｄ画像の表示領域６４を設定した場合を示している。また、３Ｄ画像１４８内には、方向センサ４４により参照者（術者）の視点１５６を求め、その視点１５６が表示された場合を示している。なお、表示領域の設定は、分割でもよく、重畳でもよい。すなわち、２Ｄ画像１４２の表示領域６２に対して表示領域を図７（Ｂ）に示すように上下に配分し、各表示領域内に画像を拡大縮小して表示させる。または、２Ｄ画像１４２の６２に対して表示領域の大きさを図７（Ｂ）に示すように上下に配分し、各表示領域に見合う大きさの画像をトリミングして表示させるようにしてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００５６】
このように、全体画像中における内視鏡２と患部１５４との距離Ｘを求めて、距離Ｘが所定距離Ｘ０以内のときに、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させることで、患部１５４に内視鏡２が近づいたとき、参照者（術者）に対して３Ｄ画像１４８を提供できる。このため、患部１５４に至るまでに画像を参照する参照者の疲労感や緊張感を緩和させることができる。
【００５７】
次に、ステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ１１２で肯定され、ステップ１１４において３Ｄ画像１４８の表示領域６４を徐々に広げる。具体的には、図７（Ｂ）及び図７（Ｃ）に示すように、領域高さがｓ１であった３Ｄ画像１４８から領域高さがｓ２へ３Ｄ画像１４８の大きさを変更する。この領域高さをｓ１からｓ２へ変更するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げる。ステップ１１０の時間Ｔの計算は、目視状態演算部５０の時間演算部５２により実行される。
【００５８】
次に、ステップ１１６では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における２Ｄ画像１４２と３Ｄ画像１４８の画像間における視線移動頻度Ｈａを求める。このステップ１１６の視線移動頻度Ｈａの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めたＨａが所定頻度ｈ１以上になるとステップ１１８で肯定され、ステップ１２０において３Ｄ画像１４８の表示領域６４を徐々に狭くして、ステップ１２２へ進む。一方、ステップ１１８で否定されると、ステップ１３２において３Ｄ画像１４８の表示領域６４の大きさを変更することなく、ステップ１２２へ進む。
【００５９】
ステップ１２２では、現在の３Ｄ画像１４８を表示している表示領域６４の面積を求めることで３Ｄ画像領域Ｒを求め、画像領域Ｒが所定領域ｒ０以上になるとステップ１２４で肯定され、操作ボタン８により終了指示がなされた場合は（ステップ１２６で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ１２６で否定）、ステップ１１０へ戻り、上記処理を繰り返し実行する。一方、画像領域Ｒが所定領域ｒ０未満の場合、ステップ１２４で否定され、ステップ１０２へ戻り、上記処理を繰り返す。
【００６０】
一方、ステップ１１０における３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０未満の場合には、ステップ１１２で否定され、ステップ１２８へ進む。ステップ１２８では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における２Ｄ画像１４２と全体画像１４６の画像間における視線移動頻度Ｈｂを求める。このステップ１２８の視線移動頻度Ｈｂの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めた視線移動頻度Ｈｂが所定頻度ｈ２以上になるとステップ１３０で肯定され、ステップ１３２へ進む。一方、ステップ１３０で否定されると、ステップ１３４において、３Ｄ画像１４８の表示領域６４を徐々に狭くして、ステップ１２２へ進む。
【００６１】
以上説明したように、本実施形態の立体内視鏡装置よれば、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０以上になると３Ｄ画像１４８の表示領域６４を徐々に広げている。また、参照者（術者）の視線方向（視点１５６）の経時変化として、所定時間内における２Ｄ画像１４２と３Ｄ画像１４８の画像間における視線移動頻度Ｈａと、２Ｄ画像１４２と全体画像１４６の画像間における視線移動頻度Ｈｂから、３Ｄ画像１４８の表示領域６４を拡大縮小している。このように参照者の画像に対する注目の度合いに応じて、３Ｄ画像１４８を注視する参照者（術者）に対して拡大縮小して画像を提供することによって、参照者の疲労感や緊張感を緩和させることができる。
【００６２】
なお、本実施形態では、画像間における視線移動頻度に応じて表示領域を拡大縮小する場合を説明したが、視線移動頻度と視線滞留時間とを組み合わせても良い。例えば、視線移動頻度と視線滞留時間とを予め定めた係数を付与して乗じた計算値を用いても良い。この組み合わせにより、各々の画像に対する注目の度合いを数値化できる。この数値化した画像について、３Ｄ画像の注目順位を基準として拡大縮小に用いても良い。
【００６３】
〔第２実施形態〕
次に、第２実施形態について説明する。第２実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００６４】
第２実施形態は、第１実施形態の立体内視鏡装置において、内視鏡の位置をさらに検出し、その結果を考慮して、視線の方向による画像間の視線移動頻度や、各画像の視線滞留時間から広角画像または立体視用画像（内視鏡により撮影された画像より得る立体画像）の表示領域を変更するものである。
【００６５】
図８を参照して、第２の実施の形態の電装装置おける画像処理ルーチンについて説明する。なお、第１実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図８は、図６と相違する追加部分を示した。
【００６６】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図９（Ａ）、及び図９（Ｂ）参照）。次のステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ１１２で肯定され、ステップ２０２へ進み、否定されるとステップ１２８へ進む。
【００６７】
ステップ２０２では、全体画像中における内視鏡２と患部１５４との距離Ｙを求めて、距離Ｙが所定距離Ｙ０以内のときステップ２０４で肯定され、ステップ１１４へ進み、３Ｄ画像１４８の表示領域６４を徐々に広げる画像表示領域の変更処理へと移行する。具体的には、図９（Ｂ）及び図９（Ｃ）に示すように、領域高さがｓ１であった３Ｄ画像１４８から領域高さがｓ３へ３Ｄ画像１４８の大きさを変更する。この領域高さをｓ１からｓ３へ変更するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げる。ステップ１１０の時間Ｔの計算は、目視状態演算部５０の時間演算部５２により実行される。一方、距離Ｙが所定距離Ｙ０を超えるときにはステップ２０４で否定され、ステップ１１０へ戻る。ステップ２０２の距離Ｙの計算は、目視状態演算部５０の距離演算部５３により実行される。
【００６８】
以下、第１実施形態と同様に処理する。
【００６９】
以上説明したように、第２実施形態の立体内視鏡装置によれば、内視鏡の位置を検出してその結果を考慮するので、視線の方向による画像間の視線移動頻度検出や、各画像の視線滞留時間検出による過剰な表示領域変更を抑制することができる。これによって、参照者の疲労感や緊張感を緩和させることができる。また、内視鏡位置の検出結果を考慮するので、視線移動頻度や視線滞留時間の検出のみによる異常信号等を排除可能なフィルタ効果も期待できる。
【００７０】
なお、第２実施形態では、位置センサ４２と全体画像とを用いて、全体画像中における内視鏡２と患部１５４との距離Ｙを求めているが、これに限定されるものではなく、直接内視鏡２と患部１５４との距離を検出してもよい。また、距離Ｙについて所定距離Ｙ０を規定しているが、距離の値に限定されるものではなく、距離Ｙ０が所定範囲であってもよい。
【００７１】
〔第３実施形態〕
次に、第３実施形態について説明する。第３実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００７２】
第３実施形態は、第１実施形態の立体内視鏡装置において、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させるものである。
【００７３】
図１０を参照して、第３の実施の形態の電装装置おける画像処理ルーチンについて説明する。なお、第１実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００７４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１１（Ａ）、及び図１１（Ｂ）参照）。次のステップ１１０では、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔを計算し、視線滞留時間Ｔが所定時間Ｔ０以上になるとステップ３０２で肯定され、ステップ３０４へ進み、否定されるとステップ１０８へ戻る。
【００７５】
ステップ３０４では、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる。すなわち、最初に表示させた２Ｄ画像１４２の表示領域６２の大きさで、３Ｄ画像１４８の表示領域６４を確保し、その表示領域６４上の一部に２Ｄ画像１４２の表示領域６２を設ける。具体的には、図１１（Ｃ）に示すように、２Ｄ画像１４２の表示領域６２と３Ｄ画像１４８の表示領域６４から表示配分される領域全てを３Ｄ画像１４８の表示領域６４に設定する。そして、その３Ｄ画像１４８の表示領域６４内に２Ｄ画像１４２の表示領域６２を設定する。従って、参照者が目視している視点１５６の周辺について３Ｄ画像１４８が拡大されつつ２Ｄ画像１４２の表示も同時に行われることになる。なお、２Ｄ画像１４２の表示領域６２に表示する画像は、２Ｄ画像１４２の表示領域６２に対して２Ｄ画像１４２を拡大縮小して表示させてもよく、２Ｄ画像１４２の表示領域６２に見合う大きさの画像をトリミングして表示させてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００７６】
次に、ステップ３０６では、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める。このステップ３０６の視線移動頻度Ｈｃの計算は、目視状態演算部５０の頻度演算部５１により実行される。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になるとステップ３０８で肯定され、ステップ３１０へ進む。一方、ステップ３０８で否定されると、ステップ３１２において３Ｄ画像１４８の表示領域６４の大きさを変更せずに維持する指示をしてステップ３１４へ進む。
【００７７】
ステップ３１０では、前記ステップ３０４で重畳表示した２Ｄ画像１４２の表示領域６２の大きさを大きくする。すなわち、２Ｄ画像１４２の表示領域６２を徐々に広げる。具体的には、図１１（Ｃ）及び図１１（Ｄ）に示すように、領域幅ｗ１であった２Ｄ画像１４２から領域幅ｗ２へ２Ｄ画像１４２の大きさ（表示領域６２）を変更する。この領域幅ｗ１から領域幅ｗ２へ変更するときには、一定量づつ増加させることにより徐々に２Ｄ画像１４２の表示領域６２を広げる。
【００７８】
次に、ステップ３１４では、現在の３Ｄ画像１４８を表示している表示領域６４の面積（３Ｄ画像領域Ｒｔ）と、２Ｄ画像１４２を表示している表示領域６２の面積（２Ｄ画像領域Ｒｓ）を求め、それらの画像領域（表示領域）の比率Ｐ（Ｒｓ／Ｒｔ）を計算する。画像領域の比率Ｐが所定領域ｐ０未満の場合、ステップ３１６で否定されてステップ１１０へ戻り、上記処理を繰り返し実行する。一方、画像領域の比率Ｐが所定領域ｐ０以上になるとステップ３１６で肯定され、ステップ３１８において３Ｄ画像１４８の表示領域６４の大きさを変更せずに維持する指示をしてステップ３２０へ進む。ステップ３２０では操作ボタン８により終了指示がなされた場合（ステップ３２０で肯定）本ルーチンを終了し、終了指示がなされていない場合は（ステップ３２０で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００７９】
以上説明したように、第３実施形態の立体内視鏡装置によれば、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させることにより、画像間の視線移動回数の減少を期待でき、参照者の疲労感や緊張感を緩和させることができる。
【００８０】
なお、第３実施形態は、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させてから、その３Ｄ画像を重畳表示させているが、２Ｄ画像１４２の一部に３Ｄ画像を表示させるときに、重畳表示させてもよい。また、上記第１実施形態、第２実施形態における他の処理の一部または複数を組合せて実施してもよい。
【００８１】
〔第４実施形態〕
次に、第４実施形態について説明する。第４実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００８２】
第４実施形態は、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させてさらに立体視用画像の表示領域を拡大縮小するものである。
【００８３】
図１２を参照して、第４実施形態の電装装置おける画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００８４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１３（Ａ）、及び図１３（Ｂ）参照）。次に、表示画像１４０について、３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０以上になると（ステップ１１０，ステップ３０２で肯定）、全体画像中における内視鏡２と患部１５４の距離を求める（ステップ２０２）。全体画像中における内視鏡２と患部１５４が接近すると（距離Ｙが所定距離Ｙ０以内）、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる（ステップ３０４、図１３（Ｃ）参照）。
【００８５】
次に、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める（ステップ３０６）。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になると（ステップ４０２で肯定）、ステップ１０８へ戻り、否定されると、ステップ４０４へ進む。
【００８６】
ステップ４０４では、前記ステップ３０４で表示した３Ｄ画像１４８の表示領域６４の大きさを大きくする。すなわち、３Ｄ画像１４８の表示領域６４を徐々に全体画像１４６側に広げる。具体的には、図１３（Ｃ）及び図１３（Ｄ）に示すように、３Ｄ画像１４８の表示領域６４と全体画像１４６の表示領域６６との境界Ｂｄを領域幅方向に距離Ｌだけ移動する。すなわち、最初に表示させた２Ｄ画像１４２の表示領域６２の大きさで確保した３Ｄ画像１４８の表示領域６４を、全体画像１４６の表示領域６６側に向かって境界Ｂｄを移動させることにより３Ｄ画像１４８の表示領域６４を拡大する。この領域拡大にあたっては、全体画像１４６の表示領域６６側に向かう３Ｄ画像１４８を追加する形態をとることが好ましい。このようにすることによって、参照者が目視している視点１５６の周辺について視点１５６を変更させることなく、３Ｄ画像１４８を拡大できる。なお、境界Ｂｄを領域幅方向に移動するときには、一定量づつ増加させることにより徐々に３Ｄ画像１４８の表示領域６４を広げることが、参照者の疲労感や緊張感を抑制する上で好ましい。
【００８７】
次に、ステップ４０６では、現在の３Ｄ画像１４８を表示している表示領域６４の面積を求めることで３Ｄ画像領域Ｒを求め、画像領域Ｒが所定領域ｒ１未満の場合には、ステップ４０８で否定され、ステップ３０６へ戻り、上記処理を繰り返す。一方、画像領域Ｒが所定領域ｒ１以上になるとステップ４０８で肯定され、ステップ４１０進む。ステップ４１０では、現在の３Ｄ画像１４８を表示している表示領域６４の面積が所定領域ｒ１以上のため、拡大することなく所定領域ｒ１を維持させたり、ステップ４０４で広げた表示領域６４の大きさを戻したりする。
【００８８】
これらのステップ４０８と４１０の処理は、全体画像１４６の表示領域６６を最小限度確保するためには必要である。一方、所定領域ｒ１の値を有効領域である表示画面の大きさに設定すれば、表示画像１４０としてモニタ７の表示領域全てに３Ｄ画像１４８を表示させることも可能である。
次に、操作ボタン８により終了指示がなされた場合は（ステップ４１２で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ４１２で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００８９】
以上説明したように、第４実施形態の立体内視鏡装置によれば、参照者が注目する患部に近づくと、３Ｄ画像の表示を徐々に広げているので、狭い立体視用画像の表示領域比べて、視認範囲を広げることがき、参照者の疲労感や緊張感を緩和させることができる。
【００９０】
なお、第４の実施の形態は、立体視用画像の表示領域内の一部に広角画像を重ねて表示（重畳表示）させてさらに立体視用画像の表示領域を拡大縮小する部分について詳細に説明したが、上記第１実施形態〜第３実施形態における他の処理の一部または複数を組合せて実施してもよい。
【００９１】
〔第５実施形態〕
次に、第５実施形態について説明する。第５実施形態の立体内視鏡装置の構成は、第１実施形態と同一であるため、説明を省略する。
【００９２】
第５実施形態は、広角画像または立体視用画像の表示領域を変更するにあたって、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させるものである。
【００９３】
図１４を参照して、第５実施形態の電装装置おける画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００９４】
ステップ１００〜１０８において、広角側撮影画像（２Ｄ画像）、全体画像、立体視用画像（３Ｄ画像）を取得し、全体画像中における内視鏡２と患部１５４とが接近すると（距離Ｘが所定距離Ｘ０以内）、２Ｄ画像１４２の一部に３Ｄ画像１４８を表示させる（図１３（Ａ）、及び図１３（Ｂ）参照）。次に、ステップ１１０〜３０４において、表示画像１４０における３Ｄ画像１４８への参照者（術者）の視線滞留時間Ｔが所定時間Ｔ０を超えて、全体画像中における内視鏡２と患部１５４が接近すると（距離Ｙが所定距離Ｙ０以内）、３Ｄ画像１４８の表示上に２Ｄ画像１４２の一部を重畳表示させる（図１５（Ｃ）参照）。
【００９５】
次に、方向センサ４４による参照者（術者）の視線の方向（視点１５６）を求め、その経時変化として、所定時間内における３Ｄ画像１４８と全体画像１４６の画像間における視線移動頻度Ｈｃを求める（ステップ３０６）。求めた視線移動頻度Ｈｃが所定頻度ｈ３以上になると（ステップ５０２で肯定）、ステップ１０８へ戻り、否定されると、ステップ５０４へ進む。
【００９６】
ステップ５０４では、前記ステップ３０４で表示した３Ｄ画像１４８の表示領域６４内に全体画像１４６の一部を重畳表示させる。すなわち、３Ｄ画像１４８の表示領域６４内に所定の大きさの全体画像１４６の表示領域６６を設定する。具体的には、図１５（Ｃ）及び図１５（Ｄ）に示すように、３Ｄ画像１４８の表示領域６４と全体画像１４６の表示領域６６から表示配分される領域全てを３Ｄ画像１４８の表示領域６４に設定する。そして、その３Ｄ画像１４８の表示領域６４内に２Ｄ画像１４２の表示領域６２及び全体画像１４６の表示領域６４を設定する。従って、参照者が目視している視点１５６の周辺について３Ｄ画像１４８が拡大されつつ２Ｄ画像１４２と全体画像１４６の表示も同時に行われることになる。なお、全体画像１４６の表示領域６６に表示する画像は、全体画像１４６の表示領域６６に対して全体画像１４６を拡大縮小して表示させてもよく、全体画像１４６の表示領域６６に見合う大きさの画像をトリミングして表示させてもよい。画像の拡大縮小と、トリミングは組み合わせも可能である。
【００９７】
次に、操作ボタン８により終了指示がなされた場合は（ステップ５０６で肯定）本ルーチンを終了する。終了指示がなされていない場合は（ステップ５０６で否定）、ステップ３０６へ戻り、上記処理を繰り返し実行する。
【００９８】
以上説明したように、第５実施形態の立体内視鏡装置によれば、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させることにより、参照者に対して、立体視用画像をより広範囲に提供することができる。これによって、参照者、例えば術者は詳細に３次元画像を参照することができ、施術の精度向上を図ることが容易となる。また、狭い立体視用画像の表示領域比べて、視認範囲を広げることがき、参照者の疲労感や緊張感を緩和させることができる。
【００９９】
なお、第５の実施の形態は、立体視用画像の表示領域内の一部に広角画像及び全体画像を重ねて表示（重畳表示）させる部分について詳細に説明したが、上記第１実施形態〜第４実施形態における他の処理の一部または複数を組合せて実施してもよい。
【０１００】
なお、上記第１〜第５の実施の形態では、内視鏡により広角の撮影画像（広角画像）からトリミングした一部画像と、標準画角の撮影画像（標準画像）を用いて立体視用の画像ファイルを生成した場合について説明したが、双方共に、標準画角の撮影画像（標準画像）であってもよい。また、２つの撮影部により撮影画像を得た場合を説明したが、３つ以上の撮影部から２つの撮影部を選択して用いても良い。
【０１０１】
また、上記第１〜第５の実施の形態では、電装装置４に全体画像メモリ３２を備えた場合を説明したが、全体画像メモリ３２を独立した記憶装置としてこの記憶装置から読み取るようにしても良い。
【０１０２】
また、上記第１〜第５の実施の形態の画像処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。
【符号の説明】
【０１０３】
１…立体内視鏡装置
２…内視鏡
４…電装装置
７…モニタ
２１Ａ…撮影部
２１Ｂ…撮影部
３０…３次元処理部
３２…全体画像メモリ
３３…ナビゲーション画像処理部
３５…ＣＰＵ
４０…インタフェース部
４２…位置センサ
４４…方向センサ
５０…目視状態演算部
１４０…表示画像
１４２…２Ｄ画像
１４６…全体画像
１４８…３Ｄ画像
１５４…患部
【特許請求の範囲】
【請求項１】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得手段と、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力手段と、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更手段と、
を備えた画像処理装置。
【請求項２】
前記基準画像は、広角撮影された広角画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記参照者の視線の経時変動として、画像に対する視線滞留時間及び画像間の視線移動頻度の少なくとも一方を検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、対象物から内視鏡までの距離をさらに検出することを特徴とする請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記変更手段は、前記立体画像の表示領域の大きさを変更することを特徴とする請求項１〜請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記変更手段は、前記視線の経時変動に関係する画像の表示領域を徐々に拡大または縮小することを特徴とすることを特徴とする請求項１〜請求項５の何れか１項に記載の画像処理装置。
【請求項７】
前記変更手段は、前記参照画像、前記基準画像及び前記立体画像の何れかの画像の表示領域内に、他の画像が重畳表示されるように表示領域の大きさを変更することを特徴とする請求項１〜請求項６の何れか１項に記載の画像処理装置。
【請求項８】
前記変更手段は、前記参照画像、前記基準画像及び前記立体画像を予め定めた有効表示領域に表示するときに、各画像の表示領域に関する表示配分を定めて各画像の表示領域の大きさを変更することを特徴とする請求項１〜請求項７の何れか１項に記載の画像処理装置。
【請求項９】
観察する対象物内における内視鏡の位置情報を受け付ける受付手段をさらに備え、
前記画像出力手段は、前記受け付けた位置情報による内視鏡の位置を少なくとも含む画像を出力する
ことを特徴とする請求項１〜請求項８の何れか１項に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記基準画像と視差画像とに基づいて立体画像を生成する生成手段により得られる立体画像を取得することを特徴とする請求項１〜請求項９の何れか１項に記載の画像処理装置。
【請求項１１】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得し、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力し、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出し、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する
画像処理方法。
【請求項１２】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得ステップと、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力ステップと、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出ステップと、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更ステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１３】
請求項１〜請求項１０の何れか１項に記載の画像処理装置と、
複数の視点から各々同期して撮影する複数の撮影装置を備えた内視鏡と、
対象物に関係する参照画像を予め記憶した記憶手段と、
参照画像と、基準画像と、立体画像とを表示する表示手段と、
を備えた立体内視鏡装置。
【請求項１】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得手段と、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力手段と、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更手段と、
を備えた画像処理装置。
【請求項２】
前記基準画像は、広角撮影された広角画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記参照者の視線の経時変動として、画像に対する視線滞留時間及び画像間の視線移動頻度の少なくとも一方を検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、対象物から内視鏡までの距離をさらに検出することを特徴とする請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記変更手段は、前記立体画像の表示領域の大きさを変更することを特徴とする請求項１〜請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記変更手段は、前記視線の経時変動に関係する画像の表示領域を徐々に拡大または縮小することを特徴とすることを特徴とする請求項１〜請求項５の何れか１項に記載の画像処理装置。
【請求項７】
前記変更手段は、前記参照画像、前記基準画像及び前記立体画像の何れかの画像の表示領域内に、他の画像が重畳表示されるように表示領域の大きさを変更することを特徴とする請求項１〜請求項６の何れか１項に記載の画像処理装置。
【請求項８】
前記変更手段は、前記参照画像、前記基準画像及び前記立体画像を予め定めた有効表示領域に表示するときに、各画像の表示領域に関する表示配分を定めて各画像の表示領域の大きさを変更することを特徴とする請求項１〜請求項７の何れか１項に記載の画像処理装置。
【請求項９】
観察する対象物内における内視鏡の位置情報を受け付ける受付手段をさらに備え、
前記画像出力手段は、前記受け付けた位置情報による内視鏡の位置を少なくとも含む画像を出力する
ことを特徴とする請求項１〜請求項８の何れか１項に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記基準画像と視差画像とに基づいて立体画像を生成する生成手段により得られる立体画像を取得することを特徴とする請求項１〜請求項９の何れか１項に記載の画像処理装置。
【請求項１１】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得し、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力し、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出し、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する
画像処理方法。
【請求項１２】
内視鏡により観察する対象物に関係する参照画像を予め記憶した記憶手段から前記参照画像を取得すると共に、前記内視鏡による複数の視点から各々同期して撮影された複数の画像のうち何れか１つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体画像を取得する取得ステップと、
前記参照画像と、前記基準画像と、前記立体画像とが同期されて表示手段に表示されるように画像出力する画像出力ステップと、
表示された少なくとも１つの画像に対する参照者の視線の経時変動を検出する検出ステップと、
前記検出手段の検出結果に基づいて、前記視線の経時変動に関係する前記参照画像、前記基準画像及び前記立体画像の少なくとも１つの画像の表示領域の大きさを変更する変更ステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１３】
請求項１〜請求項１０の何れか１項に記載の画像処理装置と、
複数の視点から各々同期して撮影する複数の撮影装置を備えた内視鏡と、
対象物に関係する参照画像を予め記憶した記憶手段と、
参照画像と、基準画像と、立体画像とを表示する表示手段と、
を備えた立体内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２０６４２５（Ｐ２０１１−２０６４２５Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９４０９（Ｐ２０１０−７９４０９）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]