歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置
【課題】歪みを有するレンズを通した実画像に対して，画面全域にわたり高精度な画像の重ね合わせ機能を備える重畳画像処理方法及び装置を提供することを目的とする。
【解決手段】実画像４に含まれるレンズ２のレンズ歪み情報７を用い，レンズ歪みのない電子画像６からレンズ歪み補正処理８により補正された電子画像９を生成する。実画像４と補正された電子画像９にはレンズ歪み情報７で示される画像の歪みが反映されており，重畳画像処理１０により対応するピクセルを単純に合成すると画面全域にわたり高精度な重畳画像を生成することができる。
【解決手段】実画像４に含まれるレンズ２のレンズ歪み情報７を用い，レンズ歪みのない電子画像６からレンズ歪み補正処理８により補正された電子画像９を生成する。実画像４と補正された電子画像９にはレンズ歪み情報７で示される画像の歪みが反映されており，重畳画像処理１０により対応するピクセルを単純に合成すると画面全域にわたり高精度な重畳画像を生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置に関する。
【背景技術】
【０００２】
従来の重畳画像表示方法として，たとえば医療分野では，顕微鏡の視野内に術前計画において指定した腫瘍等の患部領域を示す電子画像を術部の画像に重ね合わせて表示し，医師が現在注目している術部から目を離さなくても目標とする患部の位置を確認できるものが知られている(特許文献１)。
【特許文献１】特開２００３−８４２０１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで，レンズを通した実画像にレンズ歪みが生じている場合に，歪みのない電子画像を重畳表示すると，歪んだ実画像と歪みの無い電子画像の間で画像のずれが生じる。重畳した画像間でのずれは，例えば，実画像を動かした場合に影響し，画面の中央ではずれが無い部位でも画面の端になるように実画像を動かすとずれが生じる。一方，レンズの実装上での大きさの制限や，視野角を超広角にする場合の設計の自由度の制限により，内視鏡や超広角レンズではレンズの歪みを完全に補正することができない。以上のように，内視鏡や超広角レンズを用いる場合には，画面全域にわたって高精度な画像の重ね合わせができないという問題が生じていた。
本発明は，このような問題を解決するためになされたものであり，レンズ歪みを持つ実画像においても，画面全域にわたって高精度な画像の重ね合わせができる重畳画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
第１の発明は、
レンズ歪みを有する実画像とコンピュータで生成した画像の重畳表示において，
電子画像側にレンズ歪みの補正を施し，
画面全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示方法にある（請求項１）。
第２の発明は、
前記重畳画像表示方法を医療現場に用い，
内視鏡画像や超広角画像等のレンズ歪みを持つ実画像に対し，
電子画像側にレンズ歪みを補正する処理を施し，
画像全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示装置にある（請求項２）。
【０００５】
本発明に係る重畳表示方法は，実画像のレンズ歪みに合わせて電子画像を補正する手段と，実画像と補正した電子画像を重ね合わせて表示する手段と，を備えることを特徴とする。
この重畳画像表示方法では，電子画像側をレンズ歪みに合わせて補正することにより，実画像に補正を施さなくても画像全域にわたり高精度な重畳画像を表示する。ここで，実画像に対しての補正が不要であることにより，実画像は光学的なものとコンピュータでキャプチャされて電子化されたものを対象とできる。以上によって，実画像が光学的または電子的に得られた画像であっても，高精度な重畳表示をおこなうことができる。
【０００６】
本発明の上記重畳画像表示方法では，実画像のレンズ歪みはテーブル参照による表現が好ましい。これによれば，実画像のレンズ歪みが複雑な幾何学歪みであっても正確な画像補正をおこなうことができる。
【０００７】
距離の計測等の目的で歪みの無い画像が必要な場合は，レンズ歪みの補正は実画像側でおこなわれるが，実画像の補正においては画像の変形や，画像の圧縮伸張により生じる画質の劣化や，歪み補正の処理による時間遅延が生じる。この重畳画像表示方法では，実画像に対する補正処理を必要としないため，医療現場等，実画像の情報を無加工で確認する必要がある用途に対して，高精度な重畳画像を提供することができる。
【発明の効果】
【０００８】
本発明によれば，実画像のレンズ歪みに合わせて重畳する電子画像を調整することで，実画像のレンズ歪みが異なったとしても，画面全域にわたって高精度な画像の重ね合わせができる。
【発明を実施するための最良の形態】
【０００９】
以下，図面を参照して本発明に係る重畳画像表示方法の実施形態を説明する。なお，本実施の形態において，「実画像」とはレンズ歪みのあるレンズを装着したカメラが撮像した画像を，「電子画像」とはコンピュータで生成した３次元形状を２次元平面に射影した画像を示すものとする。
【実施例】
【００１０】
まず，図１を参照して，重畳画像表示方法の流れを説明する。図１は，本実施の形態に係る処理の流れを示す図である。
【００１１】
実画像４は，図１に示す撮像対象１を，レンズ２を通してカメラ３で撮影して得た。実画像にはレンズ２のレンズ歪み特性による歪みが生じる。
【００１２】
電子画像６はカメラの位置情報から３次元的に計算して生成された。ここで，電子画像６の画角はレンズ２の画角と同じであり，生成された画像にはレンズ歪みがない。
【００１３】
補正された電子画像９は，事前に計測したレンズ２のレンズ歪み情報７を用いて，レンズ歪み補正処理８によって生成した。ここで，電子画像９には実画像４と同様のレンズ歪みが反映された。
【００１４】
重畳画像１１は，実画像４と補正された電子画像９を対応するピクセル毎に合成する重畳画像処理１０により得た。ここで，重畳画像１１は同じレンズ歪みに基づく歪みを反映した実画像４と電子画像９を重ねたものであり，画面全域にわたる高精度な重畳画像であった。
【００１５】
本実施の形態では，レンズ歪み補正処理８が特許請求の範囲に記載する電子画像側に対する歪み補正の処理に相当し，重畳画像処理１０が特許請求範囲に記載する重畳画像処理を示す。
【産業上の利用可能性】
【００１６】
本発明の歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置は、内視鏡等の医療分野をはじめとして様々な分野に利用可能である。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る重畳画像処理の流れを示す説明図である。
【技術分野】
【０００１】
本発明は、歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置に関する。
【背景技術】
【０００２】
従来の重畳画像表示方法として，たとえば医療分野では，顕微鏡の視野内に術前計画において指定した腫瘍等の患部領域を示す電子画像を術部の画像に重ね合わせて表示し，医師が現在注目している術部から目を離さなくても目標とする患部の位置を確認できるものが知られている(特許文献１)。
【特許文献１】特開２００３−８４２０１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで，レンズを通した実画像にレンズ歪みが生じている場合に，歪みのない電子画像を重畳表示すると，歪んだ実画像と歪みの無い電子画像の間で画像のずれが生じる。重畳した画像間でのずれは，例えば，実画像を動かした場合に影響し，画面の中央ではずれが無い部位でも画面の端になるように実画像を動かすとずれが生じる。一方，レンズの実装上での大きさの制限や，視野角を超広角にする場合の設計の自由度の制限により，内視鏡や超広角レンズではレンズの歪みを完全に補正することができない。以上のように，内視鏡や超広角レンズを用いる場合には，画面全域にわたって高精度な画像の重ね合わせができないという問題が生じていた。
本発明は，このような問題を解決するためになされたものであり，レンズ歪みを持つ実画像においても，画面全域にわたって高精度な画像の重ね合わせができる重畳画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
第１の発明は、
レンズ歪みを有する実画像とコンピュータで生成した画像の重畳表示において，
電子画像側にレンズ歪みの補正を施し，
画面全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示方法にある（請求項１）。
第２の発明は、
前記重畳画像表示方法を医療現場に用い，
内視鏡画像や超広角画像等のレンズ歪みを持つ実画像に対し，
電子画像側にレンズ歪みを補正する処理を施し，
画像全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示装置にある（請求項２）。
【０００５】
本発明に係る重畳表示方法は，実画像のレンズ歪みに合わせて電子画像を補正する手段と，実画像と補正した電子画像を重ね合わせて表示する手段と，を備えることを特徴とする。
この重畳画像表示方法では，電子画像側をレンズ歪みに合わせて補正することにより，実画像に補正を施さなくても画像全域にわたり高精度な重畳画像を表示する。ここで，実画像に対しての補正が不要であることにより，実画像は光学的なものとコンピュータでキャプチャされて電子化されたものを対象とできる。以上によって，実画像が光学的または電子的に得られた画像であっても，高精度な重畳表示をおこなうことができる。
【０００６】
本発明の上記重畳画像表示方法では，実画像のレンズ歪みはテーブル参照による表現が好ましい。これによれば，実画像のレンズ歪みが複雑な幾何学歪みであっても正確な画像補正をおこなうことができる。
【０００７】
距離の計測等の目的で歪みの無い画像が必要な場合は，レンズ歪みの補正は実画像側でおこなわれるが，実画像の補正においては画像の変形や，画像の圧縮伸張により生じる画質の劣化や，歪み補正の処理による時間遅延が生じる。この重畳画像表示方法では，実画像に対する補正処理を必要としないため，医療現場等，実画像の情報を無加工で確認する必要がある用途に対して，高精度な重畳画像を提供することができる。
【発明の効果】
【０００８】
本発明によれば，実画像のレンズ歪みに合わせて重畳する電子画像を調整することで，実画像のレンズ歪みが異なったとしても，画面全域にわたって高精度な画像の重ね合わせができる。
【発明を実施するための最良の形態】
【０００９】
以下，図面を参照して本発明に係る重畳画像表示方法の実施形態を説明する。なお，本実施の形態において，「実画像」とはレンズ歪みのあるレンズを装着したカメラが撮像した画像を，「電子画像」とはコンピュータで生成した３次元形状を２次元平面に射影した画像を示すものとする。
【実施例】
【００１０】
まず，図１を参照して，重畳画像表示方法の流れを説明する。図１は，本実施の形態に係る処理の流れを示す図である。
【００１１】
実画像４は，図１に示す撮像対象１を，レンズ２を通してカメラ３で撮影して得た。実画像にはレンズ２のレンズ歪み特性による歪みが生じる。
【００１２】
電子画像６はカメラの位置情報から３次元的に計算して生成された。ここで，電子画像６の画角はレンズ２の画角と同じであり，生成された画像にはレンズ歪みがない。
【００１３】
補正された電子画像９は，事前に計測したレンズ２のレンズ歪み情報７を用いて，レンズ歪み補正処理８によって生成した。ここで，電子画像９には実画像４と同様のレンズ歪みが反映された。
【００１４】
重畳画像１１は，実画像４と補正された電子画像９を対応するピクセル毎に合成する重畳画像処理１０により得た。ここで，重畳画像１１は同じレンズ歪みに基づく歪みを反映した実画像４と電子画像９を重ねたものであり，画面全域にわたる高精度な重畳画像であった。
【００１５】
本実施の形態では，レンズ歪み補正処理８が特許請求の範囲に記載する電子画像側に対する歪み補正の処理に相当し，重畳画像処理１０が特許請求範囲に記載する重畳画像処理を示す。
【産業上の利用可能性】
【００１６】
本発明の歪みを有するレンズを通した実画像に対する高精度な重畳画像表示方法及び装置は、内視鏡等の医療分野をはじめとして様々な分野に利用可能である。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る重畳画像処理の流れを示す説明図である。
【特許請求の範囲】
【請求項１】
レンズ歪みを有する実画像とコンピュータで生成した画像の重畳表示において，
電子画像側にレンズ歪みの補正を施し，
画面全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示方法。
【請求項２】
前記重畳画像表示方法を医療現場に用い，
内視鏡画像や超広角画像等のレンズ歪みを持つ実画像に対し，
電子画像側にレンズ歪みを補正する処理を施し，
画像全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示装置。
【請求項１】
レンズ歪みを有する実画像とコンピュータで生成した画像の重畳表示において，
電子画像側にレンズ歪みの補正を施し，
画面全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示方法。
【請求項２】
前記重畳画像表示方法を医療現場に用い，
内視鏡画像や超広角画像等のレンズ歪みを持つ実画像に対し，
電子画像側にレンズ歪みを補正する処理を施し，
画像全域において高精度な画像重ね合わせ機能を備える重畳表示処理を特徴とする重畳画像表示装置。
【図１】
【公開番号】特開２０１０−５１６４９（Ｐ２０１０−５１６４９Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２２１１６０（Ｐ２００８−２２１１６０）
【出願日】平成２０年８月２９日（２００８．８．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２０年度独立行政法人新エネルギー・産業技術総合開発機構「インテリジェント手術機器研究開発プロジェクト」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２９日（２００８．８．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２０年度独立行政法人新エネルギー・産業技術総合開発機構「インテリジェント手術機器研究開発プロジェクト」委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
[ Back to top ]