説明

撮像装置

【課題】測定対象物を測定しつつ画像を取得するとともに画像を所望の視線方向から観察できる撮像装置を提供する。
【解決手段】撮像装置1は、画像を取得する撮像素子18と、測定対象物Wの被照射領域W1に光線を照射する発光部26および光線を検出する受光部28を有し、発光部から被照射領域までの距離を測定する測定部20と、発光部の位置を測定する位置測定部21と、発光部の向きを測定する姿勢測定部22と、発光部の位置および向き並びに発光部から被照射領域まで距離に基づいて被照射領域の位置および向きを算出する領域状態算出部55と、画像から抽出画像を作成する画像切出し部54と、抽出画像を領域状態算出部により算出された位置および向きに対応付けて記憶する記憶部56と、仮想空間に位置および向きに基づいて配置された抽出画像を視線方向に基づいて変換した視線変換全体画像を作成し表示部に表示させる画像処理部57と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、狭い空間内に挿入されて画像を取得する撮像装置に関する。
【背景技術】
【0002】
従来、配管(測定対象物)などのような狭い空間内に小径の挿入部を挿入して、管路内部の画像を取得する様々な撮像装置が用いられている。
この撮像装置の一つとして内視鏡装置が知られている。内視鏡装置は、配管の管路の傷、腐食を観察・計測することを主な目的としているので、配管の管路の局所的な画像を取得することが多い。そのため、一つの画像が他の画像とどのような位置関係にあるのか、この画像は管路全体のどの部位の画像なのか、などを内視鏡装置の使用者が推測していた。
【0003】
測定対象物の長さ方向に垂直な断面形状が比較的一定であるトンネルの内部を観察する撮像装置として、特許文献1のような変状調査システムが開示されている。
この変状調査システムは、搬送台車と、搬送台車上で搬送台車の進行方向(トンネル孔軸方向)回りに回動可能に支持されたCCDカメラとを備えている。搬送台車のトンネル孔軸方向の位置を固定した状態で、CCDカメラを軸回りに回転させながらトンネルの内面の画像を撮影する。撮影した画像同士を、一部を重ね合わせるようにして合成する。
CCDカメラの光軸とトンネルの内面である撮影面とが常に垂直になっているとは限らないので、そのままでは画像同士を合成することができない。そこで、変状調査システムでは、CCDカメラの撮影位置に加えて、撮影面の位置と傾き情報を正確に測定できるようになっており、これらの情報をもとに複数の画像を同一縮尺で同一スケールとする幾何学的画像補正を行い、画像同士を合成して、トンネル内面の検査画像を構築している。
また、トンネル内面を帯状に撮影することと、搬送台車をトンネル孔軸方向に移動させることを交互に繰り返すことで、トンネル内面を全体にわたり撮影する。よって、トンネル内面の画像は基本的に、トンネルの入り口側から出口側まで順に取得され、保存されることになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−185589号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、たとえば工業用の内視鏡装置などの撮像装置を使った検査では、特許文献1に記載された変状調査システムとは異なり、たとえば、地下空洞や被災地の瓦礫下などのように、測定対象物の長さ方向に垂直な断面形状が様々に変化する場合がある。
一般的に、地下空洞などの内部形状は不明確であるとともに、内面には数多くの凹凸が形成されているため、特許文献1に開示された幾何学的画像補正を行いやすいような画像を得ることは難しい。
さらに、内部形状が複雑であるほど、長手方向に順を追って内部形状の画像を取得することが困難になり、既に取得した画像を取得した位置が分かりにくくなる。
【0006】
本発明は、このような問題点に鑑みてなされたものであって、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から観察し直すことが容易な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の撮像装置は、可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が可視光線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
【0008】
また、本発明の他の撮像装置は、可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が赤外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
【0009】
また、本発明の別の他の撮像装置は、可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、前記画像を表示する表示部と、前記発光部の位置を測定する位置測定部と、前記発光部が紫外線を照射する向きを測定する姿勢測定部と、前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、視線方向を入力するための方向入力部と、仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、を備えることを特徴としている。
【0010】
また、上記の撮像装置において、前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることがより好ましい。
【0011】
また、上記の撮像装置において、前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることがより好ましい。
【0012】
また、上記の撮像装置において、前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることがより好ましい。
【発明の効果】
【0013】
本発明の撮像装置によれば、測定対象物の内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向から容易に観察し直すことができる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1実施形態の内視鏡装置の全体図である。
【図2】同内視鏡装置のブロック図である。
【図3】同内視鏡装置の挿入部の位置によるCCDで取得される画像の違いを説明する図である。
【図4】同内視鏡装置の挿入部の位置による画像から抽出される抽出画像の違いを説明する図である。
【図5】同内視鏡装置の主メモリに記憶されたデータセットの内容を示す図である。
【図6】同内視鏡装置の画像処理部により抽出画像が仮想空間に配置された状態を説明する図である。
【図7】同画像処理部により平行投影を用いて作成された視線変換全体画像の図である。
【図8】同画像処理部により透視投影を用いて抽出画像が変換される概要を説明する図である。
【図9】同画像処理部により透視投影を用いて作成された視線変換全体画像の図である。
【図10】本発明の第2実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。
【図11】図10中の要部拡大図である。
【図12】同内視鏡装置のLCDに表示された新規抽出画像および視線変換画像を説明する図である。
【図13】同LCDに他の方式で表示された新規抽出画像および視線変換画像を説明する図である。
【図14】図14(a)は同内視鏡装置に通常アダプタを装着したときの視野角を示す図であり、図14(b)は同内視鏡装置に広角アダプタを装着したときの視野角を示す図である。
【図15】図15(a)は同内視鏡装置に通常アダプタを装着したときの画像と抽出画像とを比較して示す図であり、図15(b)は同内視鏡装置に広角アダプタを装着したときの画像と抽出画像とを比較して示す図である。
【図16】同内視鏡装置に通常アダプタおよび広角アダプタを装着したときの抽出画像を比較して示す図である。
【図17】本発明の第3実施形態の内視鏡装置で測定対象物の画像を取得する様子を示す図である。
【図18】同内視鏡装置のLCDに表示された配置範囲表示画像およびライブ画像を示す図である。
【図19】同内視鏡装置で画像を連続的に取得する様子を示す図である。
【図20】同内視鏡装置のLCDに表示された配置範囲表示画像およびライブ画像を示す図である。
【図21】本発明の実施形態の変形例における内視鏡装置で測定対象物の表面の傾きを検出する手順を説明する図である。
【図22】同内視鏡装置のLCDに表示された指標を表す図である。
【発明を実施するための形態】
【0015】
(第1実施形態)
以下、本発明に係る撮像装置の第1実施形態を、撮像装置が内視鏡装置である場合について、図1から図9を参照しながら説明する。内視鏡装置は、地下空洞などに挿入され、内部を観察するとともに地下空洞の内部にある測定対象物までの距離を測定する装置である。
図1に示すように、本内視鏡装置1は、前方を観察するとともに前方の画像を取得可能な小径で長尺の挿入部10と、挿入部10の基端に接続され挿入部10などを操作する操作部40と、操作部40に接続された内視鏡本体50と、挿入部10で取得された画像などを表示する表示部70とを備えている。
【0016】
図1および図2に示すように、挿入部10は、先端側に配置された先端硬質部11と、先端硬質部11の基端に接続され湾曲可能な湾曲部12と、湾曲部12の基端に接続され可撓性を有する可撓管部13(図1参照)と、を有している。
一般的に、挿入部の外径として5mm以上15mm以下のものが用いられ、挿入部の長さとして2m以上20m以下のものが用いられる。
図2に示すように、先端硬質部11の先端面には、白色の可視光線を前方に照射する発光ダイオードを有する照明ユニット16および可視光線を集光する観察レンズ17が配置されている。先端硬質部11には、可視光線から画像を取得するCCD(撮像素子)18、内視鏡本体50の後述する通信制御部52との間で信号の送受信を行う通信制御部19、測定対象物Wまでの距離を測定する距離測定部(測定部)20、距離測定部20の後述する発光部26の位置を測定する位置センサ(位置測定部)21、および発光部26がレーザー光L1を照射する向きを測定する姿勢センサ(姿勢測定部)22が内蔵されている。
【0017】
CCD18は、可視光線を検出する検出面18aを有していて、検出面18aで検出した可視光線から画像を取得する。
観察レンズ17は、挿入部10の前方における所定の視野角θ内の可視光線による像を集光し、CCD18の検出面18a上に結像させる。視野角θに対応して画像が取得される測定対象物W上の範囲が、表示部70で表示される観察視野となる。
通信制御部19は、通信制御部19に先端が接続され挿入部10内を通る電線25の本数を、たとえば3本にするために、複数の信号を1つの信号に重畳したり分離したりする処理を行う。
【0018】
本実施形態では、距離測定部20として、レーザー光が照射されてから測定対象物で反射されて検出されるまでの時間に基づいて測定対象物までの距離を測定するTOF(Time Of Flight)型の距離センサが用いられている。
距離測定部20は、赤色のレーザー光L1を前方に照射する発光部26と、通信制御部19からの信号に基づいて発光部26を制御する光制御部27と、赤色の可視光線を検出する受光部28と、受光部28で検出したレーザー光L1の信号を増幅する戻光検出部29と、発光部26から測定対象物Wまでの距離を算出する距離算出部30とを有している。
【0019】
発光部26および受光部28は、先端硬質部11の先端面に配置されている。CCD18および発光部26は、測定誤差を抑えるために、先端硬質部11の先端面において互いに近い位置に配置されていることが好ましい。
光制御部27は、通信制御部19と電気的に接続されていて、通信制御部19から受信した信号に基づいて、発光部26への電力の供給状態を切替える。
使用者は、発光部26が測定対象物Wの表面の一部である被照射領域W1にレーザー光L1を照射したときに、被照射領域W1が、観察レンズ17の視野角θ内に位置するように、挿入部10の先端から被照射領域W1までの距離を調節して使用する。
測定対象物Wの表面において、被照射領域W1、および被照射領域W1に隣接する隣接領域W2は、照明ユニット16により白色の可視光線で照明される。発光部26は、赤色のレーザー光L1を被照射領域W1に照射することで、隣接領域W2に対して被照射領域W1が反射する可視光線の色彩を、CCD18が取得する画像により使用者などが識別可能となるように異ならせることができる。
【0020】
被照射領域W1と隣接領域W2とが画像により識別可能となるように色彩を異ならせるために、レーザー光L1の色彩は測定対象物Wの表面の色彩と異なるものを用いることが好ましい。また、たとえば、外界の光を遮断して被照射領域W1および隣接領域W2を白色光で100lx(ルクス)の照度で照明したときに、被照射領域W1を照射する赤色のレーザー光L1の単独の照度を150lx以上とすることが好ましい。
【0021】
受光部28には、PSD(Position Sensitive Detector)やCCDなどの、指向性が高く、前方から受光部28に向かう受信方向Dからの赤色の可視光線を検出する素子を適宜選択して用いることができる。
一般的に、発光部26から測定対象物Wまでの距離は、発光部26と受光部28との間の距離に比べて充分大きくなっている。さらに本実施形態では、発光部26と受光部28との相対位置が変わらないように構成されているので、湾曲部12を湾曲したときに、発光部26がレーザー光L1を照射する被照射領域W1から受光部28に向かう方向が受信方向Dとなる。
距離算出部30は、発光部26でレーザー光L1が照射された時から、被照射領域W1で反射されたレーザー光L1が受光部28で受光される時までの時間差に基づいて、発光部26から測定対象物Wの被照射領域W1までの距離を算出し、その結果を信号として通信制御部19に送信する。
【0022】
姿勢センサ22としては、たとえば、加速度センサやジャイロスコープなどを、位置センサ21としては、加速度センサ、および加速度センサで検出される加速度を積分して位置を算出する装置を組み合わせたものを、それぞれ用いることができる。位置センサ21は、後述するように内視鏡本体50に対して定められたグローバル座標(基準座標)における所定の基準位置に対する発光部26の位置を測定する
これまで説明した距離測定部20、姿勢センサ22、および位置センサ21としては、上述のような公知のセンサを適宜用いることができる。
【0023】
図1に示すように、操作部40には、湾曲部12を湾曲操作するための湾曲操作ボタン41と、内視鏡本体50、および表示部70などを操作するための主操作ボタン42とが設けられている。
【0024】
内視鏡本体50は、図1および図2に示すように、ケーシング51と、ケーシング51に内蔵された、通信制御部19との間で信号の送受信を行う通信制御部52、照明ユニット16を制御する照明制御部53、画像から抽出画像を作成する画像切出し部54、被照射領域W1の位置および向きを算出する領域状態算出部55、抽出画像を被照射領域W1の位置および向きに対応付けて記憶する主メモリ(記憶部)56、抽出画像を変換した視線変換全体画像を作成して表示部70に表示させる画像処理部57、内視鏡本体50全体としての制御処理を行う処理部58、および挿入部10や表示部70などに電力を供給する電源部59とを有している。
【0025】
前述の電線25は、中間部が操作部40に接続されているとともに、基端が通信制御部52に接続されている。通信制御部52は、通信制御部19と同様に信号の重畳、分離処理を行う。通信制御部52は、照明制御部53、画像切出し部54、領域状態算出部55および電源部59にそれぞれ電気的に接続されている。
画像切出し部54、主メモリ56、および処理部58は、この順で直列となるように接続されている。
画像切出し部54は、CCD18が取得した画像から抽出画像を作成するときに、抽出画像が被照射領域W1を含むように抽出する。抽出画像の抽出方法を図3および図4を用いて説明する。
【0026】
前述したようにCCD18は、挿入部10に配置された観察レンズ17の視野角θ内の可視光線による画像を取得する。図3に示すように、測定対象物Wに対して挿入部10が配置された位置によらず視野角θは一定である一方で、画像を取得するときの観察レンズ17の位置である撮像位置Piから被照射領域W1の位置である測定位置Qiまでの距離(距離測定部20により測定される測定距離di)は、挿入部10が配置された位置より異なる場合がある。なお、図3には、撮像位置Piなどのiが1から4までの場合の、4種類の撮像位置P〜P、および撮像位置P〜Pに対応する測定位置Q〜Q、測定距離d〜dをそれぞれ示している。
撮像位置Piで取得される画像に測定位置Qiにおいて写される長さViは、(1)式に従って測定距離diが大きくなるほど大きくなる。
i=2di×tanθ ・・(1)
【0027】
図3に示すように、被照射領域W1の測定位置Qiを通るとともに画像を取得したときの観察レンズ17の光軸(発光部26の向き)に直交する基準面Siを規定する。このときに、画像切出し部54は、図4に示すように、抽出画像に写された像の基準面Si上での形状Kiが互いに等しく、たとえば1辺が30mmの正方形状となるように、画像から抽出画像を抽出する。言い換えれば、基準面Si上で測定位置Qiを含んで互いに同一形状となる形状Kiに対して、CCD18の検出面18aから投影した範囲内の像として、それぞれの画像から抽出画像を抽出する。
本実施形態において、画像および抽出画像は、複数の画素を全体として正方形状に並べることにより構成されている。測定位置Q〜Qを通る形状K〜Kは、それぞれが1辺が30mmの正方形状であるが、たとえば、測定距離dより測定距離dの方が長くなっているので、以下に示すように、形状Kiに対する撮像位置Piにおける角度αiを調節する。
すなわち、30mmなどの長さVを予め定めておき、挿入部10の観察レンズ17が撮像位置Piにあり、距離測定部20により測定された撮像位置Piから測定位置Qiまでの測定距離diに対して、(2)式により得られる角度αiに対応する一辺の長さを有する正方形状の範囲内の画素からなる抽出画像を抽出する。
αi=tan−1(Vi/(2di)) ・・(2)
このため、形状Kを写した抽出画像の1辺の画素数がたとえば200であるのに対して、形状Kを写した抽出画像の一辺の画素数は、200より少ない150となっている。
【0028】
領域状態算出部55は、抽出画像の被照射領域W1の向きとして、被照射領域W1を抽出した画像を取得したときの発光部26のグローバル座標における向きを求める。また、被照射領域W1の位置として、画像を取得したときの発光部26のグローバル座標における位置から前記発光部26の向きに測定距離di移動した位置を算出して求める。領域状態算出部55は、求めた被照射領域W1の位置および向きのデータを主メモリ56に送信する。
主メモリ56は、図5に示すように、領域状態算出部55により送信された被照射領域W1の位置および向きのデータを、被照射領域W1を抽出した抽出画像データに対応付けて1つのデータセットとして記憶する。被照射領域W1の位置データとしては、たとえば直交座標系における座標データ、向きデータとしては、被照射領域W1における正規化された法線ベクトルなどを用いることができる。
画像処理部57が行う処理については、後で詳しく説明する。
図2に示すように、処理部58は、照明制御部53および画像処理部57と電気的に接続されている。
【0029】
図1および図2に示すように、ケーシング51の外面には、処理部58および電源部59に電気的に接続されたコネクタ62と、挿入部10の先端硬質部11が係止されて内視鏡本体50に対して位置決めされる係止部材63と、抽出画像を変換する基準となる視線方向などを入力するためのフロントパネル(方向入力部)64とが取付けられている。
フロントパネル64には、複数の入力ボタン64aが設けられている。入力ボタン64aを操作することで、内視鏡装置1全体としての電源のON/OFF操作を行ったり、視線方向を入力したりすることができる。
【0030】
表示部70は、ケーシング51に着脱自在に配設されている。表示部70は、画像などを表示するLCD71と、コネクタ62に着脱可能な配線72とを有している。
配線72をコネクタ62に接続することで、表示部70は電源部59から所定の電力を供給されるとともに、処理部58から送信された画像などをLCD71に表示することができる。
【0031】
次に、画像処理部57が行う処理について説明する。
画像処理部57は、主メモリ56に記憶された位置および向きに基づいて、図6に示すように、画像切出し部54が抽出した抽出画像E〜Eを仮想空間Iに配置する。そして、フロントパネル64から入力される視線方向Fに基づいて仮想空間Iに配置された抽出画像E〜Eを変換して視線変換全体画像を作成する。
画像処理部57は、仮想空間Iにおいて、抽出画像Ei中の被照射領域W1の像が抽出画像Eiに対応付けて記憶された位置に設置されるように抽出画像Eiを配置するとともに、抽出画像Eiが抽出画像Eiに対応付けて記憶された向きに向くように配置する。
視線方向Fに基づいて抽出画像Eiを変換するとは、抽出画像Eiを視線方向Fから見たように公知の方法を用いて投影することを意味する。この投影方法としては、抽出画像を充分遠い位置から見たように表した平行投影、抽出画像が配置された位置の遠近感が表現される透視投影などの公知の方法がある。
視線方向Fが画像を取得したときの先端硬質部11の軸線に平行であって平行投影が用いられる場合には、図7に示すように、LCD71に表示された視線変換全体画像75中の、各抽出画像E〜Eが変換された画像である視線変換画像G〜Gの外形形状は全て同一となる。ただし、抽出画像Eiが抽出された画像に対する測定距離diは一部異なっていて、それぞれの視線変換画像Gi中の画素gの数は測定距離diに対応して異なる。
画像処理部57は、たとえばアフィン変換という公知の変換方法を用いて、抽出画像Eiを視線方向Fに基づいて視線変換画像Giに変換する。
【0032】
なお、視線方向Fが画像を取得したときの先端硬質部11の軸線に平行であって透視投影が用いられる場合には、図8に示すように、抽出画像Eiは、視点A1を中心とした所定の半径の球面A2上に投影されるように変換される。このため、図9に示すように、視線変換画像G〜Gの外形形状は互いに異なり、遠近感が表現される。
【0033】
次に、以上のように構成された内視鏡装置1を地下空洞内に挿入して測定対象物Wを観察するときの動作について説明する。
まず、使用者は、係止部材63に挿入部10の先端硬質部11を係止した状態でフロントパネル64の入力ボタン64aを操作することで、内視鏡装置1全体を電源ON状態、すなわち起動状態にする。このときの内視鏡本体50に対する先端硬質部11の位置が、グローバル座標上で基準位置として認識される。
使用者が、挿入部10を係止部材63から取外して不図示の地下空洞内に挿入すると、位置センサ21は発光部26の位置を、姿勢センサ22は発光部26の向きをそれぞれ測定する。測定結果は表示部70に送信され、LCD71に表示される。
照明ユニット16により前方を照明するとともに発光部26から前方に赤色のレーザー光L1を照射しながら、必要に応じて操作部40の湾曲操作ボタン41を操作して湾曲部12を湾曲させ、挿入部10を地下空洞内に挿入していく。
【0034】
使用者は、地下空洞中の所望の位置で、測定対象物Wに挿入部10の先端硬質部11が対向するように位置決めする。そして、操作部40を操作することでCCD18により被照射領域W1が写された測定対象物Wの画像を取得すると同時に、位置センサ21および姿勢センサ22により発光部26の位置および向きが測定され、距離測定部20により発光部26から被照射領域W1までの測定距離diが算出される。
画像切出し部54は、抽出画像Eiに写された像の基準面Si上での形状Kiが互いに等しくなるように、取得された画像から抽出画像Eiを抽出して主メモリ56に送信する。一方で、領域状態算出部55は、発光部26の位置および向き、並びに測定距離diから被照射領域W1の位置および向きを算出して主メモリ56に送信する。主メモリ56は、画像切出し部54から送信された抽出画像Eiを領域状態算出部55から送信された被照射領域W1の位置および向きに対応付けてデータセットとして記憶する。
【0035】
測定対象物Wの抽出画像Eiをたとえば複数取得した後で、使用者はフロントパネル64を操作して、これらの抽出画像Eiを見たい視線方向Fを入力する。すると、画像処理部57は、主メモリ56に記憶された複数のデータセットを読み出して仮想空間Iに複数の抽出画像Eiを配置し、視線方向Fに基づいて変換して作成した視線変換全体画像75をLCD71に表示する。
必要に応じて視線方向Fを繰り返してフロントパネル64から入力して、抽出画像Eiを様々な視線方向Fから確認しながら測定対象物Wを観察していく。
【0036】
以上説明したように、本実施形態の内視鏡装置1によれば、使用者は、CCD18で取得した映像を表示部70で確認しながら地下空洞内に挿入部10を挿入していき、測定対象物Wの近傍に挿入部10の先端を配置する。そして、CCD18により可視光線による画像を取得するとともに、発光部26から赤色のレーザー光L1を測定対象物Wの被照射領域W1に照射し、受光部28で被照射領域W1からの可視光線を検出することで距離測定部20により発光部26から被照射領域W1までの距離を測定する。さらに、位置センサ21により発光部26の位置、姿勢センサ22により発光部26の向きをそれぞれ測定する。
画像切出し部54により被照射領域W1を含んだ領域を抽出して抽出画像Eiを作成し、領域状態算出部55により発光部26の位置および向き、並びに発光部26から被照射領域W1まで距離に基づいて、被照射領域W1の位置および向きを算出する。主メモリ56に、算出された被照射領域W1の位置および向きのデータを、この被照射領域W1を含む抽出した抽出画像Eiに対応付けてデータセットとして記憶する。
さらに、画像処理部57により、仮想空間Iに被照射領域W1の位置および向きに基づいて配置された抽出画像Eiをフロントパネル64から入力された視線方向Fに基づいて変換して視線変換全体画像75を作成し、表示部70に表示する。
【0037】
このように、CCD18が配置されている挿入部10が小径かつ長尺であって、CCD18を測定対象物Wの広範囲の画像を一度に取得する仕様にできない場合であっても、仮想空間Iに複数の抽出画像Eiを配置し、所望の視線方向Fから見たように表示することができる。これにより、地下空洞内の測定対象物Wの各部位の抽出画像Eiおよび位置を取得するとともに、後で、取得した抽出画像Eiを所望の視線方向Fから観察することができる。
【0038】
また、画像切出し部54は、抽出画像Eiに写された像の基準面Si上での形状Kiが互いに等しくなるように画像から抽出画像Eiを抽出し、抽出画像Eiを表示部70に表示する。このため、抽出画像Eiにおける測定対象物Wの大きさの比較を容易に行うことができる。
【0039】
(第2実施形態)
次に、本発明の第2実施形態について図2、および図10から図16を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図2に示すように、本実施形態の内視鏡装置2は、前記第1実施形態の内視鏡装置1の画像処理部57に代えて画像処理部81を備えている。
画像処理部81は、画像切出し部54で新たに作成された新規抽出画像(抽出画像)の被照射領域W1の位置と同一の位置が主メモリ56に既に記憶されていることを検出したときに、以下に説明するような処理を行う。すなわち、この同一の位置に対応付けられて主メモリ56に既に記憶された参照抽出画像(抽出画像)を新規抽出画像を抽出した画像を取得したときの発光部26の向きに基づいて変換した視線変換画像と、新規抽出画像とを表示部70に表示させる。
【0040】
より具体的に説明すると、主メモリ56に、図10に示す参照抽出画像H〜Hが既に記憶されていて、再び測定対象物Wの新規抽出画像を取得する場合を考える。このような場合としては、たとえば、地下空洞などに挿入部10を挿入していくときに参照抽出画像Hiを主メモリ56に既に記憶していて、この地下空洞などから挿入部10を取出していくときに新規抽出画像を取得する場合や、この参照抽出画像Hiを取得し記憶してからたとえば数週間経過した後で再びこの地下空洞に挿入部10を挿入していきながら新規抽出画像を取得する場合などが挙げられる。
【0041】
使用者は、地下空洞中の所望の位置で、図10および図11に示すように、測定対象物Wに挿入部10の先端硬質部11が対向するように位置決めする。そして、操作部40を操作することでCCD18により被照射領域W1が写された測定対象物Wの画像を取得し、この画像から抽出した新規抽出画像I(図11参照)に写された被照射領域W1の位置などを算出する。
画像処理部81は、この算出された位置が、主メモリ56に既に記憶された、たとえば測定位置Qと同一の位置であると検出すると、測定位置Qに対応付けて記憶された参照抽出画像Hを新規抽出画像Iを抽出した画像を取得したときの発光部26の向きA3に基づいて変換して視線変換画像を作成する。そして、図12に示すように、この視線変換画像82と新規抽出画像Iとを、表示部70のLCD71に表示させる。
【0042】
視線変換画像82は、参照抽出画像Hの向きおよび発光部26の向きA3に対応した方向および比率で変形した状態で、LCD71に表示される。図12に示す例では、視線変換画像82は元の形状から一方向に圧縮して表示されている。
【0043】
このように構成された本実施形態の内視鏡装置2によれば、測定対象物Wの内部が狭く内部形状が複雑であっても、内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Fから容易に観察し直すことができる
さらに、内視鏡装置2は画像処理部81を備えているため、測定対象物Wの同一の位置を写した新規抽出画像Iと視線変換画像82とを容易に比較することができる。そして、必要に応じて、不要となった一方の画像を主メモリ56から消去して、主メモリ56を効果的に使用することができる。
【0044】
なお、本実施形態では、図13に示すように、新規抽出画像Iに写された像の一方の側B1、および、視線変換画像82に写された像の他方の側B2を互いに連続させてLCD71に表示してもよい。このように表示することで、新規抽出画像Iと視線変換画像82とをさらに容易に比較することができる。
【0045】
また、本実施形態は、内視鏡装置2が、観察レンズ17に代えて、互いに視野角が異なってCCD18の検出面18a上に可視光線の像を結像させるとともに挿入部10の先端に着脱可能な通常観察レンズおよび広角観察レンズをそれぞれ有する通常アダプタおよび広角アダプタを備える場合にも効果的である。
図14(a)および図15(a)に、視野角θが比較的狭い通常観察レンズを有する通常アダプタを用いた場合の画像Mと抽出画像Eとの範囲を示し、図14(b)および図15(b)に、視野角θが比較的広い広角観察レンズを有する広角アダプタを用いた場合の画像M11と抽出画像E11との範囲を示す。
同一のCCD18を用いているため、画像Mおよび画像M11の画素数は一定であり、さらに、抽出画像Eおよび抽出画像E11に写された像の基準面S上での形状Kは互いに等しい。このため、図16に示すように、LCD71に表示された抽出画像Eおよび抽出画像E11は互いに同一形状となるが、抽出画像Eより抽出画像E11の方が画像が粗くなる。
この場合においても、抽出画像Eと抽出画像E11とを容易に比較することができる。
【0046】
(第3実施形態)
次に、本発明の第3実施形態について図2、図17から図20を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。
図2に示すように、本実施形態の内視鏡装置3は、前記第1実施形態の内視鏡装置1の画像処理部57に代えて画像処理部91を備えている。
【0047】
図17に示すように、参照抽出画像H〜Hが既に主メモリ56に記憶されていて、再び測定対象物Wの抽出画像を取得する場合を考える。
画像処理部91は、仮想空間Iに配置された参照抽出画像Hiを視線方向Fから見たように変換した図18に示す視線変換画像G〜Gを含んだ視線変換全体画像中に、CCD18が新たに取得する画像から画像切出し部54が抽出する抽出画像が配置される抽出画像配置範囲Rを重ね合わせた配置範囲表示画像92を作成してLCD71に表示させる。なお、配置範囲表示画像92中の範囲Xは、まだ抽出画像が取得されていない範囲を示す。
LCD71には、CCD18が新たに取得するライブ画像(画像)93が、配置範囲表示画像92とともに表示される。
【0048】
このように構成された本実施形態の内視鏡装置3によれば、測定対象物Wの内部形状を全体にわたり測定しつつ内部の画像を取得するとともに、取得した画像を所望の視線方向Fから観察し直すことができる。
さらに、仮想空間Iにおいて、既に記憶された参照抽出画像Hiの位置および範囲、および、これから取得する抽出画像が配置される抽出画像配置範囲Rを確認しながら抽出画像を取得する。このため、抽出画像の撮り残しを防止することができる。
【0049】
また、本実施形態は、内視鏡装置3が抽出画像を自動で連続的に取得する場合にも効果的である。たとえば、図19に示すように、測定対象物Wに対して内視鏡装置3の挿入部10を移動させながら、たとえば1秒当たり数枚程度の抽出画像を連続的に取得する場合がある。
この場合、図20に示すように、LCD71には、連続的に取得している画像から抽出された抽出画像を画像処理部91で変換した視線変換画像Gと、CCD18が新たに取得する画像から画像切出し部54が抽出する抽出画像が配置される抽出画像配置範囲Rとが重ね合わせて表示される。
この場合においても、抽出画像を連続的に取得しながら、抽出画像の撮り残しを防止することができる。
【0050】
以上、本発明の第1実施形態から第3実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更なども含まれる。さらに、各実施形態で示した構成のそれぞれを適宜組み合わせて利用できることは、言うまでもない。
たとえば、前記第1実施形態から第3実施形態では、発光部26が赤色のレーザー光L1を照射し、被照射領域W1と隣接領域W2との色彩を異ならせることで、CCD18が取得する画像により使用者などが識別可能となるように構成した。しかし、発光部が所定の照度以上の白色の可視光線を照射して隣接領域W2より被照射領域W1の明るさを異ならせることで、被照射領域W1と隣接領域W2とを画像により識別可能となるように構成してもよい。
このとき、たとえば、照明ユニット16が被照射領域W1および隣接領域W2を白色光で100lxの照度で照明したときに、発光部26が被照射領域W1を照射する白色光単独の照度を150lx以上とすることが好ましい。
【0051】
また、前記第1実施形態から第3実施形態では、発光部26が赤色のレーザー光L1を照射し、CCD18が可視光線を検出するものとし、発光部26は、照射するレーザー光L1により被照射領域W1と隣接領域W2とを使用者などが識別可能となるように色彩を異ならせるとした。
しかし、発光部が赤外線を照射し、挿入部10のCCDが赤外線および可視光線を検出可能なものであり、発光部は、自身が照射する赤外線により被照射領域W1と隣接領域W2とを識別可能となるように赤外線の強度を異ならせるように構成してもよい。同様に、発光部が紫外線を照射し、CCDが紫外線および可視光線を検出可能なものであり、発光部は、自身が照射する紫外線により被照射領域W1と隣接領域W2とを識別可能となるように紫外線の強度を異ならせるように構成してもよい。
【0052】
また、前記第1実施形態から第3実施形態では、図21に示すように、内視鏡装置が測定対象物Wの表面の傾きを検出し、挿入部10の軸線Cに1対する測定対象物Wの表面の傾きが所定の値以上である場合には、使用者に注意を促す表示を示したり、音声を発したりするように構成してもよい。
注意を促す条件としては、たとえば、挿入部10の可撓管部13の位置を固定した状態で湾曲部12の先端を角度β湾曲させる前後での測定距離d、dに対して(3)式の値が所定の閾値を越えるときとすることができる。
|d−d|/β ・・(3)
使用者に注意を促す表示としては、図22に示すように、LCD71に測定対象物Wの傾きが大きくなるように従って、正方形から、対向する一辺Z1に対して他辺Z2が短くなる台形に変形する指標Zを用いてもよい。また、使用者に注意を促す音声としては、「挿入部が正面を向くように調整してください」などのような文章を用いることができる。
【0053】
前記第1実施形態から第3実施形態では、たとえば、観察レンズ17がピントを調節できる距離の範囲内に距離測定部20が測定する測定距離diが入ったときに、内視鏡装置が自動的に所定の時間間隔で抽出画像を取得するように構成してもよい。また、距離測定部20が測定する測定距離diが、観察レンズ17がピントを調節できる距離よりも長い場合に、「挿入部を測定対象物に近づけて下さい」のような案内の音声を発してもよい。
前記第1実施形態から第3実施形態では、距離測定部20としてTOF型の距離センサを用いた。しかし、内視鏡装置で用いられる距離センサはこれに限ることなく、たとえば、三角測量方式、ステレオ計測方式、そしてマルチレーザポイント方式などの周知の距離センサを用いることができる。
【0054】
また、前記第1実施形態から第3実施形態では、撮像装置が内視鏡装置であるとしたが、撮像装置は内視鏡装置に限ることなく、照明部および撮像素子を有する先端ユニットが挿入部の先端に回動可能に支持されたパイプカメラなどでもよい。
前記第1実施形態から第3実施形態では、2つの画像に写されたものの大きさを比較する必要が無い場合は、抽出画像は画像と同じ大きさであってもよい。
【符号の説明】
【0055】
1、2、3 内視鏡装置(撮像装置)
10 挿入部
18 CCD(撮像素子)
20 距離測定部(測定部)
21 位置センサ(位置測定部)
22 姿勢センサ(姿勢測定部)
26 発光部
28 受光部
54 画像切出し部
55 領域状態算出部
56 主メモリ(記憶部)
57、81、91 画像処理部
64 フロントパネル(方向入力部)
70 表示部
D 受信方向
i 抽出画像
F 視線方向
H 参照抽出画像
I 仮想空間
i 新規抽出画像
i 画像
i 基準面
W 測定対象物
W1 被照射領域

【特許請求の範囲】
【請求項1】
可視光線を検出し、検出した前記可視光線から画像を取得する撮像素子と、
測定対象物の被照射領域に可視光線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する可視光線の明るさおよび色彩の少なくとも一つを前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの可視光線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が可視光線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。
【請求項2】
可視光線および赤外線を検出し、検出した前記可視光線および赤外線から画像を取得する撮像素子と、
測定対象物の被照射領域に赤外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する赤外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの赤外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が赤外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。
【請求項3】
可視光線および紫外線を検出し、検出した前記可視光線および紫外線から画像を取得する撮像素子と、
測定対象物の被照射領域に紫外線を照射し前記測定対象物において前記被照射領域に隣接する部分に対して前記被照射領域が反射する紫外線の強度を前記画像により識別可能に異ならせる発光部、および、所定の受光方向からの紫外線を検出する受光部を有し、前記発光部から前記被照射領域までの距離を測定する測定部と、
前記画像を表示する表示部と、
前記発光部の位置を測定する位置測定部と、
前記発光部が紫外線を照射する向きを測定する姿勢測定部と、
前記発光部の位置および向き、並びに前記発光部から前記被照射領域まで距離に基づいて前記被照射領域の位置および向きを算出する領域状態算出部と、
前記画像から前記被照射領域を含んだ領域を抽出して抽出画像を作成する画像切出し部と、
前記撮像素子、前記発光部および前記受光部が先端側に配置された小径で長尺の挿入部と、
前記抽出画像を、前記領域状態算出部により算出された前記位置および前記向きに対応付けて記憶する記憶部と、
視線方向を入力するための方向入力部と、
仮想空間に前記位置および前記向きに基づいて配置された前記抽出画像を前記視線方向に基づいて変換した視線変換全体画像を作成し、前記表示部に表示させる画像処理部と、
を備えることを特徴とする撮像装置。
【請求項4】
前記画像切出し部は、前記被照射領域を通るとともに前記画像を取得したときの前記発光部の向きに直交する基準面を規定したときに、前記抽出画像に写された像の前記基準面上での形状が互いに等しくなるように前記画像から前記抽出画像を抽出し、
前記画像処理部は、それぞれの前記抽出画像を前記表示部に表示させることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
前記画像処理部は、前記画像切出し部で新たに作成された前記抽出画像である新規抽出画像の前記被照射領域の位置と同一の位置が前記記憶部に既に記憶されていることを検出したときに、
前記同一の位置に対応付けられて前記記憶部に既に記憶された前記抽出画像である参照抽出画像を前記新規抽出画像を抽出した前記画像を取得したときの前記発光部の向きに基づいて変換した視線変換画像と、前記新規抽出画像とを前記表示部に表示させることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
【請求項6】
前記画像処理部は、前記視線変換全体画像中に、前記撮像素子が新たに取得する前記画像から前記画像切出し部が抽出する前記抽出画像が配置される範囲を重ね合わせた配置範囲表示画像を作成して前記表示部に表示させ、
前記表示部には、前記前記撮像素子が新たに取得する前記画像が表示されることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2012−88278(P2012−88278A)
【公開日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2010−237511(P2010−237511)
【出願日】平成22年10月22日(2010.10.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】