遠隔検査装置のための画像操作および処理技術
遠隔検査装置が、イメージャヘッド内に配設され、画像データを撮像するイメージャを有する。アクティブ表示ユニットが、画像データをデジタル形態で受け取り、その画像データをアクティブ表示部上にグラフィカルにレンダリングする。動作追跡センサが、イメージャヘッドおよび/または画像表示ユニットの動作を追跡する。いくつかの態様においては、アクティブ表示ユニット内に配置されたコンピュータプロセッサが、イメージャヘッドの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの位置を示すマーカを生成し、表示する。追加の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの動作を制御する。他の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、アクティブ表示部上のレンダリングされた画像データを修正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2008年2月29日出願の米国特許出願第12/074,218号の継続出願であり、2008年2月1日に出願した米国特許仮出願第61/063,463号の便益を主張するものである。上述の出願の開示は、参照により本明細書に組み込まれている。
【０００２】
本開示は、一般に、ボアスコープおよびビデオスコープに関する。
【背景技術】
【０００３】
隠れた場所を視覚的に検査するためのボアスコープおよびビデオスコープは、一般に、特定の用途に向けて調整される。例えば、いくつかのボアスコープは、パイプおよび排水管を検査する配管工による使用に向けて調整されている。同様に、他のタイプのボアスコープは、修理される機械の内部部分を検査する整備士による使用に向けて調整されている。
【０００４】
この項における記載は、本開示に関する背景情報をただ単に提供するに過ぎず、従来技術を構成しないことが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第11/645280号明細書
【発明の概要】
【課題を解決するための手段】
【０００６】
遠隔検査装置が、イメージャヘッド内に配設され、画像データを撮像するイメージャを有する。アクティブ表示ユニットが、画像データをデジタル形態で受け取り、その画像データをアクティブ表示部上にグラフィカルにレンダリングする。動作追跡センサが、イメージャヘッドおよび/または画像表示ユニットの動作を追跡する。いくつかの態様においては、アクティブ表示ユニット内に配置されたコンピュータプロセッサが、イメージャヘッドの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの位置を示すマーカを生成し、表示する。追加の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの動作を制御する。他の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、アクティブ表示部上のレンダリングされた画像データを修正する。
【０００７】
適用可能性のさらなる範囲は、本明細書に提供される説明から明らかになるであろう。説明および具体的な例は、例示の目的だけのために意図しており、本開示の範囲を限定することを意図するものでないことを理解すべきである。
【図面の簡単な説明】
【０００８】
【図１Ａ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｂ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｃ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｄ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｅ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｆ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図２Ａ】遠隔検査装置を示す図である。
【図２Ｂ】遠隔検査装置を示す図である。
【図２Ｃ】遠隔検査装置を示す図である。
【図３Ａ】複数のイメージャと、イメージャ動作センサとを有するイメージャヘッドを示す透視図である。
【図３Ｂ】図3Aのイメージャヘッドを示す断面図である。
【図４】モジュラ遠隔検査装置システムを示すブロック図である。
【図５】3Dイメージャヘッド位置の決定を示す流れ図である。
【図６】図4のモジュラ遠隔検査装置システムについての動作の方法を示す流れ図である。
【図７Ａ】複数のユーザ選択可能モードにより撮像され、かつ/またはレンダリングされたパイプ内部の画像の図である。
【図７Ｂ】複数のユーザ選択可能モードにより撮像され、かつ/またはレンダリングされたパイプ内部の画像の図である。
【図８Ａ】イメージャヘッド位置情報を示すマーカの表示を示す図である。
【図８Ｂ】イメージャヘッド位置情報を示すマーカの表示を示す図である。
【図９Ａ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【図９Ｂ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【図９Ｃ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【発明を実施するための形態】
【０００９】
本明細書に説明する図面は、例示目的のためだけであり、本開示の範囲を限定することを何ら意図するものでない。
【００１０】
図1A〜1Fを概括的に参照すると、遠隔検査装置とともに使用するためのハンドヘルドのユーザインターフェース100が、アクティブ表示部102などの1つまたは複数の出力要素を有する。ボタン、ジョイスティック、プッシュパッドなど、いくつかのユーザインターフェース入力要素104もまた、設けられる。いくつかの実施形態においては、ユーザインターフェース100は、ジャイロスコープ、加速度計、および/または差動GPSなど、GPSを含むことが可能である。いくつかのデータポートおよび/またはドッキングベイなど、接続機構106もまた、設けられてよい。
【００１１】
いくつかの実施形態においては、接続機構106のデータポートは、USBポート、ファイヤワイヤポート、ブルートゥースなどを含むことが可能である。これらのデータポートは、ラバーグロメットなど、カバー105によって保護されるユーザインターフェースのチャンバ内に配置可能である。いくつかの実施形態においては、カバー105は、ユーザがカバーを取り外し易くするタブ107を有することが可能である。追加または代替の実施形態においては、カバー105を取り外したとき、紛失しないようにするために、カバー105は、ヒンジによる、開放したチャンバの縁部に1つの端部上での留付けも可能である。
【００１２】
追加または代替の実施形態においては、接続機構106のドッキングベイが、2つの拡張カード108を保持する拡張カードドッキングベイを含む。ドッキングベイは、キー溝110を使用して、拡張カード108の挿入を誘導し、それらをボード112上の所定の場所に保持する。拡張カード108は、キー溝110内で嵌合するレール114を有する。拡張カードはまた、ユーザが操作をし易くし、カード108の配向を誘導する把握簡易要素116を有する。
【００１３】
次に、図2Aを参照すると、遠隔検査装置の実施形態が、概して、3つの主な要素:デジタル表示部筐体28と、デジタルイメージャ筐体24と、デジタル表示部筐体28およびデジタルイメージャ筐体24を相互接続する可撓ケーブル22とから成る。可撓ケーブル22は、それが、パイプ、壁など、視覚的に隠されたエリア内に押し込まれるとき、曲がるように、かつ/または湾曲するように構成されている。可撓ケーブル22は、1cmの範囲内の外径を有するリブ付き円筒導管である。導管は、金属、プラスチック、または複合材料のいずれかから形成される。より小さいか、またはより大きい直径が、用途に応じて適している。同様に、可撓ケーブル22に適切な他の構成もまた、本開示によって企図される。
【００１４】
デジタルイメージャ筐体24は、可撓ケーブル22の遠位端部に結合される。デジタルイメージャ筐体24は、可撓ケーブル22と同心円状に位置合わせされた実質的に円筒の形状である。しかし、デジタルイメージャ筐体24は、他の形状をとることが想定される。いずれの場合でも、円筒デジタルイメージャ筐体24の外径は、好ましくは、実質的に、可撓ケーブル22の外径と等しいか、またはその外径より小さい大きさである。
【００１５】
デジタル撮像装置26が、円筒デジタルイメージャ筐体24の外向きに向く端部内に埋め込まれる。デジタル撮像装置26は、可撓ケーブル22の遠位端部に隣接して見えるエリアの画像を撮像し、その画像をデジタルビデオ信号に変換する。いくつかの実施形態においては、アタッチメント30が、デジタルイメージャ筐体24に取外し可能に結合される。
【００１６】
デジタル撮像装置26は、デジタル式でない撮像装置よりも比較的多くの信号ワイヤを必要とする。そのため、次に図9Aを参照すると、デジタルビデオ信号変換装置が、デジタルビデオ信号をシリアル化し、それによって、可撓ケーブル22の中を螺入されるのに必要なワイヤの数を抑えるために、デジタルイメージャ筐体24内に含まれる(図2Aを参照のこと)。例えば、図9Aに特に関連して、ビデオ信号をデジタルイメージャ筐体からデジタル表示部に送信するのに必要なワイヤの数は、デジタルイメージャ筐体24内の差動LVDSシリアライザ32を使用することによって18本のワイヤから8本のワイヤに減らして、デジタルビデオ信号34を差動LVDS信号36に再フォーマットすることが可能である。次いで、デジタル表示部筐体28内の差動LVDSデシリアライザ38が、LVDS信号36を受信し、それを、デジタルビデオ表示部によって使用するためのデジタルビデオ信号34にまた変換する。この場合、LVDS信号36は、デジタルビデオ信号を伝送するのに必要な12本のワイヤを、LVDS信号を伝送するのに必要な2本のワイヤに置き換える。また、6本を超すワイヤ:電源用に1本、接地用に1本、LED光源用に2本、直列クロック信号用に1本、および直列データ信号用に1本が必要である。当業者は、直列クロック信号および直列データ信号が、開始時に、デジタル撮像装置26を初期化するために使用されることを理解するであろう。いくつかの追加のまたは代替の実施形態においては、知られている技術によって、さらになおワイヤの数を抑えることが可能である。
【００１７】
次に図9Bを参照すると、別の実施形態においては、デジタルイメージャ筐体24内のデジタル・アナログ変換器40が、デジタルビデオ信号34をアナログビデオ信号42に変換する。このアナログビデオ信号42は、続いて、表示部筐体28内のアナログ・デジタル変換器44によって受信され、デジタルビデオ信号34にまた変換される。シリアライザの使用と同様に、アナログ・デジタル変換器を使用することにより、18本のワイヤから8本のワイヤにワイヤの数が抑えられる。この場合も、2本のワイヤが、アナログ電圧信号を供給するために必要である。
【００１８】
次に、図9Cを参照すると、さらなる別の実施形態においては、デジタルビデオ信号34は、デジタルイメージャ筐体24内のビデオエンコーダ46によってNTSC/PAL信号48に変換される。当業者は、NTSCが米国および日本におけるテレビ放送の標準であり、PALがその相当する欧州標準であることを容易に認識するであろう。このNTSC/PAL信号48は、次いで、表示部筐体28のビデオデコーダ50によってデジタルビデオ信号34に再変換される。
【００１９】
デジタルビデオ信号をその元の形態に戻すことは、デジタル撮像装置26によって撮像されるビデオをレンダリングするデジタル表示部の使用を可能にする。デジタル表示部の使用は、このような表示部の様々な性能を活用することが可能である。例えば、デジタルパンニングおよびズーミング性能は、画素に関して、表示部よりも大きいイメージャの使用によって、またはデジタルズームによって獲得可能である。したがって、表示部は、イメージャヘッドの固定された視覚錐体の中で、より細部に/柔軟に移動可能である。また、ソフトウェアトグルが、カラーから白黒に切り替えることによる低空間での知覚明瞭度およびコントラストを高めるために実装可能である。
【００２０】
次に、図2Bを参照すると、モジュラ遠隔検査装置20の別の実施形態が、遠隔デジタル表示部筐体28を有する。この例においては、遠隔筐体28は、検査装置20のユーザの一方の手に保持されるように、傍らに配置されるように、またはユーザの人に、もしくはユーザの環境内の便利な構造体に取外し可能に取り付けられるように、構成されている。可撓ケーブル22は、ユーザによって把握されるように構成されているプッシュスティック筐体52に取り付けられ、かつ/またはその筐体の中を通される。一連のリブ付き円筒導管セクション22A〜22Cは、プッシュスティック筐体52を円筒デジタルイメージャ筐体24に接続する。1つまたは複数の延長セクション22Bは、セクション22Aおよび22Cの間に取外し可能に取り付けられて、プッシュスティック筐体52とデジタルイメージャ筐体24とを相互接続する可撓ケーブル22の部分を長くする。セクション22A〜Cはまた、デジタル表示部筐体28が遠隔でなく、代わりに、プッシュスティック筐体52と組み合わせられている図2Aに示されるもののような実施形態においても使用可能であることを容易に理解すべきである。
【００２１】
図2Bに戻ると、可撓ケーブルは、プッシュスティック筐体52を通って、デジタル表示部筐体28に渡る。例えば、プッシュスティック筐体52から延びるコイル状ケーブルセクション22Dが、デジタル表示部筐体28から延びるリブ付き円筒導管セクション22Eに接続する。したがって、可撓ケーブル22は、シリアル化されたデジタルビデオ信号を、デジタル撮像装置26からリブ付き円筒導管セクション22A〜22Cを通ってプッシュスティック筐体52に運び、それは、その筐体を通って、コイル状ケーブルセクション22Dおよびリブ付き円筒導管セクション22Eによって、遠隔デジタルビデオ表示部筐体28まで透過的に通される。1つまたは複数の延長セクション22Bを使用して、プッシュスティック筐体52をデジタル表示部筐体28およびデジタルイメージャ筐体24と相互接続させるケーブル部分のいずれかまたは両方を長くすることが可能であることを容易に理解すべきである。
【００２２】
可撓ケーブル22がプッシュスティック筐体52で終点となり、プッシュスティック筐体52は、無線送信装置を含み、それによって、送信器筐体として働く別の実施形態が想定される。このような実施形態においては、デジタル表示部筐体28は、無線受信装置を含み、シリアル化されたデジタルビデオ信号は、プッシュスティック筐体52からデジタル表示部筐体28に無線で送信されることを容易に理解すべきである。また、1つまたは複数のアンテナが、無線通信を容易にするために、プッシュスティック筐体52およびデジタル表示部筐体28に設けられることを容易に理解すべきである。この実施形態に使用するのに適切な無線通信のタイプは、ブルートゥース、802.11(b)、802.11(n)、無線USBなどを含む。
【００２３】
図2A〜2Cを概括的に参照すると、遠隔検査装置200のいくつかの実施形態は、仮想現実および/または拡張現実の表示機能を有する。これらの実施形態のうちの1つまたは複数においては、表示ユニット内に配置された動作追跡センサおよびイメージャヘッドが、表示ユニットの位置および配向、ならびに/またはイメージャヘッドの位置および配向を決定するために有用な情報をもたらす。表示ユニットの動作追跡センサは、表示ユニット内に配設される。例示的な表示ユニットの動作追跡センサは、加速度計、ジャイロスコープ、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。イメージャヘッドの動作追跡センサは、イメージャヘッド、モータ付きリール、および/または表示ユニット内に配設される。イメージャヘッド内に配設された例示的なイメージャヘッドの動作追跡センサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。リール内に配設された例示的なイメージャヘッドの動作追跡センサは、イメージャヘッドを供給し、巻き込むケーブルの動作を追跡する展開センサを含む。表示ユニット内に配設された例示的なイメージャヘッドの動作追跡センサは、イメージャヘッド内のイメージャによって撮像されたビデオから運動ベクトルを抽出するソフトウェアモジュールを含む。
【００２４】
これらの実施形態のうちのいくつかにおいては、イメージャヘッドの位置および配向についての情報を使用して、ユーザにイメージャヘッドの位置および配向を示すアクティブ表示部上にマーカを生成し、レンダリングする。例示的なマーカは、イメージャヘッドの3D座標と、イメージャヘッドのアイコン表示位置および配向と、イメージャヘッドの3D経路とを含む。マーカは、アクティブ表示部に直接、レンダリングされる。マーカはまた、表示部の位置および配向を使用することによって、拡張現実表示部にレンダリングされて、マーカを動的に表示して、ユーザの環境的周囲におけるイメージャヘッドの経路および位置を伝える。
【００２５】
いくつかの実施形態においては、表示部の位置および配向についての情報を使用して、イメージャヘッドの動作を制御する。この点において、表示部筐体を左右に動かすことにより、イメージャヘッドの角度が明確に示される。イメージャヘッド内の微小モータ、屈曲ワイヤケーブル、および/または有線ケーブルは、イメージャヘッドを明確に示すために使用される。いくつかの実施形態においては、表示部筐体を前後に動かすことにより、モータ付きケーブルリールを使用して、イメージャヘッドを供給し、巻き込む。
【００２６】
いくつかの実施形態においては、表示部筐体の位置および配向についての情報を使用して、デジタル画像を後処理する。この後処理は、デジタル画像をパンニングし、ズーミングし、かつ/または回転させるために行われる。いくつかの実施形態においては、イメージャヘッドの位置についての情報を使用して、デジタル画像の「上を上に」表示を得るために、画像を回転させる。
【００２７】
次に、図2Cを特に参照すると、ハンドヘルド表示部202として実施されるユーザインターフェースが、イメージャヘッド204のうちの1つの位置を制御するユーザインターフェース入力要素を有する。加えて、ハンドヘルド表示部202は、加速度計、ジャイロスコープ、ジンバル、および/または眼球バラストなど、ハンドヘルド表示部202の動作を追跡するためのセンサを有する。ユーザによって選択される動作のモードにおいては、ハンドヘルド表示部202の感知動作もまた使用して、イメージャヘッド204の位置を制御する。ユーザによって選択される動作の別のモードにおいては、ユーザインターフェース入力要素と、ハンドヘルド表示部202の感知動作とを使用して、ハンドヘルド表示部202によって表示される撮像済みの画像を処理する(例えば、パンニングする、ズーミングするなど)。処理されない撮像済みの画像は、加えて、遠隔表示部205に伝達される。ユーザによって選択される動作のさらなるモードにおいては、ハンドヘルド表示部の感知動作を使用して、撮像された画像を処理し、ユーザインターフェース入力要素を使用して、1つまたは複数のイメージャヘッドの位置を制御する。ユーザによって選択される動作のさらなるモードにおいては、ハンドヘルド表示部の感知動作を使用して、1つまたは複数のイメージャヘッドの位置を制御し、ユーザインターフェース入力要素を使用して、撮像済みの画像の処理を制御する。
【００２８】
ヘッドを位置決めするための1つの機構は、ケーブルを供給し、かつ/または巻き込むことによって、ヘッドを供給し、かつ/または巻き込むモータ付きケーブルリール208を含む。イメージャヘッドを位置決めする際に使用するのに適切な他の機構は、イメージャおよび/もしくはイメージャヘッドを明確に示すイメージャヘッド内の微小モータ、イメージャヘッド204を明確に示すケーブルセクション206内のワイヤ、ならびに/またはイメージャヘッド204を明確に示すケーブルセクションの屈曲ワイヤを含む。
【００２９】
リール208は、無線送信装置を含むことが可能であり、それによって、送信器筐体として働く。デジタル表示部筐体202は、無線受信装置を含み、シリアル化されたデジタルビデオ信号は、リール208からハンドヘルドの表示部202に無線で送信されることを容易に理解すべきである。遠隔検査装置とともに使用するのに適切な無線通信のタイプは、ブルートゥース、802.11(b)、802.11(g)、802.11(n)、無線USB、ジグビー、アナログ、無線NTSC/PALなどを含む。
【００３０】
図3を参照してさらに後述するように、2つ以上の光源が、1つまたは複数のイメージャ302および/または304の周囲に沿って、円筒イメージャヘッド300の外向きに向く端部から突出する。イメージャ302および/または304は、光源間に直接的に、または間接的に埋め込まれる。光源は、超高輝度LEDである。イメージャヘッドとともに使用するのに適切な超高輝度LEDは、日亜ブランドのLEDを含む。超高輝度LEDは、標準LEDに比較すると約12倍の光強度を生成する。具体的には、5mm日亜LEDなど、超高輝度LEDは、それぞれ1.5ルーメンを上回って生成する。超高輝度LEDを含むことにより、光出力において著しい差が生じるが、また標準LEDよりもはるかに高い熱も生じる。そのため、イメージャ筐体は、超高輝度LEDを収容するヒートシンクを含む。
【００３１】
透明キャップが、イメージャ302と304、および光源をイメージャヘッド300内に閉じ込める。透明キャップはまた、それの以前の場所に比較すると外向きの1つまたは複数のイメージャ302および/または304の焦点を有効に引き寄せるために、撮像光学部(すなわち、層状透明イメージャキャップ)を設ける。所与の形状のイメージャヘッド300の場合、焦点におけるこの変化は、有効視野を広くし、したがって、可撓ケーブルおよびイメージャヘッド300から形成されるスネークをより有用にする。焦点におけるこの変化はまた、LEDを生成する光からの1つまたは複数のイメージャ302および304の垂直オフセットも可能にし、したがって、より小さい直径のイメージャヘッド300の組立を可能にする。
【００３２】
図2Cに簡単に戻ると、様々なタイプのイメージャヘッド204が設けられており、それぞれは、種々のタイプならびに/または組合せの撮像装置、光源、および/もしくは種々のタイプの使用法をターゲットとしている撮像光学部を有する。例えば、イメージャヘッド204のうちの1つは、光源および撮像光学部が不足している。また、あるイメージャヘッド204は、別のイメージャヘッドがもたらすよりも、赤外スペクトルの比較的多量な光をもたらす光源を有する。この場合には、赤外スペクトルの光を生成するLEDが使用され、赤外光を選択的に通す光学フィルタが、撮像光学部内に含まれる。この赤外線撮像ヘッドは、暗視に特によく適しており、亜鉛めっきパイプ内の視界距離および細部を増大させる。別のイメージャヘッドにおいては、光源は、赤外線フィルタを有する熱撮像ヘッドを達成するために除外される。イメージャヘッド204のうちのさらなる1つは、紫外スペクトルの光を生成することができる光源を有する。この場合には、紫外スペクトルの光を生成するLEDが使用され、撮像光学部は、紫外光を選択的に通す光学フィルタを含む。この紫外線イメージャヘッドは、バクテリアおよび蛍光を発する生体物質を殺菌するのに特によく向いている。イメージャヘッド204のうちのさらなる1つは、白色光源を有する。さらには、イメージャヘッド204のうちの少なくとも1つは、複数のイメージャを有する。1つのこのようなイメージャヘッドは、熱撮像装置および可視スペクトル撮像装置を有する。この場合には、熱撮像装置が、可視スペクトル撮像装置の代わりに動作した場合、ヘッドの可視光源は、熱撮像を可能にするために消失する。種々のタイプのイメージャヘッド204のいずれか、または全てが、個々に、またはいずれかの組合せで供給されることを容易に理解すべきである。
【００３３】
デジタル表示部202は、ソフトウェアをコンピュータ可読メモリに保存し、そのソフトウェアを、ヘッド204を動作させるためにコンピュータプロセッサにより実行する。ヘッド204を動作させるためのソフトウェアは、種々のタイプのイメージャヘッド204を動作させる際に使用するための動作の様々なモードを有する。デジタル表示部を動作させるためのソフトウェアはまた、画像を向上させる画像処理性能も有する。画像処理性能は、イメージャヘッド204の種々のものに固有である。
【００３４】
イメージャヘッドに関するより多くの情報、リールの代わりにプッシュスティックを使用する実施形態、および本開示の前述の実施形態、代替の実施形態、または追加の実施形態において使用される他の要素は、米国公報第2007/0185379号として2007年8月9日に公開され、Modular Remote Inspection Device with Digital Imagerという表題の2006年12月22日に本発明の譲受人によって出願された、米国特許出願第11/645280号に見ることが可能である。前述の特許出願および公報は、目的に応じてそれらの全体を本明細書に組み込まれている。
【００３５】
イメージャヘッド204のうちの1つまたは複数は、環境条件センサを含む。例えば、イメージャヘッドのうちの1つは、温度センサを含む。この感知された環境条件情報は、ユーザに伝えるためのハンドヘルド表示部202、頭部装着型表示部210、および固定表示部205に伝達される。また、イメージャヘッド204のうちの1つまたは複数は、イメージャを備えていないことを容易に理解すべきである。
【００３６】
次に、図3Aおよび3Bを見て、それらを概括的に参照すると、イメージャヘッド300は、複数のイメージャを有する。例えば、イメージャヘッド300は、種々の方向に配向される第1のイメージャ302および第2のイメージャ304を有する。イメージャ302および304は、直角に配向される。ユーザ選択可能表示モードは、これらのイメージャ302および304の一方または両方によって撮像された視界を表示する。
【００３７】
イメージャヘッド300は、ヘッド動作位置センサを有する。イメージャヘッド300の流量は、レーザビームを放出するレーザ308と結合された光学マウスチップ流量センサ306によって感知される。3軸ジャイロスコープチップ312および3軸加速度計チップ314もまた、ヘッド300内に配設される。ヘッド300内に配設される代替または追加のセンサは、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含むことが想定される。
【００３８】
図2Cに戻ると、ケーブルリール208はまた、ケーブルリールの供給および/または巻込みを追跡するセンサを有する。撮像された画像に加えて、感知されたイメージャ動作は、ケーブル206によってリール208に伝えられる。撮像された画像は、次いで、イメージャヘッド内のセンサおよびリール208内のセンサによってもたらされるセンサ情報とともに、ハンドヘルド表示部202にリール208によって無線で伝達される。
【００３９】
ハンドヘルド表示部202は、感知されたイメージャ動作を使用して、経時的にイメージャヘッド動作を追跡し、感知されたイメージャ動作を使用することによって、ヘッド位置を再帰的に決定する。ハンドヘルド表示部202は、一連のイメージャヘッド位置として、この追跡されたイメージャヘッド動作をコンピュータ可読媒体に記録する。ハンドヘルド表示部202は同時に、撮像された画像から運動ベクトルを抽出することによって、経時的にイメージャヘッド動作を追跡し、その運動ベクトルを使用して、ヘッド位置を再帰的に決定する。ハンドヘルド表示部202は、一連のこれらのイメージャヘッド位置として、この追跡されたイメージャヘッド動作をコンピュータ可読媒体に記録する。次に、ハンドヘルド表示部202は、追跡されたイメージャヘッド動作の2つの記録を比較することによって、イメージャヘッド位置を決定する。2つの記録を比較することにより、イメージャヘッド位置を決定する際の精度の向上が達成される。
【００４０】
次に、図5を見ると、3Dイメージャヘッド位置の計算が、カルマンフィルタ502により達成される。例えば、カルマンフィルタは、3軸加速度計504、ジャイロスコープ506、およびイメージャヘッド内に配設された光学マウスセンサ508からの入力を処理する。カルマンフィルタはまた、ヘッドがそれに取り付けられるケーブルを供給するリール上の展開センサ510からの入力を処理する。さらには、カルマンフィルタは、ヘッドの動作中に撮像されたビデオ画像514から運動ベクトルを抽出する光学流量プロセッサ512からの、運動ベクトルなど、入力を処理する。
【００４１】
次に、図8Aおよび8Bを見て、それらを概括的に参照すると、撮像装置の実施形態が、3次元軸系802におけるイメージャヘッド位置の座標800を決定する。座標800は、イメージャヘッド動作の感知が起こり始める開始ポイント803に関して計算される。開始ポイント803は、ヘッドがパイプに入ったときのポイントである。イメージャヘッドの位置および/または配向を感知するのに適切なタイプの例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００４２】
イメージャヘッド位置を伝える1つまたは複数のマーカは、複数のユーザ選択可能モードのうちの1つにより、ハンドヘルド表示部上に表示される。ユーザ選択可能モードのうちの1つにおいては、座標800は、撮像された画像のオーバレイで表示される(図8A)。別のユーザ選択可能モードにおいては、ヘッドの位置および配向を示すアイコン804(図8B)が、座標800との組合せで表示される。アイコン804はまた、開始ポイント803から、アイコン804および座標800によって示される現在のヘッド位置まで、ヘッドの動程の経路806との組合せで表示される。経路806は、経時的にヘッドの位置を決定することによって、およびヘッド位置をコンピュータ可読メモリに順々に記録することによって計算される。
【００４３】
別の実施形態においては、開始ポイントは、リールの位置である。この場合には、パイプに対するリールの位置およびイメージャヘッドの経路は、差動GPSを使用することによって決定されて、経時的にヘッドおよびリールの位置を観測する。イメージャヘッドが、パイプに入ると、イメージャヘッドの差動GPSは、イメージャヘッド動作を追跡するにはほとんど有効でなくなり、したがって、追跡は、ヘッド内のセンサを使用することによって、および/または前述した撮像済みの画像から運動ベクトルを抽出することによってパイプ内で行われる。
【００４４】
知られているイメージャヘッド位置により、ユーザは、どこでイメージャヘッドの場所を探すべきか、またはそうでなければ、どこでその場所へのアクセスを得るべきかを決定することが可能である。また知られているイメージャヘッドの経路806により、ユーザは、イメージャヘッドの位置と適合する位置へのアクセスを物理的に得る際に回避されることが必要な障害物の位置を決定することが可能である。この性能は、例えば、いずれの他のパイプに損傷をもたらすことなく、破損したパイプを見つけようとする配管工の役に立つ。したがって、アクセス対策が、ユーザによって計画可能である。
【００４５】
次に図2Cに戻ると、別の実施形態が拡張現実技術を使用して、ユーザの環境周囲内でマーカを伝える。例えば、マーカが3Dヘッド位置および経路を示すように生成される。3Dイメージャヘッド位置および/または経路を示すマーカに基づいて、ユーザによって装着される拡張現実表示部210が、マーカをユーザに表示する。拡張現実表示部は、ユーザが自分の周囲を見ることを可能にし、ユーザの周囲のその視界をオーバレイするヘッドアップ表示部をもたらす。開始ポイントとしてのリールを使用して、マーカは、拡張現実表示部210の位置および配向、ならびにリール208の位置を感知するセンサからの情報に基づいて計算される。したがって、ユーザは、表示部210が動いても、引き続きマーカを受ける。
【００４６】
拡張現実表示部のためのマーカは、イメージャヘッドを示すアイコンを含む。このアイコンは、表示部の位置および配向、ならびにリールの感知された位置である知られている開始ポイントに基づいて生成される。イメージャヘッドを示すマーカは、大きさ、形状、透視図、配向、および縮尺を含み、これらはともに、ユーザの環境周囲内でイメージャヘッドの位置をユーザに伝える。例えば、アイコンは、45度の角度で、ユーザから離れて向く矢印である。矢印は、表を上にしてグラフィカルにレンダリングされ、矢印の底面は、矢印の配向を伝えるために、矢印の先端よりも大きい。ユーザがヘッド位置に向かって動き、ヘッド位置から離れて動くとき、矢印のレンダリングは変化して、ヘッド位置により近づく動き、およびヘッド位置から離れて動く経験をユーザに与えるために、矢印がより大きく、より小さく見えるようにする。ユーザが上下に動くとき、矢印の外観は、ユーザの環境周囲内で矢印の配向を観測する経験をユーザに与えるために、伸長し、短縮し、それは、周囲環境内のユーザの位置と持続的に合致している。ユーザが、環境周囲において見回すために、表示部210の配向を変えるとき、矢印の外観は、ユーザの環境周囲内で矢印の位置を観測する経験をユーザに与えるために、上下左右に動き、それは、環境周囲内のユーザの見える方向と持続的に合致している。
【００４７】
大きさ、形状、透視図、配向、および縮尺を有する、リールからイメージャヘッドへの経路もまた、レンダリングされ、それは、ユーザの環境周囲内で開始ポイント(すなわち、リール208)からイメージャヘッドの位置にユーザを正確に誘導する。この場合も、経路の大きさ、形状、位置、透視図、および配向が、表示部210の位置および配向により制御される。経路の外観の制御は、ユーザの環境周囲内で経路を観測する経験をユーザに与えるために達成され、それは、環境周囲内のユーザの見える方向および位置と持続的に合致している。
【００４８】
ユーザ選択可能動作モードにおいては、ハンドヘルド表示部202は、拡張現実表示部として動作する。ハンドヘルド表示部202の後部上のカメラが、ユーザの周囲の画像を撮像し、その画像をユーザに表示する。次いで、ヘッド位置および経路についてのマーカは、ハンドヘルド表示部202によってレンダリングされて、ユーザの周囲の撮像済みの画像をオーバレイする。マーカ(すなわち、アイコンおよび経路)の大きさ、形状、透視図、および配向は、表示部の位置および配向に応答して制御される。アイコンおよび経路の外観の制御は、ユーザの環境周囲内でアイコンおよび経路を観測する経験をユーザに与えるために達成され、それは、ユーザの環境周囲内のハンドヘルド表示部の位置および配向と持続的に合致している。拡張現実表示部、リール、およびイメージャヘッドの位置ならびに配向を感知するのに適切な例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００４９】
ユーザ選択可能動作モードにおいては、表示部210および/または表示部202は、パイプ内部など、イメージャによって撮像された画像図を提供することによって、仮想現実表示部として働く。このような実施形態においては、表示部210および/または表示部202の追跡された位置を使用して、画像の後処理を制御し、撮像された画像によりユーザの仮想現実相互作用を達成する。例えば、ズーミング、パンニング、および/または画像回転が適用され、ズーミングされ、パンニングされ、かつ/または回転された画像は、表示部210および/または表示部202上に表示される。したがって、ユーザは、イメージャによって見られるパイプの内側または他の環境周囲を仮想的に見回す。同時に、ズーミングされていない、パンニングされていない、かつ/または回転されていない画像は、固定表示部205に表示される。ハンドヘルド表示部、リール、およびイメージャヘッドの位置および配向を感知するのに適切な例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００５０】
別のユーザ選択可能動作モードにおいては、追加の画像後処理モードが、ユーザによって選択される。例えば、ユーザは、デフォルトシャッタモード、夜間シャッタモード、スポーツモード、屋内環境モード、屋外環境モード、および反射環境モードの間で選択する。このタイプの後処理は、イメージャによって撮像された画像に適用され、仮想現実動作モード中、装着型表示部210、ハンドヘルド表示部202、および固定表示部205によって表示される。2つの異なる撮像モードによりレンダリングされるパイプ内部の表示部の例は、図7Aおよび7Bに示される。標準視覚モード(図7A)、および明るい視覚モード(図7B)の例は、ほんの一例である。これらの視覚モードおよび他の視覚モードは、撮像された画像の後処理、イメージャヘッドによって生成される光の変化、ヘッドの明瞭度、および/またはそれらの組合せによって達成されることを容易に理解すべきである。
【００５１】
次に、図4を参照すると、遠隔検査装置システムが、画像ズームモジュール402、画像回転モジュール404、および/または画像パンモジュール406にユーザ選択を伝える手動ユーザインターフェース要素400をハンドヘルド表示部上に含む。モジュール402〜406は、ハンドヘルド表示部および/または拡張現実表示部のコンピュータ可読メモリ内に格納される。モジュール402〜406はまた、ハンドヘルド表示部または拡張現実表示部上に存在するコンピュータプロセッサによって実行される。ハンドヘルド表示部および/または拡張現実表示部に取り付けられた装着および/または保持動作センサ408は、ハンドヘルド表示部または拡張現実表示部のユーザ動作を画像ズームモジュール402、画像回転モジュール404、および/または画像パンモジュール406に伝える。ユーザインターフェース要素400および/または動作センサ408は、ユーザ選択、および表示部の動作を、モータ付きリール上に存在するイメージャヘッド動作制御モジュール410に伝える。続いて、ヘッド動作制御モジュール410は、画像データ416を供給するイメージャ414を含むヘッドの動作を制御する1つまたは複数のヘッド動作制御信号412を生成する。制御信号412は、モータ付きリールを動作して、ケーブルの供給および巻込みを制御する。制御信号412はまた、ケーブル、またはケーブルの屈曲ワイヤを動作する。モータ付きリールはさらに、ケーブルによって制御信号412の一部をイメージャヘッドに伝えて、イメージャヘッドの微小モータを動作させる。動作センサの場合、加速度計およびジャイロスコープの入力は、加速度データおよび角度に変換される回転データ(弧度)、ならびに角度測定値である。これらの測定値は、制御信号に変換される(例えば、15度は、15度である)。
【００５２】
画像ズームモジュール402、画像回転モジュール404、および画像パンモジュール406は、画像データ416の一部分の仮想現実表示を達成するために、協働して、画像をズーミングし、パンニングし、回転させる。例えば、ピッチおよびヨーを含む表示部のユーザ動作は、左右および上下の画像データ416のパンニングに影響をもたらすことが可能である。また、表示部のユーザ動作、および要素400のジョイスティックまたはボタンパッドの作動は、画像データをズーミングする。さらには、ズーミングされ、パンニングされた画像は、イメージャ位置および表示部位置に対する重力ベクトルに基づいた画像データの直立表示を達成するために、計算された表示部位置およびイメージャ位置によって回転される。ヘッドが真っ直ぐ下、または真っ直ぐ上に向けられた場合には、加速度計は、不定状態になり、ある種の回転変化が加速度計によって検出されるまで、少なくとも入力を持続することは不可能である。画像データの結果として生じるズーミングされ、パンニングされ、かつ回転された部分426は、次いで、ユーザへの表示のためのハンドヘルド表示部、または頭部装着型表示部上の仮想現実画像表示モジュール420にもたらされる。画像データ416はまた、回転され、ネイティブ解像度画像424として外部表示部に伝えるための表示モジュール420に供給される。
【００５３】
画像モード選択モジュール422は、ユーザ選択を手動ユーザインターフェース要素400から受け取り、その選択を、画像データ416および画像データの部分426に適用するための選択画像後処理と解釈する。したがって、仮想現実表示モジュール420は、選択された画像後処理を画像データ416に適用して、部分426を得る。回転された画像データ424は、ネイティブ解像度で、外部表示部に供給され、後処理され、ズーミングされ、パンニングされ、かつ回転された画像データの部分は、426において、保持される表示部、および頭部装着型表示部によってレンダリングされる。
【００５４】
感知されたイメージャ動作情報418および画像データ416は、リールから、頭部装着型表示部上に配置された拡張現実画像表示モジュール428に送信される。拡張現実表示モジュール428は、画像データ416から運動ベクトルを抽出することによって、およびその運動ベクトルと、感知されたイメージャ動作情報418とを使用することによって、イメージャヘッドの位置および経路を追跡して、イメージャヘッド位置を決定する。その知られているヘッド位置および経路により、拡張現実画像表示モジュール428は、マーカ430を生成して、ヘッド位置および経路を頭部装着型表示部の拡張現実表示要素によって、ユーザに表示する。このマーカ430は、頭部装着型表示部上の動作センサ408からの入力に一部基づいて計算される。
【００５５】
次に、図6を参照すると、遠隔検査装置とともに使用するための動作方法が、遠隔検査装置のイメージャヘッド内に配設されたイメージャから、ステップ600で画像データを受け取るステップを含む。ユーザ選択は、ステップ602でハンドヘルド表示部および頭部装着型表示部のユーザインターフェース入力要素によって監視される。ハンドヘルド表示部および頭部装着型表示部の動作は、ステップ604でハンドヘルド表示部および頭部装着型表示部に取り付けられた表示位置センサによって監視される。画像データの後処理は、ステップ610で起こり、ユーザ選択および表示部動作により、画像データをパンニングし、ズーミングし、回転させる。ユーザ選択の後処理モードにより、ステップ612でさらに画像データの後処理が、ハンドヘルド表示部および頭部装着型表示部上に起こり、パンニングされ、ズーミングされ、回転された画像データの外観を変える。次に、画像データは、ステップ614で、ハンドヘルド表示部、頭部装着型表示部、および外部表示部の表示部要素によってレンダリングされる。イメージャ位置制御信号が、ステップ616で、ユーザ選択および表示部動作に基づいて、ハンドヘルド表示部および頭部装着型表示部によって生成され、これらの制御信号は、制御信号の一部分に応答して、イメージャヘッドに供給し、巻き込むモータ付きリール上のイメージャ位置制御機構に出力される。モータ付きリールはまた、制御信号の別の部分に応答して、ケーブルを制御する。モータ付きリールはさらに、制御信号の追加部分をイメージャヘッド上の微小モータに伝える。制御信号の追加部分に対するこれらの微小応答は、イメージャヘッド位置を制御する。
【００５６】
イメージャ動作は、画像データの撮像中、ステップ606で、ハンドヘルド表示部および頭部装着型表示部上で監視される。例えば、イメージャ動作は、ステップ608で、イメージャヘッド内に配設されたセンサからの入力によって監視される。センサ入力は、リールにはケーブルによって伝えられ、ハンドヘルド表示部または頭部装着型表示部には無線で伝えられる。イメージャ動作はまた、ステップ600で受け取られた画像データから運動ベクトルを抽出することによって、ステップ606で検出される。運動ベクトルは、ハンドヘルド表示部および頭部装着型表示部によって抽出される。これらのイメージャ動作はイメージャヘッドの3D位置を計算するために、ステップ618で、ハンドヘルド表示部および頭部装着型表示部によって追跡される。次いで、マーカが、ステップ618で、ハンドヘルド表示部および頭部装着型表示部によって生成される。頭部装着型表示部は、ヘッド位置および経路をユーザに示すために、頭部装着型表示部の位置および配向に基づいてマーカを生成する。ハンドヘルド表示部は、ヘッド位置および経路をユーザに示すために、ハンドヘルド表示部の位置および配向に基づいてマーカを生成する。頭部装着型表示部およびハンドヘルド表示部は、それらのそれぞれの表示部要素によって、それらのそれぞれのマーカをレンダリングする。
【００５７】
前述の説明は、性質上の単なる例示に過ぎず、本開示、本出願、または本使用法を限定するように意図するものでない。
【符号の説明】
【００５８】
20 検査装置
22 可撓ケーブル
24 デジタルイメージャ筐体
26 デジタル撮像装置
28 デジタル表示部筐体
30 アタッチメント
32 差動LVDSシリアライザ
34 デジタルビデオ信号
36 差動LVDS信号
38 差動LVDSデシリアライザ
40 デジタル・アナログ変換器
42 アナログビデオ信号
44 デジタル変換器
46 ビデオエンコーダ
48 NTSC/PAL信号
50 ビデオデコーダ
52 プッシュスティック筐体
100 ユーザインターフェース
102 アクティブ表示部
104 ユーザインターフェース入力要素
105 カバー
106 接続機構
107 タブ
108 拡張カード
110 キー溝
112 ボード
114 レール
116 把握簡易要素
200 遠隔検査装置
202 ハンドヘルド表示部
204 イメージャヘッド
205 遠隔表示部
206 ケーブル
208 モータ付きケーブルリール
210 頭部装着型表示部
300 イメージャヘッド
302 イメージャ
304 イメージャ
306 光学マウスチップ流量センサ
308 レーザ
312 3軸ジャイロスコープチップ
314 3軸加速度計チップ
400 手動ユーザインターフェース要素
402 画像ズームモジュール
404 画像回転モジュール
406 画像パンモジュール
408 動作センサ
410 ヘッド動作制御モジュール
412 ヘッド動作制御信号
414 イメージャ
416 画像データ
418 イメージャ動作情報
420 仮想現実画像表示モジュール
422 画像モード選択モジュール
424 ネイティブ解像度画像
426 ズーミングされ、パンニングされ、かつ回転された画像データの部分
428 拡張現実画像表示モジュール
430 マーカ
502 カルマンフィルタ
504 3軸加速度計
506 ジャイロスコープ
508 光学マウスセンサ
510 展開センサ
512 光学流量プロセッサ
514 ビデオ画像
800 座標
802 3次元軸系
803 開始ポイント
804 アイコン
806 経路
【技術分野】
【０００１】
本出願は、2008年2月29日出願の米国特許出願第12/074,218号の継続出願であり、2008年2月1日に出願した米国特許仮出願第61/063,463号の便益を主張するものである。上述の出願の開示は、参照により本明細書に組み込まれている。
【０００２】
本開示は、一般に、ボアスコープおよびビデオスコープに関する。
【背景技術】
【０００３】
隠れた場所を視覚的に検査するためのボアスコープおよびビデオスコープは、一般に、特定の用途に向けて調整される。例えば、いくつかのボアスコープは、パイプおよび排水管を検査する配管工による使用に向けて調整されている。同様に、他のタイプのボアスコープは、修理される機械の内部部分を検査する整備士による使用に向けて調整されている。
【０００４】
この項における記載は、本開示に関する背景情報をただ単に提供するに過ぎず、従来技術を構成しないことが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第11/645280号明細書
【発明の概要】
【課題を解決するための手段】
【０００６】
遠隔検査装置が、イメージャヘッド内に配設され、画像データを撮像するイメージャを有する。アクティブ表示ユニットが、画像データをデジタル形態で受け取り、その画像データをアクティブ表示部上にグラフィカルにレンダリングする。動作追跡センサが、イメージャヘッドおよび/または画像表示ユニットの動作を追跡する。いくつかの態様においては、アクティブ表示ユニット内に配置されたコンピュータプロセッサが、イメージャヘッドの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの位置を示すマーカを生成し、表示する。追加の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、イメージャヘッドの動作を制御する。他の態様においては、このコンピュータプロセッサは、アクティブ表示ユニットの動作を追跡する動作追跡センサからの情報を使用して、アクティブ表示部上のレンダリングされた画像データを修正する。
【０００７】
適用可能性のさらなる範囲は、本明細書に提供される説明から明らかになるであろう。説明および具体的な例は、例示の目的だけのために意図しており、本開示の範囲を限定することを意図するものでないことを理解すべきである。
【図面の簡単な説明】
【０００８】
【図１Ａ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｂ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｃ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｄ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｅ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図１Ｆ】遠隔検査装置とともに使用するためのハンドヘルドの遠隔ユーザインターフェースを示す図である。
【図２Ａ】遠隔検査装置を示す図である。
【図２Ｂ】遠隔検査装置を示す図である。
【図２Ｃ】遠隔検査装置を示す図である。
【図３Ａ】複数のイメージャと、イメージャ動作センサとを有するイメージャヘッドを示す透視図である。
【図３Ｂ】図3Aのイメージャヘッドを示す断面図である。
【図４】モジュラ遠隔検査装置システムを示すブロック図である。
【図５】3Dイメージャヘッド位置の決定を示す流れ図である。
【図６】図4のモジュラ遠隔検査装置システムについての動作の方法を示す流れ図である。
【図７Ａ】複数のユーザ選択可能モードにより撮像され、かつ/またはレンダリングされたパイプ内部の画像の図である。
【図７Ｂ】複数のユーザ選択可能モードにより撮像され、かつ/またはレンダリングされたパイプ内部の画像の図である。
【図８Ａ】イメージャヘッド位置情報を示すマーカの表示を示す図である。
【図８Ｂ】イメージャヘッド位置情報を示すマーカの表示を示す図である。
【図９Ａ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【図９Ｂ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【図９Ｃ】デジタルイメージャ筐体およびデジタル表示部筐体における信号ワイヤの数を示す図である。
【発明を実施するための形態】
【０００９】
本明細書に説明する図面は、例示目的のためだけであり、本開示の範囲を限定することを何ら意図するものでない。
【００１０】
図1A〜1Fを概括的に参照すると、遠隔検査装置とともに使用するためのハンドヘルドのユーザインターフェース100が、アクティブ表示部102などの1つまたは複数の出力要素を有する。ボタン、ジョイスティック、プッシュパッドなど、いくつかのユーザインターフェース入力要素104もまた、設けられる。いくつかの実施形態においては、ユーザインターフェース100は、ジャイロスコープ、加速度計、および/または差動GPSなど、GPSを含むことが可能である。いくつかのデータポートおよび/またはドッキングベイなど、接続機構106もまた、設けられてよい。
【００１１】
いくつかの実施形態においては、接続機構106のデータポートは、USBポート、ファイヤワイヤポート、ブルートゥースなどを含むことが可能である。これらのデータポートは、ラバーグロメットなど、カバー105によって保護されるユーザインターフェースのチャンバ内に配置可能である。いくつかの実施形態においては、カバー105は、ユーザがカバーを取り外し易くするタブ107を有することが可能である。追加または代替の実施形態においては、カバー105を取り外したとき、紛失しないようにするために、カバー105は、ヒンジによる、開放したチャンバの縁部に1つの端部上での留付けも可能である。
【００１２】
追加または代替の実施形態においては、接続機構106のドッキングベイが、2つの拡張カード108を保持する拡張カードドッキングベイを含む。ドッキングベイは、キー溝110を使用して、拡張カード108の挿入を誘導し、それらをボード112上の所定の場所に保持する。拡張カード108は、キー溝110内で嵌合するレール114を有する。拡張カードはまた、ユーザが操作をし易くし、カード108の配向を誘導する把握簡易要素116を有する。
【００１３】
次に、図2Aを参照すると、遠隔検査装置の実施形態が、概して、3つの主な要素:デジタル表示部筐体28と、デジタルイメージャ筐体24と、デジタル表示部筐体28およびデジタルイメージャ筐体24を相互接続する可撓ケーブル22とから成る。可撓ケーブル22は、それが、パイプ、壁など、視覚的に隠されたエリア内に押し込まれるとき、曲がるように、かつ/または湾曲するように構成されている。可撓ケーブル22は、1cmの範囲内の外径を有するリブ付き円筒導管である。導管は、金属、プラスチック、または複合材料のいずれかから形成される。より小さいか、またはより大きい直径が、用途に応じて適している。同様に、可撓ケーブル22に適切な他の構成もまた、本開示によって企図される。
【００１４】
デジタルイメージャ筐体24は、可撓ケーブル22の遠位端部に結合される。デジタルイメージャ筐体24は、可撓ケーブル22と同心円状に位置合わせされた実質的に円筒の形状である。しかし、デジタルイメージャ筐体24は、他の形状をとることが想定される。いずれの場合でも、円筒デジタルイメージャ筐体24の外径は、好ましくは、実質的に、可撓ケーブル22の外径と等しいか、またはその外径より小さい大きさである。
【００１５】
デジタル撮像装置26が、円筒デジタルイメージャ筐体24の外向きに向く端部内に埋め込まれる。デジタル撮像装置26は、可撓ケーブル22の遠位端部に隣接して見えるエリアの画像を撮像し、その画像をデジタルビデオ信号に変換する。いくつかの実施形態においては、アタッチメント30が、デジタルイメージャ筐体24に取外し可能に結合される。
【００１６】
デジタル撮像装置26は、デジタル式でない撮像装置よりも比較的多くの信号ワイヤを必要とする。そのため、次に図9Aを参照すると、デジタルビデオ信号変換装置が、デジタルビデオ信号をシリアル化し、それによって、可撓ケーブル22の中を螺入されるのに必要なワイヤの数を抑えるために、デジタルイメージャ筐体24内に含まれる(図2Aを参照のこと)。例えば、図9Aに特に関連して、ビデオ信号をデジタルイメージャ筐体からデジタル表示部に送信するのに必要なワイヤの数は、デジタルイメージャ筐体24内の差動LVDSシリアライザ32を使用することによって18本のワイヤから8本のワイヤに減らして、デジタルビデオ信号34を差動LVDS信号36に再フォーマットすることが可能である。次いで、デジタル表示部筐体28内の差動LVDSデシリアライザ38が、LVDS信号36を受信し、それを、デジタルビデオ表示部によって使用するためのデジタルビデオ信号34にまた変換する。この場合、LVDS信号36は、デジタルビデオ信号を伝送するのに必要な12本のワイヤを、LVDS信号を伝送するのに必要な2本のワイヤに置き換える。また、6本を超すワイヤ:電源用に1本、接地用に1本、LED光源用に2本、直列クロック信号用に1本、および直列データ信号用に1本が必要である。当業者は、直列クロック信号および直列データ信号が、開始時に、デジタル撮像装置26を初期化するために使用されることを理解するであろう。いくつかの追加のまたは代替の実施形態においては、知られている技術によって、さらになおワイヤの数を抑えることが可能である。
【００１７】
次に図9Bを参照すると、別の実施形態においては、デジタルイメージャ筐体24内のデジタル・アナログ変換器40が、デジタルビデオ信号34をアナログビデオ信号42に変換する。このアナログビデオ信号42は、続いて、表示部筐体28内のアナログ・デジタル変換器44によって受信され、デジタルビデオ信号34にまた変換される。シリアライザの使用と同様に、アナログ・デジタル変換器を使用することにより、18本のワイヤから8本のワイヤにワイヤの数が抑えられる。この場合も、2本のワイヤが、アナログ電圧信号を供給するために必要である。
【００１８】
次に、図9Cを参照すると、さらなる別の実施形態においては、デジタルビデオ信号34は、デジタルイメージャ筐体24内のビデオエンコーダ46によってNTSC/PAL信号48に変換される。当業者は、NTSCが米国および日本におけるテレビ放送の標準であり、PALがその相当する欧州標準であることを容易に認識するであろう。このNTSC/PAL信号48は、次いで、表示部筐体28のビデオデコーダ50によってデジタルビデオ信号34に再変換される。
【００１９】
デジタルビデオ信号をその元の形態に戻すことは、デジタル撮像装置26によって撮像されるビデオをレンダリングするデジタル表示部の使用を可能にする。デジタル表示部の使用は、このような表示部の様々な性能を活用することが可能である。例えば、デジタルパンニングおよびズーミング性能は、画素に関して、表示部よりも大きいイメージャの使用によって、またはデジタルズームによって獲得可能である。したがって、表示部は、イメージャヘッドの固定された視覚錐体の中で、より細部に/柔軟に移動可能である。また、ソフトウェアトグルが、カラーから白黒に切り替えることによる低空間での知覚明瞭度およびコントラストを高めるために実装可能である。
【００２０】
次に、図2Bを参照すると、モジュラ遠隔検査装置20の別の実施形態が、遠隔デジタル表示部筐体28を有する。この例においては、遠隔筐体28は、検査装置20のユーザの一方の手に保持されるように、傍らに配置されるように、またはユーザの人に、もしくはユーザの環境内の便利な構造体に取外し可能に取り付けられるように、構成されている。可撓ケーブル22は、ユーザによって把握されるように構成されているプッシュスティック筐体52に取り付けられ、かつ/またはその筐体の中を通される。一連のリブ付き円筒導管セクション22A〜22Cは、プッシュスティック筐体52を円筒デジタルイメージャ筐体24に接続する。1つまたは複数の延長セクション22Bは、セクション22Aおよび22Cの間に取外し可能に取り付けられて、プッシュスティック筐体52とデジタルイメージャ筐体24とを相互接続する可撓ケーブル22の部分を長くする。セクション22A〜Cはまた、デジタル表示部筐体28が遠隔でなく、代わりに、プッシュスティック筐体52と組み合わせられている図2Aに示されるもののような実施形態においても使用可能であることを容易に理解すべきである。
【００２１】
図2Bに戻ると、可撓ケーブルは、プッシュスティック筐体52を通って、デジタル表示部筐体28に渡る。例えば、プッシュスティック筐体52から延びるコイル状ケーブルセクション22Dが、デジタル表示部筐体28から延びるリブ付き円筒導管セクション22Eに接続する。したがって、可撓ケーブル22は、シリアル化されたデジタルビデオ信号を、デジタル撮像装置26からリブ付き円筒導管セクション22A〜22Cを通ってプッシュスティック筐体52に運び、それは、その筐体を通って、コイル状ケーブルセクション22Dおよびリブ付き円筒導管セクション22Eによって、遠隔デジタルビデオ表示部筐体28まで透過的に通される。1つまたは複数の延長セクション22Bを使用して、プッシュスティック筐体52をデジタル表示部筐体28およびデジタルイメージャ筐体24と相互接続させるケーブル部分のいずれかまたは両方を長くすることが可能であることを容易に理解すべきである。
【００２２】
可撓ケーブル22がプッシュスティック筐体52で終点となり、プッシュスティック筐体52は、無線送信装置を含み、それによって、送信器筐体として働く別の実施形態が想定される。このような実施形態においては、デジタル表示部筐体28は、無線受信装置を含み、シリアル化されたデジタルビデオ信号は、プッシュスティック筐体52からデジタル表示部筐体28に無線で送信されることを容易に理解すべきである。また、1つまたは複数のアンテナが、無線通信を容易にするために、プッシュスティック筐体52およびデジタル表示部筐体28に設けられることを容易に理解すべきである。この実施形態に使用するのに適切な無線通信のタイプは、ブルートゥース、802.11(b)、802.11(n)、無線USBなどを含む。
【００２３】
図2A〜2Cを概括的に参照すると、遠隔検査装置200のいくつかの実施形態は、仮想現実および/または拡張現実の表示機能を有する。これらの実施形態のうちの1つまたは複数においては、表示ユニット内に配置された動作追跡センサおよびイメージャヘッドが、表示ユニットの位置および配向、ならびに/またはイメージャヘッドの位置および配向を決定するために有用な情報をもたらす。表示ユニットの動作追跡センサは、表示ユニット内に配設される。例示的な表示ユニットの動作追跡センサは、加速度計、ジャイロスコープ、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。イメージャヘッドの動作追跡センサは、イメージャヘッド、モータ付きリール、および/または表示ユニット内に配設される。イメージャヘッド内に配設された例示的なイメージャヘッドの動作追跡センサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。リール内に配設された例示的なイメージャヘッドの動作追跡センサは、イメージャヘッドを供給し、巻き込むケーブルの動作を追跡する展開センサを含む。表示ユニット内に配設された例示的なイメージャヘッドの動作追跡センサは、イメージャヘッド内のイメージャによって撮像されたビデオから運動ベクトルを抽出するソフトウェアモジュールを含む。
【００２４】
これらの実施形態のうちのいくつかにおいては、イメージャヘッドの位置および配向についての情報を使用して、ユーザにイメージャヘッドの位置および配向を示すアクティブ表示部上にマーカを生成し、レンダリングする。例示的なマーカは、イメージャヘッドの3D座標と、イメージャヘッドのアイコン表示位置および配向と、イメージャヘッドの3D経路とを含む。マーカは、アクティブ表示部に直接、レンダリングされる。マーカはまた、表示部の位置および配向を使用することによって、拡張現実表示部にレンダリングされて、マーカを動的に表示して、ユーザの環境的周囲におけるイメージャヘッドの経路および位置を伝える。
【００２５】
いくつかの実施形態においては、表示部の位置および配向についての情報を使用して、イメージャヘッドの動作を制御する。この点において、表示部筐体を左右に動かすことにより、イメージャヘッドの角度が明確に示される。イメージャヘッド内の微小モータ、屈曲ワイヤケーブル、および/または有線ケーブルは、イメージャヘッドを明確に示すために使用される。いくつかの実施形態においては、表示部筐体を前後に動かすことにより、モータ付きケーブルリールを使用して、イメージャヘッドを供給し、巻き込む。
【００２６】
いくつかの実施形態においては、表示部筐体の位置および配向についての情報を使用して、デジタル画像を後処理する。この後処理は、デジタル画像をパンニングし、ズーミングし、かつ/または回転させるために行われる。いくつかの実施形態においては、イメージャヘッドの位置についての情報を使用して、デジタル画像の「上を上に」表示を得るために、画像を回転させる。
【００２７】
次に、図2Cを特に参照すると、ハンドヘルド表示部202として実施されるユーザインターフェースが、イメージャヘッド204のうちの1つの位置を制御するユーザインターフェース入力要素を有する。加えて、ハンドヘルド表示部202は、加速度計、ジャイロスコープ、ジンバル、および/または眼球バラストなど、ハンドヘルド表示部202の動作を追跡するためのセンサを有する。ユーザによって選択される動作のモードにおいては、ハンドヘルド表示部202の感知動作もまた使用して、イメージャヘッド204の位置を制御する。ユーザによって選択される動作の別のモードにおいては、ユーザインターフェース入力要素と、ハンドヘルド表示部202の感知動作とを使用して、ハンドヘルド表示部202によって表示される撮像済みの画像を処理する(例えば、パンニングする、ズーミングするなど)。処理されない撮像済みの画像は、加えて、遠隔表示部205に伝達される。ユーザによって選択される動作のさらなるモードにおいては、ハンドヘルド表示部の感知動作を使用して、撮像された画像を処理し、ユーザインターフェース入力要素を使用して、1つまたは複数のイメージャヘッドの位置を制御する。ユーザによって選択される動作のさらなるモードにおいては、ハンドヘルド表示部の感知動作を使用して、1つまたは複数のイメージャヘッドの位置を制御し、ユーザインターフェース入力要素を使用して、撮像済みの画像の処理を制御する。
【００２８】
ヘッドを位置決めするための1つの機構は、ケーブルを供給し、かつ/または巻き込むことによって、ヘッドを供給し、かつ/または巻き込むモータ付きケーブルリール208を含む。イメージャヘッドを位置決めする際に使用するのに適切な他の機構は、イメージャおよび/もしくはイメージャヘッドを明確に示すイメージャヘッド内の微小モータ、イメージャヘッド204を明確に示すケーブルセクション206内のワイヤ、ならびに/またはイメージャヘッド204を明確に示すケーブルセクションの屈曲ワイヤを含む。
【００２９】
リール208は、無線送信装置を含むことが可能であり、それによって、送信器筐体として働く。デジタル表示部筐体202は、無線受信装置を含み、シリアル化されたデジタルビデオ信号は、リール208からハンドヘルドの表示部202に無線で送信されることを容易に理解すべきである。遠隔検査装置とともに使用するのに適切な無線通信のタイプは、ブルートゥース、802.11(b)、802.11(g)、802.11(n)、無線USB、ジグビー、アナログ、無線NTSC/PALなどを含む。
【００３０】
図3を参照してさらに後述するように、2つ以上の光源が、1つまたは複数のイメージャ302および/または304の周囲に沿って、円筒イメージャヘッド300の外向きに向く端部から突出する。イメージャ302および/または304は、光源間に直接的に、または間接的に埋め込まれる。光源は、超高輝度LEDである。イメージャヘッドとともに使用するのに適切な超高輝度LEDは、日亜ブランドのLEDを含む。超高輝度LEDは、標準LEDに比較すると約12倍の光強度を生成する。具体的には、5mm日亜LEDなど、超高輝度LEDは、それぞれ1.5ルーメンを上回って生成する。超高輝度LEDを含むことにより、光出力において著しい差が生じるが、また標準LEDよりもはるかに高い熱も生じる。そのため、イメージャ筐体は、超高輝度LEDを収容するヒートシンクを含む。
【００３１】
透明キャップが、イメージャ302と304、および光源をイメージャヘッド300内に閉じ込める。透明キャップはまた、それの以前の場所に比較すると外向きの1つまたは複数のイメージャ302および/または304の焦点を有効に引き寄せるために、撮像光学部(すなわち、層状透明イメージャキャップ)を設ける。所与の形状のイメージャヘッド300の場合、焦点におけるこの変化は、有効視野を広くし、したがって、可撓ケーブルおよびイメージャヘッド300から形成されるスネークをより有用にする。焦点におけるこの変化はまた、LEDを生成する光からの1つまたは複数のイメージャ302および304の垂直オフセットも可能にし、したがって、より小さい直径のイメージャヘッド300の組立を可能にする。
【００３２】
図2Cに簡単に戻ると、様々なタイプのイメージャヘッド204が設けられており、それぞれは、種々のタイプならびに/または組合せの撮像装置、光源、および/もしくは種々のタイプの使用法をターゲットとしている撮像光学部を有する。例えば、イメージャヘッド204のうちの1つは、光源および撮像光学部が不足している。また、あるイメージャヘッド204は、別のイメージャヘッドがもたらすよりも、赤外スペクトルの比較的多量な光をもたらす光源を有する。この場合には、赤外スペクトルの光を生成するLEDが使用され、赤外光を選択的に通す光学フィルタが、撮像光学部内に含まれる。この赤外線撮像ヘッドは、暗視に特によく適しており、亜鉛めっきパイプ内の視界距離および細部を増大させる。別のイメージャヘッドにおいては、光源は、赤外線フィルタを有する熱撮像ヘッドを達成するために除外される。イメージャヘッド204のうちのさらなる1つは、紫外スペクトルの光を生成することができる光源を有する。この場合には、紫外スペクトルの光を生成するLEDが使用され、撮像光学部は、紫外光を選択的に通す光学フィルタを含む。この紫外線イメージャヘッドは、バクテリアおよび蛍光を発する生体物質を殺菌するのに特によく向いている。イメージャヘッド204のうちのさらなる1つは、白色光源を有する。さらには、イメージャヘッド204のうちの少なくとも1つは、複数のイメージャを有する。1つのこのようなイメージャヘッドは、熱撮像装置および可視スペクトル撮像装置を有する。この場合には、熱撮像装置が、可視スペクトル撮像装置の代わりに動作した場合、ヘッドの可視光源は、熱撮像を可能にするために消失する。種々のタイプのイメージャヘッド204のいずれか、または全てが、個々に、またはいずれかの組合せで供給されることを容易に理解すべきである。
【００３３】
デジタル表示部202は、ソフトウェアをコンピュータ可読メモリに保存し、そのソフトウェアを、ヘッド204を動作させるためにコンピュータプロセッサにより実行する。ヘッド204を動作させるためのソフトウェアは、種々のタイプのイメージャヘッド204を動作させる際に使用するための動作の様々なモードを有する。デジタル表示部を動作させるためのソフトウェアはまた、画像を向上させる画像処理性能も有する。画像処理性能は、イメージャヘッド204の種々のものに固有である。
【００３４】
イメージャヘッドに関するより多くの情報、リールの代わりにプッシュスティックを使用する実施形態、および本開示の前述の実施形態、代替の実施形態、または追加の実施形態において使用される他の要素は、米国公報第2007/0185379号として2007年8月9日に公開され、Modular Remote Inspection Device with Digital Imagerという表題の2006年12月22日に本発明の譲受人によって出願された、米国特許出願第11/645280号に見ることが可能である。前述の特許出願および公報は、目的に応じてそれらの全体を本明細書に組み込まれている。
【００３５】
イメージャヘッド204のうちの1つまたは複数は、環境条件センサを含む。例えば、イメージャヘッドのうちの1つは、温度センサを含む。この感知された環境条件情報は、ユーザに伝えるためのハンドヘルド表示部202、頭部装着型表示部210、および固定表示部205に伝達される。また、イメージャヘッド204のうちの1つまたは複数は、イメージャを備えていないことを容易に理解すべきである。
【００３６】
次に、図3Aおよび3Bを見て、それらを概括的に参照すると、イメージャヘッド300は、複数のイメージャを有する。例えば、イメージャヘッド300は、種々の方向に配向される第1のイメージャ302および第2のイメージャ304を有する。イメージャ302および304は、直角に配向される。ユーザ選択可能表示モードは、これらのイメージャ302および304の一方または両方によって撮像された視界を表示する。
【００３７】
イメージャヘッド300は、ヘッド動作位置センサを有する。イメージャヘッド300の流量は、レーザビームを放出するレーザ308と結合された光学マウスチップ流量センサ306によって感知される。3軸ジャイロスコープチップ312および3軸加速度計チップ314もまた、ヘッド300内に配設される。ヘッド300内に配設される代替または追加のセンサは、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含むことが想定される。
【００３８】
図2Cに戻ると、ケーブルリール208はまた、ケーブルリールの供給および/または巻込みを追跡するセンサを有する。撮像された画像に加えて、感知されたイメージャ動作は、ケーブル206によってリール208に伝えられる。撮像された画像は、次いで、イメージャヘッド内のセンサおよびリール208内のセンサによってもたらされるセンサ情報とともに、ハンドヘルド表示部202にリール208によって無線で伝達される。
【００３９】
ハンドヘルド表示部202は、感知されたイメージャ動作を使用して、経時的にイメージャヘッド動作を追跡し、感知されたイメージャ動作を使用することによって、ヘッド位置を再帰的に決定する。ハンドヘルド表示部202は、一連のイメージャヘッド位置として、この追跡されたイメージャヘッド動作をコンピュータ可読媒体に記録する。ハンドヘルド表示部202は同時に、撮像された画像から運動ベクトルを抽出することによって、経時的にイメージャヘッド動作を追跡し、その運動ベクトルを使用して、ヘッド位置を再帰的に決定する。ハンドヘルド表示部202は、一連のこれらのイメージャヘッド位置として、この追跡されたイメージャヘッド動作をコンピュータ可読媒体に記録する。次に、ハンドヘルド表示部202は、追跡されたイメージャヘッド動作の2つの記録を比較することによって、イメージャヘッド位置を決定する。2つの記録を比較することにより、イメージャヘッド位置を決定する際の精度の向上が達成される。
【００４０】
次に、図5を見ると、3Dイメージャヘッド位置の計算が、カルマンフィルタ502により達成される。例えば、カルマンフィルタは、3軸加速度計504、ジャイロスコープ506、およびイメージャヘッド内に配設された光学マウスセンサ508からの入力を処理する。カルマンフィルタはまた、ヘッドがそれに取り付けられるケーブルを供給するリール上の展開センサ510からの入力を処理する。さらには、カルマンフィルタは、ヘッドの動作中に撮像されたビデオ画像514から運動ベクトルを抽出する光学流量プロセッサ512からの、運動ベクトルなど、入力を処理する。
【００４１】
次に、図8Aおよび8Bを見て、それらを概括的に参照すると、撮像装置の実施形態が、3次元軸系802におけるイメージャヘッド位置の座標800を決定する。座標800は、イメージャヘッド動作の感知が起こり始める開始ポイント803に関して計算される。開始ポイント803は、ヘッドがパイプに入ったときのポイントである。イメージャヘッドの位置および/または配向を感知するのに適切なタイプの例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００４２】
イメージャヘッド位置を伝える1つまたは複数のマーカは、複数のユーザ選択可能モードのうちの1つにより、ハンドヘルド表示部上に表示される。ユーザ選択可能モードのうちの1つにおいては、座標800は、撮像された画像のオーバレイで表示される(図8A)。別のユーザ選択可能モードにおいては、ヘッドの位置および配向を示すアイコン804(図8B)が、座標800との組合せで表示される。アイコン804はまた、開始ポイント803から、アイコン804および座標800によって示される現在のヘッド位置まで、ヘッドの動程の経路806との組合せで表示される。経路806は、経時的にヘッドの位置を決定することによって、およびヘッド位置をコンピュータ可読メモリに順々に記録することによって計算される。
【００４３】
別の実施形態においては、開始ポイントは、リールの位置である。この場合には、パイプに対するリールの位置およびイメージャヘッドの経路は、差動GPSを使用することによって決定されて、経時的にヘッドおよびリールの位置を観測する。イメージャヘッドが、パイプに入ると、イメージャヘッドの差動GPSは、イメージャヘッド動作を追跡するにはほとんど有効でなくなり、したがって、追跡は、ヘッド内のセンサを使用することによって、および/または前述した撮像済みの画像から運動ベクトルを抽出することによってパイプ内で行われる。
【００４４】
知られているイメージャヘッド位置により、ユーザは、どこでイメージャヘッドの場所を探すべきか、またはそうでなければ、どこでその場所へのアクセスを得るべきかを決定することが可能である。また知られているイメージャヘッドの経路806により、ユーザは、イメージャヘッドの位置と適合する位置へのアクセスを物理的に得る際に回避されることが必要な障害物の位置を決定することが可能である。この性能は、例えば、いずれの他のパイプに損傷をもたらすことなく、破損したパイプを見つけようとする配管工の役に立つ。したがって、アクセス対策が、ユーザによって計画可能である。
【００４５】
次に図2Cに戻ると、別の実施形態が拡張現実技術を使用して、ユーザの環境周囲内でマーカを伝える。例えば、マーカが3Dヘッド位置および経路を示すように生成される。3Dイメージャヘッド位置および/または経路を示すマーカに基づいて、ユーザによって装着される拡張現実表示部210が、マーカをユーザに表示する。拡張現実表示部は、ユーザが自分の周囲を見ることを可能にし、ユーザの周囲のその視界をオーバレイするヘッドアップ表示部をもたらす。開始ポイントとしてのリールを使用して、マーカは、拡張現実表示部210の位置および配向、ならびにリール208の位置を感知するセンサからの情報に基づいて計算される。したがって、ユーザは、表示部210が動いても、引き続きマーカを受ける。
【００４６】
拡張現実表示部のためのマーカは、イメージャヘッドを示すアイコンを含む。このアイコンは、表示部の位置および配向、ならびにリールの感知された位置である知られている開始ポイントに基づいて生成される。イメージャヘッドを示すマーカは、大きさ、形状、透視図、配向、および縮尺を含み、これらはともに、ユーザの環境周囲内でイメージャヘッドの位置をユーザに伝える。例えば、アイコンは、45度の角度で、ユーザから離れて向く矢印である。矢印は、表を上にしてグラフィカルにレンダリングされ、矢印の底面は、矢印の配向を伝えるために、矢印の先端よりも大きい。ユーザがヘッド位置に向かって動き、ヘッド位置から離れて動くとき、矢印のレンダリングは変化して、ヘッド位置により近づく動き、およびヘッド位置から離れて動く経験をユーザに与えるために、矢印がより大きく、より小さく見えるようにする。ユーザが上下に動くとき、矢印の外観は、ユーザの環境周囲内で矢印の配向を観測する経験をユーザに与えるために、伸長し、短縮し、それは、周囲環境内のユーザの位置と持続的に合致している。ユーザが、環境周囲において見回すために、表示部210の配向を変えるとき、矢印の外観は、ユーザの環境周囲内で矢印の位置を観測する経験をユーザに与えるために、上下左右に動き、それは、環境周囲内のユーザの見える方向と持続的に合致している。
【００４７】
大きさ、形状、透視図、配向、および縮尺を有する、リールからイメージャヘッドへの経路もまた、レンダリングされ、それは、ユーザの環境周囲内で開始ポイント(すなわち、リール208)からイメージャヘッドの位置にユーザを正確に誘導する。この場合も、経路の大きさ、形状、位置、透視図、および配向が、表示部210の位置および配向により制御される。経路の外観の制御は、ユーザの環境周囲内で経路を観測する経験をユーザに与えるために達成され、それは、環境周囲内のユーザの見える方向および位置と持続的に合致している。
【００４８】
ユーザ選択可能動作モードにおいては、ハンドヘルド表示部202は、拡張現実表示部として動作する。ハンドヘルド表示部202の後部上のカメラが、ユーザの周囲の画像を撮像し、その画像をユーザに表示する。次いで、ヘッド位置および経路についてのマーカは、ハンドヘルド表示部202によってレンダリングされて、ユーザの周囲の撮像済みの画像をオーバレイする。マーカ(すなわち、アイコンおよび経路)の大きさ、形状、透視図、および配向は、表示部の位置および配向に応答して制御される。アイコンおよび経路の外観の制御は、ユーザの環境周囲内でアイコンおよび経路を観測する経験をユーザに与えるために達成され、それは、ユーザの環境周囲内のハンドヘルド表示部の位置および配向と持続的に合致している。拡張現実表示部、リール、およびイメージャヘッドの位置ならびに配向を感知するのに適切な例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００４９】
ユーザ選択可能動作モードにおいては、表示部210および/または表示部202は、パイプ内部など、イメージャによって撮像された画像図を提供することによって、仮想現実表示部として働く。このような実施形態においては、表示部210および/または表示部202の追跡された位置を使用して、画像の後処理を制御し、撮像された画像によりユーザの仮想現実相互作用を達成する。例えば、ズーミング、パンニング、および/または画像回転が適用され、ズーミングされ、パンニングされ、かつ/または回転された画像は、表示部210および/または表示部202上に表示される。したがって、ユーザは、イメージャによって見られるパイプの内側または他の環境周囲を仮想的に見回す。同時に、ズーミングされていない、パンニングされていない、かつ/または回転されていない画像は、固定表示部205に表示される。ハンドヘルド表示部、リール、およびイメージャヘッドの位置および配向を感知するのに適切な例示的なセンサは、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、および/または眼球バラストを含む。
【００５０】
別のユーザ選択可能動作モードにおいては、追加の画像後処理モードが、ユーザによって選択される。例えば、ユーザは、デフォルトシャッタモード、夜間シャッタモード、スポーツモード、屋内環境モード、屋外環境モード、および反射環境モードの間で選択する。このタイプの後処理は、イメージャによって撮像された画像に適用され、仮想現実動作モード中、装着型表示部210、ハンドヘルド表示部202、および固定表示部205によって表示される。2つの異なる撮像モードによりレンダリングされるパイプ内部の表示部の例は、図7Aおよび7Bに示される。標準視覚モード(図7A)、および明るい視覚モード(図7B)の例は、ほんの一例である。これらの視覚モードおよび他の視覚モードは、撮像された画像の後処理、イメージャヘッドによって生成される光の変化、ヘッドの明瞭度、および/またはそれらの組合せによって達成されることを容易に理解すべきである。
【００５１】
次に、図4を参照すると、遠隔検査装置システムが、画像ズームモジュール402、画像回転モジュール404、および/または画像パンモジュール406にユーザ選択を伝える手動ユーザインターフェース要素400をハンドヘルド表示部上に含む。モジュール402〜406は、ハンドヘルド表示部および/または拡張現実表示部のコンピュータ可読メモリ内に格納される。モジュール402〜406はまた、ハンドヘルド表示部または拡張現実表示部上に存在するコンピュータプロセッサによって実行される。ハンドヘルド表示部および/または拡張現実表示部に取り付けられた装着および/または保持動作センサ408は、ハンドヘルド表示部または拡張現実表示部のユーザ動作を画像ズームモジュール402、画像回転モジュール404、および/または画像パンモジュール406に伝える。ユーザインターフェース要素400および/または動作センサ408は、ユーザ選択、および表示部の動作を、モータ付きリール上に存在するイメージャヘッド動作制御モジュール410に伝える。続いて、ヘッド動作制御モジュール410は、画像データ416を供給するイメージャ414を含むヘッドの動作を制御する1つまたは複数のヘッド動作制御信号412を生成する。制御信号412は、モータ付きリールを動作して、ケーブルの供給および巻込みを制御する。制御信号412はまた、ケーブル、またはケーブルの屈曲ワイヤを動作する。モータ付きリールはさらに、ケーブルによって制御信号412の一部をイメージャヘッドに伝えて、イメージャヘッドの微小モータを動作させる。動作センサの場合、加速度計およびジャイロスコープの入力は、加速度データおよび角度に変換される回転データ(弧度)、ならびに角度測定値である。これらの測定値は、制御信号に変換される(例えば、15度は、15度である)。
【００５２】
画像ズームモジュール402、画像回転モジュール404、および画像パンモジュール406は、画像データ416の一部分の仮想現実表示を達成するために、協働して、画像をズーミングし、パンニングし、回転させる。例えば、ピッチおよびヨーを含む表示部のユーザ動作は、左右および上下の画像データ416のパンニングに影響をもたらすことが可能である。また、表示部のユーザ動作、および要素400のジョイスティックまたはボタンパッドの作動は、画像データをズーミングする。さらには、ズーミングされ、パンニングされた画像は、イメージャ位置および表示部位置に対する重力ベクトルに基づいた画像データの直立表示を達成するために、計算された表示部位置およびイメージャ位置によって回転される。ヘッドが真っ直ぐ下、または真っ直ぐ上に向けられた場合には、加速度計は、不定状態になり、ある種の回転変化が加速度計によって検出されるまで、少なくとも入力を持続することは不可能である。画像データの結果として生じるズーミングされ、パンニングされ、かつ回転された部分426は、次いで、ユーザへの表示のためのハンドヘルド表示部、または頭部装着型表示部上の仮想現実画像表示モジュール420にもたらされる。画像データ416はまた、回転され、ネイティブ解像度画像424として外部表示部に伝えるための表示モジュール420に供給される。
【００５３】
画像モード選択モジュール422は、ユーザ選択を手動ユーザインターフェース要素400から受け取り、その選択を、画像データ416および画像データの部分426に適用するための選択画像後処理と解釈する。したがって、仮想現実表示モジュール420は、選択された画像後処理を画像データ416に適用して、部分426を得る。回転された画像データ424は、ネイティブ解像度で、外部表示部に供給され、後処理され、ズーミングされ、パンニングされ、かつ回転された画像データの部分は、426において、保持される表示部、および頭部装着型表示部によってレンダリングされる。
【００５４】
感知されたイメージャ動作情報418および画像データ416は、リールから、頭部装着型表示部上に配置された拡張現実画像表示モジュール428に送信される。拡張現実表示モジュール428は、画像データ416から運動ベクトルを抽出することによって、およびその運動ベクトルと、感知されたイメージャ動作情報418とを使用することによって、イメージャヘッドの位置および経路を追跡して、イメージャヘッド位置を決定する。その知られているヘッド位置および経路により、拡張現実画像表示モジュール428は、マーカ430を生成して、ヘッド位置および経路を頭部装着型表示部の拡張現実表示要素によって、ユーザに表示する。このマーカ430は、頭部装着型表示部上の動作センサ408からの入力に一部基づいて計算される。
【００５５】
次に、図6を参照すると、遠隔検査装置とともに使用するための動作方法が、遠隔検査装置のイメージャヘッド内に配設されたイメージャから、ステップ600で画像データを受け取るステップを含む。ユーザ選択は、ステップ602でハンドヘルド表示部および頭部装着型表示部のユーザインターフェース入力要素によって監視される。ハンドヘルド表示部および頭部装着型表示部の動作は、ステップ604でハンドヘルド表示部および頭部装着型表示部に取り付けられた表示位置センサによって監視される。画像データの後処理は、ステップ610で起こり、ユーザ選択および表示部動作により、画像データをパンニングし、ズーミングし、回転させる。ユーザ選択の後処理モードにより、ステップ612でさらに画像データの後処理が、ハンドヘルド表示部および頭部装着型表示部上に起こり、パンニングされ、ズーミングされ、回転された画像データの外観を変える。次に、画像データは、ステップ614で、ハンドヘルド表示部、頭部装着型表示部、および外部表示部の表示部要素によってレンダリングされる。イメージャ位置制御信号が、ステップ616で、ユーザ選択および表示部動作に基づいて、ハンドヘルド表示部および頭部装着型表示部によって生成され、これらの制御信号は、制御信号の一部分に応答して、イメージャヘッドに供給し、巻き込むモータ付きリール上のイメージャ位置制御機構に出力される。モータ付きリールはまた、制御信号の別の部分に応答して、ケーブルを制御する。モータ付きリールはさらに、制御信号の追加部分をイメージャヘッド上の微小モータに伝える。制御信号の追加部分に対するこれらの微小応答は、イメージャヘッド位置を制御する。
【００５６】
イメージャ動作は、画像データの撮像中、ステップ606で、ハンドヘルド表示部および頭部装着型表示部上で監視される。例えば、イメージャ動作は、ステップ608で、イメージャヘッド内に配設されたセンサからの入力によって監視される。センサ入力は、リールにはケーブルによって伝えられ、ハンドヘルド表示部または頭部装着型表示部には無線で伝えられる。イメージャ動作はまた、ステップ600で受け取られた画像データから運動ベクトルを抽出することによって、ステップ606で検出される。運動ベクトルは、ハンドヘルド表示部および頭部装着型表示部によって抽出される。これらのイメージャ動作はイメージャヘッドの3D位置を計算するために、ステップ618で、ハンドヘルド表示部および頭部装着型表示部によって追跡される。次いで、マーカが、ステップ618で、ハンドヘルド表示部および頭部装着型表示部によって生成される。頭部装着型表示部は、ヘッド位置および経路をユーザに示すために、頭部装着型表示部の位置および配向に基づいてマーカを生成する。ハンドヘルド表示部は、ヘッド位置および経路をユーザに示すために、ハンドヘルド表示部の位置および配向に基づいてマーカを生成する。頭部装着型表示部およびハンドヘルド表示部は、それらのそれぞれの表示部要素によって、それらのそれぞれのマーカをレンダリングする。
【００５７】
前述の説明は、性質上の単なる例示に過ぎず、本開示、本出願、または本使用法を限定するように意図するものでない。
【符号の説明】
【００５８】
20 検査装置
22 可撓ケーブル
24 デジタルイメージャ筐体
26 デジタル撮像装置
28 デジタル表示部筐体
30 アタッチメント
32 差動LVDSシリアライザ
34 デジタルビデオ信号
36 差動LVDS信号
38 差動LVDSデシリアライザ
40 デジタル・アナログ変換器
42 アナログビデオ信号
44 デジタル変換器
46 ビデオエンコーダ
48 NTSC/PAL信号
50 ビデオデコーダ
52 プッシュスティック筐体
100 ユーザインターフェース
102 アクティブ表示部
104 ユーザインターフェース入力要素
105 カバー
106 接続機構
107 タブ
108 拡張カード
110 キー溝
112 ボード
114 レール
116 把握簡易要素
200 遠隔検査装置
202 ハンドヘルド表示部
204 イメージャヘッド
205 遠隔表示部
206 ケーブル
208 モータ付きケーブルリール
210 頭部装着型表示部
300 イメージャヘッド
302 イメージャ
304 イメージャ
306 光学マウスチップ流量センサ
308 レーザ
312 3軸ジャイロスコープチップ
314 3軸加速度計チップ
400 手動ユーザインターフェース要素
402 画像ズームモジュール
404 画像回転モジュール
406 画像パンモジュール
408 動作センサ
410 ヘッド動作制御モジュール
412 ヘッド動作制御信号
414 イメージャ
416 画像データ
418 イメージャ動作情報
420 仮想現実画像表示モジュール
422 画像モード選択モジュール
424 ネイティブ解像度画像
426 ズーミングされ、パンニングされ、かつ回転された画像データの部分
428 拡張現実画像表示モジュール
430 マーカ
502 カルマンフィルタ
504 3軸加速度計
506 ジャイロスコープ
508 光学マウスセンサ
510 展開センサ
512 光学流量プロセッサ
514 ビデオ画像
800 座標
802 3次元軸系
803 開始ポイント
804 アイコン
806 経路
【特許請求の範囲】
【請求項１】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する場所にまで延び、前記画像データを伝送するためのワイヤは、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
前記イメージャヘッドの動作を追跡する1つまたは複数の動作追跡センサと、
前記アクティブ表示部ユニット内に配置され、前記動作追跡センサからの情報を使用して、前記イメージャヘッドの開始場所に対する前記イメージャヘッドの位置および前記イメージャヘッドによって移動する経路を示すマーカを生成し、表示するコンピュータプロセッサであって、前記イメージャヘッドによって移動する前記経路は、前記イメージャヘッドの現在の場所、前記イメージャヘッドの中間的場所、および前記イメージャヘッドの開始場所を示す、コンピュータプロセッサと
を備える遠隔検査装置。
【請求項２】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの3D座標を含む、請求項1に記載の装置。
【請求項３】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの3D座標における前記イメージャヘッドの位置および配向を示すアイコンを含む、請求項1に記載の装置。
【請求項４】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの前記開始ポイントから前記イメージャヘッドの3D座標に、前記イメージャヘッドによって取り込まれる3D経路を示す、請求項1に記載の装置。
【請求項５】
前記コンピュータプロセッサはさらに、前記アクティブ表示ユニットの動作を追跡するために配設された動作追跡センサに応答して、前記イメージャヘッドの前記位置を示す前記マーカを生成する、請求項1に記載の装置。
【請求項６】
前記アクティブ表示ユニットはさらに、拡張現実表示部を有し、前記マーカは、前記拡張現実表示部によってレンダリングされて、ユーザの環境周囲の視界をオーバレイする、請求項5に記載の装置。
【請求項７】
前記動作追跡センサは、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出することによって前記イメージャヘッドの動作を追跡する、請求項1に記載の装置。
【請求項８】
前記動作追跡センサは、前記イメージャヘッド上に配置され、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、または眼球バラストのうちの少なくとも1つを含む、請求項1に記載の装置。
【請求項９】
前記画像データを受け取り、前記画像データをデジタル形態に変換して、前記アクティブ表示部上にレンダリングするデジタル画像変換器をさらに備え、前記デジタル画像変換器は、前記イメージャヘッド、前記イメージャヘッドをモータ付きリールに接続する可撓ケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行う前記モータ付きリール、可撓ケーブルによって前記イメージャヘッドに接続されるプッシュスティック、あるいは前記アクティブ表示部ユニットのうちの少なくとも1つの上に配置される、請求項1に記載の装置。
【請求項１０】
前記動作追跡センサは、前記イメージャヘッドをモータ付きリールに接続する可撓ケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行う前記モータ付きリール上に配置される展開センサを含む、請求項1に記載の装置。
【請求項１１】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する開始場所に延び、前記可撓ケーブルに沿って配設された複数の微小モータが、前記可撓ケーブルの形状を制御し、前記画像データを伝送するためのワイヤが、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
前記アクティブ表示部ユニット上に配置され、前記アクティブ表示ユニットの動作を追跡する1つまたは複数の動作追跡センサと、
前記動作追跡センサからの入力を使用して、前記微小モータを介して前記イメージャヘッドの動作を制御するコンピュータプロセッサと
を備える遠隔検査装置。
【請求項１２】
前記コンピュータプロセッサは、イメージャヘッド動作制御信号を生成し、前記イメージャヘッド動作制御信号をイメージャヘッド動作制御機構に出力する、請求項11に記載の装置。
【請求項１３】
前記動作制御機構は、前記イメージャヘッドを延長するケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行うモータ付きリールを含む、請求項12に記載の装置。
【請求項１４】
前記動作制御機構は、前記イメージャヘッドを作動させ、前記イメージャヘッドに供給するか、または巻き込むかのうちの少なくとも一方を行うケーブルのセクションに取り付けられるワイヤ、あるいは前記イメージャヘッドを作動させる前記ケーブルの前記セクションの屈曲ワイヤのうちの少なくとも1つを含む、請求項12に記載の装置。
【請求項１５】
前記動作制御機構は、前記イメージャヘッド内に配置された微小モータを含む、請求項12に記載の装置。
【請求項１６】
前記動作追跡センサは、加速度計、ジャイロスコープ、三角測量によるソーナー技術、差動GPS、ジンバル、または眼球バラストのうちの少なくとも1つを含む、請求項11に記載の装置。
【請求項１７】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する開始場所に延び、前記画像データを伝送するためのワイヤが、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記アクティブ表示部ユニット上に配置され、前記アクティブ表示ユニットの動作を追跡する1つまたは複数の表示部動作追跡センサであって、前記動作追跡センサの少なくとも一部分が、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出し、前記抽出された運動ベクトルおよび前記イメージャヘッドの開始ポイントに基づいて、前記イメージャヘッドの位置および配向を計算することによって、前記イメージャヘッドの動作を追跡する、表示部動作追跡センサと、
(a)前記表示部動作追跡センサからの入力を使用して、前記画像データの少なくとも一部を修正し、(b)そのように修正された前記画像データを前記アクティブ表示部にレンダリングするコンピュータプロセッサと
を備える遠隔検査装置。
【請求項１８】
前記コンピュータプロセッサは、前記表示部動作追跡センサから受け取られる前記入力に応答して、前記画像データをズーミングし、パンニングし、または回転させることのうちの少なくとも1つによって、前記画像データを修正する、請求項17に記載の装置。
【請求項１９】
前記イメージャヘッドの動作を追跡する1つまたは複数のイメージャヘッド動作追跡センサを
さらに備え、
前記コンピュータプロセッサはさらに、(a)前記イメージャヘッド動作追跡センサからの入力を使用して、前記画像データの少なくとも一部を回転させ、(b)そのように回転された前記画像データを前記アクティブ表示部にレンダリングする、
請求項17に記載の装置。
【請求項２０】
前記動作追跡センサの少なくとも一部分が、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出し、前記抽出された運動ベクトルおよび前記イメージャヘッドの開始ポイントに基づいて、前記イメージャヘッドの位置および配向を計算することによって、前記イメージャヘッドの運動を追跡する、請求項1に記載の装置。
【請求項１】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する場所にまで延び、前記画像データを伝送するためのワイヤは、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
前記イメージャヘッドの動作を追跡する1つまたは複数の動作追跡センサと、
前記アクティブ表示部ユニット内に配置され、前記動作追跡センサからの情報を使用して、前記イメージャヘッドの開始場所に対する前記イメージャヘッドの位置および前記イメージャヘッドによって移動する経路を示すマーカを生成し、表示するコンピュータプロセッサであって、前記イメージャヘッドによって移動する前記経路は、前記イメージャヘッドの現在の場所、前記イメージャヘッドの中間的場所、および前記イメージャヘッドの開始場所を示す、コンピュータプロセッサと
を備える遠隔検査装置。
【請求項２】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの3D座標を含む、請求項1に記載の装置。
【請求項３】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの3D座標における前記イメージャヘッドの位置および配向を示すアイコンを含む、請求項1に記載の装置。
【請求項４】
前記マーカは、前記イメージャヘッドの開始ポイントをその基点として有する座標系に、前記イメージャヘッドの前記開始ポイントから前記イメージャヘッドの3D座標に、前記イメージャヘッドによって取り込まれる3D経路を示す、請求項1に記載の装置。
【請求項５】
前記コンピュータプロセッサはさらに、前記アクティブ表示ユニットの動作を追跡するために配設された動作追跡センサに応答して、前記イメージャヘッドの前記位置を示す前記マーカを生成する、請求項1に記載の装置。
【請求項６】
前記アクティブ表示ユニットはさらに、拡張現実表示部を有し、前記マーカは、前記拡張現実表示部によってレンダリングされて、ユーザの環境周囲の視界をオーバレイする、請求項5に記載の装置。
【請求項７】
前記動作追跡センサは、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出することによって前記イメージャヘッドの動作を追跡する、請求項1に記載の装置。
【請求項８】
前記動作追跡センサは、前記イメージャヘッド上に配置され、加速度計、ジャイロスコープ、光学マウス、三角測量によるソーナー技術、差動GPS、ジンバル、または眼球バラストのうちの少なくとも1つを含む、請求項1に記載の装置。
【請求項９】
前記画像データを受け取り、前記画像データをデジタル形態に変換して、前記アクティブ表示部上にレンダリングするデジタル画像変換器をさらに備え、前記デジタル画像変換器は、前記イメージャヘッド、前記イメージャヘッドをモータ付きリールに接続する可撓ケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行う前記モータ付きリール、可撓ケーブルによって前記イメージャヘッドに接続されるプッシュスティック、あるいは前記アクティブ表示部ユニットのうちの少なくとも1つの上に配置される、請求項1に記載の装置。
【請求項１０】
前記動作追跡センサは、前記イメージャヘッドをモータ付きリールに接続する可撓ケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行う前記モータ付きリール上に配置される展開センサを含む、請求項1に記載の装置。
【請求項１１】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する開始場所に延び、前記可撓ケーブルに沿って配設された複数の微小モータが、前記可撓ケーブルの形状を制御し、前記画像データを伝送するためのワイヤが、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
前記アクティブ表示部ユニット上に配置され、前記アクティブ表示ユニットの動作を追跡する1つまたは複数の動作追跡センサと、
前記動作追跡センサからの入力を使用して、前記微小モータを介して前記イメージャヘッドの動作を制御するコンピュータプロセッサと
を備える遠隔検査装置。
【請求項１２】
前記コンピュータプロセッサは、イメージャヘッド動作制御信号を生成し、前記イメージャヘッド動作制御信号をイメージャヘッド動作制御機構に出力する、請求項11に記載の装置。
【請求項１３】
前記動作制御機構は、前記イメージャヘッドを延長するケーブルを供給するか、または巻き込むかのうちの少なくとも一方を行うモータ付きリールを含む、請求項12に記載の装置。
【請求項１４】
前記動作制御機構は、前記イメージャヘッドを作動させ、前記イメージャヘッドに供給するか、または巻き込むかのうちの少なくとも一方を行うケーブルのセクションに取り付けられるワイヤ、あるいは前記イメージャヘッドを作動させる前記ケーブルの前記セクションの屈曲ワイヤのうちの少なくとも1つを含む、請求項12に記載の装置。
【請求項１５】
前記動作制御機構は、前記イメージャヘッド内に配置された微小モータを含む、請求項12に記載の装置。
【請求項１６】
前記動作追跡センサは、加速度計、ジャイロスコープ、三角測量によるソーナー技術、差動GPS、ジンバル、または眼球バラストのうちの少なくとも1つを含む、請求項11に記載の装置。
【請求項１７】
イメージャヘッド内に配設され、画像データを撮像するイメージャと、
前記画像データをデジタルの形態で受け取り、前記画像データをアクティブ表示部上にグラフィカルにレンダリングするアクティブ表示ユニットと、
遠位端部および近位端部を有する可撓ケーブルであって、前記遠位端部は、前記イメージャヘッドに接続され、前記可撓ケーブルの前記近位端部は、ユーザに近接する開始場所に延び、前記画像データを伝送するためのワイヤが、前記可撓ケーブルによって収容され、前記遠位端部から前記近位端部に延びる、可撓ケーブルと、
前記アクティブ表示部ユニット上に配置され、前記アクティブ表示ユニットの動作を追跡する1つまたは複数の表示部動作追跡センサであって、前記動作追跡センサの少なくとも一部分が、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出し、前記抽出された運動ベクトルおよび前記イメージャヘッドの開始ポイントに基づいて、前記イメージャヘッドの位置および配向を計算することによって、前記イメージャヘッドの動作を追跡する、表示部動作追跡センサと、
(a)前記表示部動作追跡センサからの入力を使用して、前記画像データの少なくとも一部を修正し、(b)そのように修正された前記画像データを前記アクティブ表示部にレンダリングするコンピュータプロセッサと
を備える遠隔検査装置。
【請求項１８】
前記コンピュータプロセッサは、前記表示部動作追跡センサから受け取られる前記入力に応答して、前記画像データをズーミングし、パンニングし、または回転させることのうちの少なくとも1つによって、前記画像データを修正する、請求項17に記載の装置。
【請求項１９】
前記イメージャヘッドの動作を追跡する1つまたは複数のイメージャヘッド動作追跡センサを
さらに備え、
前記コンピュータプロセッサはさらに、(a)前記イメージャヘッド動作追跡センサからの入力を使用して、前記画像データの少なくとも一部を回転させ、(b)そのように回転された前記画像データを前記アクティブ表示部にレンダリングする、
請求項17に記載の装置。
【請求項２０】
前記動作追跡センサの少なくとも一部分が、前記アクティブ表示ユニット上に配置され、前記イメージャヘッドの動作中、前記イメージャによって生成されるビデオから運動ベクトルを抽出し、前記抽出された運動ベクトルおよび前記イメージャヘッドの開始ポイントに基づいて、前記イメージャヘッドの位置および配向を計算することによって、前記イメージャヘッドの運動を追跡する、請求項1に記載の装置。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図８Ａ】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図８Ａ】
【公表番号】特表２０１１−５１６８２０（Ｐ２０１１−５１６８２０Ａ）
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２０１０−５４５２５３（Ｐ２０１０−５４５２５３）
【出願日】平成２１年２月２日（２００９．２．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０３２８７６
【国際公開番号】ＷＯ２００９／０９７６１６
【国際公開日】平成２１年８月６日（２００９．８．６）
【出願人】（５００３４０８１９）パーセプトロン インコーポレイテッド (2)
【氏名又は名称原語表記】ＰＥＲＣＥＰＴＲＯＮ，ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年２月２日（２００９．２．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０３２８７６
【国際公開番号】ＷＯ２００９／０９７６１６
【国際公開日】平成２１年８月６日（２００９．８．６）
【出願人】（５００３４０８１９）パーセプトロン インコーポレイテッド (2)
【氏名又は名称原語表記】ＰＥＲＣＥＰＴＲＯＮ，ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]