説明

3次元画像入力装置

【課題】 被写体の3次元画像の検出に不足する3次元画像を容易に確認する。
【解決手段】 点G1 、G2 、G3 から被写体の3次元画像を撮影する。各点で撮影した3 次元画像を合成して被写体の3次元形状を検出して画面表示LCDパネルに表示する。3次元画像を現在のカメラの位置を原点とするカメラ座標に変換して、現在のカメラの位置、姿勢、レンズの向きの基づいて表示する。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は光伝播時間測定法を用いて被計測物体の3次元形状等を検出する3次元画像入力装置に関する。
【0002】
【従来の技術】従来、パルス変調されたレーザ光が被写体に照射され、被写体までの距離に応じた反射光がCCDセンサによって電気信号に変換され、被写体の3次元画像を検出する3次元画像入力装置が知られている。3次元画像から被写体の全周の3次元形状を検出するには異なる方向から検出した複数の3次元画像を合成する必要がある。
【0003】3次元画像の合成は従来、各方向から被写体の3次元画像を検出し、その後3次元画像をコンピュータに入力して、コンピュータのディスプレイ上に表示して行なわれていた。すなわち3次元画像の検出と合成とが別々に行なわれていた。そのため3次元画像の検出が終わり、検出された3次元画像が合成される段階になって、被写体の3次元形状を検出するために必要な3次元画像の不足が判明することがあった。
【0004】
【発明が解決しようとする課題】本発明は、以上の問題を解決するものであり、被写体の3次元形状を特定するために必要な3次元画像が容易に確認できるように、3次元画像を合成して表示する3次元画像入力装置を得ることを目的とする。
【0005】
【課題を解決するための手段】本発明に係る3次元画像入力装置は本体と、本体の移動を検出する移動検出手段と、本体内に設けられ被写体の表面各点までの距離を示す距離データによって形成される第1の3次元画像を取得する3次元画像取得手段と、移動検出手段の検出結果に基づいて、第1の3次元画像を座標変換する座標変換手段と、座標変換手段によって座標変換された第1の3次元画像を画面上に表示する画像表示手段とを備えることを特徴とする。
【0006】好ましくは3次元画像取得手段が第1の3次元画像の撮影終了後に第2の3次元画像の撮影が可能であり、第1の3次元画像と第2の3次元画像とを合成して第3の3次元画像を形成する手段を備える。
【0007】例えば座標変換手段が移動検出手段の検出結果に基づいて第3の3次元画像を座標変換し、画像表示手段が第3の3次元画像を画面上に表示する。
【0008】好ましくは変換手段が前記本体の移動後の位置を原点とし、本体の移動後のレンズの光軸方向を座標軸の一つとする座標系に変換する。
【0009】例えば3次元画像取得手段が2次元画像を撮影可能であって、画像表示手段が2次元画像上に3次元画像を重合させて表示する。
【0010】好ましくは移動検出手段が撮影時における本体の位置から移動後の本体の位置に至るまでの本体の角速度を検出する角速度検出手段と、撮影時における本体の位置から移動後の本体の位置に至るまでの本体の加速度を検出する加速度検出手段を備える。
【0011】
【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。図1は、本発明の実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【0012】カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレーザ光を照射する発光装置14が配設されている。発光装置14の左側にはレリーズボタン15と液晶表示パネル16が設けられ、また右側には撮影動作ダイヤル17が設けられている。カメラ本体10の側面には、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、また、ビデオ出力端子20とインターフェースコネクタ21が設けられている。
【0013】図2は、図1の3次元画像入力装置を備えたカメラの背面図である。カメラ本体10の背面において、画面表示LCDパネル37が設けられている。画面表示LCDパネル37の上部にはファインダ接眼部12bが設けられている。
【0014】図3は図1および図2に示すカメラの回路構成を示すブロック図である。撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調整動作およびズーミング動作はレンズ駆動回路27によって制御される。
【0015】撮影レンズ11の光軸上には撮像素子(CCD)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、撮像信号処理回路33はシステムコントロール回路35によって制御される。
【0016】画像信号は画像メモリ34から読み出され、撮像信号処理回路33を介してLCD駆動回路36に供給される。またシステムコントロール回路35からオンスクリーンディスプレイ回路(OSD)29に後述する3次元画像の画像信号が入力される。画像メモリ34からの画像信号(2次元画像)がOSD29に入力され3次元画像の画像信号と合成されて、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に応じた画像が表示される。
【0017】さらに、画像メモリ34から読み出された画像信号はTV信号エンコーダ38に送られ、ビデオ出力端子20を介して、カメラ本体10の外部に設けられたモニタ装置39に伝送可能である。システムコントロール回路35はインターフェース回路40に接続されており、インターフェース回路40はインターフェースコネクタ21に接続されている。したがって、画像メモリ34から読み出された画像信号は、インターフェースコネクタ21に接続されたコンピュータ41に伝送可能である。また、システムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。
【0018】システムコントロール回路35には、発光素子制御回路44が接続されている。発光装置14には発光素子14aと照明レンズ14bが設けられ、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ14bを介して被計測物体に照射される。被計測物体において反射した光は撮影レンズ11に入射する。この光をCCD28によって検出することにより、後述するように被計測物体の3次元画像が計測される。
【0019】カメラ本体10には角速度センサ46および加速度センサ48が配設されている。角速度センサ46は互いに直交する3軸(X軸、Y軸、Z軸)回りの回転角速度を検出するものであり、加速度センサ48は直交する3軸それぞれの移動加速度を検出するものである。角速度センサ46、加速度センサ48により検出されたデータは角速度検出回路47、加速度検出回路49にそれぞれ入力され、カメラ本体10の移動が3次元の角加速度データとして検出される。3次元の角加速度データはシステムコントロール回路35に入力され、このデータに基づいてカメラの位置、姿勢、レンズの向きの変化が判断される。
【0020】システムコントロール回路35には、レリーズボタン15および撮影動作ダイヤル17から成るスイッチ群45と液晶表示パネル(表示素子)16とが接続されている。
【0021】次に図4および図5を参照して、本実施形態における距離測定の原理について説明する。なお図5において横軸は時間tである。
【0022】距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ちあがりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被写体Sの間の2倍の距離rを進んだことになるから、その距離rはr=δ・t・C/2により得られる。ただしCは光速である。
【0023】例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)小さくなる。
【0024】本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Aを検出することにより、カメラ本体10から被写体Sの表面の各点までの距離をそれぞれ検出し、被写体Sの3次元形状を示す3次元画像のデータを一括して入力している。
【0025】次に、複数の方向から被写体を撮影し、各方向からの撮影により検出された距離画像の合成について説明する。
【0026】図6は、3次元画像の合成における撮影動作の一例を示すものであり、1つのカメラを用いて3個所から被写体であるサッカーボールを撮影している。第1の撮影動作は、点G1 を正面としてサッカーボールを撮影している。第2の撮影動作は点G2 からサッカーボールの右側面を撮影しており、第3の撮影動作は点G3 からサッカーボールの左斜め後を撮影している。半直線Lp1 、Lp2 、Lp3 は、点G1 、G2 、G3 の撮影においてカメラのレンズが向けられた向きを表しており、撮影時のカメラの光軸に一致する。また点G1 、G2 、G3 は、撮影時におけるカメラの撮影光学系の焦点に一致する。
【0027】一点(一方向)からの撮影により検出される被写体の3次元形状は、被写体の一部についてのみである。例えば第1の撮影動作では、サッカーボールの正面部分の3次元形状しか検出されない。サッカーボール全体の3次元形状を検出するには、図のように複数の方向からサッカーボールを撮影し、各点G1 、G2 、G3 の撮影により検出されたサッカーボールの3次元形状を1つに合成しなければならない。合成モードでは、第1の撮影点G1 を基準として、各点G2 、G3 の位置、カメラの姿勢、光軸が向いている向きを角速度センサ46、加速度センサ48を用いて検出し、これらのデータをもとに点G1 、G2 、G3 をそれぞれ原点として検出されたサッカーボールの3次元画像を1つの座標系に変換する。これにより各点G1 、G2 、G3 において別々に検出された被写体の3次元形状が、1つの座標系によって一体的に表される。なお本実施形態では、最初に撮影が行なわれたときの座標系、すなわち点G1 を座標原点とし、光軸方向LP1 をZ軸とした座標系を世界座標系として採用する。
【0028】図7は本実施形態において実行される3次元画像検出動作のフローチャートである。
【0029】3次元画像入力装置の電源がONの状態にされると3次元画像の検出動作がスタートし、まずステップ100において変数nが0に設定される。変数nは撮影が開始されてから何番目の撮影に対応しているかを表している。
【0030】ステップ101においてシャッタスイッチがオン状態であるか否か、すなわちレリーズボタン15が全押しされたか否かが判断される。シャッタスイッチがオン状態になるまでは3次元画像の検出動作は開始されずにステップ201にスキップして3次元画像の表示に移行する。その後、後述の検出動作の終了(ステップ204)が選択されない限り再びステップ101に戻る。
【0031】ステップ101においてシャッタスイッチがオン状態に定められていることが確認されると、ステップ102において変数nが1だけインクリメントされる。
【0032】ステップ103において3次元画像が取得される。すなわち発光装置14が駆動され、パルス状の測距光が断続的に出力される。次いでCCD28による検知制御が開始される。積分された距離情報の信号電荷がCCD28から出力され、この信号電荷から3次元画像の演算処理が行なわれる。
【0033】ステップ104ではカメラの位置、姿勢、レンズの向きが取得される。すなわち角速度センサ46、加速度センサ48によって角速度、加速度のデータが検出される。このデータは後述の座標変換パラメータの算出に用いられる。
【0034】ステップ105では、取得された3次元画像のキャリブレーションとして例えばディストーション補正が行なわれ、3次元画像のデータの歪みが調整される。
【0035】ステップ106では、変数nが1か否か判断される。すなわちステップ103において取得された3次元画像が1枚目に撮影されたものか否かが判断される。
【0036】n=1のときはステップ107に移り、この3次元画像がメインの3次元画像とされる。すなわちメインの3次元画像を撮影したカメラの位置を原点とし、メインの3次元画像を撮影したカメラの光軸をZ軸とする世界座標が設定される。
【0037】一方、n=1でないときはステップ108に移り、3次元画像はメインの3次元画像を基準とした世界座標に座標変換される。すなわち角速度センサ46、加速度センサ48によって検出された角速度、加速度のデータから世界座標上のカメラの位置が座標変換パラメータとして算出される。この座標変換パラメータを用いて従来公知の手法により3次元画像が世界座標に変換される。
【0038】ステップ109では世界座標上に変換された3次元画像がメインの3次元画像と合成され、データの重複する部分は削除される。これにより合成動作は一旦終了し、ステップ201に移行して合成された3次元画像に表示動作が行われる。
【0039】ステップ201では表示すべき3次元画像の有無が判断される。ステップ107または109を介してステップ201にいたる場合は既に3次元画像の撮影はされており、3次元画像を有するためステップ203へ進む。これに対して撮影動作が行なわれていない場合は3次元画像を有しないため、ステップ202において撮影レンズ11を介して得られる2次元画像が表示される。
【0040】ステップ203では現在(移動後)のカメラの位置、姿勢、レンズの向きが検出される。すなわち1枚目を撮影したカメラの位置を基準として、現在のカメラの位置が角速度センサ46および加速度センサ48によって検出される。検出された現在のカメラの位置を原点とし、カメラの光軸方向をZ軸とするカメラ座標が設定される。
【0041】ステップ204ではステップ109で処理された3次元画像がカメラ座標に変換されて、その3次元画像データがシステムコントロール回路35に設けられたメモリに格納される。
【0042】ステップ205では撮影レンズ11を介して得られる現在の2次元画像が画像メモリ34に格納される。ステップ206では現在の2次元画像データとステップ204において座標変換された3次元画像データとが重合処理される。ステップ207では重合処理された2次元画像データと3次元画像データに基づいて、画面表示LCDパネル37上に現在のカメラの位置に基づいた視線により3次元画像と2次元画像が表示される。これによりデータの不足する部分の確認が容易になる。また2次元画像と対比することにより、不足するデータに対応する撮影点の確認が可能となる。
【0043】ステップ208において、撮影を終了するか否かが判断される。撮影の終了は撮影動作ダイヤル17をOFFに設定することにより選択される。終了が選択されたときは3次元画像検出動作のルーチンは終了する。終了が選択されないときはステップ101に戻り、新たな3次元画像の撮影動作のルーチンが開始される。
【0044】このように撮影された3次元画像は、1枚目に撮影された3次元画像を基準として合成される。すなわち1枚目の3次元画像が撮影されたカメラの位置を原点とする世界座標が設定され、2枚目以降に撮影された3次元画像がこの世界座標に座標変換されることによって3次元画像の合成が行われる。
【0045】3次元画像はカメラの移動に連動して移動後のカメラの位置、姿勢、レンズの向きに対応した視線で表示される。すなわち移動によるカメラの位置、姿勢、レンズの向きの変化が検出されて、移動後のカメラの位置を原点とするカメラ座標が設定される。3次元画像はこのカメラ座標に変換されて表示される。3次元画像を移動後のカメラの光軸方向から表示することにより、現在のカメラの位置空の3次元画像のデータの有無の判別が容易となる。すなわち撮影されていない部分はデータがなく表示されないため、データの不足する部分の確認が行い易い。
【0046】また図8に示すようにカメラ座標に変換された3次元画像は撮影レンズ11を介して得られる2次元画像上に重合されて表示される。3次元画像画が取得されている部分Xはワイヤーフレームで表示され、3次元画像を取得していない部分Yは3次元画像のデータがないためワイヤーフレームとして表示されない。このワイヤーフレームが表示されていない部分Yが2次元画像と重合して表示されることにより被写体のどの部分の3次元画像のデータが不足しているかの判断を容易に行うことが可能となる。
【0047】本実施形態においてはカメラの位置、姿勢、レンズの向きの検出に角速度・加速度センサを用いたが、例えば磁気センサ、多軸式アームを用いてもよい。
【0048】3次元画像の合成及び表示はコンピュータ41の操作によってモニタ装置39上に表示されてもよい。
【0049】本実施形態においては既に撮影された3次元画像を現在の2次元画像上に重合させたが、既に撮影された3次元画像を確定していない3次元画像上に重合させてもよい。この表示は3次元画像が画面表示LCDパネル37上に表示されている状態において、例えばレリーズボタン15を半押しすることにより行われる。レリーズスイッチ15半押しされると現在のカメラの位置、姿勢、レンズの向きから得られる3次元画像が記録されることなく画面表示LCDパネル上に表示されて、既に撮影された3次元画像が重合される様に制御される。
【0050】なお3次元画像を取得するときには、まずカラー画像(2次元画像)が取得され、その後3次元画像が取得される。すなわち1回の撮影動作においてカラー画像と3次元画像とが取得され、記録される。
【0051】
【発明の効果】以上のように本発明によれば、被写体の3次元形状の検出に必要な3次元画像の有無が容易に確認できるように3次元画像が合成、表示される3次元画像入力装置を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態である3次元画像入力装置を備えたカメラの斜視図である。
【図2】本発明の実施形態である3次元画像入力装置を備えたカメラの背面図である。
【図3】図1、2に示すカメラの回路構成を示すブロック図である。
【図4】測距光による距離測定の原理を説明するための図である。
【図5】測距光、反射光、ゲートパルスおよびCCDが受光する光量分布を示す図である。
【図6】合成モードで複数方向から被写体を撮影し、被写体全体の3次元形状を検出する方法について説明した図である。
【図7】3次元画像検出動作のフローチャートである。
【図8】2次元画像と3次元画像との重合表示を示す図である。
【符号の説明】
10 カメラ本体
37 画面表示LCDパネル

【特許請求の範囲】
【請求項1】 本体と、前記本体の移動を検出する移動検出手段と、前記本体内に設けられ被写体の表面各点までの距離を示す距離データによって形成される第1の3次元画像を取得する3次元画像取得手段と、前記移動検出手段の検出結果に基づいて、前記第1の3次元画像を座標変換する座標変換手段と、前記座標変換手段によって座標変換された前記第1の3次元画像を画面上に表示する画像表示手段とを備えることを特徴とする3次元画像入力装置。
【請求項2】 前記3次元画像取得手段が前記第1の3次元画像の撮影終了後に第2の3次元画像の撮影が可能であり、前記第1の3次元画像と前記第2の3次元画像とを合成して第3の3次元画像を形成する手段を備えることを特徴とする請求項1に記載の3次元画像入力装置。
【請求項3】 前記座標変換手段が前記移動検出手段の検出結果に基づいて前記第3の3次元画像を座標変換し、前記画像表示手段が前記第3の3次元画像を画面上に表示することを特徴とする請求項2に記載の3次元画像入力装置。
【請求項4】 前記座標変換手段が前記本体の移動後の位置を原点とし、前記本体の移動後のレンズの光軸方向を座標軸の一つとする座標系に変換することを特徴とする請求項1に記載の3次元画像入力装置。
【請求項5】 前記3次元画像取得手段が2次元画像を撮影可能であって、前記画像表示手段が前記2次元画像上に前記3次元画像を重合させて表示すること特徴とする請求項1に記載の3次元画像入力装置。
【請求項6】 前記移動検出手段が撮影時における前記本体の位置から移動後の前記本体の位置に至るまでの前記本体の角速度を検出する角速度検出手段と、撮影時における前記本体の位置から移動後の前記本体の位置に至るまでの前記本体の加速度を検出する加速度検出手段を備えることを特徴とする請求項1に記載の3次元画像入力装置。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図8】
image rotate


【図7】
image rotate


【公開番号】特開2002−27500(P2002−27500A)
【公開日】平成14年1月25日(2002.1.25)
【国際特許分類】
【出願番号】特願2000−204850(P2000−204850)
【出願日】平成12年7月6日(2000.7.6)
【出願人】(000000527)旭光学工業株式会社 (1,878)
【Fターム(参考)】