３次元画像処理装置、光軸調整方法、光軸調整支援方法
【課題】専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整が行えるようにするための技術を提供する。
【解決手段】複数の撮像装置を備えた３次元画像処理装置において、撮像装置から画像の光学的な中心を各撮像装置について記憶させておく。そして、撮像装置から得られた画像に、その光学的な中心を表すマークを合成して表示する。各撮像装置に係るマークを参照して、全てのマークが対象物上の同一点に重なるように各撮像装置の向きを調整する。
【解決手段】複数の撮像装置を備えた３次元画像処理装置において、撮像装置から画像の光学的な中心を各撮像装置について記憶させておく。そして、撮像装置から得られた画像に、その光学的な中心を表すマークを合成して表示する。各撮像装置に係るマークを参照して、全てのマークが対象物上の同一点に重なるように各撮像装置の向きを調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置で得られたステレオ画像から対象物の３次元情報を取得する３次元画像処理装置に関し、特に撮像装置同士の光軸の向きを調整するための技術に関する。
【背景技術】
【０００２】
画像から撮像対象の３次元情報を得る手法として、所定の撮像エリアを所定間隔で配置された複数の撮像装置によって撮像し、得られた複数枚の画像上における撮像対象の結像点の各撮像装置間での対応関係を求める方法がある。この手法は一般にステレオ画像処理と呼ばれる。
【０００３】
ステレオ画像処理を利用した３次元画像処理装置においては、各撮像装置の光軸を平行に設定する場合と、光軸を輻輳（交差）させる場合とがある（特許文献１参照）。後者の場合、撮像装置同士の共通視野を確保しやすいという利点があり、特に、撮像装置自体の幅よりも撮像装置間の距離を小さく設定しなければならない場面や、撮像装置と撮像対象物との距離が小さい場面などで有効である。加えて、光軸を輻輳させた場合には、（１）撮像装置間の幾何学的配置を記述するパラメータの推定精度が安定する、（２）画像中心付近に投影される対象物の視差が０に近い値になるため、視差算出の計算コストが削減できるなどのメリットもある。
【特許文献１】特開平７−１７５１４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように「輻輳」には種々の利点があるものの、現実には、光軸は目に見えるものではないため、各撮像装置の光軸の向きを調整することは非常に難しい。画像処理の専門知識をもたないユーザーならなおさらである。
【０００５】
そこで特許文献１では、光軸上の注視点が撮像素子の中心に結像する（つまり光軸が撮像素子の中心と交わる）という仮定の下、画像の中心部分の相関に基づいて光軸調整を自動的に行う方法を試みている。
【０００６】
しかしながら実際の撮像装置では、撮像素子と光学系のマウントばらつきにより、光軸が撮像素子の中心と交わる保障はない（図１３参照）。しかも、光軸が撮像素子に交わる点（画像の光学的な中心）と撮像素子の中心（画像の中心）とのズレ量は、焦点距離を変えることで変化する可能性もある。また、画像の中心部分に特徴的な像点が含まれていない場合や、似たパターンが繰り返し現れるような画像であった場合には、画像の誤対応を生じるおそれもある。したがって、特許文献１の手法では光軸調整の精度に限界がある。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整が行えるようにするための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明では、撮像装置（撮像手段）の光軸もしくは光軸上の注視点に相当する情報を可視像化し、その可視像を光軸の向き調整のための参照情報として利用する。
【０００９】
具体的には、本発明の一態様に係る３次元画像処理装置は、複数の画像から対象物の３次元情報を取得するものであって、複数の撮像手段（撮像装置）と、前記撮像手段によって撮像される画像の光学的な中心を各撮像手段について記憶する記憶手段（記憶装置）と、前記撮像手段から得られた画像に、光学的な中心を表すマークを合成して表示する表示手段（処理部および表示部）と、を備える。
【００１０】
ここで「画像の光学的な中心」とは、光軸が撮像手段の撮像素子に交わる点に対応し、「光学的な中心を表すマーク」は、光軸もしくは光軸上の注視点に相当する情報を可視像化したものに対応する。つまり、ユーザーは、表示手段に表示された画像を見ることで、撮像手段の光軸の向きを視覚的に捉えることができるのである。これにより、たとえ「画像の光学的な中心」と「画像の中心」とがずれていたとしても、各撮像手段に係るマークを参照することによって高精度に光軸の向き調整を行うことが可能となり、比較的容易に光軸の輻輳を実現できる。たとえば、手動で調整を行う場合には、各撮像手段に係るマークを参照して、全てのマークが対象物上の同一点に重なるように各撮像手段の向きを調整すればよい。もちろん、マークに基づいて処理部が自動的に撮像手段の向き調整を行うことも可能である。
【００１１】
前記撮像手段が複数の焦点距離を有する場合には、各焦点距離について画像の光学的な中心を記憶手段に記憶させておくことが好ましい。焦点距離が変わると画像の光学的な中心の位置が変化する可能性があるが、撮像手段の焦点距離に応じて記憶手段から読み出す情報を適宜切り替えることで、常に適切な位置にマークを表示することができ、光軸調整の精度を向上させることができる。
【００１２】
また、前記表示手段が、前記マークを含む部分を拡大表示することも好ましい。拡大画像を参照することで、光軸の向きの微調整や合わせ込みを精度良く行うことができる。
【００１３】
画像およびマークの表示態様としては種々考えられる。第一に、撮像手段ごとに、マークが合成された画像を表示する態様が想定される。この場合、それぞれの画像におけるマークが対象物上の同一点に位置するように、各撮像手段の向きを調整すればよい。
【００１４】
第二に、１つの画像に複数の撮像手段に係るマークを合成表示する態様が想定される。たとえば、第１撮像手段から得られた第１画像に、第１画像の光学的な中心を表す第１マークと、第２撮像手段から得られた第２画像の光学的な中心を前記第１画像上へ投影した情報を表す第２マークとを合成して表示するのである。ここで、第１画像上へ投影する第２マークは、第２画像の光学的な中心に写っている像の対応点を表すものでもよいし、第２撮像手段の光軸を第１画像に投影したエピポーラ線を表すものでもよい。
【００１５】
また、第１マークと第２マークの位置の相違を表示することも好ましい。たとえば、画像上の距離を表示したり、撮像手段の調整量を表示したりすれば、光軸調整に有用な情報となる。
【００１６】
なお、本発明は、上記手段の少なくとも一部を有する３次元画像処理装置として捉えることができるし、また、その装置を用いた光軸調整方法、または、処理部（処理装置）が実行する光軸調整支援方法もしくはプログラムとして捉えることもできる。
【００１７】
すなわち、本発明の一態様に係る光軸調整方法は、複数の撮像装置の光軸の向きを調整する光軸調整方法であって、撮像装置で対象物を撮像し、その画像に光学的な中心を表すマークを合成して表示し、各撮像装置に係るマークを参照して、全てのマークが前記対象物上の同一点に重なるように各撮像装置の向きを調整するものである。
【００１８】
また、本発明の一態様に係る光軸調整支援方法は、複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置が、前記撮像装置から画像を取得し、前記記憶装置から光学的な中心を読み込み、各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマークとを前記表示部に合成表示するものである。
【００１９】
また、本発明の一態様に係るプログラムは、複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置に、前記撮像装置から画像を取得し、前記記憶装置から光学的な中心を読み込み、各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマークとを前記表示部に合成表示する処理を実行させるものである。
【発明の効果】
【００２０】
本発明によれば、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整を行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２２】
＜第１実施形態＞
（３次元画像処理装置の構成）
図１は、本発明の実施形態に係る３次元画像処理装置のハードウェア構成を示すブロック図である。３次元画像処理装置は、概略、第１撮像装置１ａ、第２撮像装置１ｂ、各撮像装置用のメモリ２，２、処理部３、記憶装置４、表示部５を備えて構成される。
【００２３】
第１撮像装置１ａ、第２撮像装置１ｂ（以下、単に「撮像装置」とも呼ぶ。）は、複数のレンズから構成される光学系と、ＣＣＤもしくはＣＭＯＳなどから構成される撮像素子とを備える撮像手段である。撮像装置１ａ，１ｂで得られたディジタル画像はメモリ２に一時的に格納された後、処理部３に入力される。なお、撮像装置１ａ，１ｂで取得する画像はカラーでもモノクロでもよく、その解像度等のスペックも撮像対象や装置の用途に応じて適宜選択すればよい。
【００２４】
処理部３は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、ＲＯＭ、Ｉ／Ｆなどから構成されるコンピュータであり、ＲＯＭもしくは記憶装置４から読み込むプログラムに従って後述する各種の演算処理、制御処理、画像処理等を実行する部分である。
【００２５】
記憶装置４は、ディジタルデータ（プログラム含む）を記憶する記憶手段であって、たとえば、磁気ディスク、フラッシュメモリ、光ディスク、または、光磁気ディスクなどで構成される。記憶装置４には、処理部３で実行されるプログラムの他、ステレオ画像処理の際に参照されるパラメータ（第１撮像装置１ａと第２撮像装置１ｂの相対的な位置関係など）、光軸の向き調整の際に参照されるデータ（画像の光学的な中心など）が格納されている。
【００２６】
表示部５は、処理部３で生成された表示データを表示する部分であり、ステレオ画像処理の結果、撮像装置１ａ，１ｂで撮像した画像、光軸の向き調整用の画像などが出力される。本実施形態では、処理部３と表示部５が本発明の表示手段に対応する。
【００２７】
（撮像装置の光軸調整）
図２は、撮像装置１ａ，１ｂの設置例を示している。図２のように、２つの撮像装置１ａ，１ｂは、基準平面２０上に配置された対象物２１を異なる角度から撮影できるような
態様で設置される。
【００２８】
本実施形態の撮像装置１ａ，１ｂは、上下、左右、前後の３軸の平行移動と、各軸周りの回転の６自由度を有する機構を備えている（６自由度のうちのいくつかを拘束することで、光軸調整を容易化してもよい。）。各撮像装置１ａ，１ｂの向き（光軸の向き）および撮像装置−対象物間距離は、ステレオ画像処理に先立って、装置の用途、対象物２１の大きさや種類等に応じて適宜調整が行われる。
【００２９】
たとえば、３次元画像処理装置を工業製品（電子部品等）の検査装置に応用するのであれば、対象物２１が比較的小さいため、撮像装置間の距離および撮像装置−対象物間の距離は十数ｃｍ〜数十ｃｍ程度が望ましい。そうすると、設置上の物理的な制約から、共通視野を確保するために２つの撮像装置１ａ，１ｂの光軸を輻輳させる必要がでる。また、電子部品等の検査にあっては、ミリオーダーからミクロンオーダーの検査精度が要求されることがあり、そのような要求精度に応えるためには光軸の向きを厳密に設定できなければならない。
【００３０】
そこで、本実施形態では図３に示す方法により光軸の向き調整を行う。
【００３１】
装置を光軸調整モードに切り替えると、処理部３が図３の処理を開始する。まず、処理部３は、記憶装置４に各撮像装置１ａ，１ｂの画像の光学的な中心を表すデータ（以下、「光学中心データ」と呼ぶ。）が登録されているか否か調べ、登録されている場合には（ステップＳ１；ＹＥＳ）、そのデータを読み込む（ステップＳ２）。
【００３２】
光学中心データは、撮像装置１ａ，１ｂの光軸が撮像素子に交わる点の座標値を表すデータであり、第１撮像装置１ａ用のものと第２撮像装置１ｂ用のものの両方が登録されている。また、撮像装置１ａ，１ｂの光学系がズーム機構を有する場合、つまり複数の焦点距離を有する場合には、焦点距離ごとに座標値が格納されている。ただし、焦点距離を変えても光学的な中心がほとんど変化しないならば、単一の座標値でも構わない。
【００３３】
図４は、本実施形態における光学中心データの例を示している。本例では、焦点距離Ａ〜Ｃについて、カメラ座標系（画像上の座標系）における画素単位の座標値（ｘ，ｙ）が登録されている。このような形式の座標値を用いることで、後段の画像合成の計算を簡易化できる。
【００３４】
ところで、光学中心データが未登録の場合には（ステップＳ１；ＮＯ）、次のようにして光学中心を算出する（ステップＳ３）。図５（ａ）に示す格子状のパターンチャートを基準平面２０上に置き、そのチャートを撮像装置で正面から撮影すると、画像上では、図５（ｂ）に示すように、光学系の収差の影響により格子に歪みが生じる。ただし、図５（ｂ）は説明のために格子の歪みを極端に表している。格子の歪みは光軸からの距離に応じて大きくなることが知られているため、格子上の各点の歪み量を解析することで光軸の位置（画像の光学的な中心）を逆算可能である。この推定処理を撮像装置ごと、焦点距離ごとに繰り返して、光学中心データを生成する。なお、光学的な中心を求める手法については他にも種々のものが提案されており、そのいずれを採用しても構わない。
【００３５】
次に、処理部３は、第１撮像装置１ａで撮像された第１画像をメモリ２から取得するとともに（ステップＳ４）、ステップＳ２で読み込んだ第１撮像装置１ａ用の光学中心データの中から第１撮像装置１ａの焦点距離に対応した座標値を選択し、その座標に表示するためのマークを生成する（ステップＳ５）。また、同様にして、第２撮像装置１ａについても第２画像の取得とマークの生成を行う（ステップＳ４，Ｓ５）。
【００３６】
そして、図６に示すように、第１画像５１と第２画像５２を表示部５に並べて表示し、それぞれの画像にマーク５３，５４を合成して表示する。つまり本実施形態では、撮像装置１ａ，１ｂごとにマークが合成された画像を表示する。
【００３７】
マークの形状や色などは、ユーザーによる識別が容易なものが好ましい。たとえば、図６に例示したように中心座標上に丸形状や多角形状のカーソルを表示してもよいし、中心座標でクロスする十字カーソルを表示してもよい。また、色に関していえば、原色や蛍光色などの目立つ色で表示したり、基準平面２０や対象物２１が有さない色で表示したり、画像に対してＸＯＲ表示したりすればよい。
【００３８】
これらのマークは光軸を可視像化したものに相当する。ユーザーは、表示部５に表示された画像およびマークを見ることで、各撮像装置１ａ，１ｂの光軸の向きを視覚的に捉えることができ、所望の位置からのズレ量や調整方向および調整量などを直感的に把握することができる。また、撮像装置１ａ，１ｂの向きを動かすたびにステップＳ４〜Ｓ６の処理が繰り返され（ステップＳ７；ＮＯ）、表示部５の表示画像がリアルタイムに更新されるため、光軸向きの微調整も容易である。
【００３９】
たとえば、対象物２１の右上の角の点２１ａにおいて光軸を交差させたい場合には、次のように調整すればよい。まず第１画像５１を参照しながら、マーク５３が点２１ａに重なるように第１撮像装置１ａの向きを調整し（図７の右画面）、次いで第２画像５２を参照しながら、マーク５４も点２１ａに重なるように第２撮像装置１ｂの向きを調整する（図７の左画面）。両方のマークが対象物上の同一点２１ａに重なったら、光軸調整モードを終了する（ステップＳ７；ＹＥＳ）。これにより光軸の輻輳を実現できる。
【００４０】
（ステレオ画像処理）
以上のように光軸調整が完了した後は、第１撮像装置１ａと第２撮像装置１ｂの相対的な位置関係を表すパラメータが再設定され、ステレオ画像処理の準備が整う。
【００４１】
ステレオ画像処理モードでは、処理部３が、各撮像装置１ａ，１ｂから画像を取得し、それぞれの画像における対象物２１の結像点の対応関係に基づき、対象物２１の３次元情報を取得する。
【００４２】
図８を参照してステレオ画像処理の原理を説明する。図８中、第１撮像装置１ａの視点をＯ１、焦点距離をｆ１とし、第２撮像装置１ｂの視点をＯ２、焦点距離をｆ２とする。第１撮像装置１ａのカメラ座標系を基準に考えると、両撮像装置１ａ，１ｂの相対的な位置関係は、回転行列Ｒおよび並進ベクトルｔで記述される。そして、対象物２１上の点Ｐ＝（Ｘ，Ｙ，Ｚ）を第１撮像装置１ａの画像Ｉ１に投影した点のベクトルをｘ１、点Ｐを第２撮像装置１ｂの画像Ｉ２に投影した点のベクトルをｘ２とすれば、点Ｐの３次元情報（奥行き距離Ｚ）を［式１］より求めることができる。
【数１】
【００４３】
このようにして計測された３次元情報は、表示部５に出力されたり、他の処理（画像認識処理、演算処理、検査処理等）に供される。
【００４４】
以上述べた本実施形態によれば、撮像装置１ａ，１ｂから得られた画像５１，５２に、光学的な中心を表すマーク５３，５４を合成して表示したので、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整を行うことが可能となる。
【００４５】
また、撮像装置ごと、焦点距離ごとに光学中心データを用意したので、撮像素子と光学系のマウントばらつきがあったとしても、高精度な調整が可能である。
【００４６】
また、撮像装置ごとに別々の表示を行ったため、撮像装置１ａ，１ｂの相対的な位置関係が未定の状態でも光軸の調整を行うことができる。
【００４７】
さらに、光軸の合わせ込みを厳密に行うことができることから、ステレオ画像処理の精度の向上や計算コストの削減を図ることも可能となる。
【００４８】
＜第２実施形態＞
本発明の第２実施形態では、マークを含む部分を拡大表示する機能を追加する。その他の構成は上記実施形態のものと同様である。
【００４９】
表示部５に図６の画像が表示された状態で、拡大表示機能を実行すると、画像５１，５２のうちマーク５３，５４の周囲の局所領域が拡大表示される（図９参照）。これにより、マークと対象物２１上の点との位置合わせが容易になり、光軸の微調整や合わせ込みを精度良く行うことができる。
【００５０】
画像の拡大をディジタル的に行う場合には、処理部３において表示画像の局所領域を補間拡大し表示すればよい。画像の拡大を光学的に行う場合には、処理部３から制御信号を送ることで撮像装置１ａ，１ｂの焦点距離を大きくすればよい。ただしこのとき、マークの表示位置の計算には、拡大前の焦点距離（ステレオ画像処理を実行する際の焦点距離）を用いなければならないことに注意する。
【００５１】
＜第３実施形態＞
図６に示すように、対象物の形状が単純で判別しやすい場合には、マークと対象物上の点との対応をとりやすい。しかしながら、対象物の形状や模様によっては、マークを合わせ込むべき点を判別するのが難しく、第１実施形態の方法では光軸調整が困難な場合もある。
【００５２】
そこで、本発明の第３実施形態では、１つの画像に複数の撮像装置に係るマークを合成表示する機能を追加する。なお、その他の構成は上記実施形態のものと同様である。
【００５３】
撮像装置１ａ，１ｂと基準平面２０が、図１０のような位置関係にある場合を考える。図中、点Ｃ１は第１画像５１の光学的な中心であり、点Ｃ２は第２画像５２の光学的な中心である。また、点Ｐ１は第１撮像装置１ａの光軸Ｌ１と基準平面２０の交点であり、点Ｐ２は第２撮像装置１ｂの光軸Ｌ２と基準平面２０の交点である。
【００５４】
処理部３は、まず撮像装置１ａ，１ｂおよび基準平面２０の相対的な位置関係から、ホモグラフィー行列Ｈを算出する。ホモグラフィー行列Ｈとは、［式２］に示すように、第２画像５２上の任意の点ｘ２を基準平面２０を介して第１画像５１上の点ｘ１に投影するための変換行列である。なお、撮像装置１ａ，１ｂおよび基準平面２０の相対的な位置関係が未知の場合には、各撮像装置１ａ，１ｂで得られた画像から基準平面２０上の像点を数点抽出することにより算出すればよい。
【数２】
【００５５】
次に処理部３は、点Ｃ２の座標を［式２］を用いて変換することで、第１画像５１上への投影点Ｃ２′の座標を算出し、点Ｃ２′の位置に第２マーク５４ａを表示する。つまり、第２マーク５４ａは、第２画像５２の光学的な中心（点Ｃ２）に写っている像（点Ｐ２）の対応点（点Ｃ２′）に表示される。また、第１画像５１の点Ｃ１の位置には第１マーク５３ａが合成表示される。
【００５６】
第１実施形態では各画像上でマークを対象物上の同一点に合わせ込む必要があったが、本実施形態の場合には、対象物とは無関係に、第１画像５１上で第１マーク５３ａと第２マーク５４ａとが重なるように各撮像装置１ａ，１ｂの向きを調整するだけでよい。したがって、より簡単に光軸調整を行うことができる。
【００５７】
ここで、マークと撮像装置との関係を把握しやすくするために、第１マーク５３ａと第２マーク５４ａで色や形状を異ならせたり、マークの近くに「１」「２」など撮像装置との対応を表すテキスト情報を表示したりするとよい。
【００５８】
さらに第１マーク５３ａと第２マーク５４ａの位置の相違を表すテキスト情報を表示することも好ましい。たとえば、２つのマークの画像上の距離（ズレ量）を縦方向と横方向の画素数で表示すれば、ユーザーはその表示を見ながら値が０になるよう撮像装置の向きを調整すればよくなる。あるいは、そのズレ量から撮像装置の調整方向や調整量を表示するようにしても、光軸調整に有用な情報となる。
【００５９】
＜第４実施形態＞
次に本発明の第４実施形態について説明する。本実施形態も第３実施形態と同様、１つの画像に複数の撮像装置に係るマークを合成表示するものである。ただし、第３実施形態では第２マークが点Ｐ２の対応点Ｃ２′を表していたのに対し、第４実施形態では第２マークが第２撮像装置１ｂの光軸を第１画像５１に投影したエピポーラ線を表す点で異なる。
【００６０】
第３実施形態の方法では、光軸Ｌ１，Ｌ２の輻輳点（光軸同士が交差する点）が常に基準平面２０上に設定されることになる。しかし、装置の用途や対象物の種類によっては、輻輳点を基準平面２０ではなく、対象物上に設定したい場合もある。本実施形態はこのような場合に有効な方法である。
【００６１】
図１１に示すように、基準平面２０の上に対象物（電子回路２２）を配置し、その対象物上の点Ｐ３に輻輳点を設定する方法について述べる。なお、電子回路２２上には複数のチップ２２ａ〜２２ｅが実装されており、上記点Ｐ３はチップ２２ｂの右上の角の点であるものとする。
【００６２】
まず、第２画像５２を参照しながら、マーク５４が点Ｐ３に重なるように第２撮像装置１ｂの向きを調整する。このときの第２画像５２は図１２の左画面のようになる。
【００６３】
第３実施形態では、撮像装置１ａ，１ｂと基準平面２０との距離が既知であったため、第１画像５１上への投影点を算出できたが、図１１の例では、点Ｐ３の高さ（撮像装置１ａ，１ｂと点Ｐ３との距離）が未知であるため、投影点を算出することができない。つまり、点Ｐが光軸Ｌ２上にあることはわかるものの、光軸Ｌ２上のどの位置にあるのかを特
定できないのである。
【００６４】
そこで処理部３は、撮像装置１ａ，１ｂの相対的な位置関係から、Fundamental行列Ｆ
を算出する。Fundamental行列Ｆとは、［式３］に示すように、第１画像５１上の点ｘ１
と第２画像５２上の点ｘ２とのエピポーラ拘束を表すものである。
【数３】
【００６５】
次に処理部３は、［式３］に点Ｃ２の座標を代入して、［式４］を得る。この［式４］は、第２撮像装置１ｂの光軸Ｌ２を第１画像５１に投影したときのエピポーラ線を表す。
【数４】
【００６６】
そして処理部３は、［式４］から直線状の第２マーク５４ｂを生成し、第１画像５１に合成表示する。このときの第１画像５１は図１２の右画面のようになる。第２マーク５４ｂは、点Ｐ３の像点Ｐ３′を通る直線である。
【００６７】
ここで、第１画像５１を参照しながら、第１マーク５３ａが第２マーク５４ｂと重なるように第１撮像装置１ａの向きを調整すれば、光軸Ｌ１，Ｌ２の輻輳を実現できる。さらに、第１マーク５３ａを像点Ｐ３′に合わせ込めば、電子回路２２上の点Ｐ３に輻輳点を設定することが可能である。
【００６８】
電子回路２２のように似たパターンが繰り返し現れる画像では、対象物上のどの部分が表示されているのかを判別しづらい。よって、第１実施形態のように対象物の画像だけを見ながら調整する場合には、点Ｐ３の像点Ｐ３′を探すのに手間取ったり、隣のチップ２２ｃの角を像点Ｐ３′と勘違いするなどの誤操作を招くおそれがある。
【００６９】
その点、本実施形態では、第２マーク５４ｂ上に像点Ｐ３′が存在することが予めわかっているので、簡単かつ正確に第１マーク５３ａを合わせ込むべき点を特定することができる。
【００７０】
以上、第１〜第４実施形態を挙げて本発明の一具体例を説明したが、本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【００７１】
たとえば、上記実施形態を組み合わせてもよい。また、上記実施形態では撮像装置の向きを手動で調整することとしたが、処理部が画像及びマークの情報に基づきモータ等を駆動して撮像装置の向きを自動調整するようにしてもよい。また、撮像装置の数は２つより多くてもよい。また、本発明の３次元画像処理装置は、検査装置の他にも、３次元測定装置やコンピュータビジョンなど様々な用途に利用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る３次元画像処理装置のハードウェア構成を示すブロック図。
【図２】撮像装置の設置例を示す図。
【図３】光軸調整処理の流れを示すフローチャート。
【図４】光学中心データの一例を示す図。
【図５】光学中心算出処理に用いるパターンチャートと、画像の歪みを示す図。
【図６】第１実施形態におけるマークの表示例を示す図。
【図７】撮像装置の向きの調整方法を説明する図。
【図８】ステレオ画像処理の原理を示す図。
【図９】第２実施形態における拡大表示の一例を示す図。
【図１０】第３実施形態における光軸調整の原理を示す図。
【図１１】第４実施形態における光軸調整の原理を示す図。
【図１２】第４実施形態におけるマークの表示例を示す図。
【図１３】撮像素子と光学系のマウントばらつきを示す図。
【符号の説明】
【００７３】
１ａ 第１撮像装置
１ｂ 第２撮像装置
２ メモリ
３ 処理部
４ 記憶装置
５ 表示部
２０ 基準平面
２１ 対象物
２２ 電子回路（対象物）
５１ 第１画像
５２ 第２画像
５３，５４ マーク
５３ａ 第１マーク
５４ａ，５４ｂ 第２マーク
Ｌ１，Ｌ２ 光軸
【技術分野】
【０００１】
本発明は、複数の撮像装置で得られたステレオ画像から対象物の３次元情報を取得する３次元画像処理装置に関し、特に撮像装置同士の光軸の向きを調整するための技術に関する。
【背景技術】
【０００２】
画像から撮像対象の３次元情報を得る手法として、所定の撮像エリアを所定間隔で配置された複数の撮像装置によって撮像し、得られた複数枚の画像上における撮像対象の結像点の各撮像装置間での対応関係を求める方法がある。この手法は一般にステレオ画像処理と呼ばれる。
【０００３】
ステレオ画像処理を利用した３次元画像処理装置においては、各撮像装置の光軸を平行に設定する場合と、光軸を輻輳（交差）させる場合とがある（特許文献１参照）。後者の場合、撮像装置同士の共通視野を確保しやすいという利点があり、特に、撮像装置自体の幅よりも撮像装置間の距離を小さく設定しなければならない場面や、撮像装置と撮像対象物との距離が小さい場面などで有効である。加えて、光軸を輻輳させた場合には、（１）撮像装置間の幾何学的配置を記述するパラメータの推定精度が安定する、（２）画像中心付近に投影される対象物の視差が０に近い値になるため、視差算出の計算コストが削減できるなどのメリットもある。
【特許文献１】特開平７−１７５１４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように「輻輳」には種々の利点があるものの、現実には、光軸は目に見えるものではないため、各撮像装置の光軸の向きを調整することは非常に難しい。画像処理の専門知識をもたないユーザーならなおさらである。
【０００５】
そこで特許文献１では、光軸上の注視点が撮像素子の中心に結像する（つまり光軸が撮像素子の中心と交わる）という仮定の下、画像の中心部分の相関に基づいて光軸調整を自動的に行う方法を試みている。
【０００６】
しかしながら実際の撮像装置では、撮像素子と光学系のマウントばらつきにより、光軸が撮像素子の中心と交わる保障はない（図１３参照）。しかも、光軸が撮像素子に交わる点（画像の光学的な中心）と撮像素子の中心（画像の中心）とのズレ量は、焦点距離を変えることで変化する可能性もある。また、画像の中心部分に特徴的な像点が含まれていない場合や、似たパターンが繰り返し現れるような画像であった場合には、画像の誤対応を生じるおそれもある。したがって、特許文献１の手法では光軸調整の精度に限界がある。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整が行えるようにするための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明では、撮像装置（撮像手段）の光軸もしくは光軸上の注視点に相当する情報を可視像化し、その可視像を光軸の向き調整のための参照情報として利用する。
【０００９】
具体的には、本発明の一態様に係る３次元画像処理装置は、複数の画像から対象物の３次元情報を取得するものであって、複数の撮像手段（撮像装置）と、前記撮像手段によって撮像される画像の光学的な中心を各撮像手段について記憶する記憶手段（記憶装置）と、前記撮像手段から得られた画像に、光学的な中心を表すマークを合成して表示する表示手段（処理部および表示部）と、を備える。
【００１０】
ここで「画像の光学的な中心」とは、光軸が撮像手段の撮像素子に交わる点に対応し、「光学的な中心を表すマーク」は、光軸もしくは光軸上の注視点に相当する情報を可視像化したものに対応する。つまり、ユーザーは、表示手段に表示された画像を見ることで、撮像手段の光軸の向きを視覚的に捉えることができるのである。これにより、たとえ「画像の光学的な中心」と「画像の中心」とがずれていたとしても、各撮像手段に係るマークを参照することによって高精度に光軸の向き調整を行うことが可能となり、比較的容易に光軸の輻輳を実現できる。たとえば、手動で調整を行う場合には、各撮像手段に係るマークを参照して、全てのマークが対象物上の同一点に重なるように各撮像手段の向きを調整すればよい。もちろん、マークに基づいて処理部が自動的に撮像手段の向き調整を行うことも可能である。
【００１１】
前記撮像手段が複数の焦点距離を有する場合には、各焦点距離について画像の光学的な中心を記憶手段に記憶させておくことが好ましい。焦点距離が変わると画像の光学的な中心の位置が変化する可能性があるが、撮像手段の焦点距離に応じて記憶手段から読み出す情報を適宜切り替えることで、常に適切な位置にマークを表示することができ、光軸調整の精度を向上させることができる。
【００１２】
また、前記表示手段が、前記マークを含む部分を拡大表示することも好ましい。拡大画像を参照することで、光軸の向きの微調整や合わせ込みを精度良く行うことができる。
【００１３】
画像およびマークの表示態様としては種々考えられる。第一に、撮像手段ごとに、マークが合成された画像を表示する態様が想定される。この場合、それぞれの画像におけるマークが対象物上の同一点に位置するように、各撮像手段の向きを調整すればよい。
【００１４】
第二に、１つの画像に複数の撮像手段に係るマークを合成表示する態様が想定される。たとえば、第１撮像手段から得られた第１画像に、第１画像の光学的な中心を表す第１マークと、第２撮像手段から得られた第２画像の光学的な中心を前記第１画像上へ投影した情報を表す第２マークとを合成して表示するのである。ここで、第１画像上へ投影する第２マークは、第２画像の光学的な中心に写っている像の対応点を表すものでもよいし、第２撮像手段の光軸を第１画像に投影したエピポーラ線を表すものでもよい。
【００１５】
また、第１マークと第２マークの位置の相違を表示することも好ましい。たとえば、画像上の距離を表示したり、撮像手段の調整量を表示したりすれば、光軸調整に有用な情報となる。
【００１６】
なお、本発明は、上記手段の少なくとも一部を有する３次元画像処理装置として捉えることができるし、また、その装置を用いた光軸調整方法、または、処理部（処理装置）が実行する光軸調整支援方法もしくはプログラムとして捉えることもできる。
【００１７】
すなわち、本発明の一態様に係る光軸調整方法は、複数の撮像装置の光軸の向きを調整する光軸調整方法であって、撮像装置で対象物を撮像し、その画像に光学的な中心を表すマークを合成して表示し、各撮像装置に係るマークを参照して、全てのマークが前記対象物上の同一点に重なるように各撮像装置の向きを調整するものである。
【００１８】
また、本発明の一態様に係る光軸調整支援方法は、複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置が、前記撮像装置から画像を取得し、前記記憶装置から光学的な中心を読み込み、各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマークとを前記表示部に合成表示するものである。
【００１９】
また、本発明の一態様に係るプログラムは、複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置に、前記撮像装置から画像を取得し、前記記憶装置から光学的な中心を読み込み、各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマークとを前記表示部に合成表示する処理を実行させるものである。
【発明の効果】
【００２０】
本発明によれば、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整を行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２２】
＜第１実施形態＞
（３次元画像処理装置の構成）
図１は、本発明の実施形態に係る３次元画像処理装置のハードウェア構成を示すブロック図である。３次元画像処理装置は、概略、第１撮像装置１ａ、第２撮像装置１ｂ、各撮像装置用のメモリ２，２、処理部３、記憶装置４、表示部５を備えて構成される。
【００２３】
第１撮像装置１ａ、第２撮像装置１ｂ（以下、単に「撮像装置」とも呼ぶ。）は、複数のレンズから構成される光学系と、ＣＣＤもしくはＣＭＯＳなどから構成される撮像素子とを備える撮像手段である。撮像装置１ａ，１ｂで得られたディジタル画像はメモリ２に一時的に格納された後、処理部３に入力される。なお、撮像装置１ａ，１ｂで取得する画像はカラーでもモノクロでもよく、その解像度等のスペックも撮像対象や装置の用途に応じて適宜選択すればよい。
【００２４】
処理部３は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、ＲＯＭ、Ｉ／Ｆなどから構成されるコンピュータであり、ＲＯＭもしくは記憶装置４から読み込むプログラムに従って後述する各種の演算処理、制御処理、画像処理等を実行する部分である。
【００２５】
記憶装置４は、ディジタルデータ（プログラム含む）を記憶する記憶手段であって、たとえば、磁気ディスク、フラッシュメモリ、光ディスク、または、光磁気ディスクなどで構成される。記憶装置４には、処理部３で実行されるプログラムの他、ステレオ画像処理の際に参照されるパラメータ（第１撮像装置１ａと第２撮像装置１ｂの相対的な位置関係など）、光軸の向き調整の際に参照されるデータ（画像の光学的な中心など）が格納されている。
【００２６】
表示部５は、処理部３で生成された表示データを表示する部分であり、ステレオ画像処理の結果、撮像装置１ａ，１ｂで撮像した画像、光軸の向き調整用の画像などが出力される。本実施形態では、処理部３と表示部５が本発明の表示手段に対応する。
【００２７】
（撮像装置の光軸調整）
図２は、撮像装置１ａ，１ｂの設置例を示している。図２のように、２つの撮像装置１ａ，１ｂは、基準平面２０上に配置された対象物２１を異なる角度から撮影できるような
態様で設置される。
【００２８】
本実施形態の撮像装置１ａ，１ｂは、上下、左右、前後の３軸の平行移動と、各軸周りの回転の６自由度を有する機構を備えている（６自由度のうちのいくつかを拘束することで、光軸調整を容易化してもよい。）。各撮像装置１ａ，１ｂの向き（光軸の向き）および撮像装置−対象物間距離は、ステレオ画像処理に先立って、装置の用途、対象物２１の大きさや種類等に応じて適宜調整が行われる。
【００２９】
たとえば、３次元画像処理装置を工業製品（電子部品等）の検査装置に応用するのであれば、対象物２１が比較的小さいため、撮像装置間の距離および撮像装置−対象物間の距離は十数ｃｍ〜数十ｃｍ程度が望ましい。そうすると、設置上の物理的な制約から、共通視野を確保するために２つの撮像装置１ａ，１ｂの光軸を輻輳させる必要がでる。また、電子部品等の検査にあっては、ミリオーダーからミクロンオーダーの検査精度が要求されることがあり、そのような要求精度に応えるためには光軸の向きを厳密に設定できなければならない。
【００３０】
そこで、本実施形態では図３に示す方法により光軸の向き調整を行う。
【００３１】
装置を光軸調整モードに切り替えると、処理部３が図３の処理を開始する。まず、処理部３は、記憶装置４に各撮像装置１ａ，１ｂの画像の光学的な中心を表すデータ（以下、「光学中心データ」と呼ぶ。）が登録されているか否か調べ、登録されている場合には（ステップＳ１；ＹＥＳ）、そのデータを読み込む（ステップＳ２）。
【００３２】
光学中心データは、撮像装置１ａ，１ｂの光軸が撮像素子に交わる点の座標値を表すデータであり、第１撮像装置１ａ用のものと第２撮像装置１ｂ用のものの両方が登録されている。また、撮像装置１ａ，１ｂの光学系がズーム機構を有する場合、つまり複数の焦点距離を有する場合には、焦点距離ごとに座標値が格納されている。ただし、焦点距離を変えても光学的な中心がほとんど変化しないならば、単一の座標値でも構わない。
【００３３】
図４は、本実施形態における光学中心データの例を示している。本例では、焦点距離Ａ〜Ｃについて、カメラ座標系（画像上の座標系）における画素単位の座標値（ｘ，ｙ）が登録されている。このような形式の座標値を用いることで、後段の画像合成の計算を簡易化できる。
【００３４】
ところで、光学中心データが未登録の場合には（ステップＳ１；ＮＯ）、次のようにして光学中心を算出する（ステップＳ３）。図５（ａ）に示す格子状のパターンチャートを基準平面２０上に置き、そのチャートを撮像装置で正面から撮影すると、画像上では、図５（ｂ）に示すように、光学系の収差の影響により格子に歪みが生じる。ただし、図５（ｂ）は説明のために格子の歪みを極端に表している。格子の歪みは光軸からの距離に応じて大きくなることが知られているため、格子上の各点の歪み量を解析することで光軸の位置（画像の光学的な中心）を逆算可能である。この推定処理を撮像装置ごと、焦点距離ごとに繰り返して、光学中心データを生成する。なお、光学的な中心を求める手法については他にも種々のものが提案されており、そのいずれを採用しても構わない。
【００３５】
次に、処理部３は、第１撮像装置１ａで撮像された第１画像をメモリ２から取得するとともに（ステップＳ４）、ステップＳ２で読み込んだ第１撮像装置１ａ用の光学中心データの中から第１撮像装置１ａの焦点距離に対応した座標値を選択し、その座標に表示するためのマークを生成する（ステップＳ５）。また、同様にして、第２撮像装置１ａについても第２画像の取得とマークの生成を行う（ステップＳ４，Ｓ５）。
【００３６】
そして、図６に示すように、第１画像５１と第２画像５２を表示部５に並べて表示し、それぞれの画像にマーク５３，５４を合成して表示する。つまり本実施形態では、撮像装置１ａ，１ｂごとにマークが合成された画像を表示する。
【００３７】
マークの形状や色などは、ユーザーによる識別が容易なものが好ましい。たとえば、図６に例示したように中心座標上に丸形状や多角形状のカーソルを表示してもよいし、中心座標でクロスする十字カーソルを表示してもよい。また、色に関していえば、原色や蛍光色などの目立つ色で表示したり、基準平面２０や対象物２１が有さない色で表示したり、画像に対してＸＯＲ表示したりすればよい。
【００３８】
これらのマークは光軸を可視像化したものに相当する。ユーザーは、表示部５に表示された画像およびマークを見ることで、各撮像装置１ａ，１ｂの光軸の向きを視覚的に捉えることができ、所望の位置からのズレ量や調整方向および調整量などを直感的に把握することができる。また、撮像装置１ａ，１ｂの向きを動かすたびにステップＳ４〜Ｓ６の処理が繰り返され（ステップＳ７；ＮＯ）、表示部５の表示画像がリアルタイムに更新されるため、光軸向きの微調整も容易である。
【００３９】
たとえば、対象物２１の右上の角の点２１ａにおいて光軸を交差させたい場合には、次のように調整すればよい。まず第１画像５１を参照しながら、マーク５３が点２１ａに重なるように第１撮像装置１ａの向きを調整し（図７の右画面）、次いで第２画像５２を参照しながら、マーク５４も点２１ａに重なるように第２撮像装置１ｂの向きを調整する（図７の左画面）。両方のマークが対象物上の同一点２１ａに重なったら、光軸調整モードを終了する（ステップＳ７；ＹＥＳ）。これにより光軸の輻輳を実現できる。
【００４０】
（ステレオ画像処理）
以上のように光軸調整が完了した後は、第１撮像装置１ａと第２撮像装置１ｂの相対的な位置関係を表すパラメータが再設定され、ステレオ画像処理の準備が整う。
【００４１】
ステレオ画像処理モードでは、処理部３が、各撮像装置１ａ，１ｂから画像を取得し、それぞれの画像における対象物２１の結像点の対応関係に基づき、対象物２１の３次元情報を取得する。
【００４２】
図８を参照してステレオ画像処理の原理を説明する。図８中、第１撮像装置１ａの視点をＯ１、焦点距離をｆ１とし、第２撮像装置１ｂの視点をＯ２、焦点距離をｆ２とする。第１撮像装置１ａのカメラ座標系を基準に考えると、両撮像装置１ａ，１ｂの相対的な位置関係は、回転行列Ｒおよび並進ベクトルｔで記述される。そして、対象物２１上の点Ｐ＝（Ｘ，Ｙ，Ｚ）を第１撮像装置１ａの画像Ｉ１に投影した点のベクトルをｘ１、点Ｐを第２撮像装置１ｂの画像Ｉ２に投影した点のベクトルをｘ２とすれば、点Ｐの３次元情報（奥行き距離Ｚ）を［式１］より求めることができる。
【数１】
【００４３】
このようにして計測された３次元情報は、表示部５に出力されたり、他の処理（画像認識処理、演算処理、検査処理等）に供される。
【００４４】
以上述べた本実施形態によれば、撮像装置１ａ，１ｂから得られた画像５１，５２に、光学的な中心を表すマーク５３，５４を合成して表示したので、専門知識をもたない者であっても簡単かつ高精度に光軸の向き調整を行うことが可能となる。
【００４５】
また、撮像装置ごと、焦点距離ごとに光学中心データを用意したので、撮像素子と光学系のマウントばらつきがあったとしても、高精度な調整が可能である。
【００４６】
また、撮像装置ごとに別々の表示を行ったため、撮像装置１ａ，１ｂの相対的な位置関係が未定の状態でも光軸の調整を行うことができる。
【００４７】
さらに、光軸の合わせ込みを厳密に行うことができることから、ステレオ画像処理の精度の向上や計算コストの削減を図ることも可能となる。
【００４８】
＜第２実施形態＞
本発明の第２実施形態では、マークを含む部分を拡大表示する機能を追加する。その他の構成は上記実施形態のものと同様である。
【００４９】
表示部５に図６の画像が表示された状態で、拡大表示機能を実行すると、画像５１，５２のうちマーク５３，５４の周囲の局所領域が拡大表示される（図９参照）。これにより、マークと対象物２１上の点との位置合わせが容易になり、光軸の微調整や合わせ込みを精度良く行うことができる。
【００５０】
画像の拡大をディジタル的に行う場合には、処理部３において表示画像の局所領域を補間拡大し表示すればよい。画像の拡大を光学的に行う場合には、処理部３から制御信号を送ることで撮像装置１ａ，１ｂの焦点距離を大きくすればよい。ただしこのとき、マークの表示位置の計算には、拡大前の焦点距離（ステレオ画像処理を実行する際の焦点距離）を用いなければならないことに注意する。
【００５１】
＜第３実施形態＞
図６に示すように、対象物の形状が単純で判別しやすい場合には、マークと対象物上の点との対応をとりやすい。しかしながら、対象物の形状や模様によっては、マークを合わせ込むべき点を判別するのが難しく、第１実施形態の方法では光軸調整が困難な場合もある。
【００５２】
そこで、本発明の第３実施形態では、１つの画像に複数の撮像装置に係るマークを合成表示する機能を追加する。なお、その他の構成は上記実施形態のものと同様である。
【００５３】
撮像装置１ａ，１ｂと基準平面２０が、図１０のような位置関係にある場合を考える。図中、点Ｃ１は第１画像５１の光学的な中心であり、点Ｃ２は第２画像５２の光学的な中心である。また、点Ｐ１は第１撮像装置１ａの光軸Ｌ１と基準平面２０の交点であり、点Ｐ２は第２撮像装置１ｂの光軸Ｌ２と基準平面２０の交点である。
【００５４】
処理部３は、まず撮像装置１ａ，１ｂおよび基準平面２０の相対的な位置関係から、ホモグラフィー行列Ｈを算出する。ホモグラフィー行列Ｈとは、［式２］に示すように、第２画像５２上の任意の点ｘ２を基準平面２０を介して第１画像５１上の点ｘ１に投影するための変換行列である。なお、撮像装置１ａ，１ｂおよび基準平面２０の相対的な位置関係が未知の場合には、各撮像装置１ａ，１ｂで得られた画像から基準平面２０上の像点を数点抽出することにより算出すればよい。
【数２】
【００５５】
次に処理部３は、点Ｃ２の座標を［式２］を用いて変換することで、第１画像５１上への投影点Ｃ２′の座標を算出し、点Ｃ２′の位置に第２マーク５４ａを表示する。つまり、第２マーク５４ａは、第２画像５２の光学的な中心（点Ｃ２）に写っている像（点Ｐ２）の対応点（点Ｃ２′）に表示される。また、第１画像５１の点Ｃ１の位置には第１マーク５３ａが合成表示される。
【００５６】
第１実施形態では各画像上でマークを対象物上の同一点に合わせ込む必要があったが、本実施形態の場合には、対象物とは無関係に、第１画像５１上で第１マーク５３ａと第２マーク５４ａとが重なるように各撮像装置１ａ，１ｂの向きを調整するだけでよい。したがって、より簡単に光軸調整を行うことができる。
【００５７】
ここで、マークと撮像装置との関係を把握しやすくするために、第１マーク５３ａと第２マーク５４ａで色や形状を異ならせたり、マークの近くに「１」「２」など撮像装置との対応を表すテキスト情報を表示したりするとよい。
【００５８】
さらに第１マーク５３ａと第２マーク５４ａの位置の相違を表すテキスト情報を表示することも好ましい。たとえば、２つのマークの画像上の距離（ズレ量）を縦方向と横方向の画素数で表示すれば、ユーザーはその表示を見ながら値が０になるよう撮像装置の向きを調整すればよくなる。あるいは、そのズレ量から撮像装置の調整方向や調整量を表示するようにしても、光軸調整に有用な情報となる。
【００５９】
＜第４実施形態＞
次に本発明の第４実施形態について説明する。本実施形態も第３実施形態と同様、１つの画像に複数の撮像装置に係るマークを合成表示するものである。ただし、第３実施形態では第２マークが点Ｐ２の対応点Ｃ２′を表していたのに対し、第４実施形態では第２マークが第２撮像装置１ｂの光軸を第１画像５１に投影したエピポーラ線を表す点で異なる。
【００６０】
第３実施形態の方法では、光軸Ｌ１，Ｌ２の輻輳点（光軸同士が交差する点）が常に基準平面２０上に設定されることになる。しかし、装置の用途や対象物の種類によっては、輻輳点を基準平面２０ではなく、対象物上に設定したい場合もある。本実施形態はこのような場合に有効な方法である。
【００６１】
図１１に示すように、基準平面２０の上に対象物（電子回路２２）を配置し、その対象物上の点Ｐ３に輻輳点を設定する方法について述べる。なお、電子回路２２上には複数のチップ２２ａ〜２２ｅが実装されており、上記点Ｐ３はチップ２２ｂの右上の角の点であるものとする。
【００６２】
まず、第２画像５２を参照しながら、マーク５４が点Ｐ３に重なるように第２撮像装置１ｂの向きを調整する。このときの第２画像５２は図１２の左画面のようになる。
【００６３】
第３実施形態では、撮像装置１ａ，１ｂと基準平面２０との距離が既知であったため、第１画像５１上への投影点を算出できたが、図１１の例では、点Ｐ３の高さ（撮像装置１ａ，１ｂと点Ｐ３との距離）が未知であるため、投影点を算出することができない。つまり、点Ｐが光軸Ｌ２上にあることはわかるものの、光軸Ｌ２上のどの位置にあるのかを特
定できないのである。
【００６４】
そこで処理部３は、撮像装置１ａ，１ｂの相対的な位置関係から、Fundamental行列Ｆ
を算出する。Fundamental行列Ｆとは、［式３］に示すように、第１画像５１上の点ｘ１
と第２画像５２上の点ｘ２とのエピポーラ拘束を表すものである。
【数３】
【００６５】
次に処理部３は、［式３］に点Ｃ２の座標を代入して、［式４］を得る。この［式４］は、第２撮像装置１ｂの光軸Ｌ２を第１画像５１に投影したときのエピポーラ線を表す。
【数４】
【００６６】
そして処理部３は、［式４］から直線状の第２マーク５４ｂを生成し、第１画像５１に合成表示する。このときの第１画像５１は図１２の右画面のようになる。第２マーク５４ｂは、点Ｐ３の像点Ｐ３′を通る直線である。
【００６７】
ここで、第１画像５１を参照しながら、第１マーク５３ａが第２マーク５４ｂと重なるように第１撮像装置１ａの向きを調整すれば、光軸Ｌ１，Ｌ２の輻輳を実現できる。さらに、第１マーク５３ａを像点Ｐ３′に合わせ込めば、電子回路２２上の点Ｐ３に輻輳点を設定することが可能である。
【００６８】
電子回路２２のように似たパターンが繰り返し現れる画像では、対象物上のどの部分が表示されているのかを判別しづらい。よって、第１実施形態のように対象物の画像だけを見ながら調整する場合には、点Ｐ３の像点Ｐ３′を探すのに手間取ったり、隣のチップ２２ｃの角を像点Ｐ３′と勘違いするなどの誤操作を招くおそれがある。
【００６９】
その点、本実施形態では、第２マーク５４ｂ上に像点Ｐ３′が存在することが予めわかっているので、簡単かつ正確に第１マーク５３ａを合わせ込むべき点を特定することができる。
【００７０】
以上、第１〜第４実施形態を挙げて本発明の一具体例を説明したが、本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【００７１】
たとえば、上記実施形態を組み合わせてもよい。また、上記実施形態では撮像装置の向きを手動で調整することとしたが、処理部が画像及びマークの情報に基づきモータ等を駆動して撮像装置の向きを自動調整するようにしてもよい。また、撮像装置の数は２つより多くてもよい。また、本発明の３次元画像処理装置は、検査装置の他にも、３次元測定装置やコンピュータビジョンなど様々な用途に利用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る３次元画像処理装置のハードウェア構成を示すブロック図。
【図２】撮像装置の設置例を示す図。
【図３】光軸調整処理の流れを示すフローチャート。
【図４】光学中心データの一例を示す図。
【図５】光学中心算出処理に用いるパターンチャートと、画像の歪みを示す図。
【図６】第１実施形態におけるマークの表示例を示す図。
【図７】撮像装置の向きの調整方法を説明する図。
【図８】ステレオ画像処理の原理を示す図。
【図９】第２実施形態における拡大表示の一例を示す図。
【図１０】第３実施形態における光軸調整の原理を示す図。
【図１１】第４実施形態における光軸調整の原理を示す図。
【図１２】第４実施形態におけるマークの表示例を示す図。
【図１３】撮像素子と光学系のマウントばらつきを示す図。
【符号の説明】
【００７３】
１ａ 第１撮像装置
１ｂ 第２撮像装置
２ メモリ
３ 処理部
４ 記憶装置
５ 表示部
２０ 基準平面
２１ 対象物
２２ 電子回路（対象物）
５１ 第１画像
５２ 第２画像
５３，５４ マーク
５３ａ 第１マーク
５４ａ，５４ｂ 第２マーク
Ｌ１，Ｌ２ 光軸
【特許請求の範囲】
【請求項１】
複数の画像から対象物の３次元情報を取得する３次元画像処理装置であって、
複数の撮像手段と、
前記撮像手段によって撮像される画像の光学的な中心を各撮像手段について記憶する記憶手段と、
前記撮像手段から得られた画像に、光学的な中心を表すマークを合成して表示する表示手段と、
を備える３次元画像処理装置。
【請求項２】
前記撮像手段は、複数の焦点距離を有し、
前記記憶手段は、各焦点距離について画像の光学的な中心を記憶している
請求項１記載の３次元画像処理装置。
【請求項３】
前記表示手段は、前記マークを含む部分を拡大表示する
請求項１または２記載の３次元画像処理装置。
【請求項４】
前記表示手段は、撮像手段ごとに、マークが合成された画像を表示する
請求項１〜３のうちいずれか１項記載の３次元画像処理装置。
【請求項５】
前記表示手段は、１つの画像に複数の撮像手段に係るマークを合成表示する
請求項１〜３のうちいずれか１項記載の３次元画像処理装置。
【請求項６】
前記表示手段は、第１撮像手段から得られた第１画像に、第１画像の光学的な中心を表す第１マークと、第２撮像手段から得られた第２画像の光学的な中心を前記第１画像上へ投影した情報を表す第２マークとを合成して表示する
請求項５記載の３次元画像処理装置。
【請求項７】
前記第２マークは、前記第２画像の光学的な中心に写っている像の対応点を表す
請求項６記載の３次元画像処理装置。
【請求項８】
前記第２マークは、前記第２撮像手段の光軸を前記第１画像に投影したエピポーラ線を表す
請求項６記載の３次元画像処理装置。
【請求項９】
前記表示手段は、前記第１マークと前記第２マークの位置の相違を表示する
請求項６〜８のうちいずれか１項記載の３次元画像処理装置。
【請求項１０】
複数の撮像装置の光軸の向きを調整する光軸調整方法であって、
撮像装置で対象物を撮像し、
その画像に光学的な中心を表すマークを合成して表示し、
各撮像装置に係るマークを参照して、全てのマークが前記対象物上の同一点に重なるように各撮像装置の向きを調整する
光軸調整方法。
【請求項１１】
複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置が、
前記撮像装置から画像を取得し、
前記記憶装置から光学的な中心を読み込み、
各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマ
ークとを前記表示部に合成表示する
光軸調整支援方法。
【請求項１】
複数の画像から対象物の３次元情報を取得する３次元画像処理装置であって、
複数の撮像手段と、
前記撮像手段によって撮像される画像の光学的な中心を各撮像手段について記憶する記憶手段と、
前記撮像手段から得られた画像に、光学的な中心を表すマークを合成して表示する表示手段と、
を備える３次元画像処理装置。
【請求項２】
前記撮像手段は、複数の焦点距離を有し、
前記記憶手段は、各焦点距離について画像の光学的な中心を記憶している
請求項１記載の３次元画像処理装置。
【請求項３】
前記表示手段は、前記マークを含む部分を拡大表示する
請求項１または２記載の３次元画像処理装置。
【請求項４】
前記表示手段は、撮像手段ごとに、マークが合成された画像を表示する
請求項１〜３のうちいずれか１項記載の３次元画像処理装置。
【請求項５】
前記表示手段は、１つの画像に複数の撮像手段に係るマークを合成表示する
請求項１〜３のうちいずれか１項記載の３次元画像処理装置。
【請求項６】
前記表示手段は、第１撮像手段から得られた第１画像に、第１画像の光学的な中心を表す第１マークと、第２撮像手段から得られた第２画像の光学的な中心を前記第１画像上へ投影した情報を表す第２マークとを合成して表示する
請求項５記載の３次元画像処理装置。
【請求項７】
前記第２マークは、前記第２画像の光学的な中心に写っている像の対応点を表す
請求項６記載の３次元画像処理装置。
【請求項８】
前記第２マークは、前記第２撮像手段の光軸を前記第１画像に投影したエピポーラ線を表す
請求項６記載の３次元画像処理装置。
【請求項９】
前記表示手段は、前記第１マークと前記第２マークの位置の相違を表示する
請求項６〜８のうちいずれか１項記載の３次元画像処理装置。
【請求項１０】
複数の撮像装置の光軸の向きを調整する光軸調整方法であって、
撮像装置で対象物を撮像し、
その画像に光学的な中心を表すマークを合成して表示し、
各撮像装置に係るマークを参照して、全てのマークが前記対象物上の同一点に重なるように各撮像装置の向きを調整する
光軸調整方法。
【請求項１１】
複数の撮像装置と、前記撮像装置によって撮像される画像の光学的な中心を各撮像装置について記憶する記憶装置と、表示部と、が接続された処理装置が、
前記撮像装置から画像を取得し、
前記記憶装置から光学的な中心を読み込み、
各撮像装置の光軸の向き調整を支援するために、前記画像と前記光学的な中心を表すマ
ークとを前記表示部に合成表示する
光軸調整支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−１７６３２（Ｐ２００６−１７６３２Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９７０６１（Ｐ２００４−１９７０６１）
【出願日】平成１６年７月２日（２００４．７．２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年７月２日（２００４．７．２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]