情報処理装置、情報処理方法
【課題】 パターン画像を高速に投影して撮像する為の技術を提供すること。
【解決手段】 ストライプ状の模様が記されたパターン画像を定期的に送信するＰＣ２０１から、該パターン画像を受信する。パターン画像の送信周期内に、パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される投影画像を投影部２０７に入力する。投影部２０７が投影画像を投影する毎に、該投影のタイミングでカメラ１０３に撮像させる。
【解決手段】 ストライプ状の模様が記されたパターン画像を定期的に送信するＰＣ２０１から、該パターン画像を受信する。パターン画像の送信周期内に、パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される投影画像を投影部２０７に入力する。投影部２０７が投影画像を投影する毎に、該投影のタイミングでカメラ１０３に撮像させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン画像を投影し、投影したパターン画像を撮影することによって物体表面の３次元形状を計測する為の技術に関するものである。
【背景技術】
【０００２】
近年は、生産現場において組立の自動化が進み、ロボットによって製品の組立が行われている。製品に使用される部品には様々な形状があり、組立を行うにはロボットに部品形状を認識させ、把持させなければならない。また、ロボットによる組立作業を高速化するためには、部品形状を高速に認識することが必要となる。特許文献１には、投影するパターン画像を減らして高速化する手法が開示されている。また、特許文献２には、振動による計測誤差を小さくするために、同じパターンを繰り返し投影し、高速に撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７-１３９４２８公報
【特許文献２】特登録０４３９１１３７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３次元距離計測装置において、短時間での計測を行うことが望まれている。３次元距離計測を行う手法として、アクティブに投影パターンを変えて距離情報を取得する手法は公知の技術であり、アクティブに投影パターンを変えることは、空間変調器である小型パネルを搭載したプロジェクタを用いることで可能である。
【０００５】
プロジェクタは映像鑑賞用が一般的であり、用いられている小型パネルには、近年では１２０ｆｐｓ（フレーム毎秒）対応のパネルも使用されているが、プロジェクタが受け付ける映像信号は６０fpsであるのが一般的である。そのため、高速化には専用の映像制御回路を作製する必要がある。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、パターン画像を高速に投影して撮像する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。即ち、入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置であって、ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信手段と、前記外部装置による前記パターン画像の送信周期内に、前記パターン画像における水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力手段と、前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、パターン画像を高速に投影して撮像することができる。
【図面の簡単な説明】
【０００９】
【図１】３次元形状計測装置の構成例を示すブロック図。
【図２】３次元形状測定装置１０１のより詳細な構成を示すブロック図。
【図３】Ｒパターン画像を示す図。
【図４】Ｇパターン画像を示す図。
【図５】Ｂパターン画像を示す図。
【図６】３次元形状測定装置１０１のより詳細な構成を示すブロック図。
【図７】投影部２０７によるパターン画像の切替えと撮像のタイミングチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
先ず、本実施形態に係る情報処理装置として機能する３次元形状測定装置１０１の構成例について、図１のブロック図を用いて説明する。本実施形態に係る３次元形状測定装置１０１は、形状を測定する被測定物に縞状の、いわゆるストライプパターンのパターン画像を投影するプロジェクタ１０２と、投影したパターン画像（投影パターン画像）を撮像する撮像部であるカメラ１０３と、を有する。３次元形状測定装置１０１は、カメラ１０３により撮像された画像から、三角測量の原理に基づいて被測定物の表面形状を計測する。
【００１２】
本実施形態では、それぞれ幅の異なるストライプパターンをプロジェクタ１０２で投影し、投影像であるそれぞれのストライプパターンをカメラ１０３で撮像し、撮像した画像から場所毎に符号化する空間符号化に適した３次元形状計測技術を説明する。
【００１３】
次に、３次元形状測定装置１０１のより詳細な構成について、図２のブロック図を用いて説明する。プロジェクタ１０２には、上記のようなパターン画像を生成し、生成したパターン画像を定期的に送信する、外部装置としてのＰＣ（パーソナルコンピュータ）２０１が接続されている。
【００１４】
パターン画像は映像信号２０２としてＰＣ２０１からプロジェクタ１０２に送信され、この映像信号はプロジェクタ１０２内の不図示のＡ／Ｄ変換器などにより画像データ２０４に変換され、記憶部２０３に格納される。
【００１５】
なお、本実施形態では、パターン画像はＰＣ２０１が生成するものとして説明するが、信号発生器等のパターン画像発生器や同様の機能を有した装置を用いてパターン画像を生成しても良い。もちろん、このような装置はプロジェクタ１０２の外部に設けても良いし、プロジェクタ１０２の内部に設けても良く、プロジェクタ１０２がパターン画像を取得できるのであれば、様々な形態を採用しても良い。
【００１６】
プロジェクタ１０２は、２次元空間変調器であるパネル２０５と、投影レンズ２０６と、不図示の照明部と、で構成される二点鎖線で示す投影部２０７を有している。パネル２０５にはDMD（Digital Mirror Device）が使用されており、入力する画像に応じた任意のパターン画像が表示できる。特にDMDはパターン切り替えの応答性に優れており、３６０fpsでのパターン切り替えはもとより、５４０fpsや、さらに高速で切り換えることが可能な応答性を有している。パネル２０５は前述したDMD以外でも、強誘電液晶のような同様の機能を有するものであれば、如何なるデバイスであっても良い。本実施形態では、パネル２０５の解像度はSVGAとし、水平方向に８００画素、垂直方向に６００画素を有するものとする。パネル２０５は、不図示の光源によって照明され、投影レンズ２０６を介して、パネル２０５に表示されたパターン画像が投影部２０７から投影される。投影対象はもちろん、３次元形状測を測定する対象となる物体である。
【００１７】
カメラ１０３の解像度は、パネル２０５の解像度の２倍以上が望ましい。そのため、本実施形態では、カメラ１０３の解像度は１６００×１２００ピクセルを有する１９２万画素の撮像素子を用いている。撮像素子には広く知られているCCD（Charge Coupled Device Image Sensor）やCMOS（Complementary Metal Oxide Semiconductor）を用いれば良い。しかし、同様の機能を有するものであれば、この限りでない。
【００１８】
制御部２０９は、プロジェクタ１０２を構成する各部の動作制御、及びカメラ１０３の動作制御を行う。制御部２０９の動作については、以下に詳細に説明する。
【００１９】
次に、ＰＣ２０１よりパターン画像が３次元形状測定装置１０１に送られてから、カメラ１０３で投影部２０７から投影される投影パターン画像を撮像するまでの流れについて説明する。
【００２０】
ＰＣ２０１側で生成されたパターン画像は、映像信号２０２として６０fpsの周期で３次元形状測定装置１０１に送信される。なお、このＰＣ２０１側で生成されるパターン画像の解像度は、パネル２０５の解像度と同じとする。通常は信号を変換させる必要をなくすために、それぞれの解像度を合わせておくことが一般的である。しかし、それぞれの解像度が異なる場合であっても良く、その場合、ＰＣ２０１側で生成されたパターン画像の解像度をスケーラーチップ等を用いて解像度変換させても良い。
【００２１】
ここで、Ｒ（赤）成分の信号のみで作成されたパターン画像（Ｒパターン画像）、Ｇ（緑）成分の信号のみで作成されたパターン画像（Ｇパターン画像）、Ｂ（青）成分の信号のみで作成されたパターン画像（Ｂパターン画像）をそれぞれ、図３，４，５に示す。ＰＣ２０１からは、Ｒパターン画像、Ｇパターン画像、Ｂパターン画像がパラレルで送信されるため、この３枚のパターン画像が同時にＰＣ２０１から３次元形状測定装置１０１に送信されることになる。
【００２２】
ＰＣ２０１から映像信号２０２として送信された３枚のパターン画像は、何れも画像データ２０４としてプロジェクタ１０２が有する記憶部２０３内の対応するメモリ領域に記録される。以下では、Ｒパターン画像の画像データを記録するためのメモリ領域をＲ領域、Ｇパターン画像の画像データを記録するためのメモリ領域をＧ領域、Ｂパターン画像の画像データを記録するためのメモリ領域をＢ領域と呼称する。
【００２３】
なお、ＰＣ２０１からはこのような３枚のパターン画像が映像信号２０２として６０fpsの周期で送信されると共に、第１のV-sync２０８が送信される。制御部２０９は、この第１のV-sync２０８を受信すると、制御信号２１０を記憶部２０３に対して送出し、Ｒ領域、Ｇ領域、Ｂ領域のそれぞれに記録されている画像データを以下に説明する手順で投影部２０７に対して送出する。
【００２４】
なお、本実施形態では、制御部２０９は、第１のV-sync２０８を受信すると記憶部２０３からパターン画像を送出するものとして説明するが、V-syncに限らず、H-syncを受信すると記憶部２０３からパターン画像を送出するようにしても良い。また、その他にも、パターン画像がPC２０１から送られることを示すタイミング信号であれば良い。
【００２５】
次に、記憶部２０３から投影部２０７に対してパターン画像を送出する方法について説明する。空間符号化で用いるパターン画像にはストライプ状の模様が記されており、図３〜５に示す如く、何れのパターン画像も、２つのパターン画像から成る。
【００２６】
Ｒパターン画像の場合、図３に示す如く、上半分の領域のパターン画像Ｒ１と下半分のパターン画像Ｒ２と、から成る。図３において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｒ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｒ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｒ１，パターン画像Ｒ２の何れも、Y方向の画素値は同じである。
【００２７】
Ｇパターン画像の場合、図４に示す如く、上半分の領域のパターン画像Ｇ１と下半分のパターン画像Ｇ２と、から成る。図４において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｇ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｇ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｇ１，パターン画像Ｇ２の何れも、Y方向の画素値は同じである。
【００２８】
Ｂパターン画像の場合、図５に示す如く、上半分の領域のパターン画像Ｂ１と下半分のパターン画像Ｂ２と、から成る。図５において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｂ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｂ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｂ１，パターン画像Ｂ２の何れも、Y方向の画素値は同じである。
【００２９】
即ち、記憶部２０３には、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像が格納されていることになる。本実施形態では、この６枚のパターン画像を、パターン画像R１、R２、G１、G２、B１、B２の順で投影部２０７に送出する。
【００３０】
制御部２０９は、ＰＣ２０１から第１のV-sync２０８を受信すると、先ずは記憶部２０３からパターン画像Ｒ１を読み出して投影部２０７に対して送出する。上記のように、本実施形態ではパネル２０５は８００×６００ピクセルのSVGAの解像度を有している。一方、パターン画像Ｒ１の水平方向の画素数は、パネル２０５の水平方向の画素数と等しいが、パターン画像Ｒ１の垂直方向の画素数は、パネル２０５の垂直方向の画素数の半分である。そのため、制御部２０９は、パターン画像Ｒ１を投影部２０７に送出した後、更にもう一度このパターン画像Ｒ１を投影部２０７に送出する。即ち、Ｒ領域の１ライン目から３００ライン目までのデータ（パターン画像Ｒ１）を読み出して投影部２０７に送出した後、再度、Ｒ領域の１ライン目から３００ライン目までのデータ（パターン画像Ｒ１）を読み出して投影部２０７に送出する。このように、１ライン目から３００ライン目のパターン画像Ｒ１を２回投影部２０７に送信することで、パターン画像Ｒ１を縦に２個繋げたパターン画像（Y方向に６００ライン分のパターン画像）を投影部２０７に送信することが可能になる。
【００３１】
次に制御部２０９は、記憶部２０３からパターン画像Ｒ２を読み出して投影部２０７に対して送出する。このときもパターン画像Ｒ１と同様、パターン画像Ｒ２を２回投影部２０７に対して送信する。即ち、Ｒ領域の３０１ライン目から６００ライン目までのデータ（パターン画像Ｒ２）を読み出して投影部２０７に送出した後、再度、Ｒ領域の３０１ライン目から６００ライン目までのデータ（パターン画像Ｒ２）を読み出して投影部２０７に送出する。これより、パターン画像Ｒ１を送信したのと同様に、パターン画像Ｒ２においても、パターン画像Ｒ２を縦に２個繋げたパターン画像（６００ライン分のパターン画像）を記憶部２０３から投影部２０７に送信することが可能となる。
【００３２】
そして以降も同様にして、パターン画像Ｇ１，Ｇ２，Ｂ１，Ｂ２のそれぞれを記憶部２０３から読み出して投影部２０７に送出する。なお、６枚のパターン画像の送信順序は上記の順序に限定するものではなく、パターン画像R１、G１、B１、R２、G２、B２のような順序でも良い。即ち、６枚のパターン画像の送信順序は如何なる順序であっても良い。
【００３３】
なお、上記の例では、３枚のパターン画像から６枚のパターン画像を用意し、更に６枚のパターン画像のそれぞれを２回読み出して８００×６００ピクセルのパターン画像を投影部２０７に送出した。しかし、３枚のパターン画像から他の方法により８００×６００ピクセルのパターン画像を用意しても良い。
【００３４】
例えば、パターン画像Ｒ（、Ｇ、Ｂ）の１ライン目を６００回読み出して投影部２０７に送出することで、結果として、読み出したラインを垂直方向に６００ライン分並べた８００×６００ピクセルのパターン画像を投影部２０７に送出しても良い。この場合、１枚のパターン画像からそのライン数分のパターン画像を生成できるため、本実施形態のように、１枚のパターン画像から２枚のパターン画像を作成するよりも多くのパターン画像を生成することができる。
【００３５】
更には、Ｒ領域、Ｇ領域、Ｂ領域の各領域に記憶されているパターン画像から、任意のラインを投影部２０７に送信することで、多種多様なパターン画像を再作成して送ることも可能である。
【００３６】
ようは、ＰＣ２０１によるパターン画像の送信周期内に、パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、パターン画像と同サイズの画像を投影画像として投影部２０７に入力する。
【００３７】
前述したように、PC２０１からは６０fpsの周期で３次元形状測定装置１０１の記憶部２０３に６枚のパターン画像が送られてくるために、記憶部２０３から投影部２０７には３６０fpsの周期でパターン画像を送信することになる。したがって、PC２０１から一般的な映像信号２０２である６０fpsの周期でパターン画像が３次元形状測定装置１０１に送られても、３次元形状測定装置１０１では３６０fpsの周期で計測することが可能となる。
【００３８】
次に、カメラ１０３の動作について説明する。３次元形状測定装置１０１は、投影部２０７による投影のタイミングに合わせて投影パターン画像を撮像する必要がある。ＰＣ２０１からの第１のV-sync２０８に同期を合わせ、第１のV-sync２０８の送信周期を、送信周期間に投影部２０７が投影する投影パターン画像の枚数（上記の場合６枚）に等間隔に分割した時間間隔で繰り返し撮像しても良い。
【００３９】
撮像周期が６０fps程度であれば、前述した手法でも、同期ずれの誤差は全体に占める割合が小さいために、あまり問題にならない。しかし、３６０fpsや、更に高速にパターン画像を切り換えて投影し、投影タイミングに同期を合わせて撮像を正確に行う為には、同期ずれの誤差が問題になる。そのため、パターン画像が投影されるタイミングに対して、高精度に同期を合わせる必要がある。そのための手法について説明する。
【００４０】
制御部２０９は、パネル２０５に表示するパターン画像を切り替えさせるための第２のV-sync２１１を生成し、パネル２０５及びカメラ１０３に対して送出する。パネル２０５は、この第２のV-sync２１１を受けると、現在表示しているパターン画像を、次に記憶部２０３から出力されたパターン画像に切り替える。一方、カメラ１０３は、第２のV-sync２１１を受けると、この受けたタイミングで撮像を行う。即ち、パネル２０５及びカメラ１０３は、第２のV-sync２１１と同期して動作するため、結果として、投影部２０７による投影タイミングに合わせてカメラ１０３は撮像を行うことができる。これにより、投影部２０７で高速にパターン画像を切り換えて投影しても、精度良く同期を合わせてカメラ１０３で撮像することが可能となる。
【００４１】
以上の説明により、本実施形態によれば、３次元形状測定装置１０１に入力されるパターン画像から複数枚のパターン画像を作成することによって、高速にパターン画像を切り換えて投影し、撮像することができる。
【００４２】
［第２の実施形態］
本実施形態に係る３次元形状測定装置は、図６に示す如く、第１の実施形態の３次元形状測定装置１０１が有する記憶部２０３を記憶部６０１に置き換えたものである。図６において、図２に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。以下では、第１の実施形態と異なる点のみについて説明する。
【００４３】
記憶部６０１は、SVGAの解像度である８００×６００ピクセルのパターン画像を６枚分記憶できる容量を有しており、記憶部２０３の２倍の記憶領域を有する。より具体的には、Ｒ領域、Ｇ領域、Ｂ領域のそれぞれの記憶容量が第１の実施形態の倍となっている。なお、記憶部６０１の代わりに、記憶部２０３を２個用意しても良い。
【００４４】
ＰＣ２０１からは第１の実施形態と同様に３枚のパターン画像が映像信号２０２として６０fpsの周期で送信されると共に、第１のV-sync２０８が送信される。制御部２０９は、この第１のV-sync２０８を受信すると、制御信号２１０を記憶部６０１に対して送出し、記憶部６０１に格納されている画像データを以下に説明する手順で投影部２０７に対して送出する。
【００４５】
次に、ＰＣ２０１から送出されたＲパターン画像、Ｇパターン画像、Ｂパターン画像のそれぞれを記憶部６０１に格納するために制御部２０９が行う処理について説明する。なお、Ｒパターン画像、Ｇパターン画像、Ｂパターン画像は第１の実施形態で説明したものと同じであり、それぞれ図３〜５に示す如く、２つのパターン画像から成る。
【００４６】
Ｒパターン画像をＲ領域に格納する場合、制御部２０９は、Ｒパターン画像の１ライン目から３００ライン目までのデータをＲ領域内のＲ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｒ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＲ１領域内に格納することになる。次に制御部２０９は、Ｒパターン画像の３０１ライン目から６００ライン目までのデータをＲ領域内のＲ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｒ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＲ２領域内に格納することになる。
【００４７】
Ｇパターン画像をＧ領域に格納する場合、制御部２０９は、Ｇパターン画像の１ライン目から３００ライン目までのデータをＧ領域内のＧ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｇ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＧ１領域内に格納することになる。次に制御部２０９は、Ｇパターン画像の３０１ライン目から６００ライン目までのデータをＧ領域内のＧ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｇ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＧ２領域内に格納することになる。
【００４８】
Ｂパターン画像をＢ領域に格納する場合、制御部２０９は、Ｂパターン画像の１ライン目から３００ライン目までのデータをＢ領域内のＢ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｂ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＢ１領域内に格納することになる。次に制御部２０９は、Ｂパターン画像の３０１ライン目から６００ライン目までのデータをＢ領域内のＢ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｂ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＢ２領域内に格納することになる。
【００４９】
これにより、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像を、８００×６００ピクセルのパターン画像として記憶部６０１に格納することができる。
【００５０】
なお、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像を、８００×６００ピクセルのパターン画像として記憶部６０１に格納させる為の方法としては、様々な方法が考え得る。
【００５１】
例えばＲパターン画像をＲ領域に格納する場合、Ｒパターン画像の１ライン目から３００ライン目までのデータをＲ領域内のＲ１領域内の奇数ライン（１ライン目、３ライン目、…、５９７ライン目、５９９ライン目）用の領域に格納する。更にＲパターン画像の１ライン目から３００ライン目までのデータをＲ１領域内の偶数ライン（２ライン目、４ライン目、…、５９８ライン目、６００ライン目）用の領域に格納する。即ち、同じラインを２回ずつ格納する。次に、Ｒパターン画像の３０１ライン目から６００ライン目までのデータをＲ領域内のＲ２領域内の奇数ライン用の領域、偶数ライン用の領域に格納する。これをＧパターン画像、Ｂパターン画像についても同様にして行う。
【００５２】
また、このほかの方法としては、１ライン目だけをパネル２０５の垂直方向の解像度と合うように繰り返して記憶させるようにしても良い。具体的には、本実施形態におけるパネル２０５の垂直方向の解像度を用いると、パターン画像の１ライン目を６００回繰り返して記憶させる。この場合、本実施形態のようにパターン画像を１つのパターン画像から２枚を作成するだけでなく、ＰＣ２０１から送られるパターン画像のライン数分だけ、パターン画像を作成することが可能となる。
【００５３】
そして、記憶部２０３から投影部２０７に対してパターン画像を送出する際には、パターン画像R１、R２、G１、G２、B１、B２の順で投影部２０７に送出する。もちろん、送出順についてはこれに限るものではない。以降については第１の実施形態と同じである。
【００５４】
［第３の実施形態］
本実施形態では、次の点のみが第１の実施形態と異なる。即ち、本実施形態では、投影部２０７から投影するパターン画像の切り換え速度が１８０fpsで、カメラ１０３の撮像周期が１２０fpsとする。
【００５５】
本実施形態においても、ＰＣ２０１からは６０ｆｐｓの周期で３枚のパターン画像が３次元形状測定装置１０１に対して送信される。ここではＲパターン画像を第１のパターン画像、Ｇパターン画像を第２のパターン画像、Ｂパターン画像をブランクの画像である第３のパターン画像と呼称する。然るに記憶部２０３には、ブランクの画像も含め、３枚のパターン画像が格納されることになる。
【００５６】
そして第１の実施形態と同様、制御部２０９は第１のV-sync２０８を受信すると、制御信号２１０を記憶部２０３に対して送出し、パターン画像を投影部２０７に対して送出する。更に制御部２０９は第１の実施形態と同様、第２のV-sync２１１をパネル２０５及びカメラ１０３に対して送出する。
【００５７】
PC２０１からは６０fpsの周期で３枚のパターン画像が送られてくるため、記憶部２０３から投影部２０７へは３倍の１８０fpsでパターン画像が送られ、投影部２０７より投影される。本実施形態では、前述したようにカメラ１０３の撮像速度は１２０fpsであり、投影部２０７より投影されるパターン画像の切り換わる周期と異なるため、同期合わせの精度が必要となる。
【００５８】
投影部２０７によるパターン画像の切替えと撮像のタイミングチャートを図７に示す。投影部２０７において第１のパターン画像を投影している際、カメラ１０３は制御部２０９から送出された第２のV-sync２１１を受信すると同時に撮像を開始すればよい。しかし、カメラ１０３は１２０fpsでしか撮像することができないために、投影部２０７が第２のパターン画像を投影する第２のV-sync２１１に対して、２.７７７ms遅延して撮像することになる。PC２０１からパターン画像と共に送られる第１のV-sync２０８とカメラ１０３の撮像タイミングの同期を合わせることも可能である。しかし本実施形態のように、制御部２０９で作成される第２のV-sync２１１からカメラ１０３の撮像タイミングの同期を合わせることで、投影部２０７によるパターン画像の切り換わりとカメラ１０３の撮像タイミングを精度良く合わせることができる。
【００５９】
以上の説明では、投影部２０７におけるパターン画像の切り換え速度が１８０fpsで、カメラ１０３の撮像周期を１２０fpsとしたが、それぞれの速度はこの限りでない。さらに高速に切り換えを行う場合や、高速に撮像する場合において、より効果が大きくなる。
【００６０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、パターン画像を投影し、投影したパターン画像を撮影することによって物体表面の３次元形状を計測する為の技術に関するものである。
【背景技術】
【０００２】
近年は、生産現場において組立の自動化が進み、ロボットによって製品の組立が行われている。製品に使用される部品には様々な形状があり、組立を行うにはロボットに部品形状を認識させ、把持させなければならない。また、ロボットによる組立作業を高速化するためには、部品形状を高速に認識することが必要となる。特許文献１には、投影するパターン画像を減らして高速化する手法が開示されている。また、特許文献２には、振動による計測誤差を小さくするために、同じパターンを繰り返し投影し、高速に撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７-１３９４２８公報
【特許文献２】特登録０４３９１１３７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３次元距離計測装置において、短時間での計測を行うことが望まれている。３次元距離計測を行う手法として、アクティブに投影パターンを変えて距離情報を取得する手法は公知の技術であり、アクティブに投影パターンを変えることは、空間変調器である小型パネルを搭載したプロジェクタを用いることで可能である。
【０００５】
プロジェクタは映像鑑賞用が一般的であり、用いられている小型パネルには、近年では１２０ｆｐｓ（フレーム毎秒）対応のパネルも使用されているが、プロジェクタが受け付ける映像信号は６０fpsであるのが一般的である。そのため、高速化には専用の映像制御回路を作製する必要がある。
【０００６】
本発明は以上の問題に鑑みてなされたものであり、パターン画像を高速に投影して撮像する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。即ち、入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置であって、ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信手段と、前記外部装置による前記パターン画像の送信周期内に、前記パターン画像における水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力手段と、前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、パターン画像を高速に投影して撮像することができる。
【図面の簡単な説明】
【０００９】
【図１】３次元形状計測装置の構成例を示すブロック図。
【図２】３次元形状測定装置１０１のより詳細な構成を示すブロック図。
【図３】Ｒパターン画像を示す図。
【図４】Ｇパターン画像を示す図。
【図５】Ｂパターン画像を示す図。
【図６】３次元形状測定装置１０１のより詳細な構成を示すブロック図。
【図７】投影部２０７によるパターン画像の切替えと撮像のタイミングチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
先ず、本実施形態に係る情報処理装置として機能する３次元形状測定装置１０１の構成例について、図１のブロック図を用いて説明する。本実施形態に係る３次元形状測定装置１０１は、形状を測定する被測定物に縞状の、いわゆるストライプパターンのパターン画像を投影するプロジェクタ１０２と、投影したパターン画像（投影パターン画像）を撮像する撮像部であるカメラ１０３と、を有する。３次元形状測定装置１０１は、カメラ１０３により撮像された画像から、三角測量の原理に基づいて被測定物の表面形状を計測する。
【００１２】
本実施形態では、それぞれ幅の異なるストライプパターンをプロジェクタ１０２で投影し、投影像であるそれぞれのストライプパターンをカメラ１０３で撮像し、撮像した画像から場所毎に符号化する空間符号化に適した３次元形状計測技術を説明する。
【００１３】
次に、３次元形状測定装置１０１のより詳細な構成について、図２のブロック図を用いて説明する。プロジェクタ１０２には、上記のようなパターン画像を生成し、生成したパターン画像を定期的に送信する、外部装置としてのＰＣ（パーソナルコンピュータ）２０１が接続されている。
【００１４】
パターン画像は映像信号２０２としてＰＣ２０１からプロジェクタ１０２に送信され、この映像信号はプロジェクタ１０２内の不図示のＡ／Ｄ変換器などにより画像データ２０４に変換され、記憶部２０３に格納される。
【００１５】
なお、本実施形態では、パターン画像はＰＣ２０１が生成するものとして説明するが、信号発生器等のパターン画像発生器や同様の機能を有した装置を用いてパターン画像を生成しても良い。もちろん、このような装置はプロジェクタ１０２の外部に設けても良いし、プロジェクタ１０２の内部に設けても良く、プロジェクタ１０２がパターン画像を取得できるのであれば、様々な形態を採用しても良い。
【００１６】
プロジェクタ１０２は、２次元空間変調器であるパネル２０５と、投影レンズ２０６と、不図示の照明部と、で構成される二点鎖線で示す投影部２０７を有している。パネル２０５にはDMD（Digital Mirror Device）が使用されており、入力する画像に応じた任意のパターン画像が表示できる。特にDMDはパターン切り替えの応答性に優れており、３６０fpsでのパターン切り替えはもとより、５４０fpsや、さらに高速で切り換えることが可能な応答性を有している。パネル２０５は前述したDMD以外でも、強誘電液晶のような同様の機能を有するものであれば、如何なるデバイスであっても良い。本実施形態では、パネル２０５の解像度はSVGAとし、水平方向に８００画素、垂直方向に６００画素を有するものとする。パネル２０５は、不図示の光源によって照明され、投影レンズ２０６を介して、パネル２０５に表示されたパターン画像が投影部２０７から投影される。投影対象はもちろん、３次元形状測を測定する対象となる物体である。
【００１７】
カメラ１０３の解像度は、パネル２０５の解像度の２倍以上が望ましい。そのため、本実施形態では、カメラ１０３の解像度は１６００×１２００ピクセルを有する１９２万画素の撮像素子を用いている。撮像素子には広く知られているCCD（Charge Coupled Device Image Sensor）やCMOS（Complementary Metal Oxide Semiconductor）を用いれば良い。しかし、同様の機能を有するものであれば、この限りでない。
【００１８】
制御部２０９は、プロジェクタ１０２を構成する各部の動作制御、及びカメラ１０３の動作制御を行う。制御部２０９の動作については、以下に詳細に説明する。
【００１９】
次に、ＰＣ２０１よりパターン画像が３次元形状測定装置１０１に送られてから、カメラ１０３で投影部２０７から投影される投影パターン画像を撮像するまでの流れについて説明する。
【００２０】
ＰＣ２０１側で生成されたパターン画像は、映像信号２０２として６０fpsの周期で３次元形状測定装置１０１に送信される。なお、このＰＣ２０１側で生成されるパターン画像の解像度は、パネル２０５の解像度と同じとする。通常は信号を変換させる必要をなくすために、それぞれの解像度を合わせておくことが一般的である。しかし、それぞれの解像度が異なる場合であっても良く、その場合、ＰＣ２０１側で生成されたパターン画像の解像度をスケーラーチップ等を用いて解像度変換させても良い。
【００２１】
ここで、Ｒ（赤）成分の信号のみで作成されたパターン画像（Ｒパターン画像）、Ｇ（緑）成分の信号のみで作成されたパターン画像（Ｇパターン画像）、Ｂ（青）成分の信号のみで作成されたパターン画像（Ｂパターン画像）をそれぞれ、図３，４，５に示す。ＰＣ２０１からは、Ｒパターン画像、Ｇパターン画像、Ｂパターン画像がパラレルで送信されるため、この３枚のパターン画像が同時にＰＣ２０１から３次元形状測定装置１０１に送信されることになる。
【００２２】
ＰＣ２０１から映像信号２０２として送信された３枚のパターン画像は、何れも画像データ２０４としてプロジェクタ１０２が有する記憶部２０３内の対応するメモリ領域に記録される。以下では、Ｒパターン画像の画像データを記録するためのメモリ領域をＲ領域、Ｇパターン画像の画像データを記録するためのメモリ領域をＧ領域、Ｂパターン画像の画像データを記録するためのメモリ領域をＢ領域と呼称する。
【００２３】
なお、ＰＣ２０１からはこのような３枚のパターン画像が映像信号２０２として６０fpsの周期で送信されると共に、第１のV-sync２０８が送信される。制御部２０９は、この第１のV-sync２０８を受信すると、制御信号２１０を記憶部２０３に対して送出し、Ｒ領域、Ｇ領域、Ｂ領域のそれぞれに記録されている画像データを以下に説明する手順で投影部２０７に対して送出する。
【００２４】
なお、本実施形態では、制御部２０９は、第１のV-sync２０８を受信すると記憶部２０３からパターン画像を送出するものとして説明するが、V-syncに限らず、H-syncを受信すると記憶部２０３からパターン画像を送出するようにしても良い。また、その他にも、パターン画像がPC２０１から送られることを示すタイミング信号であれば良い。
【００２５】
次に、記憶部２０３から投影部２０７に対してパターン画像を送出する方法について説明する。空間符号化で用いるパターン画像にはストライプ状の模様が記されており、図３〜５に示す如く、何れのパターン画像も、２つのパターン画像から成る。
【００２６】
Ｒパターン画像の場合、図３に示す如く、上半分の領域のパターン画像Ｒ１と下半分のパターン画像Ｒ２と、から成る。図３において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｒ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｒ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｒ１，パターン画像Ｒ２の何れも、Y方向の画素値は同じである。
【００２７】
Ｇパターン画像の場合、図４に示す如く、上半分の領域のパターン画像Ｇ１と下半分のパターン画像Ｇ２と、から成る。図４において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｇ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｇ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｇ１，パターン画像Ｇ２の何れも、Y方向の画素値は同じである。
【００２８】
Ｂパターン画像の場合、図５に示す如く、上半分の領域のパターン画像Ｂ１と下半分のパターン画像Ｂ２と、から成る。図５において横方向をX方向とし、縦方向をY方向とすると、パターン画像Ｂ１は１ライン目（最上ライン）から３００ライン目までの領域内の画像、パターン画像Ｂ２は３０１ライン目から６００ライン目（最下ライン）までの領域内の画像となる。パターン画像Ｂ１，パターン画像Ｂ２の何れも、Y方向の画素値は同じである。
【００２９】
即ち、記憶部２０３には、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像が格納されていることになる。本実施形態では、この６枚のパターン画像を、パターン画像R１、R２、G１、G２、B１、B２の順で投影部２０７に送出する。
【００３０】
制御部２０９は、ＰＣ２０１から第１のV-sync２０８を受信すると、先ずは記憶部２０３からパターン画像Ｒ１を読み出して投影部２０７に対して送出する。上記のように、本実施形態ではパネル２０５は８００×６００ピクセルのSVGAの解像度を有している。一方、パターン画像Ｒ１の水平方向の画素数は、パネル２０５の水平方向の画素数と等しいが、パターン画像Ｒ１の垂直方向の画素数は、パネル２０５の垂直方向の画素数の半分である。そのため、制御部２０９は、パターン画像Ｒ１を投影部２０７に送出した後、更にもう一度このパターン画像Ｒ１を投影部２０７に送出する。即ち、Ｒ領域の１ライン目から３００ライン目までのデータ（パターン画像Ｒ１）を読み出して投影部２０７に送出した後、再度、Ｒ領域の１ライン目から３００ライン目までのデータ（パターン画像Ｒ１）を読み出して投影部２０７に送出する。このように、１ライン目から３００ライン目のパターン画像Ｒ１を２回投影部２０７に送信することで、パターン画像Ｒ１を縦に２個繋げたパターン画像（Y方向に６００ライン分のパターン画像）を投影部２０７に送信することが可能になる。
【００３１】
次に制御部２０９は、記憶部２０３からパターン画像Ｒ２を読み出して投影部２０７に対して送出する。このときもパターン画像Ｒ１と同様、パターン画像Ｒ２を２回投影部２０７に対して送信する。即ち、Ｒ領域の３０１ライン目から６００ライン目までのデータ（パターン画像Ｒ２）を読み出して投影部２０７に送出した後、再度、Ｒ領域の３０１ライン目から６００ライン目までのデータ（パターン画像Ｒ２）を読み出して投影部２０７に送出する。これより、パターン画像Ｒ１を送信したのと同様に、パターン画像Ｒ２においても、パターン画像Ｒ２を縦に２個繋げたパターン画像（６００ライン分のパターン画像）を記憶部２０３から投影部２０７に送信することが可能となる。
【００３２】
そして以降も同様にして、パターン画像Ｇ１，Ｇ２，Ｂ１，Ｂ２のそれぞれを記憶部２０３から読み出して投影部２０７に送出する。なお、６枚のパターン画像の送信順序は上記の順序に限定するものではなく、パターン画像R１、G１、B１、R２、G２、B２のような順序でも良い。即ち、６枚のパターン画像の送信順序は如何なる順序であっても良い。
【００３３】
なお、上記の例では、３枚のパターン画像から６枚のパターン画像を用意し、更に６枚のパターン画像のそれぞれを２回読み出して８００×６００ピクセルのパターン画像を投影部２０７に送出した。しかし、３枚のパターン画像から他の方法により８００×６００ピクセルのパターン画像を用意しても良い。
【００３４】
例えば、パターン画像Ｒ（、Ｇ、Ｂ）の１ライン目を６００回読み出して投影部２０７に送出することで、結果として、読み出したラインを垂直方向に６００ライン分並べた８００×６００ピクセルのパターン画像を投影部２０７に送出しても良い。この場合、１枚のパターン画像からそのライン数分のパターン画像を生成できるため、本実施形態のように、１枚のパターン画像から２枚のパターン画像を作成するよりも多くのパターン画像を生成することができる。
【００３５】
更には、Ｒ領域、Ｇ領域、Ｂ領域の各領域に記憶されているパターン画像から、任意のラインを投影部２０７に送信することで、多種多様なパターン画像を再作成して送ることも可能である。
【００３６】
ようは、ＰＣ２０１によるパターン画像の送信周期内に、パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、パターン画像と同サイズの画像を投影画像として投影部２０７に入力する。
【００３７】
前述したように、PC２０１からは６０fpsの周期で３次元形状測定装置１０１の記憶部２０３に６枚のパターン画像が送られてくるために、記憶部２０３から投影部２０７には３６０fpsの周期でパターン画像を送信することになる。したがって、PC２０１から一般的な映像信号２０２である６０fpsの周期でパターン画像が３次元形状測定装置１０１に送られても、３次元形状測定装置１０１では３６０fpsの周期で計測することが可能となる。
【００３８】
次に、カメラ１０３の動作について説明する。３次元形状測定装置１０１は、投影部２０７による投影のタイミングに合わせて投影パターン画像を撮像する必要がある。ＰＣ２０１からの第１のV-sync２０８に同期を合わせ、第１のV-sync２０８の送信周期を、送信周期間に投影部２０７が投影する投影パターン画像の枚数（上記の場合６枚）に等間隔に分割した時間間隔で繰り返し撮像しても良い。
【００３９】
撮像周期が６０fps程度であれば、前述した手法でも、同期ずれの誤差は全体に占める割合が小さいために、あまり問題にならない。しかし、３６０fpsや、更に高速にパターン画像を切り換えて投影し、投影タイミングに同期を合わせて撮像を正確に行う為には、同期ずれの誤差が問題になる。そのため、パターン画像が投影されるタイミングに対して、高精度に同期を合わせる必要がある。そのための手法について説明する。
【００４０】
制御部２０９は、パネル２０５に表示するパターン画像を切り替えさせるための第２のV-sync２１１を生成し、パネル２０５及びカメラ１０３に対して送出する。パネル２０５は、この第２のV-sync２１１を受けると、現在表示しているパターン画像を、次に記憶部２０３から出力されたパターン画像に切り替える。一方、カメラ１０３は、第２のV-sync２１１を受けると、この受けたタイミングで撮像を行う。即ち、パネル２０５及びカメラ１０３は、第２のV-sync２１１と同期して動作するため、結果として、投影部２０７による投影タイミングに合わせてカメラ１０３は撮像を行うことができる。これにより、投影部２０７で高速にパターン画像を切り換えて投影しても、精度良く同期を合わせてカメラ１０３で撮像することが可能となる。
【００４１】
以上の説明により、本実施形態によれば、３次元形状測定装置１０１に入力されるパターン画像から複数枚のパターン画像を作成することによって、高速にパターン画像を切り換えて投影し、撮像することができる。
【００４２】
［第２の実施形態］
本実施形態に係る３次元形状測定装置は、図６に示す如く、第１の実施形態の３次元形状測定装置１０１が有する記憶部２０３を記憶部６０１に置き換えたものである。図６において、図２に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。以下では、第１の実施形態と異なる点のみについて説明する。
【００４３】
記憶部６０１は、SVGAの解像度である８００×６００ピクセルのパターン画像を６枚分記憶できる容量を有しており、記憶部２０３の２倍の記憶領域を有する。より具体的には、Ｒ領域、Ｇ領域、Ｂ領域のそれぞれの記憶容量が第１の実施形態の倍となっている。なお、記憶部６０１の代わりに、記憶部２０３を２個用意しても良い。
【００４４】
ＰＣ２０１からは第１の実施形態と同様に３枚のパターン画像が映像信号２０２として６０fpsの周期で送信されると共に、第１のV-sync２０８が送信される。制御部２０９は、この第１のV-sync２０８を受信すると、制御信号２１０を記憶部６０１に対して送出し、記憶部６０１に格納されている画像データを以下に説明する手順で投影部２０７に対して送出する。
【００４５】
次に、ＰＣ２０１から送出されたＲパターン画像、Ｇパターン画像、Ｂパターン画像のそれぞれを記憶部６０１に格納するために制御部２０９が行う処理について説明する。なお、Ｒパターン画像、Ｇパターン画像、Ｂパターン画像は第１の実施形態で説明したものと同じであり、それぞれ図３〜５に示す如く、２つのパターン画像から成る。
【００４６】
Ｒパターン画像をＲ領域に格納する場合、制御部２０９は、Ｒパターン画像の１ライン目から３００ライン目までのデータをＲ領域内のＲ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｒ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＲ１領域内に格納することになる。次に制御部２０９は、Ｒパターン画像の３０１ライン目から６００ライン目までのデータをＲ領域内のＲ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｒ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＲ２領域内に格納することになる。
【００４７】
Ｇパターン画像をＧ領域に格納する場合、制御部２０９は、Ｇパターン画像の１ライン目から３００ライン目までのデータをＧ領域内のＧ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｇ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＧ１領域内に格納することになる。次に制御部２０９は、Ｇパターン画像の３０１ライン目から６００ライン目までのデータをＧ領域内のＧ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｇ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＧ２領域内に格納することになる。
【００４８】
Ｂパターン画像をＢ領域に格納する場合、制御部２０９は、Ｂパターン画像の１ライン目から３００ライン目までのデータをＢ領域内のＢ１領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｂ１を縦に２個繋げた８００×６００ピクセルのパターン画像をＢ１領域内に格納することになる。次に制御部２０９は、Ｂパターン画像の３０１ライン目から６００ライン目までのデータをＢ領域内のＢ２領域内の「１ライン目から３００ライン目」用の領域、「３０１ライン目から６００ライン目」用の領域に格納する。即ち、パターン画像Ｂ２を縦に２個繋げた８００×６００ピクセルのパターン画像をＢ２領域内に格納することになる。
【００４９】
これにより、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像を、８００×６００ピクセルのパターン画像として記憶部６０１に格納することができる。
【００５０】
なお、パターン画像Ｒ１，Ｒ２，Ｇ１，Ｇ２，Ｂ１，Ｂ２の６枚のパターン画像を、８００×６００ピクセルのパターン画像として記憶部６０１に格納させる為の方法としては、様々な方法が考え得る。
【００５１】
例えばＲパターン画像をＲ領域に格納する場合、Ｒパターン画像の１ライン目から３００ライン目までのデータをＲ領域内のＲ１領域内の奇数ライン（１ライン目、３ライン目、…、５９７ライン目、５９９ライン目）用の領域に格納する。更にＲパターン画像の１ライン目から３００ライン目までのデータをＲ１領域内の偶数ライン（２ライン目、４ライン目、…、５９８ライン目、６００ライン目）用の領域に格納する。即ち、同じラインを２回ずつ格納する。次に、Ｒパターン画像の３０１ライン目から６００ライン目までのデータをＲ領域内のＲ２領域内の奇数ライン用の領域、偶数ライン用の領域に格納する。これをＧパターン画像、Ｂパターン画像についても同様にして行う。
【００５２】
また、このほかの方法としては、１ライン目だけをパネル２０５の垂直方向の解像度と合うように繰り返して記憶させるようにしても良い。具体的には、本実施形態におけるパネル２０５の垂直方向の解像度を用いると、パターン画像の１ライン目を６００回繰り返して記憶させる。この場合、本実施形態のようにパターン画像を１つのパターン画像から２枚を作成するだけでなく、ＰＣ２０１から送られるパターン画像のライン数分だけ、パターン画像を作成することが可能となる。
【００５３】
そして、記憶部２０３から投影部２０７に対してパターン画像を送出する際には、パターン画像R１、R２、G１、G２、B１、B２の順で投影部２０７に送出する。もちろん、送出順についてはこれに限るものではない。以降については第１の実施形態と同じである。
【００５４】
［第３の実施形態］
本実施形態では、次の点のみが第１の実施形態と異なる。即ち、本実施形態では、投影部２０７から投影するパターン画像の切り換え速度が１８０fpsで、カメラ１０３の撮像周期が１２０fpsとする。
【００５５】
本実施形態においても、ＰＣ２０１からは６０ｆｐｓの周期で３枚のパターン画像が３次元形状測定装置１０１に対して送信される。ここではＲパターン画像を第１のパターン画像、Ｇパターン画像を第２のパターン画像、Ｂパターン画像をブランクの画像である第３のパターン画像と呼称する。然るに記憶部２０３には、ブランクの画像も含め、３枚のパターン画像が格納されることになる。
【００５６】
そして第１の実施形態と同様、制御部２０９は第１のV-sync２０８を受信すると、制御信号２１０を記憶部２０３に対して送出し、パターン画像を投影部２０７に対して送出する。更に制御部２０９は第１の実施形態と同様、第２のV-sync２１１をパネル２０５及びカメラ１０３に対して送出する。
【００５７】
PC２０１からは６０fpsの周期で３枚のパターン画像が送られてくるため、記憶部２０３から投影部２０７へは３倍の１８０fpsでパターン画像が送られ、投影部２０７より投影される。本実施形態では、前述したようにカメラ１０３の撮像速度は１２０fpsであり、投影部２０７より投影されるパターン画像の切り換わる周期と異なるため、同期合わせの精度が必要となる。
【００５８】
投影部２０７によるパターン画像の切替えと撮像のタイミングチャートを図７に示す。投影部２０７において第１のパターン画像を投影している際、カメラ１０３は制御部２０９から送出された第２のV-sync２１１を受信すると同時に撮像を開始すればよい。しかし、カメラ１０３は１２０fpsでしか撮像することができないために、投影部２０７が第２のパターン画像を投影する第２のV-sync２１１に対して、２.７７７ms遅延して撮像することになる。PC２０１からパターン画像と共に送られる第１のV-sync２０８とカメラ１０３の撮像タイミングの同期を合わせることも可能である。しかし本実施形態のように、制御部２０９で作成される第２のV-sync２１１からカメラ１０３の撮像タイミングの同期を合わせることで、投影部２０７によるパターン画像の切り換わりとカメラ１０３の撮像タイミングを精度良く合わせることができる。
【００５９】
以上の説明では、投影部２０７におけるパターン画像の切り換え速度が１８０fpsで、カメラ１０３の撮像周期を１２０fpsとしたが、それぞれの速度はこの限りでない。さらに高速に切り換えを行う場合や、高速に撮像する場合において、より効果が大きくなる。
【００６０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置であって、
ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信手段と、
前記外部装置による前記パターン画像の送信周期内に、前記パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力手段と、
前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記入力手段は、前記送信周期内に、前記パターン画像の水平ラインごとに、該水平ラインの画素群を繰り返し用いて形成される前記パターン画像と同サイズの画像を投影画像として前記投影部に入力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記入力手段は、前記送信周期内に、前記パターン画像の上半分の領域、下半分の領域、の領域ごとに、該領域内の画素群を繰り返し用いて形成される前記パターン画像と同サイズの画像を投影画像として前記投影部に入力することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置が行う情報処理方法であって、
前記情報処理装置の受信手段が、ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信工程と、
前記情報処理装置の入力手段が、前記外部装置による前記パターン画像の送信周期内に、前記パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力工程と、
前記情報処理装置の制御手段が、前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御工程と
を備えることを特徴とする情報処理方法。
【請求項１】
入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置であって、
ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信手段と、
前記外部装置による前記パターン画像の送信周期内に、前記パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力手段と、
前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記入力手段は、前記送信周期内に、前記パターン画像の水平ラインごとに、該水平ラインの画素群を繰り返し用いて形成される前記パターン画像と同サイズの画像を投影画像として前記投影部に入力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記入力手段は、前記送信周期内に、前記パターン画像の上半分の領域、下半分の領域、の領域ごとに、該領域内の画素群を繰り返し用いて形成される前記パターン画像と同サイズの画像を投影画像として前記投影部に入力することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
入力された画像を投影対象に対して投影する投影部と、該投影部により投影された投影像を撮像する撮像部と、を有する情報処理装置が行う情報処理方法であって、
前記情報処理装置の受信手段が、ストライプ状の模様が記されたパターン画像を定期的に送信する外部装置から、該パターン画像を受信する受信工程と、
前記情報処理装置の入力手段が、前記外部装置による前記パターン画像の送信周期内に、前記パターン画像におけるそれぞれ異なる水平ラインごとに、該水平ライン上の画素群を繰り返し用いて形成される、前記パターン画像と同サイズの画像を投影画像として前記投影部に入力する入力工程と、
前記情報処理装置の制御手段が、前記投影部が前記投影画像を前記投影対象に対して投影する毎に、該投影のタイミングで前記撮像部に前記投影対象を撮像させる制御工程と
を備えることを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６３３７１（Ｐ２０１２−１６３３７１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２２０７６（Ｐ２０１１−２２０７６）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]