投影制御装置及び投影制御方法
【課題】投影装置の動作をフレームごとに制御することを可能にする。
【解決手段】投影装置を制御するための投影制御装置は、複数の色成分で構成された映像信号を受信し、受信した映像信号の各フレームについて特定の色成分の情報を制御情報として抽出し、抽出された制御情報に基づいて投影装置の動作を制御するための投影制御情報をフレームごとに生成し、生成した投影制御情報を投影装置に供給する。
【解決手段】投影装置を制御するための投影制御装置は、複数の色成分で構成された映像信号を受信し、受信した映像信号の各フレームについて特定の色成分の情報を制御情報として抽出し、抽出された制御情報に基づいて投影装置の動作を制御するための投影制御情報をフレームごとに生成し、生成した投影制御情報を投影装置に供給する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投影装置を制御するための投影制御装置及び投影制御方法に関する。
【背景技術】
【0002】
投影装置の投影照度を制御する方法として、投影デバイスの表示輝度を変化させる方式が一般的である。またその制御をフレーム単位にて行うには垂直同期信号に同期して動作を行う制御が必要である。特許文献1では、フレームごとの画像の輝度を制御して表示を行うことで、フレーム単位での表示輝度の制御を実現している。また、投影装置の投影照度を制御する方法として、照明光学部(投影光源)の輝度を変化させる方式がある。特許文献2では、静止画像表示か動画像表示かを示す様態情報に基づいて照明光学部の輝度を変化させるプロジェクタが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−189458号公報
【特許文献2】特開2008−76611号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、三次元計測装置のように毎フレームについて映像を投影する必要がなく、所望のフレームのみ投影を行えばいいような装置においては、投影用光源を毎フレーム点灯させ続ける上記従来例では省電力の観点から無駄が生じる。また、三次元計測に用いられる投影装置において、フレーム同期にて制御を行わない場合は非同期制御となるためリアルタイムな制御を行うことができずに冗長な時間が生じてしまう。この時間は計測の高速化の妨げとなる。特許文献1では映像データを演算することによりフレームごとの輝度を制御しているが、映像データ以外の制御情報を用いてフレームごとに制御を行うということには対応していない。そのため、投影デバイスに対する制御に限らず、その他の周辺デバイスに対しても、フレームごとの制御は行えない。また、特許文献2では、光源の輝度の変更は、フレームとは無関係の態様情報にしたがって行なわれるのみである。
【0005】
本発明は上記課題に鑑みてなされたものであり、投影装置の動作をフレームごとに制御することが可能な投影制御装置及び投影御方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための、本発明の一態様による投影制御装置は以下の構成を備える。すなわち、
投影装置を制御するための投影制御装置であって、
複数の色成分で構成された映像信号を受信する受信手段と、
前記受信手段で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
前記抽出手段で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する生成手段と、
前記生成手段で生成した投影制御情報を前記投影装置に供給する供給手段と、を備える。
【発明の効果】
【0007】
本発明によれば、投影装置の動作をフレームごとに制御することを容易に行なえる。
【図面の簡単な説明】
【0008】
【図1】第1実施形態による三次元計測装置の構成例を示すブロック図。
【図2】第1実施形態による投影制御装置の構成例を示すブロック図。
【図3】1フレーム分の映像信号のデータ構成例を示す図。
【図4】システム制御装置による映像信号の生成を説明するフローチャート。
【図5】投影制御装置の動作を説明するフローチャート。
【図6】第2実施形態による三次元計測装置の構成例を示すブロック図。
【図7】第2実施形態による投影制御装置の構成例を示すブロック図。
【図8】第2実施形態によるプロジェクタの構成例を示すブロック図。
【図9】プロジェクタの投影方向、投影角度の調整を説明する図。
【図10】第3実施形態による三次元計測装置の構成例を示すブロック図。
【図11】第3実施形態による投影制御装置の構成例を示すブロック図。
【図12】カメラの撮像方向、撮像角度の調整を説明する図。
【図13】第4実施形態の構成を説明する図。
【図14】第4実施形態による投影制御装置の構成例を示すブロック図。
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して本発明の好適な実施形態のいくつかを説明する。
【0010】
[第1実施形態]
図1は、第1実施形態に係る三次元計測装置の構成を示すブロック図である。図1において、投影装置20は投影制御装置1とプロジェクタ2を含み、投影制御装置1とプロジェクタ2は、プロジェクタ用DVIインターフェースケーブル13およびプロジェクタ制御ケーブル14により接続されている。投影装置以外の外部装置である撮像装置としてカメラ3が接続されている。カメラ3は、撮像光学系及びイメージセンサを有し、画像の撮影を行なう。カメラ3と投影制御装置1とは、カメラ用カメラリンクケーブル15で接続されており、投影装置20とカメラ3とにより、三次元計測に好適な投影撮像装置21が構成される。システム制御装置4は、DVIインターフェースケーブル11、カメラリンクケーブル12を介して投影装置20と接続されており、投影撮像装置21によるパターンの投影と撮影を制御して、被計測物10の三次元計測を行なう。なお、システム制御装置4には、例えばパーソナルコンピュータ等の汎用コンピュータを用いることができる。システム制御装置4と投影撮像装置21とにより三次元計測装置が構成される。以下、図1に従って、本実施形態による三次元計測の概略原理および三次元計測装置の動作について述べる。
【0011】
本実施形態では、空間符号化法とも呼ばれるパターン投影法を用いた形状計測方法を例に挙げる。パターン投影法において、システム制御装置4は、投影装置20に対して、ネガ・ポジそれぞれのグレイコードパターンを順次表示するように、DVIインターフェースケーブル11を介して投影パターンを送信する。投影装置20において、投影制御装置1はシステム制御装置4から受信した投影パターンをプロジェクタ2に投影させる。これにより、被計測物10にはシステム制御装置4から送信された投影パターン(グレイコードバターン)が投影される。被計測物10の表面で反射されたグレイコードパターンの反射光は、カメラ3により別角度で撮像される。そのため、カメラ3では、被計測物10の形状によって変形されたグレイコードパターンが撮像され、その撮像画像データが投影制御装置1を経由してシステム制御装置4に送られ、画像解析される。システム制御装置4は、ネガとポジの2通りのグレイコードパターンを被計測物10に投影し、これを撮像して得られた画像においてネガ・ポジ画像の境界位置から符号値を算出することにより、三角測量原理により距離情報を計算する。
【0012】
このとき、複数の投影パターンを切り換えながら撮像を行うためには、プロジェクタ2による投影とカメラ3による撮像のタイミングを合わせる必要がある。そのため、投影制御装置1はプロジェクタ2に対して、表示開始や表示期間および表示輝度などを設定する投影制御信号を生成する。また、カメラ3に対しては、投影制御装置1はシャッタ開始時間やシャッタオン時間などのシャッタを制御する信号や撮像時のゲインなどを設定する信号を含む撮像制御信号を生成する。これら、画像データ、制御データ(投影制御信号、および撮像制御信号)はシステム制御装置4からの情報に基づき投影制御装置1にて生成される。
【0013】
また、より高速に投影・撮像処理を行うためには、フレーム単位に投影パターンを切り換える必要があるが、制御信号を1フレーム内で完結する信号とし、フレーム単位に更新することでフレームに同期した制御が可能になる。
【0014】
システム制御装置4は複数の投影パターンを作成し、その投影パターンの映像信号を汎用の映像信号インターフェースであるDVIポートに出力し、DVIインターフェースケーブル11を経由して投影制御装置1に送る。このとき複数の投影パターンは順次フレームごとに送られる。また、システム制御装置4は制御信号を作成し、映像信号のフレームに埋め込んだ形で上記DVIポートに出力する。
【0015】
投影制御装置1はDVIインターフェースケーブル11からきた映像信号をデコードし、RGB各色成分の信号(8ビット/画素)、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を作成する。なお、各色成分信号は8ビット/画素である。また、R成分信号(赤の色成分信号)にはシステム制御装置4で作成された制御信号が含まれている。この制御信号はプロジェクタ2を制御する情報(投影制御信号)、カメラ3を制御する情報(撮像制御信号)として使用され、それぞれプロジェクタ制御ケーブル14やカメラ用カメラリンクケーブル15を経由して、プロジェクタ2、カメラ3へ送られる。DVIインターフェースケーブル11上のG成分信号(緑の色成分信号)には8ビット/画素の投影パターンが含まれている。この投影パターンはプロジェクタ2への画像出力情報として使用される。この画像出力情報は投影制御装置内で先にデコードされた垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックと共にエンコードされる。そして、汎用インターフェースであるDVI信号として、プロジェクタ用DVIインターフェースケーブル13を経由してプロジェクタ2へ送られる。また、投影制御装置1は、カメラ3に接続されたカメラ用カメラリンクケーブル15とシステム制御装置4に接続されたカメラリンクケーブル12とのブリッジの役目も担っている。
【0016】
プロジェクタ2は、プロジェクタ用DVIインターフェースケーブル13経由で送られてきた画像情報を被計測物10に投影する機能を持つ。プロジェクタ2の光源は例えば発光ダイオード(LED)であり、光源の点灯を制御する情報はプロジェクタ制御ケーブル14を経由して、投影制御装置1で受取られる。
【0017】
カメラ3は、プロジェクタ2が被計測物10に投影パターンを投影している間に、プロジェクタ2と異なる位置から被計測物10を撮像する。カメラ3の撮像は所望のフレームにおいてのみ行われるようにその撮像の実行等が制御される。カメラ3のこうした制御に必要な撮像制御情報は、投影制御装置1にて作成され、カメラ用カメラリンクケーブル15を経由してカメラ3に送られる。カメラ3が撮像した画像データはカメラ用カメラリンクケーブル15、投影制御装置1、カメラリンクケーブル12を経由してシステム制御装置4に送られる。
【0018】
システム制御装置4は汎用コンピュータによって構築され、内蔵されたビデオボード(不図示)を経由して、DVIインターフェースケーブル11に所望の投影パターン、制御情報を送出する。また投影制御装置1からカメラリンクケーブル12を経由して送られてきたカメラ3の画像データは、システム制御装置4に内蔵されたキャプチャボード(不図示)によりシステム制御装置4に取り込まれる。上記所望の投影パターン、制御情報の送出、上記画像データの取り込み、および取り込んだ上記画像データの処理はシステム制御装置4に組込まれた専用のアプリケーションソフトにより行われる。そのアプリケーションソフトは、最終的には被計測物10の形状認識を求めるものであり、さらには接続されたロボット(不図示)を制御して被計測物10を加工したり、把持・移動したりする機能を持つ場合もある。
【0019】
以下、図2〜図5を用いて、本実施形態のシステム制御装置4、投影制御装置1の動作について説明する。図2においてDVIインターフェースケーブル11を経由してシステム制御装置4から送られてくる映像信号はR,G,Bの色成分毎の画像データを含む高速シリアル信号である。DVIレシーバ101は、この高速シリアル信号を受信してデコードを行うことにより、それぞれが8ビット/画素の色成分信号(R成分信号、G成分信号、B成分信号)、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。このとき、図3に示すように、特定の色成分の信号(本例ではR成分信号)に同期コマンド、投影制御情報、撮像制御情報が存在し、他の色成分信号(本例ではG成分信号)には画像データが存在する。なお、B成分信号の情報は使用しない仕様となっている。
【0020】
同期コマンドは、後続の投影制御信号、撮像制御信号の先頭を示すための情報である。投影制御情報はプロジェクタ2の投影動作に関する情報であり、例えば、投影イネーブル、投影開始タイミング、投影時間、投影輝度などを含む。また、撮像制御情報はカメラ3に対する情報であり、撮像イネーブル、撮像開始タイミング、撮像時間などを含む。図3は、1フレーム内のタイミングチャートを示したものである。従って、フレームごとに投影制御情報、撮像制御情報、画像データの内容を変更することが可能である。
【0021】
ここで、以上のような映像信号を生成するシステム制御装置4における映像信号の生成処理について図4のフローチャートを参照して説明する。ステップS301において、システム制御装置4は、ビデオインターフェースが有するVRAMのR(赤色)成分の画像情報を格納するR成分領域に制御情報を記述する。ステップS301において記述される制御情報は、プロジェクタ2やカメラ3の動作を制御するための制御情報である(例えば、上述の同期コマンド、投影制御情報、撮像制御情報)。ステップS302において、システム制御装置4は、VRAMのG(緑色)成分の画像情報を格納する領域に、プロジェクタ2により投影されるべき画像データ(グレイコードパターン)を記述する。ステップS303において、システム制御装置4は、VRAMのB(青色)成分の画像情報を格納する領域をクリアする。なお、B成分の画像情報は使用されないので、ステップS303は省略してもかまわない。次に、ステップS304において、システム制御装置4は、VRAMに格納されている情報を用いてDVIインターフェースに準拠した映像信号を生成し、投影制御装置1に送信する。以上の処理は、投影終了の指示が検出されるまで繰り返される(ステップS305)。
【0022】
以上のように、映像信号の各色成分のうち、特定の色成分には同期コマンド、投影制御信号、撮像制御信号が記述されており、DVIレシーバ101はこの特定の色成分の信号からそれら制御信号を抽出することになる。また、特定の色成分以外の色成分に、プロジェクタ2が投影すべき画像データが記述されている。
【0023】
制御情報検出回路103は、DVIレシーバ101から出力されるR成分信号から、上述した投影に関する投影制御情報、撮像に関する撮像制御情報を検出し、その内容を次段の回路に送る。制御信号生成回路104は、制御情報検出回路103にて検出した投影制御情報や撮像制御情報を受け、プロジェクタ2に対する投影制御信号、カメラ3に対する撮像制御信号を生成し出力する。より具体的には、例えばプロジェクタ2に対しての投影制御信号はプロジェクタ2の投影用光源である発光ダイオード(以下LED)を点灯させる正論理の点灯信号とすることができる。この場合、制御信号生成回路104は、制御情報検出回路103からの投影制御情報に基づき、
・フレーム中に光源を点灯するか否かを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数されるLEDオン開始タイミングを信号出力の開始位置で表現し、
・LEDオン時間を信号出力のパルス幅で表現する、点灯信号を生成する。
【0024】
さらに、例えばカメラ3に対する撮像制御信号は、カメラ3のシャッタを制御する正論理のシャッタ信号とすることができる。この場合、制御信号生成回路104は、制御情報検出回路103からの情報に基づき、
・フレーム中で撮像をするかしないかを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数される撮像開始タイミングを信号出力の開始位置で表現し、
・撮像時間(シャッタースピード)を信号出力のパルス幅で表現する、シャッタ信号を生成する。
【0025】
制御信号重畳回路105は、制御信号生成回路104にて生成された撮像制御信号(例えば、上記のシャッタ信号)をカメラリンクケーブル内のカメラリンク信号のCC2に重畳させる。より具体的には、制御信号重畳回路105は、まず、カメラリンクケーブル12から受信したCC2信号を投影制御装置1内にて無接続とする。そして、制御信号重畳回路105は、制御信号生成回路104にて生成したカメラ3に対する撮像制御信号をカメラ用カメラリンクケーブル15のCC2に出力するよう接続する。これを受けるカメラ3は、CC2信号のパルスに従って正論理にてシャッタ動作を行うようなモードに予め設定されている。なお、このような設定は、システム制御装置4により、カメラリンクケーブル12、投影制御装置1、カメラ用カメラリンクケーブル15を経由して行なわれる。
【0026】
DVIトランスミッタ102は、汎用のICとして提供されるものである。DVIトランスミッタ102は、DVIレシーバ101からのR成分信号、G成分信号、B成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックより、汎用の映像インターフェースであるDVI信号を生成する。投影制御装置1において、DVIレシーバ101からの、画像データを含んでいるG成分信号出力が、DVIトランスミッタ102のRGB各色成分信号に入力されるように接続されている。これによりDVIインターフェースケーブル11から送られてきたG8ビットの画像データが、プロジェクタ用DVIインターフェースケーブル13のRGB各色に対して高速シリアル信号に変換されて出力される。
【0027】
以上説明した投影制御装置1によるプロジェクタ2の制御を図5のフローチャートにより説明する。なお、図5に示す処理は、フレームごとに実行される。DVIレシーバ101はシステム制御装置4から受信した映像信号を受信し、色成分データのうちR成分のデータを抽出して制御情報検出回路103へ提供する(ステップS401)。制御情報検出回路103は、抽出されたR成分のデータから投影制御情報、撮像制御情報を検出し、これらを制御信号生成回路104へ提供する(ステップS401)。制御信号生成回路104は、制御情報検出回路から提供された投影制御情報に基づいてプロジェクタ2のための投影制御信号を生成し、プロジェクタ制御ケーブル14を介してプロジェクタ2に送信する(ステップS402)。また、制御信号生成回路104は、撮像制御情報に基づいてカメラ3の動作を制御するための撮像制御信号を生成して制御信号重畳回路105に提供する。制御信号重畳回路105は撮像制御信号をカメラリンク信号に重畳させて送信する(ステップS403)。
【0028】
一方、DVIレシーバ101は、G成分の画像データをDVIトランスミッタ102に送信する(ステップS404)。DVIトランスミッタ102は、提供された画像データに基づいて、プロジェクタ2のための映像信号を生成する。本実施形態では、DVIトランスミッタ102は、DVIレシーバ101から提供された画像データをR,G,Bのすべての色成分の画像データとすることにより、プロジェクタ2で投影すべき画像データを生成する(ステップS405)。そして、DVIトランスミッタ102は、生成した画像データに基づいてDVIインターフェースからプロジェクタ2に送信するための映像信号を生成し、送信する(ステップS406)。
【0029】
以上のように、本実施形態によれば、フレーム投影を行うプロジェクタ2や、プロジェクタ2以外の外部装置(周辺機器)であるカメラ3における各種動作をフレームに同期して制御することができる。すなわち、プロジェクタ2の投影動作や、その周辺機器としてのカメラ3の撮像動作を、フレーム単位で容易に制御することができる。このように、フレームに同期してフレーム投影を行う装置の各種制御を行うことでフレーム単位の制御を行うことができ、計測の高速化や省電力化を実現することができる。
【0030】
[第2実施形態]
図6は、第2実施形態に係る三次元計測装置の構成を示すブロック図である。第1実施形態(図1)との相違点は、図1におけるプロジェクタ制御ケーブル14がなくなり、投影制御装置1内の送信部110、プロジェクタ2内の受信部201が追加された点である。送信部110と受信部201は無線通信により情報を送受信する。以下、図6を用いて第2実施形態の説明を行う。なお、上記変更点の周辺以外は第1実施形態と同様である。
【0031】
図6において、送信部110は投影制御装置1内で生成したプロジェクタ2に対する投影制御信号をプロジェクタ2に対して無線で送信する。送信部110の通信媒体としては、電波、光、超音波などが挙げられる。プロジェクタ2に設けられた受信部201は、送信部110より送られた情報を受信する。受信部201で受信した内容は、プロジェクタ2内で解釈され、フレームごとに各種制御に使われる。ここでいう各種制御とは例えば、以下のような項目が挙げられる。
(a)投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング。
(b)表示デバイス出力を有効にするか否かの制御。
(c)投影用光源の1点灯時間内における発光光量の制御。
(d)投影用光源の点灯パターンの制御。
(e)投影画像の選択。
(f)フォーカス調整、台形ひずみ補正、レンズズーム、投影映像の解像度指定、投影画像の画像処理の選定。
(g)投影方向や投影角度の制御。
【0032】
以下、図7を用いて上記制御の具体的方法について説明する。図7は本実施形態における投影制御装置1の内部機能を示した図である。制御信号生成回路104により生成した各種投影制御信号は送信部110によりプロジェクタ2に対して無線送信される。
【0033】
「(a)投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング」についてはLEDがオンになるタイミングでオンになる正論理の信号情報を送れば目的を達成できる。この場合、送信部110での最も簡易な実現手段としては、上記正論理の信号情報により送信キャリアのオン・オフを制御するものである。また、上記4つの制御情報は同時にすべて必要なものではなく、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミングについて言えば、以下の組み合わせで十分である。すなわち、投影用光源の点灯開始のタイミング、投影用光源の点灯時間の組み合わせ、または投影用光源の点灯開始のタイミング、投影用光源の点灯終了タイミングの組み合わせがあれば充分である。なお投影用光源の点灯開始のタイミング・投影用光源の点灯時間・投影用光源の点灯終了タイミングすべてを送信し、その3者のタイミング値に矛盾が生じていた場合はプロジェクタ2内であらかじめ決めた優先順にてタイミングを決定するという方法を用いてもよい。
【0034】
また、上記の例のように一つの正論理の信号情報を送れば済む場合は、送信キャリアのオン・オフ制御という簡単な機能で送信部110を実現できるが、以降に説明する他の情報もフレームごとに送信する場合は、複数情報を多重化して送信する必要が生じる。この多重化については一般的な各種方法があるのでここでは詳述しないが、例えば各制御項目の制御情報を8ビットと定め、定められた順番に並べる仕様とし、このビット列にて送信キャリアを変調する方法がある。
【0035】
投影を行うか否かを制御する方法としては、前述した投影用光源を発光させるか否かの制御以外に「(b)表示デバイス出力を有効にするか否かの制御」を用いることでも可能である。この制御については表示デバイスに入力する画像データを有効にするかまたは強制的に黒画面にするかの切り替えを行うことで実現可能である。他の方法としては表示デバイス自体に表示をさせるか否かの選択動作を行うためのイネーブル入力コマンドがある場合はこの入力コマンドを制御することでも実現可能である。
【0036】
「(c)投影用光源の1点灯時間内における発光光量の制御」とは、フレーム内における各パラメータの時間変化を投影用光源の発光光量を変化させることで補正するものである。このようなパラメータの時間変化としては、LEDの発光特性、表示デバイスの応答性、外乱光による雑音混入、カメラ3の撮像デバイスの応答性などが挙げられる。このような発光光量の制御は、例えば以下のようにして実現できる。プロジェクタ2において、発光光量をどのように変化させるかを示すパターンを複数種類用意してメモリに記憶させておく。投影制御装置1は、複数のパターンの中から一つを選択するための情報を送信部110から送信する。プロジェクタ2は、受信部201で受信した情報にしたがって、メモリに記憶してある複数のパターンから一つを選択し、選択したパターンに従って光量を変化させる。また上記のようなメモリを持たずに、送信部110からパターン自体を送るようにしてもよい。その場合は、送信する情報量が増えるが、光量変化のパターンの自由度が増す。
【0037】
「(d)投影用光源の点灯パターンの制御」とは、フレーム内にて点灯を複数回行うような場合のフレーム内での点灯パターンを制御するもので、これによりLEDのジャンクション温度の上昇を抑えたLED駆動が可能になる。点灯パターンの制御も、発光光量のパターンの制御と同様の方法で実現させることができる。例えば、プロジェクタ2のメモリに予め複数種類の点灯パターンを記憶しておき、送信部110から送信された情報に基づいてこれらのうちの一つを選択して、選択されたパターンにしたがって点灯を制御する方法が挙げられる。もちろん点灯パターン自体を送り、それにより点灯パターンを変化させる方法も可能である。この場合は送信する情報量が増えるが、点灯パターンの自由度が増す。
【0038】
「(e)投影画像の選択」とは、投影制御装置1にてあらかじめ決められた複数のグレーコード画像情報をプロジェクタ2のメモリに格納しておき、その中から投影すべき画像を選択する所定の指示信号を投影制御装置1から送信するものである。画像データをシステム制御装置4から受取らなくても目的の投影が達成できるため、投影制御装置1がシステム制御装置4から受け取る情報は制御情報のみとなり両者間のインターフェースを簡便に実現することができる。この場合、プロジェクタ用DVIインターフェースケーブル13は省略可能となる。
【0039】
「(f)フォーカス調整・台形ひずみ補正・ズーム・投影映像の解像度・投影画像の画像処理の選定」に関し、図8を参照して説明する。図8は、プロジェクタ2の内部構成を示したブロック図である。DVIレシーバ205は、投影制御装置1より出力されたDVI信号を受信する。DVIレシーバ205は高速シリアル信号である上記DVI信号を後段で処理し易いようにデコードし、R成分信号、G成分信号、B成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。画像処理回路206は、DVIレシーバ205で生成された上記信号を入力して、所与の画像処理を行う。画像処理回路206で画像処理を施された画像データは後段の表示デバイス207に送られる。表示デバイス207は、画像処理回路206から画像処理を施された画像データを入力し、それに応じて投影映像を生成し、例えば液晶デバイスへ表示する。光学ユニット208は、表示デバイス207の投影出力を所望の投影光にするための光学ユニットである。
【0040】
コマンドデコード回路202は、投影制御装置1の送信部110から送信され、受信部201で受信した信号を解釈し、必要な信号に変換する。制御回路203は、コマンドデコード回路202で得られた信号を受け、それにしたがってデバイスを制御する。モータ204は、光学ユニット208内の部品の位置や角度などの調整を行う。フレームごとに制御を行うためにピエゾアクチュエータなどの高速なモータを使用する。
【0041】
コマンドデコード回路202で解釈されたコマンドがフォーカス調整、台形ひずみ補正、ズーム調整であった場合、制御回路203はモータ204を動作させ、それにより光学ユニット208を調整し所望のフォーカス、台形ひずみ補正、ズームとなるようにする。また台形ひずみ補正、ズーム調整は画像情報を処理することで実現させることもできるので、その場合は制御回路203が画像処理回路206を制御し、それにより画像処理回路は必要な画像処理を行う。
【0042】
また、コマンドデコード回路202で解釈されたコマンドが投影映像の解像度指定、投影画像の画像処理の選定であった場合は、制御回路203が画像処理回路206を制御する。それにより画像処理回路206は解像度変換や、明るさ調整・コントラスト調整・シャープネス調整・ガンマ調整・色調整・ノイズリダクション処理などの画像処理を行う。以上、図8を用いて説明した各種調整項目については一般の市販プロジェクタの機能として備わっている機能であるので、ここでは処理方法の詳述は行わない。
【0043】
「(g)プロジェクタ2の投影方向や投影角度の制御」について、図9(a)〜(d)を参照して説明する。まず、投影方向の調整に関して図9の(a),(b)を用いて説明する。図9(a)はプロジェクタ2が下方向に投影している状態を示す。アクチュエータ210は、不図示のプロジェクタ2の取付け支持部材とプロジェクタ2との間の角度を変化させて投影方向を変化させる機能を持つ。プロジェクタ2の角度を変化させることによりプロジェクタ2の投影方向が変化する。受信部201で受信した信号に投影方向の調整を行う指示が含まれていた場合、制御回路203はアクチュエータ210を制御してプロジェクタ2の投影方向を所望量変化させる。図9(b)は図9(a)の状態からプロジェクタ2の角度を変化させた後の状態を示したものである。アクチュエータ210はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0044】
プロジェクタ2の投影角度の調整に関して図9の(c)、(d)を用いて説明する。図9(c)はプロジェクタ2が下方向に投影している状態を示す。アクチュエータ211は、不図示のプロジェクタ2の取付け支持部材とプロジェクタ2との間の角度を変化させて、投影角度(投影軸周りの角度)を変化させる機能を持つ。なお、プロジェクタ2の投影角度を変化させることによりプロジェクタ2の投影方向は変化しない。受信部201で受信した信号に投影角度の調整を行う指示が含まれていた場合、制御回路203はアクチュエータ211を制御してプロジェクタ2の投影角度を所望量変化させる。図9(d)は図9(c)の状態からプロジェクタ2の角度を変化させた後の状態を示したものである。アクチュエータ211はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0045】
なお、第2実施形態で示した制御情報の通信は、第1実施形態のプロジェクタ制御ケーブル14を用いても実現できることは言うまでもない。例えば、投影用光源の発光光量パターンや点灯パターンの制御、アクチュエータによるプロジェクタ2の投影方向、投影角度の制御は、第1実施形態の構成にも適用できることは明らかである。
【0046】
[第3実施形態]
図10は、第3実施形態に係る三次元計測装置の構成を示すブロック図である。カメラ制御ケーブル16は、投影制御装置1からカメラ3に対して制御情報を送ると共にカメラ3の情報を投影制御装置1に送る機能を持つ。図10の第1実施形態(図1)との相違点は、カメラ制御ケーブル16が追加された点である。また、図1ではプロジェクタ制御ケーブル14は投影制御装置1からプロジェクタ2に制御情報を送る機能の説明のみであったが、本実施形態では双方向に通信する機能を有する。すなわち、プロジェクタ制御ケーブル14は、投影制御装置1からプロジェクタ2に対して制御情報を送ると共に、プロジェクタ2の情報を投影制御装置1に送る機能も持つ。
【0047】
図11は、第3実施形態に係る投影制御装置1の構成を示すブロック図である。ステータス処理回路106は、プロジェクタ制御ケーブル14を経由してプロジェクタ2から送られてくるプロジェクタ2のステータス情報および、カメラ制御ケーブル16を経由してカメラ3から送られてくるカメラ3のステータス情報を受信する。ステータス処理回路106は、受信したステータス情報の内容により、必要な処理を決定する。フレームバッファ107は、数フレーム分の画像データを記憶可能な容量を持つ。フレームバッファ制御回路108は、フレームバッファ107の制御を行う。本実施形態の投影制御装置1(図11)の第1実施形態(図3)との相違点はステータス処理回路106、フレームバッファ107、フレームバッファ制御回路108、カメラ制御ケーブル16用の信号が追加になった点である。以下、図10、図11を用いて第3実施形態の説明を行う。なお、上記変更点の周辺以外は第1実施形態と同様である。
【0048】
投影制御装置1はプロジェクタ制御ケーブル14を経由してプロジェクタ2に対してステータス情報の要求を行う。プロジェクタ2はこの要求に呼応してプロジェクタ2のステータス情報をプロジェクタ制御ケーブル14を介して投影制御装置1に送る。プロジェクタ2のステータス情報とは、例えば投影用光源であるLEDの温度とすることができる。投影制御装置1はフレームごとにLED(光源)の温度を取得し、必要に応じてLEDの輝度を所望の値にする目的でLEDの駆動電流を変更する指示を、プロジェクタ制御ケーブル14を介してプロジェクタ2に対して行う。これにより、LEDの温度変動による輝度の変動を防止することができ、より高精度な3次元計測を実現できる。この場合、ステータス処理回路106がプロジェクタ2よりプロジェクタ制御ケーブル14を介してLEDの温度情報を受信し、その情報によりLEDの輝度を調整するかを判断する。そして、調整する必要があると判断したときはその制御情報を制御信号生成回路104に渡し、制御信号生成回路104はそれによりプロジェクタ制御ケーブル14を経由してプロジェクタ2を制御する。
【0049】
なお、プロジェクタ2が、投影制御装置1からのステータス取得要求がなくても、プロジェクタ制御ケーブル14を介して自動的にステータス情報を投影制御装置1に送信する機能を持つようにしてもよい。この場合、自動的に送信されるステータス情報としては、例えば、LEDが何らかの原因で不点灯または所望の発光を行わなかった場合のエラー情報が挙げられる。投影制御装置1内のステータス処理回路106は、この機能により例えばLEDの瞬停を検知することができる。LEDの瞬停が検知された場合、ステータス処理回路106は、フレームバッファ制御回路108に、送信済み画像データの再送を指示する。この指示を受けたフレームバッファ制御回路108はフレームバッファ107に保存された1フレーム分の送信済み画像データを再度プロジェクタ用DVIインターフェースケーブル13を経由してプロジェクタ2に送信するよう制御する。
【0050】
この画像データの再送と同時に、ステータス処理回路106は制御信号生成回路104に撮像の指示を行う。この指示により、制御信号生成回路104は撮像指示の信号を制御信号重畳回路105に送出する。制御信号重畳回路105はこの撮像指示の信号が重畳された撮像制御信号を生成し、カメラ用カメラリンクケーブル15を通じてカメラ3に伝達し、それによりカメラ3は撮像動作を行う。
【0051】
また、この撮像指示と同時に、制御信号生成回路104はカメラ3に対してカメラ制御ケーブル16を介して本フレームの撮像(LEDの瞬停が検出された時点の撮像)が無効になった旨を通知する。この通知を受けたカメラ3は、撮像を止めるなりデータ転送を止めるなりして、本フレームにおける動作を中止する。システム制御装置4は、カメラ用カメラリンクケーブル15、投影制御装置1、カメラリンクケーブル12を経由してカメラ3からのデータが中断したことを受けて、本フレームが無効となったことを判断し、途中まで受取ったデータを破棄する。カメラ3において撮像データの転送を開始する以前に動作を中止した場合は、投影制御装置1は特に意識する必要なく、次にカメラ3からくる画像データを所望画像として取り込み、処理を行えばよい。
【0052】
投影制御装置1はカメラ制御ケーブル16を介してカメラ3に対して撮像制御情報を送信する。撮像情報は、例えば、フレームごとにシャッタをオンにするか否かの情報、フレーム内における垂直同期信号から計数されるシャッタ開始時間、シャッタが開く時間、フレーム内における垂直同期信号から計数されるシャッタ終了時間、ゲイン調整、絞り調整、ズーム、フォーカス、部分読み出しにおけるエリア指定、フレームレート、クロックレート、解像度、などの少なくともいずれかを含む。これら制御情報はフレーム単位で送信が可能であり、これを受取ったカメラ3はその制御情報により設定変更を行う。上記各制御項目は汎用カメラで設定可能な一般的な機能であるので、ここでは詳述を割愛する。なおカメラ3はこれら制御項目をカメラ制御ケーブル16を経由して受取ることにより、それら項目の設定がなされる仕様となっている。
【0053】
また、投影制御装置1はカメラ制御ケーブル16を介して、撮像方向の調整、撮像角度の調整の指示を送信し、これを受けたカメラ3は自身の撮像方向や撮像角度を指示に従って変化させる。
【0054】
撮像方向の調整に関して図12を用いて説明する。図12(a)はカメラ3が下方向を撮像している状態を示す。アクチュエータ212は、不図示のカメラ3の取付け支持部材とカメラ3との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ3の撮像方向が変化する。投影制御装置1よりカメラ制御ケーブル16を介してカメラ3が撮像方向の調整を行う指示を受取った場合、カメラ3はアクチュエータ212を動作させてカメラ3の撮像角度を所望量変化させる。図12(b)は図12(a)の状態からカメラ3の撮像角度を変化させた後の状態を示したものである。アクチュエータ212には、フレームごとに制御を行うためにピエゾアクチュエータなどの高速なものが使用される。
【0055】
撮像角度の調整に関して図12を用いて説明を行う。図12(c)はカメラ3が下方向を撮像している状態を示す。アクチュエータ213は、不図示のカメラ3の取付け支持部材とカメラ3との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ3の撮像方向は変化しないが、撮像方向周りの角度が変化する。投影制御装置1よりカメラ制御ケーブル16を介してカメラ3が撮像角度の調整を行う指示を受取った場合、アクチュエータ213が動作してカメラ3の撮像角度を所望量変化させる。図12(d)は図12(c)の状態からカメラ3の撮像角度を変化させた後の状態を示したものである。アクチュエータ213はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0056】
第2実施形態においてはプロジェクタ2の投影方向の調整と投影角度の調整に関して記述を行ったが、そのプロジェクタ2の制御と本実施形態のカメラ3の撮像方向の調整・撮像角度の調整を同期して行うという制御方法もとりうる。またプロジェクタ2とカメラ3が同一筺体上に固定して取り付けられた投影撮像装置21全体の投影・撮像方向の調整、投影・撮像角度の調整を、前記同様の高速アクチュエータ手段にて調整を行う制御方法も取りうる。
【0057】
投影制御装置1はカメラ制御ケーブル16を経由してカメラ3に対してステータス情報の要求を行う。カメラ3は上記要求に呼応してカメラ3のステータス情報をカメラ制御ケーブル16を介して投影制御装置1に送る。カメラ3のステータス情報とは、例えばシャッタイネーブル情報であり、投影制御装置1はこの情報がイネーブルの場合にのみシャッタ制御を、カメラ制御ケーブル16を介してカメラ3に対して行う。この場合、ステータス処理回路106がカメラ3よりカメラ制御ケーブル16を介してシャッタイネーブル情報を受信し、その情報によりシャッタ制御が可能か否かを判断する。そして、可能であると判断した場合に、ステータス処理回路106は、その情報を制御信号生成回路104に渡し、制御信号生成回路104はそれによりカメラ制御ケーブル16を経由してカメラ3に送るシャッタ制御情報を許可する。
【0058】
[第4実施形態]
図13は、第4実施形態に係る三次元計測装置を使用した組立てロボットの構成を示す図である。上記第1〜第3実施形態で説明した投影撮像装置21、通知ランプ32、振動センサ36、照明37、作業台31がやぐら30によって支持されている。作業台31には、ロボットアーム33が配置されている。通知ランプ32は機器異常や進捗状況を目視的に知らせる。ロボットアーム33は、作業台31上の任意の場所にて作業を行うことができ、作業台31上にて部品35の把持・組付けなどを行うロボットハンド34を有する。振動センサ36は投影撮像装置21の近傍に設置され、照明37は作業台31上を照らす。以下、図11を使用し第4実施形態を説明する。
【0059】
システム制御装置4は上記各種機能を統合的に制御する機能を持つ。例えば、システム制御装置4は、投影撮像装置21を制御して部品35の三次元計測を行い、その情報によりロボットアーム33、ロボットハンド34を制御して部品35の各々の把持や組付けを行う。また、システム制御装置4は、振動センサ36の情報を取り込み、その情報により投影撮像装置21の振動による計測誤差を補正する。また、システム制御装置4は、異常または進捗状況を把握し、必要に応じて通知ランプ32を制御するとともに、照明37に関する制御を行う。
【0060】
システム制御装置4は、振動センサ36が想定値を超える異常な振動を検知した場合は、計測の誤差補正が出来ないと判断し、再計測を行うよう投影撮像装置21に指示する。また動作継続不能な状態を検知した場合は、通知ランプ32を点灯させると共に、投影撮像装置21、ロボットアーム33、ロボットハンド34の動作を停止する。動作継続不能な状態とは例えば、上記異常な振動が規定時間を超えて継続する場合であったり、必要な作業が終了したりした場合などである。この場合その状態内容に応じて通知ランプ32の点灯色を変化させる制御も行う。
【0061】
また、システム制御装置4は、作業台31上での作業状況に応じて、照明37の発光色、発光強度、発光方向の制御を行う。システム制御装置4は、振動センサ36の情報をフレームに同期して取り込み、フレームごとに補正をかける機能を持つと共に、計測を行っているフレームにおいてのみ振動センサ36の情報を取り込んだり補正演算を行ったりする機能も持つ。また、システム制御装置4は、振動センサ36からの情報を解析し、その振動モードにより補正の方式を選択する機能を持つ。例えば、システム制御装置4は、
・振幅が小さく高周波の振動の場合には補正は行わず、
・長周期の振動の場合にはプロジェクタ2の投影方向または投影角度、あるいはカメラ3の撮像方向または撮像角度を制御することで補正を行い、
・中周期の振動の場合にはカメラ3からの撮像画像を演算することで補正を行う。
【0062】
図14は本実施形態の動作を行う投影制御装置1の内部機能と周辺ケーブルを示した図である。外部機器制御ケーブル17は、通知ランプ32、照明37などを制御するためにそれらに接続される。通知ランプ32、照明37の制御信号は、投影制御情報と同様にDVIインターフェースの映像信号を用いて取得されるので、システム制御装置4はこれらをフレーム単位で制御することができる。センサ情報入力ケーブル18は、振動センサ36の出力を投影制御装置1に伝送する。センサ情報処理回路109は、センサ情報入力ケーブル18を経由して入力された振動センサ36出力を、システム制御装置4が処理可能な信号形態に変換する。センサ情報出力ケーブル19は、センサ情報処理回路109の出力をシステム制御装置4に伝送する。センサ情報処理回路109の入力がアナログ信号で、出力もアナログ信号の場合は、センサ情報処理回路109の機能はアナログ信号バッファまたは増幅器である。この場合、システム制御装置4は内蔵のA/D変換ボードにて同信号をデジタル信号に変換し、処理を行う。また、センサ情報処理回路109の入力がアナログ信号で出力がデジタル信号の場合は、センサ情報処理回路109の機能はA/D変換回路である。その場合、システム制御装置4は内蔵の汎用ポート入力ボードにてデジタル信号を取り込み、処理を行う。
【0063】
以上のように、第4実施形態によれば、ロボット制御を行なうための三次元計測において、三次元計測に利用する画像データの取捨選択が適切に行われ、高精度な三次元計測を達成できる。また、映像信号には、投影制御情報、撮像制御情報に加えて、その他の周辺機器(通知ランプ32っや照明37)の制御信号を含めることができ、周辺機器のレームごとの制御、フレームに同期した制御を容易に実現できる。
【0064】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、投影装置を制御するための投影制御装置及び投影制御方法に関する。
【背景技術】
【0002】
投影装置の投影照度を制御する方法として、投影デバイスの表示輝度を変化させる方式が一般的である。またその制御をフレーム単位にて行うには垂直同期信号に同期して動作を行う制御が必要である。特許文献1では、フレームごとの画像の輝度を制御して表示を行うことで、フレーム単位での表示輝度の制御を実現している。また、投影装置の投影照度を制御する方法として、照明光学部(投影光源)の輝度を変化させる方式がある。特許文献2では、静止画像表示か動画像表示かを示す様態情報に基づいて照明光学部の輝度を変化させるプロジェクタが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−189458号公報
【特許文献2】特開2008−76611号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、三次元計測装置のように毎フレームについて映像を投影する必要がなく、所望のフレームのみ投影を行えばいいような装置においては、投影用光源を毎フレーム点灯させ続ける上記従来例では省電力の観点から無駄が生じる。また、三次元計測に用いられる投影装置において、フレーム同期にて制御を行わない場合は非同期制御となるためリアルタイムな制御を行うことができずに冗長な時間が生じてしまう。この時間は計測の高速化の妨げとなる。特許文献1では映像データを演算することによりフレームごとの輝度を制御しているが、映像データ以外の制御情報を用いてフレームごとに制御を行うということには対応していない。そのため、投影デバイスに対する制御に限らず、その他の周辺デバイスに対しても、フレームごとの制御は行えない。また、特許文献2では、光源の輝度の変更は、フレームとは無関係の態様情報にしたがって行なわれるのみである。
【0005】
本発明は上記課題に鑑みてなされたものであり、投影装置の動作をフレームごとに制御することが可能な投影制御装置及び投影御方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するための、本発明の一態様による投影制御装置は以下の構成を備える。すなわち、
投影装置を制御するための投影制御装置であって、
複数の色成分で構成された映像信号を受信する受信手段と、
前記受信手段で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
前記抽出手段で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する生成手段と、
前記生成手段で生成した投影制御情報を前記投影装置に供給する供給手段と、を備える。
【発明の効果】
【0007】
本発明によれば、投影装置の動作をフレームごとに制御することを容易に行なえる。
【図面の簡単な説明】
【0008】
【図1】第1実施形態による三次元計測装置の構成例を示すブロック図。
【図2】第1実施形態による投影制御装置の構成例を示すブロック図。
【図3】1フレーム分の映像信号のデータ構成例を示す図。
【図4】システム制御装置による映像信号の生成を説明するフローチャート。
【図5】投影制御装置の動作を説明するフローチャート。
【図6】第2実施形態による三次元計測装置の構成例を示すブロック図。
【図7】第2実施形態による投影制御装置の構成例を示すブロック図。
【図8】第2実施形態によるプロジェクタの構成例を示すブロック図。
【図9】プロジェクタの投影方向、投影角度の調整を説明する図。
【図10】第3実施形態による三次元計測装置の構成例を示すブロック図。
【図11】第3実施形態による投影制御装置の構成例を示すブロック図。
【図12】カメラの撮像方向、撮像角度の調整を説明する図。
【図13】第4実施形態の構成を説明する図。
【図14】第4実施形態による投影制御装置の構成例を示すブロック図。
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して本発明の好適な実施形態のいくつかを説明する。
【0010】
[第1実施形態]
図1は、第1実施形態に係る三次元計測装置の構成を示すブロック図である。図1において、投影装置20は投影制御装置1とプロジェクタ2を含み、投影制御装置1とプロジェクタ2は、プロジェクタ用DVIインターフェースケーブル13およびプロジェクタ制御ケーブル14により接続されている。投影装置以外の外部装置である撮像装置としてカメラ3が接続されている。カメラ3は、撮像光学系及びイメージセンサを有し、画像の撮影を行なう。カメラ3と投影制御装置1とは、カメラ用カメラリンクケーブル15で接続されており、投影装置20とカメラ3とにより、三次元計測に好適な投影撮像装置21が構成される。システム制御装置4は、DVIインターフェースケーブル11、カメラリンクケーブル12を介して投影装置20と接続されており、投影撮像装置21によるパターンの投影と撮影を制御して、被計測物10の三次元計測を行なう。なお、システム制御装置4には、例えばパーソナルコンピュータ等の汎用コンピュータを用いることができる。システム制御装置4と投影撮像装置21とにより三次元計測装置が構成される。以下、図1に従って、本実施形態による三次元計測の概略原理および三次元計測装置の動作について述べる。
【0011】
本実施形態では、空間符号化法とも呼ばれるパターン投影法を用いた形状計測方法を例に挙げる。パターン投影法において、システム制御装置4は、投影装置20に対して、ネガ・ポジそれぞれのグレイコードパターンを順次表示するように、DVIインターフェースケーブル11を介して投影パターンを送信する。投影装置20において、投影制御装置1はシステム制御装置4から受信した投影パターンをプロジェクタ2に投影させる。これにより、被計測物10にはシステム制御装置4から送信された投影パターン(グレイコードバターン)が投影される。被計測物10の表面で反射されたグレイコードパターンの反射光は、カメラ3により別角度で撮像される。そのため、カメラ3では、被計測物10の形状によって変形されたグレイコードパターンが撮像され、その撮像画像データが投影制御装置1を経由してシステム制御装置4に送られ、画像解析される。システム制御装置4は、ネガとポジの2通りのグレイコードパターンを被計測物10に投影し、これを撮像して得られた画像においてネガ・ポジ画像の境界位置から符号値を算出することにより、三角測量原理により距離情報を計算する。
【0012】
このとき、複数の投影パターンを切り換えながら撮像を行うためには、プロジェクタ2による投影とカメラ3による撮像のタイミングを合わせる必要がある。そのため、投影制御装置1はプロジェクタ2に対して、表示開始や表示期間および表示輝度などを設定する投影制御信号を生成する。また、カメラ3に対しては、投影制御装置1はシャッタ開始時間やシャッタオン時間などのシャッタを制御する信号や撮像時のゲインなどを設定する信号を含む撮像制御信号を生成する。これら、画像データ、制御データ(投影制御信号、および撮像制御信号)はシステム制御装置4からの情報に基づき投影制御装置1にて生成される。
【0013】
また、より高速に投影・撮像処理を行うためには、フレーム単位に投影パターンを切り換える必要があるが、制御信号を1フレーム内で完結する信号とし、フレーム単位に更新することでフレームに同期した制御が可能になる。
【0014】
システム制御装置4は複数の投影パターンを作成し、その投影パターンの映像信号を汎用の映像信号インターフェースであるDVIポートに出力し、DVIインターフェースケーブル11を経由して投影制御装置1に送る。このとき複数の投影パターンは順次フレームごとに送られる。また、システム制御装置4は制御信号を作成し、映像信号のフレームに埋め込んだ形で上記DVIポートに出力する。
【0015】
投影制御装置1はDVIインターフェースケーブル11からきた映像信号をデコードし、RGB各色成分の信号(8ビット/画素)、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を作成する。なお、各色成分信号は8ビット/画素である。また、R成分信号(赤の色成分信号)にはシステム制御装置4で作成された制御信号が含まれている。この制御信号はプロジェクタ2を制御する情報(投影制御信号)、カメラ3を制御する情報(撮像制御信号)として使用され、それぞれプロジェクタ制御ケーブル14やカメラ用カメラリンクケーブル15を経由して、プロジェクタ2、カメラ3へ送られる。DVIインターフェースケーブル11上のG成分信号(緑の色成分信号)には8ビット/画素の投影パターンが含まれている。この投影パターンはプロジェクタ2への画像出力情報として使用される。この画像出力情報は投影制御装置内で先にデコードされた垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックと共にエンコードされる。そして、汎用インターフェースであるDVI信号として、プロジェクタ用DVIインターフェースケーブル13を経由してプロジェクタ2へ送られる。また、投影制御装置1は、カメラ3に接続されたカメラ用カメラリンクケーブル15とシステム制御装置4に接続されたカメラリンクケーブル12とのブリッジの役目も担っている。
【0016】
プロジェクタ2は、プロジェクタ用DVIインターフェースケーブル13経由で送られてきた画像情報を被計測物10に投影する機能を持つ。プロジェクタ2の光源は例えば発光ダイオード(LED)であり、光源の点灯を制御する情報はプロジェクタ制御ケーブル14を経由して、投影制御装置1で受取られる。
【0017】
カメラ3は、プロジェクタ2が被計測物10に投影パターンを投影している間に、プロジェクタ2と異なる位置から被計測物10を撮像する。カメラ3の撮像は所望のフレームにおいてのみ行われるようにその撮像の実行等が制御される。カメラ3のこうした制御に必要な撮像制御情報は、投影制御装置1にて作成され、カメラ用カメラリンクケーブル15を経由してカメラ3に送られる。カメラ3が撮像した画像データはカメラ用カメラリンクケーブル15、投影制御装置1、カメラリンクケーブル12を経由してシステム制御装置4に送られる。
【0018】
システム制御装置4は汎用コンピュータによって構築され、内蔵されたビデオボード(不図示)を経由して、DVIインターフェースケーブル11に所望の投影パターン、制御情報を送出する。また投影制御装置1からカメラリンクケーブル12を経由して送られてきたカメラ3の画像データは、システム制御装置4に内蔵されたキャプチャボード(不図示)によりシステム制御装置4に取り込まれる。上記所望の投影パターン、制御情報の送出、上記画像データの取り込み、および取り込んだ上記画像データの処理はシステム制御装置4に組込まれた専用のアプリケーションソフトにより行われる。そのアプリケーションソフトは、最終的には被計測物10の形状認識を求めるものであり、さらには接続されたロボット(不図示)を制御して被計測物10を加工したり、把持・移動したりする機能を持つ場合もある。
【0019】
以下、図2〜図5を用いて、本実施形態のシステム制御装置4、投影制御装置1の動作について説明する。図2においてDVIインターフェースケーブル11を経由してシステム制御装置4から送られてくる映像信号はR,G,Bの色成分毎の画像データを含む高速シリアル信号である。DVIレシーバ101は、この高速シリアル信号を受信してデコードを行うことにより、それぞれが8ビット/画素の色成分信号(R成分信号、G成分信号、B成分信号)、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。このとき、図3に示すように、特定の色成分の信号(本例ではR成分信号)に同期コマンド、投影制御情報、撮像制御情報が存在し、他の色成分信号(本例ではG成分信号)には画像データが存在する。なお、B成分信号の情報は使用しない仕様となっている。
【0020】
同期コマンドは、後続の投影制御信号、撮像制御信号の先頭を示すための情報である。投影制御情報はプロジェクタ2の投影動作に関する情報であり、例えば、投影イネーブル、投影開始タイミング、投影時間、投影輝度などを含む。また、撮像制御情報はカメラ3に対する情報であり、撮像イネーブル、撮像開始タイミング、撮像時間などを含む。図3は、1フレーム内のタイミングチャートを示したものである。従って、フレームごとに投影制御情報、撮像制御情報、画像データの内容を変更することが可能である。
【0021】
ここで、以上のような映像信号を生成するシステム制御装置4における映像信号の生成処理について図4のフローチャートを参照して説明する。ステップS301において、システム制御装置4は、ビデオインターフェースが有するVRAMのR(赤色)成分の画像情報を格納するR成分領域に制御情報を記述する。ステップS301において記述される制御情報は、プロジェクタ2やカメラ3の動作を制御するための制御情報である(例えば、上述の同期コマンド、投影制御情報、撮像制御情報)。ステップS302において、システム制御装置4は、VRAMのG(緑色)成分の画像情報を格納する領域に、プロジェクタ2により投影されるべき画像データ(グレイコードパターン)を記述する。ステップS303において、システム制御装置4は、VRAMのB(青色)成分の画像情報を格納する領域をクリアする。なお、B成分の画像情報は使用されないので、ステップS303は省略してもかまわない。次に、ステップS304において、システム制御装置4は、VRAMに格納されている情報を用いてDVIインターフェースに準拠した映像信号を生成し、投影制御装置1に送信する。以上の処理は、投影終了の指示が検出されるまで繰り返される(ステップS305)。
【0022】
以上のように、映像信号の各色成分のうち、特定の色成分には同期コマンド、投影制御信号、撮像制御信号が記述されており、DVIレシーバ101はこの特定の色成分の信号からそれら制御信号を抽出することになる。また、特定の色成分以外の色成分に、プロジェクタ2が投影すべき画像データが記述されている。
【0023】
制御情報検出回路103は、DVIレシーバ101から出力されるR成分信号から、上述した投影に関する投影制御情報、撮像に関する撮像制御情報を検出し、その内容を次段の回路に送る。制御信号生成回路104は、制御情報検出回路103にて検出した投影制御情報や撮像制御情報を受け、プロジェクタ2に対する投影制御信号、カメラ3に対する撮像制御信号を生成し出力する。より具体的には、例えばプロジェクタ2に対しての投影制御信号はプロジェクタ2の投影用光源である発光ダイオード(以下LED)を点灯させる正論理の点灯信号とすることができる。この場合、制御信号生成回路104は、制御情報検出回路103からの投影制御情報に基づき、
・フレーム中に光源を点灯するか否かを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数されるLEDオン開始タイミングを信号出力の開始位置で表現し、
・LEDオン時間を信号出力のパルス幅で表現する、点灯信号を生成する。
【0024】
さらに、例えばカメラ3に対する撮像制御信号は、カメラ3のシャッタを制御する正論理のシャッタ信号とすることができる。この場合、制御信号生成回路104は、制御情報検出回路103からの情報に基づき、
・フレーム中で撮像をするかしないかを信号出力の有無で表現し、
・フレーム内における垂直同期信号から計数される撮像開始タイミングを信号出力の開始位置で表現し、
・撮像時間(シャッタースピード)を信号出力のパルス幅で表現する、シャッタ信号を生成する。
【0025】
制御信号重畳回路105は、制御信号生成回路104にて生成された撮像制御信号(例えば、上記のシャッタ信号)をカメラリンクケーブル内のカメラリンク信号のCC2に重畳させる。より具体的には、制御信号重畳回路105は、まず、カメラリンクケーブル12から受信したCC2信号を投影制御装置1内にて無接続とする。そして、制御信号重畳回路105は、制御信号生成回路104にて生成したカメラ3に対する撮像制御信号をカメラ用カメラリンクケーブル15のCC2に出力するよう接続する。これを受けるカメラ3は、CC2信号のパルスに従って正論理にてシャッタ動作を行うようなモードに予め設定されている。なお、このような設定は、システム制御装置4により、カメラリンクケーブル12、投影制御装置1、カメラ用カメラリンクケーブル15を経由して行なわれる。
【0026】
DVIトランスミッタ102は、汎用のICとして提供されるものである。DVIトランスミッタ102は、DVIレシーバ101からのR成分信号、G成分信号、B成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックより、汎用の映像インターフェースであるDVI信号を生成する。投影制御装置1において、DVIレシーバ101からの、画像データを含んでいるG成分信号出力が、DVIトランスミッタ102のRGB各色成分信号に入力されるように接続されている。これによりDVIインターフェースケーブル11から送られてきたG8ビットの画像データが、プロジェクタ用DVIインターフェースケーブル13のRGB各色に対して高速シリアル信号に変換されて出力される。
【0027】
以上説明した投影制御装置1によるプロジェクタ2の制御を図5のフローチャートにより説明する。なお、図5に示す処理は、フレームごとに実行される。DVIレシーバ101はシステム制御装置4から受信した映像信号を受信し、色成分データのうちR成分のデータを抽出して制御情報検出回路103へ提供する(ステップS401)。制御情報検出回路103は、抽出されたR成分のデータから投影制御情報、撮像制御情報を検出し、これらを制御信号生成回路104へ提供する(ステップS401)。制御信号生成回路104は、制御情報検出回路から提供された投影制御情報に基づいてプロジェクタ2のための投影制御信号を生成し、プロジェクタ制御ケーブル14を介してプロジェクタ2に送信する(ステップS402)。また、制御信号生成回路104は、撮像制御情報に基づいてカメラ3の動作を制御するための撮像制御信号を生成して制御信号重畳回路105に提供する。制御信号重畳回路105は撮像制御信号をカメラリンク信号に重畳させて送信する(ステップS403)。
【0028】
一方、DVIレシーバ101は、G成分の画像データをDVIトランスミッタ102に送信する(ステップS404)。DVIトランスミッタ102は、提供された画像データに基づいて、プロジェクタ2のための映像信号を生成する。本実施形態では、DVIトランスミッタ102は、DVIレシーバ101から提供された画像データをR,G,Bのすべての色成分の画像データとすることにより、プロジェクタ2で投影すべき画像データを生成する(ステップS405)。そして、DVIトランスミッタ102は、生成した画像データに基づいてDVIインターフェースからプロジェクタ2に送信するための映像信号を生成し、送信する(ステップS406)。
【0029】
以上のように、本実施形態によれば、フレーム投影を行うプロジェクタ2や、プロジェクタ2以外の外部装置(周辺機器)であるカメラ3における各種動作をフレームに同期して制御することができる。すなわち、プロジェクタ2の投影動作や、その周辺機器としてのカメラ3の撮像動作を、フレーム単位で容易に制御することができる。このように、フレームに同期してフレーム投影を行う装置の各種制御を行うことでフレーム単位の制御を行うことができ、計測の高速化や省電力化を実現することができる。
【0030】
[第2実施形態]
図6は、第2実施形態に係る三次元計測装置の構成を示すブロック図である。第1実施形態(図1)との相違点は、図1におけるプロジェクタ制御ケーブル14がなくなり、投影制御装置1内の送信部110、プロジェクタ2内の受信部201が追加された点である。送信部110と受信部201は無線通信により情報を送受信する。以下、図6を用いて第2実施形態の説明を行う。なお、上記変更点の周辺以外は第1実施形態と同様である。
【0031】
図6において、送信部110は投影制御装置1内で生成したプロジェクタ2に対する投影制御信号をプロジェクタ2に対して無線で送信する。送信部110の通信媒体としては、電波、光、超音波などが挙げられる。プロジェクタ2に設けられた受信部201は、送信部110より送られた情報を受信する。受信部201で受信した内容は、プロジェクタ2内で解釈され、フレームごとに各種制御に使われる。ここでいう各種制御とは例えば、以下のような項目が挙げられる。
(a)投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング。
(b)表示デバイス出力を有効にするか否かの制御。
(c)投影用光源の1点灯時間内における発光光量の制御。
(d)投影用光源の点灯パターンの制御。
(e)投影画像の選択。
(f)フォーカス調整、台形ひずみ補正、レンズズーム、投影映像の解像度指定、投影画像の画像処理の選定。
(g)投影方向や投影角度の制御。
【0032】
以下、図7を用いて上記制御の具体的方法について説明する。図7は本実施形態における投影制御装置1の内部機能を示した図である。制御信号生成回路104により生成した各種投影制御信号は送信部110によりプロジェクタ2に対して無線送信される。
【0033】
「(a)投影用光源を発光させるか否かの制御、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミング」についてはLEDがオンになるタイミングでオンになる正論理の信号情報を送れば目的を達成できる。この場合、送信部110での最も簡易な実現手段としては、上記正論理の信号情報により送信キャリアのオン・オフを制御するものである。また、上記4つの制御情報は同時にすべて必要なものではなく、投影用光源の点灯開始のタイミング、投影用光源の点灯時間、投影用光源の点灯終了タイミングについて言えば、以下の組み合わせで十分である。すなわち、投影用光源の点灯開始のタイミング、投影用光源の点灯時間の組み合わせ、または投影用光源の点灯開始のタイミング、投影用光源の点灯終了タイミングの組み合わせがあれば充分である。なお投影用光源の点灯開始のタイミング・投影用光源の点灯時間・投影用光源の点灯終了タイミングすべてを送信し、その3者のタイミング値に矛盾が生じていた場合はプロジェクタ2内であらかじめ決めた優先順にてタイミングを決定するという方法を用いてもよい。
【0034】
また、上記の例のように一つの正論理の信号情報を送れば済む場合は、送信キャリアのオン・オフ制御という簡単な機能で送信部110を実現できるが、以降に説明する他の情報もフレームごとに送信する場合は、複数情報を多重化して送信する必要が生じる。この多重化については一般的な各種方法があるのでここでは詳述しないが、例えば各制御項目の制御情報を8ビットと定め、定められた順番に並べる仕様とし、このビット列にて送信キャリアを変調する方法がある。
【0035】
投影を行うか否かを制御する方法としては、前述した投影用光源を発光させるか否かの制御以外に「(b)表示デバイス出力を有効にするか否かの制御」を用いることでも可能である。この制御については表示デバイスに入力する画像データを有効にするかまたは強制的に黒画面にするかの切り替えを行うことで実現可能である。他の方法としては表示デバイス自体に表示をさせるか否かの選択動作を行うためのイネーブル入力コマンドがある場合はこの入力コマンドを制御することでも実現可能である。
【0036】
「(c)投影用光源の1点灯時間内における発光光量の制御」とは、フレーム内における各パラメータの時間変化を投影用光源の発光光量を変化させることで補正するものである。このようなパラメータの時間変化としては、LEDの発光特性、表示デバイスの応答性、外乱光による雑音混入、カメラ3の撮像デバイスの応答性などが挙げられる。このような発光光量の制御は、例えば以下のようにして実現できる。プロジェクタ2において、発光光量をどのように変化させるかを示すパターンを複数種類用意してメモリに記憶させておく。投影制御装置1は、複数のパターンの中から一つを選択するための情報を送信部110から送信する。プロジェクタ2は、受信部201で受信した情報にしたがって、メモリに記憶してある複数のパターンから一つを選択し、選択したパターンに従って光量を変化させる。また上記のようなメモリを持たずに、送信部110からパターン自体を送るようにしてもよい。その場合は、送信する情報量が増えるが、光量変化のパターンの自由度が増す。
【0037】
「(d)投影用光源の点灯パターンの制御」とは、フレーム内にて点灯を複数回行うような場合のフレーム内での点灯パターンを制御するもので、これによりLEDのジャンクション温度の上昇を抑えたLED駆動が可能になる。点灯パターンの制御も、発光光量のパターンの制御と同様の方法で実現させることができる。例えば、プロジェクタ2のメモリに予め複数種類の点灯パターンを記憶しておき、送信部110から送信された情報に基づいてこれらのうちの一つを選択して、選択されたパターンにしたがって点灯を制御する方法が挙げられる。もちろん点灯パターン自体を送り、それにより点灯パターンを変化させる方法も可能である。この場合は送信する情報量が増えるが、点灯パターンの自由度が増す。
【0038】
「(e)投影画像の選択」とは、投影制御装置1にてあらかじめ決められた複数のグレーコード画像情報をプロジェクタ2のメモリに格納しておき、その中から投影すべき画像を選択する所定の指示信号を投影制御装置1から送信するものである。画像データをシステム制御装置4から受取らなくても目的の投影が達成できるため、投影制御装置1がシステム制御装置4から受け取る情報は制御情報のみとなり両者間のインターフェースを簡便に実現することができる。この場合、プロジェクタ用DVIインターフェースケーブル13は省略可能となる。
【0039】
「(f)フォーカス調整・台形ひずみ補正・ズーム・投影映像の解像度・投影画像の画像処理の選定」に関し、図8を参照して説明する。図8は、プロジェクタ2の内部構成を示したブロック図である。DVIレシーバ205は、投影制御装置1より出力されたDVI信号を受信する。DVIレシーバ205は高速シリアル信号である上記DVI信号を後段で処理し易いようにデコードし、R成分信号、G成分信号、B成分信号、垂直同期信号、水平同期信号、映像イネーブル信号、ドットクロックの信号を生成する。画像処理回路206は、DVIレシーバ205で生成された上記信号を入力して、所与の画像処理を行う。画像処理回路206で画像処理を施された画像データは後段の表示デバイス207に送られる。表示デバイス207は、画像処理回路206から画像処理を施された画像データを入力し、それに応じて投影映像を生成し、例えば液晶デバイスへ表示する。光学ユニット208は、表示デバイス207の投影出力を所望の投影光にするための光学ユニットである。
【0040】
コマンドデコード回路202は、投影制御装置1の送信部110から送信され、受信部201で受信した信号を解釈し、必要な信号に変換する。制御回路203は、コマンドデコード回路202で得られた信号を受け、それにしたがってデバイスを制御する。モータ204は、光学ユニット208内の部品の位置や角度などの調整を行う。フレームごとに制御を行うためにピエゾアクチュエータなどの高速なモータを使用する。
【0041】
コマンドデコード回路202で解釈されたコマンドがフォーカス調整、台形ひずみ補正、ズーム調整であった場合、制御回路203はモータ204を動作させ、それにより光学ユニット208を調整し所望のフォーカス、台形ひずみ補正、ズームとなるようにする。また台形ひずみ補正、ズーム調整は画像情報を処理することで実現させることもできるので、その場合は制御回路203が画像処理回路206を制御し、それにより画像処理回路は必要な画像処理を行う。
【0042】
また、コマンドデコード回路202で解釈されたコマンドが投影映像の解像度指定、投影画像の画像処理の選定であった場合は、制御回路203が画像処理回路206を制御する。それにより画像処理回路206は解像度変換や、明るさ調整・コントラスト調整・シャープネス調整・ガンマ調整・色調整・ノイズリダクション処理などの画像処理を行う。以上、図8を用いて説明した各種調整項目については一般の市販プロジェクタの機能として備わっている機能であるので、ここでは処理方法の詳述は行わない。
【0043】
「(g)プロジェクタ2の投影方向や投影角度の制御」について、図9(a)〜(d)を参照して説明する。まず、投影方向の調整に関して図9の(a),(b)を用いて説明する。図9(a)はプロジェクタ2が下方向に投影している状態を示す。アクチュエータ210は、不図示のプロジェクタ2の取付け支持部材とプロジェクタ2との間の角度を変化させて投影方向を変化させる機能を持つ。プロジェクタ2の角度を変化させることによりプロジェクタ2の投影方向が変化する。受信部201で受信した信号に投影方向の調整を行う指示が含まれていた場合、制御回路203はアクチュエータ210を制御してプロジェクタ2の投影方向を所望量変化させる。図9(b)は図9(a)の状態からプロジェクタ2の角度を変化させた後の状態を示したものである。アクチュエータ210はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0044】
プロジェクタ2の投影角度の調整に関して図9の(c)、(d)を用いて説明する。図9(c)はプロジェクタ2が下方向に投影している状態を示す。アクチュエータ211は、不図示のプロジェクタ2の取付け支持部材とプロジェクタ2との間の角度を変化させて、投影角度(投影軸周りの角度)を変化させる機能を持つ。なお、プロジェクタ2の投影角度を変化させることによりプロジェクタ2の投影方向は変化しない。受信部201で受信した信号に投影角度の調整を行う指示が含まれていた場合、制御回路203はアクチュエータ211を制御してプロジェクタ2の投影角度を所望量変化させる。図9(d)は図9(c)の状態からプロジェクタ2の角度を変化させた後の状態を示したものである。アクチュエータ211はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0045】
なお、第2実施形態で示した制御情報の通信は、第1実施形態のプロジェクタ制御ケーブル14を用いても実現できることは言うまでもない。例えば、投影用光源の発光光量パターンや点灯パターンの制御、アクチュエータによるプロジェクタ2の投影方向、投影角度の制御は、第1実施形態の構成にも適用できることは明らかである。
【0046】
[第3実施形態]
図10は、第3実施形態に係る三次元計測装置の構成を示すブロック図である。カメラ制御ケーブル16は、投影制御装置1からカメラ3に対して制御情報を送ると共にカメラ3の情報を投影制御装置1に送る機能を持つ。図10の第1実施形態(図1)との相違点は、カメラ制御ケーブル16が追加された点である。また、図1ではプロジェクタ制御ケーブル14は投影制御装置1からプロジェクタ2に制御情報を送る機能の説明のみであったが、本実施形態では双方向に通信する機能を有する。すなわち、プロジェクタ制御ケーブル14は、投影制御装置1からプロジェクタ2に対して制御情報を送ると共に、プロジェクタ2の情報を投影制御装置1に送る機能も持つ。
【0047】
図11は、第3実施形態に係る投影制御装置1の構成を示すブロック図である。ステータス処理回路106は、プロジェクタ制御ケーブル14を経由してプロジェクタ2から送られてくるプロジェクタ2のステータス情報および、カメラ制御ケーブル16を経由してカメラ3から送られてくるカメラ3のステータス情報を受信する。ステータス処理回路106は、受信したステータス情報の内容により、必要な処理を決定する。フレームバッファ107は、数フレーム分の画像データを記憶可能な容量を持つ。フレームバッファ制御回路108は、フレームバッファ107の制御を行う。本実施形態の投影制御装置1(図11)の第1実施形態(図3)との相違点はステータス処理回路106、フレームバッファ107、フレームバッファ制御回路108、カメラ制御ケーブル16用の信号が追加になった点である。以下、図10、図11を用いて第3実施形態の説明を行う。なお、上記変更点の周辺以外は第1実施形態と同様である。
【0048】
投影制御装置1はプロジェクタ制御ケーブル14を経由してプロジェクタ2に対してステータス情報の要求を行う。プロジェクタ2はこの要求に呼応してプロジェクタ2のステータス情報をプロジェクタ制御ケーブル14を介して投影制御装置1に送る。プロジェクタ2のステータス情報とは、例えば投影用光源であるLEDの温度とすることができる。投影制御装置1はフレームごとにLED(光源)の温度を取得し、必要に応じてLEDの輝度を所望の値にする目的でLEDの駆動電流を変更する指示を、プロジェクタ制御ケーブル14を介してプロジェクタ2に対して行う。これにより、LEDの温度変動による輝度の変動を防止することができ、より高精度な3次元計測を実現できる。この場合、ステータス処理回路106がプロジェクタ2よりプロジェクタ制御ケーブル14を介してLEDの温度情報を受信し、その情報によりLEDの輝度を調整するかを判断する。そして、調整する必要があると判断したときはその制御情報を制御信号生成回路104に渡し、制御信号生成回路104はそれによりプロジェクタ制御ケーブル14を経由してプロジェクタ2を制御する。
【0049】
なお、プロジェクタ2が、投影制御装置1からのステータス取得要求がなくても、プロジェクタ制御ケーブル14を介して自動的にステータス情報を投影制御装置1に送信する機能を持つようにしてもよい。この場合、自動的に送信されるステータス情報としては、例えば、LEDが何らかの原因で不点灯または所望の発光を行わなかった場合のエラー情報が挙げられる。投影制御装置1内のステータス処理回路106は、この機能により例えばLEDの瞬停を検知することができる。LEDの瞬停が検知された場合、ステータス処理回路106は、フレームバッファ制御回路108に、送信済み画像データの再送を指示する。この指示を受けたフレームバッファ制御回路108はフレームバッファ107に保存された1フレーム分の送信済み画像データを再度プロジェクタ用DVIインターフェースケーブル13を経由してプロジェクタ2に送信するよう制御する。
【0050】
この画像データの再送と同時に、ステータス処理回路106は制御信号生成回路104に撮像の指示を行う。この指示により、制御信号生成回路104は撮像指示の信号を制御信号重畳回路105に送出する。制御信号重畳回路105はこの撮像指示の信号が重畳された撮像制御信号を生成し、カメラ用カメラリンクケーブル15を通じてカメラ3に伝達し、それによりカメラ3は撮像動作を行う。
【0051】
また、この撮像指示と同時に、制御信号生成回路104はカメラ3に対してカメラ制御ケーブル16を介して本フレームの撮像(LEDの瞬停が検出された時点の撮像)が無効になった旨を通知する。この通知を受けたカメラ3は、撮像を止めるなりデータ転送を止めるなりして、本フレームにおける動作を中止する。システム制御装置4は、カメラ用カメラリンクケーブル15、投影制御装置1、カメラリンクケーブル12を経由してカメラ3からのデータが中断したことを受けて、本フレームが無効となったことを判断し、途中まで受取ったデータを破棄する。カメラ3において撮像データの転送を開始する以前に動作を中止した場合は、投影制御装置1は特に意識する必要なく、次にカメラ3からくる画像データを所望画像として取り込み、処理を行えばよい。
【0052】
投影制御装置1はカメラ制御ケーブル16を介してカメラ3に対して撮像制御情報を送信する。撮像情報は、例えば、フレームごとにシャッタをオンにするか否かの情報、フレーム内における垂直同期信号から計数されるシャッタ開始時間、シャッタが開く時間、フレーム内における垂直同期信号から計数されるシャッタ終了時間、ゲイン調整、絞り調整、ズーム、フォーカス、部分読み出しにおけるエリア指定、フレームレート、クロックレート、解像度、などの少なくともいずれかを含む。これら制御情報はフレーム単位で送信が可能であり、これを受取ったカメラ3はその制御情報により設定変更を行う。上記各制御項目は汎用カメラで設定可能な一般的な機能であるので、ここでは詳述を割愛する。なおカメラ3はこれら制御項目をカメラ制御ケーブル16を経由して受取ることにより、それら項目の設定がなされる仕様となっている。
【0053】
また、投影制御装置1はカメラ制御ケーブル16を介して、撮像方向の調整、撮像角度の調整の指示を送信し、これを受けたカメラ3は自身の撮像方向や撮像角度を指示に従って変化させる。
【0054】
撮像方向の調整に関して図12を用いて説明する。図12(a)はカメラ3が下方向を撮像している状態を示す。アクチュエータ212は、不図示のカメラ3の取付け支持部材とカメラ3との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ3の撮像方向が変化する。投影制御装置1よりカメラ制御ケーブル16を介してカメラ3が撮像方向の調整を行う指示を受取った場合、カメラ3はアクチュエータ212を動作させてカメラ3の撮像角度を所望量変化させる。図12(b)は図12(a)の状態からカメラ3の撮像角度を変化させた後の状態を示したものである。アクチュエータ212には、フレームごとに制御を行うためにピエゾアクチュエータなどの高速なものが使用される。
【0055】
撮像角度の調整に関して図12を用いて説明を行う。図12(c)はカメラ3が下方向を撮像している状態を示す。アクチュエータ213は、不図示のカメラ3の取付け支持部材とカメラ3との間の角度を変化させる機能を持つ。この角度を変化させることによりカメラ3の撮像方向は変化しないが、撮像方向周りの角度が変化する。投影制御装置1よりカメラ制御ケーブル16を介してカメラ3が撮像角度の調整を行う指示を受取った場合、アクチュエータ213が動作してカメラ3の撮像角度を所望量変化させる。図12(d)は図12(c)の状態からカメラ3の撮像角度を変化させた後の状態を示したものである。アクチュエータ213はフレームごとに制御を行うためにピエゾアクチュエータなどの高速なものを使用する。
【0056】
第2実施形態においてはプロジェクタ2の投影方向の調整と投影角度の調整に関して記述を行ったが、そのプロジェクタ2の制御と本実施形態のカメラ3の撮像方向の調整・撮像角度の調整を同期して行うという制御方法もとりうる。またプロジェクタ2とカメラ3が同一筺体上に固定して取り付けられた投影撮像装置21全体の投影・撮像方向の調整、投影・撮像角度の調整を、前記同様の高速アクチュエータ手段にて調整を行う制御方法も取りうる。
【0057】
投影制御装置1はカメラ制御ケーブル16を経由してカメラ3に対してステータス情報の要求を行う。カメラ3は上記要求に呼応してカメラ3のステータス情報をカメラ制御ケーブル16を介して投影制御装置1に送る。カメラ3のステータス情報とは、例えばシャッタイネーブル情報であり、投影制御装置1はこの情報がイネーブルの場合にのみシャッタ制御を、カメラ制御ケーブル16を介してカメラ3に対して行う。この場合、ステータス処理回路106がカメラ3よりカメラ制御ケーブル16を介してシャッタイネーブル情報を受信し、その情報によりシャッタ制御が可能か否かを判断する。そして、可能であると判断した場合に、ステータス処理回路106は、その情報を制御信号生成回路104に渡し、制御信号生成回路104はそれによりカメラ制御ケーブル16を経由してカメラ3に送るシャッタ制御情報を許可する。
【0058】
[第4実施形態]
図13は、第4実施形態に係る三次元計測装置を使用した組立てロボットの構成を示す図である。上記第1〜第3実施形態で説明した投影撮像装置21、通知ランプ32、振動センサ36、照明37、作業台31がやぐら30によって支持されている。作業台31には、ロボットアーム33が配置されている。通知ランプ32は機器異常や進捗状況を目視的に知らせる。ロボットアーム33は、作業台31上の任意の場所にて作業を行うことができ、作業台31上にて部品35の把持・組付けなどを行うロボットハンド34を有する。振動センサ36は投影撮像装置21の近傍に設置され、照明37は作業台31上を照らす。以下、図11を使用し第4実施形態を説明する。
【0059】
システム制御装置4は上記各種機能を統合的に制御する機能を持つ。例えば、システム制御装置4は、投影撮像装置21を制御して部品35の三次元計測を行い、その情報によりロボットアーム33、ロボットハンド34を制御して部品35の各々の把持や組付けを行う。また、システム制御装置4は、振動センサ36の情報を取り込み、その情報により投影撮像装置21の振動による計測誤差を補正する。また、システム制御装置4は、異常または進捗状況を把握し、必要に応じて通知ランプ32を制御するとともに、照明37に関する制御を行う。
【0060】
システム制御装置4は、振動センサ36が想定値を超える異常な振動を検知した場合は、計測の誤差補正が出来ないと判断し、再計測を行うよう投影撮像装置21に指示する。また動作継続不能な状態を検知した場合は、通知ランプ32を点灯させると共に、投影撮像装置21、ロボットアーム33、ロボットハンド34の動作を停止する。動作継続不能な状態とは例えば、上記異常な振動が規定時間を超えて継続する場合であったり、必要な作業が終了したりした場合などである。この場合その状態内容に応じて通知ランプ32の点灯色を変化させる制御も行う。
【0061】
また、システム制御装置4は、作業台31上での作業状況に応じて、照明37の発光色、発光強度、発光方向の制御を行う。システム制御装置4は、振動センサ36の情報をフレームに同期して取り込み、フレームごとに補正をかける機能を持つと共に、計測を行っているフレームにおいてのみ振動センサ36の情報を取り込んだり補正演算を行ったりする機能も持つ。また、システム制御装置4は、振動センサ36からの情報を解析し、その振動モードにより補正の方式を選択する機能を持つ。例えば、システム制御装置4は、
・振幅が小さく高周波の振動の場合には補正は行わず、
・長周期の振動の場合にはプロジェクタ2の投影方向または投影角度、あるいはカメラ3の撮像方向または撮像角度を制御することで補正を行い、
・中周期の振動の場合にはカメラ3からの撮像画像を演算することで補正を行う。
【0062】
図14は本実施形態の動作を行う投影制御装置1の内部機能と周辺ケーブルを示した図である。外部機器制御ケーブル17は、通知ランプ32、照明37などを制御するためにそれらに接続される。通知ランプ32、照明37の制御信号は、投影制御情報と同様にDVIインターフェースの映像信号を用いて取得されるので、システム制御装置4はこれらをフレーム単位で制御することができる。センサ情報入力ケーブル18は、振動センサ36の出力を投影制御装置1に伝送する。センサ情報処理回路109は、センサ情報入力ケーブル18を経由して入力された振動センサ36出力を、システム制御装置4が処理可能な信号形態に変換する。センサ情報出力ケーブル19は、センサ情報処理回路109の出力をシステム制御装置4に伝送する。センサ情報処理回路109の入力がアナログ信号で、出力もアナログ信号の場合は、センサ情報処理回路109の機能はアナログ信号バッファまたは増幅器である。この場合、システム制御装置4は内蔵のA/D変換ボードにて同信号をデジタル信号に変換し、処理を行う。また、センサ情報処理回路109の入力がアナログ信号で出力がデジタル信号の場合は、センサ情報処理回路109の機能はA/D変換回路である。その場合、システム制御装置4は内蔵の汎用ポート入力ボードにてデジタル信号を取り込み、処理を行う。
【0063】
以上のように、第4実施形態によれば、ロボット制御を行なうための三次元計測において、三次元計測に利用する画像データの取捨選択が適切に行われ、高精度な三次元計測を達成できる。また、映像信号には、投影制御情報、撮像制御情報に加えて、その他の周辺機器(通知ランプ32っや照明37)の制御信号を含めることができ、周辺機器のレームごとの制御、フレームに同期した制御を容易に実現できる。
【0064】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
投影装置を制御するための投影制御装置であって、
複数の色成分で構成された映像信号を受信する受信手段と、
前記受信手段で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
前記抽出手段で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する生成手段と、
前記生成手段で生成した投影制御情報を前記投影装置に供給する供給手段と、を備えることを特徴とする投影制御装置。
【請求項2】
前記抽出手段は、更に、前記特定の色成分以外の他の色成分の情報を画像情報として抽出し、
前記生成手段は、更に、前記抽出手段で抽出された画像情報に基づいて前記投影装置が表示するべき映像信号を生成し、
前記供給手段は、更に、前記生成手段で生成された映像信号を前記投影装置に供給する、ことを特徴とする請求項1に記載の投影制御装置。
【請求項3】
前記投影装置は、所定の指示信号にしたがって予め定められたパターンを投影し、
前記投影制御情報は、前記所定の指示信号を含む、ことを特徴とする請求項1に記載の投影制御装置。
【請求項4】
前記生成手段は、前記抽出手段で抽出された制御信号に基づいて、前記投影装置以外の外部装置を制御するための制御情報をフレームごとに生成し、
前記外部装置に前記制御情報を送信する送信手段を更に備える、ことを特徴とする請求項1乃至3のいずれか1項に記載の投影制御装置。
【請求項5】
前記外部装置は撮像装置であり、
前記生成手段は、前記抽出手段で抽出された制御情報に基づいて、前記撮像装置の撮像動作を制御するための撮像制御情報を前記フレームごとに生成し、
前記送信手段は、前記生成手段で生成した撮像制御情報を前記撮像装置に送信する、ことを特徴とする請求項4に記載の投影制御装置。
【請求項6】
前記供給手段は、無線通信により前記投影制御情報を前記投影装置に供給することを特徴とする請求項1乃至5のいずれか1項に記載の投影制御装置。
【請求項7】
前記投影制御情報は、前記投影装置が有する光源の点灯を制御するための信号を含むことを特徴とする請求項1乃至5のいずれか1項に記載の投影制御装置。
【請求項8】
前記撮像制御情報は、前記撮像装置のシャッタを制御する信号を含むことを特徴とする請求項5に記載の投影制御装置。
【請求項9】
前記投影装置からステータス情報を受信する手段を更に備え、
前記生成手段は、前記ステータス情報に基づいて投影制御情報を変更することを特徴とする請求項1乃至8のいずれか1項に記載の投影制御装置。
【請求項10】
投影装置を制御するための投影制御装置による投影制御方法であって、
受信手段が、複数の色成分で構成された映像信号を受信する工程と、
抽出手段が、前記受信する工程で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する工程と、
生成手段が、前記抽出する工程で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する工程と、
供給手段が、前記生成する工程で生成した投影制御情報を前記投影装置に供給する工程と、を有することを特徴とする投影制御方法。
【請求項11】
請求項10に記載された投影制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項1】
投影装置を制御するための投影制御装置であって、
複数の色成分で構成された映像信号を受信する受信手段と、
前記受信手段で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する抽出手段と、
前記抽出手段で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する生成手段と、
前記生成手段で生成した投影制御情報を前記投影装置に供給する供給手段と、を備えることを特徴とする投影制御装置。
【請求項2】
前記抽出手段は、更に、前記特定の色成分以外の他の色成分の情報を画像情報として抽出し、
前記生成手段は、更に、前記抽出手段で抽出された画像情報に基づいて前記投影装置が表示するべき映像信号を生成し、
前記供給手段は、更に、前記生成手段で生成された映像信号を前記投影装置に供給する、ことを特徴とする請求項1に記載の投影制御装置。
【請求項3】
前記投影装置は、所定の指示信号にしたがって予め定められたパターンを投影し、
前記投影制御情報は、前記所定の指示信号を含む、ことを特徴とする請求項1に記載の投影制御装置。
【請求項4】
前記生成手段は、前記抽出手段で抽出された制御信号に基づいて、前記投影装置以外の外部装置を制御するための制御情報をフレームごとに生成し、
前記外部装置に前記制御情報を送信する送信手段を更に備える、ことを特徴とする請求項1乃至3のいずれか1項に記載の投影制御装置。
【請求項5】
前記外部装置は撮像装置であり、
前記生成手段は、前記抽出手段で抽出された制御情報に基づいて、前記撮像装置の撮像動作を制御するための撮像制御情報を前記フレームごとに生成し、
前記送信手段は、前記生成手段で生成した撮像制御情報を前記撮像装置に送信する、ことを特徴とする請求項4に記載の投影制御装置。
【請求項6】
前記供給手段は、無線通信により前記投影制御情報を前記投影装置に供給することを特徴とする請求項1乃至5のいずれか1項に記載の投影制御装置。
【請求項7】
前記投影制御情報は、前記投影装置が有する光源の点灯を制御するための信号を含むことを特徴とする請求項1乃至5のいずれか1項に記載の投影制御装置。
【請求項8】
前記撮像制御情報は、前記撮像装置のシャッタを制御する信号を含むことを特徴とする請求項5に記載の投影制御装置。
【請求項9】
前記投影装置からステータス情報を受信する手段を更に備え、
前記生成手段は、前記ステータス情報に基づいて投影制御情報を変更することを特徴とする請求項1乃至8のいずれか1項に記載の投影制御装置。
【請求項10】
投影装置を制御するための投影制御装置による投影制御方法であって、
受信手段が、複数の色成分で構成された映像信号を受信する工程と、
抽出手段が、前記受信する工程で受信した前記映像信号の各フレームについて特定の色成分の情報を制御情報として抽出する工程と、
生成手段が、前記抽出する工程で抽出された制御情報に基づいて、前記投影装置の動作を制御するための投影制御情報をフレームごとに生成する工程と、
供給手段が、前記生成する工程で生成した投影制御情報を前記投影装置に供給する工程と、を有することを特徴とする投影制御方法。
【請求項11】
請求項10に記載された投影制御方法の各工程をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−44735(P2013−44735A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−185252(P2011−185252)
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]