情報処理システム、情報処理装置、それらの制御方法、およびプログラム
【課題】画像データの欠落や画質劣化を起こすことなく、画像信号と制御信号とを同期させて送信する。
【解決手段】送信装置と受信装置とを備える情報処理システムであって、送信装置は、画素単位で、映像信号の有効表示期間に画像データを埋め込み、映像信号の画像データが埋め込まれていない部分に画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み部を備え、受信装置は、送信装置から映像信号を受信して当該映像信号を画像データと制御データとに分離する分離部を備える。
【解決手段】送信装置と受信装置とを備える情報処理システムであって、送信装置は、画素単位で、映像信号の有効表示期間に画像データを埋め込み、映像信号の画像データが埋め込まれていない部分に画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み部を備え、受信装置は、送信装置から映像信号を受信して当該映像信号を画像データと制御データとに分離する分離部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、それらの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
映像信号や制御情報を送信する場合、ＤＶＩやＲＳ２３２Ｃなどの汎用のインタフェース規格を採用することで、安価で汎用性のあるシステムを構成することができる。複数のパターンを切り換えながら物体へ投影し、当該物体を撮像することによって当該物体の三次元形状を計測したり、当該物体の識別を行ったりする場合には、パターンを投影するための映像信号や、投影したパターンを撮像するためのカメラ用の制御信号などを同期させて送信する必要がある。しかしながら、複数のインタフェースが個別に必要となるため同期をとることが困難である。また、複数のケーブルが必要となり、コストがかかるだけでなく、接続が煩雑になってしまう。すなわち、表示用画像信号と制御信号とを同時に送信するシステムにおいては、制御信号用のインタフェースを追加することなく、汎用のインタフェース規格を使用したいというニーズがある。特許文献１では、送信側で表示用画像の一部分を制御信号に置き換えることにより、制御信号を表示用画像信号に重畳して送信し、受信側で表示用画像信号と制御信号とに分離してデコードしている。
【０００３】
また、特許文献２では、送信側で表示用画像データの最下位ビットのみを制御信号に置き換えることで、制御信号を表示用画像信号に重畳して送信し、受信側で表示用画像データから制御信号を抽出してデコードしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１４９１４２号公報
【特許文献２】特開２００３−５１９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、表示画面の一部（例えば上端の数ライン）を完全に制御信号に置き換えて送信するため、受信した画像の一部が欠けてしまい、有効な画像エリアが小さくなるという課題がある。また、特許文献２に記載の方法では、表示画面が部分的に欠けるということはないが、全画面に渡って画像の劣化が発生する。人間の視覚に関しては、最下位ビットのみを置き換えても影響は殆どないが、カメラなどの撮像機器で画像の投影パターンを撮像する場合には、ノイズのように認識されてしまい、特に多量の制御データを送信する場合には影響が大きくなるという課題がある。
【０００６】
上記の課題に鑑み、本発明は、画像データの欠落や画質劣化を起こすことなく、画像信号と制御信号とを同期させて送信可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る情報処理システムは、
送信装置と受信装置とを備える情報処理システムであって、
前記送信装置は、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備え、
前記受信装置は、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離する分離手段を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データの欠落や画質劣化を起こすことなく、画像信号と制御信号とを同期させて送信することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る投影・撮像計測システムの構成を示すブロック図。
【図２】画像データが単色画像で、Ｒ信号に制御データがある場合の、データ埋め込み部の動作を説明するための図。
【図３】画像データが単色画像で、Ｒ信号に制御データがある場合の、デコード部の動作を説明するための図。
【図４】画像データが低階調カラー画像で、制御データが下位７ビットに埋め込まれている場合の、データ埋め込み部の動作を説明するための図。
【図５】画像データが低階調カラー画像で、制御データが下位７ビットに埋め込まれている場合の、デコード部の動作を説明するための図。
【図６】第２実施形態に係る投影・撮像計測システムの構成を示すブロック図。
【図７】画像データが単色画像で、データ埋め込み設定信号により制御データを埋め込む信号を選択する場合の、データ埋め込み部の動作を説明するための図。
【図８】画像データが低階調カラー画像で、データ埋め込み設定信号により制御データを埋め込むビット数を設定する場合の、データ埋め込み部の動作を説明するための図。
【図９】データ埋め込み設定信号により制御データの埋め込み方法を選択する場合の、デコード部３００のブロック図である。
【図１０】単色画像デコード部３２０の構成を示すブロック図。
【図１１】低階調画像デコード部３３０の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
（第１実施形態）
図１は、第１実施形態に係る情報処理システムとして機能する投影・撮像計測システム１の構成を示すブロック図である。この投影・撮像計測システム１は、所定のパターンを測定対象物４００へ投影し、撮像する処理を実行する投影・撮像部１０と、投影・撮像部１０内の各処理部に対する制御信号および、投影パターンの生成を行い、撮像された撮像画像の処理を実行する制御部２０とを備える。
【００１１】
本実施形態では、送信装置として機能する制御部２０が、映像信号を構成する信号データに画像データを埋め込み、信号データの未使用部分（すなわち、画像データが埋め込まれていない部分）に、受信装置として機能する投影・撮像部１０がその画像データを用いて実行する処理を制御するための制御データを埋め込む。投影・撮像部１０は、制御部２０から映像信号を受信して当該映像信号を画像データと制御データとに分離し、投影パターン、投影制御信号、撮像制御信号等を生成する。
【００１２】
以下、具体的に投影・撮像部１０、制御部２０の構成について説明する。投影・撮像部１０は、受信装置として機能し、投影部１００と、撮像部２００と、デコード部３００とを備える。
【００１３】
投影部１００は、投影制御コマンドにより指定されるタイミングで所定の投影パターンを測定対象物４００へ投影する。撮像部２００は、撮像制御コマンドにより指定されるタイミングで測定対象物４００上に投影されたパターンを撮像する。デコード部３００は、入力された映像信号を画像データ（0投影パターン）と、投影制御コマンドおよび撮像制御コマンドを含む制御コマンドと、に分離する。
【００１４】
制御部２０は、送信装置として機能し、データ埋め込み部４００と、データ生成部５００と、画像解析部６００とを備える。データ生成部５００は、投影部１００で表示するための画像データ（投影パターン）と、投影・撮像部１０の動作を制御する制御データとを生成する。制御データは、投影部１００において投影パターンの点灯タイミングや光源の輝度を設定するための投影制御データと撮像部２００において撮像するタイミングや撮像範囲を設定するための撮像制御データとを含む。
【００１５】
データ埋め込み部４００は、画像データ（投影パターン）の冗長度によって決められたビット数で、制御データを画像データ（投影パターン）の冗長部分に埋め込み、汎用の映像インタフェース形式で映像信号として出力する。
【００１６】
画像解析部６００は、撮像画像データを取得して解析を行い、データ生成部５００は、当該解析結果に基づいて、次に投影すべき投影パターンや、投影部１００および撮像部２００への制御データを生成する。
【００１７】
ここで、パターン投影法を用いた形状計測方法を例に挙げ、全体の動作について説明する。空間符号化法と呼ばれるパターン投影法の場合、制御部２０は、投影部１００に対して、ネガ・ポジそれぞれのグレイコードパターンを表示するように投影パターンを送信し、投影部１００は当該投影パターンを測定対象物４００へ投影する。測定対象物４００の表面で反射されたグレイコードパターンの反射光は、撮像部２００により別角度で撮像されるため、測定対象物４００の形状によって変形され、撮像部２００の撮像光学系を介してイメージセンサにより受光される。受光された反射光は光電変換され、撮像画像データとして画像解析部６００へ出力されて画像解析され、次に投影するパターンや投影部１００および撮像部２００への制御データをデータ生成部５００へ出力する。このようにして、ネガとポジの２通りのグレイコードパターンを測定対象物４００へ投影し、ネガ・ポジ画像の境界位置から符号値を算出することで、三角測量原理により距離情報を計算する。
【００１８】
このとき、複数の投影パターンを切り換えながら撮像を行うためには、投影と撮像のタイミングを合わせる必要がある。そのため、制御部２０は、投影部１００に対して、表示開始や表示期間および表示輝度などを設定する投影制御信号を生成し、撮像部２００に対しては、撮像開始や露光時間および撮像時のゲインなどを設定する撮像制御信号を生成する。制御部２０が備えるデータ生成部５００により生成された画像データ（投影パターンの冗長部分を削減したデータ）、および制御データ（投影制御信号、および撮像制御信号）が、データ埋め込み部４００により同一の映像信号に埋め込まれ、投影・撮像部１０へ送信される。
【００１９】
また、より高速に投影・撮像処理を行うためには、フレーム単位に投影パターンを切り換える必要があるが、制御データを１フレーム内で完結する信号とし、フレーム単位に更新することでフレームに同期した制御が可能になる。
【００２０】
投影・撮像部１０へ入力された映像信号は、デコード部３００により、画像データと制御データとに分離され、画像データの冗長部分を再生して投影パターンを生成し、制御データから投影制御信号、撮像制御信号を抽出する。さらに制御データについては、投影部１００、撮像部２００を直接制御するためのコマンド形式にデコードする。
【００２１】
次に、本発明の特徴であるデータ埋め込み部４００および、デコード部３００の動作について、詳細に説明する。パターン投影法による形状計測で用いられる投影パターンは、自然画像とは異なり、冗長性のあるパターンであることが多い。以降、冗長性のある投影パターンの例を挙げ、それぞれの場合について説明する。
【００２２】
＜単色画像＞
例えば、投影パターンが図２（ａ）に示すようなグレースケールの２５６階調サイン波であれば、ＲＧＢ信号データの各信号が全て同じデータであるため、画像データとしては単色の８ビット分あれば十分である。つまり、例えばＧ信号のデータにのみ８ビットのサイン波データを入力した場合は、Ｒ信号、Ｂ信号は制御データとして使用できる。なお、映像信号のＲＧＢとはＲＥＤ、ＧＲＥＥＮおよびＢＬＵＥの３原色の各色信号からなるデジタル映像信号であるとして、以降説明で使用する。また、ＤＥ（データイネーブル）信号とは、映像有効表示期間を示す信号で、ＨＩＧＨアクティブの信号である。ＤＥ信号がＬＯＷとなる期間というのは、映像の水平同期信号期間あるいは垂直同期信号期間である。
【００２３】
ここでＧ信号に画像データ、Ｒ信号に制御データを埋め込むときのデータ埋め込み部４００の埋め込み例を図２（ｂ）に示す。データ埋め込み部４００では、画像データとして、Ｇ信号に投影パターンである８ビットのサイン波データがそのまま埋め込まれる。また、Ｒ信号には制御データとして８ビットの投影制御信号と撮像制御信号とが埋め込まれる。Ｂ信号は未使用としている。
【００２４】
同期コマンド信号は、映像有効表示期間のどの位置に制御データが埋め込まれているかを示す信号であり、制御データと誤認識しないように、正常な制御データの並びでは発生しないようなパターンとしている。そのため基本的には、画素単位で、制御データを映像有効表示期間のどの位置に埋め込んでもよいが、検出の信頼性を向上するために、例えば制御データはフレームの最初の映像有効ライン先頭に配置するように規定してもよい。また、制御データが埋め込まれない場合には、そのことを明示できるように、制御データがある場合とない場合とで、異なる同期コマンド信号を定義しておいてもよい。
【００２５】
一方、デコード部３００は、図３に示すように、画像データである８ビットのＧ信号入力から、投影パターンであるグレースケール２５６階調サイン波のＲ信号とＢ信号とを生成し、ＲＧＢ合わせて２４ビットの投影パターンを再生する。
【００２６】
図３において、デコード部３００は、制御データ抽出部３０１と、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、を備える。制御データ抽出部３０１は、制御データであるＲ信号入力から同期コマンド信号を検出すると、投影制御信号、および撮像制御信号を抽出する。そして、投影用コマンドデコード部３０２、撮像用コマンドデコード部３０３により、それぞれ投影部１００、撮像部２００を直接制御可能なコマンド形式にデコードし、実際の制御を行う。
【００２７】
また、この例ではＲ信号のみを制御データの送信に使用したが、例えばＲ信号に投影制御データ、Ｂ信号に撮像制御データを埋め込むようにしてもよい。
【００２８】
さらに、この例では、画像データ、および制御データなど、投影・撮像部１０が備える投影部１００、および撮像部２００に関するデータを例に挙げているが、映像信号に埋め込まれるデータとしてはこれに限るものではない。例えば、制御データとして、ロボットアームなどの外部装置を制御するコマンドを埋め込んでもよいし、画像データとして、上述の例では未使用であったＢ信号に第二の投影部などの外部装置に表示する投影パターンを埋め込んでもよい。
【００２９】
＜低階調のカラー画像＞
例えば、投影パターンが図４（ａ）に示すカラーバーのような８色のカラーパターンであれば、各画素でＲＧＢがそれぞれ異なる値となるが、画像データとしては各色８ビット分の階調は必要ない。つまり各色で上位の数ビットを画像データとして使用し、残りのビットを制御データとして使用することができる。
【００３０】
ここでＲＧＢ各信号の上位１ビットに画像データ、下位７ビットに制御データを埋め込むときの、データ埋め込み部４００の埋め込み例を図４（ｂ）に示す。データ埋め込み部４００は、画像データとして、ＲＧＢ信号の色ごとに、投影パターンがＦＦであれば上位１ビットに１を埋め込み、投影パターンが０であれば上位１ビットに０を埋め込む。また、Ｒ信号の下位７ビットには制御データとして投影制御信号が埋め込まれ、Ｇ信号の下位７ビットには制御データとして撮像制御信号が埋め込まれる。Ｂ信号の下位ビットは未使用としている。
【００３１】
同期コマンド信号は、映像有効表示期間のどの位置に制御データが埋め込まれているのかを示す信号であり、制御データと誤認識しないように、正常な制御データの並びでは発生しないようなパターンとしている。そのため基本的には、制御データはＲＧＢの信号ごとに映像有効表示期間のどの位置に埋め込んでもよいが、検出の信頼性を向上するために、例えば制御データは、ＲＧＢの全信号のフレームの最初の映像有効ライン先頭に配置するように規定してもよい。また、この例のＢ信号のように制御データが埋め込まれない場合には、そのことを明示できるように、制御データがある場合とない場合とで、異なる同期コマンド信号を定義しておいてもよい。
【００３２】
一方、図５に示す例では、図４（ａ）−（ｂ）のような信号データを処理するデコード部３００は、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、投影パターンデコード部３０４と、画像データ抽出部３０５とを備える。
【００３３】
デコード部３００は、画像データであるＲＧＢ各入力信号の上位１ビットから、色ごとに投影パターンである００ｈまたはＦＦｈの信号を生成し、ＲＧＢ合わせて２４ビットの投影パターンを再生する。画像データ抽出部３０５は、ＲＧＢの各信号入力から同期コマンド信号を検出すると、画像データ、および制御データを抽出する。そして、投影パターンデコード部３０４は、抽出された１ビットの画像データから８ビットの投影パターンをデコードする。Ｒ信号入力から抽出された７ビットの制御データ（投影制御信号）は、投影用コマンドデコード部３０２により、投影部１００を直接制御可能なコマンド形式にデコードされる。Ｇ信号入力から抽出された７ビットの制御データ（撮像制御信号）は、撮像用コマンドデコード部３０３により、撮像部２００を直接制御可能なコマンド形式にデコードされる。
【００３４】
また、この例ではＲＧＢの各信号で、埋め込む画像データと制御データのビット数を同じにしているが、必ずしも同じにする必要はない。例えば、画像データのビット数をＲ、Ｇ、Ｂでそれぞれ２ビット、２ビット、４ビットの合計で８ビットとし、２５６色のカラーパレットとして使用してもよい。
【００３５】
本実施形態によれば、送信側で映像信号の画像データの冗長部分に制御データを埋め込むため、受信側で元の画像データを完全に再生することが可能となる。また、画像データと制御データとを同一の映像信号として送信するため、制御データ用のケーブルを削減できるだけでなく、データ送信用ＰＣの出力に汎用インタフェースを使用でき、システムを安価に構成することが可能となる。また、映像信号インタフェースのみを利用して、画像データの送信をすると共に、制御データに含まれる複数の制御情報により複数機器を機器単位で制御することが可能となる。さらに、映像信号のフレーム単位に制御コマンドを更新できるため、画像データに同期して他の機器を制御することが可能となる。
【００３６】
（第２実施形態）
図６は、第２実施形態に係る投影・撮像計測システム１の構成を示すブロック図である。第１実施形態との相違点は、制御部２０のデータ生成部５００により、さらに埋め込み設定信号が生成される点である。データ生成部５００、データ埋め込み部４００、およびデコード部３００以外の構成については、第１実施形態と同様のため説明は省略する。
【００３７】
埋め込み設定信号とは、投影パターンを画像データに変換して送信する際に、どのようにビットを削減したかを指定する信号である。例えば、埋め込み設定信号が「００ｈ」のときには、単色画像（画像データ＝Ｇデータ、制御データ＝Ｒデータ）の形式でデータを埋め込み、埋め込み設定信号が「０１ｈ」のときには、各色２階調（画像データ＝上位３ビット、制御データ＝下位５ビット）の形式でデータを埋め込む、といったように、予め決めておいた数種類のフォーマットから一つを選択して送信する。埋め込み設定信号は、画像データのビット数と、制御データのビット数との関係を信号である。このようにすることで、投影パターンの冗長度に応じて、画像データのビット数を調整することができる。
【００３８】
データ埋め込み部４００は、データ生成部５００により生成された画像データ、制御データ（投影制御信号、撮像制御信号）、および埋め込み設定信号を、埋め込み設定信号の値に応じて同一の映像信号に埋め込み、投影・撮像部１０へ送信する。
【００３９】
投影・撮像部１０に入力された映像信号は、デコード部３００により、映像信号に埋め込まれた埋め込み設定信号に応じて、画像データと制御データとに分離される。さらに、埋め込み設定信号の値に応じて、画像データの冗長部分を再生し投影パターンを生成すると共に、制御データから投影制御信号および撮像制御信号を抽出し、それぞれ投影部１００および撮像部２００を直接制御可能なコマンド形式にデコードする。
【００４０】
次に、本実施形態の特徴部分であるデータ埋め込み部４００および、デコード部３００の動作について、より詳細に説明する。投影パターンとしては、第１実施形態に係る図２（ａ）に示される＜単色画像＞の場合と、図４（ａ）に示される＜低階調のカラー画像＞の場合を例として用いる。
【００４１】
＜単色画像＞
投影パターンが、第１実施形態で説明した図２（ａ）に示すような、グレースケールの２５６階調サイン波である場合、第１実施形態と同様に、ＲＧＢ信号データの各信号が全て同じデータであるため、画像データとしては単色の８ビット分あれば十分である。つまりＧ信号のデータにのみ８ビットのサイン波データを入力した場合は、Ｒ信号、Ｂ信号は制御データとして使用できる。ここでＧ信号に画像データ、Ｒ信号に制御データを埋め込むときのデータ埋め込み部４００の埋め込み例を図７（ａ）に示す。データ埋め込み部４００は、画像データとして、Ｇ信号に投影パターンである８ビットのサイン波データをそのまま埋め込む。また、Ｒ信号には、埋め込み設定信号と、制御データとしての８ビットの投影制御信号および撮像制御信号と、が埋め込まれる。Ｂ信号は未使用としている。同期コマンド信号については、第１実施形態と同様のため説明は省略する。
【００４２】
＜低階調のカラー画像＞
投影パターンが、第１実施形態で説明した図４（ａ）に示すような、カラーバーのような８色のカラーパターンである場合、第１実施形態と同様に、画像データとしては各画素でＲＧＢがそれぞれ異なる値となるが、各色８ビット分の階調は必要ない。つまり各色で上位の数ビットを画像データとして使用し、残りのビットは制御データとして使用できる。
【００４３】
ここでＲＧＢ各信号の上位１ビットに画像データ、下位７ビットに制御データを埋め込む場合のデータ埋め込み部４００の埋め込み例を図８（ａ）に示す。データ埋め込み部４００は、画像データとして、ＲＧＢ信号データの色ごとに、投影パターンがＦＦであれば上位１ビットに１を埋め込み、投影パターンが０であれば上位１ビットに０を埋め込む。また、ＲＧＢ各信号の下位７ビットには、埋め込み設定信号が埋め込まれ、更にＲ信号には、制御データとして投影制御信号が、Ｇ信号には制御データとして撮像制御信号が埋め込まれる。Ｂ信号の制御データは未使用としている。なお、図８（ｂ）のように、画像データの階調を上位６ビット、制御データを下位２ビットとして埋め込んでもよい。
【００４４】
次に、図９を参照して、本実施形態に係るデコード部３００の構成例を説明する。デコード部３００は、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、埋め込み設定検出部３１０と、単色画像デコード部３２０と、低階調画像デコード部３３０と、パターン選択部３４０とを備える。
【００４５】
埋め込み設定検出部３１０は、ＲＧＢ入力信号から埋め込み設定信号を抽出し、各ブロックに選択信号を出力する。単色画像デコード部３２０は、投影パターンが前述した単色画像である場合のデコード部である。低階調画像デコード部３３０は、投影パターンが前述した低階調のカラー画像である場合のデコード部である。パターン選択部３４０は、埋め込み設定検出部３１０により抽出された埋め込み選択信号により、単色画像デコード部３２０、または低階調画像デコード部３３０のいずれかの信号を選択する。投影用コマンドデコード部３０２、撮像用コマンドデコード部３０３については、第１実施形態と同様のため説明は省略する。
【００４６】
ここで、埋め込み設定信号の設定例について説明する。埋め込み設定信号の最下位ビットをパターン選択部３４０用の埋め込みパターン選択信号、２ビット目を単色画像デコード部３２０、および低階調画像デコード部３３０内でのモード選択信号として使用する場合を考える。パターン選択部３４０は、例えば、埋め込みパターン選択信号が「０」のときは単色画像デコード部３２０の出力を選択し、選択信号が「１」のときは低階調画像デコード部３３０の出力を選択する。また、単色画像デコード部３２０内でのモード選択とは、モード選択信号が「０」のときは、図７（ａ）のように、Ｂ信号は未使用のモードとし、モード選択信号が「１」のときは、図７（ｂ）のように、Ｂ信号に撮像制御信号を埋め込んだモードとする。低階調画像デコード部３３０内でのモード選択とは、モード選択信号が「０」のときは、図８（ａ）のように、画像データの階調を上位１ビット、制御データを下位７ビットとして埋め込んだモードとし、モード選択信号が「１」のときは、図８（ｂ）のように、画像データの階調を上位６ビット、制御データを下位２ビットとして埋め込んだモードとする。
【００４７】
＜埋め込み設定信号が「００」または「１０」の場合＞
埋め込み制御信号の下位ビットが０なので、デコード部としては単色画像デコード部３２０が選択され、埋め込み制御信号の上位ビットでモードを選択する。このときの単色画像デコード部３２０の構成を図１０に示す。単色画像デコード部３２０は、制御データ抽出部３０１と、制御データ選択部３２１とを備える。制御データ抽出部３０１については、第１実施形態と同様のため説明は省略する。制御データ選択部３２１は、モード選択信号が０のときにＲ信号から抽出した撮像制御信号を選択し、モード選択信号が１のときにはＢ信号から抽出した撮像制御信号を選択する。一方、投影制御信号はモード選択信号にかかわらず、Ｒ信号から抽出したデータを出力する。投影パターンについては、８ビットのＧ信号入力からＲ信号とＢ信号とを生成し、ＲＧＢ合わせて２４ビットのデータを再生する。
【００４８】
また、この例では、画像データ、および制御データとして、投影・撮像部１０が備える投影部１００、および撮像部２００に関するデータを例に挙げているが、埋め込まれるデータとしてはこれに限るものではない。
【００４９】
＜埋め込み設定信号が「０１」または「１１」の場合＞
埋め込み制御信号の下位ビットが１なので、デコード部としては低階調画像デコード部３３０が選択され、埋め込み制御信号の上位ビットでモードを選択する。このときの低階調画像デコード部３３０の構成を図１１に示す。低階調画像デコード部３３０は、制御データ抽出部３０１と、投影パターンデコード部３０４と、画像データ抽出部３０５とを備える。
【００５０】
画像データ抽出部３０５は、モード選択信号が０のとき入力信号の上位１ビットを抽出し、モード選択信号が１のときに入力信号の上位６ビットを抽出する。投影パターンデコード部３０４は、モード選択信号が０のとき、１ビットの画像データから００またはＦＦの８ビットのパターンを生成し、モード選択信号が１のとき、６ビットの画像データから６４種類の８ビットパターンを生成する。制御データ抽出部３０１は、モード選択信号が０のとき入力信号の下位７ビットを抽出し、モード選択信号が１のときに入力信号の下位２ビットを抽出する。また、モード選択信号が１のときは、埋め込まれている制御データは下位２ビットのデータであるが、例えば制御信号のデータ構成が６ビット単位である場合は、抽出した２ビットのデータから６ビットの制御信号にパラレル変換して出力する。つまりこの場合、３画素で１つの制御信号を構成している。また、この例ではＲＧＢの各信号で、埋め込む画像データと制御データのビット数を同じにしているが、同じにする必要はない。
【００５１】
本実施形態によれば、画像データの冗長度によって、制御データのビット数を任意に変更可能なので、冗長度の低い画像データを表示しなければならないときには、少量の制御データしか送信できないが、その代わりに、冗長度の高い画像データを表示するときに多量の制御データを送信することができる。また、冗長度の高い画像データの場合、複数の画像データと制御信号を同一の映像信号インタフェース内で送信するので、複数の画像表示と外部機器を制御することが可能となる。
【００５２】
（その他実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、それらの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
映像信号や制御情報を送信する場合、ＤＶＩやＲＳ２３２Ｃなどの汎用のインタフェース規格を採用することで、安価で汎用性のあるシステムを構成することができる。複数のパターンを切り換えながら物体へ投影し、当該物体を撮像することによって当該物体の三次元形状を計測したり、当該物体の識別を行ったりする場合には、パターンを投影するための映像信号や、投影したパターンを撮像するためのカメラ用の制御信号などを同期させて送信する必要がある。しかしながら、複数のインタフェースが個別に必要となるため同期をとることが困難である。また、複数のケーブルが必要となり、コストがかかるだけでなく、接続が煩雑になってしまう。すなわち、表示用画像信号と制御信号とを同時に送信するシステムにおいては、制御信号用のインタフェースを追加することなく、汎用のインタフェース規格を使用したいというニーズがある。特許文献１では、送信側で表示用画像の一部分を制御信号に置き換えることにより、制御信号を表示用画像信号に重畳して送信し、受信側で表示用画像信号と制御信号とに分離してデコードしている。
【０００３】
また、特許文献２では、送信側で表示用画像データの最下位ビットのみを制御信号に置き換えることで、制御信号を表示用画像信号に重畳して送信し、受信側で表示用画像データから制御信号を抽出してデコードしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１４９１４２号公報
【特許文献２】特開２００３−５１９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、表示画面の一部（例えば上端の数ライン）を完全に制御信号に置き換えて送信するため、受信した画像の一部が欠けてしまい、有効な画像エリアが小さくなるという課題がある。また、特許文献２に記載の方法では、表示画面が部分的に欠けるということはないが、全画面に渡って画像の劣化が発生する。人間の視覚に関しては、最下位ビットのみを置き換えても影響は殆どないが、カメラなどの撮像機器で画像の投影パターンを撮像する場合には、ノイズのように認識されてしまい、特に多量の制御データを送信する場合には影響が大きくなるという課題がある。
【０００６】
上記の課題に鑑み、本発明は、画像データの欠落や画質劣化を起こすことなく、画像信号と制御信号とを同期させて送信可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る情報処理システムは、
送信装置と受信装置とを備える情報処理システムであって、
前記送信装置は、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備え、
前記受信装置は、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離する分離手段を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データの欠落や画質劣化を起こすことなく、画像信号と制御信号とを同期させて送信することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る投影・撮像計測システムの構成を示すブロック図。
【図２】画像データが単色画像で、Ｒ信号に制御データがある場合の、データ埋め込み部の動作を説明するための図。
【図３】画像データが単色画像で、Ｒ信号に制御データがある場合の、デコード部の動作を説明するための図。
【図４】画像データが低階調カラー画像で、制御データが下位７ビットに埋め込まれている場合の、データ埋め込み部の動作を説明するための図。
【図５】画像データが低階調カラー画像で、制御データが下位７ビットに埋め込まれている場合の、デコード部の動作を説明するための図。
【図６】第２実施形態に係る投影・撮像計測システムの構成を示すブロック図。
【図７】画像データが単色画像で、データ埋め込み設定信号により制御データを埋め込む信号を選択する場合の、データ埋め込み部の動作を説明するための図。
【図８】画像データが低階調カラー画像で、データ埋め込み設定信号により制御データを埋め込むビット数を設定する場合の、データ埋め込み部の動作を説明するための図。
【図９】データ埋め込み設定信号により制御データの埋め込み方法を選択する場合の、デコード部３００のブロック図である。
【図１０】単色画像デコード部３２０の構成を示すブロック図。
【図１１】低階調画像デコード部３３０の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
（第１実施形態）
図１は、第１実施形態に係る情報処理システムとして機能する投影・撮像計測システム１の構成を示すブロック図である。この投影・撮像計測システム１は、所定のパターンを測定対象物４００へ投影し、撮像する処理を実行する投影・撮像部１０と、投影・撮像部１０内の各処理部に対する制御信号および、投影パターンの生成を行い、撮像された撮像画像の処理を実行する制御部２０とを備える。
【００１１】
本実施形態では、送信装置として機能する制御部２０が、映像信号を構成する信号データに画像データを埋め込み、信号データの未使用部分（すなわち、画像データが埋め込まれていない部分）に、受信装置として機能する投影・撮像部１０がその画像データを用いて実行する処理を制御するための制御データを埋め込む。投影・撮像部１０は、制御部２０から映像信号を受信して当該映像信号を画像データと制御データとに分離し、投影パターン、投影制御信号、撮像制御信号等を生成する。
【００１２】
以下、具体的に投影・撮像部１０、制御部２０の構成について説明する。投影・撮像部１０は、受信装置として機能し、投影部１００と、撮像部２００と、デコード部３００とを備える。
【００１３】
投影部１００は、投影制御コマンドにより指定されるタイミングで所定の投影パターンを測定対象物４００へ投影する。撮像部２００は、撮像制御コマンドにより指定されるタイミングで測定対象物４００上に投影されたパターンを撮像する。デコード部３００は、入力された映像信号を画像データ（0投影パターン）と、投影制御コマンドおよび撮像制御コマンドを含む制御コマンドと、に分離する。
【００１４】
制御部２０は、送信装置として機能し、データ埋め込み部４００と、データ生成部５００と、画像解析部６００とを備える。データ生成部５００は、投影部１００で表示するための画像データ（投影パターン）と、投影・撮像部１０の動作を制御する制御データとを生成する。制御データは、投影部１００において投影パターンの点灯タイミングや光源の輝度を設定するための投影制御データと撮像部２００において撮像するタイミングや撮像範囲を設定するための撮像制御データとを含む。
【００１５】
データ埋め込み部４００は、画像データ（投影パターン）の冗長度によって決められたビット数で、制御データを画像データ（投影パターン）の冗長部分に埋め込み、汎用の映像インタフェース形式で映像信号として出力する。
【００１６】
画像解析部６００は、撮像画像データを取得して解析を行い、データ生成部５００は、当該解析結果に基づいて、次に投影すべき投影パターンや、投影部１００および撮像部２００への制御データを生成する。
【００１７】
ここで、パターン投影法を用いた形状計測方法を例に挙げ、全体の動作について説明する。空間符号化法と呼ばれるパターン投影法の場合、制御部２０は、投影部１００に対して、ネガ・ポジそれぞれのグレイコードパターンを表示するように投影パターンを送信し、投影部１００は当該投影パターンを測定対象物４００へ投影する。測定対象物４００の表面で反射されたグレイコードパターンの反射光は、撮像部２００により別角度で撮像されるため、測定対象物４００の形状によって変形され、撮像部２００の撮像光学系を介してイメージセンサにより受光される。受光された反射光は光電変換され、撮像画像データとして画像解析部６００へ出力されて画像解析され、次に投影するパターンや投影部１００および撮像部２００への制御データをデータ生成部５００へ出力する。このようにして、ネガとポジの２通りのグレイコードパターンを測定対象物４００へ投影し、ネガ・ポジ画像の境界位置から符号値を算出することで、三角測量原理により距離情報を計算する。
【００１８】
このとき、複数の投影パターンを切り換えながら撮像を行うためには、投影と撮像のタイミングを合わせる必要がある。そのため、制御部２０は、投影部１００に対して、表示開始や表示期間および表示輝度などを設定する投影制御信号を生成し、撮像部２００に対しては、撮像開始や露光時間および撮像時のゲインなどを設定する撮像制御信号を生成する。制御部２０が備えるデータ生成部５００により生成された画像データ（投影パターンの冗長部分を削減したデータ）、および制御データ（投影制御信号、および撮像制御信号）が、データ埋め込み部４００により同一の映像信号に埋め込まれ、投影・撮像部１０へ送信される。
【００１９】
また、より高速に投影・撮像処理を行うためには、フレーム単位に投影パターンを切り換える必要があるが、制御データを１フレーム内で完結する信号とし、フレーム単位に更新することでフレームに同期した制御が可能になる。
【００２０】
投影・撮像部１０へ入力された映像信号は、デコード部３００により、画像データと制御データとに分離され、画像データの冗長部分を再生して投影パターンを生成し、制御データから投影制御信号、撮像制御信号を抽出する。さらに制御データについては、投影部１００、撮像部２００を直接制御するためのコマンド形式にデコードする。
【００２１】
次に、本発明の特徴であるデータ埋め込み部４００および、デコード部３００の動作について、詳細に説明する。パターン投影法による形状計測で用いられる投影パターンは、自然画像とは異なり、冗長性のあるパターンであることが多い。以降、冗長性のある投影パターンの例を挙げ、それぞれの場合について説明する。
【００２２】
＜単色画像＞
例えば、投影パターンが図２（ａ）に示すようなグレースケールの２５６階調サイン波であれば、ＲＧＢ信号データの各信号が全て同じデータであるため、画像データとしては単色の８ビット分あれば十分である。つまり、例えばＧ信号のデータにのみ８ビットのサイン波データを入力した場合は、Ｒ信号、Ｂ信号は制御データとして使用できる。なお、映像信号のＲＧＢとはＲＥＤ、ＧＲＥＥＮおよびＢＬＵＥの３原色の各色信号からなるデジタル映像信号であるとして、以降説明で使用する。また、ＤＥ（データイネーブル）信号とは、映像有効表示期間を示す信号で、ＨＩＧＨアクティブの信号である。ＤＥ信号がＬＯＷとなる期間というのは、映像の水平同期信号期間あるいは垂直同期信号期間である。
【００２３】
ここでＧ信号に画像データ、Ｒ信号に制御データを埋め込むときのデータ埋め込み部４００の埋め込み例を図２（ｂ）に示す。データ埋め込み部４００では、画像データとして、Ｇ信号に投影パターンである８ビットのサイン波データがそのまま埋め込まれる。また、Ｒ信号には制御データとして８ビットの投影制御信号と撮像制御信号とが埋め込まれる。Ｂ信号は未使用としている。
【００２４】
同期コマンド信号は、映像有効表示期間のどの位置に制御データが埋め込まれているかを示す信号であり、制御データと誤認識しないように、正常な制御データの並びでは発生しないようなパターンとしている。そのため基本的には、画素単位で、制御データを映像有効表示期間のどの位置に埋め込んでもよいが、検出の信頼性を向上するために、例えば制御データはフレームの最初の映像有効ライン先頭に配置するように規定してもよい。また、制御データが埋め込まれない場合には、そのことを明示できるように、制御データがある場合とない場合とで、異なる同期コマンド信号を定義しておいてもよい。
【００２５】
一方、デコード部３００は、図３に示すように、画像データである８ビットのＧ信号入力から、投影パターンであるグレースケール２５６階調サイン波のＲ信号とＢ信号とを生成し、ＲＧＢ合わせて２４ビットの投影パターンを再生する。
【００２６】
図３において、デコード部３００は、制御データ抽出部３０１と、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、を備える。制御データ抽出部３０１は、制御データであるＲ信号入力から同期コマンド信号を検出すると、投影制御信号、および撮像制御信号を抽出する。そして、投影用コマンドデコード部３０２、撮像用コマンドデコード部３０３により、それぞれ投影部１００、撮像部２００を直接制御可能なコマンド形式にデコードし、実際の制御を行う。
【００２７】
また、この例ではＲ信号のみを制御データの送信に使用したが、例えばＲ信号に投影制御データ、Ｂ信号に撮像制御データを埋め込むようにしてもよい。
【００２８】
さらに、この例では、画像データ、および制御データなど、投影・撮像部１０が備える投影部１００、および撮像部２００に関するデータを例に挙げているが、映像信号に埋め込まれるデータとしてはこれに限るものではない。例えば、制御データとして、ロボットアームなどの外部装置を制御するコマンドを埋め込んでもよいし、画像データとして、上述の例では未使用であったＢ信号に第二の投影部などの外部装置に表示する投影パターンを埋め込んでもよい。
【００２９】
＜低階調のカラー画像＞
例えば、投影パターンが図４（ａ）に示すカラーバーのような８色のカラーパターンであれば、各画素でＲＧＢがそれぞれ異なる値となるが、画像データとしては各色８ビット分の階調は必要ない。つまり各色で上位の数ビットを画像データとして使用し、残りのビットを制御データとして使用することができる。
【００３０】
ここでＲＧＢ各信号の上位１ビットに画像データ、下位７ビットに制御データを埋め込むときの、データ埋め込み部４００の埋め込み例を図４（ｂ）に示す。データ埋め込み部４００は、画像データとして、ＲＧＢ信号の色ごとに、投影パターンがＦＦであれば上位１ビットに１を埋め込み、投影パターンが０であれば上位１ビットに０を埋め込む。また、Ｒ信号の下位７ビットには制御データとして投影制御信号が埋め込まれ、Ｇ信号の下位７ビットには制御データとして撮像制御信号が埋め込まれる。Ｂ信号の下位ビットは未使用としている。
【００３１】
同期コマンド信号は、映像有効表示期間のどの位置に制御データが埋め込まれているのかを示す信号であり、制御データと誤認識しないように、正常な制御データの並びでは発生しないようなパターンとしている。そのため基本的には、制御データはＲＧＢの信号ごとに映像有効表示期間のどの位置に埋め込んでもよいが、検出の信頼性を向上するために、例えば制御データは、ＲＧＢの全信号のフレームの最初の映像有効ライン先頭に配置するように規定してもよい。また、この例のＢ信号のように制御データが埋め込まれない場合には、そのことを明示できるように、制御データがある場合とない場合とで、異なる同期コマンド信号を定義しておいてもよい。
【００３２】
一方、図５に示す例では、図４（ａ）−（ｂ）のような信号データを処理するデコード部３００は、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、投影パターンデコード部３０４と、画像データ抽出部３０５とを備える。
【００３３】
デコード部３００は、画像データであるＲＧＢ各入力信号の上位１ビットから、色ごとに投影パターンである００ｈまたはＦＦｈの信号を生成し、ＲＧＢ合わせて２４ビットの投影パターンを再生する。画像データ抽出部３０５は、ＲＧＢの各信号入力から同期コマンド信号を検出すると、画像データ、および制御データを抽出する。そして、投影パターンデコード部３０４は、抽出された１ビットの画像データから８ビットの投影パターンをデコードする。Ｒ信号入力から抽出された７ビットの制御データ（投影制御信号）は、投影用コマンドデコード部３０２により、投影部１００を直接制御可能なコマンド形式にデコードされる。Ｇ信号入力から抽出された７ビットの制御データ（撮像制御信号）は、撮像用コマンドデコード部３０３により、撮像部２００を直接制御可能なコマンド形式にデコードされる。
【００３４】
また、この例ではＲＧＢの各信号で、埋め込む画像データと制御データのビット数を同じにしているが、必ずしも同じにする必要はない。例えば、画像データのビット数をＲ、Ｇ、Ｂでそれぞれ２ビット、２ビット、４ビットの合計で８ビットとし、２５６色のカラーパレットとして使用してもよい。
【００３５】
本実施形態によれば、送信側で映像信号の画像データの冗長部分に制御データを埋め込むため、受信側で元の画像データを完全に再生することが可能となる。また、画像データと制御データとを同一の映像信号として送信するため、制御データ用のケーブルを削減できるだけでなく、データ送信用ＰＣの出力に汎用インタフェースを使用でき、システムを安価に構成することが可能となる。また、映像信号インタフェースのみを利用して、画像データの送信をすると共に、制御データに含まれる複数の制御情報により複数機器を機器単位で制御することが可能となる。さらに、映像信号のフレーム単位に制御コマンドを更新できるため、画像データに同期して他の機器を制御することが可能となる。
【００３６】
（第２実施形態）
図６は、第２実施形態に係る投影・撮像計測システム１の構成を示すブロック図である。第１実施形態との相違点は、制御部２０のデータ生成部５００により、さらに埋め込み設定信号が生成される点である。データ生成部５００、データ埋め込み部４００、およびデコード部３００以外の構成については、第１実施形態と同様のため説明は省略する。
【００３７】
埋め込み設定信号とは、投影パターンを画像データに変換して送信する際に、どのようにビットを削減したかを指定する信号である。例えば、埋め込み設定信号が「００ｈ」のときには、単色画像（画像データ＝Ｇデータ、制御データ＝Ｒデータ）の形式でデータを埋め込み、埋め込み設定信号が「０１ｈ」のときには、各色２階調（画像データ＝上位３ビット、制御データ＝下位５ビット）の形式でデータを埋め込む、といったように、予め決めておいた数種類のフォーマットから一つを選択して送信する。埋め込み設定信号は、画像データのビット数と、制御データのビット数との関係を信号である。このようにすることで、投影パターンの冗長度に応じて、画像データのビット数を調整することができる。
【００３８】
データ埋め込み部４００は、データ生成部５００により生成された画像データ、制御データ（投影制御信号、撮像制御信号）、および埋め込み設定信号を、埋め込み設定信号の値に応じて同一の映像信号に埋め込み、投影・撮像部１０へ送信する。
【００３９】
投影・撮像部１０に入力された映像信号は、デコード部３００により、映像信号に埋め込まれた埋め込み設定信号に応じて、画像データと制御データとに分離される。さらに、埋め込み設定信号の値に応じて、画像データの冗長部分を再生し投影パターンを生成すると共に、制御データから投影制御信号および撮像制御信号を抽出し、それぞれ投影部１００および撮像部２００を直接制御可能なコマンド形式にデコードする。
【００４０】
次に、本実施形態の特徴部分であるデータ埋め込み部４００および、デコード部３００の動作について、より詳細に説明する。投影パターンとしては、第１実施形態に係る図２（ａ）に示される＜単色画像＞の場合と、図４（ａ）に示される＜低階調のカラー画像＞の場合を例として用いる。
【００４１】
＜単色画像＞
投影パターンが、第１実施形態で説明した図２（ａ）に示すような、グレースケールの２５６階調サイン波である場合、第１実施形態と同様に、ＲＧＢ信号データの各信号が全て同じデータであるため、画像データとしては単色の８ビット分あれば十分である。つまりＧ信号のデータにのみ８ビットのサイン波データを入力した場合は、Ｒ信号、Ｂ信号は制御データとして使用できる。ここでＧ信号に画像データ、Ｒ信号に制御データを埋め込むときのデータ埋め込み部４００の埋め込み例を図７（ａ）に示す。データ埋め込み部４００は、画像データとして、Ｇ信号に投影パターンである８ビットのサイン波データをそのまま埋め込む。また、Ｒ信号には、埋め込み設定信号と、制御データとしての８ビットの投影制御信号および撮像制御信号と、が埋め込まれる。Ｂ信号は未使用としている。同期コマンド信号については、第１実施形態と同様のため説明は省略する。
【００４２】
＜低階調のカラー画像＞
投影パターンが、第１実施形態で説明した図４（ａ）に示すような、カラーバーのような８色のカラーパターンである場合、第１実施形態と同様に、画像データとしては各画素でＲＧＢがそれぞれ異なる値となるが、各色８ビット分の階調は必要ない。つまり各色で上位の数ビットを画像データとして使用し、残りのビットは制御データとして使用できる。
【００４３】
ここでＲＧＢ各信号の上位１ビットに画像データ、下位７ビットに制御データを埋め込む場合のデータ埋め込み部４００の埋め込み例を図８（ａ）に示す。データ埋め込み部４００は、画像データとして、ＲＧＢ信号データの色ごとに、投影パターンがＦＦであれば上位１ビットに１を埋め込み、投影パターンが０であれば上位１ビットに０を埋め込む。また、ＲＧＢ各信号の下位７ビットには、埋め込み設定信号が埋め込まれ、更にＲ信号には、制御データとして投影制御信号が、Ｇ信号には制御データとして撮像制御信号が埋め込まれる。Ｂ信号の制御データは未使用としている。なお、図８（ｂ）のように、画像データの階調を上位６ビット、制御データを下位２ビットとして埋め込んでもよい。
【００４４】
次に、図９を参照して、本実施形態に係るデコード部３００の構成例を説明する。デコード部３００は、投影用コマンドデコード部３０２と、撮像用コマンドデコード部３０３と、埋め込み設定検出部３１０と、単色画像デコード部３２０と、低階調画像デコード部３３０と、パターン選択部３４０とを備える。
【００４５】
埋め込み設定検出部３１０は、ＲＧＢ入力信号から埋め込み設定信号を抽出し、各ブロックに選択信号を出力する。単色画像デコード部３２０は、投影パターンが前述した単色画像である場合のデコード部である。低階調画像デコード部３３０は、投影パターンが前述した低階調のカラー画像である場合のデコード部である。パターン選択部３４０は、埋め込み設定検出部３１０により抽出された埋め込み選択信号により、単色画像デコード部３２０、または低階調画像デコード部３３０のいずれかの信号を選択する。投影用コマンドデコード部３０２、撮像用コマンドデコード部３０３については、第１実施形態と同様のため説明は省略する。
【００４６】
ここで、埋め込み設定信号の設定例について説明する。埋め込み設定信号の最下位ビットをパターン選択部３４０用の埋め込みパターン選択信号、２ビット目を単色画像デコード部３２０、および低階調画像デコード部３３０内でのモード選択信号として使用する場合を考える。パターン選択部３４０は、例えば、埋め込みパターン選択信号が「０」のときは単色画像デコード部３２０の出力を選択し、選択信号が「１」のときは低階調画像デコード部３３０の出力を選択する。また、単色画像デコード部３２０内でのモード選択とは、モード選択信号が「０」のときは、図７（ａ）のように、Ｂ信号は未使用のモードとし、モード選択信号が「１」のときは、図７（ｂ）のように、Ｂ信号に撮像制御信号を埋め込んだモードとする。低階調画像デコード部３３０内でのモード選択とは、モード選択信号が「０」のときは、図８（ａ）のように、画像データの階調を上位１ビット、制御データを下位７ビットとして埋め込んだモードとし、モード選択信号が「１」のときは、図８（ｂ）のように、画像データの階調を上位６ビット、制御データを下位２ビットとして埋め込んだモードとする。
【００４７】
＜埋め込み設定信号が「００」または「１０」の場合＞
埋め込み制御信号の下位ビットが０なので、デコード部としては単色画像デコード部３２０が選択され、埋め込み制御信号の上位ビットでモードを選択する。このときの単色画像デコード部３２０の構成を図１０に示す。単色画像デコード部３２０は、制御データ抽出部３０１と、制御データ選択部３２１とを備える。制御データ抽出部３０１については、第１実施形態と同様のため説明は省略する。制御データ選択部３２１は、モード選択信号が０のときにＲ信号から抽出した撮像制御信号を選択し、モード選択信号が１のときにはＢ信号から抽出した撮像制御信号を選択する。一方、投影制御信号はモード選択信号にかかわらず、Ｒ信号から抽出したデータを出力する。投影パターンについては、８ビットのＧ信号入力からＲ信号とＢ信号とを生成し、ＲＧＢ合わせて２４ビットのデータを再生する。
【００４８】
また、この例では、画像データ、および制御データとして、投影・撮像部１０が備える投影部１００、および撮像部２００に関するデータを例に挙げているが、埋め込まれるデータとしてはこれに限るものではない。
【００４９】
＜埋め込み設定信号が「０１」または「１１」の場合＞
埋め込み制御信号の下位ビットが１なので、デコード部としては低階調画像デコード部３３０が選択され、埋め込み制御信号の上位ビットでモードを選択する。このときの低階調画像デコード部３３０の構成を図１１に示す。低階調画像デコード部３３０は、制御データ抽出部３０１と、投影パターンデコード部３０４と、画像データ抽出部３０５とを備える。
【００５０】
画像データ抽出部３０５は、モード選択信号が０のとき入力信号の上位１ビットを抽出し、モード選択信号が１のときに入力信号の上位６ビットを抽出する。投影パターンデコード部３０４は、モード選択信号が０のとき、１ビットの画像データから００またはＦＦの８ビットのパターンを生成し、モード選択信号が１のとき、６ビットの画像データから６４種類の８ビットパターンを生成する。制御データ抽出部３０１は、モード選択信号が０のとき入力信号の下位７ビットを抽出し、モード選択信号が１のときに入力信号の下位２ビットを抽出する。また、モード選択信号が１のときは、埋め込まれている制御データは下位２ビットのデータであるが、例えば制御信号のデータ構成が６ビット単位である場合は、抽出した２ビットのデータから６ビットの制御信号にパラレル変換して出力する。つまりこの場合、３画素で１つの制御信号を構成している。また、この例ではＲＧＢの各信号で、埋め込む画像データと制御データのビット数を同じにしているが、同じにする必要はない。
【００５１】
本実施形態によれば、画像データの冗長度によって、制御データのビット数を任意に変更可能なので、冗長度の低い画像データを表示しなければならないときには、少量の制御データしか送信できないが、その代わりに、冗長度の高い画像データを表示するときに多量の制御データを送信することができる。また、冗長度の高い画像データの場合、複数の画像データと制御信号を同一の映像信号インタフェース内で送信するので、複数の画像表示と外部機器を制御することが可能となる。
【００５２】
（その他実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
送信装置と受信装置とを備える情報処理システムであって、
前記送信装置は、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備え、
前記受信装置は、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離する分離手段を備えることを特徴とする情報処理システム。
【請求項２】
前記制御データは、前記画像データを用いて機器ごとに実行される処理を制御するために、前記機器単位に設定される複数の制御情報を含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記制御データは、前記画像データを用いて実行される処理をフレーム単位で制御する制御情報を含むことを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記データ埋め込み手段は、前記映像信号の前記画像データが埋め込まれていない部分に、前記画像データのビット数と、前記制御データのビット数との関係を示す埋め込み設定信号をさらに埋め込むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
前記データ埋め込み手段は、前記映像信号を構成する前記映像信号に複数の画像データを埋め込むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記受信装置は、
前記画像データに基づいて投影パターンを生成し、前記制御データに基づいて制御信号を生成する制御手段と、
前記制御信号に基づいて前記投影パターンを対象物へ投影する投影手段と、
前記制御信号に基づいて前記投影パターンが投影された前記対象物を撮像する撮像手段と、
を備えることを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項７】
送信装置と受信装置とを備える情報処理システムの制御方法であって、
前記送信装置では、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み、
前記受信装置では、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離することを特徴とする情報処理システムの制御方法。
【請求項８】
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備えることを特徴とする情報処理装置。
【請求項９】
データ埋め込み手段を備える情報処理装置の制御方法であって、
前記データ埋め込み手段が、画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み工程を有することを特徴とする情報処理装置の制御方法。
【請求項１０】
請求項９に記載の情報処理装置の制御方法の工程をコンピュータに実行させるためのプログラム。
【請求項１】
送信装置と受信装置とを備える情報処理システムであって、
前記送信装置は、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備え、
前記受信装置は、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離する分離手段を備えることを特徴とする情報処理システム。
【請求項２】
前記制御データは、前記画像データを用いて機器ごとに実行される処理を制御するために、前記機器単位に設定される複数の制御情報を含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記制御データは、前記画像データを用いて実行される処理をフレーム単位で制御する制御情報を含むことを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記データ埋め込み手段は、前記映像信号の前記画像データが埋め込まれていない部分に、前記画像データのビット数と、前記制御データのビット数との関係を示す埋め込み設定信号をさらに埋め込むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
前記データ埋め込み手段は、前記映像信号を構成する前記映像信号に複数の画像データを埋め込むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記受信装置は、
前記画像データに基づいて投影パターンを生成し、前記制御データに基づいて制御信号を生成する制御手段と、
前記制御信号に基づいて前記投影パターンを対象物へ投影する投影手段と、
前記制御信号に基づいて前記投影パターンが投影された前記対象物を撮像する撮像手段と、
を備えることを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項７】
送信装置と受信装置とを備える情報処理システムの制御方法であって、
前記送信装置では、
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み、
前記受信装置では、
前記送信装置から前記映像信号を受信して当該映像信号を前記画像データと前記制御データとに分離することを特徴とする情報処理システムの制御方法。
【請求項８】
画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み手段を備えることを特徴とする情報処理装置。
【請求項９】
データ埋め込み手段を備える情報処理装置の制御方法であって、
前記データ埋め込み手段が、画素単位で、映像信号の有効表示期間に画像データを埋め込み、前記映像信号の前記画像データが埋め込まれていない部分に前記画像データを用いて実行される処理を制御するための制御データを埋め込んで、映像信号を生成するデータ埋め込み工程を有することを特徴とする情報処理装置の制御方法。
【請求項１０】
請求項９に記載の情報処理装置の制御方法の工程をコンピュータに実行させるためのプログラム。
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図４】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図４】
【公開番号】特開２０１３−９０１０９（Ｐ２０１３−９０１０９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８２７０（Ｐ２０１１−２２８２７０）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]