データ通信装置
【課題】撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、より高速なデータ通信を可能とする。
【解決手段】 撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、を備えることを特徴とする。
【解決手段】 撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ通信装置に係り、特に撮像素子で撮像した画像を用いてデータ通信するデータ通信装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤ等の撮像素子で撮像した画像を用いてデータ通信するデータ通信装置が提案されている（例えば特許文献１参照）。
【０００３】
この特許文献１に記載のデータ通信装置は、点滅光を発するようにオンオフ制御される光源を撮影する撮像素子等を備えており、図１４に示すように、該撮像素子が撮影した時系列的に連続する画像３０´1、３０´2、……、３０´nから、光源のオンオフ制御に伴って変化する輝度値によって表される二値情報を抽出することで、データ通信を行うようになっている。
【特許文献１】特開２００４−３２６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のデータ通信装置においては、一つの画像を取得する時間（１フレーム）ごとに、オン又はオフ状態の光源を撮影し、時系列的に連続するフレームとの差分に基づいて二値情報を抽出するようになっている。このため、光源を、例えば６０フレーム／秒で撮影すると、最大でも６０ビット／秒のデータしか送受することができないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、より高速なデータ通信を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するために、請求項１に記載の発明は、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、を備えることを特徴とする。
【０００７】
請求項１に記載の発明によれば、撮像素子によって、基準周波数の光（例えば、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光。すなわち、送信情報が埋め込まれた光）を照射するデータ送信光源を含む画像を撮像し、該撮像した画像から該データ送信光源を抽出し、該抽出されたデータ送信光源から照射された基準周波数の光の位相を算出し、該算出された位相に基づいて、送信情報を復号する構成となっている。このため、請求項１に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（例えば、変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記複数の電荷蓄積部に蓄積された電荷の差分を演算し、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素を判定する判定手段をさらに備え、前記抽出手段は、前記撮像素子が撮像した画像から、前記判定手段によって判定された画素をデータ通信光源として抽出することを特徴とする。
【０００９】
請求項２に記載の発明によれば、光電変換素子ごとに該光電変換素子に対応する複数の電荷蓄積部に蓄積された電荷の差分を演算し、撮像素子が撮像した画像中の前記差分が閾値を超える画素（すなわち、データ送信光源に対応する画素）を判定することが可能となる。
【００１０】
請求項３に記載の発明は、請求項１又は２に記載の発明において、前記位相算出手段は、前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することを特徴とする。
【００１１】
請求項３に記載の発明によれば、複数の電荷蓄積部に蓄積された電荷に基づいて、抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することが可能となる。
【００１２】
請求項４に記載の発明は、請求項２又は３に記載の発明において、前記判定手段は、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素のうちの、前記算出手段によって算出された位相が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源と判定することを特徴とする。
【００１３】
請求項４に記載の発明によれば、複数の画素をそれぞれ一つのデータ送信光源と誤って抽出することを防止することが可能となる。
【００１４】
請求項５に記載の発明は、請求項１から４のいずれかに記載の発明において、前記抽出手段によって抽出されたデータ送信光源を含む画像を生成する画像生成手段をさらに備えることを特徴とする。
【００１５】
請求項５に記載の発明によれば、前記抽出手段によって抽出されたデータ送信光源を含む画像を生成することが可能となる。この画像を用いることにより、背景光の影響を受けることなく、データ送信光源からの送信情報の復号を行うことが可能となる。また、複数のデータ送信光源と同時にデータ通信を行うことが可能となる。また、データ送信光源の数、位置、大きさ、距離、回転、動き、位相等を把握することが可能となる。さらに、これら処理のための負荷が減り、高速化、回路規模を縮小することも可能となる。
【００１６】
請求項６に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射することを特徴とする。
【００１７】
請求項６に記載の発明によれば、撮像素子によって、データ送信光源（予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射するデータ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源を抽出し、該抽出されたデータ送信光源から照射された基準周波数の光の位相を算出し、該算出された位相に基づいて、送信情報を復号する構成となっている。このため、請求項６に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００１８】
請求項７に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、第１データ送信光源及び第２データ送信光源を含み、前記第１データ送信光源は、基準周波数の光を照射し、前記第２データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、及び、これらの位相間の位相差を算出し、前記復号手段は、前記位相算出手段によって算出された位相差に基づいて、前記送信情報を復号することを特徴とする。
【００１９】
請求項７に記載の発明によれば、撮像素子によって、データ送信光源（第１データ送信光源及び第２データ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源（第１データ送信光源及び第２データ送信光源）を抽出し、該抽出されたデータ送信光源（第１データ送信光源及び第２データ送信光源）から照射された基準周波数の光の位相及びこれらの位相の位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、請求項７に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００２０】
請求項８に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、予め定められた位置関係で配置された第１データ送信光源、第２データ送信光源及び第３データ送信光源を含み、前記第１データ送信光源は、基準周波数の光を照射し、前記第２データ送信光源及び第３データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、前記第３データ送信光源から照射された基準周波数の光の位相、前記位相間の位相差が閾値以下の二つのデータ送信光源から照射された基準周波数の光の位相と、該二つのデータ送信光源に対して予め定められた位置関係のデータ送信光源から照射された基準周波数の光の位相との位相差を算出し、前記復号手段は、前記位相算出手段によって算出された位相間の位相差に基づいて、前記送信情報を復号することを特徴とする。
【００２１】
請求項８に記載の発明によれば、撮像素子によって、データ送信光源（第１データ送信光源、第２データ送信光源及び第３データ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源（第１データ送信光源、第２データ送信光源及び第３データ送信光源）を抽出し、位相差が閾値以下の二つのデータ送信光源（例えば第２データ送信光源及び第３データ送信光源）から照射された基準周波数の光の位相と、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えば第１データ送信光源）から照射された基準周波数の光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、請求項８に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。しかも、請求項８に記載の発明によれば、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えば第１データ送信光源）から照射された基準周波数の光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、誤ったデータ送信光源との位相差を算出すること（すなわち、復号誤り）を防止又は低減することが可能となる。
【発明の効果】
【００２２】
本発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、より高速なデータ通信が可能となる。
【発明を実施するための最良の形態】
【００２３】
〔第一実施形態〕
以下、本発明の第一実施形態であるデータ通信装置について図面を参照しながら説明する。
〔データ通信装置の構成〕
まず、本実施形態のデータ通信装置の構成について説明する。
【００２４】
図１は、本実施形態のデータ通信装置のブロック図である。
【００２５】
図１に示すように、本実施形態のデータ通信装置１は、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、距離画像生成部１７等を備えている。
【００２６】
光源１１は、対象空間に基準周波数ｆｓの光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する光源であり、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
【００２７】
撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光１４を受光して電荷に変換する複数の光電変換素子（画素又はピクセルともいう）、この光電変換素子ごとに設けられた複数の電荷蓄積部（本実施形態では四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４を例示。以下、Ｃ１、Ｃ２、Ｃ３、Ｃ４は、数式において用いた場合、該電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷量を表す）、及び、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける手段等を備えている（いずれも図示せず）。
【００２８】
制御部１６は、光源１１と撮像素子１５を同期制御する。撮像素子１５は、基準周波数ｆｓに基づいて電荷振り分けを行う。具体的には、撮像素子１５は、図２に示すように、制御部１６から供給されるゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、基準周波数ｆｓに同期した時間Ｔ１、Ｔ２、Ｔ３、Ｔ４ごとに、ゲートを開閉し、光電変換素子により変換された電荷を、電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。撮像素子１５は、時間Ｔ１〜Ｔ４のサイクルを数千〜数十万回繰り返すことで、一枚の画像を取得する。この一枚の画像を取得する時間のことを、１フレームという。なお、電荷蓄積部は、四つに限定されない。二つ以上の電荷蓄積部であれば、同様に適用することが可能である。
【００２９】
距離画像生成部１７は、上記のように振り分けられた電荷（電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷）に基づいて所定演算を行い、画素値が距離値である距離画像を生成する。
〔距離画像を生成する原理〕
次に、距離画像を生成する原理について説明する。
【００３０】
図３は、距離画像を生成する原理を説明するための図である。図３中、正弦波２１は光源１１から照射された基準周波数ｆｓの光を表しており、正弦波２２は撮像素子１５への入射光を表している。正弦波２１と正弦波２２との位相差φは、光源１１から照射された基準周波数ｆｓの光の対象物までの飛行時間によって生じる遅延を表している。
【００３１】
図３では、光源１１からの照射光の一周期を四つの期間に分けて四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。
【００３２】
【数１】
光の速度は既知であるから、この位相差φを求めることで対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。
【００３３】
なお、一般的な画像データとして用いる電荷量平均Ａは、次の式で表される。
【００３４】
【数２】
また、対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。
【００３５】
【数３】
一般的に発光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。
〔データ通信装置１の動作例１〕
次に、上記構成のデータ通信装置１の動作例１について図面を参照しながら説明する。
【００３６】
図４は、データ通信装置１の動作例１を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。
【００３７】
まず、データ通信装置１は、撮像素子１５で周囲環境を撮像する処理を行う（ステップＳ１）。具体的には、次の処理を行う。
【００３８】
光源１１は、制御部１６の制御に従って、対象空間に基準周波数ｆｓの光を照射する。撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、複数の光電変換素子により電荷に変換し、制御部１６からのゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、その変換された電荷を、複数の電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。
【００３９】
以上の処理を光蓄積時間が終了（経過）するまで継続する。この処理により、例えば、図５に示すように、データ送信光源４１、４２、４３を含む画像を取得する。
【００４０】
図５に示すように、データ送信光源４１、４２は、路上に設置された信号機に設けられており、データ送信光源４３は、対向車両に設けられている。図６は、予め定められた時間Ｔｃごとに位相を変化させた基準周波数ｆｓの光を表す図である。図７は、図６中円形で囲んだ部分の拡大図である。図６、図７に示すように、データ送信光源４１、４２、４３は、光源１１と同様の光源であり、予め定められた時間Ｔｃごとに送信情報に応じて位相を変化させた基準周波数ｆｓの光を照射している。
【００４１】
このように、基準周波数ｆｓの光の位相を予め定められた時間Ｔｃごとに送信情報に応じて変化させることで、例えば、位相変位変調(Phase Shift Keying)のように、位相を複数に分割し、該分割した位相ごとに情報を割り当てること（情報の埋め込み）、位相の変化量（例えば、位相がφｎ→φｎ＋１に変化した場合、φｎ−φｎ＋１）に情報を割り当てること（情報の埋め込み）が可能となる。
【００４２】
なお、位相を何分割できるか、位相の変化量にどれだけの情報を埋め込めるかは、位相を求める精度に左右される。データ送信側、受信側が同じクロックを用いて動作していれば高い精度で位相を求められるため、位相を多数に分割可能である。しかし、現実的には、データ送信側と受信側は異なるクロックを用いて動作しているため、基準周波数で変調していても時間が経つにつれて少しずつ位相ズレが生じ、位相を分割できる数が減少することとなる。しかし、変化した位相ごとに複数ビットの情報を割り当てることが可能であるため、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００４３】
図８は、図５に示したデータ送信光源４１、４２、４３からの照射光５１、５２、５３それぞれの強度を示したグラフである。データ送信光源４１、４２、４３それぞれの強度、距離が異なるため、受光強度が異なっている。また、同期を行っていないため、照射光５１、５２、５３それぞれの位相も異なっている。
【００４４】
次に、データ通信装置１は、撮像素子１５が撮像した画像（例えば図５に示す画像）から、基準周波数ｆｓの光を照射するデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出する処理を行う（ステップＳ２〜Ｓ６）。具体的には、次の処理を行う。
【００４５】
まず、複数の電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４から電荷を読み込み（ステップＳ２）、全ての画像変換素子で該電荷の差分Ｃ１−Ｃ３、Ｃ２−Ｃ４を演算し（ステップＳ３）、撮像素子１５が撮像した画像中の差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値を超える画素を判定する（ステップＳ４：Ｎｏ、ステップＳ５）。そして、撮像素子１５が撮像した画像（例えば図５に示す画像）から、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値を超えると判定された画素をデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）として抽出する。一方、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値以下と判定された画素については、背景や変調していない光源からの入射光であると判定する（ステップＳ４：Ｙｅｓ、ステップＳ６）。
【００４６】
背景や変調していない光源からの入射光は一様な光強度であるため、該背景や変調していない光源からの入射光を受光した光電変換素子については、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値は閾値以下の値（限りなく０に近い値）となる。一方、データ送信光源（例えばデータ送信光源４１、４２、４３）からの照射光を受光した光電変換素子については、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値は閾値を超える値となる。従って、全ての画像変換素子で差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値と閾値とを比較演算することで（ステップＳ４）、撮像素子１５が撮像した画像中の前記差分が閾値を超える画素（すなわちデータ送信光源）を判定することが可能となる。
【００４７】
以上のステップＳ２〜Ｓ６の処理を全ての光電変換素子それぞれに対して実行する。この処理により、撮像素子１５が撮像した画像（例えば図５に示す画像）から、データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出することが可能となる。
【００４８】
次に、上記式１を用いて、上記ステップＳ２〜Ｓ６の処理によって抽出されたデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）から照射された基準周波数の光の位相を算出する（ステップＳ７）。
【００４９】
図９は、上記ステップＳ７で算出されたデータ送信光源（例えば図５に示すデータ送信光源４１）からの照射光の位相の時間的変化（φｎ−１´→φｎ→φｎ→φｎ´→φｎ＋１→φｎ＋１→φｎ＋１´→φｎ＋２・・・）を表す図である。
【００５０】
図９に示すように、撮像素子１５は、予め定められた時間Ｔｃ（図９中、Ｔｃ（ｎ−１）、Ｔｃ（ｎ）、Ｔｃ（ｎ＋１）、Ｔｃ（ｎ＋２））よりも短い時間で画像を撮像し（ステップＳ１）、画像を撮像するごとに該画像からデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出し（ステップＳ２〜Ｓ６）、該データ送信光源から照射された基準周波数の光の位相を算出する（ステップＳ７）。この時間をフレームレートＴｆという。フレームレートＴｆは、予め定められた時間Ｔｃの１／２以下が望ましい。
【００５１】
図９に示すように、フレームレートＴｆが、位相が変化した時点Ｐ１、Ｐ２、Ｐ３を含む場合、上記ステップＳ７で算出されるデータ送信光源（例えば図５に示すデータ送信光源４１）からの照射光の位相は実際の位相とは異なった位相（図９中、φｎ−１´、φｎ´、φｎ＋１´で示す位相）となる。又は位相を算出できない状態となる。このため、データ通信装置１においては、このフレームレートＴｆの情報（図９中、φｎ−１´、φｎ´、φｎ＋１´で示す位相）を削除する。
【００５２】
次に、ステップＳ７で算出された位相間の差が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源（例えば図５に示すデータ送信光源４１）と判定し結合させ（ステップＳ８）、該一つのデータ送信光源と判定したデータ送信光源を抽出し、該一群の画素として抽出されたデータ送信光源を含む画像を生成する（ステップＳ９）。図１０は、ステップＳ９で生成された画像（一つのデータ送信光源と判定され抽出されたデータ送信光源４１、４２、４３を含む）の例を示している。
【００５３】
このように、互いに隣接する一群の画素を一つのデータ送信光源と判定し結合させることにより、個々の光電変換素子それぞれを一つのデータ送信光源と誤ってみなすことを防止することが可能となる。なお、画素結合の方法としては、例えば、一群の画素の画素値として同一の画素値（例えばステップＳ７で算出された位相を表す値）を用いることが考えられる。
【００５４】
このステップＳ９で生成された画像を用いることにより、背景光の影響を受けることなく、データ送信光源からの送信情報の復号を行うことが可能となる。また、複数のデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）と同時にデータ通信を行うことが可能となる。また、データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）の数、位置、大きさ、距離、回転、動き、位相等を把握することが可能となる。さらに、これら処理のための負荷が減り、高速化、回路規模を縮小することも可能となる。
【００５５】
以上説明したように、本実施形態のデータ通信装置１によれば、撮像素子１５によって、基準周波数ｆｓの光（予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数ｆｓの光。すなわち、送信情報が埋め込まれた光）を照射するデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出し（ステップＳ２〜Ｓ６）、該抽出されたデータ送信光源から照射された基準周波数ｆｓの光の位相を算出し（ステップＳ７）、該算出された位相に基づいて、データ送信光源からの送信情報を復号する構成となっている。
【００５６】
このため、本実施形態のデータ通信装置１によれば、撮像素子１５で撮像した画像を用いてデータ通信するデータ通信装置１において、一度に複数ビットの情報（例えば、変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信を行うことが可能となる。
〔データ通信装置１の動作例２〕
次に、上記構成のデータ通信装置１の動作例２について図面を参照しながら説明する。
【００５７】
図１１は、データ通信装置１の動作例２を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。
【００５８】
本動作例２においては、データ送信光源（例えば図５に示したデータ送信光源４１）は、図１２に示すように、複数のデータ送信光源１００１、１００２、１００３を備えている。複数のデータ送信光源１００１、１００２、１００３は、予め定められた位置関係（図１２では、三つのデータ送信光源を等間隔で直線上に配置した例を例示）で配置されている。図１２中、中央のデータ送信光源１００１は、図１３に示すように、基準周波数ｆｓの光１１０１を照射しており、両側のデータ送信光源１００２、１００３は、該基準周波数ｆｓの光１１０１に対して送信情報に応じて位相（同位相）を変化させた基準周波数ｆｓの光１００２、１００３を照射している。
【００５９】
このように、基準周波数ｆｓの光１００２、１００３の位相を基準周波数ｆｓの光１００１に対して送信情報に応じて変化させることで、例えば、位相変位変調(Phase Shift Keying)のように、位相を複数に分割し、該分割した位相ごとに情報を割り当てること（情報の埋め込み）が可能となる。
【００６０】
まず、データ通信装置１は、図４に示したステップＳ１〜Ｓ９の処理を行うことによって、三つのデータ送信光源１００１、１００２、１００３を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源１００１、１００２、１００３を抽出し、該抽出されたデータ送信光源１００１、１００２、１００３を含む画像を生成し（ステップＳ２〜Ｓ９）、該画像に基づいて、データ送信光源１００１、１００２、１００３からの照射光の位相を算出する（ステップＳ１０）。
【００６１】
次に、データ通信装置１は、ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在するか否かを判定する（ステップＳ１１）。
【００６２】
ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在する場合（ステップＳ１１：Ｙｅｓ）、さらに、該二つのデータ送信光源（図１２に示した例では、データ送信光源１００２、１００３）に対して予め定められた位置関係のデータ送信光源の有無（図１２に示した例では、データ送信光源１００２、１００３の中点に、データ送信光源１００１が存在するか否か）を判定する（ステップＳ１２）。
【００６３】
二つのデータ送信光源（例えばデータ送信光源１００２、１００３）に対して予め定められた位置関係のデータ送信光源（例えばデータ送信光源１００１）が存在する場合（ステップＳ１２：Ｙｅｓ）、これらの三つのデータ送信光源（例えばデータ送信光源１００１、１００２、１００３）を一つのデータ送信光源（例えばデータ送信光源４１）と判定し（ステップＳ１３）、例えば、中点のデータ送信光源１００１からの照射光の位相と両端のデータ送信光源１００２又は１００３からの照射光の位相との位相差を算出し、該算出された位相差に基づいて、データ送信光源（例えば図５に示したデータ送信光源４１）からの送信情報を復号する（ステップＳ１４）。
【００６４】
以上説明したように、本実施形態のデータ通信装置１によれば、撮像素子１５によって、データ送信光源（例えばデータ送信光源１００１、データ送信光源１００２及びデータ送信光源１００３）を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源（例えばデータ送信光源１００１、データ送信光源１００２及びデータ送信光源１００３）を抽出し（ステップＳ２〜Ｓ６）、位相間の差が閾値以下の二つのデータ送信光源（例えばデータ送信光源１００２及びデータ送信光源１００３）から照射された基準周波数の光の位相と、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えばデータ送信光源１００１）から照射された基準周波数ｆｓの光の位相との位相差を算出し（ステップＳ７〜Ｓ１３）、該算出された位相差に基づいて、送信情報を復号する構成となっている（ステップＳ１４）。なお、ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在しない場合（ステップＳ１１：Ｎｏ）、データ送信光源（例えばデータ送信光源４１）は存在しないと判定する（ステップＳ１５）。
【００６５】
このため、本実施形態のデータ通信装置１によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。しかも、本実施形態のデータ通信装置１によれば、二つのデータ送信光源１００２、１００３に対して予め定められた位置関係にあるデータ送信光源１００１から照射された基準周波数ｆｓの光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、誤ったデータ送信光源との位相差を算出すること（すなわち、復号誤り）を防止又は低減することが可能となる。
【００６６】
なお、本実施形態では、三つのデータ送信光源１００１、１００２、１００３を用いた例について説明したが、本発明はこれに限定されない。例えば、二つのデータ通信光源１００１、１００２を用いてもよい。
【００６７】
上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。
【図面の簡単な説明】
【００６８】
【図１】本実施形態のデータ通信装置のブロック図である。
【図２】撮像素子１５における電荷振り分けを説明するための図である。
【図３】距離画像を生成する原理を説明するための図である。
【図４】データ通信装置１の動作例１を説明するためのフローチャートである。
【図５】撮像素子１５が撮像したデータ送信光源を含む画像例である。
【図６】予め定められた時間Ｔｃごとに位相を変化させた基準周波数ｆｓの光を表す図である。
【図７】図６中円形で囲んだ部分の拡大図である。
【図８】図５に示したデータ送信光源４１、４２、４３からの照射光５１、５２、５３それぞれの強度を示したグラフである。
【図９】データ送信光源からの照射光の位相の時間的変化（φｎ−１´→φｎ→φｎ→φｎ´→φｎ＋１→φｎ＋１→φｎ＋１´→φｎ＋２・・・）を表す図である。
【図１０】一つのデータ送信光源と判定され抽出されたデータ送信光源４１、４２、４３を含む画像例である。
【図１１】データ通信装置１の動作例２を説明するためのフローチャートである。
【図１２】データ通信装置１の動作例２において用いられるデータ送信光源の例を説明するための斜視図である。
【図１３】図１２に示したデータ送信光源１００１、１００２、１００３からの照射光それぞれの強度を示したグラフである。
【図１４】従来の、撮像素子で撮像した画像を用いてデータ通信する方法を説明するための図である。
【符号の説明】
【００６９】
１…距離画像生成装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１４…入射光、１５…撮像素子、１６…制御部、１７…距離画像生成部、４１、４２、４３…データ送信光源、１００１、１００２、１００３…データ送信光源、φ…位相
【技術分野】
【０００１】
本発明は、データ通信装置に係り、特に撮像素子で撮像した画像を用いてデータ通信するデータ通信装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤ等の撮像素子で撮像した画像を用いてデータ通信するデータ通信装置が提案されている（例えば特許文献１参照）。
【０００３】
この特許文献１に記載のデータ通信装置は、点滅光を発するようにオンオフ制御される光源を撮影する撮像素子等を備えており、図１４に示すように、該撮像素子が撮影した時系列的に連続する画像３０´1、３０´2、……、３０´nから、光源のオンオフ制御に伴って変化する輝度値によって表される二値情報を抽出することで、データ通信を行うようになっている。
【特許文献１】特開２００４−３２６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のデータ通信装置においては、一つの画像を取得する時間（１フレーム）ごとに、オン又はオフ状態の光源を撮影し、時系列的に連続するフレームとの差分に基づいて二値情報を抽出するようになっている。このため、光源を、例えば６０フレーム／秒で撮影すると、最大でも６０ビット／秒のデータしか送受することができないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、より高速なデータ通信を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するために、請求項１に記載の発明は、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、を備えることを特徴とする。
【０００７】
請求項１に記載の発明によれば、撮像素子によって、基準周波数の光（例えば、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光。すなわち、送信情報が埋め込まれた光）を照射するデータ送信光源を含む画像を撮像し、該撮像した画像から該データ送信光源を抽出し、該抽出されたデータ送信光源から照射された基準周波数の光の位相を算出し、該算出された位相に基づいて、送信情報を復号する構成となっている。このため、請求項１に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（例えば、変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記複数の電荷蓄積部に蓄積された電荷の差分を演算し、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素を判定する判定手段をさらに備え、前記抽出手段は、前記撮像素子が撮像した画像から、前記判定手段によって判定された画素をデータ通信光源として抽出することを特徴とする。
【０００９】
請求項２に記載の発明によれば、光電変換素子ごとに該光電変換素子に対応する複数の電荷蓄積部に蓄積された電荷の差分を演算し、撮像素子が撮像した画像中の前記差分が閾値を超える画素（すなわち、データ送信光源に対応する画素）を判定することが可能となる。
【００１０】
請求項３に記載の発明は、請求項１又は２に記載の発明において、前記位相算出手段は、前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することを特徴とする。
【００１１】
請求項３に記載の発明によれば、複数の電荷蓄積部に蓄積された電荷に基づいて、抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することが可能となる。
【００１２】
請求項４に記載の発明は、請求項２又は３に記載の発明において、前記判定手段は、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素のうちの、前記算出手段によって算出された位相が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源と判定することを特徴とする。
【００１３】
請求項４に記載の発明によれば、複数の画素をそれぞれ一つのデータ送信光源と誤って抽出することを防止することが可能となる。
【００１４】
請求項５に記載の発明は、請求項１から４のいずれかに記載の発明において、前記抽出手段によって抽出されたデータ送信光源を含む画像を生成する画像生成手段をさらに備えることを特徴とする。
【００１５】
請求項５に記載の発明によれば、前記抽出手段によって抽出されたデータ送信光源を含む画像を生成することが可能となる。この画像を用いることにより、背景光の影響を受けることなく、データ送信光源からの送信情報の復号を行うことが可能となる。また、複数のデータ送信光源と同時にデータ通信を行うことが可能となる。また、データ送信光源の数、位置、大きさ、距離、回転、動き、位相等を把握することが可能となる。さらに、これら処理のための負荷が減り、高速化、回路規模を縮小することも可能となる。
【００１６】
請求項６に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射することを特徴とする。
【００１７】
請求項６に記載の発明によれば、撮像素子によって、データ送信光源（予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射するデータ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源を抽出し、該抽出されたデータ送信光源から照射された基準周波数の光の位相を算出し、該算出された位相に基づいて、送信情報を復号する構成となっている。このため、請求項６に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００１８】
請求項７に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、第１データ送信光源及び第２データ送信光源を含み、前記第１データ送信光源は、基準周波数の光を照射し、前記第２データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、及び、これらの位相間の位相差を算出し、前記復号手段は、前記位相算出手段によって算出された位相差に基づいて、前記送信情報を復号することを特徴とする。
【００１９】
請求項７に記載の発明によれば、撮像素子によって、データ送信光源（第１データ送信光源及び第２データ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源（第１データ送信光源及び第２データ送信光源）を抽出し、該抽出されたデータ送信光源（第１データ送信光源及び第２データ送信光源）から照射された基準周波数の光の位相及びこれらの位相の位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、請求項７に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００２０】
請求項８に記載の発明は、請求項１から５のいずれかに記載の発明において、前記データ送信光源は、予め定められた位置関係で配置された第１データ送信光源、第２データ送信光源及び第３データ送信光源を含み、前記第１データ送信光源は、基準周波数の光を照射し、前記第２データ送信光源及び第３データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、前記第３データ送信光源から照射された基準周波数の光の位相、前記位相間の位相差が閾値以下の二つのデータ送信光源から照射された基準周波数の光の位相と、該二つのデータ送信光源に対して予め定められた位置関係のデータ送信光源から照射された基準周波数の光の位相との位相差を算出し、前記復号手段は、前記位相算出手段によって算出された位相間の位相差に基づいて、前記送信情報を復号することを特徴とする。
【００２１】
請求項８に記載の発明によれば、撮像素子によって、データ送信光源（第１データ送信光源、第２データ送信光源及び第３データ送信光源）を含む画像を撮像し、該撮像した画像から該データ送信光源（第１データ送信光源、第２データ送信光源及び第３データ送信光源）を抽出し、位相差が閾値以下の二つのデータ送信光源（例えば第２データ送信光源及び第３データ送信光源）から照射された基準周波数の光の位相と、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えば第１データ送信光源）から照射された基準周波数の光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、請求項８に記載の発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。しかも、請求項８に記載の発明によれば、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えば第１データ送信光源）から照射された基準周波数の光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、誤ったデータ送信光源との位相差を算出すること（すなわち、復号誤り）を防止又は低減することが可能となる。
【発明の効果】
【００２２】
本発明によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、より高速なデータ通信が可能となる。
【発明を実施するための最良の形態】
【００２３】
〔第一実施形態〕
以下、本発明の第一実施形態であるデータ通信装置について図面を参照しながら説明する。
〔データ通信装置の構成〕
まず、本実施形態のデータ通信装置の構成について説明する。
【００２４】
図１は、本実施形態のデータ通信装置のブロック図である。
【００２５】
図１に示すように、本実施形態のデータ通信装置１は、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、距離画像生成部１７等を備えている。
【００２６】
光源１１は、対象空間に基準周波数ｆｓの光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する光源であり、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
【００２７】
撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光１４を受光して電荷に変換する複数の光電変換素子（画素又はピクセルともいう）、この光電変換素子ごとに設けられた複数の電荷蓄積部（本実施形態では四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４を例示。以下、Ｃ１、Ｃ２、Ｃ３、Ｃ４は、数式において用いた場合、該電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷量を表す）、及び、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける手段等を備えている（いずれも図示せず）。
【００２８】
制御部１６は、光源１１と撮像素子１５を同期制御する。撮像素子１５は、基準周波数ｆｓに基づいて電荷振り分けを行う。具体的には、撮像素子１５は、図２に示すように、制御部１６から供給されるゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、基準周波数ｆｓに同期した時間Ｔ１、Ｔ２、Ｔ３、Ｔ４ごとに、ゲートを開閉し、光電変換素子により変換された電荷を、電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。撮像素子１５は、時間Ｔ１〜Ｔ４のサイクルを数千〜数十万回繰り返すことで、一枚の画像を取得する。この一枚の画像を取得する時間のことを、１フレームという。なお、電荷蓄積部は、四つに限定されない。二つ以上の電荷蓄積部であれば、同様に適用することが可能である。
【００２９】
距離画像生成部１７は、上記のように振り分けられた電荷（電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に蓄積された電荷）に基づいて所定演算を行い、画素値が距離値である距離画像を生成する。
〔距離画像を生成する原理〕
次に、距離画像を生成する原理について説明する。
【００３０】
図３は、距離画像を生成する原理を説明するための図である。図３中、正弦波２１は光源１１から照射された基準周波数ｆｓの光を表しており、正弦波２２は撮像素子１５への入射光を表している。正弦波２１と正弦波２２との位相差φは、光源１１から照射された基準周波数ｆｓの光の対象物までの飛行時間によって生じる遅延を表している。
【００３１】
図３では、光源１１からの照射光の一周期を四つの期間に分けて四つの電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。
【００３２】
【数１】
光の速度は既知であるから、この位相差φを求めることで対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。
【００３３】
なお、一般的な画像データとして用いる電荷量平均Ａは、次の式で表される。
【００３４】
【数２】
また、対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。
【００３５】
【数３】
一般的に発光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。
〔データ通信装置１の動作例１〕
次に、上記構成のデータ通信装置１の動作例１について図面を参照しながら説明する。
【００３６】
図４は、データ通信装置１の動作例１を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。
【００３７】
まず、データ通信装置１は、撮像素子１５で周囲環境を撮像する処理を行う（ステップＳ１）。具体的には、次の処理を行う。
【００３８】
光源１１は、制御部１６の制御に従って、対象空間に基準周波数ｆｓの光を照射する。撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、複数の光電変換素子により電荷に変換し、制御部１６からのゲート制御信号ＤＧ１、ＤＧ２、ＤＧ３、ＤＧ４に従って、その変換された電荷を、複数の電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４それぞれに振り分ける。
【００３９】
以上の処理を光蓄積時間が終了（経過）するまで継続する。この処理により、例えば、図５に示すように、データ送信光源４１、４２、４３を含む画像を取得する。
【００４０】
図５に示すように、データ送信光源４１、４２は、路上に設置された信号機に設けられており、データ送信光源４３は、対向車両に設けられている。図６は、予め定められた時間Ｔｃごとに位相を変化させた基準周波数ｆｓの光を表す図である。図７は、図６中円形で囲んだ部分の拡大図である。図６、図７に示すように、データ送信光源４１、４２、４３は、光源１１と同様の光源であり、予め定められた時間Ｔｃごとに送信情報に応じて位相を変化させた基準周波数ｆｓの光を照射している。
【００４１】
このように、基準周波数ｆｓの光の位相を予め定められた時間Ｔｃごとに送信情報に応じて変化させることで、例えば、位相変位変調(Phase Shift Keying)のように、位相を複数に分割し、該分割した位相ごとに情報を割り当てること（情報の埋め込み）、位相の変化量（例えば、位相がφｎ→φｎ＋１に変化した場合、φｎ−φｎ＋１）に情報を割り当てること（情報の埋め込み）が可能となる。
【００４２】
なお、位相を何分割できるか、位相の変化量にどれだけの情報を埋め込めるかは、位相を求める精度に左右される。データ送信側、受信側が同じクロックを用いて動作していれば高い精度で位相を求められるため、位相を多数に分割可能である。しかし、現実的には、データ送信側と受信側は異なるクロックを用いて動作しているため、基準周波数で変調していても時間が経つにつれて少しずつ位相ズレが生じ、位相を分割できる数が減少することとなる。しかし、変化した位相ごとに複数ビットの情報を割り当てることが可能であるため、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。
【００４３】
図８は、図５に示したデータ送信光源４１、４２、４３からの照射光５１、５２、５３それぞれの強度を示したグラフである。データ送信光源４１、４２、４３それぞれの強度、距離が異なるため、受光強度が異なっている。また、同期を行っていないため、照射光５１、５２、５３それぞれの位相も異なっている。
【００４４】
次に、データ通信装置１は、撮像素子１５が撮像した画像（例えば図５に示す画像）から、基準周波数ｆｓの光を照射するデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出する処理を行う（ステップＳ２〜Ｓ６）。具体的には、次の処理を行う。
【００４５】
まず、複数の電荷蓄積部Ｃ１、Ｃ２、Ｃ３、Ｃ４から電荷を読み込み（ステップＳ２）、全ての画像変換素子で該電荷の差分Ｃ１−Ｃ３、Ｃ２−Ｃ４を演算し（ステップＳ３）、撮像素子１５が撮像した画像中の差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値を超える画素を判定する（ステップＳ４：Ｎｏ、ステップＳ５）。そして、撮像素子１５が撮像した画像（例えば図５に示す画像）から、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値を超えると判定された画素をデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）として抽出する。一方、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４が閾値以下と判定された画素については、背景や変調していない光源からの入射光であると判定する（ステップＳ４：Ｙｅｓ、ステップＳ６）。
【００４６】
背景や変調していない光源からの入射光は一様な光強度であるため、該背景や変調していない光源からの入射光を受光した光電変換素子については、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値は閾値以下の値（限りなく０に近い値）となる。一方、データ送信光源（例えばデータ送信光源４１、４２、４３）からの照射光を受光した光電変換素子については、差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値は閾値を超える値となる。従って、全ての画像変換素子で差分Ｃ１−Ｃ３、Ｃ２−Ｃ４の値と閾値とを比較演算することで（ステップＳ４）、撮像素子１５が撮像した画像中の前記差分が閾値を超える画素（すなわちデータ送信光源）を判定することが可能となる。
【００４７】
以上のステップＳ２〜Ｓ６の処理を全ての光電変換素子それぞれに対して実行する。この処理により、撮像素子１５が撮像した画像（例えば図５に示す画像）から、データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出することが可能となる。
【００４８】
次に、上記式１を用いて、上記ステップＳ２〜Ｓ６の処理によって抽出されたデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）から照射された基準周波数の光の位相を算出する（ステップＳ７）。
【００４９】
図９は、上記ステップＳ７で算出されたデータ送信光源（例えば図５に示すデータ送信光源４１）からの照射光の位相の時間的変化（φｎ−１´→φｎ→φｎ→φｎ´→φｎ＋１→φｎ＋１→φｎ＋１´→φｎ＋２・・・）を表す図である。
【００５０】
図９に示すように、撮像素子１５は、予め定められた時間Ｔｃ（図９中、Ｔｃ（ｎ−１）、Ｔｃ（ｎ）、Ｔｃ（ｎ＋１）、Ｔｃ（ｎ＋２））よりも短い時間で画像を撮像し（ステップＳ１）、画像を撮像するごとに該画像からデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出し（ステップＳ２〜Ｓ６）、該データ送信光源から照射された基準周波数の光の位相を算出する（ステップＳ７）。この時間をフレームレートＴｆという。フレームレートＴｆは、予め定められた時間Ｔｃの１／２以下が望ましい。
【００５１】
図９に示すように、フレームレートＴｆが、位相が変化した時点Ｐ１、Ｐ２、Ｐ３を含む場合、上記ステップＳ７で算出されるデータ送信光源（例えば図５に示すデータ送信光源４１）からの照射光の位相は実際の位相とは異なった位相（図９中、φｎ−１´、φｎ´、φｎ＋１´で示す位相）となる。又は位相を算出できない状態となる。このため、データ通信装置１においては、このフレームレートＴｆの情報（図９中、φｎ−１´、φｎ´、φｎ＋１´で示す位相）を削除する。
【００５２】
次に、ステップＳ７で算出された位相間の差が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源（例えば図５に示すデータ送信光源４１）と判定し結合させ（ステップＳ８）、該一つのデータ送信光源と判定したデータ送信光源を抽出し、該一群の画素として抽出されたデータ送信光源を含む画像を生成する（ステップＳ９）。図１０は、ステップＳ９で生成された画像（一つのデータ送信光源と判定され抽出されたデータ送信光源４１、４２、４３を含む）の例を示している。
【００５３】
このように、互いに隣接する一群の画素を一つのデータ送信光源と判定し結合させることにより、個々の光電変換素子それぞれを一つのデータ送信光源と誤ってみなすことを防止することが可能となる。なお、画素結合の方法としては、例えば、一群の画素の画素値として同一の画素値（例えばステップＳ７で算出された位相を表す値）を用いることが考えられる。
【００５４】
このステップＳ９で生成された画像を用いることにより、背景光の影響を受けることなく、データ送信光源からの送信情報の復号を行うことが可能となる。また、複数のデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）と同時にデータ通信を行うことが可能となる。また、データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）の数、位置、大きさ、距離、回転、動き、位相等を把握することが可能となる。さらに、これら処理のための負荷が減り、高速化、回路規模を縮小することも可能となる。
【００５５】
以上説明したように、本実施形態のデータ通信装置１によれば、撮像素子１５によって、基準周波数ｆｓの光（予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数ｆｓの光。すなわち、送信情報が埋め込まれた光）を照射するデータ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源（例えば図５に示すデータ送信光源４１、４２、４３）を抽出し（ステップＳ２〜Ｓ６）、該抽出されたデータ送信光源から照射された基準周波数ｆｓの光の位相を算出し（ステップＳ７）、該算出された位相に基づいて、データ送信光源からの送信情報を復号する構成となっている。
【００５６】
このため、本実施形態のデータ通信装置１によれば、撮像素子１５で撮像した画像を用いてデータ通信するデータ通信装置１において、一度に複数ビットの情報（例えば、変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信を行うことが可能となる。
〔データ通信装置１の動作例２〕
次に、上記構成のデータ通信装置１の動作例２について図面を参照しながら説明する。
【００５７】
図１１は、データ通信装置１の動作例２を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。
【００５８】
本動作例２においては、データ送信光源（例えば図５に示したデータ送信光源４１）は、図１２に示すように、複数のデータ送信光源１００１、１００２、１００３を備えている。複数のデータ送信光源１００１、１００２、１００３は、予め定められた位置関係（図１２では、三つのデータ送信光源を等間隔で直線上に配置した例を例示）で配置されている。図１２中、中央のデータ送信光源１００１は、図１３に示すように、基準周波数ｆｓの光１１０１を照射しており、両側のデータ送信光源１００２、１００３は、該基準周波数ｆｓの光１１０１に対して送信情報に応じて位相（同位相）を変化させた基準周波数ｆｓの光１００２、１００３を照射している。
【００５９】
このように、基準周波数ｆｓの光１００２、１００３の位相を基準周波数ｆｓの光１００１に対して送信情報に応じて変化させることで、例えば、位相変位変調(Phase Shift Keying)のように、位相を複数に分割し、該分割した位相ごとに情報を割り当てること（情報の埋め込み）が可能となる。
【００６０】
まず、データ通信装置１は、図４に示したステップＳ１〜Ｓ９の処理を行うことによって、三つのデータ送信光源１００１、１００２、１００３を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源１００１、１００２、１００３を抽出し、該抽出されたデータ送信光源１００１、１００２、１００３を含む画像を生成し（ステップＳ２〜Ｓ９）、該画像に基づいて、データ送信光源１００１、１００２、１００３からの照射光の位相を算出する（ステップＳ１０）。
【００６１】
次に、データ通信装置１は、ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在するか否かを判定する（ステップＳ１１）。
【００６２】
ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在する場合（ステップＳ１１：Ｙｅｓ）、さらに、該二つのデータ送信光源（図１２に示した例では、データ送信光源１００２、１００３）に対して予め定められた位置関係のデータ送信光源の有無（図１２に示した例では、データ送信光源１００２、１００３の中点に、データ送信光源１００１が存在するか否か）を判定する（ステップＳ１２）。
【００６３】
二つのデータ送信光源（例えばデータ送信光源１００２、１００３）に対して予め定められた位置関係のデータ送信光源（例えばデータ送信光源１００１）が存在する場合（ステップＳ１２：Ｙｅｓ）、これらの三つのデータ送信光源（例えばデータ送信光源１００１、１００２、１００３）を一つのデータ送信光源（例えばデータ送信光源４１）と判定し（ステップＳ１３）、例えば、中点のデータ送信光源１００１からの照射光の位相と両端のデータ送信光源１００２又は１００３からの照射光の位相との位相差を算出し、該算出された位相差に基づいて、データ送信光源（例えば図５に示したデータ送信光源４１）からの送信情報を復号する（ステップＳ１４）。
【００６４】
以上説明したように、本実施形態のデータ通信装置１によれば、撮像素子１５によって、データ送信光源（例えばデータ送信光源１００１、データ送信光源１００２及びデータ送信光源１００３）を含む画像を撮像し（ステップＳ１）、該撮像した画像から該データ送信光源（例えばデータ送信光源１００１、データ送信光源１００２及びデータ送信光源１００３）を抽出し（ステップＳ２〜Ｓ６）、位相間の差が閾値以下の二つのデータ送信光源（例えばデータ送信光源１００２及びデータ送信光源１００３）から照射された基準周波数の光の位相と、前記二つのデータ送信光源に対して所定の位置関係にあるデータ送信光源（例えばデータ送信光源１００１）から照射された基準周波数ｆｓの光の位相との位相差を算出し（ステップＳ７〜Ｓ１３）、該算出された位相差に基づいて、送信情報を復号する構成となっている（ステップＳ１４）。なお、ステップＳ１０で算出された位相間の差が閾値以下のデータ送信光源が二つ以上存在しない場合（ステップＳ１１：Ｎｏ）、データ送信光源（例えばデータ送信光源４１）は存在しないと判定する（ステップＳ１５）。
【００６５】
このため、本実施形態のデータ通信装置１によれば、撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、一度に複数ビットの情報（変化した位相ごとに割り当てられた複数ビットの情報）を送受することが可能となり、従来と比べてより高速なデータ通信が可能となる。しかも、本実施形態のデータ通信装置１によれば、二つのデータ送信光源１００２、１００３に対して予め定められた位置関係にあるデータ送信光源１００１から照射された基準周波数ｆｓの光の位相との位相差を算出し、該算出された位相差に基づいて、送信情報を復号する構成となっている。このため、誤ったデータ送信光源との位相差を算出すること（すなわち、復号誤り）を防止又は低減することが可能となる。
【００６６】
なお、本実施形態では、三つのデータ送信光源１００１、１００２、１００３を用いた例について説明したが、本発明はこれに限定されない。例えば、二つのデータ通信光源１００１、１００２を用いてもよい。
【００６７】
上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。
【図面の簡単な説明】
【００６８】
【図１】本実施形態のデータ通信装置のブロック図である。
【図２】撮像素子１５における電荷振り分けを説明するための図である。
【図３】距離画像を生成する原理を説明するための図である。
【図４】データ通信装置１の動作例１を説明するためのフローチャートである。
【図５】撮像素子１５が撮像したデータ送信光源を含む画像例である。
【図６】予め定められた時間Ｔｃごとに位相を変化させた基準周波数ｆｓの光を表す図である。
【図７】図６中円形で囲んだ部分の拡大図である。
【図８】図５に示したデータ送信光源４１、４２、４３からの照射光５１、５２、５３それぞれの強度を示したグラフである。
【図９】データ送信光源からの照射光の位相の時間的変化（φｎ−１´→φｎ→φｎ→φｎ´→φｎ＋１→φｎ＋１→φｎ＋１´→φｎ＋２・・・）を表す図である。
【図１０】一つのデータ送信光源と判定され抽出されたデータ送信光源４１、４２、４３を含む画像例である。
【図１１】データ通信装置１の動作例２を説明するためのフローチャートである。
【図１２】データ通信装置１の動作例２において用いられるデータ送信光源の例を説明するための斜視図である。
【図１３】図１２に示したデータ送信光源１００１、１００２、１００３からの照射光それぞれの強度を示したグラフである。
【図１４】従来の、撮像素子で撮像した画像を用いてデータ通信する方法を説明するための図である。
【符号の説明】
【００６９】
１…距離画像生成装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１４…入射光、１５…撮像素子、１６…制御部、１７…距離画像生成部、４１、４２、４３…データ送信光源、１００１、１００２、１００３…データ送信光源、φ…位相
【特許請求の範囲】
【請求項１】
撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、
入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、
前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、
前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、
前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、
を備えることを特徴とするデータ送信装置。
【請求項２】
前記複数の電荷蓄積部に蓄積された電荷の差分を演算し、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素を判定する判定手段をさらに備え、
前記抽出手段は、前記撮像素子が撮像した画像から、前記判定手段によって判定された画素をデータ通信光源として抽出することを特徴とする請求項１に記載のデータ通信装置。
【請求項３】
前記位相算出手段は、前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することを特徴とする請求項１又は２に記載のデータ送信装置。
【請求項４】
前記判定手段は、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素のうちの、前記算出手段によって算出された位相が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源と判定することを特徴とする請求項２又は３に記載のデータ通信装置。
【請求項５】
前記抽出手段によって抽出されたデータ送信光源を含む画像を生成する画像生成手段をさらに備えることを特徴とする請求項１から４のいずれかに記載のデータ送信装置。
【請求項６】
前記データ送信光源は、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射することを特徴とする請求項１から５のいずれかに記載のデータ通信装置。
【請求項７】
前記データ送信光源は、第１データ送信光源及び第２データ送信光源を含み、
前記第１データ送信光源は、基準周波数の光を照射し、
前記第２データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、
前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、及び、これらの位相間の位相差を算出し、
前記復号手段は、前記位相算出手段によって算出された位相差に基づいて、前記送信情報を復号することを特徴とする請求項１から５のいずれかに記載のデータ通信装置。
【請求項８】
前記データ送信光源は、予め定められた位置関係で配置された第１データ送信光源、第２データ送信光源及び第３データ送信光源を含み、
前記第１データ送信光源は、基準周波数の光を照射し、
前記第２データ送信光源及び第３データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、
前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、前記第３データ送信光源から照射された基準周波数の光の位相、前記位相間の位相差が閾値以下の二つのデータ送信光源から照射された基準周波数の光の位相と、該二つのデータ送信光源に対して予め定められた位置関係のデータ送信光源から照射された基準周波数の光の位相との位相差を算出し、
前記復号手段は、前記位相算出手段によって算出された位相間の位相差に基づいて、前記送信情報を復号することを特徴とする請求項１から５のいずれかに記載のデータ送信装置。
【請求項１】
撮像素子で撮像した画像を用いてデータ通信するデータ通信装置において、
入射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、基準周波数に基づいて、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段を備えた撮像素子と、
前記撮像素子が撮像した画像から、基準周波数の光を照射するデータ送信光源を抽出する抽出手段と、
前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出する位相算出手段と、
前記位相算出手段によって算出された位相に基づいて、送信情報を復号する復号手段と、
を備えることを特徴とするデータ送信装置。
【請求項２】
前記複数の電荷蓄積部に蓄積された電荷の差分を演算し、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素を判定する判定手段をさらに備え、
前記抽出手段は、前記撮像素子が撮像した画像から、前記判定手段によって判定された画素をデータ通信光源として抽出することを特徴とする請求項１に記載のデータ通信装置。
【請求項３】
前記位相算出手段は、前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記抽出手段によって抽出されたデータ送信光源から照射された基準周波数の光の位相を算出することを特徴とする請求項１又は２に記載のデータ送信装置。
【請求項４】
前記判定手段は、前記撮像素子が撮像した画像中の前記差分が閾値を超える画素のうちの、前記算出手段によって算出された位相が閾値以下でかつ互いに隣接する一群の画素を一つのデータ送信光源と判定することを特徴とする請求項２又は３に記載のデータ通信装置。
【請求項５】
前記抽出手段によって抽出されたデータ送信光源を含む画像を生成する画像生成手段をさらに備えることを特徴とする請求項１から４のいずれかに記載のデータ送信装置。
【請求項６】
前記データ送信光源は、予め定められた時間ごとに送信情報に応じて位相を変化させた基準周波数の光を照射することを特徴とする請求項１から５のいずれかに記載のデータ通信装置。
【請求項７】
前記データ送信光源は、第１データ送信光源及び第２データ送信光源を含み、
前記第１データ送信光源は、基準周波数の光を照射し、
前記第２データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、
前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、及び、これらの位相間の位相差を算出し、
前記復号手段は、前記位相算出手段によって算出された位相差に基づいて、前記送信情報を復号することを特徴とする請求項１から５のいずれかに記載のデータ通信装置。
【請求項８】
前記データ送信光源は、予め定められた位置関係で配置された第１データ送信光源、第２データ送信光源及び第３データ送信光源を含み、
前記第１データ送信光源は、基準周波数の光を照射し、
前記第２データ送信光源及び第３データ送信光源は、前記第１データ送信光源から照射される基準周波数の光に対して送信情報に応じて位相を変化させた基準周波数の光を照射し、
前記位相算出手段は、前記第１データ送信光源から照射された基準周波数の光の位相、前記第２データ送信光源から照射された基準周波数の光の位相、前記第３データ送信光源から照射された基準周波数の光の位相、前記位相間の位相差が閾値以下の二つのデータ送信光源から照射された基準周波数の光の位相と、該二つのデータ送信光源に対して予め定められた位置関係のデータ送信光源から照射された基準周波数の光の位相との位相差を算出し、
前記復号手段は、前記位相算出手段によって算出された位相間の位相差に基づいて、前記送信情報を復号することを特徴とする請求項１から５のいずれかに記載のデータ送信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２８４１２８（Ｐ２００９−２８４１２８Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３２８４３（Ｐ２００８−１３２８４３）
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
[ Back to top ]