光通信装置及びプログラム
【課題】送信手段と撮像手段との相対関係を示す情報を、装置単体で高精度に取得する。
【解決手段】受信制御部１４で、発光部５２の高さＨを示す通信情報Ｃを光信号で送信する光信号送信装置５０の発光部５２を含む領域を撮像した所定数のフレーム画像を取得し、各フレーム画像上から発光部領域を検出し、フレーム間での発光部領域の輝度値の変化を観測して、通信情報Ｃが示す発光部５２の高さＨを取得する。画像情報抽出部１６で、フレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、発光部領域の縦画素数ｎを抽出し、相対情報算出部１８で、発光部５２の高さＨ、発光部領域の縦画素数ｎ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、光信号送信装置５０と光通信装置１０との距離Ｌを算出する。
【解決手段】受信制御部１４で、発光部５２の高さＨを示す通信情報Ｃを光信号で送信する光信号送信装置５０の発光部５２を含む領域を撮像した所定数のフレーム画像を取得し、各フレーム画像上から発光部領域を検出し、フレーム間での発光部領域の輝度値の変化を観測して、通信情報Ｃが示す発光部５２の高さＨを取得する。画像情報抽出部１６で、フレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、発光部領域の縦画素数ｎを抽出し、相対情報算出部１８で、発光部５２の高さＨ、発光部領域の縦画素数ｎ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、光信号送信装置５０と光通信装置１０との距離Ｌを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光通信装置及びプログラムに係り、特に、画像及び光信号が示す通信情報を同時に取得する光通信装置及びプログラムに関する。
【背景技術】
【０００２】
従来、光信号を送信する送信手段を撮像手段で撮像することにより、画像及び光信号が示す通信情報を同時に取得することができる光通信装置が提案されている（例えば、特許文献１及び２参照）。特許文献１記載の光通信装置では、通信情報として、送信部の移動速度または加速度を取得している。
【０００３】
また、カメラで撮像された画像上から検出された対象物までの距離を計測するシステムとして、２台以上のカメラを用いて撮像された画像に基づいて、三角測量などの手法により対象物までの距離を計測するシステムが提案されている（例えば、特許文献３及び４）。また、より高精度の距離計測を行うために、カメラ以外にレーザレーダやミリ波レーダなどの測距装置を用いて、対象物までの距離を計測する対象物検出装置も提案されている（例えば、特許文献５及び６）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７４８０号公報
【特許文献２】国際公開第２０１０／０３２８４２号パンフレット
【特許文献３】特許第４３４１５６４号公報
【特許文献４】特許第４５８６５７１号公報
【特許文献５】特開２００６−２３４５１３号公報
【特許文献６】特開２００７−２４０２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１及び２に記載の光通信装置では、取得した画像と通信情報とは関連することなく個別に利用されており、画像と通信情報とを統合して利用することは考慮されていない。
【０００６】
また、特許文献３〜６に記載の技術では、対象物までの距離のような、カメラと対象物との相対関係を示す情報を計測するために、２台以上のカメラや、カメラ以外の測距装置を用いる必要があり、システムの大型化及び高コスト化を招く、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、送信手段と撮像手段との相対関係を示す情報を、装置単体で高精度に取得することができる光通信装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明の光通信装置は、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、を含んで構成されている。
【０００９】
第１の発明の光通信装置によれば、撮像手段が、発光部を制御することにより、発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する。そして、通信情報抽出手段が、撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、送信手段により送信された光信号が示す通信情報を抽出する。これにより、通信情報と画像とを同時に取得することができる。
【００１０】
また、画像情報抽出手段が、複数のフレーム画像の少なくとも１つのフレーム画像から、発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出し、算出手段が、通信情報抽出手段により抽出された通信情報と、画像情報抽出手段により抽出された画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出する。
【００１１】
このように、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる。
【００１２】
また、第２の発明の光通信装置は、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含む撮像手段であって、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、前記撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、を含んで構成されている。
【００１３】
第２の発明の光通信装置によれば、撮像手段は、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ受光量の変化に対する応答速度が第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含んで構成されている。この撮像手段が、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する。そして、通信情報抽出手段が、撮像手段の第１画素を用いて撮像されたフレーム画像上の発光部を示す発光部領域に対応する位置の第２画素から出力される信号に基づいて、送信手段により送信された光信号が示す通信情報を抽出する。これにより、第２画素を用いて得られた通信情報と、第１画素を用いて撮像された画像とを同時に取得することができる。
【００１４】
また、画像情報抽出手段が、フレーム画像から、発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出し、算出手段が、通信情報抽出手段により抽出された通信情報と、画像情報抽出手段により抽出された画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出する。
【００１５】
このように、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる。また、通信情報の取得に複数フレームの画像を要しないため、高速な処理が可能となる。
【００１６】
また、第２の発明において、前記撮像素子を、第１光電変換素子及び該第１光電変換素子で生成された電荷を画像用信号として処理する第１回路を有する第１画素と、第２光電変換素子及び該第２光電変換素子で生成された電荷を通信用信号として処理する第２回路を有する第２画素とを含んで構成するか、または、共通光電変換素子及び該共通光電変換素子で生成された電荷を画像用信号として処理する第３回路を有する第１画素と、前記共通光電変換素子及び該共通光電変換素子で生成された電荷を通信用信号として処理する第４回路を有する第１画素とを含んで構成することができる。
【００１７】
また、第１及び第２の発明における前記算出手段は、前記通信情報抽出手段により抽出した前記発光部の大きさと、前記画像情報抽出手段により抽出した前記発光部領域の大きさとに基づいて、もしくは前記通信情報抽出手段により抽出した前記発光部の位置と、前記画像情報抽出手段により抽出した前記発光部領域の位置とに基づいて、前記送信手段と前記撮像手段との距離を算出するか、または前記通信情報抽出手段により抽出した前記発光部の形状と、前記画像情報抽出手段により抽出した前記発光部領域の形状とに基づいて、前記撮像手段に対する前記送信手段の傾きを算出することができる。
【００１８】
また、第１及び第２の発明における前記送信手段が複数の発光部を備える場合において、前記通信情報として、前記複数の発光部間の間隔を送信し、前記画像情報抽出手段は、前記フレーム画像上から複数の発光部領域を検出し、該複数の発光部領域間の間隔を抽出することができる。複数の発光部を１つの発光部とみなせば、発光部間の間隔は、発光部の大きさということができ、発光部各々に着目すれば、発光部間の間隔は、一の発光部に対する他の発光部の位置ということができる。
【００１９】
また、第１及び第２の発明における前記通信情報は、前記送信手段の移動速度を示す情報をさらに含み、前記撮像手段の移動速度を検出する検出手段により検出された前記撮像手段の移動速度と、前記通信情報抽出手段により抽出された前記送信手段の移動速度とに基づいて、前記送信手段と前記撮像手段との相対速度を算出し、算出された相対速度と、前記相対情報とに基づいて、前記送信手段と前記撮像手段との衝突を予測する予測手段を更に含んで構成することができる。
【００２０】
また、前記予測手段は、前記相対速度と、前記相対情報として算出された前記送信手段と前記撮像手段との距離とに基づいて、前記送信手段と前記撮像手段との衝突予測時間を算出することができる。
【００２１】
また、第１及び第２の発明の光通信装置は、前記相対情報に基づいて、前記撮像手段による撮像、及び撮像された画像に対する画像処理の少なくとも一方を制御するためのパラメータを設定する設定手段を含んで構成することができる。
【００２２】
また、第１及び第２の発明における前記通信情報は、前記発光部を基準とした、前記送信手段が搭載された対象物の大きさを示す情報をさらに含み、前記通信情報抽出手段により抽出された前記対象物の大きさを示す情報、前記画像情報抽出手段により抽出された発光部領域の位置、及び前記算出手段により算出された相対情報に基づいて、前記フレーム画像上の前記対象物を示す対象物領域を検出する検出手段を含んで構成することができる。発光部を基準とした対象物の大きさは、例えば、発光部から対象物上辺または下辺までの高さとすることができる。
【００２３】
また、第１及び第２の発明における前記通信情報は、前記対象物の色を示す情報を含み、前記通信情報抽出手段により抽出された前記対象物の色を示す情報、及び前記検出手段により検出された対象物領域の色情報に基づいて、前記撮像手段のホワイトバランス及び露出制御値の少なくとも一方を調整する調整手段を含んで構成することができる。
【００２４】
また、第１及び第２の発明における前記通信情報は、前記送信手段が搭載された移動体の幅を示す情報をさらに含み、前記通信情報抽出手段により抽出された前記移動体の幅を示す情報、前記フレーム画像上の前記移動体を示す移動体領域の幅、及び前記算出手段により算出された相対情報に基づいて、前記光通信装置が搭載された移動体が、前記送信手段が搭載された移動体を回避して移動するための移動方向の角度を決定する決定手段を含んで構成することができる。
【００２５】
また、第１及び第２の発明における前記算出手段により算出された前記撮像手段に対する前記送信手段の傾きがなくなるように、前記光通信装置が搭載された移動体の移動方向を制御する制御手段を含んで構成することができる。
【００２６】
また、第３の発明の光通信プログラムは、コンピュータを、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段として機能させるためのプログラムである。
【００２７】
また、第４の発明の光通信プログラムは、コンピュータを、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含み、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の光通信装置及びプログラムによれば、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図２】（ａ）第１の実施の形態に係る光通信装置の撮像素子の構成を示す概略図、及び（ｂ）撮像されたフレーム画像上の発光部領域を説明するための図である。
【図３】フレーム画像からの発光部領域の検出、及び通信情報の抽出を説明するための図である。
【図４】第１の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図５】第２の実施の形態に係る光通信システムの光信号送信装置の構成を示す概略図である。
【図６】第２の実施の形態における画像情報の抽出を説明するための図である。
【図７】第３の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図８】第３の実施の形態における画像情報の抽出を説明するための図である。
【図９】第４の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１０】第４の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１１】第５の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１２】第５の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１３】第６の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１４】第６の実施の形態における車両領域の検出を説明するための図である。
【図１５】第６の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１６】第７の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１７】第７の実施の形態における光信号送信装置の発光部の配置を説明するための図である。
【図１８】第７の実施の形態における回避操舵角の算出を説明するための図である。
【図１９】第７の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２０】第７の実施の形態における回避操舵角の算出の他の例を説明するための図である。
【図２１】第８の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２２】第８の実施の形態における光通信装置に対する光信号送信装置の傾きの有無の判定を説明するための図である。
【図２３】第９の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図２４】第９の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２５】第９の実施の形態における操舵制御の他の例を説明するための図である。
【図２６】画像用画素のみで構成された光通信装置の撮像素子の構成を示す概略図である。
【図２７】第１０の実施の形態に係る光通信装置の撮像素子の構成を示す概略図である。
【図２８】第１０の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２９】第１１の実施の形態に係る光通信装置の撮像素子の構成を示す概略図である。
【図３０】第１１の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、前方車両に搭載された光信号送信装置から送信された光信号を、自車両に搭載された光通信装置により撮像して、光信号送信装置と光通信装置との相対関係を示す相対情報を算出する光通信システムに用いられる光通信装置に本発明を適用した場合を例に説明する。
【００３１】
図１に示すように、第１の実施の形態に係る光通信システム１は、光信号送信装置５０と光通信装置１０とを含んでいる。
【００３２】
光信号送信装置５０は、例えば、ＬＥＤから構成される発光部５２と、通信情報Ｃを示すデータ列に応じて、発光部５２をオンオフさせる送信制御部５４とを備えている。なお、送信制御部５４は、データ列に応じて、発光部５２の光強度を変更するようにしてもよい。送信される光信号は、情報伝達が可能な変調方式であれば、デジタル波形でもよいし、アナログ波形でもよい。
【００３３】
第１の実施の形態における光信号送信装置５０により光信号として送信される通信情報Ｃは、発光部５２の大きさを示す情報とすることができる。発光部５２の大きさを示す情報は、例えば、発光部５２の高さや幅とすることができる。
【００３４】
光通信装置１０は、撮像素子１２と、ＣＰＵ、後述する光通信処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含むコンピュータとで構成されている。このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、撮像素子１２の駆動制御を行うと共に、撮像素子１２で受信した画素データに基づいて、フレーム画像Ｉ及び通信情報Ｃを取得するための処理を行う受信制御部１４と、フレーム画像Ｉ上の発光部５２を示す発光部領域の画像情報ｉを抽出する画像情報抽出部１６と、画像情報ｉと通信情報Ｃとに基づいて、光信号送信装置５０と光通信装置１０との相対関係を示す相対情報を算出する相対情報算出部１８とを含んだ構成で表すことができる。なお、受信制御部１４が、本発明の通信情報抽出手段の一例である。
【００３５】
撮像素子１２は、図２（ａ）に示すように、レンズ（図示省略）を介して受光した光の受光量に応じた信号を出力する複数の画素を、基板上に二次元に配列して構成されている。
【００３６】
受信制御部１４は、図３（ａ）に示すように、所定数のフレーム画像を取得し、同図（ｂ）に示すように、各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。高輝度領域の検出は、例えば、各フレーム画像内で最も明るい領域を検出してもよいし、所定値以上の輝度値の領域を検出してもよいし、フレーム間で輝度値の変化が大きい領域を検出してもよい。そして、検出した発光部領域をフレーム間で追跡すると共に、同図（ｃ）に示すように、フレーム間での発光部領域の輝度値の変化を観測して、通信情報Ｃとして取得する。
【００３７】
また、受信制御部１４は、上記の所定数のフレーム画像の少なくとも１つのフレーム画像をフレーム画像Ｉとして取得する。受信制御部１４で取得するフレーム画像の所定数は、光信号の長さに応じて適切に定めることができる。また、フレーム画像Ｉとして取得するフレーム画像は、所定数のフレーム画像のうち、最後に撮像されたフレーム画像を選択することが望ましい。
【００３８】
画像情報抽出部１６は、受信制御部１４で取得されたフレーム画像Ｉから発光部領域を検出し、発光部領域の大きさを示す画像情報ｉを抽出する。例えば、発光部領域の大きさは、発光部領域の縦または横サイズを画素単位で抽出することができる。
【００３９】
相対情報算出部１８は、画像情報抽出部１６で抽出された画像情報ｉと、受信制御部１４で抽出された通信情報Ｃとに基づいて、光信号送信装置５０と光通信装置１０との相対関係を示す相対情報を算出する。第１の実施の形態における相対情報は、光信号送信装置５０と光通信装置１０との距離とすることができる。
【００４０】
次に、図４を参照して、第１の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃとして、発光部５２の高さＨが送信され、相対情報として、光信号送信装置５０と光通信装置１０との距離、すなわち前方車両と自車両との距離を算出する場合について説明する。
【００４１】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ１０２で、上記ステップ１００で取得した各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。そして、検出した発光部領域をフレーム間で追跡して、フレーム間での発光部領域の輝度値の変化を観測し、通信情報Ｃとして発光部５２の高さＨを取得する。
【００４２】
次に、ステップ１０４で、上記ステップ１００で取得した所定数のフレーム画像の最終フレームであるフレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、発光部領域の縦画素数ｎ（図２（ｂ））を抽出する。
【００４３】
次に、ステップ１０６で、上記ステップ１０２で取得した発光部５２の高さＨ、上記ステップ１０４で抽出したフレーム画像Ｉ上の発光部領域の縦画素数ｎ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａ（図２（ａ））を用いて、下記（１）式により、光信号送信装置５０と光通信装置１０との距離Ｌを算出して出力し、処理を終了する。
【００４４】
【数１】
【００４５】
以上説明したように、第１の実施の形態の光通信装置によれば、光通信装置から送信される発光部の大きさを示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。
【００４６】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいるが、光通信装置については、第１の実施の形態の光通信装置１０と同様であるため、第１の実施の形態と異なる光信号送信装置について説明する。なお、第２の実施の形態の光信号送信装置５０と同様の構成については、同一符号を付して、説明を省略する。
【００４７】
図５に示すように、第２の実施の形態の光信号送信装置２５０は、２つの発光部２５２ａ及び２５２ｂと送信制御部５４とを含んで構成されている。
【００４８】
第２の実施の形態における光信号送信装置２５０により光信号として送信される通信情報Ｃは、発光部２５２ａと発光部２５２ｂとの間隔Ｈとすることができる。この場合、通信情報Ｃとあわせて、各発光部２５２ａ及び２５２ｂを識別すると共に、発光部２５２ａと発光部２５２ｂとの対応関係を示す識別情報も送信するようにするとよい。また、通信情報Ｃは、発光部２５２ａまたは発光部２５２ｂのいずれか一方のみから送信してもよいし、両方から送信してもよい。
【００４９】
次に、第２の実施の形態における光通信処理ルーチンについて説明する。第２の実施の形態の光通信処理ルーチンは、第１の実施の形態の光通信処理ルーチン（図４）と、ステップ１０４の処理が異なるだけであるので、この点について説明する。
【００５０】
ステップ１０４では、フレーム画像Ｉ上から複数の発光部領域を検出し、各発光部領域から取得される識別情報に基づいて、発光部２５２ａを示す発光部領域と、発光部２５２ｂを示す発光部領域との対応を取る。そして、図６に示すように、発光部領域間の画素数ｎを、画像情報ｉとして抽出する。
【００５１】
以上説明したように、第２の実施の形態の光通信装置によれば、光通信装置から送信される２つの発光部間の間隔を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。
【００５２】
また、第１の実施の形態では、１つの発光部の大きさを通信情報として用いるため、１つの発光部を複数のＬＥＤで構成するなど、発光部自体にある程度の大きさが必要である。一方、第２の実施の形態では、発光部間の間隔を通信情報として用いるため、複数の発光部の各々を１つのＬＥＤで構成したような点光源とすることもできる。
【００５３】
次に、第３の実施の形態について説明する。なお、図７に示すように、第３の実施の形態の光通信システム３は、第１の実施の形態の光通信システム１と同様に、光信号送信装置３５０と光通信装置１０とを含んでいるが、光通信装置については、第１の実施の形態の光通信装置１０と同様であるため、第１の実施の形態と異なる光信号送信装置３５０について説明する。なお、第１の実施の形態の光信号送信装置５０と同様の構成については、同一符号を付して、説明を省略する。
【００５４】
図７に示すように、第３の実施の形態の光信号送信装置３５０は、発光部３５２と送信制御部５４とを含んで構成されている。
【００５５】
第３の実施の形態における光信号送信装置３５０により光信号として送信される通信情報Ｃは、発光部３５２と所定の基準位置との間隔Ｈとすることができる。所定の基準位置は、例えば、光通信装置１０のレンズ中心（光軸）とすることができる。また、光信号送信装置３５０が搭載される車両の上辺または下辺等を基準位置としてもよい。
【００５６】
次に、第３の実施の形態における光通信処理ルーチンについて説明する。第３の実施の形態の光通信処理ルーチンは、第１の実施の形態の光通信処理ルーチン（図４）と、ステップ１０４の処理が異なるだけであるので、この点について説明する。
【００５７】
ステップ１０４では、フレーム画像Ｉ上から発光部領域を検出し、図８に示すように、発光部領域と基準位置（画像中心）との間の画素数ｎを、画像情報ｉとして抽出する。なお、この場合、カメラの姿勢角に応じてフレーム画像上の基準位置を補正するようにするとよい。また、基準位置として車両の上辺または下辺等を用いる場合には、フレーム画像Ｉに画像処理を施して基準位置を検出してから、発光部領域と基準位置との間の画素数を抽出するようにするとよい。
【００５８】
以上説明したように、第３の実施の形態の光通信装置によれば、光通信装置から送信される発光部と基準位置との間隔を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。また、第２の実施の形態と同様に、発光部を１つのＬＥＤで構成したような点光源とすることもできる。
【００５９】
次に、第４の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００６０】
図９に示すように、第４の実施の形態に係る光通信システム４は、光信号送信装置４５０と光通信装置４１０とを含んでいる。
【００６１】
光信号送信装置４５０は、通信信号Ｃとして、発光部５２の大きさを示す情報に加え、光信号送信装置４５０が搭載された車両（前方車両）の速度Ｖａを送信する。
【００６２】
光通信装置４１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、通信情報Ｃに含まれる速度Ｖａと光通信装置４１０が搭載された車両（自車両）の速度Ｖｂとに基づいて前方車両と自車両との相対速度ΔＶを算出する相対速度算出部２０と、相対情報と相対速度ΔＶとに基づいて、自車両と前方車両との衝突予測に関する衝突予測情報を算出する衝突予測算出部２２とを含んだ構成で表すことができる。なお、相対速度算出部２０及び衝突予測算出部２２が、本発明の予測手段の一例である。
【００６３】
相対速度算出部２０は、受信制御部１４で抽出された通信情報Ｃに含まれる前方車両の速度Ｖａと、自車両の速度を検出する速度センサ（図示省略）で検出された自車両の速度Ｖｂとの差分（Ｖｂ−Ｖａ）を、自車両と前方車両との相対速度ΔＶとして算出する。相対速度ΔＶがマイナスの値の場合には、自車両に対して前方車両が遠ざかっていることを表している。
【００６４】
衝突予測算出部２２は、相対情報算出部１８で算出された相対情報である前方車両と自車量との距離Ｌと、相対速度算出部２０で算出された相対速度ΔＶとに基づいて、自車両と前方車両との衝突予測に関する衝突予測情報を算出する。衝突予測情報は、例えば、自車両と前方車両との衝突可能性を示す情報や、衝突時間とすることができる。
【００６５】
次に、図１０を参照して、第４の実施の形態の光通信装置４１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃとして、発光部５２の高さＨ及び前方車両の速度Ｖａが送信され、衝突予測情報として、前方車両と自車両との衝突時間を算出する場合について説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００６６】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ４００で、上記ステップ１００で取得した各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。そして、検出した発光部領域をフレーム間で追跡して、フレーム間での発光部領域の輝度値の変化を観測し、通信情報Ｃとして発光部５２の高さＨ及び前方車両の速度Ｖａを取得する。
【００６７】
次に、ステップ１０４で、画像情報ｉとして、発光部領域の縦画素数ｎを抽出し、次に、ステップ１０６で、光信号送信装置５０と光通信装置１０との距離Ｌを算出する。
【００６８】
次に、ステップ４０２で、速度センサから自車両の速度Ｖｂを取り込み、上記ステップ４００で取得した前方車両の速度Ｖａと、自車両の速度Ｖｂとの差分（Ｖｂ−Ｖａ）を、自車両と前方車両との相対速度ΔＶとして算出する。
【００６９】
次に、ステップ４０４で、上記ステップ１０６で算出した距離Ｌと、上記ステップ４０２で算出した相対速度ΔＶとに基づいて、衝突時間ｔ（Ｌ／ΔＶ）を算出して出力し、処理を終了する。
【００７０】
なお、上記の光通信処理ルーチンでは、衝突予測情報として、衝突時間を算出する場合について説明したが、これに限定されない。例えば、相対情報として、光通信装置１０に対する光信号送信装置５０の傾きを算出した場合には、算出した相対速度情報と合わせて、自車両と前方車両とが衝突する可能性があるか否かを示す情報を算出するようにしてもよい。
【００７１】
以上説明したように、第４の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に取得された相対情報を用いて自車両と前方車両との衝突予測情報を算出するため、衝突予測情報についても、装置単体で高精度に算出することができる。
【００７２】
なお、第４の実施の形態では、第１の実施の形態の光通信システムにおいて算出された相対情報を用いて衝突予測情報を算出する場合について説明したが、第２または第３の実施の形態の光通信システムに適用してもよい。
【００７３】
次に、第５の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００７４】
図１１に示すように、第５の実施の形態に係る光通信システム５は、光信号送信装置５０と光通信装置５１０とを含んでいる。
【００７５】
光通信装置５１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、相対情報に基づいて、受信制御部１４のパラメータを設定するパラメータ設定部２４とを含んだ構成で表すことができる。
【００７６】
パラメータ設定部２４は、相対情報算出部１８で算出された相対情報に基づいて、受信制御部１４による撮像素子の駆動制御、及び画像処理に必要なパラメータを設定する。パラメータは、例えば、撮像素子１２で受信した信号に対する増幅度、撮像周期、レンズの画角等とすることができる。
【００７７】
次に、図１２を参照して、第５の実施の形態の光通信装置５１０で実行される光通信処理ルーチンについて説明する。ここでは、相対情報として算出された光信号送信装置５０と光通信装置５１０との距離Ｌに基づいて、パラメータとして、受信信号の増幅度を決定する場合について説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００７８】
ステップ１００〜１０６を実行して、光信号送信装置５０と光通信装置５１０との距離Ｌを算出する。
【００７９】
次に、ステップ５００で、上記ステップ１０６で算出した距離Ｌに応じて受信信号の増幅度を設定する。受信制御部１４に入力できる信号振幅の範囲は有限であるが、距離Ｌによって受信信号の振幅は変動するため、その範囲を逸脱する場合が生じる。そこで、距離Ｌに応じて受信信号の増幅度を決定することにより、受信制御部１４に最も性能を発揮することができる最適な範囲の受信信号が入力されるように調整する。具体的には、距離Ｌが大きいほど増幅度を大きくし、距離Ｌが小さいほど増幅度を小さくする。
【００８０】
なお、上記の光通信処理ルーチンでは、パラメータとして受信信号の増幅度を設定する場合について説明したが、これに限定されない。例えば、距離Ｌが小さい場合には、前方車両と自車両とが接近しており、危険度が高い状況であるといえる。このような状況では、状況変化に即応できるように、より多くの情報が頻繁に必要になる。そこで、距離Ｌが小さい場合には、撮像周期を増加するようにパラメータを設定することができる。一方、距離Ｌが大きい場合には、状況変化に対する即応性が低いため、撮像周期を低下するようにパラメータを設定することができる。低下させる場合の撮像周期は、例えば、光信号の認識に必要最低限の周期とすることができ、これにより演算負荷を軽減することができる。
【００８１】
また、距離Ｌが小さい場合に、レンズの画角が望遠になっていると、フレーム画像Ｉ上をほとんど発光部領域が占めてしまう可能性がある。一方、距離Ｌが大きい場合に、画角が広角になっていると、フレーム画像Ｉ上の発光部領域が小さくなりすぎ、適切に通信情報Ｃや画像情報ｉを抽出することができない場合がある。そこで、距離Ｌが小さい場合には、画角を広角側に調整し、距離Ｌが大きい場合には、画角を望遠側に調整するようにパラメータを設定することで、フレーム画像Ｉ上での発光部領域が適切な大きさとなるように調整することができる。
【００８２】
以上説明したように、第５の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、撮像素子の駆動制御、及び画像処理に必要なパラメータを設定するため、相対情報を算出するための画像の精度が向上し、より高精度に相対情報を算出することができる。
【００８３】
なお、第５の実施の形態では、第１の実施の形態の光通信システムにおいて算出された相対情報を用いてパラメータを決定する場合について説明したが、第４の実施の形態で算出した衝突予測時間を用いてパラメータを決定するようにしてもよい。
【００８４】
次に、第６の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００８５】
図１３に示すように、第６の実施の形態に係る光通信システム６は、光信号送信装置６５０と光通信装置６１０とを含んでいる。
【００８６】
光信号送信装置６５０は、２つの発光部６５２ａ、６５２ｂを備えており、通信情報Ｃとして、図１４（ａ）に示すように、発光部６５２ａと発光部６５２ｂとの間隔Ｈ、発光部６５２ａ、６５２ｂから車両上辺までの高さＤ１、及び発光部６５２ａ、６５２ｂから車両下辺までの高さＤ２を送信する。
【００８７】
光通信装置６１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部６１６と、相対情報算出部６１８と、領域検出部２６とを含んだ構成で表すことができる。
【００８８】
画像情報抽出部６１６は、図１４（ｂ）に示すように、受信制御部１４で取得されたフレーム画像Ｉから２つの発光部領域を検出し、発光部領域間の画素数ｎ、及び各発光部領域の中心画素の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）を、画像情報ｉとして抽出する。
【００８９】
相対情報算出部６１８は、距離算出部６１８ａ及び高さ算出部６１８ｂで表すことができる。距離算出部６１８ａは、第２の実施の形態の相対情報算出部１８と同様の処理により、光信号送信装置６５０と光通信装置６１０との距離Ｌを算出する。
【００９０】
また、高さ算出部６１８ｂは、受信制御部１４で取得されたＤ１、Ｄ２、距離算出部６１８ａで算出された距離Ｌ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、下記（２）式及び（３）式により、フレーム画像Ｉ上での発光部領域から車両上辺までの高さｄ１、及び発光部領域から車両下辺までの高さｄ２を算出する。
【００９１】
【数２】
【００９２】
領域検出部２６は、画像情報抽出部６１６で抽出された発光部領域の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）、及び高さ算出部６１８ｂで算出された高さｄ１、ｄ２を用いて、図１４（ｃ）に示すように、画素座標Ａ（ｘＬ，ｙＬ−ｄ１）、Ｂ（ｘＲ，ｙＲ−ｄ１）、Ｃ（ｘＬ，ｙＬ＋ｄ２）、Ｄ（ｘＲ，ｙＲ＋ｄ２）を算出する。ここでは、座標の原点（０，０）を、フレーム画像Ｉの左上に設定している。同図（ｄ）に示すように、算出された画素座標Ａ，Ｂ，Ｃ，Ｄで囲まれた領域を、最終的な車両領域として出力する。最終出力は、ＡＢＣＤの各座標値でもよいし、フレーム画像ＩにＡＢＣＤで示される矩形枠を描画した画像としてもよい。
【００９３】
次に、図１５を参照して、第６の実施の形態の光通信装置６１０で実行される光通信処理ルーチンについて説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００９４】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ６００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出して、通信情報Ｃとして、発光部６５２ａと発光部６５２ｂとの間隔Ｈ、発光部６５２ａ、６５２ｂから車両上辺までの高さＤ１、及び発光部６５２ａ、６５２ｂから車両下辺までの高さＤ２を取得する。
【００９５】
次に、ステップ６０２で、画像情報ｉとして、発光部領域間の画素数ｎ、及び各発光部領域の中心画素の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）を抽出し、次に、ステップ１０６で、光信号送信装置６５０と光通信装置６１０との距離Ｌを算出する。
【００９６】
次に、ステップ６０４で、上記ステップ６００で取得されたＤ１、Ｄ２、上記ステップ１０６で算出された距離Ｌ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、（２）式及び（３）式により、フレーム画像Ｉ上での発光部領域から車両上辺までの高さｄ１、及び発光部領域から車両下辺までの高さｄ２を算出する。
【００９７】
次に、ステップ６０６で、上記ステップ６０２で抽出された発光部領域の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）、及び上記ステップ６０４で算出された高さｄ１、ｄ２を用いて、画素座標Ａ（ｘＬ，ｙＬ−ｄ１）、Ｂ（ｘＲ，ｙＲ−ｄ１）、Ｃ（ｘＬ，ｙＬ＋ｄ２）、Ｄ（ｘＲ，ｙＲ＋ｄ２）を算出し、算出された画素座標Ａ，Ｂ，Ｃ，Ｄで囲まれた領域を、車両領域として出力して、処理を終了する。
【００９８】
以上説明したように、第６の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報、及びフレーム画像上の発光部領域の情報を用いて、画像上の対象物領域を精度良く検出することができる。
【００９９】
なお、第６の実施の形態では、発光部領域を２つ備えた光信号送信装置を用いた場合について説明したが、発光部が１つの場合でも適用可能である。
【０１００】
また、第６の実施の形態では、算出された相対情報に基づいて、画像から検出された対象物領域を出力する場合について説明したが、この検出結果の出力に代えて、または検出結果の出力と共に、検出された対象物領域の色情報を用いて、光通信装置で撮像される画像のホワイトバランスを調整するようにしてもよい。例えば、白い車体色の前方車両に夕日が当たると、カメラで撮像した際に、前方車両の車体が赤く撮像される。つまり、照明（ここでは太陽）の色合いによって、本来の対象物の色をカメラで適切に捉えることができなくなる。このような現象を解消するために、ホワイトバランスの調整を行う。
【０１０１】
この場合、光信号送信装置から送信される通信情報Ｃとして、車体色（白、赤、青など）の情報を付加する。そして、上記実施の形態における処理において画像上から検出された対象物領域の色情報と、通信情報Ｃに含まれる車体色とを比較する。比較した結果、色が異なる場合には、ホワイトバランスの調整を行う。例えば、通信情報Ｃに含まれる車体色が”白”であるのに対して、画像上の対象物領域の色が”赤”であった場合には、対象物領域内の色情報が”白”となるように、ホワイトバランスを調整する。
【０１０２】
また、ホワイトバランスの調整だけでなく、通信情報Ｃとして送信された車体色と対象物領域の色とを比較して、露出制御等を行うようにしてもよい。
【０１０３】
次に、第７の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【０１０４】
図１６に示すように、第７の実施の形態に係る光通信システム７は、光信号送信装置７５０と光通信装置７１０とを含んでいる。
【０１０５】
光信号送信装置７５０は、２つの発光部７５２ａ、７５２ｂを備えており、通信情報Ｃとして、発光部７５２ａと発光部７５２ｂとの間隔Ｈを送信する。また、図１７に示すように、発光部７５２ａ、７５２ｂは、光通信装置７１０側から見て、前方車両の車幅方向の両端位置に各々配置する。すなわち、通信情報Ｃとして送信する間隔Ｈが、前方車両の車幅を示す情報となるように、発光部７５２ａ、７５２ｂを配置する。
【０１０６】
光通信装置７１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、回避操舵角決定部２８とを含んだ構成で表すことができる。
【０１０７】
回避操舵角決定部２８は、相対情報算出部１８で算出された光信号送信装置７５０と光通信装置７１０との距離Ｌ、受信制御部１４で取得された前方車両の車幅Ｈを用いて、緊急時に前方車両に衝突しないための基準となる回避操舵角θを算出する。例えば、光通信装置７１０と前方車両との中心軸が揃っている場合には、距離Ｌ、車両幅Ｈ、及び回避操舵角θの関係は、図１８に示す通りとなる。また、回避操舵角θは、下記（４）式により、距離Ｌ及び車幅Ｈを用いて算出される。算出された回避操舵角θは、自車両の操舵角を制御する操舵制御装置に出力される。
【０１０８】
【数３】
【０１０９】
次に、図１９を参照して、第７の実施の形態の光通信装置７１０で実行される光通信処理ルーチンについて説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１１０】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ７００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出して、通信情報Ｃとして、前方車両の車幅（発光部６５２ａと発光部６５２ｂとの間隔）Ｈを取得する。
【０１１１】
次に、ステップ７０２で、画像情報ｉとして、発光部領域間の画素数ｎを抽出し、次に、ステップ１０６で、光信号送信装置７５０と光通信装置７１０との距離Ｌを算出する。
【０１１２】
次に、ステップ７０４で、上記ステップ７００で取得された車幅Ｈ、及び上記ステップ１０６で算出された距離Ｌを用いて、（４）式により、回避操舵角θを算出して出力して、処理を終了する。
【０１１３】
なお、図２０（ａ）に示すように、光通信装置７１０と前方車両との中心軸にズレが生じている場合には、同図（ｂ）に示すように、フレーム画像Ｉの画像中心から発光部領域までの画素数ｍを抽出し、下記（５）式により回避操舵角θを算出することができる。
【０１１４】
【数４】
【０１１５】
また、算出された回避操舵角θに±αの調整を行ってもよい。また、前方車両の左側から回避する場合の回避操舵角θＬ、及び前方車両の右側から回避する場合の回避操舵角θＲの両方を算出することもできる。この場合、回避操舵角が大きくなると急ハンドルとなるため、回避操舵角が小さい方を選択して出力することが好ましい。
【０１１６】
以上説明したように、第７の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、回避操舵角を精度良く算出することができる。
【０１１７】
なお、第７の実施の形態では、２つの発光部を前方車両の車幅方向の両端位置に各々配置して、フレーム画像上の発光部領域の間隔を、車幅に相当する間隔として抽出する場合について説明したが、フレーム画像から画像処理により前方車両を検出して、車幅を抽出するようにしてもよい。この場合、発光部の配置を考慮する必要がなくなる。
【０１１８】
次に、第８の実施の形態について説明する。なお、第８の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、第１の実施の形態と同様であるため、説明を省略する。なお、第８の実施の形態の形態では、光信号送信装置５０から送信される通信情報Ｃとして、発光部５２の形状（正方形、長方形、丸、楕円、正三角形、直角三角形など）を示す情報を送信する。また、光通信装置１０の相対情報算出部１８において、相対情報として、光通信装置１０に対する発光部５２の傾きの有無、すなわち、自車両に対する前方車両の傾きの有無を算出する。
【０１１９】
次に、図２１を参照して、第８の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃで送信される発光部５２の形状が「正方形」の場合について説明する。
【０１２０】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ８００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出し、通信情報Ｃとして発光部５２の形状を取得する。
【０１２１】
次に、ステップ８０２で、上記ステップ１００で取得した所定数のフレーム画像の最終フレームであるフレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、例えば、図２２（ａ）〜（ｃ）に示すように、発光部領域の形状を抽出する。より具体的には、発光部領域の各辺の長さ（画素数）を発光部領域の形状として抽出する。
【０１２２】
次に、ステップ８０４で、上記ステップ８０２で抽出した発光部領域の形状に基づいて、光通信装置１０に対する発光部５２の傾きの有無を算出して、出力する。例えば、図２２（ｄ）に示すように、発光部領域のＡ辺（左辺）の画素数とＢ辺（右辺）の画素数とを比較する。Ａ辺の画素数＝Ｂ辺の画素数の場合、またはＡ辺の画素数とＢ辺の画素数との差がほぼ０のみなせる所定範囲内の場合には、同図（ａ）に示すように、フレーム画像上の発光部領域は正方形に見えており、傾きなしと判定する。また、Ａ辺の画素数とＢ辺の画素数との差が所定値以上の場合には、同図（ｂ）または（ｃ）に示すように、フレーム画像上の発光部領域は台形に見えており、傾きありと判定する。
【０１２３】
以上説明したように、第８の実施の形態の光通信装置によれば、光通信装置から送信される発光部の形状を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光通信装置に対する光信号送信装置の傾きの有無を算出するため、装置単体で高精度に光通信装置に対する光信号送信装置の傾きを取得することができる。
【０１２４】
なお、第８の実施の形態では、発光部領域の左右方向の傾きの有無を判定する場合について説明したが、上下方向の傾きの有無も同様の方法で判定することができる。
【０１２５】
次に、第９の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【０１２６】
図２３に示すように、第９の実施の形態に係る光通信システム９は、光信号送信装置９５０と光通信装置９１０とを含んでいる。
【０１２７】
光信号送信装置９５０は、通信情報Ｃとして、発光部５２の形状を送信する。
【０１２８】
光通信装置９１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、追従制御部３０とを含んだ構成で表すことができる。
【０１２９】
相対情報算出部１８では、第８の実施の形態と同様に、光通信装置９１０に対する光信号送信装置９５０の傾きの有無を算出する。
【０１３０】
追従制御部３０は、相対情報算出部１８で算出された傾きの有無に基づいて、前方車両を追従走行するための制御信号を生成して、操舵装置等を駆動する追従制御装置へ出力する。
【０１３１】
次に、図２４を参照して、第９の実施の形態の光通信装置９１０で実行される光通信処理ルーチンについて説明する。なお、第１及び第８の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１３２】
ステップ１００、８００〜８０４を経て、光通信装置９１０に対する光信号送信装置９５０の傾きの有無を算出する。
【０１３３】
次に、ステップ９００で、上記ステップ８０４の算出結果が、傾きありか否かを判定する。傾きありの場合には、ステップ９０２へ移行して、傾きが左方向か右方向かに応じて、左方向または右方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。一方、傾きなしの場合には、ステップ９０４へ移行して、操舵を制御するための制御信号の生成を停止する。
【０１３４】
次に、ステップ９０６で、光通信装置９１０により次のフレーム画像が取得されたか否かを判定する。取得された場合には、ステップ８０２へ戻って、新たに取得されたフレーム画像から発光部領域の形状を抽出し、以降の処理を繰り返す。次のフレーム画像が取得されなかった場合には、処理を終了する。
【０１３５】
以上説明したように、第９の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、前方車両に追従走行する追従制御を行うことができる。
【０１３６】
なお、第９の実施の形態では、光信号送信装置の発光部が１つの場合について説明したが、複数の発光部を設けるようにしてもよい。この場合、図２５に示すように、フレーム画像から抽出された発光部領域各々の大きさ（総画素数）を比較して、傾きの有無を算出することができる。例えば、同図（ａ）に示すように、左の発光部領域の方が右の発光部領域より大きい場合には、左方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。次のフレーム画像で、同図（ｂ）に示すように、まだ、左の発光部領域の方が右の発光部領域より大きい場合には、引き続き左方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。次のフレーム画像で、同図（ｃ）に示すように、左右の発光部領域の大きさが同一となった場合には、操舵を制御するための制御信号の生成を停止する。
【０１３７】
次に、第１０の実施の形態について説明する。なお、第１０の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、光通信装置の撮像素子の構成が異なるだけであるので、その点について説明する。
【０１３８】
図２６（ａ）に示すように、通常の撮像素子では、レンズ（図示省略）を介して受光した光の受光量に応じた信号を出力する複数の画素を、一つの基板上に二次元に配列して構成されている。この画素は、同図（ｂ）に示すように、受光した光を電荷に変換する光電変換部と、光電変換部で生成された電荷に対して、電圧に変換したり、電流に変換したり、増幅したり等の様々な処理を行って読み出し回路等に送るための画素内回路とで構成されている。
【０１３９】
図２７（ａ）に示すように、第１０の実施の形態の光通信装置の撮像素子は、レンズを介して受光した光の受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ受光量の変化に対する応答速度が第１画素より速い複数の第２画素を、一つの基板上に二次元に交互に配列して構成されている。第１画素は、フレームで光の変化を捉える通常の画像用画素であり、第２画素は、連続的に光の変化を捉える通信用画素である。
【０１４０】
同図（ｂ）に示すように、第１画素は、画像用光電変換素子及び画像用光電変換素子で生成された電荷を処理する画像用画素内回路を有している。画像用光電変換素子で生成された電荷は、画像用画素内回路で処理されて、画像信号として読み出し線に送出される。また、第２画素は、通信用光電変換素子及び通信用光電変換素子で生成された電荷を処理する通信用画素内回路を有している。通信用光電変換素子で生成された電荷は、通信用画素内回路で処理されて、通信信号として読み出し線に送出される。
【０１４１】
上記第１〜第９の実施の形態では、複数のフレーム画像から輝度値の変化を検出することにより通信情報Ｃを取得した。一方、第１０の実施の形態の光通信装置１０では、画像用画素を用いて撮像された１枚のフレーム画像から発光部領域を抽出し、その発光部領域の座標に対応する通信用画素で取得した光信号に基づいて、通信情報Ｃを取得する。
【０１４２】
次に、図２８を参照して、第１０の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。
【０１４３】
ステップ１０００で、１枚のフレーム画像Ｉを取得し、次に、ステップ１００２で、上記ステップ１０００で取得したフレーム画像Ｉ上から発光部領域を検出する。次に、ステップ１００４で、上記ステップ１００２で検出した発光部領域の座標に対応する通信用画素を選択する。次に、ステップ１００６で、上記ステップ１００４で選択された通信用画素で取得された光信号に基づいて、通信情報Ｃを取得する。
【０１４４】
次に、ステップ１００８で、上記ステップ１００２で検出したフレーム画像Ｉの発光部領域に基づいて、画像情報ｉを抽出する。次に、ステップ１０１０で、上記ステップ１００６で取得した通信情報Ｃ、及び上記ステップ１００８で抽出した画像情報ｉに基づいて、光通信装置と光信号送信装置との相対情報を算出して出力し、処理を終了する。
【０１４５】
以上説明したように、第１０の実施の形態の光通信装置によれば、上記第１〜第９の実施の形態の効果に加えて、より高速に相対情報を算出することができる。
【０１４６】
次に、第１１の実施の形態について説明する。なお、第１１の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、光通信装置の撮像素子の構成が異なるだけであるので、その点について説明する。なお、第１０の実施の形態における撮像素子の構成と共通する箇所は、詳細な説明を省略する。
【０１４７】
図２９（ａ）に示すように、第１１の実施の形態の光通信装置の撮像素子は、第１０の実施の形態で説明した画像用画素と通信用画素とが一体となった画像・通信一体画素を、一つの基板上に二次元に配列して構成されている。
【０１４８】
同図（ｂ）に示すように、画像・通信一体画素は、画像用画素と通信用画素とで共通に使用される共通光電変換素子、画像用画素内回路、及び通信用画素内回路を有している。すなわち、共通光電変換素子及び画像用画素内回路で画像用画素を構成し、共通光電変換素子及び通信用画素内回路で通信用画素を構成している。画像・通信一体画素では、受信制御部１４からの制御信号により、撮像モードと通信モードとが切り替わる。制御信号により、撮像モードでの動作が指示されている場合には、共通光電変換素子で生成された電荷は、画像用画素内回路で処理されて、画像信号として読み出し線に送出される。また、制御信号により、通信モードでの動作が指示されている場合には、共通光電変換素子で生成された電荷は、通信用画素内回路で処理されて、通信信号として読み出し線に送出される。
【０１４９】
次に、図３０を参照して、第１１の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。なお、第１０の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【０１５０】
ステップ１１００で、全ての画像・通信一体画素に対して撮像モードで動作するように制御信号を送信し、撮像モードにて、１枚のフレーム画像Ｉを取得する。次に、ステップ１００２で、上記ステップ１０００で取得したフレーム画像Ｉ上から発光部領域を検出する。次に、ステップ１１０２で、上記ステップ１００２で検出した発光部領域の座標に対応する画像・通信一体画素に対して通信モードで動作するように制御信号を切り替える。次に、ステップ１１０４で、上記ステップ１１０２で通信モードに切り替えられた画像・通信一体画素で取得された光信号に基づいて、通信情報Ｃを取得する。次に、ステップ１００８及び１０１０を実行して、相対情報を算出する。
【０１５１】
以上説明したように、第１１の実施の形態の光通信装置によれば、上記第１０の実施の形態と同様に、より高速に相対情報を算出することができる。
【０１５２】
なお、上記実施の形態では、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、工場のライン等に適用してもよい。
【０１５３】
また、上記各実施形態を適宜組み合わせた構成としてもよい。
【０１５４】
また、上記実施の形態では、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。また、各機能を実現するハードウエアにより構成してもよい。
【符号の説明】
【０１５５】
１、３、４、５、６、７、９ 光通信システム
１０、４１０、５１０、６１０、７１０、９１０ 光通信装置
１２ 撮像素子
１４ 受信制御部
１６、６１６ 画像情報抽出部
１８、６１８ 相対情報算出部
２０ 相対速度算出部
２２ 衝突予測算出部
２４ パラメータ設定部
２６ 領域検出部
２８ 回避操舵角決定部
３０ 追従制御部
５０、２５０、３５０、４５０、６５０、７５０、９５０ 光信号送信装置
５２、２５２、３５２、６５２、７５２ 発光部
５４ 送信制御部
【技術分野】
【０００１】
本発明は、光通信装置及びプログラムに係り、特に、画像及び光信号が示す通信情報を同時に取得する光通信装置及びプログラムに関する。
【背景技術】
【０００２】
従来、光信号を送信する送信手段を撮像手段で撮像することにより、画像及び光信号が示す通信情報を同時に取得することができる光通信装置が提案されている（例えば、特許文献１及び２参照）。特許文献１記載の光通信装置では、通信情報として、送信部の移動速度または加速度を取得している。
【０００３】
また、カメラで撮像された画像上から検出された対象物までの距離を計測するシステムとして、２台以上のカメラを用いて撮像された画像に基づいて、三角測量などの手法により対象物までの距離を計測するシステムが提案されている（例えば、特許文献３及び４）。また、より高精度の距離計測を行うために、カメラ以外にレーザレーダやミリ波レーダなどの測距装置を用いて、対象物までの距離を計測する対象物検出装置も提案されている（例えば、特許文献５及び６）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７４８０号公報
【特許文献２】国際公開第２０１０／０３２８４２号パンフレット
【特許文献３】特許第４３４１５６４号公報
【特許文献４】特許第４５８６５７１号公報
【特許文献５】特開２００６−２３４５１３号公報
【特許文献６】特開２００７−２４０２０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１及び２に記載の光通信装置では、取得した画像と通信情報とは関連することなく個別に利用されており、画像と通信情報とを統合して利用することは考慮されていない。
【０００６】
また、特許文献３〜６に記載の技術では、対象物までの距離のような、カメラと対象物との相対関係を示す情報を計測するために、２台以上のカメラや、カメラ以外の測距装置を用いる必要があり、システムの大型化及び高コスト化を招く、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、送信手段と撮像手段との相対関係を示す情報を、装置単体で高精度に取得することができる光通信装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明の光通信装置は、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、を含んで構成されている。
【０００９】
第１の発明の光通信装置によれば、撮像手段が、発光部を制御することにより、発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する。そして、通信情報抽出手段が、撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、送信手段により送信された光信号が示す通信情報を抽出する。これにより、通信情報と画像とを同時に取得することができる。
【００１０】
また、画像情報抽出手段が、複数のフレーム画像の少なくとも１つのフレーム画像から、発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出し、算出手段が、通信情報抽出手段により抽出された通信情報と、画像情報抽出手段により抽出された画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出する。
【００１１】
このように、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる。
【００１２】
また、第２の発明の光通信装置は、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含む撮像手段であって、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、前記撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、を含んで構成されている。
【００１３】
第２の発明の光通信装置によれば、撮像手段は、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ受光量の変化に対する応答速度が第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含んで構成されている。この撮像手段が、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する。そして、通信情報抽出手段が、撮像手段の第１画素を用いて撮像されたフレーム画像上の発光部を示す発光部領域に対応する位置の第２画素から出力される信号に基づいて、送信手段により送信された光信号が示す通信情報を抽出する。これにより、第２画素を用いて得られた通信情報と、第１画素を用いて撮像された画像とを同時に取得することができる。
【００１４】
また、画像情報抽出手段が、フレーム画像から、発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出し、算出手段が、通信情報抽出手段により抽出された通信情報と、画像情報抽出手段により抽出された画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出する。
【００１５】
このように、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる。また、通信情報の取得に複数フレームの画像を要しないため、高速な処理が可能となる。
【００１６】
また、第２の発明において、前記撮像素子を、第１光電変換素子及び該第１光電変換素子で生成された電荷を画像用信号として処理する第１回路を有する第１画素と、第２光電変換素子及び該第２光電変換素子で生成された電荷を通信用信号として処理する第２回路を有する第２画素とを含んで構成するか、または、共通光電変換素子及び該共通光電変換素子で生成された電荷を画像用信号として処理する第３回路を有する第１画素と、前記共通光電変換素子及び該共通光電変換素子で生成された電荷を通信用信号として処理する第４回路を有する第１画素とを含んで構成することができる。
【００１７】
また、第１及び第２の発明における前記算出手段は、前記通信情報抽出手段により抽出した前記発光部の大きさと、前記画像情報抽出手段により抽出した前記発光部領域の大きさとに基づいて、もしくは前記通信情報抽出手段により抽出した前記発光部の位置と、前記画像情報抽出手段により抽出した前記発光部領域の位置とに基づいて、前記送信手段と前記撮像手段との距離を算出するか、または前記通信情報抽出手段により抽出した前記発光部の形状と、前記画像情報抽出手段により抽出した前記発光部領域の形状とに基づいて、前記撮像手段に対する前記送信手段の傾きを算出することができる。
【００１８】
また、第１及び第２の発明における前記送信手段が複数の発光部を備える場合において、前記通信情報として、前記複数の発光部間の間隔を送信し、前記画像情報抽出手段は、前記フレーム画像上から複数の発光部領域を検出し、該複数の発光部領域間の間隔を抽出することができる。複数の発光部を１つの発光部とみなせば、発光部間の間隔は、発光部の大きさということができ、発光部各々に着目すれば、発光部間の間隔は、一の発光部に対する他の発光部の位置ということができる。
【００１９】
また、第１及び第２の発明における前記通信情報は、前記送信手段の移動速度を示す情報をさらに含み、前記撮像手段の移動速度を検出する検出手段により検出された前記撮像手段の移動速度と、前記通信情報抽出手段により抽出された前記送信手段の移動速度とに基づいて、前記送信手段と前記撮像手段との相対速度を算出し、算出された相対速度と、前記相対情報とに基づいて、前記送信手段と前記撮像手段との衝突を予測する予測手段を更に含んで構成することができる。
【００２０】
また、前記予測手段は、前記相対速度と、前記相対情報として算出された前記送信手段と前記撮像手段との距離とに基づいて、前記送信手段と前記撮像手段との衝突予測時間を算出することができる。
【００２１】
また、第１及び第２の発明の光通信装置は、前記相対情報に基づいて、前記撮像手段による撮像、及び撮像された画像に対する画像処理の少なくとも一方を制御するためのパラメータを設定する設定手段を含んで構成することができる。
【００２２】
また、第１及び第２の発明における前記通信情報は、前記発光部を基準とした、前記送信手段が搭載された対象物の大きさを示す情報をさらに含み、前記通信情報抽出手段により抽出された前記対象物の大きさを示す情報、前記画像情報抽出手段により抽出された発光部領域の位置、及び前記算出手段により算出された相対情報に基づいて、前記フレーム画像上の前記対象物を示す対象物領域を検出する検出手段を含んで構成することができる。発光部を基準とした対象物の大きさは、例えば、発光部から対象物上辺または下辺までの高さとすることができる。
【００２３】
また、第１及び第２の発明における前記通信情報は、前記対象物の色を示す情報を含み、前記通信情報抽出手段により抽出された前記対象物の色を示す情報、及び前記検出手段により検出された対象物領域の色情報に基づいて、前記撮像手段のホワイトバランス及び露出制御値の少なくとも一方を調整する調整手段を含んで構成することができる。
【００２４】
また、第１及び第２の発明における前記通信情報は、前記送信手段が搭載された移動体の幅を示す情報をさらに含み、前記通信情報抽出手段により抽出された前記移動体の幅を示す情報、前記フレーム画像上の前記移動体を示す移動体領域の幅、及び前記算出手段により算出された相対情報に基づいて、前記光通信装置が搭載された移動体が、前記送信手段が搭載された移動体を回避して移動するための移動方向の角度を決定する決定手段を含んで構成することができる。
【００２５】
また、第１及び第２の発明における前記算出手段により算出された前記撮像手段に対する前記送信手段の傾きがなくなるように、前記光通信装置が搭載された移動体の移動方向を制御する制御手段を含んで構成することができる。
【００２６】
また、第３の発明の光通信プログラムは、コンピュータを、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段として機能させるためのプログラムである。
【００２７】
また、第４の発明の光通信プログラムは、コンピュータを、受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含み、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の光通信装置及びプログラムによれば、送信手段から送信される発光部に関する正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像上の発光部領域から抽出される画像情報とに基づいて、送信手段と撮像手段との相対関係を示す相対情報を算出するため、装置単体で高精度に相対情報を取得することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図２】（ａ）第１の実施の形態に係る光通信装置の撮像素子の構成を示す概略図、及び（ｂ）撮像されたフレーム画像上の発光部領域を説明するための図である。
【図３】フレーム画像からの発光部領域の検出、及び通信情報の抽出を説明するための図である。
【図４】第１の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図５】第２の実施の形態に係る光通信システムの光信号送信装置の構成を示す概略図である。
【図６】第２の実施の形態における画像情報の抽出を説明するための図である。
【図７】第３の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図８】第３の実施の形態における画像情報の抽出を説明するための図である。
【図９】第４の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１０】第４の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１１】第５の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１２】第５の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１３】第６の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１４】第６の実施の形態における車両領域の検出を説明するための図である。
【図１５】第６の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図１６】第７の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図１７】第７の実施の形態における光信号送信装置の発光部の配置を説明するための図である。
【図１８】第７の実施の形態における回避操舵角の算出を説明するための図である。
【図１９】第７の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２０】第７の実施の形態における回避操舵角の算出の他の例を説明するための図である。
【図２１】第８の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２２】第８の実施の形態における光通信装置に対する光信号送信装置の傾きの有無の判定を説明するための図である。
【図２３】第９の実施の形態に係る光通信システム及び光通信装置の構成を示す概略図である。
【図２４】第９の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２５】第９の実施の形態における操舵制御の他の例を説明するための図である。
【図２６】画像用画素のみで構成された光通信装置の撮像素子の構成を示す概略図である。
【図２７】第１０の実施の形態に係る光通信装置の撮像素子の構成を示す概略図である。
【図２８】第１０の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【図２９】第１１の実施の形態に係る光通信装置の撮像素子の構成を示す概略図である。
【図３０】第１１の実施の形態に係る光通信装置における光通信処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、前方車両に搭載された光信号送信装置から送信された光信号を、自車両に搭載された光通信装置により撮像して、光信号送信装置と光通信装置との相対関係を示す相対情報を算出する光通信システムに用いられる光通信装置に本発明を適用した場合を例に説明する。
【００３１】
図１に示すように、第１の実施の形態に係る光通信システム１は、光信号送信装置５０と光通信装置１０とを含んでいる。
【００３２】
光信号送信装置５０は、例えば、ＬＥＤから構成される発光部５２と、通信情報Ｃを示すデータ列に応じて、発光部５２をオンオフさせる送信制御部５４とを備えている。なお、送信制御部５４は、データ列に応じて、発光部５２の光強度を変更するようにしてもよい。送信される光信号は、情報伝達が可能な変調方式であれば、デジタル波形でもよいし、アナログ波形でもよい。
【００３３】
第１の実施の形態における光信号送信装置５０により光信号として送信される通信情報Ｃは、発光部５２の大きさを示す情報とすることができる。発光部５２の大きさを示す情報は、例えば、発光部５２の高さや幅とすることができる。
【００３４】
光通信装置１０は、撮像素子１２と、ＣＰＵ、後述する光通信処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含むコンピュータとで構成されている。このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、撮像素子１２の駆動制御を行うと共に、撮像素子１２で受信した画素データに基づいて、フレーム画像Ｉ及び通信情報Ｃを取得するための処理を行う受信制御部１４と、フレーム画像Ｉ上の発光部５２を示す発光部領域の画像情報ｉを抽出する画像情報抽出部１６と、画像情報ｉと通信情報Ｃとに基づいて、光信号送信装置５０と光通信装置１０との相対関係を示す相対情報を算出する相対情報算出部１８とを含んだ構成で表すことができる。なお、受信制御部１４が、本発明の通信情報抽出手段の一例である。
【００３５】
撮像素子１２は、図２（ａ）に示すように、レンズ（図示省略）を介して受光した光の受光量に応じた信号を出力する複数の画素を、基板上に二次元に配列して構成されている。
【００３６】
受信制御部１４は、図３（ａ）に示すように、所定数のフレーム画像を取得し、同図（ｂ）に示すように、各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。高輝度領域の検出は、例えば、各フレーム画像内で最も明るい領域を検出してもよいし、所定値以上の輝度値の領域を検出してもよいし、フレーム間で輝度値の変化が大きい領域を検出してもよい。そして、検出した発光部領域をフレーム間で追跡すると共に、同図（ｃ）に示すように、フレーム間での発光部領域の輝度値の変化を観測して、通信情報Ｃとして取得する。
【００３７】
また、受信制御部１４は、上記の所定数のフレーム画像の少なくとも１つのフレーム画像をフレーム画像Ｉとして取得する。受信制御部１４で取得するフレーム画像の所定数は、光信号の長さに応じて適切に定めることができる。また、フレーム画像Ｉとして取得するフレーム画像は、所定数のフレーム画像のうち、最後に撮像されたフレーム画像を選択することが望ましい。
【００３８】
画像情報抽出部１６は、受信制御部１４で取得されたフレーム画像Ｉから発光部領域を検出し、発光部領域の大きさを示す画像情報ｉを抽出する。例えば、発光部領域の大きさは、発光部領域の縦または横サイズを画素単位で抽出することができる。
【００３９】
相対情報算出部１８は、画像情報抽出部１６で抽出された画像情報ｉと、受信制御部１４で抽出された通信情報Ｃとに基づいて、光信号送信装置５０と光通信装置１０との相対関係を示す相対情報を算出する。第１の実施の形態における相対情報は、光信号送信装置５０と光通信装置１０との距離とすることができる。
【００４０】
次に、図４を参照して、第１の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃとして、発光部５２の高さＨが送信され、相対情報として、光信号送信装置５０と光通信装置１０との距離、すなわち前方車両と自車両との距離を算出する場合について説明する。
【００４１】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ１０２で、上記ステップ１００で取得した各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。そして、検出した発光部領域をフレーム間で追跡して、フレーム間での発光部領域の輝度値の変化を観測し、通信情報Ｃとして発光部５２の高さＨを取得する。
【００４２】
次に、ステップ１０４で、上記ステップ１００で取得した所定数のフレーム画像の最終フレームであるフレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、発光部領域の縦画素数ｎ（図２（ｂ））を抽出する。
【００４３】
次に、ステップ１０６で、上記ステップ１０２で取得した発光部５２の高さＨ、上記ステップ１０４で抽出したフレーム画像Ｉ上の発光部領域の縦画素数ｎ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａ（図２（ａ））を用いて、下記（１）式により、光信号送信装置５０と光通信装置１０との距離Ｌを算出して出力し、処理を終了する。
【００４４】
【数１】
【００４５】
以上説明したように、第１の実施の形態の光通信装置によれば、光通信装置から送信される発光部の大きさを示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。
【００４６】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいるが、光通信装置については、第１の実施の形態の光通信装置１０と同様であるため、第１の実施の形態と異なる光信号送信装置について説明する。なお、第２の実施の形態の光信号送信装置５０と同様の構成については、同一符号を付して、説明を省略する。
【００４７】
図５に示すように、第２の実施の形態の光信号送信装置２５０は、２つの発光部２５２ａ及び２５２ｂと送信制御部５４とを含んで構成されている。
【００４８】
第２の実施の形態における光信号送信装置２５０により光信号として送信される通信情報Ｃは、発光部２５２ａと発光部２５２ｂとの間隔Ｈとすることができる。この場合、通信情報Ｃとあわせて、各発光部２５２ａ及び２５２ｂを識別すると共に、発光部２５２ａと発光部２５２ｂとの対応関係を示す識別情報も送信するようにするとよい。また、通信情報Ｃは、発光部２５２ａまたは発光部２５２ｂのいずれか一方のみから送信してもよいし、両方から送信してもよい。
【００４９】
次に、第２の実施の形態における光通信処理ルーチンについて説明する。第２の実施の形態の光通信処理ルーチンは、第１の実施の形態の光通信処理ルーチン（図４）と、ステップ１０４の処理が異なるだけであるので、この点について説明する。
【００５０】
ステップ１０４では、フレーム画像Ｉ上から複数の発光部領域を検出し、各発光部領域から取得される識別情報に基づいて、発光部２５２ａを示す発光部領域と、発光部２５２ｂを示す発光部領域との対応を取る。そして、図６に示すように、発光部領域間の画素数ｎを、画像情報ｉとして抽出する。
【００５１】
以上説明したように、第２の実施の形態の光通信装置によれば、光通信装置から送信される２つの発光部間の間隔を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。
【００５２】
また、第１の実施の形態では、１つの発光部の大きさを通信情報として用いるため、１つの発光部を複数のＬＥＤで構成するなど、発光部自体にある程度の大きさが必要である。一方、第２の実施の形態では、発光部間の間隔を通信情報として用いるため、複数の発光部の各々を１つのＬＥＤで構成したような点光源とすることもできる。
【００５３】
次に、第３の実施の形態について説明する。なお、図７に示すように、第３の実施の形態の光通信システム３は、第１の実施の形態の光通信システム１と同様に、光信号送信装置３５０と光通信装置１０とを含んでいるが、光通信装置については、第１の実施の形態の光通信装置１０と同様であるため、第１の実施の形態と異なる光信号送信装置３５０について説明する。なお、第１の実施の形態の光信号送信装置５０と同様の構成については、同一符号を付して、説明を省略する。
【００５４】
図７に示すように、第３の実施の形態の光信号送信装置３５０は、発光部３５２と送信制御部５４とを含んで構成されている。
【００５５】
第３の実施の形態における光信号送信装置３５０により光信号として送信される通信情報Ｃは、発光部３５２と所定の基準位置との間隔Ｈとすることができる。所定の基準位置は、例えば、光通信装置１０のレンズ中心（光軸）とすることができる。また、光信号送信装置３５０が搭載される車両の上辺または下辺等を基準位置としてもよい。
【００５６】
次に、第３の実施の形態における光通信処理ルーチンについて説明する。第３の実施の形態の光通信処理ルーチンは、第１の実施の形態の光通信処理ルーチン（図４）と、ステップ１０４の処理が異なるだけであるので、この点について説明する。
【００５７】
ステップ１０４では、フレーム画像Ｉ上から発光部領域を検出し、図８に示すように、発光部領域と基準位置（画像中心）との間の画素数ｎを、画像情報ｉとして抽出する。なお、この場合、カメラの姿勢角に応じてフレーム画像上の基準位置を補正するようにするとよい。また、基準位置として車両の上辺または下辺等を用いる場合には、フレーム画像Ｉに画像処理を施して基準位置を検出してから、発光部領域と基準位置との間の画素数を抽出するようにするとよい。
【００５８】
以上説明したように、第３の実施の形態の光通信装置によれば、光通信装置から送信される発光部と基準位置との間隔を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光信号送信装置と光通信装置との距離を算出するため、装置単体で高精度に光信号送信装置と光通信装置との距離を取得することができる。また、第２の実施の形態と同様に、発光部を１つのＬＥＤで構成したような点光源とすることもできる。
【００５９】
次に、第４の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００６０】
図９に示すように、第４の実施の形態に係る光通信システム４は、光信号送信装置４５０と光通信装置４１０とを含んでいる。
【００６１】
光信号送信装置４５０は、通信信号Ｃとして、発光部５２の大きさを示す情報に加え、光信号送信装置４５０が搭載された車両（前方車両）の速度Ｖａを送信する。
【００６２】
光通信装置４１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、通信情報Ｃに含まれる速度Ｖａと光通信装置４１０が搭載された車両（自車両）の速度Ｖｂとに基づいて前方車両と自車両との相対速度ΔＶを算出する相対速度算出部２０と、相対情報と相対速度ΔＶとに基づいて、自車両と前方車両との衝突予測に関する衝突予測情報を算出する衝突予測算出部２２とを含んだ構成で表すことができる。なお、相対速度算出部２０及び衝突予測算出部２２が、本発明の予測手段の一例である。
【００６３】
相対速度算出部２０は、受信制御部１４で抽出された通信情報Ｃに含まれる前方車両の速度Ｖａと、自車両の速度を検出する速度センサ（図示省略）で検出された自車両の速度Ｖｂとの差分（Ｖｂ−Ｖａ）を、自車両と前方車両との相対速度ΔＶとして算出する。相対速度ΔＶがマイナスの値の場合には、自車両に対して前方車両が遠ざかっていることを表している。
【００６４】
衝突予測算出部２２は、相対情報算出部１８で算出された相対情報である前方車両と自車量との距離Ｌと、相対速度算出部２０で算出された相対速度ΔＶとに基づいて、自車両と前方車両との衝突予測に関する衝突予測情報を算出する。衝突予測情報は、例えば、自車両と前方車両との衝突可能性を示す情報や、衝突時間とすることができる。
【００６５】
次に、図１０を参照して、第４の実施の形態の光通信装置４１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃとして、発光部５２の高さＨ及び前方車両の速度Ｖａが送信され、衝突予測情報として、前方車両と自車両との衝突時間を算出する場合について説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００６６】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ４００で、上記ステップ１００で取得した各フレーム画像上から高輝度領域を検出することにより、フレーム画像上の発光部５２を示す発光部領域を検出する。そして、検出した発光部領域をフレーム間で追跡して、フレーム間での発光部領域の輝度値の変化を観測し、通信情報Ｃとして発光部５２の高さＨ及び前方車両の速度Ｖａを取得する。
【００６７】
次に、ステップ１０４で、画像情報ｉとして、発光部領域の縦画素数ｎを抽出し、次に、ステップ１０６で、光信号送信装置５０と光通信装置１０との距離Ｌを算出する。
【００６８】
次に、ステップ４０２で、速度センサから自車両の速度Ｖｂを取り込み、上記ステップ４００で取得した前方車両の速度Ｖａと、自車両の速度Ｖｂとの差分（Ｖｂ−Ｖａ）を、自車両と前方車両との相対速度ΔＶとして算出する。
【００６９】
次に、ステップ４０４で、上記ステップ１０６で算出した距離Ｌと、上記ステップ４０２で算出した相対速度ΔＶとに基づいて、衝突時間ｔ（Ｌ／ΔＶ）を算出して出力し、処理を終了する。
【００７０】
なお、上記の光通信処理ルーチンでは、衝突予測情報として、衝突時間を算出する場合について説明したが、これに限定されない。例えば、相対情報として、光通信装置１０に対する光信号送信装置５０の傾きを算出した場合には、算出した相対速度情報と合わせて、自車両と前方車両とが衝突する可能性があるか否かを示す情報を算出するようにしてもよい。
【００７１】
以上説明したように、第４の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に取得された相対情報を用いて自車両と前方車両との衝突予測情報を算出するため、衝突予測情報についても、装置単体で高精度に算出することができる。
【００７２】
なお、第４の実施の形態では、第１の実施の形態の光通信システムにおいて算出された相対情報を用いて衝突予測情報を算出する場合について説明したが、第２または第３の実施の形態の光通信システムに適用してもよい。
【００７３】
次に、第５の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００７４】
図１１に示すように、第５の実施の形態に係る光通信システム５は、光信号送信装置５０と光通信装置５１０とを含んでいる。
【００７５】
光通信装置５１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、相対情報に基づいて、受信制御部１４のパラメータを設定するパラメータ設定部２４とを含んだ構成で表すことができる。
【００７６】
パラメータ設定部２４は、相対情報算出部１８で算出された相対情報に基づいて、受信制御部１４による撮像素子の駆動制御、及び画像処理に必要なパラメータを設定する。パラメータは、例えば、撮像素子１２で受信した信号に対する増幅度、撮像周期、レンズの画角等とすることができる。
【００７７】
次に、図１２を参照して、第５の実施の形態の光通信装置５１０で実行される光通信処理ルーチンについて説明する。ここでは、相対情報として算出された光信号送信装置５０と光通信装置５１０との距離Ｌに基づいて、パラメータとして、受信信号の増幅度を決定する場合について説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００７８】
ステップ１００〜１０６を実行して、光信号送信装置５０と光通信装置５１０との距離Ｌを算出する。
【００７９】
次に、ステップ５００で、上記ステップ１０６で算出した距離Ｌに応じて受信信号の増幅度を設定する。受信制御部１４に入力できる信号振幅の範囲は有限であるが、距離Ｌによって受信信号の振幅は変動するため、その範囲を逸脱する場合が生じる。そこで、距離Ｌに応じて受信信号の増幅度を決定することにより、受信制御部１４に最も性能を発揮することができる最適な範囲の受信信号が入力されるように調整する。具体的には、距離Ｌが大きいほど増幅度を大きくし、距離Ｌが小さいほど増幅度を小さくする。
【００８０】
なお、上記の光通信処理ルーチンでは、パラメータとして受信信号の増幅度を設定する場合について説明したが、これに限定されない。例えば、距離Ｌが小さい場合には、前方車両と自車両とが接近しており、危険度が高い状況であるといえる。このような状況では、状況変化に即応できるように、より多くの情報が頻繁に必要になる。そこで、距離Ｌが小さい場合には、撮像周期を増加するようにパラメータを設定することができる。一方、距離Ｌが大きい場合には、状況変化に対する即応性が低いため、撮像周期を低下するようにパラメータを設定することができる。低下させる場合の撮像周期は、例えば、光信号の認識に必要最低限の周期とすることができ、これにより演算負荷を軽減することができる。
【００８１】
また、距離Ｌが小さい場合に、レンズの画角が望遠になっていると、フレーム画像Ｉ上をほとんど発光部領域が占めてしまう可能性がある。一方、距離Ｌが大きい場合に、画角が広角になっていると、フレーム画像Ｉ上の発光部領域が小さくなりすぎ、適切に通信情報Ｃや画像情報ｉを抽出することができない場合がある。そこで、距離Ｌが小さい場合には、画角を広角側に調整し、距離Ｌが大きい場合には、画角を望遠側に調整するようにパラメータを設定することで、フレーム画像Ｉ上での発光部領域が適切な大きさとなるように調整することができる。
【００８２】
以上説明したように、第５の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、撮像素子の駆動制御、及び画像処理に必要なパラメータを設定するため、相対情報を算出するための画像の精度が向上し、より高精度に相対情報を算出することができる。
【００８３】
なお、第５の実施の形態では、第１の実施の形態の光通信システムにおいて算出された相対情報を用いてパラメータを決定する場合について説明したが、第４の実施の形態で算出した衝突予測時間を用いてパラメータを決定するようにしてもよい。
【００８４】
次に、第６の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【００８５】
図１３に示すように、第６の実施の形態に係る光通信システム６は、光信号送信装置６５０と光通信装置６１０とを含んでいる。
【００８６】
光信号送信装置６５０は、２つの発光部６５２ａ、６５２ｂを備えており、通信情報Ｃとして、図１４（ａ）に示すように、発光部６５２ａと発光部６５２ｂとの間隔Ｈ、発光部６５２ａ、６５２ｂから車両上辺までの高さＤ１、及び発光部６５２ａ、６５２ｂから車両下辺までの高さＤ２を送信する。
【００８７】
光通信装置６１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部６１６と、相対情報算出部６１８と、領域検出部２６とを含んだ構成で表すことができる。
【００８８】
画像情報抽出部６１６は、図１４（ｂ）に示すように、受信制御部１４で取得されたフレーム画像Ｉから２つの発光部領域を検出し、発光部領域間の画素数ｎ、及び各発光部領域の中心画素の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）を、画像情報ｉとして抽出する。
【００８９】
相対情報算出部６１８は、距離算出部６１８ａ及び高さ算出部６１８ｂで表すことができる。距離算出部６１８ａは、第２の実施の形態の相対情報算出部１８と同様の処理により、光信号送信装置６５０と光通信装置６１０との距離Ｌを算出する。
【００９０】
また、高さ算出部６１８ｂは、受信制御部１４で取得されたＤ１、Ｄ２、距離算出部６１８ａで算出された距離Ｌ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、下記（２）式及び（３）式により、フレーム画像Ｉ上での発光部領域から車両上辺までの高さｄ１、及び発光部領域から車両下辺までの高さｄ２を算出する。
【００９１】
【数２】
【００９２】
領域検出部２６は、画像情報抽出部６１６で抽出された発光部領域の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）、及び高さ算出部６１８ｂで算出された高さｄ１、ｄ２を用いて、図１４（ｃ）に示すように、画素座標Ａ（ｘＬ，ｙＬ−ｄ１）、Ｂ（ｘＲ，ｙＲ−ｄ１）、Ｃ（ｘＬ，ｙＬ＋ｄ２）、Ｄ（ｘＲ，ｙＲ＋ｄ２）を算出する。ここでは、座標の原点（０，０）を、フレーム画像Ｉの左上に設定している。同図（ｄ）に示すように、算出された画素座標Ａ，Ｂ，Ｃ，Ｄで囲まれた領域を、最終的な車両領域として出力する。最終出力は、ＡＢＣＤの各座標値でもよいし、フレーム画像ＩにＡＢＣＤで示される矩形枠を描画した画像としてもよい。
【００９３】
次に、図１５を参照して、第６の実施の形態の光通信装置６１０で実行される光通信処理ルーチンについて説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【００９４】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ６００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出して、通信情報Ｃとして、発光部６５２ａと発光部６５２ｂとの間隔Ｈ、発光部６５２ａ、６５２ｂから車両上辺までの高さＤ１、及び発光部６５２ａ、６５２ｂから車両下辺までの高さＤ２を取得する。
【００９５】
次に、ステップ６０２で、画像情報ｉとして、発光部領域間の画素数ｎ、及び各発光部領域の中心画素の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）を抽出し、次に、ステップ１０６で、光信号送信装置６５０と光通信装置６１０との距離Ｌを算出する。
【００９６】
次に、ステップ６０４で、上記ステップ６００で取得されたＤ１、Ｄ２、上記ステップ１０６で算出された距離Ｌ、既知の値であるレンズの焦点距離ｆ、及び既知の値である撮像素子の１画素分のサイズａを用いて、（２）式及び（３）式により、フレーム画像Ｉ上での発光部領域から車両上辺までの高さｄ１、及び発光部領域から車両下辺までの高さｄ２を算出する。
【００９７】
次に、ステップ６０６で、上記ステップ６０２で抽出された発光部領域の画素座標Ｌ（ｘＬ，ｙＬ）、Ｒ（ｘＲ，ｙＲ）、及び上記ステップ６０４で算出された高さｄ１、ｄ２を用いて、画素座標Ａ（ｘＬ，ｙＬ−ｄ１）、Ｂ（ｘＲ，ｙＲ−ｄ１）、Ｃ（ｘＬ，ｙＬ＋ｄ２）、Ｄ（ｘＲ，ｙＲ＋ｄ２）を算出し、算出された画素座標Ａ，Ｂ，Ｃ，Ｄで囲まれた領域を、車両領域として出力して、処理を終了する。
【００９８】
以上説明したように、第６の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報、及びフレーム画像上の発光部領域の情報を用いて、画像上の対象物領域を精度良く検出することができる。
【００９９】
なお、第６の実施の形態では、発光部領域を２つ備えた光信号送信装置を用いた場合について説明したが、発光部が１つの場合でも適用可能である。
【０１００】
また、第６の実施の形態では、算出された相対情報に基づいて、画像から検出された対象物領域を出力する場合について説明したが、この検出結果の出力に代えて、または検出結果の出力と共に、検出された対象物領域の色情報を用いて、光通信装置で撮像される画像のホワイトバランスを調整するようにしてもよい。例えば、白い車体色の前方車両に夕日が当たると、カメラで撮像した際に、前方車両の車体が赤く撮像される。つまり、照明（ここでは太陽）の色合いによって、本来の対象物の色をカメラで適切に捉えることができなくなる。このような現象を解消するために、ホワイトバランスの調整を行う。
【０１０１】
この場合、光信号送信装置から送信される通信情報Ｃとして、車体色（白、赤、青など）の情報を付加する。そして、上記実施の形態における処理において画像上から検出された対象物領域の色情報と、通信情報Ｃに含まれる車体色とを比較する。比較した結果、色が異なる場合には、ホワイトバランスの調整を行う。例えば、通信情報Ｃに含まれる車体色が”白”であるのに対して、画像上の対象物領域の色が”赤”であった場合には、対象物領域内の色情報が”白”となるように、ホワイトバランスを調整する。
【０１０２】
また、ホワイトバランスの調整だけでなく、通信情報Ｃとして送信された車体色と対象物領域の色とを比較して、露出制御等を行うようにしてもよい。
【０１０３】
次に、第７の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【０１０４】
図１６に示すように、第７の実施の形態に係る光通信システム７は、光信号送信装置７５０と光通信装置７１０とを含んでいる。
【０１０５】
光信号送信装置７５０は、２つの発光部７５２ａ、７５２ｂを備えており、通信情報Ｃとして、発光部７５２ａと発光部７５２ｂとの間隔Ｈを送信する。また、図１７に示すように、発光部７５２ａ、７５２ｂは、光通信装置７１０側から見て、前方車両の車幅方向の両端位置に各々配置する。すなわち、通信情報Ｃとして送信する間隔Ｈが、前方車両の車幅を示す情報となるように、発光部７５２ａ、７５２ｂを配置する。
【０１０６】
光通信装置７１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、回避操舵角決定部２８とを含んだ構成で表すことができる。
【０１０７】
回避操舵角決定部２８は、相対情報算出部１８で算出された光信号送信装置７５０と光通信装置７１０との距離Ｌ、受信制御部１４で取得された前方車両の車幅Ｈを用いて、緊急時に前方車両に衝突しないための基準となる回避操舵角θを算出する。例えば、光通信装置７１０と前方車両との中心軸が揃っている場合には、距離Ｌ、車両幅Ｈ、及び回避操舵角θの関係は、図１８に示す通りとなる。また、回避操舵角θは、下記（４）式により、距離Ｌ及び車幅Ｈを用いて算出される。算出された回避操舵角θは、自車両の操舵角を制御する操舵制御装置に出力される。
【０１０８】
【数３】
【０１０９】
次に、図１９を参照して、第７の実施の形態の光通信装置７１０で実行される光通信処理ルーチンについて説明する。なお、第１の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１１０】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ７００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出して、通信情報Ｃとして、前方車両の車幅（発光部６５２ａと発光部６５２ｂとの間隔）Ｈを取得する。
【０１１１】
次に、ステップ７０２で、画像情報ｉとして、発光部領域間の画素数ｎを抽出し、次に、ステップ１０６で、光信号送信装置７５０と光通信装置７１０との距離Ｌを算出する。
【０１１２】
次に、ステップ７０４で、上記ステップ７００で取得された車幅Ｈ、及び上記ステップ１０６で算出された距離Ｌを用いて、（４）式により、回避操舵角θを算出して出力して、処理を終了する。
【０１１３】
なお、図２０（ａ）に示すように、光通信装置７１０と前方車両との中心軸にズレが生じている場合には、同図（ｂ）に示すように、フレーム画像Ｉの画像中心から発光部領域までの画素数ｍを抽出し、下記（５）式により回避操舵角θを算出することができる。
【０１１４】
【数４】
【０１１５】
また、算出された回避操舵角θに±αの調整を行ってもよい。また、前方車両の左側から回避する場合の回避操舵角θＬ、及び前方車両の右側から回避する場合の回避操舵角θＲの両方を算出することもできる。この場合、回避操舵角が大きくなると急ハンドルとなるため、回避操舵角が小さい方を選択して出力することが好ましい。
【０１１６】
以上説明したように、第７の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、回避操舵角を精度良く算出することができる。
【０１１７】
なお、第７の実施の形態では、２つの発光部を前方車両の車幅方向の両端位置に各々配置して、フレーム画像上の発光部領域の間隔を、車幅に相当する間隔として抽出する場合について説明したが、フレーム画像から画像処理により前方車両を検出して、車幅を抽出するようにしてもよい。この場合、発光部の配置を考慮する必要がなくなる。
【０１１８】
次に、第８の実施の形態について説明する。なお、第８の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、第１の実施の形態と同様であるため、説明を省略する。なお、第８の実施の形態の形態では、光信号送信装置５０から送信される通信情報Ｃとして、発光部５２の形状（正方形、長方形、丸、楕円、正三角形、直角三角形など）を示す情報を送信する。また、光通信装置１０の相対情報算出部１８において、相対情報として、光通信装置１０に対する発光部５２の傾きの有無、すなわち、自車両に対する前方車両の傾きの有無を算出する。
【０１１９】
次に、図２１を参照して、第８の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。ここでは、通信情報Ｃで送信される発光部５２の形状が「正方形」の場合について説明する。
【０１２０】
ステップ１００で、所定数のフレーム画像を取得し、次に、ステップ８００で、上記ステップ１００で取得した各フレーム画像上から発光部領域を検出し、通信情報Ｃとして発光部５２の形状を取得する。
【０１２１】
次に、ステップ８０２で、上記ステップ１００で取得した所定数のフレーム画像の最終フレームであるフレーム画像Ｉから発光部領域を検出し、画像情報ｉとして、例えば、図２２（ａ）〜（ｃ）に示すように、発光部領域の形状を抽出する。より具体的には、発光部領域の各辺の長さ（画素数）を発光部領域の形状として抽出する。
【０１２２】
次に、ステップ８０４で、上記ステップ８０２で抽出した発光部領域の形状に基づいて、光通信装置１０に対する発光部５２の傾きの有無を算出して、出力する。例えば、図２２（ｄ）に示すように、発光部領域のＡ辺（左辺）の画素数とＢ辺（右辺）の画素数とを比較する。Ａ辺の画素数＝Ｂ辺の画素数の場合、またはＡ辺の画素数とＢ辺の画素数との差がほぼ０のみなせる所定範囲内の場合には、同図（ａ）に示すように、フレーム画像上の発光部領域は正方形に見えており、傾きなしと判定する。また、Ａ辺の画素数とＢ辺の画素数との差が所定値以上の場合には、同図（ｂ）または（ｃ）に示すように、フレーム画像上の発光部領域は台形に見えており、傾きありと判定する。
【０１２３】
以上説明したように、第８の実施の形態の光通信装置によれば、光通信装置から送信される発光部の形状を示す正確な情報である通信情報と、発光部を含む領域を撮像して得られた画像から抽出される画像情報とに基づいて、光通信装置に対する光信号送信装置の傾きの有無を算出するため、装置単体で高精度に光通信装置に対する光信号送信装置の傾きを取得することができる。
【０１２４】
なお、第８の実施の形態では、発光部領域の左右方向の傾きの有無を判定する場合について説明したが、上下方向の傾きの有無も同様の方法で判定することができる。
【０１２５】
次に、第９の実施の形態について説明する。なお、第１の実施の形態の光通信システム１と同一の構成については、同一符号を付して、説明を省略する。
【０１２６】
図２３に示すように、第９の実施の形態に係る光通信システム９は、光信号送信装置９５０と光通信装置９１０とを含んでいる。
【０１２７】
光信号送信装置９５０は、通信情報Ｃとして、発光部５２の形状を送信する。
【０１２８】
光通信装置９１０は、撮像素子１２と、コンピュータとで構成されており、このコンピュータは、受信制御部１４と、画像情報抽出部１６と、相対情報算出部１８と、追従制御部３０とを含んだ構成で表すことができる。
【０１２９】
相対情報算出部１８では、第８の実施の形態と同様に、光通信装置９１０に対する光信号送信装置９５０の傾きの有無を算出する。
【０１３０】
追従制御部３０は、相対情報算出部１８で算出された傾きの有無に基づいて、前方車両を追従走行するための制御信号を生成して、操舵装置等を駆動する追従制御装置へ出力する。
【０１３１】
次に、図２４を参照して、第９の実施の形態の光通信装置９１０で実行される光通信処理ルーチンについて説明する。なお、第１及び第８の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して、詳細な説明を省略する。
【０１３２】
ステップ１００、８００〜８０４を経て、光通信装置９１０に対する光信号送信装置９５０の傾きの有無を算出する。
【０１３３】
次に、ステップ９００で、上記ステップ８０４の算出結果が、傾きありか否かを判定する。傾きありの場合には、ステップ９０２へ移行して、傾きが左方向か右方向かに応じて、左方向または右方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。一方、傾きなしの場合には、ステップ９０４へ移行して、操舵を制御するための制御信号の生成を停止する。
【０１３４】
次に、ステップ９０６で、光通信装置９１０により次のフレーム画像が取得されたか否かを判定する。取得された場合には、ステップ８０２へ戻って、新たに取得されたフレーム画像から発光部領域の形状を抽出し、以降の処理を繰り返す。次のフレーム画像が取得されなかった場合には、処理を終了する。
【０１３５】
以上説明したように、第９の実施の形態の光通信装置によれば、第１の実施の形態と同様に、装置単体で高精度に相対情報を取得することができ、さらに、この相対情報を用いて、前方車両に追従走行する追従制御を行うことができる。
【０１３６】
なお、第９の実施の形態では、光信号送信装置の発光部が１つの場合について説明したが、複数の発光部を設けるようにしてもよい。この場合、図２５に示すように、フレーム画像から抽出された発光部領域各々の大きさ（総画素数）を比較して、傾きの有無を算出することができる。例えば、同図（ａ）に示すように、左の発光部領域の方が右の発光部領域より大きい場合には、左方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。次のフレーム画像で、同図（ｂ）に示すように、まだ、左の発光部領域の方が右の発光部領域より大きい場合には、引き続き左方向へ操舵するための制御信号を生成して、追従制御装置へ出力する。次のフレーム画像で、同図（ｃ）に示すように、左右の発光部領域の大きさが同一となった場合には、操舵を制御するための制御信号の生成を停止する。
【０１３７】
次に、第１０の実施の形態について説明する。なお、第１０の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、光通信装置の撮像素子の構成が異なるだけであるので、その点について説明する。
【０１３８】
図２６（ａ）に示すように、通常の撮像素子では、レンズ（図示省略）を介して受光した光の受光量に応じた信号を出力する複数の画素を、一つの基板上に二次元に配列して構成されている。この画素は、同図（ｂ）に示すように、受光した光を電荷に変換する光電変換部と、光電変換部で生成された電荷に対して、電圧に変換したり、電流に変換したり、増幅したり等の様々な処理を行って読み出し回路等に送るための画素内回路とで構成されている。
【０１３９】
図２７（ａ）に示すように、第１０の実施の形態の光通信装置の撮像素子は、レンズを介して受光した光の受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ受光量の変化に対する応答速度が第１画素より速い複数の第２画素を、一つの基板上に二次元に交互に配列して構成されている。第１画素は、フレームで光の変化を捉える通常の画像用画素であり、第２画素は、連続的に光の変化を捉える通信用画素である。
【０１４０】
同図（ｂ）に示すように、第１画素は、画像用光電変換素子及び画像用光電変換素子で生成された電荷を処理する画像用画素内回路を有している。画像用光電変換素子で生成された電荷は、画像用画素内回路で処理されて、画像信号として読み出し線に送出される。また、第２画素は、通信用光電変換素子及び通信用光電変換素子で生成された電荷を処理する通信用画素内回路を有している。通信用光電変換素子で生成された電荷は、通信用画素内回路で処理されて、通信信号として読み出し線に送出される。
【０１４１】
上記第１〜第９の実施の形態では、複数のフレーム画像から輝度値の変化を検出することにより通信情報Ｃを取得した。一方、第１０の実施の形態の光通信装置１０では、画像用画素を用いて撮像された１枚のフレーム画像から発光部領域を抽出し、その発光部領域の座標に対応する通信用画素で取得した光信号に基づいて、通信情報Ｃを取得する。
【０１４２】
次に、図２８を参照して、第１０の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。
【０１４３】
ステップ１０００で、１枚のフレーム画像Ｉを取得し、次に、ステップ１００２で、上記ステップ１０００で取得したフレーム画像Ｉ上から発光部領域を検出する。次に、ステップ１００４で、上記ステップ１００２で検出した発光部領域の座標に対応する通信用画素を選択する。次に、ステップ１００６で、上記ステップ１００４で選択された通信用画素で取得された光信号に基づいて、通信情報Ｃを取得する。
【０１４４】
次に、ステップ１００８で、上記ステップ１００２で検出したフレーム画像Ｉの発光部領域に基づいて、画像情報ｉを抽出する。次に、ステップ１０１０で、上記ステップ１００６で取得した通信情報Ｃ、及び上記ステップ１００８で抽出した画像情報ｉに基づいて、光通信装置と光信号送信装置との相対情報を算出して出力し、処理を終了する。
【０１４５】
以上説明したように、第１０の実施の形態の光通信装置によれば、上記第１〜第９の実施の形態の効果に加えて、より高速に相対情報を算出することができる。
【０１４６】
次に、第１１の実施の形態について説明する。なお、第１１の実施の形態の光通信システムは、第１の実施の形態の光通信システム１と同様に、光信号送信装置と光通信装置とを含んでいる。各装置の構成は、光通信装置の撮像素子の構成が異なるだけであるので、その点について説明する。なお、第１０の実施の形態における撮像素子の構成と共通する箇所は、詳細な説明を省略する。
【０１４７】
図２９（ａ）に示すように、第１１の実施の形態の光通信装置の撮像素子は、第１０の実施の形態で説明した画像用画素と通信用画素とが一体となった画像・通信一体画素を、一つの基板上に二次元に配列して構成されている。
【０１４８】
同図（ｂ）に示すように、画像・通信一体画素は、画像用画素と通信用画素とで共通に使用される共通光電変換素子、画像用画素内回路、及び通信用画素内回路を有している。すなわち、共通光電変換素子及び画像用画素内回路で画像用画素を構成し、共通光電変換素子及び通信用画素内回路で通信用画素を構成している。画像・通信一体画素では、受信制御部１４からの制御信号により、撮像モードと通信モードとが切り替わる。制御信号により、撮像モードでの動作が指示されている場合には、共通光電変換素子で生成された電荷は、画像用画素内回路で処理されて、画像信号として読み出し線に送出される。また、制御信号により、通信モードでの動作が指示されている場合には、共通光電変換素子で生成された電荷は、通信用画素内回路で処理されて、通信信号として読み出し線に送出される。
【０１４９】
次に、図３０を参照して、第１１の実施の形態の光通信装置１０で実行される光通信処理ルーチンについて説明する。なお、第１０の実施の形態の光通信処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
【０１５０】
ステップ１１００で、全ての画像・通信一体画素に対して撮像モードで動作するように制御信号を送信し、撮像モードにて、１枚のフレーム画像Ｉを取得する。次に、ステップ１００２で、上記ステップ１０００で取得したフレーム画像Ｉ上から発光部領域を検出する。次に、ステップ１１０２で、上記ステップ１００２で検出した発光部領域の座標に対応する画像・通信一体画素に対して通信モードで動作するように制御信号を切り替える。次に、ステップ１１０４で、上記ステップ１１０２で通信モードに切り替えられた画像・通信一体画素で取得された光信号に基づいて、通信情報Ｃを取得する。次に、ステップ１００８及び１０１０を実行して、相対情報を算出する。
【０１５１】
以上説明したように、第１１の実施の形態の光通信装置によれば、上記第１０の実施の形態と同様に、より高速に相対情報を算出することができる。
【０１５２】
なお、上記実施の形態では、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、工場のライン等に適用してもよい。
【０１５３】
また、上記各実施形態を適宜組み合わせた構成としてもよい。
【０１５４】
また、上記実施の形態では、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。また、各機能を実現するハードウエアにより構成してもよい。
【符号の説明】
【０１５５】
１、３、４、５、６、７、９ 光通信システム
１０、４１０、５１０、６１０、７１０、９１０ 光通信装置
１２ 撮像素子
１４ 受信制御部
１６、６１６ 画像情報抽出部
１８、６１８ 相対情報算出部
２０ 相対速度算出部
２２ 衝突予測算出部
２４ パラメータ設定部
２６ 領域検出部
２８ 回避操舵角決定部
３０ 追従制御部
５０、２５０、３５０、４５０、６５０、７５０、９５０ 光信号送信装置
５２、２５２、３５２、６５２、７５２ 発光部
５４ 送信制御部
【特許請求の範囲】
【請求項１】
発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、
前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、
を含む光通信装置。
【請求項２】
受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含む撮像手段であって、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、
前記撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、
前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、
を含む光通信装置。
【請求項３】
前記撮像素子を、第１光電変換素子及び該第１光電変換素子で生成された電荷を画像用信号として処理する第１回路を有する第１画素と、第２光電変換素子及び該第２光電変換素子で生成された電荷を通信用信号として処理する第２回路を有する第２画素とを含んで構成するか、または、共通光電変換素子及び該共通光電変換素子で生成された電荷を画像用信号として処理する第３回路を有する第１画素と、前記共通光電変換素子及び該共通光電変換素子で生成された電荷を通信用信号として処理する第４回路を有する第１画素とを含んで構成した請求項２記載の光通信装置。
【請求項４】
前記算出手段は、前記通信情報抽出手段により抽出した前記発光部の大きさと、前記画像情報抽出手段により抽出した前記発光部領域の大きさとに基づいて、もしくは前記通信情報抽出手段により抽出した前記発光部の位置と、前記画像情報抽出手段により抽出した前記発光部領域の位置とに基づいて、前記送信手段と前記撮像手段との距離を算出するか、または前記通信情報抽出手段により抽出した前記発光部の形状と、前記画像情報抽出手段により抽出した前記発光部領域の形状とに基づいて、前記撮像手段に対する前記送信手段の傾きを算出する請求項１〜請求項３のいずれか１項記載の光通信装置。
【請求項５】
前記送信手段は、該送信手段が複数の発光部を備える場合において、前記通信情報として、前記複数の発光部間の間隔を送信し、
前記画像情報抽出手段は、前記フレーム画像上から複数の発光部領域を検出し、該複数の発光部領域間の間隔を抽出する
請求項１〜請求項４のいずれか１項記載の光通信装置。
【請求項６】
前記通信情報は、前記送信手段の移動速度を示す情報をさらに含み、
前記撮像手段の移動速度を検出する検出手段により検出された前記撮像手段の移動速度と、前記通信情報抽出手段により抽出された前記送信手段の移動速度とに基づいて、前記送信手段と前記撮像手段との相対速度を算出し、算出された相対速度と、前記相対情報とに基づいて、前記送信手段と前記撮像手段との衝突を予測する予測手段を含む
請求項１〜請求項５のいずれか１項記載の光通信装置。
【請求項７】
前記予測手段は、前記相対速度と、前記相対情報として算出された前記送信手段と前記撮像手段との距離とに基づいて、前記送信手段と前記撮像手段との衝突予測時間を算出する請求項６記載の光通信装置。
【請求項８】
前記相対情報に基づいて、前記撮像手段による撮像、及び撮像された画像に対する画像処理の少なくとも一方を制御するためのパラメータを設定する設定手段を含む請求項１〜請求項７のいずれか１項記載の光通信装置。
【請求項９】
前記通信情報は、前記発光部を基準とした、前記送信手段が搭載された対象物の大きさを示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記対象物の大きさを示す情報、前記画像情報抽出手段により抽出された発光部領域の位置、及び前記算出手段により算出された相対情報に基づいて、前記フレーム画像上の前記対象物を示す対象物領域を検出する検出手段を含む
請求項１〜請求項８のいずれか１項記載の光通信装置。
【請求項１０】
前記通信情報は、前記対象物の色を示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記対象物の色を示す情報、及び前記検出手段により検出された対象物領域の色情報に基づいて、前記撮像手段のホワイトバランス及び露出制御値の少なくとも一方を調整する調整手段を含む
請求項９記載の光通信装置。
【請求項１１】
前記通信情報は、前記送信手段が搭載された移動体の幅を示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記移動体の幅を示す情報、前記フレーム画像上の前記移動体を示す移動体領域の幅、及び前記算出手段により算出された相対情報に基づいて、前記光通信装置が搭載された移動体が、前記送信手段が搭載された移動体を回避して移動するための移動方向の角度を決定する決定手段を含む
請求項１〜請求項１０のいずれか１項記載の光通信装置。
【請求項１２】
前記算出手段により算出された前記撮像手段に対する前記送信手段の傾きがなくなるように、前記光通信装置が搭載された移動体の移動方向を制御する制御手段を含む請求項１〜請求項１１のいずれか１項記載の光通信装置。
【請求項１３】
コンピュータを、
発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、
前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段
として機能させるための光通信プログラム。
【請求項１４】
コンピュータを、
受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含み、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、
前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段
として機能させるための光通信プログラム。
【請求項１５】
コンピュータを、請求項１〜請求項１２のいずれか１項記載の光通信装置を構成する各手段として機能させるための光通信プログラム。
【請求項１】
発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、
前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、
を含む光通信装置。
【請求項２】
受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含む撮像手段であって、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段と、
前記撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段と、
前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段と、
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段と、
を含む光通信装置。
【請求項３】
前記撮像素子を、第１光電変換素子及び該第１光電変換素子で生成された電荷を画像用信号として処理する第１回路を有する第１画素と、第２光電変換素子及び該第２光電変換素子で生成された電荷を通信用信号として処理する第２回路を有する第２画素とを含んで構成するか、または、共通光電変換素子及び該共通光電変換素子で生成された電荷を画像用信号として処理する第３回路を有する第１画素と、前記共通光電変換素子及び該共通光電変換素子で生成された電荷を通信用信号として処理する第４回路を有する第１画素とを含んで構成した請求項２記載の光通信装置。
【請求項４】
前記算出手段は、前記通信情報抽出手段により抽出した前記発光部の大きさと、前記画像情報抽出手段により抽出した前記発光部領域の大きさとに基づいて、もしくは前記通信情報抽出手段により抽出した前記発光部の位置と、前記画像情報抽出手段により抽出した前記発光部領域の位置とに基づいて、前記送信手段と前記撮像手段との距離を算出するか、または前記通信情報抽出手段により抽出した前記発光部の形状と、前記画像情報抽出手段により抽出した前記発光部領域の形状とに基づいて、前記撮像手段に対する前記送信手段の傾きを算出する請求項１〜請求項３のいずれか１項記載の光通信装置。
【請求項５】
前記送信手段は、該送信手段が複数の発光部を備える場合において、前記通信情報として、前記複数の発光部間の間隔を送信し、
前記画像情報抽出手段は、前記フレーム画像上から複数の発光部領域を検出し、該複数の発光部領域間の間隔を抽出する
請求項１〜請求項４のいずれか１項記載の光通信装置。
【請求項６】
前記通信情報は、前記送信手段の移動速度を示す情報をさらに含み、
前記撮像手段の移動速度を検出する検出手段により検出された前記撮像手段の移動速度と、前記通信情報抽出手段により抽出された前記送信手段の移動速度とに基づいて、前記送信手段と前記撮像手段との相対速度を算出し、算出された相対速度と、前記相対情報とに基づいて、前記送信手段と前記撮像手段との衝突を予測する予測手段を含む
請求項１〜請求項５のいずれか１項記載の光通信装置。
【請求項７】
前記予測手段は、前記相対速度と、前記相対情報として算出された前記送信手段と前記撮像手段との距離とに基づいて、前記送信手段と前記撮像手段との衝突予測時間を算出する請求項６記載の光通信装置。
【請求項８】
前記相対情報に基づいて、前記撮像手段による撮像、及び撮像された画像に対する画像処理の少なくとも一方を制御するためのパラメータを設定する設定手段を含む請求項１〜請求項７のいずれか１項記載の光通信装置。
【請求項９】
前記通信情報は、前記発光部を基準とした、前記送信手段が搭載された対象物の大きさを示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記対象物の大きさを示す情報、前記画像情報抽出手段により抽出された発光部領域の位置、及び前記算出手段により算出された相対情報に基づいて、前記フレーム画像上の前記対象物を示す対象物領域を検出する検出手段を含む
請求項１〜請求項８のいずれか１項記載の光通信装置。
【請求項１０】
前記通信情報は、前記対象物の色を示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記対象物の色を示す情報、及び前記検出手段により検出された対象物領域の色情報に基づいて、前記撮像手段のホワイトバランス及び露出制御値の少なくとも一方を調整する調整手段を含む
請求項９記載の光通信装置。
【請求項１１】
前記通信情報は、前記送信手段が搭載された移動体の幅を示す情報をさらに含み、
前記通信情報抽出手段により抽出された前記移動体の幅を示す情報、前記フレーム画像上の前記移動体を示す移動体領域の幅、及び前記算出手段により算出された相対情報に基づいて、前記光通信装置が搭載された移動体が、前記送信手段が搭載された移動体を回避して移動するための移動方向の角度を決定する決定手段を含む
請求項１〜請求項１０のいずれか１項記載の光通信装置。
【請求項１２】
前記算出手段により算出された前記撮像手段に対する前記送信手段の傾きがなくなるように、前記光通信装置が搭載された移動体の移動方向を制御する制御手段を含む請求項１〜請求項１１のいずれか１項記載の光通信装置。
【請求項１３】
コンピュータを、
発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段により撮像された複数のフレーム画像のフレーム間の画素値の変化に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、
前記複数のフレーム画像の少なくとも１つのフレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段
として機能させるための光通信プログラム。
【請求項１４】
コンピュータを、
受光量に応じた信号を出力する複数の第１画素と、受光量に応じた信号を出力し、かつ前記受光量の変化に対する応答速度が前記第１画素より速い複数の第２画素とを、一つの基板上に二次元配列した撮像素子を含み、発光部を制御することにより、該発光部の位置、大きさ、及び形状の少なくとも１つを示す通信情報を光信号により送信する送信手段を含む領域を撮像する撮像手段の前記第１画素を用いて撮像されたフレーム画像上の前記発光部を示す発光部領域に対応する位置の前記第２画素から出力される信号に基づいて、前記送信手段により送信された光信号が示す通信情報を抽出する通信情報抽出手段、
前記フレーム画像から、前記発光部を示す発光部領域の位置、大きさ、及び形状の少なくとも１つを示す画像情報を抽出する画像情報抽出手段、及び
前記通信情報抽出手段により抽出された通信情報と、前記画像情報抽出手段により抽出された画像情報とに基づいて、前記送信手段と前記撮像手段との相対関係を示す相対情報を算出する算出手段
として機能させるための光通信プログラム。
【請求項１５】
コンピュータを、請求項１〜請求項１２のいずれか１項記載の光通信装置を構成する各手段として機能させるための光通信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−８１１４５（Ｐ２０１３−８１１４５Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２１３０４（Ｐ２０１１−２２１３０４）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]