車載情報取得装置
【課題】車載カメラの撮影画像から発光体の光を抽出して復調する技術において、撮影画像中から信号機の光の写っている輝点位置を従来よりも低い処理負荷で特定する。
【解決手段】カメラから取得した各撮影画像に対する信号輝度データ取得処理で、前回の取得処理で信号輝度データを取得していない場合、地図データから発光体の設置位置を取得すると共に車両の位置および向きを取得し（２０５）、取得した設置位置、車両１の位置、向きに基づいて、今回の撮影画像中の輝点位置を推定し（２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（２３５）。また、前回の取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測し（２１５）、予測した輝点位置の輝度を信号輝度データとして出力する（２３５）。
【解決手段】カメラから取得した各撮影画像に対する信号輝度データ取得処理で、前回の取得処理で信号輝度データを取得していない場合、地図データから発光体の設置位置を取得すると共に車両の位置および向きを取得し（２０５）、取得した設置位置、車両１の位置、向きに基づいて、今回の撮影画像中の輝点位置を推定し（２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（２３５）。また、前回の取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測し（２１５）、予測した輝点位置の輝度を信号輝度データとして出力する（２３５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載情報取得装置に関するものである。
【背景技術】
【０００２】
特許文献１には、車載カメラの撮影画像から信号機の光を抽出して復調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７２５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、撮影画像全体を用いて信号機の光の写っている位置を特定しているので、このための処理負荷が大きくなってしまうという問題がある。
【０００５】
本発明は上記点に鑑み、車載カメラの撮影画像から発光体（例えば信号機）の光を抽出して復調する技術において、撮影画像中から信号機の光の写っている位置を従来よりも低い処理負荷で特定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための請求項１に記載の発明は、道路付近に設置された発光体が発する光に重畳された情報を取得する車載情報取得装置であって、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置および向きを算出する車両位置特定部（３７ｄ）と、前記発光体の設置位置の情報を記憶媒体から読み取るかまたは無線通信によって取得する取得部（３６）と、車両（１）に搭載されると共に前記車両（１）の外部を繰り返し撮影するカメラ（２）から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点における前記発光体の輝度を特定し、特定した輝度を信号輝度データとして出力する画像処理手段（３７ａ）と、前記画像処理部（３７ａ）が出力した信号輝度データを復調し、復調結果のデータを生成する復調手段（３７ｂ）と、を備え、前記画像処理手段（３７ａ）は、前記カメラ（２）から取得した撮影画像に対し、信号輝度データ取得処理（１３０）を実行し、信号輝度データ取得処理（１３０）では、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、前記撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力することを特徴とする車載情報取得装置である。
【０００７】
このように、撮影画像に対して信号輝度データ取得処理（１３０）を実行する際、取得した発光体の設置位置ならびに車両（１）の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定することで、撮影画像全体に対して輝点位置を見つけるための画像処理を施す場合に比べ、低い処理負荷で、輝点位置を特定することができる。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の車載情報取得装置において、車両位置特定部（３７ｄ）は、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置、向き、速度、および旋回角速度を算出し、前記画像処理手段（３７ａ）は、前記カメラ（２）から逐次取得した撮影画像のそれぞれに対し、信号輝度データ取得処理（１３０）を実行し、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、予測した輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【０００９】
このように、逐次取得される撮影画像のそれぞれに対して信号輝度データ取得処理（１３０）を実行する際、前回の信号輝度データ取得処理で信号輝度データを取得していない場合は、取得した発光体の設置位置ならびに車両（１）の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測することで、輝点位置を捕捉している場合は、過去の輝点位置情報を利用したより精度の高い輝点位置の算出を行うことができる。
【００１０】
また、請求項３に記載の発明は、請求項２に記載の車載情報取得装置において、前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【００１１】
また、請求項４に記載の発明は、請求項２または３に記載の車載情報取得装置において、前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【００１２】
撮影画像中の発光体の部分の輝度は、その発光体に情報が重畳されているので、発光体以外の部分に比べて、時間的な変動が大きい。したがって、車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、速度および旋回角速度に基づいて過去の複数の撮影画像中で特定すれば、その参照位置と今回の撮影画像の輝点位置で変化が大きいか否かで、発光体の位置を正しく捉えているか否かを高い確度で判定できる。
【００１３】
そして、正しく捕捉できていなければ、今回の撮影画像中の輝点位置を、撮影画像よりも小さいスキャン範囲内でずらして、同じ方法でその輝点位置が発光体の位置を正しく捉えているかを再判定すれば、車両（１）の速度および旋回角速度を用いて小さい処理負荷で輝点位置を補正することができる。これは、前回の信号輝度データ取得処理で信号輝度データを取得している場合も取得していない場合も同じである。
【００１４】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る通信システムを模式的に示す図である。
【図２】信号機４の構成を示す図である。
【図３】ナビゲーション装置３の構成を示す図である。
【図４】制御部３７の機能構成を示す図である。
【図５】変調部４２における符号化方式の一例を示す図である。
【図６】撮影画像中の発光体の輝度５１の時間変化を示すグラフである。
【図７】画像処理部が実行する処理のフローチャートである。
【図８】信号輝度データ取得処理のフローチャートである。
【図９】カメラ２と信号機４の発光体の水平面内の位置関係を示す図である。
【図１０】カメラ２と信号機４の発光体の鉛直面内の位置関係を示す図である。
【図１１】撮影画像５０中の輝点位置を示す図である。
【図１２】撮影画像５０中の輝点位置５５を含むスキャン範囲５６を例示する図である。
【図１３】今回の撮影画像の撮影時の位置６１および光軸６２と、過去の撮影画像の撮影時の位置６３および光軸６４の関係を示す図である。
【図１４】時刻ｔと時刻ｔ＋Δｔにおける撮影画像を示す図である。
【図１５】時刻ｔと時刻ｔ＋Δｔにおける輝度分布の違いを示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る通信システムを模式的に示す。この通信システムは、車両１と、信号機４とを備えている。車両１には、車両１の前方を撮影するカメラ２およびナビゲーション装置３が搭載されている。
【００１７】
信号機４は、道路付近（例えば道路上）に複数個設置され、道路を走行する車両に走行、停止を指示する装置である。各信号機４の設置位置は、交差点、横断歩道の手前等である。図２に示すように、これら信号機４のそれぞれは、信号制御部４１、変調部４２、発光部４３、情報送出部４４を備えている。
【００１８】
信号制御部４１は、赤、黄、緑の３つの発光体（ＬＥＤ、電球等）の点灯および消灯を制御するため、それら赤、黄、緑の３つの発光体にそれぞれ対応する３つのＲ信号、Ｙ信号、Ｇ信号を変調部４２に出力する。
【００１９】
変調部４２は、信号制御部４１から受けたＲ信号、Ｙ信号およびＧ信号のそれぞれを変調することで、Ｒ信号、Ｙ信号およびＧ信号に情報送出部４４から受けた情報を重畳させ、その重畳結果のＲ信号、Ｙ信号、Ｇ信号を発光部４３に出力する。
【００２０】
発光部４３は、赤色で発光する発光体、黄色で発光する発光体、緑色で発光する発光体の３つの発光体を有し、それぞれ、変調部４２から受けたＲ信号、Ｙ信号、Ｇ信号の強度が大きいほど高い輝度で発光する。
【００２１】
情報送出部４４は、変調部４２に各種情報を示すシリアルデータを出力する。出力する情報は、信号機の指示が次に（例えば、緑信号から黄信号に）切り替わるまでの残り時間等、どのようなものであってもよい。
【００２２】
カメラ２は、車両１に固定され、所定のフレームレートで繰り返し車両の外部（前方）を撮影し、撮影結果の撮影画像を逐次ナビゲーション装置３に出力する。カメラ２の取り付け位置は、例えば、車室内のダッシュボード上面であってもよい。
【００２３】
ナビゲーション装置３は、車両１に搭載され、図３に示すように、位置検出器３１、画像表示装置３２、操作部３３、音声出力部３４、記憶部３５、地図データ取得部３６、制御部３７を備えている。
【００２４】
位置検出器３１は、車速センサ、ジャイロセンサ、加速度センサ、ＧＰＳ受信機、ステアリング角センサ等のセンサ群であり、これらセンサ群は、車両の位置、向き、速度、旋回角速度等の算出に必要な各種物理量を検出信号として制御部３７に出力する。
【００２５】
画像表示装置３２は、制御部３７の制御に従って文字や画像をユーザに表示する液晶ディスプレイ等の装置である。操作部３３は、ユーザの操作を受け付け、受け付けた操作に応じた信号を制御部３７に出力する装置である。音声出力部３４は、ナビゲーション制御部１０の制御に従って音声を車室内に出力するアンプ、スピーカ等の装置である。記憶部３５は、カメラ２の撮影画像等を記憶する書き込み可能な不揮発性の記憶媒体である。
【００２６】
地図データ取得部３６は、制御部３７の制御に従って地図データを取得する装置である。地図データの取得方法は、記憶媒体（ＨＤＤ、フラッシュメモリ、ＤＶＤメディア等）から地図データを読み出す方法でもよいし、無線通信によって車両１の外部の地図提供サーバから地図データをダウンロードする方法でもよい。
【００２７】
地図データ取得部３６が取得する地図データは、道路を表すリンクの位置、形状、接続関係を示す道路データ、施設（ホテル、レストラン、コンビニエンスストア等）の位置を示す施設データ等から成る。この地図データには、信号機位置データも記録されている。信号機位置データは、信号機設置位置毎のレコードを備えたデータであり、各レコードは、対象とする信号機設置位置における発光体の３次元の設置位置の座標（緯度、経度、高度）を含んでいる。なお、記録されている発光体の３次元の設置位置座標は、信号機４に備えられた３つの発光体の位置を一括に表す代表的な１つの位置（例えば、３つの発光体の重心位置）の３次元位置座標である。
【００２８】
制御部３７は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を備えた制御回路（例えばマイクロコントローラ）であって、ＲＯＭまたはフラッシュメモリに記録されたプログラムをＣＰＵが実行することで、各種処理を実現するようになっている。
【００２９】
例えば、制御部３７は、周知の地図表示処理、経路算出処理、経路案内処理等を行う。地図表示処理は、地図データ取得部３６が取得した地図データに基づいて、現在位置周辺の地図を画像表示装置３２に表示させる処理である。経路算出処理は、ユーザの操作部３３に対する目的地設定操作に従って目的地を設定し、現在位置から設定した目的地までの最適な誘導経路を地図データに基づいて算出する処理である。経路案内処理は、車両１が誘導経路に沿って走行するのを案内するために、右折、左折等の音声案内および画像案内を、音声出力部３４および画像表示装置３２を用いて行う処理である。
【００３０】
さらに制御部３７は、カメラ２が撮影した撮影画像の記録および解析のための記録・解析処理を行うようになっている。図４に、この記録・解析処理の機能構成をブロック図で示す。
【００３１】
記録・解析処理は、画像処理部３７ａ、復調部３７ｂ、情報処理部３７ｃ、車両位置特定部３７ｄという機能を有している。画像処理部３７ａは、カメラ２から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点において発光している信号機４の発光体の輝度を特定し、それを信号輝度データとして復調部３７ｂに出力する。
【００３２】
復調部３７ｂは、画像処理部３７ａが出力した信号輝度データを復調し、復調結果のデータを生成して情報処理部３７ｃに出力する。情報処理部３７ｃは、復調部３７ｂから受けたデータを用いた各種処理（例えば、信号機４の指示が次に切り替わるまでの残り時間を画像表示装置３２に表示させる表示処理）を行う。なお、画像処理部３７ａは、地図データ取得部３６を用いて信号機４の発光体の設置位置を示す信号機位置データを取得するようになっている。
【００３３】
以下、上記のような構成の通信システムの作動について説明する。まず、変調部４２における情報の重畳（輝度変調）の詳細について説明する。
【００３４】
変調部４２は、情報送出部４４から受けた情報を、所定時間以内に必ずレベルの高低が反転する信号に変換する。
【００３５】
例えば、図５に示すように、シリアルデータの０の情報をハイレベルからローレベルへの立ち下がり信号に変換し、シリアルデータの１の情報をローレベルからハイレベルへの立ち上がり信号に変換するマンチェスタ符号化方式を用いて変換する。
変調部４２はこのようにして変換した信号を、信号制御部４１から受けたＲ信号、Ｙ信号、Ｇ信号のそれぞれに乗算し、その乗算結果のＲ信号、Ｙ信号、Ｇ信号を発光部４３に出力する。
【００３６】
したがって、発光部４３においては、赤色の発光体、黄色の発光体、緑色の発光体のうち、点灯している発光体は、その発光輝度のレベルが、１ビットの情報送信周期以内に必ず変化する。
【００３７】
なお、本実施形態では、各発光体における送信情報のビットレートを、例えば、１００ビット／秒以上とする。各発光体における送信情報のビットレートがＮ×１００ビット／秒の場合、各発光体は最大で１秒間にＮ×２００回の速さで発光輝度が切り替わることになる。
【００３８】
次に、このように信号機４の発光体が発した光を撮影するカメラ２の作動について説明する。カメラ２のフレームレートは、発光体における送信情報のビットレートがＮ×１００ビット／秒に設定されている場合、Ｎ×２００枚／秒またはそれより高いフレームレートとすることで、発光体が発した光（輝度変調信号）に重畳される情報を受信可能となる。
【００３９】
以下では、カメラ２におけるフレームレートの枚／秒換算値が、発光体における送信情報のビットレートのビット／秒換算値の２倍であるとするが、２倍より大きい場合でも、適宜撮影画像を間引くことで、下記と同様の処理を実現できる。
【００４０】
車両１が移動している場合、カメラ２は車両１の外部の前方を撮影しているので、信号機４がカメラ２の撮影範囲内にある場合は、時間の経過と共にカメラ２と信号機４の間の距離は近くなり、図６に示す通り、撮影画像中に写る発光体の輝度５１の極大値および極小値は、時間ｔの経過と共に大きくなる。
【００４１】
次に、画像処理部３７ａの処理内容の詳細について説明する。図７に、画像処理部３７ａの処理内容のフローチャートを示す。画像処理部３７ａは、カメラ２から１枚の撮影画像を受ける度に、図７の処理１回実行し、その実行において、今回受けた撮影像全体を存するタイミング（１秒〜数十秒周期で訪れる）か否かを判定し（ステップ１１０）、撮影像全体を存するタイミングであると判定した場合、撮影画像を記憶部３５に追加記録する（ステップ１２０）。このようにすることで、画像処理部３７ａは、ドライブレコーダの機能を実現できる。また、制御部３７は、ステップ１１０で撮影像全体を存するタイミングでないと判定した場合、ステップ１３０に進んで信号輝度データ取得処理を実行する。
【００４２】
このような処理により、画像処理部３７ａは、カメラ２から受けた撮影画像のほとんどについて、個々に信号輝度データ取得処理を実行する。
【００４３】
図８に、この信号輝度データ取得処理の詳細を示す。各信号輝度データ取得処理において、画像処理部３７ａは、まずステップ２０１で、前回の信号輝度データ取得処理で信号輝度データを取得したか否かを判定する。前回の信号輝度データ取得処理で信号輝度データを取得したか否かは、前回の信号輝度データ取得処理でステップ２３５を実行したか否かで判定する。この判定は、簡単に言えば画像処理部３７ａが撮影画像中の発光体が写っている輝点位置を捕捉しているか否かを判定するものである。車両１の始動時や、車両１がどの信号機４からも遠く離れているような状況では、ほとんどの場合、輝点位置を捕捉できていないはずなので、ステップ２０１では取得していないと判定することになる。
【００４４】
ステップ２０１で取得していないと判定した場合、続いてステップ２０５に進み、地図データ取得部３６を用いて、地図データ中の信号機位置データを取得する。そして、信号機位置データから１つのレコード（すなわち信号機４）を選択する。
【００４５】
選択するレコードは、経路算出手段によって誘導経路が算出され、経路案内手段によって誘導経路を案内している場合は、車両１の現在位置から誘導経路に沿った前方の一番近い信号機４のレコードとする。経路算出手段によって誘導経路が算出されていない場合は、現在走行中の道路を車両１が道なりに走行した場合に最初に到達する信号機４のレコードとする。したがって、選択するレコードは、信号機位置データの各レコード中の発光体の設置位置座標と、道路データと、誘導経路のデータから特定することができる。
【００４６】
そして、選択したレコードに含まれる信号機４の発光体の設置位置の座標を抽出して取得する。更にステップ２０５では、車両位置特定部３７ｄが算出した車両１の現在の位置（３次元位置）および向きを取得する。
【００４７】
続いてステップ２１０では、取得した特定の信号機４の発光体の設置位置および車両１の位置および向きに基づいて、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を推定する。この推定方法の詳細について、図９〜図１１を用いて説明する。
【００４８】
具体的には、まず、車両１の向きから水平面内におけるカメラ２の光軸Ｄ１の北方向（基準方位）に対する角度θ１を特定する。水平面内におけるカメラ２の光軸Ｄ１を特定するためには、水平面内における車両１の正面とカメラ２の光軸との角度差の情報を使用する必要があるが、この情報は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。
【００４９】
また、車両１の位置からカメラ２の位置を特定する。カメラ２の位置を特定するためには、車両位置特定部３７ｄによって算出される車両１の位置に対するカメラ２の位置のずれの情報を使用する必要があるが、この情報は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。カメラ２の位置が決まると、カメラ２から信号機４の発光体の位置までの方向Ｄ２を水平面内に投影した方向の、北方向（基準方位）に対する角度θ２を、算出する。
【００５０】
そして、算出したθ１とθ２の差α＝θ１−θ２を算出する。この角度αは、水平面内における、カメラ２から信号機４の発光体の向きに対する、カメラ２の光軸Ｄ１の成す角度である。
【００５１】
次に、図１０に示すように、カメラ２と信号機４の発光体を含む鉛直面（以下、単に鉛直面という）内における、カメラ２から信号機４の発光体の向きに対する、カメラ２の光軸Ｄ１の成す角度βを算出する。
【００５２】
まず、鉛直面内におけるカメラ２の光軸Ｄ１の水平前方方向に対する角度η１を特定する。この角度η１は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。本実施形態では、この角度η１の値はゼロであるとする。
【００５３】
また、上述の通り特定したカメラ２の位置と、信号機４の発光体の位置に基づいて、カメラ２から信号機４の発光体の位置までの方向Ｄ２を鉛直面内に投影した方向の、水平面に対する角度η２を算出する。そして、取得したη１とη２の差β＝η２−η１を算出する。この角度βは、カメラ２から信号機４の発光体の向きに対する、カメラ２の向きの成す角度（仰角）である。
【００５４】
このようにして算出した角度α、βを用いて、図１１に示すように、信号機４の発光体のうち光っている発光体が写っている輝点位置の画素を、今回の撮影画像５０内で特定する。
【００５５】
具体的には、撮影画像５０中の画素単位の座標（Ｘ，Ｙ）の原点を、撮影画像５０の中心点５２の画素とすると、輝点位置の画素の座標（Ｘ１、Ｙ１）の各成分は、Ｘ＝ＩＮＴ［Ｎｘ×（ｓｉｎα）／ｓｉｎ（α０／２）］、Ｙ＝ＩＮＴ［Ｎｙ×（ｓｉｎβ）／ｓｉｎ（β０／２）］となる。ここでＩＮＴ［］は、［］内の値を超えない最大の整数を意味し、Ｎｘ、Ｎｙは、それぞれ撮影画像のＸ方向（左右方向）の総画素数およびＹ方向（上下方向）の総画素数であり、α０はカメラ２の左右方向の視野角であり、β０はカメラ２の上下方向の視野角である。このようにして、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を推定することができる。
【００５６】
続いてステップ２２０では、図１２に例示するように、今回の撮影画像５０中で、今回の撮影画像５０よりも小さくかつステップ２１０で特定した輝点位置５５の画素を含むスキャン範囲５６を決定する。例えば、上下方向の画素数および左右方向の画素数が撮影画像の１／４で、かつ、輝点位置を中心位置とするような範囲を、スキャン範囲とする。
【００５７】
続いて、ステップ２３０の判定結果がＹＥＳとなるまで、ステップ２２５、２３０、２４０、２４５から成る処理Ａを繰り返す。
【００５８】
処理Ａにおいては、まずステップ２２５で、車両位置特定部３７ｄから車両１の現在の速度および旋回角速度を取得し、取得した車両１の速度および旋回角速度に基づいて、今回撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前にカメラ２から受けた複数の撮影画像中で特定する。
【００５９】
今回以前にカメラ２から受けた撮影画像としては、例えば、１回前（前回）の信号輝度データ取得処理における撮影画像Ｐ１から、ｍ回前の信号輝度データ取得処理における撮影画像Ｐｍまでのｍ毎の撮影画像Ｐ１〜Ｐｍを用いる。ここで、ｍは２以上の整数であり、５でもよいし、１０でもよい。このようにするのは、信号機４の発光体が発する光（輝度変調信号）に重畳された情報の信号レベルは、２枚の撮影画像を取得する間に必ず高低が変化しているからである。
【００６０】
過去の撮影画像Ｐｉ中で、今回撮影画像の輝点位置と同じ車外の地点が写っている参照位置を特定するには、以下の様な方法を採用する。
【００６１】
まず、図１３に示すように、カメラ２の現在の位置６１および光軸６２を、上述の通り、車両１の現在の位置および向きから算出する。そして、カメラ２のフレームレートから、今回の撮影画像と撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻の差Δｔｉを算出し、算出した時刻差Δｔｉと車両１の現在の車速Ｖから、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３を算出する。例えば、車両の現在の位置からカメラ２の現在の位置６１を特定し、その位置６１から現在の車両の向きとは逆方向に距離Ｖ×Δｔｉだけ移動した位置を、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３とする。また例えば、撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻における車両１の車速をＶ（ｔｉ）とすると、車両の現在の位置からカメラ２の現在の位置６１を特定し、その位置６１から現在の車両の向きとは逆方向に積分量∫Ｖ（ｔ）ｄｔの距離だけ移動した位置を、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３とする。ここで、積分は、時刻ｔｉから現在までの時間積分とする。
【００６２】
また、算出した時刻差Δｔｉと車両１の現在の旋回角速度ωから、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６４を算出する。例えば、車両の現在の向きからカメラ２の現在の光軸６２の向きを特定し、その光軸６２の向きから現在の車両の旋回方向とは逆向きに角度ω×Δｔｉだけずれた向きを、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６３の向きとする。また例えば、撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻における車両１の旋回角速度をω（ｔｉ）とすると、車両１の現在の向きからカメラ２の現在の光軸６２の向きを特定し、その光軸６２の向きから現在の車両の旋回方向とは逆向きに積分量∫ωｄｔだけずれた向きを、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６３の向きとする。ここで、積分は、時刻ｔｉから現在までの時間積分とする。
【００６３】
あるいは、撮影画像Ｐｉの撮影時の車両１の車速および旋回角度を用いて、より正確に位置６３および光軸６４を算出してもよい。
【００６４】
このようにして得た撮影画像Ｐ１〜Ｐｍの撮影時の位置６３および光軸６４と、今回の撮影画像Ｐ０の撮影時の位置６１および光軸６２に基づいて、図１４に示すように、撮影画像Ｐ１〜Ｐｍ中の参照位置６５を算出することができる。
【００６５】
参照位置６５の算出方法は、具体的には以下の通りである。まず、
α’＝α＋Δθ−Δα
β’＝β＋Δθ
という式を用いて、α’、β’、Δθ、Δαからα、βを算出する。ここで、α’は、今回の撮影画像Ｐ０の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度であり、αは、撮影画像Ｐｉの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度である。β’は、今回の撮影画像Ｐ０の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度であり、βは、撮影画像Ｐｉの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度である。
【００６６】
この角度α、βが決まれば、図１１を用いて説明した通り、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて、撮影画像Ｐｉ中の参照位置６５の画素を特定することができる。
【００６７】
なお、α’、β’は、今回の撮影画像Ｐ０の撮影時の輝点位置座標から、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて算出することができる。
【００６８】
ここで、Δθは、車両１が移動したことに起因する、カメラ２から見た輝点位置方向の水平面内および鉛直面内の変化量であり、Δθ＝α×ΔＬ／Ｌと近似する。ただし、ΔＬは、撮影画像Ｐｉの撮影時から今回の撮影画像Ｐ０の撮影時までの車両１の移動量であり、Ｌは、今回の撮影画像Ｐ０の撮影時における、カメラ２から輝点位置の光源（すなわち信号機）までの距離であり、最後にステップ２０５で取得した信号機位置情報に基づいて特定することができる。また、Δαは、車両１が旋回したことに起因する水平面内の輝点位置方向の変化量であり、撮影画像Ｐｉの撮影時におけるカメラ２の光軸方向に対する、今回の撮影画像Ｐ０の撮影時におけるカメラ２の光軸方向の変化角度である。
【００６９】
過去の撮影画像Ｐ１〜Ｐｍの参照位置を特定した後は、続いてステップ２３０で、それら撮影画像Ｐ１〜Ｐｍ中の参照位置および今回の撮影画像Ｐ０に基づいて、輝点位置の輝度が急激に変化しているか否かを判定する。
【００７０】
具体的には、各撮影画像Ｐｉ（ｉは１からｍまでの整数）において、その撮影画像Ｐｉの参照位置の輝度と、次に撮影された撮影画像Ｐｉ−１の参照位置（Ｐｉ−１＝Ｐ０なら輝点位置）の輝度との差の絶対値Ａｉを算出する。そして、絶対値Ａ１〜Ａｍのうち、所定の閾値を超えている絶対値の数が所定数（例えば３）以上であれば、輝点位置の輝度が急激に変化していると判定し、所定数未満であれば、輝点位置の輝度が急激に変化していないと判定する。
【００７１】
信号機４の発光体には情報が重畳されているので、輝度の時間的な変化が激しくなっている。一方、信号機４の光っている発光体以外の部分および信号機４の周囲は、輝度の時間的な変化が光っている発光体に比べて非常に緩やかである。従って、図１５に示すように、ある時刻ｔの撮影画像中の輝度分布７１と、信号機４における１ビットの送信時間程度の大きさの時間Δｔが経過した時刻ｔ＋Δｔの撮影画像中の輝度分布７２とを、車両１の位置変化および姿勢変化のずれを補正した上で比較すれば、光っている発光体の部分のみの変化が大きくなっていて、他の部分の変化はほとんどないということになる。
【００７２】
したがって、上記のように、絶対値Ａ１およびＡｍのうち、所定数以上が閾値より大きければ、輝点位置は、光っている発光体が写っている位置を正しく捉えている可能性が高い。
【００７３】
輝点位置の輝度が急激に変化していないと判定した場合、続いてステップ２４０に進み、スキャン範囲中にまた輝点位置になっていない画素があるか否かを判定し、あればステップ２４５に進み、スキャン範囲中でまた輝点位置になっていない画素に、輝点位置をずらす。
【００７４】
このような、ステップ２２５、２３０、２４０、２４５の処理Ａを、ステップ２３０で輝点位置の輝度が急激に変化していると判定するまで繰り返す。そして、大きいと判定すれば、ステップ２３５に進み、その時点における輝点位置の輝度を信号輝度データとして復調部３７ｂに出力し、今回の信号輝度データ取得処理を終了する。
【００７５】
ただし、処理Ａを繰り返すことで、ステップ２４０において、新たに輝点位置とする画素がスキャン範囲からなくなったと判定すると、処理Ａを抜け出してステップ２５０に進む。
【００７６】
ステップ２５０では、今回の信号輝度データ取得処理の開始から規定時間（例えば、カメラ２による撮影時間間隔）が経過したか否かを判定し、経過していない場合は、ステップ２５５に進み、輝点位置を今回の撮影画像中のスキャン範囲外にずらした上で、再度ステップ２２０で、今回撮影画像よりも小さくかつ現時点の輝点位置を含む新たなスキャン範囲を決定し、その後、上述の通り処理Ａを繰り返す。
【００７７】
ただし、処理Ａを繰り返すことで、新たに輝点位置とする画素がスキャン範囲からなくなったとステップ２４０で判定した場合でも、今回の信号輝度データ取得処理の開始から規定時間が経過したとステップ２５０で判定すれば、輝点位置を再度スキャン範囲外にずらすことなく、信号輝度データ取得処理を終了する。この場合は、信号輝度データを復調部３７ｂに出力することなく、信号輝度データ取得処理を終了することになる。
【００７８】
次に、ステップ２０１で、前回の信号輝度データ取得処理で信号輝度データを取得したと判定した場合について説明する。この場合は、ステップ２１５に進み、前回の信号輝度データ取得処理における撮影画像Ｑ中の輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を予測する。
【００７９】
具体的には、カメラ２の現在の位置および光軸を、上述の通り、車両１の現在の位置および向きから算出する。そして、カメラ２のフレームレートから、今回の撮影画像と撮影画像Ｑの撮影時刻の差Δｔを算出し、算出した時刻差Δｔと車両１の現在の車速Ｖから、撮影画像Ｑの撮影時点におけるカメラ２の位置を算出する。例えば、車両の現在の位置からカメラ２の現在の位置を特定し、その現在位置から現在の車両の向きとは逆方向に距離Ｖ×Δｔだけ移動した位置を、撮影画像Ｑの撮影時点におけるカメラ２の位置とする。
【００８０】
また、算出した時刻差Δｔと車両１の現在の旋回角速度ωから、撮影画像Ｑの撮影時点におけるカメラ２の光軸を算出する。例えば、車両の現在の向きからカメラ２の現在の光軸の向きを特定し、その光軸の向きから現在の車両の旋回方向とは逆向きに角度ω×Δｔだけずれた向きを、撮影画像Ｑの撮影時点におけるカメラ２の光軸の向きとする。
【００８１】
このようにして算出した今回の撮影画像の撮影時の位置および光軸、撮影画像Ｑの撮影の位置および光軸に基づいて、今回の撮影画像中の輝点位置を算出することができる。今回の撮影画像中の輝点位置の算出方法は、具体的には以下の通りである。まず、
α’＝α＋Δθ−Δα
β’＝β＋Δθ
という式を用いて、α、β、Δθ、Δαからα’、β’を算出する。ここで、α’は、今回の撮影画像の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度であり、αは、撮影画像Ｑの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度である。β’は、今回の撮影画像の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度であり、βは、撮影画像Ｑの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度である。
【００８２】
この角度α’、β’が決まれば、図１１を用いて説明した通り、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて、今回の撮影画像中の参照位置６５の画素を特定することができる。
【００８３】
なお、α、βは、撮影画像Ｑの撮影時の輝点位置座標から、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて算出することができる。
【００８４】
ここで、Δθは、車両１が移動したことに起因する、カメラ２から見た輝点位置方向の水平面内および鉛直面内の変化量であり、Δθ＝α×ΔＬ／Ｌと近似する。ただし、ΔＬは、撮影画像Ｑの撮影時から今回の撮影画像の撮影時までの車両１の移動量であり、Ｌは、撮影画像Ｑの撮影時における、カメラ２から輝点位置の光源（すなわち信号機）までの距離であり、最後にステップ２０５で取得した信号機位置情報に基づいて特定することができる。また、Δαは、車両１が旋回したことに起因する水平面内の輝点位置方向の変化量であり、撮影画像Ｑの撮影時におけるカメラ２の光軸方向に対する、今回の撮影画像の撮影時におけるカメラ２の光軸方向の変化角度である。
【００８５】
続いてステップ２２０では、上述のステップ２１５の処理と同様に、今回の撮影画像において、今回の撮影画像よりも小さくかつ輝点位置を含むスキャン範囲を決定する。ステップ２２０に続いては、上述のステップ２２５、２３０、２４０、２４５から成る処理Ａを、ステップ２３０で輝点位置の輝度が急激に変化していると判定するまで繰り返す。そして、ステップ２３０で大きいと判定すれば、ステップ２３５に進み、その時点における輝点位置の輝度を信号輝度データとして復調部３７ｂに出力し、今回の信号輝度データ取得処理を終了する。
【００８６】
ただし、処理Ａを繰り返すことで、ステップ２４０において、新たに輝点位置とする画素がスキャン範囲からなくなったと判定すると、処理Ａを抜け出してステップ２５０に進む。
【００８７】
また、ステップ２５０では、今回の信号輝度データ取得処理の開始から規定時間が経過したか否かを判定し、経過していない場合は、ステップ２５５に進み、輝点位置を今回の撮影画像中のスキャン範囲外にずらした上で、再度ステップ２２０で、今回撮影画像よりも小さくかつ現時点の輝点位置を含む新たなスキャン範囲を決定し、その後、上述の通り処理Ａを繰り返す。
【００８８】
ただし、処理Ａを繰り返すことで、新たに輝点位置とする画素がスキャン範囲からなくなったとステップ２４０で判定した場合でも、今回の信号輝度データ取得処理の開始から規定時間が経過したとステップ２５０で判定すれば、輝点位置を再度スキャン範囲外にずらすことなく、信号輝度データ取得処理を終了する。この場合は、信号輝度データを復調部３７ｂに出力することなく、信号輝度データ取得処理を終了することになる。
【００８９】
以上説明した通り、制御部３７は、カメラ２から取得した撮影画像に対し、信号輝度データ取得処理（ステップ１３０）を実行し、信号輝度データ取得処理では、地図データ取得部３６を用いて発光体の設置位置を取得すると共に車両位置特定部３７ｄが算出した車両１の位置および向きを取得し（ステップ２０５）、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９０】
このように、撮影画像に対して信号輝度データ取得処理を実行する際、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定することで、撮影画像全体に対して輝点位置を見つけるための画像処理を施す場合に比べ、低い処理負荷で、輝点位置を特定することができる。つまり、信号輝度データ取得処理では、撮影画像全体を処理するのではなく輝度変調のかかった信号が撮像された画素を選択的に処理することにより、処理負荷を低減させることができる。
【００９１】
また、制御部３７は、カメラ２から取得した撮影画像のそれぞれに対し、信号輝度データ取得処理を実行し、各信号輝度データ取得処理では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、地図データ取得部３６を用いて発光体の設置位置を取得すると共に車両位置特定部３７ｄが算出した車両１の位置および向きを取得し（ステップ２０５）、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９２】
また、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両位置特定部３７ｄが算出した車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測し（ステップ２１５）、予測した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９３】
このように、逐次取得される撮影画像のそれぞれに対して信号輝度データ取得処理を実行する際、前回の信号輝度データ取得処理で信号輝度データを取得していない場合は、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測することで、輝点位置を捕捉している場合は、過去の輝点位置情報を利用したより精度の高い輝点位置の算出を行うことができる。
【００９４】
なお、上述のような画像処理部３７ａの処理により、画像処理部３７ａから復調部３７ｂへは、１ビット当たり２枚の撮影画像から得た信号輝度データが出力されるので、復調部３７ｂでは、信号輝度データを復調し、重畳されている情報を取得することができる。具体的には、復調部３７ｂは、今回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータが前回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータに比べて所定の閾値以上大きくなっていれば、マンチェスタ符号化された信号のハイレベルを再現し、今回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータが前回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータに比べて所定の閾値以上小さくなっていれば、マンチェスタ符号化された信号のローレベルを再現する。そして、このようにすることで得られた信号（マンチェスタ符号化された信号）を周知の方法で復号すれば、元の情報を得ることができる。
【００９５】
また、制御部３７は、各信号輝度データ取得処理で、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定し（ステップ２２０）、処理Ａを繰り返す。
【００９６】
また、制御部３７は、各信号輝度データ取得処理で、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で発光体が写っている輝点位置を予測し（ステップ２１５）、今回の撮影画像で、今回の撮影画像よりも小さくかつ輝点位置を含むスキャン範囲を決定し（ステップ２２０）、処理Ａを繰り返す。
【００９７】
そして、処理Ａでは、車両位置特定部３７ｄが算出した車両１の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前にカメラ２から受けた複数の撮影画像中で特定し（ステップ２２５）、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、それら複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否か、すなわち、輝点位置の輝度が激しく変化しているか否かを判定し（ステップ２３０）、激しく変化していないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす（ステップ２４５）、という処理を、激しく変化していると判定するまで繰り返す。
【００９８】
そして、処理Ａにおいて、激しく変化していると判定すれば、当該輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９９】
撮影画像中の発光体の部分の輝度は、その発光体に情報が重畳されているので、発光体以外の部分に比べて、時間的な変動が大きい。したがって、車両１の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、速度および旋回角速度に基づいて過去の撮影画像中で特定すれば、その参照位置と今回の撮影画像の輝点位置で変化が激しいか否かで、発光体の位置を正しく捉えているか否かを高い確度で判定できる。
【０１００】
そして、正しく捕捉できていなければ、今回の撮影画像中の輝点位置を、撮影画像よりも小さいスキャン範囲内でずらして、同じ方法でその輝点位置が発光体の位置を正しく捉えているかを再判定すれば、車両１の速度および旋回角速度を用いて小さい処理負荷で輝点位置を補正することができる。これは、前回の信号輝度データ取得処理で信号輝度データを取得している場合も取得していない場合も同じである。
【０１０１】
また、信号機が急に物陰に入り撮影できなくなった場合等は、輝点位置を何度もずらして発光体の写っている位置を探すことになるが、その間に、規定時間が過ぎた場合は（ステップ２５０）、信号輝度データを出力せず信号輝度データ取得処理を終了するので、次回の信号輝度データ取得処理は、信号機位置データと車両１の位置および向きに基づいて、輝点位置を推定し直すことになる。
【０１０２】
なお、このステップ２５０で用いる規定時間は、上述のように固定値であってもよいし、車両１の車速に応じて変化させるようになっていてもよい。例えば、車速が大きいほど撮影画像の変化が大きくなり、輝点位置を捕捉できなくなったと早めに判断することが望ましいことに鑑み、車速が大きいほど規定時間を短くするようになっていてもよい。
【０１０３】
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
【０１０４】
（１）上記実施形態では、輝点位置として特定する画素は、撮影画像中の１画素であるが、必ず１画素でなければならないというわけではない。輝点位置として特定する画素は、撮影画像の総画素数よりは十分小さければ（例えば、１００分の１以下であれば）縦２×横２の計４ドットでもよいし、縦３×横２の計６ドットでもよい。
【０１０５】
（２）また、上記実施形態において、ステップ２５０、２５５の処理は、必ず必要というわけではない。例えば、ステップ２４０で新たに起点位置とする画素がなくなった場合、信号輝度データを出力しないまま、信号輝度データ取得処理を終了してもよい。
【０１０６】
（３）また、上記実施形態では、ステップ２１０、２２０で推定または予測した輝点位置が正確でない場合の対策として、ステップ２２０、２２５、２３０、２４０、２４５、２５０、２５５の処理を実行するようになっている。しかし、ステップ２１０、２２０で推定または予測した輝点位置が、発光している発光体の位置を正確に捉えている可能性は常にあり、またその可能性は、車両位置特定部３７ｄの測定精度、信号機位置データの精度が高いほど向上する。したがって、ステップ２２０、２２５、２３０、２４０、２４５、２５０、２５５の処理を必ずしも実行しなくても、車両位置特定部３７ｄの測定精度、信号機位置データの精度に応じた確率で、信号機４からデータを受信することができる。
【０１０７】
（４）また、一般に、交差点には、その交差点への進入方向毎に異なる信号機が設置されている。そこで、信号機位置データは、交差点にある複数台の信号機の個々に対応してレコードが記録され、各レコードは、対象の信号機の発光体の設置位置座標と、その信号機が指示対象としている交差点進入方向との組から成る情報を含むようになっていてもよい。
【０１０８】
その場合、画像処理部３７ａは、ステップ２０５で信号機位置データからレコードを１つ抽出する際、誘導経路または車両１の走行方向から導かれる交差点への進入方向を特定し、その進入方向に対応するレコードのみを、抽出対象とするようになっていれば、より精度の高い輝点位置の推定が可能になる。
【０１０９】
（５）また、上記実施形態では、ステップ２０１の判定結果に応じて、ステップ２１５、２２０を実行するか、ステップ２０５、２１０を実行するかを切り替えている。しかし、ステップ２０１の判定結果に関わらず、常にステップ２０５から処理を実行するようになっていてもよい。
【０１１０】
（６）また、発光体の光に重畳する情報は、当該発光体の３次元位置を示す情報であってもよい。この場合、その位置情報を取得した情報処理部３７ｃは、その位置情報に基づいて、カメラ２の車両１に対する位置および向きのずれのデータを補正するようになっていてもよい。
【０１１１】
具体的には、画像処理部３７ａがある信号輝度データ取得処理のステップ２３５で、撮影画像の輝点位置（以下、確定輝点位置という）の信号輝度データを出力したとき、車両１の位置および向きの情報を車両位置特定部３７ｄから取得し、取得した位置および向きの情報と、上述のように信号機４から受信した位置情報とに基づいて、ステップ２１０で輝点位置を推定したのと同じ方法で、参照用の輝点位置を算出する。そして、この参照用の輝点位置と確定輝点位置との位置ずれに基づいて、カメラ２の車両１に対する位置および向きのずれのデータを補正する。例えば、撮影画像中で参照用の輝点位置が確定輝点位置より左側にずれていれば、カメラ２の車両１に対する位置および向きのずれのデータよりも、実際のカメラ２は左側にずれていると判定し、カメラ２の車両１に対する向きのずれのデータを、カメラ２がより左側に所定角度（例えば０．１℃）だけ傾いているように補正する。このような補正を繰り返すことで、カメラ２の車両１に対する位置および向きのずれのデータが、より正確になっていく。
【０１１２】
なお、このような補正は、発光体の光に重畳される当該発光体の３次元位置を示す情報を用いるのではなく、地図データ取得部３６が取得した信号機位置データを用いて行ってもよい。
【０１１３】
（７）また、発光体の光に重畳する情報は、当該発光体の３次元位置を示す情報である場合、この３次元位置情報と、地図データ取得部３６が取得した信号機位置データとを比較することで、目標の信号機の発光体から情報を受信しているか、あるいは別の信号機の発光体から情報を受信しているのかを判定するようになっていてもよい。
【０１１４】
具体的には、情報処理部３７ｃは、復調部３７ｂの出力結果に基づいて、信号機４が送信した発光体の３次元位置を示す情報を取得すると、画像処理部３７ａが信号輝度データ取得処理のステップ２０５を最後に実行したときに信号機位置データから取得した信号機の３次元位置情報（車両１に最も近い信号機の３次元位置情報）と、信号機４が送信した３次元位置情報とを比較し、それらが一致していれば、目標の信号機の発光体を捉えていると判定し、所定のフラグをオンとし、一致していなければ、目標の信号機の発光体を捉えていないと判定し、所定のフラグをオフとするようになっていてもよい。そして、画像処理部３７ａは、ステップ２０１で、当該フラグがオフならば、前回画像で信号を取得しているいないにかかわらず、ステップ２０５に進み、再度目標の信号機４の発光部を探すようになっていてもよい。このようにすることで、撮影画像中に複数の信号機が写っていても、目標の信号機４とは別の信号機から情報を取得し続けてしまう可能性が低減される。
【０１１５】
（８）また、上記実施形態では、情報が重畳された光を発する発光体は、信号機４の発光体に限らず、情報送信のためだけに設置される発光体であってもよい。
【０１１６】
（９）また、上記ステップ２２５では、過去の撮影画像Ｐｉの参照位置を特定する際、その撮影画像Ｐｉに対して信号輝度データ取得処理を実行したときに、輝点位置の信号輝度データをステップ２３５で出力していた場合は、当該輝点位置を当該撮影画像Ｐｉの参照位置とするようになっていてもよい。
【０１１７】
（１０）また、車載情報取得装置は、ナビゲーション装置でなくてもよく、車両位置情報を取得でき、発光体の位置情報さえ有していれば、ナビゲーション機能を備えておらずともよい。
【０１１８】
（１１）また、カメラ２の撮影方向（すなわち光軸）は、車両１の前方である必要はなく、車両１の横方向でもよいし、上方向でもよい。
【０１１９】
（１２）また、上記実施形態では、情報をマンチェスタ方式で符号化し、それをＲ、Ｙ、Ｇ信号のそれぞれに乗算するような方法で、Ｒ、Ｙ、Ｇ信号を情報で変調している。このようなマンチェスタ方式を用いた変調は、位相変調方式の一種であるＢＰＳＫに該当する。しかし、マンチェスタ方式を用いた変調は、所定時間以内に必ず発光輝度レベルの高低が反転する信号を生成するという目的を実現するための方式の一例に過ぎず、他の位相変調方式を用いても、同様の目的を実現することができる。また、位相変調方式の方式でも、この目的を実現できる方式なら、どのような方式を採用してもよい。
【０１２０】
（１３）また、制御部３７がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。
【符号の説明】
【０１２１】
１ 車両
２ カメラ
３ ナビゲーション装置
４ 信号機
３１ 位置検出器
３２ 画像表示装置
３３ 操作部
３４ 音声出力部
３５ 記憶部
３６ 地図データ取得部
３７ 制御部
３７ａ 画像処理部
３７ｂ 復調部
３７ｃ 情報処理部
３７ｄ 車両位置特定部
４１ 信号制御部
４２ 変調部
４３ 発光部
４４ 情報送出部
【技術分野】
【０００１】
本発明は、車載情報取得装置に関するものである。
【背景技術】
【０００２】
特許文献１には、車載カメラの撮影画像から信号機の光を抽出して復調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７２５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、撮影画像全体を用いて信号機の光の写っている位置を特定しているので、このための処理負荷が大きくなってしまうという問題がある。
【０００５】
本発明は上記点に鑑み、車載カメラの撮影画像から発光体（例えば信号機）の光を抽出して復調する技術において、撮影画像中から信号機の光の写っている位置を従来よりも低い処理負荷で特定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための請求項１に記載の発明は、道路付近に設置された発光体が発する光に重畳された情報を取得する車載情報取得装置であって、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置および向きを算出する車両位置特定部（３７ｄ）と、前記発光体の設置位置の情報を記憶媒体から読み取るかまたは無線通信によって取得する取得部（３６）と、車両（１）に搭載されると共に前記車両（１）の外部を繰り返し撮影するカメラ（２）から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点における前記発光体の輝度を特定し、特定した輝度を信号輝度データとして出力する画像処理手段（３７ａ）と、前記画像処理部（３７ａ）が出力した信号輝度データを復調し、復調結果のデータを生成する復調手段（３７ｂ）と、を備え、前記画像処理手段（３７ａ）は、前記カメラ（２）から取得した撮影画像に対し、信号輝度データ取得処理（１３０）を実行し、信号輝度データ取得処理（１３０）では、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、前記撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力することを特徴とする車載情報取得装置である。
【０００７】
このように、撮影画像に対して信号輝度データ取得処理（１３０）を実行する際、取得した発光体の設置位置ならびに車両（１）の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定することで、撮影画像全体に対して輝点位置を見つけるための画像処理を施す場合に比べ、低い処理負荷で、輝点位置を特定することができる。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の車載情報取得装置において、車両位置特定部（３７ｄ）は、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置、向き、速度、および旋回角速度を算出し、前記画像処理手段（３７ａ）は、前記カメラ（２）から逐次取得した撮影画像のそれぞれに対し、信号輝度データ取得処理（１３０）を実行し、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、予測した輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【０００９】
このように、逐次取得される撮影画像のそれぞれに対して信号輝度データ取得処理（１３０）を実行する際、前回の信号輝度データ取得処理で信号輝度データを取得していない場合は、取得した発光体の設置位置ならびに車両（１）の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測することで、輝点位置を捕捉している場合は、過去の輝点位置情報を利用したより精度の高い輝点位置の算出を行うことができる。
【００１０】
また、請求項３に記載の発明は、請求項２に記載の車載情報取得装置において、前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【００１１】
また、請求項４に記載の発明は、請求項２または３に記載の車載情報取得装置において、前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする。
【００１２】
撮影画像中の発光体の部分の輝度は、その発光体に情報が重畳されているので、発光体以外の部分に比べて、時間的な変動が大きい。したがって、車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、速度および旋回角速度に基づいて過去の複数の撮影画像中で特定すれば、その参照位置と今回の撮影画像の輝点位置で変化が大きいか否かで、発光体の位置を正しく捉えているか否かを高い確度で判定できる。
【００１３】
そして、正しく捕捉できていなければ、今回の撮影画像中の輝点位置を、撮影画像よりも小さいスキャン範囲内でずらして、同じ方法でその輝点位置が発光体の位置を正しく捉えているかを再判定すれば、車両（１）の速度および旋回角速度を用いて小さい処理負荷で輝点位置を補正することができる。これは、前回の信号輝度データ取得処理で信号輝度データを取得している場合も取得していない場合も同じである。
【００１４】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る通信システムを模式的に示す図である。
【図２】信号機４の構成を示す図である。
【図３】ナビゲーション装置３の構成を示す図である。
【図４】制御部３７の機能構成を示す図である。
【図５】変調部４２における符号化方式の一例を示す図である。
【図６】撮影画像中の発光体の輝度５１の時間変化を示すグラフである。
【図７】画像処理部が実行する処理のフローチャートである。
【図８】信号輝度データ取得処理のフローチャートである。
【図９】カメラ２と信号機４の発光体の水平面内の位置関係を示す図である。
【図１０】カメラ２と信号機４の発光体の鉛直面内の位置関係を示す図である。
【図１１】撮影画像５０中の輝点位置を示す図である。
【図１２】撮影画像５０中の輝点位置５５を含むスキャン範囲５６を例示する図である。
【図１３】今回の撮影画像の撮影時の位置６１および光軸６２と、過去の撮影画像の撮影時の位置６３および光軸６４の関係を示す図である。
【図１４】時刻ｔと時刻ｔ＋Δｔにおける撮影画像を示す図である。
【図１５】時刻ｔと時刻ｔ＋Δｔにおける輝度分布の違いを示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る通信システムを模式的に示す。この通信システムは、車両１と、信号機４とを備えている。車両１には、車両１の前方を撮影するカメラ２およびナビゲーション装置３が搭載されている。
【００１７】
信号機４は、道路付近（例えば道路上）に複数個設置され、道路を走行する車両に走行、停止を指示する装置である。各信号機４の設置位置は、交差点、横断歩道の手前等である。図２に示すように、これら信号機４のそれぞれは、信号制御部４１、変調部４２、発光部４３、情報送出部４４を備えている。
【００１８】
信号制御部４１は、赤、黄、緑の３つの発光体（ＬＥＤ、電球等）の点灯および消灯を制御するため、それら赤、黄、緑の３つの発光体にそれぞれ対応する３つのＲ信号、Ｙ信号、Ｇ信号を変調部４２に出力する。
【００１９】
変調部４２は、信号制御部４１から受けたＲ信号、Ｙ信号およびＧ信号のそれぞれを変調することで、Ｒ信号、Ｙ信号およびＧ信号に情報送出部４４から受けた情報を重畳させ、その重畳結果のＲ信号、Ｙ信号、Ｇ信号を発光部４３に出力する。
【００２０】
発光部４３は、赤色で発光する発光体、黄色で発光する発光体、緑色で発光する発光体の３つの発光体を有し、それぞれ、変調部４２から受けたＲ信号、Ｙ信号、Ｇ信号の強度が大きいほど高い輝度で発光する。
【００２１】
情報送出部４４は、変調部４２に各種情報を示すシリアルデータを出力する。出力する情報は、信号機の指示が次に（例えば、緑信号から黄信号に）切り替わるまでの残り時間等、どのようなものであってもよい。
【００２２】
カメラ２は、車両１に固定され、所定のフレームレートで繰り返し車両の外部（前方）を撮影し、撮影結果の撮影画像を逐次ナビゲーション装置３に出力する。カメラ２の取り付け位置は、例えば、車室内のダッシュボード上面であってもよい。
【００２３】
ナビゲーション装置３は、車両１に搭載され、図３に示すように、位置検出器３１、画像表示装置３２、操作部３３、音声出力部３４、記憶部３５、地図データ取得部３６、制御部３７を備えている。
【００２４】
位置検出器３１は、車速センサ、ジャイロセンサ、加速度センサ、ＧＰＳ受信機、ステアリング角センサ等のセンサ群であり、これらセンサ群は、車両の位置、向き、速度、旋回角速度等の算出に必要な各種物理量を検出信号として制御部３７に出力する。
【００２５】
画像表示装置３２は、制御部３７の制御に従って文字や画像をユーザに表示する液晶ディスプレイ等の装置である。操作部３３は、ユーザの操作を受け付け、受け付けた操作に応じた信号を制御部３７に出力する装置である。音声出力部３４は、ナビゲーション制御部１０の制御に従って音声を車室内に出力するアンプ、スピーカ等の装置である。記憶部３５は、カメラ２の撮影画像等を記憶する書き込み可能な不揮発性の記憶媒体である。
【００２６】
地図データ取得部３６は、制御部３７の制御に従って地図データを取得する装置である。地図データの取得方法は、記憶媒体（ＨＤＤ、フラッシュメモリ、ＤＶＤメディア等）から地図データを読み出す方法でもよいし、無線通信によって車両１の外部の地図提供サーバから地図データをダウンロードする方法でもよい。
【００２７】
地図データ取得部３６が取得する地図データは、道路を表すリンクの位置、形状、接続関係を示す道路データ、施設（ホテル、レストラン、コンビニエンスストア等）の位置を示す施設データ等から成る。この地図データには、信号機位置データも記録されている。信号機位置データは、信号機設置位置毎のレコードを備えたデータであり、各レコードは、対象とする信号機設置位置における発光体の３次元の設置位置の座標（緯度、経度、高度）を含んでいる。なお、記録されている発光体の３次元の設置位置座標は、信号機４に備えられた３つの発光体の位置を一括に表す代表的な１つの位置（例えば、３つの発光体の重心位置）の３次元位置座標である。
【００２８】
制御部３７は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を備えた制御回路（例えばマイクロコントローラ）であって、ＲＯＭまたはフラッシュメモリに記録されたプログラムをＣＰＵが実行することで、各種処理を実現するようになっている。
【００２９】
例えば、制御部３７は、周知の地図表示処理、経路算出処理、経路案内処理等を行う。地図表示処理は、地図データ取得部３６が取得した地図データに基づいて、現在位置周辺の地図を画像表示装置３２に表示させる処理である。経路算出処理は、ユーザの操作部３３に対する目的地設定操作に従って目的地を設定し、現在位置から設定した目的地までの最適な誘導経路を地図データに基づいて算出する処理である。経路案内処理は、車両１が誘導経路に沿って走行するのを案内するために、右折、左折等の音声案内および画像案内を、音声出力部３４および画像表示装置３２を用いて行う処理である。
【００３０】
さらに制御部３７は、カメラ２が撮影した撮影画像の記録および解析のための記録・解析処理を行うようになっている。図４に、この記録・解析処理の機能構成をブロック図で示す。
【００３１】
記録・解析処理は、画像処理部３７ａ、復調部３７ｂ、情報処理部３７ｃ、車両位置特定部３７ｄという機能を有している。画像処理部３７ａは、カメラ２から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点において発光している信号機４の発光体の輝度を特定し、それを信号輝度データとして復調部３７ｂに出力する。
【００３２】
復調部３７ｂは、画像処理部３７ａが出力した信号輝度データを復調し、復調結果のデータを生成して情報処理部３７ｃに出力する。情報処理部３７ｃは、復調部３７ｂから受けたデータを用いた各種処理（例えば、信号機４の指示が次に切り替わるまでの残り時間を画像表示装置３２に表示させる表示処理）を行う。なお、画像処理部３７ａは、地図データ取得部３６を用いて信号機４の発光体の設置位置を示す信号機位置データを取得するようになっている。
【００３３】
以下、上記のような構成の通信システムの作動について説明する。まず、変調部４２における情報の重畳（輝度変調）の詳細について説明する。
【００３４】
変調部４２は、情報送出部４４から受けた情報を、所定時間以内に必ずレベルの高低が反転する信号に変換する。
【００３５】
例えば、図５に示すように、シリアルデータの０の情報をハイレベルからローレベルへの立ち下がり信号に変換し、シリアルデータの１の情報をローレベルからハイレベルへの立ち上がり信号に変換するマンチェスタ符号化方式を用いて変換する。
変調部４２はこのようにして変換した信号を、信号制御部４１から受けたＲ信号、Ｙ信号、Ｇ信号のそれぞれに乗算し、その乗算結果のＲ信号、Ｙ信号、Ｇ信号を発光部４３に出力する。
【００３６】
したがって、発光部４３においては、赤色の発光体、黄色の発光体、緑色の発光体のうち、点灯している発光体は、その発光輝度のレベルが、１ビットの情報送信周期以内に必ず変化する。
【００３７】
なお、本実施形態では、各発光体における送信情報のビットレートを、例えば、１００ビット／秒以上とする。各発光体における送信情報のビットレートがＮ×１００ビット／秒の場合、各発光体は最大で１秒間にＮ×２００回の速さで発光輝度が切り替わることになる。
【００３８】
次に、このように信号機４の発光体が発した光を撮影するカメラ２の作動について説明する。カメラ２のフレームレートは、発光体における送信情報のビットレートがＮ×１００ビット／秒に設定されている場合、Ｎ×２００枚／秒またはそれより高いフレームレートとすることで、発光体が発した光（輝度変調信号）に重畳される情報を受信可能となる。
【００３９】
以下では、カメラ２におけるフレームレートの枚／秒換算値が、発光体における送信情報のビットレートのビット／秒換算値の２倍であるとするが、２倍より大きい場合でも、適宜撮影画像を間引くことで、下記と同様の処理を実現できる。
【００４０】
車両１が移動している場合、カメラ２は車両１の外部の前方を撮影しているので、信号機４がカメラ２の撮影範囲内にある場合は、時間の経過と共にカメラ２と信号機４の間の距離は近くなり、図６に示す通り、撮影画像中に写る発光体の輝度５１の極大値および極小値は、時間ｔの経過と共に大きくなる。
【００４１】
次に、画像処理部３７ａの処理内容の詳細について説明する。図７に、画像処理部３７ａの処理内容のフローチャートを示す。画像処理部３７ａは、カメラ２から１枚の撮影画像を受ける度に、図７の処理１回実行し、その実行において、今回受けた撮影像全体を存するタイミング（１秒〜数十秒周期で訪れる）か否かを判定し（ステップ１１０）、撮影像全体を存するタイミングであると判定した場合、撮影画像を記憶部３５に追加記録する（ステップ１２０）。このようにすることで、画像処理部３７ａは、ドライブレコーダの機能を実現できる。また、制御部３７は、ステップ１１０で撮影像全体を存するタイミングでないと判定した場合、ステップ１３０に進んで信号輝度データ取得処理を実行する。
【００４２】
このような処理により、画像処理部３７ａは、カメラ２から受けた撮影画像のほとんどについて、個々に信号輝度データ取得処理を実行する。
【００４３】
図８に、この信号輝度データ取得処理の詳細を示す。各信号輝度データ取得処理において、画像処理部３７ａは、まずステップ２０１で、前回の信号輝度データ取得処理で信号輝度データを取得したか否かを判定する。前回の信号輝度データ取得処理で信号輝度データを取得したか否かは、前回の信号輝度データ取得処理でステップ２３５を実行したか否かで判定する。この判定は、簡単に言えば画像処理部３７ａが撮影画像中の発光体が写っている輝点位置を捕捉しているか否かを判定するものである。車両１の始動時や、車両１がどの信号機４からも遠く離れているような状況では、ほとんどの場合、輝点位置を捕捉できていないはずなので、ステップ２０１では取得していないと判定することになる。
【００４４】
ステップ２０１で取得していないと判定した場合、続いてステップ２０５に進み、地図データ取得部３６を用いて、地図データ中の信号機位置データを取得する。そして、信号機位置データから１つのレコード（すなわち信号機４）を選択する。
【００４５】
選択するレコードは、経路算出手段によって誘導経路が算出され、経路案内手段によって誘導経路を案内している場合は、車両１の現在位置から誘導経路に沿った前方の一番近い信号機４のレコードとする。経路算出手段によって誘導経路が算出されていない場合は、現在走行中の道路を車両１が道なりに走行した場合に最初に到達する信号機４のレコードとする。したがって、選択するレコードは、信号機位置データの各レコード中の発光体の設置位置座標と、道路データと、誘導経路のデータから特定することができる。
【００４６】
そして、選択したレコードに含まれる信号機４の発光体の設置位置の座標を抽出して取得する。更にステップ２０５では、車両位置特定部３７ｄが算出した車両１の現在の位置（３次元位置）および向きを取得する。
【００４７】
続いてステップ２１０では、取得した特定の信号機４の発光体の設置位置および車両１の位置および向きに基づいて、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を推定する。この推定方法の詳細について、図９〜図１１を用いて説明する。
【００４８】
具体的には、まず、車両１の向きから水平面内におけるカメラ２の光軸Ｄ１の北方向（基準方位）に対する角度θ１を特定する。水平面内におけるカメラ２の光軸Ｄ１を特定するためには、水平面内における車両１の正面とカメラ２の光軸との角度差の情報を使用する必要があるが、この情報は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。
【００４９】
また、車両１の位置からカメラ２の位置を特定する。カメラ２の位置を特定するためには、車両位置特定部３７ｄによって算出される車両１の位置に対するカメラ２の位置のずれの情報を使用する必要があるが、この情報は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。カメラ２の位置が決まると、カメラ２から信号機４の発光体の位置までの方向Ｄ２を水平面内に投影した方向の、北方向（基準方位）に対する角度θ２を、算出する。
【００５０】
そして、算出したθ１とθ２の差α＝θ１−θ２を算出する。この角度αは、水平面内における、カメラ２から信号機４の発光体の向きに対する、カメラ２の光軸Ｄ１の成す角度である。
【００５１】
次に、図１０に示すように、カメラ２と信号機４の発光体を含む鉛直面（以下、単に鉛直面という）内における、カメラ２から信号機４の発光体の向きに対する、カメラ２の光軸Ｄ１の成す角度βを算出する。
【００５２】
まず、鉛直面内におけるカメラ２の光軸Ｄ１の水平前方方向に対する角度η１を特定する。この角度η１は、カメラ２およびナビゲーション装置３の車両１への組み付け時に、記憶部３５等の記憶媒体にあらかじめ登録されているものとする。本実施形態では、この角度η１の値はゼロであるとする。
【００５３】
また、上述の通り特定したカメラ２の位置と、信号機４の発光体の位置に基づいて、カメラ２から信号機４の発光体の位置までの方向Ｄ２を鉛直面内に投影した方向の、水平面に対する角度η２を算出する。そして、取得したη１とη２の差β＝η２−η１を算出する。この角度βは、カメラ２から信号機４の発光体の向きに対する、カメラ２の向きの成す角度（仰角）である。
【００５４】
このようにして算出した角度α、βを用いて、図１１に示すように、信号機４の発光体のうち光っている発光体が写っている輝点位置の画素を、今回の撮影画像５０内で特定する。
【００５５】
具体的には、撮影画像５０中の画素単位の座標（Ｘ，Ｙ）の原点を、撮影画像５０の中心点５２の画素とすると、輝点位置の画素の座標（Ｘ１、Ｙ１）の各成分は、Ｘ＝ＩＮＴ［Ｎｘ×（ｓｉｎα）／ｓｉｎ（α０／２）］、Ｙ＝ＩＮＴ［Ｎｙ×（ｓｉｎβ）／ｓｉｎ（β０／２）］となる。ここでＩＮＴ［］は、［］内の値を超えない最大の整数を意味し、Ｎｘ、Ｎｙは、それぞれ撮影画像のＸ方向（左右方向）の総画素数およびＹ方向（上下方向）の総画素数であり、α０はカメラ２の左右方向の視野角であり、β０はカメラ２の上下方向の視野角である。このようにして、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を推定することができる。
【００５６】
続いてステップ２２０では、図１２に例示するように、今回の撮影画像５０中で、今回の撮影画像５０よりも小さくかつステップ２１０で特定した輝点位置５５の画素を含むスキャン範囲５６を決定する。例えば、上下方向の画素数および左右方向の画素数が撮影画像の１／４で、かつ、輝点位置を中心位置とするような範囲を、スキャン範囲とする。
【００５７】
続いて、ステップ２３０の判定結果がＹＥＳとなるまで、ステップ２２５、２３０、２４０、２４５から成る処理Ａを繰り返す。
【００５８】
処理Ａにおいては、まずステップ２２５で、車両位置特定部３７ｄから車両１の現在の速度および旋回角速度を取得し、取得した車両１の速度および旋回角速度に基づいて、今回撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前にカメラ２から受けた複数の撮影画像中で特定する。
【００５９】
今回以前にカメラ２から受けた撮影画像としては、例えば、１回前（前回）の信号輝度データ取得処理における撮影画像Ｐ１から、ｍ回前の信号輝度データ取得処理における撮影画像Ｐｍまでのｍ毎の撮影画像Ｐ１〜Ｐｍを用いる。ここで、ｍは２以上の整数であり、５でもよいし、１０でもよい。このようにするのは、信号機４の発光体が発する光（輝度変調信号）に重畳された情報の信号レベルは、２枚の撮影画像を取得する間に必ず高低が変化しているからである。
【００６０】
過去の撮影画像Ｐｉ中で、今回撮影画像の輝点位置と同じ車外の地点が写っている参照位置を特定するには、以下の様な方法を採用する。
【００６１】
まず、図１３に示すように、カメラ２の現在の位置６１および光軸６２を、上述の通り、車両１の現在の位置および向きから算出する。そして、カメラ２のフレームレートから、今回の撮影画像と撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻の差Δｔｉを算出し、算出した時刻差Δｔｉと車両１の現在の車速Ｖから、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３を算出する。例えば、車両の現在の位置からカメラ２の現在の位置６１を特定し、その位置６１から現在の車両の向きとは逆方向に距離Ｖ×Δｔｉだけ移動した位置を、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３とする。また例えば、撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻における車両１の車速をＶ（ｔｉ）とすると、車両の現在の位置からカメラ２の現在の位置６１を特定し、その位置６１から現在の車両の向きとは逆方向に積分量∫Ｖ（ｔ）ｄｔの距離だけ移動した位置を、撮影画像Ｐｉの撮影時点におけるカメラ２の位置６３とする。ここで、積分は、時刻ｔｉから現在までの時間積分とする。
【００６２】
また、算出した時刻差Δｔｉと車両１の現在の旋回角速度ωから、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６４を算出する。例えば、車両の現在の向きからカメラ２の現在の光軸６２の向きを特定し、その光軸６２の向きから現在の車両の旋回方向とは逆向きに角度ω×Δｔｉだけずれた向きを、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６３の向きとする。また例えば、撮影画像Ｐｉ（ｉは１からｍまでの整数）の撮影時刻における車両１の旋回角速度をω（ｔｉ）とすると、車両１の現在の向きからカメラ２の現在の光軸６２の向きを特定し、その光軸６２の向きから現在の車両の旋回方向とは逆向きに積分量∫ωｄｔだけずれた向きを、撮影画像Ｐｉの撮影時点におけるカメラ２の光軸６３の向きとする。ここで、積分は、時刻ｔｉから現在までの時間積分とする。
【００６３】
あるいは、撮影画像Ｐｉの撮影時の車両１の車速および旋回角度を用いて、より正確に位置６３および光軸６４を算出してもよい。
【００６４】
このようにして得た撮影画像Ｐ１〜Ｐｍの撮影時の位置６３および光軸６４と、今回の撮影画像Ｐ０の撮影時の位置６１および光軸６２に基づいて、図１４に示すように、撮影画像Ｐ１〜Ｐｍ中の参照位置６５を算出することができる。
【００６５】
参照位置６５の算出方法は、具体的には以下の通りである。まず、
α’＝α＋Δθ−Δα
β’＝β＋Δθ
という式を用いて、α’、β’、Δθ、Δαからα、βを算出する。ここで、α’は、今回の撮影画像Ｐ０の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度であり、αは、撮影画像Ｐｉの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度である。β’は、今回の撮影画像Ｐ０の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度であり、βは、撮影画像Ｐｉの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度である。
【００６６】
この角度α、βが決まれば、図１１を用いて説明した通り、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて、撮影画像Ｐｉ中の参照位置６５の画素を特定することができる。
【００６７】
なお、α’、β’は、今回の撮影画像Ｐ０の撮影時の輝点位置座標から、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて算出することができる。
【００６８】
ここで、Δθは、車両１が移動したことに起因する、カメラ２から見た輝点位置方向の水平面内および鉛直面内の変化量であり、Δθ＝α×ΔＬ／Ｌと近似する。ただし、ΔＬは、撮影画像Ｐｉの撮影時から今回の撮影画像Ｐ０の撮影時までの車両１の移動量であり、Ｌは、今回の撮影画像Ｐ０の撮影時における、カメラ２から輝点位置の光源（すなわち信号機）までの距離であり、最後にステップ２０５で取得した信号機位置情報に基づいて特定することができる。また、Δαは、車両１が旋回したことに起因する水平面内の輝点位置方向の変化量であり、撮影画像Ｐｉの撮影時におけるカメラ２の光軸方向に対する、今回の撮影画像Ｐ０の撮影時におけるカメラ２の光軸方向の変化角度である。
【００６９】
過去の撮影画像Ｐ１〜Ｐｍの参照位置を特定した後は、続いてステップ２３０で、それら撮影画像Ｐ１〜Ｐｍ中の参照位置および今回の撮影画像Ｐ０に基づいて、輝点位置の輝度が急激に変化しているか否かを判定する。
【００７０】
具体的には、各撮影画像Ｐｉ（ｉは１からｍまでの整数）において、その撮影画像Ｐｉの参照位置の輝度と、次に撮影された撮影画像Ｐｉ−１の参照位置（Ｐｉ−１＝Ｐ０なら輝点位置）の輝度との差の絶対値Ａｉを算出する。そして、絶対値Ａ１〜Ａｍのうち、所定の閾値を超えている絶対値の数が所定数（例えば３）以上であれば、輝点位置の輝度が急激に変化していると判定し、所定数未満であれば、輝点位置の輝度が急激に変化していないと判定する。
【００７１】
信号機４の発光体には情報が重畳されているので、輝度の時間的な変化が激しくなっている。一方、信号機４の光っている発光体以外の部分および信号機４の周囲は、輝度の時間的な変化が光っている発光体に比べて非常に緩やかである。従って、図１５に示すように、ある時刻ｔの撮影画像中の輝度分布７１と、信号機４における１ビットの送信時間程度の大きさの時間Δｔが経過した時刻ｔ＋Δｔの撮影画像中の輝度分布７２とを、車両１の位置変化および姿勢変化のずれを補正した上で比較すれば、光っている発光体の部分のみの変化が大きくなっていて、他の部分の変化はほとんどないということになる。
【００７２】
したがって、上記のように、絶対値Ａ１およびＡｍのうち、所定数以上が閾値より大きければ、輝点位置は、光っている発光体が写っている位置を正しく捉えている可能性が高い。
【００７３】
輝点位置の輝度が急激に変化していないと判定した場合、続いてステップ２４０に進み、スキャン範囲中にまた輝点位置になっていない画素があるか否かを判定し、あればステップ２４５に進み、スキャン範囲中でまた輝点位置になっていない画素に、輝点位置をずらす。
【００７４】
このような、ステップ２２５、２３０、２４０、２４５の処理Ａを、ステップ２３０で輝点位置の輝度が急激に変化していると判定するまで繰り返す。そして、大きいと判定すれば、ステップ２３５に進み、その時点における輝点位置の輝度を信号輝度データとして復調部３７ｂに出力し、今回の信号輝度データ取得処理を終了する。
【００７５】
ただし、処理Ａを繰り返すことで、ステップ２４０において、新たに輝点位置とする画素がスキャン範囲からなくなったと判定すると、処理Ａを抜け出してステップ２５０に進む。
【００７６】
ステップ２５０では、今回の信号輝度データ取得処理の開始から規定時間（例えば、カメラ２による撮影時間間隔）が経過したか否かを判定し、経過していない場合は、ステップ２５５に進み、輝点位置を今回の撮影画像中のスキャン範囲外にずらした上で、再度ステップ２２０で、今回撮影画像よりも小さくかつ現時点の輝点位置を含む新たなスキャン範囲を決定し、その後、上述の通り処理Ａを繰り返す。
【００７７】
ただし、処理Ａを繰り返すことで、新たに輝点位置とする画素がスキャン範囲からなくなったとステップ２４０で判定した場合でも、今回の信号輝度データ取得処理の開始から規定時間が経過したとステップ２５０で判定すれば、輝点位置を再度スキャン範囲外にずらすことなく、信号輝度データ取得処理を終了する。この場合は、信号輝度データを復調部３７ｂに出力することなく、信号輝度データ取得処理を終了することになる。
【００７８】
次に、ステップ２０１で、前回の信号輝度データ取得処理で信号輝度データを取得したと判定した場合について説明する。この場合は、ステップ２１５に進み、前回の信号輝度データ取得処理における撮影画像Ｑ中の輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で信号機４の光っている発光体が写っている輝点位置を予測する。
【００７９】
具体的には、カメラ２の現在の位置および光軸を、上述の通り、車両１の現在の位置および向きから算出する。そして、カメラ２のフレームレートから、今回の撮影画像と撮影画像Ｑの撮影時刻の差Δｔを算出し、算出した時刻差Δｔと車両１の現在の車速Ｖから、撮影画像Ｑの撮影時点におけるカメラ２の位置を算出する。例えば、車両の現在の位置からカメラ２の現在の位置を特定し、その現在位置から現在の車両の向きとは逆方向に距離Ｖ×Δｔだけ移動した位置を、撮影画像Ｑの撮影時点におけるカメラ２の位置とする。
【００８０】
また、算出した時刻差Δｔと車両１の現在の旋回角速度ωから、撮影画像Ｑの撮影時点におけるカメラ２の光軸を算出する。例えば、車両の現在の向きからカメラ２の現在の光軸の向きを特定し、その光軸の向きから現在の車両の旋回方向とは逆向きに角度ω×Δｔだけずれた向きを、撮影画像Ｑの撮影時点におけるカメラ２の光軸の向きとする。
【００８１】
このようにして算出した今回の撮影画像の撮影時の位置および光軸、撮影画像Ｑの撮影の位置および光軸に基づいて、今回の撮影画像中の輝点位置を算出することができる。今回の撮影画像中の輝点位置の算出方法は、具体的には以下の通りである。まず、
α’＝α＋Δθ−Δα
β’＝β＋Δθ
という式を用いて、α、β、Δθ、Δαからα’、β’を算出する。ここで、α’は、今回の撮影画像の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度であり、αは、撮影画像Ｑの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の水平面内の角度である。β’は、今回の撮影画像の撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度であり、βは、撮影画像Ｑの撮影時の車両１の位置における、カメラ２から見た輝点位置の方向の鉛直面内の角度である。
【００８２】
この角度α’、β’が決まれば、図１１を用いて説明した通り、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて、今回の撮影画像中の参照位置６５の画素を特定することができる。
【００８３】
なお、α、βは、撮影画像Ｑの撮影時の輝点位置座標から、カメラ２の左右方向の視野角、上下方向の視野角、Ｘ方向（左右方向）の総画素数、Ｙ方向（上下方向）の総画素数に基づいて算出することができる。
【００８４】
ここで、Δθは、車両１が移動したことに起因する、カメラ２から見た輝点位置方向の水平面内および鉛直面内の変化量であり、Δθ＝α×ΔＬ／Ｌと近似する。ただし、ΔＬは、撮影画像Ｑの撮影時から今回の撮影画像の撮影時までの車両１の移動量であり、Ｌは、撮影画像Ｑの撮影時における、カメラ２から輝点位置の光源（すなわち信号機）までの距離であり、最後にステップ２０５で取得した信号機位置情報に基づいて特定することができる。また、Δαは、車両１が旋回したことに起因する水平面内の輝点位置方向の変化量であり、撮影画像Ｑの撮影時におけるカメラ２の光軸方向に対する、今回の撮影画像の撮影時におけるカメラ２の光軸方向の変化角度である。
【００８５】
続いてステップ２２０では、上述のステップ２１５の処理と同様に、今回の撮影画像において、今回の撮影画像よりも小さくかつ輝点位置を含むスキャン範囲を決定する。ステップ２２０に続いては、上述のステップ２２５、２３０、２４０、２４５から成る処理Ａを、ステップ２３０で輝点位置の輝度が急激に変化していると判定するまで繰り返す。そして、ステップ２３０で大きいと判定すれば、ステップ２３５に進み、その時点における輝点位置の輝度を信号輝度データとして復調部３７ｂに出力し、今回の信号輝度データ取得処理を終了する。
【００８６】
ただし、処理Ａを繰り返すことで、ステップ２４０において、新たに輝点位置とする画素がスキャン範囲からなくなったと判定すると、処理Ａを抜け出してステップ２５０に進む。
【００８７】
また、ステップ２５０では、今回の信号輝度データ取得処理の開始から規定時間が経過したか否かを判定し、経過していない場合は、ステップ２５５に進み、輝点位置を今回の撮影画像中のスキャン範囲外にずらした上で、再度ステップ２２０で、今回撮影画像よりも小さくかつ現時点の輝点位置を含む新たなスキャン範囲を決定し、その後、上述の通り処理Ａを繰り返す。
【００８８】
ただし、処理Ａを繰り返すことで、新たに輝点位置とする画素がスキャン範囲からなくなったとステップ２４０で判定した場合でも、今回の信号輝度データ取得処理の開始から規定時間が経過したとステップ２５０で判定すれば、輝点位置を再度スキャン範囲外にずらすことなく、信号輝度データ取得処理を終了する。この場合は、信号輝度データを復調部３７ｂに出力することなく、信号輝度データ取得処理を終了することになる。
【００８９】
以上説明した通り、制御部３７は、カメラ２から取得した撮影画像に対し、信号輝度データ取得処理（ステップ１３０）を実行し、信号輝度データ取得処理では、地図データ取得部３６を用いて発光体の設置位置を取得すると共に車両位置特定部３７ｄが算出した車両１の位置および向きを取得し（ステップ２０５）、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９０】
このように、撮影画像に対して信号輝度データ取得処理を実行する際、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定することで、撮影画像全体に対して輝点位置を見つけるための画像処理を施す場合に比べ、低い処理負荷で、輝点位置を特定することができる。つまり、信号輝度データ取得処理では、撮影画像全体を処理するのではなく輝度変調のかかった信号が撮像された画素を選択的に処理することにより、処理負荷を低減させることができる。
【００９１】
また、制御部３７は、カメラ２から取得した撮影画像のそれぞれに対し、信号輝度データ取得処理を実行し、各信号輝度データ取得処理では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、地図データ取得部３６を用いて発光体の設置位置を取得すると共に車両位置特定部３７ｄが算出した車両１の位置および向きを取得し（ステップ２０５）、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、推定した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９２】
また、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両位置特定部３７ｄが算出した車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測し（ステップ２１５）、予測した輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９３】
このように、逐次取得される撮影画像のそれぞれに対して信号輝度データ取得処理を実行する際、前回の信号輝度データ取得処理で信号輝度データを取得していない場合は、取得した発光体の設置位置ならびに車両１の位置および向きに基づいて、今回の撮影画像中で発光体が写っている輝点位置を推定し、前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、車両１の速度および旋回角速度に基づいて、今回の撮影画像中で発光体が写っている輝点位置を予測することで、輝点位置を捕捉している場合は、過去の輝点位置情報を利用したより精度の高い輝点位置の算出を行うことができる。
【００９４】
なお、上述のような画像処理部３７ａの処理により、画像処理部３７ａから復調部３７ｂへは、１ビット当たり２枚の撮影画像から得た信号輝度データが出力されるので、復調部３７ｂでは、信号輝度データを復調し、重畳されている情報を取得することができる。具体的には、復調部３７ｂは、今回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータが前回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータに比べて所定の閾値以上大きくなっていれば、マンチェスタ符号化された信号のハイレベルを再現し、今回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータが前回の信号輝度データ取得処理によって画像処理部３７ａから受けたデータに比べて所定の閾値以上小さくなっていれば、マンチェスタ符号化された信号のローレベルを再現する。そして、このようにすることで得られた信号（マンチェスタ符号化された信号）を周知の方法で復号すれば、元の情報を得ることができる。
【００９５】
また、制御部３７は、各信号輝度データ取得処理で、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で発光体が写っている輝点位置を推定し（ステップ２１０）、今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定し（ステップ２２０）、処理Ａを繰り返す。
【００９６】
また、制御部３７は、各信号輝度データ取得処理で、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で発光体が写っている輝点位置を予測し（ステップ２１５）、今回の撮影画像で、今回の撮影画像よりも小さくかつ輝点位置を含むスキャン範囲を決定し（ステップ２２０）、処理Ａを繰り返す。
【００９７】
そして、処理Ａでは、車両位置特定部３７ｄが算出した車両１の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前にカメラ２から受けた複数の撮影画像中で特定し（ステップ２２５）、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、それら複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否か、すなわち、輝点位置の輝度が激しく変化しているか否かを判定し（ステップ２３０）、激しく変化していないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす（ステップ２４５）、という処理を、激しく変化していると判定するまで繰り返す。
【００９８】
そして、処理Ａにおいて、激しく変化していると判定すれば、当該輝点位置の輝度を信号輝度データとして出力する（ステップ２３５）。
【００９９】
撮影画像中の発光体の部分の輝度は、その発光体に情報が重畳されているので、発光体以外の部分に比べて、時間的な変動が大きい。したがって、車両１の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、速度および旋回角速度に基づいて過去の撮影画像中で特定すれば、その参照位置と今回の撮影画像の輝点位置で変化が激しいか否かで、発光体の位置を正しく捉えているか否かを高い確度で判定できる。
【０１００】
そして、正しく捕捉できていなければ、今回の撮影画像中の輝点位置を、撮影画像よりも小さいスキャン範囲内でずらして、同じ方法でその輝点位置が発光体の位置を正しく捉えているかを再判定すれば、車両１の速度および旋回角速度を用いて小さい処理負荷で輝点位置を補正することができる。これは、前回の信号輝度データ取得処理で信号輝度データを取得している場合も取得していない場合も同じである。
【０１０１】
また、信号機が急に物陰に入り撮影できなくなった場合等は、輝点位置を何度もずらして発光体の写っている位置を探すことになるが、その間に、規定時間が過ぎた場合は（ステップ２５０）、信号輝度データを出力せず信号輝度データ取得処理を終了するので、次回の信号輝度データ取得処理は、信号機位置データと車両１の位置および向きに基づいて、輝点位置を推定し直すことになる。
【０１０２】
なお、このステップ２５０で用いる規定時間は、上述のように固定値であってもよいし、車両１の車速に応じて変化させるようになっていてもよい。例えば、車速が大きいほど撮影画像の変化が大きくなり、輝点位置を捕捉できなくなったと早めに判断することが望ましいことに鑑み、車速が大きいほど規定時間を短くするようになっていてもよい。
【０１０３】
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
【０１０４】
（１）上記実施形態では、輝点位置として特定する画素は、撮影画像中の１画素であるが、必ず１画素でなければならないというわけではない。輝点位置として特定する画素は、撮影画像の総画素数よりは十分小さければ（例えば、１００分の１以下であれば）縦２×横２の計４ドットでもよいし、縦３×横２の計６ドットでもよい。
【０１０５】
（２）また、上記実施形態において、ステップ２５０、２５５の処理は、必ず必要というわけではない。例えば、ステップ２４０で新たに起点位置とする画素がなくなった場合、信号輝度データを出力しないまま、信号輝度データ取得処理を終了してもよい。
【０１０６】
（３）また、上記実施形態では、ステップ２１０、２２０で推定または予測した輝点位置が正確でない場合の対策として、ステップ２２０、２２５、２３０、２４０、２４５、２５０、２５５の処理を実行するようになっている。しかし、ステップ２１０、２２０で推定または予測した輝点位置が、発光している発光体の位置を正確に捉えている可能性は常にあり、またその可能性は、車両位置特定部３７ｄの測定精度、信号機位置データの精度が高いほど向上する。したがって、ステップ２２０、２２５、２３０、２４０、２４５、２５０、２５５の処理を必ずしも実行しなくても、車両位置特定部３７ｄの測定精度、信号機位置データの精度に応じた確率で、信号機４からデータを受信することができる。
【０１０７】
（４）また、一般に、交差点には、その交差点への進入方向毎に異なる信号機が設置されている。そこで、信号機位置データは、交差点にある複数台の信号機の個々に対応してレコードが記録され、各レコードは、対象の信号機の発光体の設置位置座標と、その信号機が指示対象としている交差点進入方向との組から成る情報を含むようになっていてもよい。
【０１０８】
その場合、画像処理部３７ａは、ステップ２０５で信号機位置データからレコードを１つ抽出する際、誘導経路または車両１の走行方向から導かれる交差点への進入方向を特定し、その進入方向に対応するレコードのみを、抽出対象とするようになっていれば、より精度の高い輝点位置の推定が可能になる。
【０１０９】
（５）また、上記実施形態では、ステップ２０１の判定結果に応じて、ステップ２１５、２２０を実行するか、ステップ２０５、２１０を実行するかを切り替えている。しかし、ステップ２０１の判定結果に関わらず、常にステップ２０５から処理を実行するようになっていてもよい。
【０１１０】
（６）また、発光体の光に重畳する情報は、当該発光体の３次元位置を示す情報であってもよい。この場合、その位置情報を取得した情報処理部３７ｃは、その位置情報に基づいて、カメラ２の車両１に対する位置および向きのずれのデータを補正するようになっていてもよい。
【０１１１】
具体的には、画像処理部３７ａがある信号輝度データ取得処理のステップ２３５で、撮影画像の輝点位置（以下、確定輝点位置という）の信号輝度データを出力したとき、車両１の位置および向きの情報を車両位置特定部３７ｄから取得し、取得した位置および向きの情報と、上述のように信号機４から受信した位置情報とに基づいて、ステップ２１０で輝点位置を推定したのと同じ方法で、参照用の輝点位置を算出する。そして、この参照用の輝点位置と確定輝点位置との位置ずれに基づいて、カメラ２の車両１に対する位置および向きのずれのデータを補正する。例えば、撮影画像中で参照用の輝点位置が確定輝点位置より左側にずれていれば、カメラ２の車両１に対する位置および向きのずれのデータよりも、実際のカメラ２は左側にずれていると判定し、カメラ２の車両１に対する向きのずれのデータを、カメラ２がより左側に所定角度（例えば０．１℃）だけ傾いているように補正する。このような補正を繰り返すことで、カメラ２の車両１に対する位置および向きのずれのデータが、より正確になっていく。
【０１１２】
なお、このような補正は、発光体の光に重畳される当該発光体の３次元位置を示す情報を用いるのではなく、地図データ取得部３６が取得した信号機位置データを用いて行ってもよい。
【０１１３】
（７）また、発光体の光に重畳する情報は、当該発光体の３次元位置を示す情報である場合、この３次元位置情報と、地図データ取得部３６が取得した信号機位置データとを比較することで、目標の信号機の発光体から情報を受信しているか、あるいは別の信号機の発光体から情報を受信しているのかを判定するようになっていてもよい。
【０１１４】
具体的には、情報処理部３７ｃは、復調部３７ｂの出力結果に基づいて、信号機４が送信した発光体の３次元位置を示す情報を取得すると、画像処理部３７ａが信号輝度データ取得処理のステップ２０５を最後に実行したときに信号機位置データから取得した信号機の３次元位置情報（車両１に最も近い信号機の３次元位置情報）と、信号機４が送信した３次元位置情報とを比較し、それらが一致していれば、目標の信号機の発光体を捉えていると判定し、所定のフラグをオンとし、一致していなければ、目標の信号機の発光体を捉えていないと判定し、所定のフラグをオフとするようになっていてもよい。そして、画像処理部３７ａは、ステップ２０１で、当該フラグがオフならば、前回画像で信号を取得しているいないにかかわらず、ステップ２０５に進み、再度目標の信号機４の発光部を探すようになっていてもよい。このようにすることで、撮影画像中に複数の信号機が写っていても、目標の信号機４とは別の信号機から情報を取得し続けてしまう可能性が低減される。
【０１１５】
（８）また、上記実施形態では、情報が重畳された光を発する発光体は、信号機４の発光体に限らず、情報送信のためだけに設置される発光体であってもよい。
【０１１６】
（９）また、上記ステップ２２５では、過去の撮影画像Ｐｉの参照位置を特定する際、その撮影画像Ｐｉに対して信号輝度データ取得処理を実行したときに、輝点位置の信号輝度データをステップ２３５で出力していた場合は、当該輝点位置を当該撮影画像Ｐｉの参照位置とするようになっていてもよい。
【０１１７】
（１０）また、車載情報取得装置は、ナビゲーション装置でなくてもよく、車両位置情報を取得でき、発光体の位置情報さえ有していれば、ナビゲーション機能を備えておらずともよい。
【０１１８】
（１１）また、カメラ２の撮影方向（すなわち光軸）は、車両１の前方である必要はなく、車両１の横方向でもよいし、上方向でもよい。
【０１１９】
（１２）また、上記実施形態では、情報をマンチェスタ方式で符号化し、それをＲ、Ｙ、Ｇ信号のそれぞれに乗算するような方法で、Ｒ、Ｙ、Ｇ信号を情報で変調している。このようなマンチェスタ方式を用いた変調は、位相変調方式の一種であるＢＰＳＫに該当する。しかし、マンチェスタ方式を用いた変調は、所定時間以内に必ず発光輝度レベルの高低が反転する信号を生成するという目的を実現するための方式の一例に過ぎず、他の位相変調方式を用いても、同様の目的を実現することができる。また、位相変調方式の方式でも、この目的を実現できる方式なら、どのような方式を採用してもよい。
【０１２０】
（１３）また、制御部３７がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。
【符号の説明】
【０１２１】
１ 車両
２ カメラ
３ ナビゲーション装置
４ 信号機
３１ 位置検出器
３２ 画像表示装置
３３ 操作部
３４ 音声出力部
３５ 記憶部
３６ 地図データ取得部
３７ 制御部
３７ａ 画像処理部
３７ｂ 復調部
３７ｃ 情報処理部
３７ｄ 車両位置特定部
４１ 信号制御部
４２ 変調部
４３ 発光部
４４ 情報送出部
【特許請求の範囲】
【請求項１】
道路付近に設置された発光体が発する光に重畳された情報を取得する車載情報取得装置であって、
前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置および向きを算出する車両位置特定部（３７ｄ）と、
前記発光体の設置位置の情報を記憶媒体から読み取るかまたは無線通信によって取得する取得部（３６）と、
車両（１）に搭載されると共に前記車両（１）の外部を繰り返し撮影するカメラ（２）から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点における前記発光体の輝度を特定し、特定した輝度を信号輝度データとして出力する画像処理手段（３７ａ）と、
前記画像処理部（３７ａ）が出力した信号輝度データを復調し、復調結果のデータを生成する復調手段（３７ｂ）と、を備え、
前記画像処理手段（３７ａ）は、前記カメラ（２）から取得した撮影画像に対し、信号輝度データ取得処理（１３０）を実行し、信号輝度データ取得処理（１３０）では、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、前記撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力することを特徴とする車載情報取得装置。
【請求項２】
車両位置特定部（３７ｄ）は、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置、向き、速度、および旋回角速度を算出し、
前記画像処理手段（３７ａ）は、前記カメラ（２）から逐次取得した撮影画像のそれぞれに対し、信号輝度データ取得処理（１３０）を実行し、各信号輝度データ取得処理（１３０）では、
前回の信号輝度データ取得処理で信号輝度データを取得していない場合、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力し、
前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、予測した輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項１に記載の車載情報取得装置。
【請求項３】
前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、
今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、
前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、
前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項２に記載の車載情報取得装置。
【請求項４】
前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、
今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、
前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、
前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項２または３に記載の車載情報取得装置。
【請求項１】
道路付近に設置された発光体が発する光に重畳された情報を取得する車載情報取得装置であって、
前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置および向きを算出する車両位置特定部（３７ｄ）と、
前記発光体の設置位置の情報を記憶媒体から読み取るかまたは無線通信によって取得する取得部（３６）と、
車両（１）に搭載されると共に前記車両（１）の外部を繰り返し撮影するカメラ（２）から撮影画像を逐次取得し、取得した各撮影画像に基づいて、その撮影画像の撮影時点における前記発光体の輝度を特定し、特定した輝度を信号輝度データとして出力する画像処理手段（３７ａ）と、
前記画像処理部（３７ａ）が出力した信号輝度データを復調し、復調結果のデータを生成する復調手段（３７ｂ）と、を備え、
前記画像処理手段（３７ａ）は、前記カメラ（２）から取得した撮影画像に対し、信号輝度データ取得処理（１３０）を実行し、信号輝度データ取得処理（１３０）では、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、前記撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力することを特徴とする車載情報取得装置。
【請求項２】
車両位置特定部（３７ｄ）は、前記車両（１）に搭載されるセンサ（３１）から出力される検出信号に基づいて前記車両（１）の位置、向き、速度、および旋回角速度を算出し、
前記画像処理手段（３７ａ）は、前記カメラ（２）から逐次取得した撮影画像のそれぞれに対し、信号輝度データ取得処理（１３０）を実行し、各信号輝度データ取得処理（１３０）では、
前回の信号輝度データ取得処理で信号輝度データを取得していない場合、前記取得部（３６）を用いて前記発光体の設置位置を取得すると共に前記車両位置特定部（３７ｄ）が算出した前記車両（１）の位置および向きを取得し、取得した前記発光体の設置位置ならびに前記車両（１）の位置および向きに基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、推定した輝点位置の輝度を信号輝度データとして出力し、
前回の信号輝度データ取得処理で信号輝度データを取得している場合、前回の信号輝度データ取得処理における輝点位置と、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、予測した輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項１に記載の車載情報取得装置。
【請求項３】
前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得していない場合、今回の撮影画像中で前記発光体が写っている輝点位置を推定し、
今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、
前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、
前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項２に記載の車載情報取得装置。
【請求項４】
前記画像処理手段（３７ａ）は、各信号輝度データ取得処理（１３０）では、前回の信号輝度データ取得処理で信号輝度データを取得している場合、今回の撮影画像中で前記発光体が写っている輝点位置を予測し、
今回の撮影画像で、今回の撮影画像よりも小さくかつ前記輝点位置を含むスキャン範囲を決定して処理Ａを繰り返し、
前記処理Ａでは、前記車両位置特定部（３７ｄ）が算出した前記車両（１）の速度および旋回角速度に基づいて、今回の撮影画像の輝点位置と同じ車外の地点が写っている参照位置を、今回以前に前記カメラ（２）から受けた複数の撮影画像中で特定し、特定した参照位置の輝度および今回の撮影画像の輝点位置の輝度に基づいて、輝度の変化量を複数個算出し、前記複数個の変化量のうち、閾値より大きい変化量が所定数以上あるか否かを判定し、所定数以上ないと判定すれば、スキャン範囲中の他の位置に輝点位置をずらす、という処理を、所定数以上あると判定するまで繰り返し、
前記処理Ａにおいて、前記複数個の変化量のうち前記閾値より大きい変化量が前記所定数以上あると判定すれば、当該輝点位置の輝度を信号輝度データとして出力することを特徴とする請求項２または３に記載の車載情報取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−４３０９０（Ｐ２０１２−４３０９０Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８２２８０（Ｐ２０１０−１８２２８０）
【出願日】平成２２年８月１７日（２０１０．８．１７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月１７日（２０１０．８．１７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]