カメラシステム、衝突予測システム、駐車ガイドシステム
【課題】距離精度を向上できる。
【解決手段】正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備える。
【解決手段】正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステム、衝突予測システム、駐車ガイドシステムに関する。
【背景技術】
【０００２】
近年、自動車には様々な周囲監視装置が取り付けられるようになり、安全性が向上してきている。周囲監視装置は、距離センサを備え、距離センサは、主にソナーやミリ波レーダーを用いて、自動車と対象物との距離情報を取得する。
【０００３】
例えば、特許文献１には、自車の前方の画像を横に広く取り込むと共に、２点から画像を取り込むことで、視差により距離を画像から検出可能な広角ステレオカメラについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０２６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、取り込んだ画像中の位置により、結像の寸法（サイズ）が異なる。例えば、像高が高い場所においては、像が圧縮される。そのため、その画像に基づいて検出された距離精度が低くなるという欠点があった。この詳細について説明する。
【０００６】
通常、撮像レンズに半画角がωで入射する主光線と像高Ｙ’の間の関係は式（１）で表わされる。つまり、撮像素子に映し出される像は被写体と相似になる。ここで、像高とは、結像面上の像の位置を光軸からの距離で表した値である。また、半画角とは、被写体がレンズの光軸となす角である。
【０００７】
【数１】
【０００８】
ここで、fは撮像レンズの焦点距離である。
一方、広い視野をもつ、超広角レンズを用いて撮像すると、画像の中心部と画像の端の部分とでは結像の寸法が異なる。つまり、像高が高い場所では中心に比べ結像の寸法が小さくなる。例えば、超広角レンズのひとつである等立体角射影レンズの場合、半画角ωで入射する主光線と像高Ｙ’の間の関係は式（２）で表わされる。
【０００９】
【数２】
【００１０】
式（２）によれば、撮像素子に映し出される像は、式（１）の場合とは異なり、被写体と相似にならない。
従って、超広角レンズを使用したステレオカメラで距離測定を行った場合、像高が大きい場所では結像の寸法が小さくなるので、距離精度が低くなるという課題があった。
【００１１】
本発明は上記の点に鑑みてなされたものであり、距離精度を向上できるカメラシステム、衝突予測システム、駐車ガイドシステムを提供する。
【課題を解決するための手段】
【００１２】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備えることを特徴とするカメラシステムである。
【００１３】
（２）また、本発明の一態様は、上記のステレオカメラにおいて、前記少なくとも２つの光学部は、前記正対する光の方向と直交する方向に並べて配置されることを特徴とする。
【００１４】
（３）また、本発明の一態様は、上記のステレオカメラにおいて、前記光学素子は、プリズムであることを特徴とする。
【００１５】
（４）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学素子の間に間隙が設けられ、前記間隙を通して前記正対する方向とは異なる方向の光が前記撮像素子に結像されることを特徴とする。
【００１６】
（５）また、本発明の一態様は、正対する光の進行方向を一方光へ変える一つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備えることを特徴とするカメラシステムである。
【００１７】
（６）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、移動体の移動方向とは垂直の方向に一定の間隔を開けて前記移動体に配置されることを特徴とする。
【００１８】
（７）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、前記光学素子のみを前記移動体のボディー外に有することを特徴とする。
【００１９】
（８）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、前記移動体の移動方向の略中央に設けられることを特徴とする。
【００２０】
（９）また、本発明の一態様は、上記のステレオカメラにおいて、前記光学部における前記光学素子の位置が変えられることによって撮像範囲を変えることを特徴とする。
【００２１】
（１０）また、本発明の一態様は、上記のステレオカメラにおいて、前記移動体は、自動車であって、前記光学部の撮影範囲に前記自動車の前後のバンパーが含まれるように前記光学系が取り付けられることを特徴とする。
【００２２】
（１１）また、本発明の一態様は、請求項６記載のカメラシステムと、前記カメラシステムが算出した距離情報に基づいて、移動体が衝突の可能性があると判定した場合に、運転手への警告又は運転補助を行う衝突予測部と、を備えることを特徴とする衝突予測システムである。
【００２３】
（１２）また、本発明の一態様は、請求項６記載のカメラシステムと、前記カメラシステムが算出した距離情報に基づいて、駐車スペースを検知し、検知した駐車スペースと自動車の大きさに基づいて駐車を補助する駐車ガイド部と、を備えることを特徴とする駐車ガイドシステムである。
【発明の効果】
【００２４】
本発明によれば、距離精度を向上できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る自動車の構成を示す概略ブロック図である。
【図２】本実施形態に係るカメラモジュールの構造を示す模式図である。
【図３】本実施形態に係る自動車Ａを示す上面図である。
【図４】本実施形態に係る自動車Ａの正面図である。
【図５】本実施形態に係る自動車Ａの右側面図である。
【図６】本実施形態に係るカメラモジュールの撮像範囲の一例を示す概略図である。
【図７】本実施形態に係る自動車Ａの正面図の別の一例である。
【図８】本実施形態に係る光学系の構成を示す別の一例を示す模式図である。
【図９】本実施形態に係るトラックＡの模式図である。
【図１０】本実施形態に係るカメラモジュールが取り付けられた固定治具を示す模式図である。
【図１１】本実施形態に係るカメラモジュール装着穴の配置を示す模式図である。
【図１２】本実施形態に係る固定治具付カメラモジュールＪの取り付けの一例を説明する説明図である。
【図１３】本実施形態に係るカメラモジュールを取り付けた様子を示す模式図である。
【図１４】本実施形態に係る距離算出部１４が行う距離算出処理を説明する説明図である。
【図１５】本実施形態に係るＥＣＵ２が行う相対速度計算処理を説明する説明図である。
【図１６】本実施形態に係る駐車補助の一例を示す説明図である。
【図１７】本実施形態に係る死角監視の一例を示す説明図である。
【図１８】本実施形態に係るドア警告の一例を示す説明図である。
【図１９】本実施形態の変形例に係るカメラモジュールの構造を示す模式図である。
【図２０】本発明の自動車の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００２６】
＜車載用カメラシステムの構成＞
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の自動車（衝突予測システム、駐車ガイドシステム）Ａの構成を示す概略ブロック図である。図示する例では、自動車Ａは、車載用カメラシステム（カメラシステム）１、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２、加速装置３、制動装置４、方向変換装置５、モニター６、及びスピーカー７を含んで構成される。
【００２７】
車載用カメラシステム１は、異なる位置に配置された２つのカメラモジュールで撮像して画像情報を生成し、生成した画像情報に基づいて距離情報を生成する。
ＥＣＵ２は、車載用カメラシステム１が生成した距離情報及び画像情報に基づいて、後続車との相対速度を示す情報、駐車時の車庫のスペースを示す情報等を生成する。ＥＣＵ２は、生成した情報に基づいて、加速装置３、制動装置４、方向変換装置５を制御すると共に、モニター６、スピーカー７を通じて運転者に情報を報知する。
加速装置３は、自動車Ａの速度を調整する。制動装置４は、自動車Ａを減速又は停止させる。方向変換装置５は、自動車Ａの進行方向を変更する、モニター６は、撮像した画像を表示する。スピーカー７は、警報音やガイド音声を発する。
【００２８】
車載用カメラシステム１は、カメラモジュールＣ１，Ｃ２及び距離算出部１４を含んで構成される。カメラモジュールＣｉ（ｉ=１、２）は、光学系（光学部）１１−ｉ、撮像素子１２−ｉ及び信号処理部１３−ｉを含んで構成される。光学系１１−ｉは、第１のプリズム１１１−ｉ、第２のプリズム１１２−ｉ及び撮像レンズ１１３−ｉを含んで構成される。
【００２９】
第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、３角柱状の形をした透明な材質からなる多面体であり、光を反射する。第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、それぞれ正対する光の進行方向を一方向へ変える。
撮像レンズ１１３−ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉから入射された光及び第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間（図２の撮像レンズ１１３−１の光軸方向）から入射された光を撮像素子１２−ｉ上に結像させる。
撮像素子１２−ｉは、撮像レンズ１１３−ｉが結像させた光を電気信号に変換する。撮像素子１２−ｉは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの素子を用いることができる。撮像素子１２−ｉは、撮像した画像を示す画像情報を信号処理部１３−ｉに出力する。
信号処理部１３−ｉは、撮像素子１２−ｉから入力された画像情報にデモザイクやノイズリダクション等の処理を行う。信号処理部１３−ｉは、処理を行った画像情報を距離算出部１４に出力する。
【００３０】
距離算出部１４は、信号処理部１３−１、２から入力された画像情報に基づいて両画像間の視差を計算する。ここで、例えば、距離算出部１４は、第１のプリズム１１１−１から入射した光によって生成された画像情報を右眼画像の画像情報とし、第１のプリズム１１１−２から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。また、距離算出部１４は、第２のプリズム１１２−１から入射した光によって生成された画像情報を右眼画像の画像情報とし、第２のプリズム１１２−２から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。後述するように、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとは、逆向きに配置されるので（図２参照）、右眼と左眼が逆転する。
また、距離算出部１４は、撮像レンズ１１３−１の光軸方向から入射した光によって生成された画像情報を右眼画像の画像情報とし、撮像レンズ１１３−２の光軸方向から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。
距離算出部１４は、計算した視差と、基線長とに基づいて、被写体までの距離を算出する。ここで、基線長とは、カメラモジュールＣ１のプリズムの中心軸と，Ｃ２のプリズムの中心軸の間の距離である。ここで、プリズムの中心軸とは、プリズムの入射面と垂直な方向であって、入射面の中心を通る軸である。距離算出部１４が行う距離算出処理の詳細については後述する。
なお、図１では、車載用カメラシステム１は、２つ（１対）のカメラモジュールＣ１，Ｃ２を含んでいるが、複数のカメラモジュールを備えてもよい。なお、１対のカメラモジュールを含む複数の車載用カメラシステム１が１つのＥＣＵ２に接続されていてもよい。
【００３１】
図２は、本実施形態に係るカメラモジュールＣｉの構造を示す模式図である。以下、第１のプリズム１１１−ｉの中心軸と平行で第１のプリズム１１１−ｉから光が入射してくる方向を第１の方向といい、第２のプリズム１１２−ｉの中心軸と平行で第２のプリズム１１２−ｉから光が入射してくる方向を第２の方向という。また、撮像レンズ１１３−１の光軸方向を第３の方向ともいう。
【００３２】
第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、互いに反射面が交差するように配置されている。第１の方向から入射された第１の光は、第１のプリズム１１１−ｉの反射面で反射される。第２の方向から入射された第２の光は、第２のプリズム１１２−ｉの反射面で反射される。第１の光及び第２の光は、撮像レンズ１１３−ｉに入射される。撮像レンズ１１３−ｉに入射された第１の光及び第２の光は、撮像素子１２−ｉ上に結像される。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉは、例えば、撮像レンズ１１３−ｉの光軸を含む平面で切った断面が直角三角形となる直角プリズムとして構成されている。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉは、撮像レンズ１１３−ｉの光軸と直交する方向に隙間を空けて配置されている。
【００３３】
第１のプリズム１１１−ｉをはさんで第２のプリズム１１２−ｉとは反対側から入射した光は、第１のプリズム１１１−ｉの反射面で反射されて撮像レンズ１１３−ｉに入射し、撮像レンズ１１３−ｉによって撮像素子１２−ｉの受光面に結像される。第２のプリズム１１２−ｉをはさんで第１のプリズム１１１−ｉとは反対側から入射した光は、第２のプリズム１１２−ｉの反射面で反射されて撮像レンズ１１３−ｉに入射し、撮像レンズによって撮像素子１２−ｉの受光面上に結像される。つまり、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉで反射した光は交差する。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間に入射した光は、第１のプリズム１１１−ｉの反射面及び第２のプリズム１１２−ｉの反射面で反射されることなく撮像レンズ１１３−ｉに入射し、撮像レンズ１１３−ｉによって撮像素子１２−ｉの受光面上に結像される。すなわち、撮像素子１２−ｉの受光面上には、３方向から入射した光が結像される。ここで、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、第１のプリズム１１１−ｉから入射した光の受光面上の位置と、第２のプリズム１１２−ｉから入射した光の受光面上の位置と、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間から入射した光の受光面上の位置とが、異なる位置になるように、配置又はその形状が決められている。
なお、光の反射面には、プリズムではなくミラーを用いてもよい。ただし、プリズムのほうが小型化できる利点がある。また、撮像レンズ１１３−ｉの半画角ωで入射する主光線と像高Ｙ’の間の関係は式（１）で表わされる。
【００３４】
＜車載用カメラシステムの配置＞
以下は、カメラモジュールＣｉの自動車Ａへの搭載例を示す。
図３は、本実施形態に係る自動車Ａを示す上面図である。またこの図は、カメラモジュールＣｉの撮像範囲を表す。図示する例では、Ｘ軸が自動車Ａの進行方向、Ｙ軸が自動車Ａの左側面から右側面へ向かう車幅方向、Ｚ軸が自動車Ａの高さ方向を表す。カメラモジュールＣ１及びＣ１’は、それぞれ、自動車Ａの左側面及び右側面に配置されている。なお、カメラモジュールＣ１’は、カメラモジュールＣ１と同様の構成を備える。また、カメラモジュールＣ１及びＣ１’は、それぞれ、自動車Ａの略中心部分に配置されている。
【００３５】
カメラモジュールＣ１について説明すると、第１のプリズム１１１−１は、右側面前側撮像範囲（Ｘ軸の正の方向、第１の方向）から入射された光を撮像レンズ１１３−１を介して撮像素子１２−１の受光面上に結像させる。同様に第２のプリズム１１２−１は、右側面後側撮像範囲（Ｘ軸の負の方向、第２の方向）から入射された光を撮像レンズ１１３−１を介して撮像素子１２−１の受光面上に結像させる。また、左側面横側撮像範囲（Ｙ軸の負の方向、第３の方向）から第１のプリズム１１１−１と第２のプリズム１１２−１との隙間に入射した光は、第１のプリズム１１１−１の反射面及び第２のプリズム１１２−１の反射面で反射されることなく撮像レンズ１１３−１に入射し、撮像レンズ１１３−１によって撮像素子１２−１に結像される。
【００３６】
図４は、本実施系形態に係る自動車Ａの正面図である。カメラモジュールＣ１、Ｃ２は、自動車Ａの左側面において高さ方向に異なる位置に配置されている。また、カメラモジュールＣ１’、Ｃ２’も、自動車Ａの右側面において高さ方向に異なる位置に配置されている。
カメラモジュールＣ１、Ｃ１’は、自動車Ａのバンパーより高い位置に配置されている。カメラモジュールＣ２、Ｃ２’は、自動車Ａのバンパーより低い位置に配置されている。
つまり、カメラモジュールＣｉは、自動車Ａのバンパーが、カメラモジュールＣｉの略中央の高さとなるように配置されている。これにより、自動車Ａの中で他の部分と比較してぶつけやすいバンパーの高さで、距離情報を算出でき、自動車Ａの衝突を回避しやすくなる。つまり、カメラモジュールＣ１、Ｃ２は、移動体（自動車Ａ）の中で突出している箇所が中心になるように配置されている。ただし、本発明はこれに限らず、例えば、カメラモジュールＣ１、Ｃ２は、運転手の目線の高さが中心になるように配置されてもよい。
【００３７】
図５は、本実施系形態に係る自動車Ａの右側面図である。図示する例では、カメラモジュールＣｉは、自動車Ａの右側面の前ドアに配置されている。カメラモジュールＣ１は、カメラモジュールＣ２と高さ方向に隙間を開けて配置されている。
【００３８】
図６は、本実施系形態に係るカメラモジュールＣｉの撮像範囲の一例を示す概略図である。この図は、自動車Ａの高さ方向の撮像範囲を表す。点線で示される範囲は、カメラモジュールＣ１が撮像する画像の高さ方向の範囲であるカメラモジュールＣ１の撮像範囲を示す。破線で示される範囲は、カメラモジュールＣ２が撮像する画像の高さ方向の範囲であるカメラモジュールＣ２の撮像範囲を示す。点線で示される範囲と破線で示される範囲との重複範囲は、カメラモジュールＣ１、Ｃ２の双方により撮像される範囲である。カメラモジュールＣ１、Ｃ２の双方により撮像される範囲にある被写体に対しては、後述するように距離情報を得ることができる。なお、カメラモジュールＣ１、Ｃ２の前側撮像範囲及びカメラモジュールＣ１、Ｃ２の後方撮像範囲は略一致するように調整しておく。
【００３９】
図７は、自動車Ａの正面図の別の一例である。この例では、カメラモジュールＣ１、Ｃ２は、自動車Ａの左側面のドアミラーに配置されている。カメラモジュールＣ１、Ｃ２は、高さ方向の異なる位置に配置されている。一方、カメラモジュールＣ１’、Ｃ２’は、自動車Ａの右側面のドアミラーに配置されている。カメラモジュールＣ１’、Ｃ２’は、ドアミラーのボディーから最も離れた位置に高さ方向に並んで配置されている。ドアミラーは、自動車Ａの幅方向の最も中心から離れた位置にあるため、自動車Ａに付随する構造物によって視野をさえぎられることがない。また、ドアミラーは元々自動車Ａのボディーから突出ているため、更にカメラモジュールＣｉ、Ｃｉ’を取り付けてもカメラモジュールＣｉ、Ｃｉ’が目立たないという利点がある。
【００４０】
図８は、光学系の構成の別の一例を示す模式図である。図示する例では、カメラモジュールＣｉ内で第１のプリズム１１１−ｉを第３の方向に近づけ、第２のプリズム１１２−ｉを第３の方向から遠ざけた状態を示している。その結果、点線で示される前方撮像範囲及びそれに対応する結像は広がり、破線で示される後方撮像範囲およびそれに対応する結像は狭くなる。このように、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉの位置を変更することにより、前方撮像範囲と後方撮像範囲の広さを変更することができる。
【００４１】
図９は、本実施形態に係るトラックＡの模式図である。図９（ａ）は、カメラモジュールＣｉを装着したトラックの右側面図である。図９（ｂ）は、カメラモジュールＣｉを装着したトラックの上面図である。
トラックのように操縦部（運転席）と荷台が離れている場合は、カメラの取り付け場所は操縦部に近い場所とする。図９（ｂ）に点線で示した領域は、前側撮像範囲と後側撮像範囲とが等しい視野角を持つ場合を示している。この場合、後方の撮像範囲が広くなるのに対し、前方の撮像範囲は後方に比べて狭くなる。このような場合は、図８を用いて説明したように、前側撮像範囲を広げて、後側撮像範囲を狭める。前側撮像範囲を広げて、後側撮像範囲を狭めた場合の前側撮像範囲と後側撮像範囲を実線で示す。このように撮像範囲を変更することにより、トラックの４隅における確認できる範囲を合わせてもよい。これにより、前側撮像範囲と後側撮像範囲が、車体からほぼ等距離の範囲となるため、前側撮像範囲と後側撮像範囲の双方について所望の距離情報を得ることができる。
【００４２】
＜車載用カメラシステムの取り付け＞
図１０は、本実施形態に係る固定治具Ｊ１にカメラモジュールＣｉが取り付けられた状態を示す模式図である。図１０（ａ）は、固定冶具Ｊ１にカメラモジュールＣｉが取り付けられた固定治具付カメラモジュールＪの正面図である。図１０（ｂ）は、固定治具付カメラモジュールＪの側面図である。図示する例では、固定冶具Ｊ１は直方体であり、その長手方向の一方の端にカメラモジュールＣ１が、もう一方の端にカメラモジュールＣ２がそれぞれ取り付けられている。
【００４３】
カメラモジュールＣｉは、第１のプリズム１１１−１の中心軸（前方中心軸ともいう。第１の方向）及び第２のプリズム１１２−１の中心軸（後方光中心軸ともいう。第２の方向）が、固定冶具Ｊ１の長手方向と垂直になるように配置される。このとき、カメラモジュールＣ１、Ｃ２は、その前側撮像範囲、後側撮像範囲、及び横側撮像範囲が略一致し、かつ前方中心軸、後方中心軸がカメラモジュールＣ１、Ｃ２間で平行となるように配置される。例えば、ボディーに丸みがある場合には、カメラモジュールＣ１、Ｃ２を治具なしで配置されると、その前側撮像範囲、後側撮像範囲、及び横側撮像範囲、前方中心軸、及び後方中心軸を合わせるのが困難な場合がある。しかし、固定治具付カメラモジュールＪが用いられることにより、そのような場合でも正確にカメラモジュールＣｉを配置することが可能となる。
【００４４】
図１１は、本実施形態に係るカメラモジュール装着穴Ｈ１、Ｈ２の配置を示す模式図である。カメラモジュール装着穴Ｈ１、Ｈ２は、固定治具付カメラモジュールＪが取り付けられる穴であり、カメラモジュールＣｉを収容できる大きさを持つ穴である。カメラモジュール装着穴Ｈ１、Ｈ２は、固定治具付カメラモジュールＪに取り付けられたカメラモジュールＣｉがちょうど収まる位置に設けられている。
【００４５】
図１２は、本実施形態に係る固定治具付カメラモジュールＪの取り付けの一例を説明する説明図である。固定治具付カメラモジュールＪは、ボディーの車内側から取り付けられる。カメラモジュールＣｉは、カメラモジュール装着穴Ｈ１、Ｈ２を通じてボディー表面から突出るように固定される。固定治具付カメラモジュールＪは、例えば、固定ねじＳｃによってボディーに固定される。この際、ボディーには、固定ねじＳｃの締結部に固定部材Ｂが備えられていてもよい。
【００４６】
図１３は、本実施形態に係るボディーにカメラモジュールＣｉを取り付けた様子を示す模式図である。突出量Ｌは、第１のプリズム１１１−１及び第２のプリズム１１２−１の視野が妨げられない範囲で、小さいほうが好ましい。例えば、図１３では、カメラモジュールＣｉは、プリズム以外がボディー内部に極力配置され、撮像に必要最低限の部分のみを突出させるように配置されている。ここで、突出量Ｌとは、自動車Ａのボディー表面から第３の方向に向けて測定したカメラモジュールＣｉの先端までの距離を示す。突出量Ｌが小さいほど、空気抵抗を小さくすることができる。例えば、突出量Ｌは、例えば、プリズムの入射面の第３の方向の幅と、同程度（例えば、高さの９０％〜１１０％の範囲）である。
【００４７】
＜車載用カメラシステムの測距方法＞
図１４は、本実施形態に係る距離算出部１４が行う距離算出処理を説明する説明図である。カメラモジュールＣ１、Ｃ２は、高さ方向に異なる位置に配置されている。従って、カメラモジュールＣ１、Ｃ２が撮像した被写体の画像は、図１４（ａ）、（ｂ）に示すように上下にずれている。
例えば、被写体のナンバープレートが、カメラモジュールＣ１が撮影した画像では、（Ｈ、Ｖ１）、カメラモジュールＣ２が撮影した画像では、（Ｈ、Ｖ２）に撮像される。ここで、（Ｘ、Ｙ）とは、撮像した画像の左上を原点とし、水平方向右向きにＸ軸を、垂直方向下向きにＹ軸を設定したときの座標値（ピクセル数）を示す。
【００４８】
距離算出部１４は、これら２つの異なる視点から撮像した画像から同一被写体を判別する。同一被写体を判別する方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いたブロックマッチングや、グラフカット、ダイナミックプログラミングなどの一般的なステレオマッチング手法が用いられる。距離算出部１４は、異なる視点から撮像した画像における同一被写体の位置（Ｘ、Ｙ）をそれぞれ算出する。
カメラモジュールＣｉでは、水平方向の視野角は略一致させてあるため、被写体の水平方向の座標値は等しくＨとなっている。一方、垂直方向では、カメラモジュールＣ１、Ｃ２の配置のずれに起因して、撮像した画像に視差ΔＶ（＝Ｖ１−Ｖ２）が生じる。ここで、カメラモジュールＣ１はＣ２の上部に取り付けられているため、ΔＶは常に非負の値をとる。ΔＶは、被写体が無限遠にある場合は「０」となり、距離が近くになるに従って大きくなる。カメラモジュールＣ１、Ｃ２から被写体までの距離Ｚは式（３）を用いて算出できる。
【００４９】
【数３】
【００５０】
ここで、Ｖ１は、カメラモジュールＣ１が撮像した被写体画像の垂直方向の座標値、Ｖ２は、カメラモジュールＣ２が撮像した被写体画像の垂直方向の座標値、ｆは撮像レンズ１１３−ｉの焦点距離、ｂは基線長、Ｐは撮像素子１２−ｉの画素ピッチを表す。
【００５１】
＜ＥＣＵの動作＞
ＥＣＵ２は、距離算出部１４が算出したカメラモジュールＣ１、Ｃ２と被写体との間の距離Ｚを示す距離情報を入力される。ＥＣＵ２は、入力された距離Ｚに基づいて、後述するように、被写体との相対速度や被写体の絶対速度、衝突までの推定時間を算出し、危険度の判断を行う。衝突の危険がある場合はモニターやスピーカーを使用して運転手へ警告を出すほか、加速装置３や制動装置４や方向変換装置５などを自動制御することにより危険を回避する。
【００５２】
＜車載用カメラシステムの応用＞
図１５は、ＥＣＵ２が行う相対速度計算処理を説明する説明図である。この図は、自動車Ａと他自動車との相対速度を計算する場合の処理を説明する説明図である。
ＥＣＵ２は、距離情報が示す距離Ｚの変化に基づいて自動車Ａと他自動車との相対速度を計算する。ＥＣＵ２は、計算した相対速度にと距離Ｚに基づいて自動車Ａと他自動車との衝突までの推定時間を計算する。具体的には、自動車Ａと他自動車との相対速度は次のように計算する。
例えば、ＥＣＵ２は、時刻０において、自動車Ａの速度Ｖｍを検出し、また、他自動車との距離Ｚ０を示す距離情報が距離算出部１４から入力される。ＥＣＵ２は、時刻ｔｖ１において、自動車Ａの速度Ｖｍを検出し、また、他自動車との距離Ｚ１を示す距離情報が距離算出部１４から入力される。このとき、ＥＣＵ２は、次式（４）を用いて、自動車Ａと他自動車との相対速度Ｖｒを算出する。
【００５３】
【数４】
【００５４】
また、ＥＣＵ２は、この相対速度と他自動車との距離Ｚ１を示す距離情報から衝突までの推定時間taを式（５）を用いて、算出する。
【００５５】
【数５】
【００５６】
また、ＥＣＵ２は、他自動車の絶対速度Ｖａを、相対速度Ｖｒと自車速度Ｖｍから算出する（式（６））。
【００５７】
【数６】
【００５８】
ＥＣＵ２は、相対速度や衝突までの時間に基づいて、警告や制御の内容を選択する。ＥＣＵ２は、選択した内容に基づいて、運転手にアナウンスを行う。ＥＣＵ２は、選択した内容に基づいて、制動装置４や方向変換装置５を動作するなどの運転補助を行う。例えば、ＥＣＵ２は、後側から衝突する危険のある車が接近してきた場合には、モニター６で警告表示やスピーカー７等から音を鳴らす事によって運転者に注意を促す。
また、ＥＣＵ２は、相対速度や衝突までの時間などに基づいて衝突の可能性が高くなったと判定した場合には、方向変換装置５の操作に対してタイヤの切れ角を大きくする。ＥＣＵ２は、また加速装置３や制動装置４、方向変換装置５等を自動で制御し衝突を回避する。
ＥＣＵ２は、衝突回避が不可能であると判定した場合には、はプリクラッシュ制動装置を作動させて衝突速度を低減し、同時にシートベルトで運転者を拘束し、衝突による衝撃を軽減させる。ＥＣＵ２は、ヘッドレストやエアバックを制御し、搭乗者への衝撃を緩和するように制御する。またＥＣＵ２は、安全に車線変更等を行う為に、後続車の絶対速度や距離などをモニター等に表示して運転手に速度を教える。
【００５９】
図１６は、駐車補助の一例を示す説明図である。ＥＣＵ２は、駐車時に側面カメラの横側確認を使用して、空いている空間を確認し、駐車動作補助を行う。つまり、運転者は、時刻ｔｐ０からｔｐ１の間自動車Ａを前進させる。車載用カメラシステム１は、時刻ｔｐ０からｔｐ１に渡って車側面にある被写体の距離情報を取得する。ＥＣＵ２は、自動車Ａから障害物まで距離情報を式（３）を用いて算出する。ＥＣＵ２は、得られた距離情報と、自動車Ａの速度に基づいて空いているスペースの位置及び広さを算出する。ＥＣＵ２は、算出したスペースと、自車の大きさとを比較し、駐車可能か否かを判断する。
ＥＣＵ２は、車を駐車可能と判断した場合には、その空間に自動車Ａを入れるようにモニターやスピーカーによって情報を報知することにより運転サポートを行う。また、自動で加速装置３、制動装置４、方向変換装置５を制御する自動駐車を行う。
【００６０】
図１７は、死角監視システムの一例を示す説明図である。交差点で、右折しようとしている自動車Ａに正対して同様に右折をしようとしている対向車Ｂが存在するとき、自動車Ａからみて対向車Ｂの右後方は対向車Ｂに視線をさえぎられて死角となる場合がある。この場合、運転者には、死角となっている領域から別の死角車Ｃが来ているか否かが分からないことがある。このような場合、ＥＣＵ２は、自動車Ａと死角車Ｃとの距離、自動車Ａと死角車Ｃとの相対速度、衝突までの推定時間などを計算し、計算した結果に基づいて、安全に右折ができるか否かを判定する。ＥＣＵ２は、運転手に、モニターやスピーカーを通じてアナウンスを行う。ＥＣＵ２は、危険と判定したときは加速装置ロックをして自動車Ａを発進させないなどの運転補助をする。
【００６１】
図１８は、ドア警告システムの一例を示す説明図である。自動車Ａが停車時に後側から車が接近してきた時、確認せずにドアを開けてしまうと大きな事故に繋がる。ＥＣＵ２は、車載用カメラシステム１を利用して後側車Ｄの速度や相対距離、絶対速度を計算する。ＥＣＵ２は、後方から車が接近していることを感知すると、ドアを開かないように警告をする。ＥＣＵ２は、算出した他車との距離や絶対速度に基づいて、安全にドアが開けられるか否かを判定する。ＥＣＵ２は、判定した結果に基づいて、運転手にモニターやスピーカーを使用してアナウンスしたり、危険な場合はドアロックをするなどの安全サポートをすることも可能である。
【００６２】
このように、本実施形態では、光学系１１−ｉでは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、正対する光の進行方向を一方光へ変える。光学系１１−ｉでは、撮像素子１２−ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、により進行方向を変えられた光を電気信号に変換する。距離算出部１４は、２つの光学系１１−ｉの撮像素子１２−ｉが変換した電気信号に基づいて距離情報を算出する。これにより、自動車Ａでは、距離の測定精度を向上できる。
【００６３】
（変形例）
図１９は、本実施形態の変形例に係るカメラモジュールＣ’ｉの構造を示す模式図である。本変形例に係るカメラモジュールＣ’ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉに代わって第３のプリズム１１４−ｉが加わったことを除いて、上述の実施形態におけるカメラモジュールＣｉの構成と同様である。上述の実施形態と同様の構成については説明を省略する。
第３のプリズム１１４−ｉは、例えば、撮像レンズ１１３−ｉの光軸及び第１の方向を含む平面で切った断面が等脚台形であり、長さの等しい２つの斜辺の一方の辺から入射された第１の光は他方の斜辺で反射され、撮像レンズ１１３−ｉに入射する。第２の光は、第１の光を反射した斜辺から入射され、第１の光を入射した斜辺で反射され、撮像レンズ１１３−ｉに入射される。撮像レンズ１１３−ｉに入射された第１の光及び第２の光は、撮像素子１２−ｉ上に結像される。また、等脚台形の平行な２辺のうち、短辺側から入射した第３の光は、直接撮像レンズ１１３−ｉに入射され、撮像素子１２−ｉ上に結像される。
ここで、第１の光の受光面上の位置、第２の光の受光面上の位置、及び第３の光の受光面上の位置とは、各々異なる位置になるように、配置又はその形状が決められている。
この構成により、１つのプリズムで、第１、第２、第３の方向から入射する光を、撮像レンズ１１３−ｉを介して撮像素子１２−ｉ上に結像させることができる。
【００６４】
図２０は、本発明の自動車（衝突予測システム）Ａ’の構成を示す概略ブロック図である。本変形例に係る自動車Ａ’は、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉに代わって、第３のプリズム１１４−ｉが加わったことを除いて、上述の実施形態における自動車Ａの構成と同様である。上述の実施形態と同様の構成については説明を省略する。
第３のプリズム１１４−ｉは、台形の形をした透明な材質からなる多面体であり、光を反射する。第３のプリズム１１４−ｉは、それぞれ正対する光の進行方向を一方向へ変えると共に、第３の方向から入射した光をプリズムで反射することなく撮像素子１２−ｉ上に結像する。
【００６５】
このように、本変形例では、第３のプリズム１１４−ｉは、正対する光の進行方向を一方光へ変える。また、第３の方向から入射する光を、撮像レンズ１１３−ｉを介して撮像素子１２−ｉ上に結像する。撮像素子１２−ｉは、第３のプリズム１１４−ｉにより進行方向を変えられた光を電気信号に変換する。距離算出部１４は、２つの光学系１１−ｉの撮像素子１２−ｉが変換した電気信号に基づいて距離情報を算出する。これにより、本変形例では、１つのプリズムによって正対する相対する２方向から入射された光を撮像素子１２−ｉ上に結像するため、安価にカメラモジュールＣ’ｉを作成できる。
【００６６】
なお、上述した実施形態における自動車Ａ及びＡ’の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、自動車Ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における自動車Ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。自動車Ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６７】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６８】
１・・・車載用カメラシステム（カメラシステム）、２・・・ＥＣＵ、３・・・加速装置、４・・・制動装置、５・・・方向変換装置、６・・・モニター、７・・・スピーカー、１１−１、１１−２・・・光学系（光学部）、１２−１、１２−２・・・撮像素子、１３−１、１３−２・・・信号処理部、１４・・・距離算出部、１１１−１、１１１−２・・・第１のプリズム（光学素子）、１１２−１、１１２−２・・・第２のプリズム（光学素子）、１１３−１、１１３−２・・・撮像レンズ、１１４−１・・・第３のプリズム（光学素子）、Ａ、Ａ’・・・自動車（衝突予測システム、駐車ガイドシステム）、Ｂ・・・対向車、Ｃ・・・死角車、Ｃｉ、Ｃ１、Ｃ２、Ｃ１’、Ｃ２’・・・カメラモジュール、Ｄ・・・後方車、Ｈ１、Ｈ２・・・モジュール装着穴、Ｊ・・・固定治具付カメラモジュール、Ｊ１・・・固定冶具、Ｓｃ・・・固定ねじ
【技術分野】
【０００１】
本発明は、カメラシステム、衝突予測システム、駐車ガイドシステムに関する。
【背景技術】
【０００２】
近年、自動車には様々な周囲監視装置が取り付けられるようになり、安全性が向上してきている。周囲監視装置は、距離センサを備え、距離センサは、主にソナーやミリ波レーダーを用いて、自動車と対象物との距離情報を取得する。
【０００３】
例えば、特許文献１には、自車の前方の画像を横に広く取り込むと共に、２点から画像を取り込むことで、視差により距離を画像から検出可能な広角ステレオカメラについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０２６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、取り込んだ画像中の位置により、結像の寸法（サイズ）が異なる。例えば、像高が高い場所においては、像が圧縮される。そのため、その画像に基づいて検出された距離精度が低くなるという欠点があった。この詳細について説明する。
【０００６】
通常、撮像レンズに半画角がωで入射する主光線と像高Ｙ’の間の関係は式（１）で表わされる。つまり、撮像素子に映し出される像は被写体と相似になる。ここで、像高とは、結像面上の像の位置を光軸からの距離で表した値である。また、半画角とは、被写体がレンズの光軸となす角である。
【０００７】
【数１】
【０００８】
ここで、fは撮像レンズの焦点距離である。
一方、広い視野をもつ、超広角レンズを用いて撮像すると、画像の中心部と画像の端の部分とでは結像の寸法が異なる。つまり、像高が高い場所では中心に比べ結像の寸法が小さくなる。例えば、超広角レンズのひとつである等立体角射影レンズの場合、半画角ωで入射する主光線と像高Ｙ’の間の関係は式（２）で表わされる。
【０００９】
【数２】
【００１０】
式（２）によれば、撮像素子に映し出される像は、式（１）の場合とは異なり、被写体と相似にならない。
従って、超広角レンズを使用したステレオカメラで距離測定を行った場合、像高が大きい場所では結像の寸法が小さくなるので、距離精度が低くなるという課題があった。
【００１１】
本発明は上記の点に鑑みてなされたものであり、距離精度を向上できるカメラシステム、衝突予測システム、駐車ガイドシステムを提供する。
【課題を解決するための手段】
【００１２】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備えることを特徴とするカメラシステムである。
【００１３】
（２）また、本発明の一態様は、上記のステレオカメラにおいて、前記少なくとも２つの光学部は、前記正対する光の方向と直交する方向に並べて配置されることを特徴とする。
【００１４】
（３）また、本発明の一態様は、上記のステレオカメラにおいて、前記光学素子は、プリズムであることを特徴とする。
【００１５】
（４）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学素子の間に間隙が設けられ、前記間隙を通して前記正対する方向とは異なる方向の光が前記撮像素子に結像されることを特徴とする。
【００１６】
（５）また、本発明の一態様は、正対する光の進行方向を一方光へ変える一つの光学素子と、前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、を有する光学部と、少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、を備えることを特徴とするカメラシステムである。
【００１７】
（６）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、移動体の移動方向とは垂直の方向に一定の間隔を開けて前記移動体に配置されることを特徴とする。
【００１８】
（７）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、前記光学素子のみを前記移動体のボディー外に有することを特徴とする。
【００１９】
（８）また、本発明の一態様は、上記のステレオカメラにおいて、前記二つの光学部は、前記移動体の移動方向の略中央に設けられることを特徴とする。
【００２０】
（９）また、本発明の一態様は、上記のステレオカメラにおいて、前記光学部における前記光学素子の位置が変えられることによって撮像範囲を変えることを特徴とする。
【００２１】
（１０）また、本発明の一態様は、上記のステレオカメラにおいて、前記移動体は、自動車であって、前記光学部の撮影範囲に前記自動車の前後のバンパーが含まれるように前記光学系が取り付けられることを特徴とする。
【００２２】
（１１）また、本発明の一態様は、請求項６記載のカメラシステムと、前記カメラシステムが算出した距離情報に基づいて、移動体が衝突の可能性があると判定した場合に、運転手への警告又は運転補助を行う衝突予測部と、を備えることを特徴とする衝突予測システムである。
【００２３】
（１２）また、本発明の一態様は、請求項６記載のカメラシステムと、前記カメラシステムが算出した距離情報に基づいて、駐車スペースを検知し、検知した駐車スペースと自動車の大きさに基づいて駐車を補助する駐車ガイド部と、を備えることを特徴とする駐車ガイドシステムである。
【発明の効果】
【００２４】
本発明によれば、距離精度を向上できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る自動車の構成を示す概略ブロック図である。
【図２】本実施形態に係るカメラモジュールの構造を示す模式図である。
【図３】本実施形態に係る自動車Ａを示す上面図である。
【図４】本実施形態に係る自動車Ａの正面図である。
【図５】本実施形態に係る自動車Ａの右側面図である。
【図６】本実施形態に係るカメラモジュールの撮像範囲の一例を示す概略図である。
【図７】本実施形態に係る自動車Ａの正面図の別の一例である。
【図８】本実施形態に係る光学系の構成を示す別の一例を示す模式図である。
【図９】本実施形態に係るトラックＡの模式図である。
【図１０】本実施形態に係るカメラモジュールが取り付けられた固定治具を示す模式図である。
【図１１】本実施形態に係るカメラモジュール装着穴の配置を示す模式図である。
【図１２】本実施形態に係る固定治具付カメラモジュールＪの取り付けの一例を説明する説明図である。
【図１３】本実施形態に係るカメラモジュールを取り付けた様子を示す模式図である。
【図１４】本実施形態に係る距離算出部１４が行う距離算出処理を説明する説明図である。
【図１５】本実施形態に係るＥＣＵ２が行う相対速度計算処理を説明する説明図である。
【図１６】本実施形態に係る駐車補助の一例を示す説明図である。
【図１７】本実施形態に係る死角監視の一例を示す説明図である。
【図１８】本実施形態に係るドア警告の一例を示す説明図である。
【図１９】本実施形態の変形例に係るカメラモジュールの構造を示す模式図である。
【図２０】本発明の自動車の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００２６】
＜車載用カメラシステムの構成＞
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の自動車（衝突予測システム、駐車ガイドシステム）Ａの構成を示す概略ブロック図である。図示する例では、自動車Ａは、車載用カメラシステム（カメラシステム）１、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２、加速装置３、制動装置４、方向変換装置５、モニター６、及びスピーカー７を含んで構成される。
【００２７】
車載用カメラシステム１は、異なる位置に配置された２つのカメラモジュールで撮像して画像情報を生成し、生成した画像情報に基づいて距離情報を生成する。
ＥＣＵ２は、車載用カメラシステム１が生成した距離情報及び画像情報に基づいて、後続車との相対速度を示す情報、駐車時の車庫のスペースを示す情報等を生成する。ＥＣＵ２は、生成した情報に基づいて、加速装置３、制動装置４、方向変換装置５を制御すると共に、モニター６、スピーカー７を通じて運転者に情報を報知する。
加速装置３は、自動車Ａの速度を調整する。制動装置４は、自動車Ａを減速又は停止させる。方向変換装置５は、自動車Ａの進行方向を変更する、モニター６は、撮像した画像を表示する。スピーカー７は、警報音やガイド音声を発する。
【００２８】
車載用カメラシステム１は、カメラモジュールＣ１，Ｃ２及び距離算出部１４を含んで構成される。カメラモジュールＣｉ（ｉ=１、２）は、光学系（光学部）１１−ｉ、撮像素子１２−ｉ及び信号処理部１３−ｉを含んで構成される。光学系１１−ｉは、第１のプリズム１１１−ｉ、第２のプリズム１１２−ｉ及び撮像レンズ１１３−ｉを含んで構成される。
【００２９】
第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、３角柱状の形をした透明な材質からなる多面体であり、光を反射する。第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、それぞれ正対する光の進行方向を一方向へ変える。
撮像レンズ１１３−ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉから入射された光及び第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間（図２の撮像レンズ１１３−１の光軸方向）から入射された光を撮像素子１２−ｉ上に結像させる。
撮像素子１２−ｉは、撮像レンズ１１３−ｉが結像させた光を電気信号に変換する。撮像素子１２−ｉは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの素子を用いることができる。撮像素子１２−ｉは、撮像した画像を示す画像情報を信号処理部１３−ｉに出力する。
信号処理部１３−ｉは、撮像素子１２−ｉから入力された画像情報にデモザイクやノイズリダクション等の処理を行う。信号処理部１３−ｉは、処理を行った画像情報を距離算出部１４に出力する。
【００３０】
距離算出部１４は、信号処理部１３−１、２から入力された画像情報に基づいて両画像間の視差を計算する。ここで、例えば、距離算出部１４は、第１のプリズム１１１−１から入射した光によって生成された画像情報を右眼画像の画像情報とし、第１のプリズム１１１−２から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。また、距離算出部１４は、第２のプリズム１１２−１から入射した光によって生成された画像情報を右眼画像の画像情報とし、第２のプリズム１１２−２から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。後述するように、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとは、逆向きに配置されるので（図２参照）、右眼と左眼が逆転する。
また、距離算出部１４は、撮像レンズ１１３−１の光軸方向から入射した光によって生成された画像情報を右眼画像の画像情報とし、撮像レンズ１１３−２の光軸方向から入射した光によって生成された画像情報を左眼画像の画像情報として、両画像間の視差を計算する。
距離算出部１４は、計算した視差と、基線長とに基づいて、被写体までの距離を算出する。ここで、基線長とは、カメラモジュールＣ１のプリズムの中心軸と，Ｃ２のプリズムの中心軸の間の距離である。ここで、プリズムの中心軸とは、プリズムの入射面と垂直な方向であって、入射面の中心を通る軸である。距離算出部１４が行う距離算出処理の詳細については後述する。
なお、図１では、車載用カメラシステム１は、２つ（１対）のカメラモジュールＣ１，Ｃ２を含んでいるが、複数のカメラモジュールを備えてもよい。なお、１対のカメラモジュールを含む複数の車載用カメラシステム１が１つのＥＣＵ２に接続されていてもよい。
【００３１】
図２は、本実施形態に係るカメラモジュールＣｉの構造を示す模式図である。以下、第１のプリズム１１１−ｉの中心軸と平行で第１のプリズム１１１−ｉから光が入射してくる方向を第１の方向といい、第２のプリズム１１２−ｉの中心軸と平行で第２のプリズム１１２−ｉから光が入射してくる方向を第２の方向という。また、撮像レンズ１１３−１の光軸方向を第３の方向ともいう。
【００３２】
第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、互いに反射面が交差するように配置されている。第１の方向から入射された第１の光は、第１のプリズム１１１−ｉの反射面で反射される。第２の方向から入射された第２の光は、第２のプリズム１１２−ｉの反射面で反射される。第１の光及び第２の光は、撮像レンズ１１３−ｉに入射される。撮像レンズ１１３−ｉに入射された第１の光及び第２の光は、撮像素子１２−ｉ上に結像される。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉは、例えば、撮像レンズ１１３−ｉの光軸を含む平面で切った断面が直角三角形となる直角プリズムとして構成されている。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉは、撮像レンズ１１３−ｉの光軸と直交する方向に隙間を空けて配置されている。
【００３３】
第１のプリズム１１１−ｉをはさんで第２のプリズム１１２−ｉとは反対側から入射した光は、第１のプリズム１１１−ｉの反射面で反射されて撮像レンズ１１３−ｉに入射し、撮像レンズ１１３−ｉによって撮像素子１２−ｉの受光面に結像される。第２のプリズム１１２−ｉをはさんで第１のプリズム１１１−ｉとは反対側から入射した光は、第２のプリズム１１２−ｉの反射面で反射されて撮像レンズ１１３−ｉに入射し、撮像レンズによって撮像素子１２−ｉの受光面上に結像される。つまり、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉで反射した光は交差する。第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間に入射した光は、第１のプリズム１１１−ｉの反射面及び第２のプリズム１１２−ｉの反射面で反射されることなく撮像レンズ１１３−ｉに入射し、撮像レンズ１１３−ｉによって撮像素子１２−ｉの受光面上に結像される。すなわち、撮像素子１２−ｉの受光面上には、３方向から入射した光が結像される。ここで、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、第１のプリズム１１１−ｉから入射した光の受光面上の位置と、第２のプリズム１１２−ｉから入射した光の受光面上の位置と、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉとの隙間から入射した光の受光面上の位置とが、異なる位置になるように、配置又はその形状が決められている。
なお、光の反射面には、プリズムではなくミラーを用いてもよい。ただし、プリズムのほうが小型化できる利点がある。また、撮像レンズ１１３−ｉの半画角ωで入射する主光線と像高Ｙ’の間の関係は式（１）で表わされる。
【００３４】
＜車載用カメラシステムの配置＞
以下は、カメラモジュールＣｉの自動車Ａへの搭載例を示す。
図３は、本実施形態に係る自動車Ａを示す上面図である。またこの図は、カメラモジュールＣｉの撮像範囲を表す。図示する例では、Ｘ軸が自動車Ａの進行方向、Ｙ軸が自動車Ａの左側面から右側面へ向かう車幅方向、Ｚ軸が自動車Ａの高さ方向を表す。カメラモジュールＣ１及びＣ１’は、それぞれ、自動車Ａの左側面及び右側面に配置されている。なお、カメラモジュールＣ１’は、カメラモジュールＣ１と同様の構成を備える。また、カメラモジュールＣ１及びＣ１’は、それぞれ、自動車Ａの略中心部分に配置されている。
【００３５】
カメラモジュールＣ１について説明すると、第１のプリズム１１１−１は、右側面前側撮像範囲（Ｘ軸の正の方向、第１の方向）から入射された光を撮像レンズ１１３−１を介して撮像素子１２−１の受光面上に結像させる。同様に第２のプリズム１１２−１は、右側面後側撮像範囲（Ｘ軸の負の方向、第２の方向）から入射された光を撮像レンズ１１３−１を介して撮像素子１２−１の受光面上に結像させる。また、左側面横側撮像範囲（Ｙ軸の負の方向、第３の方向）から第１のプリズム１１１−１と第２のプリズム１１２−１との隙間に入射した光は、第１のプリズム１１１−１の反射面及び第２のプリズム１１２−１の反射面で反射されることなく撮像レンズ１１３−１に入射し、撮像レンズ１１３−１によって撮像素子１２−１に結像される。
【００３６】
図４は、本実施系形態に係る自動車Ａの正面図である。カメラモジュールＣ１、Ｃ２は、自動車Ａの左側面において高さ方向に異なる位置に配置されている。また、カメラモジュールＣ１’、Ｃ２’も、自動車Ａの右側面において高さ方向に異なる位置に配置されている。
カメラモジュールＣ１、Ｃ１’は、自動車Ａのバンパーより高い位置に配置されている。カメラモジュールＣ２、Ｃ２’は、自動車Ａのバンパーより低い位置に配置されている。
つまり、カメラモジュールＣｉは、自動車Ａのバンパーが、カメラモジュールＣｉの略中央の高さとなるように配置されている。これにより、自動車Ａの中で他の部分と比較してぶつけやすいバンパーの高さで、距離情報を算出でき、自動車Ａの衝突を回避しやすくなる。つまり、カメラモジュールＣ１、Ｃ２は、移動体（自動車Ａ）の中で突出している箇所が中心になるように配置されている。ただし、本発明はこれに限らず、例えば、カメラモジュールＣ１、Ｃ２は、運転手の目線の高さが中心になるように配置されてもよい。
【００３７】
図５は、本実施系形態に係る自動車Ａの右側面図である。図示する例では、カメラモジュールＣｉは、自動車Ａの右側面の前ドアに配置されている。カメラモジュールＣ１は、カメラモジュールＣ２と高さ方向に隙間を開けて配置されている。
【００３８】
図６は、本実施系形態に係るカメラモジュールＣｉの撮像範囲の一例を示す概略図である。この図は、自動車Ａの高さ方向の撮像範囲を表す。点線で示される範囲は、カメラモジュールＣ１が撮像する画像の高さ方向の範囲であるカメラモジュールＣ１の撮像範囲を示す。破線で示される範囲は、カメラモジュールＣ２が撮像する画像の高さ方向の範囲であるカメラモジュールＣ２の撮像範囲を示す。点線で示される範囲と破線で示される範囲との重複範囲は、カメラモジュールＣ１、Ｃ２の双方により撮像される範囲である。カメラモジュールＣ１、Ｃ２の双方により撮像される範囲にある被写体に対しては、後述するように距離情報を得ることができる。なお、カメラモジュールＣ１、Ｃ２の前側撮像範囲及びカメラモジュールＣ１、Ｃ２の後方撮像範囲は略一致するように調整しておく。
【００３９】
図７は、自動車Ａの正面図の別の一例である。この例では、カメラモジュールＣ１、Ｃ２は、自動車Ａの左側面のドアミラーに配置されている。カメラモジュールＣ１、Ｃ２は、高さ方向の異なる位置に配置されている。一方、カメラモジュールＣ１’、Ｃ２’は、自動車Ａの右側面のドアミラーに配置されている。カメラモジュールＣ１’、Ｃ２’は、ドアミラーのボディーから最も離れた位置に高さ方向に並んで配置されている。ドアミラーは、自動車Ａの幅方向の最も中心から離れた位置にあるため、自動車Ａに付随する構造物によって視野をさえぎられることがない。また、ドアミラーは元々自動車Ａのボディーから突出ているため、更にカメラモジュールＣｉ、Ｃｉ’を取り付けてもカメラモジュールＣｉ、Ｃｉ’が目立たないという利点がある。
【００４０】
図８は、光学系の構成の別の一例を示す模式図である。図示する例では、カメラモジュールＣｉ内で第１のプリズム１１１−ｉを第３の方向に近づけ、第２のプリズム１１２−ｉを第３の方向から遠ざけた状態を示している。その結果、点線で示される前方撮像範囲及びそれに対応する結像は広がり、破線で示される後方撮像範囲およびそれに対応する結像は狭くなる。このように、第１のプリズム１１１−ｉと第２のプリズム１１２−ｉの位置を変更することにより、前方撮像範囲と後方撮像範囲の広さを変更することができる。
【００４１】
図９は、本実施形態に係るトラックＡの模式図である。図９（ａ）は、カメラモジュールＣｉを装着したトラックの右側面図である。図９（ｂ）は、カメラモジュールＣｉを装着したトラックの上面図である。
トラックのように操縦部（運転席）と荷台が離れている場合は、カメラの取り付け場所は操縦部に近い場所とする。図９（ｂ）に点線で示した領域は、前側撮像範囲と後側撮像範囲とが等しい視野角を持つ場合を示している。この場合、後方の撮像範囲が広くなるのに対し、前方の撮像範囲は後方に比べて狭くなる。このような場合は、図８を用いて説明したように、前側撮像範囲を広げて、後側撮像範囲を狭める。前側撮像範囲を広げて、後側撮像範囲を狭めた場合の前側撮像範囲と後側撮像範囲を実線で示す。このように撮像範囲を変更することにより、トラックの４隅における確認できる範囲を合わせてもよい。これにより、前側撮像範囲と後側撮像範囲が、車体からほぼ等距離の範囲となるため、前側撮像範囲と後側撮像範囲の双方について所望の距離情報を得ることができる。
【００４２】
＜車載用カメラシステムの取り付け＞
図１０は、本実施形態に係る固定治具Ｊ１にカメラモジュールＣｉが取り付けられた状態を示す模式図である。図１０（ａ）は、固定冶具Ｊ１にカメラモジュールＣｉが取り付けられた固定治具付カメラモジュールＪの正面図である。図１０（ｂ）は、固定治具付カメラモジュールＪの側面図である。図示する例では、固定冶具Ｊ１は直方体であり、その長手方向の一方の端にカメラモジュールＣ１が、もう一方の端にカメラモジュールＣ２がそれぞれ取り付けられている。
【００４３】
カメラモジュールＣｉは、第１のプリズム１１１−１の中心軸（前方中心軸ともいう。第１の方向）及び第２のプリズム１１２−１の中心軸（後方光中心軸ともいう。第２の方向）が、固定冶具Ｊ１の長手方向と垂直になるように配置される。このとき、カメラモジュールＣ１、Ｃ２は、その前側撮像範囲、後側撮像範囲、及び横側撮像範囲が略一致し、かつ前方中心軸、後方中心軸がカメラモジュールＣ１、Ｃ２間で平行となるように配置される。例えば、ボディーに丸みがある場合には、カメラモジュールＣ１、Ｃ２を治具なしで配置されると、その前側撮像範囲、後側撮像範囲、及び横側撮像範囲、前方中心軸、及び後方中心軸を合わせるのが困難な場合がある。しかし、固定治具付カメラモジュールＪが用いられることにより、そのような場合でも正確にカメラモジュールＣｉを配置することが可能となる。
【００４４】
図１１は、本実施形態に係るカメラモジュール装着穴Ｈ１、Ｈ２の配置を示す模式図である。カメラモジュール装着穴Ｈ１、Ｈ２は、固定治具付カメラモジュールＪが取り付けられる穴であり、カメラモジュールＣｉを収容できる大きさを持つ穴である。カメラモジュール装着穴Ｈ１、Ｈ２は、固定治具付カメラモジュールＪに取り付けられたカメラモジュールＣｉがちょうど収まる位置に設けられている。
【００４５】
図１２は、本実施形態に係る固定治具付カメラモジュールＪの取り付けの一例を説明する説明図である。固定治具付カメラモジュールＪは、ボディーの車内側から取り付けられる。カメラモジュールＣｉは、カメラモジュール装着穴Ｈ１、Ｈ２を通じてボディー表面から突出るように固定される。固定治具付カメラモジュールＪは、例えば、固定ねじＳｃによってボディーに固定される。この際、ボディーには、固定ねじＳｃの締結部に固定部材Ｂが備えられていてもよい。
【００４６】
図１３は、本実施形態に係るボディーにカメラモジュールＣｉを取り付けた様子を示す模式図である。突出量Ｌは、第１のプリズム１１１−１及び第２のプリズム１１２−１の視野が妨げられない範囲で、小さいほうが好ましい。例えば、図１３では、カメラモジュールＣｉは、プリズム以外がボディー内部に極力配置され、撮像に必要最低限の部分のみを突出させるように配置されている。ここで、突出量Ｌとは、自動車Ａのボディー表面から第３の方向に向けて測定したカメラモジュールＣｉの先端までの距離を示す。突出量Ｌが小さいほど、空気抵抗を小さくすることができる。例えば、突出量Ｌは、例えば、プリズムの入射面の第３の方向の幅と、同程度（例えば、高さの９０％〜１１０％の範囲）である。
【００４７】
＜車載用カメラシステムの測距方法＞
図１４は、本実施形態に係る距離算出部１４が行う距離算出処理を説明する説明図である。カメラモジュールＣ１、Ｃ２は、高さ方向に異なる位置に配置されている。従って、カメラモジュールＣ１、Ｃ２が撮像した被写体の画像は、図１４（ａ）、（ｂ）に示すように上下にずれている。
例えば、被写体のナンバープレートが、カメラモジュールＣ１が撮影した画像では、（Ｈ、Ｖ１）、カメラモジュールＣ２が撮影した画像では、（Ｈ、Ｖ２）に撮像される。ここで、（Ｘ、Ｙ）とは、撮像した画像の左上を原点とし、水平方向右向きにＸ軸を、垂直方向下向きにＹ軸を設定したときの座標値（ピクセル数）を示す。
【００４８】
距離算出部１４は、これら２つの異なる視点から撮像した画像から同一被写体を判別する。同一被写体を判別する方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いたブロックマッチングや、グラフカット、ダイナミックプログラミングなどの一般的なステレオマッチング手法が用いられる。距離算出部１４は、異なる視点から撮像した画像における同一被写体の位置（Ｘ、Ｙ）をそれぞれ算出する。
カメラモジュールＣｉでは、水平方向の視野角は略一致させてあるため、被写体の水平方向の座標値は等しくＨとなっている。一方、垂直方向では、カメラモジュールＣ１、Ｃ２の配置のずれに起因して、撮像した画像に視差ΔＶ（＝Ｖ１−Ｖ２）が生じる。ここで、カメラモジュールＣ１はＣ２の上部に取り付けられているため、ΔＶは常に非負の値をとる。ΔＶは、被写体が無限遠にある場合は「０」となり、距離が近くになるに従って大きくなる。カメラモジュールＣ１、Ｃ２から被写体までの距離Ｚは式（３）を用いて算出できる。
【００４９】
【数３】
【００５０】
ここで、Ｖ１は、カメラモジュールＣ１が撮像した被写体画像の垂直方向の座標値、Ｖ２は、カメラモジュールＣ２が撮像した被写体画像の垂直方向の座標値、ｆは撮像レンズ１１３−ｉの焦点距離、ｂは基線長、Ｐは撮像素子１２−ｉの画素ピッチを表す。
【００５１】
＜ＥＣＵの動作＞
ＥＣＵ２は、距離算出部１４が算出したカメラモジュールＣ１、Ｃ２と被写体との間の距離Ｚを示す距離情報を入力される。ＥＣＵ２は、入力された距離Ｚに基づいて、後述するように、被写体との相対速度や被写体の絶対速度、衝突までの推定時間を算出し、危険度の判断を行う。衝突の危険がある場合はモニターやスピーカーを使用して運転手へ警告を出すほか、加速装置３や制動装置４や方向変換装置５などを自動制御することにより危険を回避する。
【００５２】
＜車載用カメラシステムの応用＞
図１５は、ＥＣＵ２が行う相対速度計算処理を説明する説明図である。この図は、自動車Ａと他自動車との相対速度を計算する場合の処理を説明する説明図である。
ＥＣＵ２は、距離情報が示す距離Ｚの変化に基づいて自動車Ａと他自動車との相対速度を計算する。ＥＣＵ２は、計算した相対速度にと距離Ｚに基づいて自動車Ａと他自動車との衝突までの推定時間を計算する。具体的には、自動車Ａと他自動車との相対速度は次のように計算する。
例えば、ＥＣＵ２は、時刻０において、自動車Ａの速度Ｖｍを検出し、また、他自動車との距離Ｚ０を示す距離情報が距離算出部１４から入力される。ＥＣＵ２は、時刻ｔｖ１において、自動車Ａの速度Ｖｍを検出し、また、他自動車との距離Ｚ１を示す距離情報が距離算出部１４から入力される。このとき、ＥＣＵ２は、次式（４）を用いて、自動車Ａと他自動車との相対速度Ｖｒを算出する。
【００５３】
【数４】
【００５４】
また、ＥＣＵ２は、この相対速度と他自動車との距離Ｚ１を示す距離情報から衝突までの推定時間taを式（５）を用いて、算出する。
【００５５】
【数５】
【００５６】
また、ＥＣＵ２は、他自動車の絶対速度Ｖａを、相対速度Ｖｒと自車速度Ｖｍから算出する（式（６））。
【００５７】
【数６】
【００５８】
ＥＣＵ２は、相対速度や衝突までの時間に基づいて、警告や制御の内容を選択する。ＥＣＵ２は、選択した内容に基づいて、運転手にアナウンスを行う。ＥＣＵ２は、選択した内容に基づいて、制動装置４や方向変換装置５を動作するなどの運転補助を行う。例えば、ＥＣＵ２は、後側から衝突する危険のある車が接近してきた場合には、モニター６で警告表示やスピーカー７等から音を鳴らす事によって運転者に注意を促す。
また、ＥＣＵ２は、相対速度や衝突までの時間などに基づいて衝突の可能性が高くなったと判定した場合には、方向変換装置５の操作に対してタイヤの切れ角を大きくする。ＥＣＵ２は、また加速装置３や制動装置４、方向変換装置５等を自動で制御し衝突を回避する。
ＥＣＵ２は、衝突回避が不可能であると判定した場合には、はプリクラッシュ制動装置を作動させて衝突速度を低減し、同時にシートベルトで運転者を拘束し、衝突による衝撃を軽減させる。ＥＣＵ２は、ヘッドレストやエアバックを制御し、搭乗者への衝撃を緩和するように制御する。またＥＣＵ２は、安全に車線変更等を行う為に、後続車の絶対速度や距離などをモニター等に表示して運転手に速度を教える。
【００５９】
図１６は、駐車補助の一例を示す説明図である。ＥＣＵ２は、駐車時に側面カメラの横側確認を使用して、空いている空間を確認し、駐車動作補助を行う。つまり、運転者は、時刻ｔｐ０からｔｐ１の間自動車Ａを前進させる。車載用カメラシステム１は、時刻ｔｐ０からｔｐ１に渡って車側面にある被写体の距離情報を取得する。ＥＣＵ２は、自動車Ａから障害物まで距離情報を式（３）を用いて算出する。ＥＣＵ２は、得られた距離情報と、自動車Ａの速度に基づいて空いているスペースの位置及び広さを算出する。ＥＣＵ２は、算出したスペースと、自車の大きさとを比較し、駐車可能か否かを判断する。
ＥＣＵ２は、車を駐車可能と判断した場合には、その空間に自動車Ａを入れるようにモニターやスピーカーによって情報を報知することにより運転サポートを行う。また、自動で加速装置３、制動装置４、方向変換装置５を制御する自動駐車を行う。
【００６０】
図１７は、死角監視システムの一例を示す説明図である。交差点で、右折しようとしている自動車Ａに正対して同様に右折をしようとしている対向車Ｂが存在するとき、自動車Ａからみて対向車Ｂの右後方は対向車Ｂに視線をさえぎられて死角となる場合がある。この場合、運転者には、死角となっている領域から別の死角車Ｃが来ているか否かが分からないことがある。このような場合、ＥＣＵ２は、自動車Ａと死角車Ｃとの距離、自動車Ａと死角車Ｃとの相対速度、衝突までの推定時間などを計算し、計算した結果に基づいて、安全に右折ができるか否かを判定する。ＥＣＵ２は、運転手に、モニターやスピーカーを通じてアナウンスを行う。ＥＣＵ２は、危険と判定したときは加速装置ロックをして自動車Ａを発進させないなどの運転補助をする。
【００６１】
図１８は、ドア警告システムの一例を示す説明図である。自動車Ａが停車時に後側から車が接近してきた時、確認せずにドアを開けてしまうと大きな事故に繋がる。ＥＣＵ２は、車載用カメラシステム１を利用して後側車Ｄの速度や相対距離、絶対速度を計算する。ＥＣＵ２は、後方から車が接近していることを感知すると、ドアを開かないように警告をする。ＥＣＵ２は、算出した他車との距離や絶対速度に基づいて、安全にドアが開けられるか否かを判定する。ＥＣＵ２は、判定した結果に基づいて、運転手にモニターやスピーカーを使用してアナウンスしたり、危険な場合はドアロックをするなどの安全サポートをすることも可能である。
【００６２】
このように、本実施形態では、光学系１１−ｉでは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、正対する光の進行方向を一方光へ変える。光学系１１−ｉでは、撮像素子１２−ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉは、により進行方向を変えられた光を電気信号に変換する。距離算出部１４は、２つの光学系１１−ｉの撮像素子１２−ｉが変換した電気信号に基づいて距離情報を算出する。これにより、自動車Ａでは、距離の測定精度を向上できる。
【００６３】
（変形例）
図１９は、本実施形態の変形例に係るカメラモジュールＣ’ｉの構造を示す模式図である。本変形例に係るカメラモジュールＣ’ｉは、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉに代わって第３のプリズム１１４−ｉが加わったことを除いて、上述の実施形態におけるカメラモジュールＣｉの構成と同様である。上述の実施形態と同様の構成については説明を省略する。
第３のプリズム１１４−ｉは、例えば、撮像レンズ１１３−ｉの光軸及び第１の方向を含む平面で切った断面が等脚台形であり、長さの等しい２つの斜辺の一方の辺から入射された第１の光は他方の斜辺で反射され、撮像レンズ１１３−ｉに入射する。第２の光は、第１の光を反射した斜辺から入射され、第１の光を入射した斜辺で反射され、撮像レンズ１１３−ｉに入射される。撮像レンズ１１３−ｉに入射された第１の光及び第２の光は、撮像素子１２−ｉ上に結像される。また、等脚台形の平行な２辺のうち、短辺側から入射した第３の光は、直接撮像レンズ１１３−ｉに入射され、撮像素子１２−ｉ上に結像される。
ここで、第１の光の受光面上の位置、第２の光の受光面上の位置、及び第３の光の受光面上の位置とは、各々異なる位置になるように、配置又はその形状が決められている。
この構成により、１つのプリズムで、第１、第２、第３の方向から入射する光を、撮像レンズ１１３−ｉを介して撮像素子１２−ｉ上に結像させることができる。
【００６４】
図２０は、本発明の自動車（衝突予測システム）Ａ’の構成を示す概略ブロック図である。本変形例に係る自動車Ａ’は、第１のプリズム１１１−ｉ及び第２のプリズム１１２−ｉに代わって、第３のプリズム１１４−ｉが加わったことを除いて、上述の実施形態における自動車Ａの構成と同様である。上述の実施形態と同様の構成については説明を省略する。
第３のプリズム１１４−ｉは、台形の形をした透明な材質からなる多面体であり、光を反射する。第３のプリズム１１４−ｉは、それぞれ正対する光の進行方向を一方向へ変えると共に、第３の方向から入射した光をプリズムで反射することなく撮像素子１２−ｉ上に結像する。
【００６５】
このように、本変形例では、第３のプリズム１１４−ｉは、正対する光の進行方向を一方光へ変える。また、第３の方向から入射する光を、撮像レンズ１１３−ｉを介して撮像素子１２−ｉ上に結像する。撮像素子１２−ｉは、第３のプリズム１１４−ｉにより進行方向を変えられた光を電気信号に変換する。距離算出部１４は、２つの光学系１１−ｉの撮像素子１２−ｉが変換した電気信号に基づいて距離情報を算出する。これにより、本変形例では、１つのプリズムによって正対する相対する２方向から入射された光を撮像素子１２−ｉ上に結像するため、安価にカメラモジュールＣ’ｉを作成できる。
【００６６】
なお、上述した実施形態における自動車Ａ及びＡ’の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、自動車Ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における自動車Ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。自動車Ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６７】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６８】
１・・・車載用カメラシステム（カメラシステム）、２・・・ＥＣＵ、３・・・加速装置、４・・・制動装置、５・・・方向変換装置、６・・・モニター、７・・・スピーカー、１１−１、１１−２・・・光学系（光学部）、１２−１、１２−２・・・撮像素子、１３−１、１３−２・・・信号処理部、１４・・・距離算出部、１１１−１、１１１−２・・・第１のプリズム（光学素子）、１１２−１、１１２−２・・・第２のプリズム（光学素子）、１１３−１、１１３−２・・・撮像レンズ、１１４−１・・・第３のプリズム（光学素子）、Ａ、Ａ’・・・自動車（衝突予測システム、駐車ガイドシステム）、Ｂ・・・対向車、Ｃ・・・死角車、Ｃｉ、Ｃ１、Ｃ２、Ｃ１’、Ｃ２’・・・カメラモジュール、Ｄ・・・後方車、Ｈ１、Ｈ２・・・モジュール装着穴、Ｊ・・・固定治具付カメラモジュール、Ｊ１・・・固定冶具、Ｓｃ・・・固定ねじ
【特許請求の範囲】
【請求項１】
正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、
前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、
を有する光学部と、
少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、
を備えることを特徴とするカメラシステム。
【請求項２】
前記少なくとも２つの光学部は、前記正対する光の方向と直交する方向に並べて配置されることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学素子は、プリズムであることを特徴とする請求項１または２に記載のカメラシステム。
【請求項４】
前記二つの光学素子の間に間隙が設けられ、前記間隙を通して前記正対する方向とは異なる方向の光が前記撮像素子に結像されることを特徴とする請求項１から３のいずれか１項に記載のカメラシステム。
【請求項５】
正対する光の進行方向を一方光へ変える一つの光学素子と、
前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、
を有する光学部と、
少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、
を備えることを特徴とするカメラシステム。
【請求項６】
前記二つの光学部は、移動体の移動方向とは垂直の方向に一定の間隔を開けて前記移動体に配置されることを特徴とする請求項１から５のいずれか１項に記載のカメラシステム。
【請求項７】
前記二つの光学部は、前記光学素子のみを前記移動体のボディー外に有することを特徴とする請求項６に記載のカメラシステム。
【請求項８】
前記二つの光学部は、前記移動体の移動方向の略中央に設けられることを特徴とする請求項６または７に記載のカメラシステム。
【請求項９】
前記光学部における前記光学素子の位置が変えられることによって撮像範囲を変えることを特徴とする請求項１から８のいずれか１項に記載のカメラシステム。
【請求項１０】
前記移動体は、自動車であって、
前記光学部の撮影範囲に前記自動車の前後のバンパーが含まれるように前記光学系が取り付けられることを特徴とする請求項６から９のいずれか１項に記載のカメラシステム。
【請求項１１】
請求項４記載のカメラシステムと、
前記カメラシステムが算出した距離情報に基づいて、移動体が衝突の可能性があると判定した場合に、運転手への警告又は運転補助を行う衝突予測部と、
を備えることを特徴とする衝突予測システム。
【請求項１２】
請求項４記載のカメラシステムと、
前記カメラシステムが算出した距離情報に基づいて、駐車スペースを検知し、検知した駐車スペースと自動車の大きさに基づいて駐車を補助する駐車ガイド部と、
を備えることを特徴とする駐車ガイドシステム。
【請求項１】
正対する光の進行方向を一方光へ変える少なくとも二つの光学素子と、
前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、
を有する光学部と、
少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、
を備えることを特徴とするカメラシステム。
【請求項２】
前記少なくとも２つの光学部は、前記正対する光の方向と直交する方向に並べて配置されることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学素子は、プリズムであることを特徴とする請求項１または２に記載のカメラシステム。
【請求項４】
前記二つの光学素子の間に間隙が設けられ、前記間隙を通して前記正対する方向とは異なる方向の光が前記撮像素子に結像されることを特徴とする請求項１から３のいずれか１項に記載のカメラシステム。
【請求項５】
正対する光の進行方向を一方光へ変える一つの光学素子と、
前記光学素子により進行方向を変えられた光を電気信号に変換する撮像素子と、
を有する光学部と、
少なくとも二つの前記光学部の撮像素子が変換した電気信号に基づいて距離情報を算出する距離算出部と、
を備えることを特徴とするカメラシステム。
【請求項６】
前記二つの光学部は、移動体の移動方向とは垂直の方向に一定の間隔を開けて前記移動体に配置されることを特徴とする請求項１から５のいずれか１項に記載のカメラシステム。
【請求項７】
前記二つの光学部は、前記光学素子のみを前記移動体のボディー外に有することを特徴とする請求項６に記載のカメラシステム。
【請求項８】
前記二つの光学部は、前記移動体の移動方向の略中央に設けられることを特徴とする請求項６または７に記載のカメラシステム。
【請求項９】
前記光学部における前記光学素子の位置が変えられることによって撮像範囲を変えることを特徴とする請求項１から８のいずれか１項に記載のカメラシステム。
【請求項１０】
前記移動体は、自動車であって、
前記光学部の撮影範囲に前記自動車の前後のバンパーが含まれるように前記光学系が取り付けられることを特徴とする請求項６から９のいずれか１項に記載のカメラシステム。
【請求項１１】
請求項４記載のカメラシステムと、
前記カメラシステムが算出した距離情報に基づいて、移動体が衝突の可能性があると判定した場合に、運転手への警告又は運転補助を行う衝突予測部と、
を備えることを特徴とする衝突予測システム。
【請求項１２】
請求項４記載のカメラシステムと、
前記カメラシステムが算出した距離情報に基づいて、駐車スペースを検知し、検知した駐車スペースと自動車の大きさに基づいて駐車を補助する駐車ガイド部と、
を備えることを特徴とする駐車ガイドシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−５３９６２（Ｐ２０１３−５３９６２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３１５６（Ｐ２０１１−１９３１５６）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]