画像センサとその画像センサに用いられる受光装置
【課題】 距離画像データと部位判別画像データの双方を取得可能な画像センサを提供すること。
【解決手段】 画像センサ100は、照射装置20と撮像装置40と演算装置60を備えている。照射装置20は、第1波長光を照射する第1光源22と、第2波長光を照射する第2光源を有する。演算装置60は、少なくとも第1波長光が照射装置20から対象物で反射して撮像装置40に到達するまでの距離に基づいて距離画像データを演算する。演算装置60はさらに、対象物における第1波長光の第1反射光の反射特性と対象物における第2波長光の第2反射光の反射特性の差に基づいて部位判別画像データを演算する。
【解決手段】 画像センサ100は、照射装置20と撮像装置40と演算装置60を備えている。照射装置20は、第1波長光を照射する第1光源22と、第2波長光を照射する第2光源を有する。演算装置60は、少なくとも第1波長光が照射装置20から対象物で反射して撮像装置40に到達するまでの距離に基づいて距離画像データを演算する。演算装置60はさらに、対象物における第1波長光の第1反射光の反射特性と対象物における第2波長光の第2反射光の反射特性の差に基づいて部位判別画像データを演算する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを取得する画像センサに関する。本発明はまた、その画像センサに用いられる受光装置にも関する。
【背景技術】
【0002】
光源から対象物に向けて光を照射し、その照射光と対象物で反射した反射光の差異に基づいて画像データを取得する技術が開発されている。特許文献1〜3には、光源から照射された照射光と対象物で反射した反射光の時間差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。特許文献4には、光源から照射された照射光と対象物で反射した反射光の位相差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。また、特許文献5には、光源から異なる波長の照射光を照射し、それぞれの波長の対象物における反射光の反射特性から対象物の部位を推定することによって、部位判別画像データを取得する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−294420号公報
【特許文献2】特開2005−235893号公報
【特許文献3】特開2005−291985号公報
【特許文献4】特表2000−517427号公報
【特許文献5】特開2006−242909号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
距離画像データと部位判別画像データの双方を必要とする場合、距離画像データを取得するための装置と部位判別画像データを取得するための装置をそれぞれ設ければ、距離画像データと部位判別画像データの双方を取得することが可能になる。しかしながら、それぞれの装置を別個に設けると、設置スペースが増加するという点や、部品点数が増加することによってコストが増加するという点で好ましくない。本発明は、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサに用いられる受光装置を提供することを目的としている。
【課題を解決するための手段】
【0005】
本明細書で開示される技術は、距離画像データ及び部位判別画像データを取得するために用いられる照射装置及び撮像装置を共有させることによって、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサ用の受光装置を構築することを特徴としている。本明細書で開示される技術では、照射装置及び撮像装置を共有させることによって、画像センサ及び画像センサ用の受光装置を簡素化させることに成功している。本明細書で開示される技術によれば、簡素化された画像センサ及び画像センサ用の受光装置によって、距離画像データと部位判別画像データの双方を取得することが可能になる。
【0006】
本明細書で開示される技術は、距離画像データと部位判別画像データを取得する画像センサに具現化される。画像センサは、照射装置と撮像装置と演算装置を備えている。照射装置は、第1波長の第1波長光と、第1波長と異なる第2波長の第2波長光とを対象物に照射する。撮像装置は、対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する。演算装置は、撮像装置で蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する。ここで、演算装置は、少なくとも第1波長光を利用して、第1波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算する。必要に応じて、演算装置は、第2波長光を利用して、第2波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算してもよい。さらに、演算装置は、対象物における第1反射光の反射特性と対象物における第2反射光の反射特性に基づいて部位判別画像データを演算する。上記画像センサでは、共有の照射装置を利用するとともに、共有の撮像装置における電荷の蓄積タイミングを制御することによって、距離画像データを演算するために必要な情報及び部位判別画像データを演算するために必要な情報の双方を取得することができる。照射装置及び撮像装置を共有化させることで、簡素化された画像センサを具現化することができる。
【0007】
本明細書で開示される画像センサでは、撮像装置が、第1時間における第1反射光に応じた電荷量を蓄積する第1電荷蓄積部と、第2時間における第1反射光に応じた電荷量を蓄積する第2電荷蓄積部と、第3時間における第2反射光に応じた電荷量を蓄積する第3電荷蓄積部とを少なくとも有しているのが好ましい。さらに、演算装置は、第1電荷蓄積部に蓄積された電荷量と第2電荷蓄積部に蓄積された電荷量に基づいて第1距離画像データを演算するとともに、第1電荷蓄積部に蓄積された電荷量と第3電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算する。第1時間と第2時間は異なる。第1時間と第3時間は、同一時間でもよいし、異なっていてもよい。第2時間と第3時間も、同一時間でもよいし、異なっていてもよい。
ここで、「時間」とは、ある開始時刻から他の終了時刻までの間をいう。「時間が異なる」とは、開始時刻と終了時刻の少なくとも一方が異なることをいう。「時間が同一」とは、開始時刻及び終了時刻の双方が一致することをいう。また、ここでいう「時間」には、連続的なものだけでなく、断続的なものも含む。
上記の画像センサでは、撮像装置の第1電荷蓄積部に蓄積された電荷量が、第1距離画像データを演算するための情報として用いられるとともに、部位判別画像データを演算するための情報としても用いられる。このため、撮像装置の第1電荷蓄積部は、第1距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置の第1電荷蓄積部を共有させることによって、画像センサ及び画像センサ用の受光装置が簡素化される。また、第1電荷蓄積部に蓄積された電荷量が第1距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積する場合に比べて、第1距離画像データ及び部位判別画像データの取得に要する時間が短縮される。
【0008】
本明細書で開示される画像センサでは、撮像装置が、第4時間における第2反射光に応じた電荷量を蓄積する第4電荷蓄積部をさらに有しているのが好ましい。この場合、演算装置は、第3電荷蓄積部に蓄積された電荷量と第4電荷蓄積部に蓄積された電荷量に基づいて第2距離画像データを演算することを特徴とする。第3時間と第4時間は異なる。第1時間と第4時間は、同一時間でもよいし、異なっていてもよい。第2時間と第4時間も、同一時間でもよいし、異なっていてもよい。
上記画像センサでは、第1波長光を用いて第1距離画像データを取得するとともに、第2波長光を用いても第2距離画像データを取得する。例えば、第1波長光を用いて得られた第1距離画像データと第2波長光を用いて得られた第2距離画像データのいずれか一方を状況に応じて選択することにより、より正確な距離画像データを得ることが可能になる。あるいは、第1波長光を用いて得られた第1距離画像データと第2波長光を用いて得られた第2距離画像データを合成させることにより、より高精度な距離画像データを取得することが可能になる。
【0009】
第1波長光の第1距離画像データと第2波長光の第2距離画像データの双方を取得する場合、第1距離画像データと第2距離画像データは、一方が近距離に存在する対象物の距離画像に用いられ、他方が遠距離に存在する対象物の距離画像に用いられるのが好ましい。
照射光と反射光の時間差及び位相差は、対象物までの距離に応じて変動する。対象物までの距離が短い場合(近距離の場合)は、照射光と反射光の時間差及び位相差が小さい。一方、対象物までの距離が長い場合(遠距離の場合)は、照射光と反射光の時間差及び位相差が大きい。このため、近距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましく、遠距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましい。
上記の画像センサでは、対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。
【0010】
本明細書で開示される画像センサでは、撮像装置が、第1波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第1受光素子と、第2波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第2受光素子を有しているのが好ましい。第1電荷蓄積部と第2電荷蓄積部は、第1受光素子で変換された電荷を蓄積する。第3電荷蓄積部は、第2受光素子で変換された電荷を蓄積する。
本願明細書で開示される画像センサでは、異なる波長の第1波長光と第2波長光を利用する。このため、選択透過用の光学フィルタを用いない場合、受光素子で受光される2つの第1波長光と第2波長光が干渉しないようにするために、第1波長光を照射するタイミングと第2波長光を照射するタイミングを大きくずらす必要がある。
これに対し、光学フィルタを用いると、第1波長光を照射するタイミングと第2波長光を照射するタイミングをずらす必要がない。この結果、上記画像センサでは、より短時間で画像データを取得することが可能になる。
【発明の効果】
【0011】
本明細書で開示される技術によると、簡素化された受光装置を用いて距離画像データと部位判別画像データの双方を取得することが可能になる。この結果、距離画像データと部位判別画像データの双方を用いて、より有益な画像を合成することが可能になる。
【図面の簡単な説明】
【0012】
【図1】画像センサの構成の概略を示す。
【図2】撮像装置の構成の概略を示す。
【図3】受光部の構成の概略の一例を示す。
【図4】データベースに記憶されているデータの一例を示す。
【図5】時間差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートを示す。
【図6】時間差から距離画像データを演算する方法の説明図を示す。
【図7】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの一例を示す。
【図8】位相差から距離画像データを演算する方法の説明図を示す。
【図9】受光部の構成の概略の他の一例を示す。
【図10】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。
【図11】受光部の構成の概略の他の一例を示す。
【図12】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。
【発明を実施するための形態】
【0013】
まず、本明細書で開示される技術を整理しておく。
(第1特徴) 照射装置は、第1光源と第2光源を有する。第1光源は、第1波長の第1波長光を照射する。第2光源は、第1波長とは異なる第2波長の第2波長光を照射する。
(第2特徴) 第1光源は、パルス変調された第1波長光を照射する。第2光源は、パルス変調された第2波長光を照射する。
(第3特徴) 撮像装置は、アレイ状に配置された複数の受光部を有する。受光部は、受光素子と、電荷蓄積部と、受光素子と電荷蓄積部を接続するスイッチング素子を有する。
(第4特徴) 受光素子と電荷蓄積部の間のスイッチング素子は、第1波長光又は第2波長光が発光するタイミングに連動して制御される。
(第5特徴) 受光素子と電荷蓄積部の間のスイッチング素子は、第1波長光又は第2波長光が発光するタイミングに同期して、パルス変調されたゲート信号によって制御される。
【実施例1】
【0014】
以下、図面を参照して車載用の画像センサに関して説明する。特に、以下の実施例で説明する画像センサは、車両の運転手の頭部に係る画像データを取得するために用いられる。図1に示すように、画像センサ100は、照射装置20と、受光装置80と、照射装置20と受光装置80を制御する制御装置30を備えている。照射装置20と受光装置80と制御装置30は、それぞれ別個の装置として構成されていてもよく、一体化されたモジュールとして構成されていてもよい。
【0015】
照射装置20は、第1波長域の第1波長光を測定対象物の表面に向けて照射する第1光源22と、第2波長域の第2波長光を測定対象物の表面に向けて照射する第2光源24を備えている。第1光源22と第2光源24は、例えばLED(Light Emitting Diode:発光ダイオード)を備えている。第1光源22及び第2光源24は、800〜1100nmの近赤外領域の光を照射するのが望ましい。本実施例では、第1光源22が870nmの第1波長光を照射し、第2光源24が970nmの第2波長光を照射する。
【0016】
受光装置80は、撮像装置40と、記憶装置50と、演算装置60と、データベース70を備えている。撮像装置40は、測定対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、測定対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する。記憶装置50は、撮像装置40に蓄積された電荷量に応じた電圧値を記憶する。演算装置60は、記憶装置50及びデータベース70に記憶されているデータを用いて、距離画像データ及び部位判別画像データを演算する。データベース70は、特定部位における第1波長光の反射特性及び特定部位における第2波長光の反射特性を記憶している。
【0017】
図2に、撮像装置40の構成を概略して示す。撮像装置40は、2次元状(アレイ状)に配置されている複数の受光部42を備えている。受光部42は、画素毎に設けられている。受光部42はそれぞれ、光を電荷に変換する受光素子(光電変換素子)と、受光素子で変換された電荷を蓄積する電荷蓄積部を備えている。受光素子には、典型的にはフォトダイオードが用いられる。電荷蓄積部には、典型的にはコンデンサが用いられる。
【0018】
図3に、受光部42の一例を示す。受光部42は、4つの受光素子44a,44b,44c,44dと、4つの電荷蓄積部46a,46b,46c,46dを備えている。第1受光素子44aは第1電荷蓄積部46aに接続されており、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。第2受光素子44bは第2電荷蓄積部46bに接続されており、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。第3受光素子44cは第3電荷蓄積部46cに接続されており、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。第4受光素子44dは第4電荷蓄積部46dに接続されており、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。
【0019】
記憶装置50は、受光部42の電荷蓄積部46a,46b,46c,46dに蓄積された電荷量を電圧に変換する電圧変換回路と、変換された電圧値を記憶する記憶回路を備えている。記憶装置50の記憶回路は複数のメモリを有しており、各受光部42の電荷蓄積部46a,46b,46c,46dのそれぞれの電荷量に対応した電圧値を記憶する。
【0020】
演算装置60は、記憶装置50に記憶された電圧値に基づいて、距離画像データを演算する。演算装置60はさらに、記憶装置50に記憶された電圧値とデータベース70に記憶された反射特性に基づいて、部位判別画像データも演算する。
【0021】
データベース70には、光の反射特性に係るデータが記憶されている。本実施例の画像センサ100は車載用であり、測定対象物が運転手の頭部である。このため、データベース70には、頭部の各部位における光の反射特性に係るデータが記憶されている。図4に、データベース70に記憶されているデータの一例を示す。図4は、肌の分光反射率及び髪の分光反射率を示す。なお、この肌の分光反射率及び髪の分光反射率を用いて部位判別画像データを演算する手法に関しては後述する。
【0022】
次に、本実施例の画像センサ100による距離画像データ及び部位判別画像データを取得するための方法の一例について説明する。図5及び6を参照して、距離画像データを取得するための方法の一例を説明する。図5及び6に示す例は、照射装置20から照射された照射光と測定対象物で反射した反射光の時間差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。
【0023】
図5に示すように、第1光源22と第2光源24は、交互に発光を繰返し、第1波長光(870nm)と第2波長光(970nm)を交互に測定対象物に向けて照射する。制御装置30は、第1光源22を制御してパルス変調された第1波長光(870nm)を測定対象物に向けて照射させるとともに、第2光源24を制御してパルス変調された第2波長光(970nm)を測定対象物に向けて照射させる。図5に示すように、第1光源22がオンしているときは第2光源24がオフしており、第2光源24がオンしているときは第1光源22がオフしている。また、第1光源22と第2光源24が同時にオフする期間も設けられている。この例では、第1光源22の第1波長光(870nm)と第2光源24の第2波長光(970nm)は、いずれも同一のパルス周期である。なお、利用されるパルス変調の種類は特に限定されないが、本実施例ではパルス幅変調(Pulse Width Modulation:PWM)を利用する。
【0024】
制御装置30は、撮像装置40に接続されており、第1光源22及び第2光源24が発光するタイミングに連動(同期)して、撮像装置40のうちのどの電荷蓄積部に電荷を蓄積させるかも制御する。具体的には、図3に示す受光部42の場合、受光素子44a,44b,44c,44dと電荷蓄積部46a,46b,46c,46dの間のそれぞれにスイッチング素子(典型的には電界効果型トランジスタ)が接続されており、制御装置30は、第1光源22及び第2光源24が発光するタイミングに連動して、それらのスイッチング素子をオン・オフするタイミングを制御する。したがって、制御装置30は、パルス変調されたゲート信号を利用して、受光素子44a,44b,44c,44dと電荷蓄積部46a,46b,46c,46dの間のスイッチング素子のオン・オフを制御する。図5に示すように、制御装置30は、第1光源22及び第2光源24の発光するタイミングに一致してスイッチング素子をオンさせる蓄積タイミング1(位相0°)と、第1光源22及び第2光源24が発光するタイミングから位相が180°ずれてスイッチング素子をオンさせる蓄積タイミング2(位相180°)の2種類が存在する。図5に示すように、蓄積タイミング1と蓄積タイミング2によるスイッチング素子のオン・オフが所定期間に亘って繰返される。
【0025】
図3に示す電荷蓄積部46a,46b,46c,46dの場合を例に具体的に説明する。図5に示されている時間(1)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図5に示されている時間(2)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図5に示されている時間(3)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図5に示されている時間(4)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。
【0026】
図5に示すように、第1光源22及び第2光源24が所定期間に亘って発光を繰返しており、4つの電荷蓄積部46a,46b,46c,46dにはその所定期間に亘って変換された電荷が累積して蓄積される。
【0027】
図6に、時間差を利用して距離画像データを取得する演算方法を示す。発光期間がWである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は時間差τだけ遅れて受光素子で受光される。蓄積タイミング1で反射光を受光した受光素子には、その反射光に応じた電荷量E1が生成され、その蓄積タイミング1において接続されている電荷蓄積部に電荷量E1が蓄積される。蓄積タイミング2で反射光を受光した受光素子には、その反射光に応じた電荷量E2が生成され、その蓄積タイミング2において接続されている電荷蓄積部に電荷量E2が蓄積される。時間差τは、以下の式で求められる。なお、dは測定対象物までの距離であり、cは光速である。
【0028】
【数1】
【0029】
即ち、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(2)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第1波長光(870nm)に基づいて取得される距離画像データである。同様に、第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(3)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(4)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第2波長光(970nm)に基づいて取得される距離画像データである。
【0030】
第1波長光に基づく距離画像データと第2波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第1波長光に基づく距離画像データと第2波長光に基づく距離画像データのいずれか一方を用いてもよい。
【0031】
図7及び8を参照して、距離画像データを取得するための方法の他の一例を説明する。図7及び8に示す例は、光源から照射された照射光と測定対象物で反射した反射光の位相差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。
【0032】
図7に示すように、この例では、第1光源22と第2光源24が発光するタイミングに連動(同期)して、撮像装置40のスイッチング素子をオンさせるタイミングが4種類であることを特徴としている。図7に示すように、制御装置30は、第1光源22及び第2光源24のオンするタイミングに一致してスイッチング素子をオンさせる蓄積タイミング1(位相0°)と、第1光源22及び第2光源24が発光するタイミングから位相が180°ずれてスイッチング素子をオンさせる蓄積タイミング2(位相180°)と、第1光源22及び第2光源24が発光するタイミングから位相が90°ずれてスイッチング素子をオンさせるタイミング3(位相90°)と、第1光源22及び第2光源24が発光するタイミングから位相が270°ずれてスイッチング素子をオンさせるタイミング4(位相270°)の4種類が存在する。図7に示すように、蓄積タイミング1と蓄積タイミング2によるスイッチング素子のオン・オフが所定期間(T1)に亘って繰返された後に、蓄積タイミング3と蓄積タイミング4によるスイッチング素子のオン・オフが所定期間(T2)に亘って繰返される。
【0033】
図3に示す電荷蓄積部46a,46b,46c,46dの場合を例に説明する。まず、所定期間(T1)の場合、図7に示されている時間(1)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図7に示されている時間(2)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図7に示されている時間(3)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図7に示されている時間(4)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T1)に亘って変換された電荷が累積的に蓄積される。所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0034】
次に、所定期間(T2)に移行すると、図7に示されている時間(5)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図7に示されている時間(6)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図7に示されている時間(7)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図7に示されている時間(8)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T2)に亘って変換された電荷が累積的に蓄積される。所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0035】
図8に、位相差を利用して距離画像データを取得する演算方法を示す。発光期間がWである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は位相差φだけ遅れて受光素子で受光される。蓄積タイミング1で反射光を受光した受光素子には、その反射光に応じた電荷量E1が生成され、その蓄積タイミング1において接続されている電荷蓄積部に電荷量E1が蓄積される。蓄積タイミング3で反射光を受光した受光素子には、その反射光に応じた電荷量E2が生成され、その蓄積タイミング3において接続されている電荷蓄積部に電荷量E2が蓄積される。蓄積タイミング2で反射光を受光した受光素子には、その反射光に応じた電荷量E3が生成され、その蓄積タイミング2において接続されている電荷蓄積部に電荷量E3が蓄積される。蓄積タイミング4で反射光を受光した受光素子には、その反射光に応じた電荷量E4が生成され、その蓄積タイミング4において接続されている電荷蓄積部に電荷量E4が蓄積される。位相差φは、以下の式で求められる。なお、dは測定対象物までの距離であり、cは光速であり、fは繰返し周波数である。
【0036】
【数2】
【0037】
即ち、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(2)に対応する)と、所定期間(T2)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(5)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(6)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第1波長光(870nm)に基づいて取得される距離画像データである。同様に、所定期間(T1)において第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(3)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(4)に対応する)と、所定期間(T2)において第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(7)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(8)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第2波長光(970nm)に基づいて取得される距離画像データである。
【0038】
第1波長光に基づく距離画像データと第2波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第1波長光に基づく距離画像データと第2波長光に基づく距離画像データのいずれか一方を用いてもよい。
【0039】
次に、図4を参照して、部位判別画像データを取得するための方法の一例を説明する。前記したように、データベース70には、肌の分光反射率及び髪の分光反射率に係るデータが記憶されている。図4に示すように、肌の分光反射率及び髪の分光反射率に関し、波長870nmと970nmの分光反射率を比較すると、以下の関係が存在する。
【0040】
・肌:870nmにおける反射率>970nmにおける反射率
・髪:870nmにおける反射率<970nmにおける反射率
【0041】
例えば、図5に示す蓄積タイミングで撮像装置40のスイッチング素子を動作させた場合、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応しており、第1波長光870nmの反射率を反映する)と第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(3)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することができる。必要に応じて、第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(2)に対応しており、第1波長光870nmの反射率を反映する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(4)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することもできる。
【0042】
あるいは、図7に示す蓄積タイミングで撮像装置40のスイッチング素子を動作させた場合、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応しており、第1波長光870nmの反射率を反映する)と第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(3)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することができる。必要に応じて、時間(2)と(4)、時間(5)と(7)、及び/又は時間(6)と(8)に対応して記憶されている電圧値に基づいて、部位判別画像データを演算することもできる。
【0043】
このように、運転手の頭部領域を測定対象物として抽出し、画素毎の値を870nmと970nmの各々の波長において比較することで、頭部領域の肌、髪を判別することが可能となる。
【0044】
なお、本実施例では、第1波長光に870nmを利用し、第2波長光に970nmを利用しているが、他の波長域の光を利用してもよい。好ましくは、以下の条件を満たすのが望ましい。
【0045】
第1に、近赤外領域の光を用いるのが望ましい。この理由は、運転手が運転中に使用する場合には、運転手の気を散らさないために不可視光で運転手の顔を照明することになるが、紫外領域の光を用いると眼に害を与えるおそれがあり望ましくないからである。
【0046】
第2に、1100nm以下の波長域の光を用いるのが望ましい。この理由は、コスト、信頼性、及び応答性の点で優れているシリコン半導体で構成された受光素子は、1100nm以下の波長に対して高い感度を有するからである。
【0047】
第3に、2つの波長域における反射率が、肌、髪等の各々で異なることが望ましい。また、可視領域近傍の波長の光を照射する照射装置を用いると、光が可視領域に漏れる可能性があること、受光素子の感度が1100nm以上では殆ど無いことも考慮する必要がある。
【0048】
上記で説明したように、本実施例の画像センサ100は、共有させた照射装置20及び撮像装置40を利用して、距離画像データと部位判別画像データを取得することができる。また、図5に示す蓄積タイミングの場合、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応する)が、距離画像データと部位判別画像データの双方の演算に用いられる。また、図7に示す蓄積タイミングの場合、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応する)が、距離画像データと部位判別画像データの双方の演算に用いられる。このため、第1電荷蓄積部46aが、距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置40の第1電荷蓄積部46aを共有させることによって、画像センサ100が簡素化される。さらに、第1電荷蓄積部46aに蓄積された電荷量が、距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積させる場合に比べて、距離画像データ及び部位判別画像データの取得に要する時間が短縮される。
【実施例2】
【0049】
図9に、撮像装置40に設けられた受光部42の他の一例を示す。図9に示す受光部42は、1つの受光素子44と、4つの電荷蓄積部46a,46b,46c,46dを備えている。4つの電荷蓄積部46a,46b,46c,46dのそれぞれは、受光素子44に接続されている。4つの電荷蓄積部46a,46b,46c,46dと受光素子44の間には、スイッチング素子がそれぞれ設けられている。図3に示す受光部42と比較すると、受光素子の数が大幅に削減されているので、より簡素化された圧力センサを具現化することができる。
【実施例3】
【0050】
図10に、第1光源22と第2光源24を発光させるパルス周期を変えた他の一例を示す。この変形例は、図7に示す位相差φに基づく距離画像データの取得例の変形例である。なお、以下の技術は、図5に示す時間差τに基づく距離画像データの取得例にも適用することができる。
【0051】
図10に示すように、第2光源24は、第1光源22よりもパルス周期が2倍に変調されて制御されている。これに連動して、所定期間(T1)における第3電荷蓄積部46c及び第4電荷蓄積部46dに電荷を蓄積させる時間(3)及び(4)の周期も2倍に調整されている。同様に、所定期間(T2)における第3電荷蓄積部46c及び第4電荷蓄積部46dに電荷を蓄積させる時間(7)及び(8)の周期も2倍に調整されている。
【0052】
この例では、第1波長光(870nm)に基づく距離画像データ(時間(1)と(2)と(5)と(6)に対応して記憶されている電圧値に基づいて得られる)は、近距離に存在する測定対象物の距離画像に用いられる。一方、第2波長光(970nm)に基づく距離画像データ(時間(3)と(4)と(7)と(8)に対応して記憶されている電圧値に基づいて得られる)は、遠距離に存在する測定対象物の距離画像に用いられる。即ち、パルス周期が短く変調された第1波長光(870nm)は近距離に存在する測定対象物の距離画像を取得するために利用され、パルス周期が長く変調された第2波長光(970nm)は遠距離に存在する測定対象物の距離画像を取得するために利用される。
【0053】
照射光と反射光の時間差及び位相差は、測定対象物までの距離に応じて変動する。測定対象物までの距離が短い場合(近距離の場合)は、照射光と反射光の時間差及び位相差が小さい。一方、測定対象物までの距離が長い場合(遠距離の場合)は、照射光と反射光の時間差及び位相差が大きい。このため、例えば、図10に示す第1波長光(870nm)を利用して遠距離に存在する測定対象物の距離画像データを取得しようとすると、反射光を受光できないことがあり、反射光の電荷を蓄積できない事態が生じ得る。また、図10に示す第2波長光(970nm)を利用して近距離に存在する測定対象物の距離画像データを取得しようとすると、各位相における電荷量の差が小さくなり、精度の良い距離画像データを取得できない事態が生じ得る。したがって、パルス周期が短く変調された第1波長光(870nm)は近距離に存在する測定対象物の距離画像を取得するために利用するのが望ましく、パルス周期が長く変調された第2波長光(970nm)は遠距離に存在する測定対象物の距離画像を取得するために利用されるのが望ましい。このように、測定対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。
【実施例4】
【0054】
図11に、撮像装置40に設けられた受光部42の他の一例を示す。図11に示す受光部42は、2つの受光素子44A,44Bと、4つの電荷蓄積部46a,46b,46c,46dを備えている。第1電荷蓄積部46aと第2電荷蓄積部46bはそれぞれ、第1受光素子44Aに接続されている。第3電荷蓄積部46cと第4電荷蓄積部46dはそれぞれ、第2受光素子44Bに接続されている。第1電荷蓄積部46aと第1受光素子44A、及び第2電荷蓄積部46bと第1受光素子44Aの間には、スイッチング素子がそれぞれ設けられている。第3電荷蓄積部46cと第2受光素子44B、及び第4電荷蓄積部46dと第2受光素子44Bの間にも、スイッチング素子がそれぞれ設けられている。
【0055】
受光部42はさらに、2つのバンドパスフィルタ48A,48Bを備えている。第1バンドパスフィルタ48Aは第1受光素子44Aを覆っており、第2バンドパスフィルタ48Bは第2受光素子44Bを覆っている。第1バンドパスフィルタ48Aは第1波長光(870nm)に対して透過選択性を有しており、第2バンドパスフィルタ48Bは第2波長光(970nm)に対して透過選択性を有している。このため、第1受光素子44Aは、第1波長光のみを受光する。第2受光素子44Bは、第2波長光のみを受光する。
【0056】
図12に、図11の受光部42を用いて位相差φに基づく距離画像データを取得する例を示す。なお、以下の技術は、図5に示す時間差τに基づく距離画像データの取得例にも適用することができる。図7の例と比較すると分かるように、第1光源22と第2光源24が同時に発光を繰り返している。所定期間(T1)の場合、図12に示されている時間(1)では、図11の第1受光素子44Aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第1電荷蓄積部46aに蓄積される。図11に示されている時間(2)では、図11の第1受光素子44Aと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第2電荷蓄積部46bに蓄積される。図12に示されている時間(3)では、図11の第2受光素子44Bと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第3電荷蓄積部46cに蓄積される。図12に示されている時間(4)では、図11の第2受光素子44Bと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T1)に亘って変換された電荷が累積的に蓄積される。所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0057】
次に、所定期間(T2)に移行すると、図12に示されている時間(5)では、図11の第1受光素子44Aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第1電荷蓄積部46aに蓄積される。図12に示されている時間(6)では、図11の第1受光素子44Aと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第2電荷蓄積部46bに蓄積される。図12に示されている時間(7)では、図11の第2受光素子44Bと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第3電荷蓄積部46cに蓄積される。図12に示されている時間(8)では、図11の第2受光素子44Bと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T2)に亘って変換された電荷が累積的に蓄積される。所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0058】
図12に示すように、時間(1)と(3)は同一であり、時間(2)と(4)は同一であり、時間(5)と(7)は同一であり、時間(6)と(8)は同一である。即ち、第1バンドパスフィルタ48A及び第2バンドパスフィルタ48Bを利用することにより、第1受光素子44Aでは第1波長光の反射光のみを電荷に変換する処理を実行することができ、第2受光素子44Bでは第2波長光の反射光のみを電荷に変換する処理を実行することができる。第1受光素子44Aにおける処理と第2受光素子44Bにおける処理を平行して実行することができる。これにより、画像センサ100は、より短時間で画像データを取得することが可能になる。
【0059】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【0060】
20:照射装置
22:第1光源
24:第2光源
30:制御装置
40:撮像装置
42:受光部
44a,44b,44c,44d:受光素子
46a,46b,46c,46d:電荷蓄積部
48A,48B:バンドパスフィルタ
50:記憶装置
60:演算装置
70:データベース
80:受光装置
【技術分野】
【0001】
本発明は、画像データを取得する画像センサに関する。本発明はまた、その画像センサに用いられる受光装置にも関する。
【背景技術】
【0002】
光源から対象物に向けて光を照射し、その照射光と対象物で反射した反射光の差異に基づいて画像データを取得する技術が開発されている。特許文献1〜3には、光源から照射された照射光と対象物で反射した反射光の時間差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。特許文献4には、光源から照射された照射光と対象物で反射した反射光の位相差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。また、特許文献5には、光源から異なる波長の照射光を照射し、それぞれの波長の対象物における反射光の反射特性から対象物の部位を推定することによって、部位判別画像データを取得する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−294420号公報
【特許文献2】特開2005−235893号公報
【特許文献3】特開2005−291985号公報
【特許文献4】特表2000−517427号公報
【特許文献5】特開2006−242909号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
距離画像データと部位判別画像データの双方を必要とする場合、距離画像データを取得するための装置と部位判別画像データを取得するための装置をそれぞれ設ければ、距離画像データと部位判別画像データの双方を取得することが可能になる。しかしながら、それぞれの装置を別個に設けると、設置スペースが増加するという点や、部品点数が増加することによってコストが増加するという点で好ましくない。本発明は、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサに用いられる受光装置を提供することを目的としている。
【課題を解決するための手段】
【0005】
本明細書で開示される技術は、距離画像データ及び部位判別画像データを取得するために用いられる照射装置及び撮像装置を共有させることによって、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサ用の受光装置を構築することを特徴としている。本明細書で開示される技術では、照射装置及び撮像装置を共有させることによって、画像センサ及び画像センサ用の受光装置を簡素化させることに成功している。本明細書で開示される技術によれば、簡素化された画像センサ及び画像センサ用の受光装置によって、距離画像データと部位判別画像データの双方を取得することが可能になる。
【0006】
本明細書で開示される技術は、距離画像データと部位判別画像データを取得する画像センサに具現化される。画像センサは、照射装置と撮像装置と演算装置を備えている。照射装置は、第1波長の第1波長光と、第1波長と異なる第2波長の第2波長光とを対象物に照射する。撮像装置は、対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する。演算装置は、撮像装置で蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する。ここで、演算装置は、少なくとも第1波長光を利用して、第1波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算する。必要に応じて、演算装置は、第2波長光を利用して、第2波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算してもよい。さらに、演算装置は、対象物における第1反射光の反射特性と対象物における第2反射光の反射特性に基づいて部位判別画像データを演算する。上記画像センサでは、共有の照射装置を利用するとともに、共有の撮像装置における電荷の蓄積タイミングを制御することによって、距離画像データを演算するために必要な情報及び部位判別画像データを演算するために必要な情報の双方を取得することができる。照射装置及び撮像装置を共有化させることで、簡素化された画像センサを具現化することができる。
【0007】
本明細書で開示される画像センサでは、撮像装置が、第1時間における第1反射光に応じた電荷量を蓄積する第1電荷蓄積部と、第2時間における第1反射光に応じた電荷量を蓄積する第2電荷蓄積部と、第3時間における第2反射光に応じた電荷量を蓄積する第3電荷蓄積部とを少なくとも有しているのが好ましい。さらに、演算装置は、第1電荷蓄積部に蓄積された電荷量と第2電荷蓄積部に蓄積された電荷量に基づいて第1距離画像データを演算するとともに、第1電荷蓄積部に蓄積された電荷量と第3電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算する。第1時間と第2時間は異なる。第1時間と第3時間は、同一時間でもよいし、異なっていてもよい。第2時間と第3時間も、同一時間でもよいし、異なっていてもよい。
ここで、「時間」とは、ある開始時刻から他の終了時刻までの間をいう。「時間が異なる」とは、開始時刻と終了時刻の少なくとも一方が異なることをいう。「時間が同一」とは、開始時刻及び終了時刻の双方が一致することをいう。また、ここでいう「時間」には、連続的なものだけでなく、断続的なものも含む。
上記の画像センサでは、撮像装置の第1電荷蓄積部に蓄積された電荷量が、第1距離画像データを演算するための情報として用いられるとともに、部位判別画像データを演算するための情報としても用いられる。このため、撮像装置の第1電荷蓄積部は、第1距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置の第1電荷蓄積部を共有させることによって、画像センサ及び画像センサ用の受光装置が簡素化される。また、第1電荷蓄積部に蓄積された電荷量が第1距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積する場合に比べて、第1距離画像データ及び部位判別画像データの取得に要する時間が短縮される。
【0008】
本明細書で開示される画像センサでは、撮像装置が、第4時間における第2反射光に応じた電荷量を蓄積する第4電荷蓄積部をさらに有しているのが好ましい。この場合、演算装置は、第3電荷蓄積部に蓄積された電荷量と第4電荷蓄積部に蓄積された電荷量に基づいて第2距離画像データを演算することを特徴とする。第3時間と第4時間は異なる。第1時間と第4時間は、同一時間でもよいし、異なっていてもよい。第2時間と第4時間も、同一時間でもよいし、異なっていてもよい。
上記画像センサでは、第1波長光を用いて第1距離画像データを取得するとともに、第2波長光を用いても第2距離画像データを取得する。例えば、第1波長光を用いて得られた第1距離画像データと第2波長光を用いて得られた第2距離画像データのいずれか一方を状況に応じて選択することにより、より正確な距離画像データを得ることが可能になる。あるいは、第1波長光を用いて得られた第1距離画像データと第2波長光を用いて得られた第2距離画像データを合成させることにより、より高精度な距離画像データを取得することが可能になる。
【0009】
第1波長光の第1距離画像データと第2波長光の第2距離画像データの双方を取得する場合、第1距離画像データと第2距離画像データは、一方が近距離に存在する対象物の距離画像に用いられ、他方が遠距離に存在する対象物の距離画像に用いられるのが好ましい。
照射光と反射光の時間差及び位相差は、対象物までの距離に応じて変動する。対象物までの距離が短い場合(近距離の場合)は、照射光と反射光の時間差及び位相差が小さい。一方、対象物までの距離が長い場合(遠距離の場合)は、照射光と反射光の時間差及び位相差が大きい。このため、近距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましく、遠距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましい。
上記の画像センサでは、対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。
【0010】
本明細書で開示される画像センサでは、撮像装置が、第1波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第1受光素子と、第2波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第2受光素子を有しているのが好ましい。第1電荷蓄積部と第2電荷蓄積部は、第1受光素子で変換された電荷を蓄積する。第3電荷蓄積部は、第2受光素子で変換された電荷を蓄積する。
本願明細書で開示される画像センサでは、異なる波長の第1波長光と第2波長光を利用する。このため、選択透過用の光学フィルタを用いない場合、受光素子で受光される2つの第1波長光と第2波長光が干渉しないようにするために、第1波長光を照射するタイミングと第2波長光を照射するタイミングを大きくずらす必要がある。
これに対し、光学フィルタを用いると、第1波長光を照射するタイミングと第2波長光を照射するタイミングをずらす必要がない。この結果、上記画像センサでは、より短時間で画像データを取得することが可能になる。
【発明の効果】
【0011】
本明細書で開示される技術によると、簡素化された受光装置を用いて距離画像データと部位判別画像データの双方を取得することが可能になる。この結果、距離画像データと部位判別画像データの双方を用いて、より有益な画像を合成することが可能になる。
【図面の簡単な説明】
【0012】
【図1】画像センサの構成の概略を示す。
【図2】撮像装置の構成の概略を示す。
【図3】受光部の構成の概略の一例を示す。
【図4】データベースに記憶されているデータの一例を示す。
【図5】時間差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートを示す。
【図6】時間差から距離画像データを演算する方法の説明図を示す。
【図7】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの一例を示す。
【図8】位相差から距離画像データを演算する方法の説明図を示す。
【図9】受光部の構成の概略の他の一例を示す。
【図10】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。
【図11】受光部の構成の概略の他の一例を示す。
【図12】位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。
【発明を実施するための形態】
【0013】
まず、本明細書で開示される技術を整理しておく。
(第1特徴) 照射装置は、第1光源と第2光源を有する。第1光源は、第1波長の第1波長光を照射する。第2光源は、第1波長とは異なる第2波長の第2波長光を照射する。
(第2特徴) 第1光源は、パルス変調された第1波長光を照射する。第2光源は、パルス変調された第2波長光を照射する。
(第3特徴) 撮像装置は、アレイ状に配置された複数の受光部を有する。受光部は、受光素子と、電荷蓄積部と、受光素子と電荷蓄積部を接続するスイッチング素子を有する。
(第4特徴) 受光素子と電荷蓄積部の間のスイッチング素子は、第1波長光又は第2波長光が発光するタイミングに連動して制御される。
(第5特徴) 受光素子と電荷蓄積部の間のスイッチング素子は、第1波長光又は第2波長光が発光するタイミングに同期して、パルス変調されたゲート信号によって制御される。
【実施例1】
【0014】
以下、図面を参照して車載用の画像センサに関して説明する。特に、以下の実施例で説明する画像センサは、車両の運転手の頭部に係る画像データを取得するために用いられる。図1に示すように、画像センサ100は、照射装置20と、受光装置80と、照射装置20と受光装置80を制御する制御装置30を備えている。照射装置20と受光装置80と制御装置30は、それぞれ別個の装置として構成されていてもよく、一体化されたモジュールとして構成されていてもよい。
【0015】
照射装置20は、第1波長域の第1波長光を測定対象物の表面に向けて照射する第1光源22と、第2波長域の第2波長光を測定対象物の表面に向けて照射する第2光源24を備えている。第1光源22と第2光源24は、例えばLED(Light Emitting Diode:発光ダイオード)を備えている。第1光源22及び第2光源24は、800〜1100nmの近赤外領域の光を照射するのが望ましい。本実施例では、第1光源22が870nmの第1波長光を照射し、第2光源24が970nmの第2波長光を照射する。
【0016】
受光装置80は、撮像装置40と、記憶装置50と、演算装置60と、データベース70を備えている。撮像装置40は、測定対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、測定対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する。記憶装置50は、撮像装置40に蓄積された電荷量に応じた電圧値を記憶する。演算装置60は、記憶装置50及びデータベース70に記憶されているデータを用いて、距離画像データ及び部位判別画像データを演算する。データベース70は、特定部位における第1波長光の反射特性及び特定部位における第2波長光の反射特性を記憶している。
【0017】
図2に、撮像装置40の構成を概略して示す。撮像装置40は、2次元状(アレイ状)に配置されている複数の受光部42を備えている。受光部42は、画素毎に設けられている。受光部42はそれぞれ、光を電荷に変換する受光素子(光電変換素子)と、受光素子で変換された電荷を蓄積する電荷蓄積部を備えている。受光素子には、典型的にはフォトダイオードが用いられる。電荷蓄積部には、典型的にはコンデンサが用いられる。
【0018】
図3に、受光部42の一例を示す。受光部42は、4つの受光素子44a,44b,44c,44dと、4つの電荷蓄積部46a,46b,46c,46dを備えている。第1受光素子44aは第1電荷蓄積部46aに接続されており、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。第2受光素子44bは第2電荷蓄積部46bに接続されており、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。第3受光素子44cは第3電荷蓄積部46cに接続されており、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。第4受光素子44dは第4電荷蓄積部46dに接続されており、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。
【0019】
記憶装置50は、受光部42の電荷蓄積部46a,46b,46c,46dに蓄積された電荷量を電圧に変換する電圧変換回路と、変換された電圧値を記憶する記憶回路を備えている。記憶装置50の記憶回路は複数のメモリを有しており、各受光部42の電荷蓄積部46a,46b,46c,46dのそれぞれの電荷量に対応した電圧値を記憶する。
【0020】
演算装置60は、記憶装置50に記憶された電圧値に基づいて、距離画像データを演算する。演算装置60はさらに、記憶装置50に記憶された電圧値とデータベース70に記憶された反射特性に基づいて、部位判別画像データも演算する。
【0021】
データベース70には、光の反射特性に係るデータが記憶されている。本実施例の画像センサ100は車載用であり、測定対象物が運転手の頭部である。このため、データベース70には、頭部の各部位における光の反射特性に係るデータが記憶されている。図4に、データベース70に記憶されているデータの一例を示す。図4は、肌の分光反射率及び髪の分光反射率を示す。なお、この肌の分光反射率及び髪の分光反射率を用いて部位判別画像データを演算する手法に関しては後述する。
【0022】
次に、本実施例の画像センサ100による距離画像データ及び部位判別画像データを取得するための方法の一例について説明する。図5及び6を参照して、距離画像データを取得するための方法の一例を説明する。図5及び6に示す例は、照射装置20から照射された照射光と測定対象物で反射した反射光の時間差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。
【0023】
図5に示すように、第1光源22と第2光源24は、交互に発光を繰返し、第1波長光(870nm)と第2波長光(970nm)を交互に測定対象物に向けて照射する。制御装置30は、第1光源22を制御してパルス変調された第1波長光(870nm)を測定対象物に向けて照射させるとともに、第2光源24を制御してパルス変調された第2波長光(970nm)を測定対象物に向けて照射させる。図5に示すように、第1光源22がオンしているときは第2光源24がオフしており、第2光源24がオンしているときは第1光源22がオフしている。また、第1光源22と第2光源24が同時にオフする期間も設けられている。この例では、第1光源22の第1波長光(870nm)と第2光源24の第2波長光(970nm)は、いずれも同一のパルス周期である。なお、利用されるパルス変調の種類は特に限定されないが、本実施例ではパルス幅変調(Pulse Width Modulation:PWM)を利用する。
【0024】
制御装置30は、撮像装置40に接続されており、第1光源22及び第2光源24が発光するタイミングに連動(同期)して、撮像装置40のうちのどの電荷蓄積部に電荷を蓄積させるかも制御する。具体的には、図3に示す受光部42の場合、受光素子44a,44b,44c,44dと電荷蓄積部46a,46b,46c,46dの間のそれぞれにスイッチング素子(典型的には電界効果型トランジスタ)が接続されており、制御装置30は、第1光源22及び第2光源24が発光するタイミングに連動して、それらのスイッチング素子をオン・オフするタイミングを制御する。したがって、制御装置30は、パルス変調されたゲート信号を利用して、受光素子44a,44b,44c,44dと電荷蓄積部46a,46b,46c,46dの間のスイッチング素子のオン・オフを制御する。図5に示すように、制御装置30は、第1光源22及び第2光源24の発光するタイミングに一致してスイッチング素子をオンさせる蓄積タイミング1(位相0°)と、第1光源22及び第2光源24が発光するタイミングから位相が180°ずれてスイッチング素子をオンさせる蓄積タイミング2(位相180°)の2種類が存在する。図5に示すように、蓄積タイミング1と蓄積タイミング2によるスイッチング素子のオン・オフが所定期間に亘って繰返される。
【0025】
図3に示す電荷蓄積部46a,46b,46c,46dの場合を例に具体的に説明する。図5に示されている時間(1)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図5に示されている時間(2)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図5に示されている時間(3)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図5に示されている時間(4)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。
【0026】
図5に示すように、第1光源22及び第2光源24が所定期間に亘って発光を繰返しており、4つの電荷蓄積部46a,46b,46c,46dにはその所定期間に亘って変換された電荷が累積して蓄積される。
【0027】
図6に、時間差を利用して距離画像データを取得する演算方法を示す。発光期間がWである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は時間差τだけ遅れて受光素子で受光される。蓄積タイミング1で反射光を受光した受光素子には、その反射光に応じた電荷量E1が生成され、その蓄積タイミング1において接続されている電荷蓄積部に電荷量E1が蓄積される。蓄積タイミング2で反射光を受光した受光素子には、その反射光に応じた電荷量E2が生成され、その蓄積タイミング2において接続されている電荷蓄積部に電荷量E2が蓄積される。時間差τは、以下の式で求められる。なお、dは測定対象物までの距離であり、cは光速である。
【0028】
【数1】
【0029】
即ち、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(2)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第1波長光(870nm)に基づいて取得される距離画像データである。同様に、第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(3)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(4)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第2波長光(970nm)に基づいて取得される距離画像データである。
【0030】
第1波長光に基づく距離画像データと第2波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第1波長光に基づく距離画像データと第2波長光に基づく距離画像データのいずれか一方を用いてもよい。
【0031】
図7及び8を参照して、距離画像データを取得するための方法の他の一例を説明する。図7及び8に示す例は、光源から照射された照射光と測定対象物で反射した反射光の位相差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。
【0032】
図7に示すように、この例では、第1光源22と第2光源24が発光するタイミングに連動(同期)して、撮像装置40のスイッチング素子をオンさせるタイミングが4種類であることを特徴としている。図7に示すように、制御装置30は、第1光源22及び第2光源24のオンするタイミングに一致してスイッチング素子をオンさせる蓄積タイミング1(位相0°)と、第1光源22及び第2光源24が発光するタイミングから位相が180°ずれてスイッチング素子をオンさせる蓄積タイミング2(位相180°)と、第1光源22及び第2光源24が発光するタイミングから位相が90°ずれてスイッチング素子をオンさせるタイミング3(位相90°)と、第1光源22及び第2光源24が発光するタイミングから位相が270°ずれてスイッチング素子をオンさせるタイミング4(位相270°)の4種類が存在する。図7に示すように、蓄積タイミング1と蓄積タイミング2によるスイッチング素子のオン・オフが所定期間(T1)に亘って繰返された後に、蓄積タイミング3と蓄積タイミング4によるスイッチング素子のオン・オフが所定期間(T2)に亘って繰返される。
【0033】
図3に示す電荷蓄積部46a,46b,46c,46dの場合を例に説明する。まず、所定期間(T1)の場合、図7に示されている時間(1)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図7に示されている時間(2)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図7に示されている時間(3)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図7に示されている時間(4)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T1)に亘って変換された電荷が累積的に蓄積される。所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0034】
次に、所定期間(T2)に移行すると、図7に示されている時間(5)では、図3の第1受光素子44aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44aで変換された電荷が第1電荷蓄積部46aに蓄積される。図7に示されている時間(6)では、図3の第2受光素子44bと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第2受光素子44bで変換された電荷が第2電荷蓄積部46bに蓄積される。図7に示されている時間(7)では、図3の第3受光素子44cと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第3受光素子44cで変換された電荷が第3電荷蓄積部46cに蓄積される。図7に示されている時間(8)では、図3の第4受光素子44dと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第4受光素子44dで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T2)に亘って変換された電荷が累積的に蓄積される。所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0035】
図8に、位相差を利用して距離画像データを取得する演算方法を示す。発光期間がWである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は位相差φだけ遅れて受光素子で受光される。蓄積タイミング1で反射光を受光した受光素子には、その反射光に応じた電荷量E1が生成され、その蓄積タイミング1において接続されている電荷蓄積部に電荷量E1が蓄積される。蓄積タイミング3で反射光を受光した受光素子には、その反射光に応じた電荷量E2が生成され、その蓄積タイミング3において接続されている電荷蓄積部に電荷量E2が蓄積される。蓄積タイミング2で反射光を受光した受光素子には、その反射光に応じた電荷量E3が生成され、その蓄積タイミング2において接続されている電荷蓄積部に電荷量E3が蓄積される。蓄積タイミング4で反射光を受光した受光素子には、その反射光に応じた電荷量E4が生成され、その蓄積タイミング4において接続されている電荷蓄積部に電荷量E4が蓄積される。位相差φは、以下の式で求められる。なお、dは測定対象物までの距離であり、cは光速であり、fは繰返し周波数である。
【0036】
【数2】
【0037】
即ち、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(2)に対応する)と、所定期間(T2)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(5)に対応する)と第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(6)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第1波長光(870nm)に基づいて取得される距離画像データである。同様に、所定期間(T1)において第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(3)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(4)に対応する)と、所定期間(T2)において第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(7)に対応する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(8)に対応する)に基づいて、距離画像データを演算することができる。この距離画像データは、第2波長光(970nm)に基づいて取得される距離画像データである。
【0038】
第1波長光に基づく距離画像データと第2波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第1波長光に基づく距離画像データと第2波長光に基づく距離画像データのいずれか一方を用いてもよい。
【0039】
次に、図4を参照して、部位判別画像データを取得するための方法の一例を説明する。前記したように、データベース70には、肌の分光反射率及び髪の分光反射率に係るデータが記憶されている。図4に示すように、肌の分光反射率及び髪の分光反射率に関し、波長870nmと970nmの分光反射率を比較すると、以下の関係が存在する。
【0040】
・肌:870nmにおける反射率>970nmにおける反射率
・髪:870nmにおける反射率<970nmにおける反射率
【0041】
例えば、図5に示す蓄積タイミングで撮像装置40のスイッチング素子を動作させた場合、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応しており、第1波長光870nmの反射率を反映する)と第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(3)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することができる。必要に応じて、第2電荷蓄積部46bに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(2)に対応しており、第1波長光870nmの反射率を反映する)と第4電荷蓄積部46dに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(4)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することもできる。
【0042】
あるいは、図7に示す蓄積タイミングで撮像装置40のスイッチング素子を動作させた場合、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応しており、第1波長光870nmの反射率を反映する)と第3電荷蓄積部46cに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(3)に対応しており、第2波長光970nmの反射率を反映する)に基づいて、部位判別画像データを演算することができる。必要に応じて、時間(2)と(4)、時間(5)と(7)、及び/又は時間(6)と(8)に対応して記憶されている電圧値に基づいて、部位判別画像データを演算することもできる。
【0043】
このように、運転手の頭部領域を測定対象物として抽出し、画素毎の値を870nmと970nmの各々の波長において比較することで、頭部領域の肌、髪を判別することが可能となる。
【0044】
なお、本実施例では、第1波長光に870nmを利用し、第2波長光に970nmを利用しているが、他の波長域の光を利用してもよい。好ましくは、以下の条件を満たすのが望ましい。
【0045】
第1に、近赤外領域の光を用いるのが望ましい。この理由は、運転手が運転中に使用する場合には、運転手の気を散らさないために不可視光で運転手の顔を照明することになるが、紫外領域の光を用いると眼に害を与えるおそれがあり望ましくないからである。
【0046】
第2に、1100nm以下の波長域の光を用いるのが望ましい。この理由は、コスト、信頼性、及び応答性の点で優れているシリコン半導体で構成された受光素子は、1100nm以下の波長に対して高い感度を有するからである。
【0047】
第3に、2つの波長域における反射率が、肌、髪等の各々で異なることが望ましい。また、可視領域近傍の波長の光を照射する照射装置を用いると、光が可視領域に漏れる可能性があること、受光素子の感度が1100nm以上では殆ど無いことも考慮する必要がある。
【0048】
上記で説明したように、本実施例の画像センサ100は、共有させた照射装置20及び撮像装置40を利用して、距離画像データと部位判別画像データを取得することができる。また、図5に示す蓄積タイミングの場合、第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図5の時間(1)に対応する)が、距離画像データと部位判別画像データの双方の演算に用いられる。また、図7に示す蓄積タイミングの場合、所定期間(T1)において第1電荷蓄積部46aに蓄積されている電荷量に基づいて記憶装置50に記憶されている電圧値(図7の時間(1)に対応する)が、距離画像データと部位判別画像データの双方の演算に用いられる。このため、第1電荷蓄積部46aが、距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置40の第1電荷蓄積部46aを共有させることによって、画像センサ100が簡素化される。さらに、第1電荷蓄積部46aに蓄積された電荷量が、距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積させる場合に比べて、距離画像データ及び部位判別画像データの取得に要する時間が短縮される。
【実施例2】
【0049】
図9に、撮像装置40に設けられた受光部42の他の一例を示す。図9に示す受光部42は、1つの受光素子44と、4つの電荷蓄積部46a,46b,46c,46dを備えている。4つの電荷蓄積部46a,46b,46c,46dのそれぞれは、受光素子44に接続されている。4つの電荷蓄積部46a,46b,46c,46dと受光素子44の間には、スイッチング素子がそれぞれ設けられている。図3に示す受光部42と比較すると、受光素子の数が大幅に削減されているので、より簡素化された圧力センサを具現化することができる。
【実施例3】
【0050】
図10に、第1光源22と第2光源24を発光させるパルス周期を変えた他の一例を示す。この変形例は、図7に示す位相差φに基づく距離画像データの取得例の変形例である。なお、以下の技術は、図5に示す時間差τに基づく距離画像データの取得例にも適用することができる。
【0051】
図10に示すように、第2光源24は、第1光源22よりもパルス周期が2倍に変調されて制御されている。これに連動して、所定期間(T1)における第3電荷蓄積部46c及び第4電荷蓄積部46dに電荷を蓄積させる時間(3)及び(4)の周期も2倍に調整されている。同様に、所定期間(T2)における第3電荷蓄積部46c及び第4電荷蓄積部46dに電荷を蓄積させる時間(7)及び(8)の周期も2倍に調整されている。
【0052】
この例では、第1波長光(870nm)に基づく距離画像データ(時間(1)と(2)と(5)と(6)に対応して記憶されている電圧値に基づいて得られる)は、近距離に存在する測定対象物の距離画像に用いられる。一方、第2波長光(970nm)に基づく距離画像データ(時間(3)と(4)と(7)と(8)に対応して記憶されている電圧値に基づいて得られる)は、遠距離に存在する測定対象物の距離画像に用いられる。即ち、パルス周期が短く変調された第1波長光(870nm)は近距離に存在する測定対象物の距離画像を取得するために利用され、パルス周期が長く変調された第2波長光(970nm)は遠距離に存在する測定対象物の距離画像を取得するために利用される。
【0053】
照射光と反射光の時間差及び位相差は、測定対象物までの距離に応じて変動する。測定対象物までの距離が短い場合(近距離の場合)は、照射光と反射光の時間差及び位相差が小さい。一方、測定対象物までの距離が長い場合(遠距離の場合)は、照射光と反射光の時間差及び位相差が大きい。このため、例えば、図10に示す第1波長光(870nm)を利用して遠距離に存在する測定対象物の距離画像データを取得しようとすると、反射光を受光できないことがあり、反射光の電荷を蓄積できない事態が生じ得る。また、図10に示す第2波長光(970nm)を利用して近距離に存在する測定対象物の距離画像データを取得しようとすると、各位相における電荷量の差が小さくなり、精度の良い距離画像データを取得できない事態が生じ得る。したがって、パルス周期が短く変調された第1波長光(870nm)は近距離に存在する測定対象物の距離画像を取得するために利用するのが望ましく、パルス周期が長く変調された第2波長光(970nm)は遠距離に存在する測定対象物の距離画像を取得するために利用されるのが望ましい。このように、測定対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。
【実施例4】
【0054】
図11に、撮像装置40に設けられた受光部42の他の一例を示す。図11に示す受光部42は、2つの受光素子44A,44Bと、4つの電荷蓄積部46a,46b,46c,46dを備えている。第1電荷蓄積部46aと第2電荷蓄積部46bはそれぞれ、第1受光素子44Aに接続されている。第3電荷蓄積部46cと第4電荷蓄積部46dはそれぞれ、第2受光素子44Bに接続されている。第1電荷蓄積部46aと第1受光素子44A、及び第2電荷蓄積部46bと第1受光素子44Aの間には、スイッチング素子がそれぞれ設けられている。第3電荷蓄積部46cと第2受光素子44B、及び第4電荷蓄積部46dと第2受光素子44Bの間にも、スイッチング素子がそれぞれ設けられている。
【0055】
受光部42はさらに、2つのバンドパスフィルタ48A,48Bを備えている。第1バンドパスフィルタ48Aは第1受光素子44Aを覆っており、第2バンドパスフィルタ48Bは第2受光素子44Bを覆っている。第1バンドパスフィルタ48Aは第1波長光(870nm)に対して透過選択性を有しており、第2バンドパスフィルタ48Bは第2波長光(970nm)に対して透過選択性を有している。このため、第1受光素子44Aは、第1波長光のみを受光する。第2受光素子44Bは、第2波長光のみを受光する。
【0056】
図12に、図11の受光部42を用いて位相差φに基づく距離画像データを取得する例を示す。なお、以下の技術は、図5に示す時間差τに基づく距離画像データの取得例にも適用することができる。図7の例と比較すると分かるように、第1光源22と第2光源24が同時に発光を繰り返している。所定期間(T1)の場合、図12に示されている時間(1)では、図11の第1受光素子44Aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第1電荷蓄積部46aに蓄積される。図11に示されている時間(2)では、図11の第1受光素子44Aと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第2電荷蓄積部46bに蓄積される。図12に示されている時間(3)では、図11の第2受光素子44Bと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第3電荷蓄積部46cに蓄積される。図12に示されている時間(4)では、図11の第2受光素子44Bと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T1)に亘って変換された電荷が累積的に蓄積される。所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T1)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0057】
次に、所定期間(T2)に移行すると、図12に示されている時間(5)では、図11の第1受光素子44Aと第1電荷蓄積部46aの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第1電荷蓄積部46aに蓄積される。図12に示されている時間(6)では、図11の第1受光素子44Aと第2電荷蓄積部46bの間のスイッチング素子がオンとなり、第1受光素子44Aで変換された電荷が第2電荷蓄積部46bに蓄積される。図12に示されている時間(7)では、図11の第2受光素子44Bと第3電荷蓄積部46cの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第3電荷蓄積部46cに蓄積される。図12に示されている時間(8)では、図11の第2受光素子44Bと第4電荷蓄積部46dの間のスイッチング素子がオンとなり、第2受光素子44Bで変換された電荷が第4電荷蓄積部46dに蓄積される。4つの電荷蓄積部46a,46b,46c,46dには、所定期間(T2)に亘って変換された電荷が累積的に蓄積される。所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに累積的に蓄積された電荷量は、記憶装置50において電圧値に変換され記憶される。さらに、所定期間(T2)が終了すると、電荷蓄積部46a,46b,46c,46dに蓄積された電荷は消去される。
【0058】
図12に示すように、時間(1)と(3)は同一であり、時間(2)と(4)は同一であり、時間(5)と(7)は同一であり、時間(6)と(8)は同一である。即ち、第1バンドパスフィルタ48A及び第2バンドパスフィルタ48Bを利用することにより、第1受光素子44Aでは第1波長光の反射光のみを電荷に変換する処理を実行することができ、第2受光素子44Bでは第2波長光の反射光のみを電荷に変換する処理を実行することができる。第1受光素子44Aにおける処理と第2受光素子44Bにおける処理を平行して実行することができる。これにより、画像センサ100は、より短時間で画像データを取得することが可能になる。
【0059】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【0060】
20:照射装置
22:第1光源
24:第2光源
30:制御装置
40:撮像装置
42:受光部
44a,44b,44c,44d:受光素子
46a,46b,46c,46d:電荷蓄積部
48A,48B:バンドパスフィルタ
50:記憶装置
60:演算装置
70:データベース
80:受光装置
【特許請求の範囲】
【請求項1】
距離画像データと部位判別画像データを取得する画像センサであって、
第1波長の第1波長光と、第1波長と異なる第2波長の第2波長光とを対象物に照射する照射装置と、
対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する撮像装置と、
前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
前記演算装置は、少なくとも第1波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における前記第1反射光の反射特性と対象物における前記第2反射光の反射特性に基づいて部位判別画像データを演算する画像センサ。
【請求項2】
前記撮像装置は、第1時間における第1反射光に応じた電荷量を蓄積する第1電荷蓄積部と、第2時間における第1反射光に応じた電荷量を蓄積する第2電荷蓄積部と、第3時間における第2反射光に応じた電荷量を蓄積する第3電荷蓄積部と、を少なくとも有しており、
前記演算装置は、第1電荷蓄積部に蓄積された電荷量と第2電荷蓄積部に蓄積された電荷量に基づいて第1距離画像データを演算するとともに、第1電荷蓄積部に蓄積された電荷量と第3電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算し、
前記第1時間と前記第2時間が異なることを特徴とする請求項1に記載の画像センサ。
【請求項3】
前記撮像装置は、第4時間における第2反射光に応じた電荷量を蓄積する第4電荷蓄積部をさらに有しており、
前記演算装置は、第3電荷蓄積部に蓄積された電荷量と第4電荷蓄積部に蓄積された電荷量に基づいて第2距離画像データを演算し、
前記第3時間と前記第4時間が異なることを特徴とする請求項2に記載の画像センサ。
【請求項4】
前記第1距離画像データと前記第2距離画像データは、一方が近距離に存在する対象物の距離画像データに用いられ、他方が遠距離に存在する対象物の距離画像データに用いられることを特徴とする請求項3に記載の画像センサ。
【請求項5】
前記撮像装置は、第1波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第1受光素子と、第2波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第2受光素子を有し、
第1電荷蓄積部と第2電荷蓄積部は、第1受光素子で変換された電荷を蓄積し、
第3電荷蓄積部は、第2受光素子で変換された電荷を蓄積することを特徴とする請求項2〜4のいずれか一項に記載の画像センサ。
【請求項6】
異なる波長の波長光を利用して、距離画像データと部位判別画像データを取得する画像センサに用いられる受光装置であって、
対象物で反射した第1波長の光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長の光の第2反射光に応じた電荷量を蓄積する撮像装置と、
前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
前記演算装置は、少なくとも第1波長の光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における第1反射光の反射特性と対象物における第2反射光の反射特性に基づいて部位判別画像データを演算する受光装置。
【請求項1】
距離画像データと部位判別画像データを取得する画像センサであって、
第1波長の第1波長光と、第1波長と異なる第2波長の第2波長光とを対象物に照射する照射装置と、
対象物で反射した第1波長光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長光の第2反射光に応じた電荷量を蓄積する撮像装置と、
前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
前記演算装置は、少なくとも第1波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における前記第1反射光の反射特性と対象物における前記第2反射光の反射特性に基づいて部位判別画像データを演算する画像センサ。
【請求項2】
前記撮像装置は、第1時間における第1反射光に応じた電荷量を蓄積する第1電荷蓄積部と、第2時間における第1反射光に応じた電荷量を蓄積する第2電荷蓄積部と、第3時間における第2反射光に応じた電荷量を蓄積する第3電荷蓄積部と、を少なくとも有しており、
前記演算装置は、第1電荷蓄積部に蓄積された電荷量と第2電荷蓄積部に蓄積された電荷量に基づいて第1距離画像データを演算するとともに、第1電荷蓄積部に蓄積された電荷量と第3電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算し、
前記第1時間と前記第2時間が異なることを特徴とする請求項1に記載の画像センサ。
【請求項3】
前記撮像装置は、第4時間における第2反射光に応じた電荷量を蓄積する第4電荷蓄積部をさらに有しており、
前記演算装置は、第3電荷蓄積部に蓄積された電荷量と第4電荷蓄積部に蓄積された電荷量に基づいて第2距離画像データを演算し、
前記第3時間と前記第4時間が異なることを特徴とする請求項2に記載の画像センサ。
【請求項4】
前記第1距離画像データと前記第2距離画像データは、一方が近距離に存在する対象物の距離画像データに用いられ、他方が遠距離に存在する対象物の距離画像データに用いられることを特徴とする請求項3に記載の画像センサ。
【請求項5】
前記撮像装置は、第1波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第1受光素子と、第2波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第2受光素子を有し、
第1電荷蓄積部と第2電荷蓄積部は、第1受光素子で変換された電荷を蓄積し、
第3電荷蓄積部は、第2受光素子で変換された電荷を蓄積することを特徴とする請求項2〜4のいずれか一項に記載の画像センサ。
【請求項6】
異なる波長の波長光を利用して、距離画像データと部位判別画像データを取得する画像センサに用いられる受光装置であって、
対象物で反射した第1波長の光の第1反射光に応じた電荷量を蓄積するとともに、対象物で反射した第2波長の光の第2反射光に応じた電荷量を蓄積する撮像装置と、
前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
前記演算装置は、少なくとも第1波長の光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における第1反射光の反射特性と対象物における第2反射光の反射特性に基づいて部位判別画像データを演算する受光装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−13138(P2011−13138A)
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願番号】特願2009−158566(P2009−158566)
【出願日】平成21年7月3日(2009.7.3)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願日】平成21年7月3日(2009.7.3)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]