固体撮像素子

【課題】大規模な演算回路を用いることなく処理の高速化を図ることを可能にして検出時間の短縮化を図るとともに、他方向のオプティカルフローの検出を抑止することを可能にした固体撮像素子を提供する。
【解決手段】光を受光してオプティカルフローを検出する固体撮像素子において、所定の方向に広がる所定のオプティカルフローに沿って光を受光する画素を配列したものであり、各画素は、上記所定のオプティカルフローに沿って所定の間隔を開けて配列し、同一の面積を備えるとともに上記所定のオプティカルフローに沿って縦横比を変化させた。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子に関し、さらに詳細には、オプティカルフローの検出に用いて好適な固体撮像素子に関する。
【背景技術】
【０００２】
一般に、固体撮像素子を用いて物体の動き（動きの方向およびその速度）を検出する手法としては、オプティカルフローによる動き検出の手法が用いられている。
【０００３】
ここで、オプティカルフローは、固体撮像素子で現在撮像した画像と過去に撮像した画像との比較を行うことで検出することが可能である。
【０００４】
より詳細には、オプティカルフローとは、時間的に連続する画像の中での物体の動きをベクトルで表現したものである。具体的には、ある時間ｔの特徴点を抽出し、時間ｔより時間が経過したｄｔ時間後にその特徴点がどの位置に動いているかを検出し、特徴点の移動方向と移動距離とをベクトルとして検出し、その検出したベクトルだけを取り出したものがオプティカルフローを示すフローデータである。なお、観測者が直進移動する場合には、オプティカルフローは画像の消失点より外に広がるように移動する。
【０００５】

従来、上記したオプティカルフローを検出するに際しては、画素が２次元マトリクス状に配列された固体撮像素子を用いており、この固体撮像素子で撮像した時間ｔと時間ｔ＋ｄｔとの２枚もしくはそれ以上の枚数の画像間の特徴点のマッチングを行うことで、オプティカルフローを表すベクトルを検出していた。
【０００６】
即ち、従来においては、例えば、特許文献１として提示する特開２００６−１３４０３５号公報や特許文献２として提示する特開２００６−７２４３９号公報に開示されているように、現在撮像した画像の全ての場所もしくはブロック毎に過去の画像とのマッチング点を検索するようにして、オプティカルフローを表すベクトルを検出していた。
【０００７】

しかしながら、上記した従来の手法によれば、処理する情報量が多くなるとともに、画像を取得後にさまざまな煩雑な画像処理（エッジ検出、ハフ変換、パターンマッチング、統計手法による予測など）によりオプティカルフローの検出を行う必要があるため、オプティカルフローの検出のためには大規模な演算回路を用いていたとともに、その検出には多大な時間がかかっていたという問題点があった。
【０００８】
また、上記した従来の手法によれば、他方向のオプティカルフローも検出してしまい、後処理でそうしたオプティカルフローを除く必要があるという問題点もあった。
【０００９】
【特許文献１】特開２００６−１３４０３５号公報
【特許文献２】特開２００６−７２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、大規模な演算回路を用いることなく処理の高速化を図ることを可能にして検出時間の短縮化を図るとともに、他方向のオプティカルフローの検出を抑止することを可能にした固体撮像素子を提供しようとするものである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、固体撮像素子の画素を所定の方向に広がる所定のオプティカルフローの検出のみに特化した配列としたものである。
【００１２】
従って、本発明によれば、所定の方向のオプティカルフローのみしか検出されないので、従来の手法と比較すると処理する情報量が激減し、当該所定の方向のオプティカルフローについては、高速かつ確実に検出することができるようになる。
【００１３】
こうした本発明による固体撮像素子を用いることで、相対速度のある移動する物体（以下、本明細書においては「移動物体」と適宜に称する。）のオプティカルフローを高速に検出することができる。
【００１４】
従って、本発明による固体撮像素子の画素の配列を方向を適宜に設定して、特定の方向のオプティカルフローのみを検出するようすれば、本発明による固体撮像素子に対して相対速度をもち、当該特定の方向に関して当該固体撮像素子に対し近づくもしくは遠ざかる移動物体の検出を高速かつ確実に行うことができるようになる。
【００１５】
なお、本発明による固体撮像素子は、ＣＣＤやＣＭＯＳなどの構造により作製することができる。
【００１６】

以下、本発明の理解を容易にするために、本発明の原理について詳細に説明しておくこととする。
【００１７】
図１は観測者が直進運動をしているときの観測者進行方向の映像であり、映像中に移動物体がない場合のオプティカルフロー（ベクトル）が矢印で示されている。
【００１８】
図１に示すように、映像中に移動物体がない場合には、背景などの停止した物体のオプティカルフローが消失点から広がるようにして発生する。
【００１９】
ここで、この映像の中に移動する物体があると、図１に示す背景などの停止した物体のオプティカルフローとは別方向のオプティカルフローが発生し、そのベクトルを検出することで移動物体の移動方向や大きさを検出することができる。
【００２０】
ある物体が水平方向に移動しながら観測者へ近づくとしたとき、時間経過とともに物体の大きさは大きくなることから、オプティカルフローは図２に示すような広がりをもつことになる。
【００２１】
従って、水平方向に移動しながら近づいてくる移動物体のオプティカルフローを検出することを目的とする場合には、図３に示した所定の方向に広がる所定のオプティカルフローのみを検出するように本発明による固体撮像素子の画素を配列すればよい。
【００２２】
このようにすると、本発明による固体撮像素子は、図３に示したオプティカルフローのみを検出し、他のオプティカルフローを検出することはない。このため、従来の手法と比較した場合に処理すべき情報量が激減し、図３に示したオプティカルフローについては、高速かつ確実に検出することができるようになる。
【００２３】

即ち、本発明のうち請求項１に記載の発明は、光を受光してオプティカルフローを検出する固体撮像素子において、所定の方向に広がる所定のオプティカルフローに沿って光を受光する画素を配列するようにしたものである。
【００２４】
また、本発明のうち請求項２に記載の発明は、本発明のうち請求項１に記載の発明において、上記画素は、上記所定のオプティカルフローに沿って所定の間隔を開けて配列されるようにしたものである。
【００２５】
また、本発明のうち請求項３に記載の発明は、本発明のうち請求項１または２のいずれか１項に記載の発明において、上記所定のオプティカルフローに沿って配列される画素のそれぞれは、同一の面積を備えるとともに上記所定のオプティカルフローに沿って縦横比を変化させるようにしたものである。
【発明の効果】
【００２６】
本発明は、以上説明したように構成されているので、大規模な演算回路を用いることなく処理の高速化を図ることが可能になって検出時間の短縮化を図ることができるようになるとともに、他方向のオプティカルフローの検出を抑止することが可能になるという優れた効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、添付の図面を参照しながら、本発明による固体撮像素子の実施の形態の一例を詳細に説明するものとする。
【００２８】

ここで、図４には本発明の第１の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図が示されており、図５には本発明の第２の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図が示されており、図６には本発明の第３の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図が示されており、図７には本発明の第４の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図が示されている。
【００２９】
これら本発明の第１の実施の形態による固体撮像素子１０、本発明の第２の実施の形態による固体撮像素子２０、本発明の第３の実施の形態による固体撮像素子３０および本発明の第４の実施の形態による固体撮像素子４０は、いずれも図３に示す特定方向のオプティカルフローのみを検出することに特化した固体撮像素子である。
【００３０】
即ち、固体撮像素子１０、２０、３０、４０は、当該固体撮像素子１０、２０、３０、４０により撮像される画像の左端から右端に向かい、かつ、画像の縦方向へ広がっていくように進むオプティカルフローを検出するためのものである。
【００３１】

はじめに、固体撮像素子１０について説明すると、固体撮像素子１０のそれぞれの画素１０ａは、図３に示す所定の方向に広がる所定のオプティカルフローに沿って密に配列されている。各画素１０ａは、それぞれ少しずつずらして配列されている。
【００３２】
以上の構成において、固体撮像素子１０によれば、各画素１０ａが図３に示すオプティカルフローに沿って配列されているので、各画素１０ａによって図３に示すオプティカルフローのみが検出され、他のオプティカルフローが検出されることはない。このため、従来の固体撮像素子と比較した場合に処理すべき情報量が激減し、図３に示したオプティカルフローについては、高速かつ確実に検出することができるようになる。
【００３３】

次に、固体撮像素子２０について説明すると、固体撮像素子２０は、固体撮像素子１０よりもさらに図３に示すオプティカルフローを検出しやすくするために、画素２０ａを密に配列することなく、所定の間隔を開けて図３に示すオプティカルフローに沿って配列したものである。
【００３４】
従って、固体撮像素子２０によれば、図３に示すオプティカルフローの検出により特化することができる。
【００３５】
なお、固体撮像素子２０においては、画素２０ａの配列から少しでも外れたオプティカルフローの検出は困難になる。
【００３６】

次に、固体撮像素子３０について説明すると、固体撮像素子３０においては、各画素３０ａの形状はそれぞれ異なるが、各画素３０ａの面積は全て同じに設定されているので、光を受光すると各画素３０ａにはそれぞれ同じ光子数が入ることになる。
【００３７】
また、画素３０ａは、図６において固体撮像素子３０の右側へ行くほど縦長の画素になるため、固体撮像素子２０と比較するとオプティカルフローの検出の裕度が高い。
【００３８】

次に、固体撮像素子４０について説明すると、固体撮像素子４０においては、固体撮像素子３０と同様に各画素４０ａの面積は全て同じに設定されているが、各画素４０ａの配列が固体撮像素子３０とは異なる。
【００３９】
この固体撮像素子４０における各画素４０ａの配列は、魚眼レンズなどを用いて集光した光を受光する場合の画像の歪みを考慮して配置した例である。
【００４０】

なお、図示は省略したが、画素を横方向だけでなく上下方向にも広がるように配列することにより、本発明による固体撮像素子を構成するようにしてもよい。
【００４１】

図８には、例えば、固体撮像素子１０、固体撮像素子２０、固体撮像素子３０または固体撮像素子４０として示す本発明による固体撮像素子をフロー検出カメラとして構成したセンサシステムのブロック構成図が示されている。このセンサシステム１００は車両に搭載されて、当該車両との関係で物体を検出する際に用いられる。
【００４２】

このセンサシステム１００は、本発明による固体撮像素子を用いたフロー検出カメラ１０２と、フロー検出カメラ１０２を構成する固体撮像素子により生成されて出力されたフローデータおよび映像データを入力する演算回路１０４と、フロー検出カメラ１０２へ制御信号を出力する信号回路１０６とを有して構成されている。
【００４３】

以上の構成において、このセンサシステム１００では、本発明による固体撮像素子を用いたフロー検出カメラ１０２が、光を受光することにより入力された映像よりオプティカルフローを検出し、そのフローデータおよび映像データを演算回路１０４へ出力する。
【００４４】
演算回路１０４はフローデータおよび映像データを処理し、センサシステム１００が搭載された自車両までの物体の到達時間や衝突の可能性を演算し、その後の制御処理への信号として出力する。なお、制御処理とは、ブレーキ制御や運転者への警報などである。
【００４５】
また、信号回路１０６により、自車両の情報をフロー検出カメラ１０２の制御信号として入力することで、自車両が停止していれば自車両からの衝突は無いなどの情報として制御が可能となる。
【００４６】

図９以降には、本発明による固体撮像素子を備えたセンサシステム１００を自動車に搭載した場合の動作例が示されている。
【００４７】
ここで、自動車の前方監視用途として自車両前方を監視した場合に、自車両の走行中においては自車両の前に移動物体がない場合には、そのオプティカルフローは図１に示すようになる。
【００４８】
そこで、自動車に搭載するセンサシステム１００に用いる本発明による固体撮像素子の画素は、図９に示すオプティカルフローを検出することができるように配列する。この図９に示すオプティカルフローは、撮像される画像の中央部に位置する消失点を挟むようにして、撮像される画像のそれぞれの側端から互いに中央に向かい、かつ、中央に向かうにつれて画像の縦方向へ広がっていくように進むオプティカルフローとなる。
【００４９】
これにより、移動物体から見える背景などの停止物体のオプティカルフローは検出されず、自車両の移動方向を妨げるように移動する物体のみを検出することができる。
【００５０】
なお、消失点上にある移動物体に関しては、停止物体と同じ方向のベクトルとして検出されるため、この画角では検出することはできない。この図９に示すオプティカルフローを検出するための本発明による固体撮像素子の画素の配列は、あくまでも自車両の進行方向の障害になる可能性のある物体の検出を行うことを目的としたものである。
【００５１】

ここで、図１０は、自車両２００と前方の他車両２０２との走行状態の関係を上面から見た場合の説明図である。
【００５２】
図１０において、自車両２００は上方向へ移動し、前方の他車両２０２は右方向から左方向へ移動する。
【００５３】
なお、自車両２００に搭載するセンサシステム１００のフロー検出カメラ１０２は、自車両２００のヘッドランプ内、バンパー内、車室内あるいはサイドミラーなどに取り付けるものとし、図９に示すオプティカルフローを検出するための画素の配列を備えた本発明による固体撮像素子を用いているものとする。
【００５４】
このとき、自車両２００により搭載されたフロー検出カメラ１０２により撮像された映像は、図１１、図１２のようになる。なお、ある時間ｔに撮像した図１１の画像から、ｄｔ時間経過した画像を図１２とする。
【００５５】
まず、自車両２００と前方の他車両２０２と双方移動している場合は、前方の他車両２０２の大きさや位置は、図１１から図１２のよう変化する。
【００５６】
そこで、図１１および図１２を用いて前方の他車両２０２や路面の特徴点からオプティカルフローを検出した結果が、図１３に示すオプティカルフローである。
【００５７】
移動した前方の他車両２０２については、右から左への移動距離と自車両２００が接近したことによる大きさの変化とが、オプティカルフローとして検出される。
【００５８】
なお、路面のマーカーは下方向のオプティカルフローとなるため、このフロー検出カメラ１０２では検出されないこととなる。
【００５９】
従って、フロー検出カメラ１０２によるオプティカルフローの検出結果は、図１４に示すようになる。
【００６０】
また、上記した自車両２００を市街地走行させる場合でも、図１５のように自車両進行方向に移動している人物２０４のオプティカルフローは検出されるが、停止している人物２０６のオプティカルフローは検出されないことになる。
【００６１】
さらに、自車両２００が停止している場合の映像は、図１６、図１７のような変化になる。このため、オプティカルフローは、図１８に示すように横方向のみのオプティカルフローとなるため、このオプティカルフローはフロー検出カメラ１０２では検出されないことになる。
【００６２】

次に、自車両２００から後方を監視する場合を検討するが、この場合には、自車両２００に搭載するセンサシステム１００のフロー検出カメラ１０２は、自車両２００のテールランプ内、バンパー内あるいは車室内などに取り付けるものとする。
【００６３】
また、フロー検出カメラ１０２を自車両２００の後方に取り付ける場合は、本発明による固体撮像素子により検出するオプティカルフローの向きを、図１９に示すようにする。従って、これに用いられる本発明による固体撮像素子の画素も、図１９に示すオプティカルフローのみを検出するように、図１９に示すオプティカルフローに沿って配列する。
【００６４】
ここで、図２０、図２１は、自車両２００に向かって走行してくる後方の他車両２０８の映像であり、図２１は図２０からｄｔ時間後の映像である。後方の他車両２０８は、自車両２００に近づいてくるため徐々に大きくなってくる。
【００６５】
これら図２０、図２１の画像からオプティカルフローを検出した結果が、図２２に示されている。この図２２で検出したオプティカルフローを見ると、後方の他車両２０８は画像下部へ広がるようになっている。
【００６６】
一方、街路灯２１０は消失点に向かってのフローとなるため、図１９に示すオプティカルフローに沿って配列された画素の本発明による固体撮像素子では検出されない。
【００６７】
従って、図１９に示すオプティカルフローに沿って配列された画素の本発明による固体撮像素子により検出されたオプティカルフローは、図２３に示すものとなる。
【００６８】
これにより検出したオプティカルフロー（ベクトル）から、自車両２００へ向かってくる可能性のある後方の他車両２０８を検出し、後方の他車両２００へ衝突の危険を知らせたり、自車両２００の衝突回避行動を促したりすることができる。
【００６９】

次に、図２４以降の各図を参照しながら、本発明による固体撮像素子を防犯システムに利用する場合について説明する。
【００７０】
図２４、図２５、図２７および図２８には、本発明による固体撮像素子を防犯システムのセキュリティ監視カメラに取り付けて撮像した例が示されている。
【００７１】
ここで、図２４および図２５は横方向から撮像した場合を示し、図２７および図２８は上方向から撮像した場合を示している。
【００７２】
この本発明による固体撮像素子を防犯システムに利用する場合においても、それぞれ検出したいオプティカルフローに合わせて、当該オプティカルフローに沿って配列された画素の本発明による固体撮像素子を用いる。
【００７３】
例えば、図２４に示すの場合は左から右へのオプティカルフローを検出できるようにし、図２７に示す場合は上から下へのオプティカルフローを検出できるようにする。
【００７４】
図２５は図２４を撮像してからｄｔ時間経過した映像であり、図２８は図２７を撮像してからｄｔ時間経過した映像であるとする。
【００７５】
セキュリティ監視カメラに向かってくる人物２１２および人物２１４がいる場合には、セキュリティ監視カメラに近づくほど位置や大きさが変化するため、図２６や図２９のようなオプティカルフローが検出され、これにより侵入者の検知や来訪者の検知などが可能となる。
【００７６】

なお、上記した実施の形態は、以下の（１）乃至（３）に示すように変形することができるものである。
【００７７】
（１）上記した実施の形態において示した本発明による固体撮像素子の画素の配列は説明のための一例に過ぎないものであり、用途に応じて任意の配列を選択してよいことは勿論である。
【００７８】
（２）上記した実施の形態においては、本発明による固体撮像素子を自動車や防犯システムに利用した場合を示したが、本発明による固体撮像素子の用途はこれらに限られるものではないことは勿論であり、例えば、ロボットのセンサーなどに利用することができる。
【００７９】
（３）上記した実施の形態ならびに上記した（１）乃至（２）に示す変形例は、適宜に組み合わせるようにしてもよい。
【産業上の利用可能性】
【００８０】
本発明は、自動車の周辺監視や衝突回避制御の用途、ロボットの動き制御の用途あるいは防犯システムにおける侵入者の検知や駐車場などの動き感知の用途などの各種の分野に利用することができるものである。
【図面の簡単な説明】
【００８１】
【図１】図１は、観測者が直進運動をしているときの観測者進行方向の映像を示す説明図である。
【図２】図２は、ある物体が水平方向に移動しながら観測者へ近づくときのオプティカルフローを示す説明図である。
【図３】図３は、水平方向に移動しながら近づいてくる移動物体のオプティカルフローを示す説明図である。
【図４】図４は、図３に示す特定方向のオプティカルフローのみを検出することに特化した本発明の第１の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図である。
【図５】図５は、図３に示す特定方向のオプティカルフローのみを検出することに特化した本発明の第２の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図である。
【図６】図６は、図３に示す特定方向のオプティカルフローのみを検出することに特化した本発明の第３の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図である。
【図７】図７は、図３に示す特定方向のオプティカルフローのみを検出することに特化した本発明の第４の実施の形態による固体撮像素子の撮像面における画素の配列を示す概略構成説明図である。
【図８】図８は、本発明による固体撮像素子をフロー検出カメラとして構成したセンサシステムのブロック構成図である。
【図９】図９は、自動車の前方監視用途として搭載するセンサシステムに用いる本発明による固体撮像素子が検出すべきオプティカルフローを示す説明図である。
【図１０】図１０は、本発明による固体撮像素子の動作を説明するための説明図である。
【図１１】図１１は、自車両が走向している場合に自車両の前方に搭載されたフロー検出カメラにより撮像された映像を示す説明図である。
【図１２】図１２は、自車両が走向している場合に自車両の前方に搭載されたフロー検出カメラにより撮像された映像を示す説明図である。
【図１３】図１３は、図１１および図１２を用いて前方の他車両や路面の特徴点から検出されたオプティカルフローを示す説明図である。
【図１４】図１４は、本発明による固体撮像素子により検出されたオプティカルフローを示す説明図である。
【図１５】図１５は、自車両で市街地走行した場合の映像から検出されたオプティカルフローを示す説明図である。
【図１６】図１６は、自車両が停止している場合に自車両の前方に搭載されたフロー検出カメラにより撮像された映像を示す説明図である。
【図１７】図１７は、自車両が停止している場合に自車両の前方に搭載されたフロー検出カメラにより撮像された映像を示す説明図である。
【図１８】図１８は、図１６および図１７の映像から検出されたオプティカルフローを示す説明図である。
【図１９】図１９は、自動車の後方監視用途として搭載するセンサシステムに用いる本発明による固体撮像素子が検出すべきオプティカルフローを示す説明図である。
【図２０】図２０は、自車両に向かって走行してくる後方の他車両の映像を示す説明図である。
【図２１】図２１は、自車両に向かって走行してくる後方の他車両の映像を示す説明図である。
【図２２】図２２は、図２０および図２１の映像から検出されたオプティカルフローを示す説明図である。
【図２３】図２３は、本発明による固体撮像素子により検出されたオプティカルフローを示す説明図である。
【図２４】図２４は、本発明による固体撮像素子を防犯システムのセキュリティ監視カメラに取り付けて撮像した映像を示す説明図である。
【図２５】図２５は、本発明による固体撮像素子を防犯システムのセキュリティ監視カメラに取り付けて撮像した映像を示す説明図である。
【図２６】図２６は、図２４および図２５の映像から検出されたオプティカルフローを示す説明図である。
【図２７】図２７は、本発明による固体撮像素子を防犯システムのセキュリティ監視カメラに取り付けて撮像した映像を示す説明図である。
【図２８】図２８は、本発明による固体撮像素子を防犯システムのセキュリティ監視カメラに取り付けて撮像した映像を示す説明図である。
【図２９】図２９は、図２７および図２８の映像から検出されたオプティカルフローを示す説明図である。
【符号の説明】
【００８２】
１０、２０、３０、４０固体撮像素子
１０ａ、２０ａ、３０ａ、４０ａ画素
１００センサシステム
１０２フロー検出カメラ
１０４演算回路
１０６信号回路

【特許請求の範囲】
【請求項１】
光を受光してオプティカルフローを検出する固体撮像素子において、
所定の方向に広がる所定のオプティカルフローに沿って光を受光する画素を配列した
ことを特徴とする固体撮像素子。
【請求項２】
請求項１に記載の固体撮像素子において、
前記画素は、前記所定のオプティカルフローに沿って所定の間隔を開けて配列された
ことを特徴とする固体撮像素子。
【請求項３】
請求項１または２のいずれか１項に記載の固体撮像素子において、
前記所定のオプティカルフローに沿って配列される画素のそれぞれは、同一の面積を備えるとともに前記所定のオプティカルフローに沿って縦横比を変化させた
ことを特徴とする固体撮像素子。

【図１】