撮像装置及び距離取得システム
【課題】測距精度を向上させることが可能な撮像装置を提供する。
【解決手段】この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
【解決手段】この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、さらに詳しくは、撮像装置の温度変化により変動する光学条件を補正して測距精度を向上させる技術に関するものである。
【背景技術】
【０００２】
撮像装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用であり、また二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など、距離情報も同時に検知する距離画像入力装置への要求が高まっており、様々な場所で利用されている。しかし、撮像装置を使用する環境条件（特に、温度変化）により、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。
温度変化により変動する光学条件を補正する従来技術として特許文献１には、複数の光学レンズを同一平面上に配置したレンズユニットと、複数の光学レンズに１対１に対応する複数の撮像領域を有する撮像素子と、レンズユニットに接して配置され、レンズユニットの温度を検出する温度検出素子と、を有し、温度検出手段の検出した温度に基づいて、複数の光学レンズの光軸間の距離を補正し、被写体までの距離を算出する撮像装置について開示されている。
また、特許文献２には、複数のレンズを一体化したレンズアレイと、レンズアレイの各レンズに１対１に対応する複数の撮像領域と、レンズアレイを保持する筐体とを備え、レンズアレイは筐体に対し、所定の一点で固定されている。また、レンズアレイは、筐体に対し所定の一点を中心にして熱膨張による変形可能に保持されている撮像装置について開示されている。
また、特許文献３には、ステレオカメラの撮像画像の光学的な位置ズレに対し経年変化による位置ズレをマーカの位置に応じて、画像補正を行う画像補正装置について開示されている。
また、特許文献４には、画像から特徴量を抽出して特徴量に基づいてキャリブレーションデータを選択するステレオカメラシステムについて開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、周囲温度が変化することにより、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。特に特許文献２に開示されているように、１台の撮像センサとレンズアレイの組み合わせにより測距を行うような、基線長の距離が短い測距装置の場合、温度変化による基線長の変化割合が大きく、測距結果に大きな影響を与えることが知られている。そこで、特許文献２では、レンズアレイを一点のみで固定することにより、個体ごとの接着剤や遮蔽ブロックの保持部などの応力による影響をなくすことで、温度と基線長の関係の個体差を極力抑えることができるようになった。しかし、この方法では、明記されてはいないものの、温度を計測する必要があること、また、個体差を完全には取り除くことができないといった問題がある。
【０００４】
一方、カメラキャリブレーションを行い、カメラの状態を把握した上で測距を行うことが一般に知られている。たとえばＺｈａｎｇのキャリブレーション("A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000)は、チェッカーフラグ状のチャートを任意の位置に複数回配置して撮影を行い、チェッカーフラグの格子位置を検出することで、カメラパラメータを求めている。この方法を毎時実行することができれば、環境変化に強い測距を実現することができるが、現実には不可能である。なぜなら、カメラを使用する度にカメラパラメータを求めることも考えられるが、チャートを毎回設置することは使用者にとって非常に面倒な作業であるうえ、使用している最中に環境が変わってしまうケースも大いに考えられる。特に車内で用いる場合などは、使用前の直射日光にさらされた環境と、長時間乗車後のエアコンが効いた環境では大きな違いとなる。従って、環境変化を察知してカメラのキャリブレーションを行うことが必要となる。
そこで、温度センサを利用することでカメラの状態を予測して、測距に利用する方法がある。しかし温度とカメラの状態を１対１に対応づけするのは難しい。例えば、外気温度が２５度でもカメラ内部のレンズの温度が３５度の場合もあれば、外気温度が３０度でカメラ内部のレンズの温度が３５度を示す場合があり、温度センサの設置位置の影響を非常に受け易い。測距用カメラで最も重要な要素は、入射角と撮像位置の関係である。よって、入射角と撮像位置の関係からカメラの状態を計測することが好ましく、本発明ではそのような方法を選択している。
【０００５】
本発明では、様々な温度・湿度環境で、カメラキャリブレーションを行うことにより、多様な環境下でのカメラパラメータをあらかじめ算出・保存しておく。そして、マーカを用いて入射角と撮像位置の関係を計測することでカメラの状態（＝温度・湿度環境）を予測し、適切なカメラパラメータを選択した測距に用いることで、様々な環境に対応する。
本発明の手法は、カメラ外部の物体を基準（基準物体）にして環境温度を計測するのに対して、同一出願人による発明は、カメラ内部の物体を基準（基準物体）にして温度変化を計測している。カメラに撮像する物体を基準にして温度変化を計測する際、物体自体の位置が温度変化などでずれが生じた場合に、カメラからより遠い物体を基準とした方が、基準物体自体の位置に誤差が生じた場合の影響を受けにくいというメリットがある。一方デメリットとしては、カメラ外部に基準物体を設けた場合、カメラと物体間に他の物体があると、温度変化が計測できなくなる。そのため、基準物体の配置には注意する必要がある。
【０００６】
ところで、なぜ温度変化が起こると、測距結果が変わるかについて考察すると、図９に記されたような格子模様のチャートを、図１の構成による撮像装置（構成の詳細は後述）で、環境温度Ａ（温度センサによる補正方法と区別するために環境温度という名称を使用する）で撮影した場合の画像を図１０に、環境温度Ｂで撮影した場合の画像を図１１に示す。（図１０と図１１でチャートの位置がことなっていることに注意）。環境温度変化によって変化するチャートの撮像位置の変化量は非常に微小である。しかし入射角と撮像位置の関係が変化することは、三角測量の原理でいうところの内角が変わってしまうことを意味する。これは本発明の構成のような、基線長の小さな測距カメラで、遠距離を撮影する場合には非常に大きな問題である。
また、ステレオカメラ装置で、経年変化を補正する方法として特許文献３や特許文献４がある。これらは、カメラ間の位置、すなわち外部パラメータを補正するための装置であり、複数個のマーカを必要とする。
本発明は、かかる課題に鑑みてなされたものであり、撮像素子により撮影された複眼像を個眼像に分割し、得られた各個眼像に撮影されている相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて歪みパラメータを決定し、該歪みパラメータを用いて各個眼像の歪みを補正することにより、測距精度を向上させることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明はかかる課題を解決するために、請求項１は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列し、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、を備えた撮像装置であって、前記演算器は、前記撮像装置との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を前記各個眼像から特定する既知物体撮像位置認識手段と、該既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備え、前記撮像素子により撮影された複眼像を前記個眼像に分割し、得られた各個眼像に撮影されている前記相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて前記画像歪みパラメータ決定手段により歪みパラメータを決定し、該歪みパラメータを用いて前記各個眼像の歪みを補正することを特徴とする。
請求項２は、前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を備えたことを特徴とする。
【０００８】
請求項３は、前記相対位置関係が既知の被写体が、マーカであることを特徴とする。
請求項４は、前記相対位置関係が既知の物体が、拘束条件下で移動可能であることを特徴とする。
請求項５は、前記マーカが前記個眼像を撮影可能な位置に配設されていることを特徴とする。
【０００９】
請求項６は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列して、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、からなる撮像装置を含む距離取得システムであって、前記撮像装置との相対位置関係が既知のマーカと、該マーカの位置を前記個眼像から特定する既知物体撮像位置認識手段と、前記既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備えたことを特徴とする。
請求項７は、前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を持つことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、外部の基準物体の撮像位置を把握することにより、温度変化による測距誤差を低減することができる。
また、基準物体としてマーカを利用することで、より基準物体の位置ずれを精度よく求めることができる。
また、基準物体を撮像装置外部に用意する必要がなくなるので、撮像装置外部に基準物体を設置した場合に生じる問題点、撮像装置と基準物体の間に他の物体が位置することにより、基準物体が検出できないリスクを回避することができる。
また、撮像装置だけでなく、マーカと一緒のシステムとして考えることにより、デザイン性を向上させたり、基準物体の位置ずれを更に精度よく求めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】図１の撮像装置を被写体方向から観察したときの模式図である。
【図３】図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図４】マーカの一例を示す図である。
【図５】個眼像生成部の動作を説明するフローチャートである。
【図６】車内環境の一例を示す図である。
【図７】温度と内部パラメータの対応関係を示す図である。
【図８】マーカと温度の対応を示す図である。
【図９】マーカの一例を示す図である。
【図１０】温度Ａで撮影した場合の画像を示す図である。
【図１１】温度Ｂで撮影した場合の画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の第１の実施形態に係る撮像装置の構成を示す図である。この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
【００１３】
また、演算器１０は、ＣＭＯＳセンサ４により撮像された画像信号を受け取る画像キャプチャ部７と、画像信号から個眼像を生成する個眼像生成部８と、個眼像生成部８により生成された個眼像の中から合焦している個眼像を抽出する合焦個眼像選択抽出部９と、を備え、特に、個眼像生成部８は、撮像装置５０との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を各個眼像から特定する既知物体撮像位置認識手段１１と、既知物体撮像位置認識手段１１により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段２と、を備えている。即ち、演算器１０は、ＣＭＯＳセンサ４により撮影された複眼像を個眼像に分割し、得られた各個眼像に撮影されている相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて画像歪みパラメータ決定手段１２により歪みパラメータを決定し、この歪みパラメータを用いて各個眼像の歪みを補正する。
即ち、図１では、矢印方向に被写体があるものとし、撮像装置５０により被写体を撮像する構成の断面模式図を示したものである。
【００１４】
図２は図１の撮像装置を被写体方向から観察したときの模式図であり、図１と共通する部品には共通する番号が付されている。図１において、１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。
図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセットになって被写体の像を像面上で結像させる。２は、レンズアレイにおける隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（遮光壁と呼ぶ）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁は一般には、レンズアレイの各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用するように作られる。レンズアレイ１の像側の面と遮光壁とが接触、接着されている。３は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介して開口アレイ３とレンズアレイ１は接着されている。４は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するＣＭＯＳセンサであり、基板５の上に実装されている。図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着してレンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、基板５に接着されて固定されている。
【００１５】
次に、図１の撮像装置５０により取得される画像とその処理について説明する。ＣＭＯＳセンサ４による像は、図１の画像キャプチャ部７により撮像され、個眼像生成部８によって、６つの個眼像に分離される。そして、６つの画像を用いて視差計算を行い、物体までの距離を計測する。視差計算の方法は、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。視差検出においては２つの個眼像、例えばＩ5とＩ6の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ5とＩ6）での視差を求めれば、他の個眼像（例えばＩ1からＩ4）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
【００１６】
以下に本実施形態に係る個眼像生成部の詳細について、図５のフローチャートを用いて説明する。まず、画像を取得し、６個の個眼像の切出しを行う。図１の装置を用いると、得られる画像は図３に記されたような画像になる。これを分割し、画像Ｉ１−Ｉ６を得る（Ｓ１）。次に各個眼像からマーカを検出する。マーカは検出しやすいものを選び、例えば、白い円状に黒い淵がついている、図４（ａ）のようなものでもよいし、単純に図４（ｂ）のような黒丸でもよい。マーカの設置位置はカメラから既知の位置で固定もしくは拘束条件下（３次元空間を動き回る位置ではなく、1次元または２次元空間のみを動く位置）で固定されていればよく、例えば車内で利用するならば、ルームランプや、ピラーのエッジ、シートのヘッドレスト部などが挙げられる。マーカのサイズは使用する撮像素子と、撮像装置からマーカまでの距離に基づいて決定する。次に、個眼像Ｉ１、Ｉ２に対してマーカ検出処理（既知物体撮像位置認識手段１１）によりマーカを検出する（Ｓ２）。マーカの検出には、テンプレートマッチングを行い検出するものとする。本実施形態では１つのマーカを用いて説明を行っているが、マーカの数は多いほどより高精度な測距を行えるようになる。しかし、例えば本発明を車内で用いる場合、マーカの数が増えると車内のデザイン性が低下するので、適度な数にするのが好ましい。
計測したマーカは図示しないメモリに記憶され、メモリは過去5回分のマーカ位置を記録しておく。なお、メモリに記憶されるマーカ位置は5回に限定されるものではない。マーカが検出できた場合（Ｓ３でＹ）ステップＳ４に進む。マーカが検出できない場合（Ｓ３でＮ）、ステップＳ６に進む。ステップＳ６では、メモリに蓄えてある、過去５回分のマーカ位置から現在の位置を推測する（Ｓ６）。具体的には過去5回分のデータから近似関数を計算することで現在の位置を推測する。近似関数には、例えば3次関数を利用する。
ステップＳ３で検出された２個のマーカ検出位置から、歪みパラメータを決定する（画像歪みパラメータ決定手段１２）（Ｓ４）。歪みパラメータの決定方法は、後述するルックアップテーブルを用いて行う。取得した歪みパラメータを用いて各個眼像に歪み補正を行う（Ｓ５）。そして、補正された各個眼像を用いて、測距を行う。なお本実施例では２個の個眼像からマーカを検出したが、それに限るものではなく、１個でも６個でもよい。マーカが車内のシートなどに固定されている場合は、ユーザがシートなどを移動させることによってマーカのカメラからの相対位置が移動することになる。そのような場合は１個の個眼像から、温度推定をすることはできなくなり、必然的に２個以上の個眼像を利用して温度推定することになる。なお、本発明ではマーカの位置から温度推定を行う方法を記載したが、マーカの大きさ、向きを検出することにより、より高精度な温度推定を行うことが可能になる。尚、撮像装置２０とマーカ２１の位置は図６に記載の位置と同一のものとする。
【００１７】
［ルックアップテーブルの作成方法］
本発明では、歪み補正方法として、Ｚｈａｎｇの手法を用いて説明する。しかし、本発明はそれに限られるものではない。本発明を車内監視用カメラ用に利用する場合を例にして詳細を述べる。また、本実施例では温度変化のみを対象に記載を行うが、それに限るものではなく、例えば湿度と組み合わせて実施してもよい。
まず、各温度（−４０度、−２０度、０度、２０度、４０度、６０度、８０度、１００度）の環境に撮像装置を設置し、Ｚｈａｎｇの手法により、カメラ内部パラメータを算出する。具体的には、組み付け終了したカメラを用意して、チェッカーフラグ状のチャートを撮影する。チャートの位置は任意でよいが、複数回（４回以上が好ましい）撮影する。ここでは４回とする。次に撮影画像を６個の個眼像に分解する。そして分解された個眼像ごとにＺｈａｎｇの手法を用いて各個眼像のカメラパラメータを得る。
なお、ステレオ測距を行うには、カメラ間の関係（＝外部パラメータ）を計測する必要があるが、本実施例では、センサ面・レンズ面が同一の物質から構成されていることより、外部パラメータは変化しないものと考えて記載してある。
外部パラメータはあらかじめ計測しておくことが望ましい。
【００１８】
図７は、ある１つの個眼像での温度とカメラパラメータの対応表である。これが６つの個眼像ごとに作成される。次に図６のような車内環境を用意し、撮像装置を例えば運転手の前に固定する。また、座席の天井部にマーカを設置する。本実施例では、前述のような撮像装置およびマーカの設置位置としたが、必ずしもそれに限るものではない。また、マーカは必ずしも設置しなくてもよく、例えば運転席の角、室内灯のエッジ部など、撮像装置からの位置関係が既知なもので代替可能である。また、本実施例では車内利用のみの説明となっているが、それに限定されるものではない。
車内の温度を、各温度（−４０度、−２０度、０度、２０度、４０度、６０度、８０度、１００度）に設定して、画像Ｉ１と画像Ｉ２からマーカを検出（Ｓ２で用いたものと同様）する。このとき、レンズを代表するカメラの部材が温度変化により伸縮するので、温度によってマーカが検出される座標が異なる。それを用いて図８のような、マーカと温度の対応表を作成する。
【００１９】
図８の対応表を用いて、Ｉ１のマーカの位置（Ｘ１、Ｙ１）とＩ２のマーカの位置（Ｘ２、Ｙ２）を入力として、温度を出力とする関数を作成する。例えば近似関数などで算出する。図７と図８を用いることにより、マーカの検出位置と内部パラメータの対応関係が決定する。すなわち、図５のＳ２にてマーカを検出した結果を用いてルックアップテーブルを参照することにより、Ｓ３で歪みパラメータを決定することが可能になる。
第１の実施形態に用いた図１、図２の撮像装置にマーカ１３を更に備えて第２の実施形態について説明する。違いは、図１で示したマーカ１３を備えているか否かであり、マーカ１３が、常に個眼像に撮像するような構造になっている点のみが異なる。このような構成でも第１の実施形態と同様の処理を行うことが出来る。
以上の通り、本発明では、ＣＭＯＳセンサ４に写りこむ、カメラ外部にある既知の物体の撮像位置に応じて、温度変化による測距精度への影響を取り除くことができる。例えば、図９に記されたような格子模様のチャートを、図１の構成による撮像装置５０で、温度Ａで撮影した場合の画像を図１０に、温度Ｂで撮影した場合の画像を図１１に示す（図１０と図１１でチャートの位置が異なっていることに注意）。温度変化によって、物体の撮像位置が変化してしまうことは、測距結果を劣化させる。そのため、本発明では、あらかじめ撮像装置５０との相対位置が既知の物体を用意しておき、その位置変化量から、温度変化による画質の変化を推測、補正するものである。
【００２０】
本発明の手法は、カメラ外部の物体を基準（基準物体）にして温度変化を計測するのに対して、従来は、カメラ内部の物体を基準（基準物体）にして温度変化を計測する。撮像装置に撮像する物体を基準にして温度変化を計測する場合、物体自体の位置に誤差が生じた場合に、撮像装置からより遠い物体を基準とした方が、基準物体自体の位置に誤差が生じた場合の影響を受けにくいというメリットがある。一方、デメリットとしては、撮像装置外部に基準物体を設けた場合、撮像装置と物体間に他の物体があると、温度変化が計測できなくなる。そのため、基準物体の配置には注意する必要がある。
また、画像の歪み状態を把握する手法として、上記で記載したＺｈａｎｇの手法（"A flexible new technique for camera calibration"。IEEE Transactions on Pattern Analysis and Machine Intelligence、22(11):1330-1334、2000）などがある。しかし、Ｚｈａｎｇの方法は、画像全面にチャートを写す必要があるので、上述のように、基準物体（チャート）とカメラの間に他の物体が存在した場合は、歪みパラメータを求めることはできない。またＺｈａｎｇの手法は、チャートを複数個所に設置し、それを撮影する必要がある。すなわちＺｈａｎｇの手法を用いて温度変化に対応することはできない。そのため、マーカを設置することで、マーカの位置ずれのみから温度変化を察知し、その温度変化に基づいて歪みパラメータを決定することで、温度による計測誤差を補正する。
尚、上記で説明した撮像装置５０を用いて、撮像装置５０との相対位置関係が既知のマーカ１３と、このマーカ１３の位置を個眼像から特定する既知物体撮像位置認識手段１１と、既知物体撮像位置認識手段１１により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段１２と、を備えた距離取得システムを構成することができる。
【符号の説明】
【００２１】
１ レンズアレイ、２ 遮光壁、３ 開口アレイ、４ ＣＭＯＳセンサ、５ 基板、６ 筐体、７ 画像キャプチャ部、８ 個眼像生成部、９ 合焦個眼像選択抽出部、１０ 演算器、１１ 既知物体撮像位置認識手段、１２ 画像歪みパラメータ認識手段、５０ 撮像装置
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００９−２５０７８５公報
【特許文献２】特開２００９−５３０１１公報
【特許文献３】特開平１１−３２５８９０号公報
【特許文献４】特開２００４−３５４２５７公報
【技術分野】
【０００１】
本発明は、撮像装置に関し、さらに詳しくは、撮像装置の温度変化により変動する光学条件を補正して測距精度を向上させる技術に関するものである。
【背景技術】
【０００２】
撮像装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用であり、また二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など、距離情報も同時に検知する距離画像入力装置への要求が高まっており、様々な場所で利用されている。しかし、撮像装置を使用する環境条件（特に、温度変化）により、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。
温度変化により変動する光学条件を補正する従来技術として特許文献１には、複数の光学レンズを同一平面上に配置したレンズユニットと、複数の光学レンズに１対１に対応する複数の撮像領域を有する撮像素子と、レンズユニットに接して配置され、レンズユニットの温度を検出する温度検出素子と、を有し、温度検出手段の検出した温度に基づいて、複数の光学レンズの光軸間の距離を補正し、被写体までの距離を算出する撮像装置について開示されている。
また、特許文献２には、複数のレンズを一体化したレンズアレイと、レンズアレイの各レンズに１対１に対応する複数の撮像領域と、レンズアレイを保持する筐体とを備え、レンズアレイは筐体に対し、所定の一点で固定されている。また、レンズアレイは、筐体に対し所定の一点を中心にして熱膨張による変形可能に保持されている撮像装置について開示されている。
また、特許文献３には、ステレオカメラの撮像画像の光学的な位置ズレに対し経年変化による位置ズレをマーカの位置に応じて、画像補正を行う画像補正装置について開示されている。
また、特許文献４には、画像から特徴量を抽出して特徴量に基づいてキャリブレーションデータを選択するステレオカメラシステムについて開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、周囲温度が変化することにより、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。特に特許文献２に開示されているように、１台の撮像センサとレンズアレイの組み合わせにより測距を行うような、基線長の距離が短い測距装置の場合、温度変化による基線長の変化割合が大きく、測距結果に大きな影響を与えることが知られている。そこで、特許文献２では、レンズアレイを一点のみで固定することにより、個体ごとの接着剤や遮蔽ブロックの保持部などの応力による影響をなくすことで、温度と基線長の関係の個体差を極力抑えることができるようになった。しかし、この方法では、明記されてはいないものの、温度を計測する必要があること、また、個体差を完全には取り除くことができないといった問題がある。
【０００４】
一方、カメラキャリブレーションを行い、カメラの状態を把握した上で測距を行うことが一般に知られている。たとえばＺｈａｎｇのキャリブレーション("A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000)は、チェッカーフラグ状のチャートを任意の位置に複数回配置して撮影を行い、チェッカーフラグの格子位置を検出することで、カメラパラメータを求めている。この方法を毎時実行することができれば、環境変化に強い測距を実現することができるが、現実には不可能である。なぜなら、カメラを使用する度にカメラパラメータを求めることも考えられるが、チャートを毎回設置することは使用者にとって非常に面倒な作業であるうえ、使用している最中に環境が変わってしまうケースも大いに考えられる。特に車内で用いる場合などは、使用前の直射日光にさらされた環境と、長時間乗車後のエアコンが効いた環境では大きな違いとなる。従って、環境変化を察知してカメラのキャリブレーションを行うことが必要となる。
そこで、温度センサを利用することでカメラの状態を予測して、測距に利用する方法がある。しかし温度とカメラの状態を１対１に対応づけするのは難しい。例えば、外気温度が２５度でもカメラ内部のレンズの温度が３５度の場合もあれば、外気温度が３０度でカメラ内部のレンズの温度が３５度を示す場合があり、温度センサの設置位置の影響を非常に受け易い。測距用カメラで最も重要な要素は、入射角と撮像位置の関係である。よって、入射角と撮像位置の関係からカメラの状態を計測することが好ましく、本発明ではそのような方法を選択している。
【０００５】
本発明では、様々な温度・湿度環境で、カメラキャリブレーションを行うことにより、多様な環境下でのカメラパラメータをあらかじめ算出・保存しておく。そして、マーカを用いて入射角と撮像位置の関係を計測することでカメラの状態（＝温度・湿度環境）を予測し、適切なカメラパラメータを選択した測距に用いることで、様々な環境に対応する。
本発明の手法は、カメラ外部の物体を基準（基準物体）にして環境温度を計測するのに対して、同一出願人による発明は、カメラ内部の物体を基準（基準物体）にして温度変化を計測している。カメラに撮像する物体を基準にして温度変化を計測する際、物体自体の位置が温度変化などでずれが生じた場合に、カメラからより遠い物体を基準とした方が、基準物体自体の位置に誤差が生じた場合の影響を受けにくいというメリットがある。一方デメリットとしては、カメラ外部に基準物体を設けた場合、カメラと物体間に他の物体があると、温度変化が計測できなくなる。そのため、基準物体の配置には注意する必要がある。
【０００６】
ところで、なぜ温度変化が起こると、測距結果が変わるかについて考察すると、図９に記されたような格子模様のチャートを、図１の構成による撮像装置（構成の詳細は後述）で、環境温度Ａ（温度センサによる補正方法と区別するために環境温度という名称を使用する）で撮影した場合の画像を図１０に、環境温度Ｂで撮影した場合の画像を図１１に示す。（図１０と図１１でチャートの位置がことなっていることに注意）。環境温度変化によって変化するチャートの撮像位置の変化量は非常に微小である。しかし入射角と撮像位置の関係が変化することは、三角測量の原理でいうところの内角が変わってしまうことを意味する。これは本発明の構成のような、基線長の小さな測距カメラで、遠距離を撮影する場合には非常に大きな問題である。
また、ステレオカメラ装置で、経年変化を補正する方法として特許文献３や特許文献４がある。これらは、カメラ間の位置、すなわち外部パラメータを補正するための装置であり、複数個のマーカを必要とする。
本発明は、かかる課題に鑑みてなされたものであり、撮像素子により撮影された複眼像を個眼像に分割し、得られた各個眼像に撮影されている相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて歪みパラメータを決定し、該歪みパラメータを用いて各個眼像の歪みを補正することにより、測距精度を向上させることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明はかかる課題を解決するために、請求項１は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列し、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、を備えた撮像装置であって、前記演算器は、前記撮像装置との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を前記各個眼像から特定する既知物体撮像位置認識手段と、該既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備え、前記撮像素子により撮影された複眼像を前記個眼像に分割し、得られた各個眼像に撮影されている前記相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて前記画像歪みパラメータ決定手段により歪みパラメータを決定し、該歪みパラメータを用いて前記各個眼像の歪みを補正することを特徴とする。
請求項２は、前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を備えたことを特徴とする。
【０００８】
請求項３は、前記相対位置関係が既知の被写体が、マーカであることを特徴とする。
請求項４は、前記相対位置関係が既知の物体が、拘束条件下で移動可能であることを特徴とする。
請求項５は、前記マーカが前記個眼像を撮影可能な位置に配設されていることを特徴とする。
【０００９】
請求項６は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列して、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、からなる撮像装置を含む距離取得システムであって、前記撮像装置との相対位置関係が既知のマーカと、該マーカの位置を前記個眼像から特定する既知物体撮像位置認識手段と、前記既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備えたことを特徴とする。
請求項７は、前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を持つことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、外部の基準物体の撮像位置を把握することにより、温度変化による測距誤差を低減することができる。
また、基準物体としてマーカを利用することで、より基準物体の位置ずれを精度よく求めることができる。
また、基準物体を撮像装置外部に用意する必要がなくなるので、撮像装置外部に基準物体を設置した場合に生じる問題点、撮像装置と基準物体の間に他の物体が位置することにより、基準物体が検出できないリスクを回避することができる。
また、撮像装置だけでなく、マーカと一緒のシステムとして考えることにより、デザイン性を向上させたり、基準物体の位置ずれを更に精度よく求めることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】図１の撮像装置を被写体方向から観察したときの模式図である。
【図３】図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図４】マーカの一例を示す図である。
【図５】個眼像生成部の動作を説明するフローチャートである。
【図６】車内環境の一例を示す図である。
【図７】温度と内部パラメータの対応関係を示す図である。
【図８】マーカと温度の対応を示す図である。
【図９】マーカの一例を示す図である。
【図１０】温度Ａで撮影した場合の画像を示す図である。
【図１１】温度Ｂで撮影した場合の画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の第１の実施形態に係る撮像装置の構成を示す図である。この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
【００１３】
また、演算器１０は、ＣＭＯＳセンサ４により撮像された画像信号を受け取る画像キャプチャ部７と、画像信号から個眼像を生成する個眼像生成部８と、個眼像生成部８により生成された個眼像の中から合焦している個眼像を抽出する合焦個眼像選択抽出部９と、を備え、特に、個眼像生成部８は、撮像装置５０との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を各個眼像から特定する既知物体撮像位置認識手段１１と、既知物体撮像位置認識手段１１により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段２と、を備えている。即ち、演算器１０は、ＣＭＯＳセンサ４により撮影された複眼像を個眼像に分割し、得られた各個眼像に撮影されている相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて画像歪みパラメータ決定手段１２により歪みパラメータを決定し、この歪みパラメータを用いて各個眼像の歪みを補正する。
即ち、図１では、矢印方向に被写体があるものとし、撮像装置５０により被写体を撮像する構成の断面模式図を示したものである。
【００１４】
図２は図１の撮像装置を被写体方向から観察したときの模式図であり、図１と共通する部品には共通する番号が付されている。図１において、１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。
図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセットになって被写体の像を像面上で結像させる。２は、レンズアレイにおける隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（遮光壁と呼ぶ）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁は一般には、レンズアレイの各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用するように作られる。レンズアレイ１の像側の面と遮光壁とが接触、接着されている。３は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介して開口アレイ３とレンズアレイ１は接着されている。４は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するＣＭＯＳセンサであり、基板５の上に実装されている。図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着してレンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、基板５に接着されて固定されている。
【００１５】
次に、図１の撮像装置５０により取得される画像とその処理について説明する。ＣＭＯＳセンサ４による像は、図１の画像キャプチャ部７により撮像され、個眼像生成部８によって、６つの個眼像に分離される。そして、６つの画像を用いて視差計算を行い、物体までの距離を計測する。視差計算の方法は、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。視差検出においては２つの個眼像、例えばＩ5とＩ6の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ5とＩ6）での視差を求めれば、他の個眼像（例えばＩ1からＩ4）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
【００１６】
以下に本実施形態に係る個眼像生成部の詳細について、図５のフローチャートを用いて説明する。まず、画像を取得し、６個の個眼像の切出しを行う。図１の装置を用いると、得られる画像は図３に記されたような画像になる。これを分割し、画像Ｉ１−Ｉ６を得る（Ｓ１）。次に各個眼像からマーカを検出する。マーカは検出しやすいものを選び、例えば、白い円状に黒い淵がついている、図４（ａ）のようなものでもよいし、単純に図４（ｂ）のような黒丸でもよい。マーカの設置位置はカメラから既知の位置で固定もしくは拘束条件下（３次元空間を動き回る位置ではなく、1次元または２次元空間のみを動く位置）で固定されていればよく、例えば車内で利用するならば、ルームランプや、ピラーのエッジ、シートのヘッドレスト部などが挙げられる。マーカのサイズは使用する撮像素子と、撮像装置からマーカまでの距離に基づいて決定する。次に、個眼像Ｉ１、Ｉ２に対してマーカ検出処理（既知物体撮像位置認識手段１１）によりマーカを検出する（Ｓ２）。マーカの検出には、テンプレートマッチングを行い検出するものとする。本実施形態では１つのマーカを用いて説明を行っているが、マーカの数は多いほどより高精度な測距を行えるようになる。しかし、例えば本発明を車内で用いる場合、マーカの数が増えると車内のデザイン性が低下するので、適度な数にするのが好ましい。
計測したマーカは図示しないメモリに記憶され、メモリは過去5回分のマーカ位置を記録しておく。なお、メモリに記憶されるマーカ位置は5回に限定されるものではない。マーカが検出できた場合（Ｓ３でＹ）ステップＳ４に進む。マーカが検出できない場合（Ｓ３でＮ）、ステップＳ６に進む。ステップＳ６では、メモリに蓄えてある、過去５回分のマーカ位置から現在の位置を推測する（Ｓ６）。具体的には過去5回分のデータから近似関数を計算することで現在の位置を推測する。近似関数には、例えば3次関数を利用する。
ステップＳ３で検出された２個のマーカ検出位置から、歪みパラメータを決定する（画像歪みパラメータ決定手段１２）（Ｓ４）。歪みパラメータの決定方法は、後述するルックアップテーブルを用いて行う。取得した歪みパラメータを用いて各個眼像に歪み補正を行う（Ｓ５）。そして、補正された各個眼像を用いて、測距を行う。なお本実施例では２個の個眼像からマーカを検出したが、それに限るものではなく、１個でも６個でもよい。マーカが車内のシートなどに固定されている場合は、ユーザがシートなどを移動させることによってマーカのカメラからの相対位置が移動することになる。そのような場合は１個の個眼像から、温度推定をすることはできなくなり、必然的に２個以上の個眼像を利用して温度推定することになる。なお、本発明ではマーカの位置から温度推定を行う方法を記載したが、マーカの大きさ、向きを検出することにより、より高精度な温度推定を行うことが可能になる。尚、撮像装置２０とマーカ２１の位置は図６に記載の位置と同一のものとする。
【００１７】
［ルックアップテーブルの作成方法］
本発明では、歪み補正方法として、Ｚｈａｎｇの手法を用いて説明する。しかし、本発明はそれに限られるものではない。本発明を車内監視用カメラ用に利用する場合を例にして詳細を述べる。また、本実施例では温度変化のみを対象に記載を行うが、それに限るものではなく、例えば湿度と組み合わせて実施してもよい。
まず、各温度（−４０度、−２０度、０度、２０度、４０度、６０度、８０度、１００度）の環境に撮像装置を設置し、Ｚｈａｎｇの手法により、カメラ内部パラメータを算出する。具体的には、組み付け終了したカメラを用意して、チェッカーフラグ状のチャートを撮影する。チャートの位置は任意でよいが、複数回（４回以上が好ましい）撮影する。ここでは４回とする。次に撮影画像を６個の個眼像に分解する。そして分解された個眼像ごとにＺｈａｎｇの手法を用いて各個眼像のカメラパラメータを得る。
なお、ステレオ測距を行うには、カメラ間の関係（＝外部パラメータ）を計測する必要があるが、本実施例では、センサ面・レンズ面が同一の物質から構成されていることより、外部パラメータは変化しないものと考えて記載してある。
外部パラメータはあらかじめ計測しておくことが望ましい。
【００１８】
図７は、ある１つの個眼像での温度とカメラパラメータの対応表である。これが６つの個眼像ごとに作成される。次に図６のような車内環境を用意し、撮像装置を例えば運転手の前に固定する。また、座席の天井部にマーカを設置する。本実施例では、前述のような撮像装置およびマーカの設置位置としたが、必ずしもそれに限るものではない。また、マーカは必ずしも設置しなくてもよく、例えば運転席の角、室内灯のエッジ部など、撮像装置からの位置関係が既知なもので代替可能である。また、本実施例では車内利用のみの説明となっているが、それに限定されるものではない。
車内の温度を、各温度（−４０度、−２０度、０度、２０度、４０度、６０度、８０度、１００度）に設定して、画像Ｉ１と画像Ｉ２からマーカを検出（Ｓ２で用いたものと同様）する。このとき、レンズを代表するカメラの部材が温度変化により伸縮するので、温度によってマーカが検出される座標が異なる。それを用いて図８のような、マーカと温度の対応表を作成する。
【００１９】
図８の対応表を用いて、Ｉ１のマーカの位置（Ｘ１、Ｙ１）とＩ２のマーカの位置（Ｘ２、Ｙ２）を入力として、温度を出力とする関数を作成する。例えば近似関数などで算出する。図７と図８を用いることにより、マーカの検出位置と内部パラメータの対応関係が決定する。すなわち、図５のＳ２にてマーカを検出した結果を用いてルックアップテーブルを参照することにより、Ｓ３で歪みパラメータを決定することが可能になる。
第１の実施形態に用いた図１、図２の撮像装置にマーカ１３を更に備えて第２の実施形態について説明する。違いは、図１で示したマーカ１３を備えているか否かであり、マーカ１３が、常に個眼像に撮像するような構造になっている点のみが異なる。このような構成でも第１の実施形態と同様の処理を行うことが出来る。
以上の通り、本発明では、ＣＭＯＳセンサ４に写りこむ、カメラ外部にある既知の物体の撮像位置に応じて、温度変化による測距精度への影響を取り除くことができる。例えば、図９に記されたような格子模様のチャートを、図１の構成による撮像装置５０で、温度Ａで撮影した場合の画像を図１０に、温度Ｂで撮影した場合の画像を図１１に示す（図１０と図１１でチャートの位置が異なっていることに注意）。温度変化によって、物体の撮像位置が変化してしまうことは、測距結果を劣化させる。そのため、本発明では、あらかじめ撮像装置５０との相対位置が既知の物体を用意しておき、その位置変化量から、温度変化による画質の変化を推測、補正するものである。
【００２０】
本発明の手法は、カメラ外部の物体を基準（基準物体）にして温度変化を計測するのに対して、従来は、カメラ内部の物体を基準（基準物体）にして温度変化を計測する。撮像装置に撮像する物体を基準にして温度変化を計測する場合、物体自体の位置に誤差が生じた場合に、撮像装置からより遠い物体を基準とした方が、基準物体自体の位置に誤差が生じた場合の影響を受けにくいというメリットがある。一方、デメリットとしては、撮像装置外部に基準物体を設けた場合、撮像装置と物体間に他の物体があると、温度変化が計測できなくなる。そのため、基準物体の配置には注意する必要がある。
また、画像の歪み状態を把握する手法として、上記で記載したＺｈａｎｇの手法（"A flexible new technique for camera calibration"。IEEE Transactions on Pattern Analysis and Machine Intelligence、22(11):1330-1334、2000）などがある。しかし、Ｚｈａｎｇの方法は、画像全面にチャートを写す必要があるので、上述のように、基準物体（チャート）とカメラの間に他の物体が存在した場合は、歪みパラメータを求めることはできない。またＺｈａｎｇの手法は、チャートを複数個所に設置し、それを撮影する必要がある。すなわちＺｈａｎｇの手法を用いて温度変化に対応することはできない。そのため、マーカを設置することで、マーカの位置ずれのみから温度変化を察知し、その温度変化に基づいて歪みパラメータを決定することで、温度による計測誤差を補正する。
尚、上記で説明した撮像装置５０を用いて、撮像装置５０との相対位置関係が既知のマーカ１３と、このマーカ１３の位置を個眼像から特定する既知物体撮像位置認識手段１１と、既知物体撮像位置認識手段１１により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段１２と、を備えた距離取得システムを構成することができる。
【符号の説明】
【００２１】
１ レンズアレイ、２ 遮光壁、３ 開口アレイ、４ ＣＭＯＳセンサ、５ 基板、６ 筐体、７ 画像キャプチャ部、８ 個眼像生成部、９ 合焦個眼像選択抽出部、１０ 演算器、１１ 既知物体撮像位置認識手段、１２ 画像歪みパラメータ認識手段、５０ 撮像装置
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００９−２５０７８５公報
【特許文献２】特開２００９−５３０１１公報
【特許文献３】特開平１１−３２５８９０号公報
【特許文献４】特開２００４−３５４２５７公報
【特許請求の範囲】
【請求項１】
被写体と対向する位置に配設され、複数のレンズをアレイ状に配列し、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、を備えた撮像装置であって、
前記演算器は、前記撮像装置との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を各前記個眼像から特定する既知物体撮像位置認識手段と、該既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備え、
前記撮像素子により撮影された複眼像を前記個眼像に分割し、得られた各個眼像に撮影されている前記相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて前記画像歪みパラメータ決定手段により歪みパラメータを決定し、該歪みパラメータを用いて前記各個眼像の歪みを補正することを特徴とする撮像装置。
【請求項２】
前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記相対位置関係が既知の被写体が、マーカであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記相対位置関係が既知の物体が、拘束条件下で移動可能であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記マーカが前記個眼像を撮影可能な位置に配設されていることを特徴とする請求項３に記載の撮像装置。
【請求項６】
被写体と対向する位置に配設され、複数のレンズをアレイ状に配列して、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、からなる撮像装置を含む距離取得システムであって、
前記撮像装置との相対位置関係が既知のマーカと、該マーカの位置を前記個眼像から特定する既知物体撮像位置認識手段と、前記既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備えたことを特徴とする距離取得システム。
【請求項７】
前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を持つことを特徴とする請求項６に記載の距離取得システム。
【請求項１】
被写体と対向する位置に配設され、複数のレンズをアレイ状に配列し、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、を備えた撮像装置であって、
前記演算器は、前記撮像装置との相対位置関係が既知の１又はそれ以上の被写体の撮像位置を各前記個眼像から特定する既知物体撮像位置認識手段と、該既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備え、
前記撮像素子により撮影された複眼像を前記個眼像に分割し、得られた各個眼像に撮影されている前記相対位置関係が既知の被写体を検出し、検出された被写体の検出位置に基づいて前記画像歪みパラメータ決定手段により歪みパラメータを決定し、該歪みパラメータを用いて前記各個眼像の歪みを補正することを特徴とする撮像装置。
【請求項２】
前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記相対位置関係が既知の被写体が、マーカであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記相対位置関係が既知の物体が、拘束条件下で移動可能であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記マーカが前記個眼像を撮影可能な位置に配設されていることを特徴とする請求項３に記載の撮像装置。
【請求項６】
被写体と対向する位置に配設され、複数のレンズをアレイ状に配列して、且つその一部がステレオレンズペアを構成するレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の個眼像の集合である複眼像を撮像する撮像素子と、前記ステレオレンズペアによる個眼像ペアから距離画像を算出する演算器と、からなる撮像装置を含む距離取得システムであって、
前記撮像装置との相対位置関係が既知のマーカと、該マーカの位置を前記個眼像から特定する既知物体撮像位置認識手段と、前記既知物体撮像位置認識手段により得られた結果に基づいて画像歪みパラメータを決定する画像歪みパラメータ決定手段と、を備えたことを特徴とする距離取得システム。
【請求項７】
前記既知物体撮像位置認識手段による認識が失敗した場合、該既知物体撮像位置認識手段により以前に検出された位置を基に現在の位置を推定する既知物体撮像位置推定手段を持つことを特徴とする請求項６に記載の距離取得システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２０９２６９（Ｐ２０１１−２０９２６９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−２８４６６４（Ｐ２０１０−２８４６６４）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]