撮像装置及びステレオ撮像装置
【課題】撮像素子の傾きによる画像歪を簡易な構成で、且つ、精度良く補正可能な撮像装置及び該撮像装置を複数用いたステレオ撮像装置を提供する。
【解決手段】本発明に係る撮像装置（１）は、撮像素子（３）が撮像光学系（２）の光軸の位置において焦点が合うように配置されており、画像処理手段（４）は撮像素子の傾きθによる撮像画像の歪を、撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、撮像光学系の焦点距離をｆを用いた演算式による座標変換を用いて補正することを特徴とする。
【解決手段】本発明に係る撮像装置（１）は、撮像素子（３）が撮像光学系（２）の光軸の位置において焦点が合うように配置されており、画像処理手段（４）は撮像素子の傾きθによる撮像画像の歪を、撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、撮像光学系の焦点距離をｆを用いた演算式による座標変換を用いて補正することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系を介して被写体を撮像する撮像装置において、撮像素子の傾きにより生じる歪を、画像処理で補正する撮像装置及び該撮像装置を複数用いたステレオ撮像装置の技術分野に関する。
【背景技術】
【０００２】
単数又は複数の光学レンズを含んでなる撮像光学系を介して取り込んだ被写体像を、ＣＣＤやＣＭＯＳなどの撮像素子で電気的な画像信号に変換して撮像を行う車載カメラやデジタルカメラなどの撮像装置が広く普及している。このような撮像装置において、撮像光学系の光軸に対する撮像素子の位置は、予め最適な位置になるように調整されている。しかしながら、撮像装置の組立精度には限界があるため、その精度が十分に得られない場合、表示画像に歪が生じることがある。また、製造時には撮像素子の位置が精度良く調整されていた場合であっても、時間の経過に伴ってズレが生じたり、外部からの衝撃によって後発的に撮像素子の位置がズレてしまい、撮像画像に歪が生じてしまうこともある。
【０００３】
このような撮像素子のズレによる画像歪を防ぐためには、再調整によって撮像素子の位置を本来の位置に調整し直すことが有効であるが、このような調整は専用的な設備・知識・経験等が必要であるため、容易に行うことができない。このような問題に鑑み、物理的な調整に代えて、撮像素子が取り込んだ画像信号を電気的に処理することによって、歪みを補正することが試みられている。
【０００４】
例えば特許文献１には、撮像画像上の各画素のＸＹアドレスを座標データとして予め記憶しておき、該座標データに基づいた撮像画像の座標変換を行うことで、撮像素子の傾きに起因して撮像画像中に生じた歪を取り除く技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３２５８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１では、撮像画像の各画素に対して座標変換データを予めメモリ等に記憶しておく必要がある。高画素化が進む近年では、そのデータ量が膨大となり、大容量のメモリが必要不可欠になってしまうという問題点がある。また、特許文献１に開示された補正処理では、光軸に直交するＸＹ平面における歪補正は行われているものの、光軸方向（Ｚ方向）における歪補正が行われておらず、十分な補正が行われているとは言えない。
【０００７】
本発明は上記問題点に鑑みなされたものであり、撮像素子の傾きによる画像歪を簡易な構成で、且つ、精度良く補正可能な撮像装置及び該撮像装置を複数用いたステレオ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は上記課題を解決するために、撮像光学系と、該撮像光学系を介して被写体像を取り込む撮像素子と、該撮像素子から出力された画像信号を処理する画像処理手段と、該画像処理手段における画像処理に用いられるパラメータを予め記憶しておく記憶手段とを備えてなる撮像装置において、前記撮像素子は、前記撮像光学系の光軸の位置において焦点が合うように配置されており、前記画像処理手段は、前記撮像光学系の光軸に対する前記撮像素子の受光面の法線の傾きθによる撮像画像の歪を、前記撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、前記撮像光学系の焦点距離をｆとして、下記演算式
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ±Ａ×ｓｉｎθ）
による座標変換を用いて補正することを特徴とする。
【０００９】
本発明によれば、撮像素子の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正できるので、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系等を特徴付ける簡易なパラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておく記憶手段（メモリ）の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【００１０】
好ましくは、前記撮像光学系と前記撮像素子は、前記撮像光学系の光軸と前記撮像素子の撮像面の中心とが一致するように配置されているとよい。
【００１１】
本発明に係るステレオ撮像装置は、上述の撮像装置（上記各種態様を含む）を複数有してなることを特徴とする。これによれば、ステレオ撮像装置を構成する各撮像装置において煩雑な調整作業を行うことなく、画像処理によって演算処理を行うのみによって、撮像素子の傾きによる歪を補正できる。特にステレオカメラでは、２台のカメラが撮像した各画像の差を比較して、距離検出等の解析を行うことがある。このような場合、カメラが光軸に対して撮像素子が傾いて取り付けられていると、その画像から正確な解析結果を得ることができなくなってしまう。そのため、本発明をステレオカメラに適用することによって、上記効果をより効果的に享受することができる。
【発明の効果】
【００１２】
本発明によれば、撮像素子の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正できるので、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系等を特徴付ける簡易なパラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておく記憶手段（メモリ）の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る撮像装置の構成を示すブロック図である。
【図２】本発明に係る撮像装置において、撮像素子が撮像光学系に対して傾いている状態を示す模式図である。
【図３】撮像素子の傾きの有無による撮像画像の違いを示す模式図である
【図４】ＭＰＵが実行する画像処理の内容を示すフローチャートである。
【図５】第１実施例に係る撮像装置において、被写体である校正用チャートの撮像画像を取得する過程を概略的に示す模式図である。
【図６】第１実施例に係る撮像装置において、撮像光学系と撮像素子との光学的位置関係を幾何学的に示す模式図である。
【図７】第１実施例に係る撮像装置において、撮像素子の傾きθと結像座標との関係を幾何学的に示す模式図である。
【図８】第２実施例に係る撮像装置において、撮像画像が得られる過程を概略的に示す模式図である。
【図９】第３実施例に係る撮像装置において、撮像画像が得られる過程を概略的に示す模式図である。
【発明を実施するための形態】
【００１４】
図１は本発明に係る撮像装置１の構成を示すブロック図である。撮像装置１は、単数又は複数の光学レンズを含んでなる撮像光学系２を介して、被写体から発せられた光信号（入射光線）を取り込む。取り込まれた光信号は、撮像光学系２の焦点位置に配置された撮像素子３上に被写体像を結像する。撮像素子３は例えばＣＣＤやＣＭＯＳなどの光電変換素子であって、撮像光学系２を介して照射された光信号を電気的な画像信号（以下に説明する補正処理が行われた画像信号と区別するために「補正前画像信号」と称する）に変換する。
【００１５】
撮像素子３から出力された補正前画像信号は、ＭＰＵ（Micro-Processing Unit）４に送られ、そこで画像処理が施される。ＭＰＵ４は、例えばマイコンなどの演算処理装置である半導体チップからなっており、撮像装置１の画像処理に必要な各種演算処理を行う。ＭＰＵ４で行われる画像処理の詳細な内容については後述するが、当該演算に必要なパラメータはＭＰＵ４がアクセス可能に設置されたメモリ５に予め記憶されている。ここで、メモリ５は例えばフラッシュメモリなどの不揮発性メモリである。
【００１６】
このようにＭＰＵ４で演算処理によって補正が施された画像信号（補正後画像信号）は、ディスプレイなどの表示装置に出力されることにより、画像表示がなされる。尚、表示装置などに代えて、他の画像処理を行う機器などに出力してよいことは言うまでもない。
【００１７】
図２は、本発明に係る撮像装置１において、撮像素子３が撮像光学系２に対して傾いている状態を示す模式図であり、図３は撮像素子３の傾きの有無による撮像画像の違いを示す模式図である。撮像装置１内部において、撮像素子３の位置は、撮像光学系２の光軸に対して予め最適な位置になるように調整されている。しかしながら、撮像装置１の組立精度には限界があるため、精度が十分に得られない場合には、撮像画像に歪が生じることがある。また、製造時には撮像素子３の位置が精度良く調整されていた場合であっても、時間の経過に伴ってズレが生じたり、外部からの衝撃によって後発的に撮像素子３が図２に示すように傾いてしまうこともある。
【００１８】
図２において撮像素子３の符号Ａで示す位置に到達する光線は、被写体側の符号Ａ´から入射した光線であり、撮像素子３の符号Ｂで示す位置に到達する光線は符号Ｂ´から入射した光線である。ここで符号Ｂ´に示す位置は、符号Ａ´で示す位置より光軸から離れた場所にある。そのため、撮像素子３に傾きがないように正確に調整されている場合には、図３（ｂ）に示すように歪のない撮像画像が得られるが、図２に示すように撮像素子３が光軸に対して傾いている場合には、図３（ａ）に示すように歪が生じ、撮像画像が変形してしまう。
【００１９】
図４はＭＰＵ４が実行する画像処理の内容を示すフローチャートである。ＭＰＵ４は、撮像素子３から出力された補正前撮像画像信号を取得し（ステップＳ１０１）、該補正前撮像画像信号に撮像素子３の傾きによって生じた歪みがあるか否かを判定することにより、補正の要否を判断する（ステップＳ１０２）。この判定は、例えば予め歪みが無い場合の撮像画像を記憶しておき、実際の撮像画像との差異の有無によって判断するとよい。
【００２０】
そして補正処理が必要と判定された場合（ステップＳ１０２：ＹＥＳ）、ＭＰＵ４はメモリ５から補正処理に必要なパラメータを取得し（ステップＳ１０３）、該取得したパラメータを用いて補正処理を行うことにより、補正後画像信号を作成する（ステップＳ１０４）。そしてステップＳ１０４で作成した補正後画像信号を出力し（ステップＳ１０５）、ＭＰＵ４は処理を終了する（ＥＮＤ）。尚、ステップＳ１０２にて補正処理が不要と判定された場合には（ステップＳ１０２：ＮＯ）、ＭＰＵ４は特段の演算を行うことなく、補正前画像信号を補正後画像信号としてそのまま出力する。
【００２１】
（第１実施例）
第１実施例では、被写体として校正用チャート７を用いた場合を例に説明する。図５は第１実施例において、被写体である校正用チャート７の撮像画像を取得する過程を概略的に示す模式図である。図５のうち校正用チャート７と結像画像は、撮像光学系２の光軸（Ｚ軸）に垂直な平面（本来の撮像面と平行なＸＹ平面）で表示しており、撮像光学系２と撮像素子３とは、光軸（Ｚ軸）方向に沿って配列された様子を簡易的に示している。尚、図５では、撮像装置１のその他の構成については、説明の煩雑化を避けるために適宜省略した。
【００２２】
校正用チャート７は、光軸（Ｚ軸）に直交するＸＹ平面（本来の撮像面と平行な面）において、Ｙ方向に沿って延在する線分（縦線）がＸ方向に沿って等間隔に並べられてなる。この校正用チャート７では、各縦線のＸ軸における位置がＬ０、Ｌ１、・・・、Ｌ１０で示されており、各縦線同士の間隔はａに設定されている。
【００２３】
被写体である校正用チャート７から撮像装置１に取り込まれた光信号は、撮像光学系２を介して、焦点位置に配置された撮像素子３に結像する。図５では、撮像素子３に傾きが無い場合に得られる結像画像を破線で表示している（図５では、結像画像において校正用チャート７のＬ０、Ｌ１、・・・、Ｌ１０に対応する位置をＬ０´、Ｌ１´、・・・、Ｌ１０´で示した。後述する図８及び図９においても同様）。しかしながら、図２及び図３を参照して説明したように、撮像素子３が傾いている場合には、結像画像には歪みが生じる（図５の実線を参照）。図５で具体的に説明すると、撮像素子３のうち被写体からの距離が遠くなるＬ０側（図５における左側）では、結像画像のＹ方向の長さが大きくなると共に、Ｘ方向についても光軸から離れるように歪みが生じている。また、撮像素子３のうち被写体からの距離が近くなるＬ１０側（図５における右側）では、結像画像のＹ方向の長さが小さくなると共に、Ｘ方向についても歪みが生じている。このように、本来の撮像面に平行なＸＹ面に対して撮像素子３が傾いている場合、結像画像に歪みが生じることとなる。
【００２４】
ここで、図６は第１実施例において、撮像光学系２と撮像素子３との光学的位置関係を幾何学的に示す模式図である。図６では、撮像光学系２の焦点距離をｆ、撮像素子３の本来の撮像面（ＸＹ平面に平行な面）に対する傾きをθ、補正前画像の光軸からの距離をＡ、補正後画像の光軸からの距離をＢとしている。
【００２５】
光軸より左側（撮像素子３のうち被写体側から離れている側）において、補正後画像の光軸からの距離Ｂは、補正前画像の光軸からの距離Ａの関数として幾何学に基づいて次式で求められる。
Ｂ＝Ｃ×ｆ／（ｆ＋Ｄ）
＝Ａ×ｃｏｓθ×ｆ／（ｆ＋Ａ×ｓｉｎθ） （１）
一方、光軸より右側（撮像素子３のうち被写体側から近づいている側）においては、補正後画像の光軸からの距離Ｂは、補正前画像の光軸からの距離Ａの関数として幾何学に基づいて次式で求められる。
Ｂ＝Ｃ×ｆ／（ｆ―Ｄ）
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ―Ａ×ｓｉｎθ） （２）
【００２６】
ここで撮像素子３の傾きθの算出方法について、図７を参照して説明する。図７は本発明に係る撮像装置１において、撮像素子３の傾きθと結像座標との関係を幾何学的に示す模式図である。尚、図７では撮像素子３はＸＺ平面に沿った方向に傾いている場合を例に説明する。また、図７ではＸＹ平面（本来の撮像面）に対する撮像素子３の角度をθ、該傾いた撮像素子３における結像座標を（Ｚ，Ｘ）、傾きが無い場合の結像座標（すなわち、本来の撮像面にある補正後の結像座標）を（Ｚ１，Ｘ１）、被写体側から入射する光線の入射角をθ´、結像座標（Ｚ，Ｘ）から原点までの距離をＬとしている。
【００２７】
図７において、撮像素子３の傾きを示す直線Ｌは、撮像素子３の傾きθと入射角θ´とを用いて、次式により表わされる。
Ｘ＝−１／ｔａｎθ×Ｚ （３）
また、入射光線に沿った直線Ｍは同じくＹＺ座標系で次式により表わされる。
Ｘ＝ｔａｎθ´×Ｚ＋Ｘ１ （４）
この二式を解くことにより、直線Ｌ及びＭの交点である補正前画像の結像座標（Ｚ，Ｘ）は次式のように算出される。
Ｚ＝Ｘ１×ｔａｎθ／（−１−ｔａｎθ´×ｔａｎθ） （５）
Ｘ＝（１／（１＋ｔａｎθ´×ｔａｎθ））×Ｘ１ （６）
【００２８】
ここで幾何学的に、Ｚ＝Ｌ×ｓｉｎθ、Ｘ＝Ｌ×ｃｏｓθであるため、これらを上記（５）（６）に代入すると、次式が得られる。
Ｌ×ｓｉｎθ＝Ｘ１×ｔａｎθ／（−１−ｔａｎθ´×ｔａｎθ） （７）
Ｌ×ｃｏｓθ＝（１／（１＋ｔａｎθ´×ｔａｎθ））×Ｘ１ （８）
そして、（７）（８）を解くことにより、撮像素子３の傾きθは次式
と求められる。
【００２９】
このように（９）式にて算出されたθを、（２）式に代入することによって補正後画像の光軸からの距離Ｂと、補正前画像の光軸からの距離Ａの関数との関係式が得られる。尚、（２）式における焦点距離ｆは、撮像光学系２が個別に有するパラメータであり、予めメモリ５に記憶しておくとよい。ＭＰＵ４は、以上説明した演算により補正前画像信号の各座標点を座標変換することにより、煩雑な調整作業を伴うことなく撮像画像に含まれる歪を取り除くことができ、良質な画像表示を行うことが可能となる。
【００３０】
（第２実施例）
図８は第２実施例に係る撮像装置１において、被写体として校正用チャート８を用いた場合の撮像画像が得られる過程を概略的に示す模式図である。第２実施例では、被写体として、光軸に直交するＸＹ平面において、Ｘ方向に沿って延在する線分（縦線）がＹ方向に沿って等間隔に並べられてなる校正用チャート８を用いた場合を例に説明する。この校正用チャート８では、各縦線のＹ軸における位置がＬ０、Ｌ１、・・・、Ｌ１０で示されており、各縦線同士の間隔はａに設定されている。
【００３１】
被写体である校正用チャート８からの光信号は、第１実施例と同様に、撮像光学系２を介して焦点位置に配置されている撮像素子３に結像する。図８においても図５と同様に、撮像素子３に傾きが無い場合に得られる結像画像を破線で示しており、撮像素子３に傾きが有る場合に得られる結像画像を実線で示している。
【００３２】
第２実施例においても、第１実施例と同様の考えに基づき、撮像画像に含まれる歪を取り除くことができる。すなわち、上記式（３）乃至（８）においてＸとＹを入れ替えることによって、同様の演算式に基づいて、歪を取り除いた良質な画像表示を行うことが可能となる。
【００３３】
（第３実施例）
図９は第３実施例に係る撮像装置１において、被写体として校正用チャート９を用いた場合の撮像画像が得られる過程を概略的に示す模式図である。第３実施例では、被写体として、光軸に直交するＸＹ平面において、上記校正用チャート７及び８を組み合わせたマトリクス状の校正用チャート９を用いた場合を例に説明する。
【００３４】
被写体である校正用チャート８からの光信号は、第１及び第２実施例と同様に、撮像光学系２を介して焦点位置に配置されている撮像素子３に結像する。図９においても図５及び図８と同様に、撮像素子３に傾きが無い場合に得られる結像画像を破線で示しており、撮像素子３に傾きが有る場合に得られる結像画像を実線で示している。即ち、第３実施例は、第１及び第２実施例を組み合わせた場合に相当し、撮像素子３のＸ及びＹ方向のそれぞれの方向における傾きによって生じる歪を取り除くことができる。
【００３５】
以上説明したように、本実施例に係る撮像装置１によれば、撮像素子３の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正することにより、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系２等を特徴付ける簡易な光学パラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておくメモリ５の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【産業上の利用可能性】
【００３６】
本発明は、撮像光学系を介して被写体を撮像する撮像装置において、撮像素子の傾きにより生じる歪を、画像処理で補正する撮像装置及び該撮像装置を複数用いたステレオ撮像装置に利用可能である。
【符号の説明】
【００３７】
１ 撮像装置
２ 撮像光学系
３ 撮像素子
４ ＭＰＵ
５ メモリ
７，８，９ 校正用チャート
【技術分野】
【０００１】
本発明は、撮像光学系を介して被写体を撮像する撮像装置において、撮像素子の傾きにより生じる歪を、画像処理で補正する撮像装置及び該撮像装置を複数用いたステレオ撮像装置の技術分野に関する。
【背景技術】
【０００２】
単数又は複数の光学レンズを含んでなる撮像光学系を介して取り込んだ被写体像を、ＣＣＤやＣＭＯＳなどの撮像素子で電気的な画像信号に変換して撮像を行う車載カメラやデジタルカメラなどの撮像装置が広く普及している。このような撮像装置において、撮像光学系の光軸に対する撮像素子の位置は、予め最適な位置になるように調整されている。しかしながら、撮像装置の組立精度には限界があるため、その精度が十分に得られない場合、表示画像に歪が生じることがある。また、製造時には撮像素子の位置が精度良く調整されていた場合であっても、時間の経過に伴ってズレが生じたり、外部からの衝撃によって後発的に撮像素子の位置がズレてしまい、撮像画像に歪が生じてしまうこともある。
【０００３】
このような撮像素子のズレによる画像歪を防ぐためには、再調整によって撮像素子の位置を本来の位置に調整し直すことが有効であるが、このような調整は専用的な設備・知識・経験等が必要であるため、容易に行うことができない。このような問題に鑑み、物理的な調整に代えて、撮像素子が取り込んだ画像信号を電気的に処理することによって、歪みを補正することが試みられている。
【０００４】
例えば特許文献１には、撮像画像上の各画素のＸＹアドレスを座標データとして予め記憶しておき、該座標データに基づいた撮像画像の座標変換を行うことで、撮像素子の傾きに起因して撮像画像中に生じた歪を取り除く技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３２５８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１では、撮像画像の各画素に対して座標変換データを予めメモリ等に記憶しておく必要がある。高画素化が進む近年では、そのデータ量が膨大となり、大容量のメモリが必要不可欠になってしまうという問題点がある。また、特許文献１に開示された補正処理では、光軸に直交するＸＹ平面における歪補正は行われているものの、光軸方向（Ｚ方向）における歪補正が行われておらず、十分な補正が行われているとは言えない。
【０００７】
本発明は上記問題点に鑑みなされたものであり、撮像素子の傾きによる画像歪を簡易な構成で、且つ、精度良く補正可能な撮像装置及び該撮像装置を複数用いたステレオ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は上記課題を解決するために、撮像光学系と、該撮像光学系を介して被写体像を取り込む撮像素子と、該撮像素子から出力された画像信号を処理する画像処理手段と、該画像処理手段における画像処理に用いられるパラメータを予め記憶しておく記憶手段とを備えてなる撮像装置において、前記撮像素子は、前記撮像光学系の光軸の位置において焦点が合うように配置されており、前記画像処理手段は、前記撮像光学系の光軸に対する前記撮像素子の受光面の法線の傾きθによる撮像画像の歪を、前記撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、前記撮像光学系の焦点距離をｆとして、下記演算式
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ±Ａ×ｓｉｎθ）
による座標変換を用いて補正することを特徴とする。
【０００９】
本発明によれば、撮像素子の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正できるので、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系等を特徴付ける簡易なパラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておく記憶手段（メモリ）の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【００１０】
好ましくは、前記撮像光学系と前記撮像素子は、前記撮像光学系の光軸と前記撮像素子の撮像面の中心とが一致するように配置されているとよい。
【００１１】
本発明に係るステレオ撮像装置は、上述の撮像装置（上記各種態様を含む）を複数有してなることを特徴とする。これによれば、ステレオ撮像装置を構成する各撮像装置において煩雑な調整作業を行うことなく、画像処理によって演算処理を行うのみによって、撮像素子の傾きによる歪を補正できる。特にステレオカメラでは、２台のカメラが撮像した各画像の差を比較して、距離検出等の解析を行うことがある。このような場合、カメラが光軸に対して撮像素子が傾いて取り付けられていると、その画像から正確な解析結果を得ることができなくなってしまう。そのため、本発明をステレオカメラに適用することによって、上記効果をより効果的に享受することができる。
【発明の効果】
【００１２】
本発明によれば、撮像素子の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正できるので、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系等を特徴付ける簡易なパラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておく記憶手段（メモリ）の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る撮像装置の構成を示すブロック図である。
【図２】本発明に係る撮像装置において、撮像素子が撮像光学系に対して傾いている状態を示す模式図である。
【図３】撮像素子の傾きの有無による撮像画像の違いを示す模式図である
【図４】ＭＰＵが実行する画像処理の内容を示すフローチャートである。
【図５】第１実施例に係る撮像装置において、被写体である校正用チャートの撮像画像を取得する過程を概略的に示す模式図である。
【図６】第１実施例に係る撮像装置において、撮像光学系と撮像素子との光学的位置関係を幾何学的に示す模式図である。
【図７】第１実施例に係る撮像装置において、撮像素子の傾きθと結像座標との関係を幾何学的に示す模式図である。
【図８】第２実施例に係る撮像装置において、撮像画像が得られる過程を概略的に示す模式図である。
【図９】第３実施例に係る撮像装置において、撮像画像が得られる過程を概略的に示す模式図である。
【発明を実施するための形態】
【００１４】
図１は本発明に係る撮像装置１の構成を示すブロック図である。撮像装置１は、単数又は複数の光学レンズを含んでなる撮像光学系２を介して、被写体から発せられた光信号（入射光線）を取り込む。取り込まれた光信号は、撮像光学系２の焦点位置に配置された撮像素子３上に被写体像を結像する。撮像素子３は例えばＣＣＤやＣＭＯＳなどの光電変換素子であって、撮像光学系２を介して照射された光信号を電気的な画像信号（以下に説明する補正処理が行われた画像信号と区別するために「補正前画像信号」と称する）に変換する。
【００１５】
撮像素子３から出力された補正前画像信号は、ＭＰＵ（Micro-Processing Unit）４に送られ、そこで画像処理が施される。ＭＰＵ４は、例えばマイコンなどの演算処理装置である半導体チップからなっており、撮像装置１の画像処理に必要な各種演算処理を行う。ＭＰＵ４で行われる画像処理の詳細な内容については後述するが、当該演算に必要なパラメータはＭＰＵ４がアクセス可能に設置されたメモリ５に予め記憶されている。ここで、メモリ５は例えばフラッシュメモリなどの不揮発性メモリである。
【００１６】
このようにＭＰＵ４で演算処理によって補正が施された画像信号（補正後画像信号）は、ディスプレイなどの表示装置に出力されることにより、画像表示がなされる。尚、表示装置などに代えて、他の画像処理を行う機器などに出力してよいことは言うまでもない。
【００１７】
図２は、本発明に係る撮像装置１において、撮像素子３が撮像光学系２に対して傾いている状態を示す模式図であり、図３は撮像素子３の傾きの有無による撮像画像の違いを示す模式図である。撮像装置１内部において、撮像素子３の位置は、撮像光学系２の光軸に対して予め最適な位置になるように調整されている。しかしながら、撮像装置１の組立精度には限界があるため、精度が十分に得られない場合には、撮像画像に歪が生じることがある。また、製造時には撮像素子３の位置が精度良く調整されていた場合であっても、時間の経過に伴ってズレが生じたり、外部からの衝撃によって後発的に撮像素子３が図２に示すように傾いてしまうこともある。
【００１８】
図２において撮像素子３の符号Ａで示す位置に到達する光線は、被写体側の符号Ａ´から入射した光線であり、撮像素子３の符号Ｂで示す位置に到達する光線は符号Ｂ´から入射した光線である。ここで符号Ｂ´に示す位置は、符号Ａ´で示す位置より光軸から離れた場所にある。そのため、撮像素子３に傾きがないように正確に調整されている場合には、図３（ｂ）に示すように歪のない撮像画像が得られるが、図２に示すように撮像素子３が光軸に対して傾いている場合には、図３（ａ）に示すように歪が生じ、撮像画像が変形してしまう。
【００１９】
図４はＭＰＵ４が実行する画像処理の内容を示すフローチャートである。ＭＰＵ４は、撮像素子３から出力された補正前撮像画像信号を取得し（ステップＳ１０１）、該補正前撮像画像信号に撮像素子３の傾きによって生じた歪みがあるか否かを判定することにより、補正の要否を判断する（ステップＳ１０２）。この判定は、例えば予め歪みが無い場合の撮像画像を記憶しておき、実際の撮像画像との差異の有無によって判断するとよい。
【００２０】
そして補正処理が必要と判定された場合（ステップＳ１０２：ＹＥＳ）、ＭＰＵ４はメモリ５から補正処理に必要なパラメータを取得し（ステップＳ１０３）、該取得したパラメータを用いて補正処理を行うことにより、補正後画像信号を作成する（ステップＳ１０４）。そしてステップＳ１０４で作成した補正後画像信号を出力し（ステップＳ１０５）、ＭＰＵ４は処理を終了する（ＥＮＤ）。尚、ステップＳ１０２にて補正処理が不要と判定された場合には（ステップＳ１０２：ＮＯ）、ＭＰＵ４は特段の演算を行うことなく、補正前画像信号を補正後画像信号としてそのまま出力する。
【００２１】
（第１実施例）
第１実施例では、被写体として校正用チャート７を用いた場合を例に説明する。図５は第１実施例において、被写体である校正用チャート７の撮像画像を取得する過程を概略的に示す模式図である。図５のうち校正用チャート７と結像画像は、撮像光学系２の光軸（Ｚ軸）に垂直な平面（本来の撮像面と平行なＸＹ平面）で表示しており、撮像光学系２と撮像素子３とは、光軸（Ｚ軸）方向に沿って配列された様子を簡易的に示している。尚、図５では、撮像装置１のその他の構成については、説明の煩雑化を避けるために適宜省略した。
【００２２】
校正用チャート７は、光軸（Ｚ軸）に直交するＸＹ平面（本来の撮像面と平行な面）において、Ｙ方向に沿って延在する線分（縦線）がＸ方向に沿って等間隔に並べられてなる。この校正用チャート７では、各縦線のＸ軸における位置がＬ０、Ｌ１、・・・、Ｌ１０で示されており、各縦線同士の間隔はａに設定されている。
【００２３】
被写体である校正用チャート７から撮像装置１に取り込まれた光信号は、撮像光学系２を介して、焦点位置に配置された撮像素子３に結像する。図５では、撮像素子３に傾きが無い場合に得られる結像画像を破線で表示している（図５では、結像画像において校正用チャート７のＬ０、Ｌ１、・・・、Ｌ１０に対応する位置をＬ０´、Ｌ１´、・・・、Ｌ１０´で示した。後述する図８及び図９においても同様）。しかしながら、図２及び図３を参照して説明したように、撮像素子３が傾いている場合には、結像画像には歪みが生じる（図５の実線を参照）。図５で具体的に説明すると、撮像素子３のうち被写体からの距離が遠くなるＬ０側（図５における左側）では、結像画像のＹ方向の長さが大きくなると共に、Ｘ方向についても光軸から離れるように歪みが生じている。また、撮像素子３のうち被写体からの距離が近くなるＬ１０側（図５における右側）では、結像画像のＹ方向の長さが小さくなると共に、Ｘ方向についても歪みが生じている。このように、本来の撮像面に平行なＸＹ面に対して撮像素子３が傾いている場合、結像画像に歪みが生じることとなる。
【００２４】
ここで、図６は第１実施例において、撮像光学系２と撮像素子３との光学的位置関係を幾何学的に示す模式図である。図６では、撮像光学系２の焦点距離をｆ、撮像素子３の本来の撮像面（ＸＹ平面に平行な面）に対する傾きをθ、補正前画像の光軸からの距離をＡ、補正後画像の光軸からの距離をＢとしている。
【００２５】
光軸より左側（撮像素子３のうち被写体側から離れている側）において、補正後画像の光軸からの距離Ｂは、補正前画像の光軸からの距離Ａの関数として幾何学に基づいて次式で求められる。
Ｂ＝Ｃ×ｆ／（ｆ＋Ｄ）
＝Ａ×ｃｏｓθ×ｆ／（ｆ＋Ａ×ｓｉｎθ） （１）
一方、光軸より右側（撮像素子３のうち被写体側から近づいている側）においては、補正後画像の光軸からの距離Ｂは、補正前画像の光軸からの距離Ａの関数として幾何学に基づいて次式で求められる。
Ｂ＝Ｃ×ｆ／（ｆ―Ｄ）
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ―Ａ×ｓｉｎθ） （２）
【００２６】
ここで撮像素子３の傾きθの算出方法について、図７を参照して説明する。図７は本発明に係る撮像装置１において、撮像素子３の傾きθと結像座標との関係を幾何学的に示す模式図である。尚、図７では撮像素子３はＸＺ平面に沿った方向に傾いている場合を例に説明する。また、図７ではＸＹ平面（本来の撮像面）に対する撮像素子３の角度をθ、該傾いた撮像素子３における結像座標を（Ｚ，Ｘ）、傾きが無い場合の結像座標（すなわち、本来の撮像面にある補正後の結像座標）を（Ｚ１，Ｘ１）、被写体側から入射する光線の入射角をθ´、結像座標（Ｚ，Ｘ）から原点までの距離をＬとしている。
【００２７】
図７において、撮像素子３の傾きを示す直線Ｌは、撮像素子３の傾きθと入射角θ´とを用いて、次式により表わされる。
Ｘ＝−１／ｔａｎθ×Ｚ （３）
また、入射光線に沿った直線Ｍは同じくＹＺ座標系で次式により表わされる。
Ｘ＝ｔａｎθ´×Ｚ＋Ｘ１ （４）
この二式を解くことにより、直線Ｌ及びＭの交点である補正前画像の結像座標（Ｚ，Ｘ）は次式のように算出される。
Ｚ＝Ｘ１×ｔａｎθ／（−１−ｔａｎθ´×ｔａｎθ） （５）
Ｘ＝（１／（１＋ｔａｎθ´×ｔａｎθ））×Ｘ１ （６）
【００２８】
ここで幾何学的に、Ｚ＝Ｌ×ｓｉｎθ、Ｘ＝Ｌ×ｃｏｓθであるため、これらを上記（５）（６）に代入すると、次式が得られる。
Ｌ×ｓｉｎθ＝Ｘ１×ｔａｎθ／（−１−ｔａｎθ´×ｔａｎθ） （７）
Ｌ×ｃｏｓθ＝（１／（１＋ｔａｎθ´×ｔａｎθ））×Ｘ１ （８）
そして、（７）（８）を解くことにより、撮像素子３の傾きθは次式
と求められる。
【００２９】
このように（９）式にて算出されたθを、（２）式に代入することによって補正後画像の光軸からの距離Ｂと、補正前画像の光軸からの距離Ａの関数との関係式が得られる。尚、（２）式における焦点距離ｆは、撮像光学系２が個別に有するパラメータであり、予めメモリ５に記憶しておくとよい。ＭＰＵ４は、以上説明した演算により補正前画像信号の各座標点を座標変換することにより、煩雑な調整作業を伴うことなく撮像画像に含まれる歪を取り除くことができ、良質な画像表示を行うことが可能となる。
【００３０】
（第２実施例）
図８は第２実施例に係る撮像装置１において、被写体として校正用チャート８を用いた場合の撮像画像が得られる過程を概略的に示す模式図である。第２実施例では、被写体として、光軸に直交するＸＹ平面において、Ｘ方向に沿って延在する線分（縦線）がＹ方向に沿って等間隔に並べられてなる校正用チャート８を用いた場合を例に説明する。この校正用チャート８では、各縦線のＹ軸における位置がＬ０、Ｌ１、・・・、Ｌ１０で示されており、各縦線同士の間隔はａに設定されている。
【００３１】
被写体である校正用チャート８からの光信号は、第１実施例と同様に、撮像光学系２を介して焦点位置に配置されている撮像素子３に結像する。図８においても図５と同様に、撮像素子３に傾きが無い場合に得られる結像画像を破線で示しており、撮像素子３に傾きが有る場合に得られる結像画像を実線で示している。
【００３２】
第２実施例においても、第１実施例と同様の考えに基づき、撮像画像に含まれる歪を取り除くことができる。すなわち、上記式（３）乃至（８）においてＸとＹを入れ替えることによって、同様の演算式に基づいて、歪を取り除いた良質な画像表示を行うことが可能となる。
【００３３】
（第３実施例）
図９は第３実施例に係る撮像装置１において、被写体として校正用チャート９を用いた場合の撮像画像が得られる過程を概略的に示す模式図である。第３実施例では、被写体として、光軸に直交するＸＹ平面において、上記校正用チャート７及び８を組み合わせたマトリクス状の校正用チャート９を用いた場合を例に説明する。
【００３４】
被写体である校正用チャート８からの光信号は、第１及び第２実施例と同様に、撮像光学系２を介して焦点位置に配置されている撮像素子３に結像する。図９においても図５及び図８と同様に、撮像素子３に傾きが無い場合に得られる結像画像を破線で示しており、撮像素子３に傾きが有る場合に得られる結像画像を実線で示している。即ち、第３実施例は、第１及び第２実施例を組み合わせた場合に相当し、撮像素子３のＸ及びＹ方向のそれぞれの方向における傾きによって生じる歪を取り除くことができる。
【００３５】
以上説明したように、本実施例に係る撮像装置１によれば、撮像素子３の傾きにより撮像画像に生じた歪みを、上記演算式の座標変換を用いた画像処理によって補正することにより、煩雑な調整作業を伴うことなく、簡易に歪のない良質な画像表示を行うことができる。特に、この演算式には撮像光学系２等を特徴付ける簡易な光学パラメータしか含まれておらず、上記特許文献１のように各画素に対応する座標変換データを記憶しておく必要がない。そのため、演算に必要なパラメータを記憶しておくメモリ５の小容量化を図ることができ、より簡易な構成でコスト効率の優れた撮像装置を実現することができる。
【産業上の利用可能性】
【００３６】
本発明は、撮像光学系を介して被写体を撮像する撮像装置において、撮像素子の傾きにより生じる歪を、画像処理で補正する撮像装置及び該撮像装置を複数用いたステレオ撮像装置に利用可能である。
【符号の説明】
【００３７】
１ 撮像装置
２ 撮像光学系
３ 撮像素子
４ ＭＰＵ
５ メモリ
７，８，９ 校正用チャート
【特許請求の範囲】
【請求項１】
撮像光学系と、
該撮像光学系を介して被写体像を取り込む撮像素子と、
該撮像素子から出力された画像信号を処理する画像処理手段と、
該画像処理手段における画像処理に用いられるパラメータを予め記憶しておく記憶手段とを備えてなる撮像装置において、
前記撮像素子は、前記撮像光学系の光軸の位置において焦点が合うように配置されており、
前記画像処理手段は、前記撮像光学系の光軸に対する前記撮像素子の受光面の法線の傾きθによる撮像画像の歪を、前記撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、前記撮像光学系の焦点距離をｆとして、下記演算式
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ±Ａ×ｓｉｎθ）
による座標変換を用いて補正することを特徴とする撮像装置。
【請求項２】
前記撮像光学系と前記撮像素子は、前記撮像光学系の光軸と前記撮像素子の撮像面の中心とが一致するように配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置を複数有してなることを特徴とするステレオ撮像装置。
【請求項１】
撮像光学系と、
該撮像光学系を介して被写体像を取り込む撮像素子と、
該撮像素子から出力された画像信号を処理する画像処理手段と、
該画像処理手段における画像処理に用いられるパラメータを予め記憶しておく記憶手段とを備えてなる撮像装置において、
前記撮像素子は、前記撮像光学系の光軸の位置において焦点が合うように配置されており、
前記画像処理手段は、前記撮像光学系の光軸に対する前記撮像素子の受光面の法線の傾きθによる撮像画像の歪を、前記撮像画像の光軸からの距離をＡ、歪補正後の撮像画像における光軸からの距離をＢ、及び、前記撮像光学系の焦点距離をｆとして、下記演算式
Ｂ＝Ａ×ｃｏｓθ×ｆ／（ｆ±Ａ×ｓｉｎθ）
による座標変換を用いて補正することを特徴とする撮像装置。
【請求項２】
前記撮像光学系と前記撮像素子は、前記撮像光学系の光軸と前記撮像素子の撮像面の中心とが一致するように配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置を複数有してなることを特徴とするステレオ撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２４８９７２（Ｐ２０１２−２４８９７２Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７５６６（Ｐ２０１１−１１７５６６）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]