カメラシステムおよびカメラ制御方法
【課題】複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく歪の少ない広範囲のステレオ画像を、使用者にとって見やすく表示させるカメラシステム及びカメラ制御方法を提供すること。
【解決手段】所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の異なる方向からの被写体像を複数の自由曲面プリズムによって撮像素子上の所定の領域に結像させる光学系と、撮像素子からの出力に基づいて第１の動画像を生成する手段と、その第１の動画像を各領域に対応する部分画像に分割する手段と、その部分画像を所定の配置で第２の動画像に合成する手段と、その第２の動画像を表示装置に表示させる手段と、分割された２つの部分画像に基づいて、２つの部分画像中に共通する被写体までの距離を算出する手段を備え、各自由曲面プリズムが、ステレオ画像として結像することが可能であることを特徴とする。
【解決手段】所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の異なる方向からの被写体像を複数の自由曲面プリズムによって撮像素子上の所定の領域に結像させる光学系と、撮像素子からの出力に基づいて第１の動画像を生成する手段と、その第１の動画像を各領域に対応する部分画像に分割する手段と、その部分画像を所定の配置で第２の動画像に合成する手段と、その第２の動画像を表示装置に表示させる手段と、分割された２つの部分画像に基づいて、２つの部分画像中に共通する被写体までの距離を算出する手段を備え、各自由曲面プリズムが、ステレオ画像として結像することが可能であることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを制御するカメラシステムおよびカメラ制御方法に関し、特に、複数のプリズムで光路が制御された異なる方向からの各被写体像を単一の撮像素子で結像したカメラを制御するカメラシステムおよびカメラ制御方法に関する。
【背景技術】
【０００２】
近年、車載センサーとしてのカメラや、車両の前方、後方、両サイドを撮像するためのカメラ等、カメラを使用する場面が増えてきている。
このようなカメラに用いられる従来の撮影光学ユニットとしては、撮像レンズの前方にプリズムを配置し、このプリズムより入射された光を結像レンズに通して単一の撮像素子の撮像面で結像させることによって、複数の視野を同時に映し出す構造の車載カメラユニットが知られている（例えば、特許文献１参照。）。
【０００３】
しかしながら、特許文献１のような撮影光学ユニットを用いた場合、プリズムと撮像素子との間に配される撮像レンズが複合レンズとして構成されており、ホルダ内に内包されて１つのレンズに組み立てられているため、該プリズムの入射位置と撮像素子の受光面との間を、その構造上短縮することが困難であり、したがって撮影光学ユニットそのもののサイズの小型化が困難である。
【０００４】
また、従来のこの種の撮影光学ユニットでは、２００度程度の画角を持つ魚眼レンズを使用し、必要な画角を切り取り歪補正後に運転者に画像の情報を提供する方法がある（例えば、特許文献２参照。）が、このような撮影光学ユニットを用いた場合も、同様にレンズ構造上短縮するのが困難で撮影光学ユニットそのもののサイズの小型化が困難である。また、魚眼レンズ故に視認性の低い画像しかえられず、歪補正を行うとしても周辺の情報不足により実態とはかけ離れた画像が見えていた。
【０００５】
他方、車間距離センサーとしては、レーザやミリ波といった手法を用いてのシステムが使用されている。これらのシステムは、カメラを２個使用してのステレオによる手法も利用されている。このようなシステムの場合、３次元で環境認識ができるため、車両だけでなく歩行者や障害物、車線、道路形状も把握可能となっている（例えば、特許文献３参照。）。
【０００６】
ところが、このようなステレオカメラ部においては、２個の撮像素子を使用するため、それぞれにレンズ群が必要であり、ステレオ光学系を小型軽量に構成することが難しく、コストがかかってしまう。
【特許文献１】特開２０００−８９３０１号公報
【特許文献２】特開２００６−２６２４４７号公報
【特許文献３】特開２００４−２５８２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のステレオ撮影光学ユニットは、小型化が困難である上、視認性に優れていない画像しか表示できない、という問題点があった。
本発明は、上述のような実状に鑑みたものであり、複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法と小型軽量に構成したステレオ測距画像の入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のカメラシステムは、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段とを備え、前記各自由プリズムが、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能であることを特徴とする。
【０００９】
また、本発明のカメラシステムは、前記光学系が、被写体に対して前記撮像素子の直前に配置されていることが望ましい。
また、本発明のカメラシステムは、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることが望ましい。
【００１０】
また、本発明のカメラシステムは、ステレオカメラ部とカメラ制御部を備え、前記ステレオカメラ部が、前記撮像素子と前記光学系を有し、前記カメラ制御部が、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有することが望ましい。
【００１１】
また、本発明のカメラシステムは、前記ステレオカメラ部が、車両の外部を撮像するように前記車両に配置されていることが望ましい。
また、本発明のカメラシステムは、前記２つの方向が、前記車両の前方方向または後方方向であることが望ましい。
【００１２】
また、本発明の一態様によれば、本発明のカメラ制御方法は、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備えるステレオカメラを制御するカメラ制御方法である。そして、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で第２の動画像に合成し、前記合成された前記第２の動画像を表示装置に表示させ、前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させることが可能となる。
また、小型軽量に構成したステレオ測距画像の入力装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、撮影光学ユニットの外観を表す図（その１）であり、図２は、撮影光学ユニットの外観を表す図（その２）であり、図３は、図１および図２に示した撮影光学ユニットの分解状態を示した図であり、図４は、図１におけるＡ−Ａ断面を示した図であり、図５は、フレーム部分の外観を表す図（その１）であり、図６は、フレーム部分の外観を表す図（その２）である。
【００１５】
フレーム１は、複数個の自由曲面プリズム４、５、６、２２を組み入れるためのものである（図３参照）。このフレーム１には、長手方向の中央部分に天面壁１ａから底面壁１ｂに向けて貫通孔ｈが形成されており、天面壁１ａ、底面壁１ｂの両側に位置する傾斜側壁１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ4が設けられている。そして、該区画凹所ｅ1〜ｅ4の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ8が形成されている（図３参照）。
【００１６】
また、ホルダ２は、前記フレーム１を載置するためのものであり、カバー体３は、このホルダ２に合わさって自由曲面プリズム４、５、６、２２をフレーム１とともに内側に収納するためのものである。カバー体３には、自由曲面プリズム４、５、６、２２の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって着脱自在に固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６、２２の性能（撮影できる視野の範囲）や絞りに応じて設定される。
【００１７】
また、自由曲面プリズム４（以下、第1の光学素子ということもある。）は、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1：６０度の範囲で撮影を可能とした自由曲面のプリズムである（図３、図４、図８参照）。
【００１８】
自由曲面プリズム（以下、第２の光学素子ということもあり、外観形状は自由曲面プリズム４と同じ。）５は、第１の光学素子４と同様の自由曲面のプリズムである（図３参照）。この第２の光学素子５は、入射面である第１面を第１の光学素子４とは正反対に指向させて貫通孔ｈに並列に配置されるものであり、右側の視野を真横から前方に向かって角度θ2：６０度の範囲で撮影することが可能になっている。ここで、正反転に配置するとは、具体的に図３に示したように、第１の光学素子４に対し撮像素子１５へ向かう軸上主光線の周りで１８０度回転させて相互に平行となる配置をいう。
【００１９】
また、自由曲面プリズム（以下、第３の光学素子ということもある。）６は、第１の光学素子４、第２の光学素子５と同様の構成になる自由曲面のプリズムである（図３参照）。この第３の光学素子６は、第２の光学素子５とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には三角柱状あるいは台形状等にて形成された前段プリズム７が配置されている（図１〜４参照）。
【００２０】
前段プリズム７より入射された光は、第３の光学素子６を経て撮像素子１５において結像される。すなわち、該第３の光学素子６は、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ3：６０度の範囲における視野（前方視野）の撮影を可能としている。
【００２１】
また、自由曲面プリズム（以下、第４の光学素子ということもある。）２２は、第１の光学素子４、第２の光学素子５、第３の光学素子６と同様の構成になる自由曲面のプリズムである（図３参照）。この第４の光学素子２２は、第３の光学素子６とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には、前段プリズム７と同様の三角柱状あるいは台形状等にて形成された前段プリズム２１が対称の位置に配置されている（図１〜４参照）。
【００２２】
前段プリズム２１より入射された光は、第４の光学素子２２を経て撮像素子１５において結像される。すなわち、該第４の光学素子２２は、第３の光学素子６と同様、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ4：６０度の範囲における視野（前方視野）の撮影を可能としている。
【００２３】
ただし、第３の光学素子６と第４の光学素子２２とは、後述するように視野が僅かにずれている。
さらに、弾性舌片８（８ａ〜８ｄ）は、フレーム１の天面壁１ａにねじ止めあるいは接着により設けられ、第１〜３の光学素子４〜６の上端に弾性接触してフレーム１に強固に固定保持する弾性舌片である（図３〜６参照）。この弾性舌片８は、片持ち支持になる板ばね等を例として示してあり、その先端にはシリコンゴムの如き緩衝部材９（９ａ〜９ｄ）が設けられている。
【００２４】
撮像素子１５の下側には基板（フレキシブルプリント基板等）１７を介して放熱板１８が設けられ、該撮像素子１５の上には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するよう配置されている（パッケージ化されている）。撮像素子１５は、シリコンシート等の絶縁部材を配置することにより、基板１７、放熱板１８とは適宜絶縁処理がなされている。
【００２５】
上記のような構成の撮影光学ユニットにおいては、第１の光学素子４を通して出射された光が右側６０度の視野として撮像素子１５において結像され、第２の光学素子５を通して出射された光が左側６０度の視野として撮像素子１５において並列に結像され、さらに、前段プリズム７及び第３の光学素子６と、前段プリズム２１及び第４の光学素子２２とを通して出射された光が前方６０度の視野として撮像素子１５において並列に結像される。すなわち、単一の撮像素子１５において４つの視野が並列に結像される。このような構成の撮影光学ユニットにおいては、右側から左側、あるいは左側から右側にわたる１８０度の範囲における撮影が可能となり、さらに前方のステレオ画像撮影が可能となる。
【００２６】
本発明の実施の形態では、右側６０度、左側６０度、前方６０度の範囲における視野を結像させる撮影光学ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム４、５、６、２２そのものの性能や組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６、２２の視野が６０度の範囲に限定されるものではない。
【００２７】
また、第１の光学素子４と第２の光学素子５の２つのみで撮影光学ユニットを構成してもよいし、第３の光学素子６と第４の光学素子２２の２つのみでステレオ撮影光学ユニットを構成してもよいし、左側又は右側の何れか一方と、前方あるいは後方の何れか一方の視野を結像させるように別の光学素子を組み込んで撮影光学ユニットを構成することも可能である。このような構成では光学素子の設置個数が少なくて済む分、構造をより簡素化することができ撮影光学ユニット自体のさらなる小型化が可能となる。
【００２８】
また、３６０度の視野を撮像することを可能にするために、本実施の形態に示した構成の撮影光学ユニットを２組み背面合わせとした構成を採用することはもちろん、さらに上下に組み込んだ構成を採用することもできる。
【００２９】
本発明を提供した撮影光学ユニットは、特に車両に搭載して外部の視野を撮影するのに好適であるばかりでなく、車両の内部に設置して車両の内外を監視する監視カメラとしても有用であり、またカプセル型内視鏡等にも適用し得る。
【００３０】
図７は、撮影光学ユニットを車両に搭載した例を示す図である。
図７に示すように、左右両方向を同時に撮影可能とする本発明を適用した撮影光学ユニットＵを、車両のフロントグリルの中央部に取り付けて、両サイド及び前方のモニタとして使用することができる。このような使用例においては、車両の走行に際して両サイドにおける安全性がより高まる。
【００３１】
図８は、本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図であり、図９は、本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図であり、図１０は、被写体の例を示す図である。
【００３２】
図８に示したように、本発明の第１の実施形態に係る撮影光学ユニットは、前述の自由曲面プリズム４、５、６、２２および前段プリズム７、２１から構成されるプリズム群５０と撮像素子１５とが配置されている。
【００３３】
一般的なカメラなどの通常の撮像素子では、画面のアスペクト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の第１の実施形態に係る撮影光学ユニットでは、通常の画面を９０度回転させ、図９に示されるように４分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向が４分割された画面の長い方向を撮像するよう構成されている。すなわち、図９に示した画像５１ａは、自由曲面プリズム４による右側視野６０度で撮像された画像であり、画像５１ｂは、自由曲面プリズム５による左側視野６０度で撮像された画像であり、画像５１ｃは、自由曲面プリズム６と前段プリズム７による中心視野６０度で撮像された画像である。
【００３４】
さらに、後述するが、画像５１ｄは、自由曲面プリズム２２と前段プリズム２１による中心視野６０度で撮像された画像であり、画像５１ｄと画像５１ｃとが一定の視差を持っている。これらの画像５１ｃと画像５１ｄがステレオ測距で必要となる画像である。
【００３５】
図１０に示されている画像は、被写体のイメージであり、例えば、車体の正面に設置されたカメラの画像を運転者から見た画像で表示装置上に正対した像として映し出すものとする。この図１０に示されたイメージを撮像した場合の画像は、図９に示した画像５１ａ、５１ｂ、５１ｃ、５１ｄから構成されることを現している。
【００３６】
図１１は、撮影光学ユニットの構成を示す図であり、図１２は、３画面（５１ａ、５１ｂ、５１ｃ）を２段表示にした表示例を示す図である。
図１１において、撮影光学ユニットは、ステレオカメラ部５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
【００３７】
前記ステレオカメラ部５２は、前述の自由曲面プリズム４、５、６、２２、前段プリズム７、２１、撮像素子１５の他、ＴＧ／ＳＳＧ部６０、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部６１、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４を備えている。
【００３８】
前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７を備えている。
また、前記ドライビングコントローラ７２は、画像表示部５５、液晶コントローラ５６、外部メモリ６６、警報装置６７、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。
【００３９】
なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
また、ステレオカメラ部５２による測距原理については、後述する。
【００４０】
ステレオカメラ部５２は、動画と静止画を撮像可能であり、このステレオカメラ部５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、および液晶コントローラ５６を介して、モニタ装置として使用される画像表示部５５に出力する。
【００４１】
また、ステレオカメラ部５２は、図１０に示したような被写体イメージを撮像するための自由局面のプリズム群５０、及びこのプリズム群５０による結像位置に配置されたＣＭＯＳ／ＣＣＤでなる撮像素子１５を有する。撮像素子１５で得た画像情報は、後述するＣＰＵ５３により、動画、静止画、上述したホワイトバランス、露出補正、シャッタースピードなどを制御し、画像表示部５５に出力される。
【００４２】
ステレオカメラ部５２のＴＧ／ＳＳＧ部６０は、駆動タイミング、パルスを発生し撮像素子１５の動作タイミングを生成している。ステレオカメラ部５２のＣＤＳ／ＡＧＣ／ＡＤ６１は、撮像素子１５から得られた画像情報を相関二重サンプリングし信号量に応じて利得を調整しＡ／Ｄ変換され、デジタル信号処理６２に送られる。そして、デジタル信号処理６２では、カラー信号補間、カラー補正、ホワイトバランスなどの処理が行われ、画像情報をＭＰＵ５７に供給する。
【００４３】
シリアルＩ／Ｆ６３は、ＣＰＵ５３からの情報に従って、各種信号のデフォルト値や可変された露出、利得などのコマンドを実行し、ステレオカメラ部５２の制御を行う。
供給された画像情報は、ＣＰＵ５３からの画像表示方法の指示に基づき、後述する画像の処理を行い、液晶コントローラ５６を介して画像表示部５５にて表示される。近年、グラフィック表示機能が充実しており、画像の反転、回転、鏡像の表示は、液晶コントローラ５６で行い、画像処理ＭＰＵ５７の負担を軽減することもできる。
【００４４】
次に、画像表示部５５に出力された画像を表示するための画像処理および加工について説明する。
前出の図９は、自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像を表しているが、撮像素子１５を７５０画素×４８０画素で想定すると、図９に示したように、４分割であれば１画面の画素数は、縦１８７画素、横４８０画素となる。
【００４５】
一方、この４分割された画面のうち画像表示部５５に表示する３画面は、左６０度５１ａ、右６０度５１ｂ、中心６０度５１ｃの計１８０度を撮像することになるが、このまま縦１８７画素、横４８０画素を画像表示部５５に表示すると、縦は問題ないが、横に１４４０画素必要となり、現在車載用として主流であるＷＶＧＡ（横７５０画素×縦４８０画素）のサイズの液晶画像表示部５５では３画面が並ばない。
【００４６】
そこで、画像処理ＭＰＵ５７では、液晶画像表示部５５に、後述する各種表示方法に応じた画像の画素間引き、縮小、拡大、カットなどを行う機能を持たせている。
さらに、３画面のうち画像表示部５５上の画像の表示については、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列することも可能である。
【００４７】
次に、画像取り込み、画像処理、および画像処理後の液晶表示までの流れを説明する。
図１３は、本発明を適用したカメラ制御処理の流れを示すフローチャートであり、図１４は、本発明を適用したカメラシステムの機能ブロックを示す図であり、図１５は、第１のフレームメモリの構成を示す図であり、図１６は、第３のフレームメモリの構成を示す図である。
【００４８】
自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像は、前述した通り、図９の画像５１のように撮像される。
まず、４つに分割された画像のうち、画像表示部５５にて任意に表示される３枚の画像である、左側視野６０度の撮像された画像５１ａ、右側視野６０度の撮像された画像５１ｂ、中心視野６０度の撮像された画像５１ｃの処理について説明する。
【００４９】
最初に、ステップＳ７０１において、撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像された画像が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってＡ／Ｄ変換される。そして、ステップＳ７０３において、画像生成部７０３によって、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正の処理に付された後、次のステップＳ７０４において、第１のフレームメモリ７０４に格納される。
【００５０】
この際、第１のフレームメモリ７０４に格納される画像は、図１５に示される通り、撮像素子１５から読み取られた操作順に格納される。図１５に示した例では、１Ａ、１Ｂ、１Ｃ、１Ｄ、２Ａ、２Ｂ、２Ｃ、２Ｄ、３Ａ、３Ｂ、３Ｃ、３Ｄの順で、第１のフレームメモリ７０４に格納されることになる。
【００５１】
次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された元画像は、読出／書込コントローラ７０５によって、アドレスメモリ７０６を参照し、アドレスメモリ７０６の画像分割アドレスの指定に従って演算され、ステップＳ７０６において、第３のフレームメモリ７０７に格納される。図１３に示した例では、１Ａ、２Ａ、３Ａ、１Ｃ、２Ｃ、３Ｃ、１Ｂ、２Ｂ、３Ｂの順で、第３のフレームメモリ７０７に格納されることになる。
【００５２】
この際、第３のフレームメモリ７０７に格納される画象は、図１６に示される通り、第１のフレームメモリ７０４に格納された画像を上下および左右反転し、さらに左側視野６０度、右側視野６０度、中心視野６０度の撮像された画像が正対した画像になるよう配列され格納されることになる。
【００５３】
そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像表示部５５に表示するモニタ表示形式は、前述したように少なくとも２つ以上の選択肢を設けている。
【００５４】
図１７は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図１８は、縮小して３画面表示した場合の表示例を示す図である。
まず、ステップＳ７１０において、ユーザーによるモニタ表示形式の設定を確認する。すなわち、表示モードスイッチ７１３で切り替えの指示があるか否かを検出する。
【００５５】
モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、表示パターンを参照して対応するアドレスパターンを設定する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、変更前の表示バターンのままで、次のステップＳ７１２に進む。
【００５６】
そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで、単画面表示の場合は、表示する画像を縮小することになり、単画面表示でない場合は、縮小せずに画素そのままとする。
【００５７】
表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１４において、アドレスメモリ７０６を参照して、縮小のための演算を実行する。例えば、ある画素の周囲の４ピクセルを線形あるいは３次元関数を用いて画素を作り、補間を行う方法も開示されている。
【００５８】
そして、ステップＳ７１５において、第３のフレームメモリ７０７から読み出し、ステップＳ７１６において、補間部７０９が、読み出した画像を上述のような方法を用いて補間する。
【００５９】
次に、ステップＳ７１７において、補間した画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７１８において、第４のフレームメモリ７１０に格納する。
【００６０】
そして、ステップＳ７１９において、全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１８に示したような画面を表示パネル７１２へ表示する。
【００６１】
図１７のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を縮小せず、画素そのままを表示するか、あるいは、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列した表示を行うかが選択可能である。
【００６２】
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図１２に示したような、中心視野、右視野および左視野の３画面を２段表示にする場合、ステップＳ７２２において、アドレスメモリ７０６を参照して、表示のための演算を実行し、ステップＳ７２３において、例えば中心視野を中心に表示する場合は、第３のフレームメモリ７０７から所定のアドレスを読み出す。
【００６３】
次に、ステップＳ７２４において、表示する画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７２５において、第４のフレームメモリ７１０に格納する。
【００６４】
そして、ステップＳ７２６において、第４のフレームメモリ７１０に対する３枚全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１２に示したような画面を表示パネル７１２へ表示する。
【００６５】
図１９は、測距を行うためのステレオ光学系の平面を表す図である。
図１９に示したステレオ光学系は、４画面分割構成の場合のステレオカメラ部５２からステレオ光学系のみを抽出し、測距に必要な自由曲面プリズム６、２２と前段プリズム７、２１と撮像素子１５とを抽出した平面図になっている。
【００６６】
このステレオカメラ部５２は、所定の間隔をおいて撮影光学系が配置されている。このステレオカメラ部５２は、それぞれの光軸が平行に配置された自由曲面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の像を結像する撮像素子１５とにより構成される。
【００６７】
次に、一般的なレンズと２つの撮像素子を用いた場合のステレオカメラにおける測距式を簡単に説明する。
図２０は、２つの撮像素子を用いたステレオカメラにおける測距式を説明するための図である。
【００６８】
図２０において、焦点距離ｆの受光レンズ８１ａ及び８１ｂが、レンズ間視差（基線長）Ｂをおいて配置されている。そして、これらの受光レンズ８１ａ及び８１ｂの後方に、焦点距離ｆだけ離れた位置に撮像素子８０ａ及び８０ｂが配置されている。この場合、撮像素子８０ａの結像位置に対する撮像素子８０ｂの結像位置をｘとすると、受光レンズ８１ａ及び８１ｂから被写体８２までの被写体距離Ｌは、周知の三角測距の原理に従って、次式の関係により求められる。
【００６９】
Ｌ＝Ｂ×ｆ／ｘ ・・・（１）
但し、Ｌは被写体距離、Ｂは受光レンズ間の視差（基線長）、ｆは受光レンズの焦点距離である。
【００７０】
また、上記結像位置ｘが、受光位置の変位、すなわち受光レンズ８１ａ及び８１ｂによる左右対応点のズレである。このとき、撮像素子８０ａ及び８０ｂに結像される被写体像８３ａ及び８３ｂは、図２０中の（ｂ）のように示される。
【００７１】
次に、本発明を適用したステレオカメラ部の機能を説明する。
図２１は、警報情報の生成までの処理の流れを示すフローチャートであり、図２２は、第２のフレームメモリの構成を示す図である。
【００７２】
この図２１と図１４とを用いて、ステレオ画像の取り込み、測距、警報情報の生成までの流れを説明する。
前記ステレオカメラ部５２は、図１０に示す被写体を撮影する撮像素子１５と、前記撮像素子１５の前方に取り付けられるプリズム群５０と、距離画像出力部７２３から出力された被写体の距離画像７２５を計測する画像処理ＭＰＵ５７と、測距結果から警報が必要と判断された場合に運転者に情報を提供する警報装置６７から構成される。
【００７３】
本ステレオカメラ部５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１５と露出コントローラ７１６とを適宜備え、撮像素子１５からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。
【００７４】
また、前記ステレオカメラ部５２は、それぞれの光軸が平行に配置された自由局面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の撮像素子１５に像を結像することが出来るようになっている。
【００７５】
このようにしてステレオカメラ部５２で撮影された、すなわち、撮像素子１５で捕らえたステレオ画像７２６は、図１４に示すように、ＡＤＣ７０２でＡ／Ｄ変換され、画像生成部７０３でカラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が付された後、図１３のステップＳ７０４において、第１のフレームメモリ７０４に格納されている。その後、ポーリングが開始される。
【００７６】
ポーリングが開始されると、ステップＳ７３０において、運転者によって操作入力部５４の測距機能の選択の指示があるか否かを判断する。
測距機能の選択の指示がない場合（ステップＳ７３０：ＮＯ）は、図１７のステップＳ７０１に戻る。
【００７７】
他方、測距機能の選択の指示がある場合（ステップＳ７３０：ＹＥＳ）は、ステップＳ７３１において、第１のフレームメモリ７０４に格納された、図９に示す４画面の内、撮像された画像５１ｃ、５１ｄのアドレス値を、アドレスメモリ７０６から参照する。図９に示したように、図中の４画面の内、中心視野の６０度左側が撮像された画像５１ｃと中心視野の６０度右側が撮像された画像５１ｄとは、ある一定の視差が生じることになる。
【００７８】
次に、ステップＳ７３２において、ステップＳ７３１で参照されたアドレスに従って左側と右側の画像５１ｃ、５１ｄを第１のフレームメモリから読み出す。
次に、ステップＳ７３３において、ステップＳ７３２で第１のフレームメモリ７０３から読み出した画像５１ｃ、５１ｄに対して、レクティフィケーション部７１７が左側と右側の画像５１ｃ、５１ｄのエピポーラ線を一致するように各々の画像変換処理（レクティフィケーション）を行う。そして、ステップＳ７３４において、レクティフィケーション処理された右画像７１８と左画像７１９を、図２２に示すように１Ｃ、２Ｃ、３Ｃ、１Ｄ、２Ｄ、３Ｄの順で第２のフレームメモリ７２０に格納する。
【００７９】
ステレオによる三次元情報抽出については、既に研究、論文等で各種報告されているので、詳細の計算による理論、手法は各文献等を参照されたい。ここでは、簡単にレクティフィケーションについて説明する。
【００８０】
図２３は、レクティフィケーション前の左右画像を示す図であり、図２４は、レクティフィケーション後の左右画像を示す図である。
本実施の形態のステレオによる測距方法は、単一の撮像素子１５から撮像された２枚の画像５１ｃ、５１ｄを使用して、これらの画像５１ｃ、５１ｄ中に共通して存在する、ある同一着目点の視差量から距離の情報を算出するものである。
【００８１】
レクティフィケーションとは、両画像の視差量算出の前に行われるもので、ある左右の同一着目点が同一線（エピポーラ線）上に配置されるよう視点変換、歪曲収差除去、回転変換などを行い、その両画像間の幾何関係（エピポーラ幾何）を同一平面上に存在するよう変換するものである。
【００８２】
図２３にレクティフィケーション前の画像として、左画像領域を基準とした左と右の画像領域を示した。画像中の着目点ａ、ｂの位置が左画像の同一直線上にあるとした場合、このときの右画像は、図のように「りんご」と「箱」の奥行きのため上下位置に差が生じている。さらに、カメラには、レンズの取り付け位置に上下方向のシフトが付いている。そのため、右画像の左画像に対する着目点ａ、ｂの位置が下にシフトしており同一線上に並ばなくなる。
【００８３】
ここで、この着目点ａ、ｂが両画像間で同一直線上に並べる処理をレクティフィケーションと言う。
図２４にレクティフィケーション後の画像を示した。着目点ａ、ｂが両画像間で同一直線上に並んでいるため、着目点を探索するには二次元での探索ではなく、一次元での探索で位置が推定できることになり、この両画像の視差を求めることで距離が算出できることになる。
【００８４】
図２１の説明に戻る。
次に、ステップＳ７３５において、第２のフレームメモリ７２０に格納された右画像７１８と左画像７１９を、読出／書込コントローラ７２１で読み出し、右画像７１８と左画像７１９の同一着目点を比較し、ステップＳ７３６において、距離算出部７２２が視差を算出する。距離算出部７２２による距離計算方法は、例えば、特許文献３（特開２００４−２５８２６６号公報）に記載されている方法等に基づき実行される。
【００８５】
そして、ステップＳ７３７において、距離画像出力部７２３が被写体の三次元の距離画像７２５を出力する。
次に、ステップのＳ７３８において、新たな警報情報があるか否かを判断し、新たな警報情報がなければ（ステップＳ７３８：ＮＯ）、ステップＳ７３３に戻り、新たな警報情報があれば（ステップＳ７３８：ＹＥＳ）、ステップＳ７３９において、警報情報作成部７２４が、例えば車などの着目物体に危険域まで近づいているなどの警報情報を作成する。
【００８６】
そして、ステップＳ７４０において、警報情報を含む画面を更新表示していく。例えば、表示コントローラ７２７で表示パネル７１２ヘのＯＳＤ表示を生成している。
また、ステレオカメラ部５２は、キャリブレーション部７１４をさらに備え、レクティフィケーション部７１７に対してレクティフィケーションパラメータを出力し、距離算出部７２２に対して距離算出用パラメータを出力する。
【００８７】
なお、距離画像処理の各ブロックは、計算機上のソフトウェアで実現してもよい。
図２５は、２画面分割構成でステレオのみの場合のステレオカメラ部を示す図であり、図２６は、２画面分割構成の場合のイメージャ（ＷＶＧＡ）への画面イメージを示す図である。
【００８８】
ＣＰＵ５３は、画像情報と車両情報を統括する役割を持っており、例えば、ステレオカメラ部５２で処理された結果を画像表示部５５に表示したり、ステレオカメラ部５２で得られた距離情報を分析して、警報装置６７に警報を発生させたりして、運転者に安全運転を促すことができるようになっている。
【００８９】
なお、警報装置６７は、音声装置や振動装置などから構成されている。運転者の触覚を刺激する、運転者の視覚に訴えるような情報を出す取り組みが近年盛んであり既知ではあるが、例えば、音声装置はスピーカ等からの音声、液晶パネルでは、ＯＳＤ表示、ＨＵＤ表示、振動装置はステアリングハンドル、アクセルペダル、運転席シートの振動により運転者に警報を発するものを利用する。
【００９０】
このように、このカメラシステムによると、本発明に直接関係しないためその詳細説明は省略するが、本実施の形態に係るステレオカメラ部５２から得られた画像情報と、各種センサー等から得られた車両情報とを統合することができ、画像表示部５５による画像情報の表示、警報装置６７による警報等により、運転者に安全走行を促すことができる。
【００９１】
例えば、前方の被写体に近づきすぎたときに注意を促す表示、警報、さらには例えば既知ではあるが、先行車までの距離／自車走行スピードで先行車までの到達時間を割り出し、２秒、１５秒などのある一定時間以内の場合にブレーキの制御を行うことができる。
【００９２】
若しくは、道路の分離帯を読み取って自動で運転を制御する等に用いることができる。
その他に、車外を観察し、前方や後方の走行車両、障害物、白線検知等に用いる他、車内の運転者、搭乗者の顔の位置、向きを検出し、脇見運転や居眠りの検知、エアバック点火時に、大人か子供か、顔の位置方向を判断し、安全にエアバッグを作動させるセンサーとして利用することも可能である。
【００９３】
また、本発明を適用したカメラシステムは、車載のステレオ撮像システムの他に、ロボット、鉄道、飛行機、船舶、監視カメラ、遠隔会議システム用カメラ等にも応用ができるものである。
【００９４】
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるカメラシステムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００９５】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９６】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。
【００９７】
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【００９８】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
【００９９】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
【０１００】
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。
【図面の簡単な説明】
【０１０１】
【図１】撮影光学ユニットの外観を表す図（その１）である。
【図２】撮影光学ユニットの外観を表す図（その２）である。
【図３】図１および図２に示した撮影光学ユニットの分解状態を示した図である。
【図４】図１におけるＡ−Ａ断面を示した図である。
【図５】フレーム部分の外観を表す図（その１）である。
【図６】フレーム部分の外観を表す図（その２）である。
【図７】撮影光学ユニットを車両に搭載した例を示す図である。
【図８】本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図である。
【図９】本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図である。
【図１０】被写体の例を示す図である。
【図１１】撮影光学ユニットの構成を示す図である。
【図１２】３画面（５１ａ、５１ｂ、５１ｃ）を２段表示にした表示例を示す図である。
【図１３】本発明を適用したカメラ制御処理の流れを示すフローチャートである。
【図１４】本発明を適用したカメラシステムの機能ブロックを示す図である。
【図１５】第１のフレームメモリの構成を示す図である。
【図１６】第３のフレームメモリの構成を示す図である。
【図１７】カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。
【図１８】縮小して３画面表示した場合の表示例を示す図である。
【図１９】測距を行うためのステレオ光学系の平面を表す図である。
【図２０】２つの撮像素子を用いたステレオカメラにおける測距式を説明するための図である。
【図２１】警報情報の生成までの処理の流れを示すフローチャートである。
【図２２】第２のフレームメモリの構成を示す図である。
【図２３】レクティフィケーション前の左右画像を示す図である。
【図２４】レクティフィケーション後の左右画像を示す図である。
【図２５】２画面分割構成でステレオのみの場合のステレオカメラ部を示す図である。
【図２６】２画面分割構成の場合のイメージャ（ＷＶＧＡ）への画面イメージを示す図である。
【符号の説明】
【０１０２】
ａ、ｂ 着目点
Ｂ レンズ間視差（基線長）
ｅ1〜ｅ4 区画凹所
ｆ 焦点距離
Ｌ 被写体距離
ｈ 貫通孔
ｔ1〜ｔ8 座部
Ｕ 撮影光学ユニット
ｘ 結像位置
１ フレーム
１ａ 天面壁
１ｂ 底面壁
１ｃ、１ｄ 傾斜側壁
２ ホルダ
３ カバー体
３ａ〜３ｃ 窓孔
４、５、６ 自由曲面プリズム
６ａ 第１面
７ 前段プリズム
８、８ａ、８ｂ、８ｃ、８ｄ 弾性舌片
９、９ａ、９ｂ、９ｃ、９ｄ 緩衝部材
１５ 撮像素子
１７ 基板（フレキシブルプリント基板等）
１８ 放熱板
１９ 保護板
２１ 前段プリズム
２２ 自由曲面プリズム
５０ プリズム群
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ 画像
５２ ステレオカメラ部
５３ ＣＰＵ
５４ 操作入力部
５５ 画像表示部
５６ 液晶コントローラ
５７ 画像処理ＭＰＵ
５８ メモリ
６０ ＴＧ／ＳＳＧ部
６１ ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
６２ デジタル信号処理部
６３ シリアルＩ／Ｆ
６６ 外部メモリ
６７ 警報装置
７１ カメラコントローラ
７２ ドライビングコントローラ
７４ 通信Ｉ／Ｆ
７５ 通信Ｉ／Ｆ
７７ 通信Ｉ／Ｆ
７８ 通信Ｉ／Ｆ
７９ バス
８０ａ、８０ｂ 撮像素子
８１ａ、８１ｂ 受光レンズ
８２ 被写体
８３ａ、８３ｂ 被写体像
７０１ 撮像部
７０２ ＡＤＣ（Ａ／Ｄコンバータ）
７０３ 画像生成部
７０４ 第１のフレームメモリ
７０５ 読出／書込コントローラ
７０６ アドレスメモリ
７０７ 第３のフレームメモリ
７０８ 読み出しコントローラ
７０９ 補間部
７１０ 第４のフレームメモリ
７１１ 表示コントローラ
７１２ 表示パネル
７１３ 表示モードスイッチ
７１４ キャリブレーション部
７１５ 露出検出部
７１６ 露出コントローラ
７１７ レクティフィケーション部
７１８ 右画像
７１９ 左画像
７２０ 第２のフレームメモリ
７２１ 読出／書込コントローラ
７２２ 距離算出部
７２３ 距離画像出力部
７２４ 警報情報作成部
７２５ 距離画像
７２６ ステレオ画像
７２７ 表示コントローラ
【技術分野】
【０００１】
本発明は、カメラを制御するカメラシステムおよびカメラ制御方法に関し、特に、複数のプリズムで光路が制御された異なる方向からの各被写体像を単一の撮像素子で結像したカメラを制御するカメラシステムおよびカメラ制御方法に関する。
【背景技術】
【０００２】
近年、車載センサーとしてのカメラや、車両の前方、後方、両サイドを撮像するためのカメラ等、カメラを使用する場面が増えてきている。
このようなカメラに用いられる従来の撮影光学ユニットとしては、撮像レンズの前方にプリズムを配置し、このプリズムより入射された光を結像レンズに通して単一の撮像素子の撮像面で結像させることによって、複数の視野を同時に映し出す構造の車載カメラユニットが知られている（例えば、特許文献１参照。）。
【０００３】
しかしながら、特許文献１のような撮影光学ユニットを用いた場合、プリズムと撮像素子との間に配される撮像レンズが複合レンズとして構成されており、ホルダ内に内包されて１つのレンズに組み立てられているため、該プリズムの入射位置と撮像素子の受光面との間を、その構造上短縮することが困難であり、したがって撮影光学ユニットそのもののサイズの小型化が困難である。
【０００４】
また、従来のこの種の撮影光学ユニットでは、２００度程度の画角を持つ魚眼レンズを使用し、必要な画角を切り取り歪補正後に運転者に画像の情報を提供する方法がある（例えば、特許文献２参照。）が、このような撮影光学ユニットを用いた場合も、同様にレンズ構造上短縮するのが困難で撮影光学ユニットそのもののサイズの小型化が困難である。また、魚眼レンズ故に視認性の低い画像しかえられず、歪補正を行うとしても周辺の情報不足により実態とはかけ離れた画像が見えていた。
【０００５】
他方、車間距離センサーとしては、レーザやミリ波といった手法を用いてのシステムが使用されている。これらのシステムは、カメラを２個使用してのステレオによる手法も利用されている。このようなシステムの場合、３次元で環境認識ができるため、車両だけでなく歩行者や障害物、車線、道路形状も把握可能となっている（例えば、特許文献３参照。）。
【０００６】
ところが、このようなステレオカメラ部においては、２個の撮像素子を使用するため、それぞれにレンズ群が必要であり、ステレオ光学系を小型軽量に構成することが難しく、コストがかかってしまう。
【特許文献１】特開２０００−８９３０１号公報
【特許文献２】特開２００６−２６２４４７号公報
【特許文献３】特開２００４−２５８２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のステレオ撮影光学ユニットは、小型化が困難である上、視認性に優れていない画像しか表示できない、という問題点があった。
本発明は、上述のような実状に鑑みたものであり、複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法と小型軽量に構成したステレオ測距画像の入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のカメラシステムは、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段とを備え、前記各自由プリズムが、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能であることを特徴とする。
【０００９】
また、本発明のカメラシステムは、前記光学系が、被写体に対して前記撮像素子の直前に配置されていることが望ましい。
また、本発明のカメラシステムは、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることが望ましい。
【００１０】
また、本発明のカメラシステムは、ステレオカメラ部とカメラ制御部を備え、前記ステレオカメラ部が、前記撮像素子と前記光学系を有し、前記カメラ制御部が、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有することが望ましい。
【００１１】
また、本発明のカメラシステムは、前記ステレオカメラ部が、車両の外部を撮像するように前記車両に配置されていることが望ましい。
また、本発明のカメラシステムは、前記２つの方向が、前記車両の前方方向または後方方向であることが望ましい。
【００１２】
また、本発明の一態様によれば、本発明のカメラ制御方法は、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備えるステレオカメラを制御するカメラ制御方法である。そして、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で第２の動画像に合成し、前記合成された前記第２の動画像を表示装置に表示させ、前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させることが可能となる。
また、小型軽量に構成したステレオ測距画像の入力装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、撮影光学ユニットの外観を表す図（その１）であり、図２は、撮影光学ユニットの外観を表す図（その２）であり、図３は、図１および図２に示した撮影光学ユニットの分解状態を示した図であり、図４は、図１におけるＡ−Ａ断面を示した図であり、図５は、フレーム部分の外観を表す図（その１）であり、図６は、フレーム部分の外観を表す図（その２）である。
【００１５】
フレーム１は、複数個の自由曲面プリズム４、５、６、２２を組み入れるためのものである（図３参照）。このフレーム１には、長手方向の中央部分に天面壁１ａから底面壁１ｂに向けて貫通孔ｈが形成されており、天面壁１ａ、底面壁１ｂの両側に位置する傾斜側壁１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ4が設けられている。そして、該区画凹所ｅ1〜ｅ4の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ8が形成されている（図３参照）。
【００１６】
また、ホルダ２は、前記フレーム１を載置するためのものであり、カバー体３は、このホルダ２に合わさって自由曲面プリズム４、５、６、２２をフレーム１とともに内側に収納するためのものである。カバー体３には、自由曲面プリズム４、５、６、２２の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって着脱自在に固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６、２２の性能（撮影できる視野の範囲）や絞りに応じて設定される。
【００１７】
また、自由曲面プリズム４（以下、第1の光学素子ということもある。）は、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1：６０度の範囲で撮影を可能とした自由曲面のプリズムである（図３、図４、図８参照）。
【００１８】
自由曲面プリズム（以下、第２の光学素子ということもあり、外観形状は自由曲面プリズム４と同じ。）５は、第１の光学素子４と同様の自由曲面のプリズムである（図３参照）。この第２の光学素子５は、入射面である第１面を第１の光学素子４とは正反対に指向させて貫通孔ｈに並列に配置されるものであり、右側の視野を真横から前方に向かって角度θ2：６０度の範囲で撮影することが可能になっている。ここで、正反転に配置するとは、具体的に図３に示したように、第１の光学素子４に対し撮像素子１５へ向かう軸上主光線の周りで１８０度回転させて相互に平行となる配置をいう。
【００１９】
また、自由曲面プリズム（以下、第３の光学素子ということもある。）６は、第１の光学素子４、第２の光学素子５と同様の構成になる自由曲面のプリズムである（図３参照）。この第３の光学素子６は、第２の光学素子５とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には三角柱状あるいは台形状等にて形成された前段プリズム７が配置されている（図１〜４参照）。
【００２０】
前段プリズム７より入射された光は、第３の光学素子６を経て撮像素子１５において結像される。すなわち、該第３の光学素子６は、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ3：６０度の範囲における視野（前方視野）の撮影を可能としている。
【００２１】
また、自由曲面プリズム（以下、第４の光学素子ということもある。）２２は、第１の光学素子４、第２の光学素子５、第３の光学素子６と同様の構成になる自由曲面のプリズムである（図３参照）。この第４の光学素子２２は、第３の光学素子６とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には、前段プリズム７と同様の三角柱状あるいは台形状等にて形成された前段プリズム２１が対称の位置に配置されている（図１〜４参照）。
【００２２】
前段プリズム２１より入射された光は、第４の光学素子２２を経て撮像素子１５において結像される。すなわち、該第４の光学素子２２は、第３の光学素子６と同様、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ4：６０度の範囲における視野（前方視野）の撮影を可能としている。
【００２３】
ただし、第３の光学素子６と第４の光学素子２２とは、後述するように視野が僅かにずれている。
さらに、弾性舌片８（８ａ〜８ｄ）は、フレーム１の天面壁１ａにねじ止めあるいは接着により設けられ、第１〜３の光学素子４〜６の上端に弾性接触してフレーム１に強固に固定保持する弾性舌片である（図３〜６参照）。この弾性舌片８は、片持ち支持になる板ばね等を例として示してあり、その先端にはシリコンゴムの如き緩衝部材９（９ａ〜９ｄ）が設けられている。
【００２４】
撮像素子１５の下側には基板（フレキシブルプリント基板等）１７を介して放熱板１８が設けられ、該撮像素子１５の上には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するよう配置されている（パッケージ化されている）。撮像素子１５は、シリコンシート等の絶縁部材を配置することにより、基板１７、放熱板１８とは適宜絶縁処理がなされている。
【００２５】
上記のような構成の撮影光学ユニットにおいては、第１の光学素子４を通して出射された光が右側６０度の視野として撮像素子１５において結像され、第２の光学素子５を通して出射された光が左側６０度の視野として撮像素子１５において並列に結像され、さらに、前段プリズム７及び第３の光学素子６と、前段プリズム２１及び第４の光学素子２２とを通して出射された光が前方６０度の視野として撮像素子１５において並列に結像される。すなわち、単一の撮像素子１５において４つの視野が並列に結像される。このような構成の撮影光学ユニットにおいては、右側から左側、あるいは左側から右側にわたる１８０度の範囲における撮影が可能となり、さらに前方のステレオ画像撮影が可能となる。
【００２６】
本発明の実施の形態では、右側６０度、左側６０度、前方６０度の範囲における視野を結像させる撮影光学ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム４、５、６、２２そのものの性能や組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６、２２の視野が６０度の範囲に限定されるものではない。
【００２７】
また、第１の光学素子４と第２の光学素子５の２つのみで撮影光学ユニットを構成してもよいし、第３の光学素子６と第４の光学素子２２の２つのみでステレオ撮影光学ユニットを構成してもよいし、左側又は右側の何れか一方と、前方あるいは後方の何れか一方の視野を結像させるように別の光学素子を組み込んで撮影光学ユニットを構成することも可能である。このような構成では光学素子の設置個数が少なくて済む分、構造をより簡素化することができ撮影光学ユニット自体のさらなる小型化が可能となる。
【００２８】
また、３６０度の視野を撮像することを可能にするために、本実施の形態に示した構成の撮影光学ユニットを２組み背面合わせとした構成を採用することはもちろん、さらに上下に組み込んだ構成を採用することもできる。
【００２９】
本発明を提供した撮影光学ユニットは、特に車両に搭載して外部の視野を撮影するのに好適であるばかりでなく、車両の内部に設置して車両の内外を監視する監視カメラとしても有用であり、またカプセル型内視鏡等にも適用し得る。
【００３０】
図７は、撮影光学ユニットを車両に搭載した例を示す図である。
図７に示すように、左右両方向を同時に撮影可能とする本発明を適用した撮影光学ユニットＵを、車両のフロントグリルの中央部に取り付けて、両サイド及び前方のモニタとして使用することができる。このような使用例においては、車両の走行に際して両サイドにおける安全性がより高まる。
【００３１】
図８は、本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図であり、図９は、本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図であり、図１０は、被写体の例を示す図である。
【００３２】
図８に示したように、本発明の第１の実施形態に係る撮影光学ユニットは、前述の自由曲面プリズム４、５、６、２２および前段プリズム７、２１から構成されるプリズム群５０と撮像素子１５とが配置されている。
【００３３】
一般的なカメラなどの通常の撮像素子では、画面のアスペクト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の第１の実施形態に係る撮影光学ユニットでは、通常の画面を９０度回転させ、図９に示されるように４分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向が４分割された画面の長い方向を撮像するよう構成されている。すなわち、図９に示した画像５１ａは、自由曲面プリズム４による右側視野６０度で撮像された画像であり、画像５１ｂは、自由曲面プリズム５による左側視野６０度で撮像された画像であり、画像５１ｃは、自由曲面プリズム６と前段プリズム７による中心視野６０度で撮像された画像である。
【００３４】
さらに、後述するが、画像５１ｄは、自由曲面プリズム２２と前段プリズム２１による中心視野６０度で撮像された画像であり、画像５１ｄと画像５１ｃとが一定の視差を持っている。これらの画像５１ｃと画像５１ｄがステレオ測距で必要となる画像である。
【００３５】
図１０に示されている画像は、被写体のイメージであり、例えば、車体の正面に設置されたカメラの画像を運転者から見た画像で表示装置上に正対した像として映し出すものとする。この図１０に示されたイメージを撮像した場合の画像は、図９に示した画像５１ａ、５１ｂ、５１ｃ、５１ｄから構成されることを現している。
【００３６】
図１１は、撮影光学ユニットの構成を示す図であり、図１２は、３画面（５１ａ、５１ｂ、５１ｃ）を２段表示にした表示例を示す図である。
図１１において、撮影光学ユニットは、ステレオカメラ部５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
【００３７】
前記ステレオカメラ部５２は、前述の自由曲面プリズム４、５、６、２２、前段プリズム７、２１、撮像素子１５の他、ＴＧ／ＳＳＧ部６０、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部６１、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４を備えている。
【００３８】
前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７を備えている。
また、前記ドライビングコントローラ７２は、画像表示部５５、液晶コントローラ５６、外部メモリ６６、警報装置６７、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。
【００３９】
なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
また、ステレオカメラ部５２による測距原理については、後述する。
【００４０】
ステレオカメラ部５２は、動画と静止画を撮像可能であり、このステレオカメラ部５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、および液晶コントローラ５６を介して、モニタ装置として使用される画像表示部５５に出力する。
【００４１】
また、ステレオカメラ部５２は、図１０に示したような被写体イメージを撮像するための自由局面のプリズム群５０、及びこのプリズム群５０による結像位置に配置されたＣＭＯＳ／ＣＣＤでなる撮像素子１５を有する。撮像素子１５で得た画像情報は、後述するＣＰＵ５３により、動画、静止画、上述したホワイトバランス、露出補正、シャッタースピードなどを制御し、画像表示部５５に出力される。
【００４２】
ステレオカメラ部５２のＴＧ／ＳＳＧ部６０は、駆動タイミング、パルスを発生し撮像素子１５の動作タイミングを生成している。ステレオカメラ部５２のＣＤＳ／ＡＧＣ／ＡＤ６１は、撮像素子１５から得られた画像情報を相関二重サンプリングし信号量に応じて利得を調整しＡ／Ｄ変換され、デジタル信号処理６２に送られる。そして、デジタル信号処理６２では、カラー信号補間、カラー補正、ホワイトバランスなどの処理が行われ、画像情報をＭＰＵ５７に供給する。
【００４３】
シリアルＩ／Ｆ６３は、ＣＰＵ５３からの情報に従って、各種信号のデフォルト値や可変された露出、利得などのコマンドを実行し、ステレオカメラ部５２の制御を行う。
供給された画像情報は、ＣＰＵ５３からの画像表示方法の指示に基づき、後述する画像の処理を行い、液晶コントローラ５６を介して画像表示部５５にて表示される。近年、グラフィック表示機能が充実しており、画像の反転、回転、鏡像の表示は、液晶コントローラ５６で行い、画像処理ＭＰＵ５７の負担を軽減することもできる。
【００４４】
次に、画像表示部５５に出力された画像を表示するための画像処理および加工について説明する。
前出の図９は、自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像を表しているが、撮像素子１５を７５０画素×４８０画素で想定すると、図９に示したように、４分割であれば１画面の画素数は、縦１８７画素、横４８０画素となる。
【００４５】
一方、この４分割された画面のうち画像表示部５５に表示する３画面は、左６０度５１ａ、右６０度５１ｂ、中心６０度５１ｃの計１８０度を撮像することになるが、このまま縦１８７画素、横４８０画素を画像表示部５５に表示すると、縦は問題ないが、横に１４４０画素必要となり、現在車載用として主流であるＷＶＧＡ（横７５０画素×縦４８０画素）のサイズの液晶画像表示部５５では３画面が並ばない。
【００４６】
そこで、画像処理ＭＰＵ５７では、液晶画像表示部５５に、後述する各種表示方法に応じた画像の画素間引き、縮小、拡大、カットなどを行う機能を持たせている。
さらに、３画面のうち画像表示部５５上の画像の表示については、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列することも可能である。
【００４７】
次に、画像取り込み、画像処理、および画像処理後の液晶表示までの流れを説明する。
図１３は、本発明を適用したカメラ制御処理の流れを示すフローチャートであり、図１４は、本発明を適用したカメラシステムの機能ブロックを示す図であり、図１５は、第１のフレームメモリの構成を示す図であり、図１６は、第３のフレームメモリの構成を示す図である。
【００４８】
自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像は、前述した通り、図９の画像５１のように撮像される。
まず、４つに分割された画像のうち、画像表示部５５にて任意に表示される３枚の画像である、左側視野６０度の撮像された画像５１ａ、右側視野６０度の撮像された画像５１ｂ、中心視野６０度の撮像された画像５１ｃの処理について説明する。
【００４９】
最初に、ステップＳ７０１において、撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像された画像が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってＡ／Ｄ変換される。そして、ステップＳ７０３において、画像生成部７０３によって、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正の処理に付された後、次のステップＳ７０４において、第１のフレームメモリ７０４に格納される。
【００５０】
この際、第１のフレームメモリ７０４に格納される画像は、図１５に示される通り、撮像素子１５から読み取られた操作順に格納される。図１５に示した例では、１Ａ、１Ｂ、１Ｃ、１Ｄ、２Ａ、２Ｂ、２Ｃ、２Ｄ、３Ａ、３Ｂ、３Ｃ、３Ｄの順で、第１のフレームメモリ７０４に格納されることになる。
【００５１】
次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された元画像は、読出／書込コントローラ７０５によって、アドレスメモリ７０６を参照し、アドレスメモリ７０６の画像分割アドレスの指定に従って演算され、ステップＳ７０６において、第３のフレームメモリ７０７に格納される。図１３に示した例では、１Ａ、２Ａ、３Ａ、１Ｃ、２Ｃ、３Ｃ、１Ｂ、２Ｂ、３Ｂの順で、第３のフレームメモリ７０７に格納されることになる。
【００５２】
この際、第３のフレームメモリ７０７に格納される画象は、図１６に示される通り、第１のフレームメモリ７０４に格納された画像を上下および左右反転し、さらに左側視野６０度、右側視野６０度、中心視野６０度の撮像された画像が正対した画像になるよう配列され格納されることになる。
【００５３】
そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像表示部５５に表示するモニタ表示形式は、前述したように少なくとも２つ以上の選択肢を設けている。
【００５４】
図１７は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図１８は、縮小して３画面表示した場合の表示例を示す図である。
まず、ステップＳ７１０において、ユーザーによるモニタ表示形式の設定を確認する。すなわち、表示モードスイッチ７１３で切り替えの指示があるか否かを検出する。
【００５５】
モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、表示パターンを参照して対応するアドレスパターンを設定する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、変更前の表示バターンのままで、次のステップＳ７１２に進む。
【００５６】
そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで、単画面表示の場合は、表示する画像を縮小することになり、単画面表示でない場合は、縮小せずに画素そのままとする。
【００５７】
表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１４において、アドレスメモリ７０６を参照して、縮小のための演算を実行する。例えば、ある画素の周囲の４ピクセルを線形あるいは３次元関数を用いて画素を作り、補間を行う方法も開示されている。
【００５８】
そして、ステップＳ７１５において、第３のフレームメモリ７０７から読み出し、ステップＳ７１６において、補間部７０９が、読み出した画像を上述のような方法を用いて補間する。
【００５９】
次に、ステップＳ７１７において、補間した画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７１８において、第４のフレームメモリ７１０に格納する。
【００６０】
そして、ステップＳ７１９において、全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１８に示したような画面を表示パネル７１２へ表示する。
【００６１】
図１７のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を縮小せず、画素そのままを表示するか、あるいは、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列した表示を行うかが選択可能である。
【００６２】
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図１２に示したような、中心視野、右視野および左視野の３画面を２段表示にする場合、ステップＳ７２２において、アドレスメモリ７０６を参照して、表示のための演算を実行し、ステップＳ７２３において、例えば中心視野を中心に表示する場合は、第３のフレームメモリ７０７から所定のアドレスを読み出す。
【００６３】
次に、ステップＳ７２４において、表示する画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７２５において、第４のフレームメモリ７１０に格納する。
【００６４】
そして、ステップＳ７２６において、第４のフレームメモリ７１０に対する３枚全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１２に示したような画面を表示パネル７１２へ表示する。
【００６５】
図１９は、測距を行うためのステレオ光学系の平面を表す図である。
図１９に示したステレオ光学系は、４画面分割構成の場合のステレオカメラ部５２からステレオ光学系のみを抽出し、測距に必要な自由曲面プリズム６、２２と前段プリズム７、２１と撮像素子１５とを抽出した平面図になっている。
【００６６】
このステレオカメラ部５２は、所定の間隔をおいて撮影光学系が配置されている。このステレオカメラ部５２は、それぞれの光軸が平行に配置された自由曲面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の像を結像する撮像素子１５とにより構成される。
【００６７】
次に、一般的なレンズと２つの撮像素子を用いた場合のステレオカメラにおける測距式を簡単に説明する。
図２０は、２つの撮像素子を用いたステレオカメラにおける測距式を説明するための図である。
【００６８】
図２０において、焦点距離ｆの受光レンズ８１ａ及び８１ｂが、レンズ間視差（基線長）Ｂをおいて配置されている。そして、これらの受光レンズ８１ａ及び８１ｂの後方に、焦点距離ｆだけ離れた位置に撮像素子８０ａ及び８０ｂが配置されている。この場合、撮像素子８０ａの結像位置に対する撮像素子８０ｂの結像位置をｘとすると、受光レンズ８１ａ及び８１ｂから被写体８２までの被写体距離Ｌは、周知の三角測距の原理に従って、次式の関係により求められる。
【００６９】
Ｌ＝Ｂ×ｆ／ｘ ・・・（１）
但し、Ｌは被写体距離、Ｂは受光レンズ間の視差（基線長）、ｆは受光レンズの焦点距離である。
【００７０】
また、上記結像位置ｘが、受光位置の変位、すなわち受光レンズ８１ａ及び８１ｂによる左右対応点のズレである。このとき、撮像素子８０ａ及び８０ｂに結像される被写体像８３ａ及び８３ｂは、図２０中の（ｂ）のように示される。
【００７１】
次に、本発明を適用したステレオカメラ部の機能を説明する。
図２１は、警報情報の生成までの処理の流れを示すフローチャートであり、図２２は、第２のフレームメモリの構成を示す図である。
【００７２】
この図２１と図１４とを用いて、ステレオ画像の取り込み、測距、警報情報の生成までの流れを説明する。
前記ステレオカメラ部５２は、図１０に示す被写体を撮影する撮像素子１５と、前記撮像素子１５の前方に取り付けられるプリズム群５０と、距離画像出力部７２３から出力された被写体の距離画像７２５を計測する画像処理ＭＰＵ５７と、測距結果から警報が必要と判断された場合に運転者に情報を提供する警報装置６７から構成される。
【００７３】
本ステレオカメラ部５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１５と露出コントローラ７１６とを適宜備え、撮像素子１５からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。
【００７４】
また、前記ステレオカメラ部５２は、それぞれの光軸が平行に配置された自由局面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の撮像素子１５に像を結像することが出来るようになっている。
【００７５】
このようにしてステレオカメラ部５２で撮影された、すなわち、撮像素子１５で捕らえたステレオ画像７２６は、図１４に示すように、ＡＤＣ７０２でＡ／Ｄ変換され、画像生成部７０３でカラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が付された後、図１３のステップＳ７０４において、第１のフレームメモリ７０４に格納されている。その後、ポーリングが開始される。
【００７６】
ポーリングが開始されると、ステップＳ７３０において、運転者によって操作入力部５４の測距機能の選択の指示があるか否かを判断する。
測距機能の選択の指示がない場合（ステップＳ７３０：ＮＯ）は、図１７のステップＳ７０１に戻る。
【００７７】
他方、測距機能の選択の指示がある場合（ステップＳ７３０：ＹＥＳ）は、ステップＳ７３１において、第１のフレームメモリ７０４に格納された、図９に示す４画面の内、撮像された画像５１ｃ、５１ｄのアドレス値を、アドレスメモリ７０６から参照する。図９に示したように、図中の４画面の内、中心視野の６０度左側が撮像された画像５１ｃと中心視野の６０度右側が撮像された画像５１ｄとは、ある一定の視差が生じることになる。
【００７８】
次に、ステップＳ７３２において、ステップＳ７３１で参照されたアドレスに従って左側と右側の画像５１ｃ、５１ｄを第１のフレームメモリから読み出す。
次に、ステップＳ７３３において、ステップＳ７３２で第１のフレームメモリ７０３から読み出した画像５１ｃ、５１ｄに対して、レクティフィケーション部７１７が左側と右側の画像５１ｃ、５１ｄのエピポーラ線を一致するように各々の画像変換処理（レクティフィケーション）を行う。そして、ステップＳ７３４において、レクティフィケーション処理された右画像７１８と左画像７１９を、図２２に示すように１Ｃ、２Ｃ、３Ｃ、１Ｄ、２Ｄ、３Ｄの順で第２のフレームメモリ７２０に格納する。
【００７９】
ステレオによる三次元情報抽出については、既に研究、論文等で各種報告されているので、詳細の計算による理論、手法は各文献等を参照されたい。ここでは、簡単にレクティフィケーションについて説明する。
【００８０】
図２３は、レクティフィケーション前の左右画像を示す図であり、図２４は、レクティフィケーション後の左右画像を示す図である。
本実施の形態のステレオによる測距方法は、単一の撮像素子１５から撮像された２枚の画像５１ｃ、５１ｄを使用して、これらの画像５１ｃ、５１ｄ中に共通して存在する、ある同一着目点の視差量から距離の情報を算出するものである。
【００８１】
レクティフィケーションとは、両画像の視差量算出の前に行われるもので、ある左右の同一着目点が同一線（エピポーラ線）上に配置されるよう視点変換、歪曲収差除去、回転変換などを行い、その両画像間の幾何関係（エピポーラ幾何）を同一平面上に存在するよう変換するものである。
【００８２】
図２３にレクティフィケーション前の画像として、左画像領域を基準とした左と右の画像領域を示した。画像中の着目点ａ、ｂの位置が左画像の同一直線上にあるとした場合、このときの右画像は、図のように「りんご」と「箱」の奥行きのため上下位置に差が生じている。さらに、カメラには、レンズの取り付け位置に上下方向のシフトが付いている。そのため、右画像の左画像に対する着目点ａ、ｂの位置が下にシフトしており同一線上に並ばなくなる。
【００８３】
ここで、この着目点ａ、ｂが両画像間で同一直線上に並べる処理をレクティフィケーションと言う。
図２４にレクティフィケーション後の画像を示した。着目点ａ、ｂが両画像間で同一直線上に並んでいるため、着目点を探索するには二次元での探索ではなく、一次元での探索で位置が推定できることになり、この両画像の視差を求めることで距離が算出できることになる。
【００８４】
図２１の説明に戻る。
次に、ステップＳ７３５において、第２のフレームメモリ７２０に格納された右画像７１８と左画像７１９を、読出／書込コントローラ７２１で読み出し、右画像７１８と左画像７１９の同一着目点を比較し、ステップＳ７３６において、距離算出部７２２が視差を算出する。距離算出部７２２による距離計算方法は、例えば、特許文献３（特開２００４−２５８２６６号公報）に記載されている方法等に基づき実行される。
【００８５】
そして、ステップＳ７３７において、距離画像出力部７２３が被写体の三次元の距離画像７２５を出力する。
次に、ステップのＳ７３８において、新たな警報情報があるか否かを判断し、新たな警報情報がなければ（ステップＳ７３８：ＮＯ）、ステップＳ７３３に戻り、新たな警報情報があれば（ステップＳ７３８：ＹＥＳ）、ステップＳ７３９において、警報情報作成部７２４が、例えば車などの着目物体に危険域まで近づいているなどの警報情報を作成する。
【００８６】
そして、ステップＳ７４０において、警報情報を含む画面を更新表示していく。例えば、表示コントローラ７２７で表示パネル７１２ヘのＯＳＤ表示を生成している。
また、ステレオカメラ部５２は、キャリブレーション部７１４をさらに備え、レクティフィケーション部７１７に対してレクティフィケーションパラメータを出力し、距離算出部７２２に対して距離算出用パラメータを出力する。
【００８７】
なお、距離画像処理の各ブロックは、計算機上のソフトウェアで実現してもよい。
図２５は、２画面分割構成でステレオのみの場合のステレオカメラ部を示す図であり、図２６は、２画面分割構成の場合のイメージャ（ＷＶＧＡ）への画面イメージを示す図である。
【００８８】
ＣＰＵ５３は、画像情報と車両情報を統括する役割を持っており、例えば、ステレオカメラ部５２で処理された結果を画像表示部５５に表示したり、ステレオカメラ部５２で得られた距離情報を分析して、警報装置６７に警報を発生させたりして、運転者に安全運転を促すことができるようになっている。
【００８９】
なお、警報装置６７は、音声装置や振動装置などから構成されている。運転者の触覚を刺激する、運転者の視覚に訴えるような情報を出す取り組みが近年盛んであり既知ではあるが、例えば、音声装置はスピーカ等からの音声、液晶パネルでは、ＯＳＤ表示、ＨＵＤ表示、振動装置はステアリングハンドル、アクセルペダル、運転席シートの振動により運転者に警報を発するものを利用する。
【００９０】
このように、このカメラシステムによると、本発明に直接関係しないためその詳細説明は省略するが、本実施の形態に係るステレオカメラ部５２から得られた画像情報と、各種センサー等から得られた車両情報とを統合することができ、画像表示部５５による画像情報の表示、警報装置６７による警報等により、運転者に安全走行を促すことができる。
【００９１】
例えば、前方の被写体に近づきすぎたときに注意を促す表示、警報、さらには例えば既知ではあるが、先行車までの距離／自車走行スピードで先行車までの到達時間を割り出し、２秒、１５秒などのある一定時間以内の場合にブレーキの制御を行うことができる。
【００９２】
若しくは、道路の分離帯を読み取って自動で運転を制御する等に用いることができる。
その他に、車外を観察し、前方や後方の走行車両、障害物、白線検知等に用いる他、車内の運転者、搭乗者の顔の位置、向きを検出し、脇見運転や居眠りの検知、エアバック点火時に、大人か子供か、顔の位置方向を判断し、安全にエアバッグを作動させるセンサーとして利用することも可能である。
【００９３】
また、本発明を適用したカメラシステムは、車載のステレオ撮像システムの他に、ロボット、鉄道、飛行機、船舶、監視カメラ、遠隔会議システム用カメラ等にも応用ができるものである。
【００９４】
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるカメラシステムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００９５】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９６】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。
【００９７】
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【００９８】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
【００９９】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
【０１００】
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。
【図面の簡単な説明】
【０１０１】
【図１】撮影光学ユニットの外観を表す図（その１）である。
【図２】撮影光学ユニットの外観を表す図（その２）である。
【図３】図１および図２に示した撮影光学ユニットの分解状態を示した図である。
【図４】図１におけるＡ−Ａ断面を示した図である。
【図５】フレーム部分の外観を表す図（その１）である。
【図６】フレーム部分の外観を表す図（その２）である。
【図７】撮影光学ユニットを車両に搭載した例を示す図である。
【図８】本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図である。
【図９】本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図である。
【図１０】被写体の例を示す図である。
【図１１】撮影光学ユニットの構成を示す図である。
【図１２】３画面（５１ａ、５１ｂ、５１ｃ）を２段表示にした表示例を示す図である。
【図１３】本発明を適用したカメラ制御処理の流れを示すフローチャートである。
【図１４】本発明を適用したカメラシステムの機能ブロックを示す図である。
【図１５】第１のフレームメモリの構成を示す図である。
【図１６】第３のフレームメモリの構成を示す図である。
【図１７】カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。
【図１８】縮小して３画面表示した場合の表示例を示す図である。
【図１９】測距を行うためのステレオ光学系の平面を表す図である。
【図２０】２つの撮像素子を用いたステレオカメラにおける測距式を説明するための図である。
【図２１】警報情報の生成までの処理の流れを示すフローチャートである。
【図２２】第２のフレームメモリの構成を示す図である。
【図２３】レクティフィケーション前の左右画像を示す図である。
【図２４】レクティフィケーション後の左右画像を示す図である。
【図２５】２画面分割構成でステレオのみの場合のステレオカメラ部を示す図である。
【図２６】２画面分割構成の場合のイメージャ（ＷＶＧＡ）への画面イメージを示す図である。
【符号の説明】
【０１０２】
ａ、ｂ 着目点
Ｂ レンズ間視差（基線長）
ｅ1〜ｅ4 区画凹所
ｆ 焦点距離
Ｌ 被写体距離
ｈ 貫通孔
ｔ1〜ｔ8 座部
Ｕ 撮影光学ユニット
ｘ 結像位置
１ フレーム
１ａ 天面壁
１ｂ 底面壁
１ｃ、１ｄ 傾斜側壁
２ ホルダ
３ カバー体
３ａ〜３ｃ 窓孔
４、５、６ 自由曲面プリズム
６ａ 第１面
７ 前段プリズム
８、８ａ、８ｂ、８ｃ、８ｄ 弾性舌片
９、９ａ、９ｂ、９ｃ、９ｄ 緩衝部材
１５ 撮像素子
１７ 基板（フレキシブルプリント基板等）
１８ 放熱板
１９ 保護板
２１ 前段プリズム
２２ 自由曲面プリズム
５０ プリズム群
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ 画像
５２ ステレオカメラ部
５３ ＣＰＵ
５４ 操作入力部
５５ 画像表示部
５６ 液晶コントローラ
５７ 画像処理ＭＰＵ
５８ メモリ
６０ ＴＧ／ＳＳＧ部
６１ ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
６２ デジタル信号処理部
６３ シリアルＩ／Ｆ
６６ 外部メモリ
６７ 警報装置
７１ カメラコントローラ
７２ ドライビングコントローラ
７４ 通信Ｉ／Ｆ
７５ 通信Ｉ／Ｆ
７７ 通信Ｉ／Ｆ
７８ 通信Ｉ／Ｆ
７９ バス
８０ａ、８０ｂ 撮像素子
８１ａ、８１ｂ 受光レンズ
８２ 被写体
８３ａ、８３ｂ 被写体像
７０１ 撮像部
７０２ ＡＤＣ（Ａ／Ｄコンバータ）
７０３ 画像生成部
７０４ 第１のフレームメモリ
７０５ 読出／書込コントローラ
７０６ アドレスメモリ
７０７ 第３のフレームメモリ
７０８ 読み出しコントローラ
７０９ 補間部
７１０ 第４のフレームメモリ
７１１ 表示コントローラ
７１２ 表示パネル
７１３ 表示モードスイッチ
７１４ キャリブレーション部
７１５ 露出検出部
７１６ 露出コントローラ
７１７ レクティフィケーション部
７１８ 右画像
７１９ 左画像
７２０ 第２のフレームメモリ
７２１ 読出／書込コントローラ
７２２ 距離算出部
７２３ 距離画像出力部
７２４ 警報情報作成部
７２５ 距離画像
７２６ ステレオ画像
７２７ 表示コントローラ
【特許請求の範囲】
【請求項１】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、
複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、
前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、
前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段と、
を備え、
前記各自由プリズムは、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能である、
ことを特徴とするカメラシステム。
【請求項２】
前記光学系は、被写体に対して前記撮像素子の直前に配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学系は、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項４】
前記カメラシステムは、ステレオカメラ部とカメラ制御部を備え、
前記ステレオカメラ部は、前記撮像素子と前記光学系を有し、
前記カメラ制御部は、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有する、
ことを特徴とする請求項１に記載のカメラシステム。
【請求項５】
前記ステレオカメラ部は、車両の外部を撮像するように前記車両に配置されていることを特徴とする請求項４に記載のカメラシステム。
【請求項６】
前記２つの方向は、前記車両の前方方向または後方方向であることを特徴とする請求項５に記載のカメラシステム。
【請求項７】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備えるステレオカメラを制御するカメラ制御方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で第２の動画像に合成し、
前記合成された前記第２の動画像を表示装置に表示させ、
前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する、
ことを特徴とするカメラ制御方法。
【請求項１】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、
複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、
前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、
前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段と、
を備え、
前記各自由プリズムは、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能である、
ことを特徴とするカメラシステム。
【請求項２】
前記光学系は、被写体に対して前記撮像素子の直前に配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学系は、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項４】
前記カメラシステムは、ステレオカメラ部とカメラ制御部を備え、
前記ステレオカメラ部は、前記撮像素子と前記光学系を有し、
前記カメラ制御部は、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有する、
ことを特徴とする請求項１に記載のカメラシステム。
【請求項５】
前記ステレオカメラ部は、車両の外部を撮像するように前記車両に配置されていることを特徴とする請求項４に記載のカメラシステム。
【請求項６】
前記２つの方向は、前記車両の前方方向または後方方向であることを特徴とする請求項５に記載のカメラシステム。
【請求項７】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備えるステレオカメラを制御するカメラ制御方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で第２の動画像に合成し、
前記合成された前記第２の動画像を表示装置に表示させ、
前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する、
ことを特徴とするカメラ制御方法。
【図１】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図３】
【図４】
【図７】
【図２１】
【図２６】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図３】
【図４】
【図７】
【図２１】
【図２６】
【公開番号】特開２０１０−７４７０６（Ｐ２０１０−７４７０６Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２４２１２６（Ｐ２００８−２４２１２６）
【出願日】平成２０年９月２２日（２００８．９．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月２２日（２００８．９．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]