カメラユニットおよびこれを用いるカメラシステム
【課題】広視野の撮像にも容易に対処できて視認性の良好な画像を撮像でき、薄型化およびコストダウンが図れてユーザの利便性を向上できるカメラユニットを提供する。
【解決手段】被写体像を結像する自由曲面プリズム4,5,6を有する撮像光学系50と、撮像光学系50により結像される被写体像を光電変換する撮像素子15と、撮像素子15を駆動する撮像素子駆動部33と、撮像素子15からの光電変換信号を処理して画像信号を出力する信号処理部35と、外部制御ユニット71と通信を行う通信部37と、撮像素子駆動部33および信号処理部35の動作を制御して、信号処理部35から出力される画像信号を通信部37から外部制御ユニット71に送信する制御部38と、を備える。
【解決手段】被写体像を結像する自由曲面プリズム4,5,6を有する撮像光学系50と、撮像光学系50により結像される被写体像を光電変換する撮像素子15と、撮像素子15を駆動する撮像素子駆動部33と、撮像素子15からの光電変換信号を処理して画像信号を出力する信号処理部35と、外部制御ユニット71と通信を行う通信部37と、撮像素子駆動部33および信号処理部35の動作を制御して、信号処理部35から出力される画像信号を通信部37から外部制御ユニット71に送信する制御部38と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラユニットおよびこれを用いるカメラシステムに関するものである。
【背景技術】
【０００２】
近年、カメラユニットとして、車両の運転を支援するための車載用カメラユニット、防犯や防災のための監視用カメラユニット、携帯型電子情報端末に搭載するための端末用カメラユニットなど、種々のカメラユニットが提案されている。このようなカメラユニットとして、小型化を図るために、例えば、撮像素子を搭載した基板に、撮像素子駆動部、画像処理部、ＣＰＵ、メモリ等の周辺回路を搭載したもの（例えば、特許文献１参照）や、撮像素子を搭載した基板にレンズユニットを搭載したもの（例えば、特許文献２参照）が知られている。
【０００３】
また、広視野の画像を撮像するため、撮像レンズの前方にプリズムを配置し、このプリズムより入射された複数の視野からの光を結像レンズにより単一の撮像素子に分割して結像させることによって、複数の視野の画像を同時に撮像するようにしたカメラユニットも知られている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５４０９７号公報
【特許文献２】特開２００８−３０６３５０号公報
【特許文献３】特開２０００−８９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２に開示のカメラユニットにおいて、例えば、撮像レンズとして、画角が１２０°程度の通常のレンズ、あるいは、画角が２００°程度の魚眼レンズを用いると、撮像素子に結像される画像の周辺部が歪み、視認性が低下することが懸念される。また、視認性を向上させようとすると、撮像素子から得られる画像データに対して、周辺部の画像データの補間処理や歪み補正処理等を行う画像処理ソフトウェアが必要となり、その分、コストアップを招くことになって、ユーザの利便性が低下することになる。
【０００６】
また、特許文献３に開示のカメラユニットにおいては、撮像レンズの前方にプリズムを配置することから、撮像素子の受光面から前方に突出する寸法が長くなって、カメラユニットが厚型化することが懸念される。
【０００７】
したがって、かかる点に鑑みてなされた本発明の目的は、広視野の撮像にも容易に対処できて視認性の良好な画像を撮像でき、しかも、薄型化およびコストダウンが図れてユーザの利便性を向上できるカメラユニットおよびこれを用いたカメラシステムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する第１の観点に係るカメラユニットの発明は、
被写体像を結像する自由曲面プリズムを有する撮像光学系と、
前記撮像光学系により結像される前記被写体像を光電変換する撮像素子と、
前記撮像素子を駆動する撮像素子駆動部と、
前記撮像素子からの光電変換信号を処理して画像信号を出力する信号処理部と、
外部制御ユニットと通信を行う通信部と、
前記撮像素子駆動部および前記信号処理部の動作を制御して、前記信号処理部から出力される画像信号を前記通信部から前記外部制御ユニットに送信する制御部と、
を備えることを特徴とするものである。
【０００９】
第２の観点に係る発明は、第１の観点に係るカメラユニットにおいて、
前記撮像光学系は、３つの自由曲面プリズムを有し、前記３つの自由曲面プリズムにより、正面６０°、右６０°、左６０°の範囲の被写体像を、前記撮像素子上のそれぞれ分離された所定の領域に結像させるように構成したことを特徴とするものである。
【００１０】
第３の観点に係る発明は、第１または２の観点に係るカメラユニットにおいて、
前記自由曲面プリズムは、入射面側に楕円形状の固定絞りが配置され、Ｙ−Ｚ面内において、前記入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することを特徴とするものである。
【００１１】
さらに、上記目的を達成する第４の観点に係るカメラシステムの発明は、
第１〜３の観点のいずれか一つの観点に係るカメラユニットと、
前記カメラユニットと接続される外部制御ユニットとを有し、
前記外部制御ユニットは、
前記カメラユニットと通信を行う通信部と、
前記通信部が受信した前記カメラユニットからの画像信号を処理する画像処理部と、
前記画像処理部で画像処理された画像信号による画像を表示する画像表示部と、
前記通信部を介して前記カメラユニットの動作を制御するとともに、前記画像処理部および前記画像表示部の動作を制御する制御部と、
を備えることを特徴とするものである。
【００１２】
第５の観点に係る発明は、第４の観点に係るカメラシステムにおいて、
前記外部制御ユニットには前記カメラユニットが複数台接続されており、
前記外部制御ユニットは、
前記画像表示部への画像の表示モードを入力する操作入力部をさらに有し、
前記制御部は、前記操作入力部から入力された表示モードに応じて、前記複数台のカメラユニットからの画像信号を前記画像処理部で画像処理して前記画像表示部に表示することを特徴とするものである。
【発明の効果】
【００１３】
本発明に係るカメラユニットによると、自由曲面プリズムを用いて被写体像を撮像素子上に結像させるので、複数の自由曲面プリズムを用いることにより、広視野の撮像にも容易に対処できて視認性の良好な画像を撮像することが可能となる。したがって、画像周辺部の補間処理や歪み補正処理等の画像処理が不要となり、コストダウンが図れ、ユーザの利便性を向上することができる。また、自由曲面プリズムを用いることから、撮像素子の法線方向の寸法を小さくできて、カメラユニットの薄型化が可能となる。
【００１４】
本発明に係るカメラシステムによると、カメラユニットが上記の効果を奏することから、車両の運転支援、防犯や防災等の種々の用途に容易に適用することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施の形態に係るカメラユニットをそれぞれ異なる方向から見た外観斜視図である。
【図２】図１に示したカメラユニットの分解斜視図である。
【図３】図２に示したフレームの外観図である。
【図４】図２に示したフレームに自由曲面プリズムを組み入れた状態を示す外観斜視図である。
【図５】図１のＡ−Ａ線断面図である。
【図６】図１に示したカメラユニットで使用する自由曲面プリズムのＹ−Ｚ面を示した図である。
【図７】図１に示したカメラユニットで使用する自由曲面プリズムの外形を表す斜視図である。
【図８】図１に示したカメラユニットで使用する前段プリズムの外形を表す斜視図である。
【図９】図１に示したカメラユニットの機能の概要を説明するための図である。
【図１０】図１に示したカメラユニットの基板に搭載された撮像素子およびその周辺回路の構成を示す機能ブロック図である。
【図１１】図１に示したカメラユニットによる被写体の撮像範囲例を示す図である。
【図１２】図１１に示した被写体を撮像したときに撮像素子上に結像される３つの部分画像の位置関係と画像サイズとを説明するための図である。
【図１３】本発明の第２実施の形態に係るカメラシステムの構成を示すブロック図である。
【図１４】図１３に示したカメラシステムの動作を説明するための機能ブロック図である。
【図１５】図１３に示したカメラシステムの動作を説明するフローチャートである。
【図１６】図１４に示した第１のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図である。
【図１７】図１４に示した第２のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図である。
【図１８】図１７に示したパノラマ画像を生成するアドレステーブルの一例を示す図である。
【図１９】図１５に示した表示設定処理を示すフローチャートである。
【図２０】図１３に示したカメラシステムによる標準表示モードでの表示例を示す図である。
【図２１】図１３に示したカメラシステムによる混合表示モードでの表示例を示す図である。
【図２２】図１３に示したカメラシステムによる混合表示モードでの他の表示例を示す図である。
【図２３】図１３に示したカメラシステムによる拡大表示モードでの表示例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図を参照して説明する。
【００１７】
（第１実施の形態）
まず、本発明の第１実施の形態に係るカメラユニットについて、図１〜図１２を参照して説明する。
【００１８】
図１〜図５に示すように、カメラユニット３１は、フレーム１、ホルダ２およびカバー体３を有している。フレーム１には、長手方向の中央部分に天面１ａから底面１ｂに向けて貫通孔ｈが形成されており、天面１ａ、底面１ｂの両側に位置する傾斜側面１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ3が設けられている。そして、該区画凹所ｅ1〜ｅ3の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ6（ｔ１、ｔ２で１組、ｔ３、ｔ４で１組、ｔ５、ｔ６で１組）が形成されている（図３、図５参照）。
【００１９】
ホルダ２は、フレーム１を載置するとともに、後述するように、撮像素子１５およびその周辺回路を搭載した基板を保持するためのものである。また、カバー体３は、ホルダ２に合わさって３つの自由曲面プリズム４、５、６をフレーム１とともに内側に収納するためのものである。
【００２０】
カバー体３には、自由曲面プリズム４、５、６の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、また窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６の性能（撮像できる視野の範囲）や楕円形状の固定絞り１２〜１４に応じて設定される（図６参照）。
【００２１】
自由曲面プリズム４は、例えば、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1（６０°）の範囲で撮像を可能とするものである（図４、図９参照）。この自由曲面プリズム４は、図６並びに図７（Ａ），（Ｂ）に示すように、光の透過作用を有する第１面（入射面）４ａ、光の内部反射と透過作用を有する第２面（出射面であり貫通孔ｈの底面壁１ｂの出側に位置する）４ｂおよび光の反射作用を有する第３面４ｃの３つの光学面を有し、そのうちの第２面４ｂ、第３面４ｃがレンズ機能を兼ね備えており、該第２面４ｂの両側の端部にはフレーム１の座部ｔ５およびｔ６に適合して簡単かつ正確に位置決め配置することができる段差ｋ１、ｋ２が形成されている（図３、図６）。
【００２２】
自由曲面プリズム５は、自由曲面プリズム４と同様の外観形状を有する（図２、図７参照）。この自由曲面プリズム５は、入射面である第１面５ａを自由曲面プリズム４とは逆方向を向くように、自由曲面プリズム４に対して、図６の撮像素子１５の撮像面の軸の回りに１８０°回転させて貫通孔ｈに並列に配置されるものであり、例えば、右側の視野を真横から前方に向かって角度θ2（６０°）の範囲で撮像することが可能になっている。
【００２３】
また、自由曲面プリズム６は、自由曲面プリズム４、自由曲面プリズム５と同様の構成からなる（図２、図７参照）。この自由曲面プリズム６は、自由曲面プリズム４と同じ向きに並列して貫通孔ｈに配置され（図４参照）、その第１面６ａの入側には、図８（Ａ），（Ｂ）に示すような三角柱状あるいは台形状等からなる前段プリズム７が配置されている（図５参照）。
【００２４】
図５に示すように、前段プリズム７より入射された光は、自由曲面プリズム６を経て撮像素子１５上に結像される。すなわち、自由曲面プリズム６は、真正面を基準に右側、左側へそれぞれ３０°、合計で角度θ3（６０°）の範囲における視野（前方視野）の撮像を可能としている（図９参照）。なお、この前段プリズム７は、撮像しようとする視野の光をより多く取り入れるため自由曲面プリズム６の厚さＷよりも厚い厚Ｗ１を有している（図７（Ａ），図８（Ａ）参照）。
【００２５】
撮像素子１５は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge Coupled Devices)からなり、フレキシブルプリント配線基板または硬質プリント配線基板からなる基板１７に接続されている。この撮像素子１５には、その背面にシリコンシート等の絶縁部材および基板１７に形成された開口を通して放熱板１８が設けられおり、前面には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するように配置されている。基板１７は、周辺回路を搭載した基板２１に接続される。
【００２６】
基板２１は、フレキシブルプリント配線基板または硬質プリント配線基板からなり、基板１７とはフレキシブルプリント配線基板を介して接続される。したがって、基板１７および基板２１は、一体のフレキシブルプリント配線基板からなる場合と、いずれか一方がフレキシブルプリント配線基板からなる場合と、双方が硬質プリント配線基板からなり、両者がフレキシブルプリント配線基板を介して接続される場合とがある。
【００２７】
基板２１には、図１０に詳細に示すように、周辺回路として、ＴＧ／ＳＳＧ部３３、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部３４、デジタル信号処理部３５、メモリ３６、通信Ｉ／Ｆ３７、および、各部の動作を制御するＣＰＵ３８が搭載されている。
【００２８】
撮像素子１５は、ＴＧ／ＳＳＧ部３３からの撮像タイミングパルスに基づいて動画を撮像し、その画像信号をＣＤＳ／ＡＧＣ／ＡＤ部３４に出力する。ＣＤＳ／ＡＧＣ／ＡＤ部３４は、撮像素子１５からの画像信号を相関二重サンプリングし、信号量に応じて利得を調整し、Ａ／Ｄ変換して、デジタル信号処理３５に出力する。そして、デジタル信号処理３５では、入力したデジタル画像信号に対して、メモリ３６を使用して、カラー信号補間、カラー補正、ホワイトバランスなどの処理を行って撮像画像データとして、通信Ｉ／Ｆ３７からネットワークを介して外部制御ユニットに出力する。
【００２９】
ＣＰＵ３８は、外部制御ユニットからの露出設定や利得調整などのコマンドに従って、当該カメラユニット３１の各部の動作を制御する。なお、撮像画像のホワイトバランスや露出補正などの設定については、一般的なデジタルビデオカメラと同等であるので、詳細は省略する。
【００３０】
したがって、ＴＧ／ＳＳＧ部３３は撮像素子駆動部を構成し、ＣＤＳ／ＡＧＣ／ＡＤ部３４、デジタル信号処理３５およびメモリ３６は信号処理部を構成し、通信Ｉ／Ｆ３７は通信部を構成している。なお、本実施の形態において、メモリ３６を除く、ＴＧ／ＳＳＧ部３３、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部３４、デジタル信号処理部３５、通信Ｉ／Ｆ３７およびＣＰＵ３８は、ＭＰＵ３９により構成されている。また、基板２１には、必要に応じて、各部に所要の電源を供給する電源回路が搭載される。
【００３１】
本実施の形態のカメラユニット３１で用いる自由曲面プリズム４〜６は、同一形状で、屈折率が１．３１より大きい同一媒質にて構成されており、いずれの光学面もＹ−Ｚ面を唯一の対称面とする自由曲面からなり、光束にパワーを与え、かつ、偏心により発生する収差を補正する回転非対称な面形状を有するように構成され、かつ、３面の中の第１面、第３面が回転非対称面になっている。ここで、Ｙ−Ｚ面とは、図６に示したような面（図６では、全ての自由曲面プリズム４〜６の向きを同じにして表示してある）であり、自由曲面プリズム４〜６を用いることにより、魚眼レンズを用いることなく、広画角で、高精細な撮像が可能となる。なお、図６において、符号ｌ１は軸上主光線を示し、符号Ｏは絞り中心を示す。
【００３２】
また、自由曲面プリズム４〜６において、被写体からの光は、第１面４ａ〜６ａに入射して、該第１面４ａ〜６ａを透過した後、第２面４ｂ〜６ｂおよび第３面４ｃ〜６ｃで順次内部反射され、さらに第２面４ｂ〜６ｂを透過して撮像素子１５に至る。ここで、第１〜３面の各光学面は、図６のＸ−Ｚ面内およびＹ−Ｚ面内において、表１に示す屈折力を有している。すなわち、第１面４ａ〜６ａは、Ｘ−Ｚ面内では正の屈折力、Ｙ−Ｚ面内では負の屈折力を有し、第２面４ｂ〜６ｂは、Ｘ−Ｚ面内では負の屈折力、Ｙ−Ｚ面内では正の屈折力を有し、さらに、第３面４ｃ〜６ｃは、Ｘ−Ｚ面内およびＹ−Ｚ面内ともに正の屈折力を有する。
【００３３】
【表１】
【００３４】
表１から明らかなように、自由曲面プリズム４〜６は、Ｙ−Ｚ面内では、入射面である第１面４ａ〜６ａから出射面である第２面４ｂ〜６ｂまで、負、正、正、正の屈折力であり、単純化すると、入射側から負、正の屈折力の組合せとなる、いわゆるレトロフォーカスの配置になっている。したがって、バックフォーカスを長くすることが可能となり、撮像素子１５と自由曲面プリズム４〜６との距離を適切に確保することができ、さらにＩＲカットフィルタ、光学的ローパスフィルタ等の光学部材を配置するにも有利となる。
【００３５】
また、Ｘ−Ｚ面内において、第１面４ａ〜６ａおよび第２面４ｂ〜６ｂは、正の屈折力と負の屈折力とによってコマ収差の補正を行っており、第３面４ｃ〜６ｃおよび第２面４ｂ〜６ｂ（この場合出射面）は、正の屈折力と負の屈折力とによって像面をフラットにする作用を持つことになる。
【００３６】
さらに、このような光学面の配置によれば、軸外光線においては第３面４ｃ〜６ｃの正の屈折力で像面に対して内側に傾いた主光線を、第２面４ｂ〜６ｂ（この場合出射面）の負の屈折力によって撮像面に対してほぼ垂直な光線にしてＸ−Ｚ面内における像側テレセントリック条件を満たすことに寄与することになる。
【００３７】
上記のカメラユニット３１においては、自由曲面プリズム４により集束された左側６０°の視野の光像が撮像素子１５の所定の領域に結像し、自由曲面プリズム５を通して集束された右側６０°の視野の光像が撮像素子１５の所定の領域において左側６０°視野の光像に並列に結像され、さらに、前段プリズム７および自由曲面プリズム６を通して集束された前方６０°の視野の光像が撮像素子１５の所定の領域において他の光像に並列に結像される。すなわち、単一の撮像素子１５において３つの視野が並列に結像される。したがって、このカメラユニット３１においては、左側から前方、右側にわたる１８０°の範囲における撮像が可能となる。
【００３８】
図９に示すように、カメラユニット３１は、自由曲面プリズム４、５、６および前段プリズム７から構成される撮像光学系５０と単一の撮像素子１５とを有する。ここで、一般的なカメラに使用される撮像素子は、長方形であり、風景を撮像する場合は、画面の長辺が水平方向、短辺が垂直方向になるように配置して被写体に正対する。これに対し、本実施の形態に係るカメラユニット３１は、撮像素子１５の短辺が被写体の水平方向となるように配置され、図１２に示すように、分割された３画像が撮像素子１５の長辺方向に積み重ねて結像するよう構成されている。
【００３９】
図１１は、カメラユニット３１が１８０°の視野範囲を撮像する場合の被写体のイメージである。この被写体をカメラユニット３１で撮像すると、撮像素子１５上には、図１２に示した部分画像５１ａ、５１ｂ、５１ｃが形成される。なお、図１２に示した部分画像５１ａは、自由曲面プリズム４による左側視野６０°で撮像された画像であり、部分画像５１ｂは、自由曲面プリズム５による右側視野６０°で撮像された画像であり、部分画像５１ｃは、前段プリズム７と自由曲面プリズム６とによる中心視野６０°で撮像された画像である。
【００４０】
以上のように本実施の形態に係るカメラユニット３１によれば、３つの自由曲面プリズム４、５、６を用いて、正面６０°、右６０°、左６０°の方向からの被写体像を単一の撮像素子１５上のそれぞれ所定の領域に結像させるようにしたので、視認性の良好な画像を撮像することができる。これにより、１８０°視野の広画角の画像データを、画像周辺部の補間処理や歪み補正処理等の画像処理を行うことなく、高解像力で得ることができるので、画像処理のコストダウンが図れ、ユーザの利便性を向上することができる。また、正面の視野範囲を撮像するための前段プリズム７が、自由曲面プリズム４、５、６から撮像素子１５の法線方向に突出しないので、カメラユニット３１の薄型化が可能となる。さらに、３つの自由曲面プリズム４、５、６に対応する正面、右および左の部分画像を形成するので、外部制御ユニットにおいて、部分画像毎に画像拡大を含む処理を実行でき、表示モードの変更を容易にできる。
【００４１】
（第２実施の形態）
次に、上述したカメラユニット３１を用いる本発明の第２実施の形態に係るカメラシステムについて、図１３〜図２３を参照して説明する。
【００４２】
図１３は、本実施の形態に係るカメラシステムの構成を示すブロック図である。図１３において、カメラシステムは、複数のカメラユニット３１と、これらカメラユニット３１を制御して画像を表示する外部制御ユニット７１とを有する。各カメラユニット３１および外部制御ユニット７１は、例えばＬＡＮ(Local Area Network)やＩＥＥＥ１３９４(Institute of Electrical and Electronic Engineers 1394)等の無線あるいは有線のネットワーク９１を介して接続される。本実施の形態に係るカメラシステムは、４台のカメラユニット３１をネットワーク９１介して外部制御ユニット７１に接続するものとする。なお、４台のカメラユニットは、車両の運転を支援する車載用の場合は、車両のフロント、リア、左右のドアミラー等に配置され、防犯や防災のための監視用の場合は、異なる場所に設置される。
【００４３】
外部制御ユニット７１は、通信Ｉ／Ｆ７２、画像処理ＭＰＵ７３、メモリ７４、表示制御部７５、表示装置７６、操作入力部７７、および、各部の動作を制御するＣＰＵ７８を備えている。
【００４４】
外部制御ユニット７１は、ネットワーク９１を介して通信Ｉ／Ｆ７２に入力される各カメラユニット３１からの画像データを、操作入力部７７で設定された表示モードに応じて、ＣＰＵ７８の制御のもとに画像処理ＭＰＵ７３によりメモリ７４を用いて画像処理し、その画像処理した画像データを表示制御部７５により表示装置７６に表示する。なお、表示装置７６は、例えば、ＷＶＧＡ（横８００画素×縦４８０画素）の表示サイズを有するものとする。
【００４５】
ここで、図１２に示したように、撮像素子１５の画素数を７５０画素×４８０画素とすると、自由曲面プリズム４、５、６により３分割されて撮像される各視野の部分画像５１ａ〜５１ｃの画素数は、縦２５０画素×横４８０画素となる。
【００４６】
一方、この３分割された部分画像５１ａ〜５１ｃは、左６０°、右６０°、中心６０°の計１８０°の視野の画像である。このため、このまま縦２５０画素×横４８０画素の部分画像を３つ合成して表示装置７６に表示しようとすると、縦方向は問題ないが、横方向は１４４０画素必要となり、ＷＶＧＡのサイズの表示装置７６では３部分画像を合成したパノラマ画像をそのまま表示することができないことになる。
【００４７】
そこで、画像処理ＭＰＵ７３は、操作入力部７７への操作入力に応じて、後述する各種表示方法に応じた画像の縮小、拡大、切り出しなどの処理を実行する。
【００４８】
次に、本実施の形態に係るカメラシステムの動作について説明する。
【００４９】
図１４は、本実施の形態に係るカメラシステムの動作を説明するための機能ブロック図であり、図１５は、その動作を説明するフローチャートである。図１６は、図１４に示した第１のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図であり、図１７は、図１４に示した第２のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図であり、図１８は、図１７に示したパノラマ画像を生成するアドレステーブルの一例を示す図であり、図１９は、図１５に示した表示設定処理を示すフローチャートである。
【００５０】
図１４および図１５に示すように、まず、各カメラユニット３１において、被写体像は、撮像部１０１により取込まれて（ステップＳ７０１）、ＡＤＣ（Ａ／Ｄコンバータ）１０２によりデジタル画像信号に変換される（ステップＳ７０２）。そして、デジタル信号に変換された画像信号は、画像生成部１０３により、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が実行され（ステップＳ７０３）、これにより生成された画像データが、通信Ｉ／Ｆ３７およびネットワーク９１を経て外部制御ユニット７１に転送される（ステップＳ７０４）。なお、カメラユニット３１は、一般のデジタルビデオカメラ等と同様に、露出検出部１０５および露出制御部１０６を備え、撮像素子１５からの輝度情報に基づいて露出検出部１０５で算出された露出値に応じて、露出制御部１０６により撮像部１０１の露出が自動的に制御される。
【００５１】
ここで、図１４のカメラユニット３１において、撮像部１０１は、図１３に示した撮像素子１５および撮像光学系５０を有して構成され、ＡＤＣ１０２はＣＤＳ／ＡＧＣ／ＡＤ部３４により構成され、画像生成部１０３はデジタル信号処理部３５およびメモリ３６を含んで構成され、露出検出部１０５および露出制御部１０６はＴＧ／ＳＳＧ部３３を含んで構成される。
【００５２】
外部制御ユニット７１において、各カメラユニット３１から転送された画像データは、通信Ｉ／Ｆ７２を経て第１のフレームメモリ１１２に格納される（ステップＳ７０５）。この際、第１のフレームメモリ１１２には、各カメラユニット３１において撮像素子１５に結像された画像と同じカラー画像データが格納される。したがって、本実施の形態に係るカメラシステムは、４つのカメラユニット３１を有するので、図１６に示すような画像が４つ格納されることになる。例えば、１台目のカメラユニット３１からの画像が、アドレス（１，１）から（４８０，７５０）までに格納され、２台目のカメラユニット３１からの画像が、アドレス（４８１，１）から（９６０，７５０）までに格納され、３台目のカメラユニット３１からの画像が、アドレス（９６１，１）から（１４４０，７５０）までに格納され、４台目のカメラユニット３１からの画像が、アドレス（１４４１，１）から（１９２０，７５０）までに格納される。
【００５３】
第１のフレームメモリ１１２に格納された各カメラユニット３１の撮像画像データは、読出／書込制御部１１３によって、アドレスメモリ１１４に記憶されたパノラマ画像生成用のアドレス変換テーブルを参照して読み出されて（ステップＳ７０６）、第２のフレームメモリ１１５にパノラマ画像が格納される（ステップＳ７０７）。したがって、本実施の形態に係るカメラシステムは、４つのカメラユニット３１を有するので、図１７に示すようなパノラマ画像が４つ格納されることになる。
【００５４】
ここで、図１６および図１７は、１台目のカメラユニット３１からの画像データを格納する場合を示している。すなわち、１台目のカメラユニット３１からの画像データは、第１のフレームメモリ１１２のアドレス（１，１）から（１，７５０）まで、すなわち図１６の１Ａに対応するアドレス（１，１）から（１，２５０）、１Ｂに対応するアドレス（１，２５１）から（１，５００）、１Ｃに対応するアドレス（１，５０１）から（１，７５０）の順番に読み出された画像データは、それぞれ第２のフレームメモリ１１５のアドレス（２５０，１）から（１，１）に書き込まれ、続いてアドレス（２５０，９６１）から（１，９６１）に書き込まれ、続いてアドレス（２５０，４８１）から（１，４８１）に書き込まれる。
【００５５】
すなわち、図１６の１Ａラインは図１７の１Ａに書き込まれ、図１６の１Ｂラインは図１７の１Ｂラインに書き込まれ、図１６の１ＢＣラインは図１７の１ＢＣラインに書き込まれる。このような処理が、第１のフレームメモリ１１２に格納された撮像画像データ全体に実行される。
【００５６】
この処理により、図１７に示すように、第１のフレームメモリ１１２に格納された画像が、上下および左右反転され、さらにそれら左側視野６０°、中央視野６０°、右側視野６０°の画像が１８０°の視野に対応する１つの画像になるよう配列されて、第２のフレームメモリ１１５にパノラマ画像として格納されることになる。
【００５７】
同様に、２〜４台目のカメラユニット３１からの画像データも、パノラマ画像に変換されて第２のフレームメモリ１１５に格納される。したがって、第２のフレームメモリ１１５には、例えば、アドレス（１，１）から（２５０，１４４０）に、１台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（２５１，１）から（５００，１４４０）に、２台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（５０１，１）から（７５０，１４４０）に、３台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（７５１，１）から（１０００，１４４０）に、４台目のカメラユニット３１によるパノラマ画像が格納されることになる。
【００５８】
その後、表示設定処理のサブルーチンが実行されて（ステップＳ７０８）、表示モードスイッチ１１６による表示モードに応じて表示装置７６に画像が表示される。
【００５９】
本実施の形態に係るカメラシステムは、表示モードとして、４台のカメラユニット３１による４つのパノラマ画像を表示する標準表示モードと、この標準表示モードによる各パノラマ画像を基準にして、選択された２台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大し、残りの部分画像を縮小して表示する混合表示モードと、４台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大して表示する拡大表示モードとを含んでいる。
【００６０】
図２０〜図２３は、表示設定処理において、表示モードスイッチ１１６により設定される表示モードに応じて表示装置７６に表示される画像表示例を示す図で、図２０は標準表示モードによる表示例を示し、図２１および図２２は混合表示モードでの表示例を示し、図２３は拡大表示モードでの表示例を示す。なお、図２０〜図２３において、同一の部分画像については同じ符号を付してある。
【００６１】
図１９に示すように、表示設定処理においては、まず、読出制御部１１７により、表示モードの設定変更を検出する（ステップＳ７１０）。すなわち、表示モードスイッチ１１６で表示モードの切り替えの指示があったか否かを検出する。そして、表示モードの設定変更があれば（ステップＳ７１０：ＹＥＳ）、ステップＳ７１１に進んで、アドレスメモリ１１４に格納された、表示モードに対応するアドレス変換テーブルを選択する。他方、表示モードの設定に変更がなければ（ステップＳ７１０：ＮＯ）、既に選択されているアドレス変換テーブルのままで次のステップＳ７１２に進む。
【００６２】
ステップＳ７１２では、表示モードが標準表示モードか否かを判断する。その結果、標準表示モードの場合（ステップＳ７１２：ＹＥＳの場合）は、図２０に示すように、４台のカメラユニット３１の各パノラマ画像を表示する。この場合、各カメラユニット３１の撮像素子１５の画素数が、７５０×４８０画素とすると、前述したように、各カメラユニット３１で得られる全視野１８０°のパノラマ画像は、横方向の画素数が４８０×３＝１４４０画素、縦方向の画素数が２５０画素となる。このため、表示装置７６の画面の画素数がＷＶＧＡとすると、第２のフレームメモリ１１５に記憶されている４台のカメラユニット３１のパノラマ画像データをそのままのサイズで表示装置７６に同時に表示することはできない。したがって、この場合は、各パノラマ画像を、表示装置７６上で横８００画素×縦１２０画素の領域内に表示できるように縮小する必要がある。
【００６３】
そのため、ステップＳ７１３において、読出制御部１１７がアドレスメモリ１１４に記載された現在の表示モードに対応するアドレス変換テーブルを選択して、第２のフレームメモリ１１５に格納された各カメラユニット３１によるパノラマ画像から読み出す画素（注目画素）のアドレスを算出する。
【００６４】
ここで、縮小率が整数でない場合、一般に、注目画素の多くはアドレス変換により、非整数のアドレスに写像される。なお、非整数のアドレスとは、画素の中心が非整数のアドレスであることを表わす。その場合、第２のフレームメモリ１１５から注目画素を含む周辺の画素をブロックとして読み出して（ステップＳ７１４）、読出制御部１１７により、読み出されたブロック内の各画素のアドレスと縮小率とにより写像先のアドレスを算出して、書き込み先のアドレスを決定する（ステップＳ７１５）。
【００６５】
続いて、補間部１１８により、ブロック読み出しされた画素の画素値と写像先の非整数のアドレスとに基づいて、ステップＳ７１５で決定された表示装置７６のアドレスに位置する画素の画素値を、補間処理により算出する（ステップＳ７１６）。この場合の補間方法としては、バイリニア補間やバイキュービック補間などの公知の方法を使用することができる。
【００６６】
ステップＳ７１６の補間処理により算出された画素値は、図示しない書込制御部により第３のフレームメモリ１１９の設定されたアドレスに格納される（ステップＳ７１７）。
【００６７】
その後、標準表示モードに応じた第３のフレームメモリ１１９の全画素の書き込みが完了したか否か、すなわち、４台のカメラユニット３１のパノラマ画像データの縮小処理が完了したか否かが判断される（ステップＳ７１８）。その結果、完了していなければ（ステップＳ７１８：ＮＯ）、ステップＳ７１３に移行し、完了していれば（ステップＳ７１８：ＹＥＳ）、表示制御部７５により第３のフレームメモリ１１９に格納された画像データが表示装置７６に伝送されて表示画像の更新処理が行われる（ステップＳ７１９）。これにより、図２０に示したように、各カメラユニット３１による１８０°視野のパノラマ画面が表示装置７６に縮小されて表示される。
【００６８】
これに対し、ステップＳ７１２において、表示モードが標準表示モードでない場合（ＮＯの場合）は、表示モードに応じて、混合表示モードでは、図２１および図２２に示すように、選択された２台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大し、残りの部分画像を縮小して表示し、拡大表示モードでは、図２３に示すように、４台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大して表示する。
【００６９】
なお、図２１は、選択された２台のカメラユニット３１のそれぞれ中央の部分画像Ｂ，Ｅを拡大表示し、残りの部分画像Ａ，Ｃ，Ｄ，Ｆを縮小表示した場合を示し、図２２は、選択された２台のカメラユニット３１のうち、一方のカメラユニット３１については、左側の部分画像Ａを拡大表示して、残りの部分画像Ｂ，Ｃは縮小表示し、他方のカメラユニット３１については、右側の部分画像Ｆを拡大表示して、残りの部分画像Ｄ，Ｅは縮小表示した場合を示している。また、図２３は、４台のカメラユニット３１のそれぞれ中央の部分画像Ｂ，Ｅ，Ｈ，Ｋを選択して拡大表示した場合を示している。
【００７０】
すなわち、部分画像の拡大表示を含む混合表示モードや拡大表示モードの場合は、ステップＳ７２０において、読出制御部１１７がアドレスメモリ１１４に記載された現在の表示モードに対応するアドレス変換テーブルを選択して、第２のフレームメモリ１１５に格納された各カメラユニット３１によるパノラマ画像から、拡大表示する部分画像中から読み出す注目画素のアドレスを算出する。なお、縮小表示を伴う混合表示モードの場合は、その縮小表示する部分画像中から読み出す注目画素のアドレスも算出する。
【００７１】
ここで、拡大率が整数でない場合は、第２のフレームメモリ１１５から注目画素を含む周辺の画素をブロックとして読み出して（ステップＳ７２１）、読出制御部１１７により、読み出されたブロック内の各画素のアドレスと拡大率とにより写像先のアドレスを算出して、書き込み先のアドレスを決定する（ステップＳ７２２）。続いて、補間部１１８により、ブロック読み出しされた画素の画素値と写像先の非整数のアドレスとに基づいて、ステップＳ７２１で決定された表示装置７６のアドレスに位置する画素の画素値を、バイリニア補間やバイキュービック補間などの公知の補間処理により算出する（ステップＳ７２３）。
【００７２】
ステップＳ７２３の補間処理により算出された画素値は、図示しない書込制御部により第３のフレームメモリ１１９の設定されたアドレスに格納される（ステップＳ７２４）。同様に、縮小表示を伴う混合表示モードの場合は、その縮小表示する部分画像が、ステップＳ７１３からステップＳ７１７で説明したと同様にして縮小されて、第３のフレームメモリ１１９の設定されたアドレスに格納される。
【００７３】
その後、表示モードに応じた第３のフレームメモリ１１９の全画素の書き込みが完了したか否か、すなわち拡大された部分画像、あるいは拡大された部分画像および縮小された部分画像が第２の動画像に合成されたか否かが判断される（ステップＳ７２５）。その結果、第２の動画像の合成が完了していなければ（ステップＳ７２５：ＮＯ）、ステップＳ７２０に移行し、完了していれば（ステップＳ７２５：ＹＥＳ）、表示制御部７５により第３のフレームメモリ１１９に格納された画像データが表示装置７６に伝送されて表示画像の更新処理が行われて、図２１〜図２３に示したような表示モードに応じた画像が表示装置７６に表示される。
【００７４】
ここで、混合表示モードの場合は、図２１および図２２に示したように、表示装置７６の画面を上下に２分割する。例えば、表示装置７６の画面の画素数がＷＶＧＡとすると、横８００画素×縦２４０画素の領域に２分割し、その各分割された領域に、選択されたパノラマ画像の選択された一つの部分画像を拡大して表示し、残りの２つの部分画像は縮小して表示する。また、拡大表示モードの場合は、図２３に示すように、表示装置７６の画面を上下左右に４分割する。例えば、表示装置７６の画面の画素数がＷＶＧＡとすると、横４００画素×縦２４０画素の領域に４分割し、その各分割された領域に、各パノラマ画像の選択された一つの部分画像を拡大して表示する。
【００７５】
なお、図１４の外部制御ユニット７１において、第１のフレームメモリ１１２、第２のフレームメモリ１１５、第３のフレームメモリ１１９、およびアドレスメモリ１１４は、図１３のメモリ７４により構成され、読出／書込制御部１１３、読出制御部１１７、および補間部１１８は、図１３の画像処理ＭＰＵ７３およびＣＰＵ７８により構成され、表示モードスイッチ１１６は、図１３の操作入力部７７により構成される。
【００７６】
以上のように本実施の形態に係るカメラシステムによれば、各カメラユニット３１から得られる視認性の良好な部分画像を、操作入力部７７から入力される表示モードに応じて表示装置７６に表示することができる。また、各カメラユニット３１が、第１実施の形態で説明したような作用効果を奏することから、システム全体を安価に構成することが可能となり、種々の用途に容易に適用することができる。
【００７７】
なお、本発明は、上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変形または変更が可能である。例えば、カメラユニット３１による撮像可能な視野の範囲は、使用する自由曲面プリズム４、５、６の形状や材料、組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６の視野が６０°の範囲に限定されるものではない。
【００７８】
また、カメラユニット３１の撮像光学系は、一方向の視野を結像する１個の自由曲面プリズム（前方視野の場合は、前段プリズム７と自由曲面プリズム６との組み合わせ）、あるいは任意の２方向の視野を結像する２個の自由曲面プリズムで構成することもできる。また、撮像光学系は、前方視野を、左右の前段プリズムを経てそれぞれ自由曲面プリズムで結像させるようにして、視差を有するステレオ画像を得るように構成したり、このステレオ画像を得る光学系に、左方の視野および／または右方の視野を結像する自由曲面プリズムを付加して構成したり、することもできる。
【００７９】
また、３６０°の視野を撮像することを可能にするために、上述した構成のカメラユニット３１を２組み背面合わせとした構成を採用することはもちろん、上下に組み込んだ構成を採用することもできる。さらに、複数の自由曲面プリズムを用いる場合は、拡大率の異なる自由曲面プリズムを組み合わせることもできる。
【００８０】
さらに、カメラシステムは、１台のカメラユニット３１と外部制御ユニット７１とで構成することもできるし、４台以外の複数台のカメラユニット３１と１台の外部制御ユニット７１とで構成することもできる。また、カメラユニット３１および外部制御ユニット７１は、ネットワーク接続に限らず、有線や無線を介して直接接続することもできる。さらに、表示モードについても、一つのパノラマ画像について、二つの部分画像を拡大し、残りの部分画像を縮小して同時に表示したり、二つの部分画像のみを拡大して表示したり、種々の表示モードが可能である。
【００８１】
また、本発明に係るカメラシステムは、外部制御ユニット７１を、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムで実現することもできる。すなわち、前述した外部制御ユニット７１の機能を実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８２】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が外部制御ユニット７１の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。ここで、プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【００８３】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した外部制御ユニット７１の機能を実現するように構成することもできるし、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した外部制御ユニット７１の機能を実現するように構成することもできる。
【００８４】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した外部制御ユニット７１の機能を実現することもできる。
【符号の説明】
【００８５】
１ フレーム
２ ホルダ
３ カバー体
４、５、６ 自由曲面プリズム
４ａ，５ａ，６ａ 第１面
４ｂ，５ｂ，６ｂ 第２面
４ｃ，５ｃ，６ｃ 第３面
７ 前段プリズム
１５ 撮像素子
３１ カメラユニット
３３ ＴＧ／ＳＳＧ部
３４ ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
３５ デジタル信号処理部
３６ メモリ
３７ 通信Ｉ／Ｆ
３８ ＣＰＵ
３９ ＭＰＵ
５０ 撮像光学系
５１ａ、５１ｂ、５１ｃ 部分画像
７１ 外部制御ユニット
７２ 通信Ｉ／Ｆ
７３ 画像処理ＭＰＵ
７４ メモリ
７５ 表示制御部
７６ 表示装置
７７ 操作入力部
【技術分野】
【０００１】
本発明は、カメラユニットおよびこれを用いるカメラシステムに関するものである。
【背景技術】
【０００２】
近年、カメラユニットとして、車両の運転を支援するための車載用カメラユニット、防犯や防災のための監視用カメラユニット、携帯型電子情報端末に搭載するための端末用カメラユニットなど、種々のカメラユニットが提案されている。このようなカメラユニットとして、小型化を図るために、例えば、撮像素子を搭載した基板に、撮像素子駆動部、画像処理部、ＣＰＵ、メモリ等の周辺回路を搭載したもの（例えば、特許文献１参照）や、撮像素子を搭載した基板にレンズユニットを搭載したもの（例えば、特許文献２参照）が知られている。
【０００３】
また、広視野の画像を撮像するため、撮像レンズの前方にプリズムを配置し、このプリズムより入射された複数の視野からの光を結像レンズにより単一の撮像素子に分割して結像させることによって、複数の視野の画像を同時に撮像するようにしたカメラユニットも知られている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５４０９７号公報
【特許文献２】特開２００８−３０６３５０号公報
【特許文献３】特開２０００−８９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１，２に開示のカメラユニットにおいて、例えば、撮像レンズとして、画角が１２０°程度の通常のレンズ、あるいは、画角が２００°程度の魚眼レンズを用いると、撮像素子に結像される画像の周辺部が歪み、視認性が低下することが懸念される。また、視認性を向上させようとすると、撮像素子から得られる画像データに対して、周辺部の画像データの補間処理や歪み補正処理等を行う画像処理ソフトウェアが必要となり、その分、コストアップを招くことになって、ユーザの利便性が低下することになる。
【０００６】
また、特許文献３に開示のカメラユニットにおいては、撮像レンズの前方にプリズムを配置することから、撮像素子の受光面から前方に突出する寸法が長くなって、カメラユニットが厚型化することが懸念される。
【０００７】
したがって、かかる点に鑑みてなされた本発明の目的は、広視野の撮像にも容易に対処できて視認性の良好な画像を撮像でき、しかも、薄型化およびコストダウンが図れてユーザの利便性を向上できるカメラユニットおよびこれを用いたカメラシステムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する第１の観点に係るカメラユニットの発明は、
被写体像を結像する自由曲面プリズムを有する撮像光学系と、
前記撮像光学系により結像される前記被写体像を光電変換する撮像素子と、
前記撮像素子を駆動する撮像素子駆動部と、
前記撮像素子からの光電変換信号を処理して画像信号を出力する信号処理部と、
外部制御ユニットと通信を行う通信部と、
前記撮像素子駆動部および前記信号処理部の動作を制御して、前記信号処理部から出力される画像信号を前記通信部から前記外部制御ユニットに送信する制御部と、
を備えることを特徴とするものである。
【０００９】
第２の観点に係る発明は、第１の観点に係るカメラユニットにおいて、
前記撮像光学系は、３つの自由曲面プリズムを有し、前記３つの自由曲面プリズムにより、正面６０°、右６０°、左６０°の範囲の被写体像を、前記撮像素子上のそれぞれ分離された所定の領域に結像させるように構成したことを特徴とするものである。
【００１０】
第３の観点に係る発明は、第１または２の観点に係るカメラユニットにおいて、
前記自由曲面プリズムは、入射面側に楕円形状の固定絞りが配置され、Ｙ−Ｚ面内において、前記入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することを特徴とするものである。
【００１１】
さらに、上記目的を達成する第４の観点に係るカメラシステムの発明は、
第１〜３の観点のいずれか一つの観点に係るカメラユニットと、
前記カメラユニットと接続される外部制御ユニットとを有し、
前記外部制御ユニットは、
前記カメラユニットと通信を行う通信部と、
前記通信部が受信した前記カメラユニットからの画像信号を処理する画像処理部と、
前記画像処理部で画像処理された画像信号による画像を表示する画像表示部と、
前記通信部を介して前記カメラユニットの動作を制御するとともに、前記画像処理部および前記画像表示部の動作を制御する制御部と、
を備えることを特徴とするものである。
【００１２】
第５の観点に係る発明は、第４の観点に係るカメラシステムにおいて、
前記外部制御ユニットには前記カメラユニットが複数台接続されており、
前記外部制御ユニットは、
前記画像表示部への画像の表示モードを入力する操作入力部をさらに有し、
前記制御部は、前記操作入力部から入力された表示モードに応じて、前記複数台のカメラユニットからの画像信号を前記画像処理部で画像処理して前記画像表示部に表示することを特徴とするものである。
【発明の効果】
【００１３】
本発明に係るカメラユニットによると、自由曲面プリズムを用いて被写体像を撮像素子上に結像させるので、複数の自由曲面プリズムを用いることにより、広視野の撮像にも容易に対処できて視認性の良好な画像を撮像することが可能となる。したがって、画像周辺部の補間処理や歪み補正処理等の画像処理が不要となり、コストダウンが図れ、ユーザの利便性を向上することができる。また、自由曲面プリズムを用いることから、撮像素子の法線方向の寸法を小さくできて、カメラユニットの薄型化が可能となる。
【００１４】
本発明に係るカメラシステムによると、カメラユニットが上記の効果を奏することから、車両の運転支援、防犯や防災等の種々の用途に容易に適用することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施の形態に係るカメラユニットをそれぞれ異なる方向から見た外観斜視図である。
【図２】図１に示したカメラユニットの分解斜視図である。
【図３】図２に示したフレームの外観図である。
【図４】図２に示したフレームに自由曲面プリズムを組み入れた状態を示す外観斜視図である。
【図５】図１のＡ−Ａ線断面図である。
【図６】図１に示したカメラユニットで使用する自由曲面プリズムのＹ−Ｚ面を示した図である。
【図７】図１に示したカメラユニットで使用する自由曲面プリズムの外形を表す斜視図である。
【図８】図１に示したカメラユニットで使用する前段プリズムの外形を表す斜視図である。
【図９】図１に示したカメラユニットの機能の概要を説明するための図である。
【図１０】図１に示したカメラユニットの基板に搭載された撮像素子およびその周辺回路の構成を示す機能ブロック図である。
【図１１】図１に示したカメラユニットによる被写体の撮像範囲例を示す図である。
【図１２】図１１に示した被写体を撮像したときに撮像素子上に結像される３つの部分画像の位置関係と画像サイズとを説明するための図である。
【図１３】本発明の第２実施の形態に係るカメラシステムの構成を示すブロック図である。
【図１４】図１３に示したカメラシステムの動作を説明するための機能ブロック図である。
【図１５】図１３に示したカメラシステムの動作を説明するフローチャートである。
【図１６】図１４に示した第１のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図である。
【図１７】図１４に示した第２のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図である。
【図１８】図１７に示したパノラマ画像を生成するアドレステーブルの一例を示す図である。
【図１９】図１５に示した表示設定処理を示すフローチャートである。
【図２０】図１３に示したカメラシステムによる標準表示モードでの表示例を示す図である。
【図２１】図１３に示したカメラシステムによる混合表示モードでの表示例を示す図である。
【図２２】図１３に示したカメラシステムによる混合表示モードでの他の表示例を示す図である。
【図２３】図１３に示したカメラシステムによる拡大表示モードでの表示例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図を参照して説明する。
【００１７】
（第１実施の形態）
まず、本発明の第１実施の形態に係るカメラユニットについて、図１〜図１２を参照して説明する。
【００１８】
図１〜図５に示すように、カメラユニット３１は、フレーム１、ホルダ２およびカバー体３を有している。フレーム１には、長手方向の中央部分に天面１ａから底面１ｂに向けて貫通孔ｈが形成されており、天面１ａ、底面１ｂの両側に位置する傾斜側面１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ3が設けられている。そして、該区画凹所ｅ1〜ｅ3の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ6（ｔ１、ｔ２で１組、ｔ３、ｔ４で１組、ｔ５、ｔ６で１組）が形成されている（図３、図５参照）。
【００１９】
ホルダ２は、フレーム１を載置するとともに、後述するように、撮像素子１５およびその周辺回路を搭載した基板を保持するためのものである。また、カバー体３は、ホルダ２に合わさって３つの自由曲面プリズム４、５、６をフレーム１とともに内側に収納するためのものである。
【００２０】
カバー体３には、自由曲面プリズム４、５、６の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、また窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６の性能（撮像できる視野の範囲）や楕円形状の固定絞り１２〜１４に応じて設定される（図６参照）。
【００２１】
自由曲面プリズム４は、例えば、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1（６０°）の範囲で撮像を可能とするものである（図４、図９参照）。この自由曲面プリズム４は、図６並びに図７（Ａ），（Ｂ）に示すように、光の透過作用を有する第１面（入射面）４ａ、光の内部反射と透過作用を有する第２面（出射面であり貫通孔ｈの底面壁１ｂの出側に位置する）４ｂおよび光の反射作用を有する第３面４ｃの３つの光学面を有し、そのうちの第２面４ｂ、第３面４ｃがレンズ機能を兼ね備えており、該第２面４ｂの両側の端部にはフレーム１の座部ｔ５およびｔ６に適合して簡単かつ正確に位置決め配置することができる段差ｋ１、ｋ２が形成されている（図３、図６）。
【００２２】
自由曲面プリズム５は、自由曲面プリズム４と同様の外観形状を有する（図２、図７参照）。この自由曲面プリズム５は、入射面である第１面５ａを自由曲面プリズム４とは逆方向を向くように、自由曲面プリズム４に対して、図６の撮像素子１５の撮像面の軸の回りに１８０°回転させて貫通孔ｈに並列に配置されるものであり、例えば、右側の視野を真横から前方に向かって角度θ2（６０°）の範囲で撮像することが可能になっている。
【００２３】
また、自由曲面プリズム６は、自由曲面プリズム４、自由曲面プリズム５と同様の構成からなる（図２、図７参照）。この自由曲面プリズム６は、自由曲面プリズム４と同じ向きに並列して貫通孔ｈに配置され（図４参照）、その第１面６ａの入側には、図８（Ａ），（Ｂ）に示すような三角柱状あるいは台形状等からなる前段プリズム７が配置されている（図５参照）。
【００２４】
図５に示すように、前段プリズム７より入射された光は、自由曲面プリズム６を経て撮像素子１５上に結像される。すなわち、自由曲面プリズム６は、真正面を基準に右側、左側へそれぞれ３０°、合計で角度θ3（６０°）の範囲における視野（前方視野）の撮像を可能としている（図９参照）。なお、この前段プリズム７は、撮像しようとする視野の光をより多く取り入れるため自由曲面プリズム６の厚さＷよりも厚い厚Ｗ１を有している（図７（Ａ），図８（Ａ）参照）。
【００２５】
撮像素子１５は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge Coupled Devices)からなり、フレキシブルプリント配線基板または硬質プリント配線基板からなる基板１７に接続されている。この撮像素子１５には、その背面にシリコンシート等の絶縁部材および基板１７に形成された開口を通して放熱板１８が設けられおり、前面には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するように配置されている。基板１７は、周辺回路を搭載した基板２１に接続される。
【００２６】
基板２１は、フレキシブルプリント配線基板または硬質プリント配線基板からなり、基板１７とはフレキシブルプリント配線基板を介して接続される。したがって、基板１７および基板２１は、一体のフレキシブルプリント配線基板からなる場合と、いずれか一方がフレキシブルプリント配線基板からなる場合と、双方が硬質プリント配線基板からなり、両者がフレキシブルプリント配線基板を介して接続される場合とがある。
【００２７】
基板２１には、図１０に詳細に示すように、周辺回路として、ＴＧ／ＳＳＧ部３３、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部３４、デジタル信号処理部３５、メモリ３６、通信Ｉ／Ｆ３７、および、各部の動作を制御するＣＰＵ３８が搭載されている。
【００２８】
撮像素子１５は、ＴＧ／ＳＳＧ部３３からの撮像タイミングパルスに基づいて動画を撮像し、その画像信号をＣＤＳ／ＡＧＣ／ＡＤ部３４に出力する。ＣＤＳ／ＡＧＣ／ＡＤ部３４は、撮像素子１５からの画像信号を相関二重サンプリングし、信号量に応じて利得を調整し、Ａ／Ｄ変換して、デジタル信号処理３５に出力する。そして、デジタル信号処理３５では、入力したデジタル画像信号に対して、メモリ３６を使用して、カラー信号補間、カラー補正、ホワイトバランスなどの処理を行って撮像画像データとして、通信Ｉ／Ｆ３７からネットワークを介して外部制御ユニットに出力する。
【００２９】
ＣＰＵ３８は、外部制御ユニットからの露出設定や利得調整などのコマンドに従って、当該カメラユニット３１の各部の動作を制御する。なお、撮像画像のホワイトバランスや露出補正などの設定については、一般的なデジタルビデオカメラと同等であるので、詳細は省略する。
【００３０】
したがって、ＴＧ／ＳＳＧ部３３は撮像素子駆動部を構成し、ＣＤＳ／ＡＧＣ／ＡＤ部３４、デジタル信号処理３５およびメモリ３６は信号処理部を構成し、通信Ｉ／Ｆ３７は通信部を構成している。なお、本実施の形態において、メモリ３６を除く、ＴＧ／ＳＳＧ部３３、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部３４、デジタル信号処理部３５、通信Ｉ／Ｆ３７およびＣＰＵ３８は、ＭＰＵ３９により構成されている。また、基板２１には、必要に応じて、各部に所要の電源を供給する電源回路が搭載される。
【００３１】
本実施の形態のカメラユニット３１で用いる自由曲面プリズム４〜６は、同一形状で、屈折率が１．３１より大きい同一媒質にて構成されており、いずれの光学面もＹ−Ｚ面を唯一の対称面とする自由曲面からなり、光束にパワーを与え、かつ、偏心により発生する収差を補正する回転非対称な面形状を有するように構成され、かつ、３面の中の第１面、第３面が回転非対称面になっている。ここで、Ｙ−Ｚ面とは、図６に示したような面（図６では、全ての自由曲面プリズム４〜６の向きを同じにして表示してある）であり、自由曲面プリズム４〜６を用いることにより、魚眼レンズを用いることなく、広画角で、高精細な撮像が可能となる。なお、図６において、符号ｌ１は軸上主光線を示し、符号Ｏは絞り中心を示す。
【００３２】
また、自由曲面プリズム４〜６において、被写体からの光は、第１面４ａ〜６ａに入射して、該第１面４ａ〜６ａを透過した後、第２面４ｂ〜６ｂおよび第３面４ｃ〜６ｃで順次内部反射され、さらに第２面４ｂ〜６ｂを透過して撮像素子１５に至る。ここで、第１〜３面の各光学面は、図６のＸ−Ｚ面内およびＹ−Ｚ面内において、表１に示す屈折力を有している。すなわち、第１面４ａ〜６ａは、Ｘ−Ｚ面内では正の屈折力、Ｙ−Ｚ面内では負の屈折力を有し、第２面４ｂ〜６ｂは、Ｘ−Ｚ面内では負の屈折力、Ｙ−Ｚ面内では正の屈折力を有し、さらに、第３面４ｃ〜６ｃは、Ｘ−Ｚ面内およびＹ−Ｚ面内ともに正の屈折力を有する。
【００３３】
【表１】
【００３４】
表１から明らかなように、自由曲面プリズム４〜６は、Ｙ−Ｚ面内では、入射面である第１面４ａ〜６ａから出射面である第２面４ｂ〜６ｂまで、負、正、正、正の屈折力であり、単純化すると、入射側から負、正の屈折力の組合せとなる、いわゆるレトロフォーカスの配置になっている。したがって、バックフォーカスを長くすることが可能となり、撮像素子１５と自由曲面プリズム４〜６との距離を適切に確保することができ、さらにＩＲカットフィルタ、光学的ローパスフィルタ等の光学部材を配置するにも有利となる。
【００３５】
また、Ｘ−Ｚ面内において、第１面４ａ〜６ａおよび第２面４ｂ〜６ｂは、正の屈折力と負の屈折力とによってコマ収差の補正を行っており、第３面４ｃ〜６ｃおよび第２面４ｂ〜６ｂ（この場合出射面）は、正の屈折力と負の屈折力とによって像面をフラットにする作用を持つことになる。
【００３６】
さらに、このような光学面の配置によれば、軸外光線においては第３面４ｃ〜６ｃの正の屈折力で像面に対して内側に傾いた主光線を、第２面４ｂ〜６ｂ（この場合出射面）の負の屈折力によって撮像面に対してほぼ垂直な光線にしてＸ−Ｚ面内における像側テレセントリック条件を満たすことに寄与することになる。
【００３７】
上記のカメラユニット３１においては、自由曲面プリズム４により集束された左側６０°の視野の光像が撮像素子１５の所定の領域に結像し、自由曲面プリズム５を通して集束された右側６０°の視野の光像が撮像素子１５の所定の領域において左側６０°視野の光像に並列に結像され、さらに、前段プリズム７および自由曲面プリズム６を通して集束された前方６０°の視野の光像が撮像素子１５の所定の領域において他の光像に並列に結像される。すなわち、単一の撮像素子１５において３つの視野が並列に結像される。したがって、このカメラユニット３１においては、左側から前方、右側にわたる１８０°の範囲における撮像が可能となる。
【００３８】
図９に示すように、カメラユニット３１は、自由曲面プリズム４、５、６および前段プリズム７から構成される撮像光学系５０と単一の撮像素子１５とを有する。ここで、一般的なカメラに使用される撮像素子は、長方形であり、風景を撮像する場合は、画面の長辺が水平方向、短辺が垂直方向になるように配置して被写体に正対する。これに対し、本実施の形態に係るカメラユニット３１は、撮像素子１５の短辺が被写体の水平方向となるように配置され、図１２に示すように、分割された３画像が撮像素子１５の長辺方向に積み重ねて結像するよう構成されている。
【００３９】
図１１は、カメラユニット３１が１８０°の視野範囲を撮像する場合の被写体のイメージである。この被写体をカメラユニット３１で撮像すると、撮像素子１５上には、図１２に示した部分画像５１ａ、５１ｂ、５１ｃが形成される。なお、図１２に示した部分画像５１ａは、自由曲面プリズム４による左側視野６０°で撮像された画像であり、部分画像５１ｂは、自由曲面プリズム５による右側視野６０°で撮像された画像であり、部分画像５１ｃは、前段プリズム７と自由曲面プリズム６とによる中心視野６０°で撮像された画像である。
【００４０】
以上のように本実施の形態に係るカメラユニット３１によれば、３つの自由曲面プリズム４、５、６を用いて、正面６０°、右６０°、左６０°の方向からの被写体像を単一の撮像素子１５上のそれぞれ所定の領域に結像させるようにしたので、視認性の良好な画像を撮像することができる。これにより、１８０°視野の広画角の画像データを、画像周辺部の補間処理や歪み補正処理等の画像処理を行うことなく、高解像力で得ることができるので、画像処理のコストダウンが図れ、ユーザの利便性を向上することができる。また、正面の視野範囲を撮像するための前段プリズム７が、自由曲面プリズム４、５、６から撮像素子１５の法線方向に突出しないので、カメラユニット３１の薄型化が可能となる。さらに、３つの自由曲面プリズム４、５、６に対応する正面、右および左の部分画像を形成するので、外部制御ユニットにおいて、部分画像毎に画像拡大を含む処理を実行でき、表示モードの変更を容易にできる。
【００４１】
（第２実施の形態）
次に、上述したカメラユニット３１を用いる本発明の第２実施の形態に係るカメラシステムについて、図１３〜図２３を参照して説明する。
【００４２】
図１３は、本実施の形態に係るカメラシステムの構成を示すブロック図である。図１３において、カメラシステムは、複数のカメラユニット３１と、これらカメラユニット３１を制御して画像を表示する外部制御ユニット７１とを有する。各カメラユニット３１および外部制御ユニット７１は、例えばＬＡＮ(Local Area Network)やＩＥＥＥ１３９４(Institute of Electrical and Electronic Engineers 1394)等の無線あるいは有線のネットワーク９１を介して接続される。本実施の形態に係るカメラシステムは、４台のカメラユニット３１をネットワーク９１介して外部制御ユニット７１に接続するものとする。なお、４台のカメラユニットは、車両の運転を支援する車載用の場合は、車両のフロント、リア、左右のドアミラー等に配置され、防犯や防災のための監視用の場合は、異なる場所に設置される。
【００４３】
外部制御ユニット７１は、通信Ｉ／Ｆ７２、画像処理ＭＰＵ７３、メモリ７４、表示制御部７５、表示装置７６、操作入力部７７、および、各部の動作を制御するＣＰＵ７８を備えている。
【００４４】
外部制御ユニット７１は、ネットワーク９１を介して通信Ｉ／Ｆ７２に入力される各カメラユニット３１からの画像データを、操作入力部７７で設定された表示モードに応じて、ＣＰＵ７８の制御のもとに画像処理ＭＰＵ７３によりメモリ７４を用いて画像処理し、その画像処理した画像データを表示制御部７５により表示装置７６に表示する。なお、表示装置７６は、例えば、ＷＶＧＡ（横８００画素×縦４８０画素）の表示サイズを有するものとする。
【００４５】
ここで、図１２に示したように、撮像素子１５の画素数を７５０画素×４８０画素とすると、自由曲面プリズム４、５、６により３分割されて撮像される各視野の部分画像５１ａ〜５１ｃの画素数は、縦２５０画素×横４８０画素となる。
【００４６】
一方、この３分割された部分画像５１ａ〜５１ｃは、左６０°、右６０°、中心６０°の計１８０°の視野の画像である。このため、このまま縦２５０画素×横４８０画素の部分画像を３つ合成して表示装置７６に表示しようとすると、縦方向は問題ないが、横方向は１４４０画素必要となり、ＷＶＧＡのサイズの表示装置７６では３部分画像を合成したパノラマ画像をそのまま表示することができないことになる。
【００４７】
そこで、画像処理ＭＰＵ７３は、操作入力部７７への操作入力に応じて、後述する各種表示方法に応じた画像の縮小、拡大、切り出しなどの処理を実行する。
【００４８】
次に、本実施の形態に係るカメラシステムの動作について説明する。
【００４９】
図１４は、本実施の形態に係るカメラシステムの動作を説明するための機能ブロック図であり、図１５は、その動作を説明するフローチャートである。図１６は、図１４に示した第１のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図であり、図１７は、図１４に示した第２のフレームメモリへの１台目のカメラユニットからの画像データの格納状態を説明するための図であり、図１８は、図１７に示したパノラマ画像を生成するアドレステーブルの一例を示す図であり、図１９は、図１５に示した表示設定処理を示すフローチャートである。
【００５０】
図１４および図１５に示すように、まず、各カメラユニット３１において、被写体像は、撮像部１０１により取込まれて（ステップＳ７０１）、ＡＤＣ（Ａ／Ｄコンバータ）１０２によりデジタル画像信号に変換される（ステップＳ７０２）。そして、デジタル信号に変換された画像信号は、画像生成部１０３により、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が実行され（ステップＳ７０３）、これにより生成された画像データが、通信Ｉ／Ｆ３７およびネットワーク９１を経て外部制御ユニット７１に転送される（ステップＳ７０４）。なお、カメラユニット３１は、一般のデジタルビデオカメラ等と同様に、露出検出部１０５および露出制御部１０６を備え、撮像素子１５からの輝度情報に基づいて露出検出部１０５で算出された露出値に応じて、露出制御部１０６により撮像部１０１の露出が自動的に制御される。
【００５１】
ここで、図１４のカメラユニット３１において、撮像部１０１は、図１３に示した撮像素子１５および撮像光学系５０を有して構成され、ＡＤＣ１０２はＣＤＳ／ＡＧＣ／ＡＤ部３４により構成され、画像生成部１０３はデジタル信号処理部３５およびメモリ３６を含んで構成され、露出検出部１０５および露出制御部１０６はＴＧ／ＳＳＧ部３３を含んで構成される。
【００５２】
外部制御ユニット７１において、各カメラユニット３１から転送された画像データは、通信Ｉ／Ｆ７２を経て第１のフレームメモリ１１２に格納される（ステップＳ７０５）。この際、第１のフレームメモリ１１２には、各カメラユニット３１において撮像素子１５に結像された画像と同じカラー画像データが格納される。したがって、本実施の形態に係るカメラシステムは、４つのカメラユニット３１を有するので、図１６に示すような画像が４つ格納されることになる。例えば、１台目のカメラユニット３１からの画像が、アドレス（１，１）から（４８０，７５０）までに格納され、２台目のカメラユニット３１からの画像が、アドレス（４８１，１）から（９６０，７５０）までに格納され、３台目のカメラユニット３１からの画像が、アドレス（９６１，１）から（１４４０，７５０）までに格納され、４台目のカメラユニット３１からの画像が、アドレス（１４４１，１）から（１９２０，７５０）までに格納される。
【００５３】
第１のフレームメモリ１１２に格納された各カメラユニット３１の撮像画像データは、読出／書込制御部１１３によって、アドレスメモリ１１４に記憶されたパノラマ画像生成用のアドレス変換テーブルを参照して読み出されて（ステップＳ７０６）、第２のフレームメモリ１１５にパノラマ画像が格納される（ステップＳ７０７）。したがって、本実施の形態に係るカメラシステムは、４つのカメラユニット３１を有するので、図１７に示すようなパノラマ画像が４つ格納されることになる。
【００５４】
ここで、図１６および図１７は、１台目のカメラユニット３１からの画像データを格納する場合を示している。すなわち、１台目のカメラユニット３１からの画像データは、第１のフレームメモリ１１２のアドレス（１，１）から（１，７５０）まで、すなわち図１６の１Ａに対応するアドレス（１，１）から（１，２５０）、１Ｂに対応するアドレス（１，２５１）から（１，５００）、１Ｃに対応するアドレス（１，５０１）から（１，７５０）の順番に読み出された画像データは、それぞれ第２のフレームメモリ１１５のアドレス（２５０，１）から（１，１）に書き込まれ、続いてアドレス（２５０，９６１）から（１，９６１）に書き込まれ、続いてアドレス（２５０，４８１）から（１，４８１）に書き込まれる。
【００５５】
すなわち、図１６の１Ａラインは図１７の１Ａに書き込まれ、図１６の１Ｂラインは図１７の１Ｂラインに書き込まれ、図１６の１ＢＣラインは図１７の１ＢＣラインに書き込まれる。このような処理が、第１のフレームメモリ１１２に格納された撮像画像データ全体に実行される。
【００５６】
この処理により、図１７に示すように、第１のフレームメモリ１１２に格納された画像が、上下および左右反転され、さらにそれら左側視野６０°、中央視野６０°、右側視野６０°の画像が１８０°の視野に対応する１つの画像になるよう配列されて、第２のフレームメモリ１１５にパノラマ画像として格納されることになる。
【００５７】
同様に、２〜４台目のカメラユニット３１からの画像データも、パノラマ画像に変換されて第２のフレームメモリ１１５に格納される。したがって、第２のフレームメモリ１１５には、例えば、アドレス（１，１）から（２５０，１４４０）に、１台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（２５１，１）から（５００，１４４０）に、２台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（５０１，１）から（７５０，１４４０）に、３台目のカメラユニット３１によるパノラマ画像が格納され、アドレス（７５１，１）から（１０００，１４４０）に、４台目のカメラユニット３１によるパノラマ画像が格納されることになる。
【００５８】
その後、表示設定処理のサブルーチンが実行されて（ステップＳ７０８）、表示モードスイッチ１１６による表示モードに応じて表示装置７６に画像が表示される。
【００５９】
本実施の形態に係るカメラシステムは、表示モードとして、４台のカメラユニット３１による４つのパノラマ画像を表示する標準表示モードと、この標準表示モードによる各パノラマ画像を基準にして、選択された２台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大し、残りの部分画像を縮小して表示する混合表示モードと、４台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大して表示する拡大表示モードとを含んでいる。
【００６０】
図２０〜図２３は、表示設定処理において、表示モードスイッチ１１６により設定される表示モードに応じて表示装置７６に表示される画像表示例を示す図で、図２０は標準表示モードによる表示例を示し、図２１および図２２は混合表示モードでの表示例を示し、図２３は拡大表示モードでの表示例を示す。なお、図２０〜図２３において、同一の部分画像については同じ符号を付してある。
【００６１】
図１９に示すように、表示設定処理においては、まず、読出制御部１１７により、表示モードの設定変更を検出する（ステップＳ７１０）。すなわち、表示モードスイッチ１１６で表示モードの切り替えの指示があったか否かを検出する。そして、表示モードの設定変更があれば（ステップＳ７１０：ＹＥＳ）、ステップＳ７１１に進んで、アドレスメモリ１１４に格納された、表示モードに対応するアドレス変換テーブルを選択する。他方、表示モードの設定に変更がなければ（ステップＳ７１０：ＮＯ）、既に選択されているアドレス変換テーブルのままで次のステップＳ７１２に進む。
【００６２】
ステップＳ７１２では、表示モードが標準表示モードか否かを判断する。その結果、標準表示モードの場合（ステップＳ７１２：ＹＥＳの場合）は、図２０に示すように、４台のカメラユニット３１の各パノラマ画像を表示する。この場合、各カメラユニット３１の撮像素子１５の画素数が、７５０×４８０画素とすると、前述したように、各カメラユニット３１で得られる全視野１８０°のパノラマ画像は、横方向の画素数が４８０×３＝１４４０画素、縦方向の画素数が２５０画素となる。このため、表示装置７６の画面の画素数がＷＶＧＡとすると、第２のフレームメモリ１１５に記憶されている４台のカメラユニット３１のパノラマ画像データをそのままのサイズで表示装置７６に同時に表示することはできない。したがって、この場合は、各パノラマ画像を、表示装置７６上で横８００画素×縦１２０画素の領域内に表示できるように縮小する必要がある。
【００６３】
そのため、ステップＳ７１３において、読出制御部１１７がアドレスメモリ１１４に記載された現在の表示モードに対応するアドレス変換テーブルを選択して、第２のフレームメモリ１１５に格納された各カメラユニット３１によるパノラマ画像から読み出す画素（注目画素）のアドレスを算出する。
【００６４】
ここで、縮小率が整数でない場合、一般に、注目画素の多くはアドレス変換により、非整数のアドレスに写像される。なお、非整数のアドレスとは、画素の中心が非整数のアドレスであることを表わす。その場合、第２のフレームメモリ１１５から注目画素を含む周辺の画素をブロックとして読み出して（ステップＳ７１４）、読出制御部１１７により、読み出されたブロック内の各画素のアドレスと縮小率とにより写像先のアドレスを算出して、書き込み先のアドレスを決定する（ステップＳ７１５）。
【００６５】
続いて、補間部１１８により、ブロック読み出しされた画素の画素値と写像先の非整数のアドレスとに基づいて、ステップＳ７１５で決定された表示装置７６のアドレスに位置する画素の画素値を、補間処理により算出する（ステップＳ７１６）。この場合の補間方法としては、バイリニア補間やバイキュービック補間などの公知の方法を使用することができる。
【００６６】
ステップＳ７１６の補間処理により算出された画素値は、図示しない書込制御部により第３のフレームメモリ１１９の設定されたアドレスに格納される（ステップＳ７１７）。
【００６７】
その後、標準表示モードに応じた第３のフレームメモリ１１９の全画素の書き込みが完了したか否か、すなわち、４台のカメラユニット３１のパノラマ画像データの縮小処理が完了したか否かが判断される（ステップＳ７１８）。その結果、完了していなければ（ステップＳ７１８：ＮＯ）、ステップＳ７１３に移行し、完了していれば（ステップＳ７１８：ＹＥＳ）、表示制御部７５により第３のフレームメモリ１１９に格納された画像データが表示装置７６に伝送されて表示画像の更新処理が行われる（ステップＳ７１９）。これにより、図２０に示したように、各カメラユニット３１による１８０°視野のパノラマ画面が表示装置７６に縮小されて表示される。
【００６８】
これに対し、ステップＳ７１２において、表示モードが標準表示モードでない場合（ＮＯの場合）は、表示モードに応じて、混合表示モードでは、図２１および図２２に示すように、選択された２台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大し、残りの部分画像を縮小して表示し、拡大表示モードでは、図２３に示すように、４台のカメラユニット３１によるパノラマ画像のそれぞれ選択された一つの部分画像を拡大して表示する。
【００６９】
なお、図２１は、選択された２台のカメラユニット３１のそれぞれ中央の部分画像Ｂ，Ｅを拡大表示し、残りの部分画像Ａ，Ｃ，Ｄ，Ｆを縮小表示した場合を示し、図２２は、選択された２台のカメラユニット３１のうち、一方のカメラユニット３１については、左側の部分画像Ａを拡大表示して、残りの部分画像Ｂ，Ｃは縮小表示し、他方のカメラユニット３１については、右側の部分画像Ｆを拡大表示して、残りの部分画像Ｄ，Ｅは縮小表示した場合を示している。また、図２３は、４台のカメラユニット３１のそれぞれ中央の部分画像Ｂ，Ｅ，Ｈ，Ｋを選択して拡大表示した場合を示している。
【００７０】
すなわち、部分画像の拡大表示を含む混合表示モードや拡大表示モードの場合は、ステップＳ７２０において、読出制御部１１７がアドレスメモリ１１４に記載された現在の表示モードに対応するアドレス変換テーブルを選択して、第２のフレームメモリ１１５に格納された各カメラユニット３１によるパノラマ画像から、拡大表示する部分画像中から読み出す注目画素のアドレスを算出する。なお、縮小表示を伴う混合表示モードの場合は、その縮小表示する部分画像中から読み出す注目画素のアドレスも算出する。
【００７１】
ここで、拡大率が整数でない場合は、第２のフレームメモリ１１５から注目画素を含む周辺の画素をブロックとして読み出して（ステップＳ７２１）、読出制御部１１７により、読み出されたブロック内の各画素のアドレスと拡大率とにより写像先のアドレスを算出して、書き込み先のアドレスを決定する（ステップＳ７２２）。続いて、補間部１１８により、ブロック読み出しされた画素の画素値と写像先の非整数のアドレスとに基づいて、ステップＳ７２１で決定された表示装置７６のアドレスに位置する画素の画素値を、バイリニア補間やバイキュービック補間などの公知の補間処理により算出する（ステップＳ７２３）。
【００７２】
ステップＳ７２３の補間処理により算出された画素値は、図示しない書込制御部により第３のフレームメモリ１１９の設定されたアドレスに格納される（ステップＳ７２４）。同様に、縮小表示を伴う混合表示モードの場合は、その縮小表示する部分画像が、ステップＳ７１３からステップＳ７１７で説明したと同様にして縮小されて、第３のフレームメモリ１１９の設定されたアドレスに格納される。
【００７３】
その後、表示モードに応じた第３のフレームメモリ１１９の全画素の書き込みが完了したか否か、すなわち拡大された部分画像、あるいは拡大された部分画像および縮小された部分画像が第２の動画像に合成されたか否かが判断される（ステップＳ７２５）。その結果、第２の動画像の合成が完了していなければ（ステップＳ７２５：ＮＯ）、ステップＳ７２０に移行し、完了していれば（ステップＳ７２５：ＹＥＳ）、表示制御部７５により第３のフレームメモリ１１９に格納された画像データが表示装置７６に伝送されて表示画像の更新処理が行われて、図２１〜図２３に示したような表示モードに応じた画像が表示装置７６に表示される。
【００７４】
ここで、混合表示モードの場合は、図２１および図２２に示したように、表示装置７６の画面を上下に２分割する。例えば、表示装置７６の画面の画素数がＷＶＧＡとすると、横８００画素×縦２４０画素の領域に２分割し、その各分割された領域に、選択されたパノラマ画像の選択された一つの部分画像を拡大して表示し、残りの２つの部分画像は縮小して表示する。また、拡大表示モードの場合は、図２３に示すように、表示装置７６の画面を上下左右に４分割する。例えば、表示装置７６の画面の画素数がＷＶＧＡとすると、横４００画素×縦２４０画素の領域に４分割し、その各分割された領域に、各パノラマ画像の選択された一つの部分画像を拡大して表示する。
【００７５】
なお、図１４の外部制御ユニット７１において、第１のフレームメモリ１１２、第２のフレームメモリ１１５、第３のフレームメモリ１１９、およびアドレスメモリ１１４は、図１３のメモリ７４により構成され、読出／書込制御部１１３、読出制御部１１７、および補間部１１８は、図１３の画像処理ＭＰＵ７３およびＣＰＵ７８により構成され、表示モードスイッチ１１６は、図１３の操作入力部７７により構成される。
【００７６】
以上のように本実施の形態に係るカメラシステムによれば、各カメラユニット３１から得られる視認性の良好な部分画像を、操作入力部７７から入力される表示モードに応じて表示装置７６に表示することができる。また、各カメラユニット３１が、第１実施の形態で説明したような作用効果を奏することから、システム全体を安価に構成することが可能となり、種々の用途に容易に適用することができる。
【００７７】
なお、本発明は、上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変形または変更が可能である。例えば、カメラユニット３１による撮像可能な視野の範囲は、使用する自由曲面プリズム４、５、６の形状や材料、組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６の視野が６０°の範囲に限定されるものではない。
【００７８】
また、カメラユニット３１の撮像光学系は、一方向の視野を結像する１個の自由曲面プリズム（前方視野の場合は、前段プリズム７と自由曲面プリズム６との組み合わせ）、あるいは任意の２方向の視野を結像する２個の自由曲面プリズムで構成することもできる。また、撮像光学系は、前方視野を、左右の前段プリズムを経てそれぞれ自由曲面プリズムで結像させるようにして、視差を有するステレオ画像を得るように構成したり、このステレオ画像を得る光学系に、左方の視野および／または右方の視野を結像する自由曲面プリズムを付加して構成したり、することもできる。
【００７９】
また、３６０°の視野を撮像することを可能にするために、上述した構成のカメラユニット３１を２組み背面合わせとした構成を採用することはもちろん、上下に組み込んだ構成を採用することもできる。さらに、複数の自由曲面プリズムを用いる場合は、拡大率の異なる自由曲面プリズムを組み合わせることもできる。
【００８０】
さらに、カメラシステムは、１台のカメラユニット３１と外部制御ユニット７１とで構成することもできるし、４台以外の複数台のカメラユニット３１と１台の外部制御ユニット７１とで構成することもできる。また、カメラユニット３１および外部制御ユニット７１は、ネットワーク接続に限らず、有線や無線を介して直接接続することもできる。さらに、表示モードについても、一つのパノラマ画像について、二つの部分画像を拡大し、残りの部分画像を縮小して同時に表示したり、二つの部分画像のみを拡大して表示したり、種々の表示モードが可能である。
【００８１】
また、本発明に係るカメラシステムは、外部制御ユニット７１を、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムで実現することもできる。すなわち、前述した外部制御ユニット７１の機能を実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８２】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が外部制御ユニット７１の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。ここで、プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【００８３】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した外部制御ユニット７１の機能を実現するように構成することもできるし、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した外部制御ユニット７１の機能を実現するように構成することもできる。
【００８４】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した外部制御ユニット７１の機能を実現することもできる。
【符号の説明】
【００８５】
１ フレーム
２ ホルダ
３ カバー体
４、５、６ 自由曲面プリズム
４ａ，５ａ，６ａ 第１面
４ｂ，５ｂ，６ｂ 第２面
４ｃ，５ｃ，６ｃ 第３面
７ 前段プリズム
１５ 撮像素子
３１ カメラユニット
３３ ＴＧ／ＳＳＧ部
３４ ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
３５ デジタル信号処理部
３６ メモリ
３７ 通信Ｉ／Ｆ
３８ ＣＰＵ
３９ ＭＰＵ
５０ 撮像光学系
５１ａ、５１ｂ、５１ｃ 部分画像
７１ 外部制御ユニット
７２ 通信Ｉ／Ｆ
７３ 画像処理ＭＰＵ
７４ メモリ
７５ 表示制御部
７６ 表示装置
７７ 操作入力部
【特許請求の範囲】
【請求項１】
被写体像を結像する自由曲面プリズムを有する撮像光学系と、
前記撮像光学系により結像される前記被写体像を光電変換する撮像素子と、
前記撮像素子を駆動する撮像素子駆動部と、
前記撮像素子からの光電変換信号を処理して画像信号を出力する信号処理部と、
外部制御ユニットと通信を行う通信部と、
前記撮像素子駆動部および前記信号処理部の動作を制御して、前記信号処理部から出力される画像信号を前記通信部から前記外部制御ユニットに送信する制御部と、
を備えることを特徴とするカメラユニット。
【請求項２】
前記撮像光学系は、３つの自由曲面プリズムを有し、前記３つの自由曲面プリズムにより、正面６０°、右６０°、左６０°の範囲の被写体像を、前記撮像素子上のそれぞれ分離された所定の領域に結像させるように構成したことを特徴とする請求項１に記載のカメラユニット。
【請求項３】
前記自由曲面プリズムは、入射面側に楕円形状の固定絞りが配置され、Ｙ−Ｚ面内において、前記入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することを特徴とする請求項１または２に記載のカメラユニット。
【請求項４】
請求項１〜３のいずれか一項に記載のカメラユニットと、
前記カメラユニットと接続される外部制御ユニットとを有し、
前記外部制御ユニットは、
前記カメラユニットと通信を行う通信部と、
前記通信部が受信した前記カメラユニットからの画像信号を処理する画像処理部と、
前記画像処理部で画像処理された画像信号による画像を表示する画像表示部と、
前記通信部を介して前記カメラユニットの動作を制御するとともに、前記画像処理部および前記画像表示部の動作を制御する制御部と、
を備えることを特徴とするカメラシステム。
【請求項５】
前記外部制御ユニットには前記カメラユニットが複数台接続されており、
前記外部制御ユニットは、
前記画像表示部への画像の表示モードを入力する操作入力部をさらに有し、
前記制御部は、前記操作入力部から入力された表示モードに応じて、前記複数台のカメラユニットからの画像信号を前記画像処理部で画像処理して前記画像表示部に表示することを特徴とする請求項４に記載のカメラシステム。
【請求項１】
被写体像を結像する自由曲面プリズムを有する撮像光学系と、
前記撮像光学系により結像される前記被写体像を光電変換する撮像素子と、
前記撮像素子を駆動する撮像素子駆動部と、
前記撮像素子からの光電変換信号を処理して画像信号を出力する信号処理部と、
外部制御ユニットと通信を行う通信部と、
前記撮像素子駆動部および前記信号処理部の動作を制御して、前記信号処理部から出力される画像信号を前記通信部から前記外部制御ユニットに送信する制御部と、
を備えることを特徴とするカメラユニット。
【請求項２】
前記撮像光学系は、３つの自由曲面プリズムを有し、前記３つの自由曲面プリズムにより、正面６０°、右６０°、左６０°の範囲の被写体像を、前記撮像素子上のそれぞれ分離された所定の領域に結像させるように構成したことを特徴とする請求項１に記載のカメラユニット。
【請求項３】
前記自由曲面プリズムは、入射面側に楕円形状の固定絞りが配置され、Ｙ−Ｚ面内において、前記入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することを特徴とする請求項１または２に記載のカメラユニット。
【請求項４】
請求項１〜３のいずれか一項に記載のカメラユニットと、
前記カメラユニットと接続される外部制御ユニットとを有し、
前記外部制御ユニットは、
前記カメラユニットと通信を行う通信部と、
前記通信部が受信した前記カメラユニットからの画像信号を処理する画像処理部と、
前記画像処理部で画像処理された画像信号による画像を表示する画像表示部と、
前記通信部を介して前記カメラユニットの動作を制御するとともに、前記画像処理部および前記画像表示部の動作を制御する制御部と、
を備えることを特徴とするカメラシステム。
【請求項５】
前記外部制御ユニットには前記カメラユニットが複数台接続されており、
前記外部制御ユニットは、
前記画像表示部への画像の表示モードを入力する操作入力部をさらに有し、
前記制御部は、前記操作入力部から入力された表示モードに応じて、前記複数台のカメラユニットからの画像信号を前記画像処理部で画像処理して前記画像表示部に表示することを特徴とする請求項４に記載のカメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−２６３４７８（Ｐ２０１０−２６３４７８Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１３６５１（Ｐ２００９−１１３６５１）
【出願日】平成２１年５月８日（２００９．５．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月８日（２００９．５．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]