撮影画像合成装置
【課題】単一の撮影レンズの仕様よりも広い画角の合成画像を得ること。
【解決手段】撮影方向を調節するために傾斜可能な撮像ユニット１，２には、撮影レンズ１ａ，２ａ及び撮像面が長方形形状の撮像素子１ｂ，２ｂが配設されている。撮像ユニット１，２の各々の撮影範囲を合致させて撮影を行い、撮像素子１ｂ，２ｂの各出力画像から１つのステレオ画像を合成する。そして、撮像素子１ｂ，２ｂをそれぞれ撮像素子回転用モータ１ｄ，２ｄにより９０°回転させると共に、撮像ユニット１，２の各々の撮影範囲が一部分重複するように撮像ユニット１，２をそれぞれ外側（＋ｙ方向）に傾斜させて撮影を行い、撮像素子１ｂ，２ｂの各出力画像から画角が広く高精細の画像を合成する。
【解決手段】撮影方向を調節するために傾斜可能な撮像ユニット１，２には、撮影レンズ１ａ，２ａ及び撮像面が長方形形状の撮像素子１ｂ，２ｂが配設されている。撮像ユニット１，２の各々の撮影範囲を合致させて撮影を行い、撮像素子１ｂ，２ｂの各出力画像から１つのステレオ画像を合成する。そして、撮像素子１ｂ，２ｂをそれぞれ撮像素子回転用モータ１ｄ，２ｄにより９０°回転させると共に、撮像ユニット１，２の各々の撮影範囲が一部分重複するように撮像ユニット１，２をそれぞれ外側（＋ｙ方向）に傾斜させて撮影を行い、撮像素子１ｂ，２ｂの各出力画像から画角が広く高精細の画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像系を有し、各撮像系の撮影画像を１つに合成する撮影画像合成装置に関する。
【背景技術】
【０００２】
従来、２つの撮像部を用いて撮影し、２枚の撮影画面のオーバーラップエリアのみを合成して１つの立体視用のステレオ画像を得るステレオカメラが知られている。このようなステレオカメラでは、その画像合成機能を利用して、１つのパノラマ画像を生成することもできる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
引用文献１の装置は、２つの撮像部からの２枚の撮影画像を合成してステレオ画像もパノラマ画像も生成する機能があるが、このようなパノラマ画像は、２枚の撮影画像を横方向に継ぎ足したものに限られるという問題がある。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明による撮影画像合成装置は、第１の撮影光学系と第１の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第１の撮像ユニットと、第２の撮影光学系と第２の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、第１の撮像ユニットと同一の長方形状の撮影範囲を有する第２の撮像ユニットと、第１および第２の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、第１および第２の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、第１および第２の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、第１および第２の撮像素子の各出力画像から１つの合成画像を生成する合成手段と、を備え、第１および第２の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第１の撮影モードと、撮像素子回転手段により第１および第２の撮像素子を第１の撮影モードの状態から９０°回転させ、傾斜量変更手段により第１および第２の撮像ユニットの撮影範囲が一部重複するように第１および第２の撮像ユニットの傾斜量を変更して撮影を行う第２の撮影モードと、を有することを特徴とする。
【発明の効果】
【０００６】
本発明の撮影画像合成装置によれば、第２の撮影モードで、第１および第２の撮像素子を第１の撮影モードの状態から９０°回転させて撮影した画像を合成することができるので、画像の縦横で多様な画角の合成画像を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係る撮影画像合成装置の構成を模式的に示すブロック図である。
【図２】図２（ａ）は、撮像ユニットを第１の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図２（ｂ）は、合成画像を説明する図である。
【図３】図３（ａ）は、撮像ユニットを第２の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図３（ｂ）は、合成画像を説明する図である。
【図４】図４（ａ）は、撮像ユニットを第１の撮影モードにしたときの望遠端の撮影範囲を示し、図４（ｂ）は、広角端の撮影範囲を示す図である。
【図５】第１の撮影モードで、撮影レンズが望遠端に位置するときの撮影範囲を示す図である。
【図６】第１の撮影モードで、撮影レンズが広角端に位置するときの撮影範囲を示す図である。
【図７】第１の撮影モードで、撮影レンズの焦点距離を広角端から望遠側へ変化させたときの撮影範囲を示す図である。
【図８】第１の撮影モードから第２の撮影モードへ移行したときの撮影範囲を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の実施の形態による撮影画像合成装置を説明する。
図１において、第１の実施の形態による撮影画像合成装置１００は、撮像ユニット１，２と、カメラ制御部１０と、画像処理部１１と、システムメモリ１２と、外部メモリ１３と、表示装置１４と、操作部材１５とを備える。また、撮影画像合成装置１００は、駆動モータ２１と、モータギア２２と、回転ギア２３と、回転ロッド２４と、スライダ２５とを備える。
【０００９】
撮像ユニット１は、撮影レンズ１ａ、撮像素子１ｂ、ＡＦ・ズーム(Zoom)用モータ１ｃおよび撮像素子回転用モータ１ｄを有する。
撮影レンズ１ａは、被写体像を撮像素子１ｂの撮像面上に結像させる。撮像素子１ｂは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成され、被写体像を光電変換してアナログ画像信号を生成する。撮像素子１ｂの受光面は横長の長方形形状を呈している。
【００１０】
ＡＦ・ズーム用モータ１ｃは、ＡＦモータとズームモータとを含む。ＡＦモータは、焦点調節機構を機能させるために回転動作により撮影レンズ１ａを構成するフォーカスレンズを光軸方向に進退移動させるための駆動源である。ズームモータは、ズーム機構を機能させるために回転動作により撮影レンズ１ａを構成するズームレンズを光軸方向に進退移動させための駆動源である。ＡＦモータおよびズームモータの回転制御は、カメラ制御部１０によって行われる。なお、ＡＦモータおよびズームモータの回転位置検出は、不図示のＡＦ・ズーム用エンコーダによって行われ、検出信号はカメラ制御部１０へ送出される。
【００１１】
撮像素子回転用モータ１ｄは、撮像素子１ｂを入射光軸廻りに回転させるための駆動源である。撮像素子１ｂの回転は、９０°単位で行われる。撮像素子１ｂの長方形形状の長辺が撮像ユニット１と撮像ユニット２とが並ぶ方向に平行となっているときが撮像素子の基準位置である。
【００１２】
撮像ユニット２は、それぞれ撮影レンズ２ａ、撮像素子２ｂ、ＡＦ・ズーム用モータ２ｃおよび撮像素子回転用モータ２ｄを有する。撮影レンズ２ａは撮影レンズ１ａと同一であり、撮像素子２ｂは撮像素子１ｂと同一であり、ＡＦ・ズーム用モータ２ｃはＡＦ・ズーム用モータ１ｃと同一であり、撮像素子回転用モータ２ｄは撮像素子回転用モータ１ｄと同一である。このように、撮像ユニット１と２は互いに全く同一の構成であるので、以下、撮像ユニットに関する説明は、代表として撮像ユニット１について説明するにとどめる。
【００１３】
カメラ制御部１０は、画像処理部１１、システムメモリ１２、外部メモリ１３、表示装置１４および操作部材１５と接続され、システムメモリ１２に記憶されたプログラムを実行することにより、撮影画像合成装置１００の動作を制御する。カメラ制御部１０は、接続されている各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。また、カメラ制御部１０は、撮像素子１ｂ，２ｂ、ＡＦ・ズーム用モータ１ｃ，２ｃ、撮像素子回転用モータ１ｄ，２ｄおよび駆動モータ２１と接続され、各構成部品の動作を制御する。
【００１４】
カメラ制御部１０は、フォーカス調節処理も行う。カメラ制御部１０は、撮像ユニット１，２で取得された２枚の画像の撮影範囲が重複している場合は、これら２つの画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいて、三角測量により被写体距離を算出する。算出した被写体距離に対応するレンズ位置へ撮像ユニット１，２のフォーカスレンズを進退移動させることにより、各撮像ユニット１，２においてピント合わせが行われる。
また、カメラ制御部１０は、撮像ユニット１，２で取得された２枚の画像の撮影範囲がほとんど重複していない場合は、撮像素子１ｂまたは２ｂの撮像面上でのコントラスト検出方式により撮影レンズ１ａまたは２ａの合焦位置を算出する。
【００１５】
画像処理部１１には、撮像ユニット１，２からのアナログ画像信号がそれぞれ入力される。画像処理部１１は、各アナログ画像信号に対してゲイン調整などのアナログ処理を施し、アナログ処理後の画像信号をＡ／Ｄ変換してデジタル画像データにする。そして、デジタル画像データに対して所定の画像処理（色温度調整など）を施す。画像処理前後の画像データは、内蔵するバッファメモリ（不図示）に一時的に記憶される。画像処理部１１はさらに、撮像ユニット１，２で取得された２つの出力画像データを合成して合成画像データを生成する。
【００１６】
外部メモリ１３は、例えば、半導体メモリを内蔵したメモリカードで構成され、撮影画像合成装置１００に対して着脱自在に構成される。カメラ制御部１０は、装着された外部メモリ１３に対する合成画像データの書き込みや、外部メモリ１３からの画像データの読み込みを行う。これらの画像データが外部メモリ１３から読み出されると、その画像データに基づく再生画像は、表示装置１４に表示される。
【００１７】
操作部材１５は、図２に示すレリーズボタン１５ａ、ズーム（画角設定）スイッチ１５ｂ、モード切換えスイッチ１５ｃなどの各種スイッチを含み、それぞれの操作に対応する操作信号をカメラ制御部１０へ送出する。ズームスイッチ１５ｂは、ズームアップ釦１５ｂ１とズームダウン釦１５ｂ２とを有し、出力画像の撮影画角を設定する。なお、モード切換えスイッチ１５ｃは、後に詳述する第１の撮影モードと第２の撮影モードとを切り換えるスイッチである。
【００１８】
駆動モータ２１は、撮像ユニット１，２を傾斜させ、撮像ユニット１、２の撮影方向（撮影レンズ１ａ，２ａの光軸方向）を変更するための駆動力を発生する駆動源である。図１では、撮像ユニット１，２の傾斜量は零であり、このとき撮像ユニット１，２は基準方向を向いており、両者の光軸は平行である。
【００１９】
撮像ユニット１および２は同一構成で同様に駆動されるので、撮像ユニット１の傾斜機構についてのみ説明する。
図１に示されるように、駆動モータ２１のモータギア２２と回転ギア２３とが噛合しており、回転ギア２３と回転ロッド２４とは一体に固設されており、回転ロッド２４のねじ部２４ａとスライダ２５とは螺合している。スライダ２５にはピン２５ａが突設されており、ピン２５ａが撮像ユニット１の長穴１ｅに係合している。
【００２０】
駆動モータ２１による駆動力は、モータギア２２、回転ギア２３を介して回転ロッド２４へ伝達される。回転ロッド２４が軸周りに回転すると、その回転方向に応じてねじ部２４ａに螺合するスライダ２５がｘ方向（図中で左右方向）に移動する。
【００２１】
スライダ２５が＋ｘ方向（図中、右方向）に移動すると、ピン２５ａと長穴１ｅとの係合により、撮像ユニット１は、不図示の回転軸廻りに回転し、＋ｙ方向（図中、反時計廻り方向）に傾斜する。撮像ユニット１の傾斜量は、例えば、回転ギア２３の回転量（回転角度）に比例するので、回転ギア２３の回転量を検出することにより撮像ユニット１の傾斜量を算出することができる。撮像ユニット２も撮像ユニット１に同期して同量だけ傾斜する。但し、撮像ユニット１と２は左右対称の動きをする。
なお、図１では、スライダ２５が＋ｘ方向に移動した時に、撮像ユニット１は＋ｙ方向に傾斜したが、スライダ２５を−ｘ方向（図中、左方向）に移動させれば、撮像ユニット１は−ｙ方向（図中、時計廻り方向）に傾斜する。
【００２２】
＜固定焦点で使用した場合＞
先ず、撮影レンズ１ａ，２ａがズーム機構を使用せず、所定の焦点距離に固定された状態での撮像動作を説明する。
図２は、撮像ユニット１の撮影範囲と撮像ユニット２の撮影範囲とを合致させて撮影を行う第１の撮影モードを示したもので、この第１の撮影モードでは、撮像素子１ｂおよび２ｂの各出力画像から１つのステレオ合成画像を生成することができる。
【００２３】
モード切換えスイッチ１５ｃの操作により第１の撮影モードが選択されると、カメラ制御部１０は、駆動モータ２１を駆動制御して撮像ユニット１，２の撮影方向、すなわち、撮像ユニット１，２の撮影レンズ１ａ，２ａの光軸をそれぞれ基準方向から内側（図１の−ｙ方向）を向くように傾斜量を制御する。
具体的には、カメラ制御部１０は、無限遠の被写体に対しては、撮影レンズ１ａ，２ａの光軸が互いに平行になるように撮像ユニット１，２を基準方向に向け、有限距離の被写体に対しては、その被写体距離に応じた所定の傾斜量だけ撮像ユニット１，２を傾斜させる。
【００２４】
撮影範囲１Ｓ，２Ｓは、それぞれ撮像ユニット１，２による横長の長方形状の撮影領域を示し、図２（ａ）に示されるように、第１撮影モードでは撮影範囲１Ｓと２Ｓとが合致している。
第１の撮影モードにおいて、レリーズボタン１５ａが操作されると、撮像ユニット１，２が所定の視差をもって同一の被写体を撮像する。画像処理部１１は、撮像ユニット１，２の出力画像を立体視可能なステレオ画像に合成し、この合成画像は外部メモリ１３に記録される。なお、レリーズボタン１５ａの操作前には、上記の合成画像データ又は撮像ユニット１又は２の出力画像データに基づき、被写体像のスルー画像が表示装置１４に表示されている。
【００２５】
図２（ｂ）は、撮像ユニット１，２の合致した撮影範囲１Ｓ，２Ｓと、ステレオ合成画像に対応する撮影範囲３Ｓとの関係を示したもので、これらの撮影範囲１Ｓ，２Ｓ，３Ｓは互いに同一である。なお、この第１の撮影モードにおける撮影範囲１Ｓ，２Ｓは、それぞれ撮影レンズ１ａ，２ａの焦点距離と撮像素子１ｂ，２ｂのサイズとによって実質的に決定され、換言すると、撮像ユニット１，２の画角によって決定される。従って、合成画像の撮影範囲３Ｓも撮像ユニット１，２の画角によって決定される。
【００２６】
図３は、撮像素子１ｂと撮像素子２ｂとを第１の撮影モードの位置（基準位置）から９０°回転させると共に、撮像ユニット１の撮影範囲と撮像ユニット２の撮影範囲とが一部僅かに重複するように撮像ユニット１，２の傾斜量を変更して撮影を行う第２の撮影モードを説明する図である。この第２の撮影モードでは、撮像素子１ｂと撮像素子２ｂとの出力画像から１つの合成画像を生成することができる。
【００２７】
モード切換えスイッチ１５ｃの操作により第２の撮影モードが選択されると、カメラ制御部１０は、撮像素子回転用モータ１ｄ，２ｄを駆動制御して撮像素子１ｂと撮像素子２ｂとを第１の撮影モードの状態から９０°回転させると同時に、駆動モータ２１を駆動制御して撮像ユニット１，２の撮影方向、すなわち、撮影レンズ１ａ，２ａの光軸がそれぞれ基準方向に対して外側（図１の＋ｙ方向）を向くように傾斜量を制御する。
これにより、図３（ａ）に示したように、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓはそれぞれ、横長の長方形状から縦長の長方形状に変化し、この縦長の撮影範囲１１Ｓ，１２Ｓは、それぞれの隣接する長辺において僅かな重複領域１Ｔを有する。
【００２８】
第２の撮影モードにおいて、レリーズボタン１５ａが操作されると、撮像ユニット１，２がそれぞれ撮影範囲１１Ｓ，１２Ｓの被写体像を撮像する。画像処理部１１は、撮像ユニット１，２の出力画像を合成し、この合成画像は外部メモリ１３に記録される。なお、レリーズボタン１５ａの操作前には、上記の合成画像データに基づき、被写体像のスルー画像が表示装置１４に表示されている。
【００２９】
図３（ｂ）は、撮像ユニット１，２の重複領域１Ｔで重複している撮影範囲１１Ｓ、１２Ｓと、合成画像の撮影範囲１３Ｓとの関係を示したもので、合成画像の撮影範囲１３Ｓの横方向の長さは、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓの各々の縦方向長さ（短辺）のほぼ２倍になっている。換言すれば、この第２の撮影モードにおける合成画像の撮影範囲１３Ｓの画角は、撮像ユニット１，２の各々の撮影範囲の画角のほぼ１．４倍になっている。
画角１３Ｓの合成画像は、２個の撮像素子１ｂと２ｂからの出力画像を用いるため、画素数がほぼ２倍となり、高画質化を図ることができる。
【００３０】
以上説明した実施形態による撮影画像合成装置１００によれば、以下の作用効果が得られる。
（１）第１の撮影モードを選択すると、撮像ユニット１と２の視差を利用した立体視可能な合成画像が得られ、第２の撮影モードを選択すると、撮像ユニット１または２の単独の出力画像よりも画像の上下左右共に広い画角で且つ高精細の合成画像を得ることができる。
【００３１】
＜可変焦点で使用した場合＞
次に、撮影レンズ１ａ，２ａの焦点距離をズーム機構により変更調整する場合の撮像動作を説明する。
本実施の形態の撮影画像合成装置にあっては、その撮影範囲、即ち画角は、第１及び第２の撮影モードともに、撮影レンズ１ａ，２ａの焦点距離の変更調節によって変化すると共に、第２の撮影モードにおいては合成画像の作成によっても変化する。以下にこれを詳述する。
【００３２】
第１の撮影モードにおいて、ズームスイッチ１５ｂのズームアップ釦１５ｂ１又はズームダウン釦１５ｂ２を操作すると、ＡＦ・ズーム用モータ１ｃ、２ｃのズームモータがズーム機構を駆動して、撮影レンズ１ａ，２ａの焦点距離を望遠端（最長焦点距離）と広角端（最短焦点距離）との間で変化させることができる。これによって、各撮像ユニット１，２の撮影範囲は、図４（ａ）の望遠端の最小撮影範囲１０１、１０２と図４（ｂ）の広角端の最大撮影範囲２０１，２０２との間で変化する。なお、図４（ａ）、（ｂ）では、撮像ユニット１，２の撮影範囲１０１，１０２、２０１，２０２は、その大きさがその時の撮影レンズ１ａ，２ａの画角を表すように描かれている。撮影者は、表示装置１４に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３３】
他方、撮影モード切換スイッチ１５ｃの操作によって第２の撮影モードに切り換えると、図３に示したように、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓが一部重複した状態で、撮影範囲１１Ｓ，１２Ｓに対応する合成画像の画角は拡大される。
この状態で、ズームスイッチ１５ｂを操作して撮影レンズ１ａ，２ａの焦点距離を変更調節すると、それに応じて撮影範囲１１Ｓ，１２Ｓが縮小又は拡大する、即ち、画角が増減する。この焦点距離の調節と同時に、カメラ制御部１０は、駆動モータ２１を駆動して撮像ユニット１，２の傾斜量を調節して撮影範囲１１Ｓ，１２Ｓの重複量１Ｔを調節する。撮影者は、表示装置１４に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３４】
このように、第２の撮影モードにあっては、画角は、第２の撮影モードに切り換った時にパノラマ合成画像の画角に変化すると共に、その後の撮影レンズ１ａ，２ａの焦点距離調節に伴って変化する。この第２の撮影モードの場合も、撮影者は、表示装置１４に表示されるスルー画像を見て、被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３５】
以上説明したように、第１の撮影モードでは、画角は、撮影レンズ１ａ，２ａの焦点距離の調節に伴って変化し、第２の撮影モードでは、画角は、第２の撮影モードへの切換え、即ち、撮像素子１ｂ，２ｂの９０°回転に伴って変化すると共に、撮影レンズ１ａ，２ａの焦点距離の調節に伴って変化する。そして、第１の撮影モード時の画角の変化範囲、即ち調節範囲と第２の撮影モード時の画角の変化範囲、即ち調節範囲とは、一部オーバーラップしている。
そこで、この画角のオーバーラップを利用して、第１の撮影モードの画角調節範囲と第２の撮影モードの画角調節範囲とを滑らかに接続して第１の撮影モードの最小画角から第２の撮影モードの最大画角まで連続的に画角を変化させることができる。
【００３６】
以下にこの連続画角調節の動作を説明する。
撮像素子１ｂ，２ｂは、その長辺と短辺とのアスペクト比が√２：１のものが使用される。第１の撮影モードにおいて、撮影レンズ１ａ，２ａが最長焦点距離端、即ち望遠端に位置している状態で、ズームスイッチ１５ｂのズームダウンボタン１５ｂ２を操作し続けると、撮影レンズ１ａ，２ａは焦点距離が連続的に小さくなり、従って画角は逆に連続的に大きく変化し、ついに最短焦点距離端、即ち広角端に達する。
【００３７】
図５は、撮影レンズ１ａ，２ａが望遠端に位置するときの撮影範囲３０１，３０２を示したもので、この撮影範囲は、長辺が√２×ａ、短辺がａである。
図６は、撮影レンズ１ａ，２ａが広角端に位置するときの撮影範囲４０１，４０２を示したもので、この撮影範囲は、長辺が√２×ｂ、短辺がｂである。
【００３８】
更に、引き続きズームダウンボタン１５ｂ２を操作し続けていると、図示無きセンサーが撮影レンズ１ａ，２ａの広角端への到達を検出し、カメラ制御部１０は、このセンサーの検出信号に応じて、ＡＦ・ズーム用モータ１ｃ，２ｃのズームモータを所定量逆回転させて撮影レンズ１ａ，２ａをその最短焦点距離端から所定量だけ長い所定の焦点距離まで戻すと同時に、撮像素子回転用モータ１ｄ，２ｄを起動して撮像素子１ｂ，２ｂを９０°回転させ、且つ駆動モータ２１を起動して撮像ユニット１，２をそれぞれ＋ｙ方向に所定量傾斜させる。
【００３９】
図７は、撮影レンズ１ａ，２ａが上記の所定の焦点距離に戻された時の第１の撮影モードにおける撮影範囲５０１，５０２を示したものである。この撮影範囲は長辺がｂ、短辺がｂ／√２である。
【００４０】
図８は、撮影レンズ１ａ，２ａが上記の所定の焦点距離に調節された状態での第２の撮影モードにおける撮影範囲５０１，５０を示したものである。これらの合成の撮影範囲５０１，５０２は、長辺が√２×ｂ、短辺がｂとなり、図６に示した第１の撮影モードにおける撮影レンズ１ａ，２ａが広角端に位置している時の撮影範囲４０１，４０２とほぼ同一である。したがって、第１の撮影モードの合成画像と第２の撮影モードの合成画像では、それぞれの画角の縦横とも同じ比率になるので、２つの合成画像が見やすくなる。
【００４１】
その後に、更にズームダウンボタン１５ｂ２を操作し続けると、撮影レンズ１ａ，２ａの焦点距離が短くなり、それに応じて撮像ユニット１，２の傾斜量が変化して、図８の撮影範囲の一部重複を維持しながら合成の撮影範囲が徐々に大きくなり、ついに撮影レンズ１ａ，２ａが最短焦点距離端、即ち広角端に達する。
上述のように、第１の撮影モードから第２の撮影モードに切り替わる時に、図６に示した第１の撮影モードの撮影範囲４０１，４０２と図８に示した第２の撮影モードの合成の撮影範囲５０１，５０２とがほぼ同一になるので、表示装置１４に表示されるスルー画像の被写体画像がスムーズに切り換る。
【００４２】
なお、第２の撮影モードにおいてズームアップボタン１５ｂ１を操作し続けた場合には、上述と逆の経路を辿り、撮影レンズ１ａ，２ａの焦点距離が連続的に長くなり、途中で自動的に第１の撮影モードに切り替わり、再び撮影レンズ１ａ，２ａの焦点距離が連続的に長くなり、ついに最長焦点距離端に達する。この時も第２の撮影モードから第１の撮影モードに切り換わる際の第２の撮影モード時の撮影範囲と第１の撮影モード時の撮影範囲とがほぼ同一であるので、スルー画像はスムーズに切り換る。
【００４３】
以上のように、第１の撮影モードにおいてズームダウンボタン１５ｂ２を操作し続けると、自動的に、即ち、撮影モード切換スイッチ１５ｃを操作すること無しに、第１の撮影モードから第２の撮影モードに移行する。
逆に、第２の撮影モードにおいて、ズームアップボタン１５ｂ１を操作し続けると、自動的に、即ち、撮影モード切換スイッチ１５ｃを操作すること無しに、第２の撮影モードから第１の撮影モードに移行する。
こうして、撮影画像合成装置１００は、第１の撮影モードと第２の撮影モードとを組み合わせることによって、各撮影レンズ１ａ，２ａの焦点距離の調節範囲、即ち画角の調節範囲よりももっと大きな画角の調節範囲を得ることができる。
【００４４】
上記の実施の形態では、カメラ制御部１０が撮像ユニット１，２の焦点調節を行う。第１の撮影モードのように撮像ユニット１，２の撮影範囲が合致、即ち大部分が重複している場合は、これら２つのスルー画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいてＡＦを行う。また、第２の撮影モードのように撮像ユニット１，２で取得された２枚の画像の撮影範囲がほとんど重複していない場合は、カメラ制御部１０は、撮像素子１ｂまたは２ｂの撮像面上でのスルー画像データを用いてコントラスト検出方式によりＡＦを行う。
【００４５】
第１の撮影モードと第２の撮影モードとの切換えの時には、撮像素子１ｂ，２ｂの回転動作や撮像ユニット１，２の傾斜動作が行われるので、表示装置１４に表示されるスルー画像が大きく乱れる恐れがある。そこで、このスルー画像の乱れを防止する為に、第１の撮影モードと第２の撮影モードとの切換時に切換え直前のスルー画像を一時的にバッファメモリなどに記憶させて、撮像素子１ｂ，２ｂの回転動作や撮像ユニット１，２の傾斜動作の間は、その記憶したスルー画像を表示装置１４に表示し、第１又は第２の撮影モードへの切換えが完了した後に、切換え後の撮影モードでのスルー画像を表示装置１４に表示する。これにより、僅かなタイムラグはあるものの、画角の異なる画像の表示切換えがスムーズとなる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
【符号の説明】
【００４６】
１，２：撮像ユニット １ａ，２ａ：撮影レンズ
１ｂ，２ｂ：撮像素子 １ｃ，２ｃ：ＡＦ・ズーム用モータ
１ｄ，２ｄ：撮像素子回転用モータ １０：カメラ制御部
１１：画像処理部 １５：操作部材
１５ｃ：モード切換えスイッチ ２１：駆動モータ
１００：撮影画像合成装置
【技術分野】
【０００１】
本発明は、複数の撮像系を有し、各撮像系の撮影画像を１つに合成する撮影画像合成装置に関する。
【背景技術】
【０００２】
従来、２つの撮像部を用いて撮影し、２枚の撮影画面のオーバーラップエリアのみを合成して１つの立体視用のステレオ画像を得るステレオカメラが知られている。このようなステレオカメラでは、その画像合成機能を利用して、１つのパノラマ画像を生成することもできる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
引用文献１の装置は、２つの撮像部からの２枚の撮影画像を合成してステレオ画像もパノラマ画像も生成する機能があるが、このようなパノラマ画像は、２枚の撮影画像を横方向に継ぎ足したものに限られるという問題がある。
【課題を解決するための手段】
【０００５】
（１）請求項１の発明による撮影画像合成装置は、第１の撮影光学系と第１の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第１の撮像ユニットと、第２の撮影光学系と第２の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、第１の撮像ユニットと同一の長方形状の撮影範囲を有する第２の撮像ユニットと、第１および第２の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、第１および第２の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、第１および第２の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、第１および第２の撮像素子の各出力画像から１つの合成画像を生成する合成手段と、を備え、第１および第２の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第１の撮影モードと、撮像素子回転手段により第１および第２の撮像素子を第１の撮影モードの状態から９０°回転させ、傾斜量変更手段により第１および第２の撮像ユニットの撮影範囲が一部重複するように第１および第２の撮像ユニットの傾斜量を変更して撮影を行う第２の撮影モードと、を有することを特徴とする。
【発明の効果】
【０００６】
本発明の撮影画像合成装置によれば、第２の撮影モードで、第１および第２の撮像素子を第１の撮影モードの状態から９０°回転させて撮影した画像を合成することができるので、画像の縦横で多様な画角の合成画像を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態に係る撮影画像合成装置の構成を模式的に示すブロック図である。
【図２】図２（ａ）は、撮像ユニットを第１の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図２（ｂ）は、合成画像を説明する図である。
【図３】図３（ａ）は、撮像ユニットを第２の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図３（ｂ）は、合成画像を説明する図である。
【図４】図４（ａ）は、撮像ユニットを第１の撮影モードにしたときの望遠端の撮影範囲を示し、図４（ｂ）は、広角端の撮影範囲を示す図である。
【図５】第１の撮影モードで、撮影レンズが望遠端に位置するときの撮影範囲を示す図である。
【図６】第１の撮影モードで、撮影レンズが広角端に位置するときの撮影範囲を示す図である。
【図７】第１の撮影モードで、撮影レンズの焦点距離を広角端から望遠側へ変化させたときの撮影範囲を示す図である。
【図８】第１の撮影モードから第２の撮影モードへ移行したときの撮影範囲を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の実施の形態による撮影画像合成装置を説明する。
図１において、第１の実施の形態による撮影画像合成装置１００は、撮像ユニット１，２と、カメラ制御部１０と、画像処理部１１と、システムメモリ１２と、外部メモリ１３と、表示装置１４と、操作部材１５とを備える。また、撮影画像合成装置１００は、駆動モータ２１と、モータギア２２と、回転ギア２３と、回転ロッド２４と、スライダ２５とを備える。
【０００９】
撮像ユニット１は、撮影レンズ１ａ、撮像素子１ｂ、ＡＦ・ズーム(Zoom)用モータ１ｃおよび撮像素子回転用モータ１ｄを有する。
撮影レンズ１ａは、被写体像を撮像素子１ｂの撮像面上に結像させる。撮像素子１ｂは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成され、被写体像を光電変換してアナログ画像信号を生成する。撮像素子１ｂの受光面は横長の長方形形状を呈している。
【００１０】
ＡＦ・ズーム用モータ１ｃは、ＡＦモータとズームモータとを含む。ＡＦモータは、焦点調節機構を機能させるために回転動作により撮影レンズ１ａを構成するフォーカスレンズを光軸方向に進退移動させるための駆動源である。ズームモータは、ズーム機構を機能させるために回転動作により撮影レンズ１ａを構成するズームレンズを光軸方向に進退移動させための駆動源である。ＡＦモータおよびズームモータの回転制御は、カメラ制御部１０によって行われる。なお、ＡＦモータおよびズームモータの回転位置検出は、不図示のＡＦ・ズーム用エンコーダによって行われ、検出信号はカメラ制御部１０へ送出される。
【００１１】
撮像素子回転用モータ１ｄは、撮像素子１ｂを入射光軸廻りに回転させるための駆動源である。撮像素子１ｂの回転は、９０°単位で行われる。撮像素子１ｂの長方形形状の長辺が撮像ユニット１と撮像ユニット２とが並ぶ方向に平行となっているときが撮像素子の基準位置である。
【００１２】
撮像ユニット２は、それぞれ撮影レンズ２ａ、撮像素子２ｂ、ＡＦ・ズーム用モータ２ｃおよび撮像素子回転用モータ２ｄを有する。撮影レンズ２ａは撮影レンズ１ａと同一であり、撮像素子２ｂは撮像素子１ｂと同一であり、ＡＦ・ズーム用モータ２ｃはＡＦ・ズーム用モータ１ｃと同一であり、撮像素子回転用モータ２ｄは撮像素子回転用モータ１ｄと同一である。このように、撮像ユニット１と２は互いに全く同一の構成であるので、以下、撮像ユニットに関する説明は、代表として撮像ユニット１について説明するにとどめる。
【００１３】
カメラ制御部１０は、画像処理部１１、システムメモリ１２、外部メモリ１３、表示装置１４および操作部材１５と接続され、システムメモリ１２に記憶されたプログラムを実行することにより、撮影画像合成装置１００の動作を制御する。カメラ制御部１０は、接続されている各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。また、カメラ制御部１０は、撮像素子１ｂ，２ｂ、ＡＦ・ズーム用モータ１ｃ，２ｃ、撮像素子回転用モータ１ｄ，２ｄおよび駆動モータ２１と接続され、各構成部品の動作を制御する。
【００１４】
カメラ制御部１０は、フォーカス調節処理も行う。カメラ制御部１０は、撮像ユニット１，２で取得された２枚の画像の撮影範囲が重複している場合は、これら２つの画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいて、三角測量により被写体距離を算出する。算出した被写体距離に対応するレンズ位置へ撮像ユニット１，２のフォーカスレンズを進退移動させることにより、各撮像ユニット１，２においてピント合わせが行われる。
また、カメラ制御部１０は、撮像ユニット１，２で取得された２枚の画像の撮影範囲がほとんど重複していない場合は、撮像素子１ｂまたは２ｂの撮像面上でのコントラスト検出方式により撮影レンズ１ａまたは２ａの合焦位置を算出する。
【００１５】
画像処理部１１には、撮像ユニット１，２からのアナログ画像信号がそれぞれ入力される。画像処理部１１は、各アナログ画像信号に対してゲイン調整などのアナログ処理を施し、アナログ処理後の画像信号をＡ／Ｄ変換してデジタル画像データにする。そして、デジタル画像データに対して所定の画像処理（色温度調整など）を施す。画像処理前後の画像データは、内蔵するバッファメモリ（不図示）に一時的に記憶される。画像処理部１１はさらに、撮像ユニット１，２で取得された２つの出力画像データを合成して合成画像データを生成する。
【００１６】
外部メモリ１３は、例えば、半導体メモリを内蔵したメモリカードで構成され、撮影画像合成装置１００に対して着脱自在に構成される。カメラ制御部１０は、装着された外部メモリ１３に対する合成画像データの書き込みや、外部メモリ１３からの画像データの読み込みを行う。これらの画像データが外部メモリ１３から読み出されると、その画像データに基づく再生画像は、表示装置１４に表示される。
【００１７】
操作部材１５は、図２に示すレリーズボタン１５ａ、ズーム（画角設定）スイッチ１５ｂ、モード切換えスイッチ１５ｃなどの各種スイッチを含み、それぞれの操作に対応する操作信号をカメラ制御部１０へ送出する。ズームスイッチ１５ｂは、ズームアップ釦１５ｂ１とズームダウン釦１５ｂ２とを有し、出力画像の撮影画角を設定する。なお、モード切換えスイッチ１５ｃは、後に詳述する第１の撮影モードと第２の撮影モードとを切り換えるスイッチである。
【００１８】
駆動モータ２１は、撮像ユニット１，２を傾斜させ、撮像ユニット１、２の撮影方向（撮影レンズ１ａ，２ａの光軸方向）を変更するための駆動力を発生する駆動源である。図１では、撮像ユニット１，２の傾斜量は零であり、このとき撮像ユニット１，２は基準方向を向いており、両者の光軸は平行である。
【００１９】
撮像ユニット１および２は同一構成で同様に駆動されるので、撮像ユニット１の傾斜機構についてのみ説明する。
図１に示されるように、駆動モータ２１のモータギア２２と回転ギア２３とが噛合しており、回転ギア２３と回転ロッド２４とは一体に固設されており、回転ロッド２４のねじ部２４ａとスライダ２５とは螺合している。スライダ２５にはピン２５ａが突設されており、ピン２５ａが撮像ユニット１の長穴１ｅに係合している。
【００２０】
駆動モータ２１による駆動力は、モータギア２２、回転ギア２３を介して回転ロッド２４へ伝達される。回転ロッド２４が軸周りに回転すると、その回転方向に応じてねじ部２４ａに螺合するスライダ２５がｘ方向（図中で左右方向）に移動する。
【００２１】
スライダ２５が＋ｘ方向（図中、右方向）に移動すると、ピン２５ａと長穴１ｅとの係合により、撮像ユニット１は、不図示の回転軸廻りに回転し、＋ｙ方向（図中、反時計廻り方向）に傾斜する。撮像ユニット１の傾斜量は、例えば、回転ギア２３の回転量（回転角度）に比例するので、回転ギア２３の回転量を検出することにより撮像ユニット１の傾斜量を算出することができる。撮像ユニット２も撮像ユニット１に同期して同量だけ傾斜する。但し、撮像ユニット１と２は左右対称の動きをする。
なお、図１では、スライダ２５が＋ｘ方向に移動した時に、撮像ユニット１は＋ｙ方向に傾斜したが、スライダ２５を−ｘ方向（図中、左方向）に移動させれば、撮像ユニット１は−ｙ方向（図中、時計廻り方向）に傾斜する。
【００２２】
＜固定焦点で使用した場合＞
先ず、撮影レンズ１ａ，２ａがズーム機構を使用せず、所定の焦点距離に固定された状態での撮像動作を説明する。
図２は、撮像ユニット１の撮影範囲と撮像ユニット２の撮影範囲とを合致させて撮影を行う第１の撮影モードを示したもので、この第１の撮影モードでは、撮像素子１ｂおよび２ｂの各出力画像から１つのステレオ合成画像を生成することができる。
【００２３】
モード切換えスイッチ１５ｃの操作により第１の撮影モードが選択されると、カメラ制御部１０は、駆動モータ２１を駆動制御して撮像ユニット１，２の撮影方向、すなわち、撮像ユニット１，２の撮影レンズ１ａ，２ａの光軸をそれぞれ基準方向から内側（図１の−ｙ方向）を向くように傾斜量を制御する。
具体的には、カメラ制御部１０は、無限遠の被写体に対しては、撮影レンズ１ａ，２ａの光軸が互いに平行になるように撮像ユニット１，２を基準方向に向け、有限距離の被写体に対しては、その被写体距離に応じた所定の傾斜量だけ撮像ユニット１，２を傾斜させる。
【００２４】
撮影範囲１Ｓ，２Ｓは、それぞれ撮像ユニット１，２による横長の長方形状の撮影領域を示し、図２（ａ）に示されるように、第１撮影モードでは撮影範囲１Ｓと２Ｓとが合致している。
第１の撮影モードにおいて、レリーズボタン１５ａが操作されると、撮像ユニット１，２が所定の視差をもって同一の被写体を撮像する。画像処理部１１は、撮像ユニット１，２の出力画像を立体視可能なステレオ画像に合成し、この合成画像は外部メモリ１３に記録される。なお、レリーズボタン１５ａの操作前には、上記の合成画像データ又は撮像ユニット１又は２の出力画像データに基づき、被写体像のスルー画像が表示装置１４に表示されている。
【００２５】
図２（ｂ）は、撮像ユニット１，２の合致した撮影範囲１Ｓ，２Ｓと、ステレオ合成画像に対応する撮影範囲３Ｓとの関係を示したもので、これらの撮影範囲１Ｓ，２Ｓ，３Ｓは互いに同一である。なお、この第１の撮影モードにおける撮影範囲１Ｓ，２Ｓは、それぞれ撮影レンズ１ａ，２ａの焦点距離と撮像素子１ｂ，２ｂのサイズとによって実質的に決定され、換言すると、撮像ユニット１，２の画角によって決定される。従って、合成画像の撮影範囲３Ｓも撮像ユニット１，２の画角によって決定される。
【００２６】
図３は、撮像素子１ｂと撮像素子２ｂとを第１の撮影モードの位置（基準位置）から９０°回転させると共に、撮像ユニット１の撮影範囲と撮像ユニット２の撮影範囲とが一部僅かに重複するように撮像ユニット１，２の傾斜量を変更して撮影を行う第２の撮影モードを説明する図である。この第２の撮影モードでは、撮像素子１ｂと撮像素子２ｂとの出力画像から１つの合成画像を生成することができる。
【００２７】
モード切換えスイッチ１５ｃの操作により第２の撮影モードが選択されると、カメラ制御部１０は、撮像素子回転用モータ１ｄ，２ｄを駆動制御して撮像素子１ｂと撮像素子２ｂとを第１の撮影モードの状態から９０°回転させると同時に、駆動モータ２１を駆動制御して撮像ユニット１，２の撮影方向、すなわち、撮影レンズ１ａ，２ａの光軸がそれぞれ基準方向に対して外側（図１の＋ｙ方向）を向くように傾斜量を制御する。
これにより、図３（ａ）に示したように、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓはそれぞれ、横長の長方形状から縦長の長方形状に変化し、この縦長の撮影範囲１１Ｓ，１２Ｓは、それぞれの隣接する長辺において僅かな重複領域１Ｔを有する。
【００２８】
第２の撮影モードにおいて、レリーズボタン１５ａが操作されると、撮像ユニット１，２がそれぞれ撮影範囲１１Ｓ，１２Ｓの被写体像を撮像する。画像処理部１１は、撮像ユニット１，２の出力画像を合成し、この合成画像は外部メモリ１３に記録される。なお、レリーズボタン１５ａの操作前には、上記の合成画像データに基づき、被写体像のスルー画像が表示装置１４に表示されている。
【００２９】
図３（ｂ）は、撮像ユニット１，２の重複領域１Ｔで重複している撮影範囲１１Ｓ、１２Ｓと、合成画像の撮影範囲１３Ｓとの関係を示したもので、合成画像の撮影範囲１３Ｓの横方向の長さは、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓの各々の縦方向長さ（短辺）のほぼ２倍になっている。換言すれば、この第２の撮影モードにおける合成画像の撮影範囲１３Ｓの画角は、撮像ユニット１，２の各々の撮影範囲の画角のほぼ１．４倍になっている。
画角１３Ｓの合成画像は、２個の撮像素子１ｂと２ｂからの出力画像を用いるため、画素数がほぼ２倍となり、高画質化を図ることができる。
【００３０】
以上説明した実施形態による撮影画像合成装置１００によれば、以下の作用効果が得られる。
（１）第１の撮影モードを選択すると、撮像ユニット１と２の視差を利用した立体視可能な合成画像が得られ、第２の撮影モードを選択すると、撮像ユニット１または２の単独の出力画像よりも画像の上下左右共に広い画角で且つ高精細の合成画像を得ることができる。
【００３１】
＜可変焦点で使用した場合＞
次に、撮影レンズ１ａ，２ａの焦点距離をズーム機構により変更調整する場合の撮像動作を説明する。
本実施の形態の撮影画像合成装置にあっては、その撮影範囲、即ち画角は、第１及び第２の撮影モードともに、撮影レンズ１ａ，２ａの焦点距離の変更調節によって変化すると共に、第２の撮影モードにおいては合成画像の作成によっても変化する。以下にこれを詳述する。
【００３２】
第１の撮影モードにおいて、ズームスイッチ１５ｂのズームアップ釦１５ｂ１又はズームダウン釦１５ｂ２を操作すると、ＡＦ・ズーム用モータ１ｃ、２ｃのズームモータがズーム機構を駆動して、撮影レンズ１ａ，２ａの焦点距離を望遠端（最長焦点距離）と広角端（最短焦点距離）との間で変化させることができる。これによって、各撮像ユニット１，２の撮影範囲は、図４（ａ）の望遠端の最小撮影範囲１０１、１０２と図４（ｂ）の広角端の最大撮影範囲２０１，２０２との間で変化する。なお、図４（ａ）、（ｂ）では、撮像ユニット１，２の撮影範囲１０１，１０２、２０１，２０２は、その大きさがその時の撮影レンズ１ａ，２ａの画角を表すように描かれている。撮影者は、表示装置１４に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３３】
他方、撮影モード切換スイッチ１５ｃの操作によって第２の撮影モードに切り換えると、図３に示したように、撮像ユニット１，２の撮影範囲１１Ｓ，１２Ｓが一部重複した状態で、撮影範囲１１Ｓ，１２Ｓに対応する合成画像の画角は拡大される。
この状態で、ズームスイッチ１５ｂを操作して撮影レンズ１ａ，２ａの焦点距離を変更調節すると、それに応じて撮影範囲１１Ｓ，１２Ｓが縮小又は拡大する、即ち、画角が増減する。この焦点距離の調節と同時に、カメラ制御部１０は、駆動モータ２１を駆動して撮像ユニット１，２の傾斜量を調節して撮影範囲１１Ｓ，１２Ｓの重複量１Ｔを調節する。撮影者は、表示装置１４に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３４】
このように、第２の撮影モードにあっては、画角は、第２の撮影モードに切り換った時にパノラマ合成画像の画角に変化すると共に、その後の撮影レンズ１ａ，２ａの焦点距離調節に伴って変化する。この第２の撮影モードの場合も、撮影者は、表示装置１４に表示されるスルー画像を見て、被写体の大きさの変化、即ち画角の変化を視認することができる。
【００３５】
以上説明したように、第１の撮影モードでは、画角は、撮影レンズ１ａ，２ａの焦点距離の調節に伴って変化し、第２の撮影モードでは、画角は、第２の撮影モードへの切換え、即ち、撮像素子１ｂ，２ｂの９０°回転に伴って変化すると共に、撮影レンズ１ａ，２ａの焦点距離の調節に伴って変化する。そして、第１の撮影モード時の画角の変化範囲、即ち調節範囲と第２の撮影モード時の画角の変化範囲、即ち調節範囲とは、一部オーバーラップしている。
そこで、この画角のオーバーラップを利用して、第１の撮影モードの画角調節範囲と第２の撮影モードの画角調節範囲とを滑らかに接続して第１の撮影モードの最小画角から第２の撮影モードの最大画角まで連続的に画角を変化させることができる。
【００３６】
以下にこの連続画角調節の動作を説明する。
撮像素子１ｂ，２ｂは、その長辺と短辺とのアスペクト比が√２：１のものが使用される。第１の撮影モードにおいて、撮影レンズ１ａ，２ａが最長焦点距離端、即ち望遠端に位置している状態で、ズームスイッチ１５ｂのズームダウンボタン１５ｂ２を操作し続けると、撮影レンズ１ａ，２ａは焦点距離が連続的に小さくなり、従って画角は逆に連続的に大きく変化し、ついに最短焦点距離端、即ち広角端に達する。
【００３７】
図５は、撮影レンズ１ａ，２ａが望遠端に位置するときの撮影範囲３０１，３０２を示したもので、この撮影範囲は、長辺が√２×ａ、短辺がａである。
図６は、撮影レンズ１ａ，２ａが広角端に位置するときの撮影範囲４０１，４０２を示したもので、この撮影範囲は、長辺が√２×ｂ、短辺がｂである。
【００３８】
更に、引き続きズームダウンボタン１５ｂ２を操作し続けていると、図示無きセンサーが撮影レンズ１ａ，２ａの広角端への到達を検出し、カメラ制御部１０は、このセンサーの検出信号に応じて、ＡＦ・ズーム用モータ１ｃ，２ｃのズームモータを所定量逆回転させて撮影レンズ１ａ，２ａをその最短焦点距離端から所定量だけ長い所定の焦点距離まで戻すと同時に、撮像素子回転用モータ１ｄ，２ｄを起動して撮像素子１ｂ，２ｂを９０°回転させ、且つ駆動モータ２１を起動して撮像ユニット１，２をそれぞれ＋ｙ方向に所定量傾斜させる。
【００３９】
図７は、撮影レンズ１ａ，２ａが上記の所定の焦点距離に戻された時の第１の撮影モードにおける撮影範囲５０１，５０２を示したものである。この撮影範囲は長辺がｂ、短辺がｂ／√２である。
【００４０】
図８は、撮影レンズ１ａ，２ａが上記の所定の焦点距離に調節された状態での第２の撮影モードにおける撮影範囲５０１，５０を示したものである。これらの合成の撮影範囲５０１，５０２は、長辺が√２×ｂ、短辺がｂとなり、図６に示した第１の撮影モードにおける撮影レンズ１ａ，２ａが広角端に位置している時の撮影範囲４０１，４０２とほぼ同一である。したがって、第１の撮影モードの合成画像と第２の撮影モードの合成画像では、それぞれの画角の縦横とも同じ比率になるので、２つの合成画像が見やすくなる。
【００４１】
その後に、更にズームダウンボタン１５ｂ２を操作し続けると、撮影レンズ１ａ，２ａの焦点距離が短くなり、それに応じて撮像ユニット１，２の傾斜量が変化して、図８の撮影範囲の一部重複を維持しながら合成の撮影範囲が徐々に大きくなり、ついに撮影レンズ１ａ，２ａが最短焦点距離端、即ち広角端に達する。
上述のように、第１の撮影モードから第２の撮影モードに切り替わる時に、図６に示した第１の撮影モードの撮影範囲４０１，４０２と図８に示した第２の撮影モードの合成の撮影範囲５０１，５０２とがほぼ同一になるので、表示装置１４に表示されるスルー画像の被写体画像がスムーズに切り換る。
【００４２】
なお、第２の撮影モードにおいてズームアップボタン１５ｂ１を操作し続けた場合には、上述と逆の経路を辿り、撮影レンズ１ａ，２ａの焦点距離が連続的に長くなり、途中で自動的に第１の撮影モードに切り替わり、再び撮影レンズ１ａ，２ａの焦点距離が連続的に長くなり、ついに最長焦点距離端に達する。この時も第２の撮影モードから第１の撮影モードに切り換わる際の第２の撮影モード時の撮影範囲と第１の撮影モード時の撮影範囲とがほぼ同一であるので、スルー画像はスムーズに切り換る。
【００４３】
以上のように、第１の撮影モードにおいてズームダウンボタン１５ｂ２を操作し続けると、自動的に、即ち、撮影モード切換スイッチ１５ｃを操作すること無しに、第１の撮影モードから第２の撮影モードに移行する。
逆に、第２の撮影モードにおいて、ズームアップボタン１５ｂ１を操作し続けると、自動的に、即ち、撮影モード切換スイッチ１５ｃを操作すること無しに、第２の撮影モードから第１の撮影モードに移行する。
こうして、撮影画像合成装置１００は、第１の撮影モードと第２の撮影モードとを組み合わせることによって、各撮影レンズ１ａ，２ａの焦点距離の調節範囲、即ち画角の調節範囲よりももっと大きな画角の調節範囲を得ることができる。
【００４４】
上記の実施の形態では、カメラ制御部１０が撮像ユニット１，２の焦点調節を行う。第１の撮影モードのように撮像ユニット１，２の撮影範囲が合致、即ち大部分が重複している場合は、これら２つのスルー画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいてＡＦを行う。また、第２の撮影モードのように撮像ユニット１，２で取得された２枚の画像の撮影範囲がほとんど重複していない場合は、カメラ制御部１０は、撮像素子１ｂまたは２ｂの撮像面上でのスルー画像データを用いてコントラスト検出方式によりＡＦを行う。
【００４５】
第１の撮影モードと第２の撮影モードとの切換えの時には、撮像素子１ｂ，２ｂの回転動作や撮像ユニット１，２の傾斜動作が行われるので、表示装置１４に表示されるスルー画像が大きく乱れる恐れがある。そこで、このスルー画像の乱れを防止する為に、第１の撮影モードと第２の撮影モードとの切換時に切換え直前のスルー画像を一時的にバッファメモリなどに記憶させて、撮像素子１ｂ，２ｂの回転動作や撮像ユニット１，２の傾斜動作の間は、その記憶したスルー画像を表示装置１４に表示し、第１又は第２の撮影モードへの切換えが完了した後に、切換え後の撮影モードでのスルー画像を表示装置１４に表示する。これにより、僅かなタイムラグはあるものの、画角の異なる画像の表示切換えがスムーズとなる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
【符号の説明】
【００４６】
１，２：撮像ユニット １ａ，２ａ：撮影レンズ
１ｂ，２ｂ：撮像素子 １ｃ，２ｃ：ＡＦ・ズーム用モータ
１ｄ，２ｄ：撮像素子回転用モータ １０：カメラ制御部
１１：画像処理部 １５：操作部材
１５ｃ：モード切換えスイッチ ２１：駆動モータ
１００：撮影画像合成装置
【特許請求の範囲】
【請求項１】
第１の撮影光学系と第１の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第１の撮像ユニットと、
第２の撮影光学系と第２の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、前記第１の撮像ユニットと同一の長方形状の撮影範囲を有する第２の撮像ユニットと、
前記第１および第２の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、前記第１および第２の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、
前記第１および第２の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、
前記第１および第２の撮像素子の各出力画像から１つの合成画像を生成する合成手段と、を備え、
前記第１および第２の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第１の撮影モードと、
前記撮像素子回転手段により前記第１および第２の撮像素子を前記第1の撮影モードの状態から９０°回転させ、前記傾斜量変更手段により前記第１および第２の撮像ユニットの撮影範囲が一部重複するように前記第１および第２の撮像ユニットの傾斜量を変更して撮影を行う第２の撮影モードと、を有することを特徴とする撮影画像合成装置。
【請求項２】
請求項１に記載の撮影画像合成装置において、
前記第１の撮影モードの合成画像および前記第２の撮影モードの合成画像とが相似となるように、前記第１および第２の撮像ユニットの各々の撮影範囲の縦横比を設定することを特徴とする撮影画像合成装置。
【請求項３】
請求項１または２に記載の撮影画像合成装置において、
外部操作によって前記合成画像の撮影画角を設定する画角設定手段と、
前記画角設定手段の操作に応じて前記撮影画角を制御する画角制御手段と、を更に備え、
前記第１及び第２の撮影光学系の各々は、第１の画角とこれよりも大きな第２の画角との間で画角を調整可能なズーム光学系であり、
前記画角設定手段が前記撮影画角を前記第１の画角と前記第２の画角との間の所定の画角に設定した場合には、前記画角制御手段は、前記第１の撮影モードにおいて前記第１及び第２の撮影光学系の各々を前記所定の画角に調整し、
前記画角設定手段が前記撮影画角を前記第２の画角よりも大きな第３の画角に設定した場合には、前記画角制御手段は、前記第２の撮影モードにおいて前記第１及び第２の撮像ユニットの撮影範囲を一部重複させることによって前記第３の画角を得ることを特徴とする撮影画像合成装置。
【請求項４】
請求項３に記載の撮影画像合成装置において、
前記画角設定手段が前記合成画像の撮影画角を前記所定の画角から前記第３の画角まで連続的に設定した場合に、前記画角制御手段は、前記第１の撮影モードで前記第１及び第２の撮影光学系の各々を前記所定の画角から前記第２の画角まで調整した後に、前記第１及び第２の撮影光学系の各々を前記第２の画角からそれより小さな画角に戻すと共に、前記撮像素子回転手段によって第１及び第２の撮像素子の各々を９０°回転させ、かつ前記傾斜量変更手段によって前記第１及び第２の撮像ユニットの撮影範囲を一部重複させ、その後に前記第１及び第２の撮影光学系の画角を大きく調整することによって前記第３の画角を得ることを特徴とする撮影画像合成装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮影画像合成装置において、
前記第１および第２の撮像ユニットは、第１および第２の撮影光学系の焦点を調節するための第１および第２の焦点調節機構をそれぞれ有し、
前記焦点調節機構は、前記第1の撮影モードでは、前記第１および第２の撮像素子の出力画像の位相差に基づいて焦点調節を行い、前記第２の撮影モードでは、前記第１および第２の撮像素子のいずれかの出力画像のコントラストに基づいて焦点調節を行うことを特徴とする撮影画像合成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮影画像合成装置において、
前記第1の撮影モードの合成画像および前記第２の撮影モードの合成画像を表示する表示装置を更に備え、
前記表示装置は、前記第1の撮影モードと第２の撮影モードとの間で移行する場合、移行後の合成画像を表示するまでは移行前の合成画像を表示することを特徴とする撮影画像合成装置。
【請求項１】
第１の撮影光学系と第１の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第１の撮像ユニットと、
第２の撮影光学系と第２の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、前記第１の撮像ユニットと同一の長方形状の撮影範囲を有する第２の撮像ユニットと、
前記第１および第２の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、前記第１および第２の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、
前記第１および第２の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、
前記第１および第２の撮像素子の各出力画像から１つの合成画像を生成する合成手段と、を備え、
前記第１および第２の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第１の撮影モードと、
前記撮像素子回転手段により前記第１および第２の撮像素子を前記第1の撮影モードの状態から９０°回転させ、前記傾斜量変更手段により前記第１および第２の撮像ユニットの撮影範囲が一部重複するように前記第１および第２の撮像ユニットの傾斜量を変更して撮影を行う第２の撮影モードと、を有することを特徴とする撮影画像合成装置。
【請求項２】
請求項１に記載の撮影画像合成装置において、
前記第１の撮影モードの合成画像および前記第２の撮影モードの合成画像とが相似となるように、前記第１および第２の撮像ユニットの各々の撮影範囲の縦横比を設定することを特徴とする撮影画像合成装置。
【請求項３】
請求項１または２に記載の撮影画像合成装置において、
外部操作によって前記合成画像の撮影画角を設定する画角設定手段と、
前記画角設定手段の操作に応じて前記撮影画角を制御する画角制御手段と、を更に備え、
前記第１及び第２の撮影光学系の各々は、第１の画角とこれよりも大きな第２の画角との間で画角を調整可能なズーム光学系であり、
前記画角設定手段が前記撮影画角を前記第１の画角と前記第２の画角との間の所定の画角に設定した場合には、前記画角制御手段は、前記第１の撮影モードにおいて前記第１及び第２の撮影光学系の各々を前記所定の画角に調整し、
前記画角設定手段が前記撮影画角を前記第２の画角よりも大きな第３の画角に設定した場合には、前記画角制御手段は、前記第２の撮影モードにおいて前記第１及び第２の撮像ユニットの撮影範囲を一部重複させることによって前記第３の画角を得ることを特徴とする撮影画像合成装置。
【請求項４】
請求項３に記載の撮影画像合成装置において、
前記画角設定手段が前記合成画像の撮影画角を前記所定の画角から前記第３の画角まで連続的に設定した場合に、前記画角制御手段は、前記第１の撮影モードで前記第１及び第２の撮影光学系の各々を前記所定の画角から前記第２の画角まで調整した後に、前記第１及び第２の撮影光学系の各々を前記第２の画角からそれより小さな画角に戻すと共に、前記撮像素子回転手段によって第１及び第２の撮像素子の各々を９０°回転させ、かつ前記傾斜量変更手段によって前記第１及び第２の撮像ユニットの撮影範囲を一部重複させ、その後に前記第１及び第２の撮影光学系の画角を大きく調整することによって前記第３の画角を得ることを特徴とする撮影画像合成装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮影画像合成装置において、
前記第１および第２の撮像ユニットは、第１および第２の撮影光学系の焦点を調節するための第１および第２の焦点調節機構をそれぞれ有し、
前記焦点調節機構は、前記第1の撮影モードでは、前記第１および第２の撮像素子の出力画像の位相差に基づいて焦点調節を行い、前記第２の撮影モードでは、前記第１および第２の撮像素子のいずれかの出力画像のコントラストに基づいて焦点調節を行うことを特徴とする撮影画像合成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の撮影画像合成装置において、
前記第1の撮影モードの合成画像および前記第２の撮影モードの合成画像を表示する表示装置を更に備え、
前記表示装置は、前記第1の撮影モードと第２の撮影モードとの間で移行する場合、移行後の合成画像を表示するまでは移行前の合成画像を表示することを特徴とする撮影画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−４８２８３（Ｐ２０１１−４８２８３Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９８６４５（Ｐ２００９−１９８６４５）
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]