複眼カメラ
【課題】動画撮影によりパノラマ画像が作成可能な複眼カメラにおいて、パノラマ画像の境界における不自然な見え方を解消する。
【解決手段】
所定方向にパンニングさせながら二つの撮影部１０Ａ，１０Ｂでそれぞれ動画撮影を行う際に、一方の撮影部１０Ａの解像度を低く、フレームレートを高く設定し、他方の撮影部１０Ｂの解像度を高く、フレームレートを低く設定する。一方の撮影部１０Ａで撮影された各低解像度フレーム画像ＬＦを利用して、他方の撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦを合成して高解像度パノラマ画像ＨＰを作成する。
【解決手段】
所定方向にパンニングさせながら二つの撮影部１０Ａ，１０Ｂでそれぞれ動画撮影を行う際に、一方の撮影部１０Ａの解像度を低く、フレームレートを高く設定し、他方の撮影部１０Ｂの解像度を高く、フレームレートを低く設定する。一方の撮影部１０Ａで撮影された各低解像度フレーム画像ＬＦを利用して、他方の撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦを合成して高解像度パノラマ画像ＨＰを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼カメラに関する。より詳しくは、複眼カメラをパンニングまたはチルティングさせながら動画撮影を行い、動画撮影で得られた動画の各フレーム画像を合成してパノラマ画像が作成できる複眼カメラに関する。
【背景技術】
【０００２】
カメラをパンニングまたはチルティングさせながら動画撮影を行い、動画撮影で得られた動画からフレーム画像を抽出し、各フレーム画像を合成してパノラマ画像を作成する技術が知られている。ここで、動画とは、時系列的に連続する静止画であるフレーム画像群のことである。
【０００３】
特許文献１には、動画撮影中に加わる加速度、撮影時間を三次元ジャイロセンサ等で測定し、これらの測定データを各フレーム画像に対応させて動画の画像データとして記録し、記録された動画の画像データから測定データを抽出して各フレーム画像を合成してパノラマ画像を作成できる撮影装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１２８６８３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画撮影によって得られた動画の画像データは、所定のデータレートでカメラ内の記録メディアに転送される。ここで、データレートとは単位時間あたりのデータの転送量であり、たとえば、フレーム画像の解像度、フレームレート等により決定される。すなわち、高解像度での動画撮影を行うためには、ある程度フレームレートを低くする必要がある。
【０００６】
しかしながら、フレームレートを低くすると、隣接しあうフレーム画像間の重複部分も小さくなるため、各フレーム画像同士の位置合わせを精度良く行うことが困難になる。たとえば、小さい重複部分内に特徴部分が存在しない場合、フレーム画像同士の位置合わせは特に困難になる。フレーム画像同士の位置合わせが精度良く行えないことにより、パノラマ画像内の隣接するフレーム画像の境界に位置ずれが生じてパノラマ画像が不自然に見える虞がある。
【０００７】
特許文献１に記載されている技術では、各種センサの測定情報による位置合わせは可能であるが、より高精度な画素単位レベルでの位置合わせは困難である。本発明者は、パノラマ画像内の境界での位置ずれを低減させる方法を鋭意検討する過程において、二つの撮影部を有する複眼カメラに着目し、各撮影部からの動画の画像データをそれぞれ利用してパノラマ画像における境界の位置ずれを抑える方法を見出した。
【０００８】
本発明の目的は、上記事情に鑑み、フレーム画像同士の高精度な位置合わせを行い、パノラマ画像の不自然な見え方を解消できる複眼カメラを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の複眼カメラは、所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御する動画制御部と、一方の撮影部で撮影された低解像度フレーム画像を利用して、他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることを特徴とする。
【００１０】
ここで、「解像度を低く」とは、装置で設定可能な解像度の中で低い解像度にすることを意味し、たとえば、解像度としてＶＧＡ（６４０×４８０画素）や、ＨＤ（１３６６×７６８画素）が設定可能である場合に、ＶＧＡ（６４０×４８０画素）または、それよりも低い解像度に設定することを意味する。上記「解像度を高く」とは、同様に装置で設定可能な解像度の中で高い解像度にすることを意味し、上記の例において、ＨＤ（１３６６×７６８画素）や、それを越える３Ｍ（２０４８×１５３１画素）等に設定する意味である。
【００１１】
上記「フレームレートを高く」とは、装置で設定可能なフレームレートの中で高いフレームレートにすることを意味し、たとえば、フレームレートとして５ｆｐｓや、３０ｆｐｓが設定可能である場合に、３０ｆｐｓまたは、それを越えるフレームレートに設定することを意味する。上記「フレームレートを低く」とは、同様に、装置で設定可能なフレームレートの中で低いフレームレートにすることを意味し、上記の例において、５ｆｐｓや、それより低いフレームレートに設定することを意味する。
【００１２】
また、本発明の複眼カメラは、パノラマ合成部が、一方の撮影部で撮影された低解像度フレーム画像を合成して低解像度パノラマ画像を作成し、この低解像度パノラマ画像に、他方の撮影部で撮影された高解像度フレーム画像を一致させて高解像度パノラマ画像を作成するものであってもよい。
【００１３】
また、本発明の複眼カメラは、パノラマ合成部が、隣接しあう一方の撮影部で撮影された低解像度フレーム画像間の相対位置を取得し、この取得された相対位置から他方の撮影部で撮影された高解像度フレーム画像間の相対位置を算出して高解像度パノラマ画像を作成するものであってもよい。
【００１４】
本発明の複眼カメラは、パンニングの方向を検出するパンンング方向検出部をさらに備え、動画制御部が、二つの撮影部のうち、パンニング方向先方側の撮影部の解像度を低く、フレームレートを高く、後方側の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御するものであってもよい。
【００１５】
本発明の複眼カメラは、動画制御部が、動画撮影の開始時および／または終了時の撮影に際し、二つの撮影部の解像度をともに高く設定し、高解像度パノラマ画像に動画撮影の開始時および／または終了時に二つの撮影部で撮影された高解像度の両フレーム画像をさらに合成して高解像度パノラマ画像を作成するよう、動画設定部およびパノラマ合成部を制御可能なものであってもよい。
【００１６】
また、本発明の複眼カメラは、動画制御部が、チルティングの場合に、二つの撮影部の解像度を高く、フレームレートを低く設定し、二つの撮影部で撮影された各高解像度フレーム画像を合成して高解像度パノラマ画像を作成するよう、動画設定部およびパノラマ合成部を制御可能なものであってもよい。
【００１７】
また、本発明の複眼カメラは、一方の撮影部で撮影された動画を表示する表示部をさらに備えているものであってもよい。
【００１８】
また、本発明の複眼カメラは、表示部が、パノラマ合成部により作成された高解像度パノラマ画像の合成結果をさらに表示するものであってもよい。ここで、「合成結果」とは、高解像度パノラマ画像の合成の進捗状況を意味するものである。
【発明の効果】
【００１９】
本発明の複眼カメラによれば、所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く設定し、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御する動画制御部と、一方の撮影部で撮影された低解像度フレーム画像を利用して、他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることにより、重複部分が大きく、高精度の位置合わせが可能な低解像度フレームを利用して、高解像度フレーム画像同士の高精度な位置合わせが可能となり、パノラマ画像の不自然な見え方を解消できる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の複眼カメラの内部構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示す図
【図３】第１の実施形態におけるパノラマ合成処理を示す図
【図４】第２の実施形態において行われる処理を示す図
【図５】第２の実施形態におけるパノラマ合成処理を示す図
【図６】第３の実施形態の複眼カメラの内部構成を示すブロック図
【図７】第３の実施形態において行われる処理を示す図
【図８Ａ】第４の実施形態において行われる処理を示す図（その１）
【図８Ｂ】第４の実施形態において行われる処理を示す図（その２）
【図９】第４の実施形態におけるパノラマ合成処理を示す図
【図１０】第５の実施形態において行われる処理を示す図
【図１１】第５の実施形態におけるパノラマ合成処理を示す図
【図１２】第６の実施形態において行われる処理を示す図
【図１３】第７の実施形態において行われる処理を示す図
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態である複眼カメラ１の内部構成を示す概略ブロック図である。図１に示すように複眼カメラ１は、レリーズボタンおよびモードダイヤル等を含む操作部２を有する。
【００２２】
撮影部１０Ａ，１０Ｂは、所定距離離れた異なる視点から被写体Ｍを撮影するよう、所定距離離れて複眼カメラ１に一体的に固設されている。なお、本実施形態において、複眼カメラ１はパンニングされるものであり、撮影部１０Ａがパンニング方向先方側、撮影部１０Ｂがパンニング方向後方側にそれぞれ固設されているものとする。
【００２３】
撮影部１０Ａ，１０Ｂは、フォーカスレンズおよびズームレンズからなる撮影レンズ１２Ａ，１２Ｂを有する。撮影レンズ１２Ａ，１２Ｂを構成するフォーカスレンズおよびズームレンズは、レンズ駆動部１３Ａ，１３Ｂによって光軸方向に移動可能である。
【００２４】
絞り１４Ａ，１４Ｂは絞り駆動部１５Ａ，１５Ｂによって駆動される。絞り駆動部１５Ａ，１５Ｂは、後述するＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。
【００２５】
シャッタ１６Ａ，１６Ｂはメカニカルシャッタであり、シャッタ駆動部１７Ａ，１７Ｂによって駆動される。シャッタ駆動部１７Ａ，１７Ｂは、不図示のレリーズボタンが押されることにより発生する信号と、後述するＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードとに応じてシャッタ１６Ａ，１６Ｂの開閉制御を行う。
【００２６】
シャッタ１６Ａ，１６Ｂの後方には撮像素子であるＣＣＤ１８Ａ，１８Ｂを有している。ＣＣＤ１８Ａ，１８Ｂは、多数の受光素子を二次元的に配列した光電面を有しており、撮影レンズ１２Ａ，１２Ｂ等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。
【００２７】
ＣＣＤ１８Ａ，１８Ｂは、ＣＣＤ制御部１９Ａ，１９Ｂから供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち露光時間は、ＣＣＤ制御部１９Ａ，１９Ｂから与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８Ａ，１８ＢはＣＣＤ制御部１９Ａ，１９Ｂにより、予め定められた大きさのアナログ撮影信号が得られるようにゲインが調整されている。
【００２８】
ＣＣＤ１８Ａ，１８Ｂから取り込まれたアナログ撮影信号は、アナログ信号処理部２０Ａ，２０Ｂに入力される。アナログ信号処理部２０Ａ，２０Ｂは、アナログ信号のノイズを除去する相関二重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調整するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０Ａ，２０Ｂが行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００２９】
タイミングジェネレータ２１Ａ，２１Ｂは、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７Ａ，１７Ｂ、ＣＣＤ制御部１９Ａ，１９Ｂ、アナログ信号処理部２０Ａ，２０Ｂに供給することにより、レリーズボタンの操作、シャッタの開閉、ＣＣＤ１８Ａ，１８Ｂの電荷の取り込み、およびアナログ信号処理部２０Ａ，２０Ｂの処理の同期をとっている。
【００３０】
画像入力コントローラ２５は、アナログ信号処理部２０Ａ，２０Ｂから入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込むものである。フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、たとえば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００３１】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画としてモニタ２８に表示させたり、再生時に記録メディア３５に保存されている静止画や動画を表示させたりするものである。
【００３２】
ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定するものである。ここで、プレ画像とは、不図示のレリーズボタンが半押しされることによって発生する半押し信号を検出した後述する撮影制御部４２がＣＣＤ１８Ａ，１８Ｂにプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００３３】
ＡＦ処理部３０は、プレ画像に基づいて焦点距離を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、たとえば、所望とする被写体Ｍにピントがあった状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００３４】
ＡＥ／ＡＷＢ処理部３１は、ブレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて、撮影した画像が所望とする明るさになるように、ＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。
【００３５】
画像処理部３２は、画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、およびＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。なお、画像処理部３２は、動画撮影により得られた動画の画像データに対しても必要な処理を行う。
【００３６】
圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像の画像データに対して、たとえば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを作成する。この画像ファイルには、ＥＸｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、動画撮影モードにおける撮影時には、圧縮／伸長処理部は、動画撮影で得られた動画の画像データをモーションＪＰＥＧ，ＭＰＥＧ１，２，４およびＨ．２６４等の圧縮方式にて圧縮し、動画の画像ファイルを作成する。
【００３７】
メディア制御部３４は、記録メディア３５にアクセスして動画の画像ファイルを含む画像ファイルの書き込みと読み込みの制御を行う。また、メディア制御部３４は、記録メディア３５の容量を取得する。
【００３８】
内部メモリ３６は、複眼カメラ１において設定される各種定数、および撮影制御部４２が実行するプログラム等を記録する。
【００３９】
入出力部３７は、傾きを検出する三次元ジャイロ３８および方向を含む加速度を検出する三次元加速度センサ３９からの測定情報を取り組むものである。
【００４０】
動画設定部４０は、動画撮影を行う際に、後述する撮影制御部４２の指示に従って、撮影部１０Ａ，１０Ｂからの各動画の画像データに対して解像度およびフレームレートを設定するものである。たとえば、動画設定部４０は撮影部１０Ａ，１０Ｂに対し、ＶＧＡ（６４０×４８０画素）、ＨＤ（１３６６×７６８画素）および３Ｍ（２０４８×１５３１画素）の設定が可能であり、フレームレート５ｆｐｓおよび３０ｆｐｓの設定が可能なものである。本明細書で説明する実施形態については、一例としてＶＧＡ（６４０×４８０画素）を低解像度、ＨＤ（１３６６×７６８画素）を高解像度、５ｆｐｓを低フレームレートおよび３０ｆｐｓを高フレームレートとして説明する。なお、動画設定部４０が、撮影部１０Ａ，１０Ｂの解像度およびフレームレートをどのように設定するかについては後で詳細に説明する。
【００４１】
複眼カメラ１は、動画撮影により得られた動画からパノラマ画像を作成することが可能である。ここで、本明細書の実施形態では、動画からパノラマ画像を作成する際には、隣接しあうフレーム画像は必ず重複部分を有するものとする。また、特に説明のない限り、本明細書の実施形態におけるパノラマ画像を作成する動画撮影は、複眼カメラ１をパンニングしながら撮影するものとする。
【００４２】
パノラマ合成部４１は、撮影部１０Ａ，１０Ｂで動画撮影された動画の画像データからフレーム画像のデータを分離し、各フレーム画像のデータに対して、フレーム画像の重複分を位置合わせしてパノラマ画像を作成する画像処理を施すものである。なお、パノラマ合成部４１が、撮影部１０Ａ，１０Ｂで撮影されたフレーム画像をどのように合成してパノラマ画像を作成しているかについては後で詳細に説明する。
【００４３】
撮影制御部４２は各種処理部からの信号に応じて複眼カメラ１の本体各部を制御するものである。また、撮影制御部４２は、動画撮影モードの指示、パノラマ画像作成の指示およびパンニングまたはチルティングであるかの指示等の設定を操作部２から受け付ける。この設定結果は内部メモリ３６に記憶される。なお、撮影制御部４２が動画撮影時の本体各部を制御する動画制御部でもあることは言うまでもない。
【００４４】
撮影制御部４２は、撮影部１０Ａ，１０Ｂの解像度およびフレームレートを設定し、撮影部１０Ａ，１０Ｂで撮影された動画からフレーム画像を分離し、パノラマ画像を作成するよう、動画設定部４０およびパノラマ合成部４１を含む複眼カメラ１の各部を制御する。
【００４５】
データバス４３は、各種処理部、フレームメモリ２６および撮影制御部４２に接続されており、画像データおよび各種指示等のやり取りを行う。
【００４６】
次いで、第１の実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示す図、図３は第１の実施形態におけるパノラマ合成処理を示す図である。不図示のモードダイヤルを操作してパノラマ画像が作成可能な動画モードに設定することにより、撮影制御部４２が、パノラマ画像を作成する動画撮影に関する各部の処理を開始する。
【００４７】
撮影制御部４２は、撮影部１０Ａを低解像度且つ高フレームレートに設定し、撮影部１０Ｂを高解像度且つ低フレームレートに設定するよう、動画設定部４０を制御する。動画設定部４０は、予め記録されている解像度およびフレームレートの設定値から、撮影部１０Ａを低解像度且つ高フレームレート、撮影部１０Ｂを高解像度且つ低フレームレートに設定する。本願の実施形態では、前述の通り、一例としてＶＧＡ（６４０×４８０画素）を低解像度、ＨＤ（１３６６×７６８画素）を高解像度、５ｆｐｓを低フレームレートおよび３０ｆｐｓを高フレームレートとする。
【００４８】
撮影制御部４２は、ユーザが不図示のレリーズボタンを押すことにより、動画撮影を開始するよう、撮影部１０Ａ，１０Ｂを制御し、撮影部１０Ａ，１０Ｂが動画撮影を開始する。動画撮影中において、撮影制御部４２は、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦから低解像度パノラマ画像ＬＰを作成し、この低解像度パノラマ画像ＬＰに、撮影部１０Ｂで撮影された各高解像度フレーム画像ＨＦを一致させることにより、高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００４９】
パノラマ合成部４１は、撮影部１０Ａで撮影された動画の画像データから最初に撮影された低解像度フレーム画像ＬＦ１の画像データを分離し、次に時系列的に連続することにより、隣接する低解像度フレーム画像ＬＦ２の画像データを分離させる。パノラマ合成部４１は、低解像度フレーム画像ＬＦ１，ＬＦ２の各画像データに対して、低解像度フレーム画像ＬＦ１，ＬＦ２を左右方向および上下方向に移動させる画像処理を行い、低解像度フレーム画像ＬＦの重複部分ＣＰを一致させて位置合わせする。図３に示すように、高フレームレートの撮影部１０Ａで撮影された低解像度フレーム画像ＬＦ１，ＬＦ２は重複部分ＣＰが大きく、精度良く位置合わせがされる。
【００５０】
パノラマ合成部４１は、重複部分ＣＰが一致した状態で低解像度フレーム画像ＬＦ１，ＬＦ２を合成して低解像度パノラマ画像ＬＰ１を作成する画像処理を行う。動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離し、作成済みの低解像度パノラマ画像ＬＰ１，２，，の画像データと分離した低解像度フレーム画像ＬＦ３，４，，の画像データとに対して上記の処理を繰り返すことにより、低解像度パノラマ画像ＬＰの画格を順次広げる。
【００５１】
パノラマ合成部４１は、撮影部１０Ｂで撮影された動画の画像データから高解像度フレーム画像ＨＦ１の画像データを分離し、高解像度フレーム画像ＨＦ１の画像データと低解像度パノラマ画像ＬＰの画像データに対して、両画像を左右方向および上下方向に移動させる画像処理を行い、両画像の重複部分ＣＰを一致させて位置合わせする。
【００５２】
パノラマ合成部４１は、隣接する高解像度フレーム画像ＨＦ２の画像データを分離し、同様に、高解像度フレーム画像ＨＦ２と低解像度パノラマ画像ＬＰの重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、高解像度フレーム画像ＨＦ１，ＨＦ２を低解像度パノラマ画像ＬＰの重複部分ＣＰと一致させた状態で高解像度フレーム画像ＨＦ１，ＨＦ２を合成して高解像度パノラマ画像ＨＰ１を作成する画像処理を行う。
【００５３】
動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離し、作成済みの低解像度パノラマ画像ＬＰ１，２，，の画像データと分離した低解像度フレーム画像ＬＦ３，４，，の画像データに対して上記の処理を繰り返すことにより、高解像度パノラマ画像ＨＰの画格を順次広げる
【００５４】
撮影制御部４２は、ユーザが不図示のレリーズボタンをリリースすることにより、動画撮影を終了させる。また、撮影制御部４２は、入出力部３７からの三次元ジャイロ３８および三次元加速度センサ３９からの測定情報を使用して、パンニングが終了していると判断した場合、ユーザが設定した画格範囲の動画撮影が終了したと判断した場合および３６０度のパンニングが終了したと判断した場合に、動画撮影を終了させてもよい。
【００５５】
第１の実施形態においては、動画撮影中に、低解像度パノラマ画像ＬＰおよび高解像度パノラマ画像ＨＰを作成しているが、動画撮影終了後に、低解像度パノラマ画像ＬＰおよび高解像度パノラマ画像ＨＰを作成するようにしてもよい。この場合、低解像度パノラマ画像ＬＰを作成した後、高解像度パノラマ画像ＨＰの作成を開始してもよく、ある程度、低解像度パノラマ画像ＬＰを作成した段階で高解像度パノラマ画像ＨＰの作成を開始してもよい。なお、撮影制御部４２の処理の開始、動画撮影の開始および動画撮影の終了は、他の実施形態においても同じであり、以下に述べる実施形態での説明では省略する。
【００５６】
このように、上記第１の実施形態によれば、低解像度フレーム画像ＬＦを使用して低解像度パノラマ画像ＬＰを作成し、この低解像度パノラマ画像ＬＰに高解像度フレーム画像ＨＦを一致させることにより、高解像度フレーム画像ＨＦを高精度に位置合わせして高解像度パノラマ画像ＨＰの作成が可能である。これにより、高解像度パノラマ画像ＨＰが不自然に見えることを解消できる。また、上記第１の実施形態によれば、撮影部１０Ａ，１０Ｂのフレームレート差を気にすることなく、高解像度パノラマ画像ＨＰの作成が可能である。
【００５７】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００５８】
次いで、第２の実施形態において行われる処理について説明する。図４は第２の実施形態において行われる処理を示す図、図５は第２の実施形態におけるパノラマ合成処理を示す図である。なお、第２の実施形態においては、パノラマ合成部４１および撮影制御部４２のパノラマ合成部４１に対する処理のみが相違するため、相違する処理についてのみ説明して他の処理ついての詳細な説明を省略する。
【００５９】
本実施形態では、前述の通り、低フレームレートが３０ｆｐｓ、高フレームレートが５ｆｐｓである。また、高解像度フレーム画像ＨＦ１，ＨＦ２，ＨＦ３，の撮影タイミングが低解像度フレーム画像ＬＦ１，ＬＦ７，ＬＦ１３，の撮影タイミングと一致するように互いに同期しているものする。すなわち高解像度フレーム画像ＨＦが撮影され、次の高解像度フレーム画像ＨＦが撮影されるまでの間に６枚の低解像度フレーム画像ＬＦが撮影される。
【００６０】
撮影制御部４２は、動画撮影中において、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦから低解像度フレーム画像ＬＦ間の相対位置を算出し、この低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置を算出して、この高解像度フレーム画像ＨＦ間の相対位置を使用して高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００６１】
パノラマ合成部４１は、第１の実施形態と同様に、撮影部１０Ａで撮影された動画の画像データから最初の低解像度フレーム画像ＬＦ１の画像データを分離し、次に隣接する低解像度フレーム画像ＬＦ２の画像データを分離する。
【００６２】
パノラマ合成部４１は、各低解像度フレーム画像ＬＦ１，ＬＦ２の画像データに対して重複部分ＣＰを検出する画像処理を行い、この重複部分ＣＰ内の特徴領域の画素の座標から低解像度フレーム画像ＬＦ間の相対位置を算出する。具体的に、パノラマ合成部４１は、図５に示すように、各低解像度フレーム画像ＬＦ１，ＬＦ２の左下を原点とする１画素単位での座標系を設定し、重複部分ＣＰ内の特徴部分が、低解像度フレーム画像ＬＦ１では（Ｘ１，Ｙ１）座標の画素、低解像度フレーム画像ＬＦ２では（Ｘ２，Ｙ２）座標の画素に表示されていた場合に、（Ｘ２，Ｙ２）から（Ｘ１，Ｙ１）を差分して低解像度フレーム画像ＬＦ２の低解像度フレーム画像ＬＦ１に対する相対位置（ΔＸ１，ΔＹ１）を算出する。
【００６３】
動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離して上記の処理を繰り返すことにより、低解像度フレーム画像ＬＦ間の相対位置（ΔＸ１，ΔＹ１）,（ΔＸ２，ΔＹ２），，，（ΔＸｎ，ΔＹｎ）を順次算出する。
【００６４】
パノラマ合成部４１は、算出された低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置を算出する。低解像度フレーム画像ＬＦ間の相対位置（ΔＸ１，ΔＹ１）から（ΔＸ６，ΔＹ６）までを加算し、解像度違いによる画素比率を換算して高解像度フレーム画像ＨＦ１，ＨＦ２の相対位置を算出する。パノラマ合成部４１は上記の処理を繰り返して高解像度フレーム画像ＨＦの相対位置を順次算出する。
【００６５】
パノラマ合成部４１は、算出された高解像度フレーム画像ＨＦの相対位置を使用して、高解像度フレーム画像ＨＦを重ね合わせて合成することにより、高解像度パノラマ画像ＨＰを作成する。
【００６６】
なお、上記の第２の実施形態において、仮に撮影部１０Ａ，１０Ｂの撮影タイミングが同期していない場合、高解像度フレーム画像ＨＦ１，ＨＦ２間のパンニング方向と垂直な方向の位置合わせに関しては、低解像度フレーム画像ＬＦ間の相対位置ΔＹ１からΔＹ６までの平均値と、ΔＹ７からΔＹ１２までの平均値とを差分した値を使用して、高解像度フレーム画像ＨＦ１，ＨＦ２間のパンニング方向に垂直な方向の位置合わせをしてもよい。
【００６７】
このように、上記第２の実施形態によれば、低解像度フレーム画像ＬＦを使用して低解像度フレーム画像ＬＦ間の相対位置が算出し、低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置をさらに算出することにより、高解像度フレーム画像ＨＦ同士を精度良く位置合わせして高解像度パノラマ画像ＨＰの作成が可能である。これにより、高解像度パノラマ画像ＨＰが不自然に見えることを解消できる。また、上記第２の実施形態によれば、低解像度フレーム画像ＬＦの画像データに対して低解像度パノラマ画像ＬＰの作成する画像処理を施す必要がなく、短時間で高解像度パノラマ画像ＨＰの作成が可能となる。
【００６８】
次いで、本発明の第３の実施形態について説明する。図６は本発明の第３の実施形態である複眼カメラ１の内部構成を示す概略ブロック図である。第３の実施形態による複眼カメラ１は、図６に示す通り、パンニング方向判別部４４を備えている点においてのみ第１の実施形態の構成と相違するため、相違する構成についてのみ説明し、他の構成についての詳細な説明を省略する。
【００６９】
パンニング方向判別部４４は、ユーザによるパンニング方向の設定、各種センサからの測定情報および動画撮影開始直前のスルー画の画像処理によってパンニングの方向を判別するものである。
【００７０】
複眼カメラ１の動作モードがパノラマ画像作成する動画モードに設定された際、パンニング方向も設定された場合は、パンニング方向判別部４４は、設定されたパンニング方向を撮影制御部４２に供給する。
【００７１】
また、パンニング方向が未設定の場合は、動画撮影の開始直前に複眼カメラ１を一定時間一定方向にパンニングさせることにより、パンニング方向判別部４４は、入出力部３７からの測定情報によりパンニング方向を判別して撮影制御部４２に供給することもできる。
【００７２】
さらに、パンニング方向が未設定の場合は、動画撮影を開始に複眼カメラ１を一定時間一定方向にパンニングさせることにより、パンニング方向判別部４４は、スルー画の画像データの動きベクトルによりパンニング方向を判別して撮影制御部４２に供給することもできる。
【００７３】
次いで、第３の実施形態において行われる処理について説明する。図７は第３の実施形態において行われる処理を示す図である。なお、第３の実施形態においては、パンニング方向判別部４４の処理、撮影制御部４２の動画設定部４０への処理のみが第１または第２の実施形態と相違するため、相違する処理についてのみ説明し、他の処理についての詳細な説明を省略する。
【００７４】
パンニング方向判別部４４は、パノラマ画像を作成する動画モードが設定された後、前述の通り、パンニング方向の設定、動画撮影直前の測定情報およびスルー画像の画像処理により、パンニング方向を判別する。パンニング方向判別部４４は、判別されたパンニング方向を撮影制御部４２に供給する。
【００７５】
撮影制御部４２は、図７に示すように、供給されたパンニング方向の情報からパンニング方向先方側の撮影部１０Ａを低解像度且つ高フレームレート、パンニング方向後方側の撮影部１０Ｂを高解像度および低フレームレートに設定するよう、動画設定部４０を制御する。
【００７６】
このように、第３の実施形態における処理によれば、低解像度フレーム画像ＬＦがパンニング方向先方側のフレーム画像になり、パンニング方向後方側の高解像度フレーム画像ＨＦよりも早くパンニング方向先方の被写体Ｍを撮影することができるため、パノラマ合成部４１が高解像度フレーム画像ＨＦに対して第１または第２の実施形態のパノラマ合成処理を施す際に、必要な低解像度フレーム画像ＬＦが既に撮影されていることにより、これらの処理を効率良く行うことができる。
【００７７】
次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００７８】
次いで、本発明の第４の実施形態において行われる処理について説明する。図８Ａおよび図８Ｂは第４の実施形態において行われる処理を示す図である。図９は第４の実施形態におけるパノラマ合成処理を示す図である。
【００７９】
撮影制御部４２は、動画撮影開始時および動画撮影終了時の撮影については、撮影部１０Ａ，１０Ｂの解像度をともに高解像度に設定する。ここで、動画撮影開始時および動画撮影終了時の撮影とは、最初および最後のフレームレートの撮影のことである。撮影制御部４２は、最初の動画撮影以降から最後の動画撮影前までの動画撮影については、第１の実施形態と同様に、撮影部１０Ａを低解像度且つ高フレームレートに設定し、撮影部１０Ｂを高解像度且つ低フレームレートに設定するよう、動画設定部４０を制御する。
【００８０】
動画設定部４０は、予め記録されている解像度およびフレームレートの設定値に基づいて、動画撮影開始時および動画撮影終了時の撮影については、撮影部１０Ａ，１０Ｂをともに高解像度に設定し、最初の動画撮影以降から最後の動画撮影前までの動画撮影については、撮影部１０Ａを低解像度且つ高フレームレート、撮影部１０Ｂを高解像度且つ低フレームレートに設定する。
【００８１】
撮影制御部４２は、撮影部１０Ａ，１０Ｂで撮影開始時の高解像度フレーム画像ＨＦを使用して、撮影開始時のパノラマ画像ＨＰｉを作成するよう、パノラマ合成部４１を制御する。
【００８２】
パノラマ合成部４１は、撮影部１０Ａ，１０Ｂで撮影された動画の画像データから最初の高解像度フレーム画像ＨＰｉの画像データを分離し、分離された高解像度フレーム画像ＨＦｉの画像データに対して、各高解像度フレーム画像ＨＦｉを左右方向および上下方向に移動させる位置合わせを行い、各高解像度フレーム画像ＨＦｉの重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、重複部分ＣＰが一致した状態で高解像度フレーム画像ＨＦｉ同士を合成して撮影開始時のパノラマ画像ＨＰｉを作成する。
【００８３】
撮影制御部４２は、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦを使用して、第１の実施形態または第２の実施形態と同様に、撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦから高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、第１の実施形態または第２の実施形態と同様に、高解像度パノラマ画像ＨＰを作成する。
【００８４】
撮影制御部４２は、撮影部１０Ａ，１０Ｂで撮影終了時に撮影された高解像度フレーム画像ＨＦｅを使用して、撮影終了時のパノラマ画像ＨＰｅを作成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、撮影開始時のパノラマ画像ＨＰｉと同様の処理を行い、撮影終了時のパノラマ画像ＨＰｅを作成する。
【００８５】
撮影制御部４２は、撮影開始時および撮影終了時のパノラマ画像ＨＰｉ，ＨＰｅを高解像度パノラマ画像ＨＰに合成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、同様の処理により、撮影開始時のパノラマ画像ＨＰｉを高解像度パノラマ画像の撮影開始時側、撮影終了時のパノラマ画像ＨＰｅを高解像度パノラマ画像の撮影終了時側でそれぞれ合成して高解像度パノラマ画像ＨＰの画格を広げる。なお、第４の実施形態における複眼カメラ１は、動画撮影開始時または動画撮影終了時のいずれか一方について、撮影部１０Ａ，１０Ｂをともに高解像度に設定し、撮影開始時のパノラマ画像ＨＰｉまたは撮影終了時のパノラマ画像ＨＰeを使用して高解像度パノラマ画像ＨＰの画格を広げてもよい。
【００８６】
このように、上記第４の実施形態によれば、動画撮影開始時および／または動画撮影終了時に撮影された高解像度フレーム画像ＨＦｉ，ＨＦｅを使用して、高解像度パノラマ画像ＨＰの画格を広げることが可能である。
【００８７】
次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００８８】
次いで、本発明の第５の実施形態において行われる処理について説明する。図１０は第５の実施形態において行われる処理を示す図である。図１１は第５の実施形態におけるパノラマ合成処理を示す図である。
【００８９】
撮影制御部４２は、不図示のモードダイヤルにより、チルティングによるパノラマ画像が作成可能な動画撮影モードが設定された場合、撮影部１０Ａ，１０Ｂを高解像度且つ高フレームレートに設定するよう、動画設定部４０を制御する。動画設定部４０は、予め記録されている解像度およびフレームレートの設定値に基づいて、撮影部１０Ａ，１０Ｂを高解像度且つ低フレームレートに設定する。
【００９０】
撮影制御部４２は、図１０および図１１に示すように、動画撮影中において、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦから高解像度パノラマ画像ＨＰを作成し、撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦからも高解像度パノラマ画像ＨＰを作成し、最後に二つの高解像度フレーム画像ＨＦを合成して高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００９１】
パノラマ合成部４１は、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦの画像データを分離し、次に隣接する高解像度フレーム画像ＨＦの画像データを分離させる。パノラマ合成部４１は、各高解像度フレーム画像ＨＦの画像データに対して、各高解像度フレーム画像ＨＦを左右方向および上下方向に移動させる位置合わせを行い、重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、重複部分ＣＰが一致した状態で高解像度フレーム画像ＨＦ同士を合成して高解像度パノラマ画像ＨＰを作成する。
【００９２】
パノラマ合成部４１は、撮影部１０Ａの動画の画像データから高解像度フレーム画像ＨＦを分離し、作成済みの高解像度パノラマ画像ＨＰの画像データと位置合わせして合成する処理を繰り返し、高解像度パノラマ画像ＨＰの画格を広げる。パノラマ合成部４１は、撮影部１０Ｂで撮影された動画の画像データに対しても同じ処理を行う。
【００９３】
パノラマ合成部４１は、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦからなる高解像度パノラマ画像ＨＰと撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦからなる高解像度パノラマ画像ＨＰとを位置合わせをした後、合成して高解像度パノラマ画像ＨＰを作成する。なお、第５の実施形態において、撮影部１０Ａと撮影部１０Ｂのフレーム画像の撮影タイミングは同一であり、同じタイミングで撮影された撮影部１０Ａのフレーム画像と撮影部１０Ｂのフレーム画像は互いに重複部分ＣＰを有するものとする。
【００９４】
このように、上記第５の実施形態によれば、複眼カメラ１は、チルティングによる動画撮影によっても高解像度パノラマ画像ＨＰを作成可能にできる。
【００９５】
次いで、本発明の第６の実施形態について説明する。なお、第６の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００９６】
次いで、第６の実施形態において行われる処理について説明する。図１２は第６の実施形態において行われる処理を示す図である。第６の実施形態においては、撮影部１０Ａで撮影された動画を表示部に表示させる処理のみが相違するため、相違する処理についてのみ説明して他の処理についての詳細な説明を省略する。
【００９７】
表示制御部２７は、図１２に示す通り、撮影Ａで撮影されている動画をモニタ２８に表示させる。
【００９８】
また、第６の実施形態による処理は、第２乃至第５の実施形態において適用可能である。さらに、第６の実施形態においては、低解像度パノラマ画像ＬＰを表示させることにより、ユーザが高解像度パノラマ画像ＨＰの構図を視認することもできる。
【００９９】
このように、上記第６の実施形態によれば、ユーザが撮影部１０Ａで撮影された高フレームレートの動画をモニタ２８で見ることにより、動画撮影中のパンニング速度の変動や、パンニング方向と垂直な方向の手ぶれ等を視認できるため、撮影部１０Ａ，１０Ｂで撮影された各フレーム画像間における真の相対位置からの位置ずれが低減されて高精度の位置合わせが可能となる。
【０１００】
次いで、本発明の第７の実施形態について説明する。なお、第６の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【０１０１】
次いで、本発明の第７の実施形態において行われる処理について説明する。図１３は第７の実施形態において行われる処理を示す図である。なお、第７の実施形態においては、第６の実施形態における処理において、表示制御部２７が、高解像度パノラマ画像ＨＰの合成結果を表示する点のみが相違し、相違する処理についてのみ説明して他の処理についての詳細な説明を省略する。
【０１０２】
表示制御部２７は、高解像度パノラマ画像ＨＰの合成結果をモニタ２８に表示することが可能なものである。ここで、合成結果とは高解像度パノラマ画像ＨＰの合成状況である。第７の実施形態においては、図１３に示す通り、第１の実施形態と同様の処理により、低解像度パノラマ画像ＬＰを作成した後、この低解像度パノラマ画像ＬＰに高解像度パノラマ画像ＨＰの作成済みの範囲をマーキングしてモニタ２８に表示する。なお、合成結果の表示方法は、動画撮影された画格に対する作成済み高解像度パノラマ画像ＨＰの割合の数値表示やインジケータ表示等であってもよい。
【０１０３】
このように、上記第７の実施形態によれば、ユーザは動画撮影中に高解像度パノラマ画像ＨＰの合成結果を確認しながら、動画撮影することができる。
【符号の説明】
【０１０４】
ＨＦ 高解像度フレーム画像
ＨＰ 高解像度パノラマ画像
ＬＦ 低解像度フレーム画像
ＬＰ 低解像度パノラマ画像
Ｍ 被写体
１ 複眼カメラ
１０ 撮影部
２８ モニタ
４０ 動画設定部
４１ 撮影制御部
４２ パノラマ合成部
４４ パンニング方向判別部
【技術分野】
【０００１】
本発明は、複眼カメラに関する。より詳しくは、複眼カメラをパンニングまたはチルティングさせながら動画撮影を行い、動画撮影で得られた動画の各フレーム画像を合成してパノラマ画像が作成できる複眼カメラに関する。
【背景技術】
【０００２】
カメラをパンニングまたはチルティングさせながら動画撮影を行い、動画撮影で得られた動画からフレーム画像を抽出し、各フレーム画像を合成してパノラマ画像を作成する技術が知られている。ここで、動画とは、時系列的に連続する静止画であるフレーム画像群のことである。
【０００３】
特許文献１には、動画撮影中に加わる加速度、撮影時間を三次元ジャイロセンサ等で測定し、これらの測定データを各フレーム画像に対応させて動画の画像データとして記録し、記録された動画の画像データから測定データを抽出して各フレーム画像を合成してパノラマ画像を作成できる撮影装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１２８６８３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画撮影によって得られた動画の画像データは、所定のデータレートでカメラ内の記録メディアに転送される。ここで、データレートとは単位時間あたりのデータの転送量であり、たとえば、フレーム画像の解像度、フレームレート等により決定される。すなわち、高解像度での動画撮影を行うためには、ある程度フレームレートを低くする必要がある。
【０００６】
しかしながら、フレームレートを低くすると、隣接しあうフレーム画像間の重複部分も小さくなるため、各フレーム画像同士の位置合わせを精度良く行うことが困難になる。たとえば、小さい重複部分内に特徴部分が存在しない場合、フレーム画像同士の位置合わせは特に困難になる。フレーム画像同士の位置合わせが精度良く行えないことにより、パノラマ画像内の隣接するフレーム画像の境界に位置ずれが生じてパノラマ画像が不自然に見える虞がある。
【０００７】
特許文献１に記載されている技術では、各種センサの測定情報による位置合わせは可能であるが、より高精度な画素単位レベルでの位置合わせは困難である。本発明者は、パノラマ画像内の境界での位置ずれを低減させる方法を鋭意検討する過程において、二つの撮影部を有する複眼カメラに着目し、各撮影部からの動画の画像データをそれぞれ利用してパノラマ画像における境界の位置ずれを抑える方法を見出した。
【０００８】
本発明の目的は、上記事情に鑑み、フレーム画像同士の高精度な位置合わせを行い、パノラマ画像の不自然な見え方を解消できる複眼カメラを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の複眼カメラは、所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御する動画制御部と、一方の撮影部で撮影された低解像度フレーム画像を利用して、他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることを特徴とする。
【００１０】
ここで、「解像度を低く」とは、装置で設定可能な解像度の中で低い解像度にすることを意味し、たとえば、解像度としてＶＧＡ（６４０×４８０画素）や、ＨＤ（１３６６×７６８画素）が設定可能である場合に、ＶＧＡ（６４０×４８０画素）または、それよりも低い解像度に設定することを意味する。上記「解像度を高く」とは、同様に装置で設定可能な解像度の中で高い解像度にすることを意味し、上記の例において、ＨＤ（１３６６×７６８画素）や、それを越える３Ｍ（２０４８×１５３１画素）等に設定する意味である。
【００１１】
上記「フレームレートを高く」とは、装置で設定可能なフレームレートの中で高いフレームレートにすることを意味し、たとえば、フレームレートとして５ｆｐｓや、３０ｆｐｓが設定可能である場合に、３０ｆｐｓまたは、それを越えるフレームレートに設定することを意味する。上記「フレームレートを低く」とは、同様に、装置で設定可能なフレームレートの中で低いフレームレートにすることを意味し、上記の例において、５ｆｐｓや、それより低いフレームレートに設定することを意味する。
【００１２】
また、本発明の複眼カメラは、パノラマ合成部が、一方の撮影部で撮影された低解像度フレーム画像を合成して低解像度パノラマ画像を作成し、この低解像度パノラマ画像に、他方の撮影部で撮影された高解像度フレーム画像を一致させて高解像度パノラマ画像を作成するものであってもよい。
【００１３】
また、本発明の複眼カメラは、パノラマ合成部が、隣接しあう一方の撮影部で撮影された低解像度フレーム画像間の相対位置を取得し、この取得された相対位置から他方の撮影部で撮影された高解像度フレーム画像間の相対位置を算出して高解像度パノラマ画像を作成するものであってもよい。
【００１４】
本発明の複眼カメラは、パンニングの方向を検出するパンンング方向検出部をさらに備え、動画制御部が、二つの撮影部のうち、パンニング方向先方側の撮影部の解像度を低く、フレームレートを高く、後方側の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御するものであってもよい。
【００１５】
本発明の複眼カメラは、動画制御部が、動画撮影の開始時および／または終了時の撮影に際し、二つの撮影部の解像度をともに高く設定し、高解像度パノラマ画像に動画撮影の開始時および／または終了時に二つの撮影部で撮影された高解像度の両フレーム画像をさらに合成して高解像度パノラマ画像を作成するよう、動画設定部およびパノラマ合成部を制御可能なものであってもよい。
【００１６】
また、本発明の複眼カメラは、動画制御部が、チルティングの場合に、二つの撮影部の解像度を高く、フレームレートを低く設定し、二つの撮影部で撮影された各高解像度フレーム画像を合成して高解像度パノラマ画像を作成するよう、動画設定部およびパノラマ合成部を制御可能なものであってもよい。
【００１７】
また、本発明の複眼カメラは、一方の撮影部で撮影された動画を表示する表示部をさらに備えているものであってもよい。
【００１８】
また、本発明の複眼カメラは、表示部が、パノラマ合成部により作成された高解像度パノラマ画像の合成結果をさらに表示するものであってもよい。ここで、「合成結果」とは、高解像度パノラマ画像の合成の進捗状況を意味するものである。
【発明の効果】
【００１９】
本発明の複眼カメラによれば、所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く設定し、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、動画設定部を制御する動画制御部と、一方の撮影部で撮影された低解像度フレーム画像を利用して、他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることにより、重複部分が大きく、高精度の位置合わせが可能な低解像度フレームを利用して、高解像度フレーム画像同士の高精度な位置合わせが可能となり、パノラマ画像の不自然な見え方を解消できる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の複眼カメラの内部構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示す図
【図３】第１の実施形態におけるパノラマ合成処理を示す図
【図４】第２の実施形態において行われる処理を示す図
【図５】第２の実施形態におけるパノラマ合成処理を示す図
【図６】第３の実施形態の複眼カメラの内部構成を示すブロック図
【図７】第３の実施形態において行われる処理を示す図
【図８Ａ】第４の実施形態において行われる処理を示す図（その１）
【図８Ｂ】第４の実施形態において行われる処理を示す図（その２）
【図９】第４の実施形態におけるパノラマ合成処理を示す図
【図１０】第５の実施形態において行われる処理を示す図
【図１１】第５の実施形態におけるパノラマ合成処理を示す図
【図１２】第６の実施形態において行われる処理を示す図
【図１３】第７の実施形態において行われる処理を示す図
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態である複眼カメラ１の内部構成を示す概略ブロック図である。図１に示すように複眼カメラ１は、レリーズボタンおよびモードダイヤル等を含む操作部２を有する。
【００２２】
撮影部１０Ａ，１０Ｂは、所定距離離れた異なる視点から被写体Ｍを撮影するよう、所定距離離れて複眼カメラ１に一体的に固設されている。なお、本実施形態において、複眼カメラ１はパンニングされるものであり、撮影部１０Ａがパンニング方向先方側、撮影部１０Ｂがパンニング方向後方側にそれぞれ固設されているものとする。
【００２３】
撮影部１０Ａ，１０Ｂは、フォーカスレンズおよびズームレンズからなる撮影レンズ１２Ａ，１２Ｂを有する。撮影レンズ１２Ａ，１２Ｂを構成するフォーカスレンズおよびズームレンズは、レンズ駆動部１３Ａ，１３Ｂによって光軸方向に移動可能である。
【００２４】
絞り１４Ａ，１４Ｂは絞り駆動部１５Ａ，１５Ｂによって駆動される。絞り駆動部１５Ａ，１５Ｂは、後述するＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。
【００２５】
シャッタ１６Ａ，１６Ｂはメカニカルシャッタであり、シャッタ駆動部１７Ａ，１７Ｂによって駆動される。シャッタ駆動部１７Ａ，１７Ｂは、不図示のレリーズボタンが押されることにより発生する信号と、後述するＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードとに応じてシャッタ１６Ａ，１６Ｂの開閉制御を行う。
【００２６】
シャッタ１６Ａ，１６Ｂの後方には撮像素子であるＣＣＤ１８Ａ，１８Ｂを有している。ＣＣＤ１８Ａ，１８Ｂは、多数の受光素子を二次元的に配列した光電面を有しており、撮影レンズ１２Ａ，１２Ｂ等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。
【００２７】
ＣＣＤ１８Ａ，１８Ｂは、ＣＣＤ制御部１９Ａ，１９Ｂから供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち露光時間は、ＣＣＤ制御部１９Ａ，１９Ｂから与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８Ａ，１８ＢはＣＣＤ制御部１９Ａ，１９Ｂにより、予め定められた大きさのアナログ撮影信号が得られるようにゲインが調整されている。
【００２８】
ＣＣＤ１８Ａ，１８Ｂから取り込まれたアナログ撮影信号は、アナログ信号処理部２０Ａ，２０Ｂに入力される。アナログ信号処理部２０Ａ，２０Ｂは、アナログ信号のノイズを除去する相関二重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調整するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０Ａ，２０Ｂが行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００２９】
タイミングジェネレータ２１Ａ，２１Ｂは、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７Ａ，１７Ｂ、ＣＣＤ制御部１９Ａ，１９Ｂ、アナログ信号処理部２０Ａ，２０Ｂに供給することにより、レリーズボタンの操作、シャッタの開閉、ＣＣＤ１８Ａ，１８Ｂの電荷の取り込み、およびアナログ信号処理部２０Ａ，２０Ｂの処理の同期をとっている。
【００３０】
画像入力コントローラ２５は、アナログ信号処理部２０Ａ，２０Ｂから入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込むものである。フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、たとえば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００３１】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画としてモニタ２８に表示させたり、再生時に記録メディア３５に保存されている静止画や動画を表示させたりするものである。
【００３２】
ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定するものである。ここで、プレ画像とは、不図示のレリーズボタンが半押しされることによって発生する半押し信号を検出した後述する撮影制御部４２がＣＣＤ１８Ａ，１８Ｂにプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００３３】
ＡＦ処理部３０は、プレ画像に基づいて焦点距離を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、たとえば、所望とする被写体Ｍにピントがあった状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００３４】
ＡＥ／ＡＷＢ処理部３１は、ブレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて、撮影した画像が所望とする明るさになるように、ＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。
【００３５】
画像処理部３２は、画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、およびＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。なお、画像処理部３２は、動画撮影により得られた動画の画像データに対しても必要な処理を行う。
【００３６】
圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像の画像データに対して、たとえば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを作成する。この画像ファイルには、ＥＸｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、動画撮影モードにおける撮影時には、圧縮／伸長処理部は、動画撮影で得られた動画の画像データをモーションＪＰＥＧ，ＭＰＥＧ１，２，４およびＨ．２６４等の圧縮方式にて圧縮し、動画の画像ファイルを作成する。
【００３７】
メディア制御部３４は、記録メディア３５にアクセスして動画の画像ファイルを含む画像ファイルの書き込みと読み込みの制御を行う。また、メディア制御部３４は、記録メディア３５の容量を取得する。
【００３８】
内部メモリ３６は、複眼カメラ１において設定される各種定数、および撮影制御部４２が実行するプログラム等を記録する。
【００３９】
入出力部３７は、傾きを検出する三次元ジャイロ３８および方向を含む加速度を検出する三次元加速度センサ３９からの測定情報を取り組むものである。
【００４０】
動画設定部４０は、動画撮影を行う際に、後述する撮影制御部４２の指示に従って、撮影部１０Ａ，１０Ｂからの各動画の画像データに対して解像度およびフレームレートを設定するものである。たとえば、動画設定部４０は撮影部１０Ａ，１０Ｂに対し、ＶＧＡ（６４０×４８０画素）、ＨＤ（１３６６×７６８画素）および３Ｍ（２０４８×１５３１画素）の設定が可能であり、フレームレート５ｆｐｓおよび３０ｆｐｓの設定が可能なものである。本明細書で説明する実施形態については、一例としてＶＧＡ（６４０×４８０画素）を低解像度、ＨＤ（１３６６×７６８画素）を高解像度、５ｆｐｓを低フレームレートおよび３０ｆｐｓを高フレームレートとして説明する。なお、動画設定部４０が、撮影部１０Ａ，１０Ｂの解像度およびフレームレートをどのように設定するかについては後で詳細に説明する。
【００４１】
複眼カメラ１は、動画撮影により得られた動画からパノラマ画像を作成することが可能である。ここで、本明細書の実施形態では、動画からパノラマ画像を作成する際には、隣接しあうフレーム画像は必ず重複部分を有するものとする。また、特に説明のない限り、本明細書の実施形態におけるパノラマ画像を作成する動画撮影は、複眼カメラ１をパンニングしながら撮影するものとする。
【００４２】
パノラマ合成部４１は、撮影部１０Ａ，１０Ｂで動画撮影された動画の画像データからフレーム画像のデータを分離し、各フレーム画像のデータに対して、フレーム画像の重複分を位置合わせしてパノラマ画像を作成する画像処理を施すものである。なお、パノラマ合成部４１が、撮影部１０Ａ，１０Ｂで撮影されたフレーム画像をどのように合成してパノラマ画像を作成しているかについては後で詳細に説明する。
【００４３】
撮影制御部４２は各種処理部からの信号に応じて複眼カメラ１の本体各部を制御するものである。また、撮影制御部４２は、動画撮影モードの指示、パノラマ画像作成の指示およびパンニングまたはチルティングであるかの指示等の設定を操作部２から受け付ける。この設定結果は内部メモリ３６に記憶される。なお、撮影制御部４２が動画撮影時の本体各部を制御する動画制御部でもあることは言うまでもない。
【００４４】
撮影制御部４２は、撮影部１０Ａ，１０Ｂの解像度およびフレームレートを設定し、撮影部１０Ａ，１０Ｂで撮影された動画からフレーム画像を分離し、パノラマ画像を作成するよう、動画設定部４０およびパノラマ合成部４１を含む複眼カメラ１の各部を制御する。
【００４５】
データバス４３は、各種処理部、フレームメモリ２６および撮影制御部４２に接続されており、画像データおよび各種指示等のやり取りを行う。
【００４６】
次いで、第１の実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示す図、図３は第１の実施形態におけるパノラマ合成処理を示す図である。不図示のモードダイヤルを操作してパノラマ画像が作成可能な動画モードに設定することにより、撮影制御部４２が、パノラマ画像を作成する動画撮影に関する各部の処理を開始する。
【００４７】
撮影制御部４２は、撮影部１０Ａを低解像度且つ高フレームレートに設定し、撮影部１０Ｂを高解像度且つ低フレームレートに設定するよう、動画設定部４０を制御する。動画設定部４０は、予め記録されている解像度およびフレームレートの設定値から、撮影部１０Ａを低解像度且つ高フレームレート、撮影部１０Ｂを高解像度且つ低フレームレートに設定する。本願の実施形態では、前述の通り、一例としてＶＧＡ（６４０×４８０画素）を低解像度、ＨＤ（１３６６×７６８画素）を高解像度、５ｆｐｓを低フレームレートおよび３０ｆｐｓを高フレームレートとする。
【００４８】
撮影制御部４２は、ユーザが不図示のレリーズボタンを押すことにより、動画撮影を開始するよう、撮影部１０Ａ，１０Ｂを制御し、撮影部１０Ａ，１０Ｂが動画撮影を開始する。動画撮影中において、撮影制御部４２は、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦから低解像度パノラマ画像ＬＰを作成し、この低解像度パノラマ画像ＬＰに、撮影部１０Ｂで撮影された各高解像度フレーム画像ＨＦを一致させることにより、高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００４９】
パノラマ合成部４１は、撮影部１０Ａで撮影された動画の画像データから最初に撮影された低解像度フレーム画像ＬＦ１の画像データを分離し、次に時系列的に連続することにより、隣接する低解像度フレーム画像ＬＦ２の画像データを分離させる。パノラマ合成部４１は、低解像度フレーム画像ＬＦ１，ＬＦ２の各画像データに対して、低解像度フレーム画像ＬＦ１，ＬＦ２を左右方向および上下方向に移動させる画像処理を行い、低解像度フレーム画像ＬＦの重複部分ＣＰを一致させて位置合わせする。図３に示すように、高フレームレートの撮影部１０Ａで撮影された低解像度フレーム画像ＬＦ１，ＬＦ２は重複部分ＣＰが大きく、精度良く位置合わせがされる。
【００５０】
パノラマ合成部４１は、重複部分ＣＰが一致した状態で低解像度フレーム画像ＬＦ１，ＬＦ２を合成して低解像度パノラマ画像ＬＰ１を作成する画像処理を行う。動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離し、作成済みの低解像度パノラマ画像ＬＰ１，２，，の画像データと分離した低解像度フレーム画像ＬＦ３，４，，の画像データとに対して上記の処理を繰り返すことにより、低解像度パノラマ画像ＬＰの画格を順次広げる。
【００５１】
パノラマ合成部４１は、撮影部１０Ｂで撮影された動画の画像データから高解像度フレーム画像ＨＦ１の画像データを分離し、高解像度フレーム画像ＨＦ１の画像データと低解像度パノラマ画像ＬＰの画像データに対して、両画像を左右方向および上下方向に移動させる画像処理を行い、両画像の重複部分ＣＰを一致させて位置合わせする。
【００５２】
パノラマ合成部４１は、隣接する高解像度フレーム画像ＨＦ２の画像データを分離し、同様に、高解像度フレーム画像ＨＦ２と低解像度パノラマ画像ＬＰの重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、高解像度フレーム画像ＨＦ１，ＨＦ２を低解像度パノラマ画像ＬＰの重複部分ＣＰと一致させた状態で高解像度フレーム画像ＨＦ１，ＨＦ２を合成して高解像度パノラマ画像ＨＰ１を作成する画像処理を行う。
【００５３】
動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離し、作成済みの低解像度パノラマ画像ＬＰ１，２，，の画像データと分離した低解像度フレーム画像ＬＦ３，４，，の画像データに対して上記の処理を繰り返すことにより、高解像度パノラマ画像ＨＰの画格を順次広げる
【００５４】
撮影制御部４２は、ユーザが不図示のレリーズボタンをリリースすることにより、動画撮影を終了させる。また、撮影制御部４２は、入出力部３７からの三次元ジャイロ３８および三次元加速度センサ３９からの測定情報を使用して、パンニングが終了していると判断した場合、ユーザが設定した画格範囲の動画撮影が終了したと判断した場合および３６０度のパンニングが終了したと判断した場合に、動画撮影を終了させてもよい。
【００５５】
第１の実施形態においては、動画撮影中に、低解像度パノラマ画像ＬＰおよび高解像度パノラマ画像ＨＰを作成しているが、動画撮影終了後に、低解像度パノラマ画像ＬＰおよび高解像度パノラマ画像ＨＰを作成するようにしてもよい。この場合、低解像度パノラマ画像ＬＰを作成した後、高解像度パノラマ画像ＨＰの作成を開始してもよく、ある程度、低解像度パノラマ画像ＬＰを作成した段階で高解像度パノラマ画像ＨＰの作成を開始してもよい。なお、撮影制御部４２の処理の開始、動画撮影の開始および動画撮影の終了は、他の実施形態においても同じであり、以下に述べる実施形態での説明では省略する。
【００５６】
このように、上記第１の実施形態によれば、低解像度フレーム画像ＬＦを使用して低解像度パノラマ画像ＬＰを作成し、この低解像度パノラマ画像ＬＰに高解像度フレーム画像ＨＦを一致させることにより、高解像度フレーム画像ＨＦを高精度に位置合わせして高解像度パノラマ画像ＨＰの作成が可能である。これにより、高解像度パノラマ画像ＨＰが不自然に見えることを解消できる。また、上記第１の実施形態によれば、撮影部１０Ａ，１０Ｂのフレームレート差を気にすることなく、高解像度パノラマ画像ＨＰの作成が可能である。
【００５７】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００５８】
次いで、第２の実施形態において行われる処理について説明する。図４は第２の実施形態において行われる処理を示す図、図５は第２の実施形態におけるパノラマ合成処理を示す図である。なお、第２の実施形態においては、パノラマ合成部４１および撮影制御部４２のパノラマ合成部４１に対する処理のみが相違するため、相違する処理についてのみ説明して他の処理ついての詳細な説明を省略する。
【００５９】
本実施形態では、前述の通り、低フレームレートが３０ｆｐｓ、高フレームレートが５ｆｐｓである。また、高解像度フレーム画像ＨＦ１，ＨＦ２，ＨＦ３，の撮影タイミングが低解像度フレーム画像ＬＦ１，ＬＦ７，ＬＦ１３，の撮影タイミングと一致するように互いに同期しているものする。すなわち高解像度フレーム画像ＨＦが撮影され、次の高解像度フレーム画像ＨＦが撮影されるまでの間に６枚の低解像度フレーム画像ＬＦが撮影される。
【００６０】
撮影制御部４２は、動画撮影中において、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦから低解像度フレーム画像ＬＦ間の相対位置を算出し、この低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置を算出して、この高解像度フレーム画像ＨＦ間の相対位置を使用して高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００６１】
パノラマ合成部４１は、第１の実施形態と同様に、撮影部１０Ａで撮影された動画の画像データから最初の低解像度フレーム画像ＬＦ１の画像データを分離し、次に隣接する低解像度フレーム画像ＬＦ２の画像データを分離する。
【００６２】
パノラマ合成部４１は、各低解像度フレーム画像ＬＦ１，ＬＦ２の画像データに対して重複部分ＣＰを検出する画像処理を行い、この重複部分ＣＰ内の特徴領域の画素の座標から低解像度フレーム画像ＬＦ間の相対位置を算出する。具体的に、パノラマ合成部４１は、図５に示すように、各低解像度フレーム画像ＬＦ１，ＬＦ２の左下を原点とする１画素単位での座標系を設定し、重複部分ＣＰ内の特徴部分が、低解像度フレーム画像ＬＦ１では（Ｘ１，Ｙ１）座標の画素、低解像度フレーム画像ＬＦ２では（Ｘ２，Ｙ２）座標の画素に表示されていた場合に、（Ｘ２，Ｙ２）から（Ｘ１，Ｙ１）を差分して低解像度フレーム画像ＬＦ２の低解像度フレーム画像ＬＦ１に対する相対位置（ΔＸ１，ΔＹ１）を算出する。
【００６３】
動画撮影中にパノラマ合成部４１は、低解像度フレーム画像ＬＦ３，４，，の画像データを動画の画像データから順次分離して上記の処理を繰り返すことにより、低解像度フレーム画像ＬＦ間の相対位置（ΔＸ１，ΔＹ１）,（ΔＸ２，ΔＹ２），，，（ΔＸｎ，ΔＹｎ）を順次算出する。
【００６４】
パノラマ合成部４１は、算出された低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置を算出する。低解像度フレーム画像ＬＦ間の相対位置（ΔＸ１，ΔＹ１）から（ΔＸ６，ΔＹ６）までを加算し、解像度違いによる画素比率を換算して高解像度フレーム画像ＨＦ１，ＨＦ２の相対位置を算出する。パノラマ合成部４１は上記の処理を繰り返して高解像度フレーム画像ＨＦの相対位置を順次算出する。
【００６５】
パノラマ合成部４１は、算出された高解像度フレーム画像ＨＦの相対位置を使用して、高解像度フレーム画像ＨＦを重ね合わせて合成することにより、高解像度パノラマ画像ＨＰを作成する。
【００６６】
なお、上記の第２の実施形態において、仮に撮影部１０Ａ，１０Ｂの撮影タイミングが同期していない場合、高解像度フレーム画像ＨＦ１，ＨＦ２間のパンニング方向と垂直な方向の位置合わせに関しては、低解像度フレーム画像ＬＦ間の相対位置ΔＹ１からΔＹ６までの平均値と、ΔＹ７からΔＹ１２までの平均値とを差分した値を使用して、高解像度フレーム画像ＨＦ１，ＨＦ２間のパンニング方向に垂直な方向の位置合わせをしてもよい。
【００６７】
このように、上記第２の実施形態によれば、低解像度フレーム画像ＬＦを使用して低解像度フレーム画像ＬＦ間の相対位置が算出し、低解像度フレーム画像ＬＦ間の相対位置から高解像度フレーム画像ＨＦ間の相対位置をさらに算出することにより、高解像度フレーム画像ＨＦ同士を精度良く位置合わせして高解像度パノラマ画像ＨＰの作成が可能である。これにより、高解像度パノラマ画像ＨＰが不自然に見えることを解消できる。また、上記第２の実施形態によれば、低解像度フレーム画像ＬＦの画像データに対して低解像度パノラマ画像ＬＰの作成する画像処理を施す必要がなく、短時間で高解像度パノラマ画像ＨＰの作成が可能となる。
【００６８】
次いで、本発明の第３の実施形態について説明する。図６は本発明の第３の実施形態である複眼カメラ１の内部構成を示す概略ブロック図である。第３の実施形態による複眼カメラ１は、図６に示す通り、パンニング方向判別部４４を備えている点においてのみ第１の実施形態の構成と相違するため、相違する構成についてのみ説明し、他の構成についての詳細な説明を省略する。
【００６９】
パンニング方向判別部４４は、ユーザによるパンニング方向の設定、各種センサからの測定情報および動画撮影開始直前のスルー画の画像処理によってパンニングの方向を判別するものである。
【００７０】
複眼カメラ１の動作モードがパノラマ画像作成する動画モードに設定された際、パンニング方向も設定された場合は、パンニング方向判別部４４は、設定されたパンニング方向を撮影制御部４２に供給する。
【００７１】
また、パンニング方向が未設定の場合は、動画撮影の開始直前に複眼カメラ１を一定時間一定方向にパンニングさせることにより、パンニング方向判別部４４は、入出力部３７からの測定情報によりパンニング方向を判別して撮影制御部４２に供給することもできる。
【００７２】
さらに、パンニング方向が未設定の場合は、動画撮影を開始に複眼カメラ１を一定時間一定方向にパンニングさせることにより、パンニング方向判別部４４は、スルー画の画像データの動きベクトルによりパンニング方向を判別して撮影制御部４２に供給することもできる。
【００７３】
次いで、第３の実施形態において行われる処理について説明する。図７は第３の実施形態において行われる処理を示す図である。なお、第３の実施形態においては、パンニング方向判別部４４の処理、撮影制御部４２の動画設定部４０への処理のみが第１または第２の実施形態と相違するため、相違する処理についてのみ説明し、他の処理についての詳細な説明を省略する。
【００７４】
パンニング方向判別部４４は、パノラマ画像を作成する動画モードが設定された後、前述の通り、パンニング方向の設定、動画撮影直前の測定情報およびスルー画像の画像処理により、パンニング方向を判別する。パンニング方向判別部４４は、判別されたパンニング方向を撮影制御部４２に供給する。
【００７５】
撮影制御部４２は、図７に示すように、供給されたパンニング方向の情報からパンニング方向先方側の撮影部１０Ａを低解像度且つ高フレームレート、パンニング方向後方側の撮影部１０Ｂを高解像度および低フレームレートに設定するよう、動画設定部４０を制御する。
【００７６】
このように、第３の実施形態における処理によれば、低解像度フレーム画像ＬＦがパンニング方向先方側のフレーム画像になり、パンニング方向後方側の高解像度フレーム画像ＨＦよりも早くパンニング方向先方の被写体Ｍを撮影することができるため、パノラマ合成部４１が高解像度フレーム画像ＨＦに対して第１または第２の実施形態のパノラマ合成処理を施す際に、必要な低解像度フレーム画像ＬＦが既に撮影されていることにより、これらの処理を効率良く行うことができる。
【００７７】
次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００７８】
次いで、本発明の第４の実施形態において行われる処理について説明する。図８Ａおよび図８Ｂは第４の実施形態において行われる処理を示す図である。図９は第４の実施形態におけるパノラマ合成処理を示す図である。
【００７９】
撮影制御部４２は、動画撮影開始時および動画撮影終了時の撮影については、撮影部１０Ａ，１０Ｂの解像度をともに高解像度に設定する。ここで、動画撮影開始時および動画撮影終了時の撮影とは、最初および最後のフレームレートの撮影のことである。撮影制御部４２は、最初の動画撮影以降から最後の動画撮影前までの動画撮影については、第１の実施形態と同様に、撮影部１０Ａを低解像度且つ高フレームレートに設定し、撮影部１０Ｂを高解像度且つ低フレームレートに設定するよう、動画設定部４０を制御する。
【００８０】
動画設定部４０は、予め記録されている解像度およびフレームレートの設定値に基づいて、動画撮影開始時および動画撮影終了時の撮影については、撮影部１０Ａ，１０Ｂをともに高解像度に設定し、最初の動画撮影以降から最後の動画撮影前までの動画撮影については、撮影部１０Ａを低解像度且つ高フレームレート、撮影部１０Ｂを高解像度且つ低フレームレートに設定する。
【００８１】
撮影制御部４２は、撮影部１０Ａ，１０Ｂで撮影開始時の高解像度フレーム画像ＨＦを使用して、撮影開始時のパノラマ画像ＨＰｉを作成するよう、パノラマ合成部４１を制御する。
【００８２】
パノラマ合成部４１は、撮影部１０Ａ，１０Ｂで撮影された動画の画像データから最初の高解像度フレーム画像ＨＰｉの画像データを分離し、分離された高解像度フレーム画像ＨＦｉの画像データに対して、各高解像度フレーム画像ＨＦｉを左右方向および上下方向に移動させる位置合わせを行い、各高解像度フレーム画像ＨＦｉの重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、重複部分ＣＰが一致した状態で高解像度フレーム画像ＨＦｉ同士を合成して撮影開始時のパノラマ画像ＨＰｉを作成する。
【００８３】
撮影制御部４２は、撮影部１０Ａで撮影された低解像度フレーム画像ＬＦを使用して、第１の実施形態または第２の実施形態と同様に、撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦから高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、第１の実施形態または第２の実施形態と同様に、高解像度パノラマ画像ＨＰを作成する。
【００８４】
撮影制御部４２は、撮影部１０Ａ，１０Ｂで撮影終了時に撮影された高解像度フレーム画像ＨＦｅを使用して、撮影終了時のパノラマ画像ＨＰｅを作成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、撮影開始時のパノラマ画像ＨＰｉと同様の処理を行い、撮影終了時のパノラマ画像ＨＰｅを作成する。
【００８５】
撮影制御部４２は、撮影開始時および撮影終了時のパノラマ画像ＨＰｉ，ＨＰｅを高解像度パノラマ画像ＨＰに合成するよう、パノラマ合成部４１を制御する。パノラマ合成部４１は、同様の処理により、撮影開始時のパノラマ画像ＨＰｉを高解像度パノラマ画像の撮影開始時側、撮影終了時のパノラマ画像ＨＰｅを高解像度パノラマ画像の撮影終了時側でそれぞれ合成して高解像度パノラマ画像ＨＰの画格を広げる。なお、第４の実施形態における複眼カメラ１は、動画撮影開始時または動画撮影終了時のいずれか一方について、撮影部１０Ａ，１０Ｂをともに高解像度に設定し、撮影開始時のパノラマ画像ＨＰｉまたは撮影終了時のパノラマ画像ＨＰeを使用して高解像度パノラマ画像ＨＰの画格を広げてもよい。
【００８６】
このように、上記第４の実施形態によれば、動画撮影開始時および／または動画撮影終了時に撮影された高解像度フレーム画像ＨＦｉ，ＨＦｅを使用して、高解像度パノラマ画像ＨＰの画格を広げることが可能である。
【００８７】
次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００８８】
次いで、本発明の第５の実施形態において行われる処理について説明する。図１０は第５の実施形態において行われる処理を示す図である。図１１は第５の実施形態におけるパノラマ合成処理を示す図である。
【００８９】
撮影制御部４２は、不図示のモードダイヤルにより、チルティングによるパノラマ画像が作成可能な動画撮影モードが設定された場合、撮影部１０Ａ，１０Ｂを高解像度且つ高フレームレートに設定するよう、動画設定部４０を制御する。動画設定部４０は、予め記録されている解像度およびフレームレートの設定値に基づいて、撮影部１０Ａ，１０Ｂを高解像度且つ低フレームレートに設定する。
【００９０】
撮影制御部４２は、図１０および図１１に示すように、動画撮影中において、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦから高解像度パノラマ画像ＨＰを作成し、撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦからも高解像度パノラマ画像ＨＰを作成し、最後に二つの高解像度フレーム画像ＨＦを合成して高解像度パノラマ画像ＨＰを作成するよう、パノラマ合成部４１を制御する。
【００９１】
パノラマ合成部４１は、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦの画像データを分離し、次に隣接する高解像度フレーム画像ＨＦの画像データを分離させる。パノラマ合成部４１は、各高解像度フレーム画像ＨＦの画像データに対して、各高解像度フレーム画像ＨＦを左右方向および上下方向に移動させる位置合わせを行い、重複部分ＣＰを一致させて位置合わせする。パノラマ合成部４１は、重複部分ＣＰが一致した状態で高解像度フレーム画像ＨＦ同士を合成して高解像度パノラマ画像ＨＰを作成する。
【００９２】
パノラマ合成部４１は、撮影部１０Ａの動画の画像データから高解像度フレーム画像ＨＦを分離し、作成済みの高解像度パノラマ画像ＨＰの画像データと位置合わせして合成する処理を繰り返し、高解像度パノラマ画像ＨＰの画格を広げる。パノラマ合成部４１は、撮影部１０Ｂで撮影された動画の画像データに対しても同じ処理を行う。
【００９３】
パノラマ合成部４１は、撮影部１０Ａで撮影された高解像度フレーム画像ＨＦからなる高解像度パノラマ画像ＨＰと撮影部１０Ｂで撮影された高解像度フレーム画像ＨＦからなる高解像度パノラマ画像ＨＰとを位置合わせをした後、合成して高解像度パノラマ画像ＨＰを作成する。なお、第５の実施形態において、撮影部１０Ａと撮影部１０Ｂのフレーム画像の撮影タイミングは同一であり、同じタイミングで撮影された撮影部１０Ａのフレーム画像と撮影部１０Ｂのフレーム画像は互いに重複部分ＣＰを有するものとする。
【００９４】
このように、上記第５の実施形態によれば、複眼カメラ１は、チルティングによる動画撮影によっても高解像度パノラマ画像ＨＰを作成可能にできる。
【００９５】
次いで、本発明の第６の実施形態について説明する。なお、第６の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【００９６】
次いで、第６の実施形態において行われる処理について説明する。図１２は第６の実施形態において行われる処理を示す図である。第６の実施形態においては、撮影部１０Ａで撮影された動画を表示部に表示させる処理のみが相違するため、相違する処理についてのみ説明して他の処理についての詳細な説明を省略する。
【００９７】
表示制御部２７は、図１２に示す通り、撮影Ａで撮影されている動画をモニタ２８に表示させる。
【００９８】
また、第６の実施形態による処理は、第２乃至第５の実施形態において適用可能である。さらに、第６の実施形態においては、低解像度パノラマ画像ＬＰを表示させることにより、ユーザが高解像度パノラマ画像ＨＰの構図を視認することもできる。
【００９９】
このように、上記第６の実施形態によれば、ユーザが撮影部１０Ａで撮影された高フレームレートの動画をモニタ２８で見ることにより、動画撮影中のパンニング速度の変動や、パンニング方向と垂直な方向の手ぶれ等を視認できるため、撮影部１０Ａ，１０Ｂで撮影された各フレーム画像間における真の相対位置からの位置ずれが低減されて高精度の位置合わせが可能となる。
【０１００】
次いで、本発明の第７の実施形態について説明する。なお、第６の実施形態による複眼カメラ１は、第１の実施形態による複眼カメラ１と同一の構成を有し、行われる処理のみが異なるため、構成についての詳細な説明は省略する。
【０１０１】
次いで、本発明の第７の実施形態において行われる処理について説明する。図１３は第７の実施形態において行われる処理を示す図である。なお、第７の実施形態においては、第６の実施形態における処理において、表示制御部２７が、高解像度パノラマ画像ＨＰの合成結果を表示する点のみが相違し、相違する処理についてのみ説明して他の処理についての詳細な説明を省略する。
【０１０２】
表示制御部２７は、高解像度パノラマ画像ＨＰの合成結果をモニタ２８に表示することが可能なものである。ここで、合成結果とは高解像度パノラマ画像ＨＰの合成状況である。第７の実施形態においては、図１３に示す通り、第１の実施形態と同様の処理により、低解像度パノラマ画像ＬＰを作成した後、この低解像度パノラマ画像ＬＰに高解像度パノラマ画像ＨＰの作成済みの範囲をマーキングしてモニタ２８に表示する。なお、合成結果の表示方法は、動画撮影された画格に対する作成済み高解像度パノラマ画像ＨＰの割合の数値表示やインジケータ表示等であってもよい。
【０１０３】
このように、上記第７の実施形態によれば、ユーザは動画撮影中に高解像度パノラマ画像ＨＰの合成結果を確認しながら、動画撮影することができる。
【符号の説明】
【０１０４】
ＨＦ 高解像度フレーム画像
ＨＰ 高解像度パノラマ画像
ＬＦ 低解像度フレーム画像
ＬＰ 低解像度パノラマ画像
Ｍ 被写体
１ 複眼カメラ
１０ 撮影部
２８ モニタ
４０ 動画設定部
４１ 撮影制御部
４２ パノラマ合成部
４４ パンニング方向判別部
【特許請求の範囲】
【請求項１】
所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら前記二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、
前記二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、
前記二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、前記動画設定部を制御する動画制御部と、
前記一方の撮影部で撮影された低解像度フレーム画像を利用して、前記他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることを特徴とする複眼カメラ。
【請求項２】
前記パノラマ合成部が、前記一方の撮影部で撮影された低解像度フレーム画像を合成して低解像度パノラマ画像を作成し、該低解像度パノラマ画像に、前記他方の撮影部で撮影された高解像度フレーム画像を一致させて前記高解像度パノラマ画像を作成することを特徴とする請求項１に記載の複眼カメラ。
【請求項３】
前記パノラマ合成部が、隣接しあう前記一方の撮影部で撮影された低解像度フレーム画像間の相対位置を取得し、該取得された相対位置から前記他方の撮影部で撮影された高解像度フレーム画像間の相対位置を算出して前記高解像度パノラマ画像を作成することを特徴とする請求項１に記載の複眼カメラ。
【請求項４】
前記パンニングの方向を判別するパンンング方向判別部さらに備え、
前記動画制御部が、前記二つの撮影部のうち、前記パンニング方向先方側の撮影部の解像度を低く、フレームレートを高く、後方側の撮影部の解像度を高く、フレームを低く設定するよう、前記動画設定部を制御することを特徴とする請求項１〜３のいずれか１項に記載の複眼カメラ。
【請求項５】
前記動画制御部が、前記動画撮影の開始時および／または終了時の撮影に際し、前記二つの撮影部の解像度をともに高く設定し、前記高解像度パノラマ画像に前記動画撮影の開始時および／または終了時に前記二つの撮影部で撮影された高解像度の両フレーム画像をさらに合成して前記高解像度パノラマ画像を作成するよう、前記動画設定部および前記パノラマ合成部を制御可能であることを特徴とする請求項１〜４のいずれか１項に記載の複眼カメラ。
【請求項６】
前記動画制御部が、チルティングの場合に、前記二つの撮影部の解像度を高く、フレームレートを低く設定し、前記二つの撮影部で撮影された各高解像度フレーム画像を合成して前記高解像度パノラマ画像を作成するよう、前記動画設定部および前記パノラマ合成部を制御可能であることを特徴とする請求項１〜５のいずれか１項に記載の複眼カメラ。
【請求項７】
前記一方の撮影部で撮影された動画を表示する表示部をさらに備えていることを特徴とする請求項１〜６のいずれか１項に記載の複眼カメラ。
【請求項８】
前記表示部が、前記パノラマ合成部により作成された前記高解像度パノラマ画像の合成結果をさらに表示するものであることを特徴とする請求項７に記載の複眼カメラ。
【請求項１】
所定距離離れた異なる視点から被写体を撮影する二つの撮影部を一体的に備え、所定方向にパンニングさせながら前記二つの撮影部でそれぞれ動画撮影を行うことが可能な複眼カメラであって、
前記二つの撮影部の解像度およびフレームレートをそれぞれ設定する動画設定部と、
前記二つの撮影部のうち、一方の撮影部の解像度を低く、フレームレートを高く、他方の撮影部の解像度を高く、フレームレートを低く設定するよう、前記動画設定部を制御する動画制御部と、
前記一方の撮影部で撮影された低解像度フレーム画像を利用して、前記他方の撮影部で撮影された高解像度フレーム画像を合成して高解像度パノラマ画像を作成するパノラマ合成部とを備えていることを特徴とする複眼カメラ。
【請求項２】
前記パノラマ合成部が、前記一方の撮影部で撮影された低解像度フレーム画像を合成して低解像度パノラマ画像を作成し、該低解像度パノラマ画像に、前記他方の撮影部で撮影された高解像度フレーム画像を一致させて前記高解像度パノラマ画像を作成することを特徴とする請求項１に記載の複眼カメラ。
【請求項３】
前記パノラマ合成部が、隣接しあう前記一方の撮影部で撮影された低解像度フレーム画像間の相対位置を取得し、該取得された相対位置から前記他方の撮影部で撮影された高解像度フレーム画像間の相対位置を算出して前記高解像度パノラマ画像を作成することを特徴とする請求項１に記載の複眼カメラ。
【請求項４】
前記パンニングの方向を判別するパンンング方向判別部さらに備え、
前記動画制御部が、前記二つの撮影部のうち、前記パンニング方向先方側の撮影部の解像度を低く、フレームレートを高く、後方側の撮影部の解像度を高く、フレームを低く設定するよう、前記動画設定部を制御することを特徴とする請求項１〜３のいずれか１項に記載の複眼カメラ。
【請求項５】
前記動画制御部が、前記動画撮影の開始時および／または終了時の撮影に際し、前記二つの撮影部の解像度をともに高く設定し、前記高解像度パノラマ画像に前記動画撮影の開始時および／または終了時に前記二つの撮影部で撮影された高解像度の両フレーム画像をさらに合成して前記高解像度パノラマ画像を作成するよう、前記動画設定部および前記パノラマ合成部を制御可能であることを特徴とする請求項１〜４のいずれか１項に記載の複眼カメラ。
【請求項６】
前記動画制御部が、チルティングの場合に、前記二つの撮影部の解像度を高く、フレームレートを低く設定し、前記二つの撮影部で撮影された各高解像度フレーム画像を合成して前記高解像度パノラマ画像を作成するよう、前記動画設定部および前記パノラマ合成部を制御可能であることを特徴とする請求項１〜５のいずれか１項に記載の複眼カメラ。
【請求項７】
前記一方の撮影部で撮影された動画を表示する表示部をさらに備えていることを特徴とする請求項１〜６のいずれか１項に記載の複眼カメラ。
【請求項８】
前記表示部が、前記パノラマ合成部により作成された前記高解像度パノラマ画像の合成結果をさらに表示するものであることを特徴とする請求項７に記載の複眼カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２０５４０６（Ｐ２０１１−２０５４０６Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７０６３３（Ｐ２０１０−７０６３３）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]