説明

撮像装置

【課題】縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することができる撮像装置を提供する。
【解決手段】互いに直交する二つの方向の画角がそれぞれ180度より小さい第1視野領域を撮像して該第1視野領域の画像を第1画像データとして生成する第1撮像部2と、第1撮像部2の光軸と直交する軸の周りの全周にわたる第2視野領域を撮像して該第2視野領域の画像を第2画像データとして生成する第2撮像部3と、第2撮像部3が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換する画像変換部4aと、画像変換部4aが生成した変換画像データと第1画像データとを合成する画像合成部4bと、画像合成部4bが生成した合成画像データを表示する表示部10とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像してこの被写体の画像データを生成する撮像装置に関する。
【背景技術】
【0002】
近年、デジタルカメラやデジタルビデオカメラなどの撮像装置においては、被写体を撮像した画像データに画像処理を施すことによって、消費者の様々な要望に応える技術が開示されている。たとえば、撮像装置の前方方向における被写体を含む視野領域だけでなく、この撮像装置を中心軸に複数の視野領域を撮像した画像データをそれぞれ組み合わせることによって全方位撮影(水平画角360度)を可能にする技術が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−180022号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術は、撮像装置の周囲の状況をパノラマ式に撮像するのに好適であるものの、その一方で、通常の撮像装置のように縦横双方向で限られた視野領域を撮像することができなかった。
【0005】
本発明は、上記に鑑みてなされたものであって、縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、互いに直交する二つの方向の画角がそれぞれ180度より小さい第1視野領域を撮像して該第1視野領域の画像を第1画像データとして生成する第1撮像部と、前記第1撮像部の光軸と直交する軸の周りの全周にわたる第2視野領域を撮像して該第2視野領域の画像を第2画像データとして生成する第2撮像部と、前記第2撮像部が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、前記画像変換部が生成した変換画像データと前記第1画像データとを合成することによって合成画像データを生成する画像合成部と、前記画像合成部が生成した合成画像データを表示する表示部と、を備えたことを特徴とする。
【0007】
また、本発明に係る撮像装置は、上記発明において、前記第2画像データは円環状をなすことを特徴とする。
【0008】
また、本発明に係る撮像装置は、上記発明において、前記画像変換部は、前記画像変換部は、前記第2視野領域のうち前記第1視野領域と重複する領域を変換対象から除外することを特徴とする。
【0009】
また、本発明に係る撮像装置は、上記発明において、当該撮像装置の加速度を検出する加速度検出部と、前記加速度検出部の検出結果に基づいて、前記第1撮像部の光軸が水平であるか否かを判定する水平判定部と、を備え、前記画像変換部は、前記水平判定部の判定結果に応じて前記第2画像データを変換することを特徴とする。
【0010】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記水平判定部によって前記第1撮像部の光軸が水平であると判定された場合、前記第1画像データと前記第2画像データを上下に並べて配置することを特徴とする。
【0011】
また、本発明に係る撮像装置は、上記発明において、人物の顔の画像に関する顔画像情報を記憶する顔画像情報記憶部と、前記顔画像情報記憶部が記憶する顔画像情報を参照して前記第2画像データに含まれる人物の顔を検出する顔検出部と、を備え、前記画像変換部は、前記水平判定部によって前記第1撮像部の光軸が水平でないと判定された場合、前記顔画像情報記憶部が記憶する顔画像情報を参照して、前記顔検出部が検出した顔の顔画像データに対して縦横比および傾きの少なくともいずれか一方を補正することを特徴とする。
【0012】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記画像変換部が変換した変換画像データを前記第1画像データの外縁領域に重畳して配置することを特徴とする。
【発明の効果】
【0013】
本発明に係る撮像装置は、通常の撮像装置が備える撮像部に相当する第1撮像部と、第1撮像部の光軸と直交する軸の周りの全周にわたる領域を撮像する第2撮像部と、第2撮像部が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換する画像変換部と、画像変換部が生成した変換画像データと第1撮像部が生成した第1画像データとを合成する画像合成部と、画像合成部が合成した合成画像データを表示する表示部とを備えているため、通常の撮像装置のような縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することが可能となる。
【図面の簡単な説明】
【0014】
【図1】図1は、本発明の一実施の形態に係る撮像装置の前面側の構成を示す斜視図である。
【図2】図2は、本発明の一実施の形態に係る撮像装置の背面側の構成を示す斜視図である。
【図3】図3は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図4】図4は、本発明の一実施の形態に係る撮像装置が備える第2撮像部の構成を示す模式図である。
【図5】図5は、本発明の一実施の形態に係る撮像装置が備える加速度検出部の構成を模式的に示す図である。
【図6】図6は、本発明の一実施の形態に係る撮像装置が備える加速度検出部の一部をなす加速度センサの構成を示す図である。
【図7】図7は、加速度検出部が検出する加速度を模試的に示す図である。
【図8】図8は、本発明の一実施の形態に係る撮像装置の姿勢が変化する状況を示す図である。
【図9】図9は、本発明の一実施の形態に係る撮像装置を用いて撮影を行う際の周囲の状況を示す図である。
【図10】図10は、図9に示す状況を水平方向から見た図である。
【図11】図11は、図9に示す状況下で第2撮像部が生成する第2画像データを示す図である。
【図12】図12は、図9に示す状況下で画像変換部が行う処理の概要を示す図である。
【図13】図13は、図9に示す状況下で画像合成部が行う処理の概要を示す図である。
【図14】図14は、本発明の一実施の形態に係る撮像装置を用いて撮影を行う際の周囲の状況(第2例)を示す図である。
【図15】図15は、図14に示す状況を水平方向から見た図である。
【図16】図16は、図14に示す状況下で第2撮像部が生成する第2画像データを示す図である。
【図17】図17は、図14に示す状況下で画像変換部が行う処理の概要を示す図である。
【図18】図18は、図14に示す状況下で画像合成部が行う処理の概要を示す図である。
【図19】図19は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図20】図20は、本発明の一実施の形態の変形例に係る撮像装置が備える画像変換部の処理の概要を示す図である。
【図21】図21は、本発明の一実施の形態の変形例に係る撮像装置が備える画像合成部の処理の概要を示す図である。
【図22】図22は、本発明の別な実施の形態に係る撮像装置の前面側の構成を示す斜視図である。
【図23】図23は、本発明の別な実施の形態に係る撮像装置が備える第2撮像部の構成を示す模式図である。
【発明を実施するための形態】
【0015】
以下に、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
【0016】
図1は、本発明の一実施の形態に係る撮像装置の前面側の構成を示す斜視図である。図2は、本実施の形態に係る撮像装置の背面側の構成を示す斜視図である。図3は、本実施の形態に係る撮像装置の機能構成を示すブロック図である。
【0017】
図1〜図3に示す撮像装置1は、互いに直交する二つの方向の画角がそれぞれ180度より小さい第1視野領域を撮像して該第1視野領域の画像を第1画像データとして生成する第1撮像部2と、第1撮像部2の光軸Pと直交する軸(光軸)Oの周りの全周にわたる第2視野領域を撮像して該第2視野領域の画像を第2画像データとして生成する第2撮像部3と、第1撮像部2および第2撮像部3がそれぞれ生成した第1および第2画像データに対してエッジ強調、色補正、画像圧縮等の画像処理を施す画像処理部4と、撮像装置1の各種操作信号の入力を受け付ける操作入力部5と、撮影日時の判定機能やタイマー機能を有する時計6と、撮像装置1の加速度を検出する加速度検出部7と、加速度検出部7の検出結果に応じて、第1撮像部2の光軸Pが水平であるか否かを判定する水平判定部8と、画像処理部4によって処理が施された第1画像データおよび第2画像データを含む各種情報を記憶する記憶部9と、画像処理部4で処理が施された画像データに対応する画像を含む情報を表示する表示部10と、操作入力部5によって入力される操作信号等に応じて撮像装置1の動作を制御する制御部11と、を備える。
【0018】
第1撮像部2は、一または複数のレンズによって構成され、第1視野領域からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ信号の入力に応じて動作するシャッタと、絞りおよびシャッタを透過した光を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、A/D変換を行うことによってデジタルの第1画像データを生成する信号処理回路と、を有する。
【0019】
第2撮像部3は、第1撮像部2と同様に、光学系と、絞りと、シャッタと、CCDと、信号処理回路とを有する。図4は、第2撮像部3の光学系の構成を示す模式図である。図4に示す光学系30は、光軸Oを中心軸として回転対称な形状をなしており、光軸Oの周りの全方位(水平画角360度)を視野領域として光を集光する軸対称自由曲面レンズ31と、軸対称自由曲面レンズ31に凹面を向けた正メニスカスレンズ32と、両凸正レンズ33および軸対称自由曲面レンズ31に凹面を向けた負メニスカスレンズ34からなる接合レンズ35と、両凸正レンズ36および両凹負レンズ37からなる接合レンズ38と、を有する。軸対称自由曲面レンズ31は、屈折率が1より大きい樹脂等の透明媒体によって形成され、遠方からの光束が入射する第1透過面31aと、第1透過面31aから入射した光束が入射して反射する第1反射面31bと、第1反射面31bで反射された光束が入射する第2反射面31cと、第2反射面31cで反射された光束が入射する第2透過面31dとを有する。
【0020】
以上の構成を有する第2撮像部3は、光軸Oの周りの全周にわたる第2視野領域から光を集光し、この集光した光を光電変換した後、所定の信号処理を施してA/D変換することにより、円環状をなす画像を第2画像データとして生成する。なお、第2撮像部3の構成は、たとえば特開2006−243689号公報に開示されている。
【0021】
画像処理部4は、第2撮像部3が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部4aと、画像変換部4aが生成した変換画像データと第1撮像部2が生成した第1画像データとを合成することによって合成画像データを生成する画像合成部4bと、第2撮像部3が生成した第2画像データに含まれる人物の顔をパターンマッチング等の手法によって検出する顔検出部4cと、を有する。
【0022】
操作入力部5は、レリーズ信号を入力するレリーズスイッチ5aと、撮像装置1の電源オンや電源オフの指示信号を入力する電源スイッチ5bと、表示部10で表示する各種表示モードや各種動作モードの切替を行う切替スイッチ5cと、を有する。なお、操作入力部5の一部として表示部10にタッチパネルを設けることによって、撮影者が表示部10の画面上で操作信号の入力を行うことができるようにしてもよい。
【0023】
図5は、加速度検出部7の構成を模式的に示す図である。図5に示すように、加速度検出部7は、検出方向が互いに直交する三つの加速度センサ71を有する。図6は、加速度センサ71の構成を示す図である。図6に示す加速度センサ71は、MEMS(Micro Electro Mechanical Systems)プロセスによって形成された静電容量型の加速度センサである。加速度センサ71は、直方体状のチップ72の主面の四隅付近に端部が固定された状態で架橋された梁構造を有する金属製の可動部73と、チップ72の主面であって可動部73の端部が固定された主面上に設けられた金属製の二つの平板部74と、を有する。可動部73は、チップ72の主面の同じ方向に沿ってそれぞれ帯状に延在し、両端部が固定された二つの延在部73aと、二つの延在部73aの中央部同士を延在部73aが延びる方向と直交する方向に沿って連結する帯状の連結部73bと、連結部73bの中央部から延在部73aが延びる方向と平行に帯状に突出する突出部73cと、を有する。
【0024】
以上の構成を有する加速度センサ71は、図6の左右方向(矢印方向)の加速度が加わると、可動部73が延在部73aの端部を除いて左右方向に撓んで変形するため、突出部73cと平板部74との位置関係が変化して静電容量が変化する。加速度センサ71は、この静電容量の変化に基づく信号の変化を出力する。なお、加速度検出部7は、手ブレの判定やこの判定に基づく補正を行う際に用いることもできる。
【0025】
記憶部9は、第1撮像部2および第2撮像部3が撮影し、画像処理部4によって処理が施された第1画像データおよび第2画像データを記憶する画像データ記憶部9aと、顔検出部4cによる顔画像の検出および画像変換部4aにおける顔画像の変換を行う際に参照する顔画像情報を記憶する顔画像情報記憶部9bと、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部9cと、を有する。記憶部9は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部9に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【0026】
表示部10は、第1撮像部2の光学系が表出する前面の裏側に位置する背面に設けられ、液晶、プラズマまたは有機EL(Electro Luminescence)等からなる表示パネルを用いて実現される。表示部10は、第1画像データ、第2画像データおよび合成画像データのほか、撮像装置1の操作情報や操作に関する情報を表示することが可能である。
【0027】
制御部11は、操作入力部5によって入力された操作信号、加速度検出部7の検出結果および水平判定部8の判定結果に応じて撮像装置1の動作を制御する。制御部11は、CPU(Central Processing Unit)等を用いて実現され、撮像装置1の各構成部位とバスラインを介して接続されている。
【0028】
ここで、加速度検出部7による撮像装置1の傾きの検出を説明する。図7は、撮像装置1の姿勢が変化する状況を示す図である。具体的には、撮影者が第1撮像部2の光軸Pを水平方向(z軸方向)に対して斜め下向きに傾斜させた状況を示している。
【0029】
図8は、図7に示すように撮像装置1の姿勢が変化した場合に加速度検出部7が検出する重力加速度の大きさの時間変化を示す図である。図8において、曲線Lyは、撮像装置1のy軸方向(鉛直方向)の重力加速度の大きさの時間変化を示す。また、曲線Lzは、撮像装置1のz軸方向(水平方向)の重力加速度の大きさの時間変化を示す。図8では、横軸が時間であり、縦軸が重力加速度の大きさである。図7に示すような撮像装置1の姿勢に伴って、撮像装置1に加わる重力加速度は、z軸方向の成分が増加するとともに、y軸方向の成分が減少する。なお、この場合に重力加速度のx軸方向の成分は、ほぼゼロのまま変化しない。加速度検出部7が、図8に示すような重力加速度の時間変化を検出した場合、水平判定部8は、光軸Pが水平でないと判定する。
【0030】
次に、撮像装置1が行う撮影処理について説明する。図9は、撮像装置1を用いて撮影処理を行う際の周囲の状況を示す図である。図10は、図9に示す状況を水平方向から見た図である。これらの図に示す場合、第1撮像部2の光軸Pは水平方向と平行である。
【0031】
図9および図10に示す場合、撮像装置1の周囲には、被写体A1(赤ちゃん)、A2(お母さん)、A3(お父さん)の3人の被写体が存在している。3人の被写体A1〜A3は、ほぼ同じ高さに顔が位置している。撮影者は被写体A3であり、第1撮像部2の被写体は被写体A1である。この状況下で被写体A3が第1撮像部2および第2撮像部3による同時撮影を行うと、第1撮像部2が被写体A1を撮影するとともに、第2撮像部3が被写体A1〜A3を含む撮像装置1の周囲を全周(全方位)にわたって撮影する。
【0032】
図11は、第2撮像部3が生成した第2画像データを示す図である。図11に示す第2画像データW1は、円環状をなす表示領域に被写体A1〜A3が撮影されている。3人の被写体A1〜A3の顔の中心軸は円環の中心を通過しており、その中心に近い方が鉛直上方に対応している。撮像装置1の正面側に位置する被写体A1は、円環の中心の下方に位置している。撮像装置1の背面側に位置する被写体A3は、円環の中心の上方に位置している。被写体A2は被写体A1の斜め右上方に位置している。
【0033】
図12は、図9に示す状況下で画像変換部4aが行う処理の概要を示す図である。より具体的には、図12は、画像変換部4aが、図9に示す状況下で、第2撮像部3によって生成された第2画像データを変換して変換画像データを生成する処理の概要を示す図である。画像変換部4aは、第2画像データW1の表示領域を変換して矩形状の表示領域を有する変換画像データW2を生成する。画像変換部4aは、第2画像データW1の所定位置に切り込みCを入れた後(図12(a))、表示領域を矩形状に変換することによって変換画像データW2を生成する(図12(b))。図12(a)に示す場合、切り込みCは被写体A3の近傍に入れられている。なお、第2画像データW1に切り込みを入れる位置はこれに限られるわけではない。また、画像変換部4aに対し、隣接する被写体間の距離を変更してバランスよく被写体を配置させる機能を具備させることも可能である。
【0034】
図13は、画像合成部4bが、図9に示す状況下で撮影された画像データに基づいて行う処理の概要を示す図である。より具体的には、図13は、画像合成部4bが、図9に示す状況下で、画像変換部4aによって生成された変換画像データW2と第1撮像部2によって生成された第1画像データW3とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部4bは、図13(a)に示す第1画像データW3および変換画像データW2を、縦横比を保持しながらそれぞれ縮小し、縮小後の第1画像データW3の上部に縮小後の変換画像データW2を配置することによって合成画像データW4を生成する(図13(b))。なお、第1画像データW3の表示領域の縦の長さと変換画像データW2の表示領域の縦の長さとの比は、切替スイッチ5cからの入力によって適宜設定することができるようにしてもよい。この場合には、変換画像データW2で横方向に画面からはみ出す部分が生じることもあるので、例えば変換画像データW2における表示領域を操作入力部5によって選択できるようにすればより好ましい。また、画像合成部4bが、変換画像データW2を第1画像データW3の下部に配置するようにしてもよい。
【0035】
図14は、撮像装置1を用いて撮影を行う際の周囲の状況(第2例)を示す図である。図15は、図14に示す状況を水平方向から見た図である。図14および図15に示す場合、3人の被写体A1〜A3のうち、被写体A1だけ鉛直方向の顔の位置が異なっており、視線も斜め上方を向いている。このため、撮影者である被写体A3は、撮像装置1を被写体A1の体勢に合わせて斜め下方へ傾斜させている。このため、第1撮像部2の光軸Pは、水平面Hと交わっている。
【0036】
図16は、図14に示す状況下で被写体A3が第1撮像部2および第2撮像部3による同時撮影を行った場合に第2撮像部3が生成した第2画像データを示す図である。図16に示す第2画像データW5は、図11に示す第2画像データW1と同様、円環状をなす表示領域に被写体A1〜A3が撮影されている。ただし、図14に示す状況下では、第2撮像部3の光軸Oが、鉛直方向を向いている被写体A2の顔の中心軸とねじれの位置にあるため、第2画像データW5では、被写体A2の顔が湾曲している。また、図14に示す状況下では、第2撮像部3と被写体A2との距離が近づいているため、被写体A3の顔の長さが長くなっている。加えて、図14に示す状況下では、被写体A3の顔の中心軸が第2撮像部3の光軸Oと交わっており、かつ被写体A3の顔の位置が第2撮像部3から遠ざかっているため、被写体A3の顔は円環の径方向に沿って縮んでいる。
【0037】
図17は、図14に示す状況下で撮影された第2画像データに対して行う処理の概要を示す図である。撮像装置1は、水平判定部8による判定の結果、第1撮像部2の光軸Pが水平でないと判定した場合、顔検出部4cが、第2撮像部3が撮影した第2画像データW5に含まれる人物の顔を検出する(図17(a))。
【0038】
その後、画像変換部4aは、顔検出部4cが検出した顔のうち、第1撮像部2が撮影した被写体A1の顔以外の顔(図17に示す場合には、被写体A2,A3の顔)を抽出する(図17(b))。
【0039】
続いて、画像変換部4aは、この抽出した顔の顔画像データを変換することによって変換画像データを生成する。具体的には、画像変換部4aは、抽出した顔画像データW6,W7における画像中の顔の大きさおよび傾きの少なくともいずれか一方を補正することによって矩形状の表示領域を有する変換画像データW8,W9をそれぞれ生成する(図17(c))。より具体的には、画像変換部4aは、たとえば顔画像情報記憶部9bに記憶されている正面を向いた人物の顔画像データの中から類似度が最も高い顔画像データを抽出し、この抽出した顔画像データを用いて変換画像データを生成する。このため、顔画像情報記憶部9bには、被写体A1〜A3を含む特定の人物の顔画像データを予め記憶させておくことができるようにしてもよい。なお、ここでは被写体A1の顔画像データを画像変換部4aによる変換対象から除外しているが、被写体A1の顔画像データを変換対象とすることも可能である。
【0040】
図18は、図14に示す状況下で画像合成部4bが行う処理の概要を示す図である。より具体的には、図18は、画像合成部4bが、図14に示す状況下で、画像変換部4aによって生成された変換画像データW8,W9と第1撮像部2によって生成された第1画像データW3とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部4bは、第1画像データW3の表示領域の外縁領域であってその表示領域の左右上方領域に、縦横比を保持して所定の面積へ縮小または拡大した変換画像データW8,W9をそれぞれ重畳して配置することにより、合成画像データW10を生成する(図18(b))。このような画像合成を行うことにより、撮像装置1の姿勢変化に起因して第2撮像部3が撮像する被写体の画像が変形した場合であっても、その画像を正常な状態に変換して表示することができる。なお、合成後の変換画像データの表示領域の面積は、予め定めておいてもよいし、操作入力部5の入力によって変更できるようにしてもよい。
【0041】
図19は、撮像装置1が行う処理の概要を示すフローチャートである。図19において、制御部11は、電源スイッチ5bが操作されて撮像装置1が電源オンの状態であるか否かを判断する(ステップS101)。撮像装置1が電源オンの状態でない場合(ステップS101:No)、撮像装置1は処理を終了する。一方、撮像装置1が電源オンの状態である場合(ステップS101:Yes)、撮像装置1はステップS102へ移行する。
【0042】
その後、制御部11は、撮影モードまたは再生モードが設定されているか否かを判断する(ステップS102)。撮影モードが設定されている場合(ステップS102:撮影モード)、撮像装置1はステップS103へ移行する。一方、再生モードが設定されている場合(ステップS102:再生モード)、撮像装置1はステップS126へ移行する。
【0043】
ステップS103において、制御部11は、撮影モードのうち単独表示モードまたは合成表示モードが設定されているか否かを判断する。単独表示モードが設定されている場合(ステップS103:単独表示モード)、撮像装置1はステップS104へ移行する。一方、合成表示モードが設定されている場合(ステップS103:合成表示モード)、撮像装置1はステップS109へ移行する。
【0044】
まず、撮像装置1が単独表示モードが設定されている場合(ステップS103:単独表示モード)を説明する。この場合、表示が選択されている画像データを生成する撮像部のみが起動して画像データを生成する(ステップS104)。すなわち、第1撮像部2が撮像する第1画像データの表示が選択されている場合には、第1撮像部2が第1画像データを生成する。これに対し、第2撮像部3が撮像する第2画像データの表示が選択されている場合には、第2撮像部3が第2画像データを生成する。
【0045】
その後、表示部10は、ステップS104で生成された画像データのスルー画を表示する(ステップS105)。ここで表示するスルー画は、第1撮像部2が生成した画像データである場合には、たとえば図13に示す第1画像データW3である。また、第2撮像部3が生成した画像データである場合には、たとえば図11に示す第2画像データW1を矩形状をなす表示部10に埋め込んで表示したものである。
【0046】
続いて、制御部11は、レリーズスイッチ5aの操作によってレリーズ信号が入力されたか否かを判断する(ステップS106)。レリーズ信号が入力されていない場合(ステップS106:No)、ステップS105へ移行する。一方、レリーズ信号が入力された場合(ステップS106:Yes)、撮像装置1はスルー画表示されている画像の撮影を行う(ステップS107)。
【0047】
その後、撮像装置1は、第1撮像部2または第2撮像部3が撮影し、画像処理部4が画像処理を施した画像の画像データを画像データ記憶部9aに記憶させ(ステップS108)、ステップS101へ移行する。
【0048】
次に、ステップS103で合成表示モードが設定されている場合(ステップS103:合成表示モード)を説明する。この場合、第1撮像部2が第1画像データを生成し(ステップS109)、第2撮像部3が第2画像データを生成する(ステップS110)。
【0049】
その後、水平判定部8は、加速度検出部7によって周期的に検出される撮像装置1の重力加速度の大きさの時間変化に基いて、第1撮像部2の光軸Pが水平であるか否かを判定する(ステップS111)。水平判定部8が判定した結果、撮像装置1が水平である場合(ステップS112:Yes)、撮像装置1はステップS113へ移行する。一方、水平判定部8が判定した結果、撮像装置1が水平でない場合(ステップS112:No)、撮像装置1はステップS119へ移行する。なお、水平判定部8は、第1撮像部2の光軸Pが水平方向を含む所定の範囲に含まれていれば、水平であると判定する。
【0050】
ステップS113において、画像変換部4aは、第2撮像部3が撮像した第2画像データの視野領域の全部を、矩形状をなす画像に変換して変換画像データを生成する(ステップS113)。ステップS113の処理は、たとえば図12を参照して説明した処理に対応している。
【0051】
続いて、画像合成部4bは、第1画像データと画像変換部4aが生成した変換画像データとを合成することによって合成画像データを生成する(ステップS114)。ステップS114の処理は、たとえば図13を参照して説明した処理に対応している。
【0052】
その後、表示部10は、画像合成部4bが生成した合成画像データのスルー画を表示する(ステップS115)。ここで表示されるスルー画は、たとえば図13の合成画像データW4である。
【0053】
制御部11は、レリーズスイッチ5aの操作によってレリーズ信号が入力されたか否かを判断する(ステップS116)。ここで、レリーズ信号が入力されていない場合(ステップS116:No)、撮像装置1はステップS115へ戻る。一方、レリーズ信号が入力された場合(ステップS116:Yes)、撮像装置1は、第1撮像部2および第2撮像部3による撮影を行う(ステップS117)。
【0054】
その後、撮像装置1は、第1撮像部2および第2撮像部3がそれぞれ生成した第1および第2画像データを画像データ記憶部9aに記憶させ(ステップS118)、ステップS101へ移行する。
【0055】
ステップS119において、顔検出部4cは、第2撮像部3が生成した第2画像データから人物の顔画像データを検出する(ステップS119)。その後、画像変換部4aは、顔検出部4cが検出した変換対象の顔画像データに対し、縦横比および傾きに関する補正を行うことによって変換画像データを生成する(ステップS120)。ステップS119〜S120の処理は、たとえば図17を参照して説明した処理に対応している。
【0056】
ステップS120の後、撮像装置1はステップS114へ移行し、第1画像データと画像変換部4aが生成した変換画像データとを合成することによって合成画像データを生成する。この場合に生成される合成画像データは、たとえば図18に示す合成画像データW10である。その後、撮像装置1は、上述したステップS115〜S118の処理を行う。
【0057】
次に、ステップS102において、撮像装置1が再生モードに設定されている場合(ステップS102:再生モード)を説明する。この場合、制御部11は、操作入力部5から再生指示信号が入力されたか否かを判断する(ステップS126)。再生指示信号が入力されていない場合(ステップS126:No)、撮像装置1はステップS101へ移行する。一方、再生指示信号が入力された場合(ステップS126:Yes)、表示部10は、画像データ記憶部9aが記憶する画像データから指定された画像データを再生表示する(ステップS127)。
【0058】
その後、制御部11は、切替スイッチ5cの操作によって表示部10が表示する画像データを切り替えさせる切替信号が入力されたか否かを判断する(ステップS128)。切替信号が入力されてない場合(ステップS128:No)、撮像装置1はステップS101へ移行する。一方、切替信号が入力された場合(ステップS128:Yes)、表示部10は、表示する画像データの切り替えを行い(ステップS129)、ステップ128へ戻る。
【0059】
以上説明した本発明の一実施の形態によれば、通常の撮像装置が備える撮像部に相当する第1撮像部2と、第1撮像部2の光軸Pと直交する軸Oの周りの全周にわたる領域を撮像する第2撮像部3と、第2撮像部3が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換する画像変換部4aと、画像変換部4aが生成した変換画像データと第1撮像部2が生成した第1画像データとを合成する画像合成部4bと、画像合成部4bが合成した合成画像データを表示する表示部10とを備えているため、通常の撮像装置のような縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することが可能となる。
【0060】
また、本実施の形態によれば、撮像装置1の姿勢が変化して第2撮像部3で撮像する人物の顔が変形している場合であっても、その顔の大きさや傾きを変換することにより、撮像装置1の周囲にいる全ての人物を適切な状態で表示することができる。
【0061】
図20は、本実施の形態の変形例として、図9に示す状況下で、第2撮像部3によって生成された第2画像データを変換して変換画像データを生成する別な例を示す図である。図20に示す場合、画像変換部4aは、第2画像データW1における第2視野領域から第1画像データにおける第1視野領域と重複する部分、すなわち被写体A1を含む領域を変換対象から除外し(図20(a))、残りの領域を変換することによって矩形状をなす変換画像データW11を生成する(図20(b))。
【0062】
図21は、画像合成部4bが、画像変換部4aによって生成された変換画像データW11と第1画像データW3とを合成して合成画像データを生成する状況を示す図である。画像合成部4bは、第1画像データW3および変換画像データW11をそれぞれ縮小し、縮小後の第1画像データW3の上部に縮小後の変換画像データW11を配置することによって合成画像データW12を生成する(図21(b))。
【0063】
このように、本変形例によれば、同一の被写体が重複して表示されることがない合成画像データを生成することができる。
【0064】
なお、画像変換部4aが第2画像データから第1画像データとの重複部分を除外して画像変換を行うか否かについて、操作入力部5の操作によって設定することができる構成としてもよい。
【0065】
図22は、本発明の別な実施の形態に係る撮像装置の前面側の構成を示す斜視図である。なお、図22において、撮像装置1と同じ構成を有する部分については、同一の符号を付している。図22に示す撮像装置100は、第1撮像部2とともに第2撮像部50を備える。
【0066】
図23は、第2撮像部50の構成を示す模式図である。同図に示す第2撮像部50は、視野領域が少なくとも略90度を超える4つの撮像ユニット51を有する。撮像ユニット51は、第1撮像部2と同様の構成を有しており、光学系51aと、撮像素子51bと、絞りと、シャッタとを有する。なお、図23では、光学系51aを簡略化して記載している。また、絞りおよびシャッタについては、記載を省略している。
【0067】
以上説明した構成を有する撮像装置100によれば、第1撮像部2の光軸Pと直交する軸Oの周りの全周にわたる第2視野領域を同時に撮影することができるので、上述した撮像装置1と同様の効果を得ることができる。
【符号の説明】
【0068】
1,100 撮像装置
2 第1撮像部
3,50 第2撮像部
4 画像処理部
4a 画像変換部
4b 画像合成部
4c 顔検出部
5 操作入力部
5a レリーズスイッチ
5b 電源スイッチ
5c 切替スイッチ
6 時計
7 加速度検出部
8 水平判定部
9 記憶部
9a 画像データ記憶部
9b 顔画像情報記憶部
9c プログラム記憶部
10 表示部
11 制御部
30,51a 光学系
31 軸対称自由曲面レンズ
32 正メニスカスレンズ
33,36 両凸正レンズ
34 負メニスカスレンズ
35,38 接合レンズ
37 両凹負レンズ
51 撮像ユニット
51b 撮像素子
71 加速度センサ
72 チップ
73 可動部
74 平板部
A1,A2,A3 被写体
W1,W5 第2画像データ
W2,W8,W9,W11 変換画像データ
W3 第1画像データ
W4,W10,W12 合成画像データ
W6,W7 顔画像データ

【特許請求の範囲】
【請求項1】
互いに直交する二つの方向の画角がそれぞれ180度より小さい第1視野領域を撮像して該第1視野領域の画像を第1画像データとして生成する第1撮像部と、
前記第1撮像部の光軸と直交する軸の周りの全周にわたる第2視野領域を撮像して該第2視野領域の画像を第2画像データとして生成する第2撮像部と、
前記第2撮像部が生成した第2画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、
前記画像変換部が生成した変換画像データと前記第1画像データとを合成することによって合成画像データを生成する画像合成部と、
前記画像合成部が生成した合成画像データを表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記第2画像データは円環状をなすことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像変換部は、
前記第2視野領域のうち前記第1視野領域と重複する領域を変換対象から除外することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
当該撮像装置の加速度を検出する加速度検出部と、
前記加速度検出部の検出結果に基づいて、前記第1撮像部の光軸が水平であるか否かを判定する水平判定部と、
を備え、
前記画像変換部は、
前記水平判定部の判定結果に応じて前記第2画像データを変換することを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。
【請求項5】
前記画像合成部は、
前記水平判定部によって前記第1撮像部の光軸が水平であると判定された場合、前記第1画像データと前記第2画像データを上下に並べて配置することを特徴とする請求項4に記載の撮像装置。
【請求項6】
人物の顔の画像に関する顔画像情報を記憶する顔画像情報記憶部と、
前記顔画像情報記憶部が記憶する顔画像情報を参照して前記第2画像データに含まれる人物の顔を検出する顔検出部と、
を備え、
前記画像変換部は、
前記水平判定部によって前記第1撮像部の光軸が水平でないと判定された場合、前記顔画像情報記憶部が記憶する顔画像情報を参照して、前記顔検出部が検出した顔の顔画像データに対して縦横比および傾きの少なくともいずれか一方を補正することを特徴とする請求項4または5に記載の撮像装置。
【請求項7】
前記画像合成部は、
前記画像変換部が変換した変換画像データを前記第1画像データの外縁領域に重畳して配置することを特徴とする請求項6に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2011−109543(P2011−109543A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−264303(P2009−264303)
【出願日】平成21年11月19日(2009.11.19)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】