説明

撮像装置、撮像制御方法、及び撮像制御プログラム

【課題】簡単な構造で広範囲の撮影を可能とする。
【解決手段】立体視用画像を得るために、被写体を輻輳角を有した複数の屈曲レンズ部による撮像部で撮影すると、初期は、被写体像の鉛直方向軸JA,JBは左右画像共に平行であるが(A)、被写体が複眼デジタルカメラ側に接近した場合に輻輳角を調整するべく屈曲レンズ部を回動させると、被写体像の被写体像の鉛直方向軸JA,JBは傾くので(B)、屈曲レンズ部の回動量に対応する分だけ撮像素子54から読み出す画像読み出し領域60を傾ける(C)。これで、被写体像が回転したことに対応する画像読み出し領域60となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像制御方法、及び撮像制御プログラムに係り、特に複数の撮像光学系により被写体を撮像して広角画像や立体視用画像を得る撮像装置、撮像制御方法、及び撮像制御プログラムに関する。
【背景技術】
【0002】
広範囲の視野画像を得るために単眼で撮影するパノラマカメラが知られている。また、被写体の3次元画像を得るために、複数の撮像光学系を備えた複眼撮像装置やステレオカメラが知られている。
【0003】
例えば、一対の撮影手段を輻輳角を有するように設けて、その輻輳角を変更可能にする変更手段を備えた複眼撮影装置が提案されている(特許文献1参照。)。特許文献1の複眼撮像装置では、一対の撮影手段を輻輳角を有するように設けて、その輻輳角を変更可能にすることで、被写体までの距離による影響の抑制を可能としている。
【0004】
また、左右に非対称非球面のオフアキシャル反射面および正の屈折力を持つプリズムを具備した撮像系を輻輳角を有するように設けて、その輻輳角を変更可能にした複眼撮影装置が提案されている(特許文献2参照)。特許文献2の複眼撮影装置では、オフアキシャル光学系によって、パノラマ画像を合成するときに左右の中心視点の違いによる見かけ上の台形歪みを抑制している。
【0005】
また、間隔を隔てた一対の撮影手段の光軸が交差するように一方の撮影手段の撮影角度を変更する撮影システムが提案されている(特許文献3参照)。特許文献3の撮影システムでは、主要被写体上において光軸が交差するように撮影角度を変更することで、立体視用の画像を生成している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−233579号公報
【特許文献2】特開2000−23199号公報
【特許文献3】特開2008−216513号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の技術では、撮影手段の全体を回転させて輻輳角を変更するため、複雑かつ大規模な装置を必要とする。
【0008】
また、特許文献2の技術では、光学系が非対称非球面で作成されるため、複雑な構造であり、また稼働機構は大型化を避けることができない。
【0009】
また、特許文献3の技術では、間隔を隔てた一対の撮影手段を移動させて光軸を交差させる必要があり、複雑な構造であり、また装置の大型化を避けることができない。
【0010】
本発明は、上記事実を考慮してなされたもので、簡単な構造で広範囲の撮影を可能とすることができる撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の撮像装置は、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像手段と、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出手段と、前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整手段と、を備える。
【0012】
本発明の撮像装置によれば、撮像手段は、本体に固定された撮像素子と撮像光学系を備える。撮像光学系は、被写体からの光を撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて屈曲レンズ部を撮像素子の受光面における光軸を中心として回動可能に設けられている。屈曲レンズ部を回動可能とするためには、射出光軸を基準として旋回可能にしたり、射出光軸を基準として撮像素子の受光面への入射光軸を中心として回動する回動部を有したりすればよい。この屈曲レンズ部を回動すると、固定された撮像素子上の画像は、光軸を中心として回転する。従って、屈曲レンズ部の回動により画像が傾くことになる。
【0013】
そこで、検出手段により、屈曲レンズ部を回動したときの撮像素子に照射された被写体の光学像の撮像素子の受光面における傾き角度を検出する。この検出は、撮像素子上における被写体の光学像の回転を検出できればよく、屈曲レンズ部の回動を検出したり、直接、画像の傾きを検出したりすればよい。検出手段の検出結果に基づいて、調整手段は、撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する。撮像素子へ照射される画像は傾くが、撮像素子からそのまま読み出したのでは、傾いた画像を得ることになる。このため、撮像素子の画像読み出す領域を傾けることにより、屈曲レンズ部の回動に伴う画像の回転に応じた読み出すための画像領域となる。また、撮像素子内に収まるように画像領域の大きさを調整することにより、画像が欠けたり、縮小されずぎたりすることがない。
【0014】
このように、屈曲レンズ部を回動させて被写体への方向を変更するとき、撮像素子上で回転する被写体の光学像の傾きを検出して、撮像素子から画像を読み出すための画像領域を傾けかつ撮像素子内に収まるように画像領域の大きさを調整するので、得られる画像に対する屈曲レンズ部の回動による影響を抑制でき、広範囲にわたる撮影が可能となる。
【0015】
[2] 他の発明の撮像装置は、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像手段と、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出手段と、前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得手段と、前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整手段と、を備える。
【0016】
他の発明の撮像装置によれば、取得手段により撮像素子から出力される画像信号に基づいて撮像画像を取得する。調整手段は、検出手段の検出結果に基づいて、取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、撮像画像の枠内に収まるように画像領域の大きさを調整する。撮像素子へ照射される画像は傾いており、そのまま画像を取得すると、傾いた画像を含んだ画像を取得する。そこで、取得した画像から画像を切り出すときの画像領域を傾けることにより、屈曲レンズ部の回動に伴う画像の回転に応じた画像領域となる。また、撮像画像内に収まるように画像領域の大きさを調整することにより、画像が欠けたり、縮小されずぎたりすることがない。
【0017】
このように、屈曲レンズ部を回動させて被写体への方向を変更するとき、撮像素子上で回転する被写体の光学像の傾きを検出して、取得した撮像画像に対して画像を切り出すための画像領域を傾けかつ撮像素子内に収まるように画像領域の大きさを調整するので、得られる画像に対する屈曲レンズ部の回動による影響を抑制でき、広範囲にわたる撮影が可能となる。
【0018】
[3] 前記撮像装置において、前記本体に固定された撮像素子は単一の撮像素子であり、前記複数の撮像光学系は前記単一の撮像素子へ向けて被写体からの光を照射することを特徴とする。
【0019】
前記撮像素子を単一で本体に固定した場合に、複数の撮像光学系による被写体からの光を単一の撮像素子へ向けて照射することで、撮像素子を複数設けることなく、兼用させることができる。この場合、単一の撮像素子上で、撮像光学系毎に照射領域を指定してもよく、時分割で撮像してもよい。
【0020】
[4] 前記撮像装置において、前記検出手段は、前記屈曲レンズ部が前記撮像素子の受光面における光軸を中心として回動した角度を検出することを特徴とする。屈曲レンズ部の回動と、画像の傾きは連動する。従って、検出手段による画像の傾き検出は、屈曲レンズ部を回動した角度を検出することで、簡単に傾きを検出することができる。
【0021】
[5] 前記撮像装置において、前記検出手段は、前記屈曲レンズ部の回動したときに前記撮像素子への被写体の光学像の照射光領域のエッジラインと基準ラインとの角度を検出することを特徴とする。屈曲レンズ部を回動したときの撮像素子に照射された画像の傾きは、撮像素子からの信号により直接検出できる。詳細には、照射された画像が傾くと、撮像素子に照射される光は、その端部(エッジ)も傾く。そこで、撮像素子から画像を読み出す場合、撮像素子の基準端部(基準エッジ)を予め定めておけば、基準エッジによる基準ラインと端部のエッジラインとのなす角度により、容易に傾きを求めることができる。従って、撮像素子上において画像領域を傾けることができる。また、撮像素子から出力される画像信号に基づき取得した撮像画像に対して画像を切り出す場合、取得した撮像画像の枠などを基準端部(基準エッジ)として予め定めておく。このようにすることで、基準エッジによる基準ラインと、被写体の光学像の照射光領域のエッジラインとのなす角度により、容易に傾きを求めることができる。従って、撮像画像上において画像領域を傾けることができる。なお、より明瞭にエッジ検出するためには、撮像光学系に四角形の開口を有するスリットを設けることが好ましい。
【0022】
[6] 前記撮像装置において、前記撮像手段は、少なくとも屈曲レンズ部が回動した回動側の撮像光学系に該撮像光学系の焦点距離を変更することにより前記撮像手段の画角を変更する画角変更部を具備し、前記調整手段は、前記回動により傾いた画像が前記撮像素子上の有効画素領域内に収まるように回動側の撮像光学系の画角を変更することを特徴とする。この撮像素子上の有効画素領域とは、撮像素子上の画素について、撮像素子から画像を読み出す場合や撮像素子から出力される画像信号に基づき取得した撮像画像に対して画像を切り出す場合に、有効となる画素の集合範囲をいう。撮像装置は、光学系にズーム機能を有するものが知られている。そこで、ズーム装置等のように、撮像光学系の焦点距離を調整する画角調整部を具備することにより、撮像手段の画角調整が容易となる。これにより、撮像素子へ照射される画像の大きさを調整でき、画像領域の大きさ調整も容易となる。
【0023】
なお、前記撮像装置において、前記屈曲レンズ部は、光路変更のためのプリズムまたは反射ミラーを採用できる。このように、プリズムや反射ミラーを用いることにより、軽量かつ単純な構造で、製造が簡単なものを得ることができる。また、軽量かつ単純な構造のプリズムや反射ミラーを用いることで、それを回動させることは容易となる。
【0024】
[7] 前記撮像装置において、前記撮像手段は、少なくとも屈曲レンズ部が回動していない非回動側の撮像光学系に該撮像光学系の焦点距離を変更することにより前記撮像手段の画角を変更する画角変更部を具備し、前記調整手段は、前記回動により傾いた画像に対する画角に基づいて、屈曲レンズ部が回動していない非回動側の撮像光学系の画角をさらに変更することを特徴とする。撮像装置に、回動しない屈曲レンズ部を含むとき、回動した屈曲レンズ部を経由した画像と、回動しない屈曲レンズ部を経由した画像とは画像の傾きが相違する。このため、例えば、回動により傾いた画像に対する画角に一致するように、屈曲レンズ部を回動していない非回動側の撮像光学系の画角を変更することによって、画角が一致し、画像の大きさを合致させることができる。
【0025】
[8] 前記撮像装置において、前記調整手段は、前記回動により傾いた画像に対する画角に基づいて、屈曲レンズ部が回動していない非回動側の画像領域の大きさをさらに変更することを特徴とする。撮像装置に、回動しない屈曲レンズ部を含むとき、回動した屈曲レンズ部を経由した画像と、回動しない屈曲レンズ部を経由した画像とは画像の傾きが相違する。このため、例えば、回動により傾いた画像に対する画角に一致するように、屈曲レンズ部を回動していない非回動側の画像領域の大きさをを変更することによって、画角が一致し、画像の大きさを合致させることができる。
【0026】
[9] 前記撮像装置において、前記調整手段は、前記画像領域として縦横複数の画素が配列された撮像素子の画素数を対応させ、撮像素子の画素数を調整することで画像領域の大きさを調整することを特徴とする。CCD等の縦横複数の画素が配列された撮像素子を用いる場合、画像の傾きに見合う縦横の画素を選択することで、画像領域の大きさを設定できる。
【0027】
[10]前記撮像装置において、前記調整手段で調整した画素数に対応する解像度または焦点距離を報知する報知手段をさらに備えたことを特徴とする。画像の傾きに見合う縦横の画素を選択することは、解像度を選択することに対応する。すなわち、画像が傾く前の画素数M1に対して画像が傾いた後の画素数M2では、その比率(M2/M1)に応じて解像度が変更したことに相当する。また、画像が傾く前の画素数M1による画像幅N1に対して画像が傾いた後の画素数M2によるN2では、その比率(N2/N1)に応じて焦点距離が変更したことに相当する。そこで、調整手段で調整した画素数に対応する解像度または焦点距離を報知することにより、ユーザに対して事前に撮影条件を報知することが可能となる。
【0028】
[11]前記撮像装置において、前記調整手段における調整結果が予め定めた調整量を超えたときに、警告する警告手段をさらに備えたことを特徴とする。ユーザは撮像素子の画像読み出し領域を傾けたり、撮像素子内に収まるように画像読み出し領域の大きさを調整したりすることについて、極端な調整を好まない場合もある。そこで、調整手段における調整結果が予め定めた調整量(例えば標準的なユーザの意図を定めた値)を超えたときに、例えば撮影不可能を示す警告することで、ユーザに対して例えば極端な調整になることを事前に把握させることができ、ユーザの意図から逸脱した調整を回避することができる。
【0029】
[12]前記撮像装置において、前記調整手段により調整された画像領域により定まる画像を出力する画像出力手段をさらに備えたことを特徴とする。この画像出力手段を備えることで、調整された画像領域による画像を、表示したり記録したり送信したりすることができる。
【0030】
なお、前記撮像装置において、前記画像出力手段は、画像を表示する表示部を有し、前記撮像素子の画像領域の傾け量に基づいて傾けた格子線を生成し出力する格子線生成手段を含むようにしてもよい。表示部に画像を表示する場合、画像が傾くと、ユーザは撮影の感覚がずれたり、違和感を感じたりする場合が多い。そこで、画像領域の傾け量に基づいて傾けた格子線を生成し出力することで、画像に格子線を共に表示する。これにより、ユ0−ザに対して格子線(例えばグリッド)によって画像の傾きを提示でき、撮影の支援をすることが可能となる。
【0031】
[13]前記撮像装置において、前記撮像光学系の少なくとも2つについて、前記撮像素子に照射される被写体像の一部が重複するまたは連結するように前記屈曲レンズ部を回動させる回動制御手段をさらに備えたことを特徴とする。複数の撮像光学系による画像の一部を重複させたり、連結させたりすることにより、複数画像から大きいサイズの画像(例えば広い画角で撮影したかような画像)を得ることができる。
【0032】
[14]前記撮像装置において、前記回動制御手段は、前記屈曲レンズ部を複数回数による回動をさせて該回動毎に撮像指示させることを特徴とする。このように、屈曲レンズ部を複数回数による回動をさせて該回動毎に撮像指示させることにより、広範囲、例えば周辺360度の画角で撮影したかのような撮影画像を得ることができる。
【0033】
[15]前記撮像装置において、前記撮像手段の複数撮像光学系により得られる画像について、複数の視点から各々同期して撮影された複数の画像のうち何れか1つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体視用画像を作成する作成手段をさらに備えたことを特徴とする。このように、立体視用画像を作成する作成手段によって、立体視用画像をユーザへ提供することが容易となる。
【0034】
[16]本発明の撮像制御方法は、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御方法であって、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出工程と、前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整工程と、を含む。
【0035】
[17]他の発明の撮像制御方法は、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御方法であって、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出工程と、前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得工程と、前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整工程と、を含む。
【0036】
[18]本発明の撮像制御プログラムは、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御プログラムであって、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出ステップと、前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整ステップと、をコンピュータに実行させる。
【0037】
[19]他の発明の撮像制御プログラムは、本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御プログラムであって、前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出ステップと、前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得ステップと、前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整ステップと、をコンピュータに実行させる。
【発明の効果】
【0038】
以上説明したように、本発明によれば、屈曲レンズ部を回動させて被写体への方向を変更するとき、撮像素子上で回転する画像の傾きを検出して、画像を得るための画像領域を傾けかつ撮像素子内に収まるように画像領域の大きさを調整するので、得られる画像に対する屈曲レンズ部の回動による影響を抑制でき、広範囲にわたる撮影を可能とすることができる、という効果が得られる。
【図面の簡単な説明】
【0039】
【図1】第1実施形態の複眼デジタルカメラの正面側斜視図である。
【図2】第1実施形態の複眼デジタルカメラの背面側斜視図である。
【図3】撮像ユニットの内部構成を示す概略図であり、(A)は正面図、(B)は側面図、(C)は屈曲レンズ部が回動した状態を示す上面図である。
【図4】複眼デジタルカメラの電装部分について概略構成を示すブロック図である。
【図5】立体視用画像を得るために被写体を撮影するときに被写体と屈曲レンズ部との関係を示すイメージ図である。
【図6】屈曲レンズ部の回動による左右画像と画像読み出し領域の関係を示すイメージ図であり、(A)は初期状態、(B)は接近状態、(C)は傾いた画像読み出し領域を示す。
【図7】被写体を撮影するときに一方の屈曲レンズ部を回動させたときの被写体と屈曲レンズ部との関係を示すイメージ図である。
【図8】第1実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図9】第2実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図10】撮像画像から画像の傾きを算出することの説明図であり、(A)は初期状態、(B)は回動後の状態を示す。
【図11】第3実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図12】第4実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図13】撮影部のズーム機構の調整過程を示すイメージ図であり、(A)は初期状態、(B)は回動後の状態、(C)はズーム駆動後の状態を示す。
【図14】第5実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図15】第6実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図16】グリッド回転の説明図であり、(A)は初期表示、(B)は回動後の表示を示す。
【図17】第7実施形態に係る幅広の広角画像を得るための被写体と撮像ユニットの関係を示すイメージ図である。
【図18】第7実施形態に係る幅広の広角画像を得る過程の説明図であり、(A)は初期状態、(B)は回動後の状態、(C)は画像読み出し領域設定状態、(D)は画像を合成した状態を示す。
【図19】第7実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図20】第8実施形態の複眼デジタルカメラの正面側斜視図である。
【図21】第8実施形態の複眼デジタルカメラの背面側斜視図である。
【図22】第8実施形態に係る全方位画像を得るための被写体と撮像ユニットの関係を示すイメージ図である。
【図23】全方位画像の配列を示すイメージ図である。
【図24】第7実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図25】複眼デジタルカメラで相違した回動角度で画像を得るために被写体を撮影するときに被写体と屈曲レンズ部との関係を示すイメージ図である。
【図26】複眼デジタルカメラで一方の撮影部の撮像ユニットの屈曲レンズ部を回動させて画像を得るために被写体を撮影するときに被写体と屈曲レンズ部との関係を示すイメージ図である。
【図27】第9実施形態の画像処理ルーチンの流れを示すフローチャートである。
【図28】屈曲レンズ部の回動による左右画像と画像読み出し領域の関係を示すイメージ図であり、(A)は初期状態、(B)は非回動側での光学調整状態、(C)は回動側での光学調整状態、(D)は非回動側での電気調整状態を示す。
【図29】第10実施形態の撮影部における撮像素子から全画素を読み出してなる画像から切り出して画像を形成する過程の説明図であり、(A)は回動角度が初期値のとき、(B)は屈曲レンズ部を回動させたとき、(C)は画像切り出し領域を設定したとき、(D)は切り出したときを示す。
【図30】第11実施形態の複眼デジタルカメラにおける撮像ユニット周辺の構成を示す概略図であり、(A)は撮像ユニットの上面図、(B)は背面図、(C)は画像分割の変形例を示す。
【発明を実施するための形態】
【0040】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮像装置を複眼デジタルカメラに適用した場合について説明する。
【0041】
〔第1実施形態〕
第1実施形態は、複眼デジタルカメラにおいて、立体視用画像を得るための輻輳角の調整を簡単な構成で容易に処理するものである。
【0042】
図1は、第1実施形態の複眼デジタルカメラ1の正面側斜視図、図2は背面側斜視図である。図1に示すように、複眼デジタルカメラ1の上部には、レリーズボタン2、電源ボタン3、及びズームレバー4が備えられている。また、複眼デジタルカメラ1の正面には、フラッシュ5及び2つの撮影部21A、21Bのレンズが配設されている。また、複眼デジタルカメラの1の背面には、各種表示を行う液晶モニタ7、及び各種操作ボタン8が配設されている。2つの撮影部21A、21Bの各々は、撮像ユニット6を含んでいる。
【0043】
なお、本実施形態では、撮像ユニット6を2つの撮影部21A、21Bの各々が含む構成について説明するが、何れか一方のみに具備する場合にも以下の説明は適用可能である。
【0044】
図3は、撮像ユニット6の内部構成を示す概略図である。図3(A)は撮像ユニット6の正面図、図3(B)は側面図、図3(C)は後述する屈曲レンズ部が回動した状態を示す上面図である。図3(A),(B)に示すように、撮像ユニット6は、屈曲レンズ部50、撮像レンズ群52,撮像素子54から構成される撮像系により、被写体からの光を撮像素子54へ照射(結像)させるようになっている。撮像素子54は複眼デジタルカメラ1本体に固定されたハウジング55内に収納されており、本体に対し固定された状態となっている。また、ハウジング55には鏡筒53が固定されている。鏡筒53の内部には撮像レンズ群52が設置されている。鏡筒53には回動駆動部51が取り付けられている。回動駆動部51には回動可能に屈曲レンズ部50が設置されている。このように、撮像ユニット6は、撮像レンズ群52と撮像素子54からなる複眼デジタルカメラ1に固定された固定部と、屈曲レンズ部50からなる自在に回動する回動部とから構成されている。なお、撮像レンズ群52はズーム機構を含んでいる。また、屈曲レンズ部50の一例には、プリズムや反射ミラーが挙げられる。
【0045】
回動駆動部51は、屈曲レンズ部50を回動させるためのものである。屈曲レンズ部50は、撮像素子54の受光面及び撮像レンズ群52の光軸CLを中心として撮像レンズ群52の光軸CLに交差する方向(矢印R方向)に回動する。これにより屈曲レンズ部50は、図3(C)に示すように、被写体からの光を屈曲させて撮像素子54へと偏向すると共に、回動駆動部51の回動駆動により被写体に対する向きを変更することが可能な構成になっている。図3(C)では角度θだけ旋回させた場合を示している。
【0046】
図4は、複眼デジタルカメラ1の電装部分について概略構成を示すブロック図である。図4に示すように、複眼デジタルカメラ1は、2つの撮影部21A、21B、撮影制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、表示制御部28、及びCPU35を備えている。CPU35は、各種操作ボタン8からの入力を受け付けると共に、各種プログラムを実行する。なお、撮影部21A、21Bは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ27に記憶されている。
【0047】
2つの撮影部21A、21Bは、インタフェース部20を介して36に接続される。このインタフェース部20には、角度センサ33からの検出信号が入力されるように角度センサ33が接続されている。角度センサ33は、撮像ユニット6における屈曲レンズ部50の回動角度を検出する。また、インタフェース部20には、回動駆動部51が接続されている。
【0048】
なお、本実施形態では、回動駆動部51により屈曲レンズ部50を回動させる場合を説明するが、これに限定されるものではない。例えば、回動駆動部51を回動部として構成し、手動にて屈曲レンズ部50を回動させるようにしてもよい。この場合、手動にて回動された屈曲レンズ部50の回動角度を角度センサ33により検出する。また、エンコーダ付きのモータ等の素子を用いることで、角度センサ33と回動駆動部51は駆動と検出を1つの素子で兼用することができる。
【0049】
撮影制御部22は、図示しないAF処理部及びAE処理部からなる。AF処理部はレリーズボタン2の半押し操作(S1操作)により撮影部21A、21Bが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部21A、21Bに出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部21A、21Bに出力する。
【0050】
また、撮影制御部22は、レリーズボタン2の全押し操作(S2操作)により、撮影部21Aに対して左画像、撮影部21Bに対して右画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン2が操作される前は、撮影制御部22は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を撮影部21A、21Bに対して行う。
【0051】
画像処理部23は、撮影部21A、21Bが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
【0052】
圧縮/伸長処理部24は、画像処理部23によって処理が施された左画像及び右画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルとしてはマルチピクチャーフォーマット(Multi Picture Format)などが使用でき、左画像及び右画像の画像データに、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報を関連付け格納される。
【0053】
フレームメモリ25は、撮影部21A、21Bが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部23が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【0054】
メディア制御部26は、記録メディア29にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
【0055】
内部メモリ27は、複眼デジタルカメラ1において設定される各種定数、及びCPU35が実行するプログラム等を記憶する。
【0056】
表示制御部28は、撮影時においてフレームメモリ25に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ7に表示させたり、記録メディア29に記録されている左画像及び右画像、または立体視用画像を液晶モニタ7に表示させたりする。
【0057】
また、複眼デジタルカメラ1は、3次元処理部30、及び回動制御部31を備える。
【0058】
3次元処理部30は、左画像及び右画像をモニタ7に立体視表示を行うために、左画像及び右画像に3次元処理を行って視差量を考慮して立体視用画像を生成する。視差量は、立体視用画像の立体感を適切なものとするために、左画像及び右画像に基づいて生成されるものである。ここで、視差は、左画像及び右画像の双方に含まれる被写体の左画像と右画像との横方向における画素位置の相違として算出することができる。視差量を適切に生成することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。
【0059】
回動制御部31は、撮像ユニット6の屈曲レンズ部50を回動させたり、屈曲レンズ部50の回動により回転する画像に見合う領域から画像を読み出したりする回動制御を行うものである。この屈曲レンズ部50の回動により回転する画像に見合う領域から画像を読み出すことについて説明する。
【0060】
図5は、複眼デジタルカメラ1により立体視用画像を得るために被写体を撮影するときにおける被写体と複眼デジタルカメラ1の撮像ユニット6に含まれる回動した屈曲レンズ部50との関係を示したものである。なお、以下の説明では、撮影部21A,21Bの各々に対応する構成要素に対して、A,Bを付与して説明する。図5に示すように、立体視用画像を得るために、撮影部21A、21Bの画角内に被写体が位置する。撮影部21Aの屈曲レンズ部50Aによる光軸LAと、撮影部21Bの屈曲レンズ部50Bによる光軸LBとの成す角度が輻輳角Gとなる。この輻輳角Gは標準的な初期値G0を予め定めており、初期値G0による輻輳角Gで撮影すると、図6(A)に示すように、被写体像の鉛直方向軸JA,JBは左右画像共に平行である。このため、撮像素子54の全ての領域を読み出せば、立体視用画像を得る。
【0061】
これに対して被写体が複眼デジタルカメラ1側に接近した場合に輻輳角を調整するべく、屈曲レンズ部50Aを矢印RA方向に回動させ、同様に屈曲レンズ部50Bを矢印RB方向に回動させると、図6(B)に示すように、被写体像の被写体像の鉛直方向軸JA,JBは傾く。そこで、屈曲レンズ部50A,50Bが回動した量に対応する分だけ撮像素子54から読み出す画像読み出し領域60を傾ける。これにより、被写体像が回転したことに対応する画像読み出し領域60となる。このときに、撮像素子54の初期の読み出し領域内に収まるように画像読み出し領域の大きさを変更することで、撮像素子54の画像読み出し領域を有効に利用できる。この画像読み出し領域は、本発明の画像領域に対応する。
【0062】
なお、図5では、撮影部21A、21Bの両方の屈曲レンズ部50を回動させた場合を説明したが、図7に示すように、何れか一方のみを回動させる場合であっても同様に、撮像素子54上で回転された画像に対して処理を施せばよい(詳細は後述)。
【0063】
また、上記実施形態では、撮影部21A、21Bの両方の屈曲レンズ部50を回動させた場合を説明したが、各撮影部21A、21Bの屈曲レンズ部50を独立に回動させる場合であっても同様に、撮像素子54上で回転された画像に対して処理を施せばよい。
【0064】
なお、回動制御部31は、ハードウェア装置で構成してもよく、上述のハードウェア資源を用いたプログラム実行によるソフトウェアで構成してもよい。
【0065】
上述のインタフェース部20,撮影制御部22,前述の画像処理部23,伸長処理部24,フレームメモリ25,メディア制御部26,内部メモリ27,表示制御部28,3次元処理部30,回動制御部31,CPU35は、データやコマンドを授受可能にバス36に接続されている。
【0066】
次に、図8を参照して、第1実施形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。
【0067】
撮影者が複眼デジタルカメラ1の電源ボタン3を操作して電源投入することにより、CPU35が処理を開始し、ステップ100において、複眼デジタルカメラ1の初期設定が行われる。このとき、輻輳角Gは、初期値G0に設定される。次のステップ102では、輻輳角Gの調整有無の設定がなされる。ステップ102の設定は、撮影者が近距離撮影等の指示を複眼デジタルカメラ1に対してなしたことを読み取ることによりなされる。なお、屈曲レンズ部50を手動回動する場合は、初期値から輻輳角Gがずれていることを検知することで輻輳角Gの調整有の設定とする。
【0068】
次のステップ104では、S1操作によって、撮影部21A,21Bにより撮像素子54A,54Bに被写体像が照射された左右画像を取得し、スルー画像として出力(表示)する。この場合に液晶モニタ7へ表示するスルー画像は、撮影部21A、21Bの何れか一方の画像を選択的に表示させてもよく、例えば時分割的に交互に表示させることで両方表示させてもよく、立体表示装置を備える場合は左右画像に基づいて立体表示させてもよい。なお、ステップ104では、図示しないAF処理部及びAE処理部により合焦領域が決定されると共に、絞り値とシャッタ速度とが決定される。
【0069】
次のステップ106では、複眼デジタルカメラ1から被写体である被撮影対象までを測距し、次のステップ108において、測距した位置(ステップ106)で光軸LAと光軸LBが交差するように、屈曲レンズ部50A,50Bを各々回動させる。これらの処理について合焦領域が決定されるまで実行し、合焦されると(ステップ110で肯定)、S2操作による撮影指示を待つ。
【0070】
次に、ステップ112ではレリーズボタン2の信号を読み取ることでS2操作がなされたことを検知し、ステップ114へ進み、撮像素子54A,54Bに被写体像が照射された左右画像である撮影画像の取り込みを開始する。このとき、屈曲レンズ部50は回動されているため、角度センサ33からの信号を読み取ることで輻輳角Gを検出する(ステップ116)。次のステップ118では、このステップ116で検出した輻輳角Gから画像読み出し領域を定める。
【0071】
具体的には、角度センサ33で検知した屈曲レンズ部50の回動角度θを求め、その屈曲レンズ部50の回動角度θだけ、撮像素子54の画像読み出し領域60を回転する(図6(C)参照)。このとき、画像読み出し領域60のサイズ(画素数k)を次の数式により定める。
【0072】
k=c・(1/SQR(cos(X)+α・sin(X)))
X=ABS(θ)
但し、
cは撮像素子54の全画素数、
αはアスペクト比(横/縦)、
SQR()は2乗関数、
ABS()は絶対値関数、
である。
【0073】
次のステップ120では、上記ステップ118で定めた画像読み出し領域60で撮像素子54A,54Bの各々から画像を読み出して一時的に保存し、画像合成し(ステップ122)、画像表示する(ステップ124)。これらの処理は、一時的に保存した左右画像から立体視用画像を生成し、その立体視用画像をモニタ7に表示することである。
【0074】
次に、ステップ126では、各種操作ボタン8の信号を読み取ることで撮影者の指示による視差調整不要か否かを判断し、不要判定の場合にはステップ128において画像を保存して本処理ルーチンを終了する。ステップ128の画像保存処理は、立体視用画像の画像ファイルを生成し、保存することである。
【0075】
一方、ステップ126で否定された場合は、視差調整が必要であるため、ステップ130において、画像読み出し領域60A,60Bにより撮像素子54A,54Bの各々から読み出した左右画像について、視差量を算出し、視差調整処理する。この視差調整処理は、各種操作ボタン8による調整量指示または図示しない専用レバーの移動量に応じて視差量を増減し、その結果、立体視用画像の画像位置の位置調整がなされることである。この視差調整処理では視差調整中の画像を逐次表示させる。次のステップ132では、各種操作ボタン8の終了信号を読み取ることで、調整が完了したか否かを判断し、肯定されると、完了した視差調整後の画像を保存(ステップ128)して本処理ルーチンを終了し、否定されると、ステップ130へ戻り、上記処理を繰り返す。
【0076】
以上説明したように、本実施形態の複眼デジタルカメラによれば、屈曲レンズ部のみを回動可能にすることにより、輻輳角を変更する装置構造を簡略化できる。また、屈曲レンズ部のみが回動可能であるため、駆動負荷を軽減できる。これにより消費電力を抑制でき、他処理への電力供給を増加させることができ、製品性能の向上を図ることができる。
【0077】
なお、本実施の形態では、S2操作(ステップ112)の後、画像読み出し領域を定める場合を説明したが、S1操作(ステップ104の後に行っても良い。このようにすることで、撮影前に事前に画像読み出し領域を決定することができると共に撮影者に認知させることが可能となる。具体的には、ステップ116とステップ118の処理をステップ108とステップ110の間に実施するようにすればよい。
【0078】
〔第2実施形態〕
次に、第2実施形態について説明する。第2実施形態の撮像装置の構成は、第1実施形態と同一であるため、説明を省略する。
【0079】
第2実施形態は、第1実施形態の複眼デジタルカメラ1において、輻輳角の調整を高精度に行うためのものである。
【0080】
図9を参照して、第2実施形態の画像処理ルーチンについて説明する。なお、第1実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図9は、図8と相違する追加部分を示した。
【0081】
ステップ100〜108において、スルー画像を出力(表示)し、複眼デジタルカメラ1から被撮影対象までの測距した位置で輻輳するように、屈曲レンズ部50A,50Bを各々回動させる。次に、合焦されると(ステップ110で肯定)、ステップ200へ進む。
【0082】
ステップ200では、撮像素子54上の画像のエッジから傾きを検出する。具体的には、図10(A)及び図10(B)に示すように、屈曲レンズ部50A,50Bの各々を回動させることで、撮像素子54A,54B上の画像が回転する。このとき、被写体からの光の端、つまり開口端(瞳像)は、回転に伴って回転する。これにより、撮像素子54A,54B上には開口端のエッジライン56A、56Bが形成され、このエッジライン56A,56Bと撮像素子54A,54B上の端部ラインとの成す角度θa、θbから画像の傾きを求めることが可能となる。すなわち、撮像素子から画像を読み出す場合、撮像素子の端部ラインを基準端部(基準エッジ)として予め定めておけば、基準エッジによる基準ライン(端部ライン)と画像端部のエッジラインとのなす角度により、容易に傾きを求めることができる。
【0083】
次のステップ202では、屈曲レンズ部50A,50Bの各々を微量回動させて、次のステップ204で左右バランスが適正か否かを判断する。これは、輻輳角を微調整することに相当する。例えば、角度θa、θbの差分値が予め定めた微小角度以内であれば、左右バランスが適正と判断し、ステップ112へと移行する。
【0084】
以下、第1実施形態と同様に処理する。
【0085】
以上説明したように、第2実施形態の複眼デジタルカメラによれば、輻輳角の状態を常時検出できると共に、調整も可能である。これによって、高精度の角度制御が可能となる。また、撮影部21A,21Bの各屈曲レンズ部の初期状態の回動角度や回動後の角度にバラツキがあった場合でも、高精度に回動角度を一致させることができる。また、撮影部21A,21Bの各屈曲レンズ部による回動角度を正確に検出できるので、撮像後に左右画像を合成する際に、画像の合成ズレを抑制することが可能となる。
【0086】
なお、本実施の形態では、S2操作の直前(ステップ110の後)に、撮像素子54上の画像のエッジから傾きを検出する場合を説明したが、S2操作以降(ステップ112以降)に行っても良い。具体的には、ステップ116とステップ118の処理間に実施するようにすればよい。
【0087】
〔第3実施形態〕
次に、第3実施形態について説明する。第3実施形態の複眼デジタルカメラの構成は、第1実施形態と同一であるため、説明を省略する。
【0088】
第3実施形態は、第1実施形態の複眼デジタルカメラにおいて、回動により変更される撮影条件を撮影者に報知するものである。
【0089】
図11を参照して、第3実施形態の画像処理ルーチンについて説明する。なお、第1実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図11は、図8と相違する追加部分を示した。
【0090】
ステップ100〜108において、スルー画像を出力(表示)し、複眼デジタルカメラ1から被撮影対象までの測距した位置で輻輳するように、屈曲レンズ部50A,50Bを各々回動させる。
【0091】
次に、ステップ300では、ステップ116と同様に角度センサ33からの信号を読み取ることで輻輳角Gを検出し、次のステップ302では、ステップ118と同様に輻輳角Gから画像読み出し領域を定める。この定められた画像読み出し領域は、画像読み出し領域60のサイズ(画素数k)、そして画像読み出し領域60のサイズの変更から(例えば画像幅の変動から)画角変更後の画像の焦点距離を求めることができる。なお、画素数の報知に代えて解像度を報知するようにしてもよい。これは画素数の変動が解像度に対応するためである。また、これら画素数、焦点距離を、画像データと関連付けて画像ファイルに記録しても良い。
【0092】
次のステップ304では、上記ステップ302で求めた画像読み出し領域60のサイズの変更による画素数及び例えば画像幅の変動から求まる実仕様上の焦点距離の何れか、また画素数に代えて解像度を、液晶モニタ7に表示させることによって報知する。この報知は、撮影者に好ましく認知させるため、点滅表示が好ましい。
【0093】
次に、合焦されたか否かを判断し、肯定されるとステップ112へ進み、否定されるとステップ106へ戻り、上記処理を繰り返し実行する。
【0094】
以下、第1実施形態と同様に処理する。
【0095】
以上説明したように、第3実施形態の複眼デジタルカメラによれば、調整した画素数またはこれに対応する解像度または焦点距離を報知することにより、ユーザに対して事前に撮影条件を報知することができる。
【0096】
なお、本実施の形態では、S1の操作とS2操作の間(ステップ108〜110の間)に、報知処理する場合を説明したが、S2操作以降(ステップ112以降)に行っても良い。具体的には、ステップ118とステップ120の処理間に実施するようにすればよい。
【0097】
また、第3実施形態は、上記第1実施形態〜第2実施形態の何れにも適用可能である。
【0098】
〔第4実施形態〕
次に、第4実施形態について説明する。第4実施形態の複眼デジタルカメラの構成は、第1実施形態と同一であるため、説明を省略する。
【0099】
第4実施形態は、第1実施形態の複眼デジタルカメラにおいて、回動により変更される画像読み出し領域に見合う大きさに光学像を調整するものである。
【0100】
図12を参照して、第4実施形態の画像処理ルーチンについて説明する。なお、第1実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図12は、図8と相違する追加部分を示した。
【0101】
ステップ100〜108において、スルー画像を出力(表示)し、複眼デジタルカメラ1から被撮影対象までの測距した位置で輻輳するように、屈曲レンズ部50A,50Bを各々回動させる。次に、ステップ300〜302において、輻輳角Gを検出して画像読み出し領域を定める。
【0102】
次に、ステップ400では、上記ステップ302で求めた画像読み出し領域60のサイズに見合う大きさに被写体像を拡大または縮小する。例えば、屈曲レンズ部50A,50Bを各々回動させた場合、画像枠(上記エッジライン56A,56B)は固定のため、被写体像は調整された画像読み出し領域60に対してはみ出す。これは、屈曲レンズ部の回動に応じて回転と共に大きさが調整された画像読み出し領域60で読み出す画像の画角が変化するためである。そこで、このステップ400では、回動前の画角と、回動後の画像読み出し領域60で読み出した画像の画角が一致するように被写体像を拡大または縮小する。このステップ400の処理は、撮像レンズ群52に含まれるズーム機構により実行される。この撮像レンズ群52に含まれるズーム機構の駆動量は、上記ステップ302で画像読み出し領域60を求めるときに得られる焦点距離fを用いることができる。この焦点距離fとなるようにズーム機構の焦点距離を合わせればよい。また、ズーム機構の調整により、画像枠が拡大縮小することを利用して、上記求めた画像読み出し領域60に収まるようにズーム機構の焦点距離を定めても良い。このズーム機構による調整を説明する。
【0103】
図13は、撮影部21Aにおけるズーム機構の調整過程を示したイメージ図である。角度センサ33で検知した屈曲レンズ部50Aの回動角度θaを求め、その屈曲レンズ部50の回動角度θaだけ、撮像素子54の画像読み出し領域60Aを回転する。このとき撮像素子54の初期の読み出し領域内に収まるように画像読み出し領域60Aの大きさを変更する(図13(B)参照)。この段階では、画像読み出し領域60Aから被写体像がはみ出している。すなわち、屈曲レンズ部50Aによる開口端のエッジライン56Aはそのまま回転するので、被写体像がはみ出すこととなる。そこで、画像読み出し領域60Aに見合う大きさの画像となるように、ズーム機構の駆動値(焦点距離f)を次の数式により定める。求めた焦点距離fとなるように、撮像レンズ群52に含まれるズーム機構を駆動すると、画像読み出し領域60Aに被写体の画像が収まる(図13(C)参照)。
【0104】
f=fb・(1/RT(ca/cb))
但し、
fbは回動前の焦点距離
caは回動後の撮像素子54の画素数、
cbは回動前の撮像素子54の画素数、
RT()は平方根関数、
である。
【0105】
次に、合焦されたか否かを判断し(ステップ110)、肯定されるとステップ112へ進み、否定されるとステップ106へ戻り、上記処理を繰り返し実行する。
【0106】
以下、第1実施形態と同様に処理する。
【0107】
以上説明したように、第4実施形態の複眼デジタルカメラによれば、ズーム機構により焦点距離を調整して画角変動を抑制している。このため、撮影者が逐次ズーム機構を操作することなく、簡単に略同一画角の画像を撮影者へ提供できる。
【0108】
なお、本実施の形態では、S1の操作とS2操作の間(ステップ108〜110の間)に、報知処理する場合を説明したが、S2操作以降(ステップ112以降)に行っても良い。具体的には、ステップ118とステップ120の処理間に実施するようにすればよい。
【0109】
また、第4実施形態は、上記第1実施形態〜第3実施形態の何れにも適用可能である。
【0110】
〔第5実施形態〕
次に、第5実施形態について説明する。第5実施形態の立体内視鏡装置の構成は、第1実施形態と同一であるため、説明を省略する。
【0111】
第5実施形態は、第1実施形態の複眼デジタルカメラにおいて、回動により画像読み出し領域を変更する量が事前に設定した値より大きい場合に警告するものである。
【0112】
図14を参照して、第5実施形態の画像処理ルーチンについて説明する。なお、第1実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図14は、図8と相違する追加部分を示した。
【0113】
ステップ100〜108において、スルー画像を出力(表示)し、複眼デジタルカメラ1から被撮影対象までの測距した位置で輻輳するように、屈曲レンズ部50A,50Bを各々回動させる。次に、ステップ300〜302において、輻輳角Gを検出して画像読み出し領域を定める。
【0114】
なお、ステップ100では、予め内部メモリ27に記憶されている初期値を読み取り、設定されるものとする。この初期値は、回動により画像読み出し領域を変更するときの許容量を定めたものである。具体的には画素数及び焦点距離の少なくとも一方が記憶されている。この初期値は、内部メモリ27に記憶されることに限定されるものではない。例えば撮影者により設定可能とするようにしてもよい。
【0115】
次に、ステップ500では、ステップ302で定めた画像読み出し領域における画素数及び焦点距離の少なくとも一方が、初期値として予め設定した許容範囲内か否かを判別することによって、画素数及び焦点距離が許容範囲内にあるという撮影条件を満足しているか否かを判断する。ステップ500で肯定されるとステップ110へ進み上記と同様に処理し、否定されると、ステップ502へ進む。
【0116】
ステップ502では、液晶モニタ7に撮影条件に合致していないことを示す警告表示をすると共に、撮影を禁止状態に設定する。警告表示には、撮影を禁止状態に設定したことを示す情報を表示することが好ましい。撮影禁止状態からの解除は、電源遮断または画素数及び焦点距離が許容範囲内に撮影条件になったことを判別したときに行われる。
【0117】
以下、第1実施形態と同様に処理する。
【0118】
以上説明したように、第4実施形態の複眼デジタルカメラによれば、ズーム機構により焦点距離を調整して画角変動を抑制している。このため、撮影者が逐次ズーム機構を操作することなく、簡単に略同一画角の画像を撮影者へ提供できる。
【0119】
なお、本実施の形態では、S1の操作とS2操作の間(ステップ108〜110の間)に、警告処理する場合を説明したが、S2操作以降(ステップ112以降)に行っても良い。この場合、撮影処理を中断するように処理することが好ましい。
【0120】
また、第5実施形態は、上記第1実施形態〜第4実施形態の何れにも適用可能である。
【0121】
〔第6実施形態〕
次に、第6実施形態について説明する。第6実施形態の複眼デジタルカメラの構成は、第1実施形態と同一であるため、説明を省略する。
【0122】
第6実施形態は、第1実施形態の複眼デジタルカメラにおいて、撮影時の構図選定を支援する格子線(グリッド)を撮影者に提示するときに、屈曲レンズ部の回動による画像読み出し領域の回転に応じて、格子線(グリッド)を回転させるものである。
【0123】
図15を参照して、第6実施形態の画像処理ルーチンについて説明する。なお、第1実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。また、図15は、図8と相違する追加部分を示した。
【0124】
ステップ100〜108において、スルー画像を出力(表示)し、複眼デジタルカメラ1から被撮影対象までの測距した位置で輻輳するように、屈曲レンズ部50A,50Bを各々回動させる。次に、ステップ300〜302において、輻輳角Gを検出して画像読み出し領域を定める。
【0125】
次に、ステップ600では、上記ステップ302で求めた画像読み出し領域60の傾きに応じて格子線(グリッド)62を回転して液晶モニタ7に表示させる。
【0126】
図16は、複眼デジタルカメラ1の液晶モニタ7におけるスルー画像の表示を示したイメージ図である。屈曲レンズ部50の回動位置が初期状態では、液晶モニタ7に表示される格子線(グリッド)62は、液晶モニタ7の縦横方向に平行である(図16(A)参照)。この場合、屈曲レンズ部50は初期状態であるため、画像読み出し領域60に対応する液晶モニタ7上の画像表示枠61は、液晶モニタ7の外枠と一致する。一方、屈曲レンズ部50が回動されると、角度センサ33で検知した屈曲レンズ部50Aの回動角度θだけ、撮像素子54の画像読み出し領域60を回転させる(図16(B)参照)。この場合には、液晶モニタ7上の画像表示枠61は、画像読み出し領域60の回転に応じた角度で回転している。そこで、画像読み出し領域60の回転角度に相当する角度で、格子線(グリッド)62を回転させて液晶モニタ7に表示させる(図16(B)参照)。
【0127】
次に、合焦されたか否かを判断し(ステップ110)、肯定されるとステップ112へ進み、否定されるとステップ106へ戻り、上記処理を繰り返し実行する。
【0128】
以下、第1実施形態と同様に処理する。
【0129】
以上説明したように、第6実施形態の複眼デジタルカメラによれば、屈曲レンズ部の回動による画像読み出し領域の回転に応じて、格子線(グリッド)を回転させて表示するので、格子線(グリッド)を撮影者が指標として撮影時の構図選定をすることができ、撮影支援をすることができる。
【0130】
本実施形態は、屈曲レンズ部を経由して撮像素子へ至るまでの被写体からの光束の一部を採光する光学ファインダを具備したカメラに好適である。すなわち、光学ファインダは本体に固定されて、撮影するときの画角に応じた範囲を視認可能に提供されるものがある。このため、屈曲レンズ部の回動に応じて視認可能に提供される画像は回転することになる。この画像に回転により、撮影時の構図選定が難しくなる。そこで、この光学ファインダ内に、回転可能な格子線(グリッド)を設け、屈曲レンズ部の回動に応じて格子線(グリッド)を回転させることにより、撮影者が指標として撮影時の構図を容易に選定することができ、好適な撮影支援となる。回転可能な格子線(グリッド)の例としては、透明ガラス上に格子線(グリッド)を設けた回転子を光学ファインダ内に設けて、この回転子を回転させたり、格子線(グリッド)を表示可能な液晶素子を光学ファインダ内に設けて、その格子線(グリッド)を回転させ表示させたりするものがある。
【0131】
この場合、光学ファインダを具備したカメラに、液晶モニタを備えることは、本発明をさらに好適なものとすることができる。すなわち、実際の傾き画像を光学ファインダで確認でき、液晶モニタでは、傾いた画像から読み出された画像を確認できる。従って、実際の画像を見つつ、撮影後の画像を確認することが可能となる。また、液晶モニタに光学ファインダによる画像と、傾いた画像から読み出された画像とを切り替えて表示するようにしてもよい。
【0132】
なお、第6実施形態は、上記各実施形態の何れにも適用可能である。
【0133】
〔第7実施形態〕
次に、第7実施形態について説明する。第7実施形態の複眼デジタルカメラ1の構成は、第1実施形態と同一であるため、説明を省略する。
【0134】
第1実施形態は、複眼デジタルカメラにおいて、例えば幅広の広角画像を得ることを可能とするものである。
【0135】
本実施形態では、回動制御部31は、撮像ユニット6の屈曲レンズ部50を回動させたり、屈曲レンズ部50の回動により回転する画像に見合う領域から画像を読み出したりする回動制御を行う点では、上記実施形態と同様である。本実施形態と上記実施形態との相違は、屈曲レンズ部50の回動方向が図5に示した矢印RA,矢印RBと逆方向に旋回する点である。
【0136】
図17は、本実施形態に係る複眼デジタルカメラ1により幅広の広角画像を得るために被写体を撮影するときにおける被写体と複眼デジタルカメラ1の撮像ユニット6に含まれる回動した屈曲レンズ部50との関係を示したものである。図17に示すように、幅広の広角画像を得るために、被写体に対して、撮影部21A、21Bの画角の端部付近に被写体が位置するように屈曲レンズ部50A,50Bを旋回させる。撮影部21Aの屈曲レンズ部50Aによる光軸LAと、撮影部21Bの屈曲レンズ部50Bによる光軸LBとの成す角度は発散方向に広がることになる。
【0137】
ところで、複眼デジタルカメラ1は標準的に初期設定された状態では、図18(A)に示すように、被写体像の鉛直方向軸JA,JBは左右画像共に平行である。このため、左右画像内の共通部分である被写体を重複させて画像合成すれば、幅広画像を得ることができる。
【0138】
これに対して、さらに幅広の広角画像を望むときに、屈曲レンズ部50Aを矢印RB方向に回動させ、同様に屈曲レンズ部50Bを矢印RA方向に回動させると、図18(B)に示すように、被写体像の被写体像の鉛直方向軸JA,JBは傾く。そこで、屈曲レンズ部50A,50Bが回動した量に対応する分だけ撮像素子54から読み出す画像読み出し領域60を傾ける。これにより、被写体像が回転したことに対応する画像読み出し領域60となる。この撮影時、最大限度の幅広の広角画像を得るためには、被写体の重複部分を少なくすることが好ましい。このためには、被写体に対して、撮影部21A、21Bの画角の端部付近に被写体が位置するように屈曲レンズ部50A,50Bを旋回させる(図17参照)。この場合に、画像読み出し領域60A,60Bで画像読み出しをして(図18(C)参照)、得られる画像を合成すれば、最大限度の幅広の広角画像を得ることができる(図18(D)参照)。
【0139】
なお、図18では、撮影部21A、21Bの両方の屈曲レンズ部50を回動させた場合を説明したが、何れか一方のみを回動させてもよい。
【0140】
図19を参照して、第7実施形態の電装装置おける画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【0141】
撮影者が複眼デジタルカメラ1の電源ボタン3を操作して電源投入することにより、CPU35が処理を開始し、ステップ700において、複眼デジタルカメラ1の初期設定が行われる。このとき、旋回角H(矢印RA方向の回動初期値)は、予め設定される。次のステップ702では、幅広の広角画像取得の指示を撮影者が各種操作ボタン8の操作で行ったことを読み取って、旋回角Hの調整有無の設定がなされる。
【0142】
次のステップ704では、S1操作によるスルー画像の出力(表示)及び合焦処理される。次のステップ706では、複眼デジタルカメラ1から被写体である被撮影対象までを測距し、次のステップ708において、測距した位置で画角の端部に被写体が位置するための旋回角を求め、ステップ710にて屈曲レンズ部50A,50Bを各々回動させることで旋回させる。これらの処理について合焦領域が決定されるまで実行し、合焦されると(ステップ712で肯定)、S2操作による撮影指示を待つ。
【0143】
次に、ステップ714ではレリーズボタン2の信号を読み取ることでS2操作がなされたことを検知し、撮像素子54A,54Bに被写体像が照射された左右画像である撮影画像を取り込む(ステップ716)。このとき、屈曲レンズ部50は各々回動されているため、角度センサ33からの信号を読み取ることで旋回角Hを検出する(ステップ718)。次のステップ720では、検出した旋回角Hから画像読み出し領域を定める。
【0144】
具体的には、第1実施形態と同様に、屈曲レンズ部50の回動角度θを求め、その屈曲レンズ部50の回動角度θだけ、撮像素子54の画像読み出し領域60を回転する(図18(C)参照)。
【0145】
次のステップ722では、画像読み出し領域60で撮像素子54A,54Bの各々から画像を読み出して一時的に保存し、画像合成し(ステップ724)、画像表示する(ステップ726)。これらの処理は、一時的に保存した左右画像から幅広の広角画像を生成し、その画像をモニタ7に表示することである。
【0146】
次に、ステップ728では、各種操作ボタン8の信号を読み取ることで撮影者の指示による調整不要か否かを判断し、不要判定の場合にはステップ128において画像を保存して本処理ルーチンを終了する。ステップ730の画像保存処理は、幅広の広角画像として合成された画像を保存してもよく、各々の画像を関連づけた画像ファイルを生成し、保存してもよい。
【0147】
一方、ステップ728で否定された場合は、画像合成に調整が必要であるため、ステップ732において、画像読み出し領域60A,60Bにより撮像素子54A,54Bの各々から読み出した左右画像について、合成調整処理する。この合成調整処理は、各種操作ボタン8による調整量指示または図示しない専用レバーの移動量に応じて左右画像を合成するのりしろまたは連結する位置を決定させることである。この合成調整処理では合成調整中の画像を逐次表示させる。次のステップ734では、各種操作ボタン8の終了信号を読み取ることで、調整が完了したか否かを判断し、肯定されると、完了した合成調整後の画像を保存(ステップ730))して本処理ルーチンを終了し、否定されると、ステップ732へ戻り、上記処理を繰り返す。
【0148】
以上説明したように、本実施形態の複眼デジタルカメラによれば、屈曲レンズ部のみを回動可能にすることにより、旋回角を変更する装置構造を簡略化できる。また、屈曲レンズ部のみが回動可能であるため、駆動負荷を軽減できる。これにより消費電力を抑制でき、他処理への電力供給を増加させることができ、製品性能の向上を図ることができる。さらに、より幅広の広角画像、例えばパノラマ画像を得ることができる。
【0149】
なお、本実施の形態では、S2操作(ステップ714)の後、画像読み出し領域を定める場合を説明したが、S1操作(ステップ704の後に行っても良い。このようにすることで、撮影前に事前に画像読み出し領域を決定することができると共に撮影者に認知させることが可能となる。
【0150】
〔第8実施形態〕
次に、第8実施形態について説明する。第8実施形態の複眼デジタルカメラの構成は、第1実施形態と略同一であるため、同一部分には同一符号を付して詳細な説明を省略し、以下相違する部分について説明する。
【0151】
第8実施形態は、多数の画像を合成して、より幅広の広角画像を得るためのものである。
【0152】
図20は、第8実施形態の複眼デジタルカメラ1の正面側斜視図、図21は背面側斜視図である。図20に示すように、第8実施形態に係る複眼デジタルカメラ1は、撮影部21Aを担当する180度を開放した窓80Aと、撮影部21Bを担当する180度を開放した窓80Bとが配設されている。これにより、撮影部21A,撮影部21Bの各々に含まれる撮像ユニット6は、180度の回動(旋回)が可能になる。従って、本実施形態の複眼デジタルカメラ1は、360度の全方位についての撮影が可能となる。
【0153】
なお、本実施形態では、撮像ユニット6を2つの撮影部21A、21Bの各々が含む構成について説明するが、何れか一方のみに具備するようにしてもよい。
【0154】
図22は、本実施形態に係る複眼デジタルカメラ1により全方位の広角画像を得るために被写体を撮影するときにおける被写体と複眼デジタルカメラ1の撮像ユニット6に含まれる回動した屈曲レンズ部50との関係を示したものである。図22に示すように、幅広の広角画像を得るために、被写体に対して、撮影部21A、21Bの画角の端部付近に被写体(撮影基準対象)が位置するように屈曲レンズ部50A,50Bを旋回させる。
【0155】
上述のように、屈曲レンズ部50A,50Bを旋回させ、幅広の広角画像を望むときに、屈曲レンズ部50Aを矢印RB方向に回動させ、同様に屈曲レンズ部50Bを矢印RA方向に回動させると、被写体像の被写体像の鉛直方向軸JA,JBは傾くので(図18(B)参照)、屈曲レンズ部50A,50Bが回動した量に対応する分だけ撮像素子54から読み出す画像読み出し領域60を傾ける。これを基準として、旋回方向に順に繰り返して処理する。
【0156】
具体的には、図22に示すように、屈曲レンズ部50A,50Bを旋回させ、撮影基準対象の被写体について、第7実施形態と同様の処理を行う。このときに、被写体までの距離が計算できるので、画角も求めることができる。従って、360度の連結画像を得るための回数を求めることができる。図22の例では、6回(屈曲レンズ部50単位では3回)の回動で連結画像を得ることができる。この場合、屈曲レンズ部50Aでは画像Pa1,Pa2,Pa3の順に撮像され、屈曲レンズ部50Bでは画像Pb1,Pb2,Pb3の順に撮像される。これを連結すると360度の連結画像が得られる(図23参照)。
【0157】
図24を参照して、第8実施形態の画像処理ルーチンについて説明する。なお、第7実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略し、以下、異なる部分を説明する。
【0158】
ステップ700〜704において、スルー画像を出力(表示)し、次のステップ800では、被撮影基準対象となる被写体について測距する。次のステップ802では、ステップ800の測離結果から、測距した位置(距離)で画角の端部に被写体が位置するための基準となる旋回角を求め、また360度の連結画像を得るための繰り返し回数(旋回回数)を求める。次に、ステップ710にて屈曲レンズ部50A,50Bを各々基準の旋回角だけ回動させる。このステップ710の処理は確認用のため、確認が不要の場合は、省略が可能である。
【0159】
次に、撮影指示(S2操作)で、左右画像である撮影画像を取り込んで、基準となる旋回角だけ回動させ、その基準旋回角から画像読み出し領域を定めて画像読み出し領域60で撮像素子54A,54Bの各々から画像を読み出して一時的に保存することを、360度の連結画像を得るまで繰り返し実行する(ステップ716〜722)。
【0160】
全ての旋回が完了すると(ステップ804で肯定)、一時的に保存した複数画像を合成し、表示し、保存する(ステップ724〜730)。なお、図19の合成調整処理(ステップ728,732,734)については省略したが、実行するようにしても良い。
【0161】
以上説明したように、本実施形態の複眼デジタルカメラによれば、屈曲レンズ部のみを複数回だけ回動することにより、画像が分断されることなく、全方位の画像を得ることができる。これにより複雑且つ大規模な装置較正とすることなく、より幅広の広角画像、例えばパノラマ画像を得ることができる。
【0162】
〔第9実施形態〕
次に、第9実施形態について説明する。第9実施形態の複眼デジタルカメラの構成は、第4実施形態と略同一であるため、同一部分には同一符号を付して詳細な説明を省略し、以下相違する部分について説明する。
【0163】
第9実施形態は、N個(Nは2以上の自然数)の撮像光学系について2以上の撮像光学系間で回動角度が相違するものである。すなわち、N個(Nは2以上の自然数)の撮像光学系のうちm個(mはN以下で1以上の自然数)の撮像光学系について屈曲レンズ部を同一または相違する回動角度で回動させるのものである。ここでは、説明を簡単にするため、第1実施形態の複眼デジタルカメラの構成に適用する場合を説明する(N=2,m=1またはm=2)。
【0164】
図25は、複眼デジタルカメラ1の撮影部21A,21Bの各撮像ユニット6で相違した回動角度(θa<>θb)で屈曲レンズ部50A,50Bを回動した状態を示したものである(N=2,m=2)。図26は、複眼デジタルカメラ1において、撮影部21Bの撮像ユニット6は固定であり、撮影部21Aの撮像ユニット6の屈曲レンズ部50Aを回動させることで、相違した回動角度となる状態を示したものである(N=2,m=1)。
【0165】
図25及び図26に示すように、撮影部21Aの屈曲レンズ部50Aまたは、撮影部21Aの屈曲レンズ部50Aと撮影部21Bの屈曲レンズ部50Bを回動すると、上述したように、撮像素子54上の被写体の光学像は回転する。この回転に伴って、画像読み出し領域60を傾け、撮像素子54の初期の読み出し領域内に収まるように画像読み出し領域の大きさを変更することで、撮像素子54の画像読み出し領域を有効に利用する。ところが、相違した回動角度となる場合、読み出し領域の傾きが異なり読み出し領域60Aの大きさも異なるため、撮影部21A,21Bによる画角の大きさが相違することになる。そこで、撮影部21A,21Bによる画角の大きさを一致させるために、本実施形態では、撮影部21A,21Bの少なくとも一方の撮影部の画角の大きさを調整する。
【0166】
まず、N=2,m=1の場合、つまり図26に示すように、撮影部21Bの屈曲レンズ部50Bは固定であり、撮影部21Aの撮像ユニット6における屈曲レンズ部50Aが回動可能に構成された場合について説明する。
【0167】
図27を参照して、第9実施形態の画像処理ルーチンについて説明する。なお、上記実施形態の画像処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。
【0168】
電源投入することにより、CPU35が処理を開始し、ステップ101において、複眼デジタルカメラ1の初期設定を含む各種設定が行われる。このステップ101の処理は、ステップ100と102と同様の処理である。なお、上述の輻輳角Gは、初期値G0に設定され、近距離撮影等の指示を読み取る事等により輻輳角調整有無の設定がなされる。
【0169】
次のステップ104では、S1操作によって、撮影部21A,21Bにより撮像素子54A,54Bに被写体像が照射された左右画像を取得し、スルー画像として出力(表示)する。スルー画像は、撮影部21A、21Bの何れか一方の画像を選択的に液晶モニタ7へ表示させてもよく、例えば時分割的に交互に表示させることで両方表示させてもよい。次に、複眼デジタルカメラ1から被写体である被撮影対象までを測距する(ステップ106)。
【0170】
次に、ステップ900において、測距した位置(ステップ106)で光軸LAと光軸LBが交差するように、屈曲レンズ部50Aのみを回動させ、次のステップ902で回動角度θaを検出する。この回動角度の検出は、上記輻輳角検出に対応する。次のステップ904では、検出した回動角度θa(ステップ902)から上記ステップ118と同様に画像読み出し領域を定める。すなわち、屈曲レンズ部を回動すると、上述したように、撮像素子54の被写体像は回転する。このため、検知した屈曲レンズ部50Aの回動角度θaだけ、撮像素子54の画像読み出し領域60Aを回転する(図28(B)〜(D)参照)。
【0171】
ここで、屈曲レンズ部50Aのみを回動させて画像読み出し領域60Aのみを回転させているため、左右画像の画角に相違は生じる。そこで、同一画角による左右画像を得るためには画角調整が必要である。この画角調整には、ズーム機構による光学的な調整手法と、画像読み出し領域の設定変更による電気的な調整手法がある。本実施形態では、予めカメラ側で実施する手法が定められているものとする。
【0172】
まず、ステップ906では、設定を読み取ることにより、ズーム機構による光学的な調整を実施するか否かを判断し、固定されるとステップ908へ進み、否定されるとステップ914へ進む。ステップ908では、光学的な調整対象となるズーム機構が、屈曲レンズ部の固定側(非回動側)か否かを判断する。
【0173】
ステップ908で肯定されると、ステップ912において、固定側(非回動側)の撮像レンズ群52Bに含まれるズーム機構を調整する。この調整は、回動側の画像読み出し領域60Aのサイズ(ステップ904)に見合う大きさに被写体像を拡大または縮小するものである。例えば、屈曲レンズ部50Aを回動させた場合、画像読み出し領域60Aは、画像枠(エッジライン56A)内に調整される(図28(B)参照)。これは、屈曲レンズ部の回動に応じて画像読み出し領域60Aは小さくなり、仮想的に画像の画角がテレ側に変化するためである。そこで、ステップ912では、回動されたことにより変化した画角となるように、固定側(非回動側)の撮像レンズ群52Bに含まれるズーム機構を調整する。このズーム機構の駆動量は、画像読み出し領域60Aを求めるときに得られる焦点距離を用いることができる。このようにすることで、画角が一致することになる。
【0174】
図28(B)は、撮影部21Bにおけるズーム機構の調整過程を示したイメージ図である。検知した屈曲レンズ部50Aの回動角度θaを求めて、その屈曲レンズ部50Aの回動角度θaだけ、撮像素子54の画像読み出し領域60Aを回転する。この回転により、画像読み出し領域60Aは、撮像素子54Aからはみ出すことになる(回転直後の画像読み出し領域を60Aaと表記した。)。そこで、撮像素子54A上に画像読み出し領域60Aが収まるように、画像読み出し領域60Aを拡大縮小する。この段階で、撮像素子54A上の画像読み出し領域60Aによる左画像と、撮像素子54B上の画像読み出し領域60Bによる右画像とは、画角が相違する。これを一致させるために、固定側(非回動側)の撮像レンズ群52Bに含まれるズーム機構を、回動されたことにより変化した画角となるように、調整する。つまり、画像読み出し領域60Bに一致した画像枠56B(ズーム機構調整前の画像枠を56Baと表記した。)から拡大された画像枠となるよう、画角をテレ側に調整する。
【0175】
一方、ステップ908で否定されると、ステップ910において、回動側の撮像レンズ群52Aに含まれるズーム機構を調整する。この調整は、回動した屈曲レンズ部50Aの撮像レンズ群52Aに含まれるズーム機構の調整により、被写体像を拡大または縮小するものである。つまり、回動前の画角と、回動後の画像読み出し領域60Aで読み出した画像の画角が一致するように被写体像を拡大または縮小する(図28では縮小)。このようにすることで、画角が一致することになる。
【0176】
図28(C)は、撮影部21Aにおけるズーム機構の調整過程を示したイメージ図である。検知した屈曲レンズ部50Aの回動角度θaを求めて、その屈曲レンズ部50Aの回動角度θaだけ、撮像素子54の画像読み出し領域60Aを回転する。この回転によりはみ出す画像読み出し領域60Aが、撮像素子54A上に収まるように、画像読み出し領域60Aを拡大縮小するすると共に、画像読み出し領域60Aに見合う大きさの画像となるように、ズーム機構を調整する。つまり、画像読み出し領域60Aに一致した画像枠56A(ズーム機構調整後の画像枠を56Abと表記した。)から拡大された画像枠となるよう、画角をワイド側に調整する。
【0177】
次に、光学的な調整ではなく、電気的な調整をする場合(または調整不要の場合)は、ステップ906で否定され、ステップ914において設定を読み取ることにより、電気的調整を実施するか否かを判断し、固定されるとステップ916へ進み、否定されるとそのまま調整を実施することなくステップ110へ進む。
【0178】
ステップ914で肯定されると、ステップ916において、固定側(非回動側)の画像読み出し領域60Bのサイズを調整する。この調整は、回動側の画像読み出し領域60Aのサイズ(ステップ904)に見合う大きさに固定側(非回動側)の画像読み出し領域60Bのサイズを調整するものである。すなわち、屈曲レンズ部50Aの回動により画像読み出し領域60Aは小さくなるので、この画像読み出し領域60Aと一致するように画像読み出し領域60Bを調整する。このようにすることで、画角が一致することになる。
【0179】
図28(D)は、撮影部21Bにおける画像読み出し領域60の調整過程を示したイメージ図である。検知した屈曲レンズ部50Aの回動角度θaだけ画像読み出し領域60Aが回転されて画像読み出し領域60Aが小さくなる。そこで、調整された画像読み出し領域60Aと画像読み出し領域60Bとを一致させる(調整直前の画像読み出し領域を60Baと表記した。)。この画像読み出し領域60Bの調整は、電気的ズーム機構に相当する。つまり、画像読み出し領域60Bを拡大縮小することで、仮想的に画角を調整することに対応することになる。図28(D)の例では、画角をテレ側に調整することに対応する。
【0180】
以上の処理について合焦領域が決定されるまで実行し、合焦されるとステップ110で肯定され、S2操作による撮影指示を待つ。次に、ステップ112でレリーズボタン2の信号を読み取ることでS2操作がなされたことを検知し、ステップ113で撮影処理が実行される。このステップ113の処理は、ステップ114〜120と同様の処理であり、撮像素子54A,54Bによる左右画像を取り込み、回動角(輻輳角)に応じて画像読み出し領域を定め、その画像読み出し領域で撮像素子54A,54Bの各々から画像を読み出して一時的に保存し、画像合成し(ステップ122)、画像表示する(ステップ124)。これらの処理は、一時的に保存した左右画像から立体視用画像を生成し、その立体視用画像をモニタ7に表示することである。
【0181】
次に、N=2,m=2の場合、つまり図25に示すように、屈曲レンズ部50A、50Bが回動可能に構成され、回動角度が相違する場合について説明する。回動角度が相違して屈曲レンズ部50A、50Bが回動した場合は、左右画像で相対的に画像読み出し領域の傾きが相違すると共にサイズが相違することになるので、何れか一方を基準として、上記と同様に処理すればよい。また、左右画像で包含される基準画角を予め定めておき、この基準画角に一致するように調整してもよい。
【0182】
次に、N個(Nは2以上の自然数)の撮像光学系のうちm個(mはN以下で1以上の自然数)の撮像光学系について屈曲レンズ部を同一または相違する回動角度で回動させる場合について説明する。この場合は、N個の撮像光学系の中から1組を指定し、上述の複眼デジタルカメラで説明した1組の屈曲レンズ部を単位として調整を実施し、これをN個まで繰り返すことにより、画角を一致させることができる。
【0183】
以上説明したように、本実施形態の複眼デジタルカメラによれば、屈曲レンズ部の回動角度に相違があっても、画角を一致させた画像を得ることができる。これにより複雑且つ大規模な装置較正とすることなく、同一の見えの複数画像を得ることができる。
【0184】
なお、本実施形態では、例えば複眼デジタルカメラの両眼を回動可能に設けた場合を説明したが、本発明はこれに限定されない。屈曲レンズ部の少なくとも1つを回動可能に設け、その他を固定設置するようにしてもよい。また、回動可能な屈曲レンズ部を複数設けて任意の屈曲レンズを固定設置の屈曲レンズと同様に扱うことが可能なことは勿論であり、回動可能な屈曲レンズ部と、回動不可能な屈曲レンズ部とを組み合わせて用いるようにしてもよい。
【0185】
〔第10実施形態〕
次に、第10実施形態について説明する。第10実施形態の構成は、上記実施形態と略同一であるため、同一部分には同一符号を付して詳細な説明を省略する。
【0186】
上記実施形態では、撮像素子から読み出す画像読み出し領域を設定し、屈曲レンズ部が回動した量に対応する分だけ画像読み出し領域を傾ける(回転させる)場合について説明した。本実施形態は、撮像素子から読み出す画像読み出し領域を設定して読み出すのに代えて、撮像素子の有効画素領域の全ての画素を読み出し、その読み出した全画素からなる画像について、画像切り出し領域を設定し、読み出した全画素からなる画像から画像切り出し領域を切り出して画像を得るものである。
【0187】
図29は、撮影部21Aにおける撮像素子から全画素を読み出してなる画像から切り出して画像を形成する過程の説明図である。図29の右列部は、撮像素子54Aの背面から見たイメージ図であり、左列部は、撮像素子54Aにより形成される画像を示すイメージ図である。
【0188】
回動角度が初期値の撮影では、図29(A)に示すように、被写体像の鉛直方向軸JAは画像の上下方向に平行である。従って、屈曲レンズ部50Aを経由して撮像素子54Aへ至り光束の画像枠56Aと撮像素子54Aから読み出した左画像58Aとの向きが一致する。図29(B)に示すように、屈曲レンズ部50Aを回動させると、撮像素子54Aに対して画像枠56Aが回転する。本実施形態では、撮像素子54Aから全ての画素を読み出し、その読み出した全画素からなる左画像58Aを得る。左画像58Aはは回転している(被写体像の鉛直方向軸JAが傾く)。そして、被写体像が回転した左画像58Aの回転を調整するために、図29(C)に示すように、左画像58A上に、上述の画像読み出し領域60Aに対応する画像切り出し領域63Aを設定する。この設定した画像切り出し領域について左画像58Aから画像を切り出し、図29(D)に示すように、最終的な左画像59Aを得る。なお、撮像画像から上記設定した画像切り出し領域で画像を切り出す処理は適宜行われ、撮像手段から出力された画素ごとの画像信号に対し行ってもよく、または上記画像信号をA/D変換した後の画像信号に対して行ってもよく、前述の圧縮/伸長処理部24による圧縮処理前に行われるのが好ましい。
【0189】
このように、画像切り出し領域63Aを設定し、全画素からなる画像58Aから上記設定した画像切り出し領域で画像を切り出し、回動により回転された画像を調整した画像を得る。これらの処理は、上記実施形態の撮像素子に画像読み出し領域を設定し、屈曲レンズ部の回動に応じて画像読み出し領域を回転させて、読み出し、画像を得る処理に置き換えが可能である。
【0190】
以上説明したように、本実施形態によれば、撮像素子から全ての画素を読み出して全画素からなる画像から画像切り出し領域で画像を切り出して回転調整された画像を得るので、撮像素子に対する煩雑な制御を簡略化することができ、撮像素子への負荷も軽減できる。また、画像の切り出しは、画像処理により容易に実施できるので、従来の装置構成を大幅に変更することなく、簡単な構成で実現することができる。
【0191】
なお、本実施形態では、撮像素子の有効画素領域の全ての画素を読み出し、その読み出した全画素からなる画像について、画像切り出し領域を設定し、読み出した全画素からなる画像から画像切り出し領域を切り出して画像を得る。このため、上記第2実施形態のように、撮像素子から画像を読み出す場合とは、基準エッジの適用が異なる。すなわち、撮像素子54上の画像のエッジから傾きを検出するのに代えて、撮像素子の有効画素領域の全画素を読み出した画像で傾きを検出する。つまり、撮像素子から読み出した全画素からなる画像に画像切り出し領域を設定して、その画像切り出し領域を切り出して画像を得る場合、取得した撮像画像の枠などを基準端部(基準エッジ)として予め定めておく。このようにすることで、基準エッジによる基準ラインと、被写体の光学像の照射光領域のエッジラインとのなす角度により、容易に傾きを求めることができる。
【0192】
〔第11実施形態〕
次に、第11実施形態について説明する。第11実施形態の構成は、上記実施形態と略同一であるため、同一部分には同一符号を付して詳細な説明を省略する。
【0193】
上記実施形態では、撮像ユニット毎に撮像素子を備えた場合を説明したが、本発明はこれに限定されるものではない。本実施形態では、単一の撮像素子で、複数の撮像光学系を具備する場合を説明する。
【0194】
図30は、本実施形態の複眼デジタルカメラにおける撮像ユニット6周辺の構成を示す概略図である。図30(A)は撮像ユニットの上面図、図30(B)は背面図、図30(C)は後述する画像分割の変形例を示す概念図である。
【0195】
図30(A),(B)に示すように、左用及び右用の各撮像ユニット6と単一の撮像素子54との間には、合波部70が設けられている。合波部70は領域分離手法によるものであり、反射ミラー72,74,及びプリズム76から構成されている。この合波部70は、屈曲レンズ部50Aからの光束を反射ミラー72及びプリズム76の順に反射させて、撮像素子54の屈曲レンズ部50A側(左側)へ案内する。同様に、合波部70は、屈曲レンズ部50Bからの光束を反射ミラー74及びプリズム76の順に反射させて、撮像素子54の屈曲レンズ部50B側(右側)へ案内する。これにより、撮影部21A、21Bの各々に備えた各撮像ユニット6を伝播された光束は、単一の撮像素子54の右側と左側に分離されて収束される。
【0196】
単一の撮像素子54には、左画像と右画像とを形成するための光束が投影される。従って、撮像素子54の左側部分を左画像とし、撮像素子54の右側部分を右画像とすることで、左画像と右画像とを独立して得ることができる。この画像分離は、撮像素子54に画像読み出し領域を設定して読み出すことにより分離してもよく、撮像素子54の全ての画素を読み出して画像切り出しをして分離してもよい。
【0197】
図30(C)に示すように、画像分離の他例として、時分割手法がある。この場合、プリズム76に代えて合波プリズム77を用いる。合波プリズム77は、屈曲レンズ部50Aからの光束と、屈曲レンズ部50Bからの光束を、略同一光軸に合波して単一の撮像素子54に収束させる。また合波プリズム77は切替器78による制御信号により、撮像素子54に向かう光束を、屈曲レンズ部50Aからの光束、または屈曲レンズ部50Bからの光束に選択的に切り替えることを可能とする。この切替素子は例えば液晶シャッタにより実現可能である。
【0198】
従って、単一の撮像素子54には、左画像と右画像とを形成するための光束が切替器78による制御信号により交互に投影させることができる。この切替器78による制御信号して、撮像素子54からの画素による画像を左画像または右画像とすることが可能となる。この場合も、撮像素子54に画像読み出し領域を設定して読み出すことにより分離してもよく、撮像素子54の全ての画素を読み出して画像切り出しをして分離してもよい。
【0199】
以上説明したように、本実施形態の複眼デジタルカメラによれば、撮像素子を単一かでき、単純な光学素子や電気素子で複数の撮像光学系を構成することができる。
【0200】
上記各実施形態では、屈曲レンズ部の回動として、撮像素子へ向かう光軸を中心軸として回動させた場合を説明したが、撮像素子へ向かう光軸自体を傾斜させる場合(所謂あおり機能)を行う用にしても良い。このあおり機能は、上述の回動による画像の回転に伴う画像のズレ補整に有効に機能する。
【0201】
なお、上記各実施の形態の画像処理ルーチンをプログラム化して、そのプログラムをCPUにより実行するようにしてもよい。
【符号の説明】
【0202】
1…複眼デジタルカメラ
6…撮像ユニット
7…液晶モニタ
31…回動制御部
33…角度センサ
35…CPU
50…屈曲レンズ部
51…回動駆動部
52…撮像レンズ群
53…鏡筒
54…撮像素子
55…ハウジング
60…画像読み出し領域

【特許請求の範囲】
【請求項1】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像手段と、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整手段と、
を備えた撮像装置。
【請求項2】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像手段と、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出手段と、
前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得手段と、
前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整手段と、
を備えた撮像装置。
【請求項3】
前記本体に固定された撮像素子は単一の撮像素子であり、前記複数の撮像光学系は前記単一の撮像素子へ向けて被写体からの光を照射することを特徴とする請求項1又は請求項2に記載の撮像装置。
【請求項4】
前記検出手段は、前記屈曲レンズ部が前記撮像素子の受光面における光軸を中心として回動した角度を検出することを特徴とする請求項1乃至請求項3の何れか1項に記載の撮像装置。
【請求項5】
前記検出手段は、前記屈曲レンズ部の回動したときに前記撮像素子への被写体の光学像の照射光領域のエッジラインと基準ラインとの角度を検出することを特徴とする請求項1〜請求項4の何れか1項に記載の撮像装置。
【請求項6】
前記撮像手段は、少なくとも屈曲レンズ部が回動した回動側の撮像光学系に該撮像光学系の焦点距離を変更することにより前記撮像手段の画角を変更する画角変更部を具備し、
前記調整手段は、前記回動により傾いた画像が前記撮像素子上の有効画素領域内に収まるように回動側の撮像光学系の画角を変更することを特徴とすることを特徴とする請求項1〜請求項5の何れか1項に記載の撮像装置。
【請求項7】
前記撮像手段は、少なくとも屈曲レンズ部が回動していない非回動側の撮像光学系に該撮像光学系の焦点距離を変更することにより前記撮像手段の画角を変更する画角変更部を具備し、
前記調整手段は、前記回動により傾いた画像に対する画角に基づいて、屈曲レンズ部が回動していない非回動側の撮像光学系の画角をさらに変更することを特徴とする請求項1〜請求項6の何れか1項に記載の撮像装置。
【請求項8】
前記調整手段は、前記回動により傾いた画像に対する画角に基づいて、屈曲レンズ部が回動していない非回動側の画像領域の大きさをさらに変更することを特徴とする請求項1〜請求項7の何れか1項に記載の撮像装置。
【請求項9】
前記調整手段は、前記画像領域として縦横複数の画素が配列された撮像素子の画素数を対応させ、撮像素子の画素数を調整することで画像領域の大きさを調整することを特徴とする請求項1〜請求項8の何れか1項に記載の撮像装置。
【請求項10】
前記調整手段で調整した画素数に対応する解像度または焦点距離を報知する報知手段をさらに備えたことを特徴とする請求項9に記載の撮像装置。
【請求項11】
前記調整手段における調整結果が予め定めた調整量を超えたときに、警告する警告手段をさらに備えたことを特徴とする請求項1〜請求項10の何れか1項に記載の撮像装置。
【請求項12】
前記調整手段により調整された画像領域により定まる画像を出力する画像出力手段をさらに備えたことを特徴とする請求項1〜請求項11の何れか1項に記載の撮像装置。
【請求項13】
前記撮像光学系の少なくとも2つについて、前記撮像素子に照射される被写体像の一部が重複するまたは連結するように前記屈曲レンズ部を回動させる回動制御手段をさらに備えたことを特徴とする請求項1〜請求項12の何れか1項に記載の撮像装置。
【請求項14】
前記回動制御手段は、前記屈曲レンズ部を複数回数による回動をさせて該回動毎に撮像指示させることを特徴とする請求項13に記載の撮像装置。
【請求項15】
前記撮像手段の複数撮像光学系により得られる画像について、複数の視点から各々同期して撮影された複数の画像のうち何れか1つを基準画像として取得しかつ、該基準画像と異なる画像を視差画像として該基準画像と視差画像とから得られる立体視用画像を作成する作成手段をさらに備えたことを特徴とする請求項1〜請求項12の何れか1項に記載の撮像装置。
【請求項16】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御方法であって、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出工程と、
前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整工程と、
を含む撮像制御方法。
【請求項17】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御方法であって、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出工程と、
前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得工程と、
前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整工程と、
を含む撮像制御方法。
【請求項18】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御プログラムであって、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出する検出ステップと、
前記検出手段の検出結果に基づいて、前記撮像素子から画像を読み出すための画像領域を傾けると共に、撮像素子内に収まるように画像領域の大きさを調整する調整ステップと、
をコンピュータに実行させるための撮像制御プログラム。
【請求項19】
本体に固定された撮像素子と、被写体からの光を前記撮像素子へ向けて屈曲させる屈曲レンズ部を各々含み被写体からの光を前記撮像素子へ向けて照射する複数の撮像光学系であって該複数撮像光学系のうちの少なくとも1つについて前記屈曲レンズ部を前記撮像素子の受光面における光軸を中心として回動可能に設けた撮像光学系、とを有する撮像装置の撮像制御プログラムであって、
前記屈曲レンズ部を回動したときに前記撮像素子に照射された被写体の光学像の前記撮像素子の受光面における傾き角度を検出ステップと、
前記撮像素子から出力される画像信号に基づいて撮像画像を取得する取得ステップと、
前記検出手段の検出結果に基づいて、前記取得した撮像画像に対して画像を切り出すための画像領域を傾けると共に、前記撮像画像の枠内に収まるように画像領域の大きさを調整する調整ステップと、
をコンピュータに実行させるための撮像制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2011−239207(P2011−239207A)
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願番号】特願2010−109297(P2010−109297)
【出願日】平成22年5月11日(2010.5.11)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】