説明

複眼撮像装置、複眼撮像装置の焦点合わせ方法、および電子情報機器

【課題】画角の異なる左右一対の視差画像のそれぞれを撮像するための光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、立体画像を形成する左右一対の視差画像を精度よく取得することができる複眼撮像装置を実現する。
【解決手段】被写体を左右一対の視差画像が得られるよう撮像する第1および第2の撮像部12および22と、各撮像部12、22に対応する第1、第2の光学系11、21と、各光学系の焦点をそれぞれの視差画像における焦点評価領域内の画像に基づいて決定する信号処理部31とを備え、両撮像部12および22の視差に基づいて、左目用画像に対する第2の焦点評価領域の相対位置が右目用画像に対する第1の焦点評価領域の相対位置に一致するよう、左目用画像に対する第2の焦点評価領域の相対位置を調整する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複眼撮像装置、複眼撮像装置の焦点合わせ方法、および電子情報機器に関し、特に、立体画像を形成する一対の視差画像を撮像する2つの撮像部の光学系で最適な自動焦点合わせが行われるよう構成した複眼撮像装置、このような最適な自動焦点合わせを行う方法、およびこのような複眼撮像装置を備えた電子情報機器に関するものである。
【背景技術】
【0002】
従来から被写体を、立体画像を形成するための一対の視差画像(つまり、右目用画像および左目用画像)が得られるよう撮影する複眼撮像装置がある。このような複眼撮像装置では、被写体を右目用画像および左目用画像を得る2つの撮像部で撮像することとなるため、これら2つの撮像部に対応する2つの光学系でそれぞれ焦点合わせ(ピント合わせ)を行う必要がある。
【0003】
ところが、このような複眼撮像装置では、2つの撮像部が同一の被写体を同時に撮影するので、2つの撮像部に対応する光学系で別々に自動焦点合わせ動作、つまりオートフォーカス動作(AF動作)を行うことは非効率であるという問題があり、特許文献1および2にはこのような問題に対して対策を施したものが開示されている。
【0004】
図10は、特許文献1に開示の複眼撮像装置を説明する図である。
【0005】
この複眼撮像装置200aは、第1のビデオカメラ(撮像カメラ)201および第2のビデオカメラ(撮像カメラ)202と、各ビデオカメラにそれぞれ設けられたレンズ群などの光学系201aおよび202aとを有している。
【0006】
ここで、これらの光学系201aおよび202aは、絞り機構、フォーカス機構、ズーム機構等の各撮像条件を調整する調整機構(図示せず)を有している。また、この複眼撮像装置200aは、上記のような調整機構を制御する制御手段(図示せず)と、各ビデオカメラのうちの少なくとも1つの光学系におけるフォーカスの状態を検出する合焦演算回路(図示せず)とを有し、この制御手段は、合焦演算回路の出力(つまり、焦点距離情報)から第1のビデオカメラおよび第2のビデオカメラの光学系におけるフォーカス機構を駆動するように構成されている。なお、図10中、204は、第1および第2のビデオカメラ201および202を一体として支持する部材であり、203は片方のビデオカメラの映像出力を表示するビューファインダである。
【0007】
このような構成の複眼撮像装置200aでは、合焦演算回路の出力に基づいて第1のビデオカメラ201と第2のビデオカメラ202の両方の光学系におけるフォーカス機構を駆動するので、この複眼撮像装置では左右のビデオカメラのピント合わせのタイミングがずれることなく速やかなピント合わせが行われる。
【0008】
また、図11は、特許文献2に開示の立体カメラ(複眼撮像装置)を説明する図である。
【0009】
立体カメラ200bは、被写体を撮像する第1及び第2の撮像部(撮像カメラ)220a,220bを備えている。第1及び第2の撮像部220a及び220bはそれぞれ、第1及び第2のズームレンズ211及び220、第1及び第2の絞り212及び221、第1及び第2のフォーカスレンズ213及び222、並びに第1及び第2のイメージセンサ214及び223を有している。ここで、第1の撮像部220aは、被写体を、立体画像を形成するための一対の視差画像(右目用画像および左目用画像)の一方が得られるよう撮影するものであり、第2の撮像部220bは、被写体を、立体画像を形成するための一対の視差画像(右目用画像および左目用画像)の他方が得られるよう撮影するものである。第1及び第2のフォーカスレンズ213,222は、レンズモータによって駆動され、光軸La,Lbに沿って近点Pnと遠点Piの間を移動するよう構成されている。
【0010】
このような自動ピント合わせ動作(AF動作)が開始されると、第1のフォーカスレンズ213が近点Pnから遠点Piへ向って矢印A方向に移動するとともに、第2のフォーカスレンズ222が遠点Piから近点Pnへ向って矢印B方向に移動する。このとき、各フォーカルレンズの所定の送り量ごとにAF評価値(ピントが合っている程度を示す値)を算出し、AF評価値の最大値を先に検出したフォーカスレンズの位置に両方のフォーカスレンズの位置を合わせることによりAF動作が完了する。
【0011】
このように特許文献2に開示の立体カメラでは、第1および第2の撮像部220a及び220bの一方のフォーカスレンズをマクロ側に置き、これらの撮像部の他方のフォーカスレンズを望遠側に置いて、同時に2つのフォーカスレンズを逆方向に移動させて各フォーカスレンズに対するAF評価値を算出し、先にAF評価値が最大になったフォーカスレンズのレンズ位置に両方のフォーカスレンズの位置を合わせるので、短時間に効率よくAF動作を行うことができる。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開平7−15749号公報
【特許文献2】特開2006−162990号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
ところで、複眼撮像装置では、撮像カメラの光学系におけるレンズ位置によっては、左右一対の撮像カメラのそれぞれで撮像した画像が、画角のずれた画像になってしまうおそれがあり、例えば、レンズが望遠側とマクロ側とのうちのマクロ側のレンズ位置にある場合には、それぞれの撮像カメラにより得られる一対の視差画像で被写体の位置が大きく異なる場合がある。
【0014】
例えば、図12は、複眼投影装置で得られた左目用画像(図12(a))と右目用画像(図12(b))とで画角がずれた状態を示している。
【0015】
図12(a)に示す左目用画像LVaでは、背景に含まれる前景の人物画像Hが撮像領域(撮像カメラの視野)LSaの右寄りに位置しているのに対し、図12(b)に示す右目用画像RVaでは、背景に含まれる前景の人物画像Hが撮像領域(撮像カメラの視野)RSaの左寄りに位置している。
【0016】
このような状態で、右目用画像RVaを用いて両眼に対応するそれぞれの撮像カメラで自動ピント合わせを行うと、右目用画像RVaに対してピントが合う位置に、左目用画像を撮像する撮像カメラの焦点が設定されることとなり、左目用画像の撮像カメラの焦点位置が、右目用画像とは画角が異なる左目用画像に対して正しい焦点位置とはならない場合が生ずる。
【0017】
つまり、左目用画像と右目用画像とで画角が異なる場合、本来、左目用画像から得られるAF評価値(オートフォーカス評価値)と、右目用画像から得られるAF評価値(オートフォーカス評価値)とは異なることとなる。このため、右目用画像及び左目用画像のいずれか一方から得られるAF評価値を用いて、左目用画像の撮像カメラと右目用画像の撮像カメラの両方のフォーカス位置を設定すると、一方の撮像カメラで得られた視差画像が被写体に対する焦点のずれたものとなってしまい、鮮明な立体画像が得られないこととなる。
【0018】
本発明は、上記のような問題点を解決するためになされたものであり、画角の異なる左右一対の視差画像のそれぞれを撮像するための光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、鮮明な立体画像を得るための左右一対の視差画像を取得することができる複眼撮像装置、複眼撮像装置の焦点合わせ方法、及びこのような複眼撮像装置を用いた電子情報機器を得ることを目的とする。
【課題を解決するための手段】
【0019】
本発明に係る複眼撮像装置は、被写体の立体画像を形成する一対の視差画像を該被写体の撮影により得る複眼撮像装置であって、該被写体を該一対の視差画像の一方が得られるよう撮像する第1の撮像部と、該被写体を該一対の視差画像の他方が得られるよう撮像する第2の撮像部と、該被写体からの光を第1の撮像部に導入する第1の光学系と、該被写体からの光を第2の撮像部に導入する第2の光学系と、該第1の光学系の焦点を該一方の視差画像における第1の焦点評価領域内の画像に基づいて決定し、該第2の光学系の焦点を該他方の視差画像における第2の焦点評価領域内の画像に基づいて決定する焦点決定部とを備え、該焦点決定部は、該第1の撮像部と該第2の撮像部との視差に基づいて、該他方の視差画像に対する該第2の焦点評価領域の相対位置が、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致するよう、該他方の視差画像に対する該第2の焦点評価領域の相対位置を調整するものであり、そのことにより上記目的が達成される。
【0020】
本発明は、上記複眼撮像装置において、前記焦点決定部は、操作者の操作信号に基づいて前記一方の視差画像に対する前記第1の焦点評価領域の相対位置を決定し、前記他方の視差画像に対する前記第2の焦点評価領域の相対位置を、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致させる評価領域設定部を有することが好ましい。
【0021】
本発明は、上記複眼撮像装置において、前記評価領域設定部は、前記操作者の操作信号に基づいて、前記第1の焦点評価領域が前記一方の視差画像上の任意の位置に設定されるよう構成されていることが好ましい。
【0022】
本発明は、上記複眼撮像装置において、画像を表示する表示画面と、該表示画面上に重ねて配置され、複数の区画領域に区分されているタッチパネルとを有し、前記被写体の撮像により得られた前記一対の視差画像を該被写体の立体画像が認識されるよう該表示画面上に表示するモニタ部を備え、前記評価領域設定部は、該表示画面に表示された一対の視差画像の一方における、前記複数の区画領域のうちの前記操作者のタッチ操作により指定された区画領域に対応する領域を、前記第1の焦点評価領域として設定するよう構成されていることが好ましい。
【0023】
本発明は、上記複眼撮像装置において、前記焦点決定部は、前記第1の焦点評価領域を前記一方の視差画像の中央に設定するよう構成されていることが好ましい。
【0024】
本発明は、上記複眼撮像装置において、前記焦点決定部は、前記第1の光学系の焦点が前記第1の焦点評価領域内の画像に対して合っている程度を評価するための第1の焦点評価値を算出する第1の評価値算出部と、該第1の焦点評価値に基づいて該第1の光学系における焦点位置を算出する第1の焦点位置計算部と、前記第2の光学系の焦点が前記第2の焦点評価領域内の画像に対して合っている程度を評価するための第2の焦点評価値を算出する第2の評価値算出部と、該第2の焦点評価値に基づいて該第2の光学系における焦点位置を算出する第2の焦点位置計算部とを有することが好ましい。
【0025】
本発明は、上記複眼撮像装置において、前記第1の焦点評価値は、前記第1の焦点評価領域内の画像を構成する各画素の輝度値を該第1の焦点評価領域全体に渡って積算して得られる値であり、前記第2の焦点評価値は、前記第2の焦点評価領域内の画像を構成する各画素の輝度値を該第2の焦点評価領域全体に渡って積算して得られる値であることが好ましい。
【0026】
本発明は、上記複眼撮像装置において、前記第1の焦点評価値は、前記第1の焦点評価領域内の画像における隣接する画素間の輝度差を該第1の焦点評価領域全体に渡って積算して得られる値であり、前記第2の焦点評価値は、前記第2の焦点評価領域内の画像における隣接する画素間の輝度差を該第2の焦点評価領域全体に渡って積算して得られる値であることが好ましい。
【0027】
本発明は、上記複眼撮像装置において、前記第1の光学系の光軸と前記第2の光学系の光軸は平行であり、前記第1の撮像部と前記第2の撮像部との視差は、該第1の光学系の光軸と該第2の光学系の光軸との離間距離であることが好ましい。
【0028】
本発明は、上記複眼撮像装置において、前記第1の光学系は、第1の焦点レンズを含み、該第1の焦点レンズの該第1の光学系の光軸上での移動により該第1の光学系の焦点位置が調整されるよう構成されており、前記第2の光学系は、第2の焦点レンズを含み、該第2の焦点レンズの該第2の光学系の光軸上での移動により該第2の光学系の焦点位置が調整されるよう構成されていることが好ましい。
【0029】
本発明に係る複眼撮像装置の焦点合わせ方法は、被写体の立体画像を形成する一対の視差画像の一方を第1の撮像部により撮像し、該一対の視差画像の他方を第2の撮像部により撮像する複眼撮像装置の焦点を合わせる方法であって、該第1の撮像部に該被写体の光を導入する第1の光学系の焦点を該一方の視差画像における第1の焦点評価領域内の画像に基づいて決定し、該第2の撮像部に該被写体からの光を導入する第2の光学系の焦点を該他方の視差画像における第2の焦点評価領域内の画像に基づいて決定するステップを含み、該ステップでは、該第1の撮像部と該第2の撮像部との視差に基づいて、該他方の視差画像に対する該第2の焦点評価領域の相対位置が、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致するよう、該他方の視差画像に対する該第2の焦点評価領域の相対位置を調整するものであり、そのことにより上記目的が達成される。
【0030】
本発明に係る電子情報機器は、撮像部を備えた電子情報機器であって、該撮像部として、上述した本発明に係る複眼撮像装置を用いたものであり、そのことにより上記目的が達成される。
【0031】
次に作用について説明する。
【0032】
本発明においては、被写体の立体画像を形成する一対の視差画像の一方を第1の撮像部により撮像し、該一対の視差画像の他方を第2の撮像部により撮像する複眼撮像装置において、第1の撮像部に該被写体の光を導入する第1の光学系の焦点を該一方の視差画像における第1の焦点評価領域内の画像に基づいて決定し、該第2の撮像部に該被写体からの光を導入する第2の光学系の焦点を該他方の視差画像における第2の焦点評価領域内の画像に基づいて決定し、その際、該第1の撮像部と該第2の撮像部との視差に基づいて、該他方の視差画像に対する該第2の焦点評価領域の相対位置が、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致するよう、該他方の視差画像に対する該第2の焦点評価領域の相対位置を調整するので、画角の異なる一方の視差画像と他方の視差画像を撮像するための各光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、一対の視差画像として鮮明な立体画像を形成することができる画像を撮像することができる。
【発明の効果】
【0033】
以上のように、本発明によれば、画角の異なる左右一対の視差画像のそれぞれを撮像するための光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、鮮明な立体画像を得るための左右一対の視差画像を取得することができる複眼撮像装置、複眼撮像装置の焦点合わせ方法、及びこのような複眼撮像装置を用いた電子情報機器を実現することができる。
【図面の簡単な説明】
【0034】
【図1】図1は、本発明の実施形態1による複眼撮像装置の外観を示す図である。
【図2】図2は、本発明の実施形態1による複眼撮像装置の回路構成を説明する図である。
【図3】図3は、本発明の実施形態1による複眼撮像装置を説明する図であり、この複眼撮像装置により被写体を撮像している状態(図3(a))、およびこの複眼撮像装置による被写体の撮像により得られた一対の視差画像(図3(b)、図3(c))を示している。
【図4】図4は、本発明の実施形態1の効果を説明する図であり、左目用画像とAF評価領域との位置関係(図4(a)、(c))、および右目用画像とAF評価領域との位置関係(図4(b)、(d))を示している。
【図5】図5は、本発明の実施形態1による複眼撮像装置におけるAF動作を説明する図である。
【図6】図6は、本発明の実施形態1による複眼撮像装置を構成するデジタル信号処理回路を説明する図である。
【図7】図7は、本発明の実施形態1による複眼撮像装置における撮像処理の流れを説明する図である。
【図8】図8は、本発明の実施形態1による複眼撮像装置にて一方の視差画像に対してAF評価領域を設定する他の例(図8(a)および図8(b))を説明する図である。
【図9】図9は、本発明の実施形態2として、実施形態1の複眼撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図10】図10は、特許文献1に開示の複眼撮像装置を説明する図である。
【図11】図11は、特許文献2に開示の立体画像撮像装置(複眼撮像装置)を説明する図である。
【図12】図12は、上記特許文献に開示の従来の複眼撮像装置における問題点を説明する図である。
【発明を実施するための形態】
【0035】
以下、本発明の実施形態について図面を参照しながら説明する。
【0036】
(実施形態1)
図1は、本発明の実施形態1による複眼撮像装置の外観を示す図である。
【0037】
この実施形態1による複眼撮像装置100は、被写体T(図3(a)参照)をその立体画像を形成する一対の視差画像が得られるよう撮像するものであり、その装置筐体101には第1の光学系11および第2の光学系21が組み込まれており、また装置筐体101の上面には操作ボタン102が設けられている。
【0038】
図2は、本発明の実施形態1による複眼撮像装置の具体的な構成を説明する図である。
【0039】
この複眼撮像装置100は、被写体Tを一対の視差画像の一方(右目用画像)Rv(図3(c))が得られるよう撮像する第1の撮像部12と、被写体Tを一対の視差画像の他方(左目用画像)Lv(図3(b))が得られるよう撮像する第2の撮像部22とを有しており、第1の撮像部12には第1の光学系11により被写体Tからの光L1が導入され、第2の撮像部22には第2の光学系21により被写体Tからの光L2が導入されるようになっている。
【0040】
ここで、第1の光学系11は、第1の焦点レンズ(図示せず)を含み、第1の焦点レンズの第1の光学系11の光軸上での移動により第1の光学系11の焦点位置が調整されるよう構成されており、第2の光学系21は、第2の焦点レンズ(図示せず)を含み、第2の焦点レンズの第2の光学系21の光軸上での移動により第2の光学系21の焦点位置が調整されるよう構成されている。この複眼撮像装置100には、第1の光学系11を構成する第1の焦点レンズを移動させる第1のアクチュエータ16が設けられ、第2の光学系21を構成する第2の焦点レンズを移動させる第2のアクチュエータ26が設けられている。第1のアクチュエータ16は、第1のアクチュエータ駆動部15からの駆動信号Ad1により駆動され、第2のアクチュエータ26は、第2のアクチュエータ駆動部25からの駆動信号Ad2により駆動されるようになっている。
【0041】
また、第1の撮像部12および第2の撮像部22は、CCDイメージセンサやCMOSイメージセンサなどの固体撮像素子を用いたものであり、第1の光学系11の光軸は、第1の撮像部12を構成する固体撮像素子(右側撮像素子)の受光面の中心に立てた法線に一致しており、第2の光学系21の光軸は、第2の撮像部22を構成する固体撮像素子(左側撮像素子)の受光面の中心に立てた法線に一致している。第1の光学系11の光軸と第2の光学系21の光軸は平行であり、第1の撮像部12と第2の撮像部22との視差は、第1の光学系11の光軸と第2の光学系21の光軸との離間距離である。
【0042】
図3は、本発明の実施形態1による複眼撮像装置を説明する図であり、この複眼撮像装置により被写体を撮像している状態(図3(a))、およびこの複眼撮像装置による被写体の撮像により得られた一対の視差画像(図3(b)、図3(c))を示している。
【0043】
複眼撮像装置100は、第1の光学系11の焦点を一方の視差画像(右目用画像)Rvにおける第1の焦点評価領域Raf内の画像に基づいて決定し、第2の光学系21の焦点を他方の視差画像(左目用視差画像)Lvにおける第2の焦点評価領域Laf内の画像に基づいて決定する焦点決定部(信号処理部)31と、撮像により得られた立体画像を表示するモニタ部40とを備えている。ここで、モニタ部40は、例えば液晶表示パネルと視差バリアとを備え、一対の視差画像を立体画像が認識されるよう表示可能な構成となっている。
【0044】
この信号処理部31は、第1の撮像部12と第2の撮像部22との視差に基づいて、他方の視差画像(左目用画像)Lvに対する第2の焦点評価領域Lafの相対位置が一方の視差画像(右目用画像)Rvに対する第1の焦点評価領域Rafの相対位置に一致するよう、他方の視差画像(左目用画像)Lvに対する第2の焦点評価領域Lafの相対位置を調整し、第1の焦点評価領域Raf内の画像を構成する各画素の輝度値Rd1を第1の焦点評価領域Rafに渡って順次出力し、第2の焦点評価領域Laf内の画像を構成する各画素の輝度値Rd2を第2の焦点評価領域Lafに渡って順次出力するデジタル信号処理回路32を有している。なお、図3(b)及び図3(c)中、Raは第1の撮像部12による撮像領域(つまり、第1の光学系11により決まる第1の撮像部12の視野)、Laは第2の撮像部22による撮像領域(つまり、第2の光学系21により決まる第2の撮像部22の視野)である。
【0045】
また、この信号処理部31は、第1の焦点評価領域Raf内の画像を構成する各画素の輝度値Rd1を第1の焦点評価領域Rafに渡って積算して第1の焦点評価領域Rafでの焦点評価値Daf1を出力する第1のAF積算部13と、第2の焦点評価領域Laf内の画像を構成する各画素の輝度値Rd2を第2の焦点評価領域Lafに渡って積算して第2の焦点評価領域Lafでの焦点評価値Daf2を出力する第2のAF積算部23と、第1の焦点評価領域Rafでの焦点評価値Daf1に基づいてレンズ位置を計算してレンズ位置信号Dp1を出力する第1のレンズ位置計算部14と、第2の焦点評価領域Lafでの焦点評価値Daf2に基づいてレンズ位置を計算して第2のレンズ位置信号Dp2を出力する第2のレンズ位置計算部24とを有している。
【0046】
第1および第2のAF積算部13および23では、第1および第2の焦点評価値Daf1およびDaf2はそれぞれ、第1および第2の光学系11および21における焦点レンズの光軸に沿った移動経路に予め設定された複数の測定点毎に求められ、第1および第2のレンズ位置計算部14および24では、第1および第2の焦点評価値Adf1およびAdf2が最も大きい測定点がレンズ位置として決定され、このレンズ位置を示すレンズ位置情報Dp1およびDp2が第1および第2のアクチュエータ駆動部15、25に出力される。
【0047】
なお、第1の焦点評価値Aaf1は、第1の光学系11の焦点が第1の焦点評価領域Raf内の画像に対して合っている程度を評価するための値であり、また、第2の焦点評価値Aaf2は、第2の光学系21の焦点が第2の焦点評価領域Laf内の画像に対して合っている程度を評価するための値である。また、アクチュエータ駆動部15および25は、操作者が装置筺体101の操作ボタン(シャッターボタン)102を半押しにしたとき、この操作ボタン102からの操作信号Sopにより各光学系11、12の焦点レンズ11aを、光軸に沿って図5に示すように移動開始点Spから移動終了点Epまで移動させ、レンズ位置計算部14、24からレンズ位置情報Dp1およびDp2が入力されたとき、このレンズ位置情報が示す位置に焦点レンズを移動させる構成となっている。なお、図5中、Fは焦点評価値Aaf1の大きさ、Lpは移動開始点Spから移動終了点Epまでの間のレンズ位置を示している。
【0048】
図6は、本発明の実施形態1による複眼撮像装置を構成するデジタル信号処理回路を説明する図である。
【0049】
デジタル信号処理回路32は、第1の撮像部12により被写体Tを撮像して得られる右目用画像の画像データDv1を記憶する第1のフレームメモリ32aと、第2の撮像部22により被写体Tを撮像して得られる左目用画像の画像データDv2を記憶する第2のフレームメモリ32bと、それぞれのフレームメモリ32aおよび32bに格納された画像RvおよびLvに対してそれぞれ第1および第2のAF評価領域RafおよびLafを設定するAF評価領域設定部32eと、フレームメモリ32aに格納された画像Rvにおける第1のAF評価領域Rafの画素の画素値Px1を読み出して、第1のAF評価領域Rafを構成する画素の輝度値Rd1を出力する第1の輝度値生成部32cと、フレームメモリ32bに格納された画像Lvにおける第2のAF評価領域Lafの画素の画素値Px2を読み出して、第2のAF評価領域Lafを構成する画素の輝度値Rd2を出力する第2の輝度値生成部32dとを有している。
【0050】
ここで、AF評価領域設定部32eは、第1のフレームメモリ32aに格納された右目用画像Rvに対しては第1の焦点評価領域Rafをその中央に位置するよう設定し、第2のフレームメモリ32bに格納された左目用画像Lvに対しては第2の焦点評価領域Lafを、左目用画像Lvに対する第2の焦点評価領域Lafの相対位置が、右目用画像Rvに対する第1の焦点評価領域Rafの相対位置に一致するよう設定する構成となっている。
【0051】
次に動作について説明する。
【0052】
図7は、この実施形態1による複眼撮像装置による撮像処理の流れを説明する図である。
【0053】
図3(a)に示すように、操作者が本実施形態1の複眼撮像装置100により被写体Tを撮像する場合、複眼撮像装置100のモニタ部40の表示画面Vに表示された画像を見ながら複眼撮像装置100を撮影する方向に向け、操作ボタン(シャッターボタン)102を半押しにすると、操作ボタン102からは、操作者による操作信号Sopとしてピント位置指定を指令する信号が信号処理部31および第1、第2のアクチュエータ駆動部15、25に出力される(ステップS1)。
【0054】
続いて、AF評価領域設定部32eは、被写体Tの立体画像を形成する一対の視差画像のうちの右目用画像Rvを撮像する第1の撮像部12に対しては、その撮像領域Raの中央に第1のAF評価領域Rafを設定し、被写体Tの立体画像を形成する一対の視差画像のうちの左目用画像Lvを撮像する第2の撮像部22に対しては、その撮像領域Laの中央からこれらの撮像部12および22の視差に相等する距離だけ水平方向にずれた位置に第2のAF評価領域Lafを設定する(ステップS2)。これにより、第1の撮像部12により撮像された画像Rvに対する第1のAF評価領域Rafの相対位置と、第2の撮像部22により撮像された画像Lvに対する第2のAF評価領域Lafの相対位置とが実質的に一致することとなる。
【0055】
ここで、第1の撮像部12の撮像領域(第1の光学系11により決まる第1の撮像部12の視野)Raに対する第1のAF評価領域Rafの設定は、AF評価領域設定部32eからの指令信号Ea1により、第1の撮像部12から得られる右目用画像Rvの画像データDv1を格納する第1のフレームメモリ32aに対して行われ、第1のフレームメモリ32aの、第1のAF評価領域Rafに対応する領域の画像データがAF動作に用いられる。また、第2の撮像部22の撮像領域(第2の光学系21により決まる第2の撮像部22の視野)Laに対する第2のAF評価領域Lafの設定は、AF評価領域設定部32eからの指令信号Ea2により、第2の撮像部22から得られる左目用画像Lvの画像データDv2を格納する第2のフレームメモリ32bに対して行われ、第2のフレームメモリ32bの、第2のAF評価領域Lafに対応する領域の画像データがAF動作に用いられる。
【0056】
このようにAF評価領域が設定された後、AF動作を開始する(ステップS3)。
【0057】
第1のアクチュエータ駆動部15からの駆動信号Ad1により第1のアクチュエータ16が第1の光学系11の焦点レンズを移動開始点Spから移動終了点Epに向けて移動させ、この移動開始点Spから移動終了点Epまでの間の予め設定されている測定点毎にAF評価値が求められる。
【0058】
具体的には、第1の光学系11で焦点レンズが1つの測定点に位置しているとき、第1の撮像部12から得られる画像データDv1が第1のフレームメモリ32aに格納され、第1の輝度値生成部32cでは、この第1のフレームメモリ32aの、第1のAF評価領域Rafに対応する領域の画像データに基づいて、このAF評価領域Rafの画像を構成する各画素の輝度値Rd1を生成する。この輝度値Rd1は、第1のAF積算部13でAF評価領域Rafの全体に渡って積算され、輝度値Rd1の積算値がこの測定点に対する第1のAF評価値Daf1として第1のレンズ位置計算部14に出力される。
【0059】
第1のレンズ位置計算部14では、各測定点で上記のように求められた第1のAF評価値Daf1を比較し、最も大きな第1のAF評価値Daf1が得られた測定点を、第1の光学系11の焦点が合った合焦位置として判定し、この合焦位置を示す第1のレンズ位置情報Dp1を第1のアクチュエータ駆動部15に出力する。これにより第1のアクチュエータ駆動部15は、第1の光学系11における焦点レンズが合焦位置に移動するよう第1のアクチュエータ16を駆動する。
【0060】
また、同様に第2のアクチュエータ駆動部25からの駆動信号Ad2により第2のアクチュエータ26が第2の光学系21の焦点レンズを移動開始点Spから移動終了点Epに向けて移動させ、この移動開始点Spから移動終了点Epまでの間の予め設定されている測定点毎にAF評価値が求められる。
【0061】
具体的には、第2の光学系21で焦点レンズが1つの測定点に位置しているとき、第2の撮像部22から得られる画像データDv2が第2のフレームメモリ32bに格納され、第2の輝度値生成部32dでは、この第2のフレームメモリ32bの、第2のAF評価領域Lafに対応する領域の画像データに基づいて、このAF評価領域Lafの画像を構成する各画素の輝度値Rd2を生成する。この輝度値Rd2は、第2のAF積算部23でAF評価領域Lafの全体に渡って積算され、輝度値Rd2の積算値がこの測定点に対する第2のAF評価値Daf2として第2のレンズ位置計算部24に出力される。
【0062】
第2のレンズ位置計算部24では、各測定点で上記のように求められた第2のAF評価値Daf2を比較し、最も大きな第2のAF評価値Daf2が得られた測定点を、第2の光学系21の焦点が合った合焦位置として判定し、この合焦位置を示す第2のレンズ位置情報Dp2を第2のアクチュエータ駆動部25に出力する。これにより第2のアクチュエータ駆動部25は、第2の光学系21における焦点レンズが合焦位置に移動するよう第2のアクチュエータ26を駆動する(ステップS4)。
【0063】
その後、操作者が操作ボタン(シャッターボタン)102を完全に押し込むと、操作ボタンから撮影指令信号が操作信号Sopとして制御部32fに出力され、それぞれの撮像部12、22に対応する光学系の焦点が合った状態で、それぞれの撮像部12、22により被写体の撮像が行われ、これにより得られた右目用画像および左目用画像の画像データDv1およびDv2がそれぞれの撮像部に対応するフレームメモリ32a、32bに格納され、さらに制御部32fの制御により、フレームメモリ32a、32bに格納された画像データRDv1およびRDv2がデジタル出力として出力される。
【0064】
このように本実施形態1では、被写体の立体画像を形成する一対の視差画像(右目用画像および左目用画像)を被写体の撮影により得る複眼撮像装置100において、被写体を右目用画像Rvが得られるよう撮像する第1の撮像部12と、被写体を左目用画像Lvが得られるよう撮像する第2の撮像部22と、被写体からの光を第1の撮像部12に導入する第1の光学系11と、被写体からの光を第2の撮像部22に導入する第2の光学系21と、第1の光学系11の焦点を右目用画像Rvにおける第1の焦点評価領域Raf内の画像に基づいて決定し、第2の光学系21の焦点を左目用画像Lvにおける第2の焦点評価領域Laf内の画像に基づいて決定する信号処理部31とを備え、第1の撮像部12と第2の撮像部22との視差に基づいて、左目用画像に対する第2の焦点評価領域の相対位置が、右目用画像に対する第1の焦点評価領域の相対位置に一致するよう、左目用画像に対する第2の焦点評価領域の相対位置を調整するので、画角の異なる右目用画像と左目用画像を撮像するための各光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、一対の視差画像として鮮明な立体画像を形成することができる画像を撮像することができる。
【0065】
つまり、この実施形態1では、複眼式撮像装置において、第1および第2の光学系の双方の焦点レンズを同時に動作させて別々にピント合わせを行うので、立体画像を形成する右目用画像および左目用画像ともに鮮明な画像を得ることができる。
【0066】
また、このように双方の撮像部の光学系における焦点レンズを動作させて別々に自動ピント合わせ動作(AF動作)を行うと、自動ピント合わせに用いる画像データを取得する領域(AF評価領域)は、左右の撮像部の視差に応じて、非常に異なる場合があるが、本実施形態の複眼撮像装置では、右目用画像と左目用画像とで、それぞれに対するAF評価領域の相対位置を一致するようにAF評価領域を設定するので、左目用画像を撮像する撮像部の光学系で自動ピント合わせに用いる画像データを取得する、左目用画像における領域を、右目用画像を撮像する撮像部の光学系で自動ピント合わせに用いる画像データを取得する、右目用画像における領域に実質的に一致させることができる。言い換えると、左目用画像を撮像する撮像部の光学系での自動ピント合わせと、左目用画像を撮像する撮像部の光学系での自動ピント合わせとを、適切なAF評価用の画像データを用いて行うことができ、複眼撮像装置におけるAF動作を精度よく行うことが可能になる。
【0067】
例えば、図4(a)および図4(b)に示すように、右目用画像Rvと左目用画像Lvとに対してAF評価領域RafおよびLafを、それぞれの画像の中央に位置するよう設定した場合、条件によっては、これらの図に示すように、それぞれの撮像部に対応する光学系のピント合わせに、被写体の画像の異なる部分の画像データを用いてしまう場合があるが、本実施形態1では、図4(c)および図4(d)に示すように、右目用画像Rvと左目用画像Lvとに対してAF評価領域RafおよびLafを、AF評価領域内の画像が実質的に同じになるように設定するので、2つの撮像部の視差によりこれらの撮像部で撮像して得られる画像の画角がずれている場合でも、鮮明な立体画像を得るためのピント合わせを、2つの撮像部に対応する2つの光学系で精度よく簡単に行うことができる。
【0068】
なお、上記実施形態1では、AF評価値は、AF評価領域内の画像を構成する各画素の輝度値を用いて計算したが、AF評価値は、AF評価領域内の画像を構成する各画素の輝度値に代えて、AF評価領域内の画像における隣接する画素間の輝度差を用いて計算してもよい。
【0069】
また上記実施形態1では、第1の撮像部の光学系のピント合わせに用いる画像データを取得するAF評価領域を、常にこの第1の撮像部により得られた右目用画像の中央部に設定するものを示したが、このAF評価領域は、操作者の操作により右目用画像内の任意の位置に設定するようにしてもよい。
【0070】
この場合、図6に示すAF評価領域設定部32eを、操作者による、AF設定領域の移動を指令する指令信号を操作信号Sopとして受けたとき、第1の輝度値生成部32cに対して、図8(a)に示すように、第1のフレームメモリ32aから自動ピント合わせに用いる画像データを読み出す初期設定の領域Rafを、操作者が指令した指令領域Raf1に置き換えるよう第1の輝度値生成部32cを制御する構成とすることが望ましい。
【0071】
また、操作者によるAF設定領域の置き換えの指示は、複眼撮像装置のモニタ部40の表示画面Vに予め設定されている複数の領域から選択することにより行うようにしてもよい。
【0072】
例えば、図2に示すモニタ部40を、図8(b)に示すように、画像を表示する表示画面と、この表示画面上に重ねて配置され、複数の区画領域Vr1〜Vr9に区分されているタッチパネルTaとを有し、被写体の撮像により得られた一対の視差画像を立体画像が認識されるよう表示画面上に表示する構成とし、AF評価領域設定部32eを、表示画面における、前記複数の区画領域のうちの操作者のタッチ操作により指定された区画領域(例えば中央の区画領域Vr5)に対応する領域を、第1の焦点評価領域Raf1として設定するよう構成してもよい。
【0073】
また、上記説明では、AF評価領域と左目用画像との相対位置を、AF評価領域と右目用画像との相対位置に合わせる場合について説明したが、これは逆でも良く、つまりAF評価領域と右目用画像との相対位置を、AF評価領域と左目用画像との相対位置に合わせるようにしてもよい。
【0074】
さらに、上記実施形態1では、特に説明しなかったが、上記実施形態1の複眼撮像装置を撮像部に用いた、例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの、画像入力デバイスを有した電子情報機器について以下簡単に説明する。
(実施形態2)
図9は、本発明の実施形態2として、実施形態1の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【0075】
図9に示す本発明の実施形態2による電子情報機器90は、本発明の上記実施形態1の複眼撮像装置を、被写体の撮影を行う撮像部91として備えたものであり、このような撮像部による撮影により得られた高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部92と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示部93と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信部94と、この画像データを印刷(印字)して出力(プリントアウト)する画像出力部95とのうちの少なくともいずれかを有している。
【0076】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【0077】
本発明は、複眼撮像装置、複眼撮像装置の焦点合わせ方法、および電子情報機器の分野において、画角の異なる左右一対の視差画像のそれぞれを撮像するための光学系の焦点を適切な位置に簡単に合わせることができ、これにより自動ピント合わせに要する制御時間を短時間に抑えつつ、鮮明な立体画像を得るための左右一対の視差画像を取得することができる複眼撮像装置、複眼撮像装置の焦点合わせ方法、及びこのような複眼撮像装置を用いた電子情報機器を実現することができる。
【符号の説明】
【0078】
11 第1の光学系
12 第1の撮像部(右側撮像素子)
13 第1のAF積算部
14 第1のレンズ位置計算部
15 第1のアクチュエータ駆動部
16 第1のアクチュエータ
21 第2の光学系
22 第2の撮像部(左側撮像素子)
23 第2のAF積算部
24 第2のレンズ位置計算部
25 第2のアクチュエータ駆動部
26 第2のアクチュエータ
31 信号処理部
32 デジタル信号処理回路
32a 第1のフレームメモリ
32b 第2のフレームメモリ
32c 第1の輝度値生成部
32d 第2の輝度値生成部
40 モニタ部
100 複眼撮像装置
101 装置筐体
102 操作ボタン
Ad1、Ad2 駆動信号
Daf1 第1のAF評価値
Daf2 第2のAF評価値
Dv1、Dv2 画像データ
Ep 移動終了点
H 人物画像
La 撮像領域(第2の撮像部の視野)
Laf 第2の焦点評価領域
Lv 左目用画像(他方の視差画像)
Ra 撮像領域(第1の撮像部の視野)
Raf 第1の焦点評価領域
Rd1、Rd2 輝度値
Rv 右目用画像(一方の視差画像)
Sop 操作信号
Sp 移動開始点
T 被写体

【特許請求の範囲】
【請求項1】
被写体の立体画像を形成する一対の視差画像を該被写体の撮影により得る複眼撮像装置であって、
該被写体を該一対の視差画像の一方が得られるよう撮像する第1の撮像部と、
該被写体を該一対の視差画像の他方が得られるよう撮像する第2の撮像部と、
該被写体からの光を第1の撮像部に導入する第1の光学系と、
該被写体からの光を第2の撮像部に導入する第2の光学系と、
該第1の光学系の焦点を該一方の視差画像における第1の焦点評価領域内の画像に基づいて決定し、該第2の光学系の焦点を該他方の視差画像における第2の焦点評価領域内の画像に基づいて決定する焦点決定部と
を備え、
該焦点決定部は、該第1の撮像部と該第2の撮像部との視差に基づいて、該他方の視差画像に対する該第2の焦点評価領域の相対位置が、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致するよう、該他方の視差画像に対する該第2の焦点評価領域の相対位置を調整する、複眼撮像装置。
【請求項2】
請求項1に記載の複眼撮像装置において、
前記焦点決定部は、
操作者の操作信号に基づいて前記一方の視差画像に対する前記第1の焦点評価領域の相対位置を決定し、前記他方の視差画像に対する前記第2の焦点評価領域の相対位置を、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致させる評価領域設定部を有する、複眼撮像装置。
【請求項3】
請求項2に記載の複眼撮像装置において、
前記評価領域設定部は、
前記操作者の操作信号に基づいて、前記第1の焦点評価領域が前記一方の視差画像上の任意の位置に設定されるよう構成されている、複眼撮像装置。
【請求項4】
請求項1または請求項2に記載の複眼撮像装置において、
画像を表示する表示画面と、該表示画面上に重ねて配置され、複数の区画領域に区分されているタッチパネルとを有し、前記被写体の撮像により得られた前記一対の視差画像を該被写体の立体画像が認識されるよう該表示画面上に表示するモニタ部を備え、
前記評価領域設定部は、該表示画面に表示された一対の視差画像の一方における、前記複数の区画領域のうちの前記操作者のタッチ操作により指定された区画領域に対応する領域を、前記第1の焦点評価領域として設定するよう構成されている、複眼撮像装置。
【請求項5】
請求項1に記載の複眼撮像装置において、
前記焦点決定部は、
前記第1の焦点評価領域を前記一方の視差画像の中央に設定するよう構成されている、複眼撮像装置。
【請求項6】
請求項1から請求項5のいずれか1項に記載の複眼撮像装置において、
前記焦点決定部は、
前記第1の光学系の焦点が前記第1の焦点評価領域内の画像に対して合っている程度を評価するための第1の焦点評価値を算出する第1の評価値算出部と、
該第1の焦点評価値に基づいて該第1の光学系における焦点位置を算出する第1の焦点位置計算部と、
前記第2の光学系の焦点が前記第2の焦点評価領域内の画像に対して合っている程度を評価するための第2の焦点評価値を算出する第2の評価値算出部と、
該第2の焦点評価値に基づいて該第2の光学系における焦点位置を算出する第2の焦点位置計算部と
を有する、複眼撮像装置。
【請求項7】
請求項6に記載の複眼撮像装置において、
前記第1の焦点評価値は、前記第1の焦点評価領域内の画像を構成する各画素の輝度値を該第1の焦点評価領域全体に渡って積算して得られる値であり、
前記第2の焦点評価値は、前記第2の焦点評価領域内の画像を構成する各画素の輝度値を該第2の焦点評価領域全体に渡って積算して得られる値である、複眼撮像装置。
【請求項8】
請求項6に記載の複眼撮像装置において、
前記第1の焦点評価値は、前記第1の焦点評価領域内の画像における隣接する画素間の輝度差を該第1の焦点評価領域全体に渡って積算して得られる値であり、
前記第2の焦点評価値は、前記第2の焦点評価領域内の画像における隣接する画素間の輝度差を該第2の焦点評価領域全体に渡って積算して得られる値である、複眼撮像装置。
【請求項9】
請求項1から請求項8のいずれか1項に記載の複眼撮像装置において、
前記第1の光学系の光軸と前記第2の光学系の光軸は平行であり、
前記第1の撮像部と前記第2の撮像部との視差は、該第1の光学系の光軸と該第2の光学系の光軸との離間距離である、複眼撮像装置。
【請求項10】
請求項9に記載の複眼撮像装置において、
前記第1の光学系は、第1の焦点レンズを含み、該第1の焦点レンズの該第1の光学系の光軸上での移動により該第1の光学系の焦点位置が調整されるよう構成されており、
前記第2の光学系は、第2の焦点レンズを含み、該第2の焦点レンズの該第2の光学系の光軸上での移動により該第2の光学系の焦点位置が調整されるよう構成されている、複眼撮像装置。
【請求項11】
被写体の立体画像を形成する一対の視差画像の一方を第1の撮像部により撮像し、該一対の視差画像の他方を第2の撮像部により撮像する複眼撮像装置の焦点を合わせる方法であって、
該第1の撮像部に該被写体の光を導入する第1の光学系の焦点を該一方の視差画像における第1の焦点評価領域内の画像に基づいて決定し、該第2の撮像部に該被写体からの光を導入する第2の光学系の焦点を該他方の視差画像における第2の焦点評価領域内の画像に基づいて決定するステップを含み、
該ステップでは、該第1の撮像部と該第2の撮像部との視差に基づいて、該他方の視差画像に対する該第2の焦点評価領域の相対位置が、該一方の視差画像に対する該第1の焦点評価領域の相対位置に一致するよう、該他方の視差画像に対する該第2の焦点評価領域の相対位置を調整する、複眼撮像装置の焦点合わせ方法。
【請求項12】
撮像部を備えた電子情報機器であって、
該撮像部として、請求項1から請求項10のいずれか1項に記載の複眼撮像装置を用いた、電子情報機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−109079(P2013−109079A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252654(P2011−252654)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】