撮像装置、画像補正方法および画像補正プログラム
【課題】 共通の特性を持った複数の変倍レンズの製造誤差や視差の補正の際、光学ズーム位置に応じて電子ズームの倍率を画一的に設定することで、適正な立体画像を得る。
【解決手段】例えば、撮像光学系14A・Bは水平方向に沿って並列しているものとし、撮像光学系14A・Bの光軸ずれが許容限界θmaxであり、そのときの撮像光学系14A・Bによる左右の各視点画像の被写体のずれ量が、W端ではdw、T端ではdtであるとする。この場合、現在のズーム位置をx、W端での位置をW、T端での位置をT、オリジナル視点画像の水平方向の長さをLとすると、水平方向の物点ずれ量dを吸収するための電子ズーム切出範囲の水平方向の長さVは、V=L−dw−(dt−dw)/(T−W)×(x−W)となる。なおx=WならばV=L−dw、x=TならばV=L−dtとなる。
【解決手段】例えば、撮像光学系14A・Bは水平方向に沿って並列しているものとし、撮像光学系14A・Bの光軸ずれが許容限界θmaxであり、そのときの撮像光学系14A・Bによる左右の各視点画像の被写体のずれ量が、W端ではdw、T端ではdtであるとする。この場合、現在のズーム位置をx、W端での位置をW、T端での位置をT、オリジナル視点画像の水平方向の長さをLとすると、水平方向の物点ずれ量dを吸収するための電子ズーム切出範囲の水平方向の長さVは、V=L−dw−(dt−dw)/(T−W)×(x−W)となる。なおx=WならばV=L−dw、x=TならばV=L−dtとなる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点から画像を取得可能な撮像装置に関する。
【背景技術】
【0002】
特許文献1では、右眼用の撮影情報を得るためのCCD16Rを有する第1レンズ鏡筒1Rと、左眼用の撮影情報を得るためのCCD16Lを有する第2レンズ鏡筒1Lと、これら第1レンズ鏡筒1Rと第2レンズ鏡筒1Lの焦点距離を検出するカメラ検出回路43と、各焦点距離における上記第1レンズ鏡筒1Rと第2レンズ鏡筒1Lのそれぞれの光軸中心のずれ量を予め記憶したEEPROM等でなるROM47と、このROM47からの出力に基づき各焦点距離における上記CCD16RおよびCCD16Lの内の少なくとも一方における画像切出しエリアを制御するCPU46とを備えた立体撮影装置を開示している。
【0003】
特許文献2では、立体カメラ2は、第1及び第2変倍レンズ21,31の位置を検出する第1及び第2ポテンショメータ25,35と、第1及び第2変倍レンズ21,31の倍率差D1を所定位置ごとに記憶した補正データ記憶部52と、倍率差D1に基づいて第2画像データを電子的に変倍する電子変倍回路53と、ポテンショメータ25,35の検出位置に応じた倍率差D1を補正データ記憶部52から読み出して電子変倍回路53に設定するCPU40とを備え、第1及び第2画像データの撮影範囲を一致させる。また、第1及び第2変倍レンズ21,31の光軸座標差を補正データ記憶部52に記憶させ、光軸座標差に基づいて第2画像データの座標を変更する座標変更回路を設ける。
【0004】
特許文献3では、左右の撮像レンズ1、12はAF駆動回路2、13でそれぞれフォーカスが制御される。CCD3、14出力は電子ズーム用のメモリ6及び17に書き込まれる。マイクロコンピュータ23は被写体距離に比例するAFデータにより電子ズームの切り出し枠の切り出し位置を制御する。これにより、輻輳角は電子的に制御される。
【0005】
その他、本願に関係する先行技術として、特許文献4〜8が挙げられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平8−317424号公報
【特許文献2】特開2006−162991号公報
【特許文献3】特開平7−95623号公報
【特許文献4】特開平6−296252号公報
【特許文献5】特開2006−251683号公報
【特許文献6】特開2005−20606号公報
【特許文献7】特開平09−037302号公報
【特許文献8】特開平8−317429号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
2つの変倍撮影レンズ間の個体差による光軸ずれを電子的に補正し、適正な立体視を可能にする立体撮像装置が特許文献1および2に開示されている。特許文献1は、各ズーム位置に対し2つのレンズ間の光軸ずれの量に応じて、画像の切り出し位置やエリアの変更量を計算しているため、個々の装置において同じズーム位置でも誤差量の違いによりばらばらな画角が設定される問題がある。
【0008】
特許文献2では、電子ズームで補正する側のレンズを広角にすることにより、画角が補正されない側のレンズで設定され、個々の装置における画角設定は統一されるが、2つのレンズが設計的に共通でないため、歪曲収差や色収差など特性を合わせることが難しく、適正な立体視ができない可能性がある。
【0009】
特許文献3では、被写体距離に応じて電子的に輻輳角を補正する装置が提案されているが、変倍可能なレンズに適用した場合の視差ずれの補正手段や2つのレンズ間の光軸ずれに対する補正については何ら提案されていない。
【0010】
特許文献4では、電子ズームによってズームアップされた倍率に比例した実際には読み出されない画素の領域が発生するとし、ズームレンズがワイド端にあるときは読み出されない画素の領域は発生しないとする。つまり、従来技術では、2つの変倍撮影レンズがワイド端にある場合、当該レンズ間の個体差による光軸ずれを、電子的に補正することはできない。
【0011】
本発明は、共通の特性を持った複数の変倍レンズの製造誤差や視差の補正の際、光学ズーム位置に応じて電子ズームの倍率を画一的に設定することで、適正な立体画像を得る。また、広角側の画角を最大限に確保する。
【課題を解決するための手段】
【0012】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、撮像光学系の誤差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部の誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出す補正部と、を備える。
【0013】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、被写体までの距離を測定する距離測定部と、測定部の測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部に記憶された視差を確保する範囲を拡大後の画像から切り出す補正部と、を備える。
【0014】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定する視差測定部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出す補正部と、を備える。
【0015】
補正部が設定する電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加する。
【0016】
補正部の切り出した画像と所望の補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える。
【0017】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、撮像光学系の誤差を記憶するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出すステップと、を実行する。
【0018】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、被写体までの距離を測定するステップと、測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶された視差を確保する範囲を拡大後の画像から切り出すステップと、を実行する。
【0019】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出すステップと、を実行する。
【0020】
この画像補正方法を撮像装置に実行させるための画像補正プログラムも本発明に含まれる。
【発明の効果】
【0021】
個々の撮像装置の製造過程での光軸ずれ、視差ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全ての撮像装置に一律に設定しておけば、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となる。また、電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加するため、広角側での画角は最大限に確保される。
【図面の簡単な説明】
【0022】
【図1】第1実施形態に係るカメラのブロック図
【図2】第1実施形態に係る補正処理のフローチャート
【図3】光軸ずれの許容限界θmaxの一例を示す図
【図4】電子ズーム切出範囲の一例を示す図
【図5】電子ズーム倍率データyと現在のズーム位置xとの関係を例示した図
【図6】第2実施形態に係るカメラのブロック図
【図7】最短撮影距離α、輻輳角設定距離βの一例を示す図
【図8】第2実施形態に係る補正処理のフローチャート
【図9】電子ズーム切出範囲の一例を示す図
【図10】第3実施形態に係るカメラのブロック図
【図11】対応点の一例を示す図
【図12】第3実施形態に係る補正処理のフローチャート
【発明を実施するための形態】
【0023】
<第1実施形態>
図1は第1実施形態に係るカメラ10の電気的構成を示す。
【0024】
撮像光学系14A・Bは、それぞれズームレンズ、フォーカスレンズなどを含んでいる。撮像光学系14A・Bの光軸がなす輻輳角は機械的に固定されているものとする。また、撮像光学系14A・Bのなす両眼視差は合焦被写体までの距離によって変化するが、第1実施形態では、合焦被写体はある決まった位置に存在し、フォーカスレンズは移動しないものとする。
【0025】
レンズモータ24A・Bは、操作部74のズームボタンの操作に応じて、撮像光学系14A・Bのズームレンズをレンズ光軸に沿ってテレ側(繰り出し側)/ワイド側(繰り込み側)に移動させ、焦点距離(撮影倍率)を変化させる。
【0026】
本体12の内部における撮像光学系14A・Bの焦点位置に相当する位置には、エリアCCDセンサ等で構成される2つの撮像素子50A、50Bが配置されており、上述したように、被写体を反射して撮像光学系14A・Bに入射された光はそれぞれ撮像素子50A、50Bの受光面に結像される。
【0027】
撮像素子50A、50Bは、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子50A、50Bはそれぞれ図示しない駆動回路に接続されているタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
【0028】
撮像光学系14と撮像素子50A、50Bとの間には図示しない絞りが配置されている。絞りは連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
【0029】
タイミング信号発生部には、さらに図示しないストロボの発光を制御するストロボ制御回路も接続されており、ストロボは低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで発光制御される。
【0030】
撮像素子50A・Bの信号出力端には、それぞれアナログ信号処理回路56A・B、A/D変換器58A・B、画像信号処理回路60A・B、メモリ62A・B、及び圧縮/伸張部64が順に接続されており、それぞれシステムバス68に接続され、システムバス68に接続されたCPU70によって統括的に制御されるようになっている。
【0031】
アナログ信号処理回路56A・Bでは、撮像素子50A・Bから出力された画像信号をタイミング信号発生部によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してA/D変換器58へ出力する。アナログ信号処理回路56は、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧信号をホールドするサンプルホールド回路を有する。CDS部は、ノイズ成分を除去してアナログの出力信号として画像信号をA/D変換器58A・Bに送る。アナログ信号処理回路56A・Bから出力された画像信号は、A/D変換器58A・Bによってデジタルの画像データに変換されて画像信号処理回路60A・Bへ入力される。画像信号処理回路60A・Bでは、入力された画像データに対して色補正・γ補正・Y/C変換等の各種画像処理を行う。画像信号処理回路60から出力された画像データは、RAM等で構成されたメモリ62A・Bに一時記憶される。そして、圧縮/伸張部64で圧縮されてからスロットに装填されたメモリカード80に記憶されるようになっている。
【0032】
また、システムバス68には、ディスプレイ26を駆動するディスプレイドライバ27も接続され、撮影によって得られる画像データに基づく画像の表示が可能とされており、ディスプレイドライバ27によって様々な表示態様が表示されるように表示制御される。
【0033】
メモリ62A・Bの画像データは、立体画像処理回路34によって立体画像データに変換された後、ディスプレイドライバ27を介してディスプレイ26に再生画像として表示される。
【0034】
ディスプレイ26の詳細な構造は図示しないが、ディスプレイ26は、その表面にパララックスバリア表示層を備えている。ディスプレイ26は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、撮像素子50Aおよび50Bから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、撮像素子50Aまたは50Bの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
【0035】
さらに、システムバス68には、レリーズスイッチ、ズームボタン、メニュースイッチ、実行/画面切換スイッチ、選択スイッチ、キャンセルスイッチ、撮影モード切換スイッチ等などを含む操作部74が接続されており、CPUは操作部74の操作に応じた制御を行う。
【0036】
すなわち、レリーズスイッチが操作された等により、メモリカード80への画像データの格納が指示された場合、CPU70はメモリ62A・Bに一時記憶されている画像データを読み出して圧縮/伸張部64へ転送する。これにより、画像データは圧縮/伸張部64で圧縮された後にメモリカード80に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード80に格納される場合もある。
【0037】
また、メモリカード80に格納されている画像データが表す画像の再生(表示)が指示された場合には、メモリカード80から画像データが読み出され、読み出された画像データが圧縮/伸張部64で伸張(解凍)された後、メモリ62A・Bに一時記憶される。そして、メモリ62A・Bに一時記憶された画像データを用いてディスプレイ26への画像の表示(再生)が行われる。
【0038】
撮像光学系14A・Bのズームレンズの位置(ズーム位置)は、それぞれズーム位置検出部76A・Bによって検出され、この検出信号はズームレンズの変倍情報としてCPU70に入力される。
【0039】
ROM71には電子ズーム倍率データ、ROM72には光軸差データが記憶されている。
【0040】
切出位置設定部73は、CPU70から通知されたズーム位置検出部76A・B、電子ズーム倍率データおよび光軸差データから、切り出し位置を決定して画像信号処理回路60A・Bに指示する。画像信号処理回路60A・Bは、各種画像処理を施した画像から、この指示に応じた範囲を切り出し、メモリ62A・Bに出力する。
【0041】
図2はCPU70が実行を制御する補正処理のフローチャートを示す。
【0042】
S1では、ズームボタンによるズーム位置の変更操作があったか否かを判断する。Yesの場合はS2に進む。
【0043】
S2では、ズームボタンの操作に応じて、撮像光学系14A・Bのズームレンズをテレ(T)端側あるいはワイド(W)端側に移動するようモータ24A・Bを制御する。
【0044】
S3では、ズーム位置検出部76A・Bによって、撮像光学系14A・Bのズームレンズの現在位置を取得する。
【0045】
S4では、撮像光学系14A・Bのズームレンズの現在位置がズームボタン操作で指示された位置に存在しているか否かを判断する。Yesの場合はS5に進み、Noの場合はS2に戻る。
【0046】
S5では、ROM71から撮像光学系14A・Bのズームレンズの現在位置に対応する電子ズーム倍率データを読み出す。電子ズーム倍率データは、予め規定された撮像光学系14A・Bの光軸ずれの許容限界θmax(図3参照)によって生じる左右視点画像のずれ量dを補正するのに必要十分な、ズームレンズの位置ごとの電子ズーム切出範囲の余裕を示す。
【0047】
光軸ずれの許容限界θmaxは、W端からT端にかけてズームレンズを移動しても一定であるとみなすと、2つの視点画像での物点ずれ量dは、ズームレンズがW端からT端に移動するにつれて徐々に大きくなっていく。
【0048】
例えば、撮像光学系14A・Bは水平方向に沿って並列しているものとし、撮像光学系14A・Bの光軸ずれが許容限界θmaxであり、そのときの撮像光学系14A・Bによる左右の各視点画像の被写体のずれ量が、図4に示すように、W端ではdw、T端ではdtであるとする。この場合、現在のズーム位置をx、W端での位置をW、T端での位置をT、オリジナル視点画像の水平方向の長さをLとすると、水平方向の物点ずれ量dを吸収するための電子ズーム切出範囲の水平方向の長さVは、V=L−dw−(dt−dw)/(T−W)×(x−W)となる。なおx=WならばV=L−dw、x=TならばV=L−dtとなる(図4参照)。電子ズーム切出範囲のアスペクト比はオリジナル視点画像のそれに従うので、電子ズームの倍率yは、y=L/Vとなる。撮像光学系14A・Bが垂直方向に沿って並列していても、垂直方向のずれ量を基準にして同様に倍率yを求めることができる。
【0049】
具体的な数値例を挙げると、T端での最大光学ズーム倍率が5倍、W端でのずれ量dwが画像水平方向の長さの2%であれば、T端での最大ずれ量dtは画像水平方向の長さの2×5=10%となる。よって、W端での電子ズーム倍率は1.02倍、T端での電子ズーム倍率は1.1倍となる。光学ズームの倍率増加に応じて補正用の電子ズーム倍率も増加していくため、理論的には画像の倍率はユーザの指定した光学ズーム倍率よりも多くなるが、画像の見かけ上の倍率はユーザの指定した光学ズーム倍率と一致するように調整する。
【0050】
図5に示すように、電子ズーム倍率データyは、現在のズーム位置xが増加するのに比例して増加する。換言すると、yの増加に合わせてVは小さくなる。ズーム位置がW端にあっても、VはLよりも小さい値となり、電子ズーム倍率は1を超える。なおW端の位置を基準位置W=0としてもよい。上記等式をROM71に格納し、電子ズーム倍率データyの実際の計算はCPU70が行ってもよい。
【0051】
品質管理でカメラ10の個々の固体の光軸ずれが許容限界θmaxを上回らないとすれば、個々のカメラ10の物点ずれ量は、dを超えることはない。よって以下では、どの固体の物点ずれ量も吸収できるように、一律電子ズーム倍率データyで電子ズームを施す範囲を決定する。撮像光学系14A・Bが水平方向に沿って並列している場合は、視差が水平方向に形成されるため、その視差が破壊されない範囲で切出範囲を水平方向にシフト制御して切出範囲を決定する。これは特許文献6や7と同様にして、観察者の両眼融合範囲内に表示立体画像が収まるように画像の切出範囲を決定すればよい。
【0052】
S6では、ROM72から光軸差データを読み出す。光軸差データとは、撮像光学系14A・Bの実際の光軸ずれ角度であり、カメラ10の固体ごとに固有の値であり、製造出荷時にROM72に記憶される。
【0053】
S7では、切出位置設定部73が読み出した光軸差データと電子ズーム倍率データyに基づいて、光軸ずれに伴う物点ずれを解消する切出範囲(電子ズームを施す範囲)を決定する。つまり、切出範囲のサイズは一律電子ズーム倍率データyに従うが、切り出す場所は物点ずれの位置関係によって変化する。切出範囲のアスペクト比はオリジナルの視点画像と同じであるとする。
【0054】
そして、メモリ62Aまたは62Bのうち予め規定された一方の画像に対し、決定された切出範囲に含まれる画像を切り出し、切り出した画像を倍率yで電子的に拡大して(電子ズーム)、この拡大後の画像を新たな視点画像としてメモリ62Aまたは62Bに記憶する。物点ずれが解消されるのであればば双方の視点画像から切り出しと電子的拡大を行ってもよい。立体画像処理回路34は、この新たな視点画像と電子ズームの施されていない他方の視点画像とから、立体画像Sを生成する。また、メモリカード80にこの電子ズームの施された視点画像・電子ズームの施されていない視点画像を対応づけて記録してもよい。
【0055】
このように、個々のカメラ10の製造過程での光軸ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全てのカメラ10に一律に設定するため、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となり、かつ広角側での画角を最大限に確保できる。
【0056】
<第2実施形態>
図6は第2実施形態に係るカメラ10の電気的構成を示す。このカメラ10は第1実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。第2実施形態では、被写体はカメラ10から任意の距離の位置に存在し、フォーカスレンズは当該被写体に合焦するため移動可能とする。その移動量は、CPU70がコントラストAFや三角測距を利用したパッシブAFその他の公知の自動合焦処理を実施してモータ24A・Bにフォーカスレンズの合焦レンズ位置を指示する。
【0057】
フォーカス測定部77は、フォーカスレンズのレンズ位置に基づいて、あるいは三角測距などの公知の測距手段を利用して合焦被写体までの距離を測定する。
【0058】
ROM72には、カメラ10から立体画像の鑑賞が可能な被写体までの最短距離である最短撮影距離αと、カメラ10から所定の輻輳角をなす撮像光学系14A・Bの光軸交点までの距離である輻輳角設定距離βを記憶している(図7参照)。最短撮影距離αの物体に対する視差は限界視差と呼ばれ、最短撮影距離αよりも近い距離にある物体はぼやけて立体視が不可能となる。最短撮影距離α以上に遠い距離(αから無限遠までの間)にある物体に対する視差は適正視差と呼ばれる。CPU70は、フォーカス測定部77の測定した合焦被写体までの距離がα以上であれば、立体画像の作成が可能であると判断し、切出範囲の水平位置をシフト制御することで光学ズーム変倍による視差の拡大を補償する。この切出範囲の決定は、電子ズーム変倍による視差拡大を補償する特許文献8と同様である。
【0059】
図8はCPU70が実行する補正処理のフローチャートを示す。
【0060】
S11〜S14は、S1〜S4と同様である。
【0061】
S14では、フォーカス測定部77を介して合焦被写体距離を取得する。
【0062】
S16では、取得した合焦被写体距離が、ROM72の最短撮影距離α以上であるか否かを判断する。Yesの場合はS17,Noの場合はS20に進む。
【0063】
S17〜S18は、S5〜S6と同様である。
【0064】
S19では、切出位置設定部73が、電子ズームの倍率yによって定まるサイズの切出範囲の水平位置を、光学ズーム変倍による視差の拡大を補償するようにシフト制御する(図9参照)。
【0065】
S20では、立体画像の作成ができないほど被写体が近距離にある旨の警告メッセージをディスプレイ26に表示する。図示しないスピーカで警告メッセージを拡声してもよい。
【0066】
以上の処理により、任意の位置にある被写体の立体視が可能な範囲で光学ズーム変倍の視点画像のずれを画一的に補正できる。
【0067】
<第3実施形態>
図10は第3実施形態に係るカメラ10の電気的構成を示す。このカメラ10は第1ないし2実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。
【0068】
対応点検出部7は、ステレオマッチングの手法を用いて撮像素子50A、50Bがそれぞれ取得した画像SR,SL上において互いに対応する対応点を求める。対応点の求め方は公知のものを適用すればよい。例えば、画像SR,SLから部分的な行列(例えば3×3画素)を取り出して相関値を求めることにより対応点を求める。具体的には、対応点検出部7は、画像SR,SLの一方から輝度・色差の変わる境界部分(エッジ成分)を特徴点とし、他方の画像において同様のエッジ成分を有する部分を対応点とする。あるいは、画像SR,SLからそれぞれ顔検出を行い、検出された顔領域の頭頂と顎の先端をそれぞれの画像の特徴点あるいは対応点としてもよく、特徴点と対応点の抽出方法を相互に依存させる必要はない。
【0069】
視差計測回路8は、画像SR,SLにおける特徴点と対応点の位置座標の差異に基づいて視差を算出する。
【0070】
例えば、図11のような画像SLの特徴点PLの座標をX1、特徴点PLに対応する画像SRの対応点PRの座標X2をとすると、視差計測回路8は、視差d=X1−X2と計算する。
【0071】
図12はCPU70が実行する補正処理のフローチャートを示す。
【0072】
S21〜S24は、S1〜S4と同様である。
【0073】
S25では、対応点検出部7によって画像SR,SLの特徴点および対応点を求める。
【0074】
S26では、視差計測回路8によって視差dを算出する。
【0075】
S27〜30は、それぞれS16、S19、S20と同様である。ただし、S27では、視差計測回路8の算出した視差dがROM72の最短撮影距離α以上であるか否かを判断し、Yesの場合はS28,Noの場合はS30に進む。S29では、補正後の視点画像から作成した合成画像が観者に与える視差が、適正視差の範囲に収まるような切出範囲を設定する。
【0076】
このようにすれば、第2実施形態のように予めROM72に視差データを格納しておく必要がなくなる。
【0077】
なお、本明細書で説明した補正処理は、光軸ずれの他、倍率誤差や回転誤差の補正にも適用できる。
【符号の説明】
【0078】
7:対応点検出部、14:撮像光学系、24:ズームモータ、34:立体画像処理回路、50:撮像素子、70:CPU、71:ROM、72:ROM、73:切出位置設定部
【技術分野】
【0001】
本発明は、多視点から画像を取得可能な撮像装置に関する。
【背景技術】
【0002】
特許文献1では、右眼用の撮影情報を得るためのCCD16Rを有する第1レンズ鏡筒1Rと、左眼用の撮影情報を得るためのCCD16Lを有する第2レンズ鏡筒1Lと、これら第1レンズ鏡筒1Rと第2レンズ鏡筒1Lの焦点距離を検出するカメラ検出回路43と、各焦点距離における上記第1レンズ鏡筒1Rと第2レンズ鏡筒1Lのそれぞれの光軸中心のずれ量を予め記憶したEEPROM等でなるROM47と、このROM47からの出力に基づき各焦点距離における上記CCD16RおよびCCD16Lの内の少なくとも一方における画像切出しエリアを制御するCPU46とを備えた立体撮影装置を開示している。
【0003】
特許文献2では、立体カメラ2は、第1及び第2変倍レンズ21,31の位置を検出する第1及び第2ポテンショメータ25,35と、第1及び第2変倍レンズ21,31の倍率差D1を所定位置ごとに記憶した補正データ記憶部52と、倍率差D1に基づいて第2画像データを電子的に変倍する電子変倍回路53と、ポテンショメータ25,35の検出位置に応じた倍率差D1を補正データ記憶部52から読み出して電子変倍回路53に設定するCPU40とを備え、第1及び第2画像データの撮影範囲を一致させる。また、第1及び第2変倍レンズ21,31の光軸座標差を補正データ記憶部52に記憶させ、光軸座標差に基づいて第2画像データの座標を変更する座標変更回路を設ける。
【0004】
特許文献3では、左右の撮像レンズ1、12はAF駆動回路2、13でそれぞれフォーカスが制御される。CCD3、14出力は電子ズーム用のメモリ6及び17に書き込まれる。マイクロコンピュータ23は被写体距離に比例するAFデータにより電子ズームの切り出し枠の切り出し位置を制御する。これにより、輻輳角は電子的に制御される。
【0005】
その他、本願に関係する先行技術として、特許文献4〜8が挙げられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平8−317424号公報
【特許文献2】特開2006−162991号公報
【特許文献3】特開平7−95623号公報
【特許文献4】特開平6−296252号公報
【特許文献5】特開2006−251683号公報
【特許文献6】特開2005−20606号公報
【特許文献7】特開平09−037302号公報
【特許文献8】特開平8−317429号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
2つの変倍撮影レンズ間の個体差による光軸ずれを電子的に補正し、適正な立体視を可能にする立体撮像装置が特許文献1および2に開示されている。特許文献1は、各ズーム位置に対し2つのレンズ間の光軸ずれの量に応じて、画像の切り出し位置やエリアの変更量を計算しているため、個々の装置において同じズーム位置でも誤差量の違いによりばらばらな画角が設定される問題がある。
【0008】
特許文献2では、電子ズームで補正する側のレンズを広角にすることにより、画角が補正されない側のレンズで設定され、個々の装置における画角設定は統一されるが、2つのレンズが設計的に共通でないため、歪曲収差や色収差など特性を合わせることが難しく、適正な立体視ができない可能性がある。
【0009】
特許文献3では、被写体距離に応じて電子的に輻輳角を補正する装置が提案されているが、変倍可能なレンズに適用した場合の視差ずれの補正手段や2つのレンズ間の光軸ずれに対する補正については何ら提案されていない。
【0010】
特許文献4では、電子ズームによってズームアップされた倍率に比例した実際には読み出されない画素の領域が発生するとし、ズームレンズがワイド端にあるときは読み出されない画素の領域は発生しないとする。つまり、従来技術では、2つの変倍撮影レンズがワイド端にある場合、当該レンズ間の個体差による光軸ずれを、電子的に補正することはできない。
【0011】
本発明は、共通の特性を持った複数の変倍レンズの製造誤差や視差の補正の際、光学ズーム位置に応じて電子ズームの倍率を画一的に設定することで、適正な立体画像を得る。また、広角側の画角を最大限に確保する。
【課題を解決するための手段】
【0012】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、撮像光学系の誤差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部の誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出す補正部と、を備える。
【0013】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、被写体までの距離を測定する距離測定部と、測定部の測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部に記憶された視差を確保する範囲を拡大後の画像から切り出す補正部と、を備える。
【0014】
本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定する視差測定部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出す補正部と、を備える。
【0015】
補正部が設定する電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加する。
【0016】
補正部の切り出した画像と所望の補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える。
【0017】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、撮像光学系の誤差を記憶するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出すステップと、を実行する。
【0018】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、被写体までの距離を測定するステップと、測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶された視差を確保する範囲を拡大後の画像から切り出すステップと、を実行する。
【0019】
本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出すステップと、を実行する。
【0020】
この画像補正方法を撮像装置に実行させるための画像補正プログラムも本発明に含まれる。
【発明の効果】
【0021】
個々の撮像装置の製造過程での光軸ずれ、視差ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全ての撮像装置に一律に設定しておけば、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となる。また、電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加するため、広角側での画角は最大限に確保される。
【図面の簡単な説明】
【0022】
【図1】第1実施形態に係るカメラのブロック図
【図2】第1実施形態に係る補正処理のフローチャート
【図3】光軸ずれの許容限界θmaxの一例を示す図
【図4】電子ズーム切出範囲の一例を示す図
【図5】電子ズーム倍率データyと現在のズーム位置xとの関係を例示した図
【図6】第2実施形態に係るカメラのブロック図
【図7】最短撮影距離α、輻輳角設定距離βの一例を示す図
【図8】第2実施形態に係る補正処理のフローチャート
【図9】電子ズーム切出範囲の一例を示す図
【図10】第3実施形態に係るカメラのブロック図
【図11】対応点の一例を示す図
【図12】第3実施形態に係る補正処理のフローチャート
【発明を実施するための形態】
【0023】
<第1実施形態>
図1は第1実施形態に係るカメラ10の電気的構成を示す。
【0024】
撮像光学系14A・Bは、それぞれズームレンズ、フォーカスレンズなどを含んでいる。撮像光学系14A・Bの光軸がなす輻輳角は機械的に固定されているものとする。また、撮像光学系14A・Bのなす両眼視差は合焦被写体までの距離によって変化するが、第1実施形態では、合焦被写体はある決まった位置に存在し、フォーカスレンズは移動しないものとする。
【0025】
レンズモータ24A・Bは、操作部74のズームボタンの操作に応じて、撮像光学系14A・Bのズームレンズをレンズ光軸に沿ってテレ側(繰り出し側)/ワイド側(繰り込み側)に移動させ、焦点距離(撮影倍率)を変化させる。
【0026】
本体12の内部における撮像光学系14A・Bの焦点位置に相当する位置には、エリアCCDセンサ等で構成される2つの撮像素子50A、50Bが配置されており、上述したように、被写体を反射して撮像光学系14A・Bに入射された光はそれぞれ撮像素子50A、50Bの受光面に結像される。
【0027】
撮像素子50A、50Bは、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子50A、50Bはそれぞれ図示しない駆動回路に接続されているタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。
【0028】
撮像光学系14と撮像素子50A、50Bとの間には図示しない絞りが配置されている。絞りは連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。
【0029】
タイミング信号発生部には、さらに図示しないストロボの発光を制御するストロボ制御回路も接続されており、ストロボは低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで発光制御される。
【0030】
撮像素子50A・Bの信号出力端には、それぞれアナログ信号処理回路56A・B、A/D変換器58A・B、画像信号処理回路60A・B、メモリ62A・B、及び圧縮/伸張部64が順に接続されており、それぞれシステムバス68に接続され、システムバス68に接続されたCPU70によって統括的に制御されるようになっている。
【0031】
アナログ信号処理回路56A・Bでは、撮像素子50A・Bから出力された画像信号をタイミング信号発生部によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してA/D変換器58へ出力する。アナログ信号処理回路56は、図示しないCDS(Correlated Double Sampling:相関二重サンプリング:以下CDSという)部を含んで構成されている。CDS部は、例えば、CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧信号をホールドするサンプルホールド回路を有する。CDS部は、ノイズ成分を除去してアナログの出力信号として画像信号をA/D変換器58A・Bに送る。アナログ信号処理回路56A・Bから出力された画像信号は、A/D変換器58A・Bによってデジタルの画像データに変換されて画像信号処理回路60A・Bへ入力される。画像信号処理回路60A・Bでは、入力された画像データに対して色補正・γ補正・Y/C変換等の各種画像処理を行う。画像信号処理回路60から出力された画像データは、RAM等で構成されたメモリ62A・Bに一時記憶される。そして、圧縮/伸張部64で圧縮されてからスロットに装填されたメモリカード80に記憶されるようになっている。
【0032】
また、システムバス68には、ディスプレイ26を駆動するディスプレイドライバ27も接続され、撮影によって得られる画像データに基づく画像の表示が可能とされており、ディスプレイドライバ27によって様々な表示態様が表示されるように表示制御される。
【0033】
メモリ62A・Bの画像データは、立体画像処理回路34によって立体画像データに変換された後、ディスプレイドライバ27を介してディスプレイ26に再生画像として表示される。
【0034】
ディスプレイ26の詳細な構造は図示しないが、ディスプレイ26は、その表面にパララックスバリア表示層を備えている。ディスプレイ26は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、撮像素子50Aおよび50Bから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、撮像素子50Aまたは50Bの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
【0035】
さらに、システムバス68には、レリーズスイッチ、ズームボタン、メニュースイッチ、実行/画面切換スイッチ、選択スイッチ、キャンセルスイッチ、撮影モード切換スイッチ等などを含む操作部74が接続されており、CPUは操作部74の操作に応じた制御を行う。
【0036】
すなわち、レリーズスイッチが操作された等により、メモリカード80への画像データの格納が指示された場合、CPU70はメモリ62A・Bに一時記憶されている画像データを読み出して圧縮/伸張部64へ転送する。これにより、画像データは圧縮/伸張部64で圧縮された後にメモリカード80に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード80に格納される場合もある。
【0037】
また、メモリカード80に格納されている画像データが表す画像の再生(表示)が指示された場合には、メモリカード80から画像データが読み出され、読み出された画像データが圧縮/伸張部64で伸張(解凍)された後、メモリ62A・Bに一時記憶される。そして、メモリ62A・Bに一時記憶された画像データを用いてディスプレイ26への画像の表示(再生)が行われる。
【0038】
撮像光学系14A・Bのズームレンズの位置(ズーム位置)は、それぞれズーム位置検出部76A・Bによって検出され、この検出信号はズームレンズの変倍情報としてCPU70に入力される。
【0039】
ROM71には電子ズーム倍率データ、ROM72には光軸差データが記憶されている。
【0040】
切出位置設定部73は、CPU70から通知されたズーム位置検出部76A・B、電子ズーム倍率データおよび光軸差データから、切り出し位置を決定して画像信号処理回路60A・Bに指示する。画像信号処理回路60A・Bは、各種画像処理を施した画像から、この指示に応じた範囲を切り出し、メモリ62A・Bに出力する。
【0041】
図2はCPU70が実行を制御する補正処理のフローチャートを示す。
【0042】
S1では、ズームボタンによるズーム位置の変更操作があったか否かを判断する。Yesの場合はS2に進む。
【0043】
S2では、ズームボタンの操作に応じて、撮像光学系14A・Bのズームレンズをテレ(T)端側あるいはワイド(W)端側に移動するようモータ24A・Bを制御する。
【0044】
S3では、ズーム位置検出部76A・Bによって、撮像光学系14A・Bのズームレンズの現在位置を取得する。
【0045】
S4では、撮像光学系14A・Bのズームレンズの現在位置がズームボタン操作で指示された位置に存在しているか否かを判断する。Yesの場合はS5に進み、Noの場合はS2に戻る。
【0046】
S5では、ROM71から撮像光学系14A・Bのズームレンズの現在位置に対応する電子ズーム倍率データを読み出す。電子ズーム倍率データは、予め規定された撮像光学系14A・Bの光軸ずれの許容限界θmax(図3参照)によって生じる左右視点画像のずれ量dを補正するのに必要十分な、ズームレンズの位置ごとの電子ズーム切出範囲の余裕を示す。
【0047】
光軸ずれの許容限界θmaxは、W端からT端にかけてズームレンズを移動しても一定であるとみなすと、2つの視点画像での物点ずれ量dは、ズームレンズがW端からT端に移動するにつれて徐々に大きくなっていく。
【0048】
例えば、撮像光学系14A・Bは水平方向に沿って並列しているものとし、撮像光学系14A・Bの光軸ずれが許容限界θmaxであり、そのときの撮像光学系14A・Bによる左右の各視点画像の被写体のずれ量が、図4に示すように、W端ではdw、T端ではdtであるとする。この場合、現在のズーム位置をx、W端での位置をW、T端での位置をT、オリジナル視点画像の水平方向の長さをLとすると、水平方向の物点ずれ量dを吸収するための電子ズーム切出範囲の水平方向の長さVは、V=L−dw−(dt−dw)/(T−W)×(x−W)となる。なおx=WならばV=L−dw、x=TならばV=L−dtとなる(図4参照)。電子ズーム切出範囲のアスペクト比はオリジナル視点画像のそれに従うので、電子ズームの倍率yは、y=L/Vとなる。撮像光学系14A・Bが垂直方向に沿って並列していても、垂直方向のずれ量を基準にして同様に倍率yを求めることができる。
【0049】
具体的な数値例を挙げると、T端での最大光学ズーム倍率が5倍、W端でのずれ量dwが画像水平方向の長さの2%であれば、T端での最大ずれ量dtは画像水平方向の長さの2×5=10%となる。よって、W端での電子ズーム倍率は1.02倍、T端での電子ズーム倍率は1.1倍となる。光学ズームの倍率増加に応じて補正用の電子ズーム倍率も増加していくため、理論的には画像の倍率はユーザの指定した光学ズーム倍率よりも多くなるが、画像の見かけ上の倍率はユーザの指定した光学ズーム倍率と一致するように調整する。
【0050】
図5に示すように、電子ズーム倍率データyは、現在のズーム位置xが増加するのに比例して増加する。換言すると、yの増加に合わせてVは小さくなる。ズーム位置がW端にあっても、VはLよりも小さい値となり、電子ズーム倍率は1を超える。なおW端の位置を基準位置W=0としてもよい。上記等式をROM71に格納し、電子ズーム倍率データyの実際の計算はCPU70が行ってもよい。
【0051】
品質管理でカメラ10の個々の固体の光軸ずれが許容限界θmaxを上回らないとすれば、個々のカメラ10の物点ずれ量は、dを超えることはない。よって以下では、どの固体の物点ずれ量も吸収できるように、一律電子ズーム倍率データyで電子ズームを施す範囲を決定する。撮像光学系14A・Bが水平方向に沿って並列している場合は、視差が水平方向に形成されるため、その視差が破壊されない範囲で切出範囲を水平方向にシフト制御して切出範囲を決定する。これは特許文献6や7と同様にして、観察者の両眼融合範囲内に表示立体画像が収まるように画像の切出範囲を決定すればよい。
【0052】
S6では、ROM72から光軸差データを読み出す。光軸差データとは、撮像光学系14A・Bの実際の光軸ずれ角度であり、カメラ10の固体ごとに固有の値であり、製造出荷時にROM72に記憶される。
【0053】
S7では、切出位置設定部73が読み出した光軸差データと電子ズーム倍率データyに基づいて、光軸ずれに伴う物点ずれを解消する切出範囲(電子ズームを施す範囲)を決定する。つまり、切出範囲のサイズは一律電子ズーム倍率データyに従うが、切り出す場所は物点ずれの位置関係によって変化する。切出範囲のアスペクト比はオリジナルの視点画像と同じであるとする。
【0054】
そして、メモリ62Aまたは62Bのうち予め規定された一方の画像に対し、決定された切出範囲に含まれる画像を切り出し、切り出した画像を倍率yで電子的に拡大して(電子ズーム)、この拡大後の画像を新たな視点画像としてメモリ62Aまたは62Bに記憶する。物点ずれが解消されるのであればば双方の視点画像から切り出しと電子的拡大を行ってもよい。立体画像処理回路34は、この新たな視点画像と電子ズームの施されていない他方の視点画像とから、立体画像Sを生成する。また、メモリカード80にこの電子ズームの施された視点画像・電子ズームの施されていない視点画像を対応づけて記録してもよい。
【0055】
このように、個々のカメラ10の製造過程での光軸ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全てのカメラ10に一律に設定するため、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となり、かつ広角側での画角を最大限に確保できる。
【0056】
<第2実施形態>
図6は第2実施形態に係るカメラ10の電気的構成を示す。このカメラ10は第1実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。第2実施形態では、被写体はカメラ10から任意の距離の位置に存在し、フォーカスレンズは当該被写体に合焦するため移動可能とする。その移動量は、CPU70がコントラストAFや三角測距を利用したパッシブAFその他の公知の自動合焦処理を実施してモータ24A・Bにフォーカスレンズの合焦レンズ位置を指示する。
【0057】
フォーカス測定部77は、フォーカスレンズのレンズ位置に基づいて、あるいは三角測距などの公知の測距手段を利用して合焦被写体までの距離を測定する。
【0058】
ROM72には、カメラ10から立体画像の鑑賞が可能な被写体までの最短距離である最短撮影距離αと、カメラ10から所定の輻輳角をなす撮像光学系14A・Bの光軸交点までの距離である輻輳角設定距離βを記憶している(図7参照)。最短撮影距離αの物体に対する視差は限界視差と呼ばれ、最短撮影距離αよりも近い距離にある物体はぼやけて立体視が不可能となる。最短撮影距離α以上に遠い距離(αから無限遠までの間)にある物体に対する視差は適正視差と呼ばれる。CPU70は、フォーカス測定部77の測定した合焦被写体までの距離がα以上であれば、立体画像の作成が可能であると判断し、切出範囲の水平位置をシフト制御することで光学ズーム変倍による視差の拡大を補償する。この切出範囲の決定は、電子ズーム変倍による視差拡大を補償する特許文献8と同様である。
【0059】
図8はCPU70が実行する補正処理のフローチャートを示す。
【0060】
S11〜S14は、S1〜S4と同様である。
【0061】
S14では、フォーカス測定部77を介して合焦被写体距離を取得する。
【0062】
S16では、取得した合焦被写体距離が、ROM72の最短撮影距離α以上であるか否かを判断する。Yesの場合はS17,Noの場合はS20に進む。
【0063】
S17〜S18は、S5〜S6と同様である。
【0064】
S19では、切出位置設定部73が、電子ズームの倍率yによって定まるサイズの切出範囲の水平位置を、光学ズーム変倍による視差の拡大を補償するようにシフト制御する(図9参照)。
【0065】
S20では、立体画像の作成ができないほど被写体が近距離にある旨の警告メッセージをディスプレイ26に表示する。図示しないスピーカで警告メッセージを拡声してもよい。
【0066】
以上の処理により、任意の位置にある被写体の立体視が可能な範囲で光学ズーム変倍の視点画像のずれを画一的に補正できる。
【0067】
<第3実施形態>
図10は第3実施形態に係るカメラ10の電気的構成を示す。このカメラ10は第1ないし2実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。
【0068】
対応点検出部7は、ステレオマッチングの手法を用いて撮像素子50A、50Bがそれぞれ取得した画像SR,SL上において互いに対応する対応点を求める。対応点の求め方は公知のものを適用すればよい。例えば、画像SR,SLから部分的な行列(例えば3×3画素)を取り出して相関値を求めることにより対応点を求める。具体的には、対応点検出部7は、画像SR,SLの一方から輝度・色差の変わる境界部分(エッジ成分)を特徴点とし、他方の画像において同様のエッジ成分を有する部分を対応点とする。あるいは、画像SR,SLからそれぞれ顔検出を行い、検出された顔領域の頭頂と顎の先端をそれぞれの画像の特徴点あるいは対応点としてもよく、特徴点と対応点の抽出方法を相互に依存させる必要はない。
【0069】
視差計測回路8は、画像SR,SLにおける特徴点と対応点の位置座標の差異に基づいて視差を算出する。
【0070】
例えば、図11のような画像SLの特徴点PLの座標をX1、特徴点PLに対応する画像SRの対応点PRの座標X2をとすると、視差計測回路8は、視差d=X1−X2と計算する。
【0071】
図12はCPU70が実行する補正処理のフローチャートを示す。
【0072】
S21〜S24は、S1〜S4と同様である。
【0073】
S25では、対応点検出部7によって画像SR,SLの特徴点および対応点を求める。
【0074】
S26では、視差計測回路8によって視差dを算出する。
【0075】
S27〜30は、それぞれS16、S19、S20と同様である。ただし、S27では、視差計測回路8の算出した視差dがROM72の最短撮影距離α以上であるか否かを判断し、Yesの場合はS28,Noの場合はS30に進む。S29では、補正後の視点画像から作成した合成画像が観者に与える視差が、適正視差の範囲に収まるような切出範囲を設定する。
【0076】
このようにすれば、第2実施形態のように予めROM72に視差データを格納しておく必要がなくなる。
【0077】
なお、本明細書で説明した補正処理は、光軸ずれの他、倍率誤差や回転誤差の補正にも適用できる。
【符号の説明】
【0078】
7:対応点検出部、14:撮像光学系、24:ズームモータ、34:立体画像処理回路、50:撮像素子、70:CPU、71:ROM、72:ROM、73:切出位置設定部
【特許請求の範囲】
【請求項1】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶する記憶部と、
所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、
前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、
被写体までの距離を測定する距離測定部と、
前記距離測定部の測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶部に記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大する補正部と、
を備える撮像装置。
【請求項2】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定する視差測定部と、
所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、
前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大する補正部と、
を備える撮像装置。
【請求項3】
前記補正部が設定する電子ズーム倍率は前記ズームレンズの位置が広角側から望遠側に推移するに従って増加する請求項1または2に記載の撮像装置。
【請求項4】
前記補正部の切り出した画像と補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える請求項1〜3のいずれかに記載の撮像装置。
【請求項5】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶するステップと、
被写体までの距離を測定するステップと、
前記測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行する画像補正方法。
【請求項6】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行する画像補正方法。
【請求項7】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶するステップと、
被写体までの距離を測定するステップと、
前記測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行するための画像補正プログラム。
【請求項8】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行するための画像補正プログラム。
【請求項1】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶する記憶部と、
所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、
前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、
被写体までの距離を測定する距離測定部と、
前記距離測定部の測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶部に記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大する補正部と、
を備える撮像装置。
【請求項2】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定する視差測定部と、
所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、
前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大する補正部と、
を備える撮像装置。
【請求項3】
前記補正部が設定する電子ズーム倍率は前記ズームレンズの位置が広角側から望遠側に推移するに従って増加する請求項1または2に記載の撮像装置。
【請求項4】
前記補正部の切り出した画像と補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える請求項1〜3のいずれかに記載の撮像装置。
【請求項5】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶するステップと、
被写体までの距離を測定するステップと、
前記測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行する画像補正方法。
【請求項6】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行する画像補正方法。
【請求項7】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶するステップと、
被写体までの距離を測定するステップと、
前記測定した被写体までの距離および前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、前記記憶された視差を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行するための画像補正プログラム。
【請求項8】
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、
前記ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、所定の適用視差範囲を確保する範囲を前記視点画像から切り出し、前記電子ズーム倍率に基づいて前記切り出した範囲を拡大するステップと、
を実行するための画像補正プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−195948(P2012−195948A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2012−107743(P2012−107743)
【出願日】平成24年5月9日(2012.5.9)
【分割の表示】特願2009−58244(P2009−58244)の分割
【原出願日】平成21年3月11日(2009.3.11)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願日】平成24年5月9日(2012.5.9)
【分割の表示】特願2009−58244(P2009−58244)の分割
【原出願日】平成21年3月11日(2009.3.11)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]