距離マップ生成型マルチレンズカメラ
撮像出力信号に基づき光景についての出力画像を生成する電子カメラであって、第１センサ出力をもたらす第１イメージセンサ及びその上に視野内光景の第１画像を発現させる第１レンズを有する第１撮像部と、第２センサ出力をもたらす第２イメージセンサ及びその上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、を備える。第１及び第２イメージセンサの焦点距離を違える。処理部で、第１及び第２センサ出力のうち一方を撮像出力信号として選定する一方、光景内諸点までの距離を指し示す距離マップを第１及び第２センサ出力双方に基づき生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はディジタル画像ファイルを生成するディジタルカメラ、特にレンズ及びイメージセンサを複数使用し測距能力を高めたディジタルカメラに関する。
【背景技術】
【０００２】
現在使用されている多くのディジタルカメラはズームトラッキングレンズ及び単色イメージセンサを用い静止画や動画を撮影する構成である。撮影した画像はカメラ内で処理されディジタル画像ファイルとしてディジタルメモリ上に保存される。それらのファイルについては、コンピュータに転送すること、表示すること、印刷すること、インターネット上で共有すること等が可能である。
【０００３】
動きのある被写体を鮮明に捉えるには、そのディジタルカメラ上にオートフォーカスシステム、即ちそのカメラのレンズを被写体に対し精密且つ自動的に合焦させるシステムを設ける必要がある。その種のシステムに対しては、被写体に対しレンズを迅速且つ正確に合焦させうること、即ちシャッタボタン押下から静止画撮影までの遅延時間であるシャッタ遅延が短いことが求められる。更に、動画撮影に使用される連続撮像モードでも機能すること、例えば動画モードで動画の撮影を続けている間中焦点をリアルタイムに調整できることも求められる。
【０００４】
一般に、ディジタルカメラやスキャナの多くでは、イメージセンサと併せ、可調焦点レンズ付の撮像レンズ系を用いて画像を撮影する。通常、そうした可調焦点レンズ付撮像レンズ系の焦点距離（レンズポジション）では、複数通りある設定値のうちいずれかを検知系、制御系及び駆動系の動作で自動的に選択する。それらの設定値は、光景内の被写体エリアと覚しきエリアに好適に合焦するよう定めるのが普通である。本願中でオートフォーカスシステムと呼んでいるのは、合焦状態計測結果に基づき且つ可調焦点レンズを用いその焦点設定を自動調整しうるレンズシステムのことである。ディジタルカメラで用いられるオートフォーカスシステムには、大別してレンジファインダ（測距器式）オートフォーカスシステムとスルーザレンズ（レンズ越し式）オートフォーカスシステムとがある。
【０００５】
そのうちレンジファインダオートフォーカスシステムでは、カメラから自システムの視野内にある１個又は複数個の点までの距離を、ソニックレンジファインダ（音響測距器）、デュアルレンズレンジファインダ（複レンズ測距器）等の測距センサを用いて導出する。ソニックレンジファインダは、投射した音響信号と反射してくる音響信号との間の位相差を計測し、その結果に基づき視野内物体までの距離を推定する。デュアルレンズレンジファインダは、間隔配設されている２個のレンズ及びそれらに対応して設けられた２個のセンサ領域を備え、それらのセンサ領域で画像の対を撮影する。ディジタルカメラに搭載されるデュアルレンズレンジファインダは、間隔配設された２個のレンズ及び対応するレンズを介し低解像度画像を撮影する２個のセンサ領域を有するデュアルレンズレンジモジュールとなっていることが多い。
【０００６】
デュアルレンズレンジファインダを用いるオートフォーカスシステムには大別して能動型と受動型がある。能動型のシステムは視野内領域に向けて自分から光を投射するが、受動型のシステムは視野内領域から到来する光だけを利用する。また、デュアルレンズレンジファインダモジュールの例としては、富士電機株式会社が販売しているＦＭ６２６０Ｗ（商品名）等何種類かの機種がある。特許文献１（発明者：Haruki et al.、譲受人：富士電機株式会社他、発行日：１９８６年８月１９日）には光学機器（例えばカメラ）用デュアルレンズレンジファインダモジュールが記載されている。この文献の記載によれば、対をなして得られる低解像度画像を解析して二画像間の相関を調べることで、レンズ間隔による画像間オフセットを求めることができる。
【０００７】
図２７に、従来技術に係るレンジファインダの動作原理を模式的に示す。この図のレンジファインダは、被写体１５１からの光が入射する２個の小さなレンズ１５２，１５３を備えている。被写体１５１からの光は互いに異なる光路１５４，１５５を辿ってレンズ１５２，１５３に入射し、レンズ１５２，１５３に共通の合焦面１５６上に像１５７，１５８を発現させる（符号同順；以下同様）。レンズ１５２，１５３の焦点距離ｆは十分に短いので、像１５７，１５８間には光路１５４，１５５の違いに応じた間隔が発生する。その被写体１５１が無限遠といえるほど遠くにあれば、像１５７，１５８それぞれの中心位置は図中の基準位置１７０，１８０になるが、被写体１５１がより近い位置にある場合は、像１５７，１５８の中心位置は位置１７０，１８０からシフトした別の位置１７１，１８１になる。ここに、位置１７０を基準とした像１５７のシフト幅をｘ1、位置１８０を基準とした像１５８のシフト幅をｘ2とすると、合計のシフト幅ｘは
ｘ＝ｘ1＋ｘ2＝ｂ・ｆ／ｄ
と表すことができる。なお、ｂはレンズ１５２，１５３間の光軸間距離即ち基線長である。この式から判るように、合計シフト幅ｘが判ればｄ＝ｂ・ｆ／ｘの演算で被写体１５１までの距離ｄも判る。図示の装置で合焦面１５６上に２個の光学センサアレイ１９０，１９１が設けられているのは、それら個別又は合計のシフト幅ｘ1，ｘ2又はｘを検出するためである。これらのアレイ１９０，１９１はいずれも光学センサ例えばＣＣＤ（電荷結合素子）デバイスを複数個有しており、それらのセンサは画像のうちそのセンサに入射した部分の光強度を表すアナログの光起電信号を出力する。特許文献１には、その特徴たる高速測距回路のほか、左側の光学センサアレイに発するディジタル画像信号からなる画像信号列と、右側の光学センサアレイに発するディジタル画像信号からなる画像信号列とを対比することにより、それらの間の合計シフト幅ｘを求める従来回路が示されている。
【０００８】
基本的には、この合計シフト幅ｘが判れば、レンズ間距離ｂ及び焦点距離ｆを参照し三角測量の原理で被写体１５１までの距離ｄを求めることができ、その結果に基づき可調焦点レンズの焦点ポジションを調整することで最良画質に近づけることができる。本件技術分野で既知の如く、この調整には、デュアルレンズレンジファインダモジュールにおける被写体距離計測値と、スルーザレンズオートフォーカスシステムで調べた最良合焦時の焦点ポジションと、を関連付ける校正曲線が使用される。使用する校正曲線は、数式又はルックアップテーブルの形態でカメラ又はそのマイクロプロセッサに実装される。
【０００９】
こうしたレンジファインダオートフォーカスシステムには、例えばその応答時間が０．０１〜０．０５秒のものもある等、非常に高速であるという長所がある。反面、一部のレンジファインダオートフォーカスシステムでは、その稼働条件の変化に応じ合焦品質が変化する。例えば、ソニックレンジファインダオートフォーカスシステムでは、投射した音響信号がガラス窓を透過できずにガラス面上に合焦してしまう。デュアルレンズレンジファインダオートフォーカスシステムでは、温度、湿度等の環境条件における変化でその測距精度が左右されることが多い。即ち、デュアルレンズレンジファインダモジュールを使用する上で問題になるのは、そのモジュールと可調焦点レンズのポジションとの間の校正関係が、通常のディジタルカメラ稼働環境の範囲内で安定とはいえないことである。デュアルレンズレンジファインダモジュールで得られる光景内被写体距離計測値は、温度、湿度等の環境条件が変化すると１０％以上も変化することがある。加えて、撮像用レンズ系を構成する可調焦点レンズのポジションについての計測値にも環境性の計測値変動が生じやすいので、レンズ制御系でも環境性の誤差が発生する。そのため、ディジタルカメラ内オートフォーカス動作をデュアルレンズレンジファインダモジュールだけに担わせることは少ない。デュアルレンズレンジファインダモジュールで焦点を粗調整しスルーザレンズオートフォーカスシステムでそれを補う構成の方が多い。
【００１０】
そのスルーザレンズオートフォーカスシステムでは、可調焦点レンズの焦点距離を複数通りに変化させつつ撮影を行い、それによって得られた一群のオートフォーカス用画像を解析することによって、合焦状態を判別する。例えば、一般的なスルーザレンズオートフォーカスシステムでは、可調焦点レンズのポジションをいわゆるヒルクライム法に従い複数通りに変化させつつ複数枚例えば５〜１０枚のオートフォーカス用画像を撮影する。ヒルクライム法と呼ばれる所以は、この手法で使用する合焦状態評価値が、あるところで丘（ヒル）のピークを迎えるまで増加し続けることにある。言い換えれば、レンズ焦点ポジションを自動調整し、その画像のエッジディテール乃至特定領域のコントラスト値が最大になるように導くからである。例えば、個々のオートフォーカス用画像におけるコントラスト値を調べ、それらのなかで最大のコントラスト値を呈したオートフォーカス用画像を以て、最良合焦条件で撮影された画像であると見なすようにする。このとき、オートフォーカス用画像間のコントラスト値補間によって、最良合焦になるレンズポジションをより精細に求めることもある。
【００１１】
また、合焦精度を犠牲にすることなく合焦動作の応答時間を短縮するため、一般に、動画信号中の高周波成分を分離するフィルタだけでなく低周波成分を分離するフィルタも用いられている。例えば、まず最良合焦からかけ離れているときは低周波域内粗調整用ステップ幅でレンズを素早く動かし、最良合焦に近づいたら高周波域内精密調整用ステップ幅でレンズを動かすようにする。図２８に、コントラスト値比較による従来のヒルクライムオートフォーカスアルゴリズムの流れを示す。このアルゴリズムでは、コントラスト値を用い且つ図２９に示す要領に従い上述のヒルクライムオートフォーカスを実行する。図２９は、諸フィルタから得られる合焦状態評価値とレンズポジションとの関係を示す図である。その横軸は可調焦点レンズの距離方向沿い合焦ポジションを、縦軸は合焦状態評価値をそれぞれ表している。曲線Ａは最良合焦ポジションＰを基準とした高周波成分用合焦状態評価値、曲線Ｂは同じく低周波成分用合焦状態評価値である。
【００１２】
このアルゴリズムを実行する際には、例えば、その可調焦点レンズの現在の焦点距離とｆナンバに従い現設定下での過焦点距離を決め、その距離を開始点として図２８に示す流れによる手順を実行すればよい。開始点は、通常は２ｍ程度の距離となる。次いで、低域通過フィルタをロードして（ステップ１９７）合焦状態評価値を取得しその値を比較する（ステップ１９８）。更に、合焦状態評価値が増加するよう比較の結果に基づき焦点距離調整方向を設定し、レンズがいつ“丘”を越えるかを判別する。更に、現在の焦点距離及びｆナンバにより決まる視界深さに基づきステップ数を決め、そのステップ数だけ手前の焦点ポジションにて、低域通過フィルタを用い次のフレームを撮影する。この動作を続けると、いずれは図２９中に曲線Ｂで示した“丘”のピークを越える。そうしたら、高域通過フィルタをロードし（ステップ１９９）、図２９中に曲線Ａで示した更に高い“丘”のピークに達するまで、そのレンズの焦点距離を逆方向に変化させるようにする。そのピーク値としては、多数の画素から合焦状態評価値の加重平均値を求めてもよいし、それらの合焦状態評価値の最頻値を求めてもよい。
【００１３】
こうしたスルーザレンズオートフォーカスシステムは、高品質な撮像用レンズで撮影したオートフォーカス用画像から直に合焦品質を求めるため非常に高精度であるが、残念なことに、多数のオートフォーカス用画像を撮影して比較しなければならないため焦点設定の画定がやや遅くなる。例えば、合焦条件決定に０．５〜２．０秒もかかるスルーザレンズオートフォーカスシステムもある。
【００１４】
そのため、一部のディジタルカメラでは、これら二種類のオートフォーカスシステムを併用するハイブリッドシステムが使用されている。例えば、レンジファインダオートフォーカスシステムを用い可調焦点レンズの焦点ポジションを粗決定し、次いでスルーザレンズオートフォーカスシステムを用いそれを精密決定する、といったシステムである。例えば特許文献２（名称：光学機器焦点調整用合焦装置(Focusing Apparatus for Adjusting Focus of an Optical Instrument)、発明者：Misawa、発行日：２００５年３月８日）に記載の装置では、レンジファインダオートフォーカスシステムとスルーザレンズオートフォーカスシステムが併用されている。即ち、この文献に記載の装置では、まず、撮像に使用する可調焦点レンズの焦点ポジションをレンジファインダオートフォーカスシステム及びスルーザレンズオートフォーカスシステムの双方で導出し、両者の差分を求めて後刻使用に備えその情報を保存する。後に画像を撮影する際には、その可調焦点レンズが被写体に対し最良合焦する焦点距離を決定するのに何枚のオートフォーカス用画像を撮影すべきか、即ち何枚のオートフォーカス用画像をスルーザレンズオートフォーカスシステムでヒルクライム法に従い処理すべきかを、保存しておいた差分情報に基づき決定する。従って、オートフォーカス用画像の撮影及び処理枚数を、レンジファインダが正確になるケースな状況で減らし不正確になるケースで増やすことができる。ただ、この文献に記載の手法では、時間が経過しまた環境条件が変化してもレンジファインダ、撮像用可調焦点レンズ系及び制御系の性能に変化、ばらつき、変転等が生じないものと仮定している。
【００１５】
また、ヒルクライム法では、通常、被写体への合焦後も、その付近を前後するよう焦点距離をステッピングさせる動作を続ける。離焦した場合、ヒルクライム法では、どちらの方向にレンズのポジションを動かせば“丘”を登る（下る）こととなるのかを判別し、合焦状態評価値の新たなピーク値を見つけてレンズポジションを再設定するのが普通である。実際には、このようにしてしまうと、レンズポジションのステッピングで“丘”を下ることとなったときに、レンズポジションの変化方向が直ちに反転して既存被写体に係る新たなピーク値のサーチが始まってしまう。そうした挙動は特に動画撮影時に問題になる。例えば、既存の被写体からある程度離れた場所に新たな被写体が登場しその被写体が視野内に入ってきたときでも、またその新たな被写体がコントラスト値上でより高い“丘”を呈していても、ヒルクライム法ではその被写体を検出することができない。この問題に対する措置方法の一つとして、その撮像用レンズ系で捉えうる限りの全距離範囲をオートフォーカスモジュールで眺めた後に焦点距離を決定する、というホールウェイ（全行程式）オートフォーカス法が知られている。
【００１６】
例えば特許文献３（譲受人：本願出願人と同一）では、ホールウェイオートフォーカス法を実行するため、焦点距離可調域全域に亘りそのポジションを変化させうる可調焦点レンズ、そのレンズ越しに入射してくる光を信号に変換する変換素子、並びにそのレンズのポジションを動かすレンズ駆動機構を備える合焦装置を使用している。また、この合焦装置は、変換素子から得られる信号に基づき且つ可調焦点レンズが採りうる焦点距離毎に合焦状態評価値を算出する合焦状態評価値算出ユニットも備えている。その合焦状態評価値算出ユニットでは、まずその視野の中央部等、特定の合焦対象域に属する画素に係る信号のみを取り出し例えば９個のタイルに分割する。タイルとは、少数の行、少数の列を形成するよう合焦対象域の分割で複数個得られるブロックのことであり、合焦状態評価値の算出は個々のタイル毎に行われる。
【００１７】
その合焦状態評価値算出に当たっては、まず、合焦状態評価値算出の焦点距離別繰返し実行回数が所定回数例えば１０回を超えたか否かを判別する。超えたとの結果が得られるまでは、可調焦点レンズのポジションを所定のステップ幅単位で変化させつつ算出を繰り返す。即ち、可調焦点レンズのポジションを無限遠相当から至近距離まで常にある刻みで変化させステップ毎に各タイルの合焦状態評価値を算出する、という動作を繰り返す。この繰返し算出をタイル毎に実行することで、１０通りのレンズポジションについて９個あるタイルそれぞれの合焦状態評価値を得ることができる。そのなかには、その距離域に現れるピークが全て含まれているはずである。次いで、レンズポジション毎に合焦状態評価値を総和して１０通りの総和値を算出し、最大のピークを呈するポジションを以て最良合焦ポジションと推定する。そして、レンズ駆動機構にレンズ駆動信号を供給することで、レンズポジションをその最良合焦ポジションへと変化させる。
【００１８】
また、その光学ズーム域が広く且つ小型なディジタルカメラを実現するため、複数個のイメージセンサ及びその焦点距離が異なる複数個のレンズをカメラ上に搭載する、という手法が、米国特許出願第１１／０６２１７４号（名称：レンズ及びイメージセンサを複数個有する広ズーム域ディジタルカメラ(Digital Camera Using Multiple Lenses and Image Sensors to Provide an Improved Zoom Range)、発明者：Labaziewicz et al.、譲受人：本願と同一、出願日：２００５年２月１８日、この参照を以てその内容を本願に繰り入れる）にて提案されている。更に、例えばＫｏｄａｋ（登録商標）Ｅａｓｙｓｈａｒｅ（登録商標）Ｖ６１０型のデュアルレンズディジタルカメラでは、３８〜１１４ｍｍ（３５ｍｍ判換算値）の焦点距離乃至画角及びｆ／３．９〜ｆ／４．４のｆナンバを有するレンズと、１３０〜３８０ｍｍ（３５ｍｍ判換算値）の焦点距離乃至画角及びｆ／４．８のｆナンバを有するレンズとを使用することで、１０倍の光学ズーム域を提供している。しかしながら、上記出願に記載のカメラでもこの製品でも、いちどきには１個しかイメージセンサを使用しない。即ち、２個のイメージセンサでの同時撮像は行わない。
【００１９】
特許文献７（発行日：２００３年１月３０日）にも、撮像用光学系及びそれに結合するＣＣＤ型イメージセンサを各複数個備え、撮像用光学系間に焦点距離の長短がある撮像装置が記載されている。例えば、固定焦点距離レンズとズームレンズを併用する構成や、その焦点距離に違いのある２個の固定焦点距離レンズを使用する構成等、その焦点距離が異なる２個のレンズを使用する構成である。いずれにせよ、この文献に記載されている種々の装置では、撮影条件取得ユニットが距離、光量等の撮影条件を調べ、その結果に基づき選定ユニットがいずれか１個の撮像用光学系の出力を自動で（即ちユーザからの入力に拠らず）選択する。この方式によるオートフォーカスの実行には別体の距離センサが必要になる。２個あるＣＣＤ型イメージセンサのどちらも、このオートフォーカス動作には関与していない。
【００２０】
特許文献８（発行日：２００３年８月２３日）にも、互いに独立に稼働する２個の撮像系を備えたディジタルカメラが幾例か記載されている。そのうちのある例では、２個ある撮像系のうち１個に固定焦点距離レンズを組み込み通常モード用撮像系とする一方、もう１個の撮像系にズームレンズを組み込み望遠モード用撮像系としている。どちらの撮像系でも画像を得ることができ、ユーザは、どちらの撮像系を撮像に使用するかを切替スイッチ操作で選ぶことができる。更に、オートフォーカスもそれらの撮像系で実行されている。即ち、一方の撮像系についてコントラスト値比較ヒルクライムオートフォーカス法を適用し、その結果を他方の撮像系に援用する、という仕組みで行われている。例えば、ユーザから望遠モード用撮像系による撮像が指示されたら、まず、ステッピングモータを数ステップ飛ばしで駆動しつつ、その視界深さが深めな通常モード用撮像系を用い粗オートフォーカスサーチを実行する。この粗オートフォーカスサーチによって、最良合焦ポジションを取りこぼさずに合焦対象域を狭めることができる。次いで、通常モード用撮像系で取得した合焦対象域情報に基づき望遠モード用撮像系を駆動することにより、先の動作で狭まった合焦対象域の一端を、精密オートフォーカスサーチの始点に設定する。更に、その視界深さが浅めな望遠モード用撮像系を用い、且つ通常モード用撮像系によるサーチで既に狭められている合焦対象域に的を絞って、その精密オートフォーカスサーチを実行する。なお、ユーザから通常モード用撮像系による撮像が指示された場合は、通常モード用撮像系のみでオートフォーカスサーチを行う。望遠モード用撮像系はこの動作に与しない。
【００２１】
また、特許文献８に記載されている別の例では、このように大まかなサーチと精細なサーチの併用に頼るのではなく、第１撮像系内可調焦点レンズのポジションを無限遠相当から至近距離へとステップ的に変化させることで、コントラスト値比較ヒルクライム法による第１のサーチを実行する一方、第２撮像系内可調焦点レンズのポジションを至近距離から無限遠相当へとステップ的に変化させることで、コントラスト値比較ヒルクライム法による第２のサーチを実行する。この動作はコントラスト値がピーク値になった時点で終了することができ、どちらの撮像系でもその全域に亘りレンズポジションを動かしきる必要がないので、多くの場合、最良合焦ポジションを割合に短時間で見つけることができる。また、この例では、個々の撮像系に撮像及び焦点調整の双方を行わせることが可能であるほか、一方の撮像系にだけ撮像及び焦点調整の双方を行わせ、他方の撮像系には当該一方の撮像系向けの焦点調整を支援させることも可能である。更に、撮像を行わせない方の撮像系でまず焦点ポジションを選定し、撮像を担う方の撮像系のポジションをそのポジションに変化させ、更に後者の撮像系で精細な調整を行う、といったことも可能である。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】米国特許第４６０６６３０号明細書
【特許文献２】米国特許第６８６４４７４号明細書
【特許文献３】米国特許第６４４１８５５号明細書
【特許文献４】米国特許第５８７４９９４号明細書
【特許文献５】米国特許第５６６８５９７号明細書
【特許文献６】米国特許出願公開第２００６／０１８７３１２号明細書
【特許文献７】米国特許出願公開第２００３／００２０８１４号明細書
【特許文献８】米国特許出願公開第２００３／０１６０８８６号明細書
【特許文献９】米国特許出願公開第２００６／０１９３５０９号明細書
【特許文献１０】米国特許第６６９７５７３号明細書
【特許文献１１】米国特許出願公開第２００６／０００１７５７号明細書
【特許文献１２】米国特許出願公開第２００６／０２０４０３４号明細書
【特許文献１３】国際公開第ＷＯ０２／０８６８５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００２３】
このように、従来技術に係る諸オートフォーカスシステムは、オートフォーカス用センサを別途設けねばならずコストが嵩むという問題を抱えている。さもなければ、撮像用センサと同じセンサを用いオートフォーカスを実行するためシャッタ遅延が長くなりやすいという問題を抱えている。更に、その別体のオートフォーカス用センサとしてはレンジファインダが使用されることが多いが、前述の通り、デュアルレンズレンジファインダモジュール・可調焦点レンズポジション間の校正時の関係は、通常のディジタルカメラ稼働環境内でも安定に保たれるわけではない。また、スルーザレンズオートフォーカス法を実行する撮像システムでは、多数のオートフォーカス用画像を撮影して比較しなければならないため、最良合焦ポジションを見つけるのに結構時間がかかることがある。この問題は前掲の特許文献８に記載の手法で僅かに緩和されるが、その構成でも、被写体が切り替わったり移動したりしたときに焦点ポジションを迅速に決定するのはやはり難しく、また一方の撮像系から他方の撮像系へと撮像の役目を交代させるようユーザから指示を受けたときに撮像系間で合焦状態を迅速に交換するのも難しい。
【００２４】
動画撮影時には次のような問題も生じる。即ち、動画を構成する複数個のフレームからオートフォーカス用画像となる静止画を採取してオートフォーカスを実行するので、光景変化のたびにその動画中の５〜２０フレーム分又はそれ以上が離焦した動画となってしまう。例えば、カメラをパンさせながら動画を撮影すると、視野内に映る光景が絶え間なく変化するのでオートフォーカスシステムによるサーチに時間が食われ、その動画のうちのかなりの部分が離焦状態になってしまうことがある。動画撮影時には、更に、ヒルクライムオートフォーカスシステムを使用すると多くのフレームが離焦状態になるという問題も発生しうる。
【００２５】
「レンズ及びイメージセンサを複数個有する高合焦能力カメラ」(Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability)と題する米国特許出願（未付番、出願人側整理番号：９３２３１、発明者：John Border et al.、出願人：本願と同一、出願日：本願と同日）では、上掲の諸問題に対処するため、一方の撮像部でオートフォーカス動作を実行しつつ他方の撮像部で静止画又は動画の撮影を行えるよう、同じ光景の画像を個別に撮影できる複数個の撮像部を備えたマルチレンズディジタルカメラを提案している。この手法であれば、静止画モード及び動画モードのいずれでも精密且つ迅速なオートフォーカスを実行することができる。それでいて、無闇に大型又は高価なディジタルカメラになるようなこともない。
【００２６】
例えば、この米国特許出願に記載されている例では、カメラ上に互いに別体に設けられている２個の撮像部で一種のレンジファインダを形成し、そのうちの本撮影用撮像部を自オートフォーカスさせている。また、オートフォーカスに限らず、この手法によれば、光景内諸点までの距離を画像から識別してマッピングする等、諸画像を利用した様々な処理を実行することができる。そのため、複数個の撮像部を備えるディジタルカメラにおいて、それらの撮像部からの出力を併用し距離マップを作成する機能を実現することによって、測距能力が向上且つ拡張されたカメラを実現することが求められている。
【００２７】
本発明の目的の一つは、撮影対象となる光景内の諸点までの距離を計測できる高性能なマルチレンズディジタルカメラを提供することにある。
【００２８】
本発明の目的の一つは、撮影対象光景内諸点までの距離に基づき距離マップを生成する機能を提供することにある。
【００２９】
本発明の目的の一つは、その距離マップを参照し光景内諸点のＧＰＳ(Global Positioning System)座標値を求める機能を提供することにある。
【課題を解決するための手段】
【００３０】
上述した諸課題のうち１個又は複数個を解決するため、本発明の一実施形態に係る電子カメラは、撮像出力信号に基づき視野内光景についての出力画像を生成する手段として、概略、
第１センサ出力をもたらす第１イメージセンサ及びその第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズを有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ及びその第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１及び第２センサ出力のうち一方を撮像出力信号として選定する一方、光景内諸点までの距離を指し示す距離マップを第１及び第２センサ出力双方に基づき生成する処理部と、
を備える。
【００３１】
距離マップは、例えば、第１及び第２画像を互いに関連付けることにより光景内諸点について画素オフセットを導出し、それらの画素オフセットを本カメラからの距離に換算し、そして光景内諸点までの距離を指し示す距離マップを生成する、という処理を、その処理部で実行することで生成することができる。更に、第１，第２レンズ間でその焦点距離に違いがある場合、その焦点距離が短い方のレンズからもたらされる画像を処理部でクロッピング及びアップサンプリングすることで、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めるようにすることができる。加えて、処理部では、光景内諸点についての画素オフセットを本カメラからの距離へと換算する処理を、レンジファインダ校正曲線に従い実行することができる。
【００３２】
本発明の他の実施形態に係る電子カメラは、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える。処理部では、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出することができる。更に、撮影した画像をその距離マップに基づき修正することもできる。
【発明の効果】
【００３３】
このように、本発明によれば、例えばセンサ、レンズ及びレンズ焦点調整器を有する撮像部を複数個備えるマルチレンズディジタルカメラにて、一種のレンジファインダを形成するようそれらの撮像部で同じ光景中の諸部位を個別に撮影させ、それらの撮像部で撮影された画像を互いに比較することで、光景内諸点までの距離を計測してオートフォーカス制御や距離マップ生成を行うことができる。加えて、その距離マップを参照し光景内諸点をＧＰＳ測位することができる。
【００３４】
そのため、本発明が適用されたディジタルカメラでは、好適にも、顕著な大型化及び高価格化を伴うことなく、静止画モード及び動画モードのいずれでも精密且つ迅速なオートフォーカスを実行することができる。更に、それらの撮像部で形成されるレンジファインダを使用し距離マップを生成することができ、その距離マップを参照し光景内諸点のＧＰＳ座標値を求めることができる。ＧＰＳ座標値が判れば、その光景に映っている被写体の素性を識別して目録化することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係りズームレンズ及びイメージセンサを二組備えるディジタルカメラを示すブロック図である。
【図２Ａ】図１に示したカメラの斜視外観を示す図である。
【図２Ｂ】その背面を示す図である。
【図３】図１に示したカメラで実行されるオートフォーカス及びディジタル静止画像撮影手順の例を示すフローチャートである。
【図４】２個の撮像部を用いたレンジファインダオートフォーカス手順の例を示すフローチャートである。
【図５】２個の撮像部を用いたヒルクライムオートフォーカス手順の例を示すフローチャートである。
【図６】オートフォーカス用レンジファインダ校正曲線生成手順の例を示すフローチャートである。
【図７】オートフォーカス用ヒルクライム法校正曲線生成手順の例を示すフローチャートである。
【図８】図１に示したカメラで実行されるオートフォーカス及びディジタル動画像撮影手順の例を示すフローチャートである。
【図９】２個の撮像部を用いたレンジファインダオートフォーカス手順の例を示すフローチャートである。
【図１０】２個の撮像部を用いたヒルクライムオートフォーカス手順の例を示すフローチャートである。
【図１１】２個ある撮像部を使用し距離マップを生成する手順の例を示すフローチャートである。
【図１２】本発明の他の実施形態に係り固定焦点距離レンズ、（ズーム）レンズ及び２個のイメージセンサを有するディジタルカメラを示すブロック図である。
【図１３】本発明の更に他の実施形態に係り固定焦点距離レンズ、２個の（ズーム）レンズ及び３個のイメージセンサを有するディジタルカメラを示すブロック図である。
【図１４】２個の撮像部から得られる画像を併用した画像視界深さ拡張手順の例を示すフローチャートである。
【図１５Ａ】本発明の更なる実施形態に係り２個の撮像部を備えるディジタルカメラ付携帯電話の外観を示す斜視図である。
【図１５Ｂ】同じく別方向からの外観を示す斜視図である。
【図１６Ａ】その携帯電話に搭載される２個の撮像部とそれらの撮像部が搭載される単一の基板を上から見た断面図である。
【図１６Ｂ】同じくその側面図である。
【図１７Ａ】光景内諸点までの距離を調べるため双方の撮像部で画像を撮影する実施形態にて、一方の撮像部で得られる画像の外観例を示す図である。
【図１７Ｂ】他方の撮像部で得られ図１７Ａに示した画像に対しオフセットを呈している画像の外観例を示す図である。
【図１８】本発明の一実施形態における撮影対象光景内諸点ＧＰＳ測位手順の例を示すフローチャートである。
【図１９】デュアルレンズカメラシステムに備わる２個の撮像部のうち一方を一次画像用に選定し他方を非一次画像用（例えばシーン解析対象画像用）として選定する手順の例を示すフローチャートである。
【図２０】非一次画像用撮像部でシーン解析を実行する手順の例を示すフローチャートである。
【図２１】シーン状態変化がしきい値を上回ったときに非一次画像用撮像部でシーン解析を実行する手順の例を示すフローチャートである。
【図２２】一次画像用撮像部及び非一次画像用撮像部双方でシーン解析を実行する手順の例を示すフローチャートである。
【図２３】それまで一次画像用であった撮像部がシーン解析対象画像用になりシーン解析対象画像用であった撮像部が一次画像用になるよう撮像部の用途乃至役割を入れ替える手順の例を示すフローチャートである。
【図２４】特に撮影中に、一次画像用撮像部で撮影されるプリビュー用画像に基づき一次画像用撮像部向け撮影パラメタを設定する手順の例を示すフローチャートである。
【図２５】特に撮影中に、一次画像用撮像部で撮影されるプリビュー用画像及び非一次画像用撮像部で撮影されるシーン解析対象画像に基づき一次画像用撮像部向け撮影パラメタを設定する手順の例を示すフローチャートである。
【図２６】一次画像用撮像部で撮影される一次画像及び非一次画像用撮像部で撮影される補強用画像を用いた拡張画像生成手順の例を示すフローチャートである。
【図２７】従来技術に係るデュアルレンズレンジファインダの動作を示す図である。
【図２８】従来技術に係るコントラスト値比較ヒルクライムオートフォーカス法のアルゴリズムを示すフローチャートである。
【図２９】画像組成成分分離用フィルタから得られる合焦状態評価値とコントラスト値比較ヒルクライムオートフォーカス法実行時レンズポジションとの関係を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施形態、目的、構成及び効果を上記以外のものも含めより明晰にご理解及びご評価頂くため、別紙特許請求の範囲に基づき且つ別紙図面を参照し、本発明の好適な実施形態に関し詳細に説明する。なお、撮像装置及びそれに関連する信号処理回路からなるディジタルカメラについては既に周知となっているので、以下の説明では、専ら本発明に係る装置の一部を構成し又はそれと密接に連携する部材をとりあげる。本願中に具体的な図示及び説明のない部材については、本件技術分野で既知な部材から適当なものを選んで使用すればよい。また、これから説明する部材のうち幾つかはソフトウェアで実現することができる。更に、本願中に図示や説明や示唆はなくても、本発明を実施する際に活用できる部材やソフトウェアもある。どういったものを活用できるかについては、本発明に係るシステムについての図示及び下記説明を参照することで理解でき、また本件技術分野における常識に従い判断することができる。
【００３７】
これから説明する諸実施形態では、ディジタルスチルカメラ、ディジタルビデオカメラ、ディジタルスキャナ等の撮像アセンブリに、それぞれレンズ及びイメージセンサを有する撮像部を複数個設け、更にそれら撮像部間でレンズの焦点距離を違えることで、その光学ズーム域が広い撮像アセンブリを実現している。本発明によれば、複数個の撮像部を活用して測距能力を高めることができる。撮像だけでなくオートフォーカスにも撮像部を活用できるのでオートフォーカス専用のモジュールは不要で、安価且つ小型な撮像モジュールで足りる。それでいて、撮像で得られる静止画や動画は従来より鮮明に、オートフォーカスシステムの応答は従来より高速になる。加えて、オートフォーカスに使用した画像と同じ画像を、本発明に係る手順による距離マップ生成にも使用することができる。
【００３８】
それらの実施形態のうち幾つかでは、撮像部のうち１個で静止画や動画のディジタル撮影を行いながら、他の１個で高度なオートフォーカス、二次画像生成、距離マップ生成等といった他種動作を実行する。例えば、ユーザが設定したズームポジションが第１光学ズーム域に属しているとき、第１光学ズーム域をカバーしている第１（ズーム）レンズ付第１撮像部で静止画又は動画を本撮影する一方、その第１撮像部向けのオートフォーカス用画像を第２撮像部で撮影する。本撮影の役目を負わない第２撮像部は広範囲に亘りその合焦条件を変化させることができる。例えば、ヒルクライムオートフォーカス法に従いコントラスト値がピークになる焦点距離付近でレンズの焦点距離を変化させることや、ホールウェイオートフォーカス法に従い至近距離から無限遠相当までレンズの焦点距離を変化させることができる。これによって、第１撮像部内第１レンズが最良合焦する設定を、第１撮像部で撮影される画像の合焦品質に悪影響を及ぼすことなく逐次検出することができる。最良合焦条件に変化が生じたことが第２撮像部で察知されたら、第１撮像部の合焦条件をそれまでの最良合焦条件から新たな最良合焦条件へと変化させる。
【００３９】
ユーザがこの撮像アセンブリに対するズームポジションの設定を調整し第２光学ズーム域内のポジションに変化させたときには、カメラ内で自動的に、第２（ズーム）レンズ付第２撮像部を本撮影用に切り替え、またその第２撮像部向けのオートフォーカス用画像を第１撮像部で撮影する動作を開始させる。両者のレンズはその焦点距離ひいては倍率が違うので、その違いに応じオートフォーカス判別用ディジタルフィルタに調整を施すことで、それらレンズ間の倍率差を補償する。
【００４０】
この構成の変形例としては、撮像部２個の連携で、デュアルレンズレンジファインダに似ているが更に高分解能なレンジファインダを形成する構成がある。高解像度の撮像部を２個使用し、互いに別の撮像部に属するレンズ同士の間隔を大きめにとることで、そうした高分解能を実現することができる。この構成では、コントラスト値比較ヒルクライム法による精密なオートフォーカス動作をどちらかの撮像部により行った上で、両撮像部を差分モードの高分解能レンジファインダとして稼働させることで、静止画若しくは動画のディジタル撮影を開始する前又は動画のディジタル撮影を実行している最中に、視野内被写体までの距離に生じた変化のうち再合焦を要する変化を検出することができる。こうしてレンジファインダを差分モードで稼働させることで、先に合焦させたポジションから最近の変化後のポジションへの距離変化を吸収し、レンジファインダの測距精度に対する環境変動の影響を打ち消すことができる。
【００４１】
また、コントラスト値比較ヒルクライム法によるオートフォーカス動作を複数個の撮像部で同時に実行した後、それらの撮像部のうち１個例えば第１撮像部で静止画又は動画のディジタル撮影を行いつつ、別の１個例えば第２撮像部で画像内コントラスト計測により継続的に合焦状態チェックを行う、という構成にすることもできる。この構成では、コントラスト計測値に変化が生じたとき第２撮像部でコントラスト値比較ヒルクライム法に従いオートフォーカス動作を再実行し、このオートフォーカス動作で判明する合焦状態変化に比例するよう第１撮像部焦点を変化させる。即ち、この構成でも、差分モードによる合焦状態変化検出をヒルクライムオートフォーカス動作で得られる被写体距離に基づき実行し、そのオートフォーカス動作の精度を高めることができる。
【００４２】
また、従来技術の欄で述べた通り、動画を撮影する際には、動画を構成する複数個のフレーム乃至静止画からオートフォーカス用画像を採取してオートフォーカスを実行するため、また特別な問題が発生する。例えば、カメラをパンさせながら動画を撮影すると視野内光景が絶え間なく変化するので、オートフォーカスシステムによるサーチに時間がかかり、その動画のうちのかなりの部分が離焦状態になってしまう。更に、ヒルクライムオートフォーカスシステムを使用すると多くのフレームが離焦状態になる。これは、前述の通り、ある種の状況下での合焦条件変化、例えば光景内で注目被写体が急峻に横移動したこと等を、ヒルクライム法ではうまく認識できないためである。
【００４３】
この問題に対しては、前述した構成を変形して得られる次の構成で対処することができる。この構成では、第１ズームレンズ及び第１イメージセンサを有し第１光学ズーム域を担当する第１撮像部と、第２ズームレンズ及び第２イメージセンサを有し第２光学ズーム域を担当する第２撮像部と、を使用する。更に、ユーザが設定したズームポジションが第１光学ズーム域に属しているときに、第１撮像部の焦点距離を初期値に設定して画像例えば動画の本撮影を行わせるのと同時に、第２撮像部をホールウェイオートフォーカス法に従い稼働させて継続的に画像を取得し、第２撮像部で取得した画像に基づき被写体移動に関する判別を行い必要なら第１ズームレンズの焦点距離を調整する。第２ズームレンズ及び第２イメージセンサは画像撮影を担当していないので、その焦点距離を至近距離から無限遠相当まで変化させることで、最良合焦となる焦点設定を、本撮影で得られる動画に影響を及ぼすことなく求めることができる。また、ユーザがズームポジションを調整し第１光学ズーム域外にしたとき、カメラ内で自動的に、第２撮像部の動作を第２ズームレンズ及び第２イメージセンサを用いた動画撮影に切り替え、また第１撮像部が第１レンズ及び第１イメージセンサで画像を撮影して被写体移動に関する判別を行い必要なら第２ズームレンズの焦点を調整する、という動作を開始する。
【００４４】
更に、撮像部を２個連携させて高分解能レンジファインダを形成し、そのレンジファインダで光景内諸点までの距離を調べ、その結果から距離マップを生成することもできる。生成した距離マップは、撮像出力信号乃至出力画像の修正（拡張）に利用することができる。例えば、画像処理性能向上による画質の向上、画像内被写体の識別、画像からの被写体抽出、複数画像に亘る被写体モーションの追跡、所望視界深さ外部分のぼかしによる画像視界深さ変更、画像のダイナミックレンジの拡大、フラッシュ使用由来の露出問題の抑制、画像内シーンバランスの改善等を距離マップで実現することができる。
【００４５】
こうして２個の撮像部からの画像に基づき生成された距離マップは、光景内諸点までの距離を識別するのに使用することができる。例えば、そのカメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニット、並びにそのカメラの指向方向を検出する電子コンパスを備えるカメラ上で、そのカメラのＧＰＳ座標値及び指向方向に加え、距離マップから得られる距離オフセットを利用することで、光景内諸点のＧＰＳ座標値を導出することができる。
【００４６】
そして、第１ズームレンズ及び第１イメージセンサを備える第１撮像部をある焦点距離（一次焦点距離）にセットして静止画たる一次画像を撮影する動作と、第２ズームレンズ及び第２イメージセンサを備える第２撮像部を別の焦点距離（二次焦点距離）にセットして静止画たる二次画像を撮影する動作とを同時に実行し、第１撮像部から得られる一次画像出力を第２撮像部から得られる二次画像出力に基づき修正して拡張版の一次画像を生成する、といった構成にすることもできる。こうして二次画像を利用することにより、例えば、一次画像のうち二次焦点距離近傍部分を鮮明化した画像、一次画像のダイナミックレンジを修正した画像等、様々な拡張画像を生成することができる。
【００４７】
図１に、本発明の一実施形態に係る撮像アセンブリ１０Ａのブロック構成を示す。このアセンブリ１０Ａは、撮影時や画像表示時にユーザが容易に取り扱えるよう十分小さく構成されていてバッテリで稼働する携帯型の装置、具体的にはディジタルカメラであり、静止画及び動画を撮影する機能やその画像をリムーバブルメモリカード５４上に保存する機能を備えている。但し、静止画だけ或いは動画だけしか撮影・保存できないディジタルカメラで、或いはディジタルカメラ以外の装置で本発明を実施することもできる。
【００４８】
この撮像アセンブリ１０Ａは、まず２個のズームレンズ付撮像部１，２を備えている。これらの撮像部１，２のうち画像の本撮影に使用されるもの、即ちその出力が画像としてリムーバブルメモリカード５４上に保存されうるものは、大抵の場合はいちどきに１個だけである。第１撮像部１内の第１ズームレンズ３は視野内光景を捉え第１イメージセンサ１２上に像を発現させるためのレンズであり、第１レンズ焦点調整器例えばズーム／フォーカスモータ５ａによる制御を受けている。第２撮像部２内の第２ズームレンズ４は視野内光景を捉え第２イメージセンサ１４上に像を発現させるためのレンズであり、第２レンズ焦点調整器例えばズーム／フォーカスモータ５ｂによる制御を受けている。図示しないが、どちらのレンズ３，４にも可調絞り／シャッタアセンブリが設けられており、そのアセンブリでセンサ１２，１４の露出レベルを制御することができる。
【００４９】
図２Ａ及び図２Ｂにこの撮像アセンブリ１０Ａの斜視外観を示す。図２Ａはこのカメラ１０Ａを斜め前から見た図であり、ズームレンズ３，４及びフラッシュ４８が手前に見えている。図２Ｂはこのカメラ１０Ａを斜め後ろから見た図であり、カラー液晶型画像表示部７０に加えて複数個のユーザ操作子４２が手前に見えている。操作子４２のうちシャッタボタン４２ａを操作すると画像撮影手順が実行され、ズームボタン４２ｃを操作することでズーム設定を選択することができ、またマルチポジションセレクタ４２ｄを操作することで画像による操作ガイドやメニュー型の選択肢を表示部７０の画面上に表示させることができる。
【００５０】
撮像部１，２は図１に示した通りズームレンズ３，４及び対応するイメージセンサ１２，１４から構成されており、そのレンズ３，４の位置は図２Ａに示した通り互いに上下方向にずらされている。但し、この構成は一例であり、レンズ３，４の位置を他方向例えば横方向に沿ってずらすことも、レンズ３，４のうち一方又は双方を固定焦点距離レンズに置き換えることもできる。いずれにせよ、レンズ３及びセンサ１２の光軸とレンズ４及びセンサ１４の光軸とが概ね揃っていれば、撮像部１，２間にしばしば視野相違が生じるものの、その点を除けばほぼ同一光景の像をセンサ１２，１４上に発現させることができる。なお、光学部品の構成については、前掲の米国特許出願第１１／０６２１７４号（譲受人：本願出願人と同一、この参照を以てその内容を本願に繰り入れる）中にも、複数個の撮像部を用いる構成が何例か示されている。更に、撮像部１，２内のレンズ３，４を通る光路に屈曲をつけ、撮像部１，２全体の寸法乃至形状を変化させることも可能である。但し、これは本発明の実施に当たり必須のことではない。
【００５１】
イメージセンサ１２，１４は、周知のベイヤカラーフィルタパターンを配した単一チップカラーメガピクセルＣＣＤセンサである。但し、ＣＭＯＳセンサ等の他種センサでも、またストライプフィルタ等の他種カラーフィルタアレイでも、本発明を実施する上で支障はない。また、センサ１２，１４としては様々なアスペクト比のセンサを使用することができる。例えば、撮像領域のアスペクト比が４：３のものを使用するとよい。更に、センサ１２，１４としては様々な解像度のセンサを使用することができる。例えば、アクティブ画素カラム２８４８本×アクティブ画素ロー２１４４本、総実効画素数６．１メガピクセルのものを使用するとよい（１メガピクセル＝百万画素）。しかも、センサ１２，１４を互いに同一の仕様にする必要もない。例えば前掲の米国特許出願第１１／０６２１７４号（譲受人：本願出願人と同一）に例示されている構成に倣い、センサ１２，１４間でサイズ、解像度、色フィルタアレイ、スペクトル感度、アスペクト比等を違えてもよい。
【００５２】
これらのイメージセンサ１２，１４は、制御プロセッサ／タイミング発生器４０から対応するクロックドライバ１３，１５への信号供給によって制御されている。制御プロセッサ／タイミング発生器４０は、このほか、ズーム／フォーカスモータ５ａ，５ｂ、自動露出検出器４６、ユーザ操作子４２、ディジタルマルチプレクサ型制御素子（ディジタルＭＵＸ）３４，３６、並びにフラッシュ４８の発光による光景照明動作も制御する。操作子４２は、先に図２Ｂを参照して説明した通り、このディジタルカメラ１０Ａの動作を操作する際に使用される。
【００５３】
第１イメージセンサ１２からの出力１２ｅは、第１アナログ信号プロセッサ（ＡＳＰ）２２によって増幅及びアナログ／ディジタル（Ａ／Ｄ）変換される。それにより得られたディジタルの第１センサ出力１２ｅは、ディジタルＭＵＸ３４，３６双方の第１入力端に供給される。同様に、第２イメージセンサ１４からの出力１４ｅは、第２ＡＳＰ２４によって増幅及びＡ／Ｄ変換される。それにより得られたディジタルの第２センサ出力１４ｅは、ディジタルＭＵＸ３４，３６双方の第２入力端に供給される。第１ディジタルＭＵＸ３４は、センサ１２，１４の出力１２ｅ，１４ｅのうちいずれかを撮像出力信号として選定するための部材である。第２ディジタルＭＵＸ３６は、センサ１２，１４の出力１２ｅ，１４ｅのうちいずれかをオートフォーカス用画像信号として選定し、イメージプロセッサ５０に供給するための部材である。
【００５４】
制御プロセッサ／タイミング発生器４０は、それらディジタルＭＵＸ３４，３６を制御することによって、ディジタルのセンサ出力１２ｅ，１４ｅのうち一方を撮像出力信号、他方をオートフォーカス用画像信号に選定する。ＭＵＸ３４で選定された方のセンサ出力は、一時的にＤＲＡＭ型バッファメモリ３８上に保存された後イメージプロセッサ５０によって処理される。この処理によって、静止画又は動画を表すディジタルデータを含むディジタル画像ファイルが生成される。また、ＭＵＸ３６で選定された方のセンサ出力は、そのプロセッサ５０にて、後に図４〜図７を参照して後述するオートフォーカス計算に使用される。
【００５５】
そのイメージプロセッサ５０は、あらまし、相応の焦点検出信号を発生させて第１及び第２レンズ焦点調整器即ちズーム／フォーカスモータ５ａ，５ｂを駆動する。即ち、このプロセッサ５０は、制御プロセッサ／タイミング発生器４０と協働し、（ａ）第１撮像部１からのセンサ出力１２ｅを撮像出力信号として選定する一方第２撮像部２からのセンサ出力１４ｅに基づき撮像部１向けの第１焦点検出信号を生成する動作か、或いは（ｂ）撮像部２からのセンサ出力１４ｅを撮像出力信号として選定する一方撮像部１からのセンサ出力１２ｅに基づき撮像部２向けの第２焦点検出信号を生成する動作か、そのいずれかを実行する。更に、モータ５ａ，５ｂのうち撮像出力信号取得用に選定された方の撮像部に係るモータをその焦点検出信号に基づき駆動することによって、その撮像部の焦点を調整し撮像出力信号となるセンサ出力を発生させる。
【００５６】
イメージプロセッサ５０は、フラッシュ型ＥＰＲＯＭ等のファームウェアメモリ５８上に存するファームウェアの管理下で、またＲＡＭ型メモリ５６を中間処理結果保存用のメモリとして使用しつつ、ＤＲＡＭ型バッファメモリ３８上に存するディジタルの撮像出力信号を処理し、その処理で生成した出力画像に係るディジタルファイルをメモリカードインタフェース５２経由でリムーバブルメモリカード５４上に保存する。このメモリカード５４としては、その物理的形態が異なる様々なリムーバブルディジタル画像記憶媒体を使用することができる。例えば、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＳｍａｒｔＭｅｄｉａ（登録商標）、ＭｅｍｏｒｙＳｔｉｃｋ（登録商標）、ＭｕｌｔｉｍｅｄｉａＣａｒｄ（登録商標）、ＳＤ（登録商標）、ｘＤ（登録商標）等の周知メモリカードフォーマットによるものをはじめとして、様々なメモリカードを使用することができる。更に他のリムーバブルディジタル画像記録媒体、例えば磁気ハードディスク、磁気テープ、光ディスク等に、静止画や動画を保存してもよい。そして、そのディジタルカメラ１０Ａに図示しない内蔵型不揮発性メモリ例えばフラッシュ型ＥＰＲＯＭを搭載しておき、生成したディジタル画像ファイルをそのメモリ上に保存するようにしてもよい。この構成では、メモリカード５４やそれ向けのインタフェース５２は不要になる。
【００５７】
イメージプロセッサ５０は、更に、ＧＰＳユニット５７から供給される信号に基づき任意時点におけるカメラ１０ＡのＧＰＳ測位結果、例えば撮影時点でのＧＰＳ座標値を識別する。プロセッサ５０は、また、電子コンパス５９から供給される信号に基づき任意時点、例えば画像撮影時におけるそのカメラ１０Ａの指向方向を識別する。プロセッサ５０は、更に様々な画像処理機能を担っている。その一つは、色補間及びそれに続く色／階調補正によってｓＲＧＢフォーマットの画像データを生成するレンダリング機能である。生成されたｓＲＧＢフォーマットの画像データは、ＪＰＥＧ圧縮後にＪＰＥＧ画像ファイルとしリムーバブルメモリカード５４上に保存することや、ホストインタフェース６２に供給しＳＣＳＩ接続、ＵＳＢ（商標）接続、Ｆｉｒｅｗｉｒｅ（登録商標）接続等相応の接続手段６４を経由してホストＰＣ６６へと伝送することができる。ＪＰＥＧ圧縮する場合は、日本国東京都所在の社団法人電子情報技術産業協会が制定した「デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ） Ｖｅｒ ２．２」に則った画像フォーマットにするのが望ましい。このフォーマットはＥｘｉｆ（登録商標）フォーマットと呼ばれており、その画像に関するメタデータをセット可能なＥｘｉｆアプリケーションセグメントを含んでいる。このセグメントを利用することで、その画像の撮影日時や、レンズのｆナンバ、ＧＰＳ測位結果、撮影時カメラ指向方向等のカメラ設定情報を、メタデータとして保存することができる。
【００５８】
なお、イメージプロセッサ５０としてはプログラマブルなプロセッサを使用するのが望ましいが他の構成にすることもできる。例えば、ハードワイヤドカスタム集積回路プロセッサ、汎用マイクロプロセッサ、或いはハードワイヤドカスタム集積回路プロセッサとプログラマブルプロセッサの組合せにしてもよい。更に、図１中で別ブロックとして示した部材のうち何個か、例えばディジタルＭＵＸ３４，３６やメモリ３８，５８をプロセッサ５０と共に単一の集積回路に組み込んでもよい。また、その使途に応じ、制御プロセッサ／タイミング発生器４０の（一部）機能とイメージプロセッサ５０の（一部）機能とを一体化することもできる。以下の説明や別紙特許請求の範囲の一部、例えばプロセッサ４０によるセンサ出力選定やプロセッサ５０による合焦検出信号生成に言及している部分では、その記述の目的に鑑み、両者の機能を「処理部」に帰属させている。言い換えれば、この「処理部」なる表現は、その「処理部」の機能として記載されている諸機能が実際には１個又は複数個の処理部材、回路等々によって担われうることを意味する包括的な表現である。
【００５９】
また、カメラ付携帯電話に本実施形態のディジタルカメラ１０Ａを搭載することもできる。そうした構成では、セルラプロセッサ９０経由でイメージプロセッサ５０をセルラモデム９２に接続し、アンテナ９４を用い無線周波数での通信を行うことによって、図示しないセルラ網へディジタル画像を送信することができる。また、撮像部１，２とズーム／フォーカスモータ５ａ，５ｂを一体のアセンブリにした形態や、クロックドライバ１３，１５、ＡＳＰ２２，２４及びその一部たるＡ／Ｄコンバータを一体のアセンブリにした形態でも、本発明を実施することができる。
【００６０】
図３に、図１に示した撮像アセンブリ１０Ａで画像をディジタル撮影する手順の流れを示す。この手順では、図示しない電源スイッチの操作でこのディジタルカメラ１０Ａに電源が投入されたらズームレンズ３，４のポジションをデフォルトポジションに設定する（ステップ１００）。このデフォルトポジションは画角が広くなるよう定めておくのが望ましい。そのようにすれば、例えば第１イメージセンサ１２で撮影したプリビュー用画像をカラー液晶型画像表示部７０の画面上に表示させ、それに基づきユーザに撮影用の構図を決定させることができる。その構図決定の一環として、ユーザは、ズームボタン４２ｃを押下しカメラ１０Ａの視野を所望の視野にすることができる（ステップ１０１）。
【００６１】
ズームポジションが設定されたら、そのポジションをある値Ｘと比較する（ステップ１０２）。この値Ｘは、撮像部１，２のどちらを本撮影に使用するかの境目になる。まず、この比較でＸ未満とされた場合（ステップ１０２：“ＮＯ”）、第１撮像部１に本撮影、第２撮像部２にオートフォーカス用画像撮影の役目を負わせる（ステップ１０４）。本撮影用撮像部１はプリビュー用画像の撮影を継続的に行い、表示部７０はその画面上にその画像を表示する（ステップ１１０）。他方、撮像部２は撮像部１のオートフォーカス用にオートフォーカス用画像を撮影し（ステップ１０６）、イメージプロセッサ５０はその画像を処理して撮像部１を合焦させる（ステップ１０８）。
【００６２】
この状態で、ズームボタン４２ｃ未押下のまま（ステップ１１２）シャッタボタン４２ａが押下された場合（ステップ１１４）、第１撮像部１がディジタル画像を本撮影する（ステップ１１６）。これに対し、ズームボタン４２ｃが押下された場合は（ステップ１１２）ステップ１０２に戻り、シャッタボタン４２ａが押下されなかった場合は（ステップ１１４）ステップ１０６に戻る。
【００６３】
逆に、設定されたズームポジションがＸ超であるとされた場合（ステップ１０２：“ＹＥＳ”）、第２撮像部２に本撮影、第１撮像部１にオートフォーカス用画像撮影の役目を負わせる（ステップ１２４）。本撮影用撮像部２はプリビュー用画像の撮影を継続的に行い、表示部７０はその画像を表示する（ステップ１３０）。他方、撮像部１は撮像部２のオートフォーカス用にオートフォーカス用画像を撮影し（ステップ１２６）、イメージプロセッサ５０はその画像を処理して焦点検知信号を発生させそれに基づき撮像部２を合焦させる（ステップ１２８）。
【００６４】
この状態で、ズームボタン４２ｃ未押下のまま（ステップ１３２）シャッタボタン４２ａが押下された場合（ステップ１３４）、第２撮像部２がディジタル画像を本撮影する（ステップ１３６）。これに対し、ズームボタン４２ｃが押下された場合は（ステップ１３２）ステップ１０２に戻り、シャッタボタン４２ａが押下されなかった場合は（ステップ１３４）ステップ１２６に戻る。
【００６５】
図４に、２個の撮像部１，２を一種のレンジファインダとして用いるオートフォーカス手順の流れを示す。この手順は、図３中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ユーザがカメラ１０Ａ上のズームボタン４２ｃを操作しズームポジションを設定すると（ステップ２５０）、撮像部１，２のどちらを本撮影用としどちらをオートフォーカス用画像専用とするかを前述の如く決定する（ステップ２５２）。次いで、非本撮影用撮像部を、撮像部１内ズームレンズ３でカバーする光学ズーム域と、撮像部２内ズームレンズ４でカバーする光学ズーム域と、の境目に最も近いポジションまでズーミングする（ステップ２５４）。更に、可調焦点レンズたる撮像部１，２内レンズ３，４のポジションをその過焦点ポジションまで変化させることで焦点可調域を最大限に拡げる（ステップ２５６）。この後、ユーザがシャッタボタン４２ａをニュートラル位置Ｓ０から半押し位置Ｓ１まで押下したら、オートフォーカス動作及びそれに続く自動露出動作を開始する（ステップ２５８）。なお、シャッタボタン４２ａが採りうる位置は三通りある。ユーザがボタン４２ａに触れていないときのニュートラル位置Ｓ０、カメラ１０Ａにオートフォーカス動作及び自動露出動作の実行を指令するための半押し位置Ｓ１、カメラ１０Ａに対し最終的な自動露出及び画像の本撮影を指令するための全押し位置Ｓ２である。
【００６６】
そのオートフォーカス動作では、まず、そのズームレンズ３，４のズームポジションをそのままにして各撮像部１，２でオートフォーカス用画像を撮影する（ステップ２６０）。次いで、低ズームな方の撮像部、即ちそのズームポジションがＸ未満の撮像部で撮影したオートフォーカス用画像を（図３：ステップ１０２）、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ２６２）。更に、クロッピング及びアップサンプリングを経たオートフォーカス用画像を他方のオートフォーカス用画像と関連付けることで両画像間の画素間オフセット即ちずれを求め（ステップ２６４）、その結果に基づき焦点検出信号を生成する。ここに、高ズームな方の撮像部で捉えたオートフォーカス用画像は例えば図１７Ａに示すような外観３５０となり、低ズームな方の撮像部で捉えたオートフォーカス用画像をクリッピング及びアップサンプリングしたものは例えば図１７Ｂに示すような外観３５２になるので、それらの画像間で画素オフセットひいては光景内諸点までの距離を求めることができる。次いで、校正曲線をその焦点検出信号に適用することで、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を表す信号にし（ステップ２６６）、その信号を対応するズーム／フォーカスモータに供給してその撮像部内の可調焦点レンズのポジションを変化させることで（ステップ２６８）、そのレンズのポジションを最良合焦状態で本撮影を行えるポジションに設定する。この状態でユーザがシャッタボタン４２ａを位置Ｓ１から位置Ｓ２まで押下すると、その撮像部が画像を本撮影する。
【００６７】
図５に、２個の撮像部１，２を用い周知のコントラスト値比較ヒルクライム法によるオートフォーカスを実行する手順の流れを示す。この手順は図３中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ユーザがズームポジションを設定したら（ステップ２５０）そのズームポジションに基づき本撮影用撮像部を選定する（ステップ２５２）。次いで、非本撮影用撮像部を、ステップ２５０でユーザが指定したズームポジションに最寄りの点までズーミングする（ステップ２５４）。更に、ユーザがシャッタボタン４２ａを位置Ｓ０から位置Ｓ１まで押下したらオートフォーカス動作を開始し（ステップ２５８）、撮像部１，２双方のオートフォーカスをヒルクライム法に従い実行する（ステップ２７２）。その後、ユーザがボタン４２ａをＳ１からＳ２まで押下したら（ステップ２７４）、本撮影用撮像部による継続的な動画撮影を開始する（ステップ２７６）。
【００６８】
更に、焦点距離サーチ幅を最小限に抑えるため、非本撮影用撮像部でコントラスト値比較ヒルクライム法に従い合焦状態をチェックし（ステップ２７８）、その合焦状態を判別する（ステップ２８０）、という動作を継続的に実行する。良好な場合はステップ２７６に戻り、本撮影用撮像部による動画撮影を続ける。良好でない場合は、非本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出する（ステップ２８２）。更に、その可調焦点レンズ調整量と、オートフォーカス用ヒルクライム法校正曲線とに基づき、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出し（ステップ２８４）、それに基づき焦点変化検出信号を生成する。そして、その焦点変化検出信号をズーム／フォーカスモータ５ａ，５ｂのうち本撮影用撮像部に対応する方のモータに供給することにより、新たな最良合焦ポジションまでその撮像部の可調焦点レンズのポジションを変化させる（ステップ２８６）。この再調整の後はステップ２７６に戻り本撮影用撮像部による動画撮影を続ける。
【００６９】
また、焦点距離サーチ幅を最小限に抑えるためであれば、ステップ２７８におけるチェック、即ち非本撮影用撮像部による合焦状態チェックをホールウェイオートフォーカス法に従い繰り返すようにしてもよい。この場合、ステップ２８４では、導出した可調焦点レンズ調整量と、ホールウェイオートフォーカス法用校正曲線とに基づき、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出し、それに基づき焦点変化検出信号を生成する。また、ステップ２８６では、その焦点変化検出信号をズーム／フォーカスモータ５ａ，５ｂのうち本撮影用撮像部に対応する方のモータに供給することにより、新たな最良合焦ポジションまでその撮像部の可調焦点レンズのポジションを変化させる。この再調整の後はステップ２７６に戻り本撮影用撮像部による動画撮影を続ける。
【００７０】
これら、図４及び図５に示した手順では、本撮影用撮像部の最良合焦に要する可調焦点レンズ調整量を求めるのに校正曲線が必要である。図６及び図７に校正曲線算出手順の例を示す。そのうち図６には、図４中のステップ２６６で使用されるオートフォーカス用レンジファインダ校正曲線の算出手順を示してある。この手順では、まず、その焦点距離が短い第１撮像部とその焦点距離が長い第２撮像部を用い、可調焦点レンズのポジションを様々に変えつつ既知距離被写体の画像を何組か撮影する（ステップ３００）。次いで、図１７Ａ及び図１７Ｂに示す通り、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるよう、短焦点距離の第１撮像部で撮影した方のオートフォーカス用画像をクロッピング及びアップサンプリングする（ステップ３０２）。更に、第２撮像部で撮影した方の画像を、第１撮像部由来のクロッピング及びアップサンプリング済画像上の対応部分と関連付けることにより、各組画像における画像間画素オフセットを導出する（ステップ３０４）。そして、この各組内画像間画素オフセットを被写体までの既知距離に対応付けたデータを保存し（ステップ３０６）、図４中のステップ２６６でオートフォーカス用レンジファインダ校正曲線として使用する。
【００７１】
図７には、図５中のステップ２８４で使用されるオートフォーカス用ヒルクライム法校正曲線の算出手順を示してある。この手順では、まず、第１及び第２撮像部を使用し既知距離被写体の画像を何組か撮影する（ステップ４００）。オートフォーカスは画像毎にヒルクライム法で実行する。次いで、可調焦点レンズのポジションを、２個ある撮像部毎に各組内合焦先被写体までの距離と比較する（ステップ４０２）。そして、画像内同一距離合焦先被写体毎に第１撮像部・第２撮像部間で可調焦点レンズポジション同士を関連付けるデータを保存し（ステップ４０４）、図５中のステップ２８４でオートフォーカス用ヒルクライム法校正曲線として使用する。
【００７２】
図８に、図１に示した撮像アセンブリ１０Ａで動画を撮影する手順の流れを示す。この手順を構成するステップの多くは図３に示したものと同じであるので、重複する説明を避け、図上でも同一の参照符号を付すこととする。この手順では、選択されたズームポジションがＸ未満である場合（ステップ１０２：“ＮＯ”）、第１撮像部１を動画撮影用、第２撮像部２をオートフォーカス用画像撮影用に選定する。撮像部１についての合焦動作は、対象が動画である点を除き図３に示したものと同様である。その後、ズームボタン４２ｃ未押下のまま（ステップ１１２）シャッタボタン４２ａが押下されたら（ステップ１１４）撮像部１が動画を撮影する（ステップ１１８）。更に、その動画の合焦品質をチェックし（ステップ１１９）、再合焦が必要なら（ステップ１２０）焦点変化検出信号を生成し（ステップ１０６）、撮像部１用のフォーカスモータ５ａをその焦点変化検出信号に基づき駆動する（ステップ１０８）。再合焦が不要ならステップ１１２に戻る。
【００７３】
逆に、選択されたズームポジションがＸ超である場合（ステップ１０２：“ＹＥＳ”）、第２撮像部２を動画撮影用、第１撮像部１をオートフォーカス用画像撮影用に選定する。撮像部２の合焦動作は、その対象が動画である点を除き図３に示したものと同様である。その後、ズームボタン４２ｃ未押下のまま（ステップ１３２）シャッタボタン４２ａが押下されたら（ステップ１３４）撮像部２が動画を撮影する（ステップ１３８）。更に、その動画の合焦品質をチェックし（ステップ１３９）、再合焦が必要なら（ステップ１４０）焦点変化検出信号を生成し（ステップ１２６）、撮像部２用のフォーカスモータ５ｂをその焦点変化検出信号に基づき駆動する（ステップ１２８）。再合焦が不要ならステップ１３２に戻る。
【００７４】
図９に、２個の撮像部１，２を一種のレンジファインダとして用いるオートフォーカス手順の流れを示す。この手順は、図８中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、その焦点距離が短い方の撮像部で第１オートフォーカス用画像を撮影し（ステップ４４０）、その第１オートフォーカス用画像を、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ４４２）。それと並行して、その焦点距離が長い方の撮像部で第２オートフォーカス用画像を撮影する（ステップ４４８）。更に、その第２オートフォーカス用画像を、クロッピング及びアップサンプリング済第１オートフォーカス用画像と関連付けることにより、諸画像の様々な部分について画像間画素オフセットを導出する（ステップ４４４）。そして、そのオフセットと、図６の手順で算出したオートフォーカス用レンジファインダ校正曲線とに基づき、必要な焦点補正量を導出する（ステップ４４６）。
【００７５】
図１０に、コントラスト値比較ヒルクライム法によるオートフォーカス手順の流れを示す。この手順は２個の撮像部１，２を使用して実行されるものであり、図８中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ヒルクライム法でオートフォーカスさせつつ第１撮像部で第１画像を撮影し（ステップ４６０）、その画像をプリビュー用画像として表示部の画面上に表示させる（ステップ４６２）。それと並行して、ヒルクライム法でオートフォーカスさせつつ第２撮像部で第２画像を撮影し（ステップ４６６）、次いで同じくヒルクライム法でオートフォーカスさせつつ第２撮像部で更なる画像を撮影し（ステップ４６８）、更に第２画像とその後に撮影した更なる画像とで合焦状態を比較する（ステップ４７０）。もし合焦状態が変化していたら（ステップ４７２：“ＹＥＳ”）、第２撮像部における合焦状態変化と、図７に示した手順で算出したオートフォーカス用ヒルクライム法校正曲線とに基づき、第１撮像部の合焦条件を変更する（ステップ４６４）。合焦状態が変化していなかったら（ステプ４７２：“ＮＯ”）、ステップ４６８に戻って第２撮像部で更なる画像を撮影する。
【００７６】
また、焦点距離サーチ幅を最小限に抑えるため、その合焦状態がステップ４７０で繰返しチェックされる第２撮像部をホールウェイオートフォーカス法に動作させてもよい。この場合、第２撮像部における合焦状態変化が検出されたら（ステップ４７２：“ＹＥＳ”）その合焦状態変化及びホールウェイオートフォーカス法用校正曲線に基づき第１撮像部の合焦条件を変更する。合焦状態変化が検出されなかったら（ステプ４７２：“ＮＯ”）、ステップ４６８に戻って第２撮像部で更なる画像を撮影する。
【００７７】
図１１に、図３又は図８に示した手順で撮影した画像を処理する手順の流れを示す。図示手順は本発明の一実施形態に係る距離マップ生成手順である。図中、図９に示したものと同様のステップには同一の符号を付してある。距離マップを生成する手法自体は、本件技術分野にて習熟を積まれた方々（いわゆる当業者）にとり周知である。例えば特許文献９（名称：ステレオベース画像処理(Stereo-based Image Processing)、発明者：Antonio Criminisi et al.、発行日：２００６年８月３１日、この参照を以てその内容を本願中に繰り入れる）には、その視野を同じくする複数個のカメラで撮影した一組の画像から画素オフセット情報を導出し、その情報に基づき生成したディスパリティマップから距離マップ乃至奥行きマップを生成する、という手順が記載されている。これに対し、本願記載の発明では、その焦点距離に違いのある複数個の撮像部を単一の電子カメラに収めている。本願記載の発明では、更に、その焦点距離差を克服するため、複数個ある撮像部のうち少なくとも１個の撮像出力に修正を施し、撮像部間でその撮像出力同士を比較することで、それらの間の画素オフセットを導出するようにしている。例えば図１１に示す手順では、まずその焦点距離が短い方の撮像部で第１オートフォーカス用画像を撮影する（ステップ４４０）。更に、その第１オートフォーカス用画像を、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ４４２）。それと並行して、その焦点距離が長い方の撮像部で第２オートフォーカス用画像を撮影する（ステップ４４８）。そして、第２オートフォーカス用画像をクロッピング及びアップサンプリング済画像と関連付けることにより、画像内諸部分について画像間画素オフセットを導出する（ステップ４８０）。次いで、オートフォーカス用レンジファインダ校正曲線に基づきその画素オフセットを撮像部からの距離に換算し（ステップ４８２）、画像内諸部分までの距離を示すマップを生成する（ステップ４８４）。
【００７８】
撮像部から光景内諸点までの距離は、第１・第２オートフォーカス用画像内対応諸点間画素オフセット計測値から算出することができる。即ち、ステップ４４２で得られるクロッピング及びアップサンプリング済第１オートフォーカス用画像中の諸点と、ステップ４４８で得られる第２オートフォーカス用画像内の対応する諸点と、の間の画素オフセットの計測値から算出することができる。例えば、イメージセンサ上に現れる画素オフセットｐ、画素サイズｍ、レンズ間隔ｓ、レンズの有効焦点距離ｆ、並びに光景内諸点までの距離ｄの間に存する次の式
ｄ＝ｓ・ｆ／（ｐ・ｍ）
の関係を使用すればよい。表１に、ある撮像部における典型的な画素オフセット値を示す。本発明の好適な実施形態では、画素オフセットと光景内諸点までの距離との間に存するこうした関係を、既知距離にある視野内被写体に関し校正することで、複数個あるレンズ間に生じる不要な寸法ばらつき及び角度傾斜を補償することができる。
【表１】
【００７９】
こうして生成される距離マップには、前述した通り、撮像出力信号乃至出力画像の修正に役立てることができる。例えば、
ａ）被写体の閉じた輪郭を識別してその形状を画定することにより、出力画像中の被写体を好適に識別すること
ｂ）被写体の閉じた輪郭を識別してその画像を細分することにより、出力画像から被写体を抽出すること
ｃ）被写体を検出し同一の被写体を複数枚の出力画像に亘り追跡することにより、それら複数枚の出力画像に亘る被写体の動きを追跡すること
ｄ）出力画像のうち所望視界深さ外の光景領域に相応する部分をぼかすことにより、画像の視界深さを動的に変化させること
ｅ）出力画像内の被写体に被写体単位で利得調整を施すことにより、その出力画像のダイナミックレンジを拡げること
ｆ）出力画像のうち前景領域内諸被写体に相応する部分については利得を低下させ背景領域内諸被写体に相応する部分については増大させることにより、フラッシュ使用がもとで生じる露出上の問題を抑えること
ｇ）前景領域内諸被写体を強調することにより、出力画像におけるシーンバランスを改善すること
等を、その距離マップに基づき実現することができる。
【００８０】
距離マップがこのように重宝なものであることを理解するには何か具体的な例を考えるとよい。例えば、あるユーザが偉大なるアラスカ山脈の写真を撮ろうとしたとする。雲々が流れる美しい空と白く冠雪した山々が遙か彼方に見え、その手前には花々で埋まった野原が見え、そして自分から５フィートほどの近場には黒い犬が座っている（１フィート＝約０．３０ｍ）。こうした風景を撮ると、雲々や山々の冠雪は露出過剰で白飛びし、黒い犬は露出不足で黒潰れする。その際、普通はカメラを風景モードにセットして撮るので黒い犬には合焦さえしない。距離データを使用すればそうした問題のうち幾つかは克服することができる。まず、各部位の露出については、画像中の所要被写体部位毎に利得調整を実施することで適正化することができる。例えば雲の襞、雪の肌、黒い犬の毛皮等の部位毎に適正化可能である。総じて、距離マップを用い出力画像内の被写体単位で且つその距離マップ上でのその被写体の位置とは無関係に利得調整を施すことで、その出力画像のダイナミックレンジを拡げることができる。更に、その視界深さを調整し、犬にも山々にも更には美しい花々にも合焦させることができる。また、あるユーザが美しい景色よりも犬を強調したいと切に望んでいる場合に、距離データを利用して山々や花々を特定しそれをぼかすことと、犬を特定してそれを鮮明化することで、意に適う鮮明な画像を得ることができる。更に、本発明に係る距離マップには、他にも画像の美的外観向上に資する様々な利用形態があることが明らかである。例えば、ユーザからの指示でその視界深さを動的に変化させること、即ちその距離が異なる様々な点に合焦させることができる。これは、より広義な表現でいえば、出力画像のうち所望視界深さ外の光景領域に相応する部分を、距離マップに基づき且つその距離マップ上でのその部分の位置とは無関係にぼかすことにより、画像の視界深さを動的に変化させることができる、ということである。例えば、犬と山々を撮りたいときには、その中間の距離域にある花々を滑らかにぼかすことで、距離的には両極端に位置する犬と山々の双方に対し、好適に合焦させることができる。
【００８１】
図１２及び図１３に、前述のものとはその撮像部の光学的構成が異なるディジタルカメラのブロック構成を示す。撮像部より下流に位置する部材の多くは、先に図１を参照して説明済のものと同様の部材であるので、重複を避けその説明を省略することとする。まず、図１２にそのブロック構成を示したディジタルカメラでは、その第１撮像部７１に第１固定焦点距離レンズ７３及び第１イメージセンサ１２が、またその第２撮像部２に第２（ズーム）レンズ４及び第２イメージセンサ１４がそれぞれ設けられている。オートフォーカスは撮像部７１に対する撮像部２の焦点距離差を調整することで実行する。
【００８２】
固定焦点距離レンズ７３は、例えば２２ｍｍ（３５ｍｍ判換算値）といった非常に広い画角が得られる焦点距離で固定されているので、その過焦点距離（例えば８フィート）付近の距離域（例えば４フィート〜無限遠）に存する被写体を捉えることができる。従って、このレンズ７３に焦点距離調整機能を持たせる必要はない。なお、図示しないが、このレンズ７３には可調絞り／シャッタアセンブリが設けられているので、それを使用しイメージセンサ１２への露出を制御することができる。
【００８３】
次に、図１３にそのブロック構成を示したディジタルカメラは、第１撮像部７１、第２撮像部２及び第３撮像部７４を備えている。撮像部７１は第１固定焦点距離レンズ７３及び第１イメージセンサ１２を、撮像部２は第２（ズーム）レンズ４及び第２イメージセンサ１４を、そして撮像部７４は第３（ズーム）レンズ７５及び第３イメージセンサ１６を備えている。レンズ７３，４，５は、順に、例えば超広画角レンズ、広画角ズームレンズ、望遠ズームレンズである。この前の段落で説明した通り、超広画角レンズたるレンズ７３の焦点距離は調整できないので、オートフォーカスは撮像部２，７４の焦点距離調整で実行した方がよい。
【００８４】
図１４に、図１に示した２個の撮像部１，２で得られる画像を併用し画像の視界深さを拡張する手順の流れを示す。この手順では、まず、カメラへの電源投入に応じズームポジションをデフォルトポジションに設定し（ステップ５００）、次いでそのズームポジションをある値Ｘと比較する（ステップ５０２）。この値Ｘは、撮像部１，２のどちらに本撮影の役割を持たせるかの境目になる。この比較でズームポジションがＸ未満であるとされた場合には（ステップ５０２：“ＮＯ”）、第１撮像部をプリビュー用画像撮影用、第２撮像部をオートフォーカス用画像撮影用に選定した上で（ステップ５０４）、撮像部１を用いプリビュー用画像を継続的に撮影して表示部７０の画面上に表示させる動作と、撮像部１をオートフォーカスさせるためのオートフォーカス用画像を撮像部２で撮影しイメージプロセッサ５０でそれを処理して撮像部１を合焦させる動作とを、互いに並行して実行する（ステップ５０６）。この状態で、ズームボタン４２ｃ未押下のまま（ステップ５０８：“ＮＯ”）シャッタボタン４２ａが押下された場合、そのときの焦点ポジションを用い第１撮像部で一次画像（静止画）を撮影し（ステップ５１０）、そのときの焦点ポジションを用い第２撮像部で二次画像（静止画）を撮影し（ステップ５１２）、そしてその二次画像に基づき一次画像の視界深度を拡張する（ステップ５１４）。例えば、二次画像を用いて拡張信号を発生させ、一次画像のうち二次画像撮像時焦点ポジション相当の距離近傍に存する部分をその拡張信号に従い鮮明化する。
【００８５】
逆に、ズームポジションがＸ超である場合（ステップ５０２：“ＹＥＳ”）、第２撮像部をプリビュー用画像撮影用、第１撮像部をオートフォーカス用に選定した上で（ステップ５２４）、撮像部２を用いプリビュー用画像を継続的に撮影して表示部７０の画面上に表示させる動作と、撮像部２をオートフォーカスさせるためのオートフォーカス用画像を撮像部１で撮影しイメージプロセッサ５０でそれを処理して撮像部２を合焦させる動作とを、互いに並行して開始する（ステップ５２６）。この状態で、ズームボタン４２ｃが押下され（ステップ５２８：“ＹＥＳ”）シャッタボタン４２ａも押下された場合、そのときの焦点ポジションを用い第２撮像部で一次画像（静止画）を撮影し（ステップ５３０）、更にそのときの焦点ポジションを用い第１撮像部で二次画像（静止画）を撮影し（ステップ５３２）、そしてその二次画像に基づき一次画像の視界深度を拡張する（ステップ５３４）。例えば、その二次画像を用い、一次画像のうち二次画像撮像時焦点ポジション近傍に存する部分を鮮明化する。
【００８６】
なお、上の説明では、カメラ内で拡張信号を発生させ、一次画像のうち二次画像撮影時焦点ポジション近傍に存する部分をその拡張信号に基づき鮮明化する例を示したが、一次画像及び二次画像（静止画）を外部プロセッサ例えば図１中のホストＰＣ６６に送信し、一次画像のうち二次画像撮影時焦点ポジション近傍に存する部分が鮮明になるよう、その外部プロセッサで拡張信号を発生させるようにしてもよい。
【００８７】
各複数個のレンズ及びセンサを使用し統合的な撮像アセンブリを形成するという考え方は、画像撮影機能を有する携帯電話にも適用することができる。図１５Ａにその例を示す。この図の携帯電話６００は、話者音声を捉えるためのマイクロホン６０２、話者音声及び通話相手音声の信号を処理する図示しない関連電子回路、通話相手音声に従い鳴音するスピーカ６０４等を有する通話部を備えている。キーパッド６０６は電話番号や画像撮影用のコマンドの入力に、また（液晶）表示部６０８は通話関連情報やこの携帯電話６００で撮影した又はセルラ網経由で受信した画像の表示に、それぞれ使用されている。図１５Ｂにこの携帯電話６００の背面を示す。この図には内蔵部材のうち幾つか、即ち携帯電話用撮像アセンブリ６１０や、図１に示したイメージプロセッサ５０を介しそれに接続されているセルラ処理部も示されている。そのセルラ処理部はセルラプロセッサ９０及びモデム９２から構成されている。セルラプロセッサ９０は、イメージプロセッサ５０から送られてくる画像データやマイクロホン６０２で捉えた音声のデータを受け取って処理し、それらのデータをセルラモデム９２へと送る。セルラモデム９２は、それらのディジタルデータを適当なフォーマットに変換しアンテナ９４を用いセルラ網上に送出する。
【００８８】
図１６Ａ及び図１６Ｂに携帯電話用撮像アセンブリ６１０の構成を示す。図１６Ａは、このアセンブリ６１０の線２４Ｂ−２４Ｂ沿い断面（図１６Ｂ参照）を上から見た図である。図示の通り、このアセンブリ６１０は、共通の基板６２０上に複数個の光学系・撮像系部品、具体的には第１固定焦点距離レンズ６１２、第１イメージセンサ６１４、第２固定焦点距離レンズ６１６及び第２イメージセンサ６１８を一体実装した構成を有している。センサ６１４上に像を発現させるレンズ６１２は例えばその焦点距離が４０ｍｍ（３５ｍｍ判換算値）で固定の広角レンズであり、センサ６１８上に像を発現させるレンズ６１６は例えばその焦点距離が１００ｍｍ（３５ｍｍ判換算値）で固定の望遠レンズである。レンズ６１２，６１６は互いに同じ方向を向いているので、その視野の広さに違いはあれ、前方に広がる光景中の同一部分を捉えて像を発現させることができる。
【００８９】
これらのレンズ６１２，６１６は、対応するイメージセンサ６１４，６１８と共に基板６２０上に実装されている。レンズ６１２，６１６とセンサ６１４，６１８の間に赤外線遮断フィルタ６２２があるのでセンサ６１４，６１８上の諸画素への赤外光入射は少ない。その基板６２０上には、抵抗器、コンデンサ、電源系部品等の電子部品６２４や、基板６２０から画像信号を取り出すためのフレキシブルコネクタ６２６も実装されている。このコネクタ６２６を介しこの携帯電話用撮像アセンブリ６１０から取り出される画像信号は例えば生の画像データである。図示しないが、適当なプロセッサを基板６２０上に実装しておき、そのプロセッサによる処理でＹＵＶ又はＪＰＥＧフォーマットに変換した画像データを取り出すようにしてもよい。更に、イメージプロセッサ５０によるディジタルズームで、広角レンズ６１２や望遠レンズ６１でカバーできない距離域をカバーすることができる。ユーザは、（液晶）表示部６０８の画面上に表示されるユーザインタフェースを見ながらキーパッド６０６上の相応なボタンを操作することで、そのディジタルズーム機能を発動させることができる。広角側のセンサ６１４が高解像度、例えば望遠側のセンサ６１８よりも高い解像度であれば、そのディジタルズーム用のソース画像が高画質になる。
【００９０】
また、レンズ６１２，６１６を共に可調焦点レンズにすることもできる。この変形例では、イメージプロセッサ５０では、（ａ）広角レンズ６１２に係るセンサ出力を撮像出力信号に選定する一方望遠レンズ６１６に係るセンサ出力を用いレンズ６１２向けの焦点検出信号を生成する動作か、（ｂ）レンズ６１６に係るセンサ出力を撮像出力信号に選定する一方レンズ６１２に係るセンサ出力を用いレンズ６１６向けの焦点検出信号を生成する動作か、そのいずれかを実行する。例えば後者では、その焦点検出信号をレンズ６１６のオートフォーカスサブシステム６２８に供給することで、撮像出力信号となるセンサ出力をもたらす方のレンズの焦点距離を調整することができる。また、この例におけるレンズ６１２はズームレンズ、例えばその画角を広角から通常角まで変化させうるレンズにするとよい。
【００９１】
或いは、広角レンズ６１２の焦点距離をその過焦点距離に設定してもよい。過焦点距離にすると数フィートから無限遠までの距離域で合焦するので、このレンズ６１２についてはユーザによる焦点距離調整が不要になる。望遠レンズ６１６はそのオートフォーカスサブシステム６２８によってオートフォーカスさせる。こうするのは、焦点距離が増すにつれ過焦点距離が増すので、４〜１２フィート等といった典型的な距離に存する被写体に対し適正に合焦させるには焦点距離を調整しなければならないからである。オートフォーカスサブシステムが望遠レンズ６１６用のもの（６２８）だけである分は安価及び小型な構成になる。
【００９２】
更に、本実施形態ではｚ寸法６３０が重要な制約条件となる。即ち、携帯電話６００内回路の配置及び構成と調和するようｚ寸法６３０を非常に小さな値にしなければならない。この条件は、望遠レンズ６１５の焦点距離及びセンササイズを注意深く設定することで、クリアすることができる。例えば、第１イメージセンサ６１６のサイズを、割合に小さな画像でもその受光部が埋まってしまうよう十分に小さくすることで、その焦点距離を抑えｚ寸法６３０を許容範囲内の値にすることができる。
【００９３】
また、その焦点距離がほぼ等しい２個のレンズと、そのサイズが異なるイメージセンサアレイとを有する構成にしてもよい。センサアレイ間にサイズ差があっても、そのセンサアレイの受光部が対応するレンズからの画像で埋まるよう設計されていれば、それら２個あるレンズ・センサアレイ対同士で、実際の焦点距離即ちレンズセンサ間距離がほぼ同一になる。但し、各レンズの３５ｍｍ判換算焦点距離は異なる値になるので、その視野は互いに異なる広さになる。
【００９４】
そして、図１６Ａ及び図１６Ｂでは詳示を省いたが、先に図１を参照して説明した構成と同じく、第１イメージセンサ６１４からのアナログ出力信号は第１ＡＳＰでの増幅後、また第２イメージセンサ６１８からのアナログ出力信号は第２ＡＳＰでの増幅後、ある種の制御素子、例えば基板６２０上に電子部品６２４の一つとして設けられているアナログＭＵＸに、その第１，第２入力端を介し供給される。ユーザがキーパッド６０６を操作しズームポジションを設定すると、その値に基づき、センサ６１４から得られる信号（第１センサ出力）及びセンサ６１８から得られる信号（第２センサ出力）のいずれかがこの制御素子で選定され、選定された方のセンサ出力が携帯電話用撮像アセンブリ６００からイメージプロセッサ５０に供給されることとなる。
【００９５】
次に、距離マップ使用方法の具体例について説明する。先に図１１を参照して概説した通り、カメラ内のＧＰＳユニット５７からＧＰＳ測位結果が、またそのカメラ内の電子コンパス５９からカメラ指向方向の計測結果が得られれば、それらをそのカメラから光景内諸点までの距離及び方向と組み合わせることで、光景内諸点のＧＰＳ測位を行うことができる。図１８に、光景内諸点をＧＰＳ測位する手順の流れの一例を示す。この手順では、まずそのカメラ内のＧＰＳユニットを使用しそのカメラをＧＰＳ測位し（ステップ７５０）、またそのカメラ内のコンパスを使用しカメラ指向方向を計測する（ステップ７５２）。次いで、そのカメラから光景内諸点までの距離を示す距離オフセットを、図１１に示した手順等で得られている距離マップを参照して導出し（ステップ７５４）、またコンパス５９から取得したカメラ指向方向を基準とする光景内諸点の方向を示す角度オフセットをその点の視野内位置から導出する（ステップ７５６）。更に、導出した距離オフセット及び角度オフセットを、ＧＰＳ測位及びカメラ指向方向計測の結果に加味することで、光景内諸点をＧＰＳ測位する（ステップ７５８）。そして、視野内諸被写体のＧＰＳ測位結果をメタデータ中に保存し又はＧＰＳ測位マップの形態を採り画像上にラベルとして表示させる（ステップ７６０）。その点のＧＰＳ測位結果をその画像と共に電子カメラの画面上に表示させてもよい。
【００９６】
なお、いわゆる当業者ならば、光景内諸点についてのＧＰＳ測位結果には様々な用途があることを理解できよう。例えば、被写体の個体識別、光景内諸点の方向を案内する表示の実行、地図その他の地理データベースに比したカメラ視野の拡がりの特定等である。
【００９７】
図１９に、２個ある撮像部のうち一方を一次画像用、他方の撮像部を非一次画像用（例えばシーン解析対象画像用）として選定する手順の流れの例を示す。この手順では、まず、カメラ電源投入に応じ初期化処理を開始する（ステップ１１００）。初期化処理が終了したら、撮像部１，２のズームポジションをそれぞれそのデフォルトポジション即ち所定の初期ポジションに設定する（ステップ１１０２）。それらのデフォルトポジションによって最初に撮影及び表示される画像の内容が決まる。次いで、第１及び第２プリビュー用画像を撮像部１，２で撮影し表示部７０の画面上に表示させる（ステップ１１０４）。それらの画像は、表示部７０の画面上に様々な形態で表示させることができる。例えば、それらの画像をサムネイル等の形態にして横並び表示させてもよいし、一方の画像内に他方の画像を小さく表示させてもよいし、それらの画像を順繰りに表示させてもよい。更に、そのカメラのユーザに対し、第１及び第２プリビュー用画像のなかに一次画像即ち撮影及び保存の対象画像となりうるものがあるか否かを尋ね（ステップ１１０６）、それらの画像を表示させつつユーザによる決定を待つ状態を、最大で所定長Ｘの表示期間に亘り続ける（ステップ１１１０）。その期間中にシャッタボタンが押下された場合や（ステップ１１０８）同期間中にユーザから決定が示されなかった場合は（ステップ１１１０：“ＹＥＳ”）、撮像部１，２のうち所定の一方即ちデフォルト撮像部を自動的に一次画像用として選定する（ステップ１１１２）。デフォルト撮像部を予め定めておく理由は幾つかある。そのうち一つは、光景を包括的に広い視野で捉えた画像を初期画像にするためである。逆に、ユーザが第１及び第２プリビュー用画像のうちどちらかを一次画像に採用した場合は（ステップ１１０６：“ＹＥＳ”）、採用された方のプリビュー用画像に係る撮像部を一次画像用に選定する（ステップ１１２４）。そして、どちらの撮像部が一次画像用に選定された場合でも、一次画像用撮像部でない方の撮像部（非一次画像用撮像部）をシーン解析対象画像用に選定する（ステップ１１１４）。その後は、これから図２０〜図２２を参照して説明する通り、一次画像用撮像部をプリビューモードで稼働させる。
【００９８】
図２０〜図２２及び図２４〜図２６に、マルチレンズカメラシステム内の撮像部のうちある１個で撮影した画像を利用又は解析し、別の１個で撮影した画像にその結果に基づく修正、例えば拡張、解析、補強その他の改変を施す手順について、その流れの例を示す。そのうち図２０に示す手順は、図１９に示した手順に従い一次画像用撮像部がプリビューモードで稼働しているときに実行される。この手順では、まずシーン解析対象画像用撮像部がシーン解析を実行し（ステップ１２００）、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１２０２）。シーン解析で得られるのは、例えば露出、ダイナミックレンジ、視界深さ、色バランス、被写体性状識別結果（顔、草、夕日、雪等の別）等に関するデータであり、一次画像用撮像部のパラメタとは、絞り、露出時間、焦点距離、白バランス、ＩＳＯ設定等のパラメタである。次いで、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１２０４）、シーン解析対象画像用撮像部がシーン解析の続きを実行する（ステップ１２０６）。その解析でシーン状態変化が見つからなかった場合は（ステップ１２０８：“ＮＯ”）ステップ１２０４に戻り、一次画像用撮像部でプリビュー用画像を再び撮影して表示部７０の画面上に表示させる。その際、一次画像用撮像部の諸パラメタは変更しない。逆に、シーン状態変化が見つかった場合は（ステップ１２０８：“ＹＥＳ”）ステップ１２０２に戻り、その撮像部におけるシーン解析の結果を示すデータに基づきプロセッサ５０が一次画像用撮像部の諸パラメタを再設定して、前述の処理を再実行する。
【００９９】
図２１に示す手順では、一次画像用撮像部の諸パラメタが変更されるのはシーン状態変化があるしきい値Ｘを上回ったときだけである。即ち、このしきい値付プリビューモードでは、まずシーン解析対象画像用撮像部で画像の撮影及びシーン解析を実行し（ステップ１３００）、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１３０２）。次いで、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１３０４）、シーン解析対象画像用撮像部で更に画像を撮影する（ステップ１３０６）。ステップ１３０６で撮影した画像におけるシーン状態変化がしきい値Ｘに達していない場合（ステップ１３０８：“ＮＯ”）、即ち画像間で光景条件が安定していると見なせる場合はステップ１３０４に戻り、一次画像用撮像部でプリビュー用画像を再撮影して表示部７０の画面上に表示させる。その際、一次画像用撮像部の諸パラメタは変更しない。その上で、シーン解析対象画像用撮像部で更に画像を撮影する（ステップ１３０６）。逆に、ステップ１３０６で撮影した画像におけるシーン状態変化がしきい値Ｘ超であり不安定な状況であると見なせる場合は（ステップ１３０８：“ＹＥＳ”）ステップ１３０２に戻り、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを再設定する。その後は、前述の処理を再実行する。
【０１００】
図２２に示す手順では、撮像部間に存するズームポジションの違いと、各撮像部で撮影された画像についてのシーン解析結果とに基づき、しきい値を用いた光景条件判別を補強している。即ち、この拡張プリビューモードでは、まず一次画像用撮像部のズームポジションを基準にシーン解析対象画像用撮像部のズームポジションを設定し（ステップ１４００）、そのシーン解析対象画像用撮像部で画像を撮影し（ステップ１４０２）、更にその撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１４０４）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１４０６）、撮影したプリビュー画像及び取得済のシーン解析結果データに基づきシーン解析を実行し（ステップ１４０８）、イメージプロセッサ５０が両シーン解析の結果、即ち撮像部それぞれで得られた画像に対する解析の結果に基づき一次画像用撮像部の諸パラメタを設定する（ステップ１４１０）。その次は、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１４１２）、シーン解析対象画像用撮像部で更なる画像を撮影し（ステップ１４１４）、更に撮影したプリビュー画像及び取得済のシーン解析結果データに基づきシーン解析を実行する（ステップ１４１６）。シーン状態変化がしきい値Ｘに達していない場合（ステップ１４１８：“ＮＯ”）、即ち光景条件が安定していると見なせる場合はステップ１４１２に戻り、一次画像用撮像部でプリビュー用画像をまたシーン解析対象画像用撮像部でシーン解析対象画像をそれぞれ再撮影する（ステップ１４１２及び１４１４）。その後は前述の処理を再実行する。逆に、シーン状態変化がしきい値Ｘ超であり不安定な状況であると見なせる場合は（ステップ１４００：“ＹＥＳ”）ステップ１４１０に戻り、イメージプロセッサ５０が新たなシーン解析結果データ、即ちステップ１４１６でシーン解析対象画像用撮像部により導出された解析結果に基づき一次画像用撮像部の諸パラメタを再設定する。その後は前述の処理を再実行する。
【０１０１】
これら、図１９〜図２２に示した手順によるプリビュー動作は、シャッタボタン４２ａかズームボタン４２ｃが押下されるまでは継続的に実行される。これに対し、ズームボタン４２ｃが押下された場合、図２３に示すように、ズームボタン４２ｃ押下（ステップ１５００：“ＹＥＳ”）時のズームポジション設定が一次画像用撮像部のズーム域外であるなら（ステップ１５０２：“ＹＥＳ”）、それまで一次画像用であった撮像部がシーン解析対象画像用になりシーン解析対象画像用であった撮像部が一次画像用になるよう、撮像部の用途乃至役割を互いに入れ替える（ステップ１５０４）。次いで、一次画像用撮像部のズームポジションを指定された距離に設定し（ステップ１５０６）、図２０〜図２２に示したプリビューモードでの動作に戻る。逆に、ズームボタン４２ｃ押下（ステップ１５００：“ＹＥＳ”）時のズームポジション設定が一次画像用撮像部のズーム域内であるなら（ステップ１５０２：“ＮＯ”）、各撮像部の用途乃至役割はそのままにして、一次画像用撮像部のズームポジションを指定されたポジションに設定し（ステップ１５０６）プリビューモードでの動作に戻る。
【０１０２】
図２４〜図２６に、マルチレンズカメラシステム内の撮像部のうちある１個で撮影した画像を利用又は解析し、別の１個で撮影した画像にその結果に基づく修正、例えば拡張、解析、補強その他の改変を施す手順について、その流れの更なる例を示す。これらの図に示した例は撮影時に実行される手順の例である。まず、図２４に示す第１の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始され、それ以外の場合はプリビューモードでの動作に戻る（ステップ１６００）。撮影モードでは、まず一次画像用撮像部でプリビュー用画像を撮影し（ステップ１６０２）、更にそのプリビュー画像に基づくシーン解析を実行する（ステップ１６０４）。解析が終了したら（ステップ１６０６：“ＹＥＳ”）、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定し（ステップ１６０８）、更にその一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させる（ステップ１６１０）。この状態からシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１６１２：“ＹＥＳ”）、画像の撮影が指令されたということであるので、設定されたパラメタに従い一次画像用撮像部で一次画像を撮影する（ステップ１６１４）。その後はプリビューモードでの動作に戻る。シャッタボタン４２ａが全押しされないときは（ステップ１６１２：“ＮＯ”）、このカメラに焦点／露出ロックが設定されているか否かをチェックする（ステップ１６１６）。どちらかのロックが設定されている場合は（ステップ１６１６：“ＹＥＳ”）ステップ１６１０に戻り、一次画像用撮像部でプリビュー用画像を再撮影して表示部７０の画面上に表示させてから、シャッタボタン４２ａの状態チェック（ステップ１６１２）以降の動作を上記同様に実行する。焦点／露出ロックがどちらも設定されていない場合は（ステップ１６１６：“ＮＯ”）ステップ１６０２に戻り、一次画像用撮像部でプリビュー用画像を再撮影してから、そのプリビュー画像に基づくシーン解析を実行する（ステップ１６０４）。以降の動作は前記同様である。
【０１０３】
図２５に示す第２の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始される（ステップ１７００）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１７０２）、シーン解析対象画像用撮像部でも画像を撮影し（ステップ１７０４）、そして撮影したプリビュー用画像及びシーン解析対象画像双方に基づきシーン解析を実行する（ステップ１７０６）。更に、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定し（ステップ１７０８）、それらのパラメタに従い一次画像用撮像部でプリビュー用画像を撮影して表示する（ステップ１７１０）。次いで、図２４に示した手順と同様、この状態でシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１７１２：“ＹＥＳ”）、設定済のパラメタに従い一次画像用撮像部で一次画像を撮影して（ステップ１７１４）プリビューモードでの動作に戻る。逆に、シャッタボタン４２ａが全押しされなかったらそのカメラに焦点／露出ロックが設定されているか否かをチェックし（ステップ１７１６）、設定されていたらステップ１７１０に戻って一次画像用撮像部でプリビュー用画像を再撮影して表示した上で、シャッタボタン４２ａの状態チェック（ステップ１７１２）以降の動作を上記同様に実行する。焦点／露出ロックがどちらも設定されていない場合は（ステップ１７１６：“ＮＯ”）ステップ１７０２に戻り、一次画像用撮像部でプリビュー用画像を再撮影してから（ステップ１７０２）、そのプリビュー画像に基づくシーン解析を実行する（ステップ１７０４）。以降の動作は前記同様である。
【０１０４】
図２６に示す第３の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始される（ステップ１８００）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１８０２）、シーン解析対象画像用撮像部でも画像を撮影する（ステップ１８０４）。更に、撮影したプリビュー画像及びシーン解析対象画像双方に基づきシーン解析を実行し（ステップ１８０６）、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１８０８）。次に、シーン解析対象画像用撮像部を二次画像用撮像部に選定した上で（ステップ１８１０）、先の両シーン解析の結果に基づきイメージプロセッサ５０が二次画像用撮像部の諸パラメタを設定する（ステップ１８１２）。更に、この状態でシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１８１４：“ＹＥＳ”）、設定済のパラメタに従い一次画像用撮像部で一次画像を撮影し（ステップ１８１６）、二次画像用撮像部に選定されているシーン解析対象画像用撮像部で二次画像たる補強用画像を撮影し（ステップ１８１８）、更に一次画像及び補強用画像に基づきイメージプロセッサ５０が拡張画像を生成する（ステップ１８２０）。その後はプリビューモードでの動作に戻る。逆に、シャッタボタン４２ａが全押しされなかった場合は（ステップ１８１４）ステップ１８０２に戻り、一次画像用撮像部及びシーン解析対象画像用撮像部による撮影（ステップ１８０２及び１８０４）から動作を再開する。
【０１０５】
図２６に示した手順で施せるこの補強及び拡張の種類は多様である。第１に、先に図１４に関して述べた通り、一次画像用撮像部をある焦点ポジションにして一次画像を撮影し、シーン解析対象画像用撮像部（二次画像用撮像部）を別の焦点ポジションにして二次画像（補強用画像）を撮影し、それら２枚の画像を組み合わせてより視界深さに富んだ画像（拡張画像）を生成することができる。このタイプの補強及び拡張には、一次画像の撮影に使用するレンズを絞ることなく視界深さを大きくすることができる、という長所がある。これは、撮影環境が暗く絞りを開けたい場合に特に有益である。
【０１０６】
第２に、イメージプロセッサ５０で画像のダイナミックレンジを調べ、そのダイナミックレンジが所定のしきい値を上回っていたら、シーン解析対象画像用撮像部を用い、そのダイナミックレンジが一次画像のそれとは異なるダイナミックレンジになるよう二次画像を撮影する、というタイプの補強及び拡張がある。例えば、まず一次画像を通常の露出、二次画像を不足気味又は過剰気味といったより極端な露出で撮影する。このとき、例えば一次画像では白飛びしている明るい部分も、それより露出レベルの低い二次画像なら、その細部まで捉えることができる。逆に、一次画像では黒潰れしている陰の部分も、それより露出レベルの高い二次画像なら、その細部まで捉えることができる。従って、一次画像中の諸部分を二次画像中の対応部分で置き換えることにより、そのダイナミックレンジが広い拡張画像を得ることができる。
【０１０７】
また、ご理解頂けるように、一次画像用撮像部や二次画像用撮像部で撮影する画像は静止画及び動画のいずれでもよい。動画の場合は一連の静止画として扱えるので、静止画の場合はその静止画を、動画の場合は動画信号を組成する一連の静止画を、例えば上述した形態で拡張すればよい。例えば、その電子カメラに動画信号が得られる撮像部が搭載されている場合、二次画像用撮像部の撮像出力を用い、その動画信号を組成している一連の静止画の視界深さ、ダイナミックレンジ等々を拡張することができる。
【０１０８】
更に、図１４に示した手順を変形し、広いダイナミックレンジを有する一次画像が得られるようにすることもできる。例えば、図１４に示したものと似た手順にて、シャッタボタン４２ａの押下に応じ第１撮像部又は第２撮像部（ステップ５１０又は５３０相当）で一次画像（静止画）を撮影し、第２撮像部又は第１撮像部（ステップ５１２又は５３２相当）で二次画像（静止画）を撮影し、更に二次画像を用いて一次画像のダイナミックレンジを拡張する（ステップ５１４又は５３４相当）ことができる。即ち、一次画像撮影時の露出レベルと異なる露出レベル、例えばより低い露出レベルで二次画像を撮影するようにすれば、その二次画像には明るい部分の細部までしっかりと写る。その上で、その二次画像を一次画像と組み合わせることにより、その一次画像のダイナミックレンジを拡げることができる。
【０１０９】
更に、拡張画像を好適に生成できる手法の一つとして摺動スケールを使用する手法がある。この手法では、米国特許出願第１１／４６０３６４号（名称：大ダイナミックレンジディジタル画像の生成(Producing an Extended Dynamic Range Digital Image)、発明者：John Border and Efrain Morales、譲受人：本願出願人と同一、出願日：２００６年７月２７日、この参照を以てその内容を本願に繰り入れる）に記載の通り、一次画像及び二次画像双方の画素値を勘案して拡張画像の画素値を決定することができる。また、フラッシュ使用時には露出過剰状態がしばしば発生する。ダイナミックレンジ補正を行えるよう二種類の露出レベルを設定することでそれに対処することができる。例えば、撮像部のうち１個の露出時間を非常に短い時間としてもよいし、露出タイミングをずらしフラッシュの直前又は直後にしてもよい。
【０１１０】
また、上述の補強手順はその解像度が大きく異なる画像間にも適用することができる。例えば、米個許特許出願第１１／４６１５７４号（名称：異解像度部分込みディジタル画像の生成(Producing Digital Image with Different Resolution Portions)、発明者：John Border、Scott Cahall and John Griffith、譲受人：本願出願人と同一、出願日：２００６年８月１日、この参照を以てその内容を本願に繰り入れる）では、第１画像を第１撮像部で広角ディジタル撮影する一方、その第１画像に写っている光景とほぼ同じ光景の一部が写るよう第２画像を第２撮像部で望遠ディジタル撮影している。こうした場合でも、広角撮影した第１画像の一部と、望遠撮影した第２画像中の一部とを組み合わせることで、それらの合成画像を生成することができ、その合成画像をディジタルズームすることで、より解像度が高いディジタル画像を生成することができる。具体的には、合成画像をディジタルズームすることで、ズーム域全域を通じて解像度が高くその画質も良好なズーム画像を得ることができる。
【０１１１】
補強手順の更なる変形例としては、一次画像用撮像部の露出時間と二次画像用撮像部のそれとを異なる長さにすることで、各画像に発現するノイズ及びモーションブラーのレベルに差を付ける、というものがある。例えば、一次画像用撮像部の露出時間を長めに、二次画像用撮像部を短めに設定して撮影を行う。すると、ディジタルノイズが低レベルでモーションブラーが高レベルな一次画像と、ディジタルノイズが高レベルでモーションブラーが低レベルな二次画像とが得られる。一次画像でモーションブラーが高レベルになるのは、カメラの動きも視野内被写体の動きもモーションブラーをもたらすからである。次いで、それら一次画像及び二次画像を互いに比較してモーションブラーを識別し、更に二次画像内平均画素値が一次画像内平均画素値と整合する値になるよう二次画像の利得を増大させる。そして、一次画像の一部を二次画像の一部で置き換えることにより、拡張画像を生成することができる。具体的には、一次画像のうちそのノイズは低レベルだがモーションブラーは高レベルの部分を、二次画像中の対応部分、即ちそのノイズレベルは高レベルだがモーションブラーは低レベル又は０の部分で置き換えることにより、ノイズが割合に低レベルで先鋭さが良好な拡張画像を得ることができる。
【０１１２】
以上、本発明に関しその好適な実施形態を例にして具体的な説明を行ったが、それらに更に変形乃至改良を施せること、またそうしたものも本発明の基本的着想及び技術的範囲内に包括されうることを理解されたい。
【符号の説明】
【０１１３】
１，２，７１，７４ 第１〜第３撮像部、３，４ 第１又は第２ズームレンズ、５ａ，５ｂ ズーム／フォーカスモータ、１０Ａ，６１０ ディジタルカメラ、カメラ付携帯電話等の撮像アセンブリ、１２，１４，１６，７８，６１４，６１８ 第１〜第３イメージセンサ、１２ｅ，１４ｅ 第１又は第２センサ出力、１３，１５，１７ クロックドライバ、２２，２４，２５ 第１〜第３アナログ信号プロセッサ、３４，３６，３７ 第１〜第３ディジタルマルチプレクサ型制御素子、３８ ＤＲＡＭ型バッファメモリ、４０ 制御プロセッサ／タイミング発生器、４２ ユーザ操作子、４２ａ シャッタボタン、４２ｃ ズームボタン、４２ｄ マルチポジションセレクタ、４６自動露出検出器、４８ 電子フラッシュ、５０ イメージプロセッサ、５２ メモリカードインタフェース、５４ リムーバブルメモリカード、５６ ＲＡＭ型メモリ、５７ ＧＰＳユニット、５８ ファームウェアメモリ、５９ 電子コンパス、６２ ホストインタフェース、６４ 接続手段、６６ ホストＰＣ、７０ カラー液晶型画像表示部、７３，６１２ 第１固定焦点距離レンズ、９０ セルラプロセッサ、９２ セルラモデム、９４ アンテナ、１００，５００，１１０２ ズームポジションをデフォルト設定するステップ、１０１，２５０ ズームポジションを選択するステップ、１０２，５０２，１５０２ ズームポジションを判別するステップ、１０４，１２４，２５２，５０４，５２４ 本撮影用撮像部を選定するステップ、１０６，１２６，２６０ 第１又は第２撮像部を使用してオートフォーカス用画像を撮影するステップ、１０８，１２８ 第１又は第２撮像部を合焦させるステップ、１１０，１３０，１１０４，１２０４，１３０４，１４１２，１６１０，１７１０ 第１又は第２撮像部を使用してプリビュー用画像を撮影し表示させるステップ、１１２，１３２，５０８，５２８，１５００ ズームボタンが押下されたか判別するステップ、１１４，１３４，１１０８，１６００，１６１２，１７００，１７１２，１８００，１８１４ シャッタボタンが押下されたか判別するステップ、１１６，１３６，２７０ 第１又は第２撮像部を使用して本撮影するステップ、１１８，１３８，２７６ 第１又は第２撮像部を使用して動画を撮影するステップ、１１９，１３９ 合焦品質をチェックするステップ、１２０，１４０ 再合焦要否を判別するステップ、１５１ 被写体、１５２，１５３ 第１又は第２レンズ、１５４，１５５ 第１又は第２光路、１５６ 合焦面、１５７，１５８ 第１又は第２像、１７０，１８０ 第１又は第２基準位置、１７１，１８１ シフト後第１又は第２位置、１９０，１９１ 第１又は第２光学センサアレイ、１９７ 低域通過フィルタをロードするステップ、１９８ 合焦状態評価値を比較するステップ、１９９ 高域通過フィルタをロードするステップ、２５４ 非本撮影用撮像部でズーミングするステップ、２５６ 過焦点距離に設定するステップ、２５８ オートフォーカス手順を開始するステップ、２６２，３０２，４４２ 短焦点距離で撮影した画像等をクロッピング及びアップサンプリングするステップ、２６４，３０４，４４４，４８０ 画像の関連付け後に画素オフセットを導出するステップ、２６６，２８２，２８４ 最良合焦に必要な可調焦点レンズ調整量を導出するステップ、２６８，２８６ 合焦用レンズを調整するステップ、２７２ ヒルクライムオートフォーカスを実行するステップ、２７４ シャッタボタンの押下を待つステップ、２７８ ヒルクライム合焦状態を継続チェックするステップ、２８０，４７２ 合焦状態を判別するステップ、３００，４００ 画像群を撮影するステップ、３０６，４０４ オートフォーカス用レンジファインダ又はヒルクライム法校正曲線を生成するステップ、３５０ オートフォーカス用画像の外観、３５２ ズーミング及びクロッピングを経たオートフォーカス用画像の外観、４０２ ポジションと距離を比較するステップ、４４０，４４８ 短又は長焦点距離で撮影するステップ、４４６ 焦点補正量を導出するステップ、４６０，４６６ 第１又は第２撮像部を使用しヒルクライム法で第１又は第２画像を撮影するステップ、４６２ 第１撮像部で撮影した画像をプリビュー表示させるステップ、４６４ 第１撮像部の合焦条件を変更するステップ、４６８ 第２撮像部を使用し別画像を撮影するステップ、４７０ 第２画像と別画像の合焦状態を比較するステップ、４８２ レンジファインダ校正曲線を使用し画素オフセットを換算するステップ、４８４ 距離マップを生成するステップ、５０６，５２６ 第１又は第２撮像部を使用しプリビュー画像を撮影して表示させオートフォーカスするステップ、５１０，５３０，１６１４，１７１４，１８１６ 一次画像撮影時の焦点ポジション下等で第１又は第２撮像部を使用し一次画像を撮影するステップ、５１２，５３２ 二次画像撮影時焦点ポジション下で第１又は第２撮像部を使用し二次画像を撮影するステップ、５１４，５３４ 二次画像を使用し一次画像を拡張するステップ、６００ 携帯電話、６０２ マイクロホン、６０４ スピーカ、６０６ キーパッド、６０８ （液晶）表示部、 ６１６ 第２固定焦点距離レンズ、６２０ 基板、６２２ 赤外線遮断フィルタ、６２４ 電子部品、６２６ フレキシブルコネクタ、６２８ オートフォーカスサブシステム、６３０ ｚ寸法、７５０ ＧＰＳを使用しカメラを測位するステップ、７５２ カメラ指向方向を計測するステップ、７５４ 距離オフセットを導出するステップ、７５６ 角度オフセットを導出するステップ、７５８ シーン内をＧＰＳ測位するステップ、７６０ ＧＰＳ測位結果を保存するステップ、１１００ 電源投入後に初期化するステップ、１１０６ プリビュー用画像撮影用撮像部を選択するステップ、１１１０ 表示時間を判別するステップ、１１１２ デフォルト撮像部を採用するステップ、１１１４ シーン解析対象画像用撮像部を決定するステップ、１１２４ 判断に従い一次画像用撮像部を決定するステップ、１２００，１２０６，１４０８，１４１６，１７０６，１８０６，１６０４ プリビュー用画像及びシーン解析対象画像の一方又は双方等を使用してシーン解析するステップ、１２０２，１３０２，１４０４，１４１０，１６０８，１７０８，１８０８，１８１２ 一次又は二次画像の撮影パラメタを設定するステップ、１２０８，１３０８，１４１８ しきい値等を使用し光景条件を判別するステップ、１３００，１３０６ シーン解析対象画像を撮影して解析するステップ、１４００ シーン解析対象画像用撮像部のズームポジションを設定するステップ、１４０２，１４１４，１７０４，１８０４ シーン解析対象画像を撮影するステップ、１４０６，１６０２，１７０２，１８０２ プリビュー用画像を撮影するステップ、１５０４ 撮像部の用途を入れ替えるステップ、１５０６ 一次画像用撮像部のズームポジションを設定するステップ、１６０６ シーン解析完了を判別するステップ、１６１６，１７１６ 焦点／露出ロックをチェックするステップ、１８１０ シーン解析対象画像用撮像部を二次画像用撮像部にするステップ、１８１８ 補強用画像を撮影するステップ、１８２０ 拡張画像を生成するステップ。
【技術分野】
【０００１】
本発明はディジタル画像ファイルを生成するディジタルカメラ、特にレンズ及びイメージセンサを複数使用し測距能力を高めたディジタルカメラに関する。
【背景技術】
【０００２】
現在使用されている多くのディジタルカメラはズームトラッキングレンズ及び単色イメージセンサを用い静止画や動画を撮影する構成である。撮影した画像はカメラ内で処理されディジタル画像ファイルとしてディジタルメモリ上に保存される。それらのファイルについては、コンピュータに転送すること、表示すること、印刷すること、インターネット上で共有すること等が可能である。
【０００３】
動きのある被写体を鮮明に捉えるには、そのディジタルカメラ上にオートフォーカスシステム、即ちそのカメラのレンズを被写体に対し精密且つ自動的に合焦させるシステムを設ける必要がある。その種のシステムに対しては、被写体に対しレンズを迅速且つ正確に合焦させうること、即ちシャッタボタン押下から静止画撮影までの遅延時間であるシャッタ遅延が短いことが求められる。更に、動画撮影に使用される連続撮像モードでも機能すること、例えば動画モードで動画の撮影を続けている間中焦点をリアルタイムに調整できることも求められる。
【０００４】
一般に、ディジタルカメラやスキャナの多くでは、イメージセンサと併せ、可調焦点レンズ付の撮像レンズ系を用いて画像を撮影する。通常、そうした可調焦点レンズ付撮像レンズ系の焦点距離（レンズポジション）では、複数通りある設定値のうちいずれかを検知系、制御系及び駆動系の動作で自動的に選択する。それらの設定値は、光景内の被写体エリアと覚しきエリアに好適に合焦するよう定めるのが普通である。本願中でオートフォーカスシステムと呼んでいるのは、合焦状態計測結果に基づき且つ可調焦点レンズを用いその焦点設定を自動調整しうるレンズシステムのことである。ディジタルカメラで用いられるオートフォーカスシステムには、大別してレンジファインダ（測距器式）オートフォーカスシステムとスルーザレンズ（レンズ越し式）オートフォーカスシステムとがある。
【０００５】
そのうちレンジファインダオートフォーカスシステムでは、カメラから自システムの視野内にある１個又は複数個の点までの距離を、ソニックレンジファインダ（音響測距器）、デュアルレンズレンジファインダ（複レンズ測距器）等の測距センサを用いて導出する。ソニックレンジファインダは、投射した音響信号と反射してくる音響信号との間の位相差を計測し、その結果に基づき視野内物体までの距離を推定する。デュアルレンズレンジファインダは、間隔配設されている２個のレンズ及びそれらに対応して設けられた２個のセンサ領域を備え、それらのセンサ領域で画像の対を撮影する。ディジタルカメラに搭載されるデュアルレンズレンジファインダは、間隔配設された２個のレンズ及び対応するレンズを介し低解像度画像を撮影する２個のセンサ領域を有するデュアルレンズレンジモジュールとなっていることが多い。
【０００６】
デュアルレンズレンジファインダを用いるオートフォーカスシステムには大別して能動型と受動型がある。能動型のシステムは視野内領域に向けて自分から光を投射するが、受動型のシステムは視野内領域から到来する光だけを利用する。また、デュアルレンズレンジファインダモジュールの例としては、富士電機株式会社が販売しているＦＭ６２６０Ｗ（商品名）等何種類かの機種がある。特許文献１（発明者：Haruki et al.、譲受人：富士電機株式会社他、発行日：１９８６年８月１９日）には光学機器（例えばカメラ）用デュアルレンズレンジファインダモジュールが記載されている。この文献の記載によれば、対をなして得られる低解像度画像を解析して二画像間の相関を調べることで、レンズ間隔による画像間オフセットを求めることができる。
【０００７】
図２７に、従来技術に係るレンジファインダの動作原理を模式的に示す。この図のレンジファインダは、被写体１５１からの光が入射する２個の小さなレンズ１５２，１５３を備えている。被写体１５１からの光は互いに異なる光路１５４，１５５を辿ってレンズ１５２，１５３に入射し、レンズ１５２，１５３に共通の合焦面１５６上に像１５７，１５８を発現させる（符号同順；以下同様）。レンズ１５２，１５３の焦点距離ｆは十分に短いので、像１５７，１５８間には光路１５４，１５５の違いに応じた間隔が発生する。その被写体１５１が無限遠といえるほど遠くにあれば、像１５７，１５８それぞれの中心位置は図中の基準位置１７０，１８０になるが、被写体１５１がより近い位置にある場合は、像１５７，１５８の中心位置は位置１７０，１８０からシフトした別の位置１７１，１８１になる。ここに、位置１７０を基準とした像１５７のシフト幅をｘ1、位置１８０を基準とした像１５８のシフト幅をｘ2とすると、合計のシフト幅ｘは
ｘ＝ｘ1＋ｘ2＝ｂ・ｆ／ｄ
と表すことができる。なお、ｂはレンズ１５２，１５３間の光軸間距離即ち基線長である。この式から判るように、合計シフト幅ｘが判ればｄ＝ｂ・ｆ／ｘの演算で被写体１５１までの距離ｄも判る。図示の装置で合焦面１５６上に２個の光学センサアレイ１９０，１９１が設けられているのは、それら個別又は合計のシフト幅ｘ1，ｘ2又はｘを検出するためである。これらのアレイ１９０，１９１はいずれも光学センサ例えばＣＣＤ（電荷結合素子）デバイスを複数個有しており、それらのセンサは画像のうちそのセンサに入射した部分の光強度を表すアナログの光起電信号を出力する。特許文献１には、その特徴たる高速測距回路のほか、左側の光学センサアレイに発するディジタル画像信号からなる画像信号列と、右側の光学センサアレイに発するディジタル画像信号からなる画像信号列とを対比することにより、それらの間の合計シフト幅ｘを求める従来回路が示されている。
【０００８】
基本的には、この合計シフト幅ｘが判れば、レンズ間距離ｂ及び焦点距離ｆを参照し三角測量の原理で被写体１５１までの距離ｄを求めることができ、その結果に基づき可調焦点レンズの焦点ポジションを調整することで最良画質に近づけることができる。本件技術分野で既知の如く、この調整には、デュアルレンズレンジファインダモジュールにおける被写体距離計測値と、スルーザレンズオートフォーカスシステムで調べた最良合焦時の焦点ポジションと、を関連付ける校正曲線が使用される。使用する校正曲線は、数式又はルックアップテーブルの形態でカメラ又はそのマイクロプロセッサに実装される。
【０００９】
こうしたレンジファインダオートフォーカスシステムには、例えばその応答時間が０．０１〜０．０５秒のものもある等、非常に高速であるという長所がある。反面、一部のレンジファインダオートフォーカスシステムでは、その稼働条件の変化に応じ合焦品質が変化する。例えば、ソニックレンジファインダオートフォーカスシステムでは、投射した音響信号がガラス窓を透過できずにガラス面上に合焦してしまう。デュアルレンズレンジファインダオートフォーカスシステムでは、温度、湿度等の環境条件における変化でその測距精度が左右されることが多い。即ち、デュアルレンズレンジファインダモジュールを使用する上で問題になるのは、そのモジュールと可調焦点レンズのポジションとの間の校正関係が、通常のディジタルカメラ稼働環境の範囲内で安定とはいえないことである。デュアルレンズレンジファインダモジュールで得られる光景内被写体距離計測値は、温度、湿度等の環境条件が変化すると１０％以上も変化することがある。加えて、撮像用レンズ系を構成する可調焦点レンズのポジションについての計測値にも環境性の計測値変動が生じやすいので、レンズ制御系でも環境性の誤差が発生する。そのため、ディジタルカメラ内オートフォーカス動作をデュアルレンズレンジファインダモジュールだけに担わせることは少ない。デュアルレンズレンジファインダモジュールで焦点を粗調整しスルーザレンズオートフォーカスシステムでそれを補う構成の方が多い。
【００１０】
そのスルーザレンズオートフォーカスシステムでは、可調焦点レンズの焦点距離を複数通りに変化させつつ撮影を行い、それによって得られた一群のオートフォーカス用画像を解析することによって、合焦状態を判別する。例えば、一般的なスルーザレンズオートフォーカスシステムでは、可調焦点レンズのポジションをいわゆるヒルクライム法に従い複数通りに変化させつつ複数枚例えば５〜１０枚のオートフォーカス用画像を撮影する。ヒルクライム法と呼ばれる所以は、この手法で使用する合焦状態評価値が、あるところで丘（ヒル）のピークを迎えるまで増加し続けることにある。言い換えれば、レンズ焦点ポジションを自動調整し、その画像のエッジディテール乃至特定領域のコントラスト値が最大になるように導くからである。例えば、個々のオートフォーカス用画像におけるコントラスト値を調べ、それらのなかで最大のコントラスト値を呈したオートフォーカス用画像を以て、最良合焦条件で撮影された画像であると見なすようにする。このとき、オートフォーカス用画像間のコントラスト値補間によって、最良合焦になるレンズポジションをより精細に求めることもある。
【００１１】
また、合焦精度を犠牲にすることなく合焦動作の応答時間を短縮するため、一般に、動画信号中の高周波成分を分離するフィルタだけでなく低周波成分を分離するフィルタも用いられている。例えば、まず最良合焦からかけ離れているときは低周波域内粗調整用ステップ幅でレンズを素早く動かし、最良合焦に近づいたら高周波域内精密調整用ステップ幅でレンズを動かすようにする。図２８に、コントラスト値比較による従来のヒルクライムオートフォーカスアルゴリズムの流れを示す。このアルゴリズムでは、コントラスト値を用い且つ図２９に示す要領に従い上述のヒルクライムオートフォーカスを実行する。図２９は、諸フィルタから得られる合焦状態評価値とレンズポジションとの関係を示す図である。その横軸は可調焦点レンズの距離方向沿い合焦ポジションを、縦軸は合焦状態評価値をそれぞれ表している。曲線Ａは最良合焦ポジションＰを基準とした高周波成分用合焦状態評価値、曲線Ｂは同じく低周波成分用合焦状態評価値である。
【００１２】
このアルゴリズムを実行する際には、例えば、その可調焦点レンズの現在の焦点距離とｆナンバに従い現設定下での過焦点距離を決め、その距離を開始点として図２８に示す流れによる手順を実行すればよい。開始点は、通常は２ｍ程度の距離となる。次いで、低域通過フィルタをロードして（ステップ１９７）合焦状態評価値を取得しその値を比較する（ステップ１９８）。更に、合焦状態評価値が増加するよう比較の結果に基づき焦点距離調整方向を設定し、レンズがいつ“丘”を越えるかを判別する。更に、現在の焦点距離及びｆナンバにより決まる視界深さに基づきステップ数を決め、そのステップ数だけ手前の焦点ポジションにて、低域通過フィルタを用い次のフレームを撮影する。この動作を続けると、いずれは図２９中に曲線Ｂで示した“丘”のピークを越える。そうしたら、高域通過フィルタをロードし（ステップ１９９）、図２９中に曲線Ａで示した更に高い“丘”のピークに達するまで、そのレンズの焦点距離を逆方向に変化させるようにする。そのピーク値としては、多数の画素から合焦状態評価値の加重平均値を求めてもよいし、それらの合焦状態評価値の最頻値を求めてもよい。
【００１３】
こうしたスルーザレンズオートフォーカスシステムは、高品質な撮像用レンズで撮影したオートフォーカス用画像から直に合焦品質を求めるため非常に高精度であるが、残念なことに、多数のオートフォーカス用画像を撮影して比較しなければならないため焦点設定の画定がやや遅くなる。例えば、合焦条件決定に０．５〜２．０秒もかかるスルーザレンズオートフォーカスシステムもある。
【００１４】
そのため、一部のディジタルカメラでは、これら二種類のオートフォーカスシステムを併用するハイブリッドシステムが使用されている。例えば、レンジファインダオートフォーカスシステムを用い可調焦点レンズの焦点ポジションを粗決定し、次いでスルーザレンズオートフォーカスシステムを用いそれを精密決定する、といったシステムである。例えば特許文献２（名称：光学機器焦点調整用合焦装置(Focusing Apparatus for Adjusting Focus of an Optical Instrument)、発明者：Misawa、発行日：２００５年３月８日）に記載の装置では、レンジファインダオートフォーカスシステムとスルーザレンズオートフォーカスシステムが併用されている。即ち、この文献に記載の装置では、まず、撮像に使用する可調焦点レンズの焦点ポジションをレンジファインダオートフォーカスシステム及びスルーザレンズオートフォーカスシステムの双方で導出し、両者の差分を求めて後刻使用に備えその情報を保存する。後に画像を撮影する際には、その可調焦点レンズが被写体に対し最良合焦する焦点距離を決定するのに何枚のオートフォーカス用画像を撮影すべきか、即ち何枚のオートフォーカス用画像をスルーザレンズオートフォーカスシステムでヒルクライム法に従い処理すべきかを、保存しておいた差分情報に基づき決定する。従って、オートフォーカス用画像の撮影及び処理枚数を、レンジファインダが正確になるケースな状況で減らし不正確になるケースで増やすことができる。ただ、この文献に記載の手法では、時間が経過しまた環境条件が変化してもレンジファインダ、撮像用可調焦点レンズ系及び制御系の性能に変化、ばらつき、変転等が生じないものと仮定している。
【００１５】
また、ヒルクライム法では、通常、被写体への合焦後も、その付近を前後するよう焦点距離をステッピングさせる動作を続ける。離焦した場合、ヒルクライム法では、どちらの方向にレンズのポジションを動かせば“丘”を登る（下る）こととなるのかを判別し、合焦状態評価値の新たなピーク値を見つけてレンズポジションを再設定するのが普通である。実際には、このようにしてしまうと、レンズポジションのステッピングで“丘”を下ることとなったときに、レンズポジションの変化方向が直ちに反転して既存被写体に係る新たなピーク値のサーチが始まってしまう。そうした挙動は特に動画撮影時に問題になる。例えば、既存の被写体からある程度離れた場所に新たな被写体が登場しその被写体が視野内に入ってきたときでも、またその新たな被写体がコントラスト値上でより高い“丘”を呈していても、ヒルクライム法ではその被写体を検出することができない。この問題に対する措置方法の一つとして、その撮像用レンズ系で捉えうる限りの全距離範囲をオートフォーカスモジュールで眺めた後に焦点距離を決定する、というホールウェイ（全行程式）オートフォーカス法が知られている。
【００１６】
例えば特許文献３（譲受人：本願出願人と同一）では、ホールウェイオートフォーカス法を実行するため、焦点距離可調域全域に亘りそのポジションを変化させうる可調焦点レンズ、そのレンズ越しに入射してくる光を信号に変換する変換素子、並びにそのレンズのポジションを動かすレンズ駆動機構を備える合焦装置を使用している。また、この合焦装置は、変換素子から得られる信号に基づき且つ可調焦点レンズが採りうる焦点距離毎に合焦状態評価値を算出する合焦状態評価値算出ユニットも備えている。その合焦状態評価値算出ユニットでは、まずその視野の中央部等、特定の合焦対象域に属する画素に係る信号のみを取り出し例えば９個のタイルに分割する。タイルとは、少数の行、少数の列を形成するよう合焦対象域の分割で複数個得られるブロックのことであり、合焦状態評価値の算出は個々のタイル毎に行われる。
【００１７】
その合焦状態評価値算出に当たっては、まず、合焦状態評価値算出の焦点距離別繰返し実行回数が所定回数例えば１０回を超えたか否かを判別する。超えたとの結果が得られるまでは、可調焦点レンズのポジションを所定のステップ幅単位で変化させつつ算出を繰り返す。即ち、可調焦点レンズのポジションを無限遠相当から至近距離まで常にある刻みで変化させステップ毎に各タイルの合焦状態評価値を算出する、という動作を繰り返す。この繰返し算出をタイル毎に実行することで、１０通りのレンズポジションについて９個あるタイルそれぞれの合焦状態評価値を得ることができる。そのなかには、その距離域に現れるピークが全て含まれているはずである。次いで、レンズポジション毎に合焦状態評価値を総和して１０通りの総和値を算出し、最大のピークを呈するポジションを以て最良合焦ポジションと推定する。そして、レンズ駆動機構にレンズ駆動信号を供給することで、レンズポジションをその最良合焦ポジションへと変化させる。
【００１８】
また、その光学ズーム域が広く且つ小型なディジタルカメラを実現するため、複数個のイメージセンサ及びその焦点距離が異なる複数個のレンズをカメラ上に搭載する、という手法が、米国特許出願第１１／０６２１７４号（名称：レンズ及びイメージセンサを複数個有する広ズーム域ディジタルカメラ(Digital Camera Using Multiple Lenses and Image Sensors to Provide an Improved Zoom Range)、発明者：Labaziewicz et al.、譲受人：本願と同一、出願日：２００５年２月１８日、この参照を以てその内容を本願に繰り入れる）にて提案されている。更に、例えばＫｏｄａｋ（登録商標）Ｅａｓｙｓｈａｒｅ（登録商標）Ｖ６１０型のデュアルレンズディジタルカメラでは、３８〜１１４ｍｍ（３５ｍｍ判換算値）の焦点距離乃至画角及びｆ／３．９〜ｆ／４．４のｆナンバを有するレンズと、１３０〜３８０ｍｍ（３５ｍｍ判換算値）の焦点距離乃至画角及びｆ／４．８のｆナンバを有するレンズとを使用することで、１０倍の光学ズーム域を提供している。しかしながら、上記出願に記載のカメラでもこの製品でも、いちどきには１個しかイメージセンサを使用しない。即ち、２個のイメージセンサでの同時撮像は行わない。
【００１９】
特許文献７（発行日：２００３年１月３０日）にも、撮像用光学系及びそれに結合するＣＣＤ型イメージセンサを各複数個備え、撮像用光学系間に焦点距離の長短がある撮像装置が記載されている。例えば、固定焦点距離レンズとズームレンズを併用する構成や、その焦点距離に違いのある２個の固定焦点距離レンズを使用する構成等、その焦点距離が異なる２個のレンズを使用する構成である。いずれにせよ、この文献に記載されている種々の装置では、撮影条件取得ユニットが距離、光量等の撮影条件を調べ、その結果に基づき選定ユニットがいずれか１個の撮像用光学系の出力を自動で（即ちユーザからの入力に拠らず）選択する。この方式によるオートフォーカスの実行には別体の距離センサが必要になる。２個あるＣＣＤ型イメージセンサのどちらも、このオートフォーカス動作には関与していない。
【００２０】
特許文献８（発行日：２００３年８月２３日）にも、互いに独立に稼働する２個の撮像系を備えたディジタルカメラが幾例か記載されている。そのうちのある例では、２個ある撮像系のうち１個に固定焦点距離レンズを組み込み通常モード用撮像系とする一方、もう１個の撮像系にズームレンズを組み込み望遠モード用撮像系としている。どちらの撮像系でも画像を得ることができ、ユーザは、どちらの撮像系を撮像に使用するかを切替スイッチ操作で選ぶことができる。更に、オートフォーカスもそれらの撮像系で実行されている。即ち、一方の撮像系についてコントラスト値比較ヒルクライムオートフォーカス法を適用し、その結果を他方の撮像系に援用する、という仕組みで行われている。例えば、ユーザから望遠モード用撮像系による撮像が指示されたら、まず、ステッピングモータを数ステップ飛ばしで駆動しつつ、その視界深さが深めな通常モード用撮像系を用い粗オートフォーカスサーチを実行する。この粗オートフォーカスサーチによって、最良合焦ポジションを取りこぼさずに合焦対象域を狭めることができる。次いで、通常モード用撮像系で取得した合焦対象域情報に基づき望遠モード用撮像系を駆動することにより、先の動作で狭まった合焦対象域の一端を、精密オートフォーカスサーチの始点に設定する。更に、その視界深さが浅めな望遠モード用撮像系を用い、且つ通常モード用撮像系によるサーチで既に狭められている合焦対象域に的を絞って、その精密オートフォーカスサーチを実行する。なお、ユーザから通常モード用撮像系による撮像が指示された場合は、通常モード用撮像系のみでオートフォーカスサーチを行う。望遠モード用撮像系はこの動作に与しない。
【００２１】
また、特許文献８に記載されている別の例では、このように大まかなサーチと精細なサーチの併用に頼るのではなく、第１撮像系内可調焦点レンズのポジションを無限遠相当から至近距離へとステップ的に変化させることで、コントラスト値比較ヒルクライム法による第１のサーチを実行する一方、第２撮像系内可調焦点レンズのポジションを至近距離から無限遠相当へとステップ的に変化させることで、コントラスト値比較ヒルクライム法による第２のサーチを実行する。この動作はコントラスト値がピーク値になった時点で終了することができ、どちらの撮像系でもその全域に亘りレンズポジションを動かしきる必要がないので、多くの場合、最良合焦ポジションを割合に短時間で見つけることができる。また、この例では、個々の撮像系に撮像及び焦点調整の双方を行わせることが可能であるほか、一方の撮像系にだけ撮像及び焦点調整の双方を行わせ、他方の撮像系には当該一方の撮像系向けの焦点調整を支援させることも可能である。更に、撮像を行わせない方の撮像系でまず焦点ポジションを選定し、撮像を担う方の撮像系のポジションをそのポジションに変化させ、更に後者の撮像系で精細な調整を行う、といったことも可能である。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】米国特許第４６０６６３０号明細書
【特許文献２】米国特許第６８６４４７４号明細書
【特許文献３】米国特許第６４４１８５５号明細書
【特許文献４】米国特許第５８７４９９４号明細書
【特許文献５】米国特許第５６６８５９７号明細書
【特許文献６】米国特許出願公開第２００６／０１８７３１２号明細書
【特許文献７】米国特許出願公開第２００３／００２０８１４号明細書
【特許文献８】米国特許出願公開第２００３／０１６０８８６号明細書
【特許文献９】米国特許出願公開第２００６／０１９３５０９号明細書
【特許文献１０】米国特許第６６９７５７３号明細書
【特許文献１１】米国特許出願公開第２００６／０００１７５７号明細書
【特許文献１２】米国特許出願公開第２００６／０２０４０３４号明細書
【特許文献１３】国際公開第ＷＯ０２／０８６８５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００２３】
このように、従来技術に係る諸オートフォーカスシステムは、オートフォーカス用センサを別途設けねばならずコストが嵩むという問題を抱えている。さもなければ、撮像用センサと同じセンサを用いオートフォーカスを実行するためシャッタ遅延が長くなりやすいという問題を抱えている。更に、その別体のオートフォーカス用センサとしてはレンジファインダが使用されることが多いが、前述の通り、デュアルレンズレンジファインダモジュール・可調焦点レンズポジション間の校正時の関係は、通常のディジタルカメラ稼働環境内でも安定に保たれるわけではない。また、スルーザレンズオートフォーカス法を実行する撮像システムでは、多数のオートフォーカス用画像を撮影して比較しなければならないため、最良合焦ポジションを見つけるのに結構時間がかかることがある。この問題は前掲の特許文献８に記載の手法で僅かに緩和されるが、その構成でも、被写体が切り替わったり移動したりしたときに焦点ポジションを迅速に決定するのはやはり難しく、また一方の撮像系から他方の撮像系へと撮像の役目を交代させるようユーザから指示を受けたときに撮像系間で合焦状態を迅速に交換するのも難しい。
【００２４】
動画撮影時には次のような問題も生じる。即ち、動画を構成する複数個のフレームからオートフォーカス用画像となる静止画を採取してオートフォーカスを実行するので、光景変化のたびにその動画中の５〜２０フレーム分又はそれ以上が離焦した動画となってしまう。例えば、カメラをパンさせながら動画を撮影すると、視野内に映る光景が絶え間なく変化するのでオートフォーカスシステムによるサーチに時間が食われ、その動画のうちのかなりの部分が離焦状態になってしまうことがある。動画撮影時には、更に、ヒルクライムオートフォーカスシステムを使用すると多くのフレームが離焦状態になるという問題も発生しうる。
【００２５】
「レンズ及びイメージセンサを複数個有する高合焦能力カメラ」(Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability)と題する米国特許出願（未付番、出願人側整理番号：９３２３１、発明者：John Border et al.、出願人：本願と同一、出願日：本願と同日）では、上掲の諸問題に対処するため、一方の撮像部でオートフォーカス動作を実行しつつ他方の撮像部で静止画又は動画の撮影を行えるよう、同じ光景の画像を個別に撮影できる複数個の撮像部を備えたマルチレンズディジタルカメラを提案している。この手法であれば、静止画モード及び動画モードのいずれでも精密且つ迅速なオートフォーカスを実行することができる。それでいて、無闇に大型又は高価なディジタルカメラになるようなこともない。
【００２６】
例えば、この米国特許出願に記載されている例では、カメラ上に互いに別体に設けられている２個の撮像部で一種のレンジファインダを形成し、そのうちの本撮影用撮像部を自オートフォーカスさせている。また、オートフォーカスに限らず、この手法によれば、光景内諸点までの距離を画像から識別してマッピングする等、諸画像を利用した様々な処理を実行することができる。そのため、複数個の撮像部を備えるディジタルカメラにおいて、それらの撮像部からの出力を併用し距離マップを作成する機能を実現することによって、測距能力が向上且つ拡張されたカメラを実現することが求められている。
【００２７】
本発明の目的の一つは、撮影対象となる光景内の諸点までの距離を計測できる高性能なマルチレンズディジタルカメラを提供することにある。
【００２８】
本発明の目的の一つは、撮影対象光景内諸点までの距離に基づき距離マップを生成する機能を提供することにある。
【００２９】
本発明の目的の一つは、その距離マップを参照し光景内諸点のＧＰＳ(Global Positioning System)座標値を求める機能を提供することにある。
【課題を解決するための手段】
【００３０】
上述した諸課題のうち１個又は複数個を解決するため、本発明の一実施形態に係る電子カメラは、撮像出力信号に基づき視野内光景についての出力画像を生成する手段として、概略、
第１センサ出力をもたらす第１イメージセンサ及びその第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズを有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ及びその第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１及び第２センサ出力のうち一方を撮像出力信号として選定する一方、光景内諸点までの距離を指し示す距離マップを第１及び第２センサ出力双方に基づき生成する処理部と、
を備える。
【００３１】
距離マップは、例えば、第１及び第２画像を互いに関連付けることにより光景内諸点について画素オフセットを導出し、それらの画素オフセットを本カメラからの距離に換算し、そして光景内諸点までの距離を指し示す距離マップを生成する、という処理を、その処理部で実行することで生成することができる。更に、第１，第２レンズ間でその焦点距離に違いがある場合、その焦点距離が短い方のレンズからもたらされる画像を処理部でクロッピング及びアップサンプリングすることで、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めるようにすることができる。加えて、処理部では、光景内諸点についての画素オフセットを本カメラからの距離へと換算する処理を、レンジファインダ校正曲線に従い実行することができる。
【００３２】
本発明の他の実施形態に係る電子カメラは、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える。処理部では、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出することができる。更に、撮影した画像をその距離マップに基づき修正することもできる。
【発明の効果】
【００３３】
このように、本発明によれば、例えばセンサ、レンズ及びレンズ焦点調整器を有する撮像部を複数個備えるマルチレンズディジタルカメラにて、一種のレンジファインダを形成するようそれらの撮像部で同じ光景中の諸部位を個別に撮影させ、それらの撮像部で撮影された画像を互いに比較することで、光景内諸点までの距離を計測してオートフォーカス制御や距離マップ生成を行うことができる。加えて、その距離マップを参照し光景内諸点をＧＰＳ測位することができる。
【００３４】
そのため、本発明が適用されたディジタルカメラでは、好適にも、顕著な大型化及び高価格化を伴うことなく、静止画モード及び動画モードのいずれでも精密且つ迅速なオートフォーカスを実行することができる。更に、それらの撮像部で形成されるレンジファインダを使用し距離マップを生成することができ、その距離マップを参照し光景内諸点のＧＰＳ座標値を求めることができる。ＧＰＳ座標値が判れば、その光景に映っている被写体の素性を識別して目録化することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係りズームレンズ及びイメージセンサを二組備えるディジタルカメラを示すブロック図である。
【図２Ａ】図１に示したカメラの斜視外観を示す図である。
【図２Ｂ】その背面を示す図である。
【図３】図１に示したカメラで実行されるオートフォーカス及びディジタル静止画像撮影手順の例を示すフローチャートである。
【図４】２個の撮像部を用いたレンジファインダオートフォーカス手順の例を示すフローチャートである。
【図５】２個の撮像部を用いたヒルクライムオートフォーカス手順の例を示すフローチャートである。
【図６】オートフォーカス用レンジファインダ校正曲線生成手順の例を示すフローチャートである。
【図７】オートフォーカス用ヒルクライム法校正曲線生成手順の例を示すフローチャートである。
【図８】図１に示したカメラで実行されるオートフォーカス及びディジタル動画像撮影手順の例を示すフローチャートである。
【図９】２個の撮像部を用いたレンジファインダオートフォーカス手順の例を示すフローチャートである。
【図１０】２個の撮像部を用いたヒルクライムオートフォーカス手順の例を示すフローチャートである。
【図１１】２個ある撮像部を使用し距離マップを生成する手順の例を示すフローチャートである。
【図１２】本発明の他の実施形態に係り固定焦点距離レンズ、（ズーム）レンズ及び２個のイメージセンサを有するディジタルカメラを示すブロック図である。
【図１３】本発明の更に他の実施形態に係り固定焦点距離レンズ、２個の（ズーム）レンズ及び３個のイメージセンサを有するディジタルカメラを示すブロック図である。
【図１４】２個の撮像部から得られる画像を併用した画像視界深さ拡張手順の例を示すフローチャートである。
【図１５Ａ】本発明の更なる実施形態に係り２個の撮像部を備えるディジタルカメラ付携帯電話の外観を示す斜視図である。
【図１５Ｂ】同じく別方向からの外観を示す斜視図である。
【図１６Ａ】その携帯電話に搭載される２個の撮像部とそれらの撮像部が搭載される単一の基板を上から見た断面図である。
【図１６Ｂ】同じくその側面図である。
【図１７Ａ】光景内諸点までの距離を調べるため双方の撮像部で画像を撮影する実施形態にて、一方の撮像部で得られる画像の外観例を示す図である。
【図１７Ｂ】他方の撮像部で得られ図１７Ａに示した画像に対しオフセットを呈している画像の外観例を示す図である。
【図１８】本発明の一実施形態における撮影対象光景内諸点ＧＰＳ測位手順の例を示すフローチャートである。
【図１９】デュアルレンズカメラシステムに備わる２個の撮像部のうち一方を一次画像用に選定し他方を非一次画像用（例えばシーン解析対象画像用）として選定する手順の例を示すフローチャートである。
【図２０】非一次画像用撮像部でシーン解析を実行する手順の例を示すフローチャートである。
【図２１】シーン状態変化がしきい値を上回ったときに非一次画像用撮像部でシーン解析を実行する手順の例を示すフローチャートである。
【図２２】一次画像用撮像部及び非一次画像用撮像部双方でシーン解析を実行する手順の例を示すフローチャートである。
【図２３】それまで一次画像用であった撮像部がシーン解析対象画像用になりシーン解析対象画像用であった撮像部が一次画像用になるよう撮像部の用途乃至役割を入れ替える手順の例を示すフローチャートである。
【図２４】特に撮影中に、一次画像用撮像部で撮影されるプリビュー用画像に基づき一次画像用撮像部向け撮影パラメタを設定する手順の例を示すフローチャートである。
【図２５】特に撮影中に、一次画像用撮像部で撮影されるプリビュー用画像及び非一次画像用撮像部で撮影されるシーン解析対象画像に基づき一次画像用撮像部向け撮影パラメタを設定する手順の例を示すフローチャートである。
【図２６】一次画像用撮像部で撮影される一次画像及び非一次画像用撮像部で撮影される補強用画像を用いた拡張画像生成手順の例を示すフローチャートである。
【図２７】従来技術に係るデュアルレンズレンジファインダの動作を示す図である。
【図２８】従来技術に係るコントラスト値比較ヒルクライムオートフォーカス法のアルゴリズムを示すフローチャートである。
【図２９】画像組成成分分離用フィルタから得られる合焦状態評価値とコントラスト値比較ヒルクライムオートフォーカス法実行時レンズポジションとの関係を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施形態、目的、構成及び効果を上記以外のものも含めより明晰にご理解及びご評価頂くため、別紙特許請求の範囲に基づき且つ別紙図面を参照し、本発明の好適な実施形態に関し詳細に説明する。なお、撮像装置及びそれに関連する信号処理回路からなるディジタルカメラについては既に周知となっているので、以下の説明では、専ら本発明に係る装置の一部を構成し又はそれと密接に連携する部材をとりあげる。本願中に具体的な図示及び説明のない部材については、本件技術分野で既知な部材から適当なものを選んで使用すればよい。また、これから説明する部材のうち幾つかはソフトウェアで実現することができる。更に、本願中に図示や説明や示唆はなくても、本発明を実施する際に活用できる部材やソフトウェアもある。どういったものを活用できるかについては、本発明に係るシステムについての図示及び下記説明を参照することで理解でき、また本件技術分野における常識に従い判断することができる。
【００３７】
これから説明する諸実施形態では、ディジタルスチルカメラ、ディジタルビデオカメラ、ディジタルスキャナ等の撮像アセンブリに、それぞれレンズ及びイメージセンサを有する撮像部を複数個設け、更にそれら撮像部間でレンズの焦点距離を違えることで、その光学ズーム域が広い撮像アセンブリを実現している。本発明によれば、複数個の撮像部を活用して測距能力を高めることができる。撮像だけでなくオートフォーカスにも撮像部を活用できるのでオートフォーカス専用のモジュールは不要で、安価且つ小型な撮像モジュールで足りる。それでいて、撮像で得られる静止画や動画は従来より鮮明に、オートフォーカスシステムの応答は従来より高速になる。加えて、オートフォーカスに使用した画像と同じ画像を、本発明に係る手順による距離マップ生成にも使用することができる。
【００３８】
それらの実施形態のうち幾つかでは、撮像部のうち１個で静止画や動画のディジタル撮影を行いながら、他の１個で高度なオートフォーカス、二次画像生成、距離マップ生成等といった他種動作を実行する。例えば、ユーザが設定したズームポジションが第１光学ズーム域に属しているとき、第１光学ズーム域をカバーしている第１（ズーム）レンズ付第１撮像部で静止画又は動画を本撮影する一方、その第１撮像部向けのオートフォーカス用画像を第２撮像部で撮影する。本撮影の役目を負わない第２撮像部は広範囲に亘りその合焦条件を変化させることができる。例えば、ヒルクライムオートフォーカス法に従いコントラスト値がピークになる焦点距離付近でレンズの焦点距離を変化させることや、ホールウェイオートフォーカス法に従い至近距離から無限遠相当までレンズの焦点距離を変化させることができる。これによって、第１撮像部内第１レンズが最良合焦する設定を、第１撮像部で撮影される画像の合焦品質に悪影響を及ぼすことなく逐次検出することができる。最良合焦条件に変化が生じたことが第２撮像部で察知されたら、第１撮像部の合焦条件をそれまでの最良合焦条件から新たな最良合焦条件へと変化させる。
【００３９】
ユーザがこの撮像アセンブリに対するズームポジションの設定を調整し第２光学ズーム域内のポジションに変化させたときには、カメラ内で自動的に、第２（ズーム）レンズ付第２撮像部を本撮影用に切り替え、またその第２撮像部向けのオートフォーカス用画像を第１撮像部で撮影する動作を開始させる。両者のレンズはその焦点距離ひいては倍率が違うので、その違いに応じオートフォーカス判別用ディジタルフィルタに調整を施すことで、それらレンズ間の倍率差を補償する。
【００４０】
この構成の変形例としては、撮像部２個の連携で、デュアルレンズレンジファインダに似ているが更に高分解能なレンジファインダを形成する構成がある。高解像度の撮像部を２個使用し、互いに別の撮像部に属するレンズ同士の間隔を大きめにとることで、そうした高分解能を実現することができる。この構成では、コントラスト値比較ヒルクライム法による精密なオートフォーカス動作をどちらかの撮像部により行った上で、両撮像部を差分モードの高分解能レンジファインダとして稼働させることで、静止画若しくは動画のディジタル撮影を開始する前又は動画のディジタル撮影を実行している最中に、視野内被写体までの距離に生じた変化のうち再合焦を要する変化を検出することができる。こうしてレンジファインダを差分モードで稼働させることで、先に合焦させたポジションから最近の変化後のポジションへの距離変化を吸収し、レンジファインダの測距精度に対する環境変動の影響を打ち消すことができる。
【００４１】
また、コントラスト値比較ヒルクライム法によるオートフォーカス動作を複数個の撮像部で同時に実行した後、それらの撮像部のうち１個例えば第１撮像部で静止画又は動画のディジタル撮影を行いつつ、別の１個例えば第２撮像部で画像内コントラスト計測により継続的に合焦状態チェックを行う、という構成にすることもできる。この構成では、コントラスト計測値に変化が生じたとき第２撮像部でコントラスト値比較ヒルクライム法に従いオートフォーカス動作を再実行し、このオートフォーカス動作で判明する合焦状態変化に比例するよう第１撮像部焦点を変化させる。即ち、この構成でも、差分モードによる合焦状態変化検出をヒルクライムオートフォーカス動作で得られる被写体距離に基づき実行し、そのオートフォーカス動作の精度を高めることができる。
【００４２】
また、従来技術の欄で述べた通り、動画を撮影する際には、動画を構成する複数個のフレーム乃至静止画からオートフォーカス用画像を採取してオートフォーカスを実行するため、また特別な問題が発生する。例えば、カメラをパンさせながら動画を撮影すると視野内光景が絶え間なく変化するので、オートフォーカスシステムによるサーチに時間がかかり、その動画のうちのかなりの部分が離焦状態になってしまう。更に、ヒルクライムオートフォーカスシステムを使用すると多くのフレームが離焦状態になる。これは、前述の通り、ある種の状況下での合焦条件変化、例えば光景内で注目被写体が急峻に横移動したこと等を、ヒルクライム法ではうまく認識できないためである。
【００４３】
この問題に対しては、前述した構成を変形して得られる次の構成で対処することができる。この構成では、第１ズームレンズ及び第１イメージセンサを有し第１光学ズーム域を担当する第１撮像部と、第２ズームレンズ及び第２イメージセンサを有し第２光学ズーム域を担当する第２撮像部と、を使用する。更に、ユーザが設定したズームポジションが第１光学ズーム域に属しているときに、第１撮像部の焦点距離を初期値に設定して画像例えば動画の本撮影を行わせるのと同時に、第２撮像部をホールウェイオートフォーカス法に従い稼働させて継続的に画像を取得し、第２撮像部で取得した画像に基づき被写体移動に関する判別を行い必要なら第１ズームレンズの焦点距離を調整する。第２ズームレンズ及び第２イメージセンサは画像撮影を担当していないので、その焦点距離を至近距離から無限遠相当まで変化させることで、最良合焦となる焦点設定を、本撮影で得られる動画に影響を及ぼすことなく求めることができる。また、ユーザがズームポジションを調整し第１光学ズーム域外にしたとき、カメラ内で自動的に、第２撮像部の動作を第２ズームレンズ及び第２イメージセンサを用いた動画撮影に切り替え、また第１撮像部が第１レンズ及び第１イメージセンサで画像を撮影して被写体移動に関する判別を行い必要なら第２ズームレンズの焦点を調整する、という動作を開始する。
【００４４】
更に、撮像部を２個連携させて高分解能レンジファインダを形成し、そのレンジファインダで光景内諸点までの距離を調べ、その結果から距離マップを生成することもできる。生成した距離マップは、撮像出力信号乃至出力画像の修正（拡張）に利用することができる。例えば、画像処理性能向上による画質の向上、画像内被写体の識別、画像からの被写体抽出、複数画像に亘る被写体モーションの追跡、所望視界深さ外部分のぼかしによる画像視界深さ変更、画像のダイナミックレンジの拡大、フラッシュ使用由来の露出問題の抑制、画像内シーンバランスの改善等を距離マップで実現することができる。
【００４５】
こうして２個の撮像部からの画像に基づき生成された距離マップは、光景内諸点までの距離を識別するのに使用することができる。例えば、そのカメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニット、並びにそのカメラの指向方向を検出する電子コンパスを備えるカメラ上で、そのカメラのＧＰＳ座標値及び指向方向に加え、距離マップから得られる距離オフセットを利用することで、光景内諸点のＧＰＳ座標値を導出することができる。
【００４６】
そして、第１ズームレンズ及び第１イメージセンサを備える第１撮像部をある焦点距離（一次焦点距離）にセットして静止画たる一次画像を撮影する動作と、第２ズームレンズ及び第２イメージセンサを備える第２撮像部を別の焦点距離（二次焦点距離）にセットして静止画たる二次画像を撮影する動作とを同時に実行し、第１撮像部から得られる一次画像出力を第２撮像部から得られる二次画像出力に基づき修正して拡張版の一次画像を生成する、といった構成にすることもできる。こうして二次画像を利用することにより、例えば、一次画像のうち二次焦点距離近傍部分を鮮明化した画像、一次画像のダイナミックレンジを修正した画像等、様々な拡張画像を生成することができる。
【００４７】
図１に、本発明の一実施形態に係る撮像アセンブリ１０Ａのブロック構成を示す。このアセンブリ１０Ａは、撮影時や画像表示時にユーザが容易に取り扱えるよう十分小さく構成されていてバッテリで稼働する携帯型の装置、具体的にはディジタルカメラであり、静止画及び動画を撮影する機能やその画像をリムーバブルメモリカード５４上に保存する機能を備えている。但し、静止画だけ或いは動画だけしか撮影・保存できないディジタルカメラで、或いはディジタルカメラ以外の装置で本発明を実施することもできる。
【００４８】
この撮像アセンブリ１０Ａは、まず２個のズームレンズ付撮像部１，２を備えている。これらの撮像部１，２のうち画像の本撮影に使用されるもの、即ちその出力が画像としてリムーバブルメモリカード５４上に保存されうるものは、大抵の場合はいちどきに１個だけである。第１撮像部１内の第１ズームレンズ３は視野内光景を捉え第１イメージセンサ１２上に像を発現させるためのレンズであり、第１レンズ焦点調整器例えばズーム／フォーカスモータ５ａによる制御を受けている。第２撮像部２内の第２ズームレンズ４は視野内光景を捉え第２イメージセンサ１４上に像を発現させるためのレンズであり、第２レンズ焦点調整器例えばズーム／フォーカスモータ５ｂによる制御を受けている。図示しないが、どちらのレンズ３，４にも可調絞り／シャッタアセンブリが設けられており、そのアセンブリでセンサ１２，１４の露出レベルを制御することができる。
【００４９】
図２Ａ及び図２Ｂにこの撮像アセンブリ１０Ａの斜視外観を示す。図２Ａはこのカメラ１０Ａを斜め前から見た図であり、ズームレンズ３，４及びフラッシュ４８が手前に見えている。図２Ｂはこのカメラ１０Ａを斜め後ろから見た図であり、カラー液晶型画像表示部７０に加えて複数個のユーザ操作子４２が手前に見えている。操作子４２のうちシャッタボタン４２ａを操作すると画像撮影手順が実行され、ズームボタン４２ｃを操作することでズーム設定を選択することができ、またマルチポジションセレクタ４２ｄを操作することで画像による操作ガイドやメニュー型の選択肢を表示部７０の画面上に表示させることができる。
【００５０】
撮像部１，２は図１に示した通りズームレンズ３，４及び対応するイメージセンサ１２，１４から構成されており、そのレンズ３，４の位置は図２Ａに示した通り互いに上下方向にずらされている。但し、この構成は一例であり、レンズ３，４の位置を他方向例えば横方向に沿ってずらすことも、レンズ３，４のうち一方又は双方を固定焦点距離レンズに置き換えることもできる。いずれにせよ、レンズ３及びセンサ１２の光軸とレンズ４及びセンサ１４の光軸とが概ね揃っていれば、撮像部１，２間にしばしば視野相違が生じるものの、その点を除けばほぼ同一光景の像をセンサ１２，１４上に発現させることができる。なお、光学部品の構成については、前掲の米国特許出願第１１／０６２１７４号（譲受人：本願出願人と同一、この参照を以てその内容を本願に繰り入れる）中にも、複数個の撮像部を用いる構成が何例か示されている。更に、撮像部１，２内のレンズ３，４を通る光路に屈曲をつけ、撮像部１，２全体の寸法乃至形状を変化させることも可能である。但し、これは本発明の実施に当たり必須のことではない。
【００５１】
イメージセンサ１２，１４は、周知のベイヤカラーフィルタパターンを配した単一チップカラーメガピクセルＣＣＤセンサである。但し、ＣＭＯＳセンサ等の他種センサでも、またストライプフィルタ等の他種カラーフィルタアレイでも、本発明を実施する上で支障はない。また、センサ１２，１４としては様々なアスペクト比のセンサを使用することができる。例えば、撮像領域のアスペクト比が４：３のものを使用するとよい。更に、センサ１２，１４としては様々な解像度のセンサを使用することができる。例えば、アクティブ画素カラム２８４８本×アクティブ画素ロー２１４４本、総実効画素数６．１メガピクセルのものを使用するとよい（１メガピクセル＝百万画素）。しかも、センサ１２，１４を互いに同一の仕様にする必要もない。例えば前掲の米国特許出願第１１／０６２１７４号（譲受人：本願出願人と同一）に例示されている構成に倣い、センサ１２，１４間でサイズ、解像度、色フィルタアレイ、スペクトル感度、アスペクト比等を違えてもよい。
【００５２】
これらのイメージセンサ１２，１４は、制御プロセッサ／タイミング発生器４０から対応するクロックドライバ１３，１５への信号供給によって制御されている。制御プロセッサ／タイミング発生器４０は、このほか、ズーム／フォーカスモータ５ａ，５ｂ、自動露出検出器４６、ユーザ操作子４２、ディジタルマルチプレクサ型制御素子（ディジタルＭＵＸ）３４，３６、並びにフラッシュ４８の発光による光景照明動作も制御する。操作子４２は、先に図２Ｂを参照して説明した通り、このディジタルカメラ１０Ａの動作を操作する際に使用される。
【００５３】
第１イメージセンサ１２からの出力１２ｅは、第１アナログ信号プロセッサ（ＡＳＰ）２２によって増幅及びアナログ／ディジタル（Ａ／Ｄ）変換される。それにより得られたディジタルの第１センサ出力１２ｅは、ディジタルＭＵＸ３４，３６双方の第１入力端に供給される。同様に、第２イメージセンサ１４からの出力１４ｅは、第２ＡＳＰ２４によって増幅及びＡ／Ｄ変換される。それにより得られたディジタルの第２センサ出力１４ｅは、ディジタルＭＵＸ３４，３６双方の第２入力端に供給される。第１ディジタルＭＵＸ３４は、センサ１２，１４の出力１２ｅ，１４ｅのうちいずれかを撮像出力信号として選定するための部材である。第２ディジタルＭＵＸ３６は、センサ１２，１４の出力１２ｅ，１４ｅのうちいずれかをオートフォーカス用画像信号として選定し、イメージプロセッサ５０に供給するための部材である。
【００５４】
制御プロセッサ／タイミング発生器４０は、それらディジタルＭＵＸ３４，３６を制御することによって、ディジタルのセンサ出力１２ｅ，１４ｅのうち一方を撮像出力信号、他方をオートフォーカス用画像信号に選定する。ＭＵＸ３４で選定された方のセンサ出力は、一時的にＤＲＡＭ型バッファメモリ３８上に保存された後イメージプロセッサ５０によって処理される。この処理によって、静止画又は動画を表すディジタルデータを含むディジタル画像ファイルが生成される。また、ＭＵＸ３６で選定された方のセンサ出力は、そのプロセッサ５０にて、後に図４〜図７を参照して後述するオートフォーカス計算に使用される。
【００５５】
そのイメージプロセッサ５０は、あらまし、相応の焦点検出信号を発生させて第１及び第２レンズ焦点調整器即ちズーム／フォーカスモータ５ａ，５ｂを駆動する。即ち、このプロセッサ５０は、制御プロセッサ／タイミング発生器４０と協働し、（ａ）第１撮像部１からのセンサ出力１２ｅを撮像出力信号として選定する一方第２撮像部２からのセンサ出力１４ｅに基づき撮像部１向けの第１焦点検出信号を生成する動作か、或いは（ｂ）撮像部２からのセンサ出力１４ｅを撮像出力信号として選定する一方撮像部１からのセンサ出力１２ｅに基づき撮像部２向けの第２焦点検出信号を生成する動作か、そのいずれかを実行する。更に、モータ５ａ，５ｂのうち撮像出力信号取得用に選定された方の撮像部に係るモータをその焦点検出信号に基づき駆動することによって、その撮像部の焦点を調整し撮像出力信号となるセンサ出力を発生させる。
【００５６】
イメージプロセッサ５０は、フラッシュ型ＥＰＲＯＭ等のファームウェアメモリ５８上に存するファームウェアの管理下で、またＲＡＭ型メモリ５６を中間処理結果保存用のメモリとして使用しつつ、ＤＲＡＭ型バッファメモリ３８上に存するディジタルの撮像出力信号を処理し、その処理で生成した出力画像に係るディジタルファイルをメモリカードインタフェース５２経由でリムーバブルメモリカード５４上に保存する。このメモリカード５４としては、その物理的形態が異なる様々なリムーバブルディジタル画像記憶媒体を使用することができる。例えば、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＳｍａｒｔＭｅｄｉａ（登録商標）、ＭｅｍｏｒｙＳｔｉｃｋ（登録商標）、ＭｕｌｔｉｍｅｄｉａＣａｒｄ（登録商標）、ＳＤ（登録商標）、ｘＤ（登録商標）等の周知メモリカードフォーマットによるものをはじめとして、様々なメモリカードを使用することができる。更に他のリムーバブルディジタル画像記録媒体、例えば磁気ハードディスク、磁気テープ、光ディスク等に、静止画や動画を保存してもよい。そして、そのディジタルカメラ１０Ａに図示しない内蔵型不揮発性メモリ例えばフラッシュ型ＥＰＲＯＭを搭載しておき、生成したディジタル画像ファイルをそのメモリ上に保存するようにしてもよい。この構成では、メモリカード５４やそれ向けのインタフェース５２は不要になる。
【００５７】
イメージプロセッサ５０は、更に、ＧＰＳユニット５７から供給される信号に基づき任意時点におけるカメラ１０ＡのＧＰＳ測位結果、例えば撮影時点でのＧＰＳ座標値を識別する。プロセッサ５０は、また、電子コンパス５９から供給される信号に基づき任意時点、例えば画像撮影時におけるそのカメラ１０Ａの指向方向を識別する。プロセッサ５０は、更に様々な画像処理機能を担っている。その一つは、色補間及びそれに続く色／階調補正によってｓＲＧＢフォーマットの画像データを生成するレンダリング機能である。生成されたｓＲＧＢフォーマットの画像データは、ＪＰＥＧ圧縮後にＪＰＥＧ画像ファイルとしリムーバブルメモリカード５４上に保存することや、ホストインタフェース６２に供給しＳＣＳＩ接続、ＵＳＢ（商標）接続、Ｆｉｒｅｗｉｒｅ（登録商標）接続等相応の接続手段６４を経由してホストＰＣ６６へと伝送することができる。ＪＰＥＧ圧縮する場合は、日本国東京都所在の社団法人電子情報技術産業協会が制定した「デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ） Ｖｅｒ ２．２」に則った画像フォーマットにするのが望ましい。このフォーマットはＥｘｉｆ（登録商標）フォーマットと呼ばれており、その画像に関するメタデータをセット可能なＥｘｉｆアプリケーションセグメントを含んでいる。このセグメントを利用することで、その画像の撮影日時や、レンズのｆナンバ、ＧＰＳ測位結果、撮影時カメラ指向方向等のカメラ設定情報を、メタデータとして保存することができる。
【００５８】
なお、イメージプロセッサ５０としてはプログラマブルなプロセッサを使用するのが望ましいが他の構成にすることもできる。例えば、ハードワイヤドカスタム集積回路プロセッサ、汎用マイクロプロセッサ、或いはハードワイヤドカスタム集積回路プロセッサとプログラマブルプロセッサの組合せにしてもよい。更に、図１中で別ブロックとして示した部材のうち何個か、例えばディジタルＭＵＸ３４，３６やメモリ３８，５８をプロセッサ５０と共に単一の集積回路に組み込んでもよい。また、その使途に応じ、制御プロセッサ／タイミング発生器４０の（一部）機能とイメージプロセッサ５０の（一部）機能とを一体化することもできる。以下の説明や別紙特許請求の範囲の一部、例えばプロセッサ４０によるセンサ出力選定やプロセッサ５０による合焦検出信号生成に言及している部分では、その記述の目的に鑑み、両者の機能を「処理部」に帰属させている。言い換えれば、この「処理部」なる表現は、その「処理部」の機能として記載されている諸機能が実際には１個又は複数個の処理部材、回路等々によって担われうることを意味する包括的な表現である。
【００５９】
また、カメラ付携帯電話に本実施形態のディジタルカメラ１０Ａを搭載することもできる。そうした構成では、セルラプロセッサ９０経由でイメージプロセッサ５０をセルラモデム９２に接続し、アンテナ９４を用い無線周波数での通信を行うことによって、図示しないセルラ網へディジタル画像を送信することができる。また、撮像部１，２とズーム／フォーカスモータ５ａ，５ｂを一体のアセンブリにした形態や、クロックドライバ１３，１５、ＡＳＰ２２，２４及びその一部たるＡ／Ｄコンバータを一体のアセンブリにした形態でも、本発明を実施することができる。
【００６０】
図３に、図１に示した撮像アセンブリ１０Ａで画像をディジタル撮影する手順の流れを示す。この手順では、図示しない電源スイッチの操作でこのディジタルカメラ１０Ａに電源が投入されたらズームレンズ３，４のポジションをデフォルトポジションに設定する（ステップ１００）。このデフォルトポジションは画角が広くなるよう定めておくのが望ましい。そのようにすれば、例えば第１イメージセンサ１２で撮影したプリビュー用画像をカラー液晶型画像表示部７０の画面上に表示させ、それに基づきユーザに撮影用の構図を決定させることができる。その構図決定の一環として、ユーザは、ズームボタン４２ｃを押下しカメラ１０Ａの視野を所望の視野にすることができる（ステップ１０１）。
【００６１】
ズームポジションが設定されたら、そのポジションをある値Ｘと比較する（ステップ１０２）。この値Ｘは、撮像部１，２のどちらを本撮影に使用するかの境目になる。まず、この比較でＸ未満とされた場合（ステップ１０２：“ＮＯ”）、第１撮像部１に本撮影、第２撮像部２にオートフォーカス用画像撮影の役目を負わせる（ステップ１０４）。本撮影用撮像部１はプリビュー用画像の撮影を継続的に行い、表示部７０はその画面上にその画像を表示する（ステップ１１０）。他方、撮像部２は撮像部１のオートフォーカス用にオートフォーカス用画像を撮影し（ステップ１０６）、イメージプロセッサ５０はその画像を処理して撮像部１を合焦させる（ステップ１０８）。
【００６２】
この状態で、ズームボタン４２ｃ未押下のまま（ステップ１１２）シャッタボタン４２ａが押下された場合（ステップ１１４）、第１撮像部１がディジタル画像を本撮影する（ステップ１１６）。これに対し、ズームボタン４２ｃが押下された場合は（ステップ１１２）ステップ１０２に戻り、シャッタボタン４２ａが押下されなかった場合は（ステップ１１４）ステップ１０６に戻る。
【００６３】
逆に、設定されたズームポジションがＸ超であるとされた場合（ステップ１０２：“ＹＥＳ”）、第２撮像部２に本撮影、第１撮像部１にオートフォーカス用画像撮影の役目を負わせる（ステップ１２４）。本撮影用撮像部２はプリビュー用画像の撮影を継続的に行い、表示部７０はその画像を表示する（ステップ１３０）。他方、撮像部１は撮像部２のオートフォーカス用にオートフォーカス用画像を撮影し（ステップ１２６）、イメージプロセッサ５０はその画像を処理して焦点検知信号を発生させそれに基づき撮像部２を合焦させる（ステップ１２８）。
【００６４】
この状態で、ズームボタン４２ｃ未押下のまま（ステップ１３２）シャッタボタン４２ａが押下された場合（ステップ１３４）、第２撮像部２がディジタル画像を本撮影する（ステップ１３６）。これに対し、ズームボタン４２ｃが押下された場合は（ステップ１３２）ステップ１０２に戻り、シャッタボタン４２ａが押下されなかった場合は（ステップ１３４）ステップ１２６に戻る。
【００６５】
図４に、２個の撮像部１，２を一種のレンジファインダとして用いるオートフォーカス手順の流れを示す。この手順は、図３中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ユーザがカメラ１０Ａ上のズームボタン４２ｃを操作しズームポジションを設定すると（ステップ２５０）、撮像部１，２のどちらを本撮影用としどちらをオートフォーカス用画像専用とするかを前述の如く決定する（ステップ２５２）。次いで、非本撮影用撮像部を、撮像部１内ズームレンズ３でカバーする光学ズーム域と、撮像部２内ズームレンズ４でカバーする光学ズーム域と、の境目に最も近いポジションまでズーミングする（ステップ２５４）。更に、可調焦点レンズたる撮像部１，２内レンズ３，４のポジションをその過焦点ポジションまで変化させることで焦点可調域を最大限に拡げる（ステップ２５６）。この後、ユーザがシャッタボタン４２ａをニュートラル位置Ｓ０から半押し位置Ｓ１まで押下したら、オートフォーカス動作及びそれに続く自動露出動作を開始する（ステップ２５８）。なお、シャッタボタン４２ａが採りうる位置は三通りある。ユーザがボタン４２ａに触れていないときのニュートラル位置Ｓ０、カメラ１０Ａにオートフォーカス動作及び自動露出動作の実行を指令するための半押し位置Ｓ１、カメラ１０Ａに対し最終的な自動露出及び画像の本撮影を指令するための全押し位置Ｓ２である。
【００６６】
そのオートフォーカス動作では、まず、そのズームレンズ３，４のズームポジションをそのままにして各撮像部１，２でオートフォーカス用画像を撮影する（ステップ２６０）。次いで、低ズームな方の撮像部、即ちそのズームポジションがＸ未満の撮像部で撮影したオートフォーカス用画像を（図３：ステップ１０２）、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ２６２）。更に、クロッピング及びアップサンプリングを経たオートフォーカス用画像を他方のオートフォーカス用画像と関連付けることで両画像間の画素間オフセット即ちずれを求め（ステップ２６４）、その結果に基づき焦点検出信号を生成する。ここに、高ズームな方の撮像部で捉えたオートフォーカス用画像は例えば図１７Ａに示すような外観３５０となり、低ズームな方の撮像部で捉えたオートフォーカス用画像をクリッピング及びアップサンプリングしたものは例えば図１７Ｂに示すような外観３５２になるので、それらの画像間で画素オフセットひいては光景内諸点までの距離を求めることができる。次いで、校正曲線をその焦点検出信号に適用することで、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を表す信号にし（ステップ２６６）、その信号を対応するズーム／フォーカスモータに供給してその撮像部内の可調焦点レンズのポジションを変化させることで（ステップ２６８）、そのレンズのポジションを最良合焦状態で本撮影を行えるポジションに設定する。この状態でユーザがシャッタボタン４２ａを位置Ｓ１から位置Ｓ２まで押下すると、その撮像部が画像を本撮影する。
【００６７】
図５に、２個の撮像部１，２を用い周知のコントラスト値比較ヒルクライム法によるオートフォーカスを実行する手順の流れを示す。この手順は図３中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ユーザがズームポジションを設定したら（ステップ２５０）そのズームポジションに基づき本撮影用撮像部を選定する（ステップ２５２）。次いで、非本撮影用撮像部を、ステップ２５０でユーザが指定したズームポジションに最寄りの点までズーミングする（ステップ２５４）。更に、ユーザがシャッタボタン４２ａを位置Ｓ０から位置Ｓ１まで押下したらオートフォーカス動作を開始し（ステップ２５８）、撮像部１，２双方のオートフォーカスをヒルクライム法に従い実行する（ステップ２７２）。その後、ユーザがボタン４２ａをＳ１からＳ２まで押下したら（ステップ２７４）、本撮影用撮像部による継続的な動画撮影を開始する（ステップ２７６）。
【００６８】
更に、焦点距離サーチ幅を最小限に抑えるため、非本撮影用撮像部でコントラスト値比較ヒルクライム法に従い合焦状態をチェックし（ステップ２７８）、その合焦状態を判別する（ステップ２８０）、という動作を継続的に実行する。良好な場合はステップ２７６に戻り、本撮影用撮像部による動画撮影を続ける。良好でない場合は、非本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出する（ステップ２８２）。更に、その可調焦点レンズ調整量と、オートフォーカス用ヒルクライム法校正曲線とに基づき、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出し（ステップ２８４）、それに基づき焦点変化検出信号を生成する。そして、その焦点変化検出信号をズーム／フォーカスモータ５ａ，５ｂのうち本撮影用撮像部に対応する方のモータに供給することにより、新たな最良合焦ポジションまでその撮像部の可調焦点レンズのポジションを変化させる（ステップ２８６）。この再調整の後はステップ２７６に戻り本撮影用撮像部による動画撮影を続ける。
【００６９】
また、焦点距離サーチ幅を最小限に抑えるためであれば、ステップ２７８におけるチェック、即ち非本撮影用撮像部による合焦状態チェックをホールウェイオートフォーカス法に従い繰り返すようにしてもよい。この場合、ステップ２８４では、導出した可調焦点レンズ調整量と、ホールウェイオートフォーカス法用校正曲線とに基づき、本撮影用撮像部を最良合焦させるのに必要な可調焦点レンズ調整量を導出し、それに基づき焦点変化検出信号を生成する。また、ステップ２８６では、その焦点変化検出信号をズーム／フォーカスモータ５ａ，５ｂのうち本撮影用撮像部に対応する方のモータに供給することにより、新たな最良合焦ポジションまでその撮像部の可調焦点レンズのポジションを変化させる。この再調整の後はステップ２７６に戻り本撮影用撮像部による動画撮影を続ける。
【００７０】
これら、図４及び図５に示した手順では、本撮影用撮像部の最良合焦に要する可調焦点レンズ調整量を求めるのに校正曲線が必要である。図６及び図７に校正曲線算出手順の例を示す。そのうち図６には、図４中のステップ２６６で使用されるオートフォーカス用レンジファインダ校正曲線の算出手順を示してある。この手順では、まず、その焦点距離が短い第１撮像部とその焦点距離が長い第２撮像部を用い、可調焦点レンズのポジションを様々に変えつつ既知距離被写体の画像を何組か撮影する（ステップ３００）。次いで、図１７Ａ及び図１７Ｂに示す通り、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるよう、短焦点距離の第１撮像部で撮影した方のオートフォーカス用画像をクロッピング及びアップサンプリングする（ステップ３０２）。更に、第２撮像部で撮影した方の画像を、第１撮像部由来のクロッピング及びアップサンプリング済画像上の対応部分と関連付けることにより、各組画像における画像間画素オフセットを導出する（ステップ３０４）。そして、この各組内画像間画素オフセットを被写体までの既知距離に対応付けたデータを保存し（ステップ３０６）、図４中のステップ２６６でオートフォーカス用レンジファインダ校正曲線として使用する。
【００７１】
図７には、図５中のステップ２８４で使用されるオートフォーカス用ヒルクライム法校正曲線の算出手順を示してある。この手順では、まず、第１及び第２撮像部を使用し既知距離被写体の画像を何組か撮影する（ステップ４００）。オートフォーカスは画像毎にヒルクライム法で実行する。次いで、可調焦点レンズのポジションを、２個ある撮像部毎に各組内合焦先被写体までの距離と比較する（ステップ４０２）。そして、画像内同一距離合焦先被写体毎に第１撮像部・第２撮像部間で可調焦点レンズポジション同士を関連付けるデータを保存し（ステップ４０４）、図５中のステップ２８４でオートフォーカス用ヒルクライム法校正曲線として使用する。
【００７２】
図８に、図１に示した撮像アセンブリ１０Ａで動画を撮影する手順の流れを示す。この手順を構成するステップの多くは図３に示したものと同じであるので、重複する説明を避け、図上でも同一の参照符号を付すこととする。この手順では、選択されたズームポジションがＸ未満である場合（ステップ１０２：“ＮＯ”）、第１撮像部１を動画撮影用、第２撮像部２をオートフォーカス用画像撮影用に選定する。撮像部１についての合焦動作は、対象が動画である点を除き図３に示したものと同様である。その後、ズームボタン４２ｃ未押下のまま（ステップ１１２）シャッタボタン４２ａが押下されたら（ステップ１１４）撮像部１が動画を撮影する（ステップ１１８）。更に、その動画の合焦品質をチェックし（ステップ１１９）、再合焦が必要なら（ステップ１２０）焦点変化検出信号を生成し（ステップ１０６）、撮像部１用のフォーカスモータ５ａをその焦点変化検出信号に基づき駆動する（ステップ１０８）。再合焦が不要ならステップ１１２に戻る。
【００７３】
逆に、選択されたズームポジションがＸ超である場合（ステップ１０２：“ＹＥＳ”）、第２撮像部２を動画撮影用、第１撮像部１をオートフォーカス用画像撮影用に選定する。撮像部２の合焦動作は、その対象が動画である点を除き図３に示したものと同様である。その後、ズームボタン４２ｃ未押下のまま（ステップ１３２）シャッタボタン４２ａが押下されたら（ステップ１３４）撮像部２が動画を撮影する（ステップ１３８）。更に、その動画の合焦品質をチェックし（ステップ１３９）、再合焦が必要なら（ステップ１４０）焦点変化検出信号を生成し（ステップ１２６）、撮像部２用のフォーカスモータ５ｂをその焦点変化検出信号に基づき駆動する（ステップ１２８）。再合焦が不要ならステップ１３２に戻る。
【００７４】
図９に、２個の撮像部１，２を一種のレンジファインダとして用いるオートフォーカス手順の流れを示す。この手順は、図８中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、その焦点距離が短い方の撮像部で第１オートフォーカス用画像を撮影し（ステップ４４０）、その第１オートフォーカス用画像を、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ４４２）。それと並行して、その焦点距離が長い方の撮像部で第２オートフォーカス用画像を撮影する（ステップ４４８）。更に、その第２オートフォーカス用画像を、クロッピング及びアップサンプリング済第１オートフォーカス用画像と関連付けることにより、諸画像の様々な部分について画像間画素オフセットを導出する（ステップ４４４）。そして、そのオフセットと、図６の手順で算出したオートフォーカス用レンジファインダ校正曲線とに基づき、必要な焦点補正量を導出する（ステップ４４６）。
【００７５】
図１０に、コントラスト値比較ヒルクライム法によるオートフォーカス手順の流れを示す。この手順は２個の撮像部１，２を使用して実行されるものであり、図８中のステップ１０８，１２８にて撮像部１，２をオートフォーカスさせる手順として使用することができる。この手順では、ヒルクライム法でオートフォーカスさせつつ第１撮像部で第１画像を撮影し（ステップ４６０）、その画像をプリビュー用画像として表示部の画面上に表示させる（ステップ４６２）。それと並行して、ヒルクライム法でオートフォーカスさせつつ第２撮像部で第２画像を撮影し（ステップ４６６）、次いで同じくヒルクライム法でオートフォーカスさせつつ第２撮像部で更なる画像を撮影し（ステップ４６８）、更に第２画像とその後に撮影した更なる画像とで合焦状態を比較する（ステップ４７０）。もし合焦状態が変化していたら（ステップ４７２：“ＹＥＳ”）、第２撮像部における合焦状態変化と、図７に示した手順で算出したオートフォーカス用ヒルクライム法校正曲線とに基づき、第１撮像部の合焦条件を変更する（ステップ４６４）。合焦状態が変化していなかったら（ステプ４７２：“ＮＯ”）、ステップ４６８に戻って第２撮像部で更なる画像を撮影する。
【００７６】
また、焦点距離サーチ幅を最小限に抑えるため、その合焦状態がステップ４７０で繰返しチェックされる第２撮像部をホールウェイオートフォーカス法に動作させてもよい。この場合、第２撮像部における合焦状態変化が検出されたら（ステップ４７２：“ＹＥＳ”）その合焦状態変化及びホールウェイオートフォーカス法用校正曲線に基づき第１撮像部の合焦条件を変更する。合焦状態変化が検出されなかったら（ステプ４７２：“ＮＯ”）、ステップ４６８に戻って第２撮像部で更なる画像を撮影する。
【００７７】
図１１に、図３又は図８に示した手順で撮影した画像を処理する手順の流れを示す。図示手順は本発明の一実施形態に係る距離マップ生成手順である。図中、図９に示したものと同様のステップには同一の符号を付してある。距離マップを生成する手法自体は、本件技術分野にて習熟を積まれた方々（いわゆる当業者）にとり周知である。例えば特許文献９（名称：ステレオベース画像処理(Stereo-based Image Processing)、発明者：Antonio Criminisi et al.、発行日：２００６年８月３１日、この参照を以てその内容を本願中に繰り入れる）には、その視野を同じくする複数個のカメラで撮影した一組の画像から画素オフセット情報を導出し、その情報に基づき生成したディスパリティマップから距離マップ乃至奥行きマップを生成する、という手順が記載されている。これに対し、本願記載の発明では、その焦点距離に違いのある複数個の撮像部を単一の電子カメラに収めている。本願記載の発明では、更に、その焦点距離差を克服するため、複数個ある撮像部のうち少なくとも１個の撮像出力に修正を施し、撮像部間でその撮像出力同士を比較することで、それらの間の画素オフセットを導出するようにしている。例えば図１１に示す手順では、まずその焦点距離が短い方の撮像部で第１オートフォーカス用画像を撮影する（ステップ４４０）。更に、その第１オートフォーカス用画像を、同じ事物がどちらのオートフォーカス用画像上でも同じ画素数を占めることとなるようクロッピング及びアップサンプリングする（ステップ４４２）。それと並行して、その焦点距離が長い方の撮像部で第２オートフォーカス用画像を撮影する（ステップ４４８）。そして、第２オートフォーカス用画像をクロッピング及びアップサンプリング済画像と関連付けることにより、画像内諸部分について画像間画素オフセットを導出する（ステップ４８０）。次いで、オートフォーカス用レンジファインダ校正曲線に基づきその画素オフセットを撮像部からの距離に換算し（ステップ４８２）、画像内諸部分までの距離を示すマップを生成する（ステップ４８４）。
【００７８】
撮像部から光景内諸点までの距離は、第１・第２オートフォーカス用画像内対応諸点間画素オフセット計測値から算出することができる。即ち、ステップ４４２で得られるクロッピング及びアップサンプリング済第１オートフォーカス用画像中の諸点と、ステップ４４８で得られる第２オートフォーカス用画像内の対応する諸点と、の間の画素オフセットの計測値から算出することができる。例えば、イメージセンサ上に現れる画素オフセットｐ、画素サイズｍ、レンズ間隔ｓ、レンズの有効焦点距離ｆ、並びに光景内諸点までの距離ｄの間に存する次の式
ｄ＝ｓ・ｆ／（ｐ・ｍ）
の関係を使用すればよい。表１に、ある撮像部における典型的な画素オフセット値を示す。本発明の好適な実施形態では、画素オフセットと光景内諸点までの距離との間に存するこうした関係を、既知距離にある視野内被写体に関し校正することで、複数個あるレンズ間に生じる不要な寸法ばらつき及び角度傾斜を補償することができる。
【表１】
【００７９】
こうして生成される距離マップには、前述した通り、撮像出力信号乃至出力画像の修正に役立てることができる。例えば、
ａ）被写体の閉じた輪郭を識別してその形状を画定することにより、出力画像中の被写体を好適に識別すること
ｂ）被写体の閉じた輪郭を識別してその画像を細分することにより、出力画像から被写体を抽出すること
ｃ）被写体を検出し同一の被写体を複数枚の出力画像に亘り追跡することにより、それら複数枚の出力画像に亘る被写体の動きを追跡すること
ｄ）出力画像のうち所望視界深さ外の光景領域に相応する部分をぼかすことにより、画像の視界深さを動的に変化させること
ｅ）出力画像内の被写体に被写体単位で利得調整を施すことにより、その出力画像のダイナミックレンジを拡げること
ｆ）出力画像のうち前景領域内諸被写体に相応する部分については利得を低下させ背景領域内諸被写体に相応する部分については増大させることにより、フラッシュ使用がもとで生じる露出上の問題を抑えること
ｇ）前景領域内諸被写体を強調することにより、出力画像におけるシーンバランスを改善すること
等を、その距離マップに基づき実現することができる。
【００８０】
距離マップがこのように重宝なものであることを理解するには何か具体的な例を考えるとよい。例えば、あるユーザが偉大なるアラスカ山脈の写真を撮ろうとしたとする。雲々が流れる美しい空と白く冠雪した山々が遙か彼方に見え、その手前には花々で埋まった野原が見え、そして自分から５フィートほどの近場には黒い犬が座っている（１フィート＝約０．３０ｍ）。こうした風景を撮ると、雲々や山々の冠雪は露出過剰で白飛びし、黒い犬は露出不足で黒潰れする。その際、普通はカメラを風景モードにセットして撮るので黒い犬には合焦さえしない。距離データを使用すればそうした問題のうち幾つかは克服することができる。まず、各部位の露出については、画像中の所要被写体部位毎に利得調整を実施することで適正化することができる。例えば雲の襞、雪の肌、黒い犬の毛皮等の部位毎に適正化可能である。総じて、距離マップを用い出力画像内の被写体単位で且つその距離マップ上でのその被写体の位置とは無関係に利得調整を施すことで、その出力画像のダイナミックレンジを拡げることができる。更に、その視界深さを調整し、犬にも山々にも更には美しい花々にも合焦させることができる。また、あるユーザが美しい景色よりも犬を強調したいと切に望んでいる場合に、距離データを利用して山々や花々を特定しそれをぼかすことと、犬を特定してそれを鮮明化することで、意に適う鮮明な画像を得ることができる。更に、本発明に係る距離マップには、他にも画像の美的外観向上に資する様々な利用形態があることが明らかである。例えば、ユーザからの指示でその視界深さを動的に変化させること、即ちその距離が異なる様々な点に合焦させることができる。これは、より広義な表現でいえば、出力画像のうち所望視界深さ外の光景領域に相応する部分を、距離マップに基づき且つその距離マップ上でのその部分の位置とは無関係にぼかすことにより、画像の視界深さを動的に変化させることができる、ということである。例えば、犬と山々を撮りたいときには、その中間の距離域にある花々を滑らかにぼかすことで、距離的には両極端に位置する犬と山々の双方に対し、好適に合焦させることができる。
【００８１】
図１２及び図１３に、前述のものとはその撮像部の光学的構成が異なるディジタルカメラのブロック構成を示す。撮像部より下流に位置する部材の多くは、先に図１を参照して説明済のものと同様の部材であるので、重複を避けその説明を省略することとする。まず、図１２にそのブロック構成を示したディジタルカメラでは、その第１撮像部７１に第１固定焦点距離レンズ７３及び第１イメージセンサ１２が、またその第２撮像部２に第２（ズーム）レンズ４及び第２イメージセンサ１４がそれぞれ設けられている。オートフォーカスは撮像部７１に対する撮像部２の焦点距離差を調整することで実行する。
【００８２】
固定焦点距離レンズ７３は、例えば２２ｍｍ（３５ｍｍ判換算値）といった非常に広い画角が得られる焦点距離で固定されているので、その過焦点距離（例えば８フィート）付近の距離域（例えば４フィート〜無限遠）に存する被写体を捉えることができる。従って、このレンズ７３に焦点距離調整機能を持たせる必要はない。なお、図示しないが、このレンズ７３には可調絞り／シャッタアセンブリが設けられているので、それを使用しイメージセンサ１２への露出を制御することができる。
【００８３】
次に、図１３にそのブロック構成を示したディジタルカメラは、第１撮像部７１、第２撮像部２及び第３撮像部７４を備えている。撮像部７１は第１固定焦点距離レンズ７３及び第１イメージセンサ１２を、撮像部２は第２（ズーム）レンズ４及び第２イメージセンサ１４を、そして撮像部７４は第３（ズーム）レンズ７５及び第３イメージセンサ１６を備えている。レンズ７３，４，５は、順に、例えば超広画角レンズ、広画角ズームレンズ、望遠ズームレンズである。この前の段落で説明した通り、超広画角レンズたるレンズ７３の焦点距離は調整できないので、オートフォーカスは撮像部２，７４の焦点距離調整で実行した方がよい。
【００８４】
図１４に、図１に示した２個の撮像部１，２で得られる画像を併用し画像の視界深さを拡張する手順の流れを示す。この手順では、まず、カメラへの電源投入に応じズームポジションをデフォルトポジションに設定し（ステップ５００）、次いでそのズームポジションをある値Ｘと比較する（ステップ５０２）。この値Ｘは、撮像部１，２のどちらに本撮影の役割を持たせるかの境目になる。この比較でズームポジションがＸ未満であるとされた場合には（ステップ５０２：“ＮＯ”）、第１撮像部をプリビュー用画像撮影用、第２撮像部をオートフォーカス用画像撮影用に選定した上で（ステップ５０４）、撮像部１を用いプリビュー用画像を継続的に撮影して表示部７０の画面上に表示させる動作と、撮像部１をオートフォーカスさせるためのオートフォーカス用画像を撮像部２で撮影しイメージプロセッサ５０でそれを処理して撮像部１を合焦させる動作とを、互いに並行して実行する（ステップ５０６）。この状態で、ズームボタン４２ｃ未押下のまま（ステップ５０８：“ＮＯ”）シャッタボタン４２ａが押下された場合、そのときの焦点ポジションを用い第１撮像部で一次画像（静止画）を撮影し（ステップ５１０）、そのときの焦点ポジションを用い第２撮像部で二次画像（静止画）を撮影し（ステップ５１２）、そしてその二次画像に基づき一次画像の視界深度を拡張する（ステップ５１４）。例えば、二次画像を用いて拡張信号を発生させ、一次画像のうち二次画像撮像時焦点ポジション相当の距離近傍に存する部分をその拡張信号に従い鮮明化する。
【００８５】
逆に、ズームポジションがＸ超である場合（ステップ５０２：“ＹＥＳ”）、第２撮像部をプリビュー用画像撮影用、第１撮像部をオートフォーカス用に選定した上で（ステップ５２４）、撮像部２を用いプリビュー用画像を継続的に撮影して表示部７０の画面上に表示させる動作と、撮像部２をオートフォーカスさせるためのオートフォーカス用画像を撮像部１で撮影しイメージプロセッサ５０でそれを処理して撮像部２を合焦させる動作とを、互いに並行して開始する（ステップ５２６）。この状態で、ズームボタン４２ｃが押下され（ステップ５２８：“ＹＥＳ”）シャッタボタン４２ａも押下された場合、そのときの焦点ポジションを用い第２撮像部で一次画像（静止画）を撮影し（ステップ５３０）、更にそのときの焦点ポジションを用い第１撮像部で二次画像（静止画）を撮影し（ステップ５３２）、そしてその二次画像に基づき一次画像の視界深度を拡張する（ステップ５３４）。例えば、その二次画像を用い、一次画像のうち二次画像撮像時焦点ポジション近傍に存する部分を鮮明化する。
【００８６】
なお、上の説明では、カメラ内で拡張信号を発生させ、一次画像のうち二次画像撮影時焦点ポジション近傍に存する部分をその拡張信号に基づき鮮明化する例を示したが、一次画像及び二次画像（静止画）を外部プロセッサ例えば図１中のホストＰＣ６６に送信し、一次画像のうち二次画像撮影時焦点ポジション近傍に存する部分が鮮明になるよう、その外部プロセッサで拡張信号を発生させるようにしてもよい。
【００８７】
各複数個のレンズ及びセンサを使用し統合的な撮像アセンブリを形成するという考え方は、画像撮影機能を有する携帯電話にも適用することができる。図１５Ａにその例を示す。この図の携帯電話６００は、話者音声を捉えるためのマイクロホン６０２、話者音声及び通話相手音声の信号を処理する図示しない関連電子回路、通話相手音声に従い鳴音するスピーカ６０４等を有する通話部を備えている。キーパッド６０６は電話番号や画像撮影用のコマンドの入力に、また（液晶）表示部６０８は通話関連情報やこの携帯電話６００で撮影した又はセルラ網経由で受信した画像の表示に、それぞれ使用されている。図１５Ｂにこの携帯電話６００の背面を示す。この図には内蔵部材のうち幾つか、即ち携帯電話用撮像アセンブリ６１０や、図１に示したイメージプロセッサ５０を介しそれに接続されているセルラ処理部も示されている。そのセルラ処理部はセルラプロセッサ９０及びモデム９２から構成されている。セルラプロセッサ９０は、イメージプロセッサ５０から送られてくる画像データやマイクロホン６０２で捉えた音声のデータを受け取って処理し、それらのデータをセルラモデム９２へと送る。セルラモデム９２は、それらのディジタルデータを適当なフォーマットに変換しアンテナ９４を用いセルラ網上に送出する。
【００８８】
図１６Ａ及び図１６Ｂに携帯電話用撮像アセンブリ６１０の構成を示す。図１６Ａは、このアセンブリ６１０の線２４Ｂ−２４Ｂ沿い断面（図１６Ｂ参照）を上から見た図である。図示の通り、このアセンブリ６１０は、共通の基板６２０上に複数個の光学系・撮像系部品、具体的には第１固定焦点距離レンズ６１２、第１イメージセンサ６１４、第２固定焦点距離レンズ６１６及び第２イメージセンサ６１８を一体実装した構成を有している。センサ６１４上に像を発現させるレンズ６１２は例えばその焦点距離が４０ｍｍ（３５ｍｍ判換算値）で固定の広角レンズであり、センサ６１８上に像を発現させるレンズ６１６は例えばその焦点距離が１００ｍｍ（３５ｍｍ判換算値）で固定の望遠レンズである。レンズ６１２，６１６は互いに同じ方向を向いているので、その視野の広さに違いはあれ、前方に広がる光景中の同一部分を捉えて像を発現させることができる。
【００８９】
これらのレンズ６１２，６１６は、対応するイメージセンサ６１４，６１８と共に基板６２０上に実装されている。レンズ６１２，６１６とセンサ６１４，６１８の間に赤外線遮断フィルタ６２２があるのでセンサ６１４，６１８上の諸画素への赤外光入射は少ない。その基板６２０上には、抵抗器、コンデンサ、電源系部品等の電子部品６２４や、基板６２０から画像信号を取り出すためのフレキシブルコネクタ６２６も実装されている。このコネクタ６２６を介しこの携帯電話用撮像アセンブリ６１０から取り出される画像信号は例えば生の画像データである。図示しないが、適当なプロセッサを基板６２０上に実装しておき、そのプロセッサによる処理でＹＵＶ又はＪＰＥＧフォーマットに変換した画像データを取り出すようにしてもよい。更に、イメージプロセッサ５０によるディジタルズームで、広角レンズ６１２や望遠レンズ６１でカバーできない距離域をカバーすることができる。ユーザは、（液晶）表示部６０８の画面上に表示されるユーザインタフェースを見ながらキーパッド６０６上の相応なボタンを操作することで、そのディジタルズーム機能を発動させることができる。広角側のセンサ６１４が高解像度、例えば望遠側のセンサ６１８よりも高い解像度であれば、そのディジタルズーム用のソース画像が高画質になる。
【００９０】
また、レンズ６１２，６１６を共に可調焦点レンズにすることもできる。この変形例では、イメージプロセッサ５０では、（ａ）広角レンズ６１２に係るセンサ出力を撮像出力信号に選定する一方望遠レンズ６１６に係るセンサ出力を用いレンズ６１２向けの焦点検出信号を生成する動作か、（ｂ）レンズ６１６に係るセンサ出力を撮像出力信号に選定する一方レンズ６１２に係るセンサ出力を用いレンズ６１６向けの焦点検出信号を生成する動作か、そのいずれかを実行する。例えば後者では、その焦点検出信号をレンズ６１６のオートフォーカスサブシステム６２８に供給することで、撮像出力信号となるセンサ出力をもたらす方のレンズの焦点距離を調整することができる。また、この例におけるレンズ６１２はズームレンズ、例えばその画角を広角から通常角まで変化させうるレンズにするとよい。
【００９１】
或いは、広角レンズ６１２の焦点距離をその過焦点距離に設定してもよい。過焦点距離にすると数フィートから無限遠までの距離域で合焦するので、このレンズ６１２についてはユーザによる焦点距離調整が不要になる。望遠レンズ６１６はそのオートフォーカスサブシステム６２８によってオートフォーカスさせる。こうするのは、焦点距離が増すにつれ過焦点距離が増すので、４〜１２フィート等といった典型的な距離に存する被写体に対し適正に合焦させるには焦点距離を調整しなければならないからである。オートフォーカスサブシステムが望遠レンズ６１６用のもの（６２８）だけである分は安価及び小型な構成になる。
【００９２】
更に、本実施形態ではｚ寸法６３０が重要な制約条件となる。即ち、携帯電話６００内回路の配置及び構成と調和するようｚ寸法６３０を非常に小さな値にしなければならない。この条件は、望遠レンズ６１５の焦点距離及びセンササイズを注意深く設定することで、クリアすることができる。例えば、第１イメージセンサ６１６のサイズを、割合に小さな画像でもその受光部が埋まってしまうよう十分に小さくすることで、その焦点距離を抑えｚ寸法６３０を許容範囲内の値にすることができる。
【００９３】
また、その焦点距離がほぼ等しい２個のレンズと、そのサイズが異なるイメージセンサアレイとを有する構成にしてもよい。センサアレイ間にサイズ差があっても、そのセンサアレイの受光部が対応するレンズからの画像で埋まるよう設計されていれば、それら２個あるレンズ・センサアレイ対同士で、実際の焦点距離即ちレンズセンサ間距離がほぼ同一になる。但し、各レンズの３５ｍｍ判換算焦点距離は異なる値になるので、その視野は互いに異なる広さになる。
【００９４】
そして、図１６Ａ及び図１６Ｂでは詳示を省いたが、先に図１を参照して説明した構成と同じく、第１イメージセンサ６１４からのアナログ出力信号は第１ＡＳＰでの増幅後、また第２イメージセンサ６１８からのアナログ出力信号は第２ＡＳＰでの増幅後、ある種の制御素子、例えば基板６２０上に電子部品６２４の一つとして設けられているアナログＭＵＸに、その第１，第２入力端を介し供給される。ユーザがキーパッド６０６を操作しズームポジションを設定すると、その値に基づき、センサ６１４から得られる信号（第１センサ出力）及びセンサ６１８から得られる信号（第２センサ出力）のいずれかがこの制御素子で選定され、選定された方のセンサ出力が携帯電話用撮像アセンブリ６００からイメージプロセッサ５０に供給されることとなる。
【００９５】
次に、距離マップ使用方法の具体例について説明する。先に図１１を参照して概説した通り、カメラ内のＧＰＳユニット５７からＧＰＳ測位結果が、またそのカメラ内の電子コンパス５９からカメラ指向方向の計測結果が得られれば、それらをそのカメラから光景内諸点までの距離及び方向と組み合わせることで、光景内諸点のＧＰＳ測位を行うことができる。図１８に、光景内諸点をＧＰＳ測位する手順の流れの一例を示す。この手順では、まずそのカメラ内のＧＰＳユニットを使用しそのカメラをＧＰＳ測位し（ステップ７５０）、またそのカメラ内のコンパスを使用しカメラ指向方向を計測する（ステップ７５２）。次いで、そのカメラから光景内諸点までの距離を示す距離オフセットを、図１１に示した手順等で得られている距離マップを参照して導出し（ステップ７５４）、またコンパス５９から取得したカメラ指向方向を基準とする光景内諸点の方向を示す角度オフセットをその点の視野内位置から導出する（ステップ７５６）。更に、導出した距離オフセット及び角度オフセットを、ＧＰＳ測位及びカメラ指向方向計測の結果に加味することで、光景内諸点をＧＰＳ測位する（ステップ７５８）。そして、視野内諸被写体のＧＰＳ測位結果をメタデータ中に保存し又はＧＰＳ測位マップの形態を採り画像上にラベルとして表示させる（ステップ７６０）。その点のＧＰＳ測位結果をその画像と共に電子カメラの画面上に表示させてもよい。
【００９６】
なお、いわゆる当業者ならば、光景内諸点についてのＧＰＳ測位結果には様々な用途があることを理解できよう。例えば、被写体の個体識別、光景内諸点の方向を案内する表示の実行、地図その他の地理データベースに比したカメラ視野の拡がりの特定等である。
【００９７】
図１９に、２個ある撮像部のうち一方を一次画像用、他方の撮像部を非一次画像用（例えばシーン解析対象画像用）として選定する手順の流れの例を示す。この手順では、まず、カメラ電源投入に応じ初期化処理を開始する（ステップ１１００）。初期化処理が終了したら、撮像部１，２のズームポジションをそれぞれそのデフォルトポジション即ち所定の初期ポジションに設定する（ステップ１１０２）。それらのデフォルトポジションによって最初に撮影及び表示される画像の内容が決まる。次いで、第１及び第２プリビュー用画像を撮像部１，２で撮影し表示部７０の画面上に表示させる（ステップ１１０４）。それらの画像は、表示部７０の画面上に様々な形態で表示させることができる。例えば、それらの画像をサムネイル等の形態にして横並び表示させてもよいし、一方の画像内に他方の画像を小さく表示させてもよいし、それらの画像を順繰りに表示させてもよい。更に、そのカメラのユーザに対し、第１及び第２プリビュー用画像のなかに一次画像即ち撮影及び保存の対象画像となりうるものがあるか否かを尋ね（ステップ１１０６）、それらの画像を表示させつつユーザによる決定を待つ状態を、最大で所定長Ｘの表示期間に亘り続ける（ステップ１１１０）。その期間中にシャッタボタンが押下された場合や（ステップ１１０８）同期間中にユーザから決定が示されなかった場合は（ステップ１１１０：“ＹＥＳ”）、撮像部１，２のうち所定の一方即ちデフォルト撮像部を自動的に一次画像用として選定する（ステップ１１１２）。デフォルト撮像部を予め定めておく理由は幾つかある。そのうち一つは、光景を包括的に広い視野で捉えた画像を初期画像にするためである。逆に、ユーザが第１及び第２プリビュー用画像のうちどちらかを一次画像に採用した場合は（ステップ１１０６：“ＹＥＳ”）、採用された方のプリビュー用画像に係る撮像部を一次画像用に選定する（ステップ１１２４）。そして、どちらの撮像部が一次画像用に選定された場合でも、一次画像用撮像部でない方の撮像部（非一次画像用撮像部）をシーン解析対象画像用に選定する（ステップ１１１４）。その後は、これから図２０〜図２２を参照して説明する通り、一次画像用撮像部をプリビューモードで稼働させる。
【００９８】
図２０〜図２２及び図２４〜図２６に、マルチレンズカメラシステム内の撮像部のうちある１個で撮影した画像を利用又は解析し、別の１個で撮影した画像にその結果に基づく修正、例えば拡張、解析、補強その他の改変を施す手順について、その流れの例を示す。そのうち図２０に示す手順は、図１９に示した手順に従い一次画像用撮像部がプリビューモードで稼働しているときに実行される。この手順では、まずシーン解析対象画像用撮像部がシーン解析を実行し（ステップ１２００）、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１２０２）。シーン解析で得られるのは、例えば露出、ダイナミックレンジ、視界深さ、色バランス、被写体性状識別結果（顔、草、夕日、雪等の別）等に関するデータであり、一次画像用撮像部のパラメタとは、絞り、露出時間、焦点距離、白バランス、ＩＳＯ設定等のパラメタである。次いで、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１２０４）、シーン解析対象画像用撮像部がシーン解析の続きを実行する（ステップ１２０６）。その解析でシーン状態変化が見つからなかった場合は（ステップ１２０８：“ＮＯ”）ステップ１２０４に戻り、一次画像用撮像部でプリビュー用画像を再び撮影して表示部７０の画面上に表示させる。その際、一次画像用撮像部の諸パラメタは変更しない。逆に、シーン状態変化が見つかった場合は（ステップ１２０８：“ＹＥＳ”）ステップ１２０２に戻り、その撮像部におけるシーン解析の結果を示すデータに基づきプロセッサ５０が一次画像用撮像部の諸パラメタを再設定して、前述の処理を再実行する。
【００９９】
図２１に示す手順では、一次画像用撮像部の諸パラメタが変更されるのはシーン状態変化があるしきい値Ｘを上回ったときだけである。即ち、このしきい値付プリビューモードでは、まずシーン解析対象画像用撮像部で画像の撮影及びシーン解析を実行し（ステップ１３００）、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１３０２）。次いで、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１３０４）、シーン解析対象画像用撮像部で更に画像を撮影する（ステップ１３０６）。ステップ１３０６で撮影した画像におけるシーン状態変化がしきい値Ｘに達していない場合（ステップ１３０８：“ＮＯ”）、即ち画像間で光景条件が安定していると見なせる場合はステップ１３０４に戻り、一次画像用撮像部でプリビュー用画像を再撮影して表示部７０の画面上に表示させる。その際、一次画像用撮像部の諸パラメタは変更しない。その上で、シーン解析対象画像用撮像部で更に画像を撮影する（ステップ１３０６）。逆に、ステップ１３０６で撮影した画像におけるシーン状態変化がしきい値Ｘ超であり不安定な状況であると見なせる場合は（ステップ１３０８：“ＹＥＳ”）ステップ１３０２に戻り、その撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを再設定する。その後は、前述の処理を再実行する。
【０１００】
図２２に示す手順では、撮像部間に存するズームポジションの違いと、各撮像部で撮影された画像についてのシーン解析結果とに基づき、しきい値を用いた光景条件判別を補強している。即ち、この拡張プリビューモードでは、まず一次画像用撮像部のズームポジションを基準にシーン解析対象画像用撮像部のズームポジションを設定し（ステップ１４００）、そのシーン解析対象画像用撮像部で画像を撮影し（ステップ１４０２）、更にその撮像部におけるシーン解析の結果を示すデータに基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１４０４）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１４０６）、撮影したプリビュー画像及び取得済のシーン解析結果データに基づきシーン解析を実行し（ステップ１４０８）、イメージプロセッサ５０が両シーン解析の結果、即ち撮像部それぞれで得られた画像に対する解析の結果に基づき一次画像用撮像部の諸パラメタを設定する（ステップ１４１０）。その次は、一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させ（ステップ１４１２）、シーン解析対象画像用撮像部で更なる画像を撮影し（ステップ１４１４）、更に撮影したプリビュー画像及び取得済のシーン解析結果データに基づきシーン解析を実行する（ステップ１４１６）。シーン状態変化がしきい値Ｘに達していない場合（ステップ１４１８：“ＮＯ”）、即ち光景条件が安定していると見なせる場合はステップ１４１２に戻り、一次画像用撮像部でプリビュー用画像をまたシーン解析対象画像用撮像部でシーン解析対象画像をそれぞれ再撮影する（ステップ１４１２及び１４１４）。その後は前述の処理を再実行する。逆に、シーン状態変化がしきい値Ｘ超であり不安定な状況であると見なせる場合は（ステップ１４００：“ＹＥＳ”）ステップ１４１０に戻り、イメージプロセッサ５０が新たなシーン解析結果データ、即ちステップ１４１６でシーン解析対象画像用撮像部により導出された解析結果に基づき一次画像用撮像部の諸パラメタを再設定する。その後は前述の処理を再実行する。
【０１０１】
これら、図１９〜図２２に示した手順によるプリビュー動作は、シャッタボタン４２ａかズームボタン４２ｃが押下されるまでは継続的に実行される。これに対し、ズームボタン４２ｃが押下された場合、図２３に示すように、ズームボタン４２ｃ押下（ステップ１５００：“ＹＥＳ”）時のズームポジション設定が一次画像用撮像部のズーム域外であるなら（ステップ１５０２：“ＹＥＳ”）、それまで一次画像用であった撮像部がシーン解析対象画像用になりシーン解析対象画像用であった撮像部が一次画像用になるよう、撮像部の用途乃至役割を互いに入れ替える（ステップ１５０４）。次いで、一次画像用撮像部のズームポジションを指定された距離に設定し（ステップ１５０６）、図２０〜図２２に示したプリビューモードでの動作に戻る。逆に、ズームボタン４２ｃ押下（ステップ１５００：“ＹＥＳ”）時のズームポジション設定が一次画像用撮像部のズーム域内であるなら（ステップ１５０２：“ＮＯ”）、各撮像部の用途乃至役割はそのままにして、一次画像用撮像部のズームポジションを指定されたポジションに設定し（ステップ１５０６）プリビューモードでの動作に戻る。
【０１０２】
図２４〜図２６に、マルチレンズカメラシステム内の撮像部のうちある１個で撮影した画像を利用又は解析し、別の１個で撮影した画像にその結果に基づく修正、例えば拡張、解析、補強その他の改変を施す手順について、その流れの更なる例を示す。これらの図に示した例は撮影時に実行される手順の例である。まず、図２４に示す第１の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始され、それ以外の場合はプリビューモードでの動作に戻る（ステップ１６００）。撮影モードでは、まず一次画像用撮像部でプリビュー用画像を撮影し（ステップ１６０２）、更にそのプリビュー画像に基づくシーン解析を実行する（ステップ１６０４）。解析が終了したら（ステップ１６０６：“ＹＥＳ”）、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定し（ステップ１６０８）、更にその一次画像用撮像部でプリビュー用画像を撮影して表示部７０の画面上に表示させる（ステップ１６１０）。この状態からシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１６１２：“ＹＥＳ”）、画像の撮影が指令されたということであるので、設定されたパラメタに従い一次画像用撮像部で一次画像を撮影する（ステップ１６１４）。その後はプリビューモードでの動作に戻る。シャッタボタン４２ａが全押しされないときは（ステップ１６１２：“ＮＯ”）、このカメラに焦点／露出ロックが設定されているか否かをチェックする（ステップ１６１６）。どちらかのロックが設定されている場合は（ステップ１６１６：“ＹＥＳ”）ステップ１６１０に戻り、一次画像用撮像部でプリビュー用画像を再撮影して表示部７０の画面上に表示させてから、シャッタボタン４２ａの状態チェック（ステップ１６１２）以降の動作を上記同様に実行する。焦点／露出ロックがどちらも設定されていない場合は（ステップ１６１６：“ＮＯ”）ステップ１６０２に戻り、一次画像用撮像部でプリビュー用画像を再撮影してから、そのプリビュー画像に基づくシーン解析を実行する（ステップ１６０４）。以降の動作は前記同様である。
【０１０３】
図２５に示す第２の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始される（ステップ１７００）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１７０２）、シーン解析対象画像用撮像部でも画像を撮影し（ステップ１７０４）、そして撮影したプリビュー用画像及びシーン解析対象画像双方に基づきシーン解析を実行する（ステップ１７０６）。更に、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定し（ステップ１７０８）、それらのパラメタに従い一次画像用撮像部でプリビュー用画像を撮影して表示する（ステップ１７１０）。次いで、図２４に示した手順と同様、この状態でシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１７１２：“ＹＥＳ”）、設定済のパラメタに従い一次画像用撮像部で一次画像を撮影して（ステップ１７１４）プリビューモードでの動作に戻る。逆に、シャッタボタン４２ａが全押しされなかったらそのカメラに焦点／露出ロックが設定されているか否かをチェックし（ステップ１７１６）、設定されていたらステップ１７１０に戻って一次画像用撮像部でプリビュー用画像を再撮影して表示した上で、シャッタボタン４２ａの状態チェック（ステップ１７１２）以降の動作を上記同様に実行する。焦点／露出ロックがどちらも設定されていない場合は（ステップ１７１６：“ＮＯ”）ステップ１７０２に戻り、一次画像用撮像部でプリビュー用画像を再撮影してから（ステップ１７０２）、そのプリビュー画像に基づくシーン解析を実行する（ステップ１７０４）。以降の動作は前記同様である。
【０１０４】
図２６に示す第３の手順では、シャッタボタン４２ａが半押し位置Ｓ１まで押下されたときに撮影モードでの動作が開始される（ステップ１８００）。次いで、一次画像用撮像部でプリビュー用画像を撮影し（ステップ１８０２）、シーン解析対象画像用撮像部でも画像を撮影する（ステップ１８０４）。更に、撮影したプリビュー画像及びシーン解析対象画像双方に基づきシーン解析を実行し（ステップ１８０６）、そのシーン解析の結果に基づきイメージプロセッサ５０が一次画像用撮像部の諸パラメタを設定する（ステップ１８０８）。次に、シーン解析対象画像用撮像部を二次画像用撮像部に選定した上で（ステップ１８１０）、先の両シーン解析の結果に基づきイメージプロセッサ５０が二次画像用撮像部の諸パラメタを設定する（ステップ１８１２）。更に、この状態でシャッタボタン４２ａが全押し位置Ｓ２まで押下されたら（ステップ１８１４：“ＹＥＳ”）、設定済のパラメタに従い一次画像用撮像部で一次画像を撮影し（ステップ１８１６）、二次画像用撮像部に選定されているシーン解析対象画像用撮像部で二次画像たる補強用画像を撮影し（ステップ１８１８）、更に一次画像及び補強用画像に基づきイメージプロセッサ５０が拡張画像を生成する（ステップ１８２０）。その後はプリビューモードでの動作に戻る。逆に、シャッタボタン４２ａが全押しされなかった場合は（ステップ１８１４）ステップ１８０２に戻り、一次画像用撮像部及びシーン解析対象画像用撮像部による撮影（ステップ１８０２及び１８０４）から動作を再開する。
【０１０５】
図２６に示した手順で施せるこの補強及び拡張の種類は多様である。第１に、先に図１４に関して述べた通り、一次画像用撮像部をある焦点ポジションにして一次画像を撮影し、シーン解析対象画像用撮像部（二次画像用撮像部）を別の焦点ポジションにして二次画像（補強用画像）を撮影し、それら２枚の画像を組み合わせてより視界深さに富んだ画像（拡張画像）を生成することができる。このタイプの補強及び拡張には、一次画像の撮影に使用するレンズを絞ることなく視界深さを大きくすることができる、という長所がある。これは、撮影環境が暗く絞りを開けたい場合に特に有益である。
【０１０６】
第２に、イメージプロセッサ５０で画像のダイナミックレンジを調べ、そのダイナミックレンジが所定のしきい値を上回っていたら、シーン解析対象画像用撮像部を用い、そのダイナミックレンジが一次画像のそれとは異なるダイナミックレンジになるよう二次画像を撮影する、というタイプの補強及び拡張がある。例えば、まず一次画像を通常の露出、二次画像を不足気味又は過剰気味といったより極端な露出で撮影する。このとき、例えば一次画像では白飛びしている明るい部分も、それより露出レベルの低い二次画像なら、その細部まで捉えることができる。逆に、一次画像では黒潰れしている陰の部分も、それより露出レベルの高い二次画像なら、その細部まで捉えることができる。従って、一次画像中の諸部分を二次画像中の対応部分で置き換えることにより、そのダイナミックレンジが広い拡張画像を得ることができる。
【０１０７】
また、ご理解頂けるように、一次画像用撮像部や二次画像用撮像部で撮影する画像は静止画及び動画のいずれでもよい。動画の場合は一連の静止画として扱えるので、静止画の場合はその静止画を、動画の場合は動画信号を組成する一連の静止画を、例えば上述した形態で拡張すればよい。例えば、その電子カメラに動画信号が得られる撮像部が搭載されている場合、二次画像用撮像部の撮像出力を用い、その動画信号を組成している一連の静止画の視界深さ、ダイナミックレンジ等々を拡張することができる。
【０１０８】
更に、図１４に示した手順を変形し、広いダイナミックレンジを有する一次画像が得られるようにすることもできる。例えば、図１４に示したものと似た手順にて、シャッタボタン４２ａの押下に応じ第１撮像部又は第２撮像部（ステップ５１０又は５３０相当）で一次画像（静止画）を撮影し、第２撮像部又は第１撮像部（ステップ５１２又は５３２相当）で二次画像（静止画）を撮影し、更に二次画像を用いて一次画像のダイナミックレンジを拡張する（ステップ５１４又は５３４相当）ことができる。即ち、一次画像撮影時の露出レベルと異なる露出レベル、例えばより低い露出レベルで二次画像を撮影するようにすれば、その二次画像には明るい部分の細部までしっかりと写る。その上で、その二次画像を一次画像と組み合わせることにより、その一次画像のダイナミックレンジを拡げることができる。
【０１０９】
更に、拡張画像を好適に生成できる手法の一つとして摺動スケールを使用する手法がある。この手法では、米国特許出願第１１／４６０３６４号（名称：大ダイナミックレンジディジタル画像の生成(Producing an Extended Dynamic Range Digital Image)、発明者：John Border and Efrain Morales、譲受人：本願出願人と同一、出願日：２００６年７月２７日、この参照を以てその内容を本願に繰り入れる）に記載の通り、一次画像及び二次画像双方の画素値を勘案して拡張画像の画素値を決定することができる。また、フラッシュ使用時には露出過剰状態がしばしば発生する。ダイナミックレンジ補正を行えるよう二種類の露出レベルを設定することでそれに対処することができる。例えば、撮像部のうち１個の露出時間を非常に短い時間としてもよいし、露出タイミングをずらしフラッシュの直前又は直後にしてもよい。
【０１１０】
また、上述の補強手順はその解像度が大きく異なる画像間にも適用することができる。例えば、米個許特許出願第１１／４６１５７４号（名称：異解像度部分込みディジタル画像の生成(Producing Digital Image with Different Resolution Portions)、発明者：John Border、Scott Cahall and John Griffith、譲受人：本願出願人と同一、出願日：２００６年８月１日、この参照を以てその内容を本願に繰り入れる）では、第１画像を第１撮像部で広角ディジタル撮影する一方、その第１画像に写っている光景とほぼ同じ光景の一部が写るよう第２画像を第２撮像部で望遠ディジタル撮影している。こうした場合でも、広角撮影した第１画像の一部と、望遠撮影した第２画像中の一部とを組み合わせることで、それらの合成画像を生成することができ、その合成画像をディジタルズームすることで、より解像度が高いディジタル画像を生成することができる。具体的には、合成画像をディジタルズームすることで、ズーム域全域を通じて解像度が高くその画質も良好なズーム画像を得ることができる。
【０１１１】
補強手順の更なる変形例としては、一次画像用撮像部の露出時間と二次画像用撮像部のそれとを異なる長さにすることで、各画像に発現するノイズ及びモーションブラーのレベルに差を付ける、というものがある。例えば、一次画像用撮像部の露出時間を長めに、二次画像用撮像部を短めに設定して撮影を行う。すると、ディジタルノイズが低レベルでモーションブラーが高レベルな一次画像と、ディジタルノイズが高レベルでモーションブラーが低レベルな二次画像とが得られる。一次画像でモーションブラーが高レベルになるのは、カメラの動きも視野内被写体の動きもモーションブラーをもたらすからである。次いで、それら一次画像及び二次画像を互いに比較してモーションブラーを識別し、更に二次画像内平均画素値が一次画像内平均画素値と整合する値になるよう二次画像の利得を増大させる。そして、一次画像の一部を二次画像の一部で置き換えることにより、拡張画像を生成することができる。具体的には、一次画像のうちそのノイズは低レベルだがモーションブラーは高レベルの部分を、二次画像中の対応部分、即ちそのノイズレベルは高レベルだがモーションブラーは低レベル又は０の部分で置き換えることにより、ノイズが割合に低レベルで先鋭さが良好な拡張画像を得ることができる。
【０１１２】
以上、本発明に関しその好適な実施形態を例にして具体的な説明を行ったが、それらに更に変形乃至改良を施せること、またそうしたものも本発明の基本的着想及び技術的範囲内に包括されうることを理解されたい。
【符号の説明】
【０１１３】
１，２，７１，７４ 第１〜第３撮像部、３，４ 第１又は第２ズームレンズ、５ａ，５ｂ ズーム／フォーカスモータ、１０Ａ，６１０ ディジタルカメラ、カメラ付携帯電話等の撮像アセンブリ、１２，１４，１６，７８，６１４，６１８ 第１〜第３イメージセンサ、１２ｅ，１４ｅ 第１又は第２センサ出力、１３，１５，１７ クロックドライバ、２２，２４，２５ 第１〜第３アナログ信号プロセッサ、３４，３６，３７ 第１〜第３ディジタルマルチプレクサ型制御素子、３８ ＤＲＡＭ型バッファメモリ、４０ 制御プロセッサ／タイミング発生器、４２ ユーザ操作子、４２ａ シャッタボタン、４２ｃ ズームボタン、４２ｄ マルチポジションセレクタ、４６自動露出検出器、４８ 電子フラッシュ、５０ イメージプロセッサ、５２ メモリカードインタフェース、５４ リムーバブルメモリカード、５６ ＲＡＭ型メモリ、５７ ＧＰＳユニット、５８ ファームウェアメモリ、５９ 電子コンパス、６２ ホストインタフェース、６４ 接続手段、６６ ホストＰＣ、７０ カラー液晶型画像表示部、７３，６１２ 第１固定焦点距離レンズ、９０ セルラプロセッサ、９２ セルラモデム、９４ アンテナ、１００，５００，１１０２ ズームポジションをデフォルト設定するステップ、１０１，２５０ ズームポジションを選択するステップ、１０２，５０２，１５０２ ズームポジションを判別するステップ、１０４，１２４，２５２，５０４，５２４ 本撮影用撮像部を選定するステップ、１０６，１２６，２６０ 第１又は第２撮像部を使用してオートフォーカス用画像を撮影するステップ、１０８，１２８ 第１又は第２撮像部を合焦させるステップ、１１０，１３０，１１０４，１２０４，１３０４，１４１２，１６１０，１７１０ 第１又は第２撮像部を使用してプリビュー用画像を撮影し表示させるステップ、１１２，１３２，５０８，５２８，１５００ ズームボタンが押下されたか判別するステップ、１１４，１３４，１１０８，１６００，１６１２，１７００，１７１２，１８００，１８１４ シャッタボタンが押下されたか判別するステップ、１１６，１３６，２７０ 第１又は第２撮像部を使用して本撮影するステップ、１１８，１３８，２７６ 第１又は第２撮像部を使用して動画を撮影するステップ、１１９，１３９ 合焦品質をチェックするステップ、１２０，１４０ 再合焦要否を判別するステップ、１５１ 被写体、１５２，１５３ 第１又は第２レンズ、１５４，１５５ 第１又は第２光路、１５６ 合焦面、１５７，１５８ 第１又は第２像、１７０，１８０ 第１又は第２基準位置、１７１，１８１ シフト後第１又は第２位置、１９０，１９１ 第１又は第２光学センサアレイ、１９７ 低域通過フィルタをロードするステップ、１９８ 合焦状態評価値を比較するステップ、１９９ 高域通過フィルタをロードするステップ、２５４ 非本撮影用撮像部でズーミングするステップ、２５６ 過焦点距離に設定するステップ、２５８ オートフォーカス手順を開始するステップ、２６２，３０２，４４２ 短焦点距離で撮影した画像等をクロッピング及びアップサンプリングするステップ、２６４，３０４，４４４，４８０ 画像の関連付け後に画素オフセットを導出するステップ、２６６，２８２，２８４ 最良合焦に必要な可調焦点レンズ調整量を導出するステップ、２６８，２８６ 合焦用レンズを調整するステップ、２７２ ヒルクライムオートフォーカスを実行するステップ、２７４ シャッタボタンの押下を待つステップ、２７８ ヒルクライム合焦状態を継続チェックするステップ、２８０，４７２ 合焦状態を判別するステップ、３００，４００ 画像群を撮影するステップ、３０６，４０４ オートフォーカス用レンジファインダ又はヒルクライム法校正曲線を生成するステップ、３５０ オートフォーカス用画像の外観、３５２ ズーミング及びクロッピングを経たオートフォーカス用画像の外観、４０２ ポジションと距離を比較するステップ、４４０，４４８ 短又は長焦点距離で撮影するステップ、４４６ 焦点補正量を導出するステップ、４６０，４６６ 第１又は第２撮像部を使用しヒルクライム法で第１又は第２画像を撮影するステップ、４６２ 第１撮像部で撮影した画像をプリビュー表示させるステップ、４６４ 第１撮像部の合焦条件を変更するステップ、４６８ 第２撮像部を使用し別画像を撮影するステップ、４７０ 第２画像と別画像の合焦状態を比較するステップ、４８２ レンジファインダ校正曲線を使用し画素オフセットを換算するステップ、４８４ 距離マップを生成するステップ、５０６，５２６ 第１又は第２撮像部を使用しプリビュー画像を撮影して表示させオートフォーカスするステップ、５１０，５３０，１６１４，１７１４，１８１６ 一次画像撮影時の焦点ポジション下等で第１又は第２撮像部を使用し一次画像を撮影するステップ、５１２，５３２ 二次画像撮影時焦点ポジション下で第１又は第２撮像部を使用し二次画像を撮影するステップ、５１４，５３４ 二次画像を使用し一次画像を拡張するステップ、６００ 携帯電話、６０２ マイクロホン、６０４ スピーカ、６０６ キーパッド、６０８ （液晶）表示部、 ６１６ 第２固定焦点距離レンズ、６２０ 基板、６２２ 赤外線遮断フィルタ、６２４ 電子部品、６２６ フレキシブルコネクタ、６２８ オートフォーカスサブシステム、６３０ ｚ寸法、７５０ ＧＰＳを使用しカメラを測位するステップ、７５２ カメラ指向方向を計測するステップ、７５４ 距離オフセットを導出するステップ、７５６ 角度オフセットを導出するステップ、７５８ シーン内をＧＰＳ測位するステップ、７６０ ＧＰＳ測位結果を保存するステップ、１１００ 電源投入後に初期化するステップ、１１０６ プリビュー用画像撮影用撮像部を選択するステップ、１１１０ 表示時間を判別するステップ、１１１２ デフォルト撮像部を採用するステップ、１１１４ シーン解析対象画像用撮像部を決定するステップ、１１２４ 判断に従い一次画像用撮像部を決定するステップ、１２００，１２０６，１４０８，１４１６，１７０６，１８０６，１６０４ プリビュー用画像及びシーン解析対象画像の一方又は双方等を使用してシーン解析するステップ、１２０２，１３０２，１４０４，１４１０，１６０８，１７０８，１８０８，１８１２ 一次又は二次画像の撮影パラメタを設定するステップ、１２０８，１３０８，１４１８ しきい値等を使用し光景条件を判別するステップ、１３００，１３０６ シーン解析対象画像を撮影して解析するステップ、１４００ シーン解析対象画像用撮像部のズームポジションを設定するステップ、１４０２，１４１４，１７０４，１８０４ シーン解析対象画像を撮影するステップ、１４０６，１６０２，１７０２，１８０２ プリビュー用画像を撮影するステップ、１５０４ 撮像部の用途を入れ替えるステップ、１５０６ 一次画像用撮像部のズームポジションを設定するステップ、１６０６ シーン解析完了を判別するステップ、１６１６，１７１６ 焦点／露出ロックをチェックするステップ、１８１０ シーン解析対象画像用撮像部を二次画像用撮像部にするステップ、１８１８ 補強用画像を撮影するステップ、１８２０ 拡張画像を生成するステップ。
【特許請求の範囲】
【請求項１】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ及びその第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズを有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、並びに第１レンズとは異なる焦点距離で視野内光景を捉え第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１及び第２センサ出力のうち一方を撮像出力信号として選定する一方、光景内諸点までの距離を指し示す距離マップを第１及び第２センサ出力双方に基づき生成する処理部と、
を備える電子カメラ。
【請求項２】
請求項１記載の電子カメラであって、その処理部が、第１及び第２画像を互いに関連付けることで光景内諸点について画素オフセットを導出し、それらの画素オフセットを本カメラから対応する点までの距離へと換算し、そして本カメラから光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項３】
請求項２記載の電子カメラであって、その処理部が、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めることとなるよう、その焦点距離が短い方のレンズでもたらされる画像をクロッピング及びアップサンプリングする電子カメラ。
【請求項４】
請求項１記載の電子カメラであって、その処理部が、光景内諸点についての画素オフセットを本カメラからその点までの距離へと換算する処理を、レンジファインダ校正曲線に従い実行する電子カメラ。
【請求項５】
請求項１記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項６】
請求項５記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項７】
請求項１記載の電子カメラであって、撮影した画像を距離マップに従い修正する電子カメラ。
【請求項８】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ、第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズ、並びに第１焦点検出信号に応じ第１レンズの焦点を調整する第１レンズ焦点調整器を有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズ、並びに第２焦点検出信号に応じ第２レンズの焦点を調整する第２レンズ焦点調整器を有する第２撮像部と、
（ａ）第１センサ出力を撮像出力信号として選定する一方第２センサ出力に基づき第１撮像部向けの第１焦点検出信号を生成する動作又は（ｂ）第２センサ出力を撮像出力信号として選定する一方第１センサ出力に基づき第２撮像部向けの第２焦点検出信号を生成する動作を実行し、生成した焦点検出信号を第１及び第２撮像部のうち対応する方の撮像部内のレンズ焦点調整器に供給することで、第１及び第２レンズのうち撮像出力信号となる画像をもたらす方のレンズの焦点を調整する処理部と、
を備え、その処理部が、更に、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づき、光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項９】
請求項８記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項１０】
請求項９記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項１１】
請求項８記載の電子カメラであって、撮影した画像を距離マップに基づき修正する電子カメラ。
【請求項１２】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ、第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズ、並びに焦点変化検出信号に応じ第１レンズの焦点を継続的に再調整する第１レンズ焦点調整器を有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、並びに第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１センサ出力を撮像出力信号として選定する一方、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づきその光景の画像の焦点を検出し、その画像に合焦させるため第１撮像部向けの焦点変化検出信号を生成し、その焦点変化検出信号を第１レンズ焦点調整器に供給することにより、撮像出力信号のもととなる第１画像の合焦状態を調整する処理部と、
を備え、その処理部が、更に、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づき、光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項１３】
請求項１２記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項１４】
請求項１３記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項１５】
請求項１２記載の電子カメラであって、撮影した画像を距離マップに基づき修正する電子カメラ。
【請求項１６】
第１撮像部内の第１イメージセンサから光景の第１画像を示す出力を得るステップと、
第２撮像部内の第２イメージセンサからその光景を別の画角で捉えた第２画像を示す出力を得るステップと、
第１及び第２画像のうち一方を出力画像として選定するステップと、
光景内諸点までの距離を指し示す距離マップを第１及び第２撮像部双方の出力に基づき生成するステップと、
を有し、撮像部を２個備えるディジタルカメラを使用し出力画像を得る一方でそのセンサ出力からその光景についての距離マップを生成する方法。
【請求項１７】
請求項１６記載の方法であって、更に、
第１及び第２画像を互いに関連付けることにより光景内諸点について画素オフセットを導出するステップと、
それらの画素オフセットをそのカメラからの距離に換算するステップと、
光景内諸点までの距離を指し示す距離マップを生成するステップと、
を有する方法。
【請求項１８】
請求項１７記載の方法であって、更に、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めることとなるよう、第１及び第２撮像部のうちその画角が広い方の撮像部で捉えた画像をクロッピング及びアップサンプリングするステップを有する方法。
【請求項１９】
請求項１６記載の方法であって、その距離マップに基づき被写体の閉じた輪郭を識別してその形状を画定することにより、出力画像中の被写体を識別する方法。
【請求項２０】
請求項１６記載の方法であって、その距離マップに基づき被写体の閉じた輪郭を識別して出力画像を細分することにより、その出力画像から被写体を抽出する方法。
【請求項２１】
請求項１６記載の方法であって、その距離マップに基づき被写体を識別し同一の被写体を複数枚の出力画像に亘り追跡することにより、それら複数枚の出力画像に亘る被写体の動きを追跡する方法。
【請求項２２】
請求項１６記載の方法であって、その距離マップに基づき出力画像のうち所望視界深さ外の光景領域に相応する部分をぼかすことにより、その画像の視界深さを動的に変化させる方法。
【請求項２３】
請求項１６記載の方法であって、その距離マップに基づき出力画像内の被写体に被写体単位で利得調整を施すことにより、その出力画像のダイナミックレンジを拡げる方法。
【請求項２４】
請求項１６記載の方法であって、その距離マップに基づき、出力画像のうち前景領域内諸被写体に相応する部分については利得を低下させ背景領域内諸被写体に相応する部分については増大させることにより、フラッシュ使用がもとで生じる露出上の問題を抑える方法。
【請求項２５】
請求項１６記載の方法であって、その距離マップに基づき前景領域内諸被写体を強調することにより、出力画像におけるシーンバランスを改善する方法。
【請求項１】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ及びその第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズを有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、並びに第１レンズとは異なる焦点距離で視野内光景を捉え第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１及び第２センサ出力のうち一方を撮像出力信号として選定する一方、光景内諸点までの距離を指し示す距離マップを第１及び第２センサ出力双方に基づき生成する処理部と、
を備える電子カメラ。
【請求項２】
請求項１記載の電子カメラであって、その処理部が、第１及び第２画像を互いに関連付けることで光景内諸点について画素オフセットを導出し、それらの画素オフセットを本カメラから対応する点までの距離へと換算し、そして本カメラから光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項３】
請求項２記載の電子カメラであって、その処理部が、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めることとなるよう、その焦点距離が短い方のレンズでもたらされる画像をクロッピング及びアップサンプリングする電子カメラ。
【請求項４】
請求項１記載の電子カメラであって、その処理部が、光景内諸点についての画素オフセットを本カメラからその点までの距離へと換算する処理を、レンジファインダ校正曲線に従い実行する電子カメラ。
【請求項５】
請求項１記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項６】
請求項５記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項７】
請求項１記載の電子カメラであって、撮影した画像を距離マップに従い修正する電子カメラ。
【請求項８】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ、第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズ、並びに第１焦点検出信号に応じ第１レンズの焦点を調整する第１レンズ焦点調整器を有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズ、並びに第２焦点検出信号に応じ第２レンズの焦点を調整する第２レンズ焦点調整器を有する第２撮像部と、
（ａ）第１センサ出力を撮像出力信号として選定する一方第２センサ出力に基づき第１撮像部向けの第１焦点検出信号を生成する動作又は（ｂ）第２センサ出力を撮像出力信号として選定する一方第１センサ出力に基づき第２撮像部向けの第２焦点検出信号を生成する動作を実行し、生成した焦点検出信号を第１及び第２撮像部のうち対応する方の撮像部内のレンズ焦点調整器に供給することで、第１及び第２レンズのうち撮像出力信号となる画像をもたらす方のレンズの焦点を調整する処理部と、
を備え、その処理部が、更に、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づき、光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項９】
請求項８記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項１０】
請求項９記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項１１】
請求項８記載の電子カメラであって、撮影した画像を距離マップに基づき修正する電子カメラ。
【請求項１２】
撮像出力信号に基づき視野内光景についての出力画像を生成する電子カメラであって、
第１センサ出力をもたらす第１イメージセンサ、第１イメージセンサ上に視野内光景の第１画像を発現させる第１レンズ、並びに焦点変化検出信号に応じ第１レンズの焦点を継続的に再調整する第１レンズ焦点調整器を有する第１撮像部と、
第２センサ出力をもたらす第２イメージセンサ、並びに第２イメージセンサ上に視野内光景の第２画像を発現させる第２レンズを有する第２撮像部と、
第１センサ出力を撮像出力信号として選定する一方、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づきその光景の画像の焦点を検出し、その画像に合焦させるため第１撮像部向けの焦点変化検出信号を生成し、その焦点変化検出信号を第１レンズ焦点調整器に供給することにより、撮像出力信号のもととなる第１画像の合焦状態を調整する処理部と、
を備え、その処理部が、更に、一種のレンジファインダを形成している第１及び第２撮像部のセンサ出力に基づき、光景内諸点までの距離を指し示す距離マップを生成する電子カメラ。
【請求項１３】
請求項１２記載の電子カメラであって、更に、本カメラの位置を示すＧＰＳ座標値を出力するＧＰＳユニットと、本カメラの指向方向を求める電子コンパスと、を備える電子カメラ。
【請求項１４】
請求項１３記載の電子カメラであって、その処理部が、本カメラのＧＰＳ座標値及び指向方向、並びに距離マップから得られる距離オフセットに基づき、光景内諸点のＧＰＳ座標値を導出する電子カメラ。
【請求項１５】
請求項１２記載の電子カメラであって、撮影した画像を距離マップに基づき修正する電子カメラ。
【請求項１６】
第１撮像部内の第１イメージセンサから光景の第１画像を示す出力を得るステップと、
第２撮像部内の第２イメージセンサからその光景を別の画角で捉えた第２画像を示す出力を得るステップと、
第１及び第２画像のうち一方を出力画像として選定するステップと、
光景内諸点までの距離を指し示す距離マップを第１及び第２撮像部双方の出力に基づき生成するステップと、
を有し、撮像部を２個備えるディジタルカメラを使用し出力画像を得る一方でそのセンサ出力からその光景についての距離マップを生成する方法。
【請求項１７】
請求項１６記載の方法であって、更に、
第１及び第２画像を互いに関連付けることにより光景内諸点について画素オフセットを導出するステップと、
それらの画素オフセットをそのカメラからの距離に換算するステップと、
光景内諸点までの距離を指し示す距離マップを生成するステップと、
を有する方法。
【請求項１８】
請求項１７記載の方法であって、更に、同じ事物が第１及び第２画像のいずれでもほぼ同じ画素数を占めることとなるよう、第１及び第２撮像部のうちその画角が広い方の撮像部で捉えた画像をクロッピング及びアップサンプリングするステップを有する方法。
【請求項１９】
請求項１６記載の方法であって、その距離マップに基づき被写体の閉じた輪郭を識別してその形状を画定することにより、出力画像中の被写体を識別する方法。
【請求項２０】
請求項１６記載の方法であって、その距離マップに基づき被写体の閉じた輪郭を識別して出力画像を細分することにより、その出力画像から被写体を抽出する方法。
【請求項２１】
請求項１６記載の方法であって、その距離マップに基づき被写体を識別し同一の被写体を複数枚の出力画像に亘り追跡することにより、それら複数枚の出力画像に亘る被写体の動きを追跡する方法。
【請求項２２】
請求項１６記載の方法であって、その距離マップに基づき出力画像のうち所望視界深さ外の光景領域に相応する部分をぼかすことにより、その画像の視界深さを動的に変化させる方法。
【請求項２３】
請求項１６記載の方法であって、その距離マップに基づき出力画像内の被写体に被写体単位で利得調整を施すことにより、その出力画像のダイナミックレンジを拡げる方法。
【請求項２４】
請求項１６記載の方法であって、その距離マップに基づき、出力画像のうち前景領域内諸被写体に相応する部分については利得を低下させ背景領域内諸被写体に相応する部分については増大させることにより、フラッシュ使用がもとで生じる露出上の問題を抑える方法。
【請求項２５】
請求項１６記載の方法であって、その距離マップに基づき前景領域内諸被写体を強調することにより、出力画像におけるシーンバランスを改善する方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公表番号】特表２０１０−５２４２７９（Ｐ２０１０−５２４２７９Ａ）
【公表日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−５５３５７４（Ｐ２００９−５５３５７４）
【出願日】平成２０年２月８日（２００８．２．８）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００１７１０
【国際公開番号】ＷＯ２００８／１１２０５４
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公表日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年２月８日（２００８．２．８）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００１７１０
【国際公開番号】ＷＯ２００８／１１２０５４
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]