撮影装置およびその制御方法
【課題】 多視点撮影装置の撮影モードおよび動作状態に応じて複数の撮像手段の有効・無効を制御して、熱ノイズを抑制する。
【解決手段】 CPU200は、複数のカメラユニット101を有する他視点撮影装置の撮影モードおよび動作状態を判定する。そして、CPU200は、撮影モードおよび動作状態により、複数のカメラユニット101のうち有効にするカメラユニットを決定する。電源制御部208は、有効にするカメラユニットに電力を供給する。
【解決手段】 CPU200は、複数のカメラユニット101を有する他視点撮影装置の撮影モードおよび動作状態を判定する。そして、CPU200は、撮影モードおよび動作状態により、複数のカメラユニット101のうち有効にするカメラユニットを決定する。電源制御部208は、有効にするカメラユニットに電力を供給する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼方式のカメラのような撮影装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、複数の視点で撮影した画像（以下、複数視点画像）を用いて、単眼のカメラでは不可能な様々な機能を実現することが試みられている。例えば、非特許文献1に紹介されたリフォーカス処理がある。リフォーカス処理は、撮影後に撮影距離（ピント）や被写界深度を変更する画像処理で、「ピン暈け」などの画質問題を解消する技術として注目される。
【０００３】
リフォーカス処理を実現する方式として、プレノプティック(plenoptic)方式と多眼方式が知られている。プレノプティック方式は、撮像センサの前にレンズアレイを配置し、レンズアレイの各レンズに入射する光を複数の撮像素子により記録することで、撮像デバイスに入射する光を分割記録する。一方、多眼方式は、複数台のカメラユニットを組み合わせて、仮想撮像デバイスに入射する光を分割記録する。
【０００４】
何れの方式も、撮像デバイスに入射する光を方向別に分割記録し、記録した光線群（光線情報）から所望する状態が得られる光線を選択し、それら光線を合成して、リフォーカス処理に代表される様々な画像処理を実現する。従って、何れの方式も、撮像デバイスに入射する光の分割（以後、視差）が細かいほど、調整可能な範囲が広がり、処理結果の画質も向上する。
【０００５】
プレノプティック方式と多眼方式の違いは主に次の三点である。
【０００６】
（1）出力解像度の違い：プレノプティック方式は、前述した構造上、マイクロレンズアレイと同程度の出力解像度しか得られない。これに対して、多眼方式は、各カメラユニットの解像度に応じた出力解像度が得られる。
【０００７】
（2）視差の細かさの違い：プレノプティック方式のカメラ（以下、プレノプティックカメラ）は、レンズアレイを構成するレンズで分割した微小な視差の光線情報を得る。これに対して、多眼方式のカメラ（以下、多眼カメラ）の視差は、カメラユニット間の距離（基線長）に依存し、微小な視差を得ることは容易ではない。従って、多眼方式においては、基線長をできるだけ小さくするために、カメラユニットをできるだけ密に配置する。
【０００８】
（3）消費電力の違い：プレノプティックカメラは、一般的なディジタルカメラの撮像センサ前にレンズアレイを追加した構成を有し、その消費電力は、ベースのディジタルカメラと同等である。これに対して、多眼カメラは、多数のカメラユニットで構成され、カメラユニットの数に応じて消費電力が上昇する。
【０００９】
多眼カメラにおける消費電力の問題に対して、防犯カメラの分野においては、一部の構成機器の電源をカットして省電力化する技術が提案されている。例えば、特許文献1が記載する発明は、特定の領域における人物検出結果に応じて、カメラや照明装置への電力供給を制御する。
【００１０】
しかし、多眼カメラにおける問題は消費電力だけではなく、カメラユニットの密集による熱ノイズの増加がある。多眼カメラにおいては、前述したような理由からカメラユニットを密集配置する必要があり、カメラユニットは互いに周囲に配置されたカメラユニットから熱の影響を受けて熱ノイズが増加する。
【００１１】
多眼カメラによって得られる画像の画質に最も大きな影響を与えるのは、多眼カメラの中心付近に配置されるカメラユニット（以下、センタカメラユニット）の画質である。しかし、センタカメラユニットの周囲には、多くのカメラユニットが配置され、センタカメラユニットの熱ノイズは増加し易い傾向にある。言い換えれば、多眼カメラにおいては、熱ノイズを抑制しつつ、できるだけ多くの光線情報を得ることが重要になる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2009-202726号公報
【非特許文献】
【００１３】
【非特許文献１】R. Ng, M. Levoy, et al.「Light Field Photography with a Hand-Held Plenoptic Camera」Stanford University Computer Science Tech Report CSTR 2005-02、2005年4月
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、多視点撮影装置の撮影モードおよび動作状態に応じて複数の撮像手段の有効・無効を制御して、熱ノイズを抑制することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１６】
本発明は、複数の撮像手段を有する撮影装置において、前記撮影装置の撮影モードおよび動作状態を判定し、前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定し、前記有効にする撮像手段に電力を供給することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多視点撮影装置の撮影モードおよび動作状態に応じて複数の撮像手段の有効・無効を制御して、熱ノイズを抑制することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例の多眼方式の多視点撮影装置の概観を説明する概観図。
【図２】実施例の多眼カメラの構成例を説明するブロック図。
【図３】カメラユニットの配置例を示す図。
【図４】多眼カメラの状態遷移を説明する状態遷移図。
【図５】有効カメラユニットの決定方法を説明する図。
【図６】指針例に基づく有効カメラユニットの決定処理を説明するフローチャート。
【図７】撮影準備状態における処理例を説明するフローチャート。
【図８】撮影距離の決定を説明する図。
【図９】最短被写体距離によって有効カメラユニットを切り替える様子を説明する図。
【図１０】カメラユニットのグループ管理を説明する図。
【図１１】動画撮影状態における有効カメラユニットの配置の決定方法を説明するフローチャート。
【図１２】距離推定処理を説明するフローチャート。
【図１３】距離の計算を説明する図。
【図１４】ズーミング操作に対応する有効カメラユニットの切り替えを説明する図。
【図１５】撮影レンズの焦点距離によって有効カメラユニットを切り替える様子を説明する図。
【図１６】ズーミング操作に対するカメラユニットのグループ管理を説明する図。
【図１７】電子式防振を考慮した有効カメラユニットの決定方法を説明する図。
【発明を実施するための形態】
【００１９】
以下、本発明にかかる実施例の撮像装置とその制御方法を図面を参照して詳細に説明する。
【実施例１】
【００２０】
［装置の概観］
図1の概観図により実施例の多眼方式の多視点撮影装置（以下、多眼カメラ）の概観を説明する。
【００２１】
図1(a)に示すように、多眼カメラ100の正面にはカメラユニット101を複数配置したカメラアレイが配置され、上部には撮影開始を指示するレリーズボタン106が配置されている。カメラユニット101はそれぞれ、撮影レンズ102、光学フィルタ103、撮像デバイス104、周辺回路105を備える。このようなカメラアレイによる同時撮影によって複数視点画像が得られる。
【００２２】
図1(b)に示すように、多眼カメラ100の側面には半導体メモリカードのような記録媒体を装着するメモリカードスロット113が配置されている。なお、メモリカードスロット113の代わりにUSBなどのシリアルバスインタフェイスを配置して、シリアルバスを介してハードディスクドライブなどの記憶装置を接続してもよい。
【００２３】
また、多眼カメラ100の背面には表示部107、十字状に配置されたキー群108、電源ボタン109、メニューボタン110、決定ボタン111、キャンセルボタン112などが配置されている。
【００２４】
なお、本実施例の多眼カメラ100は光学ファインダを備えないので、フレーミング操作（ピントや構図の確認）には表示部107に表示される画像を用いる。表示部107の表示画面には、撮影範囲をリアルタイムに表示するライブビュー表示、および、メニューボタン110が押された場合のカメラ設定メニュー表示などがある。なお、カメラ設定メニューが表示された状態でメニューボタン110が押されると、表示部107の表示画面はライブビュー表示に復帰する。
【００２５】
カメラ設定メニューが表示された状態において、ユーザは、設定項目を選択し、選択した設定項目の状態をキー群108を操作して変更し、決定ボタン111を押して変更を決定するか、キャンセルボタン112を押して変更をキャンセルする。カメラ設定メニューにより変更が可能な設定項目には、動画撮影・静止画撮影などの撮影モードの切り替え、絞り値、シャッタスピードなどがある。
【００２６】
以下の説明において、絞り値、シャッタスピード、ズーム位置は、カメラアレイを構成するカメラユニット101それぞれについてすべて同値に設定されるとして説明を行うが、カメラユニット101それぞれに異なる値を設定してもよい。また、撮影距離については、例えば表示部107のタッチスクリーンやキー群108を操作して指定される自動焦点(AF)測距枠に対応する被写体まで距離を算出し、算出した距離を全カメラユニット101の撮影距離に設定する。なお、被写体の距離推定処理の詳細は後述する。
【００２７】
［装置の構成］
図2のブロック図により実施例の多眼カメラの構成例を説明する。
【００２８】
ワンチップマイクロプロセッサ(CPU)200は、内蔵するROMなどの格納された制御プログラムを実行して、各カメラユニット101が出力する画像データを画像処理するとともに、後述する各構成を制御して多眼カメラ100全体の動作を制御する。CPU200の制御対象には、LCDなどの表示部107の表示制御、表示部107のバックライトの制御、各カメラユニット101の電源制御などがある。
【００２９】
スイッチ206（SW1）とスイッチ207（SW2）の機能は撮影モードによって異なる。多眼カメラ100が静止画撮影モードにある場合、SW1は、レリーズボタン106を途中まで押し状態（半押状態）で閉になり、SW1が閉になると多眼カメラ100は撮影準備状態になる。また、SW2は、レリーズボタン106を最後まで押した状態（全押状態）で閉になり、SW2が閉になると多眼カメラ100は静止画の撮影を開始する。そして、撮影準備状態において決定した露光時間の経過後、多眼カメラ100は静止画の撮影を終了し、撮影した静止画を例えばメモリカードスロット113に装着された記録媒体214に格納する。
【００３０】
多眼カメラが動画撮影モードにある場合、SW1は機能せず、レリーズボタン106の全押状態でSW2が閉になり、SW2が閉になると多眼カメラ100は動画撮影（録画）を開始する。動画撮影を開始後、SW2が一旦開になり再び閉になると、多眼カメラ100は動画撮影を停止し、撮影した動画を例えばメモリカードスロット113に装着された記録媒体214に格納する。なお、動画撮影中は、ズーム操作によって撮影レンズ102の画角を変更することができる。
【００３１】
各カメラユニット101は、撮影レンズ102、光学フィルタ103、撮像デバイス104、周辺回路105などで構成される。周辺回路105には、制御部203、画像処理部204、カメラユニット101の電源部205などが含まれる。
【００３２】
制御部203は、撮影レンズ102の各種制御やシャッタ制御などを行う。例えば、撮影距離に合わせて撮影レンズ102を駆動する撮影距離制御、絞り値に合わせて撮影レンズ102内の絞りを駆動する絞り制御、露出時間に合わせて撮像デバイス104を駆動するシャッタ制御を行う。画像処理部204は、撮像デバイス104が出力する画像信号を処理した画像データをバッファメモリ210に転送する。画像処理部211は、バッファメモリ210に格納された画像データを用いて記録媒体214に格納する画像データの形式に応じた画像データを生成する。
【００３３】
電源制御部208は、詳細は後述するが、多眼カメラ100の状態に応じて各カメラユニット101の電源部205を制御する。
【００３４】
［カメラユニットの配置］
図3によりカメラユニット101の配置例を示す。図3において、矩形は各カメラユニット101を表し、矩形の並びは多眼カメラ100を正面から観た場合のカメラユニット101の配置例を表す。図3(a)から図3(c)に示すようなカメラユニット101の配置パターンが考えられる。以下では、多眼カメラ100のカメラユニット101の配置が図3(a)に示す配置パターンとして説明を行う。
【００３５】
［状態遷移］
図4の状態遷移図により多眼カメラ100の状態遷移を説明する。多眼カメラ100の動作状態は、電源ボタン109の操作により、スタンバイ状態S10とライブビュー状態S11の間を遷移する。
【００３６】
静止画撮影モードには、一般に、構図調整（フレーミング状態S11）、撮影準備状態S12（フォーカシング、露出決定）、静止画撮影状態S13があり、これら三状態を経るシーケンスによって画像が取得される。静止画撮影状態S13は、露光時間に着目すると、数秒未満の短時間露光と、長い場合には数分間露光する長時間露光に大別される。
【００３７】
一方、動画撮影モードにおいては、ライブビュー状態S11から録画を開始して動画撮影状態S14になり、その後、録画を終了してライブビュー状態S11に戻るシーケンスで動画データを取得することが多い。このようなシーケンスを経るため、動画の撮影開始時は、どの程度の時間露光されるかを判断することはできない。
【００３８】
そこで、本実施例においては、撮影モード、並びに、フレーミング、撮影準備、短時間露光の静止画撮影および長時間露光の静止画撮影（または動画撮影）の四つの状態を組み合わせた動作状態について、それぞれ異なる電源制御方法を採用する。
【００３９】
以後の説明において、電力を供給して有効にするカメラユニット101を「有効カメラユニット」、有効カメラユニット以外の省電力モードを設定するカメラユニット101を「無効カメラユニット」と呼ぶ。無効カメラユニットの撮像デバイス104、並びに、周辺回路105の主要部（制御部203、画像処理部204）には、電力を供給しないか、供給電力を最小限に抑制する。その結果、有効カメラユニットから出力される画像データのみがバッファメモリ210に転送される。
【００４０】
［有効カメラユニットの決定］
図5により有効カメラユニットの決定方法を説明する。
【００４１】
図5において、矩形および矩形の並びは、図3と同様に、各カメラユニット101とその配置を示す。また、白抜きの矩形は無効カメラユニットを、ハッチングした矩形は有効カメラユニットを示す。また、符号51はセンタカメラユニットを、符号52は距離推定用のカメラユニットの一例を示す。有効カメラユニットの決定は例えば次のように行う。
【００４２】
指針1（短時間露光の静止画撮影）：撮影シーンに含まれる被写体のうち、多眼カメラ100に最も近い位置にある被写体と多眼カメラ100の距離（以下、最短被写体距離）に従い有効カメラユニットを決定する。なお、距離の推定は撮影準備の段階で実施する。
【００４３】
指針2（長時間露光の静止画撮影または動画撮影）：隣接配置されたカメラユニット101は、同時に、有効カメラユニットにしない。さらに、多眼カメラ100の筐体温度に応じて有効カメラユニットの数を低減する。
【００４４】
図6のフローチャートにより指針例に基づく有効カメラユニットの決定処理を説明する。なお、CPU200は、動作モードおよび撮影シーケンスに対応するステータスフラグの値を判定して多眼カメラ100の動作状態を判定する。
【００４５】
CPU200は、多眼カメラ100の動作モードを判定する(S601)。動画撮影モードの場合は、多眼カメラ100がライブビュー状態S11にあるか、動画撮影状態S14にあるかを判定する(S602)。そして、ライブビュー状態S11にある場合はセンタカメラユニット51のみを有効カメラユニットにする(S605)。また、動画撮影状態にある場合は指針2に適合するカメラユニット101を有効カメラユニットにする(S606)。
【００４６】
一方、静止画撮影モードの場合、CPU200は、多眼カメラ100がライブビューまたはフレーミング状態S11、撮影準備状態S12、静止画撮影状態S13の何れにあるかを判定する(S603)。そして、ライブビューまたはフレーミング状態S11にある場合は、センタカメラユニット51のみを有効カメラユニットにする(S605)。また、撮影準備状態S12にある場合はカメラユニット101の一部であるセンタカメラユニット51および距離推定用のカメラユニット52を有効カメラユニットにする(S608)。
【００４７】
静止画撮影状態S13にある場合、CPU200は、露光時間の長さを判定し(S604)、露光時間が閾値（例えば三秒間）以下の場合は短時間露光の静止画撮影として指針1に適合するカメラユニット101を有効カメラユニットにする(S607)。また、露光時間が閾値を超える場合は長時間露光による静止画撮影として指針2に適合するカメラユニット101を有効カメラユニットにする(S606)。
【００４８】
そして、CPU200は、多眼カメラ100の状態が遷移したか否かを判定し(S609)、状態が遷移すると処理をステップS601に戻す。
【００４９】
以下では、有効カメラユニットの決定方法の詳細を説明する。
【００５０】
●フレーミング（ライブビュー）状態
フレーミング（ライブビュー）状態S11において、CPU200は、センタカメラユニット51のみを有効カメラユニットにして、センタカメラユニット51によって取得した画像データが表す画像を表示部107に表示する。このようにすれば、消費電力が少なく、複雑な処理を必要としないので遅延の少ないライブビュー画像を表示することができる。
【００５１】
●撮影準備状態
撮影準備状態S12において、CPU200は、撮影距離、ホワイトバランスおよび露出を決定し、最短被写体距離を推定する。図7のフローチャートにより撮影準備状態S12における処理例を説明する。
【００５２】
CPU200は、センタカメラユニット51および距離推定用のカメラユニット52を有効カメラユニットにする(S701)。そして、有効カメラユニットによって取得した画像データを、バッファメモリ210と画像処理部211を介して、距離推定部215へ転送する(S702)。
【００５３】
CPU200は、距離推定部215を制御して、有効カメラユニットによって取得した画像データから推定した距離マップを生成させる(S703)。そして、距離マップを参照して、有効カメラユニットに設定する撮影距離を決定し(S704)、短時間撮影の場合に必要になる最短被写体距離を決定する(S705)。さらに、露出（シャッタ速度や絞り値など）を決定し(S706)、画質パラメータ（ホワイトバランスなど）を決定する(S707)。
【００５４】
図8により撮影距離の決定を説明する。CPU200は、距離マップ81にユーザが指定するAF測距枠82を重ねて、AF測距枠82に対応する領域83を抽出し、領域83内の距離情報を用いて撮影距離を決定する。例えば、AF測距枠82に対応する領域83内の距離情報の平均値を撮影距離に決定する。また、CPU200は、距離マップ81から最短距離を取得して最短被写体距離にする。
【００５５】
●静止画撮影状態
静止画撮影状態S13において、CPU200は、撮影準備状態S12において決定した露光時間に応じて有効カメラユニットを決定する。長時間露光の場合は、後述する動画撮影状態S14と同様の方法で有効カメラユニットを決定する。また、短時間露光の場合は、最短被写体距離によって有効カメラユニットを切り替える。
【００５６】
図9により最短被写体距離によって有効カメラユニットを切り替える様子を説明する。なお、図9はカメラユニット101の最短撮影距離が0.1mの場合の一例を示す。
【００５７】
被写体が多眼カメラ100のすぐ近く、例えば10cm程度の距離に存在する場合、センタカメラユニット51と外周に配置されたカメラユニット（以下、外周カメラユニット）の被写体に対するパララックスが大きくなる。さらに、外周カメラユニットがカバーする撮影範囲に主要な被写体が含まれない可能性がある。
【００５８】
そこで、図9に示すように、最短被写体距離が小さい場合は、外周カメラユニットを無効カメラユニットにする。図9は、最短被写体距離が0.1m-0.13mの場合は外周カメラユニットを無効カメラユニットにし、0.13m-0.2mの場合は最外周のカメラユニットを無効カメラユニットにするように、段階的に外周のカメラユニットを無効にする例を示す。
【００５９】
逆に、撮影シーンに含まれる被写体が多眼カメラ100から充分に離れた（例えば5m以上）場所にしか存在しない場合、複数のカメラユニット101によって得られる視差は非常に小さくなる。言い換えれば、センタカメラユニット51と、その周囲のカメラユニットとの間の視差は僅かであり、周囲のカメラユニットによって画像データを取得する意味は無い。そこで、図9に示すように、センタカメラユニット51および最外周のカメラユニットを有効カメラユニットにする。また、図9は、最短被写体距離0.2m-5mの場合はすべてのカメラユニットを有効カメラユニットにする例を示す。
【００６０】
図10によりカメラユニットのグループ管理を説明する。図10(a)に一例を示すように、各カメラユニット101を中央部に配置されたA群、外周部に配置されたB群とC群に区分し、とくに最外周に配置されたカメラユニットをC群に区分する。
【００６１】
図10(b)は各グループの有効・無効を示すテーブルで、電源制御部208は、CPU200から入力される指示および最短被写体距離、並びに、図10(b)に示すテーブルに従い、各カメラユニット101の電源部205の動作を制御する。
【００６２】
このように、最短被写体距離に基づき有効カメラユニットを切り替えることで、消費電力を削減するだけでなく、画像データ量の適切な削減が可能になる。
【００６３】
●動画撮影状態（長時間露光）
動画撮影状態S14においては長時間露光になる可能性が高い。そこで、図5に示すように、通常時は、隣接するカメラユニット同士が同時に有効にしないように、有効カメラユニットを市松模様（チェッカボード）状に配置する（以下、通常時設定）。このような配置にすれば、隣接するカメラユニットの発熱の影響を低減して、充分な視差画像を取得することができる。
【００６４】
また、動画撮影状態S14においては撮影時間が連続して非常に長くなる可能性がある。さらに、長時間の連続撮影によって温度上昇した多眼カメラ100の筐体温度が低下する前に、次の動画撮影が開始される可能性がある。そこで、筐体温度が高い（例えば40℃以上）場合は、図5に示すように、高温時の有効カメラユニットの配置を用意する（以下、高温時設定）。つまり、電源制御部208は、図5に示す通常時および高温時の有効カメラユニットの配置パターンを備え、CPU200の指示に応じて配置パターンを切り替える。
【００６５】
図11のフローチャートにより動画撮影状態S14における有効カメラユニットの配置の決定方法を説明する。CPU200は、多眼カメラ100の筐体の適切な箇所に配置された温度センサ213から温度を取得し(S201)、取得した温度が閾値（例えば40℃）以上か否かを判定する(S202)。そして、閾値以上の場合は高温時設定を電源制御部208に指示し(S203)、閾値未満の場合は通常設定を電源制御部208に指示する(S204)。
【００６６】
なお、筐体温度ではなく、例えば各カメラユニット101の撮像デバイス104の温度を取得し、撮像デバイス104の例えば温度の平均値または重み付き平均値に基づき有効カメラユニットの配置パターンを決定してもよい。重みは、例えば、外周部から中心に向かって大きくなるようにすればよい。また、多眼カメラ100の図示しないバッテリの残量に基づき有効カメラユニットの配置パターンを決定してもよい。
【００６７】
［距離推定処理］
距離推定処理は、多眼カメラ100で撮影した複数視点画像を基に、撮影したシーンの距離を推定して距離マップ（デプス画像）を生成する。距離推定方法にはステレオ法、マルチベースラインステレオ法などがあるが、本実施例ではステレオ法による距離推定を行う。図12のフローチャートにより距離推定処理を説明する。
【００６８】
距離推定部215は、CPU200が複数視点画像から選択した二つの画像を入力する(S301)。CPU200は、例えば、センタカメラユニット51が撮影した画像（以下、基準画像）と、距離推定用のカメラユニット52のうち任意の一台が撮影した画像（以下、対応画像）を、距離の推定に使用する二つの画像として選択する。
【００６９】
次に、距離推定部215は、基準画像の例えば原点に注目画素を設定し(S302)、注目画素とその周囲画素を含む注目領域を設定する(S303)。そして、注目領域と対応画像の間でブロックマッチングを行って、注目画素に対応する対応画像の画素（対応画素）を決定する(S304)。
【００７０】
次に、距離推定部215は、対応画像を撮影したカメラユニット52の画角やセンタカメラユニット51からの相対位置などを示す撮像装置情報、および、注目画素と対応画素に基づき、注目画素に対応する距離pを計算する(S305)。
【００７１】
図13により距離pの計算を説明する。角度αは、センタカメラユニット51の水平画角、基準画像の撮像位置、注目画素の座標から算出される。角度βは距離推定用のカメラユニット52の水平画角、対応画像の撮像位置、対応画素の座標から算出される。距離sは、センタカメラユニット51とカメラユニット52の距離であり、基準画像と対応画像の撮像位置から算出される。被写体53との距離pは次式によって計算される。
p = {sinα・sinβ/sin(π-α-β)}s …(1)
【００７２】
次に、距離推定部215は、基準画像の全画素に対応する距離pを計算したか否かを判定し(S306)、未計算の画素があれば注目画素を移動して(S307)、処理をステップS303に戻す。また、基準画像の全画素に対応する距離pを計算した場合は、各画素に対応する距離pを画素値に対応させた距離マップを生成する(S308)。
【００７３】
［ズーミング操作］
図14によりズーミング操作に対応する有効カメラユニットの切り替えを説明する。
【００７４】
動画撮影や長時間露光による静止画撮影において高温時設定になると、有効カメラユニットを間引いた状態になる。この状態でズーミング操作により画角を狭めると、図14に示すように、各カメラユニットの撮影範囲の重複領域が小さくなり、充分な視差が得られない場合がある。従って、多眼カメラ100がズーム機能を有する場合、画角に応じて有効カメラユニットの配置を制御することが好ましい。
【００７５】
図15により撮影レンズ102の焦点距離によって有効カメラユニットを切り替える様子を説明する。なお、図15は撮影レンズ102の焦点距離が28mmから300mm（35mm換算時）の場合の一例を示す。
【００７６】
つまり、高温時設定においては、焦点距離が28mm-50mmは高温時設定の配置パターンを使用し、焦点距離が50mm-100mmは通常時の配置パターンを使用し、焦点距離が100mmを超える場合は全カメラユニットを有効にする。
【００７７】
図16によりズーミング操作に対するカメラユニットのグループ管理を説明する。図16(a)に一例を示すように、各カメラユニット101を市松模様状にD群、E群、G群に区分する。図16(b)は通常時と高温時における、焦点距離と各グループの有効・無効を示すテーブルである。電源制御部208は、CPU200から入力される指示および焦点距離、並びに、図16(b)に示すテーブルに従い、各カメラユニット101の電源部205の動作を制御する。
【００７８】
このように、焦点距離に基づき有効カメラユニットを切り替えることで、ズーミング操作に伴い撮影範囲の重複領域が減る問題に適切に対処することができる。
【００７９】
［電子式防振］
以下では、動画撮影に用いられる電子式防振の有効/無効に応じた有効カメラユニットの切り替えを説明する。
【００８０】
電子式防振は、一般に、フレーム間の差異が小さくなるように位置を合わせ、フレーム間で重複しない画像部分をカットして、見掛け上、振れが少ない映像を取得する技術である。このような仕組みで振れを抑制するため、電子式防振処理を行う場合は、本来撮影すべき領域よりも広い画角の画像を取得する必要がある。
【００８１】
図17により電子式防振を考慮した有効カメラユニットの決定方法を説明する。図17に示すように、電子式防振処理を行う場合は外周カメラユニット（図10(a)に示すグループB、C）を有効カメラユニットにする。つまり、CPU200は、電子式防振処理の設定状態を判定して、メニュー操作により電子式防振処理の実行が設定されている場合は、外周カメラユニットを有効カメラユニットに加えて、より広い画角の撮影を行う。従って、良好な電子式防振処理が可能になる。
【００８２】
このように、多眼カメラ100の状態に応じて、各カメラユニット101の電源部205を制御し、有効カメラユニットを切り替える。従って、カメラユニット101の発熱を抑え、多眼カメラ100における熱ノイズを抑制しつつ、できるだけ多くの光線情報を得て、好適な多視点画像を得ることが可能になる。その結果、より高品位な撮影画像を得ることができる。
【００８３】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、多眼方式のカメラのような撮影装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、複数の視点で撮影した画像（以下、複数視点画像）を用いて、単眼のカメラでは不可能な様々な機能を実現することが試みられている。例えば、非特許文献1に紹介されたリフォーカス処理がある。リフォーカス処理は、撮影後に撮影距離（ピント）や被写界深度を変更する画像処理で、「ピン暈け」などの画質問題を解消する技術として注目される。
【０００３】
リフォーカス処理を実現する方式として、プレノプティック(plenoptic)方式と多眼方式が知られている。プレノプティック方式は、撮像センサの前にレンズアレイを配置し、レンズアレイの各レンズに入射する光を複数の撮像素子により記録することで、撮像デバイスに入射する光を分割記録する。一方、多眼方式は、複数台のカメラユニットを組み合わせて、仮想撮像デバイスに入射する光を分割記録する。
【０００４】
何れの方式も、撮像デバイスに入射する光を方向別に分割記録し、記録した光線群（光線情報）から所望する状態が得られる光線を選択し、それら光線を合成して、リフォーカス処理に代表される様々な画像処理を実現する。従って、何れの方式も、撮像デバイスに入射する光の分割（以後、視差）が細かいほど、調整可能な範囲が広がり、処理結果の画質も向上する。
【０００５】
プレノプティック方式と多眼方式の違いは主に次の三点である。
【０００６】
（1）出力解像度の違い：プレノプティック方式は、前述した構造上、マイクロレンズアレイと同程度の出力解像度しか得られない。これに対して、多眼方式は、各カメラユニットの解像度に応じた出力解像度が得られる。
【０００７】
（2）視差の細かさの違い：プレノプティック方式のカメラ（以下、プレノプティックカメラ）は、レンズアレイを構成するレンズで分割した微小な視差の光線情報を得る。これに対して、多眼方式のカメラ（以下、多眼カメラ）の視差は、カメラユニット間の距離（基線長）に依存し、微小な視差を得ることは容易ではない。従って、多眼方式においては、基線長をできるだけ小さくするために、カメラユニットをできるだけ密に配置する。
【０００８】
（3）消費電力の違い：プレノプティックカメラは、一般的なディジタルカメラの撮像センサ前にレンズアレイを追加した構成を有し、その消費電力は、ベースのディジタルカメラと同等である。これに対して、多眼カメラは、多数のカメラユニットで構成され、カメラユニットの数に応じて消費電力が上昇する。
【０００９】
多眼カメラにおける消費電力の問題に対して、防犯カメラの分野においては、一部の構成機器の電源をカットして省電力化する技術が提案されている。例えば、特許文献1が記載する発明は、特定の領域における人物検出結果に応じて、カメラや照明装置への電力供給を制御する。
【００１０】
しかし、多眼カメラにおける問題は消費電力だけではなく、カメラユニットの密集による熱ノイズの増加がある。多眼カメラにおいては、前述したような理由からカメラユニットを密集配置する必要があり、カメラユニットは互いに周囲に配置されたカメラユニットから熱の影響を受けて熱ノイズが増加する。
【００１１】
多眼カメラによって得られる画像の画質に最も大きな影響を与えるのは、多眼カメラの中心付近に配置されるカメラユニット（以下、センタカメラユニット）の画質である。しかし、センタカメラユニットの周囲には、多くのカメラユニットが配置され、センタカメラユニットの熱ノイズは増加し易い傾向にある。言い換えれば、多眼カメラにおいては、熱ノイズを抑制しつつ、できるだけ多くの光線情報を得ることが重要になる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2009-202726号公報
【非特許文献】
【００１３】
【非特許文献１】R. Ng, M. Levoy, et al.「Light Field Photography with a Hand-Held Plenoptic Camera」Stanford University Computer Science Tech Report CSTR 2005-02、2005年4月
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、多視点撮影装置の撮影モードおよび動作状態に応じて複数の撮像手段の有効・無効を制御して、熱ノイズを抑制することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１６】
本発明は、複数の撮像手段を有する撮影装置において、前記撮影装置の撮影モードおよび動作状態を判定し、前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定し、前記有効にする撮像手段に電力を供給することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多視点撮影装置の撮影モードおよび動作状態に応じて複数の撮像手段の有効・無効を制御して、熱ノイズを抑制することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例の多眼方式の多視点撮影装置の概観を説明する概観図。
【図２】実施例の多眼カメラの構成例を説明するブロック図。
【図３】カメラユニットの配置例を示す図。
【図４】多眼カメラの状態遷移を説明する状態遷移図。
【図５】有効カメラユニットの決定方法を説明する図。
【図６】指針例に基づく有効カメラユニットの決定処理を説明するフローチャート。
【図７】撮影準備状態における処理例を説明するフローチャート。
【図８】撮影距離の決定を説明する図。
【図９】最短被写体距離によって有効カメラユニットを切り替える様子を説明する図。
【図１０】カメラユニットのグループ管理を説明する図。
【図１１】動画撮影状態における有効カメラユニットの配置の決定方法を説明するフローチャート。
【図１２】距離推定処理を説明するフローチャート。
【図１３】距離の計算を説明する図。
【図１４】ズーミング操作に対応する有効カメラユニットの切り替えを説明する図。
【図１５】撮影レンズの焦点距離によって有効カメラユニットを切り替える様子を説明する図。
【図１６】ズーミング操作に対するカメラユニットのグループ管理を説明する図。
【図１７】電子式防振を考慮した有効カメラユニットの決定方法を説明する図。
【発明を実施するための形態】
【００１９】
以下、本発明にかかる実施例の撮像装置とその制御方法を図面を参照して詳細に説明する。
【実施例１】
【００２０】
［装置の概観］
図1の概観図により実施例の多眼方式の多視点撮影装置（以下、多眼カメラ）の概観を説明する。
【００２１】
図1(a)に示すように、多眼カメラ100の正面にはカメラユニット101を複数配置したカメラアレイが配置され、上部には撮影開始を指示するレリーズボタン106が配置されている。カメラユニット101はそれぞれ、撮影レンズ102、光学フィルタ103、撮像デバイス104、周辺回路105を備える。このようなカメラアレイによる同時撮影によって複数視点画像が得られる。
【００２２】
図1(b)に示すように、多眼カメラ100の側面には半導体メモリカードのような記録媒体を装着するメモリカードスロット113が配置されている。なお、メモリカードスロット113の代わりにUSBなどのシリアルバスインタフェイスを配置して、シリアルバスを介してハードディスクドライブなどの記憶装置を接続してもよい。
【００２３】
また、多眼カメラ100の背面には表示部107、十字状に配置されたキー群108、電源ボタン109、メニューボタン110、決定ボタン111、キャンセルボタン112などが配置されている。
【００２４】
なお、本実施例の多眼カメラ100は光学ファインダを備えないので、フレーミング操作（ピントや構図の確認）には表示部107に表示される画像を用いる。表示部107の表示画面には、撮影範囲をリアルタイムに表示するライブビュー表示、および、メニューボタン110が押された場合のカメラ設定メニュー表示などがある。なお、カメラ設定メニューが表示された状態でメニューボタン110が押されると、表示部107の表示画面はライブビュー表示に復帰する。
【００２５】
カメラ設定メニューが表示された状態において、ユーザは、設定項目を選択し、選択した設定項目の状態をキー群108を操作して変更し、決定ボタン111を押して変更を決定するか、キャンセルボタン112を押して変更をキャンセルする。カメラ設定メニューにより変更が可能な設定項目には、動画撮影・静止画撮影などの撮影モードの切り替え、絞り値、シャッタスピードなどがある。
【００２６】
以下の説明において、絞り値、シャッタスピード、ズーム位置は、カメラアレイを構成するカメラユニット101それぞれについてすべて同値に設定されるとして説明を行うが、カメラユニット101それぞれに異なる値を設定してもよい。また、撮影距離については、例えば表示部107のタッチスクリーンやキー群108を操作して指定される自動焦点(AF)測距枠に対応する被写体まで距離を算出し、算出した距離を全カメラユニット101の撮影距離に設定する。なお、被写体の距離推定処理の詳細は後述する。
【００２７】
［装置の構成］
図2のブロック図により実施例の多眼カメラの構成例を説明する。
【００２８】
ワンチップマイクロプロセッサ(CPU)200は、内蔵するROMなどの格納された制御プログラムを実行して、各カメラユニット101が出力する画像データを画像処理するとともに、後述する各構成を制御して多眼カメラ100全体の動作を制御する。CPU200の制御対象には、LCDなどの表示部107の表示制御、表示部107のバックライトの制御、各カメラユニット101の電源制御などがある。
【００２９】
スイッチ206（SW1）とスイッチ207（SW2）の機能は撮影モードによって異なる。多眼カメラ100が静止画撮影モードにある場合、SW1は、レリーズボタン106を途中まで押し状態（半押状態）で閉になり、SW1が閉になると多眼カメラ100は撮影準備状態になる。また、SW2は、レリーズボタン106を最後まで押した状態（全押状態）で閉になり、SW2が閉になると多眼カメラ100は静止画の撮影を開始する。そして、撮影準備状態において決定した露光時間の経過後、多眼カメラ100は静止画の撮影を終了し、撮影した静止画を例えばメモリカードスロット113に装着された記録媒体214に格納する。
【００３０】
多眼カメラが動画撮影モードにある場合、SW1は機能せず、レリーズボタン106の全押状態でSW2が閉になり、SW2が閉になると多眼カメラ100は動画撮影（録画）を開始する。動画撮影を開始後、SW2が一旦開になり再び閉になると、多眼カメラ100は動画撮影を停止し、撮影した動画を例えばメモリカードスロット113に装着された記録媒体214に格納する。なお、動画撮影中は、ズーム操作によって撮影レンズ102の画角を変更することができる。
【００３１】
各カメラユニット101は、撮影レンズ102、光学フィルタ103、撮像デバイス104、周辺回路105などで構成される。周辺回路105には、制御部203、画像処理部204、カメラユニット101の電源部205などが含まれる。
【００３２】
制御部203は、撮影レンズ102の各種制御やシャッタ制御などを行う。例えば、撮影距離に合わせて撮影レンズ102を駆動する撮影距離制御、絞り値に合わせて撮影レンズ102内の絞りを駆動する絞り制御、露出時間に合わせて撮像デバイス104を駆動するシャッタ制御を行う。画像処理部204は、撮像デバイス104が出力する画像信号を処理した画像データをバッファメモリ210に転送する。画像処理部211は、バッファメモリ210に格納された画像データを用いて記録媒体214に格納する画像データの形式に応じた画像データを生成する。
【００３３】
電源制御部208は、詳細は後述するが、多眼カメラ100の状態に応じて各カメラユニット101の電源部205を制御する。
【００３４】
［カメラユニットの配置］
図3によりカメラユニット101の配置例を示す。図3において、矩形は各カメラユニット101を表し、矩形の並びは多眼カメラ100を正面から観た場合のカメラユニット101の配置例を表す。図3(a)から図3(c)に示すようなカメラユニット101の配置パターンが考えられる。以下では、多眼カメラ100のカメラユニット101の配置が図3(a)に示す配置パターンとして説明を行う。
【００３５】
［状態遷移］
図4の状態遷移図により多眼カメラ100の状態遷移を説明する。多眼カメラ100の動作状態は、電源ボタン109の操作により、スタンバイ状態S10とライブビュー状態S11の間を遷移する。
【００３６】
静止画撮影モードには、一般に、構図調整（フレーミング状態S11）、撮影準備状態S12（フォーカシング、露出決定）、静止画撮影状態S13があり、これら三状態を経るシーケンスによって画像が取得される。静止画撮影状態S13は、露光時間に着目すると、数秒未満の短時間露光と、長い場合には数分間露光する長時間露光に大別される。
【００３７】
一方、動画撮影モードにおいては、ライブビュー状態S11から録画を開始して動画撮影状態S14になり、その後、録画を終了してライブビュー状態S11に戻るシーケンスで動画データを取得することが多い。このようなシーケンスを経るため、動画の撮影開始時は、どの程度の時間露光されるかを判断することはできない。
【００３８】
そこで、本実施例においては、撮影モード、並びに、フレーミング、撮影準備、短時間露光の静止画撮影および長時間露光の静止画撮影（または動画撮影）の四つの状態を組み合わせた動作状態について、それぞれ異なる電源制御方法を採用する。
【００３９】
以後の説明において、電力を供給して有効にするカメラユニット101を「有効カメラユニット」、有効カメラユニット以外の省電力モードを設定するカメラユニット101を「無効カメラユニット」と呼ぶ。無効カメラユニットの撮像デバイス104、並びに、周辺回路105の主要部（制御部203、画像処理部204）には、電力を供給しないか、供給電力を最小限に抑制する。その結果、有効カメラユニットから出力される画像データのみがバッファメモリ210に転送される。
【００４０】
［有効カメラユニットの決定］
図5により有効カメラユニットの決定方法を説明する。
【００４１】
図5において、矩形および矩形の並びは、図3と同様に、各カメラユニット101とその配置を示す。また、白抜きの矩形は無効カメラユニットを、ハッチングした矩形は有効カメラユニットを示す。また、符号51はセンタカメラユニットを、符号52は距離推定用のカメラユニットの一例を示す。有効カメラユニットの決定は例えば次のように行う。
【００４２】
指針1（短時間露光の静止画撮影）：撮影シーンに含まれる被写体のうち、多眼カメラ100に最も近い位置にある被写体と多眼カメラ100の距離（以下、最短被写体距離）に従い有効カメラユニットを決定する。なお、距離の推定は撮影準備の段階で実施する。
【００４３】
指針2（長時間露光の静止画撮影または動画撮影）：隣接配置されたカメラユニット101は、同時に、有効カメラユニットにしない。さらに、多眼カメラ100の筐体温度に応じて有効カメラユニットの数を低減する。
【００４４】
図6のフローチャートにより指針例に基づく有効カメラユニットの決定処理を説明する。なお、CPU200は、動作モードおよび撮影シーケンスに対応するステータスフラグの値を判定して多眼カメラ100の動作状態を判定する。
【００４５】
CPU200は、多眼カメラ100の動作モードを判定する(S601)。動画撮影モードの場合は、多眼カメラ100がライブビュー状態S11にあるか、動画撮影状態S14にあるかを判定する(S602)。そして、ライブビュー状態S11にある場合はセンタカメラユニット51のみを有効カメラユニットにする(S605)。また、動画撮影状態にある場合は指針2に適合するカメラユニット101を有効カメラユニットにする(S606)。
【００４６】
一方、静止画撮影モードの場合、CPU200は、多眼カメラ100がライブビューまたはフレーミング状態S11、撮影準備状態S12、静止画撮影状態S13の何れにあるかを判定する(S603)。そして、ライブビューまたはフレーミング状態S11にある場合は、センタカメラユニット51のみを有効カメラユニットにする(S605)。また、撮影準備状態S12にある場合はカメラユニット101の一部であるセンタカメラユニット51および距離推定用のカメラユニット52を有効カメラユニットにする(S608)。
【００４７】
静止画撮影状態S13にある場合、CPU200は、露光時間の長さを判定し(S604)、露光時間が閾値（例えば三秒間）以下の場合は短時間露光の静止画撮影として指針1に適合するカメラユニット101を有効カメラユニットにする(S607)。また、露光時間が閾値を超える場合は長時間露光による静止画撮影として指針2に適合するカメラユニット101を有効カメラユニットにする(S606)。
【００４８】
そして、CPU200は、多眼カメラ100の状態が遷移したか否かを判定し(S609)、状態が遷移すると処理をステップS601に戻す。
【００４９】
以下では、有効カメラユニットの決定方法の詳細を説明する。
【００５０】
●フレーミング（ライブビュー）状態
フレーミング（ライブビュー）状態S11において、CPU200は、センタカメラユニット51のみを有効カメラユニットにして、センタカメラユニット51によって取得した画像データが表す画像を表示部107に表示する。このようにすれば、消費電力が少なく、複雑な処理を必要としないので遅延の少ないライブビュー画像を表示することができる。
【００５１】
●撮影準備状態
撮影準備状態S12において、CPU200は、撮影距離、ホワイトバランスおよび露出を決定し、最短被写体距離を推定する。図7のフローチャートにより撮影準備状態S12における処理例を説明する。
【００５２】
CPU200は、センタカメラユニット51および距離推定用のカメラユニット52を有効カメラユニットにする(S701)。そして、有効カメラユニットによって取得した画像データを、バッファメモリ210と画像処理部211を介して、距離推定部215へ転送する(S702)。
【００５３】
CPU200は、距離推定部215を制御して、有効カメラユニットによって取得した画像データから推定した距離マップを生成させる(S703)。そして、距離マップを参照して、有効カメラユニットに設定する撮影距離を決定し(S704)、短時間撮影の場合に必要になる最短被写体距離を決定する(S705)。さらに、露出（シャッタ速度や絞り値など）を決定し(S706)、画質パラメータ（ホワイトバランスなど）を決定する(S707)。
【００５４】
図8により撮影距離の決定を説明する。CPU200は、距離マップ81にユーザが指定するAF測距枠82を重ねて、AF測距枠82に対応する領域83を抽出し、領域83内の距離情報を用いて撮影距離を決定する。例えば、AF測距枠82に対応する領域83内の距離情報の平均値を撮影距離に決定する。また、CPU200は、距離マップ81から最短距離を取得して最短被写体距離にする。
【００５５】
●静止画撮影状態
静止画撮影状態S13において、CPU200は、撮影準備状態S12において決定した露光時間に応じて有効カメラユニットを決定する。長時間露光の場合は、後述する動画撮影状態S14と同様の方法で有効カメラユニットを決定する。また、短時間露光の場合は、最短被写体距離によって有効カメラユニットを切り替える。
【００５６】
図9により最短被写体距離によって有効カメラユニットを切り替える様子を説明する。なお、図9はカメラユニット101の最短撮影距離が0.1mの場合の一例を示す。
【００５７】
被写体が多眼カメラ100のすぐ近く、例えば10cm程度の距離に存在する場合、センタカメラユニット51と外周に配置されたカメラユニット（以下、外周カメラユニット）の被写体に対するパララックスが大きくなる。さらに、外周カメラユニットがカバーする撮影範囲に主要な被写体が含まれない可能性がある。
【００５８】
そこで、図9に示すように、最短被写体距離が小さい場合は、外周カメラユニットを無効カメラユニットにする。図9は、最短被写体距離が0.1m-0.13mの場合は外周カメラユニットを無効カメラユニットにし、0.13m-0.2mの場合は最外周のカメラユニットを無効カメラユニットにするように、段階的に外周のカメラユニットを無効にする例を示す。
【００５９】
逆に、撮影シーンに含まれる被写体が多眼カメラ100から充分に離れた（例えば5m以上）場所にしか存在しない場合、複数のカメラユニット101によって得られる視差は非常に小さくなる。言い換えれば、センタカメラユニット51と、その周囲のカメラユニットとの間の視差は僅かであり、周囲のカメラユニットによって画像データを取得する意味は無い。そこで、図9に示すように、センタカメラユニット51および最外周のカメラユニットを有効カメラユニットにする。また、図9は、最短被写体距離0.2m-5mの場合はすべてのカメラユニットを有効カメラユニットにする例を示す。
【００６０】
図10によりカメラユニットのグループ管理を説明する。図10(a)に一例を示すように、各カメラユニット101を中央部に配置されたA群、外周部に配置されたB群とC群に区分し、とくに最外周に配置されたカメラユニットをC群に区分する。
【００６１】
図10(b)は各グループの有効・無効を示すテーブルで、電源制御部208は、CPU200から入力される指示および最短被写体距離、並びに、図10(b)に示すテーブルに従い、各カメラユニット101の電源部205の動作を制御する。
【００６２】
このように、最短被写体距離に基づき有効カメラユニットを切り替えることで、消費電力を削減するだけでなく、画像データ量の適切な削減が可能になる。
【００６３】
●動画撮影状態（長時間露光）
動画撮影状態S14においては長時間露光になる可能性が高い。そこで、図5に示すように、通常時は、隣接するカメラユニット同士が同時に有効にしないように、有効カメラユニットを市松模様（チェッカボード）状に配置する（以下、通常時設定）。このような配置にすれば、隣接するカメラユニットの発熱の影響を低減して、充分な視差画像を取得することができる。
【００６４】
また、動画撮影状態S14においては撮影時間が連続して非常に長くなる可能性がある。さらに、長時間の連続撮影によって温度上昇した多眼カメラ100の筐体温度が低下する前に、次の動画撮影が開始される可能性がある。そこで、筐体温度が高い（例えば40℃以上）場合は、図5に示すように、高温時の有効カメラユニットの配置を用意する（以下、高温時設定）。つまり、電源制御部208は、図5に示す通常時および高温時の有効カメラユニットの配置パターンを備え、CPU200の指示に応じて配置パターンを切り替える。
【００６５】
図11のフローチャートにより動画撮影状態S14における有効カメラユニットの配置の決定方法を説明する。CPU200は、多眼カメラ100の筐体の適切な箇所に配置された温度センサ213から温度を取得し(S201)、取得した温度が閾値（例えば40℃）以上か否かを判定する(S202)。そして、閾値以上の場合は高温時設定を電源制御部208に指示し(S203)、閾値未満の場合は通常設定を電源制御部208に指示する(S204)。
【００６６】
なお、筐体温度ではなく、例えば各カメラユニット101の撮像デバイス104の温度を取得し、撮像デバイス104の例えば温度の平均値または重み付き平均値に基づき有効カメラユニットの配置パターンを決定してもよい。重みは、例えば、外周部から中心に向かって大きくなるようにすればよい。また、多眼カメラ100の図示しないバッテリの残量に基づき有効カメラユニットの配置パターンを決定してもよい。
【００６７】
［距離推定処理］
距離推定処理は、多眼カメラ100で撮影した複数視点画像を基に、撮影したシーンの距離を推定して距離マップ（デプス画像）を生成する。距離推定方法にはステレオ法、マルチベースラインステレオ法などがあるが、本実施例ではステレオ法による距離推定を行う。図12のフローチャートにより距離推定処理を説明する。
【００６８】
距離推定部215は、CPU200が複数視点画像から選択した二つの画像を入力する(S301)。CPU200は、例えば、センタカメラユニット51が撮影した画像（以下、基準画像）と、距離推定用のカメラユニット52のうち任意の一台が撮影した画像（以下、対応画像）を、距離の推定に使用する二つの画像として選択する。
【００６９】
次に、距離推定部215は、基準画像の例えば原点に注目画素を設定し(S302)、注目画素とその周囲画素を含む注目領域を設定する(S303)。そして、注目領域と対応画像の間でブロックマッチングを行って、注目画素に対応する対応画像の画素（対応画素）を決定する(S304)。
【００７０】
次に、距離推定部215は、対応画像を撮影したカメラユニット52の画角やセンタカメラユニット51からの相対位置などを示す撮像装置情報、および、注目画素と対応画素に基づき、注目画素に対応する距離pを計算する(S305)。
【００７１】
図13により距離pの計算を説明する。角度αは、センタカメラユニット51の水平画角、基準画像の撮像位置、注目画素の座標から算出される。角度βは距離推定用のカメラユニット52の水平画角、対応画像の撮像位置、対応画素の座標から算出される。距離sは、センタカメラユニット51とカメラユニット52の距離であり、基準画像と対応画像の撮像位置から算出される。被写体53との距離pは次式によって計算される。
p = {sinα・sinβ/sin(π-α-β)}s …(1)
【００７２】
次に、距離推定部215は、基準画像の全画素に対応する距離pを計算したか否かを判定し(S306)、未計算の画素があれば注目画素を移動して(S307)、処理をステップS303に戻す。また、基準画像の全画素に対応する距離pを計算した場合は、各画素に対応する距離pを画素値に対応させた距離マップを生成する(S308)。
【００７３】
［ズーミング操作］
図14によりズーミング操作に対応する有効カメラユニットの切り替えを説明する。
【００７４】
動画撮影や長時間露光による静止画撮影において高温時設定になると、有効カメラユニットを間引いた状態になる。この状態でズーミング操作により画角を狭めると、図14に示すように、各カメラユニットの撮影範囲の重複領域が小さくなり、充分な視差が得られない場合がある。従って、多眼カメラ100がズーム機能を有する場合、画角に応じて有効カメラユニットの配置を制御することが好ましい。
【００７５】
図15により撮影レンズ102の焦点距離によって有効カメラユニットを切り替える様子を説明する。なお、図15は撮影レンズ102の焦点距離が28mmから300mm（35mm換算時）の場合の一例を示す。
【００７６】
つまり、高温時設定においては、焦点距離が28mm-50mmは高温時設定の配置パターンを使用し、焦点距離が50mm-100mmは通常時の配置パターンを使用し、焦点距離が100mmを超える場合は全カメラユニットを有効にする。
【００７７】
図16によりズーミング操作に対するカメラユニットのグループ管理を説明する。図16(a)に一例を示すように、各カメラユニット101を市松模様状にD群、E群、G群に区分する。図16(b)は通常時と高温時における、焦点距離と各グループの有効・無効を示すテーブルである。電源制御部208は、CPU200から入力される指示および焦点距離、並びに、図16(b)に示すテーブルに従い、各カメラユニット101の電源部205の動作を制御する。
【００７８】
このように、焦点距離に基づき有効カメラユニットを切り替えることで、ズーミング操作に伴い撮影範囲の重複領域が減る問題に適切に対処することができる。
【００７９】
［電子式防振］
以下では、動画撮影に用いられる電子式防振の有効/無効に応じた有効カメラユニットの切り替えを説明する。
【００８０】
電子式防振は、一般に、フレーム間の差異が小さくなるように位置を合わせ、フレーム間で重複しない画像部分をカットして、見掛け上、振れが少ない映像を取得する技術である。このような仕組みで振れを抑制するため、電子式防振処理を行う場合は、本来撮影すべき領域よりも広い画角の画像を取得する必要がある。
【００８１】
図17により電子式防振を考慮した有効カメラユニットの決定方法を説明する。図17に示すように、電子式防振処理を行う場合は外周カメラユニット（図10(a)に示すグループB、C）を有効カメラユニットにする。つまり、CPU200は、電子式防振処理の設定状態を判定して、メニュー操作により電子式防振処理の実行が設定されている場合は、外周カメラユニットを有効カメラユニットに加えて、より広い画角の撮影を行う。従って、良好な電子式防振処理が可能になる。
【００８２】
このように、多眼カメラ100の状態に応じて、各カメラユニット101の電源部205を制御し、有効カメラユニットを切り替える。従って、カメラユニット101の発熱を抑え、多眼カメラ100における熱ノイズを抑制しつつ、できるだけ多くの光線情報を得て、好適な多視点画像を得ることが可能になる。その結果、より高品位な撮影画像を得ることができる。
【００８３】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の撮像手段を有する撮影装置であって、
前記撮影装置の撮影モードおよび動作状態を判定する判定手段と、
前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定する決定手段と、
前記有効にする撮像手段に電力を供給する供給手段とを有することを特徴とする撮影装置。
【請求項２】
前記供給手段は、前記有効にする撮像手段の外の撮像手段に対して電力を供給しないか、供給電力を最小限に抑制することを特徴とする請求項1に記載された撮影装置。
【請求項３】
前記決定手段は、前記動作状態がフレーミング状態またはライブビュー状態にある場合、前記複数の撮像手段の一つを前記有効にする撮像手段とすることを特徴とする請求項1または請求項2に記載された撮影装置。
【請求項４】
前記決定手段は、前記撮影モードおよび動作状態が静止画撮影モードおよび撮影準備状態にある場合、前記複数の撮像手段の一部を前記有効にする撮像手段とすることを特徴とする請求項1から請求項3の何れか一項に記載された撮影装置。
【請求項５】
さらに、前記有効にされた撮像手段が撮影した画像データから撮影シーンに含まれる被写体の撮影距離を推定する推定手段を有し、
前記決定手段は、前記推定手段が推定した最短撮影距離により、前記複数の撮像手段から前記撮影シーンの撮影に用いる撮像手段を決定し、前記動作状態が前記撮影準備状態から静止画撮影状態に遷移する場合、前記決定した撮像手段を前記有効にする撮像手段とすることを特徴とする請求項4に記載された撮影装置。
【請求項６】
さらに、前記撮影装置の温度を取得する手段を有し、
前記決定手段は、前記温度により、前記複数の撮像手段から動画撮影に用いる撮像手段を決定し、前記撮影モードが動画撮影モードにあり、前記動作状態が前記ライブビュー状態から動画撮影状態に遷移する場合、前記決定した撮像手段を前記有効にする撮像手段とすることを特徴とする請求項2または請求項3に記載された撮影装置。
【請求項７】
さらに、前記複数の撮像手段の焦点距離を取得する手段を有し、
前記決定手段は、前記温度および前記焦点距離により、前記複数の撮像手段から前記動画撮影に用いる撮像手段を決定することを特徴とする請求項6に記載された撮影装置。
【請求項８】
前記決定手段は、前記温度および前記撮影装置の電子式防振処理の設定状態により、前記複数の撮像手段から前記動画撮影に用いる撮像手段を決定することを特徴とする請求項6に記載された撮影装置。
【請求項９】
複数の撮像手段、判定手段、決定手段、供給手段を有する撮影装置の制御方法であって、
前記判定手段が、前記撮影装置の撮影モードおよび動作状態を判定し、
前記決定手段が、前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定し、
前記供給手段が、前記有効にする撮像手段に電力を供給することを特徴とする制御方法。
【請求項１】
複数の撮像手段を有する撮影装置であって、
前記撮影装置の撮影モードおよび動作状態を判定する判定手段と、
前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定する決定手段と、
前記有効にする撮像手段に電力を供給する供給手段とを有することを特徴とする撮影装置。
【請求項２】
前記供給手段は、前記有効にする撮像手段の外の撮像手段に対して電力を供給しないか、供給電力を最小限に抑制することを特徴とする請求項1に記載された撮影装置。
【請求項３】
前記決定手段は、前記動作状態がフレーミング状態またはライブビュー状態にある場合、前記複数の撮像手段の一つを前記有効にする撮像手段とすることを特徴とする請求項1または請求項2に記載された撮影装置。
【請求項４】
前記決定手段は、前記撮影モードおよび動作状態が静止画撮影モードおよび撮影準備状態にある場合、前記複数の撮像手段の一部を前記有効にする撮像手段とすることを特徴とする請求項1から請求項3の何れか一項に記載された撮影装置。
【請求項５】
さらに、前記有効にされた撮像手段が撮影した画像データから撮影シーンに含まれる被写体の撮影距離を推定する推定手段を有し、
前記決定手段は、前記推定手段が推定した最短撮影距離により、前記複数の撮像手段から前記撮影シーンの撮影に用いる撮像手段を決定し、前記動作状態が前記撮影準備状態から静止画撮影状態に遷移する場合、前記決定した撮像手段を前記有効にする撮像手段とすることを特徴とする請求項4に記載された撮影装置。
【請求項６】
さらに、前記撮影装置の温度を取得する手段を有し、
前記決定手段は、前記温度により、前記複数の撮像手段から動画撮影に用いる撮像手段を決定し、前記撮影モードが動画撮影モードにあり、前記動作状態が前記ライブビュー状態から動画撮影状態に遷移する場合、前記決定した撮像手段を前記有効にする撮像手段とすることを特徴とする請求項2または請求項3に記載された撮影装置。
【請求項７】
さらに、前記複数の撮像手段の焦点距離を取得する手段を有し、
前記決定手段は、前記温度および前記焦点距離により、前記複数の撮像手段から前記動画撮影に用いる撮像手段を決定することを特徴とする請求項6に記載された撮影装置。
【請求項８】
前記決定手段は、前記温度および前記撮影装置の電子式防振処理の設定状態により、前記複数の撮像手段から前記動画撮影に用いる撮像手段を決定することを特徴とする請求項6に記載された撮影装置。
【請求項９】
複数の撮像手段、判定手段、決定手段、供給手段を有する撮影装置の制御方法であって、
前記判定手段が、前記撮影装置の撮影モードおよび動作状態を判定し、
前記決定手段が、前記撮影モードおよび動作状態により、前記複数の撮像手段のうち有効にする撮像手段を決定し、
前記供給手段が、前記有効にする撮像手段に電力を供給することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２５３６２６（Ｐ２０１２−２５３６２６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５７１２（Ｐ２０１１−１２５７１２）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]