電子カメラ
【構成】光学／撮像系１２Ｌは、左側視野を捉える撮像面を有してＬ側生画像データを出力する。また、光学／撮像系１２Ｒは、右側視野を捉える撮像面を有してＲ側生画像データを出力する。ここで、左側視野および右側視野は共通視野を部分的に含む。また、共通視野において、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低く、Ｒ側生画像データの解像感はＬ側生画像データの解像感よりも高い。信号処理回路１４ＬはＬ側生画像データに基づいてＹＵＶ形式のＬ側画像データを作成し、信号処理回路１４ＲはＲ側生画像データに基づいてＹＵＶ形式のＲ側画像データを作成する。画像合成回路２４は、こうして作成されたＬ側画像データおよびＲ側画像データを共通視野を基準として合成する。
【効果】合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
【効果】合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に共通視野を表す複数の画像を合成する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、露出時間が短く感度が大きい条件で撮像された第１画像と露出時間が長く感度が小さい条件で撮像された第２画像とが、共通のイメージセンサの出力に基づいて作成される。ＬＰＦ部は、第１画像の高周波成分を濾波して第３画像を出力する。第１合成部は、第２画像および第３画像の差分値に応じて異なる比率で第２画像と第３画像とを合成し、第４画像を出力する。第２合成部は、第３画像から得られるエッジ強度値に応じて異なる比率で第１画像と第４画像とを合成し、最終の合成画像を出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８４００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、長時間露光画像および短時間露光画像の作成に２フレーム期間を要するため、合成画像の作成に時間がかかるという問題がある。
【０００５】
それゆえに、この発明の主たる目的は、合成画像の作成に要する時間を短縮することができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを共通視野に対応して有する第１画像を出力する第１撮像手段(12L, 14L)、共通視野を部分的に含む第２視野を捉える第２撮像面を有し、第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と第１解像感以上の第２解像感とを共通視野に対応して有する第２画像を出力する第２撮像手段(12R, 14R)、共通視野を第１撮像手段から出力された第１画像および第２撮像手段から出力された第２画像の各々について指定する指定手段(20)、および第１撮像手段から出力された第１画像および第２撮像手段から出力された第２画像を指定手段の指定結果を参照して合成する合成手段(24)を備える。
【０００７】
好ましくは、合成手段は、共通視野に属する第１部分画像を第１画像から抽出する第１抽出手段(40L, 42)、共通視野に属する第２部分画像を第２画像から抽出する第２抽出手段(40R, 44)、および第１抽出手段によって抽出された第１部分画像と第２抽出手段によって抽出された第２部分画像とに基づいて合成画像を作成する作成手段(46~56)を含む。
【０００８】
或る局面では、第１撮像面は第１数の画素を有し、第２撮像面は第１数よりも大きい第２数の画素を有し、第１抽出手段は画像サイズを拡大する拡大手段(42)を含む。
【０００９】
他の局面では、第１撮像面は第１感度を有し、第２撮像面は第１感度よりも小さい第２感度を有し、第２抽出手段は画像の明るさを増幅する増幅手段(44)を含む。
【００１０】
その他の局面では、作成手段は、第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段(46)、フィルタ手段から出力された低周波画像と第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段(48, 50)、および第１合成画像出力手段から出力された第１合成画像と第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段(52, 54)を含む。
【００１１】
さらに好ましくは、第１合成画像出力手段は、低周波画像と第１部分画像との差分を検出する差分検出手段(48)、および差分検出手段によって検出された差分が小さいほど第１部分画像が重視されるように合成処理を実行する第１合成処理手段(50)を含む。
【００１２】
より好ましくは、第２合成処理手段は、低周波画像からエッジ成分を検出するエッジ成分検出手段(52)、およびエッジ成分検出手段によって検出されたエッジ成分が大きいほど第２部分画像が重視されるように合成処理を実行する第２合成処理手段(54)を含む。
【００１３】
好ましくは、第１撮像面および第２撮像面は共通の画素数と共通の感度とを有し、第１画像は第１撮像面を第１時間露光して得られた画像に相当し、第２画像は第２撮像面を第１時間よりも短い第２時間露光して得られた画像に相当し、作成手段は、第１部分画像と第２部分画像とを合成して第１合成画像を出力する第１合成画像出力手段(44~50, 58)、および第１合成画像出力手段から出力された第１合成画像と第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段(44, 52~54)を含む。
【発明の効果】
【００１４】
この発明によれば、第１画像および第２画像は、共通視野を捉える第１撮像手段および第２撮像手段から個別に出力される。また、共通視野において、第２画像のＳ／Ｎ比は第１画像のＳ／Ｎ比よりも低く、第２画像の解像感は第１画像の解像感以上である。このような第１画像および第２画像を共通視野を基準として合成することで、合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
【００１５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例の外観を示す斜視図である。
【図４】図２実施例によって捉えられるシーンの一例を示す図解図である。
【図５】図２実施例に適用される光学／撮像系の構成の一例を示す図解図である。
【図６】撮像面における評価エリアＥＶＡの割り当て状態の一例を示す図解図である。
【図７】図２実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【図８】（Ａ）はＬ側画像データの一例を示す図解図であり、（Ｂ）は拡大画像データの一例を示す図解図である。
【図９】（Ａ）はＲ側画像データの一例を示す図解図であり、（Ｂ）は増幅画像データの一例を示す図解図である。
【図１０】加重加算回路によって参照される重み付け量αの特性の一例を示すグラフである。
【図１１】他の加重加算回路によって参照される重み付け量βの特性の一例を示すグラフである。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】他の実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１８】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。第１撮像手段１は、共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを共通視野に対応して有する第１画像を出力する。第２撮像手段２は、共通視野を部分的に含む第２視野を捉える第２撮像面を有し、第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と第１解像感以上の第２解像感とを共通視野に対応して有する第２画像を出力する。指定手段３は、共通視野を第１撮像手段１から出力された第１画像および第２撮像手段２から出力された第２画像の各々について指定する。合成手段４は、第１撮像手段１から出力された第１画像および第２撮像手段２から出力された第２画像を指定手段３の指定結果を参照して合成する。
【００１９】
第１画像および第２画像は、共通視野を捉える第１撮像手段１および第２撮像手段２から個別に出力される。また、共通視野において、第２画像のＳ／Ｎ比は第１画像のＳ／Ｎ比よりも低く、第２画像の解像感は第１画像の解像感以上である。このような第１画像および第２画像を共通視野を基準として合成することで、合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
［実施例］
【００２０】
図２を参照して、この実施例のディジタルビデオカメラ１０は、光学／撮像系１２Ｌおよび１２Ｒを含む。電源が投入されると、光学／撮像系１２Ｌおよび１２ＲがＣＰＵ３４によって起動される。光学／撮像系１２Ｌおよび１２Ｒは、ＳＧ(Signal Generator)１８から周期的に出力される垂直同期信号Ｖｓｙｎｃに応答して、生画像データを繰り返し出力する。以下では、光学／撮像系１２Ｌから出力される生画像データを“Ｌ側生画像データ”と定義し、光学／撮像系１２Ｒから出力される生画像データを“Ｒ側生画像データ”と定義する。
【００２１】
図３に示すように、光学撮像系１２Ｌおよび光学撮像系１２Ｒは、カメラ筐体ＣＢ１の前面に固定的に設けられる。光学／撮像系１２Ｌはカメラ筐体ＣＢ１の前方に向かって左側に位置し、光学／撮像系１２Ｒはカメラ筐体ＣＢ１の前方に向かって右側に位置する。
【００２２】
光学／撮像系１２Ｌおよび１２Ｒはそれぞれ光軸ＡＸ＿ＬおよびＡＸ＿Ｒを有し、カメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｌまでの距離（＝Ｈ＿Ｌ）はカメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｒまでの距離（＝Ｈ＿Ｒ）と一致する。また、水平方向における光軸ＡＸ＿ＬおよびＡＸ＿Ｒの間隔（＝Ｗ１）は、人間の両目の間隔を考慮して６ｃｍ程度に設定される。
【００２３】
したがって、カメラ筐体ＣＢ１の前方に図４に示すシーンが広がっているとき、光学／撮像系１２Ｌは左側視野ＶＦ＿Ｌを捉える一方、光学／撮像系１２Ｒは右側視野ＶＦ＿Ｒを捉える。光学／撮像系１２Ｌおよび１２Ｒはカメラ筐体ＣＢ１において互いに同じ高さ位置に設けられるため、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの水平位置は僅かにずれるものの、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの垂直位置は互いに一致する。この結果、光学／撮像系１２Ｌおよび１２Ｒの両方で捉えられる共通視野ＶＦ＿Ｃが、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの各々に部分的に出現する。
【００２４】
図２に戻って、光学／撮像系１２Ｌから出力されたＬ側生画像データは信号処理回路１４Ｌに与えられ、光学／撮像系１２Ｒから出力されたＲ側生画像データは信号処理回路１４Ｒに与えられる。信号処理回路１４Ｌおよび１４Ｒはいずれも、与えられた生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データをメモリ制御回路２０を通してＳＤＲＡＭ２２に書き込む。信号処理回路１４Ｌから出力された画像データ（Ｌ側画像データ）はＬ側画像エリア２２Ｌに格納され、信号処理回路１４Ｒから出力された画像データ（Ｒ側画像データ）はＲ側画像エリア２２Ｒに格納される。
【００２５】
メモリ制御回路２０は、共通視野ＶＦ＿Ｃに対応する切り出しエリアをＬ側画像エリア２２ＬおよびＲ側画像エリア２２Ｒ上で指定する。画像合成回路２４は、切り出しエリアに属する一部のＬ側画像データをメモリ制御回路２０を通してＬ側画像エリア２２Ｌから繰り返し読み出し、切り出しエリアに属する一部のＲ側画像データをメモリ制御回路２０を通してＲ側画像エリア２２Ｌから繰り返し読み出す。
【００２６】
Ｌ側画像エリア２２Ｌからの読み出し処理およびＲ側画像エリア２２Ｒからの読み出し処理は並列的に実行され、これによって共通するフレームのＬ側画像データおよびＲ側画像データが同時に画像合成回路２４に入力される。画像合成回路２４は、こうして入力されたＬ側画像データおよびＲ側画像データを合成し、合成画像データを作成する。作成された各フレームの合成画像データは、メモリ制御回路２０を通してＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。
【００２７】
ＬＣＤドライバ２６は、合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、読み出された合成画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、共通視野ＶＦ＿Ｃを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２８】
図５を参照して、光学／撮像系１２Ｌは、ドライバ１２４Ｌ，１２５Ｌおよび１２６Ｌによってそれぞれ駆動されるフォーカスレンズ１２１Ｌ，絞り機構１２２Ｌおよび撮像装置１２３Ｌを備える。同様に、光学／撮像系１２Ｒは、ドライバ１２４Ｒ，１２５Ｒおよび１２６Ｒによってそれぞれ駆動されるフォーカスレンズ１２１Ｒ，絞り機構１２２Ｒおよび撮像装置１２３Ｒを有する。
【００２９】
左側視野ＶＦ＿Ｌを表す光学像は、フォーカスレンズ１２１Ｌおよび絞り機構１２２Ｌを経由して撮像装置１２３Ｌの撮像面に照射される。ドライバ１２６Ｌは、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。Ｌ側生画像データは、読み出された電荷に基づいて作成される。
【００３０】
右側視野ＶＦ＿Ｒを表す光学像は、フォーカスレンズ１２１Ｒおよび絞り機構１２２Ｒを経由して撮像装置１２３Ｒの撮像面に照射される。ドライバ１２６Ｒもまた、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。Ｒ側生画像データは、読み出された電荷に基づいて作成される。
【００３１】
ここで、撮像装置１２３Ｒの撮像面に設けられた各画素のサイズは、撮像装置１２３Ｌの撮像面に設けられた各画素のサイズよりも小さい。したがって、撮像装置１２３Ｒに設けられた撮像面の感度は撮像装置１２３Ｌに設けられた撮像面の感度よりも低く、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低い。
【００３２】
ただし、撮像装置１２３Ｒの撮像面に設けられた画素の数は、撮像装置１２３Ｌの撮像面に設けられた画素の数よりも大きい。したがって、Ｒ側生画像データの解像度または解像感は、Ｌ側生画像データの解像度または解像感よりも高い。また、共通視野ＶＦ＿Ｃに注目したとき、Ｒ側生画像データのエッジ成分量は、Ｌ側生画像データのエッジ成分量よりも多い。
【００３３】
撮像装置１２３Ｌおよび１２３Ｒの各々の撮像面には、評価エリアＥＶＡが図６に示す要領で割り当てられる。図２に示すＡＥ／ＡＦ評価回路１６Ｌは、左側視野ＶＦ＿Ｌを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｌによって生成されたＬ側画像データのうち評価エリアＥＶＡに属する一部のＬ側画像データに基づいて繰り返し作成する。
【００３４】
同様に、ＡＥ／ＡＦ評価回路１６Ｒは、右側視野ＶＦ＿Ｒを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｒによって生成されたＲ側画像データのうち評価エリアＥＶＡに属する一部のＲ側画像データに基づいて繰り返し作成する。
【００３５】
ＣＰＵ３４は、ＡＥ／ＡＦ評価回路１６Ｌおよび１６Ｒの各々から出力された輝度評価値に基づくＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量はドライバ１２５Ｌおよび１２５Ｒに設定され、算出された適正ＥＶ値を定義する露光時間はドライバ１２６Ｌおよび１２６Ｒに設定される。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの輝度が適正に調整される。
【００３６】
ＣＰＵ３４はまた、ＡＥ／ＡＦ評価回路１６Ｌおよび１６Ｒの各々から出力されたフォーカス評価値に基づくＡＦ処理を実行する。ドライバ１２４Ｌおよび１２４Ｒは、ＣＰＵ３４の制御の下でフォーカスレンズ１２１Ｌおよび１２１Ｒを合焦点が存在する方向に移動させる。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの鮮鋭度が適正に調整される。
【００３７】
キー入力装置３６に設けられたムービボタン３６ｍｖが操作されると、ＣＰＵ３４は、動画記録処理の実行をメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、新規の動画ファイルを記録媒体３２に作成し（作成した動画ファイルはオープンされる）、ＳＤＲＡＭ２２の合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。
【００３８】
ムービボタン３６ｍｖが再度操作されると、ＣＰＵ３４は、動画記録処理の停止をメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、合成画像エリア２２Ｃからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、共通視野ＶＦ＿Ｃを継続的に表す動画像がファイル形式で記録媒体３２に記録される。
【００３９】
画像合成回路２４は、図７に示すように構成される。バッファ回路４０Ｌは、Ｌ側画像エリア２２Ｌ上で指定された切り出しエリアに属するＬ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。同様に、バッファ回路４０Ｒは、Ｒ側画像エリア２２Ｒ上で指定された切り出しエリアに属するＲ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。
【００４０】
メモリ制御回路２０は、バッファ回路４０Ｌから発行された読み出し要求に従う一部のＬ側画像データをＬ側画像エリア２２Ｌから読み出し、読み出されたＬ側画像データをバッファ回路４０Ｌに与える。メモリ制御回路２０はまた、バッファ回路４０Ｒから発行された読み出し要求に従う一部のＲ側画像データをＲ側画像エリア２２Ｒから読み出し、読み出されたＲ側画像データをバッファ回路４０Ｒに与える。こうして部分量ずつ与えられたＬ側画像データおよびＲ側画像データは、バッファ回路４０Ｌおよび４０Ｒから連続的に出力される。
【００４１】
撮像面に設けられた画素の数および感度は、光学／撮像系１２Ｌおよび１２Ｒの間で上述のように相違する。したがって、図４に示すシーンが捉えられたとき、Ｌ側画像データは図８（Ａ）に示すサイズおよび明るさを有し、Ｒ側画像データは図９（Ａ）に示すサイズおよび明るさを有する。
【００４２】
スケーラ４２は、バッファ回路４０Ｌから出力されたＬ側画像データに画素補間処理を施し、Ｒ側画像データのサイズと同じサイズを有する拡大画像データを作成する。拡大画像データは、図８（Ａ）に示すＬ側画像データに基づいて図８（Ｂ）に示す要領で作成される。一方、増幅器４４は、バッファ回路４０Ｒから出力されたＲ側画像データを増幅し、Ｌ側画像データの明るさと同じ明るさを有する増幅画像データを作成する。増幅画像データは、図９（Ａ）に示すＲ側画像データに基づいて図９（Ｂ）に示す要領で作成される。
【００４３】
ＬＰＦ４６は、増幅器４４から出力された増幅画像データから低域周波数成分を抽出し、抽出された低域周波数成分つまり低周波画像データを減算器４８および加重加算回路５０に与える。減算器４８および加重加算回路５０には、スケーラ４２から出力された拡大画像データも与えられる。
【００４４】
なお、増幅器４４はノイズも増幅するため、低周波画像データのＳ／Ｎ比は拡大画像データのＳ／Ｎ比よりも低い。ただし、ＬＰＦ４６によって高域周波数成分が除去されるとは言え、低周波画像データが有するエッジ成分量は拡大画像データが有するエッジ成分量よりも多い。
【００４５】
減算器４８は、このような低周波画像データおよび拡大画像データの間の差分絶対値を画素毎に算出し、算出された差分絶対値を加重加算回路５０に入力する。加重加算回路５０は、入力された差分絶対値を図１０に示すグラフに適用して重み付け量αを決定し、決定された重み付け量αに従う加重加算処理（合成処理）を数１に示す要領で実行する。
［数１］
Ｐｃｐ１＝Ｐｓｃｌ＊α＋Ｐｌｐｆ×（１−α）
α：重み付け量
Ｐｓｃｌ：拡大画像データを形成する画素の値
Ｐｌｐｆ：低周波画像データを形成する画素の値
Ｐｃｐ１：中間合成画像データを形成する画素の値
【００４６】
数１によれば、拡大画像データを形成する画素の値のα倍の値と低周波画像データを形成する画素の値の（１−α）倍の値とが互いに加算される。ここで、重み付け量αの値は、差分絶対値の増大に伴って減少するように“０”〜“１”の間で変化する（図１０参照）。
【００４７】
したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い拡大画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が大きい低周波画像データが重視されるように加重加算処理が実行される。この結果、Ｓ／Ｎ比が改善されかつエッジがある程度鮮明な中間合成画像データが加重加算回路５０から出力される。
【００４８】
増幅器４４から出力された増幅画像データおよび加重加算回路５０から出力された中間合成画像データは、加重加算回路５４に与えられる。また、エッジ検出回路５２は、ＬＰＦ４６から出力された低周波画像データのエッジ強度を検出し、検出されたエッジ強度を加重加算回路５４に入力する。加重加算回路５４は、エッジ検出回路５２から入力されたエッジ強度を図１１に示すグラフに適用して重み付け量βを決定し、決定された重み付け量βに従う加重加算処理（合成処理）を数２に示す要領で実行する。
［数２］
Ｐｃｐ２＝Ｐａｍｐ＊β＋Ｐｃｐ１×（１−β）
β：重み付け量
Ｐａｍｐ：増幅画像データを形成する画素の値
Ｐｃｐ２：最終合成画像データを形成する画素の値
【００４９】
数２によれば、増幅画像データを形成する画素の値のβ倍の値と中間合成画像データを形成する画素の値の（１−β）倍の値とが互いに加算される。ここで、重み付け量βの値は、エッジ強度の増大に伴って増大するように“０”〜“１”の間で変化する（図１１参照）。
【００５０】
したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い中間合成画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が多い増幅画像データが重視されるように加重加算処理が実行される。この結果、Ｓ／Ｎ比が改善されかつエッジが鮮明な最終合成画像データが加重加算回路５４から出力される。
【００５１】
バッファ回路５６は、こうして作成された合成画像データをＳＤＲＡＭ２２の合成画像エリア２２Ｃに部分量ずつ書き込むべく、部分量の合成画像データと書き込み要求とをメモリ制御回路２０に向けて繰り返し出力する。合成画像データは、メモリ制御回路２０によって合成画像エリア２２Ｃに書き込まれる。
【００５２】
ＣＰＵ３４は、図１２に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ３８に記憶される。
【００５３】
図８を参照して、ステップＳ１では光学／撮像系１２Ｌおよび１２Ｒを起動する。この結果、Ｌ側画像データがＳＤＲＡＭ２２のＬ側画像エリア２２Ｌに書き込まれ、Ｒ側画像データがＳＤＲＡＭ２２のＲ側画像エリア２２Ｒに書き込まれ、そして合成画像データがＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。ＬＣＤモニタ２８には、合成画像データに基づくスルー画像が表示される。
【００５４】
ステップＳ３ではＡＥ処理を実行し、ステップＳ５ではＡＦ処理を実行する。この結果、Ｌ側画像データおよびＲ側画像データの輝度および鮮鋭度が適正に調整される。ステップＳ７ではムービボタン３６ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ３に戻る一方、判別結果がＹＥＳであればステップＳ９に進む。
【００５５】
ステップＳ９では動画記録処理が実行中であるか否かを判別し、判別結果がＹＥＳであればステップＳ１１で動画記録処理を開始する一方、判別結果がＮＯであればステップＳ１３で動画記録処理を中止する。ステップＳ１１またはＳ１３の処理が完了すると、ステップＳ３に戻る。ステップＳ１１およびＳ１３の処理の結果、ムービボタン３６ｍｖの１回目の操作から２回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体３０に記録される。
【００５６】
以上の説明から分かるように、光学／撮像系１２Ｌは、左側視野ＶＦ＿Ｌを捉える撮像面を有し、左側視野ＶＦ＿Ｌを表すＬ側生画像データを出力する。また、光学／撮像系１２Ｒは、右側視野ＶＦ＿Ｒを捉える撮像面を有し、右側視野ＶＦ＿Ｒを表すＲ側生画像データを出力する。ここで、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒは、共通視野ＶＦ＿Ｃを部分的に含む。また、共通視野ＶＦ＿Ｃにおいて、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低く、Ｒ側生画像データの解像感はＬ側生画像データの解像感よりも高い。
【００５７】
信号処理回路１４ＬはＬ側生画像データに基づいてＹＵＶ形式のＬ側画像データを作成し、信号処理回路１４ＲはＲ側生画像データに基づいてＹＵＶ形式のＲ側画像データを作成する。画像合成回路２４は、こうして作成されたＬ側画像データおよびＲ側画像データを共通視野ＶＦ＿Ｃを基準として合成する。
【００５８】
このように、Ｌ側生画像データおよびＲ側生画像データは、各々が共通視野ＶＦ＿Ｃを捉える光学／撮像系１２Ｌおよび１２Ｒから個別に出力される。また、共通視野ＶＦ＿Ｃにおいて、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低く、Ｒ側生画像データの解像感はＬ側生画像データの解像感よりも高い。このような生画像データに共通視野ＶＦ＿Ｃを基準とする合成処理を施すことで、合成画像データの作成に要する時間の短縮化と合成画像データの品質の向上とが図られる。
【００５９】
なお、この実施例では、動画像を記録するビデオカメラを想定しているが、この発明はシャッタボタンの操作に応答して静止画像を記録するスチルカメラにも適用できる。
【００６０】
また、この実施例では、Ｌ側画像エリア２２ＬおよびＲ側画像エリア２２Ｒ上で指定される切り出しエリアは固定的である。しかし、共通視野ＶＦ＿Ｃの水平サイズは合焦距離に応じて異なるため、切り出しエリアの指定態様を合焦距離を参照して調整するようにしてもよい。
【００６１】
さらに、この実施例では、互いに異なる性能を有する撮像装置１２３Ｌおよび１２３Ｒに共通の露光時間を設定するようにしている。しかし、共通の性能を有する２つの撮像装置を準備し、標準の明るさが確保される露光時間（標準露光時間）を左側の撮像装置に設定する一方、標準よりも低い明るさが確保される露光時間（短露光時間）を右側の撮像装置に設定するようにしてもよい。
【００６２】
この結果、標準露光時間が設定された撮像装置からは、Ｓ／Ｎ比は高いもののエッジ成分量（解像度または解像感）が手振れおよび／または被写体の動きに起因して低下した生画像データが出力される。一方、短露光時間が設定された撮像装置からは、エッジ成分量（解像度または解像感）は大きいもののＳ／Ｎ比が露光不足に起因して低下した生画像データが出力される。この場合、生画像データのサイズは共通するため、図７に示すスケーラ４２は不要となる。なお、ＬＰＦ４６と同じ特性を有する別のＬＰＦをスケーラ４２の代わりに配置するようにしてもよい（図１３参照）。
【符号の説明】
【００６３】
１０ …ディジタルビデオカメラ
１２Ｌ，１２Ｒ …光学／撮像系
１４Ｌ，１４Ｒ …信号処理回路
２４ …画像合成回路
３４ …ＣＰＵ
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に共通視野を表す複数の画像を合成する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、露出時間が短く感度が大きい条件で撮像された第１画像と露出時間が長く感度が小さい条件で撮像された第２画像とが、共通のイメージセンサの出力に基づいて作成される。ＬＰＦ部は、第１画像の高周波成分を濾波して第３画像を出力する。第１合成部は、第２画像および第３画像の差分値に応じて異なる比率で第２画像と第３画像とを合成し、第４画像を出力する。第２合成部は、第３画像から得られるエッジ強度値に応じて異なる比率で第１画像と第４画像とを合成し、最終の合成画像を出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８４００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、長時間露光画像および短時間露光画像の作成に２フレーム期間を要するため、合成画像の作成に時間がかかるという問題がある。
【０００５】
それゆえに、この発明の主たる目的は、合成画像の作成に要する時間を短縮することができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを共通視野に対応して有する第１画像を出力する第１撮像手段(12L, 14L)、共通視野を部分的に含む第２視野を捉える第２撮像面を有し、第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と第１解像感以上の第２解像感とを共通視野に対応して有する第２画像を出力する第２撮像手段(12R, 14R)、共通視野を第１撮像手段から出力された第１画像および第２撮像手段から出力された第２画像の各々について指定する指定手段(20)、および第１撮像手段から出力された第１画像および第２撮像手段から出力された第２画像を指定手段の指定結果を参照して合成する合成手段(24)を備える。
【０００７】
好ましくは、合成手段は、共通視野に属する第１部分画像を第１画像から抽出する第１抽出手段(40L, 42)、共通視野に属する第２部分画像を第２画像から抽出する第２抽出手段(40R, 44)、および第１抽出手段によって抽出された第１部分画像と第２抽出手段によって抽出された第２部分画像とに基づいて合成画像を作成する作成手段(46~56)を含む。
【０００８】
或る局面では、第１撮像面は第１数の画素を有し、第２撮像面は第１数よりも大きい第２数の画素を有し、第１抽出手段は画像サイズを拡大する拡大手段(42)を含む。
【０００９】
他の局面では、第１撮像面は第１感度を有し、第２撮像面は第１感度よりも小さい第２感度を有し、第２抽出手段は画像の明るさを増幅する増幅手段(44)を含む。
【００１０】
その他の局面では、作成手段は、第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段(46)、フィルタ手段から出力された低周波画像と第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段(48, 50)、および第１合成画像出力手段から出力された第１合成画像と第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段(52, 54)を含む。
【００１１】
さらに好ましくは、第１合成画像出力手段は、低周波画像と第１部分画像との差分を検出する差分検出手段(48)、および差分検出手段によって検出された差分が小さいほど第１部分画像が重視されるように合成処理を実行する第１合成処理手段(50)を含む。
【００１２】
より好ましくは、第２合成処理手段は、低周波画像からエッジ成分を検出するエッジ成分検出手段(52)、およびエッジ成分検出手段によって検出されたエッジ成分が大きいほど第２部分画像が重視されるように合成処理を実行する第２合成処理手段(54)を含む。
【００１３】
好ましくは、第１撮像面および第２撮像面は共通の画素数と共通の感度とを有し、第１画像は第１撮像面を第１時間露光して得られた画像に相当し、第２画像は第２撮像面を第１時間よりも短い第２時間露光して得られた画像に相当し、作成手段は、第１部分画像と第２部分画像とを合成して第１合成画像を出力する第１合成画像出力手段(44~50, 58)、および第１合成画像出力手段から出力された第１合成画像と第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段(44, 52~54)を含む。
【発明の効果】
【００１４】
この発明によれば、第１画像および第２画像は、共通視野を捉える第１撮像手段および第２撮像手段から個別に出力される。また、共通視野において、第２画像のＳ／Ｎ比は第１画像のＳ／Ｎ比よりも低く、第２画像の解像感は第１画像の解像感以上である。このような第１画像および第２画像を共通視野を基準として合成することで、合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
【００１５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例の外観を示す斜視図である。
【図４】図２実施例によって捉えられるシーンの一例を示す図解図である。
【図５】図２実施例に適用される光学／撮像系の構成の一例を示す図解図である。
【図６】撮像面における評価エリアＥＶＡの割り当て状態の一例を示す図解図である。
【図７】図２実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【図８】（Ａ）はＬ側画像データの一例を示す図解図であり、（Ｂ）は拡大画像データの一例を示す図解図である。
【図９】（Ａ）はＲ側画像データの一例を示す図解図であり、（Ｂ）は増幅画像データの一例を示す図解図である。
【図１０】加重加算回路によって参照される重み付け量αの特性の一例を示すグラフである。
【図１１】他の加重加算回路によって参照される重み付け量βの特性の一例を示すグラフである。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】他の実施例に適用される画像合成回路の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１８】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。第１撮像手段１は、共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを共通視野に対応して有する第１画像を出力する。第２撮像手段２は、共通視野を部分的に含む第２視野を捉える第２撮像面を有し、第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と第１解像感以上の第２解像感とを共通視野に対応して有する第２画像を出力する。指定手段３は、共通視野を第１撮像手段１から出力された第１画像および第２撮像手段２から出力された第２画像の各々について指定する。合成手段４は、第１撮像手段１から出力された第１画像および第２撮像手段２から出力された第２画像を指定手段３の指定結果を参照して合成する。
【００１９】
第１画像および第２画像は、共通視野を捉える第１撮像手段１および第２撮像手段２から個別に出力される。また、共通視野において、第２画像のＳ／Ｎ比は第１画像のＳ／Ｎ比よりも低く、第２画像の解像感は第１画像の解像感以上である。このような第１画像および第２画像を共通視野を基準として合成することで、合成画像の作成に要する時間の短縮化と合成画像の品質の向上とが図られる。
［実施例］
【００２０】
図２を参照して、この実施例のディジタルビデオカメラ１０は、光学／撮像系１２Ｌおよび１２Ｒを含む。電源が投入されると、光学／撮像系１２Ｌおよび１２ＲがＣＰＵ３４によって起動される。光学／撮像系１２Ｌおよび１２Ｒは、ＳＧ(Signal Generator)１８から周期的に出力される垂直同期信号Ｖｓｙｎｃに応答して、生画像データを繰り返し出力する。以下では、光学／撮像系１２Ｌから出力される生画像データを“Ｌ側生画像データ”と定義し、光学／撮像系１２Ｒから出力される生画像データを“Ｒ側生画像データ”と定義する。
【００２１】
図３に示すように、光学撮像系１２Ｌおよび光学撮像系１２Ｒは、カメラ筐体ＣＢ１の前面に固定的に設けられる。光学／撮像系１２Ｌはカメラ筐体ＣＢ１の前方に向かって左側に位置し、光学／撮像系１２Ｒはカメラ筐体ＣＢ１の前方に向かって右側に位置する。
【００２２】
光学／撮像系１２Ｌおよび１２Ｒはそれぞれ光軸ＡＸ＿ＬおよびＡＸ＿Ｒを有し、カメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｌまでの距離（＝Ｈ＿Ｌ）はカメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｒまでの距離（＝Ｈ＿Ｒ）と一致する。また、水平方向における光軸ＡＸ＿ＬおよびＡＸ＿Ｒの間隔（＝Ｗ１）は、人間の両目の間隔を考慮して６ｃｍ程度に設定される。
【００２３】
したがって、カメラ筐体ＣＢ１の前方に図４に示すシーンが広がっているとき、光学／撮像系１２Ｌは左側視野ＶＦ＿Ｌを捉える一方、光学／撮像系１２Ｒは右側視野ＶＦ＿Ｒを捉える。光学／撮像系１２Ｌおよび１２Ｒはカメラ筐体ＣＢ１において互いに同じ高さ位置に設けられるため、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの水平位置は僅かにずれるものの、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの垂直位置は互いに一致する。この結果、光学／撮像系１２Ｌおよび１２Ｒの両方で捉えられる共通視野ＶＦ＿Ｃが、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの各々に部分的に出現する。
【００２４】
図２に戻って、光学／撮像系１２Ｌから出力されたＬ側生画像データは信号処理回路１４Ｌに与えられ、光学／撮像系１２Ｒから出力されたＲ側生画像データは信号処理回路１４Ｒに与えられる。信号処理回路１４Ｌおよび１４Ｒはいずれも、与えられた生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データをメモリ制御回路２０を通してＳＤＲＡＭ２２に書き込む。信号処理回路１４Ｌから出力された画像データ（Ｌ側画像データ）はＬ側画像エリア２２Ｌに格納され、信号処理回路１４Ｒから出力された画像データ（Ｒ側画像データ）はＲ側画像エリア２２Ｒに格納される。
【００２５】
メモリ制御回路２０は、共通視野ＶＦ＿Ｃに対応する切り出しエリアをＬ側画像エリア２２ＬおよびＲ側画像エリア２２Ｒ上で指定する。画像合成回路２４は、切り出しエリアに属する一部のＬ側画像データをメモリ制御回路２０を通してＬ側画像エリア２２Ｌから繰り返し読み出し、切り出しエリアに属する一部のＲ側画像データをメモリ制御回路２０を通してＲ側画像エリア２２Ｌから繰り返し読み出す。
【００２６】
Ｌ側画像エリア２２Ｌからの読み出し処理およびＲ側画像エリア２２Ｒからの読み出し処理は並列的に実行され、これによって共通するフレームのＬ側画像データおよびＲ側画像データが同時に画像合成回路２４に入力される。画像合成回路２４は、こうして入力されたＬ側画像データおよびＲ側画像データを合成し、合成画像データを作成する。作成された各フレームの合成画像データは、メモリ制御回路２０を通してＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。
【００２７】
ＬＣＤドライバ２６は、合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、読み出された合成画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、共通視野ＶＦ＿Ｃを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２８】
図５を参照して、光学／撮像系１２Ｌは、ドライバ１２４Ｌ，１２５Ｌおよび１２６Ｌによってそれぞれ駆動されるフォーカスレンズ１２１Ｌ，絞り機構１２２Ｌおよび撮像装置１２３Ｌを備える。同様に、光学／撮像系１２Ｒは、ドライバ１２４Ｒ，１２５Ｒおよび１２６Ｒによってそれぞれ駆動されるフォーカスレンズ１２１Ｒ，絞り機構１２２Ｒおよび撮像装置１２３Ｒを有する。
【００２９】
左側視野ＶＦ＿Ｌを表す光学像は、フォーカスレンズ１２１Ｌおよび絞り機構１２２Ｌを経由して撮像装置１２３Ｌの撮像面に照射される。ドライバ１２６Ｌは、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。Ｌ側生画像データは、読み出された電荷に基づいて作成される。
【００３０】
右側視野ＶＦ＿Ｒを表す光学像は、フォーカスレンズ１２１Ｒおよび絞り機構１２２Ｒを経由して撮像装置１２３Ｒの撮像面に照射される。ドライバ１２６Ｒもまた、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。Ｒ側生画像データは、読み出された電荷に基づいて作成される。
【００３１】
ここで、撮像装置１２３Ｒの撮像面に設けられた各画素のサイズは、撮像装置１２３Ｌの撮像面に設けられた各画素のサイズよりも小さい。したがって、撮像装置１２３Ｒに設けられた撮像面の感度は撮像装置１２３Ｌに設けられた撮像面の感度よりも低く、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低い。
【００３２】
ただし、撮像装置１２３Ｒの撮像面に設けられた画素の数は、撮像装置１２３Ｌの撮像面に設けられた画素の数よりも大きい。したがって、Ｒ側生画像データの解像度または解像感は、Ｌ側生画像データの解像度または解像感よりも高い。また、共通視野ＶＦ＿Ｃに注目したとき、Ｒ側生画像データのエッジ成分量は、Ｌ側生画像データのエッジ成分量よりも多い。
【００３３】
撮像装置１２３Ｌおよび１２３Ｒの各々の撮像面には、評価エリアＥＶＡが図６に示す要領で割り当てられる。図２に示すＡＥ／ＡＦ評価回路１６Ｌは、左側視野ＶＦ＿Ｌを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｌによって生成されたＬ側画像データのうち評価エリアＥＶＡに属する一部のＬ側画像データに基づいて繰り返し作成する。
【００３４】
同様に、ＡＥ／ＡＦ評価回路１６Ｒは、右側視野ＶＦ＿Ｒを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｒによって生成されたＲ側画像データのうち評価エリアＥＶＡに属する一部のＲ側画像データに基づいて繰り返し作成する。
【００３５】
ＣＰＵ３４は、ＡＥ／ＡＦ評価回路１６Ｌおよび１６Ｒの各々から出力された輝度評価値に基づくＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量はドライバ１２５Ｌおよび１２５Ｒに設定され、算出された適正ＥＶ値を定義する露光時間はドライバ１２６Ｌおよび１２６Ｒに設定される。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの輝度が適正に調整される。
【００３６】
ＣＰＵ３４はまた、ＡＥ／ＡＦ評価回路１６Ｌおよび１６Ｒの各々から出力されたフォーカス評価値に基づくＡＦ処理を実行する。ドライバ１２４Ｌおよび１２４Ｒは、ＣＰＵ３４の制御の下でフォーカスレンズ１２１Ｌおよび１２１Ｒを合焦点が存在する方向に移動させる。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの鮮鋭度が適正に調整される。
【００３７】
キー入力装置３６に設けられたムービボタン３６ｍｖが操作されると、ＣＰＵ３４は、動画記録処理の実行をメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、新規の動画ファイルを記録媒体３２に作成し（作成した動画ファイルはオープンされる）、ＳＤＲＡＭ２２の合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。
【００３８】
ムービボタン３６ｍｖが再度操作されると、ＣＰＵ３４は、動画記録処理の停止をメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、合成画像エリア２２Ｃからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、共通視野ＶＦ＿Ｃを継続的に表す動画像がファイル形式で記録媒体３２に記録される。
【００３９】
画像合成回路２４は、図７に示すように構成される。バッファ回路４０Ｌは、Ｌ側画像エリア２２Ｌ上で指定された切り出しエリアに属するＬ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。同様に、バッファ回路４０Ｒは、Ｒ側画像エリア２２Ｒ上で指定された切り出しエリアに属するＲ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。
【００４０】
メモリ制御回路２０は、バッファ回路４０Ｌから発行された読み出し要求に従う一部のＬ側画像データをＬ側画像エリア２２Ｌから読み出し、読み出されたＬ側画像データをバッファ回路４０Ｌに与える。メモリ制御回路２０はまた、バッファ回路４０Ｒから発行された読み出し要求に従う一部のＲ側画像データをＲ側画像エリア２２Ｒから読み出し、読み出されたＲ側画像データをバッファ回路４０Ｒに与える。こうして部分量ずつ与えられたＬ側画像データおよびＲ側画像データは、バッファ回路４０Ｌおよび４０Ｒから連続的に出力される。
【００４１】
撮像面に設けられた画素の数および感度は、光学／撮像系１２Ｌおよび１２Ｒの間で上述のように相違する。したがって、図４に示すシーンが捉えられたとき、Ｌ側画像データは図８（Ａ）に示すサイズおよび明るさを有し、Ｒ側画像データは図９（Ａ）に示すサイズおよび明るさを有する。
【００４２】
スケーラ４２は、バッファ回路４０Ｌから出力されたＬ側画像データに画素補間処理を施し、Ｒ側画像データのサイズと同じサイズを有する拡大画像データを作成する。拡大画像データは、図８（Ａ）に示すＬ側画像データに基づいて図８（Ｂ）に示す要領で作成される。一方、増幅器４４は、バッファ回路４０Ｒから出力されたＲ側画像データを増幅し、Ｌ側画像データの明るさと同じ明るさを有する増幅画像データを作成する。増幅画像データは、図９（Ａ）に示すＲ側画像データに基づいて図９（Ｂ）に示す要領で作成される。
【００４３】
ＬＰＦ４６は、増幅器４４から出力された増幅画像データから低域周波数成分を抽出し、抽出された低域周波数成分つまり低周波画像データを減算器４８および加重加算回路５０に与える。減算器４８および加重加算回路５０には、スケーラ４２から出力された拡大画像データも与えられる。
【００４４】
なお、増幅器４４はノイズも増幅するため、低周波画像データのＳ／Ｎ比は拡大画像データのＳ／Ｎ比よりも低い。ただし、ＬＰＦ４６によって高域周波数成分が除去されるとは言え、低周波画像データが有するエッジ成分量は拡大画像データが有するエッジ成分量よりも多い。
【００４５】
減算器４８は、このような低周波画像データおよび拡大画像データの間の差分絶対値を画素毎に算出し、算出された差分絶対値を加重加算回路５０に入力する。加重加算回路５０は、入力された差分絶対値を図１０に示すグラフに適用して重み付け量αを決定し、決定された重み付け量αに従う加重加算処理（合成処理）を数１に示す要領で実行する。
［数１］
Ｐｃｐ１＝Ｐｓｃｌ＊α＋Ｐｌｐｆ×（１−α）
α：重み付け量
Ｐｓｃｌ：拡大画像データを形成する画素の値
Ｐｌｐｆ：低周波画像データを形成する画素の値
Ｐｃｐ１：中間合成画像データを形成する画素の値
【００４６】
数１によれば、拡大画像データを形成する画素の値のα倍の値と低周波画像データを形成する画素の値の（１−α）倍の値とが互いに加算される。ここで、重み付け量αの値は、差分絶対値の増大に伴って減少するように“０”〜“１”の間で変化する（図１０参照）。
【００４７】
したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い拡大画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が大きい低周波画像データが重視されるように加重加算処理が実行される。この結果、Ｓ／Ｎ比が改善されかつエッジがある程度鮮明な中間合成画像データが加重加算回路５０から出力される。
【００４８】
増幅器４４から出力された増幅画像データおよび加重加算回路５０から出力された中間合成画像データは、加重加算回路５４に与えられる。また、エッジ検出回路５２は、ＬＰＦ４６から出力された低周波画像データのエッジ強度を検出し、検出されたエッジ強度を加重加算回路５４に入力する。加重加算回路５４は、エッジ検出回路５２から入力されたエッジ強度を図１１に示すグラフに適用して重み付け量βを決定し、決定された重み付け量βに従う加重加算処理（合成処理）を数２に示す要領で実行する。
［数２］
Ｐｃｐ２＝Ｐａｍｐ＊β＋Ｐｃｐ１×（１−β）
β：重み付け量
Ｐａｍｐ：増幅画像データを形成する画素の値
Ｐｃｐ２：最終合成画像データを形成する画素の値
【００４９】
数２によれば、増幅画像データを形成する画素の値のβ倍の値と中間合成画像データを形成する画素の値の（１−β）倍の値とが互いに加算される。ここで、重み付け量βの値は、エッジ強度の増大に伴って増大するように“０”〜“１”の間で変化する（図１１参照）。
【００５０】
したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い中間合成画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が多い増幅画像データが重視されるように加重加算処理が実行される。この結果、Ｓ／Ｎ比が改善されかつエッジが鮮明な最終合成画像データが加重加算回路５４から出力される。
【００５１】
バッファ回路５６は、こうして作成された合成画像データをＳＤＲＡＭ２２の合成画像エリア２２Ｃに部分量ずつ書き込むべく、部分量の合成画像データと書き込み要求とをメモリ制御回路２０に向けて繰り返し出力する。合成画像データは、メモリ制御回路２０によって合成画像エリア２２Ｃに書き込まれる。
【００５２】
ＣＰＵ３４は、図１２に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ３８に記憶される。
【００５３】
図８を参照して、ステップＳ１では光学／撮像系１２Ｌおよび１２Ｒを起動する。この結果、Ｌ側画像データがＳＤＲＡＭ２２のＬ側画像エリア２２Ｌに書き込まれ、Ｒ側画像データがＳＤＲＡＭ２２のＲ側画像エリア２２Ｒに書き込まれ、そして合成画像データがＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。ＬＣＤモニタ２８には、合成画像データに基づくスルー画像が表示される。
【００５４】
ステップＳ３ではＡＥ処理を実行し、ステップＳ５ではＡＦ処理を実行する。この結果、Ｌ側画像データおよびＲ側画像データの輝度および鮮鋭度が適正に調整される。ステップＳ７ではムービボタン３６ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ３に戻る一方、判別結果がＹＥＳであればステップＳ９に進む。
【００５５】
ステップＳ９では動画記録処理が実行中であるか否かを判別し、判別結果がＹＥＳであればステップＳ１１で動画記録処理を開始する一方、判別結果がＮＯであればステップＳ１３で動画記録処理を中止する。ステップＳ１１またはＳ１３の処理が完了すると、ステップＳ３に戻る。ステップＳ１１およびＳ１３の処理の結果、ムービボタン３６ｍｖの１回目の操作から２回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体３０に記録される。
【００５６】
以上の説明から分かるように、光学／撮像系１２Ｌは、左側視野ＶＦ＿Ｌを捉える撮像面を有し、左側視野ＶＦ＿Ｌを表すＬ側生画像データを出力する。また、光学／撮像系１２Ｒは、右側視野ＶＦ＿Ｒを捉える撮像面を有し、右側視野ＶＦ＿Ｒを表すＲ側生画像データを出力する。ここで、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒは、共通視野ＶＦ＿Ｃを部分的に含む。また、共通視野ＶＦ＿Ｃにおいて、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低く、Ｒ側生画像データの解像感はＬ側生画像データの解像感よりも高い。
【００５７】
信号処理回路１４ＬはＬ側生画像データに基づいてＹＵＶ形式のＬ側画像データを作成し、信号処理回路１４ＲはＲ側生画像データに基づいてＹＵＶ形式のＲ側画像データを作成する。画像合成回路２４は、こうして作成されたＬ側画像データおよびＲ側画像データを共通視野ＶＦ＿Ｃを基準として合成する。
【００５８】
このように、Ｌ側生画像データおよびＲ側生画像データは、各々が共通視野ＶＦ＿Ｃを捉える光学／撮像系１２Ｌおよび１２Ｒから個別に出力される。また、共通視野ＶＦ＿Ｃにおいて、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低く、Ｒ側生画像データの解像感はＬ側生画像データの解像感よりも高い。このような生画像データに共通視野ＶＦ＿Ｃを基準とする合成処理を施すことで、合成画像データの作成に要する時間の短縮化と合成画像データの品質の向上とが図られる。
【００５９】
なお、この実施例では、動画像を記録するビデオカメラを想定しているが、この発明はシャッタボタンの操作に応答して静止画像を記録するスチルカメラにも適用できる。
【００６０】
また、この実施例では、Ｌ側画像エリア２２ＬおよびＲ側画像エリア２２Ｒ上で指定される切り出しエリアは固定的である。しかし、共通視野ＶＦ＿Ｃの水平サイズは合焦距離に応じて異なるため、切り出しエリアの指定態様を合焦距離を参照して調整するようにしてもよい。
【００６１】
さらに、この実施例では、互いに異なる性能を有する撮像装置１２３Ｌおよび１２３Ｒに共通の露光時間を設定するようにしている。しかし、共通の性能を有する２つの撮像装置を準備し、標準の明るさが確保される露光時間（標準露光時間）を左側の撮像装置に設定する一方、標準よりも低い明るさが確保される露光時間（短露光時間）を右側の撮像装置に設定するようにしてもよい。
【００６２】
この結果、標準露光時間が設定された撮像装置からは、Ｓ／Ｎ比は高いもののエッジ成分量（解像度または解像感）が手振れおよび／または被写体の動きに起因して低下した生画像データが出力される。一方、短露光時間が設定された撮像装置からは、エッジ成分量（解像度または解像感）は大きいもののＳ／Ｎ比が露光不足に起因して低下した生画像データが出力される。この場合、生画像データのサイズは共通するため、図７に示すスケーラ４２は不要となる。なお、ＬＰＦ４６と同じ特性を有する別のＬＰＦをスケーラ４２の代わりに配置するようにしてもよい（図１３参照）。
【符号の説明】
【００６３】
１０ …ディジタルビデオカメラ
１２Ｌ，１２Ｒ …光学／撮像系
１４Ｌ，１４Ｒ …信号処理回路
２４ …画像合成回路
３４ …ＣＰＵ
【特許請求の範囲】
【請求項１】
共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを前記共通視野に対応して有する第１画像を出力する第１撮像手段、
前記共通視野を部分的に含む第２視野を捉える第２撮像面を有し、前記第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と前記第１解像感以上の第２解像感とを前記共通視野に対応して有する第２画像を出力する第２撮像手段、
前記共通視野を前記第１撮像手段から出力された第１画像および前記第２撮像手段から出力された第２画像の各々について指定する指定手段、および
前記第１撮像手段から出力された第１画像および前記第２撮像手段から出力された第２画像を前記指定手段の指定結果を参照して合成する合成手段を備える、電子カメラ。
【請求項２】
前記合成手段は、前記共通視野に属する第１部分画像を前記第１画像から抽出する第１抽出手段、前記共通視野に属する第２部分画像を前記第２画像から抽出する第２抽出手段、および前記第１抽出手段によって抽出された第１部分画像と前記第２抽出手段によって抽出された第２部分画像とに基づいて合成画像を作成する作成手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記第１撮像面は第１数の画素を有し、
前記第２撮像面は前記第１数よりも大きい第２数の画素を有し、
前記第１抽出手段は画像サイズを拡大する拡大手段を含む、請求項２記載の電子カメラ。
【請求項４】
前記第１撮像面は第１感度を有し、
前記第２撮像面は前記第１感度よりも小さい第２感度を有し、
前記第２抽出手段は画像の明るさを増幅する増幅手段を含む、請求項２または３記載の電子カメラ。
【請求項５】
前記作成手段は、前記第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段、前記フィルタ手段から出力された低周波画像と前記第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段、および前記第１合成画像出力手段から出力された第１合成画像と前記第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段を含む、請求項２ないし４のいずれかに記載の電子カメラ。
【請求項６】
前記第１合成画像出力手段は、前記低周波画像と前記第１部分画像との差分を検出する差分検出手段、および前記差分検出手段によって検出された差分が小さいほど前記第１部分画像が重視されるように合成処理を実行する第１合成処理手段を含む、請求項５記載の電子カメラ。
【請求項７】
前記第２合成処理手段は、前記低周波画像からエッジ成分を検出するエッジ成分検出手段、および前記エッジ成分検出手段によって検出されたエッジ成分が大きいほど前記第２部分画像が重視されるように合成処理を実行する第２合成処理手段を含む、請求項５または６記載の電子カメラ。
【請求項８】
前記第１撮像面および前記第２撮像面は共通の画素数と共通の感度とを有し、
前記第１画像は前記第１撮像面を第１時間露光して得られた画像に相当し、
前記第２画像は前記第２撮像面を前記第１時間よりも短い第２時間露光して得られた画像に相当し、
前記作成手段は、前記第１部分画像と前記第２部分画像とを合成して第１合成画像を出力する第１合成画像出力手段、および前記第１合成画像出力手段から出力された第１合成画像と前記第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段を含む、請求項２記載の電子カメラ。
【請求項１】
共通視野を部分的に含む第１視野を捉える第１撮像面を有し、第１Ｓ／Ｎ比と第１解像感とを前記共通視野に対応して有する第１画像を出力する第１撮像手段、
前記共通視野を部分的に含む第２視野を捉える第２撮像面を有し、前記第１Ｓ／Ｎ比よりも低い第２Ｓ／Ｎ比と前記第１解像感以上の第２解像感とを前記共通視野に対応して有する第２画像を出力する第２撮像手段、
前記共通視野を前記第１撮像手段から出力された第１画像および前記第２撮像手段から出力された第２画像の各々について指定する指定手段、および
前記第１撮像手段から出力された第１画像および前記第２撮像手段から出力された第２画像を前記指定手段の指定結果を参照して合成する合成手段を備える、電子カメラ。
【請求項２】
前記合成手段は、前記共通視野に属する第１部分画像を前記第１画像から抽出する第１抽出手段、前記共通視野に属する第２部分画像を前記第２画像から抽出する第２抽出手段、および前記第１抽出手段によって抽出された第１部分画像と前記第２抽出手段によって抽出された第２部分画像とに基づいて合成画像を作成する作成手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記第１撮像面は第１数の画素を有し、
前記第２撮像面は前記第１数よりも大きい第２数の画素を有し、
前記第１抽出手段は画像サイズを拡大する拡大手段を含む、請求項２記載の電子カメラ。
【請求項４】
前記第１撮像面は第１感度を有し、
前記第２撮像面は前記第１感度よりも小さい第２感度を有し、
前記第２抽出手段は画像の明るさを増幅する増幅手段を含む、請求項２または３記載の電子カメラ。
【請求項５】
前記作成手段は、前記第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段、前記フィルタ手段から出力された低周波画像と前記第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段、および前記第１合成画像出力手段から出力された第１合成画像と前記第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段を含む、請求項２ないし４のいずれかに記載の電子カメラ。
【請求項６】
前記第１合成画像出力手段は、前記低周波画像と前記第１部分画像との差分を検出する差分検出手段、および前記差分検出手段によって検出された差分が小さいほど前記第１部分画像が重視されるように合成処理を実行する第１合成処理手段を含む、請求項５記載の電子カメラ。
【請求項７】
前記第２合成処理手段は、前記低周波画像からエッジ成分を検出するエッジ成分検出手段、および前記エッジ成分検出手段によって検出されたエッジ成分が大きいほど前記第２部分画像が重視されるように合成処理を実行する第２合成処理手段を含む、請求項５または６記載の電子カメラ。
【請求項８】
前記第１撮像面および前記第２撮像面は共通の画素数と共通の感度とを有し、
前記第１画像は前記第１撮像面を第１時間露光して得られた画像に相当し、
前記第２画像は前記第２撮像面を前記第１時間よりも短い第２時間露光して得られた画像に相当し、
前記作成手段は、前記第１部分画像と前記第２部分画像とを合成して第１合成画像を出力する第１合成画像出力手段、および前記第１合成画像出力手段から出力された第１合成画像と前記第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段を含む、請求項２記載の電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２７８９８（Ｐ２０１２−２２７８９８Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９６４９１（Ｐ２０１１−９６４９１）
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]