撮像装置およびその画像処理方法
【課題】ガラス等の反射材越しで被写体をフラッシュ撮影した際には、フラッシュの光がガラスに写り込んでしまい、被写体情報を撮影することができない。
【解決手段】複数のカメラ101〜105を備える多眼カメラにおいて、ガラス300の後ろにある被写体200をフラッシュ撮影して撮影画像群を得る。このとき、カメラ105の撮影画像内にはフラッシュの写り込みが発生しているため、該写り込みの後ろに位置する被写体の部分情報201は撮影されていない。しかし、カメラ101の画角内では該写り込みの位置が異なるため、その撮影画像内には被写体の部分情報201が取得されている。したがって、撮影画像群において被写体の同位置に対応する複数画素について、その最大画素値を低減して合成することで、フラッシュの写り込みを低減することができる。
【解決手段】複数のカメラ101〜105を備える多眼カメラにおいて、ガラス300の後ろにある被写体200をフラッシュ撮影して撮影画像群を得る。このとき、カメラ105の撮影画像内にはフラッシュの写り込みが発生しているため、該写り込みの後ろに位置する被写体の部分情報201は撮影されていない。しかし、カメラ101の画角内では該写り込みの位置が異なるため、その撮影画像内には被写体の部分情報201が取得されている。したがって、撮影画像群において被写体の同位置に対応する複数画素について、その最大画素値を低減して合成することで、フラッシュの写り込みを低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラッシュ撮影を行う撮像装置およびその画像処理方法に関する。
【背景技術】
【０００２】
一般にカメラ等の撮像装置には、特定の被写体についての撮影に特化した撮影方法がある。すなわち、撮像装置における内部パラメータを被写体に応じて調整することで、該被写体をより望ましい状態で撮影することができる。例えば人物を撮影する際には、背景をぼかして人物に焦点を合わせることで、人物を浮かび上がらせた画像が得られる。また、夜間撮影時には、露光時間を長くとることでより多くの光をセンサーに届け、ノイズの少ない画像を生成する手法が良く知られている。
【０００３】
このように、構図等も含め、撮像装置の内部パラメータを被写体に応じて調整するという撮影方法は、熟練した撮影者にとっては醍醐味と成りうるが、一般ユーザにとっては必ずしもそうではない。大多数のユーザは、煩雑な調整など行わずに、きれいな写真が簡単に撮影できることを望んでいる。
【０００４】
このようなニーズに応じて、一般にカメラモードと呼ばれる機能が付加されるようになった。これは、人物撮影や夜間撮影に最適なパラメータ設定を、予め撮像装置内に記憶させておき、モードの設定内容に応じてそれらのパラメータを瞬時に呼び出す機能である。カメラモードには、人物撮影や夜間撮影、風景撮影、等に応じた様々なバリエーションが存在する。ユーザは難しいパラメータ調整を行うことなく、これらのカメラモードを選択することで、被写体に応じた最適な内部パラメータによる撮影を行うことができる。
【０００５】
近年、新たなカメラモードとなりうる技術として、ガラス等、入射光の一部を反射する反射材の後方にある被写体を、高画質に撮影する技術が提案されている（例えば、非特許文献１参照）。例えば、ガラスの保護カバーに覆われた絵画などを撮影（ガラス越し撮影）する際には、該ガラスが周囲の光を反射することによって、撮影画像に絵画以外の周囲の風景が写り込んでしまう。そこで上記技術では、反射材を介した撮影を行う際に、フラッシュを点灯させた撮影を行うことによって、不都合な写り込みを低減する。上記技術ではさらに、フラッシュ撮影によって撮像装置に入射される被写体の色情報が変わってしまった場合、フラッシュ無しによる撮影時の色情報を参照して自動修正を行っている。
【０００６】
ガラス越し撮影を行う機会は、美術館や博物館の他、屋内から屋外の風景を撮影する場合等、多く存在する。よって、反射材の写り込みを低減する技術は、一般ユーザによって必要なカメラモードとなりうると考えられる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A Agrawal,他三名。"Removing Photography Artifacts Using Gradient Projection and Flash-Exposure Sampling",Siggraph 2005。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記フラッシュ撮影では、フラッシュの光が最も強くガラスにあたっている領域（ホットスポット）については、被写体情報を撮影することができない場合がある。撮影画像において、ホットスポットの領域では白とびが発生しているため、ガラス越しの被写体本来の情報が消滅してしまっている。よって、上記非特許文献１に記載の技術では、ガラスへの写り込みは低減されるものの、新たにホットスポットという写り込みを生成してしまう。
【０００９】
本発明は上述した問題を解決するためになされたものであり、反射材越しの被写体をフラッシュ撮影する際に、撮影画像におけるフラッシュ光の写り込みを低減することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。
【００１１】
すなわち、被写体に対する位置がそれぞれ異なる複数の撮像手段と、前記被写体に対して発光するフラッシュ手段と、前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行う位置合わせ手段と、該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力する画素出力手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、反射材越しの被写体をフラッシュ撮影する際に、撮影画像におけるフラッシュ光の写り込みを低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る一実施形態における撮像装置(多眼カメラ)の外観を示す図、
【図２】多眼カメラの構成を示すブロック図、
【図３】多眼カメラにおける撮像部(各カメラ)の構成を示す図、
【図４】デジタル信号処理部の構成を示すブロック図、
【図５】画像合成処理部の構成を示すブロック図、
【図６】本実施形態における撮影環境の概要を示す外観図、
【図７】本実施形態における撮影環境を上方から俯瞰した図、
【図８】多眼カメラを用いたガラス越し撮影による撮影画像例を示す図、
【図９】位置合わせ後の撮影画像群における、被写体上の注目画素と空間的に対応する画素群の値を示す図、
【図１０】本実施形態におけるガラス越し撮影処理を示すフローチャート、
【図１１】画像合成処理を示すフローチャート、
【図１２】画像合成部の他の構成例を示すブロック図、
【図１３】フラッシュを2つ備える撮像装置の外観を示す図、である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施形態について図面を用いて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
＜第１実施形態＞
●装置構成
図１に、本実施形態における撮像装置の外観を示す。本実施形態の撮像装置は、25個の撮像部(カメラ)を内蔵し、複数の視点からの画像を撮影する所謂多眼カメラであり、101〜125がそれぞれの撮像部である。また、1は撮影ボタン、2はフラッシュ、3はカメラボディである。なお、多眼カメラが内蔵するカメラの数はこの例(25個)限定されず、3個以上の任意の個数の撮像部を有する多眼カメラに対して本発明は適用可能である。
【００１６】
図２は、本実施形態における多眼カメラの内部構成を示すブロック図である。図１に示す撮像部101〜125のそれぞれは、被写体の光情報をセンサーで受光し、A/D変換を施すことによって撮影画像のデジタルデータを取得し、該デジタルデータをデータ転送経路であるバス138に出力する。
【００１７】
ここで、撮像部101〜125の詳細構成を図３に示し、説明する。撮像部101〜125のそれぞれは、被写体の光量を検出する撮像系と、該検出結果を信号値に変換する変換系からなる。撮像系は、ズームレンズ200、フォーカスレンズ201、ぶれ補正レンズ202、絞り203、シャッター204、光学ローパスフィルタ205、iRカットフィルタ206、カラーフィルタ207、CMOS等のセンサ208、から構成される。変換系はA/D変換部209からなり、撮像系で検知された被写体の光量をデジタルデータに変換し、該デジタルデータをバス138へ出力する。
【００１８】
図２に戻り、デジタル信号処理部134は、バス138を介して入力された撮影画像のデジタルデータを入力して、各種画像処理を施す。図４に、デジタル信号処理部134の詳細構成を示す。図４に示すようにデジタル信号処理部134は、ノイズ低減処理部301、ホワイトバランス制御部302、色変換部303、ガンマ処理部304からなる。入力されたデジタルデータに対し、ノイズ低減処理部301でノイズ低減処理、ホワイトバランス制御部302でホワイトバランス処理、色変換部303で色補正処理、ガンマ処理部304でガンマ処理、をそれぞれ施すことで、デジタル画像信号を生成する。該デジタル画像信号は、圧縮・伸張部135によって、JpegやMpegなどの圧縮ファイルフォーマットに変換される。
【００１９】
外部メモリ制御部136は、多眼カメラをPCその他メディア137（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインフェースである。
【００２０】
CPU128は、多眼カメラにおける撮影制御はもちろん、各構成の処理全てに関わり、ROM126やRAM127に格納された命令を順次読み込んで解釈し、その結果に従って処理を実行する。また、ROM126とRAM127は、その処理に必要なプログラム、データ、作業領域等をCPU128に提供する。
【００２１】
撮像系制御部1000は、フォーカスを合わせる、シャッターを開く、絞りを調節する等、CPU128から指示された撮像系の制御を行う。フラッシュ129は、被写体からの光量が少ない場合に、被写体に光を当てて適切な露出を促す。
【００２２】
操作部130は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。
【００２３】
CG生成部131は、文字やグラフィック等を生成する。表示部133は、一般的には液晶ディスプレイが広く用いられており、CG生成部131やデジタル信号処理部134、後述する画像合成部2000から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ここからのユーザ指示を操作部130の入力として扱うことも可能である。
【００２４】
画像合成部2000は、本実施形態の多眼カメラにおける特徴をなす構成である。撮像部101〜125から得られたデジタル画像或いは、デジタル信号処理部134から出力されるデジタル画像群を利用して新たな画像(撮影画像)を生成し、その結果をRAM127へ出力する。画像合成部2000における処理の詳細については後述する。
【００２５】
なお、本実施形態における多眼カメラの構成要素は上記以外にも存在するが、本実施形態の主眼ではないため説明を省略する。
【００２６】
●画像合成部
以下、画像合成部2000の詳細構成について、図５を用いて説明する。画像合成部2000は、撮像部101〜125より入力された撮影画像群Iから、最終的に出力すべき撮影画像Oを生成する。まず、画像位置合わせ部400において、撮影画像群Iの位置あわせを行う。すなわち、撮像部101〜125によって撮影された25枚の撮影画像群における空間位置を合わせるために、被写体の同位置に対応する画素をそれぞれ検出し、該検出された画素が各撮影画像内において同じ位置となるよう調整する。次に画素出力部410において、位置合わせ後の撮影画像群において、被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して、一枚の出力画像(撮影画像O)の画素値として出力する。
【００２７】
詳細には、画素ソート処理部411において、位置合わせ後の撮影画像群Iにおいて、各画像間で空間的に対応する画素群、すなわち被写体の同一点に対応する画素群を、その値でソートする。そして2画素抽出部412で、該ソートされた画素群のうち、１番小さい値と２番目に小さい値を有する画素を抽出する。最後に平均化処理部413において、2画素抽出部412で抽出された2画素の平均値を算出し、これを合成後の撮影画像Oにおける画素値として出力する。なお、ここでは2画素抽出部412において最小値とその次に小さい値を有する2画素を抽出する例を示したが、本発明はもちろんこの例に限定されない。処理対象の画素群から低輝度部を抽出できれば良いため、全画素数(この場合5画素)未満の画素数であれば、3画素を抽出しても良いし、当該画素の特性に応じて抽出する画素数を決定しても良い。
【００２８】
以上の構成からなる多眼カメラによって、ガラス越しの被写体をフラッシュ撮影した場合、撮影画像においてフラッシュによるホットスポットが低減される。なお、画像合成部におけるホットスポット低減処理の詳細については後述する。
【００２９】
●ホットスポット低減の原理
以下、本実施形態におけるホットスポット低減の原理について説明する。
【００３０】
図６は、本実施形態において想定している撮影環境の概要である。すなわち、25眼のカメラ(撮像部101〜125)を内蔵した多眼カメラ100によって、絵画等の被写体610を保護カバー等のガラス620越しにフラッシュ撮影する様子を表している。以下では説明を簡単にする為、多眼カメラ100における25眼のカメラ(撮像部101〜125)のうち、上部に設置した5つのカメラ(撮像部101〜105)のみによる撮影を行う例を説明する。実際の撮影では2つ以上のカメラであれば、本実施形態の原理が同様に適用される。以下、多眼カメラ100における撮像部101〜125を、カメラ101〜125と称する。
【００３１】
撮影時には、カメラ101の横に設置したフラッシュ2を発光させ、カメラ101〜105の全てで撮影を行う。その際、フラッシュ光は図６に示す矢印方向に進み、そのうちの拡散しきれなかった直接光が、ガラス620面にホットスポット621を形成する。図７は、図６に示す撮影環境を上方から俯瞰した様子を示す図であり、各カメラ101〜105が出力する画像のそれぞれにおいて、ホットスポットが異なる位置に存在する様子を示している。例えばカメラ105に着目すると、ホットスポット621がその画角（図７中においてカメラ105から出ている破線内で得られる画像）の中央付近に存在し、したがってその後方にある被写体610の部分情報611をブロックしている。よって、カメラ105からは被写体610のうち、ホットスポット621の後方にある部分情報611を撮影することができない。一方、カメラ101に着目すると、ホットスポット621はその画角の端付近に存在するため、図中一点鎖線で示すように、カメラ105からは撮影できなかった被写体の部分情報611を撮影することが可能となる。ここで図８に、フラッシュ撮影によってカメラ101〜105で撮影された画像例を示す。図８(a)〜(e)がそれぞれ、カメラ101〜105の撮影画像に相当する。図８からも分かるように多眼カメラによるフラッシュ撮影では、カメラの位置によって、その撮影画像上におけるホットスポットの位置が異なる。
【００３２】
以上の事実が本願の本質であり、あるカメラからは撮影できない被写体の部分領域についての情報を、該部分領域からの角度が異なる他のカメラから取得することを特徴とする。
【００３３】
以下では、カメラ105による撮影画像上に存在するホットスポットを低減する処理について説明する。
【００３４】
まず、カメラ101〜105による撮影画像に対する位置合わせを行う。ここで図９に、該位置合わせ後の、カメラ105による撮影画像におけるホットスポット中央の画素値と、該画素に空間的に対応する、カメラ101〜104による撮影画像の画素値の例を示す。図９において、画素番号1〜5がそれぞれ、カメラ101〜105による撮影画像の画素値を示す。以下、画素番号1〜5の画素を、単に画素1〜5と称する。図９によれば、カメラ105に対応する画素5はホットスポット内の画素であるから、他のカメラ101〜104による画素1〜4に対し、より高い画素値(輝度値)を有する。よって、画素5のような突出して高い画素値を有する信号を如何に除去し、画素1〜4のような低い画素値を抽出するかが、本実施形態のポイントとなる。
【００３５】
例えば、カメラ105による撮影画像からホットスポットを低減するためには、該撮影画像から、ホットスポットの影響により突出して高い画素値を有する画素(画素5)を除去すれば良い。そして、それ以外の画素(画素1〜4）の平均画素値を、該ホットスポットに対応する画素(画素5)の値とする。
【００３６】
具体的に本実施形態では、位置合わせ後の、カメラ101〜105による撮影画像から、それぞれ同位置にある注目画素として得られる画素値をソートし、その後、値の小さい方から順次、所定数(本実施形態では2つ)の画素を抽出する。これは、大きな画素値を参照しないようにするためである。本実施形態では、ソート後の小さい値から2画素を抽出することで、図９に示す画素5のように、画素群において突出して高い値を有する画素値を合成対象から除外することが可能となる。
【００３７】
●ガラス越し撮影・ホットスポット除去処理
以下、本実施形態におけるガラス越し撮影処理について、図１０のフローチャートを用いて説明する。撮影を開始すると(S500)、ROM126や操作部130から撮影パラメータが読み込まれる(S501)。そして、シャッターボタンが押されると(S502)、撮影パラメータに応じてCPU128から撮像部101〜125へ制御信号が送信され、撮影が行われる。このとき、CPU128からフラッシュ2に対する発光指示も同時に行われ、フラッシュ2の発光により被写体が露光された状態で撮影が行われる(S503)。すると画像合成部2000は、撮像部101〜125で撮影され、RAM127に蓄積された撮影画像群I
を合成して画像Oを生成し、RAM127に蓄積する(S504)。この画像合成処理の際に、撮影画像にフラッシュ撮影に伴うホットスポットが存在した場合、これを除去した合成が行われる。そして、RAM127に蓄積している画像Oを、表示制御部132を介して表示部133に表示して(S505)、撮影処理を終了する(S506)。
【００３８】
次に上記S504における、画像合成部2000でのホットスポットを除去する画像合成処理について、図１１のフローチャートを用いて説明する。ここでも説明の簡便のため、撮像部101〜125の一部である、5つのカメラ1〜5による撮影画像を合成する場合を例として示す。
【００３９】
画像合成部2000は処理を開始すると(S600)、画像位置合わせ部400において、カメラ1〜5によって撮影された5枚の撮影画像群L_i,(i=1,2,3,4,5)の位置合わせ処理を行って、5枚の撮影画像群La_iを出力する(S601)。次に、処理対象となる注目画素の空間的なインデックスを表すnを0で初期化し、さらに、該インデックスnの最大値Nを、1枚の撮影画像の総画素数(例えば1000万)にセットする(S602)。この最大値Nは、撮像センサーの性能等により決定される。
【００４０】
次に、インデックスnに対応する画素を撮影画像群La_iからそれぞれ抽出し、Y_iに格納する(S604)。そして画素ソート処理部411でY_iをソートし、その結果をS_iに格納する(S605)。そして2画素抽出部412において、最小値とその次に小さい値を有する2画素をS_iから抽出してM_iに保存する(S606)。次に、M_iの平均値を、出力画像バッファOのインデックスnに格納する(S607)。そして、処理対象画素のインデックスnを更新し(S608)、N＜nとなるまで(S603)、S604〜S608の処理を繰り返す。N＜nとなれば(S603)、すべての画素の処理を終了したと判断し、画像合成部2000の処理を終了する(S609)。
【００４１】
以上説明したように本実施形態によれば、多眼カメラを用いてガラス越しの被写体をフラッシュ撮影した際に、あるカメラの撮影画像におけるホットスポットの画素を、他のカメラの撮影画像で置き換えて合成する。これにより、合成された撮影画像においてフラッシュの写り込みを低減することができる。
【００４２】
＜変形例＞
尚、上述した第１実施形態における画像合成部2000の構成は、上記図５に示した構成に限定されない。例えば、図５に示す平均化処理部413において、除去されなかった全ての画素値を平均化するのではなく、特定のカメラによる撮影画像の画素値をそのまま、ホットスポット対応画素値として抽出することも可能である。この場合、撮影画像の連続性は失われるものの、ホットスポットの低減効果は得られる。
【００４３】
また例えば、図１２(a)に示すように最小値処理部416だけを備え、単純に最小値を有する画素を出力する構成や、図１２(b)に示すように平均処理部417だけを備え、単純に全画素の平均値を出力する構成も適用可能である。また図１２(c)に示すように、閾値処理部414を設けて所定の閾値以下の画素値を抽出し、該抽出された画素値を平均化処理部413で平均化する構成も適用可能である。また図１２(d)に示すように、選択的平均値処理部415を設け、イプシロンフィルタ等を用いた選択的な平均値処理を行う構成も適用可能である。
【００４４】
さらに本実施形態では、多眼カメラ100にフラッシュ2を1つ搭載する例を示したが、フラッシュ2を2つ以上搭載し、時間差フラッシュ撮影を行っても構わない。例えば図１３に示すように、2つのフラッシュ2，4がそれぞれ異なるタイミングで発光し、フラッシュ2の発光時には、該フラッシュ2からの距離が大きい撮像部125側での撮影を行う。同様に、フラッシュ4の発光時には撮像部121側での撮影を行う。このように、フラッシュからの距離が遠い撮像部側で撮影を行うことによって、撮影画像上に生成されるホットスポットの位置が、撮影画像ごとにまばらになる。このような撮影画像群Iを画像合成部2000の入力画像とすることで、複数の撮影画像がホットスポット除去の対象となる。したがって、ある1つの画像のみから撮影情報が失われてしまうことを避けることができる。
【００４５】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のプロセッサ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、フラッシュ撮影を行う撮像装置およびその画像処理方法に関する。
【背景技術】
【０００２】
一般にカメラ等の撮像装置には、特定の被写体についての撮影に特化した撮影方法がある。すなわち、撮像装置における内部パラメータを被写体に応じて調整することで、該被写体をより望ましい状態で撮影することができる。例えば人物を撮影する際には、背景をぼかして人物に焦点を合わせることで、人物を浮かび上がらせた画像が得られる。また、夜間撮影時には、露光時間を長くとることでより多くの光をセンサーに届け、ノイズの少ない画像を生成する手法が良く知られている。
【０００３】
このように、構図等も含め、撮像装置の内部パラメータを被写体に応じて調整するという撮影方法は、熟練した撮影者にとっては醍醐味と成りうるが、一般ユーザにとっては必ずしもそうではない。大多数のユーザは、煩雑な調整など行わずに、きれいな写真が簡単に撮影できることを望んでいる。
【０００４】
このようなニーズに応じて、一般にカメラモードと呼ばれる機能が付加されるようになった。これは、人物撮影や夜間撮影に最適なパラメータ設定を、予め撮像装置内に記憶させておき、モードの設定内容に応じてそれらのパラメータを瞬時に呼び出す機能である。カメラモードには、人物撮影や夜間撮影、風景撮影、等に応じた様々なバリエーションが存在する。ユーザは難しいパラメータ調整を行うことなく、これらのカメラモードを選択することで、被写体に応じた最適な内部パラメータによる撮影を行うことができる。
【０００５】
近年、新たなカメラモードとなりうる技術として、ガラス等、入射光の一部を反射する反射材の後方にある被写体を、高画質に撮影する技術が提案されている（例えば、非特許文献１参照）。例えば、ガラスの保護カバーに覆われた絵画などを撮影（ガラス越し撮影）する際には、該ガラスが周囲の光を反射することによって、撮影画像に絵画以外の周囲の風景が写り込んでしまう。そこで上記技術では、反射材を介した撮影を行う際に、フラッシュを点灯させた撮影を行うことによって、不都合な写り込みを低減する。上記技術ではさらに、フラッシュ撮影によって撮像装置に入射される被写体の色情報が変わってしまった場合、フラッシュ無しによる撮影時の色情報を参照して自動修正を行っている。
【０００６】
ガラス越し撮影を行う機会は、美術館や博物館の他、屋内から屋外の風景を撮影する場合等、多く存在する。よって、反射材の写り込みを低減する技術は、一般ユーザによって必要なカメラモードとなりうると考えられる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A Agrawal,他三名。"Removing Photography Artifacts Using Gradient Projection and Flash-Exposure Sampling",Siggraph 2005。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記フラッシュ撮影では、フラッシュの光が最も強くガラスにあたっている領域（ホットスポット）については、被写体情報を撮影することができない場合がある。撮影画像において、ホットスポットの領域では白とびが発生しているため、ガラス越しの被写体本来の情報が消滅してしまっている。よって、上記非特許文献１に記載の技術では、ガラスへの写り込みは低減されるものの、新たにホットスポットという写り込みを生成してしまう。
【０００９】
本発明は上述した問題を解決するためになされたものであり、反射材越しの被写体をフラッシュ撮影する際に、撮影画像におけるフラッシュ光の写り込みを低減することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。
【００１１】
すなわち、被写体に対する位置がそれぞれ異なる複数の撮像手段と、前記被写体に対して発光するフラッシュ手段と、前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行う位置合わせ手段と、該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力する画素出力手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、反射材越しの被写体をフラッシュ撮影する際に、撮影画像におけるフラッシュ光の写り込みを低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る一実施形態における撮像装置(多眼カメラ)の外観を示す図、
【図２】多眼カメラの構成を示すブロック図、
【図３】多眼カメラにおける撮像部(各カメラ)の構成を示す図、
【図４】デジタル信号処理部の構成を示すブロック図、
【図５】画像合成処理部の構成を示すブロック図、
【図６】本実施形態における撮影環境の概要を示す外観図、
【図７】本実施形態における撮影環境を上方から俯瞰した図、
【図８】多眼カメラを用いたガラス越し撮影による撮影画像例を示す図、
【図９】位置合わせ後の撮影画像群における、被写体上の注目画素と空間的に対応する画素群の値を示す図、
【図１０】本実施形態におけるガラス越し撮影処理を示すフローチャート、
【図１１】画像合成処理を示すフローチャート、
【図１２】画像合成部の他の構成例を示すブロック図、
【図１３】フラッシュを2つ備える撮像装置の外観を示す図、である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施形態について図面を用いて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
＜第１実施形態＞
●装置構成
図１に、本実施形態における撮像装置の外観を示す。本実施形態の撮像装置は、25個の撮像部(カメラ)を内蔵し、複数の視点からの画像を撮影する所謂多眼カメラであり、101〜125がそれぞれの撮像部である。また、1は撮影ボタン、2はフラッシュ、3はカメラボディである。なお、多眼カメラが内蔵するカメラの数はこの例(25個)限定されず、3個以上の任意の個数の撮像部を有する多眼カメラに対して本発明は適用可能である。
【００１６】
図２は、本実施形態における多眼カメラの内部構成を示すブロック図である。図１に示す撮像部101〜125のそれぞれは、被写体の光情報をセンサーで受光し、A/D変換を施すことによって撮影画像のデジタルデータを取得し、該デジタルデータをデータ転送経路であるバス138に出力する。
【００１７】
ここで、撮像部101〜125の詳細構成を図３に示し、説明する。撮像部101〜125のそれぞれは、被写体の光量を検出する撮像系と、該検出結果を信号値に変換する変換系からなる。撮像系は、ズームレンズ200、フォーカスレンズ201、ぶれ補正レンズ202、絞り203、シャッター204、光学ローパスフィルタ205、iRカットフィルタ206、カラーフィルタ207、CMOS等のセンサ208、から構成される。変換系はA/D変換部209からなり、撮像系で検知された被写体の光量をデジタルデータに変換し、該デジタルデータをバス138へ出力する。
【００１８】
図２に戻り、デジタル信号処理部134は、バス138を介して入力された撮影画像のデジタルデータを入力して、各種画像処理を施す。図４に、デジタル信号処理部134の詳細構成を示す。図４に示すようにデジタル信号処理部134は、ノイズ低減処理部301、ホワイトバランス制御部302、色変換部303、ガンマ処理部304からなる。入力されたデジタルデータに対し、ノイズ低減処理部301でノイズ低減処理、ホワイトバランス制御部302でホワイトバランス処理、色変換部303で色補正処理、ガンマ処理部304でガンマ処理、をそれぞれ施すことで、デジタル画像信号を生成する。該デジタル画像信号は、圧縮・伸張部135によって、JpegやMpegなどの圧縮ファイルフォーマットに変換される。
【００１９】
外部メモリ制御部136は、多眼カメラをPCその他メディア137（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインフェースである。
【００２０】
CPU128は、多眼カメラにおける撮影制御はもちろん、各構成の処理全てに関わり、ROM126やRAM127に格納された命令を順次読み込んで解釈し、その結果に従って処理を実行する。また、ROM126とRAM127は、その処理に必要なプログラム、データ、作業領域等をCPU128に提供する。
【００２１】
撮像系制御部1000は、フォーカスを合わせる、シャッターを開く、絞りを調節する等、CPU128から指示された撮像系の制御を行う。フラッシュ129は、被写体からの光量が少ない場合に、被写体に光を当てて適切な露出を促す。
【００２２】
操作部130は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。
【００２３】
CG生成部131は、文字やグラフィック等を生成する。表示部133は、一般的には液晶ディスプレイが広く用いられており、CG生成部131やデジタル信号処理部134、後述する画像合成部2000から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ここからのユーザ指示を操作部130の入力として扱うことも可能である。
【００２４】
画像合成部2000は、本実施形態の多眼カメラにおける特徴をなす構成である。撮像部101〜125から得られたデジタル画像或いは、デジタル信号処理部134から出力されるデジタル画像群を利用して新たな画像(撮影画像)を生成し、その結果をRAM127へ出力する。画像合成部2000における処理の詳細については後述する。
【００２５】
なお、本実施形態における多眼カメラの構成要素は上記以外にも存在するが、本実施形態の主眼ではないため説明を省略する。
【００２６】
●画像合成部
以下、画像合成部2000の詳細構成について、図５を用いて説明する。画像合成部2000は、撮像部101〜125より入力された撮影画像群Iから、最終的に出力すべき撮影画像Oを生成する。まず、画像位置合わせ部400において、撮影画像群Iの位置あわせを行う。すなわち、撮像部101〜125によって撮影された25枚の撮影画像群における空間位置を合わせるために、被写体の同位置に対応する画素をそれぞれ検出し、該検出された画素が各撮影画像内において同じ位置となるよう調整する。次に画素出力部410において、位置合わせ後の撮影画像群において、被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して、一枚の出力画像(撮影画像O)の画素値として出力する。
【００２７】
詳細には、画素ソート処理部411において、位置合わせ後の撮影画像群Iにおいて、各画像間で空間的に対応する画素群、すなわち被写体の同一点に対応する画素群を、その値でソートする。そして2画素抽出部412で、該ソートされた画素群のうち、１番小さい値と２番目に小さい値を有する画素を抽出する。最後に平均化処理部413において、2画素抽出部412で抽出された2画素の平均値を算出し、これを合成後の撮影画像Oにおける画素値として出力する。なお、ここでは2画素抽出部412において最小値とその次に小さい値を有する2画素を抽出する例を示したが、本発明はもちろんこの例に限定されない。処理対象の画素群から低輝度部を抽出できれば良いため、全画素数(この場合5画素)未満の画素数であれば、3画素を抽出しても良いし、当該画素の特性に応じて抽出する画素数を決定しても良い。
【００２８】
以上の構成からなる多眼カメラによって、ガラス越しの被写体をフラッシュ撮影した場合、撮影画像においてフラッシュによるホットスポットが低減される。なお、画像合成部におけるホットスポット低減処理の詳細については後述する。
【００２９】
●ホットスポット低減の原理
以下、本実施形態におけるホットスポット低減の原理について説明する。
【００３０】
図６は、本実施形態において想定している撮影環境の概要である。すなわち、25眼のカメラ(撮像部101〜125)を内蔵した多眼カメラ100によって、絵画等の被写体610を保護カバー等のガラス620越しにフラッシュ撮影する様子を表している。以下では説明を簡単にする為、多眼カメラ100における25眼のカメラ(撮像部101〜125)のうち、上部に設置した5つのカメラ(撮像部101〜105)のみによる撮影を行う例を説明する。実際の撮影では2つ以上のカメラであれば、本実施形態の原理が同様に適用される。以下、多眼カメラ100における撮像部101〜125を、カメラ101〜125と称する。
【００３１】
撮影時には、カメラ101の横に設置したフラッシュ2を発光させ、カメラ101〜105の全てで撮影を行う。その際、フラッシュ光は図６に示す矢印方向に進み、そのうちの拡散しきれなかった直接光が、ガラス620面にホットスポット621を形成する。図７は、図６に示す撮影環境を上方から俯瞰した様子を示す図であり、各カメラ101〜105が出力する画像のそれぞれにおいて、ホットスポットが異なる位置に存在する様子を示している。例えばカメラ105に着目すると、ホットスポット621がその画角（図７中においてカメラ105から出ている破線内で得られる画像）の中央付近に存在し、したがってその後方にある被写体610の部分情報611をブロックしている。よって、カメラ105からは被写体610のうち、ホットスポット621の後方にある部分情報611を撮影することができない。一方、カメラ101に着目すると、ホットスポット621はその画角の端付近に存在するため、図中一点鎖線で示すように、カメラ105からは撮影できなかった被写体の部分情報611を撮影することが可能となる。ここで図８に、フラッシュ撮影によってカメラ101〜105で撮影された画像例を示す。図８(a)〜(e)がそれぞれ、カメラ101〜105の撮影画像に相当する。図８からも分かるように多眼カメラによるフラッシュ撮影では、カメラの位置によって、その撮影画像上におけるホットスポットの位置が異なる。
【００３２】
以上の事実が本願の本質であり、あるカメラからは撮影できない被写体の部分領域についての情報を、該部分領域からの角度が異なる他のカメラから取得することを特徴とする。
【００３３】
以下では、カメラ105による撮影画像上に存在するホットスポットを低減する処理について説明する。
【００３４】
まず、カメラ101〜105による撮影画像に対する位置合わせを行う。ここで図９に、該位置合わせ後の、カメラ105による撮影画像におけるホットスポット中央の画素値と、該画素に空間的に対応する、カメラ101〜104による撮影画像の画素値の例を示す。図９において、画素番号1〜5がそれぞれ、カメラ101〜105による撮影画像の画素値を示す。以下、画素番号1〜5の画素を、単に画素1〜5と称する。図９によれば、カメラ105に対応する画素5はホットスポット内の画素であるから、他のカメラ101〜104による画素1〜4に対し、より高い画素値(輝度値)を有する。よって、画素5のような突出して高い画素値を有する信号を如何に除去し、画素1〜4のような低い画素値を抽出するかが、本実施形態のポイントとなる。
【００３５】
例えば、カメラ105による撮影画像からホットスポットを低減するためには、該撮影画像から、ホットスポットの影響により突出して高い画素値を有する画素(画素5)を除去すれば良い。そして、それ以外の画素(画素1〜4）の平均画素値を、該ホットスポットに対応する画素(画素5)の値とする。
【００３６】
具体的に本実施形態では、位置合わせ後の、カメラ101〜105による撮影画像から、それぞれ同位置にある注目画素として得られる画素値をソートし、その後、値の小さい方から順次、所定数(本実施形態では2つ)の画素を抽出する。これは、大きな画素値を参照しないようにするためである。本実施形態では、ソート後の小さい値から2画素を抽出することで、図９に示す画素5のように、画素群において突出して高い値を有する画素値を合成対象から除外することが可能となる。
【００３７】
●ガラス越し撮影・ホットスポット除去処理
以下、本実施形態におけるガラス越し撮影処理について、図１０のフローチャートを用いて説明する。撮影を開始すると(S500)、ROM126や操作部130から撮影パラメータが読み込まれる(S501)。そして、シャッターボタンが押されると(S502)、撮影パラメータに応じてCPU128から撮像部101〜125へ制御信号が送信され、撮影が行われる。このとき、CPU128からフラッシュ2に対する発光指示も同時に行われ、フラッシュ2の発光により被写体が露光された状態で撮影が行われる(S503)。すると画像合成部2000は、撮像部101〜125で撮影され、RAM127に蓄積された撮影画像群I
を合成して画像Oを生成し、RAM127に蓄積する(S504)。この画像合成処理の際に、撮影画像にフラッシュ撮影に伴うホットスポットが存在した場合、これを除去した合成が行われる。そして、RAM127に蓄積している画像Oを、表示制御部132を介して表示部133に表示して(S505)、撮影処理を終了する(S506)。
【００３８】
次に上記S504における、画像合成部2000でのホットスポットを除去する画像合成処理について、図１１のフローチャートを用いて説明する。ここでも説明の簡便のため、撮像部101〜125の一部である、5つのカメラ1〜5による撮影画像を合成する場合を例として示す。
【００３９】
画像合成部2000は処理を開始すると(S600)、画像位置合わせ部400において、カメラ1〜5によって撮影された5枚の撮影画像群L_i,(i=1,2,3,4,5)の位置合わせ処理を行って、5枚の撮影画像群La_iを出力する(S601)。次に、処理対象となる注目画素の空間的なインデックスを表すnを0で初期化し、さらに、該インデックスnの最大値Nを、1枚の撮影画像の総画素数(例えば1000万)にセットする(S602)。この最大値Nは、撮像センサーの性能等により決定される。
【００４０】
次に、インデックスnに対応する画素を撮影画像群La_iからそれぞれ抽出し、Y_iに格納する(S604)。そして画素ソート処理部411でY_iをソートし、その結果をS_iに格納する(S605)。そして2画素抽出部412において、最小値とその次に小さい値を有する2画素をS_iから抽出してM_iに保存する(S606)。次に、M_iの平均値を、出力画像バッファOのインデックスnに格納する(S607)。そして、処理対象画素のインデックスnを更新し(S608)、N＜nとなるまで(S603)、S604〜S608の処理を繰り返す。N＜nとなれば(S603)、すべての画素の処理を終了したと判断し、画像合成部2000の処理を終了する(S609)。
【００４１】
以上説明したように本実施形態によれば、多眼カメラを用いてガラス越しの被写体をフラッシュ撮影した際に、あるカメラの撮影画像におけるホットスポットの画素を、他のカメラの撮影画像で置き換えて合成する。これにより、合成された撮影画像においてフラッシュの写り込みを低減することができる。
【００４２】
＜変形例＞
尚、上述した第１実施形態における画像合成部2000の構成は、上記図５に示した構成に限定されない。例えば、図５に示す平均化処理部413において、除去されなかった全ての画素値を平均化するのではなく、特定のカメラによる撮影画像の画素値をそのまま、ホットスポット対応画素値として抽出することも可能である。この場合、撮影画像の連続性は失われるものの、ホットスポットの低減効果は得られる。
【００４３】
また例えば、図１２(a)に示すように最小値処理部416だけを備え、単純に最小値を有する画素を出力する構成や、図１２(b)に示すように平均処理部417だけを備え、単純に全画素の平均値を出力する構成も適用可能である。また図１２(c)に示すように、閾値処理部414を設けて所定の閾値以下の画素値を抽出し、該抽出された画素値を平均化処理部413で平均化する構成も適用可能である。また図１２(d)に示すように、選択的平均値処理部415を設け、イプシロンフィルタ等を用いた選択的な平均値処理を行う構成も適用可能である。
【００４４】
さらに本実施形態では、多眼カメラ100にフラッシュ2を1つ搭載する例を示したが、フラッシュ2を2つ以上搭載し、時間差フラッシュ撮影を行っても構わない。例えば図１３に示すように、2つのフラッシュ2，4がそれぞれ異なるタイミングで発光し、フラッシュ2の発光時には、該フラッシュ2からの距離が大きい撮像部125側での撮影を行う。同様に、フラッシュ4の発光時には撮像部121側での撮影を行う。このように、フラッシュからの距離が遠い撮像部側で撮影を行うことによって、撮影画像上に生成されるホットスポットの位置が、撮影画像ごとにまばらになる。このような撮影画像群Iを画像合成部2000の入力画像とすることで、複数の撮影画像がホットスポット除去の対象となる。したがって、ある1つの画像のみから撮影情報が失われてしまうことを避けることができる。
【００４５】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のプロセッサ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
被写体に対する位置がそれぞれ異なる複数の撮像手段と、
前記被写体に対して発光するフラッシュ手段と、
前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、
前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行う位置合わせ手段と、
該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力する画素出力手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画素出力手段は、
前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素を、その画素値の順にソートするソート手段と、
該ソート後の複数画素に対して、最小の値を有する画素から順次、該複数画素の数よりも少ない所定数の画素を抽出する画素抽出手段と、
該抽出された画素の平均値を算出する平均化手段と、を有し、
前記平均化手段で算出された平均値を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素のうち、所定の閾値以下である画素値を有する画素の平均を出力することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素のうち、最小の画素値を出力することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素の画素値の平均を出力することを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体に対する位置がそれぞれ異なる複数の撮像手段と、前記被写体に対して発光するフラッシュ手段と、前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、位置合わせ手段、画素出力手段、を有する撮像装置における画像処理方法であって、
前記位置合わせ手段が、前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行い、
前記画素出力手段が、該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力することを特徴とする画像処理方法。
【請求項７】
撮像装置のプロセッサで実行されることにより、該プロセッサを請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１】
被写体に対する位置がそれぞれ異なる複数の撮像手段と、
前記被写体に対して発光するフラッシュ手段と、
前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、
前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行う位置合わせ手段と、
該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力する画素出力手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画素出力手段は、
前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素を、その画素値の順にソートするソート手段と、
該ソート後の複数画素に対して、最小の値を有する画素から順次、該複数画素の数よりも少ない所定数の画素を抽出する画素抽出手段と、
該抽出された画素の平均値を算出する平均化手段と、を有し、
前記平均化手段で算出された平均値を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素のうち、所定の閾値以下である画素値を有する画素の平均を出力することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素のうち、最小の画素値を出力することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画素出力手段は、前記位置合わせ後の撮影画像群において前記被写体の同位置に対応する複数画素の画素値の平均を出力することを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体に対する位置がそれぞれ異なる複数の撮像手段と、前記被写体に対して発光するフラッシュ手段と、前記被写体に対して前記フラッシュ手段を発光させ、前記複数の撮像手段による撮影を行って撮影画像群を得る撮影制御手段と、位置合わせ手段、画素出力手段、を有する撮像装置における画像処理方法であって、
前記位置合わせ手段が、前記撮影画像群におけるそれぞれの撮影画像について、前記被写体の同位置に対応する画素が、それぞれの撮影画像内で同じ位置となるように位置合わせを行い、
前記画素出力手段が、該位置合わせ後の前記撮影画像群において前記被写体の同位置に対応する複数画素から、該複数画素における最大画素値よりも低い画素値を作成して出力することを特徴とする画像処理方法。
【請求項７】
撮像装置のプロセッサで実行されることにより、該プロセッサを請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１６９９３６（Ｐ２０１２−１６９９３６Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３０２２０（Ｐ２０１１−３０２２０）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]