情報処理装置、照明を設定するための情報を生成する方法およびプログラム
【課題】屋外で撮影された背景画像の照明状況を前景画像の撮影時に再現できるようにする情報処理装置およびプログラムを提供する。
【解決手段】画像の位置、日時などの情報を取得し、これらの情報をもとに画像の撮影環境を再現するように照明を制御する。照明を設定するための情報を生成する情報処理装置であって、画像が撮影された位置と日時を取得する取得手段と、前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有する。
【解決手段】画像の位置、日時などの情報を取得し、これらの情報をもとに画像の撮影環境を再現するように照明を制御する。照明を設定するための情報を生成する情報処理装置であって、画像が撮影された位置と日時を取得する取得手段と、前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、照明を制御する技術に関する。
【背景技術】
【0002】
従来、事前に撮影した背景画像と、例えばスタジオで人などの被写体を撮影した前景画像を合成するクロマキー合成技術がある。このような画像合成を行う際に、背景画像と前景画像の撮影環境が異なるために合成結果が不自然になる場合がある。この合成結果が不自然になることを低減する技術として、背景画像の解析を行い、その解析結果に基づいて前景画像を画像処理する技術が提案されている(特許文献1)。また、スタジオ内で撮影する際に照明機材の位置を画像データと同時に管理することで次回撮影時の照明機材の位置合わせの手間を軽減する技術が提案されている(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−089084号公報
【特許文献2】特開2006−54701号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、前景画像を画像処理する特許文献1では、背景画像の撮影環境に合わせる際に、画像処理により撮影時に意図した画風を損ねる場合がある。したがって、撮影者は前景画像の撮影時に背景画像の撮影環境を予め認識したうえで、撮影を行うことが望まれる。また、特許文献2に記載の方法では、背景画像として使用される画像が屋外で撮影された場合、照明機材の他に太陽が照明光源として存在するため、前景画像を撮影する際に照明機材を位置合わせするだけでは背景画像の撮影環境を再現することは難しい。
【課題を解決するための手段】
【0005】
本発明は上述した課題に鑑みてなされたものであり、屋外で撮影された背景画像の照明状況を前景画像の撮影時に再現できるようにすることを目的とする。
課題を解決するための手段として、画像が撮影された位置と日時を取得する取得手段と、前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする照明を設定するための情報を生成する情報処理装置を提供する。
【発明の効果】
【0006】
本発明によれば、画像の撮影日時、位置に基づいて、照明を制御するための情報を生成するので、屋外で撮影された画像の照明状況を再現することができる。
【図面の簡単な説明】
【0007】
【図1】画像合成装置、照明制御装置のハード構成を示す図である。
【図2】画像合成システムの構成を示す図である。
【図3】撮像装置の機能構成を示す図である。
【図4】画像合成装置の機能構成を示す図である。
【図5】照明制御装置の機能構成を示す図である。
【図6】照明装置の機能構成を示す図である。
【図7】照明装置の概観の一例を示す図である。
【図8】画像合成装置のUIの一例を示す図である。
【図9】照明制御情報生成処理のフローチャートである
【図10】画像情報の一例を示す図である。
【図11】太陽情報の一例を示す図である。
【図12】照明の位置の算出方法を説明する図である。
【図13】照明の高さの出方法を説明する図である。
【図14】画像合成システムの動作を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0009】
<実施形態1>
本実施形態では、スタジオ内で撮像した画像と合成画像の背景となる背景画像との合成を行う画像合成システムについて説明を行う。本実施形態に係る画像合成システムの構成を図2に示す。画像合成システム200は、撮像装置210、画像合成装置220、照明制御装置230、照明装置240により構成される。画像合成システム200は、照明制御装置230に制御される照明装置240の照明下において、撮像装置210が撮像した画像と画像合成装置220が管理する背景画像との合成を行う。また、撮像装置210と画像合成装置220、画像合成装置220と照明制御装置230、照明制御装置230と照明装置240はそれぞれ互いに情報の通信が可能に構成されている。接続の方法は、例えば、USB(Universal Serial Bus)やLAN(Local Area Network)などの有線接続であってもよいし、無線LAN等の無線接続であっても良い。
【0010】
撮像装置210の機能構成を図3に示す。撮像部211は、レンズを介して入射した被写体光を撮像素子により受光し、被写体光を画像データとして生成する。撮影情報取得部212は、撮像装置210に設定されている撮影情報を取得する。ここで、撮影情報とは、絞り値、シャッタースピード、ホワイトバランス等の撮影時に設定可能なパラメータである。送信部213は、撮像部211が撮像した画像や撮影情報取得部212が取得した撮影情報を画像合成装置220に送信する。なお、送信タイミングに関しては画像合成装置220からの指示を受けてからでもよいし、撮像装置210の任意のタイミングで画像合成装置220へ送信してもよい。
【0011】
画像合成装置220の機能構成を図4に示す。UI部221は、ユーザに背景画像の選択、合成画像において前景画像となる撮影した画像の確認、合成位置の指示、合成後の画像の確認を行わせるためのユーザインタフェースを作成し、表示を行う。管理部222は、合成画像の背景となる背景画像を予め記憶し、その管理を行う。なお、本実施形態において、管理部222は、管理している背景画像のそれぞれの画像情報を画像と対応づけて保持している。ここで、画像情報とは撮影日時、撮影位置、撮影方向、撮影時に用いられた撮影情報をいう。
【0012】
送信部223は、管理部222によって管理されている背景画像の画像情報を、照明制御装置230に送信する。受信部224は、撮像装置210から送信された画像や撮影情報を受信する。警告部225は、受信部224が受信した撮像装置210に設定されている撮影情報が適切ではないと判断した場合、撮影情報が適切ではない旨の警告するための情報を生成する。また、撮像した画像の撮影情報と背景画像の撮影情報が異なる場合警告を行う。合成部226は選択された背景画像と撮影された前景画像とを合成し、合成画像を生成する。
【0013】
照明制御装置230の機能構成を図5に示す。受信部231は、画像合成装置220より送信された画像情報を受信する。太陽情報取得部232は、画像情報に基づいて、背景画像が撮影された際の太陽の位置や日射量などを算出する。天候情報取得部233は、画像情報に基づいて、背景画像が撮影された際の天気、雲量等の天候情報を取得する。なお、太陽情報と天候情報のデータベースは照明制御装置230内で管理してもよいし、インターネットを利用するなどして外部装置から取得する構成としても構わない。照明制御情報算出部234は、太陽情報取得部232で算出された太陽情報と、天候情報取得部233で取得した天候情報に基づいて、スタジオ内の照明機材の位置や光量を算出する。そして、算出した照明機材の位置や光量に照明装置240を設定するための照明制御情報を生成する。送信部235は、照明制御情報を照明装置240に送信する。
照明装置240の機能構成を図6に示す。受信部241は、照明制御装置230から送信された照明制御情報を受信する。設定部242は、受信部241で受信した照明制御情報に基づいて、照明部243の位置や光量を設定する。
【0014】
照明部243は、照射位置、角度、光量が設定可能な光源を有する。照明装置240の概観を図7に示す。本実施形態の照明装置240はスタジオ内の天井に配置された太陽光を疑似的に再現する太陽光照明701、図7(b)に示す天井からつりさげ太陽光の向きを疑似的に再現する太陽位置再現照明702から構成される。照明制御情報算出部234によって算出された値に基づいて、光量を変更することができる。また、太陽光照明701はフィルタ有し、フィルタを通した間接光でスタジオを照明することが可能となっている。つまり、曇り等の天候を再現するような照明を行うことが可能である。同様に太陽位置再現照明702も光量の変更とフィルタをかけることが可能となっている。また、太陽位置再現照明702は可動式であり、照明方向、照明角度、照明の高さの調整が可能となっている。つまり、太陽の位置を再現した照明を行うことが出来る。
【0015】
続いて、画像合成装置220、照明制御装置230のハード構成を図1に示す。本実施形態における画像合成装置220、照明制御装置230はそれぞれ単一の情報処理装置で実現される。なお、必要に応じた複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続さる。
【0016】
図1において、101は情報処理装置100全体を制御するCentral Processing Unit(CPU)である。102は後述する各処理や機能構成を実現するためのプログラムやパラメータを格納するRead Only Memory(ROM)である。103は外部装置などから供給されるプログラムやデータを一時記憶し、CPU101のワークメモリとして動作するRandom Access Memory(RAM)である。104は情報処理装置100に設置されたハードディスクやメモリカードなどの外部記憶装置である。ただし、固定あるいは着脱可能な状態でも構わない。例えば、フレキシブルディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ICカード、メモリカードなどであってもよい。105はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス109と接続するための入力デバイスインタフェースである。106は情報処理装置100の保持するデータや供給されたデータを表示するためのモニタ110と接続するためのディスプレイインターフェイスである。107はインターネット111などのネットワーク回線に接続するためのネットワークインタフェイスである。108は101〜107の各ユニットを通信可能に接続するシステムバスである。
【0017】
以上の構成を有する画像合成システム200の動作について説明を行う。画像合成システム200の動作フローを図14に示す。S1401において、画像合成装置220は、ユーザの入力に基づいて、背景画像を選択する。ここで、画像合成装置220のUI部221において、表示するUIの一例を図8に示す。UI部221は画像合成アプリケーションとして動作する。UI部221は、管理部222によって管理される合成対象となる背景画像群を、背景画像群表示領域801に表示する。ユーザは、背景画像群表示領域801から入力デバイス109を用いて合成対象とする背景画像を選択する。画像合成装置220は選択された背景画像の画像情報を管理部222から取得し、送信部223を介して照明制御装置230に送信する。続いて、S1402において、照明制御装置230は、選択されたS1402の背景画像の撮影環境(照明状況)を疑似的に再現するように照明装置240を制御するため、照明制御情報を生成する。ここで、S1402の詳細を図9のフローチャートに示す。
【0018】
S901において、照明制御装置230は、画像合成装置220から送信された背景画像の画像情報を受信部231により受信し、取得する。ここで、背景画像の画像情報とは、撮影日時、撮影位置、撮影方向、情報を含む情報とする。画像情報の一例を図10に示す。図10において、1001は画像情報の種別を示す項目である。図10では、画像情報の項目として、「撮影日時」、「位置」、「撮影方向」がある。1002は項目1001それぞれに対する値を示している。図10の例では、「2010年9月30日12時」に「(北緯35.565445,東経139.681383)の地点で、「70°(方位角)」の向きで撮影された画像の画像情報である。なお、本実施形態では北を0°=360°として、東を90°、南を180°、西を270°として方位を表現する。また、この画像情報は、Exif(Exchangeable Image File Format)データ等の画像情報と画像を共に保持する形式として提供されてもよいし、画像とは異なるデータとして当該画像と関連付けたデータとして提供されていても良い。
【0019】
S902において、太陽情報取得部232は、背景画像の画像情報を基に、背景画像を撮影した際の太陽の位置や日射量という太陽情報を取得する。太陽情報は、日時、位置によって予め求めることができるのでテーブルとして装置が保持していてもよいし、画像情報により装置が算出して求める構成としても良い。本実施形態では、太陽情報として、背景画像の撮影日時および撮影位置での太陽方位、太陽高度、大気外日射量を取得する。図11に太陽情報の一例を示す。1101は、太陽情報の種別の項目を示す。1102は、太陽情報の項目に対する値である。図11に示す例は、図10の画像情報を有する画像が撮影された際の太陽情報である。図11の例では、図10の画像情報有する画像が撮影された日時、位置では「192.21°(方位)」の方角に「50.93°(高度)」の高さで「1058.18(W/m2)」の大気外日射量で太陽が存在することを示している。なお、大気外日射量とは、ある地点上空の大気外において、単位時間、単位面積当たり太陽からのどれだけのエネルギーを受けるかについての値である。
【0020】
次に、S903において、天候情報取得部233は、雲量等の天候情報を取得する。天候情報取得部233は、過去の天候情報を保持した外部装置からインターネット等を介して、背景画像の撮影日時、撮影位置の天候情報を取得する。なお、本実施形態において天候情報は、国際気象通報式で規定された8段階の雲量を含むものとする。
【0021】
S904において、照明制御情報算出部234は、照明装置240の被写体に対する位置を算出する。照明位置の算出方法を図10に示す画像情報および図11に示す天候情報、図12を用いて一例を示す。図12(a)は、背景画像の撮影時の撮像装置と太陽の位置関係を再現し、上空から俯瞰した際の模式図である。図12(a)において、1201は背景画像の撮像面を模式的に表した平面である。1202は背景画像を撮像した撮像装置の撮像面に対する位置である。位置1202は、背景画像撮影時の撮像装置の向きが70°であるので、180°を足した250°(方位)となる。1203は、太陽情報から求めた太陽の位置である。ここで、撮像面1201に対する太陽光は
背景画像を撮像した撮像装置の方位(250°)−太陽方位(192.21°)=57.79° (1)
から入射される。したがって、スタジオ内で被照明物である被写体への太陽光入射角度を再現させるためには、被写体1204と撮像装置210を結んだ線分に対して57.79度の位置に太陽位置再現照明702を配置すればよいことになる。なお、角度は被写体を中心として半時計回りを正とする。図12(b)は、スタジオで算出した照明装置の位置を設定した際の被写体と撮像装置とを併せて示した図である。太陽位置再現照明702を被写体に対して図のように位置させることで、背景画像撮影時の被写体に対する太陽との位置関係を再現することが出来る。
【0022】
次に高さの算出方法について図13を用いて説明する。スタジオでの照明装置と被写体の距離をD(m)、太陽高度をθ(°)、照明装置のスタジオの床からの高さをH(m)とすると、
H=D×tan(θ) (2)
としてHを求めることが出来る。D=3、図10および図11に示す値を用いて、Hを求めるとすると、
3×tan(50.93°)≒3.7mとなる。したがって、太陽位置再現照明702の位置は、高さが床面から3.7mの高さ、被写体とカメラを結んだ線分に対して57.79°に配置すればよいこととなる。このように背景画像の画像情報や撮影時の天候情報に基づいて、照明装置の高さや被写体に対して水平面での照明装置の位置を算出することで、背景画像の照明状況を再現することができる。
【0023】
続く、S905において、照明制御情報算出部234は、照明装置の光量、フィルタ量を算出する。ここで、照明装置240の最大出力光量L、背景画像の撮影時、撮影場所の大気外日射量をP、地球大気表面の単位面積に垂直に入射する太陽のエネルギー量(太陽定数)をWとする。照明装置240の光量Xは、
X=L×P/W (3)
として求めることができる。つまり、スタジオ内での最大出力光量を太陽定数と擬制することで、撮影時、撮影場所の光量を疑似的に再現する。なお、照明装置240の最大出力光量Lは撮影者の意図した画風を反映させるため、撮影者の入力により設定する構成としても良い。
【0024】
続いて、フィルタ量について以下で説明する。フィルタ量は、取得した背景画像撮影時の天候情報である雲量を用いて決定する。雲量は国際気象通報式で8段階規定されている。ここで、雲量をC、スタジオで設定できる最大フィルタ量をQとすると、雲によって妨げられる日射を再現するためのフィルタ量Yは、
Y=Q×C/8 (4)
として求めるとする。フィルタを雲と擬制することで、背景画像撮影時の天候を疑似的に再現する。上述のように、背景画像の太陽情報と天候情報を用いて照明装置の位置、光量、フィルタ量を規定することで、背景画像撮影時の撮影環境をスタジオ内で再現することが出来る。
【0025】
続いて、S906において、照明制御情報算出部234は、S904、S905において決定した照明装置240の位置や光量を照明制御情報として生成し、送信部235を介して照明装置240に通知する。以上で、S1402における処理を終了する。
【0026】
続いて、図14に戻り、S1403において、照明装置240は、生成された照明制御情報に基づいて、照明部243を設定する。受信部241は、照明制御装置230から送信された照明制御情報を受信し、設定部242は照明制御情報に基づいて照明部243の光量、位置、フィルタ量等を設定する。S1404において、撮影者は設定された照明装置240の照明の下、合成画像の前景画像となる被写体の撮影を行う。ここで、撮影情報取得部212は、設定されている絞り、シャッタースピード等の撮影情報を取得し、送信部213を介して、画像合成装置220に送信する。画像合成装置220の警告部225は、背景画像の撮影情報と取得した撮像装置210に設定されている撮影情報が異なっているかを判断する。背景画像の撮影情報と取得した撮像装置210に設定されている撮影情報が異なっている場合、警告メッセージを生成して、撮像装置210に通知を行う。撮影者は、警告メッセージを参照することで、背景画像が撮影された撮影情報に設定しなおすことが出来るので、合成時により違和感をより少なくすることが出来る。
【0027】
S1405において、撮像装置210は、前記画像を撮影した場合、撮影した画像データを送信部を介して、画像合成装置220に送信する。画像合成装置220の受信部224は、画像データを受信するとUI部221に受信した画像データを渡し、S1401において選択された背景画像と合成を行う。図8において、撮像装置210で撮影された合成対象となる前景画像データは、前景画像表示領域804に表示される。ユーザは前景画像表示領域804から背景画像と合成を行う画像の選択を行う。なお、図8の802は、撮影情報表示部であり、背景画像の撮影情報と撮像装置210の設定が表示されている。警告部225は、背景画像の撮影情報と撮像装置210の設定が異なっている場合、警告メッセージを警告表示領域803に表示する。このように、画像合成装置を操作するオペレータに対して警告を行うことで、背景画像と撮影情報が一致した前景画像を用いた合成画像を生成することができる。したがって、より合成時の違和感を低減することが可能となる。
合成部226は、背景画像群表示領域801で選択された背景画像と、前景画像表示領域804で選択された前景画像の合成画像を生成し、UI部221は図8の合成画像表示領域805に生成した画像を表示する。そして、画像合成システム200は処理を終了する。
【0028】
以上説明したように、本実施形態では、背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現するので、撮影した画像を背景画像に合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。
【0029】
<実施形態2>
実施形態1では、スタジオ内の照明装置は、光量、位置が制御可能な構成として説明を行った。しかしながら、スタジオで使用される照明装置は必ずしも光量、位置が制御可能な構成とは限らない。実施形態2では、照明制御情報の少なくとも一部をユーザに通知し、ユーザが照明装置の光量、位置を設定する形態について説明を行う。
【0030】
実施形態1と異なる点について詳細に説明を行う。本実施形態において、照明装置240の設定部242はユーザの入力により光量を設定できるとする。また、照明装置240は照明制御装置230と接続されておらず、本実施形態において、受信部241は無いものとする。さらに、照明装置240の太陽位置再現照明702は可動式であるものの、照明方向、照明角度、照明の高さの調整は手動で設定可能となっている。
本実施形態における図9に示す照明制御情報生成処理について説明を行う。S906において、算出された照明制御情報は送信部235を介して、画像合成装置220に送信を行う。画像合成装置220は受信した照明制御情報をUI部221において表示し、ユーザに対して通知する。
S1403において、ユーザはUI部221を介して通知された照明制御情報を設定部242に入力し光量を照明装置240の光量を設定する。また、ユーザは照明制御情報として通知された被写体に対する照明装置の位置に基づいて、照明装置240を移動して照明方向、照明角度、照明の高さを設定する。
【0031】
なお、照明装置240の光量、照明方向、照明角度、照明の高さ等の少なくとも一部が実施形態1のように照明制御情報により自動で制御可能である場合は手動で設定しなければならない情報のみユーザに通知する構成としてもよい。
【0032】
以上、説明したように本実施形態では背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現できるように、照明制御情報をユーザに対して通知を行う。したがって、ユーザは通知された照明制御情報に基づき、照明装置の光量、位置を設定し、撮影を行えば撮影された画像と背景画像を合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。
【0033】
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0034】
230 照明制御装置
231 受信部
232 太陽情報取得部
233 天候情報所得部
234 照明制御情報算出部
【技術分野】
【0001】
本発明は、照明を制御する技術に関する。
【背景技術】
【0002】
従来、事前に撮影した背景画像と、例えばスタジオで人などの被写体を撮影した前景画像を合成するクロマキー合成技術がある。このような画像合成を行う際に、背景画像と前景画像の撮影環境が異なるために合成結果が不自然になる場合がある。この合成結果が不自然になることを低減する技術として、背景画像の解析を行い、その解析結果に基づいて前景画像を画像処理する技術が提案されている(特許文献1)。また、スタジオ内で撮影する際に照明機材の位置を画像データと同時に管理することで次回撮影時の照明機材の位置合わせの手間を軽減する技術が提案されている(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−089084号公報
【特許文献2】特開2006−54701号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、前景画像を画像処理する特許文献1では、背景画像の撮影環境に合わせる際に、画像処理により撮影時に意図した画風を損ねる場合がある。したがって、撮影者は前景画像の撮影時に背景画像の撮影環境を予め認識したうえで、撮影を行うことが望まれる。また、特許文献2に記載の方法では、背景画像として使用される画像が屋外で撮影された場合、照明機材の他に太陽が照明光源として存在するため、前景画像を撮影する際に照明機材を位置合わせするだけでは背景画像の撮影環境を再現することは難しい。
【課題を解決するための手段】
【0005】
本発明は上述した課題に鑑みてなされたものであり、屋外で撮影された背景画像の照明状況を前景画像の撮影時に再現できるようにすることを目的とする。
課題を解決するための手段として、画像が撮影された位置と日時を取得する取得手段と、前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする照明を設定するための情報を生成する情報処理装置を提供する。
【発明の効果】
【0006】
本発明によれば、画像の撮影日時、位置に基づいて、照明を制御するための情報を生成するので、屋外で撮影された画像の照明状況を再現することができる。
【図面の簡単な説明】
【0007】
【図1】画像合成装置、照明制御装置のハード構成を示す図である。
【図2】画像合成システムの構成を示す図である。
【図3】撮像装置の機能構成を示す図である。
【図4】画像合成装置の機能構成を示す図である。
【図5】照明制御装置の機能構成を示す図である。
【図6】照明装置の機能構成を示す図である。
【図7】照明装置の概観の一例を示す図である。
【図8】画像合成装置のUIの一例を示す図である。
【図9】照明制御情報生成処理のフローチャートである
【図10】画像情報の一例を示す図である。
【図11】太陽情報の一例を示す図である。
【図12】照明の位置の算出方法を説明する図である。
【図13】照明の高さの出方法を説明する図である。
【図14】画像合成システムの動作を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0009】
<実施形態1>
本実施形態では、スタジオ内で撮像した画像と合成画像の背景となる背景画像との合成を行う画像合成システムについて説明を行う。本実施形態に係る画像合成システムの構成を図2に示す。画像合成システム200は、撮像装置210、画像合成装置220、照明制御装置230、照明装置240により構成される。画像合成システム200は、照明制御装置230に制御される照明装置240の照明下において、撮像装置210が撮像した画像と画像合成装置220が管理する背景画像との合成を行う。また、撮像装置210と画像合成装置220、画像合成装置220と照明制御装置230、照明制御装置230と照明装置240はそれぞれ互いに情報の通信が可能に構成されている。接続の方法は、例えば、USB(Universal Serial Bus)やLAN(Local Area Network)などの有線接続であってもよいし、無線LAN等の無線接続であっても良い。
【0010】
撮像装置210の機能構成を図3に示す。撮像部211は、レンズを介して入射した被写体光を撮像素子により受光し、被写体光を画像データとして生成する。撮影情報取得部212は、撮像装置210に設定されている撮影情報を取得する。ここで、撮影情報とは、絞り値、シャッタースピード、ホワイトバランス等の撮影時に設定可能なパラメータである。送信部213は、撮像部211が撮像した画像や撮影情報取得部212が取得した撮影情報を画像合成装置220に送信する。なお、送信タイミングに関しては画像合成装置220からの指示を受けてからでもよいし、撮像装置210の任意のタイミングで画像合成装置220へ送信してもよい。
【0011】
画像合成装置220の機能構成を図4に示す。UI部221は、ユーザに背景画像の選択、合成画像において前景画像となる撮影した画像の確認、合成位置の指示、合成後の画像の確認を行わせるためのユーザインタフェースを作成し、表示を行う。管理部222は、合成画像の背景となる背景画像を予め記憶し、その管理を行う。なお、本実施形態において、管理部222は、管理している背景画像のそれぞれの画像情報を画像と対応づけて保持している。ここで、画像情報とは撮影日時、撮影位置、撮影方向、撮影時に用いられた撮影情報をいう。
【0012】
送信部223は、管理部222によって管理されている背景画像の画像情報を、照明制御装置230に送信する。受信部224は、撮像装置210から送信された画像や撮影情報を受信する。警告部225は、受信部224が受信した撮像装置210に設定されている撮影情報が適切ではないと判断した場合、撮影情報が適切ではない旨の警告するための情報を生成する。また、撮像した画像の撮影情報と背景画像の撮影情報が異なる場合警告を行う。合成部226は選択された背景画像と撮影された前景画像とを合成し、合成画像を生成する。
【0013】
照明制御装置230の機能構成を図5に示す。受信部231は、画像合成装置220より送信された画像情報を受信する。太陽情報取得部232は、画像情報に基づいて、背景画像が撮影された際の太陽の位置や日射量などを算出する。天候情報取得部233は、画像情報に基づいて、背景画像が撮影された際の天気、雲量等の天候情報を取得する。なお、太陽情報と天候情報のデータベースは照明制御装置230内で管理してもよいし、インターネットを利用するなどして外部装置から取得する構成としても構わない。照明制御情報算出部234は、太陽情報取得部232で算出された太陽情報と、天候情報取得部233で取得した天候情報に基づいて、スタジオ内の照明機材の位置や光量を算出する。そして、算出した照明機材の位置や光量に照明装置240を設定するための照明制御情報を生成する。送信部235は、照明制御情報を照明装置240に送信する。
照明装置240の機能構成を図6に示す。受信部241は、照明制御装置230から送信された照明制御情報を受信する。設定部242は、受信部241で受信した照明制御情報に基づいて、照明部243の位置や光量を設定する。
【0014】
照明部243は、照射位置、角度、光量が設定可能な光源を有する。照明装置240の概観を図7に示す。本実施形態の照明装置240はスタジオ内の天井に配置された太陽光を疑似的に再現する太陽光照明701、図7(b)に示す天井からつりさげ太陽光の向きを疑似的に再現する太陽位置再現照明702から構成される。照明制御情報算出部234によって算出された値に基づいて、光量を変更することができる。また、太陽光照明701はフィルタ有し、フィルタを通した間接光でスタジオを照明することが可能となっている。つまり、曇り等の天候を再現するような照明を行うことが可能である。同様に太陽位置再現照明702も光量の変更とフィルタをかけることが可能となっている。また、太陽位置再現照明702は可動式であり、照明方向、照明角度、照明の高さの調整が可能となっている。つまり、太陽の位置を再現した照明を行うことが出来る。
【0015】
続いて、画像合成装置220、照明制御装置230のハード構成を図1に示す。本実施形態における画像合成装置220、照明制御装置230はそれぞれ単一の情報処理装置で実現される。なお、必要に応じた複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続さる。
【0016】
図1において、101は情報処理装置100全体を制御するCentral Processing Unit(CPU)である。102は後述する各処理や機能構成を実現するためのプログラムやパラメータを格納するRead Only Memory(ROM)である。103は外部装置などから供給されるプログラムやデータを一時記憶し、CPU101のワークメモリとして動作するRandom Access Memory(RAM)である。104は情報処理装置100に設置されたハードディスクやメモリカードなどの外部記憶装置である。ただし、固定あるいは着脱可能な状態でも構わない。例えば、フレキシブルディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ICカード、メモリカードなどであってもよい。105はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス109と接続するための入力デバイスインタフェースである。106は情報処理装置100の保持するデータや供給されたデータを表示するためのモニタ110と接続するためのディスプレイインターフェイスである。107はインターネット111などのネットワーク回線に接続するためのネットワークインタフェイスである。108は101〜107の各ユニットを通信可能に接続するシステムバスである。
【0017】
以上の構成を有する画像合成システム200の動作について説明を行う。画像合成システム200の動作フローを図14に示す。S1401において、画像合成装置220は、ユーザの入力に基づいて、背景画像を選択する。ここで、画像合成装置220のUI部221において、表示するUIの一例を図8に示す。UI部221は画像合成アプリケーションとして動作する。UI部221は、管理部222によって管理される合成対象となる背景画像群を、背景画像群表示領域801に表示する。ユーザは、背景画像群表示領域801から入力デバイス109を用いて合成対象とする背景画像を選択する。画像合成装置220は選択された背景画像の画像情報を管理部222から取得し、送信部223を介して照明制御装置230に送信する。続いて、S1402において、照明制御装置230は、選択されたS1402の背景画像の撮影環境(照明状況)を疑似的に再現するように照明装置240を制御するため、照明制御情報を生成する。ここで、S1402の詳細を図9のフローチャートに示す。
【0018】
S901において、照明制御装置230は、画像合成装置220から送信された背景画像の画像情報を受信部231により受信し、取得する。ここで、背景画像の画像情報とは、撮影日時、撮影位置、撮影方向、情報を含む情報とする。画像情報の一例を図10に示す。図10において、1001は画像情報の種別を示す項目である。図10では、画像情報の項目として、「撮影日時」、「位置」、「撮影方向」がある。1002は項目1001それぞれに対する値を示している。図10の例では、「2010年9月30日12時」に「(北緯35.565445,東経139.681383)の地点で、「70°(方位角)」の向きで撮影された画像の画像情報である。なお、本実施形態では北を0°=360°として、東を90°、南を180°、西を270°として方位を表現する。また、この画像情報は、Exif(Exchangeable Image File Format)データ等の画像情報と画像を共に保持する形式として提供されてもよいし、画像とは異なるデータとして当該画像と関連付けたデータとして提供されていても良い。
【0019】
S902において、太陽情報取得部232は、背景画像の画像情報を基に、背景画像を撮影した際の太陽の位置や日射量という太陽情報を取得する。太陽情報は、日時、位置によって予め求めることができるのでテーブルとして装置が保持していてもよいし、画像情報により装置が算出して求める構成としても良い。本実施形態では、太陽情報として、背景画像の撮影日時および撮影位置での太陽方位、太陽高度、大気外日射量を取得する。図11に太陽情報の一例を示す。1101は、太陽情報の種別の項目を示す。1102は、太陽情報の項目に対する値である。図11に示す例は、図10の画像情報を有する画像が撮影された際の太陽情報である。図11の例では、図10の画像情報有する画像が撮影された日時、位置では「192.21°(方位)」の方角に「50.93°(高度)」の高さで「1058.18(W/m2)」の大気外日射量で太陽が存在することを示している。なお、大気外日射量とは、ある地点上空の大気外において、単位時間、単位面積当たり太陽からのどれだけのエネルギーを受けるかについての値である。
【0020】
次に、S903において、天候情報取得部233は、雲量等の天候情報を取得する。天候情報取得部233は、過去の天候情報を保持した外部装置からインターネット等を介して、背景画像の撮影日時、撮影位置の天候情報を取得する。なお、本実施形態において天候情報は、国際気象通報式で規定された8段階の雲量を含むものとする。
【0021】
S904において、照明制御情報算出部234は、照明装置240の被写体に対する位置を算出する。照明位置の算出方法を図10に示す画像情報および図11に示す天候情報、図12を用いて一例を示す。図12(a)は、背景画像の撮影時の撮像装置と太陽の位置関係を再現し、上空から俯瞰した際の模式図である。図12(a)において、1201は背景画像の撮像面を模式的に表した平面である。1202は背景画像を撮像した撮像装置の撮像面に対する位置である。位置1202は、背景画像撮影時の撮像装置の向きが70°であるので、180°を足した250°(方位)となる。1203は、太陽情報から求めた太陽の位置である。ここで、撮像面1201に対する太陽光は
背景画像を撮像した撮像装置の方位(250°)−太陽方位(192.21°)=57.79° (1)
から入射される。したがって、スタジオ内で被照明物である被写体への太陽光入射角度を再現させるためには、被写体1204と撮像装置210を結んだ線分に対して57.79度の位置に太陽位置再現照明702を配置すればよいことになる。なお、角度は被写体を中心として半時計回りを正とする。図12(b)は、スタジオで算出した照明装置の位置を設定した際の被写体と撮像装置とを併せて示した図である。太陽位置再現照明702を被写体に対して図のように位置させることで、背景画像撮影時の被写体に対する太陽との位置関係を再現することが出来る。
【0022】
次に高さの算出方法について図13を用いて説明する。スタジオでの照明装置と被写体の距離をD(m)、太陽高度をθ(°)、照明装置のスタジオの床からの高さをH(m)とすると、
H=D×tan(θ) (2)
としてHを求めることが出来る。D=3、図10および図11に示す値を用いて、Hを求めるとすると、
3×tan(50.93°)≒3.7mとなる。したがって、太陽位置再現照明702の位置は、高さが床面から3.7mの高さ、被写体とカメラを結んだ線分に対して57.79°に配置すればよいこととなる。このように背景画像の画像情報や撮影時の天候情報に基づいて、照明装置の高さや被写体に対して水平面での照明装置の位置を算出することで、背景画像の照明状況を再現することができる。
【0023】
続く、S905において、照明制御情報算出部234は、照明装置の光量、フィルタ量を算出する。ここで、照明装置240の最大出力光量L、背景画像の撮影時、撮影場所の大気外日射量をP、地球大気表面の単位面積に垂直に入射する太陽のエネルギー量(太陽定数)をWとする。照明装置240の光量Xは、
X=L×P/W (3)
として求めることができる。つまり、スタジオ内での最大出力光量を太陽定数と擬制することで、撮影時、撮影場所の光量を疑似的に再現する。なお、照明装置240の最大出力光量Lは撮影者の意図した画風を反映させるため、撮影者の入力により設定する構成としても良い。
【0024】
続いて、フィルタ量について以下で説明する。フィルタ量は、取得した背景画像撮影時の天候情報である雲量を用いて決定する。雲量は国際気象通報式で8段階規定されている。ここで、雲量をC、スタジオで設定できる最大フィルタ量をQとすると、雲によって妨げられる日射を再現するためのフィルタ量Yは、
Y=Q×C/8 (4)
として求めるとする。フィルタを雲と擬制することで、背景画像撮影時の天候を疑似的に再現する。上述のように、背景画像の太陽情報と天候情報を用いて照明装置の位置、光量、フィルタ量を規定することで、背景画像撮影時の撮影環境をスタジオ内で再現することが出来る。
【0025】
続いて、S906において、照明制御情報算出部234は、S904、S905において決定した照明装置240の位置や光量を照明制御情報として生成し、送信部235を介して照明装置240に通知する。以上で、S1402における処理を終了する。
【0026】
続いて、図14に戻り、S1403において、照明装置240は、生成された照明制御情報に基づいて、照明部243を設定する。受信部241は、照明制御装置230から送信された照明制御情報を受信し、設定部242は照明制御情報に基づいて照明部243の光量、位置、フィルタ量等を設定する。S1404において、撮影者は設定された照明装置240の照明の下、合成画像の前景画像となる被写体の撮影を行う。ここで、撮影情報取得部212は、設定されている絞り、シャッタースピード等の撮影情報を取得し、送信部213を介して、画像合成装置220に送信する。画像合成装置220の警告部225は、背景画像の撮影情報と取得した撮像装置210に設定されている撮影情報が異なっているかを判断する。背景画像の撮影情報と取得した撮像装置210に設定されている撮影情報が異なっている場合、警告メッセージを生成して、撮像装置210に通知を行う。撮影者は、警告メッセージを参照することで、背景画像が撮影された撮影情報に設定しなおすことが出来るので、合成時により違和感をより少なくすることが出来る。
【0027】
S1405において、撮像装置210は、前記画像を撮影した場合、撮影した画像データを送信部を介して、画像合成装置220に送信する。画像合成装置220の受信部224は、画像データを受信するとUI部221に受信した画像データを渡し、S1401において選択された背景画像と合成を行う。図8において、撮像装置210で撮影された合成対象となる前景画像データは、前景画像表示領域804に表示される。ユーザは前景画像表示領域804から背景画像と合成を行う画像の選択を行う。なお、図8の802は、撮影情報表示部であり、背景画像の撮影情報と撮像装置210の設定が表示されている。警告部225は、背景画像の撮影情報と撮像装置210の設定が異なっている場合、警告メッセージを警告表示領域803に表示する。このように、画像合成装置を操作するオペレータに対して警告を行うことで、背景画像と撮影情報が一致した前景画像を用いた合成画像を生成することができる。したがって、より合成時の違和感を低減することが可能となる。
合成部226は、背景画像群表示領域801で選択された背景画像と、前景画像表示領域804で選択された前景画像の合成画像を生成し、UI部221は図8の合成画像表示領域805に生成した画像を表示する。そして、画像合成システム200は処理を終了する。
【0028】
以上説明したように、本実施形態では、背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現するので、撮影した画像を背景画像に合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。
【0029】
<実施形態2>
実施形態1では、スタジオ内の照明装置は、光量、位置が制御可能な構成として説明を行った。しかしながら、スタジオで使用される照明装置は必ずしも光量、位置が制御可能な構成とは限らない。実施形態2では、照明制御情報の少なくとも一部をユーザに通知し、ユーザが照明装置の光量、位置を設定する形態について説明を行う。
【0030】
実施形態1と異なる点について詳細に説明を行う。本実施形態において、照明装置240の設定部242はユーザの入力により光量を設定できるとする。また、照明装置240は照明制御装置230と接続されておらず、本実施形態において、受信部241は無いものとする。さらに、照明装置240の太陽位置再現照明702は可動式であるものの、照明方向、照明角度、照明の高さの調整は手動で設定可能となっている。
本実施形態における図9に示す照明制御情報生成処理について説明を行う。S906において、算出された照明制御情報は送信部235を介して、画像合成装置220に送信を行う。画像合成装置220は受信した照明制御情報をUI部221において表示し、ユーザに対して通知する。
S1403において、ユーザはUI部221を介して通知された照明制御情報を設定部242に入力し光量を照明装置240の光量を設定する。また、ユーザは照明制御情報として通知された被写体に対する照明装置の位置に基づいて、照明装置240を移動して照明方向、照明角度、照明の高さを設定する。
【0031】
なお、照明装置240の光量、照明方向、照明角度、照明の高さ等の少なくとも一部が実施形態1のように照明制御情報により自動で制御可能である場合は手動で設定しなければならない情報のみユーザに通知する構成としてもよい。
【0032】
以上、説明したように本実施形態では背景画像の撮影日時、撮影場所での照明状況をスタジオ内で再現できるように、照明制御情報をユーザに対して通知を行う。したがって、ユーザは通知された照明制御情報に基づき、照明装置の光量、位置を設定し、撮影を行えば撮影された画像と背景画像を合成しても違和感が低減される。また、違和感を低減するための画像処理を行う必要がないため、撮影者が意図した画風を損なうことなく合成を行うことが出来る。
【0033】
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0034】
230 照明制御装置
231 受信部
232 太陽情報取得部
233 天候情報所得部
234 照明制御情報算出部
【特許請求の範囲】
【請求項1】
照明を設定するための情報を生成する情報処理装置であって、
画像が撮影された位置と日時を取得する取得手段と、
前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする情報処理装置。
【請求項2】
前記情報は、前記照明の位置、光量に関する情報であることを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記取得手段が取得した位置および日時の太陽の位置を取得する太陽の情報の取得手段を有し
前記生成手段は、前記太陽の情報の取得手段により取得した太陽の位置に基づいて、前記照明の位置に関する情報を生成することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記取得手段が取得した位置および日時の雲量を取得する雲量の取得手段を有し、
前記生成手段は、前記雲量に基づいて、前記照明のフィルタ量に関する情報を生成することを特徴とする請求項1乃至3何れか1項に記載の照明制御装置。
【請求項5】
前記生成手段は、前記画像の被写体と前記画像の被写体に対する太陽との位置関係に基づき、前記照明の位置に関する情報を生成することを特徴とする請求項3に記載の照明制御装置。
【請求項6】
前記取得手段は更に前記画像を撮像した撮像装置の前記画像を撮像した際の向きを取得し、
前記画像の被写体と前記画像の被写体に対する太陽との位置関係を取得する位置関係の取得手段を有することを請求項5に記載の照明制御装置。
【請求項7】
前記生成手段によって生成された情報のうち少なくとも一部を用いて前記照明を制御する制御手段を更に有することを特徴とする請求項1乃至6何れか1項に記載の情報処理装置。
【請求項8】
前記生成手段によって生成された情報のうち少なくとも一部をユーザに通知する通知手段を更に有することを特徴とする請求項1乃至7何れか1項に記載の情報処理装置。
【請求項9】
前記画像は合成に用いられる背景画像であることを特徴とする請求項1乃至8何れか1項に記載の情報処理装置。
【請求項10】
照明を設定するための情報を生成する情報処理方法であって、
画像が撮影された位置と日時を取得する取得工程と、
前記取得工程により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成工程とを有することを特徴とする情報処理方法。
【請求項11】
画像が撮影された位置と日時を取得する取得ステップと、
前記取得ステップにより取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成ステップとを情報処理装置に動作させるためのプログラム。
【請求項1】
照明を設定するための情報を生成する情報処理装置であって、
画像が撮影された位置と日時を取得する取得手段と、
前記取得手段により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成手段とを有することを特徴とする情報処理装置。
【請求項2】
前記情報は、前記照明の位置、光量に関する情報であることを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記取得手段が取得した位置および日時の太陽の位置を取得する太陽の情報の取得手段を有し
前記生成手段は、前記太陽の情報の取得手段により取得した太陽の位置に基づいて、前記照明の位置に関する情報を生成することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記取得手段が取得した位置および日時の雲量を取得する雲量の取得手段を有し、
前記生成手段は、前記雲量に基づいて、前記照明のフィルタ量に関する情報を生成することを特徴とする請求項1乃至3何れか1項に記載の照明制御装置。
【請求項5】
前記生成手段は、前記画像の被写体と前記画像の被写体に対する太陽との位置関係に基づき、前記照明の位置に関する情報を生成することを特徴とする請求項3に記載の照明制御装置。
【請求項6】
前記取得手段は更に前記画像を撮像した撮像装置の前記画像を撮像した際の向きを取得し、
前記画像の被写体と前記画像の被写体に対する太陽との位置関係を取得する位置関係の取得手段を有することを請求項5に記載の照明制御装置。
【請求項7】
前記生成手段によって生成された情報のうち少なくとも一部を用いて前記照明を制御する制御手段を更に有することを特徴とする請求項1乃至6何れか1項に記載の情報処理装置。
【請求項8】
前記生成手段によって生成された情報のうち少なくとも一部をユーザに通知する通知手段を更に有することを特徴とする請求項1乃至7何れか1項に記載の情報処理装置。
【請求項9】
前記画像は合成に用いられる背景画像であることを特徴とする請求項1乃至8何れか1項に記載の情報処理装置。
【請求項10】
照明を設定するための情報を生成する情報処理方法であって、
画像が撮影された位置と日時を取得する取得工程と、
前記取得工程により取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成工程とを有することを特徴とする情報処理方法。
【請求項11】
画像が撮影された位置と日時を取得する取得ステップと、
前記取得ステップにより取得した位置と日時に基づいて、前記照明を設定するための情報を生成する生成ステップとを情報処理装置に動作させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−175128(P2012−175128A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−31840(P2011−31840)
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]