説明

画像輝度自動補正装置およびそれを備えた高速度撮影装置

【課題】フラッシュ照明を用いた高速度撮影時に、光源の輝度レベル変動に合わせて取得画像の輝度レベルを画像撮影後に自動的に適切な輝度レベルへと補正する画像輝度自動補正装置を提供する。
【解決手段】画像輝度自動補正装置5は演算部52と補正係数記録部53を備える。演算部52が第1のフラッシュ照明で撮影された映像の各フレームの全ピクセルの平均輝度値を算出し、各フレームの平均輝度値から各フレームの補正係数を算出する。補正係数記録部53は演算部52が算出した各フレームの補正係数を記録する。演算部52が、第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームを補正係数記録部53に記録された各フレームの補正係数で補正した映像を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は高速度撮影装置でのストロボ光源を用いた撮影において、照明光源の輝度変化を測定し、これを基に撮影画像の輝度を自動的に補正する装置およびこの装置を備えた高速度撮影装置に関する。
【背景技術】
【0002】
従来、高速な現象を撮影する際には、一般的な撮像装置よりも高速度で撮影できる高速度撮影装置が用いられる。高速度撮影においては、1フレームあたりの露光時間が撮影速度に比例して減少するため、十分な照明がないと撮影画像は暗くなってしまう。そのため、撮影速度が数万fps(frames per second)を超えるような超高速度撮影の場合にはストロボ光源が用いられることも多い。ところが、ストロボ光源は図1に示すように、発光開始から徐々に輝度が増加していき、最高輝度に達すると少しずつ輝度が減少していく、という発光特性を持つため、常に同じ明るさで照明することができない。例えば、発光時間(最大輝度から半分以上の輝度である時間とする)が1msのストロボ照明を用いるとすると、撮影速度を10万fpsにすると発光時間は100フレーム分に相当する。この100フレームそれぞれでフラッシュ光源に照らされた被写体の明るさが変化してしまう。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特公平6−71319号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本来、ストロボ照明は写真撮影に使用されているものであり、シャッター速度に比べてストロボ照明の発光の時間変化ははるかに短く、発せられた全ての光が1枚の画像に利用されるため、図2(a)に示すように発光特性があっても問題にならない。
【0005】
ところが、高速度撮影の際には撮影速度によっては1フレームの露光時間が発光時間に対して十分短くなるため、図2(b)に示すようにストロボ照明の発光特性によって照明光量もフレーム毎に変化し、均一な輝度の照明を用いたときと同様な撮影ができない。特許文献1のように、フレーム毎の映像信号から輝度変化を検出し、固体撮像素子の電子シャッター機能を用い露光時間を自動制御するものは既にあるが、ストロボ照明での高速度撮影を行うような場合は処理時間が追いつかなくなる可能性がある。また、被写体が高速で移動する場合などは露光時間によっては動きボケがでることがあるが、フレーム毎に露光時間を変化させると動きボケの量もそれに合わせて変化するため、映像としてみると不自然なものになってしまう可能性もある。
【0006】
そのため、これまでは輝度変化を受け入れてそのまま撮影することが多かった。
【0007】
本発明は、上記課題に鑑みなされたものであって、光源の輝度レベル変動に合わせて取得画像の輝度レベルを画像撮影後に自動的に適切な輝度レベルへと補正する装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【0009】
(1)本発明は、第1のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、前記各フレームの平均輝度値から各フレームの補正係数を算出し、前記第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームの画像データと前記各フレームの補正係数を用いて補正済み画像データを生成する演算部と、前記演算部が算出した各フレームの補正係数を記録する補正係数記録部を備える画像輝度自動補正装置である。
【0010】
(2)上記(1)において、前記演算部は、前記第1のフラッシュ照明で撮影された映像の各フレームの画像データから補正係数を算出するのに代えて、前記第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームの平均輝度値から各フレームの補正係数を算出し、前記第1のフラッシュ照明で撮影された映像の各フレームの画像データと該各フレームの補正係数を用いて補正済み画像データを生成する。
【0011】
(3)上記(1)または(2)において、前記補正係数は、[1/各フレームの平均輝度値]に比例する値であって、前記演算部は各フレームの画像データに該補正係数を乗算して補正済み画像データを生成する。
【0012】
(4)上記(3)において、前記演算部は、各フレームの平均輝度値および全フレームの平均輝度値を算出し、前記各フレームの平均輝度値および前記全フレームの平均輝度値から各フレームの補正係数を算出し、前記補正係数は、[全フレームの平均輝度値/各フレームの平均輝度値]である。
【0013】
(5)上記(1)〜(4)において、前記演算部は、各フレームの全ピクセルの輝度値を平均することにより各フレームの平均輝度値を算出する。
【0014】
(6)上記(1)〜(5)のいずれかの画像輝度自動補正装置を備えた高速度撮影装置である。
【発明の効果】
【0015】
本発明はフラッシュ照明が必要な高速度撮影において、フラッシュ照明の持つ発光特性を事前に測定しておき、撮影後の画像を自動で補正することで、あたかも輝度一定の強力な照明を用いて撮影を行ったような画像を得られるようにする装置を提供するものである。
【図面の簡単な説明】
【0016】
【図1】ストロボ光源の発光時間特性例を示す図である。
【図2】写真の場合と高速度撮影での露光時間の違いを示す図である。
【図3】本発明の実施形態の輝度補正のイメージを示す図である。
【図4】本発明の実施例の高速度撮影装置を示す図である。
【図5】本発明の実施例の画像輝度自動調整装置のブロック図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態を図を用いて説明する。
【0018】
図3は本発明の実施形態の輝度補正のイメージを示す図である。図3(a)はストロボ照明を被写体の無い背景に対して発光させて撮影したときの各フレームの平均輝度の時間変化を示す図、図3(b)はストロボ照明で被写体があるときに撮影したときの各フレームの平均輝度の時間変化を示す図、図3(c)はストロボ照明の輝度の時間変化より計算した補正係数を示す図、図3(d)はストロボ並に強力で、その発光強度が変化しない均一な照明があるとして、その照明を用いて撮影したときの各フレームの平均輝度の時間変化を示す図である。
【0019】
被写体の無い背景に対してストロボを発光させ、それを高速度撮影した映像が図3(a)のような輝度変化をしたとする。この映像から計算される補正係数を時間に対してプロットしたものは図3(c)のグラフとなる。すなわち、まず、例えば被写体無しの状態でストロボだけ発光させて撮影すると、図3(a)のような輝度変化にしたがって各フレームの明るさが変化した映像が得られる。その映像より各フレームの画面の平均輝度値を計算(検出)するとともに全フレームについての平均輝度値を求め、各フレーム平均輝度値および全フレームの平均輝度値から各フレームの補正係数を計算して記録する。このようにして記録された補正係数が図3(c)に示す補正係数である。
【0020】
次に、例えば高速で移動する被写体をストロボを使って撮影すると図3(b)のような輝度変化を持つ映像が得られる。この図は、途中で被写体の反射などにより一時的に輝度が上がっている様子を示している。この映像の各フレームの画像データと記録されている補正係数を掛け合わせると、図3(d)に示すような均一な照明で撮影したときの輝度変化と同様な輝度変化を持つ映像を出力することができる。
【0021】
図3(d)のように、事前撮影で得られた照明光の時間変化パターンから補正係数を算出し、輝度レベルが低いときは画像全体を明るくするように補正し、輝度レベルが上がってきたところでは逆に画面全体を暗くするように補正することで、輝度が変化するストロボ照明での撮影にもかかわらず輝度一定の照明で撮影したかのような映像を得ることができることとなる。
【0022】
なお、補正係数が各フレーム平均輝度値に逆比例していれば、被写体を撮影した画像データに対して照明光の時間に渡っての相対的な補正が可能である。さらに補正係数を全フレームの平均輝度値に比例させるならば、全フレームの平均輝度値と同じ明るさとなる輝度一定な照明で撮影したかのような映像が得られる。
【実施例】
【0023】
以下、本発明の一実施例の高速度撮像装置および画像輝度自動補正装置について図面を用いて説明する。
【0024】
図4に本発明の一実施例の高速度撮影装置を示す。1は高速度撮影装置、2は撮像素子、3はメモリ、4は制御回路、5は画像輝度自動補正装置、6は被写体、7はストロボ照明装置である。
【0025】
図4において、ストロボ照明装置7を用いて撮影を行うと、高速度撮影装置1では撮像素子2から、被写体6を撮影した画像データが制御回路4を通してメモリ3に記憶される。最初の撮影では、画像輝度自動補正装置5は、メモリ3のデータを読み込み、各フレームの平均輝度値および全フレームの平均輝度値を算出する。
【0026】
図5は画像輝度自動補正装置のブロック図である。5は画像輝度自動補正装置、51は1フレーム分の画像を蓄積する画像蓄積部、52はフラッシュ照明で撮影された映像の各フレームの平均輝度値や全フレームの平均輝度値や各フレームの補正係数を算出するとともに、画像蓄積部51からの映像とその映像の撮影以前の撮影によって得られた補正係数より補正済み画像データを算出する演算部、53は演算部が算出した各フレームの補正係数を記録する補正係数記録部である。
【0027】
最初に背景に対して実際の撮影と同様にフラッシュ光源を用いて撮影を行い、その画像データを1フレーム毎に画像蓄積部51へ取り込み、演算部52にて取り込んだフレームの全てのピクセルの輝度の平均値を算出する。これを順次全フレームに渡って繰り返し、各フレームの輝度平均値から全フレームの輝度値の平均を求める。そして、これらの各フレームの平均輝度値、全フレームの平均輝度値をもとに補正係数を計算し、その値を補正係数記録部53にて保持する。演算部52では、例えば、[受け取ったフレームの輝度平均値/全フレームの平均輝度値]の逆数を補正係数とし、次に撮影する各フレームのデータにこれを掛けて補正済みデータを作成する、補正係数は補正係数記録部53へ記録する。各フレームの補正係数を時間順に並べると図3(c)のようなグラフになる。
【0028】
以降の撮影においては、メモリ3から画像データを1フレーム単位で読み込み、最初の撮影で記録している補正係数を用いて自動的に輝度補正をしたデータをメモリ3へ書き戻す。
【0029】
すなわち、2度目以降の撮影では演算部52が画像蓄積部51の1フレームの画像データと補正係数記録部53に記録されたそのフレームの補正係数を用いて画像データを補正し、出力する。以上を撮影フレーム数分繰り返す。これにより、演算部52は、画像蓄積部51からの画像データ(図3(b)参照)と補正係数記録部53に記録されている補正係数(図3(c)参照)を掛け合わせて、あたかも輝度一定の強力な照明を用いて撮影を行ったような輝度変化を持つ画像(図3(d)参照)を出力する。
【0030】
なお、画像蓄積部51は図4のメモリ3を用いることにして省略する構成も可能である。
【0031】
撮影の際には、フラッシュ照明装置7へ外部から信号を送ることで発光させる。また、高速度撮影装置1には多くの場合トリガ信号を入力することができ、撮影のタイミングを外部信号で制御できるので、フラッシュ照明装置7へ送る外部信号をカメラにも入力することでフラッシュの発光とカメラの動作を同期させることができる。このようにフラッシュの発光とカメラの動作を同期させることによって、1度目の撮影時のフレームと2度目以降の撮影時のフレームを対応させることができる。また、他の方法で1度目の撮影時のフレームと2度目以降の撮影時のフレームを対応させてもよい。
【0032】
以上、本発明の実施例を詳細に説明したが、本発明の画像輝度自動補正装置は、第1のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、その各フレームの平均輝度値から各フレームの補正係数を算出し、第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームの画像データと各フレームの補正係数を用いて補正済み画像データを生成する演算部52と、演算部52が算出した各フレームの補正係数を記録する補正係数記録部53を備えていればよい。
【0033】
また、撮影フレーム数を半分に減らすならば、1回目に被写体の入った画像を撮影してメモリ3に蓄積し、その後に2回目の撮影を被写体の無い背景の状態で行って演算部52が各フレームの補正係数を求め、補正係数記録部53に記憶するようにし、その後に輝度補正した映像を出力するようにしてもよい。この場合は2回目の撮影を1回目の直ぐ後にできるので、被写体に影響を与えるなど事前にフラッシュを発光させて補正値を取得しておくことが難しい場合にも対応できる。
【0034】
補正係数は[1/各フレームの平均輝度値]に比例した値であって、撮影された映像の各フレームの画像データに補正係数を乗算して補正済み画像データを作成してもよい。
【0035】
この補正係数は[全フレームの平均輝度値/各フレームの平均輝度値]とすることができる。
【0036】
また、演算部52は、各フレームのピクセルの輝度値を平均することにより各フレームの平均輝度値を算出すればよく、全フレームの平均輝度値は各フレームの平均輝度値から算出すればよい。
【0037】
本発明の実施例の高速度撮影装置1は、以上の画像輝度自動補正装置を備えていればよい。また、フラッシュ照明装置7へ送る信号が入力されることによりフラッシュ照明装置7の発光と同期して撮影するものであってもよい。
【0038】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【0039】
1…高速度撮影装置、2…撮像素子、3…メモリ、4…制御回路、5…画像輝度自動補正装置、6…被写体、7…ストロボ(フラッシュ)照明装置、51…画像蓄積部、52…演算部、53…補正係数記録部

【特許請求の範囲】
【請求項1】
第1のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、前記各フレームの平均輝度値から各フレームの補正係数を算出し、前記第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームの画像データと前記各フレームの補正係数を用いて補正済み画像データを生成する演算部と、
前記演算部が算出した前記各フレームの補正係数を記録する補正係数記録部
を備える画像輝度自動補正装置。
【請求項2】
前記演算部は、前記第1のフラッシュ照明で撮影された映像の各フレームの画像データから補正係数を算出するのに代えて、前記第1のフラッシュ照明による撮影の後の第2のフラッシュ照明で撮影された映像の各フレームの平均輝度値から各フレームの補正係数を算出し、前記第1のフラッシュ照明で撮影された映像の各フレームの画像データと該各フレームの補正係数を用いて補正済み画像データを生成する請求項1に記載の画像輝度自動補正装置。
【請求項3】
前記補正係数は、[1/各フレームの平均輝度値]に比例する値であって、
前記演算部は各フレームの画像データに該補正係数を乗算して補正済み画像データを生成する請求項1または2に記載の画像輝度自動補正装置。
【請求項4】
前記演算部は、各フレームの平均輝度値および全フレームの平均輝度値を算出し、前記各フレームの平均輝度値および前記全フレームの平均輝度値から各フレームの補正係数を算出し、
前記補正係数は、[全フレームの平均輝度値/各フレームの平均輝度値]である請求項3に記載の画像輝度自動補正装置。
【請求項5】
前記演算部は、各フレームの全ピクセルの輝度値を平均することにより各フレームの平均輝度値を算出する請求項1乃至4のいずれか1項に記載の画像輝度自動補正装置。
【請求項6】
請求項1乃至5のいずれか1項に記載の画像輝度自動補正装置を備えた高速度撮影装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−186572(P2012−186572A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−47044(P2011−47044)
【出願日】平成23年3月4日(2011.3.4)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】