高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置
【課題】高速度カメラの画像から鏡面反射が除去できる画像処理装置を提供する。
【解決手段】照度が周期的に変動する蛍光灯等の変動光源５１と、その他の光源５２とを照明源として被写体４０を撮影した高速度カメラ２０の画像から蛍光灯５１による鏡面反射を除去する画像処理装置１０であって、蛍光灯のフリッカ周波数よりも２倍以上高いフレームレートで撮影された高速度カメラ２０の各フレームの画像を取得する画像取得手段１１と、各フレームの画像から蛍光灯の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から蛍光灯の照度が０のときの各画素の輝度値を推定する輝度値推定手段１２と、輝度値推定手段１２が推定した輝度値を基に、蛍光灯の鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段１３とを備える。蛍光灯などで照明された被写体を撮影した高速度カメラの画像から鏡面反射を除去できる。
【解決手段】照度が周期的に変動する蛍光灯等の変動光源５１と、その他の光源５２とを照明源として被写体４０を撮影した高速度カメラ２０の画像から蛍光灯５１による鏡面反射を除去する画像処理装置１０であって、蛍光灯のフリッカ周波数よりも２倍以上高いフレームレートで撮影された高速度カメラ２０の各フレームの画像を取得する画像取得手段１１と、各フレームの画像から蛍光灯の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から蛍光灯の照度が０のときの各画素の輝度値を推定する輝度値推定手段１２と、輝度値推定手段１２が推定した輝度値を基に、蛍光灯の鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段１３とを備える。蛍光灯などで照明された被写体を撮影した高速度カメラの画像から鏡面反射を除去できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度カメラで撮影された画像からハレーションを除去する画像処理装置、画像処理方法及び高速度カメラ装置に関する。
【背景技術】
【０００２】
カメラで被写体を撮影する場合に、光源の光が被写体の一部で鏡面反射してカメラに入射すると、画像に写る被写体の鏡面反射部分にハレーションが現れる。図１０（ａ）の女性は、額の部分にハレーションが起きている。そのため、ハレーション部分の本来の色が、画像から識別できない。また、エッジ抽出の画像処理を実施した場合に、図１０（ｂ）に示すように、ハレーション部分も抽出されてしまう。
【０００３】
近年、１秒間に１００枚以上の撮影が可能な高速度カメラが、様々な分野で活用されている。この高速度カメラは、一般的なビデオカメラでは見ることができない一瞬の動きや短時間の高速現象を撮影するために利用されている。その高速化は、着々と進んでおり、１秒間に２×１０7コマが撮影できる機種も開発されている。こうした高速度カメラの画像を解析して、種々の高速現象の解明が行われているが、この場合にも、鏡面反射光は、物体認識の邪魔になっており、精確な解析を妨げている。
【０００４】
ハレーションを防ぐために、一般的には偏光フィルタを使用して撮影が行われる。しかし、図１１に、各種の色を配列し、その表面を透明なアクリル板で覆った配色板を被写体として、偏光フィルタを使用せずに写した画像（ａ）と、偏光フィルタを使用して写した画像（ｂ）とを対比して示しているが、鏡面反射光のカメラへの入射角が垂直に近い場合は、偏光フィルタを使っても鏡面反射が殆んど除去できない。
【０００５】
下記非特許文献１には、ビデオカメラで撮影された画像から、画像処理により鏡面反射成分を除去する方法が提案されている。
この方法は、反射光の輝度Ｉを、鏡面反射成分の輝度Ｉsと、拡散反射成分の輝度Ｉdとの和により（数１）のように表す二色性反射モデルに基づいて、鏡面反射成分を除去している。
Ｉ＝Ｉs＋Ｉd （数１）
また、この鏡面反射成分を除去する計算を高速で行うため、色空間を図１２のようにモデル化している。この色空間は（Ｉx,Ｉy,Ｉz）の要素から成り、Ｉ、Ｉs及びＩdは、Ｉx、Ｉy、Ｉzの要素で表される。この色空間では、（Ｉx,Ｉy）平面上でＩx軸とのなす角度が色相（hue）を表し、同じく（Ｉx,Ｉy）平面上で原点からの距離が彩度（saturation）を表し、また、Ｉz軸が輝度（intensity）を表している。
この色空間とＲＧＢとは、（数２）に示す関係にある。
【数２】
また、色相（hue）、彩度（saturation）及び輝度（intensity）は、色空間の要素（Ｉx,Ｉy, Ｉz）を用いて次式のように表すことができる。
hue＝arctan(Ｉy/Ｉx) （数３）
saturation＝（Ｉx2＋Ｉy2）1/2 （数４）
intensity＝Ｉz （数５）
【０００６】
この方法は、被写体を照らす光源が白色で一様であることを前提としている。そして、色空間の色相（hue）ごとの平面（図１２の平面）上で、拡散反射だけの画素点では、彩度（saturation）と輝度（intensity）とが比例関係になるので、この性質を利用して、鏡面反射の画素点の彩度（saturation）から、この比例関係にある輝度（intensity）の値を求めて、鏡面反射成分を除去している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】肥後智昭, 宮崎大輔, 池内克史:“二色性反射モデルに基づくリアルタイム鏡面反射成分除去,” 情報処理学会コンピュータビジョンとイメージメディア研究会(CVIM),pp. 211≡218, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献１に記載された方法は、光源が白色で一様であることを前提としているため、蛍光灯や白熱灯のように、その照度が変動する光源の下で撮影された画像には適用できない。
インバータ式でない蛍光灯は、商用電源（交流）の２倍の周波数で照度が変動する。インバータ式の蛍光灯は、商用電源の交流から独自の交流を作り出しており、作り出した交流の２倍の周波数で照度が変動する。
白熱灯は、フィラメントが常時発光しているため、蛍光灯ほど顕著では無いが、やはり交流電源の周波数に依存する周波数で照度が変動している。
【０００９】
本発明は、こうした事情を考慮して創案したものであり、照度が変動する光源によって照明された被写体を撮影する場合に、その画像に表れた鏡面反射成分を画像処理によって除去することができる画像処理装置及び画像処理方法を提供し、また、そうした機能を備える高速度カメラ装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理装置であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された前記高速度カメラの各フレームの画像を取得する画像取得手段と、前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、を備えることを特徴とする。
高速度カメラは、被写体を照らす変動光源の照度が変化する１周期の間に複数枚の画像を撮影することができる。これら複数枚の画像の輝度値は、鏡面反射が発生している箇所でも発生していない箇所でも、撮影時点の変動光源の照度に関係している。そのため、これらの画像における輝度値の推移から変動光源の照度が０のときの輝度値を推定することができ、その推定値を基に変動光源による鏡面反射を除去した画像の輝度値を生成することができる。
【００１１】
また、本発明の画像処理装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
変動光源の照度に連動して変化する各画素の輝度値は、略直線状に分布していると見られる。そのため、分布する輝度値の最大値と最小値とを結ぶ直線によって輝度値の分布を近似することができ、変動光源の照度が０のときの輝度値は、この直線上の点として推定することができる。
【００１２】
また、本発明の画像処理装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【００１３】
また、本発明の画像処理装置では、前記鏡面反射除去画像生成手段が、前記輝度値推定手段の求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成する。
変動光源の照度を０としたときの画像の輝度値は、撮影された画像の輝度値よりも低くなるため、この輝度値に係数βを乗算して補整する。
【００１４】
また、本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した画像から前記変動光源による鏡面反射を除去する高速度カメラ装置であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで前記被写体を撮影する撮影手段と、前記撮影手段により撮影された各フレームの画像を保持する画像記録手段と、前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、を備えることを特徴とする。
この高速度カメラ装置は、撮影した画像から、蛍光灯などで生じたハレーション部分を除去することができる。
【００１５】
また、本発明の高速度カメラ装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
変動光源の照度に連動して変化する各画素の輝度値の分布を、最大値と最小値とを結ぶ直線によって近似することにより、演算が簡略化できる。
【００１６】
また、本発明の高速度カメラ装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【００１７】
また、本発明の高速度カメラ装置では、前記鏡面反射除去画像生成手段が、前記輝度値推定手段の求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成する。
変動光源の照度を０としたときの各画素の輝度値に対して、一様に係数βを乗算して、変動光源による鏡面反射の無い画像を生成する。
【００１８】
また、本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理方法であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された高速度カメラの各フレームの画像を取得する第１のステップと、第１のステップで取得した前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求める第２のステップと、第２のステップで求めた前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する第３のステップと、第３のステップで求めた前記輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を求める第４のステップと、を備えることを特徴とする。
この画像処理方法では、画面上の各画素について、変動光源の照度が０のときの輝度値を推定し、その輝度値を一様に補整することにより、変動光源による鏡面反射を除去した画像の各画素における輝度値を求めている。
【００１９】
また、本発明の画像処理方法では、前記第２のステップで、前記各フレームの画像から各画素の輝度値の最大値と最小値とを求め、前記第３のステップで、前記最大値及び最小値を結ぶ直線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることができる。
この画像処理方法は、短時間での処理が可能である。
【００２０】
また、本発明の画像処理方法では、前記第２のステップで、前記各フレームの画像から、各画素における輝度値の分布を求めて、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記第３のステップで、前記直線または曲線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【発明の効果】
【００２１】
本発明により、照度が変動する蛍光灯等の光源によって照明された被写体を撮影した高速度カメラの画像から、その光源による鏡面反射成分を除去することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の構成を示す図
【図２】光源の照度の変動に伴う画像の輝度値の変化を示す図
【図３】各フレーム画像から求めた輝度値の分布を示す図
【図４】近似直線とαとの関係を示す図
【図５】本発明の実施形態に係る画像処理方法を示すフロー図
【図６】αの値を０．０、０．３及び０．５として蛍光灯の鏡面反射を除去したときの画像を示す図
【図７】図６のエッジ抽出画像
【図８】αの値を０．０、０．５、０．７、０．８及び０．８５として白熱灯の鏡面反射を除去したときの画像を示す図
【図９】本発明の実施形態に係る高速度カメラ装置の構成を示す図
【図１０】画像に現れた鏡面反射を示す図
【図１１】偏向フィルタの有無に関わらず画像に現れる鏡面反射を示す図
【図１２】色空間を示す図
【発明を実施するための形態】
【００２３】
図１には、本発明の実施形態に係る画像処理装置の構成を示している。
この装置１０は、蛍光灯のように照度が周期的に変動する変動光源５１、及び、その他の光源５２により照らされた被写体４０を撮影する高速度カメラ装置２０から各フレームの画像を取得する画像取得手段１１と、各フレームの画像から変動光源５１の照度が０のときの各画素の輝度値を推定する輝度値推定手段１２と、輝度値推定手段１２が推定した輝度値を用いて、変動光源５１による鏡面反射を除去した画像の輝度値を算出する鏡面反射除去画像生成手段１３とを備えており、各画素の輝度値が鏡面反射除去画像生成手段１３により設定された画像（即ち、変動光源５１による鏡面反射が除去された画像）が表示装置３０に表示される。
【００２４】
商用電源の交流で発光する蛍光灯が変動光源５１である場合は、交流の周波数を５０Ｈｚとすると、１００Ｈｚの周期で照度が変動する。この場合、高速度カメラ装置２０は、１００Ｈｚの２倍の２００ｆｐｓ（frame per second）以上の撮影が可能な機種を用いて被写体４０を撮影する。
その他の光源５２は、変動光源５１を消灯しても暗闇にならない明るさを与えるものであり、その照度が変動光源５１と同期して周期的に変動するものでなければ、どのような光源を用いても良い。例えば、窓からの自然光、インバータ式蛍光灯、白熱灯、天井に設置された複数の照明の合成光などが、その他の光源５２として使用できる。
【００２５】
この画像処理装置１０は、色空間を図１２のようにモデル化し、また、反射光の輝度をＩ＝（Ｉx,Ｉy,Ｉz）、鏡面反射成分の輝度をＩs、拡散反射成分の輝度をＩdとして、それらの関係が（数１）のように表される二色性反射モデルに基づいて鏡面反射成分除去の画像処理を行っている。
【００２６】
ところで、変動光源５１に照らされている被写体４０を撮影した高速度カメラ２０の画像は、鏡面反射が発生しているか否かに関わらず、いずれの画素点でも、変動光源５１のフリッカに連動して輝度値が変化している。
図２は、それを示している。図２では、図１１で用いた配色板を図１の被写体４０として、これを１２００ｆｐｓの高速度カメラ２０で撮影し、得られた各フレームの画像から特定の画素におけるＩx、Ｉy、Ｉzの時間的変化を求めている。図２の各グラフの横時は時間（秒）を表し、縦軸は、その画素のＲＧＢの値から（数２）を用いて計算したＩx、Ｉy、Ｉzの値を表している。図２（ａ）は鏡面反射している白色箇所の画素、図２（ｂ）は鏡面反射していない白色箇所の画素、図２（ｃ）は鏡面反射している赤色箇所の画素、また、図２（ｄ）は鏡面反射していない赤色箇所の画素について、それぞれ調べている。
図２の結果が示すように、変動光源５１に照らされている被写体４０の画像では、鏡面反射が発生している箇所でも、発生していない箇所でも、変動光源５１のフリッカに連動して輝度値が変化している。
【００２７】
また、図３は、この高速度カメラ２０で撮影した各フレームの画像のそれぞれから、特定の画素における輝度値を求め、それをＲＧＢの色空間上にプロットした図である。プロットした点の集合は、その画素の輝度値の分布を示している。図３（ａ）は鏡面反射していない緑色箇所の画素、図３（ｂ）は鏡面反射している緑色箇所の画素、図３（ｃ）は鏡面反射していない白色箇所の画素、また、図３（ｄ）は鏡面反射している白色箇所の画素について、それぞれ調べている。
図３から、変動光源５１のフリッカに連動する輝度値の変化は、略直線状になると想定できる。図３（ａ）〜（ｄ）の各図に引いた直線は、輝度値の変化を表す近似直線を示している。
原理上は、この近似直線を延伸した先に変動光源５１の照度が０になったときの輝度値の点が存在している。
【００２８】
画像処理装置１０の輝度値推定手段１２は、画像取得手段１１が取得した高速度カメラ２０の各フレームの画像から、各画素について、この近似直線を求め、その近似直線を延伸した先の変動光源５１の照度が０となったときの輝度値を求める。
この演算を簡略化するため、輝度値推定手段１２は、各画素について、図３の輝度値の分布からＩzが最大となる輝度値と最小となる輝度値とを求め、輝度値が最大の点と最小の点とを結ぶ線を近似直線とする。
そして、Ｉzが最大となるときのＩ（Ｉx,Ｉy,Ｉz）をＩmax、Ｉzが最小となるときのＩをＩminとして、変動光源５１の照度が０となったときの輝度値Ｉoを次式（数６）により算出する。
Ｉo＝Ｉmax−｛１／（１−α）｝（Ｉmax−Ｉmin） （数６）
ここで、αは最大照度に対する最小照度の比を表している。Ｉmax、Ｉmin、Ｉoとαとの関係は、図４のようになる。
【００２９】
輝度値推定手段１２が算出した輝度値Ｉoは、変動光源５１の照度を０としているため、画像取得手段１１が取得した画像の輝度値よりも低くなっている。
これを補整するため、鏡面反射除去画像生成手段１３は、輝度値推定手段１２が算出した各画素の輝度値Ｉoに係数βを乗算する。補整された輝度値Ｉrは次式（数７）により算出される。
Ｉr＝βＩo＝β［Ｉmax−｛１／（１−α）｝（Ｉmax−Ｉmin）］ （数７）
ここで、βは、変動光源５１が無くなった際の照度に対する実際の照度の比に相当している。
鏡面反射除去画像生成手段１３は、画像の各画素における輝度値Ｉrを（数７）により算出する。そして、この輝度値Ｉrに対応するＲＧＢの色空間での位置を算出し、変動光源５１による鏡面反射を除去した画像を生成する。
【００３０】
図５は、この画像処理装置１０の処理手順を示している。
画像取得手段１１は、高速度カメラ２０からｎフレーム分のフレーム画像を取得する（ステップ１）。
輝度値推定手段１２は、各フレーム画像の画素ｉ（ｉ＝１，２，・・・）の輝度値を順番に配列し、これを全ての画素について行う（ステップ２）。
次に、着目する画素ｉの輝度値の配列から最大値と最小値とを取得し（ステップ３）、（数６）により、最大値及び最小値を結ぶ直線の延長線上に乗る、変動光源５１の照度が０のときの輝度値Ｉoを算出する（ステップ４）。
【００３１】
鏡面反射除去画像生成手段１３は、（数７）を用いてＩoにβを乗算し、変動光源５１による鏡面反射を除去した画像の輝度値Ｉrを算出する（ステップ５）。
ステップ３からステップ５の手順を全ての画素に対して行い（ステップ６）、変動光源５１による鏡面反射を除去した画像を生成する（ステップ７）。
高速度カメラ２０が撮影した更なるフレーム画像が有る場合は、ステップ１からの手順を繰り返す（ステップ８）。
こうした手順により、高速度カメラ２０の画像から、蛍光灯などに因る鏡面反射を除去することができる。
【００３２】
図６は、図１１で用いた配色板を高速度カメラ２０で写し、その画像から蛍光灯の鏡面反射を除去する実験を行った結果について示している。
図６（ａ）は、（数７）のα＝０．０とした場合の画像、即ち、蛍光灯の照度が最も低いときの実画像である。写真では明確でないが、矢印の位置に蛍光灯の鏡面反射像が写っている。
図６（ｂ）は、α＝０．３と推定して求めた画像であり、図６（ｃ）は、α＝０．５と推定して求めた画像である。α＝０．３の時（図６（ｂ））には、若干の鏡面反射光が残っているが、α＝０．５の時（図６（ｃ））には、鏡面反射光が視認されず、ほぼ完全に除去されていることが確認された。
【００３３】
また、図７（ａ）は、α＝０．０の画像（図６（ａ））にエッジ検出処理を施した結果を示し、また、図７（ｂ）は、α＝０．５の画像（図６（ｃ））にエッジ検出処理を施した結果を示している。図７（ａ）には、蛍光灯の反射像（矢印）に対応するエッジが現れているが、図７（ｂ）では、それが消えている。
このように、適切なαの値を選択することにより、画像から鏡面反射光を、視認できない程度に除去することができる。蛍光灯を光源とする場合は、α＝０．５と設定することで、鏡面反射光をほぼ除去することができる。
【００３４】
また、図８は、白熱灯を変動光源とした場合の実験結果を示している。図８（ａ）はα＝０．０、図８（ｂ）はα＝０．５、図８（ｃ）はα＝０．７、図８（ｄ）はα＝０．８、また、図８（ｅ）はα＝０．８５に設定している。α＝０．８５としたときに鏡面反射がほぼ除去されている。ただし、白熱灯のフィラメントは常に発光しているため、フィラメント部に関しては若干鏡面反射が残っている。
このように、白熱灯を光源とする場合は、α＝０．８５と設定することで、鏡面反射光をほぼ除去することができる。
【００３５】
なお、図１では、画像処理装置１０と高速度カメラ装置２０とを別体にしているが、画像処理装置１０の機能を高速度カメラ装置に組み込むことも可能である。
図９は、この高速度カメラ装置２０の構成を示している。この装置２０は、変動光源５１の照度の周波数よりも２倍以上高いフレームレートで被写体４０を撮影する撮影手段２１と、撮影手段２１で撮影された各フレームの画像を保持する画像記録手段２２と、画像記録手段２２で保持された各フレームの画像から変動光源５１の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から変動光源５１の照度が０のときの各画素の輝度値を推定する輝度値推定手段２３と、輝度値推定手段２３が推定した輝度値を基に、変動光源５１による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段２４とを備えている。
【００３６】
この輝度値推定手段２３及び鏡面反射除去画像生成手段２４の処理は、画像処理装置１０の輝度値推定手段１２及び鏡面反射除去画像生成手段１３のそれと同じである。
この高速度カメラ装置２０は、照度が周期的に変動する変動光源５１と、その他の光源５２とで照らされた被写体を撮影して、変動光源５１による鏡面反射を除いた画像を生成することができ、生成した画像を表示装置３０に表示させることができる。
また、この高速度カメラ装置２０は、動画を撮影する高速度ビデオカメラ装置であっても良い。
【００３７】
なお、変動光源５１で照らされた被写体を撮影する高速度カメラ装置２０のフレームレートは、変動光源５１の照度の周波数よりも２倍以上高いことが望ましい。もし、高速度カメラ装置２０のフレームレートが、それより小さいと、高速度カメラ装置２０のフレーム画像から得た近似直線の精度が低下し、生成した「鏡面反射を除去した画像」の品質が低下する。
また、「その他の光源５２」が存在しない場合には、変動光源５１の照度が０となったときの推定輝度は原理上０となる。そのため変動光源５１以外の光源が必要である。
【００３８】
また、ここでは、各フレームの画像から求める各画素の輝度値の分布を、最大値と最小値とを結ぶ直線で近似する場合について説明したが、輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、変動光源の照度が０のときの輝度値を求めるようにしても良い。この方が、演算量は多くなるが、より正確な輝度値を求めることができる。
また、画像処理装置１０や高速度カメラ装置２０の輝度値推定手段１２、２３及び鏡面反射除去画像生成手段１３、２４は、画像処理の高速化に役立つビジョンチップを複数個用いて実現しても良い。各画素の処理を複数のビジョンチップにより並列処理することで、処理時間を大幅に短縮できる。
【産業上の利用可能性】
【００３９】
本発明は、一瞬の動きや短時間の高速現象を撮影する高速度カメラの画像から鏡面反射を除くことが可能であり、高速度カメラの画像を用いて、人の動き、動植物の変化、車の衝突など、様々な高速現象を解明する分野において、また、鑑賞や娯楽に供する画像や映像の撮影を目的とする分野等において、広く利用することができる。
【符号の説明】
【００４０】
１０ 画像処理装置
１１ 画像取得手段
１２ 輝度値推定手段
１３ 鏡面反射除去画像生成手段
２０ 高速度カメラ装置
２１ 撮影手段
２２ 画像記録手段
２３ 輝度値推定手段
２４ 鏡面反射除去画像生成手段
３０ 表示装置
４０ 被写体
５１ 変動光源
５２ その他の光源
【技術分野】
【０００１】
本発明は、高速度カメラで撮影された画像からハレーションを除去する画像処理装置、画像処理方法及び高速度カメラ装置に関する。
【背景技術】
【０００２】
カメラで被写体を撮影する場合に、光源の光が被写体の一部で鏡面反射してカメラに入射すると、画像に写る被写体の鏡面反射部分にハレーションが現れる。図１０（ａ）の女性は、額の部分にハレーションが起きている。そのため、ハレーション部分の本来の色が、画像から識別できない。また、エッジ抽出の画像処理を実施した場合に、図１０（ｂ）に示すように、ハレーション部分も抽出されてしまう。
【０００３】
近年、１秒間に１００枚以上の撮影が可能な高速度カメラが、様々な分野で活用されている。この高速度カメラは、一般的なビデオカメラでは見ることができない一瞬の動きや短時間の高速現象を撮影するために利用されている。その高速化は、着々と進んでおり、１秒間に２×１０7コマが撮影できる機種も開発されている。こうした高速度カメラの画像を解析して、種々の高速現象の解明が行われているが、この場合にも、鏡面反射光は、物体認識の邪魔になっており、精確な解析を妨げている。
【０００４】
ハレーションを防ぐために、一般的には偏光フィルタを使用して撮影が行われる。しかし、図１１に、各種の色を配列し、その表面を透明なアクリル板で覆った配色板を被写体として、偏光フィルタを使用せずに写した画像（ａ）と、偏光フィルタを使用して写した画像（ｂ）とを対比して示しているが、鏡面反射光のカメラへの入射角が垂直に近い場合は、偏光フィルタを使っても鏡面反射が殆んど除去できない。
【０００５】
下記非特許文献１には、ビデオカメラで撮影された画像から、画像処理により鏡面反射成分を除去する方法が提案されている。
この方法は、反射光の輝度Ｉを、鏡面反射成分の輝度Ｉsと、拡散反射成分の輝度Ｉdとの和により（数１）のように表す二色性反射モデルに基づいて、鏡面反射成分を除去している。
Ｉ＝Ｉs＋Ｉd （数１）
また、この鏡面反射成分を除去する計算を高速で行うため、色空間を図１２のようにモデル化している。この色空間は（Ｉx,Ｉy,Ｉz）の要素から成り、Ｉ、Ｉs及びＩdは、Ｉx、Ｉy、Ｉzの要素で表される。この色空間では、（Ｉx,Ｉy）平面上でＩx軸とのなす角度が色相（hue）を表し、同じく（Ｉx,Ｉy）平面上で原点からの距離が彩度（saturation）を表し、また、Ｉz軸が輝度（intensity）を表している。
この色空間とＲＧＢとは、（数２）に示す関係にある。
【数２】
また、色相（hue）、彩度（saturation）及び輝度（intensity）は、色空間の要素（Ｉx,Ｉy, Ｉz）を用いて次式のように表すことができる。
hue＝arctan(Ｉy/Ｉx) （数３）
saturation＝（Ｉx2＋Ｉy2）1/2 （数４）
intensity＝Ｉz （数５）
【０００６】
この方法は、被写体を照らす光源が白色で一様であることを前提としている。そして、色空間の色相（hue）ごとの平面（図１２の平面）上で、拡散反射だけの画素点では、彩度（saturation）と輝度（intensity）とが比例関係になるので、この性質を利用して、鏡面反射の画素点の彩度（saturation）から、この比例関係にある輝度（intensity）の値を求めて、鏡面反射成分を除去している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】肥後智昭, 宮崎大輔, 池内克史:“二色性反射モデルに基づくリアルタイム鏡面反射成分除去,” 情報処理学会コンピュータビジョンとイメージメディア研究会(CVIM),pp. 211≡218, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献１に記載された方法は、光源が白色で一様であることを前提としているため、蛍光灯や白熱灯のように、その照度が変動する光源の下で撮影された画像には適用できない。
インバータ式でない蛍光灯は、商用電源（交流）の２倍の周波数で照度が変動する。インバータ式の蛍光灯は、商用電源の交流から独自の交流を作り出しており、作り出した交流の２倍の周波数で照度が変動する。
白熱灯は、フィラメントが常時発光しているため、蛍光灯ほど顕著では無いが、やはり交流電源の周波数に依存する周波数で照度が変動している。
【０００９】
本発明は、こうした事情を考慮して創案したものであり、照度が変動する光源によって照明された被写体を撮影する場合に、その画像に表れた鏡面反射成分を画像処理によって除去することができる画像処理装置及び画像処理方法を提供し、また、そうした機能を備える高速度カメラ装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理装置であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された前記高速度カメラの各フレームの画像を取得する画像取得手段と、前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、を備えることを特徴とする。
高速度カメラは、被写体を照らす変動光源の照度が変化する１周期の間に複数枚の画像を撮影することができる。これら複数枚の画像の輝度値は、鏡面反射が発生している箇所でも発生していない箇所でも、撮影時点の変動光源の照度に関係している。そのため、これらの画像における輝度値の推移から変動光源の照度が０のときの輝度値を推定することができ、その推定値を基に変動光源による鏡面反射を除去した画像の輝度値を生成することができる。
【００１１】
また、本発明の画像処理装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
変動光源の照度に連動して変化する各画素の輝度値は、略直線状に分布していると見られる。そのため、分布する輝度値の最大値と最小値とを結ぶ直線によって輝度値の分布を近似することができ、変動光源の照度が０のときの輝度値は、この直線上の点として推定することができる。
【００１２】
また、本発明の画像処理装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【００１３】
また、本発明の画像処理装置では、前記鏡面反射除去画像生成手段が、前記輝度値推定手段の求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成する。
変動光源の照度を０としたときの画像の輝度値は、撮影された画像の輝度値よりも低くなるため、この輝度値に係数βを乗算して補整する。
【００１４】
また、本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した画像から前記変動光源による鏡面反射を除去する高速度カメラ装置であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで前記被写体を撮影する撮影手段と、前記撮影手段により撮影された各フレームの画像を保持する画像記録手段と、前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、を備えることを特徴とする。
この高速度カメラ装置は、撮影した画像から、蛍光灯などで生じたハレーション部分を除去することができる。
【００１５】
また、本発明の高速度カメラ装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
変動光源の照度に連動して変化する各画素の輝度値の分布を、最大値と最小値とを結ぶ直線によって近似することにより、演算が簡略化できる。
【００１６】
また、本発明の高速度カメラ装置では、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【００１７】
また、本発明の高速度カメラ装置では、前記鏡面反射除去画像生成手段が、前記輝度値推定手段の求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成する。
変動光源の照度を０としたときの各画素の輝度値に対して、一様に係数βを乗算して、変動光源による鏡面反射の無い画像を生成する。
【００１８】
また、本発明は、照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理方法であって、前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された高速度カメラの各フレームの画像を取得する第１のステップと、第１のステップで取得した前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求める第２のステップと、第２のステップで求めた前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する第３のステップと、第３のステップで求めた前記輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を求める第４のステップと、を備えることを特徴とする。
この画像処理方法では、画面上の各画素について、変動光源の照度が０のときの輝度値を推定し、その輝度値を一様に補整することにより、変動光源による鏡面反射を除去した画像の各画素における輝度値を求めている。
【００１９】
また、本発明の画像処理方法では、前記第２のステップで、前記各フレームの画像から各画素の輝度値の最大値と最小値とを求め、前記第３のステップで、前記最大値及び最小値を結ぶ直線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることができる。
この画像処理方法は、短時間での処理が可能である。
【００２０】
また、本発明の画像処理方法では、前記第２のステップで、前記各フレームの画像から、各画素における輝度値の分布を求めて、前記輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記第３のステップで、前記直線または曲線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めるようにしても良い。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が０のときの輝度値を、より正確に求めることができる。
【発明の効果】
【００２１】
本発明により、照度が変動する蛍光灯等の光源によって照明された被写体を撮影した高速度カメラの画像から、その光源による鏡面反射成分を除去することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置の構成を示す図
【図２】光源の照度の変動に伴う画像の輝度値の変化を示す図
【図３】各フレーム画像から求めた輝度値の分布を示す図
【図４】近似直線とαとの関係を示す図
【図５】本発明の実施形態に係る画像処理方法を示すフロー図
【図６】αの値を０．０、０．３及び０．５として蛍光灯の鏡面反射を除去したときの画像を示す図
【図７】図６のエッジ抽出画像
【図８】αの値を０．０、０．５、０．７、０．８及び０．８５として白熱灯の鏡面反射を除去したときの画像を示す図
【図９】本発明の実施形態に係る高速度カメラ装置の構成を示す図
【図１０】画像に現れた鏡面反射を示す図
【図１１】偏向フィルタの有無に関わらず画像に現れる鏡面反射を示す図
【図１２】色空間を示す図
【発明を実施するための形態】
【００２３】
図１には、本発明の実施形態に係る画像処理装置の構成を示している。
この装置１０は、蛍光灯のように照度が周期的に変動する変動光源５１、及び、その他の光源５２により照らされた被写体４０を撮影する高速度カメラ装置２０から各フレームの画像を取得する画像取得手段１１と、各フレームの画像から変動光源５１の照度が０のときの各画素の輝度値を推定する輝度値推定手段１２と、輝度値推定手段１２が推定した輝度値を用いて、変動光源５１による鏡面反射を除去した画像の輝度値を算出する鏡面反射除去画像生成手段１３とを備えており、各画素の輝度値が鏡面反射除去画像生成手段１３により設定された画像（即ち、変動光源５１による鏡面反射が除去された画像）が表示装置３０に表示される。
【００２４】
商用電源の交流で発光する蛍光灯が変動光源５１である場合は、交流の周波数を５０Ｈｚとすると、１００Ｈｚの周期で照度が変動する。この場合、高速度カメラ装置２０は、１００Ｈｚの２倍の２００ｆｐｓ（frame per second）以上の撮影が可能な機種を用いて被写体４０を撮影する。
その他の光源５２は、変動光源５１を消灯しても暗闇にならない明るさを与えるものであり、その照度が変動光源５１と同期して周期的に変動するものでなければ、どのような光源を用いても良い。例えば、窓からの自然光、インバータ式蛍光灯、白熱灯、天井に設置された複数の照明の合成光などが、その他の光源５２として使用できる。
【００２５】
この画像処理装置１０は、色空間を図１２のようにモデル化し、また、反射光の輝度をＩ＝（Ｉx,Ｉy,Ｉz）、鏡面反射成分の輝度をＩs、拡散反射成分の輝度をＩdとして、それらの関係が（数１）のように表される二色性反射モデルに基づいて鏡面反射成分除去の画像処理を行っている。
【００２６】
ところで、変動光源５１に照らされている被写体４０を撮影した高速度カメラ２０の画像は、鏡面反射が発生しているか否かに関わらず、いずれの画素点でも、変動光源５１のフリッカに連動して輝度値が変化している。
図２は、それを示している。図２では、図１１で用いた配色板を図１の被写体４０として、これを１２００ｆｐｓの高速度カメラ２０で撮影し、得られた各フレームの画像から特定の画素におけるＩx、Ｉy、Ｉzの時間的変化を求めている。図２の各グラフの横時は時間（秒）を表し、縦軸は、その画素のＲＧＢの値から（数２）を用いて計算したＩx、Ｉy、Ｉzの値を表している。図２（ａ）は鏡面反射している白色箇所の画素、図２（ｂ）は鏡面反射していない白色箇所の画素、図２（ｃ）は鏡面反射している赤色箇所の画素、また、図２（ｄ）は鏡面反射していない赤色箇所の画素について、それぞれ調べている。
図２の結果が示すように、変動光源５１に照らされている被写体４０の画像では、鏡面反射が発生している箇所でも、発生していない箇所でも、変動光源５１のフリッカに連動して輝度値が変化している。
【００２７】
また、図３は、この高速度カメラ２０で撮影した各フレームの画像のそれぞれから、特定の画素における輝度値を求め、それをＲＧＢの色空間上にプロットした図である。プロットした点の集合は、その画素の輝度値の分布を示している。図３（ａ）は鏡面反射していない緑色箇所の画素、図３（ｂ）は鏡面反射している緑色箇所の画素、図３（ｃ）は鏡面反射していない白色箇所の画素、また、図３（ｄ）は鏡面反射している白色箇所の画素について、それぞれ調べている。
図３から、変動光源５１のフリッカに連動する輝度値の変化は、略直線状になると想定できる。図３（ａ）〜（ｄ）の各図に引いた直線は、輝度値の変化を表す近似直線を示している。
原理上は、この近似直線を延伸した先に変動光源５１の照度が０になったときの輝度値の点が存在している。
【００２８】
画像処理装置１０の輝度値推定手段１２は、画像取得手段１１が取得した高速度カメラ２０の各フレームの画像から、各画素について、この近似直線を求め、その近似直線を延伸した先の変動光源５１の照度が０となったときの輝度値を求める。
この演算を簡略化するため、輝度値推定手段１２は、各画素について、図３の輝度値の分布からＩzが最大となる輝度値と最小となる輝度値とを求め、輝度値が最大の点と最小の点とを結ぶ線を近似直線とする。
そして、Ｉzが最大となるときのＩ（Ｉx,Ｉy,Ｉz）をＩmax、Ｉzが最小となるときのＩをＩminとして、変動光源５１の照度が０となったときの輝度値Ｉoを次式（数６）により算出する。
Ｉo＝Ｉmax−｛１／（１−α）｝（Ｉmax−Ｉmin） （数６）
ここで、αは最大照度に対する最小照度の比を表している。Ｉmax、Ｉmin、Ｉoとαとの関係は、図４のようになる。
【００２９】
輝度値推定手段１２が算出した輝度値Ｉoは、変動光源５１の照度を０としているため、画像取得手段１１が取得した画像の輝度値よりも低くなっている。
これを補整するため、鏡面反射除去画像生成手段１３は、輝度値推定手段１２が算出した各画素の輝度値Ｉoに係数βを乗算する。補整された輝度値Ｉrは次式（数７）により算出される。
Ｉr＝βＩo＝β［Ｉmax−｛１／（１−α）｝（Ｉmax−Ｉmin）］ （数７）
ここで、βは、変動光源５１が無くなった際の照度に対する実際の照度の比に相当している。
鏡面反射除去画像生成手段１３は、画像の各画素における輝度値Ｉrを（数７）により算出する。そして、この輝度値Ｉrに対応するＲＧＢの色空間での位置を算出し、変動光源５１による鏡面反射を除去した画像を生成する。
【００３０】
図５は、この画像処理装置１０の処理手順を示している。
画像取得手段１１は、高速度カメラ２０からｎフレーム分のフレーム画像を取得する（ステップ１）。
輝度値推定手段１２は、各フレーム画像の画素ｉ（ｉ＝１，２，・・・）の輝度値を順番に配列し、これを全ての画素について行う（ステップ２）。
次に、着目する画素ｉの輝度値の配列から最大値と最小値とを取得し（ステップ３）、（数６）により、最大値及び最小値を結ぶ直線の延長線上に乗る、変動光源５１の照度が０のときの輝度値Ｉoを算出する（ステップ４）。
【００３１】
鏡面反射除去画像生成手段１３は、（数７）を用いてＩoにβを乗算し、変動光源５１による鏡面反射を除去した画像の輝度値Ｉrを算出する（ステップ５）。
ステップ３からステップ５の手順を全ての画素に対して行い（ステップ６）、変動光源５１による鏡面反射を除去した画像を生成する（ステップ７）。
高速度カメラ２０が撮影した更なるフレーム画像が有る場合は、ステップ１からの手順を繰り返す（ステップ８）。
こうした手順により、高速度カメラ２０の画像から、蛍光灯などに因る鏡面反射を除去することができる。
【００３２】
図６は、図１１で用いた配色板を高速度カメラ２０で写し、その画像から蛍光灯の鏡面反射を除去する実験を行った結果について示している。
図６（ａ）は、（数７）のα＝０．０とした場合の画像、即ち、蛍光灯の照度が最も低いときの実画像である。写真では明確でないが、矢印の位置に蛍光灯の鏡面反射像が写っている。
図６（ｂ）は、α＝０．３と推定して求めた画像であり、図６（ｃ）は、α＝０．５と推定して求めた画像である。α＝０．３の時（図６（ｂ））には、若干の鏡面反射光が残っているが、α＝０．５の時（図６（ｃ））には、鏡面反射光が視認されず、ほぼ完全に除去されていることが確認された。
【００３３】
また、図７（ａ）は、α＝０．０の画像（図６（ａ））にエッジ検出処理を施した結果を示し、また、図７（ｂ）は、α＝０．５の画像（図６（ｃ））にエッジ検出処理を施した結果を示している。図７（ａ）には、蛍光灯の反射像（矢印）に対応するエッジが現れているが、図７（ｂ）では、それが消えている。
このように、適切なαの値を選択することにより、画像から鏡面反射光を、視認できない程度に除去することができる。蛍光灯を光源とする場合は、α＝０．５と設定することで、鏡面反射光をほぼ除去することができる。
【００３４】
また、図８は、白熱灯を変動光源とした場合の実験結果を示している。図８（ａ）はα＝０．０、図８（ｂ）はα＝０．５、図８（ｃ）はα＝０．７、図８（ｄ）はα＝０．８、また、図８（ｅ）はα＝０．８５に設定している。α＝０．８５としたときに鏡面反射がほぼ除去されている。ただし、白熱灯のフィラメントは常に発光しているため、フィラメント部に関しては若干鏡面反射が残っている。
このように、白熱灯を光源とする場合は、α＝０．８５と設定することで、鏡面反射光をほぼ除去することができる。
【００３５】
なお、図１では、画像処理装置１０と高速度カメラ装置２０とを別体にしているが、画像処理装置１０の機能を高速度カメラ装置に組み込むことも可能である。
図９は、この高速度カメラ装置２０の構成を示している。この装置２０は、変動光源５１の照度の周波数よりも２倍以上高いフレームレートで被写体４０を撮影する撮影手段２１と、撮影手段２１で撮影された各フレームの画像を保持する画像記録手段２２と、画像記録手段２２で保持された各フレームの画像から変動光源５１の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から変動光源５１の照度が０のときの各画素の輝度値を推定する輝度値推定手段２３と、輝度値推定手段２３が推定した輝度値を基に、変動光源５１による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段２４とを備えている。
【００３６】
この輝度値推定手段２３及び鏡面反射除去画像生成手段２４の処理は、画像処理装置１０の輝度値推定手段１２及び鏡面反射除去画像生成手段１３のそれと同じである。
この高速度カメラ装置２０は、照度が周期的に変動する変動光源５１と、その他の光源５２とで照らされた被写体を撮影して、変動光源５１による鏡面反射を除いた画像を生成することができ、生成した画像を表示装置３０に表示させることができる。
また、この高速度カメラ装置２０は、動画を撮影する高速度ビデオカメラ装置であっても良い。
【００３７】
なお、変動光源５１で照らされた被写体を撮影する高速度カメラ装置２０のフレームレートは、変動光源５１の照度の周波数よりも２倍以上高いことが望ましい。もし、高速度カメラ装置２０のフレームレートが、それより小さいと、高速度カメラ装置２０のフレーム画像から得た近似直線の精度が低下し、生成した「鏡面反射を除去した画像」の品質が低下する。
また、「その他の光源５２」が存在しない場合には、変動光源５１の照度が０となったときの推定輝度は原理上０となる。そのため変動光源５１以外の光源が必要である。
【００３８】
また、ここでは、各フレームの画像から求める各画素の輝度値の分布を、最大値と最小値とを結ぶ直線で近似する場合について説明したが、輝度値の分布を表す直線または曲線を最小二乗法によって算出し、前記直線または曲線の延長線上に、変動光源の照度が０のときの輝度値を求めるようにしても良い。この方が、演算量は多くなるが、より正確な輝度値を求めることができる。
また、画像処理装置１０や高速度カメラ装置２０の輝度値推定手段１２、２３及び鏡面反射除去画像生成手段１３、２４は、画像処理の高速化に役立つビジョンチップを複数個用いて実現しても良い。各画素の処理を複数のビジョンチップにより並列処理することで、処理時間を大幅に短縮できる。
【産業上の利用可能性】
【００３９】
本発明は、一瞬の動きや短時間の高速現象を撮影する高速度カメラの画像から鏡面反射を除くことが可能であり、高速度カメラの画像を用いて、人の動き、動植物の変化、車の衝突など、様々な高速現象を解明する分野において、また、鑑賞や娯楽に供する画像や映像の撮影を目的とする分野等において、広く利用することができる。
【符号の説明】
【００４０】
１０ 画像処理装置
１１ 画像取得手段
１２ 輝度値推定手段
１３ 鏡面反射除去画像生成手段
２０ 高速度カメラ装置
２１ 撮影手段
２２ 画像記録手段
２３ 輝度値推定手段
２４ 鏡面反射除去画像生成手段
３０ 表示装置
４０ 被写体
５１ 変動光源
５２ その他の光源
【特許請求の範囲】
【請求項１】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理装置であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された前記高速度カメラの各フレームの画像を取得する画像取得手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれかに記載の画像処理装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする画像処理装置。
【請求項５】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した画像から前記変動光源による鏡面反射を除去する高速度カメラ装置であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで前記被写体を撮影する撮影手段と、
前記撮影手段により撮影された各フレームの画像を保持する画像記録手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする高速度カメラ装置。
【請求項６】
請求項５に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする高速度カメラ装置。
【請求項７】
請求項５に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする高速度カメラ装置。
【請求項８】
請求項５から７のいずれかに記載の高速度カメラ装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする高速度カメラ装置。
【請求項９】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理方法であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された高速度カメラの各フレームの画像を取得する第１のステップと、
第１のステップで取得した前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求める第２のステップと、
第２のステップで求めた前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する第３のステップと、
第３のステップで求めた前記輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を求める第４のステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法であって、前記第２のステップで、前記各フレームの画像から各画素の輝度値の最大値と最小値とを求め、前記第３のステップで、前記最大値及び最小値を結ぶ直線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
【請求項１１】
請求項９に記載の画像処理方法であって、前記第２のステップで、前記各フレームの画像から、各画素における輝度値の分布を求めて、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記第３のステップで、前記曲線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
【請求項１】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理装置であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された前記高速度カメラの各フレームの画像を取得する画像取得手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれかに記載の画像処理装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする画像処理装置。
【請求項５】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した画像から前記変動光源による鏡面反射を除去する高速度カメラ装置であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで前記被写体を撮影する撮影手段と、
前記撮影手段により撮影された各フレームの画像を保持する画像記録手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする高速度カメラ装置。
【請求項６】
請求項５に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする高速度カメラ装置。
【請求項７】
請求項５に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が０のときの輝度値を求めることを特徴とする高速度カメラ装置。
【請求項８】
請求項５から７のいずれかに記載の高速度カメラ装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする高速度カメラ装置。
【請求項９】
照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理方法であって、
前記変動光源の照度の周波数よりも２倍以上高いフレームレートで撮影された高速度カメラの各フレームの画像を取得する第１のステップと、
第１のステップで取得した前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求める第２のステップと、
第２のステップで求めた前記推移から前記変動光源の照度が０のときの各画素の輝度値を推定する第３のステップと、
第３のステップで求めた前記輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を求める第４のステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法であって、前記第２のステップで、前記各フレームの画像から各画素の輝度値の最大値と最小値とを求め、前記第３のステップで、前記最大値及び最小値を結ぶ直線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
【請求項１１】
請求項９に記載の画像処理方法であって、前記第２のステップで、前記各フレームの画像から、各画素における輝度値の分布を求めて、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記第３のステップで、前記曲線の延長線上に前記変動光源の照度が０のときの輝度値を求め、前記第４のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
【図５】
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１８３２７９（Ｐ２０１０−１８３２７９Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２４０５７（Ｐ２００９−２４０５７）
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
[ Back to top ]