画像合成方法と装置
【課題】ハレーションが発生し得る対象物を撮影し、ハレーションがなくかつ本来の輝度値の大小関係を維持する画像を合成することができる画像合成方法と装置を提供する。
【解決手段】対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、少なくとも一部にハレーションが発生し得る最長露出時間との間で、露出時間を変化させて対象物の複数の元画像を撮影し、複数の元画像から所望の範囲のすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線Ｉを求め、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結び極値を持たない輝度設定線Ｇを設定し、所望の範囲を構成するすべての画素について、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、その交点の輝度値Ｂをその画素の輝度値として対象物の合成画像を作成する。
【解決手段】対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、少なくとも一部にハレーションが発生し得る最長露出時間との間で、露出時間を変化させて対象物の複数の元画像を撮影し、複数の元画像から所望の範囲のすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線Ｉを求め、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結び極値を持たない輝度設定線Ｇを設定し、所望の範囲を構成するすべての画素について、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、その交点の輝度値Ｂをその画素の輝度値として対象物の合成画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハレーションが発生し得る対象物を撮影し、ハレーションがなくかつ本来の輝度値の大小関係を維持する画像を合成する画像合成方法と装置に関する。
【背景技術】
【０００２】
明暗差の大きい対象物や金属面に強い光線を受ける対象物などを、デジタルカメラやビデオカメラで撮影すると、撮影した画像の一部にハレーションが発生し、ハレーション部分及びその周辺の画像品質が大幅に低下することがある。
【０００３】
なお、本出願において、ハレーション（Ｈａｌａｔｉｏｎ）とは、カメラによって写真や映像を撮影する際に、カメラのダイナミックレンジ、すなわちカメラで撮影可能な輝度値を超え、画像を表示できずに白く表示されることを意味する。
【０００４】
従来、ハレーションが発生する場合には、（１）そのまま計測する、（２）対象物の姿勢や位置、または照明の位置を変えるなどしてハレーションが発生しないようにする、（３）ダイナミックレンジの高いカメラを利用する、などの手段がとられていた。
【０００５】
しかし、（１）そのまま計測する場合、ハレーションを発生してしまい、ハレーション部分及びその周辺では、画像認識に必要であるエッジやテクスチャの情報が失われてしまう。また、ハレーションを発生しないように露出時間を短くすると、全体が黒つぶれをおこし、画像処理ができなかった。
また、（２）の場合、対象物や照明の位置や姿勢を変更するため、手間と時間がかかる。また周囲の環境によっては位置や姿勢を変更できない問題があった。
さらに（３）の場合、ダイナミックレンジが高くても限界があり、限界を超えた強い光に対してはハレーションを発生してしまう。また最適な露出時間を調整する必要があり、周囲の環境光の変化によって影響を受ける問題があった。
【０００６】
そこで、ハレーションの影響を低減して対象物を撮影する手段として、特許文献１〜４が既に提案されている。
【０００７】
特許文献１の手段は、照明装置の前に第１の偏光フィルターを設置し、カメラの前にも第２の偏光フィルターを設置して、偏光の角度を第１偏光フィルターと第２偏光フィルターとで９０度違わせることで、照明の光がカメラに入射できないようにし、ハレーションを防ぐものである。
【０００８】
特許文献２の手段は、露出の異なる画像を撮影し、ハレーション部分を検出し、その部分に他の露出時間の画像をはめ込み、周囲の境界部分を平滑化処理によってぼかすものである。
【０００９】
特許文献３の手段は、車のライトによるハレーションを対象としたもので、ハレーション部分の低周波成分を除去することで、ハレーションを除去し、対象物の視認性を向上させるものである。
【００１０】
特許文献４の手段は、初期状態における画像情報に基づいて輝度の最も高い点を検出し、この点がダイナミックレンジよりも高い場合、この点がダイナミックレンジの高域にくるように、絞り部を調整して採光量を低減し、この状態で第１の画像情報を得、この第１の画像情報に基づいてダイナミックレンジの低域における点を検出し、この点がダイナミックレンジの高域にくるように、絞り部を調整して採光量を増加し、この状態で第２の画像情報を得、第１および第２の画像情報に基づいて画像処理を行い、第１の画像情報のダイナミックレンジの低域および第２の画像情報の高域を境界として、第１および第２の画像情報の輝度分布を合成するものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０１−０７４６７６号公報、「パターン認識装置」
【特許文献２】特開２００９−１０５６６号公報、「写真画像のダイナミックレンジを拡大する方法及び撮影装置」
【特許文献３】特開２００４−２８９７８６号公報、「撮影装置」
【特許文献４】特開平３−８３１７５号公報、「画像撮影方法」
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１の手段は、対象物が鏡面反射の物体であれば効果的であるが、その他の物体では効果が薄れる。また自然光に対してハレーションが発生する場合には対処できない。さらに偏光フィルターなどの部品を取り付ける手間がかかる問題がある。
【００１３】
特許文献２の手段は、平滑化処理によってエッジが含まれる場合、ぼけてしまう可能性がある。また、ハレーションは発生していないがハレーションにごく近い部分と、ハレーションを発生している箇所を比較すると、本来の輝度値の大小関係が成り立たない可能性がある。
【００１４】
特許文献３の手段は、ハレーションの中に撮影対象が若干写っていることが条件になっている。そのため、完全な白とびの状況では対応できない。
【００１５】
特許文献４の手段は、画像を撮影してから次に撮影するときの光量の条件を決めているため、遅くなる可能性がある。また、すべて自動で行う場合には絞りを調整する機構が必要である。また、絞りを変えるため、被写界深度が変わる問題点がある。
【００１６】
本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、明暗差の大きい対象物や金属面に強い光線を受ける対象物など、ハレーションが発生し得る対象物を撮影し、ハレーションがなくかつ本来の輝度値の大小関係を維持する画像を合成することができる画像合成方法と装置を提供することにある。
【課題を解決するための手段】
【００１７】
本発明によれば、対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、少なくとも一部にハレーションが発生し得る最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影し、
前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成方法が提供される。
【００１８】
本発明の実施形態によれば、前記輝度設定線を、前記最短露出時間で最大輝度値の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する。
【００１９】
また、別の実施形態によれば、前記輝度設定線を、前記複数の元画像中において最大輝度値を有する最短露出時間の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する。
【００２０】
また、本発明の実施形態によれば、前記露出輝度線を、輝度値が露出時間に比例するようにフィッティングする。
【００２１】
また本発明によれば、対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影するカメラと、
前記複数の元画像から対象物の合成画像を合成する画像処理装置とを備え、
該画像処理装置により、前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成装置が提供される。
【発明の効果】
【００２２】
上記本発明の方法と装置によれば、輝度設定線を、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結んで設定するので、輝度設定線上のすべての点は、カメラのダイナミックレンジ内にあり、ダイナミックレンジを超えるハレーションは発生しない。
【００２３】
また、この輝度設定線は極値を持たないので、露出時間の増加に対して常に輝度値が低下する。従って、前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を合成することにより、ハレーションがなくかつ本来の輝度値の大小関係を維持することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明による画像合成装置の全体構成図である。
【図２】本発明の方法の全体フロー図である。
【図３】元画素中の各画素の露出時間と輝度値の関係図である。
【図４】輝度設定線の設定方法の第１、第２の実施形態の説明図である。
【図５】露出輝度線の設定方法の第１、第２の実施形態の説明図である。
【図６】輝度設定線の設定方法の第３、第４の実施形態の説明図である。
【図７】本発明の方法の別の全体フロー図である。
【図８】図７に対応する露出時間と輝度値の関係図である。
【発明を実施するための形態】
【００２５】
以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００２６】
図１は、本発明による画像合成装置の全体構成図である。
本発明の画像合成装置１０は、ハレーションが発生し得る対象物１を撮影し、ハレーションがなく、かつ本来の輝度値の大小関係を維持する合成画像３を合成するものである。
【００２７】
この図において、本発明の画像合成装置１０は、カメラ１２と画像処理装置１４を備える。
カメラ１２は、シャッター速度、すなわち露出時間が可変なデジタルカメラ又はビデオカメラであり、対象物１を撮影しＣＣＤ又はＣＭＯＳにより、デジタル画像２を出力する。以下、かかるデジタル画像２を「元画像」と呼ぶ。
画像処理装置１４は、記憶装置１４ａと演算装置１４ｂを備えたコンピュータであり、複数の元画像２から対象物１の合成画像３を合成するようになっている。画像処理装置１４は、記憶装置１４ａと演算装置１４ｂを用いて、後述する本発明の方法を実施するようになっている。
合成画像３は、例えば画像表示装置１６で表示される。
【００２８】
以下、上述したカメラ１２と画像処理装置１４を用いた本発明の画像合成方法を説明する。
【００２９】
図２は、本発明の方法の全体フロー図である。この図において、本発明の方法は、元画像撮影ステップＳ１、露出輝度線算出ステップＳ２、輝度設定線設定ステップＳ３、及び合成画像作成ステップＳ４を有する。
【００３０】
元画像撮影ステップＳ１では、カメラ１２を用いてハレーションが発生し得る対象物１を、露出時間を変えて複数の元画像２を撮影する。
すなわち、ステップＳ１１において、対象物１の所望の範囲においてハレーションが発生し得ない最短露出時間Ｔminと、少なくとも一部にハレーションが発生し得る最長露出時間Ｔmaxと、撮影枚数Ｎを設定する。次に、ステップＳ１２において、露出時間ＴｉをＴminからＴmaxまで順次変化させて、Ｎ枚の元画像２を撮影し、元画像メモリＡｉにそれぞれ格納する。
【００３１】
対象物１の所望の範囲は、その一部でも全部でもよい。
最短露出時間Ｔminは、例えばカメラ１２の可能な最高速度（例えば１／１００００ｓｅｃ＝０．１ｍｓｅｃ）であるが、ハレーションがどこにも発生し得ない限りで、それ以外の任意の露出時間であってもよい。
最長露出時間Ｔmaxは、例えばカメラ１２の可能な最低速度（例えば１ｓｅｃ＝１０００ｍｓｅｃ）であるが、少なくとも一部にハレーションが発生し得る限りで、それ以外の任意の露出時間であってもよい。
【００３２】
元画像２の撮影枚数Ｎは、最短露出時間Ｔminと最長露出時間Ｔmaxを含む少なくとも２枚であるが、中間の露出時間に対応する１枚以上を含むのが好ましい。また、露出時間Ｔｉは、最長露出時間Ｔmaxと最短露出時間Ｔminの間に等比級数的に定めるのが好ましいが、それ以外であってもよい。
また撮影時のカメラ１２の絞りは、最短露出時間Ｔminから最長露出時間Ｔmaxで撮影された元画像２の少なくとも一部に認識可能な画像があるように設定する。
【００３３】
図３は、元画素中の各画素の露出時間と輝度値の関係図である。
カメラ１２で撮影した元画像２において、元画像中の任意の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅの露出時間ｔと輝度値Ｂ（ｘ、ｙ）の関係はこの図のようになる。
露出輝度線算出ステップＳ２では、対象物１の同一位置（ｘ、ｙ）における各画素の露出時間ｔと輝度値Ｂの関係Ｉ（以下「露出輝度線」と呼ぶ）を算出する。露出輝度線Ｉは、元画像２中の画素の位置（ｘ、ｙ）毎に、Ｂ１（ｘ、ｙ）＝ｆ（ｔ）・・・（１）で与えられる。ここで、関数ｆ（ｔ）は元画像２中の画素の位置（ｘ、ｙ）毎に異なる。
【００３４】
輝度設定線設定ステップＳ３では、カメラ１２のダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結び、かつ極値を持たない線Ｇ（以下、「輝度設定線」と呼ぶ）を算出する。輝度設定線Ｇは、輝度値Ｂ２＝ｇ（ｔ）・・・（２）で与えられる。ここで、関数ｇ（ｔ）は露出時間ｔで一意的に決まる。
輝度設定線Ｇは、図３においては、露出時間ｔ（横軸）を対数表示する片対数グラフ（縦軸：輝度）において右下がり（傾きが負）の直線であり、ハレーション部分Ｎ（ダイナミックレンジを超える部分）と交差しないように設定する。
なお、輝度設定線Ｇは、直線に限定されず、極値（最大値、最小値）を持たない限りで、曲線であってもよい。
【００３５】
次に、合成画像作成ステップＳ４では、所望の範囲を構成するすべての画素について、ステップＳ４１において輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求める。次いで、ステップＳ４２においてその交点の輝度値Ｂ（ｘ、ｙ）をその画素の輝度値Ｂとして採用し、採用した輝度値で対象物の合成画像Ｂを合成する。さらにステップＳ４３において、合成画像３を画像表示装置１６に出力する。
すなわち、図３において、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、そのときの輝度値Ｂをその画素の輝度値として採用する。この処理をすべての画素について行うことにより、ハレーションを発生していない画像Ｂが合成できる。
【００３６】
図４は、輝度設定線の設定方法の第１、第２の実施形態の説明図である。
この図において、第１実施形態の輝度設定線Ｇ１は、取得した元画像データの中で［ｘ，ｙ］＝［最も短い露出時間（元画像データ１の露出時間），２５５（８ビット画像時）］と［ｘ，ｙ］＝［最も長い露出時間（データ１３の露出時間）、０］の２点を通るように設定する。すなわち、この例で高輝度点Ｈ１は、最短露出時間で最大輝度値の点である。
この輝度設定線Ｇ１の設定方法は単純であるが、合成画像の最大輝度値が２５５（８ビット画像において）になるとは限らない。
【００３７】
図４において、第２実施形態の輝度設定線Ｇ２は、輝度値が２５５（８ビット画像時）になる画素が出現する最も短い露出時間Ｔａを探索し、［ｘ，ｙ］＝［Ｔａ、２５５（８ビット画像時）］と［ｘ，ｙ］＝［最も長い露出時間、Ｌ１］の２点を通るように設定する。
すなわち、この例で高輝度点Ｈ１は、複数の元画像中において最大輝度値を有する最短露出時間の点であり、低輝度点Ｌ１は、最長露出時間で最小輝度値の点である。
輝度設定線Ｇ２の設定方法は、確実に合成画像の最大輝度値が２５５になり、傾きも急であるため、輝度設定線Ｇ１よりもコントラストの強い画像が得られる。
【００３８】
図５は、露出輝度線の設定方法の第１、第２の実施形態の説明図である。
横軸を露出時間ｔ、縦軸を輝度Ｂとする対数表示でないグラフにおいて、露出輝度線Ｉは、露出時間と光量が比例することから、輝度Ｂ＝ａｔ（ａは比例定数）という直線になる。そこで、第１実施形態の露出輝度線の設定方法では、得られた画像からこの形（直線）にフィッティングする。図５はこのグラフを対数表示に変換した図に相当する。
【００３９】
第２実施形態の露出輝度線の設定方法では、各露出時間の区間ごとに輝度Ｂ＝ｃｌｏｇ（ｔ）＋ｂ（Ｅｊ＜ｔ≦Ｅｊ＋１）の形に対数表示のグラフ上で直線近似をする。言い換えれば、第１実施形態の露出輝度線の設定方法では、露出輝度線がなめらかな曲線となり、第２実施形態の露出輝度線の設定方法では、露出輝度線は複数の元画像を撮影した露出時間の各区間で折れ線となる。
このとき、区間の片方がハレーションを発生している際は図５中の区間Ｆ２のように正しくない直線になる。そこで、１つ前の区間Ｆ１の直線を延長するのがよい。
【００４０】
なお、上述したように、本発明の方法では露出時間ｔを変えてイメージセンサへ入る光量を変えているが、被写界深度内に入っている範囲（ピントの合っている範囲）で絞りを変えてもよい。また、ノイズの影響が大きくなるが、ゲインを変えてもよい。また、これらを組み合わせてイメージセンサに入力する光量を変えてもよい。
【００４１】
図６は、輝度設定線の設定方法の第３、第４の実施形態の説明図である。
上述した例では、輝度設定線Ｇは直線になっているが、曲線でもかまわない。この場合、曲線のとり方によって、コントラストの強弱を設定できる。
例えば、図６の輝度設定線Ｇ３の場合は、明るいところのコントラストが小さく、暗いところとのコントラストが大きくなる。一方、輝度設定線Ｇ４の場合は、明るいところのコントラストが大きく、暗いところのコントラストが小さくなる。
なお、輝度設定線Ｇは、必ず極値（最大値、最小値）を持たないように設定する。すなわち、輝度設定線は、露出時間が短い高輝度点Ｈと、露出時間が長い低輝度点Ｌとを結ぶので、必ず右下がりの線であり、かつ極値を持たないので、画素間の輝度値Ｂの大小関係が入れ替わることはない。
【００４２】
入力画像と出力画像のビット深度は異なってもかまわない。例えば、入力画像が８ｂｉｔの場合、輝度値は０〜２５５の整数値をとる。しかし、輝度設定線との交点は整数値ではなく小数になるため、８ｂｉｔ画像に出力すると小数点以下部分の情報が失われてしまうが、出力画像を１６ｂｉｔにすると小数点部分の情報を残すことができる。また、このようにしてビット深度の高い画像に合成画像を保存しておけば、明るい部分や暗い部分などの任意の明るさの画像を低ビット深度の画像に変換することもできる。
【００４３】
上述のようにビット深度の高い画像に合成した場合、８ｂｉｔ以上の色数が必要になる場合がある。このような画像を表示する際に、ディスプレイの性能が不足する場合がある。近年のディスプレイは８ｂｉｔ以上の色数に対応できるが、ディザリングを用いることで、さらに深いビット深度の画像を表示できるようになる。
【００４４】
カメラはカラーカメラでもよい。この場合、ＲＧＢの成分ごとに本発明の方法を適用しても、ＨＳＶ成分ごとに適用してもよい。
【００４５】
上述した本発明の方法を行うと、コントラストの低下を招く。そこで、輝度設定線の設定方法で、輝度設定線Ｇ２による設定方法の場合には画像内のうち、必要領域から輝度設定線を算出するのがよい。
この方法により、必要領域外はハレーションが発生する可能性があるが、必要領域におけるハレーションを確実に防止できる。
【００４６】
一回の撮影ではノイズの影響が強い。そこで同じ露出時間で複数回撮影した画像の平均値を各露出時間での輝度値とすることで、ノイズを低減させることもできる。
【００４７】
露出輝度線は上述したように、直線Ｂ＝ａｔ（ａは比例定数）の形になる。そこで、得られた画像からこの式にフィッティングして露出輝度線を求めることもできる。
【００４８】
また、イメージセンサを複数用意し、ハーフミラーやプリズムなどを用いて、レンズから入力される光を、それぞれのイメージセンサに照射できるような構造を持つカメラを用いてもよい。
この場合には同時に露光するため、移動物体に対しても本発明の方法を適用できる。ただし、移動体の速度や最大露出時間によってはブレが生じる。露出時間を短くし、ゲインを変えれば、高速の移動物体に対しても本発明の方法を適用できる。
【００４９】
また、カメラをアレイ状に並べた構造を持つカメラを用いてもよい。各カメラでそれぞれの露出時間を設定すれば、上述したように、本発明の方法を適用するのに必要な撮影時間が最大露出時間と等しくなる。また、各カメラでレンズの絞りを調整して撮影することで、露出時間を高速に設定でき、移動物体に対しても本発明の方法を適用できる。
【００５０】
図７は、本発明の方法の別の全体フロー図である。また、図８は、図７に対応する露出時間と輝度値の関係図である。
【００５１】
図７の方法では、図中の各区間ごとに撮影し、露出輝度線を算出し、輝度設定線との交点を計算する。この方法により撮影した結果の画像のメモリは２枚分だけで足りるようになる。
例えば、図７において、本発明の方法はＴ１〜Ｔ６の各ステップからなる。
【００５２】
（１） ステップＴ１，Ｔ２において、区間ｉ＝０とｉ＝１の画像を撮影し、それぞれの画像を画像Ａ１と画像Ａ２とする。
（２） ステップＴ３において、画像Ａ１，Ａ２から区間ｉ＝０とｉ＝１の間の露出輝度線を計算する。
（３） 図８では、画素Ａはこの区間で輝度設定線とは交わらない。他の画素についても同様である。従ってこの区間での演算を終える。
（４） ステップＴ２〜Ｔ３において、次の区間の演算の準備を行う。ステップＴ５において、画像Ａ２のメモリの参照先と画像Ａ１のメモリの参照先を交換する。このようにすることで、時間をかけずに画像Ａ２を画像Ａ１に移動することができる。
【００５３】
（５） ステップＴ２において、画像Ａ２にｉ＝２における画像を撮影して格納する。
（６） 同様に画像Ａ１，Ａ２の画像から区間ｉ＝１とｉ＝２における露出輝度線を計算する。ここでも輝度設定線と交差する点はないので、画像Ａ２の画像をＡ１に移動する。
（７） （４）〜（６）を繰り返す。
このように繰り返すと、図８で画素Ａは区間ｉ＝３とｉ＝４で露出輝度線と輝度設定線が交わる。
（８） ステップＴ４において、このときの交点の座標（輝度値）を合成画像Ｂの画素Ａの輝度値として出力する。
（９） 以降の計算では、画素Ａの計算を省略することで高速化ができる。
（１０） Ｔ６において、合成画像Ｂを画像表示装置１６に出力する。
【００５４】
上述した本発明の方法と装置によれば、輝度設定線Ｇを、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結んで設定するので、輝度設定線Ｇ上のすべての点は、カメラのダイナミックレンジ内にあり、ダイナミックレンジを超えるハレーションは発生しない。
また、この輝度設定線Ｇは極値を持たないので、露出時間ｔの増加に対して常に輝度値Ｂが低下する。従って、所望の範囲を構成するすべての画素について、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、その交点の輝度値Ｂをその画素の輝度値として対象物の合成画像３を合成することにより、ハレーションがなくかつ本来の輝度値Ｂの大小関係を維持することができる。
【００５５】
従って、本発明の方法と装置は、以下の効果を有する。
（１） 合成画像にハレーションが発生しなくなる。
（２） 位置や姿勢を変更する必要はなく、手間がかからない。また、周囲の環境にも影響されにくい。
（３） 対象が鏡面反射である必要はない。また、自然光にも対応できる。
（４） 本発明では、確実にハレーションは発生せず、露出時間を変えることができれば、限界はない。また、最適な露出時間を設定する必要がない。さらに、周囲の環境光の変化に対して強い。
（５） 平滑化処理などは実施しないので、撮影した画像のエッジが鮮明であれば、合成画像のエッジがぼけることはない。また輝度設定線（輝度設定線）は、露出時間が短い高輝度点と、露出時間が長い低輝度点とを結ぶので、必ず右下がりの線であり、かつ極値を持たないので、画素間の輝度値の大小関係が入れ替わることはない。
（６） ハレーションのため撮影対象が完全な白とびになっていても、露出時間を小さくして写すことができれば、本発明によりハレーション部分の再現ができる。
（７） あらかじめ、露出時間を決めて撮影するので反応が早い。露出時間を変更する場合には特殊な機構は必要ない。露出時間を変更するので被写界深度は変わらない。
【００５６】
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。
【符号の説明】
【００５７】
１ 対象物、２ 元画像、３ 合成画像、
１０ 画像合成装置、１２ カメラ、
１４ 画像処理装置、
１４ａ 記憶装置、１４ｂ 演算装置、
１６ 画像表示装置、
Ｈ 高輝度点、Ｌ 低輝度点、
Ｉ 露出輝度線、Ｇ 輝度設定線
【技術分野】
【０００１】
本発明は、ハレーションが発生し得る対象物を撮影し、ハレーションがなくかつ本来の輝度値の大小関係を維持する画像を合成する画像合成方法と装置に関する。
【背景技術】
【０００２】
明暗差の大きい対象物や金属面に強い光線を受ける対象物などを、デジタルカメラやビデオカメラで撮影すると、撮影した画像の一部にハレーションが発生し、ハレーション部分及びその周辺の画像品質が大幅に低下することがある。
【０００３】
なお、本出願において、ハレーション（Ｈａｌａｔｉｏｎ）とは、カメラによって写真や映像を撮影する際に、カメラのダイナミックレンジ、すなわちカメラで撮影可能な輝度値を超え、画像を表示できずに白く表示されることを意味する。
【０００４】
従来、ハレーションが発生する場合には、（１）そのまま計測する、（２）対象物の姿勢や位置、または照明の位置を変えるなどしてハレーションが発生しないようにする、（３）ダイナミックレンジの高いカメラを利用する、などの手段がとられていた。
【０００５】
しかし、（１）そのまま計測する場合、ハレーションを発生してしまい、ハレーション部分及びその周辺では、画像認識に必要であるエッジやテクスチャの情報が失われてしまう。また、ハレーションを発生しないように露出時間を短くすると、全体が黒つぶれをおこし、画像処理ができなかった。
また、（２）の場合、対象物や照明の位置や姿勢を変更するため、手間と時間がかかる。また周囲の環境によっては位置や姿勢を変更できない問題があった。
さらに（３）の場合、ダイナミックレンジが高くても限界があり、限界を超えた強い光に対してはハレーションを発生してしまう。また最適な露出時間を調整する必要があり、周囲の環境光の変化によって影響を受ける問題があった。
【０００６】
そこで、ハレーションの影響を低減して対象物を撮影する手段として、特許文献１〜４が既に提案されている。
【０００７】
特許文献１の手段は、照明装置の前に第１の偏光フィルターを設置し、カメラの前にも第２の偏光フィルターを設置して、偏光の角度を第１偏光フィルターと第２偏光フィルターとで９０度違わせることで、照明の光がカメラに入射できないようにし、ハレーションを防ぐものである。
【０００８】
特許文献２の手段は、露出の異なる画像を撮影し、ハレーション部分を検出し、その部分に他の露出時間の画像をはめ込み、周囲の境界部分を平滑化処理によってぼかすものである。
【０００９】
特許文献３の手段は、車のライトによるハレーションを対象としたもので、ハレーション部分の低周波成分を除去することで、ハレーションを除去し、対象物の視認性を向上させるものである。
【００１０】
特許文献４の手段は、初期状態における画像情報に基づいて輝度の最も高い点を検出し、この点がダイナミックレンジよりも高い場合、この点がダイナミックレンジの高域にくるように、絞り部を調整して採光量を低減し、この状態で第１の画像情報を得、この第１の画像情報に基づいてダイナミックレンジの低域における点を検出し、この点がダイナミックレンジの高域にくるように、絞り部を調整して採光量を増加し、この状態で第２の画像情報を得、第１および第２の画像情報に基づいて画像処理を行い、第１の画像情報のダイナミックレンジの低域および第２の画像情報の高域を境界として、第１および第２の画像情報の輝度分布を合成するものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０１−０７４６７６号公報、「パターン認識装置」
【特許文献２】特開２００９−１０５６６号公報、「写真画像のダイナミックレンジを拡大する方法及び撮影装置」
【特許文献３】特開２００４−２８９７８６号公報、「撮影装置」
【特許文献４】特開平３−８３１７５号公報、「画像撮影方法」
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１の手段は、対象物が鏡面反射の物体であれば効果的であるが、その他の物体では効果が薄れる。また自然光に対してハレーションが発生する場合には対処できない。さらに偏光フィルターなどの部品を取り付ける手間がかかる問題がある。
【００１３】
特許文献２の手段は、平滑化処理によってエッジが含まれる場合、ぼけてしまう可能性がある。また、ハレーションは発生していないがハレーションにごく近い部分と、ハレーションを発生している箇所を比較すると、本来の輝度値の大小関係が成り立たない可能性がある。
【００１４】
特許文献３の手段は、ハレーションの中に撮影対象が若干写っていることが条件になっている。そのため、完全な白とびの状況では対応できない。
【００１５】
特許文献４の手段は、画像を撮影してから次に撮影するときの光量の条件を決めているため、遅くなる可能性がある。また、すべて自動で行う場合には絞りを調整する機構が必要である。また、絞りを変えるため、被写界深度が変わる問題点がある。
【００１６】
本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、明暗差の大きい対象物や金属面に強い光線を受ける対象物など、ハレーションが発生し得る対象物を撮影し、ハレーションがなくかつ本来の輝度値の大小関係を維持する画像を合成することができる画像合成方法と装置を提供することにある。
【課題を解決するための手段】
【００１７】
本発明によれば、対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、少なくとも一部にハレーションが発生し得る最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影し、
前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成方法が提供される。
【００１８】
本発明の実施形態によれば、前記輝度設定線を、前記最短露出時間で最大輝度値の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する。
【００１９】
また、別の実施形態によれば、前記輝度設定線を、前記複数の元画像中において最大輝度値を有する最短露出時間の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する。
【００２０】
また、本発明の実施形態によれば、前記露出輝度線を、輝度値が露出時間に比例するようにフィッティングする。
【００２１】
また本発明によれば、対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影するカメラと、
前記複数の元画像から対象物の合成画像を合成する画像処理装置とを備え、
該画像処理装置により、前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成装置が提供される。
【発明の効果】
【００２２】
上記本発明の方法と装置によれば、輝度設定線を、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結んで設定するので、輝度設定線上のすべての点は、カメラのダイナミックレンジ内にあり、ダイナミックレンジを超えるハレーションは発生しない。
【００２３】
また、この輝度設定線は極値を持たないので、露出時間の増加に対して常に輝度値が低下する。従って、前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を合成することにより、ハレーションがなくかつ本来の輝度値の大小関係を維持することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明による画像合成装置の全体構成図である。
【図２】本発明の方法の全体フロー図である。
【図３】元画素中の各画素の露出時間と輝度値の関係図である。
【図４】輝度設定線の設定方法の第１、第２の実施形態の説明図である。
【図５】露出輝度線の設定方法の第１、第２の実施形態の説明図である。
【図６】輝度設定線の設定方法の第３、第４の実施形態の説明図である。
【図７】本発明の方法の別の全体フロー図である。
【図８】図７に対応する露出時間と輝度値の関係図である。
【発明を実施するための形態】
【００２５】
以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００２６】
図１は、本発明による画像合成装置の全体構成図である。
本発明の画像合成装置１０は、ハレーションが発生し得る対象物１を撮影し、ハレーションがなく、かつ本来の輝度値の大小関係を維持する合成画像３を合成するものである。
【００２７】
この図において、本発明の画像合成装置１０は、カメラ１２と画像処理装置１４を備える。
カメラ１２は、シャッター速度、すなわち露出時間が可変なデジタルカメラ又はビデオカメラであり、対象物１を撮影しＣＣＤ又はＣＭＯＳにより、デジタル画像２を出力する。以下、かかるデジタル画像２を「元画像」と呼ぶ。
画像処理装置１４は、記憶装置１４ａと演算装置１４ｂを備えたコンピュータであり、複数の元画像２から対象物１の合成画像３を合成するようになっている。画像処理装置１４は、記憶装置１４ａと演算装置１４ｂを用いて、後述する本発明の方法を実施するようになっている。
合成画像３は、例えば画像表示装置１６で表示される。
【００２８】
以下、上述したカメラ１２と画像処理装置１４を用いた本発明の画像合成方法を説明する。
【００２９】
図２は、本発明の方法の全体フロー図である。この図において、本発明の方法は、元画像撮影ステップＳ１、露出輝度線算出ステップＳ２、輝度設定線設定ステップＳ３、及び合成画像作成ステップＳ４を有する。
【００３０】
元画像撮影ステップＳ１では、カメラ１２を用いてハレーションが発生し得る対象物１を、露出時間を変えて複数の元画像２を撮影する。
すなわち、ステップＳ１１において、対象物１の所望の範囲においてハレーションが発生し得ない最短露出時間Ｔminと、少なくとも一部にハレーションが発生し得る最長露出時間Ｔmaxと、撮影枚数Ｎを設定する。次に、ステップＳ１２において、露出時間ＴｉをＴminからＴmaxまで順次変化させて、Ｎ枚の元画像２を撮影し、元画像メモリＡｉにそれぞれ格納する。
【００３１】
対象物１の所望の範囲は、その一部でも全部でもよい。
最短露出時間Ｔminは、例えばカメラ１２の可能な最高速度（例えば１／１００００ｓｅｃ＝０．１ｍｓｅｃ）であるが、ハレーションがどこにも発生し得ない限りで、それ以外の任意の露出時間であってもよい。
最長露出時間Ｔmaxは、例えばカメラ１２の可能な最低速度（例えば１ｓｅｃ＝１０００ｍｓｅｃ）であるが、少なくとも一部にハレーションが発生し得る限りで、それ以外の任意の露出時間であってもよい。
【００３２】
元画像２の撮影枚数Ｎは、最短露出時間Ｔminと最長露出時間Ｔmaxを含む少なくとも２枚であるが、中間の露出時間に対応する１枚以上を含むのが好ましい。また、露出時間Ｔｉは、最長露出時間Ｔmaxと最短露出時間Ｔminの間に等比級数的に定めるのが好ましいが、それ以外であってもよい。
また撮影時のカメラ１２の絞りは、最短露出時間Ｔminから最長露出時間Ｔmaxで撮影された元画像２の少なくとも一部に認識可能な画像があるように設定する。
【００３３】
図３は、元画素中の各画素の露出時間と輝度値の関係図である。
カメラ１２で撮影した元画像２において、元画像中の任意の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅの露出時間ｔと輝度値Ｂ（ｘ、ｙ）の関係はこの図のようになる。
露出輝度線算出ステップＳ２では、対象物１の同一位置（ｘ、ｙ）における各画素の露出時間ｔと輝度値Ｂの関係Ｉ（以下「露出輝度線」と呼ぶ）を算出する。露出輝度線Ｉは、元画像２中の画素の位置（ｘ、ｙ）毎に、Ｂ１（ｘ、ｙ）＝ｆ（ｔ）・・・（１）で与えられる。ここで、関数ｆ（ｔ）は元画像２中の画素の位置（ｘ、ｙ）毎に異なる。
【００３４】
輝度設定線設定ステップＳ３では、カメラ１２のダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結び、かつ極値を持たない線Ｇ（以下、「輝度設定線」と呼ぶ）を算出する。輝度設定線Ｇは、輝度値Ｂ２＝ｇ（ｔ）・・・（２）で与えられる。ここで、関数ｇ（ｔ）は露出時間ｔで一意的に決まる。
輝度設定線Ｇは、図３においては、露出時間ｔ（横軸）を対数表示する片対数グラフ（縦軸：輝度）において右下がり（傾きが負）の直線であり、ハレーション部分Ｎ（ダイナミックレンジを超える部分）と交差しないように設定する。
なお、輝度設定線Ｇは、直線に限定されず、極値（最大値、最小値）を持たない限りで、曲線であってもよい。
【００３５】
次に、合成画像作成ステップＳ４では、所望の範囲を構成するすべての画素について、ステップＳ４１において輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求める。次いで、ステップＳ４２においてその交点の輝度値Ｂ（ｘ、ｙ）をその画素の輝度値Ｂとして採用し、採用した輝度値で対象物の合成画像Ｂを合成する。さらにステップＳ４３において、合成画像３を画像表示装置１６に出力する。
すなわち、図３において、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、そのときの輝度値Ｂをその画素の輝度値として採用する。この処理をすべての画素について行うことにより、ハレーションを発生していない画像Ｂが合成できる。
【００３６】
図４は、輝度設定線の設定方法の第１、第２の実施形態の説明図である。
この図において、第１実施形態の輝度設定線Ｇ１は、取得した元画像データの中で［ｘ，ｙ］＝［最も短い露出時間（元画像データ１の露出時間），２５５（８ビット画像時）］と［ｘ，ｙ］＝［最も長い露出時間（データ１３の露出時間）、０］の２点を通るように設定する。すなわち、この例で高輝度点Ｈ１は、最短露出時間で最大輝度値の点である。
この輝度設定線Ｇ１の設定方法は単純であるが、合成画像の最大輝度値が２５５（８ビット画像において）になるとは限らない。
【００３７】
図４において、第２実施形態の輝度設定線Ｇ２は、輝度値が２５５（８ビット画像時）になる画素が出現する最も短い露出時間Ｔａを探索し、［ｘ，ｙ］＝［Ｔａ、２５５（８ビット画像時）］と［ｘ，ｙ］＝［最も長い露出時間、Ｌ１］の２点を通るように設定する。
すなわち、この例で高輝度点Ｈ１は、複数の元画像中において最大輝度値を有する最短露出時間の点であり、低輝度点Ｌ１は、最長露出時間で最小輝度値の点である。
輝度設定線Ｇ２の設定方法は、確実に合成画像の最大輝度値が２５５になり、傾きも急であるため、輝度設定線Ｇ１よりもコントラストの強い画像が得られる。
【００３８】
図５は、露出輝度線の設定方法の第１、第２の実施形態の説明図である。
横軸を露出時間ｔ、縦軸を輝度Ｂとする対数表示でないグラフにおいて、露出輝度線Ｉは、露出時間と光量が比例することから、輝度Ｂ＝ａｔ（ａは比例定数）という直線になる。そこで、第１実施形態の露出輝度線の設定方法では、得られた画像からこの形（直線）にフィッティングする。図５はこのグラフを対数表示に変換した図に相当する。
【００３９】
第２実施形態の露出輝度線の設定方法では、各露出時間の区間ごとに輝度Ｂ＝ｃｌｏｇ（ｔ）＋ｂ（Ｅｊ＜ｔ≦Ｅｊ＋１）の形に対数表示のグラフ上で直線近似をする。言い換えれば、第１実施形態の露出輝度線の設定方法では、露出輝度線がなめらかな曲線となり、第２実施形態の露出輝度線の設定方法では、露出輝度線は複数の元画像を撮影した露出時間の各区間で折れ線となる。
このとき、区間の片方がハレーションを発生している際は図５中の区間Ｆ２のように正しくない直線になる。そこで、１つ前の区間Ｆ１の直線を延長するのがよい。
【００４０】
なお、上述したように、本発明の方法では露出時間ｔを変えてイメージセンサへ入る光量を変えているが、被写界深度内に入っている範囲（ピントの合っている範囲）で絞りを変えてもよい。また、ノイズの影響が大きくなるが、ゲインを変えてもよい。また、これらを組み合わせてイメージセンサに入力する光量を変えてもよい。
【００４１】
図６は、輝度設定線の設定方法の第３、第４の実施形態の説明図である。
上述した例では、輝度設定線Ｇは直線になっているが、曲線でもかまわない。この場合、曲線のとり方によって、コントラストの強弱を設定できる。
例えば、図６の輝度設定線Ｇ３の場合は、明るいところのコントラストが小さく、暗いところとのコントラストが大きくなる。一方、輝度設定線Ｇ４の場合は、明るいところのコントラストが大きく、暗いところのコントラストが小さくなる。
なお、輝度設定線Ｇは、必ず極値（最大値、最小値）を持たないように設定する。すなわち、輝度設定線は、露出時間が短い高輝度点Ｈと、露出時間が長い低輝度点Ｌとを結ぶので、必ず右下がりの線であり、かつ極値を持たないので、画素間の輝度値Ｂの大小関係が入れ替わることはない。
【００４２】
入力画像と出力画像のビット深度は異なってもかまわない。例えば、入力画像が８ｂｉｔの場合、輝度値は０〜２５５の整数値をとる。しかし、輝度設定線との交点は整数値ではなく小数になるため、８ｂｉｔ画像に出力すると小数点以下部分の情報が失われてしまうが、出力画像を１６ｂｉｔにすると小数点部分の情報を残すことができる。また、このようにしてビット深度の高い画像に合成画像を保存しておけば、明るい部分や暗い部分などの任意の明るさの画像を低ビット深度の画像に変換することもできる。
【００４３】
上述のようにビット深度の高い画像に合成した場合、８ｂｉｔ以上の色数が必要になる場合がある。このような画像を表示する際に、ディスプレイの性能が不足する場合がある。近年のディスプレイは８ｂｉｔ以上の色数に対応できるが、ディザリングを用いることで、さらに深いビット深度の画像を表示できるようになる。
【００４４】
カメラはカラーカメラでもよい。この場合、ＲＧＢの成分ごとに本発明の方法を適用しても、ＨＳＶ成分ごとに適用してもよい。
【００４５】
上述した本発明の方法を行うと、コントラストの低下を招く。そこで、輝度設定線の設定方法で、輝度設定線Ｇ２による設定方法の場合には画像内のうち、必要領域から輝度設定線を算出するのがよい。
この方法により、必要領域外はハレーションが発生する可能性があるが、必要領域におけるハレーションを確実に防止できる。
【００４６】
一回の撮影ではノイズの影響が強い。そこで同じ露出時間で複数回撮影した画像の平均値を各露出時間での輝度値とすることで、ノイズを低減させることもできる。
【００４７】
露出輝度線は上述したように、直線Ｂ＝ａｔ（ａは比例定数）の形になる。そこで、得られた画像からこの式にフィッティングして露出輝度線を求めることもできる。
【００４８】
また、イメージセンサを複数用意し、ハーフミラーやプリズムなどを用いて、レンズから入力される光を、それぞれのイメージセンサに照射できるような構造を持つカメラを用いてもよい。
この場合には同時に露光するため、移動物体に対しても本発明の方法を適用できる。ただし、移動体の速度や最大露出時間によってはブレが生じる。露出時間を短くし、ゲインを変えれば、高速の移動物体に対しても本発明の方法を適用できる。
【００４９】
また、カメラをアレイ状に並べた構造を持つカメラを用いてもよい。各カメラでそれぞれの露出時間を設定すれば、上述したように、本発明の方法を適用するのに必要な撮影時間が最大露出時間と等しくなる。また、各カメラでレンズの絞りを調整して撮影することで、露出時間を高速に設定でき、移動物体に対しても本発明の方法を適用できる。
【００５０】
図７は、本発明の方法の別の全体フロー図である。また、図８は、図７に対応する露出時間と輝度値の関係図である。
【００５１】
図７の方法では、図中の各区間ごとに撮影し、露出輝度線を算出し、輝度設定線との交点を計算する。この方法により撮影した結果の画像のメモリは２枚分だけで足りるようになる。
例えば、図７において、本発明の方法はＴ１〜Ｔ６の各ステップからなる。
【００５２】
（１） ステップＴ１，Ｔ２において、区間ｉ＝０とｉ＝１の画像を撮影し、それぞれの画像を画像Ａ１と画像Ａ２とする。
（２） ステップＴ３において、画像Ａ１，Ａ２から区間ｉ＝０とｉ＝１の間の露出輝度線を計算する。
（３） 図８では、画素Ａはこの区間で輝度設定線とは交わらない。他の画素についても同様である。従ってこの区間での演算を終える。
（４） ステップＴ２〜Ｔ３において、次の区間の演算の準備を行う。ステップＴ５において、画像Ａ２のメモリの参照先と画像Ａ１のメモリの参照先を交換する。このようにすることで、時間をかけずに画像Ａ２を画像Ａ１に移動することができる。
【００５３】
（５） ステップＴ２において、画像Ａ２にｉ＝２における画像を撮影して格納する。
（６） 同様に画像Ａ１，Ａ２の画像から区間ｉ＝１とｉ＝２における露出輝度線を計算する。ここでも輝度設定線と交差する点はないので、画像Ａ２の画像をＡ１に移動する。
（７） （４）〜（６）を繰り返す。
このように繰り返すと、図８で画素Ａは区間ｉ＝３とｉ＝４で露出輝度線と輝度設定線が交わる。
（８） ステップＴ４において、このときの交点の座標（輝度値）を合成画像Ｂの画素Ａの輝度値として出力する。
（９） 以降の計算では、画素Ａの計算を省略することで高速化ができる。
（１０） Ｔ６において、合成画像Ｂを画像表示装置１６に出力する。
【００５４】
上述した本発明の方法と装置によれば、輝度設定線Ｇを、カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点Ｈと、露出時間が長い場合の低輝度値の点Ｌとを結んで設定するので、輝度設定線Ｇ上のすべての点は、カメラのダイナミックレンジ内にあり、ダイナミックレンジを超えるハレーションは発生しない。
また、この輝度設定線Ｇは極値を持たないので、露出時間ｔの増加に対して常に輝度値Ｂが低下する。従って、所望の範囲を構成するすべての画素について、輝度設定線Ｇと各画素の露出輝度線Ｉとの交点を求めて、その交点の輝度値Ｂをその画素の輝度値として対象物の合成画像３を合成することにより、ハレーションがなくかつ本来の輝度値Ｂの大小関係を維持することができる。
【００５５】
従って、本発明の方法と装置は、以下の効果を有する。
（１） 合成画像にハレーションが発生しなくなる。
（２） 位置や姿勢を変更する必要はなく、手間がかからない。また、周囲の環境にも影響されにくい。
（３） 対象が鏡面反射である必要はない。また、自然光にも対応できる。
（４） 本発明では、確実にハレーションは発生せず、露出時間を変えることができれば、限界はない。また、最適な露出時間を設定する必要がない。さらに、周囲の環境光の変化に対して強い。
（５） 平滑化処理などは実施しないので、撮影した画像のエッジが鮮明であれば、合成画像のエッジがぼけることはない。また輝度設定線（輝度設定線）は、露出時間が短い高輝度点と、露出時間が長い低輝度点とを結ぶので、必ず右下がりの線であり、かつ極値を持たないので、画素間の輝度値の大小関係が入れ替わることはない。
（６） ハレーションのため撮影対象が完全な白とびになっていても、露出時間を小さくして写すことができれば、本発明によりハレーション部分の再現ができる。
（７） あらかじめ、露出時間を決めて撮影するので反応が早い。露出時間を変更する場合には特殊な機構は必要ない。露出時間を変更するので被写界深度は変わらない。
【００５６】
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。
【符号の説明】
【００５７】
１ 対象物、２ 元画像、３ 合成画像、
１０ 画像合成装置、１２ カメラ、
１４ 画像処理装置、
１４ａ 記憶装置、１４ｂ 演算装置、
１６ 画像表示装置、
Ｈ 高輝度点、Ｌ 低輝度点、
Ｉ 露出輝度線、Ｇ 輝度設定線
【特許請求の範囲】
【請求項１】
対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影し、
前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成方法。
【請求項２】
前記輝度設定線を、前記最短露出時間で最大輝度値の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する、ことを特徴とする請求項１に記載の画像合成方法。
【請求項３】
前記輝度設定線を、前記複数の元画像中において最大輝度値を有する最短露出時間の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する、ことを特徴とする請求項１に記載の画像合成方法。
【請求項４】
前記露出輝度線を、輝度値が露出時間に比例するようにフィッティングする、ことを特徴とする請求項１に記載の画像合成方法。
【請求項５】
対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影するカメラと、
前記複数の元画像から対象物の合成画像を合成する画像処理装置とを備え、
該画像処理装置により、前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成装置。
【請求項１】
対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影し、
前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成方法。
【請求項２】
前記輝度設定線を、前記最短露出時間で最大輝度値の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する、ことを特徴とする請求項１に記載の画像合成方法。
【請求項３】
前記輝度設定線を、前記複数の元画像中において最大輝度値を有する最短露出時間の高輝度点と、前記最長露出時間で最小輝度値の低輝度点とを結ぶ極値を持たず、連続な単調減少である直線又は曲線に設定する、ことを特徴とする請求項１に記載の画像合成方法。
【請求項４】
前記露出輝度線を、輝度値が露出時間に比例するようにフィッティングする、ことを特徴とする請求項１に記載の画像合成方法。
【請求項５】
対象物の所望の範囲においてハレーションが発生し得ない最短露出時間と、最長露出時間との間で、露出時間を変化させて前記対象物の複数の元画像を撮影するカメラと、
前記複数の元画像から対象物の合成画像を合成する画像処理装置とを備え、
該画像処理装置により、前記複数の元画像から、前記所望の範囲を構成するすべての画素について、対象物の同一位置における画素の露出時間と輝度値の関係を示す露出輝度線を求め、
カメラのダイナミックレンジ内において、露出時間が短い場合の高輝度値の点と、露出時間が長い場合の低輝度値の点とを結ぶ連続する輝度設定線を設定し、
前記所望の範囲を構成するすべての画素について、前記輝度設定線と各画素の露出輝度線との交点を求めて、その交点の輝度値をその画素の輝度値として対象物の合成画像を作成する、ことを特徴とする画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−４４９２７（Ｐ２０１１−４４９２７Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９２１２４（Ｐ２００９−１９２１２４）
【出願日】平成２１年８月２１日（２００９．８．２１）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２１日（２００９．８．２１）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
[ Back to top ]