画像処理装置及び画像処理プログラム
【課題】階調変換処理などにおいて輝度信号が変更された場合に適切に色信号の彩度を補正することで高品位なカラー映像信号を得る画像処理装置を提供する。
【解決手段】画像処理装置は、カラー映像信号を所定の色空間における輝度信号及び色信号へ変換し(111)、輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う(112)。そして、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し(113)、輝度信号、階調変換処理後の輝度信号及び設定された関数を用いて色信号に対する彩度補正処理を行う(114)。
【解決手段】画像処理装置は、カラー映像信号を所定の色空間における輝度信号及び色信号へ変換し(111)、輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う(112)。そして、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し(113)、輝度信号、階調変換処理後の輝度信号及び設定された関数を用いて色信号に対する彩度補正処理を行う(114)。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー映像信号の階調変換処理に関し、特に、輝度信号の階調変換処理に対応して色信号の彩度を補正する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどの撮像系には、補色系または原色系のカラーフィルタを前面に配置した単板撮像素子を用いたものが主流となっている。撮像素子からのカラー映像信号はホワイトバランス処理、補間処理がなされ、その後にエッジ強調処理、彩度強調処理、階調変換処理などの絵作り処理がなされて出力される。上記絵作り処理は撮像素子からのカラー映像信号に対して直接行われる場合もあるが、通常は別の色空間に変換して輝度信号と色信号を分離して処理することも多い。この場合、輝度信号のみを階調変換処理などで変更した場合に色信号が不自然になることへの対応が課題となる。
【０００３】
色信号が不自然になる課題に対しては、例えば、特開2004-312467公報では、輝度信号を変化させたときに、色空間の最大彩度値に対する比率が一定となるように色信号の彩度を補正する方法が開示されている。
【０００４】
また、特開平3-127278号公報では、コンピュータグラフィックにおいて自然な表現を行うために、本来の輝度信号と補正後の輝度信号の比を求め、これを補正係数として色信号へ乗算する方法が開示されている。
【０００５】
さらに、特開2003-69846公報では、色カブリを補正するために色空間を複数の色相域に分割し、映像信号を画素単位でどの色相域に属するかを判断し、色相域ごとに異なる関数に基づき０から１の重み係数を乗算することで色カブリの可能性の高い画素を求め、求められた画素から色カブリの補正係数を求める方法が開示されている。
【特許文献１】特開2004-312467公報
【特許文献２】特開平3-127278号公報
【特許文献３】特開2003-69846公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特開2004-312467公報での色空間の最大彩度値に対する比率が一定となるように彩度を補正する方法は、色自然な色再現が得られるが、計算量が多く処理時間が長くなり、全体としてコストが高くなるという課題がある。
【０００７】
また、特開平3-127278号公報では補正後の色信号が色空間を逸脱しないよう本来の輝度信号と補正後の輝度信号の大小関係を判定し、補正係数が０から１の間になるよう制御している。このため、色信号の彩度は弱くなる方向でしか補正することができず、適切な彩度の補正を実施できないという課題がある。
【０００８】
また、特開2003-69846公報では色カブリの可能性の高い画素を求めるため、色空間の最大彩度値に対応する形状を関数化している。しかし、重み係数として０から１の間になるよう関数を正規化しており、本来色相毎に異なる形状をしている色空間の最大彩度値を適切には活用していないという課題がある。また、計算量が多く処理時間が長くなること、及び全体としてコストが高くなるという課題がある。
【０００９】
本発明は、上記問題点に着目してなされたもので、階調変換処理などにおいて輝度信号が変更された場合に適切に色信号の彩度を補正することで高品位なカラー映像信号を得る画像処理装置を提供することを目的とする。また、色信号の彩度の補正方法を単純化することで、画像処理装置の高速化及び低コスト化を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理装置において、前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換手段と、前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換手段と、前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定手段と、前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正手段と、を有することを特徴とするものである。
【００１１】
また、請求項22に記載の発明は、請求項1に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００１２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間変換手段は図１、図９、図11に示されるY/C分離部111が、請求項中の階調変換手段は図１、図３、図９に示される階調変換部112及び図11、図15に示される階調変換部602が、請求項中の関数設定手段は図１、図４、図９、図11に示される関数設定部113が、請求項中の彩度補正手段は図１、図７、図９、図11に示される彩度補正部114が対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００１３】
この発明の好ましい適用例は、Y/C分離部111にてカラー映像信号を所定の色空間における輝度信号及び色信号へ変換し、階調変換部112または階調変換部602にて所定の階調変換特性に基づき輝度信号に階調変換処理を行い、関数設定部113にて階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値に基づき彩度補正処理用の関数を設定し、彩度補正部114にて輝度信号、階調変換処理後の輝度信号及び設定された関数を用いて色信号に対する彩度補正処理を行う画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００１４】
（作用）
カラー映像信号を輝度と色信号に分離し、輝度信号に対して階調変換処理を行い、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し、この関数を用いて色信号に対する彩度補正処理を行う。
【００１５】
（効果）
階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数を用いて行うようにしたことにより、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【００１６】
また、請求項２に記載の発明は、請求項１に記載の発明による画像処理装置において、前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、前記色空間変換手段は前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、ことを特徴とするものである。
【００１７】
また、請求項23に記載の発明は、請求項２に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００１８】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間変換手段は図１、図９、図11に示されるY/C分離部111が対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００１９】
この発明の好ましい適用例は、Y/C分離部111にて時系列的に取り込まれた複数のカラー映像信号を輝度信号及び色信号へ変換する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００２０】
（作用）
複数のカラー映像信号を輝度信号と色信号へ分解する。
【００２１】
（効果）
動画像に関して、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うため、画像処理装置の高速化及び低コスト化が可能となる。
【００２２】
また、請求項３に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記関数設定手段は、複数の所定の関数を記録する関数記録手段と、前記色信号から色相に関する情報を算出する色相情報算出手段と、前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録手段に記録された複数の関数の一つを選択する関数選択手段と、を有することを特徴とするものである。
【００２３】
また、請求項24に記載の発明は、請求項３に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００２４】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の関数記録手段は図４に示される関数記録部307が、請求項中の色相情報算出手段は図４に示される色相算出部301が、請求項中の閾値設定手段は図４に示される閾値設定部302、閾値記録部303が、請求項中の関数選択手段は図４に示される第１比較部304、第２比較部306、関数読み出し部308がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００２５】
この発明の好ましい適用例は、関数記録部307に複数の所定の関数を記録し、色相算出部301にて色信号から色相に関する情報を算出し、閾値設定部302、閾値記録部303にて色相に関する情報に基づき輝度信号及び階調変換処理後の輝度信号に対する閾値を設定し、第１比較部304、第２比較部306、関数読み出し部308にて輝度信号及び階調変換処理後の輝度信号及び閾値に基づき関数記録手段で記録された複数の関数の一つを選択する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００２６】
（作用）
予め記録した複数の関数に関して、色相情報から求めた閾値及び輝度信号及び階調変換処理後の輝度信号に基づき上記関数の一つを選択する。
【００２７】
（効果）
本来の輝度信号、階調変換処理後の輝度信号、色相情報に基づき最適な関数を選択することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。
【００２８】
また、請求項４に記載の発明は、請求項３に記載の発明による画像処理装置において、前記関数記録手段は、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【００２９】
【数１】
【００３０】
を記録することを特徴とするものである。
【００３１】
また、請求項25に記載の発明は、請求項４に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００３２】
（請求項４、25）
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の４つの関数は図６に示される。
【００３３】
この発明の好ましい適用例は、彩度補正処理に用いる関数として図６に示される４つの関数を用いる画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００３４】
（作用）
色空間の最大彩度値に対する比率を一定となるように設計された４種類の関数を用いて彩度補正処理を行う。
【００３５】
（効果）
上記彩度補正処理によれば色空間の最大彩度値に対する比率が一定になるので、自然な色再現が得られる。また、４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【００３６】
また、請求項５に記載の発明は、請求項４に記載の発明による画像処理装置において、前記関数設定手段は、前記色空間における輝度信号の最大値をymax、前記閾値設定手段で定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【００３７】
【数２】
【００３８】
に基づき確定する定数項確定手段を更に有することを特徴とするものである。
【００３９】
また、請求項26に記載の発明は、請求項５に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００４０】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の定数項確定手段は図４に示される定数項確定部309が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００４１】
この発明の好ましい適用例は、定数項確定部309にて上記４種類の関数に用いられる定数項を確定する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００４２】
（作用）
色信号の彩度補正処理に用いる関数の定数項を確定させる。
【００４３】
（効果）
定数項が確定するため、後に上記関数を用いた彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【００４４】
また、請求項６に記載の発明は、請求項３に記載の発明による画像処理装置において、前記関数選択手段は、前記輝度信号と前記閾値を比較する第１の比較手段と、前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較手段と、前記第１の比較手段及び前記第２の比較手段の比較結果に基づき前記関数記録手段が記録している４つの関数の中から一つを読み出す関数読み出し手段と、を有することを特徴とするものである。
【００４５】
また、請求項27に記載の発明は、請求項６に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００４６】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の第１の比較手段は図４に示される第１比較部304が、請求項中の第２の比較手段は第２比較部306が、請求項中の関数読み出し手段は関数読み出し部308がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００４７】
この発明の好ましい適用例は、第１比較部304にて輝度信号と閾値を比較し、第２比較部306にて階調変換処理後の輝度信号と閾値を比較し、関数読み出し部308に第１比較部304及び第２比較部306の比較結果に基づき関数記録手段から関数を読み出す画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００４８】
（作用）
予め記録した複数の関数の中から、色相情報から求めた閾値及び輝度信号及び階調変換処理後の輝度信号間の比較結果に基づき一つの関数を選択する。
【００４９】
（効果）
色相情報から求めた閾値と本来の輝度信号、階調変換処理後の輝度信号間の比較結果に基づき最適な関数を選択することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。
【００５０】
また、請求項７に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記関数設定手段は、前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【００５１】
【数３】
【００５２】
前記色信号から色相に関する情報を算出する色相情報算出手段と、前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定手段と、を有することを特徴とするものである。
【００５３】
また、請求項28に記載の発明は、請求項７に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００５４】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色相情報算出手段は図４に示される色相算出部301が、請求項中の閾値設定手段は図４に示される閾値設定部302、閾値記録部303が、請求項中の定数項確定手段は図４に示される定数項確定部309がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００５５】
この発明の好ましい適用例は、色相算出部301にて色信号から色相に関する情報を算出し、閾値設定部302、閾値記録部303にて色相に関する情報に基づき輝度信号及び階調変換処理後の輝度信号に対する閾値を設定し、定数項確定部309にて閾値及び色空間における輝度信号の最大値に基づき定数項を確定する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００５６】
（作用）
色相情報から求めた閾値及び色空間における輝度信号の最大値に基づき関数の定数項を確定する。
【００５７】
（効果）
閾値及び色空間における輝度信号の最大値に基づき関数の定数項を確定し、本来の輝度信号、階調変換処理後の輝度信号、定数項が確定した関数を使用することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、定数項が確定するため、後に上記関数を用いた彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【００５８】
また、請求項８に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記彩度補正手段は、前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出手段と、前記色信号に対して前記彩度補正係数を乗算する乗算手段と、を有することを特徴とするものである。
【００５９】
また、請求項29に記載の発明は、請求項８に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００６０】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の彩度補正係数算出手段は図７に示される第１減算部402、除算値設定部404、除算値記録部405、第２減算部408、彩度補正係数算出部409が、請求項中の乗算手段は図７に示される乗算部411がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００６１】
この発明の好ましい適用例は、第１減算部402、除算値設定部404、除算値記録部405、第２減算部408、彩度補正係数算出部409にて輝度信号及び階調変換処理後の輝度信号及び関数に基づき彩度補正係数を算出し、乗算部411にて色信号に対して彩度補正係数を乗算する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００６２】
（作用）
関数を用いて輝度信号及び階調変換処理後の輝度信号から彩度補正係数を算出し、色信号に乗算する。
【００６３】
（効果）
関数に基づく彩度補正係数の算出及び色信号への乗算処理は高速に実行でき、処理時間の短縮化が可能となる。
【００６４】
また、請求項９に記載の発明は、請求項４または７に記載の発明による画像処理装置において、前記彩度補正手段は、前記輝度信号から所定の定数項を減算する第１の減算手段と、前記定数項が減算された輝度信号からその逆数を出力するテーブル手段と、前記階調変換処理後の輝度信号から所定の定数項を減算する第２の減算手段と、前記定数項が減算された輝度信号の逆数及び前記定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出する彩度補正係数算出手段と、前記色信号に対して前記彩度補正係数を乗算する乗算手段と、を有することを特徴とするものである。
【００６５】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の第１の減算手段は図７に示される第１減算部402が、請求項中のテーブル手段は図７に示される除算値設定部404、除算値記録部405が、請求項中の第２の減算手段は図７に示される第２減算部408が、請求項中の彩度補正係数算出手段は図７に示される彩度補正係数算出部409が、請求項中の乗算手段は図７に示される乗算部411がそれぞれ対応する。
【００６６】
この発明の好ましい適用例は、第１減算部402にて輝度信号から所定の定数項を減算し、除算値設定部404、除算値記録部405にて定数項が減算された輝度信号からその逆数を出力し、第２減算部408にて階調変換処理後の輝度信号から所定の定数項を減算し、彩度補正係数算出部409にて定数項が減算された輝度信号の逆数及び定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出し、乗算部411にて色信号に対して彩度補正係数を乗算する画像処理装置である。
【００６７】
（作用）
定数項が減算された輝度信号の逆数及び定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出し、色信号に乗算する。
【００６８】
（効果）
減算と乗算処理に基づく彩度補正係数の算出及び色信号への乗算処理は高速に実行でき、処理時間の短縮化が可能となる。
【００６９】
また、請求項10に記載の発明は、請求項８または９に記載の発明による画像処理装置において、前記彩度補正手段は、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフト手段を更に有することを特徴とするものである。
【００７０】
また、請求項30に記載の発明は、請求項10に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００７１】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のビットシフト手段は図７に示される第１ビットシフト部401、第２ビットシフト部407が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００７２】
この発明の好ましい適用例は、第１ビットシフト部401にて輝度信号に関して所定の上位ビット成分を抽出し、第２ビットシフト部407にて階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００７３】
（作用）
輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出する。
【００７４】
（効果）
演算に要するハードウェア規模を縮小でき、画像処理装置の低コスト化が可能となる。また、微小なノイズ成分が除去されるため、処理の安定性、信頼性を向上できる。
【００７５】
また、請求項11に記載の発明は、請求項９に記載の発明による画像処理装置において、前記彩度補正手段は、前記関数における分母項の大きさを所定の閾値と比較する比較手段と、前記分母項の大きさが前記所定の閾値より小さい場合に前記彩度補正係数を1に設定する設定手段と、を更に有することを特徴とするものである。
【００７６】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の比較手段は図７に示される最小値比較部403が、請求項中の設定手段は図７に示される固定補正量設定部410が対応する。
【００７７】
この発明の好ましい適用例は、最小値比較部403にて関数における分母項の大きさを所定の閾値と比較し、固定補正量設定部410にて分母項の大きさが閾値より小さい場合に色信号に関する彩度補正係数を1に設定する画像処理装置である。
【００７８】
（作用）
関数における分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定する。
【００７９】
（効果）
関数の演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【００８０】
また、請求項12に記載の発明は、請求項２に記載の発明による画像処理装置において、所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御手段を更に有することを特徴とするものである。
【００８１】
また、請求項31に記載の発明は、請求項12に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００８２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の更新制御手段は図11、図13、図14に示される更新制御部601が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００８３】
この発明の好ましい適用例は、更新制御部601にて階調変換特性を所定の条件が満たされる場合のみ更新するよう制御する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００８４】
（作用）
所定の条件が満たされる場合のみ階調変換処理に用いる階調変換特性を更新する。
【００８５】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。
【００８６】
また、請求項13に記載の発明は、請求項12に記載の発明による画像処理装置において、前記更新制御手段は、撮影におけるシーン変化を検出する変化検出手段と、前記シーン変化が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、を有することを特徴とするものである。
【００８７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の変化検出手段は図13に示される変化検出部700が、請求項中の更新動作制御手段は図13に示される更新動作制御部701が対応する。
【００８８】
この発明の好ましい適用例は、変化検出部700にて撮影におけるシーン変化を検出し、更新動作制御部701にてシーン変化が検出された場合に階調変換特性を更新するよう制御する画像処理装置である。
【００８９】
（作用）
撮影におけるシーン変化を検出し、シーン変化が検出された場合のみ階調変換処理に用いる階調変換特性を更新する。
【００９０】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。またシーン変化に基づく制御は精度が高く、高品位なカラー映像信号が得られる。
【００９１】
また、請求項14に記載の発明は、請求項12に記載の発明による画像処理装置において、前記更新制御手段は、所定の撮影時間を検出する時間検出手段と、前記所定の撮影時間が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、を有することを特徴とするものである。
【００９２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の時間検出手段は図14に示される時間検出部702が、請求項中の更新動作制御手段は図14に示される更新動作制御部701がそれぞれ対応する。
【００９３】
この発明の好ましい適用例は、時間検出部702に所定の撮影時間を検出し、更新動作制御部701にて所定の撮影時間が検出された場合に階調変換特性を更新するよう制御する画像処理装置である。
【００９４】
（作用）
撮影時間を検出し、所定の撮影時間が検出された場合のみ階調変換処理に用いる階調変換特性を更新する。
【００９５】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。また撮影時間に基づく制御は実装が容易で、画像処理装置の低コスト化が可能となる。
【００９６】
また、請求項15に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換手段は、前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、前記適正露光域に関してエッジ量を算出するエッジ算出手段と、前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、を有することを特徴とするものである。
【００９７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の適正域抽出手段は図３、図15に示される適正域抽出部201が、請求項中のエッジ算出手段は図３、図15に示されるエッジ算出部202が、請求項中のヒストグラム作成手段は図３、図15に示されるヒストグラム作成部203が、請求項中の階調変換特性算出手段は図３、図15に示される階調変換特性算出部208が、請求項中の変換処理手段は図３、図15に示される変換処理部209がそれぞれ対応する。
【００９８】
この発明の好ましい適用例は、適正域抽出部201にて輝度信号に基づき適正露光域を抽出し、エッジ算出部202にて適正露光域に関してエッジ量を算出し、ヒストグラム作成部203にてエッジ量に基づきヒストグラムを作成し、階調変換特性算出部208にてヒストグラムに基づき階調変換特性を算出し、変換処理部209にて階調変換特性に基づき輝度信号に対して階調変換処理を行う画像処理装置である。
【００９９】
（作用）
階調変換処理を行うに必要な階調変換特性を輝度信号のエッジヒストグラムから適用的に算出して、算出された階調変換特性に基づき輝度信号に対して階調変換処理を行う。
【０１００】
（効果）
輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０１０１】
また、請求項16に記載の発明は、請求項15に記載の発明による画像処理装置において、前記階調変換手段は、前記カラー映像信号から関心領域を設定する関心領域設定手段と、前記関心領域に関して重み係数を設定する重み係数設定手段と、前記重み係数に基づき前記ヒストグラムに補正を行うヒストグラム補正手段と、を更に有することを特徴とするものである。
【０１０２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の関心領域設定は図３に示される色相算出部205及び人物判断部206が、請求項中の重み係数設定手段は図３に示される重み係数設定部207が、請求項中のヒストグラム補正手段は図３に示されるヒストグラム補正部204がそれぞれ対応する。
【０１０３】
この発明の好ましい適用例は、色相算出部205及び人物判断部206にてカラー映像信号から関心領域を設定し、重み係数設定部207にて関心領域に関して重み係数を設定し、ヒストグラム補正部204にて重み係数に基づきヒストグラムに補正を行う画像処理装置である。
【０１０４】
（作用）
人物などの関心領域に基づき階調変換特性を算出するためのヒストグラムに補正を行う。
【０１０５】
（効果）
関心領域に重きを置いた階調処理が行われるため、主観的に好ましい高品位なカラー映像信号が得られる。
【０１０６】
また、請求項17に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換手段は、前記輝度信号を複数の領域に分割する分割手段と、前記領域ごとに前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、前記領域ごとに前記適正露光域に関してエッジ量を算出するエッジ算出手段と、前記領域ごとに前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、前記領域ごとに前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、を有することを特徴とするものである。
【０１０７】
（実施形態との対応）
この発明に関する実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の分割手段は図15に示される分割部800が、請求項中の適正域抽出手段は図15に示される適正域抽出部201が、請求項中のエッジ算出手段は図15に示されるエッジ算出部202が、請求項中のヒストグラム作成手段は図15に示されるヒストグラム作成部203が、請求項中の階調変換特性算出手段は図15に示される階調変換特性算出部208が、請求項中の変換処理手段は図15に示される変換処理部209がそれぞれ対応する。
【０１０８】
この発明の好ましい適用例は、分割部800にて輝度信号を複数の領域に分割し、適正域抽出部201にて領域ごとに輝度信号に基づき適正露光域を抽出し、エッジ算出部202にて領域ごとに適正露光域に関してエッジ量を算出し、ヒストグラム作成部203にて領域ごとにエッジ量に基づきヒストグラムを作成し、階調変換特性算出部208にて領域ごとにヒストグラムに基づき階調変換特性を算出し、変換処理部209にて階調変換特性に基づき輝度信号に対して階調変換処理を行う画像処理装置である。
【０１０９】
（作用）
階調変換処理を行うに必要な階調変換特性を輝度信号のエッジヒストグラムから所定の領域ごとに独立かつ適用的に算出して、算出された階調変換特性に基づき輝度信号に対して階調変換処理を行う。
【０１１０】
（効果）
輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。また、領域ごとに独立して階調変換特性を求めるため、より自由度が向上し、明暗比の大きいシーンに対しても高品位なカラー映像信号が得られる。
【０１１１】
また、請求項18に記載の発明は、請求項17に記載の発明による画像処理装置において、前記変換処理手段は、前記輝度信号から注目画素を抽出する注目画素抽出手段と、前記注目画素と前記注目画素の近傍に位置する複数の前記領域の中心との距離情報を算出する距離算出手段と、前記注目画素の近傍に位置する複数の前記領域の階調変換特性と前記距離情報に基づき前記注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する補間算出手段と、を有することを特徴とするものである。
【０１１２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の注目画素抽出手段は図15に示される抽出部802が、請求項中の距離算出手段は図15に示される距離算出部803が、請求項中の補間算出手段は図15に示される補間算出部804がそれぞれ対応する。
【０１１３】
この発明の好ましい適用例は、抽出部802にて輝度信号から注目画素を抽出し、距離算出部803にて注目画素と注目画素の近傍に位置する複数の領域の中心との距離情報を算出し、補間算出部804にて注目画素の近傍に位置する複数の領域の階調変換特性と距離情報に基づき注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する画像処理装置である。
【０１１４】
（作用）
領域ごとに独立して求めた階調変換特性を補間演算にて合成して階調変換処理に用いる。
【０１１５】
（効果）
領域ごとに独立して求めた階調変換特性を合成するために、領域間での不連続性が発生せず、高品位なカラー映像信号が得られる。
【０１１６】
また、請求項19に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記色空間としてYCbCr色空間またはYIQ色空間のいずれかを用いることを特徴とするものである。
【０１１７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のYCbCr色空間またはYIQ色空間は図５、図８に示される。
【０１１８】
この発明の好ましい適用例は、撮像系からのカラー映像信号をYCbCr色空間またはYIQ色空間へ変換する画像処理装置である。
【０１１９】
（作用）
撮像系からのカラー映像信号を輝度信号と色信号が分離した色空間へ変換する。
【０１２０】
（効果）
輝度信号と色信号が分離するため、高精度な階調変換処理または彩度補正処理が可能となり、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、YCbCr色空間またはYIQ色空間は変換が容易で、画像処理装置の高速化及び低コスト化が可能となる。
【０１２１】
また、請求項20に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換処理後の輝度信号及び前記彩度補正処理がなされた色信号を階調処理がなされたカラー映像信号へ変換する色空間逆変換手段を更に有することを特徴とするものである。
【０１２２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間逆変換手段は図１、図９、図11に示されるY/C合成部115が対応する。
【０１２３】
この発明の好ましい適用例は、Y/C合成部115にて階調変換処理後の輝度信号及び彩度補正処理後の色信号を階調処理がなされたカラー映像信号へ変換する画像処理装置である。
【０１２４】
（作用）
階調変換処理後の輝度信号及び彩度補正処理後の色信号を本来のカラー映像信号へ変換する。
【０１２５】
（効果）
処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。
【０１２６】
また、請求項21に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記撮像系は、原色フィルタを前面に配置した単板撮像素子または色差線順次型補色フィルタを前面に配置した単板撮像素子を用いることを特徴とするものである。
【０１２７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のBayer型原色フィルタは第２図に、請求項中の色差線順次型補色フィルタは図12に示される。
【０１２８】
この発明の好ましい適用例は、Bayer型原色フィルタまたは色差線順次型補色フィルタを撮像素子前面に配置する画像処理装置である。
【０１２９】
（作用）
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
【０１３０】
（効果）
Bayer型原色フィルタまたは色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【発明の効果】
【０１３１】
本発明によれば、カラー映像信号を輝度と色信号に分離し、輝度信号に対して階調変換処理を行い、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し、この関数を用いて色信号に対する彩度補正処理を行う。
【０１３２】
階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができるので、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数を用いて行うようにしたことにより、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【発明を実施するための最良の形態】
【０１３３】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【０１３４】
まず、その構成について説明する。図１は第１の実施形態の構成図である。レンズ系100、絞り101、カラーフィルタ102、CCD103を介して撮影されたカラー映像信号は、増幅器（図中"Gain"）104にて増幅され、A/D変換器（図中"A/D"）105にてデジタル信号へ変換される。A/D変換器105からのカラー映像信号は、バッファ106を介してY/C分離部111へ転送される。
【０１３５】
バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109へも接続される。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD103及び増幅器104へ、合焦点検出部109はAFモータ110へそれぞれ接続される。Y/C分離部111は、階調変換部112、関数設定部113及び彩度補正部114へ接続される。階調変換部112は、関数設定部113、彩度補正部114及びY/C合成部115へ接続される。関数設定部113は彩度補正部114へ、彩度補正部114はY/C合成部115へそれぞれ接続される。Y/C合成部115は、信号処理部116を経由してメモリカードなどの出力部117に接続される。
【０１３６】
マイクロコンピュータなどの制御部118は、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、Y/C分離部111、階調変換部112、関数設定部113、彩度補正部114、Y/C合成部115、信号処理部116及び出力部117と双方向に接続される。
【０１３７】
また、電源スイッチ、シャッターボタン及び撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続される。
【０１３８】
続いて、信号処理の内容について説明する。
【０１３９】
図１を参照しながらカラー映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、カラーフィルタ102及びCCD103を介して撮影されたカラー映像信号は、アナログ信号として出力される。なお、この実施形態においては、CCD103はカラーフィルタ102としてBayer型原色フィルタを前面に配置した単板CCDである。図２にBayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、基本単位内には、赤(R)、青(B)フィルタが１画素ずつ、緑(G)フィルタが２画素配置される。
【０１４０】
上記アナログ信号は増幅器104にて所定量増幅され、A/D変換器105にてデジタル信号へ変換されてバッファ106へ転送される。なお、この実施形態においては、デジタル化されたカラー映像信号の階調幅を例えば12bitとする。
【０１４１】
バッファ106内のカラー映像信号は、プリホワイトバランス調整部107、測光評価部108及び合焦点検出部109へ転送される。プリホワイトバランス調整部107では所定レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを調整する。
【０１４２】
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD103の電子シャッター速度や増幅器104の増幅率などを制御する。
【０１４３】
また、合焦点検出部109では、カラー映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【０１４４】
次に、外部I/F部119を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、プリホワイトバランス調整部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部118へ転送される。
【０１４５】
バッファ106内の映像信号は、Y/C分離部111へ転送される。Y/C分離部111は、制御部118の制御に基づき、公知の補間処理によりR、G、Bの三板からなるカラー映像信号を生成し、輝度信号Y及び色信号Cb、Crを(1)式に基づき算出する。
【０１４６】
【数４】
【０１４７】
上記輝度信号Y及び色信号Cb、Crは、階調変換部112、関数設定部113及び彩度補正部114へ転送される。階調変換部112は、制御部118の制御に基づき、階調変換処理に用いる階調変換特性を算出した後に上記輝度信号Yに対して階調変換処理を行う。階調変換処理後の輝度信号Y'は関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０１４８】
関数設定部113は、制御部118の制御に基づき、Y/C分離部111からの輝度信号Y及び色信号Cb、Crと階調変換部112からの階調変換処理後の輝度信号Y'に基づき、色信号の彩度補正処理に用いる関数を画素単位に設定する。設定された関数は彩度補正部114へ転送される。
【０１４９】
彩度補正部114は、制御部118の制御に基づき、Y/C分離部111からの輝度信号Y、階調変換部112からの階調変換処理後の輝度信号Y'及び関数設定部113からの関数に基づき彩度補正処理に用いる彩度補正係数kcを画素単位に算出し、これを色信号Cb、Crへ乗算することで彩度補正処理を行う。彩度補正処理がなされた色信号Cb'、Cr'はY/C合成部115へ転送される。
【０１５０】
上記関数設定部113及び彩度補正部114の処理は、制御部118の制御に基づき、画素単位に同期して行われる。
【０１５１】
Y/C合成部115は、制御部118の制御に基づき、階調変換部112からの階調変換処理後の輝度信号Y'と彩度補正部114からの彩度補正処理がなされた色信号Cb'、Cr'に対して、(2)式に基づき階調変換がなされたカラー映像信号R'、G'、B'を合成する。
【０１５２】
【数５】
【０１５３】
合成された上記カラー映像信号は信号処理部116へ転送される。信号処理部116では、公知の圧縮処理などが行われ、出力部117へ転送される。出力部117は、メモリカードなどの記録媒体にカラー映像信号を記録保存する。
【０１５４】
図３は階調変換部112の構成の一例を示す。階調変換部112は、バッファ200、適正域抽出部201、エッジ算出部202、ヒストグラム作成部203、ヒストグラム補正部204、色相算出部205、人物判断部206、重み係数設定部207、階調変換特性算出部208及び変換処理部209からなる。
【０１５５】
Y/C分離部111は、バッファ200を介して適正域抽出部201、ヒストグラム作成部203、色相算出部205、重み係数設定部207及び変換処理部209へ接続している。適正域抽出部201はエッジ算出部202を介してヒストグラム作成部203へ接続している。ヒストグラム作成部203は、ヒストグラム補正部204及び階調変換特性算出部208を介して変換処理部209へ接続している。色相算出部205は、人物判断部206及び重み係数設定部207を介してヒストグラム補正部204へ接続している。変換処理部209は、関数設定部113、彩度補正部114及びY/C合成部115へ接続している。制御部118は、適正域抽出部201、エッジ算出部202、ヒストグラム作成部203、ヒストグラム補正部204、色相算出部205、人物判断部206、重み係数設定部207、階調変換特性算出部208及び変換処理部209と双方向に接続している。
【０１５６】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ200に記録される。適正域抽出部201は、制御部118の制御に基づき、バッファ200から輝度信号Yを読み込み、暗部と明部に関する所定の閾値（例えば12bit階調なら暗部が128、明部が3968）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域であるとしてエッジ算出部202へ転送する。
【０１５７】
エッジ算出部202は、制御部118の制御に基づき、適正域抽出部201からの適正露光域の輝度信号Yを読み込み、ラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。算出されたエッジ強度はヒストグラム作成部203へ転送される。
【０１５８】
ヒストグラム作成部203は、制御部118の制御に基づき、エッジ算出部202からのエッジ強度に関して所定の閾値（例えば12bit階調なら64）以上のエッジ強度のある画素を選別し、バッファ200から対応する画素位置の輝度信号Yを読み込む。読み込まれた輝度信号Yに関してヒストグラムを作成し、ヒストグラム補正部204へ転送する。
【０１５９】
一方、色相算出部205は、制御部118の制御に基づき、バッファ200から色信号Cb、Crを読み込み、所定の閾値と比較することで肌色領域を抽出し、この結果を人物判断部206へ転送する。人物判断部206は、制御部118の制御に基づき、色相算出部205からの肌色領域の情報に基づき、人物の顔と判断される領域を抽出し、この結果を重み係数設定部207へ転送する。
【０１６０】
重み係数設定部207は、制御部118の制御に基づき、色相算出部205からの肌色領域の情報に基づきバッファ200から人物の顔と判断される領域内の輝度信号Yを求め、これに所定の係数を乗算することで各輝度レベルに関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在しない輝度レベルに関して上記重み係数は０となる。
【０１６１】
算出された重み係数はヒストグラム補正部204へ転送される。ヒストグラム補正部204は、制御部118の制御に基づき、ヒストグラム作成部203からヒストグラムを読み込むとともに、重み係数設定部207から重み係数を読み込み、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補正されたヒストグラムは階調変換特性算出部208へ転送される。
【０１６２】
階調変換特性算出部208は、制御部118の制御に基づき、ヒストグラム補正部204からのヒストグラムを累積し、正規化することで階調変換特性を算出する。正規化は、映像信号の階調に従って行われ、例えば12bitならば0〜4095の範囲に正規化される。上記階調変換特性は変換処理部209へ転送される。
【０１６３】
変換処理部209は、制御部118の制御に基づき、階調変換特性算出部208からの階調変換特性を用い、バッファ200からの輝度信号に対して階調変換処理を行う。階調変換処理後の輝度信号は、関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０１６４】
図４は関数設定部113の構成の一例を示す。関数設定部113は、バッファ300、色相算出部301、閾値設定部302、閾値記録部303、第１比較部304、バッファ305、第２比較部306、関数記録部307、関数読み出し部308及び定数項確定部309からなる。
【０１６５】
Y/C分離部111は、バッファ300を介して色相算出部301及び第１比較部304へ接続している。階調変換部112はバッファ305を介して第２比較部306へ接続している。色相算出部301及び閾値記録部303は、閾値設定部302へ接続している。閾値設定部302は、第１比較部304、第２比較部306及び定数項確定部309へ接続している。第１比較部304、第２比較部306及び関数記録部307は、関数読み出し部308へ接続している。関数読み出し部308は定数項確定部309へ接続している。定数項確定部309は彩度補正部114へ接続している。制御部118は、色相算出部301、閾値設定部302、第１比較部304、第２比較部306、関数読み出し部308及び定数項確定部309と双方向に接続される。
【０１６６】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ300に記録される。また、階調変換部112からの階調処理がなされた輝度信号Y'は、バッファ305に記録される。色相算出部301は、制御部118の制御に基づき、バッファ300から画素単位で色信号Cb、Crを順次読み出し、各画素における色相情報を求める。
【０１６７】
なお、この実施形態においては、色相情報として図５(a)に示される４つの色相域を想定する。図５(a)は、CrCb平面において0°以上90°未満の色相域（以後「45°の色相域」と表記する）、90°以上180°未満の色相域（以後「135°の色相域」と表記する）、180°以上270°未満の色相域（以後「225°の色相域」と表記する）、270°以上360°未満の色相域（以後「315°の色相域」と表記する）の４つの色相域を示す。
【０１６８】
色相算出部301は表１に示されるように色信号Cb、Crの符号（正負）に基づき、上記４つの色相域への分類を行う。
【０１６９】
【表１】
【０１７０】
上記４つの色相域への分類結果は色相情報として閾値設定部302へ転送される。閾値設定部302は、制御部118の制御に基づき、各画素単位で４つの色相域に対応する閾値yθthを設定する。ここで、θ=45、135、225、315で、４つの色相域を意味する。
【０１７１】
図５の(b)〜(e)は、45°、135°、225°及び315°の色相域を示す。横軸が彩度C、縦軸が輝度Yを示しており、同一色相域では彩度Cと輝度Yがこのような関係になっているとする。閾値yθthは、同一色相域で彩度Cが最大となる輝度信号の値を意味する。
【０１７２】
閾値yθth以上では輝度の増加に伴い彩度は単調に減少（以後「彩度単調減少域」と表記する）し、閾値yθth以下では輝度の増加に伴い彩度は単調に増加（以後「彩度単調増加域」と表記する）する。上記閾値yθthは色空間及び色相域が定まれば確定する。
【０１７３】
閾値記録部303は事前に求めた閾値yθthを記録しておく。閾値設定部302は、色相算出部301からの色相情報に基づき閾値記録部303から対応する閾値yθthを読み出し、これを第１比較部304、第２比較部306及び定数項確定部309へ転送する。
【０１７４】
第１比較部304は、制御部118の制御に基づき、バッファ300から色相算出部301で使用された色信号と同一座標にある輝度信号y0を読み込み、これを閾値設定部302からの閾値yθthと比較する。比較は、輝度信号y0が彩度単調減少域に属するか、彩度単調増加域に属するかを判断していることになる。上記比較結果は、関数読み出し部308へ転送される。
【０１７５】
一方、第２比較部306は制御部118の制御に基づき、バッファ305から色相算出部301で使用された色信号と同一座標にある階調変換処理後の輝度信号y1を読み込み、これを閾値設定部302からの閾値yθthと比較する。比較は、階調変換処理後の輝度信号y1が彩度単調減少域に属するか、彩度単調増加域に属するかを判断していることになる。上記比較結果は、関数読み出し部308へ転送される。
【０１７６】
関数読み出し部308は、制御部118の制御に基づき、第１比較部304及び第２比較部306からの比較結果を用いて、色信号の彩度補正処理に用いる彩度補正係数kcを算出するための関数を設定する。
【０１７７】
図６の(a)〜(f)は６通りのケースに関する上記関数を示す。６通りのケースは、輝度信号y0及び階調変換処理後の輝度信号y1が共に彩度単調増加域に属する場合、共に彩度単調減少域に属する場合、一方が彩度単調増加域で一方が彩度単調減少域に属する場合の３種と、階調変換処理により輝度信号が増加する場合と減少する場合の２種の組み合わせとなる。
【０１７８】
図６の(a)、(b)、(c)は階調変換処理により輝度信号が増加する場合を、図６の(d)、(e)、(f)は階調変換処理により輝度信号が減少する場合をそれぞれ示す。また、図６の(a)、(d)は輝度信号y0及び階調変換処理後の輝度信号y1が共に彩度単調増加域に属する場合、図６の(b)、(e)は一方が彩度単調増加域で一方が彩度単調減少域に属する場合、図６の(c)、(f)は共に彩度単調減少域に属する場合をそれぞれ示す。
【０１７９】
上記６通りのケースにおいて彩度補正係数kcを算出するための関数をまとめると表２に示されるよう４つの関数となる。
【０１８０】
【表２】
【０１８１】
これら４つの関数は、階調変換処理前後の輝度信号y0、y1、色空間における輝度信号の最大値ymax及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値yθthをパラメータとし、色空間の最大彩度値に対する比率が一定となるように、すなわち、カラー映像信号の属する色相域において輝度信号がy0からy1に変更された場合に、階調変換処理前の輝度信号y0でとりうる最大の彩度に対する彩度補正処理前の彩度の比率と、階調変換処理後の輝度信号y1でとりうる最大の彩度に対する彩度補正処理後の彩度の比率が等しくなるように、それぞれ設定される。
【０１８２】
色空間における輝度信号の最大値ymaxはカラー映像信号の階調幅で定まり、この実施形態においては、色空間として(1)式に示されるYCbCr色空間を、カラー映像信号の階調幅として12bitを想定しているため、ymax=4095となる。なお、後段の彩度補正部114では入力される輝度信号y0をビットシフト処理して上位ビットのみを取り出している。このため、実際に使用するymaxは4095ではなく、ビットシフト処理に対応してより小さな値を用いることになる。同様にyθthもビットシフト処理に対応した値を用いる。
【０１８３】
なお、色空間の最大彩度値に対する比率が一定となるように彩度を補正する点においては特開2004-312467公報と共通するが、特開2004-312467公報では、彩度補正係数を算出するにあたり、色空間の最大彩度値のモデルを用いて色空間の最大彩度値をその都度演算する必要があったのに対し、本実施形態では、そのような色空間の最大彩度値の演算は不要であり、代わりに、定数項ymax、yθthと変数y0、y1により構成される簡単な４つの関数を用いて彩度補正係数kcを算出する点で両者は相違する。
【０１８４】
関数記録部307は上記４つの関数を記録しておく。関数読み出し部308は、第１比較部304及び第２比較部306からの比較結果、すなわち階調変換処理前後の輝度信号の値y0、y1が彩度単調減少域に属するか、彩度単調増加域に属するかの情報に基づき、関数記録部307から表２に示されるような対応する関数を読み出す。読み出された関数は定数項確定部309へ転送される。
【０１８５】
定数項確定部309は、制御部118の制御に基づき、上記４つの関数に対する定数項を確定する。
【０１８６】
ここで、表２に示される４つの関数は、y1/y0を基本形として、４つの定数項a、b、c、dを用いることで(3)式のように統一的に記述できる。
【０１８７】
【数６】
【０１８８】
そして、定数項確定部309は、関数読み出し部308からの関数に対応する４つの定数項a、b、c、dを表２に示されるように確定する。確定された定数項a、b、c、dは彩度補正部114へ転送される。
【０１８９】
なお、上記のように４つの定数項a、b、c、dを確定する理由は、後段の彩度補正部114において４つの関数に対して同一の演算処理を行うためである。例えば、彩度補正部114が４つの関数に対応して４つの独立した演算処理を行うならば、使用しない定数項を確定する必要はなくなる。
【０１９０】
図７は彩度補正部114の構成の一例を示す。彩度補正部114は、バッファ400、第１ビットシフト部401、第１減算部402、最小値比較部403、除算値設定部404、除算値記録部405、バッファ406、第２ビットシフト部407、第２減算部408、彩度補正係数算出部409、固定補正量設定部410及び乗算部411からなる。
【０１９１】
Y/C分離部111は、バッファ400を介して第１ビットシフト部401及び乗算部411へ接続している。第１ビットシフト部401は、第１減算部402及び最小値比較部403を介して除算値設定部404及び固定補正量設定部410へ接続している。除算値記録部405は除算値設定部404へ、除算値設定部404は彩度補正係数算出部409へそれぞれ接続している。階調変換部112は、バッファ406、第２ビットシフト部407及び第２減算部408を介して彩度補正係数算出部409へ接続している。彩度補正係数算出部409及び固定補正量設定部410は乗算部411へ接続している。関数設定部113は、第１減算部402、第２減算部408及び彩度補正係数算出部409へ接続している。乗算部411はY/C合成部115へ接続している。
【０１９２】
制御部118は、第１ビットシフト部401、第１減算部402、最小値比較部403、除算値設定部404、第２ビットシフト部407、第２減算部408、彩度補正係数算出部409、固定補正量設定部410及び乗算部411へ双方向に接続している。
【０１９３】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ400に記録される。また、階調変換部112からの階調処理がなされた輝度信号Y'はバッファ406に記録される。
【０１９４】
第１ビットシフト部401は、制御部118の制御に基づき、バッファ400から注目画素の輝度信号の値y0を順次読み出し、これに対して所定のビット長のビットシフト処理を行うことで、上位ビット成分を抽出する。この実施形態においては、輝度信号の階調幅として12bitを想定しており、例えば6bitをシフト処理することにより、上位6bitに対応する輝度信号の値を抽出する。ビットシフト処理がなされた輝度信号の値y0は第１減算部402へ転送される。
【０１９５】
同様に、第２ビットシフト部407は制御部118の制御に基づき、バッファ406から注目画素の階調処理がなされた輝度信号の値y1を順次読み出し、これに対して所定のビット長、この実施形態においては6bitをシフト処理することにより、上位6bitに対応する輝度信号の値を抽出する。ビットシフト処理がなされた階調処理がなされた輝度信号の値y1は第２減算部408へ転送される。
【０１９６】
なお、上記第１ビットシフト部401及び第２ビットシフト部407で処理される画素は、同一座標となるよう制御部118にて制御される。
【０１９７】
関数設定部113は、(3)式に示される定数項dを第１減算部402へ、定数項bを第２減算部408へ、定数項a及びcを彩度補正係数算出部409へそれぞれ転送する。
【０１９８】
第１減算部402は、制御部118の制御に基づき、第１ビットシフト部401からの輝度信号の値y0と関数設定部113からの定数項dとの間で減算処理を行い、「y0-d」を最小値比較部403へ転送する。
【０１９９】
最小値比較部403は、制御部118の制御に基づき、「y0-d」の絶対値を求め、これを所定の閾値と比較する。この実施形態においては、6bitの信号を想定しており、上記閾値としては例えば４が用いられる。上記閾値との比較結果に基づき、閾値以上の場合は「y0-d」は除算値設定部404へ転送される。一方、閾値未満の場合は「y0-d」は破棄され、以後の処理は固定補正量設定部410へ移管される。
【０２００】
除算値設定部404は、制御部118の制御に基づき、最小値比較部403からの「y0-d」に関して除算値記録部405を用いてその逆数「1/(y0-d)」を求める。
【０２０１】
除算値記録部405は、逆数を記録したテーブルで、この実施形態においては6bitの信号に関する逆数を記録している。なお、「y0-d」は負の値を取り得るが、その絶対値で除算値記録部405から逆数を求めた後、負の場合のみ負数へ変換することで対応できる。求められた逆数「1/(y0-d)」は彩度補正係数算出部409へ転送される。
【０２０２】
一方、第２減算部408は制御部118の制御に基づき、第２ビットシフト部407からの階調変換処理後の輝度信号の値y1と関数設定部113からの定数項bとの間で減算処理を行い、「y1-b」を彩度補正係数算出部409へ転送する。
【０２０３】
彩度補正係数算出部409は、制御部118の制御に基づき、除算値設定部404からの「1/(y0-d)」、第２減算部408からの「y1-b」、関数設定部113からの「a」及び「c」に基づき、(3)式に示される彩度補正係数kcを乗算により算出する。算出された彩度補正係数kcは乗算部411へ転送される。
【０２０４】
また、最小値比較部403にて「y0-d」の絶対値が閾値未満の場合には固定補正量設定部410は彩度補正係数kcとして1を設定し、これを乗算部411へ転送する。この場合、除算値設定部404、第２減算部408及び彩度補正係数算出部409における処理は、制御部118の制御に基づき停止される。
【０２０５】
乗算部411は、制御部118の制御に基づき、バッファ400から画素単位で色信号Cb、Crを順次読み出し、これに彩度補正係数kcを乗算することで、彩度補正処理がなされた色信号Cb'、Cr'を得る。
【０２０６】
【数７】
【０２０７】
ここで、乗算部411が読み出す色信号は、上記第１ビットシフト部401及び第２ビットシフト部407で処理される輝度信号の値の画素と同一座標となるよう制御部118にて制御される。彩度補正処理がなされた色信号Cb'、Cr'はY/C合成部115へ転送される。
【０２０８】
続いて、上記構成、処理による効果について説明する。
【０２０９】
上記構成によれば、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うので、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【０２１０】
また、階調変換処理は輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０２１１】
さらに、人物などの関心領域に重きを置いた階調処理が行われるため、主観的に好ましい高品位なカラー映像信号が得られる。
【０２１２】
また、彩度補正処理は本来の輝度信号、階調変換処理後の輝度信号、色相情報に基づき４種類の関数の中から最適な関数を選択するようにした。４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【０２１３】
さらに、後段の演算処理は、上記関数の定数項を確定した後に行うため、彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【０２１４】
また、彩度補正係数は輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出した後に減算と乗算処理に基づき算出されるため、処理時間の短縮化とハードウェア規模の縮小が可能となる。
【０２１５】
また、上記関数の分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定するため、演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【０２１６】
さらに、YCbCr色空間は変換が容易であり、画像処理装置の高速化及び低コスト化が可能となる。処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。
【０２１７】
また、Bayer型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２１８】
なお、上記実施形態では関数設定部113内の色相算出部301で４つの色相域を用いる構成となっていたが、色相域の数はこれに限定されない。例えば、色相域を８あるいは16に増加させて、精度を向上させる構成も可能である。また、角度方向に均等に分割するのではなく、特定の色相を用いて分割する構成も可能である。
【０２１９】
図８は、R（赤）、G（緑）、B（青）、Cy（シアン）、Mg（マゼンタ）、Ye（イエロー）の６つの色相の例を示す。図８の(a)は、CrCb平面におけるR、G、B、Cy、Mg、Yeの色相域の配置を示す。図８の(b)〜(g)は、R、G、B、Cy、Mg、Yeの色相域及び閾値yθthを示す。この場合、θ= R、G、B、Cy、Mg、Yeとなる。この他にも、記憶色として重要な肌色などの色相域を用いる構成も可能である。
【０２２０】
さらに、上記実施形態では色空間としてYCbCr色空間を用いる構成となっていたが、このような構成に限定される必要はない。線形演算にて変換できる色空間、例えばYIQ色空間など種々の色空間を用いることができる。YIQ色空間を用いる場合、Y/C分離部111は次式により輝度信号Yと色信号IQを求める。
【０２２１】
【数８】
【０２２２】
また、Y/C合成部115は階調変換処理後の輝度信号Y'と彩度補正部114からの彩度補正処理がなされた色信号I'、Q'に対して、次式によりカラー映像信号R'、G'、B'を合成する。
【０２２３】
【数９】
【０２２４】
また、上記実施形態では一枚のカラー映像信号に関して説明を行ったが、上記処理は、時系列的に撮影される複数のカラー映像信号に関しても同様に適用することが可能である。
【０２２５】
なお、上記実施形態ではレンズ系100、絞り101、カラーフィルタ102、CCD103、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109及びAFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
【０２２６】
例えば、メモリカード等の記録媒体に、別体の撮像部で撮像されたカラー映像信号を未処理のRawデータ形態で記録するとともに、カラーフィルタや撮影時の露光条件などの付随情報をヘッダ部に記録しておき、これらのデータを図９に示される構成で読み込んで処理することも可能である。
【０２２７】
図９は、図１に示す構成からレンズ系100、絞り101、カラーフィルタ102、CCD103、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109及びAFモータ110を省略し、入力部500及びヘッダ情報解析部501を追加した形態となっている。基本構成は図１とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２２８】
以下、異なる部分のみ説明すると、入力部500は、バッファ106及びヘッダ情報解析部501へ接続している。制御部118は、入力部500及びヘッダ情報解析部501と双方向に接続している。
【０２２９】
マウス、キーボードなどの外部I/F部119を介して再生操作を開始することで、メモリカード等の記録媒体に保存されたカラー映像信号及びヘッダ情報が入力部500から読み込まれる。
【０２３０】
入力部500からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へそれぞれ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は図１の構成と同じである。
【０２３１】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からのカラー映像信号を未処理のままのRawデータとして出力するとともに、制御部118からカラーフィルタや撮影時の露光条件や彩度補正処理に用いる関数の情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２３２】
図10Aは上記処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示しており、図１のY/C分離部111〜出力部117の処理に対応する。
【０２３３】
各ステップの処理について説明すると、ステップＳ１では、カラー映像信号とカラーフィルタや撮影時の露光条件などのヘッダ情報を読み込む。
【０２３４】
ステップＳ２では、(1)式に基づき輝度信号Y及び色信号Cb、Crを算出する。
【０２３５】
ステップＳ３では、輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。階調変換処理は図10Bのフローに従って実行され、これについては後述する。
【０２３６】
ステップＳ４では、注目画素を順次抽出する。
【０２３７】
ステップＳ５では、色信号Cb、Crの彩度補正処理に使用する関数を設定する。関数設定処理は図10Cのフローに従って実行され、これについては後述する。
【０２３８】
ステップＳ６では、色信号Cb、Crに対して彩度補正処理を施し、彩度補正処理後の色信号Cb'、Cr'を算出する。彩度補正処理は色空間の最大彩度値に対する比率が一定となるように行う。彩度補正処理は図10Dのフローに従って実行され、これについては後述する。
【０２３９】
ステップＳ７では、全ての画素について彩度補正処理が完了したかを判断し、完了していない場合はステップＳ４へ分岐し、完了した場合はステップＳ８へ分岐する。
【０２４０】
ステップＳ８では、(2)式に基づき階調変換処理後の輝度信号Y'と彩度補正処理がなされた色信号Cb'、Cr'を合成してカラー映像信号を算出する。
【０２４１】
ステップＳ９では、公知の圧縮処理などの信号処理が行われる。
【０２４２】
ステップＳ10では、処理後のカラー映像信号が出力され終了する。
【０２４３】
図10Bは上記ステップＳ３における階調変換処理に関するフローであり、図３に示した階調変換部112の処理に対応する。
【０２４４】
ステップＳ20では、輝度信号Yに関して暗部と明部に関する所定の閾値と比較を行い、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域として抽出される。
【０２４５】
ステップＳ21では、適正露光域の輝度信号Yに対してラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。
【０２４６】
ステップＳ22では、所定の閾値以上のエッジ強度のある画素を選別し、ヒストグラムを作成する。
【０２４７】
ステップＳ23では、色信号Cb、Crに関して所定の閾値と比較することで肌色領域を抽出する。
【０２４８】
ステップＳ24では、肌色領域の情報に基づき人物の顔と判断される領域を関心領域として抽出する。
【０２４９】
ステップＳ25では、関心領域内の輝度信号Yを求め、これに所定の係数を乗算することで各輝度レベルに関する補正用の重み係数を算出する。
【０２５０】
ステップＳ26では、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。
【０２５１】
ステップＳ27では、ヒストグラムを累積し、正規化することで階調変換特性を算出する。
【０２５２】
ステップＳ28では、階調変換特性を用いて輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。
【０２５３】
ステップＳ29では、階調変換処理後の輝度信号Y'を出力して完了する。
【０２５４】
図10Cは上記ステップＳ５における関数設定処理に関するフローであり、図４に示した関数設定部113の処理に対応する。
【０２５５】
ステップＳ30では、表１に示されるように注目画素に関する色信号Cb、Crの正負に基づき４つの色相域への分類を行う。
【０２５６】
ステップＳ31では、４つの色相域に対応する閾値yθthを設定する。
【０２５７】
ステップＳ32では、注目画素に関する輝度信号の値y0と閾値yθthの比較を行う。
【０２５８】
ステップＳ33では、注目画素に関する階調変換処理後の輝度信号の値y1と閾値yθthの比較を行う。
【０２５９】
ステップＳ34では、表２に示されるように、閾値yθthとの比較結果に基づき関数を設定する。
【０２６０】
ステップＳ35では、表２に示されるように、対応する関数の定数項a、b、c、dを確定する。
【０２６１】
ステップＳ36では、関数の定数項a、b、c、dを出力して完了する。
【０２６２】
図10Dは上記ステップＳ６における彩度補正処理に関するフローであり、図７に示した彩度補正部114の処理に対応する。
【０２６３】
ステップＳ40では、注目画素に関する輝度信号の値y0に対してビットシフト処理を行い上位ビット成分を抽出する。
【０２６４】
ステップＳ41では、輝度信号の値y0と定数項d間での減算処理を行う。
【０２６５】
ステップＳ42では、減算処理された輝度信号の値「y0-d」と所定の閾値を比較し、閾値以上の場合はステップＳ43へ分岐し閾値未満の場合はステップＳ47へ分岐する。
【０２６６】
ステップＳ43では、テーブルに基づき減算処理された輝度信号の値「y0-d」の逆数「1/(y0-d)」を求める。
【０２６７】
ステップＳ44では、注目画素に関する階調処理がなされた輝度信号の値y1に対してビットシフト処理を行い上位ビット成分を抽出する。
【０２６８】
ステップＳ45では、階調処理がなされた輝度信号の値y1と定数項b間での減算処理を行う。
【０２６９】
ステップＳ46では、(3)式に示される彩度補正係数kcを求める。
【０２７０】
ステップＳ47では、減算処理された輝度信号の値「y0-d」の絶対値が閾値未満の場合は彩度補正係数kcに1を設定する。
【０２７１】
ステップＳ48では、注目画素の色信号Cb、Crに対して(4)式に示されるような彩度補正処理を施し、彩度補正処理後のCb'、Cr'を算出する。
【０２７２】
ステップＳ49では、彩度補正処理後の色信号Cb'、Cr'を出力して完了する。
【０２７３】
このように上記処理をソフトウェアにて処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２７４】
続いて、本発明の第２の実施形態について説明する。
【０２７５】
まず、その構成について説明する。図11は第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態に対して、更新制御部601が追加され、カラーフィルタ102がカラーフィルタ600へ、階調変換部112が階調変換部602にそれぞれ置換された構成になっている点が第１の実施形態と相違する。基本構成は第１の実施形態とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２７６】
以下、第1の実施形態と異なる部分を中心に説明する。レンズ系100、絞り101、カラーフィルタ600及びCCD103を介して撮影されたカラー映像信号は、増幅器104にて増幅され、A/D変換器105にてデジタル信号へ変換され、バッファ106へ転送される。
【０２７７】
バッファ106は、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、Y/C分離部111及び更新制御部601へ接続される。更新制御部601は階調変換部602へ接続される。Y/C分離部111は階調変換部602へ、階調変換部602は関数設定部113、彩度補正部114及びY/C合成部115へそれぞれ接続される。制御部118は、更新制御部601及び階調変換部602と双方向に接続される。
【０２７８】
続いて、信号処理の内容について説明する。第２の実施形態の作用は基本的に第１の実施形態とほぼ同じである。以下、異なる部分を中心に説明する。
【０２７９】
図11を参照しながらカラー映像信号の流れを説明する。外部I/F部119を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、カラーフィルタ600及びCCD103を介して時系列的に撮影された複数のカラー映像信号は、増幅器104、A/D変換器105を介して順次バッファ106へ転送される。バッファ106は、複数枚のカラー映像信号を記録可能な容量を持ち、一杯になった時点で時系列的に古いカラー映像信号から順次上書きされる。
【０２８０】
また、本実施形態においてCCD103は、カラーフィルタ600として色差線順次型補色フィルタを前面に配置した単板CCDである。色差線順次型補色フィルタの構成を図12に示す。図12に示すように、色差線順次方式は2×2画素を基本単位とし、基本単位内にはシアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。バッファ106内のカラー映像信号は更新制御部601へ転送される。
【０２８１】
更新制御部601は、制御部118の制御に基づき、時系列的に撮影される複数のカラー映像信号間でシーン変化が生じたかどうかを検出する。シーン変化が生じた場合、輝度信号の階調変換処理に使用される階調変換特性を更新するよう、階調変換部602へ制御信号を転送する。
【０２８２】
Y/C分離部111は、制御部118の制御に基づき、バッファ106内のCy、Mg、Ye、Gのカラー映像信号から2×2画素単位に輝度信号Y及び色信号Cb、Crを(7)式に基づき算出する。
【０２８３】
【数１０】
【０２８４】
色信号Cb、Crは1ライン間隔で交互に得られるが、これは公知の補間法により充填される。上記輝度信号Y及び色信号Cb、Crは、階調変換部602、関数設定部113及び彩度補正部114へ転送される。
【０２８５】
階調変換部602は、制御部118の制御に基づき、輝度信号Yに対して階調変換処理を行う。なお、階調変換処理に用いる階調変換特性は更新制御部601より更新のための制御信号が転送された場合に、所定の領域単位に算出を行う。階調変換処理後の輝度信号Y'は関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０２８６】
彩度補正部114では、第1の実施形態と同じく、輝度信号Y及び階調変換処理後の輝度信号Y'に基づき、色空間の最大彩度値に対する比率が一定となるように彩度補正処理を行う。
【０２８７】
図13は更新制御部601の構成の一例を示す。更新制御部601は変化検出部700及び更新動作制御部701からなる。バッファ106は変化検出部700へ接続している。変化検出部700は更新動作制御部701へ接続している。更新動作制御部701は階調変換部602へ接続している。制御部118は、変化検出部700及び更新動作制御部701と双方向に接続している。
【０２８８】
変化検出部700は、制御部118の制御に基づき、バッファ106から現時点で撮影されたカラー映像信号及びその一つ前に撮影されたカラー映像信号を読み込み、２つのカラー映像信号間において差分などの公知のシーン変化の検出処理を行う。シーン変化の検出処理の結果は更新動作制御部701へ転送される。
【０２８９】
更新動作制御部701は、制御部118の制御に基づき、シーン変化が検出された場合に、階調変換処理に用いる階調変換特性を更新するよう階調変換部602へ制御信号を転送する。なお、撮影開始時における最初の１枚目のカラー映像信号に関しては、制御部118は上記変化検出部700での処理を停止させ、更新動作制御部701に更新のための制御信号を転送するよう制御を行う。
【０２９０】
なお、この実施形態ではシーン変化を検出して階調変換特性の更新を制御する構成となっているが、このような構成に限定される必要はない。例えば、一定の時間間隔で更新を制御する構成も可能である。
【０２９１】
図14は更新制御部601がそのような一定の時間間隔で更新を制御する構成の一例を示すものである。
【０２９２】
更新制御部601は時間検出部702及び更新動作制御部701からなる。時間検出部702は更新動作制御部701へ接続している。更新動作制御部701は階調変換部602へ接続している。制御部118は、時間検出部702及び更新動作制御部701と双方向に接続される。
【０２９３】
時間検出部702は、制御部118の制御に基づき、撮影開始時から所定の時間、例えば１秒が経過したかを検出する。時間の検出処理の結果は更新動作制御部701へ転送される。
【０２９４】
更新動作制御部701は、制御部118の制御に基づき、所定の時間が検出された場合に、階調変換処理に用いる階調変換特性を更新するよう階調変換部602へ制御信号を転送する。なお、撮影開始時における最初の１枚目のカラー映像信号に関しては、制御部118は更新動作制御部701に更新のための制御信号を転送するよう制御を行う。
【０２９５】
図15は階調変換部602の構成の一例を示すもので、第１の実施形態の図３に示される階調変換部112に分割部800、バッファ801、抽出部802、距離算出部803及び補間演算部804が追加され、ヒストグラム補正部204、色相算出部205、人物判断部206及び重み係数設定部207が削除された構成になっている。基本構成は図３に示される階調変換部112とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２９６】
以下、異なる部分を中心に説明する。Y/C分離部111は分割部800へ、分割部800はバッファ200を介して適正域抽出部201、ヒストグラム作成部203及び抽出部802へそれぞれ接続している。ヒストグラム作成部203は、階調変換特性算出部208及びバッファ801を介して補間演算部804へ接続している。抽出部802は、距離算出部803及び変換処理部209へ接続している。距離算出部803は補間演算部804へ、補間演算部804は変換処理部209へそれぞれ接続している。更新制御部601は適正域抽出部201へ接続している。制御部118は、分割部800、抽出部802、距離算出部803及び補間演算部804と双方向に接続している。
【０２９７】
分割部800は、制御部118の制御に基づきY/C分離部111から現時点で撮影されたカラー映像信号における輝度信号Yを読み込み、これを所定サイズの領域、例えば64×64画素サイズの領域に分割し、順次バッファ200へ転送する。
【０２９８】
図16の(a)は輝度信号Yの領域への分割を示しており、各領域は重複せずに配置される。適正域抽出部201は、更新制御部601から更新のための制御信号を受信した場合のみ、バッファ200から領域単位で輝度信号Yを読み込み、暗部と明部に関する所定の閾値（例えば12bit階調なら暗部が128、明部が3968）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域としてエッジ算出部202へ転送される。
【０２９９】
エッジ算出部202は、制御部118の制御に基づき、適正域抽出部201からの適正露光域の輝度信号Yを読み込み、ラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。算出されたエッジ強度はヒストグラム作成部203へ転送される。
【０３００】
ヒストグラム作成部203は、制御部118の制御に基づき、エッジ算出部202からのエッジ強度に関して所定の閾値（例えば12bit階調なら64）以上のエッジ強度のある画素を選別し、バッファ200から対応する画素位置の輝度信号Yを読み込む。読み込まれた輝度信号分に関してヒストグラムを作成し、階調変換特性算出部208へ転送する。
【０３０１】
階調変換特性算出部208は、制御部118の制御に基づき、ヒストグラム作成部203からのヒストグラムを累積し、正規化することで階調変換特性を算出する。正規化は、映像信号の階調に従って行われ、例えば12bitならば0〜4095の範囲に正規化さる。階調変換特性はバッファ801へ転送される。上記適正域抽出部201、エッジ算出部202、ヒストグラム作成部203及び階調変換特性算出部208における処理は、制御部118の制御に基づき領域単位で同期して行われる。
【０３０２】
バッファ801には全領域に対応する階調変換特性が保存されることになる。階調変換特性の算出が完了した後、制御部118は抽出部802を制御し、バッファ200から注目画素を順次抽出させる。抽出された注目画素の輝度信号の値y0は、距離算出部803及び変換処理部209へ転送される。距離算出部803は、抽出部802で抽出された注目画素に関して、その近傍に位置する４つの領域間の距離dm(m=1〜4)を算出する。
【０３０３】
図16の(b)は注目画素及びその近傍４領域の配置を示す。距離は、注目画素と領域の中心との間で算出される。以後、算出された近傍４領域との距離をdm(m=1〜4)で、近傍４領域の階調変換特性をTm()で表す。算出された距離dmは補間演算部804へ転送される。
【０３０４】
補間演算部804は、制御部118の制御に基づき、距離算出部803ら距離dmを、バッファ801から対応する近傍４領域の階調変換特性Tm()を読み込み、(8)式の右辺に示す補間演算に使用する変換式を設定する。
【０３０５】
【数１１】
【０３０６】
(8)式におけるy0は注目画素に関する階調変換処理前の輝度信号の値、y1は注目画素に関する階調変換処理後の輝度信号の値を意味する。上記(8)式の右辺に示す変換式は変換処理部209へ転送される。
【０３０７】
変換処理部209は、制御部118の制御に基づき、抽出部802で抽出された注目画素に関して補間演算部804からの変換式を適用し、これを全画素に対して行うことで、階調変換処理後の輝度信号Y'を得る。階調変換処理後の輝度信号Y'は、関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０３０８】
続いて、上記構成、処理による効果について説明する。
【０３０９】
上記構成によれば、第１の実施形態と同様に、階調変換処理に伴う輝度信号の変更に対応して、色信号の彩度を適切に補正することができるので、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うので、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【０３１０】
また、階調変換処理は輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０３１１】
さらに、領域ごとに独立して階調変換特性を求めるため、より自由度が向上し、明暗比の大きいシーンに対しても高品位なカラー映像信号が得られる。領域ごとに独立して求めた階調変換特性を補間演算により合成するために、領域間での不連続性が発生せず、高品位なカラー映像信号が得られる。
【０３１２】
また、彩度補正処理は、第１の実施形態と同じく、本来の輝度信号、階調変換処理後の輝度信号及び色相情報に基づき最適な関数を選択するようにした。４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【０３１３】
さらに、後段の演算処理は、上記関数の定数項を確定した後に行うため、彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【０３１４】
また、彩度補正係数は輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出した後に減算と乗算処理に基づき算出されるため、処理時間の短縮化とハードウェア規模を縮小が可能となる。
【０３１５】
また、上記関数の分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定するため、演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【０３１６】
また、撮影におけるシーン変化や撮影時間を検出することで階調変換特性を更新するように制御するため、画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。
【０３１７】
さらに、YCbCr色空間は変換が容易であり、画像処理装置の高速化及び低コスト化が可能となる。処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。また、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０３１８】
なお、上記実施形態では色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にBayer型原色フィルタを用いることも可能であるし、撮像素子に関しても単板以外に二板、三板の撮像素子の利用も可能である。
【０３１９】
さらに、更新制御部601にて階調変換特性の更新を制御する構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様に一枚ごとに階調変換特性の更新を行う構成も可能である。この場合、更新制御部601を省略することができる。また、第１の実施形態に更新制御部601を追加する構成も可能である。
【０３２０】
また、上記実施形態では階調変換部602にて領域単位に階調変換特性を求めるスペースバリアントな階調変換処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様に一つの階調変換特性を用いるスペースインバリアントな階調変換処理を行う構成も可能である。一方、第１の実施形態の階調変換部112を階調変換部602に置換する構成も可能である。
【０３２１】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの複数のカラー映像信号を未処理のままのRawデータとして、制御部118からカラーフィルタや撮影時の露光条件や彩度補正処理に用いる関数の情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０３２２】
図17Aは、上記処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。図10Aに示す第1の実施形態のフローと同一の処理ステップに関しては、同一のステップ数を割り当てている。
【０３２３】
各ステップの内容について説明すると、ステップＳ１では、複数のカラー映像信号とカラーフィルタや撮影時の露光条件などのヘッダ情報を読み込む。
【０３２４】
ステップＳ50では、階調変換処理に用いる階調変換特性の更新を行うかどうかの制御情報を求める。更新処理制御は図17Bのフローに従って実行され、これについては後述する。
【０３２５】
ステップＳ２では、(1)式に基づき輝度信号Y及び色信号Cb、Crを算出する。
【０３２６】
ステップＳ51では、輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。階調変換処理は図17Cのフローに従って実行され、これについては後述する。
【０３２７】
ステップＳ４では、注目画素を順次抽出する。
【０３２８】
ステップＳ５では、図10Cに示されるフローと同様にして色信号Cb、Crの彩度補正処理に使用する関数を設定する。
【０３２９】
ステップＳ６では、図10Dに示されるフローと同様にして色信号Cb、Crに対して彩度補正処理を施し、彩度補正処理後の色信号Cb'、Cr'を算出する。彩度補正処理は、色空間の最大彩度値に対する比率が一定となるように行う。
【０３３０】
ステップＳ７では、全ての画素について彩度補正処理が完了したかを判断し、完了していない場合はステップＳ４へ分岐し、完了した場合はステップＳ８へ分岐する。
【０３３１】
ステップＳ８では、(2)式に基づき階調変換処理後の輝度信号Y'と彩度補正処理後の色信号Cb'、Cr'を合成してカラー映像信号を算出する。
【０３３２】
ステップＳ９では、公知の圧縮処理などの信号処理が行われる。
【０３３３】
ステップＳ10では、処理後のカラー映像信号が出力され終了する。
【０３３４】
図17Bは、上記ステップＳ50における更新制御処理に関するフローであり、図13に示した更新制御部601における処理が対応する。
【０３３５】
ステップＳ60では、カラー映像信号間の差分などの公知の手法によりシーンの変化を検出する。
【０３３６】
ステップＳ61では、シーン変化が検出された場合及び最初のカラー映像信号の場合に階調変換特性の更新を行うよう制御情報を出力して完了する。
【０３３７】
なお、この例では、シーン変化を検出して階調変換特性の更新を制御する構成となっているが、このような構成に限定される必要はない。例えば、一定の時間間隔で更新を制御する構成も可能である。この場合、図14に示した更新制御部601における処理が対応する。
【０３３８】
図17Cは、上記ステップＳ51における階調変換処理に関するフローであり、図15に示した階調変換部602の処理が対応する。図10Bに示す第１の実施形態における階調変換処理のフローと同一の処理ステップに関しては、同一のステップ数を割り当てている。
【０３３９】
ステップＳ70では、ステップS50で求めた階調変換特性の更新を行うための制御情報に基づき、階調変換特性の更新を行うかどうかを判断し、行う場合はステップＳ71へ分岐し、行わない場合はステップＳ73へ分岐する。
【０３４０】
ステップＳ71では、図16の(a)に示されるように輝度信号Yを所定サイズの領域に分割し、順次抽出を行う。
【０３４１】
ステップＳ20では、領域内の輝度信号Yに関して暗部と明部に関する所定の閾値と比較を行い、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域として抽出される。
【０３４２】
ステップＳ21では、適正露光域の輝度信号Yに対してラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。
【０３４３】
ステップＳ22では、所定の閾値以上のエッジ強度のある画素を選別し、ヒストグラムを作成する。
【０３４４】
ステップＳ27では、ヒストグラムを累積し、正規化することで階調変換特性を算出する。
【０３４５】
ステップＳ72では、全ての領域について階調変換特性の算出が完了したかを判断し、完了していない場合はステップＳ71へ分岐し、完了した場合はステップＳ73へ分岐する。
【０３４６】
ステップＳ73では、輝度信号Yから注目画素を順次抽出する。
【０３４７】
ステップＳ74では、図16の(b)に示されるように注目画素とその近傍４領域の中心との間の距離dm(m=1〜4)を算出する。
【０３４８】
ステップＳ75では、(8)式の右辺に示す補間演算に使用する変換式を設定する。
【０３４９】
ステップＳ28では、変換式を用いて注目画素に対して階調変換処理を行う。
【０３５０】
ステップＳ76では、全ての画素について階調変換処理が完了したかを判断し、完了していない場合はステップＳ73へ分岐し、完了した場合はステップＳ29へ分岐する。
【０３５１】
ステップＳ29では、階調変換処理後の輝度信号Y'を出力して完了する。
【０３５２】
このように上記処理をソフトウェアにて処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３５３】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３５４】
【図１】本発明の第１の実施形態の構成図である。
【図２】Bayer型原色フィルタに関する説明図である。
【図３】階調変換部の構成図である。
【図４】関数設定部の構成図である。
【図５】YCbCr色空間の色相域に関する説明図である。
【図６】関数に関する説明図である。
【図７】彩度補正部の構成図である。
【図８】別形態のYCbCr色空間の色相域に関する説明図である。
【図９】第１の実施形態の一部変形例の構成図である。
【図１０Ａ】信号処理のフローのうち、全体処理に関するフローを示す。
【図１０Ｂ】信号処理のフローのうち、階調変換処理に関するフローを示す。
【図１０Ｃ】信号処理のフローのうち、関数設定処理に関するフローを示す。
【図１０Ｄ】信号処理のフローのうち、彩度補正処理に関するフローを示す。
【図１１】本発明の第２の実施形態の構成図である。
【図１２】色差線順次型補色フィルタに関する説明図である。
【図１３】更新制御部の構成図である。
【図１４】別形態の更新制御部の構成図である。
【図１５】階調変換部の構成図である。
【図１６】階調変換特性の補間演算に関する説明図である。
【図１７Ａ】信号処理のフローのうち、全体処理に関するフローを示す。
【図１７Ｂ】信号処理のフローのうち、更新制御処理に関するフローを示す。
【図１７Ｃ】信号処理のフローのうち、階調変換処理に関するフローを示す。
【符号の説明】
【０３５５】
100 レンズ系
102 カラーフィルタ
103 CCD
112 階調変換部
113 関数設定部
114 彩度補正部
208 階調変換特性算出部
209 変換処理部
301 色相算出部
302 閾値設定部
303 閾値記録部
304 第１比較部
306 第２比較部
401 第1ビットシフト部
407 第1ビットシフト部
409 彩度補正係数算出部
600 カラーフィルタ
601 更新制御部
602 階調変換部
803 距離算出部
804 補間算出部
【技術分野】
【０００１】
本発明は、カラー映像信号の階調変換処理に関し、特に、輝度信号の階調変換処理に対応して色信号の彩度を補正する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどの撮像系には、補色系または原色系のカラーフィルタを前面に配置した単板撮像素子を用いたものが主流となっている。撮像素子からのカラー映像信号はホワイトバランス処理、補間処理がなされ、その後にエッジ強調処理、彩度強調処理、階調変換処理などの絵作り処理がなされて出力される。上記絵作り処理は撮像素子からのカラー映像信号に対して直接行われる場合もあるが、通常は別の色空間に変換して輝度信号と色信号を分離して処理することも多い。この場合、輝度信号のみを階調変換処理などで変更した場合に色信号が不自然になることへの対応が課題となる。
【０００３】
色信号が不自然になる課題に対しては、例えば、特開2004-312467公報では、輝度信号を変化させたときに、色空間の最大彩度値に対する比率が一定となるように色信号の彩度を補正する方法が開示されている。
【０００４】
また、特開平3-127278号公報では、コンピュータグラフィックにおいて自然な表現を行うために、本来の輝度信号と補正後の輝度信号の比を求め、これを補正係数として色信号へ乗算する方法が開示されている。
【０００５】
さらに、特開2003-69846公報では、色カブリを補正するために色空間を複数の色相域に分割し、映像信号を画素単位でどの色相域に属するかを判断し、色相域ごとに異なる関数に基づき０から１の重み係数を乗算することで色カブリの可能性の高い画素を求め、求められた画素から色カブリの補正係数を求める方法が開示されている。
【特許文献１】特開2004-312467公報
【特許文献２】特開平3-127278号公報
【特許文献３】特開2003-69846公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特開2004-312467公報での色空間の最大彩度値に対する比率が一定となるように彩度を補正する方法は、色自然な色再現が得られるが、計算量が多く処理時間が長くなり、全体としてコストが高くなるという課題がある。
【０００７】
また、特開平3-127278号公報では補正後の色信号が色空間を逸脱しないよう本来の輝度信号と補正後の輝度信号の大小関係を判定し、補正係数が０から１の間になるよう制御している。このため、色信号の彩度は弱くなる方向でしか補正することができず、適切な彩度の補正を実施できないという課題がある。
【０００８】
また、特開2003-69846公報では色カブリの可能性の高い画素を求めるため、色空間の最大彩度値に対応する形状を関数化している。しかし、重み係数として０から１の間になるよう関数を正規化しており、本来色相毎に異なる形状をしている色空間の最大彩度値を適切には活用していないという課題がある。また、計算量が多く処理時間が長くなること、及び全体としてコストが高くなるという課題がある。
【０００９】
本発明は、上記問題点に着目してなされたもので、階調変換処理などにおいて輝度信号が変更された場合に適切に色信号の彩度を補正することで高品位なカラー映像信号を得る画像処理装置を提供することを目的とする。また、色信号の彩度の補正方法を単純化することで、画像処理装置の高速化及び低コスト化を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理装置において、前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換手段と、前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換手段と、前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定手段と、前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正手段と、を有することを特徴とするものである。
【００１１】
また、請求項22に記載の発明は、請求項1に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００１２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間変換手段は図１、図９、図11に示されるY/C分離部111が、請求項中の階調変換手段は図１、図３、図９に示される階調変換部112及び図11、図15に示される階調変換部602が、請求項中の関数設定手段は図１、図４、図９、図11に示される関数設定部113が、請求項中の彩度補正手段は図１、図７、図９、図11に示される彩度補正部114が対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００１３】
この発明の好ましい適用例は、Y/C分離部111にてカラー映像信号を所定の色空間における輝度信号及び色信号へ変換し、階調変換部112または階調変換部602にて所定の階調変換特性に基づき輝度信号に階調変換処理を行い、関数設定部113にて階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値に基づき彩度補正処理用の関数を設定し、彩度補正部114にて輝度信号、階調変換処理後の輝度信号及び設定された関数を用いて色信号に対する彩度補正処理を行う画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００１４】
（作用）
カラー映像信号を輝度と色信号に分離し、輝度信号に対して階調変換処理を行い、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し、この関数を用いて色信号に対する彩度補正処理を行う。
【００１５】
（効果）
階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数を用いて行うようにしたことにより、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【００１６】
また、請求項２に記載の発明は、請求項１に記載の発明による画像処理装置において、前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、前記色空間変換手段は前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、ことを特徴とするものである。
【００１７】
また、請求項23に記載の発明は、請求項２に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００１８】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間変換手段は図１、図９、図11に示されるY/C分離部111が対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００１９】
この発明の好ましい適用例は、Y/C分離部111にて時系列的に取り込まれた複数のカラー映像信号を輝度信号及び色信号へ変換する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００２０】
（作用）
複数のカラー映像信号を輝度信号と色信号へ分解する。
【００２１】
（効果）
動画像に関して、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うため、画像処理装置の高速化及び低コスト化が可能となる。
【００２２】
また、請求項３に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記関数設定手段は、複数の所定の関数を記録する関数記録手段と、前記色信号から色相に関する情報を算出する色相情報算出手段と、前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録手段に記録された複数の関数の一つを選択する関数選択手段と、を有することを特徴とするものである。
【００２３】
また、請求項24に記載の発明は、請求項３に記載の発明の各手段に対応するステップを有することを特徴とする画像処理プログラムである。
【００２４】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の関数記録手段は図４に示される関数記録部307が、請求項中の色相情報算出手段は図４に示される色相算出部301が、請求項中の閾値設定手段は図４に示される閾値設定部302、閾値記録部303が、請求項中の関数選択手段は図４に示される第１比較部304、第２比較部306、関数読み出し部308がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００２５】
この発明の好ましい適用例は、関数記録部307に複数の所定の関数を記録し、色相算出部301にて色信号から色相に関する情報を算出し、閾値設定部302、閾値記録部303にて色相に関する情報に基づき輝度信号及び階調変換処理後の輝度信号に対する閾値を設定し、第１比較部304、第２比較部306、関数読み出し部308にて輝度信号及び階調変換処理後の輝度信号及び閾値に基づき関数記録手段で記録された複数の関数の一つを選択する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００２６】
（作用）
予め記録した複数の関数に関して、色相情報から求めた閾値及び輝度信号及び階調変換処理後の輝度信号に基づき上記関数の一つを選択する。
【００２７】
（効果）
本来の輝度信号、階調変換処理後の輝度信号、色相情報に基づき最適な関数を選択することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。
【００２８】
また、請求項４に記載の発明は、請求項３に記載の発明による画像処理装置において、前記関数記録手段は、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【００２９】
【数１】
【００３０】
を記録することを特徴とするものである。
【００３１】
また、請求項25に記載の発明は、請求項４に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００３２】
（請求項４、25）
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の４つの関数は図６に示される。
【００３３】
この発明の好ましい適用例は、彩度補正処理に用いる関数として図６に示される４つの関数を用いる画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００３４】
（作用）
色空間の最大彩度値に対する比率を一定となるように設計された４種類の関数を用いて彩度補正処理を行う。
【００３５】
（効果）
上記彩度補正処理によれば色空間の最大彩度値に対する比率が一定になるので、自然な色再現が得られる。また、４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【００３６】
また、請求項５に記載の発明は、請求項４に記載の発明による画像処理装置において、前記関数設定手段は、前記色空間における輝度信号の最大値をymax、前記閾値設定手段で定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【００３７】
【数２】
【００３８】
に基づき確定する定数項確定手段を更に有することを特徴とするものである。
【００３９】
また、請求項26に記載の発明は、請求項５に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００４０】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の定数項確定手段は図４に示される定数項確定部309が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００４１】
この発明の好ましい適用例は、定数項確定部309にて上記４種類の関数に用いられる定数項を確定する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００４２】
（作用）
色信号の彩度補正処理に用いる関数の定数項を確定させる。
【００４３】
（効果）
定数項が確定するため、後に上記関数を用いた彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【００４４】
また、請求項６に記載の発明は、請求項３に記載の発明による画像処理装置において、前記関数選択手段は、前記輝度信号と前記閾値を比較する第１の比較手段と、前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較手段と、前記第１の比較手段及び前記第２の比較手段の比較結果に基づき前記関数記録手段が記録している４つの関数の中から一つを読み出す関数読み出し手段と、を有することを特徴とするものである。
【００４５】
また、請求項27に記載の発明は、請求項６に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００４６】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の第１の比較手段は図４に示される第１比較部304が、請求項中の第２の比較手段は第２比較部306が、請求項中の関数読み出し手段は関数読み出し部308がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００４７】
この発明の好ましい適用例は、第１比較部304にて輝度信号と閾値を比較し、第２比較部306にて階調変換処理後の輝度信号と閾値を比較し、関数読み出し部308に第１比較部304及び第２比較部306の比較結果に基づき関数記録手段から関数を読み出す画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００４８】
（作用）
予め記録した複数の関数の中から、色相情報から求めた閾値及び輝度信号及び階調変換処理後の輝度信号間の比較結果に基づき一つの関数を選択する。
【００４９】
（効果）
色相情報から求めた閾値と本来の輝度信号、階調変換処理後の輝度信号間の比較結果に基づき最適な関数を選択することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。
【００５０】
また、請求項７に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記関数設定手段は、前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【００５１】
【数３】
【００５２】
前記色信号から色相に関する情報を算出する色相情報算出手段と、前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定手段と、を有することを特徴とするものである。
【００５３】
また、請求項28に記載の発明は、請求項７に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００５４】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色相情報算出手段は図４に示される色相算出部301が、請求項中の閾値設定手段は図４に示される閾値設定部302、閾値記録部303が、請求項中の定数項確定手段は図４に示される定数項確定部309がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００５５】
この発明の好ましい適用例は、色相算出部301にて色信号から色相に関する情報を算出し、閾値設定部302、閾値記録部303にて色相に関する情報に基づき輝度信号及び階調変換処理後の輝度信号に対する閾値を設定し、定数項確定部309にて閾値及び色空間における輝度信号の最大値に基づき定数項を確定する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００５６】
（作用）
色相情報から求めた閾値及び色空間における輝度信号の最大値に基づき関数の定数項を確定する。
【００５７】
（効果）
閾値及び色空間における輝度信号の最大値に基づき関数の定数項を確定し、本来の輝度信号、階調変換処理後の輝度信号、定数項が確定した関数を使用することにより、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、定数項が確定するため、後に上記関数を用いた彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【００５８】
また、請求項８に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記彩度補正手段は、前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出手段と、前記色信号に対して前記彩度補正係数を乗算する乗算手段と、を有することを特徴とするものである。
【００５９】
また、請求項29に記載の発明は、請求項８に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００６０】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の彩度補正係数算出手段は図７に示される第１減算部402、除算値設定部404、除算値記録部405、第２減算部408、彩度補正係数算出部409が、請求項中の乗算手段は図７に示される乗算部411がそれぞれ対応する。また、請求項中の各ステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００６１】
この発明の好ましい適用例は、第１減算部402、除算値設定部404、除算値記録部405、第２減算部408、彩度補正係数算出部409にて輝度信号及び階調変換処理後の輝度信号及び関数に基づき彩度補正係数を算出し、乗算部411にて色信号に対して彩度補正係数を乗算する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００６２】
（作用）
関数を用いて輝度信号及び階調変換処理後の輝度信号から彩度補正係数を算出し、色信号に乗算する。
【００６３】
（効果）
関数に基づく彩度補正係数の算出及び色信号への乗算処理は高速に実行でき、処理時間の短縮化が可能となる。
【００６４】
また、請求項９に記載の発明は、請求項４または７に記載の発明による画像処理装置において、前記彩度補正手段は、前記輝度信号から所定の定数項を減算する第１の減算手段と、前記定数項が減算された輝度信号からその逆数を出力するテーブル手段と、前記階調変換処理後の輝度信号から所定の定数項を減算する第２の減算手段と、前記定数項が減算された輝度信号の逆数及び前記定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出する彩度補正係数算出手段と、前記色信号に対して前記彩度補正係数を乗算する乗算手段と、を有することを特徴とするものである。
【００６５】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の第１の減算手段は図７に示される第１減算部402が、請求項中のテーブル手段は図７に示される除算値設定部404、除算値記録部405が、請求項中の第２の減算手段は図７に示される第２減算部408が、請求項中の彩度補正係数算出手段は図７に示される彩度補正係数算出部409が、請求項中の乗算手段は図７に示される乗算部411がそれぞれ対応する。
【００６６】
この発明の好ましい適用例は、第１減算部402にて輝度信号から所定の定数項を減算し、除算値設定部404、除算値記録部405にて定数項が減算された輝度信号からその逆数を出力し、第２減算部408にて階調変換処理後の輝度信号から所定の定数項を減算し、彩度補正係数算出部409にて定数項が減算された輝度信号の逆数及び定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出し、乗算部411にて色信号に対して彩度補正係数を乗算する画像処理装置である。
【００６７】
（作用）
定数項が減算された輝度信号の逆数及び定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出し、色信号に乗算する。
【００６８】
（効果）
減算と乗算処理に基づく彩度補正係数の算出及び色信号への乗算処理は高速に実行でき、処理時間の短縮化が可能となる。
【００６９】
また、請求項10に記載の発明は、請求項８または９に記載の発明による画像処理装置において、前記彩度補正手段は、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフト手段を更に有することを特徴とするものである。
【００７０】
また、請求項30に記載の発明は、請求項10に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００７１】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のビットシフト手段は図７に示される第１ビットシフト部401、第２ビットシフト部407が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００７２】
この発明の好ましい適用例は、第１ビットシフト部401にて輝度信号に関して所定の上位ビット成分を抽出し、第２ビットシフト部407にて階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００７３】
（作用）
輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出する。
【００７４】
（効果）
演算に要するハードウェア規模を縮小でき、画像処理装置の低コスト化が可能となる。また、微小なノイズ成分が除去されるため、処理の安定性、信頼性を向上できる。
【００７５】
また、請求項11に記載の発明は、請求項９に記載の発明による画像処理装置において、前記彩度補正手段は、前記関数における分母項の大きさを所定の閾値と比較する比較手段と、前記分母項の大きさが前記所定の閾値より小さい場合に前記彩度補正係数を1に設定する設定手段と、を更に有することを特徴とするものである。
【００７６】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の比較手段は図７に示される最小値比較部403が、請求項中の設定手段は図７に示される固定補正量設定部410が対応する。
【００７７】
この発明の好ましい適用例は、最小値比較部403にて関数における分母項の大きさを所定の閾値と比較し、固定補正量設定部410にて分母項の大きさが閾値より小さい場合に色信号に関する彩度補正係数を1に設定する画像処理装置である。
【００７８】
（作用）
関数における分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定する。
【００７９】
（効果）
関数の演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【００８０】
また、請求項12に記載の発明は、請求項２に記載の発明による画像処理装置において、所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御手段を更に有することを特徴とするものである。
【００８１】
また、請求項31に記載の発明は、請求項12に記載の発明の各手段に対応する処理を行うステップを有することを特徴とする画像処理プログラムである。
【００８２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の更新制御手段は図11、図13、図14に示される更新制御部601が対応する。また、請求項中のステップは図10A〜10D及び図17A〜17Cに示される対応する処理を実行するステップが対応する。
【００８３】
この発明の好ましい適用例は、更新制御部601にて階調変換特性を所定の条件が満たされる場合のみ更新するよう制御する画像処理装置及びこれに対応する処理を行う画像処理プログラムである。
【００８４】
（作用）
所定の条件が満たされる場合のみ階調変換処理に用いる階調変換特性を更新する。
【００８５】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。
【００８６】
また、請求項13に記載の発明は、請求項12に記載の発明による画像処理装置において、前記更新制御手段は、撮影におけるシーン変化を検出する変化検出手段と、前記シーン変化が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、を有することを特徴とするものである。
【００８７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の変化検出手段は図13に示される変化検出部700が、請求項中の更新動作制御手段は図13に示される更新動作制御部701が対応する。
【００８８】
この発明の好ましい適用例は、変化検出部700にて撮影におけるシーン変化を検出し、更新動作制御部701にてシーン変化が検出された場合に階調変換特性を更新するよう制御する画像処理装置である。
【００８９】
（作用）
撮影におけるシーン変化を検出し、シーン変化が検出された場合のみ階調変換処理に用いる階調変換特性を更新する。
【００９０】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。またシーン変化に基づく制御は精度が高く、高品位なカラー映像信号が得られる。
【００９１】
また、請求項14に記載の発明は、請求項12に記載の発明による画像処理装置において、前記更新制御手段は、所定の撮影時間を検出する時間検出手段と、前記所定の撮影時間が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、を有することを特徴とするものである。
【００９２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の時間検出手段は図14に示される時間検出部702が、請求項中の更新動作制御手段は図14に示される更新動作制御部701がそれぞれ対応する。
【００９３】
この発明の好ましい適用例は、時間検出部702に所定の撮影時間を検出し、更新動作制御部701にて所定の撮影時間が検出された場合に階調変換特性を更新するよう制御する画像処理装置である。
【００９４】
（作用）
撮影時間を検出し、所定の撮影時間が検出された場合のみ階調変換処理に用いる階調変換特性を更新する。
【００９５】
（効果）
画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。また撮影時間に基づく制御は実装が容易で、画像処理装置の低コスト化が可能となる。
【００９６】
また、請求項15に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換手段は、前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、前記適正露光域に関してエッジ量を算出するエッジ算出手段と、前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、を有することを特徴とするものである。
【００９７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の適正域抽出手段は図３、図15に示される適正域抽出部201が、請求項中のエッジ算出手段は図３、図15に示されるエッジ算出部202が、請求項中のヒストグラム作成手段は図３、図15に示されるヒストグラム作成部203が、請求項中の階調変換特性算出手段は図３、図15に示される階調変換特性算出部208が、請求項中の変換処理手段は図３、図15に示される変換処理部209がそれぞれ対応する。
【００９８】
この発明の好ましい適用例は、適正域抽出部201にて輝度信号に基づき適正露光域を抽出し、エッジ算出部202にて適正露光域に関してエッジ量を算出し、ヒストグラム作成部203にてエッジ量に基づきヒストグラムを作成し、階調変換特性算出部208にてヒストグラムに基づき階調変換特性を算出し、変換処理部209にて階調変換特性に基づき輝度信号に対して階調変換処理を行う画像処理装置である。
【００９９】
（作用）
階調変換処理を行うに必要な階調変換特性を輝度信号のエッジヒストグラムから適用的に算出して、算出された階調変換特性に基づき輝度信号に対して階調変換処理を行う。
【０１００】
（効果）
輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０１０１】
また、請求項16に記載の発明は、請求項15に記載の発明による画像処理装置において、前記階調変換手段は、前記カラー映像信号から関心領域を設定する関心領域設定手段と、前記関心領域に関して重み係数を設定する重み係数設定手段と、前記重み係数に基づき前記ヒストグラムに補正を行うヒストグラム補正手段と、を更に有することを特徴とするものである。
【０１０２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の関心領域設定は図３に示される色相算出部205及び人物判断部206が、請求項中の重み係数設定手段は図３に示される重み係数設定部207が、請求項中のヒストグラム補正手段は図３に示されるヒストグラム補正部204がそれぞれ対応する。
【０１０３】
この発明の好ましい適用例は、色相算出部205及び人物判断部206にてカラー映像信号から関心領域を設定し、重み係数設定部207にて関心領域に関して重み係数を設定し、ヒストグラム補正部204にて重み係数に基づきヒストグラムに補正を行う画像処理装置である。
【０１０４】
（作用）
人物などの関心領域に基づき階調変換特性を算出するためのヒストグラムに補正を行う。
【０１０５】
（効果）
関心領域に重きを置いた階調処理が行われるため、主観的に好ましい高品位なカラー映像信号が得られる。
【０１０６】
また、請求項17に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換手段は、前記輝度信号を複数の領域に分割する分割手段と、前記領域ごとに前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、前記領域ごとに前記適正露光域に関してエッジ量を算出するエッジ算出手段と、前記領域ごとに前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、前記領域ごとに前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、を有することを特徴とするものである。
【０１０７】
（実施形態との対応）
この発明に関する実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の分割手段は図15に示される分割部800が、請求項中の適正域抽出手段は図15に示される適正域抽出部201が、請求項中のエッジ算出手段は図15に示されるエッジ算出部202が、請求項中のヒストグラム作成手段は図15に示されるヒストグラム作成部203が、請求項中の階調変換特性算出手段は図15に示される階調変換特性算出部208が、請求項中の変換処理手段は図15に示される変換処理部209がそれぞれ対応する。
【０１０８】
この発明の好ましい適用例は、分割部800にて輝度信号を複数の領域に分割し、適正域抽出部201にて領域ごとに輝度信号に基づき適正露光域を抽出し、エッジ算出部202にて領域ごとに適正露光域に関してエッジ量を算出し、ヒストグラム作成部203にて領域ごとにエッジ量に基づきヒストグラムを作成し、階調変換特性算出部208にて領域ごとにヒストグラムに基づき階調変換特性を算出し、変換処理部209にて階調変換特性に基づき輝度信号に対して階調変換処理を行う画像処理装置である。
【０１０９】
（作用）
階調変換処理を行うに必要な階調変換特性を輝度信号のエッジヒストグラムから所定の領域ごとに独立かつ適用的に算出して、算出された階調変換特性に基づき輝度信号に対して階調変換処理を行う。
【０１１０】
（効果）
輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。また、領域ごとに独立して階調変換特性を求めるため、より自由度が向上し、明暗比の大きいシーンに対しても高品位なカラー映像信号が得られる。
【０１１１】
また、請求項18に記載の発明は、請求項17に記載の発明による画像処理装置において、前記変換処理手段は、前記輝度信号から注目画素を抽出する注目画素抽出手段と、前記注目画素と前記注目画素の近傍に位置する複数の前記領域の中心との距離情報を算出する距離算出手段と、前記注目画素の近傍に位置する複数の前記領域の階調変換特性と前記距離情報に基づき前記注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する補間算出手段と、を有することを特徴とするものである。
【０１１２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の注目画素抽出手段は図15に示される抽出部802が、請求項中の距離算出手段は図15に示される距離算出部803が、請求項中の補間算出手段は図15に示される補間算出部804がそれぞれ対応する。
【０１１３】
この発明の好ましい適用例は、抽出部802にて輝度信号から注目画素を抽出し、距離算出部803にて注目画素と注目画素の近傍に位置する複数の領域の中心との距離情報を算出し、補間算出部804にて注目画素の近傍に位置する複数の領域の階調変換特性と距離情報に基づき注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する画像処理装置である。
【０１１４】
（作用）
領域ごとに独立して求めた階調変換特性を補間演算にて合成して階調変換処理に用いる。
【０１１５】
（効果）
領域ごとに独立して求めた階調変換特性を合成するために、領域間での不連続性が発生せず、高品位なカラー映像信号が得られる。
【０１１６】
また、請求項19に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記色空間としてYCbCr色空間またはYIQ色空間のいずれかを用いることを特徴とするものである。
【０１１７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のYCbCr色空間またはYIQ色空間は図５、図８に示される。
【０１１８】
この発明の好ましい適用例は、撮像系からのカラー映像信号をYCbCr色空間またはYIQ色空間へ変換する画像処理装置である。
【０１１９】
（作用）
撮像系からのカラー映像信号を輝度信号と色信号が分離した色空間へ変換する。
【０１２０】
（効果）
輝度信号と色信号が分離するため、高精度な階調変換処理または彩度補正処理が可能となり、視覚的に違和感の少ない高品位なカラー映像信号が得られる。また、YCbCr色空間またはYIQ色空間は変換が容易で、画像処理装置の高速化及び低コスト化が可能となる。
【０１２１】
また、請求項20に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記階調変換処理後の輝度信号及び前記彩度補正処理がなされた色信号を階調処理がなされたカラー映像信号へ変換する色空間逆変換手段を更に有することを特徴とするものである。
【０１２２】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中の色空間逆変換手段は図１、図９、図11に示されるY/C合成部115が対応する。
【０１２３】
この発明の好ましい適用例は、Y/C合成部115にて階調変換処理後の輝度信号及び彩度補正処理後の色信号を階調処理がなされたカラー映像信号へ変換する画像処理装置である。
【０１２４】
（作用）
階調変換処理後の輝度信号及び彩度補正処理後の色信号を本来のカラー映像信号へ変換する。
【０１２５】
（効果）
処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。
【０１２６】
また、請求項21に記載の発明は、請求項１または２に記載の発明による画像処理装置において、前記撮像系は、原色フィルタを前面に配置した単板撮像素子または色差線順次型補色フィルタを前面に配置した単板撮像素子を用いることを特徴とするものである。
【０１２７】
（実施形態との対応）
この発明の実施形態は、図１〜図10Dに示される第１の実施形態及び図11〜図17Cに示される第２の実施形態が対応する。請求項中のBayer型原色フィルタは第２図に、請求項中の色差線順次型補色フィルタは図12に示される。
【０１２８】
この発明の好ましい適用例は、Bayer型原色フィルタまたは色差線順次型補色フィルタを撮像素子前面に配置する画像処理装置である。
【０１２９】
（作用）
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
【０１３０】
（効果）
Bayer型原色フィルタまたは色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【発明の効果】
【０１３１】
本発明によれば、カラー映像信号を輝度と色信号に分離し、輝度信号に対して階調変換処理を行い、階調変換処理前後の輝度信号、色空間における輝度信号の最大値及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定し、この関数を用いて色信号に対する彩度補正処理を行う。
【０１３２】
階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができるので、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数を用いて行うようにしたことにより、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【発明を実施するための最良の形態】
【０１３３】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【０１３４】
まず、その構成について説明する。図１は第１の実施形態の構成図である。レンズ系100、絞り101、カラーフィルタ102、CCD103を介して撮影されたカラー映像信号は、増幅器（図中"Gain"）104にて増幅され、A/D変換器（図中"A/D"）105にてデジタル信号へ変換される。A/D変換器105からのカラー映像信号は、バッファ106を介してY/C分離部111へ転送される。
【０１３５】
バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109へも接続される。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD103及び増幅器104へ、合焦点検出部109はAFモータ110へそれぞれ接続される。Y/C分離部111は、階調変換部112、関数設定部113及び彩度補正部114へ接続される。階調変換部112は、関数設定部113、彩度補正部114及びY/C合成部115へ接続される。関数設定部113は彩度補正部114へ、彩度補正部114はY/C合成部115へそれぞれ接続される。Y/C合成部115は、信号処理部116を経由してメモリカードなどの出力部117に接続される。
【０１３６】
マイクロコンピュータなどの制御部118は、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、Y/C分離部111、階調変換部112、関数設定部113、彩度補正部114、Y/C合成部115、信号処理部116及び出力部117と双方向に接続される。
【０１３７】
また、電源スイッチ、シャッターボタン及び撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続される。
【０１３８】
続いて、信号処理の内容について説明する。
【０１３９】
図１を参照しながらカラー映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、カラーフィルタ102及びCCD103を介して撮影されたカラー映像信号は、アナログ信号として出力される。なお、この実施形態においては、CCD103はカラーフィルタ102としてBayer型原色フィルタを前面に配置した単板CCDである。図２にBayer型原色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、基本単位内には、赤(R)、青(B)フィルタが１画素ずつ、緑(G)フィルタが２画素配置される。
【０１４０】
上記アナログ信号は増幅器104にて所定量増幅され、A/D変換器105にてデジタル信号へ変換されてバッファ106へ転送される。なお、この実施形態においては、デジタル化されたカラー映像信号の階調幅を例えば12bitとする。
【０１４１】
バッファ106内のカラー映像信号は、プリホワイトバランス調整部107、測光評価部108及び合焦点検出部109へ転送される。プリホワイトバランス調整部107では所定レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを調整する。
【０１４２】
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD103の電子シャッター速度や増幅器104の増幅率などを制御する。
【０１４３】
また、合焦点検出部109では、カラー映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【０１４４】
次に、外部I/F部119を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、プリホワイトバランス調整部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部118へ転送される。
【０１４５】
バッファ106内の映像信号は、Y/C分離部111へ転送される。Y/C分離部111は、制御部118の制御に基づき、公知の補間処理によりR、G、Bの三板からなるカラー映像信号を生成し、輝度信号Y及び色信号Cb、Crを(1)式に基づき算出する。
【０１４６】
【数４】
【０１４７】
上記輝度信号Y及び色信号Cb、Crは、階調変換部112、関数設定部113及び彩度補正部114へ転送される。階調変換部112は、制御部118の制御に基づき、階調変換処理に用いる階調変換特性を算出した後に上記輝度信号Yに対して階調変換処理を行う。階調変換処理後の輝度信号Y'は関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０１４８】
関数設定部113は、制御部118の制御に基づき、Y/C分離部111からの輝度信号Y及び色信号Cb、Crと階調変換部112からの階調変換処理後の輝度信号Y'に基づき、色信号の彩度補正処理に用いる関数を画素単位に設定する。設定された関数は彩度補正部114へ転送される。
【０１４９】
彩度補正部114は、制御部118の制御に基づき、Y/C分離部111からの輝度信号Y、階調変換部112からの階調変換処理後の輝度信号Y'及び関数設定部113からの関数に基づき彩度補正処理に用いる彩度補正係数kcを画素単位に算出し、これを色信号Cb、Crへ乗算することで彩度補正処理を行う。彩度補正処理がなされた色信号Cb'、Cr'はY/C合成部115へ転送される。
【０１５０】
上記関数設定部113及び彩度補正部114の処理は、制御部118の制御に基づき、画素単位に同期して行われる。
【０１５１】
Y/C合成部115は、制御部118の制御に基づき、階調変換部112からの階調変換処理後の輝度信号Y'と彩度補正部114からの彩度補正処理がなされた色信号Cb'、Cr'に対して、(2)式に基づき階調変換がなされたカラー映像信号R'、G'、B'を合成する。
【０１５２】
【数５】
【０１５３】
合成された上記カラー映像信号は信号処理部116へ転送される。信号処理部116では、公知の圧縮処理などが行われ、出力部117へ転送される。出力部117は、メモリカードなどの記録媒体にカラー映像信号を記録保存する。
【０１５４】
図３は階調変換部112の構成の一例を示す。階調変換部112は、バッファ200、適正域抽出部201、エッジ算出部202、ヒストグラム作成部203、ヒストグラム補正部204、色相算出部205、人物判断部206、重み係数設定部207、階調変換特性算出部208及び変換処理部209からなる。
【０１５５】
Y/C分離部111は、バッファ200を介して適正域抽出部201、ヒストグラム作成部203、色相算出部205、重み係数設定部207及び変換処理部209へ接続している。適正域抽出部201はエッジ算出部202を介してヒストグラム作成部203へ接続している。ヒストグラム作成部203は、ヒストグラム補正部204及び階調変換特性算出部208を介して変換処理部209へ接続している。色相算出部205は、人物判断部206及び重み係数設定部207を介してヒストグラム補正部204へ接続している。変換処理部209は、関数設定部113、彩度補正部114及びY/C合成部115へ接続している。制御部118は、適正域抽出部201、エッジ算出部202、ヒストグラム作成部203、ヒストグラム補正部204、色相算出部205、人物判断部206、重み係数設定部207、階調変換特性算出部208及び変換処理部209と双方向に接続している。
【０１５６】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ200に記録される。適正域抽出部201は、制御部118の制御に基づき、バッファ200から輝度信号Yを読み込み、暗部と明部に関する所定の閾値（例えば12bit階調なら暗部が128、明部が3968）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域であるとしてエッジ算出部202へ転送する。
【０１５７】
エッジ算出部202は、制御部118の制御に基づき、適正域抽出部201からの適正露光域の輝度信号Yを読み込み、ラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。算出されたエッジ強度はヒストグラム作成部203へ転送される。
【０１５８】
ヒストグラム作成部203は、制御部118の制御に基づき、エッジ算出部202からのエッジ強度に関して所定の閾値（例えば12bit階調なら64）以上のエッジ強度のある画素を選別し、バッファ200から対応する画素位置の輝度信号Yを読み込む。読み込まれた輝度信号Yに関してヒストグラムを作成し、ヒストグラム補正部204へ転送する。
【０１５９】
一方、色相算出部205は、制御部118の制御に基づき、バッファ200から色信号Cb、Crを読み込み、所定の閾値と比較することで肌色領域を抽出し、この結果を人物判断部206へ転送する。人物判断部206は、制御部118の制御に基づき、色相算出部205からの肌色領域の情報に基づき、人物の顔と判断される領域を抽出し、この結果を重み係数設定部207へ転送する。
【０１６０】
重み係数設定部207は、制御部118の制御に基づき、色相算出部205からの肌色領域の情報に基づきバッファ200から人物の顔と判断される領域内の輝度信号Yを求め、これに所定の係数を乗算することで各輝度レベルに関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在しない輝度レベルに関して上記重み係数は０となる。
【０１６１】
算出された重み係数はヒストグラム補正部204へ転送される。ヒストグラム補正部204は、制御部118の制御に基づき、ヒストグラム作成部203からヒストグラムを読み込むとともに、重み係数設定部207から重み係数を読み込み、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補正されたヒストグラムは階調変換特性算出部208へ転送される。
【０１６２】
階調変換特性算出部208は、制御部118の制御に基づき、ヒストグラム補正部204からのヒストグラムを累積し、正規化することで階調変換特性を算出する。正規化は、映像信号の階調に従って行われ、例えば12bitならば0〜4095の範囲に正規化される。上記階調変換特性は変換処理部209へ転送される。
【０１６３】
変換処理部209は、制御部118の制御に基づき、階調変換特性算出部208からの階調変換特性を用い、バッファ200からの輝度信号に対して階調変換処理を行う。階調変換処理後の輝度信号は、関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０１６４】
図４は関数設定部113の構成の一例を示す。関数設定部113は、バッファ300、色相算出部301、閾値設定部302、閾値記録部303、第１比較部304、バッファ305、第２比較部306、関数記録部307、関数読み出し部308及び定数項確定部309からなる。
【０１６５】
Y/C分離部111は、バッファ300を介して色相算出部301及び第１比較部304へ接続している。階調変換部112はバッファ305を介して第２比較部306へ接続している。色相算出部301及び閾値記録部303は、閾値設定部302へ接続している。閾値設定部302は、第１比較部304、第２比較部306及び定数項確定部309へ接続している。第１比較部304、第２比較部306及び関数記録部307は、関数読み出し部308へ接続している。関数読み出し部308は定数項確定部309へ接続している。定数項確定部309は彩度補正部114へ接続している。制御部118は、色相算出部301、閾値設定部302、第１比較部304、第２比較部306、関数読み出し部308及び定数項確定部309と双方向に接続される。
【０１６６】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ300に記録される。また、階調変換部112からの階調処理がなされた輝度信号Y'は、バッファ305に記録される。色相算出部301は、制御部118の制御に基づき、バッファ300から画素単位で色信号Cb、Crを順次読み出し、各画素における色相情報を求める。
【０１６７】
なお、この実施形態においては、色相情報として図５(a)に示される４つの色相域を想定する。図５(a)は、CrCb平面において0°以上90°未満の色相域（以後「45°の色相域」と表記する）、90°以上180°未満の色相域（以後「135°の色相域」と表記する）、180°以上270°未満の色相域（以後「225°の色相域」と表記する）、270°以上360°未満の色相域（以後「315°の色相域」と表記する）の４つの色相域を示す。
【０１６８】
色相算出部301は表１に示されるように色信号Cb、Crの符号（正負）に基づき、上記４つの色相域への分類を行う。
【０１６９】
【表１】
【０１７０】
上記４つの色相域への分類結果は色相情報として閾値設定部302へ転送される。閾値設定部302は、制御部118の制御に基づき、各画素単位で４つの色相域に対応する閾値yθthを設定する。ここで、θ=45、135、225、315で、４つの色相域を意味する。
【０１７１】
図５の(b)〜(e)は、45°、135°、225°及び315°の色相域を示す。横軸が彩度C、縦軸が輝度Yを示しており、同一色相域では彩度Cと輝度Yがこのような関係になっているとする。閾値yθthは、同一色相域で彩度Cが最大となる輝度信号の値を意味する。
【０１７２】
閾値yθth以上では輝度の増加に伴い彩度は単調に減少（以後「彩度単調減少域」と表記する）し、閾値yθth以下では輝度の増加に伴い彩度は単調に増加（以後「彩度単調増加域」と表記する）する。上記閾値yθthは色空間及び色相域が定まれば確定する。
【０１７３】
閾値記録部303は事前に求めた閾値yθthを記録しておく。閾値設定部302は、色相算出部301からの色相情報に基づき閾値記録部303から対応する閾値yθthを読み出し、これを第１比較部304、第２比較部306及び定数項確定部309へ転送する。
【０１７４】
第１比較部304は、制御部118の制御に基づき、バッファ300から色相算出部301で使用された色信号と同一座標にある輝度信号y0を読み込み、これを閾値設定部302からの閾値yθthと比較する。比較は、輝度信号y0が彩度単調減少域に属するか、彩度単調増加域に属するかを判断していることになる。上記比較結果は、関数読み出し部308へ転送される。
【０１７５】
一方、第２比較部306は制御部118の制御に基づき、バッファ305から色相算出部301で使用された色信号と同一座標にある階調変換処理後の輝度信号y1を読み込み、これを閾値設定部302からの閾値yθthと比較する。比較は、階調変換処理後の輝度信号y1が彩度単調減少域に属するか、彩度単調増加域に属するかを判断していることになる。上記比較結果は、関数読み出し部308へ転送される。
【０１７６】
関数読み出し部308は、制御部118の制御に基づき、第１比較部304及び第２比較部306からの比較結果を用いて、色信号の彩度補正処理に用いる彩度補正係数kcを算出するための関数を設定する。
【０１７７】
図６の(a)〜(f)は６通りのケースに関する上記関数を示す。６通りのケースは、輝度信号y0及び階調変換処理後の輝度信号y1が共に彩度単調増加域に属する場合、共に彩度単調減少域に属する場合、一方が彩度単調増加域で一方が彩度単調減少域に属する場合の３種と、階調変換処理により輝度信号が増加する場合と減少する場合の２種の組み合わせとなる。
【０１７８】
図６の(a)、(b)、(c)は階調変換処理により輝度信号が増加する場合を、図６の(d)、(e)、(f)は階調変換処理により輝度信号が減少する場合をそれぞれ示す。また、図６の(a)、(d)は輝度信号y0及び階調変換処理後の輝度信号y1が共に彩度単調増加域に属する場合、図６の(b)、(e)は一方が彩度単調増加域で一方が彩度単調減少域に属する場合、図６の(c)、(f)は共に彩度単調減少域に属する場合をそれぞれ示す。
【０１７９】
上記６通りのケースにおいて彩度補正係数kcを算出するための関数をまとめると表２に示されるよう４つの関数となる。
【０１８０】
【表２】
【０１８１】
これら４つの関数は、階調変換処理前後の輝度信号y0、y1、色空間における輝度信号の最大値ymax及びカラー映像信号の属する色相域において最大の彩度を示すときの輝度値yθthをパラメータとし、色空間の最大彩度値に対する比率が一定となるように、すなわち、カラー映像信号の属する色相域において輝度信号がy0からy1に変更された場合に、階調変換処理前の輝度信号y0でとりうる最大の彩度に対する彩度補正処理前の彩度の比率と、階調変換処理後の輝度信号y1でとりうる最大の彩度に対する彩度補正処理後の彩度の比率が等しくなるように、それぞれ設定される。
【０１８２】
色空間における輝度信号の最大値ymaxはカラー映像信号の階調幅で定まり、この実施形態においては、色空間として(1)式に示されるYCbCr色空間を、カラー映像信号の階調幅として12bitを想定しているため、ymax=4095となる。なお、後段の彩度補正部114では入力される輝度信号y0をビットシフト処理して上位ビットのみを取り出している。このため、実際に使用するymaxは4095ではなく、ビットシフト処理に対応してより小さな値を用いることになる。同様にyθthもビットシフト処理に対応した値を用いる。
【０１８３】
なお、色空間の最大彩度値に対する比率が一定となるように彩度を補正する点においては特開2004-312467公報と共通するが、特開2004-312467公報では、彩度補正係数を算出するにあたり、色空間の最大彩度値のモデルを用いて色空間の最大彩度値をその都度演算する必要があったのに対し、本実施形態では、そのような色空間の最大彩度値の演算は不要であり、代わりに、定数項ymax、yθthと変数y0、y1により構成される簡単な４つの関数を用いて彩度補正係数kcを算出する点で両者は相違する。
【０１８４】
関数記録部307は上記４つの関数を記録しておく。関数読み出し部308は、第１比較部304及び第２比較部306からの比較結果、すなわち階調変換処理前後の輝度信号の値y0、y1が彩度単調減少域に属するか、彩度単調増加域に属するかの情報に基づき、関数記録部307から表２に示されるような対応する関数を読み出す。読み出された関数は定数項確定部309へ転送される。
【０１８５】
定数項確定部309は、制御部118の制御に基づき、上記４つの関数に対する定数項を確定する。
【０１８６】
ここで、表２に示される４つの関数は、y1/y0を基本形として、４つの定数項a、b、c、dを用いることで(3)式のように統一的に記述できる。
【０１８７】
【数６】
【０１８８】
そして、定数項確定部309は、関数読み出し部308からの関数に対応する４つの定数項a、b、c、dを表２に示されるように確定する。確定された定数項a、b、c、dは彩度補正部114へ転送される。
【０１８９】
なお、上記のように４つの定数項a、b、c、dを確定する理由は、後段の彩度補正部114において４つの関数に対して同一の演算処理を行うためである。例えば、彩度補正部114が４つの関数に対応して４つの独立した演算処理を行うならば、使用しない定数項を確定する必要はなくなる。
【０１９０】
図７は彩度補正部114の構成の一例を示す。彩度補正部114は、バッファ400、第１ビットシフト部401、第１減算部402、最小値比較部403、除算値設定部404、除算値記録部405、バッファ406、第２ビットシフト部407、第２減算部408、彩度補正係数算出部409、固定補正量設定部410及び乗算部411からなる。
【０１９１】
Y/C分離部111は、バッファ400を介して第１ビットシフト部401及び乗算部411へ接続している。第１ビットシフト部401は、第１減算部402及び最小値比較部403を介して除算値設定部404及び固定補正量設定部410へ接続している。除算値記録部405は除算値設定部404へ、除算値設定部404は彩度補正係数算出部409へそれぞれ接続している。階調変換部112は、バッファ406、第２ビットシフト部407及び第２減算部408を介して彩度補正係数算出部409へ接続している。彩度補正係数算出部409及び固定補正量設定部410は乗算部411へ接続している。関数設定部113は、第１減算部402、第２減算部408及び彩度補正係数算出部409へ接続している。乗算部411はY/C合成部115へ接続している。
【０１９２】
制御部118は、第１ビットシフト部401、第１減算部402、最小値比較部403、除算値設定部404、第２ビットシフト部407、第２減算部408、彩度補正係数算出部409、固定補正量設定部410及び乗算部411へ双方向に接続している。
【０１９３】
Y/C分離部111からの輝度信号Y及び色信号Cb、Crはバッファ400に記録される。また、階調変換部112からの階調処理がなされた輝度信号Y'はバッファ406に記録される。
【０１９４】
第１ビットシフト部401は、制御部118の制御に基づき、バッファ400から注目画素の輝度信号の値y0を順次読み出し、これに対して所定のビット長のビットシフト処理を行うことで、上位ビット成分を抽出する。この実施形態においては、輝度信号の階調幅として12bitを想定しており、例えば6bitをシフト処理することにより、上位6bitに対応する輝度信号の値を抽出する。ビットシフト処理がなされた輝度信号の値y0は第１減算部402へ転送される。
【０１９５】
同様に、第２ビットシフト部407は制御部118の制御に基づき、バッファ406から注目画素の階調処理がなされた輝度信号の値y1を順次読み出し、これに対して所定のビット長、この実施形態においては6bitをシフト処理することにより、上位6bitに対応する輝度信号の値を抽出する。ビットシフト処理がなされた階調処理がなされた輝度信号の値y1は第２減算部408へ転送される。
【０１９６】
なお、上記第１ビットシフト部401及び第２ビットシフト部407で処理される画素は、同一座標となるよう制御部118にて制御される。
【０１９７】
関数設定部113は、(3)式に示される定数項dを第１減算部402へ、定数項bを第２減算部408へ、定数項a及びcを彩度補正係数算出部409へそれぞれ転送する。
【０１９８】
第１減算部402は、制御部118の制御に基づき、第１ビットシフト部401からの輝度信号の値y0と関数設定部113からの定数項dとの間で減算処理を行い、「y0-d」を最小値比較部403へ転送する。
【０１９９】
最小値比較部403は、制御部118の制御に基づき、「y0-d」の絶対値を求め、これを所定の閾値と比較する。この実施形態においては、6bitの信号を想定しており、上記閾値としては例えば４が用いられる。上記閾値との比較結果に基づき、閾値以上の場合は「y0-d」は除算値設定部404へ転送される。一方、閾値未満の場合は「y0-d」は破棄され、以後の処理は固定補正量設定部410へ移管される。
【０２００】
除算値設定部404は、制御部118の制御に基づき、最小値比較部403からの「y0-d」に関して除算値記録部405を用いてその逆数「1/(y0-d)」を求める。
【０２０１】
除算値記録部405は、逆数を記録したテーブルで、この実施形態においては6bitの信号に関する逆数を記録している。なお、「y0-d」は負の値を取り得るが、その絶対値で除算値記録部405から逆数を求めた後、負の場合のみ負数へ変換することで対応できる。求められた逆数「1/(y0-d)」は彩度補正係数算出部409へ転送される。
【０２０２】
一方、第２減算部408は制御部118の制御に基づき、第２ビットシフト部407からの階調変換処理後の輝度信号の値y1と関数設定部113からの定数項bとの間で減算処理を行い、「y1-b」を彩度補正係数算出部409へ転送する。
【０２０３】
彩度補正係数算出部409は、制御部118の制御に基づき、除算値設定部404からの「1/(y0-d)」、第２減算部408からの「y1-b」、関数設定部113からの「a」及び「c」に基づき、(3)式に示される彩度補正係数kcを乗算により算出する。算出された彩度補正係数kcは乗算部411へ転送される。
【０２０４】
また、最小値比較部403にて「y0-d」の絶対値が閾値未満の場合には固定補正量設定部410は彩度補正係数kcとして1を設定し、これを乗算部411へ転送する。この場合、除算値設定部404、第２減算部408及び彩度補正係数算出部409における処理は、制御部118の制御に基づき停止される。
【０２０５】
乗算部411は、制御部118の制御に基づき、バッファ400から画素単位で色信号Cb、Crを順次読み出し、これに彩度補正係数kcを乗算することで、彩度補正処理がなされた色信号Cb'、Cr'を得る。
【０２０６】
【数７】
【０２０７】
ここで、乗算部411が読み出す色信号は、上記第１ビットシフト部401及び第２ビットシフト部407で処理される輝度信号の値の画素と同一座標となるよう制御部118にて制御される。彩度補正処理がなされた色信号Cb'、Cr'はY/C合成部115へ転送される。
【０２０８】
続いて、上記構成、処理による効果について説明する。
【０２０９】
上記構成によれば、階調変換処理に伴う輝度信号の変更に対応して色信号の彩度を適切に補正することができ、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うので、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【０２１０】
また、階調変換処理は輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０２１１】
さらに、人物などの関心領域に重きを置いた階調処理が行われるため、主観的に好ましい高品位なカラー映像信号が得られる。
【０２１２】
また、彩度補正処理は本来の輝度信号、階調変換処理後の輝度信号、色相情報に基づき４種類の関数の中から最適な関数を選択するようにした。４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【０２１３】
さらに、後段の演算処理は、上記関数の定数項を確定した後に行うため、彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【０２１４】
また、彩度補正係数は輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出した後に減算と乗算処理に基づき算出されるため、処理時間の短縮化とハードウェア規模の縮小が可能となる。
【０２１５】
また、上記関数の分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定するため、演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【０２１６】
さらに、YCbCr色空間は変換が容易であり、画像処理装置の高速化及び低コスト化が可能となる。処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。
【０２１７】
また、Bayer型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２１８】
なお、上記実施形態では関数設定部113内の色相算出部301で４つの色相域を用いる構成となっていたが、色相域の数はこれに限定されない。例えば、色相域を８あるいは16に増加させて、精度を向上させる構成も可能である。また、角度方向に均等に分割するのではなく、特定の色相を用いて分割する構成も可能である。
【０２１９】
図８は、R（赤）、G（緑）、B（青）、Cy（シアン）、Mg（マゼンタ）、Ye（イエロー）の６つの色相の例を示す。図８の(a)は、CrCb平面におけるR、G、B、Cy、Mg、Yeの色相域の配置を示す。図８の(b)〜(g)は、R、G、B、Cy、Mg、Yeの色相域及び閾値yθthを示す。この場合、θ= R、G、B、Cy、Mg、Yeとなる。この他にも、記憶色として重要な肌色などの色相域を用いる構成も可能である。
【０２２０】
さらに、上記実施形態では色空間としてYCbCr色空間を用いる構成となっていたが、このような構成に限定される必要はない。線形演算にて変換できる色空間、例えばYIQ色空間など種々の色空間を用いることができる。YIQ色空間を用いる場合、Y/C分離部111は次式により輝度信号Yと色信号IQを求める。
【０２２１】
【数８】
【０２２２】
また、Y/C合成部115は階調変換処理後の輝度信号Y'と彩度補正部114からの彩度補正処理がなされた色信号I'、Q'に対して、次式によりカラー映像信号R'、G'、B'を合成する。
【０２２３】
【数９】
【０２２４】
また、上記実施形態では一枚のカラー映像信号に関して説明を行ったが、上記処理は、時系列的に撮影される複数のカラー映像信号に関しても同様に適用することが可能である。
【０２２５】
なお、上記実施形態ではレンズ系100、絞り101、カラーフィルタ102、CCD103、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109及びAFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
【０２２６】
例えば、メモリカード等の記録媒体に、別体の撮像部で撮像されたカラー映像信号を未処理のRawデータ形態で記録するとともに、カラーフィルタや撮影時の露光条件などの付随情報をヘッダ部に記録しておき、これらのデータを図９に示される構成で読み込んで処理することも可能である。
【０２２７】
図９は、図１に示す構成からレンズ系100、絞り101、カラーフィルタ102、CCD103、増幅器104、A/D変換器105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109及びAFモータ110を省略し、入力部500及びヘッダ情報解析部501を追加した形態となっている。基本構成は図１とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２２８】
以下、異なる部分のみ説明すると、入力部500は、バッファ106及びヘッダ情報解析部501へ接続している。制御部118は、入力部500及びヘッダ情報解析部501と双方向に接続している。
【０２２９】
マウス、キーボードなどの外部I/F部119を介して再生操作を開始することで、メモリカード等の記録媒体に保存されたカラー映像信号及びヘッダ情報が入力部500から読み込まれる。
【０２３０】
入力部500からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へそれぞれ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は図１の構成と同じである。
【０２３１】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からのカラー映像信号を未処理のままのRawデータとして出力するとともに、制御部118からカラーフィルタや撮影時の露光条件や彩度補正処理に用いる関数の情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２３２】
図10Aは上記処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示しており、図１のY/C分離部111〜出力部117の処理に対応する。
【０２３３】
各ステップの処理について説明すると、ステップＳ１では、カラー映像信号とカラーフィルタや撮影時の露光条件などのヘッダ情報を読み込む。
【０２３４】
ステップＳ２では、(1)式に基づき輝度信号Y及び色信号Cb、Crを算出する。
【０２３５】
ステップＳ３では、輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。階調変換処理は図10Bのフローに従って実行され、これについては後述する。
【０２３６】
ステップＳ４では、注目画素を順次抽出する。
【０２３７】
ステップＳ５では、色信号Cb、Crの彩度補正処理に使用する関数を設定する。関数設定処理は図10Cのフローに従って実行され、これについては後述する。
【０２３８】
ステップＳ６では、色信号Cb、Crに対して彩度補正処理を施し、彩度補正処理後の色信号Cb'、Cr'を算出する。彩度補正処理は色空間の最大彩度値に対する比率が一定となるように行う。彩度補正処理は図10Dのフローに従って実行され、これについては後述する。
【０２３９】
ステップＳ７では、全ての画素について彩度補正処理が完了したかを判断し、完了していない場合はステップＳ４へ分岐し、完了した場合はステップＳ８へ分岐する。
【０２４０】
ステップＳ８では、(2)式に基づき階調変換処理後の輝度信号Y'と彩度補正処理がなされた色信号Cb'、Cr'を合成してカラー映像信号を算出する。
【０２４１】
ステップＳ９では、公知の圧縮処理などの信号処理が行われる。
【０２４２】
ステップＳ10では、処理後のカラー映像信号が出力され終了する。
【０２４３】
図10Bは上記ステップＳ３における階調変換処理に関するフローであり、図３に示した階調変換部112の処理に対応する。
【０２４４】
ステップＳ20では、輝度信号Yに関して暗部と明部に関する所定の閾値と比較を行い、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域として抽出される。
【０２４５】
ステップＳ21では、適正露光域の輝度信号Yに対してラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。
【０２４６】
ステップＳ22では、所定の閾値以上のエッジ強度のある画素を選別し、ヒストグラムを作成する。
【０２４７】
ステップＳ23では、色信号Cb、Crに関して所定の閾値と比較することで肌色領域を抽出する。
【０２４８】
ステップＳ24では、肌色領域の情報に基づき人物の顔と判断される領域を関心領域として抽出する。
【０２４９】
ステップＳ25では、関心領域内の輝度信号Yを求め、これに所定の係数を乗算することで各輝度レベルに関する補正用の重み係数を算出する。
【０２５０】
ステップＳ26では、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。
【０２５１】
ステップＳ27では、ヒストグラムを累積し、正規化することで階調変換特性を算出する。
【０２５２】
ステップＳ28では、階調変換特性を用いて輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。
【０２５３】
ステップＳ29では、階調変換処理後の輝度信号Y'を出力して完了する。
【０２５４】
図10Cは上記ステップＳ５における関数設定処理に関するフローであり、図４に示した関数設定部113の処理に対応する。
【０２５５】
ステップＳ30では、表１に示されるように注目画素に関する色信号Cb、Crの正負に基づき４つの色相域への分類を行う。
【０２５６】
ステップＳ31では、４つの色相域に対応する閾値yθthを設定する。
【０２５７】
ステップＳ32では、注目画素に関する輝度信号の値y0と閾値yθthの比較を行う。
【０２５８】
ステップＳ33では、注目画素に関する階調変換処理後の輝度信号の値y1と閾値yθthの比較を行う。
【０２５９】
ステップＳ34では、表２に示されるように、閾値yθthとの比較結果に基づき関数を設定する。
【０２６０】
ステップＳ35では、表２に示されるように、対応する関数の定数項a、b、c、dを確定する。
【０２６１】
ステップＳ36では、関数の定数項a、b、c、dを出力して完了する。
【０２６２】
図10Dは上記ステップＳ６における彩度補正処理に関するフローであり、図７に示した彩度補正部114の処理に対応する。
【０２６３】
ステップＳ40では、注目画素に関する輝度信号の値y0に対してビットシフト処理を行い上位ビット成分を抽出する。
【０２６４】
ステップＳ41では、輝度信号の値y0と定数項d間での減算処理を行う。
【０２６５】
ステップＳ42では、減算処理された輝度信号の値「y0-d」と所定の閾値を比較し、閾値以上の場合はステップＳ43へ分岐し閾値未満の場合はステップＳ47へ分岐する。
【０２６６】
ステップＳ43では、テーブルに基づき減算処理された輝度信号の値「y0-d」の逆数「1/(y0-d)」を求める。
【０２６７】
ステップＳ44では、注目画素に関する階調処理がなされた輝度信号の値y1に対してビットシフト処理を行い上位ビット成分を抽出する。
【０２６８】
ステップＳ45では、階調処理がなされた輝度信号の値y1と定数項b間での減算処理を行う。
【０２６９】
ステップＳ46では、(3)式に示される彩度補正係数kcを求める。
【０２７０】
ステップＳ47では、減算処理された輝度信号の値「y0-d」の絶対値が閾値未満の場合は彩度補正係数kcに1を設定する。
【０２７１】
ステップＳ48では、注目画素の色信号Cb、Crに対して(4)式に示されるような彩度補正処理を施し、彩度補正処理後のCb'、Cr'を算出する。
【０２７２】
ステップＳ49では、彩度補正処理後の色信号Cb'、Cr'を出力して完了する。
【０２７３】
このように上記処理をソフトウェアにて処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２７４】
続いて、本発明の第２の実施形態について説明する。
【０２７５】
まず、その構成について説明する。図11は第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態に対して、更新制御部601が追加され、カラーフィルタ102がカラーフィルタ600へ、階調変換部112が階調変換部602にそれぞれ置換された構成になっている点が第１の実施形態と相違する。基本構成は第１の実施形態とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２７６】
以下、第1の実施形態と異なる部分を中心に説明する。レンズ系100、絞り101、カラーフィルタ600及びCCD103を介して撮影されたカラー映像信号は、増幅器104にて増幅され、A/D変換器105にてデジタル信号へ変換され、バッファ106へ転送される。
【０２７７】
バッファ106は、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、Y/C分離部111及び更新制御部601へ接続される。更新制御部601は階調変換部602へ接続される。Y/C分離部111は階調変換部602へ、階調変換部602は関数設定部113、彩度補正部114及びY/C合成部115へそれぞれ接続される。制御部118は、更新制御部601及び階調変換部602と双方向に接続される。
【０２７８】
続いて、信号処理の内容について説明する。第２の実施形態の作用は基本的に第１の実施形態とほぼ同じである。以下、異なる部分を中心に説明する。
【０２７９】
図11を参照しながらカラー映像信号の流れを説明する。外部I/F部119を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100、絞り101、カラーフィルタ600及びCCD103を介して時系列的に撮影された複数のカラー映像信号は、増幅器104、A/D変換器105を介して順次バッファ106へ転送される。バッファ106は、複数枚のカラー映像信号を記録可能な容量を持ち、一杯になった時点で時系列的に古いカラー映像信号から順次上書きされる。
【０２８０】
また、本実施形態においてCCD103は、カラーフィルタ600として色差線順次型補色フィルタを前面に配置した単板CCDである。色差線順次型補色フィルタの構成を図12に示す。図12に示すように、色差線順次方式は2×2画素を基本単位とし、基本単位内にはシアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。バッファ106内のカラー映像信号は更新制御部601へ転送される。
【０２８１】
更新制御部601は、制御部118の制御に基づき、時系列的に撮影される複数のカラー映像信号間でシーン変化が生じたかどうかを検出する。シーン変化が生じた場合、輝度信号の階調変換処理に使用される階調変換特性を更新するよう、階調変換部602へ制御信号を転送する。
【０２８２】
Y/C分離部111は、制御部118の制御に基づき、バッファ106内のCy、Mg、Ye、Gのカラー映像信号から2×2画素単位に輝度信号Y及び色信号Cb、Crを(7)式に基づき算出する。
【０２８３】
【数１０】
【０２８４】
色信号Cb、Crは1ライン間隔で交互に得られるが、これは公知の補間法により充填される。上記輝度信号Y及び色信号Cb、Crは、階調変換部602、関数設定部113及び彩度補正部114へ転送される。
【０２８５】
階調変換部602は、制御部118の制御に基づき、輝度信号Yに対して階調変換処理を行う。なお、階調変換処理に用いる階調変換特性は更新制御部601より更新のための制御信号が転送された場合に、所定の領域単位に算出を行う。階調変換処理後の輝度信号Y'は関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０２８６】
彩度補正部114では、第1の実施形態と同じく、輝度信号Y及び階調変換処理後の輝度信号Y'に基づき、色空間の最大彩度値に対する比率が一定となるように彩度補正処理を行う。
【０２８７】
図13は更新制御部601の構成の一例を示す。更新制御部601は変化検出部700及び更新動作制御部701からなる。バッファ106は変化検出部700へ接続している。変化検出部700は更新動作制御部701へ接続している。更新動作制御部701は階調変換部602へ接続している。制御部118は、変化検出部700及び更新動作制御部701と双方向に接続している。
【０２８８】
変化検出部700は、制御部118の制御に基づき、バッファ106から現時点で撮影されたカラー映像信号及びその一つ前に撮影されたカラー映像信号を読み込み、２つのカラー映像信号間において差分などの公知のシーン変化の検出処理を行う。シーン変化の検出処理の結果は更新動作制御部701へ転送される。
【０２８９】
更新動作制御部701は、制御部118の制御に基づき、シーン変化が検出された場合に、階調変換処理に用いる階調変換特性を更新するよう階調変換部602へ制御信号を転送する。なお、撮影開始時における最初の１枚目のカラー映像信号に関しては、制御部118は上記変化検出部700での処理を停止させ、更新動作制御部701に更新のための制御信号を転送するよう制御を行う。
【０２９０】
なお、この実施形態ではシーン変化を検出して階調変換特性の更新を制御する構成となっているが、このような構成に限定される必要はない。例えば、一定の時間間隔で更新を制御する構成も可能である。
【０２９１】
図14は更新制御部601がそのような一定の時間間隔で更新を制御する構成の一例を示すものである。
【０２９２】
更新制御部601は時間検出部702及び更新動作制御部701からなる。時間検出部702は更新動作制御部701へ接続している。更新動作制御部701は階調変換部602へ接続している。制御部118は、時間検出部702及び更新動作制御部701と双方向に接続される。
【０２９３】
時間検出部702は、制御部118の制御に基づき、撮影開始時から所定の時間、例えば１秒が経過したかを検出する。時間の検出処理の結果は更新動作制御部701へ転送される。
【０２９４】
更新動作制御部701は、制御部118の制御に基づき、所定の時間が検出された場合に、階調変換処理に用いる階調変換特性を更新するよう階調変換部602へ制御信号を転送する。なお、撮影開始時における最初の１枚目のカラー映像信号に関しては、制御部118は更新動作制御部701に更新のための制御信号を転送するよう制御を行う。
【０２９５】
図15は階調変換部602の構成の一例を示すもので、第１の実施形態の図３に示される階調変換部112に分割部800、バッファ801、抽出部802、距離算出部803及び補間演算部804が追加され、ヒストグラム補正部204、色相算出部205、人物判断部206及び重み係数設定部207が削除された構成になっている。基本構成は図３に示される階調変換部112とほぼ同じであり、同一の構成には同一の名称と番号を割り当てている。
【０２９６】
以下、異なる部分を中心に説明する。Y/C分離部111は分割部800へ、分割部800はバッファ200を介して適正域抽出部201、ヒストグラム作成部203及び抽出部802へそれぞれ接続している。ヒストグラム作成部203は、階調変換特性算出部208及びバッファ801を介して補間演算部804へ接続している。抽出部802は、距離算出部803及び変換処理部209へ接続している。距離算出部803は補間演算部804へ、補間演算部804は変換処理部209へそれぞれ接続している。更新制御部601は適正域抽出部201へ接続している。制御部118は、分割部800、抽出部802、距離算出部803及び補間演算部804と双方向に接続している。
【０２９７】
分割部800は、制御部118の制御に基づきY/C分離部111から現時点で撮影されたカラー映像信号における輝度信号Yを読み込み、これを所定サイズの領域、例えば64×64画素サイズの領域に分割し、順次バッファ200へ転送する。
【０２９８】
図16の(a)は輝度信号Yの領域への分割を示しており、各領域は重複せずに配置される。適正域抽出部201は、更新制御部601から更新のための制御信号を受信した場合のみ、バッファ200から領域単位で輝度信号Yを読み込み、暗部と明部に関する所定の閾値（例えば12bit階調なら暗部が128、明部が3968）と比較し、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域としてエッジ算出部202へ転送される。
【０２９９】
エッジ算出部202は、制御部118の制御に基づき、適正域抽出部201からの適正露光域の輝度信号Yを読み込み、ラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。算出されたエッジ強度はヒストグラム作成部203へ転送される。
【０３００】
ヒストグラム作成部203は、制御部118の制御に基づき、エッジ算出部202からのエッジ強度に関して所定の閾値（例えば12bit階調なら64）以上のエッジ強度のある画素を選別し、バッファ200から対応する画素位置の輝度信号Yを読み込む。読み込まれた輝度信号分に関してヒストグラムを作成し、階調変換特性算出部208へ転送する。
【０３０１】
階調変換特性算出部208は、制御部118の制御に基づき、ヒストグラム作成部203からのヒストグラムを累積し、正規化することで階調変換特性を算出する。正規化は、映像信号の階調に従って行われ、例えば12bitならば0〜4095の範囲に正規化さる。階調変換特性はバッファ801へ転送される。上記適正域抽出部201、エッジ算出部202、ヒストグラム作成部203及び階調変換特性算出部208における処理は、制御部118の制御に基づき領域単位で同期して行われる。
【０３０２】
バッファ801には全領域に対応する階調変換特性が保存されることになる。階調変換特性の算出が完了した後、制御部118は抽出部802を制御し、バッファ200から注目画素を順次抽出させる。抽出された注目画素の輝度信号の値y0は、距離算出部803及び変換処理部209へ転送される。距離算出部803は、抽出部802で抽出された注目画素に関して、その近傍に位置する４つの領域間の距離dm(m=1〜4)を算出する。
【０３０３】
図16の(b)は注目画素及びその近傍４領域の配置を示す。距離は、注目画素と領域の中心との間で算出される。以後、算出された近傍４領域との距離をdm(m=1〜4)で、近傍４領域の階調変換特性をTm()で表す。算出された距離dmは補間演算部804へ転送される。
【０３０４】
補間演算部804は、制御部118の制御に基づき、距離算出部803ら距離dmを、バッファ801から対応する近傍４領域の階調変換特性Tm()を読み込み、(8)式の右辺に示す補間演算に使用する変換式を設定する。
【０３０５】
【数１１】
【０３０６】
(8)式におけるy0は注目画素に関する階調変換処理前の輝度信号の値、y1は注目画素に関する階調変換処理後の輝度信号の値を意味する。上記(8)式の右辺に示す変換式は変換処理部209へ転送される。
【０３０７】
変換処理部209は、制御部118の制御に基づき、抽出部802で抽出された注目画素に関して補間演算部804からの変換式を適用し、これを全画素に対して行うことで、階調変換処理後の輝度信号Y'を得る。階調変換処理後の輝度信号Y'は、関数設定部113、彩度補正部114及びY/C合成部115へ転送される。
【０３０８】
続いて、上記構成、処理による効果について説明する。
【０３０９】
上記構成によれば、第１の実施形態と同様に、階調変換処理に伴う輝度信号の変更に対応して、色信号の彩度を適切に補正することができるので、視覚的に違和感の少ない高品位かつ自然なカラー映像信号が得られる。また、色信号の彩度補正処理を関数に基づき行うので、彩度補正処理が単純化され、画像処理装置の高速化及び低コスト化が可能となる。
【０３１０】
また、階調変換処理は輝度信号のエッジヒストグラムから適用的に階調変換特性を求めるため、多様なカラー映像信号に対して高精度かつ適切な階調変換処理が可能となる。
【０３１１】
さらに、領域ごとに独立して階調変換特性を求めるため、より自由度が向上し、明暗比の大きいシーンに対しても高品位なカラー映像信号が得られる。領域ごとに独立して求めた階調変換特性を補間演算により合成するために、領域間での不連続性が発生せず、高品位なカラー映像信号が得られる。
【０３１２】
また、彩度補正処理は、第１の実施形態と同じく、本来の輝度信号、階調変換処理後の輝度信号及び色相情報に基づき最適な関数を選択するようにした。４種類の関数は単純であり、記録するためのメモリ量を節約でき、画像処理装置の低コスト化が可能となる。
【０３１３】
さらに、後段の演算処理は、上記関数の定数項を確定した後に行うため、彩度補正処理の演算を高速化することができ、処理時間の短縮化が可能となる。
【０３１４】
また、彩度補正係数は輝度信号及び階調変換処理後の輝度信号に対して所定の上位ビット成分を抽出した後に減算と乗算処理に基づき算出されるため、処理時間の短縮化とハードウェア規模を縮小が可能となる。
【０３１５】
また、上記関数の分母項の大きさが所定の閾値より小さい場合には、彩度補正係数を1に設定するため、演算処理に関する安定性が向上し、高品位なカラー映像信号が得られる。
【０３１６】
また、撮影におけるシーン変化や撮影時間を検出することで階調変換特性を更新するように制御するため、画像処理装置における不要な演算処理を回避することができ、処理時間の短縮化と省電力化が可能となる。
【０３１７】
さらに、YCbCr色空間は変換が容易であり、画像処理装置の高速化及び低コスト化が可能となる。処理後の輝度信号及び色信号を本来のカラー映像信号へ変換するため、それ以降の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる。また、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０３１８】
なお、上記実施形態では色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にBayer型原色フィルタを用いることも可能であるし、撮像素子に関しても単板以外に二板、三板の撮像素子の利用も可能である。
【０３１９】
さらに、更新制御部601にて階調変換特性の更新を制御する構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様に一枚ごとに階調変換特性の更新を行う構成も可能である。この場合、更新制御部601を省略することができる。また、第１の実施形態に更新制御部601を追加する構成も可能である。
【０３２０】
また、上記実施形態では階調変換部602にて領域単位に階調変換特性を求めるスペースバリアントな階調変換処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様に一つの階調変換特性を用いるスペースインバリアントな階調変換処理を行う構成も可能である。一方、第１の実施形態の階調変換部112を階調変換部602に置換する構成も可能である。
【０３２１】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの複数のカラー映像信号を未処理のままのRawデータとして、制御部118からカラーフィルタや撮影時の露光条件や彩度補正処理に用いる関数の情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０３２２】
図17Aは、上記処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。図10Aに示す第1の実施形態のフローと同一の処理ステップに関しては、同一のステップ数を割り当てている。
【０３２３】
各ステップの内容について説明すると、ステップＳ１では、複数のカラー映像信号とカラーフィルタや撮影時の露光条件などのヘッダ情報を読み込む。
【０３２４】
ステップＳ50では、階調変換処理に用いる階調変換特性の更新を行うかどうかの制御情報を求める。更新処理制御は図17Bのフローに従って実行され、これについては後述する。
【０３２５】
ステップＳ２では、(1)式に基づき輝度信号Y及び色信号Cb、Crを算出する。
【０３２６】
ステップＳ51では、輝度信号Yに対して階調変換処理を施し、階調変換処理後の輝度信号Y'を算出する。階調変換処理は図17Cのフローに従って実行され、これについては後述する。
【０３２７】
ステップＳ４では、注目画素を順次抽出する。
【０３２８】
ステップＳ５では、図10Cに示されるフローと同様にして色信号Cb、Crの彩度補正処理に使用する関数を設定する。
【０３２９】
ステップＳ６では、図10Dに示されるフローと同様にして色信号Cb、Crに対して彩度補正処理を施し、彩度補正処理後の色信号Cb'、Cr'を算出する。彩度補正処理は、色空間の最大彩度値に対する比率が一定となるように行う。
【０３３０】
ステップＳ７では、全ての画素について彩度補正処理が完了したかを判断し、完了していない場合はステップＳ４へ分岐し、完了した場合はステップＳ８へ分岐する。
【０３３１】
ステップＳ８では、(2)式に基づき階調変換処理後の輝度信号Y'と彩度補正処理後の色信号Cb'、Cr'を合成してカラー映像信号を算出する。
【０３３２】
ステップＳ９では、公知の圧縮処理などの信号処理が行われる。
【０３３３】
ステップＳ10では、処理後のカラー映像信号が出力され終了する。
【０３３４】
図17Bは、上記ステップＳ50における更新制御処理に関するフローであり、図13に示した更新制御部601における処理が対応する。
【０３３５】
ステップＳ60では、カラー映像信号間の差分などの公知の手法によりシーンの変化を検出する。
【０３３６】
ステップＳ61では、シーン変化が検出された場合及び最初のカラー映像信号の場合に階調変換特性の更新を行うよう制御情報を出力して完了する。
【０３３７】
なお、この例では、シーン変化を検出して階調変換特性の更新を制御する構成となっているが、このような構成に限定される必要はない。例えば、一定の時間間隔で更新を制御する構成も可能である。この場合、図14に示した更新制御部601における処理が対応する。
【０３３８】
図17Cは、上記ステップＳ51における階調変換処理に関するフローであり、図15に示した階調変換部602の処理が対応する。図10Bに示す第１の実施形態における階調変換処理のフローと同一の処理ステップに関しては、同一のステップ数を割り当てている。
【０３３９】
ステップＳ70では、ステップS50で求めた階調変換特性の更新を行うための制御情報に基づき、階調変換特性の更新を行うかどうかを判断し、行う場合はステップＳ71へ分岐し、行わない場合はステップＳ73へ分岐する。
【０３４０】
ステップＳ71では、図16の(a)に示されるように輝度信号Yを所定サイズの領域に分割し、順次抽出を行う。
【０３４１】
ステップＳ20では、領域内の輝度信号Yに関して暗部と明部に関する所定の閾値と比較を行い、暗部の閾値以上で明部の閾値以下の輝度信号Yが適正露光域として抽出される。
【０３４２】
ステップＳ21では、適正露光域の輝度信号Yに対してラプラシアンフィルタ等を用いた公知のエッジ強度の算出処理を行う。
【０３４３】
ステップＳ22では、所定の閾値以上のエッジ強度のある画素を選別し、ヒストグラムを作成する。
【０３４４】
ステップＳ27では、ヒストグラムを累積し、正規化することで階調変換特性を算出する。
【０３４５】
ステップＳ72では、全ての領域について階調変換特性の算出が完了したかを判断し、完了していない場合はステップＳ71へ分岐し、完了した場合はステップＳ73へ分岐する。
【０３４６】
ステップＳ73では、輝度信号Yから注目画素を順次抽出する。
【０３４７】
ステップＳ74では、図16の(b)に示されるように注目画素とその近傍４領域の中心との間の距離dm(m=1〜4)を算出する。
【０３４８】
ステップＳ75では、(8)式の右辺に示す補間演算に使用する変換式を設定する。
【０３４９】
ステップＳ28では、変換式を用いて注目画素に対して階調変換処理を行う。
【０３５０】
ステップＳ76では、全ての画素について階調変換処理が完了したかを判断し、完了していない場合はステップＳ73へ分岐し、完了した場合はステップＳ29へ分岐する。
【０３５１】
ステップＳ29では、階調変換処理後の輝度信号Y'を出力して完了する。
【０３５２】
このように上記処理をソフトウェアにて処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３５３】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３５４】
【図１】本発明の第１の実施形態の構成図である。
【図２】Bayer型原色フィルタに関する説明図である。
【図３】階調変換部の構成図である。
【図４】関数設定部の構成図である。
【図５】YCbCr色空間の色相域に関する説明図である。
【図６】関数に関する説明図である。
【図７】彩度補正部の構成図である。
【図８】別形態のYCbCr色空間の色相域に関する説明図である。
【図９】第１の実施形態の一部変形例の構成図である。
【図１０Ａ】信号処理のフローのうち、全体処理に関するフローを示す。
【図１０Ｂ】信号処理のフローのうち、階調変換処理に関するフローを示す。
【図１０Ｃ】信号処理のフローのうち、関数設定処理に関するフローを示す。
【図１０Ｄ】信号処理のフローのうち、彩度補正処理に関するフローを示す。
【図１１】本発明の第２の実施形態の構成図である。
【図１２】色差線順次型補色フィルタに関する説明図である。
【図１３】更新制御部の構成図である。
【図１４】別形態の更新制御部の構成図である。
【図１５】階調変換部の構成図である。
【図１６】階調変換特性の補間演算に関する説明図である。
【図１７Ａ】信号処理のフローのうち、全体処理に関するフローを示す。
【図１７Ｂ】信号処理のフローのうち、更新制御処理に関するフローを示す。
【図１７Ｃ】信号処理のフローのうち、階調変換処理に関するフローを示す。
【符号の説明】
【０３５５】
100 レンズ系
102 カラーフィルタ
103 CCD
112 階調変換部
113 関数設定部
114 彩度補正部
208 階調変換特性算出部
209 変換処理部
301 色相算出部
302 閾値設定部
303 閾値記録部
304 第１比較部
306 第２比較部
401 第1ビットシフト部
407 第1ビットシフト部
409 彩度補正係数算出部
600 カラーフィルタ
601 更新制御部
602 階調変換部
803 距離算出部
804 補間算出部
【特許請求の範囲】
【請求項１】
撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理装置において、
前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換手段と、
前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換手段と、
前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定手段と、
前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、
前記色空間変換手段は前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記関数設定手段は、
複数の所定の関数を記録する関数記録手段と、
前記色信号から色相に関する情報を算出する色相情報算出手段と、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、
前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録手段に記録された複数の関数の一つを選択する関数選択手段と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記関数記録手段は、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【数１】
を記録することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記関数設定手段は、前記色空間における輝度信号の最大値をymax、前記閾値設定手段で定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【数２】
に基づき確定する定数項確定手段を更に有することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記関数選択手段は、
前記輝度信号と前記閾値を比較する第１の比較手段と、
前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較手段と、
前記第１の比較手段及び前記第２の比較手段の比較結果に基づき前記関数記録手段が記録している４つの関数の中から一つを読み出す関数読み出し手段と、
を有することを特徴とする画像処理装置。
【請求項７】
請求項１または２に記載の画像処理装置において、
前記関数設定手段は、
前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【数３】
前記色信号から色相に関する情報を算出する色相情報算出手段と、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、
前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定手段と、
を有することを特徴とする画像処理装置。
【請求項８】
請求項１または２に記載の画像処理装置において、
前記彩度補正手段は、
前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出手段と、
前記色信号に対して前記彩度補正係数を乗算する乗算手段と、
を有することを特徴とする画像処理装置。
【請求項９】
請求項４または７に記載の画像処理装置において、
前記彩度補正手段は、
前記輝度信号から所定の定数項を減算する第１の減算手段と、
前記定数項が減算された輝度信号からその逆数を出力するテーブル手段と、
前記階調変換処理後の輝度信号から所定の定数項を減算する第２の減算手段と、
前記定数項が減算された輝度信号の逆数及び前記定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出する彩度補正係数算出手段と、
前記色信号に対して前記彩度補正係数を乗算する乗算手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
請求項８または９に記載の画像処理装置において、
前記彩度補正手段は、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフト手段を更に有することを特徴とする画像処理装置。
【請求項１１】
請求項９に記載の画像処理装置において、
前記彩度補正手段は、
前記関数における分母項の大きさを所定の閾値と比較する比較手段と、
前記分母項の大きさが前記所定の閾値より小さい場合に前記彩度補正係数を1に設定する設定手段と、
を更に有することを特徴とする画像処理装置。
【請求項１２】
請求項２に記載の画像処理装置において、
所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御手段を更に有することを特徴とする画像処理装置。
【請求項１３】
請求項12に記載の画像処理装置において、
前記更新制御手段は、
撮影におけるシーン変化を検出する変化検出手段と、
前記シーン変化が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
請求項12に記載の画像処理装置において、
前記更新制御手段は、
所定の撮影時間を検出する時間検出手段と、
前記所定の撮影時間が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、
を有することを特徴とする画像処理装置。
【請求項１５】
請求項１または２に記載の画像処理装置において、
前記階調変換手段は、
前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、
前記適正露光域に関してエッジ量を算出するエッジ算出手段と、
前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、
前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、
を有することを特徴とする画像処理装置。
【請求項１６】
請求項15に記載の画像処理装置において、
前記階調変換手段は、
前記カラー映像信号から関心領域を設定する関心領域設定手段と、
前記関心領域に関して重み係数を設定する重み係数設定手段と、
前記重み係数に基づき前記ヒストグラムに補正を行うヒストグラム補正手段と、
を更に有することを特徴とする画像処理装置。
【請求項１７】
請求項１または２に記載の画像処理装置において、
前記階調変換手段は、
前記輝度信号を複数の領域に分割する分割手段と、
前記領域ごとに前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、
前記領域ごとに前記適正露光域に関してエッジ量を算出するエッジ算出手段と、
前記領域ごとに前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
前記領域ごとに前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、
前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、
を有することを特徴とする画像処理装置。
【請求項１８】
請求項17に記載の画像処理装置において、
前記変換処理手段は、
前記輝度信号から注目画素を抽出する注目画素抽出手段と、
前記注目画素と前記注目画素の近傍に位置する複数の前記領域の中心との距離情報を算出する距離算出手段と、
前記注目画素の近傍に位置する複数の前記領域の階調変換特性と前記距離情報に基づき前記注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する補間算出手段と、
を有することを特徴とする画像処理装置。
【請求項１９】
請求項１または２に記載の画像処理装置において、
前記色空間としてYCbCr色空間またはYIQ色空間のいずれかを用いることを特徴とする画像処理装置。
【請求項２０】
請求項１または２に記載の画像処理装置において、
前記階調変換処理後の輝度信号及び前記彩度補正処理がなされた色信号を階調処理がなされたカラー映像信号へ変換する色空間逆変換手段を更に有することを特徴とする画像処理装置。
【請求項２１】
請求項１または２に記載の画像処理装置において、
前記撮像系は、原色フィルタを前面に配置した単板撮像素子または色差線順次型補色フィルタを前面に配置した単板撮像素子を用いることを特徴とする画像処理装置。
【請求項２２】
撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理プログラムにおいて、
前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換ステップと、
前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換ステップと、
前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定ステップと、
前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２３】
請求項22に記載の画像処理プログラムにおいて、
前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、
前記色空間変換ステップは前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、
ことを特徴とする画像処理プログラム。
【請求項２４】
請求項22または23に記載の画像処理プログラムにおいて、
前記関数設定ステップは、
複数の所定の関数を記録する関数記録ステップと、
前記色信号から色相に関する情報を算出する色相情報算出ステップと、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定ステップと、
前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録ステップに記録された複数の関数の一つを選択する関数選択ステップと、
を有することを特徴とする画像処理プログラム。
【請求項２５】
請求項24に記載の画像処理プログラムにおいて、
前記関数記録ステップは、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【数４】
を記録することを特徴とする画像処理プログラム。
【請求項２６】
請求項25に記載の画像処理プログラムにおいて、
前記関数設定ステップは、前記色空間における輝度信号の最大値をymax、前記閾値設定ステップで定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【数５】
に基づき確定する定数項確定ステップを更に有することを特徴とする画像処理プログラム。
【請求項２７】
請求項24に記載の画像処理プログラムにおいて、
前記関数選択ステップは、
前記輝度信号と前記閾値を比較する第１の比較ステップと、
前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較ステップと、
前記第１の比較ステップ及び前記第２の比較ステップの比較結果に基づき前記関数記録ステップで記録した４つの関数の中から一つを読み出す関数読み出しステップと、
を有することを特徴とする画像処理プログラム。
【請求項２８】
請求項22または23に記載の画像処理プログラムにおいて、
前記関数設定ステップは、
前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【数６】
前記色信号から色相に関する情報を算出する色相情報算出ステップと、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定ステップと、
前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定ステップと、
を有することを特徴とする画像処理プログラム。
【請求項２９】
請求項22または23に記載の画像処理プログラムにおいて、
前記彩度補正ステップは、
前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出ステップと、
前記色信号に対して前記彩度補正係数を乗算する乗算ステップと、
を有することを特徴とする画像処理プログラム。
【請求項３０】
請求項29に記載の画像処理プログラムにおいて、
前記彩度補正ステップは、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフトステップを更に有することを特徴とする画像処理プログラム。
【請求項３１】
請求項23に記載の画像処理プログラムにおいて、
所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御ステップを更に有することを特徴とする画像処理プログラム。
【請求項１】
撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理装置において、
前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換手段と、
前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換手段と、
前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定手段と、
前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、
前記色空間変換手段は前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記関数設定手段は、
複数の所定の関数を記録する関数記録手段と、
前記色信号から色相に関する情報を算出する色相情報算出手段と、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、
前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録手段に記録された複数の関数の一つを選択する関数選択手段と、
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記関数記録手段は、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【数１】
を記録することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記関数設定手段は、前記色空間における輝度信号の最大値をymax、前記閾値設定手段で定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【数２】
に基づき確定する定数項確定手段を更に有することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記関数選択手段は、
前記輝度信号と前記閾値を比較する第１の比較手段と、
前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較手段と、
前記第１の比較手段及び前記第２の比較手段の比較結果に基づき前記関数記録手段が記録している４つの関数の中から一つを読み出す関数読み出し手段と、
を有することを特徴とする画像処理装置。
【請求項７】
請求項１または２に記載の画像処理装置において、
前記関数設定手段は、
前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【数３】
前記色信号から色相に関する情報を算出する色相情報算出手段と、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定手段と、
前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定手段と、
を有することを特徴とする画像処理装置。
【請求項８】
請求項１または２に記載の画像処理装置において、
前記彩度補正手段は、
前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出手段と、
前記色信号に対して前記彩度補正係数を乗算する乗算手段と、
を有することを特徴とする画像処理装置。
【請求項９】
請求項４または７に記載の画像処理装置において、
前記彩度補正手段は、
前記輝度信号から所定の定数項を減算する第１の減算手段と、
前記定数項が減算された輝度信号からその逆数を出力するテーブル手段と、
前記階調変換処理後の輝度信号から所定の定数項を減算する第２の減算手段と、
前記定数項が減算された輝度信号の逆数及び前記定数項が減算された階調変換処理後の輝度信号及び所定の定数項を乗算することで彩度補正係数を算出する彩度補正係数算出手段と、
前記色信号に対して前記彩度補正係数を乗算する乗算手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
請求項８または９に記載の画像処理装置において、
前記彩度補正手段は、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフト手段を更に有することを特徴とする画像処理装置。
【請求項１１】
請求項９に記載の画像処理装置において、
前記彩度補正手段は、
前記関数における分母項の大きさを所定の閾値と比較する比較手段と、
前記分母項の大きさが前記所定の閾値より小さい場合に前記彩度補正係数を1に設定する設定手段と、
を更に有することを特徴とする画像処理装置。
【請求項１２】
請求項２に記載の画像処理装置において、
所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御手段を更に有することを特徴とする画像処理装置。
【請求項１３】
請求項12に記載の画像処理装置において、
前記更新制御手段は、
撮影におけるシーン変化を検出する変化検出手段と、
前記シーン変化が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
請求項12に記載の画像処理装置において、
前記更新制御手段は、
所定の撮影時間を検出する時間検出手段と、
前記所定の撮影時間が検出された場合に前記階調変換手段に対して階調変換特性を更新するよう制御する更新動作制御手段と、
を有することを特徴とする画像処理装置。
【請求項１５】
請求項１または２に記載の画像処理装置において、
前記階調変換手段は、
前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、
前記適正露光域に関してエッジ量を算出するエッジ算出手段と、
前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、
前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、
を有することを特徴とする画像処理装置。
【請求項１６】
請求項15に記載の画像処理装置において、
前記階調変換手段は、
前記カラー映像信号から関心領域を設定する関心領域設定手段と、
前記関心領域に関して重み係数を設定する重み係数設定手段と、
前記重み係数に基づき前記ヒストグラムに補正を行うヒストグラム補正手段と、
を更に有することを特徴とする画像処理装置。
【請求項１７】
請求項１または２に記載の画像処理装置において、
前記階調変換手段は、
前記輝度信号を複数の領域に分割する分割手段と、
前記領域ごとに前記輝度信号に基づき適正露光域を抽出する適正域抽出手段と、
前記領域ごとに前記適正露光域に関してエッジ量を算出するエッジ算出手段と、
前記領域ごとに前記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
前記領域ごとに前記ヒストグラムに基づき階調変換特性を算出する階調変換特性算出手段と、
前記階調変換特性に基づき前記輝度信号に対して階調変換処理を行う変換処理手段と、
を有することを特徴とする画像処理装置。
【請求項１８】
請求項17に記載の画像処理装置において、
前記変換処理手段は、
前記輝度信号から注目画素を抽出する注目画素抽出手段と、
前記注目画素と前記注目画素の近傍に位置する複数の前記領域の中心との距離情報を算出する距離算出手段と、
前記注目画素の近傍に位置する複数の前記領域の階調変換特性と前記距離情報に基づき前記注目画素の階調変換処理に用いる階調変換特性を補間演算にて算出する補間算出手段と、
を有することを特徴とする画像処理装置。
【請求項１９】
請求項１または２に記載の画像処理装置において、
前記色空間としてYCbCr色空間またはYIQ色空間のいずれかを用いることを特徴とする画像処理装置。
【請求項２０】
請求項１または２に記載の画像処理装置において、
前記階調変換処理後の輝度信号及び前記彩度補正処理がなされた色信号を階調処理がなされたカラー映像信号へ変換する色空間逆変換手段を更に有することを特徴とする画像処理装置。
【請求項２１】
請求項１または２に記載の画像処理装置において、
前記撮像系は、原色フィルタを前面に配置した単板撮像素子または色差線順次型補色フィルタを前面に配置した単板撮像素子を用いることを特徴とする画像処理装置。
【請求項２２】
撮像系から取り込まれたカラー映像信号に対して階調変換処理を行う画像処理プログラムにおいて、
前記カラー映像信号を所定の色空間における輝度信号及び色信号へ変換する色空間変換ステップと、
前記輝度信号に対して所定の階調変換特性に基づき階調変換処理を行う階調変換ステップと、
前記階調変換処理前後の輝度信号、前記色空間における輝度信号の最大値及び前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値をパラメータとして彩度補正処理用の関数を設定する関数設定ステップと、
前記輝度信号、前記階調変換処理後の輝度信号及び前記関数を用いて前記色信号に対する彩度補正処理を行う彩度補正ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２３】
請求項22に記載の画像処理プログラムにおいて、
前記カラー映像信号は前記撮像系から時系列的に取り込まれた複数のカラー映像信号であり、
前記色空間変換ステップは前記複数のカラー映像信号を前記色空間における輝度信号及び色信号へ変換する、
ことを特徴とする画像処理プログラム。
【請求項２４】
請求項22または23に記載の画像処理プログラムにおいて、
前記関数設定ステップは、
複数の所定の関数を記録する関数記録ステップと、
前記色信号から色相に関する情報を算出する色相情報算出ステップと、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定ステップと、
前記輝度信号、前記階調変換処理後の輝度信号及び前記閾値に基づき前記関数記録ステップに記録された複数の関数の一つを選択する関数選択ステップと、
を有することを特徴とする画像処理プログラム。
【請求項２５】
請求項24に記載の画像処理プログラムにおいて、
前記関数記録ステップは、前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で定義される４つの関数
【数４】
を記録することを特徴とする画像処理プログラム。
【請求項２６】
請求項25に記載の画像処理プログラムにおいて、
前記関数設定ステップは、前記色空間における輝度信号の最大値をymax、前記閾値設定ステップで定められた閾値をythとした場合に前記定数項a、b、c、dを次式
【数５】
に基づき確定する定数項確定ステップを更に有することを特徴とする画像処理プログラム。
【請求項２７】
請求項24に記載の画像処理プログラムにおいて、
前記関数選択ステップは、
前記輝度信号と前記閾値を比較する第１の比較ステップと、
前記階調変換処理後の輝度信号と前記閾値を比較する第２の比較ステップと、
前記第１の比較ステップ及び前記第２の比較ステップの比較結果に基づき前記関数記録ステップで記録した４つの関数の中から一つを読み出す関数読み出しステップと、
を有することを特徴とする画像処理プログラム。
【請求項２８】
請求項22または23に記載の画像処理プログラムにおいて、
前記関数設定ステップは、
前記関数として前記輝度信号の値をy0、前記階調変換処理後の輝度信号の値をy1、定数項をa、b、c、dとした場合に次式で示される関数を使用し、
【数６】
前記色信号から色相に関する情報を算出する色相情報算出ステップと、
前記色相に関する情報に基づき、前記カラー映像信号の属する色相域において最大の彩度を示すときの輝度値を前記輝度信号及び前記階調変換処理後の輝度信号に対する閾値として設定する閾値設定ステップと、
前記閾値及び前記色空間における輝度信号の最大値に基づき前記定数項a、b、c、dを確定する定数項確定ステップと、
を有することを特徴とする画像処理プログラム。
【請求項２９】
請求項22または23に記載の画像処理プログラムにおいて、
前記彩度補正ステップは、
前記設定された関数を用いて、前記輝度信号及び前記階調変換処理後の輝度信号から彩度補正係数を算出する彩度補正係数算出ステップと、
前記色信号に対して前記彩度補正係数を乗算する乗算ステップと、
を有することを特徴とする画像処理プログラム。
【請求項３０】
請求項29に記載の画像処理プログラムにおいて、
前記彩度補正ステップは、前記輝度信号及び前記階調変換処理後の輝度信号に関して所定の上位ビット成分を抽出するビットシフトステップを更に有することを特徴とする画像処理プログラム。
【請求項３１】
請求項23に記載の画像処理プログラムにおいて、
所定の条件が満たされる場合のみ前記階調変換特性を更新するよう制御する更新制御ステップを更に有することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図５】
【図８】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図５】
【図８】
【公開番号】特開２００８−２１９１９８（Ｐ２００８−２１９１９８Ａ）
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願番号】特願２００７−５０７２６（Ｐ２００７−５０７２６）
【出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]