画像処理装置、撮像装置、及び画像処理プログラム
【課題】本発明は、ハイライト部周辺のディザ効果を簡単かつ確実に得ることのできる画像処理装置及び画像処理プログラム等を提供する。
【解決手段】本発明の画像処理装置は、被写界の画像を示す画素信号群を入力する入力手段と、前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段（２１−２，２１−３）と、前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段（２１−４）とを備えたことを特徴とする。
【解決手段】本発明の画像処理装置は、被写界の画像を示す画素信号群を入力する入力手段と、前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段（２１−２，２１−３）と、前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段（２１−４）とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルスチルカメラなどに搭載される画像処理装置、ディジタルスチルカメラなどの撮像装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
カメラでの撮影時、被写界中に際だって高輝度な物体が存在すると、撮影した画像の一部が白飛びする。この白飛び部分（ハイライト部）は、他の部分とは異なり階調が全く無いので、その輪郭が浮き出して観察者に不自然な印象を与える。
特許文献１には、その輪郭を目立たなくする信号処理技術が開示されている。この技術は、飽和レベルに近い信号へ意図的にランダムノイズを加算するものである。これによって、ハイライト部の周辺にディザ効果（ざらつき感）を与え、その輪郭を曖昧にすることができる。
【特許文献１】特開２００５−７２８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この信号処理技術をそのままディジタルスチルカメラへ適用しても、その適用方法や使用状況などにより、必ずしもディザ効果が現れないことがわかった。
そこで本発明は、ハイライト部周辺のディザ効果を簡単かつ確実に得ることのできる画像処理装置及び画像処理プログラムを提供することを目的とする。また、本発明は、ハイライト表現に優れた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の画像処理装置は、被写界の画像を示す画素信号群を入力する入力手段と、前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段と、前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段とを備えたことを特徴とする。
【０００５】
なお、本発明の画像処理装置は、前記不整化手段による処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手段を更に備えてもよい。
また、前記不整化手段による処理は、ルックアップテーブルを使用した階調変換処理であることが望ましい。
【０００６】
また、前記ルックアップテーブルの内容は、前記不整化の処理とそれ以外の階調補正処理とが前記画素信号群へ同時に施されるように設定されることが望ましい。
また、前記ルックアップテーブルの内容は、前記不整化の幅が不整化前の前記信号値の大きさに依存するように設定されることが望ましい。
また、前記不整化手段は、前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記画素信号群のうち飽和レベルとなった画素信号の数に応じてそれらのルックアップテーブルを切り替え使用することが望ましい。
【０００７】
また、前記不整化手段は、前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記不整化手段以外の手段が前記画素信号群に施すべき１又は複数の処理の内容に応じてそれらのルックアップテーブルを切り替え使用することが望ましい。
また、本発明の撮像装置は、被写界の画像を示す画素信号群を取得する撮像素子と、本発明の何れかの画像処理装置とを備えたことを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、画像処理装置が実行可能な画像処理プログラムであって、被写界の画像を示す画素信号群を入力する入力手順と、前記入力手順で入力された前記画素信号群の間に平均化効果のある処理を施す平均化手順と、前記平均化手順における処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手順とを含むことを特徴とする。
【０００９】
なお、本発明の画像処理プログラムは、前記不整化手順における処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手順を更に含んでもよい。
また、前記不整化手順における処理は、ルックアップテーブルを使用した階調変換処理であることが望ましい。
【発明の効果】
【００１０】
本発明によれば、ハイライト部周辺のディザ効果を簡単かつ確実に得ることのできる画像処理装置及び画像処理プログラムが実現する。また、本発明によれば、ハイライト表現に優れた撮像装置が実現する。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、ディジタルスチルカメラシステムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの機能ブロック図である。図１に示すとおり、本システムは、ディジタルスチルカメラ本体１００と、ディジタルスチルカメラ本体１００に装着された撮影レンズ２００とからなる。
【００１２】
ディジタルスチルカメラ本体１００には、カードメモリなどの可搬の記憶媒体３００が装着されると共に、操作釦１１、クイックリターンミラー１２、シャッタ１３、カラー撮像素子（ＣＣＤ，ＣＯＭＳなど）１４、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７、フレームメモリ１８、画像処理部２１、圧縮／伸張処理部２２、記録部２３、ＣＰＵ２４、ＲＯＭ２４Ａ、ＲＡＭ２４Ｂ、測光センサ２７などが備えられる。ＲＯＭ２４Ａには、ＣＰＵ２４の動作プログラムや各種の情報が予め格納されており、ＲＡＭ２４Ｂには、ＣＰＵ２４の動作中に必要な情報が一時的に格納される。
【００１３】
フレームメモリ１８、画像処理部２１、圧縮／伸張処理部２２、記録部２３、ＣＰＵ２４、ＲＯＭ２４Ａ、ＲＡＭ２４Ｂは、バスを介して互いに接続されている。ユーザが操作釦１１を操作して本システムへ各種の指示を入力すると、ＣＰＵ２４は、その指示の内容を認識し、それに従い各部を設定・制御して本システムを動作させる。
ユーザは、操作釦１１を操作して本システムのモードを撮影モードや設定モードなどの各種のモードの間で切り替えることができる。また、ユーザは、本システムが撮影モードにあるとき、操作釦１１を操作してレリーズ指示（撮影指示）を本システムへ入力することができる。また、ユーザは、本システムが設定モードにあるとき、操作釦１１を操作して階調補正の強度として「強」「中」「弱」の何れかを本システムへ指定することができる。
【００１４】
次に、撮影モードにあるときの本システムの基本動作を説明する。
ユーザからレリーズ指示が入力されると、ＣＰＵ２４はクイックリターンミラー１２、シャッタ１３、カラー撮像素子１４、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７の駆動を開始する。このときにカラー撮像素子１４から読み出される画素信号は、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７を順に経由し、フレームメモリ１８へ格納される。１フレーム分の画素信号がフレームメモリ１８に蓄積されると、１回の撮影が完了である。以下、１フレーム分の画素信号の全体を「画像」と称し、個々の画素信号を「画素」と称す。
【００１５】
撮影後、ＣＰＵ２４は、画像処理部２１に指示を与え、フレームメモリ１８に蓄積された画像に対し各種の画像処理を施させる。その後、ＣＰＵ２４は、圧縮／伸張処理部２２に指示を与え、画像処理後の画像を圧縮処理させる。この圧縮処理には、画像の階調数を低減する情報圧縮処理も含まれる。例えば、圧縮処理前の階調数は１２ｂｉｔであり、圧縮処理後の階調数は８ｂｉｔである。さらに、ＣＰＵ２４は、記録部２３に指示を与え、圧縮処理後の画像を記憶媒体３００へと書き込ませる。これによって画像の保存が完了である。
【００１６】
次に、画像処理部２１による画像処理を詳しく説明する。
図２は、画像処理部２１の機能ブロック図である。図２において、各ブロックの配置は各ブロックによる処理の実行順序を示しており、左側が上流側、右側が下流側である。
図２に示すとおり、画像処理部２１には、画像の各色成分（Ｒ色，Ｇ色，Ｂ色）の強度バランスを調節するホワイトバランス処理部２１−１、画像の各色成分の不足画素を周辺画素で補間する画素補間処理部２１−２、画像中で突出した画素の輝度レベルを周辺画素の輝度レベルに近づけるノイズリダクション部２１−３、画像中の各画素の輝度レベルを階調変換テーブルで変換する階調変換処理部２１−４、画像中の各画素の色を色変換マトリクスで変換する色変換処理部２１−５、画像の表色系（Ｒ，Ｇ，Ｂ）を他の表色系（Ｙ，Ｃｂ，Ｃｒ）へと座標変換する色座標変換部２１−６、画像中の絵柄のエッジをエッジフィルタで強調するエッジ強調処理部２１−７などが備えられる。
【００１７】
このうち、階調変換処理部２１−４は、画像のＲ色成分に対する階調変換と、Ｇ色成分に対する階調変換と、Ｂ色成分に対する階調変換とに共通の階調変換テーブルを使用する。この階調変換テーブルは、ＣＰＵ２４が作成・設定するルックアップテーブルである。この階調変換テーブルには２つの機能があり、それは画像の階調再現性を変更する階調補正機能（ガンマ補正を含む）と、画像のハイライト部の周辺にディザ効果を与える不整化機能とである。階調変換テーブルの作成・設定に関するＣＰＵ２４の動作は、後に詳述する。
【００１８】
以上の画像処理部２１において、ホワイトバランス処理部２１−１、画素補間処理部２１−２、ノイズリダクション部２１−３、階調変換処理部２１−４、色変換処理部２１−５、色座標変換部２１−６、エッジ強調処理部２１−７の実行順序は、これに限定されることは無い。
但し、画素補間処理部２１−２の処理、及びノイズリダクション部２１−３の処理には、画像を空間方向に平均化する効果（ローパス効果）があり、階調変換処理部２１−４のノイズ付加機能、及びエッジ強調処理部２１−７の処理には、その反対の効果（ハイパス効果）があるので、両者の効果を存分に発揮させるためには、ハイパス効果のあるブロック（階調変換処理部２１−４又はエッジ強調処理部２１−７）を、ローパス効果のあるブロック（画素補間処理部２１−２又はノイズリダクション部２１−３）より後段に配置する必要がある。
【００１９】
次に、ＲＯＭ２４Ａに予め格納される情報を説明する。
ＲＯＭ２４Ａには、ＣＰＵ２４が階調変換テーブルを作成するための基礎情報として、図３に示すような複数種類の補正テーブルＴL，ＴM，ＴHと、図４に示すような複数種類の不整化テーブルＴNL，ＴNM，ＴNHとが予め格納される。
図３に示すとおり、補正テーブルＴL，ＴM，ＴHの相違は、階調補正の強度にあり、それぞれ「弱」，「中」，「強」である。図４に示すとおり、不整化テーブルＴNH，ＴNM，ＴNLの相違は、不整化の強度であり、それぞれ「強」，「中」，「弱」である。なお、図４では、分かりやすくするために、入力レベルの刻みを実際よりも粗く描いた。
【００２０】
次に、不整化テーブルＴNHの特性を詳しく説明する。
図５は、不整化テーブルＴNHの特性を説明する図である。図５でも、入力レベルの刻みを実際よりも粗く描いた。図５に示すとおり、不整化テーブルＴNHの特性は、入力された画素のうち、その輝度レベルが飽和レベル近傍の範囲Ａに属するものに対し、輝度レベルのバラツキを与えるよう設定されている。このように、連続した輝度レベルを不連続な輝度レベルへと変換することを本明細書では「不整化」と称している。
【００２１】
この不整化によるレベル変化量は、入力レベル毎に様々であり、＋αから−αまでの範囲内のランダムな値に予め決められている。この「α」が不整化の振幅である。不整化の振幅αは、入力レベルが大きいほど大きく設定され、例えば、図５に示すように、範囲Ａのうち低レベル側の範囲Ａ2では振幅αは小さい値α2に設定され、範囲Ａのうち中レベルの範囲Ａ1では振幅αは中程度の値α1に設定され、範囲Ａのうち高レベル側の範囲Ａ0では振幅αは大きい値α0に設定される。
【００２２】
以上の不整化テーブルＴNHの特徴は、他の２つの不整化テーブルＴNM，ＴNLの特性にも同様に当てはまる。但し、３つの不整化テーブルＴNH，ＴNM，ＴNLの間では、図４に示したとおり、振幅αが互いに異なる大きさに設定される。不整化テーブルＴNHの振幅αが最も大きく、不整化テーブルＴNMの振幅αが次に大きく、不整化テーブルＴMLの振幅αは最も小さい。
【００２３】
以上の基礎情報によると、例えばＣＰＵ２４は、図３に示した補正テーブルＴL，ＴM，ＴHの何れかと、図４に示した不整化テーブルＴNH，ＴNM，ＴNLの何れかとを選択し、選択された２つのテーブルを加算合成することで、例えば図６に示すような１つの階調変換テーブルを作成することができる。作成された階調変換テーブルには、階調補正機能と不整化機能との双方が備わる。
【００２４】
その際、図３に示した３つの補正テーブルＴL，ＴM，ＴHを使い分ければ、階調補正の強度が変化する。また、図４に示した３つの不整化テーブルＴNH，ＴNM，ＴNHを使い分ければ、不整化の強度が変化する。
次に、撮影モードにおけるＣＰＵ２４の動作の流れを詳しく説明する。
図７は、撮影モードにおけるＣＰＵ２４の動作フローチャートである。図７に示すとおり、ユーザからレリーズ指示が入力されると（ステップＳ１１ＹＥＳ）、ＣＰＵ２４は各部を駆動して撮影を行う（ステップＳ１２）。各部の駆動方法は前述したとおりである。
【００２５】
続いて、ＣＰＵ２４は、この撮影で取得した画像から飽和度を算出する（ステップＳ１３）。飽和度の算出は、例えば次のとおり行われる。ＣＰＵ２４は、画像を複数の小領域に分割し、各小領域の輝度レベルを求める。小領域の輝度レベルは、小領域に属する各画素の平均輝度レベルである。さらに、ＣＰＵ２４は、各小領域の輝度レベルを閾値と比較し、閾値を超過した小領域をハイライト部とみなす。さらに、ＣＰＵ２４は、ハイライト部とみなされた小領域数を小領域の総数で除し、画像上でハイライト部の占める割合を算出する。この割合が、画像の飽和度である。飽和度は、０％〜１００％の何れかの値を採る。飽和度が小さいほど不整化の必要性は低く、飽和度が高いほど不整化の必要性は高い。
【００２６】
その一方で、ＣＰＵ２４は、ユーザの指定した階調補正の強度が「強」であるか否かを判別し（ステップＳ１４）、「強」であった場合（ステップＳ１４ＹＥＳ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度の強い補正テーブルＴHを選択する。
また、ＣＰＵ２４は、ユーザの指定した強度が「強」でなかった場合（ステップＳ１４ＮＯ）は、ユーザの指定した階調補正の強度が「中」であるか否かを判別し（ステップＳ１５）、「中」であった場合（ステップＳ１５ＹＥＳ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度が中程度の補正テーブルＴMを選択する。
【００２７】
また、ＣＰＵ２４は、ユーザの指定した強度が「中」でなかった場合（ステップＳ１５ＮＯ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度の弱い補正テーブルＴLを選択する。
さらに、ＣＰＵ２４は、ステップＳ１３で算出した飽和度が５％以上であるか否かを判別し（ステップ１９）、５％以上であった場合（ステップＳ１９ＹＥＳ）は、不整化の必要性が極めて高いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が強い不整化テーブルＴNHを選択する（ステップＳ１１３）。
【００２８】
また、ＣＰＵ２４は、飽和度が５％未満であった場合（ステップＳ１９ＮＯ）は、飽和度が３％以上であるか否かを判別し（ステップＳ１１１）、３％以上であった場合（ステップＳ１１１ＹＥＳ）は、不整化の必要性が或る程度高いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が中程度である不整化テーブルＴNMを選択する（ステップＳ１１４）。
【００２９】
また、ＣＰＵ２４は、飽和度が３％未満であった場合（ステップＳ１１１ＮＯ）は、飽和度が１％以上であるか否かを判別し（ステップＳ１１２）、１％以上であった場合（ステップＳ１１２ＹＥＳ）は、不整化の必要性が低いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が低い不整化テーブルＴNLを選択する（ステップＳ１１５）。
【００３０】
また、ＣＰＵ２４は、飽和度が１％未満であった場合（ステップＳ１１２ＮＯ）は、不整化は不要なので、不整化テーブルを選択しない（ステップＳ１１６）。
その後、ＣＰＵ２４は、選択した補正テーブルと選択した不整化テーブルとを合成し、１つの階調変換テーブルを作成する。但し、合成後の出力レベルが飽和レベルを超過する場合は、その出力レベルを飽和レベルにクリップする。また、不整化テーブルを選択しなかった場合は、合成を行わずに選択された補正テーブルをそのまま階調変換テーブルとする（ステップＳ１１７）。
【００３１】
さらに、ＣＰＵ２４は、作成した階調変換テーブルを階調変換処理部２１−４へ設定し（ステップＳ１１８）、画像処理部２１、圧縮／伸張処理部２２、記録部２３の駆動を開始する（ステップＳ１１９）。各部の駆動方法は、前述したとおりである。
次に、本システムの効果を説明する。
本システムのＣＰＵ２４は、階調変換処理部２１−４（図２参照）が使用する階調変換テーブルに、不整化テーブル（図４参照）の内容を反映させる。したがって、ディジタルスチルカメラ１００内の回路を複雑にすることなく、画像のハイライト部の周辺にディザ効果を得ることができる。
【００３２】
しかも、その階調変換処理部２１−４（図２参照）の配置先は、ローパス効果のある画素補間処理部２１−２及びノイズリダクション部２１−３よりも後段なので、画像に得られたディザ効果は確実に保存される。
ここで、本システムでは、ディザ効果を得るために階調変換テーブを使用するので、同じ輝度レベルの画素は同じ輝度レベルに変換される。また、一般に被写界の画像には、空間的に近接した画素同士は輝度レベルも近接するという傾向がある。このため、本システムによると、階調変換後の画像上に同じ値のノイズが密集して発生する可能性もある。
【００３３】
しかし、本システムでは、階調変換処理部２１−４の配置先が圧縮／伸張処理部２２よりも前段、つまり階調数の低減処理よりも前階なので、階調変換直前の画像では、空間的に近接した画素同士であっても異なる輝度レベルを持つ可能性が高い。したがって、本システムでは、画像上の同じ値のノイズが密集して発生するという問題は頻発しない。
また、本システムでは、階調変換処理部２１−４に不整化機能と階調補正機能との双方を持たせるので、画像処理が効率的に行われる。
【００３４】
また、本システムでは、不整化テーブルの内容は、不整化の強度が画素の輝度レベルに依存するように設定される。具体的には、輝度レベルが高いほど不整化の振幅αが高く設定されるので（図４参照）、画像上でディザ効果の現れる領域と、ディザ効果の現れない領域との境界を曖昧にし、観察者に自然な印象を与えることができる。
また、本システムでは、不整化テーブルＴNH，ＴNM，ＴNLを画像の飽和度に応じて使い分けるので（図７ステップＳ１９，Ｓ１１１，Ｓ１１２，Ｓ１１３，１１４，１１５）、不整化の強度が常に必要十分な高さに設定される。
【００３５】
また、本システムでは、補正テーブルＴL，ＴM，ＴHと不整化テーブルＴNH，ＴNM，ＴNHとを別々に用意し、それらを組み合わせて多種の階調変換テーブルを作成するので、ＲＯＭ２４Ａの容量を抑えながら階調変換特性の変更の自由度を高めることができる。
なお、本システムでは、階調補正の強度の可変ステップ数が３であり、不整化の強度の可変ステップ数が４であったが、それらのステップ数は何れも変更可能である。例えば、本システムにおいて、階調補正の強度を「強」、「中」、「弱」、「ゼロ」の４ステップとすれば、階調変換特性の変更の自由度は１６種類に増える。
【００３６】
また、本システムでは、不整化処理の対象（ここでは階調変換処理の対象）を、撮影で取得した最新の画像としたが、記憶媒体３００に格納された過去の画像としてもよい。
また、本システムのＣＰＵ２４は、画像の飽和度を画像から直接的に算出したが、測光センサ２７（図１参照）の出力信号が示すＢＶ値から推測してもよい。また、その推測では、本システムに設定された撮影条件（露出補正量など）が考慮されることが望ましい。
【００３７】
［第２実施形態］
以下、本発明の第２実施形態を説明する。本実施形態も、ディジタルカメラシステムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。
本システムのユーザは、設定モードにあるとき、撮影感度（ＩＳＯ感度）として「１６００」，「８００」，「４００」，「２００」，「１００」などの数値を本システムへ指定することができる。本システムのＣＰＵ２４は、ユーザの指定したＩＳＯ感度を認識し、それに応じてアンプ１５のゲインを設定する（指定された数値が大きいほどゲインを高くする。）。
【００３８】
また、本システムのＣＰＵ２４は、設定モードにおいてＩＳＯ感度又は階調補正の強度が指定されると、それに応じて階調変換テーブルの作成・設定を行う。つまり、本システムでは、階調変換テーブルの作成・設定が撮影モードではなく設定モードにおいて行われる。
図８は、設定モードにおけるＣＰＵ２４の階調変換テーブルの作成・設定に関する動作フローチャートである。図８において図７に示したステップと同じものには同じ符号を付した。
【００３９】
図８に示すとおり、ユーザがＩＳＯ感度又は階調補正の強度を指定すると（ステップＳ２０ＹＥＳ）、ＣＰＵ２４は、ユーザによって指定された階調補正の強度に応じて補正テーブルＴL，ＴM，ＴHの何れかを選択する（ステップＳ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８）。
さらに、ＣＰＵ２４は、ユーザによって指定されたＩＳＯ感度が２００以下であるか否かを判別し（ステップ２９）、２００以下であった場合（ステップＳ２９ＹＥＳ）は、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が高い不整化テーブルＴNHを選択する（ステップＳ１１３）。
【００４０】
また、ＣＰＵ２４は、ＩＳＯ感度が２００より大きかった場合（ステップＳ２９ＮＯ）は、ＩＳＯ感度が４００以下であるか否かを判別し（ステップＳ２１１）、４００以下であった場合（ステップＳ２１１ＹＥＳ）は、図４に示したイズテーブルＴNL，ＴNM，ＴNHの中から不整化の強度が中程度の不整化テーブルＴNMを選択する（ステップＳ１１４）。
また、ＣＰＵ２４は、ＩＳＯ感度が４００より大きかった場合（ステップＳ２１１ＮＯ）は、ＩＳＯ感度が８００以下であるか否かを判別し（ステップＳ２１２）、８００以下であった場合（ステップＳ２１２ＹＥＳ）は、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が低い不整化テーブルＴNLを選択する（ステップＳ１１５）。
【００４１】
また、ＣＰＵ２４は、ＩＳＯ感度が８００より大きかった場合（ステップＳ２１２ＮＯ）は、不整化テーブルを選択しない（ステップＳ１１６）。
その後、ＣＰＵ２４は、選択した補正テーブルと不整化テーブルとを合成し、１つの階調変換テーブルを作成すると（ステップＳ１１７）、それを階調変換処理部２１−４へ設定する（ステップＳ１１８）。これらのステップＳ１１７，Ｓ１１８の詳細は、第１実施形態で説明したとおりである。
【００４２】
以上、本システムでは、ＩＳＯ感度が高いときほど不整化の強度が低く設定される（ステップＳ１１６，Ｓ１１５など）。上述したとおり、ＩＳＯ感度が高いときほどアンプ１５のゲインが高く設定されるので、画像のＳＮ比は悪くなり、画像中のハイライト部の輪郭もあまり目立たない傾向にある。よって、不整化の強度が低く設定されても問題は無い。
【００４３】
その反対に、本システムでは、ＩＳＯ感度が低いときほど不整化の強度が高く設定される（ステップＳ１１７，Ｓ１１８など）。上述したとおり、ＩＳＯ感度が低いとアンプ１５のゲインが低く設定されるので、画像のＳＮ比は良くなり、画像中のハイライト部の輪郭は目立つ傾向にある。よって、不整化の強度が高く設定されると好ましい。
したがって、本システムでは、不整化の強度が、画像に含まれるノイズ量に応じて常に適切に設定される。
【００４４】
［その他］
なお、第１実施形態のシステムでは、不整化の強度を画像の飽和度に連動させ、第２実施形態のシステムでは、不整化の強度をＩＳＯ感度に連動させたが、不整化の強度をシステムの他の可変パラメータに連動させてもよい。
例えば、画像の彩度補正の強度が可変であるシステムにおいては、その彩度補正の強度に不整化の強度を連動させてもよい。その場合、彩度補正の強度が低いほど不整化の強度を高くすることが望ましい。因みに、彩度補正の強度の変更は、色変換処理部２１−５（図２参照）の特性（色変換マトリクス）の変更によって行われる。
【００４５】
また、画像のエッジ強調の強度が可変であるシステムにおいては、そのエッジ強調の強度に不整化の強度を連動させてもよい。その場合、エッジ強調の強度が低いほど不整化の強度を高くすることが望ましい。因みに、エッジ強調の強度の変更は、エッジ強調処理部２１−７（図２参照）の特性（エッジフィルタ）の変更によって行われる。
また、上述したシステムでは、不整化の強度を１つの可変パラメータのみに連動させたが、２以上の可変パラメータに不整化の強度を連動させてもよい。因みに、各種の可変パラメータと不整化の強度との関係をまとめると、図９に示すとおりになる。
【００４６】
また、上述したシステムでは、不整化機能の搭載先を階調変換処理部２１−４（図２参照）としたが、画素補間処理部２１−２及びノイズリダクション部２１−３よりも後段、かつ圧縮／伸張処理部２２よりも前段の他のブロックとしてもよい。
例えば、色座標変換部２１−６とエッジ強調処理部２１−７との間に、彩度信号（Ｃｂ，Ｃｒ）の各々へ階調変換処理を施すブロックを挿入し、その階調変換処理に使用される階調変換テーブルの内容に、不整化テーブル（図４）と同等の内容を反映させてもよい。
【００４７】
また、上述したシステムでは、画像処理の機能と情報圧縮処理の機能と制御機能とを、画像処理部２１と圧縮／伸張処理部２２とＣＰＵ２４とに割り当てたが、画像処理部２１の処理の一部又は全部をＣＰＵ２４に実行させたり、圧縮／伸張処理部２２の処理の一部又は全部をＣＰＵ２４に実行させたりしてもよい。何れの場合も、ＣＰＵ２４の動作プログラムはＲＯＭ２４Ａに格納される。
【００４８】
また、上述したシステムは、レンズ交換型のディジタルスチルカメラシステムであったが、レンズ一体型のディジタルスチルカメラ、ビデオカメラなどの他の撮像装置に変更することもできる。
また、上述したシステムの画像処理に関する機能の一部又は全部は、撮像装置に限らず、画像を取り込むことが可能な各種の装置、例えば、画像ストレージャ、プリンタなどへ搭載することも可能である。また、その画像処理の一部又は全部をコンピュータで実行することも可能である。
【図面の簡単な説明】
【００４９】
【図１】本システムの機能ブロック図である。
【図２】画像処理部２１の機能ブロック図である。
【図３】補正テーブルＴL，ＴM，ＴHを説明する図である。
【図４】不整化テーブルＴNL，ＴNM，ＴNHを説明する図である。
【図５】不整化テーブルＴNHの特性を説明する図である。
【図６】階調変換テーブルの一例を示す図である。
【図７】第１実施形態の撮影モードにおけるＣＰＵ２４の動作フローチャートである。
【図８】第２実施形態の設定モードにおけるＣＰＵ２４の階調変換テーブルの設定に関する動作フローチャートである。
【図９】各種の可変パラメータと不整化の強度との関係を示す表である。
【符号の説明】
【００５０】
１００…ディジタルスチルカメラ本体，３００…記憶媒体，１１…操作釦，１２…クイックリターンミラー，１３…シャッタ，１４…カラー撮像素子，１５…アンプ，１６…Ａ／Ｄ変換器，１７…信号処理回路，１８…フレームメモリ，２１…画像処理部，２２…圧縮／伸張処理部，２３…記録部，２４…ＣＰＵ，２４Ａ…ＲＯＭ，２４Ｂ…ＲＡＭ，２７…測光センサ，２１−１…ホワイトバランス処理部，２１−２…画素補間処理部，２１−３…ノイズリダクション部，２１−４…階調変換処理部，２１−５…色変換処理部２１−５，２１−６…色座標変換部，２１−７…エッジ強調処理部
【技術分野】
【０００１】
本発明は、ディジタルスチルカメラなどに搭載される画像処理装置、ディジタルスチルカメラなどの撮像装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
カメラでの撮影時、被写界中に際だって高輝度な物体が存在すると、撮影した画像の一部が白飛びする。この白飛び部分（ハイライト部）は、他の部分とは異なり階調が全く無いので、その輪郭が浮き出して観察者に不自然な印象を与える。
特許文献１には、その輪郭を目立たなくする信号処理技術が開示されている。この技術は、飽和レベルに近い信号へ意図的にランダムノイズを加算するものである。これによって、ハイライト部の周辺にディザ効果（ざらつき感）を与え、その輪郭を曖昧にすることができる。
【特許文献１】特開２００５−７２８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この信号処理技術をそのままディジタルスチルカメラへ適用しても、その適用方法や使用状況などにより、必ずしもディザ効果が現れないことがわかった。
そこで本発明は、ハイライト部周辺のディザ効果を簡単かつ確実に得ることのできる画像処理装置及び画像処理プログラムを提供することを目的とする。また、本発明は、ハイライト表現に優れた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の画像処理装置は、被写界の画像を示す画素信号群を入力する入力手段と、前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段と、前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段とを備えたことを特徴とする。
【０００５】
なお、本発明の画像処理装置は、前記不整化手段による処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手段を更に備えてもよい。
また、前記不整化手段による処理は、ルックアップテーブルを使用した階調変換処理であることが望ましい。
【０００６】
また、前記ルックアップテーブルの内容は、前記不整化の処理とそれ以外の階調補正処理とが前記画素信号群へ同時に施されるように設定されることが望ましい。
また、前記ルックアップテーブルの内容は、前記不整化の幅が不整化前の前記信号値の大きさに依存するように設定されることが望ましい。
また、前記不整化手段は、前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記画素信号群のうち飽和レベルとなった画素信号の数に応じてそれらのルックアップテーブルを切り替え使用することが望ましい。
【０００７】
また、前記不整化手段は、前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記不整化手段以外の手段が前記画素信号群に施すべき１又は複数の処理の内容に応じてそれらのルックアップテーブルを切り替え使用することが望ましい。
また、本発明の撮像装置は、被写界の画像を示す画素信号群を取得する撮像素子と、本発明の何れかの画像処理装置とを備えたことを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、画像処理装置が実行可能な画像処理プログラムであって、被写界の画像を示す画素信号群を入力する入力手順と、前記入力手順で入力された前記画素信号群の間に平均化効果のある処理を施す平均化手順と、前記平均化手順における処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手順とを含むことを特徴とする。
【０００９】
なお、本発明の画像処理プログラムは、前記不整化手順における処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手順を更に含んでもよい。
また、前記不整化手順における処理は、ルックアップテーブルを使用した階調変換処理であることが望ましい。
【発明の効果】
【００１０】
本発明によれば、ハイライト部周辺のディザ効果を簡単かつ確実に得ることのできる画像処理装置及び画像処理プログラムが実現する。また、本発明によれば、ハイライト表現に優れた撮像装置が実現する。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、ディジタルスチルカメラシステムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの機能ブロック図である。図１に示すとおり、本システムは、ディジタルスチルカメラ本体１００と、ディジタルスチルカメラ本体１００に装着された撮影レンズ２００とからなる。
【００１２】
ディジタルスチルカメラ本体１００には、カードメモリなどの可搬の記憶媒体３００が装着されると共に、操作釦１１、クイックリターンミラー１２、シャッタ１３、カラー撮像素子（ＣＣＤ，ＣＯＭＳなど）１４、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７、フレームメモリ１８、画像処理部２１、圧縮／伸張処理部２２、記録部２３、ＣＰＵ２４、ＲＯＭ２４Ａ、ＲＡＭ２４Ｂ、測光センサ２７などが備えられる。ＲＯＭ２４Ａには、ＣＰＵ２４の動作プログラムや各種の情報が予め格納されており、ＲＡＭ２４Ｂには、ＣＰＵ２４の動作中に必要な情報が一時的に格納される。
【００１３】
フレームメモリ１８、画像処理部２１、圧縮／伸張処理部２２、記録部２３、ＣＰＵ２４、ＲＯＭ２４Ａ、ＲＡＭ２４Ｂは、バスを介して互いに接続されている。ユーザが操作釦１１を操作して本システムへ各種の指示を入力すると、ＣＰＵ２４は、その指示の内容を認識し、それに従い各部を設定・制御して本システムを動作させる。
ユーザは、操作釦１１を操作して本システムのモードを撮影モードや設定モードなどの各種のモードの間で切り替えることができる。また、ユーザは、本システムが撮影モードにあるとき、操作釦１１を操作してレリーズ指示（撮影指示）を本システムへ入力することができる。また、ユーザは、本システムが設定モードにあるとき、操作釦１１を操作して階調補正の強度として「強」「中」「弱」の何れかを本システムへ指定することができる。
【００１４】
次に、撮影モードにあるときの本システムの基本動作を説明する。
ユーザからレリーズ指示が入力されると、ＣＰＵ２４はクイックリターンミラー１２、シャッタ１３、カラー撮像素子１４、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７の駆動を開始する。このときにカラー撮像素子１４から読み出される画素信号は、アンプ１５、Ａ／Ｄ変換器１６、信号処理回路１７を順に経由し、フレームメモリ１８へ格納される。１フレーム分の画素信号がフレームメモリ１８に蓄積されると、１回の撮影が完了である。以下、１フレーム分の画素信号の全体を「画像」と称し、個々の画素信号を「画素」と称す。
【００１５】
撮影後、ＣＰＵ２４は、画像処理部２１に指示を与え、フレームメモリ１８に蓄積された画像に対し各種の画像処理を施させる。その後、ＣＰＵ２４は、圧縮／伸張処理部２２に指示を与え、画像処理後の画像を圧縮処理させる。この圧縮処理には、画像の階調数を低減する情報圧縮処理も含まれる。例えば、圧縮処理前の階調数は１２ｂｉｔであり、圧縮処理後の階調数は８ｂｉｔである。さらに、ＣＰＵ２４は、記録部２３に指示を与え、圧縮処理後の画像を記憶媒体３００へと書き込ませる。これによって画像の保存が完了である。
【００１６】
次に、画像処理部２１による画像処理を詳しく説明する。
図２は、画像処理部２１の機能ブロック図である。図２において、各ブロックの配置は各ブロックによる処理の実行順序を示しており、左側が上流側、右側が下流側である。
図２に示すとおり、画像処理部２１には、画像の各色成分（Ｒ色，Ｇ色，Ｂ色）の強度バランスを調節するホワイトバランス処理部２１−１、画像の各色成分の不足画素を周辺画素で補間する画素補間処理部２１−２、画像中で突出した画素の輝度レベルを周辺画素の輝度レベルに近づけるノイズリダクション部２１−３、画像中の各画素の輝度レベルを階調変換テーブルで変換する階調変換処理部２１−４、画像中の各画素の色を色変換マトリクスで変換する色変換処理部２１−５、画像の表色系（Ｒ，Ｇ，Ｂ）を他の表色系（Ｙ，Ｃｂ，Ｃｒ）へと座標変換する色座標変換部２１−６、画像中の絵柄のエッジをエッジフィルタで強調するエッジ強調処理部２１−７などが備えられる。
【００１７】
このうち、階調変換処理部２１−４は、画像のＲ色成分に対する階調変換と、Ｇ色成分に対する階調変換と、Ｂ色成分に対する階調変換とに共通の階調変換テーブルを使用する。この階調変換テーブルは、ＣＰＵ２４が作成・設定するルックアップテーブルである。この階調変換テーブルには２つの機能があり、それは画像の階調再現性を変更する階調補正機能（ガンマ補正を含む）と、画像のハイライト部の周辺にディザ効果を与える不整化機能とである。階調変換テーブルの作成・設定に関するＣＰＵ２４の動作は、後に詳述する。
【００１８】
以上の画像処理部２１において、ホワイトバランス処理部２１−１、画素補間処理部２１−２、ノイズリダクション部２１−３、階調変換処理部２１−４、色変換処理部２１−５、色座標変換部２１−６、エッジ強調処理部２１−７の実行順序は、これに限定されることは無い。
但し、画素補間処理部２１−２の処理、及びノイズリダクション部２１−３の処理には、画像を空間方向に平均化する効果（ローパス効果）があり、階調変換処理部２１−４のノイズ付加機能、及びエッジ強調処理部２１−７の処理には、その反対の効果（ハイパス効果）があるので、両者の効果を存分に発揮させるためには、ハイパス効果のあるブロック（階調変換処理部２１−４又はエッジ強調処理部２１−７）を、ローパス効果のあるブロック（画素補間処理部２１−２又はノイズリダクション部２１−３）より後段に配置する必要がある。
【００１９】
次に、ＲＯＭ２４Ａに予め格納される情報を説明する。
ＲＯＭ２４Ａには、ＣＰＵ２４が階調変換テーブルを作成するための基礎情報として、図３に示すような複数種類の補正テーブルＴL，ＴM，ＴHと、図４に示すような複数種類の不整化テーブルＴNL，ＴNM，ＴNHとが予め格納される。
図３に示すとおり、補正テーブルＴL，ＴM，ＴHの相違は、階調補正の強度にあり、それぞれ「弱」，「中」，「強」である。図４に示すとおり、不整化テーブルＴNH，ＴNM，ＴNLの相違は、不整化の強度であり、それぞれ「強」，「中」，「弱」である。なお、図４では、分かりやすくするために、入力レベルの刻みを実際よりも粗く描いた。
【００２０】
次に、不整化テーブルＴNHの特性を詳しく説明する。
図５は、不整化テーブルＴNHの特性を説明する図である。図５でも、入力レベルの刻みを実際よりも粗く描いた。図５に示すとおり、不整化テーブルＴNHの特性は、入力された画素のうち、その輝度レベルが飽和レベル近傍の範囲Ａに属するものに対し、輝度レベルのバラツキを与えるよう設定されている。このように、連続した輝度レベルを不連続な輝度レベルへと変換することを本明細書では「不整化」と称している。
【００２１】
この不整化によるレベル変化量は、入力レベル毎に様々であり、＋αから−αまでの範囲内のランダムな値に予め決められている。この「α」が不整化の振幅である。不整化の振幅αは、入力レベルが大きいほど大きく設定され、例えば、図５に示すように、範囲Ａのうち低レベル側の範囲Ａ2では振幅αは小さい値α2に設定され、範囲Ａのうち中レベルの範囲Ａ1では振幅αは中程度の値α1に設定され、範囲Ａのうち高レベル側の範囲Ａ0では振幅αは大きい値α0に設定される。
【００２２】
以上の不整化テーブルＴNHの特徴は、他の２つの不整化テーブルＴNM，ＴNLの特性にも同様に当てはまる。但し、３つの不整化テーブルＴNH，ＴNM，ＴNLの間では、図４に示したとおり、振幅αが互いに異なる大きさに設定される。不整化テーブルＴNHの振幅αが最も大きく、不整化テーブルＴNMの振幅αが次に大きく、不整化テーブルＴMLの振幅αは最も小さい。
【００２３】
以上の基礎情報によると、例えばＣＰＵ２４は、図３に示した補正テーブルＴL，ＴM，ＴHの何れかと、図４に示した不整化テーブルＴNH，ＴNM，ＴNLの何れかとを選択し、選択された２つのテーブルを加算合成することで、例えば図６に示すような１つの階調変換テーブルを作成することができる。作成された階調変換テーブルには、階調補正機能と不整化機能との双方が備わる。
【００２４】
その際、図３に示した３つの補正テーブルＴL，ＴM，ＴHを使い分ければ、階調補正の強度が変化する。また、図４に示した３つの不整化テーブルＴNH，ＴNM，ＴNHを使い分ければ、不整化の強度が変化する。
次に、撮影モードにおけるＣＰＵ２４の動作の流れを詳しく説明する。
図７は、撮影モードにおけるＣＰＵ２４の動作フローチャートである。図７に示すとおり、ユーザからレリーズ指示が入力されると（ステップＳ１１ＹＥＳ）、ＣＰＵ２４は各部を駆動して撮影を行う（ステップＳ１２）。各部の駆動方法は前述したとおりである。
【００２５】
続いて、ＣＰＵ２４は、この撮影で取得した画像から飽和度を算出する（ステップＳ１３）。飽和度の算出は、例えば次のとおり行われる。ＣＰＵ２４は、画像を複数の小領域に分割し、各小領域の輝度レベルを求める。小領域の輝度レベルは、小領域に属する各画素の平均輝度レベルである。さらに、ＣＰＵ２４は、各小領域の輝度レベルを閾値と比較し、閾値を超過した小領域をハイライト部とみなす。さらに、ＣＰＵ２４は、ハイライト部とみなされた小領域数を小領域の総数で除し、画像上でハイライト部の占める割合を算出する。この割合が、画像の飽和度である。飽和度は、０％〜１００％の何れかの値を採る。飽和度が小さいほど不整化の必要性は低く、飽和度が高いほど不整化の必要性は高い。
【００２６】
その一方で、ＣＰＵ２４は、ユーザの指定した階調補正の強度が「強」であるか否かを判別し（ステップＳ１４）、「強」であった場合（ステップＳ１４ＹＥＳ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度の強い補正テーブルＴHを選択する。
また、ＣＰＵ２４は、ユーザの指定した強度が「強」でなかった場合（ステップＳ１４ＮＯ）は、ユーザの指定した階調補正の強度が「中」であるか否かを判別し（ステップＳ１５）、「中」であった場合（ステップＳ１５ＹＥＳ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度が中程度の補正テーブルＴMを選択する。
【００２７】
また、ＣＰＵ２４は、ユーザの指定した強度が「中」でなかった場合（ステップＳ１５ＮＯ）は、図３に示した補正テーブルＴL，ＴM，ＴHの中から補正強度の弱い補正テーブルＴLを選択する。
さらに、ＣＰＵ２４は、ステップＳ１３で算出した飽和度が５％以上であるか否かを判別し（ステップ１９）、５％以上であった場合（ステップＳ１９ＹＥＳ）は、不整化の必要性が極めて高いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が強い不整化テーブルＴNHを選択する（ステップＳ１１３）。
【００２８】
また、ＣＰＵ２４は、飽和度が５％未満であった場合（ステップＳ１９ＮＯ）は、飽和度が３％以上であるか否かを判別し（ステップＳ１１１）、３％以上であった場合（ステップＳ１１１ＹＥＳ）は、不整化の必要性が或る程度高いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が中程度である不整化テーブルＴNMを選択する（ステップＳ１１４）。
【００２９】
また、ＣＰＵ２４は、飽和度が３％未満であった場合（ステップＳ１１１ＮＯ）は、飽和度が１％以上であるか否かを判別し（ステップＳ１１２）、１％以上であった場合（ステップＳ１１２ＹＥＳ）は、不整化の必要性が低いので、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が低い不整化テーブルＴNLを選択する（ステップＳ１１５）。
【００３０】
また、ＣＰＵ２４は、飽和度が１％未満であった場合（ステップＳ１１２ＮＯ）は、不整化は不要なので、不整化テーブルを選択しない（ステップＳ１１６）。
その後、ＣＰＵ２４は、選択した補正テーブルと選択した不整化テーブルとを合成し、１つの階調変換テーブルを作成する。但し、合成後の出力レベルが飽和レベルを超過する場合は、その出力レベルを飽和レベルにクリップする。また、不整化テーブルを選択しなかった場合は、合成を行わずに選択された補正テーブルをそのまま階調変換テーブルとする（ステップＳ１１７）。
【００３１】
さらに、ＣＰＵ２４は、作成した階調変換テーブルを階調変換処理部２１−４へ設定し（ステップＳ１１８）、画像処理部２１、圧縮／伸張処理部２２、記録部２３の駆動を開始する（ステップＳ１１９）。各部の駆動方法は、前述したとおりである。
次に、本システムの効果を説明する。
本システムのＣＰＵ２４は、階調変換処理部２１−４（図２参照）が使用する階調変換テーブルに、不整化テーブル（図４参照）の内容を反映させる。したがって、ディジタルスチルカメラ１００内の回路を複雑にすることなく、画像のハイライト部の周辺にディザ効果を得ることができる。
【００３２】
しかも、その階調変換処理部２１−４（図２参照）の配置先は、ローパス効果のある画素補間処理部２１−２及びノイズリダクション部２１−３よりも後段なので、画像に得られたディザ効果は確実に保存される。
ここで、本システムでは、ディザ効果を得るために階調変換テーブを使用するので、同じ輝度レベルの画素は同じ輝度レベルに変換される。また、一般に被写界の画像には、空間的に近接した画素同士は輝度レベルも近接するという傾向がある。このため、本システムによると、階調変換後の画像上に同じ値のノイズが密集して発生する可能性もある。
【００３３】
しかし、本システムでは、階調変換処理部２１−４の配置先が圧縮／伸張処理部２２よりも前段、つまり階調数の低減処理よりも前階なので、階調変換直前の画像では、空間的に近接した画素同士であっても異なる輝度レベルを持つ可能性が高い。したがって、本システムでは、画像上の同じ値のノイズが密集して発生するという問題は頻発しない。
また、本システムでは、階調変換処理部２１−４に不整化機能と階調補正機能との双方を持たせるので、画像処理が効率的に行われる。
【００３４】
また、本システムでは、不整化テーブルの内容は、不整化の強度が画素の輝度レベルに依存するように設定される。具体的には、輝度レベルが高いほど不整化の振幅αが高く設定されるので（図４参照）、画像上でディザ効果の現れる領域と、ディザ効果の現れない領域との境界を曖昧にし、観察者に自然な印象を与えることができる。
また、本システムでは、不整化テーブルＴNH，ＴNM，ＴNLを画像の飽和度に応じて使い分けるので（図７ステップＳ１９，Ｓ１１１，Ｓ１１２，Ｓ１１３，１１４，１１５）、不整化の強度が常に必要十分な高さに設定される。
【００３５】
また、本システムでは、補正テーブルＴL，ＴM，ＴHと不整化テーブルＴNH，ＴNM，ＴNHとを別々に用意し、それらを組み合わせて多種の階調変換テーブルを作成するので、ＲＯＭ２４Ａの容量を抑えながら階調変換特性の変更の自由度を高めることができる。
なお、本システムでは、階調補正の強度の可変ステップ数が３であり、不整化の強度の可変ステップ数が４であったが、それらのステップ数は何れも変更可能である。例えば、本システムにおいて、階調補正の強度を「強」、「中」、「弱」、「ゼロ」の４ステップとすれば、階調変換特性の変更の自由度は１６種類に増える。
【００３６】
また、本システムでは、不整化処理の対象（ここでは階調変換処理の対象）を、撮影で取得した最新の画像としたが、記憶媒体３００に格納された過去の画像としてもよい。
また、本システムのＣＰＵ２４は、画像の飽和度を画像から直接的に算出したが、測光センサ２７（図１参照）の出力信号が示すＢＶ値から推測してもよい。また、その推測では、本システムに設定された撮影条件（露出補正量など）が考慮されることが望ましい。
【００３７】
［第２実施形態］
以下、本発明の第２実施形態を説明する。本実施形態も、ディジタルカメラシステムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。
本システムのユーザは、設定モードにあるとき、撮影感度（ＩＳＯ感度）として「１６００」，「８００」，「４００」，「２００」，「１００」などの数値を本システムへ指定することができる。本システムのＣＰＵ２４は、ユーザの指定したＩＳＯ感度を認識し、それに応じてアンプ１５のゲインを設定する（指定された数値が大きいほどゲインを高くする。）。
【００３８】
また、本システムのＣＰＵ２４は、設定モードにおいてＩＳＯ感度又は階調補正の強度が指定されると、それに応じて階調変換テーブルの作成・設定を行う。つまり、本システムでは、階調変換テーブルの作成・設定が撮影モードではなく設定モードにおいて行われる。
図８は、設定モードにおけるＣＰＵ２４の階調変換テーブルの作成・設定に関する動作フローチャートである。図８において図７に示したステップと同じものには同じ符号を付した。
【００３９】
図８に示すとおり、ユーザがＩＳＯ感度又は階調補正の強度を指定すると（ステップＳ２０ＹＥＳ）、ＣＰＵ２４は、ユーザによって指定された階調補正の強度に応じて補正テーブルＴL，ＴM，ＴHの何れかを選択する（ステップＳ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８）。
さらに、ＣＰＵ２４は、ユーザによって指定されたＩＳＯ感度が２００以下であるか否かを判別し（ステップ２９）、２００以下であった場合（ステップＳ２９ＹＥＳ）は、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が高い不整化テーブルＴNHを選択する（ステップＳ１１３）。
【００４０】
また、ＣＰＵ２４は、ＩＳＯ感度が２００より大きかった場合（ステップＳ２９ＮＯ）は、ＩＳＯ感度が４００以下であるか否かを判別し（ステップＳ２１１）、４００以下であった場合（ステップＳ２１１ＹＥＳ）は、図４に示したイズテーブルＴNL，ＴNM，ＴNHの中から不整化の強度が中程度の不整化テーブルＴNMを選択する（ステップＳ１１４）。
また、ＣＰＵ２４は、ＩＳＯ感度が４００より大きかった場合（ステップＳ２１１ＮＯ）は、ＩＳＯ感度が８００以下であるか否かを判別し（ステップＳ２１２）、８００以下であった場合（ステップＳ２１２ＹＥＳ）は、図４に示した不整化テーブルＴNL，ＴNM，ＴNHの中から不整化の強度が低い不整化テーブルＴNLを選択する（ステップＳ１１５）。
【００４１】
また、ＣＰＵ２４は、ＩＳＯ感度が８００より大きかった場合（ステップＳ２１２ＮＯ）は、不整化テーブルを選択しない（ステップＳ１１６）。
その後、ＣＰＵ２４は、選択した補正テーブルと不整化テーブルとを合成し、１つの階調変換テーブルを作成すると（ステップＳ１１７）、それを階調変換処理部２１−４へ設定する（ステップＳ１１８）。これらのステップＳ１１７，Ｓ１１８の詳細は、第１実施形態で説明したとおりである。
【００４２】
以上、本システムでは、ＩＳＯ感度が高いときほど不整化の強度が低く設定される（ステップＳ１１６，Ｓ１１５など）。上述したとおり、ＩＳＯ感度が高いときほどアンプ１５のゲインが高く設定されるので、画像のＳＮ比は悪くなり、画像中のハイライト部の輪郭もあまり目立たない傾向にある。よって、不整化の強度が低く設定されても問題は無い。
【００４３】
その反対に、本システムでは、ＩＳＯ感度が低いときほど不整化の強度が高く設定される（ステップＳ１１７，Ｓ１１８など）。上述したとおり、ＩＳＯ感度が低いとアンプ１５のゲインが低く設定されるので、画像のＳＮ比は良くなり、画像中のハイライト部の輪郭は目立つ傾向にある。よって、不整化の強度が高く設定されると好ましい。
したがって、本システムでは、不整化の強度が、画像に含まれるノイズ量に応じて常に適切に設定される。
【００４４】
［その他］
なお、第１実施形態のシステムでは、不整化の強度を画像の飽和度に連動させ、第２実施形態のシステムでは、不整化の強度をＩＳＯ感度に連動させたが、不整化の強度をシステムの他の可変パラメータに連動させてもよい。
例えば、画像の彩度補正の強度が可変であるシステムにおいては、その彩度補正の強度に不整化の強度を連動させてもよい。その場合、彩度補正の強度が低いほど不整化の強度を高くすることが望ましい。因みに、彩度補正の強度の変更は、色変換処理部２１−５（図２参照）の特性（色変換マトリクス）の変更によって行われる。
【００４５】
また、画像のエッジ強調の強度が可変であるシステムにおいては、そのエッジ強調の強度に不整化の強度を連動させてもよい。その場合、エッジ強調の強度が低いほど不整化の強度を高くすることが望ましい。因みに、エッジ強調の強度の変更は、エッジ強調処理部２１−７（図２参照）の特性（エッジフィルタ）の変更によって行われる。
また、上述したシステムでは、不整化の強度を１つの可変パラメータのみに連動させたが、２以上の可変パラメータに不整化の強度を連動させてもよい。因みに、各種の可変パラメータと不整化の強度との関係をまとめると、図９に示すとおりになる。
【００４６】
また、上述したシステムでは、不整化機能の搭載先を階調変換処理部２１−４（図２参照）としたが、画素補間処理部２１−２及びノイズリダクション部２１−３よりも後段、かつ圧縮／伸張処理部２２よりも前段の他のブロックとしてもよい。
例えば、色座標変換部２１−６とエッジ強調処理部２１−７との間に、彩度信号（Ｃｂ，Ｃｒ）の各々へ階調変換処理を施すブロックを挿入し、その階調変換処理に使用される階調変換テーブルの内容に、不整化テーブル（図４）と同等の内容を反映させてもよい。
【００４７】
また、上述したシステムでは、画像処理の機能と情報圧縮処理の機能と制御機能とを、画像処理部２１と圧縮／伸張処理部２２とＣＰＵ２４とに割り当てたが、画像処理部２１の処理の一部又は全部をＣＰＵ２４に実行させたり、圧縮／伸張処理部２２の処理の一部又は全部をＣＰＵ２４に実行させたりしてもよい。何れの場合も、ＣＰＵ２４の動作プログラムはＲＯＭ２４Ａに格納される。
【００４８】
また、上述したシステムは、レンズ交換型のディジタルスチルカメラシステムであったが、レンズ一体型のディジタルスチルカメラ、ビデオカメラなどの他の撮像装置に変更することもできる。
また、上述したシステムの画像処理に関する機能の一部又は全部は、撮像装置に限らず、画像を取り込むことが可能な各種の装置、例えば、画像ストレージャ、プリンタなどへ搭載することも可能である。また、その画像処理の一部又は全部をコンピュータで実行することも可能である。
【図面の簡単な説明】
【００４９】
【図１】本システムの機能ブロック図である。
【図２】画像処理部２１の機能ブロック図である。
【図３】補正テーブルＴL，ＴM，ＴHを説明する図である。
【図４】不整化テーブルＴNL，ＴNM，ＴNHを説明する図である。
【図５】不整化テーブルＴNHの特性を説明する図である。
【図６】階調変換テーブルの一例を示す図である。
【図７】第１実施形態の撮影モードにおけるＣＰＵ２４の動作フローチャートである。
【図８】第２実施形態の設定モードにおけるＣＰＵ２４の階調変換テーブルの設定に関する動作フローチャートである。
【図９】各種の可変パラメータと不整化の強度との関係を示す表である。
【符号の説明】
【００５０】
１００…ディジタルスチルカメラ本体，３００…記憶媒体，１１…操作釦，１２…クイックリターンミラー，１３…シャッタ，１４…カラー撮像素子，１５…アンプ，１６…Ａ／Ｄ変換器，１７…信号処理回路，１８…フレームメモリ，２１…画像処理部，２２…圧縮／伸張処理部，２３…記録部，２４…ＣＰＵ，２４Ａ…ＲＯＭ，２４Ｂ…ＲＡＭ，２７…測光センサ，２１−１…ホワイトバランス処理部，２１−２…画素補間処理部，２１−３…ノイズリダクション部，２１−４…階調変換処理部，２１−５…色変換処理部２１−５，２１−６…色座標変換部，２１−７…エッジ強調処理部
【特許請求の範囲】
【請求項１】
被写界の画像を示す画素信号群を入力する入力手段と、
前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段と、
前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記不整化手段による処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手段を更に備えた
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記不整化手段による処理は、
ルックアップテーブルを使用した階調変換処理である
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記ルックアップテーブルの内容は、
前記不整化の処理とそれ以外の階調補正処理とが前記画素信号群へ同時に施されるように設定される
ことを特徴とする画像処理装置。
【請求項５】
請求項３又は請求項４に記載の画像処理装置において、
前記ルックアップテーブルの内容は、
前記不整化の幅が不整化前の前記信号値の大きさに依存するように設定される
ことを特徴とする画像処理装置。
【請求項６】
請求項３〜請求項５の何れか一項に記載の画像処理装置において、
前記不整化手段は、
前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記画素信号群のうち飽和レベルとなった画素信号の数に応じてそれらのルックアップテーブルを切り替え使用する
ことを特徴とする画像処理装置。
【請求項７】
請求項３〜請求項６の何れか一項に記載の画像処理装置において、
前記不整化手段は、
前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記不整化手段以外の手段が前記画素信号群に施すべき１又は複数の処理の内容に応じてそれらのルックアップテーブルを切り替え使用する
ことを特徴とする画像処理装置。
【請求項８】
被写界の画像を示す画素信号群を取得する撮像素子と、
請求項１〜請求項７の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項９】
画像処理装置が実行可能な画像処理プログラムであって、
被写界の画像を示す画素信号群を入力する入力手順と、
前記入力手順で入力された前記画素信号群の間に平均化効果のある処理を施す平均化手順と、
前記平均化手順における処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手順と
を含むことを特徴とする画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムにおいて、
前記不整化手順における処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手順を更に含む
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項９又は請求項１０に記載の画像処理プログラムにおいて、
前記不整化手順における処理は、
ルックアップテーブルを使用した階調変換処理である
ことを特徴とする画像処理プログラム。
【請求項１】
被写界の画像を示す画素信号群を入力する入力手段と、
前記入力手段が入力した前記画素信号群の間に平均化効果のある処理を施す平均化手段と、
前記平均化手段による処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記不整化手段による処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手段を更に備えた
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記不整化手段による処理は、
ルックアップテーブルを使用した階調変換処理である
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記ルックアップテーブルの内容は、
前記不整化の処理とそれ以外の階調補正処理とが前記画素信号群へ同時に施されるように設定される
ことを特徴とする画像処理装置。
【請求項５】
請求項３又は請求項４に記載の画像処理装置において、
前記ルックアップテーブルの内容は、
前記不整化の幅が不整化前の前記信号値の大きさに依存するように設定される
ことを特徴とする画像処理装置。
【請求項６】
請求項３〜請求項５の何れか一項に記載の画像処理装置において、
前記不整化手段は、
前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記画素信号群のうち飽和レベルとなった画素信号の数に応じてそれらのルックアップテーブルを切り替え使用する
ことを特徴とする画像処理装置。
【請求項７】
請求項３〜請求項６の何れか一項に記載の画像処理装置において、
前記不整化手段は、
前記不整化の幅の異なる複数種類の前記ルックアップテーブルを有し、かつ、前記不整化手段以外の手段が前記画素信号群に施すべき１又は複数の処理の内容に応じてそれらのルックアップテーブルを切り替え使用する
ことを特徴とする画像処理装置。
【請求項８】
被写界の画像を示す画素信号群を取得する撮像素子と、
請求項１〜請求項７の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項９】
画像処理装置が実行可能な画像処理プログラムであって、
被写界の画像を示す画素信号群を入力する入力手順と、
前記入力手順で入力された前記画素信号群の間に平均化効果のある処理を施す平均化手順と、
前記平均化手順における処理が施された後の前記画素信号群のうち、少なくとも飽和レベル近傍の互いに連続した信号値を不連続な信号値へと不整化する不整化手順と
を含むことを特徴とする画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムにおいて、
前記不整化手順における処理が施された後の前記画素信号群に対し輝度方向にかけて情報圧縮効果のある処理を施す情報圧縮手順を更に含む
ことを特徴とする画像処理プログラム。
【請求項１１】
請求項９又は請求項１０に記載の画像処理プログラムにおいて、
前記不整化手順における処理は、
ルックアップテーブルを使用した階調変換処理である
ことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１１８４６２（Ｐ２００８−１１８４６２Ａ）
【公開日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願番号】特願２００６−３００６８４（Ｐ２００６−３００６８４）
【出願日】平成１８年１１月６日（２００６．１１．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願日】平成１８年１１月６日（２００６．１１．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]