画像処理装置および画像処理方法および記録媒体
【課題】 デジタルカメラで撮影された画像やスキャナで取り込まれた画像などの持つ光学情報の頻度分布から、撮影条件や露光状態を適切に判断することの可能な画像処理装置および画像処理方法および記録媒体を提供する。
【解決手段】 本発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出するものであって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有している。
【解決手段】 本発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出するものであって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有している。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタルスチルカメラやスキャナなどによって入力された各種画像データに対し画像処理を行う画像処理装置および画像処理方法および記録媒体に関する。
【０００２】
【従来の技術】従来よりデジタル画像に対する様々な処理が行われている。例えば、彩度や色調の調整やコントラストの拡大などである。これらは、画像処理の知識をもった専門的な操作者がパーソナルコンピュータを用いてモニタ上で調整具合を確認しながら行うのが一般的であった。
【０００３】最近、撮影画像の再生及び消去が即座に行えることと、インターネットの普及とに伴って、デジタルスチルカメラ（以下”デジタルカメラ”と記す）が急速に普及した。また、デジタルカメラの普及により、画像を専門的に取り扱っていないユーザの間にも撮影画像を印刷またはプリントアウトする機会が増えている。
【０００４】このような背景を反映し、デジタルカメラのユーザ層は従来型のアナログカメラの愛好家ではなく、ほとんどがパーソナルコンピュータ等を使用する人々である。そのため、カメラ本来の扱いには慣れておらず、逆光や暗い場所などの特殊な撮影条件では適切な露光調節を行えていない。
【０００５】さらに、デジタルカメラのダイナミックレンジは、銀塩フィルムのそれよりも狭く、ラチチュード（適正露出からアンダ、オーバになってもその調子が崩れない許容範囲）が狭い。現在、ほとんどのデジタルカメラでは自動的に露出調整が行われるが、上記のようにラチチュードが狭いため、特殊な撮影条件では適切な微調整が行われにくいどころか、画像処理によっては逆に余分なノイズがのってしまうこともあり、満足な画像を得られない。
【０００６】このように撮影時での不適切な露光状態を補うために画像処理ソフトやレタッチソフトなどで画像を修正するのが一般的だが、撮影条件を指定するなど、依然、人間が関与しなくてはならない。
【０００７】しかし最近では、撮影時、画像処理時、またはプリント時に、撮影条件から自動的に露出調整を行うための様々な技術が提案されている。それらの技術のほとんどは、画像データの輝度、及びＲＧＢ信号の頻度分布から撮影条件を判断するものである。
【０００８】
【発明が解決しようとする課題】特開平１０−２７１５２４号には、デジタルカメラで撮影された画像が正確さに乏しく、非熟練者には困難であり、全階調にわたって正しく修正されず、単なる色ずれ以外の要素を含んでいる場合に、画像データに対して間引きなどして各色成分の頻度分布を求め、分布間に類似性があるか否かを判断し、類似性が低くなければ本来的に頻度分布から見い出される特性は一致するものと判断して、オフセット修正やコントラスト強調や明るさ修正によってずれを修正し、これにより、色再現性の悪い画像であってもメリハリのある良好な画像としつつ、これらの作業を自動化する技術が示されている。
【０００９】特開平１０−２７１５２４号に示されている技術では、撮影条件を判別するための有効な分布領域を輝度値の最大値と最小値からある一律の割合（例えば０．５％）だけ内側に入った両端としている。この方法では、ダイナミックレンジ調整時などに生じる白点や黒点等を取り除くことができるが、画像によっては、分布の両端にあるデータは必ずしも取り除いて良い訳ではない。また、一律に両端のデータを切り捨てることは、頻度分布固有の形状に対応しておらず、逆に不必要なデータを残してしまう恐れもある。
【００１０】また、特開平１１−１５４２３５号には、画像処理を行う際に利用される参照濃度値を適切に抽出することで、画像の露出状態に関わらず適切な画像処理が行われるようにするために、あらかじめ撮影条件のもつ特徴的な濃度に対する頻度分布の形状をニューラルネットワークを用いて学習させ、その形状との類似性を判断させることによって、分布の有効な濃度範囲を求める技術が示されている。
【００１１】特開平１１−１５４２３５号に示されている技術は、一律ではないが、やはり頻度分布の両端を切り取る方式である。また、参照濃度域はあらかじめニューラルネットワークによって学習されたデータとの類似性で決定するため、特開平１０−２７１５２４号に示されている技術と同様に、頻度分布の任意の形状に完全に対応しているとは言えない。
【００１２】本発明は、デジタルカメラで撮影された画像やスキャナで取り込まれた画像などの持つ光学情報の頻度分布から、撮影条件や露光状態を適切に判断することの可能な画像処理装置および画像処理方法および記録媒体を提供することを目的としている。
【００１３】
【課題を解決するための手段】上記目的を達成するために、請求項１記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する画像処理方法であって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有していることを特徴としている。
【００１４】また、請求項２記載の発明は、請求項１記載の画像処理方法において、前記頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされることを特徴としている。
【００１５】また、請求項３記載の発明は、請求項２記載の画像処理方法において、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、前記平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされることを特徴としている。
【００１６】また、請求項４記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出する画像処理装置であって、前記多階調画像を入力する画像情報入力手段と、画像情報入力手段で入力された多階調画像より光学情報を得る光学情報入手手段と、光学情報入手手段によって得られた光学情報の頻度分布を作成する頻度分布作成手段と、頻度分布作成手段によって作成された頻度分布から特異点を除去する特異点除去手段と、特異点除去手段によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段とを備えていることを特徴としている。
【００１７】また、請求項５記載の発明は、請求項４記載の画像処理装置において、特異点除去手段は、前記頻度分布に対し平滑化処理を行うことによって、特異点を除去することを特徴としている。
【００１８】また、請求項６記載の発明は、請求項５記載の画像処理装置において、特異点除去手段における平滑化処理は、平滑化後の頻度分布の満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とから、平滑化の度合いを決定することによってなされることを特徴としている。
【００１９】また、請求項７記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報の頻度分布を求める処理と、前記頻度分布から特異点を除去する処理と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記憶媒体である。
【００２０】
【発明の実施の形態】以下、本発明の実施形態を図面に基づいて説明する。本願の発明者は、次の観点から本発明を完成させた。
【００２１】すなわち、頻度分布の形状からその画像の撮影条件を判断するには、分布のピークが輝度レベルのいずれに存在していようとも、それが全体の形から見て特異的だとみなされるものを除けば良く、重要なのは、特異的なピークとそうでないピークとを見極める技術である。また、特異的なピークは、その画像データを修正処理する場合は必要であるが、撮影条件を判断する場合は精細さを欠く可能性があり必要ない。
【００２２】また、ある輝度レベル範囲にピークが多数存在し、かつ、すべてが画像に関わっている場合は、それらのピークを連続的な塊、すなわち一つの山とみなせる方が撮影条件を判断するには好都合である。つまり、特異的なピークは判断材料からはずし、分布の細やかな部分よりも大まかな形状を見ることにより、後に行う撮影条件固有の頻度分布との類似性評価が行いやすくなる。また、一般的に画像の露光状態の悪さは撮影条件の寄与が大きい。つまり、撮影条件を正確に知ることで、高精細な画像処理の自動化が可能となる。
【００２３】図１は本発明に係る画像処理装置の構成例を示す図である。図１を参照すると、この画像処理装置は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出するものであり、前記多階調画像を入力する画像情報入力手段２００と、画像情報入力手段２００で入力された多階調画像を記憶する第１の画像情報記憶部２０１と、第１の画像情報記憶部２０１に記憶された多階調画像より光学情報を得る光学情報入手手段２０２と、光学情報入手手段２０２によって得られた光学情報の頻度分布を作成する頻度分布作成手段２０３と、頻度分布作成手段２０３によって作成された頻度分布を記憶する第２の画像情報記憶部２０４と、第２の画像情報記憶部２０４に記憶された頻度分布から特異点を除去する特異点除去手段２０５と、特異点除去手段２０５によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段２０６とを備えている。
【００２４】ここで、画像情報入力手段２００としては、デジタルスチルカメラ、または、スキャナやビデオカメラなどを用いることができる。なお、以下では、説明の便宜上、画像情報入力手段２００は、デジタルスチルカメラ（以下、“デジタルカメラ”と称す）であるとする。
【００２５】また、光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６は、パーソナルコンピュータなどのコンピュータで実現できる。また、第１の画像情報記憶部２０１，第２の画像情報記憶部２０４は、コンピュータのＲＡＭなどで実現できる。
【００２６】本発明は、デジタルカメラそのものやプリンタコントローラに組み込まれる画像処理にも応用できるが、以下では、デジタルカメラで撮影した画像をパーソナルコンピュータ上で扱う場合について説明する。
【００２７】図２は多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する本発明の処理の一例を示すフローチャートである。
【００２８】図２の処理例では、デジタルカメラによって撮影した画像データを、専用ケーブルやフロッピディスク，スマートメディアなどを用いてコンピュータに取り込み（ステップＳ１００）、光学情報を得る（ステップＳ１０１）。
【００２９】ここで、撮影条件を知るためには、例えば画像の明るさを示す成分の分布を得れば良く、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間での明度成分や、次式（数１）で与えられる輝度成分等が適当である。
【００３０】
【数１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００３１】なお、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間については既知の技術なので説明を省略し、以下では輝度成分を仮定して説明する。
【００３２】このように、ステップＳ１０１で光学情報（例えば輝度成分）が得られると、次に、頻度分布（輝度の頻度の分布）を得る（ステップＳ１０２）。頻度分布は、全画素について求めてもよいが、特性の傾向を判断することが目的であり、必ずしも全画素についての分布を求める必要はない。つまり、間引き処理などを行い、適度にサンプリングされた画像でも構わない。例えば、数１で変換された輝度成分のそれぞれ全階調レベル（以下、単に“レベル”と称す）についてそのレベル値ごとにカウントし、頻度分布Ｉ（ｕ）を求める。
【００３３】なお、光学情報からサンプリングを行い、輝度成分を求め頻度分布を得る手順は、可能であれば同時に行っても良い。
【００３４】次に、頻度分布から特異的なスペクトル（ピーク）、すなわち特異点を除去する（ステップＳ１０３）。図３は特異点の除去の手順を説明するための図である。なお、図３において、横軸は輝度レベルｕであり、縦軸は頻度Ｉ（ｕ）である。図３において、周辺の頻度Ｉ（ｕ）に比べて突出している成分が特異点である。
【００３５】特異点は、画像情報入力手段２００の性能により出力画像上に現われるノイズや、画像データ自体が持つ例えばフレア光などの影響を含むため、これを分離し、平滑化が施された太線部分の分布を平滑化後分布Ｆ（ｕ）と呼ぶ。
【００３６】ここで、平滑化後分布Ｆ（ｕ）は、画像の撮影条件や露光状態を表している。特殊な撮影条件には、逆光撮影，フラッシュ撮影，夜景撮影などがあり、図４から図６は各撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。また、図７は露出不足下の条件で撮影された画像の特異点除去前後の頻度分布を示す図である。
【００３７】例えば、図４の逆光撮影の頻度分布では、被写体を表す領域より高いレベル域に背景部があるため、高いレベル値でのピークが存在する。よって、平均値＜中央値であり、中央値と標準偏差とがともに極端に大きいのが特徴である。
【００３８】また、図５のフラッシュ撮影の頻度分布は、フラッシュが被写体に当たるため、分布が二極化する。つまり、標準偏差が大きく、この点は逆光と特徴が似ているが、背景が暗いため、ピークは低いレベル値に存在する。よって、平均値＞中央値である。
【００３９】また、図６の夜景撮影は、暗いレベル値に頻度が集中するため、中央値≒平均値でともに低く、標準偏差も小さい。
【００４０】また、図７の露出不足の状態で撮影された画像は、全体的に分布がレベルの低い方に片寄りがちではあるが、二極化はしないため、平均値＞中央値であり、標準偏差は逆光やフラッシュ撮影のそれほどは大きくないのが特徴である。また、図７では、平滑化によって分布が滑らかにされ、大まかな形が把握しやすい。
【００４１】このようにして、ステップＳ１０３で特異点を除去した後、撮影条件および露光状態の判別を行なう（ステップＳ１０４）。
【００４２】先ず、撮影条件を判別する手順を述べる。例えば、平均値と中央値の絶対値、及び相対値、標準偏差の４つの特徴値で、少なくとも４つの撮影条件を判別できる。
【００４３】すなわち、例えば、中央値にα１，α２（但しα１＜α２）の２つの閾値を設け、標準偏差にβ１，β２（但しβ１＜β２）の２つの閾値を設ける。
【００４４】但し、α１はフラッシュ撮影画像の頻度分布の代表的な中央値、α２は逆光撮影画像の頻度分布の代表的な中央値である。また、β１は夜景撮影画像の頻度分布の代表的な標準偏差値（≒０）であり、β２は逆光またはフラッシュ撮影画像の頻度分布の代表的な標準偏差値である。これらの閾値を用いて、上記４つの撮影条件は、それぞれ以下の条件を満たす。
【００４５】すなわち、逆光撮影では、撮影条件は、次式（数２）の条件を満たす。
【００４６】
【数２】Ａｖｅ−Ｍｏｄ＜０， Ｍｏｄ≒α１ ， ｓ．ｄ＞β２
【００４７】また、フラッシュ撮影では、撮影条件は、次式（数３）の条件を満たす。
【００４８】
【数３】Ａｖｅ−Ｍｏｄ＞０， Ｍｏｄ≒α１ ， ｓ．ｄ＞β２
【００４９】また、夜景撮影では、撮影条件は、次式（数４）の条件を満たす。
【００５０】
【数４】Ａｖｅ−Ｍｏｄ＜α１（≒０）， Ｍｏｄ＜α１（≒０）， ｓ．ｄ≒β１
【００５１】また、露出不足では、撮影条件は、次式（数５）の条件を満たす。
【００５２】
【数５】Ａｖｅ−Ｍｏｄ＜０， α１≪Ｍｏｄ≪α２， β１≪ｓ．ｄ≪β２
【００５３】なお、上記各式において、Ａｖｅは頻度分布の平均値、Ｍｏｄは頻度分布の中央値、ｓ．ｄは頻度分布の標準偏差である。
【００５４】また、撮影条件を判別する仕方として、撮影条件を各々特徴付ける代表的なヒストグラムをデータベース化するなどしてあらかじめ用意しておき、それらと入力画像ヒストグラムとの類似度を調べる方法もある。類似度は、相関係数を求めたり、数段階に分けた各々のレベル内での平均値や中央値などで行列成分をとり、内積を求める等の方法がある。このようにして撮影条件を判別することができる。
【００５５】また、一般的に、後に行う画質向上のための画像処理では、コントラスト及び色調の調整やエッジ強調などを行うが、撮影条件にあわせてそれらのパラメータを決定すれば、自動化に伴う失敗が少なく、高精細な処理が期待できる。
【００５６】上述の例では、説明の便宜上、光学情報には、数１の輝度値を用いたが、これのかわりに、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間の明度成分などでも良い。また、ヒストグラムの類似性を４つの特徴量（特徴値）から判別したが、特徴値の数や判別方法は、これに限定されるものではない。また、上記以外の特殊な撮影条件がいくつか考えられるが、そのいずれを用いても良い。
【００５７】いずれにせよ、本発明では、多階調画像の光学情報の頻度分布を平滑化してから特徴量を抽出することにより、撮影条件や露光状態をより高精細に判別することができる。
【００５８】このように、本発明において、頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされる。
【００５９】すなわち、頻度分布からその特徴を抽出する祭、ゲイン調整など撮影条件以外の要因により分布の形が乱れた場合、そのような特異点は排除されるべきである。一方、分布の全体的なバランスに比べ、単数または複数のピークが与える影響が大きければ、それは特異点とは判断されずに分布の特徴として残されなくてはならない。
【００６０】特異点を取り除く場合に、頻度分布Ｉ（ｕ）に対して、経験上どの程度の強さの平滑化を行えば良いかがあらかじめ分かっている場合は、メディアンフィルタ処理やウェーブレット平滑化などを行えば、短い処理時間で良好な結果を得ることができる。
【００６１】メディアンフィルタによる平滑化は、次のようにしてなされる。すなわち、データ列：Ｘのｉ番目の入力データ値ｘ（ｉ），（ｉ＝０，１，２．．．．ｎ−１、ここでｎは入力データ数）に対し、フィルタの大きさに当たるランクｒを指定すると、平滑化された値として、メディアン値（中央値）ｙiが次式（数６，数７）のように算出される。
【００６２】
【数６】Ｊi＝｛ｘ（ｉ−ｒ），ｘ（ｉ−ｒ＋１），…，ｘ（ｉ−１），ｘ（ｉ），ｘ（ｉ＋１），…，ｘ（ｉ＋ｒ−１），ｘ（ｉ＋ｒ）｝
【００６３】
【数７】メディアン値＝ｙi＝Ｍｅｄｉａｎ（Ｊi）， （ｉ＝０，１，２，…，ｎ−１、ここでｎは入力データ数）
【００６４】但し、数６において、データ列：Ｘの範囲外のデータはすべて０とする。数６，数７によってメディアンフィルタによる平滑化がなされる。
【００６５】また、ウェーブレット平滑化は、次のようになされる。なお、説明を簡単にするために、以下ではＨａａｒのウェーブレットを使用する。Ｈａａｒのウェーブレットは次式（数８）で表される。
【００６６】
【数８】Ψh（ｘ）＝１， ０≦ｘ＜１／２Ψh（ｘ）＝−１， １／２≦ｘ＜１Ψh（ｘ）＝０， それ以外
【００６７】さて、区間［０，１）で任意の連続関数ｆ（ｘ）を区分的に定数である階段関数ｆJ（ｘ）で近似する。また、区間［０，１）を２J個の小区間に分割し、小区間をＩk（Ｊ）とする。ここで、小区間をＩk（Ｊ）は、次式（数９）によって与えられる。
【００６８】
【数９】Ｉk（Ｊ）＝［ｋ／２J，（ｋ＋１）／２J）， ｋ＝０，１，２，…，２J−１
【００６９】近似関数は、小区間：Ｉk（Ｊ）で、定数：ｃk（Ｊ）に等しいとすると、ウェーブレットの多重解像度解析理論によって、関数ｆJ（ｘ）は次式（数１０）で表される。
【００７０】
【数１０】
【００７１】ここで、ウェーブレットの分解アルゴリズムにより次式（数１１）の関係を満たす。
【００７２】
【数１１】ｄk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）＋ｃ2k+1（ｊ））
ｃk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）−ｃ2k+1（ｊ））
【００７３】例えば、図８には、平滑化前の頻度分布Ｉ（ｕ）と平滑化後の頻度分布Ｆ１（ｕ）が示されており、また、図９には、Ｉ（ｕ）とＦ１（ｕ）とは異なる平滑化の強さで平滑化した平滑化後の頻度分布Ｆ２（ｕ）が示されている。ここで、Ｆ１（ｕ），Ｆ２（ｕ）は、ともにメディアンフィルタを使用しているが、フィルタの大きさは、Ｆ１（ｕ）が“９”であり、Ｆ２（ｕ）は“３”である。
【００７４】図８，図９を比べればわかるように、図９では平滑化が行えていない。すなわち、メディアンフィルタではフィルタの大きさに依存して平滑化の強さが決まるため、図９のように平滑化がうまくできない場合もある。しかし、取り除く対象のノイズが明確で、あらかじめ適切な平滑化の強さが分かっていれば、短時間で行える処理のため大変有効な方法である。同様のことはウェーブレット平滑化にも言える。
【００７５】ここで、平滑化の方法として、メディアンフィルタやＨａａｒのウェーブレット平滑化を挙げたが、平滑化の強さを調節できる方法であれば、これ以外の方法を用いることもできる。いずれにせよ、本発明では、頻度分布Ｉ（ｕ）から特異点を取り除くのに、適切な平滑化処理を行う。
【００７６】頻度分布に対し平滑化を施すことによって頻度分布から特異点を除去する方法は、頻度分布：Ｉ（ｕ）に対する適切な平滑化の強さがあらかじめ分かっている場合には有効な方法であったが、分からない場合は何らかの判定条件を設け、平滑化の強さを決定しなくてはならない。
【００７７】そこで、本発明は、このような場合に、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによって、平滑化を行なう。
【００７８】ここで、平滑化手法としては、Ｒｅｉｎｓｃｈ Ｃ．Ｈ．らの提案している３次スプライン関数を用いた平滑化のアルゴリズムを使用することができる。なお、このアルゴリズムの詳細は、文献「Reinsch C.H.:Smoothing by Spline Functions, Numerische Mathematik, vol 10, p177-183, 1967」に示されている。
【００７９】平滑化のアルゴリズムを以下に説明する。なお、説明の便宜上、輝度レベルをｘi、頻度分布をｙi、平滑化後分布であるスプライン関数分布（以下、予測値と呼ぶ）をｆ（ｘi）とする。
【００８０】まず、ｘi，ｙi，ｉ＝０，１，２，…，ｎなるデータ（真値）を与える。但し、ｘ0＜ｘ1＜…＜ｘnである。また、入力データ数（すなわち、輝度レベル数）をＮとすると、ｎ＝Ｎ−１である。
【００８１】次に、次式（数１２）のような予測式（３次の予測式）を設定する。
【００８２】
【数１２】ｆ（ｘ）＝ａi＋ｂi（ｘ−ｘi）＋ｃi（ｘ−ｘi）2＋ｄi（ｘ−ｘi）3但し、ｘi≦ｘ＜ｘi+1
【００８３】スプライン平滑化法で求めたいのは、数１２のｆ（ｘ）である。すなわち、全てのｉ（ｉ＝0，１，２，…，ｎ）についてのａi，ｂi，ｃi，ｄiが求まれば良い。このため、予測式ｆ（ｘ）が満たすべき境界条件を設定する。第１に、予測式ｆ（ｘ）は３次関数であるので、４次の微分係数が０でなくてはならない。第２に、節点で予測式ｆ（ｘ）が滑らかにつながるために、１次，２次，３次の微分係数が節点近傍で満たすべき条件を設定する。第３に、端点での条件を設定する。
【００８４】先ず、４次の微分係数が０の条件は、次式（数１３）によって与えられる。なお、ｆ4（ｘ）の“４”は４階微分を意味している。
【００８５】
【数１３】ｆ4（ｘ）＝０， ｘi＜ｘ＜ｘi+1，ｉ＝０，１，２，…，（ｎ−１）
【００８６】また、節点の微分係数の条件は、次式（数１４）によって与えられる。
【００８７】
【数１４】
【００８８】数１４において、ｆk（ｘ）の“ｋ”はｋ回微分を意味している。また、ｐはラグラジュアンパラメータである。また、δｙiは個々の節点における真値に対する平滑化の強さを指定するパラメータである。
【００８９】また、端点の微分係数の条件は、次式（数１５）によって与えられる。
【００９０】
【数１５】
【００９１】次に、次式（数１６）により、平滑化の強さを設定する。これを真値との誤差の最小条件と呼ぶ。
【００９２】
【数１６】
【００９３】ここで、Ｓは予測関数の全体的な平滑化の強さを指定するパラメータである。
【００９４】数１４，数１６におけるパラメータＳ及びδｙiの指定についての推奨値は、例えば次のようなものである。すなわち、入力データ数がＮの時、パラメータδｙiを次式（数１７）のように指定する。
【００９５】
【数１７】δｙi＝ｓ．ｄ（ｙi）／２
【００９６】ここで、ｓ．ｄ（ｙi）は、ｙiの標準偏差（分散値）である。δｙiを数１７のように指定するとき、パラメータＳを次式（数１８）の範囲に設定する。
【００９７】
【数１８】Ｎ−（２Ｎ）1/2≦Ｓ≦Ｎ＋（２Ｎ）1/2
【００９８】このように、入力データ数がＮのとき、パラメータδｙiを数１７により指定すると、パラメータＳを数１８の範囲に設定すれば、真値に対して良くフィッティングする。ここで、Ｓが大きいと直線近似に近付き、Ｓが小さいと真値に近付く。
【００９９】数１２の予測式ｆ（ｘ）は、具体的には、次のように算出される。すなわち、■ 先ず、直線ｘi，ｙi（ｉ＝０，１，２，…，ｎ）に対し、平滑化関数のフィッティングの度合いを指定する。つまり、数１７，数１８のように、δｙi，Ｓを与える。
■ 次に、ｐ＝０にする。
■ 数１３〜数１５により、ａi，ｂi，ｃi，ｄiを求める。
■ ａi，ｂi，ｃi，ｄiから、ｆ（ｘ）を求める。
■ 数１６の左辺Ｆ（ｐ）を計算し、最小条件を満たすか否か（数１６を満たすか否か）、すなわち、真値とのフィッティング度合いが良いか否かを調べる。
■ この結果、数１６の左辺Ｆ（ｐ）がＳよりも大きく、最小条件を満たさなかった場合、次式（数１９）により、ｐの新しい値を求める（ｐを次式によりインクリメントする）。
【０１００】
【数１９】ｐ＝ｐ−〔（Ｆ（ｐ）−Ｓ1/2）／（ｄＦ（ｐ）／ｄｐ）
【０１０１】このようにして、新しいｐが求まったら、■に戻り、■で最小条件を満たすまで、■〜■を繰り返す。最小条件が満たされると、そのときのａi，ｂi，ｃi，ｄiを■のｆ（ｘ）の係数に決定し、これにより、ｆ（ｘ）が平滑化関数として求められる。
【０１０２】ここで、Ｆ（ｐ）は数１６の左辺であり、ｐ＝０の時は直線近似となり、ｐ≧０ の時は３次のスプライン近似となる。
【０１０３】以上では、３次スプライン関数を用いた平滑化のアルゴリズムの一例を述べたが、数１６の最小条件のように、判定条件を設けて平滑化を行う方法であれば、上記の例以外のアルゴリズムを用いることもできる。いずれにせよ、適切な平滑化の強さが分からない場合に、平滑化の強さを決定した後に平滑化を行う方法であれば良い。
【０１０４】このように、図１の画像評価装置では、次のような処理がなされる。
【０１０５】すなわち、デジタルカメラなどの画像情報入力手段２００で画像データを入力すると、画像情報入力手段２００によって入力された画像データは第１の画像情報記憶部２０１に記憶される。
【０１０６】次に、入力された画像データは、光学情報入手手段２０２により第１の画像情報記憶部２０１から読取られ、適当に間引き処理が行われて、数１で表される輝度値やＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間などの所定の表色系に変換され、光学情報として算出される。
【０１０７】次に、頻度分布作成手段２０３により各階調レベルごとに度数がカウントされて、頻度分布が作成され、第２の画像情報記憶部２０４に記憶される。
【０１０８】次に、特異点除去手段２０５により第２の画像情報記憶部２０４から頻度分布が読み出され、特異的なスペクトルの除去が行われ、平滑化後分布Ｆ（ｕ）が算出される。
【０１０９】次に、抽出手段２０６により撮影条件が判断される。例えば、前述のように、平均値と中央値の絶対値、及び相対値、標準偏差の４つの特徴値と数２〜数５を使い、撮影条件が判別される。
【０１１０】なお、撮影条件を各々特徴付ける代表的なヒストグラムと平滑化後分布ヒストグラムとの類似度を相関係数などで調べる方法もある。
【０１１１】また、一般的に、後に行う画質向上のための画像処理では、コントラスト及び色調の調整やエッジ強調などを行うが、撮影条件にあわせてそれらのパラメータを決定する手順を設ければ、自動化に伴う失敗が少なく、高精細な処理が期待できる。
【０１１２】上述の例では、説明の便宜上、光学情報には、数１の輝度値を用いたが、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間の明度成分などを用いても良い。また、ヒストグラムの類似性判別方法には種々のものが考えられるが、そのいずれを用いても良い。また、上記以外にも特殊的な撮影条件がいくつか考えられるが、そのいずれについて調べても良い。
【０１１３】いずれにせよ、多階調画像の光学情報の頻度分布を平滑化してから特徴量を抽出することにより、撮影条件や露光状態をより高精細に判別することができる。
【０１１４】図１０は特異点除去手段２０５の処理概要を示す図である。
【０１１５】図１０の例では、特異点除去手段２０５は、平滑化前の頻度分布（第２の画像情報記憶部２０４に記憶されている頻度分布）に対して適切な平滑化処理を行い、平滑化後分布を算出する。例えば、頻度分布に対しどの程度の強さの平滑化処理が適切かがあらかじめ分かっている場合は、メディアンフィルタ処理やウェーブレット平滑化処理などを行えば、短い処理時間で良好な結果を得ることができる。
【０１１６】具体的に、図１０の処理例では、特異点除去手段２０５には、メディアンフィルタの大きさを表す定数ｅがあらかじめ記憶されている。この場合、特異点除去手段２０５は、第２の画像情報記憶部２０４から頻度分布を読み取ると、予め記憶されている係数ｅを用いて、頻度分布の平滑化処理としてメディアンフィルタ処理を行ない、平滑化後成分を算出する。
【０１１７】上述の例では、平滑化処理の一例として、メディアンフィルタ処理やウェーブレット平滑化処理を挙げたが、平滑化の強さを調節できる処理であれば、メディアンフィルタ処理やウェーブレット平滑化処理以外のものを用いることもできる。
【０１１８】いずれにせよ、頻度分布Ｉ（ｕ）から特異点を取り除くのに、適切な平滑化処理を行うことができる。
【０１１９】具体的に、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされる。
【０１２０】図１１は平滑化処理の一例を示すフローチャートである。図１１を参照すると、第２の画像情報記憶部２０４には、輝度レベル：ｘi、頻度分布：ｙi、入力データ数（すなわち、輝度レベル数）：Ｎが記憶されている。この場合、ステップＳ４０１では、ｐおよびａi，ｂi，ｃi，ｄi（ｉ＝０，１，２，…，ｎ）を初期化する。すなわち、ｐ＝０、ａi＝ｂi＝ｃi＝ｄi＝０とする。
【０１２１】次いで、ステップＳ４０２では、頻度分布：（ｘi，ｙi）と入力データ数：Ｎとにより、数１３，数１４，数１５を満たすａi，ｂi，ｃi，ｄi（ｉ＝０，１，２，…，ｎ）を決定する。
【０１２２】次いで、ステップＳ４０３では、あらかじめ指定した定数δｙi，ｉ＝０，１，２，…，ｎ（ｎ＝Ｎ−１），Ｓを読み出し、ステップＳ４０４で数１６の左辺(＝Ｆ(ｐ)）を算出し、ステップＳ４０５では、数１６の条件（最小条件）を満たすか否かを判定する。
【０１２３】この判定の結果、数１６の条件（最小条件）を満たしていなければ、ステップＳ４０６に進み、ステップＳ４０６では、ｐを数１９に従ってインクリメントし、ステップＳ４０４に戻る。これに対し、ステップＳ４０５の判定の結果、数１６の条件（最小条件）を満たしていれば、ステップＳ４０７に進み、ステップＳ４０７では、数１２に従って予測値ｆ（ｘi）、すなわち平滑化後分布を算出する。
【０１２４】図１２は図１の画像処理装置のハードウェア構成例を示す図である。図１２を参照すると、この画像処理装置は、例えばワークステーションやパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、画像情報を入力する画像情報入力手段（デジタルカメラやスキャナ，ビデオカメラなど）２００とを有している。
【０１２５】ここで、ＣＰＵ２１は、図１の光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６の機能を有している。
【０１２６】なお、ＣＰＵ２１におけるこのような光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６等としての機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１２の例では、情報記録媒体３０がセットさせるとき、これを駆動する媒体駆動装置３１が設けられている。
【０１２７】換言すれば、本発明の画像処理装置は、デジタルカメラ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク装置にインストールされることにより、このプログラムを実行して、本発明の画像処理機能を実現することができる。
【０１２８】また、本発明の画像処理機能を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【０１２９】
【発明の効果】以上に説明したように、請求項１，請求項４，請求項７記載の発明によれば、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出するときに、前記光学情報の頻度分布を求め、頻度分布から特異点を除去し、特異点を除去した頻度分布から、多階調画像の撮影条件や露光状態を判別するための情報を抽出するようになっているので、適切で高精細に撮影条件や露光状態を判断することが可能となる。
【０１３０】また、請求項２，請求項５記載の発明によれば、頻度分布からの特異点の除去は、頻度分布に対し平滑化を施すことによってなされるので、撮影条件や露光状態を判断するのに無用な成分を除去することが可能となる。
【０１３１】また、請求項３，請求項６記載の発明によれば、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされるので、頻度分布が様々な形をとっていても適切な平滑化が可能である。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の構成例を示す図である。
【図２】本発明による画像処理の一例を示すフローチャートである。
【図３】頻度分布から特異点を除去する手順を説明するための図である。
【図４】逆光撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図５】フラッシュ撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図６】夜景撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図７】露出不足下の条件で撮影された画像の特異点除去前後の頻度分布を示す図である。
【図８】平滑化前の頻度分布Ｉ（ｕ）と平滑化後の頻度分布Ｆ１（ｕ）を示す図である。
【図９】Ｉ（ｕ）とＦ１（ｕ）とは異なる平滑化の強さで平滑化した平滑化後の頻度分布Ｆ２（ｕ）を示す図である。
【図１０】特異点除去手段の処理概要を示す図である。
【図１１】平滑化処理の一例を示すフローチャートである。
【図１２】図１の画像処理装置のハードウェア構成例を示す図である。
【符号の説明】
２００ 画像情報入力手段
２０１ 第１の画像情報記憶部
２０２ 光学情報入手手段
２０３ 頻度分布作成手段
２０４ 第２の画像情報記憶部
２０５ 特異点除去手段
２０６ 抽出手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
３０ 記録媒体
３１ 媒体駆動装置
【０００１】
【発明の属する技術分野】本発明は、デジタルスチルカメラやスキャナなどによって入力された各種画像データに対し画像処理を行う画像処理装置および画像処理方法および記録媒体に関する。
【０００２】
【従来の技術】従来よりデジタル画像に対する様々な処理が行われている。例えば、彩度や色調の調整やコントラストの拡大などである。これらは、画像処理の知識をもった専門的な操作者がパーソナルコンピュータを用いてモニタ上で調整具合を確認しながら行うのが一般的であった。
【０００３】最近、撮影画像の再生及び消去が即座に行えることと、インターネットの普及とに伴って、デジタルスチルカメラ（以下”デジタルカメラ”と記す）が急速に普及した。また、デジタルカメラの普及により、画像を専門的に取り扱っていないユーザの間にも撮影画像を印刷またはプリントアウトする機会が増えている。
【０００４】このような背景を反映し、デジタルカメラのユーザ層は従来型のアナログカメラの愛好家ではなく、ほとんどがパーソナルコンピュータ等を使用する人々である。そのため、カメラ本来の扱いには慣れておらず、逆光や暗い場所などの特殊な撮影条件では適切な露光調節を行えていない。
【０００５】さらに、デジタルカメラのダイナミックレンジは、銀塩フィルムのそれよりも狭く、ラチチュード（適正露出からアンダ、オーバになってもその調子が崩れない許容範囲）が狭い。現在、ほとんどのデジタルカメラでは自動的に露出調整が行われるが、上記のようにラチチュードが狭いため、特殊な撮影条件では適切な微調整が行われにくいどころか、画像処理によっては逆に余分なノイズがのってしまうこともあり、満足な画像を得られない。
【０００６】このように撮影時での不適切な露光状態を補うために画像処理ソフトやレタッチソフトなどで画像を修正するのが一般的だが、撮影条件を指定するなど、依然、人間が関与しなくてはならない。
【０００７】しかし最近では、撮影時、画像処理時、またはプリント時に、撮影条件から自動的に露出調整を行うための様々な技術が提案されている。それらの技術のほとんどは、画像データの輝度、及びＲＧＢ信号の頻度分布から撮影条件を判断するものである。
【０００８】
【発明が解決しようとする課題】特開平１０−２７１５２４号には、デジタルカメラで撮影された画像が正確さに乏しく、非熟練者には困難であり、全階調にわたって正しく修正されず、単なる色ずれ以外の要素を含んでいる場合に、画像データに対して間引きなどして各色成分の頻度分布を求め、分布間に類似性があるか否かを判断し、類似性が低くなければ本来的に頻度分布から見い出される特性は一致するものと判断して、オフセット修正やコントラスト強調や明るさ修正によってずれを修正し、これにより、色再現性の悪い画像であってもメリハリのある良好な画像としつつ、これらの作業を自動化する技術が示されている。
【０００９】特開平１０−２７１５２４号に示されている技術では、撮影条件を判別するための有効な分布領域を輝度値の最大値と最小値からある一律の割合（例えば０．５％）だけ内側に入った両端としている。この方法では、ダイナミックレンジ調整時などに生じる白点や黒点等を取り除くことができるが、画像によっては、分布の両端にあるデータは必ずしも取り除いて良い訳ではない。また、一律に両端のデータを切り捨てることは、頻度分布固有の形状に対応しておらず、逆に不必要なデータを残してしまう恐れもある。
【００１０】また、特開平１１−１５４２３５号には、画像処理を行う際に利用される参照濃度値を適切に抽出することで、画像の露出状態に関わらず適切な画像処理が行われるようにするために、あらかじめ撮影条件のもつ特徴的な濃度に対する頻度分布の形状をニューラルネットワークを用いて学習させ、その形状との類似性を判断させることによって、分布の有効な濃度範囲を求める技術が示されている。
【００１１】特開平１１−１５４２３５号に示されている技術は、一律ではないが、やはり頻度分布の両端を切り取る方式である。また、参照濃度域はあらかじめニューラルネットワークによって学習されたデータとの類似性で決定するため、特開平１０−２７１５２４号に示されている技術と同様に、頻度分布の任意の形状に完全に対応しているとは言えない。
【００１２】本発明は、デジタルカメラで撮影された画像やスキャナで取り込まれた画像などの持つ光学情報の頻度分布から、撮影条件や露光状態を適切に判断することの可能な画像処理装置および画像処理方法および記録媒体を提供することを目的としている。
【００１３】
【課題を解決するための手段】上記目的を達成するために、請求項１記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する画像処理方法であって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有していることを特徴としている。
【００１４】また、請求項２記載の発明は、請求項１記載の画像処理方法において、前記頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされることを特徴としている。
【００１５】また、請求項３記載の発明は、請求項２記載の画像処理方法において、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、前記平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされることを特徴としている。
【００１６】また、請求項４記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出する画像処理装置であって、前記多階調画像を入力する画像情報入力手段と、画像情報入力手段で入力された多階調画像より光学情報を得る光学情報入手手段と、光学情報入手手段によって得られた光学情報の頻度分布を作成する頻度分布作成手段と、頻度分布作成手段によって作成された頻度分布から特異点を除去する特異点除去手段と、特異点除去手段によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段とを備えていることを特徴としている。
【００１７】また、請求項５記載の発明は、請求項４記載の画像処理装置において、特異点除去手段は、前記頻度分布に対し平滑化処理を行うことによって、特異点を除去することを特徴としている。
【００１８】また、請求項６記載の発明は、請求項５記載の画像処理装置において、特異点除去手段における平滑化処理は、平滑化後の頻度分布の満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とから、平滑化の度合いを決定することによってなされることを特徴としている。
【００１９】また、請求項７記載の発明は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報の頻度分布を求める処理と、前記頻度分布から特異点を除去する処理と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記憶媒体である。
【００２０】
【発明の実施の形態】以下、本発明の実施形態を図面に基づいて説明する。本願の発明者は、次の観点から本発明を完成させた。
【００２１】すなわち、頻度分布の形状からその画像の撮影条件を判断するには、分布のピークが輝度レベルのいずれに存在していようとも、それが全体の形から見て特異的だとみなされるものを除けば良く、重要なのは、特異的なピークとそうでないピークとを見極める技術である。また、特異的なピークは、その画像データを修正処理する場合は必要であるが、撮影条件を判断する場合は精細さを欠く可能性があり必要ない。
【００２２】また、ある輝度レベル範囲にピークが多数存在し、かつ、すべてが画像に関わっている場合は、それらのピークを連続的な塊、すなわち一つの山とみなせる方が撮影条件を判断するには好都合である。つまり、特異的なピークは判断材料からはずし、分布の細やかな部分よりも大まかな形状を見ることにより、後に行う撮影条件固有の頻度分布との類似性評価が行いやすくなる。また、一般的に画像の露光状態の悪さは撮影条件の寄与が大きい。つまり、撮影条件を正確に知ることで、高精細な画像処理の自動化が可能となる。
【００２３】図１は本発明に係る画像処理装置の構成例を示す図である。図１を参照すると、この画像処理装置は、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出するものであり、前記多階調画像を入力する画像情報入力手段２００と、画像情報入力手段２００で入力された多階調画像を記憶する第１の画像情報記憶部２０１と、第１の画像情報記憶部２０１に記憶された多階調画像より光学情報を得る光学情報入手手段２０２と、光学情報入手手段２０２によって得られた光学情報の頻度分布を作成する頻度分布作成手段２０３と、頻度分布作成手段２０３によって作成された頻度分布を記憶する第２の画像情報記憶部２０４と、第２の画像情報記憶部２０４に記憶された頻度分布から特異点を除去する特異点除去手段２０５と、特異点除去手段２０５によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段２０６とを備えている。
【００２４】ここで、画像情報入力手段２００としては、デジタルスチルカメラ、または、スキャナやビデオカメラなどを用いることができる。なお、以下では、説明の便宜上、画像情報入力手段２００は、デジタルスチルカメラ（以下、“デジタルカメラ”と称す）であるとする。
【００２５】また、光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６は、パーソナルコンピュータなどのコンピュータで実現できる。また、第１の画像情報記憶部２０１，第２の画像情報記憶部２０４は、コンピュータのＲＡＭなどで実現できる。
【００２６】本発明は、デジタルカメラそのものやプリンタコントローラに組み込まれる画像処理にも応用できるが、以下では、デジタルカメラで撮影した画像をパーソナルコンピュータ上で扱う場合について説明する。
【００２７】図２は多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する本発明の処理の一例を示すフローチャートである。
【００２８】図２の処理例では、デジタルカメラによって撮影した画像データを、専用ケーブルやフロッピディスク，スマートメディアなどを用いてコンピュータに取り込み（ステップＳ１００）、光学情報を得る（ステップＳ１０１）。
【００２９】ここで、撮影条件を知るためには、例えば画像の明るさを示す成分の分布を得れば良く、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間での明度成分や、次式（数１）で与えられる輝度成分等が適当である。
【００３０】
【数１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
【００３１】なお、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間については既知の技術なので説明を省略し、以下では輝度成分を仮定して説明する。
【００３２】このように、ステップＳ１０１で光学情報（例えば輝度成分）が得られると、次に、頻度分布（輝度の頻度の分布）を得る（ステップＳ１０２）。頻度分布は、全画素について求めてもよいが、特性の傾向を判断することが目的であり、必ずしも全画素についての分布を求める必要はない。つまり、間引き処理などを行い、適度にサンプリングされた画像でも構わない。例えば、数１で変換された輝度成分のそれぞれ全階調レベル（以下、単に“レベル”と称す）についてそのレベル値ごとにカウントし、頻度分布Ｉ（ｕ）を求める。
【００３３】なお、光学情報からサンプリングを行い、輝度成分を求め頻度分布を得る手順は、可能であれば同時に行っても良い。
【００３４】次に、頻度分布から特異的なスペクトル（ピーク）、すなわち特異点を除去する（ステップＳ１０３）。図３は特異点の除去の手順を説明するための図である。なお、図３において、横軸は輝度レベルｕであり、縦軸は頻度Ｉ（ｕ）である。図３において、周辺の頻度Ｉ（ｕ）に比べて突出している成分が特異点である。
【００３５】特異点は、画像情報入力手段２００の性能により出力画像上に現われるノイズや、画像データ自体が持つ例えばフレア光などの影響を含むため、これを分離し、平滑化が施された太線部分の分布を平滑化後分布Ｆ（ｕ）と呼ぶ。
【００３６】ここで、平滑化後分布Ｆ（ｕ）は、画像の撮影条件や露光状態を表している。特殊な撮影条件には、逆光撮影，フラッシュ撮影，夜景撮影などがあり、図４から図６は各撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。また、図７は露出不足下の条件で撮影された画像の特異点除去前後の頻度分布を示す図である。
【００３７】例えば、図４の逆光撮影の頻度分布では、被写体を表す領域より高いレベル域に背景部があるため、高いレベル値でのピークが存在する。よって、平均値＜中央値であり、中央値と標準偏差とがともに極端に大きいのが特徴である。
【００３８】また、図５のフラッシュ撮影の頻度分布は、フラッシュが被写体に当たるため、分布が二極化する。つまり、標準偏差が大きく、この点は逆光と特徴が似ているが、背景が暗いため、ピークは低いレベル値に存在する。よって、平均値＞中央値である。
【００３９】また、図６の夜景撮影は、暗いレベル値に頻度が集中するため、中央値≒平均値でともに低く、標準偏差も小さい。
【００４０】また、図７の露出不足の状態で撮影された画像は、全体的に分布がレベルの低い方に片寄りがちではあるが、二極化はしないため、平均値＞中央値であり、標準偏差は逆光やフラッシュ撮影のそれほどは大きくないのが特徴である。また、図７では、平滑化によって分布が滑らかにされ、大まかな形が把握しやすい。
【００４１】このようにして、ステップＳ１０３で特異点を除去した後、撮影条件および露光状態の判別を行なう（ステップＳ１０４）。
【００４２】先ず、撮影条件を判別する手順を述べる。例えば、平均値と中央値の絶対値、及び相対値、標準偏差の４つの特徴値で、少なくとも４つの撮影条件を判別できる。
【００４３】すなわち、例えば、中央値にα１，α２（但しα１＜α２）の２つの閾値を設け、標準偏差にβ１，β２（但しβ１＜β２）の２つの閾値を設ける。
【００４４】但し、α１はフラッシュ撮影画像の頻度分布の代表的な中央値、α２は逆光撮影画像の頻度分布の代表的な中央値である。また、β１は夜景撮影画像の頻度分布の代表的な標準偏差値（≒０）であり、β２は逆光またはフラッシュ撮影画像の頻度分布の代表的な標準偏差値である。これらの閾値を用いて、上記４つの撮影条件は、それぞれ以下の条件を満たす。
【００４５】すなわち、逆光撮影では、撮影条件は、次式（数２）の条件を満たす。
【００４６】
【数２】Ａｖｅ−Ｍｏｄ＜０， Ｍｏｄ≒α１ ， ｓ．ｄ＞β２
【００４７】また、フラッシュ撮影では、撮影条件は、次式（数３）の条件を満たす。
【００４８】
【数３】Ａｖｅ−Ｍｏｄ＞０， Ｍｏｄ≒α１ ， ｓ．ｄ＞β２
【００４９】また、夜景撮影では、撮影条件は、次式（数４）の条件を満たす。
【００５０】
【数４】Ａｖｅ−Ｍｏｄ＜α１（≒０）， Ｍｏｄ＜α１（≒０）， ｓ．ｄ≒β１
【００５１】また、露出不足では、撮影条件は、次式（数５）の条件を満たす。
【００５２】
【数５】Ａｖｅ−Ｍｏｄ＜０， α１≪Ｍｏｄ≪α２， β１≪ｓ．ｄ≪β２
【００５３】なお、上記各式において、Ａｖｅは頻度分布の平均値、Ｍｏｄは頻度分布の中央値、ｓ．ｄは頻度分布の標準偏差である。
【００５４】また、撮影条件を判別する仕方として、撮影条件を各々特徴付ける代表的なヒストグラムをデータベース化するなどしてあらかじめ用意しておき、それらと入力画像ヒストグラムとの類似度を調べる方法もある。類似度は、相関係数を求めたり、数段階に分けた各々のレベル内での平均値や中央値などで行列成分をとり、内積を求める等の方法がある。このようにして撮影条件を判別することができる。
【００５５】また、一般的に、後に行う画質向上のための画像処理では、コントラスト及び色調の調整やエッジ強調などを行うが、撮影条件にあわせてそれらのパラメータを決定すれば、自動化に伴う失敗が少なく、高精細な処理が期待できる。
【００５６】上述の例では、説明の便宜上、光学情報には、数１の輝度値を用いたが、これのかわりに、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間の明度成分などでも良い。また、ヒストグラムの類似性を４つの特徴量（特徴値）から判別したが、特徴値の数や判別方法は、これに限定されるものではない。また、上記以外の特殊な撮影条件がいくつか考えられるが、そのいずれを用いても良い。
【００５７】いずれにせよ、本発明では、多階調画像の光学情報の頻度分布を平滑化してから特徴量を抽出することにより、撮影条件や露光状態をより高精細に判別することができる。
【００５８】このように、本発明において、頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされる。
【００５９】すなわち、頻度分布からその特徴を抽出する祭、ゲイン調整など撮影条件以外の要因により分布の形が乱れた場合、そのような特異点は排除されるべきである。一方、分布の全体的なバランスに比べ、単数または複数のピークが与える影響が大きければ、それは特異点とは判断されずに分布の特徴として残されなくてはならない。
【００６０】特異点を取り除く場合に、頻度分布Ｉ（ｕ）に対して、経験上どの程度の強さの平滑化を行えば良いかがあらかじめ分かっている場合は、メディアンフィルタ処理やウェーブレット平滑化などを行えば、短い処理時間で良好な結果を得ることができる。
【００６１】メディアンフィルタによる平滑化は、次のようにしてなされる。すなわち、データ列：Ｘのｉ番目の入力データ値ｘ（ｉ），（ｉ＝０，１，２．．．．ｎ−１、ここでｎは入力データ数）に対し、フィルタの大きさに当たるランクｒを指定すると、平滑化された値として、メディアン値（中央値）ｙiが次式（数６，数７）のように算出される。
【００６２】
【数６】Ｊi＝｛ｘ（ｉ−ｒ），ｘ（ｉ−ｒ＋１），…，ｘ（ｉ−１），ｘ（ｉ），ｘ（ｉ＋１），…，ｘ（ｉ＋ｒ−１），ｘ（ｉ＋ｒ）｝
【００６３】
【数７】メディアン値＝ｙi＝Ｍｅｄｉａｎ（Ｊi）， （ｉ＝０，１，２，…，ｎ−１、ここでｎは入力データ数）
【００６４】但し、数６において、データ列：Ｘの範囲外のデータはすべて０とする。数６，数７によってメディアンフィルタによる平滑化がなされる。
【００６５】また、ウェーブレット平滑化は、次のようになされる。なお、説明を簡単にするために、以下ではＨａａｒのウェーブレットを使用する。Ｈａａｒのウェーブレットは次式（数８）で表される。
【００６６】
【数８】Ψh（ｘ）＝１， ０≦ｘ＜１／２Ψh（ｘ）＝−１， １／２≦ｘ＜１Ψh（ｘ）＝０， それ以外
【００６７】さて、区間［０，１）で任意の連続関数ｆ（ｘ）を区分的に定数である階段関数ｆJ（ｘ）で近似する。また、区間［０，１）を２J個の小区間に分割し、小区間をＩk（Ｊ）とする。ここで、小区間をＩk（Ｊ）は、次式（数９）によって与えられる。
【００６８】
【数９】Ｉk（Ｊ）＝［ｋ／２J，（ｋ＋１）／２J）， ｋ＝０，１，２，…，２J−１
【００６９】近似関数は、小区間：Ｉk（Ｊ）で、定数：ｃk（Ｊ）に等しいとすると、ウェーブレットの多重解像度解析理論によって、関数ｆJ（ｘ）は次式（数１０）で表される。
【００７０】
【数１０】
【００７１】ここで、ウェーブレットの分解アルゴリズムにより次式（数１１）の関係を満たす。
【００７２】
【数１１】ｄk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）＋ｃ2k+1（ｊ））
ｃk（ｊ−１）＝（１／２）・（ｃ2k（ｊ）−ｃ2k+1（ｊ））
【００７３】例えば、図８には、平滑化前の頻度分布Ｉ（ｕ）と平滑化後の頻度分布Ｆ１（ｕ）が示されており、また、図９には、Ｉ（ｕ）とＦ１（ｕ）とは異なる平滑化の強さで平滑化した平滑化後の頻度分布Ｆ２（ｕ）が示されている。ここで、Ｆ１（ｕ），Ｆ２（ｕ）は、ともにメディアンフィルタを使用しているが、フィルタの大きさは、Ｆ１（ｕ）が“９”であり、Ｆ２（ｕ）は“３”である。
【００７４】図８，図９を比べればわかるように、図９では平滑化が行えていない。すなわち、メディアンフィルタではフィルタの大きさに依存して平滑化の強さが決まるため、図９のように平滑化がうまくできない場合もある。しかし、取り除く対象のノイズが明確で、あらかじめ適切な平滑化の強さが分かっていれば、短時間で行える処理のため大変有効な方法である。同様のことはウェーブレット平滑化にも言える。
【００７５】ここで、平滑化の方法として、メディアンフィルタやＨａａｒのウェーブレット平滑化を挙げたが、平滑化の強さを調節できる方法であれば、これ以外の方法を用いることもできる。いずれにせよ、本発明では、頻度分布Ｉ（ｕ）から特異点を取り除くのに、適切な平滑化処理を行う。
【００７６】頻度分布に対し平滑化を施すことによって頻度分布から特異点を除去する方法は、頻度分布：Ｉ（ｕ）に対する適切な平滑化の強さがあらかじめ分かっている場合には有効な方法であったが、分からない場合は何らかの判定条件を設け、平滑化の強さを決定しなくてはならない。
【００７７】そこで、本発明は、このような場合に、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによって、平滑化を行なう。
【００７８】ここで、平滑化手法としては、Ｒｅｉｎｓｃｈ Ｃ．Ｈ．らの提案している３次スプライン関数を用いた平滑化のアルゴリズムを使用することができる。なお、このアルゴリズムの詳細は、文献「Reinsch C.H.:Smoothing by Spline Functions, Numerische Mathematik, vol 10, p177-183, 1967」に示されている。
【００７９】平滑化のアルゴリズムを以下に説明する。なお、説明の便宜上、輝度レベルをｘi、頻度分布をｙi、平滑化後分布であるスプライン関数分布（以下、予測値と呼ぶ）をｆ（ｘi）とする。
【００８０】まず、ｘi，ｙi，ｉ＝０，１，２，…，ｎなるデータ（真値）を与える。但し、ｘ0＜ｘ1＜…＜ｘnである。また、入力データ数（すなわち、輝度レベル数）をＮとすると、ｎ＝Ｎ−１である。
【００８１】次に、次式（数１２）のような予測式（３次の予測式）を設定する。
【００８２】
【数１２】ｆ（ｘ）＝ａi＋ｂi（ｘ−ｘi）＋ｃi（ｘ−ｘi）2＋ｄi（ｘ−ｘi）3但し、ｘi≦ｘ＜ｘi+1
【００８３】スプライン平滑化法で求めたいのは、数１２のｆ（ｘ）である。すなわち、全てのｉ（ｉ＝0，１，２，…，ｎ）についてのａi，ｂi，ｃi，ｄiが求まれば良い。このため、予測式ｆ（ｘ）が満たすべき境界条件を設定する。第１に、予測式ｆ（ｘ）は３次関数であるので、４次の微分係数が０でなくてはならない。第２に、節点で予測式ｆ（ｘ）が滑らかにつながるために、１次，２次，３次の微分係数が節点近傍で満たすべき条件を設定する。第３に、端点での条件を設定する。
【００８４】先ず、４次の微分係数が０の条件は、次式（数１３）によって与えられる。なお、ｆ4（ｘ）の“４”は４階微分を意味している。
【００８５】
【数１３】ｆ4（ｘ）＝０， ｘi＜ｘ＜ｘi+1，ｉ＝０，１，２，…，（ｎ−１）
【００８６】また、節点の微分係数の条件は、次式（数１４）によって与えられる。
【００８７】
【数１４】
【００８８】数１４において、ｆk（ｘ）の“ｋ”はｋ回微分を意味している。また、ｐはラグラジュアンパラメータである。また、δｙiは個々の節点における真値に対する平滑化の強さを指定するパラメータである。
【００８９】また、端点の微分係数の条件は、次式（数１５）によって与えられる。
【００９０】
【数１５】
【００９１】次に、次式（数１６）により、平滑化の強さを設定する。これを真値との誤差の最小条件と呼ぶ。
【００９２】
【数１６】
【００９３】ここで、Ｓは予測関数の全体的な平滑化の強さを指定するパラメータである。
【００９４】数１４，数１６におけるパラメータＳ及びδｙiの指定についての推奨値は、例えば次のようなものである。すなわち、入力データ数がＮの時、パラメータδｙiを次式（数１７）のように指定する。
【００９５】
【数１７】δｙi＝ｓ．ｄ（ｙi）／２
【００９６】ここで、ｓ．ｄ（ｙi）は、ｙiの標準偏差（分散値）である。δｙiを数１７のように指定するとき、パラメータＳを次式（数１８）の範囲に設定する。
【００９７】
【数１８】Ｎ−（２Ｎ）1/2≦Ｓ≦Ｎ＋（２Ｎ）1/2
【００９８】このように、入力データ数がＮのとき、パラメータδｙiを数１７により指定すると、パラメータＳを数１８の範囲に設定すれば、真値に対して良くフィッティングする。ここで、Ｓが大きいと直線近似に近付き、Ｓが小さいと真値に近付く。
【００９９】数１２の予測式ｆ（ｘ）は、具体的には、次のように算出される。すなわち、
【０１００】
【数１９】ｐ＝ｐ−〔（Ｆ（ｐ）−Ｓ1/2）／（ｄＦ（ｐ）／ｄｐ）
【０１０１】このようにして、新しいｐが求まったら、
【０１０２】ここで、Ｆ（ｐ）は数１６の左辺であり、ｐ＝０の時は直線近似となり、ｐ≧０ の時は３次のスプライン近似となる。
【０１０３】以上では、３次スプライン関数を用いた平滑化のアルゴリズムの一例を述べたが、数１６の最小条件のように、判定条件を設けて平滑化を行う方法であれば、上記の例以外のアルゴリズムを用いることもできる。いずれにせよ、適切な平滑化の強さが分からない場合に、平滑化の強さを決定した後に平滑化を行う方法であれば良い。
【０１０４】このように、図１の画像評価装置では、次のような処理がなされる。
【０１０５】すなわち、デジタルカメラなどの画像情報入力手段２００で画像データを入力すると、画像情報入力手段２００によって入力された画像データは第１の画像情報記憶部２０１に記憶される。
【０１０６】次に、入力された画像データは、光学情報入手手段２０２により第１の画像情報記憶部２０１から読取られ、適当に間引き処理が行われて、数１で表される輝度値やＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間などの所定の表色系に変換され、光学情報として算出される。
【０１０７】次に、頻度分布作成手段２０３により各階調レベルごとに度数がカウントされて、頻度分布が作成され、第２の画像情報記憶部２０４に記憶される。
【０１０８】次に、特異点除去手段２０５により第２の画像情報記憶部２０４から頻度分布が読み出され、特異的なスペクトルの除去が行われ、平滑化後分布Ｆ（ｕ）が算出される。
【０１０９】次に、抽出手段２０６により撮影条件が判断される。例えば、前述のように、平均値と中央値の絶対値、及び相対値、標準偏差の４つの特徴値と数２〜数５を使い、撮影条件が判別される。
【０１１０】なお、撮影条件を各々特徴付ける代表的なヒストグラムと平滑化後分布ヒストグラムとの類似度を相関係数などで調べる方法もある。
【０１１１】また、一般的に、後に行う画質向上のための画像処理では、コントラスト及び色調の調整やエッジ強調などを行うが、撮影条件にあわせてそれらのパラメータを決定する手順を設ければ、自動化に伴う失敗が少なく、高精細な処理が期待できる。
【０１１２】上述の例では、説明の便宜上、光学情報には、数１の輝度値を用いたが、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間の明度成分などを用いても良い。また、ヒストグラムの類似性判別方法には種々のものが考えられるが、そのいずれを用いても良い。また、上記以外にも特殊的な撮影条件がいくつか考えられるが、そのいずれについて調べても良い。
【０１１３】いずれにせよ、多階調画像の光学情報の頻度分布を平滑化してから特徴量を抽出することにより、撮影条件や露光状態をより高精細に判別することができる。
【０１１４】図１０は特異点除去手段２０５の処理概要を示す図である。
【０１１５】図１０の例では、特異点除去手段２０５は、平滑化前の頻度分布（第２の画像情報記憶部２０４に記憶されている頻度分布）に対して適切な平滑化処理を行い、平滑化後分布を算出する。例えば、頻度分布に対しどの程度の強さの平滑化処理が適切かがあらかじめ分かっている場合は、メディアンフィルタ処理やウェーブレット平滑化処理などを行えば、短い処理時間で良好な結果を得ることができる。
【０１１６】具体的に、図１０の処理例では、特異点除去手段２０５には、メディアンフィルタの大きさを表す定数ｅがあらかじめ記憶されている。この場合、特異点除去手段２０５は、第２の画像情報記憶部２０４から頻度分布を読み取ると、予め記憶されている係数ｅを用いて、頻度分布の平滑化処理としてメディアンフィルタ処理を行ない、平滑化後成分を算出する。
【０１１７】上述の例では、平滑化処理の一例として、メディアンフィルタ処理やウェーブレット平滑化処理を挙げたが、平滑化の強さを調節できる処理であれば、メディアンフィルタ処理やウェーブレット平滑化処理以外のものを用いることもできる。
【０１１８】いずれにせよ、頻度分布Ｉ（ｕ）から特異点を取り除くのに、適切な平滑化処理を行うことができる。
【０１１９】具体的に、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされる。
【０１２０】図１１は平滑化処理の一例を示すフローチャートである。図１１を参照すると、第２の画像情報記憶部２０４には、輝度レベル：ｘi、頻度分布：ｙi、入力データ数（すなわち、輝度レベル数）：Ｎが記憶されている。この場合、ステップＳ４０１では、ｐおよびａi，ｂi，ｃi，ｄi（ｉ＝０，１，２，…，ｎ）を初期化する。すなわち、ｐ＝０、ａi＝ｂi＝ｃi＝ｄi＝０とする。
【０１２１】次いで、ステップＳ４０２では、頻度分布：（ｘi，ｙi）と入力データ数：Ｎとにより、数１３，数１４，数１５を満たすａi，ｂi，ｃi，ｄi（ｉ＝０，１，２，…，ｎ）を決定する。
【０１２２】次いで、ステップＳ４０３では、あらかじめ指定した定数δｙi，ｉ＝０，１，２，…，ｎ（ｎ＝Ｎ−１），Ｓを読み出し、ステップＳ４０４で数１６の左辺(＝Ｆ(ｐ)）を算出し、ステップＳ４０５では、数１６の条件（最小条件）を満たすか否かを判定する。
【０１２３】この判定の結果、数１６の条件（最小条件）を満たしていなければ、ステップＳ４０６に進み、ステップＳ４０６では、ｐを数１９に従ってインクリメントし、ステップＳ４０４に戻る。これに対し、ステップＳ４０５の判定の結果、数１６の条件（最小条件）を満たしていれば、ステップＳ４０７に進み、ステップＳ４０７では、数１２に従って予測値ｆ（ｘi）、すなわち平滑化後分布を算出する。
【０１２４】図１２は図１の画像処理装置のハードウェア構成例を示す図である。図１２を参照すると、この画像処理装置は、例えばワークステーションやパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、画像情報を入力する画像情報入力手段（デジタルカメラやスキャナ，ビデオカメラなど）２００とを有している。
【０１２５】ここで、ＣＰＵ２１は、図１の光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６の機能を有している。
【０１２６】なお、ＣＰＵ２１におけるこのような光学情報入手手段２０２，頻度分布作成手段２０３，特異点除去手段２０５，抽出手段２０６等としての機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１２の例では、情報記録媒体３０がセットさせるとき、これを駆動する媒体駆動装置３１が設けられている。
【０１２７】換言すれば、本発明の画像処理装置は、デジタルカメラ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク装置にインストールされることにより、このプログラムを実行して、本発明の画像処理機能を実現することができる。
【０１２８】また、本発明の画像処理機能を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【０１２９】
【発明の効果】以上に説明したように、請求項１，請求項４，請求項７記載の発明によれば、多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出するときに、前記光学情報の頻度分布を求め、頻度分布から特異点を除去し、特異点を除去した頻度分布から、多階調画像の撮影条件や露光状態を判別するための情報を抽出するようになっているので、適切で高精細に撮影条件や露光状態を判断することが可能となる。
【０１３０】また、請求項２，請求項５記載の発明によれば、頻度分布からの特異点の除去は、頻度分布に対し平滑化を施すことによってなされるので、撮影条件や露光状態を判断するのに無用な成分を除去することが可能となる。
【０１３１】また、請求項３，請求項６記載の発明によれば、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされるので、頻度分布が様々な形をとっていても適切な平滑化が可能である。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の構成例を示す図である。
【図２】本発明による画像処理の一例を示すフローチャートである。
【図３】頻度分布から特異点を除去する手順を説明するための図である。
【図４】逆光撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図５】フラッシュ撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図６】夜景撮影条件下での画像の特異点除去後の頻度分布の特徴を示す図である。
【図７】露出不足下の条件で撮影された画像の特異点除去前後の頻度分布を示す図である。
【図８】平滑化前の頻度分布Ｉ（ｕ）と平滑化後の頻度分布Ｆ１（ｕ）を示す図である。
【図９】Ｉ（ｕ）とＦ１（ｕ）とは異なる平滑化の強さで平滑化した平滑化後の頻度分布Ｆ２（ｕ）を示す図である。
【図１０】特異点除去手段の処理概要を示す図である。
【図１１】平滑化処理の一例を示すフローチャートである。
【図１２】図１の画像処理装置のハードウェア構成例を示す図である。
【符号の説明】
２００ 画像情報入力手段
２０１ 第１の画像情報記憶部
２０２ 光学情報入手手段
２０３ 頻度分布作成手段
２０４ 第２の画像情報記憶部
２０５ 特異点除去手段
２０６ 抽出手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
３０ 記録媒体
３１ 媒体駆動装置
【特許請求の範囲】
【請求項１】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する画像処理方法であって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有していることを特徴とする画像処理方法。
【請求項２】 請求項１記載の画像処理方法において、前記頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされることを特徴とする画像処理方法。
【請求項３】 請求項２記載の画像処理方法において、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、前記平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされることを特徴とする画像処理方法。
【請求項４】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出する画像処理装置であって、前記多階調画像を入力する画像情報入力手段と、画像情報入力手段で入力された多階調画像より光学情報を得る光学情報入手手段と、光学情報入手手段によって得られた光学情報の頻度分布を作成する頻度分布作成手段と、頻度分布作成手段によって作成された頻度分布から特異点を除去する特異点除去手段と、特異点除去手段によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段とを備えていることを特徴とする画像処理装置。
【請求項５】 請求項４記載の画像処理装置において、特異点除去手段は、前記頻度分布に対し平滑化処理を行うことによって、特異点を除去することを特徴とする画像処理装置。
【請求項６】 請求項５記載の画像処理装置において、特異点除去手段における平滑化処理は、平滑化後の頻度分布の満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とから、平滑化の度合いを決定することによってなされることを特徴とする画像処理装置。
【請求項７】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報の頻度分布を求める処理と、前記頻度分布から特異点を除去する処理と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記憶媒体。
【請求項１】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための情報を抽出する画像処理方法であって、前記光学情報の頻度分布を求める工程と、前記頻度分布から特異点を除去する工程と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する工程とを有していることを特徴とする画像処理方法。
【請求項２】 請求項１記載の画像処理方法において、前記頻度分布からの特異点の除去は、前記頻度分布に対し平滑化を施すことによってなされることを特徴とする画像処理方法。
【請求項３】 請求項２記載の画像処理方法において、平滑化は、平滑化後の頻度分布が満たすべき、全体的な平滑化を調節する定数と、前記平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とを用いて、平滑の度合いを決定することによってなされることを特徴とする画像処理方法。
【請求項４】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報から撮影条件や露光状態を判別するための特徴情報を抽出する画像処理装置であって、前記多階調画像を入力する画像情報入力手段と、画像情報入力手段で入力された多階調画像より光学情報を得る光学情報入手手段と、光学情報入手手段によって得られた光学情報の頻度分布を作成する頻度分布作成手段と、頻度分布作成手段によって作成された頻度分布から特異点を除去する特異点除去手段と、特異点除去手段によって特異点が除去された頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する抽出手段とを備えていることを特徴とする画像処理装置。
【請求項５】 請求項４記載の画像処理装置において、特異点除去手段は、前記頻度分布に対し平滑化処理を行うことによって、特異点を除去することを特徴とする画像処理装置。
【請求項６】 請求項５記載の画像処理装置において、特異点除去手段における平滑化処理は、平滑化後の頻度分布の満たすべき、全体的な平滑化を調節する定数と、平滑化前の頻度分布と平滑化後の頻度分布との差の大きさを個々に調節する定数とから、平滑化の度合いを決定することによってなされることを特徴とする画像処理装置。
【請求項７】 多階調画像を構成する各画素の明度情報あるいは濃度情報あるいは色度情報のうち少なくとも１つの光学情報の頻度分布を求める処理と、前記頻度分布から特異点を除去する処理と、前記特異点を除去した頻度分布から、前記多階調画像の撮影条件や露光状態を判別するための情報を抽出する処理とをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記憶媒体。
【図１】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１２】
【図８】
【図９】
【図１１】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１２】
【図８】
【図９】
【図１１】
【公開番号】特開２００２−１００７３（Ｐ２００２−１００７３Ａ）
【公開日】平成１４年１月１１日（２００２．１．１１）
【国際特許分類】
【出願番号】特願２０００−１８７５１１（Ｐ２０００−１８７５１１）
【出願日】平成１２年６月１９日（２０００．６．１９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１４年１月１１日（２００２．１．１１）
【国際特許分類】
【出願日】平成１２年６月１９日（２０００．６．１９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]