情報処理装置、情報処理方法およびプログラム
【課題】シーン検出精度の向上および補正画像の画質の向上を可能にした情報処理装置を提供する。
【解決手段】入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、撮影時の環境を示す情報である環境情報を取得する取得手段と、シーンカテゴリ毎の帰属率に環境情報を反映させて合成補正値を求める補正値算出手段と、合成補正値を用いて画像を補正する画像補正手段とを有する。
【解決手段】入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、撮影時の環境を示す情報である環境情報を取得する取得手段と、シーンカテゴリ毎の帰属率に環境情報を反映させて合成補正値を求める補正値算出手段と、合成補正値を用いて画像を補正する画像補正手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが普及しており、撮影された写真の画像データに対して色補正や階調補正などを行うことが可能になった。
【０００３】
色補正および階調補正などの画像補正における補正量は、画像に応じて最適な値に設定する必要がある。この最適値は、画像内容に依存し、見る人の好みにも依存する。従って、理想的な画像補正のためには人間が1枚1枚手動で補正量を調整する必要がある。
【０００４】
しかしながら、手動で大量の画像補正を行うには莫大な工数を必要とする。また組み込み機器等で補正処理する場合には、人間が行うことは不可能である。そこで、自動的に補正量を制御する方法としてヒストグラム解析を利用した自動画像補正方式が従来提案されている（非特許文献１参照）。しかしながら、非特許文献１に開示された補正方式では、ポートレート、風景、花、夜景、のような対象物を認識して自動分類できないため、シーンによって補正のやりすぎが生じる場合があった。例えば、ポートレートにもかかわらず、彩度を強調しすぎて肌色が赤くなりすぎるといった場合があった。
【０００５】
近年、シーンを認識することにより、画像補正量を動的に変更する方法が提案されている。例えば、特許文献１や特許文献２においては、画像中から顔領域を認識し、その部分の色分布を解析することによってポートレートに適切な補正量を算出し、算出した補正量に従って画像を補正する方法が開示されている。しかしながら、これらの文献に開示された画像補正方法は、シーン認識が誤る場合を考慮していない。シーン認識処理は通常、入力画像中からエッジや色などの特徴量を算出し、それらの特徴量を元に、パタン認識処理を行うことで実行される。一般に、パタン認識処理においては誤認識の確率が、少なくとも０ではないとされている。そのため、もしもシーン認識処理が間違った場合には、補正量が適切ではないために、画質の破綻を招くという問題があった。
【０００６】
また、画像に撮影された対象物は一つではなく、複数の対象物が混在する場合が多い。例えば、人物と芝生、人物と花、人物と夜景、などの場合である。このように複数の対象が混在する場合には、一つの対象に応じた補正だけでは、他の対象物に悪影響を及ぼす可能性がある。特許文献３では、この複数の対象に対する問題を解決するため、撮影された複数の絵柄のそれぞれに応じた補正画像を複数枚作成し、絵柄の位置に応じて合成する方法を開示している。しかしながら、補正画像を複数枚作成するために、大量のワークメモリを要するため、処理コストが増大するという問題があった。さらに、絵柄の誤認識に対する考慮もないため、誤認識の場合には、同様に画質の破綻を招くという問題があった。
【０００７】
上記課題を解決するために、本案発明者は、特許文献４に開示された画像補正装置を発明した。特許文献４には、複数のシーンカテゴリに対する帰属率に応じてパラメータを制御することにより、特定のシーンに対する分類誤りの影響を分散させ、かつどのカテゴリにも属さない確率と、その補正パラメータを用いることにより、未知なるカテゴリの画像が入った場合でも、破綻のない適切な補正を行うことができる装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２８３０２５号公報
【特許文献２】特開２０００−１８２０４３号公報
【特許文献３】特開平１１−２０５５８３号公報
【特許文献４】ＷＯ０９／０５４３２６（第３図）
【非特許文献】
【０００９】
【非特許文献１】A.Inoue and J.Tajima, “Adaptive Quality Improvement Method for Color Images,” Proc. of SPIE, Vol.2179, pp.429-439, 1994.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に開示された画像補正装置においてもシーン検出が難しい画像があるため、改善の余地がある。シーン検出が難しい事例として、例えば、雪と砂浜、夜景と夕焼け、風景と紅葉など、形状、色、配置などが比較的似ている被写体を複数含むシーンが挙げられる。
【００１１】
特に、近年、シーン検出結果を画像の補正のみに使用するのではなく、ＵＩ（ユーザインタフェース）上にも判定結果を表示し、ユーザーに判定結果を知らしめるような装置も発売されてきている。この場合、ＵＩ上でシーン判定結果がユーザーに容易にわかってしまうため、シーン検出精度をより向上させる必要がある。
【００１２】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、シーン検出精度の向上および補正画像の画質の向上を可能にした情報処理装置、情報処理方法、およびコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の情報処理装置は、
入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、
撮影時の環境を示す情報である環境情報を取得する取得手段と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める補正値算出手段と、
前記合成補正値を用いて前記画像を補正する画像補正手段と、
を有する構成である。
【００１４】
また、本発明の情報処理方法は、情報処理装置が実行する情報処理方法であって、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求め、
撮影時の環境を示す情報である環境情報を取得し、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求め、
前記合成補正値を用いて前記画像を補正するものである。
【００１５】
さらに、本発明のプログラムは、コンピュータに、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求める手順と、
撮影時の環境を示す情報である環境情報を取得する手順と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める手順と、
前記合成補正値を用いて前記画像を補正する手順とを実行させるものである。
【発明の効果】
【００１６】
本発明によれば、撮影対象のシーンに対して、シーン検出精度が向上し、補正画像の画質が向上する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の情報処理装置の一構成例を示すブロック図である。
【図２】本実施形態の情報処理装置の一構成例を示すブロック図である。
【図３】図２に示すシーン別補正パラメータ保存手段に保存されるデータの一例を示す図である。
【図４】本実施形態の情報処理装置の動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
本発明の一実施形態の情報処理装置の構成を説明する。図１は本発明の一実施形態の情報処理装置の一構成例を示すブロック図である。
【００１９】
図１に示すように、情報処理装置３０は、入力される画像のシーンカテゴリ毎に帰属率を求める帰属率算出手段３１と、撮影時の環境情報を取得する取得手段３８と、シーンカテゴリ毎の帰属率に環境情報を反映させて合成補正値を求める補正値算出手段３４と、合成補正値を用いて画像を補正する画像補正手段３５とを有する。シーンカテゴリの帰属率とは、解析対象の画像中に、そのシーンカテゴリが属する確率である。環境情報とは、撮影時の環境を示す情報であり、例えば、日時、方位および天気などの情報である。解析対象の画像は、例えば、図に示さないカメラから入力される。
【００２０】
本発明の情報処理装置が、カメラ機能を備えた、スマートフォンを含む携帯電話機に設けられていてもよく、カメラ機能を備えた、ＰＤＡ（Personal Digital Assistant）、電子ブック、および携帯型ゲーム機を含む携帯端末に設けられてもよい。また、本発明の情報処理装置が、デスクトップ型のパーソナルコンピュータ（以下では、ＰＣと表記する）、または、ノート型ＰＣであってもよい。以下に、本発明の情報処理装置の実施形態を詳しく説明する。
【００２１】
本実施形態の情報処理装置の構成を説明する。図２は本実施形態の情報処理装置の一構成例を示すブロック図である。
【００２２】
図２に示すように、情報処理装置１００は、入力画像を解析して複数のシーン帰属率を算出するシーン帰属率算出手段１０１と、入力画像が未知シーンである確率値を指定する未知シーン帰属率指定手段１０２と、シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段１０３およびシーン別の誤分類に対する重み値を保存するシーン別誤分類重み保存手段１０７を含む記憶部１３０と、撮影時の環境情報を取得するための環境情報取得手段１０８と、シーン別の帰属率、未知シーンへの帰属率、およびシーン別誤分類重み値を用いて、シーン別補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段１０４と、合成補正パラメータを用いて画像補正処理を施す画像補正手段１０５とを有する。
【００２３】
シーン帰属率算出手段１０１は、第１〜第ｎ（ｎは２以上の整数）のシーン帰属率算出手段１０６を含む。第１〜第ｎのシーン帰属率算出手段１０６のそれぞれは、解析対象の画像に、自手段に対応するシーンカテゴリが含まれる確率であるシーン帰属率を算出する。
【００２４】
記憶部１３０は、例えば、ハードディスクドライブであってもよく、フラッシュメモリ等の半導体メモリであってもよい。図３はシーン別補正パラメータ保存手段に保存されるデータの一例を示す図である。
【００２５】
また、シーン帰属率算出手段１０１、未知シーン帰属率指定手段１０２、環境情報取得手段１０８、補正パラメータ合成手段１０４、および画像補正手段１０５は、プログラムを記憶するメモリ（不図示）およびＣＰＵ（Central Processing Unit）（不図示）が予め情報処理装置１００に設けられ、ＣＰＵがプログラムを実行することで情報処理装置１００に仮想的に構成されてもよく、各手段の機能に対応した専用回路で構成されていてもよい。
【００２６】
次に、本実施形態の情報処理装置１００の動作を説明する。図４は本実施形態の情報処理装置の動作手順を示すフローチャートである。
【００２７】
シーン帰属率算出手段１０１は、画像が入力されると、複数のシーンカテゴリに対する帰属率ｐc (c=1,2,...n)を算出する。第１〜第ｎのシーン帰属率算出手段１０６の例として、例えば線形判別式を用いたシーン分類方法がある。画像をｎ個のカテゴリに分類するための、線形判別式は、式（１）の通りである。
【００２８】
【数１】
【００２９】
ｘiはｍ次元の特徴量であり、ｙは任意のシーンカテゴリｃに属するときに１、そうでないときに−１と定義する。シーンカテゴリについて見本の画像となる教師画像を複数用意して手動でｙ値を与え、式（１）を最小二乗法によって解くことにより、最適な係数ａiを求めることができる。入力画像に対して、特徴量を算出して式（１）を作用させることにより、入力画像に対するｙ値を得る。このｙ値が１に近ければ入力画像はシーンカテゴリｃに属し、−１に近ければ、シーンカテゴリｃに属さないと判定することができる。帰属率は例えばｙ値が１のときに1.0、ｙ値が−１のときに0.0となるように範囲を正規化することによって、算出することができる。判別式がｙc （−１≦ｙc≦１）である場合の、帰属率ｐc算出法の一例を式（２）に示す。
【００３０】
【数２】
【００３１】
係数ａiを複数のシーンカテゴリｃ (c =1, 2,...n)について算出しておくことにより、複数のシーンカテゴリに対する帰属率を計算することができる。このようにして、シーン帰属率算出手段１０１は、ｎ個のシーンカテゴリに対する帰属率ｐc (c=1,2,..n)を算出する（ステップ３０１）。
【００３２】
未知シーン帰属率指定手段１０２は、入力画像が想定するどのシーンカテゴリにも属さない確率（未知シーン帰属率）が操作者の入力によって指定されると、指定された未知シーン帰属率を補正パラメータ合成手段１０４に通知する。ここでは、未知シーン帰属率を操作者が指定する場合で説明するが、未知シーン帰属率は、未知シーン帰属率指定手段１０２に予め設けられたメモリ（不図示）に固定値として登録されていてもよい。未知シーン帰属率は、シーン帰属率算出手段１０１の誤認識を補償するために必要である。
【００３３】
シーン別補正パラメータ保存手段１０３は、シーンカテゴリ別の、最適な補正パラメータを保存する手段である。
【００３４】
図３に示すシーン別補正パラメータ２１は、未知シーンを含む、０から４までの５つのシーンにおける彩度強調量ｋがシーン別補正パラメータ保存手段１０３に保存されている場合の一例である。彩度強調量ｋは、式（３）によって補正される色の彩度を強調するパラメータである。図３に示すシーン別補正パラメータ２１は、人物、風景、花などのそれぞれの被写体のみがシーンとして検出された場合の典型的なｋの値を示している。各シーンカテゴリに対応する、補正パラメータｋcがシーン別補正パラメータ保存手段１０３に格納されている。
【００３５】
【数３】
【００３６】
行列Ｍは、ＹＣｂＣｒ座標系への変換行列であり、式（４）で表される。ＹＣｂＣｒは、輝度信号Ｙと、輝度信号および青色信号の色差信号と、輝度信号および赤色信号の色差信号とを意味する。
【００３７】
【数４】
【００３８】
補正パラメータ合成手段１０４は、入力画像のシーン帰属率ｐcと、未知シーン帰属率と、シーン別補正パラメータと、シーン別誤分類重みとを元に、入力画像に適した合成補正パラメータを算出する（ステップ３０２）。シーン別誤分類重みは、シーン別誤分類重み保存手段１０７に保存されている。
【００３９】
今、未知シーンを含めたシーン帰属率ベクトルを式（５）で表す。
【００４０】
ｐ0は未知シーン帰属率である。ｐ1からｐnは、シーン帰属率算出手段１０１によって算出されたｎ個のシーンカテゴリに対する帰属率である。
【００４１】
【数５】
【００４２】
また、シーン別誤分類重みを式（６）で表す。
【００４３】
式（６）において、ｗ0は未知シーンにおける誤分類重みである。ｗ1からｗnは、ｎ個のシーン別の誤分類重みである。誤分類重みは、「危険率重み」に相当する。
【００４４】
【数６】
【００４５】
シーンｃに対する補正パラメータをｋc、誤分類係数をｒcとすると、合成補正パラメータは、式（７）を用いて算出される。
【００４６】
【数７】
【００４７】
誤分類係数ｒcは、シーンカテゴリ別の、誤認識に対する悪影響を反映する係数である。ｒcの算出方法の一例を式（８）に示す。
【００４８】
【数８】
【００４９】
例えば、風景を夜景と間違えると出力画質が極端に悪くなるが、夜景を風景と間違えたときにはあまり影響がない、といった設定であったとする。この場合には夜景シーンに対する分類誤りのほうが画質への影響が大きいので、夜景分類の誤認識の影響をなるべく低減する必要がある。昼間のような場合には、夜景シーンに対する誤分類重みｗcを大きくしておくことで、夜景シーンの帰属率が低い場合にｒcが小さくなって、合成補正パラメータ算出への影響を低減させることができる。
【００５０】
ここで、夜景シーンに対する誤分類重みｗcを、環境情報取得手段１０８が外部から受信する環境情報を元に、増減させる。
【００５１】
例えば、環境情報取得手段１０８が、環境情報として“日時”情報を取得する場合で説明する。日時情報は、例えば、情報処理装置１００が携帯電話機であれば、携帯電話機に通常搭載されているカレンダーおよび時計のアプリケーションソフトウェアプログラム（以下では、アプリケーションと称する）が実行されることで、容易に取得できる。ここで、仮に現時刻が13:00だったとする。この場合、撮影時間は日中であると判断され、撮影シーンとして“夜景”である可能性はほぼないことになる。従って、この場合、夜景シーンに対する誤分類重みｗcを大きくすることで、夜景シーンの誤分類係数ｒcが小さくなって、合成パラメータ算出への影響を低減させる。
【００５２】
逆に現時刻が22:00だった場合は、反対にｗcを小さくし、夜景シーンの誤分類係数ｒcを大きくして、合成パラメータ算出への影響を増大させることにより、より“夜景“と判定する確立を高くすることができる。
【００５３】
このように「誤分類重みｗc」を環境情報取得手段１０８からの情報によって自動的に増減することにより、環境に適合しないシーンカテゴリへの帰属率は低くなり、反対に環境に適合する可能性が高いシーンカテゴリへの帰属率を高くする事ができる。したがって、撮影環境をより反映したシーン検出が可能となり、その検出精度を格段に向上させることが可能となる。
【００５４】
ここまでの処理により、補正パラメータ合成手段１０４によって、シーンカテゴリ毎の補正パラメータが帰属率に従って、適切に合成されることがわかる。
【００５５】
画像補正手段１０５は、補正パラメータ合成手段１０４によって算出された補正パラメータｋ’’を用いて、画像補正処理を行う（ステップ３０３）。画像補正手段１０５が実行する処理の一例として、式（３）に示したパラメータｋの代わりにパラメータｋ’’を用いて式（３）を実行する。
【００５６】
上述したように、入力される画像の補正処理に、環境情報を加味することで、複数のカテゴリに対する帰属率を元に補正パラメータを制御するため、シーン分類の誤りによる悪影響を低減させることができる。
【００５７】
今、カテゴリA,B,Cの３つに対するシーン分類を行うものと仮定する。カテゴリAへの分類が正しい場合には、Aに対する帰属率のみが高く、B,Cへの帰属率は相対的に低くなるのが一般的である。このような場合には、カテゴリAへの分類は正しいと考えられるので、補正パラメータもカテゴリAのものを用いればよい。
【００５８】
ところが、Aへの帰属率が高く、かつBへの帰属率も高い、という場合には、入力画像がカテゴリAである信頼性は低くなる。このような結果になる場合は、画像中にカテゴリAとBの両方の対象物が混在している場合が考えられる。このような場合の補正量は、カテゴリAだけでなく、カテゴリBの補正パラメータを考慮するほうが望ましい。このように、他のカテゴリへの帰属率を利用することにより、単一カテゴリ帰属率への過信を防止することが可能となる。
【００５９】
また、カテゴリA、B、Cのいずれもが中程度、あるいはすべてが低い値、というケースがある。これはA,B,Cのどれにも属さない入力画像の場合に、しばしば起こる。このような画像の場合には、未知パラメータ、あるいは、A,B,Cの中庸に抑えるのが望ましい。カテゴリA、B、Cのうち、いずれかのカテゴリが強調されると、画質補正が適正に行われない場合があるからである。
【００６０】
このように、撮影シーンに複数のカテゴリが含まれる場合においても、本実施形態の情報処理装置では、複数カテゴリの帰属率に応じた補正パラメータを制御することが可能であり、カテゴリA、B、Cのうち、いずれかのカテゴリを強調し過ぎて画質補正してしまうことを防げる。
【００６１】
本実施形態によれば、入力画像から複数のシーン別の帰属率を求め、シーン別の帰属率と、未知シーンへの帰属率と、撮影時の環境情報によりその重みが自動的に増減するように制御されるシーン別の誤分類に対する重み値を用いて、シーン別補正パラメータの加重平均である合成補正パラメータを算出し、合成補正パラメータを用いて画像補正処理を施すことにより、シーン検出率の向上と補正画像の画質の向上を実現できる。
【００６２】
また、補正パラメータを撮影時の環境情報をも加味したシーン帰属率に応じて合成することで、複数のカテゴリに対する帰属率に応じてパラメータを制御することにより、特定のシーンに対する分類誤りの影響を分散させ、どのカテゴリにも属さない確率とその補正パラメータを用いることにより、未知なるカテゴリの画像が入った場合でも、シーン判定精度を向上させ、破綻のない適切な補正を行うことができる。その理由は、環境情報取得手段１０８が受信した環境情報を「誤分類重みｗc」に反映させることで、誤分類重みｗcが自動的に増減するからである。
【００６３】
その結果、環境に適合しないシーンカテゴリへの帰属率は低くなり、その反対に、環境に適合する可能性が高いシーンカテゴリへの帰属率を高くすることができる。したがって、撮影環境をより反映したシーン検出が可能となり、その検出精度を格段に向上させることが可能となる。
【００６４】
なお、上述の実施形態では、環境情報として日時情報を利用してシーン検出精度を向上させる方法を例にして説明を行ったが、この他にも、位置情報、方位、天気情報など、他の環境情報をインプットし、複合することによって、シーン検出精度を向上させることが可能である。以下に、各情報による制御方法（誤分類重みｗcの制御方法）の一例を示す。
（１）日時（時計およびカレンダーのアプリケーションから情報入手）
・日中：「夕焼け」、「夜景」の誤分類重みｗcを増加。
・夕方：「夕焼け」の誤分類重みｗcを低減。
・夜 ：「夜景」：の誤分類重みｗcを低減。
（２）位置情報（ＧＰＳ（Global Positioning System）から緯度経度を入手）
・北半球、かつ7月なら、季節は夏であるので、「雪」の誤分類重みｗcを増加。
・北海道、かつ1月なら、季節は冬であるので、「雪」の誤分類重みｗcを減少。
（３）方位（地磁気センサ）＋ＧＰＳ
・ある地点で、どの方向を向いていれば、その方向にはどんな地形があるか予想ができる。例えば、海が見えるはず、山が見えるはずなど。山の方向を向いている事がわかれば、例えば「ビーチ」などのカテゴリの誤分類重みｗcを増加することにより、その方向にあるはずのない「ビーチ」と判定する危険性を低減することができる。
（４）天気（インターネット上のサイト等から受信可能）
・天気情報により、例えば、「夕焼け」、「雪」などの誤分類重みｗcを増減する事で、実際の“天気”に即したシーン判定を行うことができる。
【００６５】
なお、本案発明による情報処理装置を、例えば、電子スチルカメラなどの撮影装置に限らず、カメラ付き携帯電話機などの撮影機能を備えた全ての装置に適用することが可能である。
【符号の説明】
【００６６】
３０、１００ 情報処理装置
１０１ シーン帰属率算出手段
１０４ 補正パラメータ合成手段
１０５ 画像補正手段
１０８ 環境情報取得手段
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが普及しており、撮影された写真の画像データに対して色補正や階調補正などを行うことが可能になった。
【０００３】
色補正および階調補正などの画像補正における補正量は、画像に応じて最適な値に設定する必要がある。この最適値は、画像内容に依存し、見る人の好みにも依存する。従って、理想的な画像補正のためには人間が1枚1枚手動で補正量を調整する必要がある。
【０００４】
しかしながら、手動で大量の画像補正を行うには莫大な工数を必要とする。また組み込み機器等で補正処理する場合には、人間が行うことは不可能である。そこで、自動的に補正量を制御する方法としてヒストグラム解析を利用した自動画像補正方式が従来提案されている（非特許文献１参照）。しかしながら、非特許文献１に開示された補正方式では、ポートレート、風景、花、夜景、のような対象物を認識して自動分類できないため、シーンによって補正のやりすぎが生じる場合があった。例えば、ポートレートにもかかわらず、彩度を強調しすぎて肌色が赤くなりすぎるといった場合があった。
【０００５】
近年、シーンを認識することにより、画像補正量を動的に変更する方法が提案されている。例えば、特許文献１や特許文献２においては、画像中から顔領域を認識し、その部分の色分布を解析することによってポートレートに適切な補正量を算出し、算出した補正量に従って画像を補正する方法が開示されている。しかしながら、これらの文献に開示された画像補正方法は、シーン認識が誤る場合を考慮していない。シーン認識処理は通常、入力画像中からエッジや色などの特徴量を算出し、それらの特徴量を元に、パタン認識処理を行うことで実行される。一般に、パタン認識処理においては誤認識の確率が、少なくとも０ではないとされている。そのため、もしもシーン認識処理が間違った場合には、補正量が適切ではないために、画質の破綻を招くという問題があった。
【０００６】
また、画像に撮影された対象物は一つではなく、複数の対象物が混在する場合が多い。例えば、人物と芝生、人物と花、人物と夜景、などの場合である。このように複数の対象が混在する場合には、一つの対象に応じた補正だけでは、他の対象物に悪影響を及ぼす可能性がある。特許文献３では、この複数の対象に対する問題を解決するため、撮影された複数の絵柄のそれぞれに応じた補正画像を複数枚作成し、絵柄の位置に応じて合成する方法を開示している。しかしながら、補正画像を複数枚作成するために、大量のワークメモリを要するため、処理コストが増大するという問題があった。さらに、絵柄の誤認識に対する考慮もないため、誤認識の場合には、同様に画質の破綻を招くという問題があった。
【０００７】
上記課題を解決するために、本案発明者は、特許文献４に開示された画像補正装置を発明した。特許文献４には、複数のシーンカテゴリに対する帰属率に応じてパラメータを制御することにより、特定のシーンに対する分類誤りの影響を分散させ、かつどのカテゴリにも属さない確率と、その補正パラメータを用いることにより、未知なるカテゴリの画像が入った場合でも、破綻のない適切な補正を行うことができる装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２８３０２５号公報
【特許文献２】特開２０００−１８２０４３号公報
【特許文献３】特開平１１−２０５５８３号公報
【特許文献４】ＷＯ０９／０５４３２６（第３図）
【非特許文献】
【０００９】
【非特許文献１】A.Inoue and J.Tajima, “Adaptive Quality Improvement Method for Color Images,” Proc. of SPIE, Vol.2179, pp.429-439, 1994.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に開示された画像補正装置においてもシーン検出が難しい画像があるため、改善の余地がある。シーン検出が難しい事例として、例えば、雪と砂浜、夜景と夕焼け、風景と紅葉など、形状、色、配置などが比較的似ている被写体を複数含むシーンが挙げられる。
【００１１】
特に、近年、シーン検出結果を画像の補正のみに使用するのではなく、ＵＩ（ユーザインタフェース）上にも判定結果を表示し、ユーザーに判定結果を知らしめるような装置も発売されてきている。この場合、ＵＩ上でシーン判定結果がユーザーに容易にわかってしまうため、シーン検出精度をより向上させる必要がある。
【００１２】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、シーン検出精度の向上および補正画像の画質の向上を可能にした情報処理装置、情報処理方法、およびコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の情報処理装置は、
入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、
撮影時の環境を示す情報である環境情報を取得する取得手段と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める補正値算出手段と、
前記合成補正値を用いて前記画像を補正する画像補正手段と、
を有する構成である。
【００１４】
また、本発明の情報処理方法は、情報処理装置が実行する情報処理方法であって、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求め、
撮影時の環境を示す情報である環境情報を取得し、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求め、
前記合成補正値を用いて前記画像を補正するものである。
【００１５】
さらに、本発明のプログラムは、コンピュータに、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求める手順と、
撮影時の環境を示す情報である環境情報を取得する手順と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める手順と、
前記合成補正値を用いて前記画像を補正する手順とを実行させるものである。
【発明の効果】
【００１６】
本発明によれば、撮影対象のシーンに対して、シーン検出精度が向上し、補正画像の画質が向上する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の情報処理装置の一構成例を示すブロック図である。
【図２】本実施形態の情報処理装置の一構成例を示すブロック図である。
【図３】図２に示すシーン別補正パラメータ保存手段に保存されるデータの一例を示す図である。
【図４】本実施形態の情報処理装置の動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
本発明の一実施形態の情報処理装置の構成を説明する。図１は本発明の一実施形態の情報処理装置の一構成例を示すブロック図である。
【００１９】
図１に示すように、情報処理装置３０は、入力される画像のシーンカテゴリ毎に帰属率を求める帰属率算出手段３１と、撮影時の環境情報を取得する取得手段３８と、シーンカテゴリ毎の帰属率に環境情報を反映させて合成補正値を求める補正値算出手段３４と、合成補正値を用いて画像を補正する画像補正手段３５とを有する。シーンカテゴリの帰属率とは、解析対象の画像中に、そのシーンカテゴリが属する確率である。環境情報とは、撮影時の環境を示す情報であり、例えば、日時、方位および天気などの情報である。解析対象の画像は、例えば、図に示さないカメラから入力される。
【００２０】
本発明の情報処理装置が、カメラ機能を備えた、スマートフォンを含む携帯電話機に設けられていてもよく、カメラ機能を備えた、ＰＤＡ（Personal Digital Assistant）、電子ブック、および携帯型ゲーム機を含む携帯端末に設けられてもよい。また、本発明の情報処理装置が、デスクトップ型のパーソナルコンピュータ（以下では、ＰＣと表記する）、または、ノート型ＰＣであってもよい。以下に、本発明の情報処理装置の実施形態を詳しく説明する。
【００２１】
本実施形態の情報処理装置の構成を説明する。図２は本実施形態の情報処理装置の一構成例を示すブロック図である。
【００２２】
図２に示すように、情報処理装置１００は、入力画像を解析して複数のシーン帰属率を算出するシーン帰属率算出手段１０１と、入力画像が未知シーンである確率値を指定する未知シーン帰属率指定手段１０２と、シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段１０３およびシーン別の誤分類に対する重み値を保存するシーン別誤分類重み保存手段１０７を含む記憶部１３０と、撮影時の環境情報を取得するための環境情報取得手段１０８と、シーン別の帰属率、未知シーンへの帰属率、およびシーン別誤分類重み値を用いて、シーン別補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段１０４と、合成補正パラメータを用いて画像補正処理を施す画像補正手段１０５とを有する。
【００２３】
シーン帰属率算出手段１０１は、第１〜第ｎ（ｎは２以上の整数）のシーン帰属率算出手段１０６を含む。第１〜第ｎのシーン帰属率算出手段１０６のそれぞれは、解析対象の画像に、自手段に対応するシーンカテゴリが含まれる確率であるシーン帰属率を算出する。
【００２４】
記憶部１３０は、例えば、ハードディスクドライブであってもよく、フラッシュメモリ等の半導体メモリであってもよい。図３はシーン別補正パラメータ保存手段に保存されるデータの一例を示す図である。
【００２５】
また、シーン帰属率算出手段１０１、未知シーン帰属率指定手段１０２、環境情報取得手段１０８、補正パラメータ合成手段１０４、および画像補正手段１０５は、プログラムを記憶するメモリ（不図示）およびＣＰＵ（Central Processing Unit）（不図示）が予め情報処理装置１００に設けられ、ＣＰＵがプログラムを実行することで情報処理装置１００に仮想的に構成されてもよく、各手段の機能に対応した専用回路で構成されていてもよい。
【００２６】
次に、本実施形態の情報処理装置１００の動作を説明する。図４は本実施形態の情報処理装置の動作手順を示すフローチャートである。
【００２７】
シーン帰属率算出手段１０１は、画像が入力されると、複数のシーンカテゴリに対する帰属率ｐc (c=1,2,...n)を算出する。第１〜第ｎのシーン帰属率算出手段１０６の例として、例えば線形判別式を用いたシーン分類方法がある。画像をｎ個のカテゴリに分類するための、線形判別式は、式（１）の通りである。
【００２８】
【数１】
【００２９】
ｘiはｍ次元の特徴量であり、ｙは任意のシーンカテゴリｃに属するときに１、そうでないときに−１と定義する。シーンカテゴリについて見本の画像となる教師画像を複数用意して手動でｙ値を与え、式（１）を最小二乗法によって解くことにより、最適な係数ａiを求めることができる。入力画像に対して、特徴量を算出して式（１）を作用させることにより、入力画像に対するｙ値を得る。このｙ値が１に近ければ入力画像はシーンカテゴリｃに属し、−１に近ければ、シーンカテゴリｃに属さないと判定することができる。帰属率は例えばｙ値が１のときに1.0、ｙ値が−１のときに0.0となるように範囲を正規化することによって、算出することができる。判別式がｙc （−１≦ｙc≦１）である場合の、帰属率ｐc算出法の一例を式（２）に示す。
【００３０】
【数２】
【００３１】
係数ａiを複数のシーンカテゴリｃ (c =1, 2,...n)について算出しておくことにより、複数のシーンカテゴリに対する帰属率を計算することができる。このようにして、シーン帰属率算出手段１０１は、ｎ個のシーンカテゴリに対する帰属率ｐc (c=1,2,..n)を算出する（ステップ３０１）。
【００３２】
未知シーン帰属率指定手段１０２は、入力画像が想定するどのシーンカテゴリにも属さない確率（未知シーン帰属率）が操作者の入力によって指定されると、指定された未知シーン帰属率を補正パラメータ合成手段１０４に通知する。ここでは、未知シーン帰属率を操作者が指定する場合で説明するが、未知シーン帰属率は、未知シーン帰属率指定手段１０２に予め設けられたメモリ（不図示）に固定値として登録されていてもよい。未知シーン帰属率は、シーン帰属率算出手段１０１の誤認識を補償するために必要である。
【００３３】
シーン別補正パラメータ保存手段１０３は、シーンカテゴリ別の、最適な補正パラメータを保存する手段である。
【００３４】
図３に示すシーン別補正パラメータ２１は、未知シーンを含む、０から４までの５つのシーンにおける彩度強調量ｋがシーン別補正パラメータ保存手段１０３に保存されている場合の一例である。彩度強調量ｋは、式（３）によって補正される色の彩度を強調するパラメータである。図３に示すシーン別補正パラメータ２１は、人物、風景、花などのそれぞれの被写体のみがシーンとして検出された場合の典型的なｋの値を示している。各シーンカテゴリに対応する、補正パラメータｋcがシーン別補正パラメータ保存手段１０３に格納されている。
【００３５】
【数３】
【００３６】
行列Ｍは、ＹＣｂＣｒ座標系への変換行列であり、式（４）で表される。ＹＣｂＣｒは、輝度信号Ｙと、輝度信号および青色信号の色差信号と、輝度信号および赤色信号の色差信号とを意味する。
【００３７】
【数４】
【００３８】
補正パラメータ合成手段１０４は、入力画像のシーン帰属率ｐcと、未知シーン帰属率と、シーン別補正パラメータと、シーン別誤分類重みとを元に、入力画像に適した合成補正パラメータを算出する（ステップ３０２）。シーン別誤分類重みは、シーン別誤分類重み保存手段１０７に保存されている。
【００３９】
今、未知シーンを含めたシーン帰属率ベクトルを式（５）で表す。
【００４０】
ｐ0は未知シーン帰属率である。ｐ1からｐnは、シーン帰属率算出手段１０１によって算出されたｎ個のシーンカテゴリに対する帰属率である。
【００４１】
【数５】
【００４２】
また、シーン別誤分類重みを式（６）で表す。
【００４３】
式（６）において、ｗ0は未知シーンにおける誤分類重みである。ｗ1からｗnは、ｎ個のシーン別の誤分類重みである。誤分類重みは、「危険率重み」に相当する。
【００４４】
【数６】
【００４５】
シーンｃに対する補正パラメータをｋc、誤分類係数をｒcとすると、合成補正パラメータは、式（７）を用いて算出される。
【００４６】
【数７】
【００４７】
誤分類係数ｒcは、シーンカテゴリ別の、誤認識に対する悪影響を反映する係数である。ｒcの算出方法の一例を式（８）に示す。
【００４８】
【数８】
【００４９】
例えば、風景を夜景と間違えると出力画質が極端に悪くなるが、夜景を風景と間違えたときにはあまり影響がない、といった設定であったとする。この場合には夜景シーンに対する分類誤りのほうが画質への影響が大きいので、夜景分類の誤認識の影響をなるべく低減する必要がある。昼間のような場合には、夜景シーンに対する誤分類重みｗcを大きくしておくことで、夜景シーンの帰属率が低い場合にｒcが小さくなって、合成補正パラメータ算出への影響を低減させることができる。
【００５０】
ここで、夜景シーンに対する誤分類重みｗcを、環境情報取得手段１０８が外部から受信する環境情報を元に、増減させる。
【００５１】
例えば、環境情報取得手段１０８が、環境情報として“日時”情報を取得する場合で説明する。日時情報は、例えば、情報処理装置１００が携帯電話機であれば、携帯電話機に通常搭載されているカレンダーおよび時計のアプリケーションソフトウェアプログラム（以下では、アプリケーションと称する）が実行されることで、容易に取得できる。ここで、仮に現時刻が13:00だったとする。この場合、撮影時間は日中であると判断され、撮影シーンとして“夜景”である可能性はほぼないことになる。従って、この場合、夜景シーンに対する誤分類重みｗcを大きくすることで、夜景シーンの誤分類係数ｒcが小さくなって、合成パラメータ算出への影響を低減させる。
【００５２】
逆に現時刻が22:00だった場合は、反対にｗcを小さくし、夜景シーンの誤分類係数ｒcを大きくして、合成パラメータ算出への影響を増大させることにより、より“夜景“と判定する確立を高くすることができる。
【００５３】
このように「誤分類重みｗc」を環境情報取得手段１０８からの情報によって自動的に増減することにより、環境に適合しないシーンカテゴリへの帰属率は低くなり、反対に環境に適合する可能性が高いシーンカテゴリへの帰属率を高くする事ができる。したがって、撮影環境をより反映したシーン検出が可能となり、その検出精度を格段に向上させることが可能となる。
【００５４】
ここまでの処理により、補正パラメータ合成手段１０４によって、シーンカテゴリ毎の補正パラメータが帰属率に従って、適切に合成されることがわかる。
【００５５】
画像補正手段１０５は、補正パラメータ合成手段１０４によって算出された補正パラメータｋ’’を用いて、画像補正処理を行う（ステップ３０３）。画像補正手段１０５が実行する処理の一例として、式（３）に示したパラメータｋの代わりにパラメータｋ’’を用いて式（３）を実行する。
【００５６】
上述したように、入力される画像の補正処理に、環境情報を加味することで、複数のカテゴリに対する帰属率を元に補正パラメータを制御するため、シーン分類の誤りによる悪影響を低減させることができる。
【００５７】
今、カテゴリA,B,Cの３つに対するシーン分類を行うものと仮定する。カテゴリAへの分類が正しい場合には、Aに対する帰属率のみが高く、B,Cへの帰属率は相対的に低くなるのが一般的である。このような場合には、カテゴリAへの分類は正しいと考えられるので、補正パラメータもカテゴリAのものを用いればよい。
【００５８】
ところが、Aへの帰属率が高く、かつBへの帰属率も高い、という場合には、入力画像がカテゴリAである信頼性は低くなる。このような結果になる場合は、画像中にカテゴリAとBの両方の対象物が混在している場合が考えられる。このような場合の補正量は、カテゴリAだけでなく、カテゴリBの補正パラメータを考慮するほうが望ましい。このように、他のカテゴリへの帰属率を利用することにより、単一カテゴリ帰属率への過信を防止することが可能となる。
【００５９】
また、カテゴリA、B、Cのいずれもが中程度、あるいはすべてが低い値、というケースがある。これはA,B,Cのどれにも属さない入力画像の場合に、しばしば起こる。このような画像の場合には、未知パラメータ、あるいは、A,B,Cの中庸に抑えるのが望ましい。カテゴリA、B、Cのうち、いずれかのカテゴリが強調されると、画質補正が適正に行われない場合があるからである。
【００６０】
このように、撮影シーンに複数のカテゴリが含まれる場合においても、本実施形態の情報処理装置では、複数カテゴリの帰属率に応じた補正パラメータを制御することが可能であり、カテゴリA、B、Cのうち、いずれかのカテゴリを強調し過ぎて画質補正してしまうことを防げる。
【００６１】
本実施形態によれば、入力画像から複数のシーン別の帰属率を求め、シーン別の帰属率と、未知シーンへの帰属率と、撮影時の環境情報によりその重みが自動的に増減するように制御されるシーン別の誤分類に対する重み値を用いて、シーン別補正パラメータの加重平均である合成補正パラメータを算出し、合成補正パラメータを用いて画像補正処理を施すことにより、シーン検出率の向上と補正画像の画質の向上を実現できる。
【００６２】
また、補正パラメータを撮影時の環境情報をも加味したシーン帰属率に応じて合成することで、複数のカテゴリに対する帰属率に応じてパラメータを制御することにより、特定のシーンに対する分類誤りの影響を分散させ、どのカテゴリにも属さない確率とその補正パラメータを用いることにより、未知なるカテゴリの画像が入った場合でも、シーン判定精度を向上させ、破綻のない適切な補正を行うことができる。その理由は、環境情報取得手段１０８が受信した環境情報を「誤分類重みｗc」に反映させることで、誤分類重みｗcが自動的に増減するからである。
【００６３】
その結果、環境に適合しないシーンカテゴリへの帰属率は低くなり、その反対に、環境に適合する可能性が高いシーンカテゴリへの帰属率を高くすることができる。したがって、撮影環境をより反映したシーン検出が可能となり、その検出精度を格段に向上させることが可能となる。
【００６４】
なお、上述の実施形態では、環境情報として日時情報を利用してシーン検出精度を向上させる方法を例にして説明を行ったが、この他にも、位置情報、方位、天気情報など、他の環境情報をインプットし、複合することによって、シーン検出精度を向上させることが可能である。以下に、各情報による制御方法（誤分類重みｗcの制御方法）の一例を示す。
（１）日時（時計およびカレンダーのアプリケーションから情報入手）
・日中：「夕焼け」、「夜景」の誤分類重みｗcを増加。
・夕方：「夕焼け」の誤分類重みｗcを低減。
・夜 ：「夜景」：の誤分類重みｗcを低減。
（２）位置情報（ＧＰＳ（Global Positioning System）から緯度経度を入手）
・北半球、かつ7月なら、季節は夏であるので、「雪」の誤分類重みｗcを増加。
・北海道、かつ1月なら、季節は冬であるので、「雪」の誤分類重みｗcを減少。
（３）方位（地磁気センサ）＋ＧＰＳ
・ある地点で、どの方向を向いていれば、その方向にはどんな地形があるか予想ができる。例えば、海が見えるはず、山が見えるはずなど。山の方向を向いている事がわかれば、例えば「ビーチ」などのカテゴリの誤分類重みｗcを増加することにより、その方向にあるはずのない「ビーチ」と判定する危険性を低減することができる。
（４）天気（インターネット上のサイト等から受信可能）
・天気情報により、例えば、「夕焼け」、「雪」などの誤分類重みｗcを増減する事で、実際の“天気”に即したシーン判定を行うことができる。
【００６５】
なお、本案発明による情報処理装置を、例えば、電子スチルカメラなどの撮影装置に限らず、カメラ付き携帯電話機などの撮影機能を備えた全ての装置に適用することが可能である。
【符号の説明】
【００６６】
３０、１００ 情報処理装置
１０１ シーン帰属率算出手段
１０４ 補正パラメータ合成手段
１０５ 画像補正手段
１０８ 環境情報取得手段
【特許請求の範囲】
【請求項１】
入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、
撮影時の環境を示す情報である環境情報を取得する取得手段と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める補正値算出手段と、
前記合成補正値を用いて前記画像を補正する画像補正手段と、
を有する情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記補正値算出手段は、
前記シーンカテゴリに対応する、前記帰属率と、予め設定された補正値と、前記環境情報が反映された係数とに基づいて、前記合成補正値を算出する、情報処理装置。
【請求項３】
請求項２記載の情報処理装置において、
前記係数は、前記環境情報に対応して増減する重み値を含む、情報処理装置。
【請求項４】
請求項１から３のいずれか１項記載の情報処理装置において、
前記環境情報が、撮影時における、日時、方位および天気のうち、少なくとも１つの情報を含む、情報処理装置。
【請求項５】
情報処理装置が実行する情報処理方法であって、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求め、
撮影時の環境を示す情報である環境情報を取得し、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求め、
前記合成補正値を用いて前記画像を補正する、情報処理方法。
【請求項６】
コンピュータに、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求める手順と、
撮影時の環境を示す情報である環境情報を取得する手順と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める手順と、
前記合成補正値を用いて前記画像を補正する手順とを実行させるためのプログラム。
【請求項１】
入力される画像に対してシーンカテゴリが属する確率である帰属率をシーンカテゴリ毎に求める帰属率算出手段と、
撮影時の環境を示す情報である環境情報を取得する取得手段と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める補正値算出手段と、
前記合成補正値を用いて前記画像を補正する画像補正手段と、
を有する情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記補正値算出手段は、
前記シーンカテゴリに対応する、前記帰属率と、予め設定された補正値と、前記環境情報が反映された係数とに基づいて、前記合成補正値を算出する、情報処理装置。
【請求項３】
請求項２記載の情報処理装置において、
前記係数は、前記環境情報に対応して増減する重み値を含む、情報処理装置。
【請求項４】
請求項１から３のいずれか１項記載の情報処理装置において、
前記環境情報が、撮影時における、日時、方位および天気のうち、少なくとも１つの情報を含む、情報処理装置。
【請求項５】
情報処理装置が実行する情報処理方法であって、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求め、
撮影時の環境を示す情報である環境情報を取得し、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求め、
前記合成補正値を用いて前記画像を補正する、情報処理方法。
【請求項６】
コンピュータに、
入力される画像に対してシーンカテゴリの属する確率である帰属率をシーンカテゴリ毎に求める手順と、
撮影時の環境を示す情報である環境情報を取得する手順と、
前記シーンカテゴリ毎の帰属率に前記環境情報を反映させて合成補正値を求める手順と、
前記合成補正値を用いて前記画像を補正する手順とを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−６９１４８（Ｐ２０１３−６９１４８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７７１４（Ｐ２０１１−２０７７１４）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]