説明

画像判断装置、画像処理装置、カメラ及び画像判断プログラム

【課題】学習によって判断基準を決定する画像判断装置等を提供する。
【解決手段】画像及び文章を表示可能な表示部14と、学習画像を記憶する第1記憶部16aと、前記学習画像を前記表示部に表示させる画像表示演算部44と、前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部32と、前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部36と、前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する第2記憶部16bと、前記学習情報を、前記表示部に表示させる学習表示演算部62と、を有する画像判断装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像判断装置、画像処理装置、カメラ及び画像判断プログラムに関する。
【背景技術】
【0002】
デジタルカメラは、記録媒体に要するコストが比較的安価であり、またゴミを発生させることなく容易に撮影画像を削除可能であること等から、撮影枚数の増大を気にせずに、撮影したいだけ撮影できるという利点を有する。そのため、デジタルカメラによる撮影画像の数は、銀塩カメラに比べて増大する傾向にある。その一方で、撮影者が失敗を怖れずに撮影を行う結果、デジタルカメラの撮影画像には、ブレやボケが発生したような失敗画像が、比較的多く含まれる傾向にある。
【0003】
撮影者は、失敗画像が印刷されることや、失敗画像によって記録媒体が占有され続けることを防ぐために、カメラの液晶画面やPCのモニタで失敗画像を選別し、これを分別又は削除する作業を行うことができる。しかし、多くの撮影画像に対して、このような目視及び手動による仕分け作業を行うことは、煩雑であり、撮影者の負担となっている。
【0004】
このような問題を解決するための従来技術として、画像データに含まれる高周波成分を抽出すること等により撮影ミスを判断するための指標を算出し、自動的に撮影画像の合否判断を行う技術が提案されている(特許文献1等参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−256498号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来技術に係る画像判断技術において、撮影画像を仕分けるための基準となる判断基準は、例えば失敗画像及び成功画像の一般的な傾向を統計的に調査して定められたものにすぎないため、撮影者個人が求める判断基準に対してずれが生じるという問題がある。撮影画像を仕分けるための判断基準は、撮影者の個性、撮影画像の用途、撮影画像の鑑賞サイズ等によって異なるからである。また、仮に撮影者が判断基準を任意に設定できる場合であっても、撮影画像の合否判断には様々な要因が影響するため、如何なる基準が自分に適しているかを撮影者自身が認識し、正しく設定を行うことは、容易ではないと考えられる。
【0007】
本発明は、このような実状に鑑みてなされ、その目的は、学習によって判断基準を決定する画像判断装置等を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明に係る画像判断装置は、
画像及び文章を表示可能な表示部(14)と、
学習画像を記憶する第1記憶部(16a)と、
前記学習画像を前記表示部に表示させる画像表示演算部(44)と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部(32)と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部(36)と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する第2記憶部(16b)と、
前記学習情報を、前記表示部に表示させる学習表示演算部(62)と、を有する。
【0009】
また、例えば、前記学習情報は、前記学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モード、前記判断結果を取得した際における前記学習画像の表示条件、前記判断結果を取得した日時並びに前記評価者のうち少なくとも1つを含んでも良い。
【0010】
また、例えば、本発明に係る画像判断装置は、前記評価者によって選択された画像鑑賞サイズ情報を取得する画像サイズ取得部(34)をさらに有しても良く、
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させても良い。
【0011】
本発明に係る画像処理装置は、上記いずれかに記載の画像判断装置と、
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部(52)と、を有する。
【0012】
また、例えば、本発明に係る画像処理装置は、
前記撮影画像判断部が、前記判断基準値に基づき前記自動判断を行う時に、前記撮影画像判断部によって前記判断基準値が最後に使用された日時から所定の時間が経過している場合には、前記撮影画像判断部が前記自動判断を行う前に、前記表示部に警告を表示させる警告処理演算部(64)を、さらに有しても良い。
【0013】
本発明に係るカメラは、上記に記載の撮影画像処理装置を有する。
【0014】
また、本発明に係る画像判断プログラムは、
コンピュータに、
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させる。
【0015】
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【0016】
【図1】図1は、本発明の一実施形態に係る画像処理装置のブロック図である。
【図2】図2は、本発明の一実施形態に係る画像処理装置で行われる学習処理と自動判断処理の関係を表す概念図である。
【図3】図3は、図1に示す画像処理装置で行われる学習処理の第1の例を表すフローチャートである。
【図4】図4は、図3に示す学習処理における判断基準値の決定処理を説明した概念図である。
【図5】図5は、図1に示す画像判断装置で行われる学習処理の第2の例を表すフローチャートである。
【図6】図6は、図5に示す学習処理を説明した概念図である。
【図7】図7は、図1に示す画像処理装置で行われる自動判断処理の一例を表すフローチャートである。
【図8】図8は、図1に示す学習表示演算部によって表示装置に表示される学習情報の第1の例である。
【図9】図9は、図1に示す学習表示演算部によって表示装置に表示される学習情報の第2の例である。
【図10】図10は、図1に示す警告処理演算部によって表示装置に表示される警告の一例である。
【発明を実施するための形態】
【0017】
第1実施形態
図1は、本発明の一実施形態に係る画像処理装置10のブロック図である。画像処理装置10は、撮影画像の自動判断処理等に用いる判断基準値を学習処理により算出し、算出された判断基準値に基づき、撮影画像の自動判断処理を行う。
【0018】
図2は、図1に示す画像処理装置10で行われる学習処理と自動判断処理の関係を表す概念図である。学習処理では、学習画像群に含まれる学習画像から、画像品質に関する指標(特徴)の具体値を抽出する。さらに、抽出された指標の具体値と、学習画像に対する評価者の判断結果とを照らしあわせて、評価者の判断傾向を学習する。学習処理で行われる演算は、主として図1に示す中央処理装置30の学習処理部31で行われる。
【0019】
図2に示すように、学習処理から得られる判断基準値は、その判断基準値がどのような学習処理によるものなのか、ということをまとめた学習情報とともに保存される。判断基準値および学習情報に対しては、必要に応じて読み出されたり、内容を更新されるなどの学習管理処理が行われる。学習管理処理で行われる演算は、主として図1に示す中央処理装置30の学習ファイル管理部60で行われる。
【0020】
図2に示すように、画像処理装置10で行われる自動判断処理では、撮影画像群に含まれる撮影画像から、画像品質に関する指標(特徴)の具体値を抽出する。そして、撮影画像について抽出された指標の具体値と、学習処理から得られた判断基準値とを比較し、撮影画像の自動判断を行う。自動判断処理で行われる演算は、主として図1に示す中央処理装置30の撮影画像判断部52で行われる。
【0021】
図1に示す画像処理装置10は、PC(パーソナルコンピュータ)等に搭載されてもよく、デジタルカメラや携帯電話など、デジタル画像を生成する撮像装置に搭載されても良い。また、特にデジタルカメラや携帯電話等に搭載される場合には、図1に示す画像処理装置10から撮影画像判断部52及び学習ファイル管理部60を除いた画像判断装置の態様であっても良い。
【0022】
画像処理装置10は、入力装置12、表示装置14、記憶装置16、画像メモリ18、プログラムメモリ20及び中央処理装置30を有する。入力装置12は、画像処理装置10を使用する評価者が、評価者の判断や意志等を、画像処理装置10に伝えるための操作部である。入力装置12の例としては、画像処理装置10がPCである場合には、マウス、キーボード、タッチパネル等が挙げられ、画像処理装置10が撮像装置である場合には、十字キー、ダイアル、ボタン等が挙げられるが特に限定されない。入力装置12は、評価者の操作に基づき、操作信号を中央処理装置30に出力する。
【0023】
表示装置14は、撮影画像や表示画像等の各種画像や、操作メニュー等を表示するものである。表示装置14の例としては、液晶パネル等が挙げられる。表示装置14も、入力装置12と同様に、中央処理装置30によって制御される。記憶装置16は、各種画像ファイルや、中央処理装置30等を制御するためのプログラム及び当該プログラムに使用するデータ等が記憶される。記憶装置16は、画像ファイルを記憶する第1記憶部16aと、学習処理部31によって生成され学習ファイル管理部60によって管理される学習ファイルを記憶する第2記憶部16bとを含む。第1記憶部16aに記憶される画像ファイルには、学習処理部31による学習処理に用いられる学習画像や、撮影画像判断部52による自動判断処理によって判断される撮影画像等が含まれる。
【0024】
プログラムメモリ20には、中央処理装置30に学習処理や自動判断処理を行わせるためのプログラムが格納される。また、プログラムメモリ20は、学習処理の際に、最終的な判断基準値を算出する過程で得られる学習要素を一時的に記憶する。
【0025】
画像メモリ18は、記憶装置16に記憶されている画像データを、一時的に格納する。中央処理装置30は、画像データに対して各種の演算処理を行う場合や、表示装置14に画像を表示させるような場合において、画像データが画像メモリ18に格納されるように制御を行う。
【0026】
中央処理装置(CPU)30は、画像処理装置10で行われる学習処理に必要な各種の演算処理を実施する。図2に関連して述べたように、画像処理装置10において、中央処理装置30は、学習処理部31、学習ファイル管理部60及び撮影画像判断部52等として機能する。
【0027】
学習処理部31は、主として図2に示す学習処理に関する演算を行う。図1に示すように、学習処理部31は、画像サイズ取得部34、学習画像決定部42、画像表示演算部44、特徴抽出部40、画質調整部38、判断入力処理部32、学習演算部36及び学習結果保存処理部46を有する。
【0028】
画像サイズ取得部34は、画像処理装置10のユーザーである評価者によって入力された画像鑑賞サイズ情報を取得する。また、画像サイズ取得部34は、取得された画像鑑賞サイズ情報を、学習画像が表示装置14に表示される際の表示条件(特に表示サイズ)に反映させる。画像鑑賞サイズ情報とは、学習処理の結果を用いて自動判断処理される予定の撮影画像が、どのような条件で鑑賞されるかということに関する情報である。
【0029】
画像サイズ取得部34は、評価者に対して、入力装置12を介して画像鑑賞サイズ情報を入力するように求める。画像サイズ取得部34は、得られた画像鑑賞サイズ情報を用いて、学習画像が表示装置14に表示される際の表示条件を決定する。画像表示演算部44は、画像サイズ取得部23によって決定された表示条件に従い、学習画像を表示装置14に表示させる。例えば、画像サイズ取得部34は、学習画像が、その後に行われる自動判断処理によって処理される撮影画像の使用条件と同様又は近似する条件で表示されるように表示条件を決定する。
【0030】
さらに一例を挙げると、画像サイズ取得部34は、画像鑑賞サイズ情報が画像を所定のサイズに拡大して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて拡大する。反対に、画像サイズ取得部34は、画像鑑賞サイズ情報が画像を縮小して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて縮小する。このような処理を行うことにより、画像処理装置10における学習処理によって算出される判断基準値は、画像鑑賞サイズ情報を考慮したものとなり、評価者の要求する基準に高い精度で一致する。
【0031】
学習画像決定部42は、学習処理において、学習処理の対象となる学習画像を決定する。学習画像決定部42は、評価者の指定した画像をそのまま学習画像とする場合や、評価者の指定した画像を画質調整した後の画像を学習画像とする場合がある。
【0032】
画像表示演算部44は、第1記憶部16aに保存等される学習画像を、表示装置14に表示させる。学習画像を表示させる場合、画像表示演算部44は、学習画像決定部42及び画像サイズ取得部34から、必要に応じて情報を受け取ることができる。すなわち、画像表示演算部44は、学習画像決定部42によって決定された学習画像を、画像サイズ取得部34で決定された表示条件で、表示装置14に表示させることができる。また、画像表示演算部44は、表示装置14に表示させる学習画像を、画像メモリ18に一時的に格納させる。
【0033】
画質調整部38は、学習画像の画像品質を調整することができる。画質調整部38は、例えば、画質調整前の学習画像である元画像に対して、ブレ・ボケの軌跡を表すPSF(Point Spread Function)をコンボリューションすることにより、学習画像の画像品質を調整する。画質調整部38によって調整される画像品質としては、エッジ量(特徴抽出部40によって算出されるものと同様)等が挙げられるが、特に限定されない。
【0034】
画質調整部38で使用されるボケのPSFとしては、例えば以下の数式(1−1)で表されるガウス分布が挙げられる。ガウス分布を用いて画質調整を行う場合、画質調整部38では、数式(1−2)で表すように、ガウス分布を正規化する。さらに、画質調整部38では、正規化後のガウス分布を、画質調整前の学習画像の輝度Y(i,j)にコンボリューションする。これにより、画質調整部38は、数式(1−3)で示すように、画質調整後の学習画像の輝度Ygaussian(i,j)を得る。なお、数式(1−1)におけるσは標準偏差とし、x=4σとして計算を行うことができるが、特に限定されない。また、数式(1−3)におけるTは転置を表す。
【0035】
【数1】

【0036】
学習処理において、画質調整部38によって学習画像の画像品質が調整された場合、表示装置14は、調整後の学習画像を表示する。画質調整部38によって画像品質を調整することにより、画像処理装置10は、同様の構図を有していながら、特定の画像品質に関する指標のみが異なる複数の画像を用いて、学習処理を行うことが可能である。したがって、画像処理装置10は、特定の画像品質に関する指標以外の影響を排除又は抑制した学習処理を行うことが可能であり、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。なお、画質調整部38が、学習画像のエッジ量が所定の値になるように調整を行った場合、特徴抽出部40は、エッジ量の算出を行う必要がない。なぜなら、特徴抽出部40は、画質調整部38の設定値を読み出すだけで、学習画像のエッジ量を取得できるからである。
【0037】
特徴抽出部40は、学習処理に使用される学習画像について、その画像品質に関する指標の具体値を取得する。特徴抽出部40は、学習画像を解析することによって指標の具体値を得るだけではなく、記憶装置16等に保存されるデータを読み出すことにより、学習画像の画像品質に関する指標の具体値を取得できる。
【0038】
特徴抽出部40で取得される画像品質の指標としては特に限定されず、特徴抽出部40は、学習画像が成功画像であるか失敗画像であるかを判断するために有効な任意の指標の具体値を、取得することができる。特徴抽出部40で取得される指標の例としては、エッジ量、シャッタ速度、EV値、学習画像を主成分分析部して得られる指標、DCT係数、ウェーブレット係数、FFT係数の実部などが挙げられる。
【0039】
例えば、特徴抽出部40は、画像品質の指標の1つであるエッジ量を、学習画像から算出する。特徴抽出部40が、学習処理の対象となる学習画像からエッジ量の具体的な値(具体値)を取得する方法の一例を、数式(2−1)〜数式(2−4)を用いて以下に説明する。
【0040】
特徴抽出部40は、数式(2−1)に示すように、学習画像におけるRGBチャンネルの各数値から、各画素の輝度Y(i,j)を算出する。さらに特徴抽出部40は、数式(2−2)及び数式(2−3)に示すように、算出された輝度Y(i,j)に対して、エッジ検出フィルタをコンボリューションし、x方向及びy方向のエッジG(i,j)、G(i,j)を算出する。特徴抽出部40は、エッジ検出フィルタとしてSobelフィルタを用いる。ただし、特徴抽出部40が使用するエッジ検出フィルタはこれに限定されず、Prewittフィルタ等を用いることもできる。さらに、特徴抽出部40は、数式(2−4)に示すように、算出されたエッジG(i,j)、G(i,j)から、エッジ方向に依存しないエッジ量G(i,j)を算出する。
【0041】
【数2】

【0042】
判断入力処理部32は、表示装置14によって表示された学習画像に対する評価者の判断結果を取得する。例えば、判断入力処理部32は、評価者に対して、表示装置14によって表示された学習画像が、成功画像であるか失敗画像であるか(すなわちOKかNGか)を判断するように求める。学習画像に対する評価者の判断結果は、入力装置12を介して、判断入力処理部32に入力される。
【0043】
さらに、判断入力処理部32は、得られた評価者の判断結果と、当該学習画像について特徴抽出部40で抽出された画像品質に関する指標の具体値を対応させる。さらに、判断入力処理部32は、学習画像の判断結果と指標の具体値とを対応させたものを学習要素として、プログラムメモリ20に記憶させる。この場合、学習要素として記憶される指標の種類は、1種類であっても良く、2種類以上であっても良い。
【0044】
学習演算部36は、プログラムメモリ20に記憶された学習要素から、学習要素の具体値に対応する指標に関する評価者の判断基準値を決定する。例えば、学習処理で採用された指標がエッジ量である場合、プログラムメモリ20に記憶された学習要素は、評価者が如何なるエッジ量の画像をOKと判断し、また如何なるエッジ量の画像をNGと判断したかを、具体的に記録したものである。学習演算部36は、このような学習要素から、あるエッジ量の値を境界として評価者のOK・NGの判断が分かれるという前提の下に、その値を求め、判断基準値とする。
【0045】
学習演算部36は、例えば、線形判別(linear discriminant)等により、判断基準値を決定することができるが、判断基準値の決定方法は特に限定されない。なお、学習処理における判断基準値、具体値、暫定具体値には、一つの値によって構成されるスカラー量等だけでなく、複数の値によって構成される配列又はパターン識別の基準となるデータ等が含まれる。
【0046】
学習結果保存処理部46は、学習処理を終える前に学習ファイルを生成し、第2記憶部16bに記憶させる。学習ファイルは、学習演算部36において決定された判断基準値と、その判断基準値の決定に関連する情報である学習情報とを、互いに関連付けた状態で有するデータである。
【0047】
学習ファイルに含まれる学習情報としては、特に限定されないが、学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モードなど、学習画像に関する情報が挙げられる。また、学習情報には、学習画像の表示条件や評価者など、学習画像以外の学習条件が含まれても良い。さらに、学習情報には、判断基準値を取得した日時など、学習処理に関連する情報が含まれても良い。
【0048】
学習ファイル管理部60は、学習結果保存処理部46によって生成・保存された学習ファイルに対して行われる学習管理処理に関する演算処理を行う。学習ファイル管理部60は、学習表示演算部62と、警告処理演算部64とを有する。
【0049】
学習表示演算部62は、例えば評価者の求めに応じて、第2記憶部16bに保存された学習ファイル内の学習情報を読み出し、表示装置14に表示させることができる。図8は、学習表示演算部62による学習情報の表示の一例である。評価者は、学習表示演算部62による学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値がどのような特性を有するものであるのかを確認若しくは推測することができる。また、評価者は、学習情報を確認することにより、その学習ファイルに含まれる判断基準値がどのような自動判断処理を目的として作成されたものであるかを確認若しくは推測することができる。
【0050】
学習表示演算部62および表示装置14によって行われる学習情報の表示形式は、図8に示すような表形式に限定されず、図9に示すようなグラフ形式等、他の表示形式であっても良い。図9に示す例では、学習表示演算部62は、学習画像の撮影モードに関する情報を用い、判断基準値の決定に使用された学習画像群が、どのような撮影モードの画像で構成されているのか、その構成割合を表示したものである。評価者は、このような学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値の内容及び作成意図等を確認若しくは推測することができる。
【0051】
警告処理演算部64は、撮影画像判断部52が画像ファイルの判断基準値を用いて自動判断処理を行う時に、撮影画像判断部によってその判断基準値が最後に使用された日時から所定の時間が経過している場合には、表示装置14に警告を表示させることができる。図10は、警告処理演算部64による警告表示の一例である。このような警告表示が行われることにより、画像処理装置10は、評価者の意図しない自動判断処理が行われることを防止できる。なぜなら、評価者の記憶は時間の経過にしたがって薄れていくため、ある判断基準値による自動判断処理が長い間行われていなかった場合、その学習ファイルに含まれる判断基準値の特性又は意味内容を、評価者が忘れている可能性が高いと推測されるからである。
【0052】
なお、学習ファイル管理部60は、学習表示演算部62や警告処理演算部64による処理の他にも、その他の学習管理処理を行うことができる。例えば、学習ファイル管理部60は、学習ファイルの判断基準値が撮影画像判断部52によって使用された日時など、学習ファイルの使用履歴を管理することができる。この場合、学習ファイル管理部60は、学習ファイルの使用履歴を、学習ファイルの内に保存するか、又は、学習ファイルに関連させて第2記憶部16bに記憶させることができる。
【0053】
撮影画像判断部52は、学習結果保存処理部46によって生成・保存され、学習ファイル管理部60によって管理される学習ファイルに含まれる判断基準値を用いて、撮影画像の自動判断処理(図2参照)に関する演算処理を行うことができる。図1に示すように、撮影画像判断部52は、第2特徴抽出部56と、比較部54を有している。
【0054】
第2特徴抽出部56は、自動判断処理の対象となる撮影画像について、画像品質に関する指標(第2指標)の具体値(第2具体値)を取得することができる。第2特徴抽出部56は、指標を取得する対象が学習画像ではなく、自動判断処理の対象となる撮影画像である点を除き、特徴抽出部40と同様である。
【0055】
比較部54は、自動判断処理の対象となる撮影画像の指標(第2指標)の具体値(第2具体値)と、学習処理によって学習演算部36によって決定された判断基準値とを比較し、撮影画像が成功画像であるか失敗画像であるか(すなわちOKかNGか)を判断する。
【0056】
図3は、図1に示す画像処理装置10で行われる学習処理の第1の例を表すフローチャートである。ステップS001では、画像処理装置10による学習処理が開始される。
【0057】
ステップS002では、図1に示す学習処理部31の画像サイズ取得部34が、画像鑑賞サイズ情報を取得する。画像サイズ取得部34は、表示装置14に選択メニューを表示する等の方法により、評価者に画像鑑賞サイズ情報の入力を促す。評価者は、印刷サイズ(L版、はがきサイズ、A4等)や、表示サイズ(100%、50%、ブログ用)等の画像鑑賞サイズ情報を、入力装置12を介して入力する。さらに、画像サイズ取得部34は、取得した画像鑑賞サイズ情報に基づき、ステップS005において行われる学習画像の表示処理における表示条件を決定する。
【0058】
例えば、取得された画像鑑賞サイズ情報が画像を200%に拡大して鑑賞する旨の情報であれば、画像サイズ取得部34は、ステップS005において学習画像が200%で表示されるように、表示条件を決定する。画像サイズ取得部34は、決定された表示条件を、画像表示演算部44に出力する。これにより、画像表示演算部44は、鑑賞サイズ情報に基づく表示条件で、表示装置14に学習画像を表示させることができる。
【0059】
ステップS003では、図1に示す学習画像決定部42が、学習画像を決定する。学習画像決定部42は、表示装置14にコメントを表示する等の方法により、評価者に対して、学習処理で使用する学習画像を指定するように促す。評価者は、予め記憶装置16の第1記憶部16aに用意されている画像や、評価者自身が撮影した撮影画像であって第1記憶部16aに保存されている画像を、学習画像として指定する。学習画像決定部42は、評価者によって指定された学習画像を、学習処理に使用する学習画像として特定する。さらに、学習画像決定部42は、決定された学習画像を、画像メモリ18に一時的に格納させる。
【0060】
この際、評価者は、1つの学習画像を指定しても良いし、複数の学習画像を指定しても良い。また、第1記憶部16aには、予め学習処理に適したサンプル画像が保存されていても良く、評価者は、このようなサンプル画像の中から、学習画像を選択しても良い。さらに、第1記憶部16aに保存されるサンプル画像は、撮影シーン(夜景、マクロ、スポーツ等)が異なる複数の画像で構成されていても良い。これにより、評価者は、自動判断処理される予定の撮影画像と同じ撮影シーンの画像を、学習画像として指定することができる。なお、サンプル画像の画像品質は、適度なばらつきを有していることが好ましい。
【0061】
ステップS004では、特徴抽出部40が、ステップS003で決定された学習画像について、画像品質に関する指標の具体値を取得する。学習処理で使用される指標には様々なものが存在するが、図3に示す第1の例では、画像品質に関する指標として、エッジ量とシャッタスピードが用いられる場合を例に説明を行う。ステップS004では、特徴抽出部40が、学習画像のエッジ量を算出するとともに、学習画像に関連して第1記憶部16aに保存されている情報を検索し、学習画像のシャッタスピードを取得する。特徴抽出部40で取得されたエッジ量及びシャッタスピードの具体値は、プログラムメモリ20に一時的に格納されても良い。
【0062】
ステップS005では、画像表示演算部44が、ステップS003で学習画像決定部42によって決定された学習画像を、表示装置14に表示させる。この際、画像表示演算部44は、ステップS002で画像サイズ取得部34によって決定された表示条件に基づき、学習画像を表示させる。
【0063】
ステップS006では、学習処理部31の判断入力処理部32が、表示装置14によって表示された学習画像に対する評価者の判断結果を取得する。判断入力処理部32は、評価者に対して、表示装置14によって表示された学習画像がOKかNGかを入力するように求め、入力された情報を取得することにより、評価者の判断結果を取得する。
【0064】
ステップS007では、判断入力処理部32は、ステップS006で得られた評価者の判断結果と、ステップS004で取得された学習画像のエッジ量及びシャッタスピードの具体値を対応させ、学習要素を生成する。また、判断入力処理部32は、学習画像の判断結果とエッジ量及びシャッタスピードとを対応させた学習要素を、プログラムメモリ20に記憶させる。
【0065】
ステップS008では、学習処理部31は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部31は、学習処理を終了させる旨の入力情報を取得した場合にはステップS009の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部31は、ステップS003の処理に戻り、学習画像を変えてステップS003〜ステップS007の処理を繰り返す。
【0066】
ステップS009では、学習処理部31の学習演算部36が、プログラムメモリ20に記憶された学習要素から、エッジ量及びシャッタスピードに関する評価者の判断基準値を決定する。図4は、学習演算部36で行われる判断基準値の決定において行われる処理を、概念的に表したものである。図4に示すグラフは、横軸をエッジ量(指標A)とし、縦軸をシャッタスピード(指標B)として、学習要素をプロットしたものである。図4に示す黒丸及び白丸は、ステップS007においてプログラムメモリ20に記憶された学習要素に対応している。
【0067】
図4に示すグラフでは、11個の学習要素がプロットされており、これは、ステップS009までに、11個の学習画像について、学習画像の決定(ステップS003)から学習要素の記憶(ステップS007)までの処理が行われたことを意味している。図4に示すグラフにおいて、白丸であるか黒丸であるかは、学習要素における学習画像の判断結果に対応している。すなわち、白丸は、ステップS006において評価者がOKと判断した学習要素であり、黒丸はNGと判断した学習要素である。また、各プロットの横軸の位置は、学習要素のエッジ量(指標A)の具体値に対応しており、各プロットの縦軸の位置は、学習要素のシャッタスピード(指標B)の具体値に対応している。
【0068】
学習演算部36は、線形判別により、評価者は、直線70より右下の領域にある画像をOKと判断し、直線70より左上の領域にある画像をNGと判断すると認定する。さらに、学習演算部36は、評価者がエッジ量(指標A)及びシャッタスピード(指標B)に関して、画像をOKまたはNGに分類する境界である判断基準値は、直線70であると決定する。図4に示す場合において、ステップS009で算出される判断基準値は、一次式の形で表される。
【0069】
ステップS010では、学習結果保存処理部46が、ステップS009において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部46は、学習ファイルを第2記憶部16bに記憶させる。
【0070】
ステップS011では、中央処理装置30が、一連の学習処理を終了させる。
【0071】
このように、図1に示す画像処理装置10は、図3で示すような一連の学習処理を行うことにより、特定の個人である評価者の判断傾向を、学習・認識することができる。したがって、画像処理装置10は、評価者個人が求める判断基準に対して高い精度で一致する判断基準値を、評価者になんら専門知識等を要求することなく、決定することができる。
【0072】
また、画像処理装置10は、画像サイズ取得部34によって取得された画像鑑賞サイズ情報を、学習画像を表示する際の表示条件に反映させている。これにより、画像処理装置10は、学習結果を用いて行われる自動判断処理の対象となる撮影画像の用途を考慮に入れて学習処理を行うことが可能である。したがって、画像処理装置10は、目的に応じた判断基準値を決定することができる。
【0073】
ここで、画像処理装置10における学習処理によって算出された判断基準値は、上述のように多くの要因を複合的に判断して決定されるものである。したがって、たとえ判断基準値自体を評価者が見ることができたとしても、評価者が判断基準値の意味内容(その判断基準値を用いれば、どのような自動判断処理が行われるのかということ)を認識することは困難である。また、判断基準値は、一つの値であるとは限らず、図3で示すような一次式の形であったり、さらに複雑な数値の集まりであったりするため、評価者に分かりやすく表示することが難しい場合もある。
【0074】
そこで、画像処理装置10は、判断基準値とその判断基準値の決定に関連する情報である学習情報とを互いに関連付け、学習ファイルとして保存し、これを学習ファイル管理部60によって管理できるようにした。これにより、評価者は、必要に応じて、学習ファイル管理部60の学習表示演算部62に、学習ファイルに含まれる学習情報を表示させることができる。したがって、評価者は、学習情報を確認することにより、その判断基準値の意味内容を認識することができる。また、評価者は、既に作成した学習ファイルに含まれる判断基準値の意味内容を認識できるため、自動判別処理を行う際に、過去に作成した学習ファイルを有効活用することが可能である。したがって、画像処理装置10を用いる評価者は、自動判別処理を行う際に、新たに学習処理を行う手間を省くことができ、手軽に適切な自動判別処理を行うことができる。
【0075】
図5は、図1に示す画像処理装置10で行われる学習処理の第2の例を表すフローチャートである。図5におけるステップS101及びステップS102は、図3において説明したステップS001及びステップS002と同様であるため、説明を省略する。
【0076】
ステップS103では、図1に示す学習画像決定部42が、学習画像(元画像)を決定する。学習画像決定部42は、評価者に対して、予め用意されたサンプル画像から、学習処理に仕様される学習画像(元画像)を選択するように求め、評価者によって選択された画像を、学習画像(元画像)として特定する。
【0077】
この際、評価者は、1つの学習画像(元画像)を指定する。また、学習画像(元画像)として予め用意されるサンプル画像は、ステップS104で行われる画質調整後における画像品質の指標(例えばエッジ量)の具体値が、予め解っているものであることが好ましい。なお、学習画像(元画像)は、画像メモリ18に一時的に格納される。
【0078】
ステップS104では、図1に示す学習処理部31の画質調整部38が、ステップS104で特定された学習画像(元画像)の画像品質を調整し、学習画像(画質調整後)を生成する。画質調整部38は、ブレ・ボケの軌跡を表すPSF(Point Spread Function)をコンボリューションすることにより、学習画像(元画像)の画像品質を調整し、学習画像(画質調整後)を生成する。さらに、学習画像決定部42は、画質調整部38によって生成された学習画像(画質調整後)を、ステップS105〜ステップS109で行われる処理に用いられる学習画像として特定する。
【0079】
図6は、図5に示す学習処理における学習画像の画像品質の変更手順を説明した概念図である。ステップS103で選択された学習画像(元画像)は、第1回目のステップS104においては、その画像品質の指標(図6に示す例ではエッジ量)が、統計的に算出された一般的な判断基準値(点76)に最も近い値(点D)になるように調整される。すなわち、画質調整部38は、画質調整によって生成される学習画像(画質調整後)のエッジ量の具体値を点Dに設定し、画質調整を行う。なお、学習画像(画質調整後)のエッジ量(ステップS104で実施される画質調整の設定値)は、プログラムメモリ20に格納される。
【0080】
ステップS105では、特徴抽出部40が、プログラムメモリ20に格納されている学習画像(画質調整後)のエッジ量を取得する。なお、図5及び図6に示す第2の例では、画像品質に関する指標として、エッジ量のみが用いられる場合を例に説明を行う。
【0081】
図5に示すステップS106〜ステップS108に関する処理は、図3において説明したステップS005〜ステップS007と同様であるため、説明を省略する。
【0082】
ステップS109では、学習処理部31は、プログラムメモリ20に格納されている学習要素を調査し、既に算出された学習要素によって判断基準値を決定しても良いか否かを判断する。例えば、学習処理部31は、プログラムメモリ20に格納されている学習要素に、評価者による判断がOKのものとNGのものが両方とも含まれている場合には、既に算出された学習要素によって判断基準値を決定しても良いと判断する。その反対に、学習処理部31は、プログラムメモリ20に格納されている学習要素に、評価者による判断がOK及びNGのもののうちいずれか一方が含まれていない場合には、判断基準値を決定すべきでないと判断する。
【0083】
ステップS109において、学習処理部31は、判断基準値を決定しても良いと判断した場合には、ステップS111の処理に進む。その反対に、学習処理部31は、判断基準値を決定すべきでないと判断した場合には、ステップS110の処理に進む。
【0084】
ステップS110では、学習処理部31の画質調整部38が、ステップS104で実施される画質調整の設定値を変更する。図6のケース1は、第1回目の画質調整(ステップS104)の設定値が点Dであり、その学習画像(画質調整後)についてステップS107で取得された評価者の判断がOKであった場合である。このような場合、ステップS110では、2回目の画質調整(ステップS104)の設定値は、第1回目の設定値より悪い(よりエッジ量の少ない)点Cに変更される。図6のケース2は、ケース1とは反対に、第1回目の評価者の判断がNGであった場合であり、2回目の画質調整(ステップS104)の設定値は、第1回目の設定値より良い(よりエッジ量の多い)点Eに変更される。
【0085】
ステップS110で画質調整の設定値を変更した後は、図6に示すようにステップS104〜ステップS108の処理を繰り返す。
【0086】
ステップS111では、学習処理部31は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部31は、学習処理を終了させる旨の入力情報を取得した場合にはステップS112の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部31は、ステップS103の処理に戻り、学習画像(元画像)を変えてステップS103〜ステップS110の処理を繰り返す。
【0087】
ステップS112では、学習処理部31の学習演算部36が、プログラムメモリ20に記憶された学習要素から、エッジ量に関する評価者の判断基準値を決定する。図6のケース1では、最後にOKと判断された学習画像のエッジ量が点Dであり、初めてNGと判断された学習画像のエッジ量が点Cである。この場合、学習演算部36は、点Cと点Dの中間点である点Pを、判断基準値とする。図6のケース2では、最後にNGと判断された学習画像のエッジ量が点Eであり、初めてOKと判断された学習画像のエッジ量が点Fである。この場合、学習演算部36は、点Eと点Fの中間点である点Qを、判断基準値とする。
【0088】
ステップS113では、学習結果保存処理部46が、ステップS119において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部46は、学習ファイルを第2記憶部16bに記憶させる。
【0089】
ステップS114では、中央処理装置30が、一連の学習処理を終了させる。
【0090】
このように、図1に示す画像処理装置10は、画質調整部38によって画像品質を調整することにより、同様の構図でありながら画像品質のみが異なる学習画像を用いて、学習処理を行うことができる。したがって、画像処理装置10は、特定の画像品質に関する指標以外の影響を抑制し、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。
【0091】
また、画像処理装置10は、画質調整部38によって画質調整を行うことにより、学習画像の指標の具体値を、適度に分散させることができる。これにより、画像処理装置10は、評価者が学習処理に要する時間及び手間を減らすことができる。また、画像処理装置10は、第1回目の画質調整で得られる学習画像(画質調整後)のエッジ量を、統計的に算出された一般的な判断基準値に近い値とすることによって、評価者が学習処理に要する時間及び手間を更に減らすことができる。
【0092】
また、学習処理後において、評価者は、学習ファイルに含まれる学習情報を確認することにより、その判断基準値の意味内容を認識することができる。例えば、評価者は、学習情報に含まれる学習画像のサムネイル画像を見ることにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、撮影シーンが同じであるなど、自動判断処理の対象となる撮影画像と共通点の多い画像を、学習画像として選択していると考えられるからである。
【0093】
また、例えば、評価者は、学習情報に含まれる学習画像の画像鑑賞サイズ情報を確認することにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、自動判断処理の対象となる撮影画像の鑑賞方法を考慮して、画像鑑賞サイズ情報を指定していると考えられるからである。
【0094】
図7は、図1に示す自動判断処理の一例を表すフローチャートである。図1に示すステップS201では、画像処理装置10による自動判断処理が開始される。
【0095】
ステップS202では、撮影画像判断部52が、自動判断処理に用いる判断基準値を取得する。撮影画像判断部52は、評価者に対して、自動判断処理に使用する判断基準値又はこれを含む学習ファイルを指定するように求める。さらに、撮影画像判断部52は、評価者によって指定された判断基準値を、第2記憶部16bから読み出す。
【0096】
ステップS203では、学習ファイル管理部60の警告処理演算部64が、ステップS202で読み出された判断基準値が古いものであるか否かを判断する。具体的には、警告処理演算部64は、第2記憶部16bに保存されている判断基準値の最終使用日時を読み出し、最終使用日時から所定の時間が経過しているか否かを判断する。
【0097】
警告処理演算部64は、最終使用日時から所定の時間が経過している場合、判断基準値が古いものであると判断する。この場合、自動判断処理は、ステップS204へ進む。これに対して、警告処理演算部64は、最終使用日時から所定の時間が経過していない場合、判断基準値は古いものではないと判断する。この場合、自動判断処理は、ステップS206へ進む。
【0098】
ステップS204では、学習ファイル管理部60の警告処理演算部64が、表示装置14に、図10に示すような警告を表示させる。さらに、評価者が学習内容の確認を求める場合は、学習ファイル管理部60の学習表示演算部62が、学習情報を表示装置14に表示させる。
【0099】
さらにステップS205では、警告処理演算部64は、評価者の入力結果に基づき、自動判断処理を続行するか否かを決定する。警告処理演算部64は、評価者に対して自動判断処理を続行するか否かを入力するように求め、自動判断処理を続行する旨の入力を受けた場合は、ステップS206へ処理を進める。その反対に、警告処理演算部64が自動判断処理を中止する旨の入力を受けた場合は、ステップS213へ処理を進める。
【0100】
ステップS206では、撮影画像判断部52が、自動判断処理の対象となる撮影画像を決定する。撮影画像判断部52は、表示装置14にコメントを表示する等の方法により、評価者に対して、自動判断処理の対象となる撮影画像を指定するように促す。評価者は、既に記憶装置16に保存されている撮影画像や、新たに記憶装置16に保存した撮影画像を指定する。撮影画像判断部52は、評価者によって指定された撮影画像を、自動判断処理の対象となる撮影画像として特定する。さらに、撮影画像判断部52は、決定された撮影画像を、画像メモリ18に一時的に格納させる。なお、この際、評価者は、1つの撮影画像を指定しても良いし、複数の撮影画像を指定しても良い。
【0101】
ステップS207では、撮影画像判断部52における第2特徴抽出部56が、ステップS206で決定された撮影画像について、画像品質に関する指標(第2指標)の具体値(第2具体値)を取得する。ステップS207で取得される具体値(第2具体値)は、ステップS202で取得された判断基準値と比較できるように、当該判断基準値を決定した際の学習処理において使用された指標と同一の指標に関する具体値であることが好ましい。例えば、判断基準値を決定した学習処理において使用された指標がエッジ量及びシャッタスピードであれば、第2特徴抽出部56は、撮影画像のエッジ量及びシャッタスピードを取得する。
【0102】
ステップS208では、撮影画像判断部52における比較部54が、ステップS207で取得された撮影画像の具体値(第2具体値)と、ステップS202で取得された判断基準値を比較する。これにより、比較部54は、自動判断処理の対象である撮影画像がOKかNGかを判断する。ステップS208において、比較部54が撮影画像はOKだと判断した場合はステップS209へ進み、撮影画像はNGだと判断した場合はステップS210へ進む。
【0103】
ステップS209及びステップS210では、撮影画像判断部52が、自動判断処理の結果に基づき、撮影画像の分類を行う。すなわち、ステップS209では、撮影画像判断部52は、OKと判断された撮影画像を、記憶装置16に作成されたOK画像フォルダに分類する。また、ステップS210では、撮影画像判断部52は、NGと判断された撮影画像を、記憶装置16に作成されたNG画像フォルダに分類する。なお、ステップS210において、撮影画像判断部52は、NGと判断された撮影画像を記憶装置16から削除する処理を行っても良い。
【0104】
ステップS211では、撮影画像判断部52は、評価者に対して、自動判断処理を終了するか否かを入力するように求める。撮影画像判断部52は、自動判断処理を終了させる旨の入力情報を取得した場合には、ステップS212の処理へ進む。それに対し、自動判断処理を続ける旨の入力情報を取得した場合には、撮影画像判断部52は、ステップS206の処理に戻り、対象となる撮影画像を変えてステップS006〜ステップS210の処理を繰り返す。
【0105】
ステップS212では、学習ファイル管理部60が、自動判断処理に用いた判断基準値の最終使用日時を、第2記憶部16bに保存する。さらに、ステップS213では、中央処理装置30が、一連の自動判断処理を終了させる。
【0106】
このように、図1に示す画像処理装置10は、特定の個人である評価者の判断傾向を、学習・認識し、学習処理によって得られた判断基準値に基づき、撮影画像の自動判断処理を行うことができる。したがって、画像処理装置10は、評価者個人が求める判断基準に対して高い精度で一致する判断基準に基づく自動判断処理を行うことができる。
【0107】
また、画像処理装置10は、学習ファイル管理部60の警告処理演算部64が警告を行うことにより、評価者の意図しない自動判断処理が行われることを防止することができる。
【符号の説明】
【0108】
10…画像処理装置
12…入力装置
14…表示装置
16…記憶装置
16a…第1記憶部
16b…第2記憶部
18…画像メモリ
20…プログラムメモリ
30…中央処理装置
31…学習処理部
32…判断入力処理部
34…画像サイズ取得部
36…学習演算部
38…画質調整部
40…特徴抽出部
42…学習画像決定部
44…画像表示演算部
46…学習結果保存処理部
52…撮影画像判断部
54…比較部
60…学習ファイル管理部
62…学習表示演算部
64…警告処理演算部

【特許請求の範囲】
【請求項1】
画像及び文章を表示可能な表示部と、
学習画像を記憶する第1記憶部と、
前記学習画像を前記表示部に表示させる画像表示演算部と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する第2記憶部と、
前記学習情報を、前記表示部に表示させる学習表示演算部と、
を有する画像判断装置。
【請求項2】
前記学習情報は、前記学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モード、前記判断結果を取得した際における前記学習画像の表示条件、前記判断結果を取得した日時並びに前記評価者のうち少なくとも1つを含むことを特徴とする請求項1に記載の画像判断装置。
【請求項3】
前記評価者によって選択された画像鑑賞サイズ情報を取得する画像サイズ取得部をさらに有し、
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させることを特徴とする請求項1又は請求項2に記載の画像判断装置。
【請求項4】
請求項1から請求項3までのいずれかに記載の画像判断装置と、
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部と、を有する画像処理装置。
【請求項5】
前記撮影画像判断部が、前記判断基準値に基づき前記自動判断を行う時に、前記撮影画像判断部によって前記判断基準値が最後に使用された日時から所定の時間が経過している場合には、前記撮影画像判断部が前記自動判断を行う前に、前記表示部に警告を表示させる警告処理演算部を、さらに有する請求項4に記載の画像処理装置。
【請求項6】
請求項4又は請求項5に記載の画像処理装置を有するカメラ。
【請求項7】
コンピュータに、
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させるための画像判断プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−185552(P2012−185552A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−46585(P2011−46585)
【出願日】平成23年3月3日(2011.3.3)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】