画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
【課題】画像データの属性を精度よく判別することを可能にする。
【解決手段】本発明の画像属性判別装置１０は、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域抽出部１１ａと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別するシーン判別部１３とを備えていることを特徴としている。
【解決手段】本発明の画像属性判別装置１０は、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域抽出部１１ａと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別するシーン判別部１３とを備えていることを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画または動画など、デジタル形式の画像データの属性を判別する画像属性判別処理に関するものであり、特に、画像属性判別処理の精度を向上させる画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラムに関するものである。
【背景技術】
【０００２】
近年、画像データの特徴を解析して、その属性を自動的に判別する手法の研究開発が行われている。具体的には、デジタルカメラ、デジタルビデオカメラおよびカメラ付携帯電話などにより撮像された静止画または動画、スキャナなどにより取り込まれた静止画、もしくは、ＤＶＤレコーダなどにより録画された動画またはキャプチャ画像などの、あらゆる画像データが持つ画素値から特徴量を抽出して、その画像データが表すシーン（属性）を判別することを行われている。例えば、デジタルカメラにて処理されているリアルタイムの画像データがどのようなシーン（人物、風景、夜景、夕焼け、花火、室内、スノー、ビーチ、花、料理、名刺・文書など）を写しているのかを判別することによって、デジタルカメラの撮影モードをそのシーンに応じた最適な状態に設定して撮影を行うことができる。
【０００３】
このような画像属性判別処理の公知技術として、特許文献１〜４が挙げられる。特許文献１〜４に記載されている技術では、対象のデジタル画像データから特徴量を抽出し、あらかじめ用意しておいた特定シーンについてのモデル特徴量との照合処理を行い、特定シーンの特徴量との一致度に基づいて、シーンを判別している。
【０００４】
より具体的には、特許文献１には、色相データのヒストグラムを用いて、画像データが夕焼けのシーンであるか否かを判定し、それに基づいて当該画像データの補正要否を判断する画像処理装置が開示されている。画像処理装置は、対象の画像データを構成する画素のうち赤から黄の範囲に属する画素について、色相と彩度の積および色相と明度の積の値をヒストグラム化し、それらの分散が一定基準より大きいものを「夕焼け」のシーンの画像であると判断している。
【０００５】
特許文献２には、対象の画像データについて、人物の有無に関する情報と色ヒストグラムに関する情報の２つを共通の特徴指標として、「ポートレート」「夕焼け」「夜景」などの複数のシーンを判別する画像撮影装置が開示されている。
【０００６】
特許文献３には、特定シーンに対応する特徴的部分について、画像内の配置の傾向等を考慮し、かつ、撮影枠の取り方の違いなどによるそれらの位置や面積割合の変動をも考慮して、様々な特定シーンの画像を高い精度で選別する装置が開示されている。
【０００７】
特許文献４には、特定シーンとして指定されうる複数のシーンごとに、そのシーンの識別に用いる特徴量の種類と識別条件とを規定した参照データを用意しておき、上記識別条件を参照して判断することにより、シーン判別を高い精度で実施する装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２９８７３６号公報（１９９９年１０月２９日公開）
【特許文献２】特開２００２−２１８４８０号公報（２００２年８月２日公開）
【特許文献３】特開２００５−３１０１２３号公報（２００５年１１月４日公開）
【特許文献４】特開２００５−１２２７２０号公報（２００５年５月１２日公開）
【非特許文献】
【０００９】
【非特許文献１】奥富 正敏、ほか著「ディジタル画像処理」ＣＧ−ＡＲＴＳ協会出版、２００７年３月１日（第二版二刷）、Ｐ．３１１〜３１３，１７−２節「文字認識技術」、Ｐ．１９２〜１９５，１１−１節「領域特徴量」
【非特許文献２】天野 敏之、ほか著「固有空間法を用いたＢＰＬＰによる画像補間」社団法人電子情報通信学会出版、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８５−Ｄ−II Ｎｏ．３ Ｐ．４５７〜４６５）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の構成では、属性判別の対象となる画像データに、該画像データの本来の属性とは異質の物、影、形など（以下、異質物）が含まれている場合に、正しく属性判別を行えないという問題がある。つまり、異質物を写している画素群（以下、異質領域）から得られる特徴は、本来の属性の特徴とは異なっている。そのため、画像データ全体の特徴量が、異質領域の特徴量が混ざった状態で抽出されると、モデル特徴量との照合がうまく行われず、結果として、その画像データに対しては、誤ったシーン判別が行われたり、確かさの低いシーン判別が行われたりするという問題が生じる。
【００１１】
画像データに上記異質領域が生じる原因としては、例えば、画像編集の工程において、属性判別の対象となる画像データに対して画像編集ツールを用いて追加される、文字、イラスト、図形、スタンプ、落書きなどのオブジェクト（動画の場合はテロップなども）が考えられる。あるいは、上記画像データの撮影工程で、撮影環境、被写体の状況によって意図しない現象（スミアなどの白飛び現象）が現れたり、もしくは、指の影など意図しないものが写りこんでしまったりすることが考えられる。さらには、写真などの原稿をスキャンする工程で、（原稿が破れたり、折れ曲がったりした状態でスキャンされることにより）原稿の欠けた部分に原稿台や原稿の裏の色が写りこんでしまうことなどが考えられる。また、異質領域は、上述の例に限定されない。上記問題は、画像データに関わる条件・環境・事情などを問わず、本来の属性（シーン）とは異なる異質物を含むあらゆる画像データに対し、属性判別を行うときに共通に生じる問題である。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データの異質領域に左右されずに画像データの属性を精度よく判別することを可能にする画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラムを実現することにある。
【課題を解決するための手段】
【００１３】
本発明の画像属性判別装置は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴としている。
【００１４】
上記構成によれば、異質領域特定手段が、処理対象の画像データ上の異質物（例えば、テロップ等の文字列）を含む領域を特定し、属性判別手段が、その特定された異質領域を除いた他の領域の画素群からのみ得られた特徴量に基づいて、上記画像データの属性を判別する。
【００１５】
これにより、処理対象の画像データに異質物が含まれている場合に、異質領域から抽出されてしまう特徴量が、属性を判別する処理に与える悪影響を排除することができる。結果として、属性判別の精度を向上させることができる。
【００１６】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定してもよい。
【００１７】
上記構成によれば、写真などに後から加えられたテキストオブジェクト（文字）がマージされたものが処理対象の画像データであった場合でも、異質領域特定手段が、後から加えられたその文字を異質物と判断し、その文字が含まれている領域は、特徴量の抽出には用いられないようになっている。したがって、文字の編集が加えられた画像データに対しても、文字の背景にある本来の画像データの内容に基づいて、属性の判定が正しく行えるようになる。
【００１８】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備えていてもよい。
【００１９】
上記構成によれば、異質物（例えば、文字列など）によって隠されてしまっていた異質物の背景部分に対し、復元手段は、文字列周辺の画素の情報を使って、その周辺と同質の画素に復元する。そして、属性判別手段は、復元の画像データに基づいて、属性判別処理を行う。このため、文字列によって隠されてしまっていた部分からの特徴量も有効に活用することができ、結果として、属性判別処理の精度を向上させることが可能となる。
【００２０】
上記画像属性判別装置は、さらに、上記異質領域特定手段によって特定された異質領域内の各画素につき、上記属性判別手段によって特徴量が抽出される対象画素か否かを決定する対象画素決定手段を備え、上記属性判別手段は、上記画像データの各画素のうち、上記対象画素決定手段によって対象でないと決定された対象外画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別してもよい。
【００２１】
上記構成によれば、異質領域特定手段によって特定された異質領域内の各画素のうち、いずれが対象画素で、いずれが対象外画素かを対象画素決定手段が決定する。したがって、対象画素決定手段が、対象外画素として決定した画素については、属性判別手段は特徴量の抽出の際には参照せず、特徴量は対象画素のみから抽出される。
【００２２】
これにより、異質領域の中でも、特徴量抽出時に対象外とすべきか否からをより詳細に設定することが出来るので、精度よく、かつ、効率よく属性判別を行う画像属性判別装置を実現する上で、設計の自由度が向上する。
【００２３】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定し、画像属性判別装置は、さらに、上記異質領域特定手段が特定した文字領域内の文字を認識する文字認識手段を備え、上記対象画素決定手段は、上記文字領域内の文字が上記文字認識手段によって認識された文字であることの確からしさを示す文字認識結果の信頼度が所定値以下の場合は、上記文字領域内の画素を対象画素として決定することが好ましい。
【００２４】
一般に、正確に、より正しく文字（列）が認識された場合、文字認識結果とともに出力される信頼度の数値は高く、反対に、文字（列）ではないものを誤って文字列として抽出して文字認識処理がなされた場合には、信頼度の数値は低くなる。したがって、文字領域（異質領域）であるとしてこの領域の画素を対象外とするのは、上記信頼度が一定以上高い場合に制限する。つまり、対象画素決定手段は、文字認識結果の信頼度が低い画素については、初めに文字領域と判断された場合でも、それを対象外画素としない。これにより、実際は、文字（列）を含んでいなかった領域を誤って文字領域として抽出してしまった場合に、その領域を対象外画素に設定しないようにして、特徴量を抽出し損なうことを防ぐことが可能となる。
【００２５】
これにより、闇雲に対象外画素を広げることによって、逆に属性判別の処理の精度が低下するという不都合を回避することができる。
【００２６】
さらに、画像属性判別装置は、上記文字認識手段が認識した文字または文字列から、キーワードを抽出するキーワード抽出手段と、上記キーワード抽出手段によって抽出される各キーワードと、上記属性判別手段によって判別される各属性との関連性を記憶するワード関連性記憶部とを備え、上記属性判別手段は、上記ワード関連性記憶部を参照し、上記画像データの文字領域から抽出されたキーワードと各属性との関連性の高さを加味して該画像データの属性を判別してもよい。
【００２７】
上記構成によれば、画像データに文字領域が含まれている場合、その文字領域に含まれる文字列が文字認識手段によって抽出され、その文字列から１以上の単語（キーワード）がキーワード抽出手段によって抽出される。
【００２８】
上記属性判別手段は、抽出されたキーワードと属性との関連性を、ワード関連性記憶部を参照して把握し、上記キーワードと属性との関連性の高さを、当該画像データの属性を判別する際に考慮する。
【００２９】
画像データに含まれているテロップ等の文字列には、その画像データの属性を示す、あるいは、属性と関連が深い文字列が含まれている場合が多い。したがって、これを属性判別処理の指標の１つとすることで、属性判別精度を向上させることができる。例えば、属性判別手段は、キーワード「山」と、属性「風景」とは関連性が高いと判断し、山というキーワードが抽出された場合に、その画像データの属性を判別する際、「風景」に高い重み付けを加えることなどが考えられる。
【００３０】
上記属性判別手段は、上記画像データの特徴量を、複数種類の属性ごとにあらかじめ定められているモデル特徴量と照合し、その類似度に応じて、上記画像データの属性がその属性であることの確からしさを示す属性判別結果の信頼度を算出することにより、上記画像データの属性を判別し、上記ワード関連性記憶部は、上記キーワードと上記属性との関連性を、上記属性判別結果の信頼度に加算するためのスコアとして記憶していることを特徴としている。
【００３１】
上記構成によれば、上記関連性の高さは、属性判別結果の信頼度に加算するスコアとして記憶されている。属性判別手段は、候補となる画像データの各属性について信頼度を出力し、上記キーワードに対応付けられているスコアを、同じく対応する属性の信頼度に加算する。上記キーワードと関連性が高い属性に対しては、より多くのスコアが加算され、信頼度（画像データがその属性であることの確からしさ）が向上する。よって、属性判別手段は、画像データに含まれるキーワードを考慮して、信頼度に基づき、より精度よく画像データの属性を判別することが可能となる。
【００３２】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備え、上記復元手段は、上記属性判別結果の信頼度が所定値より低い場合にのみ復元を実行することが好ましい。
【００３３】
上記構成によれば、処理負荷の高い復元処理を、判別結果の確からしさ（信頼度）の高い、好ましい結果が得られた場合には省略し、信頼度が低く属性判別の精度が落ちる場合にのみに、その精度の向上を目的として復元処理を実行するように画像属性判別装置を構成することができる。
【００３４】
したがって、処理効率の向上と、属性判別精度の向上とを両立させることが可能となる。
【００３５】
上記属性判別手段は、上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域が広いほど、信頼度を低く算出してもよい。
【００３６】
対象外画素の領域が広いということは、１枚の画像データのうち、属性判別のために参照された画素の割合が少ないということになり、これでは、全部の画素を参照した場合と比べて正確に属性判別ができていないという可能性がある。
【００３７】
そこでこのような状況で出力された判別結果の信頼度を低く見積もることによって、ユーザの注意を喚起する、または、この信頼度を向上させるような他の措置を講じることが可能となり、結果として、属性判別精度の向上に貢献できる。
【００３８】
上記対象画素決定手段は、上記画像データにおいて上記異質領域の占める面積が所定以上広い場合にのみ、上記異質領域内の各画素を対象外画素として決定してもよい。
【００３９】
上記構成によれば、上記異質領域特定手段によって特定された上記異質領域が所定よりも狭い（小さい）場合には、上記対象画素決定手段は、その領域の画素を対象外画素に決定するという処理を行わない。
【００４０】
一般に、異質物が含まれる領域の面積の、画像データ全体の面積に占める割合が小さい場合、その領域から得られる特徴量が、属性判別に与える影響は小さい。この場合、異質領域を対象外として除外する処理時間に対して、判別精度を向上させるというメリットが小さいと考えられる。
【００４１】
そこで、上述したとおり、異質領域の、画像データ全体に占める面積の割合が所定の閾値以上の場合のみ、対象外画素の特定を行う、という制限を設けることで、判別精度に大きな影響を与えることなく、処理時間を削減することができる。
【００４２】
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、上記画像データの各画素のうち、上記異質領域特定手段によって特定された上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備え、上記属性判別手段は、上記画像データの特徴量を、上記モデル特徴量算出手段によって属性ごとに算出されたモデル特徴量と照合し、その類似度に応じて上記画像データの属性を判別してもよい。
【００４３】
上記構成によれば、属性判別手段は、上記画像データの特徴量をモデル特徴量と照合しその類似度に応じて上記画像データの属性を判別する。したがって、精度よい属性判別を行うためには、モデル特徴量が、各属性に応じていかに正しく定められているのかが重要となる。
【００４４】
そこで、異質物（例えば、テロップ等の文字列）が含まれている画像データが、学習対象の画像データとして画像属性判別装置に取り込まれた場合でも、モデル特徴量算出手段は、異質領域特定手段によって特定された異質物を排除してから上記画像データを用いるため、より正しいモデル特徴量を作成することが可能となる。属性判別手段は、より正しいモデル特徴量を参照することができるので、結果として、属性判別精度を向上させることが可能となる。
【００４５】
本発明の属性判別支援装置は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴としている。
【００４６】
上記構成によれば、モデル特徴量を作成するために、画像データと該画像データの属性の指定とが入力されると、まず、異質領域特定手段が、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する。次に、モデル特徴量算出手段が、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出する。
【００４７】
画像属性判別装置は、一般に、上記画像データの特徴量をモデル特徴量と照合しその類似度に応じて上記画像データの属性を判別する。したがって、精度よい属性判別を行うためには、モデル特徴量が、各属性に応じていかに正しく定められているのかが重要となる。
【００４８】
そこで、異質物（例えば、テロップ等の文字列）が含まれている画像データが、学習対象の画像データとして属性判別支援装置に取り込まれた場合でも、モデル特徴量算出手段は、異質領域特定手段によって特定された異質物を排除してから上記画像データの特徴量を抽出してこれを用いるため、より正しいモデル特徴量を作成することが可能となる。属性判別手段は、より正しいモデル特徴量を参照することができるので、結果として、属性判別精度を向上させることが可能となる。
【００４９】
本発明の画像属性判別方法は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴としている。
【００５０】
本発明の属性判別支援装置の制御方法は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴としている。
【００５１】
なお、上記画像属性判別装置および上記属性判別支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像属性判別装置または上記属性判別支援装置をコンピュータにて実現させる上記画像属性判別装置または上記属性判別支援装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００５２】
本発明の画像属性判別装置は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴としている。
【００５３】
本発明の属性判別支援装置は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴としている。
【００５４】
本発明の画像属性判別方法は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴としている。
【００５５】
本発明の属性判別支援装置の制御方法は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴としている。
【００５６】
したがって、画像データの異質領域に左右されずに画像データの属性を精度よく判別することが可能になるという効果を奏する。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態におけるデジタルフォトフレームの要部構成を示すブロック図である。
【図２】本発明の一実施形態におけるデジタルフォトフレームの外観を示す図である。
【図３】図３（ａ）は、処理対象の元の画像データ（Fujiyama.jpg）の一例を示す図であり、図３（ｂ）は、図３（ａ）の画像データから文字領域として抽出された領域の具体例を示す図である。
【図４】図４（ａ）は、図３（ａ）に示す画像データ（Fujiyama.jpg）のうち、図３（ｂ）に示す文字領域以外の対象画素から作成された、色のヒストグラムの具体例を示す図であり、図４（ｂ）は、図３（ａ）に示す画像データから、文字領域が除外されずに作成されたヒストグラム、すなわち本発明を適用しないで作成されたヒストグラムの具体例を示す図であり、図４（ｃ）は、あらかじめ記憶されているモデル特徴量としてのモデルヒストグラムの具体例を示す図である。
【図５】異質領域に対して復元処理が実施された後の画像データの一例を示す図である。
【図６】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れを示すフローチャートである。
【図７】デジタルフォトフレームの文字認識部によって出力される文字認識結果およびその信頼度の具体例を示す図である。
【図８】デジタルフォトフレームのシーン判別部によって出力されるシーン判別結果およびその信頼度の具体例を示す図である。
【図９】デジタルフォトフレームの文字スコア記憶部に記憶されている、キーワードとシーンとの関連性を表した対応表の具体例を示す図である。
【図１０Ａ】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れの一例を示すフローチャートである。
【図１０Ｂ】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れの一例を示すフローチャートである。
【図１１】図３（ａ）の画像データから文字領域として抽出された領域の他の具体例を示す図である。
【図１２】図３（ａ）の画像データから文字領域として抽出された領域のさらに他の具体例を示す図である。
【図１３】本発明の他の実施形態におけるデジタルフォトフレームの要部構成を示すブロック図である。
【図１４】本発明の他の実施形態におけるデジタルフォトフレームのシーン学習処理の流れの一例を示すフローチャートである。
【図１５】本発明の他の実施形態における、属性判別支援装置の要部構成を示すブロック図である。
【図１６】異質領域としてスミアを含む画像データの一例を示す図である。
【図１７】異質領域としてオブジェクトが画像編集工程でマージされた領域を含む画像データの一例を示す図である。
【図１８】原稿の端が折れたままスキャンされたために、折れた部分を異質領域として含む画像データの一例を示す図である。
【図１９】写真の撮影時に写り込んでしまった指の影を異質領域として含む画像データの一例を示す図である。
【発明を実施するための形態】
【００５８】
≪実施形態１≫
本発明の実施形態について、図面に基づいて説明すると以下の通りである。
【００５９】
以下では、一例として、本発明の画像属性判別装置を、画像データを表示する画像表示装置としてのデジタルフォトフレームに適用した場合について説明する。本実施形態におけるデジタルフォトフレームは、自装置にて判別した画像データのシーン（属性）に応じて、該画像データの表示用データを補正し、自装置の表示部に表示することができる。なお、本発明の画像属性判別装置は、デジタルフォトフレームに限定されず、デジタルカメラ、デジタルビデオカメラ、デジタルビデオレコーダー／プレーヤー、デジタルテレビ、パソコン、プリンタ、スキャナなど、画像データに対して、判別されたシーンごとに異なる処理を施すことが可能な、各種画像処理装置に好適に用いることができる。
【００６０】
〔デジタルフォトフレームの外観〕
図２は、本発明の実施形態におけるデジタルフォトフレーム１００の外観を示す図である。デジタルフォトフレーム１００は、自装置に記憶された、あるいは、着脱可能な外部記録媒体に記録された、１または複数の静止画または動画などの画像データを読み出し、それらを表示用データとして表示部３に出力して画像を表示するものである。デジタルフォトフレーム１００は、例えばデジタルカメラなどで撮影して得られた写真（画像データ）を表示部３に表示することにより、写真立ての役割を果たすことができる。さらに、デジタルフォトフレーム１００は、複数の写真をスライドショーのように順次表示したり、任意のレイアウトおよびタイミングで、一度に複数枚の画像データを表示したり、大量の画像データをサムネイルで一覧表示したりすることができる。
【００６１】
デジタルフォトフレーム１００の操作部４は、デジタルフォトフレーム１００の本体に設けられたボタンやタッチパネルなどにより実現されてもよいし、図２に示すようにリモコンを用いて実現されてもよい。
【００６２】
本実施形態では、デジタルフォトフレーム１００は、画像データをより美しく表示するために、画像データに対してシーン別に補正を行って表示する機能（以下、シーン別自動補正機能）を有する。こうしたデジタルフォトフレーム１００の機能に関する各種設定操作についても、操作部４を用いることにより実現できる。
【００６３】
例えば、デジタルフォトフレーム１００は、図２に示すように、表示部３に、上記シーン別自動補正機能を有効にするか否かをユーザに設定させるための操作画面を表示してもよい。この場合、ユーザは、シーン別自動補正機能を希望する場合は、操作部４に設けられた十字ボタンや決定ボタンを操作して、シーン別自動補正機能を有効にする選択肢を選択する。
【００６４】
〔デジタルフォトフレームの構成〕
図１は、本発明の実施形態におけるデジタルフォトフレーム１００の要部構成を示すブロック図である。
【００６５】
図１に示すとおり、本実施形態のデジタルフォトフレーム１００は、制御部１、記憶部２、表示部３、操作部４、一時記憶部５、および、これらの各部でデータの送受信を行うための共通の信号線としてのバス６を備える構成となっている。
【００６６】
制御部１は、記憶部２から一時記憶部５に読み出されたプログラムを実行することにより、各種の演算を行うと共に、デジタルフォトフレーム１００が備える各部を、バス６を介して統括的に制御するものである。制御部１は、機能ブロックとして、少なくとも、文字領域抽出部１１およびシーン判別部１３を備える構成である。さらに、制御部１は、対象画素特定部１２、文字認識部１４および復元部１５を備えていてもよい。これらの１１〜１５の各機能ブロックは、デジタルフォトフレーム１００において、シーン判別機能を実行する画像属性判別装置１０として機能する。また、本実施形態では、シーン別処理実行部１６を備えており、この機能ブロックは、デジタルフォトフレーム１００において、シーン別自動補正機能を実行する画像処理装置として機能する。
【００６７】
上述した制御部１の各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶部２に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部５に読み出して実行することで実現できる。
【００６８】
記憶部２は、制御部１が実行する制御プログラムおよびＯＳプログラム、ならびに、制御部１が、デジタルフォトフレーム１００が有する各種機能（例えば、本発明のシーン判別機能、シーン別自動補正機能など）を実行するときに読み出す各種の固定データを記憶するものである。本実施形態では、記憶部２には、例えば、画像データ記憶部３０、シーン特徴量記憶部３１、文字照合辞書記憶部３２、文字スコア記憶部３３が含まれており、各種の固定データを記憶する。記憶部２は、例えば、内容の書き換えが可能な不揮発性メモリである、ＥＥＰＲＯＭ（Electrically EPROM）、フラッシュメモリなどで実現される。なお、内容の書き換えが不要な情報を記憶する記憶部（ここでは、例えば、文字照合辞書記憶部３２、文字スコア記憶部３３など）については、記憶部２とは別の、図示しない、読出し専用の半導体メモリであるＲＯＭ（Read Only Memory）などで実現されてもよい。
【００６９】
画像データ記憶部３０は、デジタルフォトフレーム１００が画像処理装置として処理する対象となる画像データを記憶するものである。シーン特徴量記憶部３１は、シーン判別部１３が画像データのシーンを判別する際に参照するモデルとなるシーンの特徴量を記憶するものである。文字照合辞書記憶部３２は、文字認識部１４が備わっている場合に文字認識部１４が画像データに含まれる文字を認識する際に参照する文字の情報、すなわち、文字照合辞書を記憶するものである。文字スコア記憶部３３は、文字認識部１４によって認識された文字（列）と判別されるシーンとの関連性を数値（スコア）で表したスコア情報を記憶するものである。
【００７０】
表示部３は、図２を用いて説明したとおり、画像データ記憶部３０から、または、図示しない外部インターフェースを介して外部記録媒体から取り込んだ画像データを表示したり、ユーザがデジタルフォトフレーム１００を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。表示部３は、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイなどの表示装置で構成される。
【００７１】
操作部４は、ユーザがデジタルフォトフレーム１００に指示信号を入力し、操作するためのものである。上述したとおり、本実施形態では、操作部４はリモコンとして構成される。操作部４に設けられたボタン（十字キー、決定キー、文字入力キーなど）に対応する信号は、そのボタンが押下されたときに、赤外線信号として操作部４の発光部から出力され、デジタルフォトフレーム１００の本体に設けられた受光部を介してデジタルフォトフレーム１００に入力される。
【００７２】
一時記憶部５は、デジタルフォトフレーム１００が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）などで実現される。より具体的には、制御部１は、シーン判別処理の対象となる画像データを、一時記憶部５の画像メモリ５ａに展開し、画像データの画素単位で詳細な解析を行う。
【００７３】
制御部１の文字領域抽出部１１は、処理対象の画像データに含まれる異質領域を抽出するものである。本実施形態では、特に、文字領域抽出部１１は、異質領域として、英数字、ひらがな、カタカナ、漢字、記号などの文字（列）を含む文字領域を抽出する。
【００７４】
図３（ａ）は、処理対象の元の画像データの一例を示す図である。図３（ａ）に示す画像データ（ファイル名：Fujiyama.jpg）は、本来は風景を撮影した写真であるが、当該画像データは、風景写真に対してテキストオブジェクトが画像編集工程で追加されたものである。文字領域抽出部１１は、周辺画素との色の違いやテクスチャなどから、文字らしき形状を特定し、その形状を含む領域を文字領域として抽出する。図３（ｂ）は、図３（ａ）の画像データから文字領域抽出部１１が文字領域として抽出した領域の一例を示す図である。本実施形態では、文字領域抽出部１１は、例えば図３（ｂ）に示すとおり、ある程度まとまった文字列らしき形状の外接矩形を文字領域として抽出する。図３（ｂ）に示す例では、文字領域抽出部１１は、元の画像データに含まれる、文字列「［富士山］」の外接矩形を第１文字領域Ａｒ１、文字列「標高 3,776 m」の外接矩形を第２文字領域Ａｒ２、文字列「日本最高峰の山」の外接矩形を第３文字領域Ａｒ３として抽出する。
【００７５】
なお、上述の文字領域抽出手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００７６】
対象画素特定部１２は、文字領域抽出部１１が抽出した異質領域の各画素について、その画素がシーン判別処理において解析の対象となる画素か否かを特定するものである。具体的には、対象画素特定部１２は、解析の対象となる画素か、対象外の画素かを示すフラグを画素ごとに確定させる。例えば、対象画素特定部１２は、解析の対象となる画素に対しては解析対象であることを意味する「ＴＲＵＥ」のフラグを付与し、解析の対象にしない画素に対しては、解析対象外であることを意味する「ＦＡＬＳＥ」のフラグを付与する。これにより、シーン判別処理において特徴量解析の対象となる画素が画像データの中から特定される。
【００７７】
なお、対象画素特定部１２は、文字領域抽出部１１が抽出したすべての異質領域（文字領域）のすべての画素を、解析対象外の画素として特定してもよい。すなわち、図３（ｂ）に示す、第１文字領域Ａｒ１、第２文字領域Ａｒ２、および、第３文字領域Ａｒ３の３つの文字領域を、解析対象外の画素として特定してもよい。あるいは、対象画素特定部１２は、所定の条件に基づいて、文字領域抽出部１１が抽出した異質領域のうち、条件を満たす画素だけを、対象画素もしくは対象外画素として特定してもよい。
【００７８】
シーン判別部１３は、画像データのシーンを判別するものである。特に、シーン判別部１３は、画像データの全画素のうち、対象画素特定部１２によって対象画素として特定された画素のみについて解析、特徴量の抽出などを実行する。そして、抽出された特徴量を、シーン特徴量記憶部３１にシーンごとにあらかじめ記憶されているモデル特徴量と照合することにより、上記画像データのシーンを判別する。本実施形態では、例えば、シーン判別部１３は、図３（ｂ）に示す、第１文字領域Ａｒ１、第２文字領域Ａｒ２、および、第３文字領域Ａｒ３の３つの文字領域以外の領域について画素値の解析を行い、特徴量の抽出を行う。
【００７９】
本実施形態では、シーン判別部１３は、対象画素の色やテクスチャなどに基づいて、対象画素のヒストグラムを画像データの全体の特徴量として作成する。そして、シーン判別部１３は、シーンごとのモデル特徴量と、上記画像データから抽出した特徴量とを比較、照合して、最も類似するモデル特徴量のシーンをその画像データのシーンとして判別する。より具体的には、以下のとおりである。
【００８０】
図４（ａ）は、本発明のシーン判別部１３が、図３（ａ）に示す画像データ（Fujiyama.jpg）のうち、図３（ｂ）に示す文字領域以外の対象画素から作成した、色のヒストグラムの具体例を示す図である。
【００８１】
図４（ｂ）は、図３（ａ）に示す画像データから、文字領域が除外されずに作成されたヒストグラム、すなわち本発明を適用しないで作成されたヒストグラムの具体例を示す図である。
【００８２】
図４（ｃ）は、シーン特徴量記憶部３１に記憶されているモデル特徴量としてのモデルヒストグラムの具体例を示す図である。ここでは、例えば、シーン特徴量記憶部３１には、（１）人物、（２）風景、（３）夜景、（４）夕焼け、（５）花火、（６）室内、（７）スノー、（８）ビーチ、（９）花、（１０）料理、（１１）名刺・文書、の１１種類のシーンのそれぞれについて標準的なモデルヒストグラムがあらかじめ記憶されているものとする。図４（ｃ）に示すモデルヒストグラムは、「（２）風景」のモデルヒストグラムの具体例を示している。図４（ａ）〜（ｃ）に示すヒストグラムにおいて、横軸は、各色に対応するビンを、縦軸は、頻度（画素数）×エッジ強度を表している。
【００８３】
ここで、図３（ａ）に示す画像データ（Fujiyama.jpg）に含まれる、「［富士山］」、「標高 3,776 m」、「日本最高峰の山」というテキストオブジェクトは、黄１色の画素から成っているものとする。
【００８４】
この場合、図４（ａ）の本発明のヒストグラムが、図４（ｂ）のヒストグラムと異なる点は、黄の色味の強さが特徴として含まれていない点である。これは、対象画素特定部１２が、黄色の文字列を含む各文字領域を対象画素から外したためである。
【００８５】
このように、「黄の色味の強さ」が混在したままの図４（ｂ）のヒストグラムを用いた場合、シーン判別処理において、図４（ｃ）のモデルヒストグラムとは類似しないと判断されるか、類似すると判断されても類似度は低く、信頼できる判別結果が得られないという問題がある。
【００８６】
しかし、本発明の画像属性判別装置１０によれば、「黄の色味の強さ」という、本来のシーン（属性）とは異なる特徴量を除外することができるため、シーン判別部１３は、画像データ（Fujiyama.jpg）から得られたヒストグラム（図４（ａ））と、「（２）風景」のモデルヒストグラム（図４（ｃ））とが最も類似度が高いと判断することができ、画像データ（Fujiyama.jpg）のシーンを「（２）風景」であると正しく判別することができる。
【００８７】
さらに、シーン判別部１３は、処理対象の画像データの特徴量と、モデル特徴量との類似度に応じて、上記画像データがそのシーンである確からしさ（そのシーンである可能性の高さ）を「信頼度」として数値化し、判別結果とともに出力してもよい。
【００８８】
シーン判別結果の信頼度は、画像データから抽出された特徴量（ヒストグラム）が、シーン特徴量記憶部３１に記憶されているモデル特徴量と類似しているほど高くなる。
【００８９】
なお、上述の特徴量抽出手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００９０】
上記構成によれば、画像データのシーンを判別する際、まず文字領域抽出部１１が、画像データに異質領域（例えば、風景写真に対するテキストオブジェクトなど）が含まれていればそれを抽出する。次に対象画素特定部１２が、異質領域内の画素について、シーン判別のための解析対象から外す画素を特定する。最後に、シーン判別部１３は、画像データの全画素のうち、解析対象として特定された画素に対して特徴量の抽出を行い、抽出した特徴量に基づいて、画像データのシーンの判別を行う。
【００９１】
これにより、画像データに本来のシーンとは異なる異質物が含まれている画像データについては、その異質領域を除いた領域のみを解析してシーン判別を行うので、画像データの異質領域に左右されずに画像データのシーンを精度よく判別することが可能になるという効果を奏する。
【００９２】
上述したとおり、制御部１は、さらに、文字認識部１４および復元部１５を備えていても良い。
【００９３】
文字認識部１４は、文字領域抽出部１１によって抽出された異質領域が文字（列）を含みうる文字領域である場合に、その文字領域に含まれる文字（列）を認識するものである。文字認識部１４は、文字照合辞書記憶部３２に記憶されている、あらゆる文字のモデル形状と、文字領域に含まれる、色やテクスチャなどから特定された文字（らしきもの）の形状とを比較し、該文字領域に含まれている文字（列）を特定する。
【００９４】
図３（ｂ）に示す例では、文字認識部１４は、文字領域抽出部１１が抽出した第１文字領域Ａｒ１から文字列「［富士山］」を認識し、第２文字領域Ａｒ２から文字列「標高 3,776 m」を認識し、第３文字領域Ａｒ３から文字列「日本最高峰の山」を認識して、それらをテキストデータとして出力する。出力されたテキストデータは、画像データの内容と関連がある言葉である可能性が高い。そこで、シーン判別部１３は、文字スコア記憶部３３を参照し、上記テキストデータの言葉の意味内容とシーンとの関連性を考慮して、画像データのシーンを判別してもよい。
【００９５】
さらに、文字認識部１４は、文字の上記モデル形状との類似度に応じて、文字領域に含まれている文字（列）が認識された文字（列）である確からしさを「信頼度」として数値化し、認識結果とともに出力してもよい。対象画素特定部１２は、文字認識結果の信頼度が低ければ、文字領域に含まれる文字らしきものは、実際は文字ではない（すなわち異質領域ではない）と判断し、対象画素の特定の際に考慮することができる。
【００９６】
なお、上述の文字認識手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００９７】
復元部１５は、対象画素特定部１２によって解析対象外の画素と特定されたために考慮されていない画素（異質領域）について、それらの対象外画素を、特徴量抽出の対象にするために、その周囲の解析対象画素の画素値に基づいて、解析対象画素と同質の画素値となるように復元するものである。
【００９８】
図５は、異質領域に対して復元処理が実施された画像データの一例を示す図である。図５に示すとおり、図３（ｂ）において、異質の文字領域として抽出された第１文字領域Ａｒ１、第２文字領域Ａｒ２および第３文字領域Ａｒ３に対して、復元部１５が復元処理を行うことで、各文字領域には、それ以外の領域と属性が同質の（色、テクスチャなどが富士山の風景と一致している）画素が補間される。復元された復元領域Ａｒ１’〜Ａｒ３’は、シーン判別部１３によってシーン判別のために参照される。
【００９９】
対象画素特定部１２は、復元部１５によって復元された画素を対象画素として特定しなおし、シーン判別部１３は、新たに特定された対象画素（復元された復元画素）について解析、特徴量の抽出などを実行する。これにより、１つの画素データについて、シーン判別のために考慮する領域をより広くすることができ、シーン判別結果の精度をさらに高めることができる。
【０１００】
なお、上述の復元手法については、非特許文献２に記載されている手法など、公知の技術が適宜採用される。
【０１０１】
シーン別処理実行部１６は、シーン判別部１３によって判別された画像データのシーン別に、画像データに対して異なる処理を実行するものである。本実施形態では、シーン別処理実行部１６は、判別されたシーン別に、そのシーンが最も美しい状態で表示されるように、画像データの表示用データを補正する。すなわち、シーン別処理実行部１６は、デジタルフォトフレーム１００において、シーン別自動補正機能を実行する画像データ補正部として機能する。
【０１０２】
これにより、画像データを、該画像データのシーンに応じて常に最適な状態に補正して美しく表示することが可能な画像処理装置として、デジタルフォトフレーム１００を構成することができる。
【０１０３】
具体的には、シーン別処理実行部１６は、「花火」や「花」のシーンであると判別された画像データについては、表示用データの彩度を上げて色鮮やかに補正したり、「夕焼け」のシーンであると判別された画像データについては、色相を少し変えて赤みを強調する補正を行ったり、「室内（イベント・パーティー）」のシーンであると判別された画像データについては、明度を上げることで明るい雰囲気に補正したりすることなどが考えられる。
【０１０４】
〔シーン判別処理フロー〕
図６は、本実施形態におけるデジタルフォトフレーム１００のシーン判別処理の流れを示すフローチャートである。
【０１０５】
まず、画像属性判別装置１０は、シーン判別処理の対象となる画像データ（例えば、図３（ａ）に示す「Fujiyama.jpg」）を、画像データ記憶部３０から一時記憶部５の画像メモリ５ａに展開する（Ｓ１０１）。対象画素特定部１２は、展開された画像データの各画素のフラグ配列を定義し、これを初期化する（Ｓ１０２）。例えば、画像データが、width（画像データの幅）×height（画像データの高さ）＝ｘ画素×ｙ画素の画素からなる場合、対象画素特定部１２は、特徴量抽出対象フラグ配列feat_use_flag[x][y]を定義する。ここで、対象画素特定部１２は、基本的には異質領域が含まれていなければ、画像データの全画素を特徴量抽出対象とするので、まずは、全画素のフラグをＴＲＵＥで初期化する。上述したとおり、フラグが「ＴＲＵＥ」である場合は、その画素が、特徴量抽出対象の画素であることを意味する。
【０１０６】
続いて、文字領域抽出部１１は、画像メモリ５ａ上に展開された画像データについて、異質領域としての文字領域を抽出する（Ｓ１０３）。上述した例では、図３（ｂ）に示すとおり、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域を抽出する。
【０１０７】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン判別のための特徴量抽出対象の画素となるか否かを特定する（Ｓ１０４）。本実施形態では、初期化によって全画素のフラグが現時点で「ＴＲＵＥ」になっているので、上記３つの文字領域内の画素について、フラグを「ＦＡＬＳＥ」にする。上述したとおり、フラグが「ＦＡＬＳＥ」である場合は、その画素が、特徴量抽出対象外の画素であることを意味する。
【０１０８】
シーン判別部１３は、画像データの画素のうち、フラグが「ＴＲＵＥ」の条件を満たす画素のみを対象に特徴量を抽出する（Ｓ１０５）。具体的には、色のヒストグラムを作成する。そして、シーン判別部１３は、Ｓ１０５で作成したヒストグラムと、シーン特徴量記憶部３１に記憶されている各シーンのモデルヒストグラムとの照合を行って、画像データのシーンを判別する（Ｓ１０６）。例えば、シーン判別部１３は、処理対象の画像データ（Fujiyama.jpg）から得られたヒストグラム（例えば、図４（ａ））と、シーン特徴量記憶部３１に記憶されている「（２）風景」のモデルヒストグラム（例えば、図４（ｃ））とが最も類似度が高いと判断したら、上記画像データのシーンを「（２）風景」であると判別する。
【０１０９】
最後に、シーン判別部１３は、シーン判別結果「（２）風景」を、シーン別処理実行部１６に出力する（Ｓ１０７）。
【０１１０】
これにより、例えば、シーン別処理実行部１６は、シーン判別結果「（２）風景」に基づいて、風景の写真が最も美しく表示されるように、図３（ａ）に示す画像データの表示用データを補正して、表示部３に出力することができる。
【０１１１】
上記構成によれば、画像データのシーンを判別する際、まず文字領域抽出部１１が、画像データに異質領域（例えば、風景写真に対するテキストオブジェクトなど）が含まれていればそれを抽出する。次に対象画素特定部１２が、異質領域内の画素について、シーン判別のための解析対象から外す画素を特定する。最後に、シーン判別部１３は、画像データの全画素のうち、解析対象から外された画素を除いて画像データの特徴量の抽出を行い、抽出した特徴量に基づいて、画像データのシーンの判別を行う。
【０１１２】
これにより、画像データに本来のシーンとは異なる異質物が含まれている画像データについては、その異質領域を除いた領域のみを解析してシーン判別を行うので、画像データの異質領域に左右されずに画像データのシーンを精度よく判別することが可能になるという効果を奏する。
【０１１３】
上述の例では、「［富士山］」、「標高 3,776 m」、「日本最高峰の山」というテキストオブジェクトが、富士山の写真に追加されている。このテキストオブジェクトが、例えば、黄１色の画素で成り立っている場合には、通常の富士山の風景写真には含まれない色とテクスチャの異質な領域が画像データに含まれることになる。このような異質領域を含んだまま全画素についてヒストグラムが作成されると、そのヒストグラムは、本来の風景シーンでは通常含まれない形状を含むことになる。（例えば、図４（ｂ））。このようなヒストグラムに基づいてマッチングを行うと、誤って別のシーンであると判別されたり、判別されたとしても非常に信頼度の低い判別結果しか得られなかったりするという問題がある。
【０１１４】
しかし、本願発明によれば、上述の黄１色の領域を除いた残りの領域内の画素（つまり、富士山の風景の写真を構成している画素）についてのみヒストグラムを作成し、これに基づいてマッチングが行われる。よって、シーンの特徴を表現していない「黄色味が強い特徴」による悪影響を抑制して、シーン判別処理を実行することができ、上記の問題を解消することが可能となる。
【０１１５】
≪実施形態２≫
本実施形態では、上述の実施形態１の構成を基本構成として、シーン判別処理をより効率よく行うための、または、シーン判別処理の精度をより向上させるための追加の構成について説明する。
【０１１６】
〔文字領域の面積を考慮する〕
対象画素特定部１２は、文字領域抽出部１１によって抽出された文字領域が画像データの全体に占める割合に応じて、シーン判別処理における解析対象画素とするか否かを決定してもよい。具体的には、文字領域の広さの割合が所定の閾値以上であれば、当該文字領域が画像データのシーン判別処理に与える影響は大きいと考えて、対象画素特定部１２は、文字領域を解析対象画素から除く（フラグをＦＡＬＳＥにする）。一方、文字領域の広さの割合が所定の閾値を下回れば、その文字領域が本来のシーンとは異質のものであっても、画像データのシーン判別処理に与える悪影響は小さいと考えて、対象画素特定部１２は、画像データの全画素のフラグをＴＲＵＥのままとする。
【０１１７】
上記構成によれば、異質領域の悪影響が小さい場合には、対象画素特定部１２において、対象画素特定処理（フラグをＦＡＬＳＥ／ＴＲＵＥにする処理）を省略することができ、シーン判別処理の精度を保ちつつ、シーン判別処理の効率化を図ることが可能となる。
【０１１８】
〔文字領域が文字である確からしさを考慮する〕
あるいは、対象画素特定部１２は、文字認識部１４が文字領域に対して文字認識処理を実行する場合に、文字認識結果の信頼度に応じて、シーン判別処理における解析対象画素とするか否かを決定してもよい。図７は、文字認識部１４によって出力される文字認識結果とその信頼度との具体例を示す図である。図７は、文字認識部１４が、文字領域抽出部１１によって画像データ（Fujiyama.jpg）から抽出された３つの文字領域ごとに文字認識を行い、各領域の文字認識結果についてさらに信頼度を出力した結果の例を示している。
【０１１９】
この具体例に基づいて説明すると、対象画素特定部１２は、上記信頼度が所定の閾値以上であれば、当該文字領域に含まれているのは、異質物としての文字（列）である可能性が高いと考えて、その文字領域の全画素のフラグをＦＡＬＳＥにする。一方、上記信頼度が所定の閾値を下回れば、その文字領域とされていた領域は、実際は文字（列）が含まれていなかったと考えて、対象画素特定部１２は、その領域の画素のフラグをＴＲＵＥのままとする。例えば、閾値となる信頼度のスコアが「５５」である場合、図７に示す例では、図３（ｂ）に示す３つの文字領域についての文字認識結果の信頼度は、すべて５５以上であるので、対象画素特定部１２は、３つの文字領域の全画素のフラグをＦＡＬＳＥにする。
【０１２０】
上記構成によれば、文字領域抽出部１１によって、一旦は文字領域として判断されたが、文字認識部１４によって一定の確かさで文字として認識されなかった領域については、対象画素特定部１２は、実際は、異質物が含まれた異質領域ではないと判断しなおす。そして、対象画素特定部１２は、この領域を、シーン判別処理における解析対象として特定する。これにより、誤って文字領域と認識された領域を、誤って解析対象から外すことを回避することができ、したがって、シーン判別処理の精度を向上させることが可能となる。
【０１２１】
〔シーン判別結果の信頼度を出力する〕
シーン判別部１３は、処理対象の画像データのヒストグラムと、シーン特徴量記憶部３１に記憶されているモデルヒストグラムとのマッチングを行う際、その類似度に応じて、シーン判別結果の信頼度を出力してもよい。図８は、シーン判別部１３によって出力されるシーン判別結果とその信頼度との具体例を示す図である。図８に示す例では、シーン判別部１３がマッチングを行った結果、図３（ｂ）に示す画像データのヒストグラムは、シーン「風景」のモデルヒストグラムとの類似度が最も高く、スコア「６０」の信頼度であり、次いで、「ビーチ」、「スノー」、「料理」、「夜景」の順に、それぞれのモデルヒストグラムとの類似度に応じて信頼度が算出されている。
【０１２２】
そして、シーン判別部１３は、上記画像データのシーンを「風景」と判別して、信頼度「６０」の値とともにシーン別処理実行部１６に出力する。あるいは、シーン判別部１３は、信頼度が所定の閾値に満たない場合には、別の処理を実行してもよい。
【０１２３】
例えば、当該画像データのシーンを判別できない旨のメッセージをユーザに表示したり、シーン別処理実行部１６に出力したりする。この場合、シーン別処理実行部１６は、シーン別の処理ではなく、デフォルトの処理を上記画像データに施せばよい。あるいは、信頼度が低いことを明示するメッセージをユーザに表示してもよい。この場合、ユーザは判別結果を確認して、誤りがあれば訂正するなどの措置を講じることができる。上記構成によれば、シーン判別結果が正しくない場合に、それをユーザが見過ごすことを防止できる。
【０１２４】
なお、シーン判別部１３は、文字領域として解析対象外とされた面積が、画像データ全体において占める割合を加味して、シーン判別結果の信頼度を出力してもよい。具体的には、文字領域の面積の割合が多ければ、解析対象となった画素が少なく、画像データのシーン判別精度が低下すると考えられる。そこで、シーン判別部１３は、画像データにおいて文字領域が占める割合が多いほど、図８に示す各シーンの信頼度が低くなるようにスコアを調節してもよい。
【０１２５】
これにより、画像属性判別装置１０は、シーン判別結果の信頼度をより正確に把握することが可能となり、信頼度に応じた正しい措置を実行することができる。
【０１２６】
〔文字領域を復元する〕
また、例えば、シーン判別結果について、一定以上の信頼度が得られなかった場合に、復元部１５が、解析対象から外された異質領域に対して復元処理を行い、その復元領域の画素値も加味して画像データのシーン判別処理をやり直してもよい。このように解析対象の画素が増えれば、より信頼性の高いシーン判別処理を実行することができる。なお、復元領域は、復元を行っていない対象画素の領域と比べて、復元後の画素値が元の画素値と同じである確かさが低いので、シーン判別部１３は、ヒストグラムを作成する場合に、復元された画素から抽出された特徴量に対して、０から１の間の係数を掛けるなどの重み付けをしてもよい。
【０１２７】
なお、復元部１５による復元処理は、対象画素特定部１２が解析対象外と特定した画素に対して、信頼度に関わらず必ず実行される構成であってもよい。しかしながら、上記構成は、信頼度が低い場合に絞って復元処理を実行する構成である。よって、高負荷の復元処理の機会を減らし、画像属性判別装置１０全体の処理効率を向上させることができるので好ましい。
【０１２８】
〔文字（列）の意味内容を考慮する〕
さらに、本発明の画像属性判別装置１０は、上記文字認識結果（例えば、図７に示す文字列）をシーン判別処理の指標の１つとして用いてもよい。つまり、認識された文字列がどのような意味を持つ単語を含んでいるのかを考慮して、図８に示すシーン判別結果のシーンごとの信頼度を算出してもよい。
【０１２９】
例えば、画像属性判別装置１０は、さらに、キーワード抽出部１７（図１に示す）を備えている。また、記憶部２は、文字スコア記憶部３３を備えている。キーワード抽出部１７は、文字認識部１４が領域ごとに認識した文字列に対して、さらに形態素解析を行うなどして、意味を持つ文字（列）の最小単位としてキーワードを抽出するものである。例えば、キーワード抽出部１７は、どのような構成でもよいが、文字列から名詞のキーワードを抽出する構成であってもよい。文字スコア記憶部３３は、キーワードごとに、どのシーンに対する信頼度をいくつ加点するのかを示した対応表を記憶するものである。つまり、文字スコア記憶部３３は、キーワードとシーン（属性）との関連性を信頼度に加算すべきスコアとして記憶するものである。
【０１３０】
図７に示す例では、キーワード抽出部１７は、第１文字領域Ａｒ１の文字列「［富士山］」から、キーワード「富士山」および「山」を抽出する。残りの領域の文字列についても同様にキーワードを抽出する。
【０１３１】
シーン判別部１３は、キーワード抽出部１７によって抽出されたキーワードに基づいて、文字スコア記憶部３３を参照し、どのシーンに信頼度を何点追加するのかを特定する。そして特定した加点スコアを、図８に示す、シーンごとに出力した信頼度に加算する。具体的には以下のとおりである。
【０１３２】
図９は、文字スコア記憶部３３に記憶されている、キーワードとシーンと加点スコアとの対応関係を示す対応表の具体例を示す図である。図９に示すとおり、対応表において、キーワードごとに、加点対象となるシーンと、そのときの加点スコアとが対応付けて記憶されている。
【０１３３】
例えば、図９に示す対応表の第１レコードは、画像データの文字領域に、キーワード「富士山」が含まれている場合には、当該画像データの判別結果（図８）におけるシーン「風景」の信頼度に対して、スコア「５０」を加算することを意味している。
【０１３４】
より詳細には、キーワード抽出部１７は、３つの文字領域の各文字列から文字認識部１４が認識した、キーワード「富士山」を１個、キーワード「山」を２個など、図７に示す計７個のキーワードを抽出する。キーワード抽出部１７が抽出したキーワードは、図７に示すとおり、各文字領域に対応付けて格納されてもよいし、画像データ（Fujiyama.jpg）に対応付けてまとめて格納されてもよい。
【０１３５】
そして、シーン判別部１３は、上述の実施形態で説明したシーン判別処理によって、図８に示すシーン判別結果を出力した後、キーワード抽出部１７が抽出したキーワードに基づいて、文字スコア記憶部３３の対応表（図９）を参照する。
【０１３６】
シーン判別部１３は、キーワード「富士山」の加点スコア「５０点×１個＝５０点」をシーン「風景」の信頼度に加点する。また、キーワード「山」の加点スコア「１０点×２個＝２０点」をシーン「風景」の信頼度に加点する。「富士山」および「山」以外の４個のキーワードについては、文字スコア記憶部３３に記憶されていない場合は加点しない。つまり、図８に示すシーン「風景」の信頼度のスコア「６０」に、「７０」を加算して、シーン「風景」の信頼度を最終的に「１３０」として出力する。
【０１３７】
このように、画像データに含まれている文字列の意味内容を、当該画像データのシーン判別結果に加味することにより、より信頼性の高いシーン判別結果を出力することが可能となる。テロップ、写真タイトル等の文字列には、その画像データのシーンに関連が深い単語が含まれている場合が多く、したがって、これをシーン判別処理の指標の１つとすることで、シーン判別結果の精度を向上させることができる。
【０１３８】
〔シーン判別処理フロー〕
図１０Ａおよび図１０Ｂは、本実施形態におけるデジタルフォトフレーム１００のシーン判別処理の流れの一例を示すフローチャートである。
【０１３９】
図６のＳ１０１〜Ｓ１０３に示すのと同様の方法であるが、まず、画像属性判別装置１０は、処理対象となる画像データ（Fujiyama.jpg）を画像データ記憶部３０から読み出して、画像メモリ５ａに展開する（Ｓ２０１）。対象画素特定部１２は、展開された画像データの各画素のフラグ配列を定義し、これをＴＲＵＥに初期化する（Ｓ２０２）。文字領域抽出部１１は、画像メモリ５ａ上に展開された画像データについて、異質領域としての文字領域を抽出する（Ｓ２０３）。ここでは、図３（ｂ）に示すとおり、文字領域抽出部１１は、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域を抽出する。
【０１４０】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン判別のための特徴量抽出対象の画素となるか否かを特定する。詳細には、まず、対象画素特定部１２は、文字領域抽出部１１によって画像データから抽出された全文字領域の面積が所定の閾値以上か、未満かを判断する（Ｓ２０４）。各文字領域の合計面積が所定の閾値に満たない場合（Ｓ２０４においてＮＯ）、その文字領域（異質領域）が、画像データのシーン判別処理に与える悪影響は少ないと考えて、対象画素特定処理を実施せずに、画像データの全画素を解析対象として、Ｓ２１１以降のシーン判別処理（図１０Ｂ）に移行する。
【０１４１】
一方、各文字領域の合計面積が所定の閾値以上である場合（Ｓ２０４においてＹＥＳ）、Ｓ２０５以降の対象画素特定処理に移行する。Ｓ２０５にて、対象画素特定部１２は、変数ｉに初期値１を代入する。そして、ｉ番目の文字領域の各画素について、フラグをＴＲＵＥで維持したり、ＦＡＬＳＥに変えたりする処理が実行される。
【０１４２】
具体的には、まず、文字認識部１４が、ｉ番目の文字領域について、文字認識処理を実行する（Ｓ２０６）。文字認識部１４は、図７に示すように、ｉ番目の文字領域の文字認識結果とその信頼度とを出力する。ここで、キーワード抽出部１７は、文字認識部１４によって認識された文字（列）から、キーワードを抽出してもよい。あるいは、全領域について文字認識処理が完了してから最後にまとめてキーワード抽出が行われてもよい。
【０１４３】
対象画素特定部１２は、文字認識部１４によって出力された当該文字領域の文字認識結
果の信頼度を参照し、所定の閾値以上か、未満かを判断する（Ｓ２０７）。文字認識結果の信頼度が閾値に満たない場合（Ｓ２０７においてＮＯ）、それまで文字領域とされていたｉ番目の領域は、実は文字領域でない（すなわち異質物を含んでいない）可能性が高いと判断し、当該領域の各画素のフラグをＴＲＵＥのまま維持する。すなわち、対象画素特定部１２は、上記領域の各画素をシーン判別のための解析対象から外さないと決定する。
【０１４４】
一方、文字認識結果の信頼度が閾値以上である場合（Ｓ２０７においてＹＥＳ）、当該文字領域が、シーン判別に悪影響を与える文字（列）を含んでいる可能性が高いと判断し、当該文字領域の各画素のフラグをＦＡＬＳＥにする（Ｓ２０８）。すなわち、対象画素特定部１２は、上記文字領域の各画素をシーン判別のための解析対象から外すと決定する。１つの文字領域について、各画素のフラグのＴＲＵＥまたはＦＬＡＳＥが特定されると、対象画素特定部１２は、ｉを１つインクリメントして（Ｓ２０９）、次の文字領域について、同様の手順で解析対象画素とするか否かを特定し、この処理を文字領域抽出部１１によって抽出されたすべての文字領域について繰り返す。対象画素特定部１２が、すべての文字領域（例えば、３つの文字領域すべて）について、対象画素特定処理を終了させると（Ｓ２１０）、シーン判別部１３が当該画像データ（Fujiyama.jpg）についてシーン判別処理を実行する。
【０１４５】
シーン判別部１３は、図６のＳ１０５、Ｓ１０６に示すのと同様の方法で、当該画像データにおいて、フラグが「ＴＲＵＥ」の条件を満たす画素のみを対象に特徴量を抽出（ヒストグラムを作成）し（Ｓ２１１）、シーンごとのモデル特徴量（モデルヒストグラム）との照合を行って、画像データのシーンを判別する（Ｓ２１２）。ここで、シーン判別部１３は、画像データの特徴量とシーンごとのモデル特徴量との類似度、文字認識部１４およびキーワード抽出部１７によって取得された文字領域に含まれるキーワード、および、対象外とされた文字領域の大きさなどの各要因に基づいて、当該画像のシーンとして判別されたシーンおよび次点以下の他のシーンごとに信頼度を算出する（Ｓ２１３）。例えば、シーン判別部１３は、シーン判別結果およびその信頼度を「（１位）シーン：風景、信頼度：１３０」のように出力する。
【０１４６】
続いて、シーン判別部１３は、画像データ（Fujiyama.jpg）のシーンが判別されたシーン（例えば「風景」）であるという確かさがどの程度であるのかを判断する。例えば、上記の「信頼度：１３０」が、所定の閾値以上か、未満かを判断する（Ｓ２１４）。ここで、シーン判別結果の信頼度が所定の閾値以上であれば、シーン判別部１３は、判別したシーンはほぼ確実に正しいと判断し、シーン判別結果をシーン別処理実行部１６に出力する。例えば、画像データ（Fujiyama.jpg）のシーンは「風景」であるという判別結果をシーン別処理実行部１６に出力する（Ｓ２１８）。
【０１４７】
一方、シーン判別結果の信頼度が所定の閾値未満であれば、画像データのシーンが本当にそのシーンであるのか疑わしいとして、画像属性判別装置１０は、判別結果の精度を向上させる処理に移行する。具体的には、復元部１５は、対象画素特定部１２によってフラグがＦＡＬＳＥに設定された各画素について、異質物を取り除く復元処理を実行する（Ｓ２１５）。この復元処理には、公知の復元技術が適用される。
【０１４８】
そして、シーン判別部１３は、復元部１５によって復元された、フラグがＦＡＬＳＥである各画素を対象に、特徴量を抽出する（Ｓ２１６）。シーン判別部１３は、Ｓ２１１にて作成したＴＲＵＥの各画素のヒストグラムに、上記ＦＡＬＳＥの各画素のヒストグラムを合成し、合成後のヒストグラムを用いて、各シーンのモデルヒストグラムとのマッチングを行い、画像データのシーン判別を再度行う（Ｓ２１７）。これにより、画像データ（Fujiyama.jpg）のシーン判別結果と信頼度とが再び求められ、最も信頼度の高いシーンが、当該画像データのシーンであるとしてシーン別処理実行部１６に出力される（Ｓ２１８）。
【０１４９】
これにより、シーン別処理実行部１６は、画像データ（Fujiyama.jpg）に対して、シーン「風景」に応じた処理を施すことが可能となる。例えば、シーン別処理実行部１６は、シーン別自動補正機能を有し、上記画像データに対して、風景写真が最も美しく映えるような画像処理を行って、表示部３に表示することなどが可能である。
【０１５０】
以上のとおり、上記方法によれば、画像属性判別装置１０において、シーン判別処理の効率化と、シーン判別処理の精度向上とを、画像属性判別装置１０の性能、使用環境などに応じてバランスよく構成することができる。
【０１５１】
本発明の画像属性判別装置１０は、本実施形態で説明した追加の構成のすべてを備えていなくてもよく、画像属性判別装置１０の構成は、本発明を実現する装置の情報処理能力、使用用途、使用環境などを考慮して、シーン判別処理の効率化および精度向上をバランスよく実現できるように、適宜選択的に設計される。
【０１５２】
〔文字領域の抽出方法〕
上述の各実施形態では、文字領域抽出部１１は、図３（ｂ）に示すとおり、画像データからある程度まとまった文字列らしき形状の外接矩形を文字領域として抽出するものとして説明したが、文字領域抽出部１１の構成はこれに限定されない。
【０１５３】
図１１および図１２は、図３（ａ）の画像データから文字領域抽出部１１が文字領域として抽出した領域の他の例を示す図である。
【０１５４】
例えば、図１１に示すとおり、文字領域抽出部１１は、文字（らしき）形状の外接矩形を１文字単位で文字領域として抽出してもよい。この場合、対象画素特定部１２が対象画素特定処理を実行するときの領域数が増えて画像属性判別装置１０に処理負荷がかかるという不利な点がある一方、図３（ｂ）のように大きく３つの領域に括られてしまう場合と比較して、解析対象外として無視される画素を減らすことができ、したがって、シーン判別処理の精度を向上させることができるという有利な点がある。
【０１５５】
あるいは、図１２に示すとおり、文字領域抽出部１１は、異質物の外接矩形ではなく、色、テクスチャなどから異質物（文字など）を写した画素のみを厳格に文字領域として抽出してもよい。この場合、文字領域抽出部１１、対象画素特定部１２における処理負荷はさらに大きくなる一方、解析対象外として無視される画素をさらに大幅に減らすことができ、したがって、シーン判別処理の精度をさらに向上させることができる。
【０１５６】
≪実施形態３≫
上述の各実施形態では、画像データの異質領域に左右されずに画像データの属性（シーン）を精度よく、かつ、効率的に判別することが可能な画像属性判別装置１０について説明した。この画像属性判別装置１０は、シーン特徴量記憶部３１においてあらかじめ学習されているモデル特徴量を、画像データの特徴量と照合することによりシーンの判別を行っている。したがって、モデル特徴量が、シーンに応じた特徴を正しく反映していることが、精度よいシーン判別のために必要である。本実施形態では、シーン特徴量記憶部３１に学習させる、シーンごとのモデル特徴量をより正確に作成する属性判別支援装置２０について説明する。
【０１５７】
本発明の属性判別支援装置２０は、シーン学習機能を実行する。シーン学習機能とは、学習対象となるサンプルの画像データを指定した正解のシーンと対応付けて装置が受け付けて、画像データから特徴量を抽出して、その特徴量を、指定されたシーンのモデル特徴量の一部として学習させる機能である。例えば、シーンが「風景」にカテゴライズされる画像データをあらかじめ複数用意しておき、これらの画像データから特徴量を抽出して、例えばその平均値などを、シーン「風景」のモデル特徴量とする。
【０１５８】
したがって、サンプルとして入力される画像データに上述したような異質領域（テロップなどの文字列）が含まれると、モデル特徴量がそのシーンの本来の特徴とは異質の特徴を含むことになってしまう。例えば、通常、「風景」の画像データには、黄色の文字形状は含まれないが、このような異質の黄色のテキストオブジェクトが本来のモデル特徴量を正しくない方向に歪ませてしまう。このようにモデル特徴量がそのシーンに応じた特徴を正しく反映していないと、それを用いて行われるシーン判別処理の精度が低下してしまうという問題がある。
【０１５９】
そこで、本発明の属性判別支援装置２０は、入力されたサンプルの画像データに異質領域が含まれている場合には、それを検出し取り除いた上で特徴量を求め、指定されたシーンのモデル特徴量に追加する。これにより、画像データの異質領域に左右されない、正確なモデル特徴量を作成することが可能となり、画像属性判別装置１０が、異質領域に左右されずに画像データの属性を精度よく判別することが可能になる。
【０１６０】
属性判別支援装置２０は、ユーザが使用する上述のデジタルフォトフレーム１００などの各種画像処理装置に適用してもよい。あるいは、本発明の属性判別支援装置２０は、上記画像処理装置の製造段階において、画像処理装置のシーン特徴量記憶部３１に記憶させるモデル特徴量を、あらかじめ用意された大量のサンプル画像データに基づいて作成する情報処理装置によって実現されてもよい。
【０１６１】
〔デジタルフォトフレームの構成〕
図１３は、本発明の実施形態におけるデジタルフォトフレーム１００の要部構成を示すブロック図である。なお、図１３の各構成要素に付された符号は、図１の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素についての説明は繰り返さない。
【０１６２】
図１に示すデジタルフォトフレーム１００と異なる点は、制御部１が、さらに、機能ブロックとしてのモデル特徴量算出部１８を備えている点である。モデル特徴量算出部１８と、他の各機能ブロック（特に、文字領域抽出部１１、対象画素特定部１２、さらには、文字認識部１４）は、シーン学習機能を実行する属性判別支援装置２０として機能する。属性判別支援装置２０は、さらに、復元部１５を備えていてもよい。
【０１６３】
属性判別支援装置２０は、まず、学習対象となるサンプルの画像データを指定した正解のシーンと対応付けて受け付ける。この入力を受け付ける方法は特に限定されないが、例えば、以下のとおりである。ユーザが学習させたい画像データを記録した外部記録媒体をデジタルフォトフレーム１００に装着し、デジタルフォトフレーム１００が、図示しない外部インターフェースを介して上記画像データを取り込む。ユーザは、操作部４を用いてデジタルフォトフレーム１００を操作し、取り込まれた上記画像データに対応付ける正解のシーンを指定し、学習を指示する。属性判別支援装置２０は、受け付けた画像データに入力された正解のシーンを対応付けて画像データ記憶部３０に登録する。このように登録された画像データは、シーン学習処理に用いられるとともに、表示部３に表示する画像データとして用いられてもよい。
【０１６４】
学習が指示されると、文字領域抽出部１１は、学習対象として受け付けた画像データを処理して、異質領域（ここでは、文字領域）が含まれていればそれを抽出する。
【０１６５】
対象画素特定部１２は、文字領域抽出部１１によって抽出された文字領域内の各画素について、それを特徴量抽出の対象画素とするか否かを特定する。ここでも、上述の実施形態と同様に、対象画素特定部１２は、対象画素のフラグにＴＲＵＥ、対象外の画素のフラグにＦＡＬＳＥを設定する。
【０１６６】
モデル特徴量算出部１８は、学習対象として受け付けた画像データの特徴量を抽出し、抽出した特徴量を用いて、指定されたシーンのモデル特徴量を算出するものである。本実施形態では、デジタルフォトフレーム１００において、モデル特徴量算出部１８は、すでに作成されているモデル特徴量に対して、今回新たに抽出した特徴量を含めて再度特徴量の平均値を算出しなおし、指定されたシーンのモデル特徴量を更新する。
【０１６７】
例えば、指定されたシーン「風景」の指定とともに、学習対象の画像データＡが入力された場合、現時点でのシーン「風景」のモデル特徴量をＸ、Ｘの素になっている「風景」のサンプル画像データ（の特徴量）数をＮ個、新たに抽出した画像データＡの特徴量をＹとすると、モデル特徴量算出部１８は、次式、
（Ｘ＊Ｎ＋Ｙ）／（Ｎ＋１）・・・（式１）
にしたがって、新たな「風景」のモデル特徴量を作成し、シーン特徴量記憶部３１のモデル特徴量を更新する。これは、特徴量Ｙのデータ数が１の場合、すなわち、画像データＡが１枚の場合の式である。なお、特徴量Ｘと特徴量Ｙとは、ベクトル量であり、例えば、ヒストグラムを示す。
【０１６８】
上記構成によれば、シーン学習機能を実行する際に、学習対象となる画像データに対して、前処理として、まず、文字領域抽出部１１が文字領域抽出処理を行う。そして、モデル特徴量算出部１８が、対象画素特定部１２によって特定された処理対象外の画素を除いて得られる特徴量に基づいて、モデル特徴量を作成する。
【０１６９】
これにより、異質物（テロップ等の文字）が含まれている画像データが、学習対象の画像データの中に不都合にも混在している場合でも、この異質物による悪影響が排除されたモデル特徴量を得ることができる。結果として、画像属性判別装置１０のシーン判別精度を向上させることができる。
【０１７０】
なお、対象画素特定部１２によって、文字領域として特徴量抽出の対象から外された画素に対して、復元部１５が復元処理を実行してもよい。例えば、復元部１５は、文字列によって隠されている本来の背景を復元することなどが可能である。これにより、より信頼性の高いモデル特徴量を作成することができる。
【０１７１】
〔シーン学習処理フロー〕
図１４は、本実施形態におけるデジタルフォトフレーム１００のシーン学習処理の流れの一例を示すフローチャートである。
【０１７２】
まず、属性判別支援装置２０は、学習対象となる画像データ（ここでも、図３（ａ）に示す、Fujiyama.jpgとする）の入力とともに、該画像データに対応付けられる正解のシーン（ここでは、「風景」とする）の指定を受け付ける（Ｓ３０１）。
【０１７３】
文字領域抽出部１１は、画像データ（Fujiyama.jpg）に対して、異質領域（ここでは、文字領域）抽出処理を実行する（Ｓ３０２）。文字領域抽出処理は、上述の各実施形態と同様の手順で行われ、例えば、図３（ｂ）に示すとおり、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域が抽出されたとする。
【０１７４】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン学習のための特徴量抽出の対象画素となるか否かを特定する対象画素特定処理を実行する（Ｓ３０３）。本実施形態では、図１０ＡのＳ２０５〜Ｓ２１０に示されるのと同様の手順で各文字領域の画素ごとに、特徴量抽出の対象となるか（ＴＲＵＥ）、否か（ＦＡＬＳＥ）が特定される。すなわち、対象画素特定部１２は、文字領域が実際は文字を含んでいない可能性が高い場合には、その中の各画素を特徴量抽出の対象とし、文字を含んでいる可能性が高い文字領域については、その中の各画素を特徴量抽出の対象外とする。
【０１７５】
続いて、モデル特徴量算出部１８は、画像データ（Fujiyama.jpg）の画素のうち、フラグがＴＲＵＥの条件を満たす画素のみを対象にして特徴量を抽出（例えば、ヒストグラムを作成）する（Ｓ３０４）。そして、モデル特徴量算出部１８は、Ｓ３０１にて受け付けたシーン（ここでは「風景」）のモデル特徴量をシーン特徴量記憶部３１から読み出して、
Ｓ３０４で抽出した特徴量に基づいて再計算し、これを更新する（Ｓ３０５）。例えば、モデル特徴量算出部１８は、画像データ（Fujiyama.jpg）を含む風景のサンプル画像データの各々から得られる色のヒストグラムの平均値を算出し、これを、シーン「風景」の新しいモデルヒストグラムとして更新する。
【０１７６】
上記方法によれば、シーン学習機能を実行する際に、学習対象となる画像データに文字（列）などの異質領域が含まれている場合には、その領域を除いた画素群について得られる特徴量を、指定されたシーンのモデル特徴量に加えることができる。
【０１７７】
これにより、より正確なモデル特徴量を作成することでき、結果として、画像属性判別装置１０が、精度よくシーン判別を行うことが可能になる。
【０１７８】
なお、上述した実施形態２では、シーン判別処理の効率化を目的として、抽出された文字領域が小さい場合には、対象画素特定処理（フラグがＴＲＵＥかＦＡＬＳＥかを決定する処理）を省略することについて説明した。しかしながら、本実施形態では、より正確なモデル特徴量を作成するという目的から、画像データから抽出された文字領域が小さい場合でも、それが異質のものである場合には、ＦＡＬＳＥのフラグを立てて対象画素から除外することが好ましい。なぜならば、１つの画像データについて、正しいシーンを判別するような実施形態２のケースでは、小さい文字領域が与える悪影響は少ないが、多数の画像データを用いて、１つのシーンのモデル特徴量を作成する本実施形態では、小さい文字領域の積み重ねが、正確なモデル特徴量の作成の妨げになる虞があるからである。
【０１７９】
また、属性判別支援装置２０は、さらに、復元部１５を備えていてもよい。Ｓ３０３において対象画素特定部１２によって特定されたＦＡＬＳＥの画素の面積（文字領域の面積）が所定の閾値よりも大きい場合には、復元部１５は、文字領域に対して復元処理を実行する。対象画素特定部１２は、復元された領域の画素のフラグをＴＲＵＥとし、対象画素の面積を増やす。これにより、より多くの同質の画素を特徴量抽出の対象とすることができ、作成するモデル特徴量の信頼性をより高めることが可能である。
【０１８０】
図１５は、本発明の実施形態において、デジタルフォトフレーム１００のシーン特徴量記憶部３１に搭載するモデル特徴量を作成する属性判別支援装置２０の要部構成を示すブロック図である。ここでは、属性判別支援装置２０は、大量の画像データを処理するのに適したサーバ、パーソナルコンピュータ、スーパーコンピュータなどの各種情報処理装置で実現される。なお、図１５の各構成要素に付された符号は、図１、１３の各構成要素に付された符号に対応しており、同じ符号は、同じ機能を持つ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素について、同じ説明は繰り返さない。
【０１８１】
表示部３は、ここでは、操作者が大量の画像データを登録したり、シーンを指定したりするための操作画面をＧＵＩ（Graphical User Interface）画面として表示する。例えば、学習対象の画像データを操作するためのアイコンを一覧表示したり、すでに、画像データ記憶部３０に登録されている画像データをシーンごとにサムネイル表示したりして、操作者がシーン学習機能を実行するのに便利なＧＵＩ画面を表示する。
【０１８２】
操作部４は、ここでは、操作者が属性判別支援装置２０を操作するためのものであり、例えば、マウス、キーボードなどで実現される。具体的には、操作者はマウスを操作して、表示部３に表示されている、新たに登録した大量のサンプルの画像データを一度に選択し、特定のシーン「風景」のフォルダにドラッグアンドドロップで格納することが可能である。これにより、操作者は、シーンを指定して一度に大量の画像データを登録することができ、簡単な操作で、属性判別支援装置２０にそのシーンの特徴を学習させることが可能となる。
【０１８３】
制御部１は、記憶部２から一時記憶部５に読み出されたプログラムを実行することにより、各種の演算を行うと共に、属性判別支援装置２０が備える各部を、バス６を介して統括的に制御するものである。制御部１は、機能ブロックとして、少なくとも、異質領域抽出部１１ａ、対象画素特定部１２およびモデル特徴量算出部１８を備える構成である。さらに、制御部１は、学習対象管理部１９、文字認識部１４および復元部１５を備えていてもよい。これらの各ブロックは、属性判別支援装置２０のシーン学習機能を実行する機能ブロックである。各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶部２に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部５に読み出して実行することで実現できる。
【０１８４】
異質領域抽出部１１ａは、学習対象の画像データに含まれる異質領域を抽出するものである。上述の各実施形態では、文字領域抽出部１１が、異質領域として文字（列）を含む文字領域を抽出する構成であった。しかし、異質領域抽出部１１ａは、文字領域に限定されず、あらゆる異質物を含む異質領域を抽出する構成である。文字領域以外の異質領域の具体例については後述するが、本実施形態における属性判別支援装置２０のように、モデル特徴量を作成するために大量のサンプル画像データを一度に読み込ませる装置の場合、文字（列）のみならず、サンプルには相応しくない、あらゆる異質物を含む画像データが混入する可能性がある。そこで、異質領域抽出部１１ａは、色やテクスチャの特徴などからあらゆる種類の異質物を検出できることが好ましい。
【０１８５】
学習対象管理部１９は、操作者からの学習の指示を受け付けるものであり、自装置に入力された学習対象の大量の画像データを、指定されたシーンの情報とともに画像データ記憶部３０に記憶し管理するものである。学習対象管理部１９が記憶した画像データは、モデル特徴量算出部１８によって特徴量が抽出される際に、画像メモリ５ａ上に１枚ずつ展開される。学習対象管理部１９は、展開された画像データの正解のシーンが何であるのかをモデル特徴量算出部１８に伝達する。
【０１８６】
モデル特徴量算出部１８は、上述したのと同様の手順で、自装置に入力された１つのシーンについての複数のサンプル画像データの特徴量を抽出し、それらの特徴量に基づいて、モデル特徴量を算出するものである。
【０１８７】
例えば、学習の指示、および、シーン「風景」に対応付けて１００枚のサンプルの画像データが入力された場合、学習対象管理部１９は、１００枚の画像データをシーン「風景」に対応付けて画像データ記憶部３０に記憶する。そして、異質領域抽出部１１ａが、画像メモリ５ａに展開した１枚の画像データの異質領域を検出し、対象画素特定部１２が、各異質領域を除外するフラグ（ＦＡＬＳＥ）を各画素にセットする。
【０１８８】
モデル特徴量算出部１８は、上記画像データについて、フラグがＴＲＵＥの画素についてのみ特徴量の抽出を行う。モデル特徴量算出部１８は、同様にして得られた１００枚全部の画像データの特徴量の平均値を、シーン「風景」のモデル特徴量として作成する。モデル特徴量算出部１８が作成したモデル特徴量は、一旦シーン特徴量記憶部３１に記憶され、適宜の手段を用いて、製造工程にある各デジタルフォトフレーム１００に搭載される。
【０１８９】
上記構成によれば、モデル特徴量を作成する際に用いるサンプルの中に、異質領域を含む画像データが含まれている場合でも、これを除外し、同質の画素のみから得られる特徴に基づいてモデル特徴量が作成される。よって、指定されたシーンに合った正確なモデル特徴量をデジタルフォトフレーム１００に搭載することが可能となり、結果として、デジタルフォトフレーム１００は、精度よくシーン判別処理を実行することができる。
【０１９０】
上述したとおり、異質領域抽出部１１ａは、文字（列）以外にも、様々な異質物を検出し、それを含む異質領域を抽出することができる。様々な異質領域の具体例を図１６〜１９に示す。
【０１９１】
図１６は、写真の撮影時の環境あるいは被写体の状態などに起因してスミア（破線枠内の白飛びした領域）が生じた画像データの一例を示す図である。図１７は、落書き（タッチペンによる手書き編集）、イラスト、スタンプなどのオブジェクトが画像編集工程でマージされた画像データの一例を示す図である。図１８は、原稿の端が折れたままスキャンされて得られた画像データの一例を示す図である。図１９は、写真の撮影時に撮影者の指が写り込んでしまった画像データの一例を示す図である。
【０１９２】
異質領域抽出部１１ａは、色やテクスチャなど違いに基づいて、各図に示される破線枠内の領域が、他の領域とは属性の異なる領域であると検出し、この領域を異質領域として抽出する。
【０１９３】
上記構成によれば、モデル特徴量算出部１８が特徴量を抽出するとき、シーンの判別に悪影響を与える様々な異質物に対応することができ、これを除いた状態でモデル特徴量の算出が行われる。したがって、さらに正確なモデル特徴量を得ることができ、結果として、画像属性判別装置１０によるシーン判別結果の精度を向上させることが可能となる。
【０１９４】
なお、画像属性判別装置１０が、異質領域抽出部１１ａを備えていてもよく、この場合、画像データに文字以外の異質物が含まれていても、それに左右されずに正しくシーン判別処理を実行することが可能となる。
【０１９５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９６】
最後に、画像属性判別装置１０および属性判別支援装置２０の各ブロック、特に、異質領域抽出部１１ａ、文字領域抽出部１１、対象画素特定部１２、シーン判別部１３およびモデル特徴量算出部１８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９７】
すなわち、画像属性判別装置１０および属性判別支援装置２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像属性判別装置１０（または属性判別支援装置２０）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像属性判別装置１０（または属性判別支援装置２０）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９９】
また、画像属性判別装置１０（または属性判別支援装置２０）を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２００】
本発明の画像属性判別装置または属性判別支援装置によれば、画像データの属性を精度よく判別することが可能になるので、属性の判別結果に応じて、属性別の処理を画像データに施す、各種画像処理装置に好適に用いることができる。例えば、本発明を、デジタルフォトフレーム、デジタルカメラ、デジタルビデオカメラ、デジタルビデオレコーダー／プレーヤー、デジタルテレビ、パソコン、プリンタ、スキャナなどに利用することができる。
【符号の説明】
【０２０１】
１ 制御部
２ 記憶部
３ 表示部
４ 操作部
５ 一時記憶部
５ａ 画像メモリ
６ バス
１０ 画像属性判別装置
１１ 文字領域抽出部（異質領域特定手段）
１１ａ 異質領域抽出部（異質領域特定手段）
１２ 対象画素特定部（対象画素決定手段）
１３ シーン判別部（属性判別手段）
１４ 文字認識部（文字認識手段）
１５ 復元部（復元手段）
１６ シーン別処理実行部
１７ キーワード抽出部（キーワード抽出手段）
１８ モデル特徴量算出部（モデル特徴量算出手段）
１９ 学習対象管理部
２０ 属性判別支援装置
３０ 画像データ記憶部
３１ シーン特徴量記憶部
３２ 文字照合辞書記憶部
３３ 文字スコア記憶部（ワード関連性記憶部）
１００ デジタルフォトフレーム（画像属性判別装置／属性判別支援装置）
【技術分野】
【０００１】
本発明は、静止画または動画など、デジタル形式の画像データの属性を判別する画像属性判別処理に関するものであり、特に、画像属性判別処理の精度を向上させる画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラムに関するものである。
【背景技術】
【０００２】
近年、画像データの特徴を解析して、その属性を自動的に判別する手法の研究開発が行われている。具体的には、デジタルカメラ、デジタルビデオカメラおよびカメラ付携帯電話などにより撮像された静止画または動画、スキャナなどにより取り込まれた静止画、もしくは、ＤＶＤレコーダなどにより録画された動画またはキャプチャ画像などの、あらゆる画像データが持つ画素値から特徴量を抽出して、その画像データが表すシーン（属性）を判別することを行われている。例えば、デジタルカメラにて処理されているリアルタイムの画像データがどのようなシーン（人物、風景、夜景、夕焼け、花火、室内、スノー、ビーチ、花、料理、名刺・文書など）を写しているのかを判別することによって、デジタルカメラの撮影モードをそのシーンに応じた最適な状態に設定して撮影を行うことができる。
【０００３】
このような画像属性判別処理の公知技術として、特許文献１〜４が挙げられる。特許文献１〜４に記載されている技術では、対象のデジタル画像データから特徴量を抽出し、あらかじめ用意しておいた特定シーンについてのモデル特徴量との照合処理を行い、特定シーンの特徴量との一致度に基づいて、シーンを判別している。
【０００４】
より具体的には、特許文献１には、色相データのヒストグラムを用いて、画像データが夕焼けのシーンであるか否かを判定し、それに基づいて当該画像データの補正要否を判断する画像処理装置が開示されている。画像処理装置は、対象の画像データを構成する画素のうち赤から黄の範囲に属する画素について、色相と彩度の積および色相と明度の積の値をヒストグラム化し、それらの分散が一定基準より大きいものを「夕焼け」のシーンの画像であると判断している。
【０００５】
特許文献２には、対象の画像データについて、人物の有無に関する情報と色ヒストグラムに関する情報の２つを共通の特徴指標として、「ポートレート」「夕焼け」「夜景」などの複数のシーンを判別する画像撮影装置が開示されている。
【０００６】
特許文献３には、特定シーンに対応する特徴的部分について、画像内の配置の傾向等を考慮し、かつ、撮影枠の取り方の違いなどによるそれらの位置や面積割合の変動をも考慮して、様々な特定シーンの画像を高い精度で選別する装置が開示されている。
【０００７】
特許文献４には、特定シーンとして指定されうる複数のシーンごとに、そのシーンの識別に用いる特徴量の種類と識別条件とを規定した参照データを用意しておき、上記識別条件を参照して判断することにより、シーン判別を高い精度で実施する装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２９８７３６号公報（１９９９年１０月２９日公開）
【特許文献２】特開２００２−２１８４８０号公報（２００２年８月２日公開）
【特許文献３】特開２００５−３１０１２３号公報（２００５年１１月４日公開）
【特許文献４】特開２００５−１２２７２０号公報（２００５年５月１２日公開）
【非特許文献】
【０００９】
【非特許文献１】奥富 正敏、ほか著「ディジタル画像処理」ＣＧ−ＡＲＴＳ協会出版、２００７年３月１日（第二版二刷）、Ｐ．３１１〜３１３，１７−２節「文字認識技術」、Ｐ．１９２〜１９５，１１−１節「領域特徴量」
【非特許文献２】天野 敏之、ほか著「固有空間法を用いたＢＰＬＰによる画像補間」社団法人電子情報通信学会出版、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８５−Ｄ−II Ｎｏ．３ Ｐ．４５７〜４６５）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の構成では、属性判別の対象となる画像データに、該画像データの本来の属性とは異質の物、影、形など（以下、異質物）が含まれている場合に、正しく属性判別を行えないという問題がある。つまり、異質物を写している画素群（以下、異質領域）から得られる特徴は、本来の属性の特徴とは異なっている。そのため、画像データ全体の特徴量が、異質領域の特徴量が混ざった状態で抽出されると、モデル特徴量との照合がうまく行われず、結果として、その画像データに対しては、誤ったシーン判別が行われたり、確かさの低いシーン判別が行われたりするという問題が生じる。
【００１１】
画像データに上記異質領域が生じる原因としては、例えば、画像編集の工程において、属性判別の対象となる画像データに対して画像編集ツールを用いて追加される、文字、イラスト、図形、スタンプ、落書きなどのオブジェクト（動画の場合はテロップなども）が考えられる。あるいは、上記画像データの撮影工程で、撮影環境、被写体の状況によって意図しない現象（スミアなどの白飛び現象）が現れたり、もしくは、指の影など意図しないものが写りこんでしまったりすることが考えられる。さらには、写真などの原稿をスキャンする工程で、（原稿が破れたり、折れ曲がったりした状態でスキャンされることにより）原稿の欠けた部分に原稿台や原稿の裏の色が写りこんでしまうことなどが考えられる。また、異質領域は、上述の例に限定されない。上記問題は、画像データに関わる条件・環境・事情などを問わず、本来の属性（シーン）とは異なる異質物を含むあらゆる画像データに対し、属性判別を行うときに共通に生じる問題である。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データの異質領域に左右されずに画像データの属性を精度よく判別することを可能にする画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラムを実現することにある。
【課題を解決するための手段】
【００１３】
本発明の画像属性判別装置は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴としている。
【００１４】
上記構成によれば、異質領域特定手段が、処理対象の画像データ上の異質物（例えば、テロップ等の文字列）を含む領域を特定し、属性判別手段が、その特定された異質領域を除いた他の領域の画素群からのみ得られた特徴量に基づいて、上記画像データの属性を判別する。
【００１５】
これにより、処理対象の画像データに異質物が含まれている場合に、異質領域から抽出されてしまう特徴量が、属性を判別する処理に与える悪影響を排除することができる。結果として、属性判別の精度を向上させることができる。
【００１６】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定してもよい。
【００１７】
上記構成によれば、写真などに後から加えられたテキストオブジェクト（文字）がマージされたものが処理対象の画像データであった場合でも、異質領域特定手段が、後から加えられたその文字を異質物と判断し、その文字が含まれている領域は、特徴量の抽出には用いられないようになっている。したがって、文字の編集が加えられた画像データに対しても、文字の背景にある本来の画像データの内容に基づいて、属性の判定が正しく行えるようになる。
【００１８】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備えていてもよい。
【００１９】
上記構成によれば、異質物（例えば、文字列など）によって隠されてしまっていた異質物の背景部分に対し、復元手段は、文字列周辺の画素の情報を使って、その周辺と同質の画素に復元する。そして、属性判別手段は、復元の画像データに基づいて、属性判別処理を行う。このため、文字列によって隠されてしまっていた部分からの特徴量も有効に活用することができ、結果として、属性判別処理の精度を向上させることが可能となる。
【００２０】
上記画像属性判別装置は、さらに、上記異質領域特定手段によって特定された異質領域内の各画素につき、上記属性判別手段によって特徴量が抽出される対象画素か否かを決定する対象画素決定手段を備え、上記属性判別手段は、上記画像データの各画素のうち、上記対象画素決定手段によって対象でないと決定された対象外画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別してもよい。
【００２１】
上記構成によれば、異質領域特定手段によって特定された異質領域内の各画素のうち、いずれが対象画素で、いずれが対象外画素かを対象画素決定手段が決定する。したがって、対象画素決定手段が、対象外画素として決定した画素については、属性判別手段は特徴量の抽出の際には参照せず、特徴量は対象画素のみから抽出される。
【００２２】
これにより、異質領域の中でも、特徴量抽出時に対象外とすべきか否からをより詳細に設定することが出来るので、精度よく、かつ、効率よく属性判別を行う画像属性判別装置を実現する上で、設計の自由度が向上する。
【００２３】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定し、画像属性判別装置は、さらに、上記異質領域特定手段が特定した文字領域内の文字を認識する文字認識手段を備え、上記対象画素決定手段は、上記文字領域内の文字が上記文字認識手段によって認識された文字であることの確からしさを示す文字認識結果の信頼度が所定値以下の場合は、上記文字領域内の画素を対象画素として決定することが好ましい。
【００２４】
一般に、正確に、より正しく文字（列）が認識された場合、文字認識結果とともに出力される信頼度の数値は高く、反対に、文字（列）ではないものを誤って文字列として抽出して文字認識処理がなされた場合には、信頼度の数値は低くなる。したがって、文字領域（異質領域）であるとしてこの領域の画素を対象外とするのは、上記信頼度が一定以上高い場合に制限する。つまり、対象画素決定手段は、文字認識結果の信頼度が低い画素については、初めに文字領域と判断された場合でも、それを対象外画素としない。これにより、実際は、文字（列）を含んでいなかった領域を誤って文字領域として抽出してしまった場合に、その領域を対象外画素に設定しないようにして、特徴量を抽出し損なうことを防ぐことが可能となる。
【００２５】
これにより、闇雲に対象外画素を広げることによって、逆に属性判別の処理の精度が低下するという不都合を回避することができる。
【００２６】
さらに、画像属性判別装置は、上記文字認識手段が認識した文字または文字列から、キーワードを抽出するキーワード抽出手段と、上記キーワード抽出手段によって抽出される各キーワードと、上記属性判別手段によって判別される各属性との関連性を記憶するワード関連性記憶部とを備え、上記属性判別手段は、上記ワード関連性記憶部を参照し、上記画像データの文字領域から抽出されたキーワードと各属性との関連性の高さを加味して該画像データの属性を判別してもよい。
【００２７】
上記構成によれば、画像データに文字領域が含まれている場合、その文字領域に含まれる文字列が文字認識手段によって抽出され、その文字列から１以上の単語（キーワード）がキーワード抽出手段によって抽出される。
【００２８】
上記属性判別手段は、抽出されたキーワードと属性との関連性を、ワード関連性記憶部を参照して把握し、上記キーワードと属性との関連性の高さを、当該画像データの属性を判別する際に考慮する。
【００２９】
画像データに含まれているテロップ等の文字列には、その画像データの属性を示す、あるいは、属性と関連が深い文字列が含まれている場合が多い。したがって、これを属性判別処理の指標の１つとすることで、属性判別精度を向上させることができる。例えば、属性判別手段は、キーワード「山」と、属性「風景」とは関連性が高いと判断し、山というキーワードが抽出された場合に、その画像データの属性を判別する際、「風景」に高い重み付けを加えることなどが考えられる。
【００３０】
上記属性判別手段は、上記画像データの特徴量を、複数種類の属性ごとにあらかじめ定められているモデル特徴量と照合し、その類似度に応じて、上記画像データの属性がその属性であることの確からしさを示す属性判別結果の信頼度を算出することにより、上記画像データの属性を判別し、上記ワード関連性記憶部は、上記キーワードと上記属性との関連性を、上記属性判別結果の信頼度に加算するためのスコアとして記憶していることを特徴としている。
【００３１】
上記構成によれば、上記関連性の高さは、属性判別結果の信頼度に加算するスコアとして記憶されている。属性判別手段は、候補となる画像データの各属性について信頼度を出力し、上記キーワードに対応付けられているスコアを、同じく対応する属性の信頼度に加算する。上記キーワードと関連性が高い属性に対しては、より多くのスコアが加算され、信頼度（画像データがその属性であることの確からしさ）が向上する。よって、属性判別手段は、画像データに含まれるキーワードを考慮して、信頼度に基づき、より精度よく画像データの属性を判別することが可能となる。
【００３２】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備え、上記復元手段は、上記属性判別結果の信頼度が所定値より低い場合にのみ復元を実行することが好ましい。
【００３３】
上記構成によれば、処理負荷の高い復元処理を、判別結果の確からしさ（信頼度）の高い、好ましい結果が得られた場合には省略し、信頼度が低く属性判別の精度が落ちる場合にのみに、その精度の向上を目的として復元処理を実行するように画像属性判別装置を構成することができる。
【００３４】
したがって、処理効率の向上と、属性判別精度の向上とを両立させることが可能となる。
【００３５】
上記属性判別手段は、上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域が広いほど、信頼度を低く算出してもよい。
【００３６】
対象外画素の領域が広いということは、１枚の画像データのうち、属性判別のために参照された画素の割合が少ないということになり、これでは、全部の画素を参照した場合と比べて正確に属性判別ができていないという可能性がある。
【００３７】
そこでこのような状況で出力された判別結果の信頼度を低く見積もることによって、ユーザの注意を喚起する、または、この信頼度を向上させるような他の措置を講じることが可能となり、結果として、属性判別精度の向上に貢献できる。
【００３８】
上記対象画素決定手段は、上記画像データにおいて上記異質領域の占める面積が所定以上広い場合にのみ、上記異質領域内の各画素を対象外画素として決定してもよい。
【００３９】
上記構成によれば、上記異質領域特定手段によって特定された上記異質領域が所定よりも狭い（小さい）場合には、上記対象画素決定手段は、その領域の画素を対象外画素に決定するという処理を行わない。
【００４０】
一般に、異質物が含まれる領域の面積の、画像データ全体の面積に占める割合が小さい場合、その領域から得られる特徴量が、属性判別に与える影響は小さい。この場合、異質領域を対象外として除外する処理時間に対して、判別精度を向上させるというメリットが小さいと考えられる。
【００４１】
そこで、上述したとおり、異質領域の、画像データ全体に占める面積の割合が所定の閾値以上の場合のみ、対象外画素の特定を行う、という制限を設けることで、判別精度に大きな影響を与えることなく、処理時間を削減することができる。
【００４２】
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、上記画像データの各画素のうち、上記異質領域特定手段によって特定された上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備え、上記属性判別手段は、上記画像データの特徴量を、上記モデル特徴量算出手段によって属性ごとに算出されたモデル特徴量と照合し、その類似度に応じて上記画像データの属性を判別してもよい。
【００４３】
上記構成によれば、属性判別手段は、上記画像データの特徴量をモデル特徴量と照合しその類似度に応じて上記画像データの属性を判別する。したがって、精度よい属性判別を行うためには、モデル特徴量が、各属性に応じていかに正しく定められているのかが重要となる。
【００４４】
そこで、異質物（例えば、テロップ等の文字列）が含まれている画像データが、学習対象の画像データとして画像属性判別装置に取り込まれた場合でも、モデル特徴量算出手段は、異質領域特定手段によって特定された異質物を排除してから上記画像データを用いるため、より正しいモデル特徴量を作成することが可能となる。属性判別手段は、より正しいモデル特徴量を参照することができるので、結果として、属性判別精度を向上させることが可能となる。
【００４５】
本発明の属性判別支援装置は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴としている。
【００４６】
上記構成によれば、モデル特徴量を作成するために、画像データと該画像データの属性の指定とが入力されると、まず、異質領域特定手段が、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する。次に、モデル特徴量算出手段が、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出する。
【００４７】
画像属性判別装置は、一般に、上記画像データの特徴量をモデル特徴量と照合しその類似度に応じて上記画像データの属性を判別する。したがって、精度よい属性判別を行うためには、モデル特徴量が、各属性に応じていかに正しく定められているのかが重要となる。
【００４８】
そこで、異質物（例えば、テロップ等の文字列）が含まれている画像データが、学習対象の画像データとして属性判別支援装置に取り込まれた場合でも、モデル特徴量算出手段は、異質領域特定手段によって特定された異質物を排除してから上記画像データの特徴量を抽出してこれを用いるため、より正しいモデル特徴量を作成することが可能となる。属性判別手段は、より正しいモデル特徴量を参照することができるので、結果として、属性判別精度を向上させることが可能となる。
【００４９】
本発明の画像属性判別方法は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴としている。
【００５０】
本発明の属性判別支援装置の制御方法は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴としている。
【００５１】
なお、上記画像属性判別装置および上記属性判別支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像属性判別装置または上記属性判別支援装置をコンピュータにて実現させる上記画像属性判別装置または上記属性判別支援装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００５２】
本発明の画像属性判別装置は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴としている。
【００５３】
本発明の属性判別支援装置は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴としている。
【００５４】
本発明の画像属性判別方法は、上記課題を解決するために、画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴としている。
【００５５】
本発明の属性判別支援装置の制御方法は、上記課題を解決するために、画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴としている。
【００５６】
したがって、画像データの異質領域に左右されずに画像データの属性を精度よく判別することが可能になるという効果を奏する。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態におけるデジタルフォトフレームの要部構成を示すブロック図である。
【図２】本発明の一実施形態におけるデジタルフォトフレームの外観を示す図である。
【図３】図３（ａ）は、処理対象の元の画像データ（Fujiyama.jpg）の一例を示す図であり、図３（ｂ）は、図３（ａ）の画像データから文字領域として抽出された領域の具体例を示す図である。
【図４】図４（ａ）は、図３（ａ）に示す画像データ（Fujiyama.jpg）のうち、図３（ｂ）に示す文字領域以外の対象画素から作成された、色のヒストグラムの具体例を示す図であり、図４（ｂ）は、図３（ａ）に示す画像データから、文字領域が除外されずに作成されたヒストグラム、すなわち本発明を適用しないで作成されたヒストグラムの具体例を示す図であり、図４（ｃ）は、あらかじめ記憶されているモデル特徴量としてのモデルヒストグラムの具体例を示す図である。
【図５】異質領域に対して復元処理が実施された後の画像データの一例を示す図である。
【図６】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れを示すフローチャートである。
【図７】デジタルフォトフレームの文字認識部によって出力される文字認識結果およびその信頼度の具体例を示す図である。
【図８】デジタルフォトフレームのシーン判別部によって出力されるシーン判別結果およびその信頼度の具体例を示す図である。
【図９】デジタルフォトフレームの文字スコア記憶部に記憶されている、キーワードとシーンとの関連性を表した対応表の具体例を示す図である。
【図１０Ａ】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れの一例を示すフローチャートである。
【図１０Ｂ】本発明の一実施形態におけるデジタルフォトフレームのシーン判別処理の流れの一例を示すフローチャートである。
【図１１】図３（ａ）の画像データから文字領域として抽出された領域の他の具体例を示す図である。
【図１２】図３（ａ）の画像データから文字領域として抽出された領域のさらに他の具体例を示す図である。
【図１３】本発明の他の実施形態におけるデジタルフォトフレームの要部構成を示すブロック図である。
【図１４】本発明の他の実施形態におけるデジタルフォトフレームのシーン学習処理の流れの一例を示すフローチャートである。
【図１５】本発明の他の実施形態における、属性判別支援装置の要部構成を示すブロック図である。
【図１６】異質領域としてスミアを含む画像データの一例を示す図である。
【図１７】異質領域としてオブジェクトが画像編集工程でマージされた領域を含む画像データの一例を示す図である。
【図１８】原稿の端が折れたままスキャンされたために、折れた部分を異質領域として含む画像データの一例を示す図である。
【図１９】写真の撮影時に写り込んでしまった指の影を異質領域として含む画像データの一例を示す図である。
【発明を実施するための形態】
【００５８】
≪実施形態１≫
本発明の実施形態について、図面に基づいて説明すると以下の通りである。
【００５９】
以下では、一例として、本発明の画像属性判別装置を、画像データを表示する画像表示装置としてのデジタルフォトフレームに適用した場合について説明する。本実施形態におけるデジタルフォトフレームは、自装置にて判別した画像データのシーン（属性）に応じて、該画像データの表示用データを補正し、自装置の表示部に表示することができる。なお、本発明の画像属性判別装置は、デジタルフォトフレームに限定されず、デジタルカメラ、デジタルビデオカメラ、デジタルビデオレコーダー／プレーヤー、デジタルテレビ、パソコン、プリンタ、スキャナなど、画像データに対して、判別されたシーンごとに異なる処理を施すことが可能な、各種画像処理装置に好適に用いることができる。
【００６０】
〔デジタルフォトフレームの外観〕
図２は、本発明の実施形態におけるデジタルフォトフレーム１００の外観を示す図である。デジタルフォトフレーム１００は、自装置に記憶された、あるいは、着脱可能な外部記録媒体に記録された、１または複数の静止画または動画などの画像データを読み出し、それらを表示用データとして表示部３に出力して画像を表示するものである。デジタルフォトフレーム１００は、例えばデジタルカメラなどで撮影して得られた写真（画像データ）を表示部３に表示することにより、写真立ての役割を果たすことができる。さらに、デジタルフォトフレーム１００は、複数の写真をスライドショーのように順次表示したり、任意のレイアウトおよびタイミングで、一度に複数枚の画像データを表示したり、大量の画像データをサムネイルで一覧表示したりすることができる。
【００６１】
デジタルフォトフレーム１００の操作部４は、デジタルフォトフレーム１００の本体に設けられたボタンやタッチパネルなどにより実現されてもよいし、図２に示すようにリモコンを用いて実現されてもよい。
【００６２】
本実施形態では、デジタルフォトフレーム１００は、画像データをより美しく表示するために、画像データに対してシーン別に補正を行って表示する機能（以下、シーン別自動補正機能）を有する。こうしたデジタルフォトフレーム１００の機能に関する各種設定操作についても、操作部４を用いることにより実現できる。
【００６３】
例えば、デジタルフォトフレーム１００は、図２に示すように、表示部３に、上記シーン別自動補正機能を有効にするか否かをユーザに設定させるための操作画面を表示してもよい。この場合、ユーザは、シーン別自動補正機能を希望する場合は、操作部４に設けられた十字ボタンや決定ボタンを操作して、シーン別自動補正機能を有効にする選択肢を選択する。
【００６４】
〔デジタルフォトフレームの構成〕
図１は、本発明の実施形態におけるデジタルフォトフレーム１００の要部構成を示すブロック図である。
【００６５】
図１に示すとおり、本実施形態のデジタルフォトフレーム１００は、制御部１、記憶部２、表示部３、操作部４、一時記憶部５、および、これらの各部でデータの送受信を行うための共通の信号線としてのバス６を備える構成となっている。
【００６６】
制御部１は、記憶部２から一時記憶部５に読み出されたプログラムを実行することにより、各種の演算を行うと共に、デジタルフォトフレーム１００が備える各部を、バス６を介して統括的に制御するものである。制御部１は、機能ブロックとして、少なくとも、文字領域抽出部１１およびシーン判別部１３を備える構成である。さらに、制御部１は、対象画素特定部１２、文字認識部１４および復元部１５を備えていてもよい。これらの１１〜１５の各機能ブロックは、デジタルフォトフレーム１００において、シーン判別機能を実行する画像属性判別装置１０として機能する。また、本実施形態では、シーン別処理実行部１６を備えており、この機能ブロックは、デジタルフォトフレーム１００において、シーン別自動補正機能を実行する画像処理装置として機能する。
【００６７】
上述した制御部１の各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶部２に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部５に読み出して実行することで実現できる。
【００６８】
記憶部２は、制御部１が実行する制御プログラムおよびＯＳプログラム、ならびに、制御部１が、デジタルフォトフレーム１００が有する各種機能（例えば、本発明のシーン判別機能、シーン別自動補正機能など）を実行するときに読み出す各種の固定データを記憶するものである。本実施形態では、記憶部２には、例えば、画像データ記憶部３０、シーン特徴量記憶部３１、文字照合辞書記憶部３２、文字スコア記憶部３３が含まれており、各種の固定データを記憶する。記憶部２は、例えば、内容の書き換えが可能な不揮発性メモリである、ＥＥＰＲＯＭ（Electrically EPROM）、フラッシュメモリなどで実現される。なお、内容の書き換えが不要な情報を記憶する記憶部（ここでは、例えば、文字照合辞書記憶部３２、文字スコア記憶部３３など）については、記憶部２とは別の、図示しない、読出し専用の半導体メモリであるＲＯＭ（Read Only Memory）などで実現されてもよい。
【００６９】
画像データ記憶部３０は、デジタルフォトフレーム１００が画像処理装置として処理する対象となる画像データを記憶するものである。シーン特徴量記憶部３１は、シーン判別部１３が画像データのシーンを判別する際に参照するモデルとなるシーンの特徴量を記憶するものである。文字照合辞書記憶部３２は、文字認識部１４が備わっている場合に文字認識部１４が画像データに含まれる文字を認識する際に参照する文字の情報、すなわち、文字照合辞書を記憶するものである。文字スコア記憶部３３は、文字認識部１４によって認識された文字（列）と判別されるシーンとの関連性を数値（スコア）で表したスコア情報を記憶するものである。
【００７０】
表示部３は、図２を用いて説明したとおり、画像データ記憶部３０から、または、図示しない外部インターフェースを介して外部記録媒体から取り込んだ画像データを表示したり、ユーザがデジタルフォトフレーム１００を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。表示部３は、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイなどの表示装置で構成される。
【００７１】
操作部４は、ユーザがデジタルフォトフレーム１００に指示信号を入力し、操作するためのものである。上述したとおり、本実施形態では、操作部４はリモコンとして構成される。操作部４に設けられたボタン（十字キー、決定キー、文字入力キーなど）に対応する信号は、そのボタンが押下されたときに、赤外線信号として操作部４の発光部から出力され、デジタルフォトフレーム１００の本体に設けられた受光部を介してデジタルフォトフレーム１００に入力される。
【００７２】
一時記憶部５は、デジタルフォトフレーム１００が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）などで実現される。より具体的には、制御部１は、シーン判別処理の対象となる画像データを、一時記憶部５の画像メモリ５ａに展開し、画像データの画素単位で詳細な解析を行う。
【００７３】
制御部１の文字領域抽出部１１は、処理対象の画像データに含まれる異質領域を抽出するものである。本実施形態では、特に、文字領域抽出部１１は、異質領域として、英数字、ひらがな、カタカナ、漢字、記号などの文字（列）を含む文字領域を抽出する。
【００７４】
図３（ａ）は、処理対象の元の画像データの一例を示す図である。図３（ａ）に示す画像データ（ファイル名：Fujiyama.jpg）は、本来は風景を撮影した写真であるが、当該画像データは、風景写真に対してテキストオブジェクトが画像編集工程で追加されたものである。文字領域抽出部１１は、周辺画素との色の違いやテクスチャなどから、文字らしき形状を特定し、その形状を含む領域を文字領域として抽出する。図３（ｂ）は、図３（ａ）の画像データから文字領域抽出部１１が文字領域として抽出した領域の一例を示す図である。本実施形態では、文字領域抽出部１１は、例えば図３（ｂ）に示すとおり、ある程度まとまった文字列らしき形状の外接矩形を文字領域として抽出する。図３（ｂ）に示す例では、文字領域抽出部１１は、元の画像データに含まれる、文字列「［富士山］」の外接矩形を第１文字領域Ａｒ１、文字列「標高 3,776 m」の外接矩形を第２文字領域Ａｒ２、文字列「日本最高峰の山」の外接矩形を第３文字領域Ａｒ３として抽出する。
【００７５】
なお、上述の文字領域抽出手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００７６】
対象画素特定部１２は、文字領域抽出部１１が抽出した異質領域の各画素について、その画素がシーン判別処理において解析の対象となる画素か否かを特定するものである。具体的には、対象画素特定部１２は、解析の対象となる画素か、対象外の画素かを示すフラグを画素ごとに確定させる。例えば、対象画素特定部１２は、解析の対象となる画素に対しては解析対象であることを意味する「ＴＲＵＥ」のフラグを付与し、解析の対象にしない画素に対しては、解析対象外であることを意味する「ＦＡＬＳＥ」のフラグを付与する。これにより、シーン判別処理において特徴量解析の対象となる画素が画像データの中から特定される。
【００７７】
なお、対象画素特定部１２は、文字領域抽出部１１が抽出したすべての異質領域（文字領域）のすべての画素を、解析対象外の画素として特定してもよい。すなわち、図３（ｂ）に示す、第１文字領域Ａｒ１、第２文字領域Ａｒ２、および、第３文字領域Ａｒ３の３つの文字領域を、解析対象外の画素として特定してもよい。あるいは、対象画素特定部１２は、所定の条件に基づいて、文字領域抽出部１１が抽出した異質領域のうち、条件を満たす画素だけを、対象画素もしくは対象外画素として特定してもよい。
【００７８】
シーン判別部１３は、画像データのシーンを判別するものである。特に、シーン判別部１３は、画像データの全画素のうち、対象画素特定部１２によって対象画素として特定された画素のみについて解析、特徴量の抽出などを実行する。そして、抽出された特徴量を、シーン特徴量記憶部３１にシーンごとにあらかじめ記憶されているモデル特徴量と照合することにより、上記画像データのシーンを判別する。本実施形態では、例えば、シーン判別部１３は、図３（ｂ）に示す、第１文字領域Ａｒ１、第２文字領域Ａｒ２、および、第３文字領域Ａｒ３の３つの文字領域以外の領域について画素値の解析を行い、特徴量の抽出を行う。
【００７９】
本実施形態では、シーン判別部１３は、対象画素の色やテクスチャなどに基づいて、対象画素のヒストグラムを画像データの全体の特徴量として作成する。そして、シーン判別部１３は、シーンごとのモデル特徴量と、上記画像データから抽出した特徴量とを比較、照合して、最も類似するモデル特徴量のシーンをその画像データのシーンとして判別する。より具体的には、以下のとおりである。
【００８０】
図４（ａ）は、本発明のシーン判別部１３が、図３（ａ）に示す画像データ（Fujiyama.jpg）のうち、図３（ｂ）に示す文字領域以外の対象画素から作成した、色のヒストグラムの具体例を示す図である。
【００８１】
図４（ｂ）は、図３（ａ）に示す画像データから、文字領域が除外されずに作成されたヒストグラム、すなわち本発明を適用しないで作成されたヒストグラムの具体例を示す図である。
【００８２】
図４（ｃ）は、シーン特徴量記憶部３１に記憶されているモデル特徴量としてのモデルヒストグラムの具体例を示す図である。ここでは、例えば、シーン特徴量記憶部３１には、（１）人物、（２）風景、（３）夜景、（４）夕焼け、（５）花火、（６）室内、（７）スノー、（８）ビーチ、（９）花、（１０）料理、（１１）名刺・文書、の１１種類のシーンのそれぞれについて標準的なモデルヒストグラムがあらかじめ記憶されているものとする。図４（ｃ）に示すモデルヒストグラムは、「（２）風景」のモデルヒストグラムの具体例を示している。図４（ａ）〜（ｃ）に示すヒストグラムにおいて、横軸は、各色に対応するビンを、縦軸は、頻度（画素数）×エッジ強度を表している。
【００８３】
ここで、図３（ａ）に示す画像データ（Fujiyama.jpg）に含まれる、「［富士山］」、「標高 3,776 m」、「日本最高峰の山」というテキストオブジェクトは、黄１色の画素から成っているものとする。
【００８４】
この場合、図４（ａ）の本発明のヒストグラムが、図４（ｂ）のヒストグラムと異なる点は、黄の色味の強さが特徴として含まれていない点である。これは、対象画素特定部１２が、黄色の文字列を含む各文字領域を対象画素から外したためである。
【００８５】
このように、「黄の色味の強さ」が混在したままの図４（ｂ）のヒストグラムを用いた場合、シーン判別処理において、図４（ｃ）のモデルヒストグラムとは類似しないと判断されるか、類似すると判断されても類似度は低く、信頼できる判別結果が得られないという問題がある。
【００８６】
しかし、本発明の画像属性判別装置１０によれば、「黄の色味の強さ」という、本来のシーン（属性）とは異なる特徴量を除外することができるため、シーン判別部１３は、画像データ（Fujiyama.jpg）から得られたヒストグラム（図４（ａ））と、「（２）風景」のモデルヒストグラム（図４（ｃ））とが最も類似度が高いと判断することができ、画像データ（Fujiyama.jpg）のシーンを「（２）風景」であると正しく判別することができる。
【００８７】
さらに、シーン判別部１３は、処理対象の画像データの特徴量と、モデル特徴量との類似度に応じて、上記画像データがそのシーンである確からしさ（そのシーンである可能性の高さ）を「信頼度」として数値化し、判別結果とともに出力してもよい。
【００８８】
シーン判別結果の信頼度は、画像データから抽出された特徴量（ヒストグラム）が、シーン特徴量記憶部３１に記憶されているモデル特徴量と類似しているほど高くなる。
【００８９】
なお、上述の特徴量抽出手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００９０】
上記構成によれば、画像データのシーンを判別する際、まず文字領域抽出部１１が、画像データに異質領域（例えば、風景写真に対するテキストオブジェクトなど）が含まれていればそれを抽出する。次に対象画素特定部１２が、異質領域内の画素について、シーン判別のための解析対象から外す画素を特定する。最後に、シーン判別部１３は、画像データの全画素のうち、解析対象として特定された画素に対して特徴量の抽出を行い、抽出した特徴量に基づいて、画像データのシーンの判別を行う。
【００９１】
これにより、画像データに本来のシーンとは異なる異質物が含まれている画像データについては、その異質領域を除いた領域のみを解析してシーン判別を行うので、画像データの異質領域に左右されずに画像データのシーンを精度よく判別することが可能になるという効果を奏する。
【００９２】
上述したとおり、制御部１は、さらに、文字認識部１４および復元部１５を備えていても良い。
【００９３】
文字認識部１４は、文字領域抽出部１１によって抽出された異質領域が文字（列）を含みうる文字領域である場合に、その文字領域に含まれる文字（列）を認識するものである。文字認識部１４は、文字照合辞書記憶部３２に記憶されている、あらゆる文字のモデル形状と、文字領域に含まれる、色やテクスチャなどから特定された文字（らしきもの）の形状とを比較し、該文字領域に含まれている文字（列）を特定する。
【００９４】
図３（ｂ）に示す例では、文字認識部１４は、文字領域抽出部１１が抽出した第１文字領域Ａｒ１から文字列「［富士山］」を認識し、第２文字領域Ａｒ２から文字列「標高 3,776 m」を認識し、第３文字領域Ａｒ３から文字列「日本最高峰の山」を認識して、それらをテキストデータとして出力する。出力されたテキストデータは、画像データの内容と関連がある言葉である可能性が高い。そこで、シーン判別部１３は、文字スコア記憶部３３を参照し、上記テキストデータの言葉の意味内容とシーンとの関連性を考慮して、画像データのシーンを判別してもよい。
【００９５】
さらに、文字認識部１４は、文字の上記モデル形状との類似度に応じて、文字領域に含まれている文字（列）が認識された文字（列）である確からしさを「信頼度」として数値化し、認識結果とともに出力してもよい。対象画素特定部１２は、文字認識結果の信頼度が低ければ、文字領域に含まれる文字らしきものは、実際は文字ではない（すなわち異質領域ではない）と判断し、対象画素の特定の際に考慮することができる。
【００９６】
なお、上述の文字認識手法については、非特許文献１に記載されている手法など、公知の技術が適宜採用される。
【００９７】
復元部１５は、対象画素特定部１２によって解析対象外の画素と特定されたために考慮されていない画素（異質領域）について、それらの対象外画素を、特徴量抽出の対象にするために、その周囲の解析対象画素の画素値に基づいて、解析対象画素と同質の画素値となるように復元するものである。
【００９８】
図５は、異質領域に対して復元処理が実施された画像データの一例を示す図である。図５に示すとおり、図３（ｂ）において、異質の文字領域として抽出された第１文字領域Ａｒ１、第２文字領域Ａｒ２および第３文字領域Ａｒ３に対して、復元部１５が復元処理を行うことで、各文字領域には、それ以外の領域と属性が同質の（色、テクスチャなどが富士山の風景と一致している）画素が補間される。復元された復元領域Ａｒ１’〜Ａｒ３’は、シーン判別部１３によってシーン判別のために参照される。
【００９９】
対象画素特定部１２は、復元部１５によって復元された画素を対象画素として特定しなおし、シーン判別部１３は、新たに特定された対象画素（復元された復元画素）について解析、特徴量の抽出などを実行する。これにより、１つの画素データについて、シーン判別のために考慮する領域をより広くすることができ、シーン判別結果の精度をさらに高めることができる。
【０１００】
なお、上述の復元手法については、非特許文献２に記載されている手法など、公知の技術が適宜採用される。
【０１０１】
シーン別処理実行部１６は、シーン判別部１３によって判別された画像データのシーン別に、画像データに対して異なる処理を実行するものである。本実施形態では、シーン別処理実行部１６は、判別されたシーン別に、そのシーンが最も美しい状態で表示されるように、画像データの表示用データを補正する。すなわち、シーン別処理実行部１６は、デジタルフォトフレーム１００において、シーン別自動補正機能を実行する画像データ補正部として機能する。
【０１０２】
これにより、画像データを、該画像データのシーンに応じて常に最適な状態に補正して美しく表示することが可能な画像処理装置として、デジタルフォトフレーム１００を構成することができる。
【０１０３】
具体的には、シーン別処理実行部１６は、「花火」や「花」のシーンであると判別された画像データについては、表示用データの彩度を上げて色鮮やかに補正したり、「夕焼け」のシーンであると判別された画像データについては、色相を少し変えて赤みを強調する補正を行ったり、「室内（イベント・パーティー）」のシーンであると判別された画像データについては、明度を上げることで明るい雰囲気に補正したりすることなどが考えられる。
【０１０４】
〔シーン判別処理フロー〕
図６は、本実施形態におけるデジタルフォトフレーム１００のシーン判別処理の流れを示すフローチャートである。
【０１０５】
まず、画像属性判別装置１０は、シーン判別処理の対象となる画像データ（例えば、図３（ａ）に示す「Fujiyama.jpg」）を、画像データ記憶部３０から一時記憶部５の画像メモリ５ａに展開する（Ｓ１０１）。対象画素特定部１２は、展開された画像データの各画素のフラグ配列を定義し、これを初期化する（Ｓ１０２）。例えば、画像データが、width（画像データの幅）×height（画像データの高さ）＝ｘ画素×ｙ画素の画素からなる場合、対象画素特定部１２は、特徴量抽出対象フラグ配列feat_use_flag[x][y]を定義する。ここで、対象画素特定部１２は、基本的には異質領域が含まれていなければ、画像データの全画素を特徴量抽出対象とするので、まずは、全画素のフラグをＴＲＵＥで初期化する。上述したとおり、フラグが「ＴＲＵＥ」である場合は、その画素が、特徴量抽出対象の画素であることを意味する。
【０１０６】
続いて、文字領域抽出部１１は、画像メモリ５ａ上に展開された画像データについて、異質領域としての文字領域を抽出する（Ｓ１０３）。上述した例では、図３（ｂ）に示すとおり、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域を抽出する。
【０１０７】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン判別のための特徴量抽出対象の画素となるか否かを特定する（Ｓ１０４）。本実施形態では、初期化によって全画素のフラグが現時点で「ＴＲＵＥ」になっているので、上記３つの文字領域内の画素について、フラグを「ＦＡＬＳＥ」にする。上述したとおり、フラグが「ＦＡＬＳＥ」である場合は、その画素が、特徴量抽出対象外の画素であることを意味する。
【０１０８】
シーン判別部１３は、画像データの画素のうち、フラグが「ＴＲＵＥ」の条件を満たす画素のみを対象に特徴量を抽出する（Ｓ１０５）。具体的には、色のヒストグラムを作成する。そして、シーン判別部１３は、Ｓ１０５で作成したヒストグラムと、シーン特徴量記憶部３１に記憶されている各シーンのモデルヒストグラムとの照合を行って、画像データのシーンを判別する（Ｓ１０６）。例えば、シーン判別部１３は、処理対象の画像データ（Fujiyama.jpg）から得られたヒストグラム（例えば、図４（ａ））と、シーン特徴量記憶部３１に記憶されている「（２）風景」のモデルヒストグラム（例えば、図４（ｃ））とが最も類似度が高いと判断したら、上記画像データのシーンを「（２）風景」であると判別する。
【０１０９】
最後に、シーン判別部１３は、シーン判別結果「（２）風景」を、シーン別処理実行部１６に出力する（Ｓ１０７）。
【０１１０】
これにより、例えば、シーン別処理実行部１６は、シーン判別結果「（２）風景」に基づいて、風景の写真が最も美しく表示されるように、図３（ａ）に示す画像データの表示用データを補正して、表示部３に出力することができる。
【０１１１】
上記構成によれば、画像データのシーンを判別する際、まず文字領域抽出部１１が、画像データに異質領域（例えば、風景写真に対するテキストオブジェクトなど）が含まれていればそれを抽出する。次に対象画素特定部１２が、異質領域内の画素について、シーン判別のための解析対象から外す画素を特定する。最後に、シーン判別部１３は、画像データの全画素のうち、解析対象から外された画素を除いて画像データの特徴量の抽出を行い、抽出した特徴量に基づいて、画像データのシーンの判別を行う。
【０１１２】
これにより、画像データに本来のシーンとは異なる異質物が含まれている画像データについては、その異質領域を除いた領域のみを解析してシーン判別を行うので、画像データの異質領域に左右されずに画像データのシーンを精度よく判別することが可能になるという効果を奏する。
【０１１３】
上述の例では、「［富士山］」、「標高 3,776 m」、「日本最高峰の山」というテキストオブジェクトが、富士山の写真に追加されている。このテキストオブジェクトが、例えば、黄１色の画素で成り立っている場合には、通常の富士山の風景写真には含まれない色とテクスチャの異質な領域が画像データに含まれることになる。このような異質領域を含んだまま全画素についてヒストグラムが作成されると、そのヒストグラムは、本来の風景シーンでは通常含まれない形状を含むことになる。（例えば、図４（ｂ））。このようなヒストグラムに基づいてマッチングを行うと、誤って別のシーンであると判別されたり、判別されたとしても非常に信頼度の低い判別結果しか得られなかったりするという問題がある。
【０１１４】
しかし、本願発明によれば、上述の黄１色の領域を除いた残りの領域内の画素（つまり、富士山の風景の写真を構成している画素）についてのみヒストグラムを作成し、これに基づいてマッチングが行われる。よって、シーンの特徴を表現していない「黄色味が強い特徴」による悪影響を抑制して、シーン判別処理を実行することができ、上記の問題を解消することが可能となる。
【０１１５】
≪実施形態２≫
本実施形態では、上述の実施形態１の構成を基本構成として、シーン判別処理をより効率よく行うための、または、シーン判別処理の精度をより向上させるための追加の構成について説明する。
【０１１６】
〔文字領域の面積を考慮する〕
対象画素特定部１２は、文字領域抽出部１１によって抽出された文字領域が画像データの全体に占める割合に応じて、シーン判別処理における解析対象画素とするか否かを決定してもよい。具体的には、文字領域の広さの割合が所定の閾値以上であれば、当該文字領域が画像データのシーン判別処理に与える影響は大きいと考えて、対象画素特定部１２は、文字領域を解析対象画素から除く（フラグをＦＡＬＳＥにする）。一方、文字領域の広さの割合が所定の閾値を下回れば、その文字領域が本来のシーンとは異質のものであっても、画像データのシーン判別処理に与える悪影響は小さいと考えて、対象画素特定部１２は、画像データの全画素のフラグをＴＲＵＥのままとする。
【０１１７】
上記構成によれば、異質領域の悪影響が小さい場合には、対象画素特定部１２において、対象画素特定処理（フラグをＦＡＬＳＥ／ＴＲＵＥにする処理）を省略することができ、シーン判別処理の精度を保ちつつ、シーン判別処理の効率化を図ることが可能となる。
【０１１８】
〔文字領域が文字である確からしさを考慮する〕
あるいは、対象画素特定部１２は、文字認識部１４が文字領域に対して文字認識処理を実行する場合に、文字認識結果の信頼度に応じて、シーン判別処理における解析対象画素とするか否かを決定してもよい。図７は、文字認識部１４によって出力される文字認識結果とその信頼度との具体例を示す図である。図７は、文字認識部１４が、文字領域抽出部１１によって画像データ（Fujiyama.jpg）から抽出された３つの文字領域ごとに文字認識を行い、各領域の文字認識結果についてさらに信頼度を出力した結果の例を示している。
【０１１９】
この具体例に基づいて説明すると、対象画素特定部１２は、上記信頼度が所定の閾値以上であれば、当該文字領域に含まれているのは、異質物としての文字（列）である可能性が高いと考えて、その文字領域の全画素のフラグをＦＡＬＳＥにする。一方、上記信頼度が所定の閾値を下回れば、その文字領域とされていた領域は、実際は文字（列）が含まれていなかったと考えて、対象画素特定部１２は、その領域の画素のフラグをＴＲＵＥのままとする。例えば、閾値となる信頼度のスコアが「５５」である場合、図７に示す例では、図３（ｂ）に示す３つの文字領域についての文字認識結果の信頼度は、すべて５５以上であるので、対象画素特定部１２は、３つの文字領域の全画素のフラグをＦＡＬＳＥにする。
【０１２０】
上記構成によれば、文字領域抽出部１１によって、一旦は文字領域として判断されたが、文字認識部１４によって一定の確かさで文字として認識されなかった領域については、対象画素特定部１２は、実際は、異質物が含まれた異質領域ではないと判断しなおす。そして、対象画素特定部１２は、この領域を、シーン判別処理における解析対象として特定する。これにより、誤って文字領域と認識された領域を、誤って解析対象から外すことを回避することができ、したがって、シーン判別処理の精度を向上させることが可能となる。
【０１２１】
〔シーン判別結果の信頼度を出力する〕
シーン判別部１３は、処理対象の画像データのヒストグラムと、シーン特徴量記憶部３１に記憶されているモデルヒストグラムとのマッチングを行う際、その類似度に応じて、シーン判別結果の信頼度を出力してもよい。図８は、シーン判別部１３によって出力されるシーン判別結果とその信頼度との具体例を示す図である。図８に示す例では、シーン判別部１３がマッチングを行った結果、図３（ｂ）に示す画像データのヒストグラムは、シーン「風景」のモデルヒストグラムとの類似度が最も高く、スコア「６０」の信頼度であり、次いで、「ビーチ」、「スノー」、「料理」、「夜景」の順に、それぞれのモデルヒストグラムとの類似度に応じて信頼度が算出されている。
【０１２２】
そして、シーン判別部１３は、上記画像データのシーンを「風景」と判別して、信頼度「６０」の値とともにシーン別処理実行部１６に出力する。あるいは、シーン判別部１３は、信頼度が所定の閾値に満たない場合には、別の処理を実行してもよい。
【０１２３】
例えば、当該画像データのシーンを判別できない旨のメッセージをユーザに表示したり、シーン別処理実行部１６に出力したりする。この場合、シーン別処理実行部１６は、シーン別の処理ではなく、デフォルトの処理を上記画像データに施せばよい。あるいは、信頼度が低いことを明示するメッセージをユーザに表示してもよい。この場合、ユーザは判別結果を確認して、誤りがあれば訂正するなどの措置を講じることができる。上記構成によれば、シーン判別結果が正しくない場合に、それをユーザが見過ごすことを防止できる。
【０１２４】
なお、シーン判別部１３は、文字領域として解析対象外とされた面積が、画像データ全体において占める割合を加味して、シーン判別結果の信頼度を出力してもよい。具体的には、文字領域の面積の割合が多ければ、解析対象となった画素が少なく、画像データのシーン判別精度が低下すると考えられる。そこで、シーン判別部１３は、画像データにおいて文字領域が占める割合が多いほど、図８に示す各シーンの信頼度が低くなるようにスコアを調節してもよい。
【０１２５】
これにより、画像属性判別装置１０は、シーン判別結果の信頼度をより正確に把握することが可能となり、信頼度に応じた正しい措置を実行することができる。
【０１２６】
〔文字領域を復元する〕
また、例えば、シーン判別結果について、一定以上の信頼度が得られなかった場合に、復元部１５が、解析対象から外された異質領域に対して復元処理を行い、その復元領域の画素値も加味して画像データのシーン判別処理をやり直してもよい。このように解析対象の画素が増えれば、より信頼性の高いシーン判別処理を実行することができる。なお、復元領域は、復元を行っていない対象画素の領域と比べて、復元後の画素値が元の画素値と同じである確かさが低いので、シーン判別部１３は、ヒストグラムを作成する場合に、復元された画素から抽出された特徴量に対して、０から１の間の係数を掛けるなどの重み付けをしてもよい。
【０１２７】
なお、復元部１５による復元処理は、対象画素特定部１２が解析対象外と特定した画素に対して、信頼度に関わらず必ず実行される構成であってもよい。しかしながら、上記構成は、信頼度が低い場合に絞って復元処理を実行する構成である。よって、高負荷の復元処理の機会を減らし、画像属性判別装置１０全体の処理効率を向上させることができるので好ましい。
【０１２８】
〔文字（列）の意味内容を考慮する〕
さらに、本発明の画像属性判別装置１０は、上記文字認識結果（例えば、図７に示す文字列）をシーン判別処理の指標の１つとして用いてもよい。つまり、認識された文字列がどのような意味を持つ単語を含んでいるのかを考慮して、図８に示すシーン判別結果のシーンごとの信頼度を算出してもよい。
【０１２９】
例えば、画像属性判別装置１０は、さらに、キーワード抽出部１７（図１に示す）を備えている。また、記憶部２は、文字スコア記憶部３３を備えている。キーワード抽出部１７は、文字認識部１４が領域ごとに認識した文字列に対して、さらに形態素解析を行うなどして、意味を持つ文字（列）の最小単位としてキーワードを抽出するものである。例えば、キーワード抽出部１７は、どのような構成でもよいが、文字列から名詞のキーワードを抽出する構成であってもよい。文字スコア記憶部３３は、キーワードごとに、どのシーンに対する信頼度をいくつ加点するのかを示した対応表を記憶するものである。つまり、文字スコア記憶部３３は、キーワードとシーン（属性）との関連性を信頼度に加算すべきスコアとして記憶するものである。
【０１３０】
図７に示す例では、キーワード抽出部１７は、第１文字領域Ａｒ１の文字列「［富士山］」から、キーワード「富士山」および「山」を抽出する。残りの領域の文字列についても同様にキーワードを抽出する。
【０１３１】
シーン判別部１３は、キーワード抽出部１７によって抽出されたキーワードに基づいて、文字スコア記憶部３３を参照し、どのシーンに信頼度を何点追加するのかを特定する。そして特定した加点スコアを、図８に示す、シーンごとに出力した信頼度に加算する。具体的には以下のとおりである。
【０１３２】
図９は、文字スコア記憶部３３に記憶されている、キーワードとシーンと加点スコアとの対応関係を示す対応表の具体例を示す図である。図９に示すとおり、対応表において、キーワードごとに、加点対象となるシーンと、そのときの加点スコアとが対応付けて記憶されている。
【０１３３】
例えば、図９に示す対応表の第１レコードは、画像データの文字領域に、キーワード「富士山」が含まれている場合には、当該画像データの判別結果（図８）におけるシーン「風景」の信頼度に対して、スコア「５０」を加算することを意味している。
【０１３４】
より詳細には、キーワード抽出部１７は、３つの文字領域の各文字列から文字認識部１４が認識した、キーワード「富士山」を１個、キーワード「山」を２個など、図７に示す計７個のキーワードを抽出する。キーワード抽出部１７が抽出したキーワードは、図７に示すとおり、各文字領域に対応付けて格納されてもよいし、画像データ（Fujiyama.jpg）に対応付けてまとめて格納されてもよい。
【０１３５】
そして、シーン判別部１３は、上述の実施形態で説明したシーン判別処理によって、図８に示すシーン判別結果を出力した後、キーワード抽出部１７が抽出したキーワードに基づいて、文字スコア記憶部３３の対応表（図９）を参照する。
【０１３６】
シーン判別部１３は、キーワード「富士山」の加点スコア「５０点×１個＝５０点」をシーン「風景」の信頼度に加点する。また、キーワード「山」の加点スコア「１０点×２個＝２０点」をシーン「風景」の信頼度に加点する。「富士山」および「山」以外の４個のキーワードについては、文字スコア記憶部３３に記憶されていない場合は加点しない。つまり、図８に示すシーン「風景」の信頼度のスコア「６０」に、「７０」を加算して、シーン「風景」の信頼度を最終的に「１３０」として出力する。
【０１３７】
このように、画像データに含まれている文字列の意味内容を、当該画像データのシーン判別結果に加味することにより、より信頼性の高いシーン判別結果を出力することが可能となる。テロップ、写真タイトル等の文字列には、その画像データのシーンに関連が深い単語が含まれている場合が多く、したがって、これをシーン判別処理の指標の１つとすることで、シーン判別結果の精度を向上させることができる。
【０１３８】
〔シーン判別処理フロー〕
図１０Ａおよび図１０Ｂは、本実施形態におけるデジタルフォトフレーム１００のシーン判別処理の流れの一例を示すフローチャートである。
【０１３９】
図６のＳ１０１〜Ｓ１０３に示すのと同様の方法であるが、まず、画像属性判別装置１０は、処理対象となる画像データ（Fujiyama.jpg）を画像データ記憶部３０から読み出して、画像メモリ５ａに展開する（Ｓ２０１）。対象画素特定部１２は、展開された画像データの各画素のフラグ配列を定義し、これをＴＲＵＥに初期化する（Ｓ２０２）。文字領域抽出部１１は、画像メモリ５ａ上に展開された画像データについて、異質領域としての文字領域を抽出する（Ｓ２０３）。ここでは、図３（ｂ）に示すとおり、文字領域抽出部１１は、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域を抽出する。
【０１４０】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン判別のための特徴量抽出対象の画素となるか否かを特定する。詳細には、まず、対象画素特定部１２は、文字領域抽出部１１によって画像データから抽出された全文字領域の面積が所定の閾値以上か、未満かを判断する（Ｓ２０４）。各文字領域の合計面積が所定の閾値に満たない場合（Ｓ２０４においてＮＯ）、その文字領域（異質領域）が、画像データのシーン判別処理に与える悪影響は少ないと考えて、対象画素特定処理を実施せずに、画像データの全画素を解析対象として、Ｓ２１１以降のシーン判別処理（図１０Ｂ）に移行する。
【０１４１】
一方、各文字領域の合計面積が所定の閾値以上である場合（Ｓ２０４においてＹＥＳ）、Ｓ２０５以降の対象画素特定処理に移行する。Ｓ２０５にて、対象画素特定部１２は、変数ｉに初期値１を代入する。そして、ｉ番目の文字領域の各画素について、フラグをＴＲＵＥで維持したり、ＦＡＬＳＥに変えたりする処理が実行される。
【０１４２】
具体的には、まず、文字認識部１４が、ｉ番目の文字領域について、文字認識処理を実行する（Ｓ２０６）。文字認識部１４は、図７に示すように、ｉ番目の文字領域の文字認識結果とその信頼度とを出力する。ここで、キーワード抽出部１７は、文字認識部１４によって認識された文字（列）から、キーワードを抽出してもよい。あるいは、全領域について文字認識処理が完了してから最後にまとめてキーワード抽出が行われてもよい。
【０１４３】
対象画素特定部１２は、文字認識部１４によって出力された当該文字領域の文字認識結
果の信頼度を参照し、所定の閾値以上か、未満かを判断する（Ｓ２０７）。文字認識結果の信頼度が閾値に満たない場合（Ｓ２０７においてＮＯ）、それまで文字領域とされていたｉ番目の領域は、実は文字領域でない（すなわち異質物を含んでいない）可能性が高いと判断し、当該領域の各画素のフラグをＴＲＵＥのまま維持する。すなわち、対象画素特定部１２は、上記領域の各画素をシーン判別のための解析対象から外さないと決定する。
【０１４４】
一方、文字認識結果の信頼度が閾値以上である場合（Ｓ２０７においてＹＥＳ）、当該文字領域が、シーン判別に悪影響を与える文字（列）を含んでいる可能性が高いと判断し、当該文字領域の各画素のフラグをＦＡＬＳＥにする（Ｓ２０８）。すなわち、対象画素特定部１２は、上記文字領域の各画素をシーン判別のための解析対象から外すと決定する。１つの文字領域について、各画素のフラグのＴＲＵＥまたはＦＬＡＳＥが特定されると、対象画素特定部１２は、ｉを１つインクリメントして（Ｓ２０９）、次の文字領域について、同様の手順で解析対象画素とするか否かを特定し、この処理を文字領域抽出部１１によって抽出されたすべての文字領域について繰り返す。対象画素特定部１２が、すべての文字領域（例えば、３つの文字領域すべて）について、対象画素特定処理を終了させると（Ｓ２１０）、シーン判別部１３が当該画像データ（Fujiyama.jpg）についてシーン判別処理を実行する。
【０１４５】
シーン判別部１３は、図６のＳ１０５、Ｓ１０６に示すのと同様の方法で、当該画像データにおいて、フラグが「ＴＲＵＥ」の条件を満たす画素のみを対象に特徴量を抽出（ヒストグラムを作成）し（Ｓ２１１）、シーンごとのモデル特徴量（モデルヒストグラム）との照合を行って、画像データのシーンを判別する（Ｓ２１２）。ここで、シーン判別部１３は、画像データの特徴量とシーンごとのモデル特徴量との類似度、文字認識部１４およびキーワード抽出部１７によって取得された文字領域に含まれるキーワード、および、対象外とされた文字領域の大きさなどの各要因に基づいて、当該画像のシーンとして判別されたシーンおよび次点以下の他のシーンごとに信頼度を算出する（Ｓ２１３）。例えば、シーン判別部１３は、シーン判別結果およびその信頼度を「（１位）シーン：風景、信頼度：１３０」のように出力する。
【０１４６】
続いて、シーン判別部１３は、画像データ（Fujiyama.jpg）のシーンが判別されたシーン（例えば「風景」）であるという確かさがどの程度であるのかを判断する。例えば、上記の「信頼度：１３０」が、所定の閾値以上か、未満かを判断する（Ｓ２１４）。ここで、シーン判別結果の信頼度が所定の閾値以上であれば、シーン判別部１３は、判別したシーンはほぼ確実に正しいと判断し、シーン判別結果をシーン別処理実行部１６に出力する。例えば、画像データ（Fujiyama.jpg）のシーンは「風景」であるという判別結果をシーン別処理実行部１６に出力する（Ｓ２１８）。
【０１４７】
一方、シーン判別結果の信頼度が所定の閾値未満であれば、画像データのシーンが本当にそのシーンであるのか疑わしいとして、画像属性判別装置１０は、判別結果の精度を向上させる処理に移行する。具体的には、復元部１５は、対象画素特定部１２によってフラグがＦＡＬＳＥに設定された各画素について、異質物を取り除く復元処理を実行する（Ｓ２１５）。この復元処理には、公知の復元技術が適用される。
【０１４８】
そして、シーン判別部１３は、復元部１５によって復元された、フラグがＦＡＬＳＥである各画素を対象に、特徴量を抽出する（Ｓ２１６）。シーン判別部１３は、Ｓ２１１にて作成したＴＲＵＥの各画素のヒストグラムに、上記ＦＡＬＳＥの各画素のヒストグラムを合成し、合成後のヒストグラムを用いて、各シーンのモデルヒストグラムとのマッチングを行い、画像データのシーン判別を再度行う（Ｓ２１７）。これにより、画像データ（Fujiyama.jpg）のシーン判別結果と信頼度とが再び求められ、最も信頼度の高いシーンが、当該画像データのシーンであるとしてシーン別処理実行部１６に出力される（Ｓ２１８）。
【０１４９】
これにより、シーン別処理実行部１６は、画像データ（Fujiyama.jpg）に対して、シーン「風景」に応じた処理を施すことが可能となる。例えば、シーン別処理実行部１６は、シーン別自動補正機能を有し、上記画像データに対して、風景写真が最も美しく映えるような画像処理を行って、表示部３に表示することなどが可能である。
【０１５０】
以上のとおり、上記方法によれば、画像属性判別装置１０において、シーン判別処理の効率化と、シーン判別処理の精度向上とを、画像属性判別装置１０の性能、使用環境などに応じてバランスよく構成することができる。
【０１５１】
本発明の画像属性判別装置１０は、本実施形態で説明した追加の構成のすべてを備えていなくてもよく、画像属性判別装置１０の構成は、本発明を実現する装置の情報処理能力、使用用途、使用環境などを考慮して、シーン判別処理の効率化および精度向上をバランスよく実現できるように、適宜選択的に設計される。
【０１５２】
〔文字領域の抽出方法〕
上述の各実施形態では、文字領域抽出部１１は、図３（ｂ）に示すとおり、画像データからある程度まとまった文字列らしき形状の外接矩形を文字領域として抽出するものとして説明したが、文字領域抽出部１１の構成はこれに限定されない。
【０１５３】
図１１および図１２は、図３（ａ）の画像データから文字領域抽出部１１が文字領域として抽出した領域の他の例を示す図である。
【０１５４】
例えば、図１１に示すとおり、文字領域抽出部１１は、文字（らしき）形状の外接矩形を１文字単位で文字領域として抽出してもよい。この場合、対象画素特定部１２が対象画素特定処理を実行するときの領域数が増えて画像属性判別装置１０に処理負荷がかかるという不利な点がある一方、図３（ｂ）のように大きく３つの領域に括られてしまう場合と比較して、解析対象外として無視される画素を減らすことができ、したがって、シーン判別処理の精度を向上させることができるという有利な点がある。
【０１５５】
あるいは、図１２に示すとおり、文字領域抽出部１１は、異質物の外接矩形ではなく、色、テクスチャなどから異質物（文字など）を写した画素のみを厳格に文字領域として抽出してもよい。この場合、文字領域抽出部１１、対象画素特定部１２における処理負荷はさらに大きくなる一方、解析対象外として無視される画素をさらに大幅に減らすことができ、したがって、シーン判別処理の精度をさらに向上させることができる。
【０１５６】
≪実施形態３≫
上述の各実施形態では、画像データの異質領域に左右されずに画像データの属性（シーン）を精度よく、かつ、効率的に判別することが可能な画像属性判別装置１０について説明した。この画像属性判別装置１０は、シーン特徴量記憶部３１においてあらかじめ学習されているモデル特徴量を、画像データの特徴量と照合することによりシーンの判別を行っている。したがって、モデル特徴量が、シーンに応じた特徴を正しく反映していることが、精度よいシーン判別のために必要である。本実施形態では、シーン特徴量記憶部３１に学習させる、シーンごとのモデル特徴量をより正確に作成する属性判別支援装置２０について説明する。
【０１５７】
本発明の属性判別支援装置２０は、シーン学習機能を実行する。シーン学習機能とは、学習対象となるサンプルの画像データを指定した正解のシーンと対応付けて装置が受け付けて、画像データから特徴量を抽出して、その特徴量を、指定されたシーンのモデル特徴量の一部として学習させる機能である。例えば、シーンが「風景」にカテゴライズされる画像データをあらかじめ複数用意しておき、これらの画像データから特徴量を抽出して、例えばその平均値などを、シーン「風景」のモデル特徴量とする。
【０１５８】
したがって、サンプルとして入力される画像データに上述したような異質領域（テロップなどの文字列）が含まれると、モデル特徴量がそのシーンの本来の特徴とは異質の特徴を含むことになってしまう。例えば、通常、「風景」の画像データには、黄色の文字形状は含まれないが、このような異質の黄色のテキストオブジェクトが本来のモデル特徴量を正しくない方向に歪ませてしまう。このようにモデル特徴量がそのシーンに応じた特徴を正しく反映していないと、それを用いて行われるシーン判別処理の精度が低下してしまうという問題がある。
【０１５９】
そこで、本発明の属性判別支援装置２０は、入力されたサンプルの画像データに異質領域が含まれている場合には、それを検出し取り除いた上で特徴量を求め、指定されたシーンのモデル特徴量に追加する。これにより、画像データの異質領域に左右されない、正確なモデル特徴量を作成することが可能となり、画像属性判別装置１０が、異質領域に左右されずに画像データの属性を精度よく判別することが可能になる。
【０１６０】
属性判別支援装置２０は、ユーザが使用する上述のデジタルフォトフレーム１００などの各種画像処理装置に適用してもよい。あるいは、本発明の属性判別支援装置２０は、上記画像処理装置の製造段階において、画像処理装置のシーン特徴量記憶部３１に記憶させるモデル特徴量を、あらかじめ用意された大量のサンプル画像データに基づいて作成する情報処理装置によって実現されてもよい。
【０１６１】
〔デジタルフォトフレームの構成〕
図１３は、本発明の実施形態におけるデジタルフォトフレーム１００の要部構成を示すブロック図である。なお、図１３の各構成要素に付された符号は、図１の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素についての説明は繰り返さない。
【０１６２】
図１に示すデジタルフォトフレーム１００と異なる点は、制御部１が、さらに、機能ブロックとしてのモデル特徴量算出部１８を備えている点である。モデル特徴量算出部１８と、他の各機能ブロック（特に、文字領域抽出部１１、対象画素特定部１２、さらには、文字認識部１４）は、シーン学習機能を実行する属性判別支援装置２０として機能する。属性判別支援装置２０は、さらに、復元部１５を備えていてもよい。
【０１６３】
属性判別支援装置２０は、まず、学習対象となるサンプルの画像データを指定した正解のシーンと対応付けて受け付ける。この入力を受け付ける方法は特に限定されないが、例えば、以下のとおりである。ユーザが学習させたい画像データを記録した外部記録媒体をデジタルフォトフレーム１００に装着し、デジタルフォトフレーム１００が、図示しない外部インターフェースを介して上記画像データを取り込む。ユーザは、操作部４を用いてデジタルフォトフレーム１００を操作し、取り込まれた上記画像データに対応付ける正解のシーンを指定し、学習を指示する。属性判別支援装置２０は、受け付けた画像データに入力された正解のシーンを対応付けて画像データ記憶部３０に登録する。このように登録された画像データは、シーン学習処理に用いられるとともに、表示部３に表示する画像データとして用いられてもよい。
【０１６４】
学習が指示されると、文字領域抽出部１１は、学習対象として受け付けた画像データを処理して、異質領域（ここでは、文字領域）が含まれていればそれを抽出する。
【０１６５】
対象画素特定部１２は、文字領域抽出部１１によって抽出された文字領域内の各画素について、それを特徴量抽出の対象画素とするか否かを特定する。ここでも、上述の実施形態と同様に、対象画素特定部１２は、対象画素のフラグにＴＲＵＥ、対象外の画素のフラグにＦＡＬＳＥを設定する。
【０１６６】
モデル特徴量算出部１８は、学習対象として受け付けた画像データの特徴量を抽出し、抽出した特徴量を用いて、指定されたシーンのモデル特徴量を算出するものである。本実施形態では、デジタルフォトフレーム１００において、モデル特徴量算出部１８は、すでに作成されているモデル特徴量に対して、今回新たに抽出した特徴量を含めて再度特徴量の平均値を算出しなおし、指定されたシーンのモデル特徴量を更新する。
【０１６７】
例えば、指定されたシーン「風景」の指定とともに、学習対象の画像データＡが入力された場合、現時点でのシーン「風景」のモデル特徴量をＸ、Ｘの素になっている「風景」のサンプル画像データ（の特徴量）数をＮ個、新たに抽出した画像データＡの特徴量をＹとすると、モデル特徴量算出部１８は、次式、
（Ｘ＊Ｎ＋Ｙ）／（Ｎ＋１）・・・（式１）
にしたがって、新たな「風景」のモデル特徴量を作成し、シーン特徴量記憶部３１のモデル特徴量を更新する。これは、特徴量Ｙのデータ数が１の場合、すなわち、画像データＡが１枚の場合の式である。なお、特徴量Ｘと特徴量Ｙとは、ベクトル量であり、例えば、ヒストグラムを示す。
【０１６８】
上記構成によれば、シーン学習機能を実行する際に、学習対象となる画像データに対して、前処理として、まず、文字領域抽出部１１が文字領域抽出処理を行う。そして、モデル特徴量算出部１８が、対象画素特定部１２によって特定された処理対象外の画素を除いて得られる特徴量に基づいて、モデル特徴量を作成する。
【０１６９】
これにより、異質物（テロップ等の文字）が含まれている画像データが、学習対象の画像データの中に不都合にも混在している場合でも、この異質物による悪影響が排除されたモデル特徴量を得ることができる。結果として、画像属性判別装置１０のシーン判別精度を向上させることができる。
【０１７０】
なお、対象画素特定部１２によって、文字領域として特徴量抽出の対象から外された画素に対して、復元部１５が復元処理を実行してもよい。例えば、復元部１５は、文字列によって隠されている本来の背景を復元することなどが可能である。これにより、より信頼性の高いモデル特徴量を作成することができる。
【０１７１】
〔シーン学習処理フロー〕
図１４は、本実施形態におけるデジタルフォトフレーム１００のシーン学習処理の流れの一例を示すフローチャートである。
【０１７２】
まず、属性判別支援装置２０は、学習対象となる画像データ（ここでも、図３（ａ）に示す、Fujiyama.jpgとする）の入力とともに、該画像データに対応付けられる正解のシーン（ここでは、「風景」とする）の指定を受け付ける（Ｓ３０１）。
【０１７３】
文字領域抽出部１１は、画像データ（Fujiyama.jpg）に対して、異質領域（ここでは、文字領域）抽出処理を実行する（Ｓ３０２）。文字領域抽出処理は、上述の各実施形態と同様の手順で行われ、例えば、図３（ｂ）に示すとおり、第１文字領域Ａｒ１〜第３文字領域Ａｒ３の３つの文字領域が抽出されたとする。
【０１７４】
次に、対象画素特定部１２は、抽出された文字領域に属する各画素について、シーン学習のための特徴量抽出の対象画素となるか否かを特定する対象画素特定処理を実行する（Ｓ３０３）。本実施形態では、図１０ＡのＳ２０５〜Ｓ２１０に示されるのと同様の手順で各文字領域の画素ごとに、特徴量抽出の対象となるか（ＴＲＵＥ）、否か（ＦＡＬＳＥ）が特定される。すなわち、対象画素特定部１２は、文字領域が実際は文字を含んでいない可能性が高い場合には、その中の各画素を特徴量抽出の対象とし、文字を含んでいる可能性が高い文字領域については、その中の各画素を特徴量抽出の対象外とする。
【０１７５】
続いて、モデル特徴量算出部１８は、画像データ（Fujiyama.jpg）の画素のうち、フラグがＴＲＵＥの条件を満たす画素のみを対象にして特徴量を抽出（例えば、ヒストグラムを作成）する（Ｓ３０４）。そして、モデル特徴量算出部１８は、Ｓ３０１にて受け付けたシーン（ここでは「風景」）のモデル特徴量をシーン特徴量記憶部３１から読み出して、
Ｓ３０４で抽出した特徴量に基づいて再計算し、これを更新する（Ｓ３０５）。例えば、モデル特徴量算出部１８は、画像データ（Fujiyama.jpg）を含む風景のサンプル画像データの各々から得られる色のヒストグラムの平均値を算出し、これを、シーン「風景」の新しいモデルヒストグラムとして更新する。
【０１７６】
上記方法によれば、シーン学習機能を実行する際に、学習対象となる画像データに文字（列）などの異質領域が含まれている場合には、その領域を除いた画素群について得られる特徴量を、指定されたシーンのモデル特徴量に加えることができる。
【０１７７】
これにより、より正確なモデル特徴量を作成することでき、結果として、画像属性判別装置１０が、精度よくシーン判別を行うことが可能になる。
【０１７８】
なお、上述した実施形態２では、シーン判別処理の効率化を目的として、抽出された文字領域が小さい場合には、対象画素特定処理（フラグがＴＲＵＥかＦＡＬＳＥかを決定する処理）を省略することについて説明した。しかしながら、本実施形態では、より正確なモデル特徴量を作成するという目的から、画像データから抽出された文字領域が小さい場合でも、それが異質のものである場合には、ＦＡＬＳＥのフラグを立てて対象画素から除外することが好ましい。なぜならば、１つの画像データについて、正しいシーンを判別するような実施形態２のケースでは、小さい文字領域が与える悪影響は少ないが、多数の画像データを用いて、１つのシーンのモデル特徴量を作成する本実施形態では、小さい文字領域の積み重ねが、正確なモデル特徴量の作成の妨げになる虞があるからである。
【０１７９】
また、属性判別支援装置２０は、さらに、復元部１５を備えていてもよい。Ｓ３０３において対象画素特定部１２によって特定されたＦＡＬＳＥの画素の面積（文字領域の面積）が所定の閾値よりも大きい場合には、復元部１５は、文字領域に対して復元処理を実行する。対象画素特定部１２は、復元された領域の画素のフラグをＴＲＵＥとし、対象画素の面積を増やす。これにより、より多くの同質の画素を特徴量抽出の対象とすることができ、作成するモデル特徴量の信頼性をより高めることが可能である。
【０１８０】
図１５は、本発明の実施形態において、デジタルフォトフレーム１００のシーン特徴量記憶部３１に搭載するモデル特徴量を作成する属性判別支援装置２０の要部構成を示すブロック図である。ここでは、属性判別支援装置２０は、大量の画像データを処理するのに適したサーバ、パーソナルコンピュータ、スーパーコンピュータなどの各種情報処理装置で実現される。なお、図１５の各構成要素に付された符号は、図１、１３の各構成要素に付された符号に対応しており、同じ符号は、同じ機能を持つ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素について、同じ説明は繰り返さない。
【０１８１】
表示部３は、ここでは、操作者が大量の画像データを登録したり、シーンを指定したりするための操作画面をＧＵＩ（Graphical User Interface）画面として表示する。例えば、学習対象の画像データを操作するためのアイコンを一覧表示したり、すでに、画像データ記憶部３０に登録されている画像データをシーンごとにサムネイル表示したりして、操作者がシーン学習機能を実行するのに便利なＧＵＩ画面を表示する。
【０１８２】
操作部４は、ここでは、操作者が属性判別支援装置２０を操作するためのものであり、例えば、マウス、キーボードなどで実現される。具体的には、操作者はマウスを操作して、表示部３に表示されている、新たに登録した大量のサンプルの画像データを一度に選択し、特定のシーン「風景」のフォルダにドラッグアンドドロップで格納することが可能である。これにより、操作者は、シーンを指定して一度に大量の画像データを登録することができ、簡単な操作で、属性判別支援装置２０にそのシーンの特徴を学習させることが可能となる。
【０１８３】
制御部１は、記憶部２から一時記憶部５に読み出されたプログラムを実行することにより、各種の演算を行うと共に、属性判別支援装置２０が備える各部を、バス６を介して統括的に制御するものである。制御部１は、機能ブロックとして、少なくとも、異質領域抽出部１１ａ、対象画素特定部１２およびモデル特徴量算出部１８を備える構成である。さらに、制御部１は、学習対象管理部１９、文字認識部１４および復元部１５を備えていてもよい。これらの各ブロックは、属性判別支援装置２０のシーン学習機能を実行する機能ブロックである。各機能ブロックは、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶部２に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部５に読み出して実行することで実現できる。
【０１８４】
異質領域抽出部１１ａは、学習対象の画像データに含まれる異質領域を抽出するものである。上述の各実施形態では、文字領域抽出部１１が、異質領域として文字（列）を含む文字領域を抽出する構成であった。しかし、異質領域抽出部１１ａは、文字領域に限定されず、あらゆる異質物を含む異質領域を抽出する構成である。文字領域以外の異質領域の具体例については後述するが、本実施形態における属性判別支援装置２０のように、モデル特徴量を作成するために大量のサンプル画像データを一度に読み込ませる装置の場合、文字（列）のみならず、サンプルには相応しくない、あらゆる異質物を含む画像データが混入する可能性がある。そこで、異質領域抽出部１１ａは、色やテクスチャの特徴などからあらゆる種類の異質物を検出できることが好ましい。
【０１８５】
学習対象管理部１９は、操作者からの学習の指示を受け付けるものであり、自装置に入力された学習対象の大量の画像データを、指定されたシーンの情報とともに画像データ記憶部３０に記憶し管理するものである。学習対象管理部１９が記憶した画像データは、モデル特徴量算出部１８によって特徴量が抽出される際に、画像メモリ５ａ上に１枚ずつ展開される。学習対象管理部１９は、展開された画像データの正解のシーンが何であるのかをモデル特徴量算出部１８に伝達する。
【０１８６】
モデル特徴量算出部１８は、上述したのと同様の手順で、自装置に入力された１つのシーンについての複数のサンプル画像データの特徴量を抽出し、それらの特徴量に基づいて、モデル特徴量を算出するものである。
【０１８７】
例えば、学習の指示、および、シーン「風景」に対応付けて１００枚のサンプルの画像データが入力された場合、学習対象管理部１９は、１００枚の画像データをシーン「風景」に対応付けて画像データ記憶部３０に記憶する。そして、異質領域抽出部１１ａが、画像メモリ５ａに展開した１枚の画像データの異質領域を検出し、対象画素特定部１２が、各異質領域を除外するフラグ（ＦＡＬＳＥ）を各画素にセットする。
【０１８８】
モデル特徴量算出部１８は、上記画像データについて、フラグがＴＲＵＥの画素についてのみ特徴量の抽出を行う。モデル特徴量算出部１８は、同様にして得られた１００枚全部の画像データの特徴量の平均値を、シーン「風景」のモデル特徴量として作成する。モデル特徴量算出部１８が作成したモデル特徴量は、一旦シーン特徴量記憶部３１に記憶され、適宜の手段を用いて、製造工程にある各デジタルフォトフレーム１００に搭載される。
【０１８９】
上記構成によれば、モデル特徴量を作成する際に用いるサンプルの中に、異質領域を含む画像データが含まれている場合でも、これを除外し、同質の画素のみから得られる特徴に基づいてモデル特徴量が作成される。よって、指定されたシーンに合った正確なモデル特徴量をデジタルフォトフレーム１００に搭載することが可能となり、結果として、デジタルフォトフレーム１００は、精度よくシーン判別処理を実行することができる。
【０１９０】
上述したとおり、異質領域抽出部１１ａは、文字（列）以外にも、様々な異質物を検出し、それを含む異質領域を抽出することができる。様々な異質領域の具体例を図１６〜１９に示す。
【０１９１】
図１６は、写真の撮影時の環境あるいは被写体の状態などに起因してスミア（破線枠内の白飛びした領域）が生じた画像データの一例を示す図である。図１７は、落書き（タッチペンによる手書き編集）、イラスト、スタンプなどのオブジェクトが画像編集工程でマージされた画像データの一例を示す図である。図１８は、原稿の端が折れたままスキャンされて得られた画像データの一例を示す図である。図１９は、写真の撮影時に撮影者の指が写り込んでしまった画像データの一例を示す図である。
【０１９２】
異質領域抽出部１１ａは、色やテクスチャなど違いに基づいて、各図に示される破線枠内の領域が、他の領域とは属性の異なる領域であると検出し、この領域を異質領域として抽出する。
【０１９３】
上記構成によれば、モデル特徴量算出部１８が特徴量を抽出するとき、シーンの判別に悪影響を与える様々な異質物に対応することができ、これを除いた状態でモデル特徴量の算出が行われる。したがって、さらに正確なモデル特徴量を得ることができ、結果として、画像属性判別装置１０によるシーン判別結果の精度を向上させることが可能となる。
【０１９４】
なお、画像属性判別装置１０が、異質領域抽出部１１ａを備えていてもよく、この場合、画像データに文字以外の異質物が含まれていても、それに左右されずに正しくシーン判別処理を実行することが可能となる。
【０１９５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９６】
最後に、画像属性判別装置１０および属性判別支援装置２０の各ブロック、特に、異質領域抽出部１１ａ、文字領域抽出部１１、対象画素特定部１２、シーン判別部１３およびモデル特徴量算出部１８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９７】
すなわち、画像属性判別装置１０および属性判別支援装置２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像属性判別装置１０（または属性判別支援装置２０）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像属性判別装置１０（または属性判別支援装置２０）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９９】
また、画像属性判別装置１０（または属性判別支援装置２０）を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２００】
本発明の画像属性判別装置または属性判別支援装置によれば、画像データの属性を精度よく判別することが可能になるので、属性の判別結果に応じて、属性別の処理を画像データに施す、各種画像処理装置に好適に用いることができる。例えば、本発明を、デジタルフォトフレーム、デジタルカメラ、デジタルビデオカメラ、デジタルビデオレコーダー／プレーヤー、デジタルテレビ、パソコン、プリンタ、スキャナなどに利用することができる。
【符号の説明】
【０２０１】
１ 制御部
２ 記憶部
３ 表示部
４ 操作部
５ 一時記憶部
５ａ 画像メモリ
６ バス
１０ 画像属性判別装置
１１ 文字領域抽出部（異質領域特定手段）
１１ａ 異質領域抽出部（異質領域特定手段）
１２ 対象画素特定部（対象画素決定手段）
１３ シーン判別部（属性判別手段）
１４ 文字認識部（文字認識手段）
１５ 復元部（復元手段）
１６ シーン別処理実行部
１７ キーワード抽出部（キーワード抽出手段）
１８ モデル特徴量算出部（モデル特徴量算出手段）
１９ 学習対象管理部
２０ 属性判別支援装置
３０ 画像データ記憶部
３１ シーン特徴量記憶部
３２ 文字照合辞書記憶部
３３ 文字スコア記憶部（ワード関連性記憶部）
１００ デジタルフォトフレーム（画像属性判別装置／属性判別支援装置）
【特許請求の範囲】
【請求項１】
画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、
画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴とする画像属性判別装置。
【請求項２】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定することを特徴とする請求項１に記載の画像属性判別装置。
【請求項３】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備えていることを特徴とする請求項１または２に記載の画像属性判別装置。
【請求項４】
上記異質領域特定手段によって特定された異質領域内の各画素につき、上記属性判別手段によって特徴量が抽出される対象画素か否かを決定する対象画素決定手段を備え、
上記属性判別手段は、上記画像データの各画素のうち、上記対象画素決定手段によって対象でないと決定された対象外画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別することを特徴とする請求項１から３までのいずれか１項に記載の画像属性判別装置。
【請求項５】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定し、
画像属性判別装置は、さらに、
上記異質領域特定手段が特定した文字領域内の文字を認識する文字認識手段を備え、
上記対象画素決定手段は、
上記文字領域内の文字が上記文字認識手段によって認識された文字であることの確からしさを示す文字認識結果の信頼度が所定値以下の場合は、上記文字領域内の画素を対象画素として決定することを特徴とする請求項４に記載の画像属性判別装置。
【請求項６】
上記文字認識手段が認識した文字または文字列から、キーワードを抽出するキーワード抽出手段と、
上記キーワード抽出手段によって抽出される各キーワードと、上記属性判別手段によって判別される各属性との関連性を記憶するワード関連性記憶部とを備え、
上記属性判別手段は、上記ワード関連性記憶部を参照し、
上記画像データの文字領域から抽出されたキーワードと各属性との関連性の高さを加味して該画像データの属性を判別することを特徴とする請求項５に記載の画像属性判別装置。
【請求項７】
上記属性判別手段は、上記画像データの特徴量を、複数種類の属性ごとにあらかじめ定められているモデル特徴量と照合し、その類似度に応じて、上記画像データの属性がその属性であることの確からしさを示す属性判別結果の信頼度を算出することにより、上記画像データの属性を判別し、
上記ワード関連性記憶部は、上記キーワードと上記属性との関連性を、上記属性判別結果の信頼度に加算するためのスコアとして記憶していることを特徴とする請求項６に記載の画像属性判別装置。
【請求項８】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備え、
上記復元手段は、上記属性判別結果の信頼度が所定値より低い場合にのみ復元を実行することを特徴とする請求項７に記載の画像属性判別装置。
【請求項９】
上記属性判別手段は、
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域が広いほど、信頼度を低く算出することを特徴とする請求項７または８に記載の画像属性判別装置。
【請求項１０】
上記対象画素決定手段は、上記画像データにおいて上記異質領域の占める面積が所定以上広い場合にのみ、上記異質領域内の各画素を対象外画素として決定することを特徴とする請求項４から９までのいずれか１項に記載の画像属性判別装置。
【請求項１１】
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、上記画像データの各画素のうち、上記異質領域特定手段によって特定された上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備え、
上記属性判別手段は、上記画像データの特徴量を、上記モデル特徴量算出手段によって属性ごとに算出されたモデル特徴量と照合し、その類似度に応じて上記画像データの属性を判別することを特徴とする請求項１から１０までのいずれか１項に記載の画像属性判別装置。
【請求項１２】
画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴とする属性判別支援装置。
【請求項１３】
画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、
画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴とする画像属性判別方法。
【請求項１４】
画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、
上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴とする属性判別支援装置の制御方法。
【請求項１５】
コンピュータに、請求項１３に記載の画像属性判別方法の各ステップ、または、請求項１４に記載の属性判別支援装置の制御方法の各ステップを実行させるための制御プログラム。
【請求項１】
画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別装置において、
画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別手段とを備えていることを特徴とする画像属性判別装置。
【請求項２】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定することを特徴とする請求項１に記載の画像属性判別装置。
【請求項３】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備えていることを特徴とする請求項１または２に記載の画像属性判別装置。
【請求項４】
上記異質領域特定手段によって特定された異質領域内の各画素につき、上記属性判別手段によって特徴量が抽出される対象画素か否かを決定する対象画素決定手段を備え、
上記属性判別手段は、上記画像データの各画素のうち、上記対象画素決定手段によって対象でないと決定された対象外画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別することを特徴とする請求項１から３までのいずれか１項に記載の画像属性判別装置。
【請求項５】
上記異質領域特定手段は、文字を含む文字領域を異質領域として特定し、
画像属性判別装置は、さらに、
上記異質領域特定手段が特定した文字領域内の文字を認識する文字認識手段を備え、
上記対象画素決定手段は、
上記文字領域内の文字が上記文字認識手段によって認識された文字であることの確からしさを示す文字認識結果の信頼度が所定値以下の場合は、上記文字領域内の画素を対象画素として決定することを特徴とする請求項４に記載の画像属性判別装置。
【請求項６】
上記文字認識手段が認識した文字または文字列から、キーワードを抽出するキーワード抽出手段と、
上記キーワード抽出手段によって抽出される各キーワードと、上記属性判別手段によって判別される各属性との関連性を記憶するワード関連性記憶部とを備え、
上記属性判別手段は、上記ワード関連性記憶部を参照し、
上記画像データの文字領域から抽出されたキーワードと各属性との関連性の高さを加味して該画像データの属性を判別することを特徴とする請求項５に記載の画像属性判別装置。
【請求項７】
上記属性判別手段は、上記画像データの特徴量を、複数種類の属性ごとにあらかじめ定められているモデル特徴量と照合し、その類似度に応じて、上記画像データの属性がその属性であることの確からしさを示す属性判別結果の信頼度を算出することにより、上記画像データの属性を判別し、
上記ワード関連性記憶部は、上記キーワードと上記属性との関連性を、上記属性判別結果の信頼度に加算するためのスコアとして記憶していることを特徴とする請求項６に記載の画像属性判別装置。
【請求項８】
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域に対し、対象画素と同質の画素を復元する復元手段を備え、
上記復元手段は、上記属性判別結果の信頼度が所定値より低い場合にのみ復元を実行することを特徴とする請求項７に記載の画像属性判別装置。
【請求項９】
上記属性判別手段は、
上記画像データの各画素のうち、特徴量の抽出の対象とならなかった対象外画素の領域が広いほど、信頼度を低く算出することを特徴とする請求項７または８に記載の画像属性判別装置。
【請求項１０】
上記対象画素決定手段は、上記画像データにおいて上記異質領域の占める面積が所定以上広い場合にのみ、上記異質領域内の各画素を対象外画素として決定することを特徴とする請求項４から９までのいずれか１項に記載の画像属性判別装置。
【請求項１１】
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、上記画像データの各画素のうち、上記異質領域特定手段によって特定された上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備え、
上記属性判別手段は、上記画像データの特徴量を、上記モデル特徴量算出手段によって属性ごとに算出されたモデル特徴量と照合し、その類似度に応じて上記画像データの属性を判別することを特徴とする請求項１から１０までのいずれか１項に記載の画像属性判別装置。
【請求項１２】
画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置において、
自装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定手段と、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出手段を備えていることを特徴とする属性判別支援装置。
【請求項１３】
画像データが写し出す内容に基づいて、該画像データの属性を判別する画像属性判別方法であって、
画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量に基づいて、上記画像データの属性を判別する属性判別ステップとを含むことを特徴とする画像属性判別方法。
【請求項１４】
画像データが写し出す内容に基づいて該画像データの属性を判別する画像属性判別装置が参照するモデル特徴量を、属性ごとに定める属性判別支援装置の制御方法であって、
上記属性判別支援装置に対して、画像データと該画像データの属性の指定とが入力されたとき、入力された画像データが本来写し出している内容とは属性が異なる異質物が含まれる異質領域を該画像データから特定する異質領域特定ステップと、
上記画像データの各画素のうち、上記異質領域内の各画素を除いた画素群より抽出された特徴量を用いて、指定された属性のモデル特徴量を算出するモデル特徴量算出ステップとを含むことを特徴とする属性判別支援装置の制御方法。
【請求項１５】
コンピュータに、請求項１３に記載の画像属性判別方法の各ステップ、または、請求項１４に記載の属性判別支援装置の制御方法の各ステップを実行させるための制御プログラム。
【図１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１９２０９１（Ｐ２０１１−１９２０９１Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５８５４４（Ｐ２０１０−５８５４４）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]