説明

画像処理装置、画像処理方法、および画像処理プログラム

【課題】メタデータが付与されていないデジタル画像について、人物画像に加えて背景画像に応じたメタデータを容易に且つ正しく付与できるようにする。
【解決手段】デジタル画像を人物画像と背景画像とに区分する(S203)。そして、メタデータが既に付与されている人物画像と一致する人物画像を有するデジタル画像に、そのメタデータのうち人物に応じたメタデータを付与する(S211)。さらに、メタデータが既に付与されている背景画像と一致する背景画像を有するデジタル画像に、そのメタデータのうち背景に応じたメタデータを付与する(S216)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、前景画像を有するデジタル画像に、付帯データを付与する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【0002】
デジタルカメラなどの撮影装置を用いてデジタル画像を撮影する時、画像データ以外の多くの情報を表す付帯データ(例えば、画像の解像度、露出設定値、画像の圧縮の程度など)を、所定のファイルフォーマット(例えば「Exif(登録商標)」)に従って付与することが行われている。これらの付帯データはメタデータとも呼ばれている。このようにデジタル画像にメタデータを付与することによって、多くのデジタル画像の中から、付与したメタデータに基づいて、特定のデジタル画像を容易に抽出することができるようにしている。
【0003】
さらに、このようなメタデータとして、デジタル画像が撮られた場所および撮影方向のデータや、被写体に応じた情報(人物名や風景名)のデータなど、撮影者が所望するメタデータなどを付与できるようになってきている。従って、撮影されたデジタル画像には、例えば被写体における前景画像が人物であればメタデータとして「人物名」が、また前景画像以外の背景画像についてはメタデータとして「背景に写っている建物名」や「撮影場所」が、それぞれデジタル画像を特定するメタデータとして付与されることが一般的に行われるようになってきた。
【0004】
一方、例えば所謂フィルムカメラと称する撮影装置で、撮影者が以前より撮り貯めたスチール写真が多く存在している。このようなスチール写真は、一般的に家族など人物を写した撮影者にとって大切な写真が多い。このため、撮影者は、家族が写ったスチール写真を、スキャナなどといった入力装置を用いてデジタル画像に変換し、変換したデジタル画像をCD−ROMなどの所定の記録媒体に保存することが行われるようになってきた。スチール写真は、フィルム表面の銀塩が劣化し、撮影画像が退色して観賞できなくなってしまうためである。
【0005】
このようなスチール写真には、基本的にメタデータは付与されていないので、スチール写真を変換したデジタル画像には、基本的にメタデータは存在しないことになる。従って、例えばCD−ROMなどの記録媒体に保存された多くのデジタル画像から、スチール写真を変換したデジタル画像を容易に抽出できるようにするためには、スチール写真を変換したデジタル画像にメタデータを付与しておく必要がある。
【0006】
ところで、メタデータが付与されていないデジタル画像に対して、メタデータを付与する作業は、作業者が、デジタル画像の画像内容を確認しながら、所定の入力手段を用いて適切なデータを入力するという大変面倒な作業になる。また、このような付与作業において、例えば被写体の人物の名前を忘れ、人物名をメタデータとして入力することができない場合は、付与作業自体ができないことにもなる。そこで、このように、メタデータが付与されていないデジタル画像について、メタデータを自動的に付与するための方法が、特許文献1に提案されている。特許文献1には、取り込んだ画像内の人物の名前をその画像のメタデータに追加する技術が開示されている。
【0007】
【特許文献1】特開2004−62868号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示された技術は、取り込んだ画像内の顔と一致した既知の顔の人物名をメタデータとして追加するものであり、前景画像となる人物画像を除く背景画像に応じたメタデータ(例えば、風景名)については、その付与方法について何ら技術開示がなされていない。従って、人物画像についてはメタデータを自動的に付与することができるものの、背景画像については前述したような付与作業を行う必要があり、容易にメタデータを付与することができないという課題がある。
【0009】
本発明はこのような課題に鑑みてなされたもので、例えば人物画像といった前景画像を有するデジタル画像に、付帯データを自動的に付与する画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。これによって、メタデータが付与されていないデジタル画像について、前景画像に加えて背景画像に応じたメタデータを容易に且つ正しく付与できるようにするものである。
【課題を解決するための手段】
【0010】
上記目的を達成する本発明の画像処理装置は、前景画像を有するデジタル画像に、付帯データを付与する画像処理装置であって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶部と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得部と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分部と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分部と、前記第1の画像区分部が区分した背景画像と、前記第2の画像区分部が区分した背景画像とが、一致するか否かを判定する一致判定部と、前記一致判定部が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与部と、を備えたことを要旨とする。
【0011】
この構成によれば、デジタル画像を前景画像と背景画像とに区分する。そして、メタデータが既に付与されている背景画像と一致する背景画像を有するデジタル画像に、そのメタデータのうち背景に応じたメタデータを付与する。
【0012】
従って、デジタル画像を前景画像と背景画像とに区分してメタデータを付与するので、それぞれの画像に最も適したメタデータが自動的に付与される確率が高くなる。また、デジタル画像を前景画像と背景画像とに区分するので、後述する背景画像の一致判定処理において、前景画像が背景画像に与える影響を排除することができ、一致判定の精度が高くなることが期待できる。
【0013】
ここで、前記前景画像は人物画像であることとしてもよい。
【0014】
人物画像は、一般にデジタル画像の画面全体領域に対して写っている画像領域が比較的大きい場合が多く存在する。従って、前景画像を人物画像として区分することによって、区分された背景画像についての一致判定の精度が高くなることが期待できる。従って、背景画像に応じたメタデータが、正しく付与されることが期待できる。
【0015】
また、前記第1の画像区分部または前記第2の画像区分部は、前記人物画像を有するデジタル画像から顔画像を抽出し、前記抽出された顔画像領域について、顔の大きさに応じて予め定められた画像領域を前記人物画像として区分することとしてもよい。
【0016】
こうすれば、顔の大きさに応じて予め定められた画像領域を人物画像として区分するので、背景画像の領域と人物画像の領域とを容易に区分することができる。従って、画像の一致判定処理において、人物画像の区分に関する処理負荷が軽減される。
【0017】
本発明を、画像処理方法として捉えることもできる。すなわち、前景画像を有するデジタル画像に、付帯データを付与する画像処理方法であって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶工程と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得工程と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分工程と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分工程と、前記第1の画像区分工程が区分した背景画像と、前記第2の画像区分工程が区分した背景画像とが、一致するか否かを判定する一致判定工程と、前記一致判定工程が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与工程と、を備えたことを要旨とする。
【0018】
本発明の画像処理方法によれば、上述した本発明の画像処理装置と同様の作用効果を得ることができる。なお、この画像処理方法は、上述した種々の態様を有する画像処理装置において実行してもよいし、他の態様を有する画像処理装置において実行してもよい。
【0019】
さらに、本発明をコンピュータプログラムとして捉えることもできる。すなわち、前景画像を有するデジタル画像に、付帯データを付与する画像処理プログラムであって、前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶機能と、前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得機能と、前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分機能と、前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分機能と、前記第1の画像区分機能が区分した背景画像と、前記第2の画像区分機能が区分した背景画像とが、一致するか否かを判定する一致判定機能と、前記一致判定機能が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与機能と、をコンピュータに実現させることを要旨とする。
【0020】
このプログラムが所定のオペレーションシステム上で実行されることによって、上述した画像処理方法が実行され、同じく上述した本発明の画像処理装置と同様の作用効果を得ることができる。このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよいし、インターネットなどの伝送媒体を介してコンピュータに授受されるものでもよい。
【発明を実施するための最良の形態】
【0021】
次に、本発明の実施の形態を実施例に基づいて説明する。図1は本発明の一実施例としての画像処理装置100を示す構成図である。本実施例の画像処理装置100は、基本的に、所定のオペレーティングシステムの下で、所定のアプリケーションプログラムを実行するパーソナルコンピュータである。こうしたコンピュータとしては、本実施例のような汎用のパーソナルコンピュータはもとより、サーバや大型コンピュータなどアプリケーションプログラムが動作するコンピュータであれば、いずれのコンピュータでも用いることができる。
【0022】
このパーソナルコンピュータには、動画像や静止画像などのデジタル画像を供給するための供給機器としてのデジタルビデオカメラ140、CD−ROM(DVD−ROM)150、デジタルカメラ160、スキャナ170が接続されている。また、パーソナルコンピュータを操作するユーザー(以降、単に「ユーザー」と呼ぶ)が、必要な操作入力を行うための入力機器としてのキーボード131およびマウス132が接続されている。また、画像処理に際して必要な画像や情報を表示するための表示機器としてのモニター130が接続されている。なお、デジタル画像の供給機器としては、図1に示したものの他に、USBメモリやカード型のメモリなどが接続されてもよい。
【0023】
パーソナルコンピュータは、画像処理のための演算処理を実行するCPU110と、その演算処理プログラムなどを記憶するROM111と、デジタル画像を構成する画素の画素データを一時的に記録して保存するRAM112と、画像処理のためのアプリケーションソフトや供給機器から供給されたデジタル画像を格納するハードディスク(HD)113と、各供給機器との間のインターフェイスを司るI/F120と、各入力機器および表示機器との間のインターフェイスを司るI/F121とを備えている。それらは、バスライン115を介して必要なデータが授受されるように結線されている。
【0024】
従って、CPU110が、ROM111に格納された演算処理プログラムやハードディスク113に格納されたアプリケーションソフトを読み出して実行することによって、記憶部100a、取得部100b、第1の画像区分部100c、第2の画像区分部100d、第1の一致判定部100e、第2の一致判定部100f、第1のメタデータ付与部100g、第2のメタデータ付与部100hとして機能する。各部は、主として以下の処理を司る。
【0025】
記憶部100aは、I/F120を介して各供給機器から供給される付帯データ(以降、メタデータ)が付与されているメタデータ有デジタル画像の画像データを、付与されているメタデータとともにハードディスク113に格納して記憶する。取得部100bは、供給機器(例えばスキャナ)から供給されたメタデータが付与されていないメタデータ無デジタル画像を、RAM112の所定の記録エリアに記録して取得する。第1の画像区分部100cは、ハードディスク113に格納されたメタデータ有デジタル画像を、前景画像としての人物画像と背景画像とに区分する。第2の画像区分部100dは、RAM112に記録されたメタデータ無デジタル画像を、前景画像としての人物画像と背景画像とに区分する。第1の一致判定部100eは、区分されたメタデータ有デジタル画像の人物画像と、メタデータ無デジタル画像の人物画像とを比較し、2つの画像が一致するか否かを判定する。第2の一致判定部100fは、区分されたメタデータ有デジタル画像の背景画像と、メタデータ無デジタル画像の背景画像とを比較し、2つの画像が一致するか否かを判定する。第1のメタデータ付与部100gは、一致した人物画像が含まれるメタデータ有デジタル画像に付与されているメタデータのうち人物に応じたメタデータを、メタデータ無デジタル画像のメタデータとして付与する。第2のメタデータ付与部100hは、一致した背景画像が含まれるメタデータ有デジタル画像に付与されているメタデータのうち、背景に応じたメタデータを、メタデータ無デジタル画像のメタデータとして付与する。
【0026】
次に、以上の機能構成部を有する画像処理装置100が行う画像処理について、図2のフローチャートに従って説明する。
【0027】
この処理が開始されると、まずステップS201にて、既にメタデータが付与されている複数のメタデータ有デジタル画像を記憶する処理を行う。CPU110は、I/F120を介して各供給機器から供給されるデジタル画像を、メタデータとともにハードディスク113に格納する。
【0028】
次に、ステップS202にて、メタデータが付与されていないメタデータ無デジタル画像を取得する処理を行う。本実施例では、ユーザーがスキャナ170(図1)によってスチール写真をデジタル画像に変換するものとする。従って、CPU110は、I/F120を介してスキャナ170から供給されるスチール写真を変換したデジタル画像について、その画像データをRAM112に記録することによって取得する。
【0029】
図3(a)に、スキャナ170から供給されるスチール写真を変換したデジタル画像の一例を示す。このデジタル画像は、前述したようにメタデータ無デジタル画像であり、山を背景にして写した人物画像である。本実施例は、このデジタル画像に付与すべきメタデータとして、人物に応じたメタデータ(例えば、人物名)と背景に応じたメタデータ(例えば、背景名)とを、既にメタデータが付与されているメタデータ有デジタル画像から取得して付与しようというものである。
【0030】
次に、ステップS203にて、メタデータ無デジタル画像を人物画像と背景画像に区分する処理を行う。この処理によって、図3(b)に示したように、背景画像が存在しない人物画像と、図3(c)に示したように、人物画像(図中、破線)が切り取られた背景画像とに区分される。
【0031】
ところで、本実施例では、デジタル画像から人物画像の抽出処理を行うことによって人物画像と背景画像とを区分する。CPU110は、ハードディスク113に格納された人物画像の抽出処理のためのアプリケーションソフトを読み出し、所定の処理を行って人物画像を抽出する。例えば、肌色検出処理によって顔画像を検出し、領域分割処理によって人物の身体に相当する画像領域を探索し、エッジ抽出処理によって身体と背景画像の境界を探索する。また、人物画像の抽出処理として、これらの処理技術の他に、鼻孔を検出して顔画像を検出したりする技術など既に多くの処理技術が開示されており、本実施例では、これらの処理技術を用いて人物画像を抽出するものとする。
【0032】
次に、ステップS205にて、メタデータ有デジタル画像の1つを読み出す処理を行う。CPU110はハードディスク113に格納されたメタデータ有デジタル画像を所定の順序(例えば、撮影日時の古い方から時系列順)で1つ読み出す。そして、ステップS206にて、メタデータ有デジタル画像を人物画像と背景画像に区分する処理を行う。
【0033】
ステップS205で読み出したメタデータ有デジタル画像の一例を図4(a)に示す。このデジタル画像は、「△ロッジ」を背景にして写した人物画像である。そして、このデジタル画像には、メタデータとして、写っている人物名「太郎」と、背景名「△ロッジ」が付与されているものとする。
【0034】
このメタデータ有デジタル画像を、ステップS206にて、人物画像と背景画像に区分する処理を行うことによって、図4(b)に示したように背景画像が存在しない人物画像と、図4(c)に示したように人物画像(図中、破線)が切り取られた背景画像とに区分される。人物画像と背景画像との区分方法は、前述したステップS203にて説明した方法と同様に行う。従って、ここでは説明を省略する。
【0035】
次に、ステップS207にて、人物画像同士及び背景画像同士を比較する処理を行う。本実施例では、画像のパターンと画像データのヒストグラムを用いることとし、人物画像同士の比較を画像データのパターンマッチングによって行い、背景画像同士の比較を画像データのヒストグラムの比較によって行うものとする。なお、パターンマッチングやヒストグラムは、画像処理技術において周知の処理技術であるので、これらの処理についての説明は省略する。
【0036】
ここで、人物画像同士の比較処理において、本実施例では、検出された顔画像についてパターンマッチングを行うものとする。CPU110は、人物画像のうち肌色の画像領域を抽出し、抽出した画像領域を顔画像としてパターンマッチング処理を行う。なお、パターンマッチング処理に際しては、比較する2つの顔画像が同じ大きさになるように、いずれか一方の顔画像の大きさを、他方の顔画像の大きさと略一致する大きさに拡大または縮小する。画像の拡大または縮小処理は、画像を構成する画素の補間処理方法(例えば、バイ・リニア法など)によって行うことができる。
【0037】
次にステップS210にて、人物画像は一致するか否かを判定処理する。本実施例では、CPU110は、2つの顔画像を構成する画素の画素値を比較し、対応する各画素についての画素値の差分の総合計値が所定の閾値以内であるか否かによって2つの顔画像が一致するか否かを判定する。もとより、これ以外に、顔画像の一致が判定できる方法(例えば特許文献1に開示された方法)であれば、どのような方法を用いても差し支えない。
【0038】
判定の結果、顔画像が一致、つまり人物画像が一致する場合(ステップS210:YES)、ステップS211にて、読み出したメタデータ有デジタル画像の人物に応じたメタデータを付与する処理を行い、ステップS215に進む。本実施例では、図3(b)に示したデジタル画像の人物画像と、図4(b)に示したデジタル画像の人物画像とが一致することから、CPU110は、図4(a)に示したメタデータ有デジタル画像のメタデータのうち、人物に応じたメタデータである「太郎」を、図3(a)に示した、メタデータ無デジタル画像のメタデータとして付与する。
【0039】
一方、判定の結果、人物画像が一致しない場合(ステップS210:NO)、何もしないで次のステップS215に進む。
【0040】
次に、ステップS215では、背景画像は一致するか否かを判定処理する。本実施例では、CPU110は、2つの背景画像を、前述したように画素の階調値と出現頻度との関係を示したヒストグラムとして表し、表された2つのヒストグラムを比較し、各階調値に対する出現頻度が所定の頻度差以内であるか否かによって2つの画像が一致するか否かを判定する。もとより、これ以外に、背景画像の一致が判定できる方法であれば、どのような方法を用いても差し支えない。
【0041】
このように、本実施例では、人物画像と背景画像とを区分して、デジタル画像から人物画像を取り除いた画像を背景画像としている。従って、表されるヒストグラムには、人物画像の影響がほぼ排除されているので、背景画像のみを正しく比較することができるのである。
【0042】
判定の結果、背景画像が一致する場合(ステップS215:YES)、ステップS216にて、読み出したメタデータ有デジタル画像の背景に応じたメタデータを付与する処理を行い、ステップS220に進む。
【0043】
一方、判定の結果、背景画像が一致しない場合(ステップS215:NO)、何もしないで次のステップS220に進む。本実施例では、図3(c)に示したメタデータ無デジタル画像の背景画像と、図4(c)に示したメタデータ有デジタル画像の背景画像とは一致しないことから、背景画像に応じたメタデータは付与されない。
【0044】
そして、ステップS220にて、読み出していないメタデータ有デジタル画像は存在するか否かを判定処理する。判定の結果、存在すれば(YES)、ステップS205に戻って上述したステップS220までの処理を繰り返す。CPU110はハードディスク113に格納されたメタデータ有デジタル画像について、まだ読み出していないデジタル画像から、所定の順序に従って次の1つのデジタル画像を読み出す。
【0045】
次に読み出されたメタデータ有デジタル画像の一例を図5(a)に示す。このデジタル画像は、「凸凹山」を背景にして写した人物画像である。そして、このデジタル画像には、メタデータとして、写っている人物名「次郎」と、背景名「凸凹山」が付与されているものとする。
【0046】
そして、ステップS206にて人物画像と背景画像に区分する処理が行われ、このメタデータ有デジタル画像は、図5(b)に示した人物画像と、図5(c)に示した背景画像とに区分される。人物画像と背景画像との区分方法は、前述したステップS203にて説明した方法と同様である。
【0047】
次に、前述したように、ステップS207にて、人物画像同士及び背景画像同士の比較処理が行われ、まずステップS210にて、人物画像は一致するか否かの判定処理が行われる。
【0048】
ここでは、図3(b)に示した人物画像と図5(b)に示した人物画像は一致しないので(ステップS210:NO)、何もしないで次のステップS215に進む。
【0049】
次に、ステップS215にて、背景画像は一致するか否かの判定処理が行われる。そして、背景画像が一致する場合(ステップS215:YES)、ステップS216にて、読み出したメタデータ有デジタル画像の背景に応じたメタデータを付与する処理を行い、ステップS220に進む。今度は、図3(c)に示したメタデータ無デジタル画像の背景画像と、図5(c)に示したメタデータ有デジタル画像の背景画像とが一致するので、CPU110は、図5(a)に示したメタデータ有デジタル画像のメタデータのうち、背景に応じたメタデータである「凸凹山」を、図3(a)に示した、メタデータ無デジタル画像のメタデータとして付与する。
【0050】
このような処理が、ハードディスク113に格納された総てのメタデータ有デジタル画像について行われ、読み出していないメタデータ有デジタル画像が存在しなくなると(ステップS220:NO)、本実施例での画像処理装置100における画像処理が終了する。
【0051】
ちなみに、本実施例では、図3(a)に示したメタデータ無デジタル画像には、上述したメタデータの付与処理の結果、メタデータとして「太郎」と「凸凹山」が付与される。従って、ユーザーは抽出を所望するデジタル画像が「凸凹山」を背景に「太郎」を写した画像である場合、メタデータ「太郎」と「凸凹山」とに基づいて、所望するデジタル画像を容易に抽出することができる。
【0052】
上述したように、本実施例によれば、メタデータが付与されていないデジタル画像を人物画像と背景画像とに区分する。そして、区分した人物画像と一致する人物画像が写っているデジタル画像に既に付与されているメタデータのうち、人物に応じたメタデータを、メタデータが付与されていないデジタル画像に付与する。さらに、区分した背景画像と一致する背景画像が写っているデジタル画像に既に付与されているメタデータのうち、背景に応じたメタデータを、メタデータが付与されていないデジタル画像に付与する。この結果、ユーザーが抽出を所望するデジタル画像を、メタデータを用いて、大量のデジタル画像から容易に抽出することができる。
【0053】
また、人物画像と背景画像とを区分してメタデータを付与するので、それぞれの画像に最も適したメタデータが付与される確率が高くなる。また、人物画像と背景画像とを区分するので、背景画像の一致判定処理において、人物画像が背景画像に与える影響を排除することができ、背景画像についての一致判定の精度が高くなることが期待できる。
【0054】
以上、本発明の実施の形態について実施例により説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。以下、変形例を挙げて説明する。
【0055】
(第1変形例)
上記実施例では、図2のステップS203(およびステップS206)において、顔画像の検出処理の他に、領域分割処理やエッジ抽出処理などの画像処理を行って人物画像を抽出することとした。しかしながら、このような処理は、演算回数も多く、また使用するメモリ領域も多く必要とすることから、画像処理に応じた負荷が重くなってしまう。そこで、変形例として、人物画像を、抽出した顔画像に基づいて予め決められた画像領域とすることとしてもよい。こうすれば、画像処理に応じた負荷を軽減することが可能となり、処理スピードが速くなることが期待できる。
【0056】
本変形例について、図6と図7を用いて説明する。図6は、抽出した顔画像に対して、人物画像の画像領域の設定例を示した模式図である。図示するように人物画像領域は、図中網掛け部で示したように、横方向(図面左右方向)については、顔画像の横幅KWの中心位置となる線KCXから、図面左側が長さKW1、図面右側が長さKW2とし、縦方向(図面上下方向)については、顔画像の縦幅KHの中心位置となる線KCYから、図面上側が長さKH1、図面下側が長さKH2としている。
【0057】
長さKW1と長さKW2は、顔の横幅KWに対して肩幅を想定した長さを、顔を中心として横方向に設定したものである。また、長さKH1と長さKH2は、顔の縦幅KHに対して、頭髪部分までの長さと足先までの長さを想定して設定したものである。このように人物画像の画像領域を予め定めておけば、顔画像を検出することによって、人物画像の画像領域をおおよそ抽出することができることになる。
【0058】
こうして人物画像の画像領域を抽出した場合の一例を図7に示した。図7(a)は、図3(a)に示したメタデータ無デジタル画像に対して、本変形例による区分方法にて人物画像を区分した場合を示し、図7(b)は、図5(a)に示したメタデータ有デジタル画像に対して、本変形例による区分方法にて人物画像を区分した場合を示している。
【0059】
図7において、図中網掛け領域で示した矩形部分が、区分された人物画像の部分になる。図から明らかなように、図7(a)で示したメタデータ無デジタル画像については、背景画像の一部が人物画像として区分されるものの、人物画像の部分は殆ど背景画像として区分されないので、背景画像の一致判定処理に際して人物画像が影響を与える確率は小さい。また、図7(b)で示したメタデータ有デジタル画像については、人物画像の一部分(左右の両手部分)が背景画像として区分されるものの、背景画像の大きさに対して画像領域が小さい場合は、ヒストグラムを大きく変化させることが無いので、一致判定処理に際して人物画像が影響を与える確率は小さいと考えて良い。
【0060】
(第2変形例)
上記実施例では、図2のステップS207における人物画像同士の比較処理において、検出された顔画像についてパターンマッチングを行うものとした。本変形例では、人物画像全体の画像をヒストグラムによって比較処理することとしてもよい。
【0061】
このように人物画像全体を比較することによって、例えば人物が横向きに写っていたり、顔が小さく写っていたりして顔画像のパターンマッチングが困難であるような場合に有効である。すなわち、人物画像全体を比較するので、例えば、服装が一致するデジタル画像を抽出することができる。この結果、服装が一致する、つまり人物が一致するデジタル画像を抽出することができ、人物に応じたメタデータを正しく付与することができることになる。また、顔画像の拡大縮小処理を行うことなく人物画像を比較することができるので、処理負荷も軽減できる可能性がある。
【0062】
具体的な比較処理方法としては、前述した背景画像の比較処理と同様に、2つの人物画像を画素の階調値と出現頻度との関係を示したヒストグラムとして表し、表された2つのヒストグラムを比較し、各階調値の出現頻度が所定の頻度差以内であるか否かによって2つの画像が一致するか否かを判定すればよい。もとより、これ以外に、人物画像の一致が判定できる方法であれば、どのような方法を用いても差し支えない。
【0063】
(第3変形例)
上記実施例では、ハードディスク113に格納された総てのメタデータ有デジタル画像について、所定の順序で1つずつ読み出し、メタデータ無デジタル画像との比較処理を行った。これは、前述しなかったが、こうすることで予め付与されたメタデータについて、人物に応じた総てのメタデータ、および背景に応じた総てのメタデータを付与することができるためである。
【0064】
しかしながら、予め付与されたメタデータが、同じか凡そ一致している場合は、必ずしもメタデータ有デジタル画像の総てのデジタル画像との比較を行う必要はない。そこで本変形例として、人物画像について一致するデジタル画像が存在し、このデジタル画像に予め付与されている人物に応じたメタデータが、メタデータ無デジタル画像に付与された時点で、人物画像についての比較処理を終了することとしてもよい。また同じく、背景画像について一致するデジタル画像が存在し、このデジタル画像に予め付与されている背景に応じたメタデータが、メタデータ無デジタル画像に付与された時点で、背景画像についての比較処理を終了することとしてもよい。こうすれば、画像処理に応じた負荷が軽減される。
【0065】
本変形例における具体的な処理については、図示しないが、図2に示した処理フローチャートにおいて、ステップS211の処理が1回された時点で、以降ステップS210とステップS211の処理を行わないようにする。また、ステップS216の処理が1回された時点で、以降ステップS215とステップS216の処理を行わないようにする。そして、ステップS211とステップS216の処理が両方1回行われた時点で、すべての処理を終了するようにすればよい。
【0066】
(その他の変形例)
上記実施例では、メタデータ無デジタル画像をスキャナ170から取得するものとしたが、これに限るものではない。例えば、スチール写真をデジタルビデオカメラ140やデジタルカメラ160で撮影し、撮影したデジタル画像を取得することとしてもよい。あるいは、スチール写真などメタデータが付与されていない画像がデジタル画像として記録されているCD−ROM150から取得することとしてもよい。
【0067】
また取得に際して、取得対象となるデジタル画像が多い場合、図1に示したモニター130に取得対象となるデジタル画像を一覧表示し、ユーザーがキーボード131やマウス132を操作して選択することとしてもよい。
【0068】
また、メタデータ無デジタル画像は、スチール写真のように静止画像から変換されたデジタル画像以外に、動画像から変換されたデジタル画像であってもよい。この場合は、デジタルビデオカメラ140から、動画像を構成するフレーム画像を画像処理装置100に供給する。なお、メタデータ無デジタル画像が動画像のフレーム画像のときは、被写体となる人物が動いている場合、周知のように、時系列順で連続するフレーム画像間の動きベクトル解析によって、人物画像を抽出することができる。
【0069】
また、上記実施例において、人物画像あるいは背景画像が一致したメタデータ有デジタル画像の総てを、モニター130に一覧表示し、メタデータを付与すべき対象となるメタデータ有デジタル画像を、ユーザーがキーボード131やマウス132を操作して選択することとしてもよい。こうすれば、ユーザーが所望するメタデータを適切に付与することができる。
【0070】
なお、上記実施例では、人物画像と背景画像の双方にメタデータを付与する構成としたが、人物画像のみ、または背景画像のみにメタデータを付与する構成としてもよい。また、上記実施例では、前景画像として人物画像を対象としたが、人物画像に限らず、特定の画像を前景画像として同様に本発明を適用できることは勿論である。
【図面の簡単な説明】
【0071】
【図1】本発明の一実施例としての画像処理装置についての構成図。
【図2】実施例の画像処理装置が行う処理を説明するフローチャート。
【図3】(a)は、スチール写真を変換したデジタル画像の一例を示す模式図。(b)は、そのデジタル画像から区分された人物画像を示す模式図。(c)は、そのデジタル画像から区分された背景画像を示す模式図。
【図4】(a)は、読み出されたメタデータ有デジタル画像の一例を示す模式図。(b)は、そのデジタル画像から区分された人物画像を示す模式図。(c)は、そのデジタル画像から区分された背景画像を示す模式図。
【図5】(a)は、読み出された別のメタデータ有デジタル画像の一例を示す模式図。(b)は、そのデジタル画像から区分された人物画像を示す模式図。(c)は、そのデジタル画像から区分された背景画像を示す模式図。
【図6】顔画像に対して、人物画像の画像領域を定めた様子を示した模式図。
【図7】(a)は、第1変形例による区分方法にて人物画像を区分した場合を示す説明図。(b)は、第1変形例による区分方法にて人物画像を区分した場合を示す説明図。
【符号の説明】
【0072】
100…画像処理装置、100a…記憶部、100b…取得部、100c…第1の画像区分部、100d…第2の画像区分部、100e…第1の一致判定部、100f…第2の一致判定部、100g…第1のメタデータ付与部、100h…第2のメタデータ付与部、110…CPU、111…ROM、112…RAM、113…ハードディスク、115…バスライン、120…I/F、121…I/F、130…モニター、131…キーボード、132…マウス、140…デジタルビデオカメラ、160…デジタルカメラ、170…スキャナ。

【特許請求の範囲】
【請求項1】
前景画像を有するデジタル画像に、付帯データを付与する画像処理装置であって、
前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶部と、
前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得部と、
前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分部と、
前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分部と、
前記第1の画像区分部が区分した背景画像と、前記第2の画像区分部が区分した背景画像とが、一致するか否かを判定する一致判定部と、
前記一致判定部が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与部と、
を備えた画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記前景画像は人物画像であることを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記第1の画像区分部または前記第2の画像区分部は、前記人物画像を有するデジタル画像から顔画像を抽出し、前記抽出された顔画像領域について、顔の大きさに応じて予め定められた画像領域を前記人物画像として区分することを特徴とする画像処理装置。
【請求項4】
前景画像を有するデジタル画像に、付帯データを付与する画像処理方法であって、
前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶工程と、
前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得工程と、
前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分工程と、
前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分工程と、
前記第1の画像区分工程が区分した背景画像と、前記第2の画像区分工程が区分した背景画像とが、一致するか否かを判定する一致判定工程と、
前記一致判定工程が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与工程と、
を備えた画像処理方法。
【請求項5】
前景画像を有するデジタル画像に、付帯データを付与する画像処理プログラムであって、
前記付帯データが付与されている付帯データ有デジタル画像を記憶する記憶機能と、
前記付帯データが付与されていない付帯データ無デジタル画像を取得する取得機能と、
前記付帯データ有デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第1の画像区分機能と、
前記付帯データ無デジタル画像を、前記前景画像と当該前景画像以外の背景画像とに区分する第2の画像区分機能と、
前記第1の画像区分機能が区分した背景画像と、前記第2の画像区分機能が区分した背景画像とが、一致するか否かを判定する一致判定機能と、
前記一致判定機能が一致すると判定した前記背景画像を含む付帯データ有デジタル画像に付与され、前記背景画像に応じた前記付帯データを、前記付帯データ無デジタル画像に付与する付帯データ付与機能と、
をコンピュータに実現させる画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2008−148183(P2008−148183A)
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願番号】特願2006−335372(P2006−335372)
【出願日】平成18年12月13日(2006.12.13)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】