画像管理装置、画像管理方法、および画像管理プログラム
【課題】 記録された画像を管理しやすくすることができる画像管理装置を提供する。
【解決手段】 複数の画像データI1〜I4が処理の対象の画像であるものとする。ここで、撮影日時が既知である画像I1,I2はそのまま時間軸上に配置する。撮影日時が不明な画像I3,I4は、各画像に含まれるオブジェクトの特徴量を時間辞書201内のデータと照合することで撮影日時を推定し、時間軸上に配置する。
【解決手段】 複数の画像データI1〜I4が処理の対象の画像であるものとする。ここで、撮影日時が既知である画像I1,I2はそのまま時間軸上に配置する。撮影日時が不明な画像I3,I4は、各画像に含まれるオブジェクトの特徴量を時間辞書201内のデータと照合することで撮影日時を推定し、時間軸上に配置する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は画像管理装置、画像管理方法、および画像管理プログラムに関し、特に画像を簡易に管理することができる画像管理装置、画像管理方法、および画像管理プログラムに関する。
【背景技術】
【0002】
デジタルカメラが普及し、従来とは比較にならないほどの大量の画像が記憶装置に蓄えられるようになってきている。これに伴い、大量の画像から所望の画像を検索する技術が重要になっている。
【0003】
下記の特許文献1は、デジタルアルバムの管理装置において、顔、髪、服、眼鏡の有無でユーザが所望する画像を検索する技術を開示している。
【0004】
下記の特許文献2は、画像管理システムにおいて、画像に付随する日時およびその他の情報を基に、画像データのコンテキストを推定する技術を開示している。
【特許文献1】特開平10−124655号公報
【特許文献2】特開2000−182557号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
蓄えられた画像は整理されないまま放置されることがあり、いざ見ようとしても見たい画像に辿り着くのに労力を要することがある。
【0006】
従来の技術においては、撮影日時および画像特徴量に基づいてユーザの所望する画像を検索することができる。しかし、撮影日時が不明な画像については撮影日時を推定することができなかった。そのため、写真をスキャナなどで読取った画像の管理をする場合において、ユーザが撮影日を忘れてしまったときなどは、撮影日時が不明な画像データが生じることとなり、画像の管理をするのが不便になるという問題点があった。
【0007】
この発明は上記課題を解決するためになされたものであり、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
上記目的を達成するためこの発明のある局面に従うと、画像管理装置は、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出手段と、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定手段とを備える。
【0009】
好ましくは時間辞書は、顔、髪、体型、服装その他の被写体の部位を表現するオブジェクトと日時との関係を記録し、オブジェクトは、特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである。
【0010】
好ましくはオブジェクトは、ある特定の年代、またはある特定の季節を表す特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである。
【0011】
好ましくは画像管理装置は、推定手段の推定結果に基づいて、時間辞書を更新する更新手段をさらに備える。
【0012】
この発明の他の局面に従うと画像管理装置は、撮影日時が不明である画像データを含む画像セットを入力する入力手段と、入力された画像データから特徴量を抽出する抽出手段と、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列手段とを備える。
【0013】
好ましくは特徴量は、顔、髪、体型、服装その他の被写体の部位を表現する量である。
【0014】
この発明のさらに他の局面に従うと画像管理方法は、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定ステップとを備える。
【0015】
この発明のさらに他の局面に従うと画像管理方法は、撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、入力された画像データから特徴量を抽出する抽出ステップと、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列ステップとを備える。
【0016】
この発明のさらに他の局面に従うと画像管理プログラムは、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定ステップとをコンピュータに実行させる。
【0017】
この発明のさらに他の局面に従うと画像管理プログラムは、撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、入力された画像データから特徴量を抽出する抽出ステップと、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列ステップとをコンピュータに実行させる。
【発明の効果】
【0018】
この発明に従うと、画像データの特徴量に基づいた撮影日時の推定、または画像データの配列がなされるため、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することが可能である。
【発明を実施するための最良の形態】
【0019】
[第1の実施の形態]
図1は、本発明の第1の実施の形態における画像管理システム(アーカイブシステム)の構成を示す図である。
【0020】
本画像管理システムは、大量に保存されている画像を自動的に整理し、簡単に見たい画像を探し出せるように構成されている。画像管理システムは、大量画像の管理方式として、画像をグループに分割して管理する方式をとる。画像は撮影日時やイベントごとにグループ化され管理される。このとき、画像管理システムは、撮影日時が不明確な写真を、撮影日時を特定するためのオブジェクトを集めた時間辞書と照合することで、時間軸上に配置する。
【0021】
このように自動的に撮影日時を推定することで、画像を簡単に整理でき、所望の画像を簡単に探し出すことが可能となる。
【0022】
図1を参照して、画像管理システムは、MFP(Multi Function Peripherals)などである画像形成装置1と、端末装置であるクライアントPC2a、2b、・・・と、サーバ6とから構成される。画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6は、ネットワークを介して接続されている。
【0023】
画像形成装置1は、走査した原稿画像、クライアントPC2a、2b、・・・、およびサーバ6から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置である。
【0024】
なお、画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6は、インターネットなどの通信回線を介して接続されていてもよい。
【0025】
図2は、図1の画像形成装置1のハードウェア構成を示すブロック図である。
【0026】
図を参照して、画像形成装置1は、装置全体を制御する制御部106と、原稿から画像データを読取るイメージリーダ部101と、用紙上に画像を印刷するプリンタ部102と、近距離の無線通信を行なったり、印刷装置をネットワークや電話回線に接続するための通信部103と、ジョブデータなどを記憶するための記憶部104と、ユーザとのインターフェースである操作パネル105と、消耗品の残量などを検出するセンサ部107とを含む。
【0027】
図3は、図1のクライアントPCまたはサーバ1台のハードウェア構成を示すブロック図である。
【0028】
図を参照して、クライアントPC(またはサーバ)は、装置全体の制御を行なうCPU601と、ディスプレイ605と、ネットワークに接続したり外部と通信を行なうためのLAN(ローカルエリアネットワーク)カード607(またはモデムカード)と、キーボードやマウスなどにより構成される入力装置609と、フレキシブルディスクドライブ611と、CD−ROMドライブ613と、ハードディスクドライブ615と、RAM617と、ROM619とを備えている。
【0029】
フレキシブルディスクドライブ611により、フレキシブルディスクFに記録されたプログラムや画像などのデータを読取ることが可能であり、CD−ROMドライブ613により、CD−ROM613aに記録されたプログラムや画像などのデータを読取ることが可能である。
【0030】
本実施の形態において、管理される画像は、画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6の記憶装置に記憶される。
【0031】
なお、システムに写真などの画像を入力するためのインターフェースとして、DVDドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。
【0032】
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。また、システムの操作を簡単にするために、リモコンを装備してもよい。さらに、表示画面、記憶装置、画像取込装置、制御装置、およびリモコン送受信部を一体的に構成した画像管理装置を提供してもよい。
【0033】
登録された写真などの画像は、登録時にグループ化され、グループごとのディレクトリに保存される。
【0034】
ユーザは、デジタルカメラやスキャナなどを用いて、または、CD−RやDVDやメモリなどの記憶媒体を介して、システムに画像を入力する。
【0035】
図4は、本画像管理システムの動作を示す図である。
【0036】
画像管理システムは、以下の方法により写真を画像データとして取り込む。
【0037】
(1) 写真Pをスキャナ101aでデジタル化して取り込む。
【0038】
(2) フィルムFをフィルムスキャナ101bでデジタル化して取り込む。
【0039】
(3) デジタルカメラDから画像データを読み込む。
【0040】
取り込んだ画像データは、画像管理装置(ここではクライアントPC2aであるものとする。)の記憶装置に保存される。それぞれの画像データは時間軸上に配置されて管理される。ここで、「時間軸上に配置する」とは、以下の2つの意味を表す。
【0041】
(ア) 画像データごとに撮影日時を付加する。
【0042】
(イ) 画像データを撮影日時に基づいて並べ替える。
【0043】
時間軸上に配置して管理するとは、図4の画像データI1〜I3のように、画像データを撮影日時に基づいて管理するということである。撮影日時に基づいて管理されているため、ユーザの所望する年・月・日・時間の画像データを簡単に取り出すことができる。
【0044】
しかし、画像データには撮影日時が既知であるものと不明なものがあるため、時間軸上に配置できない画像データも存在する。例えば、デジタルカメラで撮影された画像データであれば通常撮影日時は記憶されるが、銀塩カメラで撮影された写真は撮影日時が不明なものが多い。
【0045】
撮影日時が不明な画像データは、ユーザの記憶を頼りにその撮影日時を推定することができるが、多量の写真を管理する場合は手間がかかる。そこで本画像管理装置では、時間辞書を用いることにより、画像データを時間軸上に配置する。
【0046】
図5は、時間辞書を用いた撮影日時不明の画像データの撮影日を決定する方法を説明するための図である。
【0047】
複数の画像データI1〜I4が処理の対象の画像であるものとする。ここで、撮影日時が既知である画像I1,I2はそのまま時間軸上に配置する。撮影日時が不明な画像I3,I4は、各画像に含まれるオブジェクトの特徴量を時間辞書201内のデータと照合することで撮影日時を推定し、時間軸上に配置する。
【0048】
時間辞書とは、時系列にある特定のデータを並べたものである。「ある特定のデータ」とは、画像特徴量であってもよいし、画像そのものであってもよい。
【0049】
図6は、時間辞書の具体例を示す図である。
【0050】
図6の(A)の時間辞書では、複数の特徴量(特徴量1、特徴量2、特徴量3・・・)の値が年代ごと(1970年、1975年、1980年・・・)に記録されている。この時間辞書を使えば、ある値を持つ特徴量がどの年代に属するのかを推定することができる。
【0051】
図6の(B)の時間辞書では、年代ごとにある被写体の特定領域(顔、髪、服装・・・)の画像データを記録している。(B)の画像データから特徴量を抽出すれば、(A)と同様にある年代における被写体の特徴量を決定することができる。
【0052】
図7は、特徴量として顔の真円度を選んだ場合を示す図である。
【0053】
図7では、横軸に時間軸、縦軸に顔の真円度をとっている。子供の頃は、人間の顔は一般的に丸く、真円度の値は大きくなる(1970年代)。それが成長するとともに顔は細長くなり真円度の値は小さくなる(1985年代)。このような年代における特徴量の変化を時間辞書に登録することにより、画像からその画像が撮影された年代や時間を推定することが可能となる。
【0054】
図8は、時間辞書を使った撮影日推定の手順を示すフローチャートである。
【0055】
画像管理システムは、はじめにステップS101で画像データを入力する。ステップS103で画像から特徴量を抽出する。次に、ステップS105で抽出した特徴量を時間辞書201に記録された特徴量と比較する。ステップS107で、比較した結果に基づいて撮影日を推定する。
【0056】
以下に、画像を時間軸上に配置する際に用いるオブジェクト(特徴量を記述したテキストデータ、画像データ、または動画データ)の例を挙げる。オブジェクトの特徴量に基づき、その画像の撮影時間の推定が行なわれる。なお、時間辞書では日時を特定するための複数種類のオブジェクトを記憶させるようにしてもよいし、1種類のオブジェクトを記憶させるようにしてもよい。
【0057】
(1) 被写体の部位を表現するオブジェクト
被写体の部位を表現するオブジェクトとしては、顔、髪型、体型、服装が挙げられる。
【0058】
(1−1) 顔
顔の特徴量として、以下のものが考えられる。
【0059】
・顔の真円度
・顔のサイズに対する目、鼻、口のサイズ
・顔領域における目、鼻、口の位置
・顔色
顔の真円度を測定するためには、画像データから人間の顔領域を抽出し、楕円でフィッティングを行なう。楕円の離心率から顔の真円度を見積もることができる。
【0060】
さらに顔領域中から目、鼻、口領域をそれぞれ抽出する。抽出した目、鼻、口のそれぞれの領域と顔領域の面積の比から目、鼻、口のサイズを見積もることができる。
【0061】
また目、鼻、口領域それぞれの重心を求めることで目、鼻、口が顔領域のどこに位置されているか判定することができる。
【0062】
さらに、抽出した顔領域の色から顔色を判定することができる。
【0063】
(1−2) 髪型
髪型の特徴量として、以下のものが考えられる。
【0064】
・髪の毛の色
・髪の毛の長さ、ボリューム
抽出した顔領域の上部にある領域を髪の毛であると考え、髪の毛の色を推定することができる。
【0065】
また、髪の毛の領域と顔領域の面積比から髪の毛の長さ、ボリュームが推定できる。
【0066】
(1−3) 体型
体型の特徴量として、以下のものが考えられる。
【0067】
・身長に対する顔のサイズ
・肩幅に対する顔のサイズ
・身長に対する肩幅
・身長に対する腰幅
・身長に対する下肢長
画像データから人間の体領域を抽出し、顔のサイズ、身長、肩幅、腰幅、下肢長の比を調べることで体型を推定できる。
【0068】
(1−4) 服装
服装の特徴量として、以下のものが考えられる。
【0069】
・服の色
・服のテクスチャ
・眼鏡
抽出した人間の体領域の胴体部分には服があると考えられるので、服の色、テクスチャを調べることができる。
【0070】
また、抽出した目領域の周辺を調べれば、眼鏡をかけているかどうかを検出できる。
【0071】
(2) 特定の時代・年代・時間・季節を表すオブジェクト
特定の時代・年代・時間・季節を表現するオブジェクトとしては、以下のものが挙げられる。
【0072】
・植物の色
・空の色
・垂れ幕、看板
植物の色で季節を判定することができ、空の色から朝・昼・夕・夜を判定することができ、ある特定の時期に使われた垂れ幕、看板から年代を推定することができる。
【0073】
次に、時間辞書の更新方法について説明する。
【0074】
画像管理システムに新たに画像が追加されたときに、時間辞書を更新することができる。撮影日時が既知の画像データは、撮影日時が記録されているので、そのまま時間辞書の更新に使える。すなわち、画像中のオブジェクトの特徴量を判定し、撮影日時と対応付けてそれを時間辞書に記録する。
【0075】
撮影日時が不明な画像については、上述した時間辞書を用いる方法を用いて撮影日時を推定した後、その結果に基づいて時間辞書を更新することができる。
【0076】
図9は、時間辞書の更新手法を説明するための図である。
【0077】
ステップS101で、撮影日時が不明な画像データを入力すると、ステップS103でそれらから特徴量を抽出する。ステップS105において、抽出された特徴量を時間辞書201に含まれる特徴量と比較することによって、画像の撮影日時が特定され、時間軸上に配置される。図9では、撮影日時が不明な画像データが時間軸上の1980年に配置されている。
【0078】
時間軸に画像が配置された後、推定された日時と抽出された特徴量は、時間辞書201に登録される。このようにして、画像が時間軸に配置される度に時間辞書201を更新することができる。
【0079】
[第2の実施の形態]
第2の実施の形態における画像管理システムの構成は、第1の実施の形態におけるそれと同じであるため、ここでの説明を繰返さない。
【0080】
第2の実施の形態における画像管理システムでは、画像データを時間軸上に配置する方法として、ユーザが指定した画像(複数の画像データからなる画像セット)を利用する。すなわち、ユーザが指定した画像データの特徴量から、撮影日時が特定されていない画像の撮影日時(または撮影の順番)を推定するものである。
【0081】
図10は、ユーザが画像を指定することによる、画像データの時間軸への配置方法について説明するための図である。
【0082】
ユーザは、時間軸の順(撮影順)に並べたい所望の画像データを指定する。ここでは、画像データ0〜4のうち、画像データ1、2、および4が指定されたものとする。指定する画像は、撮影日時が既知であっても不明であっても良い。
【0083】
指定された画像データのそれぞれにおいて、特徴量が抽出され、抽出した特徴量を比較することで画像データのソートが行なわれる。これにより、指定された画像データが撮影順に並べられる。
【0084】
図11は、特徴量として顔の真円度を選んだ場合における画像のソート方法を示す図である。
【0085】
図においては、横軸に撮影順にソートしたときの画像番号、縦軸に顔の真円度をとっている。特徴量の値が近い画像データほど、撮影された日時が近いと考え、特徴量がなめらかに変化するように画像データのソートを行なう。これにより、画像の撮影順を推定し、その順に画像を並べることが可能となる。また、特徴量の変化率に従って画像データを座標軸に並べてもよい。
【0086】
図12は、特徴量を使った画像のソートの手順を示すフローチャートである。
【0087】
ステップS201a〜S201cにおいて、ユーザが指定した画像データを処理の対象とし、ステップS203a〜S203cにおいて、それぞれの画像データから特徴量を抽出する。
【0088】
ステップS205で抽出した特徴量を比較し、特徴量がなめらに変化するように画像データの並べ替えを行なう。このとき特徴量が変化する起点となる画像データや、ソートにおける始めとしたい画像データや、最後としたい画像データをあらかじめユーザが指定しておいてもよい。
【0089】
撮影日時が既知である画像を含んだ画像データをソートすれば、撮影日時が既知である画像から撮影日時が不明な画像の撮影日時を推定することができる。
【0090】
例えば、図11においてソート後の画像番号1の画像データが、1970年に撮影された画像であることが分かっているとする。同様にソート後の画像番号3の画像データが、1975年に撮影された画像であることが分かっているとする。
【0091】
この場合、ソート後の画像番号2の画像データは1970年から1975年の間に撮影されたものだということを推定することができる。
【0092】
また、本実施の形態においても第1の実施の形態と同様に時間辞書を用いることができる。このような場合に、ユーザが指定した画像があるときに、それを用いて時間辞書を更新することができる。
【0093】
[実施の形態における効果]
以上のように、本発明の実施の形態によると、撮影日時が不明な画像データが時間軸上に配置されるため、アルバムの管理がしやすくなるという効果がある。
【0094】
なお、上述の処理は、PCのコンピュータが行なっても、画像形成装置のコンピュータが行なっても、サーバのコンピュータが行なってもよい。
【0095】
なお、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
【0096】
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをCD−ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【0097】
また、本発明はネットワークに接続されたシステムにおいても、ネットワーク環境に接続されていないシステムにも適用することができる。
【0098】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【0099】
【図1】本発明の第1の実施の形態における画像管理システムの構成を示す図である。
【図2】図1の画像形成装置1のハードウェア構成を示すブロック図である。
【図3】図1のクライアントPCまたはサーバ1台のハードウェア構成を示すブロック図である。
【図4】画像管理システムの動作を示す図である。
【図5】時間辞書を用いた撮影日時不明の画像データの撮影日を決定する方法を説明するための図である。
【図6】時間辞書の具体例を示す図である。
【図7】特徴量として顔の真円度を選んだ場合を示す図である。
【図8】時間辞書を使った撮影日推定の手順を示すフローチャートである。
【図9】時間辞書の更新手法を説明するための図である。
【図10】ユーザが画像を指定することによる、画像データの時間軸への配置方法について説明するための図である。
【図11】特徴量として顔の真円度を選んだ場合における画像のソート方法を示す図である。
【図12】特徴量を使った画像のソートの手順を示すフローチャートである。
【符号の説明】
【0100】
1 画像形成装置、2a,2b クライアントPC、6 サーバ、102 プリンタ部、103 通信部、104 記憶部、105 操作パネル、106 制御部、601 CPU。
【技術分野】
【0001】
この発明は画像管理装置、画像管理方法、および画像管理プログラムに関し、特に画像を簡易に管理することができる画像管理装置、画像管理方法、および画像管理プログラムに関する。
【背景技術】
【0002】
デジタルカメラが普及し、従来とは比較にならないほどの大量の画像が記憶装置に蓄えられるようになってきている。これに伴い、大量の画像から所望の画像を検索する技術が重要になっている。
【0003】
下記の特許文献1は、デジタルアルバムの管理装置において、顔、髪、服、眼鏡の有無でユーザが所望する画像を検索する技術を開示している。
【0004】
下記の特許文献2は、画像管理システムにおいて、画像に付随する日時およびその他の情報を基に、画像データのコンテキストを推定する技術を開示している。
【特許文献1】特開平10−124655号公報
【特許文献2】特開2000−182557号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
蓄えられた画像は整理されないまま放置されることがあり、いざ見ようとしても見たい画像に辿り着くのに労力を要することがある。
【0006】
従来の技術においては、撮影日時および画像特徴量に基づいてユーザの所望する画像を検索することができる。しかし、撮影日時が不明な画像については撮影日時を推定することができなかった。そのため、写真をスキャナなどで読取った画像の管理をする場合において、ユーザが撮影日を忘れてしまったときなどは、撮影日時が不明な画像データが生じることとなり、画像の管理をするのが不便になるという問題点があった。
【0007】
この発明は上記課題を解決するためになされたものであり、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
上記目的を達成するためこの発明のある局面に従うと、画像管理装置は、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出手段と、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定手段とを備える。
【0009】
好ましくは時間辞書は、顔、髪、体型、服装その他の被写体の部位を表現するオブジェクトと日時との関係を記録し、オブジェクトは、特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである。
【0010】
好ましくはオブジェクトは、ある特定の年代、またはある特定の季節を表す特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである。
【0011】
好ましくは画像管理装置は、推定手段の推定結果に基づいて、時間辞書を更新する更新手段をさらに備える。
【0012】
この発明の他の局面に従うと画像管理装置は、撮影日時が不明である画像データを含む画像セットを入力する入力手段と、入力された画像データから特徴量を抽出する抽出手段と、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列手段とを備える。
【0013】
好ましくは特徴量は、顔、髪、体型、服装その他の被写体の部位を表現する量である。
【0014】
この発明のさらに他の局面に従うと画像管理方法は、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定ステップとを備える。
【0015】
この発明のさらに他の局面に従うと画像管理方法は、撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、入力された画像データから特徴量を抽出する抽出ステップと、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列ステップとを備える。
【0016】
この発明のさらに他の局面に従うと画像管理プログラムは、撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、撮影日時が不明な画像データの撮影日時を推定する推定ステップとをコンピュータに実行させる。
【0017】
この発明のさらに他の局面に従うと画像管理プログラムは、撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、入力された画像データから特徴量を抽出する抽出ステップと、抽出された特徴量の各画像データにおける変化に基づいて、入力された画像データを配列させる配列ステップとをコンピュータに実行させる。
【発明の効果】
【0018】
この発明に従うと、画像データの特徴量に基づいた撮影日時の推定、または画像データの配列がなされるため、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することが可能である。
【発明を実施するための最良の形態】
【0019】
[第1の実施の形態]
図1は、本発明の第1の実施の形態における画像管理システム(アーカイブシステム)の構成を示す図である。
【0020】
本画像管理システムは、大量に保存されている画像を自動的に整理し、簡単に見たい画像を探し出せるように構成されている。画像管理システムは、大量画像の管理方式として、画像をグループに分割して管理する方式をとる。画像は撮影日時やイベントごとにグループ化され管理される。このとき、画像管理システムは、撮影日時が不明確な写真を、撮影日時を特定するためのオブジェクトを集めた時間辞書と照合することで、時間軸上に配置する。
【0021】
このように自動的に撮影日時を推定することで、画像を簡単に整理でき、所望の画像を簡単に探し出すことが可能となる。
【0022】
図1を参照して、画像管理システムは、MFP(Multi Function Peripherals)などである画像形成装置1と、端末装置であるクライアントPC2a、2b、・・・と、サーバ6とから構成される。画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6は、ネットワークを介して接続されている。
【0023】
画像形成装置1は、走査した原稿画像、クライアントPC2a、2b、・・・、およびサーバ6から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置である。
【0024】
なお、画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6は、インターネットなどの通信回線を介して接続されていてもよい。
【0025】
図2は、図1の画像形成装置1のハードウェア構成を示すブロック図である。
【0026】
図を参照して、画像形成装置1は、装置全体を制御する制御部106と、原稿から画像データを読取るイメージリーダ部101と、用紙上に画像を印刷するプリンタ部102と、近距離の無線通信を行なったり、印刷装置をネットワークや電話回線に接続するための通信部103と、ジョブデータなどを記憶するための記憶部104と、ユーザとのインターフェースである操作パネル105と、消耗品の残量などを検出するセンサ部107とを含む。
【0027】
図3は、図1のクライアントPCまたはサーバ1台のハードウェア構成を示すブロック図である。
【0028】
図を参照して、クライアントPC(またはサーバ)は、装置全体の制御を行なうCPU601と、ディスプレイ605と、ネットワークに接続したり外部と通信を行なうためのLAN(ローカルエリアネットワーク)カード607(またはモデムカード)と、キーボードやマウスなどにより構成される入力装置609と、フレキシブルディスクドライブ611と、CD−ROMドライブ613と、ハードディスクドライブ615と、RAM617と、ROM619とを備えている。
【0029】
フレキシブルディスクドライブ611により、フレキシブルディスクFに記録されたプログラムや画像などのデータを読取ることが可能であり、CD−ROMドライブ613により、CD−ROM613aに記録されたプログラムや画像などのデータを読取ることが可能である。
【0030】
本実施の形態において、管理される画像は、画像形成装置1、クライアントPC2a、2b、・・・、およびサーバ6の記憶装置に記憶される。
【0031】
なお、システムに写真などの画像を入力するためのインターフェースとして、DVDドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。
【0032】
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。また、システムの操作を簡単にするために、リモコンを装備してもよい。さらに、表示画面、記憶装置、画像取込装置、制御装置、およびリモコン送受信部を一体的に構成した画像管理装置を提供してもよい。
【0033】
登録された写真などの画像は、登録時にグループ化され、グループごとのディレクトリに保存される。
【0034】
ユーザは、デジタルカメラやスキャナなどを用いて、または、CD−RやDVDやメモリなどの記憶媒体を介して、システムに画像を入力する。
【0035】
図4は、本画像管理システムの動作を示す図である。
【0036】
画像管理システムは、以下の方法により写真を画像データとして取り込む。
【0037】
(1) 写真Pをスキャナ101aでデジタル化して取り込む。
【0038】
(2) フィルムFをフィルムスキャナ101bでデジタル化して取り込む。
【0039】
(3) デジタルカメラDから画像データを読み込む。
【0040】
取り込んだ画像データは、画像管理装置(ここではクライアントPC2aであるものとする。)の記憶装置に保存される。それぞれの画像データは時間軸上に配置されて管理される。ここで、「時間軸上に配置する」とは、以下の2つの意味を表す。
【0041】
(ア) 画像データごとに撮影日時を付加する。
【0042】
(イ) 画像データを撮影日時に基づいて並べ替える。
【0043】
時間軸上に配置して管理するとは、図4の画像データI1〜I3のように、画像データを撮影日時に基づいて管理するということである。撮影日時に基づいて管理されているため、ユーザの所望する年・月・日・時間の画像データを簡単に取り出すことができる。
【0044】
しかし、画像データには撮影日時が既知であるものと不明なものがあるため、時間軸上に配置できない画像データも存在する。例えば、デジタルカメラで撮影された画像データであれば通常撮影日時は記憶されるが、銀塩カメラで撮影された写真は撮影日時が不明なものが多い。
【0045】
撮影日時が不明な画像データは、ユーザの記憶を頼りにその撮影日時を推定することができるが、多量の写真を管理する場合は手間がかかる。そこで本画像管理装置では、時間辞書を用いることにより、画像データを時間軸上に配置する。
【0046】
図5は、時間辞書を用いた撮影日時不明の画像データの撮影日を決定する方法を説明するための図である。
【0047】
複数の画像データI1〜I4が処理の対象の画像であるものとする。ここで、撮影日時が既知である画像I1,I2はそのまま時間軸上に配置する。撮影日時が不明な画像I3,I4は、各画像に含まれるオブジェクトの特徴量を時間辞書201内のデータと照合することで撮影日時を推定し、時間軸上に配置する。
【0048】
時間辞書とは、時系列にある特定のデータを並べたものである。「ある特定のデータ」とは、画像特徴量であってもよいし、画像そのものであってもよい。
【0049】
図6は、時間辞書の具体例を示す図である。
【0050】
図6の(A)の時間辞書では、複数の特徴量(特徴量1、特徴量2、特徴量3・・・)の値が年代ごと(1970年、1975年、1980年・・・)に記録されている。この時間辞書を使えば、ある値を持つ特徴量がどの年代に属するのかを推定することができる。
【0051】
図6の(B)の時間辞書では、年代ごとにある被写体の特定領域(顔、髪、服装・・・)の画像データを記録している。(B)の画像データから特徴量を抽出すれば、(A)と同様にある年代における被写体の特徴量を決定することができる。
【0052】
図7は、特徴量として顔の真円度を選んだ場合を示す図である。
【0053】
図7では、横軸に時間軸、縦軸に顔の真円度をとっている。子供の頃は、人間の顔は一般的に丸く、真円度の値は大きくなる(1970年代)。それが成長するとともに顔は細長くなり真円度の値は小さくなる(1985年代)。このような年代における特徴量の変化を時間辞書に登録することにより、画像からその画像が撮影された年代や時間を推定することが可能となる。
【0054】
図8は、時間辞書を使った撮影日推定の手順を示すフローチャートである。
【0055】
画像管理システムは、はじめにステップS101で画像データを入力する。ステップS103で画像から特徴量を抽出する。次に、ステップS105で抽出した特徴量を時間辞書201に記録された特徴量と比較する。ステップS107で、比較した結果に基づいて撮影日を推定する。
【0056】
以下に、画像を時間軸上に配置する際に用いるオブジェクト(特徴量を記述したテキストデータ、画像データ、または動画データ)の例を挙げる。オブジェクトの特徴量に基づき、その画像の撮影時間の推定が行なわれる。なお、時間辞書では日時を特定するための複数種類のオブジェクトを記憶させるようにしてもよいし、1種類のオブジェクトを記憶させるようにしてもよい。
【0057】
(1) 被写体の部位を表現するオブジェクト
被写体の部位を表現するオブジェクトとしては、顔、髪型、体型、服装が挙げられる。
【0058】
(1−1) 顔
顔の特徴量として、以下のものが考えられる。
【0059】
・顔の真円度
・顔のサイズに対する目、鼻、口のサイズ
・顔領域における目、鼻、口の位置
・顔色
顔の真円度を測定するためには、画像データから人間の顔領域を抽出し、楕円でフィッティングを行なう。楕円の離心率から顔の真円度を見積もることができる。
【0060】
さらに顔領域中から目、鼻、口領域をそれぞれ抽出する。抽出した目、鼻、口のそれぞれの領域と顔領域の面積の比から目、鼻、口のサイズを見積もることができる。
【0061】
また目、鼻、口領域それぞれの重心を求めることで目、鼻、口が顔領域のどこに位置されているか判定することができる。
【0062】
さらに、抽出した顔領域の色から顔色を判定することができる。
【0063】
(1−2) 髪型
髪型の特徴量として、以下のものが考えられる。
【0064】
・髪の毛の色
・髪の毛の長さ、ボリューム
抽出した顔領域の上部にある領域を髪の毛であると考え、髪の毛の色を推定することができる。
【0065】
また、髪の毛の領域と顔領域の面積比から髪の毛の長さ、ボリュームが推定できる。
【0066】
(1−3) 体型
体型の特徴量として、以下のものが考えられる。
【0067】
・身長に対する顔のサイズ
・肩幅に対する顔のサイズ
・身長に対する肩幅
・身長に対する腰幅
・身長に対する下肢長
画像データから人間の体領域を抽出し、顔のサイズ、身長、肩幅、腰幅、下肢長の比を調べることで体型を推定できる。
【0068】
(1−4) 服装
服装の特徴量として、以下のものが考えられる。
【0069】
・服の色
・服のテクスチャ
・眼鏡
抽出した人間の体領域の胴体部分には服があると考えられるので、服の色、テクスチャを調べることができる。
【0070】
また、抽出した目領域の周辺を調べれば、眼鏡をかけているかどうかを検出できる。
【0071】
(2) 特定の時代・年代・時間・季節を表すオブジェクト
特定の時代・年代・時間・季節を表現するオブジェクトとしては、以下のものが挙げられる。
【0072】
・植物の色
・空の色
・垂れ幕、看板
植物の色で季節を判定することができ、空の色から朝・昼・夕・夜を判定することができ、ある特定の時期に使われた垂れ幕、看板から年代を推定することができる。
【0073】
次に、時間辞書の更新方法について説明する。
【0074】
画像管理システムに新たに画像が追加されたときに、時間辞書を更新することができる。撮影日時が既知の画像データは、撮影日時が記録されているので、そのまま時間辞書の更新に使える。すなわち、画像中のオブジェクトの特徴量を判定し、撮影日時と対応付けてそれを時間辞書に記録する。
【0075】
撮影日時が不明な画像については、上述した時間辞書を用いる方法を用いて撮影日時を推定した後、その結果に基づいて時間辞書を更新することができる。
【0076】
図9は、時間辞書の更新手法を説明するための図である。
【0077】
ステップS101で、撮影日時が不明な画像データを入力すると、ステップS103でそれらから特徴量を抽出する。ステップS105において、抽出された特徴量を時間辞書201に含まれる特徴量と比較することによって、画像の撮影日時が特定され、時間軸上に配置される。図9では、撮影日時が不明な画像データが時間軸上の1980年に配置されている。
【0078】
時間軸に画像が配置された後、推定された日時と抽出された特徴量は、時間辞書201に登録される。このようにして、画像が時間軸に配置される度に時間辞書201を更新することができる。
【0079】
[第2の実施の形態]
第2の実施の形態における画像管理システムの構成は、第1の実施の形態におけるそれと同じであるため、ここでの説明を繰返さない。
【0080】
第2の実施の形態における画像管理システムでは、画像データを時間軸上に配置する方法として、ユーザが指定した画像(複数の画像データからなる画像セット)を利用する。すなわち、ユーザが指定した画像データの特徴量から、撮影日時が特定されていない画像の撮影日時(または撮影の順番)を推定するものである。
【0081】
図10は、ユーザが画像を指定することによる、画像データの時間軸への配置方法について説明するための図である。
【0082】
ユーザは、時間軸の順(撮影順)に並べたい所望の画像データを指定する。ここでは、画像データ0〜4のうち、画像データ1、2、および4が指定されたものとする。指定する画像は、撮影日時が既知であっても不明であっても良い。
【0083】
指定された画像データのそれぞれにおいて、特徴量が抽出され、抽出した特徴量を比較することで画像データのソートが行なわれる。これにより、指定された画像データが撮影順に並べられる。
【0084】
図11は、特徴量として顔の真円度を選んだ場合における画像のソート方法を示す図である。
【0085】
図においては、横軸に撮影順にソートしたときの画像番号、縦軸に顔の真円度をとっている。特徴量の値が近い画像データほど、撮影された日時が近いと考え、特徴量がなめらかに変化するように画像データのソートを行なう。これにより、画像の撮影順を推定し、その順に画像を並べることが可能となる。また、特徴量の変化率に従って画像データを座標軸に並べてもよい。
【0086】
図12は、特徴量を使った画像のソートの手順を示すフローチャートである。
【0087】
ステップS201a〜S201cにおいて、ユーザが指定した画像データを処理の対象とし、ステップS203a〜S203cにおいて、それぞれの画像データから特徴量を抽出する。
【0088】
ステップS205で抽出した特徴量を比較し、特徴量がなめらに変化するように画像データの並べ替えを行なう。このとき特徴量が変化する起点となる画像データや、ソートにおける始めとしたい画像データや、最後としたい画像データをあらかじめユーザが指定しておいてもよい。
【0089】
撮影日時が既知である画像を含んだ画像データをソートすれば、撮影日時が既知である画像から撮影日時が不明な画像の撮影日時を推定することができる。
【0090】
例えば、図11においてソート後の画像番号1の画像データが、1970年に撮影された画像であることが分かっているとする。同様にソート後の画像番号3の画像データが、1975年に撮影された画像であることが分かっているとする。
【0091】
この場合、ソート後の画像番号2の画像データは1970年から1975年の間に撮影されたものだということを推定することができる。
【0092】
また、本実施の形態においても第1の実施の形態と同様に時間辞書を用いることができる。このような場合に、ユーザが指定した画像があるときに、それを用いて時間辞書を更新することができる。
【0093】
[実施の形態における効果]
以上のように、本発明の実施の形態によると、撮影日時が不明な画像データが時間軸上に配置されるため、アルバムの管理がしやすくなるという効果がある。
【0094】
なお、上述の処理は、PCのコンピュータが行なっても、画像形成装置のコンピュータが行なっても、サーバのコンピュータが行なってもよい。
【0095】
なお、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
【0096】
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをCD−ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【0097】
また、本発明はネットワークに接続されたシステムにおいても、ネットワーク環境に接続されていないシステムにも適用することができる。
【0098】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【0099】
【図1】本発明の第1の実施の形態における画像管理システムの構成を示す図である。
【図2】図1の画像形成装置1のハードウェア構成を示すブロック図である。
【図3】図1のクライアントPCまたはサーバ1台のハードウェア構成を示すブロック図である。
【図4】画像管理システムの動作を示す図である。
【図5】時間辞書を用いた撮影日時不明の画像データの撮影日を決定する方法を説明するための図である。
【図6】時間辞書の具体例を示す図である。
【図7】特徴量として顔の真円度を選んだ場合を示す図である。
【図8】時間辞書を使った撮影日推定の手順を示すフローチャートである。
【図9】時間辞書の更新手法を説明するための図である。
【図10】ユーザが画像を指定することによる、画像データの時間軸への配置方法について説明するための図である。
【図11】特徴量として顔の真円度を選んだ場合における画像のソート方法を示す図である。
【図12】特徴量を使った画像のソートの手順を示すフローチャートである。
【符号の説明】
【0100】
1 画像形成装置、2a,2b クライアントPC、6 サーバ、102 プリンタ部、103 通信部、104 記憶部、105 操作パネル、106 制御部、601 CPU。
【特許請求の範囲】
【請求項1】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出手段と、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定手段とを備えた、画像管理装置。
【請求項2】
前記時間辞書は、顔、髪、体型、服装その他の被写体の部位を表現するオブジェクトと日時との関係を記録し、
前記オブジェクトは、特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである、請求項1に記載の画像管理装置。
【請求項3】
前記オブジェクトは、ある特定の年代、またはある特定の季節を表す特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである、請求項1に記載の画像管理装置。
【請求項4】
前記推定手段の推定結果に基づいて、前記時間辞書を更新する更新手段をさらに備えた、請求項1〜3のいずれかに記載の画像管理装置。
【請求項5】
撮影日時が不明である画像データを含む画像セットを入力する入力手段と、
前記入力された画像データから特徴量を抽出する抽出手段と、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列手段とを備えた、画像管理装置。
【請求項6】
前記特徴量は、顔、髪、体型、服装その他の被写体の部位を表現する量である、請求項5に記載の画像管理装置。
【請求項7】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定ステップとを備えた、画像管理方法。
【請求項8】
撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、
前記入力された画像データから特徴量を抽出する抽出ステップと、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列ステップとを備えた、画像管理方法。
【請求項9】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定ステップとをコンピュータに実行させる、画像管理プログラム。
【請求項10】
撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、
前記入力された画像データから特徴量を抽出する抽出ステップと、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列ステップとをコンピュータに実行させる、画像管理プログラム。
【請求項1】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出手段と、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定手段とを備えた、画像管理装置。
【請求項2】
前記時間辞書は、顔、髪、体型、服装その他の被写体の部位を表現するオブジェクトと日時との関係を記録し、
前記オブジェクトは、特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである、請求項1に記載の画像管理装置。
【請求項3】
前記オブジェクトは、ある特定の年代、またはある特定の季節を表す特徴量を記述したテキストデータ、画像データ、および動画データの少なくとも1つである、請求項1に記載の画像管理装置。
【請求項4】
前記推定手段の推定結果に基づいて、前記時間辞書を更新する更新手段をさらに備えた、請求項1〜3のいずれかに記載の画像管理装置。
【請求項5】
撮影日時が不明である画像データを含む画像セットを入力する入力手段と、
前記入力された画像データから特徴量を抽出する抽出手段と、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列手段とを備えた、画像管理装置。
【請求項6】
前記特徴量は、顔、髪、体型、服装その他の被写体の部位を表現する量である、請求項5に記載の画像管理装置。
【請求項7】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定ステップとを備えた、画像管理方法。
【請求項8】
撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、
前記入力された画像データから特徴量を抽出する抽出ステップと、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列ステップとを備えた、画像管理方法。
【請求項9】
撮影日時が不明な画像データから、その画像が有する特徴量を抽出する抽出ステップと、
前記抽出された特徴量を、日時を特定するためのオブジェクトを集めた時間辞書と比較することによって、前記撮影日時が不明な画像データの撮影日時を推定する推定ステップとをコンピュータに実行させる、画像管理プログラム。
【請求項10】
撮影日時が不明である画像データを含む画像セットを入力する入力ステップと、
前記入力された画像データから特徴量を抽出する抽出ステップと、
前記抽出された特徴量の各画像データにおける変化に基づいて、前記入力された画像データを配列させる配列ステップとをコンピュータに実行させる、画像管理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2006−252025(P2006−252025A)
【公開日】平成18年9月21日(2006.9.21)
【国際特許分類】
【出願番号】特願2005−65740(P2005−65740)
【出願日】平成17年3月9日(2005.3.9)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】
【公開日】平成18年9月21日(2006.9.21)
【国際特許分類】
【出願日】平成17年3月9日(2005.3.9)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】
[ Back to top ]