説明

画像情報処理装置及びプログラム

【課題】利便性を向上できる画像情報処理装置を提供する。
【解決手段】画像データに対して付加情報を付加する画像情報処理装置であって、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持し、少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶し、保持手段に保持された付加情報追加条件のうち、受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出して、当該取り出した付加情報を、受け入れた画像データに追加的に含める。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データに対して付加情報を付加する画像情報処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、記録媒体の低廉化等に伴い、ユーザは、大量の画像データ、音声データ、文書データ等のコンテンツデータを保有するようになっている。このため、大量のコンテンツデータの適切な管理が求められている。例えば、特許文献1の記載は、同一の属性を示す撮影画像を、まとめて1つの記録用フォルダに記録する方法を開示しており、撮影画像の管理を容易にしている。
【0003】
また、画像データを蓄積して表示するデジタルフォトフレームにおいて、写真ごとに、当該写真を撮影したときの、ユーザの「日常度」の情報を、例えば「平日/祝祭日」の別や、滞在場所などの情報から生成して写真に関連付けて記録する技術が、特許文献2に開示されている。この「日常度」の情報は例えば、観光のときなどの非日常の写真を優先的に再生する、などの処理において利用される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−312244号公報
【特許文献2】特開2010−072818号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、属性等、付加的な情報の付与を利用者が行うとすれば、操作が面倒で、利便性が低い。また日常度のような情報に基づいて表示をするのでは、例えば複数回、それぞれ別の場所へ旅行をした後に写真を整理しようとすると、いずれも同じ「非日常」の写真として検出されてしまい、特定のイベントの写真を検索するということができず、利便性を十分に向上できない。
【0006】
本発明は上記従来例の問題点に鑑みてなされたもので、利便性を向上できる画像情報処理装置及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【0007】
上記従来例の問題点を解決するための本発明は、画像データに対して付加情報を付加する画像情報処理装置であって、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶する手段と、前記保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、前記蓄積した画像データから抽出して提示する手段と、を含むこととしたものである。
【0008】
またここで、前記付加情報追加条件が、画像データに含まれる付加情報のうち、撮影日時の情報と法定の祝祭日との関係に基づく条件であってもよいし、前記一覧提供手段は、一覧に含めるべき抽出条件のうち、当該抽出条件により選択される画像データが蓄積されていない抽出条件については一覧に含めないよう制御してもよい。
【0009】
さらに本発明の別の態様に係るプログラムは、画像データに対して付加情報を付加する画像情報処理装置を、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶する手段と、前記保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、前記蓄積した画像データから抽出して提示する手段と、として機能させることとしたものである。
【発明の効果】
【0010】
本実施の形態によると、付加情報が付加情報追加条件にしたがって付加され、また付加情報別に抽出して表示することができるので、利便性を向上できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態に係る画像情報処理装置の構成例を表すブロック図である。
【図2】本発明の実施の形態に係る画像情報処理装置が受け入れる画像データの内容例を表す説明図である。
【図3】本発明の実施の形態に係る画像情報処理装置が用いる付加情報設定テーブルの内容例を表す説明図である。
【図4】本発明の実施の形態に係る画像情報処理装置の一例を表す機能ブロック図である。
【図5】本発明の実施の形態に係る画像情報処理装置における画像データの蓄積態様の例を表す説明図である。
【図6】本発明の実施の形態に係る画像情報処理装置の画面表示例を表す説明図である。
【図7】本発明の実施の形態に係る画像情報処理装置のまた別の画面表示例を表す説明図である。
【図8】本発明の実施の形態に係る画像情報処理装置のもう一つの例を表す機能ブロック図である。
【図9】本発明の実施の形態に係る画像情報処理装置が用いる特別日データベースの内容例を表す説明図である。
【図10】本発明の実施の形態に係る画像情報処理装置が実行する処理の内容例を表すフローチャート図である。
【発明を実施するための形態】
【0012】
本発明の実施の形態に係る画像情報処理装置1は、図1に例示するように、制御部11、記憶部12、操作受入部13、表示出力部14、画像入力部15、計時部16及び通信部17を含んで構成される。本実施の形態のある例では、この画像情報処理装置1は、家庭用テレビと、ネットワーク(インターネット)とに接続される。
【0013】
ここで制御部11は、CPU等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態において、この制御部11は、少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶させる手段として機能する。また、保持手段としての記憶部12に保持された付加情報追加条件のうち、受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段、並びに、この取り出した付加情報を、受け入れた画像データに追加的に含める手段としても機能する。
【0014】
さらに制御部11は、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段、及び、当該提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、蓄積した画像データから抽出して提示する手段としても機能する。この制御部11の具体的な動作については後に詳しく述べる。
【0015】
記憶部12は、メモリデバイスを含んで構成される。この記憶部12は、またハードディスクドライブ等のディスクデバイスを含んでもよい。この記憶部12は、制御部11によって実行されるプログラムを保持する。このプログラムは、例えばDVD−ROM等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部12に複写されて格納される。または、このプログラムは、ネットワーク上のサーバ装置からダウンロードによって取得されたものであってもよい。またこの記憶部12は、制御部11のワークメモリとしても動作する。なお、記憶部12には不揮発性のメモリが含まれてもよい。この不揮発性メモリには電源断があったとしても保持しておくべきデータ(例えば起動時に必要なパラメータのデータ等)が保持される。
【0016】
さらに、本実施の形態においてこの記憶部12は、制御部11から入力される指示に従って、画像データを蓄積して記憶する。本実施の形態において画像データは、図2に例示するように、画像データの本体(B)と、付加情報(H)とを関連付けたものとなっている。一例として画像データは、デジタルカメラ等で撮影された、JPEG(Joint Picture Experts Group)形式の画像データ本体と、メタデータ部とを含んだExif(Exchangeable image file format)フォーマットのデータであってもよい。また付加情報はこのメタデータ部に含まれてもよい。また画像データは静止画像だけに限られず、動画像のデータであってもよい。動画像データである場合も、データ本体と付加情報とを含むフォーマットとすればよい。ここで付加情報には、撮影日の情報、撮影場所を表す緯度経度標高の情報(いわゆるジオタグ)、カメラの向いている方角を表す情報等、カメラ等のデバイスが付加する情報を含む。また本実施の形態の付加情報には、利用者が設定した文字列等の情報も含まれる。
【0017】
さらに記憶部12は、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブル(付加情報設定テーブル)を保持する。一例としてこのテーブルは図3に示すように、画像データに含まれる付加情報のうち、撮影日時の情報と法定の祝祭日との関係等、既存の付加情報に基づく条件(A)に対応して、新たに付加するべき付加情報(B)を関連付けたものである。
【0018】
操作受入部13は、利用者からの指示操作を受け入れて制御部11に出力する。この操作受入部13は、例えばボタンやスイッチ等を含む。またこの操作受入部13は、利用者の操作を受け入れるリモートコントロールユニットと、このリモートコントロールユニットから無線または有線にて当該利用者の操作を受信する受信器とを含んでもよい。一例としてこの操作受入部13は、赤外線によるリモートコントロールを受け入れるユニットを含んでなる。
【0019】
表示出力部14は、制御部11から入力される指示に従って、利用者に提示するべき画面の画像を表す画面情報を外部に出力する。この表示出力部14は、例えば制御部11から指示される画面情報を、テレビ信号に変換して、外部のテレビに出力する。
【0020】
画像入力部15は、例えば、赤外線受信器や、メモリカードリーダー等であり、制御部11から入力される指示に従い、これらのインタフェースを介して画像データの入力を受け入れて、受け入れた画像データを制御部11に出力する。計時部16は、カレンダーIC等を含んで構成され日時を計時する。この計時部16の計時している日時は、制御部11からの指示により設定される。通信部17は、例えばネットワークインタフェース等であり、制御部11から入力される指示に従ってデータを外部に出力する。またこの通信部17は、外部から受信したデータを制御部11に出力する。
【0021】
次に、制御部11による処理について述べる。本実施の形態の制御部11は、設定処理、画像データ取り込み処理、メニュー提示処理、カレンダー表示処理、アルバム整理処理、アルバム表示処理等の処理を実行する。
【0022】
[設定処理]
制御部11は、利用者の指示により、現在日時、画面のデザイン、画像データを連続的に表示する際の表示時間(スライドショーの間隔)、接続されているテレビの画面比率、被写体となり得る人物の誕生日情報等の設定を受け入れて、これらを計時部16や記憶部12に設定ないし保持する。
【0023】
例えば制御部11は、利用者が現在日時の設定を行うと、当該設定の内容で計時部16の計時日時を上書きする。また、被写体となり得る人物の名前と誕生日情報とが入力されると、これらを関連付けて記憶部12に、誕生日データベースとして保持してもよい。
【0024】
[画像データ取り込み処理]
本実施の形態のある例では、操作受入部13に、本実施の形態の画像情報処理装置1の筐体に設けた「取り込み」スイッチを含む。利用者が画像入力部15の、例えばメモリカードリーダーにメモリカードを挿入し、この「取り込み」スイッチを押下すると、制御部11が、当該操作を受け入れて、以下の画像データ取り込み処理を行う。
【0025】
この画像データ取り込み処理は、機能的には、図4に例示するように、画像データ取得部21と、付加情報読出部22と、情報展開部23と、新規付加情報設定部24と、蓄積処理部25とを含んで構成される。
【0026】
画像データ取得部21は、「取り込み」スイッチが押下されたことを受けて、画像入力部15を介して画像データを取得する。一例として、画像データが、画像入力部15としてのメモリカードリーダーに差し込まれたメモリカードに格納されている場合は、画像データ取得部21は、当該メモリカードから未だ読み出していない画像データを一つ、読み出して取得する。
【0027】
付加情報読出部22は、画像データ取得部21が取得した画像データから付加情報を抽出する。上述のように、画像データがExif形式である場合は、この付加情報読出部22はメタデータ部に含まれる情報を読み出す。
【0028】
情報展開部23は、付加情報読出部22が読み出した情報に基づいて、予め定めた種類の情報を、生成または通信部17を介した通信により取得する。一例として、この情報展開部23は、ジオタグを、通信部17を介して予め設定されたサーバに送信し、ジオタグに対応する地名・施設名情報を受信して取得する。このようなサーバとしては、日本国の国土交通省が提供している位置参照情報サーバや、米国グーグル社が提供するグーグル・マップのサービス等があるので詳しい説明を省略する。
【0029】
また、この情報展開部23の処理の別の例は次のようなものである。すなわち、記憶部12に誕生日データベースが保持されている場合、情報展開部23は、計時部16の計時する日時の情報を取得する。また情報展開部23は、誕生日データベースを参照し、誕生日データベースに誕生日が設定されている人物ごとに、誕生日と計時部16から取得した日時の情報との差を演算し、年齢の情報を算出する(誕生日から現在の日時までの経過年を得ればよい)。そして演算された年齢の情報(誕生日データベースに複数人の誕生日が記録されている場合は各人の年齢の情報)を記憶する。
【0030】
新規付加情報設定部24は、記憶部12に格納されている付加情報設定テーブルに含まれる条件のうち、付加情報読出部22が読み出した情報、または情報展開部23によって得られた情報が満足する条件を検索により見いだす。そして新規付加情報設定部24は、検索により見いだした条件に関連付けられて記録されている付加情報を取り出して、画像データに付加する。この付加情報設定テーブルに含まれる条件は、例えば次のようなものである。なお、以下の説明では付加情報の設定の対象は画像データである。
【0031】
条件1.「撮影日が4月1日から4月10日の間、かつ、ジオタグに関連して取得した施設名情報に『小学校』、『中学校』、『高校』、『高等学校』、または『大学』のいずれかが含まれる」
この条件1には、例えば「入学式」の文字列が関連付けられる。そして、この条件1を満足する画像データが取得された場合、新規付加情報設定部24は、当該取得した画像データに「入学式」の文字列の付加情報を設定する。
【0032】
なお、条件に係る日時の情報は必ずしも日の情報まで含まなくてもよい。例えば、次の条件を設定してもよい。
【0033】
条件2.「撮影の時間が11時30分から1時30分の間、かつ、ジオタグに関連して取得した施設の情報が『飲食店』である」
この条件2には、例えば「ランチ」の文字列が関連付けられる。なお、付加情報設定テーブルにおいて、ある条件に関連付けられている付加情報は、固定の文字列に限られず、例えばジオタグに関連して取得した施設名の文字列に「ランチ」を組み合わせて得られる文字列(例えばジオタグに関連して取得した施設名の文字列が「いろは亭」であれば、これに「ランチ」を連接して「いろは亭ランチ」とした文字列)などとしてもよい。このようにする場合、この条件2を満足する画像データが取得されると、新規付加情報設定部24は、ジオタグに関連して取得した施設名の文字列と、固定の文字列「ランチ」とを組み合わせた文字列を生成し、取得した画像データに当該生成した文字列の付加情報を設定する。
【0034】
また、ここまででは撮影の日時に係る条件を、開始日時と終了の日時とを指定することにより設定していたがこれに限られない。例えば、次のように条件を設定してもよい。
【0035】
条件3.「撮影日時が1月1日、かつ、ジオタグに関連して取得した施設の情報が『寺社仏閣』である」
この条件3には、例えば、固定の文字列として「初詣」の文字列が関連付けられる。または、この条件3には、撮影の日時から年を表す文字列を抜き出し、当該抜き出した年を表す文字列と『初詣』の文字列とを組み合わせた文字列を付加情報として関連付けてもよい。この場合、この条件3を満足する画像データが取得されると、新規付加情報設定部24は、撮影の日時から抜き出される年を表す文字列と、固定の文字列「初詣」とを組み合わせた文字列(例えば「11年初詣」のような文字列)を生成し、取得した画像データに当該生成した文字列の付加情報を設定する。
【0036】
このように付加情報設定テーブルにおいては、付加情報を付加する対象となっている画像データの撮影日時の情報から生成されるべき文字列が指定されてもよい。この例としては、例えば次の条件4に対応する処理があり得る。
【0037】
条件4.「誕生日データベースに含まれる誕生日d1,d2…のうちに、計時部16の計時する日時dcとの差dc−diが、予め定めたしきい値dthを下回るものがある」
この条件においてしきい値dthは、例えば100日とする。この条件は、例えば誕生日からの経過日時が100日以下の場合に満足されたこととなる。そしてこの条件に対しては、例えば、上記差dc−diに相当する経過日数を算出し、当該算出した経過日数の文字列xを用いて表される文字列を付加情報としてもよい。この場合、「出生後x日目」のような文字列が、条件4を満足する画像データに付加される。
【0038】
また情報展開部23が被写体となり得る人物の年齢の情報を演算している場合、この条件4に代えて、
条件4′.「当該演算された年齢の情報のうちに「0」(0歳)がある」
という条件としてもよい。
【0039】
以下同様に、
条件5.「撮影月が7月または8月、かつ、ジオタグに関連して取得した施設の情報が『海岸』である」
との条件に対して、「海水浴」の文字列が、設定されるべき付加情報として関連付けられてもよい。
【0040】
さらにジオタグに関連する情報のみを条件としてもよい。例えば、
条件6.「ジオタグに含まれる標高の情報が予め定めたしきい値を越えている」
との条件に対して、「飛行移動中」の文字列が、設定されるべき付加情報として関連付けられてもよい。
【0041】
さらに本実施の形態の別の例では、付加情報設定テーブルにおける条件として、撮影日時の情報と事前に設定された特別日データベースに含まれる日付との関係に基づく条件が含まれてもよい。この特別日データベースは、例えば日付(月名(1月から12月までのいずれか)及び日にち)と、特別日の名称とを関連付けたエントリを記憶部12に蓄積したものであり、一例としては法定の祝祭日(例えば日本国であれば祝日法で定められた日)と、その名称とを関連付けたエントリを含む。
【0042】
具体的には
条件7.「撮影日時が特別日データベースに含まれる日付のいずれかに一致する」
との条件が設定され、この条件に関連して、特別日データベースにおいて日付が一致したエントリに含まれる名称の文字列を、設定されるべき付加情報とするものでもよい。
【0043】
また例えば特別日データベースに含まれる法定の祝祭日の日付と一致するのではなく、撮影日と法定の祝祭日の日付との日数差が予め定めたしきい値の範囲にある、との条件としてもよい。さらに、このしきい値は法定の祝祭日ごとに異なって設定されてもよい。例えば日本国の祝日のうちでは、敬老の日は9月の第三月曜日と定められているが、実際に敬老の日のイベントが行われるのは前後の土日を含むことも考慮し、敬老の日については、撮影日が敬老の日の2日前の土曜日から、敬老の日までの3日間にある画像データには、「敬老の日」の文字列の付加情報を設定させることとしてもよい。
【0044】
なお、この新規付加情報設定部24は、付加情報設定テーブルの内容によらず、情報展開部23によって得られた情報をそのまま付加情報として画像データに付加してもよい。例えば、ジオタグに関連して取得した施設名の情報をそのまま付加情報として画像データに付加してもよい。
【0045】
蓄積処理部25は、新規付加情報設定部24によって付加情報が付加された画像データについて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データを生成する。また当該画像データにさらに、取り込みの日時を表す情報として計時部16から取得した日時の情報を付加情報として含める。そして当該画像データとサムネイル画像データとを関連付けて、記憶部12に蓄積する。この処理により、記憶部12には、図5に例示するように、複数の付加情報(H)が付加されている画像データが、そのサムネイル画像データとともに蓄積されることとなる。
【0046】
[メニュー提示処理]
制御部11はまた、記憶部12に蓄積された画像データを表示する処理を実行する。この表示の態様として、本実施の形態では、
「最近取り込んだもの」、
「撮影日時での一覧」、
「付加情報ごとの一覧」(アルバム表示)、
のいずれかを選択的に行うものとする。
【0047】
制御部11は、例えば、電源投入後、図6に例示する画面を提示する。この画面には、メニュー(A、以下トップメニューと呼ぶ)と、記憶部12のうち、画像データを蓄積可能な領域の容量と、その使用量(画像データをハードディスクドライブに蓄積する場合はその全容量と使用中の容量ないし空き容量)を表す画像(B)とを含む。
【0048】
ここでトップメニューには、「最近取り込んだもの」、「アルバム」、「カレンダー」、「その他の機能」といった選択肢を配列する。ここで利用者が例えば「最近取り込んだもの」を選択する操作を行うと、制御部11は、一覧抽出条件情報として「最近取り込んだもの」を記憶し、計時部16から現在の日時を表す情報を取得する。そして制御部11は、記憶部12に蓄積されている画像データのうち、その付加情報に含まれる取り込みの日時と、取得した現在の日時との差が予め定めたしきい値未満(例えば6日未満)の画像データを抽出し、当該抽出した画像データに関連付けられているサムネイル画像データの一覧を表示する(図7)。
【0049】
また上記トップメニューから、利用者が「アルバム」を選択する操作を行うと、制御部11は、記憶部12に格納されている画像データに含まれる付加情報の一覧(重複を省く)を生成して、この一覧の少なくとも一部を、アルバムの一覧として提示する。そして利用者が、当該提示された一覧からいずれかの付加情報を抽出条件として選択すると、制御部11は、一覧抽出条件情報としてこの選択された付加情報を記憶し、記憶部12に格納されている画像データから、当該選択された付加情報を含む画像データを抽出する。そして制御部11は、当該抽出した画像データに関連付けられたサムネイル画像データを記憶部12から読み出して、その一覧を表示する。すなわち、本実施の形態では、付加情報の一覧が抽出条件の一覧として提供されるが、この抽出条件の一覧には、現実に画像データに付加されていない付加情報(当該抽出条件により選択される画像データが蓄積されていない抽出条件)は、含まれないように制御されるのである。つまり、法定の祝祭日等、予め付加情報として付加され得る情報があったとしても、現実に付加された画像データが存在しない付加情報に係るアルバムについては、そのようなアルバムがないものとして扱われることとなり、自然なインタフェースが提供される。
【0050】
また、このように、本実施の形態では、現実に付加されている付加情報、またはその一部が、「アルバム」の名称として利用される。このことにより、例えば複数のアルバムに画像データを分類したい場合も、各アルバムに対応する記憶領域(ディレクトリ等)に、画像データを複写して重複して記録するのではなく、複数のアルバムに関する付加情報を画像データに含めることで分類が達成できる。
【0051】
[表示中の処理]
制御部11は、例えば一覧表示中に一覧に含まれるサムネイル画像データのいずれかをポイントするカーソルを表示する(図7(C))。制御部11は、利用者からカーソルの移動操作または選択の操作を受け入れ、当該操作に従ってカーソルを別のサムネイル画像データへ移動し、または選択の操作を受け入れたときにカーソルによりポイントされているサムネイル画像データに関連付けられている画像データを記憶部12から読み出し、一覧の画像に代えて当該画像データを表示する。
【0052】
また制御部11は、一覧表示中に、メニューの表示を行うべき旨の操作が為されると、例えば「しぼりこみ」、「アルバムに入れる」、「お気に入り編集」、「ゴミ箱へ移動」等の選択項目が含まれるメニューを表示する。なお、「アルバム」の選択から一覧表示が行われている場合は、制御部11は、このメニューに「アルバムを編集」といった、アルバムに固有の選択項目を含めてもよい。
【0053】
ここで制御部11が、「しぼりこみ」の選択を受けると、制御部11は利用者に新たな検索条件の入力を求める。具体的に制御部11は、記憶部12に格納されている画像データに含まれる付加情報の一覧(重複を省く)を生成して、この一覧の少なくとも一部(例えば現在一覧表示しているサムネイル画像データに関連付けられた画像データに含まれるものを選択して)を提示する。そして利用者が当該提示された一覧からいずれかの付加情報を選択すると、制御部11は現在一覧表示しているサムネイル画像データのうち、関連する画像データに当該選択された付加情報が含まれるものを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する。
【0054】
また制御部11は、一覧表示中のメニューから「アルバムに入れる」が選択されると、記憶部12に格納されている画像データに含まれる付加情報の一覧(重複を省く)を生成して、この一覧の少なくとも一部(例えば一覧抽出条件情報に相当するものを除く)を提示する。そして利用者が、当該提示された一覧からいずれかの付加情報を選択(付加対象と呼ぶ)すると、制御部11は、現在一覧表示しているサムネイル画像データのうちから少なくとも一つのサムネイル画像データを選択するよう利用者に求める。利用者は、例えばカーソルの移動操作と選択操作とを行って少なくとも一つのサムネイル画像データを選択し、選択を終了した旨の操作を行う。制御部11は、この利用者の操作により選択された、少なくとも一つのサムネイル画像データについて、その各々に関連する画像データに対して付加対象となった付加情報を付加する。
【0055】
さらに制御部11は、一覧表示中のメニューから「お気に入り編集」が選択されると、現在一覧表示しているサムネイル画像データのうち、関連する画像データに「お気に入り」であることを表す付加情報(例えばその旨の制御コードなど、利用者が通常の操作で入力不能な情報としておく)が含まれているサムネイル画像データに、「お気に入り」が設定されていることを表す画像(例えば星印の画像)を重ね合わせて表示する。
【0056】
そして利用者が、例えばカーソルの移動操作と選択操作とを行って、一覧に含まれるサムネイル画像データを選択する操作を行うと、制御部11は、選択されたサムネイル画像データに係る「お気に入り」の設定を切り替える。つまり制御部11は、選択されたサムネイル画像データに係る画像データに、「お気に入り」であることを表す付加情報が含まれていれば、当該「お気に入り」であることを表す付加情報を削除する。また、制御部11は、選択されたサムネイル画像データに係る画像データに、「お気に入り」であることを表す付加情報が含まれていなければ、「お気に入り」であることを表す付加情報を付加する。
【0057】
さらに利用者が、一覧表示中のメニューから「アルバムを編集」を選択すると、現在一覧表示しているサムネイル画像データのうち、関連する画像データに一覧抽出条件情報と同じ付加情報が含まれているサムネイル画像データに、アルバムに含まれていることを表す画像(例えば星印の画像)を重ね合わせて表示する。
【0058】
そして利用者が、例えばカーソルの移動操作と選択操作とを行って、一覧に含まれるサムネイル画像データを選択する操作を行うと、制御部11は、選択されたサムネイル画像データに係る画像データをアルバムに含めるか否かを切り替える。つまり制御部11は、選択されたサムネイル画像データに係る画像データに一覧抽出条件情報と同じ付加情報が含まれていれば、当該一覧抽出条件情報と同じ付加情報を削除する。また、制御部11は、選択されたサムネイル画像データに係る画像データに一覧抽出条件情報と同じ付加情報が含まれていなければ、一覧抽出条件情報として記憶している付加情報を付加する。
【0059】
[記念日の設定]
また制御部11は、利用者から任意の日付(月、日により特定される日付)を、「記念日」として設定するよう指示を受け入れて、記念日の設定処理を実行してもよい。この処理では、制御部11は、利用者から月名(1月から12月までのいずれか)と日付との入力を受け入れ、また、記念日の名称を受け入れる。ここではこの記念日の名称が、そのまま付加情報として扱われる。
【0060】
制御部11は、入力された月日の情報と、付加情報とを関連付けて特別日データベースに含めて記憶部12に格納する。このようにして特別日データベースを更新可能としておくことにより、本実施の形態の画像情報処理装置1を所有する利用者が、当該利用者固有の記念日、例えば結婚記念日を設定すると、制御部11は、撮影日が当該結婚記念日として設定された日付に一致する画像データを取り込んだときに、「結婚記念日」との付加情報を、当該取り込んだ画像データに付加する。
【0061】
また、これにより「結婚記念日」との名称のアルバムが選択可能となり、当該アルバムの一覧表示においては、「結婚記念日」として設定された日付に撮影された画像データが表示されることになる。
【0062】
なお、既に述べたように記念日や祝祭日に関わる行事は、必ずしもその記念日や祝祭日の当日に行われるとは限らない。そこで本実施の形態では、設定された記念日等の前後に予め定めた該当範囲を設定してもよい。この該当範囲は、例えば予め決められた日数(設定された当日の前3日から後2日までの期間とするなど)としてもよいし、曜日の情報を用いて「直前の土曜日から次の日曜日までの間」などとしてもよい。また、具体的に該当範囲をその開始日から終了日までの間として設定してもよい。これらの場合、特別日データベースは、該当範囲を表す情報と、付加情報とを関連付けたものとなる。
【0063】
ここで該当範囲を表す情報は、個々のエントリごとに異なってもよい。一例としてこの該当範囲を表す情報は、例えば1月1日の元日については該当範囲は当日のみとして、当日を表す「1月1日」と、当日前何日前から該当範囲とするかを表す情報(「0」日とする)と、当日後何日後までを該当範囲とするかを表す情報(「0」日とする)とを含むものとなる。また、成人の日についてはその前後の土日に式典が行われることが多いことに鑑みて、当日を表す「1月第2月曜日」と、その「直前の土曜日から次の日曜日までの間」を表す情報とを含む情報が該当範囲を表す情報として設定される。
【0064】
[付加情報の追加]
さらに本実施の形態の画像情報処理装置1の制御部11は、付加情報設定テーブルの新たなエントリを利用者の指示に従って設定させることとしてもよい。この場合利用者は、付加情報を設定する条件と、設定する付加情報とを入力する。一例として利用者は、「撮影月が11月、かつ、ジオタグに関連して取得した施設の情報に『神社』を含む」との条件と、付加情報としての「七五三」の文字列とを入力する。制御部11は、これらを関連付けて付加情報設定テーブルに格納する。
【0065】
このようにしておくと、撮影日が11月中であり、撮影場所であるジオタグに関連して取得される施設情報に「神社」を含む画像データを取り込むと、制御部11が、当該取り込んだ画像データに対し、「七五三」との付加情報を付加する。
【0066】
また、これにより「七五三」との名称のアルバムが選択可能となり、当該アルバムの一覧表示においては、「七五三」のアルバムに含まれる画像データとして撮影日が11月中であり、撮影場所であるジオタグに関連して取得される施設情報に「神社」を含む画像データに係るサムネイル画像データの一覧が表示されることになる。
【0067】
[付加情報追加時の再付与処理]
またこのように新たな付加情報設定テーブルのエントリや記念日を新たに追加したときには、制御部11は、既に記憶部12に蓄積されている画像データについても再度、付加情報を付加するための処理を実行してもよい。この処理は、図4に例示した画像データ取り込み処理と略同様であり、この処理を実行する制御部11は、図8に例示するように、機能的には画像読み出し部21′と、付加情報読出部22と、情報展開部23と、新規付加情報設定部24と、付加情報調整部26とを含んで構成される。なお、図4に例示した構成と同様の動作を行うものについては、同じ符号を付して繰り返しての説明を省略する。
【0068】
画像読み出し部21′は、記憶部12に格納されている画像データを一つずつ順次、読み出して取得する。また、付加情報調整部26は、新規付加情報設定部24が新規の付加情報を付加した画像データについて、重複して同じ付加情報が複数含まれているか否かを調べ、重複して同じ付加情報が複数含まれているときには、当該付加情報を一つだけ残して削除する。これにより付加情報が重複して付加されることを防止している。
【0069】
[動作]
本実施の形態の画像情報処理装置1は、このような構成を有してなり、次の例のように動作する。ここでは利用者がGPS機能付きのカメラ(ジオタグを画像データに付加するカメラ)で撮影した画像データを、この画像情報処理装置1で管理する場合を例として説明する。以下の説明では、この画像情報処理装置1の記憶部12に、図9に例示するように、特別日データベースとして、成人の日について、当日を表す「1月第2月曜日」と、その「直前の土曜日から次の日曜日までの間」を表す情報とを含む該当範囲を表す情報と、付加情報としての「成人の日」なる文字列とを関連付けたエントリが記録されているものとする。
【0070】
そしてここでの例では、日本国内の法令により1月15日が成人の日である年に、日本では慣例となっている成人式が、その直前の日曜日である1月14日に行われたとし、当該成人式において写真を撮影した利用者が、当該写真の画像データを、画像情報処理装置1に読み込ませるものとする。
【0071】
利用者が、画像データを撮像したカメラからその画像データを記録したメモリカードを取り出し、画像情報処理装置1の画像入力部15に差し込み、「取り込み」スイッチを押下すると、画像情報処理装置1は、メモリカードに格納されている画像データのうち、未だ読み出していない画像データを順次選択して読み出す。
【0072】
ここで未だ読み出していない画像データであるか否かは、例えば次のようにして判断する。本実施の形態の画像情報処理装置1は、記憶部12に格納している画像データの各々について、固有のハッシュ値を予め定めた方法で演算している。このハッシュ値はMD5等の広く知られたもので構わない。そして画像情報処理装置1は当該演算したハッシュ値のリストを記憶部12に保持している。
【0073】
そこで画像情報処理装置1は、メモリカードに格納されている画像データのうち、そこから上記予め定めた方法で演算されるハッシュ値が、記憶部12のリストに含まれていない画像データを抜き出す。これにより、未だ読み出していない画像データが抜き出される。画像情報処理装置1は、図10に例示するように、この抜き出した画像データのうち一つを選択する(S1)。
【0074】
画像情報処理装置1は、選択した画像データを読み出して、当該読み出した画像データを処理対象として、当該処理対象となった画像データから付加情報を読み出す(S2)。そして、画像情報処理装置1は、当該読み出した付加情報に基づいて、予め定めた種類の情報を生成する(S3)。またこの処理S3では通信部17を介した通信により、読み出した付加情報に基づいて、予め定めた種類の情報を取得することとしてもよい。
【0075】
ここでは具体的に、処理対象の画像データから読み出した付加情報のうちのジオタグを、通信部17を介して予め設定されたサーバに送信し、ジオタグに対応する地名・施設名情報を受信して取得しておく。ここでの例では、子供の入学式での写真の画像データであるため、ジオタグに基づいて得られる地名・施設名の情報には「小学校」の文字列が含まれる。
【0076】
画像情報処理装置1は、記憶部12に格納されている付加情報設定テーブルに含まれる条件のうち、未選択の条件がなくなるまでループを開始し(S4)、未選択の条件を一つ選択して(S5)、処理S2にて読み出した付加情報、または処理S3で得られた情報が、処理S5にて選択した条件を満足するか否かを判断する(S6)。
【0077】
ここで、付加情報設定テーブルに、条件(以下条件aと呼ぶ)として、「撮影日が4月1日から4月10日の間、かつ、ジオタグに関連して取得した施設名情報に『小学校』、『中学校』、『高校』、『高等学校』、または『大学』のいずれかが含まれる」との条件が含まれているとすると、ここでの例の画像データは撮影日が1月14日であるので、この条件aを満足しないものと判断する。
【0078】
またこの付加情報設定テーブルに、条件(以下条件bと呼ぶ)として、「特別日データベースに含まれるエントリの該当範囲に撮影日が含まれる」との条件が含まれるとする。ここでの例では、撮影日である1月14日が、当日である1月15日の直前の日曜日であるため、特別日データベースに含まれる情報で特定される成人の日についての該当範囲に撮影日があることとなり、条件bを満足することとなる。
【0079】
画像情報処理装置1は、この処理S6において、条件が満足されたと判断すると(Yesであると)、当該条件に関連付けて、付加情報設定テーブルに保持されている付加情報を取り出して、処理対象の画像データに付加する(S7)。
【0080】
ここで「特別日データベースに含まれるエントリの該当範囲に撮影日が含まれる」との条件については、「当該該当範囲に関連付けられた付加情報」を付加情報とする旨が関連付けられているものとすると、成人の日に係るエントリに含まれる付加情報である「成人の日」の文字列が取り出され、ここでの例の画像データに対して付加される。
【0081】
そして画像情報処理装置1は、未選択の条件があるならば処理S4からのループを繰り返す(S8)。また、画像情報処理装置1は、この処理S4からS8のループを抜けると、処理対象の画像データに基づくサムネイル画像データを生成し、当該生成したサムネイル画像データと、処理対象の画像データとを関連付けて、記憶部12に蓄積して格納する(S9)。そして、読み出されていない画像データがまだメモリカードにあるか否かを判断し(S10)、まだあれば(Yesならば)、処理S1に戻って処理を続ける。また、処理S10において、読み出されていない画像データがなければ(Noならば)、処理を終了する。
【0082】
画像情報処理装置1は、また、処理S6において、条件が満足されなかったと判断すると(Noであると)、そのまま処理S8へ移行して処理を続ける。
【0083】
画像情報処理装置1は、この処理を終了すると、トップメニューの表示処理を実行し、「最近取り込んだもの」やアルバム表示等、表示態様を選択させるメニューを表示する。ここで利用者が、「アルバム」での表示を選択する操作を行うと、画像情報処理装置1は、記憶部12に蓄積されている画像データに含まれる付加情報の一覧(重複を省く)を生成して、この一覧の少なくとも一部、例えば付加情報のうち撮影日やジオタグ自体等、予め定めた種類の情報を除く付加情報を、アルバムの一覧として提示する。
【0084】
ここでの例では、蓄積された画像データのうちには、上述のように「成人の日」なる付加情報が付加されているものがある。そこでこの一覧には「成人の日」なる文字列が含まれることとなる。
【0085】
利用者が、当該提示された一覧から「成人の日」を選択すると、画像情報処理装置1は、一覧抽出条件情報としてこの選択された付加情報を記憶し、記憶部12に格納されている画像データから、当該選択された「成人の日」の付加情報を含む画像データを抽出し、当該抽出した画像データに関連付けられたサムネイル画像データを記憶部12から読み出して、その一覧を表示する。
【0086】
そして画像情報処理装置1は、この一覧表示中に一覧に含まれるサムネイル画像データのいずれかをポイントするカーソルを表示し、利用者からカーソルの移動操作または選択の操作を受け入れて、選択の操作を受け入れたときにカーソルによりポイントされているサムネイル画像データに関連付けられている画像データを記憶部12から読み出し、一覧の画像に代えて当該画像データを表示する。
【0087】
[変形例]
なお、付加情報設定テーブルに設定可能な条件はここまでに説明したものに限られない。この条件には例えば、画像データからOCRで得られる文字列に係る条件が含まれ得る。例えば画像データに対してOCR処理を行った結果、「『祭』の文字列が含まれている」との条件を設定してもよい。この条件に対しては、例えば「お祭」なる付加情報を関連付けておく。
【0088】
また、利用者が設定した誕生日データベースから得られる被写体となり得る人物の年齢の情報を用いてもよい。例えば撮影日において「5」才以上「7」才未満の範囲にある人物が誕生日データベースに設定され、かつ、4月1日から4月15日までの間に撮影日があり、かつ、ジオタグに基づいて取得される施設名の情報に「小学校」が含まれる、との条件を設定してもよい。
【0089】
さらに、ジオタグと撮影日の情報とから、イベントの名称が得られる場合もある。一例としてジオタグに基づいて、場所や施設名の情報として「多摩川付近」が得られ、撮影日とこの得られた施設名の情報とを通信部17を介してインターネット上の検索エンジンに送信し、予め定めたイベント名称テンプレート(例えば「祭」や「花火大会」、「大会」、「フリーマーケット」等の文字列)を含むものが見いだされたときに、当該イベント名称テンプレートに合致する文字列を、付加情報として取得してもよい。
【0090】
あるいは、ジオタグと撮影日の情報とに対して、イベントの名称を関連付けて保持するサーバを用意しておき、画像情報処理装置1は、このサーバにアクセスして、イベント名称を取得し、当該取得したイベント情報を付加情報として利用してもよい。
【符号の説明】
【0091】
1 画像情報処理装置、11 制御部、12 記憶部、13 操作受入部、14 表示出力部、15 画像入力部、16 計時部、17 通信部、21 画像データ取得部、21′ 画像読み出し部、22 付加情報読出部、23 情報展開部、24 新規付加情報設定部、25 蓄積処理部、26 付加情報調整部。

【特許請求の範囲】
【請求項1】
画像データに対して付加情報を付加する画像情報処理装置であって、
既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、
少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶する手段と、
前記保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、
前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、
少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、
前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、前記蓄積した画像データから抽出して提示する手段と、を含む画像情報処理装置。
【請求項2】
請求項1記載の画像情報処理装置であって、前記付加情報追加条件が、画像データに含まれる付加情報のうち、撮影日時の情報と法定の祝祭日との関係に基づく条件である画像情報処理装置。
【請求項3】
請求項1または2記載の画像情報処理装置であって、前記一覧提供手段は、一覧に含めるべき抽出条件のうち、当該抽出条件により選択される画像データが蓄積されていない抽出条件については一覧に含めないよう制御する画像情報処理装置。
【請求項4】
画像データに対して付加情報を付加する画像情報処理装置を、
既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、
少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶する手段と、
前記保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、
前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、
少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、
前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、前記蓄積した画像データから抽出して提示する手段と、
として機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−97681(P2013−97681A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−241533(P2011−241533)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(390040187)株式会社バッファロー (378)
【Fターム(参考)】