説明

画像管理装置及び画像管理方法

【課題】Group(グループ)単位での画像ファイルの管理を自動で行うことを目的とする。
【解決手段】撮影された画像に関する画像ファイルを管理する画像ファイル管理手段と、画像ファイル管理手段から画像ファイルに係る被写体人物に関する情報を取得する被写体人物情報取得手段と、被写体人物情報取得手段において取得された被写体人物に関する情報を管理する登録済み被写体人物情報管理手段と、被写体人物に関する情報に基づいて、互いに関連性の高い被写体人物群を同じグループとし、グループに関する情報を管理するグループ情報管理手段と、を有することによって前記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像管理装置及び画像管理方法に関する。
【背景技術】
【0002】
近年の撮像装置の普及により、結婚式や旅行等、様々なイベントのシーンにおいて撮像装置を用いて画像を撮影する機会が多くなってきている。こうしたイベントのシーンにおいて撮影された撮影画像の殆どは、イベントに参加した人物を被写体とする画像である。
【0003】
このようにして撮影された画像は、被写体人物に対して、画像ファイルとして提供される。そこで、画像ファイルの管理を容易とするための従来技術については、既に幾つかの技術が提案されてきた。
【0004】
例えば、特許文献1では、画像データに特有の特徴量を、その画像データと共にデータベースに保存し、その特徴量により画像データを分類する技術が開示されている。この特徴量とは、画像の取得日時、画像データのデータベースへの登録日時、撮影場所、撮影された被写体の名称、撮影が行われたイベントの名称データ等である。
【0005】
また、特許文献2では、画像データから抽出される被写体人物の特徴情報を、画像ファイルに対して属性情報として付加する技術が開示されている。この特徴情報は、撮影場所、被写体人物の名前等、撮影後にユーザによって入力される情報に加え、顔画像情報を抽出することにより取得される、性別や年齢、人種等、装置によって自動識別される情報を含む。
【0006】
【特許文献1】特開2001−297090号公報
【特許文献2】特開2001−357067号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
メディア等の画像記録容量が大容量化すれば、管理される画像枚数は増加する。そのため、一般的に行われている1枚1枚の画像内容を確認しながら要望する画像を取得する方法では、作業が煩雑となってしまう。更に、イベント参加人数が多くなれば、画像内容の確認のため、要望する自物の画像とは無関係の人物についての画像を閲覧することが多くなり、無駄な作業が増えていってしまう。
【0008】
したがって、イベント等で撮影された多人数の被写体人物についての画像を多数管理するような場合、煩雑な作業を伴わずに、要望される画像を提供できる画像管理方法が好ましい。
【0009】
また一般的にイベント等で撮影された撮影画像は、友人や家族等の特定のGroup(グループ)が被写体となることが多く、被写体同士の関連性が高い。そして殆どの場合、撮影画像は、こうしたGroupのメンバーと一緒に閲覧される。また、画像ファイルの提供はこうしたGroup単位で行われる。
【0010】
したがって、撮影画像はいつも一緒に写っているGroup単位で管理され、提供できることが好ましい。
【0011】
ところが、従来技術を用いて撮影画像ファイルを管理する場合には、以下の問題があった。
【0012】
例えば、特許文献1では、撮像した画像に対して、画像内容の特徴となる情報(被写体人物名、撮影場所等)からなる属性情報をいちいち作成しなければならないという問題があった。そのため、各画像に複数の人物が写っていたり、撮影した画像の数が増加したりすると、上記のような属性情報を作成する作業が煩雑となる問題があった。
【0013】
また、特許文献2では、検索条件として単一の人物情報を指定した場合、指定人物と一緒に写っている人物がそれぞれ無関係な画像も抽出してしまう問題があった。
【0014】
また、検索条件に複数の人物情報を指定した場合、同一シーンでの撮影画像にも関わらず、一部の検索指定人物と親しい人物が写っている画像を抽出できない問題があった。
【0015】
本発明は前記の問題点に鑑みなされたもので、Group(グループ)単位での画像ファイルの管理を自動で行うことを目的とする。
【課題を解決するための手段】
【0016】
そこで、前記問題を解決するため、本発明は、撮影された画像に関する画像ファイルを管理する画像ファイル管理手段と、前記画像ファイル管理手段から前記画像ファイルに係る被写体人物に関する情報を取得する被写体人物情報取得手段と、前記被写体人物情報取得手段において取得された被写体人物に関する情報を管理する登録済み被写体人物情報管理手段と、前記被写体人物に関する情報に基づいて、互いに関連性の高い被写体人物群を同じグループとし、前記グループに関する情報を管理するグループ情報管理手段と、を有することを特徴とする。
【0017】
また、前記問題を解決するため、本発明は、画像管理方法としてもよい。
【発明の効果】
【0018】
本発明によれば、Group(グループ)単位での画像ファイルの管理を自動で行うことができる。
【発明を実施するための最良の形態】
【0019】
以下、本発明の実施例について図面に基づいて説明する。
【0020】
図1は、撮像装置の構成の一例を示すブロック図である。A001は、撮像装置本体である。A002は、撮像レンズ部である。A003は、撮像部である。撮像レンズ部A002及び撮像部A003を通して画像の撮像が行われる。A004は、撮像画像ファイル生成部であって、撮像した情報を符号化して画像ファイルを生成する。
【0021】
A005は、撮像装置の制御を行う制御部であって、撮像処理の他、自動更新プログラムに基づいて、Group情報の自動更新処理や、画像管理プログラムに基づいて、グルーピング処理を含む画像管理処理を行なう。
【0022】
A006は、撮像画像ファイル生成部A004において生成した撮影画像ファイルを管理する撮像画像ファイル管理部であって、CF等のメディアやHDDであってもよい。ここで、CFとは、Compact Flashの略である。また、HDDとは、Hard Disk Driveの略である。
【0023】
A007は、被写体情報抽出処理部であって、撮像画像ファイル生成部A004において生成された撮影画像ファイルの被写体人物の顔画像と、特徴情報とを抽出する。
【0024】
A008は、被写体情報登録処理部であって、被写体情報抽出処理部A007において抽出した被写体の情報(顔画像及び特徴情報)と、登録被写体情報データベース部A009に登録されている情報(顔画像及び特徴情報)とを照合する。そして、被写体情報登録処理部A008は、登録被写体情報データベース部A009に登録されていない人物(被写体)の情報であると判断すると、前記抽出した被写体の情報(顔画像及び特徴情報)を登録被写体情報データベース部A009に登録する。
【0025】
A009は、登録被写体情報データベース部であって、被写体顔画像ファイル管理部A010及び被写体特徴情報管理部A011を構成要素とし、本装置において管理されている人物の個人情報を管理する。
【0026】
A010は、被写体顔画像ファイル管理部であって、登録済みの被写体人物についての顔画像ファイルを管理する。A011は、被写体特徴情報管理部であって、登録済みの被写体人物についてのバイオメトリックス等に係る特徴情報を管理する。
【0027】
A012は、Group操作処理部であって、本装置で管理されるGroupについて、Group内容更新やGroupの分割/統合処理等の操作を行う。
【0028】
A013は、Group情報データベース部であって、本装置で管理される全てのGroupの情報(Group情報)を管理する。Group情報データベース部A013は、Groupメンバー関連画像ファイルパス情報管理部A014、Groupメンバー情報管理部A015、及びGroupメンバー関連情報管理部A016を構成要素とする。
【0029】
A014は、Groupメンバー関連画像ファイルパス情報管理部であって、Groupのメンバーに関連する画像ファイルを格納しているパスの情報を管理する。A015は、Groupメンバー情報管理部であって、Groupに属するメンバーの情報を管理する。A016は、Groupメンバー関連情報管理部であって、Groupに属するメンバー同士の関連情報を管理する。
【0030】
A017は、表示部であって、撮像画像を表示する他、後述する図5に示すような画面を表示する。A018は、キーやボタン等の操作部である。ユーザは、操作部A018を操作して、例えば、画面遷移の指示を撮像装置に対して行なう。
【0031】
図2は、撮像装置におけるデータ管理に係るディレクトリツリー構造の一例を示す図である。B001は、データ管理のディレクトリツリーのルートディレクトリである。B002は、撮像した画像ファイルや動画ファイル、音声ファイル等を管理するディレクトリである。
【0032】
B003は、撮影した画像ファイルを日付等の条件に従って管理するディレクトリである。B004は、撮像装置により取得される画像ファイルであって、撮像画像ファイル管理部A006において管理される。
【0033】
B005は、撮像装置により撮影された画像の被写体情報から得られる顔画像ファイルを管理するディレクトリであって、本ディレクトリの情報は、登録被写体情報データベース部A009において管理される。B006は、Groupに登録されている人物についての情報を管理するディレクトリである。B007は、Groupに登録されている人物についての顔画像ファイルである。B008は、Groupに登録されている人物についてのバイオメトリックス等に係る特徴情報である。例えば、特徴情報として、眉、眼、鼻、唇のサイズや、顔におけるそれらの位置等のデータを管理する。
【0034】
B009は、全てのGroupの情報を管理するディレクトリであって、本ディレクトリ以下の情報は、Group情報データベース部A013において管理される。
【0035】
B010は、風景画像を管理するディレクトリである。画像内に人物が存在しない撮像画像はディレクトリB010において管理される。B011は、風景画像の画像ファイルへのパスを管理するファイルである。このファイル形式としては、例えば、後述する図4−Cに示すような、該当する画像ファイルの保存先パスを記述するテキスト等がある。
【0036】
B012は、関連性の高い被写体人物からなるGroupの情報を管理するディレクトリである。B013は、Groupに属する人物についての顔画像ファイルへのパスを管理するファイルである。このファイル形式としては、例えば、後述する図4−Bに示すような、該当する画像ファイルの保存先パスを記述するテキスト等がある。
【0037】
B014は、Groupに属する人物に関連する画像ファイルへのパスを管理するファイルである。このファイル形式としては、例えば、後述する図4−Cに示すような、該当する画像ファイルの保存先パスを記述するテキスト等がある。
【0038】
B015は、Group内のメンバー同士の関連情報を管理するファイルである。このファイル形式としては、例えば、後述する図4−Aに示すような、Groupのメンバー同士の関連情報を管理するテーブル等がある。
【0039】
B016は、画像ファイルに付加する音声データを管理するディレクトリである。B017は、撮像した動画ファイルを管理するディレクトリである。B021は、画像ファイルの印刷指定情報を管理するファイルである。
【0040】
図3は、本実施形態における処理の一例を示すデータフローチャートである。C001は、撮像画像ファイル生成処理である。撮像画像ファイル生成処理C001は、撮像画像ファイル生成部A004において行われ、生成した画像ファイルを被写体情報抽出処理C002に渡す。
【0041】
C002は、被写体情報抽出処理である。被写体情報抽出処理C002は、被写体情報抽出処理部A007において行われる。
【0042】
被写体情報抽出処理部A007は、処理対象の画像ファイルを撮像画像ファイル管理処理C003に渡し、撮像画像ファイル管理処理C003より、画像ファイルの格納ファイルパスを取得する。
【0043】
被写体情報抽出処理部A007は、処理対象の画像ファイルに写っている被写体人物の特徴量(被写体特徴量/特徴情報)を抽出し、被写体登録判別処理C004に渡す。前記被写体人物が、既に登録被写体情報データベースC006において登録済みの人物であれば、被写体情報抽出処理部A007は、被写体登録判別処理C004より、登録済み人物IDを取得する。
【0044】
前記被写体人物が、既に登録被写体情報データベースC006において登録済みの人物でなければ、被写体情報抽出処理部A007は、前記被写体人物の顔画像ファイルを作成する。そして被写体情報抽出処理部A007は、作成した顔画像ファイルと、前記被写体人物の特徴量とを被写体情報登録処理C005に渡して、登録被写体情報データベースC006への新規登録を依頼し、被写体情報登録処理C005より新規登録人物IDを取得する。
【0045】
被写体情報抽出処理部A007は、こうして取得した処理対象の画像ファイルの被写体人物についての被写体IDを、被写体IDリストC007のデータストアに記憶する。
【0046】
処理対象の画像ファイルの被写体人物の抽出処理を完了すると、被写体情報抽出処理部A007は、処理対象の画像ファイルパスを登録先Group探索処理C008に渡して、画像管理先Groupの探索を依頼する。
【0047】
なお、被写体情報抽出処理C002では後述する図6に示すように、被写体人物の内、管理すべき人物を限定する処理(例えば、被写体が5人以上いる場合は新規人物の登録はしない等の処理)も含む。
【0048】
C003は、撮像画像ファイル管理処理である。撮像画像ファイル管理処理C003は、撮像画像ファイル管理部A006において行われ、処理対象の画像ファイルを管理する。
【0049】
C004は、被写体登録判別処理である。被写体登録判別処理C004は、被写体情報登録処理部A008において行われ、登録被写体情報データベースC006を参照し、被写体情報抽出処理C002より受け取る被写体特徴量とのマッチングを行う。既にデータベースに登録済みの人物であれば、その人物IDをデータベースより取得し、被写体情報抽出処理C002に渡す。
【0050】
C005は、被写体情報登録処理である。被写体情報登録処理C005は、被写体情報登録処理部A008において行われ、被写体情報抽出処理C002より受け取る被写体特徴量と、顔画像ファイル(又は人物顔画像ファイルパス)とを登録被写体情報データベースC006に新規登録する。そして、被写体情報登録処理C005は、登録した人物IDを被写体情報抽出処理C002に渡す。なお、被写体情報登録処理C005は、登録被写体情報データベースC006に人物顔画像ファイルパスを登録する場合、顔画像ファイルは、前記人物顔画像ファイルパスに示されるディレクトリ等に格納する。
【0051】
C006は、登録被写体情報データベースである。登録被写体情報データベースC006は、登録被写体情報データベース部A009であって、後述する図4−Aに示すように、人物ID、登録人物特徴量、人物顔画像ファイルパスを管理する。
【0052】
C007は、被写体IDリストである。被写体IDリストC007は、被写体情報抽出処理C002より受け取る被写体IDを保持する。
【0053】
C008は、登録先Group探索処理である。登録先Group探索処理C008は、Group操作処理部A012において行われる。
【0054】
Group操作処理部A012は、被写体IDリストC007より処理対象の画像の被写体人物IDを取得し、Group情報データベースC009を参照して、前記被写体人物IDで識別される被写体人物が属するGroupのGroupIDを取得する。
【0055】
Group操作処理部A012は、取得したGroupIDと、被写体情報抽出処理C002より受け取った画像ファイルパスと、前記被写体人物IDとをGroup情報更新処理C010に渡し、Group情報データベースC009の更新を依頼する。
【0056】
C009は、Group情報データベースである。Group情報データベースC009は、Group情報データベース部A013であって、後述する図4−Bに示すように、GroupID、GroupメンバーID、画像ファイルパス、Groupメンバー同士の関連情報を管理する。
【0057】
C010は、Group情報更新処理である。Group情報更新処理C010は、Group操作処理部A012において行われる。
【0058】
Group操作処理部A012は、登録先Group探索処理C008より受け取ったGroupIDと、画像ファイルパスと、被写体IDと、に基づいて、Group情報データベースC009の登録内容を更新する。
【0059】
また、Group操作処理部A012は、GroupIDをGroup分割/統合処理C011に渡し、更新したGroupに関するGroupを分割する処理、或いは統合する処理を行うか否かの判断を依頼する。
【0060】
C012は、アプリケーション処理である。アプリケーション処理C012は、UI処理C013よりユーザが選択したGroup情報(選択グループ情報)を受け取ると、選択グループ情報に基づいて、Group情報データベースC009より、対応するグループ情報を取得する。ここで、選択グループ情報とは、例えば、ユーザによって選択されたグループを識別するグループIDである。また、対応するグループ情報とは、例えば、前記グループIDに対応するGroupメンバーIDや、Groupに関連する画像の画像ファイルパス等である。
【0061】
アプリケーション処理C012は、受け取ったグループ情報(例えば、GroupメンバーID)に基づいて、登録被写体情報データベースC006より、人物顔画像ファイルパスを取得する。アプリケーション処理C012は、人物顔画像ファイルパスに基づいて、顔画像をUI処理C013に渡したり、画像ファイルパスに基づいて、Group関連画像をUI処理C013に渡したりする。
【0062】
C013は、UI処理である。UI処理C013は、表示部A017及び操作部A018において行われる。UI処理C013は、ユーザによる操作等に基づいて、選択Group情報をアプリケーション処理C012に渡す。また、UI処理C013は、アプリケーション処理C012より受け取った顔画像や、Group関連画像等を表示する。
【0063】
図4−Aは、登録被写体情報データベースC006が管理する情報の一例を示す図である。登録被写体情報データベースC006は、人物IDD001、登録人物特徴量D002及び人物顔画像ファイルパスD003を管理する。
【0064】
人物IDD001は、登録されている人物を一意に識別するIDである。登録人物特徴量D002は、登録人物のバイオメトリックス等に係る特徴情報である。なお、本実施形態では、登録被写体情報データベースC006は、登録人物の特徴量(特徴情報)を記述したデータファイルへのパスを管理するものとする。
【0065】
人物顔画像ファイルパスD003は、人物の顔画像ファイルのパスである。
【0066】
図4−Bは、Group情報データベースC009が管理する情報の一例を示す図である。Group情報データベースC009は、GroupIDD101、GroupメンバーIDD102、画像ファイルパスD103及びGroupメンバー間関連情報D104を管理する。
【0067】
GroupIDD101は、登録されているGroupを一意に識別するIDである。GroupメンバーIDD102は、Groupに登録されているメンバーの人物IDである。
【0068】
画像ファイルパスD103は、Groupのメンバーに関連する画像ファイルへのパスである。Groupメンバー間関連情報D104は、後述する図4−Cに示すGroupのメンバー同士の関連情報である。
【0069】
D105は、人物の写っていない画像を管理するGroup(GroupID)である。このGroupには登録人物がいないため、GroupメンバーIDの項目D106及びGroupメンバー間関連情報の項目D107には管理するデータはない。
【0070】
図4−Cは、Groupメンバーの関連情報テーブルの一例を示す図である。D201は、管理対象のGroup識別名(GroupID)である。D202は、Groupに登録されているメンバーを識別するID(人物ID)である。
【0071】
D203に示すマーク「○」は、Group0001において人物Psn_0001と、人物Psn_0012とが一緒に写っている画像を管理しており、両者に関連性があることを示している。
【0072】
D204に示すマーク「×」は、Group0001において人物Psn_0003と、人物Psn_0012とが一緒に写っている画像は管理されておらず、両者には関連性が無いことを示している。
【0073】
以上に示す構成により、撮像装置は、撮像画像の情報を基に、関連性の高い人物群をGroupとして管理し、このGroupの単位において撮像画像を管理する。
【0074】
図5は、画面遷移の一例を示す図である。E001は、撮像装置であって、モニターE002と、十字キーボタンE003と、決定ボタン/キャンセルボタンE004とを備える。モニターE002は、画面等を表示する。十字キーボタンE003は、モニターE002に表示されるメニュー等を操作するのに用いられる。決定ボタン/キャンセルボタンE004は、モニターE002に表示されるメニュー等を操作するのに用いられる。
【0075】
E101は、モニターE002に表示されたGroup選択画面である。E102は、現在の表示モード(表示画面)を示す文字列である。E103は、選択可能なGroupを示しており、図5では、最上段のGroupが選択されている状況を示している。
【0076】
E104は、Groupに登録されている人物の顔画像を表示する領域である。E105は、Groupメンバー表示用のスクロールバーである。ユーザは、スクロールバーE105を操作することにより、顔画像を表示する領域E104に、全てのGroupメンバーを表示させることができる。
【0077】
E106は、Group選択用のスクロールバーである。ユーザは、スクロールバーE106を操作することにより、E103に示す選択対象のGroupを切り替えることができる。
【0078】
E107は、ThumbNail画像表示ボタンである。ユーザは、ThumbNail画像表示ボタンE107を操作することにより、画面をThumbNail画面E301に遷移させ、選択中のGroupのメンバーに関連する画像をサムネイル表示させることができる。
【0079】
E108は、画像表示ボタンである。ユーザは、画像表示ボタンE108を操作することにより、画面を選択画像画面E401に遷移させ、選択中のGroupのメンバーに関連する画像の1枚を表示させることができる。
【0080】
E109は、Groupメンバー一覧表示ボタンである。ユーザは、Groupメンバー一覧表示ボタンE109を操作することにより、画面を選択Groupメンバー一覧画面E201の画面に遷移させ、選択中のGroupのメンバーの顔画像を一覧で表示させることができる。E110は、選択中のGroupのメンバーに関連する画像ファイルの総枚数を示す文字列である。
【0081】
E201は、選択されたGroupのメンバーの一覧を表示する選択Groupメンバー一覧画面である。E301は、選択されたGroupのメンバーに関連する画像ファイルのサムネイルを表示するThumb Nail画面である。E401は、選択されたGroupのメンバーに関連する画像ファイルを表示する選択画像画面である。
【0082】
図6は、画像管理処理の一例を示すフローチャートである。ステップF001において、撮像装置は、撮像画像が人物を被写体とする画像であるか否か、判定する。撮像装置は、撮像画像に人物が含まれると判定すると(ステップF001においてYes)、ステップF002へ遷移する。撮像装置は、撮像画像に人物が含まれないと判定すると(ステップF001においてNo)、ステップF003へ遷移する。
【0083】
ステップF002では、撮像装置が、被写体に写っている人物の内、最も大きく写っている人物(主被写体)に比べて、相対的に撮影サイズの小さな人物については、関連性の低い人物と判定して除外する。
【0084】
一方、ステップF003では、撮像装置が、風景用Groupに処理対象の画像ファイルを追加して画像管理処理を終了する。
【0085】
ステップF004では、撮像装置が、被写体人物が、指定人数(例えば5人等)以内であるか否か、判定する。撮像装置は、被写体人物が、指定人数以内であると判定すると(ステップF004においてYes)、ステップF005に遷移する。撮像装置は、被写体人物が、指定人数以内でないと判定すると(ステップF004においてNo)、ステップF014に遷移する。
【0086】
ステップF005において、撮像装置は、処理対象の画像の被写体の1人についての特徴量(特徴情報)を抽出する。続いて、ステップF006では、撮像装置が、ステップF005において取得した特徴量と、登録被写体情報データベースC006に格納されている情報(登録人物特徴量)とを照合する。
【0087】
ステップF007では、撮像装置が、ステップF006において照合した結果、前記被写体の人物が登録済みの人物か否かを判定する。撮像装置は、登録済みの人物であると判定すると(ステップF006においてYes)、ステップF008へ遷移し、登録済みの人物でないと判定すると(ステップF006においてNo)、ステップF009へ遷移する。
【0088】
ステップF008において、撮像装置は、登録被写体情報データベースC006から前記被写体の人物の人物IDを取得する。
【0089】
一方、ステップF009において、撮像装置は、処理対象の画像より未登録の人物についての顔画像ファイルを作成し、顔画像ファイル及び特徴量を登録被写体情報データベースC006に新規登録をする。ステップF010において、撮像装置は、ステップF009において新規登録した人物の人物IDを取得する。
【0090】
ステップF011において、撮像装置は、ステップF008又はステップF010において取得した人物IDを被写体IDリストC007に記憶する。続いて、ステップF012において、撮像装置は、処理対象画像内の次の被写体を処理対象とする。
【0091】
ステップF013において、撮像装置は、処理対象画像内の全ての被写体人物を処理したか否かを判定し、全ての被写体人物を処理したと判定すると、登録先Group探索処理F021へ遷移する。
【0092】
ステップF014〜ステップF020の処理は、ステップF005〜ステップF013の処理とほぼ同じであるが、未登録の被写体人物についての登録被写体情報データベースC006への新規登録は行われない。
【0093】
ステップF021において、撮像装置は、ステップF011又はステップF018で被写体IDリストC007に追加した被写体IDに対応する被写体人物が属するGroupの探索処理を行う。この登録先Group探索処理に関しては、後述する図7を用いて説明する。 ステップF022では、撮像装置が、ステップF021において該当する登録先Groupが存在したか否かを判定する。撮像装置は、登録先Groupが存在したと判定すると(ステップF022においてYes)、ステップF023へ遷移し、登録先Groupが存在しなかったと判定すると(ステップF022においてNo)、ステップF026へ遷移する。
【0094】
ステップF023において、撮像装置は、Group情報データベースC009の登録先Groupの情報を更新する処理を行う。つまり、撮像装置は、まず、被写体IDリストC007と、登録先Groupに登録済みのメンバーとの差分の人物について、新規メンバーとして人物IDをGroupメンバーIDD102へ追加する。
【0095】
次に、撮像装置は、処理対象の画像の画像ファイルパスを画像ファイルパスD103へ追加する。次に、撮像装置は、被写体IDリストC007に含まれる人物は互いに関連があるものとして、Groupメンバー間関連情報D104を更新する。
【0096】
ステップF024において、撮像装置は、登録先Groupに関してGroup分割検証処理を行う。このGroup分割検証処理に関しては、後述する図9を用いて説明する。
【0097】
ステップF025において、撮像装置は、登録先Groupに関してGroup統合検証処理を行う。このGroup統合検証処理に関しては、後述する図11を用いて説明する。
【0098】
一方、ステップF026において、撮像装置は、被写体IDリストC007に含まれる人物をGroupメンバーとする新規Groupを作成し、Group情報データベースC009に情報を登録する。
【0099】
図7は、登録Group探索処理の一例を示すフローチャートである。ステップG001において、撮像装置は、一時記憶領域に確保されるGroupメンバー重複人数カウンタをクリアする。図8は、Groupメンバー重複人数カウンタのイメージ図である。撮像装置は、Groupメンバー重複人数カウンタG101を用いて、既存の各Groupに関して、被写体IDリストC007と、既存Groupのメンバーとで重複する人数をカウントする。
【0100】
再び図7の説明に戻り、ステップG002において、撮像装置は、被写体IDリストC007に含まれる人物の内の1人について、特徴情報を取得する。続いて、ステップG003において、撮像装置は、ステップG002で取得した特徴情報の人物が既存Groupのメンバーに登録済みであるか否か、判定する。
【0101】
撮像装置は、ステップG002で取得した特徴情報の人物が既存Groupのメンバーに登録済みであると判定すると(ステップG002においてYes)、ステップG004に遷移する。また、撮像装置は、ステップG002で取得した特徴情報の人物が既存Groupのメンバーに登録済みでないと判定すると(ステップG002においてNo)、ステップG005に遷移する。
【0102】
ステップG004において、撮像装置は、Groupメンバー重複人数カウンタG101の該当する既存のGroupのカウンタの値を1つインクリメントする。
【0103】
ステップG005において、撮像装置は、重複する人数をカウントする次のGroupを参照する。ステップG006において、撮像装置は、全てのGroupに対して重複をチェックするとループ処理を抜ける。ステップG007において、撮像装置は、被写体IDリストC007に含まれる全ての人物について、既存Groupとの重複人数をチェックするとループ処理を抜ける。
【0104】
続いて、ステップG008において、撮像装置は、Groupメンバー重複人数カウンタG101を参照し、最も重複人数の多いGroupを該当するGroupとして、前記重複人数を取得する。
【0105】
ステップG009において、撮像装置は、重複人数(被写体IDリストC007と、該当Groupとに共に含まれる人数)が、被写体IDリストC007の過半数以上であるか否か、判定する。撮像装置は、重複人数が、被写体IDリストC007の過半数以上であると判定すると(ステップG009においてYes)、ステップG010に遷移する。また、撮像装置は、重複人数が、被写体IDリストC007の過半数以上でないと判定すると(ステップG009においてNo)、ステップG012に遷移する。
【0106】
ステップG010において、撮像装置は、重複人数が、該当Groupメンバーの過半数以上であるか否か、判定する。撮像装置は、重複人数が、該当Groupメンバーの過半数以上であると判定すると(ステップG010においてYes)、ステップG011に遷移する。また、撮像装置は、重複人数が、該当Groupメンバーの過半数以上でないと判定すると(ステップG010においてNo)、ステップG012に遷移する。
【0107】
ステップG011では、撮像装置が、該当Groupを登録先Groupとして、登録先Group探索処理を終了する。一方、ステップG012では、撮像装置が、登録先Group無しとして、登録先Group探索処理を終了する。
【0108】
図9は、Group分割検証処理の一例を示すフローチャートである。なお、撮像装置は、登録メンバーの変更のあったGroupのみを対象としてGroup分割検証処理を行う。また、図10は、Group分割検証処理におけるメンバー情報と、人数との概念図である。
【0109】
ステップI001において、撮像装置は、被写体IDリストC007と、更新処理を行ったGroupのGroupメンバー間関連情報D104とを参照する。ステップI002において、撮像装置は、該当するGroupのメンバーの内で、被写体IDリストC007に含まれる全ての人物と関連が無いメンバーのメンバー情報(集合mem1)と、人数(N1)とを取得する。図10における集合I102参照。
【0110】
ステップI003において、撮像装置は、Groupのメンバーの内で、集合mem1に含まれる何れかの人物と関連があるメンバーのメンバー情報(集合mem4)と、人数(N4)とを取得する。図10における集合I105参照。
【0111】
ステップI004において、撮像装置は、Groupのメンバーの内で、集合mem1の全てのメンバーと無関係なメンバーのメンバー情報(集合mem2)と、人数(N2)とを取得する。図10における集合I103参照。
【0112】
ステップI005において、撮像装置は、Groupのメンバーの内で、集合mem2に含まれる何れかの人物と関連があるメンバーのメンバー情報(集合mem5)と、人数(N5)とを取得する。図10における集合I106参照。
【0113】
ステップI006において、撮像装置は、Groupのメンバーの内で、集合mem1に含まれる何れかの人物と関連があり、且つ集合mem2に含まれる何れかの人物とも関連があるメンバーのメンバー情報(集合mem3)と、人数(N3)とを取得する。図10における集合I104参照。
【0114】
そしてステップI007及びステップI008において、
N3 ≦ (N1+N4)/2
及び、
N3 ≦ (N2+N5)/2
を満たす場合、撮像装置は、Group内に互いに関連性の低い集合があると判断して、ステップI009へ遷移する。それ以外の場合は、撮像装置は、Groupの分割を行うことなく、Group分割検証処理を終了する。
【0115】
ステップI009において、撮像装置は、集合mem1と、集合mem4とからなるGroupと、集合mem2と、集合mem5とからなるGroupとに、Groupを分割する。そして、撮像装置は、Group分割検証処理を終了する。
【0116】
撮像装置が、図10に示したようなGroup分割処理を行うことにより、Group内に互いに関連性の低い集合があるGroupは分割される。そして分割された結果、分割Group同士は互いに重複する人数がそれぞれのGroupメンバーの半数以下となる。
【0117】
図11は、Group統合検証処理の一例を示すフローチャートである。なお、撮像装置は、登録メンバーの変更のあったGroupのみを対象としてGroup統合検証処理を行なう。
【0118】
ステップJ001において、撮像装置は、Groupにメンバー変更があったか否かを判断する。Groupにメンバー変更があったと判断すると、撮像装置は、ステップJ002に遷移する。また、Groupにメンバー変更が無かったと判断すると、撮像装置は、Group統合検証処理を終了する。
【0119】
ステップJ002において、撮像装置は、該当するGroupのメンバーIDD102を取得する。続いて、ステップJ003において、撮像装置は、既存Groupと、該当するGroupとのメンバーの重複をチェックするため、Groupメンバー重複人数カウンタをクリアする。
【0120】
ステップJ004において、撮像装置は、該当するGroupメンバーの1人の人物IDを取得する。ステップJ005において、撮像装置は、ステップJ004で取得した人物IDで識別されるメンバーが既存Groupのメンバーとして登録済みか否かを判断する。撮像装置は、登録済みであると判断すると、ステップJ006に遷移し、登録済みでないと判断すると、ステップJ007に遷移する。
【0121】
ステップJ006において、撮像装置は、Groupメンバー重複人数カウンタの値を1つインクリメントする。ステップJ007において、撮像装置は、次に重複人数をチェックするGroupを指定する。ステップJ008において、撮像装置は、全てのGroupにおいて重複人数をチェックすると、ループ処理を抜ける。ステップJ009において、撮像装置は、該当するGroupの全てのメンバーについて、既存Groupとの重複人数をチェックすると、ループ処理を抜ける。
【0122】
ステップJ010において、撮像装置は、Groupメンバー重複人数カウンタを参照し、最も重複人数の多いGroupを統合候補Groupとして、統合候補Groupと、重複人数とを取得する。
【0123】
そして、ステップJ011及びステップJ012において、
該当するGroupのメンバー数/2 ≦ 重複人数
及び、
統合候補Groupのメンバー数/2 ≦ 重複人数
を満たす場合は、撮像装置は、該当するGroupと、統合候補Groupとのメンバーの重複が多いと判断して、ステップJ013へ遷移する。それ以外の場合は、撮像装置は、Groupの統合を行うことなく、Group統合検証処理を終了する。
【0124】
ステップJ013において、撮像装置は、該当するGroupと、統合候補Groupとを統合する。そして、撮像装置は、Group統合検証処理を終了する。
【0125】
上述したように、実施形態の撮像装置は、新規に取得した撮像画像の被写体情報に基づいて、グルーピング条件を自動的に更新する。そのため、撮影画像に対して、画像ファイル分類のための、属性情報の付加等の作業が発生しない。また、こうして自動更新されるGroup単位において画像ファイルを管理することができるため、いつも一緒に写る関連性の高い人物との画像のみを容易に抽出し、ユーザに提供することができる。
【0126】
つまり、本実施形態によれば、Group(グループ)単位での画像ファイルの管理を自動で行うことができる。
【0127】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【0128】
【図1】撮像装置の構成の一例を示すブロック図である。
【図2】撮像装置におけるデータ管理に係るディレクトリツリー構造の一例を示す図である。
【図3】本実施形態における処理の一例を示すデータフローチャートである。
【図4−A】登録被写体情報データベースC006が管理する情報の一例を示す図である。
【図4−B】Group情報データベースC009が管理する情報の一例を示す図である。
【図4−C】Groupメンバーの関連情報テーブルの一例を示す図である。
【図5】画面遷移の一例を示す図である。
【図6】画像管理処理の一例を示すフローチャートである。
【図7】登録Group探索処理の一例を示すフローチャートである。
【図8】Groupメンバー重複人数カウンタのイメージ図である。
【図9】Group分割検証処理の一例を示すフローチャートである。
【図10】Group統合検証処理の一例を示すフローチャートである。
【図11】Group統合検証処理の一例を示すフローチャートである。
【符号の説明】
【0129】
A001 撮像装置
A002 撮像レンズ部
A003 撮像部
A004 撮像画像ファイル生成部
A005 制御部
A006 撮像画像ファイル管理部
A007 被写体情報抽出部
A008 被写体情報登録処理部
A009 登録被写体情報データベース部
A010 被写体顔画像ファイル管理部
A011 被写体特徴情報管理部
A012 Group操作処理部
A013 Group情報データベース部
A014 Groupメンバー関連画像ファイルパス情報管理部
A015 Groupメンバー情報管理部
A016 Groupメンバー間関連情報管理部
A017 表示部
A018 操作部

【特許請求の範囲】
【請求項1】
撮影された画像に関する画像ファイルを管理する画像ファイル管理手段と、
前記画像ファイル管理手段から前記画像ファイルに係る被写体人物に関する情報を取得する被写体人物情報取得手段と、
前記被写体人物情報取得手段において取得された被写体人物に関する情報を管理する登録済み被写体人物情報管理手段と、
前記被写体人物に関する情報に基づいて、互いに関連性の高い被写体人物群を同じグループとし、前記グループに関する情報を管理するグループ情報管理手段と、
を有することを特徴とする画像管理装置。
【請求項2】
前記被写体人物情報取得手段は、前記画像ファイルから前記被写体人物の顔画像情報を取得する被写体人物顔画像情報取得手段を有し、
前記被写体人物顔画像情報取得手段において取得された被写体人物の顔画像情報に基づいて、同じグループとして管理される被写体人物であるか否かを判定する管理対象被写体判定手段を更に有することを特徴とする請求項1に記載の画像管理装置。
【請求項3】
前記登録済み被写体人物情報管理手段は、
登録した被写体人物を識別する人物IDを管理する人物ID管理手段と、
前記被写体人物の特徴情報を管理する特徴情報管理手段と、
前記被写体人物の顔画像ファイルを管理する顔画像管理手段と、
を有することを特徴とする請求項1又は2に記載の画像管理装置。
【請求項4】
前記グループ情報管理手段は、
グループに登録済みの人物情報を管理するグループ人物情報管理手段と、
前記グループ人物管理手段において管理されている人物に関連する画像を管理するグループ人物関連画像管理手段と、
前記グループ人物情報管理手段において管理されている人物同士の関連情報を管理するグループ人物間関連情報管理手段と、
を有することを特徴とする請求項1乃至3の何れか1項に記載の画像管理装置。
【請求項5】
前記グループ情報管理手段において管理されている情報を処理するグループ操作処理手段を更に有することを特徴とする請求項1乃至4の何れか1項に記載の画像管理装置。
【請求項6】
前記グループ操作処理手段は、
前記グループに関する情報を登録する登録先のグループを探索するグループ探索手段と、
前記グループに関する情報の登録に関連し、グループを分割するか否かを検証するグループ分割検証手段と、
前記グループに関する情報の登録に関連し、グループを統合するか否かを検証するグループ統合検証手段と、
を有することを特徴とする請求項5に記載の画像管理装置。
【請求項7】
前記グループに関する情報をユーザに提供するグループ情報提供手段を更に有することを特徴とする請求項1乃至6の何れか1項に記載の画像管理装置。
【請求項8】
前記グループ情報提供手段は、
複数のグループの中から任意のグループを選択するグループ選択手段と、
前記グループ選択手段において選択されたグループに所属する人物の顔画像情報をユーザに提供するグループ人物顔画像提供手段と、
前記グループ選択手段において選択されたグループに所属する人物に関連付けられたグループ人物関連画像をユーザに提供するグループ人物関連画像提供手段と、
を有することを特徴とする請求項7に記載の画像管理装置。
【請求項9】
画像管理装置における画像管理方法であって、
撮影された画像に関する画像ファイルを画像ファイル管理手段において管理する画像ファイル管理ステップと、
前記画像ファイル管理手段から前記画像ファイルに係る被写体人物に関する情報を取得する被写体人物情報取得ステップと、
前記被写体人物情報取得ステップにおいて取得された被写体人物に関する情報を登録済み被写体人物情報管理手段において管理する登録済み被写体人物情報管理ステップと、
前記被写体人物に関する情報に基づいて、互いに関連性の高い被写体人物群を同じグループとし、前記グループに関する情報を管理するグループ情報管理ステップと、
を有することを特徴とする画像管理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4−A】
image rotate

【図4−B】
image rotate

【図4−C】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2008−5335(P2008−5335A)
【公開日】平成20年1月10日(2008.1.10)
【国際特許分類】
【出願番号】特願2006−174343(P2006−174343)
【出願日】平成18年6月23日(2006.6.23)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】