説明

情報処理装置およびその動作方法

【課題】 従来、効率良く、被写体を撮像した撮影者毎に当該被写体の画像データを分類することが困難であった。
【解決手段】そこで、本発明の情報処理装置は、人物を特定する顔画像データを保持し、第1の被写体 を撮像し、前記第1の被写体の撮像に応答して、前記第1の被写体を撮像している撮影者の顔を前記第2の被写体として撮像し、前記第2の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第2の被写体に相当する人物を特定し、前記第1の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを記憶手段に記憶させる技術に関する。
【背景技術】
【0002】
デジタルカメラ等で撮像された画像データに属性情報を付与しておき、当該属性情報に対応するフォルダに当該画像データを分類する技術が知られている。
【0003】
また、デジタルカメラ等で撮像された画像データに、属性情報として個人の声紋、網膜パターン等を関連付けて、記憶媒体に記憶し、当該属性情報に従って、記憶した画像データを分類する技術が知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−075846号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術によると、被写体を撮像した撮影者毎に当該被写体の画像データを分類するためには、当該撮影者を表す属性情報を付与する手間が発生する。
【0006】
また、特許文献1に開示されている技術によると、声紋、網膜パターン等から特定された個人が撮影者ではない場合があり、被写体を撮像した撮影者毎に当該被写体の画像データを分類することができない場合がある。
【0007】
従って、本発明は、効率良く、被写体を撮像した撮影者毎に当該被写体の画像データを分類することを目的とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明に係る情報処理装置は、人物を特定する顔画像データを保持する保持手段と、第1の被写体を撮像する第1の撮像手段と、前記第1の撮像手段による前記第1の被写体の撮像に応答して、前記第1の被写体を撮像している撮影者の顔を前記第2の被写体として撮像する第2の撮像手段と、前記第2の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第2の被写体に相当する人物を特定する特定手段と、前記第1の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御手段とを有する。
【発明の効果】
【0009】
以上より、本発明によれば、効率良く、被写体を撮像した撮影者毎に当該被写体の画像データを分類することが可能となる。
【図面の簡単な説明】
【0010】
【図1】図1は、本発明に係る情報処理装置の外観を示す図である。
【図2】図2は、本発明に係る情報処理装置の機能構成を示す機能ブロック図である。
【図3】図3は、撮影者の種類毎に画像データを分類する処理を示すフローチャートである。
【図4】図4は、顔を表す画像データの例を示す図である。
【図5】図5は、画像を分類するフォルダの構成の例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明を実施するための形態について説明する。
【0012】
(第1の実施形態)
図1は、本発明に係る情報処理装置の外観を示す図である。尚、情報処理装置とは、例えば、例えば、図1(a)に示すデジタルカメラ110、図1(b)に示すデジタルカムコーダ120等である。
【0013】
図1(a)において、デジタルカメラ110は、第1の被写体を撮像する第1の撮像部111と、前記第1の被写体の被写体を撮像している撮影者の顔を前記第2の被写体として撮像する第2の撮像部112を有する。
【0014】
また、デジタルカメラ110は、撮像を指示するボタン113、撮像した画像、被写体のライブビュー等を表示する表示部114を有する。
【0015】
尚、第1の撮像部111と第2の撮像部112とは、それぞれ、レンズ、光電変換素子、電気回路等で構成され、ボタン113に対して所定の操作を行うと、互いに連動して動作する。また、互いに連動するとは、一方の撮像部による撮像に応答して、他方の撮像部による撮像が行われることをいう。
【0016】
また、撮影者が表示部114に表示されたライブビューを見ながらボタン113に対して所定の操作を行うことを想定していることから、第2の撮像部112は、表示部114付近に表示部114と同じ向きで配置されていることが好ましい。
【0017】
図1(b)は、デジタルカムコーダ120の各要素について説明する図である。本図において、デジタルカメラ110の各要素と同様の機能を有する要素については、同符号を付しその説明を省略する。
【0018】
図2は、本発明に係る情報処理装置の機能構成を示す機能ブロック図である。本図において、図1に示した各要素については、同符号を付しその説明を省略する。
【0019】
本図において、情報処理装置は、更に、制御部200、第1の一時記憶部201、第2の一時記憶部202、画像処理部203、記憶部204、顔画像データベース205を有する。
【0020】
制御部200は、CPU(中央演算装置)、ROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)等によって構成され、ROMに格納されたプログラムをRAMに展開し、展開されたプログラムをCPUが実行することによりその機能を実現する。
【0021】
尚、制御部200は、CPUが実行するプログラムに従って、上述した各部を制御する。
【0022】
一時記憶部201は撮像部111が撮像した画像を一時的に保持し、一時記憶部202は撮像部112が撮像した画像を一時的に保持するRAM等である。
【0023】
画像処理部203は、時記憶部201、202が一時的に保持している画像を、JPEG(Joint Photographic Experts Group)等のフォーマットに変換する。尚、画像処理部203は、制御部200と同様に、CPU等によって構成される。
【0024】
また、画像処理部203は、撮像部111が撮像した画像に相当する画像データに、撮像部112が撮像した画像に相当する画像データをメタデータとして関連付ける。
【0025】
また、画像処理部203は、顔画像データベース204が保持する顔の種類を特定するための画像データを用いて、撮像部112が撮像した画像に相当する画像データ中の被写体(撮影者)の種類を特定する。
【0026】
尚、被写体の種類を特定する処理とは、まず、周知の顔認識アルゴリズム等を適用する。具体的には、顔を表す画像データに対してウエーブレット変換を行ない、輪郭や、特徴点を抽出する処理をいう。そして次に、抽出された輪郭や、特徴点を、あらかじめ登録してある複数の顔データの輪郭や、特徴点と照合(比較)する処理をいう。
【0027】
また、画像処理部203は、撮像部111が撮像した画像に相当する画像データと撮像部112が撮像した画像に相当する画像データとを関連付けたデータを、所定の被写体(撮影者)の種類に属するデータとして、記憶部204に記憶させる。
【0028】
記憶部204は、撮像部112が撮像した画像に相当する画像データをメタデータとして関連付けたデータを記憶部204に記憶する不揮発性メモリである。
【0029】
尚、本実施形態では、撮影者の種類を特定する処理と、その他の処理とを1つの装置内で実行する例を説明したが、本発明は、撮影者の種類を特定する処理と、その他の処理とを互いに連携して動作する別々の装置で実行してもよい。
【0030】
図3は、撮影者の種類毎に画像データを分類して、記憶部204に記憶させる処理を示すフローチャートである。
【0031】
まず、ステップS301において、画像処理部203は、撮像部111が撮像した画像に相当する画像データの1つを指定する。尚、当該画像データには、撮像部112が撮像した画像に相当する画像データがメタデータとして関連付けられているものとする。
【0032】
次に、ステップS302において、画像処理部203は、指定された画像データのメタデータである第2の撮像部が撮像した画像に相当する画像データを取得する。
【0033】
次に、ステップS303において、画像処理部203は、ステップS302で取得した画像データから抽出した特徴点と、画像データベース204に登録された画像データの特徴点とを比較する。
【0034】
尚、特徴点を比較する処理とは、周知の顔認識、表情認識アルゴリズム等を用いて、例えば、画像データベース204に登録された画像データうち、取得した画像データとの一致度が最も高い画像データを抽出し、その一致度をしめす一致指数を決定する処理をいう。
【0035】
また、表情認識アルゴリズムを利用する際に用いる特徴点とは、例えば、まぶたの開閉度、眉毛の上下、口唇の開閉度等である。
【0036】
次に、ステップS304において、画像処理部203は、一致指数が、閾値Vth1より高いか否か判断し、画像データベース204に登録された画像データうち、一致指数が閾値Vth1より高くなる画像データがあれば、ステップS305の処理を実行する。
【0037】
一方、ステップS304において、画像データベース204に登録された画像データうち、一致指数が閾値Vth1より高くなる画像データがなければ、ステップS306の処理を実行する。
【0038】
ステップS305において、画像処理部203は、一致指数が閾値Vth1より高くなる画像データに対応するフォルダを指定する。
【0039】
尚、一致指数が閾値Vth1より高くなる画像データに対応するフォルダとは、撮影者の顔と一致する顔の種類に対応するフォルダに相当する。
【0040】
ステップS306において、画像処理部203は、一致指数が、閾値Vth2より高いか否か判断し、画像データベース204に登録された画像データうち、一致指数が閾値Vth2より高くなる画像データがあれば、ステップS307の処理を実行する。
【0041】
一方、ステップS306において、画像データベース204に登録された画像データうち、一致指数が閾値Vth2より高くなる画像データがなければ、ステップS308の処理を実行する。尚、閾値Vth2は閾値Vth1よりも小さい値とする。
【0042】
ステップS307において、画像処理部203は、一致指数が閾値Vth2より高くなる画像データに対応するフォルダを指定する。
【0043】
尚、一致指数が閾値Vth2より高くなる画像データに対応するフォルダとは、撮影者の顔と類似する顔の種類に対応するフォルダに相当する。
【0044】
尚、ここで類似とは、例えば、同一人物であって、表情が異なること、異なる人物であって、表情がほぼ同じであることをいう。
【0045】
ステップS308において、画像処理部203は、画像データベース204に登録された画像データと一致または類似する画像データでない画像データを分類するフォルダを指定する。
【0046】
尚、ステップS308で指定するフォルダとは、例えば、撮影者が不明であることを示すフォルダ、撮影日付を示すフォルダ等であるものとする。
【0047】
ステップS309において、画像処理部203は、記憶部205等にアクセスし、指定したフォルダが存在するか否か判断し、指定したフォルダが存在する場合、ステップS310の処理を実行する。
【0048】
一方、指定したフォルダが存在しない場合、ステップS311において、制御部200は、指定したフォルダを作成する。
【0049】
ステップS310において、制御部200、画像処理部203等は、指定したフォルダに、ステップS301で指定した画像データを格納する。
【0050】
尚、フォルダを指定した後、ステップS301で指定した画像データに対して、読み書きなどの属性を設定してもよい。
【0051】
このような構成とすることで、例えば、画像データベース204に図4(a)(b)の画像データが登録されていた場合、図4(c)から(g)の画像データをメタデータとして有する画像データは、それぞれ、図5(a)のように分類される。
【0052】
尚、図5(a)のフォルダ511、512は、撮影者の顔の種類別のフォルダであり、フォルダ514、515は、撮影者の表情の種類別のフォルダとする。
【0053】
また、フォルダ513は、画像データベース204に登録された画像データと一致または類似する画像データでない画像データを分類するフォルダである。従って、図4(f)(g)をメタデータとして有する画像データは、当該フォルダ513に分類される。
【0054】
また、画像データベース204に表情を示す画像データが登録されていた場合、図4(c)から(i)の画像データをメタデータとして有する画像データは、例えば、図5(b)のフォルダ521から524のような表情毎に分類するフォルダにそれぞれ分類される。
【0055】
また更に、図5(b)のフォルダ525から528のような顔(人物)毎に分類するサブフォルダにそれぞれ分類してもよい。
【0056】
また、サングラスなどを掛けて撮影したような場合を想定して、「所定の撮影者の顔似」等のフォルダ(類似フォルダ)をサブフォルダとして設定してもよい。
【0057】
以上のような構成とすることで、効率良く、被写体の画像データを、当該被写体を撮像した撮影者の顔毎に分類することが可能となる。また、効率良く、被写体の画像データを、当該被写体を撮像した撮影者の表情毎に分類することが可能となる。
【0058】
即ち、撮影者の顔を指標として、所望の被写体の画像データを効率良く検索することが可能となる。
【0059】
また、被写体の撮影者しか、当該被写体の画像データにアクセスできないように設定することも容易となり、1つのデジタルカメラの使用者(撮影者)が複数いる場合であっても、被写体の画像データを撮影者別にセキュアに管理することが可能となる。
【0060】
(第2の実施形態)
第1の実施形態においては、各画像データの読み出し、書き換え、実行等の権限は、固定であった。しかし、例えば、撮影者の顔画像データの判定パターンを複数定義しておくことによって、被写体の画像データの読み出し、書き換え、実行等の権限を切替えることも可能である。
【0061】
即ち、例えば、片目をつぶった(ウインク)状態の撮影者の顔画像データを判定した場合、被写体の画像データの読み出し、書き換え、実行等の権限を、撮影者以外は書き換え禁止とすることが可能である。
【0062】
このようにすることによって、被写体を撮像した撮影者の表情を用いて、当該被写体の画像データに効率良く読み出し、書き換え、実行等の権限を設定することが可能となる。
【0063】
尚、判定パターンについては、撮影者の種類(人物)を特定することなく、ウインクの状態であることを特定するものであってもよい。
【0064】
また、判定パターンは、ウインクに限られるものではなく、笑顔等の表情、Vサイン等であってもよい。
【0065】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
人物を特定する顔画像データを保持する保持手段と、
第1の被写体を撮像する第1の撮像手段と、
前記第1の撮像手段による前記第1の被写体の撮像に応答して、前記第1の被写体を撮像している撮影者の顔を前記第2の被写体として撮像する第2の撮像手段と、
前記第2の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第2の被写体に相当する人物を特定する特定手段と、
前記第1の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御手段とを有する情報処理装置。
【請求項2】
前記制御手段は、前記第1の被写体の画像データを、特定された前記人物に対応するフォルダに属する画像データとして前記記憶手段に記憶させることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記特定手段は、更に、前記撮影者の顔の画像データと、表情を特定する顔画像データとに基づいて、前記第2の被写体の表情を特定し、
前記制御手段は、前記第1の被写体の画像データを、特定された前記人物および特定された前記表情に属する画像データとして前記記憶手段に記憶させることを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記制御手段は、前記第1の被写体の画像データを、特定された前記人物および特定された前記表情に対応するフォルダに属する画像データとして前記記憶手段に記憶させることを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記特定手段は、前記第2の被写体の画像データ、前記表情を特定する顔画像データのまぶたの開閉度を比較して、前記第2の被写体の表情を特定することを特徴とする請求項3または請求項4に記載の情報処理装置。
【請求項6】
前記特定手段は、前記第2の被写体の画像データ、前記表情を特定する顔画像データの眉毛の上下を比較して、前記第2の被写体の表情を特定することを特徴とする請求項3または請求項4に記載の情報処理装置。
【請求項7】
前記特定手段は、前記第2の被写体の画像データ、前記表情を特定する顔画像データの口唇の開閉度を比較して、前記第2の被写体の表情を特定することを特徴とする請求項3または請求項4に記載の情報処理装置。
【請求項8】
画像データを記憶手段に記憶させる情報処理装置の動作方法であって、
人物を特定する顔画像データを保持する保持工程と、
第1の被写体を撮像する第1の撮像工程と、
前記第1の撮像工程による前記第1の被写体の撮像に応答して、前記第1の被写体を撮像している撮影者の顔を前記第2の被写体として撮像する第2の撮像工程と、
前記第2の被写体の画像データと、前記人物を特定する顔画像データとに基づいて、前記第2の被写体に相当する人物を特定する特定工程と、
前記第1の被写体の画像データを、特定された前記人物に属する画像データとして記憶手段に記憶させる制御工程とを有する動作方法。
【請求項9】
請求項8に記載の動作方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2011−211349(P2011−211349A)
【公開日】平成23年10月20日(2011.10.20)
【国際特許分類】
【出願番号】特願2010−75091(P2010−75091)
【出願日】平成22年3月29日(2010.3.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】