画像処理装置および画像処理方法、プログラム
【課題】複数の個体グループの中から所望のグループを容易に選択できるようにする。
【解決手段】入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段、検出した画像からその画像の特徴を示す特徴量を取得する画像解析手段、前記画像検出手段により検出された複数の画像の特徴量を比較することによりその画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段、前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段、複数の個体情報の中から個体情報を選択する個体情報選択手段、前記個体情報選択手段により選択された個体情報からその個体が含まれる個体グループを検索する個体グループ検索手段、前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備える。
【解決手段】入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段、検出した画像からその画像の特徴を示す特徴量を取得する画像解析手段、前記画像検出手段により検出された複数の画像の特徴量を比較することによりその画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段、前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段、複数の個体情報の中から個体情報を選択する個体情報選択手段、前記個体情報選択手段により選択された個体情報からその個体が含まれる個体グループを検索する個体グループ検索手段、前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
現在、撮影された映像を解析処理することによって人物の顔を検出することができる画像処理装置が普及の兆しを見せている。顔認識の精度を高めることにより、複数の映像に対して顔検出を行った結果を比較し、検出された顔が同一人物であるかどうかを判断することも可能となっている。これにより、映像に対して顔認識した結果を保存しておき、指定された人物が写っている画像を検索するためのデータベースを作成することも可能となっている。
【０００３】
また、近年の記録メディアの大容量化に伴い、多数の映像が撮像装置内に保存されることも多くなっており、その中から任意の映像を選択することが困難になってきている。これを解決するために顔認識の技術を応用した機器として、映像を任意の区間に分割し、ある人物の登場する区間を検索して一覧表示することにより、所望の区間の選択を容易にする動画像表示技術が提案されている（特許文献１参照）。
【０００４】
また、画像と画像内に撮影されている人物の関連付け、画像の検索を容易にする方法も提案されている（特許文献２参照）。これは、同一の画像内に含まれる人物をグループ化し、そのグループをもとに複数の画像を分類することでグループを索引として映像の検索を行う技術である。
【特許文献１】特開平１０−２３４００４号公報
【特許文献２】特開２００６−０７９４６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では単一の人物が撮影されている映像を検索することしかできず、家庭用のカムコーダやデジタルカメラのように、家族や友達など特定の人物が撮影される機会が非常に多い機器においては検索の効率が十分に高いとは言えない。
【０００６】
また、特許文献２では、検索を行うためには検出された全てのグループの中から所望のグループを探索して指定する必要がある。このため、グループの数が多くなった場合、その中から１つのグループを容易に見つけることは難しい。あるいは、所望のグループに含まれる人物をすべてユーザに指定させることで、グループを特定する方法も考えられる。しかしながら、登録されている人物全員の中からそのグループに属する人物のみを探すことは、グループの数が増えてそれらに属する人物が増加するほど、ユーザに大きな手間を強いることになる。
【０００７】
本発明は、上記課題に鑑みてなされ、所望のグループを容易に選択できるようにする技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段と、前記画像検出手段により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析手段と、前記画像検出手段により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段と、前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段と、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段と、複数の個体情報の中から個体情報を選択する個体情報選択手段と、前記個体情報選択手段により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索手段と、前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備え、前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループに含まれる個体情報から、前記個体情報選択手段により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索手段による個体グループの絞り込みによる検索を可能とする。
【０００９】
また、本発明の画像処理方法は、入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出工程と、前記画像検出工程により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析工程と、前記画像検出工程により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別工程と、前記画像識別工程により識別された個体の個体情報を保存する個体情報保存工程と、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存工程と、複数の個体情報の中から個体情報を選択する個体情報選択工程と、前記個体情報選択工程により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索工程と、前記個体グループ検索工程により検索された個体グループを一覧表示するインターフェース工程とを備え、前記インターフェース工程では、前記個体グループ検索工程により検索された個体グループに含まれる個体情報から、前記個体情報選択工程により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索工程による個体グループの絞り込みによる検索を可能とする。
【発明の効果】
【００１０】
本発明によれば、所定の映像から識別された個体の組み合わせを個体グループとして保存しておくとともに、複数の個体グループの中から所望の個体グループを容易に選択できるようになる。
【発明を実施するための最良の形態】
【００１１】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１２】
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１３】
［第１の実施形態］
図１は、本発明に係る第１の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理に関連した機能ブロックからなる概略構成図である。本実施形態では、画像処理装置の一例としてカムコーダを例にあげて説明を行うが、画像を管理する機能を備えたパーソナルコンピュータのアプリケーション上でも本実施形態と同様の処理を行うことが可能である。
【００１４】
撮像部１０１により被写体像を光電変換して生成された映像信号はエンコーダ１０２において所定の映像フォーマットに符号化され、映像データとして映像記録部１０３に記録される。再生時は映像記録部１０３から読み出された映像データがデコーダ１０４において復号化され、表示部１０５に表示される。
【００１５】
映像内に所定の条件に合致する画像が存在するかどうかを検出する画像検出部１０６に対しては、撮影を行っている最中の撮像レンズからの映像、または再生を行っている最中のデコーダにて復号化された映像のいずれを入力してもよい。画像検出部１０６は入力された映像内から所定の条件に合致する画像が検出された場合、その画像を画像解析部１０７に送信する。
【００１６】
画像解析部１０７は画像検出部１０６から受信した画像から、その画像の特徴を示す特徴量を取得し、画像識別部１０８に送信する。
【００１７】
画像識別部１０８は画像解析部１０７から受信した特徴量を、個体情報保存部１０９に保存されている過去に識別を行った個体の特徴量と比較する。比較の結果、既に識別されたことのある個体と同一の個体であると判断した場合は個体情報保存部１０９から該当の個体の個体番号を取得し、入力された映像が終端まで到達し、画像の識別が完了するまで一時的に記憶しておく。
【００１８】
比較の結果、これまでに識別されたことのない個体であると判断した場合は、個体情報保存部１０９に新規の個体情報として特徴量を保存する。さらに、新規に割り振られた個体番号を取得し、入力された映像が終端まで到達し、画像の識別が完了するまで一時的に記憶しておく。
【００１９】
入力された映像が終端まで到達し画像の識別が完了すると、画像識別部１０８は入力された画像内で識別された個体の個体番号の組み合わせを個体グループ保存部１１０に保存されている個体グループ情報と比較する。そして、個体の組み合わせが既に個体グループ保存部１１０に登録されている個体グループと同一であった場合は、今回識別を行った映像区分の番号を映像記録部１０３から取得する。さらに、個体グループ保存部１１０に保存されている該当の個体グループに対応する映像区分番号リストに新規の映像区分番号を追加する。
【００２０】
比較の結果、個体の組み合わせが個体グループ保存部１１０に保存されている個体グループと一致しない場合は、新規個体グループとして個体グループ保存部１１０に今回識別を行った個体の組み合わせを保存する。また、その際に今回識別を行った映像区分の番号を映像記録部１０３から取得し、新規個体グループと対応付けて保存する。
【００２１】
図２は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理に関連した機能ブロックからなる概略構成図である。
【００２２】
ユーザからの指示は操作部２０１を介して行われる。操作部２０１には個体グループ処理部２０２、個体情報処理部２０５、映像区分処理部２０８が接続される。
【００２３】
個体グループ処理部２０２は個体グループ検索部２０３および個体グループ選択部２０４からなる。個体グループ処理部は操作部２０１を介して個体グループ検索部２０３に入力された１つまたは複数の個体情報番号をもとに、上記個体情報番号に対応する個体を含む個体グループを個体グループ保存部１１０から検索する。さらに、その結果を個体グループ選択部２０４に送信する。個体グループ選択部２０４は検索結果を表示部１０５に表示する。
【００２４】
ユーザは必要に応じて表示部１０５に表示された個体グループの中から、所定の個体グループを選択する。ユーザの選択操作は操作部２０１から個体グループ検索部２０３を経由して個体グループ選択部２０４に送信される。
【００２５】
個体情報処理部２０５は個体情報検索部２０６および個体情報選択部２０７からなる。個体情報処理部２０５は操作部２０１を介して個体情報検索部２０６に入力された１つまたは複数の個体情報番号をもとに、上記個体情報番号に対応する個体情報を個体情報保存部１０９から検索し、その結果を個体情報選択部２０７に送信する。個体情報選択部２０７は検索結果を表示部１０５に表示する。ユーザは必要に応じて表示部１０５に表示された個体情報の中から、所定の個体情報を選択する。ユーザの選択操作は操作部２０１から個体情報検索部２０６を介して個体情報選択部２０７に送信される。
【００２６】
映像区分処理部２０８は映像区分検索部２０９および映像区分選択部２１０からなる。映像区分処理部２０８は操作部２０１を介して映像区分検索部２０９に入力された１つまたは複数の映像区分番号をもとに、上記映像区分番号に対応する映像区分を映像記録部１０３から検索し、その映像検索結果を映像区分選択部２１０に送信する。映像区分選択部２１０は映像検索結果を表示部１０５に表示する。ユーザは必要に応じて表示部１０５に表示された映像区分の中から、所定の映像区分を選択する。ユーザの選択操作は操作部２０１から映像区分検索部２０９を介して映像区分選択部２１０に送信される。
【００２７】
図３は映像記録部１０３に保存される映像区分情報のデータ構造の一例である。映像記録部１０３は映像区分を区別する映像区分番号に対応付けて、その映像区分が撮影された撮影日時と映像データそのものを保存する。
【００２８】
図４は個体情報保存部１０９に保存される個体情報のデータ構造の一例である。個体情報保存部１０９は、個体を区別する個体番号に対応付けて、その個体をよく示す代表画像とその個体画像から取得した特徴量データそのものを保存する。
【００２９】
図５は個体グループ保存部１１０に保存される個体グループのデータ構造の一例である。個体グループ保存部１１０は、個体グループを区別する個体グループ番号に対応付けて、各個体グループに含まれる個体の個体番号のリストと、その個体グループが撮影されている映像区分番号を保存する。
【００３０】
図６は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理手順を示すフローチャートである。以降の説明においては、画像検出の対象として人物の顔を使用した例を示す。これにより、個体とはすなわち一個人を指し、個体グループとはすなわち人物のグループを指す。なお、顔以外のものを画像検出の対象として使用したとしても同じように処理できる。
【００３１】
人物グループの登録処理は、まず入力された映像区分の全てのフレームに対し、人物の識別処理を行う。そのため一連の処理は各フレーム毎に行う処理の繰り返しとなる（Ｓ１０１）。
【００３２】
次に画像検出部１０６が１フレーム分の映像データを取得する（Ｓ１０２）。
【００３３】
次に画像検出部１０６が取得した映像データ内に人物の顔が存在するかどうかを判定する（Ｓ１０３）。
【００３４】
顔画像が検出された場合、その顔画像が画像解析部１０７に送信され、画像解析部１０７はその顔画像から個人を識別するための特徴量を取得する（Ｓ１０４）。
【００３５】
取得した特徴量は画像識別部１０８に送信され、画像識別部１０８はその特徴量を、個体情報保存部１０９に保存されている、既知の人物の顔画像特徴量と比較し、既知の人物と同一であるかどうかを判定する（Ｓ１０５）。
【００３６】
個体情報保存部１０９に該当する人物が登録されていない場合は、新規の人物として個体情報保存部１０９にその人物を追加し、特徴量などのデータを登録する（Ｓ１０６→Ｓ１０７）。
【００３７】
個体情報保存部１０９に該当する人物が登録されていた場合は、次の処理に進む（Ｓ１０６→Ｓ１０８）。
【００３８】
画像識別部１０８は個体情報保存部１０９から検出された人物の個体番号を取得し、その個体番号を一時記憶に保存する（Ｓ１０８）。
【００３９】
Ｓ１０４からＳ１０８までで１つの顔画像の識別が完了し、フレーム内での次の顔画像の検索を行う（Ｓ１０９）。
【００４０】
顔画像の識別処理を入力された映像の全てのフレームに対して実行すると、識別処理の完了となる（Ｓ１１０）。
【００４１】
識別処理において検出された全ての人物に対応する個体番号の組み合わせをグループとする（Ｓ１１１）。
【００４２】
Ｓ１１１において作成したグループが、個体グループ保存部に保存されているかどうかを判定する（Ｓ１１２）。
【００４３】
既に登録済みであった場合は、該当のグループに対応する映像区分番号リストに今回識別を行った映像の映像区分番号を追加する（Ｓ１１２→Ｓ１１３）。
【００４４】
該当するグループが、個体グループ保存部に登録されていなかった場合は、新規のグループとして個体グループ保存部に登録を行い、個体番号、映像区分番号などの情報を保存する（Ｓ１１２→Ｓ１１４）。
【００４５】
以上で、個体グループの登録処理は完了となる。
【００４６】
図７は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理に関連したユーザインターフェースの一例である。
【００４７】
ユーザインターフェースは選択済み人物一覧ブロック３０１、グループメンバ候補一覧ブロック３０２、グループ候補一覧ブロック３０３からなる。
【００４８】
選択済み人物一覧ブロック３０１には、個体グループを検索する過程において、ユーザが選択した人物が一覧表示される。一覧表示される順番は、選択された順だけでなく、名前順、登録番号順、人物の重要度順など何らかの順位付けに基づいて決定してもよい。
【００４９】
グループメンバ候補一覧ブロック３０２は、個体グループを検索する過程において、ユーザが選択した人物が全て含まれるグループのメンバーのうち、ユーザが選択した人物を除いた人物が一覧表示される。一覧表示される順番は、登録番号順だけでなく、選択済み人物との関連度順、人物の重要度順など何らかの順位付けに基づいて決定してもよい。
【００５０】
グループ候補一覧ブロック３０３は、個体グループを検索する過程において、ユーザが選択した人物が全て含まれるグループが一覧表示される。一覧表示される順番は、グループの登録番号順だけでなく、グループのメンバー数順、選択済みユーザとの関連度順など何らかの順位付けに基づいて決定してもよい。
【００５１】
図８は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理手順を示すフローチャートである。
【００５２】
個体グループの検索をするために、まずユーザは検索したいグループに含まれる人物を１名選択する。人物が１名も選択されていない状態では、グループメンバ候補一覧ブロックには個体情報保存部１０９に登録されている全ての人物が一覧表示されており、この中から任意の人物を選択する（Ｓ２０１）。図９にＳ２０１でのユーザインターフェースを例示する。
【００５３】
選択された人物の情報は、個体グループ処理部２０２に選択された人物の情報が送信される。個体グループ処理部２０２は受信した全ての人物が含まれるグループを個体グループ保存部１１０から検索し、該当するグループをグループ候補一覧ブロックに表示する（Ｓ２０２）。
【００５４】
該当するグループ候補が１つより多い場合は、個体情報処理部２０５が候補となるグループに含まれる人物を個体情報保存部１０９から検索し、結果をグループメンバ候補一覧ブロックに表示する（Ｓ２０３→Ｓ２０４）。
【００５５】
ユーザはグループメンバ候補一覧ブロックに表示された人物の中から検索したグループに含まれる人物を追加で１名選択する（Ｓ２０５）。図１０にＳ２０５でのユーザインターフェースを例示する。図１０は、既にステップＳ２０１にて人物Ａが選択された状態でのユーザインターフェースを例示しており、グループ候補一覧ブロックには人物Ａが含まれる全てのグループが表示されている。そして、グループメンバ候補一覧には、既に選択された人物Ａを除く、グループ候補一覧ブロックに表示されたいずれかのグループに属する人物全員が表示される。ここでユーザがステップＳ２０５にて人物Ｃを追加選択すると、グループ候補一覧ブロックに表示されるグループが、人物Ａおよび人物Ｃが属するグループのみに限定される。このように選択済み人物を増加させていくことで、グループ候補一覧ブロックに表示されるグループと、グループメンバ候補一覧ブロックに表示される人物が徐々に絞り込まれていく。
【００５６】
該当するグループ候補が１つとなるまでＳ２０２からＳ２０５までの処理を繰り返し、グループ候補が１つとなった際には、検索したいグループが確定したことを示すメッセージを表示し、検索処理を終了する（Ｓ２０３→Ｓ２０６）。図１１にＳ２０６でのインターフェースを例示する。
【００５７】
上記の実施形態によれば、ユーザは人物を順次選択していくことにより所望のグループを検索することができる。このとき、選択されている人物と同じグループに含まれる人物のみがグループメンバ候補として表示されるため、関連のない人物を選択する必要がなくなり、ユーザの操作が簡易になり、また選択の回数を少なくすることができる。
【００５８】
［第２の実施形態］
図１２は、本発明に係る第２の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理手順を示すフローチャートである。本実施形態は第１の実施形態のグループ検索過程において、選択済みの人物の中から不要な人物を選択解除することが特徴である。また、グループが１つに絞り込まれていない状態でグループの選択を可能とし、更に確定したグループに対応する映像区分を検索して処理の指示を出すためのインターフェースを提供する点が特徴である。
【００５９】
図１２におけるＳ３０１からＳ３０４までは、図８におけるＳ２０１からＳ２０４までと同様の処理であるので説明を省略する。
【００６０】
該当するグループ候補が１つより多い場合は、ユーザは一覧されているグループ候補から任意のグループを直接選択することができる。グループ候補一覧ブロックに表示されているグループ数が多い場合は任意のグループを直接選択することは面倒であるが、選択済みの人物を増やし、一覧ブロックに表示されたグループの数が少なくなれば、ユーザが所望のグループを容易に選択することができる。図１３にＳ３０８でのインターフェースを例示する。グループが直接選択された場合は、グループが確定したことを示すメッセージを表示する（Ｓ３０５→Ｓ３０８）。
【００６１】
また、一覧されているグループに検索しようとしているグループがないと判断した場合には、選択済み人物一覧ブロックの中から不要と思われる人物を選択解除することで、グループ候補の再検索を行うことができる（Ｓ３０５→Ｓ３０６）。図１４にＳ３０６でのインターフェースを例示する。
【００６２】
不要な人物が選択解除された場合、残っている選択済みの人物が含まれるグループを再度検索する（Ｓ３０６→Ｓ３０２）。
【００６３】
人物の選択解除をしなかった場合、更にグループメンバ候補から人物を追加選択しグループの絞込みを行う（Ｓ３０７→Ｓ３０２）。
【００６４】
グループ候補が１つとなりグループが確定した場合、あるいはユーザの指示によってグループの選択を行った場合は、グループ確定の確認メッセージを表示する（Ｓ３０８）。図１５にＳ３０８でのインターフェースを例示する。この例では確定したグループに対して続けて行う処理として対応するシーンの検索を示しているが、ここでの処理はシーンの検索のみでなく、グループメンバの一覧表示、グループが撮影された日時の検索などグループと関連付けて行える処理を実行してもよい。
【００６５】
確定したグループに対するシーンの検索実行が選択された場合は、シーンの検索を開始する（Ｓ３０９→Ｓ３１０）。
【００６６】
確定したグループに対するシーンの検索が拒否された場合は、グループ検索の処理フローに戻り、必要に応じて選択済み人物の選択解除等を行うことによりグループの再検索を行うことができる（Ｓ３０９→Ｓ３０６）。
【００６７】
確定したグループに対するシーンの検索が完了すると、その結果を一覧表示する（Ｓ３１１）。図１６にＳ３１１でのインターフェースを例示する。
【００６８】
ユーザは一覧表示されたシーンの中から任意のシーンを選択することができる（Ｓ３１２）。
【００６９】
シーンが選択された場合は、そのシーンに対して実行可能な処理一覧を表示する（Ｓ３１３）。図１７はＳ３１３でのインターフェースを例示する。
【００７０】
処理が選択されると、選択されたシーンに対してその処理を実行する（Ｓ３１４）。
【００７１】
上記実施形態によれば、ユーザは所望のシーンの検索を、そのシーンに撮影されている人物を順次選択していくことで行うことができる。さらに検索されたシーンから直接処理の実行を指示することができるため、見たいシーンを探して再生するといった操作が容易になる。
【００７２】
検索時、選択されている人物と同じグループに含まれる人物のみがグループメンバ候補として表示されるため、関連のない人物を選択する必要がなく、ユーザの操作が簡易になり、また選択の回数を少なくすることができる点は第１の実施形態と同様である。
【００７３】
さらにグループが確定していない状態でもグループ候補一覧の中から任意のグループを選択することができるため、より少ない回数でグループを確定させることが可能である。
【００７４】
また、選択済みの人物から不要な人物を選択解除することができるため、誤って人物を選択してしまった場合のやり直しが容易となる。
【００７５】
上記各実施形態によれば、入力された所定の映像区分から所定の条件に合致する画像を検出し、それらの画像を解析することにより映像内に撮影されている全ての個体を識別することができる。所定の映像区分内において識別された個体の組み合わせを個体グループとして保存しておくとともに、その個体グループと映像区分とを対応付けて登録することにより、個体グループを索引として映像区分を検索するためのデータベースを構築することができる。
【００７６】
また、１つあるいは複数の個体情報を指定することにより、その個体が含まれる個体グループを検索し、更に検索した個体グループの中から所定の個体グループを選択することができる。これにより、機器内に登録されている個体グループの数が多数になった場合でも、個体情報に含まれていることが明らかな個体情報を索引として所望の個体グループを検索し、選択することができる。
【００７７】
また、予め選択した１つまたは複数の個体情報を含む個体グループが複数に及んだ際に、それらの個体グループに含まれる全ての個体情報を取得する。そして、その個体情報から予め指定した個体情報、および重複する個体情報を除いた個体情報一覧を作成し、その中から任意の個体を追加選択することができる。これにより、予め指定した個体にと同じグループに所属する個体を指定に追加し、個体グループの絞込みを効率的に行うことができる。
【００７８】
また、予め選択した１つまたは個体情報の中から、不要な個体情報を選択解除することができる。これにより、誤って不必要な個体情報を選択してしまった場合に、選択を最初からやり直すことなく所望の個体情報を選択した状態にすることができる。
【００７９】
また、１つあるいは複数の個体グループを指定することにより、その個体グループと対応付けられた映像区分を検索し、更に検索した映像区分の中から所定の映像区分を選択することができる。これにより、個体グループを索引として映像区分の検索を効率的に行うことができる。
【００８０】
また、人物の顔が存在するかどうかを画像検出の対象とする。これにより、所定の映像区分内において人物が撮影されているかどうかを検出することができる。
【００８１】
また、検出され人物の顔画像から人物を個別に識別するための顔情報を特徴量として取得する。これにより、検出された顔画像が既に検出され特徴量が保存されている人物と同じ人物のものであるかどうかを識別するための情報の取得ができる。
【００８２】
また、１名の人物を１つの個体として取り扱い、検出された複数の人物画像が同一人物のものであるかどうかを識別する。これにより、所定の映像区分内において何人の個人が撮影されているかを判定することができる。
【００８３】
また、１回の記録開始から記録終了まで連続して撮影された映像を映像区分とする。これにより、個体グループをもとにシーンの検索を行うことができる。
【００８４】
また、映像を所定の時間毎に分割したものを映像区分とする。これにより、個体グループをもとに時間単位でのシーンの検索を行うことができる。
【００８５】
また、映像を所定の日時区間毎に分割したものを映像区分とする。これにより、個体グループをもとにその個体グループが撮影された同じ日時区間に撮影されたシーンを検索することができる。また、映像区分には、必ずしも動画像や複数の静止画像が含まれている必要はなく、１つの静止画像からなる映像しか含まれていない場合であっても構わない。
【００８６】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００８９】
しかし、さらにプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合も有得る。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る第１の実施形態の画像処理装置による画像処理のうち、個体グループ登録処理に関連した機能ブロックの概略構成図である。
【図２】第１の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理に関連した機能ブロックの概略構成図である。
【図３】映像記録部に保存される映像区分情報のデータ構造を例示する図である。
【図４】個体情報保存部に保存される個体情報のデータ構造を例示する図である。
【図５】個体グループ保存部に保存される個体グループのデータ構造を例示する図である。
【図６】第１の実施形態の画像処理装置による画像処理のうち、個体グループ登録処理を示すフローチャートである。
【図７】画像処理装置の個体グループ検索処理のためのインターフェースを例示する図である。
【図８】第１の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理を示すフローチャートである。
【図９】人物を選択する際のインターフェースを例示する図である。
【図１０】人物を追加選択する際のインターフェースを例示する図である。
【図１１】グループが確定した際のインターフェースを例示する図である。
【図１２】第２の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理を示すフローチャートである。
【図１３】グループを選択する際のインターフェースを例示する図である。
【図１４】人物を選択解除する際のインターフェースを例示する図である。
【図１５】グループが確定した際のインターフェースを例示する図である。
【図１６】シーンが検索された際のインターフェースを例示する図である。
【図１７】シーンが選択された際のインターフェースを例示する図である。
【符号の説明】
【００９２】
１０１ 撮像部
１０２ エンコーダ
１０３ 映像記録部
１０４ デコーダ
１０５ 表示部
１０６ 画像検出部
１０７ 画像解析部
１０８ 画像識別部
１０９ 個体情報保存部
１１０ 個体グループ保存部
２０１ 操作部
２０２ 個体グループ処理部
２０３ 個体グループ検索部
２０４ 個体グループ選択部
２０５ 個体情報処理部
２０６ 個体情報検索部
２０７ 個体情報選択部
２０８ 映像区分処理部
２０９ 映像区分検索部
２１０ 映像区分選択部
３０１ 選択済み人物一覧ブロック
３０２ グループメンバ候補一覧ブロック
３０３ グループ候補一覧ブロック
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
現在、撮影された映像を解析処理することによって人物の顔を検出することができる画像処理装置が普及の兆しを見せている。顔認識の精度を高めることにより、複数の映像に対して顔検出を行った結果を比較し、検出された顔が同一人物であるかどうかを判断することも可能となっている。これにより、映像に対して顔認識した結果を保存しておき、指定された人物が写っている画像を検索するためのデータベースを作成することも可能となっている。
【０００３】
また、近年の記録メディアの大容量化に伴い、多数の映像が撮像装置内に保存されることも多くなっており、その中から任意の映像を選択することが困難になってきている。これを解決するために顔認識の技術を応用した機器として、映像を任意の区間に分割し、ある人物の登場する区間を検索して一覧表示することにより、所望の区間の選択を容易にする動画像表示技術が提案されている（特許文献１参照）。
【０００４】
また、画像と画像内に撮影されている人物の関連付け、画像の検索を容易にする方法も提案されている（特許文献２参照）。これは、同一の画像内に含まれる人物をグループ化し、そのグループをもとに複数の画像を分類することでグループを索引として映像の検索を行う技術である。
【特許文献１】特開平１０−２３４００４号公報
【特許文献２】特開２００６−０７９４６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では単一の人物が撮影されている映像を検索することしかできず、家庭用のカムコーダやデジタルカメラのように、家族や友達など特定の人物が撮影される機会が非常に多い機器においては検索の効率が十分に高いとは言えない。
【０００６】
また、特許文献２では、検索を行うためには検出された全てのグループの中から所望のグループを探索して指定する必要がある。このため、グループの数が多くなった場合、その中から１つのグループを容易に見つけることは難しい。あるいは、所望のグループに含まれる人物をすべてユーザに指定させることで、グループを特定する方法も考えられる。しかしながら、登録されている人物全員の中からそのグループに属する人物のみを探すことは、グループの数が増えてそれらに属する人物が増加するほど、ユーザに大きな手間を強いることになる。
【０００７】
本発明は、上記課題に鑑みてなされ、所望のグループを容易に選択できるようにする技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段と、前記画像検出手段により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析手段と、前記画像検出手段により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段と、前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段と、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段と、複数の個体情報の中から個体情報を選択する個体情報選択手段と、前記個体情報選択手段により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索手段と、前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備え、前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループに含まれる個体情報から、前記個体情報選択手段により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索手段による個体グループの絞り込みによる検索を可能とする。
【０００９】
また、本発明の画像処理方法は、入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出工程と、前記画像検出工程により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析工程と、前記画像検出工程により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別工程と、前記画像識別工程により識別された個体の個体情報を保存する個体情報保存工程と、複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存工程と、複数の個体情報の中から個体情報を選択する個体情報選択工程と、前記個体情報選択工程により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索工程と、前記個体グループ検索工程により検索された個体グループを一覧表示するインターフェース工程とを備え、前記インターフェース工程では、前記個体グループ検索工程により検索された個体グループに含まれる個体情報から、前記個体情報選択工程により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索工程による個体グループの絞り込みによる検索を可能とする。
【発明の効果】
【００１０】
本発明によれば、所定の映像から識別された個体の組み合わせを個体グループとして保存しておくとともに、複数の個体グループの中から所望の個体グループを容易に選択できるようになる。
【発明を実施するための最良の形態】
【００１１】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１２】
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１３】
［第１の実施形態］
図１は、本発明に係る第１の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理に関連した機能ブロックからなる概略構成図である。本実施形態では、画像処理装置の一例としてカムコーダを例にあげて説明を行うが、画像を管理する機能を備えたパーソナルコンピュータのアプリケーション上でも本実施形態と同様の処理を行うことが可能である。
【００１４】
撮像部１０１により被写体像を光電変換して生成された映像信号はエンコーダ１０２において所定の映像フォーマットに符号化され、映像データとして映像記録部１０３に記録される。再生時は映像記録部１０３から読み出された映像データがデコーダ１０４において復号化され、表示部１０５に表示される。
【００１５】
映像内に所定の条件に合致する画像が存在するかどうかを検出する画像検出部１０６に対しては、撮影を行っている最中の撮像レンズからの映像、または再生を行っている最中のデコーダにて復号化された映像のいずれを入力してもよい。画像検出部１０６は入力された映像内から所定の条件に合致する画像が検出された場合、その画像を画像解析部１０７に送信する。
【００１６】
画像解析部１０７は画像検出部１０６から受信した画像から、その画像の特徴を示す特徴量を取得し、画像識別部１０８に送信する。
【００１７】
画像識別部１０８は画像解析部１０７から受信した特徴量を、個体情報保存部１０９に保存されている過去に識別を行った個体の特徴量と比較する。比較の結果、既に識別されたことのある個体と同一の個体であると判断した場合は個体情報保存部１０９から該当の個体の個体番号を取得し、入力された映像が終端まで到達し、画像の識別が完了するまで一時的に記憶しておく。
【００１８】
比較の結果、これまでに識別されたことのない個体であると判断した場合は、個体情報保存部１０９に新規の個体情報として特徴量を保存する。さらに、新規に割り振られた個体番号を取得し、入力された映像が終端まで到達し、画像の識別が完了するまで一時的に記憶しておく。
【００１９】
入力された映像が終端まで到達し画像の識別が完了すると、画像識別部１０８は入力された画像内で識別された個体の個体番号の組み合わせを個体グループ保存部１１０に保存されている個体グループ情報と比較する。そして、個体の組み合わせが既に個体グループ保存部１１０に登録されている個体グループと同一であった場合は、今回識別を行った映像区分の番号を映像記録部１０３から取得する。さらに、個体グループ保存部１１０に保存されている該当の個体グループに対応する映像区分番号リストに新規の映像区分番号を追加する。
【００２０】
比較の結果、個体の組み合わせが個体グループ保存部１１０に保存されている個体グループと一致しない場合は、新規個体グループとして個体グループ保存部１１０に今回識別を行った個体の組み合わせを保存する。また、その際に今回識別を行った映像区分の番号を映像記録部１０３から取得し、新規個体グループと対応付けて保存する。
【００２１】
図２は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理に関連した機能ブロックからなる概略構成図である。
【００２２】
ユーザからの指示は操作部２０１を介して行われる。操作部２０１には個体グループ処理部２０２、個体情報処理部２０５、映像区分処理部２０８が接続される。
【００２３】
個体グループ処理部２０２は個体グループ検索部２０３および個体グループ選択部２０４からなる。個体グループ処理部は操作部２０１を介して個体グループ検索部２０３に入力された１つまたは複数の個体情報番号をもとに、上記個体情報番号に対応する個体を含む個体グループを個体グループ保存部１１０から検索する。さらに、その結果を個体グループ選択部２０４に送信する。個体グループ選択部２０４は検索結果を表示部１０５に表示する。
【００２４】
ユーザは必要に応じて表示部１０５に表示された個体グループの中から、所定の個体グループを選択する。ユーザの選択操作は操作部２０１から個体グループ検索部２０３を経由して個体グループ選択部２０４に送信される。
【００２５】
個体情報処理部２０５は個体情報検索部２０６および個体情報選択部２０７からなる。個体情報処理部２０５は操作部２０１を介して個体情報検索部２０６に入力された１つまたは複数の個体情報番号をもとに、上記個体情報番号に対応する個体情報を個体情報保存部１０９から検索し、その結果を個体情報選択部２０７に送信する。個体情報選択部２０７は検索結果を表示部１０５に表示する。ユーザは必要に応じて表示部１０５に表示された個体情報の中から、所定の個体情報を選択する。ユーザの選択操作は操作部２０１から個体情報検索部２０６を介して個体情報選択部２０７に送信される。
【００２６】
映像区分処理部２０８は映像区分検索部２０９および映像区分選択部２１０からなる。映像区分処理部２０８は操作部２０１を介して映像区分検索部２０９に入力された１つまたは複数の映像区分番号をもとに、上記映像区分番号に対応する映像区分を映像記録部１０３から検索し、その映像検索結果を映像区分選択部２１０に送信する。映像区分選択部２１０は映像検索結果を表示部１０５に表示する。ユーザは必要に応じて表示部１０５に表示された映像区分の中から、所定の映像区分を選択する。ユーザの選択操作は操作部２０１から映像区分検索部２０９を介して映像区分選択部２１０に送信される。
【００２７】
図３は映像記録部１０３に保存される映像区分情報のデータ構造の一例である。映像記録部１０３は映像区分を区別する映像区分番号に対応付けて、その映像区分が撮影された撮影日時と映像データそのものを保存する。
【００２８】
図４は個体情報保存部１０９に保存される個体情報のデータ構造の一例である。個体情報保存部１０９は、個体を区別する個体番号に対応付けて、その個体をよく示す代表画像とその個体画像から取得した特徴量データそのものを保存する。
【００２９】
図５は個体グループ保存部１１０に保存される個体グループのデータ構造の一例である。個体グループ保存部１１０は、個体グループを区別する個体グループ番号に対応付けて、各個体グループに含まれる個体の個体番号のリストと、その個体グループが撮影されている映像区分番号を保存する。
【００３０】
図６は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理手順を示すフローチャートである。以降の説明においては、画像検出の対象として人物の顔を使用した例を示す。これにより、個体とはすなわち一個人を指し、個体グループとはすなわち人物のグループを指す。なお、顔以外のものを画像検出の対象として使用したとしても同じように処理できる。
【００３１】
人物グループの登録処理は、まず入力された映像区分の全てのフレームに対し、人物の識別処理を行う。そのため一連の処理は各フレーム毎に行う処理の繰り返しとなる（Ｓ１０１）。
【００３２】
次に画像検出部１０６が１フレーム分の映像データを取得する（Ｓ１０２）。
【００３３】
次に画像検出部１０６が取得した映像データ内に人物の顔が存在するかどうかを判定する（Ｓ１０３）。
【００３４】
顔画像が検出された場合、その顔画像が画像解析部１０７に送信され、画像解析部１０７はその顔画像から個人を識別するための特徴量を取得する（Ｓ１０４）。
【００３５】
取得した特徴量は画像識別部１０８に送信され、画像識別部１０８はその特徴量を、個体情報保存部１０９に保存されている、既知の人物の顔画像特徴量と比較し、既知の人物と同一であるかどうかを判定する（Ｓ１０５）。
【００３６】
個体情報保存部１０９に該当する人物が登録されていない場合は、新規の人物として個体情報保存部１０９にその人物を追加し、特徴量などのデータを登録する（Ｓ１０６→Ｓ１０７）。
【００３７】
個体情報保存部１０９に該当する人物が登録されていた場合は、次の処理に進む（Ｓ１０６→Ｓ１０８）。
【００３８】
画像識別部１０８は個体情報保存部１０９から検出された人物の個体番号を取得し、その個体番号を一時記憶に保存する（Ｓ１０８）。
【００３９】
Ｓ１０４からＳ１０８までで１つの顔画像の識別が完了し、フレーム内での次の顔画像の検索を行う（Ｓ１０９）。
【００４０】
顔画像の識別処理を入力された映像の全てのフレームに対して実行すると、識別処理の完了となる（Ｓ１１０）。
【００４１】
識別処理において検出された全ての人物に対応する個体番号の組み合わせをグループとする（Ｓ１１１）。
【００４２】
Ｓ１１１において作成したグループが、個体グループ保存部に保存されているかどうかを判定する（Ｓ１１２）。
【００４３】
既に登録済みであった場合は、該当のグループに対応する映像区分番号リストに今回識別を行った映像の映像区分番号を追加する（Ｓ１１２→Ｓ１１３）。
【００４４】
該当するグループが、個体グループ保存部に登録されていなかった場合は、新規のグループとして個体グループ保存部に登録を行い、個体番号、映像区分番号などの情報を保存する（Ｓ１１２→Ｓ１１４）。
【００４５】
以上で、個体グループの登録処理は完了となる。
【００４６】
図７は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理に関連したユーザインターフェースの一例である。
【００４７】
ユーザインターフェースは選択済み人物一覧ブロック３０１、グループメンバ候補一覧ブロック３０２、グループ候補一覧ブロック３０３からなる。
【００４８】
選択済み人物一覧ブロック３０１には、個体グループを検索する過程において、ユーザが選択した人物が一覧表示される。一覧表示される順番は、選択された順だけでなく、名前順、登録番号順、人物の重要度順など何らかの順位付けに基づいて決定してもよい。
【００４９】
グループメンバ候補一覧ブロック３０２は、個体グループを検索する過程において、ユーザが選択した人物が全て含まれるグループのメンバーのうち、ユーザが選択した人物を除いた人物が一覧表示される。一覧表示される順番は、登録番号順だけでなく、選択済み人物との関連度順、人物の重要度順など何らかの順位付けに基づいて決定してもよい。
【００５０】
グループ候補一覧ブロック３０３は、個体グループを検索する過程において、ユーザが選択した人物が全て含まれるグループが一覧表示される。一覧表示される順番は、グループの登録番号順だけでなく、グループのメンバー数順、選択済みユーザとの関連度順など何らかの順位付けに基づいて決定してもよい。
【００５１】
図８は、第１の実施形態の画像処理装置による画像処理のうち、個体グループの検索処理手順を示すフローチャートである。
【００５２】
個体グループの検索をするために、まずユーザは検索したいグループに含まれる人物を１名選択する。人物が１名も選択されていない状態では、グループメンバ候補一覧ブロックには個体情報保存部１０９に登録されている全ての人物が一覧表示されており、この中から任意の人物を選択する（Ｓ２０１）。図９にＳ２０１でのユーザインターフェースを例示する。
【００５３】
選択された人物の情報は、個体グループ処理部２０２に選択された人物の情報が送信される。個体グループ処理部２０２は受信した全ての人物が含まれるグループを個体グループ保存部１１０から検索し、該当するグループをグループ候補一覧ブロックに表示する（Ｓ２０２）。
【００５４】
該当するグループ候補が１つより多い場合は、個体情報処理部２０５が候補となるグループに含まれる人物を個体情報保存部１０９から検索し、結果をグループメンバ候補一覧ブロックに表示する（Ｓ２０３→Ｓ２０４）。
【００５５】
ユーザはグループメンバ候補一覧ブロックに表示された人物の中から検索したグループに含まれる人物を追加で１名選択する（Ｓ２０５）。図１０にＳ２０５でのユーザインターフェースを例示する。図１０は、既にステップＳ２０１にて人物Ａが選択された状態でのユーザインターフェースを例示しており、グループ候補一覧ブロックには人物Ａが含まれる全てのグループが表示されている。そして、グループメンバ候補一覧には、既に選択された人物Ａを除く、グループ候補一覧ブロックに表示されたいずれかのグループに属する人物全員が表示される。ここでユーザがステップＳ２０５にて人物Ｃを追加選択すると、グループ候補一覧ブロックに表示されるグループが、人物Ａおよび人物Ｃが属するグループのみに限定される。このように選択済み人物を増加させていくことで、グループ候補一覧ブロックに表示されるグループと、グループメンバ候補一覧ブロックに表示される人物が徐々に絞り込まれていく。
【００５６】
該当するグループ候補が１つとなるまでＳ２０２からＳ２０５までの処理を繰り返し、グループ候補が１つとなった際には、検索したいグループが確定したことを示すメッセージを表示し、検索処理を終了する（Ｓ２０３→Ｓ２０６）。図１１にＳ２０６でのインターフェースを例示する。
【００５７】
上記の実施形態によれば、ユーザは人物を順次選択していくことにより所望のグループを検索することができる。このとき、選択されている人物と同じグループに含まれる人物のみがグループメンバ候補として表示されるため、関連のない人物を選択する必要がなくなり、ユーザの操作が簡易になり、また選択の回数を少なくすることができる。
【００５８】
［第２の実施形態］
図１２は、本発明に係る第２の実施形態の画像処理装置による画像処理のうち、個体グループの登録処理手順を示すフローチャートである。本実施形態は第１の実施形態のグループ検索過程において、選択済みの人物の中から不要な人物を選択解除することが特徴である。また、グループが１つに絞り込まれていない状態でグループの選択を可能とし、更に確定したグループに対応する映像区分を検索して処理の指示を出すためのインターフェースを提供する点が特徴である。
【００５９】
図１２におけるＳ３０１からＳ３０４までは、図８におけるＳ２０１からＳ２０４までと同様の処理であるので説明を省略する。
【００６０】
該当するグループ候補が１つより多い場合は、ユーザは一覧されているグループ候補から任意のグループを直接選択することができる。グループ候補一覧ブロックに表示されているグループ数が多い場合は任意のグループを直接選択することは面倒であるが、選択済みの人物を増やし、一覧ブロックに表示されたグループの数が少なくなれば、ユーザが所望のグループを容易に選択することができる。図１３にＳ３０８でのインターフェースを例示する。グループが直接選択された場合は、グループが確定したことを示すメッセージを表示する（Ｓ３０５→Ｓ３０８）。
【００６１】
また、一覧されているグループに検索しようとしているグループがないと判断した場合には、選択済み人物一覧ブロックの中から不要と思われる人物を選択解除することで、グループ候補の再検索を行うことができる（Ｓ３０５→Ｓ３０６）。図１４にＳ３０６でのインターフェースを例示する。
【００６２】
不要な人物が選択解除された場合、残っている選択済みの人物が含まれるグループを再度検索する（Ｓ３０６→Ｓ３０２）。
【００６３】
人物の選択解除をしなかった場合、更にグループメンバ候補から人物を追加選択しグループの絞込みを行う（Ｓ３０７→Ｓ３０２）。
【００６４】
グループ候補が１つとなりグループが確定した場合、あるいはユーザの指示によってグループの選択を行った場合は、グループ確定の確認メッセージを表示する（Ｓ３０８）。図１５にＳ３０８でのインターフェースを例示する。この例では確定したグループに対して続けて行う処理として対応するシーンの検索を示しているが、ここでの処理はシーンの検索のみでなく、グループメンバの一覧表示、グループが撮影された日時の検索などグループと関連付けて行える処理を実行してもよい。
【００６５】
確定したグループに対するシーンの検索実行が選択された場合は、シーンの検索を開始する（Ｓ３０９→Ｓ３１０）。
【００６６】
確定したグループに対するシーンの検索が拒否された場合は、グループ検索の処理フローに戻り、必要に応じて選択済み人物の選択解除等を行うことによりグループの再検索を行うことができる（Ｓ３０９→Ｓ３０６）。
【００６７】
確定したグループに対するシーンの検索が完了すると、その結果を一覧表示する（Ｓ３１１）。図１６にＳ３１１でのインターフェースを例示する。
【００６８】
ユーザは一覧表示されたシーンの中から任意のシーンを選択することができる（Ｓ３１２）。
【００６９】
シーンが選択された場合は、そのシーンに対して実行可能な処理一覧を表示する（Ｓ３１３）。図１７はＳ３１３でのインターフェースを例示する。
【００７０】
処理が選択されると、選択されたシーンに対してその処理を実行する（Ｓ３１４）。
【００７１】
上記実施形態によれば、ユーザは所望のシーンの検索を、そのシーンに撮影されている人物を順次選択していくことで行うことができる。さらに検索されたシーンから直接処理の実行を指示することができるため、見たいシーンを探して再生するといった操作が容易になる。
【００７２】
検索時、選択されている人物と同じグループに含まれる人物のみがグループメンバ候補として表示されるため、関連のない人物を選択する必要がなく、ユーザの操作が簡易になり、また選択の回数を少なくすることができる点は第１の実施形態と同様である。
【００７３】
さらにグループが確定していない状態でもグループ候補一覧の中から任意のグループを選択することができるため、より少ない回数でグループを確定させることが可能である。
【００７４】
また、選択済みの人物から不要な人物を選択解除することができるため、誤って人物を選択してしまった場合のやり直しが容易となる。
【００７５】
上記各実施形態によれば、入力された所定の映像区分から所定の条件に合致する画像を検出し、それらの画像を解析することにより映像内に撮影されている全ての個体を識別することができる。所定の映像区分内において識別された個体の組み合わせを個体グループとして保存しておくとともに、その個体グループと映像区分とを対応付けて登録することにより、個体グループを索引として映像区分を検索するためのデータベースを構築することができる。
【００７６】
また、１つあるいは複数の個体情報を指定することにより、その個体が含まれる個体グループを検索し、更に検索した個体グループの中から所定の個体グループを選択することができる。これにより、機器内に登録されている個体グループの数が多数になった場合でも、個体情報に含まれていることが明らかな個体情報を索引として所望の個体グループを検索し、選択することができる。
【００７７】
また、予め選択した１つまたは複数の個体情報を含む個体グループが複数に及んだ際に、それらの個体グループに含まれる全ての個体情報を取得する。そして、その個体情報から予め指定した個体情報、および重複する個体情報を除いた個体情報一覧を作成し、その中から任意の個体を追加選択することができる。これにより、予め指定した個体にと同じグループに所属する個体を指定に追加し、個体グループの絞込みを効率的に行うことができる。
【００７８】
また、予め選択した１つまたは個体情報の中から、不要な個体情報を選択解除することができる。これにより、誤って不必要な個体情報を選択してしまった場合に、選択を最初からやり直すことなく所望の個体情報を選択した状態にすることができる。
【００７９】
また、１つあるいは複数の個体グループを指定することにより、その個体グループと対応付けられた映像区分を検索し、更に検索した映像区分の中から所定の映像区分を選択することができる。これにより、個体グループを索引として映像区分の検索を効率的に行うことができる。
【００８０】
また、人物の顔が存在するかどうかを画像検出の対象とする。これにより、所定の映像区分内において人物が撮影されているかどうかを検出することができる。
【００８１】
また、検出され人物の顔画像から人物を個別に識別するための顔情報を特徴量として取得する。これにより、検出された顔画像が既に検出され特徴量が保存されている人物と同じ人物のものであるかどうかを識別するための情報の取得ができる。
【００８２】
また、１名の人物を１つの個体として取り扱い、検出された複数の人物画像が同一人物のものであるかどうかを識別する。これにより、所定の映像区分内において何人の個人が撮影されているかを判定することができる。
【００８３】
また、１回の記録開始から記録終了まで連続して撮影された映像を映像区分とする。これにより、個体グループをもとにシーンの検索を行うことができる。
【００８４】
また、映像を所定の時間毎に分割したものを映像区分とする。これにより、個体グループをもとに時間単位でのシーンの検索を行うことができる。
【００８５】
また、映像を所定の日時区間毎に分割したものを映像区分とする。これにより、個体グループをもとにその個体グループが撮影された同じ日時区間に撮影されたシーンを検索することができる。また、映像区分には、必ずしも動画像や複数の静止画像が含まれている必要はなく、１つの静止画像からなる映像しか含まれていない場合であっても構わない。
【００８６】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００８９】
しかし、さらにプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合も有得る。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る第１の実施形態の画像処理装置による画像処理のうち、個体グループ登録処理に関連した機能ブロックの概略構成図である。
【図２】第１の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理に関連した機能ブロックの概略構成図である。
【図３】映像記録部に保存される映像区分情報のデータ構造を例示する図である。
【図４】個体情報保存部に保存される個体情報のデータ構造を例示する図である。
【図５】個体グループ保存部に保存される個体グループのデータ構造を例示する図である。
【図６】第１の実施形態の画像処理装置による画像処理のうち、個体グループ登録処理を示すフローチャートである。
【図７】画像処理装置の個体グループ検索処理のためのインターフェースを例示する図である。
【図８】第１の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理を示すフローチャートである。
【図９】人物を選択する際のインターフェースを例示する図である。
【図１０】人物を追加選択する際のインターフェースを例示する図である。
【図１１】グループが確定した際のインターフェースを例示する図である。
【図１２】第２の実施形態の画像処理装置による画像処理のうち、個体グループ検索処理を示すフローチャートである。
【図１３】グループを選択する際のインターフェースを例示する図である。
【図１４】人物を選択解除する際のインターフェースを例示する図である。
【図１５】グループが確定した際のインターフェースを例示する図である。
【図１６】シーンが検索された際のインターフェースを例示する図である。
【図１７】シーンが選択された際のインターフェースを例示する図である。
【符号の説明】
【００９２】
１０１ 撮像部
１０２ エンコーダ
１０３ 映像記録部
１０４ デコーダ
１０５ 表示部
１０６ 画像検出部
１０７ 画像解析部
１０８ 画像識別部
１０９ 個体情報保存部
１１０ 個体グループ保存部
２０１ 操作部
２０２ 個体グループ処理部
２０３ 個体グループ検索部
２０４ 個体グループ選択部
２０５ 個体情報処理部
２０６ 個体情報検索部
２０７ 個体情報選択部
２０８ 映像区分処理部
２０９ 映像区分検索部
２１０ 映像区分選択部
３０１ 選択済み人物一覧ブロック
３０２ グループメンバ候補一覧ブロック
３０３ グループ候補一覧ブロック
【特許請求の範囲】
【請求項１】
入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段と、
前記画像検出手段により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析手段と、
前記画像検出手段により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段と、
前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段と、
複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段と、
複数の個体情報の中から個体情報を選択する個体情報選択手段と、
前記個体情報選択手段により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索手段と、
前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備え、
前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループに含まれる個体情報から、前記個体情報選択手段により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索手段による個体グループの絞り込みによる検索を可能とすることを特徴とする画像処理装置。
【請求項２】
前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループを一覧表示し、一覧表示された個体グループの少なくともいずれかの指定を可能にすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記インターフェース手段は、前記個体情報選択手段により指定された複数の個体情報からいずれかの個体情報の指定の解除を可能とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記個体グループ保存手段は、複数の映像からなる映像区分内で識別された全ての個体情報の組み合わせを、前記個体グループとして前記映像区分と関連づけて保存することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
１つまたは複数の個体グループから、その個体グループと関連付けられた映像を検索する映像検索手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像検出手段は、前記所定の条件に合致した画像として、人物の顔が存在するかどうかを検出し、
前記画像解析手段は、前記画像検出手段により検出された人物の顔から、その顔を個別に識別するための特徴量を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像識別手段は、人物ごとに１つの個体として取り扱い、前記画像検出手段により検出された複数の顔が同一人物のものであるかどうかを識別することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記映像区分は、１回の記録開始から記録終了まで連続して撮影された映像であることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記映像区分は、前記画像処理装置に保存された映像を所定の時間ごとに分割した映像であることを特徴とした請求項４に記載の画像処理装置。
【請求項１０】
前記映像区分は、前記画像処理装置に保存された映像を所定の日時区間ごとに分割した映像であることを特徴とした請求項４に記載の画像処理装置。
【請求項１１】
入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出工程と、
前記画像検出工程により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析工程と、
前記画像検出工程により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別工程と、
前記画像識別工程により識別された個体の個体情報を保存する個体情報保存工程と、
複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存工程と、
複数の個体情報の中から個体情報を選択する個体情報選択工程と、
前記個体情報選択工程により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索工程と、
前記個体グループ検索工程により検索された個体グループを一覧表示するインターフェース工程とを備え、
前記インターフェース工程では、前記個体グループ検索工程により検索された個体グループに含まれる個体情報から、前記個体情報選択工程により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索工程による個体グループの絞り込みによる検索を可能とすることを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法を画像処理装置のコンピュータに実行させるためのプログラム。
【請求項１】
入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出手段と、
前記画像検出手段により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析手段と、
前記画像検出手段により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別手段と、
前記画像識別手段により識別された個体の個体情報を保存する個体情報保存手段と、
複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存手段と、
複数の個体情報の中から個体情報を選択する個体情報選択手段と、
前記個体情報選択手段により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索手段と、
前記個体グループ検索手段により検索された個体グループを一覧表示するインターフェース手段とを備え、
前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループに含まれる個体情報から、前記個体情報選択手段により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索手段による個体グループの絞り込みによる検索を可能とすることを特徴とする画像処理装置。
【請求項２】
前記インターフェース手段は、前記個体グループ検索手段により検索された個体グループを一覧表示し、一覧表示された個体グループの少なくともいずれかの指定を可能にすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記インターフェース手段は、前記個体情報選択手段により指定された複数の個体情報からいずれかの個体情報の指定の解除を可能とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記個体グループ保存手段は、複数の映像からなる映像区分内で識別された全ての個体情報の組み合わせを、前記個体グループとして前記映像区分と関連づけて保存することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
１つまたは複数の個体グループから、その個体グループと関連付けられた映像を検索する映像検索手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像検出手段は、前記所定の条件に合致した画像として、人物の顔が存在するかどうかを検出し、
前記画像解析手段は、前記画像検出手段により検出された人物の顔から、その顔を個別に識別するための特徴量を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像識別手段は、人物ごとに１つの個体として取り扱い、前記画像検出手段により検出された複数の顔が同一人物のものであるかどうかを識別することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記映像区分は、１回の記録開始から記録終了まで連続して撮影された映像であることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記映像区分は、前記画像処理装置に保存された映像を所定の時間ごとに分割した映像であることを特徴とした請求項４に記載の画像処理装置。
【請求項１０】
前記映像区分は、前記画像処理装置に保存された映像を所定の日時区間ごとに分割した映像であることを特徴とした請求項４に記載の画像処理装置。
【請求項１１】
入力された映像に所定の条件に合致した画像が存在するかどうかを検出する画像検出工程と、
前記画像検出工程により検出した画像から、その画像の特徴を示す特徴量を取得する画像解析工程と、
前記画像検出工程により検出された複数の画像の特徴量を比較することにより、その画像が同一の個体を撮影したものであるかどうかを識別する画像識別工程と、
前記画像識別工程により識別された個体の個体情報を保存する個体情報保存工程と、
複数の個体情報の組み合わせを個体グループとして保存する個体グループ保存工程と、
複数の個体情報の中から個体情報を選択する個体情報選択工程と、
前記個体情報選択工程により選択された個体情報から、その個体が含まれる個体グループを検索する個体グループ検索工程と、
前記個体グループ検索工程により検索された個体グループを一覧表示するインターフェース工程とを備え、
前記インターフェース工程では、前記個体グループ検索工程により検索された個体グループに含まれる個体情報から、前記個体情報選択工程により指定された個体情報および重複した個体情報を除いた個体情報を一覧表示し、一覧表示された個体情報から所定の個体情報を指定して追加することにより、前記個体グループ検索工程による個体グループの絞り込みによる検索を可能とすることを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法を画像処理装置のコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−８６４１４（Ｐ２０１０−８６４１４Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６６４２（Ｐ２００８−２５６６４２）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]