画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
【課題】個々の画像データに対する情報付加の手間を軽減でき、かつ、正確な検索が可能な画像管理装置を提供する。
【解決手段】人物画像を含む複数枚の画像データは、写真データベース２０に格納される。人物画像検出部３１は、各画像データ中の人物画像（たとえば顔画像）領域を抽出する。この抽出された領域の画像に対して人物画像認識処理部３２による画像認識が行われ、認識結果は、写真データベース２０に格納される。使用者による認識結果の修正入力は、修正入力受付部３４によって受け付けられる。これを受けて、認識結果修正処理部３５は、写真データベース２０に格納されている認識結果を修正する。画像データの検索は、検索条件入力受付部３８を介して受け付けられた検索条件に従い、画像検索処理部３９によって実行される。
【解決手段】人物画像を含む複数枚の画像データは、写真データベース２０に格納される。人物画像検出部３１は、各画像データ中の人物画像（たとえば顔画像）領域を抽出する。この抽出された領域の画像に対して人物画像認識処理部３２による画像認識が行われ、認識結果は、写真データベース２０に格納される。使用者による認識結果の修正入力は、修正入力受付部３４によって受け付けられる。これを受けて、認識結果修正処理部３５は、写真データベース２０に格納されている認識結果を修正する。画像データの検索は、検索条件入力受付部３８を介して受け付けられた検索条件に従い、画像検索処理部３９によって実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人物画像を含む複数枚の画像データを管理するための画像管理装置、コンピュータをそのような画像管理装置として機能させるためのコンピュータプログラム、およびこのようなプログラムを記録したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
多数枚の写真データから特定の人物を写した写真データを検索するための従来技術は、下記特許文献１〜３に開示されている。
特許文献１および２には、予め個々の写真に名前、日付その他の情報を予め付加しておき、この情報を元に特定の写真を検索する技術が開示されている。しかし、個々の写真に名前等の情報を付加する作業が検索の前提となるため、検索機能の利用のための準備に膨大な手間がかかる。
【０００３】
一方、特許文献３には、画像認識技術を用いて個々の写真に自動的に情報付けを行い、その情報に基づいて目的の写真を検索する技術についての開示がある。しかし、複数枚の写真のなかにさまざまなポーズで写っている人物の自動認識は容易ではないから、自動で付与された情報の信頼性が低い。そのため、正確な検索結果を得難いという問題がある。
【特許文献１】特開平１１−０６６０８９号公報
【特許文献２】特開２００１−０８４２７４号公報
【特許文献３】特開平１１−２５００７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、この発明の目的は、個々の画像データに対する情報付加の手間を軽減でき、かつ、正確な検索が可能な画像管理装置を提供することである。
また、この発明の他の目的は、コンピュータをそのような画像管理装置として機能させるためのコンピュータプログラムを提供することである。
この発明のさらに他の目的は、そのようなコンピュータプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための請求項１記載の発明は、人物画像（たとえば顔画像）を含む複数枚の画像データを記憶するための画像データ記憶手段と、この画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段と、この人物画像認識手段による認識結果を各画像データに対応付けて記憶するための認識結果記憶手段と、前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段と、この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段とを含むことを特徴とする画像管理装置である。
【０００６】
この構成によれば、複数枚の画像データ中の人物画像が人物画像認識手段によって認識されて、認識結果記憶手段に記憶される。この認識結果に対する修正入力が、修正入力受付手段によって受け付けられる。修正入力受付手段によって修正入力が受け付けられると、その修正入力に従って、認識結果修正手段が認識結果を修正する。こうして、人物画像認識手段による人物画像認識処理を操作者の修正入力によって補う構成により、個々の画像データに対して、正確な情報を少ない手数で付加することができる。このようにして付加された情報を用いることにより、画像データの正確な検索が可能になる。
【０００７】
前記人物画像認識手段は、画像中の人物を特定できる任意の特徴に基づいて人物認識処理を行うものであってもよい。そのような特徴の例としては、画像中の人物の顔画像、人物の全体像、半身像、服装（着衣の色など）を挙げることができる。
前記修正入力受付手段は、複数の認識候補（候補人物）のうちのいずれかの選択入力を受け付けるものであってもよい。これにより、認識結果を容易に修正することができる。
【０００８】
また、前記修正入力受付手段は、前記人物画像認識手段による認識候補外の新規認識候補の入力を受け付ける新規登録手段をさらに含むことが好ましい。これにより、人物画像認識手段による認識が不可能な人物画像についても、適切な情報を付加することができる。
前記修正入力受付手段は、画像中の人物画像（好ましくは、使用者が選択する任意の人物画像）に対して、「付加情報なし」を登録する付加情報なし登録手段を含むことが好ましい。たとえば、見ず知らずの他人の人物画像について「付加情報なし」を登録しておくことにより、必要な人物画像の検索をより正確に行える。
【０００９】
請求項２記載の発明は、前記画像データ記憶手段に記憶されている画像データとともに前記人物画像認識手段による認識結果を表示装置に表示するための表示信号を生成する表示信号生成手段をさらに含むことを特徴とする請求項１記載の画像管理装置である。この構成によれば、操作者は、認識結果を視覚により確認しながら、その修正を行うことができる。
【００１０】
前記修正入力受付手段が、複数の認識候補のうちのいずれかの選択入力を受け付けるものである場合には、前記表示信号生成手段は、複数の認識候補を表示するための表示信号を生成するものであることが好ましい。
請求項３記載の発明は、人物画像の認識のための辞書データを記憶する辞書記憶手段と、前記認識結果修正手段によって修正された認識結果に基づき、前記辞書記憶手段の辞書データを修正する辞書修正手段とをさらに含み、前記人物画像認識手段は、前記辞書記憶手段に記憶されている辞書データに基づいて、画像データ中の人物画像を認識するものであることを特徴とする請求項１または２記載の画像管理装置である。
【００１１】
この構成によれば、認識結果が修正されると、人物画像の認識のための辞書データが修正される。これにより、操作者が修正操作を行うたびに、辞書データの精度が高められ、人物画像認識の精度が高くなっていく。これにより、画像データに対する情報の付加をさらに効率的に行うことができるようになる。
前記修正入力受付手段が、前記新規登録手段を含むものである場合には、前記辞書修正手段は、新規登録された新規認識候補のデータを前記辞書データに追加するものであることが好ましい。これにより、画像認識可能な認識候補を増やすことができる。こうして、新規登録操作によって、認識候補のデータを辞書データ中に蓄積していくことができるから、人物画像認識精度が高められ、使用者による修正入力作業を減らしていくことができる。
【００１２】
辞書データは、認識候補毎の特徴量データの集合である。特徴量データは、認識候補の画像データであってもよいし、そのような画像データから抽出された所定の特徴量を表すものであってもよい。
請求項４記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記辞書修正手段は、前記確定された認識結果に基づいて前記辞書記憶手段の辞書データを修正する手段を含むことを特徴とする請求項３記載の画像管理装置である。
【００１３】
この構成によれば、認識結果が確定されることにより、辞書データが修正される。より具体的には、或る人物画像に対する認識結果が確定されると、当該人物画像に対して同一の認識結果が得られる確率を高めるように、辞書データが修正される。さらに具体的に言えば、認識結果が確定された人物画像の特徴量データが、当該認識結果の認識候補に対応する辞書データとして辞書記憶手段に追記されるようになっていてもよい。このような辞書データを用いて人物画像認識処理を行うことにより、個々の認識候補について、様々なポーズや照明条件などでの特徴量データが蓄積されていくから、高精度な人物認識が可能になる。
【００１４】
前記認識結果確定手段は、使用者によって認識結果が追認されたことを表す追認完了データを所定の追認完了データ記憶手段に書き込むものであってもよい。たとえば、追認完了データは、認識結果の確定／未確定を表す「確定フラグ」であってもよい。
前記認識結果確定手段は、前記認識結果修正手段によって修正された認識結果を自動確定する手段を含むものであってもよい。この場合、確定された認識結果に基づいて辞書データを修正することにより、結果的に、認識結果修正手段によって修正された認識結果に基づく辞書データの修正の目的を達することができる。
【００１５】
また、認識結果を確定するための確定入力を受け付ける確定入力受付手段がさらに備えられていてもよい。この場合、前記認識結果確定手段は、前記確定入力受付手段によって確定入力が受け付けられたことに応答して、前記認識結果記憶手段に記憶されている認識結果を確定する手段を含むことが好ましい。
前記人物画像認識手段は、前記認識結果確定手段によって認識結果が確定された人物画像を、認識処理の対象から除外するものであることが好ましい。これにより、正しい認識結果に修正が加えられることを防止できる。
【００１６】
請求項５記載の発明は、前記認識結果記憶手段に記憶されている認識結果に基づいて画像データを検索する検索手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像管理装置である。
この構成によれば、画像データに付加された正確な情報に基づいて画像データを検索できるので、目的の人物画像を含む画像データを高精度に検索できるようになる。
【００１７】
請求項６記載の発明は、前記人物画像認識手段は、人物画像が認識候補の画像である尤度を複数の認識候補についてそれぞれ演算する尤度演算手段と、複数の人物画像を含む画像データ中において、最大尤度の認識候補が２以上の人物画像間で重複する場合に、前記尤度演算手段によって求められた尤度に従って認識候補の優先順位を定める優先順位設定手段とを含むことを特徴とする請求項１ないし５のいずれかに記載の画像管理装置である。
【００１８】
この構成によれば、人物画像認識手段は、認識候補ごとの尤度を計算し、その尤度に基づく順位で認識結果を定めることができる。一方、写真撮影された画像のように現実の情景を撮影した画像中には、原則として、同一人物の画像が重複して存在することはない。そこで、一つの画像データ中の２以上の人物画像について、各最大尤度の認識候補が重複する場合には、その最大尤度が互いに比較される。そして、最大尤度の大きい方の人物画像について、その認識候補が優先され、他の人物画像についての認識候補は２位以下の尤度の認識候補に変更される。こうして、合理的な認識結果を得ることができるから、使用者による認識結果修正の手数を少なくすることができる。
【００１９】
請求項７記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記修正入力受付手段は、使用者に対して、複数の認識候補の選択肢を提示する選択候補提示手段を含み、複数の人物画像を含む画像データ中において、いずれかの人物画像の認識結果が前記認識結果確定手段によって確定された場合に、当該画像データ中の認識結果未確定の人物画像について前記選択候補提示手段によって提示される認識候補の選択肢から、前記確定された認識結果を除外する認識候補除外手段をさらに含むことを特徴とする請求項１ないし６のいずれかに記載の画像管理装置である。
【００２０】
この構成では、使用者は、選択候補提示手段によって提示される認識候補の選択肢のなかから、いずれかを選択することによって、認識結果の修正を行うことができる。
写真撮影された画像のように現実の情景を撮影した画像中には、原則として、同一人物の画像が重複して存在することはない。そこで、画像データ中のいずれかの人物画像について、認識結果が確定されると、未確定人物画像については、認識候補の選択肢から当該確定された認識結果の認識候補が排除される。これにより、選択候補提示手段によって、合理的な選択候補のみが提示されることになるから、使用者は、認識候補の選択を行いやすく、また、入力ミスも少なくできる。これにより、画像データに対する情報の付加をより効率的に行うことができる。
【００２１】
請求項８記載の発明は、前記人物画像認識手段は、認識結果データとして、認識結果に対応するインデックス画像データを特定するインデックス画像特定データを生成するものであることを特徴とする請求項１ないし７のいずれかに記載の画像管理装置である。
この構成によれば、インデックス画像特定データが認識結果データとして生成される。これにより、インデックス画像特定データによって特定されるインデックス画像データを、画像データ中の人物画像に対する付加情報として使用することができる。こうして、より直感的な把握が可能な形式の情報（インデックス画像）を画像データに付加することができる。
【００２２】
この場合に、インデックス画像特定データに対応するインデックス画像を予め記憶するインデックス画像データ記憶手段が備えられていることが好ましい。さらに、請求項２の発明の構成の場合には、表示信号生成手段は、認識結果としてのインデックス画像特定データに対応するインデックス画像データをインデックス画像データ記憶手段から読み出し、そのインデックス画像データを認識結果として表示手段に表示するための表示信号を生成するものであることが好ましい。
【００２３】
前記インデックス画像データは、人物候補を識別可能な画像を表すデータであればよく、たとえば、人物候補の代表的な顔画像であってもよいし、アイコン、キャラクタその他の簡易表示画像であってもよい。
請求項９記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記画像データ記憶手段に記憶される画像データは、順序付けされており、前記人物画像認識手段は、前記順序付けに従って前記画像データ記憶手段に記憶されている複数枚の画像データに関して人物画像認識処理を実行するものであり、前記認識結果確定手段によって確定された認識結果に対応した画像データ以前の順位の画像データに関する認識結果を自動確定（未確定の認識結果をすべて確定）する認識結果自動確定手段をさらに含むことを特徴とする請求項１ないし８のいずれかに記載の画像管理装置である。
【００２４】
たとえば、操作者は、画像データの順に認識結果を閲覧して必要な修正を行っていく。その場合に、途中の画像データに関する認識結果については、逐一、これを確定する必要はない。すなわち、その後の順序の画像データに関する認識結果が確定されることによって、当該画像データ以前の順序の画像データに関する認識結果が自動確定される。こうして、操作者の入力の手間を著しく軽減することができる。
【００２５】
前記認識結果確定手段は、使用者によって認識結果が追認されたことを表す追認完了データを所定の追認完了データ記憶手段に書き込むものであってもよい。
請求項１０記載の発明は、人物画像を含む複数枚の画像データを管理するための画像管理装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータは、人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段、および人物画像の認識結果を記憶するための認識結果記憶手段を含み、前記コンピュータプログラムは、前記コンピュータを、前記画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段、この人物画像認識手段による認識結果を各画像データに対応付けて前記認識結果記憶手段に書き込む手段、前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段、および
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段として機能させるものであることを特徴とする画像管理用コンピュータプログラムである。
【００２６】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項１の画像管理装置を構成できる。
むろん、このコンピュータプログラムに関しても、前述の画像管理装置に関して説明した種々の変形を適用することができる。
請求項１１記載の発明は、請求項１０記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体である。
【００２７】
この記録媒体に記録されたコンピュータプログラムをコンピュータに読み取らせて実行させることにより、このコンピュータを前述のような画像管理装置として機能させることができる。
コンピュータプログラムは、どのような形式で記録媒体に記録されていてもよく、たとえば、圧縮した形式で記録されていてもよい。記録媒体には、磁気記録媒体、光記録媒体および光磁気記録媒体を含む任意の記録形式のものを適用できる。
【発明を実施するための最良の形態】
【００２８】
以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る画像管理装置として動作可能なコンピュータの基本的構成を説明するためのブロック図である。このコンピュータは、コンピュータ本体１と、このコンピュータ本体１に接続された入力操作部２と、同じくコンピュータ本体１に接続された表示装置（ディスプレイ）３とを備え、パーソナルコンピュータとしての形態を有している。入力操作部２および表示装置３は、コンピュータ本体１に対するマンマシンインタフェースを提供する。使用者は、表示装置３における表示を確認しながら、入力操作部２から必要な入力操作を行う。
【００２９】
入力操作部２の例としては、キーボード、ポインティングデバイス（たとえば、マウスまたはトラックパッド）、およびタッチパネル（表示装置３の表示画面上に配置されたもの）を挙げることができる。表示装置３は、たとえば、ＣＲＴ、液晶表示パネルその他の２次元表示装置からなる。
コンピュータ本体１は、ＣＰＵ５、ＲＯＭ６、ＲＡＭ７、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）８、ＣＤ−ＲＯＭドライブ９、ディプレイコントローラ１０、入力部コントローラ１１、通信インタフェース１２（ＵＳＢインタフェースやＬＡＮインタフェース）およびメモリカードスロット１３を備え、これらがバス１４に接続されている。
【００３０】
ＣＤ−ＲＯＭドライブ９には、このコンピュータを画像管理装置として動作させるためのコンピュータプログラム（デジタルフォトアルバムプログラム。画像管理用プログラム）を記録した記録媒体としてのＣＤ−ＲＯＭ１５を装填することができる。ＣＤ−ＲＯＭ１５をＣＤ−ＲＯＭドライブ９に装填すると、そこに記録されたコンピュータプログラムが読み取り可能となる。使用者が、入力操作部２を操作してインストール操作を行うと、コンピュータプログラムはハードディスクドライブ８の記憶領域に展開される。このコンピュータプログラムを実行することによって、当該コンピュータを画像管理装置として作動させることができる。すなわち、ＣＰＵ５は、ＲＯＭ６、ＲＡＭ７その他コンピュータ本体１内の構成要素と協働して、コンピュータプログラムを実行する。
【００３１】
このようなコンピュータプログラムは、ＣＤ−ＲＯＭの形態で提供される必要はなく、光磁気ディスクその他の任意の形式の記録媒体の形態で提供されてもよい。また、通信インタフェース１２に接続された通信回線を介してコンピュータプログラムを取得し、ハードディスクドライブ８の記憶領域に格納するようにしてもよい。
ディプレイコントローラ１０は、ＣＰＵ５からの指令に基づいて表示装置３における表示を制御するためのものである。また、入力部コントローラ１１は、入力操作部２からの入力を受け付けてＣＰＵ５に伝達するためのものである。
【００３２】
前記コンピュータプログラムを実行することにより、ＣＰＵ５は、ハードディスクドライブ８の記憶領域に、写真データベース２０（画像データ記憶手段、認識結果記憶手段および追認完了データ記憶手段）および認識辞書記憶部２１（辞書記憶手段）を形成する。写真データベース２０には、複数枚の写真画像のデータを蓄積することができる。すなわち、写真データベース２０には、写真画像を表す画像データと、その画像データに関連した付加データとを含む写真データが格納される。認識辞書記憶部２１には、画像データ中の人物を画像認識するための辞書データが格納される。この辞書データは、認識候補となる複数の人物の顔画像の特徴量データの群を含む。
【００３３】
特徴量データは、認識対象の画像データと照合すべき照合データであり、認識候補の顔画像を他人の顔画像と区別するために有用な特徴量を表すデータである。具体的には、特徴量データは、認識候補の顔画像データそのものであってもよいし、顔画像データに対して所定の処理を施して抽出されるデータであってもよい。一人の認識候補に対して、複数枚の顔画像に対応する特徴量データを辞書データとして蓄積することにより、認識精度を高めることができる。とくに、被写体の向き、表情、照明条件その他顔画像に変化を生じさせる様々な撮影条件下で撮影された複数の顔画像に対応する特徴量を蓄積することにより、認識精度を高めることができる。
【００３４】
写真データベース２０に格納される画像データは、たとえば、ディジタルスチルカメラによって撮影された写真画像データであり、主として人物を被写体としたものである。写真画像データは、ＵＳＢインタフェースやＬＡＮインタフェース等の通信インタフェース１２を介して取得されてもよいし、メモリカードスロット１３に装填可能なメモリカード、ＣＤ−ＲＯＭその他の記録媒体（図示省略）を介して取得されてもよい。
【００３５】
図２は、前記コンピュータプログラムの実行状態におけるコンピュータ本体１の構成を説明するためのブロック図である。すなわち、コンピュータ本体１は、前記コンピュータプログラムを実行することによって、図２に示された複数の機能処理部を実質的に有することになる。
これらの複数の機能処理部は、写真登録処理部３０、人物画像検出部３１、人物画像認識処理部３２（人物画像認識手段）、表示信号生成処理部３３（表示信号生成手段）、修正入力受付部３４（修正入力受付手段）、認識結果修正処理部３５（認識結果修正手段）、確定入力受付部３６（確定入力受付手段）、認識結果確定処理部３７（認識結果確定手段）、検索条件入力受付部３８、画像検索処理部３９（検索手段）、辞書修正処理部４０（辞書修正手段）、および認識候補除外処理部４１（認識候補除外手段）を含む。
【００３６】
写真登録処理部３０は、写真データベース２０に写真画像の画像データを登録する処理を実行する。
人物画像検出部３１は、写真データベース２０に格納されている画像データを読み出し、その画像データ中の人物の顔部分の画像（人物画像認識処理部３２での処理対象とすべき画像部分）を切り出す。より具体的には、人物画像検出部３１は、画像データ中における人物の顔部分を含む矩形領域を顔画像領域（切り出し枠）として特定し、その顔画像領域の原点座標（たとえば矩形領域の左上隅頂点の座標）および切り出し枠サイズ（たとえば矩形領域の縦横の長さ）を表すデータを生成する。これらのデータは、当該画像データと対応付けて写真データベース２０に格納される。
【００３７】
人物画像認識処理部３２は、人物画像検出部３１によって検出された顔画像領域に対して、人物認識処理を実行し、処理結果を写真データベース２０に書き込む。具体的には、人物画像認識処理部３２は、顔画像領域中の画像と認識辞書記憶部２１に格納されている辞書データとを照合し、当該顔画像領域中の顔画像の人物の候補を表す候補データを生成する。さらに詳しく説明すると、人物画像認識処理部３２は、認識辞書記憶部２１に特徴量データが格納されている複数の認識候補（候補人物）に関して、顔画像領域中の顔画像の人物である尤もらしさ表す尤度を演算する尤度演算部４３（尤度演算手段）と、この尤度演算部４３によって演算された尤度に基づいて認識候補の順位を定める優先順位設定部４４（優先順位設定手段）とを備えている。
【００３８】
優先順位設定部４４は、個々の顔画像領域中の顔画像に関して、原則として、尤度の高いものから順に認識候補に対する順位を付与する。しかし、同一画像データ中に２つ以上の顔画像領域が含まれている場合に、複数の顔画像領域において最大尤度を持つ認識候補が同一人物である場合もあり得る。このような場合には、その複数の顔画像領域における当該認識候補の尤度が比較され、尤度の大きい方の顔画像領域に対して当該認識候補が第１候補とされ、他の顔画像領域では他の認識候補が第１候補とされる。
【００３９】
表示信号生成処理部３３は、表示装置３に表示すべき画像に対応した表示信号を生成する。具体的には、画像データおよびこの画像データ中の人物の認識結果等の表示に必要な表示信号を生成する。
修正入力受付部３４は、人物画像認識処理部３２による認識結果の修正のための入力を受け付ける。すなわち、使用者が入力操作部２を操作して、認識結果の修正を指示するための指示入力を行うと、この指示入力が修正入力受付部３４によって受け付けられる。この修正入力受付部３４は、認識候補の選択肢をプルダウンリストボックスの形式で表示装置３に表示させて使用者に提示するための選択候補提示部４２（選択候補提示手段）を備えている。この選択候補提示部４２は、プルダウンリストボックスを表示装置３に表示させるための指令を表示信号生成処理部３３に与える。この指令を受けて、表示信号生成処理部３３は、プルダウンリストボックスの表示のための表示信号を生成する。
【００４０】
認識結果修正処理部３５は、修正入力受付部３４によって受け付けられた指示入力に従って、認識結果の修正を行う。より具体的には、認識結果修正処理部３５は、指示入力の対象の画像データに対応する認識結果データを写真データベース２０から読み出し、認識結果を変更するための処理を実行する。
確定入力受付部３６は、写真データベース２０に格納されている個々の顔画像領域に対応する認識結果を追認して確定させるための確定入力を受け付けるものである。すなわち、使用者が入力操作部２を操作して、認識結果の追認を指示する指示入力を行うと、この指示入力が確定入力受付部３６によって受け付けられる。
【００４１】
個々の画像データに対して、認識結果が使用者によって追認されたか（確定済みか）または追認されていないか（未確定か）を表す追認完了データとしての確定フラグが、写真データベース２０に記憶されるようになっている。人物画像認識処理部３２による認識処理の直後には、この確定フラグは、「未確定」を表す値とされている。
認識結果確定処理部３７は、写真データベース２０に記録されている個々の顔画像領域ごとの確定フラグを「確定」に変更する処理を行う。この認識結果確定処理部３７は、確定入力受付部３６によって確定入力が受け付けられたことに応答して、確定フラグを「確定」に書き換える。また、認識結果確定処理部３７は、認識結果修正処理部３５によって認識結果が修正された場合にも、その修正対象の顔画像領域に対応した確定フラグを「確定」に書き換える。この確定フラグの値が「確定」となっている顔画像領域は、人物画像認識処理部３２の処理対象から除外される。
【００４２】
さらに、認識結果確定処理部３７は、認識結果自動確定処理部４５（認識結果自動確定手段）を備えている。認識結果自動確定処理部４５は、一定の条件が満たされた場合に、認識結果が未確定の顔画像領域に対応する確定フラグを「確定」に自動的に変更する。
より具体的に説明すると、写真データベース２０に格納された複数枚の画像データは、所定の基準で順序付けされる。たとえば、それらは写真の撮影日付順にソートされていてもよいし、写真データベース２０への登録順にソートされていてもよいし、画像データの最終更新日時順にソートされていてもよいし、画像データのデータ名（ファイル名）によってソートされていてもよい。このような場合に、使用者が、ある画像データに関して確定／または修正操作を行うと、認識結果自動確定処理部４５は、当該画像データ以前の順位の画像データ中に存在する認識結果未確定のすべての顔画像領域に関して、確定フラグを「確定」に変更する。
【００４３】
検索条件入力受付部３８は、使用者が入力操作部２を操作して指定する検索条件を受け付ける。検索条件としては、人物画像認識処理部３２によって認識される認識候補の識別情報を設定できる。この識別情報は、写真データベース２０に認識結果として登録される情報であり、典型例は、認識候補の名前（姓、名、通称等）である。
画像検索処理部３９は、検索条件入力受付部３８によって受け付けられた検索条件に従って、画像データを検索する。たとえば、使用者が検索条件として、いずれかの認識候補の名前を指定すると、画像検索処理部３９は、その認識候補の名前を認識結果とする顔画像領域を含む画像データを抽出する。
【００４４】
辞書修正処理部４０は、認識結果確定処理部３７による確定処理を受けて、認識辞書記憶部２１に記憶されている辞書データを修正する。より具体的には、認識結果確定処理部３７によって認識結果が確定されると、その確定された認識結果と顔画像データ（顔画像領域中の画像データ）との対応関係が辞書データに反映させられる。すなわち、当該認識結果に相当する認識候補について、当該顔画像データに対応した特徴量データが辞書データに追加される。こうして、認識処理を行っていくうちに、辞書データの精度が高められていく。
【００４５】
とくに、この実施形態では、認識結果修正処理部３５によって認識結果が修正されると、その認識結果が確定されるようになっている。そのため、認識結果の修正を、辞書データに反映させることができる。これにより、辞書データの精度が効率的に高められていくようになっている。
図３は、写真データベース２０に格納されるデータの構造を説明するための図解図である。写真データベース２０には、複数枚の写真に対応した写真データｉ（ｉ＝１，２，……，Ｎ。Ｎは自然数であり、写真データの総数を表す。）が格納されているものとする。この場合、各写真データｉは、写真画像に対応した画像データと、この画像データに対応付けられた付加データとを含む。付加データは、当該画像データ中で検出された顔画像領域の個数Ｍ（Ｍは自然数）を表す個数データと、個々の顔画像領域毎の個別領域データｊ（ｊ＝１，２，……，Ｍ）とを含む。個別領域データｊは、当該顔画像領域の座標、切り出し枠サイズ、認識結果データ、認識候補データおよび確定フラグを含む。認識結果データは、認識結果の人物を識別するための識別情報であり、たとえば、当該人物の名前であってもよい。また、認識候補データは、少なくとも１つ（通常は複数）の認識候補に関して、当該認識候補を特定するための識別情報と、当該顔画像領域中の人物が当該認識候補である尤度を表す尤度データとを含む。
【００４６】
人物画像認識処理部３２による認識処理の直後の状態では、第１認識候補データと認識結果データは一致している。認識結果修正処理部３５による修正処理は、認識結果データを書き換える処理である。
図４は、表示装置３における表示例を示す図解図である。この例では、表示ウィンドウ５０内に、写真画像５１，５２，５３，５４が配列されて表示されている。これらの写真画像５１〜５４は、この順に順位付けされている。そして、図４は、三番目の写真画像５３に対して、使用者が認識結果の修正操作を行っている状況を示している。
【００４７】
表示ウィンドウ５０の右辺部には、スクロールバー５５が配置されている。このスクロールバー５５をポインティングデバイスで操作するか、あるいはキーボードから所定のスクロール操作を行うことによって、写真画像５１〜５４より前に順位付けされた写真画像や、これらよりも後に順位付けされた写真画像を表示ウィンドウ５０に表示させることができる。また、表示ウィンドウ５０の右上隅には、当該プログラムを終了させるための終了ボタン５６が配置されている。
【００４８】
図４に表された状態の表示ウィンドウ５０内において、第１の写真画像５１は、一人の人物Ａの全身像を含んでいる。この人物Ａの顔部分を含む矩形の顔画像領域６１が、人物画像検出部３１によって検出される。この顔画像領域６１の近傍には、確定された認識結果６２が表示されている。この例では、認識結果６２は、人物Ａの名前を表す文字列「Ａさん」である。顔画像領域６１内の顔画像データに対応する特徴量データは、確定された認識結果６２に対応した認識候補「Ａさん」に関する辞書データとして、認識辞書記憶部２１に書き込まれる。
【００４９】
第２の写真画像５２は、二人の人物ＡおよびＢの全身像を含んでいる。人物画像検出部３１は、これらの人物ＡおよびＢの顔画像部分をそれぞれ含む２つの顔画像領域６３，６４を検出する。これらの顔画像領域６３，６４の近傍には、それぞれ確定された認識結果６５，６６が表示されている。認識結果６５，６６は、それぞれ、「Ａさん」、「Ｂさん」という文字列である。顔画像領域６３，６４内の顔画像データに対応する特徴量データは、確定された認識結果６５，６６に対応した認識候補「Ａさん」、「Ｂさん」にそれぞれ関連付けた辞書データとして、認識辞書記憶部２１に書き込まれる。
【００５０】
第３の写真画像５３は、一人の人物６７の全身像を含む。人物画像検出部３１は、この人物６７の顔部分を含む矩形の顔画像領域６８を抽出する。この顔画像領域６８の近傍に、認識候補６９が表示される。認識候補６９は、プルダウンリストボックス７０の形態で表示される。すなわち、初期状態では、プルダウンリストボックス７０は、最大尤度の一人の候補のみが表示された状態である。この状態から、右端部のプルダウンボタン７１をポインティングデバイスで操作（クリック）することによって、修正候補を表示させることができるようになっている。
【００５１】
この例では、最大尤度の候補は「Ａさん」であり、２番目に尤度の高い候補は「Ｂさん」である。最大尤度の候補「Ａさん」を選択する操作は、自動認識された認識結果を確定する確定操作となる。また、最大尤度以外の候補を選択する操作は、自動認識された認識結果を修正する修正操作となる。確定操作または修正操作が行われると、その認識結果が確定状態となる。これにより、顔画像領域６８内の顔画像データに対応する特徴量データは、当該確定された認識結果に対応した認識候補に関する辞書データとして、認識辞書記憶部２１に記憶されることになる。
【００５２】
プルダウンリストボックス７０には、認識候補のほかに、さらに、「新規登録」（新規登録手段）および「登録なし」（付加情報なし登録手段）という選択肢が用意されている。
「新規登録」は、認識辞書記憶部２１の辞書データ中に認識候補として登録されていない人物を登録する操作を始めるための選択肢である。「新規登録」を選択すると、プルダウンリストボックス７０の「新規登録」欄が編集可能なテキスト入力エリアとなる。このテキスト入力エリアに、認識候補の識別情報（名前など）を入力操作部２から入力することによって、顔画像領域６８の認識結果が修正されて確定される。それとともに、顔画像領域６８の顔画像データに対応する特徴量データが、当該新たに入力された認識候補（たとえば「Ｃさん」）に関連付けられた辞書データとして、認識辞書記憶部２１に格納される。
【００５３】
「登録なし」は、たとえば、面識のない人物が写っている場合に、その人物の認識結果として選択される。より一般的には、後に検索する対象となる蓋然性が極めて低い人物の顔画像領域に対しては、認識結果を「登録なし」（付加情報なし）とすることが適切である。
第４の写真画像５４は、４人の人物７５，７６，７７，７８の全身像を含んでいる。これらの人物７５〜７８のうち、人物７５，７６および７８に対しては、顔画像領域８０，８１，８３が検出されていて、それらに対応して認識候補がプルダウンリストボックス８５，８６，８８の形式で表示されている。人物７７については、顔画像領域が未検出であるが、ポインティングデバイスを用いて人物７７をポイントすることにより、この人物７７に対する付加データを事後的に登録することができる。
【００５４】
第１〜第３の写真画像５１〜５３のいずれかのなかに、認識結果が未確定の状態の顔画像領域が存在している場合を想定する。この場合に、使用者が、第４の写真画像５４中の顔画像領域に対して、認識結果を修正する修正操作または認識結果を確定する確定操作を行うと、認識結果自動確定処理部４５の働きによって、第１〜第３の写真画像５１〜５３中の未確定状態の認識結果が確定させられる。
【００５５】
もっとも、認識結果が確定された後に、当該確定済みの認識結果を修正することも可能である。たとえば、第１の写真画像５１の顔画像領域６１の近傍に表示された認識結果６２をポイントして所定の操作（クリック）を行うと、プルダウンリストボックスの形式で認識候補のリストが表示される。このリスト中から適切な認識候補（「新規登録」および「登録なし」を含む。）を選択することができる。
【００５６】
前述のとおり、認識結果に対して修正もしくは確定操作または新規登録操作を実行すると、認識辞書記憶部の辞書データが更新される。そこで、この更新された辞書データを用いて、修正もしくは確定または新規登録のための操作が実行された写真画像よりも後の順位の写真画像に対して、改めて、人物画像認識処理が行われる。
図５は、認識結果修正時のより詳細な処理を説明するための図である。この図５では、写真画像９０中に、２人の人物９１および９２の全身像が含まれており、これらの人物９１，９２の顔画像領域９３，９４が検出されている。人物９１については、認識結果９５が「Ｂさん」で確定済みである。この場合、人物９２の顔画像領域９４についての認識候補を示すプルダウンリストボックス９６では、「Ｂさん」がリスト中から除外されている。
【００５７】
これは、同一写真中には、原則として、同一人物の顔画像が２回現れることはないという事実に基づく処理であり、認識候補除外処理部４１（図２参照）の働きによる。これにより、写真画像中の各顔画像領域に対する人物認識を適正に行うことができ、また、認識結果の修正作業もスムーズに行える。
図６は、認識候補の表示順に関する処理の詳細を説明するための図である。この図６では、写真画像１００中に、３人の人物１０１，１０２，１０３の全身像が含まれており、これらの人物１０１，１０２，１０３の顔画像領域１０４，１０５，１０６が検出されている。これらの顔画像領域１０４，１０５，１０６に含まれる画像に基づく人物画像認識処理によって演算された尤度の一例が、下記表１に示されている。
【００５８】
【表１】
【００５９】
人物画像認識処理の直後には、各顔画像領域１０４，１０５，１０６に対して、第１位の認識候補（すなわち、最大尤度の認識候補）がプルダウンリストボックス１０７，１０８，１０９に表示される。もしも、第１位の認識候補が複数の顔画像領域において重複する場合には、尤度が大きい方が優先される。
たとえば、図６の例において、顔画像領域１０４の認識結果を「Ａさん」から「Ｂさん」に変更した場合の処理について説明する。当初の認識結果では、顔画像領域１０５の認識候補として、プルダウンリストボックス１０８に文字列「Ｂさん」が表示されている。しかし、顔画像領域１０４の認識結果が「Ｂさん」に修正されて確定されることにより、顔画像領域１０５の認識候補「Ｂさん」は必然的に誤りとなる。同一写真画像中に同一人物が２度現れることは原則としてあり得ないからである。
【００６０】
そこで、優先順位設定部４４は、顔画像領域１０５，１０６の認識候補を修正する。この場合、表１を参照すると、顔画像領域１０５の第２位の認識候補は「Ｃさん」であるが、これは顔画像領域１０６の第１位の認識候補と重複する。そこで、優先順位設定部４４は、顔画像領域１０５，１０６における認識候補「Ｃさん」に対応した尤度を比較する。表１を参照すれば、顔画像領域１０５における認識候補「Ｃさん」の尤度の方が大きい。そこで、優先順位設定部４４は、顔画像領域１０５の認識候補を「Ｃさん」に変更する。それとともに、優先順位設定部４４は、顔画像領域１０６の認識候補を、確定済みの「Ｂさん」と、顔画像領域１０５の認識候補とすることとした「Ｃさん」とを除いたうちで、最も尤度の高い認識候補「Ａさん」に変更する。むろん、認識候補除外処理部４１の働きによって、顔画像領域１０５，１０６の認識候補の選択肢からは、確定済みの「Ｂさん」は除かれる。
【００６１】
図７は、処理の流れを説明するためのフローチャートである。まず、使用者は、入力操作部２を操作することによって、写真データベース２０に写真画像の画像データを登録する（ステップＳ１）。入力操作部２の操作に応答して、写真登録処理部３０は、たとえば、ハードディスクドライブ８の記憶領域内、ＣＤ−ＲＯＭ、メモリカードその他の外部記録媒体、またはネットワーク上の所定の場所に予め格納してある画像データを写真データベース２０に登録する。より具体的には、画像データを含む写真データ（図３参照）が登録すべき画像データの数だけ作成されて、写真データベース２０に登録される。
【００６２】
次に、人物画像検出部３１は、写真データベース２０に登録された画像データに対して、顔画像領域検出処理を実行する（ステップＳ２）。このとき、顔画像領域検出処理の対象とされるのは、顔画像領域検出処理が未了の画像データである。こうして、顔画像領域検出処理が未了であるすべての画像データ中の顔画像領域が抽出され、各顔画像領域の座標および切り出し枠サイズを表すデータが写真データベース２０に登録される。
【００６３】
次いで、ステップＳ２の顔画像領域検出処理によって検出されたすべての顔画像領域に対して、人物画像認識処理部３２による人物画像認識処理が実行される（ステップＳ３）。これにより、各顔画像領域に対する認識候補データが写真データベース２０に登録される。また、認識結果は、写真画像とともに表示装置３に表示される（ステップＳ４）。
人物画像認識処理（ステップＳ３）の終了後に、使用者が、入力操作部２を操作して、表示装置３の表示画面上にいずれかの位置をポインティングデバイスで操作（クリック）すると（ステップＳ５）、ＣＰＵ５は、プログラムを終了するかどうかを判断する（ステップＳ６）。すなわち、画面上の終了ボタン５６（図４参照。ウィンドウ内に別途表示される終了ボタンであってもよい。）が操作されたかどうかにより、プログラムを終了するかどうかを判断する。
【００６４】
プログラムを終了すべきときは、表示信号生成処理部３３は、認識結果を「確定する」か「確定しない」かを使用者に選択させるための選択画面を表示装置３に表示させるための信号を生成する（ステップＳ７）。この選択画面は、たとえば、「確定する」ボタンおよび「確定しない」ボタンを含むウィンドウであってもよい。
使用者が、入力操作部２から、認識結果の確定／非確定の選択操作を行うと（ステップＳ８）、その選択操作に応じた処理がＣＰＵ５によって実行される（ステップＳ９）。すなわち、「確定する」ボタンが操作されると（ステップＳ９のＹＥＳ）、この操作が確定入力受付部３６によって受け付けられ、認識結果確定処理部３７は、未確定の認識結果のすべてを確定させる（ステップＳ１０）。すなわち、「未確定」の確定フラグがすべて「確定」に変更される。これにより、処理が終了する。「確定しない」ボタンが操作されたときには（ステップＳ９のＮＯ）、ステップＳ１０の処理を迂回して処理を終了する。この場合には、認識結果が未確定の顔画像領域の確定フラグは「未確定」のままとなる。
【００６５】
一方、ステップＳ５において、操作位置（クリック位置）が終了ボタン５６以外の場所（ただし、ウィンドウ５０内）であるときには、前回の操作位置（クリック位置）と同じ写真画像内の位置かどうかが判断される（ステップＳ１１）。操作位置が同一写真画像内でなければ、認識結果自動確定処理部４５は、その写真画像よりも前に順位付けされているすべての写真画像内のすべての顔画像領域について、確定フラグを「確定」に変更する自動確定処理を行う（ステップＳ１２）。操作位置が同一写真画像内でなければ、ステップＳ１２の認識結果自動確定処理は省かれる。
【００６６】
次に、ＣＰＵ５は、操作位置（クリック位置）が、認識候補表示位置かどうかを判断する（ステップＳ１３）。操作位置が認識結果表示位置（前述のプルダウンリストボックス）の場合には、ＣＰＵ５は、「候補選択ボタンクリック時処理」を実行する（ステップＳ１４）。操作位置が認識結果表示位置でなければ、ＣＰＵ５は、顔画像領域が検出された位置以外の位置がクリックされたときには、「未検出位置クリック時処理」を実行する（ステップＳ１５）。
【００６７】
図８は、「候補選択ボタンクリック時処理」（図７のステップＳ１４）の詳細を説明するためのフローチャートである。認識結果は、前述のとおり、選択候補提示部４２の働きによって、プルダウンリストボックスの形式で表示される（図４等参照）。そして、このプルダウンリストボックスがクリックされることにより、認識候補を含む選択肢を示すプルダウンリストが展開されて表示される（ステップＳ２１）。前述のとおり、認識候補は、基本的には、尤度の順序で表示される。そして、認識候補のほかに、「新規登録」および「登録なし」も選択肢として表示されることになる。
【００６８】
使用者が、入力操作部２を操作して、いずれかの選択肢を選択する操作（クリック）を行うと（ステップＳ２２）、この操作が、修正入力受付部３４または確定入力受付部３６によって受け付けられ、認識結果修正処理部３５または認識結果確定処理部３７に受け渡される。
認識結果修正処理部３５または認識結果確定処理部３７は、いずれかの認識候補が選択された場合には（ステップＳ２３のＹＥＳ）、当該顔画像領域に対応する認識結果を当該選択された認識候補に確定する処理を行う。より具体的には、第１認識候補が選択されたときには（ステップＳ２４のＹＥＳ）、この選択入力が確定入力受付部３６によって受け付けられ、認識結果確定処理部３７は、当該顔画像領域の認識結果（第１認識候補に等しい。）を確定するために、確定フラグの値を「確定」に書き換える（ステップＳ２６）。一方、第２位以下の認識候補が選択されたときには（ステップＳ２４のＮＯ）、この選択入力が修正入力受付部３４によって受け付けられ、認識結果修正処理部３５は、当該選択された認識候補を、当該顔画像領域の認識結果として写真データベース２０に書き込む（ステップＳ２５）。さらに、認識結果修正処理部３５による修正処理の通知を受けて、認識結果確定処理部３７は、当該顔画像領域の確定フラグの値を「確定」に書き換える（ステップＳ２６）。
【００６９】
一方、「新規登録」が選択された場合には（ステップＳ２３のＮＯおよびステップＳ２７のＹＥＳ）、表示信号生成処理部３３の働きによって、使用者が当該顔画像の人物の名前その他の識別情報を入力するためのテキスト入力エリアが表示装置３に表示される（ステップＳ２８）。このテキスト入力エリアに対して、使用者が入力操作部２を操作して、名前その他の識別情報を入力すると（ステップＳ２９）、認識結果修正処理部３５は、当該入力された識別情報を当該顔画像領域の認識結果として写真データベース２０に登録する（ステップＳ３０）。この登録の通知を受けて、認識結果確定処理部３７は、当該顔画像領域に対応した確定フラグの値を「確定」に書き換える（ステップＳ２６）。
【００７０】
さらに、「登録なし」が選択された場合（ステップＳ２３のＮＯおよびステップＳ２７のＮＯ）には、認識結果修正処理部３５は、その顔画像領域の認識結果を「登録なし」として写真データベース２０に書き込み（ステップＳ３１）、認識結果確定処理部３７は、確定フラグの値を「確定」に書き換える（ステップＳ３２）。
ステップＳ２６において、写真データベース２０の認識結果が確定された後には、辞書修正処理部４０によって、認識辞書記憶部２１の辞書データの修正処理が行われる（ステップＳ３３）。すなわち、辞書修正処理部４０は、確定された認識結果に該当する認識候補に関連する辞書データとして、当該顔画像領域中の画像の特徴量データを認識辞書記憶部２１に追加する。
【００７１】
その後、ＣＰＵ５は、後述の「同一写真内重複時処理」を実行し（ステップＳ３４）、さらに、修正された辞書データを用いて、処理中の写真画像以降の未確定のすべての顔画像領域に対して、人物画像認識処理を実行する（ステップＳ３５）。
図９は、「未検出位置クリック時処理」（図７のステップＳ１５）の詳細を説明するためのフローチャートである。この処理は、顔画像領域が未検出の任意の位置に検索用の付加データを付与するための処理である。使用者が写真画像中において顔画像が検出されていない位置を選択する操作（クリック）を行うと、選択候補提示部４２は、当該操作位置（クリック位置）に、辞書データに登録されている複数の認識候補、「新規登録」および「登録なし」を選択肢として含むプルダウンリストボックスを展開された形式で表示させるための指令を表示信号生成処理部３３に与える（ステップＳ４０）。この状態で、使用者は、入力操作部２を操作して、いずれかの選択肢を選択する（ステップＳ４１）。操作された選択肢がいずれかの認識候補であれば（ステップＳ４２のＹＥＳ）、認識結果修正処理部３５は、クリック位置（図７のステップＳ５）の座標を含み、当該選択された認識候補を認識結果（検索用付加データ）として有する個別領域データを生成して、写真データベース２０に登録する（ステップＳ４３）。この登録の通知を受けて、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」とする（ステップＳ４４）。
【００７２】
一方、「新規登録」の選択肢が選択された場合には（ステップＳ４２のＮＯおよびステップＳ４５のＹＥＳ）、修正入力受付部３４は、新規登録される認識候補の識別情報を入力させるためのテキスト入力エリアを表示装置３の表示画面上に表示させる（ステップＳ４６）。このテキスト入力エリアに、使用者が入力操作部２の操作によって名前等の識別情報を入力すると（ステップＳ４７）、認識結果修正処理部３５は、図７のステップＳ５でのクリック位置の座標を含み、当該識別情報を認識結果とする個別領域データを生成して、写真データベース２０に登録する（ステップＳ４８）。この登録の通知を受けて、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」に変更する（ステップＳ４４）。
【００７３】
「登録なし」の選択肢が選択された場合には（ステップＳ４２のＮＯおよびステップＳ４５のＮＯ）、認識結果修正処理部３５は、当該クリック位置（図７のステップＳ５）の座標を含み、認識結果を「登録なし」とした個別領域データを生成し、これを写真データベース２０に登録する（ステップＳ４９）。また、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」とする（ステップＳ４４）。
【００７４】
図１０は、人物画像認識処理の詳細（図７のステップＳ３および図８のステップＳ３５）を説明するためのフローチャートである。人物画像認識処理部３２は、確定フラグの値が「未確定」の顔画像領域を含む写真画像を順に処理し、顔画像領域中の画像を認識辞書記憶部２１に記憶されている辞書データと照合することによって、人物画像を認識していく（ステップＳ５１）。これにより、辞書データに格納されているすべての認識候補に対して、当該顔画像領域中の人物が当該認識候補である尤度が演算される。演算された認識候補ごとの尤度は、写真データベース２０の当該顔画像領域に対応する個別領域データ中に、認識候補データとして登録される。
【００７５】
次に、後述の「同一写真内重複時処理」（ステップＳ５２）が行われる。
人物画像認識処理部３２は、１枚の写真画像中のすべての顔画像領域について同様の処理を行うと、当該写真画像が最後の写真画像かどうかを調べ（ステップＳ５３）、最後の写真画像でなければ、次の写真画像に対して同様の処理を繰り返す（ステップＳ５４）。こうして、最後の写真まで処理が進み、その処理が終了すると（ステップＳ５３のＹＥＳ）、表示信号生成処理部３３は、認識結果を表示装置３に表示させるための表示信号を生成する（ステップＳ５５）。これにより、人物画像認識処理が終了する。
【００７６】
図１１は、「同一写真内重複時処理」（図８のステップＳ３４および図１０のステップＳ５２）の詳細を説明するためのフローチャートである。優先順位設定部４４は、同一写真内に同一人物の認識結果がある場合（ステップＳ６０）、これを修正するための処理を実行する。すなわち、たとえば、優先順位設定部４４は、顔画像領域検出の順序で相前後する一対の顔画像領域について、認識結果が重複する場合に（ステップＳ６０のＹＥＳ）、そのうちの一方が確定しているかどうかを判断する（ステップＳ６１）。一方が確定済みであれば、確定していない方の顔画像領域について、同一写真内で確定された顔画像領域の認識結果として選択されていない認識候補のうちで、最も尤度の高い認識候補に認識結果を変更する（ステップＳ６２）。
【００７７】
一方、認識結果が重複する場合に（ステップＳ６０のＹＥＳ）、そのいずれもが未確定の場合には、それらの認識候補の尤度を比較し、尤度が高い方の認識結果を優先し、尤度が低い方の認識結果については、次に尤度の高い認識候補を認識結果とする修正を行う（ステップＳ６２）。もしも、認識結果が重複し、それらの尤度が等しい場合には、たとえば、先に顔画像検出処理が行われた方（したがって人物認識処理が先に行われた方）の認識結果を優先することとし、後に処理された顔画像領域についての認識結果を修正すればよい。
【００７８】
以上のようにこの実施形態によれば、コンピュータによる人物画像認識処理を行い、その認識結果を入力操作部２の操作によって使用者が修正する構成となっている。そのため、人物画像認識処理が完全である必要はなく、使用者による修正入力によって、すべての写真画像に対して正確な付加情報（人物情報）を付与することができる。また、コンピュータによる人物画像認識処理を利用することにより、使用者の入力負担が軽減されており、少ない労力で正確な付加情報を写真画像に対して付加することができる。このようにして正確に付与された付加情報を検索条件として設定することにより、正確な検索処理を実行することができる。
【００７９】
さらに、この実施形態では、認識結果が使用者によって確定または修正されることによって、認識辞書記憶部２１の辞書データが修正されるようになっている。これにより、写真画像を蓄積していけばいくほど、人物画像認識処理の精度が高められていく仕組みになっている。これにより、使い込むほど、人物画像認識処理結果（認識結果）の修正作業が少なくなっていき、使用者の労力を低減していくことができる。
【００８０】
また、同一写真画像中には同一人物の顔画像が表れることがないという事実に基づいて、認識結果の自動修正が行われるので、合理的な認識結果を提供することができる。これにより、使用者の修正負担を一層軽減することができるようになっている。
さらには、いずれかの写真画像データに対して確定または修正処理を実行すると、それ以前の順位の写真画像データ中の顔画像領域に関しては、認識結果が自動的に確定するようになっている。したがって、使用者は、すべての顔画像領域に関して認識結果を確定する操作を行う必要がなく、認識結果の修正が必要な画像についてだけ修正操作を行えばよい。これにより、使用者の操作負担をより一層軽減できるようになっている。
【００８１】
認識結果の確定は、人物画像認識処理部３２による処理対象を特定する目的で行われる。すなわち、人物画像認識処理部３２は、認識結果が未確定の顔画像領域に関してのみ人物画像認識処理を実行する。これにより、人物画像認識処理を繰り返し実行するうちに、正しい認識結果が誤った認識結果に変更されてしまうことを防ぐことができる。
以上、この発明の一実施形態について説明したが、この発明は、さらに他の形態で実施することも可能である。
【００８２】
たとえば、前述の実施形態では、認識結果として認識候補の名前が登録されるようにしているが、代表的な顔画像データを特定するデータを、認識結果データとして、写真データベース２０に登録するようにしてもよい。具体的には、図２に仮想線で示すように、認識候補の代表的な顔画像を表すインデックス画像データを写真データベース２０に登録するようにすればよい。すなわち、写真データベース２０をインデックス画像データ記憶手段として用いることとし、インデックス画像登録受付部１３１およびインデックス画像登録処理部１３２を設けておく。使用者が、入力操作部２に対して、インデックス画像の登録のための所定の入力操作を行うと、この入力がインデックス画像登録受付部１３１によって受け付けられ、インデックス画像登録処理部１３１の働きによって、インデックス画像データが写真データベース２０に登録される。
【００８３】
これにより、たとえば、図４に示すような画面において、所定の入力操作を行うことで、顔画像領域６１内の顔画像データを、認識候補「Ａさん」のインデックス画像データとして写真データベース２０に登録することができる。また、新規登録されるときの顔画像領域内のデータをインデックス画像データとして写真データベース２０に登録するようにしてもよい。
【００８４】
認識結果としては、インデックス画像データを特定する識別データが人物画像認識処理部３２によって生成されて、個別領域データ中に登録される。この場合、表示信号生成処理部３３は、写真データベース２０からインデックス画像データを読み出して、各顔画像領域の近傍に、当該識別データによって特定されるインデックス画像データを表示するための表示信号を生成することが好ましい。また、選択候補のリストについても、インデックス画像データを用いて表示するようにしてもよく、さらに、検索条件の設定もインデックス画像データを用いて行えるようにしてもよい。
【００８５】
このような構成により、直感的な操作によって、認識結果を把握し、その修正を行い、また、必要な写真画像を検索することができる。また、キーボード等の熟練を要する入力装置を用いずに、ポインティングデバイスのみの操作で写真画像の管理を行うことも可能となる。
さらに、前述の実施形態では、顔画像領域を検出して、顔画像認識処理によって人物の認識を行うようにしているが、人物認識処理はこれに限定されるものではない。たとえば、人物の着衣の色に基づく認識も可能である。この場合には、人物画像検出部３１による処理は、人物の着衣の部分の画像を切り出す処理となる。
【００８６】
また、前述の実施形態では、写真画像中に人物の全身像が写っている例を挙げているが、むろん、写真画像中に必ずしも人物の全身像が写っている必要はない。
さらに、前述の実施形態では、パーソナルコンピュータ上で画像管理用プログラムを実行する例について説明したが、ウェブ（インターネットおよびイントラネットに代表されるネットワーク上で用いられるドキュメントシステム）上のアプリケーションプログラムによって、この発明の画像管理装置がネットワークに置かれたコンピュータであるサーバー上で構成されてもよい。この場合、使用者は、当該ネットワークに接続された別のコンピュータであるクライアント装置を操作することによって、写真画像の登録、認識結果の修正・確定、新規認識候補の登録といった操作をネットワークを介して行うことができる。
【００８７】
むろん、この発明の画像管理装置は、汎用コンピュータを用いて構成される必要はなく、写真画像のストックおよび閲覧が可能な専用装置として構成することもできる。このような専用装置は、たとえば、写真画像印刷サービス店の店頭に設置して、写真画像プリント注文システムに組み込んで用いることができる。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
【図面の簡単な説明】
【００８８】
【図１】この発明の一実施形態に係る画像管理装置として動作可能なコンピュータの基本的構成を説明するためのブロック図である。
【図２】前記コンピュータプログラムの実行状態におけるコンピュータ本体の機能的な構成を説明するためのブロック図である。
【図３】写真データベースに格納されるデータの構造を説明するための図解図である。
【図４】表示装置における表示例を示す図解図である。
【図５】認識結果修正時のより詳細な処理を説明するための図である。
【図６】認識候補の表示順に関する処理の詳細を説明するための図である。
【図７】処理の流れを説明するためのフローチャートである。
【図８】「候補選択ボタンクリック時処理」（図７のステップＳ１４）の詳細を説明するためのフローチャートである。
【図９】「未検出位置クリック時処理」（図７のステップＳ１５）の詳細を説明するためのフローチャートである。
【図１０】人物画像認識処理の詳細（図７のステップＳ３および図８のステップＳ３５）を説明するためのフローチャートである。
【図１１】「同一写真内重複時処理」（図８のステップＳ３４および図１０のステップＳ５２）の詳細を説明するためのフローチャートである。
【符号の説明】
【００８９】
１ コンピュータ本体
２ 入力操作部
３ 表示装置
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ ハードディスクドライブ
９ ＣＤ−ＲＯＭドライブ
１０ ディプレイコントローラ
１１ 入力部コントローラ
１２ 通信インタフェース
１３ メモリカードスロット
１４ バス
１５ ＣＤ−ＲＯＭ
２０ 写真データベース
２１ 認識辞書記憶部
３０ 写真登録処理部
３１ 人物画像検出部
３２ 人物画像認識処理部
３３ 表示信号生成処理部
３４ 修正入力受付部
３５ 認識結果修正処理部
３６ 確定入力受付部
３７ 認識結果確定処理部
３８ 検索条件入力受付部
３９ 画像検索処理部
４０ 辞書修正処理部
４１ 認識候補除外処理部
４２ 選択候補提示部
４３ 尤度演算部
４４ 優先順位設定部
４５ 認識結果自動確定処理部
５０ 表示ウィンドウ
５１〜５４ 写真画像
５５ スクロールバー
５６ 終了ボタン
６１ 顔画像領域
６２ 認識結果
６３，６４ 顔画像領域
６５，６６ 認識結果
６７ 人物
６８ 顔画像領域
６９ 認識候補
７０ プルダウンリストボックス
７１ プルダウンボタン
７５〜７８ 人物
８０，８１，８３ 顔画像領域
８５，８６，８８ プルダウンリストボックス
９０ 写真画像
９１，９２ 人物
９３，９４ 顔画像領域
９５ 認識結果
９６ プルダウンリストボックス
１００ 写真画像
１０１〜１０３ 人物
１０４〜１０６ 顔画像領域
１０７〜１０９ プルダウンリストボックス
１３１ インデックス画像登録処理部
１３２ インデックス画像登録処理部
Ａ，Ｂ 人物
【技術分野】
【０００１】
この発明は、人物画像を含む複数枚の画像データを管理するための画像管理装置、コンピュータをそのような画像管理装置として機能させるためのコンピュータプログラム、およびこのようなプログラムを記録したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
多数枚の写真データから特定の人物を写した写真データを検索するための従来技術は、下記特許文献１〜３に開示されている。
特許文献１および２には、予め個々の写真に名前、日付その他の情報を予め付加しておき、この情報を元に特定の写真を検索する技術が開示されている。しかし、個々の写真に名前等の情報を付加する作業が検索の前提となるため、検索機能の利用のための準備に膨大な手間がかかる。
【０００３】
一方、特許文献３には、画像認識技術を用いて個々の写真に自動的に情報付けを行い、その情報に基づいて目的の写真を検索する技術についての開示がある。しかし、複数枚の写真のなかにさまざまなポーズで写っている人物の自動認識は容易ではないから、自動で付与された情報の信頼性が低い。そのため、正確な検索結果を得難いという問題がある。
【特許文献１】特開平１１−０６６０８９号公報
【特許文献２】特開２００１−０８４２７４号公報
【特許文献３】特開平１１−２５００７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、この発明の目的は、個々の画像データに対する情報付加の手間を軽減でき、かつ、正確な検索が可能な画像管理装置を提供することである。
また、この発明の他の目的は、コンピュータをそのような画像管理装置として機能させるためのコンピュータプログラムを提供することである。
この発明のさらに他の目的は、そのようなコンピュータプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための請求項１記載の発明は、人物画像（たとえば顔画像）を含む複数枚の画像データを記憶するための画像データ記憶手段と、この画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段と、この人物画像認識手段による認識結果を各画像データに対応付けて記憶するための認識結果記憶手段と、前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段と、この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段とを含むことを特徴とする画像管理装置である。
【０００６】
この構成によれば、複数枚の画像データ中の人物画像が人物画像認識手段によって認識されて、認識結果記憶手段に記憶される。この認識結果に対する修正入力が、修正入力受付手段によって受け付けられる。修正入力受付手段によって修正入力が受け付けられると、その修正入力に従って、認識結果修正手段が認識結果を修正する。こうして、人物画像認識手段による人物画像認識処理を操作者の修正入力によって補う構成により、個々の画像データに対して、正確な情報を少ない手数で付加することができる。このようにして付加された情報を用いることにより、画像データの正確な検索が可能になる。
【０００７】
前記人物画像認識手段は、画像中の人物を特定できる任意の特徴に基づいて人物認識処理を行うものであってもよい。そのような特徴の例としては、画像中の人物の顔画像、人物の全体像、半身像、服装（着衣の色など）を挙げることができる。
前記修正入力受付手段は、複数の認識候補（候補人物）のうちのいずれかの選択入力を受け付けるものであってもよい。これにより、認識結果を容易に修正することができる。
【０００８】
また、前記修正入力受付手段は、前記人物画像認識手段による認識候補外の新規認識候補の入力を受け付ける新規登録手段をさらに含むことが好ましい。これにより、人物画像認識手段による認識が不可能な人物画像についても、適切な情報を付加することができる。
前記修正入力受付手段は、画像中の人物画像（好ましくは、使用者が選択する任意の人物画像）に対して、「付加情報なし」を登録する付加情報なし登録手段を含むことが好ましい。たとえば、見ず知らずの他人の人物画像について「付加情報なし」を登録しておくことにより、必要な人物画像の検索をより正確に行える。
【０００９】
請求項２記載の発明は、前記画像データ記憶手段に記憶されている画像データとともに前記人物画像認識手段による認識結果を表示装置に表示するための表示信号を生成する表示信号生成手段をさらに含むことを特徴とする請求項１記載の画像管理装置である。この構成によれば、操作者は、認識結果を視覚により確認しながら、その修正を行うことができる。
【００１０】
前記修正入力受付手段が、複数の認識候補のうちのいずれかの選択入力を受け付けるものである場合には、前記表示信号生成手段は、複数の認識候補を表示するための表示信号を生成するものであることが好ましい。
請求項３記載の発明は、人物画像の認識のための辞書データを記憶する辞書記憶手段と、前記認識結果修正手段によって修正された認識結果に基づき、前記辞書記憶手段の辞書データを修正する辞書修正手段とをさらに含み、前記人物画像認識手段は、前記辞書記憶手段に記憶されている辞書データに基づいて、画像データ中の人物画像を認識するものであることを特徴とする請求項１または２記載の画像管理装置である。
【００１１】
この構成によれば、認識結果が修正されると、人物画像の認識のための辞書データが修正される。これにより、操作者が修正操作を行うたびに、辞書データの精度が高められ、人物画像認識の精度が高くなっていく。これにより、画像データに対する情報の付加をさらに効率的に行うことができるようになる。
前記修正入力受付手段が、前記新規登録手段を含むものである場合には、前記辞書修正手段は、新規登録された新規認識候補のデータを前記辞書データに追加するものであることが好ましい。これにより、画像認識可能な認識候補を増やすことができる。こうして、新規登録操作によって、認識候補のデータを辞書データ中に蓄積していくことができるから、人物画像認識精度が高められ、使用者による修正入力作業を減らしていくことができる。
【００１２】
辞書データは、認識候補毎の特徴量データの集合である。特徴量データは、認識候補の画像データであってもよいし、そのような画像データから抽出された所定の特徴量を表すものであってもよい。
請求項４記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記辞書修正手段は、前記確定された認識結果に基づいて前記辞書記憶手段の辞書データを修正する手段を含むことを特徴とする請求項３記載の画像管理装置である。
【００１３】
この構成によれば、認識結果が確定されることにより、辞書データが修正される。より具体的には、或る人物画像に対する認識結果が確定されると、当該人物画像に対して同一の認識結果が得られる確率を高めるように、辞書データが修正される。さらに具体的に言えば、認識結果が確定された人物画像の特徴量データが、当該認識結果の認識候補に対応する辞書データとして辞書記憶手段に追記されるようになっていてもよい。このような辞書データを用いて人物画像認識処理を行うことにより、個々の認識候補について、様々なポーズや照明条件などでの特徴量データが蓄積されていくから、高精度な人物認識が可能になる。
【００１４】
前記認識結果確定手段は、使用者によって認識結果が追認されたことを表す追認完了データを所定の追認完了データ記憶手段に書き込むものであってもよい。たとえば、追認完了データは、認識結果の確定／未確定を表す「確定フラグ」であってもよい。
前記認識結果確定手段は、前記認識結果修正手段によって修正された認識結果を自動確定する手段を含むものであってもよい。この場合、確定された認識結果に基づいて辞書データを修正することにより、結果的に、認識結果修正手段によって修正された認識結果に基づく辞書データの修正の目的を達することができる。
【００１５】
また、認識結果を確定するための確定入力を受け付ける確定入力受付手段がさらに備えられていてもよい。この場合、前記認識結果確定手段は、前記確定入力受付手段によって確定入力が受け付けられたことに応答して、前記認識結果記憶手段に記憶されている認識結果を確定する手段を含むことが好ましい。
前記人物画像認識手段は、前記認識結果確定手段によって認識結果が確定された人物画像を、認識処理の対象から除外するものであることが好ましい。これにより、正しい認識結果に修正が加えられることを防止できる。
【００１６】
請求項５記載の発明は、前記認識結果記憶手段に記憶されている認識結果に基づいて画像データを検索する検索手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像管理装置である。
この構成によれば、画像データに付加された正確な情報に基づいて画像データを検索できるので、目的の人物画像を含む画像データを高精度に検索できるようになる。
【００１７】
請求項６記載の発明は、前記人物画像認識手段は、人物画像が認識候補の画像である尤度を複数の認識候補についてそれぞれ演算する尤度演算手段と、複数の人物画像を含む画像データ中において、最大尤度の認識候補が２以上の人物画像間で重複する場合に、前記尤度演算手段によって求められた尤度に従って認識候補の優先順位を定める優先順位設定手段とを含むことを特徴とする請求項１ないし５のいずれかに記載の画像管理装置である。
【００１８】
この構成によれば、人物画像認識手段は、認識候補ごとの尤度を計算し、その尤度に基づく順位で認識結果を定めることができる。一方、写真撮影された画像のように現実の情景を撮影した画像中には、原則として、同一人物の画像が重複して存在することはない。そこで、一つの画像データ中の２以上の人物画像について、各最大尤度の認識候補が重複する場合には、その最大尤度が互いに比較される。そして、最大尤度の大きい方の人物画像について、その認識候補が優先され、他の人物画像についての認識候補は２位以下の尤度の認識候補に変更される。こうして、合理的な認識結果を得ることができるから、使用者による認識結果修正の手数を少なくすることができる。
【００１９】
請求項７記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記修正入力受付手段は、使用者に対して、複数の認識候補の選択肢を提示する選択候補提示手段を含み、複数の人物画像を含む画像データ中において、いずれかの人物画像の認識結果が前記認識結果確定手段によって確定された場合に、当該画像データ中の認識結果未確定の人物画像について前記選択候補提示手段によって提示される認識候補の選択肢から、前記確定された認識結果を除外する認識候補除外手段をさらに含むことを特徴とする請求項１ないし６のいずれかに記載の画像管理装置である。
【００２０】
この構成では、使用者は、選択候補提示手段によって提示される認識候補の選択肢のなかから、いずれかを選択することによって、認識結果の修正を行うことができる。
写真撮影された画像のように現実の情景を撮影した画像中には、原則として、同一人物の画像が重複して存在することはない。そこで、画像データ中のいずれかの人物画像について、認識結果が確定されると、未確定人物画像については、認識候補の選択肢から当該確定された認識結果の認識候補が排除される。これにより、選択候補提示手段によって、合理的な選択候補のみが提示されることになるから、使用者は、認識候補の選択を行いやすく、また、入力ミスも少なくできる。これにより、画像データに対する情報の付加をより効率的に行うことができる。
【００２１】
請求項８記載の発明は、前記人物画像認識手段は、認識結果データとして、認識結果に対応するインデックス画像データを特定するインデックス画像特定データを生成するものであることを特徴とする請求項１ないし７のいずれかに記載の画像管理装置である。
この構成によれば、インデックス画像特定データが認識結果データとして生成される。これにより、インデックス画像特定データによって特定されるインデックス画像データを、画像データ中の人物画像に対する付加情報として使用することができる。こうして、より直感的な把握が可能な形式の情報（インデックス画像）を画像データに付加することができる。
【００２２】
この場合に、インデックス画像特定データに対応するインデックス画像を予め記憶するインデックス画像データ記憶手段が備えられていることが好ましい。さらに、請求項２の発明の構成の場合には、表示信号生成手段は、認識結果としてのインデックス画像特定データに対応するインデックス画像データをインデックス画像データ記憶手段から読み出し、そのインデックス画像データを認識結果として表示手段に表示するための表示信号を生成するものであることが好ましい。
【００２３】
前記インデックス画像データは、人物候補を識別可能な画像を表すデータであればよく、たとえば、人物候補の代表的な顔画像であってもよいし、アイコン、キャラクタその他の簡易表示画像であってもよい。
請求項９記載の発明は、前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、前記画像データ記憶手段に記憶される画像データは、順序付けされており、前記人物画像認識手段は、前記順序付けに従って前記画像データ記憶手段に記憶されている複数枚の画像データに関して人物画像認識処理を実行するものであり、前記認識結果確定手段によって確定された認識結果に対応した画像データ以前の順位の画像データに関する認識結果を自動確定（未確定の認識結果をすべて確定）する認識結果自動確定手段をさらに含むことを特徴とする請求項１ないし８のいずれかに記載の画像管理装置である。
【００２４】
たとえば、操作者は、画像データの順に認識結果を閲覧して必要な修正を行っていく。その場合に、途中の画像データに関する認識結果については、逐一、これを確定する必要はない。すなわち、その後の順序の画像データに関する認識結果が確定されることによって、当該画像データ以前の順序の画像データに関する認識結果が自動確定される。こうして、操作者の入力の手間を著しく軽減することができる。
【００２５】
前記認識結果確定手段は、使用者によって認識結果が追認されたことを表す追認完了データを所定の追認完了データ記憶手段に書き込むものであってもよい。
請求項１０記載の発明は、人物画像を含む複数枚の画像データを管理するための画像管理装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータは、人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段、および人物画像の認識結果を記憶するための認識結果記憶手段を含み、前記コンピュータプログラムは、前記コンピュータを、前記画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段、この人物画像認識手段による認識結果を各画像データに対応付けて前記認識結果記憶手段に書き込む手段、前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段、および
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段として機能させるものであることを特徴とする画像管理用コンピュータプログラムである。
【００２６】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項１の画像管理装置を構成できる。
むろん、このコンピュータプログラムに関しても、前述の画像管理装置に関して説明した種々の変形を適用することができる。
請求項１１記載の発明は、請求項１０記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体である。
【００２７】
この記録媒体に記録されたコンピュータプログラムをコンピュータに読み取らせて実行させることにより、このコンピュータを前述のような画像管理装置として機能させることができる。
コンピュータプログラムは、どのような形式で記録媒体に記録されていてもよく、たとえば、圧縮した形式で記録されていてもよい。記録媒体には、磁気記録媒体、光記録媒体および光磁気記録媒体を含む任意の記録形式のものを適用できる。
【発明を実施するための最良の形態】
【００２８】
以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る画像管理装置として動作可能なコンピュータの基本的構成を説明するためのブロック図である。このコンピュータは、コンピュータ本体１と、このコンピュータ本体１に接続された入力操作部２と、同じくコンピュータ本体１に接続された表示装置（ディスプレイ）３とを備え、パーソナルコンピュータとしての形態を有している。入力操作部２および表示装置３は、コンピュータ本体１に対するマンマシンインタフェースを提供する。使用者は、表示装置３における表示を確認しながら、入力操作部２から必要な入力操作を行う。
【００２９】
入力操作部２の例としては、キーボード、ポインティングデバイス（たとえば、マウスまたはトラックパッド）、およびタッチパネル（表示装置３の表示画面上に配置されたもの）を挙げることができる。表示装置３は、たとえば、ＣＲＴ、液晶表示パネルその他の２次元表示装置からなる。
コンピュータ本体１は、ＣＰＵ５、ＲＯＭ６、ＲＡＭ７、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）８、ＣＤ−ＲＯＭドライブ９、ディプレイコントローラ１０、入力部コントローラ１１、通信インタフェース１２（ＵＳＢインタフェースやＬＡＮインタフェース）およびメモリカードスロット１３を備え、これらがバス１４に接続されている。
【００３０】
ＣＤ−ＲＯＭドライブ９には、このコンピュータを画像管理装置として動作させるためのコンピュータプログラム（デジタルフォトアルバムプログラム。画像管理用プログラム）を記録した記録媒体としてのＣＤ−ＲＯＭ１５を装填することができる。ＣＤ−ＲＯＭ１５をＣＤ−ＲＯＭドライブ９に装填すると、そこに記録されたコンピュータプログラムが読み取り可能となる。使用者が、入力操作部２を操作してインストール操作を行うと、コンピュータプログラムはハードディスクドライブ８の記憶領域に展開される。このコンピュータプログラムを実行することによって、当該コンピュータを画像管理装置として作動させることができる。すなわち、ＣＰＵ５は、ＲＯＭ６、ＲＡＭ７その他コンピュータ本体１内の構成要素と協働して、コンピュータプログラムを実行する。
【００３１】
このようなコンピュータプログラムは、ＣＤ−ＲＯＭの形態で提供される必要はなく、光磁気ディスクその他の任意の形式の記録媒体の形態で提供されてもよい。また、通信インタフェース１２に接続された通信回線を介してコンピュータプログラムを取得し、ハードディスクドライブ８の記憶領域に格納するようにしてもよい。
ディプレイコントローラ１０は、ＣＰＵ５からの指令に基づいて表示装置３における表示を制御するためのものである。また、入力部コントローラ１１は、入力操作部２からの入力を受け付けてＣＰＵ５に伝達するためのものである。
【００３２】
前記コンピュータプログラムを実行することにより、ＣＰＵ５は、ハードディスクドライブ８の記憶領域に、写真データベース２０（画像データ記憶手段、認識結果記憶手段および追認完了データ記憶手段）および認識辞書記憶部２１（辞書記憶手段）を形成する。写真データベース２０には、複数枚の写真画像のデータを蓄積することができる。すなわち、写真データベース２０には、写真画像を表す画像データと、その画像データに関連した付加データとを含む写真データが格納される。認識辞書記憶部２１には、画像データ中の人物を画像認識するための辞書データが格納される。この辞書データは、認識候補となる複数の人物の顔画像の特徴量データの群を含む。
【００３３】
特徴量データは、認識対象の画像データと照合すべき照合データであり、認識候補の顔画像を他人の顔画像と区別するために有用な特徴量を表すデータである。具体的には、特徴量データは、認識候補の顔画像データそのものであってもよいし、顔画像データに対して所定の処理を施して抽出されるデータであってもよい。一人の認識候補に対して、複数枚の顔画像に対応する特徴量データを辞書データとして蓄積することにより、認識精度を高めることができる。とくに、被写体の向き、表情、照明条件その他顔画像に変化を生じさせる様々な撮影条件下で撮影された複数の顔画像に対応する特徴量を蓄積することにより、認識精度を高めることができる。
【００３４】
写真データベース２０に格納される画像データは、たとえば、ディジタルスチルカメラによって撮影された写真画像データであり、主として人物を被写体としたものである。写真画像データは、ＵＳＢインタフェースやＬＡＮインタフェース等の通信インタフェース１２を介して取得されてもよいし、メモリカードスロット１３に装填可能なメモリカード、ＣＤ−ＲＯＭその他の記録媒体（図示省略）を介して取得されてもよい。
【００３５】
図２は、前記コンピュータプログラムの実行状態におけるコンピュータ本体１の構成を説明するためのブロック図である。すなわち、コンピュータ本体１は、前記コンピュータプログラムを実行することによって、図２に示された複数の機能処理部を実質的に有することになる。
これらの複数の機能処理部は、写真登録処理部３０、人物画像検出部３１、人物画像認識処理部３２（人物画像認識手段）、表示信号生成処理部３３（表示信号生成手段）、修正入力受付部３４（修正入力受付手段）、認識結果修正処理部３５（認識結果修正手段）、確定入力受付部３６（確定入力受付手段）、認識結果確定処理部３７（認識結果確定手段）、検索条件入力受付部３８、画像検索処理部３９（検索手段）、辞書修正処理部４０（辞書修正手段）、および認識候補除外処理部４１（認識候補除外手段）を含む。
【００３６】
写真登録処理部３０は、写真データベース２０に写真画像の画像データを登録する処理を実行する。
人物画像検出部３１は、写真データベース２０に格納されている画像データを読み出し、その画像データ中の人物の顔部分の画像（人物画像認識処理部３２での処理対象とすべき画像部分）を切り出す。より具体的には、人物画像検出部３１は、画像データ中における人物の顔部分を含む矩形領域を顔画像領域（切り出し枠）として特定し、その顔画像領域の原点座標（たとえば矩形領域の左上隅頂点の座標）および切り出し枠サイズ（たとえば矩形領域の縦横の長さ）を表すデータを生成する。これらのデータは、当該画像データと対応付けて写真データベース２０に格納される。
【００３７】
人物画像認識処理部３２は、人物画像検出部３１によって検出された顔画像領域に対して、人物認識処理を実行し、処理結果を写真データベース２０に書き込む。具体的には、人物画像認識処理部３２は、顔画像領域中の画像と認識辞書記憶部２１に格納されている辞書データとを照合し、当該顔画像領域中の顔画像の人物の候補を表す候補データを生成する。さらに詳しく説明すると、人物画像認識処理部３２は、認識辞書記憶部２１に特徴量データが格納されている複数の認識候補（候補人物）に関して、顔画像領域中の顔画像の人物である尤もらしさ表す尤度を演算する尤度演算部４３（尤度演算手段）と、この尤度演算部４３によって演算された尤度に基づいて認識候補の順位を定める優先順位設定部４４（優先順位設定手段）とを備えている。
【００３８】
優先順位設定部４４は、個々の顔画像領域中の顔画像に関して、原則として、尤度の高いものから順に認識候補に対する順位を付与する。しかし、同一画像データ中に２つ以上の顔画像領域が含まれている場合に、複数の顔画像領域において最大尤度を持つ認識候補が同一人物である場合もあり得る。このような場合には、その複数の顔画像領域における当該認識候補の尤度が比較され、尤度の大きい方の顔画像領域に対して当該認識候補が第１候補とされ、他の顔画像領域では他の認識候補が第１候補とされる。
【００３９】
表示信号生成処理部３３は、表示装置３に表示すべき画像に対応した表示信号を生成する。具体的には、画像データおよびこの画像データ中の人物の認識結果等の表示に必要な表示信号を生成する。
修正入力受付部３４は、人物画像認識処理部３２による認識結果の修正のための入力を受け付ける。すなわち、使用者が入力操作部２を操作して、認識結果の修正を指示するための指示入力を行うと、この指示入力が修正入力受付部３４によって受け付けられる。この修正入力受付部３４は、認識候補の選択肢をプルダウンリストボックスの形式で表示装置３に表示させて使用者に提示するための選択候補提示部４２（選択候補提示手段）を備えている。この選択候補提示部４２は、プルダウンリストボックスを表示装置３に表示させるための指令を表示信号生成処理部３３に与える。この指令を受けて、表示信号生成処理部３３は、プルダウンリストボックスの表示のための表示信号を生成する。
【００４０】
認識結果修正処理部３５は、修正入力受付部３４によって受け付けられた指示入力に従って、認識結果の修正を行う。より具体的には、認識結果修正処理部３５は、指示入力の対象の画像データに対応する認識結果データを写真データベース２０から読み出し、認識結果を変更するための処理を実行する。
確定入力受付部３６は、写真データベース２０に格納されている個々の顔画像領域に対応する認識結果を追認して確定させるための確定入力を受け付けるものである。すなわち、使用者が入力操作部２を操作して、認識結果の追認を指示する指示入力を行うと、この指示入力が確定入力受付部３６によって受け付けられる。
【００４１】
個々の画像データに対して、認識結果が使用者によって追認されたか（確定済みか）または追認されていないか（未確定か）を表す追認完了データとしての確定フラグが、写真データベース２０に記憶されるようになっている。人物画像認識処理部３２による認識処理の直後には、この確定フラグは、「未確定」を表す値とされている。
認識結果確定処理部３７は、写真データベース２０に記録されている個々の顔画像領域ごとの確定フラグを「確定」に変更する処理を行う。この認識結果確定処理部３７は、確定入力受付部３６によって確定入力が受け付けられたことに応答して、確定フラグを「確定」に書き換える。また、認識結果確定処理部３７は、認識結果修正処理部３５によって認識結果が修正された場合にも、その修正対象の顔画像領域に対応した確定フラグを「確定」に書き換える。この確定フラグの値が「確定」となっている顔画像領域は、人物画像認識処理部３２の処理対象から除外される。
【００４２】
さらに、認識結果確定処理部３７は、認識結果自動確定処理部４５（認識結果自動確定手段）を備えている。認識結果自動確定処理部４５は、一定の条件が満たされた場合に、認識結果が未確定の顔画像領域に対応する確定フラグを「確定」に自動的に変更する。
より具体的に説明すると、写真データベース２０に格納された複数枚の画像データは、所定の基準で順序付けされる。たとえば、それらは写真の撮影日付順にソートされていてもよいし、写真データベース２０への登録順にソートされていてもよいし、画像データの最終更新日時順にソートされていてもよいし、画像データのデータ名（ファイル名）によってソートされていてもよい。このような場合に、使用者が、ある画像データに関して確定／または修正操作を行うと、認識結果自動確定処理部４５は、当該画像データ以前の順位の画像データ中に存在する認識結果未確定のすべての顔画像領域に関して、確定フラグを「確定」に変更する。
【００４３】
検索条件入力受付部３８は、使用者が入力操作部２を操作して指定する検索条件を受け付ける。検索条件としては、人物画像認識処理部３２によって認識される認識候補の識別情報を設定できる。この識別情報は、写真データベース２０に認識結果として登録される情報であり、典型例は、認識候補の名前（姓、名、通称等）である。
画像検索処理部３９は、検索条件入力受付部３８によって受け付けられた検索条件に従って、画像データを検索する。たとえば、使用者が検索条件として、いずれかの認識候補の名前を指定すると、画像検索処理部３９は、その認識候補の名前を認識結果とする顔画像領域を含む画像データを抽出する。
【００４４】
辞書修正処理部４０は、認識結果確定処理部３７による確定処理を受けて、認識辞書記憶部２１に記憶されている辞書データを修正する。より具体的には、認識結果確定処理部３７によって認識結果が確定されると、その確定された認識結果と顔画像データ（顔画像領域中の画像データ）との対応関係が辞書データに反映させられる。すなわち、当該認識結果に相当する認識候補について、当該顔画像データに対応した特徴量データが辞書データに追加される。こうして、認識処理を行っていくうちに、辞書データの精度が高められていく。
【００４５】
とくに、この実施形態では、認識結果修正処理部３５によって認識結果が修正されると、その認識結果が確定されるようになっている。そのため、認識結果の修正を、辞書データに反映させることができる。これにより、辞書データの精度が効率的に高められていくようになっている。
図３は、写真データベース２０に格納されるデータの構造を説明するための図解図である。写真データベース２０には、複数枚の写真に対応した写真データｉ（ｉ＝１，２，……，Ｎ。Ｎは自然数であり、写真データの総数を表す。）が格納されているものとする。この場合、各写真データｉは、写真画像に対応した画像データと、この画像データに対応付けられた付加データとを含む。付加データは、当該画像データ中で検出された顔画像領域の個数Ｍ（Ｍは自然数）を表す個数データと、個々の顔画像領域毎の個別領域データｊ（ｊ＝１，２，……，Ｍ）とを含む。個別領域データｊは、当該顔画像領域の座標、切り出し枠サイズ、認識結果データ、認識候補データおよび確定フラグを含む。認識結果データは、認識結果の人物を識別するための識別情報であり、たとえば、当該人物の名前であってもよい。また、認識候補データは、少なくとも１つ（通常は複数）の認識候補に関して、当該認識候補を特定するための識別情報と、当該顔画像領域中の人物が当該認識候補である尤度を表す尤度データとを含む。
【００４６】
人物画像認識処理部３２による認識処理の直後の状態では、第１認識候補データと認識結果データは一致している。認識結果修正処理部３５による修正処理は、認識結果データを書き換える処理である。
図４は、表示装置３における表示例を示す図解図である。この例では、表示ウィンドウ５０内に、写真画像５１，５２，５３，５４が配列されて表示されている。これらの写真画像５１〜５４は、この順に順位付けされている。そして、図４は、三番目の写真画像５３に対して、使用者が認識結果の修正操作を行っている状況を示している。
【００４７】
表示ウィンドウ５０の右辺部には、スクロールバー５５が配置されている。このスクロールバー５５をポインティングデバイスで操作するか、あるいはキーボードから所定のスクロール操作を行うことによって、写真画像５１〜５４より前に順位付けされた写真画像や、これらよりも後に順位付けされた写真画像を表示ウィンドウ５０に表示させることができる。また、表示ウィンドウ５０の右上隅には、当該プログラムを終了させるための終了ボタン５６が配置されている。
【００４８】
図４に表された状態の表示ウィンドウ５０内において、第１の写真画像５１は、一人の人物Ａの全身像を含んでいる。この人物Ａの顔部分を含む矩形の顔画像領域６１が、人物画像検出部３１によって検出される。この顔画像領域６１の近傍には、確定された認識結果６２が表示されている。この例では、認識結果６２は、人物Ａの名前を表す文字列「Ａさん」である。顔画像領域６１内の顔画像データに対応する特徴量データは、確定された認識結果６２に対応した認識候補「Ａさん」に関する辞書データとして、認識辞書記憶部２１に書き込まれる。
【００４９】
第２の写真画像５２は、二人の人物ＡおよびＢの全身像を含んでいる。人物画像検出部３１は、これらの人物ＡおよびＢの顔画像部分をそれぞれ含む２つの顔画像領域６３，６４を検出する。これらの顔画像領域６３，６４の近傍には、それぞれ確定された認識結果６５，６６が表示されている。認識結果６５，６６は、それぞれ、「Ａさん」、「Ｂさん」という文字列である。顔画像領域６３，６４内の顔画像データに対応する特徴量データは、確定された認識結果６５，６６に対応した認識候補「Ａさん」、「Ｂさん」にそれぞれ関連付けた辞書データとして、認識辞書記憶部２１に書き込まれる。
【００５０】
第３の写真画像５３は、一人の人物６７の全身像を含む。人物画像検出部３１は、この人物６７の顔部分を含む矩形の顔画像領域６８を抽出する。この顔画像領域６８の近傍に、認識候補６９が表示される。認識候補６９は、プルダウンリストボックス７０の形態で表示される。すなわち、初期状態では、プルダウンリストボックス７０は、最大尤度の一人の候補のみが表示された状態である。この状態から、右端部のプルダウンボタン７１をポインティングデバイスで操作（クリック）することによって、修正候補を表示させることができるようになっている。
【００５１】
この例では、最大尤度の候補は「Ａさん」であり、２番目に尤度の高い候補は「Ｂさん」である。最大尤度の候補「Ａさん」を選択する操作は、自動認識された認識結果を確定する確定操作となる。また、最大尤度以外の候補を選択する操作は、自動認識された認識結果を修正する修正操作となる。確定操作または修正操作が行われると、その認識結果が確定状態となる。これにより、顔画像領域６８内の顔画像データに対応する特徴量データは、当該確定された認識結果に対応した認識候補に関する辞書データとして、認識辞書記憶部２１に記憶されることになる。
【００５２】
プルダウンリストボックス７０には、認識候補のほかに、さらに、「新規登録」（新規登録手段）および「登録なし」（付加情報なし登録手段）という選択肢が用意されている。
「新規登録」は、認識辞書記憶部２１の辞書データ中に認識候補として登録されていない人物を登録する操作を始めるための選択肢である。「新規登録」を選択すると、プルダウンリストボックス７０の「新規登録」欄が編集可能なテキスト入力エリアとなる。このテキスト入力エリアに、認識候補の識別情報（名前など）を入力操作部２から入力することによって、顔画像領域６８の認識結果が修正されて確定される。それとともに、顔画像領域６８の顔画像データに対応する特徴量データが、当該新たに入力された認識候補（たとえば「Ｃさん」）に関連付けられた辞書データとして、認識辞書記憶部２１に格納される。
【００５３】
「登録なし」は、たとえば、面識のない人物が写っている場合に、その人物の認識結果として選択される。より一般的には、後に検索する対象となる蓋然性が極めて低い人物の顔画像領域に対しては、認識結果を「登録なし」（付加情報なし）とすることが適切である。
第４の写真画像５４は、４人の人物７５，７６，７７，７８の全身像を含んでいる。これらの人物７５〜７８のうち、人物７５，７６および７８に対しては、顔画像領域８０，８１，８３が検出されていて、それらに対応して認識候補がプルダウンリストボックス８５，８６，８８の形式で表示されている。人物７７については、顔画像領域が未検出であるが、ポインティングデバイスを用いて人物７７をポイントすることにより、この人物７７に対する付加データを事後的に登録することができる。
【００５４】
第１〜第３の写真画像５１〜５３のいずれかのなかに、認識結果が未確定の状態の顔画像領域が存在している場合を想定する。この場合に、使用者が、第４の写真画像５４中の顔画像領域に対して、認識結果を修正する修正操作または認識結果を確定する確定操作を行うと、認識結果自動確定処理部４５の働きによって、第１〜第３の写真画像５１〜５３中の未確定状態の認識結果が確定させられる。
【００５５】
もっとも、認識結果が確定された後に、当該確定済みの認識結果を修正することも可能である。たとえば、第１の写真画像５１の顔画像領域６１の近傍に表示された認識結果６２をポイントして所定の操作（クリック）を行うと、プルダウンリストボックスの形式で認識候補のリストが表示される。このリスト中から適切な認識候補（「新規登録」および「登録なし」を含む。）を選択することができる。
【００５６】
前述のとおり、認識結果に対して修正もしくは確定操作または新規登録操作を実行すると、認識辞書記憶部の辞書データが更新される。そこで、この更新された辞書データを用いて、修正もしくは確定または新規登録のための操作が実行された写真画像よりも後の順位の写真画像に対して、改めて、人物画像認識処理が行われる。
図５は、認識結果修正時のより詳細な処理を説明するための図である。この図５では、写真画像９０中に、２人の人物９１および９２の全身像が含まれており、これらの人物９１，９２の顔画像領域９３，９４が検出されている。人物９１については、認識結果９５が「Ｂさん」で確定済みである。この場合、人物９２の顔画像領域９４についての認識候補を示すプルダウンリストボックス９６では、「Ｂさん」がリスト中から除外されている。
【００５７】
これは、同一写真中には、原則として、同一人物の顔画像が２回現れることはないという事実に基づく処理であり、認識候補除外処理部４１（図２参照）の働きによる。これにより、写真画像中の各顔画像領域に対する人物認識を適正に行うことができ、また、認識結果の修正作業もスムーズに行える。
図６は、認識候補の表示順に関する処理の詳細を説明するための図である。この図６では、写真画像１００中に、３人の人物１０１，１０２，１０３の全身像が含まれており、これらの人物１０１，１０２，１０３の顔画像領域１０４，１０５，１０６が検出されている。これらの顔画像領域１０４，１０５，１０６に含まれる画像に基づく人物画像認識処理によって演算された尤度の一例が、下記表１に示されている。
【００５８】
【表１】
【００５９】
人物画像認識処理の直後には、各顔画像領域１０４，１０５，１０６に対して、第１位の認識候補（すなわち、最大尤度の認識候補）がプルダウンリストボックス１０７，１０８，１０９に表示される。もしも、第１位の認識候補が複数の顔画像領域において重複する場合には、尤度が大きい方が優先される。
たとえば、図６の例において、顔画像領域１０４の認識結果を「Ａさん」から「Ｂさん」に変更した場合の処理について説明する。当初の認識結果では、顔画像領域１０５の認識候補として、プルダウンリストボックス１０８に文字列「Ｂさん」が表示されている。しかし、顔画像領域１０４の認識結果が「Ｂさん」に修正されて確定されることにより、顔画像領域１０５の認識候補「Ｂさん」は必然的に誤りとなる。同一写真画像中に同一人物が２度現れることは原則としてあり得ないからである。
【００６０】
そこで、優先順位設定部４４は、顔画像領域１０５，１０６の認識候補を修正する。この場合、表１を参照すると、顔画像領域１０５の第２位の認識候補は「Ｃさん」であるが、これは顔画像領域１０６の第１位の認識候補と重複する。そこで、優先順位設定部４４は、顔画像領域１０５，１０６における認識候補「Ｃさん」に対応した尤度を比較する。表１を参照すれば、顔画像領域１０５における認識候補「Ｃさん」の尤度の方が大きい。そこで、優先順位設定部４４は、顔画像領域１０５の認識候補を「Ｃさん」に変更する。それとともに、優先順位設定部４４は、顔画像領域１０６の認識候補を、確定済みの「Ｂさん」と、顔画像領域１０５の認識候補とすることとした「Ｃさん」とを除いたうちで、最も尤度の高い認識候補「Ａさん」に変更する。むろん、認識候補除外処理部４１の働きによって、顔画像領域１０５，１０６の認識候補の選択肢からは、確定済みの「Ｂさん」は除かれる。
【００６１】
図７は、処理の流れを説明するためのフローチャートである。まず、使用者は、入力操作部２を操作することによって、写真データベース２０に写真画像の画像データを登録する（ステップＳ１）。入力操作部２の操作に応答して、写真登録処理部３０は、たとえば、ハードディスクドライブ８の記憶領域内、ＣＤ−ＲＯＭ、メモリカードその他の外部記録媒体、またはネットワーク上の所定の場所に予め格納してある画像データを写真データベース２０に登録する。より具体的には、画像データを含む写真データ（図３参照）が登録すべき画像データの数だけ作成されて、写真データベース２０に登録される。
【００６２】
次に、人物画像検出部３１は、写真データベース２０に登録された画像データに対して、顔画像領域検出処理を実行する（ステップＳ２）。このとき、顔画像領域検出処理の対象とされるのは、顔画像領域検出処理が未了の画像データである。こうして、顔画像領域検出処理が未了であるすべての画像データ中の顔画像領域が抽出され、各顔画像領域の座標および切り出し枠サイズを表すデータが写真データベース２０に登録される。
【００６３】
次いで、ステップＳ２の顔画像領域検出処理によって検出されたすべての顔画像領域に対して、人物画像認識処理部３２による人物画像認識処理が実行される（ステップＳ３）。これにより、各顔画像領域に対する認識候補データが写真データベース２０に登録される。また、認識結果は、写真画像とともに表示装置３に表示される（ステップＳ４）。
人物画像認識処理（ステップＳ３）の終了後に、使用者が、入力操作部２を操作して、表示装置３の表示画面上にいずれかの位置をポインティングデバイスで操作（クリック）すると（ステップＳ５）、ＣＰＵ５は、プログラムを終了するかどうかを判断する（ステップＳ６）。すなわち、画面上の終了ボタン５６（図４参照。ウィンドウ内に別途表示される終了ボタンであってもよい。）が操作されたかどうかにより、プログラムを終了するかどうかを判断する。
【００６４】
プログラムを終了すべきときは、表示信号生成処理部３３は、認識結果を「確定する」か「確定しない」かを使用者に選択させるための選択画面を表示装置３に表示させるための信号を生成する（ステップＳ７）。この選択画面は、たとえば、「確定する」ボタンおよび「確定しない」ボタンを含むウィンドウであってもよい。
使用者が、入力操作部２から、認識結果の確定／非確定の選択操作を行うと（ステップＳ８）、その選択操作に応じた処理がＣＰＵ５によって実行される（ステップＳ９）。すなわち、「確定する」ボタンが操作されると（ステップＳ９のＹＥＳ）、この操作が確定入力受付部３６によって受け付けられ、認識結果確定処理部３７は、未確定の認識結果のすべてを確定させる（ステップＳ１０）。すなわち、「未確定」の確定フラグがすべて「確定」に変更される。これにより、処理が終了する。「確定しない」ボタンが操作されたときには（ステップＳ９のＮＯ）、ステップＳ１０の処理を迂回して処理を終了する。この場合には、認識結果が未確定の顔画像領域の確定フラグは「未確定」のままとなる。
【００６５】
一方、ステップＳ５において、操作位置（クリック位置）が終了ボタン５６以外の場所（ただし、ウィンドウ５０内）であるときには、前回の操作位置（クリック位置）と同じ写真画像内の位置かどうかが判断される（ステップＳ１１）。操作位置が同一写真画像内でなければ、認識結果自動確定処理部４５は、その写真画像よりも前に順位付けされているすべての写真画像内のすべての顔画像領域について、確定フラグを「確定」に変更する自動確定処理を行う（ステップＳ１２）。操作位置が同一写真画像内でなければ、ステップＳ１２の認識結果自動確定処理は省かれる。
【００６６】
次に、ＣＰＵ５は、操作位置（クリック位置）が、認識候補表示位置かどうかを判断する（ステップＳ１３）。操作位置が認識結果表示位置（前述のプルダウンリストボックス）の場合には、ＣＰＵ５は、「候補選択ボタンクリック時処理」を実行する（ステップＳ１４）。操作位置が認識結果表示位置でなければ、ＣＰＵ５は、顔画像領域が検出された位置以外の位置がクリックされたときには、「未検出位置クリック時処理」を実行する（ステップＳ１５）。
【００６７】
図８は、「候補選択ボタンクリック時処理」（図７のステップＳ１４）の詳細を説明するためのフローチャートである。認識結果は、前述のとおり、選択候補提示部４２の働きによって、プルダウンリストボックスの形式で表示される（図４等参照）。そして、このプルダウンリストボックスがクリックされることにより、認識候補を含む選択肢を示すプルダウンリストが展開されて表示される（ステップＳ２１）。前述のとおり、認識候補は、基本的には、尤度の順序で表示される。そして、認識候補のほかに、「新規登録」および「登録なし」も選択肢として表示されることになる。
【００６８】
使用者が、入力操作部２を操作して、いずれかの選択肢を選択する操作（クリック）を行うと（ステップＳ２２）、この操作が、修正入力受付部３４または確定入力受付部３６によって受け付けられ、認識結果修正処理部３５または認識結果確定処理部３７に受け渡される。
認識結果修正処理部３５または認識結果確定処理部３７は、いずれかの認識候補が選択された場合には（ステップＳ２３のＹＥＳ）、当該顔画像領域に対応する認識結果を当該選択された認識候補に確定する処理を行う。より具体的には、第１認識候補が選択されたときには（ステップＳ２４のＹＥＳ）、この選択入力が確定入力受付部３６によって受け付けられ、認識結果確定処理部３７は、当該顔画像領域の認識結果（第１認識候補に等しい。）を確定するために、確定フラグの値を「確定」に書き換える（ステップＳ２６）。一方、第２位以下の認識候補が選択されたときには（ステップＳ２４のＮＯ）、この選択入力が修正入力受付部３４によって受け付けられ、認識結果修正処理部３５は、当該選択された認識候補を、当該顔画像領域の認識結果として写真データベース２０に書き込む（ステップＳ２５）。さらに、認識結果修正処理部３５による修正処理の通知を受けて、認識結果確定処理部３７は、当該顔画像領域の確定フラグの値を「確定」に書き換える（ステップＳ２６）。
【００６９】
一方、「新規登録」が選択された場合には（ステップＳ２３のＮＯおよびステップＳ２７のＹＥＳ）、表示信号生成処理部３３の働きによって、使用者が当該顔画像の人物の名前その他の識別情報を入力するためのテキスト入力エリアが表示装置３に表示される（ステップＳ２８）。このテキスト入力エリアに対して、使用者が入力操作部２を操作して、名前その他の識別情報を入力すると（ステップＳ２９）、認識結果修正処理部３５は、当該入力された識別情報を当該顔画像領域の認識結果として写真データベース２０に登録する（ステップＳ３０）。この登録の通知を受けて、認識結果確定処理部３７は、当該顔画像領域に対応した確定フラグの値を「確定」に書き換える（ステップＳ２６）。
【００７０】
さらに、「登録なし」が選択された場合（ステップＳ２３のＮＯおよびステップＳ２７のＮＯ）には、認識結果修正処理部３５は、その顔画像領域の認識結果を「登録なし」として写真データベース２０に書き込み（ステップＳ３１）、認識結果確定処理部３７は、確定フラグの値を「確定」に書き換える（ステップＳ３２）。
ステップＳ２６において、写真データベース２０の認識結果が確定された後には、辞書修正処理部４０によって、認識辞書記憶部２１の辞書データの修正処理が行われる（ステップＳ３３）。すなわち、辞書修正処理部４０は、確定された認識結果に該当する認識候補に関連する辞書データとして、当該顔画像領域中の画像の特徴量データを認識辞書記憶部２１に追加する。
【００７１】
その後、ＣＰＵ５は、後述の「同一写真内重複時処理」を実行し（ステップＳ３４）、さらに、修正された辞書データを用いて、処理中の写真画像以降の未確定のすべての顔画像領域に対して、人物画像認識処理を実行する（ステップＳ３５）。
図９は、「未検出位置クリック時処理」（図７のステップＳ１５）の詳細を説明するためのフローチャートである。この処理は、顔画像領域が未検出の任意の位置に検索用の付加データを付与するための処理である。使用者が写真画像中において顔画像が検出されていない位置を選択する操作（クリック）を行うと、選択候補提示部４２は、当該操作位置（クリック位置）に、辞書データに登録されている複数の認識候補、「新規登録」および「登録なし」を選択肢として含むプルダウンリストボックスを展開された形式で表示させるための指令を表示信号生成処理部３３に与える（ステップＳ４０）。この状態で、使用者は、入力操作部２を操作して、いずれかの選択肢を選択する（ステップＳ４１）。操作された選択肢がいずれかの認識候補であれば（ステップＳ４２のＹＥＳ）、認識結果修正処理部３５は、クリック位置（図７のステップＳ５）の座標を含み、当該選択された認識候補を認識結果（検索用付加データ）として有する個別領域データを生成して、写真データベース２０に登録する（ステップＳ４３）。この登録の通知を受けて、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」とする（ステップＳ４４）。
【００７２】
一方、「新規登録」の選択肢が選択された場合には（ステップＳ４２のＮＯおよびステップＳ４５のＹＥＳ）、修正入力受付部３４は、新規登録される認識候補の識別情報を入力させるためのテキスト入力エリアを表示装置３の表示画面上に表示させる（ステップＳ４６）。このテキスト入力エリアに、使用者が入力操作部２の操作によって名前等の識別情報を入力すると（ステップＳ４７）、認識結果修正処理部３５は、図７のステップＳ５でのクリック位置の座標を含み、当該識別情報を認識結果とする個別領域データを生成して、写真データベース２０に登録する（ステップＳ４８）。この登録の通知を受けて、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」に変更する（ステップＳ４４）。
【００７３】
「登録なし」の選択肢が選択された場合には（ステップＳ４２のＮＯおよびステップＳ４５のＮＯ）、認識結果修正処理部３５は、当該クリック位置（図７のステップＳ５）の座標を含み、認識結果を「登録なし」とした個別領域データを生成し、これを写真データベース２０に登録する（ステップＳ４９）。また、認識結果確定処理部３７は、その個別領域データの確定フラグの値を「確定」とする（ステップＳ４４）。
【００７４】
図１０は、人物画像認識処理の詳細（図７のステップＳ３および図８のステップＳ３５）を説明するためのフローチャートである。人物画像認識処理部３２は、確定フラグの値が「未確定」の顔画像領域を含む写真画像を順に処理し、顔画像領域中の画像を認識辞書記憶部２１に記憶されている辞書データと照合することによって、人物画像を認識していく（ステップＳ５１）。これにより、辞書データに格納されているすべての認識候補に対して、当該顔画像領域中の人物が当該認識候補である尤度が演算される。演算された認識候補ごとの尤度は、写真データベース２０の当該顔画像領域に対応する個別領域データ中に、認識候補データとして登録される。
【００７５】
次に、後述の「同一写真内重複時処理」（ステップＳ５２）が行われる。
人物画像認識処理部３２は、１枚の写真画像中のすべての顔画像領域について同様の処理を行うと、当該写真画像が最後の写真画像かどうかを調べ（ステップＳ５３）、最後の写真画像でなければ、次の写真画像に対して同様の処理を繰り返す（ステップＳ５４）。こうして、最後の写真まで処理が進み、その処理が終了すると（ステップＳ５３のＹＥＳ）、表示信号生成処理部３３は、認識結果を表示装置３に表示させるための表示信号を生成する（ステップＳ５５）。これにより、人物画像認識処理が終了する。
【００７６】
図１１は、「同一写真内重複時処理」（図８のステップＳ３４および図１０のステップＳ５２）の詳細を説明するためのフローチャートである。優先順位設定部４４は、同一写真内に同一人物の認識結果がある場合（ステップＳ６０）、これを修正するための処理を実行する。すなわち、たとえば、優先順位設定部４４は、顔画像領域検出の順序で相前後する一対の顔画像領域について、認識結果が重複する場合に（ステップＳ６０のＹＥＳ）、そのうちの一方が確定しているかどうかを判断する（ステップＳ６１）。一方が確定済みであれば、確定していない方の顔画像領域について、同一写真内で確定された顔画像領域の認識結果として選択されていない認識候補のうちで、最も尤度の高い認識候補に認識結果を変更する（ステップＳ６２）。
【００７７】
一方、認識結果が重複する場合に（ステップＳ６０のＹＥＳ）、そのいずれもが未確定の場合には、それらの認識候補の尤度を比較し、尤度が高い方の認識結果を優先し、尤度が低い方の認識結果については、次に尤度の高い認識候補を認識結果とする修正を行う（ステップＳ６２）。もしも、認識結果が重複し、それらの尤度が等しい場合には、たとえば、先に顔画像検出処理が行われた方（したがって人物認識処理が先に行われた方）の認識結果を優先することとし、後に処理された顔画像領域についての認識結果を修正すればよい。
【００７８】
以上のようにこの実施形態によれば、コンピュータによる人物画像認識処理を行い、その認識結果を入力操作部２の操作によって使用者が修正する構成となっている。そのため、人物画像認識処理が完全である必要はなく、使用者による修正入力によって、すべての写真画像に対して正確な付加情報（人物情報）を付与することができる。また、コンピュータによる人物画像認識処理を利用することにより、使用者の入力負担が軽減されており、少ない労力で正確な付加情報を写真画像に対して付加することができる。このようにして正確に付与された付加情報を検索条件として設定することにより、正確な検索処理を実行することができる。
【００７９】
さらに、この実施形態では、認識結果が使用者によって確定または修正されることによって、認識辞書記憶部２１の辞書データが修正されるようになっている。これにより、写真画像を蓄積していけばいくほど、人物画像認識処理の精度が高められていく仕組みになっている。これにより、使い込むほど、人物画像認識処理結果（認識結果）の修正作業が少なくなっていき、使用者の労力を低減していくことができる。
【００８０】
また、同一写真画像中には同一人物の顔画像が表れることがないという事実に基づいて、認識結果の自動修正が行われるので、合理的な認識結果を提供することができる。これにより、使用者の修正負担を一層軽減することができるようになっている。
さらには、いずれかの写真画像データに対して確定または修正処理を実行すると、それ以前の順位の写真画像データ中の顔画像領域に関しては、認識結果が自動的に確定するようになっている。したがって、使用者は、すべての顔画像領域に関して認識結果を確定する操作を行う必要がなく、認識結果の修正が必要な画像についてだけ修正操作を行えばよい。これにより、使用者の操作負担をより一層軽減できるようになっている。
【００８１】
認識結果の確定は、人物画像認識処理部３２による処理対象を特定する目的で行われる。すなわち、人物画像認識処理部３２は、認識結果が未確定の顔画像領域に関してのみ人物画像認識処理を実行する。これにより、人物画像認識処理を繰り返し実行するうちに、正しい認識結果が誤った認識結果に変更されてしまうことを防ぐことができる。
以上、この発明の一実施形態について説明したが、この発明は、さらに他の形態で実施することも可能である。
【００８２】
たとえば、前述の実施形態では、認識結果として認識候補の名前が登録されるようにしているが、代表的な顔画像データを特定するデータを、認識結果データとして、写真データベース２０に登録するようにしてもよい。具体的には、図２に仮想線で示すように、認識候補の代表的な顔画像を表すインデックス画像データを写真データベース２０に登録するようにすればよい。すなわち、写真データベース２０をインデックス画像データ記憶手段として用いることとし、インデックス画像登録受付部１３１およびインデックス画像登録処理部１３２を設けておく。使用者が、入力操作部２に対して、インデックス画像の登録のための所定の入力操作を行うと、この入力がインデックス画像登録受付部１３１によって受け付けられ、インデックス画像登録処理部１３１の働きによって、インデックス画像データが写真データベース２０に登録される。
【００８３】
これにより、たとえば、図４に示すような画面において、所定の入力操作を行うことで、顔画像領域６１内の顔画像データを、認識候補「Ａさん」のインデックス画像データとして写真データベース２０に登録することができる。また、新規登録されるときの顔画像領域内のデータをインデックス画像データとして写真データベース２０に登録するようにしてもよい。
【００８４】
認識結果としては、インデックス画像データを特定する識別データが人物画像認識処理部３２によって生成されて、個別領域データ中に登録される。この場合、表示信号生成処理部３３は、写真データベース２０からインデックス画像データを読み出して、各顔画像領域の近傍に、当該識別データによって特定されるインデックス画像データを表示するための表示信号を生成することが好ましい。また、選択候補のリストについても、インデックス画像データを用いて表示するようにしてもよく、さらに、検索条件の設定もインデックス画像データを用いて行えるようにしてもよい。
【００８５】
このような構成により、直感的な操作によって、認識結果を把握し、その修正を行い、また、必要な写真画像を検索することができる。また、キーボード等の熟練を要する入力装置を用いずに、ポインティングデバイスのみの操作で写真画像の管理を行うことも可能となる。
さらに、前述の実施形態では、顔画像領域を検出して、顔画像認識処理によって人物の認識を行うようにしているが、人物認識処理はこれに限定されるものではない。たとえば、人物の着衣の色に基づく認識も可能である。この場合には、人物画像検出部３１による処理は、人物の着衣の部分の画像を切り出す処理となる。
【００８６】
また、前述の実施形態では、写真画像中に人物の全身像が写っている例を挙げているが、むろん、写真画像中に必ずしも人物の全身像が写っている必要はない。
さらに、前述の実施形態では、パーソナルコンピュータ上で画像管理用プログラムを実行する例について説明したが、ウェブ（インターネットおよびイントラネットに代表されるネットワーク上で用いられるドキュメントシステム）上のアプリケーションプログラムによって、この発明の画像管理装置がネットワークに置かれたコンピュータであるサーバー上で構成されてもよい。この場合、使用者は、当該ネットワークに接続された別のコンピュータであるクライアント装置を操作することによって、写真画像の登録、認識結果の修正・確定、新規認識候補の登録といった操作をネットワークを介して行うことができる。
【００８７】
むろん、この発明の画像管理装置は、汎用コンピュータを用いて構成される必要はなく、写真画像のストックおよび閲覧が可能な専用装置として構成することもできる。このような専用装置は、たとえば、写真画像印刷サービス店の店頭に設置して、写真画像プリント注文システムに組み込んで用いることができる。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
【図面の簡単な説明】
【００８８】
【図１】この発明の一実施形態に係る画像管理装置として動作可能なコンピュータの基本的構成を説明するためのブロック図である。
【図２】前記コンピュータプログラムの実行状態におけるコンピュータ本体の機能的な構成を説明するためのブロック図である。
【図３】写真データベースに格納されるデータの構造を説明するための図解図である。
【図４】表示装置における表示例を示す図解図である。
【図５】認識結果修正時のより詳細な処理を説明するための図である。
【図６】認識候補の表示順に関する処理の詳細を説明するための図である。
【図７】処理の流れを説明するためのフローチャートである。
【図８】「候補選択ボタンクリック時処理」（図７のステップＳ１４）の詳細を説明するためのフローチャートである。
【図９】「未検出位置クリック時処理」（図７のステップＳ１５）の詳細を説明するためのフローチャートである。
【図１０】人物画像認識処理の詳細（図７のステップＳ３および図８のステップＳ３５）を説明するためのフローチャートである。
【図１１】「同一写真内重複時処理」（図８のステップＳ３４および図１０のステップＳ５２）の詳細を説明するためのフローチャートである。
【符号の説明】
【００８９】
１ コンピュータ本体
２ 入力操作部
３ 表示装置
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ ハードディスクドライブ
９ ＣＤ−ＲＯＭドライブ
１０ ディプレイコントローラ
１１ 入力部コントローラ
１２ 通信インタフェース
１３ メモリカードスロット
１４ バス
１５ ＣＤ−ＲＯＭ
２０ 写真データベース
２１ 認識辞書記憶部
３０ 写真登録処理部
３１ 人物画像検出部
３２ 人物画像認識処理部
３３ 表示信号生成処理部
３４ 修正入力受付部
３５ 認識結果修正処理部
３６ 確定入力受付部
３７ 認識結果確定処理部
３８ 検索条件入力受付部
３９ 画像検索処理部
４０ 辞書修正処理部
４１ 認識候補除外処理部
４２ 選択候補提示部
４３ 尤度演算部
４４ 優先順位設定部
４５ 認識結果自動確定処理部
５０ 表示ウィンドウ
５１〜５４ 写真画像
５５ スクロールバー
５６ 終了ボタン
６１ 顔画像領域
６２ 認識結果
６３，６４ 顔画像領域
６５，６６ 認識結果
６７ 人物
６８ 顔画像領域
６９ 認識候補
７０ プルダウンリストボックス
７１ プルダウンボタン
７５〜７８ 人物
８０，８１，８３ 顔画像領域
８５，８６，８８ プルダウンリストボックス
９０ 写真画像
９１，９２ 人物
９３，９４ 顔画像領域
９５ 認識結果
９６ プルダウンリストボックス
１００ 写真画像
１０１〜１０３ 人物
１０４〜１０６ 顔画像領域
１０７〜１０９ プルダウンリストボックス
１３１ インデックス画像登録処理部
１３２ インデックス画像登録処理部
Ａ，Ｂ 人物
【特許請求の範囲】
【請求項１】
人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段と、
この画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段と、
この人物画像認識手段による認識結果を各画像データに対応付けて記憶するための認識結果記憶手段と、
前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段と、
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段とを含むことを特徴とする画像管理装置。
【請求項２】
前記画像データ記憶手段に記憶されている画像データとともに前記人物画像認識手段による認識結果を表示装置に表示するための表示信号を生成する表示信号生成手段をさらに含むことを特徴とする請求項１記載の画像管理装置。
【請求項３】
人物画像の認識のための辞書データを記憶する辞書記憶手段と、
前記認識結果修正手段によって修正された認識結果に基づき、前記辞書記憶手段の辞書データを修正する辞書修正手段とをさらに含み、
前記人物画像認識手段は、前記辞書記憶手段に記憶されている辞書データに基づいて、画像データ中の人物画像を認識するものであることを特徴とする請求項１または２記載の画像管理装置。
【請求項４】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記辞書修正手段は、前記確定された認識結果に基づいて前記辞書記憶手段の辞書データを修正する手段を含むことを特徴とする請求項３記載の画像管理装置。
【請求項５】
前記認識結果記憶手段に記憶されている認識結果に基づいて画像データを検索する検索手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像管理装置。
【請求項６】
前記人物画像認識手段は、
人物画像が認識候補の画像である尤度を複数の認識候補についてそれぞれ演算する尤度演算手段と、
複数の人物画像を含む画像データ中において、最大尤度の認識候補が２以上の人物画像間で重複する場合に、前記尤度演算手段によって求められた尤度に従って認識候補の優先順位を定める優先順位設定手段とを含むことを特徴とする請求項１ないし５のいずれかに記載の画像管理装置。
【請求項７】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記修正入力受付手段は、使用者に対して、複数の認識候補の選択肢を提示する選択候補提示手段を含み、
複数の人物画像を含む画像データ中において、いずれかの人物画像の認識結果が前記認識結果確定手段によって確定された場合に、当該画像データ中の認識結果未確定の人物画像について前記選択候補提示手段によって提示される認識候補の選択肢から、前記確定された認識結果を除外する認識候補除外手段をさらに含むことを特徴とする請求項１ないし６のいずれかに記載の画像管理装置。
【請求項８】
前記人物画像認識手段は、認識結果データとして、認識結果に対応するインデックス画像データを特定するインデックス画像特定データを生成するものであることを特徴とする請求項１ないし７のいずれかに記載の画像管理装置。
【請求項９】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記画像データ記憶手段に記憶される画像データは、順序付けされており、
前記人物画像認識手段は、前記順序付けに従って前記画像データ記憶手段に記憶されている複数枚の画像データに関して人物画像認識処理を実行するものであり、
前記認識結果確定手段によって確定された認識結果に対応した画像データ以前の順位の画像データに関する認識結果を自動確定する認識結果自動確定手段をさらに含むことを特徴とする請求項１ないし８のいずれかに記載の画像管理装置。
【請求項１０】
人物画像を含む複数枚の画像データを管理するための画像管理装置としてコンピュータを動作させるためのコンピュータプログラムであって、
前記コンピュータは、人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段、および人物画像の認識結果を記憶するための認識結果記憶手段を含み、
前記コンピュータプログラムは、前記コンピュータを、
前記画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段、
この人物画像認識手段による認識結果を各画像データに対応付けて前記認識結果記憶手段に書き込む手段、
前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段、および
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段
として機能させるものであることを特徴とする画像管理用コンピュータプログラム。
【請求項１１】
請求項１０記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体。
【請求項１】
人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段と、
この画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段と、
この人物画像認識手段による認識結果を各画像データに対応付けて記憶するための認識結果記憶手段と、
前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段と、
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段とを含むことを特徴とする画像管理装置。
【請求項２】
前記画像データ記憶手段に記憶されている画像データとともに前記人物画像認識手段による認識結果を表示装置に表示するための表示信号を生成する表示信号生成手段をさらに含むことを特徴とする請求項１記載の画像管理装置。
【請求項３】
人物画像の認識のための辞書データを記憶する辞書記憶手段と、
前記認識結果修正手段によって修正された認識結果に基づき、前記辞書記憶手段の辞書データを修正する辞書修正手段とをさらに含み、
前記人物画像認識手段は、前記辞書記憶手段に記憶されている辞書データに基づいて、画像データ中の人物画像を認識するものであることを特徴とする請求項１または２記載の画像管理装置。
【請求項４】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記辞書修正手段は、前記確定された認識結果に基づいて前記辞書記憶手段の辞書データを修正する手段を含むことを特徴とする請求項３記載の画像管理装置。
【請求項５】
前記認識結果記憶手段に記憶されている認識結果に基づいて画像データを検索する検索手段をさらに含むことを特徴とする請求項１ないし４のいずれかに記載の画像管理装置。
【請求項６】
前記人物画像認識手段は、
人物画像が認識候補の画像である尤度を複数の認識候補についてそれぞれ演算する尤度演算手段と、
複数の人物画像を含む画像データ中において、最大尤度の認識候補が２以上の人物画像間で重複する場合に、前記尤度演算手段によって求められた尤度に従って認識候補の優先順位を定める優先順位設定手段とを含むことを特徴とする請求項１ないし５のいずれかに記載の画像管理装置。
【請求項７】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記修正入力受付手段は、使用者に対して、複数の認識候補の選択肢を提示する選択候補提示手段を含み、
複数の人物画像を含む画像データ中において、いずれかの人物画像の認識結果が前記認識結果確定手段によって確定された場合に、当該画像データ中の認識結果未確定の人物画像について前記選択候補提示手段によって提示される認識候補の選択肢から、前記確定された認識結果を除外する認識候補除外手段をさらに含むことを特徴とする請求項１ないし６のいずれかに記載の画像管理装置。
【請求項８】
前記人物画像認識手段は、認識結果データとして、認識結果に対応するインデックス画像データを特定するインデックス画像特定データを生成するものであることを特徴とする請求項１ないし７のいずれかに記載の画像管理装置。
【請求項９】
前記認識結果記憶手段に記憶されている認識結果を確定するための認識結果確定手段をさらに含み、
前記画像データ記憶手段に記憶される画像データは、順序付けされており、
前記人物画像認識手段は、前記順序付けに従って前記画像データ記憶手段に記憶されている複数枚の画像データに関して人物画像認識処理を実行するものであり、
前記認識結果確定手段によって確定された認識結果に対応した画像データ以前の順位の画像データに関する認識結果を自動確定する認識結果自動確定手段をさらに含むことを特徴とする請求項１ないし８のいずれかに記載の画像管理装置。
【請求項１０】
人物画像を含む複数枚の画像データを管理するための画像管理装置としてコンピュータを動作させるためのコンピュータプログラムであって、
前記コンピュータは、人物画像を含む複数枚の画像データを記憶するための画像データ記憶手段、および人物画像の認識結果を記憶するための認識結果記憶手段を含み、
前記コンピュータプログラムは、前記コンピュータを、
前記画像データ記憶手段に記憶されている個々の画像データ中の人物画像を認識する人物画像認識手段、
この人物画像認識手段による認識結果を各画像データに対応付けて前記認識結果記憶手段に書き込む手段、
前記人物画像認識手段による認識結果を修正するための修正入力を受け付ける修正入力受付手段、および
この修正入力受付手段によって受け付けられた修正入力に応じて、前記認識結果記憶手段に記憶されている認識結果を修正する認識結果修正手段
として機能させるものであることを特徴とする画像管理用コンピュータプログラム。
【請求項１１】
請求項１０記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図２】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２６３１６（Ｐ２００７−２６３１６Ａ）
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願番号】特願２００５−２１０３７４（Ｐ２００５−２１０３７４）
【出願日】平成１７年７月２０日（２００５．７．２０）
【出願人】（００００１００７６）ヤマハ発動機株式会社 (3,045)
【Ｆターム（参考）】
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願日】平成１７年７月２０日（２００５．７．２０）
【出願人】（００００１００７６）ヤマハ発動機株式会社 (3,045)
【Ｆターム（参考）】
[ Back to top ]