情報端末、情報端末の情報制御方法及び情報制御プログラム
【課題】 追加や更新等された画像ファイルを分類する際のユーザの労力を大幅に軽減可能とし、その結果として他のコンテンツデータとの関連付けをも促進可能とする。
【解決手段】
画像検出・登録部２０は、未登録若しくは更新された画像ファイルを検出し、その画像ファイルのリストを構成して管理する。顔矩形検出部２１は、検出された画像ファイル内の顔矩形を検出し、その顔矩形の情報を画像ファイルに関連付けて保存する。類似顔分類部２２は、顔矩形が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔矩形の特徴量とを比較することにより、当該顔矩形と各グループ毎の他の顔矩形との類似度を算出し、その類似度算出結果に応じて、当該顔矩形を分類して管理する。類似顔表示部２３は、顔矩形の分類結果を基に、同分類となされた顔矩形を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。
【解決手段】
画像検出・登録部２０は、未登録若しくは更新された画像ファイルを検出し、その画像ファイルのリストを構成して管理する。顔矩形検出部２１は、検出された画像ファイル内の顔矩形を検出し、その顔矩形の情報を画像ファイルに関連付けて保存する。類似顔分類部２２は、顔矩形が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔矩形の特徴量とを比較することにより、当該顔矩形と各グループ毎の他の顔矩形との類似度を算出し、その類似度算出結果に応じて、当該顔矩形を分類して管理する。類似顔表示部２３は、顔矩形の分類結果を基に、同分類となされた顔矩形を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば携帯電話端末のように画像等を表示可能な表示デバイスを備えた情報端末と、その情報端末において取り扱う画像の管理とその画像を表示画面上に表示する際の情報制御方法及び情報制御プログラムに関する。
【背景技術】
【０００２】
例えば、特開２００９−２７２２１号の公開特許公報（特許文献１）には、電話帳やアドレス帳に登録されている電話番号や電子メールアレスと、それら電話番号や電子メールアドレス等の相手先の顔画像とを割り付けておき、その顔画像から通信相手先を容易に特定して通信を行えるようにした技術が開示されている。特にこの特許文献１には、複数の人物が撮影された写真画像からそれら複数の人物の顔領域を抽出し、それら抽出された複数の顔領域を、それぞれ電話番号や電子メールアドレスに関連つけて一括登録することを可能にしている。
【０００３】
また例えば、特開２００５−１５７６７９号の公開特許公報（特許文献２）には、予め顔画像の情報を多数学習して辞書データとして格納しておき、入力された写真画像を濃淡画像とし、その濃淡画像を拡大・縮小したスケーリング画像からウインドウ画像を切り取り、さらにそのウインドウ画像と辞書データの格納情報とを比較して類似部分を判定する処理を繰り返すことで、顔画像を容易且つ高速に検出可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７２２１号公報（図７）
【特許文献２】特開２００５−１５７６７９号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年の携帯電話端末は、通話や電子メールを扱う通信関連アプリケーションプログラムのみならず、インターネットへの接続及びウェブページの閲覧用アプリケーションプログラム、写真画像や動画像の撮影とそれら画像の再生閲覧用アプリケーションプログラム、楽曲の管理とその楽曲の再生用アプリケーションプログラム、スケジュール管理用アプリケーションプログラムなど、多種多様のアプリケーションプログラムを実行可能となされている。
【０００６】
また、近年の携帯電話端末は、上述した各種アプリケーションプログラムが各々本来扱うコンテンツデータに対して、例えば写真画像ファイル等のような特定の対象コンテンツファイルを関連付ける機能を備えているものも多い。すなわちその最も典型的な一例として、電話帳やアドレス帳に登録されている通信相手先の電話番号やアドレス等のデータに対して、それら通信相手先の顔画像ファイルとを関連付けるようなことが可能となされている。
【０００７】
ここで、携帯電話端末の使用を続けていくと、例えば、新たに撮影された画像ファイルや、電子メール等に添付されてきた新しい画像ファイル、ウェブページ等から取得した新たな画像ファイルなどのように、新しい画像ファイルが次々に増えていくことになる。また、一旦保存等した画像ファイルに対して変更や削除等が行われることも多い。
【０００８】
このように画像ファイルの新規追加、変更、削除等の更新がなされた場合において、それら更新等された画像ファイルを、各種アプリケーションのコンテンツデータに関連付けるようなことを行うためには、それら画像ファイルの更新等がなされる毎に、ユーザが、その画像ファイルを一つ一つ確認（例えば画像に何が写っているか等を確認）して、その画像ファイルを分類する作業を行わなければならない。
【０００９】
このような分類作業は非常に煩雑であり、ユーザにとって大きな負担となり、結局のところ、画像ファイルの更新等があっても、その画像ファイルを分類することをしなくなってしまうことが多い。そして、このように分類や関連付けがなされないまま放置された画像ファイルは有効に活用されなくなってしまう虞がある。すなわち、例えば電話帳用などの他のアプリケーションのコンテンツデータに関連付けるようなこと自体も行われなくなってしまう。
【００１０】
本発明は、このような実情に鑑みて提案されたものであり、更新等された画像ファイルを分類する際のユーザの労力を大幅に削減可能とし、その画像ファイルを他のコンテンツデータと関連付け易くする情報端末、情報端末の情報制御方法及び情報制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報端末は、画像検出・登録部と、顔画像検出部と、類似顔分類部と、類似顔表示部とを有する。画像検出・登録部は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理する。顔画像検出部は、画像検出・登録部にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を画像ファイルに関連付けて保存する。類似顔分類部は、顔画像検出部にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理する。類似顔表示部は、類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。これにより、本発明は前述した課題を解決する。
【００１２】
また、本発明の情報端末の情報制御方法は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理するステップと、その検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて保存するステップと、その顔画像の特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理するステップと、その顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるステップとを有することにより、上述した課題を解決する。
【００１３】
また、本発明の情報端末の情報制御プログラムは、画像検出・登録処理と、顔画像検出処理と、類似顔分類処理と、類似顔表示処理とを、情報端末に実行させるプログラムである。画像検出・登録処理は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して情報保存部へ保存して管理する。顔画像検出処理は、検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて情報保存部に保存する。類似顔分類処理は、顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して情報保存部へ保存して管理する。類似顔表示処理は、顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。これにより、本発明は前述した課題を解決する。
【００１４】
すなわち、本発明によれば、未登録若しくは更新された画像ファイルを検出、つまり新規追加や変更等の更新がなされた画像ファイルを検出すると、その画像ファイルから顔画像を検出し、さらに、既に算出されてグループ毎に分類されている他の顔画像との比較により、その検出顔画像を分類する。このように、本発明によれば、画像ファイルに更新等が発生する毎に、その画像ファイルの分類がなされ、その画像ファイルと他の画像ファイルとのグループ化がなされる。そして、本発明によれば、その分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるため、ユーザは、その画像ファイルの分類状況を確認できると共に、必要とあらばその分類結果に修正を加えることも可能となる。これにより、分類された画像ファイルを他の所望のアプリケーションのコンテンツデータとの関連付けすることも容易となる。
【発明の効果】
【００１５】
本発明においては、未登録若しくは更新された画像ファイルから顔画像を検出して、その顔画像を、既に算出されてグループ毎に分類されている他の顔画像と比較することで分類し、その分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるようにしているため、未登録若しくは更新等された画像ファイルを分類する際のユーザの労力を大幅に軽減でき、他のコンテンツデータとの関連付けをも容易にすることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明実施形態の移動体端末の概略的な外観斜視図であり、その移動体端末を表示画面側から観た図である。
【図２】本発明実施形態の移動体端末の概略的な外観斜視図であり、その移動体端末をカメラレンズ側から観た図である。
【図３】本実施形態の移動体端末の概略的な内部構成を示すブロック図である。
【図４】コンテンツファイル管理アプリケーションプログラムが実行されている時にＣＰＵに形成される概略的な機能ブロック図である。
【図５】画像撮影用のカメラアプリケーションプログラムが実行されて撮像デバイスにて画像が撮影されたことを検出した場合の撮影画像検出・登録部内の機能ブロック図である。
【図６】外部記憶デバイスに外部記憶メモリが挿入された場合の撮影画像検出・登録部内の機能ブロック図である。
【図７】画像ファイルが新規追加、変更、削除等された場合の撮影画像検出・登録部内の機能ブロック図である。
【図８】顔矩形検出部の詳細な機能ブロック図である。
【図９】顔矩形検出部が検出した顔矩形をグループ毎に分類する場合の類似顔分類部内の機能ブロック図である。
【図１０】その他の手法により画像ファイルに対して事前に分類情報が付与されている場合に、その分類情報を参照して顔矩形を分類する場合の類似顔分類部内の機能ブロック図である。
【図１１】移動体端末のユーザが手動により画像ファイルを分類する場合の類似顔分類部内の機能ブロック図である。
【図１２】類似顔分類部の顔類似度計算部と分類部における処理のフローチャートである。
【図１３】類似顔登録通知部と単体画像表示部と類似顔画像集合表示部とで構成される類似顔表示部の詳細な機能ブロック図である。
【図１４】類似顔登録通知部と単体画像表示部と類似顔画像集合表示部と電話帳情報表示部とで構成される類似顔表示部の詳細な機能ブロック図である。
【図１５】類似顔の分類及び登録完了通知の一例として、ディスプレイ画面上に、その顔矩形を含む画像ファイルをカード状のオブジェクトを表示し、そのカード状オブジェクトの近傍に所定の通知アイコンを表示した例を示す図である。
【図１６】ユーザから単体画像表示を要求する所定の指示操作が入力されたことで、ディスプレイ画面上に単体画像表示がなされている例を示す図である。
【図１７】顔画像と電話帳が関連付けられていることで、ディスプレイ画面上に表示された顔画像と電話帳の情報を示す図である。
【図１８】それぞれ類似した顔画像を有する複数の画像ファイルのサムネイルがディスプレイ画面上に一覧表示された例を示す図である。
【図１９】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面の一例を示す図である。
【図２０】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面であり、特に、全てのカード状オブジェクトがアイドル状態となっている場合の説明に用いる図である。
【図２１】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面であり、特に、何れかのカード状オブジェクトがプレビュー状態となっている場合の表示例を示す図である。
【図２２】アイドル状態のカード状オブジェクトの説明に用いる図である。
【図２３】プレビュー状態のカード状オブジェクトの説明に用いる図である。
【図２４】類似顔表示部において、電話帳情報表示から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【図２５】類似顔表示部において単体画像表示から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【図２６】類似顔表示部において類似顔登録通知がなされている状態から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１８】
なお、本発明の情報端末、情報端末の情報制御方法及び情報制御プログラムが適用される一例として、本実施形態では、携帯電話端末のような移動体端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
【００１９】
［移動体端末の概略外観構成］
図１と図２には、本発明実施形態の移動体端末の概略的な外観斜視図を示す。なお、図１は本実施形態の移動体端末を表示画面２側から観た図であり、図２は本実施形態の移動体端末をカメラレンズ４側から観た図である。また、図１，図２には、本発明にかかる主要部のみを示しており、例えば一般的な携帯電話端末等が備えている各構成要素についての図示は省略している。
【００２０】
本実施形態の移動体端末１は、ディスプレイ画面２と、カメラレンズ４と、外部記憶メモリ３を挿脱可能な図示しないメモリカードスロットとを、筐体に備えた携帯電話端末である。
【００２１】
ここで、本実施形態の移動体端末１において、例えば被写体Ａと被写体Ｂの人物（図では顔のみを示している。）の写真を撮る場合、カメラレンズ４の撮影方向（図中一点鎖線の矢印方向）をそれら被写体Ａ，Ｂの方向に合わせて撮影が行われる。そして、被写体Ａ，Ｂの撮影が行われている場合、ディスプレイ画面２には、撮影中の被写体Ａ，Ｂの画像（被写体画像５Ａ，５Ｂ）が表示される。
【００２２】
［移動体端末の概略内部構成］
図３には、本実施形態の移動体端末１の概略的な内部構成を示している。なお、図３には、本発明にかかる主要部のみを示しており、例えば一般的な携帯電話端末等が備えている各構成要素についての図示は省略している。
【００２３】
本実施形態の移動体端末１は、内部の主要なハードウェア構成要素として、ＣＰＵ（中央処理ユニット）１０と、表示デバイス１１と、撮像デバイス１２と、内部記憶デバイス１３と、外部記憶デバイス１４とを有している。
【００２４】
表示デバイス１１は、例えば液晶や有機ＥＬ（ElectroLuminescent）等からなるディスプレイ画面と、そのディスプレイ画面の表示駆動回路とを有し、ＣＰＵ１０から供給された画像信号により、前記ディスプレイ画面上に、様々な画像や文字等を表示する。
【００２５】
撮像デバイス１２は、光学レンズ（カメラレンズ４）と撮像素子、フォーカス合わせやズーム倍率変更のために前記光学レンズを駆動するレンズ駆動機構及びその駆動回路、撮像素子からの撮像信号に画像処理を施す画像処理回路などからなる。当該撮像デバイス１２により撮像された静止画像や動画像の画像信号は、ＣＰＵ１０による制御の基で、内部記憶デバイス１３や外部記憶デバイス１４に保存される。
【００２６】
内部記憶デバイス１３は、本実施形態の移動体端末内部に設けられている内蔵メモリであり、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とからなる。前記ＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含む。当該ＲＯＭは、ＣＰＵ１０上に形成されるファイルシステム１５、ＣＰＵ１０が各部を制御するための制御プログラム、各種の初期設定値、辞書データ、各種操作音等の音データ、各種アプリケーションプログラムなどを格納している。なお、各種アプリケーションプログラムとしては、例えばＳＮＳ（Social Networking Service）用やＳＭＳ（Short Message Service）／ＭＭＳ（Multimedia Messaging Service）用、電子メール用、楽曲用、動画用及び写真用、スケジュール管理用、画像撮影用などの各種アプリケーションプログラムを挙げることができる。また、ＲＯＭには、各種アプリケーションプログラムにより扱われるコンテンツデータも格納される。これら各種アプリケーションプログラムにより扱われるコンテンツデータとしては、例えば、電話番号や電子メールアドレス，個人名，ＳＮＳアカウントなどデータ（以下これらを纏めて電話帳のデータと表記する。）、スケジュール帳やカレンダーのデータ、ＳＭＳやＭＭＳ，電子メールなどのメッセージデータ、それらメッセージデータの発着信や通話の発着信などの通信履歴、撮像デバイス１２により撮影されたりパーソナルコンピュータ等から転送された静止画像や動画像のデータ、インターネット等を介して購入等された静止画像や動画像，楽曲の購入履歴、ユーザがネットワーク等を介してダウンロードしたデータファイルなどを挙げることができる。また、本実施形態において、ＲＯＭには、本発明の情報制御プログラムとして、後述するように例えば新規追加や変更等がなされた撮影画像ファイルなどの特定の対象コンテンツファイルを検出し、その対象コンテンツファイルを、他の対象コンテンツファイルとの類似度に応じて分類して、その分類された対象コンテンツファイルを管理するコンテンツファイル管理アプリケーションプログラムも格納している。それら各種アプリケーションプログラムや本実施形態のコンテンツファイル管理アプリケーションプログラムは、工場出荷時に前記ＲＯＭに格納される場合のみならず、工場出荷後に例えば通信や外部メモリ等を介して、本実施形態の移動体端末へ転送されてインストールされるものであってもよい。前記ＲＡＭは、ＣＰＵ１０が各種のデータ処理を行う際の作業領域として、コンテンツデータを含む各種データを随時格納する。
【００２７】
外部記憶デバイス１４は、前記外部記憶メモリ３と、その外部記憶メモリ３を挿脱可能なメモリカードスロットと、当該メモリカードスロットを介してＣＰＵ１０が外部記憶メモリ３の書き込み／読み出しを行う際のインターフェース回路とを有して構成されている。なお、外部記憶メモリ３には、ＳＩＭ（Subscriber Identity Module）情報等を保持する着脱可能なカード状の外付けメモリも含まれ、この場合、前記メモリカードスロットは一般の外部メモリカード用と当該ＳＩＭカード用とで別々に設けられる。
【００２８】
ＣＰＵ１０は、本実施形態の移動体端末１の各構成要素を制御し、いわゆるファイルシステム１５を形成して各種ファイルを管理する。また、ＣＰＵ１０は、内部記憶デバイス１３に格納されている各種のアプリケーションプログラムの実行及びそれに付随する各種コンテンツの情報処理等を行う。特に、本実施形態の場合、ＣＰＵ１０は、本発明実施形態のコンテンツファイル管理アプリケーションプログラムを実行することで、後述するように、例えば新規追加や変更等の更新がなされた撮影画像ファイルなどの特定の対象コンテンツファイルを、他の対象コンテンツファイルとの類似度に応じて分類して管理し、さらに必要に応じて、その分類された対象コンテンツファイルを、所望のアプリケーションプログラムにより扱われるコンテンツデータに関連付けて管理する。
【００２９】
［コンテンツファイル管理アプリケーションプログラム実行時の機能ブロック］
図４には、コンテンツファイル管理アプリケーションプログラムが実行されている時にＣＰＵ１０に形成される各機能のブロック図を示す。なお、本実施形態では、前記対象コンテンツファイルとして写真画像ファイルを例に挙げ、また、その対象コンテンツファイルの類似度として当該写真画像ファイル内に写っている人物の顔画像の類似度を挙げ、その顔画像の類似度に応じて写真画像ファイルを分類及び管理する例を挙げている。
【００３０】
図４に示すように、コンテンツファイル管理アプリケーションプログラムが実行されている時、ＣＰＵ１０には、撮影画像検出・登録部２０と、顔矩形検出部２１と、類似顔分類部２２と、類似顔表示部２３の各機能部が形成される。
【００３１】
撮影画像検出・登録部２０は、撮影された画像ファイルの新規追加・変更・削除等を検出するとともに、本実施形態の移動体端末に保存されている画像ファイルの情報リストを構成して管理する。なお、本実施形態において、前記撮影された画像ファイルとしては、図３の撮像デバイス１２により撮影された写真画像ファイルだけでなく、前記内部記憶デバイス１３や外部記憶デバイス１４に保存されている写真画像ファイル、ネットワークや外部接続ケーブル等を介して転送されてくる写真画像ファイルも含まれる。ＣＰＵ１０は、ファイルシステム１５により、これら写真画像ファイルの新規追加・変更・削除を検出及び管理する。
【００３２】
顔矩形検出部２１は、前記撮影画像検出・登録部２０にて新規追加・変更・削除等が検出された画像ファイルを基に、予め学習等されて用意されている顔検出用辞書データを参照し、その画像ファイル内に含まれる人物の顔領域を含む顔矩形画像（顔画像のウィンドウ画像）を検出し、当該検出した顔矩形情報を、その画像ファイルに関連付けて保存する。
【００３３】
類似顔分類部２２は、顔矩形検出部２１にて検出された顔矩形から、その顔矩形画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔矩形の特徴量とを比較することで、その顔矩形が何れのグループの顔矩形に類似しているかを判断し、その類似判断結果に応じて顔矩形を分類する。また、本実施形態では、顔矩形検出部２１にて検出された顔矩形を、移動体端末のユーザが手動により分類することも可能となされている。なお、前記顔矩形の画像が有する特徴量としては、一例として、顔矩形の画像を構成する各画素の輝度値の差を用いることができる。
【００３４】
類似顔表示部２３は、前記類似顔分類部２２による顔矩形の分類結果を基に、例えば同分類となされた顔矩形を含む一枚又は複数枚の画像を、前記表示デバイス１１のディスプレイ画面２上に表示させる。
【００３５】
［撮影画像検出・登録部の詳細］
図５〜図７には、撮影画像検出・登録部２０の詳細な機能ブロック図を示す。
【００３６】
図５には、画像撮影用のカメラアプリケーションプログラムが実行されて撮像デバイス１２にて画像が撮影されたことを撮影画像検出・登録部２０が検出した場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている状態で、カメラアプリケーションプログラムが実行されると、当該撮影画像検出・登録部２０には、撮像検出部１２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５とが形成される。
【００３７】
この図５において、撮像デバイス１２にて画像が撮影されたことを撮像検出部３０にて検出すると、撮影画像検出・登録部２０は、当該撮像デバイス１２から供給された写真画像ファイルを撮影画像保存部３２へ送る。この時の撮影画像保存部３２は、当該写真画像ファイル３３を内部記憶デバイス１３若しくは外部記憶デバイス１４へ保存させる。なお、画像ファイル３３には、被写体像等の実撮影画像データ３４が含まれる。
【００３８】
またこの時の撮像検出部３０は、前記写真画像ファイルをイメージファイル情報登録部３１へも送る。イメージファイル情報登録部３１は、前記写真画像ファイルの前記実撮影画像データを除く画像属性情報を、イメージファイル情報３６として、イメージファイル情報保存部３５へ送る。イメージファイル情報保存部３５は、イメージファイル情報３６を内部記憶デバイス１３等へ保存させるとともに、当該イメージファイル情報３６と前記撮影画像保存部３２に保存された各画像ファイル３３とを対応付けたデータベースを構成する。なお、前記画像属性情報は、一例として、画像の解像度、データサイズ、撮影日時、ファイル名、画像ファイルのＩＤ（識別情報）、撮像デバイス１２のカメラレンズのＦ値、ホワイトバランス設定値、オートフォーカス設定値、撮影距離、逆光補正情報、レベル補正情報、ブラケット撮影情報、前記実撮影画像データから生成したサムネイル画像情報などの各種情報からなる。
【００３９】
図６には、前記外部記憶デバイス１４に前記外部記憶メモリ３が挿入された場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている時に、当該撮影画像検出・登録部２０には、外部記憶デバイス挿入検出部４１と、イメージファイル検索部４２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５とが形成される。
【００４０】
この図６において、外部記憶デバイス挿入検出部４１は、前記外部記憶デバイス１４のメモリカードスロットに外部記憶メモリ３が挿入された場合に、それを検出する。当該外部記憶デバイス挿入検出部４１にて外部記憶メモリ３の挿入が検出されると、撮影画像検出・登録部２０は、イメージファイル検索部４２を機能させる。
【００４１】
この時のイメージファイル検索部４２は、外部記憶メモリ３に写真画像ファイルが格納されているか否か検索し、写真画像ファイルが格納されている場合には、さらに、それら画像ファイルの中から、イメージファイル情報保存部３５にイメージファイル情報３６が登録されていない未登録の画像ファイルを検索する。そして、イメージファイル検索部４２は、未登録の画像ファイルを見つけた場合、その画像ファイルをイメージファイル情報登録部３１へ送る。これにより、イメージファイル情報登録部３１は、その画像ファイルのイメージファイル情報３６を、イメージファイル情報保存部３５へ送る。イメージファイル情報保存部３５では、そのイメージファイル情報３６を、外部記憶メモリ３に格納されている写真画像ファイルと対応付けてデータベースに登録する。
【００４２】
図７には、例えばネットワークや外部接続ケーブル等を介して画像ファイルが転送されて新たに追加されたり、既に内部記憶デバイス１３や外部記憶デバイス１４に格納されている画像ファイルが変更、削除等された場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている時に、当該撮影画像検出・登録部２０には、ファイルシステム変更検出部４３と、イメージファイル検索部４２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５も形成されている。
【００４３】
この図７において、ファイルシステム変更検出部４３は、前記ファイルシステム１５の動作をみることにより、内部記憶デバイス１３や外部記憶デバイス１４への画像ファイルの新規な追加や、既に格納済みの画像ファイルが変更，削除等されるようなファイル更新を常に監視している。そして、ファイルシステム１５による画像ファイルの新規追加、変更、削除等のファイル更新を、ファイルシステム変更検出部４３が検出すると、撮影画像検出・登録部２０は、イメージファイル検索部４２を機能させる。
【００４４】
ここで、画像ファイルの新規追加がなされた場合、イメージファイル検索部４２は、その画像ファイル（３３）を撮影画像保存部３２へ送って保存させるとともに、イメージファイル情報登録部３１を介して前記画像属性情報（イメージファイル情報３６）をイメージファイル情報保存部３５へ送って保存させる。また、画像ファイルの変更がなされた場合、イメージファイル検索部４２は、撮影画像保存部３２により管理されている画像ファイル３３のなかで、ファイルシステム変更検出部４３が変更を検出した画像ファイル３３を検索するとともに、イメージファイル情報登録部３１を介して、当該変更後の画像ファイルの前記画像属性情報を前記イメージファイル情報保存部３５に保存させる。また、画像ファイルの削除がなされた場合、イメージファイル検索部４２は、イメージファイル情報登録部３１を介して、当該削除された画像ファイルに対応した前記画像属性情報を、前記イメージファイル情報保存部３５に削除させる。また、イメージファイル情報登録部３１は、それら新規追加、変更、削除等に応じてデータベースを更新する。
【００４５】
［顔矩形検出部の詳細］
図８には、顔矩形検出部２１の詳細な機能ブロック図を示す。
【００４６】
図８において、顔矩形検出部２１には、顔矩形マッチング部５１と、顔検索用辞書保存部５２と、顔矩形情報保存部５４とが形成される。
【００４７】
顔検索用辞書保存部５２には、予め多数の顔画像を用いて学習された顔に関する情報が顔検索用辞書データ５３として登録されている。
【００４８】
顔矩形マッチング部５１は、入力された画像ファイルの画像を拡大或いは縮小し、それら拡大或いは縮小したスケーリング画像と、顔検索用辞書データ５３に予め登録されている情報とを比較し、それらの類似部分を判定（マッチング）することを繰り返すことにより、写真画像から顔の領域、両目の位置、鼻の位置、口の位置などを見つけ出し、それらの情報を顔矩形情報５５として検出する。
【００４９】
顔矩形情報保存部５４は、顔矩形マッチング部５１が検出した顔矩形情報５５に対してＩＤ（識別情報）を付与するとともに、画像ファイルと対応つけてデータベースを構築し、例えば内部記憶デバイス１３へ保存させる。
【００５０】
［類似顔分類部の詳細］
図９〜図１１には、類似顔分類部２２の詳細な機能ブロック図を示す。
【００５１】
図９には、図８の顔矩形検出部２１が検出した顔矩形をグループ毎に分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００５２】
この図９の場合、類似顔分類部２２は、顔特徴検出部６１と、顔類似度計算部６２と、分類部６３と、顔特徴情報保存部６４と、顔分類情報保存部６６とで構成される。
【００５３】
顔特徴検出部６１は、前記顔矩形検出部２１が検出した顔矩形について、例えば顔矩形の画像を構成する各画素の輝度値の差で表される特徴量を算出する。
【００５４】
顔特徴情報保存部６４には、既に算出された顔特徴情報６５を保存管理している。
【００５５】
顔類似度計算部６２は、顔特徴検出部６１が算出した特徴量と、顔特徴情報保存部６４に保存されている顔特徴情報６５とを比較することで、それぞれの顔矩形について類似度を算出する。
【００５６】
分類部６３は、顔類似度計算部６２が算出した類似度を基に、類似度が近いものつまりそれぞれ類似しているものの集合体（グループ）を作成し、それら各集合体毎（グループ毎）に各顔矩形を分類する。
【００５７】
顔分類情報保存部６６は、顔分類部６３によりグループ毎に分類された各顔分類情報６７を保存管理する。
【００５８】
図１０には、その他の手法により画像ファイルに対して事前に分類情報が付与されている場合に、その分類情報を参照して顔矩形を分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００５９】
この図１０の場合、類似顔分類部２２は、事前分類画像取得部７０と、顔分類情報保存部６６とからなる。
【００６０】
事前分類画像取得部７０は、他の手法により事前に付与された分類情報を基に、画像ファイルを分類する。
【００６１】
顔分類情報保存部６６は、事前分類画像取得部７０による顔分類情報６７を保存管理する。
【００６２】
図１１には、移動体端末のユーザが手動により画像ファイルを分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００６３】
この図１１の場合、類似顔分類部２２は、手動分類部７１と、顔分類情報保存部６６とからなる。
【００６４】
手動分類部７１は、ユーザからの指示に応じて、画像ファイルを分類する。
【００６５】
顔分類情報保存部６６は、手動分類部７１により画像ファイルの顔分類情報６７を保存管理する。
【００６６】
なお、この図１１における手動分類には、図９、図１０における分類結果を手動にて修正する場合も含まれる。
【００６７】
［類似顔分類部における処理の流れ］
図１２には、前述の図９に示した類似顔分類部２２の顔類似度計算部６２と分類部６３における処理のフローチャートを示す。
【００６８】
図１２において、顔類似度計算部６２は、先ず、顔特徴検出部６１にて検出された顔矩形の個数と、その個数分の優先度（Similarity score）と、その個数分のグループの識別子（クラスタリングＩＤ：Clustering ID）とを用意する。なお、この時のクラスタリングＩＤは、既に分類されたグループのクラスタリングＩＤとは重複しない仮のＩＤとなされる。
【００６９】
次に、顔類似度計算部６２は、ステップＳ１の処理として、顔特徴検出部６１にて検出された各顔矩形の各々について、先に用意されたクラスタリングＩＤをそれぞれ付与してグループ化する。
【００７０】
次に、顔類似度計算部６２は、ステップＳ２の処理として、既に分類されている各グループの各顔矩形の特徴量と、顔特徴検出部６１にて検出された顔矩形の特徴量とを、各々比較して類似度を算出し、それら各グループ毎に類似度の最大値及び最小値と平均値を計算する。そして、顔類似度計算部６２は、処理を分類部６３へ渡す。
【００７１】
分類部６３は、ステップＳ３の処理として、類似度の平均値が第一の閾値を超えるグループが複数存在するか否か判定し、複数存在する場合にはステップＳ４へ処理を進め、一方、複数存在しない場合はステップＳ９へ処理を進める。
【００７２】
ステップＳ９の処理に進んだ場合、分類部６３は、前記類似度の平均値が前記第一の閾値を超えるグループが一つだけか否か判定し、一つだけである場合にはステップＳ１０へ処理を進め、一方、一つも存在しない場合にはステップＳ１１へ処理を進める。
【００７３】
ステップＳ１１の処理に進むと、分類部６３は、その顔矩形について新規のクラスタリングＩＤが割り当てられる。つまりこの場合、顔特徴検出部６１にて検出された顔矩形は、既に分類されている何れのグループにも属さない新しい顔矩形であり、その顔矩形には新規のクラスタリングＩＤ（つまり新しいグループ）が割り当てられる。当該ステップＳ１１の処理後、この図１２のフローチャートの処理を終了する。
【００７４】
ステップＳ１０の処理に進んだ場合、分類部６３は、その顔矩形に対し、前記平均値が第一の閾値を超えた唯一のクラスタリングＩＤを割り当てる。つまり、この場合、顔特徴検出部６１にて検出された顔矩形は、既に分類されている或る一つのグループに属する顔矩形となされ、そのグループのクラスタリングＩＤが割り当てられる。当該ステップＳ１０の処理後、この図１２のフローチャートの処理を終了する。
【００７５】
前記ステップＳ３において複数存在すると判定されてステップＳ４の処理に進むと、分類部６３は、その顔矩形に対し、前記平均値が第一の閾値を超えた複数のグループの中で最も平均値が高かったグループのクラスタリングＩＤを割り当てる。
【００７６】
次に、分類部６３は、ステップＳ５〜ステップＳ８のループ処理へ移行する。当該ループ処理では、各グループの数だけ処理が繰り返される。
【００７７】
ステップＳ５〜ステップＳ８のループ処理へ進むと、分類部６３は、前記最も平均値が高いグループ以外の一つのグループについて、前記類似度の最大値，最小値，平均値が共に、所定の第二の閾値を超えているか否か判定する。そして、第二の閾値を超えていると判定した場合、分類部６３はステップＳ７へ処理を進め、一方、超えていないと判定した場合には次のグループについての処理に進む。
【００７８】
ステップＳ７の処理に進んだ場合、分類部６３は、そのグループのクラスタリングＩＤを、前記最も平均値が高いグループのクラスタリングＩＤに置き換える。つまりこの場合、分類部６３は、それらグループを統合する処理を行う。
【００７９】
ステップＳ５〜ステップＳ８のループ処理が各グループの数だけ行われると、この図１２のフローチャートの処理を終了する。
【００８０】
なお、図１１のように、移動体端末のユーザが手動により画像ファイル（顔矩形）を分類した場合、その手動分類された顔矩形が属することになったグループについて前記平均値（場合によっては最大値や最小値も）が変わることになる。そして、手動分類がなされた場合には、自動分類では正確に分類し得なかった顔矩形を確実に分類できることになるとともに、その手動分類の情報がその後の自動分類の際に反映されることになるため、より精度の高い自動分類が可能となる。
【００８１】
［類似顔表示部の詳細］
図１３，図１４には、類似顔表示部２３の詳細な機能ブロック図を示す。また、図１５〜図１８には、移動体端末１のディスプレイ画面２上に画像が表示される場合の各表示例を示している。
【００８２】
図１３に示すように、類似顔表示部２３は、類似顔登録通知部８１と、単体画像表示部８３と、類似顔画像集合表示部８２とで構成される。
【００８３】
類似顔登録通知部８１は、前述のように撮影画像検出・登録部２０により画像ファイルが検出され、さらに顔矩形検出部２１により顔矩形が検出されて、その後、類似顔分類部２２によりその顔矩形の分類が完了すると、当該顔画像の分類及び登録が完了したことをユーザへ通知する。本実施形態では、当該類似顔の分類及び登録が完了したことをユーザへ通知するための一手法として、例えば携帯電話端末の待ち受け画面上に表示されるカード状オブジェクトの近傍若しくはそのオブジェクトの所定位置上に、所定のアイコンを表示するような手法を用いている。なお、その他の手法として、例えば音声出力やＬＥＤ発光、バイブレータの振動など、移動体端末が元々備えている通知機能を用いることにより、前記類似顔の分類及び登録が完了したことをユーザへ通知するようにしてもよい。
【００８４】
図１５には、当該類似顔の分類及び登録完了通知の一例として、ディスプレイ画面２上に、その顔矩形を含む画像ファイルを例えばカード状のオブジェクト９１として表示すると共に、そのカード状オブジェクト９１の近傍に類似顔登録通知用の所定のアイコン９２を表示した例をしている。なお、図１５には、一枚のカード状オブジェクト９１のみを表示している例を挙げたが、本実施形態の移動体端末においては、後述するように、更新の履歴に対応した時系列順の複数のカード状オブジェクトを、ディスプレイ上に配列表示することも可能である。本実施形態の移動体端末によれば、このように複数のカード状オブジェクトを配列表示した場合においても図１５の例と同様に、顔画像の分類及び登録が完了した画像ファイルに対応したカード状オブジェクトの近傍若しくはそのオブジェクトの所定位置上に、前記類似顔登録通知用のアイコンを表示することで、そのカード状オブジェクトに対応した画像ファイル内の顔画像の分類及び登録が完了したことを、ユーザへ通知することができる。
【００８５】
単体画像表示部８３と類似顔画像集合表示部８２は、例えば図１５のように類似顔登録通知がなされている場合、或いは、それら単体画像表示部８３や類似顔画像集合表示部８２による画像表示がなされている場合において、ユーザから所定の指示操作が入力された時に機能する。なお、ユーザによる所定の指示操作としては、例えば本実施形態の移動体端末１のディスプレイ画面２上にいわゆるタッチパネルが設けられているような場合において、そのタッチパネルへの操作（タッチやタップ、フリックなど）を挙げることができる。
【００８６】
例えば、図１５の類似顔登録通知がなされている時に、ユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、例えば図１６に示すように、前記カード状オブジェクト９１に対応した画像ファイルの画像をディスプレイ画面２上に表示する。なお、ディスプレイ画面２上に複数のカード状オブジェクトが時系列順に配列表示されているような場合、ユーザにより何れか一つのカード状オブジェクトが選択された上で、さらに単体画像表示を要求する所定の指示操作が入力されたような場合も、単体画像表示部８３は、当該ユーザにより選択されたカード状オブジェクトに対応した画像ファイルの画像をディスプレイ画面２上に表示する。
【００８７】
また例えば、図１５のような類似顔登録通知用アイコン９２による類似顔登録通知がなされている時に、ユーザから類似顔画像の集合表示を要求するための操作として例えばその類似顔登録通知用アイコン９２へのタッチ等の操作が入力されると、類似顔画像集合表示部８２は、例えば図１８に示すように、前記カード状オブジェクト９１に対応した画像ファイルの顔画像に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像９５を一覧表示する。なお、ディスプレイ画面２上に複数のカード状オブジェクトが時系列順に配列表示されているような場合において、前記類似顔登録通知用アイコンによる類似顔登録通知がなされている何れか一つのカード状オブジェクトがユーザにより選択されるとともに、類似顔画像集合表示を要求するための操作（類似顔登録通知用アイコン９２へのタッチ等の操作）がユーザから入力された場合も、類似顔画像集合表示部８２は、当該選択されたカード状オブジェクトに対応した画像ファイルの顔画像に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像を一覧表示する。
【００８８】
また、図１８に示す類似顔画像集合表示は、例えば図１６に示す単体画像表示がなされている時に、ユーザから類似顔画像の集合表示を要求する操作（例えば類似顔登録通知用アイコン９２へのタッチ等の操作）が入力された場合にも行われる。
【００８９】
一方、例えば図１８に示すような類似顔画像集合表示がなされている場合において、そのディスプレイ画面２上に表示されている各サムネイル画像９５のなかの何れか所望のサムネイル画像がユーザにより選択された上で、さらにユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、その選択されたサムネイル画像に対応した画像ファイルの単体画像をディスプレイ画面２上に表示する。なお、図１８の例において、左上隅のサムネイル画像が選択されたような場合には、図１６に示した単体画像表示がなされることになる。
【００９０】
また、本実施形態の移動体端末によれば、ディスプレイ画面２上に前述した類似顔登録通知や単体画像表示、類似顔画像集合表示がなされているような場合において、それら表示されている顔画像に対応して例えば電話帳が対応付けられている時には、その電話帳の情報との連携も可能となされている。
【００９１】
図１４には、電話帳情報との連携が可能となっている場合の類似顔表示部２３の機能ブロック図を示す。この図１４の例の場合、類似顔表示部２３は、類似顔登録通知部８１と、単体画像表示部８３と、類似顔画像集合表示部８２と、電話帳情報表示部８４とで構成される。類似顔登録通知部８１、単体画像表示部８３、類似顔画像集合表示部８２については前述同様である。
【００９２】
電話帳情報表示部８４は、前述した類似顔登録通知、単体画像表示、類似顔画像集合表示がなされている場合に、電話帳と対応付けられた画像がユーザにより選択された場合に機能する。
【００９３】
例えば図１５の類似顔登録通知がなされており、前記カード状オブジェクト９１が電話帳に関連付けられている場合において、そのカード状オブジェクト９１に対して、ユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、例えば図１７に示すように当該カード状オブジェクト９１に対応した顔画像に関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９４】
また例えば、図１８に示した類似顔画像集合表示がなされている場合において、そのディスプレイ画面２上に表示されている各サムネイル画像９５のなかの何れか所望のサムネイル画像がユーザにより選択された上で、さらにユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、図１７に示すように、その選択されたサムネイル画像に対応した顔画像に関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９５】
同様に、例えば図１６に示した単体画像表示がなされている場合において、ユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、図１７に示すように、その単体画像表示されていた画像ファイルに関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９６】
一方、図１７に示すように電話帳情報表示がなされている場合において、ユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、例えば図１６に示すように前記カード状オブジェクト９１に対応した画像ファイルの画像をディスプレイ画面２上に表示する。
【００９７】
また例えば、図１７に示すように電話帳情報表示がなされている場合において、ユーザから類似顔画像の集合表示を要求する前記類似顔登録通知用アイコン９２をタッチ等する操作がなされると、類似顔画像集合表示部８２は、図１８に示したように、当該電話帳情報９４と共に表示されていた顔画像９３に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像９５を一覧表示する。
【００９８】
［複数のカード状オブジェクトの配列表示例］
本実施形態において、前述したカード状オブジェクトとしては、前記図１５の例のような画像ファイルに対応したコンテンツデータに関するものの他に、例えば電子メールやＳＮＳやＳＭＳ／ＭＭＳ、楽曲再生用など様々なアプリケーションプログラムにて扱われる各種コンテンツの更新，追加等をユーザに通知するためのものも用意されている。そして本実施形態の移動体端末によれば、それら各種アプリケーションプログラムの各種コンテンツデータに対応したカード状オブジェクトを、図１９〜図２１に示すように、例えば携帯電話端末における待ち受け画面上などに配列表示することも可能となされている。なお、図１９〜図２１の例は、前述のディスプレイ画面２を縦方向にして観た図を示している。
【００９９】
すなわち本実施形態において、図１９に示すように配列されている各カード状オブジェクト１０１は、それぞれに対応したコンテンツデータの更新や追加がなされたこと、及び、その更新や追加の大まかな中身を、ユーザへ分かり易く提示するための表示用オブジェクトとなされている。
【０１００】
また本実施形態において、各カード状オブジェクト１０１には、それぞれ例えばＳＮＳ用やＳＭＳ用、電子メール用、楽曲用、写真用などの各種アプリケーションプログラムの何れのプログラムに対応したコンテンツであるのかを表す情報や、例えばメッセージの送信元やニュースの見出しなどのように各コンテンツ毎に特有で且つ各コンテンツの属性を表すことができる情報、コンテンツデータ等の更新や追加等の日時を示す情報など、それぞれ各コンテンツの特性と更新の中身を的確に表す情報が表示される。
【０１０１】
本実施形態において、前記何れのアプリケーションプログラムに対応したコンテンツであるのかを表す情報としては、一例として、各コンテンツの種類に応じたアイコンや文字情報等が用いられ、それらアイコンや文字情報はコンテンツ毎に異なるものとして予め用意されている。また、前記各コンテンツ毎に特有で且つその属性を表すことができる情報としては、一例として、メッセージの送信元を表す文字情報や写真等のイメージ画像、ニュースの配信元やそのニュースの見出しを表す文字情報などが用いられる。また、コンテンツデータ等の更新や追加等の日時を示す情報としては、年月日、日時などを表す文字情報が用いられる。なお、図１９、図２０の例では、各カード状オブジェクト１０１が何れのコンテンツに対応しているのかについての図示は省略しており、また、各更新情報表示カード１０１内に記述される文字情報等の具体例についても図示を省略している。
【０１０２】
さらに、本実施形態においては、複数のカード状オブジェクト１０１をディスプレイ画面２上に表示する場合、それら複数のカード状オブジェクト１０１を、各コンテンツデータの更新時間順に対応させて例えば一列に並べて表示することにより、各コンテンツデータの更新，変更等の時間的な関係を分かり易く提示可能としている。
【０１０３】
すなわち、図１９と図２０の例では、複数のカード状オブジェクト１０１を、コンテンツデータが更新，変更等された際の時間順に並べて表示した状態のユーザインターフェース画面例を示している。なお、図１９と図２０は、携帯電話端末としての本実施形態の移動体端末が、例えばいわゆる待ち受け状態となっている時の前記カード状オブジェクト１０１の表示例を示している。もちろんこれは一例であり、図１９，図２０の画面は、待ち受け画面ではなく、別途用意された所定の画面であってもよい。
【０１０４】
より具体的に説明すると、本実施形態において、画面上に表示される複数のカード状オブジェクト１０１は、例えばユーザがディスプレイ画面を正対して視た時の画面上部から画面下部に向かって、更新日時が新しいものから古いものの順に連なるように表示（時系列に表示）される。すなわち、更新や追加等された日時の新しいものから順（画面上部から画面下部に向かう順）に、一例として、ＳＭＳの着信を表す１枚のカード状オブジェクト、別のＳＭＳの着信を表す１枚のカード状オブジェクト、ＲＳＳ（RDF(Resource description framework) Site Summary）からのニュースの更新を表す１枚のカード状オブジェクト、ＳＮＳの更新を表す１枚のカード状オブジェクト、電子メールの着信を表す１枚のカード状オブジェクト、本実施形態の写真等の画像ファイルの追加，更新等を表す１枚のカード状オブジェクトなどが、連なるように並べられて表示される。
【０１０５】
なお、図１９の例では、画面上部から画面下部に向かって順次時間が古くなる例を挙げたが、もちろんその逆であってもよい。また、図１９の例では、ディスプレイ画面が縦長方向で使用される例を挙げているが、例えば前述のようにディスプレイ画面が横長方向で使用されるような場合には、例えば画面の左側から右側（或いはその逆）に向かって時系列に各カード状オブジェクトを表示（つまり各カードを横に並べるような表示）を行ってもよい。さらに、本実施形態端末の画面表示を縦方向と横方向に切り替え可能となされているような場合、それら縦横表示切り替えに連動させて、前記各カード状オブジェクトの連なりの方向を縦方向或いは横方向へ切り替えるようにしてもよい。これにより、画面の縦横何れかの使用状況に応じて、より多くの各カード状オブジェクトを表示することが可能となる。その他にも、画面の斜め方向に各カード状オブジェクトを連ねて表示させるようにしてもよい。
【０１０６】
また、各カード状オブジェクトは、直線的に連ねられて並べられる場合の他に、カーブを描くように並べられて表示されてもよい。当該カーブを描くように並べる場合、例えばユーザが左右何れかの手でタッチパネル上を操作するのかに応じて、そのカーブの方向を切り替えるようにしてもよい。例えば、画面表示を縦表示にし、ユーザが右手で例えばディスプレイ画面上のタッチパネルを操作するような場合には、画面の中央部付近が画面左側方向へ突き出す一方で画面の上下端側が画面右側へ曲がるようになだらかにカーブを描くように各カード状オブジェクトを連ねて表示したり、或いはその逆に、ユーザが左手でタッチパネルを操作するような場合には、画面に中央部付近が画面右側方向へ突き出す一方で画面の上下端側が画面左側へ曲がるようになだらかにカーブを描くように各カード状オブジェクトを連ねて表示するようにしてもよい。これにより、ユーザにとってより使い易いユーザインターフェースを実現することができる。
【０１０７】
また、本実施形態において、待ち受け画面のような初期状態の時の各カード状オブジェクト１９１は、図１９や図２０に示すように、本来は例えば長方形状である各カードの上又は下側を仮想的に画面奥行き方向へ僅かに傾けた状態となされて表示される。なお、例えばディスプレイ画面を横長方向に使用して各カード状オブジェクトを画面内で横方向に連ねて表示するようにした場合には、例えば長方形状の各カードの左又は右側を仮想的に画面奥行き方向へ傾けた状態で表示することが望ましい。
【０１０８】
このように、本実施形態においては、本来は長方形状であるカードを仮想的に画面奥行き方向へ傾けることにより、それら長方形状のカードをそのまま画面上に並べた場合と比較して、より多くのカードを画面上に表示することを可能としている。以下の説明において、前記画面奥行き方向に傾けられて表示されている状態のカード状オブジェクト１０１を、特にアイドル状態のカード状オブジェクト１０１ｄと表記することにする。
【０１０９】
そして、当該アイドル状態となっている一つのカード状オブジェクト１０１ｄ上には、前述したように、何れのアプリケーションプログラムに対応したコンテンツであるかを表す情報と、各コンテンツ毎に特有で且つ各コンテンツの属性を表すことができる情報や、更新等の日時情報など、各コンテンツの特性と更新中身を的確に表す情報が表示される。
【０１１０】
さらに、本実施形態端末は、前述のように画面上に配列表示されている各カード状オブジェクトに対し、例えばディスプレイ画面上のタッチパネルへの所定のジェスチャー操作を通じて、ユーザから所望のカード状オブジェクト１０１を選択する指示が入力されると、その指示入力にて選択されたカード状オブジェクト１０１の表示形態を変更するようになされている。
【０１１１】
ここで、本実施形態において、所望のカード状オブジェクトを選択するための所定のジェスチャー操作は、一例として、タッチパネル上の検知エリアのうち、前記カード状オブジェクトの表示領域に対応した検知エリアを、ユーザがタッチするようなジェスチャー操作となされている。なお、当該タッチジェスチャー操作とは、タッチパネル上を一定時間以上触れるジェスチャー操作のことである。
【０１１２】
そして、前記アイドル状態となっている複数の各カード状オブジェクト１０１ｄの中から、タッチパネルを介した前記タッチジェスチャー操作により何れか一つのカード状オブジェクトが選択された場合、本実施形態端末は、図２１に示すように、当該選択されたカード状オブジェクト１０１を本来の長方形状のカード状オブジェクト１０１ｖとして表示する。
【０１１３】
すなわちこの場合の本実施形態の移動体端末は、前述のように画面奥行き方向に傾けられていたアイドル状態のカード状オブジェクト１０１ｄを、図２１に示すように、画面に対してカード面が略々平行となるように仮想的に起き上げさせて表示することにより、そのカード状オブジェクト１０１を略々長方形状のカードとして表示する。
【０１１４】
このように、本実施形態では、前記カード状オブジェクト１０１を仮想的に起き上げさせて長方形状のカード状オブジェクト１０１ｖとして表示することにより、ユーザに対して当該カード状オブジェクトの選択が確実になされたことを知らせる。以下の説明において、前記画面上で起き上がって長方形状に表示されている状態のカード状オブジェクト１０１を、特にプレビュー状態のカード状オブジェクト１０１ｖと表記することにする。前述の図１５に示したカード状オブジェクト９１は、当該プレビュー状態のカード状オブジェクトである。
【０１１５】
また、当該プレビュー状態となされたカード状オブジェクト１０１ｖ上には、前述のアイドル状態のカード状オブジェクト１０１ｄの場合よりも、さらにより多くの情報が表示される。すなわち、プレビュー状態となった時のカード状オブジェクト１０１ｖは、画面上で占有する面積が、前記アイドル状態のカード状オブジェクト１０１ｄにおける画面上の占有面積よりも広くなるため、当該プレビュー状態のカード状オブジェクト１０１ｖの画面上にはより多くの情報を表示することが可能となる。
【０１１６】
本実施形態の場合、プレビュー状態のカード状オブジェクト１０１ｖ上には、前記アイドル状態のカード状オブジェクト１０１ｄと同様に、何れのアプリケーションプログラムに対応したコンテンツであるかを表す情報や更新等の日時情報などが表示されるとともに、各コンテンツの更新中身を表す情報として、前記アイドル状態の場合よりもさらに詳しい情報が表示される。
【０１１７】
図２２と図２３には、アイドル状態のカード状オブジェクト１０１ｄ（図２２）と、プレビュー状態のカード状オブジェクト１０１ｖ（図２３）をそれぞれ拡大して示している。
【０１１８】
図２２に示すアイドル状態のカード状オブジェクト１０１ｄ上には、一例として、ＳＮＳ用や電子メール用、楽曲用、写真用などの各種アプリケーションプログラムのうち何れに対応したコンテンツであるかを表すアイコン１０２ｅと、例えばメッセージの送信元やニュースの見出しなどのように各コンテンツ毎に特有で且つコンテンツの属性を表すことができる情報としての文字情報１０２ｂと、各コンテンツの更新中身を簡単に表す情報文字情報１０２ｃと、更新や追加等の日時を示す文字情報１０２ｄとが配されている。また、メッセージの送信元などの写真等のサムネイル画像や楽曲のアルバムカバーのサムネイル画像などが存在する場合には、それらのサムネイル画像１０２ａが、前記コンテンツの属性を表すことができる情報の一つとしてカード上に表示される。
【０１１９】
一方、図２３に示すプレビュー状態のカード状オブジェクト１０１ｖ上には、アイドル状態のカード状オブジェクト１０１ｄの場合と同様のアイコン１０２ｅと日時文字情報１０２ｄが配されるとともに、各コンテンツの更新中身を表す情報については前記アイドル状態の場合よりもさらに詳細な内容が例えば文字情報１０２ｃにより配される。
【０１２０】
また、前記カード状オブジェクト１０１ｖがプレビュー状態となされた後、ユーザにより一定時間以上何も指示がなされなかった場合、本実施形態端末は、そのカード状オブジェクト１０１ｖをアイドル状態のカード状オブジェクト１０１ｄへと戻す。
【０１２１】
また本実施形態の移動体端末は、図２２のアイドル状態のカード状オブジェクト１０１ｄや図２３のプレビュー状態のカード状オブジェクト１０１ｄ上へ、前述同様のサムネイル画像１０２ａ等の他に、例えば前述した類似顔登録の通知や電話帳との関連付けが完了したことの通知のためのアイコン１０２ｆも配される。すなわち、当該アイコン１０２ｆが配されたカード状オブジェクトに対し、前述のようにユーザから所定の指示操作がなされた場合、本実施形態の移動体端末は、前述のような単体画像表示や類似顔画像集合表示、電話帳情報と対応付けられた画像表示などを行う。
【０１２２】
［類似顔表示部における処理の流れ］
図２４には、前述の図１４に示した類似顔表示部２３において、図１７に示した電話帳情報表示から類似顔画像集合表示へ遷移する際の処理のフローチャートを示す。
【０１２３】
図２４において、図１７に示したような電話帳情報表示がなされている場合において、ユーザから類似顔画像の集合表示を要求する例えば前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされると、類似顔画像集合表示部８２は、ステップＳ２１の処理として、電話帳情報９４と共に表示されていた顔画像９３に対応したクラスタリングＩＤを、顔類似分類部２２の顔分類情報保存部６６のデータベースから取得する。
【０１２４】
次に、類似顔画像集合表示部８２は、ステップＳ２２〜ステップＳ２５のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１２５】
ステップＳ２２〜ステップＳ２５のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ２３の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１２６】
次に、類似顔画像集合表示部８２は、ステップＳ２４の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１２７】
ステップＳ２２〜ステップＳ２５のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図１９のフローチャートの処理を終了する。
【０１２８】
図２５には、前述の図１３や図１４に示した類似顔表示部２３において、図１６に示した単体画像表示から類似顔画像集合表示へ遷移する際の処理のフローチャートを示す。
【０１２９】
図２５において、図１６に示したような単体画像表示がなされている時に、単体画像表示部８３は、ステップＳ３１として、ユーザによりその単体画像内の顔画像に対して類似顔画像の集合表示を要求する前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされたことを検出すると、類似顔画像集合表示部８２へ処理を渡す。
【０１３０】
この時の類似顔画像集合表示部８２は、ステップＳ３２の処理として、単体画像表示されていた顔画像に対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１３１】
次に、類似顔画像集合表示部８２は、ステップＳ３３の処理として、前記取得した画像ファイルのＩＤに対応したクラスタリングＩＤを、顔類似分類部２２の顔分類情報保存部６６のデータベースから取得する。
【０１３２】
次に、類似顔画像集合表示部８２は、ステップＳ３４〜ステップＳ３７のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１３３】
ステップＳ３４〜ステップＳ３７のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ３５の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１３４】
次に、類似顔画像集合表示部８２は、ステップＳ３６の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１３５】
ステップＳ３４〜ステップＳ３７のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図２５のフローチャートの処理を終了する。
【０１３６】
図２６には、前述したような複数のカード状オブジェクトが時系列順に配列表示されている時に、或るカード状オブジェクトに前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたことで類似顔登録の完了がユーザへ通知され、さらに、そのアイコン１０２ｆ（９２）が表示されたカード状オブジェクトがユーザにより選択された上で、ユーザから類似顔画像集合表示の操作指示が入力されて類似顔画像の集合表示がなされる場合の処理のフローチャートを示している。
【０１３７】
図２６において、類似顔登録通知部８１は、前述したような複数のカード状オブジェクトが時系列順に配列表示されている時に、或るカード状オブジェクトに前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたことで類似顔登録の完了がユーザへ通知された時に、ユーザにより当該カード状オブジェクト９１を選択した上で類似顔画像の集合表示を要求する前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされると、類似顔画像集合表示部８２へ処理を渡す。
【０１３８】
この時の類似顔画像集合表示部８２は、ステップＳ４１の処理として、類似顔登録通知のカード状オブジェクト９１に対応した画像ファイル内の顔矩形のＩＤを、前記顔矩形情報保存部５４のデータベースから取得する。
【０１３９】
次に、類似顔画像集合表示部８２は、ステップＳ４１で取得した顔矩形のＩＤにより、その画像ファイル内の顔矩形の個数が一つか否か判定する。そして、顔矩形の個数が一つである場合にはステップＳ４３へ処理を進め、一方、複数ある場合にはステップＳ４９へ処理を進める。
【０１４０】
ステップＳ４９の処理に進んだ場合、類似顔画像集合表示部８２は、その画像ファイル内で検出された顔矩形のうち、中心に近く、大きい顔矩形に対して重み付けを行うことで、各顔矩形に順位付けをし、最も順位が高い（優先度が高い）顔矩形を選ぶ。このステップＳ４９の処理後はステップＳ４３へ処理を進める。
【０１４１】
ステップＳ４３の処理に進むと、類似顔画像集合表示部８２は、その顔矩形のＩＤを再度前記顔矩形情報保存部５４のデータベースから取得し、次いで、ステップＳ４４の処理として、当該顔矩形のＩＤを基に、顔類似分類部２２の顔分類情報保存部６６のデータベースからクラスタリングＩＤを取得する。
【０１４２】
次に、類似顔画像集合表示部８２は、ステップＳ４５〜ステップＳ４８のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１４３】
ステップＳ４５〜ステップＳ４８のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ４６の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１４４】
次に、類似顔画像集合表示部８２は、ステップＳ４７の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１４５】
ステップＳ４５〜ステップＳ４８のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図２６のフローチャートの処理を終了する。
【０１４６】
なお、図２６では、複数のカード状オブジェクトが時系列順に配列表示されている時に、前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたカード状オブジェクトを指定することで類似顔画像の集合表示がなされる例を述べたが、例えば類似顔登録通知用アイコン１０２ｆ（９２）が表示されたカード状オブジェクトを指定して単体画像を表示させた後、さらに、ユーザから類似顔画像集合表示の操作指示が入力された場合にも前述同様に類似顔画像の集合表示がなされる。
【０１４７】
［まとめ］
以上説明したように、本発明実施形態の移動体端末によれば、前記撮影画像検出・登録部２０において、図５で説明したように撮像デバイス１２にて画像が撮影された場合、図６で説明したように前記外部記憶デバイス１４に外部記憶メモリ３が挿入された場合、図７で説明したように画像ファイルの新規追加や変更、削除等された場合の何れにおいても、当該端末が取り扱うことのできる全ての画像ファイルについて類似顔分類を行うことができる。
【０１４８】
また本実施形態の移動体端末によれば、撮影顔像検出・登録部２０、顔矩形検出部２１、類似顔分類部２２における機能は、それぞれバックグラウンドで行われるため、ユーザに対して特別な操作を要求することなく行われる。そして、類似顔登録通知がなされた後は、類似顔画像集合表示や電話帳情報表示などが可能となる。
【０１４９】
さらに、本実施形態の移動体端末においては、手動により顔矩形を分類することも可能となされているため、例えば自動分類によりユーザの意に反する分類結果等が提供された場合であっても、その顔矩形の分類を修正することが可能となる。また、当該手動分類が行われた後に、別途画像ファイルの分類処理がなされる際には、先に行われたユーザの修正を反映した分類群を母体とした分類計算がなされることになるため、分類精度が向上する。
【０１５０】
また、本実施形態の移動体端末によれば、類似顔表示部２３の機能が提供されるため、同分類の顔矩形が含まれる画像群の表示が可能になるとともに、さらに電話帳情報との連携がなされている場合にはその電話帳に登録されている相手先についての詳細情報の表示や、当該相手先とのコミュニケーションを促進できるようになる。また、電話帳情報との連携がなされていない場合であっても、例えば一枚の写真画像を選択して新たに電話帳登録を行うようにすれば、その写真画像について類似顔分類がなされている時には、その写真画像に対して同分類となされている顔矩形の画像ファイル群すべてを、その電話帳の登録情報に連携させることが可能になる。
【０１５１】
すなわち、本発明実施形態の移動体端末によれば、追加や更新等された画像ファイルを、顔画像の類似度に応じて他の写真画像ファイルの顔画像とグループ化して関連付けることにより、ユーザが画像ファイルをそれぞれ分類するための内容確認作業を略々無くして、ユーザの労力を大幅に軽減可能にし、その結果として電話帳等の他のコンテンツデータとの関連付けをも容易になっている。
【０１５２】
なお、本実施形態では、対象コンテンツファイルとして静止画像の画像ファイルを例に挙げて説明したが、例えば動画像ファイルに対しても前述同様に検出・分類等を適用することができる。また、例えば音声の特徴量検出、類似度計算を適用することで、音声ファイルについても分類対象とすることができる。
【０１５３】
その他、前述した実施形態の説明は、本発明の一例である。このため、本発明は前述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。
【０１５４】
前述した実施形態では、移動体端末として携帯電話端末を想定しているが、本発明は、本実施形態のその他の様々な情報端末にも適用可能である。
【符号の説明】
【０１５５】
１…移動体端末（携帯電話端末）、２…ディスプレイ画面、３…外部記憶メモリ、４…カメラレンズ、Ａ，Ｂ…被写体（人物の顔）、５Ａ，５Ｂ…被写体画像
１０…ＣＰＵ、１１…表示デバイス、１２…撮像デバイス、１３…内部記憶デバイス、１４…外部記憶デバイス
２０…撮影画像検出・登録部、２１…顔矩形検出部、２２…類似顔分類部、２３…類似顔表示部
３０…撮像検出部、３１…イメージファイル情報登録部、３２…撮影画像保存部、３３…画像ファイル、３４…実撮影画像情報、３５…イメージファイル情報保存部、３６…イメージファイル情報
４１…外部記憶デバイス挿入検出部、４２…イメージファイル検索部
５１…顔矩形マッチング部、５２…顔検出用辞書保存部、５３…顔検索用辞書データ、５４…顔矩形情報保存部、５５…顔矩形情報
６１…顔特徴検出部、６２…類似度計算部、６３…分類部、６４…顔特徴情報保存部、６５…顔特徴情報、６６…顔分類情報保存部、６７…顔分類情報
７０…事前分類画像取得部、７１…手動分類部
８１…類似顔登録通知部、８２…類似顔画像集合表示部、８３…単体画像表示部、８４…電話帳情報表示部
９１，１０１ｄ，１０１ｖ…カード状オブジェクト、９２，１０２ｆ…類似顔登録通知用のアイコン
９３…電話帳に登録されている顔画像、９４…電話帳に登録されている情報
９５…サムネイル画像
１０２ａ…サムネイル画像、１０２ｂ，１０２ｃ，１０２ｄ…文字情報、１０２ｅ…アイコン
【技術分野】
【０００１】
本発明は、例えば携帯電話端末のように画像等を表示可能な表示デバイスを備えた情報端末と、その情報端末において取り扱う画像の管理とその画像を表示画面上に表示する際の情報制御方法及び情報制御プログラムに関する。
【背景技術】
【０００２】
例えば、特開２００９−２７２２１号の公開特許公報（特許文献１）には、電話帳やアドレス帳に登録されている電話番号や電子メールアレスと、それら電話番号や電子メールアドレス等の相手先の顔画像とを割り付けておき、その顔画像から通信相手先を容易に特定して通信を行えるようにした技術が開示されている。特にこの特許文献１には、複数の人物が撮影された写真画像からそれら複数の人物の顔領域を抽出し、それら抽出された複数の顔領域を、それぞれ電話番号や電子メールアドレスに関連つけて一括登録することを可能にしている。
【０００３】
また例えば、特開２００５−１５７６７９号の公開特許公報（特許文献２）には、予め顔画像の情報を多数学習して辞書データとして格納しておき、入力された写真画像を濃淡画像とし、その濃淡画像を拡大・縮小したスケーリング画像からウインドウ画像を切り取り、さらにそのウインドウ画像と辞書データの格納情報とを比較して類似部分を判定する処理を繰り返すことで、顔画像を容易且つ高速に検出可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７２２１号公報（図７）
【特許文献２】特開２００５−１５７６７９号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年の携帯電話端末は、通話や電子メールを扱う通信関連アプリケーションプログラムのみならず、インターネットへの接続及びウェブページの閲覧用アプリケーションプログラム、写真画像や動画像の撮影とそれら画像の再生閲覧用アプリケーションプログラム、楽曲の管理とその楽曲の再生用アプリケーションプログラム、スケジュール管理用アプリケーションプログラムなど、多種多様のアプリケーションプログラムを実行可能となされている。
【０００６】
また、近年の携帯電話端末は、上述した各種アプリケーションプログラムが各々本来扱うコンテンツデータに対して、例えば写真画像ファイル等のような特定の対象コンテンツファイルを関連付ける機能を備えているものも多い。すなわちその最も典型的な一例として、電話帳やアドレス帳に登録されている通信相手先の電話番号やアドレス等のデータに対して、それら通信相手先の顔画像ファイルとを関連付けるようなことが可能となされている。
【０００７】
ここで、携帯電話端末の使用を続けていくと、例えば、新たに撮影された画像ファイルや、電子メール等に添付されてきた新しい画像ファイル、ウェブページ等から取得した新たな画像ファイルなどのように、新しい画像ファイルが次々に増えていくことになる。また、一旦保存等した画像ファイルに対して変更や削除等が行われることも多い。
【０００８】
このように画像ファイルの新規追加、変更、削除等の更新がなされた場合において、それら更新等された画像ファイルを、各種アプリケーションのコンテンツデータに関連付けるようなことを行うためには、それら画像ファイルの更新等がなされる毎に、ユーザが、その画像ファイルを一つ一つ確認（例えば画像に何が写っているか等を確認）して、その画像ファイルを分類する作業を行わなければならない。
【０００９】
このような分類作業は非常に煩雑であり、ユーザにとって大きな負担となり、結局のところ、画像ファイルの更新等があっても、その画像ファイルを分類することをしなくなってしまうことが多い。そして、このように分類や関連付けがなされないまま放置された画像ファイルは有効に活用されなくなってしまう虞がある。すなわち、例えば電話帳用などの他のアプリケーションのコンテンツデータに関連付けるようなこと自体も行われなくなってしまう。
【００１０】
本発明は、このような実情に鑑みて提案されたものであり、更新等された画像ファイルを分類する際のユーザの労力を大幅に削減可能とし、その画像ファイルを他のコンテンツデータと関連付け易くする情報端末、情報端末の情報制御方法及び情報制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報端末は、画像検出・登録部と、顔画像検出部と、類似顔分類部と、類似顔表示部とを有する。画像検出・登録部は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理する。顔画像検出部は、画像検出・登録部にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を画像ファイルに関連付けて保存する。類似顔分類部は、顔画像検出部にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理する。類似顔表示部は、類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。これにより、本発明は前述した課題を解決する。
【００１２】
また、本発明の情報端末の情報制御方法は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理するステップと、その検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて保存するステップと、その顔画像の特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理するステップと、その顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるステップとを有することにより、上述した課題を解決する。
【００１３】
また、本発明の情報端末の情報制御プログラムは、画像検出・登録処理と、顔画像検出処理と、類似顔分類処理と、類似顔表示処理とを、情報端末に実行させるプログラムである。画像検出・登録処理は、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して情報保存部へ保存して管理する。顔画像検出処理は、検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて情報保存部に保存する。類似顔分類処理は、顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して情報保存部へ保存して管理する。類似顔表示処理は、顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる。これにより、本発明は前述した課題を解決する。
【００１４】
すなわち、本発明によれば、未登録若しくは更新された画像ファイルを検出、つまり新規追加や変更等の更新がなされた画像ファイルを検出すると、その画像ファイルから顔画像を検出し、さらに、既に算出されてグループ毎に分類されている他の顔画像との比較により、その検出顔画像を分類する。このように、本発明によれば、画像ファイルに更新等が発生する毎に、その画像ファイルの分類がなされ、その画像ファイルと他の画像ファイルとのグループ化がなされる。そして、本発明によれば、その分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるため、ユーザは、その画像ファイルの分類状況を確認できると共に、必要とあらばその分類結果に修正を加えることも可能となる。これにより、分類された画像ファイルを他の所望のアプリケーションのコンテンツデータとの関連付けすることも容易となる。
【発明の効果】
【００１５】
本発明においては、未登録若しくは更新された画像ファイルから顔画像を検出して、その顔画像を、既に算出されてグループ毎に分類されている他の顔画像と比較することで分類し、その分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるようにしているため、未登録若しくは更新等された画像ファイルを分類する際のユーザの労力を大幅に軽減でき、他のコンテンツデータとの関連付けをも容易にすることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明実施形態の移動体端末の概略的な外観斜視図であり、その移動体端末を表示画面側から観た図である。
【図２】本発明実施形態の移動体端末の概略的な外観斜視図であり、その移動体端末をカメラレンズ側から観た図である。
【図３】本実施形態の移動体端末の概略的な内部構成を示すブロック図である。
【図４】コンテンツファイル管理アプリケーションプログラムが実行されている時にＣＰＵに形成される概略的な機能ブロック図である。
【図５】画像撮影用のカメラアプリケーションプログラムが実行されて撮像デバイスにて画像が撮影されたことを検出した場合の撮影画像検出・登録部内の機能ブロック図である。
【図６】外部記憶デバイスに外部記憶メモリが挿入された場合の撮影画像検出・登録部内の機能ブロック図である。
【図７】画像ファイルが新規追加、変更、削除等された場合の撮影画像検出・登録部内の機能ブロック図である。
【図８】顔矩形検出部の詳細な機能ブロック図である。
【図９】顔矩形検出部が検出した顔矩形をグループ毎に分類する場合の類似顔分類部内の機能ブロック図である。
【図１０】その他の手法により画像ファイルに対して事前に分類情報が付与されている場合に、その分類情報を参照して顔矩形を分類する場合の類似顔分類部内の機能ブロック図である。
【図１１】移動体端末のユーザが手動により画像ファイルを分類する場合の類似顔分類部内の機能ブロック図である。
【図１２】類似顔分類部の顔類似度計算部と分類部における処理のフローチャートである。
【図１３】類似顔登録通知部と単体画像表示部と類似顔画像集合表示部とで構成される類似顔表示部の詳細な機能ブロック図である。
【図１４】類似顔登録通知部と単体画像表示部と類似顔画像集合表示部と電話帳情報表示部とで構成される類似顔表示部の詳細な機能ブロック図である。
【図１５】類似顔の分類及び登録完了通知の一例として、ディスプレイ画面上に、その顔矩形を含む画像ファイルをカード状のオブジェクトを表示し、そのカード状オブジェクトの近傍に所定の通知アイコンを表示した例を示す図である。
【図１６】ユーザから単体画像表示を要求する所定の指示操作が入力されたことで、ディスプレイ画面上に単体画像表示がなされている例を示す図である。
【図１７】顔画像と電話帳が関連付けられていることで、ディスプレイ画面上に表示された顔画像と電話帳の情報を示す図である。
【図１８】それぞれ類似した顔画像を有する複数の画像ファイルのサムネイルがディスプレイ画面上に一覧表示された例を示す図である。
【図１９】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面の一例を示す図である。
【図２０】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面であり、特に、全てのカード状オブジェクトがアイドル状態となっている場合の説明に用いる図である。
【図２１】複数のカード状オブジェクトをコンテンツデータの更新，変更等がなされた時間順に並べて表示した状態のユーザインターフェース画面であり、特に、何れかのカード状オブジェクトがプレビュー状態となっている場合の表示例を示す図である。
【図２２】アイドル状態のカード状オブジェクトの説明に用いる図である。
【図２３】プレビュー状態のカード状オブジェクトの説明に用いる図である。
【図２４】類似顔表示部において、電話帳情報表示から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【図２５】類似顔表示部において単体画像表示から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【図２６】類似顔表示部において類似顔登録通知がなされている状態から類似顔画像集合表示へ遷移する際の処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１８】
なお、本発明の情報端末、情報端末の情報制御方法及び情報制御プログラムが適用される一例として、本実施形態では、携帯電話端末のような移動体端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
【００１９】
［移動体端末の概略外観構成］
図１と図２には、本発明実施形態の移動体端末の概略的な外観斜視図を示す。なお、図１は本実施形態の移動体端末を表示画面２側から観た図であり、図２は本実施形態の移動体端末をカメラレンズ４側から観た図である。また、図１，図２には、本発明にかかる主要部のみを示しており、例えば一般的な携帯電話端末等が備えている各構成要素についての図示は省略している。
【００２０】
本実施形態の移動体端末１は、ディスプレイ画面２と、カメラレンズ４と、外部記憶メモリ３を挿脱可能な図示しないメモリカードスロットとを、筐体に備えた携帯電話端末である。
【００２１】
ここで、本実施形態の移動体端末１において、例えば被写体Ａと被写体Ｂの人物（図では顔のみを示している。）の写真を撮る場合、カメラレンズ４の撮影方向（図中一点鎖線の矢印方向）をそれら被写体Ａ，Ｂの方向に合わせて撮影が行われる。そして、被写体Ａ，Ｂの撮影が行われている場合、ディスプレイ画面２には、撮影中の被写体Ａ，Ｂの画像（被写体画像５Ａ，５Ｂ）が表示される。
【００２２】
［移動体端末の概略内部構成］
図３には、本実施形態の移動体端末１の概略的な内部構成を示している。なお、図３には、本発明にかかる主要部のみを示しており、例えば一般的な携帯電話端末等が備えている各構成要素についての図示は省略している。
【００２３】
本実施形態の移動体端末１は、内部の主要なハードウェア構成要素として、ＣＰＵ（中央処理ユニット）１０と、表示デバイス１１と、撮像デバイス１２と、内部記憶デバイス１３と、外部記憶デバイス１４とを有している。
【００２４】
表示デバイス１１は、例えば液晶や有機ＥＬ（ElectroLuminescent）等からなるディスプレイ画面と、そのディスプレイ画面の表示駆動回路とを有し、ＣＰＵ１０から供給された画像信号により、前記ディスプレイ画面上に、様々な画像や文字等を表示する。
【００２５】
撮像デバイス１２は、光学レンズ（カメラレンズ４）と撮像素子、フォーカス合わせやズーム倍率変更のために前記光学レンズを駆動するレンズ駆動機構及びその駆動回路、撮像素子からの撮像信号に画像処理を施す画像処理回路などからなる。当該撮像デバイス１２により撮像された静止画像や動画像の画像信号は、ＣＰＵ１０による制御の基で、内部記憶デバイス１３や外部記憶デバイス１４に保存される。
【００２６】
内部記憶デバイス１３は、本実施形態の移動体端末内部に設けられている内蔵メモリであり、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とからなる。前記ＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含む。当該ＲＯＭは、ＣＰＵ１０上に形成されるファイルシステム１５、ＣＰＵ１０が各部を制御するための制御プログラム、各種の初期設定値、辞書データ、各種操作音等の音データ、各種アプリケーションプログラムなどを格納している。なお、各種アプリケーションプログラムとしては、例えばＳＮＳ（Social Networking Service）用やＳＭＳ（Short Message Service）／ＭＭＳ（Multimedia Messaging Service）用、電子メール用、楽曲用、動画用及び写真用、スケジュール管理用、画像撮影用などの各種アプリケーションプログラムを挙げることができる。また、ＲＯＭには、各種アプリケーションプログラムにより扱われるコンテンツデータも格納される。これら各種アプリケーションプログラムにより扱われるコンテンツデータとしては、例えば、電話番号や電子メールアドレス，個人名，ＳＮＳアカウントなどデータ（以下これらを纏めて電話帳のデータと表記する。）、スケジュール帳やカレンダーのデータ、ＳＭＳやＭＭＳ，電子メールなどのメッセージデータ、それらメッセージデータの発着信や通話の発着信などの通信履歴、撮像デバイス１２により撮影されたりパーソナルコンピュータ等から転送された静止画像や動画像のデータ、インターネット等を介して購入等された静止画像や動画像，楽曲の購入履歴、ユーザがネットワーク等を介してダウンロードしたデータファイルなどを挙げることができる。また、本実施形態において、ＲＯＭには、本発明の情報制御プログラムとして、後述するように例えば新規追加や変更等がなされた撮影画像ファイルなどの特定の対象コンテンツファイルを検出し、その対象コンテンツファイルを、他の対象コンテンツファイルとの類似度に応じて分類して、その分類された対象コンテンツファイルを管理するコンテンツファイル管理アプリケーションプログラムも格納している。それら各種アプリケーションプログラムや本実施形態のコンテンツファイル管理アプリケーションプログラムは、工場出荷時に前記ＲＯＭに格納される場合のみならず、工場出荷後に例えば通信や外部メモリ等を介して、本実施形態の移動体端末へ転送されてインストールされるものであってもよい。前記ＲＡＭは、ＣＰＵ１０が各種のデータ処理を行う際の作業領域として、コンテンツデータを含む各種データを随時格納する。
【００２７】
外部記憶デバイス１４は、前記外部記憶メモリ３と、その外部記憶メモリ３を挿脱可能なメモリカードスロットと、当該メモリカードスロットを介してＣＰＵ１０が外部記憶メモリ３の書き込み／読み出しを行う際のインターフェース回路とを有して構成されている。なお、外部記憶メモリ３には、ＳＩＭ（Subscriber Identity Module）情報等を保持する着脱可能なカード状の外付けメモリも含まれ、この場合、前記メモリカードスロットは一般の外部メモリカード用と当該ＳＩＭカード用とで別々に設けられる。
【００２８】
ＣＰＵ１０は、本実施形態の移動体端末１の各構成要素を制御し、いわゆるファイルシステム１５を形成して各種ファイルを管理する。また、ＣＰＵ１０は、内部記憶デバイス１３に格納されている各種のアプリケーションプログラムの実行及びそれに付随する各種コンテンツの情報処理等を行う。特に、本実施形態の場合、ＣＰＵ１０は、本発明実施形態のコンテンツファイル管理アプリケーションプログラムを実行することで、後述するように、例えば新規追加や変更等の更新がなされた撮影画像ファイルなどの特定の対象コンテンツファイルを、他の対象コンテンツファイルとの類似度に応じて分類して管理し、さらに必要に応じて、その分類された対象コンテンツファイルを、所望のアプリケーションプログラムにより扱われるコンテンツデータに関連付けて管理する。
【００２９】
［コンテンツファイル管理アプリケーションプログラム実行時の機能ブロック］
図４には、コンテンツファイル管理アプリケーションプログラムが実行されている時にＣＰＵ１０に形成される各機能のブロック図を示す。なお、本実施形態では、前記対象コンテンツファイルとして写真画像ファイルを例に挙げ、また、その対象コンテンツファイルの類似度として当該写真画像ファイル内に写っている人物の顔画像の類似度を挙げ、その顔画像の類似度に応じて写真画像ファイルを分類及び管理する例を挙げている。
【００３０】
図４に示すように、コンテンツファイル管理アプリケーションプログラムが実行されている時、ＣＰＵ１０には、撮影画像検出・登録部２０と、顔矩形検出部２１と、類似顔分類部２２と、類似顔表示部２３の各機能部が形成される。
【００３１】
撮影画像検出・登録部２０は、撮影された画像ファイルの新規追加・変更・削除等を検出するとともに、本実施形態の移動体端末に保存されている画像ファイルの情報リストを構成して管理する。なお、本実施形態において、前記撮影された画像ファイルとしては、図３の撮像デバイス１２により撮影された写真画像ファイルだけでなく、前記内部記憶デバイス１３や外部記憶デバイス１４に保存されている写真画像ファイル、ネットワークや外部接続ケーブル等を介して転送されてくる写真画像ファイルも含まれる。ＣＰＵ１０は、ファイルシステム１５により、これら写真画像ファイルの新規追加・変更・削除を検出及び管理する。
【００３２】
顔矩形検出部２１は、前記撮影画像検出・登録部２０にて新規追加・変更・削除等が検出された画像ファイルを基に、予め学習等されて用意されている顔検出用辞書データを参照し、その画像ファイル内に含まれる人物の顔領域を含む顔矩形画像（顔画像のウィンドウ画像）を検出し、当該検出した顔矩形情報を、その画像ファイルに関連付けて保存する。
【００３３】
類似顔分類部２２は、顔矩形検出部２１にて検出された顔矩形から、その顔矩形画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔矩形の特徴量とを比較することで、その顔矩形が何れのグループの顔矩形に類似しているかを判断し、その類似判断結果に応じて顔矩形を分類する。また、本実施形態では、顔矩形検出部２１にて検出された顔矩形を、移動体端末のユーザが手動により分類することも可能となされている。なお、前記顔矩形の画像が有する特徴量としては、一例として、顔矩形の画像を構成する各画素の輝度値の差を用いることができる。
【００３４】
類似顔表示部２３は、前記類似顔分類部２２による顔矩形の分類結果を基に、例えば同分類となされた顔矩形を含む一枚又は複数枚の画像を、前記表示デバイス１１のディスプレイ画面２上に表示させる。
【００３５】
［撮影画像検出・登録部の詳細］
図５〜図７には、撮影画像検出・登録部２０の詳細な機能ブロック図を示す。
【００３６】
図５には、画像撮影用のカメラアプリケーションプログラムが実行されて撮像デバイス１２にて画像が撮影されたことを撮影画像検出・登録部２０が検出した場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている状態で、カメラアプリケーションプログラムが実行されると、当該撮影画像検出・登録部２０には、撮像検出部１２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５とが形成される。
【００３７】
この図５において、撮像デバイス１２にて画像が撮影されたことを撮像検出部３０にて検出すると、撮影画像検出・登録部２０は、当該撮像デバイス１２から供給された写真画像ファイルを撮影画像保存部３２へ送る。この時の撮影画像保存部３２は、当該写真画像ファイル３３を内部記憶デバイス１３若しくは外部記憶デバイス１４へ保存させる。なお、画像ファイル３３には、被写体像等の実撮影画像データ３４が含まれる。
【００３８】
またこの時の撮像検出部３０は、前記写真画像ファイルをイメージファイル情報登録部３１へも送る。イメージファイル情報登録部３１は、前記写真画像ファイルの前記実撮影画像データを除く画像属性情報を、イメージファイル情報３６として、イメージファイル情報保存部３５へ送る。イメージファイル情報保存部３５は、イメージファイル情報３６を内部記憶デバイス１３等へ保存させるとともに、当該イメージファイル情報３６と前記撮影画像保存部３２に保存された各画像ファイル３３とを対応付けたデータベースを構成する。なお、前記画像属性情報は、一例として、画像の解像度、データサイズ、撮影日時、ファイル名、画像ファイルのＩＤ（識別情報）、撮像デバイス１２のカメラレンズのＦ値、ホワイトバランス設定値、オートフォーカス設定値、撮影距離、逆光補正情報、レベル補正情報、ブラケット撮影情報、前記実撮影画像データから生成したサムネイル画像情報などの各種情報からなる。
【００３９】
図６には、前記外部記憶デバイス１４に前記外部記憶メモリ３が挿入された場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている時に、当該撮影画像検出・登録部２０には、外部記憶デバイス挿入検出部４１と、イメージファイル検索部４２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５とが形成される。
【００４０】
この図６において、外部記憶デバイス挿入検出部４１は、前記外部記憶デバイス１４のメモリカードスロットに外部記憶メモリ３が挿入された場合に、それを検出する。当該外部記憶デバイス挿入検出部４１にて外部記憶メモリ３の挿入が検出されると、撮影画像検出・登録部２０は、イメージファイル検索部４２を機能させる。
【００４１】
この時のイメージファイル検索部４２は、外部記憶メモリ３に写真画像ファイルが格納されているか否か検索し、写真画像ファイルが格納されている場合には、さらに、それら画像ファイルの中から、イメージファイル情報保存部３５にイメージファイル情報３６が登録されていない未登録の画像ファイルを検索する。そして、イメージファイル検索部４２は、未登録の画像ファイルを見つけた場合、その画像ファイルをイメージファイル情報登録部３１へ送る。これにより、イメージファイル情報登録部３１は、その画像ファイルのイメージファイル情報３６を、イメージファイル情報保存部３５へ送る。イメージファイル情報保存部３５では、そのイメージファイル情報３６を、外部記憶メモリ３に格納されている写真画像ファイルと対応付けてデータベースに登録する。
【００４２】
図７には、例えばネットワークや外部接続ケーブル等を介して画像ファイルが転送されて新たに追加されたり、既に内部記憶デバイス１３や外部記憶デバイス１４に格納されている画像ファイルが変更、削除等された場合の、当該撮影画像検出・登録部２０内における機能ブロック図を示している。すなわち、コンテンツファイル管理アプリケーションプログラムが実行されている時に、当該撮影画像検出・登録部２０には、ファイルシステム変更検出部４３と、イメージファイル検索部４２と、イメージファイル情報登録部３１と、撮影画像保存部３２と、イメージファイル情報保存部３５も形成されている。
【００４３】
この図７において、ファイルシステム変更検出部４３は、前記ファイルシステム１５の動作をみることにより、内部記憶デバイス１３や外部記憶デバイス１４への画像ファイルの新規な追加や、既に格納済みの画像ファイルが変更，削除等されるようなファイル更新を常に監視している。そして、ファイルシステム１５による画像ファイルの新規追加、変更、削除等のファイル更新を、ファイルシステム変更検出部４３が検出すると、撮影画像検出・登録部２０は、イメージファイル検索部４２を機能させる。
【００４４】
ここで、画像ファイルの新規追加がなされた場合、イメージファイル検索部４２は、その画像ファイル（３３）を撮影画像保存部３２へ送って保存させるとともに、イメージファイル情報登録部３１を介して前記画像属性情報（イメージファイル情報３６）をイメージファイル情報保存部３５へ送って保存させる。また、画像ファイルの変更がなされた場合、イメージファイル検索部４２は、撮影画像保存部３２により管理されている画像ファイル３３のなかで、ファイルシステム変更検出部４３が変更を検出した画像ファイル３３を検索するとともに、イメージファイル情報登録部３１を介して、当該変更後の画像ファイルの前記画像属性情報を前記イメージファイル情報保存部３５に保存させる。また、画像ファイルの削除がなされた場合、イメージファイル検索部４２は、イメージファイル情報登録部３１を介して、当該削除された画像ファイルに対応した前記画像属性情報を、前記イメージファイル情報保存部３５に削除させる。また、イメージファイル情報登録部３１は、それら新規追加、変更、削除等に応じてデータベースを更新する。
【００４５】
［顔矩形検出部の詳細］
図８には、顔矩形検出部２１の詳細な機能ブロック図を示す。
【００４６】
図８において、顔矩形検出部２１には、顔矩形マッチング部５１と、顔検索用辞書保存部５２と、顔矩形情報保存部５４とが形成される。
【００４７】
顔検索用辞書保存部５２には、予め多数の顔画像を用いて学習された顔に関する情報が顔検索用辞書データ５３として登録されている。
【００４８】
顔矩形マッチング部５１は、入力された画像ファイルの画像を拡大或いは縮小し、それら拡大或いは縮小したスケーリング画像と、顔検索用辞書データ５３に予め登録されている情報とを比較し、それらの類似部分を判定（マッチング）することを繰り返すことにより、写真画像から顔の領域、両目の位置、鼻の位置、口の位置などを見つけ出し、それらの情報を顔矩形情報５５として検出する。
【００４９】
顔矩形情報保存部５４は、顔矩形マッチング部５１が検出した顔矩形情報５５に対してＩＤ（識別情報）を付与するとともに、画像ファイルと対応つけてデータベースを構築し、例えば内部記憶デバイス１３へ保存させる。
【００５０】
［類似顔分類部の詳細］
図９〜図１１には、類似顔分類部２２の詳細な機能ブロック図を示す。
【００５１】
図９には、図８の顔矩形検出部２１が検出した顔矩形をグループ毎に分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００５２】
この図９の場合、類似顔分類部２２は、顔特徴検出部６１と、顔類似度計算部６２と、分類部６３と、顔特徴情報保存部６４と、顔分類情報保存部６６とで構成される。
【００５３】
顔特徴検出部６１は、前記顔矩形検出部２１が検出した顔矩形について、例えば顔矩形の画像を構成する各画素の輝度値の差で表される特徴量を算出する。
【００５４】
顔特徴情報保存部６４には、既に算出された顔特徴情報６５を保存管理している。
【００５５】
顔類似度計算部６２は、顔特徴検出部６１が算出した特徴量と、顔特徴情報保存部６４に保存されている顔特徴情報６５とを比較することで、それぞれの顔矩形について類似度を算出する。
【００５６】
分類部６３は、顔類似度計算部６２が算出した類似度を基に、類似度が近いものつまりそれぞれ類似しているものの集合体（グループ）を作成し、それら各集合体毎（グループ毎）に各顔矩形を分類する。
【００５７】
顔分類情報保存部６６は、顔分類部６３によりグループ毎に分類された各顔分類情報６７を保存管理する。
【００５８】
図１０には、その他の手法により画像ファイルに対して事前に分類情報が付与されている場合に、その分類情報を参照して顔矩形を分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００５９】
この図１０の場合、類似顔分類部２２は、事前分類画像取得部７０と、顔分類情報保存部６６とからなる。
【００６０】
事前分類画像取得部７０は、他の手法により事前に付与された分類情報を基に、画像ファイルを分類する。
【００６１】
顔分類情報保存部６６は、事前分類画像取得部７０による顔分類情報６７を保存管理する。
【００６２】
図１１には、移動体端末のユーザが手動により画像ファイルを分類する場合の、当該類似顔分類部２２内における機能ブロック図を示している。
【００６３】
この図１１の場合、類似顔分類部２２は、手動分類部７１と、顔分類情報保存部６６とからなる。
【００６４】
手動分類部７１は、ユーザからの指示に応じて、画像ファイルを分類する。
【００６５】
顔分類情報保存部６６は、手動分類部７１により画像ファイルの顔分類情報６７を保存管理する。
【００６６】
なお、この図１１における手動分類には、図９、図１０における分類結果を手動にて修正する場合も含まれる。
【００６７】
［類似顔分類部における処理の流れ］
図１２には、前述の図９に示した類似顔分類部２２の顔類似度計算部６２と分類部６３における処理のフローチャートを示す。
【００６８】
図１２において、顔類似度計算部６２は、先ず、顔特徴検出部６１にて検出された顔矩形の個数と、その個数分の優先度（Similarity score）と、その個数分のグループの識別子（クラスタリングＩＤ：Clustering ID）とを用意する。なお、この時のクラスタリングＩＤは、既に分類されたグループのクラスタリングＩＤとは重複しない仮のＩＤとなされる。
【００６９】
次に、顔類似度計算部６２は、ステップＳ１の処理として、顔特徴検出部６１にて検出された各顔矩形の各々について、先に用意されたクラスタリングＩＤをそれぞれ付与してグループ化する。
【００７０】
次に、顔類似度計算部６２は、ステップＳ２の処理として、既に分類されている各グループの各顔矩形の特徴量と、顔特徴検出部６１にて検出された顔矩形の特徴量とを、各々比較して類似度を算出し、それら各グループ毎に類似度の最大値及び最小値と平均値を計算する。そして、顔類似度計算部６２は、処理を分類部６３へ渡す。
【００７１】
分類部６３は、ステップＳ３の処理として、類似度の平均値が第一の閾値を超えるグループが複数存在するか否か判定し、複数存在する場合にはステップＳ４へ処理を進め、一方、複数存在しない場合はステップＳ９へ処理を進める。
【００７２】
ステップＳ９の処理に進んだ場合、分類部６３は、前記類似度の平均値が前記第一の閾値を超えるグループが一つだけか否か判定し、一つだけである場合にはステップＳ１０へ処理を進め、一方、一つも存在しない場合にはステップＳ１１へ処理を進める。
【００７３】
ステップＳ１１の処理に進むと、分類部６３は、その顔矩形について新規のクラスタリングＩＤが割り当てられる。つまりこの場合、顔特徴検出部６１にて検出された顔矩形は、既に分類されている何れのグループにも属さない新しい顔矩形であり、その顔矩形には新規のクラスタリングＩＤ（つまり新しいグループ）が割り当てられる。当該ステップＳ１１の処理後、この図１２のフローチャートの処理を終了する。
【００７４】
ステップＳ１０の処理に進んだ場合、分類部６３は、その顔矩形に対し、前記平均値が第一の閾値を超えた唯一のクラスタリングＩＤを割り当てる。つまり、この場合、顔特徴検出部６１にて検出された顔矩形は、既に分類されている或る一つのグループに属する顔矩形となされ、そのグループのクラスタリングＩＤが割り当てられる。当該ステップＳ１０の処理後、この図１２のフローチャートの処理を終了する。
【００７５】
前記ステップＳ３において複数存在すると判定されてステップＳ４の処理に進むと、分類部６３は、その顔矩形に対し、前記平均値が第一の閾値を超えた複数のグループの中で最も平均値が高かったグループのクラスタリングＩＤを割り当てる。
【００７６】
次に、分類部６３は、ステップＳ５〜ステップＳ８のループ処理へ移行する。当該ループ処理では、各グループの数だけ処理が繰り返される。
【００７７】
ステップＳ５〜ステップＳ８のループ処理へ進むと、分類部６３は、前記最も平均値が高いグループ以外の一つのグループについて、前記類似度の最大値，最小値，平均値が共に、所定の第二の閾値を超えているか否か判定する。そして、第二の閾値を超えていると判定した場合、分類部６３はステップＳ７へ処理を進め、一方、超えていないと判定した場合には次のグループについての処理に進む。
【００７８】
ステップＳ７の処理に進んだ場合、分類部６３は、そのグループのクラスタリングＩＤを、前記最も平均値が高いグループのクラスタリングＩＤに置き換える。つまりこの場合、分類部６３は、それらグループを統合する処理を行う。
【００７９】
ステップＳ５〜ステップＳ８のループ処理が各グループの数だけ行われると、この図１２のフローチャートの処理を終了する。
【００８０】
なお、図１１のように、移動体端末のユーザが手動により画像ファイル（顔矩形）を分類した場合、その手動分類された顔矩形が属することになったグループについて前記平均値（場合によっては最大値や最小値も）が変わることになる。そして、手動分類がなされた場合には、自動分類では正確に分類し得なかった顔矩形を確実に分類できることになるとともに、その手動分類の情報がその後の自動分類の際に反映されることになるため、より精度の高い自動分類が可能となる。
【００８１】
［類似顔表示部の詳細］
図１３，図１４には、類似顔表示部２３の詳細な機能ブロック図を示す。また、図１５〜図１８には、移動体端末１のディスプレイ画面２上に画像が表示される場合の各表示例を示している。
【００８２】
図１３に示すように、類似顔表示部２３は、類似顔登録通知部８１と、単体画像表示部８３と、類似顔画像集合表示部８２とで構成される。
【００８３】
類似顔登録通知部８１は、前述のように撮影画像検出・登録部２０により画像ファイルが検出され、さらに顔矩形検出部２１により顔矩形が検出されて、その後、類似顔分類部２２によりその顔矩形の分類が完了すると、当該顔画像の分類及び登録が完了したことをユーザへ通知する。本実施形態では、当該類似顔の分類及び登録が完了したことをユーザへ通知するための一手法として、例えば携帯電話端末の待ち受け画面上に表示されるカード状オブジェクトの近傍若しくはそのオブジェクトの所定位置上に、所定のアイコンを表示するような手法を用いている。なお、その他の手法として、例えば音声出力やＬＥＤ発光、バイブレータの振動など、移動体端末が元々備えている通知機能を用いることにより、前記類似顔の分類及び登録が完了したことをユーザへ通知するようにしてもよい。
【００８４】
図１５には、当該類似顔の分類及び登録完了通知の一例として、ディスプレイ画面２上に、その顔矩形を含む画像ファイルを例えばカード状のオブジェクト９１として表示すると共に、そのカード状オブジェクト９１の近傍に類似顔登録通知用の所定のアイコン９２を表示した例をしている。なお、図１５には、一枚のカード状オブジェクト９１のみを表示している例を挙げたが、本実施形態の移動体端末においては、後述するように、更新の履歴に対応した時系列順の複数のカード状オブジェクトを、ディスプレイ上に配列表示することも可能である。本実施形態の移動体端末によれば、このように複数のカード状オブジェクトを配列表示した場合においても図１５の例と同様に、顔画像の分類及び登録が完了した画像ファイルに対応したカード状オブジェクトの近傍若しくはそのオブジェクトの所定位置上に、前記類似顔登録通知用のアイコンを表示することで、そのカード状オブジェクトに対応した画像ファイル内の顔画像の分類及び登録が完了したことを、ユーザへ通知することができる。
【００８５】
単体画像表示部８３と類似顔画像集合表示部８２は、例えば図１５のように類似顔登録通知がなされている場合、或いは、それら単体画像表示部８３や類似顔画像集合表示部８２による画像表示がなされている場合において、ユーザから所定の指示操作が入力された時に機能する。なお、ユーザによる所定の指示操作としては、例えば本実施形態の移動体端末１のディスプレイ画面２上にいわゆるタッチパネルが設けられているような場合において、そのタッチパネルへの操作（タッチやタップ、フリックなど）を挙げることができる。
【００８６】
例えば、図１５の類似顔登録通知がなされている時に、ユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、例えば図１６に示すように、前記カード状オブジェクト９１に対応した画像ファイルの画像をディスプレイ画面２上に表示する。なお、ディスプレイ画面２上に複数のカード状オブジェクトが時系列順に配列表示されているような場合、ユーザにより何れか一つのカード状オブジェクトが選択された上で、さらに単体画像表示を要求する所定の指示操作が入力されたような場合も、単体画像表示部８３は、当該ユーザにより選択されたカード状オブジェクトに対応した画像ファイルの画像をディスプレイ画面２上に表示する。
【００８７】
また例えば、図１５のような類似顔登録通知用アイコン９２による類似顔登録通知がなされている時に、ユーザから類似顔画像の集合表示を要求するための操作として例えばその類似顔登録通知用アイコン９２へのタッチ等の操作が入力されると、類似顔画像集合表示部８２は、例えば図１８に示すように、前記カード状オブジェクト９１に対応した画像ファイルの顔画像に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像９５を一覧表示する。なお、ディスプレイ画面２上に複数のカード状オブジェクトが時系列順に配列表示されているような場合において、前記類似顔登録通知用アイコンによる類似顔登録通知がなされている何れか一つのカード状オブジェクトがユーザにより選択されるとともに、類似顔画像集合表示を要求するための操作（類似顔登録通知用アイコン９２へのタッチ等の操作）がユーザから入力された場合も、類似顔画像集合表示部８２は、当該選択されたカード状オブジェクトに対応した画像ファイルの顔画像に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像を一覧表示する。
【００８８】
また、図１８に示す類似顔画像集合表示は、例えば図１６に示す単体画像表示がなされている時に、ユーザから類似顔画像の集合表示を要求する操作（例えば類似顔登録通知用アイコン９２へのタッチ等の操作）が入力された場合にも行われる。
【００８９】
一方、例えば図１８に示すような類似顔画像集合表示がなされている場合において、そのディスプレイ画面２上に表示されている各サムネイル画像９５のなかの何れか所望のサムネイル画像がユーザにより選択された上で、さらにユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、その選択されたサムネイル画像に対応した画像ファイルの単体画像をディスプレイ画面２上に表示する。なお、図１８の例において、左上隅のサムネイル画像が選択されたような場合には、図１６に示した単体画像表示がなされることになる。
【００９０】
また、本実施形態の移動体端末によれば、ディスプレイ画面２上に前述した類似顔登録通知や単体画像表示、類似顔画像集合表示がなされているような場合において、それら表示されている顔画像に対応して例えば電話帳が対応付けられている時には、その電話帳の情報との連携も可能となされている。
【００９１】
図１４には、電話帳情報との連携が可能となっている場合の類似顔表示部２３の機能ブロック図を示す。この図１４の例の場合、類似顔表示部２３は、類似顔登録通知部８１と、単体画像表示部８３と、類似顔画像集合表示部８２と、電話帳情報表示部８４とで構成される。類似顔登録通知部８１、単体画像表示部８３、類似顔画像集合表示部８２については前述同様である。
【００９２】
電話帳情報表示部８４は、前述した類似顔登録通知、単体画像表示、類似顔画像集合表示がなされている場合に、電話帳と対応付けられた画像がユーザにより選択された場合に機能する。
【００９３】
例えば図１５の類似顔登録通知がなされており、前記カード状オブジェクト９１が電話帳に関連付けられている場合において、そのカード状オブジェクト９１に対して、ユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、例えば図１７に示すように当該カード状オブジェクト９１に対応した顔画像に関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９４】
また例えば、図１８に示した類似顔画像集合表示がなされている場合において、そのディスプレイ画面２上に表示されている各サムネイル画像９５のなかの何れか所望のサムネイル画像がユーザにより選択された上で、さらにユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、図１７に示すように、その選択されたサムネイル画像に対応した顔画像に関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９５】
同様に、例えば図１６に示した単体画像表示がなされている場合において、ユーザから電話帳表示を要求する所定の指示操作が入力されると、電話帳情報表示部８４は、図１７に示すように、その単体画像表示されていた画像ファイルに関連付けられた電話帳の情報９４を、その顔画像９３と共にディスプレイ画面２上に表示する。
【００９６】
一方、図１７に示すように電話帳情報表示がなされている場合において、ユーザから単体画像表示を要求する所定の指示操作が入力されると、単体画像表示部８３は、例えば図１６に示すように前記カード状オブジェクト９１に対応した画像ファイルの画像をディスプレイ画面２上に表示する。
【００９７】
また例えば、図１７に示すように電話帳情報表示がなされている場合において、ユーザから類似顔画像の集合表示を要求する前記類似顔登録通知用アイコン９２をタッチ等する操作がなされると、類似顔画像集合表示部８２は、図１８に示したように、当該電話帳情報９４と共に表示されていた顔画像９３に類似するものとして予め分類されているグループ内の各画像ファイルのサムネイル画像９５を一覧表示する。
【００９８】
［複数のカード状オブジェクトの配列表示例］
本実施形態において、前述したカード状オブジェクトとしては、前記図１５の例のような画像ファイルに対応したコンテンツデータに関するものの他に、例えば電子メールやＳＮＳやＳＭＳ／ＭＭＳ、楽曲再生用など様々なアプリケーションプログラムにて扱われる各種コンテンツの更新，追加等をユーザに通知するためのものも用意されている。そして本実施形態の移動体端末によれば、それら各種アプリケーションプログラムの各種コンテンツデータに対応したカード状オブジェクトを、図１９〜図２１に示すように、例えば携帯電話端末における待ち受け画面上などに配列表示することも可能となされている。なお、図１９〜図２１の例は、前述のディスプレイ画面２を縦方向にして観た図を示している。
【００９９】
すなわち本実施形態において、図１９に示すように配列されている各カード状オブジェクト１０１は、それぞれに対応したコンテンツデータの更新や追加がなされたこと、及び、その更新や追加の大まかな中身を、ユーザへ分かり易く提示するための表示用オブジェクトとなされている。
【０１００】
また本実施形態において、各カード状オブジェクト１０１には、それぞれ例えばＳＮＳ用やＳＭＳ用、電子メール用、楽曲用、写真用などの各種アプリケーションプログラムの何れのプログラムに対応したコンテンツであるのかを表す情報や、例えばメッセージの送信元やニュースの見出しなどのように各コンテンツ毎に特有で且つ各コンテンツの属性を表すことができる情報、コンテンツデータ等の更新や追加等の日時を示す情報など、それぞれ各コンテンツの特性と更新の中身を的確に表す情報が表示される。
【０１０１】
本実施形態において、前記何れのアプリケーションプログラムに対応したコンテンツであるのかを表す情報としては、一例として、各コンテンツの種類に応じたアイコンや文字情報等が用いられ、それらアイコンや文字情報はコンテンツ毎に異なるものとして予め用意されている。また、前記各コンテンツ毎に特有で且つその属性を表すことができる情報としては、一例として、メッセージの送信元を表す文字情報や写真等のイメージ画像、ニュースの配信元やそのニュースの見出しを表す文字情報などが用いられる。また、コンテンツデータ等の更新や追加等の日時を示す情報としては、年月日、日時などを表す文字情報が用いられる。なお、図１９、図２０の例では、各カード状オブジェクト１０１が何れのコンテンツに対応しているのかについての図示は省略しており、また、各更新情報表示カード１０１内に記述される文字情報等の具体例についても図示を省略している。
【０１０２】
さらに、本実施形態においては、複数のカード状オブジェクト１０１をディスプレイ画面２上に表示する場合、それら複数のカード状オブジェクト１０１を、各コンテンツデータの更新時間順に対応させて例えば一列に並べて表示することにより、各コンテンツデータの更新，変更等の時間的な関係を分かり易く提示可能としている。
【０１０３】
すなわち、図１９と図２０の例では、複数のカード状オブジェクト１０１を、コンテンツデータが更新，変更等された際の時間順に並べて表示した状態のユーザインターフェース画面例を示している。なお、図１９と図２０は、携帯電話端末としての本実施形態の移動体端末が、例えばいわゆる待ち受け状態となっている時の前記カード状オブジェクト１０１の表示例を示している。もちろんこれは一例であり、図１９，図２０の画面は、待ち受け画面ではなく、別途用意された所定の画面であってもよい。
【０１０４】
より具体的に説明すると、本実施形態において、画面上に表示される複数のカード状オブジェクト１０１は、例えばユーザがディスプレイ画面を正対して視た時の画面上部から画面下部に向かって、更新日時が新しいものから古いものの順に連なるように表示（時系列に表示）される。すなわち、更新や追加等された日時の新しいものから順（画面上部から画面下部に向かう順）に、一例として、ＳＭＳの着信を表す１枚のカード状オブジェクト、別のＳＭＳの着信を表す１枚のカード状オブジェクト、ＲＳＳ（RDF(Resource description framework) Site Summary）からのニュースの更新を表す１枚のカード状オブジェクト、ＳＮＳの更新を表す１枚のカード状オブジェクト、電子メールの着信を表す１枚のカード状オブジェクト、本実施形態の写真等の画像ファイルの追加，更新等を表す１枚のカード状オブジェクトなどが、連なるように並べられて表示される。
【０１０５】
なお、図１９の例では、画面上部から画面下部に向かって順次時間が古くなる例を挙げたが、もちろんその逆であってもよい。また、図１９の例では、ディスプレイ画面が縦長方向で使用される例を挙げているが、例えば前述のようにディスプレイ画面が横長方向で使用されるような場合には、例えば画面の左側から右側（或いはその逆）に向かって時系列に各カード状オブジェクトを表示（つまり各カードを横に並べるような表示）を行ってもよい。さらに、本実施形態端末の画面表示を縦方向と横方向に切り替え可能となされているような場合、それら縦横表示切り替えに連動させて、前記各カード状オブジェクトの連なりの方向を縦方向或いは横方向へ切り替えるようにしてもよい。これにより、画面の縦横何れかの使用状況に応じて、より多くの各カード状オブジェクトを表示することが可能となる。その他にも、画面の斜め方向に各カード状オブジェクトを連ねて表示させるようにしてもよい。
【０１０６】
また、各カード状オブジェクトは、直線的に連ねられて並べられる場合の他に、カーブを描くように並べられて表示されてもよい。当該カーブを描くように並べる場合、例えばユーザが左右何れかの手でタッチパネル上を操作するのかに応じて、そのカーブの方向を切り替えるようにしてもよい。例えば、画面表示を縦表示にし、ユーザが右手で例えばディスプレイ画面上のタッチパネルを操作するような場合には、画面の中央部付近が画面左側方向へ突き出す一方で画面の上下端側が画面右側へ曲がるようになだらかにカーブを描くように各カード状オブジェクトを連ねて表示したり、或いはその逆に、ユーザが左手でタッチパネルを操作するような場合には、画面に中央部付近が画面右側方向へ突き出す一方で画面の上下端側が画面左側へ曲がるようになだらかにカーブを描くように各カード状オブジェクトを連ねて表示するようにしてもよい。これにより、ユーザにとってより使い易いユーザインターフェースを実現することができる。
【０１０７】
また、本実施形態において、待ち受け画面のような初期状態の時の各カード状オブジェクト１９１は、図１９や図２０に示すように、本来は例えば長方形状である各カードの上又は下側を仮想的に画面奥行き方向へ僅かに傾けた状態となされて表示される。なお、例えばディスプレイ画面を横長方向に使用して各カード状オブジェクトを画面内で横方向に連ねて表示するようにした場合には、例えば長方形状の各カードの左又は右側を仮想的に画面奥行き方向へ傾けた状態で表示することが望ましい。
【０１０８】
このように、本実施形態においては、本来は長方形状であるカードを仮想的に画面奥行き方向へ傾けることにより、それら長方形状のカードをそのまま画面上に並べた場合と比較して、より多くのカードを画面上に表示することを可能としている。以下の説明において、前記画面奥行き方向に傾けられて表示されている状態のカード状オブジェクト１０１を、特にアイドル状態のカード状オブジェクト１０１ｄと表記することにする。
【０１０９】
そして、当該アイドル状態となっている一つのカード状オブジェクト１０１ｄ上には、前述したように、何れのアプリケーションプログラムに対応したコンテンツであるかを表す情報と、各コンテンツ毎に特有で且つ各コンテンツの属性を表すことができる情報や、更新等の日時情報など、各コンテンツの特性と更新中身を的確に表す情報が表示される。
【０１１０】
さらに、本実施形態端末は、前述のように画面上に配列表示されている各カード状オブジェクトに対し、例えばディスプレイ画面上のタッチパネルへの所定のジェスチャー操作を通じて、ユーザから所望のカード状オブジェクト１０１を選択する指示が入力されると、その指示入力にて選択されたカード状オブジェクト１０１の表示形態を変更するようになされている。
【０１１１】
ここで、本実施形態において、所望のカード状オブジェクトを選択するための所定のジェスチャー操作は、一例として、タッチパネル上の検知エリアのうち、前記カード状オブジェクトの表示領域に対応した検知エリアを、ユーザがタッチするようなジェスチャー操作となされている。なお、当該タッチジェスチャー操作とは、タッチパネル上を一定時間以上触れるジェスチャー操作のことである。
【０１１２】
そして、前記アイドル状態となっている複数の各カード状オブジェクト１０１ｄの中から、タッチパネルを介した前記タッチジェスチャー操作により何れか一つのカード状オブジェクトが選択された場合、本実施形態端末は、図２１に示すように、当該選択されたカード状オブジェクト１０１を本来の長方形状のカード状オブジェクト１０１ｖとして表示する。
【０１１３】
すなわちこの場合の本実施形態の移動体端末は、前述のように画面奥行き方向に傾けられていたアイドル状態のカード状オブジェクト１０１ｄを、図２１に示すように、画面に対してカード面が略々平行となるように仮想的に起き上げさせて表示することにより、そのカード状オブジェクト１０１を略々長方形状のカードとして表示する。
【０１１４】
このように、本実施形態では、前記カード状オブジェクト１０１を仮想的に起き上げさせて長方形状のカード状オブジェクト１０１ｖとして表示することにより、ユーザに対して当該カード状オブジェクトの選択が確実になされたことを知らせる。以下の説明において、前記画面上で起き上がって長方形状に表示されている状態のカード状オブジェクト１０１を、特にプレビュー状態のカード状オブジェクト１０１ｖと表記することにする。前述の図１５に示したカード状オブジェクト９１は、当該プレビュー状態のカード状オブジェクトである。
【０１１５】
また、当該プレビュー状態となされたカード状オブジェクト１０１ｖ上には、前述のアイドル状態のカード状オブジェクト１０１ｄの場合よりも、さらにより多くの情報が表示される。すなわち、プレビュー状態となった時のカード状オブジェクト１０１ｖは、画面上で占有する面積が、前記アイドル状態のカード状オブジェクト１０１ｄにおける画面上の占有面積よりも広くなるため、当該プレビュー状態のカード状オブジェクト１０１ｖの画面上にはより多くの情報を表示することが可能となる。
【０１１６】
本実施形態の場合、プレビュー状態のカード状オブジェクト１０１ｖ上には、前記アイドル状態のカード状オブジェクト１０１ｄと同様に、何れのアプリケーションプログラムに対応したコンテンツであるかを表す情報や更新等の日時情報などが表示されるとともに、各コンテンツの更新中身を表す情報として、前記アイドル状態の場合よりもさらに詳しい情報が表示される。
【０１１７】
図２２と図２３には、アイドル状態のカード状オブジェクト１０１ｄ（図２２）と、プレビュー状態のカード状オブジェクト１０１ｖ（図２３）をそれぞれ拡大して示している。
【０１１８】
図２２に示すアイドル状態のカード状オブジェクト１０１ｄ上には、一例として、ＳＮＳ用や電子メール用、楽曲用、写真用などの各種アプリケーションプログラムのうち何れに対応したコンテンツであるかを表すアイコン１０２ｅと、例えばメッセージの送信元やニュースの見出しなどのように各コンテンツ毎に特有で且つコンテンツの属性を表すことができる情報としての文字情報１０２ｂと、各コンテンツの更新中身を簡単に表す情報文字情報１０２ｃと、更新や追加等の日時を示す文字情報１０２ｄとが配されている。また、メッセージの送信元などの写真等のサムネイル画像や楽曲のアルバムカバーのサムネイル画像などが存在する場合には、それらのサムネイル画像１０２ａが、前記コンテンツの属性を表すことができる情報の一つとしてカード上に表示される。
【０１１９】
一方、図２３に示すプレビュー状態のカード状オブジェクト１０１ｖ上には、アイドル状態のカード状オブジェクト１０１ｄの場合と同様のアイコン１０２ｅと日時文字情報１０２ｄが配されるとともに、各コンテンツの更新中身を表す情報については前記アイドル状態の場合よりもさらに詳細な内容が例えば文字情報１０２ｃにより配される。
【０１２０】
また、前記カード状オブジェクト１０１ｖがプレビュー状態となされた後、ユーザにより一定時間以上何も指示がなされなかった場合、本実施形態端末は、そのカード状オブジェクト１０１ｖをアイドル状態のカード状オブジェクト１０１ｄへと戻す。
【０１２１】
また本実施形態の移動体端末は、図２２のアイドル状態のカード状オブジェクト１０１ｄや図２３のプレビュー状態のカード状オブジェクト１０１ｄ上へ、前述同様のサムネイル画像１０２ａ等の他に、例えば前述した類似顔登録の通知や電話帳との関連付けが完了したことの通知のためのアイコン１０２ｆも配される。すなわち、当該アイコン１０２ｆが配されたカード状オブジェクトに対し、前述のようにユーザから所定の指示操作がなされた場合、本実施形態の移動体端末は、前述のような単体画像表示や類似顔画像集合表示、電話帳情報と対応付けられた画像表示などを行う。
【０１２２】
［類似顔表示部における処理の流れ］
図２４には、前述の図１４に示した類似顔表示部２３において、図１７に示した電話帳情報表示から類似顔画像集合表示へ遷移する際の処理のフローチャートを示す。
【０１２３】
図２４において、図１７に示したような電話帳情報表示がなされている場合において、ユーザから類似顔画像の集合表示を要求する例えば前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされると、類似顔画像集合表示部８２は、ステップＳ２１の処理として、電話帳情報９４と共に表示されていた顔画像９３に対応したクラスタリングＩＤを、顔類似分類部２２の顔分類情報保存部６６のデータベースから取得する。
【０１２４】
次に、類似顔画像集合表示部８２は、ステップＳ２２〜ステップＳ２５のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１２５】
ステップＳ２２〜ステップＳ２５のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ２３の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１２６】
次に、類似顔画像集合表示部８２は、ステップＳ２４の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１２７】
ステップＳ２２〜ステップＳ２５のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図１９のフローチャートの処理を終了する。
【０１２８】
図２５には、前述の図１３や図１４に示した類似顔表示部２３において、図１６に示した単体画像表示から類似顔画像集合表示へ遷移する際の処理のフローチャートを示す。
【０１２９】
図２５において、図１６に示したような単体画像表示がなされている時に、単体画像表示部８３は、ステップＳ３１として、ユーザによりその単体画像内の顔画像に対して類似顔画像の集合表示を要求する前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされたことを検出すると、類似顔画像集合表示部８２へ処理を渡す。
【０１３０】
この時の類似顔画像集合表示部８２は、ステップＳ３２の処理として、単体画像表示されていた顔画像に対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１３１】
次に、類似顔画像集合表示部８２は、ステップＳ３３の処理として、前記取得した画像ファイルのＩＤに対応したクラスタリングＩＤを、顔類似分類部２２の顔分類情報保存部６６のデータベースから取得する。
【０１３２】
次に、類似顔画像集合表示部８２は、ステップＳ３４〜ステップＳ３７のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１３３】
ステップＳ３４〜ステップＳ３７のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ３５の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１３４】
次に、類似顔画像集合表示部８２は、ステップＳ３６の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１３５】
ステップＳ３４〜ステップＳ３７のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図２５のフローチャートの処理を終了する。
【０１３６】
図２６には、前述したような複数のカード状オブジェクトが時系列順に配列表示されている時に、或るカード状オブジェクトに前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたことで類似顔登録の完了がユーザへ通知され、さらに、そのアイコン１０２ｆ（９２）が表示されたカード状オブジェクトがユーザにより選択された上で、ユーザから類似顔画像集合表示の操作指示が入力されて類似顔画像の集合表示がなされる場合の処理のフローチャートを示している。
【０１３７】
図２６において、類似顔登録通知部８１は、前述したような複数のカード状オブジェクトが時系列順に配列表示されている時に、或るカード状オブジェクトに前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたことで類似顔登録の完了がユーザへ通知された時に、ユーザにより当該カード状オブジェクト９１を選択した上で類似顔画像の集合表示を要求する前記類似顔登録通知用のアイコン１０２ｆ（９２）のタッチ等の操作がなされると、類似顔画像集合表示部８２へ処理を渡す。
【０１３８】
この時の類似顔画像集合表示部８２は、ステップＳ４１の処理として、類似顔登録通知のカード状オブジェクト９１に対応した画像ファイル内の顔矩形のＩＤを、前記顔矩形情報保存部５４のデータベースから取得する。
【０１３９】
次に、類似顔画像集合表示部８２は、ステップＳ４１で取得した顔矩形のＩＤにより、その画像ファイル内の顔矩形の個数が一つか否か判定する。そして、顔矩形の個数が一つである場合にはステップＳ４３へ処理を進め、一方、複数ある場合にはステップＳ４９へ処理を進める。
【０１４０】
ステップＳ４９の処理に進んだ場合、類似顔画像集合表示部８２は、その画像ファイル内で検出された顔矩形のうち、中心に近く、大きい顔矩形に対して重み付けを行うことで、各顔矩形に順位付けをし、最も順位が高い（優先度が高い）顔矩形を選ぶ。このステップＳ４９の処理後はステップＳ４３へ処理を進める。
【０１４１】
ステップＳ４３の処理に進むと、類似顔画像集合表示部８２は、その顔矩形のＩＤを再度前記顔矩形情報保存部５４のデータベースから取得し、次いで、ステップＳ４４の処理として、当該顔矩形のＩＤを基に、顔類似分類部２２の顔分類情報保存部６６のデータベースからクラスタリングＩＤを取得する。
【０１４２】
次に、類似顔画像集合表示部８２は、ステップＳ４５〜ステップＳ４８のループ処理へ移行する。当該ループ処理では、同じクラスタリングＩＤに対応した画像ファイルの枚数分だけ処理が繰り返される。
【０１４３】
ステップＳ４５〜ステップＳ４８のループ処理へ進むと、類似顔画像集合表示部８２は、先ず、ステップＳ４６の処理として、そのクラスタリングＩＤに対応した画像ファイルのＩＤを、撮影画像検出・登録部２０のイメージファイル情報保存部３５のデータベースから取得する。
【０１４４】
次に、類似顔画像集合表示部８２は、ステップＳ４７の処理として、前記イメージファイル情報保存部３５から、その画像ファイルのＩＤに対応したサムネイル画像を取得し、その取得したサムネイル画像をディスプレイ画面２上に表示する。
【０１４５】
ステップＳ４５〜ステップＳ４８のループ処理が各画像ファイルの枚数分だけ行われることで前述したような類似顔画像の集合表示がなされることになり、当該集合表示が完了すると、類似顔画像集合表示部８２は、この図２６のフローチャートの処理を終了する。
【０１４６】
なお、図２６では、複数のカード状オブジェクトが時系列順に配列表示されている時に、前記類似顔登録通知用のアイコン１０２ｆ（９２）が表示されたカード状オブジェクトを指定することで類似顔画像の集合表示がなされる例を述べたが、例えば類似顔登録通知用アイコン１０２ｆ（９２）が表示されたカード状オブジェクトを指定して単体画像を表示させた後、さらに、ユーザから類似顔画像集合表示の操作指示が入力された場合にも前述同様に類似顔画像の集合表示がなされる。
【０１４７】
［まとめ］
以上説明したように、本発明実施形態の移動体端末によれば、前記撮影画像検出・登録部２０において、図５で説明したように撮像デバイス１２にて画像が撮影された場合、図６で説明したように前記外部記憶デバイス１４に外部記憶メモリ３が挿入された場合、図７で説明したように画像ファイルの新規追加や変更、削除等された場合の何れにおいても、当該端末が取り扱うことのできる全ての画像ファイルについて類似顔分類を行うことができる。
【０１４８】
また本実施形態の移動体端末によれば、撮影顔像検出・登録部２０、顔矩形検出部２１、類似顔分類部２２における機能は、それぞれバックグラウンドで行われるため、ユーザに対して特別な操作を要求することなく行われる。そして、類似顔登録通知がなされた後は、類似顔画像集合表示や電話帳情報表示などが可能となる。
【０１４９】
さらに、本実施形態の移動体端末においては、手動により顔矩形を分類することも可能となされているため、例えば自動分類によりユーザの意に反する分類結果等が提供された場合であっても、その顔矩形の分類を修正することが可能となる。また、当該手動分類が行われた後に、別途画像ファイルの分類処理がなされる際には、先に行われたユーザの修正を反映した分類群を母体とした分類計算がなされることになるため、分類精度が向上する。
【０１５０】
また、本実施形態の移動体端末によれば、類似顔表示部２３の機能が提供されるため、同分類の顔矩形が含まれる画像群の表示が可能になるとともに、さらに電話帳情報との連携がなされている場合にはその電話帳に登録されている相手先についての詳細情報の表示や、当該相手先とのコミュニケーションを促進できるようになる。また、電話帳情報との連携がなされていない場合であっても、例えば一枚の写真画像を選択して新たに電話帳登録を行うようにすれば、その写真画像について類似顔分類がなされている時には、その写真画像に対して同分類となされている顔矩形の画像ファイル群すべてを、その電話帳の登録情報に連携させることが可能になる。
【０１５１】
すなわち、本発明実施形態の移動体端末によれば、追加や更新等された画像ファイルを、顔画像の類似度に応じて他の写真画像ファイルの顔画像とグループ化して関連付けることにより、ユーザが画像ファイルをそれぞれ分類するための内容確認作業を略々無くして、ユーザの労力を大幅に軽減可能にし、その結果として電話帳等の他のコンテンツデータとの関連付けをも容易になっている。
【０１５２】
なお、本実施形態では、対象コンテンツファイルとして静止画像の画像ファイルを例に挙げて説明したが、例えば動画像ファイルに対しても前述同様に検出・分類等を適用することができる。また、例えば音声の特徴量検出、類似度計算を適用することで、音声ファイルについても分類対象とすることができる。
【０１５３】
その他、前述した実施形態の説明は、本発明の一例である。このため、本発明は前述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。
【０１５４】
前述した実施形態では、移動体端末として携帯電話端末を想定しているが、本発明は、本実施形態のその他の様々な情報端末にも適用可能である。
【符号の説明】
【０１５５】
１…移動体端末（携帯電話端末）、２…ディスプレイ画面、３…外部記憶メモリ、４…カメラレンズ、Ａ，Ｂ…被写体（人物の顔）、５Ａ，５Ｂ…被写体画像
１０…ＣＰＵ、１１…表示デバイス、１２…撮像デバイス、１３…内部記憶デバイス、１４…外部記憶デバイス
２０…撮影画像検出・登録部、２１…顔矩形検出部、２２…類似顔分類部、２３…類似顔表示部
３０…撮像検出部、３１…イメージファイル情報登録部、３２…撮影画像保存部、３３…画像ファイル、３４…実撮影画像情報、３５…イメージファイル情報保存部、３６…イメージファイル情報
４１…外部記憶デバイス挿入検出部、４２…イメージファイル検索部
５１…顔矩形マッチング部、５２…顔検出用辞書保存部、５３…顔検索用辞書データ、５４…顔矩形情報保存部、５５…顔矩形情報
６１…顔特徴検出部、６２…類似度計算部、６３…分類部、６４…顔特徴情報保存部、６５…顔特徴情報、６６…顔分類情報保存部、６７…顔分類情報
７０…事前分類画像取得部、７１…手動分類部
８１…類似顔登録通知部、８２…類似顔画像集合表示部、８３…単体画像表示部、８４…電話帳情報表示部
９１，１０１ｄ，１０１ｖ…カード状オブジェクト、９２，１０２ｆ…類似顔登録通知用のアイコン
９３…電話帳に登録されている顔画像、９４…電話帳に登録されている情報
９５…サムネイル画像
１０２ａ…サムネイル画像、１０２ｂ，１０２ｃ，１０２ｄ…文字情報、１０２ｅ…アイコン
【特許請求の範囲】
【請求項１】
未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理する画像検出・登録部と、
前記画像検出・登録部にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて保存する顔画像検出部と、
前記顔画像検出部にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理する類似顔分類部と、
前記類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる類似顔表示部と、
を有する情報端末。
【請求項２】
前記画像検出・登録部は、撮像デバイスにより新たに撮像された撮影画像ファイルと、外部記憶メモリに格納されている未登録の画像ファイルと、ファイル情報を管理するファイルシステムにより更新された画像ファイルとを、前記検出する請求項１記載の情報端末。
【請求項３】
前記類似顔分類部は、前記顔画像の分類結果をユーザからの指示に応じて修正し、当該修正後の顔画像の分類結果を、後の別の顔画像の分類の際に反映させる請求項１記載の情報端末。
【請求項４】
前記類似顔表示部は、前記画像検出・登録部にて検出された画像ファイルに対応した所定のオブジェクト画像をディスプレイ画面上に表示させるとともに、前記類似顔分類部による分類が完了した時、その類似顔分類の完了を通知する所定のアイコン画像を、前記所定のオブジェクト画像の近傍に表示させる請求項１記載の情報端末。
【請求項５】
前記類似顔表示部は、前記所定のオブジェクト画像を選択した上で画像ファイルの表示を要求するユーザ指示が入力された時、当該所定のオブジェクト画像に対応した画像ファイルの画像を前記ディスプレイ画面上に表示させる請求項４記載の情報端末。
【請求項６】
前記類似顔表示部は、前記所定のオブジェクト画像を選択した上で画像ファイル内の顔画像に類似する複数の画像ファイルのリスト表示を要求するユーザ指示が入力された時、当該所定のオブジェクト画像に対応した画像ファイル内の顔画像に類似した顔画像を有する複数の画像ファイルの画像を、前記ディスプレイ画面上にリスト表示させる請求項４記載の情報端末。
【請求項７】
前記類似顔表示部は、複数の顔画像に各々個別に関連付けられた所定の登録情報が保存されている時、前記所定のオブジェクト画像を選択した上で所望の顔画像に関連付けられている登録情報の表示を要求するユーザ指示が入力された時、当該所望の顔画像に関連付けられている登録情報をその顔画像とともに前記ディスプレイ画面上に表示させる請求項４記載の情報端末。
【請求項８】
画像検出・登録部が、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理するステップと、
顔画像検出部が、前記画像検出・登録部にて検出された画像ファイル内に含まれる顔画像を検出して、その検出した顔画像の情報を前記画像ファイルに関連付けて保存するステップと、
類似顔分類部が、前記顔画像検出部にて検出された顔画像の特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理するステップと、
類似顔表示部が、前記類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるステップと、
を有する情報端末の情報制御方法。
【請求項９】
未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して情報保存部へ保存して管理する画像検出・登録処理と、
前記画像検出・登録処理にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて情報保存部に保存する顔画像検出処理と、
前記顔画像検出処理にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して情報保存部へ保存して管理する類似顔分類処理と、
前記類似顔分類処理による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる類似顔表示処理とを、
情報端末に実行させる情報制御プログラム。
【請求項１】
未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理する画像検出・登録部と、
前記画像検出・登録部にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて保存する顔画像検出部と、
前記顔画像検出部にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理する類似顔分類部と、
前記類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる類似顔表示部と、
を有する情報端末。
【請求項２】
前記画像検出・登録部は、撮像デバイスにより新たに撮像された撮影画像ファイルと、外部記憶メモリに格納されている未登録の画像ファイルと、ファイル情報を管理するファイルシステムにより更新された画像ファイルとを、前記検出する請求項１記載の情報端末。
【請求項３】
前記類似顔分類部は、前記顔画像の分類結果をユーザからの指示に応じて修正し、当該修正後の顔画像の分類結果を、後の別の顔画像の分類の際に反映させる請求項１記載の情報端末。
【請求項４】
前記類似顔表示部は、前記画像検出・登録部にて検出された画像ファイルに対応した所定のオブジェクト画像をディスプレイ画面上に表示させるとともに、前記類似顔分類部による分類が完了した時、その類似顔分類の完了を通知する所定のアイコン画像を、前記所定のオブジェクト画像の近傍に表示させる請求項１記載の情報端末。
【請求項５】
前記類似顔表示部は、前記所定のオブジェクト画像を選択した上で画像ファイルの表示を要求するユーザ指示が入力された時、当該所定のオブジェクト画像に対応した画像ファイルの画像を前記ディスプレイ画面上に表示させる請求項４記載の情報端末。
【請求項６】
前記類似顔表示部は、前記所定のオブジェクト画像を選択した上で画像ファイル内の顔画像に類似する複数の画像ファイルのリスト表示を要求するユーザ指示が入力された時、当該所定のオブジェクト画像に対応した画像ファイル内の顔画像に類似した顔画像を有する複数の画像ファイルの画像を、前記ディスプレイ画面上にリスト表示させる請求項４記載の情報端末。
【請求項７】
前記類似顔表示部は、複数の顔画像に各々個別に関連付けられた所定の登録情報が保存されている時、前記所定のオブジェクト画像を選択した上で所望の顔画像に関連付けられている登録情報の表示を要求するユーザ指示が入力された時、当該所望の顔画像に関連付けられている登録情報をその顔画像とともに前記ディスプレイ画面上に表示させる請求項４記載の情報端末。
【請求項８】
画像検出・登録部が、未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して管理するステップと、
顔画像検出部が、前記画像検出・登録部にて検出された画像ファイル内に含まれる顔画像を検出して、その検出した顔画像の情報を前記画像ファイルに関連付けて保存するステップと、
類似顔分類部が、前記顔画像検出部にて検出された顔画像の特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して管理するステップと、
類似顔表示部が、前記類似顔分類部による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させるステップと、
を有する情報端末の情報制御方法。
【請求項９】
未登録若しくは更新された画像ファイルを検出するとともに、当該検出された画像ファイルのリストを構成して情報保存部へ保存して管理する画像検出・登録処理と、
前記画像検出・登録処理にて検出された画像ファイルの画像内に含まれる顔画像を検出し、その検出した顔画像の情報を前記画像ファイルに関連付けて情報保存部に保存する顔画像検出処理と、
前記顔画像検出処理にて検出された顔画像が有する特徴量を算出し、当該算出した特徴量と、既に算出されてグループ毎に分類されている他の顔画像の特徴量とを比較することにより、当該顔画像と前記各グループ毎の他の顔画像との類似度を算出し、その類似度算出結果に応じて、当該顔画像を分類して情報保存部へ保存して管理する類似顔分類処理と、
前記類似顔分類処理による顔画像の分類結果を基に、同分類となされた顔画像を含む一又は複数の画像ファイルをディスプレイ画面上に表示させる類似顔表示処理とを、
情報端末に実行させる情報制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−４４０４４（Ｐ２０１１−４４０４４Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９２４７８（Ｐ２００９−１９２４７８）
【出願日】平成２１年８月２１日（２００９．８．２１）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２１日（２００９．８．２１）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]