携帯情報端末、画像情報管理方法及び画像情報管理プログラム
【課題】 撮影等して保存されている写真や動画の有効活用を可能とする。
【解決手段】
制御部１０は、撮影若しくは外部取得して保存されている写真・動画から顔インデックス画像を生成し、その顔インデックス画像を、その元の写真・動画や電話帳の登録情報と対応付けてメモリ部１５に保存する。また、制御部１０は、写真・動画の閲覧や送受信等の利用履歴をメモリ部１５に保存する。そして、制御部１０は、写真・動画の閲覧や送受信が行われる際には、それら写真・動画の利用履歴、写真・動画の送受信履歴などを基に、その写真・動画の閲覧の有無や、送受信の有無などをユーザへ通知する。
【解決手段】
制御部１０は、撮影若しくは外部取得して保存されている写真・動画から顔インデックス画像を生成し、その顔インデックス画像を、その元の写真・動画や電話帳の登録情報と対応付けてメモリ部１５に保存する。また、制御部１０は、写真・動画の閲覧や送受信等の利用履歴をメモリ部１５に保存する。そして、制御部１０は、写真・動画の閲覧や送受信が行われる際には、それら写真・動画の利用履歴、写真・動画の送受信履歴などを基に、その写真・動画の閲覧の有無や、送受信の有無などをユーザへ通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば携帯電話端末のように、電話帳（アドレス帳）情報や発着信履歴の保持、電子メールの送受信、写真・動画の閲覧等の様々な機能を備えた携帯情報端末と、その携帯情報端末において写真や動画を管理する際の画像情報管理方法、及び、画像情報管理プログラムに関する。
【背景技術】
【０００２】
近年、携帯情報端末の代表例である携帯電話端末は、写真や動画の撮影機能が向上してきており、搭載されているメモリ容量も増加している。このため、当該携帯電話端末による写真，動画等の撮影が気軽に行えるようになり、また、それに伴って端末内に保存される写真の枚数や動画の量も増えている。
【０００３】
一方、最近のデジタルスチルカメラやデジタルビデオカメラでは、ビューファインダ上に映し出されている撮影画像から、顔認識技術を用いて顔画像を検出し、例えば、その顔画像へフォーカスを合わせたり、笑顔を検出して自動撮影を行う等の機能を搭載している。また特に、デジタルビデオカメラには、顔認識技術を用いることにより、録画後の動画の中から顔画像を認識し、例えば、その認識した顔画像から顔インデックス画像を作成したり、録画されている複数の動画の中から所望の顔画像が含まれている動画を選択的に取り出して閲覧可能とするような機能を備えた機種もある。
【０００４】
その他、撮影済みの写真画像等を利用する技術として、例えば特開２００５−２６７１４６号の公開特許公報（特許文献１）には、アドレス帳メモリ内にメールアドレスと対応付けられて格納された被写体画像と、集合写真画像に写っている被写体画像部分とを比較し、一致した被写体画像に対応したメールアドレスに宛てた電子メールを作成送信する技術が開示されている。この特許文献１に記載の技術によれば、送信先のメールアドレスが多い場合でも、簡単に所望のアドレスを選び出してそのアドレスに宛てた電子メールを作成送信することが可能となっている。
【０００５】
さらに、撮影済みの写真画像等を利用する技術として、特開２００８−５４７０号の公開特許公報（特許文献２）には、静止画像から抽出した顔画像と電話帳の登録顔画像が一致した時、その静止画像内の人物顔画像と、電話帳の登録人物の電話番号やメールアドレス等とをリンク付けしておく技術が開示されている。そして、この特許文献２に記載の技術では、表示された静止画像から所望の人物が選択されると、その人物の顔画像にリンクされた電話番号へ自動発信したり、その電子メールアドレスが入力されたメール作成画面を表示する。この特許文献２に記載の技術によれば、静止画像上の人物の選択という操作により、電話発信或いは電子メールの送信が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６７１４６号公報（図１）
【特許文献２】特開２００８−５４７０号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のように携帯電話端末等の携帯情報端末において撮影された多数の写真や動画は、単に保存されているだけの状態になっていることが多く、有効に活用されているとは言い難い。このため、それら写真や動画を有効に利用できるようにすることが望まれている。特に、携帯情報端末の代表例である携帯電話端末において、閲覧，共有機能を向上させることによる写真や動画の有効活用や、顔認識技術を利用することによる写真，動画の有効活用が望まれている。
【０００８】
本発明は、このような実情に鑑みて提案されたものであり、撮影されて保存されている写真や動画の有効活用を可能とする携帯情報端末、画像情報管理方法、及び、画像情報管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の携帯情報端末は、撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出部と、当該抽出した顔画像を抽出元画像と対応付けて保存する顔情報保存部と、当該抽出された顔情報をアドレス情報と関連付けて保存するアドレス関連付け保存部と、画像の利用履歴とアドレス情報を通じた画像の利用履歴の情報を保存する利用履歴保存部とを有する。さらに、携帯情報端末は、画像を使用する際には、当該画像の利用履歴と、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴とを基に、当該画像の未利用状況、若しくは、アドレス情報を通じた当該画像の未利用状況を利用者に通知し、また、アドレス情報を使用する際には、当該アドレス情報に関連付けられた顔情報に対応する画像の利用履歴を基に、当該アドレス情報を通じた画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御部を有する。これにより、本発明は上述した課題を解決する。
【００１０】
すなわち、本発明によれば、画像やアドレス情報を使用する際には、画像の利用履歴、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴、そのアドレス情報に関連付けられた顔情報に対応した画像の利用履歴を基に、当該画像の未利用状況、アドレス情報を通じた当該画像の未利用状況等を利用者に通知する。これにより、本発明によれば、利用されていない画像の利用を促進することができるようになる。
【発明の効果】
【００１１】
本発明においては、画像やアドレス情報を使用する際には、画像の利用履歴、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴、そのアドレス情報に関連付けられた顔情報に対応した画像の利用履歴を基に、当該画像の未利用状況、若しくは、アドレス情報を通じた当該画像の未利用状況を利用者に通知することにより、撮影されて保存されている未利用の写真や動画の有効活用が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明実施形態の携帯電話端末の概略的な内部構成例を示すブロック図である。
【図２】顔インデックス画像の一例を示す図である。
【図３】顔テンプレート画像の一例を示す図である。
【図４】顔インデックス画像と電話帳の関連付けの説明に用いる図である。
【図５】通話の発着信履歴が表示されている画面において、或る発着信履歴で表される通信相手先の人物に関連付けされた写真や動画が未だ閲覧されていない場合の一表示例を示す図である。
【図６】電子メールの作成送信画面において、或る送信先メールアドレスに関連付けされた写真や動画が、未だメール添付されていない場合、或いは、アップロード先ＵＲＬを未だ知らせていない場合の一表示例を示す図である。
【図７】写真や動画の閲覧画面に、その画像内の顔画像に関連付けされた電子メールアドレスに、写真や動画のデータファイルが未だメール添付で送信されていない場合、或いは、アップロード先ＵＲＬを未だ知らせていない場合の一表示例を示す図である。
【図８】本実施形態の携帯電話端末において、写真や動画の画像から顔インデックス画像を生成する場合の処理の流れを示すフローチャートである。
【図９】本実施形態の携帯電話端末において、電話帳や発着信履歴、メール送受信履歴が閲覧されている時の画像情報管理処理のフローチャートである。
【図１０】本実施形態の携帯電話端末において、電子メール作成時における画像情報管理処理のフローチャートである。
【図１１】本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理であり、写真・動画のサイズが閾値以上である場合の処理を示すフローチャートである。
【図１２】本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理であり、写真・動画のサイズが閾値未満である場合の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１４】
なお、本発明が適用される一例として、本実施形態では、静画像（写真），動画像を撮影可能なカメラ機能付き携帯電話端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
【００１５】
［携帯電話端末の概略構成］
図１には、本実施形態の携帯電話端末の概略的な内部構成例を示す。
【００１６】
図１において、通信アンテナ１２は、例えば内蔵アンテナであり、通話や電子メール等のパケット通信のための信号電波の送受信を行う。通信回路１１は、送受信信号の周波数変換、変調と復調等を行う。
【００１７】
スピーカ２０は、携帯電話端末に設けられている受話用のスピーカや、リンガ（着信音）、アラーム音、警告音、再生音楽、デジタル音声、再生動画像の音声等の出力用スピーカからなり、制御部１０から供給されたデジタル音声データを、デジタル／アナログ変換した後に増幅し、その増幅後の音声信号を音響波に変換して空気中へ出力する。
【００１８】
マイクロホン２１は、送話用及び外部音声集音用のマイクロホンであり、音響波を音声信号に変換し、その入力音声信号を増幅及びアナログ／デジタル変換し、そのアナログ／デジタル変換後の音声データを制御部１０へ送る。
【００１９】
操作部１３は、本実施形態の携帯電話端末の図示しない筐体上に設けられているテンキーや発話キー、終話／電源キー等の各キーや十字キー，ジョグダイヤル等の各操作子と、それら操作子が操作された時の操作信号を発生する操作信号発生器とからなる。
【００２０】
表示部１４は、例えば液晶ディスプレイや有機ＥＬ（ElectroLuminescent）ディスプレイ等の表示デバイスと、そのディスプレイの表示駆動回路とを含み、制御部１０から供給された画像信号により、上記ディスプレイ上に例えば電子メール等の各種文字やメッセージを表示したり、静止画像や動画像等の表示を行う。
【００２１】
カメラ２３は、写真画像や動画像の撮影のための撮像素子，光学系等を有してなる。撮像制御部２２は、制御部１０からの指示の基で、カメラ２３の撮像素子の制御やオートフォーカスの制御、露出の制御等を行う。そして、カメラ２３により撮影された写真画像や動画像のデータは、データラインを介して制御部１０へ送られ、必要に応じて画像処理が施されたり、メモリ部１５に送られて保存される。
【００２２】
充電制御部２４は、バッテリ２６から供給される電力或いは充電端子２５から供給される電力を各部へ供給したり、また、充電端子２５から供給される電力をバッテリ２６へ充電するなどの、各種電力管理を行う。
【００２３】
メモリ部１５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）のような書き換え可能な記憶媒体を含み、例えば、ＯＳ（Operating System）のプログラムや制御部１０が各部を制御するための制御プログラム、各種のアプリケーションプログラム、例えば圧縮符号化された楽曲データコンテンツや動画像データコンテンツの他、各種の初期設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などをも記憶する。ＲＡＭは、制御部１０が各種のデータ処理を行う際の作業領域として、随時データを格納する。
【００２４】
ここで、図１の例では、上記メモリ部１５が有する格納領域のうち、プログラム格納領域３１，電話帳格納領域３２，履歴格納領域３３，写真データ格納領域３４，動画データ格納領域３５，インデックス・テンプレート画像格納領域３６，電子メールデータ格納領域３７を図示している。
【００２５】
上記プログラム格納領域３１には、上記制御プログラムやアプリケーションプログラムが格納され、本実施形態では特に後述するような写真・動画の管理を制御部１０が実行するための画像情報管理プログラムが格納されている。
【００２６】
上記電話帳格納領域３２には、本実施形態の携帯電話端末に登録されている電話帳（アドレス帳）のデータが格納される。
【００２７】
上記履歴格納領域３３には、通話履歴や電子メールの送受信履歴、いわゆるウェブ（Ｗｅｂ）接続やウェブへのデータアップロード，ダウンロードのウェブ接続履歴、写真や動画の閲覧履歴、当該携帯電話端末における各種処理の実行履歴等のような、各種履歴データが格納される。なお、通話履歴には、通話相手先のアドレス情報である電話番号情報とその通話年月日の情報などが含まれる。上記電子メールの送受信履歴には、電子メールの送信・受信アドレス情報と、その電子メールの送受信年月日の情報、当該電子メールに写真や動画、後述する顔インデックス画像や同じく後述する顔テンプレート画像のデータファイルが添付されていた場合にはそれらを示す履歴情報などが含まれる。上記ウェブ接続の通信履歴には、ウェブ接続先のアドレス情報であるＵＲＬとその接続年月日の情報の他、所望の接続先ＵＲＬについて写真や動画等のデータファイルのアップロード或いはダウンロード等がなされた場合にはそれら写真や動画像等のアップロード・ダウンロードの履歴情報などが含まれる。上記写真や動画の閲覧履歴には、それら写真・動画を以前に画面表示してユーザが閲覧した時の閲覧年月日、閲覧時間、閲覧回数などの履歴情報が含まれる。携帯電話端末における各種処理の実行履歴としては、写真や動画が表示部１４に画面表示されることによるユーザの閲覧履歴や、電話帳の内容が画面表示されることによるユーザの閲覧履歴、通話の発着信履歴が画面表示されることによるユーザの閲覧履歴、電子メールの送受信履歴が画面表示されることによるユーザの閲覧履歴などが含まれる。本実施形態では、特に写真・動画に関する履歴である、上記写真や動画の閲覧履歴、写真・動画ファイルのメール送信履歴、写真・動画ファイルをアップロード／ダウンロードした時のウェブ接続履歴などを、まとめて写真・動画等の画像の利用履歴と呼んでいる。
【００２８】
上記写真データ格納領域３４には、カメラ２３により撮影された静止画像データ、電子メールやウェブを通じて取得した静止画像データ、外部コネクタや外部メモリ等を通じて取得した静止画像データが格納される。同様に、動画像データ格納領域３５には、カメラ２３により撮影された静止画像データ、電子メールやウェブを通じて取得した静止画像データ、外部コネクタや外部メモリ等を通じて取得した静止画像データが格納される。
【００２９】
上記電子メールデータ格納領域３７には、本実施形態の携帯電話端末にて作成されたり、送受信された電子メールデータが格納される。なお、送受信された電子メールに写真や動画、後述する顔インデックス画像や顔テンプレートデータなどのファイルが添付されていた場合には、それらのファイルも当該電子メール画像格納領域３７に格納される。
【００３０】
インデックス・テンプレート画像格納領域３６には、後述するように、写真や動画から顔認識等により抽出された顔画像から生成される顔インデックス画像データや顔テンプレート画像のデータが格納される。特に本実施形態の場合、それら顔インデックス画像や顔テンプレート画像の基になる写真や動画データが、上記写真データ格納領域３４や動画データ格納領域３５に存在する場合には、それら顔インデックス画像，顔テンプレート画像と写真，動画データの関連付けを表す情報、すなわち例えば、顔インデックス画像，顔テンプレート画像の基になる写真，動画データの格納アドレスなどの情報も、上記インデックス・テンプレート画像格納領域３６等に格納される。また本実施形態において、顔インデックス画像や顔テンプレート画像は、電話帳の各登録情報とも関連付け可能となされている。それら顔インデックス画像，顔テンプレート画像と電話帳の登録情報とが関連付けられている場合、当該関連付け情報は、例えば、顔インデックス画像，顔テンプレート画像データの格納アドレス情報として、例えば電話帳格納領域３２内の各登録情報に関連付けられて格納される。
【００３１】
制御部１０は、ＣＰＵ（中央処理ユニット）からなり、通信回路１１における通信の制御、音声信号処理、画像信号処理、その他各種信号処理や各部の制御等を行う。また、制御部１０は、メモリ部１５に蓄積されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理等を行う。
【００３２】
特に本実施形態の場合、制御部１０は、メモリ部１５のプログラム格納領域３１に格納されている画像情報管理プログラムを実行することにより、以下に述べる、インデックス・テンプレート生成機能、インデックス・テンプレート−電話帳関連付け機能、画像通信履歴管理機能、画像閲覧履歴管理機能、履歴閲覧補助機能、画像閲覧補助機能、画像通信補助機能等の各機能を実現可能となされている。
【００３３】
上記インデックス・テンプレート生成機能は、写真や動画から顔認識処理等により顔画像を抽出し、その顔画像から、図２に示すような顔インデックス画像や、図３に示すような顔テンプレート画像を生成し、それらをメモリ部１５のインデックス・テンプレート画像格納領域３６に格納する機能である。なお、図２には複数の顔インデックス画像例を示しており、図３は写真から生成された顔テンプレート画像の一例を示している。特に、顔テンプレート画像とは、例えば人の顔画像のマッチングに利用される例えば１６×１６ピクセル程度のグレースケール画像であり、人物の顔写真から作成することができる。また、人の顔画像のマッチングは、顔テンプレート画像と、或る人物の顔画像を抽出したい写真や動画との間で相関を計算し、それら写真や動画から高い相関値が得られた画像領域を、当該人物の顔画像の領域と判断するような処理である。これにより、顔テンプレート画像を用いて、写真や動画から、特定の人物の顔の画像領域を検出することが可能となる。また例えばユーザ自身の顔テンプレート画像は、例えば異なる髪型の顔画像などから複数生成して保存しておくこともでき、このようにすることで、顔画像の検出精度を高めることが可能となる。
【００３４】
上記インデックス・テンプレート−電話帳関連付け機能は、上記インデックス・テンプレート生成機能にて生成された顔インデックス画像や顔テンプレート画像を、電話帳格納部３２内の電話帳の各登録情報に関連付けて登録する機能である。図４には、複数の顔インデックス画像と、電話帳の各登録情報との関連付け登録例を示している。すなわちこの図４の例では、電話帳に友人ｆ，友人ａ，友人ｅが登録されている場合において、友人ｆの電話帳登録情報とその友人ｆの顔インデックス画像Ｆとが関連付けられ、同様に、友人ａの電話帳登録情報と当該友人ａの顔インデックス画像Ａとが、友人ｅの電話帳登録情報と当該友人ｅの顔インデックス画像Ｅとが関連付けられている様子を示している。
【００３５】
上記画像通信履歴管理機能は、写真や動画が、電子メールに添付されて送受信されたかどうかの通信履歴情報とその際のメールアドレス情報や、ウェブに対するアップロードやダウンロードがなされたかどうかの通信履歴情報とそのＵＲＬ情報（アドレス情報）を、メモリ部１５の通信履歴格納領域３３に格納して管理する機能である。
【００３６】
上記画像閲覧履歴管理機能は、写真や動画が、表示部１４の画面上に表示されてユーザが閲覧したかどうかの閲覧履歴情報を、メモリ部１５の履歴格納部３３に格納して管理する機能である。
【００３７】
上記履歴閲覧補助機能は、例えば、電話帳や、通話の発着信履歴、電子メールの送受信履歴等が表示部１４の画面上に表示され、ユーザがそれらを閲覧しているような場合において、それら履歴として表示されている電話番号や電子メールアドレスに関連した写真や動画が保存されている時、それら写真や動画の存在をユーザに通知して、それらをユーザが選択して閲覧できるように補助する機能である。例えば、通話発着信履歴の電話番号や電子メール送受信履歴のメールアドレスにて特定される人物等について関連付けられている写真や動画が、メモリ部１５の写真データ格納領域３４，動画データ格納領域３５に格納されているような場合、それらの存在をユーザに通知し、それらをユーザが選択して閲覧できるようにする。特にその際、履歴閲覧補助機能は、ユーザが未だ閲覧していない写真や動画が存在する場合には、例えば図５に示すように、携帯電話端末１の表示部１４の画面４上で、それらを優先的にユーザへ通知することも行う。なお、図５は、例えば通話の発着信履歴が表示されている画面２において、或る発着信履歴ｒ１で表される通信相手先の人物に関連付けされた写真や動画が、本実施形態の携帯電話端末のユーザにより未だ閲覧されていない場合の一表示例を示している。このような場合、当該履歴閲覧補助機能では、その発着信履歴ｒ１の表示領域の近傍に、ポップアップ画像Ｐ１を表示し、ユーザに対して写真や動画の閲覧を行うかを問うようにする。そして、ユーザから例えば閲覧を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて閲覧指示の入力がなされた）場合、当該履歴閲覧補助機能は、上記発着信履歴ｒ１で表される通信相手先の人物に関連付けされた写真や動画を表示させる。
【００３８】
上記画像通信補助機能は、例えば写真や動画が表示部１４の画面２上に表示され、ユーザがそれらを閲覧しているような場合に、それら写真や動画が以前に電子メール送信されたり、それらファイルがアップロードされた時のウェブ上のＵＲＬが以前に別のユーザ端末等へ通知されたかどうかを判断する。そして、画像通信補助機能は、上記写真や動画が以前に電子メール送信されたり、それらファイルのアップロード先ＵＲＬが別の端末等へ通知されたりしていない場合、例えば図６に示すように、表示部１４の画面２上に選択メニューを表示させて、それら写真や動画を簡単な操作でメールに添付したりすることや、ウェブのアップロード先ＵＲＬを簡単な操作でメール通知することを行う。なお、図６は、例えば電子メールの作成送信画面において、或る送信先メールアドレスＭに関連付けされた写真や動画が、未だメール添付されて送信されていないような場合、或いは、写真や動画をウェブ上にアップロードした時のＵＲＬを未だメール等で知らせていないような場合の一表示例を示している。この図６の例の場合、当該画像通信補助機能では、そのメールアドレスＭを指し示すポップアップ画像Ｐ２を表示し、ユーザに対して写真や動画の確認と、メール添付による送信或いはアップロード先のＵＲＬ送信を行うかを問うようにする。そして、ユーザから例えば写真や動画の確認（「見る」）を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて確認指示の入力がなされた）場合、当該画像通信補助機能は、上記メールアドレスに関連付けされた写真や動画を表示させる。また、ユーザから例えば写真や動画の送信（「送る」）を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて確認指示の入力がなされた）場合、当該画像通信補助機能は、上記メールアドレスに関連付けされた写真や動画のデータファイルを、当該電子メールに自動的に添付する。なお、この時、写真や動画のデータファイルの大きさが、電子メールで送信可能なサイズを超えているような場合には、電子メール送信可能なサイズに自動変更することも行う。
【００３９】
上記画像閲覧補助機能は、例えば、写真や動画の画像が表示部１４の画面２上に表示され、ユーザがそれを閲覧しているような場合において、当該写真や動画内に含まれる顔インデックス画像に関連付けた例えばメールアドレスに対して、それら写真や動画のデータファイルが以前にメール添付にて送信されたか、或いは、それらファイルがアップロードされた時のウェブ上のＵＲＬが以前に通知されたかどうかを判断する。そして、画像閲覧補助機能は、上記写真や動画が以前に電子メール送信されたり、それらファイルのアップロード先ＵＲＬが別の端末等へ通知されたりしていない場合、例えば図７に示すように、写真や動画の画像Ｖが表示されている画面２上に、それら写真や動画を簡単な操作でメールに添付したりすることや、ウェブのアップロード先ＵＲＬを簡単な操作でメール通知するための表示を行う。なお、図７は、写真や動画の画像Ｖの閲覧画面において、当該画像Ｖ内の顔画像に関連付けされた電子メールアドレスに、それら写真や動画のデータファイルが未だメール添付にて送信されていないような場合、或いは、それら写真や動画をウェブ上にアップロードした時のＵＲＬを未だメール等で知らせていないような場合の一表示例を示している。この図７の例の場合、当該画像閲覧補助機能では、それら写真や動画を指し示すポップアップ画像Ｐ３を表示し、ユーザに対してそれら写真や動画のデータファイルをメール添付により送信するか、或いはアップロード先のＵＲＬ送信を行うかを問うようにする。そして、ユーザから、当該写真や動画の画像内に含まれる全ての顔画像に関連付けられた全メールアドレスに宛ててその写真等のデータファイル或いはそのアップデート先ＵＲＬを一斉送信するか、若しくは、各顔画像に関連付けられた各メールアドレスに宛てて個別にデータファイル或いはそのアップデート先ＵＲＬを送信する旨の指示がなされた場合、当該画像閲覧補助機能は、上記顔画像に関連付けられたメールアドレスに宛てて、上記写真や動画のデータファイル若しくはそのアップロード先ＵＲＬを、一斉若しくは個別にメール送信する。
【００４０】
その他、制御部１０は、復号等の所定の音声処理により生成した音声データを上記スピーカ２０へ送る処理や、マイクロホン２１から供給された音声データの符号化等の所定の音声処理も行う。また、制御部１０は、表示部１４に画面表示される文字、記号、画像、各種のユーザインターフェース画像、ウェブページの画像等の生成も行う。
【００４１】
さらに、図１には図示を省略しているが、本実施形態の携帯電話端末は、キー照明や着信ライト用などのＬＥＤ（発光ダイオード）とその駆動部、いわゆるブルートゥース方式（Bluetooth：登録商標）やＵＷＢ（Ultra Wide Band）方式、無線ＬＡＮ（Local Area Network）などによる近距離無線通信を行うための近距離無線通信部、非接触ＩＣカード機能とリーダライタ機能とを備えた非接触通信処理部、ＧＰＳ（Global Positioning System）通信部、外部メモリ用スロット、デジタル放送の受信チューナ部とＡＶコーデック部、タイマ（時計部）など、一般的な携帯電話端末に設けられる各構成要素についても備えている。
【００４２】
［顔インデックス画像の生成処理］
図８には本実施形態の携帯電話端末において、写真や動画の画像から顔インデックス画像を生成する場合の処理の流れを示す。なお、この図８のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００４３】
この図８において、画像情報管理プログラムの実行により顔インデックス画像を生成する処理を行う場合、制御部１０は、先ずステップＳ１の処理として、写真データ格納領域３４，動画データ格納領域３５に予め記録されている写真・動画のデータファイルが存在するかどうかを確認する。そして、記録されている写真・動画ファイルがある場合、制御部１０は、ステップＳ２へ処理を進め、無い場合はこの図８のフローチャートの処理を終了する。
【００４４】
ステップＳ２の処理に進むと、制御部１０は、上記記録された写真・動画ファイルから、それ以前に顔インデックス画像が作成されているか否かを判断する。そして、制御部１０は、顔インデックス画像が作成されていない写真・動画ファイルがあれば、ステップＳ３へ処理を進め、一方、全ての写真・動画ファイルについて既に顔インデックス画像が作成されている場合にはこの図８のフローチャートの処理を終了する。
【００４５】
ステップＳ３の処理に進むと、制御部１０は、未だ顔インデックス画像が作成されていない写真・動画の画像の中から、顔認識技術を用いて顔画像の領域を抽出し、その抽出した顔画像を顔インデックス画像として作成する。また、この時、制御部１０は、顔インデックス画像から顔テンプレート画像を生成し、それら顔インデックス画像と顔テンプレート画像の対応付けておく。その後、制御部１０は、ステップＳ４へ処理を進める。
【００４６】
ステップＳ４の処理に進むと、制御部１０は、上記ステップＳ３で作成した顔インデックス画像と、予め電話帳に登録されている個人の顔画像とを照合する。この時の顔画像の照合は、上記作成された顔インデックス画像に対応した顔テンプレート画像と、予め電話帳に登録されている個人の顔画像とのマッチングにより行うこともできる。そして、当該ステップＳ４による顔画像の照合により同一人物と判断した場合、制御部１０は、上記ステップＳ３で作成した顔インデックス画像と、上記電話帳の情報とを関連付ける。このステップＳ４の処理後、制御１０は、ステップＳ２へ処理を戻し、他の写真・動画ファイルで顔インデックス画像を作成する必要があるかを判断する。
【００４７】
［電話帳や履歴閲覧時の画像情報管理処理］
図９には本実施形態の携帯電話端末において、電話帳や発着信履歴、メール送受信履歴が閲覧されている時の画像情報管理処理のフローチャートを示す。なお、この図９のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００４８】
この図９において、電話帳や履歴の閲覧がなされている場合、制御部１０は、先ずステップＳ１１の処理として、閲覧されている電話帳や、発着信履歴、メール送受信履歴に、顔インデックス画像によって関連付けられた写真や動画ファイルがあるかどうかを判断する。そして、制御部１０は、関連する写真・動画ファイルがある場合にはステップＳ１２へ処理を進め、一方、無い場合にはこの図９のフローチャートの処理を終了する。
【００４９】
ステップＳ１２の処理に進むと、制御部１０は、現在の携帯電話端末１の設定が、上記関連する写真・動画ファイルのうち現時点で閲覧されいない写真・動画ファイルのみを表示するという設定になっているかどうかを判断する。そして、制御部１０は、閲覧されていない写真・動画ファイルのみを表示する設定になっている場合には、ステップＳ１３へ処理を進め、一方、設定されていない場合はステップＳ１４へ処理を進める。
【００５０】
ステップＳ１３の処理に進むと、制御部１０は、上記関連する写真・動画ファイルのうち現時点で閲覧されていない写真・動画ファイルがある場合にはステップＳ１４へ処理を進め、一方、無い場合にはこの図９のフローチャートの処理を終了する。
【００５１】
上記ステップＳ１３からステップＳ１４の処理に進むと、制御部１０は、上記閲覧されていない写真・動画ファイルが有ることをポップアップ表示などによりユーザへ提示する。一方、ステップＳ１３を経由せずにステップＳ１２からステップＳ１４の処理に進んだ場合、制御部１０は、予め設定された優先度に基づいて、上記関連する写真・動画ファイルがあることをポップアップ表示などによりユーザへ提示する。このステップＳ１４の処理後、制御部１０は、ステップＳ１５へ処理を進める。
【００５２】
ステップＳ１５の処理に進むと、制御部１０は、上記ポップアップ表示をユーザが選択したか否か判断し、選択された場合にはステップＳ１６へ処理を進め、一方、選択されなかった場合にはこの図９のフローチャートの処理を終了する。
【００５３】
ステップＳ１６の処理に進んだ場合、制御部１０は、上記選択された写真・動画の画像を画面上に表示させてユーザに見せる。
【００５４】
［電子メール作成時の画像情報管理処理］
図１０には本実施形態の携帯電話端末において、電子メール作成時における画像情報管理処理のフローチャートを示す。なお、この図１０のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００５５】
この図１０において、電子メールの作成が行われている時、制御部１０は、ステップＳ２１の処理として、当該電子メールの作成画面においてユーザから入力（或いは電話帳から選択）された送信先メールアドレスについて、顔インデックス画像によって関連付けられた写真／動画ファイルがあるかどうかを判断する。そして、制御部１０は、関連する写真・動画ファイルがある場合にはステップＳ２２へ処理を進め、無い場合にはこの図１０のフローチャートの処理を終了する。
【００５６】
ステップＳ２２の処理に進むと、制御部１０は、上記関連する写真・動画ファイルのうち未だ電子メール送信がなされていない写真・動画ファイルのみを表示するという設定になっているかどうかを判断する。そして、制御部１０は、メール送信されていない写真・動画ファイルのみを表示する設定になっている場合には、ステップＳ２３へ処理を進め、一方、設定されていない場合はステップＳ２４へ処理を進める。
【００５７】
ステップＳ２３の処理に進むと、制御部１０は、上記メール送信されていない写真・動画ファイルがある場合にはステップＳ２４へ処理を進め、一方、無い場合にはこの図１０のフローチャートの処理を終了する。
【００５８】
上記ステップＳ２３からステップＳ２４の処理に進むと、制御部１０は、上記メール送信されていない写真・動画ファイルが有ることをポップアップ表示などによりユーザへ提示する。一方、ステップＳ２３を経由せずにステップＳ２２からステップＳ２４の処理に進んだ場合、制御部１０は、予め設定された優先度に基づいて、上記関連する写真・動画ファイルがあることをポップアップ表示などによりユーザへ提示する。このステップＳ２４の処理後、制御部１０は、ステップＳ２５へ処理を進める。
【００５９】
ステップＳ２５の処理に進むと、制御部１０は、上記ポップアップ表示のメニューにおいてユーザが送信を選択した場合には、ステップＳ２６へ処理を進め、一方、ユーザにより選択されなかった場合にはこの図９のフローチャートの処理を終了する。
【００６０】
ステップＳ２６の処理に進んだ場合、制御部１０は、上記関連する写真・動画ファイルがウェブ上にアップロード済みかどうかを判断する。そして、制御部１０は、アップロード済みである場合には、ステップＳ２７へ処理を進め、未だアップロードされていない場合はステップＳ３０へ処理を進める。
【００６１】
ステップＳ２７の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬのみを通知するかをユーザに問う選択肢を表示させた後、ステップＳ２８へ処理を進める。
【００６２】
ステップＳ２８の処理に進むと、制御部１０は、ユーザによりＵＲＬのみの通知が選択されたか否か判断し、当該選択がなされた場合にはステップＳ２９へ処理を進め、一方、選択されなかった場合にはステップＳ３０へ処理を進める。
【００６３】
ステップＳ２９の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬをメール本文に含めて、この図９のフローチャートの処理を終了する。
【００６４】
また、ステップＳ３０の処理に進んだ場合、制御部１０は、上記関連する写真・動画ファイルをメールに添付し、この図９のフローチャートの処理を終了する。
【００６５】
［顔インデックス画像により電話帳の登録者と関連付けられた写真・動画の閲覧時の画像情報管理処理］
図１１及び図１２には、本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理のフローチャートを示す。なお、これら図１１、図１２のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００６６】
この図１１において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の電子メールの作成が行われている時、制御部１０は、ステップＳ４１の処理として、上記閲覧されている写真・動画の画像サイズが、予め設定された閾値以上か或いは閾値未満かを判断する。そして、制御部１０は、閾値以上であると判断した場合にはステップＳ４２へ処理を進め、閾値未満であると判断した場合は図１２のステップＳ５２へ処理を進める。
【００６７】
ステップＳ４２の処理に進むと、制御部１０は、閲覧している写真・動画ファイルがウェブにアップロードされた履歴があるか否かを判断する。そして、制御部１０は、アップロードされた履歴がある場合にはステップＳ４３へ処理を進め、一方、アップロードの履歴が無い場合にはステップＳ４４へ処理を進める。
【００６８】
ステップＳ４３の処理に進むと、制御部１０は、閲覧がなされている写真・動画ファイルに写っている人物画像の顔認識により、それら人物全てに対して上記アップロード先のＵＲＬを通知済みであるかどうか判断する。そして、制御部１０は、全ての人に通知済みである場合にはこのフローチャートの処理を終了し、一方、通知していない人が存在する場合にはステップＳ４７へ処理を進める。
【００６９】
また、ステップＳ４４の処理に進んだ場合、制御部１０は、閲覧がなされている写真・動画ファイルをウェブにアップロードするかどうかのメニューを表示した後、ステップＳ４５へ処理を進める。
【００７０】
ステップＳ４５の処理に進むと、制御部１０は、ユーザが上記表示メニューを通じてアップロードすることを選択した場合には、ステップＳ４６へ処理を進め、一方、ユーザが選択しなかった場合にはこのフローチャートの処理を終了する。
【００７１】
ステップＳ４６の処理に進んだ場合、制御部１０は、上記アップロードされていない写真・動画ファイルをウェブ上にアップロードする。また、この時、制御部１０は、当該アップロード先のＵＲＬを、上記写真・動画ファイルと関連付けてメモリ部１５に保存し、ステップＳ４７へ処理を進める。
【００７２】
ステップＳ４７の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬを電子メールで通知するか否かをユーザに問う選択メニューを表示し、ステップＳ４８へ処理を進める。
【００７３】
ステップＳ４８の処理に進むと、制御部１０は、ユーザが通知することを選択した場合にはステップＳ４９へ処理を進め、一方、ユーザにより選択されなかった場合はこのフローチャートの処理を終了する。
【００７４】
ステップＳ４９の処理に進むと、制御部１０は、上記アップロード先のＵＲＬをメール本文に自動的に入力した状態のメール編集画面を表示させ、ステップＳ５０へ処理を進める。
【００７５】
ステップＳ５０の処理に進むと、制御部１０は、ユーザによりメールが編集された後に送信指示がなされるのを待ち、メール編集後に送信指示が入力されるとステップＳ５１へ進み、一方、メール編集後送信指示がなされることなく終了指示が入力された場合にはこのフローチャートの処理を終了する。
【００７６】
ステップＳ５１の処理に進むと、制御部１０は、上記メールを送信してこのフローチャートの処理を終了する。
【００７７】
また、図１２のステップＳ５２の処理に進んだ場合、制御部１０は、上記閲覧がなされている写真・動画ファイルが、それ以前に電子メール添付されて送信された履歴があるか判断する。そして、制御部１０は、当該送信履歴がある場合にはステップＳ５３へ処理を進め、送信履歴が無い場合にはステップＳ５４へ処理を進める。
【００７８】
ステップＳ５３の処理に進んだ場合、制御部１０は、上記閲覧がなされている写真・動画ファイルに写っている人物画像から顔認識により得られる人物全てに対して当該写真・動画ファイルを送信済みであるかどうか判断する。そして、制御部１０は、それら全ての人に対して送信済みである場合はこのフローチャートの処理を終了し、一方、未だ送信していない人が存在する場合にはステップＳ５４へ処理を進める。
【００７９】
ステップＳ５４の処理に進むと、制御部１０は、上記閲覧がなされている写真・動画ファイルを、電子メールに添付し、その写真・動画から得られる顔インデックス画像に関連付けられたメールアドレスへ送信するかどうかのメニューを表示する。
【００８０】
次に、制御部１０は、ステップＳ５５へ処理を進め、上記ファイルが添付された電子メールの送信をユーザが選択したか否か判断し、当該送信が選択された場合にはステップＳ５６へ処理を進め、送信が選択されなかった場合はこのフローチャートの処理を終了する。
【００８１】
ステップＳ５６の処理に進むと、制御部１０は、上記写真・動画ファイルが添付された状態の電子メールのメール編集画面を表示し、ステップＳ５７へ処理を進める。
【００８２】
ステップＳ５７の処理に進むと、制御部１０は、ユーザによりメールが編集された後に送信指示がなされるのを待ち、メール編集後に送信指示が入力されるとステップＳ５８へ進み、一方、メール編集後送信指示がなされることなく終了指示が入力された場合にはこのフローチャートの処理を終了する。
【００８３】
ステップＳ５８の処理に進むと、制御部１０は、上記メールを送信してこのフローチャートの処理を終了する。
【００８４】
［まとめ］
以上説明したように、本発明実施形態によれば、電話帳情報と関連付けられた顔インデックス画像を作成することができ、煩わしい操作無しで発着信履歴やメールの送受信履歴から、その人物に関連付けられた写真や動画を直ぐに閲覧することが可能となる。これにより、例えば或る人物の話題が出たときなどに、直ぐに写真や動画を閲覧し、その時の情景等を思い出したり、その写真や動画を他の人に見せたりして紹介するようなことが非常に簡単にできるようになる。
【００８５】
また、本発明実施形態によれば、人が写っている写真や動画を、メールに添付したり、ウェブにアップロードしたりする場合に、写真・動画ファイルを開いて誰が写っていたかをその都度確認せずに済むため、ユーザは思い立ったら直ぐに写真や動画を友人と共有することができるようになる。
【００８６】
また、本発明実施形態によれば、写真や動画に写っている人に対して、その写真・動画をメール添付により送ったかどうかや、ウェブへのアップロードにより共有可能としたかどうかを、ユーザは直ぐに知ることができるため、例えば或る人にだけ送り忘れてしまうようなことがなくなる。
【００８７】
さらに、本発明実施形態によれば、顔画像から顔テンプレート画像を生成し端末内に保存したり、例えば他者端末との間でアドレス交換するときなどに、自分の端末に保存してある顔テンプレート画像も含めて送信しておくようにすれば、その人が撮影した写真・動画ファイルから自分の顔を簡単に検出してもらえるようになる。同様に、友人からアドレス情報を取得する際にも、相手側から顔テンプレート画像を含めて取得しておけば、自分の端末において写真・動画ファイルを撮影した場合にその友人の顔を簡単に検出できるようになる。このように、友人などとの間で、顔テンプレート画像を共有しておけば、互いに友人の顔を簡単に検出できるようになり、顔テンプレート画像の再利用性をアップさせることが可能となる。
【００８８】
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。例えば、上述の実施形態では、携帯電話端末を例に挙げたが、他の携帯情報端末にももちろん本発明は適用可能である。
【符号の説明】
【００８９】
１ 携帯電話端末、２ 表示画面、１０ 制御部、１１ 通信回路、１２ 通信アンテナ、１３ 操作部、１４ 表示部、１５ メモリ部、２０ スピーカ、２１ マイクロホン、２２ 撮像制御部、２３ カメラ、２４ 充電制御部、２５ 充電端子、２６ バッテリ、３１ プログラム格納領域、３２ 電話帳格納領域、３３ 履歴格納領域、３４ 写真データ格納領域、３５ 動画データ格納領域、３６ インデックス・テンプレート画像格納領域、３７ 電子メールデータ格納領域
【技術分野】
【０００１】
本発明は、例えば携帯電話端末のように、電話帳（アドレス帳）情報や発着信履歴の保持、電子メールの送受信、写真・動画の閲覧等の様々な機能を備えた携帯情報端末と、その携帯情報端末において写真や動画を管理する際の画像情報管理方法、及び、画像情報管理プログラムに関する。
【背景技術】
【０００２】
近年、携帯情報端末の代表例である携帯電話端末は、写真や動画の撮影機能が向上してきており、搭載されているメモリ容量も増加している。このため、当該携帯電話端末による写真，動画等の撮影が気軽に行えるようになり、また、それに伴って端末内に保存される写真の枚数や動画の量も増えている。
【０００３】
一方、最近のデジタルスチルカメラやデジタルビデオカメラでは、ビューファインダ上に映し出されている撮影画像から、顔認識技術を用いて顔画像を検出し、例えば、その顔画像へフォーカスを合わせたり、笑顔を検出して自動撮影を行う等の機能を搭載している。また特に、デジタルビデオカメラには、顔認識技術を用いることにより、録画後の動画の中から顔画像を認識し、例えば、その認識した顔画像から顔インデックス画像を作成したり、録画されている複数の動画の中から所望の顔画像が含まれている動画を選択的に取り出して閲覧可能とするような機能を備えた機種もある。
【０００４】
その他、撮影済みの写真画像等を利用する技術として、例えば特開２００５−２６７１４６号の公開特許公報（特許文献１）には、アドレス帳メモリ内にメールアドレスと対応付けられて格納された被写体画像と、集合写真画像に写っている被写体画像部分とを比較し、一致した被写体画像に対応したメールアドレスに宛てた電子メールを作成送信する技術が開示されている。この特許文献１に記載の技術によれば、送信先のメールアドレスが多い場合でも、簡単に所望のアドレスを選び出してそのアドレスに宛てた電子メールを作成送信することが可能となっている。
【０００５】
さらに、撮影済みの写真画像等を利用する技術として、特開２００８−５４７０号の公開特許公報（特許文献２）には、静止画像から抽出した顔画像と電話帳の登録顔画像が一致した時、その静止画像内の人物顔画像と、電話帳の登録人物の電話番号やメールアドレス等とをリンク付けしておく技術が開示されている。そして、この特許文献２に記載の技術では、表示された静止画像から所望の人物が選択されると、その人物の顔画像にリンクされた電話番号へ自動発信したり、その電子メールアドレスが入力されたメール作成画面を表示する。この特許文献２に記載の技術によれば、静止画像上の人物の選択という操作により、電話発信或いは電子メールの送信が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６７１４６号公報（図１）
【特許文献２】特開２００８−５４７０号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のように携帯電話端末等の携帯情報端末において撮影された多数の写真や動画は、単に保存されているだけの状態になっていることが多く、有効に活用されているとは言い難い。このため、それら写真や動画を有効に利用できるようにすることが望まれている。特に、携帯情報端末の代表例である携帯電話端末において、閲覧，共有機能を向上させることによる写真や動画の有効活用や、顔認識技術を利用することによる写真，動画の有効活用が望まれている。
【０００８】
本発明は、このような実情に鑑みて提案されたものであり、撮影されて保存されている写真や動画の有効活用を可能とする携帯情報端末、画像情報管理方法、及び、画像情報管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の携帯情報端末は、撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出部と、当該抽出した顔画像を抽出元画像と対応付けて保存する顔情報保存部と、当該抽出された顔情報をアドレス情報と関連付けて保存するアドレス関連付け保存部と、画像の利用履歴とアドレス情報を通じた画像の利用履歴の情報を保存する利用履歴保存部とを有する。さらに、携帯情報端末は、画像を使用する際には、当該画像の利用履歴と、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴とを基に、当該画像の未利用状況、若しくは、アドレス情報を通じた当該画像の未利用状況を利用者に通知し、また、アドレス情報を使用する際には、当該アドレス情報に関連付けられた顔情報に対応する画像の利用履歴を基に、当該アドレス情報を通じた画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御部を有する。これにより、本発明は上述した課題を解決する。
【００１０】
すなわち、本発明によれば、画像やアドレス情報を使用する際には、画像の利用履歴、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴、そのアドレス情報に関連付けられた顔情報に対応した画像の利用履歴を基に、当該画像の未利用状況、アドレス情報を通じた当該画像の未利用状況等を利用者に通知する。これにより、本発明によれば、利用されていない画像の利用を促進することができるようになる。
【発明の効果】
【００１１】
本発明においては、画像やアドレス情報を使用する際には、画像の利用履歴、その画像に対応した顔情報に関連付けられたアドレス情報の利用履歴、そのアドレス情報に関連付けられた顔情報に対応した画像の利用履歴を基に、当該画像の未利用状況、若しくは、アドレス情報を通じた当該画像の未利用状況を利用者に通知することにより、撮影されて保存されている未利用の写真や動画の有効活用が可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明実施形態の携帯電話端末の概略的な内部構成例を示すブロック図である。
【図２】顔インデックス画像の一例を示す図である。
【図３】顔テンプレート画像の一例を示す図である。
【図４】顔インデックス画像と電話帳の関連付けの説明に用いる図である。
【図５】通話の発着信履歴が表示されている画面において、或る発着信履歴で表される通信相手先の人物に関連付けされた写真や動画が未だ閲覧されていない場合の一表示例を示す図である。
【図６】電子メールの作成送信画面において、或る送信先メールアドレスに関連付けされた写真や動画が、未だメール添付されていない場合、或いは、アップロード先ＵＲＬを未だ知らせていない場合の一表示例を示す図である。
【図７】写真や動画の閲覧画面に、その画像内の顔画像に関連付けされた電子メールアドレスに、写真や動画のデータファイルが未だメール添付で送信されていない場合、或いは、アップロード先ＵＲＬを未だ知らせていない場合の一表示例を示す図である。
【図８】本実施形態の携帯電話端末において、写真や動画の画像から顔インデックス画像を生成する場合の処理の流れを示すフローチャートである。
【図９】本実施形態の携帯電話端末において、電話帳や発着信履歴、メール送受信履歴が閲覧されている時の画像情報管理処理のフローチャートである。
【図１０】本実施形態の携帯電話端末において、電子メール作成時における画像情報管理処理のフローチャートである。
【図１１】本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理であり、写真・動画のサイズが閾値以上である場合の処理を示すフローチャートである。
【図１２】本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理であり、写真・動画のサイズが閾値未満である場合の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１４】
なお、本発明が適用される一例として、本実施形態では、静画像（写真），動画像を撮影可能なカメラ機能付き携帯電話端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
【００１５】
［携帯電話端末の概略構成］
図１には、本実施形態の携帯電話端末の概略的な内部構成例を示す。
【００１６】
図１において、通信アンテナ１２は、例えば内蔵アンテナであり、通話や電子メール等のパケット通信のための信号電波の送受信を行う。通信回路１１は、送受信信号の周波数変換、変調と復調等を行う。
【００１７】
スピーカ２０は、携帯電話端末に設けられている受話用のスピーカや、リンガ（着信音）、アラーム音、警告音、再生音楽、デジタル音声、再生動画像の音声等の出力用スピーカからなり、制御部１０から供給されたデジタル音声データを、デジタル／アナログ変換した後に増幅し、その増幅後の音声信号を音響波に変換して空気中へ出力する。
【００１８】
マイクロホン２１は、送話用及び外部音声集音用のマイクロホンであり、音響波を音声信号に変換し、その入力音声信号を増幅及びアナログ／デジタル変換し、そのアナログ／デジタル変換後の音声データを制御部１０へ送る。
【００１９】
操作部１３は、本実施形態の携帯電話端末の図示しない筐体上に設けられているテンキーや発話キー、終話／電源キー等の各キーや十字キー，ジョグダイヤル等の各操作子と、それら操作子が操作された時の操作信号を発生する操作信号発生器とからなる。
【００２０】
表示部１４は、例えば液晶ディスプレイや有機ＥＬ（ElectroLuminescent）ディスプレイ等の表示デバイスと、そのディスプレイの表示駆動回路とを含み、制御部１０から供給された画像信号により、上記ディスプレイ上に例えば電子メール等の各種文字やメッセージを表示したり、静止画像や動画像等の表示を行う。
【００２１】
カメラ２３は、写真画像や動画像の撮影のための撮像素子，光学系等を有してなる。撮像制御部２２は、制御部１０からの指示の基で、カメラ２３の撮像素子の制御やオートフォーカスの制御、露出の制御等を行う。そして、カメラ２３により撮影された写真画像や動画像のデータは、データラインを介して制御部１０へ送られ、必要に応じて画像処理が施されたり、メモリ部１５に送られて保存される。
【００２２】
充電制御部２４は、バッテリ２６から供給される電力或いは充電端子２５から供給される電力を各部へ供給したり、また、充電端子２５から供給される電力をバッテリ２６へ充電するなどの、各種電力管理を行う。
【００２３】
メモリ部１５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）のような書き換え可能な記憶媒体を含み、例えば、ＯＳ（Operating System）のプログラムや制御部１０が各部を制御するための制御プログラム、各種のアプリケーションプログラム、例えば圧縮符号化された楽曲データコンテンツや動画像データコンテンツの他、各種の初期設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などをも記憶する。ＲＡＭは、制御部１０が各種のデータ処理を行う際の作業領域として、随時データを格納する。
【００２４】
ここで、図１の例では、上記メモリ部１５が有する格納領域のうち、プログラム格納領域３１，電話帳格納領域３２，履歴格納領域３３，写真データ格納領域３４，動画データ格納領域３５，インデックス・テンプレート画像格納領域３６，電子メールデータ格納領域３７を図示している。
【００２５】
上記プログラム格納領域３１には、上記制御プログラムやアプリケーションプログラムが格納され、本実施形態では特に後述するような写真・動画の管理を制御部１０が実行するための画像情報管理プログラムが格納されている。
【００２６】
上記電話帳格納領域３２には、本実施形態の携帯電話端末に登録されている電話帳（アドレス帳）のデータが格納される。
【００２７】
上記履歴格納領域３３には、通話履歴や電子メールの送受信履歴、いわゆるウェブ（Ｗｅｂ）接続やウェブへのデータアップロード，ダウンロードのウェブ接続履歴、写真や動画の閲覧履歴、当該携帯電話端末における各種処理の実行履歴等のような、各種履歴データが格納される。なお、通話履歴には、通話相手先のアドレス情報である電話番号情報とその通話年月日の情報などが含まれる。上記電子メールの送受信履歴には、電子メールの送信・受信アドレス情報と、その電子メールの送受信年月日の情報、当該電子メールに写真や動画、後述する顔インデックス画像や同じく後述する顔テンプレート画像のデータファイルが添付されていた場合にはそれらを示す履歴情報などが含まれる。上記ウェブ接続の通信履歴には、ウェブ接続先のアドレス情報であるＵＲＬとその接続年月日の情報の他、所望の接続先ＵＲＬについて写真や動画等のデータファイルのアップロード或いはダウンロード等がなされた場合にはそれら写真や動画像等のアップロード・ダウンロードの履歴情報などが含まれる。上記写真や動画の閲覧履歴には、それら写真・動画を以前に画面表示してユーザが閲覧した時の閲覧年月日、閲覧時間、閲覧回数などの履歴情報が含まれる。携帯電話端末における各種処理の実行履歴としては、写真や動画が表示部１４に画面表示されることによるユーザの閲覧履歴や、電話帳の内容が画面表示されることによるユーザの閲覧履歴、通話の発着信履歴が画面表示されることによるユーザの閲覧履歴、電子メールの送受信履歴が画面表示されることによるユーザの閲覧履歴などが含まれる。本実施形態では、特に写真・動画に関する履歴である、上記写真や動画の閲覧履歴、写真・動画ファイルのメール送信履歴、写真・動画ファイルをアップロード／ダウンロードした時のウェブ接続履歴などを、まとめて写真・動画等の画像の利用履歴と呼んでいる。
【００２８】
上記写真データ格納領域３４には、カメラ２３により撮影された静止画像データ、電子メールやウェブを通じて取得した静止画像データ、外部コネクタや外部メモリ等を通じて取得した静止画像データが格納される。同様に、動画像データ格納領域３５には、カメラ２３により撮影された静止画像データ、電子メールやウェブを通じて取得した静止画像データ、外部コネクタや外部メモリ等を通じて取得した静止画像データが格納される。
【００２９】
上記電子メールデータ格納領域３７には、本実施形態の携帯電話端末にて作成されたり、送受信された電子メールデータが格納される。なお、送受信された電子メールに写真や動画、後述する顔インデックス画像や顔テンプレートデータなどのファイルが添付されていた場合には、それらのファイルも当該電子メール画像格納領域３７に格納される。
【００３０】
インデックス・テンプレート画像格納領域３６には、後述するように、写真や動画から顔認識等により抽出された顔画像から生成される顔インデックス画像データや顔テンプレート画像のデータが格納される。特に本実施形態の場合、それら顔インデックス画像や顔テンプレート画像の基になる写真や動画データが、上記写真データ格納領域３４や動画データ格納領域３５に存在する場合には、それら顔インデックス画像，顔テンプレート画像と写真，動画データの関連付けを表す情報、すなわち例えば、顔インデックス画像，顔テンプレート画像の基になる写真，動画データの格納アドレスなどの情報も、上記インデックス・テンプレート画像格納領域３６等に格納される。また本実施形態において、顔インデックス画像や顔テンプレート画像は、電話帳の各登録情報とも関連付け可能となされている。それら顔インデックス画像，顔テンプレート画像と電話帳の登録情報とが関連付けられている場合、当該関連付け情報は、例えば、顔インデックス画像，顔テンプレート画像データの格納アドレス情報として、例えば電話帳格納領域３２内の各登録情報に関連付けられて格納される。
【００３１】
制御部１０は、ＣＰＵ（中央処理ユニット）からなり、通信回路１１における通信の制御、音声信号処理、画像信号処理、その他各種信号処理や各部の制御等を行う。また、制御部１０は、メモリ部１５に蓄積されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理等を行う。
【００３２】
特に本実施形態の場合、制御部１０は、メモリ部１５のプログラム格納領域３１に格納されている画像情報管理プログラムを実行することにより、以下に述べる、インデックス・テンプレート生成機能、インデックス・テンプレート−電話帳関連付け機能、画像通信履歴管理機能、画像閲覧履歴管理機能、履歴閲覧補助機能、画像閲覧補助機能、画像通信補助機能等の各機能を実現可能となされている。
【００３３】
上記インデックス・テンプレート生成機能は、写真や動画から顔認識処理等により顔画像を抽出し、その顔画像から、図２に示すような顔インデックス画像や、図３に示すような顔テンプレート画像を生成し、それらをメモリ部１５のインデックス・テンプレート画像格納領域３６に格納する機能である。なお、図２には複数の顔インデックス画像例を示しており、図３は写真から生成された顔テンプレート画像の一例を示している。特に、顔テンプレート画像とは、例えば人の顔画像のマッチングに利用される例えば１６×１６ピクセル程度のグレースケール画像であり、人物の顔写真から作成することができる。また、人の顔画像のマッチングは、顔テンプレート画像と、或る人物の顔画像を抽出したい写真や動画との間で相関を計算し、それら写真や動画から高い相関値が得られた画像領域を、当該人物の顔画像の領域と判断するような処理である。これにより、顔テンプレート画像を用いて、写真や動画から、特定の人物の顔の画像領域を検出することが可能となる。また例えばユーザ自身の顔テンプレート画像は、例えば異なる髪型の顔画像などから複数生成して保存しておくこともでき、このようにすることで、顔画像の検出精度を高めることが可能となる。
【００３４】
上記インデックス・テンプレート−電話帳関連付け機能は、上記インデックス・テンプレート生成機能にて生成された顔インデックス画像や顔テンプレート画像を、電話帳格納部３２内の電話帳の各登録情報に関連付けて登録する機能である。図４には、複数の顔インデックス画像と、電話帳の各登録情報との関連付け登録例を示している。すなわちこの図４の例では、電話帳に友人ｆ，友人ａ，友人ｅが登録されている場合において、友人ｆの電話帳登録情報とその友人ｆの顔インデックス画像Ｆとが関連付けられ、同様に、友人ａの電話帳登録情報と当該友人ａの顔インデックス画像Ａとが、友人ｅの電話帳登録情報と当該友人ｅの顔インデックス画像Ｅとが関連付けられている様子を示している。
【００３５】
上記画像通信履歴管理機能は、写真や動画が、電子メールに添付されて送受信されたかどうかの通信履歴情報とその際のメールアドレス情報や、ウェブに対するアップロードやダウンロードがなされたかどうかの通信履歴情報とそのＵＲＬ情報（アドレス情報）を、メモリ部１５の通信履歴格納領域３３に格納して管理する機能である。
【００３６】
上記画像閲覧履歴管理機能は、写真や動画が、表示部１４の画面上に表示されてユーザが閲覧したかどうかの閲覧履歴情報を、メモリ部１５の履歴格納部３３に格納して管理する機能である。
【００３７】
上記履歴閲覧補助機能は、例えば、電話帳や、通話の発着信履歴、電子メールの送受信履歴等が表示部１４の画面上に表示され、ユーザがそれらを閲覧しているような場合において、それら履歴として表示されている電話番号や電子メールアドレスに関連した写真や動画が保存されている時、それら写真や動画の存在をユーザに通知して、それらをユーザが選択して閲覧できるように補助する機能である。例えば、通話発着信履歴の電話番号や電子メール送受信履歴のメールアドレスにて特定される人物等について関連付けられている写真や動画が、メモリ部１５の写真データ格納領域３４，動画データ格納領域３５に格納されているような場合、それらの存在をユーザに通知し、それらをユーザが選択して閲覧できるようにする。特にその際、履歴閲覧補助機能は、ユーザが未だ閲覧していない写真や動画が存在する場合には、例えば図５に示すように、携帯電話端末１の表示部１４の画面４上で、それらを優先的にユーザへ通知することも行う。なお、図５は、例えば通話の発着信履歴が表示されている画面２において、或る発着信履歴ｒ１で表される通信相手先の人物に関連付けされた写真や動画が、本実施形態の携帯電話端末のユーザにより未だ閲覧されていない場合の一表示例を示している。このような場合、当該履歴閲覧補助機能では、その発着信履歴ｒ１の表示領域の近傍に、ポップアップ画像Ｐ１を表示し、ユーザに対して写真や動画の閲覧を行うかを問うようにする。そして、ユーザから例えば閲覧を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて閲覧指示の入力がなされた）場合、当該履歴閲覧補助機能は、上記発着信履歴ｒ１で表される通信相手先の人物に関連付けされた写真や動画を表示させる。
【００３８】
上記画像通信補助機能は、例えば写真や動画が表示部１４の画面２上に表示され、ユーザがそれらを閲覧しているような場合に、それら写真や動画が以前に電子メール送信されたり、それらファイルがアップロードされた時のウェブ上のＵＲＬが以前に別のユーザ端末等へ通知されたかどうかを判断する。そして、画像通信補助機能は、上記写真や動画が以前に電子メール送信されたり、それらファイルのアップロード先ＵＲＬが別の端末等へ通知されたりしていない場合、例えば図６に示すように、表示部１４の画面２上に選択メニューを表示させて、それら写真や動画を簡単な操作でメールに添付したりすることや、ウェブのアップロード先ＵＲＬを簡単な操作でメール通知することを行う。なお、図６は、例えば電子メールの作成送信画面において、或る送信先メールアドレスＭに関連付けされた写真や動画が、未だメール添付されて送信されていないような場合、或いは、写真や動画をウェブ上にアップロードした時のＵＲＬを未だメール等で知らせていないような場合の一表示例を示している。この図６の例の場合、当該画像通信補助機能では、そのメールアドレスＭを指し示すポップアップ画像Ｐ２を表示し、ユーザに対して写真や動画の確認と、メール添付による送信或いはアップロード先のＵＲＬ送信を行うかを問うようにする。そして、ユーザから例えば写真や動画の確認（「見る」）を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて確認指示の入力がなされた）場合、当該画像通信補助機能は、上記メールアドレスに関連付けされた写真や動画を表示させる。また、ユーザから例えば写真や動画の送信（「送る」）を指示する旨の入力がなされた（例えば端末上で予め割り当てられたキー等が押下されて確認指示の入力がなされた）場合、当該画像通信補助機能は、上記メールアドレスに関連付けされた写真や動画のデータファイルを、当該電子メールに自動的に添付する。なお、この時、写真や動画のデータファイルの大きさが、電子メールで送信可能なサイズを超えているような場合には、電子メール送信可能なサイズに自動変更することも行う。
【００３９】
上記画像閲覧補助機能は、例えば、写真や動画の画像が表示部１４の画面２上に表示され、ユーザがそれを閲覧しているような場合において、当該写真や動画内に含まれる顔インデックス画像に関連付けた例えばメールアドレスに対して、それら写真や動画のデータファイルが以前にメール添付にて送信されたか、或いは、それらファイルがアップロードされた時のウェブ上のＵＲＬが以前に通知されたかどうかを判断する。そして、画像閲覧補助機能は、上記写真や動画が以前に電子メール送信されたり、それらファイルのアップロード先ＵＲＬが別の端末等へ通知されたりしていない場合、例えば図７に示すように、写真や動画の画像Ｖが表示されている画面２上に、それら写真や動画を簡単な操作でメールに添付したりすることや、ウェブのアップロード先ＵＲＬを簡単な操作でメール通知するための表示を行う。なお、図７は、写真や動画の画像Ｖの閲覧画面において、当該画像Ｖ内の顔画像に関連付けされた電子メールアドレスに、それら写真や動画のデータファイルが未だメール添付にて送信されていないような場合、或いは、それら写真や動画をウェブ上にアップロードした時のＵＲＬを未だメール等で知らせていないような場合の一表示例を示している。この図７の例の場合、当該画像閲覧補助機能では、それら写真や動画を指し示すポップアップ画像Ｐ３を表示し、ユーザに対してそれら写真や動画のデータファイルをメール添付により送信するか、或いはアップロード先のＵＲＬ送信を行うかを問うようにする。そして、ユーザから、当該写真や動画の画像内に含まれる全ての顔画像に関連付けられた全メールアドレスに宛ててその写真等のデータファイル或いはそのアップデート先ＵＲＬを一斉送信するか、若しくは、各顔画像に関連付けられた各メールアドレスに宛てて個別にデータファイル或いはそのアップデート先ＵＲＬを送信する旨の指示がなされた場合、当該画像閲覧補助機能は、上記顔画像に関連付けられたメールアドレスに宛てて、上記写真や動画のデータファイル若しくはそのアップロード先ＵＲＬを、一斉若しくは個別にメール送信する。
【００４０】
その他、制御部１０は、復号等の所定の音声処理により生成した音声データを上記スピーカ２０へ送る処理や、マイクロホン２１から供給された音声データの符号化等の所定の音声処理も行う。また、制御部１０は、表示部１４に画面表示される文字、記号、画像、各種のユーザインターフェース画像、ウェブページの画像等の生成も行う。
【００４１】
さらに、図１には図示を省略しているが、本実施形態の携帯電話端末は、キー照明や着信ライト用などのＬＥＤ（発光ダイオード）とその駆動部、いわゆるブルートゥース方式（Bluetooth：登録商標）やＵＷＢ（Ultra Wide Band）方式、無線ＬＡＮ（Local Area Network）などによる近距離無線通信を行うための近距離無線通信部、非接触ＩＣカード機能とリーダライタ機能とを備えた非接触通信処理部、ＧＰＳ（Global Positioning System）通信部、外部メモリ用スロット、デジタル放送の受信チューナ部とＡＶコーデック部、タイマ（時計部）など、一般的な携帯電話端末に設けられる各構成要素についても備えている。
【００４２】
［顔インデックス画像の生成処理］
図８には本実施形態の携帯電話端末において、写真や動画の画像から顔インデックス画像を生成する場合の処理の流れを示す。なお、この図８のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００４３】
この図８において、画像情報管理プログラムの実行により顔インデックス画像を生成する処理を行う場合、制御部１０は、先ずステップＳ１の処理として、写真データ格納領域３４，動画データ格納領域３５に予め記録されている写真・動画のデータファイルが存在するかどうかを確認する。そして、記録されている写真・動画ファイルがある場合、制御部１０は、ステップＳ２へ処理を進め、無い場合はこの図８のフローチャートの処理を終了する。
【００４４】
ステップＳ２の処理に進むと、制御部１０は、上記記録された写真・動画ファイルから、それ以前に顔インデックス画像が作成されているか否かを判断する。そして、制御部１０は、顔インデックス画像が作成されていない写真・動画ファイルがあれば、ステップＳ３へ処理を進め、一方、全ての写真・動画ファイルについて既に顔インデックス画像が作成されている場合にはこの図８のフローチャートの処理を終了する。
【００４５】
ステップＳ３の処理に進むと、制御部１０は、未だ顔インデックス画像が作成されていない写真・動画の画像の中から、顔認識技術を用いて顔画像の領域を抽出し、その抽出した顔画像を顔インデックス画像として作成する。また、この時、制御部１０は、顔インデックス画像から顔テンプレート画像を生成し、それら顔インデックス画像と顔テンプレート画像の対応付けておく。その後、制御部１０は、ステップＳ４へ処理を進める。
【００４６】
ステップＳ４の処理に進むと、制御部１０は、上記ステップＳ３で作成した顔インデックス画像と、予め電話帳に登録されている個人の顔画像とを照合する。この時の顔画像の照合は、上記作成された顔インデックス画像に対応した顔テンプレート画像と、予め電話帳に登録されている個人の顔画像とのマッチングにより行うこともできる。そして、当該ステップＳ４による顔画像の照合により同一人物と判断した場合、制御部１０は、上記ステップＳ３で作成した顔インデックス画像と、上記電話帳の情報とを関連付ける。このステップＳ４の処理後、制御１０は、ステップＳ２へ処理を戻し、他の写真・動画ファイルで顔インデックス画像を作成する必要があるかを判断する。
【００４７】
［電話帳や履歴閲覧時の画像情報管理処理］
図９には本実施形態の携帯電話端末において、電話帳や発着信履歴、メール送受信履歴が閲覧されている時の画像情報管理処理のフローチャートを示す。なお、この図９のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００４８】
この図９において、電話帳や履歴の閲覧がなされている場合、制御部１０は、先ずステップＳ１１の処理として、閲覧されている電話帳や、発着信履歴、メール送受信履歴に、顔インデックス画像によって関連付けられた写真や動画ファイルがあるかどうかを判断する。そして、制御部１０は、関連する写真・動画ファイルがある場合にはステップＳ１２へ処理を進め、一方、無い場合にはこの図９のフローチャートの処理を終了する。
【００４９】
ステップＳ１２の処理に進むと、制御部１０は、現在の携帯電話端末１の設定が、上記関連する写真・動画ファイルのうち現時点で閲覧されいない写真・動画ファイルのみを表示するという設定になっているかどうかを判断する。そして、制御部１０は、閲覧されていない写真・動画ファイルのみを表示する設定になっている場合には、ステップＳ１３へ処理を進め、一方、設定されていない場合はステップＳ１４へ処理を進める。
【００５０】
ステップＳ１３の処理に進むと、制御部１０は、上記関連する写真・動画ファイルのうち現時点で閲覧されていない写真・動画ファイルがある場合にはステップＳ１４へ処理を進め、一方、無い場合にはこの図９のフローチャートの処理を終了する。
【００５１】
上記ステップＳ１３からステップＳ１４の処理に進むと、制御部１０は、上記閲覧されていない写真・動画ファイルが有ることをポップアップ表示などによりユーザへ提示する。一方、ステップＳ１３を経由せずにステップＳ１２からステップＳ１４の処理に進んだ場合、制御部１０は、予め設定された優先度に基づいて、上記関連する写真・動画ファイルがあることをポップアップ表示などによりユーザへ提示する。このステップＳ１４の処理後、制御部１０は、ステップＳ１５へ処理を進める。
【００５２】
ステップＳ１５の処理に進むと、制御部１０は、上記ポップアップ表示をユーザが選択したか否か判断し、選択された場合にはステップＳ１６へ処理を進め、一方、選択されなかった場合にはこの図９のフローチャートの処理を終了する。
【００５３】
ステップＳ１６の処理に進んだ場合、制御部１０は、上記選択された写真・動画の画像を画面上に表示させてユーザに見せる。
【００５４】
［電子メール作成時の画像情報管理処理］
図１０には本実施形態の携帯電話端末において、電子メール作成時における画像情報管理処理のフローチャートを示す。なお、この図１０のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００５５】
この図１０において、電子メールの作成が行われている時、制御部１０は、ステップＳ２１の処理として、当該電子メールの作成画面においてユーザから入力（或いは電話帳から選択）された送信先メールアドレスについて、顔インデックス画像によって関連付けられた写真／動画ファイルがあるかどうかを判断する。そして、制御部１０は、関連する写真・動画ファイルがある場合にはステップＳ２２へ処理を進め、無い場合にはこの図１０のフローチャートの処理を終了する。
【００５６】
ステップＳ２２の処理に進むと、制御部１０は、上記関連する写真・動画ファイルのうち未だ電子メール送信がなされていない写真・動画ファイルのみを表示するという設定になっているかどうかを判断する。そして、制御部１０は、メール送信されていない写真・動画ファイルのみを表示する設定になっている場合には、ステップＳ２３へ処理を進め、一方、設定されていない場合はステップＳ２４へ処理を進める。
【００５７】
ステップＳ２３の処理に進むと、制御部１０は、上記メール送信されていない写真・動画ファイルがある場合にはステップＳ２４へ処理を進め、一方、無い場合にはこの図１０のフローチャートの処理を終了する。
【００５８】
上記ステップＳ２３からステップＳ２４の処理に進むと、制御部１０は、上記メール送信されていない写真・動画ファイルが有ることをポップアップ表示などによりユーザへ提示する。一方、ステップＳ２３を経由せずにステップＳ２２からステップＳ２４の処理に進んだ場合、制御部１０は、予め設定された優先度に基づいて、上記関連する写真・動画ファイルがあることをポップアップ表示などによりユーザへ提示する。このステップＳ２４の処理後、制御部１０は、ステップＳ２５へ処理を進める。
【００５９】
ステップＳ２５の処理に進むと、制御部１０は、上記ポップアップ表示のメニューにおいてユーザが送信を選択した場合には、ステップＳ２６へ処理を進め、一方、ユーザにより選択されなかった場合にはこの図９のフローチャートの処理を終了する。
【００６０】
ステップＳ２６の処理に進んだ場合、制御部１０は、上記関連する写真・動画ファイルがウェブ上にアップロード済みかどうかを判断する。そして、制御部１０は、アップロード済みである場合には、ステップＳ２７へ処理を進め、未だアップロードされていない場合はステップＳ３０へ処理を進める。
【００６１】
ステップＳ２７の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬのみを通知するかをユーザに問う選択肢を表示させた後、ステップＳ２８へ処理を進める。
【００６２】
ステップＳ２８の処理に進むと、制御部１０は、ユーザによりＵＲＬのみの通知が選択されたか否か判断し、当該選択がなされた場合にはステップＳ２９へ処理を進め、一方、選択されなかった場合にはステップＳ３０へ処理を進める。
【００６３】
ステップＳ２９の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬをメール本文に含めて、この図９のフローチャートの処理を終了する。
【００６４】
また、ステップＳ３０の処理に進んだ場合、制御部１０は、上記関連する写真・動画ファイルをメールに添付し、この図９のフローチャートの処理を終了する。
【００６５】
［顔インデックス画像により電話帳の登録者と関連付けられた写真・動画の閲覧時の画像情報管理処理］
図１１及び図１２には、本実施形態の携帯電話端末において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の画像情報管理処理のフローチャートを示す。なお、これら図１１、図１２のフローチャートの処理は、制御部１０が、本発明にかかる画像情報管理プログラムを実行することにより実現される。
【００６６】
この図１１において、顔インデックスにより、電話帳登録者と関連付けられている写真や動画が閲覧されている時の電子メールの作成が行われている時、制御部１０は、ステップＳ４１の処理として、上記閲覧されている写真・動画の画像サイズが、予め設定された閾値以上か或いは閾値未満かを判断する。そして、制御部１０は、閾値以上であると判断した場合にはステップＳ４２へ処理を進め、閾値未満であると判断した場合は図１２のステップＳ５２へ処理を進める。
【００６７】
ステップＳ４２の処理に進むと、制御部１０は、閲覧している写真・動画ファイルがウェブにアップロードされた履歴があるか否かを判断する。そして、制御部１０は、アップロードされた履歴がある場合にはステップＳ４３へ処理を進め、一方、アップロードの履歴が無い場合にはステップＳ４４へ処理を進める。
【００６８】
ステップＳ４３の処理に進むと、制御部１０は、閲覧がなされている写真・動画ファイルに写っている人物画像の顔認識により、それら人物全てに対して上記アップロード先のＵＲＬを通知済みであるかどうか判断する。そして、制御部１０は、全ての人に通知済みである場合にはこのフローチャートの処理を終了し、一方、通知していない人が存在する場合にはステップＳ４７へ処理を進める。
【００６９】
また、ステップＳ４４の処理に進んだ場合、制御部１０は、閲覧がなされている写真・動画ファイルをウェブにアップロードするかどうかのメニューを表示した後、ステップＳ４５へ処理を進める。
【００７０】
ステップＳ４５の処理に進むと、制御部１０は、ユーザが上記表示メニューを通じてアップロードすることを選択した場合には、ステップＳ４６へ処理を進め、一方、ユーザが選択しなかった場合にはこのフローチャートの処理を終了する。
【００７１】
ステップＳ４６の処理に進んだ場合、制御部１０は、上記アップロードされていない写真・動画ファイルをウェブ上にアップロードする。また、この時、制御部１０は、当該アップロード先のＵＲＬを、上記写真・動画ファイルと関連付けてメモリ部１５に保存し、ステップＳ４７へ処理を進める。
【００７２】
ステップＳ４７の処理に進んだ場合、制御部１０は、上記アップロード先のＵＲＬを電子メールで通知するか否かをユーザに問う選択メニューを表示し、ステップＳ４８へ処理を進める。
【００７３】
ステップＳ４８の処理に進むと、制御部１０は、ユーザが通知することを選択した場合にはステップＳ４９へ処理を進め、一方、ユーザにより選択されなかった場合はこのフローチャートの処理を終了する。
【００７４】
ステップＳ４９の処理に進むと、制御部１０は、上記アップロード先のＵＲＬをメール本文に自動的に入力した状態のメール編集画面を表示させ、ステップＳ５０へ処理を進める。
【００７５】
ステップＳ５０の処理に進むと、制御部１０は、ユーザによりメールが編集された後に送信指示がなされるのを待ち、メール編集後に送信指示が入力されるとステップＳ５１へ進み、一方、メール編集後送信指示がなされることなく終了指示が入力された場合にはこのフローチャートの処理を終了する。
【００７６】
ステップＳ５１の処理に進むと、制御部１０は、上記メールを送信してこのフローチャートの処理を終了する。
【００７７】
また、図１２のステップＳ５２の処理に進んだ場合、制御部１０は、上記閲覧がなされている写真・動画ファイルが、それ以前に電子メール添付されて送信された履歴があるか判断する。そして、制御部１０は、当該送信履歴がある場合にはステップＳ５３へ処理を進め、送信履歴が無い場合にはステップＳ５４へ処理を進める。
【００７８】
ステップＳ５３の処理に進んだ場合、制御部１０は、上記閲覧がなされている写真・動画ファイルに写っている人物画像から顔認識により得られる人物全てに対して当該写真・動画ファイルを送信済みであるかどうか判断する。そして、制御部１０は、それら全ての人に対して送信済みである場合はこのフローチャートの処理を終了し、一方、未だ送信していない人が存在する場合にはステップＳ５４へ処理を進める。
【００７９】
ステップＳ５４の処理に進むと、制御部１０は、上記閲覧がなされている写真・動画ファイルを、電子メールに添付し、その写真・動画から得られる顔インデックス画像に関連付けられたメールアドレスへ送信するかどうかのメニューを表示する。
【００８０】
次に、制御部１０は、ステップＳ５５へ処理を進め、上記ファイルが添付された電子メールの送信をユーザが選択したか否か判断し、当該送信が選択された場合にはステップＳ５６へ処理を進め、送信が選択されなかった場合はこのフローチャートの処理を終了する。
【００８１】
ステップＳ５６の処理に進むと、制御部１０は、上記写真・動画ファイルが添付された状態の電子メールのメール編集画面を表示し、ステップＳ５７へ処理を進める。
【００８２】
ステップＳ５７の処理に進むと、制御部１０は、ユーザによりメールが編集された後に送信指示がなされるのを待ち、メール編集後に送信指示が入力されるとステップＳ５８へ進み、一方、メール編集後送信指示がなされることなく終了指示が入力された場合にはこのフローチャートの処理を終了する。
【００８３】
ステップＳ５８の処理に進むと、制御部１０は、上記メールを送信してこのフローチャートの処理を終了する。
【００８４】
［まとめ］
以上説明したように、本発明実施形態によれば、電話帳情報と関連付けられた顔インデックス画像を作成することができ、煩わしい操作無しで発着信履歴やメールの送受信履歴から、その人物に関連付けられた写真や動画を直ぐに閲覧することが可能となる。これにより、例えば或る人物の話題が出たときなどに、直ぐに写真や動画を閲覧し、その時の情景等を思い出したり、その写真や動画を他の人に見せたりして紹介するようなことが非常に簡単にできるようになる。
【００８５】
また、本発明実施形態によれば、人が写っている写真や動画を、メールに添付したり、ウェブにアップロードしたりする場合に、写真・動画ファイルを開いて誰が写っていたかをその都度確認せずに済むため、ユーザは思い立ったら直ぐに写真や動画を友人と共有することができるようになる。
【００８６】
また、本発明実施形態によれば、写真や動画に写っている人に対して、その写真・動画をメール添付により送ったかどうかや、ウェブへのアップロードにより共有可能としたかどうかを、ユーザは直ぐに知ることができるため、例えば或る人にだけ送り忘れてしまうようなことがなくなる。
【００８７】
さらに、本発明実施形態によれば、顔画像から顔テンプレート画像を生成し端末内に保存したり、例えば他者端末との間でアドレス交換するときなどに、自分の端末に保存してある顔テンプレート画像も含めて送信しておくようにすれば、その人が撮影した写真・動画ファイルから自分の顔を簡単に検出してもらえるようになる。同様に、友人からアドレス情報を取得する際にも、相手側から顔テンプレート画像を含めて取得しておけば、自分の端末において写真・動画ファイルを撮影した場合にその友人の顔を簡単に検出できるようになる。このように、友人などとの間で、顔テンプレート画像を共有しておけば、互いに友人の顔を簡単に検出できるようになり、顔テンプレート画像の再利用性をアップさせることが可能となる。
【００８８】
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。例えば、上述の実施形態では、携帯電話端末を例に挙げたが、他の携帯情報端末にももちろん本発明は適用可能である。
【符号の説明】
【００８９】
１ 携帯電話端末、２ 表示画面、１０ 制御部、１１ 通信回路、１２ 通信アンテナ、１３ 操作部、１４ 表示部、１５ メモリ部、２０ スピーカ、２１ マイクロホン、２２ 撮像制御部、２３ カメラ、２４ 充電制御部、２５ 充電端子、２６ バッテリ、３１ プログラム格納領域、３２ 電話帳格納領域、３３ 履歴格納領域、３４ 写真データ格納領域、３５ 動画データ格納領域、３６ インデックス・テンプレート画像格納領域、３７ 電子メールデータ格納領域
【特許請求の範囲】
【請求項１】
撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出部と、
上記顔情報抽出部が抽出した顔情報をその抽出元画像と対応付けて保存する顔情報保存部と、
上記顔情報抽出部にて抽出された顔情報を、アドレス情報と関連付けて保存するアドレス関連付け保存部と、
上記画像の利用履歴と上記アドレス情報を通じた画像の利用履歴の情報を保存する利用履歴保存部と、
上記画像を使用する際には、当該画像の利用履歴と、その画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御部と、
を有する携帯情報端末。
【請求項２】
上記利用履歴保存部は、上記画像の閲覧に関する利用履歴、上記画像の送受信に関する利用履歴、上記画像のウェブ上へのアップロードに関する利用履歴、上記アドレス情報の閲覧に関する利用履歴の、少なくとも何れかを、上記利用履歴の情報として保存する請求項１記載の携帯情報端末。
【請求項３】
上記顔情報抽出部は、上記画像から顔認識処理により顔画像を抽出し、
上記顔情報保存部は、当該顔画像を上記顔情報として保存する請求項１記載の携帯情報端末。
【請求項４】
上記顔情報抽出部は、上記顔認識処理により抽出した顔画像を所定ピクセル数のグレースケール画像に変換した顔画像を生成し、
上記顔情報保存部は、上記顔認識処理により抽出された顔画像と、上記顔画像を所定ピクセル数のグレースケール画像に変換した顔画像とを、上記顔情報として保存する請求項４記載の携帯情報端末。
【請求項５】
撮影若しくは外部取得して保存されている画像から、顔情報抽出部が顔情報を抽出するステップと、
上記顔情報抽出部が抽出した顔情報をその抽出元画像と対応付けて、保存制御部が、顔情報保存部へ保存するステップと、
上記顔情報抽出部にて抽出された顔情報を、保存制御部が、アドレス情報と関連付けてアドレス関連付け保存部へ保存するステップと、
上記画像の利用履歴と上記アドレス情報を通じた上記画像の利用履歴の情報を、保存制御部が、利用履歴保存部へ保存するステップと、
画像を使用する際には、情報制御部が、当該画像の利用履歴と、当該画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、情報制御部が、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知するステップと、
を有する画像情報管理方法。
【請求項６】
撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出処理と、
上記顔情報抽出処理にて抽出した顔情報をその抽出元画像と対応付けて、顔情報保存部に保存させる顔情報保存制御処理と、
上記顔情報抽出処理にて抽出した顔情報を、アドレス情報と関連付けてアドレス関連付け保存部に保存させるアドレス関連情報保存制御処理と、
上記画像の利用履歴と上記アドレス情報を通じた上記画像の利用履歴の情報を、利用履歴保存部へ保存させる利用履歴保存制御処理と、
画像を使用する際には、当該画像の利用履歴と、当該画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御処理とを、
携帯情報端末に実行させる画像情報管理プログラム。
【請求項１】
撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出部と、
上記顔情報抽出部が抽出した顔情報をその抽出元画像と対応付けて保存する顔情報保存部と、
上記顔情報抽出部にて抽出された顔情報を、アドレス情報と関連付けて保存するアドレス関連付け保存部と、
上記画像の利用履歴と上記アドレス情報を通じた画像の利用履歴の情報を保存する利用履歴保存部と、
上記画像を使用する際には、当該画像の利用履歴と、その画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御部と、
を有する携帯情報端末。
【請求項２】
上記利用履歴保存部は、上記画像の閲覧に関する利用履歴、上記画像の送受信に関する利用履歴、上記画像のウェブ上へのアップロードに関する利用履歴、上記アドレス情報の閲覧に関する利用履歴の、少なくとも何れかを、上記利用履歴の情報として保存する請求項１記載の携帯情報端末。
【請求項３】
上記顔情報抽出部は、上記画像から顔認識処理により顔画像を抽出し、
上記顔情報保存部は、当該顔画像を上記顔情報として保存する請求項１記載の携帯情報端末。
【請求項４】
上記顔情報抽出部は、上記顔認識処理により抽出した顔画像を所定ピクセル数のグレースケール画像に変換した顔画像を生成し、
上記顔情報保存部は、上記顔認識処理により抽出された顔画像と、上記顔画像を所定ピクセル数のグレースケール画像に変換した顔画像とを、上記顔情報として保存する請求項４記載の携帯情報端末。
【請求項５】
撮影若しくは外部取得して保存されている画像から、顔情報抽出部が顔情報を抽出するステップと、
上記顔情報抽出部が抽出した顔情報をその抽出元画像と対応付けて、保存制御部が、顔情報保存部へ保存するステップと、
上記顔情報抽出部にて抽出された顔情報を、保存制御部が、アドレス情報と関連付けてアドレス関連付け保存部へ保存するステップと、
上記画像の利用履歴と上記アドレス情報を通じた上記画像の利用履歴の情報を、保存制御部が、利用履歴保存部へ保存するステップと、
画像を使用する際には、情報制御部が、当該画像の利用履歴と、当該画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、情報制御部が、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知するステップと、
を有する画像情報管理方法。
【請求項６】
撮影若しくは外部取得して保存されている画像から顔情報を抽出する顔情報抽出処理と、
上記顔情報抽出処理にて抽出した顔情報をその抽出元画像と対応付けて、顔情報保存部に保存させる顔情報保存制御処理と、
上記顔情報抽出処理にて抽出した顔情報を、アドレス情報と関連付けてアドレス関連付け保存部に保存させるアドレス関連情報保存制御処理と、
上記画像の利用履歴と上記アドレス情報を通じた上記画像の利用履歴の情報を、利用履歴保存部へ保存させる利用履歴保存制御処理と、
画像を使用する際には、当該画像の利用履歴と、当該画像に対応した上記顔情報に関連付けられた上記アドレス情報の利用履歴とを、上記利用履歴保存部から参照して、当該画像の未利用状況、若しくは、上記アドレス情報を通じた当該画像の未利用状況を利用者に通知し、上記アドレス情報を使用する際には、当該アドレス情報に関連付けられた上記顔情報に対応する画像の利用履歴を上記利用履歴保存部から参照して、当該アドレス情報を通じた上記画像の未利用状況、若しくは、当該画像の未利用状況を利用者へ通知する情報制御処理とを、
携帯情報端末に実行させる画像情報管理プログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図３】
【公開番号】特開２０１０−１９３２０７（Ｐ２０１０−１９３２０７Ａ）
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−３５８２５（Ｐ２００９−３５８２５）
【出願日】平成２１年２月１８日（２００９．２．１８）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成２１年２月１８日（２００９．２．１８）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]