説明

画像表示装置、画像表方法、およびそのプログラム

【課題】 記憶部に記憶されたすべての画像データの中で、複雑な設定操作を行わずに、ユーザが所望とする複数の画像データだけを順次表示することや、ユーザが所望とする複数の画像データだけで一覧表示することを目的とする。
【解決手段】 画像を表示する表示部を備える画像表示装置において、画像の表示切替が指示され、かつ、人物の顔の領域が選択されている場合には、この選択されている人物の顔の識別情報と同じ識別情報の人物の顔を含む画像を、記憶されている複数の画像から特定し、特定された画像に切り替え、また、一覧表示が指示され、かつ、人物の顔の領域が選択されている場合には、同じように特定された複数の画像を一覧表示する。

【発明の詳細な説明】
【技術分野】
【0001】
画像表示装置、画像表方法、およびそのプログラムに関し、特に、記憶部に記憶されている画像群の中からユーザが所望とする画像だけを表示することができる画像表示装置、画像表示方法、およびそのプログラムに関する。
【背景技術】
【0002】
オンラインアルバムやフォトアルバムサービスや画像管理ソフトウェアといった、利用者が撮影したデジカメ画像や動画の登録及び共有サービスや個人利用があり、共有サービスにおいてはインターネット等やLAN等の通信手段を介して多くの利用者がさまざまな機会に登録(アップロード)した画像や動画を、閲覧権限のある利用者が閲覧するケースがあり、利用者が登録された画像の中から所望の画像を簡単に表示する作業は非常に手間となっている。
【0003】
またデジタルスチルカメラの操作画面は液晶モニター等やタッチパネル機能等が採用され、マウスを使用せず利用者の指操作により操作画面に撮影された後に記憶部に記憶された画像を操作画面に表示する事も可能となっている。
【0004】
先行文献1では、画像処理装置の記憶部に登録された被写体を含む画像の中から、画像解析等の特定手段と、予め記憶させた対象人物情報といった分類情報に基づいて、画像を父、母、姉といった対象人物毎や日時や撮影場所に分類し分類結果を表示する技術が開示されている。
【0005】
先行文献2では、デジタル画像データ中から人物の顔を検出して、検出された人物の顔の領域を表示し、「次へ」ボタンが表示されたら、同一画像中の他の人物の顔を検出して、検出できれば検出された人物の顔の領域を表示し、検出できなければ、次のデジタル画像データの表示を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−287014号
【特許文献2】特開2005−165562号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述したような背景技術においては、記憶部に記憶された画像(デジタル画像データ)を結局、順番に表示しているだけであり、ユーザが所望とする画像を表示するのに時間を要してしまうという問題がある。
【0008】
また、サムネイル画像のように画像一覧を表示してユーザに表示させたい画像を選択させることも考えられるが、多くの画像の中から所望とする画像を探すのは大変であり、また、デジタルスチルカメラのような撮像装置の小さな表示領域ではすべての画像一覧を表示させることができず、使い勝手が悪いという問題がある。
【0009】
また、表示部に画像を表示して、シリアル番号順に順次表示するシーケンスの場合、記憶部に記憶されている表示させたくない画像まで表示されてしまうという問題がある。この場合、他の人と一緒に画像を見ている場合に、他の人に見せたくない画像まで見られてしまい、セキュリティ上問題がある。
【0010】
そこで、本願発明は、記憶部に記憶されたすべての画像データの中で、複雑な設定操作を行わずに、ユーザが所望とする複数の画像データだけを順次表示することが可能な画像表示装置、画像表示方法、プログラムを提供することを第1の目的とする。
【0011】
そして、本願発明は、記憶部に記憶されたすべての画像データの中で、複雑な設定操作を行わずに、ユーザが所望とする複数の画像データだけで一覧表示することが可能な画像表示装置、画像表示方法、プログラムを提供することを第2の目的とする。
【課題を解決するための手段】
【0012】
本願発明は、画像を表示する表示部を備える画像表示装置であって、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段と、前記記憶手段に記憶されている画像を表示部に表示する表示制御手段と、前記表示制御手段により表示部に表示されている画像の表示切替を指示する切替指示手段と、前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断手段と、前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定手段と、前記表示制御手段を用いて、前記表示部に表示されている画像を、前記特定手段により特定された画像に切り替える切替手段とを備えることを特徴とする。
【0013】
また、前記表示制御手段により表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、前記表示制御手段を用いて、前記表示部に画像の一覧を表示する一覧表示手段とをさらに備え、前記一覧表示指示手段により画像の一覧表示が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記特定手段は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し、前記一覧表示手段は、前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示することを特徴とする。
【0014】
また、前記記憶手段により記憶された前記画像を解析して、人物の顔の領域の画像特徴量を取得する特徴量取得手段と、前記特徴量取得手段で取得された画像特徴量を用いて、類似する人物の顔があるか判定することにより、類似する人物の顔と同じ識別情報を、前記画像特徴量を取得した画像に付与する自動付与手段とをさらに備えることを特徴とする。
【0015】
また、前記記憶手段に記憶されている画像に含まれる人物の顔を指定し、かつ、該人物の顔の識別情報とする文字列をユーザ操作に応じて入力することにより、該入力された文字列を前記識別情報として前記画像に付与する手動付与手段をさらに備えることを特徴とする。
また、前記画像表示装置は、撮影対象を撮像して画像を生成する撮像部を備える撮像装置であることを特徴とする。
【0016】
また、前記判断手段は、前記表示されている画像に含まれる複数の人物の顔の領域が選択されているか否か判断することが可能であり、前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により複数の人物の顔の領域が選択されていると判断されている場合に、前記特定手段は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている複数の人物の顔の識別情報を同じ識別情報をすべて有する画像を特定することを特徴とする。
【0017】
また、前記画像表示装置は、前記画像データを記憶する画像管理サーバと、該画像管理サーバとネットワークを介して通信可能な情報端末装置とで構成されていることを特徴とする。
【0018】
また、前記情報端末装置から前記画像表示装置に、前記情報端末装置においてクリックされた画像上の位置が送信され、前記画像表示装置では、クリックされた画像上の位置から、人物の顔の領域が選択されているかを判断することを特徴とする。
【0019】
また、前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていないと判断されている場合には、前記切替手段は、前記表示制御手段を用いて、前記表示部に表示されている画像を、所定の順序で、次の画像に切り替え、前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合には、前記切替手段は、前記表示制御手段を用いて、前記表示部に表示されている画像を、前記特定手段により特定された画像であって前記所定の順序で、次の画像に切り替えることを特徴とする。
【発明の効果】
【0020】
本願の第1の発明によれば、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけを順次表示することが複雑な設定操作を行わずに実現できる。
【0021】
また、本願の第2の発明によれば、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけで一覧表示することが複雑な設定操作を行わずに実現できる。
【図面の簡単な説明】
【0022】
【図1】画像表示装置の一例を示すシステム構成図
【図2】画像管理サーバ、情報処理端末のハードウェア構成を示すブロック図
【図3】本願発明に係る画像の一例を示す図
【図4】本願発明に係る処理の一例を示すフローチャート
【図5】本願発明に係る処理の一例を示すフローチャート
【図6】本願発明に係る処理の一例を示すフローチャート
【図7】本願発明に係る情報処理端末の表示画面の一例を示す図
【図8】本願発明に係る情報処理端末の表示画面の一例を示す図
【図9】本願発明に係る情報処理端末の表示画面の一例を示す図
【図10】本願発明に係る各情報テーブルの項目の一例を示す図
【図11】本願発明に係る各情報テーブルの項目の一例を示す図
【図12】画像表示装置の一例である撮像装置のハードウェア構成を示すブロック図
【図13】本発明に係る撮像装置で生成される画像のデータ構成の一例を示す図
【図14】本発明に係る撮像装置の操作画面のうち、画像の表示、認識された顔の名前の登録、および表示状態で順送りされたときの画面例を示す図
【図15】本発明に係る撮像装置の操作画面のうち、異なる顔が選択された状態で順送りされたときの画面例を示す図
【図16】本発明に係る撮像装置の操作画面のうち、複数の顔が選択された状態で順送りされたときの画面例を示す図
【図17】本実施の形態で説明される撮像装置の記憶部に記憶されている複数の画像を示す図
【図18】本発明に係る撮像装置の操作画面のうち、任意の顔が選択された状態で一覧表示指示されたときの画面例を示す図
【図19】本発明に係る処理の一例を示すフローチャート
【図20】本発明に係る画像切替処理の一例を示すフローチャート
【図21】本発明に係る一覧表示処理の一例を示すフローチャート
【発明を実施するための形態】
【0023】
本発明の技術的特徴を簡単に説明すると、画像のプレビューを表示している状態において、人物の顔の領域が選択されて画像の切り替えを行うことにより、その人物が映っている次の画像に切り替えることである。この技術的特徴によれば、記憶されているすべての画像データを順送りにプレビューせずに、ユーザが所望とする画像データだけを順次表示することができ、セキュリティ面および使い勝手が格段に向上するものである。
【0024】
また、本発明の第2の技術的特徴を簡単に説明すると、画像のプレビューを表示している状態において、人物の顔の領域が選択されて画像の一覧表示を行うことにより、その人物が映っている複数の画像だけで一覧表示を行うことである。この技術的特徴によれば、記憶されているすべての画像データの一覧表示を行わずに、ユーザが所望とする複数の画像データだけで一覧表示することができ、セキュリティ面および使い勝手が格段に向上するものである。
以下、図面を参照して、本発明の技術的特徴を、第1および第2の実施形態を用いて、詳細に説明する。
[第1の実施の形態]
【0025】
図1は、本発明の情報処理端末130、140、150(クライアントPC)、画像管理サーバ110を含む画像表示装置の構成の一例を示すシステム構成図である。なお、第1の実施の形態では、本発明の画像表示装置は、情報処理端末と画像管理サーバを含むシステムとして構成しているが、これに限られるものではなく、1つの筺体のコンピュータで実現することも可能であるし、また、第2の実施の形態で説明するように、表示部を備える撮像装置で実現してもよい。
【0026】
以下、第1の実施の形態について説明する。図1に示すように、本実施形態の画像表示装置は、1又は複数の情報処理端末130、140、150(例えば、ユーザA、ユーザB、ユーザC)、画像管理サーバ110がローカルエリアネットワーク(LAN)100を介して接続され、各装置が情報の送受信を行う通信可能な構成となっている。
【0027】
なお、画像管理サーバ110には、情報処理端末130の表示画面にてユーザが入力後、画像管理サーバ110にHTTP送信されたログイン情報(ユーザ識別情報やユーザ専用パスワード)とユーザ認証を行う登録ユーザ情報テーブル(図10)が記憶されており、ユーザ認証が可能な構成となっている。本実施形態では、画像管理サーバに登録ユーザ情報テーブル(図10)を記憶するように構成したが、不図示の認証サーバに認証テーブルを記憶し、認証サーバで認証を行わせるように構成することも可能である。つまり、利用するユーザを特定及び管理できればよく、認証処理はどの情報処理装置で行ってもよい。また情報処理端末がICカードリーダの読み取り部を備える構成の場合、表示画面でユーザが入力した作業をICカード内に予めに記憶されたログイン情報にて置き換える事も可能となる。
以下、図2を用いて、図1に示したクライアントPC130,140、管理サーバ160に適用可能な情報処理装置のハードウエア構成について説明する。
図2は、図1に示したクライアントPC、管理サーバ160に適用可能な情報処理装置のハードウエア構成を示すブロック図である。
【0028】
図2において、1201はCPUで、システムバス1204に接続される各デバイスやコントローラを統括的に制御する。また、ROM1202あるいは外部メモリ1211には、CPU1201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【0029】
1203はRAMで、CPU1201の主メモリ、ワークエリア等として機能する。CPU1201は、処理の実行に際して必要なプログラム等をROM1202あるいは外部メモリ1211からRAM1203にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【0030】
1205は入力コントローラで、キーボード(KB)1209や不図示のマウス等のポインティングデバイス等からの入力を制御する。1206はビデオコントローラで、CRTディスプレイ(CRT)1210等の表示器への表示を制御する。なお、図2の表示部1210はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。また表示部は指やペン等にてユーザが表示画面内の対象位置を指定するタッチパネル機能を含むものであってもよい。
【0031】
1207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ1211へのアクセスを制御する。
【0032】
1208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したLAN100)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
【0033】
なお、CPU1201は、例えばRAM1203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT1210上での表示を可能としている。また、CPU1201は、CRT1210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【0034】
本発明を実現するための後述する各種プログラムは、外部メモリ1211に記録されており、必要に応じてRAM1203にロードされることによりCPU1201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ1211に格納されており、これらについての詳細な説明も後述する。
次に、図3について説明する。
301は本願発明で画像表示装置にて処理される画像であり、撮影対象として人物が含まれている。
302は本願発明で画像表示装置にて処理される画像であり、撮影対象として人物が含まれている。
303は本願発明で画像表示装置にて処理される画像であり、撮影対象として人物が含まれている。
【0035】
304は本願発明で画像表示装置にて処理された画像であり、画像内に人物が含まれていた場合にその顔領域を合わすものである。顔領域が抽出された場合、その顔領域は画像内では正方形または長方形の領域として扱われる。顔領域は対角上に指定された少なくとも二点以上の縦横(表示部を平面とした場合のX,Y)座標をもっている。また画像全領域に対する相対的な縦横の座標をもつ事になる。画像301においては画像認識により4つの顔領域が抽出され、4つの顔領域に対応する二点以上の縦横座標があることを示している。なお、人物画像の顔領域を検出する技術は既知の技術であるため、詳細な説明は省略する。
【0036】
次に、図4、5、6を参照しながら、本発明に係る画像管理サーバ110、情報処理端末130、140、150による画像表示処理の詳細な処理について説明する。
【0037】
図4は、画像管理サーバ110及び情報処理端末(クライアント端末)130による画像登録処理の一例を示すフローチャートである。なお、ステップS401〜ステップS419の各ステップでS401、S403、S409は情報処理端末のCPU1201が実行する。S402、S404〜S408、S410〜S419は画像管理サーバ110のCPU1201が実行する。
【0038】
ステップS401では、情報処理端末130は当画像管理サーバ110にアクセスするように、URL情報を含んだHTTPリクエストを画像管理サーバ110に送信する。
【0039】
ステップS402では、画像管理サーバはHTTPリクエストを受信し、HTTPレスポンスを情報処理端末130に送信し、情報処理端末の表示部に初期操作画面を表示するために表示指示を行う。
【0040】
ステップS403では、情報処理端末130は図7の701に示すような初期操作画面表示する。情報処理端末はキーボード等のインターフェースからユーザにより入力されたユーザID(ログイン名)やユーザパスワードのようなユーザ識別情報をRAMに記憶し、図7の706にあるような送信ボタンが押下された後、画像管理サーバにユーザ識別情報を送信する。
【0041】
ステップS404では画像管理サーバ110は受信したユーザ識別情報が新規かどうかを判定する。新規と判定された場合は新規登録が必要であると判定し、S405に進む。新規でないと判定された場合は既にユーザ登録が完了していると判定してS406に進む。
ステップS405では新規にユーザ登録を完了する処理であり、図5で詳細を説明する。
【0042】
ステップS406では画像管理サーバはS404で判定されたログイン情報に係るユーザのみに閲覧権限(アクセス権)のある画面の表示指示を行い、情報処理端末130の表示部に図7の702のような画面を表示させる。またユーザが初めて当該画面を閲覧する場合には予め、登録された画像は無い為、図8の801のような画面を表示させる。この操作画面702や801はユーザが画像の追加登録や編集等のユーザ所望の操作ができるような構成をしている。
【0043】
ステップS407では画像管理サーバ110は画像追加ボタンが押されたと判定した場合に、ユーザは所有画像を画像管理サーバに送信する処理を進めると判定してS408に進む。
【0044】
ステップS408では画像管理サーバ110はユーザが画像管理サーバに送信したい画像を選択できる操作画面を情報処理端末が表示するように表示指示をする。
【0045】
ステップS409では、情報処理端末130は画像管理サーバに送信したい画像を送信(アップロード)する。ユーザが送信する場合は少なくとも1以上の画像を送信する必要があるが、この後の処理において本願発明の効果を発揮する為には、ユーザは画像管理サーバに合計2以上の複数の画像を送信する必要がある。よってユーザが1つの画像のみを送信した場合で、当該画像表示装置にて処理を進めた場合は本願発明の効果は何ら発揮されない。更に送信された画像には撮影対象に少なくとも1つ以上の人物の顔を含んだ画像が少なくとも1つ以上含まれている事により本願発明の効果を発揮する。またこの情報端末による送信の処理は必ずしも、ネットワークを介した場合に限った場合ではなく、USBメモリ等の外部記憶媒体を介した送信であっても何ら問題ではない。
【0046】
ステップS410では画像管理サーバ110は、既存のS504で作成されたユーザ専用フォルダ(外部メモリ1211に作成されている)の中にS409にて送信された画像を保存し、送信された画像を全て外部メモリが記憶する。さらに画像管理サーバは外部メモリに記憶された全画像のサムネイル画像を自動で作成し、当該フォルダの中に記憶する。
【0047】
ステップS411では画像管理サーバ110は画像が既に本願発明に係る登録処理を完了したかどうかを判定し、完了していないと判定した場合はS412に進める。完了していると判定した場合は、S412以降の処理が既に実施されている為、処理を終了する。更にこのS411の判定処理はS410にて送信された画像の記憶が完了した順序やユーザが画像送信した順序や画像送信の時にユーザが整列させた順序等の所定の順序で、S411の処理をされる準備が最も早く完了した画像から順次本願発明に係る処理が開始される。
【0048】
ステップS412では画像管理サーバは画像内に顔画像が存在するかを判断する顔認識を行う。この顔認識の実行で使用する画像処理技術は既知の技術である。例えば肌色画素数を当該画像内でカウントする処理を行う。
【0049】
ステップS413では画像管理サーバ110はS412の顔認識の結果、顔かどうかの判定をする、顔であると判定した場合は処理をS414に進める。この顔認識の判断で使用する画像処理技術は既知の技術である。例えば、肌色画素の領域内に黒目(黒画素の集合)・赤目(赤画素の集合)があるかを判定する処理を行う。顔でないとは例えば風景である、人物の胴体部分である、動物である等になるが、顔認識判定手段がもつ独自論理により判定されるものであり、人物の顔であると推定される画像であっても判定基準を満たさない画像は全て顔画像ではないと判定し、S417に進む。
【0050】
ステップS414では画像管理サーバ110は顔認識処理で抽出された、顔画像領域に顔番号(顔ID)を自動で採番(発行)し、図10の1002に示す様な外部メモリに予め記憶された画像情報データベースに顔ID情報データ(画像情報)を登録する。更に顔画像領域の座標を抽出し、外部メモリ1211に予め記憶された画像情報データベース(図11の1102)に図3の304で説明したような顔画像座標情報データ(画像情報)を登録する。
【0051】
ステップS415では画像管理サーバ110は画像情報データベースに登録した顔画像情報に対応する様に当該顔画像の特徴量(画像特徴量)を算出し、図11の1102に示すように、外部メモリに予め記憶された画像情報データベースに特徴量情報データ(画像情報)を更に登録する。この特徴量は顔IDが同じかどうかを判定する為に使用される。当該特徴量は人物の顔を構成する情報のなかで、類似度を判定する為に、ある特定部分の顔の特徴を数値化したものである。例えば個人差がある顔の目鼻口の配置により算出される数値である。この特徴量の算出で使用する画像処理技術は既知の技術である。別々の顔画像を比較した場合、この特徴量の数値が近似している場合はある閾値以上にて、同じ顔であると判定され、本願発明においては同じ顔IDが採番(発行)される。
【0052】
このように、画像管理サーバ110の外部メモリ1211には、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報(画像情報データベース1102の顔ID)とが記憶されている。
【0053】
ステップS416では画像管理サーバ110は当該画像に別の顔画像情報があるかを判定し、一つの画像内に複数の顔画像情報があるかを判断する。複数の顔画像情報があると判定した場合は処理をS412に進め、画像内の顔画像情報を全て取得したと判定した場合は処理をS417に進める。
【0054】
ステップS417では画像管理サーバ110は本願発明の処理が当該画像について完了した事を証明する終了情報を画像情報に付与し、図10の1002に示す様な外部メモリに予め記憶された画像情報データベースに処理済情報(画像情報)を更に登録する。
【0055】
ステップS418では画像管理サーバ110は記憶部に記憶された他の画像があるかを判定する。他の画像があると判定した場合は、S411に進む。無いと判定した場合はS419に進む。S410〜S418の処理を、情報処理端末が画像管理サーバに送信し、受信した画像をユーザが再度閲覧する前に完了する。
ステップS419では画像管理サーバ110は情報処理端末130に表示指示をする。
【0056】
図5は、画像管理サーバ110及び情報処理端末(クライアント端末)130によるユーザ登録処理の一例を示すフローチャートである。なお、ステップS501〜ステップS505の各ステップでS502は情報処理端末のCPU1201が実行する。S501、S503〜S505は画像管理サーバ110のCPU1201が実行する。
ステップS501では画像管理サーバ110はユーザ登録を新規に受け付ける画面の表示指示をする。
【0057】
ステップS502では情報処理端末130はユーザ登録を新規に受け付ける画面を表示し、ユーザより入力されたユーザ認識情報を送信する。そのユーザ認識情報とは図10に示すユーザを特定できる情報である。
ステップS503では画像管理サーバ110は送信された新規ユーザ認識情報を図10に示すようなデータベースに登録する。
ステップS504では画像管理サーバ110は登録した新規ユーザ専用フォルダを作成する。
ステップS505では画像管理サーバ110はユーザ登録を新規が完了した事を通知する画面を表示させる表示指示をし、情報処理端末は表示する。
【0058】
図6は、画像管理サーバ110及び情報処理端末(クライアント端末)130による画面操作処理の一例を示すフローチャートである。なお、ステップS601〜ステップS61の各ステップでS601、S603は情報処理端末のCPU1201が実行する。S602、S604〜S611画像管理サーバ110のCPU1201が実行する。
【0059】
ステップS601では、情報処理端末130は図7の702に示すような登録済み画像でサムネイル画像にて一覧画面を表示する。更にユーザが一覧画面のサムネイル画像からある特定の所望する画像を選択して選択状態に(例えば選択された画像に枠を表示)して、図示省略した拡大表示ボタンを押下すると、選択されたサムネイル画像の識別情報(画像ID)と拡大表示指示とを画像管理サーバに送信する。また、サムネイル画像が選択されることに応じて、画像の識別情報と拡大表示指示を送信するようにしてもよい。
【0060】
ステップS602では、画像管理サーバ110はS601やS611で選択された画像が拡大されるように表示制御処理を行う。具体的にはサムネイル画像とは別の表示用の画像(サムネイル画像より大きいサイズ、高い解像度)の送信を行う。
【0061】
ステップS603では、情報処理端末は図9の901に示すような操作画面を表示する。すなわち、画像管理サーバ110の記憶手段に記憶されている画像が、情報処理端末に送信され、情報処理端末130の表示部1210に表示されることになる(表示制御工程)。
【0062】
ここで、情報処理端末は表示部に表示される情報処理端末の画面サイズに対する相対座標に係るマウス停止位置やクリック回数や間隔の情報処理端末の画面操作情報を、画像管理サーバ110に送信することができるものとする。なお、コンピュータシステムにおいて、マウス停止位置、クリック回数等の操作情報は、オペレーティングシステムを介して取得できることは広く知られているため、操作情報の取得に関する詳細な説明は省略する。
【0063】
ステップS604では、画像管理サーバ110は情報処理端末130から送信されたマウス停止位置に係る座標情報を受信する。更にS604において画像管理サーバ110はS603にて送信されたマウス停止位置座標情報A’と顔座標情報Aを関連付けする。比例係数は画像の表示対象毎に変わる為、その比例係数は不図示のデータベースとして予め外部メモリに記憶されている。
【0064】
上記関連付け手段により図11の1103に示すような相対座標データベースに登録された顔座標を含む画像を表示部に表示させたい場合を説明する。顔座標が表示画面内にて定義される新しい座標は予め定めておいた縮尺計算が可能な比例係数をもとに変換されたX、Y座標が算出される。この算出されたX、Y座標により図4の説明にて完了した本願発明である処理済みの画像に関して、いかなる表示部に表示される場合においても関連付けが可能となる。
【0065】
例えば図11の1103で挙げた例ではデータベースに登録された顔画像の座標A(10,100)はX、Y座標ともに比例係数100を乗じた値が表示部での顔画像は変換座標A’(1000,10000)に計算される。つまり顔座標Aは本願発明の画像処理における基準の座標であり、画像の同じ座標が表示部に表示された場合の配置座標A’は比例定数にて変換されただけの相対的な座標である。これによりS605にて配置座標を元にマウス停止位置の座標位置が判定基準にしたがって判定される。
【0066】
ステップS605では、画像管理サーバ110は送信されたマウス停止位置座標が顔認識の座標領域であるかどうかを判定する。図9の904で示した領域はS601においてユーザに選択され表示部に表示された画像において顔座標といった画像情報登録された領域を表示画面に便宜的に示したものである。904の領域内にマウスの停止位置がある場合、画像管理サーバは領域内であると判定しS606に進める。904では便宜的に画像情報登録された領域を表示部にて表示させたが、その表示させる形態は正方形または長方形の形状であればどのような形態であってもよい。さらにS604で受信した情報により画像管理サーバが領域内かどうかを判定できればよいので、表示部に画像情報登録を表示させない形態であっても何ら問題はない。
【0067】
ステップS606では、画像管理サーバ110はクリック回数と間隔からシングルクリック操作が実行されたかを判定する。シングルクリックであると判定された場合、S607に進める。シングルクリックでないと判定された場合は、S609に進む。
【0068】
ステップS607では、画像管理サーバ110は図9の902に示すような予めデータベースに登録された画像で次に該当する画像を情報処理端末の表示部に表示するように表示指示する。次にとは、現時点で表示されている画像がデータベースに登録されており、登録IDの番号が現在の画像よりも次に大きい番号の画像であり、かつ現在表示されている画像の顔IDと同じ顔IDが含まれている別の画像である。また次に大きい番号がない場合は最も小さい番号であってもよい。情報処理端末は表示指示に従って図9の902に示すような画面を表示する。
【0069】
すなわち、情報端末装置の表示部に表示されている画像の顔領域上でシングルクリックすることにより、その顔領域と同じ識別IDの顔領域を含む画像に、現在表示されている画像から表示切替を指示することができる(切替指示工程:S606)。なお、本第1の実施の形態では、顔領域以外の画像上でシングルクリックすることにより、同一人物に特定されない、従来のような画像切替を指示することができる。この場合は、画像が所定の順序で表示が切り換えられることになる。所定の順序とは、画像のシリアル番号順でもいいし、画像管理サーバに登録された登録日時順でもいいし、ファイル名順でもいいし、撮像された日時順であってもいい。
【0070】
そして、クリックされた領域が顔領域であるかを判断することにより、表示されている画像に含まれる人物の顔の領域が選択されているか否か判断している(判断工程:S605)。
【0071】
そして、選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し(特定工程:S607)、表示部に表示されている画像を、特定された画像に切り替える(切替工程:S607)。
【0072】
ステップS608では、画像管理サーバ110はユーザが所望する画像表示装置の処理を継続したいかを判定し、継続したくないと判定した場合は処理を終了する。継続したいと判定した場合はS603に進め、ユーザが所望する画像表示装置の処理を継続する。
【0073】
ステップS609では、画像管理サーバ110はクリック回数と間隔からダブルクリック操作が実行されたかを判定する。ダブルクリックであると判定された場合、S610に進める。ダブルクリックでないと判定された場合は、S603に進む。
【0074】
すなわち、情報端末装置の表示部に表示されている画像の顔領域上でダブルクリックすることにより、その顔領域と同じ識別IDの顔領域を含む複数の画像を用いて、一覧表示することを指示することができる(一覧表示指示工程:S609)。
【0075】
ステップS610では、画像管理サーバ110は図8の802に示すような予めデータベースに登録された画像で該当する全て画像のサムネイル画像を情報処理端末の表示部に表示するように表示指示する。全てとは現時点で表示されている画像がデータベースに登録されており、かつ現在選択されている画像の顔IDと同じ顔IDを含む全ての画像である。情報処理端末は表示指示に従って図8の802に示すような画面(ただし、同じ顔IDを含まない画像については非表示にしている点で、図8の802とは異なる)を表示する。
【0076】
ステップS611では、画像管理サーバ110は一覧画面のサムネイル画像からある特定の所望する画像を選択されたどうかを判定し、選択されたと判断した場合はS602に進む。選択されないと判定した場合は処理を終了する。
【0077】
次に、図7の情報処理端末の表示部に表示する画面の一例について説明する。701は図4のS403にて表示する画面の一例である。702は図4のS409にて表示する画面の一例である。
【0078】
次に、図8の情報処理端末の表示部に表示する画面の一例について説明する。801は図4のS409にて表示する画面の一例である。802は図6のS610にて表示する画面の一例である。
【0079】
次に、図9の情報処理端末の表示部に表示する画面の一例について説明する。901は図6のS603にて表示する画面の一例である。902は図6のS607にて表示する画面の一例である。
【0080】
次に、図10について説明する。図10は、ユーザ登録情報であり、画像管理サーバ110のデータベースとして外部メモリ1211に記憶される。新規ユーザ登録が情報処理端末から送信された場合は追加情報を登録する。
【0081】
次に、図11について説明する。1101はユーザ登録情報と画像IDを関連付けた情報であり、画像管理サーバのデータベースとして外部メモリ1211に記憶される。情報処理端末から画像が送信された場合は追加情報を登録する。
【0082】
1102は画像情報と画像IDを関連付けた情報であり、画像管理サーバのデータベースとして外部メモリに記憶される。情報処理端末から画像が図4にて処理された場合は追加情報を登録する。
【0083】
1103は顔座標と相対座標を関連付けた情報であり、画像管理サーバのデータベースとして外部メモリに記憶される。情報処理端末から画像が図4にて処理された場合は追加情報を登録する。
【0084】
以上説明した本実施形態によれば、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけを順次表示することが複雑な設定操作を行わずに実現できる。また、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけで一覧表示することが複雑な設定操作を行わずに実現できる。
【0085】
また、本発明におけるプログラムは、図4〜図6に示すフローチャートの処理に従って画像管理サーバ110、情報処理端末、コンピュータが実行可能なプログラムであり、本発明の記憶媒体は図4〜図6の処理方法を画像管理サーバ110、情報処理端末、コンピュータが実行可能なプログラムを記憶されている。なお、本発明におけるプログラムは図4〜図6の各装置の処理方法ごとのプログラムであってもよい。
[第2の実施の形態]
【0086】
上記第1の実施形態では、本発明を、情報端末装置130と画像管理サーバ110のシステムとして適用した実施形態について説明したが、本第2の実施形態では、本発明を撮像装置であるデジタルカメラに適用した実施形態について説明する。本第2の実施形態では、被写体の特徴部分を自動的に検出して自動フォーカスした情報を記録するデジタルカメラにおいて、画像のプレビューを行う表示部で、簡単にユーザが所望とする画像に表示切替することが可能となる。
図12は、本発明の第2の実施形態に係る撮像装置の一例としてデジタルカメラの主な機能構成を示すブロック図である。
【0087】
撮影レンズ10は、その焦点距離を連続的に変えるためのズームレンズと、ピントを調整するフォーカスレンズとから構成されている。これらのレンズは、ズーム制御部44、測距制御部42により駆動される。撮影レンズ10は、撮像素子14の撮像面上に被写体を結像する。撮像素子14は、撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、CCD型やMOS型の個体撮像素子が用いられる。
【0088】
絞り12は、露光制御部40により稼働される。撮像素子14からのアナログ映像信号は、A/D変換器16に入力され、アナログ信号からデジタル信号に変換される。A/D変換されたデジタル信号は、ガンマ補正、ホワイトバランス補正などの種々の画像処理が画像処理部20で施される。画像表示メモリ24は、撮像素子14で撮像された複数フレーム分のデータを記憶することができるメモリである。画像処理された画像データは、画像表示メモリ24に一時記憶される。
【0089】
システム制御部112は、露光制御部40やカメラ姿勢検知部106等と接続され、カメラが動作する際のシーケンス制御を行う。システム制御部112には、カメラの電源をオン/オフする電源スイッチ72、レリーズに連動してオン/オフするシャッタースイッチ62及び全押しスイッチ64、表示部54に表示されるカメラを撮影する際の各種メニュー内容を選択するための操作部70が設けられている。被写体輝度が低い場合には、フラッシュ48を発光させる。なお、画像表示部28と表示部54を同一の構成としてもよい。また、本実施の形態における画像表示部28(表示部54)は、タッチパネル機能を有しており、ユーザによりタッチされた位置を特定することが可能となっている。このタッチパネル機能で必要なタッチ検出機構は画像表示部28(表示部54)に備えているものとして説明する。なお、タッチパネル機能自体は既知の技術であり、詳細な説明は省略する。
【0090】
画像表示メモリ24に記憶された画像データは、画像処理部20で変換された画像データの他に被写体の顔などの特徴位置を求めるフォーカス情報または固定位置に配置されたピント確認位置とピントが一致した場所の情報やカメラ姿勢検知部106の情報などの撮影情報も一緒に記憶される。画像表示メモリ24に記憶されたデータは、メモリカード等の記憶媒体200,210(記録部200、210)に記録される。画像データを記憶媒体200,210に記録する際には、一般的に所定の圧縮形式、例えばJPEG方式でデータ圧縮が行われる。圧縮伸長部32は、画像データや撮影情報を記憶媒体200,210に記録する際のデータ圧縮、及び記憶媒体200,210から圧縮された画像データの伸長処理を行う。記憶媒体200は、例えばCF(コンパクトフラッシュ)メモリカード、SD(エスディ)メモリカードのことである。
【0091】
不揮発性メモリ56は記憶されたデータ等を電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。メモリ52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。通信部は、通信機能を有する。アンテナ(有線通信の場合はコネクタ)112は、通信部によりデジタルカメラを、パケット網、ネットワーク、インターネットを介して他の機器と接続する。コネクタ82,84は、電源制御部80と電源86とを接続する接続部である。電源86は、アルカリ電池やリチウム電池等の一次電池、NiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
【0092】
画像表示メモリ24に書き込まれた表示用の画像データはD/A変換回路26を介して画像表示部28により表示される。画像データを画像表示部28に逐次表示することで、電子ファインダ機能を実現することが可能である。光学ファインダ104は、画像表示部28による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。
【0093】
タイミング発生回路18は、メモリ制御部22及びシステム制御部112により制御される。メモリ30は撮影した静止画像や動画像を格納するためのメモリである。バリア制御部46は保護部102の動作を制御する。モードダイアルスイッチ60は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することができる。再生モードスイッチ66は、本実施の形態で説明している画像再生処理を実行させるためのモードスイッチである。姿勢モードスイッチ68は、カメラを縦位置で撮影しているか横位置で撮影しているかを自動的に判断するスイッチである。
【0094】
記憶媒体200は、半導体メモリや磁気ディスク等から構成される記録部202と、デジタルカメラ100との間のインターフェースであるI/F204と、デジタルカメラと接続を行うコネクタ206とを備える。記憶媒体210は、半導体メモリや磁気ディスク等から構成される記録部212と、デジタルカメラとの間のインターフェースであるI/F214と、デジタルカメラと接続を行うコネクタ216とを備える。I/F90,94はメモリカードやハードディスク等の記憶媒体200,210とシステムバスとを接続するインターフェースである。コネクタ92,96は、メモリカードやハードディスク等の記憶媒体200,210とI/F90,94とを接続する接続部である。記憶媒体着脱検知手段98は、コネクタ92,96に記憶媒体200,210が装着されているか否かを検知するセンサである。
【0095】
この撮像装置であるデジタルカメラで撮影される画像データには、デジタルカメラ側で撮影情報が付加されている。撮影情報は、図13に示すように、所定の形式で画像データに付加された撮影日時や縮小画像(サムネイル画像)、フォーカス情報などである。デジタルカメラで撮影された画像データのフォーマット1301には、ファイル名1302、撮影情報エリア1303、属性情報エリア1304、画像データエリア1305がある。
【0096】
図13において、デジタルカメラで撮影された画像データ1302(ファイル名:200912070001.jpg)の撮影情報エリア1303には、フォーカス登録個数を含むパラメータ情報と、それぞれのフォーカスエリアの情報であるフォーカス情報とを構成している。このフォーカス情報は、フォーカス登録個数分格納されている。フォーカス情報には、座標情報として、各フォーカスエリアの位置(座標位置)、大きさ(幅と高さ)が情報として構成されている。なお、ここでいうフォーカスエリアとは、人物の顔検出機能を用いて検出された顔の領域のことである。
【0097】
次に、属性情報エリアには、各フォーカスエリアでフォーカスされている人物の顔の領域に対して、その人物を識別する情報が記憶できる。後述するが、本実施形態の撮像装置では、人物の名称をユーザ操作に応じて登録する機能を備えている。その機能を用いて入力された人物を識別する情報(識別情報:ここでは、名称)がこの増勢情報エリアに記憶される。
【0098】
画像データエリアには、オリジナルの画像が格納されている。画像データは、所定の圧縮形式、例えば、JPEG方式でデータ圧縮がなされているが、これに限定されるものではない。記憶装置504には、圧縮・伸長を行うソフトウェアが記憶されており、RAM502に取り込んだ撮影情報を含む画像データの圧縮や圧縮された画像データの伸長処理を行う。
【0099】
次に図14を用いて、デジタルカメラの操作画面と装置本体の説明を行う。図14(A)は、デジタルカメラの操作画面とデジタルカメラ本体であり、1401はシャッターボタン(図12で言うシャッタースイッチ62)であり、ユーザがシャッター1401を押下することで、被写体が撮影され、画像データが記憶部に記憶される。1402は、表示画面であり、タッチパネル機能を備えており、ユーザが指で画面をさわることにより、触った位置を検出して、さまざまなユーザインタフェースを構築することができる。なお、表示部がタッチパネルになっているデジタルカメラは近年では主流となってきており、タッチパネルについての詳細な説明は省略する。1403は操作コントロール(図12で言う操作部70)であり、上下左右を押すことで、プレビュー表示されている画像の切替指示ができたり、機能項目を選択するときに項目切り替えを行ったりすることができる。また、1403の中央部のFUNC−SETボタン(以下、操作指示部)は、機能の設定を行ったり、決定の意思を表すために利用されるボタンである。1404はプレビュー開始ボタン(図12で言う再生モードスイッチ66)であり、このボタンが押下されると、撮像モードからプレビュー表示モードに切り替えることができる。1405はメニューボタンであり、このメニューボタンが押下されると、撮像時のパラメータ等の撮影条件を設定することができる。
【0100】
1406は、顔検出された領域を示すフォーカス枠を示しており、実際に表示領域1402に、撮像されている画像データとともにフォーカス枠として重ねて表示されている。なお、このフォーカス枠は、ユーザにより顔の領域がタッチパネルで選択されることにより、重ねて表示されている。つまり、右側に移っている人物には、タッチパネルでタッチされていないため、フォーカス枠が表示されていないのである。
【0101】
1407は、一覧コントロールであり、表示部に表示されているタッチパネルで操作するためのコントロールである。タッチパネルでこの領域が選択されると、画像の一覧表示、すなわち複数のサムネイル画像が並べて表示されるモードに切り替わる。
【0102】
また、本実施の形態では、フォーカス枠1406が表示されている状態で、メニューボタン1405が押下されると、名前登録モードに移行することができるものとする。名前登録モードについては、図14(B)を用いて説明する。
【0103】
図14(B)では、検出された顔の領域が表示され、その顔の人物を識別する情報として、ユーザが名前を登録するための画面の一例である。1410には、選択対象の人物の顔の領域(フォーカス領域)が表示されており、この人物の名称を登録することをユーザが認識可能となっている。
【0104】
1408は、名称入力欄であり、ユーザにより入力設定された名前が表示される。なお、未入力時はブランクとなっている。1409は、文字入力コントロールであり、タッチパネルを用いて文字の入力が行えるようになっている。本実施の形態では、50音を、行ごとに表示されており、たとえば「あ」を選択して、決定ボタン(操作コントロール1403の中央部)を押下すると「あ」が確定され、決定ボタンが押下されずに、もう一度「あ」がタッチされると表示が「い」に切り替わる。このように、順次押下することで、列を変更することが可能となっている。ここで、顔に対して名前が登録されると、図13の属性情報エリアのフォーカスエリアに名前が登録され、画像ファイル内に、画像データととともに格納されることになる(記憶手段)。
【0105】
そして、図14(A)のプレビュー画像が表示されている状態で、操作コントロール1403の右が押下されると、画像が図14(C)のように切り替わる。なお、ここでは、1406の人物である「山田太郎」がタッチされて選択されている状態(フォーカス枠が表示)で、画像切替の指示がなされたため、「山田太郎」が映っている画像が選択されて、切替処理が行われた例であり、そのため、人物の顔のフォーカスエリアに、フォーカス枠が重ねて表示されている。
【0106】
次に図15を用いて、デジタルカメラの操作画面の遷移について説明を行う。図15(A)では、図14(A)とは異なり、右側の人物の顔の領域がユーザによりタッチされ、フォーカス枠1501が表示された状態を示している。この状態で、画像切替の指示がなされると、同一の人物の識別情報を有する別の画像に切り替わり、図15(B)のように表示が遷移される。図15(B)では、同じ識別情報を有するフォーカスエリアにフォーカス枠が重ねて表示され、この人物による画像切替であることを操作者は認識することができる。
【0107】
次に図16を用いて、デジタルカメラの操作画面の遷移について説明を行う。図16の上の図では、図15(A)や図14(A)と異なり、二人の人物の顔の領域がユーザによりタッチされ、フォーカス枠1601と1602が表示された状態を示している。この状態(複数のフォーカスエリアが選択)で、画像切替の指示がなされると、選択されている複数の人物に対して、同一の人物の識別情報を有する別の画像に切り替わるため、図16の下図のように表示が遷移される。図16の下図1603では、複数の同じ識別情報を有するフォーカスエリアにフォーカス枠が重ねて表示され、この人物による画像切替であることを操作者は認識することができる。
【0108】
図17は、本実施の形態における、画像表示装置の記憶部(図12の記憶媒体200、図2の外部メモリ1211)に記憶されている画像データの一例である。各ファイルには、ファイル名1302として、「200912010001.jpg」から「200912010005.jpg」のように、シリアル番号でファイル名が生成されている。ここで、通常のプレビューにおける順送り表示では、所定の順序として、このシリアル番号順に画像が切り替わるものとするがこれに限るものではなく、撮影情報エリア1303にある撮影日時の順に表示してもよい。また、ファイル名とシリアル番号を別に管理し、表示をファイル名順に表示するようにしてもよい。
【0109】
また、「200912010001.jpg」の属性情報エリアには、名前「山田太郎」と「鈴木花子」が登録されているものとする。「200912010002.jpg」の属性情報エリアには、人物の顔がないため、なにも登録されていない。または、犬の名前が登録されていてもよい。「200912010003.jpg」の属性情報エリアには、少なくとも名前「山田太郎」が登録されているものとする。「200912010004.jpg」の属性情報エリアには、少なくとも名前「山田太郎」と「鈴木花子」とが登録されているものとする。「200912010005.jpg」の属性情報エリアには、名前「鈴木花子」が登録されているものとする。
【0110】
そして図14(A)で説明したように、ファイル名「200912010001.jpg」が表示され、かつ「山田太郎」が選択された状態で画像切替の指示が操作コントロール1403(画像切替指示手段)によりなされた場合には、シリアル番号順の「200912010002.jpg」を表示せずに、次に同一の識別情報(名前)である「山田太郎」が含まれる画像である「200912010003.jpg」に表示が切り替わっていることが説明できる。
次に図18を用いて、デジタルカメラの操作画面における一覧表示を行う場合の画面の遷移について説明を行う。
【0111】
図18(A)のプレビュー画像(「200912010001.jpg」)が表示されている状態で、一覧表示指示部である一覧コントロール1802がタッチされると、表示部1800に表示されている画像が、図18(B)のように切り替わる。すなわち、フォーカス枠1801で選択状態となっている人物の顔の識別情報(「山田太郎」)と同一の識別情報を含む画像が図17の記憶されている画像群の中から特定され、その特定された複数の画像が表示領域1803に一覧表示される。この一覧表示では、画像データエリア1305にある画像を縮小表示してもいいし、あらかじめ用意されている、撮影情報エリア1303にあるサムネイル画像データを用いて一覧表示してもよい。
このように、図14〜図18で説明した操作画面の遷移を行うための処理手順について、図19、図20、図21のフローチャートを用いて説明する。
【0112】
図19は、画像表示装置である撮像装置による全体処理の一例を示すフローチャートである。なお、ステップS1901〜ステップS1914の各ステップは、撮像装置のシステム制御部112と、このシステム制御部112とともに動作する各制御部とが実行することになる。
【0113】
ステップS1901では、撮像装置の撮影モードであるか否かを判断する。撮像装置の電源66がONされたときに、初期状態では撮像モードになっている。撮影モードであると判断された場合は、ステップS1902に処理を進める。
【0114】
ステップS1902では、撮像素子14から取り込まれた画像を画像処理部20が処理するで、撮影されている(取り込まれている)画像に人物の顔の領域があるかを判定(顔認識処理)し、測距制御部42を用いて被写体に焦点を合わす(フォーカス処理)ことが行われる。
【0115】
そして、ステップS1903では、シャッタースイッチ64(シャッター1401)が押下されたかを判断し、押下された場合には、ステップS1904で、撮像した画像を記憶媒体200または201に記憶する。シャッタースイッチ64(シャッター1401)が押下されない場合、また、ステップS1904で撮像した画像を記憶媒体に記憶した場合には、ステップS1901に処理を戻す。
【0116】
ステップS1901で撮影モードではないと判断された場合には、ステップS1905でプレビューモードであるか判断する。再生モードスイッチ66(プレビューボタン1404)が押下されると、本撮像装置は、プレビューモードに移行することになる。また、プレビューモードで、再生モードスイッチ66(プレビューボタン1404)が押下されると、撮影モードに戻ることになる。
【0117】
S1905でプレビューモードではないと判断された場合にはステップS1913でその他の処理を行うS1914に処理が移る。その他の処理は、本発明では関係がない処理であるので説明は省略する。
【0118】
S1905でプレビューモードであると判断された場合、すなわち、再生モードスイッチ66(プレビューボタン1404)が押下され、画像を表示する指示を受け付けた場合には、ステップS1906で、図14(A)に示すように、画像表示部28(1402)に画像を表示する。ここで表示される画像は、記憶媒体200(201)に記憶されている画像がI/Fを介して読み込まれたものであるが、最初に表示する画像は、撮影日時が一番新しい画像であることが望ましい。なぜなら、撮影した画像をプレビュー表示して確認するケースが一番多いためである。しかしながら最初に表示する画像は、本発明ではなんでもよい。
【0119】
次にステップS1907で名前登録モードの指示がなされたかを判断する。図14で説明したように、フォーカス枠(1406)が表示されている状態で、メニューボタン1405が押下されると、名前登録モードに移行することができる。名前登録モードであると判断された場合には、ステップS1908で、フォーカス枠で選択された画像の人物名を登録する処理が行われる。具体的な操作は、図14(B)で説明したとおりである。また、本第2の実施の形態では、記憶されている画像に含まれる人物の顔を指定し、かつ、該人物の顔の識別情報とする文字列をユーザ操作に応じて入力することにより、該入力された文字列を名前(識別情報)として画像に付与する(手動付与手段)ことができる。しかしながら、撮像装置に、本第1の実施の形態の画像管理サーバ側の処理で説明したように、画像を解析して、人物の顔の領域の画像特徴量を取得し、得られた画像特徴量を用いて、類似する人物の顔があるか判定することにより、類似する人物の顔と同じ識別情報を、画像特徴量を取得した画像に付与する(自動付与手段)機能を持たせてもよい。
【0120】
次に、名前登録モードでない場合には、ステップS1909で、画像切替の指示がなされたか否かを判断する。画像切替の指示は、前述したように、画像のプレビューが表示されている状態で、操作コントロール1403(画像切替指示手段)の左右が押下されることにより行われる。画像切替指示がなされた場合には、ステップS1910で画像切替処理が行われる。この画像切替処理の詳細は、図20で後述する。
【0121】
画像切替指示が行われないと、ステップS1911で、一覧表示指示がなされたか否かを判断する。一覧表示の指示は、前述したように、一覧ボタン1407(一覧表示指示手段)が押下されることにより行われる。一覧表示指示がなされた場合には、ステップS1912で一覧表示処理が行われる。この一覧表示処理の少佐は、図21で後述する。
【0122】
次にステップS1914では、電源がOFFされたかを判断する。電源がOFFされると撮像装置の電源供給が停止し処理を終了する。また電源OFFされるまでは、ステップS1901に処理を戻して、各処理を繰り返すことができるようになっている。
【0123】
次に、図20を用いて、撮像装置における画像切替処理を説明する。なお、図19と同様に、各ステップは、撮像装置のシステム制御部112と、このシステム制御部112とともに動作する各制御部とが実行することになる。
【0124】
ステップS2001では、画像切替指示された際に、人物指定モードであるか判断する。この人物指定モードとは、具体的には、図14(A)、(C)で説明したように、人物の顔の領域が選択され、フォーカス枠が表示されている状態で、画像切替指示がなされたかを判断する。フォーカス枠が表示されている状態であれば、人物指定モードであると判断されて、ステップS2003に処理を進める。また、フォーカス枠がなく、人物の顔が選択されていない状態で、画像切替指示がなされた場合には、人物指定モードではないと判断されて、ステップS2002に処理を進める。
【0125】
ステップS2002では、通常のプレビュー画像の切替処理として、次のシリアル番号の画像を記憶媒体200(201)から読みだして画像表示部に表示する。なお、前述したように、画像の表示順序は所定の順序であればよく、シリアル番号順、撮影日時順、ファイル名順のいずれであってもよい。画像の表示切替を行ったら、画像切替処理は終了して、図19のステップS1914に処理を戻す。
【0126】
一方、人物指定モードである場合には、ステップS2003で、同一名の顔領域を含む画像を抽出する。すなわち、記憶媒体200(201)に記憶されている複数の画像のうち、現在選択されている人物の顔を識別する識別情報(名前)と同じ識別情報(名前)の人物の顔の領域を含む画像(つまり属性情報エリアの名前が同じ画像)を特定する。同じ識別情報を有する画像が特定されたら、ステップS2004で、特定された画像のうち、上記の所定の順序(例えば、シリアル番号順)でソートする。そして、ステップS2005で、ソートされた順序において、次の画像に相当する画像を記憶媒体200から読み込んで画像表示部に表示する。この表示が終わったら、画像切替処理は終了して、図19のステップS1914に処理を戻す。
【0127】
なお、図20の説明では、ステップS2003〜S2005で、画像抽出、ソート、次の画像を表示の手順で説明したが、本発明の技術的特徴はこの手順に限るものではなく、所定の順序で1つづつ画像の属性情報に同一の識別情報が含まれているか判断し、含まれていたらその画像を表示し、含まれていなければ次の順序の画像について同様の処理を繰り返すように実現してもよい。すなわち、記憶媒体(記憶手段)に記憶されている複数の画像のうち、フォーカス枠で選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し、特定された画像を表示部に表示することができればよい。
【0128】
また、図16で説明したように、複数の人物の顔の領域がフォーカス枠で選択されている状態で画像切替の指示がなされた場合であっても、選択されているすべての顔の識別情報を用いて、画像の特定を行うことができる。つまり、2つの顔が選択されている場合には、2つの顔の識別情報の両方を含む異なる画像をステップS2003で特定することになる。このように実現することで、図16の下図のように「200912010001.jpg」から「200912010004.jpg」に表示を切り替えることができる。
【0129】
次に、図21を用いて、撮像装置における一覧表示処理を説明する。なお、図19と同様に、各ステップは、撮像装置のシステム制御部112と、このシステム制御部112とともに動作する各制御部とが実行することになる。
【0130】
ステップS2101では、一覧表示指示された際に、人物指定モードであるか判断する。この人物指定モードとは、具体的には、図14(A)、(C)で説明したように、人物の顔の領域が選択され、フォーカス枠が表示されている状態で、一覧表示指示(一覧ボタン1407タッチ)がなされたかを判断する。フォーカス枠が表示されている状態であれば、人物指定モードであると判断されて、ステップS2103に処理を進める。また、フォーカス枠がなく、人物の顔が選択されていない状態で、一覧表示指示がなされた場合には、人物指定モードではないと判断されて、ステップS2102に処理を進める。
【0131】
ステップS2102では、通常の一覧表示処理として、シリアル番号順に画像を記憶媒体200(201)から読みだして画像表示部に読みだした画像を一覧表示する。前述したように、この一覧表示では、画像データエリア1305にある画像を縮小表示してもいいし、あらかじめ用意されている、撮影情報エリア1303にあるサムネイル画像データを用いて一覧表示してもよい。すべての画像の一覧が表示部1800に表示できない場合には、読みだした画像を、所定の順序で配置可能な分だけ配置して表示することになる。この所定の順序は、上述しているように、シリアル番号順、撮影日時順、ファイル名順のいずれであってもよい。画像の一覧表示処理を行ったら、一覧表示処理は終了して、図19のステップS1914に処理を戻す。
【0132】
一方、人物指定モードである場合には、ステップS2103で、同一名の顔領域を含む画像を抽出する。すなわち、記憶媒体200(201)に記憶されている複数の画像のうち、現在選択されている人物の顔を識別する識別情報(名前)と同じ識別情報(名前)の人物の顔の領域を含む画像(つまり属性情報エリアの名前が同じ画像)を特定する。同じ識別情報を有する画像が特定されたら、ステップS2104で、特定された画像のうち、上記の所定の順序(例えば、シリアル番号順)でソートする。そして、ステップS2105で、ソートされた順序において、順番に複数の画像を記憶媒体200から読み込んで画像表示部に一覧表示する。この表示が終わったら、一覧表示処理は終了して、図19のステップS1914に処理を戻す。前述したように、この一覧表示では、画像データエリア1305にある画像を縮小表示してもいいし、あらかじめ用意されている、撮影情報エリア1303にあるサムネイル画像データを用いて一覧表示してもよい。
【0133】
なお、ステップS2105の処理では、図18(B)の1803のように表示領域内に対象となるすべての画像が表示される場合はこのまま対応し、すべての画像が表示できない場合には、上記の順序で配置できる数分だけ(例えば、4枚、や9枚等)配置することになる。配置しきれない画像は、一覧表示されている状態で、操作コントロール1403の右が押下されると残りの画像の一覧表示が行われるものとする。
【0134】
以上説明した本実施形態によれば、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけを順次表示することが複雑な設定操作を行わずに実現できる。また、記憶部に記憶されたすべての画像データの中で、ユーザが所望とする複数の画像データだけで一覧表示することが複雑な設定操作を行わずに実現できる。
【0135】
また、本発明におけるプログラムは、図19〜図21に示すフローチャートの処理に従って画像表示装置である撮像装置が読み取り実行可能なプログラムであり、本発明の記憶媒体は図19〜図21の処理方法を画像表示装置が読み取り実行可能なプログラムを記憶されている。
(本発明の他の実施形態)
【0136】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0137】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0138】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。
【0139】
また、画像管理サーバ110、情報処理端末、コンピュータ、または撮像装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0140】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0141】
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【0142】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【0143】
また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。
【符号の説明】
【0144】
100 LAN
110 画像管理サーバ
130 情報処理端末
1201 CPU
1202 ROM
1203 RAM
1210 表示部(操作部)
1211 外部メモリ

【特許請求の範囲】
【請求項1】
画像を表示する表示部を備える画像表示装置であって、
人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段と、
前記記憶手段に記憶されている画像を表示部に表示する表示制御手段と、
前記表示制御手段により表示部に表示されている画像の表示切替を指示する切替指示手段と、
前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断手段と、
前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定手段と、
前記表示制御手段を用いて、前記表示部に表示されている画像を、前記特定手段により特定された画像に切り替える切替手段と
を備えることを特徴とする画像表示装置。
【請求項2】
前記表示制御手段により表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、
前記表示制御手段を用いて、前記表示部に画像の一覧を表示する一覧表示手段とをさらに備え、
前記一覧表示指示手段により画像の一覧表示が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記特定手段は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し、
前記一覧表示手段は、前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示することを特徴とする請求項1記載の画像表示装置。
【請求項3】
前記記憶手段により記憶された前記画像を解析して、人物の顔の領域の画像特徴量を取得する特徴量取得手段と、
前記特徴量取得手段で取得された画像特徴量を用いて、類似する人物の顔があるか判定することにより、類似する人物の顔と同じ識別情報を、前記画像特徴量を取得した画像に付与する自動付与手段とをさらに備えることを特徴とする請求項1または2に記載の画像表示装置。
【請求項4】
前記記憶手段に記憶されている画像に含まれる人物の顔を指定し、かつ、該人物の顔の識別情報とする文字列をユーザ操作に応じて入力することにより、該入力された文字列を前記識別情報として前記画像に付与する手動付与手段をさらに備えることを特徴とする請求項1乃至3のいずれか1項に記載の画像表示装置。
【請求項5】
前記画像表示装置は、撮影対象を撮像して画像を生成する撮像部を備える撮像装置であることを特徴とする請求項1乃至4のいずれか1項に記載の画像表示装置。
【請求項6】
前記判断手段は、前記表示されている画像に含まれる複数の人物の顔の領域が選択されているか否か判断することが可能であり、
前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により複数の人物の顔の領域が選択されていると判断されている場合に、前記特定手段は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている複数の人物の顔の識別情報を同じ識別情報をすべて有する画像を特定することを特徴とする請求項5記載の画像表示装置。
【請求項7】
前記画像表示装置は、前記画像データを記憶する画像管理サーバと、該画像管理サーバとネットワークを介して通信可能な情報端末装置とで構成されていることを特徴とする請求項1乃至4のいずれか1項に記載の画像表示装置。
【請求項8】
前記情報端末装置から前記画像表示装置に、前記情報端末装置においてクリックされた画像上の位置が送信され、
前記画像表示装置では、クリックされた画像上の位置から、人物の顔の領域が選択されているかを判断することを特徴とする請求項7に記載の画像表示装置。
【請求項9】
前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていないと判断されている場合には、前記切替手段は、前記表示制御手段を用いて、前記表示部に表示されている画像を、所定の順序で、次の画像に切り替え、
前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合には、前記切替手段は、前記表示制御手段を用いて、前記表示部に表示されている画像を、前記特定手段により特定された画像であって前記所定の順序で、次の画像に切り替えることを特徴とする請求項1乃至8のいずれか1項に記載の画像表示装置。
【請求項10】
画像を表示する表示部を備え、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段から画像の読み出しが可能な画像表示装置における画像表示方法であって、
前記画像表示装置の表示制御手段が、前記記憶手段に記憶されている画像を表示部に表示する表示制御工程と、
前記画像表示装置の切替指示手段が、前表示部に表示されている画像の表示切替を指示する切替指示工程と、
前記画像表示装置の判断手段が、前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断工程と、
前記画像表示装置の特定手段が、前記切替指示工程で画像の表示切替が指示されており、かつ、前記判断工程で人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定工程と、
前記画像表示装置の切替手段が、前記表示部に表示されている画像を、前記特定工程で特定された画像に切り替える切替工程と
を含むことを特徴とする画像表示方法。
【請求項11】
前記画像表示装置の一覧表示指示手段が、前記表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、
前記画像表示装置の一覧表示手段が、前記表示部に画像の一覧を表示する一覧表示工程とをさらに含み、
前記一覧表示指示工程で画像の一覧表示が指示されており、かつ、前記判断工程で人物の顔の領域が選択されていると判断されている場合に、前記特定工程は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し、
前記一覧表示工程は、前記表示部に、前記特定工程で特定された複数の画像の一覧を表示することを特徴とする請求項10記載の画像表示方法。
【請求項12】
画像を表示する表示部を備え、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段から画像の読み出しが可能な画像表示装置で読み取り実行可能なプログラムであって、
前記画像表示装置を、
前記記憶手段に記憶されている画像を表示部に表示する表示制御手段と、
前記表示制御手段により表示部に表示されている画像の表示切替を指示する切替指示手段と、
前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断手段と、
前記切替指示手段により画像の表示切替が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定手段と、
前記表示制御手段を用いて、前記表示部に表示されている画像を、前記特定手段により特定された画像に切り替える切替手段と
して機能させることを特徴とするプログラム。
【請求項13】
前記画像表示装置を、
前記表示制御手段により表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、
前記表示制御手段を用いて、前記表示部に画像の一覧を表示する一覧表示手段としてさらに機能させ、
前記一覧表示指示手段により画像の一覧表示が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記特定手段は、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定し、
前記一覧表示手段は、前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示することを特徴とする請求項12記載のプログラム。
【請求項14】
画像を表示する表示部を備える画像表示装置であって、
人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段と、
前記記憶手段に記憶されている画像を表示部に表示する表示制御手段と、
前記表示制御手段により表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、
前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断手段と、
前記一覧表示指示手段により画像の一覧表示が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定手段と、
前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示する一覧表示手段と
を備えることを特徴とする画像表示装置。
【請求項15】
画像を表示する表示部を備え、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段から画像の読み出しが可能な画像表示装置における画像表示方法であって、
前記画像表示装置の表示制御手段が、前記記憶手段に記憶されている画像を表示部に表示する表示制御工程と、
前記画像表示装置の一覧表示指示手段が、前記表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示工程と、
前記画像表示装置の判断手段が、前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断工程と、
前記画像表示装置の特定手段が、前記一覧表示指示工程で画像の一覧表示が指示されており、かつ、前記判断工程で人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定工程と、
前記画像表示装置の一覧表示手段が、前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示する一覧表示工程と
を備えることを特徴とする画像表示方法。
【請求項16】
画像を表示する表示部を備え、人物の顔の領域を含む画像と、当該画像に含まれる人物の顔を識別する識別情報とを記憶する記憶手段から画像の読み出しが可能な画像表示装置で読み取り実行されるプログラムであって、
前記画像表示装置を、
前記記憶手段に記憶されている画像を表示部に表示する表示制御手段と、
前記表示制御手段により表示部に画像を一覧で表示することを示す一覧表示を指示する一覧表示指示手段と、
前記表示されている画像に含まれる人物の顔の領域が選択されているか否か判断する判断手段と、
前記一覧表示指示手段により画像の一覧表示が指示されており、かつ、前記判断手段により人物の顔の領域が選択されていると判断されている場合に、前記記憶手段に記憶されている複数の画像のうち、前記選択されている人物の顔を識別する識別情報と同じ識別情報の人物の顔の領域を含む画像を特定する特定手段と、
前記表示制御手段を用いて、前記表示部に、前記特定手段により特定された複数の画像の一覧を表示する一覧表示手段と
して機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2011−123710(P2011−123710A)
【公開日】平成23年6月23日(2011.6.23)
【国際特許分類】
【出願番号】特願2009−281335(P2009−281335)
【出願日】平成21年12月11日(2009.12.11)
【出願人】(390002761)キヤノンマーケティングジャパン株式会社 (656)
【Fターム(参考)】