情報処理装置、情報処理方法及びプログラム
【課題】ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させる。
【解決手段】取得部１０１６は、ユーザによって指定された画像データの一部の領域を特定する。順序付け部１０１８は、上記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、複数の画像データの表示順序を制御する。
【解決手段】取得部１０１６は、ユーザによって指定された画像データの一部の領域を特定する。順序付け部１０１８は、上記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、複数の画像データの表示順序を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが注目する領域に関連する画像データを優先的に表示させるための技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等に用いられる内蔵メモリの小型化、大容量化が促進され、大量の画像データが蓄積されるようになった。これにより、過去に撮影した画像データの蓄積数も増え、ユーザが多数の画像データの中から所望の画像データを見つけ出すのに長時間を要す等の問題があった。
【０００３】
特許文献１には、写真の中の顔領域を検出し、顔領域の類似性に基づいて写真をグループ化することにより、同じ顔が写った写真を効率よく探すことができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１１７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術では、写真に複数の人の顔、例えば、Ａ、Ｂ、Ｃの３人の顔が写っている場合、Ａに興味がある場合でも、ＢやＣが写った写真も同一グループ化されてしまう可能性がある。このため、Ａが写った写真を探し出す妨げになるという問題がある。
【０００６】
そこで、本発明の目的は、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることにある。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、ユーザによって指定された画像データの一部の領域を特定する特定手段と、前記特定手段により特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る情報処理装置である携帯端末の構成を示す図である。
【図２】本発明の実施形態において表示対象となる画像データについて説明するための図である。
【図３】保持部において保持される各画像データのメタデータの例を示す図である。
【図４】ユーザによる操作に応じてタッチパネル１００２上に画像データを表示する処理を示すフローチャートである。
【図５】一致度の算出処理を示すフローチャートである。
【図６】キャッシュ上の画像データの格納状態と画像データの表示状態との関係を示す図である。
【図７】画像データに対するピンチ操作の例を説明するための図である。
【図８】画像データの閲覧時にオブジェクト認識を実行する場合の処理を示すフローチャートである。
【図９】本発明の第２の実施形態について説明するための図である。
【図１０】画像データを拡大したときに、人物Ａの一部が表示されている様子を示す図である。
【図１１】画像データに付与されるメタデータの例を示す図である。
【図１２】本発明の第３の実施形態について説明するための図である。
【図１３】本発明の第４の実施形態について説明するための図である。
【図１４】本発明の第５の実施形態について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
先ず、本発明の第１の実施形態について説明する。第１の実施形態に係る情報処理装置は携帯電話であるものとする。本実施形態において、画像データは写真のデジタルデータであり、画像データ中のオブジェクトは写真に写った人物であるものとする。なお、写真に写っている人物に関する情報がメタデータとして予め画像データに付与されているものとする。以下では、上記のような画像データを携帯端末上でブラウズする場合について説明する。
【００１２】
ユーザはフリック操作により、画像データを左右に移動させることで、様々な画像データを閲覧することができる。ここでフリック操作とは、タッチパネル上で指を滑らせるように移動する操作であり、画像データを左右に移動させることを意図した操作である。また、ユーザはピンチ操作により、表示中の画像データを、任意の位置を中心に拡大や縮小させることができる。ピンチ操作とは、２本の指をタッチパネル上で滑らせることにより、拡大や縮小を指示する操作である。
【００１３】
図１は、本実施形態に係る情報処理装置である携帯端末の構成を示す図である。即ち、図１（ａ）は、携帯端末の外観を示している。図１（ｂ）は、携帯端末の機能的な構成を示している。図１（ｃ）は、携帯端末のハードウェア構成を示している。
【００１４】
図１（ａ）において、１００１は携帯端末である。１００２は携帯端末１００１のタッチパネル（ＬＣＤ）である。
【００１５】
図１（ｂ）において、１０１１は入力部である。入力部１０１１は、タッチパネル１００２に対するタッチ入力を受け付けるものであり、マルチタッチ入力を受け付けることが可能である。１０１２は表示部であり、タッチパネル１００２上に画像データを表示する。１０１３は拡大・縮小部である。拡大・縮小部１０１３は、タッチパネル１００２上におけるマルチタッチによるピンチ操作により、表示されている画像データを拡大又は縮小する。
【００１６】
１０１４はスクロール部である。スクロール部１０１４は、タッチパネル１００２上のフリック操作により、画像データを左右方向へ移動させる。１０１５は保持部であり、複数枚の画像データを保持する。１０１６は取得部であり、保持部１０１５から画像データを取得する。１０１７はキャッシュ部であり、表示する順序に従って画像データを後述のＲＡＭ１０２２上に保持する。１０１８は順序付け部であり、ＲＡＭ１０２２上に保持される画像データの順序を変更する。１０１９は抽出部である。抽出部１０１９は、画像データに付与されるメタデータから、当該画像データに写っている人物に関する情報を抽出することにより、当該画像データに写っている人物を同定する。
【００１７】
図１（ｃ）において、１０２１はＣＰＵであり、後述する携帯端末１００１の動作手順を実現するためのプログラムを実行する。１０２２はＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する。１０２３はＲＯＭであり、上記プログラムを保持する。１０２４はタッチパネルである。１０２５はメモリカードであり、画像データを記録する。１０２６は上記各構成を接続するバスである。
【００１８】
なお、入力部１０１１、拡大・縮小部１０１３、表示部１０１２、スクロール部１０１４、取得部１０１６、キャッシュ部１０１７、順序付け部１０１８、抽出部１０１９は、ＣＰＵ１０２１がＲＯＭ１０２３から上記プログラムをＲＡＭ１０２２にロードし、実行することにより実現する構成である。保持部１０１５はメモリカード１０２５に対応する構成である。タッチパネル１０２４は図１のタッチパネル１００２に対応する構成である。
【００１９】
図２（ａ）は、保持部１０１５において保持される、画像データＰ２００１と当該画像データＰ２００１に付与されるメタデータ２００２とを示している。メタデータ２００２は、画像データＰ２００１に写っている人物を識別する情報（Ａ、Ｂ、Ｃ等）と、その人物の画像データＰ２００１中における座標位置とを有している。ここで座標位置は、画像データＰ２００１の左上を原点として、右端のｘ座標を１００、下端のｙ座標を１００とした値である。
【００２０】
図２（ｂ）は、ＲＡＭ１０２２における画像データの格納状態とタッチパネル１００２（１０２４）上における画像データの表示状態との関係を示している。キャッシュ部１０１７は、ＲＡＭ１０２２の一部記憶領域であるキャッシュ２０１１を管理する。キャッシュ部１０１７は、取得部１０１６を介して保持部１０１５から複数の画像データを取得し、各画像データを、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］のうちの何れかの位置に書きこむ。表示部１０１２は、キャッシュ２０１１の［０］の位置に書き込まれた画像データＰをタッチパネル１００２上に表示する。順序付け部１０１８は、メタデータに基づいて、キャッシュ２０１１内に保持される画像データの順序を決定する。
【００２１】
図３は、保持部１０１５において保持される各画像データのメタデータの例を示す図である。図３の３００１は、画像データＱのメタデータを示しており、図３の３００２は、画像データＲのメタデータを示しており、図３の３００３は、画像データＳのメタデータを示している。なお、図２（ａ）に示すように画像データＰには人物Ａ、Ｂ、Ｃが写っている。これに対し、図３の３００１に示すように画像データＱには人物Ａ、Ｂが写っている。ここで取得部１０１６は、画像データＰに写っている人物のうち、何人の人物が画像データＱに写っているかを表す再現率を次のように算出する。
再現率＝２人（＝Ａ、Ｂ）／３人（＝画像データＰに写っている人物数）＝２／３
また取得部１０１６は、画像データＱに写っている人物のうち、何人の人物が画像データＰに写っているかを表す適合率を次のように算出する。
適合率＝２人（＝Ａ、Ｂ）／２人（＝画像データＱに写っている人物数）＝１
そして取得部１０１６は、画像データＰと画像データＱとの一致度を、再現率と適合率との積により次のように算出する。
画像データＰと画像データＱとの一致度＝再現率×適合率＝２／３×１＝２／３
【００２２】
同様にして、取得部１０１６は、画像データＰと画像データＲとの一致度、画像データＰと画像データＳとの一致度を次のように算出する。
画像データＰと画像データＲとの一致度＝２／２×２／２＝１
画像データＰと画像データＳとの一致度＝２／３×１／２＝２／３
【００２３】
取得部１０１６は、保持部１０１５に保持された画像データの中から、上記のようにして算出した一致度が閾値以上（例えば、１／２以上）の画像データだけを取得する。そして、順序付け部１０１８は、取得部１０１６によって取得された画像データを、一致度の高いものから順次、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］の位置に格納していく。
【００２４】
次に、図４のフローチャートを参照しながら、ユーザによる操作に応じてタッチパネル１００２上に画像データを表示する処理について説明する。ステップＳ４０１において、入力部１０１１は、ユーザがタッチパネル１００２上でフリック操作をしたか否かを判定する。フリック操作があった場合、処理はステップＳ４０２に移行する。一方、フリック操作がない場合、処理はステップＳ４０３に移行する。
【００２５】
ステップＳ４０２において、表示部１０１２は、ユーザのフリック操作に応じて画像データを右方向又は左方向に移動させる。例えば、画像データＰ（キャッシュ２０１１上の［０］の位置の画像データ）が表示されている状態でユーザが左方向にフリックした場合、表示部１０１２は、表示中の画像データＰを画面外まで左方向に移動させる。同時に、表示部１０１２は、図６に示すように、キャッシュ２０１１上の［１］の位置の画像データを画面右側から登場させて中央に表示させる。
【００２６】
ステップＳ４０３において、入力部１０１１は、表示されている画像データＰ上でユーザによるピンチ操作があったか否かを判定する。ピンチ操作があった場合、処理はステップＳ４０４に移行する。一方、ピンチ操作がなかった場合、処理はステップＳ４０１に戻る。ステップＳ４０３において、拡大・縮小部１０１３は、ピンチ操作に応じて画像データを拡大又は縮小し、表示部１０１２は、拡大又は縮小された画像データを表示する。例えば、図７の画像データＰ７００１に対して拡大操作に対応するピンチ操作があり、その結果、領域７００２が拡大対象の領域として特定され、図７の７００３に示すように、タッチパネル１００２の全体を占めるように拡大されたものとする。また、タッチパネル１００２の左上隅座標、右下隅座標がそれぞれ次のような値をとるものとする。
左上隅座標＝（３０，４０）、右下隅座標＝（９０，９０）
【００２７】
ステップＳ４０５において、取得部１０１６は、拡大又は縮小された画像データのメタデータに基づいて、拡大又は縮小後の画像データに写っている人物を検出する。例えば、図７の例では、取得部１０１６は、画像データＰのメタデータ２００２に基づいて、人物Ａ、Ｂが拡大後の画像データ７００３に写っていることを検出する。ステップＳ４０６において、取得部１０１６は、拡大又は縮小された画像データに写っている人物に関し、当該画像データと、保持部１０１５に保持されている各画像データとの一致度を上述した方法で算出し直す。例えば、図７の例では、取得部１０１６は、拡大後の画像データに写っている人物Ａ、Ｂに関し、当該画像データと、保持部１０１５に保持される各画像データとの一致度を上述した方法で算出し直す。
【００２８】
次に、図５を参照しながら、一致度の算出処理について説明する。図５は、一致度の算出処理を示すフローチャートである。ステップＳ５０１において、取得部１０１６は、保持部１０１５から順に画像データを取り出すためのカウンタＮを１にセットする。ステップＳ５０２において、取得部１０１６は、保持部１０１５からＮ番目の画像データを取得する。Ｎ番目の画像データが図３の３００１に示す画像データＱであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＱに写っているかを表す再現率を次のようにして算出する。
再現率＝２人（＝Ａ、Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１
ステップＳ５０４において、取得部１０１６は、画像データＱに写っている人物のうち、何人の人物が拡大後の画像データＰに写っているかを表す適合率を次のようにして算出する。
適合率＝２人（＝Ａ、Ｂ）／２人（＝画像データＱに写っている人物数）＝１
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＱとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＱとの一致度＝再現率×適合率＝１×１＝１
【００２９】
ステップＳ５０６において、取得部１０１６は、現在対象としている画像データが、保持部１０１５に保持されている最後の画像データであるか否かを判定する。最後の画像データである場合、処理はステップＳ４０７に移行する。一方、最後の画像データではない場合、処理はステップＳ５０７に移行する。ステップＳ５０７において、取得部１０１６は、カウンタＮを１加算する。そして処理はステップＳ５０２に戻り、次の画像データに対する処理が実行される。
【００３０】
次の画像データが図３の３００２に示す画像データＲであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＲに写っているかを表す再現率を次のようにして算出する。
再現率＝２人（＝Ａ、Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１
ステップＳ５０４において、取得部１０１６は、画像データＲに写っている人物のうち、何人の人物が拡大後の画像データＰに写っているかを表す適合率を次のようにして算出する。
適合率＝２人（＝Ａ、Ｂ）／３人（＝画像データＲに写っている人物数）＝２／３
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＲとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＲとの一致度＝再現率×適合率＝１×２／３＝２／３
【００３１】
次の画像データが図３の３００３に示す画像データＳであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＳに写っているかを表す再現率を次のようにして算出する。
再現率＝１人（＝Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１／２
ステップＳ５０４において、取得部１０１６は、画像データＳに写っている人物のうち、何人の人物が拡大後の画像データＳに写っているかを表す適合率を次のようにして算出する。
適合率＝１人（＝Ｂ）／２人（＝画像データＳに写っている人物数）＝１／２
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＳとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＳとの一致度＝再現率×適合率＝１／２×１／２＝１／４
【００３２】
以上のようにして最後の画像データまで一致度を再計算すると、処理はステップＳ４０７に移行する。
【００３３】
ステップＳ４０７において、取得部１０１６は、保持部１０１５に保持されている画像データの中から、以上のようにして再計算された一致度が閾値以上（例えば、１／２以上）の画像データだけを取得する。順序付け部１０１８は、取得部１０１６によって取得された画像データを、一致度の高いものから順次、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］の位置に格納していく。このようにして、キャッシュ２０１１に格納された画像データ及びその並び順は、図７（ｂ）に示すように変化する。この後、ユーザがフリック操作によって画像データを左に移動させた場合、キャッシュ２０１１に格納された画像データが変更されているので、次に表示される画像データが画像データＰを拡大する前とは異なっている。拡大後の画像データＰには、人物Ａ、Ｂのみが表示されており、人物Ｃは表示されていない。即ち、ユーザは人物Ａ、Ｂに興味があり、人物Ｃには興味がないと考えられる。画像データＰの拡大後、キャッシュ２０１１内では、人物Ａ、Ｂが写った画像データが位置［０］の近くに来るように順序付けされているので、ユーザの興味に近い画像データが素早く見つけられるという効果がある。
【００３４】
なお、本実施形態では、予め画像データに写っている人物に関するメタデータが画像データに付与されていることを前提としていたが、画像データの閲覧時に顔認識等のオブジェクト認識を実行するようにしてもよい。図８は、画像データの閲覧時にオブジェクト認識を実行する場合の処理を示すフローチャートである。ステップＳ８０１〜Ｓ８０４、ステップＳ８０６〜Ｓ８０７は、図４のステップＳ４０１〜Ｓ４０４、ステップＳ４０６〜Ｓ４０７と同じ処理である。ステップＳ８０５において、携帯電話は、図７の画像データの領域７００２内で顔認識を行い、写っている人物を特定する。また携帯電話は、保持部１０１５に保持されている各画像データについても顔認識を行う。これにより、メタデータが予め付与された場合と同じ状態になるので、同様の方法により、キャッシュ２０１１における画像データの並べ替えを行うことができる。
【００３５】
また、本実施形態では、再現率と適合率とに基づいて一致度を算出していたが、一致度の算出方法はこれに限るものではない。例えば、領域７００２に写っている人物と対象となる画像データに写っている人物とが何人一致するかで一致度を求めてもよい。この場合、拡大後の画像データＰ（＝写っている人物はＡ、Ｂ）と画像データＱ（＝写っている人物はＡ、Ｂ）との一致度は２（＝ＡとＢ）、拡大後の画像データＰと画像データＲ（＝写っている人物はＡ、Ｂ、Ｃ）との一致度も２（＝ＡとＢ）となる。再現率、適合率を利用した場合、上記のように画像データＱの方が画像データＲより一致度が高いと判定される。これは、画像データＲにおいて、拡大後の画像データＰには写っていない人物Ｃが写っており、その分一致度が低いと評価されるためである。このように再現率と適合率とを利用した方法の方が、より精度の高い一致度の算出が可能となる。
【００３６】
また、本実施形態では、画像データを保持部１０１５（メモリカード１０２５）に保持し、一致度が閾値以上の画像データをキャッシュ２０１１に格納するようにしていたが、画像データは保持部１０１５（メモリカード１０２５）以外の場所に保持されていてもよいし、キャッシュを使用しない構成としてもよい。例えば、画像データはネットワーク上のサーバに置かれていて、それをネットワーク経由で取得するようにしてもよい。その際、キャッシュ２０１１を使用せず、一致度に基づく順序に従って画像データを表示するようにしてもよい。このようにしても、一致度に基づいて順序付けされている限り、ユーザの興味に近い画像データが素早く見つけられるという効果があることには変わりはない。但し、キャッシュ２０１１に格納することによって、画像データを左右移動したときの表示速度が向上し、キャッシュ２０１１に格納するものを一致度が閾値以上の画像データだけに絞ることによってメモリ使用量を削減できる、というさらなる効果がある。また、本実施形態では、フリック操作により画像データをスクロールさせていたが、キー押下や音声入力でスクロールさせるようにしてもよい。
【００３７】
以上により、本実施形態によれば、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることが可能となる。
【００３８】
次に、本発明の第２の実施形態について説明する。第１の実施形態では、図２（ａ）の２００２に示すように、メタデータにおける人物の座標位置として、画像データに写っている人物の座標位置を用いている。この場合、図７の７００３に示すように、人物Ａの大部分と人物Ｂの一部とが表示されている場合でも、人物Ａ、Ｂは同等に処理され、一致度算出の結果、キャッシュ２０１１による並べ替えが行われた。しかし、図７の７００３に示すように、ユーザが画像データを拡大した場合、ユーザは人物Ａにより興味があると考えられる。従って、人物Ａが写った画像データが、人物Ｂが写った画像データより近くに来るようにキャッシュ２０１１による並べ替えが行われた方が、ユーザは所望の画像データをより効率よく探すことができると考えられる。
【００３９】
そこで、画像データに写っている人物を囲む領域を、図９の９００１に示す点線のような矩形領域で表し、図９の９００２に示すようなメタデータが画像データに付与されるようにする。図１０は、図７の７００３に示すように画像データを拡大したときに、人物Ａの一部が表示されている様子を示している。１０００１はタッチパネル１００２の領域である。１０００２は人物Ａの矩形領域であり、（ｘ´、ｙ´、ｗ´、ｈ´）は、メタデータ９００２のような形式で記録された人物Ａの矩形情報（ｘ、ｙ、ｗ、ｈ）から、拡大操作を施して得られる値である。１０００３は人物の矩形領域の中で、タッチパネル１００２に表示されている部分を示している。人物Ａの矩形領域の面積に対する、タッチパネル１００２上で実際に表示されている人物Ａの矩形領域の部分の面積の割合が、例えば０．９であったとする。人物Ｂについても同様に、人物Ｂの矩形領域の面積に対する、タッチパネル１００２上で実際に表示されている人物Ｂの矩形領域の面積の割合が、例えば０．６であったとする。保持部１０１５には、図１１の１１００１に示すメタデータが付与された画像データＴと図１１の１１００２に示すメタデータが付与された画像データＵとが保持されているとする。取得部１０１６は、画像データＰと画像データＴとの一致度を次のように算出する。
【００４０】
画像データＴには、拡大後の画像データＰに写っている人物Ａ、Ｂの２人のうち、Ａだけが写っているので、再現率及び適合率は次のように算出される。
再現率＝０．９（＝Ａの面積の割合）／２人（＝拡大後の画像データＰに写っている人物数）＝０．４５
適合率＝０．９（＝Ａの面積の割合）／２人（＝画像データＴに写っている人物数）＝０．４５
以上のようにして算出された再現率及び適合率から、画像データＰと画像データＴとの一致度は次のようにして算出される。
画像データＰと画像データＴとの一致度＝再現率×適合率＝０．４５×０．４５≒０．２
【００４１】
一方、画像データＵには、拡大後の画像データＰに写っている人物Ａ、Ｂの２人のうち、Ｂだけが写っているので、再現率及び適合率は次のように算出される。
再現率＝０．６（＝Ｂの面積割合）／２人（＝拡大後の画像データＰに写っている人物数）＝０．３
適合率＝０．６（＝Ｂの面積割合）／２人（＝画像データＵに写っている人物数）＝０．３
以上のようにして算出された再現率及び適合率から、画像データＰと画像データＴとの一致度が次のようにして算出される。
画像データＰと画像データＵとの一致度＝再現率×適合率＝０．３×０．３≒０．０９
【００４２】
このように、画像データＰと画像データＴとの一致度の方が、画像データＰと画像データＵとの一致度より大きくなる。従って、順序付け部１０１８は、キャッシュ２０１１において、画像データＴが画像データＵよりも画像データＰに近くなるように順序付けを行うる。ユーザが図７の７００３に示すように画像データＰを拡大した場合、人物Ｂよりも人物Ａにより興味があると考えられるため、この順序付けは妥当である。第１の実施形態の方法では、一致度は画像データＴ、Ｕともに１／２で同じになるが、本実施形態では、よりユーザの興味に即した画像データの順序付けがなされる、という効果がある。
【００４３】
なお、第１の実施形態と同様、本実施形態でも、予め、画像データに写っている人物に関するメタデータが画像データに付与されていることを前提としていたが、画像データの閲覧時に顔認識処理を実行するようにしてもよいことはいうまでもない。また、本実施形態では、フリック操作により画像データをスクロールしていたが、キー押下や音声入力でスクロールするようにしてもよいことはいうまでもない。
【００４４】
次に、本発明の第３の実施形態について説明する。第２の実施形態では、画像データに写っている人物の矩形領域を示す情報をメタデータとして保持していた。しかし、図１２の１２００１に示す人物Ｃのように顔を傾けて写ったような場合、その領域を矩形領域で表すと、実際にその人物が占める領域よりも大きな領域になってしまい、面積割合に基づく一致度の算出精度が悪くなるという問題がある。これに対し、人物の矩形領域を楕円領域で近似し、その楕円領域を示す情報をメタデータとして持つようにする。これにより、面積割合による一致度の算出精度が向上する。楕円領域を示す情報は、図１２の１２００３に示すように、中心座標（ｘ，ｙ）、長軸、短軸の長さａ、ｂ、傾きθで表され、図１２の１２００２に示すような形式で保持される。この楕円に対し、第２の実施形態のように、各人物の楕円領域の面積に対する、タッチパネル１００２上で実際に表示されている人物の楕円領域の面積の割合を算出し、一致度を算出することにより、キャッシュ２０１１の順序付けを行う。
【００４５】
次に、本発明の第４の実施形態について説明する。第１〜第３の実施形態では、画像データの拡大、縮小操作に、マルチタッチによるピンチ操作を用いていたが、この限りではない。拡大率、縮小率を入力するダイアログを表示し、数字で拡大率、縮小率を入力するようにしてもよいし、音声入力で「拡大」、「縮小」のように発声して指示するようにしてもよい。又は、図１３（ａ）の１３００２に示すような表示枠を表示し、ユーザがこの表示枠を指定し、その枠の範囲がタッチパネル１００２全体に一致するように拡大するようにしてもよい。又は、タッチパネル１００２に対する手書き入力を行い、図１３（ｂ）の１３０１２に示すように、手書きで拡大対象の領域を指定するようにしてもよい。
【００４６】
次に、本発明の第５の実施形態について説明する。第１の実施形態では、画像データを一致度が高い順に順序付けしていたが、その限りではない。例えば、低い順に順序付けしてもよい。これは、特定領域に含まれる人物が写っていない画像データを探したい場合に有効である。また、図１４に示すように、表示中の画像データの左右交互に一致度の小さい順に並べてもよい。
【００４７】
なお、第１〜第３の実施形態では、拡大又は縮小させる対象領域を一つだけ指定していたが、複数の対象領域を指定するようにしてもよい。また、第１〜第３の実施形態では、オブジェクト情報として人物とその位置情報、領域情報を用いていた。しかし、オブジェクトは人物以外でもよい。また、オブジェクトの位置を示す情報や領域を示す情報だけでなく、深度を示す情報、色を示す情報等を用いてもよい。また領域は、矩形領域や楕円領域だけでなく、あらゆる閉領域を用いることができる。
【００４８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４９】
１００１：携帯端末、１００２：タッチパネル、１０１１：入力部、１０１２：表示部、１０１３：拡大・縮小部、１０１４：スクロール部、１０１５：保持部、１０１６：取得部、１０１７：キャッシュ部、１０１８：順序付け部、１０１９：抽出部
【技術分野】
【０００１】
本発明は、ユーザが注目する領域に関連する画像データを優先的に表示させるための技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等に用いられる内蔵メモリの小型化、大容量化が促進され、大量の画像データが蓄積されるようになった。これにより、過去に撮影した画像データの蓄積数も増え、ユーザが多数の画像データの中から所望の画像データを見つけ出すのに長時間を要す等の問題があった。
【０００３】
特許文献１には、写真の中の顔領域を検出し、顔領域の類似性に基づいて写真をグループ化することにより、同じ顔が写った写真を効率よく探すことができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１１７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術では、写真に複数の人の顔、例えば、Ａ、Ｂ、Ｃの３人の顔が写っている場合、Ａに興味がある場合でも、ＢやＣが写った写真も同一グループ化されてしまう可能性がある。このため、Ａが写った写真を探し出す妨げになるという問題がある。
【０００６】
そこで、本発明の目的は、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることにある。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、ユーザによって指定された画像データの一部の領域を特定する特定手段と、前記特定手段により特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る情報処理装置である携帯端末の構成を示す図である。
【図２】本発明の実施形態において表示対象となる画像データについて説明するための図である。
【図３】保持部において保持される各画像データのメタデータの例を示す図である。
【図４】ユーザによる操作に応じてタッチパネル１００２上に画像データを表示する処理を示すフローチャートである。
【図５】一致度の算出処理を示すフローチャートである。
【図６】キャッシュ上の画像データの格納状態と画像データの表示状態との関係を示す図である。
【図７】画像データに対するピンチ操作の例を説明するための図である。
【図８】画像データの閲覧時にオブジェクト認識を実行する場合の処理を示すフローチャートである。
【図９】本発明の第２の実施形態について説明するための図である。
【図１０】画像データを拡大したときに、人物Ａの一部が表示されている様子を示す図である。
【図１１】画像データに付与されるメタデータの例を示す図である。
【図１２】本発明の第３の実施形態について説明するための図である。
【図１３】本発明の第４の実施形態について説明するための図である。
【図１４】本発明の第５の実施形態について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
先ず、本発明の第１の実施形態について説明する。第１の実施形態に係る情報処理装置は携帯電話であるものとする。本実施形態において、画像データは写真のデジタルデータであり、画像データ中のオブジェクトは写真に写った人物であるものとする。なお、写真に写っている人物に関する情報がメタデータとして予め画像データに付与されているものとする。以下では、上記のような画像データを携帯端末上でブラウズする場合について説明する。
【００１２】
ユーザはフリック操作により、画像データを左右に移動させることで、様々な画像データを閲覧することができる。ここでフリック操作とは、タッチパネル上で指を滑らせるように移動する操作であり、画像データを左右に移動させることを意図した操作である。また、ユーザはピンチ操作により、表示中の画像データを、任意の位置を中心に拡大や縮小させることができる。ピンチ操作とは、２本の指をタッチパネル上で滑らせることにより、拡大や縮小を指示する操作である。
【００１３】
図１は、本実施形態に係る情報処理装置である携帯端末の構成を示す図である。即ち、図１（ａ）は、携帯端末の外観を示している。図１（ｂ）は、携帯端末の機能的な構成を示している。図１（ｃ）は、携帯端末のハードウェア構成を示している。
【００１４】
図１（ａ）において、１００１は携帯端末である。１００２は携帯端末１００１のタッチパネル（ＬＣＤ）である。
【００１５】
図１（ｂ）において、１０１１は入力部である。入力部１０１１は、タッチパネル１００２に対するタッチ入力を受け付けるものであり、マルチタッチ入力を受け付けることが可能である。１０１２は表示部であり、タッチパネル１００２上に画像データを表示する。１０１３は拡大・縮小部である。拡大・縮小部１０１３は、タッチパネル１００２上におけるマルチタッチによるピンチ操作により、表示されている画像データを拡大又は縮小する。
【００１６】
１０１４はスクロール部である。スクロール部１０１４は、タッチパネル１００２上のフリック操作により、画像データを左右方向へ移動させる。１０１５は保持部であり、複数枚の画像データを保持する。１０１６は取得部であり、保持部１０１５から画像データを取得する。１０１７はキャッシュ部であり、表示する順序に従って画像データを後述のＲＡＭ１０２２上に保持する。１０１８は順序付け部であり、ＲＡＭ１０２２上に保持される画像データの順序を変更する。１０１９は抽出部である。抽出部１０１９は、画像データに付与されるメタデータから、当該画像データに写っている人物に関する情報を抽出することにより、当該画像データに写っている人物を同定する。
【００１７】
図１（ｃ）において、１０２１はＣＰＵであり、後述する携帯端末１００１の動作手順を実現するためのプログラムを実行する。１０２２はＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する。１０２３はＲＯＭであり、上記プログラムを保持する。１０２４はタッチパネルである。１０２５はメモリカードであり、画像データを記録する。１０２６は上記各構成を接続するバスである。
【００１８】
なお、入力部１０１１、拡大・縮小部１０１３、表示部１０１２、スクロール部１０１４、取得部１０１６、キャッシュ部１０１７、順序付け部１０１８、抽出部１０１９は、ＣＰＵ１０２１がＲＯＭ１０２３から上記プログラムをＲＡＭ１０２２にロードし、実行することにより実現する構成である。保持部１０１５はメモリカード１０２５に対応する構成である。タッチパネル１０２４は図１のタッチパネル１００２に対応する構成である。
【００１９】
図２（ａ）は、保持部１０１５において保持される、画像データＰ２００１と当該画像データＰ２００１に付与されるメタデータ２００２とを示している。メタデータ２００２は、画像データＰ２００１に写っている人物を識別する情報（Ａ、Ｂ、Ｃ等）と、その人物の画像データＰ２００１中における座標位置とを有している。ここで座標位置は、画像データＰ２００１の左上を原点として、右端のｘ座標を１００、下端のｙ座標を１００とした値である。
【００２０】
図２（ｂ）は、ＲＡＭ１０２２における画像データの格納状態とタッチパネル１００２（１０２４）上における画像データの表示状態との関係を示している。キャッシュ部１０１７は、ＲＡＭ１０２２の一部記憶領域であるキャッシュ２０１１を管理する。キャッシュ部１０１７は、取得部１０１６を介して保持部１０１５から複数の画像データを取得し、各画像データを、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］のうちの何れかの位置に書きこむ。表示部１０１２は、キャッシュ２０１１の［０］の位置に書き込まれた画像データＰをタッチパネル１００２上に表示する。順序付け部１０１８は、メタデータに基づいて、キャッシュ２０１１内に保持される画像データの順序を決定する。
【００２１】
図３は、保持部１０１５において保持される各画像データのメタデータの例を示す図である。図３の３００１は、画像データＱのメタデータを示しており、図３の３００２は、画像データＲのメタデータを示しており、図３の３００３は、画像データＳのメタデータを示している。なお、図２（ａ）に示すように画像データＰには人物Ａ、Ｂ、Ｃが写っている。これに対し、図３の３００１に示すように画像データＱには人物Ａ、Ｂが写っている。ここで取得部１０１６は、画像データＰに写っている人物のうち、何人の人物が画像データＱに写っているかを表す再現率を次のように算出する。
再現率＝２人（＝Ａ、Ｂ）／３人（＝画像データＰに写っている人物数）＝２／３
また取得部１０１６は、画像データＱに写っている人物のうち、何人の人物が画像データＰに写っているかを表す適合率を次のように算出する。
適合率＝２人（＝Ａ、Ｂ）／２人（＝画像データＱに写っている人物数）＝１
そして取得部１０１６は、画像データＰと画像データＱとの一致度を、再現率と適合率との積により次のように算出する。
画像データＰと画像データＱとの一致度＝再現率×適合率＝２／３×１＝２／３
【００２２】
同様にして、取得部１０１６は、画像データＰと画像データＲとの一致度、画像データＰと画像データＳとの一致度を次のように算出する。
画像データＰと画像データＲとの一致度＝２／２×２／２＝１
画像データＰと画像データＳとの一致度＝２／３×１／２＝２／３
【００２３】
取得部１０１６は、保持部１０１５に保持された画像データの中から、上記のようにして算出した一致度が閾値以上（例えば、１／２以上）の画像データだけを取得する。そして、順序付け部１０１８は、取得部１０１６によって取得された画像データを、一致度の高いものから順次、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］の位置に格納していく。
【００２４】
次に、図４のフローチャートを参照しながら、ユーザによる操作に応じてタッチパネル１００２上に画像データを表示する処理について説明する。ステップＳ４０１において、入力部１０１１は、ユーザがタッチパネル１００２上でフリック操作をしたか否かを判定する。フリック操作があった場合、処理はステップＳ４０２に移行する。一方、フリック操作がない場合、処理はステップＳ４０３に移行する。
【００２５】
ステップＳ４０２において、表示部１０１２は、ユーザのフリック操作に応じて画像データを右方向又は左方向に移動させる。例えば、画像データＰ（キャッシュ２０１１上の［０］の位置の画像データ）が表示されている状態でユーザが左方向にフリックした場合、表示部１０１２は、表示中の画像データＰを画面外まで左方向に移動させる。同時に、表示部１０１２は、図６に示すように、キャッシュ２０１１上の［１］の位置の画像データを画面右側から登場させて中央に表示させる。
【００２６】
ステップＳ４０３において、入力部１０１１は、表示されている画像データＰ上でユーザによるピンチ操作があったか否かを判定する。ピンチ操作があった場合、処理はステップＳ４０４に移行する。一方、ピンチ操作がなかった場合、処理はステップＳ４０１に戻る。ステップＳ４０３において、拡大・縮小部１０１３は、ピンチ操作に応じて画像データを拡大又は縮小し、表示部１０１２は、拡大又は縮小された画像データを表示する。例えば、図７の画像データＰ７００１に対して拡大操作に対応するピンチ操作があり、その結果、領域７００２が拡大対象の領域として特定され、図７の７００３に示すように、タッチパネル１００２の全体を占めるように拡大されたものとする。また、タッチパネル１００２の左上隅座標、右下隅座標がそれぞれ次のような値をとるものとする。
左上隅座標＝（３０，４０）、右下隅座標＝（９０，９０）
【００２７】
ステップＳ４０５において、取得部１０１６は、拡大又は縮小された画像データのメタデータに基づいて、拡大又は縮小後の画像データに写っている人物を検出する。例えば、図７の例では、取得部１０１６は、画像データＰのメタデータ２００２に基づいて、人物Ａ、Ｂが拡大後の画像データ７００３に写っていることを検出する。ステップＳ４０６において、取得部１０１６は、拡大又は縮小された画像データに写っている人物に関し、当該画像データと、保持部１０１５に保持されている各画像データとの一致度を上述した方法で算出し直す。例えば、図７の例では、取得部１０１６は、拡大後の画像データに写っている人物Ａ、Ｂに関し、当該画像データと、保持部１０１５に保持される各画像データとの一致度を上述した方法で算出し直す。
【００２８】
次に、図５を参照しながら、一致度の算出処理について説明する。図５は、一致度の算出処理を示すフローチャートである。ステップＳ５０１において、取得部１０１６は、保持部１０１５から順に画像データを取り出すためのカウンタＮを１にセットする。ステップＳ５０２において、取得部１０１６は、保持部１０１５からＮ番目の画像データを取得する。Ｎ番目の画像データが図３の３００１に示す画像データＱであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＱに写っているかを表す再現率を次のようにして算出する。
再現率＝２人（＝Ａ、Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１
ステップＳ５０４において、取得部１０１６は、画像データＱに写っている人物のうち、何人の人物が拡大後の画像データＰに写っているかを表す適合率を次のようにして算出する。
適合率＝２人（＝Ａ、Ｂ）／２人（＝画像データＱに写っている人物数）＝１
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＱとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＱとの一致度＝再現率×適合率＝１×１＝１
【００２９】
ステップＳ５０６において、取得部１０１６は、現在対象としている画像データが、保持部１０１５に保持されている最後の画像データであるか否かを判定する。最後の画像データである場合、処理はステップＳ４０７に移行する。一方、最後の画像データではない場合、処理はステップＳ５０７に移行する。ステップＳ５０７において、取得部１０１６は、カウンタＮを１加算する。そして処理はステップＳ５０２に戻り、次の画像データに対する処理が実行される。
【００３０】
次の画像データが図３の３００２に示す画像データＲであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＲに写っているかを表す再現率を次のようにして算出する。
再現率＝２人（＝Ａ、Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１
ステップＳ５０４において、取得部１０１６は、画像データＲに写っている人物のうち、何人の人物が拡大後の画像データＰに写っているかを表す適合率を次のようにして算出する。
適合率＝２人（＝Ａ、Ｂ）／３人（＝画像データＲに写っている人物数）＝２／３
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＲとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＲとの一致度＝再現率×適合率＝１×２／３＝２／３
【００３１】
次の画像データが図３の３００３に示す画像データＳであった場合、ステップＳ５０３において、取得部１０１６は、拡大後の画像データＰに写っている人物のうち、何人の人物が画像データＳに写っているかを表す再現率を次のようにして算出する。
再現率＝１人（＝Ｂ）／２人（＝拡大後の画像データＰに写っている人物数）＝１／２
ステップＳ５０４において、取得部１０１６は、画像データＳに写っている人物のうち、何人の人物が拡大後の画像データＳに写っているかを表す適合率を次のようにして算出する。
適合率＝１人（＝Ｂ）／２人（＝画像データＳに写っている人物数）＝１／２
ステップＳ５０５において、取得部１０１６は、拡大後の画像データＰと画像データＳとの一致度を次のようにして算出する。
拡大後の画像データＰと画像データＳとの一致度＝再現率×適合率＝１／２×１／２＝１／４
【００３２】
以上のようにして最後の画像データまで一致度を再計算すると、処理はステップＳ４０７に移行する。
【００３３】
ステップＳ４０７において、取得部１０１６は、保持部１０１５に保持されている画像データの中から、以上のようにして再計算された一致度が閾値以上（例えば、１／２以上）の画像データだけを取得する。順序付け部１０１８は、取得部１０１６によって取得された画像データを、一致度の高いものから順次、キャッシュ２０１１の［０］、［１］、［２］、［３］、［４］の位置に格納していく。このようにして、キャッシュ２０１１に格納された画像データ及びその並び順は、図７（ｂ）に示すように変化する。この後、ユーザがフリック操作によって画像データを左に移動させた場合、キャッシュ２０１１に格納された画像データが変更されているので、次に表示される画像データが画像データＰを拡大する前とは異なっている。拡大後の画像データＰには、人物Ａ、Ｂのみが表示されており、人物Ｃは表示されていない。即ち、ユーザは人物Ａ、Ｂに興味があり、人物Ｃには興味がないと考えられる。画像データＰの拡大後、キャッシュ２０１１内では、人物Ａ、Ｂが写った画像データが位置［０］の近くに来るように順序付けされているので、ユーザの興味に近い画像データが素早く見つけられるという効果がある。
【００３４】
なお、本実施形態では、予め画像データに写っている人物に関するメタデータが画像データに付与されていることを前提としていたが、画像データの閲覧時に顔認識等のオブジェクト認識を実行するようにしてもよい。図８は、画像データの閲覧時にオブジェクト認識を実行する場合の処理を示すフローチャートである。ステップＳ８０１〜Ｓ８０４、ステップＳ８０６〜Ｓ８０７は、図４のステップＳ４０１〜Ｓ４０４、ステップＳ４０６〜Ｓ４０７と同じ処理である。ステップＳ８０５において、携帯電話は、図７の画像データの領域７００２内で顔認識を行い、写っている人物を特定する。また携帯電話は、保持部１０１５に保持されている各画像データについても顔認識を行う。これにより、メタデータが予め付与された場合と同じ状態になるので、同様の方法により、キャッシュ２０１１における画像データの並べ替えを行うことができる。
【００３５】
また、本実施形態では、再現率と適合率とに基づいて一致度を算出していたが、一致度の算出方法はこれに限るものではない。例えば、領域７００２に写っている人物と対象となる画像データに写っている人物とが何人一致するかで一致度を求めてもよい。この場合、拡大後の画像データＰ（＝写っている人物はＡ、Ｂ）と画像データＱ（＝写っている人物はＡ、Ｂ）との一致度は２（＝ＡとＢ）、拡大後の画像データＰと画像データＲ（＝写っている人物はＡ、Ｂ、Ｃ）との一致度も２（＝ＡとＢ）となる。再現率、適合率を利用した場合、上記のように画像データＱの方が画像データＲより一致度が高いと判定される。これは、画像データＲにおいて、拡大後の画像データＰには写っていない人物Ｃが写っており、その分一致度が低いと評価されるためである。このように再現率と適合率とを利用した方法の方が、より精度の高い一致度の算出が可能となる。
【００３６】
また、本実施形態では、画像データを保持部１０１５（メモリカード１０２５）に保持し、一致度が閾値以上の画像データをキャッシュ２０１１に格納するようにしていたが、画像データは保持部１０１５（メモリカード１０２５）以外の場所に保持されていてもよいし、キャッシュを使用しない構成としてもよい。例えば、画像データはネットワーク上のサーバに置かれていて、それをネットワーク経由で取得するようにしてもよい。その際、キャッシュ２０１１を使用せず、一致度に基づく順序に従って画像データを表示するようにしてもよい。このようにしても、一致度に基づいて順序付けされている限り、ユーザの興味に近い画像データが素早く見つけられるという効果があることには変わりはない。但し、キャッシュ２０１１に格納することによって、画像データを左右移動したときの表示速度が向上し、キャッシュ２０１１に格納するものを一致度が閾値以上の画像データだけに絞ることによってメモリ使用量を削減できる、というさらなる効果がある。また、本実施形態では、フリック操作により画像データをスクロールさせていたが、キー押下や音声入力でスクロールさせるようにしてもよい。
【００３７】
以上により、本実施形態によれば、ユーザが注目する領域に関連する画像データを、煩雑な操作を行うことなく優先的に表示させることが可能となる。
【００３８】
次に、本発明の第２の実施形態について説明する。第１の実施形態では、図２（ａ）の２００２に示すように、メタデータにおける人物の座標位置として、画像データに写っている人物の座標位置を用いている。この場合、図７の７００３に示すように、人物Ａの大部分と人物Ｂの一部とが表示されている場合でも、人物Ａ、Ｂは同等に処理され、一致度算出の結果、キャッシュ２０１１による並べ替えが行われた。しかし、図７の７００３に示すように、ユーザが画像データを拡大した場合、ユーザは人物Ａにより興味があると考えられる。従って、人物Ａが写った画像データが、人物Ｂが写った画像データより近くに来るようにキャッシュ２０１１による並べ替えが行われた方が、ユーザは所望の画像データをより効率よく探すことができると考えられる。
【００３９】
そこで、画像データに写っている人物を囲む領域を、図９の９００１に示す点線のような矩形領域で表し、図９の９００２に示すようなメタデータが画像データに付与されるようにする。図１０は、図７の７００３に示すように画像データを拡大したときに、人物Ａの一部が表示されている様子を示している。１０００１はタッチパネル１００２の領域である。１０００２は人物Ａの矩形領域であり、（ｘ´、ｙ´、ｗ´、ｈ´）は、メタデータ９００２のような形式で記録された人物Ａの矩形情報（ｘ、ｙ、ｗ、ｈ）から、拡大操作を施して得られる値である。１０００３は人物の矩形領域の中で、タッチパネル１００２に表示されている部分を示している。人物Ａの矩形領域の面積に対する、タッチパネル１００２上で実際に表示されている人物Ａの矩形領域の部分の面積の割合が、例えば０．９であったとする。人物Ｂについても同様に、人物Ｂの矩形領域の面積に対する、タッチパネル１００２上で実際に表示されている人物Ｂの矩形領域の面積の割合が、例えば０．６であったとする。保持部１０１５には、図１１の１１００１に示すメタデータが付与された画像データＴと図１１の１１００２に示すメタデータが付与された画像データＵとが保持されているとする。取得部１０１６は、画像データＰと画像データＴとの一致度を次のように算出する。
【００４０】
画像データＴには、拡大後の画像データＰに写っている人物Ａ、Ｂの２人のうち、Ａだけが写っているので、再現率及び適合率は次のように算出される。
再現率＝０．９（＝Ａの面積の割合）／２人（＝拡大後の画像データＰに写っている人物数）＝０．４５
適合率＝０．９（＝Ａの面積の割合）／２人（＝画像データＴに写っている人物数）＝０．４５
以上のようにして算出された再現率及び適合率から、画像データＰと画像データＴとの一致度は次のようにして算出される。
画像データＰと画像データＴとの一致度＝再現率×適合率＝０．４５×０．４５≒０．２
【００４１】
一方、画像データＵには、拡大後の画像データＰに写っている人物Ａ、Ｂの２人のうち、Ｂだけが写っているので、再現率及び適合率は次のように算出される。
再現率＝０．６（＝Ｂの面積割合）／２人（＝拡大後の画像データＰに写っている人物数）＝０．３
適合率＝０．６（＝Ｂの面積割合）／２人（＝画像データＵに写っている人物数）＝０．３
以上のようにして算出された再現率及び適合率から、画像データＰと画像データＴとの一致度が次のようにして算出される。
画像データＰと画像データＵとの一致度＝再現率×適合率＝０．３×０．３≒０．０９
【００４２】
このように、画像データＰと画像データＴとの一致度の方が、画像データＰと画像データＵとの一致度より大きくなる。従って、順序付け部１０１８は、キャッシュ２０１１において、画像データＴが画像データＵよりも画像データＰに近くなるように順序付けを行うる。ユーザが図７の７００３に示すように画像データＰを拡大した場合、人物Ｂよりも人物Ａにより興味があると考えられるため、この順序付けは妥当である。第１の実施形態の方法では、一致度は画像データＴ、Ｕともに１／２で同じになるが、本実施形態では、よりユーザの興味に即した画像データの順序付けがなされる、という効果がある。
【００４３】
なお、第１の実施形態と同様、本実施形態でも、予め、画像データに写っている人物に関するメタデータが画像データに付与されていることを前提としていたが、画像データの閲覧時に顔認識処理を実行するようにしてもよいことはいうまでもない。また、本実施形態では、フリック操作により画像データをスクロールしていたが、キー押下や音声入力でスクロールするようにしてもよいことはいうまでもない。
【００４４】
次に、本発明の第３の実施形態について説明する。第２の実施形態では、画像データに写っている人物の矩形領域を示す情報をメタデータとして保持していた。しかし、図１２の１２００１に示す人物Ｃのように顔を傾けて写ったような場合、その領域を矩形領域で表すと、実際にその人物が占める領域よりも大きな領域になってしまい、面積割合に基づく一致度の算出精度が悪くなるという問題がある。これに対し、人物の矩形領域を楕円領域で近似し、その楕円領域を示す情報をメタデータとして持つようにする。これにより、面積割合による一致度の算出精度が向上する。楕円領域を示す情報は、図１２の１２００３に示すように、中心座標（ｘ，ｙ）、長軸、短軸の長さａ、ｂ、傾きθで表され、図１２の１２００２に示すような形式で保持される。この楕円に対し、第２の実施形態のように、各人物の楕円領域の面積に対する、タッチパネル１００２上で実際に表示されている人物の楕円領域の面積の割合を算出し、一致度を算出することにより、キャッシュ２０１１の順序付けを行う。
【００４５】
次に、本発明の第４の実施形態について説明する。第１〜第３の実施形態では、画像データの拡大、縮小操作に、マルチタッチによるピンチ操作を用いていたが、この限りではない。拡大率、縮小率を入力するダイアログを表示し、数字で拡大率、縮小率を入力するようにしてもよいし、音声入力で「拡大」、「縮小」のように発声して指示するようにしてもよい。又は、図１３（ａ）の１３００２に示すような表示枠を表示し、ユーザがこの表示枠を指定し、その枠の範囲がタッチパネル１００２全体に一致するように拡大するようにしてもよい。又は、タッチパネル１００２に対する手書き入力を行い、図１３（ｂ）の１３０１２に示すように、手書きで拡大対象の領域を指定するようにしてもよい。
【００４６】
次に、本発明の第５の実施形態について説明する。第１の実施形態では、画像データを一致度が高い順に順序付けしていたが、その限りではない。例えば、低い順に順序付けしてもよい。これは、特定領域に含まれる人物が写っていない画像データを探したい場合に有効である。また、図１４に示すように、表示中の画像データの左右交互に一致度の小さい順に並べてもよい。
【００４７】
なお、第１〜第３の実施形態では、拡大又は縮小させる対象領域を一つだけ指定していたが、複数の対象領域を指定するようにしてもよい。また、第１〜第３の実施形態では、オブジェクト情報として人物とその位置情報、領域情報を用いていた。しかし、オブジェクトは人物以外でもよい。また、オブジェクトの位置を示す情報や領域を示す情報だけでなく、深度を示す情報、色を示す情報等を用いてもよい。また領域は、矩形領域や楕円領域だけでなく、あらゆる閉領域を用いることができる。
【００４８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４９】
１００１：携帯端末、１００２：タッチパネル、１０１１：入力部、１０１２：表示部、１０１３：拡大・縮小部、１０１４：スクロール部、１０１５：保持部、１０１６：取得部、１０１７：キャッシュ部、１０１８：順序付け部、１０１９：抽出部
【特許請求の範囲】
【請求項１】
ユーザによって指定された画像データの一部の領域を特定する特定手段と、
前記特定手段により特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御手段とを有することを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記領域に含まれるオブジェクトと、前記複数の画像データに含まれるオブジェクトとに基づいて、前記画像データと前記複数の画像データとの一致度を算出し、当該一致度に基づいて、前記複数の画像データの表示順序を制御することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記複数の画像データ夫々について、前記領域に含まれるオブジェクトのうち、いくつのオブジェクトが当該画像データに含まれるかを表す再現率を算出するとともに、当該画像データに含まれるオブジェクトのうち、いくつのオブジェクトが前記領域に含まれるかを表す適合率を算出し、前記再現率と前記適合率とに基づいて前記一致度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記特定手段は、ユーザの操作に応じて拡大対象として指定された前記領域を特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記制御手段は、前記画像データに含まれるオブジェクトの位置に基づいて、前記領域に含まれるオブジェクトを判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記制御手段は、前記領域に含まれるオブジェクトを囲む閉領域の面積に対する、実際に表示される当該オブジェクトを囲む閉領域の面積の割合を算出し、当該面積の割合と、前記領域の含まれるオブジェクトと、前記複数の画像データに含まれるオブジェクトとに基づいて、前記画像データと前記複数の画像データとの一致度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記制御手段は、前記複数の画像データのうち、前記一致度が閾値以上の画像データを抽出し、抽出した画像データの表示順序を制御することを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記画像データに含まれるオブジェクトの位置を示す情報、又は、当該オブジェクトを囲む閉領域を示す情報は、メタデータとして予め前記画像データに付与されていることを特徴とする請求項５又は６に記載の情報処理装置。
【請求項９】
前記画像データに含まれるオブジェクトの位置を示す情報、又は、当該オブジェクトを囲む閉領域を示す情報は、前記画像データから当該オブジェクトを認識することにより得られる情報であることを特徴とする請求項５又は６に記載の情報処理装置。
【請求項１０】
情報処理装置によって実行される情報処理方法であって、
ユーザによって指定された画像データの一部の領域を特定する特定ステップと、
前記特定ステップにより特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御ステップとを有することを特徴とする情報処理方法。
【請求項１１】
ユーザによって指定された画像データの一部の領域を特定する特定ステップと、
前記特定ステップにより特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
ユーザによって指定された画像データの一部の領域を特定する特定手段と、
前記特定手段により特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御手段とを有することを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記領域に含まれるオブジェクトと、前記複数の画像データに含まれるオブジェクトとに基づいて、前記画像データと前記複数の画像データとの一致度を算出し、当該一致度に基づいて、前記複数の画像データの表示順序を制御することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記複数の画像データ夫々について、前記領域に含まれるオブジェクトのうち、いくつのオブジェクトが当該画像データに含まれるかを表す再現率を算出するとともに、当該画像データに含まれるオブジェクトのうち、いくつのオブジェクトが前記領域に含まれるかを表す適合率を算出し、前記再現率と前記適合率とに基づいて前記一致度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記特定手段は、ユーザの操作に応じて拡大対象として指定された前記領域を特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記制御手段は、前記画像データに含まれるオブジェクトの位置に基づいて、前記領域に含まれるオブジェクトを判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記制御手段は、前記領域に含まれるオブジェクトを囲む閉領域の面積に対する、実際に表示される当該オブジェクトを囲む閉領域の面積の割合を算出し、当該面積の割合と、前記領域の含まれるオブジェクトと、前記複数の画像データに含まれるオブジェクトとに基づいて、前記画像データと前記複数の画像データとの一致度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記制御手段は、前記複数の画像データのうち、前記一致度が閾値以上の画像データを抽出し、抽出した画像データの表示順序を制御することを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記画像データに含まれるオブジェクトの位置を示す情報、又は、当該オブジェクトを囲む閉領域を示す情報は、メタデータとして予め前記画像データに付与されていることを特徴とする請求項５又は６に記載の情報処理装置。
【請求項９】
前記画像データに含まれるオブジェクトの位置を示す情報、又は、当該オブジェクトを囲む閉領域を示す情報は、前記画像データから当該オブジェクトを認識することにより得られる情報であることを特徴とする請求項５又は６に記載の情報処理装置。
【請求項１０】
情報処理装置によって実行される情報処理方法であって、
ユーザによって指定された画像データの一部の領域を特定する特定ステップと、
前記特定ステップにより特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御ステップとを有することを特徴とする情報処理方法。
【請求項１１】
ユーザによって指定された画像データの一部の領域を特定する特定ステップと、
前記特定ステップにより特定された前記領域に含まれるオブジェクトと、複数の画像データに含まれるオブジェクトとに基づいて、前記複数の画像データの表示順序を制御する制御ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２２１０６２（Ｐ２０１２−２２１０６２Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４０２０（Ｐ２０１１−８４０２０）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]