画像処理装置および画像処理方法
【課題】大量のデジタル画像データを簡便に管理することのできる技術を提供する。
【解決手段】データベース２２は、属性情報として撮像年月日が付加された複数の画像データを格納する。一覧表示部１２は、複数の画像データのサムネイル画像を表示デバイス上に一覧表示する。指示受付部２０は、サムネイル画像の中のひとつのサムネイル画像を指定画像として取得する。画像分類部１６は、画像データが撮像された年を単位として複数の画像データをグループ分けして１または複数の画像群を生成する。代表画像選択部１４は、画像分類部１６が生成した各画像群の中から指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する。一覧表示部１２は、代表画像選択部１４が各画像群の代表画像を取得することを契機として、画像群を各年ごとに一覧表示するとともに、代表画像を各画像群の先頭に配置して表示する。
【解決手段】データベース２２は、属性情報として撮像年月日が付加された複数の画像データを格納する。一覧表示部１２は、複数の画像データのサムネイル画像を表示デバイス上に一覧表示する。指示受付部２０は、サムネイル画像の中のひとつのサムネイル画像を指定画像として取得する。画像分類部１６は、画像データが撮像された年を単位として複数の画像データをグループ分けして１または複数の画像群を生成する。代表画像選択部１４は、画像分類部１６が生成した各画像群の中から指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する。一覧表示部１２は、代表画像選択部１４が各画像群の代表画像を取得することを契機として、画像群を各年ごとに一覧表示するとともに、代表画像を各画像群の先頭に配置して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ付き携帯電話等の撮像装置が広く普及し、ユーザが手軽にデジタル画像データを取得することができるようになってきている。カメラ付き携帯電話のカメラ機能であっても数１００万画素程度のデジタル画像データが撮像でき、コンパクトタイプのデジタルカメラにおいては１０００万画素を超えるデジタル画像データが撮像できるようになってきている。また、過去においては主にプロフェッショナル用途で用いられた、ハイエンドな一眼レフタイプのデジタルカメラも一般のユーザに普及しつつある。さらに、被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像を撮像可能なカメラも普及の段階に入ってきた。
【０００３】
このような撮像装置の普及と共にデジタル画像データを撮像する機会も多くなってきている。例えばブログを開設しているユーザの中には、一日に数十、数百ショットのデジタル画像データを撮像するユーザもおり、デジタル画像データの撮像数は爆発的に増加している。一方でそれらのデジタル画像データを大量に記録できる大容量の記録装置も普及してきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
大量の画像データが記録装置に格納されていると、ユーザは所望の画像を探し出すのに時間がかかってしまうことがあり得る。また、ユーザは、どのような画像を記録装置に記録したのかを忘れてしまうこともあり得る。このように、記録装置に格納される画像データの数が多くなると、画像データの管理が困難となる場合がある。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、大量のデジタル画像データを簡便に管理することのできる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、属性情報として撮像年月日が付加された複数の画像データを格納するデータベースと、前記データベースが格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部と、前記一覧表示部が表示するサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する指示受付部と、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する画像分類部と、前記画像分類部が生成した各画像群の中から前記指示受付部が取得した指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する代表画像選択部とを含み、前記一覧表示部は、前記代表画像選択部が各画像群の代表画像を取得することを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示する。
【０００７】
本発明の別の態様は、画像処理方法である。この方法は、属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示するステップと、表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得するステップと、指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成するステップと、生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得するステップと、各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示するステップとをプロセッサに実行させる。
【０００８】
本発明の別の態様も、画像処理装置である。この装置は、３次元空間における被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像、および当該３次元画像に対応する２次元画像を含む複数の画像データと、当該複数の画像データそれぞれを一意に識別可能なファイル名および当該複数の画像データそれぞれの撮像年月日と撮像時刻とを格納するデータベースと、前記ファイル名、撮像年月日、および撮像時刻をもとに、３次元画像に対応する２次元画像を特定する画像分類部と、前記画像分類部が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部とを含む。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、大量のデジタル画像データを簡便に管理することのできる技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る画像処理装置の内部構造を模式的に示す図である。
【図２】実施の形態に係る一覧表示の表示態様の一例を模式的に示す図である。
【図３】実施の形態に係る属性情報付与部の内部構造を模式的に示す図である。
【図４】特定の撮像日における単位時間あたりの撮像枚数を示すヒストグラムの一例を示す図である。
【図５】実施の形態に係るデータベース２２に格納される属性情報のデータ構造の一例を模式的に示す図である。
【図６】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図７】実施の形態に係る代表画像選択部の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態に係る画像処理装置は、属性情報の付された複数の画像データをその属性情報をもとに分類および選択をして、画像データをユーザに提示する。
【００１３】
図１は、実施の形態に係る画像処理装置１００の内部構成を模式的に示す図である。実施の形態に係る画像処理装置１００は、ユーザインタフェース１０、一覧表示部１２、代表画像選択部１４、画像分類部１６、スライドショー実行部１８、指示受付部２０、データベース２２、および属性情報付与部２４を含む。図１は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、画像処理装置１００のの一例として据置型のゲーム機があげられる。
【００１４】
データベース２２は、主にユーザが撮像したデジタル画像データを格納する。データベース２２はＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置や、Ｂｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等の取り外し可能な記録媒体により実現できる。データベース２２はまた、画像データに付加される属性情報も格納する。属性情報の詳細については後述する。なお、データベース２２が格納する画像データは、通常の２次元画像のみならず、左目用の視差画像と右目用の視差画像とのペアから構成される３次元画像や、マルチアングル画像も含む。
【００１５】
ユーザインタフェース１０は、コントローラ等の入力デバイス（図示せず）を介して、画像処理装置１００に対するユーザの指示を取得する。ユーザインタフェース１０はまた、画像処理装置１００が出力する映像を、モニタ等の表示デバイス（図示せず）に出力する。
【００１６】
一覧表示部１２は、データベース２２が格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する。データベース２２が格納する画像データの数が多く、表示デバイス上に全てのサムネイル画像を表示しきれない場合、ユーザはコントローラを操作することで、表示デバイスに表示するサムネイル画像を変更することができる。
【００１７】
図２は、実施の形態に係る一覧表示の表示態様の一例を模式的に示す図である。図２に示すように、一覧表示の背景画像７２２上に、背景画像７２２から区別できる帯状領域７２４を生成し、その帯状領域７２４上にデータベース２２に記憶されている画像データのサムネイル画像を表示する。帯状領域７２４に表示されるサムネイル画像は、図示しないマウスやコントローラのボタンを押下すること等により、ユーザは自由に切り替えることができる。
【００１８】
ここで一覧表示部１２は、表示する画像データの画素数を取得し、画素数の多い画像データのサムネイル画像は画素数の少ない画像データのサムネイル画像よりも大きなサムネイル画像として帯状領域７２４上に表示してもよい。ユーザが画像データのサイズの違いを一見して把握できるようになる点で有利である。
【００１９】
図１の説明に戻る。指示受付部２０は、ユーザインタフェース１０を介して、一覧表示部１２が表示するサムネイル画像の中のひとつのサムネイル画像であって、ユーザが指定するサムネイル画像を指定画像として取得する。指定画像とは、例えば複数の画像データの中でユーザが興味を持った画像データのサムネイル画像である。
【００２０】
画像分類部１６は、指示受付部２０が指定画像を取得すると、画像データが撮像された年を単位として、データベース２２に格納されている複数の画像データをグループ分けして画像群を生成する。したがって、ここで画像分類部１６が生成する各画像群に含まれる画像データは、撮像された年が等しい画像データとなる。
【００２１】
代表画像選択部１４は、画像分類部１６が生成した画像群それぞれについて、指示受付部２０が取得した指定画像に対応する画像データと撮像月日が同一である画像データを、画像群の代表画像として取得する。画像群中に、指定画像に対応する画像データと撮像月日が同一である画像データが存在しない場合、代表画像選択部１４は、指定画像に対応する画像データの撮像月日と近接する撮像月日の画像データを、その画像群の代表画像として取得する。したがって、代表画像は、ユーザが指定した指定画像に対応する画像データと撮像年は異なるが、撮像月日が同一または近接する画像データである。ここで指定画像に対応する画像データと撮像月日が近接する画像データとは、例えば画像群中で最も近い撮像月日の画像データである。
【００２２】
例えば誕生日やクリスマス、ひな祭り、子供の日、花火大会、花見等、ユーザが写真を撮像する機会が多いと考えられるイベントは、１年周期で開催されることが多い。指定画像に対応する画像データが撮像された年を単位としてグループ分けした各画像群において、指定画像と撮像月日が同一または近接する画像データは、各年の同じイベントを撮像した画像データである可能性が高くなる。このため、代表画像選択部１４は、指定画像に対応する画像データと撮像月日が同一または近接する画像データを代表画像として選択する。以下、特に区別の必要がある場合を除いて、「代表画像」は指定画像を含むこととする。
【００２３】
一覧表示部１２は、代表画像選択部１４が各画像群の代表画像を生成すると、各画像群に含まれる画像データのサムネイル画像を表示デバイスに一覧表示する。一覧表示部１２はさらに、指定画像と代表画像とを各画像群の先頭に配置して表示する。前述したように、各画像群の先頭に配置された指定画像および代表画像は、各年の同じイベントを撮像した画像データのサムネイル画像である可能性が高い。このため、ユーザは興味を持った画像に撮像されたイベントと年違いの同じイベントを撮像した別の年の画像データを一覧できる可能性が高まる。ユーザは、データベース２２に格納されている複数の画像データの中から興味のある画像データを簡便に収集できる点で有利である。
【００２４】
スライドショー実行部１８は、指示受付部２０を介してユーザがら特定の画像群について画像データのスライドショーを実行すべき指示を取得すると、画像分類部１６が分類した画像群に含まれる画像データを、表示デバイス上にスライドショー表示をする。スライドショー実行部１８はまた、指示画像または代表画像選択部１４が選択した代表画像を先頭としてスライドショーを開始するとともに、画像群に含まれる画像データを、代表画像も含めて撮像時刻の順序でスライドショー表示する。
【００２５】
上述したように、代表画像選択部１４は、画像データに付加されている撮像月日をもとに代表画像を選択する。このように、代表画像選択部１４が代表画像の選択に利用する情報であって、画像データと対応づけられている情報を「属性情報」という。この意味で、画像データの撮像月日は属性情報のひとつである。
【００２６】
代表画像選択部１４は、指示受付部２０が取得した指示画像に対応する画像データの撮像月日が同一または近接する画像データが複数存在する場合、属性情報をもとに画像データを絞り込み、代表画像を取得する。このため、属性情報には、代表画像選択部１４が優先して代表画像を選択する際に参照する特徴量も含む。画像データの特徴量についての詳細は後述する。
【００２７】
属性情報付与部２４は、データベース２２に格納されている画像データそれぞれについて、属性情報を付与する。図３は、実施の形態に係る属性情報付与部２４の内部構造を模式的に示す図である。属性情報付与部２４は、特徴量抽出制御部２６、特徴量抽出部２８、および優先情報付与部３０を含む。
【００２８】
優先情報付与部３０は、指示受付部２０を介してユーザから優先情報を付加すべき画像データの指定を取得して、取得した画像データに優先情報を紐づけてデータベース２２に格納する。優先情報付与部３０はまた、特徴量抽出制御部２６を介して特徴量抽出部２８から取得した画像データの特徴量をもとに得られる優先情報をデータベース２２に格納する。「優先情報」とは、代表画像選択部１４が代表画像を選択する際に、代表画像として優先的に選択すべき画像データであることを示す情報である。優先情報もまた、属性情報に含まれる。
【００２９】
「画像データの特徴量」とは、例えば、画像データに付加された撮像年月日と撮像時刻や、画像データそのものを解析して得られる情報のことをいう。画像データそのものを解析して得られる情報とは、例えば画像データに撮像されている人物の数や、色相や輝度の分布等である。特徴量抽出部２８は画像データの特徴量を取得するための撮像密度検出部３２、類似シーン検出部３４、および人物検出部３６をさらに含む。
【００３０】
撮像密度検出部３２は、データベース２２から取得した画像データを、その画像データが撮像された日を単位としてグループ分けして画像群を生成する。撮像密度検出部３２は、生成した画像群それぞれについて、単位時間あたりの撮像枚数を計算して取得する。
【００３１】
図４は、特定の撮像日における単位時間あたりの撮像枚数を示すヒストグラムの一例を示す図である。図４の横軸は画像データの撮像時刻であり、縦軸は各撮像時刻における画像データの撮像枚数である。具体例として、子供の誕生会が開催された日における画像データの撮像枚数の変遷について説明する。
【００３２】
子供の誕生会が開催される当日の午前中、その子供の父親は、試し撮りとして何枚かの画像データを撮像する。１２時から１３時の間に昼食で家族が集まったおり、家族で記念撮影が行われる。１４時から１５時にかけて、子供の友人を集めて誕生会が開催されたため、父親はこの時間帯に一日の内最も多く撮像した。したがって、図４において、１４時から１５時の間の１時間における撮像枚数が、他の時間帯と比較して最も多くなっている。
【００３３】
撮像密度検出部３２は、１時間あたりの撮像数を撮像密度として計算して特徴量として出力する。優先情報付与部３０は、撮像密度検出部３２が計算した撮像密度を特徴量抽出制御部２６を介して取得し、データベース２２に格納する。優先情報付与部３０はさらに、１日のうちで１時間あたり最も撮像密度の高い時間帯に撮像された画像データに優先情報を付加する。その日のメインイベントが開催されている時間帯は、１時間あたり最も撮像密度の高いと考えられる。したがって、代表画像として望ましいと考えられる画像データに優先情報を付加することができ、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００３４】
なお、撮像密度検出部３２が、単位時間を１時間として撮像枚数をカウントする場合について説明したが、単位時間は１時間に限られず、実験によって適切な値を定めればよい。また、単位時間をデータベース２２に格納しておき、指示受付部２０を介してユーザが自由に変更できるようにしてもよい。
【００３５】
類似シーン検出部３４は、撮像された日を単位としてグループ分けした画像群を生成する。類似シーン検出部３４は、生成した画像群それぞれについて、類似するシーンが撮像されている画像を類似画像群としてさらに生成する。画像から類似シーンを検出するには、例えば画像同士の色相分布、再度分布、輝度分布等の統計量を比較したり、画像同士の差分の絶対値の総和を計算して所定の閾値と比較したりする等の方法で実現できる。類似シーン検出部３４は、生成した類似画像分それぞれについて分類を付与する。
【００３６】
優先情報付与部３０は、類似シーン検出部３４が計算した類似シーンを特徴量抽出制御部２６を介して取得し、データベース２２に格納する。優先情報付与部３０はまた、類似画像群に含まれる画像を時系列に並べたときに、その画像群の中央に位置する画像データの属性情報に、優先情報を付加する。
【００３７】
前述したように、メインイベントが開催されている時間帯は撮像密度が高く、必然的に類似したシーンが撮像される可能性が高い。優先情報付与部３０は、メインイベントの時間的に中央に位置する時刻に撮像された画像データに優先情報を付加する。これにより、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００３８】
人物検出部３６は、撮像された日を単位としてグループ分けした画像群を生成する。人物検出部３６は、生成した画像群それぞれについて、被写体に人物を含むか否か、人物を含む場合には何人含むかをカウントする。人物検出部３６は、例えばＳＶＭ（Support Vector Machine）やブースティング等の既知の機械学習手法によって作成した人物検出エンジンを用いて実現できる。
【００３９】
優先情報付与部３０は、人物検出部３６が検出した人物の数を特徴量抽出制御部２６を介して取得し、データベース２２に格納する。誕生会やこどもの日等の各種イベントには、主役となる人物が存在することが多い。このため、一般に、人物は被写体として重要であると考えられる。優先情報付与部３０は、重要な被写体であると考えられる人物が最も多く撮像されている画像データに優先情報を付加する。これにより、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００４０】
優先情報付与部３０はまた、指示受付部２０を介して、ユーザによる「お気に入り画像」を取得する。ここで「お気に入り画像」とは、ユーザが注目して選択した、優先的に選択されるべき画像であることを意味する。ユーザ自身がお気に入り画像を選択している場合、その画像を代表画像とするとことで、ユーザの意思を直接反映させることができる。ユーザがお気に入り画像を選択していなくても、撮像密度検出部３２、類似シーン検出部３４、または人物検出部３６が画像データを解析して特徴量を付加することで、代表画像の選択が容易となる。
【００４１】
図５は、実施の形態に係るデータベース２２に格納される属性情報のデータ構造の一例を模式的に示す図である。図５に示すように、データベース２２に格納されている画像データを一意に識別可能な画像識別子と、画像データの属性情報とが対応づけられて格納されている。属性情報はさらに、撮像日時と特徴量とを含み、撮像日時には撮像年月日と撮像時刻とを含む。また、特徴量はさらに、優先情報、お気に入り画像か否か、被写体に含まれる人物数、類似シーンの分類、および撮像密度を含む。画像識別子は、一例として、画像データを一意に識別可能なファイルネームでもよい。
【００４２】
代表画像選択部１４は、画像分類部１６を介してデータベース２２から属性情報を取得して、代表画像を選択する。代表画像選択部１４は、代表画像として取得すべき候補が複数存在する場合、撮像時刻が過去の画像データを代表画像として取得してもよい。代表画像として取得すべき候補が複数存在する場合、代表画像選択部１４が代表画像の選択に利用するための特徴量を予め決めておいてもよい。これは例えば、ユーザが、指示受付部２０を介して属性情報付与部２４内のメモリ（図示せず）に代表画像の選択に利用するための特徴量を設定することで実現できる。
【００４３】
図６は、実施の形態に係る画像処理装置１００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１００の電源が投入されたときに開始する。
【００４４】
一覧表示部１２は、データベース２２に格納されている画像データのサムネイル画像を表示デバイスに一覧表示する（Ｓ１０）。指示受付部２０は、ユーザインタフェース１０を介してユーザから指定画像の指示を取得する（Ｓ１２）。画像分類部１６は、指示受付部２０が指定画像を取得すると、指定画像に対応する画像データが撮像された年を単位として、画像データをグループ分けして１または複数の画像群を生成する（Ｓ１４）。
【００４５】
代表画像選択部１４は、画像分類部１６が生成した画像群それぞれについて、代表画像を選択して取得する（Ｓ１６）。一覧表示部１２は、画像分類部１６が生成した画像群を各年ごとに一覧表示するとともに、代表画像選択部１４が取得した代表画像を各画像群の先頭に配置して表示する（Ｓ１８）。代表画像選択部１４は、例えば画像分類部１６が生成した画像群を積み上げた態様で表示するとともに、指定画像と代表画像とを対応する画像分の最上面に設置して表示する。
【００４６】
ユーザがスライドショーの実行を指示している場合（Ｓ２０のＹ）、スライドショー実行部１８は、ユーザが指定した画像群を間欠的に順次表示デバイスに表示することでスライドショーを実行する（Ｓ２２）。ユーザがスライドショーの実行を指示していない場合（Ｓ２０のＮ）、スライドショー実行部１８は特段の処理をしない。
【００４７】
スライドショー実行部１８がスライドショーを実行するか、ユーザがスライドショーの実行を指示していない場合、本フローチャートにおける処理は終了する。
【００４８】
図７は、お気に入り画像が指定されていない場合に、実施の形態に係る代表画像選択部１４の動作を説明するフローチャートであり、図６におけるステップＳ１６を詳細に説明する図である。
【００４９】
特徴量抽出制御部２６は、代表画像の選択に利用する特徴量を選択する（Ｓ２４）。選択した特徴量が撮像密度の場合（Ｓ２６の撮像密度）、撮像密度検出部３２は、各画像の撮像密度を取得し、代表画像選択部１４は、取得した撮像密度のうち最大の撮像密度をもつ画像データを取得する（Ｓ２８）。最大の撮像密度をもつ画像データが複数存在する場合（Ｓ３２のＹ）、代表画像選択部１４は、撮像時刻が最も過去である画像データのサムネイル画像を代表画像として取得する（Ｓ３４）。最大の撮像密度をもつ画像データが１枚の場合（Ｓ３２のＮ）、代表画像選択部１４はその画像を代表画像として取得する。
【００５０】
特徴量抽出制御部２６が選択した特徴量が人物数の場合（Ｓ２６の人物数）、人物検出部３６は、各画像に含まれる人物の数をカウントし、代表画像選択部１４は、被写体に人物を最も多く含む画像データを取得する（Ｓ３０）。被写体に人物を最も多く含む画像データが複数存在する場合（Ｓ３２のＹ）、代表画像選択部１４は、撮像時刻が最も過去である画像データのサムネイル画像を代表画像として取得する（Ｓ３４）。最大の撮像密度を持つ画像データが１枚の場合（Ｓ３２のＮ）、代表画像選択部１４はその画像を代表画像として取得する。
【００５１】
特徴量抽出制御部２６が選択した特徴量が類似シーンの場合（Ｓ２６の類似シーン）、類似シーン検出部３４は類似画像群を生成し、生成した類似画像群の中で画像データを最も多く含む類似画像群を代表シーン画像群として取得する（Ｓ３６）。代表画像選択部１４は、代表シーン画像群に含まれる画像データを時系列的に並べたときに、中央に配置される画像データのサムネイル画像を代表画像として取得する（Ｓ３８）。代表画像選択部１４が代表画像を選択すると、本フローチャートにおける処理は終了する。
【００５２】
以上の構成による動作は以下の通りである。ユーザが、一覧表示部１２が一覧表示する画像データのサムネイル画像のひとつを指定すると、画像分類部１６がデータベース２２に格納される画像データを年単位で分類して画像群を生成する。代表画像選択部１４は、指定画像に対応する画像データが撮像された日付と年違いの同じ日付に撮像された画像データを選択し、各年の代表画像とする。一覧表示部１２は、指定画像と代表画像とを並べて一覧表示する。
【００５３】
以上説明したように、実施の形態に係る画像処理装置１００によれば、大量のデジタル画像データを簡便に管理することのできる技術を提供することができる。ユーザが指定した指定画像をもとに代表画像が生成されるため、ユーザは、興味を持って注目した画像と類似する画像や、場合によってはユーザが思いもよらない意外性のある画像データを見つけることが可能となる。
【００５４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５５】
上記の説明では、データベース２２が格納する画像データの数が大きいと、それらの画像データを全て表示デバイスに一覧表示することは困難となり、ユーザが目視で画像を選択するのは労を要することを鑑みて、画像データの中からユーザが関心の高いと考えられる画像データを取得することを支援する場合について説明した。
【００５６】
一方、画像データの中には、ほとんど同一のシーンが被写体となる画像の組が存在することがある。そこで、以下変形例として、被写体がほとんど同一の画像データの組を検出して一方の画像データのサムネイルを一覧表示しないようにすることにより、一覧表示されるサムネイル画像の数を減少させる原理について説明する。
【００５７】
近年、３次元空間中の被写体を複数の異なる角度から連続的に撮像してえられるマルチアングル画像や、被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像を撮像できる撮像デバイスが普及してきている。例えばＤＣＦ（Design rule for Camera File system）準拠のＭＰＯ（Multi Picture object files）では、３次元画像と、３次元画像をＭＰＯ形式で記録すると同時に対となる２次元画像がＪＰＥＧ（Joint Photographic Experts Group）形式で記録される場合がある。同様にマルチアングル画像と、対となる２次元画像とが同時に記録される場合もある。
【００５８】
これらの画像データを一般のＰＣ（Personal Computer）等で表示する場合、対となる画像データが異なる画像データとして扱われることが多い。この場合、これらの画像データを一覧表示すると、似たシーンが撮像されているサムネイル画像が並んで表示されることになる。このため、画像を検索するユーザが煩わしさを感じる恐れがある。
【００５９】
そこで、画像分類部１６は、画像のファイルネームや画像識別子、属性情報をもとに、対となる２次元画像と３次元画像とを分類する。画像分類部１６は同様に、画像のファイルネームや画像識別子、属性情報をもとに、対となる２次元画像とマルチアングル画像とを分類する。具体的には、画像分類部１６はファイルネームの一部が一致するか否か、撮像時刻が近接するか否か等を調べることにより、対となる画像データを特定する。
【００６０】
一覧表示部１２は、画像分類部１６が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する。これにより、ほとんど同一のシーンが一覧表示される確率を低減でき、画像データを検索するユーザの煩わしさを軽減することが可能となる。
【符号の説明】
【００６１】
１０ ユーザインタフェース、 １２ 一覧表示部、 １４ 代表画像選択部、 １６ 画像分類部、 １８ スライドショー実行部、 ２０ 指示受付部、 ２２ データベース、 ２４ 属性情報付与部、 ２６ 特徴量抽出制御部、 ２８ 特徴量抽出部、 ３０ 優先情報付与部、 ３２ 撮像密度検出部、 ３４ 類似シーン検出部、 ３６ 人物検出部、 １００ 画像処理装置。
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ付き携帯電話等の撮像装置が広く普及し、ユーザが手軽にデジタル画像データを取得することができるようになってきている。カメラ付き携帯電話のカメラ機能であっても数１００万画素程度のデジタル画像データが撮像でき、コンパクトタイプのデジタルカメラにおいては１０００万画素を超えるデジタル画像データが撮像できるようになってきている。また、過去においては主にプロフェッショナル用途で用いられた、ハイエンドな一眼レフタイプのデジタルカメラも一般のユーザに普及しつつある。さらに、被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像を撮像可能なカメラも普及の段階に入ってきた。
【０００３】
このような撮像装置の普及と共にデジタル画像データを撮像する機会も多くなってきている。例えばブログを開設しているユーザの中には、一日に数十、数百ショットのデジタル画像データを撮像するユーザもおり、デジタル画像データの撮像数は爆発的に増加している。一方でそれらのデジタル画像データを大量に記録できる大容量の記録装置も普及してきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
大量の画像データが記録装置に格納されていると、ユーザは所望の画像を探し出すのに時間がかかってしまうことがあり得る。また、ユーザは、どのような画像を記録装置に記録したのかを忘れてしまうこともあり得る。このように、記録装置に格納される画像データの数が多くなると、画像データの管理が困難となる場合がある。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、大量のデジタル画像データを簡便に管理することのできる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、属性情報として撮像年月日が付加された複数の画像データを格納するデータベースと、前記データベースが格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部と、前記一覧表示部が表示するサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する指示受付部と、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する画像分類部と、前記画像分類部が生成した各画像群の中から前記指示受付部が取得した指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する代表画像選択部とを含み、前記一覧表示部は、前記代表画像選択部が各画像群の代表画像を取得することを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示する。
【０００７】
本発明の別の態様は、画像処理方法である。この方法は、属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示するステップと、表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得するステップと、指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成するステップと、生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得するステップと、各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示するステップとをプロセッサに実行させる。
【０００８】
本発明の別の態様も、画像処理装置である。この装置は、３次元空間における被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像、および当該３次元画像に対応する２次元画像を含む複数の画像データと、当該複数の画像データそれぞれを一意に識別可能なファイル名および当該複数の画像データそれぞれの撮像年月日と撮像時刻とを格納するデータベースと、前記ファイル名、撮像年月日、および撮像時刻をもとに、３次元画像に対応する２次元画像を特定する画像分類部と、前記画像分類部が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部とを含む。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、大量のデジタル画像データを簡便に管理することのできる技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る画像処理装置の内部構造を模式的に示す図である。
【図２】実施の形態に係る一覧表示の表示態様の一例を模式的に示す図である。
【図３】実施の形態に係る属性情報付与部の内部構造を模式的に示す図である。
【図４】特定の撮像日における単位時間あたりの撮像枚数を示すヒストグラムの一例を示す図である。
【図５】実施の形態に係るデータベース２２に格納される属性情報のデータ構造の一例を模式的に示す図である。
【図６】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図７】実施の形態に係る代表画像選択部の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態に係る画像処理装置は、属性情報の付された複数の画像データをその属性情報をもとに分類および選択をして、画像データをユーザに提示する。
【００１３】
図１は、実施の形態に係る画像処理装置１００の内部構成を模式的に示す図である。実施の形態に係る画像処理装置１００は、ユーザインタフェース１０、一覧表示部１２、代表画像選択部１４、画像分類部１６、スライドショー実行部１８、指示受付部２０、データベース２２、および属性情報付与部２４を含む。図１は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではないが、画像処理装置１００のの一例として据置型のゲーム機があげられる。
【００１４】
データベース２２は、主にユーザが撮像したデジタル画像データを格納する。データベース２２はＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置や、Ｂｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等の取り外し可能な記録媒体により実現できる。データベース２２はまた、画像データに付加される属性情報も格納する。属性情報の詳細については後述する。なお、データベース２２が格納する画像データは、通常の２次元画像のみならず、左目用の視差画像と右目用の視差画像とのペアから構成される３次元画像や、マルチアングル画像も含む。
【００１５】
ユーザインタフェース１０は、コントローラ等の入力デバイス（図示せず）を介して、画像処理装置１００に対するユーザの指示を取得する。ユーザインタフェース１０はまた、画像処理装置１００が出力する映像を、モニタ等の表示デバイス（図示せず）に出力する。
【００１６】
一覧表示部１２は、データベース２２が格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する。データベース２２が格納する画像データの数が多く、表示デバイス上に全てのサムネイル画像を表示しきれない場合、ユーザはコントローラを操作することで、表示デバイスに表示するサムネイル画像を変更することができる。
【００１７】
図２は、実施の形態に係る一覧表示の表示態様の一例を模式的に示す図である。図２に示すように、一覧表示の背景画像７２２上に、背景画像７２２から区別できる帯状領域７２４を生成し、その帯状領域７２４上にデータベース２２に記憶されている画像データのサムネイル画像を表示する。帯状領域７２４に表示されるサムネイル画像は、図示しないマウスやコントローラのボタンを押下すること等により、ユーザは自由に切り替えることができる。
【００１８】
ここで一覧表示部１２は、表示する画像データの画素数を取得し、画素数の多い画像データのサムネイル画像は画素数の少ない画像データのサムネイル画像よりも大きなサムネイル画像として帯状領域７２４上に表示してもよい。ユーザが画像データのサイズの違いを一見して把握できるようになる点で有利である。
【００１９】
図１の説明に戻る。指示受付部２０は、ユーザインタフェース１０を介して、一覧表示部１２が表示するサムネイル画像の中のひとつのサムネイル画像であって、ユーザが指定するサムネイル画像を指定画像として取得する。指定画像とは、例えば複数の画像データの中でユーザが興味を持った画像データのサムネイル画像である。
【００２０】
画像分類部１６は、指示受付部２０が指定画像を取得すると、画像データが撮像された年を単位として、データベース２２に格納されている複数の画像データをグループ分けして画像群を生成する。したがって、ここで画像分類部１６が生成する各画像群に含まれる画像データは、撮像された年が等しい画像データとなる。
【００２１】
代表画像選択部１４は、画像分類部１６が生成した画像群それぞれについて、指示受付部２０が取得した指定画像に対応する画像データと撮像月日が同一である画像データを、画像群の代表画像として取得する。画像群中に、指定画像に対応する画像データと撮像月日が同一である画像データが存在しない場合、代表画像選択部１４は、指定画像に対応する画像データの撮像月日と近接する撮像月日の画像データを、その画像群の代表画像として取得する。したがって、代表画像は、ユーザが指定した指定画像に対応する画像データと撮像年は異なるが、撮像月日が同一または近接する画像データである。ここで指定画像に対応する画像データと撮像月日が近接する画像データとは、例えば画像群中で最も近い撮像月日の画像データである。
【００２２】
例えば誕生日やクリスマス、ひな祭り、子供の日、花火大会、花見等、ユーザが写真を撮像する機会が多いと考えられるイベントは、１年周期で開催されることが多い。指定画像に対応する画像データが撮像された年を単位としてグループ分けした各画像群において、指定画像と撮像月日が同一または近接する画像データは、各年の同じイベントを撮像した画像データである可能性が高くなる。このため、代表画像選択部１４は、指定画像に対応する画像データと撮像月日が同一または近接する画像データを代表画像として選択する。以下、特に区別の必要がある場合を除いて、「代表画像」は指定画像を含むこととする。
【００２３】
一覧表示部１２は、代表画像選択部１４が各画像群の代表画像を生成すると、各画像群に含まれる画像データのサムネイル画像を表示デバイスに一覧表示する。一覧表示部１２はさらに、指定画像と代表画像とを各画像群の先頭に配置して表示する。前述したように、各画像群の先頭に配置された指定画像および代表画像は、各年の同じイベントを撮像した画像データのサムネイル画像である可能性が高い。このため、ユーザは興味を持った画像に撮像されたイベントと年違いの同じイベントを撮像した別の年の画像データを一覧できる可能性が高まる。ユーザは、データベース２２に格納されている複数の画像データの中から興味のある画像データを簡便に収集できる点で有利である。
【００２４】
スライドショー実行部１８は、指示受付部２０を介してユーザがら特定の画像群について画像データのスライドショーを実行すべき指示を取得すると、画像分類部１６が分類した画像群に含まれる画像データを、表示デバイス上にスライドショー表示をする。スライドショー実行部１８はまた、指示画像または代表画像選択部１４が選択した代表画像を先頭としてスライドショーを開始するとともに、画像群に含まれる画像データを、代表画像も含めて撮像時刻の順序でスライドショー表示する。
【００２５】
上述したように、代表画像選択部１４は、画像データに付加されている撮像月日をもとに代表画像を選択する。このように、代表画像選択部１４が代表画像の選択に利用する情報であって、画像データと対応づけられている情報を「属性情報」という。この意味で、画像データの撮像月日は属性情報のひとつである。
【００２６】
代表画像選択部１４は、指示受付部２０が取得した指示画像に対応する画像データの撮像月日が同一または近接する画像データが複数存在する場合、属性情報をもとに画像データを絞り込み、代表画像を取得する。このため、属性情報には、代表画像選択部１４が優先して代表画像を選択する際に参照する特徴量も含む。画像データの特徴量についての詳細は後述する。
【００２７】
属性情報付与部２４は、データベース２２に格納されている画像データそれぞれについて、属性情報を付与する。図３は、実施の形態に係る属性情報付与部２４の内部構造を模式的に示す図である。属性情報付与部２４は、特徴量抽出制御部２６、特徴量抽出部２８、および優先情報付与部３０を含む。
【００２８】
優先情報付与部３０は、指示受付部２０を介してユーザから優先情報を付加すべき画像データの指定を取得して、取得した画像データに優先情報を紐づけてデータベース２２に格納する。優先情報付与部３０はまた、特徴量抽出制御部２６を介して特徴量抽出部２８から取得した画像データの特徴量をもとに得られる優先情報をデータベース２２に格納する。「優先情報」とは、代表画像選択部１４が代表画像を選択する際に、代表画像として優先的に選択すべき画像データであることを示す情報である。優先情報もまた、属性情報に含まれる。
【００２９】
「画像データの特徴量」とは、例えば、画像データに付加された撮像年月日と撮像時刻や、画像データそのものを解析して得られる情報のことをいう。画像データそのものを解析して得られる情報とは、例えば画像データに撮像されている人物の数や、色相や輝度の分布等である。特徴量抽出部２８は画像データの特徴量を取得するための撮像密度検出部３２、類似シーン検出部３４、および人物検出部３６をさらに含む。
【００３０】
撮像密度検出部３２は、データベース２２から取得した画像データを、その画像データが撮像された日を単位としてグループ分けして画像群を生成する。撮像密度検出部３２は、生成した画像群それぞれについて、単位時間あたりの撮像枚数を計算して取得する。
【００３１】
図４は、特定の撮像日における単位時間あたりの撮像枚数を示すヒストグラムの一例を示す図である。図４の横軸は画像データの撮像時刻であり、縦軸は各撮像時刻における画像データの撮像枚数である。具体例として、子供の誕生会が開催された日における画像データの撮像枚数の変遷について説明する。
【００３２】
子供の誕生会が開催される当日の午前中、その子供の父親は、試し撮りとして何枚かの画像データを撮像する。１２時から１３時の間に昼食で家族が集まったおり、家族で記念撮影が行われる。１４時から１５時にかけて、子供の友人を集めて誕生会が開催されたため、父親はこの時間帯に一日の内最も多く撮像した。したがって、図４において、１４時から１５時の間の１時間における撮像枚数が、他の時間帯と比較して最も多くなっている。
【００３３】
撮像密度検出部３２は、１時間あたりの撮像数を撮像密度として計算して特徴量として出力する。優先情報付与部３０は、撮像密度検出部３２が計算した撮像密度を特徴量抽出制御部２６を介して取得し、データベース２２に格納する。優先情報付与部３０はさらに、１日のうちで１時間あたり最も撮像密度の高い時間帯に撮像された画像データに優先情報を付加する。その日のメインイベントが開催されている時間帯は、１時間あたり最も撮像密度の高いと考えられる。したがって、代表画像として望ましいと考えられる画像データに優先情報を付加することができ、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００３４】
なお、撮像密度検出部３２が、単位時間を１時間として撮像枚数をカウントする場合について説明したが、単位時間は１時間に限られず、実験によって適切な値を定めればよい。また、単位時間をデータベース２２に格納しておき、指示受付部２０を介してユーザが自由に変更できるようにしてもよい。
【００３５】
類似シーン検出部３４は、撮像された日を単位としてグループ分けした画像群を生成する。類似シーン検出部３４は、生成した画像群それぞれについて、類似するシーンが撮像されている画像を類似画像群としてさらに生成する。画像から類似シーンを検出するには、例えば画像同士の色相分布、再度分布、輝度分布等の統計量を比較したり、画像同士の差分の絶対値の総和を計算して所定の閾値と比較したりする等の方法で実現できる。類似シーン検出部３４は、生成した類似画像分それぞれについて分類を付与する。
【００３６】
優先情報付与部３０は、類似シーン検出部３４が計算した類似シーンを特徴量抽出制御部２６を介して取得し、データベース２２に格納する。優先情報付与部３０はまた、類似画像群に含まれる画像を時系列に並べたときに、その画像群の中央に位置する画像データの属性情報に、優先情報を付加する。
【００３７】
前述したように、メインイベントが開催されている時間帯は撮像密度が高く、必然的に類似したシーンが撮像される可能性が高い。優先情報付与部３０は、メインイベントの時間的に中央に位置する時刻に撮像された画像データに優先情報を付加する。これにより、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００３８】
人物検出部３６は、撮像された日を単位としてグループ分けした画像群を生成する。人物検出部３６は、生成した画像群それぞれについて、被写体に人物を含むか否か、人物を含む場合には何人含むかをカウントする。人物検出部３６は、例えばＳＶＭ（Support Vector Machine）やブースティング等の既知の機械学習手法によって作成した人物検出エンジンを用いて実現できる。
【００３９】
優先情報付与部３０は、人物検出部３６が検出した人物の数を特徴量抽出制御部２６を介して取得し、データベース２２に格納する。誕生会やこどもの日等の各種イベントには、主役となる人物が存在することが多い。このため、一般に、人物は被写体として重要であると考えられる。優先情報付与部３０は、重要な被写体であると考えられる人物が最も多く撮像されている画像データに優先情報を付加する。これにより、ユーザにとってより意味のある画像を提示する可能性を高めることができる。
【００４０】
優先情報付与部３０はまた、指示受付部２０を介して、ユーザによる「お気に入り画像」を取得する。ここで「お気に入り画像」とは、ユーザが注目して選択した、優先的に選択されるべき画像であることを意味する。ユーザ自身がお気に入り画像を選択している場合、その画像を代表画像とするとことで、ユーザの意思を直接反映させることができる。ユーザがお気に入り画像を選択していなくても、撮像密度検出部３２、類似シーン検出部３４、または人物検出部３６が画像データを解析して特徴量を付加することで、代表画像の選択が容易となる。
【００４１】
図５は、実施の形態に係るデータベース２２に格納される属性情報のデータ構造の一例を模式的に示す図である。図５に示すように、データベース２２に格納されている画像データを一意に識別可能な画像識別子と、画像データの属性情報とが対応づけられて格納されている。属性情報はさらに、撮像日時と特徴量とを含み、撮像日時には撮像年月日と撮像時刻とを含む。また、特徴量はさらに、優先情報、お気に入り画像か否か、被写体に含まれる人物数、類似シーンの分類、および撮像密度を含む。画像識別子は、一例として、画像データを一意に識別可能なファイルネームでもよい。
【００４２】
代表画像選択部１４は、画像分類部１６を介してデータベース２２から属性情報を取得して、代表画像を選択する。代表画像選択部１４は、代表画像として取得すべき候補が複数存在する場合、撮像時刻が過去の画像データを代表画像として取得してもよい。代表画像として取得すべき候補が複数存在する場合、代表画像選択部１４が代表画像の選択に利用するための特徴量を予め決めておいてもよい。これは例えば、ユーザが、指示受付部２０を介して属性情報付与部２４内のメモリ（図示せず）に代表画像の選択に利用するための特徴量を設定することで実現できる。
【００４３】
図６は、実施の形態に係る画像処理装置１００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１００の電源が投入されたときに開始する。
【００４４】
一覧表示部１２は、データベース２２に格納されている画像データのサムネイル画像を表示デバイスに一覧表示する（Ｓ１０）。指示受付部２０は、ユーザインタフェース１０を介してユーザから指定画像の指示を取得する（Ｓ１２）。画像分類部１６は、指示受付部２０が指定画像を取得すると、指定画像に対応する画像データが撮像された年を単位として、画像データをグループ分けして１または複数の画像群を生成する（Ｓ１４）。
【００４５】
代表画像選択部１４は、画像分類部１６が生成した画像群それぞれについて、代表画像を選択して取得する（Ｓ１６）。一覧表示部１２は、画像分類部１６が生成した画像群を各年ごとに一覧表示するとともに、代表画像選択部１４が取得した代表画像を各画像群の先頭に配置して表示する（Ｓ１８）。代表画像選択部１４は、例えば画像分類部１６が生成した画像群を積み上げた態様で表示するとともに、指定画像と代表画像とを対応する画像分の最上面に設置して表示する。
【００４６】
ユーザがスライドショーの実行を指示している場合（Ｓ２０のＹ）、スライドショー実行部１８は、ユーザが指定した画像群を間欠的に順次表示デバイスに表示することでスライドショーを実行する（Ｓ２２）。ユーザがスライドショーの実行を指示していない場合（Ｓ２０のＮ）、スライドショー実行部１８は特段の処理をしない。
【００４７】
スライドショー実行部１８がスライドショーを実行するか、ユーザがスライドショーの実行を指示していない場合、本フローチャートにおける処理は終了する。
【００４８】
図７は、お気に入り画像が指定されていない場合に、実施の形態に係る代表画像選択部１４の動作を説明するフローチャートであり、図６におけるステップＳ１６を詳細に説明する図である。
【００４９】
特徴量抽出制御部２６は、代表画像の選択に利用する特徴量を選択する（Ｓ２４）。選択した特徴量が撮像密度の場合（Ｓ２６の撮像密度）、撮像密度検出部３２は、各画像の撮像密度を取得し、代表画像選択部１４は、取得した撮像密度のうち最大の撮像密度をもつ画像データを取得する（Ｓ２８）。最大の撮像密度をもつ画像データが複数存在する場合（Ｓ３２のＹ）、代表画像選択部１４は、撮像時刻が最も過去である画像データのサムネイル画像を代表画像として取得する（Ｓ３４）。最大の撮像密度をもつ画像データが１枚の場合（Ｓ３２のＮ）、代表画像選択部１４はその画像を代表画像として取得する。
【００５０】
特徴量抽出制御部２６が選択した特徴量が人物数の場合（Ｓ２６の人物数）、人物検出部３６は、各画像に含まれる人物の数をカウントし、代表画像選択部１４は、被写体に人物を最も多く含む画像データを取得する（Ｓ３０）。被写体に人物を最も多く含む画像データが複数存在する場合（Ｓ３２のＹ）、代表画像選択部１４は、撮像時刻が最も過去である画像データのサムネイル画像を代表画像として取得する（Ｓ３４）。最大の撮像密度を持つ画像データが１枚の場合（Ｓ３２のＮ）、代表画像選択部１４はその画像を代表画像として取得する。
【００５１】
特徴量抽出制御部２６が選択した特徴量が類似シーンの場合（Ｓ２６の類似シーン）、類似シーン検出部３４は類似画像群を生成し、生成した類似画像群の中で画像データを最も多く含む類似画像群を代表シーン画像群として取得する（Ｓ３６）。代表画像選択部１４は、代表シーン画像群に含まれる画像データを時系列的に並べたときに、中央に配置される画像データのサムネイル画像を代表画像として取得する（Ｓ３８）。代表画像選択部１４が代表画像を選択すると、本フローチャートにおける処理は終了する。
【００５２】
以上の構成による動作は以下の通りである。ユーザが、一覧表示部１２が一覧表示する画像データのサムネイル画像のひとつを指定すると、画像分類部１６がデータベース２２に格納される画像データを年単位で分類して画像群を生成する。代表画像選択部１４は、指定画像に対応する画像データが撮像された日付と年違いの同じ日付に撮像された画像データを選択し、各年の代表画像とする。一覧表示部１２は、指定画像と代表画像とを並べて一覧表示する。
【００５３】
以上説明したように、実施の形態に係る画像処理装置１００によれば、大量のデジタル画像データを簡便に管理することのできる技術を提供することができる。ユーザが指定した指定画像をもとに代表画像が生成されるため、ユーザは、興味を持って注目した画像と類似する画像や、場合によってはユーザが思いもよらない意外性のある画像データを見つけることが可能となる。
【００５４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５５】
上記の説明では、データベース２２が格納する画像データの数が大きいと、それらの画像データを全て表示デバイスに一覧表示することは困難となり、ユーザが目視で画像を選択するのは労を要することを鑑みて、画像データの中からユーザが関心の高いと考えられる画像データを取得することを支援する場合について説明した。
【００５６】
一方、画像データの中には、ほとんど同一のシーンが被写体となる画像の組が存在することがある。そこで、以下変形例として、被写体がほとんど同一の画像データの組を検出して一方の画像データのサムネイルを一覧表示しないようにすることにより、一覧表示されるサムネイル画像の数を減少させる原理について説明する。
【００５７】
近年、３次元空間中の被写体を複数の異なる角度から連続的に撮像してえられるマルチアングル画像や、被写体を異なる視点から見た場合の第１の視差画像と第２の視差画像とを含む３次元画像を撮像できる撮像デバイスが普及してきている。例えばＤＣＦ（Design rule for Camera File system）準拠のＭＰＯ（Multi Picture object files）では、３次元画像と、３次元画像をＭＰＯ形式で記録すると同時に対となる２次元画像がＪＰＥＧ（Joint Photographic Experts Group）形式で記録される場合がある。同様にマルチアングル画像と、対となる２次元画像とが同時に記録される場合もある。
【００５８】
これらの画像データを一般のＰＣ（Personal Computer）等で表示する場合、対となる画像データが異なる画像データとして扱われることが多い。この場合、これらの画像データを一覧表示すると、似たシーンが撮像されているサムネイル画像が並んで表示されることになる。このため、画像を検索するユーザが煩わしさを感じる恐れがある。
【００５９】
そこで、画像分類部１６は、画像のファイルネームや画像識別子、属性情報をもとに、対となる２次元画像と３次元画像とを分類する。画像分類部１６は同様に、画像のファイルネームや画像識別子、属性情報をもとに、対となる２次元画像とマルチアングル画像とを分類する。具体的には、画像分類部１６はファイルネームの一部が一致するか否か、撮像時刻が近接するか否か等を調べることにより、対となる画像データを特定する。
【００６０】
一覧表示部１２は、画像分類部１６が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する。これにより、ほとんど同一のシーンが一覧表示される確率を低減でき、画像データを検索するユーザの煩わしさを軽減することが可能となる。
【符号の説明】
【００６１】
１０ ユーザインタフェース、 １２ 一覧表示部、 １４ 代表画像選択部、 １６ 画像分類部、 １８ スライドショー実行部、 ２０ 指示受付部、 ２２ データベース、 ２４ 属性情報付与部、 ２６ 特徴量抽出制御部、 ２８ 特徴量抽出部、 ３０ 優先情報付与部、 ３２ 撮像密度検出部、 ３４ 類似シーン検出部、 ３６ 人物検出部、 １００ 画像処理装置。
【特許請求の範囲】
【請求項１】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベースと、
前記データベースが格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部と、
前記一覧表示部が表示するサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する指示受付部と、
前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する画像分類部と、
前記画像分類部が生成した各画像群の中から前記指示受付部が取得した指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する代表画像選択部とを含み、
前記一覧表示部は、前記代表画像選択部が各画像群の代表画像を取得することを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示することを特徴とする画像処理装置。
【請求項２】
前記属性情報は、前記代表画像選択部が優先して代表画像とすることを示す優先情報をさらに含み、
前記代表画像選択部は、前記指定画像に対応する画像データと撮像月日が同一または近接する画像データが複数存在する場合、前記属性情報に優先情報を含む画像データのサムネイル画像を代表画像として取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データが撮像された日を単位として前記画像データをグループ分けして１または複数の画像群を生成し、生成した画像群それぞれについて、画像データまたは画像データに付加された撮像年月日と撮像時刻とを解析して特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した特徴量をもとに前記優先情報を付与する優先情報付与部をさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、単位時間あたりの撮像枚数を特徴量として取得する撮像密度検出部をさらに含み、
前記優先情報付与部は、単位時間あたりの撮像枚数が多い時間帯に撮像された画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、画像群に含まれる画像データに撮像される人物の数を特徴量として取得する人物検出部をさらに含み、
前記優先情報付与部は、画像に撮像されている人物の数が多い画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、類似するシーンが撮像されている画像を類似画像群として生成する類似シーン検出部をさらに含み、
前記優先情報付与部は、類似画像群に含まれる画像を時系列に並べたときに中央に位置する画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記属性情報は、画像データの撮像時刻をさらに含み、
前記代表画像選択部は、代表画像として取得すべき候補が複数存在する場合、撮像時刻が過去の画像データを代表画像として取得することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記画像分類部が分類した画像群に含まれる画像データを表示デバイス上にスライドショーを表示するスライドショー実行部をさら含み、
前記スライドショー実行部は、前記代表画像を先頭としてスライドショーを開始するとともに、画像群に含まれる画像データを、代表画像も含めて撮像時刻の順序でスライドショー表示することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
３次元空間における被写体を異なる視点から見た場合の複数の画像を含む３次元画像、および当該３次元画像に対応する２次元画像を含む複数の画像データと、当該複数の画像データそれぞれを一意に識別可能なファイル名および当該複数の画像データそれぞれの撮像年月日と撮像時刻とを格納するデータベースと、
前記ファイル名、撮像年月日、および撮像時刻をもとに、３次元画像に対応する２次元画像を特定する画像分類部と、
前記画像分類部が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部とを含むことを特徴とする画像処理装置。
【請求項１０】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示するステップと、
表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得するステップと、
指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成するステップと、
生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得するステップと、
各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示するステップとをプロセッサに実行させることを特徴とする画像処理方法。
【請求項１１】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示する機能と、
表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する機能と、
指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する機能と、
生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する機能と、
各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベースと、
前記データベースが格納する複数の画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部と、
前記一覧表示部が表示するサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する指示受付部と、
前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する画像分類部と、
前記画像分類部が生成した各画像群の中から前記指示受付部が取得した指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する代表画像選択部とを含み、
前記一覧表示部は、前記代表画像選択部が各画像群の代表画像を取得することを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示することを特徴とする画像処理装置。
【請求項２】
前記属性情報は、前記代表画像選択部が優先して代表画像とすることを示す優先情報をさらに含み、
前記代表画像選択部は、前記指定画像に対応する画像データと撮像月日が同一または近接する画像データが複数存在する場合、前記属性情報に優先情報を含む画像データのサムネイル画像を代表画像として取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データが撮像された日を単位として前記画像データをグループ分けして１または複数の画像群を生成し、生成した画像群それぞれについて、画像データまたは画像データに付加された撮像年月日と撮像時刻とを解析して特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した特徴量をもとに前記優先情報を付与する優先情報付与部をさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、単位時間あたりの撮像枚数を特徴量として取得する撮像密度検出部をさらに含み、
前記優先情報付与部は、単位時間あたりの撮像枚数が多い時間帯に撮像された画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、画像群に含まれる画像データに撮像される人物の数を特徴量として取得する人物検出部をさらに含み、
前記優先情報付与部は、画像に撮像されている人物の数が多い画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記特徴量抽出部は、撮像された日を単位としてグループ分けした画像群それぞれについて、類似するシーンが撮像されている画像を類似画像群として生成する類似シーン検出部をさらに含み、
前記優先情報付与部は、類似画像群に含まれる画像を時系列に並べたときに中央に位置する画像データの属性情報に、前記優先情報を付加することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記属性情報は、画像データの撮像時刻をさらに含み、
前記代表画像選択部は、代表画像として取得すべき候補が複数存在する場合、撮像時刻が過去の画像データを代表画像として取得することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記画像分類部が分類した画像群に含まれる画像データを表示デバイス上にスライドショーを表示するスライドショー実行部をさら含み、
前記スライドショー実行部は、前記代表画像を先頭としてスライドショーを開始するとともに、画像群に含まれる画像データを、代表画像も含めて撮像時刻の順序でスライドショー表示することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
３次元空間における被写体を異なる視点から見た場合の複数の画像を含む３次元画像、および当該３次元画像に対応する２次元画像を含む複数の画像データと、当該複数の画像データそれぞれを一意に識別可能なファイル名および当該複数の画像データそれぞれの撮像年月日と撮像時刻とを格納するデータベースと、
前記ファイル名、撮像年月日、および撮像時刻をもとに、３次元画像に対応する２次元画像を特定する画像分類部と、
前記画像分類部が特定した２次元画像を除いた画像データのサムネイル画像を表示デバイス上に一覧表示する一覧表示部とを含むことを特徴とする画像処理装置。
【請求項１０】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示するステップと、
表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得するステップと、
指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成するステップと、
生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得するステップと、
各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示するステップとをプロセッサに実行させることを特徴とする画像処理方法。
【請求項１１】
属性情報として撮像年月日が付加された複数の画像データを格納するデータベース内の複数の画像データのサムネイル画像を表示デバイス上に一覧表示する機能と、
表示したサムネイル画像の中のひとつのサムネイル画像を指定画像として取得する機能と、
指定画像が取得されたことを契機として、前記画像データが撮像された年を単位として前記複数の画像データをグループ分けして１または複数の画像群を生成する機能と、
生成した各画像群の中から、指定画像に対応する画像データと撮像月日が同一または近接する画像データを、各画像群の代表画像として取得する機能と、
各画像群の代表画像が取得されたことを契機として、前記画像群を各年ごとに一覧表示するとともに、前記代表画像を各画像群の先頭に配置して表示する機能とをコンピュータに実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２１２３４（Ｐ２０１２−２２１２３４Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６５５４（Ｐ２０１１−８６５５４）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]