情報処理装置および方法、並びにプログラム
【課題】視聴中のスクラップブックに関連するスクラップブックを推薦する。
【解決手段】例えば、スクラップブックが表示されている状態で、例えば、ボタン操作やキー操作などにより、「関連のあるスクラップブックをみる」ことが指令された場合、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧が記載されたドロップダウンリストボックス２６１が表示される。ユーザは、ドロップダウンリストボックス２６１に表示されたスクラップブックの中から所望のスクラップブックを選択決定することにより、現在表示中のスクラップブックに関連のあるスクラップブックから、所望のものを選択して表示させるようにすることができる。本発明は、例えば、ＨＤＤレコーダに適用できる。
【解決手段】例えば、スクラップブックが表示されている状態で、例えば、ボタン操作やキー操作などにより、「関連のあるスクラップブックをみる」ことが指令された場合、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧が記載されたドロップダウンリストボックス２６１が表示される。ユーザは、ドロップダウンリストボックス２６１に表示されたスクラップブックの中から所望のスクラップブックを選択決定することにより、現在表示中のスクラップブックに関連のあるスクラップブックから、所望のものを選択して表示させるようにすることができる。本発明は、例えば、ＨＤＤレコーダに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を優先的に表示させるようにすることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、コンテンツに付加されたメタデータを利用してコンテンツの検索を行うことができる。しかしこの場合、ユーザが、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果が表示されたリストの中から、ユーザが、最終的に１つのコンテンツを選択しなければならない。
【０００３】
銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。さらに、撮影された写真に関連した、レシート、パンフレットやチケット等もあわせて保存することができる。これにより、年月が経ってから写真を探すときに、分類されたアルバムやページから、日付やイベント名をキーに容易にさかのぼることができる。
【０００４】
また、写真撮影されたフィルム画像を電子画像に変換し、これに撮影日や場所等の付加情報を付加して電子データとして保存管理し、画像が記録された写真フィルムを電子データと関連付けて保管するようにしたものもある（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開平１０−１４３６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、HDDレコーダやパーソナルコンピュータにおいて、写真や動画などのコンテンツを、銀塩カメラで撮影された写真のアルバムのように、レシート、パンフレットやチケット等に関連させて保存することはできない。
【０００７】
また、上述したように、ユーザが、コンテンツを参照したい場合、ユーザは、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果がリスト表示されたとしても、ユーザは、複数の検索結果の中から、最終的に１つのコンテンツを選択する必要があるが、検索結果が少ない場合、ユーザは、他のコンテンツを視聴する機会を失ってしまうかもしれないし、検索結果が多い場合、ユーザは、その中から１つを選択するのが困難と感じるかもしれない。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を自動的に優先的に表示させるようにすることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の情報処理装置は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置であって、前記画像の画像データを記憶する画像データ記憶手段と、前記グループの属性情報を記憶するグループ属性情報記憶手段と、前記画像を前記グループごとに表示する処理を制御する表示制御手段と、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出する検索キー抽出手段と、前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段とを備え、前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する。
【００１０】
年月日時を計時する計時手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出させるようにすることができる。
【００１１】
ネットワークを介して外部からテキストデータを取得する取得手段を更に備えさせるようにすることができ、前記取得手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得させるようにすることができ、前記検索キー抽出手段には、前記取得手段により取得された前記テキストデータを検索キーとして抽出させるようにすることができる。
【００１２】
EPGを取得するEPG取得手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出させるようにすることができる。
【００１３】
コンテンツデータを記録再生する記録再生手段と、前記コンテンツデータに付随する関連情報を取得する関連情報取得手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出させるようにすることができる。
【００１４】
前記検索手段には、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索させるようにすることができる。
【００１５】
前記画像データ記憶手段には、前記画像の属性情報を更に記憶させるようにすることができ、前記検索手段には、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索させるようにすることができる。
【００１６】
本発明の第１の側面の情報処理方法は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法であって、前記画像の画像データを記憶し、前記グループの属性情報を記憶し、前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む。
【００１７】
本発明の第１の側面のプログラムは、画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む処理をコンピュータに実行させる。
【００１８】
本発明の第１の側面においては、画像の画像データが記憶され、グループの属性情報が記憶され、画像をグループごとに表示する処理の開始が指令されたとき、検索キーが抽出され、記憶されているグループ属性情報を用いて、抽出された検索キーに関連するグループが検索され、検索された検索キーに関連するグループが表示順で先頭側になるようにして、グループの一覧が表示される。
【００１９】
本発明の第２の側面の情報処理装置は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置であって、前記画像の画像データを記憶する画像データ記憶手段と、前記グループの属性情報を記憶するグループ属性情報記憶手段と、前記画像を前記グループごとに表示する処理を制御する表示制御手段と、前記表示制御手段により表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記グループ属性情報記憶手段により記憶されている前記グループの属性情報から、選択された前記グループの前記属性情報を、検索キーとして抽出する検索キー抽出手段と、前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段とを備え、前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループの一覧の表示を制御する。
【００２０】
前記検索手段には、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索させるようにすることができる。
【００２１】
前記画像データ記憶手段には、前記画像の属性情報を更に記憶させるようにすることができ、前記検索手段には、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索させるようにすることができる。
【００２２】
本発明の第２の側面の情報処理方法は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法であって、前記画像の画像データを記憶し、前記グループの属性情報を記憶し、前記画像を前記グループごとに表示し、表示されている前記グループのうちのいずれかがユーザにより選択されたとき、記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループの一覧を表示するステップを含む。
【００２３】
本発明の第２の側面のプログラムは、画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、前記画像の前記グループごとの表示を制御し、表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記第２の記憶部により記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループの一覧の表示を制御する
【００２４】
本発明の第２の側面においては、画像の画像データが記憶され、グループの属性情報が記憶あれ、画像がグループごとに表示され、表示されているグループのうちのいずれかがユーザにより選択されたとき、記憶されているグループ属性情報を用いて、選択されたグループの属性情報が、検索キーとして抽出され、抽出された検索キーに関連するグループが検索され、検索された検索キーに関連するグループの一覧が表示される。
【００２５】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００２６】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【００２７】
情報処理装置は、独立した装置であっても良いし、ＨＤＤレコーダ等の記録再生装置の情報処理を行うブロックであっても良い。
【発明の効果】
【００２８】
以上のように、本発明の第１の側面によれば、グループの一覧を表示することができ、とくに、アプリケーションの起動時などに、そのときの状況に基づいて、ユーザが好むと推測されるグループを優先的に一覧に表示することができる。
【００２９】
また、本発明の第２の側面によれば、グループの一覧を表示することができ、特に、現在ユーザが視聴しているグループに関連するグループを検索して、その一覧を表示することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図を参照して、本発明の実施の形態について説明する。
【００３１】
図１は、本発明の一実施の形態であるHDDレコーダの構成の例を示すブロック図である。
【００３２】
図１のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
【００３３】
AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
【００３４】
HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
【００３５】
図１のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、D/Aコンバータ２３、および、ネットワークインタフェース２４から構成される。
【００３６】
コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。
【００３７】
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。
【００３８】
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
【００３９】
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。
【００４０】
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
【００４１】
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
【００４２】
HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、エンコーダ１７に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
【００４３】
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。
【００４４】
記録再生部１８は、例えば、ハードディスクまたは光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。
【００４５】
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。
【００４６】
制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給されるユーザの操作を示す信号に基づいて、HDDレコーダ１全体を制御する。
【００４７】
デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
【００４８】
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。
【００４９】
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。
【００５０】
ネットワークインタフェース２４は、インターネット、または、LANなどのネットワークと接続されており、外部の機器やサーバなどと、情報の授受を行う。
【００５１】
このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録、または再生することができる。
【００５２】
図２は、図１のHDDレコーダ１の記録再生部１８および制御部２０の構成の例を示すブロック図である。
【００５３】
記録再生部１８は、画像データベース３１、テンプレートデータベース３２、コンテンツデータベース３３、および辞書データベース３４から構成される。以下、画像データベース３１を画像DB３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称し、辞書データベース３４を辞書DB３４と称することとする。
【００５４】
画像DB３１は、図１のエンコーダ１７から供給された画像のデータである画像データと、画像の属性を示すメタデータを対応づけて記憶する。
【００５５】
テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートおよびスクラップブックにおける画像の配置を設定する情報である配置テンプレートと、背景テンプレートまたは配置テンプレートの属性を示すメタデータとを対応づけて記録する。
【００５６】
コンテンツDB３３は、メタデータに基づいてグループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録するとともに、スクラップブックのメタデータを対応つけて記憶する。なお、コンテンツの詳細は後述する。
【００５７】
辞書DB３４は、例えば、国語辞典、英和辞典、和英辞典、類語辞典などの各種の辞典のデータを単語として記録する。
【００５８】
制御部２０は、操作入力取得部５１、記録再生制御部５２、表示制御部５３、特徴抽出部５４、画像判定部５５、メタデータ付加部５６、メタデータ抽出部５７、コンテンツ作成部５８、共通メタデータ数判定部５９、類義語取得部６０、および情報取得部６１から構成される。
【００５９】
操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を記録再生制御部５２に供給する。
【００６０】
具体的には、例えば、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示される画像、背景テンプレート、またはスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される画像、背景テンプレート、またはコンテンツを示す情報を記録再生制御部５２に供給する。
【００６１】
また、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。
【００６２】
また、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、記録再生制御部５２に読み出される画像の画像データから所定の画像データを選択する。
【００６３】
また、操作入力取得部５１は、操作部１９から供給される、同じメタデータを付加した画像の数を判定する閾値を設定するユーザの操作を示す信号に基づいて、ユーザにより設定される閾値を示す情報を共通メタデータ数判定部５９に供給する。
【００６４】
記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また、記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出す。
【００６５】
記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。
【００６６】
記録再生制御部５２は、読み出された画像データを特徴抽出部５４に供給する。また、記録再生制御部５２は、新たに読み出され、メタデータ付加部５６から供給されるメタデータが付加された画像データを記録再生部１８に記録させる。
【００６７】
また、記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを、コンテンツ作成部５８に供給する。
【００６８】
表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。
【００６９】
特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像の特徴を抽出する。具体的には、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出したり、また、顔認識処理を行うための特徴点および特徴量を抽出する。顔認識処理を行うための特徴点および特徴量の抽出と、顔認識処理の方法は、いかなる方法を用いても良い。また、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。
【００７０】
さらに、特徴抽出部５４は、文字認識部７１を有する。文字認識部７１は、抽出された文字列の領域の文字を認識する。
【００７１】
特徴抽出部５４は、抽出された画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。
【００７２】
画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。画像判定部５５は、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、認識された文字列の文字に基づいて、文字列データを取得する。
【００７３】
また、画像判定部５５は、特徴抽出部５４から供給される、特徴点および特徴量に基づいて、顔認識処理を実行する。
【００７４】
画像判定部５５は、取得された文字列データ、および、顔認識処理結果を、メタデータ付加部５６に供給する。
【００７５】
メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、メタデータ付加部５６は、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に新たに読み出された画像データに付加する。
【００７６】
メタデータ抽出部５７は、記録再生制御部５２に読み出される画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。
【００７７】
また、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。メタデータ抽出部５７は、共通するメタデータが存在すると判定された場合、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給する。メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給する。
【００７８】
コンテンツ作成部５８は、メタデータ抽出部５７から供給されるメタデータ、または後述する類義語取得部６０から供給される類義語に基づいて、記録再生制御部５２に読み出された画像であって、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置されてなるコンテンツであるスクラップブックを作成する。コンテンツ作成部５８は、演算部７２、およびテンプレート設定部７３から構成される。
【００７９】
演算部７２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータまたは類義語で複数の画像をグループに分ける。演算部７２は、クラスタリング部９１、および階層決定部９２から構成される。
【００８０】
クラスタリング部９１は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて，画像のクラスタリングを行う。
【００８１】
階層決定部９２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００８２】
ここで、図３および図４を参照して、演算部７２がメタデータに基づいて複数の画像をグループに分ける処理について説明する。
【００８３】
図３は、画像のグループ（クラスタ）の例を示す図である。
【００８４】
図３において、画像ｐ1乃至ｐ25は、記録再生部１８の画像DB３１に記録されている画像を示す。図３の１つの四角形は１枚の画像を表す。また、画像ｐ1乃至ｐ25には、それぞれメタデータが付加されている。
【００８５】
図３の例においては、画像ｐ1乃至ｐ12には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ13乃至ｐ19には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ20乃至ｐ25には、イベントを表すメタデータとして「社員旅行」が付加されている。
【００８６】
クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。
【００８７】
具体的には、図３に示すように、クラスタリング部９１は、画像ｐ1乃至ｐ12からなるクラスタ、画像ｐ13乃至ｐ19からなるクラスタ、および画像ｐ20乃至ｐ25からなるクラスタを生成する。
【００８８】
図４は、図３の画像のグループ（クラスタ）を、さらにクラスタリングした例を示す図である。
【００８９】
画像ｐ1乃至ｐ25は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」の他にもメタデータを有する。具体的には、画像ｐ1乃至ｐ25は、「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」のいずれかのメタデータを有する。
【００９０】
クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。階層決定部９２は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」、およびイベントの中の下位のイベントであるサブイベントのメタデータである「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００９１】
具体的には、図４に示すように、クラスタリング部９１および階層決定部９２は、画像ｐ1乃至ｐ3からなるクラスタ、画像ｐ4乃至ｐ7からなるクラスタ、画像ｐ8乃至ｐ12からなるクラスタ、画像ｐ13およびｐ14からなるクラスタ、画像ｐ15乃至ｐ17からなるクラスタ、画像ｐ18およびｐ19からなるクラスタ、画像ｐ20乃至ｐ22からなるクラスタ、並びに画像ｐ23乃至ｐ25からなるクラスタを生成する。
【００９２】
このように生成されたクラスタによって、作成されるスクラップブックのページが構成される。
【００９３】
図２に戻り、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートおよび配置テンプレートを読み出させる。テンプレート設定部７３は、読み出された背景テンプレートおよび配置テンプレートを生成されたクラスタに設定する。
【００９４】
コンテンツ作成部５８は、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に記録させる。
【００９５】
共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。共通メタデータ数判定部５９は、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給する。
【００９６】
類義語取得部６０は、メタデータが付加されている画像毎に、メタデータの類義語を取得する。具体的には、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。
【００９７】
情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得する。
【００９８】
また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。
【００９９】
さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得することができる。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。
【０１００】
次に、HDDレコーダ１におけるメタデータの付加処理について説明する。
【０１０１】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の所定のフォルダ内に画像が記録されると処理を開始する。
【０１０２】
図５は、HDDレコーダ１におけるメタデータの付加処理の例を示すフローチャートである。
【０１０３】
ステップＳ１１において、記録再生制御部５２は、記録再生部１８の所定のフォルダ内に記録された画像の画像データを読み出す。操作入力取得部５１は、記録再生制御部５２に読み出された画像データから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。
【０１０４】
ステップＳ１２において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出する。なお、特徴抽出部５４は、画像データの画像における模様のくり返しの特徴を抽出したり、画像のダイナミックレンジやアクティビティなどの特徴を抽出したりするようにできる。即ち、特徴抽出部５４は、画像が、証紙、証書、券、または帖の画像である場合と、人物または風景の画像である場合とを区別する場合に用いることができる画像の特徴を抽出する。
【０１０５】
ステップＳ１３において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。例えば、特徴抽出部５４は、ステップＳ１２において検出されたエッジの位置、検出されたエッジに囲まれる領域のトポロジーなどを基に、文字列の領域を抽出する。
【０１０６】
ステップＳ１４において、特徴抽出部５４の文字認識部７１は、抽出された領域の画像に含まれる文字列の文字を認識する。特徴抽出部５４は、抽出された画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。
【０１０７】
ステップＳ１５において、画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。即ち、画像判定部５５は、選択された画像が、証紙、証書、券、または帖の画像であるか、人物または風景の画像であるかを判定する。例えば、画像判定部５５は、画像にほぼ同じ大きさの文字が２０文字以上含まれている場合、画像にほぼ同じ大きさの文字が１０文字以上含まれ、かつ、文字におけるエッジが画像のエッジ全体の８０％以上を占め、かつ、平坦部が画像の６０％以上を占める場合など、証書、証紙、券、または帖の面の画像であると判定する。
【０１０８】
ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１６に進む。
【０１０９】
ステップＳ１６において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。
【０１１０】
ステップＳ１７において、操作入力取得部５１は、記録再生制御部５２に読み出された画像データから他の画像データを選択する。
【０１１１】
ステップＳ１８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に読み出されている、操作入力取得部５１により新たに選択された他の画像の画像データに付加し、処理は終了する。
【０１１２】
一方、ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理は終了する。
【０１１３】
なお、ステップＳ１１に戻り、読み出された画像から次の画像を選択し、読み出した画像の全てについて、順に上述した処理を適用するようにしてもよい。
【０１１４】
このように、HDDレコーダ１は、証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、他の画像に付加することができる。
【０１１５】
次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。
【０１１６】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの作成処理の指示を取得すると処理を開始する。
【０１１７】
図６および図７は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。
【０１１８】
ステップＳ３１において、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。記録再生制御部５２は、読み出された画像データを、メタデータ抽出部５７およびコンテンツ作成部５８に供給する。
【０１１９】
ステップＳ３２において、コンテンツ作成部５８は、スクラップブックを自動で作成するか否かを判定する。具体的には、コンテンツ作成部５８は、操作部１９から供給される、スクラップブックを自動で作成するか否かを選択するユーザの操作、例えば、自動作成ボタンのクリックを示す信号に基づいて、スクラップブックを自動で作成するか否かを判定する。
【０１２０】
ステップＳ３２において、スクラップブックを自動で作成すると判定された場合、処理はステップＳ３３に進む。
【０１２１】
ステップＳ３３において、メタデータ抽出部５７は、記録再生制御部５２に読み出された所定のフォルダに保存されている画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。
【０１２２】
ステップＳ３４において、コンテンツ作成部５８の演算部７２は、抽出されたメタデータに基づいて、イベント毎に画像をクラスタリングする。即ち、クラスタリング部９１は、所定のフォルダに保存されている画像データに付加されている、イベントを表すメタデータに基づいて、画像をグループに分ける。
【０１２３】
ステップＳ３５において、コンテンツ作成部５８のテンプレート設定部７３は、クラスタリングされた、それぞれのイベントに対応するメタデータが付加されている背景テンプレートを読み出す。即ち、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータに応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートを読み出させる。
【０１２４】
ステップＳ３６において、テンプレート設定部７３は、クラスタリングされたイベントクラスタに対して、読み出された背景テンプレート、即ち、イベント毎に対応するメタデータが付加されている背景テンプレートを設定する。
【０１２５】
図８は、背景テンプレートの構成の例を示す図である。図８に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、イベント毎のクラスタであるイベントクラスタを生成する画像データに付加されているメタデータに対応するメタデータを有する背景テンプレートを設定する。
【０１２６】
ステップＳ３７において、演算部７２は、各イベントの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。即ち、演算部７２は、メタデータに基づいて、サブイベント毎に画像をグループ分けし、サブイベント毎のページに画像を分ける。
【０１２７】
ステップＳ３８において、テンプレート設定部７３は、それぞれのサブイベントにクラスタリングされた画像の数に応じて、ページ毎の配置テンプレートを読み出す。
【０１２８】
ステップＳ３９において、テンプレート設定部７３は、各ページに対して、読み出されたページ毎の配置テンプレートを設定する。
【０１２９】
図９は、配置テンプレートの構成の例を示す図である。図９に示される１３１−１乃至１３１−３の配置テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、サブイベント毎のクラスタであるサブイベントクラスタを生成する画像データに付加されているメタデータ、およびサブイベントの各ページにおける画像の数に対応する配置テンプレートを設定する。
【０１３０】
図１０は、作成されるスクラップブックの所定のページの構成の例を示す図である。
【０１３１】
図１０の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。
【０１３２】
ステップＳ４０において、コンテンツ作成部５８は、スクラップブックのメタデータを生成する。
【０１３３】
図１２は、スクラップブックに付与されるメタデータの一例を示す図であり、図１３は、画像に付与されるメタデータの一例を示す図である。
【０１３４】
スクラップブックに付与されるメタデータの項目は、あらかじめ決まっているのとしても良く、項目別に、自動的に決定されるものと、スクラップブック内の画像のメタデータから自動的に取得されるものと、ユーザの入力に基づいて決められるものとがそれぞれ存在していても良い。例えば、ＩＤは、スクラップブックの生成順に自動的に決定され、タイトルは、ユーザ入力に基づいて決められても文字認識により自動的に決定されても良く、ページ数は、クラスタリングの結果自動的に決定され、期間および保有写真ＩＤは、スクラップブック内の画像のメタデータから自動的に取得される。スクラップブックのメタデータが文字認識により自動的に付与される処理については、図２０のフローチャートを参照して後述する。
【０１３５】
そして、画像に付与されるメタデータは、ＩＤ、撮影日時、コメント、焦点距離などの撮像時の情報、および、顔認識データなどで構成されている。コメントは、ユーザにより入力されたものであっても、図５を用いて上述した処理により画像に含まれる文字列が認識されて取得されたものであっても良い。
【０１３６】
ステップＳ４１において、コンテンツ作成部５８は、スクラップブックのメタデータと画像のメタデータを更新するか否かを判断する。
【０１３７】
ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新すると判断された場合、ステップＳ４２において、図１４を用いて後述するメタデータ更新処理が実行される。
【０１３８】
ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新しないと判断された場合、または、ステップＳ４２の処理の終了後、ステップＳ４３において、コンテンツ作成部５８は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給し記録させ、処理は終了する。
【０１３９】
図１１は、作成されるスクラップブックの構成の例を示す図である。
【０１４０】
図１１の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１によって決定される所定の数の画像が配置される。
【０１４１】
また、ページ１５１乃至ページ１５５のいずれかには、証書、証紙、券、または帖の面の画像を配置するようにしてもよい。
【０１４２】
一方、ステップＳ３２において、スクラップブックを自動で作成しないと判定された場合、処理はステップＳ４４に進む。ステップＳ４４乃至ステップＳ４９において、手動でスクラップブックが作成される。
【０１４３】
ステップＳ４４において、操作入力取得部５１は、操作部１９から供給される、読み出された所定のフォルダ内から画像を選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダ内の画像を示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される画像を示す情報に基づいて、所定のフォルダに保存され、ユーザにより選択された画像データを読み出す。記録再生制御部５２は、選択された画像データをコンテンツ作成部５８に供給する。
【０１４４】
ステップＳ４５において、コンテンツ作成部５８の演算部７２は、ステップＳ４４において選択された画像データを、１つのクラスタにグループ化する。
【０１４５】
ステップＳ４６において、操作入力取得部５１は、操作部１９から供給される、背景テンプレートを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される背景テンプレートを示す情報を記録再生制御部５２に供給する。
【０１４６】
ステップＳ４７において、記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される背景テンプレートを示す情報に基づいて、記録再生部１８から、背景テンプレートを読み出す。
【０１４７】
ステップＳ４８において、テンプレート設定部７３は、記録再生制御部５２から、選択された背景テンプレートを取得する。テンプレート設定部７３は、画像がグループ化されたクラスタに対して、記録再生制御部５２により取得した背景テンプレートを設定する。
【０１４８】
ステップＳ４９において、演算部７２は、グループの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングし、サブイベント毎のページに画像を分けて処理はステップＳ３８に進む。
【０１４９】
このようにして、HDDレコーダ１は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置されてなるスクラップブックを作成することができる。
【０１５０】
なお、スクラップブックは、画像データから生成される新たな画像データの組み合わせとしてもよく、また、画像データを参照し、画像の表示位置を指定するデータである編集データとしてもよい。
【０１５１】
さらに、スクラップブックは、複数の他のスクラップブックとリンクさせるようにしてもよい。具体的には、例えば、それぞれのスクラップブックに配置されている画像に付加されている所定のメタデータを関連づけることによって、スクラップブック同士をリンクさせることができる。また、例えば、同じ画像が配置されているスクラップブック同士をリンクさせるようにしてもよい。
【０１５２】
次に、図１４のフローチャートを参照して、図７のステップＳ４２において実行されるメタデータ更新処理について説明する。
【０１５３】
ステップＳ５１において、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出する。
【０１５４】
ステップＳ５２において、コンテンツ作成部５８は、抽出された全ての画像のメタデータを、項目ごとに、内容の重複がないように、スクラップブックのメタデータに反映させる。
【０１５５】
例えば、図１２を用いて説明したようなスクラップブックのメタデータには、図１３を用いて説明したような画像のメタデータの内容のすべてが含まれているわけではない。そこで、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出し、項目ごとに、全ての画像のメタデータを、内容の重複がないように、スクラップブックのメタデータに反映させる。ステップＳ５１の処理により、例えば、図１５に示されるように、スクラップブックに含まれる画像にメタデータとして付与されている複数のコメントや顔認識データなどが含まれるメタデータが、スクラップブックのメタデータとして生成される。
【０１５６】
ステップＳ５３において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックのメタデータの内容の一部を反映させる。
【０１５７】
すなわち、コンテンツ作成部５８は、例えば、スクラップブックのタイトルなど、スクラップブックのメタデータの内容の一部をそれぞれの画像のメタデータに追加する。
【０１５８】
ステップＳ５４において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加し、処理が終了される。
【０１５９】
すなわち、コンテンツ作成部５８は、それぞれの画像が、スクラップブックの何ページ目であるかを示す情報を抽出し、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加する。
【０１６０】
このような処理により、画像のメタデータは、例えば、図１６に示されるように更新される。
【０１６１】
次に、HDDレコーダ１におけるスクラップブックの自動生成処理について説明する。
【０１６２】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックの自動生成処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックの自動生成処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックの自動生成処理を行うようにしてもよい。
【０１６３】
図１７および図１８は、HDDレコーダ１におけるスクラップブックの自動生成処理の例を示すフローチャートである。
【０１６４】
ステップＳ６１において、記録再生制御部５２は、記録再生部１８からスクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。
【０１６５】
ステップＳ６２において、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている画像が存在するか否かを判定する。
【０１６６】
ステップＳ６２において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給し、処理はステップＳ６３に進む。
【０１６７】
ステップＳ６３において、共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。ステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給すると共に、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ６４に進む。
【０１６８】
ステップＳ６４において、コンテンツ作成部５８は、共通メタデータ数判定部５９から供給される同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報に応じて、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている画像データを取得する。
【０１６９】
ステップＳ６５において、類義語取得部６０は、共通するメタデータが付加されている画像データであって、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。コンテンツ作成部５８のテンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に対応するメタデータが付加されている背景テンプレートを読み出す。
【０１７０】
ステップＳ６６において、テンプレート設定部７３は、共通するメタデータが付加されている画像に対して、読み出された背景テンプレートを設定する。
【０１７１】
ステップＳ６７において、演算部７２は、共通するメタデータが付加されている画像に付加されている他のメタデータに基づいて、サブイベント毎に画像をクラスタリングする。
【０１７２】
図１７および図１８のフローチャートにおけるステップＳ６８乃至Ｓ７３の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。
【０１７３】
ステップＳ７４において、メタデータ抽出部５７は、抽出されたメタデータのうち、他の共通するメタデータが存在しないか否かを判定する。ステップＳ７４において、他の共通するメタデータが存在しないと判定された場合、処理は終了される。
【０１７４】
一方、ステップＳ７４において、他の共通するメタデータが存在すると判定された場合、処理はステップＳ６３に戻り、ステップＳ６３以降の処理を繰り返す。
【０１７５】
また、ステップＳ６２において、共通するメタデータが存在しないと判定された場合、処理は終了する。さらにステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上でないと判定された場合、処理は終了する。
【０１７６】
このようにして、HDDレコーダ１は、共通するメタデータが付加された画像の数が、所定の閾値以上になった場合、共通するメタデータが付加されている画像からなるスクラップブックを自動生成することができる。
【０１７７】
次に、HDDレコーダ１におけるスクラップブックへの画像の追加処理について説明する。
【０１７８】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックへの画像の追加処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックへの画像の追加処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックへの画像の追加処理を行うようにしてもよい。
【０１７９】
図１９は、HDDレコーダ１におけるスクラップブックのへの画像の追加処理の例を示すフローチャートである。
【０１８０】
ステップＳ８１において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。例えば、記録再生制御部５２は、図１７および図１８のスクラップブックの作成処理において、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報を参照することによって、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在すると判定された場合、処理はステップＳ８２に進む。
【０１８１】
ステップＳ８２において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報に基づいて、共通するメタデータが付加されている画像からなるスクラップブックを、記録再生部１８から読み出す。また、記録再生制御部５２は、スクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックのメタデータ、およびスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。
【０１８２】
ステップＳ８３において、メタデータ抽出部５７は、抽出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータのうち、スクラップブックに付加されている共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている他の画像が存在するか否かを判定する。
【０１８３】
ステップＳ８３において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ８４に進む。
【０１８４】
ステップＳ８４において、コンテンツ作成部５８は、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている他の画像データを選択する。また、コンテンツ作成部５８は、共通するメタデータが付加されている画像からなるスクラップブックに保存されている画像データを選択する。
【０１８５】
ステップＳ８５において、演算部７２は、スクラップブックに保存されている画像データおよび共通するメタデータが付加されている他の画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。
【０１８６】
図１９のフローチャートにおけるステップＳ８６乃至Ｓ９１の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。
【０１８７】
一方、ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在しないと判定された場合、処理は終了する。
【０１８８】
また一方、ステップＳ８３において、共通するメタデータが存在しないと判定された場合、処理は終了する。
【０１８９】
このようにして、HDDレコーダ１は、既に生成されている、共通するメタデータが付加されている画像からなるスクラップブックに、画像を追加することができる。
【０１９０】
上述した説明では、HDDレコーダ１は、予め画像データに付加されているメタデータに基づいて、スクラップブックを作成するようにしたが、作成されているスクラップブックに、新たにメタデータを付加するようにしてもよい。
【０１９１】
より具体的に、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理について説明する。
【０１９２】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がメタデータの付加処理の指示を取得すると処理を開始する。
【０１９３】
図２０は、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理の例を示す。
【０１９４】
ステップＳ１０１において、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを示す情報に基づいて、記録再生部１８からユーザにより選択されたスクラップブックのデータを読み出す。
【０１９５】
ステップＳ１０２において、操作入力取得部５１は、記録再生制御部５２に読み出されたスクラップブックのデータから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。
【０１９６】
図２０のフローチャートにおけるステップＳ１０３乃至Ｓ１０５の処理は、図５のフローチャートにおけるステップＳ１２乃至Ｓ１４の処理のそれぞれと同様であるのでその説明は省略する。
【０１９７】
ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１０７に進む。
【０１９８】
ステップＳ１０７において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。
【０１９９】
ステップＳ１０８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをスクラップブックのメタデータとして、記録再生制御部５２に読み出されたスクラップブックに付加し、処理は終了する。
【０２００】
一方、ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理はステップＳ１０９に進む。
【０２０１】
ステップＳ１０９において、操作入力取得部５１は、操作部１９から供給される、スクラップブックから他の画像を選択するか否かを表すユーザの操作を示す信号に基づいて、記録再生制御部５２に、スクラップブックから他の画像を選択するか否かを示す情報を供給する。即ち、記録再生制御部５２は、スクラップブックから他の画像を選択するか否かを判定する。
【０２０２】
ステップ１０９において、スクラップブックから他の画像を選択すると判定された場合、処理はステップＳ１０２に戻り、ステップＳ１０２以降の処理を繰り返す。
【０２０３】
一方、ステップＳ１０９において、スクラップブックから他の画像を選択しないと判定された場合、処理は終了する。
【０２０４】
このように、制御部２０は、スクラップブックに保存されている証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、スクラップブックに付加することができる。
【０２０５】
次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。
【０２０６】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。
【０２０７】
図２１および図２２は、スクラップブックの表示処理の例を示すフローチャートである。
【０２０８】
ステップＳ１４１において、情報取得部６１は、起動時の状況から検索キーを設定する。具体的には、情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、年月日、および、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定することができる。
【０２０９】
また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。
【０２１０】
さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定する。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。
【０２１１】
ステップＳ１４２において、図２７のフローチャートを用いて後述するスクラップブック検索処理が実行される。
【０２１２】
ステップＳ１４３において、記録再生制御部５２は、記録再生部１８に記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーに対応するスクラップブックが一覧表示の先頭側に表示されるように、インデックス形式またはリスト形式でスクラップブックの一覧を表示する
【０２１３】
図２３は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２３の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。
【０２１４】
ステップＳ１４４において、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、スクラップブックの一覧の表示の形式の変更が指令されたか否かを判断する。
【０２１５】
ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されたと判断された場合、ステップＳ１４５において、記録再生制御部５２は、表示制御部５３を制御し、ユーザの指令に基づいて、モニタ２に表示されるスクラップブックの一覧の表示の形式を変更する。
【０２１６】
図２４および図２５は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。
【０２１７】
図２４は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、スクラップブックに付加されている、日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。
【０２１８】
図２４の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。
【０２１９】
図２５は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。
【０２２０】
図２５の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域２５１−２には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。
【０２２１】
このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。
【０２２２】
ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されていないと判断された場合、または、ステップＳ１４５の処理の終了後、ステップＳ１４６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧から、いずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１４６において、いずれのスクラップブックが選択決定されていないと判断された場合、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。
【０２２３】
ステップＳ１４６において、いずれかのスクラップブックが選択決定されたと判断された場合、ステップＳ１４７において、操作入力取得部５１は、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択決定されたスクラップブックのデータを読み出し、表示制御部５３を制御して、モニタ２に、選択されたスクラップブックの最初のページを表示する。
【０２２４】
ステップＳ１４８において、操作入力取得部５１は、現在表示中のまたは作成中スクラップブックに対して、「関連のあるスクラップブックをみる」ことが指令されたか否かを判断する。ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、処理は、ステップＳ１５３に進む。
【０２２５】
ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されたと判断された場合、ステップＳ１４９において、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータから、検索キーを設定する。
【０２２６】
すなわち、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１２を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」を設定し、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１５を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」「浜辺にて」「ＢＢＱ」、それ以外のコメント、および、メタデータとして登録されている顔認識データを設定する。
【０２２７】
ステップＳ１５０において、図２７を用いて後述するスクラップブック検索処理が実行される。
【０２２８】
ステップＳ１５１において、記録再生制御部５２は、記録再生部１８から、検索されたスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧をリスト形式で表示する。
【０２２９】
例えば、スクラップブックが表示されている状態で、例えば、ボタン操作やキー操作などにより、「関連のあるスクラップブックをみる」ことが指令された場合、図２６に示されるように、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧が記載されたドロップダウンリストボックス２６１が表示される。
【０２３０】
ユーザは、ドロップダウンリストボックス２６１に表示されたスクラップブックの中から所望のスクラップブックを選択決定することにより、現在表示中のスクラップブックに関連のあるスクラップブックから、所望のものを選択して表示させるようにすることができる。
【０２３１】
ステップＳ１５２において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、リスト中のいずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１５２において、いずれのスクラップブックが選択決定されたと判断された場合、処理は、ステップＳ１４７に戻り、それ以降の処理が繰り返される。
【０２３２】
ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、または、ステップＳ１５２において、いずれのスクラップブックが選択決定されていないと判断された場合、ステップＳ１５３において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、現在表示中のスクラップブックの次のページの表示が指令されたか否かを判断する。
【０２３３】
ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されたと判断された場合、ステップＳ１５４において、操作入力取得部５１は、ユーザの操作を示す信号を記録再生制御部５２に供給する。記録再生制御部５２は、表示制御部５３を制御して、モニタ２に、このスクラップブックの次のページを表示し、処理は、ステップＳ１５３に戻り、それ以降の処理が繰り返される。
【０２３４】
ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されていないと判断された場合、ステップＳ１５５において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧の表示が指令されたか否かを判断する。ステップＳ１５５において、スクラップブックの一覧の表示が指令されたと判断された場合、処理は、ステップＳ１４３に戻り、それ以降の処理が繰り返される。
【０２３５】
ステップＳ１５５において、スクラップブックの一覧の表示が指令されていないと判断された場合、ステップＳ１５６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、操作の終了が指令されたか否かを判断する。ステップＳ１５６において、操作の終了が指令されていないと判断された場合、処理は、ステップＳ１４８に戻り、それ以降の処理が繰り返される。ステップＳ１５６において、操作の終了が指令されたと判断された場合、処理は終了される。
【０２３６】
このような処理により、電源オンまたはアプリケーションの起動時の状況や、その時点における流行、または、ユーザの嗜好に基づいて、ユーザが興味を有すると推定されるキーワードで検索されるスクラップブックをリストの先頭側に表示することができるので、メタデータに基づいて分類されたスクラップブックを、ユーザが興味を有する可能性が高い順に優先的に表示させるようにすることができる。さらに、このような処理により、ユーザがいずれかのスクラップブックを参照しているときに、そのスクラップブックに関連性のあるスクラップブックを検索し、推薦することができる。
【０２３７】
次に、図２７を参照して、図２１のステップＳ１４２および図２２のステップＳ１５０において実行される、スクラップブック検索処理について説明する。
【０２３８】
ステップＳ１８１において、記録再生制御部５２は、検索キーを含むメタデータを有するスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。
【０２３９】
図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有するスクラップブックが検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有するスクラップブックが検索される。
【０２４０】
ステップＳ１８２において、記録再生制御部５２は、検索キーを含むメタデータを有する画像データを、記録再生部１８の画像DB３１から検索する。
【０２４１】
図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有する画像が検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有する画像が検索される。
【０２４２】
ステップＳ１８３において、記録再生制御部５２は、ステップＳ１８２において検索された画像データを含むスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。
【０２４３】
ステップＳ１８４において、記録再生制御部５２は、検索されたスクラップブックを表示制御部５２に出力し、処理は、図２１のステップＳ１４２に戻りステップＳ１４３に進むか、または、図２２のステップＳ１５０に戻りステップＳ１５１に進む。
【０２４４】
このような処理により、キーワードに対応するメタデータを有する画像データではなく、キーワードに対応するメタデータを有するスクラップブック、または、キーワードに対応するメタデータを有する画像データを含むスクラップブックを検索する。
【０２４５】
なお、図２７を用いて説明した処理は、特に、図１４を用いて説明したメタデータ更新処理が実行されて、スクラップブックのメタデータが、そのスクラップブックに含まれる画像に付与されているメタデータを重複を避けてすべて含んでいるとき、ステップＳ１８１およびステップＳ１８４のみが実行されるものであってもかまわない。また、同様に、図２７を用いて説明した処理は、スクラップブックのメタデータに含まれる情報が、スクラップブックに含まれる画像に付与されたメタデータの内容とほぼ同じであるとき、換言すれば、スクラップブックのメタデータに、ユーザの個別の入力に基づいて付与されるメタデータが少ないような場合、ステップＳ１８２乃至ステップＳ１８４の処理のみが実行されるものであってもかまわない。
【０２４６】
なお、上述した説明では、画像データへのメタデータの付加処理は、制御部２０が自動で行うようにしたが、ユーザが操作部１９を操作し、証書、証紙、券、または帖の画像を選択することによって、メタデータの付加処理を行うようにしてもよい。
【０２４７】
また、上述した説明では、画像データからスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。
【０２４８】
また、本発明は、HDDレコーダに限らず、画像やコンテンツを記録または再生できる機器であればよく、例えば、パーソナルコンピュータなどに適用できる。
【０２４９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM（図示せず）や、記憶部３０８を構成するハードディスクなどにより構成される。
【０２５１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２５２】
【図１】本発明の一実施の形態であるHDDレコーダの例を示す図である。
【図２】HDDレコーダの制御部の構成の例を示すブロック図である。
【図３】画像のクラスタの例を示す図である。
【図４】画像のクラスタを、さらにクラスタリングした例を示す図である。
【図５】メタデータの付加処理の例を説明するフローチャートである。
【図６】スクラップブックの作成処理の例を説明するフローチャートである。
【図７】スクラップブックの作成処理の例を説明するフローチャートである。
【図８】背景テンプレートの例を示す図である。
【図９】配置テンプレートの例を示す図である。
【図１０】スクラップブックの所定のページの構成の例を示す図である。
【図１１】スクラップブックの構成の例を示す図である。
【図１２】スクラップブックに付与されるメタデータの例を示す図である。
【図１３】画像に付与されるメタデータの例を示す図である。
【図１４】メタデータ更新処理の例を説明するフローチャートである。
【図１５】スクラップブックに付与されるメタデータの例を示す図である。
【図１６】画像に付与されるメタデータの例を示す図である。
【図１７】スクラップブックの自動生成処理の例を説明するフローチャートである。
【図１８】スクラップブックの自動生成処理の例を説明するフローチャートである。
【図１９】スクラップブックへの画像の追加処理の例を説明するフローチャートである。
【図２０】メタデータの付加処理の他の例を説明するフローチャートである。
【図２１】スクラップブックの表示処理の例を説明するフローチャートである。
【図２２】スクラップブックの表示処理の例を説明するフローチャートである。
【図２３】スクラップブックの一覧の表示の例を示す図である。
【図２４】スクラップブックの一覧の表示の他の例を示す図である。
【図２５】スクラップブックの一覧の表示のさらに他の例を示す図である。
【図２６】スクラップブックの一覧の表示のさらに他の例を示す図である。
【図２７】スクラップブック検索処理の例を説明するフローチャートである。
【図２８】パーソナルコンピュータの構成の例を示す図である。
【符号の説明】
【０２５３】
１ HDDレコーダ， ２ モニタ， １８ 記録再生部， １９ 操作部， ２０ 制御部， ２４ ネットワークインタフェース， ３１ 画像DB， ３２ テンプレートDB， ３３ コンテンツDB， ３４ 辞書DB， ５１ 操作入力取得部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ 特徴抽出部， ５５ 画像判定部， ５６ メタデータ付加部， ５７ メタデータ抽出部， ５８ コンテンツ作成部， ５９ 共通メタデータ数判定部， ６０ 類義語取得部， ６１ 情報取得部， ７１ 文字認識部， ７２ 演算部， ７３ テンプレート設定部， ９１ クラスタリング部， ９２ 階層決定部， ３０８ 記憶部， ３１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を優先的に表示させるようにすることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、コンテンツに付加されたメタデータを利用してコンテンツの検索を行うことができる。しかしこの場合、ユーザが、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果が表示されたリストの中から、ユーザが、最終的に１つのコンテンツを選択しなければならない。
【０００３】
銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。さらに、撮影された写真に関連した、レシート、パンフレットやチケット等もあわせて保存することができる。これにより、年月が経ってから写真を探すときに、分類されたアルバムやページから、日付やイベント名をキーに容易にさかのぼることができる。
【０００４】
また、写真撮影されたフィルム画像を電子画像に変換し、これに撮影日や場所等の付加情報を付加して電子データとして保存管理し、画像が記録された写真フィルムを電子データと関連付けて保管するようにしたものもある（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開平１０−１４３６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、HDDレコーダやパーソナルコンピュータにおいて、写真や動画などのコンテンツを、銀塩カメラで撮影された写真のアルバムのように、レシート、パンフレットやチケット等に関連させて保存することはできない。
【０００７】
また、上述したように、ユーザが、コンテンツを参照したい場合、ユーザは、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果がリスト表示されたとしても、ユーザは、複数の検索結果の中から、最終的に１つのコンテンツを選択する必要があるが、検索結果が少ない場合、ユーザは、他のコンテンツを視聴する機会を失ってしまうかもしれないし、検索結果が多い場合、ユーザは、その中から１つを選択するのが困難と感じるかもしれない。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を自動的に優先的に表示させるようにすることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の情報処理装置は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置であって、前記画像の画像データを記憶する画像データ記憶手段と、前記グループの属性情報を記憶するグループ属性情報記憶手段と、前記画像を前記グループごとに表示する処理を制御する表示制御手段と、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出する検索キー抽出手段と、前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段とを備え、前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する。
【００１０】
年月日時を計時する計時手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出させるようにすることができる。
【００１１】
ネットワークを介して外部からテキストデータを取得する取得手段を更に備えさせるようにすることができ、前記取得手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得させるようにすることができ、前記検索キー抽出手段には、前記取得手段により取得された前記テキストデータを検索キーとして抽出させるようにすることができる。
【００１２】
EPGを取得するEPG取得手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出させるようにすることができる。
【００１３】
コンテンツデータを記録再生する記録再生手段と、前記コンテンツデータに付随する関連情報を取得する関連情報取得手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出させるようにすることができる。
【００１４】
前記検索手段には、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索させるようにすることができる。
【００１５】
前記画像データ記憶手段には、前記画像の属性情報を更に記憶させるようにすることができ、前記検索手段には、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索させるようにすることができる。
【００１６】
本発明の第１の側面の情報処理方法は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法であって、前記画像の画像データを記憶し、前記グループの属性情報を記憶し、前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む。
【００１７】
本発明の第１の側面のプログラムは、画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む処理をコンピュータに実行させる。
【００１８】
本発明の第１の側面においては、画像の画像データが記憶され、グループの属性情報が記憶され、画像をグループごとに表示する処理の開始が指令されたとき、検索キーが抽出され、記憶されているグループ属性情報を用いて、抽出された検索キーに関連するグループが検索され、検索された検索キーに関連するグループが表示順で先頭側になるようにして、グループの一覧が表示される。
【００１９】
本発明の第２の側面の情報処理装置は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置であって、前記画像の画像データを記憶する画像データ記憶手段と、前記グループの属性情報を記憶するグループ属性情報記憶手段と、前記画像を前記グループごとに表示する処理を制御する表示制御手段と、前記表示制御手段により表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記グループ属性情報記憶手段により記憶されている前記グループの属性情報から、選択された前記グループの前記属性情報を、検索キーとして抽出する検索キー抽出手段と、前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段とを備え、前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループの一覧の表示を制御する。
【００２０】
前記検索手段には、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索させるようにすることができる。
【００２１】
前記画像データ記憶手段には、前記画像の属性情報を更に記憶させるようにすることができ、前記検索手段には、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索させるようにすることができる。
【００２２】
本発明の第２の側面の情報処理方法は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法であって、前記画像の画像データを記憶し、前記グループの属性情報を記憶し、前記画像を前記グループごとに表示し、表示されている前記グループのうちのいずれかがユーザにより選択されたとき、記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループの一覧を表示するステップを含む。
【００２３】
本発明の第２の側面のプログラムは、画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、前記画像の前記グループごとの表示を制御し、表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記第２の記憶部により記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループの一覧の表示を制御する
【００２４】
本発明の第２の側面においては、画像の画像データが記憶され、グループの属性情報が記憶あれ、画像がグループごとに表示され、表示されているグループのうちのいずれかがユーザにより選択されたとき、記憶されているグループ属性情報を用いて、選択されたグループの属性情報が、検索キーとして抽出され、抽出された検索キーに関連するグループが検索され、検索された検索キーに関連するグループの一覧が表示される。
【００２５】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００２６】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【００２７】
情報処理装置は、独立した装置であっても良いし、ＨＤＤレコーダ等の記録再生装置の情報処理を行うブロックであっても良い。
【発明の効果】
【００２８】
以上のように、本発明の第１の側面によれば、グループの一覧を表示することができ、とくに、アプリケーションの起動時などに、そのときの状況に基づいて、ユーザが好むと推測されるグループを優先的に一覧に表示することができる。
【００２９】
また、本発明の第２の側面によれば、グループの一覧を表示することができ、特に、現在ユーザが視聴しているグループに関連するグループを検索して、その一覧を表示することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図を参照して、本発明の実施の形態について説明する。
【００３１】
図１は、本発明の一実施の形態であるHDDレコーダの構成の例を示すブロック図である。
【００３２】
図１のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
【００３３】
AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
【００３４】
HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
【００３５】
図１のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、D/Aコンバータ２３、および、ネットワークインタフェース２４から構成される。
【００３６】
コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。
【００３７】
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。
【００３８】
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
【００３９】
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。
【００４０】
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
【００４１】
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
【００４２】
HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、エンコーダ１７に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
【００４３】
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。
【００４４】
記録再生部１８は、例えば、ハードディスクまたは光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。
【００４５】
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。
【００４６】
制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給されるユーザの操作を示す信号に基づいて、HDDレコーダ１全体を制御する。
【００４７】
デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
【００４８】
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。
【００４９】
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。
【００５０】
ネットワークインタフェース２４は、インターネット、または、LANなどのネットワークと接続されており、外部の機器やサーバなどと、情報の授受を行う。
【００５１】
このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録、または再生することができる。
【００５２】
図２は、図１のHDDレコーダ１の記録再生部１８および制御部２０の構成の例を示すブロック図である。
【００５３】
記録再生部１８は、画像データベース３１、テンプレートデータベース３２、コンテンツデータベース３３、および辞書データベース３４から構成される。以下、画像データベース３１を画像DB３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称し、辞書データベース３４を辞書DB３４と称することとする。
【００５４】
画像DB３１は、図１のエンコーダ１７から供給された画像のデータである画像データと、画像の属性を示すメタデータを対応づけて記憶する。
【００５５】
テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートおよびスクラップブックにおける画像の配置を設定する情報である配置テンプレートと、背景テンプレートまたは配置テンプレートの属性を示すメタデータとを対応づけて記録する。
【００５６】
コンテンツDB３３は、メタデータに基づいてグループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録するとともに、スクラップブックのメタデータを対応つけて記憶する。なお、コンテンツの詳細は後述する。
【００５７】
辞書DB３４は、例えば、国語辞典、英和辞典、和英辞典、類語辞典などの各種の辞典のデータを単語として記録する。
【００５８】
制御部２０は、操作入力取得部５１、記録再生制御部５２、表示制御部５３、特徴抽出部５４、画像判定部５５、メタデータ付加部５６、メタデータ抽出部５７、コンテンツ作成部５８、共通メタデータ数判定部５９、類義語取得部６０、および情報取得部６１から構成される。
【００５９】
操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を記録再生制御部５２に供給する。
【００６０】
具体的には、例えば、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示される画像、背景テンプレート、またはスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される画像、背景テンプレート、またはコンテンツを示す情報を記録再生制御部５２に供給する。
【００６１】
また、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。
【００６２】
また、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、記録再生制御部５２に読み出される画像の画像データから所定の画像データを選択する。
【００６３】
また、操作入力取得部５１は、操作部１９から供給される、同じメタデータを付加した画像の数を判定する閾値を設定するユーザの操作を示す信号に基づいて、ユーザにより設定される閾値を示す情報を共通メタデータ数判定部５９に供給する。
【００６４】
記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また、記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出す。
【００６５】
記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。
【００６６】
記録再生制御部５２は、読み出された画像データを特徴抽出部５４に供給する。また、記録再生制御部５２は、新たに読み出され、メタデータ付加部５６から供給されるメタデータが付加された画像データを記録再生部１８に記録させる。
【００６７】
また、記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを、コンテンツ作成部５８に供給する。
【００６８】
表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。
【００６９】
特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像の特徴を抽出する。具体的には、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出したり、また、顔認識処理を行うための特徴点および特徴量を抽出する。顔認識処理を行うための特徴点および特徴量の抽出と、顔認識処理の方法は、いかなる方法を用いても良い。また、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。
【００７０】
さらに、特徴抽出部５４は、文字認識部７１を有する。文字認識部７１は、抽出された文字列の領域の文字を認識する。
【００７１】
特徴抽出部５４は、抽出された画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。
【００７２】
画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。画像判定部５５は、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、認識された文字列の文字に基づいて、文字列データを取得する。
【００７３】
また、画像判定部５５は、特徴抽出部５４から供給される、特徴点および特徴量に基づいて、顔認識処理を実行する。
【００７４】
画像判定部５５は、取得された文字列データ、および、顔認識処理結果を、メタデータ付加部５６に供給する。
【００７５】
メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、メタデータ付加部５６は、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に新たに読み出された画像データに付加する。
【００７６】
メタデータ抽出部５７は、記録再生制御部５２に読み出される画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。
【００７７】
また、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。メタデータ抽出部５７は、共通するメタデータが存在すると判定された場合、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給する。メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給する。
【００７８】
コンテンツ作成部５８は、メタデータ抽出部５７から供給されるメタデータ、または後述する類義語取得部６０から供給される類義語に基づいて、記録再生制御部５２に読み出された画像であって、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置されてなるコンテンツであるスクラップブックを作成する。コンテンツ作成部５８は、演算部７２、およびテンプレート設定部７３から構成される。
【００７９】
演算部７２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータまたは類義語で複数の画像をグループに分ける。演算部７２は、クラスタリング部９１、および階層決定部９２から構成される。
【００８０】
クラスタリング部９１は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて，画像のクラスタリングを行う。
【００８１】
階層決定部９２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００８２】
ここで、図３および図４を参照して、演算部７２がメタデータに基づいて複数の画像をグループに分ける処理について説明する。
【００８３】
図３は、画像のグループ（クラスタ）の例を示す図である。
【００８４】
図３において、画像ｐ1乃至ｐ25は、記録再生部１８の画像DB３１に記録されている画像を示す。図３の１つの四角形は１枚の画像を表す。また、画像ｐ1乃至ｐ25には、それぞれメタデータが付加されている。
【００８５】
図３の例においては、画像ｐ1乃至ｐ12には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ13乃至ｐ19には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ20乃至ｐ25には、イベントを表すメタデータとして「社員旅行」が付加されている。
【００８６】
クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。
【００８７】
具体的には、図３に示すように、クラスタリング部９１は、画像ｐ1乃至ｐ12からなるクラスタ、画像ｐ13乃至ｐ19からなるクラスタ、および画像ｐ20乃至ｐ25からなるクラスタを生成する。
【００８８】
図４は、図３の画像のグループ（クラスタ）を、さらにクラスタリングした例を示す図である。
【００８９】
画像ｐ1乃至ｐ25は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」の他にもメタデータを有する。具体的には、画像ｐ1乃至ｐ25は、「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」のいずれかのメタデータを有する。
【００９０】
クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。階層決定部９２は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」、およびイベントの中の下位のイベントであるサブイベントのメタデータである「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。
【００９１】
具体的には、図４に示すように、クラスタリング部９１および階層決定部９２は、画像ｐ1乃至ｐ3からなるクラスタ、画像ｐ4乃至ｐ7からなるクラスタ、画像ｐ8乃至ｐ12からなるクラスタ、画像ｐ13およびｐ14からなるクラスタ、画像ｐ15乃至ｐ17からなるクラスタ、画像ｐ18およびｐ19からなるクラスタ、画像ｐ20乃至ｐ22からなるクラスタ、並びに画像ｐ23乃至ｐ25からなるクラスタを生成する。
【００９２】
このように生成されたクラスタによって、作成されるスクラップブックのページが構成される。
【００９３】
図２に戻り、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートおよび配置テンプレートを読み出させる。テンプレート設定部７３は、読み出された背景テンプレートおよび配置テンプレートを生成されたクラスタに設定する。
【００９４】
コンテンツ作成部５８は、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に記録させる。
【００９５】
共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。共通メタデータ数判定部５９は、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給する。
【００９６】
類義語取得部６０は、メタデータが付加されている画像毎に、メタデータの類義語を取得する。具体的には、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。
【００９７】
情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得する。
【００９８】
また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。
【００９９】
さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得することができる。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。
【０１００】
次に、HDDレコーダ１におけるメタデータの付加処理について説明する。
【０１０１】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の所定のフォルダ内に画像が記録されると処理を開始する。
【０１０２】
図５は、HDDレコーダ１におけるメタデータの付加処理の例を示すフローチャートである。
【０１０３】
ステップＳ１１において、記録再生制御部５２は、記録再生部１８の所定のフォルダ内に記録された画像の画像データを読み出す。操作入力取得部５１は、記録再生制御部５２に読み出された画像データから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。
【０１０４】
ステップＳ１２において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出する。なお、特徴抽出部５４は、画像データの画像における模様のくり返しの特徴を抽出したり、画像のダイナミックレンジやアクティビティなどの特徴を抽出したりするようにできる。即ち、特徴抽出部５４は、画像が、証紙、証書、券、または帖の画像である場合と、人物または風景の画像である場合とを区別する場合に用いることができる画像の特徴を抽出する。
【０１０５】
ステップＳ１３において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。例えば、特徴抽出部５４は、ステップＳ１２において検出されたエッジの位置、検出されたエッジに囲まれる領域のトポロジーなどを基に、文字列の領域を抽出する。
【０１０６】
ステップＳ１４において、特徴抽出部５４の文字認識部７１は、抽出された領域の画像に含まれる文字列の文字を認識する。特徴抽出部５４は、抽出された画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。
【０１０７】
ステップＳ１５において、画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。即ち、画像判定部５５は、選択された画像が、証紙、証書、券、または帖の画像であるか、人物または風景の画像であるかを判定する。例えば、画像判定部５５は、画像にほぼ同じ大きさの文字が２０文字以上含まれている場合、画像にほぼ同じ大きさの文字が１０文字以上含まれ、かつ、文字におけるエッジが画像のエッジ全体の８０％以上を占め、かつ、平坦部が画像の６０％以上を占める場合など、証書、証紙、券、または帖の面の画像であると判定する。
【０１０８】
ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１６に進む。
【０１０９】
ステップＳ１６において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。
【０１１０】
ステップＳ１７において、操作入力取得部５１は、記録再生制御部５２に読み出された画像データから他の画像データを選択する。
【０１１１】
ステップＳ１８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に読み出されている、操作入力取得部５１により新たに選択された他の画像の画像データに付加し、処理は終了する。
【０１１２】
一方、ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理は終了する。
【０１１３】
なお、ステップＳ１１に戻り、読み出された画像から次の画像を選択し、読み出した画像の全てについて、順に上述した処理を適用するようにしてもよい。
【０１１４】
このように、HDDレコーダ１は、証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、他の画像に付加することができる。
【０１１５】
次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。
【０１１６】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの作成処理の指示を取得すると処理を開始する。
【０１１７】
図６および図７は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。
【０１１８】
ステップＳ３１において、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。記録再生制御部５２は、読み出された画像データを、メタデータ抽出部５７およびコンテンツ作成部５８に供給する。
【０１１９】
ステップＳ３２において、コンテンツ作成部５８は、スクラップブックを自動で作成するか否かを判定する。具体的には、コンテンツ作成部５８は、操作部１９から供給される、スクラップブックを自動で作成するか否かを選択するユーザの操作、例えば、自動作成ボタンのクリックを示す信号に基づいて、スクラップブックを自動で作成するか否かを判定する。
【０１２０】
ステップＳ３２において、スクラップブックを自動で作成すると判定された場合、処理はステップＳ３３に進む。
【０１２１】
ステップＳ３３において、メタデータ抽出部５７は、記録再生制御部５２に読み出された所定のフォルダに保存されている画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。
【０１２２】
ステップＳ３４において、コンテンツ作成部５８の演算部７２は、抽出されたメタデータに基づいて、イベント毎に画像をクラスタリングする。即ち、クラスタリング部９１は、所定のフォルダに保存されている画像データに付加されている、イベントを表すメタデータに基づいて、画像をグループに分ける。
【０１２３】
ステップＳ３５において、コンテンツ作成部５８のテンプレート設定部７３は、クラスタリングされた、それぞれのイベントに対応するメタデータが付加されている背景テンプレートを読み出す。即ち、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータに応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートを読み出させる。
【０１２４】
ステップＳ３６において、テンプレート設定部７３は、クラスタリングされたイベントクラスタに対して、読み出された背景テンプレート、即ち、イベント毎に対応するメタデータが付加されている背景テンプレートを設定する。
【０１２５】
図８は、背景テンプレートの構成の例を示す図である。図８に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、イベント毎のクラスタであるイベントクラスタを生成する画像データに付加されているメタデータに対応するメタデータを有する背景テンプレートを設定する。
【０１２６】
ステップＳ３７において、演算部７２は、各イベントの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。即ち、演算部７２は、メタデータに基づいて、サブイベント毎に画像をグループ分けし、サブイベント毎のページに画像を分ける。
【０１２７】
ステップＳ３８において、テンプレート設定部７３は、それぞれのサブイベントにクラスタリングされた画像の数に応じて、ページ毎の配置テンプレートを読み出す。
【０１２８】
ステップＳ３９において、テンプレート設定部７３は、各ページに対して、読み出されたページ毎の配置テンプレートを設定する。
【０１２９】
図９は、配置テンプレートの構成の例を示す図である。図９に示される１３１−１乃至１３１−３の配置テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、サブイベント毎のクラスタであるサブイベントクラスタを生成する画像データに付加されているメタデータ、およびサブイベントの各ページにおける画像の数に対応する配置テンプレートを設定する。
【０１３０】
図１０は、作成されるスクラップブックの所定のページの構成の例を示す図である。
【０１３１】
図１０の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。
【０１３２】
ステップＳ４０において、コンテンツ作成部５８は、スクラップブックのメタデータを生成する。
【０１３３】
図１２は、スクラップブックに付与されるメタデータの一例を示す図であり、図１３は、画像に付与されるメタデータの一例を示す図である。
【０１３４】
スクラップブックに付与されるメタデータの項目は、あらかじめ決まっているのとしても良く、項目別に、自動的に決定されるものと、スクラップブック内の画像のメタデータから自動的に取得されるものと、ユーザの入力に基づいて決められるものとがそれぞれ存在していても良い。例えば、ＩＤは、スクラップブックの生成順に自動的に決定され、タイトルは、ユーザ入力に基づいて決められても文字認識により自動的に決定されても良く、ページ数は、クラスタリングの結果自動的に決定され、期間および保有写真ＩＤは、スクラップブック内の画像のメタデータから自動的に取得される。スクラップブックのメタデータが文字認識により自動的に付与される処理については、図２０のフローチャートを参照して後述する。
【０１３５】
そして、画像に付与されるメタデータは、ＩＤ、撮影日時、コメント、焦点距離などの撮像時の情報、および、顔認識データなどで構成されている。コメントは、ユーザにより入力されたものであっても、図５を用いて上述した処理により画像に含まれる文字列が認識されて取得されたものであっても良い。
【０１３６】
ステップＳ４１において、コンテンツ作成部５８は、スクラップブックのメタデータと画像のメタデータを更新するか否かを判断する。
【０１３７】
ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新すると判断された場合、ステップＳ４２において、図１４を用いて後述するメタデータ更新処理が実行される。
【０１３８】
ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新しないと判断された場合、または、ステップＳ４２の処理の終了後、ステップＳ４３において、コンテンツ作成部５８は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給し記録させ、処理は終了する。
【０１３９】
図１１は、作成されるスクラップブックの構成の例を示す図である。
【０１４０】
図１１の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１によって決定される所定の数の画像が配置される。
【０１４１】
また、ページ１５１乃至ページ１５５のいずれかには、証書、証紙、券、または帖の面の画像を配置するようにしてもよい。
【０１４２】
一方、ステップＳ３２において、スクラップブックを自動で作成しないと判定された場合、処理はステップＳ４４に進む。ステップＳ４４乃至ステップＳ４９において、手動でスクラップブックが作成される。
【０１４３】
ステップＳ４４において、操作入力取得部５１は、操作部１９から供給される、読み出された所定のフォルダ内から画像を選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダ内の画像を示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される画像を示す情報に基づいて、所定のフォルダに保存され、ユーザにより選択された画像データを読み出す。記録再生制御部５２は、選択された画像データをコンテンツ作成部５８に供給する。
【０１４４】
ステップＳ４５において、コンテンツ作成部５８の演算部７２は、ステップＳ４４において選択された画像データを、１つのクラスタにグループ化する。
【０１４５】
ステップＳ４６において、操作入力取得部５１は、操作部１９から供給される、背景テンプレートを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される背景テンプレートを示す情報を記録再生制御部５２に供給する。
【０１４６】
ステップＳ４７において、記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される背景テンプレートを示す情報に基づいて、記録再生部１８から、背景テンプレートを読み出す。
【０１４７】
ステップＳ４８において、テンプレート設定部７３は、記録再生制御部５２から、選択された背景テンプレートを取得する。テンプレート設定部７３は、画像がグループ化されたクラスタに対して、記録再生制御部５２により取得した背景テンプレートを設定する。
【０１４８】
ステップＳ４９において、演算部７２は、グループの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングし、サブイベント毎のページに画像を分けて処理はステップＳ３８に進む。
【０１４９】
このようにして、HDDレコーダ１は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置されてなるスクラップブックを作成することができる。
【０１５０】
なお、スクラップブックは、画像データから生成される新たな画像データの組み合わせとしてもよく、また、画像データを参照し、画像の表示位置を指定するデータである編集データとしてもよい。
【０１５１】
さらに、スクラップブックは、複数の他のスクラップブックとリンクさせるようにしてもよい。具体的には、例えば、それぞれのスクラップブックに配置されている画像に付加されている所定のメタデータを関連づけることによって、スクラップブック同士をリンクさせることができる。また、例えば、同じ画像が配置されているスクラップブック同士をリンクさせるようにしてもよい。
【０１５２】
次に、図１４のフローチャートを参照して、図７のステップＳ４２において実行されるメタデータ更新処理について説明する。
【０１５３】
ステップＳ５１において、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出する。
【０１５４】
ステップＳ５２において、コンテンツ作成部５８は、抽出された全ての画像のメタデータを、項目ごとに、内容の重複がないように、スクラップブックのメタデータに反映させる。
【０１５５】
例えば、図１２を用いて説明したようなスクラップブックのメタデータには、図１３を用いて説明したような画像のメタデータの内容のすべてが含まれているわけではない。そこで、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出し、項目ごとに、全ての画像のメタデータを、内容の重複がないように、スクラップブックのメタデータに反映させる。ステップＳ５１の処理により、例えば、図１５に示されるように、スクラップブックに含まれる画像にメタデータとして付与されている複数のコメントや顔認識データなどが含まれるメタデータが、スクラップブックのメタデータとして生成される。
【０１５６】
ステップＳ５３において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックのメタデータの内容の一部を反映させる。
【０１５７】
すなわち、コンテンツ作成部５８は、例えば、スクラップブックのタイトルなど、スクラップブックのメタデータの内容の一部をそれぞれの画像のメタデータに追加する。
【０１５８】
ステップＳ５４において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加し、処理が終了される。
【０１５９】
すなわち、コンテンツ作成部５８は、それぞれの画像が、スクラップブックの何ページ目であるかを示す情報を抽出し、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加する。
【０１６０】
このような処理により、画像のメタデータは、例えば、図１６に示されるように更新される。
【０１６１】
次に、HDDレコーダ１におけるスクラップブックの自動生成処理について説明する。
【０１６２】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックの自動生成処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックの自動生成処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックの自動生成処理を行うようにしてもよい。
【０１６３】
図１７および図１８は、HDDレコーダ１におけるスクラップブックの自動生成処理の例を示すフローチャートである。
【０１６４】
ステップＳ６１において、記録再生制御部５２は、記録再生部１８からスクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。
【０１６５】
ステップＳ６２において、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている画像が存在するか否かを判定する。
【０１６６】
ステップＳ６２において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給し、処理はステップＳ６３に進む。
【０１６７】
ステップＳ６３において、共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。ステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給すると共に、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ６４に進む。
【０１６８】
ステップＳ６４において、コンテンツ作成部５８は、共通メタデータ数判定部５９から供給される同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報に応じて、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている画像データを取得する。
【０１６９】
ステップＳ６５において、類義語取得部６０は、共通するメタデータが付加されている画像データであって、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。コンテンツ作成部５８のテンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に対応するメタデータが付加されている背景テンプレートを読み出す。
【０１７０】
ステップＳ６６において、テンプレート設定部７３は、共通するメタデータが付加されている画像に対して、読み出された背景テンプレートを設定する。
【０１７１】
ステップＳ６７において、演算部７２は、共通するメタデータが付加されている画像に付加されている他のメタデータに基づいて、サブイベント毎に画像をクラスタリングする。
【０１７２】
図１７および図１８のフローチャートにおけるステップＳ６８乃至Ｓ７３の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。
【０１７３】
ステップＳ７４において、メタデータ抽出部５７は、抽出されたメタデータのうち、他の共通するメタデータが存在しないか否かを判定する。ステップＳ７４において、他の共通するメタデータが存在しないと判定された場合、処理は終了される。
【０１７４】
一方、ステップＳ７４において、他の共通するメタデータが存在すると判定された場合、処理はステップＳ６３に戻り、ステップＳ６３以降の処理を繰り返す。
【０１７５】
また、ステップＳ６２において、共通するメタデータが存在しないと判定された場合、処理は終了する。さらにステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上でないと判定された場合、処理は終了する。
【０１７６】
このようにして、HDDレコーダ１は、共通するメタデータが付加された画像の数が、所定の閾値以上になった場合、共通するメタデータが付加されている画像からなるスクラップブックを自動生成することができる。
【０１７７】
次に、HDDレコーダ１におけるスクラップブックへの画像の追加処理について説明する。
【０１７８】
HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックへの画像の追加処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックへの画像の追加処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックへの画像の追加処理を行うようにしてもよい。
【０１７９】
図１９は、HDDレコーダ１におけるスクラップブックのへの画像の追加処理の例を示すフローチャートである。
【０１８０】
ステップＳ８１において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。例えば、記録再生制御部５２は、図１７および図１８のスクラップブックの作成処理において、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報を参照することによって、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在すると判定された場合、処理はステップＳ８２に進む。
【０１８１】
ステップＳ８２において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報に基づいて、共通するメタデータが付加されている画像からなるスクラップブックを、記録再生部１８から読み出す。また、記録再生制御部５２は、スクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックのメタデータ、およびスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。
【０１８２】
ステップＳ８３において、メタデータ抽出部５７は、抽出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータのうち、スクラップブックに付加されている共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている他の画像が存在するか否かを判定する。
【０１８３】
ステップＳ８３において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ８４に進む。
【０１８４】
ステップＳ８４において、コンテンツ作成部５８は、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている他の画像データを選択する。また、コンテンツ作成部５８は、共通するメタデータが付加されている画像からなるスクラップブックに保存されている画像データを選択する。
【０１８５】
ステップＳ８５において、演算部７２は、スクラップブックに保存されている画像データおよび共通するメタデータが付加されている他の画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。
【０１８６】
図１９のフローチャートにおけるステップＳ８６乃至Ｓ９１の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。
【０１８７】
一方、ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在しないと判定された場合、処理は終了する。
【０１８８】
また一方、ステップＳ８３において、共通するメタデータが存在しないと判定された場合、処理は終了する。
【０１８９】
このようにして、HDDレコーダ１は、既に生成されている、共通するメタデータが付加されている画像からなるスクラップブックに、画像を追加することができる。
【０１９０】
上述した説明では、HDDレコーダ１は、予め画像データに付加されているメタデータに基づいて、スクラップブックを作成するようにしたが、作成されているスクラップブックに、新たにメタデータを付加するようにしてもよい。
【０１９１】
より具体的に、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理について説明する。
【０１９２】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がメタデータの付加処理の指示を取得すると処理を開始する。
【０１９３】
図２０は、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理の例を示す。
【０１９４】
ステップＳ１０１において、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを示す情報に基づいて、記録再生部１８からユーザにより選択されたスクラップブックのデータを読み出す。
【０１９５】
ステップＳ１０２において、操作入力取得部５１は、記録再生制御部５２に読み出されたスクラップブックのデータから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。
【０１９６】
図２０のフローチャートにおけるステップＳ１０３乃至Ｓ１０５の処理は、図５のフローチャートにおけるステップＳ１２乃至Ｓ１４の処理のそれぞれと同様であるのでその説明は省略する。
【０１９７】
ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１０７に進む。
【０１９８】
ステップＳ１０７において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。
【０１９９】
ステップＳ１０８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをスクラップブックのメタデータとして、記録再生制御部５２に読み出されたスクラップブックに付加し、処理は終了する。
【０２００】
一方、ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理はステップＳ１０９に進む。
【０２０１】
ステップＳ１０９において、操作入力取得部５１は、操作部１９から供給される、スクラップブックから他の画像を選択するか否かを表すユーザの操作を示す信号に基づいて、記録再生制御部５２に、スクラップブックから他の画像を選択するか否かを示す情報を供給する。即ち、記録再生制御部５２は、スクラップブックから他の画像を選択するか否かを判定する。
【０２０２】
ステップ１０９において、スクラップブックから他の画像を選択すると判定された場合、処理はステップＳ１０２に戻り、ステップＳ１０２以降の処理を繰り返す。
【０２０３】
一方、ステップＳ１０９において、スクラップブックから他の画像を選択しないと判定された場合、処理は終了する。
【０２０４】
このように、制御部２０は、スクラップブックに保存されている証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、スクラップブックに付加することができる。
【０２０５】
次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。
【０２０６】
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。
【０２０７】
図２１および図２２は、スクラップブックの表示処理の例を示すフローチャートである。
【０２０８】
ステップＳ１４１において、情報取得部６１は、起動時の状況から検索キーを設定する。具体的には、情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、年月日、および、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定することができる。
【０２０９】
また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。
【０２１０】
さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定する。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。
【０２１１】
ステップＳ１４２において、図２７のフローチャートを用いて後述するスクラップブック検索処理が実行される。
【０２１２】
ステップＳ１４３において、記録再生制御部５２は、記録再生部１８に記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーに対応するスクラップブックが一覧表示の先頭側に表示されるように、インデックス形式またはリスト形式でスクラップブックの一覧を表示する
【０２１３】
図２３は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２３の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。
【０２１４】
ステップＳ１４４において、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、スクラップブックの一覧の表示の形式の変更が指令されたか否かを判断する。
【０２１５】
ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されたと判断された場合、ステップＳ１４５において、記録再生制御部５２は、表示制御部５３を制御し、ユーザの指令に基づいて、モニタ２に表示されるスクラップブックの一覧の表示の形式を変更する。
【０２１６】
図２４および図２５は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。
【０２１７】
図２４は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、スクラップブックに付加されている、日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。
【０２１８】
図２４の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。
【０２１９】
図２５は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。
【０２２０】
図２５の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域２５１−２には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。
【０２２１】
このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。
【０２２２】
ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されていないと判断された場合、または、ステップＳ１４５の処理の終了後、ステップＳ１４６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧から、いずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１４６において、いずれのスクラップブックが選択決定されていないと判断された場合、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。
【０２２３】
ステップＳ１４６において、いずれかのスクラップブックが選択決定されたと判断された場合、ステップＳ１４７において、操作入力取得部５１は、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択決定されたスクラップブックのデータを読み出し、表示制御部５３を制御して、モニタ２に、選択されたスクラップブックの最初のページを表示する。
【０２２４】
ステップＳ１４８において、操作入力取得部５１は、現在表示中のまたは作成中スクラップブックに対して、「関連のあるスクラップブックをみる」ことが指令されたか否かを判断する。ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、処理は、ステップＳ１５３に進む。
【０２２５】
ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されたと判断された場合、ステップＳ１４９において、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータから、検索キーを設定する。
【０２２６】
すなわち、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１２を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」を設定し、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１５を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」「浜辺にて」「ＢＢＱ」、それ以外のコメント、および、メタデータとして登録されている顔認識データを設定する。
【０２２７】
ステップＳ１５０において、図２７を用いて後述するスクラップブック検索処理が実行される。
【０２２８】
ステップＳ１５１において、記録再生制御部５２は、記録再生部１８から、検索されたスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧をリスト形式で表示する。
【０２２９】
例えば、スクラップブックが表示されている状態で、例えば、ボタン操作やキー操作などにより、「関連のあるスクラップブックをみる」ことが指令された場合、図２６に示されるように、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧が記載されたドロップダウンリストボックス２６１が表示される。
【０２３０】
ユーザは、ドロップダウンリストボックス２６１に表示されたスクラップブックの中から所望のスクラップブックを選択決定することにより、現在表示中のスクラップブックに関連のあるスクラップブックから、所望のものを選択して表示させるようにすることができる。
【０２３１】
ステップＳ１５２において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、リスト中のいずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１５２において、いずれのスクラップブックが選択決定されたと判断された場合、処理は、ステップＳ１４７に戻り、それ以降の処理が繰り返される。
【０２３２】
ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、または、ステップＳ１５２において、いずれのスクラップブックが選択決定されていないと判断された場合、ステップＳ１５３において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、現在表示中のスクラップブックの次のページの表示が指令されたか否かを判断する。
【０２３３】
ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されたと判断された場合、ステップＳ１５４において、操作入力取得部５１は、ユーザの操作を示す信号を記録再生制御部５２に供給する。記録再生制御部５２は、表示制御部５３を制御して、モニタ２に、このスクラップブックの次のページを表示し、処理は、ステップＳ１５３に戻り、それ以降の処理が繰り返される。
【０２３４】
ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されていないと判断された場合、ステップＳ１５５において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧の表示が指令されたか否かを判断する。ステップＳ１５５において、スクラップブックの一覧の表示が指令されたと判断された場合、処理は、ステップＳ１４３に戻り、それ以降の処理が繰り返される。
【０２３５】
ステップＳ１５５において、スクラップブックの一覧の表示が指令されていないと判断された場合、ステップＳ１５６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、操作の終了が指令されたか否かを判断する。ステップＳ１５６において、操作の終了が指令されていないと判断された場合、処理は、ステップＳ１４８に戻り、それ以降の処理が繰り返される。ステップＳ１５６において、操作の終了が指令されたと判断された場合、処理は終了される。
【０２３６】
このような処理により、電源オンまたはアプリケーションの起動時の状況や、その時点における流行、または、ユーザの嗜好に基づいて、ユーザが興味を有すると推定されるキーワードで検索されるスクラップブックをリストの先頭側に表示することができるので、メタデータに基づいて分類されたスクラップブックを、ユーザが興味を有する可能性が高い順に優先的に表示させるようにすることができる。さらに、このような処理により、ユーザがいずれかのスクラップブックを参照しているときに、そのスクラップブックに関連性のあるスクラップブックを検索し、推薦することができる。
【０２３７】
次に、図２７を参照して、図２１のステップＳ１４２および図２２のステップＳ１５０において実行される、スクラップブック検索処理について説明する。
【０２３８】
ステップＳ１８１において、記録再生制御部５２は、検索キーを含むメタデータを有するスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。
【０２３９】
図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有するスクラップブックが検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有するスクラップブックが検索される。
【０２４０】
ステップＳ１８２において、記録再生制御部５２は、検索キーを含むメタデータを有する画像データを、記録再生部１８の画像DB３１から検索する。
【０２４１】
図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有する画像が検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有する画像が検索される。
【０２４２】
ステップＳ１８３において、記録再生制御部５２は、ステップＳ１８２において検索された画像データを含むスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。
【０２４３】
ステップＳ１８４において、記録再生制御部５２は、検索されたスクラップブックを表示制御部５２に出力し、処理は、図２１のステップＳ１４２に戻りステップＳ１４３に進むか、または、図２２のステップＳ１５０に戻りステップＳ１５１に進む。
【０２４４】
このような処理により、キーワードに対応するメタデータを有する画像データではなく、キーワードに対応するメタデータを有するスクラップブック、または、キーワードに対応するメタデータを有する画像データを含むスクラップブックを検索する。
【０２４５】
なお、図２７を用いて説明した処理は、特に、図１４を用いて説明したメタデータ更新処理が実行されて、スクラップブックのメタデータが、そのスクラップブックに含まれる画像に付与されているメタデータを重複を避けてすべて含んでいるとき、ステップＳ１８１およびステップＳ１８４のみが実行されるものであってもかまわない。また、同様に、図２７を用いて説明した処理は、スクラップブックのメタデータに含まれる情報が、スクラップブックに含まれる画像に付与されたメタデータの内容とほぼ同じであるとき、換言すれば、スクラップブックのメタデータに、ユーザの個別の入力に基づいて付与されるメタデータが少ないような場合、ステップＳ１８２乃至ステップＳ１８４の処理のみが実行されるものであってもかまわない。
【０２４６】
なお、上述した説明では、画像データへのメタデータの付加処理は、制御部２０が自動で行うようにしたが、ユーザが操作部１９を操作し、証書、証紙、券、または帖の画像を選択することによって、メタデータの付加処理を行うようにしてもよい。
【０２４７】
また、上述した説明では、画像データからスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。
【０２４８】
また、本発明は、HDDレコーダに限らず、画像やコンテンツを記録または再生できる機器であればよく、例えば、パーソナルコンピュータなどに適用できる。
【０２４９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM（図示せず）や、記憶部３０８を構成するハードディスクなどにより構成される。
【０２５１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２５２】
【図１】本発明の一実施の形態であるHDDレコーダの例を示す図である。
【図２】HDDレコーダの制御部の構成の例を示すブロック図である。
【図３】画像のクラスタの例を示す図である。
【図４】画像のクラスタを、さらにクラスタリングした例を示す図である。
【図５】メタデータの付加処理の例を説明するフローチャートである。
【図６】スクラップブックの作成処理の例を説明するフローチャートである。
【図７】スクラップブックの作成処理の例を説明するフローチャートである。
【図８】背景テンプレートの例を示す図である。
【図９】配置テンプレートの例を示す図である。
【図１０】スクラップブックの所定のページの構成の例を示す図である。
【図１１】スクラップブックの構成の例を示す図である。
【図１２】スクラップブックに付与されるメタデータの例を示す図である。
【図１３】画像に付与されるメタデータの例を示す図である。
【図１４】メタデータ更新処理の例を説明するフローチャートである。
【図１５】スクラップブックに付与されるメタデータの例を示す図である。
【図１６】画像に付与されるメタデータの例を示す図である。
【図１７】スクラップブックの自動生成処理の例を説明するフローチャートである。
【図１８】スクラップブックの自動生成処理の例を説明するフローチャートである。
【図１９】スクラップブックへの画像の追加処理の例を説明するフローチャートである。
【図２０】メタデータの付加処理の他の例を説明するフローチャートである。
【図２１】スクラップブックの表示処理の例を説明するフローチャートである。
【図２２】スクラップブックの表示処理の例を説明するフローチャートである。
【図２３】スクラップブックの一覧の表示の例を示す図である。
【図２４】スクラップブックの一覧の表示の他の例を示す図である。
【図２５】スクラップブックの一覧の表示のさらに他の例を示す図である。
【図２６】スクラップブックの一覧の表示のさらに他の例を示す図である。
【図２７】スクラップブック検索処理の例を説明するフローチャートである。
【図２８】パーソナルコンピュータの構成の例を示す図である。
【符号の説明】
【０２５３】
１ HDDレコーダ， ２ モニタ， １８ 記録再生部， １９ 操作部， ２０ 制御部， ２４ ネットワークインタフェース， ３１ 画像DB， ３２ テンプレートDB， ３３ コンテンツDB， ３４ 辞書DB， ５１ 操作入力取得部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ 特徴抽出部， ５５ 画像判定部， ５６ メタデータ付加部， ５７ メタデータ抽出部， ５８ コンテンツ作成部， ５９ 共通メタデータ数判定部， ６０ 類義語取得部， ６１ 情報取得部， ７１ 文字認識部， ７２ 演算部， ７３ テンプレート設定部， ９１ クラスタリング部， ９２ 階層決定部， ３０８ 記憶部， ３１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置において、
前記画像の画像データを記憶する画像データ記憶手段と、
前記グループの属性情報を記憶するグループ属性情報記憶手段と、
前記画像を前記グループごとに表示する処理を制御する表示制御手段と、
前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出する検索キー抽出手段と、
前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段と
を備え、
前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
情報処理装置。
【請求項２】
年月日時を計時する計時手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出する
請求項１に記載情報処理装置。
【請求項３】
ネットワークを介して外部からテキストデータを取得する取得手段を更に備え、
前記取得手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得し、
前記検索キー抽出手段は、前記取得手段により取得された前記テキストデータを検索キーとして抽出する
請求項１に記載情報処理装置。
【請求項４】
EPGを取得するEPG取得手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出する
請求項１に記載情報処理装置。
【請求項５】
コンテンツデータを記録再生する記録再生手段と、
前記コンテンツデータに付随する関連情報を取得する関連情報取得手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出する
請求項１に記載情報処理装置。
【請求項６】
前記検索手段は、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する
請求項１に記載情報処理装置。
【請求項７】
前記画像データ記憶手段は、前記画像の属性情報を更に記憶し、
前記検索手段は、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索する
請求項１に記載情報処理装置。
【請求項８】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法において、
前記画像の画像データを記憶し、
前記グループの属性情報を記憶し、
前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、
記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
ステップを含む情報処理方法。
【請求項９】
画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、
前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、
第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置において、
前記画像の画像データを記憶する画像データ記憶手段と、
前記グループの属性情報を記憶するグループ属性情報記憶手段と、
前記画像を前記グループごとに表示する処理を制御する表示制御手段と、
前記表示制御手段により表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記グループ属性情報記憶手段により記憶されている前記グループの属性情報から、選択された前記グループの前記属性情報を、検索キーとして抽出する検索キー抽出手段と、
前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段と
を備え、
前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループの一覧の表示を制御する
情報処理装置。
【請求項１１】
前記検索手段は、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する
請求項１０に記載情報処理装置。
【請求項１２】
前記画像データ記憶手段は、前記画像の属性情報を更に記憶し、
前記検索手段は、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索する
請求項１０に記載情報処理装置。
【請求項１３】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法において、
前記画像の画像データを記憶し、
前記グループの属性情報を記憶し、
前記画像を前記グループごとに表示し、
表示されている前記グループのうちのいずれかがユーザにより選択されたとき、記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、
抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループの一覧を表示する
ステップを含む情報処理方法。
【請求項１４】
画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、
前記画像の前記グループごとの表示を制御し、
表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記第２の記憶部により記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、
抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループの一覧の表示を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置において、
前記画像の画像データを記憶する画像データ記憶手段と、
前記グループの属性情報を記憶するグループ属性情報記憶手段と、
前記画像を前記グループごとに表示する処理を制御する表示制御手段と、
前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出する検索キー抽出手段と、
前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段と
を備え、
前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
情報処理装置。
【請求項２】
年月日時を計時する計時手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出する
請求項１に記載情報処理装置。
【請求項３】
ネットワークを介して外部からテキストデータを取得する取得手段を更に備え、
前記取得手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得し、
前記検索キー抽出手段は、前記取得手段により取得された前記テキストデータを検索キーとして抽出する
請求項１に記載情報処理装置。
【請求項４】
EPGを取得するEPG取得手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出する
請求項１に記載情報処理装置。
【請求項５】
コンテンツデータを記録再生する記録再生手段と、
前記コンテンツデータに付随する関連情報を取得する関連情報取得手段を更に備え、
前記検索キー抽出手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出する
請求項１に記載情報処理装置。
【請求項６】
前記検索手段は、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する
請求項１に記載情報処理装置。
【請求項７】
前記画像データ記憶手段は、前記画像の属性情報を更に記憶し、
前記検索手段は、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索する
請求項１に記載情報処理装置。
【請求項８】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法において、
前記画像の画像データを記憶し、
前記グループの属性情報を記憶し、
前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、
記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
ステップを含む情報処理方法。
【請求項９】
画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、
前記画像を前記グループごとに表示する処理の開始が指令されたとき、検索キーを抽出し、
第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置において、
前記画像の画像データを記憶する画像データ記憶手段と、
前記グループの属性情報を記憶するグループ属性情報記憶手段と、
前記画像を前記グループごとに表示する処理を制御する表示制御手段と、
前記表示制御手段により表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記グループ属性情報記憶手段により記憶されている前記グループの属性情報から、選択された前記グループの前記属性情報を、検索キーとして抽出する検索キー抽出手段と、
前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段と
を備え、
前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループの一覧の表示を制御する
情報処理装置。
【請求項１１】
前記検索手段は、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する
請求項１０に記載情報処理装置。
【請求項１２】
前記画像データ記憶手段は、前記画像の属性情報を更に記憶し、
前記検索手段は、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索する
請求項１０に記載情報処理装置。
【請求項１３】
１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法において、
前記画像の画像データを記憶し、
前記グループの属性情報を記憶し、
前記画像を前記グループごとに表示し、
表示されている前記グループのうちのいずれかがユーザにより選択されたとき、記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、
抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループの一覧を表示する
ステップを含む情報処理方法。
【請求項１４】
画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、
前記画像の前記グループごとの表示を制御し、
表示されている前記グループのうちのいずれかがユーザにより選択されたとき、前記第２の記憶部により記憶されている前記グループ属性情報を用いて、選択された前記グループの前記属性情報を、検索キーとして抽出し、
抽出された前記検索キーに関連する前記グループを検索し、
検索された前記検索キーに関連する前記グループの一覧の表示を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２００９−１４０４５２（Ｐ２００９−１４０４５２Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１９２１０（Ｐ２００７−３１９２１０）
【出願日】平成１９年１２月１１日（２００７．１２．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月１１日（２００７．１２．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]