コンテンツ検索方法および装置
【課題】 コンテンツ検索方法および装置を提供する。
【解決手段】複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、前記配列順序に応じて前記プレビュー情報を提供するステップとを含む。
【解決手段】複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、前記配列順序に応じて前記プレビュー情報を提供するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ検索に関し、より詳しくは、コンテンツの内容基盤の検索方法および装置に関するものである。
【背景技術】
【０００２】
ハードディスクドライブ、フラッシュメモリなどのデジタル格納装置が大容量化され、マルチメディアデータに対する圧縮技術が発達するにつれて、デジタル機器のマルチメディアコンテンツ格納能力が著しく向上している。例えば、携帯用ＭＰ３プレーヤやＰＭＰは数万曲以上の音楽コンテンツを格納することができ、ＤＶＲは数万枚以上の写真コンテンツや数百時間分量の動画コンテンツを格納することができるようになっている。
【０００３】
また、デジタル機器がネットワークを介して接続されることによって、マルチメディアコンテンツを相互共有できるようになることに伴って、１つのデジタル機器がアクセスできるマルチメディアコンテンツの量はより膨大になっている。
【０００４】
これによって、ユーザの所望するコンテンツをより容易に検索できるコンテンツ検索技術が開発されている。特許文献１には、ユーザが好む項目をマルチメディア検索に利用することができるようにする技術を提案している。
【０００５】
より効果的なコンテンツ検索のためにはコンテンツ自体の特徴を示す内容基盤の情報を用いることが好ましい。ところで、内容基盤の情報は、その種類が多様であるだけでなく、１つの内容基盤の情報も多次元の細部情報から構成されるため、２次元の画面上で内容基盤の情報に伴うコンテンツの分類および検索が困難であった。
【特許文献１】韓国登録特許第１０−０３５０７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、コンテンツ検索をより容易にすることにその目的がある。
【０００７】
本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係るコンテンツ検索方法は、複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、前記配列順序に応じて前記プレビュー情報を提供するステップとを含む。
【０００９】
上記目的を達成するために、本発明の他の態様に係るコンテンツ検索装置は、複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供する制御部と、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定する整列部と、前記配列順序に応じて前記プレビュー情報を提供するプレビュー情報提供部とを含む。
【発明の効果】
【００１０】
本発明のコンテンツ検索方法および装置によれば、コンテンツ検索をより容易にできる効果がある。
【発明を実施するための最良の形態】
【００１１】
その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
【００１２】
本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。
【００１３】
以下、添付した図面を参照して、本発明の好ましい実施形態を詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係るコンテンツ検索装置を示すブロック図である。示されたコンテンツ検索装置は、コンテンツ格納部１１０、特徴ベクトル抽出部１２０、特徴ベクトル管理部１３０、制御部１４０、ユーザ入力部１５０、プレビュー情報提供部１６０、および整列部１７０を含む。
【００１５】
コンテンツ格納部１１０は、１つ以上のコンテンツを格納する。ここで、コンテンツは、動画、静止画、オーディオなどのマルチメディアデータを含む。
【００１６】
特徴ベクトル抽出部１２０は、コンテンツ格納部１１０に格納されたコンテンツから特徴ベクトルを抽出する。本発明で特徴ベクトルは、コンテンツの内容を記述する特徴であって、コンテンツ自体の内容分析を介して得ることができる内容基盤のメタデータを意味する。特徴ベクトルの例として、オーディオコンテンツでは、音色、メロディー、リズム、テンポなどが挙げられ、静止画や動画コンテンツでは、カラー、質感、顔、動きなどが挙げられる。
【００１７】
静止画コンテンツのカラーに対する特徴ベクトルを抽出しようとすれば、特徴ベクトル抽出部１２０は静止画コンテンツの内容分析を介して、イメージの全体的なカラーの雰囲気を示すカラーヒストグラム、イメージを構成する主導的なカラーを示す主要カラー（ｄｏｍｉｎａｎｔ ｃｏｌｏｒ）、またはイメージのカラー分布を示すカラーレイアウトなどを抽出することができる。ここで、カラーに関する特徴ベクトル抽出技法は、ＲＧＢ、ＨＳＶ、ＨＭＭＤなど多様なカラー空間のうち何れを用いるのか、どの量子化方式を用いるのか、いくつかのビン（ｂｉｎ）を用いるのかによって非常に多様である。したがって、特徴ベクトル抽出部１２０が用いる特徴ベクトル抽出技法は特定アルゴリズムに制限されず、実施形態にしたがって多様に具現され得る。参考として、特徴ベクトル抽出に対する従来技術の一例として「内容基盤の動画検索のためのカラーおよびモーション特徴抽出アルゴリズム、１９９９、放送工学会論文詩、４巻、２号、１８７−１９６頁」は、動画のカラーヒストグラム情報とカラーの空間分布情報とを反映できる特徴抽出アルゴリズムを提案している。
【００１８】
一般的に特徴ベクトルは複数の特徴値で構成される。例えば、イメージの全体的な色の雰囲気を示すカラーヒストグラムは、Ｎ個の代表色がイメージで占める比率を配列することによって表現される。この場合、カラーヒストグラムという特徴ベクトルはＮ個の特徴値で構成される。赤色、橙色、黄色、緑色、青色、藍色、紫色、白色、および黒色の９種類カラーを代表色にしてイメージに対するカラーヒストグラムを抽出すれば、カラーヒストグラムに関する特徴ベクトルは９個の特徴値の配列からなる。
【００１９】
本発明の一実施形態によれば、特徴ベクトル抽出部１２０は、コンテンツから抽出した特徴ベクトルを構成する特徴値が同一のダイナミックレンジを有するように正規化する作業を行うことができる。一例として、特徴ベクトル抽出部は、特徴値の標準偏差を正規化することによって各特徴値が同一のダイナミックレンジを有することができる。
【００２０】
一方、国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧ−７は、コンテンツの内容基盤の検索のための特徴ベクトルの表現方式に関する標準である。コンテンツから特徴ベクトルを抽出する方式は、ＭＰＥＧ−７の標準化範囲に含まれていない。格納部１１０に格納されたコンテンツがＭＰＥＧ−７の標準に従えば、特徴ベクトル抽出部１２０はＭＰＥＧ−７が定義している方式にしたがってコンテンツの特徴ベクトルを抽出することもできる。
【００２１】
特徴ベクトル管理部１３０は、特徴ベクトル抽出部１２０が抽出した特徴ベクトルを格納して管理する。特徴ベクトル管理部１３０は、特徴ベクトルを格納部１１０に格納されたコンテンツとマッピングさせておく。すなわち、コンテンツＡから抽出された特徴ベクトルａはコンテンツＡとマッピングされる。したがって、各特徴ベクトルがどのコンテンツに関するものであるか知ることができる。格納部１１０で特定コンテンツが削除されれば、特徴ベクトル管理部１３０は削除されたコンテンツにマッピングされた特徴ベクトルを削除する。
【００２２】
ユーザ入力部１５０には、ユーザから所定の制御要請が入力される。このためにユーザ入力部１５０は、キーボード、タッチパッド、タッチスクリーンなどの入力手段を含むことができる。実施形態にしたがって、ユーザ入力部１５０はリモコンの制御信号を受信して処理することもできる。この場合、ユーザはリモコンによって所望する制御要請を入力することができる。
【００２３】
プレビュー情報提供部１６０は、コンテンツ格納部１１０に格納されたコンテンツのプレビュー情報を提供する。プレビュー情報は、コンテンツに関する明細を示す情報である。音楽コンテンツのプレビュー情報として、題名、ジャンル、歌手、アルバム情報、再生時間などを例に挙げられ、映画コンテンツのプレビュー情報として、出演者、題名、監督、再生時間、あらすじなどを例に挙げられる。このようなプレビュー情報は、コンテンツに明示的に添付されている付加データから抽出することができる。ＭＰ３形式のオーディオコンテンツに添付されているＩＤ３タグ、ＪＰＥＧ形式のイメージコンテンツに添付されているＥｘｉｆ情報、ＭＰＥＧ−２形式の動画コンテンツに添付されているＭＰＥＧヘッダなどは付加データを含んでいるフィールドの例である。
【００２４】
コンテンツが写真や絵のようなイメージを含んでいれば、プレビュー情報提供部１６０はコンテンツのサムネイルやイメージをプレビュー情報として提供することができる。
【００２５】
制御部１４０は、コンテンツ検索装置の動作過程を制御する。特に、制御部１４０は、特徴ベクトルリストと特徴値リストを提供し、ユーザ入力部１５０によって入力されるユーザの制御要請によってディスプレイ部１８０が表示するユーザインターフェースを制御する。
【００２６】
整列部１７０は、プレビュー情報提供部１６０が提供するプレビュー情報の配列順序を決定する。
【００２７】
ディスプレイ部１８０は、制御部１４０の制御によって、コンテンツ検索のためのユーザインターフェースを表示する。このためにディスプレイ部１８０は、ＬＣＤ、ＰＤＰ、有機ＥＬなどを含むことができる。ディスプレイ部１８０が表示するユーザインターフェースの一例を図２に示す。
【００２８】
図２に示されたユーザインターフェースは、制御部１４０が提供する特徴ベクトルリストおよび特徴値リストが表示される第１ディスプレイ領域２１０および第２ディスプレイ領域２２０と、プレビュー情報提供部１６０が提供するプレビュー情報が表示される第３ディスプレイ領域２３０とを含む。
【００２９】
第１ディスプレイ領域２１０に表示される特徴ベクトルリストは、特徴ベクトル抽出部１２０がコンテンツから抽出する特徴ベクトルの種類（以下、特徴ベクトル類型という）を並べたものであって、コンテンツ検索装置の具現時に設定される。特徴ベクトルリストに含まれる各特徴ベクトル類型は、テキスト、図形、アイコン、色などの形態で提供される。図２に示された例では、カラー、質感、および顔という特徴ベクトル類型がテキストとして表示されている。
【００３０】
ユーザは、ユーザ入力部１５０やリモコンを操作して、特徴ベクトルリストから基準特徴ベクトル類型を選択および変更することができる。制御部１４０は、色変化、ハイライト、アイコン貼付、大きさ変化、枠表示などによって、基準特徴ベクトル類型がユーザに容易に識別されるようにすることができる。図２に示された例では、基準特徴ベクトル類型としてカラー２４０が選択されていることを示す。
【００３１】
第２ディスプレイ領域２２０に表示される特徴値リストは、第１ディスプレイ領域２１０に表示された特徴ベクトルリストのうち選択された基準特徴ベクトル類型を構成する特徴値の種類（以下、特徴値類型という）を示したものであって、コンテンツ検索装置の具現時に設定される。特徴値リストに含まれる各特徴値類型は、テキスト、図形、アイコン、色などの形態で提供される。図２に示された例では、赤色〜黒色の９種類の特徴値類型がテキストで表示されている。示された特徴値類型は色を示すため、実際具現時に各特徴値類型に合う色と共に表示されることもできる。
【００３２】
ユーザは、ユーザ入力部１５０やリモコンを操作して、特徴値リストから基準特徴値類型を選択および変更することができる。制御部１４０は、色変化、ハイライト、アイコン貼付、大きさ変化、枠表示などによって、基準特徴値類型がユーザに容易に識別されるようにすることができる。図２に示された例では、基準特徴値類型として藍色２５０が選択されていることを示す。
【００３３】
第３ディスプレイ領域２３０には、第２ディスプレイ領域２２０に表示された特徴値リストのうち選択された基準特徴値類型を基準にして決定された配列順序に応じて格納部１１０に格納されたコンテンツのプレビュー情報が提供されている。プレビュー情報の配列順序は整列部１７０によって決定される。図２に示された例では、プレビュー情報としてコンテンツのサムネイルを用いているが、本発明では限定されることはない。
【００３４】
プレビュー情報は、１次元的に配列されることが好ましい。図２に示された例でプレビュー情報は横方向に配列されているが、本発明では限定されることはない。例えば、プレビュー情報は縦方向に配列されることもできる。
【００３５】
複数のプレビュー情報のうち選択された基準プレビュー情報には、ハイライト、アイコン表示、色変化、枠表示などのセレクタ２６０が位置することができる。ユーザは、ユーザ入力部１５０やリモコンを操作して、基準プレビュー情報を変更することによってコンテンツ検索を行うようになる。例えば、ユーザがリモコンの右側方向ボタンを押せば、ユーザ入力部１５０がユーザの制御要請を解釈して制御部１４０に伝達する。この時、制御部１４０は、セレクタ２６０が指示していたプレビュー情報の右側に隣接したプレビュー情報上にセレクタ２６０を移動させられる。または、セレクタ２６０は固定された位置にあり、プレビュー情報が左側方向に一定間隔ずつ移動して、セレクタ２６０が新しいプレビュー情報を指示する実施形態も可能である。
【００３６】
また、本発明の一実施形態として、第３ディスプレイ領域２３０に一部プレビュー情報が表示される場合、中央に位置したプレビュー情報が基準プレビュー情報として設定されることもできる。この場合、ユーザが基準プレビュー情報の変更を要請すれば、制御部１４０はプレビュー情報の位置を移動させることによって基準プレビュー情報を変更することができる。
【００３７】
以上の説明で図１のコンテンツ検索装置を構成する機能性ブロックの「〜部」は一種のモジュールとして具現することができる。ここで、「モジュール」は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、モジュールはある役割を行う。ところが、モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結合したり、追加的な構成要素とモジュールにさらに分離したりすることができる。
【００３８】
以下、前述したコンテンツ検索装置の動作過程について説明する。
【００３９】
図３は、本発明の一実施形態に係る特徴ベクトル格納過程を示すフローチャートである。
【００４０】
新しいコンテンツが格納部１１０に格納されれば（Ｓ３１０）、特徴ベクトル抽出部１２０は格納されたコンテンツを分析して特徴ベクトルを抽出する（Ｓ３２０）。この時、特徴ベクトル抽出部１２０は、抽出された特徴ベクトルを構成する複数の特徴値が相互同一のダイナミックレンジを有するように正規化作業を行うことができる。特徴ベクトル抽出部が１つのコンテンツから抽出する特徴ベクトルの種類は複数であることが好ましい。
【００４１】
その後、特徴ベクトル管理部１３０は、特徴ベクトル抽出部１２０が抽出した特徴ベクトルを格納する（Ｓ３３０）。この時、特徴ベクトル管理部１３０は、特徴ベクトルをコンテンツ格納部１１０に格納したコンテンツとマッピングさせることができる。
【００４２】
図４は、本発明の一実施形態に係るコンテンツ検索方法を示すフローチャートである。
【００４３】
コンテンツ検索を開始すれば、制御部１４０は特徴ベクトルリストのうち基準特徴ベクトル類型を選択する（Ｓ４１０）。ここで、特徴ベクトルリストは、特徴ベクトル抽出部１２０がコンテンツから抽出する特徴ベクトルの種類を示し、予め設定されている。どの特徴ベクトル類型を基準特徴ベクトル類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴ベクトル類型として制御部１４０は任意の特徴ベクトル類型を選択したり、最近基準特徴ベクトル類型として選択された特徴ベクトル類型を再び選択したりすることができる。
【００４４】
基準特徴ベクトル類型が決定されれば、制御部１４０は基準特徴ベクトル類型に対する特徴値リストから基準特徴値類型を選択する（Ｓ４２０）。ここで、特徴値リストは、特徴ベクトル類型を構成する特徴値の種類を示し、予め設定されている。どの特徴値類型を基準特徴値類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴値類型として制御部１４０は、任意の特徴値類型を選択したり、最近基準特徴値類型として選択された特徴値類型を再び選択したりすることができる。他の実施形態として、制御部１４０は基準プレビュー情報に対応するコンテンツの特徴ベクトルのうち基準特徴ベクトル類型に該当する特徴ベクトルを構成する特徴値を分析して、最も大きい数値の特徴値を示す特徴値類型を基準特徴値類型として選択することもできる。基準プレビュー情報は、複数のプレビュー情報のうち任意のプレビュー情報を選択したり、最近基準プレビュー情報として用いられたプレビュー情報を選択したりすることができる。
【００４５】
基準特徴値類型が決定されれば、整列部１７０は基準特徴値類型に応じてプレビュー情報の配列順序を決定する（Ｓ４３０）。このために整列部１７０は、基準特徴値類型に該当する各コンテンツの特徴値を特徴ベクトル管理部１３０で検索し、検索された特徴値の大きさ順に各コンテンツのプレビュー情報の配列順序を決定することができる。
【００４６】
その後、プレビュー情報提供部１６０は、決定された配列順序に応じてプレビュー情報を提供する（Ｓ４４０）。または、プレビュー情報提供部１６０が提供するプレビュー情報を制御部１４０が決定された配列順序に応じて配列させることもできる。
【００４７】
図４の過程で提示された特徴ベクトルリスト、特徴値リスト、およびプレビュー情報は、制御部１４０の制御によってディスプレイ部１８０を介して表示される。ユーザは、表示されるプレビュー情報をブラウジングすることができ、プレビュー情報のブラウジング過程で基準プレビュー情報が変更されることもできる。
【００４８】
図５は、本発明の一実施形態に係る基準特徴値類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【００４９】
ユーザ入力部１５０によって基準特徴値類型の変更要請が入力されれば（Ｓ５１０）、制御部１４０は基準特徴値類型を変更する（Ｓ５２０）。
【００５０】
この時、整列部１７０は、変更された基準特徴値類型に応じてプレビュー情報の配列順序を再び決定する（Ｓ５３０）。
【００５１】
その後、プレビュー情報提供部１６０は、新しい配列順序に応じてプレビュー情報を提供する（Ｓ５４０）。
【００５２】
図５の過程で基準特徴値類型の変更状態と新しい配列順序に応じて提供されるプレビュー情報は、ディスプレイ部１８０によって表示される。
【００５３】
図６は、本発明の一実施形態に係る基準特徴ベクトル類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【００５４】
ユーザ入力部１５０によって基準特徴ベクトル類型の変更要請が入力されれば（Ｓ６１０）、制御部１４０は基準特徴ベクトル類型を変更する（Ｓ６２０）。
【００５５】
基準特徴ベクトル類型が変更されれば、制御部１４０は新しい基準特徴ベクトル類型に含まれる特徴値類型から構成された特徴値リストを提供する（Ｓ６３０）。
【００５６】
この時、制御部１４０は、特徴値リストのうち基準特徴値類型を選択する（Ｓ６４０）。ここでどの特徴値類型を基準特徴値類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴値類型として制御部１４０は任意の特徴値類型を選択したり、提供されていた特徴値リストのうち最近基準特徴値類型として選択された特徴値類型を再び選択したりすることができる。他の実施形態として、制御部１４０は基準プレビュー情報に対応するコンテンツの特徴ベクトルのうち変更された基準特徴ベクトル類型に該当する特徴ベクトルを構成する特徴値を分析して、最も大きい数値の特徴値を示す特徴値類型を基準特徴値類型として選択することもできる。
【００５７】
その後、整列部１７０は、変更された基準特徴値類型に応じてプレビュー情報の配列順序を再び決定し（Ｓ６５０）、プレビュー情報提供部１６０は新しい配列順序に応じてプレビュー情報を提供する（Ｓ６６０）。
【００５８】
一方、図５と図６の過程によって、プレビュー情報の配列順序が変更されても制御部１４０は既存の基準プレビュー情報を維持させられる。したがって、図５と図６の過程を経てから表示されるプレビュー情報は、既存の基準プレビュー情報を中心に表示される。これに対する実施形態を図７Ａおよび図７Ｂを参照して説明する。
【００５９】
図７Ａと図７Ｂは、５個のプレビュー情報の配列順序とプレビュー情報が図２を参照して説明したユーザインターフェースのうち第３ディスプレイ領域２３０によって表示される状態を示したものである。図７Ａおよび図７Ｂで破線によって示したプレビュー情報は、第３ディスプレイ領域２３０によってまだ表示されていないことを示す。
【００６０】
先ず、図７Ａに示すように５個のプレビュー情報の配列順序が決定された状態で、プレビュー情報ｂ、プレビュー情報ｃ、およびプレビュー情報ｄが第３ディスプレイ領域２３０によって表示されている状態を仮定する。この中、プレビュー情報ｃにセレクタ２６０が位置しているため、プレビュー情報ｃが基準プレビュー情報として選択されたことが分かる。
【００６１】
このような状況で図５または図６の過程によって、プレビュー情報の配列順序が変わるようになっても、本発明によれば第３ディスプレイ領域は基準プレビュー情報を中心としてプレビュー情報を表示するようになり、これを図７Ｂに示した。図７Ｂでプレビュー情報の配列順序が変わって、プレビュー情報ｃの順番は３番目（図７Ａ参照）から４番目に変更された。しかし、第３ディスプレイ領域２３０は、相変らず基準プレビュー情報のプレビュー情報ｃを中心としてプレビュー情報を表示している。これによって、ユーザはプレビュー情報の配列基準（基準特徴ベクトル類型または基準特徴値類型）が変更されても迷わずに連続的に検索作業を行えるようになる。
【００６２】
一方、本発明の一実施形態によれば、制御部１４０は、基準特徴値類型を示す領域上にプレビュー情報の検索位置に関する情報を提供することができる。これに関する一実施形態を図８Ａに示す。図８Ａでは図２を参照して説明したユーザインターフェースで第２ディスプレイ領域２２０と第３ディスプレイ領域２３０を示した。図８Ａに示すように、基準特徴値類型である藍色アイコン８１０上にポインタ８２０が提供されているが、ポインタ８２０は現在の検索位置を示す。ポインタ８２０が藍色アイコン８１０上から左に位置するほど先順位のプレビュー情報が検索中にあることを示し、右側に位置するほど次の順位のプレビュー情報が表示されていることを示す。より具体的に、ポインタ８２０の位置は基準プレビュー情報が全体プレビュー情報のうち有する順番に対応することができる。図８Ｂは、本発明の一実施形態にしたがって、プレビュー情報の検索状況によってポインタ８２０の移動状態を示す図面である。図８Ｂで破線によって表示されたプレビュー情報は、表示されないプレビュー情報を示す。図に示すように、次の順位のプレビュー情報が基準プレビュー情報として選択されるほど、ポインタ８２０は基準特徴値類型のアイコン８１０上から右側に移動するようになる。
【００６３】
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係るコンテンツ検索装置を示すブロック図である。
【図２】本発明の一実施形態に係るユーザインターフェースを示す図である。
【図３】本発明の一実施形態に係る特徴ベクトル格納過程を示すフローチャートである。
【図４】本発明の一実施形態に係るコンテンツ検索方法を示すフローチャートである。
【図５】本発明の一実施形態に係る基準特徴値類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【図６】本発明の一実施形態に係る基準特徴ベクトル類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【図７Ａ】本発明の一実施形態に係るプレビュー情報表示状態を示す図である。
【図７Ｂ】本発明の一実施形態に係るプレビュー情報表示状態を示す図である。
【図８Ａ】本発明の一実施形態に係る検索位置情報の提供状態を示す図である。
【図８Ｂ】本発明の一実施形態に係る検索位置情報の提供状態を示す図である。
【符号の説明】
【００６５】
１１０ コンテンツ格納部
１２０ 特徴ベクトル抽出部
１３０ 特徴ベクトル管理部
１４０ 制御部
１５０ ユーザ入力部
１６０ プレビュー情報提供部
１７０ 整列部
【技術分野】
【０００１】
本発明は、コンテンツ検索に関し、より詳しくは、コンテンツの内容基盤の検索方法および装置に関するものである。
【背景技術】
【０００２】
ハードディスクドライブ、フラッシュメモリなどのデジタル格納装置が大容量化され、マルチメディアデータに対する圧縮技術が発達するにつれて、デジタル機器のマルチメディアコンテンツ格納能力が著しく向上している。例えば、携帯用ＭＰ３プレーヤやＰＭＰは数万曲以上の音楽コンテンツを格納することができ、ＤＶＲは数万枚以上の写真コンテンツや数百時間分量の動画コンテンツを格納することができるようになっている。
【０００３】
また、デジタル機器がネットワークを介して接続されることによって、マルチメディアコンテンツを相互共有できるようになることに伴って、１つのデジタル機器がアクセスできるマルチメディアコンテンツの量はより膨大になっている。
【０００４】
これによって、ユーザの所望するコンテンツをより容易に検索できるコンテンツ検索技術が開発されている。特許文献１には、ユーザが好む項目をマルチメディア検索に利用することができるようにする技術を提案している。
【０００５】
より効果的なコンテンツ検索のためにはコンテンツ自体の特徴を示す内容基盤の情報を用いることが好ましい。ところで、内容基盤の情報は、その種類が多様であるだけでなく、１つの内容基盤の情報も多次元の細部情報から構成されるため、２次元の画面上で内容基盤の情報に伴うコンテンツの分類および検索が困難であった。
【特許文献１】韓国登録特許第１０−０３５０７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、コンテンツ検索をより容易にすることにその目的がある。
【０００７】
本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係るコンテンツ検索方法は、複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、前記配列順序に応じて前記プレビュー情報を提供するステップとを含む。
【０００９】
上記目的を達成するために、本発明の他の態様に係るコンテンツ検索装置は、複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供する制御部と、前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定する整列部と、前記配列順序に応じて前記プレビュー情報を提供するプレビュー情報提供部とを含む。
【発明の効果】
【００１０】
本発明のコンテンツ検索方法および装置によれば、コンテンツ検索をより容易にできる効果がある。
【発明を実施するための最良の形態】
【００１１】
その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
【００１２】
本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。
【００１３】
以下、添付した図面を参照して、本発明の好ましい実施形態を詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係るコンテンツ検索装置を示すブロック図である。示されたコンテンツ検索装置は、コンテンツ格納部１１０、特徴ベクトル抽出部１２０、特徴ベクトル管理部１３０、制御部１４０、ユーザ入力部１５０、プレビュー情報提供部１６０、および整列部１７０を含む。
【００１５】
コンテンツ格納部１１０は、１つ以上のコンテンツを格納する。ここで、コンテンツは、動画、静止画、オーディオなどのマルチメディアデータを含む。
【００１６】
特徴ベクトル抽出部１２０は、コンテンツ格納部１１０に格納されたコンテンツから特徴ベクトルを抽出する。本発明で特徴ベクトルは、コンテンツの内容を記述する特徴であって、コンテンツ自体の内容分析を介して得ることができる内容基盤のメタデータを意味する。特徴ベクトルの例として、オーディオコンテンツでは、音色、メロディー、リズム、テンポなどが挙げられ、静止画や動画コンテンツでは、カラー、質感、顔、動きなどが挙げられる。
【００１７】
静止画コンテンツのカラーに対する特徴ベクトルを抽出しようとすれば、特徴ベクトル抽出部１２０は静止画コンテンツの内容分析を介して、イメージの全体的なカラーの雰囲気を示すカラーヒストグラム、イメージを構成する主導的なカラーを示す主要カラー（ｄｏｍｉｎａｎｔ ｃｏｌｏｒ）、またはイメージのカラー分布を示すカラーレイアウトなどを抽出することができる。ここで、カラーに関する特徴ベクトル抽出技法は、ＲＧＢ、ＨＳＶ、ＨＭＭＤなど多様なカラー空間のうち何れを用いるのか、どの量子化方式を用いるのか、いくつかのビン（ｂｉｎ）を用いるのかによって非常に多様である。したがって、特徴ベクトル抽出部１２０が用いる特徴ベクトル抽出技法は特定アルゴリズムに制限されず、実施形態にしたがって多様に具現され得る。参考として、特徴ベクトル抽出に対する従来技術の一例として「内容基盤の動画検索のためのカラーおよびモーション特徴抽出アルゴリズム、１９９９、放送工学会論文詩、４巻、２号、１８７−１９６頁」は、動画のカラーヒストグラム情報とカラーの空間分布情報とを反映できる特徴抽出アルゴリズムを提案している。
【００１８】
一般的に特徴ベクトルは複数の特徴値で構成される。例えば、イメージの全体的な色の雰囲気を示すカラーヒストグラムは、Ｎ個の代表色がイメージで占める比率を配列することによって表現される。この場合、カラーヒストグラムという特徴ベクトルはＮ個の特徴値で構成される。赤色、橙色、黄色、緑色、青色、藍色、紫色、白色、および黒色の９種類カラーを代表色にしてイメージに対するカラーヒストグラムを抽出すれば、カラーヒストグラムに関する特徴ベクトルは９個の特徴値の配列からなる。
【００１９】
本発明の一実施形態によれば、特徴ベクトル抽出部１２０は、コンテンツから抽出した特徴ベクトルを構成する特徴値が同一のダイナミックレンジを有するように正規化する作業を行うことができる。一例として、特徴ベクトル抽出部は、特徴値の標準偏差を正規化することによって各特徴値が同一のダイナミックレンジを有することができる。
【００２０】
一方、国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧ−７は、コンテンツの内容基盤の検索のための特徴ベクトルの表現方式に関する標準である。コンテンツから特徴ベクトルを抽出する方式は、ＭＰＥＧ−７の標準化範囲に含まれていない。格納部１１０に格納されたコンテンツがＭＰＥＧ−７の標準に従えば、特徴ベクトル抽出部１２０はＭＰＥＧ−７が定義している方式にしたがってコンテンツの特徴ベクトルを抽出することもできる。
【００２１】
特徴ベクトル管理部１３０は、特徴ベクトル抽出部１２０が抽出した特徴ベクトルを格納して管理する。特徴ベクトル管理部１３０は、特徴ベクトルを格納部１１０に格納されたコンテンツとマッピングさせておく。すなわち、コンテンツＡから抽出された特徴ベクトルａはコンテンツＡとマッピングされる。したがって、各特徴ベクトルがどのコンテンツに関するものであるか知ることができる。格納部１１０で特定コンテンツが削除されれば、特徴ベクトル管理部１３０は削除されたコンテンツにマッピングされた特徴ベクトルを削除する。
【００２２】
ユーザ入力部１５０には、ユーザから所定の制御要請が入力される。このためにユーザ入力部１５０は、キーボード、タッチパッド、タッチスクリーンなどの入力手段を含むことができる。実施形態にしたがって、ユーザ入力部１５０はリモコンの制御信号を受信して処理することもできる。この場合、ユーザはリモコンによって所望する制御要請を入力することができる。
【００２３】
プレビュー情報提供部１６０は、コンテンツ格納部１１０に格納されたコンテンツのプレビュー情報を提供する。プレビュー情報は、コンテンツに関する明細を示す情報である。音楽コンテンツのプレビュー情報として、題名、ジャンル、歌手、アルバム情報、再生時間などを例に挙げられ、映画コンテンツのプレビュー情報として、出演者、題名、監督、再生時間、あらすじなどを例に挙げられる。このようなプレビュー情報は、コンテンツに明示的に添付されている付加データから抽出することができる。ＭＰ３形式のオーディオコンテンツに添付されているＩＤ３タグ、ＪＰＥＧ形式のイメージコンテンツに添付されているＥｘｉｆ情報、ＭＰＥＧ−２形式の動画コンテンツに添付されているＭＰＥＧヘッダなどは付加データを含んでいるフィールドの例である。
【００２４】
コンテンツが写真や絵のようなイメージを含んでいれば、プレビュー情報提供部１６０はコンテンツのサムネイルやイメージをプレビュー情報として提供することができる。
【００２５】
制御部１４０は、コンテンツ検索装置の動作過程を制御する。特に、制御部１４０は、特徴ベクトルリストと特徴値リストを提供し、ユーザ入力部１５０によって入力されるユーザの制御要請によってディスプレイ部１８０が表示するユーザインターフェースを制御する。
【００２６】
整列部１７０は、プレビュー情報提供部１６０が提供するプレビュー情報の配列順序を決定する。
【００２７】
ディスプレイ部１８０は、制御部１４０の制御によって、コンテンツ検索のためのユーザインターフェースを表示する。このためにディスプレイ部１８０は、ＬＣＤ、ＰＤＰ、有機ＥＬなどを含むことができる。ディスプレイ部１８０が表示するユーザインターフェースの一例を図２に示す。
【００２８】
図２に示されたユーザインターフェースは、制御部１４０が提供する特徴ベクトルリストおよび特徴値リストが表示される第１ディスプレイ領域２１０および第２ディスプレイ領域２２０と、プレビュー情報提供部１６０が提供するプレビュー情報が表示される第３ディスプレイ領域２３０とを含む。
【００２９】
第１ディスプレイ領域２１０に表示される特徴ベクトルリストは、特徴ベクトル抽出部１２０がコンテンツから抽出する特徴ベクトルの種類（以下、特徴ベクトル類型という）を並べたものであって、コンテンツ検索装置の具現時に設定される。特徴ベクトルリストに含まれる各特徴ベクトル類型は、テキスト、図形、アイコン、色などの形態で提供される。図２に示された例では、カラー、質感、および顔という特徴ベクトル類型がテキストとして表示されている。
【００３０】
ユーザは、ユーザ入力部１５０やリモコンを操作して、特徴ベクトルリストから基準特徴ベクトル類型を選択および変更することができる。制御部１４０は、色変化、ハイライト、アイコン貼付、大きさ変化、枠表示などによって、基準特徴ベクトル類型がユーザに容易に識別されるようにすることができる。図２に示された例では、基準特徴ベクトル類型としてカラー２４０が選択されていることを示す。
【００３１】
第２ディスプレイ領域２２０に表示される特徴値リストは、第１ディスプレイ領域２１０に表示された特徴ベクトルリストのうち選択された基準特徴ベクトル類型を構成する特徴値の種類（以下、特徴値類型という）を示したものであって、コンテンツ検索装置の具現時に設定される。特徴値リストに含まれる各特徴値類型は、テキスト、図形、アイコン、色などの形態で提供される。図２に示された例では、赤色〜黒色の９種類の特徴値類型がテキストで表示されている。示された特徴値類型は色を示すため、実際具現時に各特徴値類型に合う色と共に表示されることもできる。
【００３２】
ユーザは、ユーザ入力部１５０やリモコンを操作して、特徴値リストから基準特徴値類型を選択および変更することができる。制御部１４０は、色変化、ハイライト、アイコン貼付、大きさ変化、枠表示などによって、基準特徴値類型がユーザに容易に識別されるようにすることができる。図２に示された例では、基準特徴値類型として藍色２５０が選択されていることを示す。
【００３３】
第３ディスプレイ領域２３０には、第２ディスプレイ領域２２０に表示された特徴値リストのうち選択された基準特徴値類型を基準にして決定された配列順序に応じて格納部１１０に格納されたコンテンツのプレビュー情報が提供されている。プレビュー情報の配列順序は整列部１７０によって決定される。図２に示された例では、プレビュー情報としてコンテンツのサムネイルを用いているが、本発明では限定されることはない。
【００３４】
プレビュー情報は、１次元的に配列されることが好ましい。図２に示された例でプレビュー情報は横方向に配列されているが、本発明では限定されることはない。例えば、プレビュー情報は縦方向に配列されることもできる。
【００３５】
複数のプレビュー情報のうち選択された基準プレビュー情報には、ハイライト、アイコン表示、色変化、枠表示などのセレクタ２６０が位置することができる。ユーザは、ユーザ入力部１５０やリモコンを操作して、基準プレビュー情報を変更することによってコンテンツ検索を行うようになる。例えば、ユーザがリモコンの右側方向ボタンを押せば、ユーザ入力部１５０がユーザの制御要請を解釈して制御部１４０に伝達する。この時、制御部１４０は、セレクタ２６０が指示していたプレビュー情報の右側に隣接したプレビュー情報上にセレクタ２６０を移動させられる。または、セレクタ２６０は固定された位置にあり、プレビュー情報が左側方向に一定間隔ずつ移動して、セレクタ２６０が新しいプレビュー情報を指示する実施形態も可能である。
【００３６】
また、本発明の一実施形態として、第３ディスプレイ領域２３０に一部プレビュー情報が表示される場合、中央に位置したプレビュー情報が基準プレビュー情報として設定されることもできる。この場合、ユーザが基準プレビュー情報の変更を要請すれば、制御部１４０はプレビュー情報の位置を移動させることによって基準プレビュー情報を変更することができる。
【００３７】
以上の説明で図１のコンテンツ検索装置を構成する機能性ブロックの「〜部」は一種のモジュールとして具現することができる。ここで、「モジュール」は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、モジュールはある役割を行う。ところが、モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結合したり、追加的な構成要素とモジュールにさらに分離したりすることができる。
【００３８】
以下、前述したコンテンツ検索装置の動作過程について説明する。
【００３９】
図３は、本発明の一実施形態に係る特徴ベクトル格納過程を示すフローチャートである。
【００４０】
新しいコンテンツが格納部１１０に格納されれば（Ｓ３１０）、特徴ベクトル抽出部１２０は格納されたコンテンツを分析して特徴ベクトルを抽出する（Ｓ３２０）。この時、特徴ベクトル抽出部１２０は、抽出された特徴ベクトルを構成する複数の特徴値が相互同一のダイナミックレンジを有するように正規化作業を行うことができる。特徴ベクトル抽出部が１つのコンテンツから抽出する特徴ベクトルの種類は複数であることが好ましい。
【００４１】
その後、特徴ベクトル管理部１３０は、特徴ベクトル抽出部１２０が抽出した特徴ベクトルを格納する（Ｓ３３０）。この時、特徴ベクトル管理部１３０は、特徴ベクトルをコンテンツ格納部１１０に格納したコンテンツとマッピングさせることができる。
【００４２】
図４は、本発明の一実施形態に係るコンテンツ検索方法を示すフローチャートである。
【００４３】
コンテンツ検索を開始すれば、制御部１４０は特徴ベクトルリストのうち基準特徴ベクトル類型を選択する（Ｓ４１０）。ここで、特徴ベクトルリストは、特徴ベクトル抽出部１２０がコンテンツから抽出する特徴ベクトルの種類を示し、予め設定されている。どの特徴ベクトル類型を基準特徴ベクトル類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴ベクトル類型として制御部１４０は任意の特徴ベクトル類型を選択したり、最近基準特徴ベクトル類型として選択された特徴ベクトル類型を再び選択したりすることができる。
【００４４】
基準特徴ベクトル類型が決定されれば、制御部１４０は基準特徴ベクトル類型に対する特徴値リストから基準特徴値類型を選択する（Ｓ４２０）。ここで、特徴値リストは、特徴ベクトル類型を構成する特徴値の種類を示し、予め設定されている。どの特徴値類型を基準特徴値類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴値類型として制御部１４０は、任意の特徴値類型を選択したり、最近基準特徴値類型として選択された特徴値類型を再び選択したりすることができる。他の実施形態として、制御部１４０は基準プレビュー情報に対応するコンテンツの特徴ベクトルのうち基準特徴ベクトル類型に該当する特徴ベクトルを構成する特徴値を分析して、最も大きい数値の特徴値を示す特徴値類型を基準特徴値類型として選択することもできる。基準プレビュー情報は、複数のプレビュー情報のうち任意のプレビュー情報を選択したり、最近基準プレビュー情報として用いられたプレビュー情報を選択したりすることができる。
【００４５】
基準特徴値類型が決定されれば、整列部１７０は基準特徴値類型に応じてプレビュー情報の配列順序を決定する（Ｓ４３０）。このために整列部１７０は、基準特徴値類型に該当する各コンテンツの特徴値を特徴ベクトル管理部１３０で検索し、検索された特徴値の大きさ順に各コンテンツのプレビュー情報の配列順序を決定することができる。
【００４６】
その後、プレビュー情報提供部１６０は、決定された配列順序に応じてプレビュー情報を提供する（Ｓ４４０）。または、プレビュー情報提供部１６０が提供するプレビュー情報を制御部１４０が決定された配列順序に応じて配列させることもできる。
【００４７】
図４の過程で提示された特徴ベクトルリスト、特徴値リスト、およびプレビュー情報は、制御部１４０の制御によってディスプレイ部１８０を介して表示される。ユーザは、表示されるプレビュー情報をブラウジングすることができ、プレビュー情報のブラウジング過程で基準プレビュー情報が変更されることもできる。
【００４８】
図５は、本発明の一実施形態に係る基準特徴値類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【００４９】
ユーザ入力部１５０によって基準特徴値類型の変更要請が入力されれば（Ｓ５１０）、制御部１４０は基準特徴値類型を変更する（Ｓ５２０）。
【００５０】
この時、整列部１７０は、変更された基準特徴値類型に応じてプレビュー情報の配列順序を再び決定する（Ｓ５３０）。
【００５１】
その後、プレビュー情報提供部１６０は、新しい配列順序に応じてプレビュー情報を提供する（Ｓ５４０）。
【００５２】
図５の過程で基準特徴値類型の変更状態と新しい配列順序に応じて提供されるプレビュー情報は、ディスプレイ部１８０によって表示される。
【００５３】
図６は、本発明の一実施形態に係る基準特徴ベクトル類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【００５４】
ユーザ入力部１５０によって基準特徴ベクトル類型の変更要請が入力されれば（Ｓ６１０）、制御部１４０は基準特徴ベクトル類型を変更する（Ｓ６２０）。
【００５５】
基準特徴ベクトル類型が変更されれば、制御部１４０は新しい基準特徴ベクトル類型に含まれる特徴値類型から構成された特徴値リストを提供する（Ｓ６３０）。
【００５６】
この時、制御部１４０は、特徴値リストのうち基準特徴値類型を選択する（Ｓ６４０）。ここでどの特徴値類型を基準特徴値類型として選択するかは実施形態にしたがって多様に具現され得る。例えば、基準特徴値類型として制御部１４０は任意の特徴値類型を選択したり、提供されていた特徴値リストのうち最近基準特徴値類型として選択された特徴値類型を再び選択したりすることができる。他の実施形態として、制御部１４０は基準プレビュー情報に対応するコンテンツの特徴ベクトルのうち変更された基準特徴ベクトル類型に該当する特徴ベクトルを構成する特徴値を分析して、最も大きい数値の特徴値を示す特徴値類型を基準特徴値類型として選択することもできる。
【００５７】
その後、整列部１７０は、変更された基準特徴値類型に応じてプレビュー情報の配列順序を再び決定し（Ｓ６５０）、プレビュー情報提供部１６０は新しい配列順序に応じてプレビュー情報を提供する（Ｓ６６０）。
【００５８】
一方、図５と図６の過程によって、プレビュー情報の配列順序が変更されても制御部１４０は既存の基準プレビュー情報を維持させられる。したがって、図５と図６の過程を経てから表示されるプレビュー情報は、既存の基準プレビュー情報を中心に表示される。これに対する実施形態を図７Ａおよび図７Ｂを参照して説明する。
【００５９】
図７Ａと図７Ｂは、５個のプレビュー情報の配列順序とプレビュー情報が図２を参照して説明したユーザインターフェースのうち第３ディスプレイ領域２３０によって表示される状態を示したものである。図７Ａおよび図７Ｂで破線によって示したプレビュー情報は、第３ディスプレイ領域２３０によってまだ表示されていないことを示す。
【００６０】
先ず、図７Ａに示すように５個のプレビュー情報の配列順序が決定された状態で、プレビュー情報ｂ、プレビュー情報ｃ、およびプレビュー情報ｄが第３ディスプレイ領域２３０によって表示されている状態を仮定する。この中、プレビュー情報ｃにセレクタ２６０が位置しているため、プレビュー情報ｃが基準プレビュー情報として選択されたことが分かる。
【００６１】
このような状況で図５または図６の過程によって、プレビュー情報の配列順序が変わるようになっても、本発明によれば第３ディスプレイ領域は基準プレビュー情報を中心としてプレビュー情報を表示するようになり、これを図７Ｂに示した。図７Ｂでプレビュー情報の配列順序が変わって、プレビュー情報ｃの順番は３番目（図７Ａ参照）から４番目に変更された。しかし、第３ディスプレイ領域２３０は、相変らず基準プレビュー情報のプレビュー情報ｃを中心としてプレビュー情報を表示している。これによって、ユーザはプレビュー情報の配列基準（基準特徴ベクトル類型または基準特徴値類型）が変更されても迷わずに連続的に検索作業を行えるようになる。
【００６２】
一方、本発明の一実施形態によれば、制御部１４０は、基準特徴値類型を示す領域上にプレビュー情報の検索位置に関する情報を提供することができる。これに関する一実施形態を図８Ａに示す。図８Ａでは図２を参照して説明したユーザインターフェースで第２ディスプレイ領域２２０と第３ディスプレイ領域２３０を示した。図８Ａに示すように、基準特徴値類型である藍色アイコン８１０上にポインタ８２０が提供されているが、ポインタ８２０は現在の検索位置を示す。ポインタ８２０が藍色アイコン８１０上から左に位置するほど先順位のプレビュー情報が検索中にあることを示し、右側に位置するほど次の順位のプレビュー情報が表示されていることを示す。より具体的に、ポインタ８２０の位置は基準プレビュー情報が全体プレビュー情報のうち有する順番に対応することができる。図８Ｂは、本発明の一実施形態にしたがって、プレビュー情報の検索状況によってポインタ８２０の移動状態を示す図面である。図８Ｂで破線によって表示されたプレビュー情報は、表示されないプレビュー情報を示す。図に示すように、次の順位のプレビュー情報が基準プレビュー情報として選択されるほど、ポインタ８２０は基準特徴値類型のアイコン８１０上から右側に移動するようになる。
【００６３】
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係るコンテンツ検索装置を示すブロック図である。
【図２】本発明の一実施形態に係るユーザインターフェースを示す図である。
【図３】本発明の一実施形態に係る特徴ベクトル格納過程を示すフローチャートである。
【図４】本発明の一実施形態に係るコンテンツ検索方法を示すフローチャートである。
【図５】本発明の一実施形態に係る基準特徴値類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【図６】本発明の一実施形態に係る基準特徴ベクトル類型の変更に伴うユーザインターフェース提供過程を示すフローチャートである。
【図７Ａ】本発明の一実施形態に係るプレビュー情報表示状態を示す図である。
【図７Ｂ】本発明の一実施形態に係るプレビュー情報表示状態を示す図である。
【図８Ａ】本発明の一実施形態に係る検索位置情報の提供状態を示す図である。
【図８Ｂ】本発明の一実施形態に係る検索位置情報の提供状態を示す図である。
【符号の説明】
【００６５】
１１０ コンテンツ格納部
１２０ 特徴ベクトル抽出部
１３０ 特徴ベクトル管理部
１４０ 制御部
１５０ ユーザ入力部
１６０ プレビュー情報提供部
１７０ 整列部
【特許請求の範囲】
【請求項１】
複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、
前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、
前記配列順序に応じて前記プレビュー情報を提供するステップとを含む、コンテンツ検索方法。
【請求項２】
前記コンテンツから内容基盤の特徴を示す互いに異なる複数の特徴ベクトルを抽出するステップをさらに含み、
前記複数の特徴ベクトル類型は各々前記互いに異なる複数の特徴ベクトルを示す、請求項１に記載のコンテンツ検索方法。
【請求項３】
前記抽出された特徴ベクトル毎に前記特徴ベクトルを構成する特徴値のダイナミックレンジを均一化するステップをさらに含む、請求項２に記載のコンテンツ検索方法。
【請求項４】
前記均一化するステップは、前記特徴値の標準偏差を正規化するステップを含む、請求項３に記載のコンテンツ検索方法。
【請求項５】
前記基準特徴値類型が変更された場合、
前記変更された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定するステップと、
前記再決定された配列順序に応じて前記プレビュー情報を提供するステップとをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項６】
前記基準特徴ベクトル類型が変更された場合、
前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型を提供するステップと、
前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型のうち基準特徴値類型を再選択するステップと、
前記再選択された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定するステップと、
前記再決定された配列順序に応じて前記プレビュー情報を提供するステップとをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項７】
前記基準特徴値類型を再選択するステップは、
基準プレビュー情報の前記変更された基準特徴ベクトル類型に含まれる基準特徴値のうち最も高い数値を有する特徴値を示す基準特徴値類型を選択するステップを含む、請求項６に記載のコンテンツ検索方法。
【請求項８】
前記配列順序が変更されても、前記プレビュー情報のうち選択された基準プレビュー情報を維持させるステップをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項９】
前記提供されるプレビュー情報は、１次元の配列で表示される、請求項１に記載のコンテンツ検索方法。
【請求項１０】
前記プレビュー情報の検索位置に関する情報を提供するステップをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項１１】
複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供する制御部と、
前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定する整列部と、
前記配列順序に応じて前記プレビュー情報を提供するプレビュー情報提供部とを含む、コンテンツ検索装置。
【請求項１２】
前記コンテンツから内容基盤の特徴を示す互いに異なる複数の特徴ベクトルを抽出する特徴ベクトル抽出部をさらに含み、
前記複数の特徴ベクトル類型は各々前記互いに異なる複数の特徴ベクトルを示す、請求項１１に記載のコンテンツ検索装置。
【請求項１３】
前記特徴ベクトル抽出部は、前記抽出された特徴ベクトル毎に前記特徴ベクトルを構成する特徴値のダイナミックレンジを均一化する、請求項１２に記載のコンテンツ検索装置。
【請求項１４】
前記特徴ベクトル抽出部は、前記特徴値の標準偏差を正規化して、前記ダイナミックレンジを均一化する、請求項１３に記載のコンテンツ検索装置。
【請求項１５】
前記基準特徴値類型が変更された場合、
前記整列部は、前記変更された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定し、
前記プレビュー情報提供部は、前記再決定された配列順序に応じて前記プレビュー情報を提供する、請求項１１に記載のコンテンツ検索装置。
【請求項１６】
前記基準特徴ベクトル類型が変更された場合、
前記制御部は、前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型を提供し、前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型のうち基準特徴値類型を再選択して、
前記整列部は、前記再選択された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定し、
前記プレビュー情報提供部は、前記再決定された配列順序に応じて前記プレビュー情報を提供する、請求項１１に記載のコンテンツ検索装置。
【請求項１７】
前記制御部は、基準プレビュー情報の前記変更された基準特徴ベクトル類型に含まれる基準特徴値のうち最も高い数値を有する特徴値を示す基準特徴値類型を前記基準特徴値類型として選択する、請求項１６に記載のコンテンツ検索装置。
【請求項１８】
前記制御部は、前記配列順序が変更されても、前記プレビュー情報のうち選択された基準プレビュー情報を維持させる、請求項１１に記載のコンテンツ検索装置。
【請求項１９】
前記制御部は、前記提供されるプレビュー情報が１次元の配列で表示されるように制御する、請求項１１に記載のコンテンツ検索装置。
【請求項２０】
前記制御部は、前記プレビュー情報の検索位置に関する情報を提供する、請求項１１に記載のコンテンツ検索装置。
【請求項１】
複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供するステップと、
前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定するステップと、
前記配列順序に応じて前記プレビュー情報を提供するステップとを含む、コンテンツ検索方法。
【請求項２】
前記コンテンツから内容基盤の特徴を示す互いに異なる複数の特徴ベクトルを抽出するステップをさらに含み、
前記複数の特徴ベクトル類型は各々前記互いに異なる複数の特徴ベクトルを示す、請求項１に記載のコンテンツ検索方法。
【請求項３】
前記抽出された特徴ベクトル毎に前記特徴ベクトルを構成する特徴値のダイナミックレンジを均一化するステップをさらに含む、請求項２に記載のコンテンツ検索方法。
【請求項４】
前記均一化するステップは、前記特徴値の標準偏差を正規化するステップを含む、請求項３に記載のコンテンツ検索方法。
【請求項５】
前記基準特徴値類型が変更された場合、
前記変更された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定するステップと、
前記再決定された配列順序に応じて前記プレビュー情報を提供するステップとをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項６】
前記基準特徴ベクトル類型が変更された場合、
前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型を提供するステップと、
前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型のうち基準特徴値類型を再選択するステップと、
前記再選択された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定するステップと、
前記再決定された配列順序に応じて前記プレビュー情報を提供するステップとをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項７】
前記基準特徴値類型を再選択するステップは、
基準プレビュー情報の前記変更された基準特徴ベクトル類型に含まれる基準特徴値のうち最も高い数値を有する特徴値を示す基準特徴値類型を選択するステップを含む、請求項６に記載のコンテンツ検索方法。
【請求項８】
前記配列順序が変更されても、前記プレビュー情報のうち選択された基準プレビュー情報を維持させるステップをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項９】
前記提供されるプレビュー情報は、１次元の配列で表示される、請求項１に記載のコンテンツ検索方法。
【請求項１０】
前記プレビュー情報の検索位置に関する情報を提供するステップをさらに含む、請求項１に記載のコンテンツ検索方法。
【請求項１１】
複数の特徴ベクトル類型と前記複数の特徴ベクトル類型のうち選択された基準特徴ベクトル類型とを構成する複数の特徴値類型を提供する制御部と、
前記複数の特徴値類型のうち選択された基準特徴値類型に応じて少なくとも１つ以上のコンテンツのプレビュー情報の配列順序を決定する整列部と、
前記配列順序に応じて前記プレビュー情報を提供するプレビュー情報提供部とを含む、コンテンツ検索装置。
【請求項１２】
前記コンテンツから内容基盤の特徴を示す互いに異なる複数の特徴ベクトルを抽出する特徴ベクトル抽出部をさらに含み、
前記複数の特徴ベクトル類型は各々前記互いに異なる複数の特徴ベクトルを示す、請求項１１に記載のコンテンツ検索装置。
【請求項１３】
前記特徴ベクトル抽出部は、前記抽出された特徴ベクトル毎に前記特徴ベクトルを構成する特徴値のダイナミックレンジを均一化する、請求項１２に記載のコンテンツ検索装置。
【請求項１４】
前記特徴ベクトル抽出部は、前記特徴値の標準偏差を正規化して、前記ダイナミックレンジを均一化する、請求項１３に記載のコンテンツ検索装置。
【請求項１５】
前記基準特徴値類型が変更された場合、
前記整列部は、前記変更された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定し、
前記プレビュー情報提供部は、前記再決定された配列順序に応じて前記プレビュー情報を提供する、請求項１１に記載のコンテンツ検索装置。
【請求項１６】
前記基準特徴ベクトル類型が変更された場合、
前記制御部は、前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型を提供し、前記変更された基準特徴ベクトル類型を構成する複数の特徴値類型のうち基準特徴値類型を再選択して、
前記整列部は、前記再選択された基準特徴値類型に応じて前記プレビュー情報の配列順序を再決定し、
前記プレビュー情報提供部は、前記再決定された配列順序に応じて前記プレビュー情報を提供する、請求項１１に記載のコンテンツ検索装置。
【請求項１７】
前記制御部は、基準プレビュー情報の前記変更された基準特徴ベクトル類型に含まれる基準特徴値のうち最も高い数値を有する特徴値を示す基準特徴値類型を前記基準特徴値類型として選択する、請求項１６に記載のコンテンツ検索装置。
【請求項１８】
前記制御部は、前記配列順序が変更されても、前記プレビュー情報のうち選択された基準プレビュー情報を維持させる、請求項１１に記載のコンテンツ検索装置。
【請求項１９】
前記制御部は、前記提供されるプレビュー情報が１次元の配列で表示されるように制御する、請求項１１に記載のコンテンツ検索装置。
【請求項２０】
前記制御部は、前記プレビュー情報の検索位置に関する情報を提供する、請求項１１に記載のコンテンツ検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【公開番号】特開２００７−２１３５７４（Ｐ２００７−２１３５７４Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００７−１７５６４（Ｐ２００７−１７５６４）
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
[ Back to top ]