画像データセットをナビゲートするための方法、装置、及びプログラム
【課題】本発明は、コンテンツだけでなく様々な特徴を用いることによって、画像データセットをナビゲートするための方法、及び装置を提供することを目的とする。
【解決手段】この方法は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴の受信し、利用可能な特徴セットからユーザが選択した第２特徴の受信し、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に同時に配列して表示する、ことを含む。この画像の配列は、第１特徴のみが選択された場合、第１特徴の異なるレベルを反映し、第１及び第２特徴が選択された場合、第１及び第２特徴のレベルの異なる組み合わせを反映する。
【解決手段】この方法は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴の受信し、利用可能な特徴セットからユーザが選択した第２特徴の受信し、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に同時に配列して表示する、ことを含む。この画像の配列は、第１特徴のみが選択された場合、第１特徴の異なるレベルを反映し、第１及び第２特徴が選択された場合、第１及び第２特徴のレベルの異なる組み合わせを反映する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索及び選択に関する。本発明は、特に、画像データベースを探索するナビゲーションシステム、及び方法に関する。
【背景技術】
【０００２】
様々な用途（例えば、商業デザイン、編集作業、専門的デジタル写真、及び資産管理）において、後日使用するため、多数のデジタル画像が取得されて格納される。従来の探索技法による画像の検索は、時間のかかることが多い。例えば、画像コレクションが適切にタグ付けされている場合、ユーザは、テキストクエリ（例えば、「花」）を入力して、このクエリに応答する多数の画像（例えば、花を含むものとして手動でタグ付けされた画像）を検索する。他の検索方法は、特徴抽出技法に基づく。例えば、自動システムは、抽出された特徴の類似度に基づいて、手動でラベル付けされた画像のタグを、ラベル付けされていない画像に広めても良い。或いは、ユーザが花の画像を入力し、この入力画像の特徴と格納されている画像の特徴とを比較することによって、類似した画像が自動的に検索されてもよい。
【０００３】
画像探索は、通常、明確な基準を用いることによって探索空間を狭く定めて区切ることと、十分に多くの利用可能画像サンプルをブラウズして、最も適した又は美的な魅力のある画像を確実に逃さないようにすることとの間における、妥協を伴う。これにより、ユーザには、比較的多くの画像サブセットが残される。従って、ブラウジングは、依然として、第１の画像選択方法である。
【０００４】
現在のシステム（例えば、グーグルイメージズ（Ｇｏｏｇｌｅ Ｉｍａｇｅｓ（登録商標））及びフリッカー（ＦＬＩＣＫＲ（登録商標））は、コンテンツに基づいて画像探索を行い、美的な絞り込みをするための非常に基本的な選択肢を提供する。しかしながら、これらのシステムは、特徴を組み合わせて探索するためのツールを提供しない。これらのシステムにおいて、ユーザは、絞り込み基準シーケンスを選択して、繋ぎ合わせるのがせいぜいである。例えば、グーグルイメージズ（登録商標）では、ユーザは、例えば「空」というクエリのようなコンテンツによって探索し、次に、「青」というボックスをクリックすることによって、青空の画像を得ることができる。このようなタイプのブラウジングでは、選択された特徴の絞り込みと、非実際的特徴の異なる組み合わせの探査との間を、行ったり来たりすることとなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００７／０００５３５６号明細書
【特許文献２】米国特許出願公開第２００７／０２５８６４８号明細書
【特許文献３】米国特許出願公開第２００８／００６９４５６号明細書
【特許文献４】米国特許出願公開第２００６／０１６４６６４号明細書
【特許文献５】米国特許第５，３５７，３５２号明細書
【特許文献６】米国特許第５，３６３，２０９号明細書
【特許文献７】米国特許第５，３７１，６１５号明細書
【特許文献８】米国特許第５，４１４，５３８号明細書
【特許文献９】米国特許第５，４５０，２１７号明細書
【特許文献１０】米国特許第５，４５０，５０２号明細書
【特許文献１１】米国特許第５，８０２，２１４号明細書
【特許文献１２】米国特許第５，３４７，３７４号明細書
【特許文献１３】米国特許第７，０３１，５３４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、コンテンツだけでなく様々な特徴を用いることによって、画像データセットをナビゲートするための方法、及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施形態の一態様によれば、画像データセットをナビゲートするためのユーザ支援方法が提供される。この方法は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴の受信し、利用可能な特徴セットからユーザが選択した第２特徴の受信する、ことを含む。この方法は、検索された画像のうちの少なくともいくつかを、グラフィカルユーザインタフェース上に同時に配列して表示することを更に含む。この画像の配列は、第１特徴のみが選択された場合、第１特徴の異なるレベルを反映する。また、この画像の配列は、第１及び第２特徴が選択された場合、ユーザが選択した第１特徴及び第２特徴のレベルの異なる組み合わせを反映する。
【０００８】
この方法において、前記表示することは、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に同時にグループで表示することを含んでもよい。表示された各画像グループは、ユーザが選択した第１特徴及び第２特徴のレベルの異なる組み合わせに対応する。
【０００９】
表示された画像グループは、選択された特徴の値に応じて順序付けされてもよい。
【００１０】
前記表示することは、画像グループを二次元配列で表示することを含んでもよい。第１特徴は第１次元においてレベルが上昇し、第２特徴は第２次元においてレベルが上昇する。
【００１１】
ディスプレイにおける各画像グループは、第１及び第２特徴の量子化値の組み合わせが、その他の各グループと異なってもよい。
【００１２】
この方法は、第１特徴セットから第１特徴を選択する第１セレクタと、第２特徴セットから第２特徴を選択する第２セレクタとを、グラフィカルユーザインタフェース上に表示することを含んでもよい。
【００１３】
第１特徴は美的特徴であり、第２特徴は感情的特徴であってもよい。
【００１４】
この方法は、ユーザが第３特徴セットから第３特徴を選択できるようにすることを含んでもよい。表示された画像は、第１、第２、及び第３特徴から選択された少なくとも２つに応じてグループ化されている。
【００１５】
特徴セットにおける各特徴に関し、異なる特徴値に対応する複数の量子化レベルが設けられると共に、画像データセットにおける各画像は、各特徴の量子化レベルのそれぞれと関連付けられる。
【００１６】
特徴セットにおける各特徴に関し、少なくとも３つの量子化レベルがあってもよい。
【００１７】
前記ユーザが選択した第１及び第２特徴の受信をもたらすことは、ユーザがグラフィカルユーザインタフェースを介して選択したものの受信をもたらすことを含んでもよい。
【００１８】
この方法は、ユーザが選択した画像又は画像グループに対する最も近い画像及びほぼ同じ画像のうちの少なくとも１つを検索し、この最も近い画像及びほぼ同じ画像のうちの少なくとも１つをグラフィカルユーザインタフェース上に表示する、ことを含んでもよい。
【００１９】
画像は、写真を含んでもよい。
【００２０】
この方法は、データセットにおける画像の少なくとも一部をコンテンツに応じて自動的に分類することを含んでもよい。前記テキストクエリに応答する画像を検索することは、このような画像のコンテンツ分類に基づいてもよい。
【００２１】
この方法は、画像を受容する収納ホルダを備えたドキュメントを、ユーザが選択した画像グループと同時に表示することを含んでもよい。ユーザは、この表示された画像グループから、収納ホルダに挿入する画像を選択することができる。
【００２２】
表示された画像は、格納されているデータセットにおける対応する画像から取り出されたサムネイル画像であってもよい。
【００２３】
前記表示することは、検索された画像の配列を表示することを含んでもよい。この配列における画像の位置は、特徴レベルの組み合わせに対応する。
【００２４】
コンピュータプログラム製品は、コンピュータによって実行されると上述したような方法を行う命令を符号化する有形媒体を含んでもよい。
【００２５】
ナビゲーションシステムは、上述したような方法を行う命令を格納するメモリと、この命令を実行するためにメモリと通じているプロセッサとを含んでもよい。
【００２６】
別の態様では、画像データセットをナビゲートする装置は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を関連する画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴を受信し、利用可能な特徴セットからユーザが選択した第２特徴を受信し、検索された画像を選択された特徴のレベルに基づいてグループに区分化し、検索された画像のグループのうちの少なくともいくつかを関連するグラフィカルユーザインタフェース上に表示するための、メモリに格納された命令を含む、ナビゲーションシステムを含む。メモリと通じているプロセッサが、この命令を実行する。
【００２７】
命令は、第１特徴セットから第１特徴を選択する第１セレクタと第２特徴セットから第２特徴を選択する第２セレクタとを表示するための命令を更に含んでもよい。
【００２８】
この表示するための命令は、画像グループを二次元配列で表示するための命令を含んでもよい。第１特徴は第１次元において値が上昇し、第２特徴は第２次元において値が上昇する。ディスプレイにおける各画像グループは、第１及び第２特徴値の組み合わせが、その他の各グループと異なる。
【００２９】
第１特徴セット及び第２特徴セットにおける各特徴に関し、異なる特徴値に対応する複数の量子化レベルが設けられると共に、画像データセットにおける各画像は、各特徴の量子化レベルのそれぞれと関連付けられてもよい。
【００３０】
別の態様では、ドキュメントに画像を追加する方法は、画像を受容する少なくとも１つの収納ホルダを備えたドキュメントを格納し、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索する、ことを含み、データセットにおける各画像は、コンテンツに応じて分類されると共に、特徴セットのそれぞれに対する特徴値と関連付けられる。この方法は、特徴セットからユーザが選択した第１特徴及び第２特徴を受信し、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に表示し（表示された画像は、ユーザが選択した第１及び第２特徴に応じてグループ化される）、表示された画像グループから収納ホルダのうちの１つに挿入する画像をユーザが選択できるようにする、ことを更に含む。
【図面の簡単な説明】
【００３１】
【図１】画像ナビゲーションシステム及び方法の一例の概要を示すブロック図である。
【図２】画像ナビゲーション装置の機能ブロック図である。
【図３】画像ナビゲーションのユーザ支援方法の一例を示すフローチャートである。
【図４】図２の装置のグラフィカルユーザインタフェースのスクリーンショットの一例を示す図であって、コンテンツベースのクエリに応答する画像を表示している。
【図５】図２の装置のグラフィカルユーザインタフェースのスクリーンショットを示す図であって、画像を区分化する２つの特徴Ｆ１及びＦ２の選択に従って、二次元配列で画像を表示している。
【図６】図２の装置のグラフィカルユーザインタフェースのスクリーンショットを示す図であって、図５の配列の区分のうちの１つからの画像セットと、これらの画像のうちの選択されたもので充填される隣接したテンプレートとを示している。
【発明を実施するための形態】
【００３２】
本発明の例示的実施形態は、画像のデータベースをナビゲートして探索するシステム、装置、及び方法に関する。このシステム、装置、及び方法では、コンテンツベースの探索技法と特徴ベースの探索とを組み合わせることができる。選択される特徴は、美的特徴及び／又は感情的特徴である。画像のデータセットをナビゲートする際、このシステムは、ユーザが、テキストクエリによって特定の意味的カテゴリ（例えば、花）を選択し、次に、この選択されたカテゴリにおいて、特徴の異なる組み合わせを用い、繰り返して少なくとも１つの画像サブセットを探査できるようにすることによって、探索空間を作成しやすくする。この例示的実施形態では、ユーザは、美的特徴（光、コントラスト、ぼやけ、色など）及び感情的特徴（例えば、感謝（appreciation）、活動）を含む特徴セットから選択することができる。
【００３３】
異なる細分性（クラスタ、ほぼ同じ画像（near-duplicates）の探査など）によって画像データベースをナビゲートし、適切な画像によってドキュメントドラフトを繰り返し作成するために、様々な可視化戦略（クラスタ化、モザイクなど）がユーザに提供される。
【００３４】
図１を参照すると、この例としてのシステム及び方法の概要が示されている。このシステム及び方法は、多数（例えば、何百、何千、又は何百万）の画像（例えば、写真画像及び／又はグラフィック画像）コレクションのような、資産を含むデータベース１０に依存している。特徴抽出１２では、コンテンツベースの特徴１４、感情的特徴１６、及び美的特徴１８のうちの１つ以上に基づいて、データベース１０から画像を選択することができる。探索空間作成２０では、このデータベースから画像サブセットを得て、これらの画像を、特徴の組み合わせに基づいてクラスタ化して表示できるように、カテゴリ化２２、クラスタ化２４、及び検索２６方法／コンポーネントのうちの１つ以上を用いて区分化する。可視化２８では、この画像サブセットの少なくとも一部の表示を、ユーザ３０が見るために生成する。
【００３５】
図２を参照すると、ユーザが画像データセットをナビゲートするのを支援する装置４０が、デジタル処理デバイス（例えば、コンピュータ）の形態で示されている。このコンピュータ４０は、デジタルプロセッサ４２（例えば、コンピュータのＣＰＵ）と、これに関連付けられたメモリ（ここでは、メインメモリ４４及びデータメモリ４６として示されている）と、を含む。
【００３６】
このコンピュータ４０は、入力インタフェース５０及び出力インタフェース５２を含み、これらのインタフェースは、結合されていても分離されていてもよい。インタフェース５０は、データベース１０として機能するデータメモリ４６に格納されている電子データオブジェクト５４（画像）のデータセットを受信する。当然のことながら、このデータベース１０は、コンピュータ４０から遠隔配置され、適した通信リンクによってアクセスされてもよい。データセット１０における画像５４の全部又は一部５６は、コンテンツタグによってラベル付けされている。このコンテンツタグは、ユーザによるその画像コンテンツに関する記述及び／又はその画像に関する何らかのコメントを含んでもよい。例えば、１つの画像５４は、「春の花」という記述と「３月の華やいだ我が庭」のようなコメントによってタグ付けされる。画像がテキストで囲まれている場合には、この囲んでいるテキストからコンテンツタグを取り出すことができる。自動タグ付け方法を用いて、ラベル付けされていない画像にタグを広めてもよい。
【００３７】
データベース１０における画像５４は、あらゆるファイルフォーマット（例えば、ＪＰＥＧ、ＴＩＦＦなど）であってよい。これらの画像は、個別画像であってもビデオ画像であってもよい。通常、各デジタル画像は、その画像を形成するピクセル配列に対する画像データを含む。この画像データは、色分解セット（例えば、ＲＧＢ）のそれぞれに対する色材値（例えば、グレースケール値）を含む、或いは、異なる色を表現することのできる別の色空間で表される。通常、「グレースケール」とは、どのように表されるにしても（ＲＧＢ、ＹＣｂＣｒなど）、あらゆる単色チャネルの光学濃度値を指す。
【００３８】
また、インタフェース５０又は別個のインタフェースは、データベース１０から１つ以上の画像を受容する収納ホルダ（空間）６０を備えたドキュメント５８（例として、テンプレート）を受信するように構成されてもよい。
【００３９】
インタフェース５２は、選択画像５４が追加された修正ドキュメント６２を出力する。
【００４０】
例としての入力インタフェース５０及び出力インタフェース５２は、有線及び無線ネットワークインタフェース（例えば、モデム）、又は、ローカルインタフェース（例えば、ＵＳＢポート、ディスクドライブなど）を含む。コンピュータのこれらのコンポーネント４２、４４、４６、５０、５２は、データ／制御バス６４によって、通信するように相互接続されている。
【００４１】
グラフィカルユーザインタフェース（ＧＵＩ）７０は、表示画面７２（例えば、カラーモニタ又は液晶ディスプレイ画面）と、テキストクエリを入力するためのユーザ入力デバイス（例えば、キーボード７４、キーパッド、タッチスクリーンデバイス、カーソル制御デバイス７６、音声テキスト変換器が関連付けられたマイクロホン、又はこれらの組み合わせ）と、を含む。このＧＵＩ７０は、１つ以上の有線又は無線リンク７８を介して、コンピュータ４０と通信するように繋がれている。ＧＵＩ７０は、この例示的実施形態では、コンピュータ４０にローカル接続されているが、別の実施形態では、クライアントコンピュータ（図示せず）に繋がれて、次に、このクライアントコンピュータが、ウェブブラウザ、有線又は無線ネットワーク、或いはその他の通信リンクを介して、コンピュータ４０に繋がれてもよい。
【００４２】
デジタルプロセッサ４２は、例えば、シングルコアプロセッサ、デュアルコアプロセッサ（又は、より一般的には、マルチコアプロセッサ）、デジタルプロセッサ及びこれと連動する数値演算コプロセッサ、デジタルコントローラなどによって、様々に実施されてよい。コンピュータ４０は、１つ以上の専用又は汎用計算デバイス（例えば、サーバコンピュータ、デスクトップ若しくはラップトップコンピュータ、パームトップコンピュータ、携帯端末（ＰＤＡ）、カメラ、又は、この例としての方法を行う命令を実行することのできるその他の計算デバイス）を含んでもよい。
【００４３】
メモリ４４及び４６は、分離されていても結合されていてもよく、あらゆるタイプのコンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク若しくはテープ、光ディスク、フラッシュメモリ、又はホログラムメモリ）を含んでもよい。一実施形態では、これらのメモリ４４及び４６は、ランダムアクセスメモリと読み出し専用メモリの組み合わせから成る。
【００４４】
コンピュータ４０は、画像ナビゲーションシステム８０を実施するのに適したプログラミング及び／又はハードワイヤードファームウェアによって構成されている。この例としてのナビゲーションシステム８０は、この例としての方法を行うソフトウェア命令（メモリ４４に格納されてプロセッサ４２によって実行される）の形態をしている。
【００４５】
このナビゲーションシステム８０は、特徴抽出コンポーネント１２、探索空間作成コンポーネント２０、及び可視化コンポーネント２８を含み、これらのコンポーネントはそれぞれ、（図１に示されているように）１つ以上の別個のソフトウェアツールを含んでいてもよいし、１つのツールとして結合されていてもよい。
【００４６】
特徴抽出コンポーネント１２は、ユーザの探索要求が入力される前に、格納されている画像５４を処理することができる。この例示的実施形態では、特徴抽出コンポーネント１２のコンテンツ特徴抽出器１４（図１）は、ラベル付けされていない画像５４にコンテンツベースのタグ（意味ラベル）を付与するように訓練（ｔｒａｉｎｅｄ）された分類器（又は、二値分類器セット）を含む。この訓練は、ラベル付けされた画像（例えば、データセットにおけるタグ付き画像５６）から成る訓練セットに基づいてもよい。これらのラベルは、画像の分類に関する先験的情報、例えば、手動で付与された種類ラベル、を表す。厳格な二値分類では、ラベルは、例えば、オブジェクトが特定の種類に割り当てられる場合には「＋１」、そうでない場合には「−１」であってもよい。寛大な二値分類では、ラベルは、例えば、その種類に入る可能性を示す範囲［０，１］内の値であってもよい。別の実施形態では、データセット１０全体がコンテンツ特徴によってタグ付けされてもよく、これにより、分類器は必要でなくなる。コンテンツタグは、その画像に関連付けられたテキストコンテンツから、更に又は代わりに抽出されてもよい。
【００４７】
感情的特徴抽出器１６は、感情に関連付けられた特徴を画像から抽出し、利用可能な感情的特徴セットのそれぞれに対する特徴値に対応して画像にラベルを付与する。
【００４８】
美的特徴抽出器１８は、美に関連付けられた特徴を画像から抽出し、利用可能な美的特徴セットのそれぞれに対する特徴値に対応して画像にラベルを付与する。
【００４９】
図３を参照すると、図２の装置によって行われるコンピュータ実施方法が示されている。この方法は、Ｓ１００において開始する。
【００５０】
Ｓ１０２において、画像５４のデータセット１０が入力され、処理中、このデータセットは、コンピュータメモリ４６に格納されてもよい。
【００５１】
Ｓ１０４（特徴抽出）において、特徴（例えば、コンテンツ、美的、及び感情的特徴）が、データベースにおける各画像に対して抽出され、例えば、関連付けられたメタデータ又はその他のタグとして格納される。
【００５２】
Ｓ１０６において、ＧＵＩ７０を介してユーザのテキストクエリが受信され、このクエリに応答するデータセット画像のサブセット（例えば、クエリ語に対応する「コンテンツ」ラベルによってタグ付けされた画像）が検索される。
【００５３】
Ｓ１０８（探索空間作成）において、ユーザのコンテンツ選択に基づいて、探索空間が作成され、図４のスクリーンショット８４に示されているように表示される。検索される全画像が、このときに表示されてもよい。
【００５４】
Ｓ１１０において、ユーザ３０が選択可能な美的／感情的特徴のうちのいくつかを選択され、ユーザが選択した美的及び／又は感情的特徴が、ＧＵＩ７０を介して受信される。当然のことながら、このようなコンテンツ、美的、及び／又は感情的特徴の選択は、どんな順序で進められてもよい。
【００５５】
Ｓ１１２において、ユーザが選択したコンテンツ、美的、及び／又は感情的特徴に基づいて、探索空間が区分化され、これにより画像がグループ化される。画像は、ソフトウェアツール（例えば、Ｋ平均法など）のセットを用いて処理されてグループ化されてもよく、これにより、視覚的に一貫性のある探索空間が作成される。このような画像のグループ化は、以下に説明するように、ユーザが選択した特徴に応じて探索空間をクラスタ化又は区分化する、Ｋ平均法を用いて行うことができる。
【００５６】
Ｓ１１４（可視化）において、ユーザが特徴を選択することによって作成した探索空間が可視化される。探索空間を可視化するには、様々な様式（例えば、クラスタ、モザイク、又はその他のタイプのグループ）を利用してもよい。この例示的実施形態では、図５のスクリーンショット８６に示されているように、可視化段階において、二次元配列されたｎ＝９の画像グループ９２、９４、９６（空きグループ）、９８、１００、１０２、１０４、１０６、及び１０８が、２つの選択された特徴に対して作成される。当然のことながら、検索画像が区分化されて表示されるグループの数ｎは、あらゆる適切な数（例えば、４、６、８、９、１０、１２、又はそれ以上）であってよい。グループの数がより多い場合には、これらのグループをカスケード表示してもよく、ユーザは、選択されたグループセットをクリックして又は別の方法で選択して見ることができる。各グループは、例えば、画面の異なる領域に配置されることによって、且つ／又は、目に見える境界線８７が間に設けられることによって、その他のグループと視覚的に区別されてもよい。一実施形態では、これらのグループは単にクラスタ配列されるだけでもよく、間の境界線ははっきりとしないが、各特徴レベルの順序は互いに垂直な方向においてほぼ保たれる。３つ以上の特徴が選択される場合には、ユーザがこれらのグループを見ることのできるその他の方法（例えば、階層表示）がより適切であってもよい。
【００５７】
Ｓ１１６において、ユーザは、関心のある１つ以上の画像（後でＧＵＩに表示される）を含むものとして、クラスタのうちの１つを選択してもよい。ユーザは、より詳しく調べるために、例えば、その画像グループ又はその画像グループが配置されている領域をクリックすることによって、画像グループのうちの１つを選択することができる。次に、この選択された画像グループが、画面の一領域に表示される。残りの画像グループは、ディスプレイから削除されてもよい。
【００５８】
レイアウトドラフトボタン１４２を選択することによって、例えば、表示された画像グループの近くで、ドキュメントテンプレート５８を同時に見られるようにしてもよい。図６のスクリーンショット８８に示されているように、ユーザは、表示画像のうちの選択した画像を、このテンプレート上の適切な収納ホルダ６０内にドラッグアンドドロップすることができる。或いは又は更に、選択画像は、まずライトボックス１１０にドラッグすることができ、ユーザがこのライトボックス内の画像のうちの１つ以上をテンプレート５８上にドラッグアンドドロップすることに決めるまで、このライトボックスに表示される。このライトボックス１１０は、より早い段階で保存された、以前のあらゆる選択画像も収容することができる。
【００５９】
ユーザの選択において、この方法は、ユーザが美的／感情的特徴の異なる組み合わせを選択する場合にはＳ１１０へ戻ってもよいし、新たなコンテンツ探索が入力される場合には、Ｓ１０６へ戻ってもよい。
【００６０】
Ｓ１１８において、ユーザは、選択グループ内に表示されている画像のうちの１つ以上に類似した画像を見たいと望んでもよい。一実施形態では、ユーザは、データベースからＫ個の最も近い画像（nearest neighbors）を検索するように選択するか、或いは、ほぼ同じ画像を探すように要求することができる。これらの近い画像／同じ画像は、表示グループ内の画像とは異なる基準に基づいて、データベースから選択される。このようにして、同じコンテンツベースのタグによってタグ付けされていない画像が、検索されて表示されてもよい。例えば、最も近い画像は、色ヒストグラムの類似度に基づいて検索されてもよい。その結果、コンテンツは全く異なっていたとしても、色は類似した画像が表示される。ほぼ同じ画像は、そのグループ内の１つ又は全部の画像との低レベル又は高レベル特徴の類似度に基づいて識別することができる。
【００６１】
Ｋ個の最も近い画像（K-nearest neighbor（ＫＮＮ））を識別するには、様々な方法がある。例えば、色ヒストグラムを用いることができる。例えば、赤、緑、及び青チャネルのそれぞれの範囲は、１６ビン（ｂｉｎ）に量子化される。画像のヒストグラムは、この量子化空間で得られる。Ｋ個の最も近い画像は、ヒストグラムの類似度に基づいて得られる。最も近い画像を識別する方法については、例えば、マシュー ギヨーマン（Matthieu Guillaumin）、外、「ＴａｇＰｒｏｐ：画像に自動的に注釈付けするための最も近いモデルにおける識別メトリック学習（TagProp: Discriminative metric learning in nearest neighbor models for image auto-annotation）」、コンピュータビジョン国際会議（ＩＣＣＶ：International Conference on Computer Vision）、２００９年に説明されている。
【００６２】
Ｓ１２０において、ユーザがドキュメントテンプレートに満足すると、この埋められた（filled template）テンプレート６２は、例えば、プリンタ、ディスプレイ７２、又はその他の出力デバイスに出力されるか、或いは、後日検索するためにメモリに格納される。ユーザが単に１つの画像又は画像セットを選択しているだけの場合、この画像は、後日検索するために特定のタグによってタグ付けされてもよいし、システムから出力されてもよい。
【００６３】
この方法は、Ｓ１２２において終了する。
【００６４】
この例としての方法は、１つ以上の汎用コンピュータ、専用コンピュータなどにおいて実施されてもよい。
【００６５】
図３に示した方法は、コンピュータにおいて実行される有形で非一時的なコンピュータプログラム製品で実施されてもよい。このコンピュータプログラム製品は、制御プログラムが記録されている有形で非一時的なコンピュータ可読記録媒体（例えば、この方法を行うように構成されたディスク、ハードドライブなど）であってもよい。
【００６６】
次に、この方法及び装置の様々な態様について、より詳細に説明する。
【００６７】
上述したように、この例としてのシステム８０、方法、及びグラフィカルユーザインタフェース７０は、創造的資産５４のデータベース１０をナビゲートして探索できるようにする。既存のシステムに勝るこのシステム８０の１つの利点は、既存のコンテンツベースの探索技法と美的／感情的特徴とを組み合わせることができるという点である。ユーザは、特定の意味的カテゴリ（例えば、花）を選択し、このカテゴリにおいて、美的及び／又は感情的特徴（例えば、光、コントラスト、ぼやけ、色、感謝、活動）の異なる組み合わせを用い、繰り返して画像を探査することによって、探索空間を作成することができる。
【００６８】
このシステム８０の例示的実施形態では、これらの特徴は、オフラインで（即ち、ユーザがクエリを出す前に）計算される。一例として、以下のような特徴が使用される。
【００６９】
１．コンテンツベースの特徴
この例示的実施形態では、ユーザは、意味的コンテンツに基づいて最初の探索を行い、次に、様々な特徴（例えば、画像の美又は感情）によって検索画像をブラウズすることができる。
【００７０】
コンテンツベースの特徴に関する種類ラベルとしては、一般的な可視オブジェクトカテゴリ（例えば、花、風景、海景、空、乗り物、人、建物、動物など）、及び／又は特定のテーマ（例えば、パーティー、結婚式、スポーツイベント、夏、冬など）が挙げられる。一実施形態では、これらの種類は、グラフィックデザイナーが関心のある特定分野に対応するように調整されてもよい。コンテンツベースの種類の数は、限定されないが、少なくとも２つであり、例えば、約５〜５０、又はそれ以上であってもよい。
【００７１】
通常、画像コンテンツに基づいたカテゴリ化技法には、入力画像を一般的に理解される記述に変換する作業セットが含まれてもよい。高レベルコンテンツに基づいて、画像にキーワードを付与する自動化技法が開発されてきた。このような技法では、全景を解析するか又は画像内のオブジェクトに重点をおくことができる。キーワードの付与は、信頼値と関連付けられる。次に、画像は、信頼値が閾値を超えるキーワードによってラベル付けされる。
【００７２】
テキストベースの探索に適した画像にタグ付けする一例としては、画像表現（例えば、フィッシャー表現（Fisher representations））が、視覚的な一般分類器（generic visual classifier（ＧＶＣ））によって用いられてもよく、これにより、画像は、予め定義及び訓練されたカテゴリによって自動的に注釈付けされる。
【００７３】
この方法では、画像のパッチセットのそれぞれに対し、低レベル画像記述子が、例えば特徴ベクトルとして抽出される。この抽出された低レベル画像記述子に基づいて、各パッチに対し、表現（例えば、フィッシャーベクトル（Fisher vector））が、例えば連結によって生成されてもよい。このパッチ表現又は低レベル画像記述子に基づいて、その画像の高レベル表現が抽出される。この例示的実施形態では、この高レベル表現は、ベクトル（例えば、フィッシャーベクトル）である。
【００７４】
一実施形態では、各特徴タイプに対し、ガウス混合モデル（Gaussian Mixture Models（ＧＭＭ））を用いて視覚的語彙が構築される。このようなＧＭＭを用いた特徴空間における視覚的語彙の作成は、Ｆ．ペロニン（F. Perronnin）らによる「視覚的な一般カテゴリ化に適応させた語彙（Adapted Vocabularies for Generic Visual Categorization）」（コンピュータビジョン欧州会議（ＥＣＣＶ：European Conference on Computer Vision）２００６）に説明されている方法によって行われてもよい。ある方法では、訓練セット全体に関して広く構築された１つの視覚的語彙が用いられるが、別の実施形態では、カテゴリ特有画像を用いて、訓練セット全体に関して（普遍的に）訓練された視覚的語彙を各カテゴリに適応させることによって、性能が向上する。次に、二部ヒストグラムセット（１カテゴリに１つ）によって画像が特徴付けられ、各ヒストグラムは、その画像コンテンツが普遍的語彙又は対応するカテゴリ語彙によって最適に作成されているかどうかを説明している。特許文献１を参照されたい。
【００７５】
画像の高レベル表現を生成するには、例えば、特許文献１、特許文献２、特許文献３、Ｇ．チュルカ（G. Csurka）らによる「バッグオブキーポインツによる視覚的なカテゴリ化（Visual Categorization with Bag of Keypoints）」（コンピュータビジョンにおける統計学習に関するＥＣＣＶワークショップ（ECCV workshop on Statistical Learning in Computer Vision）２００４）、及び、Ｆ．ペロニンらによる「画像をカテゴリ化するための視覚的語彙に関するフィッシャーカーネル（Fisher kernel on visual vocabularies for image categorization）」（コンピュータビジョン及びパターン認識に関する電気電子技術者協会（ＩＥＥＥ：Institute of Electrical and Electronics Engineers）会議（ＣＶＰＲ）の会報 （Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition （CVPR））２００７）に開示されているような、本明細書中で使用される様々な方法がある。上記最後のＦ．ペロニンらによる参照文献及び特許文献２には、フィッシャーベクトルに基づいたフィッシャーカーネル（ＦＫ）表現が説明されている。
【００７６】
バッグオブビジュアルワーズ（Bag-of-Visual Words（ＢＯＶＷ））表現では、画像は、まず視覚的ワード数のヒストグラムによって特徴付けられる。視覚的語彙は、画像の訓練セットから自動的に構築される。
【００７７】
これらの方法全てにおいてパッチから抽出される低レベル画像記述子は、一般的に、各パッチの様相を要約する又は特徴付ける定量値（例えば、空間周波数成分、平均輝度、色特性（カラー画像の場合）、階調度値、及び／又はその他の特性値）である。低レベル画像記述子は、関心領域（ＲＯＩ：regions of interest）において局所的に抽出される。このＲＯＩは、画像をセグメント化することによって、特定関心ポイント検出器を利用することによって、規則的な格子を考慮することによって、或いは、単に画像パッチを無作為に抽出することによって、得ることができる。ある実施形態では、各パッチから少なくとも約５０の低レベル画像記述子が抽出されるが、抽出することのできる画像記述子は、いずれの特定の数又はタイプにも限定されず、例えば、計算能力によっては、１０００又は百万の低レベル画像記述子が抽出されてもよい。この例示的実施形態では、低レベル画像記述子は、局所的な（例えば、ピクセルの）色の統計及び／又はテクスチャを含む。色の統計に関しては、局所的なＲＧＢ統計（例えば、平均及び標準偏差）が計算されてもよい。テクスチャに関しては、（色の変化を表す）階調の向きが、各パッチに対しヒストグラム（スケール不変特徴変換（Scale Invariant Feature Transform（ＳＩＦＴ））のような特徴）として計算されてもよい。この例示的実施形態では、２つ（又はそれ以上）のタイプの低レベル画像記述子（例えば、色及びテクスチャ）が別々に抽出され、高レベル表現は、２つのフィッシャーベクトル（各特徴タイプに対して１つ）の組み合わせに基づいている。別の実施形態では、（ロウ（Lowe）による「局所的なスケール不変特徴からのオブジェクト認識（Object Recognition From Local Scale-Invariant Features）」（ＩＣＣＶ、１９９９）によって説明されているような）ＳＩＦＴ記述子が、各パッチに関して計算される。
【００７８】
分類器（二値分類器セットから成っていてもよい）は、画像表現（例えば、フィッシャーベクトル）及び訓練画像５６のラベルに関して訓練される。一実施形態では、例えばサポートベクトルマシン（Support Vector Machine（ＳＶＭ））分類器のように、機械学習分類方法が用いられる。別の実施形態では、訓練される分類器は、あらゆる識別分類器（即ち、種類境界を作成する分類器）（例えば、フィッシャーカーネル（ＦＫ）又はニューラルネットワーク）であってよい。次に、この訓練された分類器を用いて、ラベル付けされていない画像に、その画像がある種類に属する確率を表すラベルが付与される。或いは、この分類器は、このような確率値を閾値処理することによって生成されるイエス／ノー二値ラベルを付与してもよい。
【００７９】
この例示的実施形態では、ユーザがクエリを入力する前にコンテンツベースのタグ付けが行われるが、ユーザが例えばオンラインデータベースから画像グループを選択することによって、テキストクエリの入力後にデータセットが作られることもある、と考えられる。この場合、カテゴリに応じた画像のコンテンツベースのタグ付けは、テキストクエリが入力された後に行われてもよい。
【００８０】
２．感情的及び美的特徴
その他の特徴のそれぞれに関し、画像のデータセット１０が量子化されてもよい（即ち、その特徴に対する値の範囲をカバーする区分セットのうちの１つに割り当てられてもよい）。所定の特徴に対する区分がそれぞれ同数の画像を収容してもよいし、或いは、特徴空間が特徴値に応じてその他の方法で区分化されてもよい。例えば、色特徴「赤」に関し、コレクションにおける全ての画像に、例えば（ＲＧＢ色空間における）平均ピクセル赤色相に基づいて、赤さの値が付与される。画像が区分化される量子化レベルの数に応じて、赤さのスコアが最も高い画像が第１レベルに、次にスコアが高い画像セットが第２レベルに、というように割り当てられる。量子化レベルの数は、特徴によって異なっていてもよいし、全ての特徴に対して同じであってもよい。１つの特徴に対する量子化レベルの数は、データセットにおける画像の数及び選択可能な特徴の数に応じて、約２〜１０（例えば、少なくとも３）が有用に用いられてもよい。例えば、二次元配列に関して、２つの特徴が選択される場合、各次元において３つの量子化レベルがあると、３×３の配列（９グループ）が生成される。
【００８１】
この例示的実施形態では、感情的又は美的概念分類器を学習する必要なく、画像データから直接的に感情的及び美的特徴が決定される。これらの感情的及び美的概念は、非常に主観的で、学習するのが困難である。このような概念による画像のタグ付けに関して強い意思決定を行うには、限界がある。従って、この例示的実施形態では、タグ付けの代わりに、感情的又は美的概念が高レベル特徴と考えられる（即ち、画像自体から抽出された低レベル特徴に基づく）。このような高レベル特徴に基づいて、画像（後で量子化される）にスコアが付与される。
【００８２】
この例としての方法により、美的又は感情的カテゴリ化が高精度である必要なく、或いは、異なる様相を１つの画像値にまとめる必要なく、これらの特徴の異なる組み合わせによって探索できる柔軟性が提供される。
【００８３】
２Ａ．美的特徴
使用される美的特徴の例としては、明度、コントラスト、ぼやけ、色相、画像サイズなどが挙げられる。タイプによって、まず１つの特徴グループが選択可能である。例えば、全般的な特徴タイプ「色」に関し、選択可能な特徴としては、赤、青、緑などが挙げられる。画像の特徴値を量子化するには、様々な方法があり、これらの方法は、最初はピクセル色材値の分析に基づいてもよい。例えば、特許文献４を参照されたい。
【００８４】
美的特徴を決定する技法については、例えば、特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０、特許文献１１、特許文献１２、及び特許文献１３に説明されており、これらの技法には、統計値（例えば、ノイズ測定量、又は、低解像度バージョンの画像に関する輝度及び色度分布）を生成することが含まれてもよい。例えば、特許文献８を参照されたい。
【００８５】
明度とは、画像の輝度を指す。これは、１つの画像における全ピクセルの明度値の平均である。各明度値は、ピクセルのＲＧＢから濃淡値を算出するか、或いは、ピクセルのＲＧＢを輝度色空間（例えば、ＨＳＶ（Ｖの値は明度））に変換することにより、計算することができる。
【００８６】
コントラストとは、ダイナミックレンジの有効利用を指す。（例えば、特許文献７、及び、ヤンケ（Yan Ke）らによる「写真品質評価のための高レベル特徴の設計（The Design of High-Level Features for Photo Quality Assessment）」（ＣＶＰＲ０６）を参照されたい。）
【００８７】
彩度とは、画像におけるカラーオブジェクトの鮮やかさを指す。グレーの多い色ほど、彩度が低いと見なされるのに対し、入っているグレーが非常に少ない明るい色は、彩度が高いと見なされる。色の彩度は、画像に対する感情的反応に影響を与える。このシステムは、例えば、特許文献９に説明されているように、ＨＳＶ空間における色彩度値を検出して、各画像に対し量子化平均彩度値をもたらす。
【００８８】
画像のぼやけは、一般的には、カメラとオリジナルシーンとの相対運動又は焦点の外れた光学系によって生じる、帯域幅低減の一形態である。画像のぼやけは、ガウスフィルタ（Gaussian filter）によって画像を平滑化してぼやけた画像を得ることにより計算できる。このぼやけは、ぼやけた画像の二次元フーリエ変換を閾値処理することによって得られる画像の最大周波数に比例する。例えば、上記ヤンケらによる「写真品質評価のための高レベル特徴の設計」（ＣＶＰＲ０６）を参照されたい。
【００８９】
色相とは、目が検出する色の第１特性を指す。色相は、ピクセルのＲＧＢ値をＨＳＶに変換した後の、ピクセルのＨＳＶ色空間表現におけるＨの値と考えられる。
【００９０】
画像サイズとは、１つの画像におけるピクセルの数を指す。画像サイズは、１つの画像のピクセル幅とピクセル高さとをかけることによって計算される。
【００９１】
露出量とは、写真の撮影中にカメラセンサに当たる光の量を指す。露出量は、明度と同じであると考えられる。
【００９２】
例えば、画像のダイナミクス、遠近感、及びコンポジションのような、他の特徴が考えられる。
【００９３】
２Ｂ．感情的特徴
感情的特徴の例としては、感謝及び活動が挙げられる。
【００９４】
一実施形態では、色と感情との関係を利用することによって、画像をその主色に基づいた様々な感情的特徴に応じて量子化することができる（例えば、Ｌ．Ｃ．ウー（L.C. Ou）らによる「色の感情及び色の好みの研究（A study of colour emotion and colour preference）」（カラーリサーチアンドアプリケーション（COLOR research and application）２９、２００４、ｐ．２３２〜２４０）、Ｍ．ソリー（M. Solli）及びＲ．レンツ（R. Lenz）による「カラー画像検索における感情的満足（Emotional Satisfaction In Color Image Retrieval）」（画像解析に関するスウェーデンシンポジウム２００８会報（Proc. Swedish Symposium on Image Analysis 2008）、並びに、Ｍ．ソリー及びＲ．レンツによる「画像の分類及び検索に対する色の感情（Color Emotions for Image Classification and Retrieval）」（グラフィックス、イメージング、及びビジョンにおける色に関する会議（ＣＧＩＶ：Conference on Colour in Graphics, Imaging and Vision）２００８）参照）。
【００９５】
別の実施形態では、画像のあらゆる人々の顔の表情が、様々な感情的特徴（例えば、嬉しい／悲しい、怒った／落ち着いた、など）に応じて識別されて量子化される（例えば、Ｂ．ファゼル（B. Fasel）及びＪ．ルーティン（J. Luettin）による「顔の表情の自動解析：概説（Automatic Facial Expression Analysis: a survey）」（パターン認識（Pattern Recognition）第３６巻、ｐ．２５９〜２７５、２００３）、並びに、Ｍ．パンティック（M. Pantic）及びＬ．Ｊ．Ｍ ロスクランツ（L. J. M Rothkrantz）による「顔の表情を自動解析するエキスパートシステム（Expert system for automatic analysis of facial expressions）」（エルゼビア（ELSEVIER）社、イメージアンドビジョンコンピューティング（Image and Vision Computing）第１８巻、ｐ．８８１〜９０５、２０００）参照）。
【００９６】
（例えば、テレゲン−ワトソン−クラークモデル（Tellegen-Watson-Clark model）を用いる）別の実施形態では、複数の感情的特徴のそれぞれに対して個別の分類器モデルが訓練され、各特徴は、ラベル付けされたデータセットのタグ及び画像から抽出された記述子を用いて、１組の相反する感情（愉快−不愉快、従事（engagement）−解放（disengagement）など）を表す。訓練された分類器は、各特徴に対するスコアを各画像に出力する（例えば、各特徴に対する量子化値又は順位をデータセットにおける画像に付与する）ことができ、このスコアを用いることによって画像をグループ化することができる。
【００９７】
別の方法では、標準的な低レベル特徴（色、ガボール特徴（Gabor features）、ＳＩＦＴ特徴）を用いることによって、手動で注釈付けされたデータから感情を予測することができる。
【００９８】
可視化
付与されたコンテンツ、美的、及び感情的特徴に基づいて、ユーザは、特徴を単独で又は組み合わせて選択することにより、探索空間を作成することができる。表示される画像グループの数は、選択される各特徴の量子化レベル及び選択される特徴の数によって決まる。
【００９９】
一般的な探索ワークフローは、（１）１つ以上の特徴（例えば、コンテンツ、コンテンツ＋美的など）を用いて、探索空間を作成し（Ｓ１０８）、（２）この探索空間を他の特徴に基づいて大まかに再編成することによって、視覚的一貫性を高め（Ｓ１１２）と、（３）ほぼ同じ画像又は最も近い画像を可視化することによって、的を絞って探索空間を探査すること（Ｓ１１８）と、を含んでもよい。
【０１００】
ブラウジング処理を容易にするため、この例としてのシステム８０は、（例えば、テキスト探索クエリの結果の）探索空間を、異なる組み合わせ及び異なる数の特徴で絞り込むことができる。例えば、ユーザが、見る人に好感を与える青空の画像を探索している場合、テキストクエリ「空」と２つの特徴「青」及び「感謝」を選択すると、空の画像が検索されて視覚的に一貫するように表示される。更に、この例としてのユーザインタフェースは、創造的資産のナビゲーションを容易にするだけでなく、（最終的に画像収納ホルダを含む）作業ドラフトドキュメントと代わりの選択画像とを「組み合わせて」可視化することにより視覚的コンテンツの作成も支援する。
【０１０１】
この例示的実施形態の範囲を限定するよう意図することなく、以下の実施例は、ドキュメントを作成するための、このシステム８０の一使用法を説明する。
【０１０２】
図４を参照すると、データセット１０における画像は、最大３５０のサムネイル画像（データベースに格納されているオリジナル画像から生成される、ピクセル解像度を下げた且つ／又は切り取られた画像であってもよい）が同じページに提示されるように、コンパクトに可視化されて提示される。ユーザは、まず、探索ボックス１２０にキーワードを入力するか、或いは、メニュー（例えば、ＧＵＩに表示されるドロップダウンメニュー）からキーワードを選択することによって、テキストクエリを入力する。次に、コンテンツ探索空間が生成される。例えば、図４に示されているように、ユーザは、テキスト入力ボックス１２０に探索クエリ（例えば、「花」）を入力し、セレクタ１２２を用いて、検索する画像の数（例えば、１５０）を選択することができる。分類器が確率的なものである場合、このシステム８０は、花の画像である確率が最も高く付与された１５０の画像を検索して、これらの画像をＧＵＩディスプレイ７２に表示する。例えば、図４は、テキストクエリ「花」によって得られた画像サブセットの一部を示している。
【０１０３】
例えば、検索した数が、ディスプレイ上で一度にすぐに見られる数より多い場合、ユーザは、スクロールバー１２４を用いて、検索した画像セット全体をスクロールダウンすることができる。
【０１０４】
クエリを絞り込むため、ユーザは、複数の特徴セレクタ１２６、１２８、１３０のうちの１つ以上を作動させることにより、美的及び感情的特徴から選択することができる。ユーザは、例えば、赤の色特徴を用いて画像をグループ化することに決め、色特徴セレクタ１２６を用いて赤の色特徴を選択してもよい。赤の色特徴によって赤さが高いものから低いものへ減少順に一次元において仕分けされた画像グループは、ＧＵＩ上に、例えば、左から右へ且つ／又は上から下へ、同時に表示される。この例示的実施形態では、６つのグループが同時に配列表示される。
【０１０５】
次に、ユーザは、第２の特徴（例えば、別の美的特徴）を追加することに決め、例えば、美的特徴セレクタ１２８を用いて明度特徴を選択してもよい。図５のスクリーンショット８６に示されているように、二次元において（即ち、明度の美的特徴Ｆ１で横に且つ赤の色特徴Ｆ２で縦に）仕分けされた画像グループが、ＧＵＩディスプレイ７２に同時に表示される。特徴Ｆ２も選択されている場合には、表示グループを適切な数に維持するため、特徴Ｆ１の量子化レベルは自動的に削減されてもよい。例えば、データベースにおける画像がラベル付けされている第１の特徴に対して６つの量子化レベルがある場合、隣接した量子化レベルの組を合わせて、３つの量子化レベルにしてもよい。
【０１０６】
図５から明らかであるように、ディスプレイの各領域は、異なる画像グループを示しており、各グループは、選択された第１及び第２の特徴の量子化レベルの異なる組み合わせに対応している。従って、選択された特徴の量子化レベルに当てはまる画像が、ディスプレイの適切な領域に表示される。この例としての配列では、左から右へ且つ上から下へ特徴値の高い順になっており、即ち、最も赤くて明るい画像が左上のグループ９２にあり、最も赤くなくて明るくない画像が右下のグループ１０８にある。例えば、ディスプレイの左上にある領域１３２は、赤さの量子化レベルが１で明度の量子化レベルが１である（即ち、赤さが高く明度が高い）画像を含む。全ての領域に画像が含まれるわけではない。例えば、領域１３４は、データベース１０におけるカテゴリ「花」に、特徴「明度」の量子化レベルが３で特徴「赤さ」の量子化レベルが１である画像がないため、空いている。図４に示されている画像に関し、１グループに多くの画像がありすぎて一度に表示できない場合には、画像グループを個別にスクロールすることができる。
【０１０７】
この例示的実施形態では、一度に最大１つの色特徴（例えば、赤、緑、及び青のうちの１つ）を選択することができる。第２の特徴に関しては、別の美的特徴或いは感情的特徴を選択することができる。
【０１０８】
次に、例えば、感情的特徴セレクタ１３０を用いて、第３の特徴を選択し、三次元配列又はその適切な二次元表現を生成してもよい。或いは、ユーザは、第１及び第２の特徴の一方又は両方を変更して二次元表示を変更することに決めてもよい。
【０１０９】
ユーザは、画像グループが分けて示されるのではなく、選択された特徴を反映するように単純に順序付けされる（例えば、最も赤い画像が配列の左上にあるグループにクラスタ化され、最も明るくない画像が右下にあるグループにクラスタ化され、グループ間の境界線は表示されない）よう、要求することができる。ユーザは、順序セレクタ１３６をクリックして、画像をこのように表示させることができる。当然のことながら、これらの画像は、特徴（例えば、「赤さ」及び「コントラスト」）の様々な組み合わせによって、容易にグループ化して順序付けすることができる。
【０１１０】
次に、ユーザは、表示されたグループのうちの１つにおける画像の色及び明度が特定のドキュメントに対して適切であると判断し、そのグループをクリックする（クリックすると、そのグループがディスプレイに表示される）。ユーザは、ライトボックスアイコン１３８をクリックして、ライトボックス１１０を呼び出してもよく、このライトボックス１１０の中には、選択画像のうちの選択されたものを最終選択の候補画像としてドラッグして入れることができる。ユーザは、レイアウトドラフトセレクタボタン１４２をクリックすることができ、これにより、ディスプレイに表示されるドキュメント５８にアクセスできるようになる（図６）。スクリーンショット８８に示されているように、選択された画像グループ、ライトボックス１１０、及びドキュメントテンプレート５８が同時に表示される。ユーザは、最も近い画像／同じ画像セレクタ１４６をクリックすることによって、最も近い画像又はほぼ同じ画像が表示されるよう選択することができる。或いは、このような最も近い画像／ほぼ同じ画像は、画像のうちの選択されたものをクリックすることによって検索されてもよい。
【０１１１】
ユーザは、画像のうちの選択されたものを（例えば、ライトボックス１１０から）ドキュメント５８上にドラッグアンドドロップして、その画像がデザインニーズを満たすかどうか確かめてもよい。この選択画像５４は、より早い段階で保存された、以前のあらゆる選択画像を収容する、ドキュメントテンプレート５８に追加される。ユーザは、より多くの画像を探すためにこの処理を１回以上繰り返した後、レイアウトドラフトセレクタ１４２をクリックして、図２及び図６に示されているような埋められたドキュメント６２の完成を確認してもよい。
【０１１２】
テキスト探索クエリに依存した既存の探索方法に対し、このシステムは、クエリをパラメータ化することによって探索を絞り込むことができる。例えば、ユーザは、明度及び／又は赤さのレベルを設定することができる。また、探索結果の視覚的一貫性が高く、探索空間の探査が非常に簡単であるため、ユーザは、関心のある画像が最もありそうなグループだけを選択して、そのグループにおける画像のサムネイルをスクロールするか、或いは、その選択された画像グループでディスプレイを満たすことができる。ユーザが特定のサムネイルに関心がある場合、対応する画像がその最も近い画像と共に表示される。
【０１１３】
このナビゲーションシステムは、選択された美的、色、及び感情的特徴によって導かれる非常に大きな画像データベースをナビゲートするインタフェースを、グラフィックデザイナーに提供する。
【符号の説明】
【０１１４】
６４ データ／制御バス
７０ ＧＵＩ
７２ 表示画面
７６ カーソル制御デバイス
７８ リンク
８４、８６、８８ スクリーンショット
８７ 境界線
１１０ ライトボックス
１２０ 探索ボックス
１２２、１２６、１２８、１３０、１３６、１３８、１４２、１４６ セレクタ
１２４ スクロールバー
１３２、１３４ 領域
【技術分野】
【０００１】
本発明は、画像検索及び選択に関する。本発明は、特に、画像データベースを探索するナビゲーションシステム、及び方法に関する。
【背景技術】
【０００２】
様々な用途（例えば、商業デザイン、編集作業、専門的デジタル写真、及び資産管理）において、後日使用するため、多数のデジタル画像が取得されて格納される。従来の探索技法による画像の検索は、時間のかかることが多い。例えば、画像コレクションが適切にタグ付けされている場合、ユーザは、テキストクエリ（例えば、「花」）を入力して、このクエリに応答する多数の画像（例えば、花を含むものとして手動でタグ付けされた画像）を検索する。他の検索方法は、特徴抽出技法に基づく。例えば、自動システムは、抽出された特徴の類似度に基づいて、手動でラベル付けされた画像のタグを、ラベル付けされていない画像に広めても良い。或いは、ユーザが花の画像を入力し、この入力画像の特徴と格納されている画像の特徴とを比較することによって、類似した画像が自動的に検索されてもよい。
【０００３】
画像探索は、通常、明確な基準を用いることによって探索空間を狭く定めて区切ることと、十分に多くの利用可能画像サンプルをブラウズして、最も適した又は美的な魅力のある画像を確実に逃さないようにすることとの間における、妥協を伴う。これにより、ユーザには、比較的多くの画像サブセットが残される。従って、ブラウジングは、依然として、第１の画像選択方法である。
【０００４】
現在のシステム（例えば、グーグルイメージズ（Ｇｏｏｇｌｅ Ｉｍａｇｅｓ（登録商標））及びフリッカー（ＦＬＩＣＫＲ（登録商標））は、コンテンツに基づいて画像探索を行い、美的な絞り込みをするための非常に基本的な選択肢を提供する。しかしながら、これらのシステムは、特徴を組み合わせて探索するためのツールを提供しない。これらのシステムにおいて、ユーザは、絞り込み基準シーケンスを選択して、繋ぎ合わせるのがせいぜいである。例えば、グーグルイメージズ（登録商標）では、ユーザは、例えば「空」というクエリのようなコンテンツによって探索し、次に、「青」というボックスをクリックすることによって、青空の画像を得ることができる。このようなタイプのブラウジングでは、選択された特徴の絞り込みと、非実際的特徴の異なる組み合わせの探査との間を、行ったり来たりすることとなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００７／０００５３５６号明細書
【特許文献２】米国特許出願公開第２００７／０２５８６４８号明細書
【特許文献３】米国特許出願公開第２００８／００６９４５６号明細書
【特許文献４】米国特許出願公開第２００６／０１６４６６４号明細書
【特許文献５】米国特許第５，３５７，３５２号明細書
【特許文献６】米国特許第５，３６３，２０９号明細書
【特許文献７】米国特許第５，３７１，６１５号明細書
【特許文献８】米国特許第５，４１４，５３８号明細書
【特許文献９】米国特許第５，４５０，２１７号明細書
【特許文献１０】米国特許第５，４５０，５０２号明細書
【特許文献１１】米国特許第５，８０２，２１４号明細書
【特許文献１２】米国特許第５，３４７，３７４号明細書
【特許文献１３】米国特許第７，０３１，５３４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、コンテンツだけでなく様々な特徴を用いることによって、画像データセットをナビゲートするための方法、及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施形態の一態様によれば、画像データセットをナビゲートするためのユーザ支援方法が提供される。この方法は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴の受信し、利用可能な特徴セットからユーザが選択した第２特徴の受信する、ことを含む。この方法は、検索された画像のうちの少なくともいくつかを、グラフィカルユーザインタフェース上に同時に配列して表示することを更に含む。この画像の配列は、第１特徴のみが選択された場合、第１特徴の異なるレベルを反映する。また、この画像の配列は、第１及び第２特徴が選択された場合、ユーザが選択した第１特徴及び第２特徴のレベルの異なる組み合わせを反映する。
【０００８】
この方法において、前記表示することは、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に同時にグループで表示することを含んでもよい。表示された各画像グループは、ユーザが選択した第１特徴及び第２特徴のレベルの異なる組み合わせに対応する。
【０００９】
表示された画像グループは、選択された特徴の値に応じて順序付けされてもよい。
【００１０】
前記表示することは、画像グループを二次元配列で表示することを含んでもよい。第１特徴は第１次元においてレベルが上昇し、第２特徴は第２次元においてレベルが上昇する。
【００１１】
ディスプレイにおける各画像グループは、第１及び第２特徴の量子化値の組み合わせが、その他の各グループと異なってもよい。
【００１２】
この方法は、第１特徴セットから第１特徴を選択する第１セレクタと、第２特徴セットから第２特徴を選択する第２セレクタとを、グラフィカルユーザインタフェース上に表示することを含んでもよい。
【００１３】
第１特徴は美的特徴であり、第２特徴は感情的特徴であってもよい。
【００１４】
この方法は、ユーザが第３特徴セットから第３特徴を選択できるようにすることを含んでもよい。表示された画像は、第１、第２、及び第３特徴から選択された少なくとも２つに応じてグループ化されている。
【００１５】
特徴セットにおける各特徴に関し、異なる特徴値に対応する複数の量子化レベルが設けられると共に、画像データセットにおける各画像は、各特徴の量子化レベルのそれぞれと関連付けられる。
【００１６】
特徴セットにおける各特徴に関し、少なくとも３つの量子化レベルがあってもよい。
【００１７】
前記ユーザが選択した第１及び第２特徴の受信をもたらすことは、ユーザがグラフィカルユーザインタフェースを介して選択したものの受信をもたらすことを含んでもよい。
【００１８】
この方法は、ユーザが選択した画像又は画像グループに対する最も近い画像及びほぼ同じ画像のうちの少なくとも１つを検索し、この最も近い画像及びほぼ同じ画像のうちの少なくとも１つをグラフィカルユーザインタフェース上に表示する、ことを含んでもよい。
【００１９】
画像は、写真を含んでもよい。
【００２０】
この方法は、データセットにおける画像の少なくとも一部をコンテンツに応じて自動的に分類することを含んでもよい。前記テキストクエリに応答する画像を検索することは、このような画像のコンテンツ分類に基づいてもよい。
【００２１】
この方法は、画像を受容する収納ホルダを備えたドキュメントを、ユーザが選択した画像グループと同時に表示することを含んでもよい。ユーザは、この表示された画像グループから、収納ホルダに挿入する画像を選択することができる。
【００２２】
表示された画像は、格納されているデータセットにおける対応する画像から取り出されたサムネイル画像であってもよい。
【００２３】
前記表示することは、検索された画像の配列を表示することを含んでもよい。この配列における画像の位置は、特徴レベルの組み合わせに対応する。
【００２４】
コンピュータプログラム製品は、コンピュータによって実行されると上述したような方法を行う命令を符号化する有形媒体を含んでもよい。
【００２５】
ナビゲーションシステムは、上述したような方法を行う命令を格納するメモリと、この命令を実行するためにメモリと通じているプロセッサとを含んでもよい。
【００２６】
別の態様では、画像データセットをナビゲートする装置は、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を関連する画像データセットから検索し、利用可能な特徴セットからユーザが選択した第１特徴を受信し、利用可能な特徴セットからユーザが選択した第２特徴を受信し、検索された画像を選択された特徴のレベルに基づいてグループに区分化し、検索された画像のグループのうちの少なくともいくつかを関連するグラフィカルユーザインタフェース上に表示するための、メモリに格納された命令を含む、ナビゲーションシステムを含む。メモリと通じているプロセッサが、この命令を実行する。
【００２７】
命令は、第１特徴セットから第１特徴を選択する第１セレクタと第２特徴セットから第２特徴を選択する第２セレクタとを表示するための命令を更に含んでもよい。
【００２８】
この表示するための命令は、画像グループを二次元配列で表示するための命令を含んでもよい。第１特徴は第１次元において値が上昇し、第２特徴は第２次元において値が上昇する。ディスプレイにおける各画像グループは、第１及び第２特徴値の組み合わせが、その他の各グループと異なる。
【００２９】
第１特徴セット及び第２特徴セットにおける各特徴に関し、異なる特徴値に対応する複数の量子化レベルが設けられると共に、画像データセットにおける各画像は、各特徴の量子化レベルのそれぞれと関連付けられてもよい。
【００３０】
別の態様では、ドキュメントに画像を追加する方法は、画像を受容する少なくとも１つの収納ホルダを備えたドキュメントを格納し、ユーザのテキストクエリを受信し、このテキストクエリに応答する画像を画像データセットから検索する、ことを含み、データセットにおける各画像は、コンテンツに応じて分類されると共に、特徴セットのそれぞれに対する特徴値と関連付けられる。この方法は、特徴セットからユーザが選択した第１特徴及び第２特徴を受信し、検索された画像のうちの少なくともいくつかをグラフィカルユーザインタフェース上に表示し（表示された画像は、ユーザが選択した第１及び第２特徴に応じてグループ化される）、表示された画像グループから収納ホルダのうちの１つに挿入する画像をユーザが選択できるようにする、ことを更に含む。
【図面の簡単な説明】
【００３１】
【図１】画像ナビゲーションシステム及び方法の一例の概要を示すブロック図である。
【図２】画像ナビゲーション装置の機能ブロック図である。
【図３】画像ナビゲーションのユーザ支援方法の一例を示すフローチャートである。
【図４】図２の装置のグラフィカルユーザインタフェースのスクリーンショットの一例を示す図であって、コンテンツベースのクエリに応答する画像を表示している。
【図５】図２の装置のグラフィカルユーザインタフェースのスクリーンショットを示す図であって、画像を区分化する２つの特徴Ｆ１及びＦ２の選択に従って、二次元配列で画像を表示している。
【図６】図２の装置のグラフィカルユーザインタフェースのスクリーンショットを示す図であって、図５の配列の区分のうちの１つからの画像セットと、これらの画像のうちの選択されたもので充填される隣接したテンプレートとを示している。
【発明を実施するための形態】
【００３２】
本発明の例示的実施形態は、画像のデータベースをナビゲートして探索するシステム、装置、及び方法に関する。このシステム、装置、及び方法では、コンテンツベースの探索技法と特徴ベースの探索とを組み合わせることができる。選択される特徴は、美的特徴及び／又は感情的特徴である。画像のデータセットをナビゲートする際、このシステムは、ユーザが、テキストクエリによって特定の意味的カテゴリ（例えば、花）を選択し、次に、この選択されたカテゴリにおいて、特徴の異なる組み合わせを用い、繰り返して少なくとも１つの画像サブセットを探査できるようにすることによって、探索空間を作成しやすくする。この例示的実施形態では、ユーザは、美的特徴（光、コントラスト、ぼやけ、色など）及び感情的特徴（例えば、感謝（appreciation）、活動）を含む特徴セットから選択することができる。
【００３３】
異なる細分性（クラスタ、ほぼ同じ画像（near-duplicates）の探査など）によって画像データベースをナビゲートし、適切な画像によってドキュメントドラフトを繰り返し作成するために、様々な可視化戦略（クラスタ化、モザイクなど）がユーザに提供される。
【００３４】
図１を参照すると、この例としてのシステム及び方法の概要が示されている。このシステム及び方法は、多数（例えば、何百、何千、又は何百万）の画像（例えば、写真画像及び／又はグラフィック画像）コレクションのような、資産を含むデータベース１０に依存している。特徴抽出１２では、コンテンツベースの特徴１４、感情的特徴１６、及び美的特徴１８のうちの１つ以上に基づいて、データベース１０から画像を選択することができる。探索空間作成２０では、このデータベースから画像サブセットを得て、これらの画像を、特徴の組み合わせに基づいてクラスタ化して表示できるように、カテゴリ化２２、クラスタ化２４、及び検索２６方法／コンポーネントのうちの１つ以上を用いて区分化する。可視化２８では、この画像サブセットの少なくとも一部の表示を、ユーザ３０が見るために生成する。
【００３５】
図２を参照すると、ユーザが画像データセットをナビゲートするのを支援する装置４０が、デジタル処理デバイス（例えば、コンピュータ）の形態で示されている。このコンピュータ４０は、デジタルプロセッサ４２（例えば、コンピュータのＣＰＵ）と、これに関連付けられたメモリ（ここでは、メインメモリ４４及びデータメモリ４６として示されている）と、を含む。
【００３６】
このコンピュータ４０は、入力インタフェース５０及び出力インタフェース５２を含み、これらのインタフェースは、結合されていても分離されていてもよい。インタフェース５０は、データベース１０として機能するデータメモリ４６に格納されている電子データオブジェクト５４（画像）のデータセットを受信する。当然のことながら、このデータベース１０は、コンピュータ４０から遠隔配置され、適した通信リンクによってアクセスされてもよい。データセット１０における画像５４の全部又は一部５６は、コンテンツタグによってラベル付けされている。このコンテンツタグは、ユーザによるその画像コンテンツに関する記述及び／又はその画像に関する何らかのコメントを含んでもよい。例えば、１つの画像５４は、「春の花」という記述と「３月の華やいだ我が庭」のようなコメントによってタグ付けされる。画像がテキストで囲まれている場合には、この囲んでいるテキストからコンテンツタグを取り出すことができる。自動タグ付け方法を用いて、ラベル付けされていない画像にタグを広めてもよい。
【００３７】
データベース１０における画像５４は、あらゆるファイルフォーマット（例えば、ＪＰＥＧ、ＴＩＦＦなど）であってよい。これらの画像は、個別画像であってもビデオ画像であってもよい。通常、各デジタル画像は、その画像を形成するピクセル配列に対する画像データを含む。この画像データは、色分解セット（例えば、ＲＧＢ）のそれぞれに対する色材値（例えば、グレースケール値）を含む、或いは、異なる色を表現することのできる別の色空間で表される。通常、「グレースケール」とは、どのように表されるにしても（ＲＧＢ、ＹＣｂＣｒなど）、あらゆる単色チャネルの光学濃度値を指す。
【００３８】
また、インタフェース５０又は別個のインタフェースは、データベース１０から１つ以上の画像を受容する収納ホルダ（空間）６０を備えたドキュメント５８（例として、テンプレート）を受信するように構成されてもよい。
【００３９】
インタフェース５２は、選択画像５４が追加された修正ドキュメント６２を出力する。
【００４０】
例としての入力インタフェース５０及び出力インタフェース５２は、有線及び無線ネットワークインタフェース（例えば、モデム）、又は、ローカルインタフェース（例えば、ＵＳＢポート、ディスクドライブなど）を含む。コンピュータのこれらのコンポーネント４２、４４、４６、５０、５２は、データ／制御バス６４によって、通信するように相互接続されている。
【００４１】
グラフィカルユーザインタフェース（ＧＵＩ）７０は、表示画面７２（例えば、カラーモニタ又は液晶ディスプレイ画面）と、テキストクエリを入力するためのユーザ入力デバイス（例えば、キーボード７４、キーパッド、タッチスクリーンデバイス、カーソル制御デバイス７６、音声テキスト変換器が関連付けられたマイクロホン、又はこれらの組み合わせ）と、を含む。このＧＵＩ７０は、１つ以上の有線又は無線リンク７８を介して、コンピュータ４０と通信するように繋がれている。ＧＵＩ７０は、この例示的実施形態では、コンピュータ４０にローカル接続されているが、別の実施形態では、クライアントコンピュータ（図示せず）に繋がれて、次に、このクライアントコンピュータが、ウェブブラウザ、有線又は無線ネットワーク、或いはその他の通信リンクを介して、コンピュータ４０に繋がれてもよい。
【００４２】
デジタルプロセッサ４２は、例えば、シングルコアプロセッサ、デュアルコアプロセッサ（又は、より一般的には、マルチコアプロセッサ）、デジタルプロセッサ及びこれと連動する数値演算コプロセッサ、デジタルコントローラなどによって、様々に実施されてよい。コンピュータ４０は、１つ以上の専用又は汎用計算デバイス（例えば、サーバコンピュータ、デスクトップ若しくはラップトップコンピュータ、パームトップコンピュータ、携帯端末（ＰＤＡ）、カメラ、又は、この例としての方法を行う命令を実行することのできるその他の計算デバイス）を含んでもよい。
【００４３】
メモリ４４及び４６は、分離されていても結合されていてもよく、あらゆるタイプのコンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク若しくはテープ、光ディスク、フラッシュメモリ、又はホログラムメモリ）を含んでもよい。一実施形態では、これらのメモリ４４及び４６は、ランダムアクセスメモリと読み出し専用メモリの組み合わせから成る。
【００４４】
コンピュータ４０は、画像ナビゲーションシステム８０を実施するのに適したプログラミング及び／又はハードワイヤードファームウェアによって構成されている。この例としてのナビゲーションシステム８０は、この例としての方法を行うソフトウェア命令（メモリ４４に格納されてプロセッサ４２によって実行される）の形態をしている。
【００４５】
このナビゲーションシステム８０は、特徴抽出コンポーネント１２、探索空間作成コンポーネント２０、及び可視化コンポーネント２８を含み、これらのコンポーネントはそれぞれ、（図１に示されているように）１つ以上の別個のソフトウェアツールを含んでいてもよいし、１つのツールとして結合されていてもよい。
【００４６】
特徴抽出コンポーネント１２は、ユーザの探索要求が入力される前に、格納されている画像５４を処理することができる。この例示的実施形態では、特徴抽出コンポーネント１２のコンテンツ特徴抽出器１４（図１）は、ラベル付けされていない画像５４にコンテンツベースのタグ（意味ラベル）を付与するように訓練（ｔｒａｉｎｅｄ）された分類器（又は、二値分類器セット）を含む。この訓練は、ラベル付けされた画像（例えば、データセットにおけるタグ付き画像５６）から成る訓練セットに基づいてもよい。これらのラベルは、画像の分類に関する先験的情報、例えば、手動で付与された種類ラベル、を表す。厳格な二値分類では、ラベルは、例えば、オブジェクトが特定の種類に割り当てられる場合には「＋１」、そうでない場合には「−１」であってもよい。寛大な二値分類では、ラベルは、例えば、その種類に入る可能性を示す範囲［０，１］内の値であってもよい。別の実施形態では、データセット１０全体がコンテンツ特徴によってタグ付けされてもよく、これにより、分類器は必要でなくなる。コンテンツタグは、その画像に関連付けられたテキストコンテンツから、更に又は代わりに抽出されてもよい。
【００４７】
感情的特徴抽出器１６は、感情に関連付けられた特徴を画像から抽出し、利用可能な感情的特徴セットのそれぞれに対する特徴値に対応して画像にラベルを付与する。
【００４８】
美的特徴抽出器１８は、美に関連付けられた特徴を画像から抽出し、利用可能な美的特徴セットのそれぞれに対する特徴値に対応して画像にラベルを付与する。
【００４９】
図３を参照すると、図２の装置によって行われるコンピュータ実施方法が示されている。この方法は、Ｓ１００において開始する。
【００５０】
Ｓ１０２において、画像５４のデータセット１０が入力され、処理中、このデータセットは、コンピュータメモリ４６に格納されてもよい。
【００５１】
Ｓ１０４（特徴抽出）において、特徴（例えば、コンテンツ、美的、及び感情的特徴）が、データベースにおける各画像に対して抽出され、例えば、関連付けられたメタデータ又はその他のタグとして格納される。
【００５２】
Ｓ１０６において、ＧＵＩ７０を介してユーザのテキストクエリが受信され、このクエリに応答するデータセット画像のサブセット（例えば、クエリ語に対応する「コンテンツ」ラベルによってタグ付けされた画像）が検索される。
【００５３】
Ｓ１０８（探索空間作成）において、ユーザのコンテンツ選択に基づいて、探索空間が作成され、図４のスクリーンショット８４に示されているように表示される。検索される全画像が、このときに表示されてもよい。
【００５４】
Ｓ１１０において、ユーザ３０が選択可能な美的／感情的特徴のうちのいくつかを選択され、ユーザが選択した美的及び／又は感情的特徴が、ＧＵＩ７０を介して受信される。当然のことながら、このようなコンテンツ、美的、及び／又は感情的特徴の選択は、どんな順序で進められてもよい。
【００５５】
Ｓ１１２において、ユーザが選択したコンテンツ、美的、及び／又は感情的特徴に基づいて、探索空間が区分化され、これにより画像がグループ化される。画像は、ソフトウェアツール（例えば、Ｋ平均法など）のセットを用いて処理されてグループ化されてもよく、これにより、視覚的に一貫性のある探索空間が作成される。このような画像のグループ化は、以下に説明するように、ユーザが選択した特徴に応じて探索空間をクラスタ化又は区分化する、Ｋ平均法を用いて行うことができる。
【００５６】
Ｓ１１４（可視化）において、ユーザが特徴を選択することによって作成した探索空間が可視化される。探索空間を可視化するには、様々な様式（例えば、クラスタ、モザイク、又はその他のタイプのグループ）を利用してもよい。この例示的実施形態では、図５のスクリーンショット８６に示されているように、可視化段階において、二次元配列されたｎ＝９の画像グループ９２、９４、９６（空きグループ）、９８、１００、１０２、１０４、１０６、及び１０８が、２つの選択された特徴に対して作成される。当然のことながら、検索画像が区分化されて表示されるグループの数ｎは、あらゆる適切な数（例えば、４、６、８、９、１０、１２、又はそれ以上）であってよい。グループの数がより多い場合には、これらのグループをカスケード表示してもよく、ユーザは、選択されたグループセットをクリックして又は別の方法で選択して見ることができる。各グループは、例えば、画面の異なる領域に配置されることによって、且つ／又は、目に見える境界線８７が間に設けられることによって、その他のグループと視覚的に区別されてもよい。一実施形態では、これらのグループは単にクラスタ配列されるだけでもよく、間の境界線ははっきりとしないが、各特徴レベルの順序は互いに垂直な方向においてほぼ保たれる。３つ以上の特徴が選択される場合には、ユーザがこれらのグループを見ることのできるその他の方法（例えば、階層表示）がより適切であってもよい。
【００５７】
Ｓ１１６において、ユーザは、関心のある１つ以上の画像（後でＧＵＩに表示される）を含むものとして、クラスタのうちの１つを選択してもよい。ユーザは、より詳しく調べるために、例えば、その画像グループ又はその画像グループが配置されている領域をクリックすることによって、画像グループのうちの１つを選択することができる。次に、この選択された画像グループが、画面の一領域に表示される。残りの画像グループは、ディスプレイから削除されてもよい。
【００５８】
レイアウトドラフトボタン１４２を選択することによって、例えば、表示された画像グループの近くで、ドキュメントテンプレート５８を同時に見られるようにしてもよい。図６のスクリーンショット８８に示されているように、ユーザは、表示画像のうちの選択した画像を、このテンプレート上の適切な収納ホルダ６０内にドラッグアンドドロップすることができる。或いは又は更に、選択画像は、まずライトボックス１１０にドラッグすることができ、ユーザがこのライトボックス内の画像のうちの１つ以上をテンプレート５８上にドラッグアンドドロップすることに決めるまで、このライトボックスに表示される。このライトボックス１１０は、より早い段階で保存された、以前のあらゆる選択画像も収容することができる。
【００５９】
ユーザの選択において、この方法は、ユーザが美的／感情的特徴の異なる組み合わせを選択する場合にはＳ１１０へ戻ってもよいし、新たなコンテンツ探索が入力される場合には、Ｓ１０６へ戻ってもよい。
【００６０】
Ｓ１１８において、ユーザは、選択グループ内に表示されている画像のうちの１つ以上に類似した画像を見たいと望んでもよい。一実施形態では、ユーザは、データベースからＫ個の最も近い画像（nearest neighbors）を検索するように選択するか、或いは、ほぼ同じ画像を探すように要求することができる。これらの近い画像／同じ画像は、表示グループ内の画像とは異なる基準に基づいて、データベースから選択される。このようにして、同じコンテンツベースのタグによってタグ付けされていない画像が、検索されて表示されてもよい。例えば、最も近い画像は、色ヒストグラムの類似度に基づいて検索されてもよい。その結果、コンテンツは全く異なっていたとしても、色は類似した画像が表示される。ほぼ同じ画像は、そのグループ内の１つ又は全部の画像との低レベル又は高レベル特徴の類似度に基づいて識別することができる。
【００６１】
Ｋ個の最も近い画像（K-nearest neighbor（ＫＮＮ））を識別するには、様々な方法がある。例えば、色ヒストグラムを用いることができる。例えば、赤、緑、及び青チャネルのそれぞれの範囲は、１６ビン（ｂｉｎ）に量子化される。画像のヒストグラムは、この量子化空間で得られる。Ｋ個の最も近い画像は、ヒストグラムの類似度に基づいて得られる。最も近い画像を識別する方法については、例えば、マシュー ギヨーマン（Matthieu Guillaumin）、外、「ＴａｇＰｒｏｐ：画像に自動的に注釈付けするための最も近いモデルにおける識別メトリック学習（TagProp: Discriminative metric learning in nearest neighbor models for image auto-annotation）」、コンピュータビジョン国際会議（ＩＣＣＶ：International Conference on Computer Vision）、２００９年に説明されている。
【００６２】
Ｓ１２０において、ユーザがドキュメントテンプレートに満足すると、この埋められた（filled template）テンプレート６２は、例えば、プリンタ、ディスプレイ７２、又はその他の出力デバイスに出力されるか、或いは、後日検索するためにメモリに格納される。ユーザが単に１つの画像又は画像セットを選択しているだけの場合、この画像は、後日検索するために特定のタグによってタグ付けされてもよいし、システムから出力されてもよい。
【００６３】
この方法は、Ｓ１２２において終了する。
【００６４】
この例としての方法は、１つ以上の汎用コンピュータ、専用コンピュータなどにおいて実施されてもよい。
【００６５】
図３に示した方法は、コンピュータにおいて実行される有形で非一時的なコンピュータプログラム製品で実施されてもよい。このコンピュータプログラム製品は、制御プログラムが記録されている有形で非一時的なコンピュータ可読記録媒体（例えば、この方法を行うように構成されたディスク、ハードドライブなど）であってもよい。
【００６６】
次に、この方法及び装置の様々な態様について、より詳細に説明する。
【００６７】
上述したように、この例としてのシステム８０、方法、及びグラフィカルユーザインタフェース７０は、創造的資産５４のデータベース１０をナビゲートして探索できるようにする。既存のシステムに勝るこのシステム８０の１つの利点は、既存のコンテンツベースの探索技法と美的／感情的特徴とを組み合わせることができるという点である。ユーザは、特定の意味的カテゴリ（例えば、花）を選択し、このカテゴリにおいて、美的及び／又は感情的特徴（例えば、光、コントラスト、ぼやけ、色、感謝、活動）の異なる組み合わせを用い、繰り返して画像を探査することによって、探索空間を作成することができる。
【００６８】
このシステム８０の例示的実施形態では、これらの特徴は、オフラインで（即ち、ユーザがクエリを出す前に）計算される。一例として、以下のような特徴が使用される。
【００６９】
１．コンテンツベースの特徴
この例示的実施形態では、ユーザは、意味的コンテンツに基づいて最初の探索を行い、次に、様々な特徴（例えば、画像の美又は感情）によって検索画像をブラウズすることができる。
【００７０】
コンテンツベースの特徴に関する種類ラベルとしては、一般的な可視オブジェクトカテゴリ（例えば、花、風景、海景、空、乗り物、人、建物、動物など）、及び／又は特定のテーマ（例えば、パーティー、結婚式、スポーツイベント、夏、冬など）が挙げられる。一実施形態では、これらの種類は、グラフィックデザイナーが関心のある特定分野に対応するように調整されてもよい。コンテンツベースの種類の数は、限定されないが、少なくとも２つであり、例えば、約５〜５０、又はそれ以上であってもよい。
【００７１】
通常、画像コンテンツに基づいたカテゴリ化技法には、入力画像を一般的に理解される記述に変換する作業セットが含まれてもよい。高レベルコンテンツに基づいて、画像にキーワードを付与する自動化技法が開発されてきた。このような技法では、全景を解析するか又は画像内のオブジェクトに重点をおくことができる。キーワードの付与は、信頼値と関連付けられる。次に、画像は、信頼値が閾値を超えるキーワードによってラベル付けされる。
【００７２】
テキストベースの探索に適した画像にタグ付けする一例としては、画像表現（例えば、フィッシャー表現（Fisher representations））が、視覚的な一般分類器（generic visual classifier（ＧＶＣ））によって用いられてもよく、これにより、画像は、予め定義及び訓練されたカテゴリによって自動的に注釈付けされる。
【００７３】
この方法では、画像のパッチセットのそれぞれに対し、低レベル画像記述子が、例えば特徴ベクトルとして抽出される。この抽出された低レベル画像記述子に基づいて、各パッチに対し、表現（例えば、フィッシャーベクトル（Fisher vector））が、例えば連結によって生成されてもよい。このパッチ表現又は低レベル画像記述子に基づいて、その画像の高レベル表現が抽出される。この例示的実施形態では、この高レベル表現は、ベクトル（例えば、フィッシャーベクトル）である。
【００７４】
一実施形態では、各特徴タイプに対し、ガウス混合モデル（Gaussian Mixture Models（ＧＭＭ））を用いて視覚的語彙が構築される。このようなＧＭＭを用いた特徴空間における視覚的語彙の作成は、Ｆ．ペロニン（F. Perronnin）らによる「視覚的な一般カテゴリ化に適応させた語彙（Adapted Vocabularies for Generic Visual Categorization）」（コンピュータビジョン欧州会議（ＥＣＣＶ：European Conference on Computer Vision）２００６）に説明されている方法によって行われてもよい。ある方法では、訓練セット全体に関して広く構築された１つの視覚的語彙が用いられるが、別の実施形態では、カテゴリ特有画像を用いて、訓練セット全体に関して（普遍的に）訓練された視覚的語彙を各カテゴリに適応させることによって、性能が向上する。次に、二部ヒストグラムセット（１カテゴリに１つ）によって画像が特徴付けられ、各ヒストグラムは、その画像コンテンツが普遍的語彙又は対応するカテゴリ語彙によって最適に作成されているかどうかを説明している。特許文献１を参照されたい。
【００７５】
画像の高レベル表現を生成するには、例えば、特許文献１、特許文献２、特許文献３、Ｇ．チュルカ（G. Csurka）らによる「バッグオブキーポインツによる視覚的なカテゴリ化（Visual Categorization with Bag of Keypoints）」（コンピュータビジョンにおける統計学習に関するＥＣＣＶワークショップ（ECCV workshop on Statistical Learning in Computer Vision）２００４）、及び、Ｆ．ペロニンらによる「画像をカテゴリ化するための視覚的語彙に関するフィッシャーカーネル（Fisher kernel on visual vocabularies for image categorization）」（コンピュータビジョン及びパターン認識に関する電気電子技術者協会（ＩＥＥＥ：Institute of Electrical and Electronics Engineers）会議（ＣＶＰＲ）の会報 （Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition （CVPR））２００７）に開示されているような、本明細書中で使用される様々な方法がある。上記最後のＦ．ペロニンらによる参照文献及び特許文献２には、フィッシャーベクトルに基づいたフィッシャーカーネル（ＦＫ）表現が説明されている。
【００７６】
バッグオブビジュアルワーズ（Bag-of-Visual Words（ＢＯＶＷ））表現では、画像は、まず視覚的ワード数のヒストグラムによって特徴付けられる。視覚的語彙は、画像の訓練セットから自動的に構築される。
【００７７】
これらの方法全てにおいてパッチから抽出される低レベル画像記述子は、一般的に、各パッチの様相を要約する又は特徴付ける定量値（例えば、空間周波数成分、平均輝度、色特性（カラー画像の場合）、階調度値、及び／又はその他の特性値）である。低レベル画像記述子は、関心領域（ＲＯＩ：regions of interest）において局所的に抽出される。このＲＯＩは、画像をセグメント化することによって、特定関心ポイント検出器を利用することによって、規則的な格子を考慮することによって、或いは、単に画像パッチを無作為に抽出することによって、得ることができる。ある実施形態では、各パッチから少なくとも約５０の低レベル画像記述子が抽出されるが、抽出することのできる画像記述子は、いずれの特定の数又はタイプにも限定されず、例えば、計算能力によっては、１０００又は百万の低レベル画像記述子が抽出されてもよい。この例示的実施形態では、低レベル画像記述子は、局所的な（例えば、ピクセルの）色の統計及び／又はテクスチャを含む。色の統計に関しては、局所的なＲＧＢ統計（例えば、平均及び標準偏差）が計算されてもよい。テクスチャに関しては、（色の変化を表す）階調の向きが、各パッチに対しヒストグラム（スケール不変特徴変換（Scale Invariant Feature Transform（ＳＩＦＴ））のような特徴）として計算されてもよい。この例示的実施形態では、２つ（又はそれ以上）のタイプの低レベル画像記述子（例えば、色及びテクスチャ）が別々に抽出され、高レベル表現は、２つのフィッシャーベクトル（各特徴タイプに対して１つ）の組み合わせに基づいている。別の実施形態では、（ロウ（Lowe）による「局所的なスケール不変特徴からのオブジェクト認識（Object Recognition From Local Scale-Invariant Features）」（ＩＣＣＶ、１９９９）によって説明されているような）ＳＩＦＴ記述子が、各パッチに関して計算される。
【００７８】
分類器（二値分類器セットから成っていてもよい）は、画像表現（例えば、フィッシャーベクトル）及び訓練画像５６のラベルに関して訓練される。一実施形態では、例えばサポートベクトルマシン（Support Vector Machine（ＳＶＭ））分類器のように、機械学習分類方法が用いられる。別の実施形態では、訓練される分類器は、あらゆる識別分類器（即ち、種類境界を作成する分類器）（例えば、フィッシャーカーネル（ＦＫ）又はニューラルネットワーク）であってよい。次に、この訓練された分類器を用いて、ラベル付けされていない画像に、その画像がある種類に属する確率を表すラベルが付与される。或いは、この分類器は、このような確率値を閾値処理することによって生成されるイエス／ノー二値ラベルを付与してもよい。
【００７９】
この例示的実施形態では、ユーザがクエリを入力する前にコンテンツベースのタグ付けが行われるが、ユーザが例えばオンラインデータベースから画像グループを選択することによって、テキストクエリの入力後にデータセットが作られることもある、と考えられる。この場合、カテゴリに応じた画像のコンテンツベースのタグ付けは、テキストクエリが入力された後に行われてもよい。
【００８０】
２．感情的及び美的特徴
その他の特徴のそれぞれに関し、画像のデータセット１０が量子化されてもよい（即ち、その特徴に対する値の範囲をカバーする区分セットのうちの１つに割り当てられてもよい）。所定の特徴に対する区分がそれぞれ同数の画像を収容してもよいし、或いは、特徴空間が特徴値に応じてその他の方法で区分化されてもよい。例えば、色特徴「赤」に関し、コレクションにおける全ての画像に、例えば（ＲＧＢ色空間における）平均ピクセル赤色相に基づいて、赤さの値が付与される。画像が区分化される量子化レベルの数に応じて、赤さのスコアが最も高い画像が第１レベルに、次にスコアが高い画像セットが第２レベルに、というように割り当てられる。量子化レベルの数は、特徴によって異なっていてもよいし、全ての特徴に対して同じであってもよい。１つの特徴に対する量子化レベルの数は、データセットにおける画像の数及び選択可能な特徴の数に応じて、約２〜１０（例えば、少なくとも３）が有用に用いられてもよい。例えば、二次元配列に関して、２つの特徴が選択される場合、各次元において３つの量子化レベルがあると、３×３の配列（９グループ）が生成される。
【００８１】
この例示的実施形態では、感情的又は美的概念分類器を学習する必要なく、画像データから直接的に感情的及び美的特徴が決定される。これらの感情的及び美的概念は、非常に主観的で、学習するのが困難である。このような概念による画像のタグ付けに関して強い意思決定を行うには、限界がある。従って、この例示的実施形態では、タグ付けの代わりに、感情的又は美的概念が高レベル特徴と考えられる（即ち、画像自体から抽出された低レベル特徴に基づく）。このような高レベル特徴に基づいて、画像（後で量子化される）にスコアが付与される。
【００８２】
この例としての方法により、美的又は感情的カテゴリ化が高精度である必要なく、或いは、異なる様相を１つの画像値にまとめる必要なく、これらの特徴の異なる組み合わせによって探索できる柔軟性が提供される。
【００８３】
２Ａ．美的特徴
使用される美的特徴の例としては、明度、コントラスト、ぼやけ、色相、画像サイズなどが挙げられる。タイプによって、まず１つの特徴グループが選択可能である。例えば、全般的な特徴タイプ「色」に関し、選択可能な特徴としては、赤、青、緑などが挙げられる。画像の特徴値を量子化するには、様々な方法があり、これらの方法は、最初はピクセル色材値の分析に基づいてもよい。例えば、特許文献４を参照されたい。
【００８４】
美的特徴を決定する技法については、例えば、特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０、特許文献１１、特許文献１２、及び特許文献１３に説明されており、これらの技法には、統計値（例えば、ノイズ測定量、又は、低解像度バージョンの画像に関する輝度及び色度分布）を生成することが含まれてもよい。例えば、特許文献８を参照されたい。
【００８５】
明度とは、画像の輝度を指す。これは、１つの画像における全ピクセルの明度値の平均である。各明度値は、ピクセルのＲＧＢから濃淡値を算出するか、或いは、ピクセルのＲＧＢを輝度色空間（例えば、ＨＳＶ（Ｖの値は明度））に変換することにより、計算することができる。
【００８６】
コントラストとは、ダイナミックレンジの有効利用を指す。（例えば、特許文献７、及び、ヤンケ（Yan Ke）らによる「写真品質評価のための高レベル特徴の設計（The Design of High-Level Features for Photo Quality Assessment）」（ＣＶＰＲ０６）を参照されたい。）
【００８７】
彩度とは、画像におけるカラーオブジェクトの鮮やかさを指す。グレーの多い色ほど、彩度が低いと見なされるのに対し、入っているグレーが非常に少ない明るい色は、彩度が高いと見なされる。色の彩度は、画像に対する感情的反応に影響を与える。このシステムは、例えば、特許文献９に説明されているように、ＨＳＶ空間における色彩度値を検出して、各画像に対し量子化平均彩度値をもたらす。
【００８８】
画像のぼやけは、一般的には、カメラとオリジナルシーンとの相対運動又は焦点の外れた光学系によって生じる、帯域幅低減の一形態である。画像のぼやけは、ガウスフィルタ（Gaussian filter）によって画像を平滑化してぼやけた画像を得ることにより計算できる。このぼやけは、ぼやけた画像の二次元フーリエ変換を閾値処理することによって得られる画像の最大周波数に比例する。例えば、上記ヤンケらによる「写真品質評価のための高レベル特徴の設計」（ＣＶＰＲ０６）を参照されたい。
【００８９】
色相とは、目が検出する色の第１特性を指す。色相は、ピクセルのＲＧＢ値をＨＳＶに変換した後の、ピクセルのＨＳＶ色空間表現におけるＨの値と考えられる。
【００９０】
画像サイズとは、１つの画像におけるピクセルの数を指す。画像サイズは、１つの画像のピクセル幅とピクセル高さとをかけることによって計算される。
【００９１】
露出量とは、写真の撮影中にカメラセンサに当たる光の量を指す。露出量は、明度と同じであると考えられる。
【００９２】
例えば、画像のダイナミクス、遠近感、及びコンポジションのような、他の特徴が考えられる。
【００９３】
２Ｂ．感情的特徴
感情的特徴の例としては、感謝及び活動が挙げられる。
【００９４】
一実施形態では、色と感情との関係を利用することによって、画像をその主色に基づいた様々な感情的特徴に応じて量子化することができる（例えば、Ｌ．Ｃ．ウー（L.C. Ou）らによる「色の感情及び色の好みの研究（A study of colour emotion and colour preference）」（カラーリサーチアンドアプリケーション（COLOR research and application）２９、２００４、ｐ．２３２〜２４０）、Ｍ．ソリー（M. Solli）及びＲ．レンツ（R. Lenz）による「カラー画像検索における感情的満足（Emotional Satisfaction In Color Image Retrieval）」（画像解析に関するスウェーデンシンポジウム２００８会報（Proc. Swedish Symposium on Image Analysis 2008）、並びに、Ｍ．ソリー及びＲ．レンツによる「画像の分類及び検索に対する色の感情（Color Emotions for Image Classification and Retrieval）」（グラフィックス、イメージング、及びビジョンにおける色に関する会議（ＣＧＩＶ：Conference on Colour in Graphics, Imaging and Vision）２００８）参照）。
【００９５】
別の実施形態では、画像のあらゆる人々の顔の表情が、様々な感情的特徴（例えば、嬉しい／悲しい、怒った／落ち着いた、など）に応じて識別されて量子化される（例えば、Ｂ．ファゼル（B. Fasel）及びＪ．ルーティン（J. Luettin）による「顔の表情の自動解析：概説（Automatic Facial Expression Analysis: a survey）」（パターン認識（Pattern Recognition）第３６巻、ｐ．２５９〜２７５、２００３）、並びに、Ｍ．パンティック（M. Pantic）及びＬ．Ｊ．Ｍ ロスクランツ（L. J. M Rothkrantz）による「顔の表情を自動解析するエキスパートシステム（Expert system for automatic analysis of facial expressions）」（エルゼビア（ELSEVIER）社、イメージアンドビジョンコンピューティング（Image and Vision Computing）第１８巻、ｐ．８８１〜９０５、２０００）参照）。
【００９６】
（例えば、テレゲン−ワトソン−クラークモデル（Tellegen-Watson-Clark model）を用いる）別の実施形態では、複数の感情的特徴のそれぞれに対して個別の分類器モデルが訓練され、各特徴は、ラベル付けされたデータセットのタグ及び画像から抽出された記述子を用いて、１組の相反する感情（愉快−不愉快、従事（engagement）−解放（disengagement）など）を表す。訓練された分類器は、各特徴に対するスコアを各画像に出力する（例えば、各特徴に対する量子化値又は順位をデータセットにおける画像に付与する）ことができ、このスコアを用いることによって画像をグループ化することができる。
【００９７】
別の方法では、標準的な低レベル特徴（色、ガボール特徴（Gabor features）、ＳＩＦＴ特徴）を用いることによって、手動で注釈付けされたデータから感情を予測することができる。
【００９８】
可視化
付与されたコンテンツ、美的、及び感情的特徴に基づいて、ユーザは、特徴を単独で又は組み合わせて選択することにより、探索空間を作成することができる。表示される画像グループの数は、選択される各特徴の量子化レベル及び選択される特徴の数によって決まる。
【００９９】
一般的な探索ワークフローは、（１）１つ以上の特徴（例えば、コンテンツ、コンテンツ＋美的など）を用いて、探索空間を作成し（Ｓ１０８）、（２）この探索空間を他の特徴に基づいて大まかに再編成することによって、視覚的一貫性を高め（Ｓ１１２）と、（３）ほぼ同じ画像又は最も近い画像を可視化することによって、的を絞って探索空間を探査すること（Ｓ１１８）と、を含んでもよい。
【０１００】
ブラウジング処理を容易にするため、この例としてのシステム８０は、（例えば、テキスト探索クエリの結果の）探索空間を、異なる組み合わせ及び異なる数の特徴で絞り込むことができる。例えば、ユーザが、見る人に好感を与える青空の画像を探索している場合、テキストクエリ「空」と２つの特徴「青」及び「感謝」を選択すると、空の画像が検索されて視覚的に一貫するように表示される。更に、この例としてのユーザインタフェースは、創造的資産のナビゲーションを容易にするだけでなく、（最終的に画像収納ホルダを含む）作業ドラフトドキュメントと代わりの選択画像とを「組み合わせて」可視化することにより視覚的コンテンツの作成も支援する。
【０１０１】
この例示的実施形態の範囲を限定するよう意図することなく、以下の実施例は、ドキュメントを作成するための、このシステム８０の一使用法を説明する。
【０１０２】
図４を参照すると、データセット１０における画像は、最大３５０のサムネイル画像（データベースに格納されているオリジナル画像から生成される、ピクセル解像度を下げた且つ／又は切り取られた画像であってもよい）が同じページに提示されるように、コンパクトに可視化されて提示される。ユーザは、まず、探索ボックス１２０にキーワードを入力するか、或いは、メニュー（例えば、ＧＵＩに表示されるドロップダウンメニュー）からキーワードを選択することによって、テキストクエリを入力する。次に、コンテンツ探索空間が生成される。例えば、図４に示されているように、ユーザは、テキスト入力ボックス１２０に探索クエリ（例えば、「花」）を入力し、セレクタ１２２を用いて、検索する画像の数（例えば、１５０）を選択することができる。分類器が確率的なものである場合、このシステム８０は、花の画像である確率が最も高く付与された１５０の画像を検索して、これらの画像をＧＵＩディスプレイ７２に表示する。例えば、図４は、テキストクエリ「花」によって得られた画像サブセットの一部を示している。
【０１０３】
例えば、検索した数が、ディスプレイ上で一度にすぐに見られる数より多い場合、ユーザは、スクロールバー１２４を用いて、検索した画像セット全体をスクロールダウンすることができる。
【０１０４】
クエリを絞り込むため、ユーザは、複数の特徴セレクタ１２６、１２８、１３０のうちの１つ以上を作動させることにより、美的及び感情的特徴から選択することができる。ユーザは、例えば、赤の色特徴を用いて画像をグループ化することに決め、色特徴セレクタ１２６を用いて赤の色特徴を選択してもよい。赤の色特徴によって赤さが高いものから低いものへ減少順に一次元において仕分けされた画像グループは、ＧＵＩ上に、例えば、左から右へ且つ／又は上から下へ、同時に表示される。この例示的実施形態では、６つのグループが同時に配列表示される。
【０１０５】
次に、ユーザは、第２の特徴（例えば、別の美的特徴）を追加することに決め、例えば、美的特徴セレクタ１２８を用いて明度特徴を選択してもよい。図５のスクリーンショット８６に示されているように、二次元において（即ち、明度の美的特徴Ｆ１で横に且つ赤の色特徴Ｆ２で縦に）仕分けされた画像グループが、ＧＵＩディスプレイ７２に同時に表示される。特徴Ｆ２も選択されている場合には、表示グループを適切な数に維持するため、特徴Ｆ１の量子化レベルは自動的に削減されてもよい。例えば、データベースにおける画像がラベル付けされている第１の特徴に対して６つの量子化レベルがある場合、隣接した量子化レベルの組を合わせて、３つの量子化レベルにしてもよい。
【０１０６】
図５から明らかであるように、ディスプレイの各領域は、異なる画像グループを示しており、各グループは、選択された第１及び第２の特徴の量子化レベルの異なる組み合わせに対応している。従って、選択された特徴の量子化レベルに当てはまる画像が、ディスプレイの適切な領域に表示される。この例としての配列では、左から右へ且つ上から下へ特徴値の高い順になっており、即ち、最も赤くて明るい画像が左上のグループ９２にあり、最も赤くなくて明るくない画像が右下のグループ１０８にある。例えば、ディスプレイの左上にある領域１３２は、赤さの量子化レベルが１で明度の量子化レベルが１である（即ち、赤さが高く明度が高い）画像を含む。全ての領域に画像が含まれるわけではない。例えば、領域１３４は、データベース１０におけるカテゴリ「花」に、特徴「明度」の量子化レベルが３で特徴「赤さ」の量子化レベルが１である画像がないため、空いている。図４に示されている画像に関し、１グループに多くの画像がありすぎて一度に表示できない場合には、画像グループを個別にスクロールすることができる。
【０１０７】
この例示的実施形態では、一度に最大１つの色特徴（例えば、赤、緑、及び青のうちの１つ）を選択することができる。第２の特徴に関しては、別の美的特徴或いは感情的特徴を選択することができる。
【０１０８】
次に、例えば、感情的特徴セレクタ１３０を用いて、第３の特徴を選択し、三次元配列又はその適切な二次元表現を生成してもよい。或いは、ユーザは、第１及び第２の特徴の一方又は両方を変更して二次元表示を変更することに決めてもよい。
【０１０９】
ユーザは、画像グループが分けて示されるのではなく、選択された特徴を反映するように単純に順序付けされる（例えば、最も赤い画像が配列の左上にあるグループにクラスタ化され、最も明るくない画像が右下にあるグループにクラスタ化され、グループ間の境界線は表示されない）よう、要求することができる。ユーザは、順序セレクタ１３６をクリックして、画像をこのように表示させることができる。当然のことながら、これらの画像は、特徴（例えば、「赤さ」及び「コントラスト」）の様々な組み合わせによって、容易にグループ化して順序付けすることができる。
【０１１０】
次に、ユーザは、表示されたグループのうちの１つにおける画像の色及び明度が特定のドキュメントに対して適切であると判断し、そのグループをクリックする（クリックすると、そのグループがディスプレイに表示される）。ユーザは、ライトボックスアイコン１３８をクリックして、ライトボックス１１０を呼び出してもよく、このライトボックス１１０の中には、選択画像のうちの選択されたものを最終選択の候補画像としてドラッグして入れることができる。ユーザは、レイアウトドラフトセレクタボタン１４２をクリックすることができ、これにより、ディスプレイに表示されるドキュメント５８にアクセスできるようになる（図６）。スクリーンショット８８に示されているように、選択された画像グループ、ライトボックス１１０、及びドキュメントテンプレート５８が同時に表示される。ユーザは、最も近い画像／同じ画像セレクタ１４６をクリックすることによって、最も近い画像又はほぼ同じ画像が表示されるよう選択することができる。或いは、このような最も近い画像／ほぼ同じ画像は、画像のうちの選択されたものをクリックすることによって検索されてもよい。
【０１１１】
ユーザは、画像のうちの選択されたものを（例えば、ライトボックス１１０から）ドキュメント５８上にドラッグアンドドロップして、その画像がデザインニーズを満たすかどうか確かめてもよい。この選択画像５４は、より早い段階で保存された、以前のあらゆる選択画像を収容する、ドキュメントテンプレート５８に追加される。ユーザは、より多くの画像を探すためにこの処理を１回以上繰り返した後、レイアウトドラフトセレクタ１４２をクリックして、図２及び図６に示されているような埋められたドキュメント６２の完成を確認してもよい。
【０１１２】
テキスト探索クエリに依存した既存の探索方法に対し、このシステムは、クエリをパラメータ化することによって探索を絞り込むことができる。例えば、ユーザは、明度及び／又は赤さのレベルを設定することができる。また、探索結果の視覚的一貫性が高く、探索空間の探査が非常に簡単であるため、ユーザは、関心のある画像が最もありそうなグループだけを選択して、そのグループにおける画像のサムネイルをスクロールするか、或いは、その選択された画像グループでディスプレイを満たすことができる。ユーザが特定のサムネイルに関心がある場合、対応する画像がその最も近い画像と共に表示される。
【０１１３】
このナビゲーションシステムは、選択された美的、色、及び感情的特徴によって導かれる非常に大きな画像データベースをナビゲートするインタフェースを、グラフィックデザイナーに提供する。
【符号の説明】
【０１１４】
６４ データ／制御バス
７０ ＧＵＩ
７２ 表示画面
７６ カーソル制御デバイス
７８ リンク
８４、８６、８８ スクリーンショット
８７ 境界線
１１０ ライトボックス
１２０ 探索ボックス
１２２、１２６、１２８、１３０、１３６、１３８、１４２、１４６ セレクタ
１２４ スクロールバー
１３２、１３４ 領域
【特許請求の範囲】
【請求項１】
画像データセットのナビゲートにおいてユーザ支援方法であって、
前記ユーザのテキストクエリを受信し、
前記テキストクエリに応答する画像を、画像データセットから検索し、
利用可能な特徴のセットから前記ユーザが選択した第１特徴を受信し、
前記利用可能な特徴のセットから前記ユーザが選択した第２特徴を受信し、
検索された前記画像のうちの少なくともいくつかを、グラフィカルユーザインタフェース上に同時に配列して表示する、
ことを含む、方法であって、
前記画像の配列は、第１特徴のみが選択された場合、前記第１特徴の異なるレベルを反映し、第１特徴及び第２特徴が選択された場合、前記ユーザが選択した前記第１及び第２特徴のレベルの異なる組み合わせを反映する、
方法。
【請求項２】
前記表示することは、検索された前記画像のうちの少なくともいくつかを、前記グラフィカルユーザインタフェース上に同時にグループで表示することを含み、表示された前記各画像グループは、前記ユーザが選択した前記第１特徴及び第２特徴のレベルの異なる組み合わせに対応する、請求項１に記載の方法。
【請求項３】
コンピュータに、請求項１に記載の方法を実行させるためのプログラム。
【請求項４】
画像データセットをナビゲートするための装置であって、
ユーザのテキストクエリを受信し、
前記クエリに応答する画像を、関連する画像データセットから検索し、
利用可能な特徴セットから前記ユーザが選択した第１特徴を受信し、
前記利用可能な特徴セットから前記ユーザが選択した第２特徴を受信し、
検索された前記画像のうちの少なくともいくつかを、関連するグラフィカルユーザインタフェース上に表示し、表示された前記画像が、選択された前記第１及び第２特徴のレベルに応じてグループ化する、
ためのメモリに格納された命令を含む、ナビゲーションシステムと、
前記命令を実行するための、前記メモリと通じているプロセッサと、
を備える、装置。
【請求項１】
画像データセットのナビゲートにおいてユーザ支援方法であって、
前記ユーザのテキストクエリを受信し、
前記テキストクエリに応答する画像を、画像データセットから検索し、
利用可能な特徴のセットから前記ユーザが選択した第１特徴を受信し、
前記利用可能な特徴のセットから前記ユーザが選択した第２特徴を受信し、
検索された前記画像のうちの少なくともいくつかを、グラフィカルユーザインタフェース上に同時に配列して表示する、
ことを含む、方法であって、
前記画像の配列は、第１特徴のみが選択された場合、前記第１特徴の異なるレベルを反映し、第１特徴及び第２特徴が選択された場合、前記ユーザが選択した前記第１及び第２特徴のレベルの異なる組み合わせを反映する、
方法。
【請求項２】
前記表示することは、検索された前記画像のうちの少なくともいくつかを、前記グラフィカルユーザインタフェース上に同時にグループで表示することを含み、表示された前記各画像グループは、前記ユーザが選択した前記第１特徴及び第２特徴のレベルの異なる組み合わせに対応する、請求項１に記載の方法。
【請求項３】
コンピュータに、請求項１に記載の方法を実行させるためのプログラム。
【請求項４】
画像データセットをナビゲートするための装置であって、
ユーザのテキストクエリを受信し、
前記クエリに応答する画像を、関連する画像データセットから検索し、
利用可能な特徴セットから前記ユーザが選択した第１特徴を受信し、
前記利用可能な特徴セットから前記ユーザが選択した第２特徴を受信し、
検索された前記画像のうちの少なくともいくつかを、関連するグラフィカルユーザインタフェース上に表示し、表示された前記画像が、選択された前記第１及び第２特徴のレベルに応じてグループ化する、
ためのメモリに格納された命令を含む、ナビゲーションシステムと、
前記命令を実行するための、前記メモリと通じているプロセッサと、
を備える、装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１５４６８７（Ｐ２０１１−１５４６８７Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１１−１２９０９（Ｐ２０１１−１２９０９）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]