デジタル画像記録からの関心対象の評価
ユーザの関心対象を評価する方法は、少なくともユーザのデジタル画像記録群に基づいており、少なくとも部分的にデータ処理システムによって実行される。この方法は、定義済みのユーザ関心対象を受け取り、定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取り、デジタル画像記録群から、それぞれがコンテンツ条件に適合する画像特徴を有するデジタル画像記録集合を特定する。定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向が、少なくともデジタル画像記録またはその特徴集合の分析結果に基づいて評価される。関心対象の特徴的傾向は、プロセッサによる読取可能なメモリの中の定義済みのユーザ関心対象に関連付けられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に画像解析方法に関し、より詳しくは、デジタル画像記録群からユーザの関心対象を評価する方法に関する。
【背景技術】
【０００２】
ある人物の画像群に基づいてその個人に関してわかること、または推測できることはたくさんあり、たとえば、趣味や頻繁に行う活動、旅行や休暇で訪れる場所、ペット、家族、友人その他の関心事がある。この種の情報は、広告主や、資金または支援を求める人にとって、特に興味深いものでありうる。ある人物のデジタル画像記録からその人について知ることによって、広告主は販売、マーケティング、販売促進の方法を、関心のある視聴者に届けるように、より的の絞られたものにできる。
【０００３】
ある人物のデジタル画像記録群からその人について多くを知ることができると認識されているものの、このような情報を取得するための従来の技術は、依然としてあまりにも単純であり、大きな欠点がある。１枚または複数の画像の画像データコンテンツから意味情報を取得する方法がある。たとえば、画像解析技術の熟練者にはなじみ深いが、あるデジタル画像の中の人物、動物およびさまざまなオブジェクトを容易に検出する方法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，２１８，７５９号明細書
【特許文献２】米国特許第７，１１０，５７５号明細書
【特許文献３】米国特許第７，１４２，６９７号明細書
【特許文献４】米国特許第５，６４０，４６８号明細書
【特許文献５】米国特許第６，２０５，２３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ある人の関心対象について知ることは、単に画像のコンテンツをその画像のオブジェクトのための画像単位またはラベルに分解し、これらのオブジェクトをユーザに機械的に関連付けることだけではない。関心対象は、人が異なる時期に撮影した画像からのほうがより正確に知ることができ、いつ、どこで写真が撮影されたか、画像群の中に特定の人物、場所、イベントまたはオブジェクトがどれだけ頻繁に写っているか、どの人物またはオブジェクトが同じ画像の中、または同じ時間的イベント内で撮影された複数の写真の中に写っている傾向にあるか、等の要素との間に、少なくともある程度の確率的関係がある。ユーザの関心対象をより正確に評価できれば、これは広告主その他が、その提供するメッセージ、アピール、サービスまたは製品の宣伝を個々のユーザにより有効に関係づけるのに役立つ。
【０００６】
そこで、ユーザのデジタル画像記録群からユーザの関心対象に関する情報を取得するための、より体系的で堅牢な方法が求められている。
【課題を解決するための手段】
【０００７】
本発明の各種の実施形態による、デジタル画像記録群からユーザの関心対象を評価するためのシステムと方法によって、当業界において上記の問題が対処され、技術的解決が実現される。
【０００８】
いくつかの実施形態によれば、本発明は、少なくともユーザのデジタル画像記録群の分析結果に基づいて、ユーザの関心対象（subject interest）を評価する方法を提供する。この方法は、少なくとも部分的にデータ処理システムによって実行され、定義済みのユーザ関心対象を受け取るステップと、定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取るステップと、デジタル画像記録群から、それぞれがコンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定するステップと、少なくともデジタル画像記録集合またはその特徴集合の分析結果に基づいて、定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を評価するステップと、評価された関心対象の特徴的傾向を、プロセッサにより読取可能なメモリの中の定義済みのユーザ関心対象に関連付けるステップと、を含む。
【０００９】
いくつかの実施形態において、デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録上位集合(superset)に含まるものより少なく、デジタル画像記録上位集合に含まれるデジタル画像記録は、デジタル画像記録群より少ない。デジタル画像記録集合を特定するステップは、まず、デジタル画像記録群から、それぞれがコンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するデジタル画像記録上位集合を特定するステップと、次に、デジタル画像記録上位集合から、コンテンツ条件の全部を満たす画像特徴を有するものとしてデジタル画像記録集合を特定するステップと、を含む。
【００１０】
関心対象の特徴的傾向とは、定義済みのユーザ関心対象においてユーザが示す関心レベルとすることができる。１つの実施形態において、定義済みのユーザ関心対象はスポーツであり、関心対象の特徴的傾向は、そのユーザがそのスポーツを行うときに好む用具の種類である。ユーザ関心対象がある活動である実施形態においては、関心対象の特徴的傾向はユーザによるその活動への参加の特徴に関する。コンテンツ条件集合のうちの少なくともいくつかのコンテンツ条件は、第三者の広告主から受け取ってもよい。
【００１１】
関心対象の特徴的傾向を評価するステップは、デジタル画像記録集合に関係する時間、場所または時間と場所の両方に関するコンテキスト情報を取得するステップと、少なくとも取得したコンテキスト情報の分析結果に基づいて画像分析ユーティリティを特定するステップと、少なくとも特定された画像分析ユーティリティを使って、デジタル画像記録集合の中の画像を分析するステップと、を含んでいてもよい。
【００１２】
上記の実施形態に加え、その他の実施形態も、図面を参照し、以下の詳細な説明を読むことによって明らかとなるであろう。
【００１３】
本発明は、以下に示す実施形態の例についての詳細な説明を、添付の図面を参照しながら読むと理解しやすいであろう。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による、ユーザの関心対象を評価するシステムを示す図である。
【図２】本発明の実施形態による、ユーザの関心対象をそのユーザのデジタル画像記録から評価するためのステップのブロック図である。
【図３】本発明の実施形態による、関心対象情報を取得するためにコンテンツ条件を用いる例を示すブロック図である。
【図４】本発明の実施形態による、ユーザの画像記録下位集合から関心対象情報を取得する例のブロック図である。
【図５】本発明の実施形態による、関心対象に関係するコンテンツ条件の構成を示すブロック図である。
【図６】本発明の実施形態を広告主またはその他の第三者がどのように使用できるかを示す論理フロー図である。
【図７】１つの実施形態におけるデジタル画像記録分析の中でコンテキスト情報を使用するシーケンスを示す論理フロー図である。
【図８】本発明の実施形態による、関心対象に関するコンテンツ条件のクエリの構成を示すブロック図である。
【図９】本発明の実施形態による、広告主等の外部の者に対して意味データとメタデータを提供するための１つのモデル構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
添付の図面は、本発明の概念を説明するためのものであり、正確な縮尺ではないかもしれない点を理解されたい。
【００１６】
本発明の実施形態は、ユーザのデジタル画像記録群の分析から、ユーザの関心対象を評価する。この点に関して、ユーザの関心対象に関連付けられる所定のコンテンツ条件集合は、たとえばデータ処理システムによって受け取られる。次に、より広いデジタル画像記録群からデジタル画像記録集合が特定され、この集合の中のデジタル画像記録は、コンテンツ条件を満たす特徴を有する。次に、ユーザの関心対象の特徴的傾向を、少なくともこのデジタル画像記録集合の特徴の分析結果に基づいて評価することができる。
【００１７】
本発明の実施形態を用いて、たとえば、ターゲットとする視聴者に届けることに関心を持つ広告主は、このプロセスへの入力として、その視聴者を特徴づける１つまたは複数のユーザ関心対象に関する情報を提供する。スポーツ用品店の場合、この情報は、たとえばキャンプやハイキングへの関心に関するかもしれない。この屋外活動に対するユーザの関心対象に関連付けられるコンテンツ条件は、広告主から提供されても、あるいは各種の実施形態によって行われる評価を実行するサーバまたはその他のプロセッサによって生成されてもよい。コンテンツ条件は、ユーザの画像記録群から、ユーザ関心対象をより詳細に特徴づけるために必要な情報を提供するのに役立つ特定の画像記録集合を特定するために使用される。たとえば、コンテンツ条件は、屋外活動への関心度をより詳細に定義すること、すなわち、登山やその他、より身体的に難度の高い活動に対してそのユーザが相対的にどの程度の関心を有するか、またそのユーザがより頻繁に訪れる特定のお気に入りの州立または国立公園があるか否か、といった各種の関心対象の特徴的傾向を究明することに向けられていてもよい。このような種類の情報による関心対象の特徴的傾向は、画像の下位集合から収集され、ユーザ関心対象に関連付けることができ、それによって、特定のユーザに関するユーザ関心対象を「ポピュレートする(populate；（データ等をデータベース等に）投入・追加する)」ことができる。その結果、この広告主からの製品やサービスの宣伝は、このユーザのニーズにより密接に合うように調整されたものとなり、この広告主は、マーケティングメッセージの格好の受け取り手を見つける可能性が高くなる。
【００１８】
「デジタル画像記録」という用語は、本明細書において、直接撮影されたか、またはスキャニングにより印刷されたデジタル静止画像を含み、さらに、デジタルビデオ画像を含めるものとする。また、特に明確に他の説明がない場合や文脈上不可能な場合を除き、「または」という単語は、本明細書において、非排他的意味で使用されている。
【００１９】
本明細書で説明する各種の機能と工程は、コンピュータまたはその他のタイプのコントロールロジックプロセッサに実装され、「ソフトウェア」または「ソフトウェアプログラム」の中に記憶される一連の命令としてセットアップされてもよい。しかしながら、当業者であれば、上記のようなソフトウェアと同等の機能は、ハードウェアでも容易に実行できることに気付くであろう。
【００２０】
［システムハードウェア］
図１は、本発明の実施形態による、ユーザのデジタル画像記録群の分析からユーザ関心対象を評価するシステム２２を示す。システム２２は、データ処理システム２６と、周辺システム３０と、ユーザインタフェースシステム２８と、プロセッサアクセス可能メモリシステム２４を備える。プロセッサによりアクセス可能なメモリシステム２４と、周辺システム３０と、ユーザインタフェースシステム２８は、データ処理システム２６に通信可能に接続される。データ処理システム２６は、本明細書で説明する図２、図６、図７の工程例を含め、本発明の各種の実施形態の工程を実行する１つまたは複数のデータ処理デバイスを備える。
【００２１】
「データ処理デバイス」または「データプロセッサ」という語句は、どのようなデータ処理デバイスであってもよく、たとえば、ＣＰＵ（中央処理ユニット）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯情報端末、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、デジタルカメラ、携帯電話その他、データを処理し、データを管理し、データを取り扱うあらゆるデバイスを含み、電気、磁気、光、生体成分その他、いずれの方式によるものでもよい。
【００２２】
プロセッサアクセス可能メモリシステム２４は、本明細書で説明する図２、図６、図７のプロセッサの例を含め、本発明の各種の実施形態の工程を実行するのに必要な情報を含む情報を記憶するように構成された１つまたは複数のプロセッサにより読取可能なメモリを備える。プロセッサアクセス可能メモリシステム２４は、複数のコンピュータおよび／またはデバイスを介してデータ処理システム２６に通信可能に接続された複数のプロセッサによる読取可能なメモリを含む、分散型のプロセッサによる読取可能なメモリシステムであってもよい。これに対して、プロセッサアクセス可能メモリシステム２４は、分散型のプロセッサによる読取可能なメモリシステムである必要はなく、したがって、単独のデータプロセッサまたはデバイス内に配置された１つまたは複数のプロセッサアクセス可能メモリを含んでいてもよい。
【００２３】
「プロセッサアクセス可能メモリ」という語句は、揮発性または不揮発性の、電子、磁気、光その他、あらゆるプロセッサアクセス可能なデータ記憶デバイスを含むものであり、たとえば、これらに限定されないが、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、ＲＡＭがある。
【００２４】
「通信可能に接続される」という語句は、デバイス、データプロセッサまたはプログラム間の、有線または無線の、データを通信できるあらゆるタイプの接続を含むものとする。さらに、「通信可能に接続される」という語句は、１つのデータプロセッサ内のデバイスまたはプログラム間の接続、異なるデータプロセッサに配置されたデバイスまたはプログラム間の接続、データプロセッサの中にはないデバイス間の接続も含むものとする。この点に関して、プロセッサアクセス可能メモリシステム２４は、データ処理システム２６とは分離して示されているが、当業者であれば、プロセッサアクセス可能メモリシステム２４は、完全に、または部分的にデータ処理システム２６の中に記憶されていてもよいことがわかるであろう。この点に関してさらに、周辺システム３０とユーザインタフェースシステム２８は、データ処理システム２６とは分離して示されているが、当業者であれば、このようなシステムの一方または両方が、完全に、または部分的にデータ処理システム２６の中に記憶されていてもよいことがわかるであろう。
【００２５】
周辺システム３０は、デジタル画像記録をデータ処理システム２６に供給するように構成された１つまたは複数のデバイスを含んでいてもよい。たとえば、周辺システム３０は、デジタルビデオカメラ、携帯電話、一般的なデジタルカメラまたはその他のコンピュータであってもよい。データ処理システム２６は、周辺システム３０の中のあるデバイスからデジタル画像記録を受け取ると、そのデジタル画像記録をプロセッサアクセス可能メモリシステム２４の中に記憶してもよい。
【００２６】
ユーザインタフェースシステム２８は、マウス、キーボード、別のコンピュータまたはそこからデータをデータ処理システム２６へと入力できるあらゆるデバイスまたはデバイスの組み合わせであってもよい。この点に関して、周辺システム３０はユーザインタフェースシステム２８とは分離して示されているが、周辺システム３０は、ユーザインタフェースシステム２８の一部として含められていてもよい。
【００２７】
ユーザインタフェースシステム２８は、表示デバイス１０、プロセッサアクセス可能メモリまたは、データ処理システム２６によるデータの出力先となるあらゆるデバイスまたはデバイスの組み合わせであってもよい。この点に関して、ユーザインタフェースシステム２８にプロセッサアクセス可能メモリが含まれている場合、図１ではユーザインタフェースシステム２８とプロセッサアクセス可能メモリシステム２４が分離して示されているが、このようなメモリはプロセッサアクセス可能メモリシステム２４の一部であってもよい。
【００２８】
プロセッサアクセス可能メモリシステム２４の中のデジタル画像記録群に記憶された画像記録は、画像資産とも呼ばれ、異なる量のメタデータにリンクされていてもよい。この画像メタデータは、画像が撮影された条件に関する各種の意味および構造情報ならびに画像コンテンツに関して得られた情報とすることができる。例として、デジタル画像記録のメタデータは、画像撮影の日時、撮影場所（たとえば、ＧＰＳ（全地球測位システム）により提供される）、カメラの所有者、カメラの種類、画像解像度、オペレータまたは画像の閲覧者からのコメント、画像コンテンツそのものから得られる各種のデータとすることができ、これには、たとえば画像の被写体を評価する情報が含まれる。あるデジタル画像記録に関する補足的メタデータの１つの種類として取得され、保存される意味情報は、画像の中のオブジェクトから得られた各種の情報を含んでいてもよく、たとえば、オブジェクト認識または顔検出もしくは認識を行う各種のソフトウェアアプリケーション等、当業界で知られている画像解析ツールからのデータが含まれる。
【００２９】
顔検出アルゴリズムは周知であり、たとえば「デジタル画像における顔検出（Face Detection in Digital Images）」と題するホー他の特許文献１および、「デジタルカラー画像において顔の位置を検索する方法（Method for Locating Faces in Digital Color Images）」と題するチェン他の、本願と同じ譲受人に譲渡された特許文献２等に記載されている。顔認識アルゴリズムは、これも当業界で知られており、次に、特定された顔デジタル画像記録を分析して、１つまたは複数の検出済みの顔から一致する顔を探す。「ポーズ不変顔認識システムおよび処理（Pose-Invariant Face Recognition System and Process）」と題するフアン他の特許文献３には、モデルとなるデジタル画像記録をデジタル画像記録内の顔を認識するようにニュートラルネットワークを学習させるためのツールとして使用することが記載されている。オブジェクト検出アルゴリズムもまた周知であり、当業者にとってなじみ深い。たとえば、静止画像の中のオブジェクト検出方法は、「画像においてオブジェクトおよび特徴を特定する方法（Method for Identifying Objects and Features in an Image）」と題するスー他の特許文献４に示されている。ビデオ画像データ内のオブジェクトのための適応型オブジェクト検出方法は、「動くビデオ画像におけるオブジェクト同定（Object Identification in a Moving Video Image）」と題するイサドーレバレッカ(Isadore-Barreca)他の特許文献５に記載されている。
【００３０】
ユーザ関心対象を評価する１つのステップは、そのユーザに関連付けられたデジタル画像記録群にアクセスするステップを含む。デジタル画像記録群は、プロセッサアクセス可能メモリシステム２４の中に記憶され、これは多数のうちのいずれの形態をとってもよい。１つの実施形態において、デジタル画像記録群は、画像記憶サービスを申し込んだユーザのために記憶される。その例としては、個々のユーザが自分の画像をサーバにアップロードし、他の画像にアクセスし、またプリントを注文したり共有したりすることのできるＫｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙのインターネットサイト等がある。
【００３１】
本発明の各種の実施形態によりユーザ関心対象を評価する別のステップは、１つまたは複数のコンテンツ条件の提供、アクセスまたは受け取りである。コンテンツ条件は、特定の関心対象を示す傾向のある「ルール」またはパターンに関する。たとえば、コンテンツ条件は、ボート遊びに対するユーザ関心対象を示すためにユーザの画像記録群からヨットの画像を検出することを指定してもよい。コンテンツ条件の中の別のルールによって、ヨットの画像を複数のイベントで検出したことをユーザがそれに対して継続的に関心を有することを示すように規定してもよい。定義済みのユーザ関心対象に関連付けられるコンテンツ条件の集合を規定する工程は、画像コンテンツ、画像メタデータ、または意味データを考えられるユーザ関心対象に関連付けるいくつかの前提を作るステップを含む。したがって、コンテンツ条件は、関連するユーザ関心対象に固有であるか、または実質的に固有であることが多い。言い換えれば、プロセッサアクセス可能メモリシステムに複数の定義済みのユーザ関心対象が記憶されている場合、各関心対象にはコンテンツ条件の集合が関連付けられているかもしれない。この場合、コンテンツ条件の各集合は、他のコンテンツ条件集合、または実質的に他のすべてのコンテンツ条件集合とは異なる少なくとも１つのコンテンツ要求事項を含んでいるかもしれない。
【００３２】
コンテンツ条件は、たとえば、特定の活動または製品の愛好者を特定することに関心を有する第三者の広告主によって提供されてもよい。あるいは、コンテンツ条件集合は、システム２２を管理する主体によって設定されてもよい。一度に複数の供給元からのコンテンツ条件を適用し、またコンテンツ条件を組み合わせて、より多くの情報を抽出することが可能である。多数の供給元のいずれから取得したコンテンツ条件であっても、プロセッサアクセス可能メモリ２４の中に保存できる。
【００３３】
１以上のユーザ関心対象を評価することは、たとえば、広告主となるかもしれないもののためにユーザを特徴づけるのに使用できるユーザプロファイルを作成する全体的工程の一部とすることができる。したがって、１以上のユーザ関心対象の評価はルーチン作業として、たとえば新しい画像がアップロードされたとき、またはユーザに関連付けられた追加情報が利用可能となったとき等、適当な時期にアップデートされるユーザ関心データを用いて実行することができる。あるいは、ユーザ関心対象の特定は、必要に応じて、たとえば、特定の製品分野に関心を有するもの等、特定の基準を満たすと思われる全ユーザにオファーを提供したいと広告主から希望されたときなどに実行してもよい。たとえば、ユーザがその時点で関心を持っているデジタル画像を限られた時間だけしか利用できない独立したフォトキオスクや小売りベースのミニラボのように、ユーザの完全な画像群が利用できない場合、システムは、特定された各ユーザに関する「流動的な」ユーザプロファイルを作成し、そのユーザがそのキオスクまたはミニラボに新しい画像をダウンロードするたびに、ユーザ関心対象に関してアップデートされるようにすることができる。
【００３４】
本発明の実施形態は、ユーザの関心対象を評価することに関しており、たとえばその関心対象に関連付けられた１以上の特徴的傾向を評価することによる。「関心対象の特徴的傾向（subject interest trait）」という語句は、ユーザ関心対象への特定のユーザの関与に関する何らかの事柄を示す広範囲の情報を包含するために使用される。関心対象の特徴的傾向と考えることのできる１つの基本的な関与の度合いは、あるユーザがあるユーザ関心対象について有する愛好度または熱中度に関する。
【００３５】
たとえば、ユーザ関心対象はランニングであってもよい。すると、関心対象の特徴的傾向は、そのユーザによる対応するユーザ関心対象との関与に関する情報を提供する。関心対象の特徴的傾向の例は、対応する関心対象、この場合はランニングに対するそのユーザの関心度である。たとえば、あるユーザは、ユーザの活動の中にこの結論を指し示す多数のデータポイントがあるというだけで、高い関心度を見せるかもしれない。他のタイプの関心対象の特徴的傾向は、たとえばシューズやウェア等、そのユーザの好みの用具、ユーザが参加者または観客であることを好むか否か、あるいは関心対象に関連付けられるお気に入りのイベントがあるかどうかに関する。ランニングのユーザ関心対象の場合、このような関心対象の特徴的傾向は、ユーザはランニングの時に特定のブランドのシューズを好み、他の人が走っているのを見るのではなく、走ることを楽しみ、毎年行われるチャリティレースに常に参加することを指定してもよい。
【００３６】
デジタル画像記録は、上記のような種類の関心対象の特徴的傾向を取得するための有益なメカニズムとなる。ランナーの例では、ユーザの画像とこれに関連するメタデータを分析して、ウェアやシューズのメーカのブランド、大会への参加の種類、そのユーザが大会に参加するのにどこまで行こうとするか、およびユーザの関与をユーザの関心対象に関係づけるその他の関心対象の特徴的傾向等の情報を得ることができる。
【００３７】
図２を参照すると、定義済みのユーザ関心対象を、関連付けられたコンテンツ条件に基づいて評価する方法の論理フロー図が示されている。定義済みのユーザ関心対象６０が、ユーザ関心対象受け取りステップ６４で取得される。コンテンツ条件４２も、この処理への入力として供給され、コンテンツ条件受け取りステップ４０において、プロセッサアクセス可能メモリシステム２４の中に保存されてもよい。特定ステップ４４では、デジタル画像記録群から、それぞれがコンテンツ条件４２を満たす画像特徴を有するデジタル画像記録集合５６が特定される。デジタル画像記録５６は、たとえば、ユーザ画像群４６からの画像資産であってもよい。
【００３８】
特定ステップ４４は、提供されたユーザ関心対象を満たす可能性がより高いデジタル画像の１以上の別の下位集合を選別する複数のサブステップを含んでいてもよい。たとえば、デジタル画像記録集合特定ステップ４４は、まずデジタル画像記録群からデジタル画像記録の第一の下位集合特定ステップを含んでいてもよく、第一の下位集合に含まれるデジタル画像記録は、ユーザ画像群の中のデジタル画像記録群４６全体より少なく、第一の下位集合の中の各記録は、ユーザ関心対象６０に関連付けられるコンテンツ条件４２のうちの全部ではなくいくつかを満たす画像特徴を有する。ステップ４４では次に、少なくとも、第一の集合の中でコンテンツ条件４２の全部を満たすデジタル画像記録を特定することによって、デジタル画像記録の第一の集合からデジタル画像記録集合５６が特定されてもよい。第一の集合には、集合５６より多くのデジタル画像記録が含まれているため、第一の集合を、本明細書においては、デジタル画像記録の「上位集合」と呼ぶ。
【００３９】
その一例として、ユーザ関心対象が孫である場合、ユーザが祖父母であるか否かを判断しようとする。この判断を下すには、関連するコンテンツ条件が、画像に年配の大人と子供の両方が写っていることを要求するかもしれない。しかしながら、データ処理システム２６にとっては、まず、年配の大人を含む画像記録の上位集合を特定し、その後、その上位集合から、さらに子供も含む画像記録集合５６を特定するほうが効率的であるかもしれない。
【００４０】
依然として図２を参照すると、評価ステップ６８で、デジタル画像記録集合５６が分析され、ユーザ関心対象６０に関連付けられる関心対象の特徴的傾向７６が評価される。関心対象の特徴的傾向７６の例は後に紹介する。次に、関連付けステップ７８において、評価された関心対象の特徴的傾向７６がユーザ関心対象６０に関連付けられ、この関連付けがプロセッサアクセス可能メモリシステム２４の中に保存される。
【００４１】
上記のような関連付けは、ユーザ関心対象６０を確認し、ポピュレートするのに役立つ。ユーザ関心対象６０をポピュレートすることは、関心対象を評価するだけでなく、他の情報を提供することも暗示し、たとえば、何らかの定量的情報が提供され、これは、後の分析において、たとえば相対的関心度または、そのユーザ関心対象へのユーザの関与に関するその他の詳細を判断するために使用することができる。
【００４２】
図３のブロック図は、コンテンツ条件４２を使ってユーザ関心対象６０をポピュレートする例を示す。この例に関して、広告主またはその他の関係者は、孫がいるかもしれないことを示す、ユーザ関心対象を有する１人以上のユーザを特定したいと希望する。これは、たとえば、おもちゃまたはその他、子供向け商品のカタログや宣伝を受け取ることに特定の興味を有すると思われるユーザの母体を探している広告主のために使用される。その判断を助けるために、コンテンツ条件４２は、以下を規定する。
（ｉ）集合５６の中のデジタル画像記録４６が、たとえば顔認識アルゴリズムの判断によって、画像の中にユーザがいることを示すという条件４２ａ
（ｉ）ユーザのための集合５６の中のデジタル画像４６が、約１２歳より小さい子供の複数のインスタンスを示すという条件４２ｂ
（ｉｉ）集合５６の中の複数の画像が、同一の画像の中の子供と大人の両方を示すという条件４２ｃ
（ｉｉｉ）集合５６の画像が、複数のイベントにおいて条件（ｉ）と（ｉｉ）を満たすという条件４２ｄ
（ｉｖ）（ｉｉｉ）の中のイベントが複数の休日を含むという条件４２ｅ
【００４３】
上記のコンテンツ条件集合４２は、各ユーザアカウント内の画像資産について、図２の中の特定ステップ４４を実行する検索工程５４へと進められる。静止画像およびビデオ画像記録ならびにその他のデジタル画像記録の中から、これらのコンテンツ条件の基準を満たすものを検索する。あるユーザが対応する関心対象を有する場合、これは、相応に特徴的傾向７６とともにポピュレートすることができる。コンテンツ要求を満たす画像記録を持っていないユーザの場合、対応するユーザ関心対象６０は、関心度が低い、関心度が不明、または関心なし、を示す特徴的傾向７６とともにポピュレートすることができる。ユーザまたはユーザのプロファイルの中のいずれかの人物が特定された関心対象に対して有する関心度を評価する中で、追加のステップが実行される。
【００４４】
図３の例のコンテンツ条件４２ａ−４２ｅおよび一般のコンテンツ条件は、多数の供給元の１つまたは複数から提供されてもよい。たとえば、コンテンツ条件は、関心対象に関する情報を取得することに関心を有する広告主によって提供されるかもしれない。あるいは、コンテンツ条件は、ユーザ画像記録を保存し、管理する事業者または、広告主その他の会社のニーズに応答し、取得可能な情報の種類とデジタル画像記録集合の分析に利用可能なユーティリティに関するある程度の知識を有する第三者の開発業者によって提供されるかもしれない。
【００４５】
図３の例は、特定のユーザに関連付けられたデジタル画像記録集合５６の分析結果を使用して、ユーザ関心対象６０がどのようにポピュレートされるかを示している。画像およびその他のデジタル画像記録の分析結果から得られる関心対象の特徴的傾向は、単純にユーザの関心を評価しただけの場合より多くの情報を提供する。関心対象の特徴的傾向と関心対象との関連付けの一例は、関心対象６０へのユーザの関心度またはかかわりの度合いに関する。図３において、たとえば、この特定のユーザの孫に対する関心度を把握し、その後、これをユーザ関心対象、すなわち孫に関連付けることができる。ユーザがさまざまな場所に孫を連れて行く、または孫と一緒に旅行する、あるいは同じ場所の孫を訪問するか否かを究明できる。たとえば、孫の年齢や人数といった、その他の情報もまた、この関心対象を追加するためのその他のデータとして取得することができる。
【００４６】
図４の例は、図２の特定ステップ４４を実行する工程を示している。ここで、図３に示したものと同じコンテンツ条件４２を使って、集合４６からデジタル画像記録を調査することができる。この処理の結果として、まず画像の上位集合５８が得られる。上位集合５８は、コンテンツ条件４２のいくつかに関する基準を満たす。図４の例では、上位集合５８には、ユーザ（大人）、別の大人および１２歳以下の子供の写った画像（コンテンツ条件４２ａ，４２ｂ，４２ｃ）が含まれており、これらは、当業界で周知の顔検出および年齢検出アルゴリズムによって自動的に認識することができる。その後の処理で、上位集合５８から、複数の休日（イベントの例）において撮影されたとみられる画像の下位集合５６（コンテンツ条件４２ｄ，４２ｅ）が特定される。これらの画像がどのイベントからのものか、およびこれらがどこで撮影されたかといった要素に注目することにより、大人が子供の祖父母であると推測することができる。画像コンテンツそのものを分析することに加え、上位集合５８または下位集合５６のいずれかを特定することは、画像に関連付けられるメタデータ６２を使って実行できる。このメタデータ６２は、たとえば、場所の情報、カメラの所有者、日時スタンプおよび、検索工程５４（図３）に有益なその他のデータであってもよい。
【００４７】
［コンテンツ条件を使って関心対象の特徴的傾向を特定する例］
図５は、具体的なユーザ関心対象６０に関係するコンテンツ条件集合４２の例を示す。この例では、スポーツ用品とウェアのメーカが、特定の市場分野をターゲットとする製品を有する。この市場分野により効果的に対応するために、メーカは、ある人物がテニスをするということだけでなく、そのプレイヤを、販売促進のための宣伝を行うための格好の候補として、より正確に認定できるようなその他の条件も満たすか否かを判断したいと望む。
【００４８】
図５の例では、定義されたユーザ関心対象６０は、ユーザがテニスをすることである。このユーザ関心対象に加えて、広告主がこのユーザについて知りたい具体的なデータ項目がある。この情報は、コンテンツ条件集合を考慮して、このユーザからの画像集合を分析することによって得られる。コンテンツ条件の種類は異なっていてもよい。図５の具体的な例は、使用可能なコンテンツ条件の一般的な種類を示している。
（ｉ）同じ日およびある期間にわたる参加頻度。コンテンツ条件４２は、ある種の活動への関与が明確となるにはいくつかの最低条件が満たされるものと指定してもよい。この例において、デジタル画像集合をチェックして、ユーザが少なくとも特定の回数（図５の例では３回以上）テニスをしていることを示し、また毎回少なくとも何枚かの画像（この例では、２枚以上）があるか否かを判断することができる。
（ｉｉ）ユーザの身体的特徴。この例において、広告主は、左利きのプレイヤを見つけることに関心を有する。この具体的な例は誘導的であるが、これは、コンテンツ条件がユーザ関心対象に間接的にしか関連していないからである。この特徴的傾向は、ユーザ関心対象を検出するプロファイリング工程の中で取得できる可能性が低い。すなわち、テニスファンを検出し、これをユーザプロファイルの中に含めるために使用されるロジックで、右利きまたは左利きも判断できる可能性は低い。このようなより複雑な情報については、たとえば、プレイヤの構えを検出するためのものなど、画像形成技術の熟練者にとってなじみ深い技術を用いて、ある種の画像分析アルゴリズムが使用される。
（ｉｉｉ）記号、形状、色またはロゴ等の１以上の識別特徴。広告主は、ブランドで商品を選ぶ人、あるいは特定の高級品を好む、購入できる、知っている、またはそれに価値を置く人に関心を持つかもしれない。上記の（ｉｉ）の例と同様に、これは、ユーザプロファイルに含まれない、あるいはテニスファンを検出するのと同じロジックでは検出できる可能性が低い特徴的傾向情報である。各種の実施形態において、画像記録集合の中の画像を分析して、ある特徴を特定するためには、各種の特徴認識ソフトウェアが必要とされる。この例の場合、関心の対象となる特徴は、テニスウェアとテニス用品に固有ものである。
（ｉｖ）環境要因。この例では、広告主は、屋内テニスプレイヤ、または屋内と屋外の両方でプレイするプレイヤの視聴者に関心を持っている。光や色等の画像の可変要素は、画像が屋内で撮影されたか否かを判断するのに利用できる。
（ｖ）パフォーマンスの特徴。ユーザに関するより複雑な情報は、たとえばビデや動画データまたはその他の情報を分析することによって得られる。この場合、広告主は、少なくともある程度のプロフェッショナルなプレイを見せるユーザに対して関心を持つ。
【００４９】
上記の例（ｉ）から（ｖ）は説明のためであり、他の一般的な種類のコンテンツ条件の多くもこの目的のために使用できると理解できる。たとえば、関心対象分野との関係は幾分間接的であるが、特定のユーザにとってのユーザ関心対象に関連付けることのできる関心対象の特徴的傾向を明らかにするような、地理情報であってもよい。一般的に、この例で示されるコンテンツ条件は、傾向、好みまたは、従来のユーザプロファイルからは容易に得られないその他の特徴的傾向といった各種の関心対象の特徴的傾向を取得するのに役立つ。たとえば、ユーザプロファイルの中にユーザに関するこのような多数の具体的な情報が含まれることは稀である。図５に関して説明した広告主等の観点から、本発明は、まず、１以上の関心対象を有するユーザの下位集合を選別し、特定するのに役立つ。次に、本発明により、少なくともそのユーザに関係する画像記録コンテンツの分析結果に基づいて、関連する関心対象の特徴的傾向を評価することにより、その関心の特徴づけを改善することができる。
【００５０】
図６は、１つの実施形態による、本発明の方法を使用する処理ステップの例を示す論理フロー図である。この例に関して、図５の例に続き、広告主は、ユーザ関心対象６０と１つまたは複数の関連する４コンテンツ条件を特定し、ある製品または販売促進に対して関心を持つ可能性が高くなるような特定の基準を満たすユーザを特定する。アカウント特定ステップ８０では、ユーザプロファイル情報を調査して、明示されたユーザ関心対象を有することが示されるユーザを特定する。この例において、ステップ８０で２人のユーザ、ＱとＲが得られる。ユーザＱ，Ｒはどちらも、関連するデジタル画像記録群４６を有する。図５の例では、ユーザＱとＲの両方のユーザプロファイルデータは、テニスへの関心度を示す。しかしながら、図５に関して述べたように、広告主はより多くの情報を望む。特定の種類の情報は、ユーザ関心対象の「テニス」に関するが、ユーザの関与に関するより詳細な情報を必要とする関心対象の特徴的傾向である。
【００５１】
記録特定ステップ８２は、ユーザＱ，Ｒに関して、デジタル画像記録群４６から、あるユーザ関心対象６０および関連するコンテンツ条件４２を満たす画像特徴を有する、適当なデジタル画像記録集合５６を特定するために実行される。第一段階で、これは、画像コンテンツまたは関連する画像メタデータにしたがって、テニスと何らかの関係のある画像を収集することを意味する。このような初期の選別による画像がユーザ関心対象に関する画像とともに収集されると、次に、さらに選別が行われ、関心の特徴的傾向を示す可能性があると思われる画像が特定され、これらの画像が集合５６に分類される。
【００５２】
次に分析ステップ８４が一種のフィルタリングシーケンスとして実行され、集合５６からの画像コンテンツが詳細に分析される。分析ステップ８４に利用できる各種のツールとユーティリティとしては、オブジェクト認識ユーティリティがある。
【００５３】
定義されたコンテンツ条件を使って、その後の処理において、デジタル画像記録またはその特徴を分析するために使用される適当なオブジェクト認識方式を明示することができる。これは、処理速度と得られた情報の正確さを改善するのに役立つ。たとえば、車輪付きの乗り物を検出するための一般的なオブジェクト認識ユーティリティは、自転車を自動車またはトラックから区別することは容易にできるが、自動車をバイクから区別すること、あるいはバイクの種類を区別することは難しいかもしれない。ある種類のオブジェクトを別の種類のものと区別することは、この例が示すように、コンテンツ条件に関係する関心対象の特徴的傾向を適正に特定する上で重要でありうる。このような場合、いくらかの関連するコンテキスト情報があれば、特定のデジタル画像記録集合の分析に使用されるオブジェクト認識ユーティリティを特定しやすくなることがわかる。
【００５４】
分析ステップ８４（図６）に関して、本発明の実施形態は、ある画像に関連付けられているメタデータまたは、画像コンテンツそのものの中に保存されている意味情報として容易に識別できるメタデータのいずれかにおいて使用可能なコンテキスト情報を利用する。
【００５５】
図７を参照すると、１つの実施形態において分析ステップ８４の一部としてコンテキスト情報を使用するための論理フロー図が示されている。図７の工程は、コンテンツ条求を使って得られたデジタル画像記録集合５６に基づいて、より正確にユーザを特徴づける関心対象の特徴的傾向４８を提供することに関する。データ取得ステップ３２では、画像集合５６の中の１つまたは複数の画像を特定のイベントに関連付けるために使用できるメタデータまたは意味データが得られる。イベントにはさまざまな関連するコンテキストデータがあり、たとえば、イベントは、特定の時間に特定の場所で行われたことがわかっている。１つの例にすぎないが、デジタル画像記録集合が、全国的に知られているカーレース、たとえばＮＡＳＣＡＲのイベント等で得られたものと判断することができる。このイベントの時間と場所の両方がわかっており、このデータに対応する同じ時間と場所の情報を有する画像は、それ自体でこのレーシングベントに関連付けられる。次にこの知識は分析ステップ８４で使用され、その集合の中のデジタル画像記録には対して最も適当または効果的に使用できるのは、どの画像オブ軸と認識ユーティリティかを判断するのに役立てられる。たとえば、上記のＮＡＳＣＡＲのイベントを考えると、オブジェクト認識ユーティリティは、特定の車、ドライバまたはスポンサに対する特別な関心を検出するように開発または微調整することができる。同様に、体操競技中にテーマパークに随行したことは、デジタル画像記録集合の中の１つまたは複数の画像に関連付けられるメタデータから容易に知ることができる。デジタル画像記録集合に関するこの情報がわかっていれば、それを使ってたとえば、スポーツ活動、用具の種類、ウェアについての具体的な関心対象の特徴的傾向に関するコンテンツ条件に的を絞ったオブジェクト認識ソフトウェアを選ぶことができる。図７のフロー図では、この工程がオブジェクト認識選択ステップ３６として示されている。
【００５６】
デジタル画像記録を関係づけることのできるイベントを特定するのに必要な時間と場所の情報は、特定のデジタル画像記録集合については両方とも利用できるとは限らない。コンテキスト情報判断ステップ３４では、デジタル画像記録集合５６からの適当なメタデータまたは意味データの中にこの情報がないかチェックする。日時と場所の両方の情報を利用できる場合は、より一般的なオブジェクト認識ユーティリティではなく、そのイベントにとって適当なオブジェクト認識ユーティリティを使用することができる。
【００５７】
コンテキスト情報判断ステップ３４で使用されるロジックは非常に単純であり、日時または場所の少なくとも一方のデータが判断できれば、より適当なオブジェクト認識ユーティリティを選択できる。
【００５８】
場所またはその他の会場データは、特別な価値のあるオブジェクト認識ユーティリティの下位集合をターゲットとするイベントデータについて、同様に使用できる。たとえば、特定の国立公園または特定の場所で得られたデジタル画像記録から、道端の標識、ハイキング用の服装、ボートまたはラフティング用具およびその場所にとって適切なその他の品目等のオブジェクトを検出するのに利用できる特徴認識ユーティリティがわかるであろう。別の例として、カリブ海のリゾート地で撮影されたことがわかっているデジタル画像記録からは、クルーズ船、ホテル、スパ、深海ダイビングその他、適当な対象要素のための特徴認識ユーティリティが指示される。
【００５９】
同様に、日付と時間情報は、対応する場所データがなくても、そのユーザのために特定されたデジタル画像記録集合を分析する際に最も適当なオブジェクト認識ルーチンの種類を示すかもしれない。特定の休日に関連付けられる日付に取得されたことがわかっているデジタル画像記録からは、特定の種類のオブジェクト認識ユーティリティを使用するよう示される。たとえば、国家的な祝祭日であれば、たとえば花火、パレード用の服装や装備品等のための各種のオブジェクト認識ユーティリティが提示される。このような例が示すように、完全な日時スタンプには、屋内または屋外の環境や、完全に日中の日の光またはその他の照明条件の下で得られた画像に最も適したオブジェクト認識ツールを選択する上で、さらに大きな価値があるかもしれない。宗教的または家族のための祝祭日では、プレゼント、装飾、式典その他の種類の画像対象要素に関する、また別の種類のオブジェクト認識ユーティリティが指示される。
【００６０】
引き続き図７を参照すると、処理ステップ３８では、デジタル画像記録集合５６の分析のために、選択されたグループのオブジェクト認識ユーティリティが適用される。このように、本発明の実施形態は、デジタル画像記録群から特定されたデジタル画像記録集合に関連付けられた画像が撮影された場所と日時のいずれかまたは両方に関する利用可能な情報を利用して、これらのデジタル画像記録の分析作業に、より効果的に焦点を当てることができる。オブジェクト認識ユーティリティに適切にターゲットを絞り、効率的に分析機能を果たすことができるようにし、それによって誤った、または不正確な情報を収集する可能性が低減する。
【００６１】
依然として図６を参照すると、ポピュレートステップ８６において、各ユーザについてのポピュレートされたユーザ関心対象９０を作り、これを検出された関心対象の特徴的傾向に関連付けて、その結果を記憶して使用に備える。ユーザの関心に関する情報をこのようにポピュレートした状態で、関心対象と関心対象の特徴的傾向に関する情報を使ってユーザを販売促進活動の相手として「認定」した広告主は、任意の製品宣伝ステップ８８またはその他の活動を実施することができる。
【００６２】
ユーザアカウントの保存データを制御し、管理する会社は、保管しているユーザ情報に無制限にアクセスさせるのではなく、広告主からの照会を有効に「スクリーニング」することにより、提供される個人情報の量をある程度管理することができる。１つの実施形態では、広告主またはその他の照会会社は、保管会社に対して、広告主がどのようなユーザを探しているかを伝える。すると、保管会社は、図６に示すステップを実行して、広告主や他の第三者を関与させずに、ユーザ関心対象６０にとって適当なコンテンツ条件４２を導き出す。保管会社は次に、出力として、特定の関心対象と特徴的傾向の基準を満たすユーザに関する特定情報を提供する。
【００６３】
本発明の実施形態によれば、会社間でさまざまな取り決めを行えることがわかるであろう。たとえば、あるサービス供給会社は、ユーザのアカウントを保持するアカウント管理システムと契約してもよく、次に特徴的傾向に関する情報の取得に関心を持つ他の会社と契約する。１つの実施形態においては、料金を徴収してから、製品宣伝ステップ８８（図６）を実行することができる。
【００６４】
コンテンツ条件そのものは、ユーザに関する保存された情報へのアクセスを希望する企業によって定められてもよく、また、ユーザに関する、および／またはユーザが所有するデータの保存と管理を担当する企業により生成されてもよい。１つの実施形態において、コンテンツ条件は、複数の定義済みのユーザ関心対象を記憶するプロセッサによる読取が可能なメモリシステムから受け取られ、これらのユーザ関心対象はそれぞれ、それに関連付けられた所定のコンテンツ条件の集合を有する。
【００６５】
図５の例に示されるように、コンテンツ条件は関心対象そのものとは間接的な関係しかなく、望まれる情報の種類に限定的であるかもしれない。コンテンツ条件の集合は、特定のユーザ関心対象または特定の用途のためにカスタム化することができる。そのため、コンテンツ条件の複数の集合が記憶されている場合、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件集合と異なる１つのコンテンツ条件を含んでいることができる。
【００６６】
別の実施形態において、照会する会社は、特定のユーザを選別し、または排除するための適格性認定規則または最低条件を提示するのではなく、異なる量の特徴的傾向に関する情報を取得するようなコンテンツ条件を定めてもよい。図８は、ユーザ関心対象６０に関係する可変情報がその関連する関心対象の特徴的傾向７６の中で提供される１つの実施形態において、関心対象６０がどのようにポピュレートされるかを示している。この例では、テーマパークへの随行が、ユーザ関心対象６０の全体である。この場合の特定のコンテンツ条件は、たとえばＥｐｃｏｔ（商標）等の特定のテーマパークに関連付け似られる画像を有することとすることができる。このコンテンツ条件が満足される場合、関連付けられた画像記録は、このユーザ関心対象に関係するその他の情報を示すのに役立つ情報を持っている可能性がある。特に複数の期間について、このコンテンツ条件を満たす多くの画像は、この特定のテーマパークに対して高い関心を有する傾向がある。たとえば、この特定のテーマパークは、大ファンのユーザが最近訪れたテーマパークの中のお気に入りであると判断することができる。あるいは、複数のテーマパークで撮影された画像から収集された情報は、関心対象の特徴的傾向として、他の情報を提供してもよい。たとえば、特定のユーザは、スリルのある乗り物、ハイテクを用いた乗り物またはその他のアトラクションや遊戯場に特に関心を持っているかもしれない。画像コンテンツやメタデータから究明されるユーザのパターンは、ユーザが宿泊したか否か、どのようなタイプのレストランやエリアに行ったか、それらの場所ではどのような買い物が行われたか等の関心対象の特徴的傾向を示すことができる。本明細書に記載したユーザのデジタル記録群から収集されるこの種の情報は、オンラインの広告主またはその他の関係者にとって価値のあるものかもしれない。
【００６７】
続いて図８に示される例を参照すると、ユーザのデジタル画像記録を分析することによって得られる関心対象の特徴的傾向７６は、ユーザ関心対象６０をより詳細に特徴づけるのに役立てることができる。したがって、たとえば、これは広告主が１つの種類の宣伝を、過去においては頻繁にテーマパークに行っていたが、昨年は行かなかったユーザをターゲットとして行うのに有益であるかもしれない。広告主は、テーマパークで宿泊する可能性の高いユーザに対しては、宣伝を異なるように調整したいと考えるかもしれない。また別の例では、広告主は、定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向により示されるような過去の挙動パターンに基づいて、ユーザに対する宣伝をカスタム化できる。
【００６８】
同様のロジックを使って、場所の種類や分類（たとえば、ビーチ、遊園地、国立公園、博物館、歴史遺跡、外国旅行等）を見つけることもできる。関心対象の特徴的傾向により、関心のある詳細度（すなわち、過去５年間の７月に米国のビーチに行ったこと、過去３年間に米国東部の遊園地に行ったこと等）が決められる。
【００６９】
本発明の実施形態によれば、ユーザの画像群に関するデータを広告主やその他の当事者に利用させるための、さまざまな変形版を考案することが可能である。図９には、１つの考えられる構成が示されている。ここで、サーバ７０には、ユーザのデジタル画像記録群４６が保持されている。広告主７４またはその他の外部の会社は、この記録群そのものにはアクセスできず、サーバ７０が、図９の太い点線で示されているようにこれを保護している。広告主７４が契約し、料金を支払うことで、１つまたは複数のユーザデジタル画像記録群４６からの意味データ７２とメタデータ６２がクエリへと供給される。このモデルを使い、広告主７４は、意味データ（画像コンテンツデータを含む）７２とメタデータ６２からデジタル画像記録群４６の所有者のユーザ関心対象に関する情報を取得するために必要ないくつかのアルゴリズムを提供する。広告主７４は次に、販売促進のための宣伝を提供する、またはその他ターゲットを絞った広告メッセージを届けるための、関心のあるアカウントのリスト７６を作成することができる。このサービスの提供者は、サーバ７０を通じて、メタデータ６２と意味データ７２を、広告主７４がアクセスのためにカスタムアプレットやその他のプログラムされた方法を使うことができるような、標準的な公開されたフォーマットによりアクセスできるようにすることができる。このような構成によれば、セキュリティが一層強化され、個人特定データを明らかにするのではなく、広告主には識別子としてアカウント番号だけが提供される。広告主は、その後、画像データ保管業者と契約して、アカウントユーザに対して、宣伝やターゲットを絞ったメッセージを送り、あるいはその他の方法でこの情報を提供することができる。
【００７０】
別の構成では、サーバ７０の所有者は、その画像に基づいてユーザアカウントの所有者を特徴づける、ユーザプロファイルやその他の情報を自動的に作成することができる。この情報は、何らかの方法で広告主７４に提供でき、アカウント所有者のセキュリティとプライバシを種々の態様で保護することができる。
【００７１】
ユーザ関心対象を評価するために上記のような処理を行うことにより、ユーザ関心対象とこれに関連付けられるユーザ関心対象の特徴的傾向に関する情報を、広告主または他の第三者に提供できる。本発明の実施形態は、広告主またはその他の第三者の会社から料金を受け取るような取引の一部とすることができる。各種の取引の方法を設定でき、たとえば料金の受領を確認してから、ユーザに関して得られた情報を送信するようなプロセスとすることもできる。
【００７２】
実施形態の例は、本発明を説明するためのものにすぎず、当業界の熟練者であれば、上記の実施形態のさまざまな変形版を本発明の範囲から逸脱することなく考案できるであろう。したがって、これらの変形版はすべて、以下の特許請求範囲並びにそれと同等のものの範囲に含まれるものとする。
【符号の説明】
【００７３】
１０ ディスプレイ、１２ デジタル画像、２２ システム、２４ プロセッサアクセス可能メモリシステム、２６ データ処理システム、２８ ユーザインタフェースシステム、３０ 周辺システム、４６ デジタル画像記録群、４８，７６ 関心対象の特徴的傾向、５６ デジタル画像記録集合、５８ 上位集合、６０ ユーザ関心対象、６２ メタデータ、７０ サーバ、７２ 意味データ、７４ 広告主、９０ ポピュレートされた関心対象。
【技術分野】
【０００１】
本発明は一般に画像解析方法に関し、より詳しくは、デジタル画像記録群からユーザの関心対象を評価する方法に関する。
【背景技術】
【０００２】
ある人物の画像群に基づいてその個人に関してわかること、または推測できることはたくさんあり、たとえば、趣味や頻繁に行う活動、旅行や休暇で訪れる場所、ペット、家族、友人その他の関心事がある。この種の情報は、広告主や、資金または支援を求める人にとって、特に興味深いものでありうる。ある人物のデジタル画像記録からその人について知ることによって、広告主は販売、マーケティング、販売促進の方法を、関心のある視聴者に届けるように、より的の絞られたものにできる。
【０００３】
ある人物のデジタル画像記録群からその人について多くを知ることができると認識されているものの、このような情報を取得するための従来の技術は、依然としてあまりにも単純であり、大きな欠点がある。１枚または複数の画像の画像データコンテンツから意味情報を取得する方法がある。たとえば、画像解析技術の熟練者にはなじみ深いが、あるデジタル画像の中の人物、動物およびさまざまなオブジェクトを容易に検出する方法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，２１８，７５９号明細書
【特許文献２】米国特許第７，１１０，５７５号明細書
【特許文献３】米国特許第７，１４２，６９７号明細書
【特許文献４】米国特許第５，６４０，４６８号明細書
【特許文献５】米国特許第６，２０５，２３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ある人の関心対象について知ることは、単に画像のコンテンツをその画像のオブジェクトのための画像単位またはラベルに分解し、これらのオブジェクトをユーザに機械的に関連付けることだけではない。関心対象は、人が異なる時期に撮影した画像からのほうがより正確に知ることができ、いつ、どこで写真が撮影されたか、画像群の中に特定の人物、場所、イベントまたはオブジェクトがどれだけ頻繁に写っているか、どの人物またはオブジェクトが同じ画像の中、または同じ時間的イベント内で撮影された複数の写真の中に写っている傾向にあるか、等の要素との間に、少なくともある程度の確率的関係がある。ユーザの関心対象をより正確に評価できれば、これは広告主その他が、その提供するメッセージ、アピール、サービスまたは製品の宣伝を個々のユーザにより有効に関係づけるのに役立つ。
【０００６】
そこで、ユーザのデジタル画像記録群からユーザの関心対象に関する情報を取得するための、より体系的で堅牢な方法が求められている。
【課題を解決するための手段】
【０００７】
本発明の各種の実施形態による、デジタル画像記録群からユーザの関心対象を評価するためのシステムと方法によって、当業界において上記の問題が対処され、技術的解決が実現される。
【０００８】
いくつかの実施形態によれば、本発明は、少なくともユーザのデジタル画像記録群の分析結果に基づいて、ユーザの関心対象（subject interest）を評価する方法を提供する。この方法は、少なくとも部分的にデータ処理システムによって実行され、定義済みのユーザ関心対象を受け取るステップと、定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取るステップと、デジタル画像記録群から、それぞれがコンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定するステップと、少なくともデジタル画像記録集合またはその特徴集合の分析結果に基づいて、定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を評価するステップと、評価された関心対象の特徴的傾向を、プロセッサにより読取可能なメモリの中の定義済みのユーザ関心対象に関連付けるステップと、を含む。
【０００９】
いくつかの実施形態において、デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録上位集合(superset)に含まるものより少なく、デジタル画像記録上位集合に含まれるデジタル画像記録は、デジタル画像記録群より少ない。デジタル画像記録集合を特定するステップは、まず、デジタル画像記録群から、それぞれがコンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するデジタル画像記録上位集合を特定するステップと、次に、デジタル画像記録上位集合から、コンテンツ条件の全部を満たす画像特徴を有するものとしてデジタル画像記録集合を特定するステップと、を含む。
【００１０】
関心対象の特徴的傾向とは、定義済みのユーザ関心対象においてユーザが示す関心レベルとすることができる。１つの実施形態において、定義済みのユーザ関心対象はスポーツであり、関心対象の特徴的傾向は、そのユーザがそのスポーツを行うときに好む用具の種類である。ユーザ関心対象がある活動である実施形態においては、関心対象の特徴的傾向はユーザによるその活動への参加の特徴に関する。コンテンツ条件集合のうちの少なくともいくつかのコンテンツ条件は、第三者の広告主から受け取ってもよい。
【００１１】
関心対象の特徴的傾向を評価するステップは、デジタル画像記録集合に関係する時間、場所または時間と場所の両方に関するコンテキスト情報を取得するステップと、少なくとも取得したコンテキスト情報の分析結果に基づいて画像分析ユーティリティを特定するステップと、少なくとも特定された画像分析ユーティリティを使って、デジタル画像記録集合の中の画像を分析するステップと、を含んでいてもよい。
【００１２】
上記の実施形態に加え、その他の実施形態も、図面を参照し、以下の詳細な説明を読むことによって明らかとなるであろう。
【００１３】
本発明は、以下に示す実施形態の例についての詳細な説明を、添付の図面を参照しながら読むと理解しやすいであろう。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による、ユーザの関心対象を評価するシステムを示す図である。
【図２】本発明の実施形態による、ユーザの関心対象をそのユーザのデジタル画像記録から評価するためのステップのブロック図である。
【図３】本発明の実施形態による、関心対象情報を取得するためにコンテンツ条件を用いる例を示すブロック図である。
【図４】本発明の実施形態による、ユーザの画像記録下位集合から関心対象情報を取得する例のブロック図である。
【図５】本発明の実施形態による、関心対象に関係するコンテンツ条件の構成を示すブロック図である。
【図６】本発明の実施形態を広告主またはその他の第三者がどのように使用できるかを示す論理フロー図である。
【図７】１つの実施形態におけるデジタル画像記録分析の中でコンテキスト情報を使用するシーケンスを示す論理フロー図である。
【図８】本発明の実施形態による、関心対象に関するコンテンツ条件のクエリの構成を示すブロック図である。
【図９】本発明の実施形態による、広告主等の外部の者に対して意味データとメタデータを提供するための１つのモデル構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
添付の図面は、本発明の概念を説明するためのものであり、正確な縮尺ではないかもしれない点を理解されたい。
【００１６】
本発明の実施形態は、ユーザのデジタル画像記録群の分析から、ユーザの関心対象を評価する。この点に関して、ユーザの関心対象に関連付けられる所定のコンテンツ条件集合は、たとえばデータ処理システムによって受け取られる。次に、より広いデジタル画像記録群からデジタル画像記録集合が特定され、この集合の中のデジタル画像記録は、コンテンツ条件を満たす特徴を有する。次に、ユーザの関心対象の特徴的傾向を、少なくともこのデジタル画像記録集合の特徴の分析結果に基づいて評価することができる。
【００１７】
本発明の実施形態を用いて、たとえば、ターゲットとする視聴者に届けることに関心を持つ広告主は、このプロセスへの入力として、その視聴者を特徴づける１つまたは複数のユーザ関心対象に関する情報を提供する。スポーツ用品店の場合、この情報は、たとえばキャンプやハイキングへの関心に関するかもしれない。この屋外活動に対するユーザの関心対象に関連付けられるコンテンツ条件は、広告主から提供されても、あるいは各種の実施形態によって行われる評価を実行するサーバまたはその他のプロセッサによって生成されてもよい。コンテンツ条件は、ユーザの画像記録群から、ユーザ関心対象をより詳細に特徴づけるために必要な情報を提供するのに役立つ特定の画像記録集合を特定するために使用される。たとえば、コンテンツ条件は、屋外活動への関心度をより詳細に定義すること、すなわち、登山やその他、より身体的に難度の高い活動に対してそのユーザが相対的にどの程度の関心を有するか、またそのユーザがより頻繁に訪れる特定のお気に入りの州立または国立公園があるか否か、といった各種の関心対象の特徴的傾向を究明することに向けられていてもよい。このような種類の情報による関心対象の特徴的傾向は、画像の下位集合から収集され、ユーザ関心対象に関連付けることができ、それによって、特定のユーザに関するユーザ関心対象を「ポピュレートする(populate；（データ等をデータベース等に）投入・追加する)」ことができる。その結果、この広告主からの製品やサービスの宣伝は、このユーザのニーズにより密接に合うように調整されたものとなり、この広告主は、マーケティングメッセージの格好の受け取り手を見つける可能性が高くなる。
【００１８】
「デジタル画像記録」という用語は、本明細書において、直接撮影されたか、またはスキャニングにより印刷されたデジタル静止画像を含み、さらに、デジタルビデオ画像を含めるものとする。また、特に明確に他の説明がない場合や文脈上不可能な場合を除き、「または」という単語は、本明細書において、非排他的意味で使用されている。
【００１９】
本明細書で説明する各種の機能と工程は、コンピュータまたはその他のタイプのコントロールロジックプロセッサに実装され、「ソフトウェア」または「ソフトウェアプログラム」の中に記憶される一連の命令としてセットアップされてもよい。しかしながら、当業者であれば、上記のようなソフトウェアと同等の機能は、ハードウェアでも容易に実行できることに気付くであろう。
【００２０】
［システムハードウェア］
図１は、本発明の実施形態による、ユーザのデジタル画像記録群の分析からユーザ関心対象を評価するシステム２２を示す。システム２２は、データ処理システム２６と、周辺システム３０と、ユーザインタフェースシステム２８と、プロセッサアクセス可能メモリシステム２４を備える。プロセッサによりアクセス可能なメモリシステム２４と、周辺システム３０と、ユーザインタフェースシステム２８は、データ処理システム２６に通信可能に接続される。データ処理システム２６は、本明細書で説明する図２、図６、図７の工程例を含め、本発明の各種の実施形態の工程を実行する１つまたは複数のデータ処理デバイスを備える。
【００２１】
「データ処理デバイス」または「データプロセッサ」という語句は、どのようなデータ処理デバイスであってもよく、たとえば、ＣＰＵ（中央処理ユニット）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯情報端末、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、デジタルカメラ、携帯電話その他、データを処理し、データを管理し、データを取り扱うあらゆるデバイスを含み、電気、磁気、光、生体成分その他、いずれの方式によるものでもよい。
【００２２】
プロセッサアクセス可能メモリシステム２４は、本明細書で説明する図２、図６、図７のプロセッサの例を含め、本発明の各種の実施形態の工程を実行するのに必要な情報を含む情報を記憶するように構成された１つまたは複数のプロセッサにより読取可能なメモリを備える。プロセッサアクセス可能メモリシステム２４は、複数のコンピュータおよび／またはデバイスを介してデータ処理システム２６に通信可能に接続された複数のプロセッサによる読取可能なメモリを含む、分散型のプロセッサによる読取可能なメモリシステムであってもよい。これに対して、プロセッサアクセス可能メモリシステム２４は、分散型のプロセッサによる読取可能なメモリシステムである必要はなく、したがって、単独のデータプロセッサまたはデバイス内に配置された１つまたは複数のプロセッサアクセス可能メモリを含んでいてもよい。
【００２３】
「プロセッサアクセス可能メモリ」という語句は、揮発性または不揮発性の、電子、磁気、光その他、あらゆるプロセッサアクセス可能なデータ記憶デバイスを含むものであり、たとえば、これらに限定されないが、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、ＲＡＭがある。
【００２４】
「通信可能に接続される」という語句は、デバイス、データプロセッサまたはプログラム間の、有線または無線の、データを通信できるあらゆるタイプの接続を含むものとする。さらに、「通信可能に接続される」という語句は、１つのデータプロセッサ内のデバイスまたはプログラム間の接続、異なるデータプロセッサに配置されたデバイスまたはプログラム間の接続、データプロセッサの中にはないデバイス間の接続も含むものとする。この点に関して、プロセッサアクセス可能メモリシステム２４は、データ処理システム２６とは分離して示されているが、当業者であれば、プロセッサアクセス可能メモリシステム２４は、完全に、または部分的にデータ処理システム２６の中に記憶されていてもよいことがわかるであろう。この点に関してさらに、周辺システム３０とユーザインタフェースシステム２８は、データ処理システム２６とは分離して示されているが、当業者であれば、このようなシステムの一方または両方が、完全に、または部分的にデータ処理システム２６の中に記憶されていてもよいことがわかるであろう。
【００２５】
周辺システム３０は、デジタル画像記録をデータ処理システム２６に供給するように構成された１つまたは複数のデバイスを含んでいてもよい。たとえば、周辺システム３０は、デジタルビデオカメラ、携帯電話、一般的なデジタルカメラまたはその他のコンピュータであってもよい。データ処理システム２６は、周辺システム３０の中のあるデバイスからデジタル画像記録を受け取ると、そのデジタル画像記録をプロセッサアクセス可能メモリシステム２４の中に記憶してもよい。
【００２６】
ユーザインタフェースシステム２８は、マウス、キーボード、別のコンピュータまたはそこからデータをデータ処理システム２６へと入力できるあらゆるデバイスまたはデバイスの組み合わせであってもよい。この点に関して、周辺システム３０はユーザインタフェースシステム２８とは分離して示されているが、周辺システム３０は、ユーザインタフェースシステム２８の一部として含められていてもよい。
【００２７】
ユーザインタフェースシステム２８は、表示デバイス１０、プロセッサアクセス可能メモリまたは、データ処理システム２６によるデータの出力先となるあらゆるデバイスまたはデバイスの組み合わせであってもよい。この点に関して、ユーザインタフェースシステム２８にプロセッサアクセス可能メモリが含まれている場合、図１ではユーザインタフェースシステム２８とプロセッサアクセス可能メモリシステム２４が分離して示されているが、このようなメモリはプロセッサアクセス可能メモリシステム２４の一部であってもよい。
【００２８】
プロセッサアクセス可能メモリシステム２４の中のデジタル画像記録群に記憶された画像記録は、画像資産とも呼ばれ、異なる量のメタデータにリンクされていてもよい。この画像メタデータは、画像が撮影された条件に関する各種の意味および構造情報ならびに画像コンテンツに関して得られた情報とすることができる。例として、デジタル画像記録のメタデータは、画像撮影の日時、撮影場所（たとえば、ＧＰＳ（全地球測位システム）により提供される）、カメラの所有者、カメラの種類、画像解像度、オペレータまたは画像の閲覧者からのコメント、画像コンテンツそのものから得られる各種のデータとすることができ、これには、たとえば画像の被写体を評価する情報が含まれる。あるデジタル画像記録に関する補足的メタデータの１つの種類として取得され、保存される意味情報は、画像の中のオブジェクトから得られた各種の情報を含んでいてもよく、たとえば、オブジェクト認識または顔検出もしくは認識を行う各種のソフトウェアアプリケーション等、当業界で知られている画像解析ツールからのデータが含まれる。
【００２９】
顔検出アルゴリズムは周知であり、たとえば「デジタル画像における顔検出（Face Detection in Digital Images）」と題するホー他の特許文献１および、「デジタルカラー画像において顔の位置を検索する方法（Method for Locating Faces in Digital Color Images）」と題するチェン他の、本願と同じ譲受人に譲渡された特許文献２等に記載されている。顔認識アルゴリズムは、これも当業界で知られており、次に、特定された顔デジタル画像記録を分析して、１つまたは複数の検出済みの顔から一致する顔を探す。「ポーズ不変顔認識システムおよび処理（Pose-Invariant Face Recognition System and Process）」と題するフアン他の特許文献３には、モデルとなるデジタル画像記録をデジタル画像記録内の顔を認識するようにニュートラルネットワークを学習させるためのツールとして使用することが記載されている。オブジェクト検出アルゴリズムもまた周知であり、当業者にとってなじみ深い。たとえば、静止画像の中のオブジェクト検出方法は、「画像においてオブジェクトおよび特徴を特定する方法（Method for Identifying Objects and Features in an Image）」と題するスー他の特許文献４に示されている。ビデオ画像データ内のオブジェクトのための適応型オブジェクト検出方法は、「動くビデオ画像におけるオブジェクト同定（Object Identification in a Moving Video Image）」と題するイサドーレバレッカ(Isadore-Barreca)他の特許文献５に記載されている。
【００３０】
ユーザ関心対象を評価する１つのステップは、そのユーザに関連付けられたデジタル画像記録群にアクセスするステップを含む。デジタル画像記録群は、プロセッサアクセス可能メモリシステム２４の中に記憶され、これは多数のうちのいずれの形態をとってもよい。１つの実施形態において、デジタル画像記録群は、画像記憶サービスを申し込んだユーザのために記憶される。その例としては、個々のユーザが自分の画像をサーバにアップロードし、他の画像にアクセスし、またプリントを注文したり共有したりすることのできるＫｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙのインターネットサイト等がある。
【００３１】
本発明の各種の実施形態によりユーザ関心対象を評価する別のステップは、１つまたは複数のコンテンツ条件の提供、アクセスまたは受け取りである。コンテンツ条件は、特定の関心対象を示す傾向のある「ルール」またはパターンに関する。たとえば、コンテンツ条件は、ボート遊びに対するユーザ関心対象を示すためにユーザの画像記録群からヨットの画像を検出することを指定してもよい。コンテンツ条件の中の別のルールによって、ヨットの画像を複数のイベントで検出したことをユーザがそれに対して継続的に関心を有することを示すように規定してもよい。定義済みのユーザ関心対象に関連付けられるコンテンツ条件の集合を規定する工程は、画像コンテンツ、画像メタデータ、または意味データを考えられるユーザ関心対象に関連付けるいくつかの前提を作るステップを含む。したがって、コンテンツ条件は、関連するユーザ関心対象に固有であるか、または実質的に固有であることが多い。言い換えれば、プロセッサアクセス可能メモリシステムに複数の定義済みのユーザ関心対象が記憶されている場合、各関心対象にはコンテンツ条件の集合が関連付けられているかもしれない。この場合、コンテンツ条件の各集合は、他のコンテンツ条件集合、または実質的に他のすべてのコンテンツ条件集合とは異なる少なくとも１つのコンテンツ要求事項を含んでいるかもしれない。
【００３２】
コンテンツ条件は、たとえば、特定の活動または製品の愛好者を特定することに関心を有する第三者の広告主によって提供されてもよい。あるいは、コンテンツ条件集合は、システム２２を管理する主体によって設定されてもよい。一度に複数の供給元からのコンテンツ条件を適用し、またコンテンツ条件を組み合わせて、より多くの情報を抽出することが可能である。多数の供給元のいずれから取得したコンテンツ条件であっても、プロセッサアクセス可能メモリ２４の中に保存できる。
【００３３】
１以上のユーザ関心対象を評価することは、たとえば、広告主となるかもしれないもののためにユーザを特徴づけるのに使用できるユーザプロファイルを作成する全体的工程の一部とすることができる。したがって、１以上のユーザ関心対象の評価はルーチン作業として、たとえば新しい画像がアップロードされたとき、またはユーザに関連付けられた追加情報が利用可能となったとき等、適当な時期にアップデートされるユーザ関心データを用いて実行することができる。あるいは、ユーザ関心対象の特定は、必要に応じて、たとえば、特定の製品分野に関心を有するもの等、特定の基準を満たすと思われる全ユーザにオファーを提供したいと広告主から希望されたときなどに実行してもよい。たとえば、ユーザがその時点で関心を持っているデジタル画像を限られた時間だけしか利用できない独立したフォトキオスクや小売りベースのミニラボのように、ユーザの完全な画像群が利用できない場合、システムは、特定された各ユーザに関する「流動的な」ユーザプロファイルを作成し、そのユーザがそのキオスクまたはミニラボに新しい画像をダウンロードするたびに、ユーザ関心対象に関してアップデートされるようにすることができる。
【００３４】
本発明の実施形態は、ユーザの関心対象を評価することに関しており、たとえばその関心対象に関連付けられた１以上の特徴的傾向を評価することによる。「関心対象の特徴的傾向（subject interest trait）」という語句は、ユーザ関心対象への特定のユーザの関与に関する何らかの事柄を示す広範囲の情報を包含するために使用される。関心対象の特徴的傾向と考えることのできる１つの基本的な関与の度合いは、あるユーザがあるユーザ関心対象について有する愛好度または熱中度に関する。
【００３５】
たとえば、ユーザ関心対象はランニングであってもよい。すると、関心対象の特徴的傾向は、そのユーザによる対応するユーザ関心対象との関与に関する情報を提供する。関心対象の特徴的傾向の例は、対応する関心対象、この場合はランニングに対するそのユーザの関心度である。たとえば、あるユーザは、ユーザの活動の中にこの結論を指し示す多数のデータポイントがあるというだけで、高い関心度を見せるかもしれない。他のタイプの関心対象の特徴的傾向は、たとえばシューズやウェア等、そのユーザの好みの用具、ユーザが参加者または観客であることを好むか否か、あるいは関心対象に関連付けられるお気に入りのイベントがあるかどうかに関する。ランニングのユーザ関心対象の場合、このような関心対象の特徴的傾向は、ユーザはランニングの時に特定のブランドのシューズを好み、他の人が走っているのを見るのではなく、走ることを楽しみ、毎年行われるチャリティレースに常に参加することを指定してもよい。
【００３６】
デジタル画像記録は、上記のような種類の関心対象の特徴的傾向を取得するための有益なメカニズムとなる。ランナーの例では、ユーザの画像とこれに関連するメタデータを分析して、ウェアやシューズのメーカのブランド、大会への参加の種類、そのユーザが大会に参加するのにどこまで行こうとするか、およびユーザの関与をユーザの関心対象に関係づけるその他の関心対象の特徴的傾向等の情報を得ることができる。
【００３７】
図２を参照すると、定義済みのユーザ関心対象を、関連付けられたコンテンツ条件に基づいて評価する方法の論理フロー図が示されている。定義済みのユーザ関心対象６０が、ユーザ関心対象受け取りステップ６４で取得される。コンテンツ条件４２も、この処理への入力として供給され、コンテンツ条件受け取りステップ４０において、プロセッサアクセス可能メモリシステム２４の中に保存されてもよい。特定ステップ４４では、デジタル画像記録群から、それぞれがコンテンツ条件４２を満たす画像特徴を有するデジタル画像記録集合５６が特定される。デジタル画像記録５６は、たとえば、ユーザ画像群４６からの画像資産であってもよい。
【００３８】
特定ステップ４４は、提供されたユーザ関心対象を満たす可能性がより高いデジタル画像の１以上の別の下位集合を選別する複数のサブステップを含んでいてもよい。たとえば、デジタル画像記録集合特定ステップ４４は、まずデジタル画像記録群からデジタル画像記録の第一の下位集合特定ステップを含んでいてもよく、第一の下位集合に含まれるデジタル画像記録は、ユーザ画像群の中のデジタル画像記録群４６全体より少なく、第一の下位集合の中の各記録は、ユーザ関心対象６０に関連付けられるコンテンツ条件４２のうちの全部ではなくいくつかを満たす画像特徴を有する。ステップ４４では次に、少なくとも、第一の集合の中でコンテンツ条件４２の全部を満たすデジタル画像記録を特定することによって、デジタル画像記録の第一の集合からデジタル画像記録集合５６が特定されてもよい。第一の集合には、集合５６より多くのデジタル画像記録が含まれているため、第一の集合を、本明細書においては、デジタル画像記録の「上位集合」と呼ぶ。
【００３９】
その一例として、ユーザ関心対象が孫である場合、ユーザが祖父母であるか否かを判断しようとする。この判断を下すには、関連するコンテンツ条件が、画像に年配の大人と子供の両方が写っていることを要求するかもしれない。しかしながら、データ処理システム２６にとっては、まず、年配の大人を含む画像記録の上位集合を特定し、その後、その上位集合から、さらに子供も含む画像記録集合５６を特定するほうが効率的であるかもしれない。
【００４０】
依然として図２を参照すると、評価ステップ６８で、デジタル画像記録集合５６が分析され、ユーザ関心対象６０に関連付けられる関心対象の特徴的傾向７６が評価される。関心対象の特徴的傾向７６の例は後に紹介する。次に、関連付けステップ７８において、評価された関心対象の特徴的傾向７６がユーザ関心対象６０に関連付けられ、この関連付けがプロセッサアクセス可能メモリシステム２４の中に保存される。
【００４１】
上記のような関連付けは、ユーザ関心対象６０を確認し、ポピュレートするのに役立つ。ユーザ関心対象６０をポピュレートすることは、関心対象を評価するだけでなく、他の情報を提供することも暗示し、たとえば、何らかの定量的情報が提供され、これは、後の分析において、たとえば相対的関心度または、そのユーザ関心対象へのユーザの関与に関するその他の詳細を判断するために使用することができる。
【００４２】
図３のブロック図は、コンテンツ条件４２を使ってユーザ関心対象６０をポピュレートする例を示す。この例に関して、広告主またはその他の関係者は、孫がいるかもしれないことを示す、ユーザ関心対象を有する１人以上のユーザを特定したいと希望する。これは、たとえば、おもちゃまたはその他、子供向け商品のカタログや宣伝を受け取ることに特定の興味を有すると思われるユーザの母体を探している広告主のために使用される。その判断を助けるために、コンテンツ条件４２は、以下を規定する。
（ｉ）集合５６の中のデジタル画像記録４６が、たとえば顔認識アルゴリズムの判断によって、画像の中にユーザがいることを示すという条件４２ａ
（ｉ）ユーザのための集合５６の中のデジタル画像４６が、約１２歳より小さい子供の複数のインスタンスを示すという条件４２ｂ
（ｉｉ）集合５６の中の複数の画像が、同一の画像の中の子供と大人の両方を示すという条件４２ｃ
（ｉｉｉ）集合５６の画像が、複数のイベントにおいて条件（ｉ）と（ｉｉ）を満たすという条件４２ｄ
（ｉｖ）（ｉｉｉ）の中のイベントが複数の休日を含むという条件４２ｅ
【００４３】
上記のコンテンツ条件集合４２は、各ユーザアカウント内の画像資産について、図２の中の特定ステップ４４を実行する検索工程５４へと進められる。静止画像およびビデオ画像記録ならびにその他のデジタル画像記録の中から、これらのコンテンツ条件の基準を満たすものを検索する。あるユーザが対応する関心対象を有する場合、これは、相応に特徴的傾向７６とともにポピュレートすることができる。コンテンツ要求を満たす画像記録を持っていないユーザの場合、対応するユーザ関心対象６０は、関心度が低い、関心度が不明、または関心なし、を示す特徴的傾向７６とともにポピュレートすることができる。ユーザまたはユーザのプロファイルの中のいずれかの人物が特定された関心対象に対して有する関心度を評価する中で、追加のステップが実行される。
【００４４】
図３の例のコンテンツ条件４２ａ−４２ｅおよび一般のコンテンツ条件は、多数の供給元の１つまたは複数から提供されてもよい。たとえば、コンテンツ条件は、関心対象に関する情報を取得することに関心を有する広告主によって提供されるかもしれない。あるいは、コンテンツ条件は、ユーザ画像記録を保存し、管理する事業者または、広告主その他の会社のニーズに応答し、取得可能な情報の種類とデジタル画像記録集合の分析に利用可能なユーティリティに関するある程度の知識を有する第三者の開発業者によって提供されるかもしれない。
【００４５】
図３の例は、特定のユーザに関連付けられたデジタル画像記録集合５６の分析結果を使用して、ユーザ関心対象６０がどのようにポピュレートされるかを示している。画像およびその他のデジタル画像記録の分析結果から得られる関心対象の特徴的傾向は、単純にユーザの関心を評価しただけの場合より多くの情報を提供する。関心対象の特徴的傾向と関心対象との関連付けの一例は、関心対象６０へのユーザの関心度またはかかわりの度合いに関する。図３において、たとえば、この特定のユーザの孫に対する関心度を把握し、その後、これをユーザ関心対象、すなわち孫に関連付けることができる。ユーザがさまざまな場所に孫を連れて行く、または孫と一緒に旅行する、あるいは同じ場所の孫を訪問するか否かを究明できる。たとえば、孫の年齢や人数といった、その他の情報もまた、この関心対象を追加するためのその他のデータとして取得することができる。
【００４６】
図４の例は、図２の特定ステップ４４を実行する工程を示している。ここで、図３に示したものと同じコンテンツ条件４２を使って、集合４６からデジタル画像記録を調査することができる。この処理の結果として、まず画像の上位集合５８が得られる。上位集合５８は、コンテンツ条件４２のいくつかに関する基準を満たす。図４の例では、上位集合５８には、ユーザ（大人）、別の大人および１２歳以下の子供の写った画像（コンテンツ条件４２ａ，４２ｂ，４２ｃ）が含まれており、これらは、当業界で周知の顔検出および年齢検出アルゴリズムによって自動的に認識することができる。その後の処理で、上位集合５８から、複数の休日（イベントの例）において撮影されたとみられる画像の下位集合５６（コンテンツ条件４２ｄ，４２ｅ）が特定される。これらの画像がどのイベントからのものか、およびこれらがどこで撮影されたかといった要素に注目することにより、大人が子供の祖父母であると推測することができる。画像コンテンツそのものを分析することに加え、上位集合５８または下位集合５６のいずれかを特定することは、画像に関連付けられるメタデータ６２を使って実行できる。このメタデータ６２は、たとえば、場所の情報、カメラの所有者、日時スタンプおよび、検索工程５４（図３）に有益なその他のデータであってもよい。
【００４７】
［コンテンツ条件を使って関心対象の特徴的傾向を特定する例］
図５は、具体的なユーザ関心対象６０に関係するコンテンツ条件集合４２の例を示す。この例では、スポーツ用品とウェアのメーカが、特定の市場分野をターゲットとする製品を有する。この市場分野により効果的に対応するために、メーカは、ある人物がテニスをするということだけでなく、そのプレイヤを、販売促進のための宣伝を行うための格好の候補として、より正確に認定できるようなその他の条件も満たすか否かを判断したいと望む。
【００４８】
図５の例では、定義されたユーザ関心対象６０は、ユーザがテニスをすることである。このユーザ関心対象に加えて、広告主がこのユーザについて知りたい具体的なデータ項目がある。この情報は、コンテンツ条件集合を考慮して、このユーザからの画像集合を分析することによって得られる。コンテンツ条件の種類は異なっていてもよい。図５の具体的な例は、使用可能なコンテンツ条件の一般的な種類を示している。
（ｉ）同じ日およびある期間にわたる参加頻度。コンテンツ条件４２は、ある種の活動への関与が明確となるにはいくつかの最低条件が満たされるものと指定してもよい。この例において、デジタル画像集合をチェックして、ユーザが少なくとも特定の回数（図５の例では３回以上）テニスをしていることを示し、また毎回少なくとも何枚かの画像（この例では、２枚以上）があるか否かを判断することができる。
（ｉｉ）ユーザの身体的特徴。この例において、広告主は、左利きのプレイヤを見つけることに関心を有する。この具体的な例は誘導的であるが、これは、コンテンツ条件がユーザ関心対象に間接的にしか関連していないからである。この特徴的傾向は、ユーザ関心対象を検出するプロファイリング工程の中で取得できる可能性が低い。すなわち、テニスファンを検出し、これをユーザプロファイルの中に含めるために使用されるロジックで、右利きまたは左利きも判断できる可能性は低い。このようなより複雑な情報については、たとえば、プレイヤの構えを検出するためのものなど、画像形成技術の熟練者にとってなじみ深い技術を用いて、ある種の画像分析アルゴリズムが使用される。
（ｉｉｉ）記号、形状、色またはロゴ等の１以上の識別特徴。広告主は、ブランドで商品を選ぶ人、あるいは特定の高級品を好む、購入できる、知っている、またはそれに価値を置く人に関心を持つかもしれない。上記の（ｉｉ）の例と同様に、これは、ユーザプロファイルに含まれない、あるいはテニスファンを検出するのと同じロジックでは検出できる可能性が低い特徴的傾向情報である。各種の実施形態において、画像記録集合の中の画像を分析して、ある特徴を特定するためには、各種の特徴認識ソフトウェアが必要とされる。この例の場合、関心の対象となる特徴は、テニスウェアとテニス用品に固有ものである。
（ｉｖ）環境要因。この例では、広告主は、屋内テニスプレイヤ、または屋内と屋外の両方でプレイするプレイヤの視聴者に関心を持っている。光や色等の画像の可変要素は、画像が屋内で撮影されたか否かを判断するのに利用できる。
（ｖ）パフォーマンスの特徴。ユーザに関するより複雑な情報は、たとえばビデや動画データまたはその他の情報を分析することによって得られる。この場合、広告主は、少なくともある程度のプロフェッショナルなプレイを見せるユーザに対して関心を持つ。
【００４９】
上記の例（ｉ）から（ｖ）は説明のためであり、他の一般的な種類のコンテンツ条件の多くもこの目的のために使用できると理解できる。たとえば、関心対象分野との関係は幾分間接的であるが、特定のユーザにとってのユーザ関心対象に関連付けることのできる関心対象の特徴的傾向を明らかにするような、地理情報であってもよい。一般的に、この例で示されるコンテンツ条件は、傾向、好みまたは、従来のユーザプロファイルからは容易に得られないその他の特徴的傾向といった各種の関心対象の特徴的傾向を取得するのに役立つ。たとえば、ユーザプロファイルの中にユーザに関するこのような多数の具体的な情報が含まれることは稀である。図５に関して説明した広告主等の観点から、本発明は、まず、１以上の関心対象を有するユーザの下位集合を選別し、特定するのに役立つ。次に、本発明により、少なくともそのユーザに関係する画像記録コンテンツの分析結果に基づいて、関連する関心対象の特徴的傾向を評価することにより、その関心の特徴づけを改善することができる。
【００５０】
図６は、１つの実施形態による、本発明の方法を使用する処理ステップの例を示す論理フロー図である。この例に関して、図５の例に続き、広告主は、ユーザ関心対象６０と１つまたは複数の関連する４コンテンツ条件を特定し、ある製品または販売促進に対して関心を持つ可能性が高くなるような特定の基準を満たすユーザを特定する。アカウント特定ステップ８０では、ユーザプロファイル情報を調査して、明示されたユーザ関心対象を有することが示されるユーザを特定する。この例において、ステップ８０で２人のユーザ、ＱとＲが得られる。ユーザＱ，Ｒはどちらも、関連するデジタル画像記録群４６を有する。図５の例では、ユーザＱとＲの両方のユーザプロファイルデータは、テニスへの関心度を示す。しかしながら、図５に関して述べたように、広告主はより多くの情報を望む。特定の種類の情報は、ユーザ関心対象の「テニス」に関するが、ユーザの関与に関するより詳細な情報を必要とする関心対象の特徴的傾向である。
【００５１】
記録特定ステップ８２は、ユーザＱ，Ｒに関して、デジタル画像記録群４６から、あるユーザ関心対象６０および関連するコンテンツ条件４２を満たす画像特徴を有する、適当なデジタル画像記録集合５６を特定するために実行される。第一段階で、これは、画像コンテンツまたは関連する画像メタデータにしたがって、テニスと何らかの関係のある画像を収集することを意味する。このような初期の選別による画像がユーザ関心対象に関する画像とともに収集されると、次に、さらに選別が行われ、関心の特徴的傾向を示す可能性があると思われる画像が特定され、これらの画像が集合５６に分類される。
【００５２】
次に分析ステップ８４が一種のフィルタリングシーケンスとして実行され、集合５６からの画像コンテンツが詳細に分析される。分析ステップ８４に利用できる各種のツールとユーティリティとしては、オブジェクト認識ユーティリティがある。
【００５３】
定義されたコンテンツ条件を使って、その後の処理において、デジタル画像記録またはその特徴を分析するために使用される適当なオブジェクト認識方式を明示することができる。これは、処理速度と得られた情報の正確さを改善するのに役立つ。たとえば、車輪付きの乗り物を検出するための一般的なオブジェクト認識ユーティリティは、自転車を自動車またはトラックから区別することは容易にできるが、自動車をバイクから区別すること、あるいはバイクの種類を区別することは難しいかもしれない。ある種類のオブジェクトを別の種類のものと区別することは、この例が示すように、コンテンツ条件に関係する関心対象の特徴的傾向を適正に特定する上で重要でありうる。このような場合、いくらかの関連するコンテキスト情報があれば、特定のデジタル画像記録集合の分析に使用されるオブジェクト認識ユーティリティを特定しやすくなることがわかる。
【００５４】
分析ステップ８４（図６）に関して、本発明の実施形態は、ある画像に関連付けられているメタデータまたは、画像コンテンツそのものの中に保存されている意味情報として容易に識別できるメタデータのいずれかにおいて使用可能なコンテキスト情報を利用する。
【００５５】
図７を参照すると、１つの実施形態において分析ステップ８４の一部としてコンテキスト情報を使用するための論理フロー図が示されている。図７の工程は、コンテンツ条求を使って得られたデジタル画像記録集合５６に基づいて、より正確にユーザを特徴づける関心対象の特徴的傾向４８を提供することに関する。データ取得ステップ３２では、画像集合５６の中の１つまたは複数の画像を特定のイベントに関連付けるために使用できるメタデータまたは意味データが得られる。イベントにはさまざまな関連するコンテキストデータがあり、たとえば、イベントは、特定の時間に特定の場所で行われたことがわかっている。１つの例にすぎないが、デジタル画像記録集合が、全国的に知られているカーレース、たとえばＮＡＳＣＡＲのイベント等で得られたものと判断することができる。このイベントの時間と場所の両方がわかっており、このデータに対応する同じ時間と場所の情報を有する画像は、それ自体でこのレーシングベントに関連付けられる。次にこの知識は分析ステップ８４で使用され、その集合の中のデジタル画像記録には対して最も適当または効果的に使用できるのは、どの画像オブ軸と認識ユーティリティかを判断するのに役立てられる。たとえば、上記のＮＡＳＣＡＲのイベントを考えると、オブジェクト認識ユーティリティは、特定の車、ドライバまたはスポンサに対する特別な関心を検出するように開発または微調整することができる。同様に、体操競技中にテーマパークに随行したことは、デジタル画像記録集合の中の１つまたは複数の画像に関連付けられるメタデータから容易に知ることができる。デジタル画像記録集合に関するこの情報がわかっていれば、それを使ってたとえば、スポーツ活動、用具の種類、ウェアについての具体的な関心対象の特徴的傾向に関するコンテンツ条件に的を絞ったオブジェクト認識ソフトウェアを選ぶことができる。図７のフロー図では、この工程がオブジェクト認識選択ステップ３６として示されている。
【００５６】
デジタル画像記録を関係づけることのできるイベントを特定するのに必要な時間と場所の情報は、特定のデジタル画像記録集合については両方とも利用できるとは限らない。コンテキスト情報判断ステップ３４では、デジタル画像記録集合５６からの適当なメタデータまたは意味データの中にこの情報がないかチェックする。日時と場所の両方の情報を利用できる場合は、より一般的なオブジェクト認識ユーティリティではなく、そのイベントにとって適当なオブジェクト認識ユーティリティを使用することができる。
【００５７】
コンテキスト情報判断ステップ３４で使用されるロジックは非常に単純であり、日時または場所の少なくとも一方のデータが判断できれば、より適当なオブジェクト認識ユーティリティを選択できる。
【００５８】
場所またはその他の会場データは、特別な価値のあるオブジェクト認識ユーティリティの下位集合をターゲットとするイベントデータについて、同様に使用できる。たとえば、特定の国立公園または特定の場所で得られたデジタル画像記録から、道端の標識、ハイキング用の服装、ボートまたはラフティング用具およびその場所にとって適切なその他の品目等のオブジェクトを検出するのに利用できる特徴認識ユーティリティがわかるであろう。別の例として、カリブ海のリゾート地で撮影されたことがわかっているデジタル画像記録からは、クルーズ船、ホテル、スパ、深海ダイビングその他、適当な対象要素のための特徴認識ユーティリティが指示される。
【００５９】
同様に、日付と時間情報は、対応する場所データがなくても、そのユーザのために特定されたデジタル画像記録集合を分析する際に最も適当なオブジェクト認識ルーチンの種類を示すかもしれない。特定の休日に関連付けられる日付に取得されたことがわかっているデジタル画像記録からは、特定の種類のオブジェクト認識ユーティリティを使用するよう示される。たとえば、国家的な祝祭日であれば、たとえば花火、パレード用の服装や装備品等のための各種のオブジェクト認識ユーティリティが提示される。このような例が示すように、完全な日時スタンプには、屋内または屋外の環境や、完全に日中の日の光またはその他の照明条件の下で得られた画像に最も適したオブジェクト認識ツールを選択する上で、さらに大きな価値があるかもしれない。宗教的または家族のための祝祭日では、プレゼント、装飾、式典その他の種類の画像対象要素に関する、また別の種類のオブジェクト認識ユーティリティが指示される。
【００６０】
引き続き図７を参照すると、処理ステップ３８では、デジタル画像記録集合５６の分析のために、選択されたグループのオブジェクト認識ユーティリティが適用される。このように、本発明の実施形態は、デジタル画像記録群から特定されたデジタル画像記録集合に関連付けられた画像が撮影された場所と日時のいずれかまたは両方に関する利用可能な情報を利用して、これらのデジタル画像記録の分析作業に、より効果的に焦点を当てることができる。オブジェクト認識ユーティリティに適切にターゲットを絞り、効率的に分析機能を果たすことができるようにし、それによって誤った、または不正確な情報を収集する可能性が低減する。
【００６１】
依然として図６を参照すると、ポピュレートステップ８６において、各ユーザについてのポピュレートされたユーザ関心対象９０を作り、これを検出された関心対象の特徴的傾向に関連付けて、その結果を記憶して使用に備える。ユーザの関心に関する情報をこのようにポピュレートした状態で、関心対象と関心対象の特徴的傾向に関する情報を使ってユーザを販売促進活動の相手として「認定」した広告主は、任意の製品宣伝ステップ８８またはその他の活動を実施することができる。
【００６２】
ユーザアカウントの保存データを制御し、管理する会社は、保管しているユーザ情報に無制限にアクセスさせるのではなく、広告主からの照会を有効に「スクリーニング」することにより、提供される個人情報の量をある程度管理することができる。１つの実施形態では、広告主またはその他の照会会社は、保管会社に対して、広告主がどのようなユーザを探しているかを伝える。すると、保管会社は、図６に示すステップを実行して、広告主や他の第三者を関与させずに、ユーザ関心対象６０にとって適当なコンテンツ条件４２を導き出す。保管会社は次に、出力として、特定の関心対象と特徴的傾向の基準を満たすユーザに関する特定情報を提供する。
【００６３】
本発明の実施形態によれば、会社間でさまざまな取り決めを行えることがわかるであろう。たとえば、あるサービス供給会社は、ユーザのアカウントを保持するアカウント管理システムと契約してもよく、次に特徴的傾向に関する情報の取得に関心を持つ他の会社と契約する。１つの実施形態においては、料金を徴収してから、製品宣伝ステップ８８（図６）を実行することができる。
【００６４】
コンテンツ条件そのものは、ユーザに関する保存された情報へのアクセスを希望する企業によって定められてもよく、また、ユーザに関する、および／またはユーザが所有するデータの保存と管理を担当する企業により生成されてもよい。１つの実施形態において、コンテンツ条件は、複数の定義済みのユーザ関心対象を記憶するプロセッサによる読取が可能なメモリシステムから受け取られ、これらのユーザ関心対象はそれぞれ、それに関連付けられた所定のコンテンツ条件の集合を有する。
【００６５】
図５の例に示されるように、コンテンツ条件は関心対象そのものとは間接的な関係しかなく、望まれる情報の種類に限定的であるかもしれない。コンテンツ条件の集合は、特定のユーザ関心対象または特定の用途のためにカスタム化することができる。そのため、コンテンツ条件の複数の集合が記憶されている場合、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件集合と異なる１つのコンテンツ条件を含んでいることができる。
【００６６】
別の実施形態において、照会する会社は、特定のユーザを選別し、または排除するための適格性認定規則または最低条件を提示するのではなく、異なる量の特徴的傾向に関する情報を取得するようなコンテンツ条件を定めてもよい。図８は、ユーザ関心対象６０に関係する可変情報がその関連する関心対象の特徴的傾向７６の中で提供される１つの実施形態において、関心対象６０がどのようにポピュレートされるかを示している。この例では、テーマパークへの随行が、ユーザ関心対象６０の全体である。この場合の特定のコンテンツ条件は、たとえばＥｐｃｏｔ（商標）等の特定のテーマパークに関連付け似られる画像を有することとすることができる。このコンテンツ条件が満足される場合、関連付けられた画像記録は、このユーザ関心対象に関係するその他の情報を示すのに役立つ情報を持っている可能性がある。特に複数の期間について、このコンテンツ条件を満たす多くの画像は、この特定のテーマパークに対して高い関心を有する傾向がある。たとえば、この特定のテーマパークは、大ファンのユーザが最近訪れたテーマパークの中のお気に入りであると判断することができる。あるいは、複数のテーマパークで撮影された画像から収集された情報は、関心対象の特徴的傾向として、他の情報を提供してもよい。たとえば、特定のユーザは、スリルのある乗り物、ハイテクを用いた乗り物またはその他のアトラクションや遊戯場に特に関心を持っているかもしれない。画像コンテンツやメタデータから究明されるユーザのパターンは、ユーザが宿泊したか否か、どのようなタイプのレストランやエリアに行ったか、それらの場所ではどのような買い物が行われたか等の関心対象の特徴的傾向を示すことができる。本明細書に記載したユーザのデジタル記録群から収集されるこの種の情報は、オンラインの広告主またはその他の関係者にとって価値のあるものかもしれない。
【００６７】
続いて図８に示される例を参照すると、ユーザのデジタル画像記録を分析することによって得られる関心対象の特徴的傾向７６は、ユーザ関心対象６０をより詳細に特徴づけるのに役立てることができる。したがって、たとえば、これは広告主が１つの種類の宣伝を、過去においては頻繁にテーマパークに行っていたが、昨年は行かなかったユーザをターゲットとして行うのに有益であるかもしれない。広告主は、テーマパークで宿泊する可能性の高いユーザに対しては、宣伝を異なるように調整したいと考えるかもしれない。また別の例では、広告主は、定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向により示されるような過去の挙動パターンに基づいて、ユーザに対する宣伝をカスタム化できる。
【００６８】
同様のロジックを使って、場所の種類や分類（たとえば、ビーチ、遊園地、国立公園、博物館、歴史遺跡、外国旅行等）を見つけることもできる。関心対象の特徴的傾向により、関心のある詳細度（すなわち、過去５年間の７月に米国のビーチに行ったこと、過去３年間に米国東部の遊園地に行ったこと等）が決められる。
【００６９】
本発明の実施形態によれば、ユーザの画像群に関するデータを広告主やその他の当事者に利用させるための、さまざまな変形版を考案することが可能である。図９には、１つの考えられる構成が示されている。ここで、サーバ７０には、ユーザのデジタル画像記録群４６が保持されている。広告主７４またはその他の外部の会社は、この記録群そのものにはアクセスできず、サーバ７０が、図９の太い点線で示されているようにこれを保護している。広告主７４が契約し、料金を支払うことで、１つまたは複数のユーザデジタル画像記録群４６からの意味データ７２とメタデータ６２がクエリへと供給される。このモデルを使い、広告主７４は、意味データ（画像コンテンツデータを含む）７２とメタデータ６２からデジタル画像記録群４６の所有者のユーザ関心対象に関する情報を取得するために必要ないくつかのアルゴリズムを提供する。広告主７４は次に、販売促進のための宣伝を提供する、またはその他ターゲットを絞った広告メッセージを届けるための、関心のあるアカウントのリスト７６を作成することができる。このサービスの提供者は、サーバ７０を通じて、メタデータ６２と意味データ７２を、広告主７４がアクセスのためにカスタムアプレットやその他のプログラムされた方法を使うことができるような、標準的な公開されたフォーマットによりアクセスできるようにすることができる。このような構成によれば、セキュリティが一層強化され、個人特定データを明らかにするのではなく、広告主には識別子としてアカウント番号だけが提供される。広告主は、その後、画像データ保管業者と契約して、アカウントユーザに対して、宣伝やターゲットを絞ったメッセージを送り、あるいはその他の方法でこの情報を提供することができる。
【００７０】
別の構成では、サーバ７０の所有者は、その画像に基づいてユーザアカウントの所有者を特徴づける、ユーザプロファイルやその他の情報を自動的に作成することができる。この情報は、何らかの方法で広告主７４に提供でき、アカウント所有者のセキュリティとプライバシを種々の態様で保護することができる。
【００７１】
ユーザ関心対象を評価するために上記のような処理を行うことにより、ユーザ関心対象とこれに関連付けられるユーザ関心対象の特徴的傾向に関する情報を、広告主または他の第三者に提供できる。本発明の実施形態は、広告主またはその他の第三者の会社から料金を受け取るような取引の一部とすることができる。各種の取引の方法を設定でき、たとえば料金の受領を確認してから、ユーザに関して得られた情報を送信するようなプロセスとすることもできる。
【００７２】
実施形態の例は、本発明を説明するためのものにすぎず、当業界の熟練者であれば、上記の実施形態のさまざまな変形版を本発明の範囲から逸脱することなく考案できるであろう。したがって、これらの変形版はすべて、以下の特許請求範囲並びにそれと同等のものの範囲に含まれるものとする。
【符号の説明】
【００７３】
１０ ディスプレイ、１２ デジタル画像、２２ システム、２４ プロセッサアクセス可能メモリシステム、２６ データ処理システム、２８ ユーザインタフェースシステム、３０ 周辺システム、４６ デジタル画像記録群、４８，７６ 関心対象の特徴的傾向、５６ デジタル画像記録集合、５８ 上位集合、６０ ユーザ関心対象、６２ メタデータ、７０ サーバ、７２ 意味データ、７４ 広告主、９０ ポピュレートされた関心対象。
【特許請求の範囲】
【請求項１】
少なくともユーザのデジタル画像記録群の分析結果に基づいて、ユーザ関心対象を評価する方法であって、前記方法は、少なくとも部分的にデータ処理システムによって実行され、
定義済みのユーザ関心対象を受け取るステップと、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取るステップと、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定するステップと、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価するステップと、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付けるステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記ステップは、（ａ）前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定するステップと、（ｂ）次に、前記デジタル画像記録の上位集合から、前記コンテンツ条件の全部を満たす画像特徴を有するものとして、前記デジタル画像記録集合を特定するステップと、を含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記関心対象の特徴的傾向は、前記定義済みのユーザ関心対象に対して前記ユーザにより示された関心度であることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、
前記定義済みのユーザ関心対象はあるスポーツであり、前記関心対象の特徴的傾向は、前記ユーザが前記スポーツを行う際の用具の種類であることを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
前記定義済みユーザ関心対象はある活動であり、前記関心対象の特徴的傾向は、前記活動へのユーザの関与の特徴に関することを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、前記複数の定義済みユーザ関心対象のそれぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、
前記定義済みのユーザ関心対象は、第三者の広告主から受け取られることを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、
前記関連付けられた関心対象の特徴的傾向と定義済みのユーザ関心対象を前記第三者の広告主に転送するステップをさらに含むことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、
前記転送するステップを実行する前に、前記第三者の広告主から料金を受け取ったことを確認するステップをさらに含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、
前記コンテンツ条件の集合のうちの前記コンテンツ条件の少なくともいくつかは、第三者の広告主から受け取られることを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、
前記関心対象の特徴的傾向を評価する前記ステップは、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得するステップと、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定するステップと、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析するステップと、
を含むことを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、
前記特定された画像分析ユーティリティは、オブジェクト認識ユーティリティであることを特徴とする方法。
【請求項１３】
少なくともユーザのデジタル画像記録集合に基づいて、ユーザ関心対象を評価する方法をデータ処理システムに実行させるように構成された命令を記憶する、プロセッサによりアクセス可能なメモリシステムであって、前記命令は、
定義済みのユーザ関心対象を受け取る命令と、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取る命令と、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定する命令と、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価する命令と、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付ける命令と、
を含むことを特徴とするシステム。
【請求項１４】
請求項１３に記載のシステムであって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記命令は、（ａ）まず、前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定する命令と、（ｂ）次に、前記デジタル画像記録の上位集合から、前記デジタル画像記録集合を、少なくとも前記上位集合の中の（ａ）において前記コンテンツ条件を満たす画像特徴を有するものとして不適正にみなされたデジタル画像記録を除外することによって特定する命令と、を含むことを特徴とするシステム。
【請求項１５】
請求項１３に記載のシステムであって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、前記複数の定義済みユーザ関心対象のそれぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とするシステム。
【請求項１６】
請求項１３に記載のシステムであって、
前記関心対象の特徴的傾向を評価する前記命令は、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得する命令と、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定する命令と、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析する命令と、
を含むことを特徴とするシステム。
【請求項１７】
データ処理システムと、
前記データ処理システムに通信可能に接続され、前記データ処理システムを、少なくともユーザのデジタル画像記録集合の分析結果に基づいて、ユーザ関心対象を評価する方法を前記データ処理システムに実行させるように構成された命令を記憶するメモリシステムと、
を備えるシステムであって、前記命令は、
定義済みのユーザ関心対象を受け取る命令と、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取る命令と、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定する命令と、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価する命令と、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付ける命令と、
を含むことを特徴とするシステム。
【請求項１８】
請求項１７に記載のシステムであって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記命令は、（ａ）まず、前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定する命令と、（ｂ）次に、前記デジタル画像記録の上位集合から、前記デジタル画像記録集合を、少なくとも前記上位集合の中の（ａ）において前記コンテンツ条件を満たす画像特徴を有するものとして不適正にみなされたデジタル画像記録を除外することによって特定する命令と、を含むことを特徴とするシステム。
【請求項１９】
請求項１７に記載のシステムであって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、それぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とするシステム。
【請求項２０】
請求項１７に記載のシステムであって、
前記関心対象の特徴的傾向を評価する前記命令は、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得する命令と、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定する命令と、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析する命令と、
を含むことを特徴とするシステム。
【請求項１】
少なくともユーザのデジタル画像記録群の分析結果に基づいて、ユーザ関心対象を評価する方法であって、前記方法は、少なくとも部分的にデータ処理システムによって実行され、
定義済みのユーザ関心対象を受け取るステップと、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取るステップと、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定するステップと、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価するステップと、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付けるステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記ステップは、（ａ）前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定するステップと、（ｂ）次に、前記デジタル画像記録の上位集合から、前記コンテンツ条件の全部を満たす画像特徴を有するものとして、前記デジタル画像記録集合を特定するステップと、を含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記関心対象の特徴的傾向は、前記定義済みのユーザ関心対象に対して前記ユーザにより示された関心度であることを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、
前記定義済みのユーザ関心対象はあるスポーツであり、前記関心対象の特徴的傾向は、前記ユーザが前記スポーツを行う際の用具の種類であることを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、
前記定義済みユーザ関心対象はある活動であり、前記関心対象の特徴的傾向は、前記活動へのユーザの関与の特徴に関することを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、前記複数の定義済みユーザ関心対象のそれぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、
前記定義済みのユーザ関心対象は、第三者の広告主から受け取られることを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、
前記関連付けられた関心対象の特徴的傾向と定義済みのユーザ関心対象を前記第三者の広告主に転送するステップをさらに含むことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、
前記転送するステップを実行する前に、前記第三者の広告主から料金を受け取ったことを確認するステップをさらに含むことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、
前記コンテンツ条件の集合のうちの前記コンテンツ条件の少なくともいくつかは、第三者の広告主から受け取られることを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、
前記関心対象の特徴的傾向を評価する前記ステップは、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得するステップと、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定するステップと、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析するステップと、
を含むことを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、
前記特定された画像分析ユーティリティは、オブジェクト認識ユーティリティであることを特徴とする方法。
【請求項１３】
少なくともユーザのデジタル画像記録集合に基づいて、ユーザ関心対象を評価する方法をデータ処理システムに実行させるように構成された命令を記憶する、プロセッサによりアクセス可能なメモリシステムであって、前記命令は、
定義済みのユーザ関心対象を受け取る命令と、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取る命令と、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定する命令と、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価する命令と、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付ける命令と、
を含むことを特徴とするシステム。
【請求項１４】
請求項１３に記載のシステムであって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記命令は、（ａ）まず、前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定する命令と、（ｂ）次に、前記デジタル画像記録の上位集合から、前記デジタル画像記録集合を、少なくとも前記上位集合の中の（ａ）において前記コンテンツ条件を満たす画像特徴を有するものとして不適正にみなされたデジタル画像記録を除外することによって特定する命令と、を含むことを特徴とするシステム。
【請求項１５】
請求項１３に記載のシステムであって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、前記複数の定義済みユーザ関心対象のそれぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とするシステム。
【請求項１６】
請求項１３に記載のシステムであって、
前記関心対象の特徴的傾向を評価する前記命令は、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得する命令と、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定する命令と、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析する命令と、
を含むことを特徴とするシステム。
【請求項１７】
データ処理システムと、
前記データ処理システムに通信可能に接続され、前記データ処理システムを、少なくともユーザのデジタル画像記録集合の分析結果に基づいて、ユーザ関心対象を評価する方法を前記データ処理システムに実行させるように構成された命令を記憶するメモリシステムと、
を備えるシステムであって、前記命令は、
定義済みのユーザ関心対象を受け取る命令と、
前記定義済みのユーザ関心対象に関連付けられるコンテンツ条件集合を受け取る命令と、
前記デジタル画像記録群から、それぞれが前記コンテンツ条件を満たす画像特徴を有するとみなされるデジタル画像記録集合を特定する命令と、
前記定義済みのユーザ関心対象に関連付けられる関心対象の特徴的傾向を、少なくとも前記デジタル画像記録集合またはその特徴の分析結果に基づいて評価する命令と、
前記評価された関心対象の特徴的傾向を、プロセッサによりアクセス可能なメモリの中の前記定義済みのユーザ関心対象に関連付ける命令と、
を含むことを特徴とするシステム。
【請求項１８】
請求項１７に記載のシステムであって、
前記デジタル画像記録集合に含まれるデジタル画像記録は、デジタル画像記録の上位集合より少なく、前記デジタル画像記録の上位集合に含まれるデジタル画像記録は、前記デジタル画像記録群より少なく、前記デジタル画像記録集合を特定する前記命令は、（ａ）まず、前記デジタル画像記録群から、それぞれが前記コンテンツ条件の全部ではなくいくつかを満たす画像特徴を有するものとみなされる、前記デジタル画像記録の上位集合を特定する命令と、（ｂ）次に、前記デジタル画像記録の上位集合から、前記デジタル画像記録集合を、少なくとも前記上位集合の中の（ａ）において前記コンテンツ条件を満たす画像特徴を有するものとして不適正にみなされたデジタル画像記録を除外することによって特定する命令と、を含むことを特徴とするシステム。
【請求項１９】
請求項１７に記載のシステムであって、
前記コンテンツ条件の集合は、複数の定義済みユーザ関心対象を記憶する、プロセッサによりアクセス可能なメモリシステムから受け取られ、それぞれにコンテンツ条件の集合が関連付けられ、コンテンツ条件の各集合は、他のすべての、または実質的に他のすべてのコンテンツ条件の集合と異なる少なくとも１つのコンテンツ条件を含むことを特徴とするシステム。
【請求項２０】
請求項１７に記載のシステムであって、
前記関心対象の特徴的傾向を評価する前記命令は、
前記デジタル画像記録集合に関する時間、場所または時間と場所の両方に関するコンテキスト情報を取得する命令と、
少なくとも前記取得したコンテキスト情報の分析結果に基づいて、画像分析ユーティリティを特定する命令と、
前少なくとも前記特定された画像分析ユーティリティを使用して、前記デジタル画像記録の集合の中の画像を分析する命令と、
を含むことを特徴とするシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１１−５２３７４４（Ｐ２０１１−５２３７４４Ａ）
【公表日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１１−５１１６２１（Ｐ２０１１−５１１６２１）
【出願日】平成２１年５月２２日（２００９．５．２２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００３１５６
【国際公開番号】ＷＯ２００９／１４８５１７
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公表日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２１年５月２２日（２００９．５．２２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００３１５６
【国際公開番号】ＷＯ２００９／１４８５１７
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]