予期される収益等の使用による、広告システムにおける広告レビューの優先度付け
【課題】ポリシーへの準拠に対する広告のレビューの実施に関する改良された方法を提供する。
【解決手段】広告が特定の予期される収益しきい値に到達したときに一度だけ、広告をマニュアルでレビューする。このレビュープロセスは、数多くの広告主が個別には比較的小さい収益しか生まない数百、数千もの広告を提出していたという事実を考慮しており、マニュアル認可保留中の広告の数をかなり減少させ、少なくとも広告の順序を優先度付けする可能性を持っている。広告をマニュアルで認可する最大費用に等しくしきい値を設定してもよく、これによって、マニュアルレビュー保留中の広告レビューをかなり減少させる。自動的手段等で決定する広告の分類を使用して、マニュアル認可保留中の広告の順序を優先度付けしてもよい。収益ベースのスコアを使用して、複数のレビュープロトコルのうちの１つを選択して、広告のレビューを制御してもよい。
【解決手段】広告が特定の予期される収益しきい値に到達したときに一度だけ、広告をマニュアルでレビューする。このレビュープロセスは、数多くの広告主が個別には比較的小さい収益しか生まない数百、数千もの広告を提出していたという事実を考慮しており、マニュアル認可保留中の広告の数をかなり減少させ、少なくとも広告の順序を優先度付けする可能性を持っている。広告をマニュアルで認可する最大費用に等しくしきい値を設定してもよく、これによって、マニュアルレビュー保留中の広告レビューをかなり減少させる。自動的手段等で決定する広告の分類を使用して、マニュアル認可保留中の広告の順序を優先度付けしてもよい。収益ベースのスコアを使用して、複数のレビュープロトコルのうちの１つを選択して、広告のレビューを制御してもよい。
【発明の詳細な説明】
【発明の分野】
【０００１】
本発明はオンライン広告のような広告に関連する。さらに詳細には、本発明は、例えば品質保証ポリシーのようなポリシーへの準拠に対する広告のマニュアルレビューのようなレビューに関連する。
【発明の背景】
【０００２】
広告システムは、供給されるために広告が準拠しなければならないポリシーガイドラインを採用している。ポリシーへの準拠を確実にするために、マニュアルレビューが必要とされることが多い。残念なことに、すべての広告をマニュアルでレビューすることは、特に大規模なオンライン広告ネットワークにおいては、かなりの難題である。例えば、広告の提出の継続的な増加は、広告をマニュアルでレビューするために大量の人的リソースを割り当てることをオンライン広告ネットワークに強いてきた（最適化および顧客サポートのような他の領域の損害となることも多かった）。たとえ、広告をレビューするのにかなりのマニュアルリソースを割り当てたとしても、それにもかかわらず、オンライン広告がますます人気になり続けるにしたがって、広告レビュー保留中のバックログが増加するかもしれない。このようなバックログは、広告主にとってフラストレーションの元となるおそれがあり、広告ネットワークに関する収益機会の損失を表しているかもしれない。
【０００３】
マニュアル広告レビューバックログに対処するために、広告レビューの一部を自動化する自動レビューシステムが実現されてきた。（“広告の自動化された判断のためのポリシーチェックフレームワーク”と題され、２００４年１２月３０日に出願され、Gregory Joseph Badros氏、Lucy Zhang氏、および Robert J. Stets氏を発明者として記載する、（“‘４１５出願”として呼ばれ、ここに参照により組み込まれる）米国特許出願シリアル番号第１１/０２６，４１５号を参照。）自動チェックシステムの実用性にもかかわらず、自動的にチェックされた広告のいくつかまたはすべてのものは、マニュアルレビューをさらに必要とするかもしれない。広告提出レートが増え続けると予期されているので、広告レビューバックログは相変わらず多くの分量を維持すると予期される。したがって、マニュアルレビュー待ちの広告のバックログは、継続的な難題であることが予期されている。
【０００４】
上記から理解されるように、例えば、オンライン広告のような、広告がレビューされる方法を改良することが有用であるだろう。
【発明の概要】
【０００５】
例えば、‘４１５出願に説明したもののような自動化の努力の成果を補完するために、本発明と一貫した実施形態を使用して、（過去に行われていたように、すべての到来広告をマニュアルでレビューしようと試みる代わりに）広告が特定の予期される収益しきい値に到達したときに一度だけ、広告をマニュアルでレビュー（または特定の方法で広告をレビュー）してもよい。少なくとも過去においては、数多くの広告主が、それぞれ個別には比較的小さい収益しか生まない、数百または数千もの広告を提出していたという事実によって、この戦略は動機付けられている。本発明と一貫したこのような実施形態は、マニュアル認可に係属している広告の数をかなり減少させる可能性を持っており、少なくとも広告の順序を優先度付けする可能性を持っている。
【０００６】
本発明と一貫した少なくともいくつかの実施形態は、広告をマニュアルで認可するための最大費用に等しいしきい値を使用してもよく、これによって、マニュアルレビューに係属している広告レビューをかなり減少させる。
【０００７】
本発明と一貫した少なくともいくつかの実施形態は、例えば自動的手段で決定してもよい（例えば、禁止された、疑わしい、チェックされていない等の）広告の分類を考慮して、マニュアル認可に保留中の広告の順序を優先度付けしてもよい。
【図面の簡単な説明】
【０００８】
【図１】図１は、広告システムと対話することができる関係者またはエンティティを示す高水準ブロック図である。
【図２】図２は、本発明と一貫した実施形態をその中で、またはそれとともに動作させてもよい例示的な環境を図示する図である。
【図３】図３は、本発明と一貫した方法で実行してもよい、例示的な動作と、このような動作により使用され、および／または発生されてもよい情報とのデータフロー図である。
【図４】図４は、本発明と一貫した方法で広告レビューを優先度付けする例示的な方法のフロー図である。
【図５】図５は、本発明と一貫した方法で優先度割当動作を実行する例示的な方法のフロー図である。
【図６】図６は、本発明と一貫した方法で広告チェック動作を実行する例示的な方法のフロー図である。
【図７】図７は、本発明と一貫した方法で、さまざまな動作を実行してもよい例示的な装置のブロック図である。
【発明を実施するための形態】
【０００９】
本発明は、広告レビューを優先度付けするための、新規な方法、装置、メッセージフォーマット、および／またはデータ構造を含んでいてもよい。以下の説明は、当業者が本発明を実施および使用できるように提示し、特定の応用と特定の応用の要求の情況で提供する。したがって、本発明と一貫した実施形態の以下の説明は、図示および説明を提供するが、網羅的なものであることを意図するものではなく、または、開示する正確な形態に本発明を制限することを意図するものではない。開示する実施形態に対するさまざまな修正が当業者に明らかになり、以下に述べる一般的原則は、他の実施形態および応用に適用されてもよい。例えば、フロー図を参照して一連の動作を説明するが、１つの動作の実行が他の動作の完了に依拠していないときは、他の実施では動作の順序が異なっていてもよい。さらに、従属していない動作は並列に実行されてもよい。詳細な説明中で使用されるどのエレメント、動作、または命令も、そうであるとして明示的に示さない限り、本発明に対して重大または不可欠であるとして解釈すべきでない。ここで使用するように、冠詞“ａ”は１つ以上のアイテムを含むことを意図している。１つだけのアイテムを意図するところでは、用語“１つの（ｏｎｅ）”または類似の言葉を使用する。したがって、本発明は示している実施形態に制限されることを意図しておらず、発明者は、何らかの特許可能な記述された主題を含むものとして本発明を考えている。
【００１０】
以下において、本発明の詳細な説明で使用する用語の定義をセクション４．１において提供する。次に、本発明がその中で動作してよい、または本発明と一貫した実施形態がそれを用いて動作し得る例示的な環境をセクション４．２において説明する。その後、本発明と一貫した例示的な実施形態をセクション４．３において説明する。最後に、本発明に関するいくつかの結論をセクション４．４において述べる。
【００１１】
セクション４．１ 定義
以下に図１および２に関して説明する例示的なシステムで、または、他の任意のシステムで使用されるもののような、オンライン広告はさまざまな固有の特徴を持つことがある。このような特徴は、応用および／または広告主によって特定されてもよい。これらの特徴は、以下で“広告特徴”として呼ぶ。例えば、テキスト広告のケースでは、広告特徴はタイトルライン、広告テキスト、および組み込みリンクを含んでいてもよい。画像広告のケースでは、広告特徴は、画像、実行可能コード、および埋め込みリンクを含んでいてもよい。オンライン広告のタイプに依拠して、広告特徴はテキスト、リンク、音声ファイル、ビデオファイル、画像ファイル、実行可能コード、埋め込み情報等のうちの１つ以上を含んでいてもよい。
【００１２】
オンライン広告が供給されるとき、広告がどのように、いつ、および／またはどこで供給されたのかを記述するために１つ以上のパラメータを使用してもよい。これらのパラメータを、以下では“供給パラメータ”と呼ぶ。供給パラメータは、例えば、以下のうちの１つ以上を含んでよい。すなわち、その上に、または、それとともに、広告が供給されている文書（その上の情報を含む）の特徴、広告の供給に関連付けられた検索クエリ、または検索結果、（例えば、ユーザの地理的ロケーション、ユーザによって使用される言語、使用されるブラウザのタイプ、過去のページビュー、過去の挙動、ユーザアカウント、システムにより使用される任意のウェブクッキー、ユーザデバイス特性等のような）ユーザ特性、（例えば、アメリカオンライン、グーグル(登録商標)、ヤフー(登録商標)のような）要求を開始したホストまたはアフェリエイトのサイト、広告が供給されたページ上の広告の絶対位置、供給された他の広告を基準にした広告の（空間的または時間的）位置、広告の絶対サイズ、他の広告を基準にした広告のサイズ、広告の色、供給された他の広告数、供給された他の広告のタイプ、供給時刻、供給曜日、供給時期等。本発明の文脈で使用してもよい、他の供給パラメータがあるのは当然である。
【００１３】
供給パラメータは、広告特徴にとっては付帯的であってよいが、これらは供給条件または制約として、広告と関連付けられてよい。供給条件または制約として使用されるとき、このような供給パラメータは単に“供給制約”（または“ターゲット付け基準”）として呼ぶ。例えば、いくつかのシステムにおいては、広告主は、その広告が平日にのみ、一定の位置より高く、一定のロケーションのユーザにのみ等、供給されなければならないと指定することで、その広告の供給をターゲット付けすることができる。他の例としては、いくつかのシステムにおいて、広告主は、ページまたは検索クエリが一定のキーワードまたは言い回しを含む場合にだけ、その広告が供給されなければならないと指定してもよい。さらに別の例としては、その上に、または、それとともに、供給されている文書が一定のトピックまたは概念を含む場合、または、特定のクラスタ、もしくは（例えば、“垂直型”のような）何らかの他の分類に該当する場合にのみ、その広告が供給されなければならないと広告主が指定できるシステムもある。いくつかのシステムにおいて、広告主は、特定の特性を持つユーザデバイスのみに対して、その広告が供給されること（または供給されないこと）を特定してもよい。最後に、いくつかのシステムにおいて、特定のロケーションから発信される要求に応答して、または、特定のロケーションに関する要求に応答して、広告が供給されるように広告をターゲット付けしてもよい。
【００１４】
“広告情報”は、広告特徴、広告供給制約、（“広告導出情報”として呼ばれる）広告特徴もしくは広告供給制約から導出可能な情報、および／または、（“広告関連情報”として呼ばれる）広告に関連した情報、とともに（例えば、広告関連情報から導出される情報のような）このような情報の拡張を含んでいてもよい。
【００１５】
広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する、広告を選択する数（例えば、クリックスルー）の比は、広告の“選択レート”（すなわち“クリックスルーレート”）として定義される。
【００１６】
“変換”は、ユーザが以前に供給された広告に関連するトランザクションを完了させるときに発生すると言われている。変換を構成する内容はケースによって異なり、さまざまな方法で決定できる。例えば、ユーザが広告をクリックし、広告主のウェブページに導かれ、そのウェブページを離れる前にそこで購入を完了するときに、変換が発生するというケースがある。代わりに、変換は、ユーザが広告を見て、予め定められた時間（例えば７日間）内に広告主のウェブページで購入することとして定義されてよい。さらに別の代替案では、変換は、例えば、白書をダウンロードする、ウェブサイトの少なくとも所定の深さまでナビゲーションする、少なくとも一定数のウェブページを見る、少なくとも予め定められた時間量をウェブサイトまたはウェブページで費やす、ウェブサイトに登録する等の任意の測定可能／観察可能なユーザアクションであるとして、広告主によって定義されてよい。変換を構成するユーザアクションはこれらに制限されないが、ユーザアクションが購入の完了を示さない場合であっても、これらはセールスリードを示すことが多い。実際に、何が変換を構成するかについて他の多くの定義が考えられる。
【００１７】
広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する変換数の比と、選択の数（または、何らかの他の以前のイベントの数）に対する変換数の比との両方が、“変換レート”と呼ばれる。変換レートのタイプは、それが使用される文脈から明らかになるだろう。広告の供給から予め定められた時間内に発生し得ることと変換が定義される場合、変換レートの１つの考えられる定義は、過去に、予め定められた時間より長く供給されていた広告だけを考慮するかもしれない。
【００１８】
“プロパティ”は、その上に広告を提示することができる何らかのものである。プロパティは（例えば、ウェブサイト、ＭＰ３音声プログラム、オンラインゲーム等のような）オンラインコンテンツ、（例えば、新聞、雑誌、劇プロダクション、コンサート、スポーツイベント等のような）オフラインコンテンツ、ならびに／あるいは、（例えば、電光掲示板、スタジアムスコアボード、および外野壁、トラックトレーラーの側面等のような）オフライン物体を含む。（例えば、雑誌、新聞、ウェブサイト、ｅ−メールメッセージ等のような）コンテンツを伴うプロパティは、“メディアプロパティ”として呼んでもよい。プロパティそれら自体は、オフラインであってもよいが、プロパティについての（例えば、属性、トピック、概念、カテゴリ、キーワード、関連性情報、サポートされる広告のタイプ等のような）関係情報は、オンラインで利用可能であってもよい。例えば、野外ジャズ音楽フェスティバルでは、トピック“音楽”および“ジャズ”、コンサートのロケーション、コンサートの時刻、フェスティバルに出演予定のアーティスト、ならびに、（例えば、印刷されたプログラム、ステージ上のスポット、座席背面のスポット、スポンサーの音声アナウンス等のような）利用可能な広告スポットのタイプが入力されてもよい。
【００１９】
“文書”は、何らかの機械読取可能および機械記憶可能な作業生産物を含むものとして幅広く解釈すべきである。文書は、ファイル、ファイルの組み合わせ、他のファイルへのリンクが埋め込まれた１つ以上のファイル等であってもよい。ファイルは、テキスト、音声、画像、ビデオ等の任意のタイプのものであってもよい。エンドユーザにレンダリングされる文書の一部は、文書の“コンテンツ”と見なすことができる。文書は、コンテンツ（言葉、絵等）とそのコンテンツの意味の何らかの表示（例えば、ｅ−メールフィールドおよび関連データ、ＨＴＭＬタグ、および関連データ等）との両方を含む“構造化されたデータ”を含んでいてもよい。文書中の広告スポットは埋め込まれた情報または命令で定義されてもよい。インターネットの文脈において、普通の文書はウェブページである。ウェブページはコンテンツを含むことが多く、（メタ情報、ハイパーリンク等のような）埋め込まれた情報、および／または（Java(登録商標)script等のような）埋め込まれた命令を含んでいてもよい。多くのケースでは、文書はアドレス指定可能な記憶ロケーションを有し、したがってこのアドレス指定可能なロケーションによって一意的に特定できる。ユニバーサルリソースロケータ（ＵＲＬ）は、インターネット上の情報にアクセスするために使用されるアドレスである。
【００２０】
“ウェブ文書”はウェブ上で発行される任意の文書を含む。ウェブ文書の例は、例えば、ウェブサイトまたはウェブページを含む。
【００２１】
“文書情報”は、文書に含まれる任意の情報、（“文書導出情報”と呼ばれる）文書内に含まれる情報から導き出すことができる情報、および／または（“文書関連情報”と呼ばれる）文書に関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。文書導出情報の例は、文書のテキストコンテンツに基づいた分類である。文書関連情報の例は、当該文書にリンクする他の文書からの文書情報、とともに、当該文書がリンクする他の文書からの文書情報も含む。
【００２２】
文書からのコンテンツは、“コンテンツレンダリングアプリケーションまたはデバイス”上でレンダリングされてよい。コンテンツレンダリングアプリケーションの例は、インターネットブラウザ（例えば、エクスプローラまたはネットスケープ、オペラ、ファイアフォックス等）、メディアプレーヤ（例えば、ＭＰ３プレーヤ、Ｒｅａｌ ｎｅｔｗｏｒｋｓストリーミング音声ファイルプレーヤ等）、ビューワ（例えば、アドビアクロバット（登録商標）ｐｄｆリーダ）等を含む。
【００２３】
“コンテンツオーナ”は、メディアプロパティ（例えば、文書）のコンテンツに何らかの財産権を有する人物またはエンティティである。コンテンツオーナはコンテンツの著者であってよい。加えて、または代わりに、コンテンツオーナはコンテンツを再生する権利、コンテンツの派生作品を作成する権利、コンテンツを公表するもしくは公演する権利、および／またはコンテンツの中の他の禁止された権利を持っていてもよい。コンテンツサーバは、それが供給する文書のコンテンツ中のコンテンツオーナである可能性があるが、これは必須ではない。“ウェブ発行者”は、コンテンツオーナの一例である。
【００２４】
“ユーザ情報”はユーザ挙動情報、および／またはユーザプロファイル情報を含んでいてもよい。
【００２５】
“ｅ−メール情報”は、（“内部ｅ−メール情報”とも呼ばれる）ｅ−メールに含まれる情報や、ｅ−メールに含まれる情報から導き出すことのできる情報、および／またはｅ−メールに関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。ｅ−メール情報から導き出される情報の例は、ｅ−メールの件名から抽出された用語で構成された検索クエリに応答して戻された検索結果から抽出されまたはそうでなければ導き出された情報である。ｅ−メール情報に関連する情報の例は、所定のｅ−メールと同じ送信者によって送信される１つ以上の他のｅ−メールについてのｅ−メール情報、またはｅ−メール受取人についてのユーザ情報を含む。ｅ−メール情報から導き出される、またはｅ−メール情報に関連する情報を“外部ｅ−メール情報”と呼ぶことがある。
【００２６】
“広告不正者”は、広告ネットワークに対して、過去に不正を犯したことのある広告主であってもよく、または広告ネットワークに対して、（現在もしくは将来に）不正を犯す疑いのある広告主であってもよい。不正者の一例は、無効なクレジットカードでアカウントを開設した広告主である。他の不正者の例は、１つ以上のその広告の供給に対する残金の支払において、義務不履行であった広告主である。
【００２７】
セクション４．２ その中で本発明が使用され得る、あるいはそれを用いて本発明が使用され得る例示的環境
図１は広告環境の高水準ブロック図である。環境は、（単に“広告サーバ”として呼ぶ）広告入力、メンテナンス、および配信システム１２０を含む。広告主１１０は、システム１２０において、直接的にまたは間接的に広告情報を入力し、維持し、および追跡する。広告はいわゆるバナー広告のようなグラフィック広告、テキストのみの広告、画像広告、音声広告、ビデオ広告、このような任意の構成要素の１つ以上の組み合わせの広告等の形態であってもよい。広告はリンクのような埋め込み情報、および／または、機械実行可能命令を含んでいてもよい。広告消費者１３０は、システム１２０に広告に対する要求を出してもよく、システム１２０から広告消費者１３０の要求に応答した広告を受け入れてもよく、システム１２０に対して利用情報を提供してもよい。広告消費者１３０以外のエンティティが広告に対する要求を開始してもよい。示していないが、他のエンティティがシステム１２０に対して、（例えば、広告に関連する変換または（例えばクリックスルーのような）選択が発生したか否かのような）利用情報を提供してもよい。この利用情報は、供給された広告に関連して、測定されたまたは観察されたユーザの挙動を含んでいてもよい。
【００２８】
広告サーバ１２０は、“コンテンツに基づいた広告供給”と題され、２００３年２月２６日に出願され、Darrell Anderson氏、 Paul Buchheit氏、 Alex Carobus氏、 Claire Cui氏、 Jeffrey A. Dean氏、 Georges R. Harik氏、 Deepak Jindal氏、および Narayanan Shivakumar氏を発明者として記載する、（“‘９００出願”として呼ばれ、ここに参照により組み込まれる）米国特許出願シリアル番号第１０/３７５，９００号の図２で説明したものと類似していてもよい。広告プログラムは、アカウント、キャンペーン、クリエイティブ、ターゲット付け等に関する情報を含んでいてもよい。用語“アカウント”は、（例えば、一意的なｅ−メールアドレス、パスワード、請求書発行情報等のような）所定の広告主に対する情報に関連する。“キャンペーン”または“広告キャンペーン”は、１つ以上の広告の１つ以上のグループに関係し、開始日、終了日、予算情報、地理的ターゲット付け情報、企業組合情報等を含んでいてもよい。例えば、ホンダは、その自動車ラインに対して１つの広告キャンペーンを、そして、そのオートバイラインに対して別の広告キャンペーンを持っていてもよい。その自動車ラインに対する広告キャンペーンは、それぞれが１つ以上の広告を含む、１つ以上の広告グループを持っていてもよい。それぞれの広告グループは、（例えば、１組のキーワード、１組の１つ以上のトピック、地理的ロケーション情報、ユーザプロファイル情報等の）ターゲット付け情報、および（例えば、（クリックスルー毎の費用、変換毎の費用等の）最大費用のような）価格情報を含んでいてもよい。代わりに、または、加えて、それぞれの広告グループは（例えば、クリックスルー毎の平均費用、変換毎の平均費用等の）平均費用を持っていてもよい。したがって、単一の最大費用および／または単一の平均費用が、１つ以上のキーワードおよび／またはトピックに関係付けられてもよい。上に述べたように、それぞれの広告グループは１つ以上の広告または“クリエイティブ”（すなわち、エンドユーザに対して最終的にレンダリングされる広告コンテンツ）を持っていてもよい。それぞれの広告は、（例えば、広告主のホームページのようなランディングウェブページ、または、特定の製品もしくはサーバに関係付けられたウェブページ等の）ＵＲＬに対するリンクを含んでいてもよい。広告情報は、より多くのまたはより少ない情報を含んでいてもよく、さまざまな異なる方法で組織化されてもよいのは当然である。
【００２９】
図２は、本発明と一貫した実施形態をその中で使用してもよい環境を図示する。（“クライアント”または“クライアントデバイス”としても呼んでもよい）ユーザデバイス２５０は、（例えば、モジラ(登録商標)からのファイアフォックスブラウザ、マイクロソフト(登録商標)によるエクスプローラブラウザ、ノルウェイのオペラソフトウェア(登録商標)によるオペラウェブブラウザ、またはＡＯＬ／タイムワーナー(登録商標)によるナビゲータブラウザ等のような）ブラウザ機構、（例えば、マイクロソフトによるアウトルック（登録商標）のような）メール機構等を含んでいてもよい。検索エンジン２２０は、ユーザデバイス２５０が（例えば、ウェブページのような）文書の収集物を検索するのを許容してもよい。コンテンツサーバ２１０は、ユーザデバイス２５０が文書にアクセスするのを許容してもよい。（マイクロソフトネットワークからのホットメール(登録商標)、ヤフーメール等の）ｅ−メールサーバ２４０を使用して、ユーザデバイス２５０に対してｅ−メール機能を提供してもよい。広告サーバ２１０を使用して、ユーザデバイス２５０に広告を供給してもよい。検索エンジン２２０により提供される検索結果に関係して、広告を供給してもよい。しかしながら、コンテンツ関連広告は、コンテンツサーバ２３０により提供されるコンテンツ、および／またはｅ−メールサーバ２４０によりサポートされるｅ−メール、ならびに／あるいはユーザデバイスのｅ−メール機構と関係して供給されてもよい。
【００３０】
（上で紹介した）‘９００出願で説明したように、広告はコンテンツサーバにより供給される文書にターゲット付けされていてもよい。したがって、広告消費者１３０の一例は、（例えば、記事、議論スレッド、音楽、ビデオ、グラフィック、検索結果、ウェブページリスト等の）文書に対する要求を受信し、要求に応答して要求された文書を取得し、そうでなければ要求にサービスする、一般的なコンテンツサーバ２３０である。コンテンツサーバは広告サーバ１２０／２１０に向けて広告に対する要求を出す。このような広告要求は、所望される広告数を含んでいてもよい。広告要求は文書要求情報も含んでいてもよい。この情報は、文書自体（例えば、ページ）、文書のコンテンツまたは文書要求に対応しているカテゴリまたはトピック（例えば、芸術、ビジネス、コンピュータ、芸術−映画、芸術−音楽等）、文書要求の一部または全部、コンテンツ経年数、（例えば、テキスト、グラフィック、ビデオ、音声、混合媒体等のような）コンテンツタイプ、地理的ロケーション情報、文書情報等を含んでいてもよい。
【００３１】
コンテンツサーバ２３０は、要求された文書を、広告サーバ１２０／２１０により提供される１つ以上の広告と結合してもよい。文書コンテンツと広告とを含んでいるこの結合された情報は、次に、ユーザに対して提示するために、文書を要求したエンドユーザデバイス２５０に向けて転送される。最後に、コンテンツサーバ２３０は、広告についての情報と、広告がどのように、いつ、および／またはどこでレンダリングされたのかについての（例えば、位置、クリックスルーが発生したか否か、インプレッション時間、インプレッション日付、サイズ、変換が発生したか否か等の）情報とを広告サーバ１２０／２１０に返信してもよい。代わりに、または、加えて、他の任意の手段でこのような情報を広告サーバ１２０／２１０に戻してもよい。
【００３２】
広告消費者１３０の他の例は、検索エンジン２２０である。検索エンジン２２０は、検索結果のためのクエリを受信してもよい。応答して、検索エンジンは（例えば、ウェブページのインデックスから）関連性のある検索結果を取得してもよい。例示的な検索エンジンは、S.Brin氏およびL.Page氏により、オーストラリア、ブリズベン、第７回国際ワールドワイドウェブ会議において発表された論文“大規模ハイパーテキストの検索エンジンに関する解剖”、および、米国特許第６，２８５，９９９号（これらの両方はここで参照によって組み込まれている）に説明されている。このような検索結果は、例えば、ウェブページタイトルのリスト、これらのウェブページから抽出されたテキストの断片、および、これらのウェブページに対するハイパーテキストリンクを含んでいてもよく、予め定められた数（例えば１０）の検索結果へとグループ化されてもよい。
【００３３】
検索エンジン２２０は広告サーバ１２０／２１０に要求を出してもよい。要求は、所望される広告数を含んでいてもよい。この数は、検索結果、検索結果により占められるスクリーンの分量またはページ空間、広告のサイズおよび形状等に依拠していてもよい。１つの実施形態では、所望される広告数は１から１０、好ましくは３から５であるだろう。広告に対する要求は、（入力され、または構文解析された）クエリ、（地理的ロケーション情報、アフェリエイトから、およびこのようなアフェリエイトの識別子からクエリが由来しているか否か、ならびに／あるいは、以下に説明するように、検索クエリに関連した情報、および／または、検索クエリから導き出された情報のような）クエリに基づいた情報、検索結果に関係した情報、または検索結果に基づいた情報を含んでいてもよい。このような情報は、例えば、（例えば、文書識別子すなわち“ｄｏｃＩＤｓ”のような）検索結果に関連した識別子、（例えば、クエリおよび文書に対応した特徴ベクトルの内積のような情報検索（“ＩＲ”）スコア、ページランクスコア、および／または、ＩＲスコアとページランクスコアの組み合わせ等のような）検索結果に関連したスコア、（例えば、ウェブページのような）識別された文書から抽出されたテキストの断片、識別された文書の全文テキスト、識別された文書のトピック、識別された文書の特徴ベクトル等を含んでいてもよい。
【００３４】
検索エンジン２２０は、検索結果を、広告サーバ１２０／２１０により提供される１つ以上の広告と結合してもよい。検索結果と広告とを含んでいるこの結合された情報は、次に、ユーザに対して提示するために、検索を行ったユーザに向けて転送される。有料の広告と、おそらくは中立的な検索結果との間でユーザが混乱することのないように、好ましくは、広告とは別のものとして検索結果が維持される。
【００３５】
最後に、検索エンジン２２０は、広告についての情報と、広告がいつ、どこで、および／またはどのようにレンダリングされたのかについての（例えば、位置、クリックスルーが発生したか否か、インプレッション時間、インプレッション曜日、サイズ、変換が発生したのか否か等の）情報とを広告サーバ１２０／２１０に返信してもよい。以下に説明するように、このような情報は、広告は何に基づいて（例えば、厳密な一致もしくは緩やかな一致、または、完全一致、フレーズ一致もしくは部分一致等で）、関連性があるとして決定されたのかを決定する情報を含んでいてもよい。代わりに、または、加えて、他の任意の手段でこのような情報を広告サーバ１２０／２１０に提供し戻してもよい。
【００３６】
最後に、ｅ−メールサーバ２４０は、一般的に、文書が供給されるコンテンツサーバとして考えてもよいが、その場合、供給されるコンテンツは単にｅ−メールであってもよい。さらに、ｅ−メールを送受信するために、（例えば、マイクロソフトのアウトルックのような）ｅ−メールアプリケーションを使用してもよい。したがって、ｅ−メールサーバ２４０、またはアプリケーションは、広告消費者１３０であるとして考えてもよい。したがって、ｅ−メールは文書であるとして考えてもよく、ターゲット付けされた広告がこのような文書と関係して供給されてもよい。例えば、１つ以上の広告がｅ−メール中で、ｅ−メール上で、そうでなければｅ−メールと関係して供給されてもよい。
【００３７】
上記の説明は、（ｉ）広告を要求し、（ｉｉ）広告をコンテンツと結合する、としてサーバを説明したが、これらの動作のうちの１つまたは両方が、（例えばエンドユーザのコンピュータのような）クライアントデバイスによって実行されてもよい。
【００３８】
セクション４．３ 例示的な実施形態
図３は、本発明と一貫した方法で実行してもよい、例示的な動作と、このような動作により使用され、および／または発生されてもよい情報とのデータフロー図である。本発明と一貫した実施形態では、広告をレビューしてスコア付けし、マニュアルレビューのための優先度を決定するために、（おそらく、広告分類のような他の情報とともに）スコアを使用してもよい。このようにすることで、広告システムが人的リソースのより良い割当を行い、支出を減少させ、そして認可されるのを待っている広告のバックログを減少させることが可能になる。
【００３９】
図３に示したように、本発明と一貫した実施形態は広告レビュー優先度割当動作３２０を含んでいてもよい。広告レビュー優先度割当動作３２０は、広告を優先度付けするために、広告情報３１０を取得して、処理してもよい。広告は、少なくとも２つのプロパティ、最低優先度３３０と最高優先度３４０のうちの１つが割り当てられてもよい。最も単純なケースでは、最高優先度広告３４０がマニュアルレビュー３４０に対して適格である広告（例えば、マニュアルレビューに関係する人的リソースおよび支出の価値がある広告）であり、最低優先度広告３３０がマニュアルレビュー３４０に対して適格でない広告（しかし、自動レビューのみに適格であるかもしれない広告）である。
【００４０】
示していないが、さまざまな中間優先度レベルが提供されてもよく、本発明は２つの優先度レベルに制限されていない。示していないが、実際、広告は単に優先度スコアとともに提供され、それにしたがって、マニュアルレビューに対して順序付けされてもよい。したがって、離散的な値、分類、連続的スコア、またはこれらのうちの２つ以上の組み合わせとして優先度を表してもよい。
【００４１】
広告レビュー優先度割当動作３２０は、例えば、広告分類、スコア値、および／またはしきい値を使用して、広告に対してレビュー優先度値を割り当てる。これらの動作３２０は、マニュアルレビューに対して適格である広告の組３４０と、マニュアルレビューに対して適格でない広告の組３３０とを決定してもよい。
【００４２】
セクション４．３．１ 例示的な方法
図４は、本発明と一貫した方法で広告レビューを優先度付けするための例示的な方法４００のフロー図である。詳細に述べると、方法４００は、広告情報を受け入れる（ブロック４１０）。一度広告情報が取得されると、方法４００は、（例えば、予期される収益に基づいて）広告をスコア付けする（ブロック４２０）。引き続いて、方法４００は広告にレビュー優先度を割り当てする（ブロック４３０）。個別の広告のレビュー優先度が、集合的に、１組の広告のレビューを有効に優先度付けしてもよい。
【００４３】
戻ってブロック４２０を参照すると、スコア値は、単に、広告によって発生されることが予期される収益であってもよい。予期される収益は、おそらく現在の金銭価値に対して割り引かれる、予期される将来に収益をもたらすイベントの総計であってもよい。
【００４４】
戻ってブロック４３０を参照すると、方法４００は、広告の分類、広告のスコア、および／または、収益しきい値に基づいて、広告に優先度値を割り当てる。上で説明したように、優先度値は、ブロック４２０において決定されたスコアのような連続的な値であってもよい。代わりに、優先度値は、優先度グループの離散的な数のうちの１つのような離散的な値であってもよい。例えば、本発明と一貫した１つの実施形態において、決定されたスコアは予期された収益であってもよく、優先度割当は、スコアを（広告をマニュアルで認可する最大費用に等しく設定されてもよい）収益しきい値に対して比較する動作を含んでいてもよい。このような実施形態では、（おそらく広告分類に依拠して）広告のスコア値が収益しきい値より大きい場合、広告はマニュアルレビューに対して適格であるとして考えられてもよい（例えば、“適格である”として優先度付けされる）。そうではない場合、広告はマニュアルレビューに対して適格であるとして考えられるべきでない（例えば、“不適格である”として優先度付けされ、または、単に考慮から除外される）。
【００４５】
当業者によって理解されるように、例えば方法４００のような、本発明と一貫した方法により実行される特定の動作は、それが使用される情況に依拠していてもよい。例えば、第１の例示的な広告供給環境においては、広告をマニュアルでレビューしてしまうまでは、広告を供給しないことが可能である。広告がマニュアルレビューに合格した場合だけに広告を供給してもよい。そうではない場合、広告を供給しない。このような例示的環境は、“供給前マニュアルレビュー”広告供給環境として呼んでもよい。第２の例示的な広告供給環境においては、広告をマニュアルでレビューする前に広告を供給することが可能であるが、広告がマニュアルレビューに不合格である場合、広告供給システムから広告を除去することができる。このような例示的環境は、“供給後マニュアルレビュー”広告供給環境として呼んでもよい。第３の例示的な広告供給環境においては、広告がマニュアルでレビューされる前には、（例えば、（Google.comのみに供給し、Ad Sense（登録商標）の発行者には供給せず、パートナーのウェブサイトには供給しない等の）制限されたプロパティまたはウェブサイト上にのみ、（成人のみ、ファミリーセーフでない等の）特定のユーザに対してのみのような）制限された方法で広告を供給することが可能である。マニュアルレビューの後、広告がマニュアルレビューに合格した場合、より拡張的な方法で広告を供給することができ、あるいは、広告がマニュアルレビューに不合格であった場合、より制限された方法で供給され続けてもよく（または、全く供給されなくてもよい）。このような例示的環境は、“制限的供給後マニュアルレビュー”広告供給環境として呼んでもよい。
【００４６】
戻ってブロック４３０を参照すると、本発明と一貫した例示的な実施形態における、“制限的供給後マニュアルレビュー”広告供給環境において、割り当てられてもよい優先度値は以下のものである。すなわち、ＤＥＦＡＵＬＴ（優先度は割り当てられていない）、ＬＯＷ（広告はマニュアルレビューを差し控えられるだろう）、ＮＯＲＭＡＬ（広告は人的レビューに対して適格である）、ＨＩＧＨ（広告は人的レビューに対して適格であり、広告は（例えば、‘４１５出願で説明したもののような、自動チェック手段により決定されたような）少なくとも１つの“疑わしい”または“禁止された”クリエイティブもしくはキーワードを含んでいる）。このような実施形態では、優先度値ＬＯＷが広告に付与されたときにのみ、方法４００は、人的レビューから広告を除外してもよい。
【００４７】
図５は、本発明と一貫した方法で優先度割当動作を実行するための例示的な方法５００のフロー図である。このような方法５００は、“制限的供給後マニュアルレビュー”広告供給環境において、特に有用である。特に、方法５００はその広告スコア値とともに、広告情報を受け入れてもよい（ブロック５０５）。一度広告情報およびそのスコア値が取得されると、異なる広告分類に依拠して、方法５００の異なった枝が実行されてもよい（ブロック５１０）。広告が“禁止された”として分類されている場合、方法５００は、単にその広告に対してＨＩＧＨレビュー優先度を割り当てしてもよい（ブロック５１５）。結果として、方法５００は、その広告がマニュアルレビューに対して適格であることを示してもよく（ブロック５２０）、この後で方法５００は終了する（ブロック５６０）。広告が“不正な広告主”に属しているとして分類されている（しかし、“禁止された”広告としては分類されない）場合、方法５００は、広告に対してＨＩＧＨ（または、ＮＯＲＭＡＬ）レビュー優先度を割り当てしてもよい（ブロック５３０）。次に、方法５００は、広告がマニュアルレビューに対して適格であることを示し（ブロック５２０）、この後で方法５００は終了する（ブロック５６０）。広告が“禁止されていない／不正者でない広告主”（これまでのところ、違反または潜在的な問題が何ら検出されていないことを意味する）として分類されている場合、方法５００は、広告の（例えば、予期された収益のような）スコア値が（例えば、費用しきい値のような）しきい値より大きいか否かを決定してもよい（ブロック５４０）。スコア値がしきい値より大きい場合、方法５００は広告にＮＯＲＭＡＬレビュー優先度を割り当てしてもよい（ブロック５４５）。次に、方法５００は、広告がマニュアルレビューに対して適格であることを示し（ブロック５２０）、この後で方法は終了する（ブロック５６０）。反対に、スコア値がしきい値を超えない場合、方法５００は広告にＬＯＷレビュー優先度を割り当てしてもよく（ブロック５５０）、そして、広告がマニュアルレビューに対して適格でない（そうではあるが、広告は自動レビューに対しては適格であってもよい）ことを示す（ブロック５５５）。次に方法５００は終了する（ブロック５６０）。
【００４８】
戻ってブロック５１０を参照すると、広告システムは、広告主によって広告が提出されたときに、潜在的な違反に対して広告を調査する手段を持っていてもよい。したがって、上に述べたように、“禁止された”、“不正な広告主”、または “禁止されていない／不正者でない広告主”（これまでのところ、違反が何ら検出されていないことを意味する）として広告を分類してもよい。優先度値を割り当てるとき、方法５００は広告分類を考慮する。特に、“禁止された”として分類される広告は、広告クリエイティブまたはキーワード内で、要注意の用語または攻撃的な用語を広告システムが検出したことを示してもよい。“不正な広告主”として分類される広告は、広告主が不正な活動に関わっている（かつて関わっていた、または、関わりそうである）ことを広告システムが検出したことを単に示してもよい。“禁止されていない／不正者でない広告主”として分類される広告は、これまでのところ広告システムが何ら違反を検出していないことを示す。
【００４９】
戻ってブロック５１５、５２０を参照すると、“禁止された”として分類された広告を受信した際に、方法５００は収益しきい値に対する広告のスコア値を調査する必要がない。禁止されたまたは疑わしいキーワードまたはクリエイティブを広告が含むため、方法５００は、広告がマニュアルレビューに対して適格であることを示すＨＩＧＨレビュー優先度値を“禁止された”広告に対して割り当ててもよい。広告が制限的ベースで供給されているが、特定のポリシーに違反しているおそれがある場合、広告供給システムはその広告を除去するか否かを可能な限り早く決定することを望むことが多い、ということがこの根本的な理由である。
【００５０】
戻ってブロック５３０および５２０を参照すると、“不正な広告主”として分類された広告を受信した際に、再び、方法５００は収益しきい値に対する広告のスコア値を調査する必要がない。広告の広告主が不正な活動に関わった（関わっていた、または、関わりそうである）ため、方法５００は、広告がマニュアルレビューに対して適格であることを示す、ＨＩＧＨまたはＮＯＲＭＡＬレビュー優先度値を“不正な広告主”の広告に対して割り当てしてもよい。広告が制限的ベースで供給されているが、広告主によって広告供給システムに報酬が支払われていないかもしれない場合、広告供給システムは、その広告を除去するか否かを決定することを望む傾向がある、ということがこの根本的な理由である。広告供給システムが、広告を禁止することよりも、不正な広告を黙認することを望むケースもあるかもしれない。これは、不正な広告を黙認することは収益の下落を引き起こすだけであるが、広告を禁止するのは広告供給システムの良い評価を傷つけるおそれがあるためである。
【００５１】
戻ってブロック５４０を参照すると、方法５００は“禁止されていない／不正者でない広告主”として分類された広告を受信した際に、スコア値が収益しきい値よりも大きい場合を決定するためにスコアを調査する。収益しきい値は、広告をマニュアルで認可するための最大費用として設定されてもよい。さらに、本発明は異なる国における、請求書発行の違いに対応するために異なる収益しきい値を許容してもよい。この柔軟性は、収益関連の国際的な違いおよびマニュアルレビューリソースの国際的な違いに対して優先度付けが対処するのを助けてもよい。スコア値がしきい値よりも大きいことが分かった場合、方法５００は広告にＮＯＲＭＡＬレビュー優先度を割り当てしてもよく、これによって広告がマニュアルレビューに対して適格であることを示す。反対に、スコア値がしきい値を超えていないことが分かった場合、方法５００はＬＯＷレビュー優先度を広告に対して割り当てて、広告がマニュアルレビューに対して適格でないことを示してもよい。
【００５２】
方法５００のようなスキームを使用すると、広告分類、広告スコア、および／または、しきい値を使用して、広告レビューを優先度付けしてもよいことが明らかである。収益しきい値を使用することは、マニュアルレビュー保留中の広告の量を減らし、これによって、マニュアルレビューに関係する支出を減らして、人的リソースのよりよい割当を可能にする。
【００５３】
図６は、本発明と一貫した方法で定期的チェック動作を実行するための例示的な方法６００のフロー図である。方法６００は広告がより高い優先度に上げられるべき場合を決定するために、チェックされていない広告を、および／または、ＬＯＷ優先度の広告を定期的にポーリングしてもよい。特に、チェックされていない／ＬＯＷ優先度の広告を処理する時間において、方法６００はこのようなチェックされていない、または、ＬＯＷ優先度の広告を取得してもよい（ブロック６１０および６２０）。方法６００は広告システムから（例えば、禁止された、広告主は不正者である、疑わしい等の）広告の分類を取得してもよい（ブロック６３０）。引き続いて、方法６００は広告をスコア付けし、そして、広告レビュー優先度割当動作を呼び出してもよい（図５を想起）（ブロック６４０および６５０）。
【００５４】
戻ってブロック６２０を参照すると、方法６００は広告のステータスが変更されている場合を確認するために、ＬＯＷ優先度の広告またはチェックされていない広告を定期的に再調査してもよい。例えば、広告のスコアがより高いとして再決定された場合（例えば、広告が（例えば、世に知られていない人名のような）世に知られていない用語をターゲット付けに使用しており、その用語が突然世間に広まり（例えば、一般的な検索クエリ用語になり）、広告主が提供を増加させ、広告主がその予算を増加させる等）、および／または、（例えば、より低い費用のマニュアルレビュー、より少ないバックログ等のために）しきい値が低くなった場合、スコアはしきい値を超えるかもしれない。方法６００はこの変更を検出して、広告の優先度値を更新することを要求してもよい。より高い優先度レベルの割当を正当化する、ＬＯＷ優先度の広告に対する他の変更は、（例えば、広告のランディングページが、以前は持っていなかった、卑俗なまたは憎悪のコンテンツを持つようになったことによる）広告の分類における変更であってもよい。
【００５５】
戻ってブロック６５０を参照すると、一度方法６００が、広告の分類およびスコアとともにＬＯＷ優先度のまたはチェックされていない広告を取得すると、方法６００は、広告に対するレビュー優先度割当動作を呼び出すように進んでもよい。例えば、広告が調査された最後の時点から、広告に対する何らかの変更が発生していたケースでは、または、広告が全くチェックされていないケースでは、広告の更新された優先度割当を決定するために、方法６００は方法５００を呼び出してもよい。
【００５６】
セクション４．３．２ 例示的な装置
図７は、上記の動作のうちの１つ以上を実行してよい機械７００の高水準ブロック図である。機械７００は、基本的に１つ以上のプロセッサ７１０、１つ以上の入力／出力インターフェイスユニット７３０、１つ以上の記憶デバイス７２０、ならびに、結合されたエレメント間での情報の通信を容易にするための１つ以上のシステムバスおよび／またはネットワーク７４０を含む。１つ以上の入力デバイス７３２および１つ以上の出力デバイス７３４が１つ以上の入力／出力インタフェース７３０と結合されていてもよい。
【００５７】
１つ以上のプロセッサ７１０は、本発明の１つ以上の観点を有効にするために（例えば、カリフォルニア州パロアルトのサンマイクロシステムズ社から入手できるソラリスオペレーティングシステム上で、または、ノースカロライナ州ダーハムのレッドハット社のような多くのベンダから幅広く手に入るリナックス (登録商標)オペレーティングシステム上で実行するＣまたはＣ＋＋のような）機械実行可能命令を実行してもよい。少なくとも一部の機械実行可能命令を、１つ以上の記憶デバイス７２０に（一時的に、もしくは、より恒久的に）記憶してもよく、および／または、１つ以上の入力インターフェイスユニット７３０を介して外部ソースから受け取ってもよい。
【００５８】
１つの実施形態では、機械７００は１つ以上の従来のパーソナルコンピュータであってもよい。このケースでは、処理ユニット７１０は１つ以上のマイクロプロセッサであってもよい。バス７４０はシステムバスを含んでいてもよい。記憶デバイス７２０は、リードオンリーメモリ（ＲＯＭ）および／またはランダムアクセスメモリ（ＲＡＭ）のようなシステムメモリを含んでいてもよい。記憶デバイス７２０は、ハードディスクから読み取るための、またはハードディスクに書き込むためのハードディスクドライブや、（例えばリムーバブル）磁気ディスクから読み取るための、または（例えばリムーバブル）磁気ディスクに書き込むための磁気ディスクドライブ、および、コンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクから読み取るための、またはコンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクに書き込むための光ディスクドライブも含んでいてもよい。
【００５９】
ユーザは、例えばキーボードおよび（例えば、マウスのような）ポインティングデバイスのような入力デバイス７３２を通して、パーソナルコンピュータにコマンドと情報を入力してよい。これには、マイク、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナのような他の入力デバイスも（または、代わりに）含まれてよい。これらの、および他の入力デバイスは、システムバス７４０に結合される適切なインタフェース７３０を通して処理ユニット７１０に接続されることが多い。出力デバイス７３４は、モニタ、または、適切なインタフェースを介してシステムバス７４０に接続され得る他のタイプの表示デバイスを含んでよい。モニタに加えて（または、代わりに）、パーソナルコンピュータは、例えばスピーカとプリンタのような、他の（示していない）（周辺）出力デバイスを含んでよい。
【００６０】
セクション４．３．３ 改良、代替物および拡張
上記の少なくともいくつかの実施形態は、広告スコアは予期される収益の関数であってもよいことを説明した。本発明と一貫した少なくともいくつかの実施形態において、予期される価値は、現時点に対して、予期されるマニュアルレビューの時点に対して、または他の任意の時点に対して、割り引かれる将来のレビューストリームであってもよい。
【００６１】
自動的にチェックされて、おそらく、広告を（マニュアルレビュー優先度付けに先行して）分類するのに使用されるポリシー違反は、以下のもののうちの１つ以上を含んでいてもよい。すなわち、（Ａ）誇張表現の禁止、（Ｂ）繰返しの用語の禁止、（Ｃ）繰返しのフレーズの禁止、（Ｄ）登録商標の禁止、（Ｅ）卑俗な言語の禁止、（Ｆ）ポップアップ広告を発生させる広告ランディングページの禁止、（Ｇ）ブラウザ“戻る”機能を不可能にする広告ランディングページの禁止、（Ｈ）不適切な大文字使用、（Ｉ）標準ブラウザで閲覧できないランディングページの禁止、（Ｊ）複数の感嘆符の禁止、（Ｋ）長すぎるテキストの禁止、（Ｌ）可視のＵＲＬスペルに一致していないランディングページＵＲＬ、（Ｍ）偽造デザイン商品の禁止等。
【００６２】
上記の実施形態のいくつかのものは、マニュアルレビューに不適格である広告として、ＬＯＷ優先度広告を説明したが、マニュアルレビューを待っている広告のバックログが減少され、または、除去された場合は、このような広告を後にマニュアルレビューしてもよい。したがって、例えば、本発明に一貫した少なくともいくつかの実施形態では、マニュアルレビューを待っているＨＩＧＨまたはＮＯＲＭＡＬ優先度広告がない場合、ＬＯＷ優先度広告がレビューされてもよい。
【００６３】
例えば、図５の方法５００のような、上で説明した優先度割当方法のいくつかのものは、“制限的供給後マニュアルレビュー”広告供給環境の情況で特に有用であるが、優先度が他の方法で割り当てられてもよく、優先度は使用される広告供給環境により左右されることが多いということを当業者は理解するだろう。例えば、“供給前マニュアルレビュー”広告供給環境においては、禁止された広告および不正な広告主に関係する広告は、特にこれらのスコアが低い場合には、ＬＯＷ優先度が与えられるかもしれない。
【００６４】
上で説明した優先度割当方法のいくつかのものは、特定の分類を持っている広告に対する広告スコアを考慮していなかったが（例えば、図５の方法５００中の禁止された広告および不正な広告主の広告の取り扱いを想起）、広告スコアは、その分類とともに使用されてもよい。例えば、スコアは広告を並べ替えるのに使用してもよく、または、さらに、ＨＩＧＨ優先度が与えられた優先度付けされた広告を並べ替えるのに使用してもよい。理解されるように、本発明に一貫した実施形態を使用して、（ａ）複数の優先度グループのうちの１つに対して広告を割り当てることと、（ｂ）広告をソートすることと、（ｃ）複数の優先度グループのうちの１つに対して広告を割り当てて、次にそのグループ内で広告をソートすることと、（ｄ）優先度グループおよびサブグループのうちの１つまたは複数に対して広告を割り当てすること等によって、広告を優先度付けしてもよい。（例えば、‘４１５出願で説明したような自動的チェック手段により割り当てられた）広告分類、および／または、（例えば、予期された収益のような）広告スコアを使用して、このようなソートを実行してもよく、および／または、このような割当を行ってもよい。
【００６５】
上記の実施形態の多くのものは、広告のマニュアルレビューを優先度付けするために収益ベースのスコアを使用するとして説明したが、本発明に一貫した少なくともいくつかの実施形態では、第１のレビュープロトコルまたは第２のレビュープロトコルを使用して広告をレビューするか否かを決定するために、すなわち、より一般的には、使用すべきレビュープロトコルを決定するために収益ベースのスコアを使用してもよい。異なるレビュープロトコルは、例えば、さまざまなマニュアル、および／または自動化されたレビュー、多層のレビュー、単層のレビュー等を含むことができる。
【００６６】
上記の実施形態の多くのものは、広告に関して収益ベースのスコアを使用していたが、本発明に一貫した少なくともいくつかの実施形態では、例えばいくつかのカテゴリの広告のような１組の広告について、収益ベースのスコアを使用してもよい。例えば、自動車カテゴリ中の広告が他の任意のカテゴリ中の広告に比して、より低い不認可レートと、より高い収益発生を持つ傾向がある場合、自動車カテゴリ中の広告を異なって優先度付けしてもよい（例えば、異なる収益ベースのしきい値を使用してもよい）。
【００６７】
セクション４．４ 結論
上記から理解できるように、本発明に一貫した実施形態を使用して、（例えば、収益しきい値のような）しきい値を確立することと、広告がマニュアルレビューに対して適格であるとされる前に、（例えば、広告から生まれる収益のような）広告スコアがしきい値を超えるのを要求することにより、マニュアルレビューの数を減少させてもよい。本発明に一貫した実施形態は、広告レビューを優先度付けするために、発生されることが予期される収益に基づいて広告をスコア付けしてもよく、そして、おそらくは広告分類とともに収益しきい値を使用してもよい。
【発明の分野】
【０００１】
本発明はオンライン広告のような広告に関連する。さらに詳細には、本発明は、例えば品質保証ポリシーのようなポリシーへの準拠に対する広告のマニュアルレビューのようなレビューに関連する。
【発明の背景】
【０００２】
広告システムは、供給されるために広告が準拠しなければならないポリシーガイドラインを採用している。ポリシーへの準拠を確実にするために、マニュアルレビューが必要とされることが多い。残念なことに、すべての広告をマニュアルでレビューすることは、特に大規模なオンライン広告ネットワークにおいては、かなりの難題である。例えば、広告の提出の継続的な増加は、広告をマニュアルでレビューするために大量の人的リソースを割り当てることをオンライン広告ネットワークに強いてきた（最適化および顧客サポートのような他の領域の損害となることも多かった）。たとえ、広告をレビューするのにかなりのマニュアルリソースを割り当てたとしても、それにもかかわらず、オンライン広告がますます人気になり続けるにしたがって、広告レビュー保留中のバックログが増加するかもしれない。このようなバックログは、広告主にとってフラストレーションの元となるおそれがあり、広告ネットワークに関する収益機会の損失を表しているかもしれない。
【０００３】
マニュアル広告レビューバックログに対処するために、広告レビューの一部を自動化する自動レビューシステムが実現されてきた。（“広告の自動化された判断のためのポリシーチェックフレームワーク”と題され、２００４年１２月３０日に出願され、Gregory Joseph Badros氏、Lucy Zhang氏、および Robert J. Stets氏を発明者として記載する、（“‘４１５出願”として呼ばれ、ここに参照により組み込まれる）米国特許出願シリアル番号第１１/０２６，４１５号を参照。）自動チェックシステムの実用性にもかかわらず、自動的にチェックされた広告のいくつかまたはすべてのものは、マニュアルレビューをさらに必要とするかもしれない。広告提出レートが増え続けると予期されているので、広告レビューバックログは相変わらず多くの分量を維持すると予期される。したがって、マニュアルレビュー待ちの広告のバックログは、継続的な難題であることが予期されている。
【０００４】
上記から理解されるように、例えば、オンライン広告のような、広告がレビューされる方法を改良することが有用であるだろう。
【発明の概要】
【０００５】
例えば、‘４１５出願に説明したもののような自動化の努力の成果を補完するために、本発明と一貫した実施形態を使用して、（過去に行われていたように、すべての到来広告をマニュアルでレビューしようと試みる代わりに）広告が特定の予期される収益しきい値に到達したときに一度だけ、広告をマニュアルでレビュー（または特定の方法で広告をレビュー）してもよい。少なくとも過去においては、数多くの広告主が、それぞれ個別には比較的小さい収益しか生まない、数百または数千もの広告を提出していたという事実によって、この戦略は動機付けられている。本発明と一貫したこのような実施形態は、マニュアル認可に係属している広告の数をかなり減少させる可能性を持っており、少なくとも広告の順序を優先度付けする可能性を持っている。
【０００６】
本発明と一貫した少なくともいくつかの実施形態は、広告をマニュアルで認可するための最大費用に等しいしきい値を使用してもよく、これによって、マニュアルレビューに係属している広告レビューをかなり減少させる。
【０００７】
本発明と一貫した少なくともいくつかの実施形態は、例えば自動的手段で決定してもよい（例えば、禁止された、疑わしい、チェックされていない等の）広告の分類を考慮して、マニュアル認可に保留中の広告の順序を優先度付けしてもよい。
【図面の簡単な説明】
【０００８】
【図１】図１は、広告システムと対話することができる関係者またはエンティティを示す高水準ブロック図である。
【図２】図２は、本発明と一貫した実施形態をその中で、またはそれとともに動作させてもよい例示的な環境を図示する図である。
【図３】図３は、本発明と一貫した方法で実行してもよい、例示的な動作と、このような動作により使用され、および／または発生されてもよい情報とのデータフロー図である。
【図４】図４は、本発明と一貫した方法で広告レビューを優先度付けする例示的な方法のフロー図である。
【図５】図５は、本発明と一貫した方法で優先度割当動作を実行する例示的な方法のフロー図である。
【図６】図６は、本発明と一貫した方法で広告チェック動作を実行する例示的な方法のフロー図である。
【図７】図７は、本発明と一貫した方法で、さまざまな動作を実行してもよい例示的な装置のブロック図である。
【発明を実施するための形態】
【０００９】
本発明は、広告レビューを優先度付けするための、新規な方法、装置、メッセージフォーマット、および／またはデータ構造を含んでいてもよい。以下の説明は、当業者が本発明を実施および使用できるように提示し、特定の応用と特定の応用の要求の情況で提供する。したがって、本発明と一貫した実施形態の以下の説明は、図示および説明を提供するが、網羅的なものであることを意図するものではなく、または、開示する正確な形態に本発明を制限することを意図するものではない。開示する実施形態に対するさまざまな修正が当業者に明らかになり、以下に述べる一般的原則は、他の実施形態および応用に適用されてもよい。例えば、フロー図を参照して一連の動作を説明するが、１つの動作の実行が他の動作の完了に依拠していないときは、他の実施では動作の順序が異なっていてもよい。さらに、従属していない動作は並列に実行されてもよい。詳細な説明中で使用されるどのエレメント、動作、または命令も、そうであるとして明示的に示さない限り、本発明に対して重大または不可欠であるとして解釈すべきでない。ここで使用するように、冠詞“ａ”は１つ以上のアイテムを含むことを意図している。１つだけのアイテムを意図するところでは、用語“１つの（ｏｎｅ）”または類似の言葉を使用する。したがって、本発明は示している実施形態に制限されることを意図しておらず、発明者は、何らかの特許可能な記述された主題を含むものとして本発明を考えている。
【００１０】
以下において、本発明の詳細な説明で使用する用語の定義をセクション４．１において提供する。次に、本発明がその中で動作してよい、または本発明と一貫した実施形態がそれを用いて動作し得る例示的な環境をセクション４．２において説明する。その後、本発明と一貫した例示的な実施形態をセクション４．３において説明する。最後に、本発明に関するいくつかの結論をセクション４．４において述べる。
【００１１】
セクション４．１ 定義
以下に図１および２に関して説明する例示的なシステムで、または、他の任意のシステムで使用されるもののような、オンライン広告はさまざまな固有の特徴を持つことがある。このような特徴は、応用および／または広告主によって特定されてもよい。これらの特徴は、以下で“広告特徴”として呼ぶ。例えば、テキスト広告のケースでは、広告特徴はタイトルライン、広告テキスト、および組み込みリンクを含んでいてもよい。画像広告のケースでは、広告特徴は、画像、実行可能コード、および埋め込みリンクを含んでいてもよい。オンライン広告のタイプに依拠して、広告特徴はテキスト、リンク、音声ファイル、ビデオファイル、画像ファイル、実行可能コード、埋め込み情報等のうちの１つ以上を含んでいてもよい。
【００１２】
オンライン広告が供給されるとき、広告がどのように、いつ、および／またはどこで供給されたのかを記述するために１つ以上のパラメータを使用してもよい。これらのパラメータを、以下では“供給パラメータ”と呼ぶ。供給パラメータは、例えば、以下のうちの１つ以上を含んでよい。すなわち、その上に、または、それとともに、広告が供給されている文書（その上の情報を含む）の特徴、広告の供給に関連付けられた検索クエリ、または検索結果、（例えば、ユーザの地理的ロケーション、ユーザによって使用される言語、使用されるブラウザのタイプ、過去のページビュー、過去の挙動、ユーザアカウント、システムにより使用される任意のウェブクッキー、ユーザデバイス特性等のような）ユーザ特性、（例えば、アメリカオンライン、グーグル(登録商標)、ヤフー(登録商標)のような）要求を開始したホストまたはアフェリエイトのサイト、広告が供給されたページ上の広告の絶対位置、供給された他の広告を基準にした広告の（空間的または時間的）位置、広告の絶対サイズ、他の広告を基準にした広告のサイズ、広告の色、供給された他の広告数、供給された他の広告のタイプ、供給時刻、供給曜日、供給時期等。本発明の文脈で使用してもよい、他の供給パラメータがあるのは当然である。
【００１３】
供給パラメータは、広告特徴にとっては付帯的であってよいが、これらは供給条件または制約として、広告と関連付けられてよい。供給条件または制約として使用されるとき、このような供給パラメータは単に“供給制約”（または“ターゲット付け基準”）として呼ぶ。例えば、いくつかのシステムにおいては、広告主は、その広告が平日にのみ、一定の位置より高く、一定のロケーションのユーザにのみ等、供給されなければならないと指定することで、その広告の供給をターゲット付けすることができる。他の例としては、いくつかのシステムにおいて、広告主は、ページまたは検索クエリが一定のキーワードまたは言い回しを含む場合にだけ、その広告が供給されなければならないと指定してもよい。さらに別の例としては、その上に、または、それとともに、供給されている文書が一定のトピックまたは概念を含む場合、または、特定のクラスタ、もしくは（例えば、“垂直型”のような）何らかの他の分類に該当する場合にのみ、その広告が供給されなければならないと広告主が指定できるシステムもある。いくつかのシステムにおいて、広告主は、特定の特性を持つユーザデバイスのみに対して、その広告が供給されること（または供給されないこと）を特定してもよい。最後に、いくつかのシステムにおいて、特定のロケーションから発信される要求に応答して、または、特定のロケーションに関する要求に応答して、広告が供給されるように広告をターゲット付けしてもよい。
【００１４】
“広告情報”は、広告特徴、広告供給制約、（“広告導出情報”として呼ばれる）広告特徴もしくは広告供給制約から導出可能な情報、および／または、（“広告関連情報”として呼ばれる）広告に関連した情報、とともに（例えば、広告関連情報から導出される情報のような）このような情報の拡張を含んでいてもよい。
【００１５】
広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する、広告を選択する数（例えば、クリックスルー）の比は、広告の“選択レート”（すなわち“クリックスルーレート”）として定義される。
【００１６】
“変換”は、ユーザが以前に供給された広告に関連するトランザクションを完了させるときに発生すると言われている。変換を構成する内容はケースによって異なり、さまざまな方法で決定できる。例えば、ユーザが広告をクリックし、広告主のウェブページに導かれ、そのウェブページを離れる前にそこで購入を完了するときに、変換が発生するというケースがある。代わりに、変換は、ユーザが広告を見て、予め定められた時間（例えば７日間）内に広告主のウェブページで購入することとして定義されてよい。さらに別の代替案では、変換は、例えば、白書をダウンロードする、ウェブサイトの少なくとも所定の深さまでナビゲーションする、少なくとも一定数のウェブページを見る、少なくとも予め定められた時間量をウェブサイトまたはウェブページで費やす、ウェブサイトに登録する等の任意の測定可能／観察可能なユーザアクションであるとして、広告主によって定義されてよい。変換を構成するユーザアクションはこれらに制限されないが、ユーザアクションが購入の完了を示さない場合であっても、これらはセールスリードを示すことが多い。実際に、何が変換を構成するかについて他の多くの定義が考えられる。
【００１７】
広告のインプレッション数（すなわち、広告がレンダリングされる回数）に対する変換数の比と、選択の数（または、何らかの他の以前のイベントの数）に対する変換数の比との両方が、“変換レート”と呼ばれる。変換レートのタイプは、それが使用される文脈から明らかになるだろう。広告の供給から予め定められた時間内に発生し得ることと変換が定義される場合、変換レートの１つの考えられる定義は、過去に、予め定められた時間より長く供給されていた広告だけを考慮するかもしれない。
【００１８】
“プロパティ”は、その上に広告を提示することができる何らかのものである。プロパティは（例えば、ウェブサイト、ＭＰ３音声プログラム、オンラインゲーム等のような）オンラインコンテンツ、（例えば、新聞、雑誌、劇プロダクション、コンサート、スポーツイベント等のような）オフラインコンテンツ、ならびに／あるいは、（例えば、電光掲示板、スタジアムスコアボード、および外野壁、トラックトレーラーの側面等のような）オフライン物体を含む。（例えば、雑誌、新聞、ウェブサイト、ｅ−メールメッセージ等のような）コンテンツを伴うプロパティは、“メディアプロパティ”として呼んでもよい。プロパティそれら自体は、オフラインであってもよいが、プロパティについての（例えば、属性、トピック、概念、カテゴリ、キーワード、関連性情報、サポートされる広告のタイプ等のような）関係情報は、オンラインで利用可能であってもよい。例えば、野外ジャズ音楽フェスティバルでは、トピック“音楽”および“ジャズ”、コンサートのロケーション、コンサートの時刻、フェスティバルに出演予定のアーティスト、ならびに、（例えば、印刷されたプログラム、ステージ上のスポット、座席背面のスポット、スポンサーの音声アナウンス等のような）利用可能な広告スポットのタイプが入力されてもよい。
【００１９】
“文書”は、何らかの機械読取可能および機械記憶可能な作業生産物を含むものとして幅広く解釈すべきである。文書は、ファイル、ファイルの組み合わせ、他のファイルへのリンクが埋め込まれた１つ以上のファイル等であってもよい。ファイルは、テキスト、音声、画像、ビデオ等の任意のタイプのものであってもよい。エンドユーザにレンダリングされる文書の一部は、文書の“コンテンツ”と見なすことができる。文書は、コンテンツ（言葉、絵等）とそのコンテンツの意味の何らかの表示（例えば、ｅ−メールフィールドおよび関連データ、ＨＴＭＬタグ、および関連データ等）との両方を含む“構造化されたデータ”を含んでいてもよい。文書中の広告スポットは埋め込まれた情報または命令で定義されてもよい。インターネットの文脈において、普通の文書はウェブページである。ウェブページはコンテンツを含むことが多く、（メタ情報、ハイパーリンク等のような）埋め込まれた情報、および／または（Java(登録商標)script等のような）埋め込まれた命令を含んでいてもよい。多くのケースでは、文書はアドレス指定可能な記憶ロケーションを有し、したがってこのアドレス指定可能なロケーションによって一意的に特定できる。ユニバーサルリソースロケータ（ＵＲＬ）は、インターネット上の情報にアクセスするために使用されるアドレスである。
【００２０】
“ウェブ文書”はウェブ上で発行される任意の文書を含む。ウェブ文書の例は、例えば、ウェブサイトまたはウェブページを含む。
【００２１】
“文書情報”は、文書に含まれる任意の情報、（“文書導出情報”と呼ばれる）文書内に含まれる情報から導き出すことができる情報、および／または（“文書関連情報”と呼ばれる）文書に関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。文書導出情報の例は、文書のテキストコンテンツに基づいた分類である。文書関連情報の例は、当該文書にリンクする他の文書からの文書情報、とともに、当該文書がリンクする他の文書からの文書情報も含む。
【００２２】
文書からのコンテンツは、“コンテンツレンダリングアプリケーションまたはデバイス”上でレンダリングされてよい。コンテンツレンダリングアプリケーションの例は、インターネットブラウザ（例えば、エクスプローラまたはネットスケープ、オペラ、ファイアフォックス等）、メディアプレーヤ（例えば、ＭＰ３プレーヤ、Ｒｅａｌ ｎｅｔｗｏｒｋｓストリーミング音声ファイルプレーヤ等）、ビューワ（例えば、アドビアクロバット（登録商標）ｐｄｆリーダ）等を含む。
【００２３】
“コンテンツオーナ”は、メディアプロパティ（例えば、文書）のコンテンツに何らかの財産権を有する人物またはエンティティである。コンテンツオーナはコンテンツの著者であってよい。加えて、または代わりに、コンテンツオーナはコンテンツを再生する権利、コンテンツの派生作品を作成する権利、コンテンツを公表するもしくは公演する権利、および／またはコンテンツの中の他の禁止された権利を持っていてもよい。コンテンツサーバは、それが供給する文書のコンテンツ中のコンテンツオーナである可能性があるが、これは必須ではない。“ウェブ発行者”は、コンテンツオーナの一例である。
【００２４】
“ユーザ情報”はユーザ挙動情報、および／またはユーザプロファイル情報を含んでいてもよい。
【００２５】
“ｅ−メール情報”は、（“内部ｅ−メール情報”とも呼ばれる）ｅ−メールに含まれる情報や、ｅ−メールに含まれる情報から導き出すことのできる情報、および／またはｅ−メールに関連する情報、とともに、このような情報の拡張版（例えば、関連情報から導き出される情報）も含んでいてもよい。ｅ−メール情報から導き出される情報の例は、ｅ−メールの件名から抽出された用語で構成された検索クエリに応答して戻された検索結果から抽出されまたはそうでなければ導き出された情報である。ｅ−メール情報に関連する情報の例は、所定のｅ−メールと同じ送信者によって送信される１つ以上の他のｅ−メールについてのｅ−メール情報、またはｅ−メール受取人についてのユーザ情報を含む。ｅ−メール情報から導き出される、またはｅ−メール情報に関連する情報を“外部ｅ−メール情報”と呼ぶことがある。
【００２６】
“広告不正者”は、広告ネットワークに対して、過去に不正を犯したことのある広告主であってもよく、または広告ネットワークに対して、（現在もしくは将来に）不正を犯す疑いのある広告主であってもよい。不正者の一例は、無効なクレジットカードでアカウントを開設した広告主である。他の不正者の例は、１つ以上のその広告の供給に対する残金の支払において、義務不履行であった広告主である。
【００２７】
セクション４．２ その中で本発明が使用され得る、あるいはそれを用いて本発明が使用され得る例示的環境
図１は広告環境の高水準ブロック図である。環境は、（単に“広告サーバ”として呼ぶ）広告入力、メンテナンス、および配信システム１２０を含む。広告主１１０は、システム１２０において、直接的にまたは間接的に広告情報を入力し、維持し、および追跡する。広告はいわゆるバナー広告のようなグラフィック広告、テキストのみの広告、画像広告、音声広告、ビデオ広告、このような任意の構成要素の１つ以上の組み合わせの広告等の形態であってもよい。広告はリンクのような埋め込み情報、および／または、機械実行可能命令を含んでいてもよい。広告消費者１３０は、システム１２０に広告に対する要求を出してもよく、システム１２０から広告消費者１３０の要求に応答した広告を受け入れてもよく、システム１２０に対して利用情報を提供してもよい。広告消費者１３０以外のエンティティが広告に対する要求を開始してもよい。示していないが、他のエンティティがシステム１２０に対して、（例えば、広告に関連する変換または（例えばクリックスルーのような）選択が発生したか否かのような）利用情報を提供してもよい。この利用情報は、供給された広告に関連して、測定されたまたは観察されたユーザの挙動を含んでいてもよい。
【００２８】
広告サーバ１２０は、“コンテンツに基づいた広告供給”と題され、２００３年２月２６日に出願され、Darrell Anderson氏、 Paul Buchheit氏、 Alex Carobus氏、 Claire Cui氏、 Jeffrey A. Dean氏、 Georges R. Harik氏、 Deepak Jindal氏、および Narayanan Shivakumar氏を発明者として記載する、（“‘９００出願”として呼ばれ、ここに参照により組み込まれる）米国特許出願シリアル番号第１０/３７５，９００号の図２で説明したものと類似していてもよい。広告プログラムは、アカウント、キャンペーン、クリエイティブ、ターゲット付け等に関する情報を含んでいてもよい。用語“アカウント”は、（例えば、一意的なｅ−メールアドレス、パスワード、請求書発行情報等のような）所定の広告主に対する情報に関連する。“キャンペーン”または“広告キャンペーン”は、１つ以上の広告の１つ以上のグループに関係し、開始日、終了日、予算情報、地理的ターゲット付け情報、企業組合情報等を含んでいてもよい。例えば、ホンダは、その自動車ラインに対して１つの広告キャンペーンを、そして、そのオートバイラインに対して別の広告キャンペーンを持っていてもよい。その自動車ラインに対する広告キャンペーンは、それぞれが１つ以上の広告を含む、１つ以上の広告グループを持っていてもよい。それぞれの広告グループは、（例えば、１組のキーワード、１組の１つ以上のトピック、地理的ロケーション情報、ユーザプロファイル情報等の）ターゲット付け情報、および（例えば、（クリックスルー毎の費用、変換毎の費用等の）最大費用のような）価格情報を含んでいてもよい。代わりに、または、加えて、それぞれの広告グループは（例えば、クリックスルー毎の平均費用、変換毎の平均費用等の）平均費用を持っていてもよい。したがって、単一の最大費用および／または単一の平均費用が、１つ以上のキーワードおよび／またはトピックに関係付けられてもよい。上に述べたように、それぞれの広告グループは１つ以上の広告または“クリエイティブ”（すなわち、エンドユーザに対して最終的にレンダリングされる広告コンテンツ）を持っていてもよい。それぞれの広告は、（例えば、広告主のホームページのようなランディングウェブページ、または、特定の製品もしくはサーバに関係付けられたウェブページ等の）ＵＲＬに対するリンクを含んでいてもよい。広告情報は、より多くのまたはより少ない情報を含んでいてもよく、さまざまな異なる方法で組織化されてもよいのは当然である。
【００２９】
図２は、本発明と一貫した実施形態をその中で使用してもよい環境を図示する。（“クライアント”または“クライアントデバイス”としても呼んでもよい）ユーザデバイス２５０は、（例えば、モジラ(登録商標)からのファイアフォックスブラウザ、マイクロソフト(登録商標)によるエクスプローラブラウザ、ノルウェイのオペラソフトウェア(登録商標)によるオペラウェブブラウザ、またはＡＯＬ／タイムワーナー(登録商標)によるナビゲータブラウザ等のような）ブラウザ機構、（例えば、マイクロソフトによるアウトルック（登録商標）のような）メール機構等を含んでいてもよい。検索エンジン２２０は、ユーザデバイス２５０が（例えば、ウェブページのような）文書の収集物を検索するのを許容してもよい。コンテンツサーバ２１０は、ユーザデバイス２５０が文書にアクセスするのを許容してもよい。（マイクロソフトネットワークからのホットメール(登録商標)、ヤフーメール等の）ｅ−メールサーバ２４０を使用して、ユーザデバイス２５０に対してｅ−メール機能を提供してもよい。広告サーバ２１０を使用して、ユーザデバイス２５０に広告を供給してもよい。検索エンジン２２０により提供される検索結果に関係して、広告を供給してもよい。しかしながら、コンテンツ関連広告は、コンテンツサーバ２３０により提供されるコンテンツ、および／またはｅ−メールサーバ２４０によりサポートされるｅ−メール、ならびに／あるいはユーザデバイスのｅ−メール機構と関係して供給されてもよい。
【００３０】
（上で紹介した）‘９００出願で説明したように、広告はコンテンツサーバにより供給される文書にターゲット付けされていてもよい。したがって、広告消費者１３０の一例は、（例えば、記事、議論スレッド、音楽、ビデオ、グラフィック、検索結果、ウェブページリスト等の）文書に対する要求を受信し、要求に応答して要求された文書を取得し、そうでなければ要求にサービスする、一般的なコンテンツサーバ２３０である。コンテンツサーバは広告サーバ１２０／２１０に向けて広告に対する要求を出す。このような広告要求は、所望される広告数を含んでいてもよい。広告要求は文書要求情報も含んでいてもよい。この情報は、文書自体（例えば、ページ）、文書のコンテンツまたは文書要求に対応しているカテゴリまたはトピック（例えば、芸術、ビジネス、コンピュータ、芸術−映画、芸術−音楽等）、文書要求の一部または全部、コンテンツ経年数、（例えば、テキスト、グラフィック、ビデオ、音声、混合媒体等のような）コンテンツタイプ、地理的ロケーション情報、文書情報等を含んでいてもよい。
【００３１】
コンテンツサーバ２３０は、要求された文書を、広告サーバ１２０／２１０により提供される１つ以上の広告と結合してもよい。文書コンテンツと広告とを含んでいるこの結合された情報は、次に、ユーザに対して提示するために、文書を要求したエンドユーザデバイス２５０に向けて転送される。最後に、コンテンツサーバ２３０は、広告についての情報と、広告がどのように、いつ、および／またはどこでレンダリングされたのかについての（例えば、位置、クリックスルーが発生したか否か、インプレッション時間、インプレッション日付、サイズ、変換が発生したか否か等の）情報とを広告サーバ１２０／２１０に返信してもよい。代わりに、または、加えて、他の任意の手段でこのような情報を広告サーバ１２０／２１０に戻してもよい。
【００３２】
広告消費者１３０の他の例は、検索エンジン２２０である。検索エンジン２２０は、検索結果のためのクエリを受信してもよい。応答して、検索エンジンは（例えば、ウェブページのインデックスから）関連性のある検索結果を取得してもよい。例示的な検索エンジンは、S.Brin氏およびL.Page氏により、オーストラリア、ブリズベン、第７回国際ワールドワイドウェブ会議において発表された論文“大規模ハイパーテキストの検索エンジンに関する解剖”、および、米国特許第６，２８５，９９９号（これらの両方はここで参照によって組み込まれている）に説明されている。このような検索結果は、例えば、ウェブページタイトルのリスト、これらのウェブページから抽出されたテキストの断片、および、これらのウェブページに対するハイパーテキストリンクを含んでいてもよく、予め定められた数（例えば１０）の検索結果へとグループ化されてもよい。
【００３３】
検索エンジン２２０は広告サーバ１２０／２１０に要求を出してもよい。要求は、所望される広告数を含んでいてもよい。この数は、検索結果、検索結果により占められるスクリーンの分量またはページ空間、広告のサイズおよび形状等に依拠していてもよい。１つの実施形態では、所望される広告数は１から１０、好ましくは３から５であるだろう。広告に対する要求は、（入力され、または構文解析された）クエリ、（地理的ロケーション情報、アフェリエイトから、およびこのようなアフェリエイトの識別子からクエリが由来しているか否か、ならびに／あるいは、以下に説明するように、検索クエリに関連した情報、および／または、検索クエリから導き出された情報のような）クエリに基づいた情報、検索結果に関係した情報、または検索結果に基づいた情報を含んでいてもよい。このような情報は、例えば、（例えば、文書識別子すなわち“ｄｏｃＩＤｓ”のような）検索結果に関連した識別子、（例えば、クエリおよび文書に対応した特徴ベクトルの内積のような情報検索（“ＩＲ”）スコア、ページランクスコア、および／または、ＩＲスコアとページランクスコアの組み合わせ等のような）検索結果に関連したスコア、（例えば、ウェブページのような）識別された文書から抽出されたテキストの断片、識別された文書の全文テキスト、識別された文書のトピック、識別された文書の特徴ベクトル等を含んでいてもよい。
【００３４】
検索エンジン２２０は、検索結果を、広告サーバ１２０／２１０により提供される１つ以上の広告と結合してもよい。検索結果と広告とを含んでいるこの結合された情報は、次に、ユーザに対して提示するために、検索を行ったユーザに向けて転送される。有料の広告と、おそらくは中立的な検索結果との間でユーザが混乱することのないように、好ましくは、広告とは別のものとして検索結果が維持される。
【００３５】
最後に、検索エンジン２２０は、広告についての情報と、広告がいつ、どこで、および／またはどのようにレンダリングされたのかについての（例えば、位置、クリックスルーが発生したか否か、インプレッション時間、インプレッション曜日、サイズ、変換が発生したのか否か等の）情報とを広告サーバ１２０／２１０に返信してもよい。以下に説明するように、このような情報は、広告は何に基づいて（例えば、厳密な一致もしくは緩やかな一致、または、完全一致、フレーズ一致もしくは部分一致等で）、関連性があるとして決定されたのかを決定する情報を含んでいてもよい。代わりに、または、加えて、他の任意の手段でこのような情報を広告サーバ１２０／２１０に提供し戻してもよい。
【００３６】
最後に、ｅ−メールサーバ２４０は、一般的に、文書が供給されるコンテンツサーバとして考えてもよいが、その場合、供給されるコンテンツは単にｅ−メールであってもよい。さらに、ｅ−メールを送受信するために、（例えば、マイクロソフトのアウトルックのような）ｅ−メールアプリケーションを使用してもよい。したがって、ｅ−メールサーバ２４０、またはアプリケーションは、広告消費者１３０であるとして考えてもよい。したがって、ｅ−メールは文書であるとして考えてもよく、ターゲット付けされた広告がこのような文書と関係して供給されてもよい。例えば、１つ以上の広告がｅ−メール中で、ｅ−メール上で、そうでなければｅ−メールと関係して供給されてもよい。
【００３７】
上記の説明は、（ｉ）広告を要求し、（ｉｉ）広告をコンテンツと結合する、としてサーバを説明したが、これらの動作のうちの１つまたは両方が、（例えばエンドユーザのコンピュータのような）クライアントデバイスによって実行されてもよい。
【００３８】
セクション４．３ 例示的な実施形態
図３は、本発明と一貫した方法で実行してもよい、例示的な動作と、このような動作により使用され、および／または発生されてもよい情報とのデータフロー図である。本発明と一貫した実施形態では、広告をレビューしてスコア付けし、マニュアルレビューのための優先度を決定するために、（おそらく、広告分類のような他の情報とともに）スコアを使用してもよい。このようにすることで、広告システムが人的リソースのより良い割当を行い、支出を減少させ、そして認可されるのを待っている広告のバックログを減少させることが可能になる。
【００３９】
図３に示したように、本発明と一貫した実施形態は広告レビュー優先度割当動作３２０を含んでいてもよい。広告レビュー優先度割当動作３２０は、広告を優先度付けするために、広告情報３１０を取得して、処理してもよい。広告は、少なくとも２つのプロパティ、最低優先度３３０と最高優先度３４０のうちの１つが割り当てられてもよい。最も単純なケースでは、最高優先度広告３４０がマニュアルレビュー３４０に対して適格である広告（例えば、マニュアルレビューに関係する人的リソースおよび支出の価値がある広告）であり、最低優先度広告３３０がマニュアルレビュー３４０に対して適格でない広告（しかし、自動レビューのみに適格であるかもしれない広告）である。
【００４０】
示していないが、さまざまな中間優先度レベルが提供されてもよく、本発明は２つの優先度レベルに制限されていない。示していないが、実際、広告は単に優先度スコアとともに提供され、それにしたがって、マニュアルレビューに対して順序付けされてもよい。したがって、離散的な値、分類、連続的スコア、またはこれらのうちの２つ以上の組み合わせとして優先度を表してもよい。
【００４１】
広告レビュー優先度割当動作３２０は、例えば、広告分類、スコア値、および／またはしきい値を使用して、広告に対してレビュー優先度値を割り当てる。これらの動作３２０は、マニュアルレビューに対して適格である広告の組３４０と、マニュアルレビューに対して適格でない広告の組３３０とを決定してもよい。
【００４２】
セクション４．３．１ 例示的な方法
図４は、本発明と一貫した方法で広告レビューを優先度付けするための例示的な方法４００のフロー図である。詳細に述べると、方法４００は、広告情報を受け入れる（ブロック４１０）。一度広告情報が取得されると、方法４００は、（例えば、予期される収益に基づいて）広告をスコア付けする（ブロック４２０）。引き続いて、方法４００は広告にレビュー優先度を割り当てする（ブロック４３０）。個別の広告のレビュー優先度が、集合的に、１組の広告のレビューを有効に優先度付けしてもよい。
【００４３】
戻ってブロック４２０を参照すると、スコア値は、単に、広告によって発生されることが予期される収益であってもよい。予期される収益は、おそらく現在の金銭価値に対して割り引かれる、予期される将来に収益をもたらすイベントの総計であってもよい。
【００４４】
戻ってブロック４３０を参照すると、方法４００は、広告の分類、広告のスコア、および／または、収益しきい値に基づいて、広告に優先度値を割り当てる。上で説明したように、優先度値は、ブロック４２０において決定されたスコアのような連続的な値であってもよい。代わりに、優先度値は、優先度グループの離散的な数のうちの１つのような離散的な値であってもよい。例えば、本発明と一貫した１つの実施形態において、決定されたスコアは予期された収益であってもよく、優先度割当は、スコアを（広告をマニュアルで認可する最大費用に等しく設定されてもよい）収益しきい値に対して比較する動作を含んでいてもよい。このような実施形態では、（おそらく広告分類に依拠して）広告のスコア値が収益しきい値より大きい場合、広告はマニュアルレビューに対して適格であるとして考えられてもよい（例えば、“適格である”として優先度付けされる）。そうではない場合、広告はマニュアルレビューに対して適格であるとして考えられるべきでない（例えば、“不適格である”として優先度付けされ、または、単に考慮から除外される）。
【００４５】
当業者によって理解されるように、例えば方法４００のような、本発明と一貫した方法により実行される特定の動作は、それが使用される情況に依拠していてもよい。例えば、第１の例示的な広告供給環境においては、広告をマニュアルでレビューしてしまうまでは、広告を供給しないことが可能である。広告がマニュアルレビューに合格した場合だけに広告を供給してもよい。そうではない場合、広告を供給しない。このような例示的環境は、“供給前マニュアルレビュー”広告供給環境として呼んでもよい。第２の例示的な広告供給環境においては、広告をマニュアルでレビューする前に広告を供給することが可能であるが、広告がマニュアルレビューに不合格である場合、広告供給システムから広告を除去することができる。このような例示的環境は、“供給後マニュアルレビュー”広告供給環境として呼んでもよい。第３の例示的な広告供給環境においては、広告がマニュアルでレビューされる前には、（例えば、（Google.comのみに供給し、Ad Sense（登録商標）の発行者には供給せず、パートナーのウェブサイトには供給しない等の）制限されたプロパティまたはウェブサイト上にのみ、（成人のみ、ファミリーセーフでない等の）特定のユーザに対してのみのような）制限された方法で広告を供給することが可能である。マニュアルレビューの後、広告がマニュアルレビューに合格した場合、より拡張的な方法で広告を供給することができ、あるいは、広告がマニュアルレビューに不合格であった場合、より制限された方法で供給され続けてもよく（または、全く供給されなくてもよい）。このような例示的環境は、“制限的供給後マニュアルレビュー”広告供給環境として呼んでもよい。
【００４６】
戻ってブロック４３０を参照すると、本発明と一貫した例示的な実施形態における、“制限的供給後マニュアルレビュー”広告供給環境において、割り当てられてもよい優先度値は以下のものである。すなわち、ＤＥＦＡＵＬＴ（優先度は割り当てられていない）、ＬＯＷ（広告はマニュアルレビューを差し控えられるだろう）、ＮＯＲＭＡＬ（広告は人的レビューに対して適格である）、ＨＩＧＨ（広告は人的レビューに対して適格であり、広告は（例えば、‘４１５出願で説明したもののような、自動チェック手段により決定されたような）少なくとも１つの“疑わしい”または“禁止された”クリエイティブもしくはキーワードを含んでいる）。このような実施形態では、優先度値ＬＯＷが広告に付与されたときにのみ、方法４００は、人的レビューから広告を除外してもよい。
【００４７】
図５は、本発明と一貫した方法で優先度割当動作を実行するための例示的な方法５００のフロー図である。このような方法５００は、“制限的供給後マニュアルレビュー”広告供給環境において、特に有用である。特に、方法５００はその広告スコア値とともに、広告情報を受け入れてもよい（ブロック５０５）。一度広告情報およびそのスコア値が取得されると、異なる広告分類に依拠して、方法５００の異なった枝が実行されてもよい（ブロック５１０）。広告が“禁止された”として分類されている場合、方法５００は、単にその広告に対してＨＩＧＨレビュー優先度を割り当てしてもよい（ブロック５１５）。結果として、方法５００は、その広告がマニュアルレビューに対して適格であることを示してもよく（ブロック５２０）、この後で方法５００は終了する（ブロック５６０）。広告が“不正な広告主”に属しているとして分類されている（しかし、“禁止された”広告としては分類されない）場合、方法５００は、広告に対してＨＩＧＨ（または、ＮＯＲＭＡＬ）レビュー優先度を割り当てしてもよい（ブロック５３０）。次に、方法５００は、広告がマニュアルレビューに対して適格であることを示し（ブロック５２０）、この後で方法５００は終了する（ブロック５６０）。広告が“禁止されていない／不正者でない広告主”（これまでのところ、違反または潜在的な問題が何ら検出されていないことを意味する）として分類されている場合、方法５００は、広告の（例えば、予期された収益のような）スコア値が（例えば、費用しきい値のような）しきい値より大きいか否かを決定してもよい（ブロック５４０）。スコア値がしきい値より大きい場合、方法５００は広告にＮＯＲＭＡＬレビュー優先度を割り当てしてもよい（ブロック５４５）。次に、方法５００は、広告がマニュアルレビューに対して適格であることを示し（ブロック５２０）、この後で方法は終了する（ブロック５６０）。反対に、スコア値がしきい値を超えない場合、方法５００は広告にＬＯＷレビュー優先度を割り当てしてもよく（ブロック５５０）、そして、広告がマニュアルレビューに対して適格でない（そうではあるが、広告は自動レビューに対しては適格であってもよい）ことを示す（ブロック５５５）。次に方法５００は終了する（ブロック５６０）。
【００４８】
戻ってブロック５１０を参照すると、広告システムは、広告主によって広告が提出されたときに、潜在的な違反に対して広告を調査する手段を持っていてもよい。したがって、上に述べたように、“禁止された”、“不正な広告主”、または “禁止されていない／不正者でない広告主”（これまでのところ、違反が何ら検出されていないことを意味する）として広告を分類してもよい。優先度値を割り当てるとき、方法５００は広告分類を考慮する。特に、“禁止された”として分類される広告は、広告クリエイティブまたはキーワード内で、要注意の用語または攻撃的な用語を広告システムが検出したことを示してもよい。“不正な広告主”として分類される広告は、広告主が不正な活動に関わっている（かつて関わっていた、または、関わりそうである）ことを広告システムが検出したことを単に示してもよい。“禁止されていない／不正者でない広告主”として分類される広告は、これまでのところ広告システムが何ら違反を検出していないことを示す。
【００４９】
戻ってブロック５１５、５２０を参照すると、“禁止された”として分類された広告を受信した際に、方法５００は収益しきい値に対する広告のスコア値を調査する必要がない。禁止されたまたは疑わしいキーワードまたはクリエイティブを広告が含むため、方法５００は、広告がマニュアルレビューに対して適格であることを示すＨＩＧＨレビュー優先度値を“禁止された”広告に対して割り当ててもよい。広告が制限的ベースで供給されているが、特定のポリシーに違反しているおそれがある場合、広告供給システムはその広告を除去するか否かを可能な限り早く決定することを望むことが多い、ということがこの根本的な理由である。
【００５０】
戻ってブロック５３０および５２０を参照すると、“不正な広告主”として分類された広告を受信した際に、再び、方法５００は収益しきい値に対する広告のスコア値を調査する必要がない。広告の広告主が不正な活動に関わった（関わっていた、または、関わりそうである）ため、方法５００は、広告がマニュアルレビューに対して適格であることを示す、ＨＩＧＨまたはＮＯＲＭＡＬレビュー優先度値を“不正な広告主”の広告に対して割り当てしてもよい。広告が制限的ベースで供給されているが、広告主によって広告供給システムに報酬が支払われていないかもしれない場合、広告供給システムは、その広告を除去するか否かを決定することを望む傾向がある、ということがこの根本的な理由である。広告供給システムが、広告を禁止することよりも、不正な広告を黙認することを望むケースもあるかもしれない。これは、不正な広告を黙認することは収益の下落を引き起こすだけであるが、広告を禁止するのは広告供給システムの良い評価を傷つけるおそれがあるためである。
【００５１】
戻ってブロック５４０を参照すると、方法５００は“禁止されていない／不正者でない広告主”として分類された広告を受信した際に、スコア値が収益しきい値よりも大きい場合を決定するためにスコアを調査する。収益しきい値は、広告をマニュアルで認可するための最大費用として設定されてもよい。さらに、本発明は異なる国における、請求書発行の違いに対応するために異なる収益しきい値を許容してもよい。この柔軟性は、収益関連の国際的な違いおよびマニュアルレビューリソースの国際的な違いに対して優先度付けが対処するのを助けてもよい。スコア値がしきい値よりも大きいことが分かった場合、方法５００は広告にＮＯＲＭＡＬレビュー優先度を割り当てしてもよく、これによって広告がマニュアルレビューに対して適格であることを示す。反対に、スコア値がしきい値を超えていないことが分かった場合、方法５００はＬＯＷレビュー優先度を広告に対して割り当てて、広告がマニュアルレビューに対して適格でないことを示してもよい。
【００５２】
方法５００のようなスキームを使用すると、広告分類、広告スコア、および／または、しきい値を使用して、広告レビューを優先度付けしてもよいことが明らかである。収益しきい値を使用することは、マニュアルレビュー保留中の広告の量を減らし、これによって、マニュアルレビューに関係する支出を減らして、人的リソースのよりよい割当を可能にする。
【００５３】
図６は、本発明と一貫した方法で定期的チェック動作を実行するための例示的な方法６００のフロー図である。方法６００は広告がより高い優先度に上げられるべき場合を決定するために、チェックされていない広告を、および／または、ＬＯＷ優先度の広告を定期的にポーリングしてもよい。特に、チェックされていない／ＬＯＷ優先度の広告を処理する時間において、方法６００はこのようなチェックされていない、または、ＬＯＷ優先度の広告を取得してもよい（ブロック６１０および６２０）。方法６００は広告システムから（例えば、禁止された、広告主は不正者である、疑わしい等の）広告の分類を取得してもよい（ブロック６３０）。引き続いて、方法６００は広告をスコア付けし、そして、広告レビュー優先度割当動作を呼び出してもよい（図５を想起）（ブロック６４０および６５０）。
【００５４】
戻ってブロック６２０を参照すると、方法６００は広告のステータスが変更されている場合を確認するために、ＬＯＷ優先度の広告またはチェックされていない広告を定期的に再調査してもよい。例えば、広告のスコアがより高いとして再決定された場合（例えば、広告が（例えば、世に知られていない人名のような）世に知られていない用語をターゲット付けに使用しており、その用語が突然世間に広まり（例えば、一般的な検索クエリ用語になり）、広告主が提供を増加させ、広告主がその予算を増加させる等）、および／または、（例えば、より低い費用のマニュアルレビュー、より少ないバックログ等のために）しきい値が低くなった場合、スコアはしきい値を超えるかもしれない。方法６００はこの変更を検出して、広告の優先度値を更新することを要求してもよい。より高い優先度レベルの割当を正当化する、ＬＯＷ優先度の広告に対する他の変更は、（例えば、広告のランディングページが、以前は持っていなかった、卑俗なまたは憎悪のコンテンツを持つようになったことによる）広告の分類における変更であってもよい。
【００５５】
戻ってブロック６５０を参照すると、一度方法６００が、広告の分類およびスコアとともにＬＯＷ優先度のまたはチェックされていない広告を取得すると、方法６００は、広告に対するレビュー優先度割当動作を呼び出すように進んでもよい。例えば、広告が調査された最後の時点から、広告に対する何らかの変更が発生していたケースでは、または、広告が全くチェックされていないケースでは、広告の更新された優先度割当を決定するために、方法６００は方法５００を呼び出してもよい。
【００５６】
セクション４．３．２ 例示的な装置
図７は、上記の動作のうちの１つ以上を実行してよい機械７００の高水準ブロック図である。機械７００は、基本的に１つ以上のプロセッサ７１０、１つ以上の入力／出力インターフェイスユニット７３０、１つ以上の記憶デバイス７２０、ならびに、結合されたエレメント間での情報の通信を容易にするための１つ以上のシステムバスおよび／またはネットワーク７４０を含む。１つ以上の入力デバイス７３２および１つ以上の出力デバイス７３４が１つ以上の入力／出力インタフェース７３０と結合されていてもよい。
【００５７】
１つ以上のプロセッサ７１０は、本発明の１つ以上の観点を有効にするために（例えば、カリフォルニア州パロアルトのサンマイクロシステムズ社から入手できるソラリスオペレーティングシステム上で、または、ノースカロライナ州ダーハムのレッドハット社のような多くのベンダから幅広く手に入るリナックス (登録商標)オペレーティングシステム上で実行するＣまたはＣ＋＋のような）機械実行可能命令を実行してもよい。少なくとも一部の機械実行可能命令を、１つ以上の記憶デバイス７２０に（一時的に、もしくは、より恒久的に）記憶してもよく、および／または、１つ以上の入力インターフェイスユニット７３０を介して外部ソースから受け取ってもよい。
【００５８】
１つの実施形態では、機械７００は１つ以上の従来のパーソナルコンピュータであってもよい。このケースでは、処理ユニット７１０は１つ以上のマイクロプロセッサであってもよい。バス７４０はシステムバスを含んでいてもよい。記憶デバイス７２０は、リードオンリーメモリ（ＲＯＭ）および／またはランダムアクセスメモリ（ＲＡＭ）のようなシステムメモリを含んでいてもよい。記憶デバイス７２０は、ハードディスクから読み取るための、またはハードディスクに書き込むためのハードディスクドライブや、（例えばリムーバブル）磁気ディスクから読み取るための、または（例えばリムーバブル）磁気ディスクに書き込むための磁気ディスクドライブ、および、コンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクから読み取るための、またはコンパクトディスクもしくは他の（磁気）光学媒体のようなリムーバブル（磁気）光ディスクに書き込むための光ディスクドライブも含んでいてもよい。
【００５９】
ユーザは、例えばキーボードおよび（例えば、マウスのような）ポインティングデバイスのような入力デバイス７３２を通して、パーソナルコンピュータにコマンドと情報を入力してよい。これには、マイク、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナのような他の入力デバイスも（または、代わりに）含まれてよい。これらの、および他の入力デバイスは、システムバス７４０に結合される適切なインタフェース７３０を通して処理ユニット７１０に接続されることが多い。出力デバイス７３４は、モニタ、または、適切なインタフェースを介してシステムバス７４０に接続され得る他のタイプの表示デバイスを含んでよい。モニタに加えて（または、代わりに）、パーソナルコンピュータは、例えばスピーカとプリンタのような、他の（示していない）（周辺）出力デバイスを含んでよい。
【００６０】
セクション４．３．３ 改良、代替物および拡張
上記の少なくともいくつかの実施形態は、広告スコアは予期される収益の関数であってもよいことを説明した。本発明と一貫した少なくともいくつかの実施形態において、予期される価値は、現時点に対して、予期されるマニュアルレビューの時点に対して、または他の任意の時点に対して、割り引かれる将来のレビューストリームであってもよい。
【００６１】
自動的にチェックされて、おそらく、広告を（マニュアルレビュー優先度付けに先行して）分類するのに使用されるポリシー違反は、以下のもののうちの１つ以上を含んでいてもよい。すなわち、（Ａ）誇張表現の禁止、（Ｂ）繰返しの用語の禁止、（Ｃ）繰返しのフレーズの禁止、（Ｄ）登録商標の禁止、（Ｅ）卑俗な言語の禁止、（Ｆ）ポップアップ広告を発生させる広告ランディングページの禁止、（Ｇ）ブラウザ“戻る”機能を不可能にする広告ランディングページの禁止、（Ｈ）不適切な大文字使用、（Ｉ）標準ブラウザで閲覧できないランディングページの禁止、（Ｊ）複数の感嘆符の禁止、（Ｋ）長すぎるテキストの禁止、（Ｌ）可視のＵＲＬスペルに一致していないランディングページＵＲＬ、（Ｍ）偽造デザイン商品の禁止等。
【００６２】
上記の実施形態のいくつかのものは、マニュアルレビューに不適格である広告として、ＬＯＷ優先度広告を説明したが、マニュアルレビューを待っている広告のバックログが減少され、または、除去された場合は、このような広告を後にマニュアルレビューしてもよい。したがって、例えば、本発明に一貫した少なくともいくつかの実施形態では、マニュアルレビューを待っているＨＩＧＨまたはＮＯＲＭＡＬ優先度広告がない場合、ＬＯＷ優先度広告がレビューされてもよい。
【００６３】
例えば、図５の方法５００のような、上で説明した優先度割当方法のいくつかのものは、“制限的供給後マニュアルレビュー”広告供給環境の情況で特に有用であるが、優先度が他の方法で割り当てられてもよく、優先度は使用される広告供給環境により左右されることが多いということを当業者は理解するだろう。例えば、“供給前マニュアルレビュー”広告供給環境においては、禁止された広告および不正な広告主に関係する広告は、特にこれらのスコアが低い場合には、ＬＯＷ優先度が与えられるかもしれない。
【００６４】
上で説明した優先度割当方法のいくつかのものは、特定の分類を持っている広告に対する広告スコアを考慮していなかったが（例えば、図５の方法５００中の禁止された広告および不正な広告主の広告の取り扱いを想起）、広告スコアは、その分類とともに使用されてもよい。例えば、スコアは広告を並べ替えるのに使用してもよく、または、さらに、ＨＩＧＨ優先度が与えられた優先度付けされた広告を並べ替えるのに使用してもよい。理解されるように、本発明に一貫した実施形態を使用して、（ａ）複数の優先度グループのうちの１つに対して広告を割り当てることと、（ｂ）広告をソートすることと、（ｃ）複数の優先度グループのうちの１つに対して広告を割り当てて、次にそのグループ内で広告をソートすることと、（ｄ）優先度グループおよびサブグループのうちの１つまたは複数に対して広告を割り当てすること等によって、広告を優先度付けしてもよい。（例えば、‘４１５出願で説明したような自動的チェック手段により割り当てられた）広告分類、および／または、（例えば、予期された収益のような）広告スコアを使用して、このようなソートを実行してもよく、および／または、このような割当を行ってもよい。
【００６５】
上記の実施形態の多くのものは、広告のマニュアルレビューを優先度付けするために収益ベースのスコアを使用するとして説明したが、本発明に一貫した少なくともいくつかの実施形態では、第１のレビュープロトコルまたは第２のレビュープロトコルを使用して広告をレビューするか否かを決定するために、すなわち、より一般的には、使用すべきレビュープロトコルを決定するために収益ベースのスコアを使用してもよい。異なるレビュープロトコルは、例えば、さまざまなマニュアル、および／または自動化されたレビュー、多層のレビュー、単層のレビュー等を含むことができる。
【００６６】
上記の実施形態の多くのものは、広告に関して収益ベースのスコアを使用していたが、本発明に一貫した少なくともいくつかの実施形態では、例えばいくつかのカテゴリの広告のような１組の広告について、収益ベースのスコアを使用してもよい。例えば、自動車カテゴリ中の広告が他の任意のカテゴリ中の広告に比して、より低い不認可レートと、より高い収益発生を持つ傾向がある場合、自動車カテゴリ中の広告を異なって優先度付けしてもよい（例えば、異なる収益ベースのしきい値を使用してもよい）。
【００６７】
セクション４．４ 結論
上記から理解できるように、本発明に一貫した実施形態を使用して、（例えば、収益しきい値のような）しきい値を確立することと、広告がマニュアルレビューに対して適格であるとされる前に、（例えば、広告から生まれる収益のような）広告スコアがしきい値を超えるのを要求することにより、マニュアルレビューの数を減少させてもよい。本発明に一貫した実施形態は、広告レビューを優先度付けするために、発生されることが予期される収益に基づいて広告をスコア付けしてもよく、そして、おそらくは広告分類とともに収益しきい値を使用してもよい。
【特許請求の範囲】
【請求項１】
広告のレビューを制御する、コンピュータにより実現される方法において、
ａ）広告についての情報を受け入れることと、
ｂ）前記受け入れられた情報を使用して、収益発生価値を決定することと、
ｃ）前記決定された収益発生価値を使用して、前記広告に対するスコアを決定することと、
ｄ）少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御することと
を含む、コンピュータにより実現される方法。
【請求項２】
前記広告についての受け入れられた情報は、ターゲット付け情報と、前記ターゲット付け情報に関係付けられた提供情報とを含み、
前記収益発生価値を決定する動作は、予期される収益を決定するために、受け入れられた前記ターゲット付け情報と前記提供情報とを使用する、請求項１記載のコンピュータにより実現される方法。
【請求項３】
前記予期される収益は、複数の将来に収益をもたらすイベントを含む、請求項２記載のコンピュータにより実現される方法。
【請求項４】
前記収益発生価値を決定する動作は、金銭の時間的価値を反映させるために、前記複数の将来に収益をもたらすイベントを割り引く、請求項３記載のコンピュータにより実現される方法。
【請求項５】
前記複数の将来に収益をもたらすイベントは、現在の時間に割り引かれる、請求項４記載のコンピュータにより実現される方法。
【請求項６】
前記レビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記複数の将来に収益をもたらすイベントは、前記広告のマニュアルレビューの時間に割り引かれる、請求項４記載のコンピュータにより実現される方法。
【請求項７】
前記広告情報は広告分類を含み、
少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する動作は、前記広告分類をさらに使用する、請求項１記載のコンピュータにより実現される方法。
【請求項８】
前記広告分類は、
（Ａ）ポリシー違反を伴う広告と、
（Ｂ）不正な広告主に関係付けられた広告と、
（Ｃ）ポリシー違反を伴わない広告と
からなるグループから選択される、請求項７記載のコンピュータにより実現される方法。
【請求項９】
前記広告分類は前記広告のカテゴリである、請求項７記載のコンピュータにより実現される方法。
【請求項１０】
少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する動作は、
ｉ）前記スコアをしきい値に対して比較することと、
ｉｉ）前記比較の結果に基づいて、前記広告のレビューを制御することと
を含む、請求項１記載の方法。
【請求項１１】
前記広告のレビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記しきい値は前記広告のマニュアルレビューの予期される費用に基づいている、請求項１０記載の方法。
【請求項１２】
前記広告のレビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記スコアは前記広告からの予期される収益に基づいており、
前記しきい値は前記広告のマニュアルレビューの予期される費用に基づいている、請求項１０記載の方法。
【請求項１３】
前記広告の予期されるスコアが前記しきい値よりも低い場合、前記広告はマニュアルレビューに対して不適格にされる、請求項１２記載の方法。
【請求項１４】
（Ａ）前記広告の予期されるスコアが前記しきい値よりも低いことと、
（Ｂ）前記広告がポリシーに何ら違反しておらず、不正な広告主に関係付けられていないことと
の両方が満たされる場合、前記広告はマニュアルレビューに対して不適格にされる、請求項１２記載の方法。
【請求項１５】
前記レビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含む、請求項１記載のコンピュータにより実現される方法。
【請求項１６】
前記レビューを制御する動作は、複数のレビュープロトコルのうちの１つを選択することを含む、請求項１記載のコンピュータにより実現される方法。
【請求項１７】
広告のレビューを制御するための装置において、
ａ）広告についての情報を受け入れる手段と、
ｂ）前記受け入れられた情報を使用して、収益発生価値を決定する手段と、
ｃ）前記決定された収益発生価値を使用して、前記広告に対するスコアを決定する手段と、
ｄ）少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する手段と
を具備する装置。
【請求項１８】
前記広告についての受け入れられた情報は、ターゲット付け情報と、前記ターゲット付け情報に関係付けられた提供情報とを含み、
前記収益発生価値を決定する手段は、予期される収益を決定するために、受け入れられた前記ターゲット付け情報と、前記提供情報とを使用する、請求項１７記載の装置。
【請求項１９】
前記レビューを制御する手段は、前記広告のマニュアルレビューを優先度付けする手段を含む、請求項１７記載の装置。
【請求項２０】
前記レビューを制御する手段は、複数のレビュープロトコルのうちの１つを選択する手段を含む、請求項１７記載の装置。
【請求項１】
広告のレビューを制御する、コンピュータにより実現される方法において、
ａ）広告についての情報を受け入れることと、
ｂ）前記受け入れられた情報を使用して、収益発生価値を決定することと、
ｃ）前記決定された収益発生価値を使用して、前記広告に対するスコアを決定することと、
ｄ）少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御することと
を含む、コンピュータにより実現される方法。
【請求項２】
前記広告についての受け入れられた情報は、ターゲット付け情報と、前記ターゲット付け情報に関係付けられた提供情報とを含み、
前記収益発生価値を決定する動作は、予期される収益を決定するために、受け入れられた前記ターゲット付け情報と前記提供情報とを使用する、請求項１記載のコンピュータにより実現される方法。
【請求項３】
前記予期される収益は、複数の将来に収益をもたらすイベントを含む、請求項２記載のコンピュータにより実現される方法。
【請求項４】
前記収益発生価値を決定する動作は、金銭の時間的価値を反映させるために、前記複数の将来に収益をもたらすイベントを割り引く、請求項３記載のコンピュータにより実現される方法。
【請求項５】
前記複数の将来に収益をもたらすイベントは、現在の時間に割り引かれる、請求項４記載のコンピュータにより実現される方法。
【請求項６】
前記レビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記複数の将来に収益をもたらすイベントは、前記広告のマニュアルレビューの時間に割り引かれる、請求項４記載のコンピュータにより実現される方法。
【請求項７】
前記広告情報は広告分類を含み、
少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する動作は、前記広告分類をさらに使用する、請求項１記載のコンピュータにより実現される方法。
【請求項８】
前記広告分類は、
（Ａ）ポリシー違反を伴う広告と、
（Ｂ）不正な広告主に関係付けられた広告と、
（Ｃ）ポリシー違反を伴わない広告と
からなるグループから選択される、請求項７記載のコンピュータにより実現される方法。
【請求項９】
前記広告分類は前記広告のカテゴリである、請求項７記載のコンピュータにより実現される方法。
【請求項１０】
少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する動作は、
ｉ）前記スコアをしきい値に対して比較することと、
ｉｉ）前記比較の結果に基づいて、前記広告のレビューを制御することと
を含む、請求項１記載の方法。
【請求項１１】
前記広告のレビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記しきい値は前記広告のマニュアルレビューの予期される費用に基づいている、請求項１０記載の方法。
【請求項１２】
前記広告のレビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含み、
前記スコアは前記広告からの予期される収益に基づいており、
前記しきい値は前記広告のマニュアルレビューの予期される費用に基づいている、請求項１０記載の方法。
【請求項１３】
前記広告の予期されるスコアが前記しきい値よりも低い場合、前記広告はマニュアルレビューに対して不適格にされる、請求項１２記載の方法。
【請求項１４】
（Ａ）前記広告の予期されるスコアが前記しきい値よりも低いことと、
（Ｂ）前記広告がポリシーに何ら違反しておらず、不正な広告主に関係付けられていないことと
の両方が満たされる場合、前記広告はマニュアルレビューに対して不適格にされる、請求項１２記載の方法。
【請求項１５】
前記レビューを制御する動作は、前記広告のマニュアルレビューを優先度付けすることを含む、請求項１記載のコンピュータにより実現される方法。
【請求項１６】
前記レビューを制御する動作は、複数のレビュープロトコルのうちの１つを選択することを含む、請求項１記載のコンピュータにより実現される方法。
【請求項１７】
広告のレビューを制御するための装置において、
ａ）広告についての情報を受け入れる手段と、
ｂ）前記受け入れられた情報を使用して、収益発生価値を決定する手段と、
ｃ）前記決定された収益発生価値を使用して、前記広告に対するスコアを決定する手段と、
ｄ）少なくとも前記決定されたスコアを使用して、前記広告のレビューを制御する手段と
を具備する装置。
【請求項１８】
前記広告についての受け入れられた情報は、ターゲット付け情報と、前記ターゲット付け情報に関係付けられた提供情報とを含み、
前記収益発生価値を決定する手段は、予期される収益を決定するために、受け入れられた前記ターゲット付け情報と、前記提供情報とを使用する、請求項１７記載の装置。
【請求項１９】
前記レビューを制御する手段は、前記広告のマニュアルレビューを優先度付けする手段を含む、請求項１７記載の装置。
【請求項２０】
前記レビューを制御する手段は、複数のレビュープロトコルのうちの１つを選択する手段を含む、請求項１７記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１０４１４５（Ｐ２０１２−１０４１４５Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−４９４３（Ｐ２０１２−４９４３）
【出願日】平成２４年１月１３日（２０１２．１．１３）
【分割の表示】特願２００８−５１９６３７（Ｐ２００８−５１９６３７）の分割
【原出願日】平成１８年６月２９日（２００６．６．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
【出願人】（５０２２０８３９７）グーグル インコーポレイテッド (161)
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１２−４９４３（Ｐ２０１２−４９４３）
【出願日】平成２４年１月１３日（２０１２．１．１３）
【分割の表示】特願２００８−５１９６３７（Ｐ２００８−５１９６３７）の分割
【原出願日】平成１８年６月２９日（２００６．６．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
【出願人】（５０２２０８３９７）グーグル インコーポレイテッド (161)
[ Back to top ]