顧客セグメント推定装置
【課題】従来技術ではマーケティング・アクションを考慮した顧客状態定義ができなかった。また、マーケティング・アクションが短期的および長期的にどのような効果を持つかを顧客状態のパラメータとして持つことができなかった。
【解決手段】アクションで条件づけられた顧客状態遷移確率と短期報酬を得るために、顧客状態とマーケティング・アクションを対にした複合状態を用いた隠れマルコフモデル（ＨＭＭ）で顧客行動をモデル化する。推定された隠れマルコフモデルのパラメータ（複合状態間の遷移確率と複合状態ごとの報酬の分布）を更に、マーケティング・アクションで条件づけられた顧客状態間の遷移確率と顧客状態ごとの報酬の分布に変換する。より詳細に購買特性をモデル化するために、顧客状態ベクトルの要素の中に必ず購買間隔時間を含め、顧客状態が購買間隔時間に関する確率分布の情報を持つようにする。
【解決手段】アクションで条件づけられた顧客状態遷移確率と短期報酬を得るために、顧客状態とマーケティング・アクションを対にした複合状態を用いた隠れマルコフモデル（ＨＭＭ）で顧客行動をモデル化する。推定された隠れマルコフモデルのパラメータ（複合状態間の遷移確率と複合状態ごとの報酬の分布）を更に、マーケティング・アクションで条件づけられた顧客状態間の遷移確率と顧客状態ごとの報酬の分布に変換する。より詳細に購買特性をモデル化するために、顧客状態ベクトルの要素の中に必ず購買間隔時間を含め、顧客状態が購買間隔時間に関する確率分布の情報を持つようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客セグメント推定装置に関する。更に詳しくは、マーケティング・アクションを考慮した顧客セグメント推定装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
個人顧客をターゲットとしたダイレクト・マーケティングにおいて、個々の顧客から生涯にわたって得られる利益の合計値（顧客生涯価値：Ｃｕｓｔｏｍｅｒ Ｅｑｕｉｔｙ）を最大化したいという要求がある。そのために、（ｉ）顧客の行動特性は時間が経つとどう変化するか、（ｉｉ）顧客の行動特性を企業にとって利益が高くなるように誘導する（最適なマーケティング・アクションを選択する）にはどうしたらよいか、を知ることはマーケティングの重要な課題である。
【０００３】
従来、顧客生涯価値を最大化するようなマーケティング・アクションの最大化手法としては、マルコフ決定過程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ：以下、ＭＤＰと略す）を用いたものと、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ：以下、ＲＬと略す）を用いたものとがあり、顧客層を意識した大局的なマーケティング戦略を考える上ではＭＤＰを用いる手法に利点がある。
【０００４】
ＭＤＰを用いる場合、マルコフ性を持った顧客状態を定義する必要がある。しかし、マルコフ性を持つ顧客状態の定義は人間にとって自明ではない。そのため、顧客購買データおよびマーケティング・アクション・データを入力するだけでマルコフ性を満たすような顧客状態定義が得られるツールが必要である。そのツールの機能としては、顧客状態数Ｍを指定すると自動的にＭ個の顧客状態が定義される。その顧客状態はマルコフ性を満たす。あるいは、Ｍ個の離散状態で顧客状態を表現できる中では最もマルコフ性が強いそれぞれの顧客状態間の遷移確率および顧客状態からの報酬分布が与えられる。そして遷移確率と報酬分布は、マーケティング・アクションによって条件づけられている必要がある。
【０００５】
従来技術を用いてマルコフ性を持った顧客状態を学習する場合、隠れマルコフモデル（以下、ＨＭＭと略す）を用いる。その例としては、Ｒａｍａｓｗａｍｙ，１９９７（非特許文献１）や、Ｎｅｔｚｅｒ ｅｔ ａｌ．，２００５（非特許文献２）がある。
【０００６】
【非特許文献１】Ｎｅｔｚｅｒ， Ｏ．， Ｊ． Ｍ． Ｌａｔｔｉｎ， ａｎｄ Ｖ． Ｓｒｉｎｉｖａｓａｎ （２００５， Ｊｕｌｙ）． Ａ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｏｆ Ｃｕｓｔｏｍｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｄｙｎａｍｉｃｓ． Ｓｔａｎｄｆｏｒｄ ＧＳＢ Ｒｅｓｅａｒｃｈ Ｐａｐｅｒ． Ａｖａｉｌａｂｌｅ ａｔ ＳＳＲＮ： ｈｔｔｐ：／／ｓｓｒｎ．ｃｏｍ／ａｂｓｔｒａｃｔ＝７７６７６５．
【非特許文献２】Ｒａｍａｓｗａｍｙ，Ｖ．（１９９７）． Ｅｖｏｌｕｔｉｏｎａｒｙ ｐｒｅｆｅｒｅｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ｐａｎｅｌ ｓｕｒｖｅｙ ｄａｔａ： Ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｎｅｗ ｐｒｏｄｕｃｔｓ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｅｓｅａｒｃｈ ｉｎ Ｍａｒｋｅｔｉｎｇ １４，５７−８０．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来技術ではマーケティング・アクションを考慮した顧客状態定義ができないか、ＭＤＰに入力可能なパラメータが得られなかった。非特許文献1においてはマーケティング・アクションの短期的・長期的効果が考慮されてはいるものの、その関数形に制限が存在し、実用的にＭＤＰに入力することができなかった。非特許文献２においてはそもそもマーケティング・アクションの効果が顧客状態定義に反映されなかった。
【０００８】
本発明は、上記課題に鑑み、ＭＤＰに入力可能なマーケティング・アクションを考慮したマルコフ性を持った顧客状態を定義し、マーケティング・アクションがどのような効果を持つかを調べるための顧客状態のパラメータを求めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの態様では、以下のような解決手段を提供する。
【００１０】
マーケティング・アクションに反応する顧客セグメントを推定するための装置であって、複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付ける入力部と、前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する特徴ベクトル生成部と、前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するＨＭＭパラメータ推定部と、前記分布パラメータを顧客セグメントごとのパラメータ情報に変換する状態・行動分解部と、を備える装置を提供する。
【００１１】
すなわち、本装置は、企業が行うマーケティング・アクションに対する顧客セグメント（顧客の分類、例えば、高利益顧客層、中利益顧客層、低利益顧客層等に分類する）を推定するために、まず、複数の顧客の購買記録を蓄積した顧客購買データと顧客それぞれに対する過去のマーケティング・アクション・データとを入力として受け付ける。そして、（ｉ）特徴ベクトル生成部が、その入力された顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する。次に（ｉｉ）ＨＭＭパラメータ推定部が、（ｉ）で出力された特徴ベクトルの時系列データと、顧客セグメントの数（追加入力される）とから、顧客の購買特性を分類した「顧客状態」とマーケティング・アクションの効果に基づいた分類である「アクション状態」とを対にした「複合状態」ごとに、隠れマルコフモデル（ＨＭＭ）の分布パラメータを出力する。最後に、（ｉｉｉ）状態・行動分解部が、前記分布パラメータを顧客セグメントごとのパラメータ情報（顧客セグメント情報）に変換する。この出力された顧客セグメント情報は、ＭＤＰパラメータとして利用できる。
【００１２】
また、本発明の追加態様としては、前記の顧客購買データは、顧客番号、該顧客の購買日時、および該購買日時に該顧客が引き起こしたトランザクション・ベクトルを含む。また、前記の特徴ベクトルの時系列データは、一回の購買トランザクションで発生した売り上げと利益（報酬）を含んだ情報ならびに購買間隔時間と、関連するマーケティング・アクションとを対にしたベクトル・データである。前記のマーケティング・アクション・データは、対象となった顧客番号、該マーケティング・アクション・データの影響を受けた推定される購買日時、および該購買日時に行われたマーケティング・アクション・ベクトルを含む。
【００１３】
更に、前記の分布パラメータは、前記の複合状態ごとに異なる売り上げ／利益、購買間隔時間（Ｉｎｔｅｒ−ｐｕｒｃｈａｓｅ ｔｉｍｅ）、およびマーケティング・アクションに関する確率分布と、記複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートとを含む。また、前記の顧客セグメント情報は、顧客状態間の遷移確率と短期的報酬を含む。状態・行動分解部は、マーケティング・アクションの意思決定間隔（例えば、キャンペーンを１ヶ月おきにやるとすると、１ヶ月）を入力として受け付ける。
【００１４】
本発明は、上記の機能を備えた装置を提供する他、別の態様として、その制御方法、およびそれをコンピュータ上で実現するコンピュータ・プログラムとして提供することができる。
【００１５】
本発明の要点を言い換えると、前述の課題に対して、主に次のアイデアを使うことで解決する。すなわち、アクションで条件づけられた顧客状態遷移確率と短期報酬を得るために、顧客状態とマーケティング・アクションを対にした複合状態を用いた隠れマルコフモデル（ＨＭＭ）で顧客行動をモデル化する。推定された隠れマルコフモデルのパラメータ（複合状態間の遷移確率と複合状態ごとの報酬の分布）を更に、マーケティング・アクションで条件づけられた顧客状態間の遷移確率と顧客状態ごとの報酬の分布に変換する。
【００１６】
更に、より詳細に購買特性をモデル化するために、顧客状態ベクトルの要素の中に必ず購買間隔時間（Ｉｎｔｅｒ−ｐｕｒｃｈａｓｅ ｔｉｍｅ）を含め、顧客状態が購買間隔時間に関する確率分布の情報を持つようにする。そして、実際には以下の３つの手順を組み合せることで問題を解決する。
【００１７】
（Ａ）顧客の状態と、そのとき企業が行ったマーケティング・アクションとを合せた（対にした）特徴ベクトルの時系列データを生成する。
【００１８】
（Ｂ）生成された特徴ベクトルの時系列データを入力として、観測結果とするような隠れマルコフモデルのパラメータを出力する。得られた出力は、顧客の状態とマーケティング・アクションとを組み合せた複合状態ごとに定義されるパラメータと、複合状態間の遷移確率である。つまり、顧客がどう変化したかだけでなく、企業が自分達のとる行動をどう変えていったかという情報が組み込まれている。
【００１９】
（Ｃ）得られたＨＭＭのパラメータを入力として、マーケティング・アクションによって条件づけられた顧客状態間の遷移確率および短期的報酬を計算する。これはＭＤＰのパラメータとして使うことができるため、長期的な利益の最大化に利用可能である。
【００２０】
（Ａ）において企業のアクション・データを入力しない限りは、（Ｂ）における複合状態が企業の行動変化情報を含まず、従って（Ｃ）においてマーケティング・アクションごとに異なる遷移確率情報とならないことに注意する。また（Ｃ）が存在しない場合には（Ｂ）までで得られたパラメータは自分達の行動がどう変化するか（企業からすれば今後の自分達の行動は最適化しながら選択していくものである）という余分な情報となっており、有用な用途がない。ゆえに、本発明では、（Ａ），（Ｂ），（Ｃ）の３つを組み合せることが特徴である。
【発明の効果】
【００２１】
本発明によれば、顧客状態によって、マーケティング・アクションが短期的および長期的にどのような効果を持つかを調べ、その顧客状態に最適なマーケティング・アクションの選定を行うことができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について、図を参照しながら説明する。
【００２３】
［全体像］
図１は、本発明の一つの実施形態に係る顧客セグメント推定装置１０の機能構成を示した図である。図示するように、本装置１０は、３つの計算部を有し、それぞれ特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、状態・行動分解部１３と呼ぶ。また、符号２１〜２６で示す部分は、それぞれの計算部の入力、出力となるデータまたはデータを格納する記憶部である。
【００２４】
なお、この図では、記憶部である顧客購買データ２１とマーケティング・アクション・データ２２は、本装置１０内に位置しているが、これらのデータを外部からネットワークを介して入力するようにしてもよい。また、顧客セグメント数２４は、操作員によって入力するか、または外部のシステムから入力するようにしてもよい。本装置１０には、特に図示していないが、キーボードやマウスなどの入力部、ＬＣＤやＣＲＴのような表示部、ネットワーク・インタフェースとして通信部などを備えていてもよい。以下、特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、状態・行動分解部１３について、その概要を、図１を基に、図２〜図８を併用して説明する。
【００２５】
＜特徴ベクトル生成部１１＞
特徴ベクトル生成部１１は、元のデータを本発明における隠れマルコフモデルに適用するために、加工する部分である。特徴ベクトル生成部１１は、顧客購買データ２１とマーケティング・アクション・データ２２とから、一回のトランザクションで発生した売り上げ／利益等の情報と購買間隔時間、そしてそれに関連するマーケティング・アクションを対としたベクトル・データを生成する。この結果、特徴ベクトルの時系列データ２３が生成される。
【００２６】
図２は、利益・売り上げ・メール応答率等の顧客の行動を縦軸に、マーケティング・アクション（企業が行った行動）を横軸に、顧客の行動とマーケティング・アクションを組にしたベクトルの時系列データの概念を示した図である。この例では、１月のサンプル（●で示す）が、２月のサンプル（○で示す）にそれぞれどう変化したかを示している。
【００２７】
＜ＨＭＭパラメータ推定部１２＞
ＨＭＭパラメータ推定部１２は、本発明における購買モデルの分布パラメータを、特徴ベクトルの時系列データから推定する部分である。その際に、外部から要求する顧客セグメント数２４を指定する。あるいは、指定した値を初期値として顧客セグメント数自体の最適化もできる。分布パラメータ２５は、状態・行動対と呼ばれる離散の複合状態に関して、（ｉ）それらの複合状態ごとに異なる（売り上げ／利益，購買間隔時間，マーケティング・アクション）に関する確率分布、（ｉｉ）それらの複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートを含んでいる。
【００２８】
図３は、このような特徴ベクトルの時間変化を離散の複合状態間の遷移で表現した図である。複合状態は、顧客の行動とマーケティング・アクションとの組をいくつかの種類に分類したもので、ここではｚ１、ｚ２，ｚ３であらわされる。複合状態について詳しくは後述する。なお、ここまでの処理では、「企業の行動がどう変化したか」という無意味な情報が含まれている。
【００２９】
＜状態・行動分解部１３＞
状態・行動分解部１３は、ＨＭＭパラメータ推定部１２で得られた複合状態ごとの分布パラメータ２５を、顧客本来の特性を意味する顧客セグメントごとのパラメータ（顧客セグメント情報２６）に変換する部分である。状態・行動分解部１３では、入力としてマーケティング・アクションの意思決定間隔２７（例えばキャンペーンを行うならその間隔）を受け付け、顧客セグメントごとの（ｉ）（売り上げ／利益，購買間隔時間）に関する確率分布、（ｉｉ）顧客セグメント間の遷移確率を出力する。更に、（ｉ）および（ｉｉ）のパラメータは、マーケティング・アクションの関数となっている。状態・行動分解部１３に得られたパラメータはＭＤＰに入力可能である。またＭＤＰに入力せず、どの顧客セグメントがどのようなアクションに反応しやすいのかを調べる用途にも使える。
【００３０】
図４〜図８は、状態・行動分解部１３における処理を概念的に説明したものである。図４は、複合状態を各軸方向に分解し、離散の顧客状態とアクション状態に定義することを示した図である。ここでは、複合状態ｚ１、ｚ２、ｚ３が、顧客状態ｓ１，ｓ２，ｓ３とアクション状態ｄ１，ｄ２，ｄ３に分解されることを示している。顧客状態、アクション状態、複合状態については、以下に説明する。
【００３１】
顧客状態ｓは、顧客がいくらくらいのお金を店で使いそうか、何日後くらいに来店しそうか、といった顧客の特性を、数種類に分類したうちの一つである。例えば、顧客の特性として、売り上げと購買頻度の組を与えられたときに、これを４つに分類するとする。この場合、ｓ１＝（売り上げが高く、来店頻度も高い）、ｓ２＝（売り上げが高いが、来店頻度は低い）、ｓ３＝（売り上げが低いが、来店頻度は高い）、ｓ４＝（売り上げが低く、来店頻度も低い）といった四種類に分類することが考えられる。実際には、このような分類は主観ではなく、データに基づいて決定される必要がある。
【００３２】
アクション状態ｄは、マーケティング・アクションとして取れる変数の組を、その効果に基づいて数種類に分類したときの一つである。例えば、マーケティング・アクションの例として価格の設定を考えたときに、その効果に基づいて３つに分類するとする。そのとき、価格がｄ１＝安い、ｄ２＝普通、ｄ３＝高い、のような三種類に分類することが考えられる。アクション状態も主観ではなく、データに基づいて決定される必要がある。
【００３３】
複合状態ｚは、顧客の特性と企業がとるマーケティング・アクションとの組を、数種類に分類したときの一つである。例えば、顧客の特性が購買金額で、マーケティング・アクションが価格だとして顧客の特性と企業の行動との組をあらわす状態（複合状態）としては、ｚ１＝（売り上げが高い顧客に高い価格を提示している）、ｚ２＝（売り上げが高い顧客に安い価格を提示している）、ｚ３＝（売り上げが低い顧客に高い価格を提示している）、ｚ４＝（売り上げが低い顧客に安い価格を提示している）、といった分類例が考えられる。このような分類もデータに基づいて、特にその後の顧客の特性の変化に基づいて決定される必要がある。
【００３４】
図５は、異なる顧客状態とアクション状態の組み合せた任意の複合状態が、既知の各複合状態に所属する割合を計算することによって求められることを示した図である。ここでは例として、異なる顧客状態とアクション状態の組み合わせである（ｓ１，ｄ３）が、各複合状態ｚ１，ｚ２，ｚ３にどれだけの確率で所属するかが統計的処理によって求められている。求められた確率は、ｚ１（ｓ１，ｄ１）に対して３０％，ｚ２（ｓ２、ｄ２）に対して２５％，ｚ３（ｓ３，ｄ３）に対して４５％となっている。
【００３５】
図６は、複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間の遷移確率が計算されることを示した図である。この図では、顧客状態ｓ１にアクション状態ｄ３のアクションを行うと、それぞれどの顧客状態に変化するかの確率を計算する。（ｓ１，ｄ３）と書いてある楕円６０は、顧客状態ｓ１にアクション状態ｄ３のアクションを行うことを意味している。横に長い楕円６１，６２，６３は、顧客状態ｓ１，ｓ２，ｓ３を意味している。顧客状態はアクションの情報を含まないので、横軸には特に分布はなく均一に広がっている。従って、（ｓ１，ｄ３）の中に存在する点が、ｓ１，ｓ２，ｓ３の楕円の中のどの点に変化しそうかを計算することが目的である。
【００３６】
計算には、複合状態間の遷移確率と顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率を用いる。ここで、複合状態間遷移確率は、ＨＭＭパラメータ推定部１２により計算済みである。また、顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率は、全てのｚｍについて図５で示した方法で計算される。例えば、顧客状態ｓ１にアクション状態ｄ３のアクションを行いｓ２に変化する確率は、全ての複合状態ｚｍについて、複合状態ｚｍから複合状態ｚ２が生成される確率と顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率とを掛けた値を足し合わせて計算される。
【００３７】
図７は、複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間から得られる報酬（利益）が計算されることを示した図である。この図では、顧客状態ｓ１にアクション状態ｄ３のアクションを行うと、どれくらいの利益の分布が得られるのかを計算する。各顧客状態から得られる利益の分布の違いはわかっており、それは左側の分布形状に反映されている。従って、それぞれの分布がどれだけの割合で混ざるべきかがわかれば所望の分布が得られる。混合割合は顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率として、図５で示した方法で計算される。従ってこの混合割合を用いることで、中央部に示した非対称な形の分布が得られる。
【００３８】
図８は、得られた遷移確率と報酬分布とがＭＤＰパラメータになっていることを示した図である。ここでは、顧客状態ｓ１に対してアクションａ３を行った場合、ｓ２、ｓ３に遷移する確率、ｓ１に留まる確率、および報酬（利益）の分布が求まることになる。
【００３９】
［詳細な説明］
以下、前述した特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、および状態・行動分解部１３における、更に具体的な計算方法の詳細を説明する。
【００４０】
［特徴ベクトル生成部１１］
特徴ベクトル生成部１１には顧客購買データとマーケティング・アクション・データとが入力される。顧客購買データは、顧客番号を示すインデクスｃ∈Ｃ（なおＣは顧客の集合）、顧客ｃのｎ回目の購買日時を示すｔｃ，ｎ、日時ｔｃ，ｎに顧客ｃが引き起こした報酬ベクトルｒｃ，ｎを含む。顧客ｃによる購買トランザクションの回数をＮｃとして、１≦ｎ≦Ｎｃとする。ｒｃ，ｎには必要に応じてどのような要素も指定することができる。例えば、その日に買った全商品の売り上げ合計値によるスカラー量でもよいし、商品カテゴリＡの売り上げ合計値と商品カテゴリＢの売り上げ合計値とを並べて２次元のベクトルにしてもよい。売り上げでなく粗利や、プロモーション・プログラムのポイント消費量等でもよい。以降、報酬ベクトルｒｃ，ｎは単に報酬と記述する。
【００４１】
マーケティング・アクション・データは、
（ｉ）そのマーケティング・アクションの対象となった顧客番号ｃ∈Ｃ
（ｉｉ）そのマーケティング・アクションの影響を受けたと考えられる購買日時ｔｃ，ｎ
（ｉｉｉ）上記日時ｔｃ，ｎに行われたマーケティング・アクション・ベクトルａｃ，ｎ
を含む。これらの情報のどれかが欠けている場合には、必要に応じて情報を補間しておく。ａｃ，ｎとしては例えば、その顧客にオファーした商品の割引率や会員プログラムにより顧客に与えたボーナスポイントの数値、およびそれらを組み合せたベクトル値を用いる。また「何もしない」というアクションも、それに対応したアクション・ベクトル値（例：全ての要素が０）を定義することで定義されうる。以降はマーケティング・アクション・ベクトルａｃ，ｎは単にアクションと記述する。
【００４２】
特徴ベクトル生成部１１は、以上の入力データから次の時系列ベクトル時系列データ２３を生成し出力する。
（ｉ）顧客番号ｃ
（ｉｉ）顧客ｃによるｎ回目のトランザクションにおける特徴ベクトルｖｃ，ｎ＝（ｒｃ，ｎ，τｃ，ｎ，ａｃ，ｎ）T
【００４３】
（ ）Ｔは、転置ベクトルをあらわす。また、τｃ，ｎ＝ｔｃ，ｎ＋１−ｔｃ，ｎであり、τｃ，ｎはｎ回目の購買間隔時間を意味する。ｒｃ，ｎおよびａｃ，ｎについては１≦ｎ≦Ｎｃであり、τｃ，ｎについては１≦ｎ≦Ｎｃ−１である。つまり特徴ベクトルとは（報酬，購買間隔時間，アクション）を組にしたベクトルのことである。これ以降｛ｒｃ，１，ｒｃ，２，・・・，ｒｃ，Ｎｃ｝を、
【数１】
と書く。同様にして、
【数２】
を定義する。
【００４４】
［ＨＭＭパラメータ推定部１２］
＜モデルと概要＞
ＨＭＭパラメータ推定部１２は入力データ
【数３】
に対して、顧客セグメント数Ｍを指定した上でモデルパラメータＱとΘを推定し、出力する。
【００４５】
パラメータＱ＝｛ｑｉｊ；１≦ｉ，ｊ≦Ｍ｝は、生成行列と呼ばれる連続時間マルコフ過程のパラメータであり、Ｍ×Ｍ行列である。このパラメータは複合状態と呼ばれる潜在状態間の遷移の度合いを示す。複合状態とは、潜在的な顧客セグメントと潜在的なマーケティング・アクションのセグメントを対にした状態のことである。パラメータΘ＝｛Θｍ；１≦ｍ≦Ｍ｝は各複合状態に対して割り当てられる、特徴ベクトルの分布を示すパラメータである。Θｍは複合状態ｍが持つ分布パラメータを意味する。このパラメータは、特徴ベクトルの分布に何を用いるかによって異なる。本発明は特徴ベクトルの分布を限定しないが、例として特徴ベクトルが正規分布の場合の例を後述する。
【００４６】
ＨＭＭパラメータ推定部１２は、学習データの対数尤度を次の式（１）（２）であらわすモデルパラメータＱ，Θを求める。このパラメータの導出法は複数あり、本特許は個々のパラメータの導出法に制約されない。対数尤度を最大化するようなパラメータを求める場合は最尤推定を用いることになり、実際にはＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）を用いる。この例についてのみ後述する。パラメータの事後分布における期待値を求めるならばベイズ推定となり、この場合は変分ベイズ法を用いる。またＭＣＭＣ（モンテカルロ・マルコフ連鎖）と呼ばれるサンプリング手法によってもＨＭＭのパラメータは推定できる。
【００４７】
【数４】
【００４８】
式（１）（２）において、ｚｃ，ｎは顧客ｃのｎ番目の特徴ベクトルｖｃ，ｎを生成した複合状態であり、１≦ｚｃ，ｎ≦Ｍの範囲の値をとる。また、
【数５】
【００４９】
を意味する。式（１）は存在しうる全ての潜在状態時系列に関する特徴ベクトルの出力確率の期待値を現している。Ｐ（ｚｃ，ｎ＋１｜ｚｃ，ｎ，τｃ，ｎ，Ｑ）は生成行列Ｑが与えられた状況下で、顧客ｃが時刻ｔｃ，ｎでの購買後、τｃ，ｎ時間たった後に潜在状態ｚｃ，ｎからｚｃ，ｎ＋１に遷移する確率を表している。Ｆ（・｜Θｍ）は潜在状態ｍにおいて指定された特徴ベクトルが出力される確率密度関数である。
【００５０】
Ｐ（ｚｃ，１｜ｔｃ，１）は顧客ｃの時刻ｔｃ，１における初期状態確率である。顧客の購買回数が十分多ければ初期状態確率の影響はほぼ無視される。簡単のため、初期状態は全ての顧客ｃ∈Ｃに対して最初の購買日時ｔｃ，１の際には同一であるとする。
【００５１】
＜アルゴリズム＞
ここではＨＭＭパラメータの実際の推定方法の一例として、最尤推定を基にしたＥＭアルゴリズムを示す。この推定方法はあくまで本発明適用の一例である。枠組最尤推定を用いる場合には、対数尤度を式（３）のように変形する。
【００５２】
【数６】
【００５３】
αｃ，ｎ＋１（ｊ）は前向き確率と呼び、特徴ベクトルｖｃ，１，ｖｃ，２，・・・，ｖｃ，ｎが与えられた条件のもとで顧客ｃが時刻ｔｃ，ｎ＋１に潜在状態ｊにいる確率Ｐ（ｊ｜ｖｃ，１，・・・，ｖｃ，ｎ）をあらわす。
【数７】
を満たす。βｃ，ｎ（ｉ）は後ろ向き確率と呼び、潜在状態ｉから特徴ベクトル
【数８】
が生成される確率
【数９】
をあらわす。αｃ，ｎ＋１（ｊ），βｃ，ｎ（ｉ）は式（５）（７）を用いて再帰的に計算することができる。
【００５４】
ＥＭアルゴリズムを用いるために、Ｊｅｎｓｅｎの不等式を用いて式（３）の下限をとる。このとき、新たに潜在変数
【数１０】
が導入されるが、これは区間［ｔｃ，ｎ，ｔｃ，ｎ＋１］において潜在状態ｉから潜在状態ｊへの遷移確率が起きた確率をあらわす。上記潜在変数を導入した上で推定アルゴリズムは以下のように記述される。
【００５５】
＜Ｅ−ｓｔｅｐ：＞
【００５６】
【数１１】
【００５７】
＜Ｍ−ｓｔｅｐ：＞
【数１２】
【００５８】
１．パラメータＱ，Θまたは潜在変数
【数１３】
の適当な初期値を設定する。
２．上記のＥ−ｓｔｅｐとＭ−ｓｔｅｐをパラメータが収束するまで繰り返す。
＜実施例＞
【００５９】
実際には、上述の推定アルゴリズムは、特徴ベクトルの分布や潜在状態間の遷移確率のモデルを何にするか決めないと実現されない。しかしこの分布の選定は使用者の裁量で自由に決めることができる。そこで特徴ベクトルに正規分布を用いる場合の一例だけを示す。特徴ベクトルに正規分布を用いる場合は、購買間隔時間が正の実数にしかならないことを考慮して、購買間隔時間は対数正規分布に、他の特徴ベクトル量は正規分布に従うように潜在状態を決定する。つまり、
【００６０】
【数１４】
とし、パラメータΘｍは実際にはΘｍ＝｛μｍ；Σｍ｝としてモデル化する。更に、
【数１５】
【００６１】
と表記する。また、潜在状態の遷移確率は連続時間のマルコフ過程に対応したものでなければいけない。しかし計算時間とあるべき顧客セグメントの性質を考慮して式（１７）のような近似をする。これは、購買間隔時間τにくらべてそれほど急速に潜在状態が変化しないという仮定のもとに成り立つ式である。隣接する購買データ間で急速に顧客状態が変化するような顧客セグメントが学習されると実用上役にたたないため、このような仮定を設ける。
【００６２】
【数１６】
ただし、Ｑ＝｛ｑｉｊ；１≦ｉ，ｊ≦Ｍ｝に対して、
【００６３】
【数１７】
【００６４】
というパラメータ表記を行っている。以上の仮定を用いると、上述のＭ−ｓｔｅｐにおける式（１４）は式（１９）（２０）に対応し、式（１５）は式（２１）（２２）に対応する。
【００６５】
【数１８】
【００６６】
式（２１）は個別のλｉごとに１次元のＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いて解く必要があるが、実用上は
【数１９】
を利用して式（２３）により計算すればよい。
【００６７】
【数２０】
【００６８】
式（２３）を用いる場合はパラメータの局所解付近で尤度が単調増加せず振動するので、振動が始まったら繰り返しアルゴリズムを停止するか、振動が始まった後にＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いる。
【００６９】
［状態・行動分解部１３］
状態・行動分解部１３は、ＨＭＭパラメータ推定部１２が出力したパラメータＱ，Θを変形し、意思決定の間隔を示す期間を入力し、Ｍ種類の離散顧客状態とＭ種類の離散アクション状態で規定される離散時間マルコフ決定過程のパラメータを出力する。顧客状態（＝報酬，購買間隔時間）もアクション状態も本質的には連続値であるが、それらのパラメータを有限離散個の状態で規定されるパラメータの線形結合であらわすことで、現実にＭＤＰで解けるようにする。出力されるパラメータは次の通りである。
【００７０】
・顧客状態ｓｉから報酬ｒ・購買間隔時間τが生成される確率分布Ｐ（ｒ，τ｜ｓｉ）のパラメータ
・アクション状態ｄｊからアクション・ベクトルａが生成される確率分布Ｐ（ａ｜ｄｊ）のパラメータ
・顧客状態ｓｉとアクション状態ｄｊの組（ｓｉ，ｄｊ）が複合状態ｚｍに所属する確率λｍ（ｉ，ｊ）
・顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）
・顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときに報酬ｒ・購買間隔時間τが観測される確率分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）のパラメータ
ただし、Ｐτ（ｓｋ｜ｓｉ，ｄｊ）におけるτはキャンペーンの実施間隔を考慮し（つまりＭＤＰで最適化する時間間隔を考慮し）、手動で与えるものとする。
【００７１】
状態・行動分解部１３のポイントは、ｉ番目の顧客状態ｓｉおよびｊ番目の顧客状態ｄｊの組み合せが、ＨＭＭパラメータ推定部１２で学習された複合状態ｚｍにどの程度の割合で所属するかを計算する点である。つまり上記λｍ（ｉ，ｊ）を計算する点である。本発明においては各状態からは報酬、購買間隔時間、アクション・ベクトルのいずれも確率的にしか決まらないので、ｉ番目の顧客状態ｓｉにいた場合でも全ての複合状態ｚｍに対して確率的に所属している。同様にｊ番目のアクション状態ｄｊにいた場合でも全ての複合状態ｚｍに対して確率的に所属している。
【００７２】
まず各顧客状態とアクション状態の定義を与える。顧客状態からは報酬と購買間隔時間が生成され、アクション状態からはアクション・ベクトルが生成される。従って式（２４）（２５）を顧客状態ｓｉ，アクション状態ｄｊの定義とする。式（２４）（２５）のように分解することで、報酬とアクション・ベクトルとの相関は失われることに注意する。
【００７３】
【数２１】
【００７４】
つぎに、式（２４）（２５）で定義された（ｓｉ，ｄｊ）がそれぞれのｉ，ｊに関して各ｚｍにどれだけの割合で所属するのかを決定する。これは特徴ベクトルの分布Ｐ（ｖ｜ｓｉ，ｄｊ）＝Ｐ（ｒ，τ｜ｓｉ）Ｐ（ａ｜ｄｊ）と既存の複合状態による特徴ベクトルの分布Ｐ（ｖ｜ｚｍ）からそれぞれどれだけの距離はなれているか計算し、その距離の逆数の比をとることで解決する。この距離尺度には場合に応じて任意のものを使うことにするが、実施例としてＰ（ｖ｜ｓｉ，ｄｊ）＝Ｐ（ｒ，τ｜ｓｉ）Ｐ（ａ｜ｄｊ）の平均値とＰ（ｖ｜ｚｍ）とのマハラノビス距離を採用する。ｄ（・，・）を分布間距離尺度、λｍ（ｉ，ｊ）を顧客状態ｓｉおよびアクション状態ｄｊが与えられたときに複合状態ｚｍに所属する確率として、
【００７５】
【数２２】
【００７６】
式（２８）からＭＤＰのパラメータを求める。まず、顧客状態ｓｉにアクションｄｊを行うとτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）を求める手順を示す。顧客状態ｓｉ・アクション状態ｄｊが所属しうる全ての複合状態についての遷移を考慮し、かつ遷移後の複合状態から顧客状態ｓｋが得られる確率を考えるので
【００７７】
【数２３】
【００７８】
となる。式（２４）で顧客状態ｓｋは複合状態ｚｋからアクションに関する情報を全て積分して得られたものであることに注意するとＰ（ｓｋ｜ｚ２）はｋ＝ｚ２の場合のみ１で、他は０として実質十分である（更に厳密にやる場合はベイズの定理を用いてもよい）。よって、
【００７９】
【数２４】
【００８０】
つづいて、顧客状態ｓｉにアクション状態ｄｊのアクションを行ったときに得られる報酬・購買間隔時間の分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）を求める手順を示す。そのためにはまず、複合状態とアクション・ベクトルａが与えられたときの（報酬，購買時間）の分布が必要であり、それは式（３１）で与えられる。
【００８１】
【数２５】
【００８２】
Ｐ（ｒ，τ｜ｓｉ，ｄｊ）の求め方には二通りの可能性が考えられ、λｍ（ｉ，ｊ）の割合を使った混合分布になる場合と、パラメータをλｍ（ｉ，ｊ）の割合で混合した分布を作る場合とがある。前者は、
【００８３】
【数２６】
【００８４】
となり、後者はパラメータ領域での混合を行うため具体例で後述する。以上の式は一見すると多くの積分計算を含んでいるため計算に時間が掛かるように思われるが、実際には特徴ベクトルの分布に解析的に容易なもの（例：多次元正規分布）を選んだ場合には解析的に解けてしまう。実際に必要なのは数回の行列計算のみである。以上より、状態・行動分解部１３の処理は以下に示した手順にまとめられる。
【００８５】
ステップ１：ＨＭＭパラメータ推定部１２で得られたΘによるＰ（ｒ，τ，ａ｜ｚｍ）＝ｆ（ｒ，τ，ａ｜Θｍ）と式（２４）（２５）を用いて、Ｐ（ｒ，τ｜ｓｉ），Ｐ（ａ｜ｄｊ）の分布パラメータＲｉ，Ａｊを計算する。これをＭ×Ｍ通りの全ての（ｉ，ｊ）について行う。
【００８６】
ステップ２：ステップ１で得られたパラメータＲｉ，Ａｊと式（２６）（２７）（２８）を用いて顧客状態ｓｉおよびアクション状態ｄｊが与えられたときに複合状態ｚｍに所属する確率λｍ（ｉ，ｊ）を計算する。これをＭ×Ｍ×Ｍ通りの全ての（ｉ，ｊ，ｍ）について行う。
【００８７】
ステップ３：ＭＤＰに用いたいアクションの実施間隔τを指定し、ＨＭＭパラメータ推定部１２で得られたＱ＝｛ｑｉｊ｝とステップ１で得られたパラメータＲｉ，Ａｊを利用して式（３０）より顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）を計算する。これをＭ×Ｍ×Ｍ通りの全ての（ｉ，ｊ，ｋ）について行う。
【００８８】
ステップ４：ステップ１で得られたパラメータとステップ２で得られたλｍ（ｉ，ｊ）を式（３１）（３２）に代入し顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときに報酬ｒ，購買間隔時間τが観測される確率分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）のパラメータΩｉｊを計算する。これをＭ×Ｍ通りの全ての（ｉ，ｊ）について行う。
【００８９】
ステップ５：ステップ３で得られたＰτ（ｓｋ｜ｓｉ，ｄｊ）とステップ４で得られたパラメータΩｉｊがＭＤＰに適用可能なパラメータである。またステップ１で得られたパラメータＲｉ，Ａｊとステップ２で得られたλｍ（ｉ，ｊ）は実際の購買データから顧客状態とアクション状態への割り当てをするために必要である。よってパラメータＲｉ，Ａｊ，λｍ（ｉ，ｊ），Ｐτ（ｓｋ｜ｓｉ，ｄｊ），Ωｉｊを保存する。
【００９０】
＜実施例＞
状態・行動分解部１３の実装例として、（ｒ，ｌｏｇτ，ａ）Ｔが正規分布に従うように設定した場合の例を示す。この場合は、上述のステップにおいて必要な種々の積分計算が解析的に解ける。
【数２７】
においてμｍ，Σｍの（ｒ，ｌｏｇτ）に関する成分（上添字（ｓ））とａに関する成分（上添字（ｄ））を分けて次のように表記する。なお、両者の相関に関する部分は（ｓｄ）という上添字を用いる。
【００９１】
【数２８】
【００９２】
まず、Ｐ（ｒ，τ｜ｓｉ），Ｐ（ａ｜ｄｊ）については
【数２９】
で与えられる。
【００９３】
λｍ（ｉ，ｊ）を決めるために、マハラノビス距離を計算すると、
【数３０】
ここで、
【数３１】
【００９４】
よってλｍ（ｉ，ｊ）は次の式（４１）で与えられる。
【数３２】
ただしΣｍλｍ（ｉ，ｊ）＝１である。
【００９５】
最後に、式（３０）はそのままであり式（３１）（３２）については、
【数３３】
【００９６】
と整理できる。Ｐ（ｒ，τ｜ｓｉ，ｄｊ）は二通りの求め方があることを説明したが、混合分布を用いる場合は混合正規分布となり、
【数３４】
ここで、
【数３５】
である。パラメータ領域で混合する場合は、
【数３６】
となるので単一の正規分布で与えられる。
【００９７】
［実施例］
本発明の実施例として、本発明を用いたソフトウェアにおけるＧＵＩの一例を示す。図９は、特徴ベクトル時系列データ２３の生成例を示した図である。タイムスタンプのついた購買記録とそれとは別のマーケティング・アクション記録とから特徴ベクトルのデータを生成する。上段左の表９０が購買記録、上段右の表９１がマーケティング・アクション記録、下段の表９２が生成された特徴ベクトル時系列データ２３になる。表９０には、ＣｕｓｔｏｍｅｒＩＤ＝１の顧客が、購買した商品群ごとにその売り上げ金額（ドル）が時系列に格納されている。表９１には、企業がＣｕｓｔｏｍｅｒＩＤ＝１〜５に対して行ったマーケティング・アクションが同じく時系列に格納されている。マーケティング・アクションとしては、ここではディスカウント率を設定する、ポイントを与える、オプションを与える、といったことが例示されている。時刻のタイムスタンプが購買間隔時間（Ｉｎｔｅｒ＿ｐｕｒｃｈａｓｅ）に変換されている他、マーケティング・アクション・ベクトルが該当する日付（アクション後で一番近い日付）に割り当てられる。何もアクションをしなかったところは、ゼロベクトルで埋められている。実際には購買データは膨大なので、このようなデータは画面に表示される可能性は低く、処理は自動化して行う。
【００９８】
図１０は、状態・行動分解部１３により得られたパラメータを表示する画面である。ここでは‘Ｆｒｅｑｕｅｎｔ Ｂｕｙｅｒ’という名称の顧客状態（ここでは顧客セグメントと呼ぶ）の特性について表示している。‘Ｆｒｅｑｕｅｎｔ Ｂｕｙｅｒ’は後から便宜上つけた名前であり、実際にはｓ１からｓＭまでの顧客セグメントのいずれかを選択しているに過ぎない。画面左側の矩形領域１０１には、指定された顧客セグメントの持つ様々な情報が表示されており、それらは保持しているパラメータによって計算できる確率分布の情報として表示されている。この実施例において表示されている情報は、購買間隔時間の分布と報酬の分布とセグメント間遷移確率の情報である。図１１には、図１０の画面に表示される追加情報を示している。この情報は、分布特性から理解できるこの顧客状態の傾向を文章（Ｄｅｓｃｒｉｐｔｉｏｎ）により説明している。この文章は適切なルールを決めれば自動生成可能である。
【００９９】
画面右側の‘Ｓｐｅｃｉｆｙ ａｃｔｉｏｎ’と書かれた矩形領域１０２は、アクション・ベクトルの入力、またはアクション状態を指定するユーザ入力領域となっており、該当する入力を与えて‘Ｒｅｃａｌｃｕｌａｔｅ ｐａｒａｍｅｔｅｒｓ’ボタン１０３を押すと左側と下側の情報が更新される。これは、得られた顧客状態がマーケティング・アクションに応じて報酬、購買間隔時間、および顧客セグメント間遷移確率が変化するためである。
【０１００】
以上の情報をもって、マーケティング担当者が市場を理解する一助とできる。特に、右側の矩形領域１０２内のアクションの値を変えることで画面中央部の顧客セグメント間遷移確率がどう変化するかいくつか試してみることができる。このことにより、より収益性の高い顧客を育てるにはどうすべきなのかといったことが定性的に理解できる。もちろん最終的な数理的最適化においては、保持しているパラメータを用いてＭＤＰの最大化問題を解くことでより精密な推奨すべきマーケティング・アクションが計算される。
【０１０１】
［ハードウェア構成］
図１２は、本発明の一実施形態に係る顧客セグメント推定装置１０のハードウェア構成を示す図である。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、専用機や組み込み型装置の場合、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【０１０２】
顧客セグメント推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、パラレルポート１０８０、ＵＳＢポート１０９０、グラフィック・コントローラ１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、ならびにキーボードおよびマウス・アダプタ等１１００の入力手段を備える。Ｉ／Ｏコントローラ１０７０には、フレキシブル・ディスク（ＦＤ）ドライブ１０７２、ハード・ディスク１０７４、光ディスク・ドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。グラフィック・コントローラ１０２０には、表示装置１０２２が接続されている。また、オプションとして、音声プロセッサ１０３０には、増幅回路１０３２およびスピーカ１０３４が接続される。
【０１０３】
ＢＩＯＳ１０６０は、顧客セグメント推定装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、顧客セグメント推定装置１０のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ１０７２は、フレキシブル・ディスク１０７１からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供する。
【０１０４】
光ディスク・ドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスク・ドライブ１０７６は光ディスク１０７７からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供することもできる。
【０１０５】
顧客セグメント推定装置１０に提供されるコンピュータ・プログラムは、フレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、顧客セグメント推定装置１０にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【０１０６】
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハード・ディスクまたは光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを顧客セグメント推定装置１０に提供してもよい。
【０１０７】
以上の例は、顧客セグメント推定装置１０について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。従って、本発明において一つの実施形態として説明した情報処理装置は、方法およびそのコンピュータ・プログラムによっても実現可能である。
【０１０８】
本発明の装置１０は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合せとして実現可能である。ハードウェアとソフトウェアの組み合せによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明に係る処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。
【０１０９】
以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態または実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一つの実施形態に係る顧客セグメント推定装置１０の機能構成を示した図である。
【図２】特徴ベクトル生成部１１における顧客行動とマーケティング・アクションを組にしたベクトルの時系列データの概念を示した図である。
【図３】ＨＭＭパラメータ推定部１２における特徴ベクトルの時間変化を離散の複合状態間の遷移で表現した図である。
【図４】状態・行動分解部１３における複合状態を各軸方向に分解し、離散の顧客状態とアクション状態に定義することを示した図である。
【図５】状態・行動分解部１３における異なる顧客状態とアクション状態の組み合せた複合状態が、切の各複合状態に所属する割合を計算することを示した図である。
【図６】状態・行動分解部１３における複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間の遷移確率が計算されることを示した図である。
【図７】状態・行動分解部１３における複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間から得られる報酬（利益）が計算されることを示した図である。
【図８】状態・行動分解部１３における得られた遷移確率と報酬分布とがＭＤＰパラメータになっていることを示した図である。
【図９】実施例における特徴ベクトル時系列データ２３の生成例を示した図である。
【図１０】実施例における状態・行動分解部１３により得られたパラメータを表示する画面である。
【図１１】図１０の画面に表示させる追加情報である。
【図１２】本発明の一実施形態に係る顧客セグメント推定装置１０のハードウェア構成を示す図である。
【符号の説明】
【０１１１】
１０ 顧客セグメント推定装置
１１ 特徴ベクトル生成部
１２ ＨＭＭパラメータ推定部
１３ 状態・行動分解部
２１ 顧客購買データ
２２ マーケティング・アクション・データ
２３ 特徴ベクトル時系列データ
２４ 顧客セグメント数
２５ 複合状態ごとの分布パラメータ
２６ 顧客セグメント情報
２７ マーケティング・アクションの意思決定間隔
９０ 購買記録
９１ マーケティング・アクション記録
９２ 特徴ベクトル時系列データ
【技術分野】
【０００１】
本発明は、顧客セグメント推定装置に関する。更に詳しくは、マーケティング・アクションを考慮した顧客セグメント推定装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
個人顧客をターゲットとしたダイレクト・マーケティングにおいて、個々の顧客から生涯にわたって得られる利益の合計値（顧客生涯価値：Ｃｕｓｔｏｍｅｒ Ｅｑｕｉｔｙ）を最大化したいという要求がある。そのために、（ｉ）顧客の行動特性は時間が経つとどう変化するか、（ｉｉ）顧客の行動特性を企業にとって利益が高くなるように誘導する（最適なマーケティング・アクションを選択する）にはどうしたらよいか、を知ることはマーケティングの重要な課題である。
【０００３】
従来、顧客生涯価値を最大化するようなマーケティング・アクションの最大化手法としては、マルコフ決定過程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ：以下、ＭＤＰと略す）を用いたものと、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ：以下、ＲＬと略す）を用いたものとがあり、顧客層を意識した大局的なマーケティング戦略を考える上ではＭＤＰを用いる手法に利点がある。
【０００４】
ＭＤＰを用いる場合、マルコフ性を持った顧客状態を定義する必要がある。しかし、マルコフ性を持つ顧客状態の定義は人間にとって自明ではない。そのため、顧客購買データおよびマーケティング・アクション・データを入力するだけでマルコフ性を満たすような顧客状態定義が得られるツールが必要である。そのツールの機能としては、顧客状態数Ｍを指定すると自動的にＭ個の顧客状態が定義される。その顧客状態はマルコフ性を満たす。あるいは、Ｍ個の離散状態で顧客状態を表現できる中では最もマルコフ性が強いそれぞれの顧客状態間の遷移確率および顧客状態からの報酬分布が与えられる。そして遷移確率と報酬分布は、マーケティング・アクションによって条件づけられている必要がある。
【０００５】
従来技術を用いてマルコフ性を持った顧客状態を学習する場合、隠れマルコフモデル（以下、ＨＭＭと略す）を用いる。その例としては、Ｒａｍａｓｗａｍｙ，１９９７（非特許文献１）や、Ｎｅｔｚｅｒ ｅｔ ａｌ．，２００５（非特許文献２）がある。
【０００６】
【非特許文献１】Ｎｅｔｚｅｒ， Ｏ．， Ｊ． Ｍ． Ｌａｔｔｉｎ， ａｎｄ Ｖ． Ｓｒｉｎｉｖａｓａｎ （２００５， Ｊｕｌｙ）． Ａ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｏｆ Ｃｕｓｔｏｍｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｄｙｎａｍｉｃｓ． Ｓｔａｎｄｆｏｒｄ ＧＳＢ Ｒｅｓｅａｒｃｈ Ｐａｐｅｒ． Ａｖａｉｌａｂｌｅ ａｔ ＳＳＲＮ： ｈｔｔｐ：／／ｓｓｒｎ．ｃｏｍ／ａｂｓｔｒａｃｔ＝７７６７６５．
【非特許文献２】Ｒａｍａｓｗａｍｙ，Ｖ．（１９９７）． Ｅｖｏｌｕｔｉｏｎａｒｙ ｐｒｅｆｅｒｅｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ｐａｎｅｌ ｓｕｒｖｅｙ ｄａｔａ： Ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｎｅｗ ｐｒｏｄｕｃｔｓ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｅｓｅａｒｃｈ ｉｎ Ｍａｒｋｅｔｉｎｇ １４，５７−８０．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来技術ではマーケティング・アクションを考慮した顧客状態定義ができないか、ＭＤＰに入力可能なパラメータが得られなかった。非特許文献1においてはマーケティング・アクションの短期的・長期的効果が考慮されてはいるものの、その関数形に制限が存在し、実用的にＭＤＰに入力することができなかった。非特許文献２においてはそもそもマーケティング・アクションの効果が顧客状態定義に反映されなかった。
【０００８】
本発明は、上記課題に鑑み、ＭＤＰに入力可能なマーケティング・アクションを考慮したマルコフ性を持った顧客状態を定義し、マーケティング・アクションがどのような効果を持つかを調べるための顧客状態のパラメータを求めることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの態様では、以下のような解決手段を提供する。
【００１０】
マーケティング・アクションに反応する顧客セグメントを推定するための装置であって、複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付ける入力部と、前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する特徴ベクトル生成部と、前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するＨＭＭパラメータ推定部と、前記分布パラメータを顧客セグメントごとのパラメータ情報に変換する状態・行動分解部と、を備える装置を提供する。
【００１１】
すなわち、本装置は、企業が行うマーケティング・アクションに対する顧客セグメント（顧客の分類、例えば、高利益顧客層、中利益顧客層、低利益顧客層等に分類する）を推定するために、まず、複数の顧客の購買記録を蓄積した顧客購買データと顧客それぞれに対する過去のマーケティング・アクション・データとを入力として受け付ける。そして、（ｉ）特徴ベクトル生成部が、その入力された顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する。次に（ｉｉ）ＨＭＭパラメータ推定部が、（ｉ）で出力された特徴ベクトルの時系列データと、顧客セグメントの数（追加入力される）とから、顧客の購買特性を分類した「顧客状態」とマーケティング・アクションの効果に基づいた分類である「アクション状態」とを対にした「複合状態」ごとに、隠れマルコフモデル（ＨＭＭ）の分布パラメータを出力する。最後に、（ｉｉｉ）状態・行動分解部が、前記分布パラメータを顧客セグメントごとのパラメータ情報（顧客セグメント情報）に変換する。この出力された顧客セグメント情報は、ＭＤＰパラメータとして利用できる。
【００１２】
また、本発明の追加態様としては、前記の顧客購買データは、顧客番号、該顧客の購買日時、および該購買日時に該顧客が引き起こしたトランザクション・ベクトルを含む。また、前記の特徴ベクトルの時系列データは、一回の購買トランザクションで発生した売り上げと利益（報酬）を含んだ情報ならびに購買間隔時間と、関連するマーケティング・アクションとを対にしたベクトル・データである。前記のマーケティング・アクション・データは、対象となった顧客番号、該マーケティング・アクション・データの影響を受けた推定される購買日時、および該購買日時に行われたマーケティング・アクション・ベクトルを含む。
【００１３】
更に、前記の分布パラメータは、前記の複合状態ごとに異なる売り上げ／利益、購買間隔時間（Ｉｎｔｅｒ−ｐｕｒｃｈａｓｅ ｔｉｍｅ）、およびマーケティング・アクションに関する確率分布と、記複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートとを含む。また、前記の顧客セグメント情報は、顧客状態間の遷移確率と短期的報酬を含む。状態・行動分解部は、マーケティング・アクションの意思決定間隔（例えば、キャンペーンを１ヶ月おきにやるとすると、１ヶ月）を入力として受け付ける。
【００１４】
本発明は、上記の機能を備えた装置を提供する他、別の態様として、その制御方法、およびそれをコンピュータ上で実現するコンピュータ・プログラムとして提供することができる。
【００１５】
本発明の要点を言い換えると、前述の課題に対して、主に次のアイデアを使うことで解決する。すなわち、アクションで条件づけられた顧客状態遷移確率と短期報酬を得るために、顧客状態とマーケティング・アクションを対にした複合状態を用いた隠れマルコフモデル（ＨＭＭ）で顧客行動をモデル化する。推定された隠れマルコフモデルのパラメータ（複合状態間の遷移確率と複合状態ごとの報酬の分布）を更に、マーケティング・アクションで条件づけられた顧客状態間の遷移確率と顧客状態ごとの報酬の分布に変換する。
【００１６】
更に、より詳細に購買特性をモデル化するために、顧客状態ベクトルの要素の中に必ず購買間隔時間（Ｉｎｔｅｒ−ｐｕｒｃｈａｓｅ ｔｉｍｅ）を含め、顧客状態が購買間隔時間に関する確率分布の情報を持つようにする。そして、実際には以下の３つの手順を組み合せることで問題を解決する。
【００１７】
（Ａ）顧客の状態と、そのとき企業が行ったマーケティング・アクションとを合せた（対にした）特徴ベクトルの時系列データを生成する。
【００１８】
（Ｂ）生成された特徴ベクトルの時系列データを入力として、観測結果とするような隠れマルコフモデルのパラメータを出力する。得られた出力は、顧客の状態とマーケティング・アクションとを組み合せた複合状態ごとに定義されるパラメータと、複合状態間の遷移確率である。つまり、顧客がどう変化したかだけでなく、企業が自分達のとる行動をどう変えていったかという情報が組み込まれている。
【００１９】
（Ｃ）得られたＨＭＭのパラメータを入力として、マーケティング・アクションによって条件づけられた顧客状態間の遷移確率および短期的報酬を計算する。これはＭＤＰのパラメータとして使うことができるため、長期的な利益の最大化に利用可能である。
【００２０】
（Ａ）において企業のアクション・データを入力しない限りは、（Ｂ）における複合状態が企業の行動変化情報を含まず、従って（Ｃ）においてマーケティング・アクションごとに異なる遷移確率情報とならないことに注意する。また（Ｃ）が存在しない場合には（Ｂ）までで得られたパラメータは自分達の行動がどう変化するか（企業からすれば今後の自分達の行動は最適化しながら選択していくものである）という余分な情報となっており、有用な用途がない。ゆえに、本発明では、（Ａ），（Ｂ），（Ｃ）の３つを組み合せることが特徴である。
【発明の効果】
【００２１】
本発明によれば、顧客状態によって、マーケティング・アクションが短期的および長期的にどのような効果を持つかを調べ、その顧客状態に最適なマーケティング・アクションの選定を行うことができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について、図を参照しながら説明する。
【００２３】
［全体像］
図１は、本発明の一つの実施形態に係る顧客セグメント推定装置１０の機能構成を示した図である。図示するように、本装置１０は、３つの計算部を有し、それぞれ特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、状態・行動分解部１３と呼ぶ。また、符号２１〜２６で示す部分は、それぞれの計算部の入力、出力となるデータまたはデータを格納する記憶部である。
【００２４】
なお、この図では、記憶部である顧客購買データ２１とマーケティング・アクション・データ２２は、本装置１０内に位置しているが、これらのデータを外部からネットワークを介して入力するようにしてもよい。また、顧客セグメント数２４は、操作員によって入力するか、または外部のシステムから入力するようにしてもよい。本装置１０には、特に図示していないが、キーボードやマウスなどの入力部、ＬＣＤやＣＲＴのような表示部、ネットワーク・インタフェースとして通信部などを備えていてもよい。以下、特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、状態・行動分解部１３について、その概要を、図１を基に、図２〜図８を併用して説明する。
【００２５】
＜特徴ベクトル生成部１１＞
特徴ベクトル生成部１１は、元のデータを本発明における隠れマルコフモデルに適用するために、加工する部分である。特徴ベクトル生成部１１は、顧客購買データ２１とマーケティング・アクション・データ２２とから、一回のトランザクションで発生した売り上げ／利益等の情報と購買間隔時間、そしてそれに関連するマーケティング・アクションを対としたベクトル・データを生成する。この結果、特徴ベクトルの時系列データ２３が生成される。
【００２６】
図２は、利益・売り上げ・メール応答率等の顧客の行動を縦軸に、マーケティング・アクション（企業が行った行動）を横軸に、顧客の行動とマーケティング・アクションを組にしたベクトルの時系列データの概念を示した図である。この例では、１月のサンプル（●で示す）が、２月のサンプル（○で示す）にそれぞれどう変化したかを示している。
【００２７】
＜ＨＭＭパラメータ推定部１２＞
ＨＭＭパラメータ推定部１２は、本発明における購買モデルの分布パラメータを、特徴ベクトルの時系列データから推定する部分である。その際に、外部から要求する顧客セグメント数２４を指定する。あるいは、指定した値を初期値として顧客セグメント数自体の最適化もできる。分布パラメータ２５は、状態・行動対と呼ばれる離散の複合状態に関して、（ｉ）それらの複合状態ごとに異なる（売り上げ／利益，購買間隔時間，マーケティング・アクション）に関する確率分布、（ｉｉ）それらの複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートを含んでいる。
【００２８】
図３は、このような特徴ベクトルの時間変化を離散の複合状態間の遷移で表現した図である。複合状態は、顧客の行動とマーケティング・アクションとの組をいくつかの種類に分類したもので、ここではｚ１、ｚ２，ｚ３であらわされる。複合状態について詳しくは後述する。なお、ここまでの処理では、「企業の行動がどう変化したか」という無意味な情報が含まれている。
【００２９】
＜状態・行動分解部１３＞
状態・行動分解部１３は、ＨＭＭパラメータ推定部１２で得られた複合状態ごとの分布パラメータ２５を、顧客本来の特性を意味する顧客セグメントごとのパラメータ（顧客セグメント情報２６）に変換する部分である。状態・行動分解部１３では、入力としてマーケティング・アクションの意思決定間隔２７（例えばキャンペーンを行うならその間隔）を受け付け、顧客セグメントごとの（ｉ）（売り上げ／利益，購買間隔時間）に関する確率分布、（ｉｉ）顧客セグメント間の遷移確率を出力する。更に、（ｉ）および（ｉｉ）のパラメータは、マーケティング・アクションの関数となっている。状態・行動分解部１３に得られたパラメータはＭＤＰに入力可能である。またＭＤＰに入力せず、どの顧客セグメントがどのようなアクションに反応しやすいのかを調べる用途にも使える。
【００３０】
図４〜図８は、状態・行動分解部１３における処理を概念的に説明したものである。図４は、複合状態を各軸方向に分解し、離散の顧客状態とアクション状態に定義することを示した図である。ここでは、複合状態ｚ１、ｚ２、ｚ３が、顧客状態ｓ１，ｓ２，ｓ３とアクション状態ｄ１，ｄ２，ｄ３に分解されることを示している。顧客状態、アクション状態、複合状態については、以下に説明する。
【００３１】
顧客状態ｓは、顧客がいくらくらいのお金を店で使いそうか、何日後くらいに来店しそうか、といった顧客の特性を、数種類に分類したうちの一つである。例えば、顧客の特性として、売り上げと購買頻度の組を与えられたときに、これを４つに分類するとする。この場合、ｓ１＝（売り上げが高く、来店頻度も高い）、ｓ２＝（売り上げが高いが、来店頻度は低い）、ｓ３＝（売り上げが低いが、来店頻度は高い）、ｓ４＝（売り上げが低く、来店頻度も低い）といった四種類に分類することが考えられる。実際には、このような分類は主観ではなく、データに基づいて決定される必要がある。
【００３２】
アクション状態ｄは、マーケティング・アクションとして取れる変数の組を、その効果に基づいて数種類に分類したときの一つである。例えば、マーケティング・アクションの例として価格の設定を考えたときに、その効果に基づいて３つに分類するとする。そのとき、価格がｄ１＝安い、ｄ２＝普通、ｄ３＝高い、のような三種類に分類することが考えられる。アクション状態も主観ではなく、データに基づいて決定される必要がある。
【００３３】
複合状態ｚは、顧客の特性と企業がとるマーケティング・アクションとの組を、数種類に分類したときの一つである。例えば、顧客の特性が購買金額で、マーケティング・アクションが価格だとして顧客の特性と企業の行動との組をあらわす状態（複合状態）としては、ｚ１＝（売り上げが高い顧客に高い価格を提示している）、ｚ２＝（売り上げが高い顧客に安い価格を提示している）、ｚ３＝（売り上げが低い顧客に高い価格を提示している）、ｚ４＝（売り上げが低い顧客に安い価格を提示している）、といった分類例が考えられる。このような分類もデータに基づいて、特にその後の顧客の特性の変化に基づいて決定される必要がある。
【００３４】
図５は、異なる顧客状態とアクション状態の組み合せた任意の複合状態が、既知の各複合状態に所属する割合を計算することによって求められることを示した図である。ここでは例として、異なる顧客状態とアクション状態の組み合わせである（ｓ１，ｄ３）が、各複合状態ｚ１，ｚ２，ｚ３にどれだけの確率で所属するかが統計的処理によって求められている。求められた確率は、ｚ１（ｓ１，ｄ１）に対して３０％，ｚ２（ｓ２、ｄ２）に対して２５％，ｚ３（ｓ３，ｄ３）に対して４５％となっている。
【００３５】
図６は、複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間の遷移確率が計算されることを示した図である。この図では、顧客状態ｓ１にアクション状態ｄ３のアクションを行うと、それぞれどの顧客状態に変化するかの確率を計算する。（ｓ１，ｄ３）と書いてある楕円６０は、顧客状態ｓ１にアクション状態ｄ３のアクションを行うことを意味している。横に長い楕円６１，６２，６３は、顧客状態ｓ１，ｓ２，ｓ３を意味している。顧客状態はアクションの情報を含まないので、横軸には特に分布はなく均一に広がっている。従って、（ｓ１，ｄ３）の中に存在する点が、ｓ１，ｓ２，ｓ３の楕円の中のどの点に変化しそうかを計算することが目的である。
【００３６】
計算には、複合状態間の遷移確率と顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率を用いる。ここで、複合状態間遷移確率は、ＨＭＭパラメータ推定部１２により計算済みである。また、顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率は、全てのｚｍについて図５で示した方法で計算される。例えば、顧客状態ｓ１にアクション状態ｄ３のアクションを行いｓ２に変化する確率は、全ての複合状態ｚｍについて、複合状態ｚｍから複合状態ｚ２が生成される確率と顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率とを掛けた値を足し合わせて計算される。
【００３７】
図７は、複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間から得られる報酬（利益）が計算されることを示した図である。この図では、顧客状態ｓ１にアクション状態ｄ３のアクションを行うと、どれくらいの利益の分布が得られるのかを計算する。各顧客状態から得られる利益の分布の違いはわかっており、それは左側の分布形状に反映されている。従って、それぞれの分布がどれだけの割合で混ざるべきかがわかれば所望の分布が得られる。混合割合は顧客状態ｓ１にアクション状態ｄ３を行うことが複合状態ｚｍに所属する確率として、図５で示した方法で計算される。従ってこの混合割合を用いることで、中央部に示した非対称な形の分布が得られる。
【００３８】
図８は、得られた遷移確率と報酬分布とがＭＤＰパラメータになっていることを示した図である。ここでは、顧客状態ｓ１に対してアクションａ３を行った場合、ｓ２、ｓ３に遷移する確率、ｓ１に留まる確率、および報酬（利益）の分布が求まることになる。
【００３９】
［詳細な説明］
以下、前述した特徴ベクトル生成部１１、ＨＭＭパラメータ推定部１２、および状態・行動分解部１３における、更に具体的な計算方法の詳細を説明する。
【００４０】
［特徴ベクトル生成部１１］
特徴ベクトル生成部１１には顧客購買データとマーケティング・アクション・データとが入力される。顧客購買データは、顧客番号を示すインデクスｃ∈Ｃ（なおＣは顧客の集合）、顧客ｃのｎ回目の購買日時を示すｔｃ，ｎ、日時ｔｃ，ｎに顧客ｃが引き起こした報酬ベクトルｒｃ，ｎを含む。顧客ｃによる購買トランザクションの回数をＮｃとして、１≦ｎ≦Ｎｃとする。ｒｃ，ｎには必要に応じてどのような要素も指定することができる。例えば、その日に買った全商品の売り上げ合計値によるスカラー量でもよいし、商品カテゴリＡの売り上げ合計値と商品カテゴリＢの売り上げ合計値とを並べて２次元のベクトルにしてもよい。売り上げでなく粗利や、プロモーション・プログラムのポイント消費量等でもよい。以降、報酬ベクトルｒｃ，ｎは単に報酬と記述する。
【００４１】
マーケティング・アクション・データは、
（ｉ）そのマーケティング・アクションの対象となった顧客番号ｃ∈Ｃ
（ｉｉ）そのマーケティング・アクションの影響を受けたと考えられる購買日時ｔｃ，ｎ
（ｉｉｉ）上記日時ｔｃ，ｎに行われたマーケティング・アクション・ベクトルａｃ，ｎ
を含む。これらの情報のどれかが欠けている場合には、必要に応じて情報を補間しておく。ａｃ，ｎとしては例えば、その顧客にオファーした商品の割引率や会員プログラムにより顧客に与えたボーナスポイントの数値、およびそれらを組み合せたベクトル値を用いる。また「何もしない」というアクションも、それに対応したアクション・ベクトル値（例：全ての要素が０）を定義することで定義されうる。以降はマーケティング・アクション・ベクトルａｃ，ｎは単にアクションと記述する。
【００４２】
特徴ベクトル生成部１１は、以上の入力データから次の時系列ベクトル時系列データ２３を生成し出力する。
（ｉ）顧客番号ｃ
（ｉｉ）顧客ｃによるｎ回目のトランザクションにおける特徴ベクトルｖｃ，ｎ＝（ｒｃ，ｎ，τｃ，ｎ，ａｃ，ｎ）T
【００４３】
（ ）Ｔは、転置ベクトルをあらわす。また、τｃ，ｎ＝ｔｃ，ｎ＋１−ｔｃ，ｎであり、τｃ，ｎはｎ回目の購買間隔時間を意味する。ｒｃ，ｎおよびａｃ，ｎについては１≦ｎ≦Ｎｃであり、τｃ，ｎについては１≦ｎ≦Ｎｃ−１である。つまり特徴ベクトルとは（報酬，購買間隔時間，アクション）を組にしたベクトルのことである。これ以降｛ｒｃ，１，ｒｃ，２，・・・，ｒｃ，Ｎｃ｝を、
【数１】
と書く。同様にして、
【数２】
を定義する。
【００４４】
［ＨＭＭパラメータ推定部１２］
＜モデルと概要＞
ＨＭＭパラメータ推定部１２は入力データ
【数３】
に対して、顧客セグメント数Ｍを指定した上でモデルパラメータＱとΘを推定し、出力する。
【００４５】
パラメータＱ＝｛ｑｉｊ；１≦ｉ，ｊ≦Ｍ｝は、生成行列と呼ばれる連続時間マルコフ過程のパラメータであり、Ｍ×Ｍ行列である。このパラメータは複合状態と呼ばれる潜在状態間の遷移の度合いを示す。複合状態とは、潜在的な顧客セグメントと潜在的なマーケティング・アクションのセグメントを対にした状態のことである。パラメータΘ＝｛Θｍ；１≦ｍ≦Ｍ｝は各複合状態に対して割り当てられる、特徴ベクトルの分布を示すパラメータである。Θｍは複合状態ｍが持つ分布パラメータを意味する。このパラメータは、特徴ベクトルの分布に何を用いるかによって異なる。本発明は特徴ベクトルの分布を限定しないが、例として特徴ベクトルが正規分布の場合の例を後述する。
【００４６】
ＨＭＭパラメータ推定部１２は、学習データの対数尤度を次の式（１）（２）であらわすモデルパラメータＱ，Θを求める。このパラメータの導出法は複数あり、本特許は個々のパラメータの導出法に制約されない。対数尤度を最大化するようなパラメータを求める場合は最尤推定を用いることになり、実際にはＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）を用いる。この例についてのみ後述する。パラメータの事後分布における期待値を求めるならばベイズ推定となり、この場合は変分ベイズ法を用いる。またＭＣＭＣ（モンテカルロ・マルコフ連鎖）と呼ばれるサンプリング手法によってもＨＭＭのパラメータは推定できる。
【００４７】
【数４】
【００４８】
式（１）（２）において、ｚｃ，ｎは顧客ｃのｎ番目の特徴ベクトルｖｃ，ｎを生成した複合状態であり、１≦ｚｃ，ｎ≦Ｍの範囲の値をとる。また、
【数５】
【００４９】
を意味する。式（１）は存在しうる全ての潜在状態時系列に関する特徴ベクトルの出力確率の期待値を現している。Ｐ（ｚｃ，ｎ＋１｜ｚｃ，ｎ，τｃ，ｎ，Ｑ）は生成行列Ｑが与えられた状況下で、顧客ｃが時刻ｔｃ，ｎでの購買後、τｃ，ｎ時間たった後に潜在状態ｚｃ，ｎからｚｃ，ｎ＋１に遷移する確率を表している。Ｆ（・｜Θｍ）は潜在状態ｍにおいて指定された特徴ベクトルが出力される確率密度関数である。
【００５０】
Ｐ（ｚｃ，１｜ｔｃ，１）は顧客ｃの時刻ｔｃ，１における初期状態確率である。顧客の購買回数が十分多ければ初期状態確率の影響はほぼ無視される。簡単のため、初期状態は全ての顧客ｃ∈Ｃに対して最初の購買日時ｔｃ，１の際には同一であるとする。
【００５１】
＜アルゴリズム＞
ここではＨＭＭパラメータの実際の推定方法の一例として、最尤推定を基にしたＥＭアルゴリズムを示す。この推定方法はあくまで本発明適用の一例である。枠組最尤推定を用いる場合には、対数尤度を式（３）のように変形する。
【００５２】
【数６】
【００５３】
αｃ，ｎ＋１（ｊ）は前向き確率と呼び、特徴ベクトルｖｃ，１，ｖｃ，２，・・・，ｖｃ，ｎが与えられた条件のもとで顧客ｃが時刻ｔｃ，ｎ＋１に潜在状態ｊにいる確率Ｐ（ｊ｜ｖｃ，１，・・・，ｖｃ，ｎ）をあらわす。
【数７】
を満たす。βｃ，ｎ（ｉ）は後ろ向き確率と呼び、潜在状態ｉから特徴ベクトル
【数８】
が生成される確率
【数９】
をあらわす。αｃ，ｎ＋１（ｊ），βｃ，ｎ（ｉ）は式（５）（７）を用いて再帰的に計算することができる。
【００５４】
ＥＭアルゴリズムを用いるために、Ｊｅｎｓｅｎの不等式を用いて式（３）の下限をとる。このとき、新たに潜在変数
【数１０】
が導入されるが、これは区間［ｔｃ，ｎ，ｔｃ，ｎ＋１］において潜在状態ｉから潜在状態ｊへの遷移確率が起きた確率をあらわす。上記潜在変数を導入した上で推定アルゴリズムは以下のように記述される。
【００５５】
＜Ｅ−ｓｔｅｐ：＞
【００５６】
【数１１】
【００５７】
＜Ｍ−ｓｔｅｐ：＞
【数１２】
【００５８】
１．パラメータＱ，Θまたは潜在変数
【数１３】
の適当な初期値を設定する。
２．上記のＥ−ｓｔｅｐとＭ−ｓｔｅｐをパラメータが収束するまで繰り返す。
＜実施例＞
【００５９】
実際には、上述の推定アルゴリズムは、特徴ベクトルの分布や潜在状態間の遷移確率のモデルを何にするか決めないと実現されない。しかしこの分布の選定は使用者の裁量で自由に決めることができる。そこで特徴ベクトルに正規分布を用いる場合の一例だけを示す。特徴ベクトルに正規分布を用いる場合は、購買間隔時間が正の実数にしかならないことを考慮して、購買間隔時間は対数正規分布に、他の特徴ベクトル量は正規分布に従うように潜在状態を決定する。つまり、
【００６０】
【数１４】
とし、パラメータΘｍは実際にはΘｍ＝｛μｍ；Σｍ｝としてモデル化する。更に、
【数１５】
【００６１】
と表記する。また、潜在状態の遷移確率は連続時間のマルコフ過程に対応したものでなければいけない。しかし計算時間とあるべき顧客セグメントの性質を考慮して式（１７）のような近似をする。これは、購買間隔時間τにくらべてそれほど急速に潜在状態が変化しないという仮定のもとに成り立つ式である。隣接する購買データ間で急速に顧客状態が変化するような顧客セグメントが学習されると実用上役にたたないため、このような仮定を設ける。
【００６２】
【数１６】
ただし、Ｑ＝｛ｑｉｊ；１≦ｉ，ｊ≦Ｍ｝に対して、
【００６３】
【数１７】
【００６４】
というパラメータ表記を行っている。以上の仮定を用いると、上述のＭ−ｓｔｅｐにおける式（１４）は式（１９）（２０）に対応し、式（１５）は式（２１）（２２）に対応する。
【００６５】
【数１８】
【００６６】
式（２１）は個別のλｉごとに１次元のＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いて解く必要があるが、実用上は
【数１９】
を利用して式（２３）により計算すればよい。
【００６７】
【数２０】
【００６８】
式（２３）を用いる場合はパラメータの局所解付近で尤度が単調増加せず振動するので、振動が始まったら繰り返しアルゴリズムを停止するか、振動が始まった後にＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いる。
【００６９】
［状態・行動分解部１３］
状態・行動分解部１３は、ＨＭＭパラメータ推定部１２が出力したパラメータＱ，Θを変形し、意思決定の間隔を示す期間を入力し、Ｍ種類の離散顧客状態とＭ種類の離散アクション状態で規定される離散時間マルコフ決定過程のパラメータを出力する。顧客状態（＝報酬，購買間隔時間）もアクション状態も本質的には連続値であるが、それらのパラメータを有限離散個の状態で規定されるパラメータの線形結合であらわすことで、現実にＭＤＰで解けるようにする。出力されるパラメータは次の通りである。
【００７０】
・顧客状態ｓｉから報酬ｒ・購買間隔時間τが生成される確率分布Ｐ（ｒ，τ｜ｓｉ）のパラメータ
・アクション状態ｄｊからアクション・ベクトルａが生成される確率分布Ｐ（ａ｜ｄｊ）のパラメータ
・顧客状態ｓｉとアクション状態ｄｊの組（ｓｉ，ｄｊ）が複合状態ｚｍに所属する確率λｍ（ｉ，ｊ）
・顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）
・顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときに報酬ｒ・購買間隔時間τが観測される確率分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）のパラメータ
ただし、Ｐτ（ｓｋ｜ｓｉ，ｄｊ）におけるτはキャンペーンの実施間隔を考慮し（つまりＭＤＰで最適化する時間間隔を考慮し）、手動で与えるものとする。
【００７１】
状態・行動分解部１３のポイントは、ｉ番目の顧客状態ｓｉおよびｊ番目の顧客状態ｄｊの組み合せが、ＨＭＭパラメータ推定部１２で学習された複合状態ｚｍにどの程度の割合で所属するかを計算する点である。つまり上記λｍ（ｉ，ｊ）を計算する点である。本発明においては各状態からは報酬、購買間隔時間、アクション・ベクトルのいずれも確率的にしか決まらないので、ｉ番目の顧客状態ｓｉにいた場合でも全ての複合状態ｚｍに対して確率的に所属している。同様にｊ番目のアクション状態ｄｊにいた場合でも全ての複合状態ｚｍに対して確率的に所属している。
【００７２】
まず各顧客状態とアクション状態の定義を与える。顧客状態からは報酬と購買間隔時間が生成され、アクション状態からはアクション・ベクトルが生成される。従って式（２４）（２５）を顧客状態ｓｉ，アクション状態ｄｊの定義とする。式（２４）（２５）のように分解することで、報酬とアクション・ベクトルとの相関は失われることに注意する。
【００７３】
【数２１】
【００７４】
つぎに、式（２４）（２５）で定義された（ｓｉ，ｄｊ）がそれぞれのｉ，ｊに関して各ｚｍにどれだけの割合で所属するのかを決定する。これは特徴ベクトルの分布Ｐ（ｖ｜ｓｉ，ｄｊ）＝Ｐ（ｒ，τ｜ｓｉ）Ｐ（ａ｜ｄｊ）と既存の複合状態による特徴ベクトルの分布Ｐ（ｖ｜ｚｍ）からそれぞれどれだけの距離はなれているか計算し、その距離の逆数の比をとることで解決する。この距離尺度には場合に応じて任意のものを使うことにするが、実施例としてＰ（ｖ｜ｓｉ，ｄｊ）＝Ｐ（ｒ，τ｜ｓｉ）Ｐ（ａ｜ｄｊ）の平均値とＰ（ｖ｜ｚｍ）とのマハラノビス距離を採用する。ｄ（・，・）を分布間距離尺度、λｍ（ｉ，ｊ）を顧客状態ｓｉおよびアクション状態ｄｊが与えられたときに複合状態ｚｍに所属する確率として、
【００７５】
【数２２】
【００７６】
式（２８）からＭＤＰのパラメータを求める。まず、顧客状態ｓｉにアクションｄｊを行うとτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）を求める手順を示す。顧客状態ｓｉ・アクション状態ｄｊが所属しうる全ての複合状態についての遷移を考慮し、かつ遷移後の複合状態から顧客状態ｓｋが得られる確率を考えるので
【００７７】
【数２３】
【００７８】
となる。式（２４）で顧客状態ｓｋは複合状態ｚｋからアクションに関する情報を全て積分して得られたものであることに注意するとＰ（ｓｋ｜ｚ２）はｋ＝ｚ２の場合のみ１で、他は０として実質十分である（更に厳密にやる場合はベイズの定理を用いてもよい）。よって、
【００７９】
【数２４】
【００８０】
つづいて、顧客状態ｓｉにアクション状態ｄｊのアクションを行ったときに得られる報酬・購買間隔時間の分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）を求める手順を示す。そのためにはまず、複合状態とアクション・ベクトルａが与えられたときの（報酬，購買時間）の分布が必要であり、それは式（３１）で与えられる。
【００８１】
【数２５】
【００８２】
Ｐ（ｒ，τ｜ｓｉ，ｄｊ）の求め方には二通りの可能性が考えられ、λｍ（ｉ，ｊ）の割合を使った混合分布になる場合と、パラメータをλｍ（ｉ，ｊ）の割合で混合した分布を作る場合とがある。前者は、
【００８３】
【数２６】
【００８４】
となり、後者はパラメータ領域での混合を行うため具体例で後述する。以上の式は一見すると多くの積分計算を含んでいるため計算に時間が掛かるように思われるが、実際には特徴ベクトルの分布に解析的に容易なもの（例：多次元正規分布）を選んだ場合には解析的に解けてしまう。実際に必要なのは数回の行列計算のみである。以上より、状態・行動分解部１３の処理は以下に示した手順にまとめられる。
【００８５】
ステップ１：ＨＭＭパラメータ推定部１２で得られたΘによるＰ（ｒ，τ，ａ｜ｚｍ）＝ｆ（ｒ，τ，ａ｜Θｍ）と式（２４）（２５）を用いて、Ｐ（ｒ，τ｜ｓｉ），Ｐ（ａ｜ｄｊ）の分布パラメータＲｉ，Ａｊを計算する。これをＭ×Ｍ通りの全ての（ｉ，ｊ）について行う。
【００８６】
ステップ２：ステップ１で得られたパラメータＲｉ，Ａｊと式（２６）（２７）（２８）を用いて顧客状態ｓｉおよびアクション状態ｄｊが与えられたときに複合状態ｚｍに所属する確率λｍ（ｉ，ｊ）を計算する。これをＭ×Ｍ×Ｍ通りの全ての（ｉ，ｊ，ｍ）について行う。
【００８７】
ステップ３：ＭＤＰに用いたいアクションの実施間隔τを指定し、ＨＭＭパラメータ推定部１２で得られたＱ＝｛ｑｉｊ｝とステップ１で得られたパラメータＲｉ，Ａｊを利用して式（３０）より顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときτ時間後に顧客状態ｓｋに遷移する確率Ｐτ（ｓｋ｜ｓｉ，ｄｊ）を計算する。これをＭ×Ｍ×Ｍ通りの全ての（ｉ，ｊ，ｋ）について行う。
【００８８】
ステップ４：ステップ１で得られたパラメータとステップ２で得られたλｍ（ｉ，ｊ）を式（３１）（３２）に代入し顧客状態ｓｉの顧客にアクション状態ｄｊに所属するアクションを行ったときに報酬ｒ，購買間隔時間τが観測される確率分布Ｐ（ｒ，τ｜ｓｉ，ｄｊ）のパラメータΩｉｊを計算する。これをＭ×Ｍ通りの全ての（ｉ，ｊ）について行う。
【００８９】
ステップ５：ステップ３で得られたＰτ（ｓｋ｜ｓｉ，ｄｊ）とステップ４で得られたパラメータΩｉｊがＭＤＰに適用可能なパラメータである。またステップ１で得られたパラメータＲｉ，Ａｊとステップ２で得られたλｍ（ｉ，ｊ）は実際の購買データから顧客状態とアクション状態への割り当てをするために必要である。よってパラメータＲｉ，Ａｊ，λｍ（ｉ，ｊ），Ｐτ（ｓｋ｜ｓｉ，ｄｊ），Ωｉｊを保存する。
【００９０】
＜実施例＞
状態・行動分解部１３の実装例として、（ｒ，ｌｏｇτ，ａ）Ｔが正規分布に従うように設定した場合の例を示す。この場合は、上述のステップにおいて必要な種々の積分計算が解析的に解ける。
【数２７】
においてμｍ，Σｍの（ｒ，ｌｏｇτ）に関する成分（上添字（ｓ））とａに関する成分（上添字（ｄ））を分けて次のように表記する。なお、両者の相関に関する部分は（ｓｄ）という上添字を用いる。
【００９１】
【数２８】
【００９２】
まず、Ｐ（ｒ，τ｜ｓｉ），Ｐ（ａ｜ｄｊ）については
【数２９】
で与えられる。
【００９３】
λｍ（ｉ，ｊ）を決めるために、マハラノビス距離を計算すると、
【数３０】
ここで、
【数３１】
【００９４】
よってλｍ（ｉ，ｊ）は次の式（４１）で与えられる。
【数３２】
ただしΣｍλｍ（ｉ，ｊ）＝１である。
【００９５】
最後に、式（３０）はそのままであり式（３１）（３２）については、
【数３３】
【００９６】
と整理できる。Ｐ（ｒ，τ｜ｓｉ，ｄｊ）は二通りの求め方があることを説明したが、混合分布を用いる場合は混合正規分布となり、
【数３４】
ここで、
【数３５】
である。パラメータ領域で混合する場合は、
【数３６】
となるので単一の正規分布で与えられる。
【００９７】
［実施例］
本発明の実施例として、本発明を用いたソフトウェアにおけるＧＵＩの一例を示す。図９は、特徴ベクトル時系列データ２３の生成例を示した図である。タイムスタンプのついた購買記録とそれとは別のマーケティング・アクション記録とから特徴ベクトルのデータを生成する。上段左の表９０が購買記録、上段右の表９１がマーケティング・アクション記録、下段の表９２が生成された特徴ベクトル時系列データ２３になる。表９０には、ＣｕｓｔｏｍｅｒＩＤ＝１の顧客が、購買した商品群ごとにその売り上げ金額（ドル）が時系列に格納されている。表９１には、企業がＣｕｓｔｏｍｅｒＩＤ＝１〜５に対して行ったマーケティング・アクションが同じく時系列に格納されている。マーケティング・アクションとしては、ここではディスカウント率を設定する、ポイントを与える、オプションを与える、といったことが例示されている。時刻のタイムスタンプが購買間隔時間（Ｉｎｔｅｒ＿ｐｕｒｃｈａｓｅ）に変換されている他、マーケティング・アクション・ベクトルが該当する日付（アクション後で一番近い日付）に割り当てられる。何もアクションをしなかったところは、ゼロベクトルで埋められている。実際には購買データは膨大なので、このようなデータは画面に表示される可能性は低く、処理は自動化して行う。
【００９８】
図１０は、状態・行動分解部１３により得られたパラメータを表示する画面である。ここでは‘Ｆｒｅｑｕｅｎｔ Ｂｕｙｅｒ’という名称の顧客状態（ここでは顧客セグメントと呼ぶ）の特性について表示している。‘Ｆｒｅｑｕｅｎｔ Ｂｕｙｅｒ’は後から便宜上つけた名前であり、実際にはｓ１からｓＭまでの顧客セグメントのいずれかを選択しているに過ぎない。画面左側の矩形領域１０１には、指定された顧客セグメントの持つ様々な情報が表示されており、それらは保持しているパラメータによって計算できる確率分布の情報として表示されている。この実施例において表示されている情報は、購買間隔時間の分布と報酬の分布とセグメント間遷移確率の情報である。図１１には、図１０の画面に表示される追加情報を示している。この情報は、分布特性から理解できるこの顧客状態の傾向を文章（Ｄｅｓｃｒｉｐｔｉｏｎ）により説明している。この文章は適切なルールを決めれば自動生成可能である。
【００９９】
画面右側の‘Ｓｐｅｃｉｆｙ ａｃｔｉｏｎ’と書かれた矩形領域１０２は、アクション・ベクトルの入力、またはアクション状態を指定するユーザ入力領域となっており、該当する入力を与えて‘Ｒｅｃａｌｃｕｌａｔｅ ｐａｒａｍｅｔｅｒｓ’ボタン１０３を押すと左側と下側の情報が更新される。これは、得られた顧客状態がマーケティング・アクションに応じて報酬、購買間隔時間、および顧客セグメント間遷移確率が変化するためである。
【０１００】
以上の情報をもって、マーケティング担当者が市場を理解する一助とできる。特に、右側の矩形領域１０２内のアクションの値を変えることで画面中央部の顧客セグメント間遷移確率がどう変化するかいくつか試してみることができる。このことにより、より収益性の高い顧客を育てるにはどうすべきなのかといったことが定性的に理解できる。もちろん最終的な数理的最適化においては、保持しているパラメータを用いてＭＤＰの最大化問題を解くことでより精密な推奨すべきマーケティング・アクションが計算される。
【０１０１】
［ハードウェア構成］
図１２は、本発明の一実施形態に係る顧客セグメント推定装置１０のハードウェア構成を示す図である。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、専用機や組み込み型装置の場合、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【０１０２】
顧客セグメント推定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、パラレルポート１０８０、ＵＳＢポート１０９０、グラフィック・コントローラ１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、ならびにキーボードおよびマウス・アダプタ等１１００の入力手段を備える。Ｉ／Ｏコントローラ１０７０には、フレキシブル・ディスク（ＦＤ）ドライブ１０７２、ハード・ディスク１０７４、光ディスク・ドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。グラフィック・コントローラ１０２０には、表示装置１０２２が接続されている。また、オプションとして、音声プロセッサ１０３０には、増幅回路１０３２およびスピーカ１０３４が接続される。
【０１０３】
ＢＩＯＳ１０６０は、顧客セグメント推定装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、顧客セグメント推定装置１０のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ１０７２は、フレキシブル・ディスク１０７１からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供する。
【０１０４】
光ディスク・ドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスク・ドライブ１０７６は光ディスク１０７７からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供することもできる。
【０１０５】
顧客セグメント推定装置１０に提供されるコンピュータ・プログラムは、フレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、顧客セグメント推定装置１０にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【０１０６】
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハード・ディスクまたは光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを顧客セグメント推定装置１０に提供してもよい。
【０１０７】
以上の例は、顧客セグメント推定装置１０について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。従って、本発明において一つの実施形態として説明した情報処理装置は、方法およびそのコンピュータ・プログラムによっても実現可能である。
【０１０８】
本発明の装置１０は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合せとして実現可能である。ハードウェアとソフトウェアの組み合せによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明に係る処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。
【０１０９】
以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態または実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一つの実施形態に係る顧客セグメント推定装置１０の機能構成を示した図である。
【図２】特徴ベクトル生成部１１における顧客行動とマーケティング・アクションを組にしたベクトルの時系列データの概念を示した図である。
【図３】ＨＭＭパラメータ推定部１２における特徴ベクトルの時間変化を離散の複合状態間の遷移で表現した図である。
【図４】状態・行動分解部１３における複合状態を各軸方向に分解し、離散の顧客状態とアクション状態に定義することを示した図である。
【図５】状態・行動分解部１３における異なる顧客状態とアクション状態の組み合せた複合状態が、切の各複合状態に所属する割合を計算することを示した図である。
【図６】状態・行動分解部１３における複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間の遷移確率が計算されることを示した図である。
【図７】状態・行動分解部１３における複合状態への所属確率を用いて、任意のアクションのもとで任意の顧客状態間から得られる報酬（利益）が計算されることを示した図である。
【図８】状態・行動分解部１３における得られた遷移確率と報酬分布とがＭＤＰパラメータになっていることを示した図である。
【図９】実施例における特徴ベクトル時系列データ２３の生成例を示した図である。
【図１０】実施例における状態・行動分解部１３により得られたパラメータを表示する画面である。
【図１１】図１０の画面に表示させる追加情報である。
【図１２】本発明の一実施形態に係る顧客セグメント推定装置１０のハードウェア構成を示す図である。
【符号の説明】
【０１１１】
１０ 顧客セグメント推定装置
１１ 特徴ベクトル生成部
１２ ＨＭＭパラメータ推定部
１３ 状態・行動分解部
２１ 顧客購買データ
２２ マーケティング・アクション・データ
２３ 特徴ベクトル時系列データ
２４ 顧客セグメント数
２５ 複合状態ごとの分布パラメータ
２６ 顧客セグメント情報
２７ マーケティング・アクションの意思決定間隔
９０ 購買記録
９１ マーケティング・アクション記録
９２ 特徴ベクトル時系列データ
【特許請求の範囲】
【請求項１】
マーケティング・アクションに反応する顧客セグメントを推定するための装置であって、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付ける入力部と、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する特徴ベクトル生成部と、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するＨＭＭパラメータ推定部と、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換する状態・行動分解部と、
を備える装置。
【請求項２】
前記顧客購買データは、顧客番号、該顧客の購買日時、および該購買日時に該顧客が引き起こしたトランザクション・ベクトルを含む、請求項１に記載の装置。
【請求項３】
前記特徴ベクトルの時系列データは、購買トランザクションで発生した売り上げと利益を含んだ情報、および購買間隔時間と関連するマーケティング・アクションとを対にしたベクトル・データである、請求項１に記載の装置。
【請求項４】
前記マーケティング・アクション・データは、対象となった顧客番号、該マーケティング・アクション・データの影響を受けた推定される購買日時、および該購買日時に行われたマーケティング・アクション・ベクトルを含む、請求項１に記載の装置。
【請求項５】
前記分布パラメータは、前記複合状態ごとに異なる売り上げ／利益、購買間隔時間、およびマーケティング・アクションに関する確率分布と、記複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートとを含む、請求項１に記載の装置。
【請求項６】
前記顧客セグメントごとのパラメータ情報は、顧客状態間の遷移確率と短期的報酬とを含む、請求項１に記載の装置。
【請求項７】
前記状態・行動分解部は、入力としてマーケティング・アクションの意思決定の間隔を受け付ける請求項１に記載の方法。
【請求項８】
マーケティング・アクションに反応する顧客セグメントを推定するための方法であって、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付けるステップと、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成するステップと、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するステップと、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換するステップと、
を含む方法。
【請求項９】
マーケティング・アクションに反応する顧客セグメントを推定するためのコンピュータ・プログラムであって、コンピュータに、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付けるステップと、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成するステップと、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するステップと、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換するステップと、
を実行させるコンピュータ・プログラム。
【請求項１】
マーケティング・アクションに反応する顧客セグメントを推定するための装置であって、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付ける入力部と、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成する特徴ベクトル生成部と、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するＨＭＭパラメータ推定部と、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換する状態・行動分解部と、
を備える装置。
【請求項２】
前記顧客購買データは、顧客番号、該顧客の購買日時、および該購買日時に該顧客が引き起こしたトランザクション・ベクトルを含む、請求項１に記載の装置。
【請求項３】
前記特徴ベクトルの時系列データは、購買トランザクションで発生した売り上げと利益を含んだ情報、および購買間隔時間と関連するマーケティング・アクションとを対にしたベクトル・データである、請求項１に記載の装置。
【請求項４】
前記マーケティング・アクション・データは、対象となった顧客番号、該マーケティング・アクション・データの影響を受けた推定される購買日時、および該購買日時に行われたマーケティング・アクション・ベクトルを含む、請求項１に記載の装置。
【請求項５】
前記分布パラメータは、前記複合状態ごとに異なる売り上げ／利益、購買間隔時間、およびマーケティング・アクションに関する確率分布と、記複合状態間の遷移をあらわす連続時間マルコフ過程の遷移レートとを含む、請求項１に記載の装置。
【請求項６】
前記顧客セグメントごとのパラメータ情報は、顧客状態間の遷移確率と短期的報酬とを含む、請求項１に記載の装置。
【請求項７】
前記状態・行動分解部は、入力としてマーケティング・アクションの意思決定の間隔を受け付ける請求項１に記載の方法。
【請求項８】
マーケティング・アクションに反応する顧客セグメントを推定するための方法であって、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付けるステップと、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成するステップと、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するステップと、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換するステップと、
を含む方法。
【請求項９】
マーケティング・アクションに反応する顧客セグメントを推定するためのコンピュータ・プログラムであって、コンピュータに、
複数の顧客の購買記録を蓄積した顧客購買データと前記顧客それぞれに対するマーケティング・アクション・データとを受け付けるステップと、
前記顧客購買データと前記マーケティング・アクション・データとを対にした特徴ベクトルの時系列データを生成するステップと、
前記特徴ベクトルの時系列データと前記顧客セグメントの数とから、顧客の購買特性を分類した顧客状態と前記マーケティング・アクションの効果に基づいた分類であるアクション状態とを対にした複合状態ごとに、隠れマルコフモデルの分布パラメータを出力するステップと、
前記分布パラメータを顧客セグメントごとのパラメータ情報に変換するステップと、
を実行させるコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−１５２３２１（Ｐ２００８−１５２３２１Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３３６６２１（Ｐ２００６−３３６６２１）
【出願日】平成１８年１２月１４日（２００６．１２．１４）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１０６００２
【弁理士】
【氏名又は名称】正林 真之
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月１４日（２００６．１２．１４）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１０６００２
【弁理士】
【氏名又は名称】正林 真之
[ Back to top ]