データ圧縮装置，データ圧縮方法，およびデータ圧縮プログラム
【課題】 情報精度を低下させることなく圧縮効率が高いデータ圧縮装置を提供することを目的とする。
【解決手段】 データ圧縮装置１は，項目の情報が一致する場合の一致の重みと情報精度の保持レベルを示す同一視判定テーブル，各項目の情報の分布と保持レベルから決定する元本保持レベルを示す情報精度決定テーブルおよびデータ間での一致の重みの分布と出現数をもとグループ化の条件を示す同一視判定テーブルを記憶する記憶部１０と，イベントデータ２のデータ群の各々に対し，設定情報をもとに同一視できるデータ同士をグループ化するグループ分割部１１と，各グループで，項目の情報の分布を求め，設定情報をもとに，各項目の元本保持レベルを決定する情報精度決定部１３と，元本保持レベルに応じてデータの情報を書き換えるイベント変換部１５と，変換されたデータを含むデータ群を圧縮するデータ圧縮部１７とを備える。
【解決手段】 データ圧縮装置１は，項目の情報が一致する場合の一致の重みと情報精度の保持レベルを示す同一視判定テーブル，各項目の情報の分布と保持レベルから決定する元本保持レベルを示す情報精度決定テーブルおよびデータ間での一致の重みの分布と出現数をもとグループ化の条件を示す同一視判定テーブルを記憶する記憶部１０と，イベントデータ２のデータ群の各々に対し，設定情報をもとに同一視できるデータ同士をグループ化するグループ分割部１１と，各グループで，項目の情報の分布を求め，設定情報をもとに，各項目の元本保持レベルを決定する情報精度決定部１３と，元本保持レベルに応じてデータの情報を書き換えるイベント変換部１５と，変換されたデータを含むデータ群を圧縮するデータ圧縮部１７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は， データ圧縮技術に関し，特にデータ項目を有するデータのデータ圧縮技術に関する。
【背景技術】
【０００２】
近年では，センサデータ，ログデータなどのデータが大量に生成されるようになり，大量のデータから，何らかの知見を得ようとする動きがある。そのため，大量のデータを保存したり，転送させたりする必要があり，データの保存，転送のコストの低減をはかるため，データ圧縮処理を利用することができる。
【０００３】
データ圧縮処理として，辞書式圧縮処理とエントロピー圧縮処理とを組み合わせた処理が良く知られている。辞書式圧縮処理は，データ中の文字列を辞書に登録し，既出の文字列が再度出現した場合に，その文字列を，辞書の登録箇所を示す符号に置き換える処理である。エントロピー圧縮処理は，符号の出現頻度をもとに，割り当てる符号の長さを決定して，データを圧縮する処理である。
【０００４】
上記のようなデータ圧縮処理を用いても，圧縮対象のデータ量によっては，圧縮済みデータのデータ量が大きい場合もあり，圧縮効率の改善が検討されてきた。
【０００５】
従来手法として，圧縮対象のデータ（元データ）の情報精度を低下させることによってデータ圧縮率を改善することが行われていた。一例として，元データが，「時間：分：秒（例えば，１０：３６：２４）」で示す時間データを含む場合に，「分：秒」の値を削除して，「時間（１０）」のみを示す時間データに変換する前処理を行い，データ圧縮の圧縮率を高めていた。また別の例として，元データに含まれる数値（例えば，０．４７９２４９２７８９７）の少数の有効数字桁数を少なくした数値（０．４７９）に変換する前処理を行っていた。
【０００６】
また，解析処理に応じて，必要なフィールドデータのみを抽出，圧縮して送信することにより，転送するデータを小容量にする処理が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１９９３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来，データ圧縮の効率を高めるためには情報精度を低下させなければならなかった。元データに対して，特定のデータ項目の情報精度を低下させる前処理した場合に，そのデータ項目の情報精度が一律に低下してしまい，データ利用の際にそのデータ項目の利用価値が低下してしまうという問題があった。
【０００９】
本発明の目的は，情報精度を低下させずにデータ圧縮率を高くするデータ圧縮技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一形態として開示されるデータ圧縮装置は，１）複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，２）項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部と，３）処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化するグループ分割部と，４）前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する情報精度決定部と，５）前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換するイベント変換部と，６）前記変換されたデータを含む前記データ群に対してデータ圧縮を行うデータ圧縮部とを備える。
【００１１】
また，本発明の別の形態として開示されるデータ圧縮プログラムは，コンピュータに，前記装置で実現されるような処理を実行させるためのものである。
【００１２】
また，本発明の別の形態として開示されるデータ圧縮方法は，コンピュータが，前記装置で実現されるような処理ステップを実行するものである。
【発明の効果】
【００１３】
上記したデータ圧縮装置によれば，圧縮対象のデータ群のデータを項目の情報の一致の分布によってグループ分けし，設定された情報精度に応じて情報を書き換えたデータが圧縮されるため，情報精度を維持しつつデータ圧縮の効率を改善することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一形態として開示するデータ圧縮装置の実施例における構成例を示す図である。
【図２】データ圧縮装置が取得するイベントデータ群の例を示す図である。
【図３】設定情報の例を示す図である。
【図４】同一視判定テーブルの例を示す図である。
【図５】情報精度決定テーブルの例を示す図である。
【図６】変換規則の例を示す図である。
【図７】イベントデータのグループ分割の例を示す図である。
【図８】イベントデータの情報の書き換えの例を示す図である。
【図９】イベントデータの情報の書き換えの例を示す図である。
【図１０】情報の書き換え処理がされたイベントデータ群の例を示す図である。
【図１１】辞書式圧縮方法によりイベントデータ群を圧縮した場合のデータイメージを示す図である。
【図１２】データ圧縮装置の処理フロー例を示す図である。
【図１３】データ圧縮装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１５】
図１は，本発明の一形態として開示するデータ圧縮装置の実施例における構成例を示す図である。
【００１６】
図１に示すデータ圧縮装置１は，複数の項目に対応する情報を含むデータ群（イベントデータ群）に対して圧縮処理を行って圧縮データ３を出力する。
【００１７】
データ圧縮装置１で処理対象となるデータ群は，ＰＯＳシステム（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ ｓｙｓｔｅｍ）においてイベントごとに生成されるようなイベントデータ２の集合（イベントデータ群）である。
【００１８】
データ圧縮装置１は，記憶部１０，グループ分割部１１，情報精度決定部１３，イベント変換部１５，およびデータ圧縮部１７を備える。また，データ圧縮装置１は，設定部１９を備えてもよい。
【００１９】
記憶部１０は，同一視判定テーブル１０１，情報精度決定テーブル１０３，変換規則１０５，および設定情報１０７を記憶する。
【００２０】
同一視判定テーブル１０１は，複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定されたデータテーブルである。
【００２１】
情報精度決定テーブル１０３は，項目ごとの情報のユニーク数にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報の情報精度を示す元本保持レベルとの対応関係が定義されたデータテーブルである。
【００２２】
変換規則１０５は，元本保持レベルに対応して情報を変換する変換規則１０５が設定された情報である。
【００２３】
設定情報１０７は，イベントデータ２の各項目に対する一致の重みと保持レベルとが設定された情報である。
【００２４】
グループ分割部１１は，設定情報１０７をもとに，処理対象のイベントデータ群の各イベントデータ２について，他のイベントデータ２に対する一致の重みの分布を求め，同一視判定テーブル１０１の条件を満たすデータ同士を１グループ（イベント集合）にまとめる。
【００２５】
情報精度決定部１３は，グループ分割部１１によってまとめられたグループ各々において，グループ内のイベントデータ２の項目各々に出現する情報の分布を求め，情報精度決定テーブル１０３をもとに，情報の分布と設定情報１０７の保持レベルから，各項目について，項目の情報の変換の際に保持される情報精度を示す元本保持レベルを決定する。
【００２６】
情報の分布は，例えば，情報のユニーク数で特定する。
【００２７】
イベント変換部１５は，変換規則１０５に従って，グループごとに，グループ内の各イベントデータの項目の情報を，元本保持レベルにもとづいて変換する。イベント変換部１５は，情報を変換したイベントデータ２のグループ（イベント集合）を，変換イベント群に追加し，さらに，入力されたイベントデータ群のうちイベント集合にまとめられずに残っていたイベントデータ２を変換イベント群に追加する。
【００２８】
データ圧縮部１７は，変換イベント群に対してデータ圧縮を行い，圧縮データ３を生成する。
【００２９】
設定部１９は，イベントデータ２の各項目に対する一致の重み，保持レベルの入力を受け付け，設定情報１０７を生成して記憶部１０に格納する。または，設定部１９は，設定情報１０７を受け付けて記憶部１０に格納する。
【００３０】
図２は，データ圧縮装置１が取得するイベントデータ群の例を示す図である。
【００３１】
図２に示すイベントデータ群の各行が，個々のイベントデータ２を表す。
【００３２】
イベントデータ２は，予め設定された複数の項目，本実施例では「年，月，日，時，分，秒，顧客ＩＤ，レジ番号，レジ担当，商品ＩＤ，色，サイズ」の各項目についての情報を含む。
【００３３】
図３は，設定情報１０７の例を示す図である。
【００３４】
設定情報１０７には，図２に示すイベントデータ２の各項目に対し「一致の重み」と「保持レベル」が設定される。
【００３５】
「一致の重み」は，複数のイベントデータ２間で項目の情報が一致する場合に，一致しているイベントデータ２の該当項目に付与される値である。一致の重みは，イベントデータ２同士の一致度を判断する場合に，項目の情報が一致していることをどの程度重視するかを示す値である。図３の設定情報１０７の例では，一致の重みは，０．１単位で０から１までの値をとり，値が１に近い程，項目の情報の一致を重要視することを表している。
【００３６】
イベントデータ２をグループにまとめる場合に，一致の重みが１に近い値である項目の情報が一致していることが重視される。図３の例では，「商品ＩＤ」，「サイズ」の項目の情報の一致が重視される。
【００３７】
「保持レベル」は，イベントデータ２の項目の情報をどの程度の精度で保持するかの設定を示す値である。図３の設定情報１０７の例では，「完全，範囲，分布，削除可」の４つのレベルが設定されるものとする。
【００３８】
「完全」は，項目に出現する複数の情報を，そのまま維持する情報精度を示す。「完全」は，個々の情報が特定できることが要求されるような項目に対して設定される。
【００３９】
「範囲」は，項目に出現する複数の情報を，それら情報の限界値の組で表す情報精度を示す。「範囲」は，情報の範囲が特定できれば有用と認識されるような項目に対して設定される。
【００４０】
「分布」は，項目に出現する複数の情報を，各情報のグループ内の全情報に対する割合で表す情報精度を示す。「分布」は，情報の分布が特定できれば有用と認識されるような項目に対して設定される。
【００４１】
「削除可」は，項目に出現する複数の情報が分散していて，いずれの情報も一定数に満たないような状態である場合に，それら情報の削除が可能であることを表す情報精度を示す。情報にばらつきがある場合には情報自体が有意なものと認識されないような項目に対して設定される。
【００４２】
図４は，同一視判定テーブル１０１の例を示す図である。
【００４３】
同一視判定テーブル１０１は，各「一致度」に対応付けられた「頻度」が設定されている。
【００４４】
「一致度」は，複数のイベントデータ２の間で，一致の重みにもとづく一致度の範囲である。本実施例において，一致度は，情報が一致している項目に付与された一致の重みの和の，全項目の一致の重みの和に対する割合である。図４の例では，一致度はパーセントで示す。一致度＝１０％−２９％は，一致度が１０％から２９％の範囲を表している。
【００４５】
「頻度」は，対応する一致度のイベントデータ２をグループ化する（１つのイベント集合にまとめる）場合に必要なイベントデータ２の出現数である。
【００４６】
図４に示す例では，イベントデータ群に，一致度が３０％であるイベントデータ２が６つ以上存在している場合に，該当するイベントデータ２を同一視して１グループにまとめる処理が行われる。
【００４７】
図５は，情報精度決定テーブル１０３の例を示す図である。
【００４８】
情報精度決定テーブル１０３では，設定情報１０７で項目に設定可能な保持レベルごとに，情報の変換で保持される情報精度である元本保持レベルが，グループにまとめられたイベントデータ２の項目に出現する情報の分布を示す情報のユニーク数に応じて設定される。
【００４９】
元本保持レベルは，グループの各項目の情報がどの情報精度を保持して変換されるかを示す情報であり，「完全，分布，範囲，削除」が定義される。
【００５０】
「完全」は，項目に出現する複数の情報を，そのまま維持する情報精度を示す。「範囲」は，項目に出現する複数の情報を，情報の限界値の組で表す情報精度を示す。「分布」は，項目に出現する複数の情報を，各情報のグループ内の全情報に対する割合で表す情報精度を示す。「削除」は，項目に出現する複数の情報を削除することを示す。
【００５１】
図５の情報精度決定テーブル１０３では，保持レベルが「完全」である場合には，どのユニーク数であっても，元本保持レベルに「完全」が設定される。
【００５２】
また，保持レベルが「範囲」である場合には，ユニーク数＝１のときに元本保持レベル「完全」が，ユニーク数＝２のときに元本保持レベル「分布」が，ユニーク数＝３または４以上のときに元本保持レベル「範囲」が設定される。
【００５３】
図６は，変換規則１０５の例を示す図である。
【００５４】
変換規則１０５は，各元本保持レベルに対応して，どのように情報を変換するか，すなわち，グループごとに決定された元本保持レベルにもとづいてイベントデータ２の各項目の情報をどのように変換し表記するかの規則を示す。
【００５５】
図６の変換規則１０５では，例えば，「完全」の場合に，項目に出現する情報は，変換せずに，そのまま表記する。また，「範囲」の場合に，項目に出現する情報の上下限値（例えば，最大値，最小値）を求め，“最大値−最小値”と表記すること，ユニーク数＝２のときは“最大値；最小値”と表記する。また，「分布」の場合に，項目に出現する各情報の数を求め，各情報数の全情報数に対する割合（％）を計算し，情報Ａ，Ｂ，Ｃがａ％，ｂ％，ｃ％である場合に，“Ａ−Ｂ−Ｃ＝ａ％−ｂ％−ｃ％”と表記する。また，「削除」の場合に，項目に出現する情報を削除する。
【００５６】
次に，データ圧縮装置１の処理を，より具体的に説明する。
【００５７】
グループ分割部１１は，図２に示すイベントデータ群を取得したとする。
【００５８】
グループ分割部１１は，イベントデータ群の各イベントデータ２について，他のイベントデータ２各々に対して項目に格納されている情報が一致する場合には，設定情報１０７を参照して，該当項目に一致の重みを付与し，さらに，項目に付与した一致の重みの和を，全項目に設定されている一致の重みの和で除した割合を計算して一致度を求める。
【００５９】
さらに，グループ分割部１１は，同一視判定テーブル１０１を参照して，図２に示すイベントデータ群について，一致度が高くかつ頻度（出現数）が多いイベントデータ２同士をまとめてグループ化し，イベント集合とする。一致度が同じデータが一定数以上で出現している場合には，高い優先度の項目に対する一致の重みを優先してデータをグループ化する。
【００６０】
図７は，イベントデータ２のグループ分割の例を示す図である。
【００６１】
図７に示す３つのイベントデータ２は，グループ分割部１１によって，図２に示すイベントデータ群からイベント集合として抽出されたイベントデータ２を示している。
【００６２】
図７のイベントデータ２では，項目のうち，「年（０．１），月（０．５），日（０．１），時（０．５），レジ担当（０．１），商品ＩＤ（１），色（０．５），サイズ（１）」の情報が一致して，一致の重みの和＝３．８となる。さらに，イベントデータ２の全項目の一致の重み＝４．６から，一致度＝８３％が計算される。
【００６３】
さらに，同一視判定テーブル１０１にもとづいて，該当する一致度（７０−１００％）に対応する頻度（≧３）の条件が満たされるため，図７に示す３以上のイベントデータ２は，同一視できるものとして，１つのイベント集合にまとめられている。
【００６４】
次に，情報精度決定部１３は，設定情報１０７と情報精度決定テーブル１０３を参照して，グループ分割部１１によりまとめられたイベント集合について，イベントデータ２の各項目の情報精度を決定する。すなわち，情報精度決定部１３は，項目ごとに，情報のユニーク数をカウントする。そして，情報精度決定部１３は，情報精度決定テーブル１０３を参照して，設定情報１０７で設定されている保持レベルと求めたユニーク数とをもとに，元本保持レベルを決定する。
【００６５】
より具体的には，図７に示すイベント集合の場合，「年」は，保持レベル＝完全であり，情報（値）が全て同じ（ユニーク数＝１）であるので，元本保持レベル＝完全と設定される。「月，日」は，保持レベル＝範囲，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「時」は，保持レベル＝削除可，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「分，秒」は，保持レベル＝削除可，ユニーク数＝３であるので，元本保持レベル＝範囲と設定される。
【００６６】
「顧客ＩＤ」は，保持レベル＝完全，ユニーク数＝３であるので，元本保持レベル＝完全と設定される。「レジ番号」は，保持レベル＝範囲，ユニーク数＝２であるので，元本保持レベル＝範囲と設定される。「レジ担当」は，保持レベル＝削除可，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。
【００６７】
「商品ＩＤ」は，保持レベル＝完全，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「色」は，保持レベル＝分布，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「サイズ」は，保持レベル＝分布，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。
【００６８】
次に，イベント変換部１５は，変換規則１０５を参照し，情報精度決定部１３によって決定された情報精度（元本保持レベル）にもとづいて，イベント集合にまとめられたイベントデータ２の各項目の情報を書き換える。すなわち，イベント変換部１５は，各イベントデータ２の項目の情報を，その項目の元本保持レベルに対応する変換規則１０５に従って，書き換える。
【００６９】
図８，図９は，イベントデータ２の情報の書き換えの例を示す図である。
【００７０】
図８に示す３つのイベントデータ２は，イベント変換部１５によって，図７に示すイベント集合のイベントデータ２を示している。
【００７１】
ここで，「分」の情報（１７，２４，５３）について，元本保持レベル＝範囲と決定されている。イベント変換部１５によって，イベント集合内の各イベントデータ２の情報から最小値と最大値とが求められ，イベント集合の全イベントデータ２の「分」の情報が，“１７−５３”と書き換えられている。
【００７２】
また，「秒」の情報（０１，１１，２４）について，元本保持レベル＝範囲と決定されているので，同様に，最小値と最大値とが求められ，イベント集合の全イベントデータ２の「秒」の情報が，“０１−２４”と書き換えられている。
【００７３】
また，その他の項目については，元本保持レベル＝完全と決定されているので，イベント集合の各ベントデータ２の情報は，そのまま維持される。
【００７４】
図９（Ａ）に示す７つのイベントデータ２は，イベント変換部１５によって，図２に示すイベントデータ群から抽出された別のイベント集合を示している。
【００７５】
図９（Ａ）に示すイベント集合についても，図８を用いて説明した処理と同様に，元本保持レベルが決定され，各項目の情報が書き換えられる。
【００７６】
図９（Ａ）に示すイベント集合において，情報精度決定部１３によって「色」の元本保持レベル＝分布と決定されている場合に，イベント変換部１５によって，「色」の各情報（白，赤，スカイブルー）の出現割合が計算され，変換規則１０５に従って表記される。すなわち，図９（Ｂ）に示すように，「色」の情報は，“白−赤−スカイブルー＝４３−２９−２９”と書き換えられる。
【００７７】
また，「サイズ」の情報についても，同様に，分布の表記“Ｍ−Ｌ−ＬＬ＝２９−４３−２９”とに書き換えられる。
【００７８】
上記のような，情報精度の決定および情報の書き換え処理は，イベントデータ群から成された全イベント集合について行われる。
【００７９】
イベント変換部１５は，イベントデータ群から抽出し，情報を書き換えたイベント集合（変換済みのイベントデータ２）を，圧縮処理のための変換イベント群に追加する。そして，イベント変換部１５は，イベント集合にまとめられずに残っていたイベントデータ２も，変換イベント群に追加する。
【００８０】
図１０は，情報の書き換え処理がされたイベントデータ群の例を示す図である。
【００８１】
図１０に示すイベントデータ群は，図２のイベントデータ群に対応している。
【００８２】
イベント集合Ｇ１，Ｇ２，Ｇ３では，項目の情報が，対応する元本保持レベルに応じて書き換えられて，同一の情報となっていることが示されている。
【００８３】
図１０に示すイベントデータ群の最下行のイベントデータ２は，グループ分割部１１によってイベント集合にまとめられずに残ったものであることを表す。イベントデータ群のうち，同一視判定テーブル１０１の条件に該当せずグループ化されなかったイベントデータ２は，項目の情報がそのままの状態（情報精度）となっていることが示されている。
【００８４】
データ圧縮の対象となった図１０に示すイベントデータ群から，着目する項目についての統計情報が，設定された保持レベル（情報精度）以上で維持され，後の解析処理等で有用な情報として読み取り可能となっていることがわかる。
【００８５】
より具体的には，図１０に示すイベントデータ群から，販売傾向の知見として，ある商品のＳサイズについて，２０１０年４月６日の１０時の時間帯に“ピンク”の色のものしか売れていないことがわかる。また，Ｍサイズのものは，２０１０年４月３日〜１４日，１０時の時間帯に，“ピンク”のものが売れていることがわかる。
【００８６】
さらに，他のサイズや色の組み合わせについては，統計情報で保持されて，情報精度が低くなっているが，設定された“分布”の情報精度で維持されている。
【００８７】
一方，４月１５日の記録のように，従来手法であれば，削除されてしまうか，他の情報に埋もれてしまうような特異な情報を含むイベントデータ２も，そのままの情報精度で維持されている。
【００８８】
データ圧縮部１７は，イベント変換部１５によってまとめられた変換イベント群にデータ圧縮を行い，圧縮データ３を生成する。データ圧縮部１７は，既知のデータ圧縮方法を用いて処理を行うが，本例では，辞書式圧縮処理およびエントロピー圧縮処理を用いる。これらの圧縮処理は既知であるため説明を省略する。
【００８９】
図１１は，辞書式圧縮方法により，図１０に示すイベントデータ群を圧縮した場合のデータイメージを示す図である。
【００９０】
図１１に示すように，イベント集合ごとに各項目の情報が同一の表記に書き換えられているため，より高い圧縮率でデータ圧縮されることがわかる。
【００９１】
図１２は，データ圧縮装置１の処理フロー例を示す図である。
【００９２】
ステップＳ１０： データ圧縮装置１の設定部１９は，入力装置（図１に図示しない）を介して，イベントデータ２の各項目に対する一致の重みおよび保持レベルの入力を受け付けて設定情報１０７を生成し，記憶部１０に格納する。または，設定部１９は，設定情報１０７を取得して記憶部１０に格納する。
【００９３】
ステップＳ１１： グループ分割部１１は，イベントデータ２のデータ群を取得し，各イベントデータ２について，設定情報１０７をもとに，他のイベントデータ２各々との間で，情報が一致する項目があれば，その項目に設定された一致の重みを付与する。さらに，グループ分割部１１は，一致の重みの和を計算し，全項目に設定された一致の重みに対する割合を示す一致度（％）を計算する。グループ分割部１１は，同一視判定テーブル１０１をもとに，一致度が高くかつ頻度が多いイベントデータ２の一群をグループ化してイベント集合として取り出す。
【００９４】
ステップＳ１２： 情報精度決定部１３は，取り出したイベント集合について，イベントデータ２の各項目について情報の分布を求め，設定情報１０７でその項目に設定されている保持レベルと情報の分布とをもとに，各項目の元本保持レベルを決定する。
【００９５】
ステップＳ１３： イベント変換部１５は，決定された元本保持レベルと変換規則１０５とに従って，イベント集合の全イベントデータ２の各項目の情報を，該当する情報の分布を表現した表記に変換し，変換したイベント集合のイベントデータ２を，圧縮処理のための変換イベント群に追加する。
【００９６】
ステップＳ１４： グループ分割部１１は，取得しているイベントデータ２のイベントデータ群の残りに，一致度が高くかつ頻度が多いイベントデータ２の一群があるかを調べる。一致度が高くかつ頻度が多いイベントデータ２の一群がある場合には（ステップＳ１４のＹ），ステップＳ１１の処理へ戻す。一致度が高くかつ頻度が多いイベントデータ２の一群がない場合には（ステップＳ１４のＮ），ステップＳ１５の処理へ進む。
【００９７】
ステップＳ１５： データ圧縮部１７は，取得しているイベントデータ２のイベントデータ群の残りであるイベントデータ２と，変換イベント群のイベントデータ２とをまとめ，まとめたイベントデータ２のイベントデータ群に対してデータ圧縮処理を行い，圧縮データ３を出力する。
【００９８】
データ圧縮装置１は，ＣＰＵおよびメモリ等を有するハードウェアと，ソフトウェアプログラムとを備えるコンピュータ・システム，または専用ハードウェアによって実現される。
【００９９】
図１３は，データ圧縮装置１のハードウェア構成例を示す図である。
【０１００】
データ圧縮装置１は，演算装置（ＣＰＵ）１０１，一時記憶装置（ＤＲＡＭ，フラッシュメモリ等）１０２，永続性記憶装置（ＨＤＤ，フラッシュメモリ等）１０３を有するコンピュータ１００と，入力装置（キーボード，マウス等）１２０と出力装置（ディスプレイ，プリンタ等）１３０とによって実施することができる。
【０１０１】
また，データ圧縮装置１は，コンピュータ１００が実行可能なプログラムによって実施することができる。この場合に，データ圧縮装置１が有すべき機能の処理内容を記述したプログラムが提供される。提供されたプログラムをコンピュータ１００が実行することによって，上記説明したデータ圧縮装置１の処理機能がコンピュータ１００上で実現される。
【０１０２】
なお，コンピュータ１００は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。
【０１０３】
以上の本実施例に示されるように，データ圧縮装置１によれば，設定情報１０７において，項目ごとに情報精度である保持レベルが設定されることにより，利用したい情報に関する項目の情報について最低限の情報精度を維持し，さらに情報の分布に応じてより高い情報精度で情報を維持したままデータ圧縮を行うことができる。
【０１０４】
すなわち，データ圧縮装置１をイベントデータ２のデータ圧縮処理に適用した場合に，次のような効果が得られる。
【０１０５】
（１） 圧縮対象のデータが含む項目ごとに圧縮率が高くなるデータを集めてグループ化するため，データによっては情報精度をあまり低下させることなく圧縮効率を向上させることができる。
【０１０６】
（２） 特殊な情報を含むデータはグループ化されずにデータ圧縮されるため，情報精度が高く維持することができる。
【０１０７】
なお，本実施例では，データ圧縮装置１を，イベントデータのデータ圧縮に適用した場合について説明したが，データ圧縮装置１の適用範囲はこれに限定されるものではなく，その記述の主旨の範囲において種々の変形が可能であることは当然である。
【符号の説明】
【０１０８】
１ データ圧縮装置
１０ 記憶部
１１ グループ分割部
１３ 情報精度決定部
１５ イベント変換部
１７ データ圧縮部
１９ 設定部
１０１ 同一視判定テーブル
１０３ 情報精度決定テーブル
１０５ 変換規則
１０７ 設定情報
２ イベントデータ
３ 圧縮データ
【技術分野】
【０００１】
本発明は， データ圧縮技術に関し，特にデータ項目を有するデータのデータ圧縮技術に関する。
【背景技術】
【０００２】
近年では，センサデータ，ログデータなどのデータが大量に生成されるようになり，大量のデータから，何らかの知見を得ようとする動きがある。そのため，大量のデータを保存したり，転送させたりする必要があり，データの保存，転送のコストの低減をはかるため，データ圧縮処理を利用することができる。
【０００３】
データ圧縮処理として，辞書式圧縮処理とエントロピー圧縮処理とを組み合わせた処理が良く知られている。辞書式圧縮処理は，データ中の文字列を辞書に登録し，既出の文字列が再度出現した場合に，その文字列を，辞書の登録箇所を示す符号に置き換える処理である。エントロピー圧縮処理は，符号の出現頻度をもとに，割り当てる符号の長さを決定して，データを圧縮する処理である。
【０００４】
上記のようなデータ圧縮処理を用いても，圧縮対象のデータ量によっては，圧縮済みデータのデータ量が大きい場合もあり，圧縮効率の改善が検討されてきた。
【０００５】
従来手法として，圧縮対象のデータ（元データ）の情報精度を低下させることによってデータ圧縮率を改善することが行われていた。一例として，元データが，「時間：分：秒（例えば，１０：３６：２４）」で示す時間データを含む場合に，「分：秒」の値を削除して，「時間（１０）」のみを示す時間データに変換する前処理を行い，データ圧縮の圧縮率を高めていた。また別の例として，元データに含まれる数値（例えば，０．４７９２４９２７８９７）の少数の有効数字桁数を少なくした数値（０．４７９）に変換する前処理を行っていた。
【０００６】
また，解析処理に応じて，必要なフィールドデータのみを抽出，圧縮して送信することにより，転送するデータを小容量にする処理が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１９９３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来，データ圧縮の効率を高めるためには情報精度を低下させなければならなかった。元データに対して，特定のデータ項目の情報精度を低下させる前処理した場合に，そのデータ項目の情報精度が一律に低下してしまい，データ利用の際にそのデータ項目の利用価値が低下してしまうという問題があった。
【０００９】
本発明の目的は，情報精度を低下させずにデータ圧縮率を高くするデータ圧縮技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一形態として開示されるデータ圧縮装置は，１）複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，２）項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部と，３）処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化するグループ分割部と，４）前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する情報精度決定部と，５）前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換するイベント変換部と，６）前記変換されたデータを含む前記データ群に対してデータ圧縮を行うデータ圧縮部とを備える。
【００１１】
また，本発明の別の形態として開示されるデータ圧縮プログラムは，コンピュータに，前記装置で実現されるような処理を実行させるためのものである。
【００１２】
また，本発明の別の形態として開示されるデータ圧縮方法は，コンピュータが，前記装置で実現されるような処理ステップを実行するものである。
【発明の効果】
【００１３】
上記したデータ圧縮装置によれば，圧縮対象のデータ群のデータを項目の情報の一致の分布によってグループ分けし，設定された情報精度に応じて情報を書き換えたデータが圧縮されるため，情報精度を維持しつつデータ圧縮の効率を改善することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一形態として開示するデータ圧縮装置の実施例における構成例を示す図である。
【図２】データ圧縮装置が取得するイベントデータ群の例を示す図である。
【図３】設定情報の例を示す図である。
【図４】同一視判定テーブルの例を示す図である。
【図５】情報精度決定テーブルの例を示す図である。
【図６】変換規則の例を示す図である。
【図７】イベントデータのグループ分割の例を示す図である。
【図８】イベントデータの情報の書き換えの例を示す図である。
【図９】イベントデータの情報の書き換えの例を示す図である。
【図１０】情報の書き換え処理がされたイベントデータ群の例を示す図である。
【図１１】辞書式圧縮方法によりイベントデータ群を圧縮した場合のデータイメージを示す図である。
【図１２】データ圧縮装置の処理フロー例を示す図である。
【図１３】データ圧縮装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１５】
図１は，本発明の一形態として開示するデータ圧縮装置の実施例における構成例を示す図である。
【００１６】
図１に示すデータ圧縮装置１は，複数の項目に対応する情報を含むデータ群（イベントデータ群）に対して圧縮処理を行って圧縮データ３を出力する。
【００１７】
データ圧縮装置１で処理対象となるデータ群は，ＰＯＳシステム（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ ｓｙｓｔｅｍ）においてイベントごとに生成されるようなイベントデータ２の集合（イベントデータ群）である。
【００１８】
データ圧縮装置１は，記憶部１０，グループ分割部１１，情報精度決定部１３，イベント変換部１５，およびデータ圧縮部１７を備える。また，データ圧縮装置１は，設定部１９を備えてもよい。
【００１９】
記憶部１０は，同一視判定テーブル１０１，情報精度決定テーブル１０３，変換規則１０５，および設定情報１０７を記憶する。
【００２０】
同一視判定テーブル１０１は，複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定されたデータテーブルである。
【００２１】
情報精度決定テーブル１０３は，項目ごとの情報のユニーク数にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報の情報精度を示す元本保持レベルとの対応関係が定義されたデータテーブルである。
【００２２】
変換規則１０５は，元本保持レベルに対応して情報を変換する変換規則１０５が設定された情報である。
【００２３】
設定情報１０７は，イベントデータ２の各項目に対する一致の重みと保持レベルとが設定された情報である。
【００２４】
グループ分割部１１は，設定情報１０７をもとに，処理対象のイベントデータ群の各イベントデータ２について，他のイベントデータ２に対する一致の重みの分布を求め，同一視判定テーブル１０１の条件を満たすデータ同士を１グループ（イベント集合）にまとめる。
【００２５】
情報精度決定部１３は，グループ分割部１１によってまとめられたグループ各々において，グループ内のイベントデータ２の項目各々に出現する情報の分布を求め，情報精度決定テーブル１０３をもとに，情報の分布と設定情報１０７の保持レベルから，各項目について，項目の情報の変換の際に保持される情報精度を示す元本保持レベルを決定する。
【００２６】
情報の分布は，例えば，情報のユニーク数で特定する。
【００２７】
イベント変換部１５は，変換規則１０５に従って，グループごとに，グループ内の各イベントデータの項目の情報を，元本保持レベルにもとづいて変換する。イベント変換部１５は，情報を変換したイベントデータ２のグループ（イベント集合）を，変換イベント群に追加し，さらに，入力されたイベントデータ群のうちイベント集合にまとめられずに残っていたイベントデータ２を変換イベント群に追加する。
【００２８】
データ圧縮部１７は，変換イベント群に対してデータ圧縮を行い，圧縮データ３を生成する。
【００２９】
設定部１９は，イベントデータ２の各項目に対する一致の重み，保持レベルの入力を受け付け，設定情報１０７を生成して記憶部１０に格納する。または，設定部１９は，設定情報１０７を受け付けて記憶部１０に格納する。
【００３０】
図２は，データ圧縮装置１が取得するイベントデータ群の例を示す図である。
【００３１】
図２に示すイベントデータ群の各行が，個々のイベントデータ２を表す。
【００３２】
イベントデータ２は，予め設定された複数の項目，本実施例では「年，月，日，時，分，秒，顧客ＩＤ，レジ番号，レジ担当，商品ＩＤ，色，サイズ」の各項目についての情報を含む。
【００３３】
図３は，設定情報１０７の例を示す図である。
【００３４】
設定情報１０７には，図２に示すイベントデータ２の各項目に対し「一致の重み」と「保持レベル」が設定される。
【００３５】
「一致の重み」は，複数のイベントデータ２間で項目の情報が一致する場合に，一致しているイベントデータ２の該当項目に付与される値である。一致の重みは，イベントデータ２同士の一致度を判断する場合に，項目の情報が一致していることをどの程度重視するかを示す値である。図３の設定情報１０７の例では，一致の重みは，０．１単位で０から１までの値をとり，値が１に近い程，項目の情報の一致を重要視することを表している。
【００３６】
イベントデータ２をグループにまとめる場合に，一致の重みが１に近い値である項目の情報が一致していることが重視される。図３の例では，「商品ＩＤ」，「サイズ」の項目の情報の一致が重視される。
【００３７】
「保持レベル」は，イベントデータ２の項目の情報をどの程度の精度で保持するかの設定を示す値である。図３の設定情報１０７の例では，「完全，範囲，分布，削除可」の４つのレベルが設定されるものとする。
【００３８】
「完全」は，項目に出現する複数の情報を，そのまま維持する情報精度を示す。「完全」は，個々の情報が特定できることが要求されるような項目に対して設定される。
【００３９】
「範囲」は，項目に出現する複数の情報を，それら情報の限界値の組で表す情報精度を示す。「範囲」は，情報の範囲が特定できれば有用と認識されるような項目に対して設定される。
【００４０】
「分布」は，項目に出現する複数の情報を，各情報のグループ内の全情報に対する割合で表す情報精度を示す。「分布」は，情報の分布が特定できれば有用と認識されるような項目に対して設定される。
【００４１】
「削除可」は，項目に出現する複数の情報が分散していて，いずれの情報も一定数に満たないような状態である場合に，それら情報の削除が可能であることを表す情報精度を示す。情報にばらつきがある場合には情報自体が有意なものと認識されないような項目に対して設定される。
【００４２】
図４は，同一視判定テーブル１０１の例を示す図である。
【００４３】
同一視判定テーブル１０１は，各「一致度」に対応付けられた「頻度」が設定されている。
【００４４】
「一致度」は，複数のイベントデータ２の間で，一致の重みにもとづく一致度の範囲である。本実施例において，一致度は，情報が一致している項目に付与された一致の重みの和の，全項目の一致の重みの和に対する割合である。図４の例では，一致度はパーセントで示す。一致度＝１０％−２９％は，一致度が１０％から２９％の範囲を表している。
【００４５】
「頻度」は，対応する一致度のイベントデータ２をグループ化する（１つのイベント集合にまとめる）場合に必要なイベントデータ２の出現数である。
【００４６】
図４に示す例では，イベントデータ群に，一致度が３０％であるイベントデータ２が６つ以上存在している場合に，該当するイベントデータ２を同一視して１グループにまとめる処理が行われる。
【００４７】
図５は，情報精度決定テーブル１０３の例を示す図である。
【００４８】
情報精度決定テーブル１０３では，設定情報１０７で項目に設定可能な保持レベルごとに，情報の変換で保持される情報精度である元本保持レベルが，グループにまとめられたイベントデータ２の項目に出現する情報の分布を示す情報のユニーク数に応じて設定される。
【００４９】
元本保持レベルは，グループの各項目の情報がどの情報精度を保持して変換されるかを示す情報であり，「完全，分布，範囲，削除」が定義される。
【００５０】
「完全」は，項目に出現する複数の情報を，そのまま維持する情報精度を示す。「範囲」は，項目に出現する複数の情報を，情報の限界値の組で表す情報精度を示す。「分布」は，項目に出現する複数の情報を，各情報のグループ内の全情報に対する割合で表す情報精度を示す。「削除」は，項目に出現する複数の情報を削除することを示す。
【００５１】
図５の情報精度決定テーブル１０３では，保持レベルが「完全」である場合には，どのユニーク数であっても，元本保持レベルに「完全」が設定される。
【００５２】
また，保持レベルが「範囲」である場合には，ユニーク数＝１のときに元本保持レベル「完全」が，ユニーク数＝２のときに元本保持レベル「分布」が，ユニーク数＝３または４以上のときに元本保持レベル「範囲」が設定される。
【００５３】
図６は，変換規則１０５の例を示す図である。
【００５４】
変換規則１０５は，各元本保持レベルに対応して，どのように情報を変換するか，すなわち，グループごとに決定された元本保持レベルにもとづいてイベントデータ２の各項目の情報をどのように変換し表記するかの規則を示す。
【００５５】
図６の変換規則１０５では，例えば，「完全」の場合に，項目に出現する情報は，変換せずに，そのまま表記する。また，「範囲」の場合に，項目に出現する情報の上下限値（例えば，最大値，最小値）を求め，“最大値−最小値”と表記すること，ユニーク数＝２のときは“最大値；最小値”と表記する。また，「分布」の場合に，項目に出現する各情報の数を求め，各情報数の全情報数に対する割合（％）を計算し，情報Ａ，Ｂ，Ｃがａ％，ｂ％，ｃ％である場合に，“Ａ−Ｂ−Ｃ＝ａ％−ｂ％−ｃ％”と表記する。また，「削除」の場合に，項目に出現する情報を削除する。
【００５６】
次に，データ圧縮装置１の処理を，より具体的に説明する。
【００５７】
グループ分割部１１は，図２に示すイベントデータ群を取得したとする。
【００５８】
グループ分割部１１は，イベントデータ群の各イベントデータ２について，他のイベントデータ２各々に対して項目に格納されている情報が一致する場合には，設定情報１０７を参照して，該当項目に一致の重みを付与し，さらに，項目に付与した一致の重みの和を，全項目に設定されている一致の重みの和で除した割合を計算して一致度を求める。
【００５９】
さらに，グループ分割部１１は，同一視判定テーブル１０１を参照して，図２に示すイベントデータ群について，一致度が高くかつ頻度（出現数）が多いイベントデータ２同士をまとめてグループ化し，イベント集合とする。一致度が同じデータが一定数以上で出現している場合には，高い優先度の項目に対する一致の重みを優先してデータをグループ化する。
【００６０】
図７は，イベントデータ２のグループ分割の例を示す図である。
【００６１】
図７に示す３つのイベントデータ２は，グループ分割部１１によって，図２に示すイベントデータ群からイベント集合として抽出されたイベントデータ２を示している。
【００６２】
図７のイベントデータ２では，項目のうち，「年（０．１），月（０．５），日（０．１），時（０．５），レジ担当（０．１），商品ＩＤ（１），色（０．５），サイズ（１）」の情報が一致して，一致の重みの和＝３．８となる。さらに，イベントデータ２の全項目の一致の重み＝４．６から，一致度＝８３％が計算される。
【００６３】
さらに，同一視判定テーブル１０１にもとづいて，該当する一致度（７０−１００％）に対応する頻度（≧３）の条件が満たされるため，図７に示す３以上のイベントデータ２は，同一視できるものとして，１つのイベント集合にまとめられている。
【００６４】
次に，情報精度決定部１３は，設定情報１０７と情報精度決定テーブル１０３を参照して，グループ分割部１１によりまとめられたイベント集合について，イベントデータ２の各項目の情報精度を決定する。すなわち，情報精度決定部１３は，項目ごとに，情報のユニーク数をカウントする。そして，情報精度決定部１３は，情報精度決定テーブル１０３を参照して，設定情報１０７で設定されている保持レベルと求めたユニーク数とをもとに，元本保持レベルを決定する。
【００６５】
より具体的には，図７に示すイベント集合の場合，「年」は，保持レベル＝完全であり，情報（値）が全て同じ（ユニーク数＝１）であるので，元本保持レベル＝完全と設定される。「月，日」は，保持レベル＝範囲，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「時」は，保持レベル＝削除可，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「分，秒」は，保持レベル＝削除可，ユニーク数＝３であるので，元本保持レベル＝範囲と設定される。
【００６６】
「顧客ＩＤ」は，保持レベル＝完全，ユニーク数＝３であるので，元本保持レベル＝完全と設定される。「レジ番号」は，保持レベル＝範囲，ユニーク数＝２であるので，元本保持レベル＝範囲と設定される。「レジ担当」は，保持レベル＝削除可，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。
【００６７】
「商品ＩＤ」は，保持レベル＝完全，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「色」は，保持レベル＝分布，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。「サイズ」は，保持レベル＝分布，ユニーク数＝１であるので，元本保持レベル＝完全と設定される。
【００６８】
次に，イベント変換部１５は，変換規則１０５を参照し，情報精度決定部１３によって決定された情報精度（元本保持レベル）にもとづいて，イベント集合にまとめられたイベントデータ２の各項目の情報を書き換える。すなわち，イベント変換部１５は，各イベントデータ２の項目の情報を，その項目の元本保持レベルに対応する変換規則１０５に従って，書き換える。
【００６９】
図８，図９は，イベントデータ２の情報の書き換えの例を示す図である。
【００７０】
図８に示す３つのイベントデータ２は，イベント変換部１５によって，図７に示すイベント集合のイベントデータ２を示している。
【００７１】
ここで，「分」の情報（１７，２４，５３）について，元本保持レベル＝範囲と決定されている。イベント変換部１５によって，イベント集合内の各イベントデータ２の情報から最小値と最大値とが求められ，イベント集合の全イベントデータ２の「分」の情報が，“１７−５３”と書き換えられている。
【００７２】
また，「秒」の情報（０１，１１，２４）について，元本保持レベル＝範囲と決定されているので，同様に，最小値と最大値とが求められ，イベント集合の全イベントデータ２の「秒」の情報が，“０１−２４”と書き換えられている。
【００７３】
また，その他の項目については，元本保持レベル＝完全と決定されているので，イベント集合の各ベントデータ２の情報は，そのまま維持される。
【００７４】
図９（Ａ）に示す７つのイベントデータ２は，イベント変換部１５によって，図２に示すイベントデータ群から抽出された別のイベント集合を示している。
【００７５】
図９（Ａ）に示すイベント集合についても，図８を用いて説明した処理と同様に，元本保持レベルが決定され，各項目の情報が書き換えられる。
【００７６】
図９（Ａ）に示すイベント集合において，情報精度決定部１３によって「色」の元本保持レベル＝分布と決定されている場合に，イベント変換部１５によって，「色」の各情報（白，赤，スカイブルー）の出現割合が計算され，変換規則１０５に従って表記される。すなわち，図９（Ｂ）に示すように，「色」の情報は，“白−赤−スカイブルー＝４３−２９−２９”と書き換えられる。
【００７７】
また，「サイズ」の情報についても，同様に，分布の表記“Ｍ−Ｌ−ＬＬ＝２９−４３−２９”とに書き換えられる。
【００７８】
上記のような，情報精度の決定および情報の書き換え処理は，イベントデータ群から成された全イベント集合について行われる。
【００７９】
イベント変換部１５は，イベントデータ群から抽出し，情報を書き換えたイベント集合（変換済みのイベントデータ２）を，圧縮処理のための変換イベント群に追加する。そして，イベント変換部１５は，イベント集合にまとめられずに残っていたイベントデータ２も，変換イベント群に追加する。
【００８０】
図１０は，情報の書き換え処理がされたイベントデータ群の例を示す図である。
【００８１】
図１０に示すイベントデータ群は，図２のイベントデータ群に対応している。
【００８２】
イベント集合Ｇ１，Ｇ２，Ｇ３では，項目の情報が，対応する元本保持レベルに応じて書き換えられて，同一の情報となっていることが示されている。
【００８３】
図１０に示すイベントデータ群の最下行のイベントデータ２は，グループ分割部１１によってイベント集合にまとめられずに残ったものであることを表す。イベントデータ群のうち，同一視判定テーブル１０１の条件に該当せずグループ化されなかったイベントデータ２は，項目の情報がそのままの状態（情報精度）となっていることが示されている。
【００８４】
データ圧縮の対象となった図１０に示すイベントデータ群から，着目する項目についての統計情報が，設定された保持レベル（情報精度）以上で維持され，後の解析処理等で有用な情報として読み取り可能となっていることがわかる。
【００８５】
より具体的には，図１０に示すイベントデータ群から，販売傾向の知見として，ある商品のＳサイズについて，２０１０年４月６日の１０時の時間帯に“ピンク”の色のものしか売れていないことがわかる。また，Ｍサイズのものは，２０１０年４月３日〜１４日，１０時の時間帯に，“ピンク”のものが売れていることがわかる。
【００８６】
さらに，他のサイズや色の組み合わせについては，統計情報で保持されて，情報精度が低くなっているが，設定された“分布”の情報精度で維持されている。
【００８７】
一方，４月１５日の記録のように，従来手法であれば，削除されてしまうか，他の情報に埋もれてしまうような特異な情報を含むイベントデータ２も，そのままの情報精度で維持されている。
【００８８】
データ圧縮部１７は，イベント変換部１５によってまとめられた変換イベント群にデータ圧縮を行い，圧縮データ３を生成する。データ圧縮部１７は，既知のデータ圧縮方法を用いて処理を行うが，本例では，辞書式圧縮処理およびエントロピー圧縮処理を用いる。これらの圧縮処理は既知であるため説明を省略する。
【００８９】
図１１は，辞書式圧縮方法により，図１０に示すイベントデータ群を圧縮した場合のデータイメージを示す図である。
【００９０】
図１１に示すように，イベント集合ごとに各項目の情報が同一の表記に書き換えられているため，より高い圧縮率でデータ圧縮されることがわかる。
【００９１】
図１２は，データ圧縮装置１の処理フロー例を示す図である。
【００９２】
ステップＳ１０： データ圧縮装置１の設定部１９は，入力装置（図１に図示しない）を介して，イベントデータ２の各項目に対する一致の重みおよび保持レベルの入力を受け付けて設定情報１０７を生成し，記憶部１０に格納する。または，設定部１９は，設定情報１０７を取得して記憶部１０に格納する。
【００９３】
ステップＳ１１： グループ分割部１１は，イベントデータ２のデータ群を取得し，各イベントデータ２について，設定情報１０７をもとに，他のイベントデータ２各々との間で，情報が一致する項目があれば，その項目に設定された一致の重みを付与する。さらに，グループ分割部１１は，一致の重みの和を計算し，全項目に設定された一致の重みに対する割合を示す一致度（％）を計算する。グループ分割部１１は，同一視判定テーブル１０１をもとに，一致度が高くかつ頻度が多いイベントデータ２の一群をグループ化してイベント集合として取り出す。
【００９４】
ステップＳ１２： 情報精度決定部１３は，取り出したイベント集合について，イベントデータ２の各項目について情報の分布を求め，設定情報１０７でその項目に設定されている保持レベルと情報の分布とをもとに，各項目の元本保持レベルを決定する。
【００９５】
ステップＳ１３： イベント変換部１５は，決定された元本保持レベルと変換規則１０５とに従って，イベント集合の全イベントデータ２の各項目の情報を，該当する情報の分布を表現した表記に変換し，変換したイベント集合のイベントデータ２を，圧縮処理のための変換イベント群に追加する。
【００９６】
ステップＳ１４： グループ分割部１１は，取得しているイベントデータ２のイベントデータ群の残りに，一致度が高くかつ頻度が多いイベントデータ２の一群があるかを調べる。一致度が高くかつ頻度が多いイベントデータ２の一群がある場合には（ステップＳ１４のＹ），ステップＳ１１の処理へ戻す。一致度が高くかつ頻度が多いイベントデータ２の一群がない場合には（ステップＳ１４のＮ），ステップＳ１５の処理へ進む。
【００９７】
ステップＳ１５： データ圧縮部１７は，取得しているイベントデータ２のイベントデータ群の残りであるイベントデータ２と，変換イベント群のイベントデータ２とをまとめ，まとめたイベントデータ２のイベントデータ群に対してデータ圧縮処理を行い，圧縮データ３を出力する。
【００９８】
データ圧縮装置１は，ＣＰＵおよびメモリ等を有するハードウェアと，ソフトウェアプログラムとを備えるコンピュータ・システム，または専用ハードウェアによって実現される。
【００９９】
図１３は，データ圧縮装置１のハードウェア構成例を示す図である。
【０１００】
データ圧縮装置１は，演算装置（ＣＰＵ）１０１，一時記憶装置（ＤＲＡＭ，フラッシュメモリ等）１０２，永続性記憶装置（ＨＤＤ，フラッシュメモリ等）１０３を有するコンピュータ１００と，入力装置（キーボード，マウス等）１２０と出力装置（ディスプレイ，プリンタ等）１３０とによって実施することができる。
【０１０１】
また，データ圧縮装置１は，コンピュータ１００が実行可能なプログラムによって実施することができる。この場合に，データ圧縮装置１が有すべき機能の処理内容を記述したプログラムが提供される。提供されたプログラムをコンピュータ１００が実行することによって，上記説明したデータ圧縮装置１の処理機能がコンピュータ１００上で実現される。
【０１０２】
なお，コンピュータ１００は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。
【０１０３】
以上の本実施例に示されるように，データ圧縮装置１によれば，設定情報１０７において，項目ごとに情報精度である保持レベルが設定されることにより，利用したい情報に関する項目の情報について最低限の情報精度を維持し，さらに情報の分布に応じてより高い情報精度で情報を維持したままデータ圧縮を行うことができる。
【０１０４】
すなわち，データ圧縮装置１をイベントデータ２のデータ圧縮処理に適用した場合に，次のような効果が得られる。
【０１０５】
（１） 圧縮対象のデータが含む項目ごとに圧縮率が高くなるデータを集めてグループ化するため，データによっては情報精度をあまり低下させることなく圧縮効率を向上させることができる。
【０１０６】
（２） 特殊な情報を含むデータはグループ化されずにデータ圧縮されるため，情報精度が高く維持することができる。
【０１０７】
なお，本実施例では，データ圧縮装置１を，イベントデータのデータ圧縮に適用した場合について説明したが，データ圧縮装置１の適用範囲はこれに限定されるものではなく，その記述の主旨の範囲において種々の変形が可能であることは当然である。
【符号の説明】
【０１０８】
１ データ圧縮装置
１０ 記憶部
１１ グループ分割部
１３ 情報精度決定部
１５ イベント変換部
１７ データ圧縮部
１９ 設定部
１０１ 同一視判定テーブル
１０３ 情報精度決定テーブル
１０５ 変換規則
１０７ 設定情報
２ イベントデータ
３ 圧縮データ
【特許請求の範囲】
【請求項１】
複数項目の情報を有するデータ群を圧縮処理するデータ圧縮装置であって，
複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部と，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化するグループ分割部と，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する情報精度決定部と，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換するイベント変換部と，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行うデータ圧縮部とを備える
ことを特徴とするデータ圧縮装置。
【請求項２】
前記元本保持レベルは，完全，範囲，分布または削除のいずれか２つ以上のレベルを含み，前記完全は，各項目に出現する情報をそのまま維持する情報精度を示し，前記範囲は，各項目に出現する情報を，該情報の最大値および最小値に変換する情報精度を示し，前記分布は，各項目に出現する情報を，グループ内における該情報の割合に変換する情報精度を示し，前記削除可は，各項目に出現する情報を削除する情報精度を示すものである
ことを特徴とする請求項１に記載のデータ圧縮装置。
【請求項３】
前記設定情報を取得して前記記憶部に格納，または，前記一致の重みおよび前記保持レベルに関する入力を受け付けて設定情報を生成し前記記憶部に格納する設定部を備
える
ことを特徴とする請求項１または請求項２に記載のデータ圧縮装置。
【請求項４】
コンピュータに，複数項目の情報を有するデータ群の圧縮処理を実行させるためのデータ圧縮プログラムであって，
前記コンピュータが，複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部を備えて，
前記コンピュータに，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化する処理と，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する処理と，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換する処理と，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行う処理とを，
実行させるためのデータ圧縮プログラム。
【請求項５】
コンピュータが，複数項目の情報を有するデータ群を圧縮処理するデータ圧縮方法であって，
前記コンピュータが，
複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部を備えて，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化する処理ステップと，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する処理ステップと，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換する処理ステップと，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行う処理ステップとを，実行する
ことを特徴とするデータ圧縮方法。
【請求項１】
複数項目の情報を有するデータ群を圧縮処理するデータ圧縮装置であって，
複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部と，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化するグループ分割部と，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する情報精度決定部と，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換するイベント変換部と，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行うデータ圧縮部とを備える
ことを特徴とするデータ圧縮装置。
【請求項２】
前記元本保持レベルは，完全，範囲，分布または削除のいずれか２つ以上のレベルを含み，前記完全は，各項目に出現する情報をそのまま維持する情報精度を示し，前記範囲は，各項目に出現する情報を，該情報の最大値および最小値に変換する情報精度を示し，前記分布は，各項目に出現する情報を，グループ内における該情報の割合に変換する情報精度を示し，前記削除可は，各項目に出現する情報を削除する情報精度を示すものである
ことを特徴とする請求項１に記載のデータ圧縮装置。
【請求項３】
前記設定情報を取得して前記記憶部に格納，または，前記一致の重みおよび前記保持レベルに関する入力を受け付けて設定情報を生成し前記記憶部に格納する設定部を備
える
ことを特徴とする請求項１または請求項２に記載のデータ圧縮装置。
【請求項４】
コンピュータに，複数項目の情報を有するデータ群の圧縮処理を実行させるためのデータ圧縮プログラムであって，
前記コンピュータが，複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部を備えて，
前記コンピュータに，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化する処理と，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する処理と，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換する処理と，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行う処理とを，
実行させるためのデータ圧縮プログラム。
【請求項５】
コンピュータが，複数項目の情報を有するデータ群を圧縮処理するデータ圧縮方法であって，
前記コンピュータが，
複数のデータ間で項目の情報が一致する場合に該項目に付与される一致の重みをもとに計算される一致度とデータ群におけるデータの出現頻度とを用いてデータを１グループにまとめる条件が設定された同一視判定テーブルと，
項目ごとの情報の分布にもとづいて，該項目に設定された情報精度を示す保持レベルと，変換後の情報精度を示す最低元本保持レベルとの対応関係が定義された情報精度決定テーブルとを記憶する記憶部を備えて，
処理対象のデータ群の各データについて，前記項目ごとに一致の重みと保持レベルとが設定された設定情報をもとに，前記データ群の他のデータに対する一致の重みにもとづく一致度を求め，前記同一視判定テーブルの条件を満たすデータ同士をグループ化する処理ステップと，
前記グループ各々において，前記項目各々に出現する情報の分布を求め，前記情報精度決定テーブルをもとに，前記出現する情報の分布と前記設定情報の保持レベルとに応じて前記項目各々の元本保持レベルを決定する処理ステップと，
前記元本保持レベルに対応してデータの情報を書き換える変換規則に従って，前記グループごとに，グループ内のデータの各項目の情報を前記元本保持レベルにもとづいて変換する処理ステップと，
前記変換されたデータを含む前記データ群に対してデータ圧縮を行う処理ステップとを，実行する
ことを特徴とするデータ圧縮方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１６８６７１（Ｐ２０１２−１６８６７１Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２８０８３（Ｐ２０１１−２８０８３）
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１４日（２０１１．２．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]