データ分割システム及びデータ分割方法
【課題】処理に好適な容量に大量のデータを分割するに際して、論理的に適切な基準で分割することによりデータ処理の効率を向上させる。
【解決手段】複数のパラメータを有する結合前データは、パラメータに同一区分の値を有するデータ毎にブロックｂｋとして結合前データ一時蓄積部１２に記憶されており、選択パラメータの値のみが異なるブロックｂｋが結合候補ブロックとしてデータ結合部１４により選択され、選択された結合候補ブロックから、ブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えるように、データ結合部１４により、結合対象ブロックが抽出され、抽出された結合対象ブロックを結合して結合ファイルが生成され、データ書き出し部１５により、結合ファイル記憶部２０に書き出される。
【解決手段】複数のパラメータを有する結合前データは、パラメータに同一区分の値を有するデータ毎にブロックｂｋとして結合前データ一時蓄積部１２に記憶されており、選択パラメータの値のみが異なるブロックｂｋが結合候補ブロックとしてデータ結合部１４により選択され、選択された結合候補ブロックから、ブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えるように、データ結合部１４により、結合対象ブロックが抽出され、抽出された結合対象ブロックを結合して結合ファイルが生成され、データ書き出し部１５により、結合ファイル記憶部２０に書き出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ分割システム及びデータ分割方法に関する。
【背景技術】
【０００２】
従来、所定のデータ処理を行うシステムにおいて、大量に蓄積されたデータを分割して処理を行う場合には、例えば一定のデータ量ごとに分割して、分割されたデータ群に対して処理を実施していた。また、蓄積されるデータが何らかの属性を有する場合には、その属性ごとにデータを分類する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５２４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
蓄積された大量のデータについて各種処理を実施する場合において、大量のデータを単に一定の容量ごとのデータ群に分割したのでは、分割した複数のデータ群の全てのデータを参照する必要があった。また、蓄積されたデータが属性（パラメータ）を有しており、単に属性ごとに分割してファイルを生成した場合であっても、分割単位が細かすぎると、１つのファイルの容量が小さくなり、ファイル数が膨大になり、後に実施するデータ処理の効率が悪い。
【０００５】
そこで、本発明は、かかる問題点に鑑みてなされたものであり、処理に好適な容量に大量のデータを分割するに際して、論理的に適切な基準で分割することによりデータ処理の効率を向上させることが可能なデータ分割システム及びデータ分割方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のデータ分割システムは、複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割したファイルを所定の記憶手段に書き出すデータ分割システムであって、複数のパラメータに同一の範囲区分に属する値を有する結合前データを、結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段と、複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択手段と、結合前データ一時蓄積手段に蓄積された複数のブロックから、選択パラメータ選択手段により選択された選択パラメータの値のみが異なる結合前データを含む複数のブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成するブロック選択処理を実行する結合候補ブロック選択手段と、結合候補ブロック選択手段により形成された結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出するブロック抽出処理を実行する結合対象ブロック抽出手段と、結合対象ブロック抽出手段により抽出された結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成処理を実行する結合ファイル生成手段と、結合ファイル生成手段により生成された結合ファイルを所定の記憶手段に記憶させると共に、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する書き出し処理を実行する結合ファイル書き出し手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のデータ分割方法は、複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割したファイルを所定の記憶手段に書き出すデータ分割方法であって、複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択ステップと、複数のパラメータに同一の範囲区分に属する値を有する結合前データを、結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段に蓄積された複数のブロックから、選択パラメータ選択ステップにおいて選択された選択パラメータの値のみが異なる結合前データを含む複数のブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成する結合候補ブロック選択ステップと、結合候補ブロック選択ステップにおいて形成された結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出する結合対象ブロック抽出ステップと、結合対象ブロック抽出ステップにおいて抽出された結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成ステップと、結合ファイル生成ステップにおいて生成された結合ファイルを、所定の記憶手段に記憶させると共に、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する結合ファイル書き出しステップとを有することを特徴とする。
【０００８】
本発明のデータ分割システム及びデータ分割方法では、選択パラメータの値のみが異なるブロックが結合候補ブロックとして選択されるので、結合されるブロックに含まれる結合前データは、選択パラメータ以外のパラメータ値が同一である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、所定の分割基準を満たすように、結合対象ブロックが抽出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【０００９】
また、本発明のデータ分割システムでは、結合対象ブロック抽出手段は、所定の分割基準として、結合候補ブロックに含まれる結合前データの容量の合計が予め定められた所定容量を超えるように、または、予め定められた所定時間が経過したときに、結合候補ブロック群から１または複数の結合候補ブロックを結合対象ブロックとして抽出することを特徴とする。
【００１０】
この場合には、結合候補ブロック群から結合候補ブロックを結合対象ブロックとして抽出する際の分割基準として、結合候補ブロックに含まれる結合前データの容量、及び一定の時間間隔（所定時間の経過）等の複数の基準で定義できる。これにより、結合前データの容量の合計が予め定められた所定容量を超えるように結合対象ブロックを抽出し、一定時間間隔でデータが分割されるように結合対象ブロックを抽出することができる。従って、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【００１１】
また、本発明のデータ分割システムでは、結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、選択パラメータ選択手段は、選択パラメータとして、複数のパラメータから第１〜第ｎのパラメータを順次選択し、選択パラメータ選択手段により選択パラメータとして選択された第１〜第ｎのパラメータごとに、結合候補ブロック選択手段によるブロック選択処理、結合対象ブロック抽出手段によるブロック抽出処理、結合ファイル生成手段による結合ファイル生成処理、及び結合ファイル書き出し手段による書き出し処理が、最大ｎ回順次実行されることを特徴とする。
【００１２】
また、本発明のデータ分割方法では、結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、選択パラメータ選択ステップ、結合候補ブロック選択ステップ、結合対象ブロック抽出ステップ、結合ファイル生成ステップ、及び結合ファイル書き出しステップを、第１〜第ｎのパラメータごとに最大ｎ回順次実行することを特徴とする。
【００１３】
これらの構成では、結合前データが第１〜第ｎの複数のパラメータを有する場合において、各パラメータごとに順次、ブロックを結合して結合前データの集合から結合ファイルを分割、生成する処理が行われるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【００１４】
また、本発明のデータ分割システムでは、結合ファイル生成手段は、結合候補ブロックから結合対象ブロックとして抽出されなかったブロックである残結合候補ブロックに含まれる結合前データを結合して残結合ファイルを生成し、結合ファイル書き出し手段は、結合ファイル生成手段により生成された残結合ファイルを所定の記憶手段に記憶させると共に、残結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去することを特徴とする。
【００１５】
この場合には、ブロックに含まれる結合前データの容量の合計が所定容量に達していないなど、一定の分割基準を満たしていなくとも、結合ファイルとして分割、書き出しが行われた結合前データと論理的な意味づけを有する結合前データを残結合ファイルとして書き出すことができる。これにより、結合ファイルに含まれる結合前データ間における論理的意味づけと同一の論理的意味づけを有する結合前データを、結合前データ一時蓄積手段に残さないようにすることができる。
【００１６】
また、本発明のデータ分割システムでは、結合前データ一時蓄積手段において、一のブロックに含まれる結合前データが所定の分割基準を満たした場合には、結合ファイル生成手段は、一のブロックに含まれる結合前データを結合して結合ファイルを生成することを特徴とする。
【００１７】
一のブロックに含まれる複数の結合前データは、同一範囲区分のパラメータ値を有するので、互いに論理的な意味づけを有する。この構成では、これらの論理的な意味づけを有する複数の結合前データが結合ファイルとして書き出されるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【発明の効果】
【００１８】
本発明のデータ分割システム及びデータ分割方法によれば、選択パラメータの値のみが異なるブロックが結合候補ブロックとして選択されるので、結合されるブロックに含まれる結合前データは、選択パラメータ以外のパラメータ値が同一範囲区分である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、ブロックに含まれる結合前データの容量の合計が所定容量を超えるなどの所定の分割基準を満たすように、結合対象ブロックが抽出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。また、選択パラメータは単一ではなく、再帰的に複数のパラメータにて再帰的に結合候補ブロックの選択および結合対象ブロックの抽出が行われる。従って、分割されたデータを用いたデータ処理の効率を向上させることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】実施形態に係るデータ分割システム及びデータ生成ノードを含む全体構成図である。
【図２】データ分割装置の機能的構成を示すブロック図である。
【図３】データ分割装置のハードブロック図である。
【図４】結合前データ一時蓄積部の構成の一例を示す図である。
【図５】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図６】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図７】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図８】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図９】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図１０】データ分割方法の処理の過程における結合前データ一時蓄積部の一部の状態を例示した図である。
【図１１】データ分割方法の処理の過程における結合前データ一時蓄積部の一部の状態を例示した図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態に係るデータ分割システムについて図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２１】
図１は、本発明の実施形態に係るデータ分割装置１を含むシステムの全体構成図である。図１に示すように、データ分割装置１を含むシステムは、データ生成ノードＮ１〜Ｎ３及び外部ファイルシステム２を含む。
【００２２】
データ分割装置１は、データ生成ノードＮ１〜Ｎ３から送信されるデータをデータの集合として一時蓄積し、蓄積したデータを複数のファイルに分割して所定の記憶手段を有する外部ファイルシステム２に書き出す装置であり、例えばサーバ装置により構成される。以降の説明では、データ生成ノードＮ１〜Ｎ３から送信されるデータを結合前データと称する。結合前データは複数のパラメータを有している。
【００２３】
データ生成ノードＮ１〜Ｎ３はそれぞれ、結合前データを生成してデータ分割装置１に送信する装置であり、例えばサーバ装置により構成される。本実施形態では、データ生成ノードＮ１〜Ｎ３は、移動端末の位置情報を収集する装置であり、結合前データは、移動端末の位置情報のデータである。位置情報は、例えば、地域、データ種別、時刻、情報源等のパラメータを有することができる。また、何れかのデータ生成ノードＮ１〜Ｎ３からデータ分割装置１に位置情報が送信される際には、データ生成ノードＮ１〜Ｎ３の識別子がパラメータとして付される。このように、本実施形態における結合前データは、上記のパラメータを有する位置情報である。なお、本実施形態では、３つのデータ生成ノードＮ１〜Ｎ３を図示しているが、データ生成ノードの数はこれに限られない。
【００２４】
外部ファイルシステム２は、結合ファイル記憶部２０（所定の記憶手段）を備えており、データ分割装置１から送出される結合ファイルを、当該結合ファイルに含まれる結合前データの論理的な意味づけに依存した識別子を付して、結合ファイル記憶部２０に記憶させる。
【００２５】
続いて、図２を参照して、データ分割装置１の機能を説明する。図２は、データ分割装置１の機能的構成を示すブロック図である。
【００２６】
データ分割装置１は、機能的には、データ取得部１１、結合前データ一時蓄積部１２（結合前データ一時蓄積手段）、タイマ１３、データ結合部１４（選択パラメータ選択手段、結合候補ブロック選択手段、結合対象ブロック抽出手段、結合ファイル生成手段）及びデータ書き出し部１５（結合ファイル書き出し手段）を備える。
【００２７】
また、図３は、データ分割装置１のハードウエア構成図である。データ分割装置１は、物理的には、図３に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、ネットワークカード等のデータ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード及びマウス等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図２に示した各機能は、図３に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。
【００２８】
再び、図２を参照し、データ分割装置１の各機能部について詳細に説明する。
【００２９】
データ取得部１１は、データ生成ノードＮ１〜Ｎ３から送出された移動端末の位置情報を結合前データとして取得し、取得した結合前データを結合前データ一時蓄積部１２に記憶させる部分である。
【００３０】
結合前データ一時蓄積部１２は、結合前データを記憶する記憶手段である。図４は、結合前データ一時蓄積部１２の構成の一例を示す図である。本実施形態において、結合前データは、パラメータＡ，Ｂ，Ｃを有しており、パラメータＡの値は区分ａ１〜ａ１０のいずれかの範囲区分に属し、パラメータＢの値は区分ｂ１〜ｂ１０のいずれかの範囲区分に属し、パラメータＣの値は区分ｃ１〜ｃ１０のいずれかの範囲区分に属するものとする。ａ１〜ａ１０において、ａ（ｎ）の範囲区分は任意に設定可能だが、一例としてはａ（ｎ）−ｓ≦ｘ＜ａ（ｎ＋１）−ｓ（は０≦ｓ≦ａ（ｎ＋１）−ａ（ｎ）を満たす任意の数）となるｘの範囲とする。例えば、ａ１は０〜１（１を含む）、ａ２は１〜２（２を含む）、・・・ａ１０は９〜１０（１０を含む）の範囲区分を持つとし、ある結合前データがパラメータＡにおいてａ＝１．１となる値ａを保持する場合、それはａ２の範囲区分に属するものとする。図４に示すように、結合前データ一時蓄積部１２、パラメータＡ〜Ｃに同一の区分を有する複数の結合前データを管理するためのブロックｂｋを有する。図４に示す例では、結合前データ一時蓄積部１２は、１０００個（１０×１０×１０）のブロックｂｋを有する。以下の説明において、例えばパラメータＡの区分がａ１であり、パラメータＢの区分がｂ１であり、パラメータＣの区分がｃ１であるブロックｂｋを、「ブロックｂｋ（ａ１，ｂ１，ｃ１）」と表記する。なお、ブロックｂｋは、結合前データのまとまりとしての概念であり、１つのブロックｂｋは１つのファイルであっても良いし、ファイル内のレコードのまとまりであっても良い。
【００３１】
なお、本実施形態では、結合前データは３個のパラメータＡ，Ｂ，Ｃを有することとしたが、パラメータの数は３個に限られず、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有することとしてもよい。
【００３２】
データ取得部１１は、データ生成ノードＮ１〜Ｎ３から結合前データを取得すると、パラメータＡ〜Ｃの値を参照して、図４に示す結合前データ一時蓄積部１２においてパラメータの値が対応するブロックｂｋに結合前データを記憶させる。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）には、パラメータＡの区分がａ１、パラメータＢの区分がｂ１、パラメータＣの区分がｃ１である結合前データが含まれる。本実施形態では、例えばパラメータＡはデータ生成時刻、パラメータＢは地域、パラメータＣはデータ種別として対応付けることができる。
【００３３】
タイマ１３は、処理を一定時間ごとに実施するための契機をデータ結合部１４に出力する部分である。タイマ１３は、例えば１時間ごとに処理を開始する契機の通知をデータ結合部１４に出力することができる。
【００３４】
データ結合部１４は、複数のパラメータから選択された一のパラメータである選択パラメータを選択し、結合前データ一時蓄積部１２に蓄積された複数のブロックｂｋから、選択パラメータの値のみが異なる結合前データを含む複数のブロックｂｋを結合候補ブロックとして抽出し、抽出した結合候補ブロックをグループ化して結合候補ブロック群を１または複数形成する部分である。例えば、パラメータＡを選択パラメータとして選択した場合には、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個のブロックｂｋが結合候補ブロックとして抽出され、これらのブロックｂｋにより結合候補ブロック群が形成される。他のブロックｂｋについても同様に結合候補ブロック群が形成され、図４に示す例では最大で１００個の結合候補ブロック群が形成される。
【００３５】
また、データ結合部１４は、結合候補ブロック群ごとに、当該結合候補ブロック群から、結合候補ブロックに含まれる結合前データが所定容量や所定時間間隔などの一定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出する部分である。ここでは、データ容量およびデータの時間間隔をその分割基準とし、結合前データの容量の合計が予め定められた所定容量を超えるように結合対象ブロックを抽出する。また、一定時間間隔（所定時間の経過）でデータが分割されるように結合対象ブロックを抽出する。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個の結合候補ブロックにより構成される結合候補ブロック群において、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個の結合候補ブロックに含まれる結合前データの容量の合計が所定容量を超える場合には、これらの６個のブロックｂｋが結合対象ブロックとして抽出される。
【００３６】
さらに、データ結合部１４は、結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する部分である。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋが結合対象ブロックとして抽出された場合には、これらの６個のブロックｂｋに含まれる結合前データを結合して、結合ファイルが生成される。ここで生成される結合ファイルは、上記６個のブロックｂｋから生成されたので、以降の説明において、結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）と表記する。
【００３７】
また、データ結合部１４は、結合候補ブロックから結合対象ブロックとして抽出されなかったブロックｂｋである残結合候補ブロックに含まれる結合前データを結合して残結合ファイルを生成する部分でもある。上記のように、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋが結合対象ブロックとして抽出された場合には、ブロックｂｋ（ａ７，ｂ１，ｃ１）、ブロックｂｋ（ａ８，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の４個のブロックｂｋが残結合候補ブロックであり、これらの４個のブロックｂｋに含まれる結合前データを結合して残結合ファイル（ａ７〜ａ１０，ｂ１，ｃ１）が生成される。
【００３８】
なお、残結合候補ブロックから残結合ファイルが生成されるのは、残結合候補ブロックに含まれる結合前データの容量の合計が所定容量以下の場合である。例えば、ブロックｂｋ（ａ７，ｂ１，ｃ１）及びブロックｂｋ（ａ８，ｂ１，ｃ１）に含まれる結合前データの容量の合計が所定容量を超える場合には、ブロックｂｋ（ａ７，ｂ１，ｃ１）及びブロックｂｋ（ａ８，ｂ１，ｃ１）に含まれる結合前データを結合して、結合ファイル（ａ７〜ａ８，ｂ１，ｃ１）が生成され、残結合ファイル（ａ９〜ａ１０，ｂ１，ｃ１）が生成される。
【００３９】
一方、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個の結合候補ブロックに含まれる結合前データの容量の合計が所定容量を超えない場合には、データ結合部１４は、結合ファイルを生成せずに、これら１０個のブロックｂｋを１つにまとめた結合保留ブロックｂｋａ（ａ０，ｂ１，ｃ１）を生成する。ここで、「ａ０」は、ａ１〜ａ１０のどの区分とも異なり、結合保留ブロックｂｋａ（ａ０，ｂ１，ｃ１）に含まれる結合前データのパラメータＡの値が、ａ１〜ａ１０のいずれかの区分に属することを示す。
【００４０】
さらに、データ結合部１４は、結合前データ一時蓄積部１２において、一のブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えた場合には、当該ブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する部分でもある。例えば、ブロックｂｋ（ａ５，ｂ５，ｃ５）に含まれる結合前データの容量の合計が所定容量を超えた場合には、ブロックｂｋ（ａ５，ｂ５，ｃ５）に含まれる結合前データを結合して、結合ファイル（ａ５，ｂ５，ｃ５）が生成される。
【００４１】
データ結合部１４により生成される結合ファイル及び残結合ファイルには、当該結合ファイル及び当該残結合ファイルに含まれる結合前データのパラメータ区分により識別されるような識別子が付されるものとすることができる。
【００４２】
データ書き出し部１５は、データ結合部１４により生成された結合ファイル及び残結合ファイルを、外部ファイルシステム２の結合ファイル記憶部２０に書き出す部分である。また、データ書き出し部１５は、結合ファイル及び残結合ファイルに含まれて書き出される対象となった結合前データを、結合前データ一時蓄積部１２から消去する部分である。
【００４３】
データ結合部１４及びデータ書き出し部１５が実行する処理として、上記説明は、データ結合部１４が選択パラメータとしてパラメータＡを選択した場合を例として挙げているが、パラメータＢ及びパラメータＣを選択パラメータとして選択した場合の処理も順次行われる。なお、ここではパラメータに優先度があり、Ａ，Ｂ，Ｃの順に結合を優先するものとする。パラメータＡの処理で生成した結合保留ブロックｂｋａは、パラメータＢの処理で使用される。
【００４４】
なお、本実施形態では、上記の各機能部１１〜１５が、データ分割装置１に備えられていることとしているが、ネットワークを介して相互に通信可能な複数のサーバに分散して構成され、本発明のデータ分割システムが複数のサーバにより構成されることとしても良い。
【００４５】
続いて、本実施形態のデータ分割方法におけるデータ分割装置１の動作について説明する。図５は、データ分割装置１において実施される処理内容を示すフローチャートである。データ統合の契機は、所定容量や所定時間間隔などの一定の分割基準に従う。一定の分割基準として、例えば、結合前データ量に応じて結合処理を行う場合や、タイマ１３による一定時間経過後に結合処理を行う場合や、その複合などが考えられる。本実施形態では、その複合として、結合前データ量およびタイマ１３による時間をデータ統合の契機とする。図５に示す処理は、タイマ１３による時間の計測とは無関係に（タイマ１３による時間契機発動前に）、一のブロックｂｋに含まれる結合前データが所定容量を超えた場合に、当該ブロックｂｋに含まれる結合前データを結合して、結合ファイルとして書き出すものである。
【００４６】
まず、ステップＳ１において、データ取得部１１は、データ生成ノードＮ１〜Ｎ３からの結合前データの取得を試み、結合前データを取得したか否かを判断する。結合前データを取得した場合には、処理手順はステップＳ２に進められる。
【００４７】
続くステップＳ２において、データ取得部１１は、取得した結合前データを結合前データ一時蓄積部１２に記憶させる。この時、データ取得部１１は、結合前データのパラメータＡ〜Ｃの値が該当する区分を参照して、結合前データ一時蓄積部１２におけるパラメータＡ〜Ｃの区分に対応するブロックｂｋに結合前データを分類する。
【００４８】
続いて、ステップＳ３において、データ結合部１４は、ステップＳ２において結合前データが分類されたブロックｂｋにおける結合前データの容量を計算する。
【００４９】
次に、ステップＳ４において、データ結合部１４は、分割基準として、ステップＳ３において計算した結合前データの容量が所定容量以下であるか否かを判定する。結合前データの容量が所定容量以下である場合には、処理手順は終了し、結合前データの容量が所定容量以下でない場合には、処理手順はステップＳ５に進められる。
【００５０】
続いて、ステップＳ５において、データ結合部１４は、当該ブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する。
【００５１】
さらに、ステップＳ６において、データ書き出し部１５は、ステップＳ５において生成された結合ファイルを、当該ブロックｂｋのパラメータＡ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。例えば、パラメータＡ〜Ｃの区分の識別子はファイル名やファイル内のメタヘッダなどに付与されることが考えられる。
【００５２】
そして、ステップＳ７において、データ結合部１４は、結合前データの書き出しが行われた当該ブロックｂｋのデータを消去（クリア）し、当該ブロックｂｋごとに設けられている時間フラグ（図示せず）をセットする。この時間フラグがセットされていることは、タイマ１３から処理開始の契機が発せられる前に、当該ブロックｂｋに含まれる結合前データの書き出しが行われたことを意味する。
【００５３】
以上説明したステップＳ１〜Ｓ７の処理より、タイマ１３に設定された時間内に結合前データの容量の合計が所定容量を超えた一のブロックｂｋに含まれる結合前データは、結合前データの集合から、論理的な意味づけがあるものとして結合ファイルとして分割される。そして、この結合ファイルは、データ処理に好適な容量となる。
【００５４】
次に、図６〜９を用いてデータ分割装置１において実施される処理を説明する。図６〜９に示す処理は、タイマ１３により一定時間ごとに処理の契機がデータ結合部１４に出力され、データ結合部１４が一定時間ごとに結合前データを結合して、結合ファイルとして書き出す処理を実行するものである。
【００５５】
まずステップＳ１０において、データ結合部１４は、タイマ１３から処理の契機の通知を取得したか否かを判断する。処理の契機の通知を取得したと判断した場合には処理手順はステップＳ１１に進められる。
【００５６】
次に、ステップＳ１１において、データ結合部１４は、結合前データ一時蓄積部１２を参照して、結合前データが入っているブロックｂｋのうち一のブロックｂｋを選択する。
【００５７】
次に、ステップＳ１２において、データ結合部１４は、ステップＳ１１において選択したブロックｂｋの時間フラグがセットされているか否かを判定する。時間フラグがセットされていない場合には、処理手順はステップＳ１６に進められ、時間フラグがセットされていた場合には、処理手順はステップＳ１３に進められる。
【００５８】
続くステップＳ１３において、データ結合部１４は、当該ブロックｂｋに含まれている結合前データをそのまま結合ファイルとして生成する。そして、ステップＳ１４において、データ書き出し部１５は、ステップＳ１３において生成された結合ファイルを、当該ブロックｂｋのパラメータＡ〜Ｃによる識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。さらに、ステップＳ１５において、データ書き出し部１５は、結合前データ一時蓄積部１２における当該ブロックｂｋのデータを消去し、データ結合部１４は、結合前データ一時蓄積部１２における当該ブロックｂｋの時間フラグをクリアする。
【００５９】
そして、ステップＳ１６において、データ結合部１４は、結合前データ一時蓄積部１２を参照して、結合前データが入っている全てのブロックｂｋを選択したか否かを判断する。全てのブロックｂｋを選択していないと判断した場合には、処理手順はステップＳ１１に戻り、全てのブロックｂｋを選択したと判断した場合には、処理手順は、図７のステップＳ２１に進められる。
【００６０】
以上説明したステップＳ１１〜Ｓ１６の処理は、図５に示した処理において結合前データの書き出しが実施されたブロックｂｋに、当該書き出しが実施された後、且つタイマ１３からの処理の契機の通知が発せられるまでの間に結合前データが蓄積された場合に、蓄積された結合前データを結合ファイルとして書き出すものである。これにより、結合前データの容量の合計が所定容量を超えたことにより書き出しが実施されたブロックｂｋにおいて、当該書き出しの後に当該ブロックｂｋに蓄積された結合前データは、所定の容量に達しなくとも、論理的な意味づけがあるものとして結合前データの集合から結合ファイルとして分割されることとなる。これにより、同一区分のパラメータＡ，Ｂ，Ｃを持つデータだけを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには別のパラメータを持つデータが存在しないことを保証できる。ここにて分割できない未結合データは、異なる区分のパラメータＡを持つデータとあわせた上で分割基準に則り分割されることとなる。
【００６１】
次に図７を参照して、データ分割装置１において実施される処理を説明する。図７に示すステップＳ２１〜Ｓ３２の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＡを選択して行われるものである。
【００６２】
まず、ステップＳ２１において、データ結合部１４は、パラメータＢおよびＣが同一区分で、パラメータＡが異なるブロック群ｂｋに注目するために、パラメータＢおよびＣを選択する。例えば最初はパラメータＢをｂ１，パラメータＣをｃ１とする。後の説明において、ここで選択されたパラメータＢ，Ｃを固定パラメータと称する。このステップＳ２１は、全ての固定パラメータを選択するまで繰り返し実行される。ここでは、パラメータＢについてｂ１〜ｂ１０の１０分類、パラメータＣについてｃ１〜ｃ１０の１０分類があるため、１００回実行される。
【００６３】
次に、ステップＳ２２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ａフラグをクリアする。結合ブロックは、１又は複数のブロックｂｋに含まれる結合前データを結合したものを一時的に格納するためのブロックであり、結合前データ一時蓄積部１２に設けられる。また、結合Ａフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００６４】
続いて、ステップＳ２３において、データ結合部１４は、パラメータＢとＣが固定パラメータと同一区分のブロックｂｋを１つ選択する。ここで、ステップＳ２３〜Ｓ２８の処理の繰り返しにおいて選択される全てのブロックｂｋは、パラメータＢとＣが同一区分であって、パラメータＡが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えば固定パラメータがＢ＝ｂ１，Ｃ＝ｃ１である場合には、ステップＳ２３において、例えばブロックｂｋ（ａ１，ｂ１，ｃ１）が選択される。
【００６５】
次に、ステップＳ２４において、データ結合部１４は、ステップＳ２３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ２５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ２８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ２６に進められる。
【００６６】
続くステップＳ２６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックｂｋごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＢ，Ｃの区分が同一であり、パラメータＡの区分のみが異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００６７】
次に、ステップＳ２７において、データ書き出し部１５は、ステップＳ２６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋが、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋである場合には、「結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）」とすることができる。ステップＳ２３〜Ｓ２８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋは、本発明における結合対象ブロックを構成する。
【００６８】
また、ステップＳ２７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ２７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ２７において、データ結合部１４は、結合Ａフラグをセットする。
【００６９】
続くステップＳ２８において、データ結合部１４は、パラメータＢ，Ｃが同一区分の、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ２９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ２３に戻る。
【００７０】
全ての結合候補ブロックを選択したと判断されると、ステップＳ２９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ａフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされていると判断した場合には、処理手順はステップＳ３０に進められ、結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされていると判断しなかった場合には、処理手順はステップＳ３１に進められる。
【００７１】
結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋから結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）が生成されて書き出しが行われ、ブロックｂｋ（ａ７，ｂ１，ｃ１）、ブロックｂｋ（ａ８，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックｂｋは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ３０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＡ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、同一区分のパラメータＢ，Ｃを持つデータのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには異なる区分のパラメータＢおよびＣを持つデータが存在しないことを保証できる。
【００７２】
一方、ステップＳ２９からステップＳ３１に処理が進められる場合とは、パラメータＡの区分のみが異なるブロックｂｋから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ３１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＢ，Ｃの区分により識別される結合保留ブロックｂｋａに書き出す。例えば、ブロックｂｋ（ａ１，ｂ２，ｃ１）、ブロックｂｋ（ａ２，ｂ２，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ２，ｃ１）の１０個のブロックｂｋに含まれていた結合前データを結合保留ブロックに書き出した場合には、この結合保留ブロックの識別子を「（ａ０，ｂ２，ｃ１）」とすることができる。即ち、結合保留ブロックｂｋａ（ａ０，ｂ２，ｃ１）に含まれる結合前データは、パラメータＡの値がａ１〜ａ１０のいずれかの区分に属することとなる。従って、この結合保留ブロックｂｋａは、パラメータＡによる分割がなされていないことを保証し、パラメータＢ及びパラメータＣの区分により論理的な意味づけがなされることとなる。
【００７３】
次に、ステップＳ３２において、データ結合部１４は、全ての固定パラメータを選択したか否かを判断する。全ての固定パラメータを選択したと判断した場合には、処理手順は図８に示すステップＳ４１に進められ、全ての固定パラメータを選択していないと判断した場合には、処理手順はステップＳ２１に戻り、次の固定パラメータとして、例えばＢ＝ｂ２，Ｃ＝ｃ１を選択する。
【００７４】
上記のとおり、ステップＳ２１〜ステップＳ３２に示す処理は、データ結合部が選択パラメータとしてパラメータＡを選択した場合の処理であるので、処理手順がステップＳ４１に進められる時には、図４に示す結合前データ一時蓄積部１２に含まれるすべてのブロックｂｋは、パラメータＡの区分のみが異なるブロックｂｋ同士で結合されて結合ファイルまたは残結合ファイルとして結合ファイル記憶部２０に書き出されたか、結合保留ブロックｂｋａとして結合前データ一時蓄積部１２に残っているか、のいずれかである。図１０は、処理手順がステップＳ４１に進められる時における結合前データ一時蓄積部１２の一部の状態を例示したものである。図１０には、結合前データ一時蓄積部１２に残された結合保留ブロックｂｋａが示されている。また、符号ｂｋｖは、ブロックｂｋの書き出しが行われ、該当するブロックｂｋ及び結合前データが存在しないことを示している。
【００７５】
次に図８を参照して、データ分割装置１において実施される処理を説明する。図８に示すステップＳ４１〜Ｓ５２の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＢを選択して行われるものである。
【００７６】
まず、ステップＳ４１において、データ結合部１４は、パラメータＣが同一区分で、パラメータＢが異なるブロック群ｂｋａに注目するために、固定パラメータとして、あるパラメータＣを選択する。例えば最初はパラメータＣをｃ１とする。なお、ここで注目するブロック群ｂｋａは、上記のように、ステップＳ２１〜Ｓ３２において生成された結合保留ブロックｂｋａのうちのいずれかのものである（図１０参照）。このステップＳ４１は、全ての固定パラメータを選択するまで繰り返し実行される。ここでは、パラメータＣについてｃ１〜ｃ１０の１０分類があるため、１０回実行される。
【００７７】
次に、ステップＳ４２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ｂフラグをクリアする。結合Ｂフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００７８】
続いて、ステップＳ４３において、データ結合部１４は、パラメータＣが固定パラメータと同一区分のブロックｂｋａを１つ選択する。ここで選択されるブロックは、図１０に示す結合保留ブロックｂｋａのうちのいずれかのブロックである。また、ステップＳ４３〜Ｓ４８の処理の繰り返しにおいて選択される全てのブロックｂｋａは、パラメータＣが同一区分であって、パラメータＢが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えば固定パラメータがＣ＝ｃ１である場合には、ステップＳ４３において、例えばブロックｂｋａ（ａ０，ｂ２，ｃ１）が選択される。
【００７９】
次に、ステップＳ４４において、データ結合部１４は、ステップＳ４３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ４５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ４８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ４６に進められる。
【００８０】
続くステップＳ４６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＡに関して統合され、パラメータＣの区分が同一であり、パラメータＢの区分が異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００８１】
次に、ステップＳ４７において、データ書き出し部１５は、ステップＳ４６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋａが、ブロックｂｋａ（ａ０，ｂ２，ｃ１）、ブロックｂｋａ（ａ０，ｂ５，ｃ１）及びブロックｂｋａ（ａ０，ｂ６，ｃ１）の３個のブロックである場合には、「結合ファイル（ａ０，ｂ２〜ｂ６，ｃ１）」とすることができる。ステップＳ４３〜Ｓ４８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋａは、本発明における結合対象ブロックを構成する。
【００８２】
また、ステップＳ４７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ４７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ４７において、データ結合部１４は、結合Ｂフラグをセットする。
【００８３】
続くステップＳ４８において、データ結合部１４は、パラメータＣが同一区分の、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ４９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ４３に戻る。
【００８４】
全ての結合候補ブロックを選択したと判断されると、ステップＳ４９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ｂフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされていると判断した場合には、処理手順はステップＳ５０に進められ、結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされていると判断しなかった場合には、処理手順はステップＳ５１に進められる。
【００８５】
結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋａ（ａ０，ｂ２，ｃ１）、ブロックｂｋａ（ａ０，ｂ５，ｃ１）及びブロックｂｋａ（ａ０，ｂ６，ｃ１）の３個のブロックから、結合ファイル（ａ０，ｂ２〜ｂ６，ｃ１）が生成されて書き出しが行われ、ブロックｂｋａ（ａ０，ｂ９，ｃ１）、ブロックｂｋａ（ａ０，ｂ１０，ｃ１）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックｂｋａは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ５０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＢ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、同一区分のパラメータＣを持つ結合前データのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルは異なる区分のパラメータＣを持つデータが存在しないことを保証できる。
【００８６】
一方、ステップＳ４９からステップＳ５１に処理が進められる場合とは、パラメータＢの区分のみが異なるブロックｂｋａから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ５１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＣの区分により識別される結合保留ブロックｂｋｂに書き出す。例えば、結合前データの無いブロックｂｋｖを除く、ブロックｂｋａ（ａ０，ｂ１，ｃ２）、ブロックｂｋａ（ａ０，ｂ４，ｃ２）、ブロックｂｋａ（ａ０，ｂ８，ｃ２）、及びブロックｂｋａ（ａ０，ｂ９，ｃ２）の４個のブロック（結合保留ブロックｂｋａ）に含まれていた結合前データを結合保留ブロックｂｋｂに書き出した場合には、この結合保留ブロックｂｋｂの識別子を「（ａ０，ｂ０，ｃ２）」とすることができる。即ち、結合保留ブロックｂｋｂ（ａ０，ｂ０，ｃ２）に含まれる結合前データは、パラメータＡの値がａ１〜ａ１０のいずれか区分に属し、パラメータＢの値がｂ１〜ｂ１０のいずれか区分に属することとなる。従って、この結合保留ブロックｂｋｂは、パラメータＡおよびＢによる分割がなされていないことを保証し、パラメータＣの区分により論理的な意味づけがなされることとなる。
【００８７】
次に、ステップＳ５２において、データ結合部１４は、全ての固定パラメータを選択したか否かを判断する。全ての固定パラメータを選択したと判断した場合には、処理手順は図９に示すステップＳ６１に進められ、全ての選固定パラメータを選択していないと判断した場合には、処理手順はステップＳ４１に戻り、次の固定パラメータとして、例えばＣ＝ｃ２を選択する。
【００８８】
上記のとおり、ステップＳ４１〜ステップＳ５２に示す処理は、データ結合部が選択パラメータとしてパラメータＢを選択した場合の処理であるので、処理手順がステップＳ６１に進められる時には、図１０に示す結合前データ一時蓄積部１２に含まれるすべてのブロック（結合保留ブロックｂｋａ）は、パラメータＡおよびＢの区分が異なるブロック同士で結合されて結合ファイルまたは残結合ファイルとして結合ファイル記憶部２０に書き出されたか、結合保留ブロックとして結合前データ一時蓄積部１２に残っているか、のいずれかである。図１１には、結合前データ一時蓄積部１２に残された結合保留ブロックｂｋｂが示されている。また、符号ｂｋｗは、ブロックの書き出しが行われ、該当するブロック及び結合前データが存在しないことを示している。
【００８９】
次に図９を参照して、データ分割装置１において実施される処理を説明する。図９に示すステップＳ６１〜Ｓ７１の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＣを選択して行われるものである。
【００９０】
まず、ステップＳ６１において、データ結合部１４は、パラメータＣが異なるブロック群ｂｋｂに注目するために、固定パラメータを解除する。つまり、最後のパラメータＣにおいては、ステップＳ４１を固定パラメータの数だけ繰り返し処理するのではなく、１回のみの処理が行われる。なお、ここで注目するブロック群ｂｋｂは、上記のように、ステップＳ４１〜Ｓ５２において生成された結合保留ブロックｂｋｂのうちのいずれかのものである（図１１参照）。
【００９１】
次に、ステップＳ６２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ｃフラグをクリアする。結合Ｃフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００９２】
続いて、ステップＳ６３において、データ結合部１４は、ブロックｂｋｂを１つ選択する。ここで選択されるブロックは、図１１に示す結合保留ブロックｂｋｂのうちのいずれかのブロックである。また、ステップＳ６３〜Ｓ６８の処理の繰り返しにおいて選択される全てのブロックｂｋｂは、パラメータＣが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えばステップＳ６３において、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）が選択される。
【００９３】
次に、ステップＳ６４において、データ結合部１４は、ステップＳ６３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ６５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ６８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ６６に進められる。
【００９４】
続くステップＳ６６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＡ，Ｂに関して統合され、パラメータＣの区分が異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００９５】
次に、ステップＳ６７において、データ書き出し部１５は、ステップＳ６６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋｂが、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）及びブロックｂｋｂ（ａ０，ｂ０，ｃ８）の３個のブロックである場合には、「結合ファイル（ａ０，ｂ０，ｃ４〜ｃ８）」とすることができる。ステップＳ６３〜Ｓ６８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋｂは、本発明における結合対象ブロックを構成する。
【００９６】
また、ステップＳ６７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ６７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ６７において、データ結合部１４は、結合Ｃフラグをセットする。
【００９７】
続くステップＳ６８において、データ結合部１４は、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ６９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ６３に戻る。
【００９８】
全ての結合候補ブロックを選択したと判断されると、ステップＳ６９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ｃフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされていると判断した場合には、処理手順はステップＳ７０に進められ、結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされていると判断しなかった場合には、処理手順はステップＳ７１に進められる。
【００９９】
結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）及びブロックｂｋｂ（ａ０，ｂ０，ｃ８）の３個のブロックから、結合ファイル（ａ０，ｂ０，ｃ４〜ｃ８）が生成されて書き出しが行われ、ブロックｂｋｂ（ａ０，ｂ０，ｃ１０）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ７０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＣの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、全ての結合前データを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができる。
【０１００】
一方、ステップＳ６９からステップＳ７１に処理が進められる場合とは、パラメータＣの区分のみが異なるブロックｂｋｂから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ７１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＣの区分により識別される結合ファイルとして、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。例えば、結合前データの無いブロックｂｋｗを除く、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）、ブロックｂｋｂ（ａ０，ｂ０，ｃ８）、及びブロックｂｋｂ（ａ０，ｂ０，ｃ１０）の４個のブロック（結合保留ブロックｂｋｂ）に含まれていた結合前データの容量の合計が所定容量を超えなかった場合に、ステップＳ７１に示す処理が行われる。これにより、結合前データ一時蓄積部１２に記憶されていた全ての結合前データの書き出しが完了する。こうして、データ分割装置１において実施されるデータ分割処理が終了する。
【０１０１】
なお、本実施形態では便宜的にｂｋ、ｂｋａ、ｂｋｂを区別しているが、ブロック配列内部の引数が混同しないため、単一のブロック配列ｂｋに集約することも可能である。また、ｂｋｖ、ｂｋｗについても、そのブロック内のデータ量を確認することで容易にｂｋａやｂｋｂと区別がつくため、同一のブロック配列に集約することも可能である。
【０１０２】
なお、本実施形態では、結合前データは３個のパラメータＡ，Ｂ，Ｃを有することとし、パラメータＡを選択パラメータとして選択した場合の処理をステップＳ２１〜Ｓ３２（図７）、パラメータＢを選択パラメータとして選択した場合の処理をステップＳ４１〜Ｓ５２（図８）、パラメータＣを選択パラメータとして選択した場合の処理をステップＳ６１〜Ｓ７１（図９）に示した。これに対し、結合前データが、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有する場合には、データ結合部１４は、ｎ個のパラメータを順次、選択パラメータとしてｎ回選択し、選択した選択パラメータごとにステップＳ２１〜Ｓ３２、ステップＳ４１〜Ｓ５２、またはステップＳ６１〜Ｓ７１に示す処理をｎ回順次実行する。この場合には、パラメータごとに順次、ブロックを結合して結合前データの集合から結合ファイルを分割、生成する処理が行われるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割、生成することができる。
【０１０３】
なお、結合前データが３個のパラメータＡ，Ｂ，Ｃを有しつつ、結合・分割処理はＡ，Ｂについてのみ行い、Ｃについては行わないといったこともできる。この場合、パラメータＡについてはステップＳ２１〜Ｓ３２を行い、パラメータＢについてはステップＳ４１〜Ｓ５２を行うが、Ｓ５１において結合保留ブロックを生成せず、Ｓ７１の処理と同様にファイルに書き出す。これにより、パラメータＣのく分については統合されることなく、同一ファイル内には単一のパラメータＣの区分のデータが存在することを保証することができる。
【０１０４】
続いて、以上説明したデータ分割システム及びデータ分割方法の作用効果について説明する。本実施形態のデータ分割システム及びデータ分割方法では、選択パラメータの値が異なるブロックｂｋが結合候補ブロックとしてデータ結合部１４により選択されるので、結合されるブロックｂｋに含まれる結合前データは、既に処理された選択パラメータについてはファイルに分割されて書き出されるか結合保留ブロックとして統合され、未処理の選択パラメータについては、選択パラメータ以外の未選択パラメータ値が同一区分である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、ブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えるように、データ結合部１４により、結合対象ブロックが抽出され、抽出された結合対象ブロックを結合して結合ファイルが生成され、データ書き出し部１５により、結合ファイル記憶部２０に書き出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【０１０５】
本実施形態のデータ分割システムでは、ブロックｂｋに含まれる結合前データの容量の合計が所定容量に達していなくとも、データ結合部１４により、結合ファイルとして分割、書き出しが行われた結合前データと論理的な意味づけを有する結合前データが残結合候補ブロックとして抽出され、抽出された残結合候補ブロックから残結合ファイルが生成され、データ書き出し部１５により、生成された残結合ファイルを結合ファイル記憶部２０に書き出すことができる。これにより、結合ファイルに含まれる結合前データ間における論理的意味づけと同一の論理的意味づけを有する結合前データを、結合前データ一時蓄積手段に残さないようにすることができる。これにより、同一区分の未選択パラメータを持つデータのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには異なる区分の未選択パラメータを持つデータが存在しないことを保証できる。
【０１０６】
また、本実施形態のデータ分割システムでは、結合前データ一時蓄積部１２において、一のブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えた場合には、データ結合部１４は、一のブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する。一のブロックｂｋに含まれる複数の結合前データは、同一区分のパラメータ値を有するので、互いに論理的な意味づけを有する。従って、データ書き出し部１５により、これらの論理的な意味づけを有する複数の結合前データが結合ファイルとして書き出されることとなるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【符号の説明】
【０１０７】
１…データ分割装置、１１…データ取得部、１２…結合前データ一時蓄積部、１３…タイマ、１４…データ結合部、１５…データ書き出し部、２…外部ファイルシステム、２０…結合ファイル記憶部、Ｎ１，Ｎ２，Ｎ３…データ生成ノード、ｂｋ…ブロック、ｂｋａ，ｂｋｂ…結合保留ブロック。
【技術分野】
【０００１】
本発明は、データ分割システム及びデータ分割方法に関する。
【背景技術】
【０００２】
従来、所定のデータ処理を行うシステムにおいて、大量に蓄積されたデータを分割して処理を行う場合には、例えば一定のデータ量ごとに分割して、分割されたデータ群に対して処理を実施していた。また、蓄積されるデータが何らかの属性を有する場合には、その属性ごとにデータを分類する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５２４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
蓄積された大量のデータについて各種処理を実施する場合において、大量のデータを単に一定の容量ごとのデータ群に分割したのでは、分割した複数のデータ群の全てのデータを参照する必要があった。また、蓄積されたデータが属性（パラメータ）を有しており、単に属性ごとに分割してファイルを生成した場合であっても、分割単位が細かすぎると、１つのファイルの容量が小さくなり、ファイル数が膨大になり、後に実施するデータ処理の効率が悪い。
【０００５】
そこで、本発明は、かかる問題点に鑑みてなされたものであり、処理に好適な容量に大量のデータを分割するに際して、論理的に適切な基準で分割することによりデータ処理の効率を向上させることが可能なデータ分割システム及びデータ分割方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のデータ分割システムは、複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割したファイルを所定の記憶手段に書き出すデータ分割システムであって、複数のパラメータに同一の範囲区分に属する値を有する結合前データを、結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段と、複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択手段と、結合前データ一時蓄積手段に蓄積された複数のブロックから、選択パラメータ選択手段により選択された選択パラメータの値のみが異なる結合前データを含む複数のブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成するブロック選択処理を実行する結合候補ブロック選択手段と、結合候補ブロック選択手段により形成された結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出するブロック抽出処理を実行する結合対象ブロック抽出手段と、結合対象ブロック抽出手段により抽出された結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成処理を実行する結合ファイル生成手段と、結合ファイル生成手段により生成された結合ファイルを所定の記憶手段に記憶させると共に、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する書き出し処理を実行する結合ファイル書き出し手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のデータ分割方法は、複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割したファイルを所定の記憶手段に書き出すデータ分割方法であって、複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択ステップと、複数のパラメータに同一の範囲区分に属する値を有する結合前データを、結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段に蓄積された複数のブロックから、選択パラメータ選択ステップにおいて選択された選択パラメータの値のみが異なる結合前データを含む複数のブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成する結合候補ブロック選択ステップと、結合候補ブロック選択ステップにおいて形成された結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出する結合対象ブロック抽出ステップと、結合対象ブロック抽出ステップにおいて抽出された結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成ステップと、結合ファイル生成ステップにおいて生成された結合ファイルを、所定の記憶手段に記憶させると共に、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する結合ファイル書き出しステップとを有することを特徴とする。
【０００８】
本発明のデータ分割システム及びデータ分割方法では、選択パラメータの値のみが異なるブロックが結合候補ブロックとして選択されるので、結合されるブロックに含まれる結合前データは、選択パラメータ以外のパラメータ値が同一である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、所定の分割基準を満たすように、結合対象ブロックが抽出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【０００９】
また、本発明のデータ分割システムでは、結合対象ブロック抽出手段は、所定の分割基準として、結合候補ブロックに含まれる結合前データの容量の合計が予め定められた所定容量を超えるように、または、予め定められた所定時間が経過したときに、結合候補ブロック群から１または複数の結合候補ブロックを結合対象ブロックとして抽出することを特徴とする。
【００１０】
この場合には、結合候補ブロック群から結合候補ブロックを結合対象ブロックとして抽出する際の分割基準として、結合候補ブロックに含まれる結合前データの容量、及び一定の時間間隔（所定時間の経過）等の複数の基準で定義できる。これにより、結合前データの容量の合計が予め定められた所定容量を超えるように結合対象ブロックを抽出し、一定時間間隔でデータが分割されるように結合対象ブロックを抽出することができる。従って、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【００１１】
また、本発明のデータ分割システムでは、結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、選択パラメータ選択手段は、選択パラメータとして、複数のパラメータから第１〜第ｎのパラメータを順次選択し、選択パラメータ選択手段により選択パラメータとして選択された第１〜第ｎのパラメータごとに、結合候補ブロック選択手段によるブロック選択処理、結合対象ブロック抽出手段によるブロック抽出処理、結合ファイル生成手段による結合ファイル生成処理、及び結合ファイル書き出し手段による書き出し処理が、最大ｎ回順次実行されることを特徴とする。
【００１２】
また、本発明のデータ分割方法では、結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、選択パラメータ選択ステップ、結合候補ブロック選択ステップ、結合対象ブロック抽出ステップ、結合ファイル生成ステップ、及び結合ファイル書き出しステップを、第１〜第ｎのパラメータごとに最大ｎ回順次実行することを特徴とする。
【００１３】
これらの構成では、結合前データが第１〜第ｎの複数のパラメータを有する場合において、各パラメータごとに順次、ブロックを結合して結合前データの集合から結合ファイルを分割、生成する処理が行われるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【００１４】
また、本発明のデータ分割システムでは、結合ファイル生成手段は、結合候補ブロックから結合対象ブロックとして抽出されなかったブロックである残結合候補ブロックに含まれる結合前データを結合して残結合ファイルを生成し、結合ファイル書き出し手段は、結合ファイル生成手段により生成された残結合ファイルを所定の記憶手段に記憶させると共に、残結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去することを特徴とする。
【００１５】
この場合には、ブロックに含まれる結合前データの容量の合計が所定容量に達していないなど、一定の分割基準を満たしていなくとも、結合ファイルとして分割、書き出しが行われた結合前データと論理的な意味づけを有する結合前データを残結合ファイルとして書き出すことができる。これにより、結合ファイルに含まれる結合前データ間における論理的意味づけと同一の論理的意味づけを有する結合前データを、結合前データ一時蓄積手段に残さないようにすることができる。
【００１６】
また、本発明のデータ分割システムでは、結合前データ一時蓄積手段において、一のブロックに含まれる結合前データが所定の分割基準を満たした場合には、結合ファイル生成手段は、一のブロックに含まれる結合前データを結合して結合ファイルを生成することを特徴とする。
【００１７】
一のブロックに含まれる複数の結合前データは、同一範囲区分のパラメータ値を有するので、互いに論理的な意味づけを有する。この構成では、これらの論理的な意味づけを有する複数の結合前データが結合ファイルとして書き出されるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【発明の効果】
【００１８】
本発明のデータ分割システム及びデータ分割方法によれば、選択パラメータの値のみが異なるブロックが結合候補ブロックとして選択されるので、結合されるブロックに含まれる結合前データは、選択パラメータ以外のパラメータ値が同一範囲区分である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、ブロックに含まれる結合前データの容量の合計が所定容量を超えるなどの所定の分割基準を満たすように、結合対象ブロックが抽出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。また、選択パラメータは単一ではなく、再帰的に複数のパラメータにて再帰的に結合候補ブロックの選択および結合対象ブロックの抽出が行われる。従って、分割されたデータを用いたデータ処理の効率を向上させることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】実施形態に係るデータ分割システム及びデータ生成ノードを含む全体構成図である。
【図２】データ分割装置の機能的構成を示すブロック図である。
【図３】データ分割装置のハードブロック図である。
【図４】結合前データ一時蓄積部の構成の一例を示す図である。
【図５】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図６】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図７】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図８】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図９】データ分割システムにおいて実施されるデータ分割方法の処理内容を示すフローチャートである。
【図１０】データ分割方法の処理の過程における結合前データ一時蓄積部の一部の状態を例示した図である。
【図１１】データ分割方法の処理の過程における結合前データ一時蓄積部の一部の状態を例示した図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態に係るデータ分割システムについて図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２１】
図１は、本発明の実施形態に係るデータ分割装置１を含むシステムの全体構成図である。図１に示すように、データ分割装置１を含むシステムは、データ生成ノードＮ１〜Ｎ３及び外部ファイルシステム２を含む。
【００２２】
データ分割装置１は、データ生成ノードＮ１〜Ｎ３から送信されるデータをデータの集合として一時蓄積し、蓄積したデータを複数のファイルに分割して所定の記憶手段を有する外部ファイルシステム２に書き出す装置であり、例えばサーバ装置により構成される。以降の説明では、データ生成ノードＮ１〜Ｎ３から送信されるデータを結合前データと称する。結合前データは複数のパラメータを有している。
【００２３】
データ生成ノードＮ１〜Ｎ３はそれぞれ、結合前データを生成してデータ分割装置１に送信する装置であり、例えばサーバ装置により構成される。本実施形態では、データ生成ノードＮ１〜Ｎ３は、移動端末の位置情報を収集する装置であり、結合前データは、移動端末の位置情報のデータである。位置情報は、例えば、地域、データ種別、時刻、情報源等のパラメータを有することができる。また、何れかのデータ生成ノードＮ１〜Ｎ３からデータ分割装置１に位置情報が送信される際には、データ生成ノードＮ１〜Ｎ３の識別子がパラメータとして付される。このように、本実施形態における結合前データは、上記のパラメータを有する位置情報である。なお、本実施形態では、３つのデータ生成ノードＮ１〜Ｎ３を図示しているが、データ生成ノードの数はこれに限られない。
【００２４】
外部ファイルシステム２は、結合ファイル記憶部２０（所定の記憶手段）を備えており、データ分割装置１から送出される結合ファイルを、当該結合ファイルに含まれる結合前データの論理的な意味づけに依存した識別子を付して、結合ファイル記憶部２０に記憶させる。
【００２５】
続いて、図２を参照して、データ分割装置１の機能を説明する。図２は、データ分割装置１の機能的構成を示すブロック図である。
【００２６】
データ分割装置１は、機能的には、データ取得部１１、結合前データ一時蓄積部１２（結合前データ一時蓄積手段）、タイマ１３、データ結合部１４（選択パラメータ選択手段、結合候補ブロック選択手段、結合対象ブロック抽出手段、結合ファイル生成手段）及びデータ書き出し部１５（結合ファイル書き出し手段）を備える。
【００２７】
また、図３は、データ分割装置１のハードウエア構成図である。データ分割装置１は、物理的には、図３に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、ネットワークカード等のデータ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード及びマウス等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図２に示した各機能は、図３に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。
【００２８】
再び、図２を参照し、データ分割装置１の各機能部について詳細に説明する。
【００２９】
データ取得部１１は、データ生成ノードＮ１〜Ｎ３から送出された移動端末の位置情報を結合前データとして取得し、取得した結合前データを結合前データ一時蓄積部１２に記憶させる部分である。
【００３０】
結合前データ一時蓄積部１２は、結合前データを記憶する記憶手段である。図４は、結合前データ一時蓄積部１２の構成の一例を示す図である。本実施形態において、結合前データは、パラメータＡ，Ｂ，Ｃを有しており、パラメータＡの値は区分ａ１〜ａ１０のいずれかの範囲区分に属し、パラメータＢの値は区分ｂ１〜ｂ１０のいずれかの範囲区分に属し、パラメータＣの値は区分ｃ１〜ｃ１０のいずれかの範囲区分に属するものとする。ａ１〜ａ１０において、ａ（ｎ）の範囲区分は任意に設定可能だが、一例としてはａ（ｎ）−ｓ≦ｘ＜ａ（ｎ＋１）−ｓ（は０≦ｓ≦ａ（ｎ＋１）−ａ（ｎ）を満たす任意の数）となるｘの範囲とする。例えば、ａ１は０〜１（１を含む）、ａ２は１〜２（２を含む）、・・・ａ１０は９〜１０（１０を含む）の範囲区分を持つとし、ある結合前データがパラメータＡにおいてａ＝１．１となる値ａを保持する場合、それはａ２の範囲区分に属するものとする。図４に示すように、結合前データ一時蓄積部１２、パラメータＡ〜Ｃに同一の区分を有する複数の結合前データを管理するためのブロックｂｋを有する。図４に示す例では、結合前データ一時蓄積部１２は、１０００個（１０×１０×１０）のブロックｂｋを有する。以下の説明において、例えばパラメータＡの区分がａ１であり、パラメータＢの区分がｂ１であり、パラメータＣの区分がｃ１であるブロックｂｋを、「ブロックｂｋ（ａ１，ｂ１，ｃ１）」と表記する。なお、ブロックｂｋは、結合前データのまとまりとしての概念であり、１つのブロックｂｋは１つのファイルであっても良いし、ファイル内のレコードのまとまりであっても良い。
【００３１】
なお、本実施形態では、結合前データは３個のパラメータＡ，Ｂ，Ｃを有することとしたが、パラメータの数は３個に限られず、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有することとしてもよい。
【００３２】
データ取得部１１は、データ生成ノードＮ１〜Ｎ３から結合前データを取得すると、パラメータＡ〜Ｃの値を参照して、図４に示す結合前データ一時蓄積部１２においてパラメータの値が対応するブロックｂｋに結合前データを記憶させる。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）には、パラメータＡの区分がａ１、パラメータＢの区分がｂ１、パラメータＣの区分がｃ１である結合前データが含まれる。本実施形態では、例えばパラメータＡはデータ生成時刻、パラメータＢは地域、パラメータＣはデータ種別として対応付けることができる。
【００３３】
タイマ１３は、処理を一定時間ごとに実施するための契機をデータ結合部１４に出力する部分である。タイマ１３は、例えば１時間ごとに処理を開始する契機の通知をデータ結合部１４に出力することができる。
【００３４】
データ結合部１４は、複数のパラメータから選択された一のパラメータである選択パラメータを選択し、結合前データ一時蓄積部１２に蓄積された複数のブロックｂｋから、選択パラメータの値のみが異なる結合前データを含む複数のブロックｂｋを結合候補ブロックとして抽出し、抽出した結合候補ブロックをグループ化して結合候補ブロック群を１または複数形成する部分である。例えば、パラメータＡを選択パラメータとして選択した場合には、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個のブロックｂｋが結合候補ブロックとして抽出され、これらのブロックｂｋにより結合候補ブロック群が形成される。他のブロックｂｋについても同様に結合候補ブロック群が形成され、図４に示す例では最大で１００個の結合候補ブロック群が形成される。
【００３５】
また、データ結合部１４は、結合候補ブロック群ごとに、当該結合候補ブロック群から、結合候補ブロックに含まれる結合前データが所定容量や所定時間間隔などの一定の分割基準を満たすように、１または複数の結合候補ブロックを結合対象ブロックとして抽出する部分である。ここでは、データ容量およびデータの時間間隔をその分割基準とし、結合前データの容量の合計が予め定められた所定容量を超えるように結合対象ブロックを抽出する。また、一定時間間隔（所定時間の経過）でデータが分割されるように結合対象ブロックを抽出する。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個の結合候補ブロックにより構成される結合候補ブロック群において、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個の結合候補ブロックに含まれる結合前データの容量の合計が所定容量を超える場合には、これらの６個のブロックｂｋが結合対象ブロックとして抽出される。
【００３６】
さらに、データ結合部１４は、結合対象ブロックに含まれる結合前データを結合して、結合候補ブロック群ごとに１または複数の結合ファイルを生成する部分である。例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋが結合対象ブロックとして抽出された場合には、これらの６個のブロックｂｋに含まれる結合前データを結合して、結合ファイルが生成される。ここで生成される結合ファイルは、上記６個のブロックｂｋから生成されたので、以降の説明において、結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）と表記する。
【００３７】
また、データ結合部１４は、結合候補ブロックから結合対象ブロックとして抽出されなかったブロックｂｋである残結合候補ブロックに含まれる結合前データを結合して残結合ファイルを生成する部分でもある。上記のように、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋが結合対象ブロックとして抽出された場合には、ブロックｂｋ（ａ７，ｂ１，ｃ１）、ブロックｂｋ（ａ８，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の４個のブロックｂｋが残結合候補ブロックであり、これらの４個のブロックｂｋに含まれる結合前データを結合して残結合ファイル（ａ７〜ａ１０，ｂ１，ｃ１）が生成される。
【００３８】
なお、残結合候補ブロックから残結合ファイルが生成されるのは、残結合候補ブロックに含まれる結合前データの容量の合計が所定容量以下の場合である。例えば、ブロックｂｋ（ａ７，ｂ１，ｃ１）及びブロックｂｋ（ａ８，ｂ１，ｃ１）に含まれる結合前データの容量の合計が所定容量を超える場合には、ブロックｂｋ（ａ７，ｂ１，ｃ１）及びブロックｂｋ（ａ８，ｂ１，ｃ１）に含まれる結合前データを結合して、結合ファイル（ａ７〜ａ８，ｂ１，ｃ１）が生成され、残結合ファイル（ａ９〜ａ１０，ｂ１，ｃ１）が生成される。
【００３９】
一方、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）の１０個の結合候補ブロックに含まれる結合前データの容量の合計が所定容量を超えない場合には、データ結合部１４は、結合ファイルを生成せずに、これら１０個のブロックｂｋを１つにまとめた結合保留ブロックｂｋａ（ａ０，ｂ１，ｃ１）を生成する。ここで、「ａ０」は、ａ１〜ａ１０のどの区分とも異なり、結合保留ブロックｂｋａ（ａ０，ｂ１，ｃ１）に含まれる結合前データのパラメータＡの値が、ａ１〜ａ１０のいずれかの区分に属することを示す。
【００４０】
さらに、データ結合部１４は、結合前データ一時蓄積部１２において、一のブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えた場合には、当該ブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する部分でもある。例えば、ブロックｂｋ（ａ５，ｂ５，ｃ５）に含まれる結合前データの容量の合計が所定容量を超えた場合には、ブロックｂｋ（ａ５，ｂ５，ｃ５）に含まれる結合前データを結合して、結合ファイル（ａ５，ｂ５，ｃ５）が生成される。
【００４１】
データ結合部１４により生成される結合ファイル及び残結合ファイルには、当該結合ファイル及び当該残結合ファイルに含まれる結合前データのパラメータ区分により識別されるような識別子が付されるものとすることができる。
【００４２】
データ書き出し部１５は、データ結合部１４により生成された結合ファイル及び残結合ファイルを、外部ファイルシステム２の結合ファイル記憶部２０に書き出す部分である。また、データ書き出し部１５は、結合ファイル及び残結合ファイルに含まれて書き出される対象となった結合前データを、結合前データ一時蓄積部１２から消去する部分である。
【００４３】
データ結合部１４及びデータ書き出し部１５が実行する処理として、上記説明は、データ結合部１４が選択パラメータとしてパラメータＡを選択した場合を例として挙げているが、パラメータＢ及びパラメータＣを選択パラメータとして選択した場合の処理も順次行われる。なお、ここではパラメータに優先度があり、Ａ，Ｂ，Ｃの順に結合を優先するものとする。パラメータＡの処理で生成した結合保留ブロックｂｋａは、パラメータＢの処理で使用される。
【００４４】
なお、本実施形態では、上記の各機能部１１〜１５が、データ分割装置１に備えられていることとしているが、ネットワークを介して相互に通信可能な複数のサーバに分散して構成され、本発明のデータ分割システムが複数のサーバにより構成されることとしても良い。
【００４５】
続いて、本実施形態のデータ分割方法におけるデータ分割装置１の動作について説明する。図５は、データ分割装置１において実施される処理内容を示すフローチャートである。データ統合の契機は、所定容量や所定時間間隔などの一定の分割基準に従う。一定の分割基準として、例えば、結合前データ量に応じて結合処理を行う場合や、タイマ１３による一定時間経過後に結合処理を行う場合や、その複合などが考えられる。本実施形態では、その複合として、結合前データ量およびタイマ１３による時間をデータ統合の契機とする。図５に示す処理は、タイマ１３による時間の計測とは無関係に（タイマ１３による時間契機発動前に）、一のブロックｂｋに含まれる結合前データが所定容量を超えた場合に、当該ブロックｂｋに含まれる結合前データを結合して、結合ファイルとして書き出すものである。
【００４６】
まず、ステップＳ１において、データ取得部１１は、データ生成ノードＮ１〜Ｎ３からの結合前データの取得を試み、結合前データを取得したか否かを判断する。結合前データを取得した場合には、処理手順はステップＳ２に進められる。
【００４７】
続くステップＳ２において、データ取得部１１は、取得した結合前データを結合前データ一時蓄積部１２に記憶させる。この時、データ取得部１１は、結合前データのパラメータＡ〜Ｃの値が該当する区分を参照して、結合前データ一時蓄積部１２におけるパラメータＡ〜Ｃの区分に対応するブロックｂｋに結合前データを分類する。
【００４８】
続いて、ステップＳ３において、データ結合部１４は、ステップＳ２において結合前データが分類されたブロックｂｋにおける結合前データの容量を計算する。
【００４９】
次に、ステップＳ４において、データ結合部１４は、分割基準として、ステップＳ３において計算した結合前データの容量が所定容量以下であるか否かを判定する。結合前データの容量が所定容量以下である場合には、処理手順は終了し、結合前データの容量が所定容量以下でない場合には、処理手順はステップＳ５に進められる。
【００５０】
続いて、ステップＳ５において、データ結合部１４は、当該ブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する。
【００５１】
さらに、ステップＳ６において、データ書き出し部１５は、ステップＳ５において生成された結合ファイルを、当該ブロックｂｋのパラメータＡ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。例えば、パラメータＡ〜Ｃの区分の識別子はファイル名やファイル内のメタヘッダなどに付与されることが考えられる。
【００５２】
そして、ステップＳ７において、データ結合部１４は、結合前データの書き出しが行われた当該ブロックｂｋのデータを消去（クリア）し、当該ブロックｂｋごとに設けられている時間フラグ（図示せず）をセットする。この時間フラグがセットされていることは、タイマ１３から処理開始の契機が発せられる前に、当該ブロックｂｋに含まれる結合前データの書き出しが行われたことを意味する。
【００５３】
以上説明したステップＳ１〜Ｓ７の処理より、タイマ１３に設定された時間内に結合前データの容量の合計が所定容量を超えた一のブロックｂｋに含まれる結合前データは、結合前データの集合から、論理的な意味づけがあるものとして結合ファイルとして分割される。そして、この結合ファイルは、データ処理に好適な容量となる。
【００５４】
次に、図６〜９を用いてデータ分割装置１において実施される処理を説明する。図６〜９に示す処理は、タイマ１３により一定時間ごとに処理の契機がデータ結合部１４に出力され、データ結合部１４が一定時間ごとに結合前データを結合して、結合ファイルとして書き出す処理を実行するものである。
【００５５】
まずステップＳ１０において、データ結合部１４は、タイマ１３から処理の契機の通知を取得したか否かを判断する。処理の契機の通知を取得したと判断した場合には処理手順はステップＳ１１に進められる。
【００５６】
次に、ステップＳ１１において、データ結合部１４は、結合前データ一時蓄積部１２を参照して、結合前データが入っているブロックｂｋのうち一のブロックｂｋを選択する。
【００５７】
次に、ステップＳ１２において、データ結合部１４は、ステップＳ１１において選択したブロックｂｋの時間フラグがセットされているか否かを判定する。時間フラグがセットされていない場合には、処理手順はステップＳ１６に進められ、時間フラグがセットされていた場合には、処理手順はステップＳ１３に進められる。
【００５８】
続くステップＳ１３において、データ結合部１４は、当該ブロックｂｋに含まれている結合前データをそのまま結合ファイルとして生成する。そして、ステップＳ１４において、データ書き出し部１５は、ステップＳ１３において生成された結合ファイルを、当該ブロックｂｋのパラメータＡ〜Ｃによる識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。さらに、ステップＳ１５において、データ書き出し部１５は、結合前データ一時蓄積部１２における当該ブロックｂｋのデータを消去し、データ結合部１４は、結合前データ一時蓄積部１２における当該ブロックｂｋの時間フラグをクリアする。
【００５９】
そして、ステップＳ１６において、データ結合部１４は、結合前データ一時蓄積部１２を参照して、結合前データが入っている全てのブロックｂｋを選択したか否かを判断する。全てのブロックｂｋを選択していないと判断した場合には、処理手順はステップＳ１１に戻り、全てのブロックｂｋを選択したと判断した場合には、処理手順は、図７のステップＳ２１に進められる。
【００６０】
以上説明したステップＳ１１〜Ｓ１６の処理は、図５に示した処理において結合前データの書き出しが実施されたブロックｂｋに、当該書き出しが実施された後、且つタイマ１３からの処理の契機の通知が発せられるまでの間に結合前データが蓄積された場合に、蓄積された結合前データを結合ファイルとして書き出すものである。これにより、結合前データの容量の合計が所定容量を超えたことにより書き出しが実施されたブロックｂｋにおいて、当該書き出しの後に当該ブロックｂｋに蓄積された結合前データは、所定の容量に達しなくとも、論理的な意味づけがあるものとして結合前データの集合から結合ファイルとして分割されることとなる。これにより、同一区分のパラメータＡ，Ｂ，Ｃを持つデータだけを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには別のパラメータを持つデータが存在しないことを保証できる。ここにて分割できない未結合データは、異なる区分のパラメータＡを持つデータとあわせた上で分割基準に則り分割されることとなる。
【００６１】
次に図７を参照して、データ分割装置１において実施される処理を説明する。図７に示すステップＳ２１〜Ｓ３２の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＡを選択して行われるものである。
【００６２】
まず、ステップＳ２１において、データ結合部１４は、パラメータＢおよびＣが同一区分で、パラメータＡが異なるブロック群ｂｋに注目するために、パラメータＢおよびＣを選択する。例えば最初はパラメータＢをｂ１，パラメータＣをｃ１とする。後の説明において、ここで選択されたパラメータＢ，Ｃを固定パラメータと称する。このステップＳ２１は、全ての固定パラメータを選択するまで繰り返し実行される。ここでは、パラメータＢについてｂ１〜ｂ１０の１０分類、パラメータＣについてｃ１〜ｃ１０の１０分類があるため、１００回実行される。
【００６３】
次に、ステップＳ２２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ａフラグをクリアする。結合ブロックは、１又は複数のブロックｂｋに含まれる結合前データを結合したものを一時的に格納するためのブロックであり、結合前データ一時蓄積部１２に設けられる。また、結合Ａフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００６４】
続いて、ステップＳ２３において、データ結合部１４は、パラメータＢとＣが固定パラメータと同一区分のブロックｂｋを１つ選択する。ここで、ステップＳ２３〜Ｓ２８の処理の繰り返しにおいて選択される全てのブロックｂｋは、パラメータＢとＣが同一区分であって、パラメータＡが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えば固定パラメータがＢ＝ｂ１，Ｃ＝ｃ１である場合には、ステップＳ２３において、例えばブロックｂｋ（ａ１，ｂ１，ｃ１）が選択される。
【００６５】
次に、ステップＳ２４において、データ結合部１４は、ステップＳ２３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ２５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ２８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ２６に進められる。
【００６６】
続くステップＳ２６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックｂｋごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＢ，Ｃの区分が同一であり、パラメータＡの区分のみが異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００６７】
次に、ステップＳ２７において、データ書き出し部１５は、ステップＳ２６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋが、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋである場合には、「結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）」とすることができる。ステップＳ２３〜Ｓ２８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋは、本発明における結合対象ブロックを構成する。
【００６８】
また、ステップＳ２７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ２７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ２７において、データ結合部１４は、結合Ａフラグをセットする。
【００６９】
続くステップＳ２８において、データ結合部１４は、パラメータＢ，Ｃが同一区分の、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ２９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ２３に戻る。
【００７０】
全ての結合候補ブロックを選択したと判断されると、ステップＳ２９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ａフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされていると判断した場合には、処理手順はステップＳ３０に進められ、結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされていると判断しなかった場合には、処理手順はステップＳ３１に進められる。
【００７１】
結合ブロックに結合前データがあり、且つ結合Ａフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋ（ａ１，ｂ１，ｃ１）、ブロックｂｋ（ａ２，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ６，ｂ１，ｃ１）の６個のブロックｂｋから結合ファイル（ａ１〜ａ６，ｂ１，ｃ１）が生成されて書き出しが行われ、ブロックｂｋ（ａ７，ｂ１，ｃ１）、ブロックｂｋ（ａ８，ｂ１，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ１，ｃ１）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックｂｋは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ３０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＡ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、同一区分のパラメータＢ，Ｃを持つデータのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには異なる区分のパラメータＢおよびＣを持つデータが存在しないことを保証できる。
【００７２】
一方、ステップＳ２９からステップＳ３１に処理が進められる場合とは、パラメータＡの区分のみが異なるブロックｂｋから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ３１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＢ，Ｃの区分により識別される結合保留ブロックｂｋａに書き出す。例えば、ブロックｂｋ（ａ１，ｂ２，ｃ１）、ブロックｂｋ（ａ２，ｂ２，ｃ１）、・・・及びブロックｂｋ（ａ１０，ｂ２，ｃ１）の１０個のブロックｂｋに含まれていた結合前データを結合保留ブロックに書き出した場合には、この結合保留ブロックの識別子を「（ａ０，ｂ２，ｃ１）」とすることができる。即ち、結合保留ブロックｂｋａ（ａ０，ｂ２，ｃ１）に含まれる結合前データは、パラメータＡの値がａ１〜ａ１０のいずれかの区分に属することとなる。従って、この結合保留ブロックｂｋａは、パラメータＡによる分割がなされていないことを保証し、パラメータＢ及びパラメータＣの区分により論理的な意味づけがなされることとなる。
【００７３】
次に、ステップＳ３２において、データ結合部１４は、全ての固定パラメータを選択したか否かを判断する。全ての固定パラメータを選択したと判断した場合には、処理手順は図８に示すステップＳ４１に進められ、全ての固定パラメータを選択していないと判断した場合には、処理手順はステップＳ２１に戻り、次の固定パラメータとして、例えばＢ＝ｂ２，Ｃ＝ｃ１を選択する。
【００７４】
上記のとおり、ステップＳ２１〜ステップＳ３２に示す処理は、データ結合部が選択パラメータとしてパラメータＡを選択した場合の処理であるので、処理手順がステップＳ４１に進められる時には、図４に示す結合前データ一時蓄積部１２に含まれるすべてのブロックｂｋは、パラメータＡの区分のみが異なるブロックｂｋ同士で結合されて結合ファイルまたは残結合ファイルとして結合ファイル記憶部２０に書き出されたか、結合保留ブロックｂｋａとして結合前データ一時蓄積部１２に残っているか、のいずれかである。図１０は、処理手順がステップＳ４１に進められる時における結合前データ一時蓄積部１２の一部の状態を例示したものである。図１０には、結合前データ一時蓄積部１２に残された結合保留ブロックｂｋａが示されている。また、符号ｂｋｖは、ブロックｂｋの書き出しが行われ、該当するブロックｂｋ及び結合前データが存在しないことを示している。
【００７５】
次に図８を参照して、データ分割装置１において実施される処理を説明する。図８に示すステップＳ４１〜Ｓ５２の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＢを選択して行われるものである。
【００７６】
まず、ステップＳ４１において、データ結合部１４は、パラメータＣが同一区分で、パラメータＢが異なるブロック群ｂｋａに注目するために、固定パラメータとして、あるパラメータＣを選択する。例えば最初はパラメータＣをｃ１とする。なお、ここで注目するブロック群ｂｋａは、上記のように、ステップＳ２１〜Ｓ３２において生成された結合保留ブロックｂｋａのうちのいずれかのものである（図１０参照）。このステップＳ４１は、全ての固定パラメータを選択するまで繰り返し実行される。ここでは、パラメータＣについてｃ１〜ｃ１０の１０分類があるため、１０回実行される。
【００７７】
次に、ステップＳ４２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ｂフラグをクリアする。結合Ｂフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００７８】
続いて、ステップＳ４３において、データ結合部１４は、パラメータＣが固定パラメータと同一区分のブロックｂｋａを１つ選択する。ここで選択されるブロックは、図１０に示す結合保留ブロックｂｋａのうちのいずれかのブロックである。また、ステップＳ４３〜Ｓ４８の処理の繰り返しにおいて選択される全てのブロックｂｋａは、パラメータＣが同一区分であって、パラメータＢが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えば固定パラメータがＣ＝ｃ１である場合には、ステップＳ４３において、例えばブロックｂｋａ（ａ０，ｂ２，ｃ１）が選択される。
【００７９】
次に、ステップＳ４４において、データ結合部１４は、ステップＳ４３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ４５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ４８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ４６に進められる。
【００８０】
続くステップＳ４６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＡに関して統合され、パラメータＣの区分が同一であり、パラメータＢの区分が異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００８１】
次に、ステップＳ４７において、データ書き出し部１５は、ステップＳ４６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋａが、ブロックｂｋａ（ａ０，ｂ２，ｃ１）、ブロックｂｋａ（ａ０，ｂ５，ｃ１）及びブロックｂｋａ（ａ０，ｂ６，ｃ１）の３個のブロックである場合には、「結合ファイル（ａ０，ｂ２〜ｂ６，ｃ１）」とすることができる。ステップＳ４３〜Ｓ４８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋａは、本発明における結合対象ブロックを構成する。
【００８２】
また、ステップＳ４７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ４７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ４７において、データ結合部１４は、結合Ｂフラグをセットする。
【００８３】
続くステップＳ４８において、データ結合部１４は、パラメータＣが同一区分の、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ４９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ４３に戻る。
【００８４】
全ての結合候補ブロックを選択したと判断されると、ステップＳ４９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ｂフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされていると判断した場合には、処理手順はステップＳ５０に進められ、結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされていると判断しなかった場合には、処理手順はステップＳ５１に進められる。
【００８５】
結合ブロックに結合前データがあり、且つ結合Ｂフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋａ（ａ０，ｂ２，ｃ１）、ブロックｂｋａ（ａ０，ｂ５，ｃ１）及びブロックｂｋａ（ａ０，ｂ６，ｃ１）の３個のブロックから、結合ファイル（ａ０，ｂ２〜ｂ６，ｃ１）が生成されて書き出しが行われ、ブロックｂｋａ（ａ０，ｂ９，ｃ１）、ブロックｂｋａ（ａ０，ｂ１０，ｃ１）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックｂｋａは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ５０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＢ〜Ｃの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、同一区分のパラメータＣを持つ結合前データのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルは異なる区分のパラメータＣを持つデータが存在しないことを保証できる。
【００８６】
一方、ステップＳ４９からステップＳ５１に処理が進められる場合とは、パラメータＢの区分のみが異なるブロックｂｋａから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ５１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＣの区分により識別される結合保留ブロックｂｋｂに書き出す。例えば、結合前データの無いブロックｂｋｖを除く、ブロックｂｋａ（ａ０，ｂ１，ｃ２）、ブロックｂｋａ（ａ０，ｂ４，ｃ２）、ブロックｂｋａ（ａ０，ｂ８，ｃ２）、及びブロックｂｋａ（ａ０，ｂ９，ｃ２）の４個のブロック（結合保留ブロックｂｋａ）に含まれていた結合前データを結合保留ブロックｂｋｂに書き出した場合には、この結合保留ブロックｂｋｂの識別子を「（ａ０，ｂ０，ｃ２）」とすることができる。即ち、結合保留ブロックｂｋｂ（ａ０，ｂ０，ｃ２）に含まれる結合前データは、パラメータＡの値がａ１〜ａ１０のいずれか区分に属し、パラメータＢの値がｂ１〜ｂ１０のいずれか区分に属することとなる。従って、この結合保留ブロックｂｋｂは、パラメータＡおよびＢによる分割がなされていないことを保証し、パラメータＣの区分により論理的な意味づけがなされることとなる。
【００８７】
次に、ステップＳ５２において、データ結合部１４は、全ての固定パラメータを選択したか否かを判断する。全ての固定パラメータを選択したと判断した場合には、処理手順は図９に示すステップＳ６１に進められ、全ての選固定パラメータを選択していないと判断した場合には、処理手順はステップＳ４１に戻り、次の固定パラメータとして、例えばＣ＝ｃ２を選択する。
【００８８】
上記のとおり、ステップＳ４１〜ステップＳ５２に示す処理は、データ結合部が選択パラメータとしてパラメータＢを選択した場合の処理であるので、処理手順がステップＳ６１に進められる時には、図１０に示す結合前データ一時蓄積部１２に含まれるすべてのブロック（結合保留ブロックｂｋａ）は、パラメータＡおよびＢの区分が異なるブロック同士で結合されて結合ファイルまたは残結合ファイルとして結合ファイル記憶部２０に書き出されたか、結合保留ブロックとして結合前データ一時蓄積部１２に残っているか、のいずれかである。図１１には、結合前データ一時蓄積部１２に残された結合保留ブロックｂｋｂが示されている。また、符号ｂｋｗは、ブロックの書き出しが行われ、該当するブロック及び結合前データが存在しないことを示している。
【００８９】
次に図９を参照して、データ分割装置１において実施される処理を説明する。図９に示すステップＳ６１〜Ｓ７１の処理は、データ結合部１４がデータ分割の処理を実施するに際して着目すべきパラメータ（選択パラメータ）として、パラメータＣを選択して行われるものである。
【００９０】
まず、ステップＳ６１において、データ結合部１４は、パラメータＣが異なるブロック群ｂｋｂに注目するために、固定パラメータを解除する。つまり、最後のパラメータＣにおいては、ステップＳ４１を固定パラメータの数だけ繰り返し処理するのではなく、１回のみの処理が行われる。なお、ここで注目するブロック群ｂｋｂは、上記のように、ステップＳ４１〜Ｓ５２において生成された結合保留ブロックｂｋｂのうちのいずれかのものである（図１１参照）。
【００９１】
次に、ステップＳ６２において、データ結合部１４は、結合ブロックの領域をクリアすると共に、結合Ｃフラグをクリアする。結合Ｃフラグは、結合ブロックに含まれる結合前データを結合ファイルとして書き出したことを示すフラグである。
【００９２】
続いて、ステップＳ６３において、データ結合部１４は、ブロックｂｋｂを１つ選択する。ここで選択されるブロックは、図１１に示す結合保留ブロックｂｋｂのうちのいずれかのブロックである。また、ステップＳ６３〜Ｓ６８の処理の繰り返しにおいて選択される全てのブロックｂｋｂは、パラメータＣが異なる区分のブロックであり、本発明における結合候補ブロックを構成する。例えばステップＳ６３において、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）が選択される。
【００９３】
次に、ステップＳ６４において、データ結合部１４は、ステップＳ６３において選択された結合候補ブロックに含まれる結合前データを結合ブロックに移動する。そして、ステップＳ６５において、データ結合部１４は、結合ブロックに含まれる結合前データの容量の合計が所定容量以下か否かを判断する。結合ブロックに含まれる結合前データの容量の合計が所定容量以下である場合には、処理手順はステップＳ６８に進められ、結合ブロックに含まれる結合前データの容量の合計が所定容量以下でない場合には、処理手順はステップＳ６６に進められる。
【００９４】
続くステップＳ６６において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して結合ファイルを生成する。結合ブロックに対して、一のブロックごとに結合前データを移動させて、結合ブロックに含まれる結合前データの容量の合計が所定容量を超えたときに、結合ブロックに含まれる結合前データを結合して結合ファイルを生成するので、結合ファイルの容量はデータ処理に好適なものとなる。また、結合ファイルに含まれる結合前データは、パラメータＡ，Ｂに関して統合され、パラメータＣの区分が異なるものであるので、結合ファイルは、論理的な意味づけがなされたものとなる。
【００９５】
次に、ステップＳ６７において、データ書き出し部１５は、ステップＳ６６において生成された結合ファイルを、パラメータの区分による識別子をファイル名やファイル内のメタデータなどに付しながら、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。ここで結合ファイルに付される識別子は、例えば、結合ファイルに含まれるブロックｂｋｂが、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）及びブロックｂｋｂ（ａ０，ｂ０，ｃ８）の３個のブロックである場合には、「結合ファイル（ａ０，ｂ０，ｃ４〜ｃ８）」とすることができる。ステップＳ６３〜Ｓ６８の処理において選択され、結合ファイルに含まれることとなったブロックｂｋｂは、本発明における結合対象ブロックを構成する。
【００９６】
また、ステップＳ６７において、データ書き出し部１５は、結合ブロックのデータを消去する。結合候補ブロックのデータが結合ブロックに移動された後に結合ブロックのデータが消去されるので、ステップＳ６７における結合ブロックのデータの消去の処理は、結合対象ブロックに含まれるすべての結合前データを結合前データ一時蓄積手段から消去する処理に相当する。さらに、ステップＳ６７において、データ結合部１４は、結合Ｃフラグをセットする。
【００９７】
続くステップＳ６８において、データ結合部１４は、全ての結合候補ブロックを選択したか否かを判断する。全ての結合候補ブロックを選択したと判断した場合には、処理手順はステップＳ６９に進められ、全ての結合候補ブロックを選択していないと判断した場合には、処理手順はステップＳ６３に戻る。
【００９８】
全ての結合候補ブロックを選択したと判断されると、ステップＳ６９において、データ結合部１４は、その時点において、結合ブロックに結合前データが残り、且つ結合Ｃフラグがセットされているか否かを判断する。結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされていると判断した場合には、処理手順はステップＳ７０に進められ、結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされていると判断しなかった場合には、処理手順はステップＳ７１に進められる。
【００９９】
結合ブロックに結合前データがあり、且つ結合Ｃフラグがセットされている場合とは、本実施形態の例では、例えば、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）及びブロックｂｋｂ（ａ０，ｂ０，ｃ８）の３個のブロックから、結合ファイル（ａ０，ｂ０，ｃ４〜ｃ８）が生成されて書き出しが行われ、ブロックｂｋｂ（ａ０，ｂ０，ｃ１０）に含まれていた結合前データの容量の合計が所定容量を超えずに、書き出し処理が行われないまま結合ブロックに結合前データが残っている状態である。このように、結合ファイルとして書き出しが行われなかったブロックは、本発明における残結合候補ブロックを構成する。そして、このような場合には、ステップＳ７０において、データ結合部１４は、結合ブロックに含まれる結合前データを結合して残結合ファイルを生成し、データ書き出し部１５は、残結合ファイルを、パラメータＣの区分による識別子と共に、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。これにより、全ての結合前データを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができる。
【０１００】
一方、ステップＳ６９からステップＳ７１に処理が進められる場合とは、パラメータＣの区分のみが異なるブロックｂｋｂから構成される全ての結合候補ブロックに含まれる結合前データの容量の合計が、所定容量を超えなかった場合である。この場合には、結合ブロックは、全ての結合候補ブロックの結合前データを含んでいるので、ステップＳ７１において、データ結合部１４は、結合ブロックの結合前データを結合して、パラメータＣの区分により識別される結合ファイルとして、外部ファイルシステム２の結合ファイル記憶部２０に書き出す。例えば、結合前データの無いブロックｂｋｗを除く、ブロックｂｋｂ（ａ０，ｂ０，ｃ２）、ブロックｂｋｂ（ａ０，ｂ０，ｃ４）、ブロックｂｋｂ（ａ０，ｂ０，ｃ８）、及びブロックｂｋｂ（ａ０，ｂ０，ｃ１０）の４個のブロック（結合保留ブロックｂｋｂ）に含まれていた結合前データの容量の合計が所定容量を超えなかった場合に、ステップＳ７１に示す処理が行われる。これにより、結合前データ一時蓄積部１２に記憶されていた全ての結合前データの書き出しが完了する。こうして、データ分割装置１において実施されるデータ分割処理が終了する。
【０１０１】
なお、本実施形態では便宜的にｂｋ、ｂｋａ、ｂｋｂを区別しているが、ブロック配列内部の引数が混同しないため、単一のブロック配列ｂｋに集約することも可能である。また、ｂｋｖ、ｂｋｗについても、そのブロック内のデータ量を確認することで容易にｂｋａやｂｋｂと区別がつくため、同一のブロック配列に集約することも可能である。
【０１０２】
なお、本実施形態では、結合前データは３個のパラメータＡ，Ｂ，Ｃを有することとし、パラメータＡを選択パラメータとして選択した場合の処理をステップＳ２１〜Ｓ３２（図７）、パラメータＢを選択パラメータとして選択した場合の処理をステップＳ４１〜Ｓ５２（図８）、パラメータＣを選択パラメータとして選択した場合の処理をステップＳ６１〜Ｓ７１（図９）に示した。これに対し、結合前データが、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有する場合には、データ結合部１４は、ｎ個のパラメータを順次、選択パラメータとしてｎ回選択し、選択した選択パラメータごとにステップＳ２１〜Ｓ３２、ステップＳ４１〜Ｓ５２、またはステップＳ６１〜Ｓ７１に示す処理をｎ回順次実行する。この場合には、パラメータごとに順次、ブロックを結合して結合前データの集合から結合ファイルを分割、生成する処理が行われるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割、生成することができる。
【０１０３】
なお、結合前データが３個のパラメータＡ，Ｂ，Ｃを有しつつ、結合・分割処理はＡ，Ｂについてのみ行い、Ｃについては行わないといったこともできる。この場合、パラメータＡについてはステップＳ２１〜Ｓ３２を行い、パラメータＢについてはステップＳ４１〜Ｓ５２を行うが、Ｓ５１において結合保留ブロックを生成せず、Ｓ７１の処理と同様にファイルに書き出す。これにより、パラメータＣのく分については統合されることなく、同一ファイル内には単一のパラメータＣの区分のデータが存在することを保証することができる。
【０１０４】
続いて、以上説明したデータ分割システム及びデータ分割方法の作用効果について説明する。本実施形態のデータ分割システム及びデータ分割方法では、選択パラメータの値が異なるブロックｂｋが結合候補ブロックとしてデータ結合部１４により選択されるので、結合されるブロックｂｋに含まれる結合前データは、既に処理された選択パラメータについてはファイルに分割されて書き出されるか結合保留ブロックとして統合され、未処理の選択パラメータについては、選択パラメータ以外の未選択パラメータ値が同一区分である。これにより、結合前データの集合から論理的に適切な意味を有する結合ファイルを分割することができる。また、選択された結合候補ブロックから、ブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えるように、データ結合部１４により、結合対象ブロックが抽出され、抽出された結合対象ブロックを結合して結合ファイルが生成され、データ書き出し部１５により、結合ファイル記憶部２０に書き出されるので、結合前データの集合から、データ処理に好適な容量の結合ファイルを分割することが可能となる。
【０１０５】
本実施形態のデータ分割システムでは、ブロックｂｋに含まれる結合前データの容量の合計が所定容量に達していなくとも、データ結合部１４により、結合ファイルとして分割、書き出しが行われた結合前データと論理的な意味づけを有する結合前データが残結合候補ブロックとして抽出され、抽出された残結合候補ブロックから残結合ファイルが生成され、データ書き出し部１５により、生成された残結合ファイルを結合ファイル記憶部２０に書き出すことができる。これにより、結合ファイルに含まれる結合前データ間における論理的意味づけと同一の論理的意味づけを有する結合前データを、結合前データ一時蓄積手段に残さないようにすることができる。これにより、同一区分の未選択パラメータを持つデータのみを、一定の分割基準（時間間隔およびデータ量）に則り、分割・出力することができ、出力されたファイルには異なる区分の未選択パラメータを持つデータが存在しないことを保証できる。
【０１０６】
また、本実施形態のデータ分割システムでは、結合前データ一時蓄積部１２において、一のブロックｂｋに含まれる結合前データの容量の合計が所定容量を超えた場合には、データ結合部１４は、一のブロックｂｋに含まれる結合前データを結合して結合ファイルを生成する。一のブロックｂｋに含まれる複数の結合前データは、同一区分のパラメータ値を有するので、互いに論理的な意味づけを有する。従って、データ書き出し部１５により、これらの論理的な意味づけを有する複数の結合前データが結合ファイルとして書き出されることとなるので、結合前データの集合から、論理的に適切な意味を有すると共に、データ処理に好適な容量の結合ファイルを分割することができる。
【符号の説明】
【０１０７】
１…データ分割装置、１１…データ取得部、１２…結合前データ一時蓄積部、１３…タイマ、１４…データ結合部、１５…データ書き出し部、２…外部ファイルシステム、２０…結合ファイル記憶部、Ｎ１，Ｎ２，Ｎ３…データ生成ノード、ｂｋ…ブロック、ｂｋａ，ｂｋｂ…結合保留ブロック。
【特許請求の範囲】
【請求項１】
複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割した前記ファイルを所定の記憶手段に書き出すデータ分割システムであって、
前記複数のパラメータに同一の範囲区分に属する値を有する前記結合前データを、前記結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段と、
前記複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択手段と、
前記結合前データ一時蓄積手段に蓄積された複数の前記ブロックから、前記選択パラメータ選択手段により選択された選択パラメータの値のみが異なる前記結合前データを含む複数の前記ブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成するブロック選択処理を実行する結合候補ブロック選択手段と、
前記結合候補ブロック選択手段により形成された前記結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の前記結合候補ブロックを結合対象ブロックとして抽出するブロック抽出処理を実行する結合対象ブロック抽出手段と、
前記結合対象ブロック抽出手段により抽出された前記結合対象ブロックに含まれる前記結合前データを結合して、前記結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成処理を実行する結合ファイル生成手段と、
前記結合ファイル生成手段により生成された前記結合ファイルを前記所定の記憶手段に記憶させると共に、前記結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する書き出し処理を実行する結合ファイル書き出し手段と
を備えることを特徴とするデータ分割システム。
【請求項２】
前記結合対象ブロック抽出手段は、
前記所定の分割基準として、前記結合候補ブロックに含まれる前記結合前データの容量の合計が予め定められた所定容量を超えるように、または、予め定められた所定時間が経過したときに、前記結合候補ブロック群から１または複数の前記結合候補ブロックを結合対象ブロックとして抽出すること
を特徴とする請求項１に記載のデータ分割システム。
【請求項３】
前記結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、
前記選択パラメータ選択手段は、前記選択パラメータとして、前記複数のパラメータから第１〜第ｎのパラメータを順次選択し、
前記選択パラメータ選択手段により前記選択パラメータとして選択された前記第１〜第ｎのパラメータごとに、前記結合候補ブロック選択手段による前記ブロック選択処理、前記結合対象ブロック抽出手段による前記ブロック抽出処理、前記結合ファイル生成手段による前記結合ファイル生成処理、及び前記結合ファイル書き出し手段による前記書き出し処理が、最大ｎ回順次実行される
ことを特徴とする請求項１または２に記載のデータ分割システム。
【請求項４】
前記結合ファイル生成手段は、前記結合候補ブロックから前記結合対象ブロックとして抽出されなかった前記ブロックである残結合候補ブロックに含まれる前記結合前データを結合して残結合ファイルを生成し、
前記結合ファイル書き出し手段は、前記結合ファイル生成手段により生成された前記残結合ファイルを前記所定の記憶手段に書き出すと共に、前記残結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する
ことを特徴とする請求項１〜３のいずれか１項に記載のデータ分割システム。
【請求項５】
前記結合前データ一時蓄積手段において、一の前記ブロックに含まれる前記結合前データが前記所定の分割基準を満たした場合には、前記結合ファイル生成手段は、前記一のブロックに含まれる前記結合前データを結合して前記結合ファイルを生成する
ことを特徴とする請求項１〜４のいずれか１項に記載のデータ分割システム。
【請求項６】
複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割した前記ファイルを所定の記憶手段に書き出すデータ分割方法であって、
前記複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択ステップと、
前記複数のパラメータに同一の範囲区分に属する値を有する前記結合前データを、前記結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段に蓄積された複数の前記ブロックから、前記選択パラメータ選択ステップにおいて選択された選択パラメータの値のみが異なる前記結合前データを含む複数の前記ブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成する結合候補ブロック選択ステップと、
前記結合候補ブロック選択ステップにおいて形成された前記結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の前記結合候補ブロックを結合対象ブロックとして抽出する結合対象ブロック抽出ステップと、
前記結合対象ブロック抽出ステップにおいて抽出された前記結合対象ブロックに含まれる前記結合前データを結合して、前記結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成ステップと、
前記結合ファイル生成ステップにおいて生成された前記結合ファイルを、前記所定の記憶手段に記憶させると共に、前記結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する結合ファイル書き出しステップと
を有することを特徴とするデータ分割方法。
【請求項７】
前記結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、
前記選択パラメータ選択ステップ、前記結合候補ブロック選択ステップ、前記結合対象ブロック抽出ステップ、前記結合ファイル生成ステップ、及び前記結合ファイル書き出しステップを、前記第１〜第ｎのパラメータごとに最大ｎ回順次実行することを特徴とする請求項６に記載のデータ分割方法。
【請求項１】
複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割した前記ファイルを所定の記憶手段に書き出すデータ分割システムであって、
前記複数のパラメータに同一の範囲区分に属する値を有する前記結合前データを、前記結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段と、
前記複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択手段と、
前記結合前データ一時蓄積手段に蓄積された複数の前記ブロックから、前記選択パラメータ選択手段により選択された選択パラメータの値のみが異なる前記結合前データを含む複数の前記ブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成するブロック選択処理を実行する結合候補ブロック選択手段と、
前記結合候補ブロック選択手段により形成された前記結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の前記結合候補ブロックを結合対象ブロックとして抽出するブロック抽出処理を実行する結合対象ブロック抽出手段と、
前記結合対象ブロック抽出手段により抽出された前記結合対象ブロックに含まれる前記結合前データを結合して、前記結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成処理を実行する結合ファイル生成手段と、
前記結合ファイル生成手段により生成された前記結合ファイルを前記所定の記憶手段に記憶させると共に、前記結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する書き出し処理を実行する結合ファイル書き出し手段と
を備えることを特徴とするデータ分割システム。
【請求項２】
前記結合対象ブロック抽出手段は、
前記所定の分割基準として、前記結合候補ブロックに含まれる前記結合前データの容量の合計が予め定められた所定容量を超えるように、または、予め定められた所定時間が経過したときに、前記結合候補ブロック群から１または複数の前記結合候補ブロックを結合対象ブロックとして抽出すること
を特徴とする請求項１に記載のデータ分割システム。
【請求項３】
前記結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、
前記選択パラメータ選択手段は、前記選択パラメータとして、前記複数のパラメータから第１〜第ｎのパラメータを順次選択し、
前記選択パラメータ選択手段により前記選択パラメータとして選択された前記第１〜第ｎのパラメータごとに、前記結合候補ブロック選択手段による前記ブロック選択処理、前記結合対象ブロック抽出手段による前記ブロック抽出処理、前記結合ファイル生成手段による前記結合ファイル生成処理、及び前記結合ファイル書き出し手段による前記書き出し処理が、最大ｎ回順次実行される
ことを特徴とする請求項１または２に記載のデータ分割システム。
【請求項４】
前記結合ファイル生成手段は、前記結合候補ブロックから前記結合対象ブロックとして抽出されなかった前記ブロックである残結合候補ブロックに含まれる前記結合前データを結合して残結合ファイルを生成し、
前記結合ファイル書き出し手段は、前記結合ファイル生成手段により生成された前記残結合ファイルを前記所定の記憶手段に書き出すと共に、前記残結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する
ことを特徴とする請求項１〜３のいずれか１項に記載のデータ分割システム。
【請求項５】
前記結合前データ一時蓄積手段において、一の前記ブロックに含まれる前記結合前データが前記所定の分割基準を満たした場合には、前記結合ファイル生成手段は、前記一のブロックに含まれる前記結合前データを結合して前記結合ファイルを生成する
ことを特徴とする請求項１〜４のいずれか１項に記載のデータ分割システム。
【請求項６】
複数のパラメータを有するデータである結合前データの集合を、複数のファイルに分割し、分割した前記ファイルを所定の記憶手段に書き出すデータ分割方法であって、
前記複数のパラメータから選択された一のパラメータである選択パラメータを選択する選択パラメータ選択ステップと、
前記複数のパラメータに同一の範囲区分に属する値を有する前記結合前データを、前記結合前データのまとまりである複数のブロックごとに一時蓄積する結合前データ一時蓄積手段に蓄積された複数の前記ブロックから、前記選択パラメータ選択ステップにおいて選択された選択パラメータの値のみが異なる前記結合前データを含む複数の前記ブロックを結合候補ブロックとして、該結合候補ブロックをグループ化した結合候補ブロック群を１または複数形成する結合候補ブロック選択ステップと、
前記結合候補ブロック選択ステップにおいて形成された前記結合候補ブロック群ごとに、該結合候補ブロック群から、予め定められた所定の分割基準を満たすように、１または複数の前記結合候補ブロックを結合対象ブロックとして抽出する結合対象ブロック抽出ステップと、
前記結合対象ブロック抽出ステップにおいて抽出された前記結合対象ブロックに含まれる前記結合前データを結合して、前記結合候補ブロック群ごとに１または複数の結合ファイルを生成する結合ファイル生成ステップと、
前記結合ファイル生成ステップにおいて生成された前記結合ファイルを、前記所定の記憶手段に記憶させると共に、前記結合対象ブロックに含まれるすべての前記結合前データを前記結合前データ一時蓄積手段から消去する結合ファイル書き出しステップと
を有することを特徴とするデータ分割方法。
【請求項７】
前記結合前データは、第１〜第ｎ（ｎは２以上の整数）の複数のパラメータを有し、
前記選択パラメータ選択ステップ、前記結合候補ブロック選択ステップ、前記結合対象ブロック抽出ステップ、前記結合ファイル生成ステップ、及び前記結合ファイル書き出しステップを、前記第１〜第ｎのパラメータごとに最大ｎ回順次実行することを特徴とする請求項６に記載のデータ分割方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２７１７８１（Ｐ２０１０−２７１７８１Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２１１４８（Ｐ２００９−１２１１４８）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]