マルチインスタンス・インメモリ・データベース
【課題】インメモリ・データベースを、大規模データベースに適用するために、主記憶装置にロードできる大きさに分割し、検索や加工等を分割前の単一データと同様に取り扱う。
【解決手段】大量のタプルを持つデータを主記憶装置上で取扱うのに適した大きさのデータセットとしてグループ化し、それぞれに格納ロケーション情報を与え、配置していく。検索時には、格納先のデータセットを特定し、そのロケーション情報から、データ格納装置を特定し、対象のデータセットが主記憶装置上に存在すれば直接アクセスし、存在しなければ二次記憶装置やネットワーク上の他の電子計算機上の記憶装置から該当データセットを召還しアクセスする。格納されるデータの格納開始時点での偏り等の特性に合わせてデータセットのロケーション情報を設定し、系列的にデータの特性が変化してきたならば、それに呼応してデータセットとデータ格納装置との関係を調整していく。
【解決手段】大量のタプルを持つデータを主記憶装置上で取扱うのに適した大きさのデータセットとしてグループ化し、それぞれに格納ロケーション情報を与え、配置していく。検索時には、格納先のデータセットを特定し、そのロケーション情報から、データ格納装置を特定し、対象のデータセットが主記憶装置上に存在すれば直接アクセスし、存在しなければ二次記憶装置やネットワーク上の他の電子計算機上の記憶装置から該当データセットを召還しアクセスする。格納されるデータの格納開始時点での偏り等の特性に合わせてデータセットのロケーション情報を設定し、系列的にデータの特性が変化してきたならば、それに呼応してデータセットとデータ格納装置との関係を調整していく。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インメモリ・データベースおよびそれを用いたグリッド・コンピューティング・システムに関する。
【背景技術】
【０００２】
データベース管理システムの基本技術は、階層型にはじまり、ネットワーク型、リレーショナル型を経てオブジェクト指向型に至っているが、未だリレーショナル型が主流である。
【０００３】
加えて、その主流であるリレーショナル型データベース管理システムは、データ格納媒体として、格納容量が大きく、電力の供給が断たれても、その記憶内容が比較的安定している磁気ディスクを主要部品とするハードディスク装置を二次記憶装置として使用することを前提としてきた。
【０００４】
二次記憶装置としてのハードディスク装置は、停電に対しては安定しているが、機械的摺動部分を多く持つという理由から、半導体記憶装置に対して故障発生率は桁違いに高く、読出し書込みのアクセス時間は桁違いに遅い。また、周辺の磁場の影響を受けやすい磁気媒体を記憶媒体としているため、磁石の接近に対して記憶保持力は不安定である。さらに、読出し書込みのアクセスは磁気ヘッダの接触によっておこなわれるため、磁気ヘッダは磁気記憶媒体に非常に近い場所に常に置かれている。そのため、衝撃に対しても磁気記憶媒体の記憶保持力が脆弱であることは周知のことである。
【０００５】
二次記憶装置として不揮発性メモリ等の半導体記憶媒体を使用する動きもあるが、単位記憶容量あたりの価格が未だに高価であるため、経済的な理由から、その普及はデータベース管理システムに利用するほどには普及していない。
【０００６】
最近の工業生産技術の向上に伴い、揮発性半導体記憶媒体は低価格大容量化の傾向にあり、それに伴いギガビットオーダーの大容量揮発性半導体記憶装置を主記憶装置とするパーソナル・コンピュータ（以下ＰＣ）も登場してきている。また、３２ビットＣＰＵではアドレッシングの理由から２の３２乗バイトすなわち４２億９千４百９６万７千２百９６バイト（約４ＧＢ）以上のメモリを主記憶装置として搭載しても無意味であったが、６４ビットＣＰＵの登場で２の６４乗バイトのメモリ空間を持つことが可能になり、理論上はテラ・バイト・オーダーのデータベースをインメモリで取扱うことも可能になってきている。実際には半導体メモリの現在の集積技術の制限から一個の６４ビットＣＰＵに搭載される主記憶装置としての半導体メモリはせいぜい数十ＧＢレベルと推定される。
【０００７】
前記揮発性半導体記憶媒体は低価格大容量化の傾向は、データベース管理システムの在り方を根底から覆すこととなり、主記憶装置をメインのデータ格納装置とし、二次記憶装置を障害時のリカバリのための永続化（パーシステント）用記憶媒体と位置づけるインメモリ・データベース管理システムが商用プロダクトとして複数製品が市場に登場してきている。
【０００８】
現在市場に登場してきているインメモリ・データベース管理システムは、マルチューザによる複雑な更新処理をともなうトランザクション用データベース管理システムではなく、ＯＬＡＰやデータマイニングを行うためのデータウェアハウス（以下ＤＷＨ）用のデータベース管理システムとしての位置付けが妥当であり、数十ＧＢレベルの大きさのデータベース管理システムのインメモリ化には成功しているといえる。
【０００９】
【特許文献１】特開２００４−２２７１６９号（ＰＣＴ／ＪＰ２００３／０１４３９０）公報
【特許文献２】特開２００４−１４５６４０号公報
【特許文献３】特開２０００−３３９３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ＥＵの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、数百テラ・バイト・オーダーの大容量超高速データベースの実用化が求められている。
【００１１】
６４ビットＣＰＵ搭載ＰＣの登場により、大容量超高速データベースの実現に近づいたとはいえ、主記憶装置に用いられる半導体揮発性記憶装置の集積度は、一台のＰＣに数百テラ・バイト・オーダーの半導体揮発性記憶装置を搭載するほどには至っていない。従って、ネットワーク上に配置された複数個の電子計算機にデータベースを分散して処理ができることが求められている。そのため、同一属性を持つ大規模データの集合を、数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機上で主記憶装置のみで処理可能な大きさのデータ・セットに分割して、前記数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機を複数台ネットワークに接続することが考えられるが、データ処理を行うユーザの電子計算機からは前記分割された複数個のデータ・セットが、統合して仮想的に単一のデータ・セットとして取扱えるようにすることができないことが問題であった。
【００１２】
また、全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、接続する電子計算機の台数の制限からハードディスク装置等の二次記憶媒体を効率的に利用することが求められる場合もあり、この二次記憶媒体を効率的に利用することができないことも問題であった。
【００１３】
また、ネットワーク上に接続される電子計算機は、ＣＰＵの性能が一様ではなく、搭載主記憶装置の容量も各様であり、時系列的にも、配置換えや新旧の入替えにより、ネットワーク上に接続される電子計算機の台数は変化し、前記電子計算機に搭載されるＣＰＵの性能は変化し、前記電子計算機に搭載される主記憶装置の容量も変化していく。その多様性や変化に対応すべく前記分割されたデータ・セットのロケーション情報がダイナミックに変更可能ではなく、加えて最適配置も困難であったことも問題であった。
【００１４】
さらに、単純に大規模データ・セットが適正規模の複数データ・セットに分割されても、生産管理システムにおけるＢＯＭ（部品構成表）の正展開、逆展開を表現するためのように複数データ・セットに跨るセルフ・ジョインを横断的に効率的に実現することも困難であった。
【００１５】
そこで、本発明は、本データベース・システムにおいて大規模データ・セットが小規模データ・セットに分割されていても、仮想的に統合して単一の大規模データ・セットとして取扱えるようにし、前記データベース・システムを運用しながら、前記データベース・システムを構成するネットワーク上に配置された一個以上の電子計算機の台数ないし前記電子計算機に搭載されているＣＰＵの性能ないし前記ＣＰＵの個数ないし前記電子計算機に搭載されている主記憶装置の容量等のリソースの変化に呼応して、前記分割されたデータ・セットのロケーションをダイナミックに最適配置していくことを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明においては、請求項１に示されるように、同一の属性を持つ大規模データの集合を、格納すべきデータの情報の一部または全部をハッシング等のアルゴリズムを特定のパラメータで用いて、ネットワーク上に配置された電子計算機の主記憶装置のみで処理可能な大きさに分割配置し、それぞれをデータ・セットとする。各データ・セットには識別記号とロケーション情報が与えられ、検索や加工の際には対象となるデータの情報の一部または全部を前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、格納先のデータ・セットを特定する。全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、データ・セットの、他の記憶媒体への待避（以下チェックアウト）、召還（以下チェックイン）機能を持つことによって、接続される電子計算機の台数の制限に対応する。
【００１７】
また、請求項２に示されるように、データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有することにより、各時点での各データ・セットの配置を再検討し、最適再配置を可能にする。
【００１８】
また、請求項３に示されるように、配置されたデータ・セットの大きさに対して、そのデータ・セットが配置されている電子計算機の主記憶装置の未使用記憶容量が、アクセス対象でチェックアウトされているデータ・セットを、現在チェックインしているデータ・セットをチェックアウトせずにチェックイン可能な場合、現在のデータ・セットのチェックアウトが行われずに、アクセス対象のデータ・セットがチェックインされる。これによって、二次記憶装置の使用を抑制し、性能向上を図る。
【００１９】
また、請求項４に示されるように、各データ・セットと前記ネットワーク上に配置された電子計算機のＣＰＵ稼働率や搭載主記憶装置の未使用記憶容量を常時ないし定期的に監視し、データ・セットのその時点での実際の大きさ、配置されていて使用可能な電子計算機のＣＰＵ稼働率や搭載主記憶装置の未使用記憶容量の変化に応じて、自動的にロケーション情報の変更、データ・セットの再配置を行うことにより、二次記憶装置の使用を抑制し、性能向上を図る。
【００２０】
また、請求項５に示されるように、データ・セットが、自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、セルフ・ジョインを再帰的におこない、各データ・セットの分割される前の元の大規模データ・セットに記述された親部品子部品構成表に基づく前記ＢＯＭの正展開、逆展開を行う。
【発明の効果】
【００２１】
これにより、数百テラ・バイト・オーダー・レベルの大規模データ・セットからの抽出ないしソートないしマージないしジョインないしプロジェクションも高速に実行することが可能となる。
【００２２】
また、数テラ件数オーダー・レベルの大規模ＢＯＭにおいても、その正展開、逆展開を高速で行うことが可能となる。
【００２３】
使用開始時には数ギガ・バイト・オーダー・レベルの大きさの小規模データベースが、時間とともに大きくなり、数百テラ・バイト・オーダー・レベルの大規模データベースに成長しても、基本的構造を変更せずに、前記ネットワーク上に配置される電子計算機の台数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載されたＣＰＵの性能の向上ないし個数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載された主記憶装置の容量の増加、だけでその成長の度合に応じて、その時点での最適規模のデータベースに拡張しながら構築することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態について、図を用いて説明する。なお、本発明は、これら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々たる態様で実施し得る。
【００２５】
（発明の概念）
図１は、請求項１に基づく本発明の概念を示す。
データ入力装置１０１、
データ格納部特定装置１０２、
データ格納装置１０３、１０４、１０５、
データ検索加工装置１０６、
データ出力装置１０７が、
本発明に係わるマルチインスタンス・インメモリ・データベースの構成要素である。
データ・セット識別記号変換部１２１、
データ・セット識別記号ロケーション情報変換部１２２は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納部特定装置１０２の構成要素である。
データ格納部１３１、１４１、１５１、
リソース・マネジメント部１３２、１４２、１５２、
チェックアウト・データ待避スペース１３３、１４３、１５３、１５４は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納装置１０３、１０４，１０５の構成要素である。
データ検索部１６１、
データ加工部１６２、
ワークスペース部１６３、
リソース・マネジメント部１６４は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ検索加工装置１０６の構成要素である。
【００２６】
データ入力装置１０１は、ネットワーク上の他の電子計算機からデータをインポートしてもよい。
【００２７】
データ入力装置１０１は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機がフロッピー・ディスク若しくはＣＤ若しくはＤＶＤ若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成したデータを前記記憶媒体からインポートしてもよい。
【００２８】
データ入力装置１０１は、前記データ入力装置１０１が実装されている電子計算機上に接続されたキーボートやマウス等の入力機器から直接入力されたデータをインポートしてもよい。
【００２９】
データ・セット識別記号変換部１２１は、データ入力装置１０１がインポートしたデータをタプルごとに読出し、前記タプルを構成するアトリビュートに記録されている情報の全部または一部を入力情報として、前記タプルが格納されるべきデータ・セットの識別記号（すなわちＩＤ）に変換する。
【００３０】
前記タプルを構成するアトリビュートに記録されている情報の全部または一部である入力情報を前記タプルが格納されるべきデータ・セットの識別記号への変換には、適当なハッシュ・アルゴリズムに適当なパラメータ値を与えて実施してもよい。ただし、本発明に係わるデータベース・システムが稼働している最中は、前記ハッシュ・アルゴリズムおよびパラメータ値は変更しないものとする。
【００３１】
データ・セット識別記号ロケーション情報変換部１２２は、前記データ・セット識別記号変換部１２１が変換して取得した前記前記タプルが格納されるべきデータ・セットの識別記号と実際に物理的に前記データ・セットが格納されるデータ格納装置１０３、１０４、１０５が実装されている前記ネットワーク上に配置された電子計算機のネットワーク上でのロケーション情報を対応付けるテーブルである。
【００３２】
図２は、前記データ・セットの識別記号と前記ロケーション情報を対応付けるテーブルの構成の一例である。この例では、
識別記号欄２０１は、ロケーション情報欄２１１と、
識別記号欄２０２は、ロケーション情報欄２１２と、
識別記号欄２０３は、ロケーション情報欄２１３と、
識別記号欄２０４は、ロケーション情報欄２１４と、
識別記号欄２０５は、ロケーション情報欄２１５と、
識別記号欄２０６は、ロケーション情報欄２１６と、
識別記号欄２０７は、ロケーション情報欄２１７と、
は対応付けられている。
したがって、識別記号欄２０１に在る識別記号１のデータセットは、ロケーション情報欄２１１にあるロケーション情報１９２．１６８．１．１１で示されるネットワーク上の電子計算機上にデータ格納装置を持つことを意味している。他の識別記号欄２０２、２０３、２０４、２０５、２０６、２０７にある識別記号も他のロケーション情報欄２１２、２１３、２１４、２１５、２１６、２１７にあるロケーション情報と対応付けられる。複数の識別記号が同一のロケーション情報を持っていてもよい。前記複数の識別記号が同一のロケーション情報を持っている場合、請求項１に示すように前記データ格納装置の構成要素であるリソース・マネジメント部によって、データ・セットのチェックインないしチェックアウトが行われる。ただし、請求項３に示されるように、現在、前記データ格納部に格納中のデータセットをチェックアウトを要せずに、アクセス要求のあった別のデータセットをチェックインできる場合にはこの限りではない。
この図２の例を図１に適用してみると、１０３のデータ格納装置Ａのロケーション情報を「１９２．１６８．１．１１」、１０４のデータ格納装置Ｂのロケーション情報を「１９２．１６８．１．１２」、１０５のデータ格納装置Ｃのロケーション情報を「１９２．１６８．１．１３」としてもよい。
【００３３】
図１のデータ格納装置１０３、１０４、１０５を構成する要素の一部であるリソース・マネジメント部１３２、１４２、１５２は、それぞれ対応する前記データ格納装置１０３、１０４、１０５を構成する要素の一部であるデータ格納部１３１、１４１、１５１の未使用主記憶容量と新たにアクセス要求が起っているデータ・セットの大きさに基づいて、現在データ格納部に格納されているデータ・セットを、前記データ格納装置１０３、１０４、１０５を構成する要素の一部であるチェックアウト・データ待避スペース１３３、１４３、１５３、１５４に待避させる必要の是非を評価し、待避させる必要があれば待避し、新たにアクセス要求が発生しているデータ・セットが、新規のデータ・セットであれば新規作成し、チェックアウト・データ待避スペース１３３、１４３、１５３、１５４に待避されているデータ・セットであればチェックインして召還する。前記データ・セット識別記号変換部の機能により、新たにアクセス要求が起っているデータ・セットは、既存のデータ・セットであれば必ず、アクセス要求が起っているデータ・セットが所属するデータ格納装置に接続されたチェックアウト・データ待避スペースに待避させられていることが保証される。
【００３４】
前記チェックアウト・データ待避スペースは、図１のデータ格納装置Ｃ１０５に示されるチェックアウト・データ待避スペース１５３、１５４のように複数個あってもよい。
【００３５】
分割される前の元データ・セットが十分小さく、またはネットワーク上に接続された電子計算機の主記憶装置容量が十分大きく、またはネットワーク上に接続された電子計算機の台数が十分多い場合には、チェックアウト・データ待避スペースとしてのハードディスク装置等の二次記憶装置を使用せず、すべてのデータ・セットを主記憶装置上に格納してもよい。
【００３６】
図１によって示されるように、データ検索加工装置１０６の一部を構成するデータ検索部１６１は、検索キーを前記データ格納部特定装置１２２によって検索対象となるデータ・セットを特定した後、該当するデータ格納装置中のデータ・セットが検索される。特定されたデータ・セットが、データ格納装置１０３に存在するとすると、データ格納装置１０３内のデータ格納部１３１に存在するときにはそのまま、チェックアウト・データ待避スペース１３３に存在する場合には、その待避された当該データ・セットをデータ格納部１３１にチェックインして、検索を行い、加工する必要があれば、前記データ検索加工装置１０６中のデータ加工部１６２によって、検索結果を加工対象として加工する。前記データ検索加工装置１０６中のワークスペース１６３は、前記データ加工部１６２が作業領域として使用する。また、前記データ検索加工装置１０６中のリソース・マネジメント部１６４は、前記データ加工部１６２の加工作業に伴い必要量が増減する前記ワークスペース部の容量のマネジメントをおこなってもよい。
【００３７】
データ出力装置１０７は、ネットワーク上の他の電子計算機へデータをエクスポートしてもよい。
【００３８】
データ出力装置１０７は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機によってフロッピー・ディスク若しくはＣＤ若しくはＤＶＤ若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成して、データを前記記憶媒体によってエクスポートしてもよい。
【００３９】
データ出力装置１０７は、前記データ出力装置１０７が実装されている電子計算機上に接続されたＣＲＴ装置やプリンタ装置等の出力機器へデータを直接エクスポートしてもよい。
【００４０】
請求項１に示される、データ入力装置およびデータ格納部特定装置およびデータ格納装置およびデータ検索加工装置およびデータ出力装置は、その全部ないし一部が同一の電子計算機上に在ってもよい。
【００４１】
図２は、識別記号が識別記号欄２０１、２０２、２０３、２０４、２０５、２０６、２０７に格納され、ロケーション情報がロケーション情報欄２１１、２１２、２１３、２１４、２１５、２１６、２１７に格納されている図であり、請求項２に示されるように、識別記号欄、ロケーション情報欄への記載内容を変更することによって、データ・セットの物理的な格納先を変更することが可能であることを示している。
【００４２】
図３は、データ格納装置３０１において、現在データ格納部３０３内にはデータ・セット３０４が存在している状況で、データ格納装置３０１にアサインされていて、チェックアウト・データ待避スペース３０５内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部３０２によってデータ・セット３０４をチェックアウト・データ待避スペース３０５にチェックアウトする必要があると判断された場合を示しており、データ・セット３０４をチェックアウト・データ待避スペース３０５にチェックアウトして後、前記チェックアウト・データ待避スペース３０５から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部３０３にチェックインしようとしている図である。これは、請求項１に示される、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している。
【００４３】
図４は、データ格納装置４０１において、現在データ格納部４０３内にはデータ・セット４０４が存在している状況で、データ格納装置４０１にアサインされていて、チェックアウト・データ待避スペース４０５内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部４０２によってデータ・セット４０４をチェックアウト・データ待避スペース４０５にチェックアウトする必要がないと判断された場合を示しており、データ・セット４０４をチェックアウト・データ待避スペース４０５にチェックアウトすることなく、前記チェックアウト・データ待避スペース４０５から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部４０３にデータ・セット４０６として、チェックインしようとしている図である。これは、請求項３に示されている、新たにチェックインしようとするデータ・セットが十分小さいか、データ格納部が十分大きい場合若しくはその両方である場合、チェックアウト・データ待避スペースの様な二次記憶装置の使用を抑制し、一個のデータ格納装置のデータ格納部に複数のデータ・セットをアサインし高速にアクセスすることが可能であることを示している。
【００４４】
図５は、データ格納装置５０１において、リソース・マネジメント部５０２内に所属データ・セット・リスト５０３とデータ格納部未使用主記憶装置容量レジスタ５０４を配置して、データ格納部に現在存在するデータ・セットのデータ量の増減を常時監視し、データ格納部未使用主記憶装置容量を計算し、前記データ格納部未使用主記憶装置容量レジスタ５０４に格納し、新たにアクセス要求が発生したデータ・セットの現在のデータ量を所属データ・セット・リスト５０３から取出し、前記データ格納部未使用主記憶装置容量レジスタ５０４に格納された前記データ格納部未使用主記憶装置容量と比較し、未使用主記憶装置容量がチェックインしようとするデータ・セットよりも大きい場合には、請求項３で示されたように、チェックアウトをしないでチェックインすることが可能であることを図４よりも詳しく示している。
【００４５】
図６は、ネットワーク６２１に配置された電子計算機６０１と電子計算機６１１がデータ格納装置６０２、６１２をそれぞれ持ち、前記データ格納装置６０２、６１２の内部にリソース・マネジメント部６０３、６１３をそれぞれ持ち、前記リソース・マネジメント部６０３、６１３の内部に識別記号とデータ・サイズの対応表６０４、６１４と割当てられた主記憶装置容量をそれぞれ持ち、電子計算機６０１と電子計算機６１１との間で情報交換することにより、請求項４に示されている、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化して、所属データ・セットの配置換えを行い、データ格納部６０６，６１６に格納されているデータ・セットおよびチェックアウト・データ待避スペース６０７、６１７に格納されているデータ・セットをそれぞれ配置換えして最適化することが可能であることを示している。ここで前記情報交換を行うネットワーク上に配置された電子計算機は２台以上であってもよい。
【００４６】
図７は、前記データ・セット識別記号変換部７０１において、生産管理システムにおける部品構成表（以下ＢＯＭ）の製品番号にあたるトップ・レベル（以下Ｌ０）の部品番号を入力値として、前記入力値が３の剰余系で前記識別記号に変換され、前記データ・セット識別記号ロケーション情報変換部７０２においてロケーション情報に変換され、それぞれのロケーション情報の指し示すネットワーク上に配置された電子計算機の前記データ格納装置のデータ格納部７０３、７０４、７０５に分割された部品構成表のデータ・セットが配置されていることを示している。
【００４７】
図８は、図７に示された分割された部品構成表のデータ・セットから親部品番号３、１６、１８の親部品を製品として、ＢＯＭの正展開表８０１を示したものである。図７において、親部品番号３を与えられた製品は、前記データ・セット識別記号変換部７０１によって３の剰余系として識別番号０を得る。識別番号０は、前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．１０を得る。１９２．１６８．１．１０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０３に格納されたデータ・セット内の部品構成表の一部から部品番号８、１０、１２を子部品としていることを得る。部品番号８を親番号とする部品が前記データ格納部７０３に格納されたデータ・セット内の部品構成表の一部内には無いため、部品番号８を前記データ・セット識別記号変換部７０１の入力値として与えることにより識別記号２を得る。識別記号２から前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．３０を得る。１９２．１６８．１．３０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０５に格納されたデータ・セット内の部品構成表の一部から部品番号１１、１３、２０を子部品としていることを得る。部品番号１１を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。部品番号１３を親番号とする部品はデータ格納部７０５に格納されたデータ・セット内に存在しないため、再度、部品番号１３を前記データ・セット識別記号変換部７０１の入力値として与えることにより識別記号１を得る。識別記号１から前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．２０を得る。１９２．１６８．１．２０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０４に格納されたデータ・セット内の部品構成表の一部から子部品を持たない最末端部品であることを確認する。部品番号２０を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、部品番号１７を子部品としていることを得る。部品番号１７を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。同様のプロセスを部品番号１０、１２を持つものについて行い、請求項５で示されているように、図８で示されたＢＯＭの正展開表８０１の中のレベル０（以下Ｌ０）の値が３のもの、すなわち部品番号３をトップ・レベルにもつ製品のＢＯＭの正展開表をえることが可能であることを示している。
【００４７】
図７におけるデータ格納部７０３、７０４、７０５には、市販されている若しくはシェアウェア化されている若しくはフリーウェア化されている若しくは独自開発されたインメモリ・データベース・エンジンを代りに充ててもよい。
【実施例】
【００４８】
ＥＵの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、大容量超高速データベースの実用化が求められている。
【００４９】
本発明により、超高速データベース・エンジンであるインメモリ・データベースを搭載するＰＣサーバー複数台をネットワークで接続し、小規模データベースの連携によるグリッド・コンピューティングとして、スケーラビリティをもって、大容量化することを可能にし、来るＥＵの環境問題規制強化に対処しようとしている。
【図面の簡単な説明】
【００５０】
【図１】全体構成図 本発明の請求項１に基づく全体構成図
【図２】データ・セット識別記号ロケーション情報変換部の一例図 本発明の請求項１および請求項２に基づくデータ・セット識別記号ロケーション情報変換部の一例図
【図３】データ・セットのチェックアウト、チェックイン概念図 本発明の請求項１に基づく、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している概念図
【図４】データ・セットのチェックアウトを伴わないチェックイン概念図 本発明の請求項３に基づく、チェックアウトをしないでチェックインすることが可能であることを示している概念図
【図５】データ・セットのチェックアウトを伴わないチェックイン詳細概念図 本発明の請求項３に基づく、チェックアウトをしないでチェックインすることが可能であることを詳しく示している詳細説明図
【図６】データ・セットの格納ロケーションの自動最適化機構の構成図 本発明の請求項４に基づく、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化計算、配置換えによる最適化を示している構成図
【図７】分割後複数データ・セットの横断統合セルフ・ジョイン機構説明図 分割された部品構成表の正展開を例とした横断統合セルフ・ジョイン機構の説明図
【図８】ＢＯＭの正展開の一例図 図７に示された例示の情報を、本発明の請求項５に基づき、分割された部品構成表の正展開をシミュレートした結果表
【技術分野】
【０００１】
本発明は、インメモリ・データベースおよびそれを用いたグリッド・コンピューティング・システムに関する。
【背景技術】
【０００２】
データベース管理システムの基本技術は、階層型にはじまり、ネットワーク型、リレーショナル型を経てオブジェクト指向型に至っているが、未だリレーショナル型が主流である。
【０００３】
加えて、その主流であるリレーショナル型データベース管理システムは、データ格納媒体として、格納容量が大きく、電力の供給が断たれても、その記憶内容が比較的安定している磁気ディスクを主要部品とするハードディスク装置を二次記憶装置として使用することを前提としてきた。
【０００４】
二次記憶装置としてのハードディスク装置は、停電に対しては安定しているが、機械的摺動部分を多く持つという理由から、半導体記憶装置に対して故障発生率は桁違いに高く、読出し書込みのアクセス時間は桁違いに遅い。また、周辺の磁場の影響を受けやすい磁気媒体を記憶媒体としているため、磁石の接近に対して記憶保持力は不安定である。さらに、読出し書込みのアクセスは磁気ヘッダの接触によっておこなわれるため、磁気ヘッダは磁気記憶媒体に非常に近い場所に常に置かれている。そのため、衝撃に対しても磁気記憶媒体の記憶保持力が脆弱であることは周知のことである。
【０００５】
二次記憶装置として不揮発性メモリ等の半導体記憶媒体を使用する動きもあるが、単位記憶容量あたりの価格が未だに高価であるため、経済的な理由から、その普及はデータベース管理システムに利用するほどには普及していない。
【０００６】
最近の工業生産技術の向上に伴い、揮発性半導体記憶媒体は低価格大容量化の傾向にあり、それに伴いギガビットオーダーの大容量揮発性半導体記憶装置を主記憶装置とするパーソナル・コンピュータ（以下ＰＣ）も登場してきている。また、３２ビットＣＰＵではアドレッシングの理由から２の３２乗バイトすなわち４２億９千４百９６万７千２百９６バイト（約４ＧＢ）以上のメモリを主記憶装置として搭載しても無意味であったが、６４ビットＣＰＵの登場で２の６４乗バイトのメモリ空間を持つことが可能になり、理論上はテラ・バイト・オーダーのデータベースをインメモリで取扱うことも可能になってきている。実際には半導体メモリの現在の集積技術の制限から一個の６４ビットＣＰＵに搭載される主記憶装置としての半導体メモリはせいぜい数十ＧＢレベルと推定される。
【０００７】
前記揮発性半導体記憶媒体は低価格大容量化の傾向は、データベース管理システムの在り方を根底から覆すこととなり、主記憶装置をメインのデータ格納装置とし、二次記憶装置を障害時のリカバリのための永続化（パーシステント）用記憶媒体と位置づけるインメモリ・データベース管理システムが商用プロダクトとして複数製品が市場に登場してきている。
【０００８】
現在市場に登場してきているインメモリ・データベース管理システムは、マルチューザによる複雑な更新処理をともなうトランザクション用データベース管理システムではなく、ＯＬＡＰやデータマイニングを行うためのデータウェアハウス（以下ＤＷＨ）用のデータベース管理システムとしての位置付けが妥当であり、数十ＧＢレベルの大きさのデータベース管理システムのインメモリ化には成功しているといえる。
【０００９】
【特許文献１】特開２００４−２２７１６９号（ＰＣＴ／ＪＰ２００３／０１４３９０）公報
【特許文献２】特開２００４−１４５６４０号公報
【特許文献３】特開２０００−３３９３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ＥＵの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、数百テラ・バイト・オーダーの大容量超高速データベースの実用化が求められている。
【００１１】
６４ビットＣＰＵ搭載ＰＣの登場により、大容量超高速データベースの実現に近づいたとはいえ、主記憶装置に用いられる半導体揮発性記憶装置の集積度は、一台のＰＣに数百テラ・バイト・オーダーの半導体揮発性記憶装置を搭載するほどには至っていない。従って、ネットワーク上に配置された複数個の電子計算機にデータベースを分散して処理ができることが求められている。そのため、同一属性を持つ大規模データの集合を、数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機上で主記憶装置のみで処理可能な大きさのデータ・セットに分割して、前記数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機を複数台ネットワークに接続することが考えられるが、データ処理を行うユーザの電子計算機からは前記分割された複数個のデータ・セットが、統合して仮想的に単一のデータ・セットとして取扱えるようにすることができないことが問題であった。
【００１２】
また、全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、接続する電子計算機の台数の制限からハードディスク装置等の二次記憶媒体を効率的に利用することが求められる場合もあり、この二次記憶媒体を効率的に利用することができないことも問題であった。
【００１３】
また、ネットワーク上に接続される電子計算機は、ＣＰＵの性能が一様ではなく、搭載主記憶装置の容量も各様であり、時系列的にも、配置換えや新旧の入替えにより、ネットワーク上に接続される電子計算機の台数は変化し、前記電子計算機に搭載されるＣＰＵの性能は変化し、前記電子計算機に搭載される主記憶装置の容量も変化していく。その多様性や変化に対応すべく前記分割されたデータ・セットのロケーション情報がダイナミックに変更可能ではなく、加えて最適配置も困難であったことも問題であった。
【００１４】
さらに、単純に大規模データ・セットが適正規模の複数データ・セットに分割されても、生産管理システムにおけるＢＯＭ（部品構成表）の正展開、逆展開を表現するためのように複数データ・セットに跨るセルフ・ジョインを横断的に効率的に実現することも困難であった。
【００１５】
そこで、本発明は、本データベース・システムにおいて大規模データ・セットが小規模データ・セットに分割されていても、仮想的に統合して単一の大規模データ・セットとして取扱えるようにし、前記データベース・システムを運用しながら、前記データベース・システムを構成するネットワーク上に配置された一個以上の電子計算機の台数ないし前記電子計算機に搭載されているＣＰＵの性能ないし前記ＣＰＵの個数ないし前記電子計算機に搭載されている主記憶装置の容量等のリソースの変化に呼応して、前記分割されたデータ・セットのロケーションをダイナミックに最適配置していくことを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明においては、請求項１に示されるように、同一の属性を持つ大規模データの集合を、格納すべきデータの情報の一部または全部をハッシング等のアルゴリズムを特定のパラメータで用いて、ネットワーク上に配置された電子計算機の主記憶装置のみで処理可能な大きさに分割配置し、それぞれをデータ・セットとする。各データ・セットには識別記号とロケーション情報が与えられ、検索や加工の際には対象となるデータの情報の一部または全部を前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、格納先のデータ・セットを特定する。全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、データ・セットの、他の記憶媒体への待避（以下チェックアウト）、召還（以下チェックイン）機能を持つことによって、接続される電子計算機の台数の制限に対応する。
【００１７】
また、請求項２に示されるように、データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有することにより、各時点での各データ・セットの配置を再検討し、最適再配置を可能にする。
【００１８】
また、請求項３に示されるように、配置されたデータ・セットの大きさに対して、そのデータ・セットが配置されている電子計算機の主記憶装置の未使用記憶容量が、アクセス対象でチェックアウトされているデータ・セットを、現在チェックインしているデータ・セットをチェックアウトせずにチェックイン可能な場合、現在のデータ・セットのチェックアウトが行われずに、アクセス対象のデータ・セットがチェックインされる。これによって、二次記憶装置の使用を抑制し、性能向上を図る。
【００１９】
また、請求項４に示されるように、各データ・セットと前記ネットワーク上に配置された電子計算機のＣＰＵ稼働率や搭載主記憶装置の未使用記憶容量を常時ないし定期的に監視し、データ・セットのその時点での実際の大きさ、配置されていて使用可能な電子計算機のＣＰＵ稼働率や搭載主記憶装置の未使用記憶容量の変化に応じて、自動的にロケーション情報の変更、データ・セットの再配置を行うことにより、二次記憶装置の使用を抑制し、性能向上を図る。
【００２０】
また、請求項５に示されるように、データ・セットが、自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、セルフ・ジョインを再帰的におこない、各データ・セットの分割される前の元の大規模データ・セットに記述された親部品子部品構成表に基づく前記ＢＯＭの正展開、逆展開を行う。
【発明の効果】
【００２１】
これにより、数百テラ・バイト・オーダー・レベルの大規模データ・セットからの抽出ないしソートないしマージないしジョインないしプロジェクションも高速に実行することが可能となる。
【００２２】
また、数テラ件数オーダー・レベルの大規模ＢＯＭにおいても、その正展開、逆展開を高速で行うことが可能となる。
【００２３】
使用開始時には数ギガ・バイト・オーダー・レベルの大きさの小規模データベースが、時間とともに大きくなり、数百テラ・バイト・オーダー・レベルの大規模データベースに成長しても、基本的構造を変更せずに、前記ネットワーク上に配置される電子計算機の台数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載されたＣＰＵの性能の向上ないし個数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載された主記憶装置の容量の増加、だけでその成長の度合に応じて、その時点での最適規模のデータベースに拡張しながら構築することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態について、図を用いて説明する。なお、本発明は、これら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々たる態様で実施し得る。
【００２５】
（発明の概念）
図１は、請求項１に基づく本発明の概念を示す。
データ入力装置１０１、
データ格納部特定装置１０２、
データ格納装置１０３、１０４、１０５、
データ検索加工装置１０６、
データ出力装置１０７が、
本発明に係わるマルチインスタンス・インメモリ・データベースの構成要素である。
データ・セット識別記号変換部１２１、
データ・セット識別記号ロケーション情報変換部１２２は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納部特定装置１０２の構成要素である。
データ格納部１３１、１４１、１５１、
リソース・マネジメント部１３２、１４２、１５２、
チェックアウト・データ待避スペース１３３、１４３、１５３、１５４は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納装置１０３、１０４，１０５の構成要素である。
データ検索部１６１、
データ加工部１６２、
ワークスペース部１６３、
リソース・マネジメント部１６４は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ検索加工装置１０６の構成要素である。
【００２６】
データ入力装置１０１は、ネットワーク上の他の電子計算機からデータをインポートしてもよい。
【００２７】
データ入力装置１０１は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機がフロッピー・ディスク若しくはＣＤ若しくはＤＶＤ若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成したデータを前記記憶媒体からインポートしてもよい。
【００２８】
データ入力装置１０１は、前記データ入力装置１０１が実装されている電子計算機上に接続されたキーボートやマウス等の入力機器から直接入力されたデータをインポートしてもよい。
【００２９】
データ・セット識別記号変換部１２１は、データ入力装置１０１がインポートしたデータをタプルごとに読出し、前記タプルを構成するアトリビュートに記録されている情報の全部または一部を入力情報として、前記タプルが格納されるべきデータ・セットの識別記号（すなわちＩＤ）に変換する。
【００３０】
前記タプルを構成するアトリビュートに記録されている情報の全部または一部である入力情報を前記タプルが格納されるべきデータ・セットの識別記号への変換には、適当なハッシュ・アルゴリズムに適当なパラメータ値を与えて実施してもよい。ただし、本発明に係わるデータベース・システムが稼働している最中は、前記ハッシュ・アルゴリズムおよびパラメータ値は変更しないものとする。
【００３１】
データ・セット識別記号ロケーション情報変換部１２２は、前記データ・セット識別記号変換部１２１が変換して取得した前記前記タプルが格納されるべきデータ・セットの識別記号と実際に物理的に前記データ・セットが格納されるデータ格納装置１０３、１０４、１０５が実装されている前記ネットワーク上に配置された電子計算機のネットワーク上でのロケーション情報を対応付けるテーブルである。
【００３２】
図２は、前記データ・セットの識別記号と前記ロケーション情報を対応付けるテーブルの構成の一例である。この例では、
識別記号欄２０１は、ロケーション情報欄２１１と、
識別記号欄２０２は、ロケーション情報欄２１２と、
識別記号欄２０３は、ロケーション情報欄２１３と、
識別記号欄２０４は、ロケーション情報欄２１４と、
識別記号欄２０５は、ロケーション情報欄２１５と、
識別記号欄２０６は、ロケーション情報欄２１６と、
識別記号欄２０７は、ロケーション情報欄２１７と、
は対応付けられている。
したがって、識別記号欄２０１に在る識別記号１のデータセットは、ロケーション情報欄２１１にあるロケーション情報１９２．１６８．１．１１で示されるネットワーク上の電子計算機上にデータ格納装置を持つことを意味している。他の識別記号欄２０２、２０３、２０４、２０５、２０６、２０７にある識別記号も他のロケーション情報欄２１２、２１３、２１４、２１５、２１６、２１７にあるロケーション情報と対応付けられる。複数の識別記号が同一のロケーション情報を持っていてもよい。前記複数の識別記号が同一のロケーション情報を持っている場合、請求項１に示すように前記データ格納装置の構成要素であるリソース・マネジメント部によって、データ・セットのチェックインないしチェックアウトが行われる。ただし、請求項３に示されるように、現在、前記データ格納部に格納中のデータセットをチェックアウトを要せずに、アクセス要求のあった別のデータセットをチェックインできる場合にはこの限りではない。
この図２の例を図１に適用してみると、１０３のデータ格納装置Ａのロケーション情報を「１９２．１６８．１．１１」、１０４のデータ格納装置Ｂのロケーション情報を「１９２．１６８．１．１２」、１０５のデータ格納装置Ｃのロケーション情報を「１９２．１６８．１．１３」としてもよい。
【００３３】
図１のデータ格納装置１０３、１０４、１０５を構成する要素の一部であるリソース・マネジメント部１３２、１４２、１５２は、それぞれ対応する前記データ格納装置１０３、１０４、１０５を構成する要素の一部であるデータ格納部１３１、１４１、１５１の未使用主記憶容量と新たにアクセス要求が起っているデータ・セットの大きさに基づいて、現在データ格納部に格納されているデータ・セットを、前記データ格納装置１０３、１０４、１０５を構成する要素の一部であるチェックアウト・データ待避スペース１３３、１４３、１５３、１５４に待避させる必要の是非を評価し、待避させる必要があれば待避し、新たにアクセス要求が発生しているデータ・セットが、新規のデータ・セットであれば新規作成し、チェックアウト・データ待避スペース１３３、１４３、１５３、１５４に待避されているデータ・セットであればチェックインして召還する。前記データ・セット識別記号変換部の機能により、新たにアクセス要求が起っているデータ・セットは、既存のデータ・セットであれば必ず、アクセス要求が起っているデータ・セットが所属するデータ格納装置に接続されたチェックアウト・データ待避スペースに待避させられていることが保証される。
【００３４】
前記チェックアウト・データ待避スペースは、図１のデータ格納装置Ｃ１０５に示されるチェックアウト・データ待避スペース１５３、１５４のように複数個あってもよい。
【００３５】
分割される前の元データ・セットが十分小さく、またはネットワーク上に接続された電子計算機の主記憶装置容量が十分大きく、またはネットワーク上に接続された電子計算機の台数が十分多い場合には、チェックアウト・データ待避スペースとしてのハードディスク装置等の二次記憶装置を使用せず、すべてのデータ・セットを主記憶装置上に格納してもよい。
【００３６】
図１によって示されるように、データ検索加工装置１０６の一部を構成するデータ検索部１６１は、検索キーを前記データ格納部特定装置１２２によって検索対象となるデータ・セットを特定した後、該当するデータ格納装置中のデータ・セットが検索される。特定されたデータ・セットが、データ格納装置１０３に存在するとすると、データ格納装置１０３内のデータ格納部１３１に存在するときにはそのまま、チェックアウト・データ待避スペース１３３に存在する場合には、その待避された当該データ・セットをデータ格納部１３１にチェックインして、検索を行い、加工する必要があれば、前記データ検索加工装置１０６中のデータ加工部１６２によって、検索結果を加工対象として加工する。前記データ検索加工装置１０６中のワークスペース１６３は、前記データ加工部１６２が作業領域として使用する。また、前記データ検索加工装置１０６中のリソース・マネジメント部１６４は、前記データ加工部１６２の加工作業に伴い必要量が増減する前記ワークスペース部の容量のマネジメントをおこなってもよい。
【００３７】
データ出力装置１０７は、ネットワーク上の他の電子計算機へデータをエクスポートしてもよい。
【００３８】
データ出力装置１０７は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機によってフロッピー・ディスク若しくはＣＤ若しくはＤＶＤ若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成して、データを前記記憶媒体によってエクスポートしてもよい。
【００３９】
データ出力装置１０７は、前記データ出力装置１０７が実装されている電子計算機上に接続されたＣＲＴ装置やプリンタ装置等の出力機器へデータを直接エクスポートしてもよい。
【００４０】
請求項１に示される、データ入力装置およびデータ格納部特定装置およびデータ格納装置およびデータ検索加工装置およびデータ出力装置は、その全部ないし一部が同一の電子計算機上に在ってもよい。
【００４１】
図２は、識別記号が識別記号欄２０１、２０２、２０３、２０４、２０５、２０６、２０７に格納され、ロケーション情報がロケーション情報欄２１１、２１２、２１３、２１４、２１５、２１６、２１７に格納されている図であり、請求項２に示されるように、識別記号欄、ロケーション情報欄への記載内容を変更することによって、データ・セットの物理的な格納先を変更することが可能であることを示している。
【００４２】
図３は、データ格納装置３０１において、現在データ格納部３０３内にはデータ・セット３０４が存在している状況で、データ格納装置３０１にアサインされていて、チェックアウト・データ待避スペース３０５内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部３０２によってデータ・セット３０４をチェックアウト・データ待避スペース３０５にチェックアウトする必要があると判断された場合を示しており、データ・セット３０４をチェックアウト・データ待避スペース３０５にチェックアウトして後、前記チェックアウト・データ待避スペース３０５から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部３０３にチェックインしようとしている図である。これは、請求項１に示される、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している。
【００４３】
図４は、データ格納装置４０１において、現在データ格納部４０３内にはデータ・セット４０４が存在している状況で、データ格納装置４０１にアサインされていて、チェックアウト・データ待避スペース４０５内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部４０２によってデータ・セット４０４をチェックアウト・データ待避スペース４０５にチェックアウトする必要がないと判断された場合を示しており、データ・セット４０４をチェックアウト・データ待避スペース４０５にチェックアウトすることなく、前記チェックアウト・データ待避スペース４０５から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部４０３にデータ・セット４０６として、チェックインしようとしている図である。これは、請求項３に示されている、新たにチェックインしようとするデータ・セットが十分小さいか、データ格納部が十分大きい場合若しくはその両方である場合、チェックアウト・データ待避スペースの様な二次記憶装置の使用を抑制し、一個のデータ格納装置のデータ格納部に複数のデータ・セットをアサインし高速にアクセスすることが可能であることを示している。
【００４４】
図５は、データ格納装置５０１において、リソース・マネジメント部５０２内に所属データ・セット・リスト５０３とデータ格納部未使用主記憶装置容量レジスタ５０４を配置して、データ格納部に現在存在するデータ・セットのデータ量の増減を常時監視し、データ格納部未使用主記憶装置容量を計算し、前記データ格納部未使用主記憶装置容量レジスタ５０４に格納し、新たにアクセス要求が発生したデータ・セットの現在のデータ量を所属データ・セット・リスト５０３から取出し、前記データ格納部未使用主記憶装置容量レジスタ５０４に格納された前記データ格納部未使用主記憶装置容量と比較し、未使用主記憶装置容量がチェックインしようとするデータ・セットよりも大きい場合には、請求項３で示されたように、チェックアウトをしないでチェックインすることが可能であることを図４よりも詳しく示している。
【００４５】
図６は、ネットワーク６２１に配置された電子計算機６０１と電子計算機６１１がデータ格納装置６０２、６１２をそれぞれ持ち、前記データ格納装置６０２、６１２の内部にリソース・マネジメント部６０３、６１３をそれぞれ持ち、前記リソース・マネジメント部６０３、６１３の内部に識別記号とデータ・サイズの対応表６０４、６１４と割当てられた主記憶装置容量をそれぞれ持ち、電子計算機６０１と電子計算機６１１との間で情報交換することにより、請求項４に示されている、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化して、所属データ・セットの配置換えを行い、データ格納部６０６，６１６に格納されているデータ・セットおよびチェックアウト・データ待避スペース６０７、６１７に格納されているデータ・セットをそれぞれ配置換えして最適化することが可能であることを示している。ここで前記情報交換を行うネットワーク上に配置された電子計算機は２台以上であってもよい。
【００４６】
図７は、前記データ・セット識別記号変換部７０１において、生産管理システムにおける部品構成表（以下ＢＯＭ）の製品番号にあたるトップ・レベル（以下Ｌ０）の部品番号を入力値として、前記入力値が３の剰余系で前記識別記号に変換され、前記データ・セット識別記号ロケーション情報変換部７０２においてロケーション情報に変換され、それぞれのロケーション情報の指し示すネットワーク上に配置された電子計算機の前記データ格納装置のデータ格納部７０３、７０４、７０５に分割された部品構成表のデータ・セットが配置されていることを示している。
【００４７】
図８は、図７に示された分割された部品構成表のデータ・セットから親部品番号３、１６、１８の親部品を製品として、ＢＯＭの正展開表８０１を示したものである。図７において、親部品番号３を与えられた製品は、前記データ・セット識別記号変換部７０１によって３の剰余系として識別番号０を得る。識別番号０は、前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．１０を得る。１９２．１６８．１．１０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０３に格納されたデータ・セット内の部品構成表の一部から部品番号８、１０、１２を子部品としていることを得る。部品番号８を親番号とする部品が前記データ格納部７０３に格納されたデータ・セット内の部品構成表の一部内には無いため、部品番号８を前記データ・セット識別記号変換部７０１の入力値として与えることにより識別記号２を得る。識別記号２から前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．３０を得る。１９２．１６８．１．３０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０５に格納されたデータ・セット内の部品構成表の一部から部品番号１１、１３、２０を子部品としていることを得る。部品番号１１を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。部品番号１３を親番号とする部品はデータ格納部７０５に格納されたデータ・セット内に存在しないため、再度、部品番号１３を前記データ・セット識別記号変換部７０１の入力値として与えることにより識別記号１を得る。識別記号１から前記データ・セット識別記号ロケーション情報変換部７０２によってロケーション情報１９２．１６８．１．２０を得る。１９２．１６８．１．２０のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部７０４に格納されたデータ・セット内の部品構成表の一部から子部品を持たない最末端部品であることを確認する。部品番号２０を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、部品番号１７を子部品としていることを得る。部品番号１７を親番号とする部品構成表のデータはデータ格納部７０５に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。同様のプロセスを部品番号１０、１２を持つものについて行い、請求項５で示されているように、図８で示されたＢＯＭの正展開表８０１の中のレベル０（以下Ｌ０）の値が３のもの、すなわち部品番号３をトップ・レベルにもつ製品のＢＯＭの正展開表をえることが可能であることを示している。
【００４７】
図７におけるデータ格納部７０３、７０４、７０５には、市販されている若しくはシェアウェア化されている若しくはフリーウェア化されている若しくは独自開発されたインメモリ・データベース・エンジンを代りに充ててもよい。
【実施例】
【００４８】
ＥＵの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、大容量超高速データベースの実用化が求められている。
【００４９】
本発明により、超高速データベース・エンジンであるインメモリ・データベースを搭載するＰＣサーバー複数台をネットワークで接続し、小規模データベースの連携によるグリッド・コンピューティングとして、スケーラビリティをもって、大容量化することを可能にし、来るＥＵの環境問題規制強化に対処しようとしている。
【図面の簡単な説明】
【００５０】
【図１】全体構成図 本発明の請求項１に基づく全体構成図
【図２】データ・セット識別記号ロケーション情報変換部の一例図 本発明の請求項１および請求項２に基づくデータ・セット識別記号ロケーション情報変換部の一例図
【図３】データ・セットのチェックアウト、チェックイン概念図 本発明の請求項１に基づく、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している概念図
【図４】データ・セットのチェックアウトを伴わないチェックイン概念図 本発明の請求項３に基づく、チェックアウトをしないでチェックインすることが可能であることを示している概念図
【図５】データ・セットのチェックアウトを伴わないチェックイン詳細概念図 本発明の請求項３に基づく、チェックアウトをしないでチェックインすることが可能であることを詳しく示している詳細説明図
【図６】データ・セットの格納ロケーションの自動最適化機構の構成図 本発明の請求項４に基づく、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化計算、配置換えによる最適化を示している構成図
【図７】分割後複数データ・セットの横断統合セルフ・ジョイン機構説明図 分割された部品構成表の正展開を例とした横断統合セルフ・ジョイン機構の説明図
【図８】ＢＯＭの正展開の一例図 図７に示された例示の情報を、本発明の請求項５に基づき、分割された部品構成表の正展開をシミュレートした結果表
【特許請求の範囲】
【請求項１】
ネットワーク上に配置された、
外部からのデータを入力するための一個以上のデータ入力装置と、
前記入力されたデータの格納先を特定する一個以上のデータ格納部特定装置と、
前記入力されたデータを主記憶装置上に格納する一個以上のデータ格納装置と、
前記格納されたデータを検索加工する一個以上のデータ検索加工装置と、
前記検索加工されたデータを外部へ出力するための一個以上のデータ出力装置と、
を備えるマルチインスタンス・インメモリ・データベース・システムであって、
前記データ格納部特定装置は、
前記入力されたデータの一部ないし全部の情報を、前記入力されたデータの格納先であるデータ・セットを特定するためのデータ・セット識別記号に、ハッシング等のアルゴリズムを特定のパラメータで用いて、変換する前記入力されたデータのデータ・セット識別記号変換部と、
前記識別記号に対応する前記データ・セットのロケーションを特定するデータ・セット・ロケーション情報と前記データ・セット識別記号とを対応付けする前記データ・セットのデータ・セット識別記号ロケーション情報変換部と、
を有し、
前記データ格納装置は、
前記データ格納部ロケーション情報によって特定された前記データ格納装置において、当該データ格納装置上の主記憶装置上に存在するデータ・セットに前記入力されたデータを格納するデータ格納部と、
現在、当該データ格納装置上の主記憶装置上に存在する前記データ・セットと同一の前記データ・セット・ロケーション情報を有し、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させられている別のデータ・セットに挿入ないし抽出等のアクセス要求が発生した場合、現在、前記当該データ格納装置上の主記憶装置上に存在する前記データ・セットを、前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させ、現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されている前記アクセス要求が発生しているデータ・セットを召還するリソース・マネジメント部と、
を有し、
前記データ検索加工装置は、
前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、検索対象となる前記データ・セットを特定しながら、一個以上の前記データ格納装置上の一個以上のデータ・セットを横断的に検索するデータ検索部と、
前記データ検索部によって特定され抽出されたデータを、前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、加工対象となる前記データ・セットを特定しながら、変更ないし削除、若しくは一個以上の前記データ・セットに跨るデータ群のジョインないしプロジェクションないしソートないしマージ等のデータ加工を横断的におこなうデータ加工部と、
前記データ検索部ないし前記データ加工部の処理に供される主記憶空間であるワークスペース部と、
前記データ格納部および前記データ検索部および前記データ加工部および前記ワークスペース部に供される主記憶空間のリソースが不足した際、ハードディスク装置等の二次記憶装置やネットワーク上の他の電子計算機上の主記憶装置や二次記憶装置のリソースを利用することによってリソース・マネジメントをおこなうリソース・マネジメント部と、
を有する、
マルチインスタンス・インメモリ・データベース・システム。
【請求項２】
前記データ格納部特定装置は、前記データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有し、前記データ格納装置の主記憶装置容量と格納データ・セットの大きさの関係を最適化して再配置することが可能な請求項１に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項３】
前記データ格納装置は、前記現在当該データ格納装置上の主記憶装置上に格納されている前記データ・セットと同一のロケーション情報を持つ別のデータ・セットを新たに作成しようとしている時、若しくは現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されているデータ・セットにアクセス要求が発生している時、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させることなく作成若しくは召還するのに十分な主記憶装置容量が当該データ格納装置に存在する場合、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを待避させることなく、一個以上のデータ・セットを当該データ格納装置上の主記憶装置上に格納することが可能な請求項１に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項４】
ネットワーク上に配置された、一個以上のデータ格納装置上の各主記憶装置容量と前記各データ・セットの大きさを監視し、待避すなわちチェックアウト、召還すなわちチェックインの回数が極小となるように自動的にロケーション情報の再配置をおこなうことを特徴とする請求項１または請求項２または請求項３に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項５】
前記データ・セットが、他のデータ・セット若しくは自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、ジョインの結果を新たなデータ・セットとして作成することが可能であることを特徴とする請求項１または請求項２または請求項３または請求項４に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項１】
ネットワーク上に配置された、
外部からのデータを入力するための一個以上のデータ入力装置と、
前記入力されたデータの格納先を特定する一個以上のデータ格納部特定装置と、
前記入力されたデータを主記憶装置上に格納する一個以上のデータ格納装置と、
前記格納されたデータを検索加工する一個以上のデータ検索加工装置と、
前記検索加工されたデータを外部へ出力するための一個以上のデータ出力装置と、
を備えるマルチインスタンス・インメモリ・データベース・システムであって、
前記データ格納部特定装置は、
前記入力されたデータの一部ないし全部の情報を、前記入力されたデータの格納先であるデータ・セットを特定するためのデータ・セット識別記号に、ハッシング等のアルゴリズムを特定のパラメータで用いて、変換する前記入力されたデータのデータ・セット識別記号変換部と、
前記識別記号に対応する前記データ・セットのロケーションを特定するデータ・セット・ロケーション情報と前記データ・セット識別記号とを対応付けする前記データ・セットのデータ・セット識別記号ロケーション情報変換部と、
を有し、
前記データ格納装置は、
前記データ格納部ロケーション情報によって特定された前記データ格納装置において、当該データ格納装置上の主記憶装置上に存在するデータ・セットに前記入力されたデータを格納するデータ格納部と、
現在、当該データ格納装置上の主記憶装置上に存在する前記データ・セットと同一の前記データ・セット・ロケーション情報を有し、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させられている別のデータ・セットに挿入ないし抽出等のアクセス要求が発生した場合、現在、前記当該データ格納装置上の主記憶装置上に存在する前記データ・セットを、前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させ、現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されている前記アクセス要求が発生しているデータ・セットを召還するリソース・マネジメント部と、
を有し、
前記データ検索加工装置は、
前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、検索対象となる前記データ・セットを特定しながら、一個以上の前記データ格納装置上の一個以上のデータ・セットを横断的に検索するデータ検索部と、
前記データ検索部によって特定され抽出されたデータを、前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、加工対象となる前記データ・セットを特定しながら、変更ないし削除、若しくは一個以上の前記データ・セットに跨るデータ群のジョインないしプロジェクションないしソートないしマージ等のデータ加工を横断的におこなうデータ加工部と、
前記データ検索部ないし前記データ加工部の処理に供される主記憶空間であるワークスペース部と、
前記データ格納部および前記データ検索部および前記データ加工部および前記ワークスペース部に供される主記憶空間のリソースが不足した際、ハードディスク装置等の二次記憶装置やネットワーク上の他の電子計算機上の主記憶装置や二次記憶装置のリソースを利用することによってリソース・マネジメントをおこなうリソース・マネジメント部と、
を有する、
マルチインスタンス・インメモリ・データベース・システム。
【請求項２】
前記データ格納部特定装置は、前記データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有し、前記データ格納装置の主記憶装置容量と格納データ・セットの大きさの関係を最適化して再配置することが可能な請求項１に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項３】
前記データ格納装置は、前記現在当該データ格納装置上の主記憶装置上に格納されている前記データ・セットと同一のロケーション情報を持つ別のデータ・セットを新たに作成しようとしている時、若しくは現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されているデータ・セットにアクセス要求が発生している時、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させることなく作成若しくは召還するのに十分な主記憶装置容量が当該データ格納装置に存在する場合、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを待避させることなく、一個以上のデータ・セットを当該データ格納装置上の主記憶装置上に格納することが可能な請求項１に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項４】
ネットワーク上に配置された、一個以上のデータ格納装置上の各主記憶装置容量と前記各データ・セットの大きさを監視し、待避すなわちチェックアウト、召還すなわちチェックインの回数が極小となるように自動的にロケーション情報の再配置をおこなうことを特徴とする請求項１または請求項２または請求項３に記載のマルチインスタンス・インメモリ・データベース・システム。
【請求項５】
前記データ・セットが、他のデータ・セット若しくは自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、ジョインの結果を新たなデータ・セットとして作成することが可能であることを特徴とする請求項１または請求項２または請求項３または請求項４に記載のマルチインスタンス・インメモリ・データベース・システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−９２５０３（Ｐ２００６−９２５０３Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−３０８８５３（Ｐ２００４−３０８８５３）
【出願日】平成１６年９月２７日（２００４．９．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０３０３００６７）
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２７日（２００４．９．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０３０３００６７）
【Ｆターム（参考）】
[ Back to top ]