説明

データ連携システム及びデータ取り込み方法

【課題】処理件数の増大による処理時間の増大を防止してデータチェックを行いながらデータを取り込むことを可能とする。
【解決手段】図示しないが、外部システムからの連携データファイル15を中間テーブル11に一括して取り込む手段と、複数のテーブル上のレコードを照合する手段と、複数件のレコードから特定の条件に合致するレコードを抽出する手段と、抽出条件に合致するレコードを別のテーブルに一括して格納する手段とを備える。中間テーブル11に格納された複数のデータファイルの各項目毎に、事前に登録されている各項目毎の正しい仕様、ルールを格納しているコードテーブル14と照合を行い、不整合であるか、予め規定されたエラー条件に合致するレコードを一括して抽出してエラーデータテーブル13に登録し、エラーテーブルに格納されなかった中間テーブル内のデータファイルを正常データテーブル12に格納する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ連携システム及びデータ取り込み方法に係り、特に、外部システムからデータ受信して取り込みを行うデータ連携において、処理件数の増大による処理時間の増大を防止してデータチェックを行いながらデータを取り込むことができるデータ連携システム及びデータ取り込み方法に関する。
【背景技術】
【0002】
一般に、外部システムやファイルからデータを取り込む際には、対象のデータ、レコードを入力順に読み込みを行って、読み込んだ各データ、レコード毎にそこに保持されている項目の妥当性のチェックと必要な計算や変換処理とを行い、正常データと異常データとに振り分けながら記憶媒体に書き込みを行う処理を最終レコードまで繰り返すという方法が取られている。この方法は、処理件数がN倍となった場合に、処理時間もそれに比例して概ねN倍となるため処理件数の多い場合や、処理時間に制約のあるスケジュールの下で運用されるデータ連携システムに適用するには不向きな方法である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
外部システムやファイルからデータの取り込みを行う処理をデータ連携システムとしてシステム化する背景には、システム化により人手の介在を排除することによるデータ取り込み時のミスを防止することと、扱うデータ件数が多いことに起因する人手による作業時間の限界を取り除くこととがある。特に、後者が目的の場合、取り込むべきデータ件数が膨大なケースがほとんどである。
【0004】
この場合、前述した従来技術による取り込んだデータを1件ずつチェックする方法は、人手をコンピューターに置き換えることにより1件当りの処理時間を短縮することを実現することが可能であるが、チェック処理やデータ記憶媒体との間でのデータ読み込み、書き込みプロセスが処理件数に比例した回数発生することとなり、結果として処理件数に比例した処理時間の増大を招くことになるという問題点を生じてしまう。
【0005】
本発明の目的は、前述した従来技術の問題点を解決し、処理件数の増大による処理時間の増大を防止してデータチェックを行いながらデータを取り込むことを可能にしたデータ連携システム及びデータ取り込み方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明によれば前記目的は、外部システムからデータを受信して取り込みを行うデータ連携システムにおいて、前記外部システムからの連携データファイルを中間テーブルに一括して取り込むデータ取り込み手段と、複数のテーブル上にあるレコードを照合するレコード照合手段と、複数件のレコードから特定の条件に合致するレコードを抽出するレコード抽出手段と、抽出条件に合致するレコードを別のテーブルに一括して格納するレコード格納手段とを備え、前記データ取り込み手段は、前記外部システムからの連携データファイルを受領し、受領した連携データファイルを中間テーブルに一括して取り込み、前記レコード照合手段は、前記中間テーブルに格納された連携データファイルの複数のデータファイルの各項目毎に、事前に登録されている各項目毎の正しい仕様、ルールを格納しているコードテーブルと照合を行い、前記レコード抽出手段は、前記照合の結果、不整合であるか、予め規定されたエラー条件に合致するレコードを一括して抽出し、前記レコード格納手段は、前記レコード抽出手段により抽出されたレコードを含むデータファイルをエラーデータテーブルに一括登録し、前記レコード照合手段は、前記中間テーブルと前記エラーデータテーブルとを照合し、前記レコード抽出手段は、前記中間テーブルと前記エラーデータテーブルとの照合の結果、エラーデータテーブルに存在しないレコードを含むデータファイルを中間テーブルから一括して抽出し、前記レコード格納手段は、前記レコード抽出手段により前記中間テーブルから一括して抽出されたデータファイルを正常データテーブルに一括して登録することにより達成される。
【発明の効果】
【0007】
本発明によれば、システム稼動日程、時間帯よって、データ連携によりデータの取り込み件数(業務、取引量に影響される)が変動することがあっても、常に一定時間内でのデータの取り込みを行うことが可能となる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態によるデータ連携システムの構成を示すブロック図である。
【図2】本発明の実施形態での処理動作を説明するフローチャートである。
【図3】連携データファイルを中間テーブルへ取り込む処理を説明するイメージを示す図である。
【図4】中間テーブルからエラーデータを抽出する処理を説明するイメージを示す図である。
【図5】中間テーブルから正常データを抽出する処理を説明するイメージを示す図である。
【発明を実施するための形態】
【0009】
以下、本発明によるデータ連携システム及びデータ取り込み方法の実施形態を図面により詳細に説明する。
【0010】
図1は本発明の一実施形態によるデータ連携システムの構成を示すブロック図である。
【0011】
図1に示す本発明の実施形態によるデータ連携システムは、よく知られている一般的なDBMS(DataBaseManagementSystem)内に構築されているものとしており、図示DBMSは、その詳細を示していないが、CPU、メインメモリ、HDD等による記憶装置、接続されているデータベースを持つ外部記憶装置へのアクセスのためのインタフェース装置等を備えて構成されている。
【0012】
そして、DBMS内のメインメモリ内には、図示していないが、本発明の実施形態で利用する外部からの連携データファイルを中間テーブルに一括して取り込む機能を構築するデータ取り込みプログラム、複数のテーブル上にあるN対M件のレコードを照合する機能(SQLステートメント)を構築する照合プログラム、複数件のレコードから特定の条件に合致するレコードを抽出する機能(SQLステートメント)を構築する抽出プログラム、抽出条件に合致するレコードを別のテーブルに一括して追加して格納する機能(SQLステートメント)を構築するデータ追加格納プログラムが格納されている。これらのプログラムは、DBMSが有するCPUにより実行されることにより、それぞれの機能を構築する。
【0013】
また、DBMS内のメインメモリ内には、本発明により、外部から取り込んだ連携データファイルを格納する中間テーブル11、中間テーブル11から抽出した正常データファイルを格納する正常データテーブル12、中間テーブル11から抽出したエラーデータファイルを格納するエラーデータテーブル13及び中間テーブル11内の各連携データファイルのファイル内容の妥当性チェックのための情報が予め格納されたコードテーブル14が格納されている。
【0014】
外部からの連携データファイル15は、複数のデータファイルにより構成され、各データファイルは、複数の項目により構成されている。そして、外部からの連携データファイル15が取り込まれて中間テーブル11に格納された際、連携データファイル15の複数の項目を有する各データファイルは、中間テーブル11内に1行のファイルとして格納される。この結果、中間テーブル11に格納された連携データファイル15は、図1に示しているように列方向に同一の項目が並んだものとなる。
【0015】
図2は本発明の実施形態での処理動作を説明するフローチャート、図3は連携データファイルを中間テーブルへ取り込む処理を説明するイメージを示す図、図4は中間テーブルからエラーデータを抽出する処理を説明するイメージを示す図、図5は中間テーブルから正常データを抽出する処理を説明するイメージを示す図であり、次に、図2〜図5を参照して本発明の実施形態での処理動作を説明する。なお、ここで説明する処理を実施するに当たって、中間テーブル11、エラーデータテーブル13は、予め初期化されていて空の状態とされているものとする。
【0016】
(1)トランザクションの処理が開始されると、データ取り込みプログラムが外部システムからの連携データファイル15を受領し、受領した連携データファイルを中間テーブル11に一括して取り込む。ここでの処理を示しているのが図3に示しているイメージである(ステップ201、202)。
【0017】
(2)中間テーブル11に格納された処理すべき各データファイルの項目の番号を1に設定し、照合プログラムが、中間テーブル11内の全てのデータファイルの1番目の項目について、事前にシステムに登録されているコードテーブル(各項目毎の正しい仕様、ルールを格納している)と照合を行い、抽出プログラムが、照合の結果、不整合であるか、予め規定されたエラー条件に合致するレコードを一括して抽出する(ステップ203、204)。
【0018】
(3)次に、データ追加格納プログラムが、ステップ204で抽出されたレコードを含むデータファイルをエラーデータテーブルに一括登録する(ステップ205)。
【0019】
(4)そして、ステップ204、205で処理した項目が、各データファイルの最後の項目番号のものか否かを判定し、処理した項目が最後の項目番号の項目でなかった場合、項目番号を1つだけ増加し、ステップ204からの処理に戻って処理を繰り返す(ステップ206、207)。
【0020】
ステップ203からステップ207までの処理(ステップ204、205の処理の繰り返し)を示しているのが図4に示しているイメージである。
【0021】
(5)ステップ206の判定で、ステップ204、205で処理した項目が各データファイルの最後の項目番号のものであった場合、照合プログラムが、中間テーブル11とエラーデータテーブル13とを照合し、抽出プログラムが、照合の結果、エラーデータテーブルに存在しない(項目チェックでエラーとならなかった)レコードを含むデータファイルを中間テーブル11から一括して抽出する(ステップ208)。
【0022】
(6)次に、データ追加格納プログラムが、ステップ208の処理で抽出されたデータファイルを正常データテーブル12に一括して登録し、ここでのトランザクションの処理を終了する(ステップ209、210)。
【0023】
ステップ209での処理を示しているのが図5に示しているイメージである。
【0024】
前述した本発明の実施形態での各処理は、プログラムにより構成し、本発明が備えるCPUに実行させることができ、また、それらのプログラムは、FD、CDROM、DVD等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。
【0025】
前述した本発明の実施形態によれば、システム稼動日程、時間帯よって、データ連携によりデータの取り込み件数(業務、取引量に影響される)が変動することがあっても、データ取り込みの際の処理をデータの件数に依存することなく、データの項目数に依存する処理としているため、常に一定時間内でのデータの取り込みを行うことが可能となる。
【0026】
これにより、本発明の実施形態は、データの取り込み件数が変動的かつ多件数の場合に特に効果が期待でき、また、業種、業態に係らない広範囲なシステム間データ連携に利用することが可能となる。
【0027】
また、本発明の実施形態によれば、一定時間での処理が可能となるため、システム、業務を安定して運用させることが可能となる。さらに、本発明の実施形態は、一般的なDBMSとして標準的に実装された機能を利用しているため、DBMS及びプログラミング言語の種類を選ばすに実現することが可能となり、このため、システム実現のための設備投資も最小限に留めることが可能となる。
【符号の説明】
【0028】
11 中間テーブル
12 正常データテーブル
13 エラーデータテーブル
14 コードテーブル
15 連携データファイル

【特許請求の範囲】
【請求項1】
外部システムからデータを受信して取り込みを行うデータ連携システムにおいて、
前記外部システムからの連携データファイルを中間テーブルに一括して取り込むデータ取り込み手段と、複数のテーブル上にあるレコードを照合するレコード照合手段と、複数件のレコードから特定の条件に合致するレコードを抽出するレコード抽出手段と、抽出条件に合致するレコードを別のテーブルに一括して格納するレコード格納手段とを備え、
前記データ取り込み手段は、前記外部システムからの連携データファイルを受領し、受領した連携データファイルを中間テーブルに一括して取り込み、
前記レコード照合手段は、前記中間テーブルに格納された連携データファイルの複数のデータファイルの各項目毎に、事前に登録されている各項目毎の正しい仕様、ルールを格納しているコードテーブルと照合を行い、
前記レコード抽出手段は、前記照合の結果、不整合であるか、予め規定されたエラー条件に合致するレコードを一括して抽出し、
前記レコード格納手段は、前記レコード抽出手段により抽出されたレコードを含むデータファイルをエラーデータテーブルに一括登録し、
前記レコード照合手段は、前記中間テーブルと前記エラーデータテーブルとを照合し、
前記レコード抽出手段は、前記中間テーブルと前記エラーデータテーブルとの照合の結果、エラーデータテーブルに存在しないレコードを含むデータファイルを中間テーブルから一括して抽出し、
前記レコード格納手段は、前記レコード抽出手段により前記中間テーブルから一括して抽出されたデータファイルを正常データテーブルに一括して登録することを特徴とするデータ連携システム。
【請求項2】
外部システムからデータを受信して取り込みを行うデータ連携システムにおけるデータ取り込み方法において、
前記データ連携システムは、
前記外部システムからの連携データファイルを中間テーブルに一括して取り込むデータ取り込み手段と、複数のテーブル上にあるレコードを照合するレコード照合手段と、複数件のレコードから特定の条件に合致するレコードを抽出するレコード抽出手段と、抽出条件に合致するレコードを別のテーブルに一括して格納するレコード格納手段とを備え、
前記データ取り込み手段は、前記外部システムからの連携データファイルを受領し、受領した連携データファイルを中間テーブルに一括して取り込み、
前記レコード照合手段は、前記中間テーブルに格納された連携データファイルの複数のデータファイルの各項目毎に、事前に登録されている各項目毎の正しい仕様、ルールを格納しているコードテーブルと照合を行い、
前記レコード抽出手段は、前記照合の結果、不整合であるか、予め規定されたエラー条件に合致するレコードを一括して抽出し、
前記レコード格納手段は、前記レコード抽出手段により抽出されたレコードを含むデータファイルをエラーデータテーブルに一括登録し、
前記レコード照合手段は、前記中間テーブルと前記エラーデータテーブルとを照合し、
前記レコード抽出手段は、前記中間テーブルと前記エラーデータテーブルとの照合の結果、エラーデータテーブルに存在しないレコードを含むデータファイルを中間テーブルから一括して抽出し、
前記レコード格納手段は、前記レコード抽出手段により前記中間テーブルから一括して抽出されたデータファイルを正常データテーブルに一括して登録することを特徴とするデータ取り込み方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−22386(P2012−22386A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−157920(P2010−157920)
【出願日】平成22年7月12日(2010.7.12)
【出願人】(000152985)株式会社日立情報システムズ (409)
【Fターム(参考)】