説明

ジョブスケジューリングシステム、ジョブスケジューリング方法及びプログラム

【課題】システムの稼働率を向上させるジョブスケジューリングシステムを提供する。
【解決手段】本発明のジョブスケジューリングシステムは、スケジューラマップを保存するスケジューラマップ保存部と、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するアサイン対象ジョブ選択部と、スケジューラマップの空き領域を検索する空き情報検索部と、遅延禁止ジョブを追い越しても、遅延禁止ジョブのジョブ実行開始時刻を遅延させない追越可能ジョブを判別する追越可能判別部と、追越可能ジョブの実行予定時刻を決定する実行予定時刻決定部と、追越可能ジョブの実行予定計算ノードを選択する実行予定計算ノード選択部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ジョブスケジューリングシステムに関する。
【背景技術】
【0002】
複数の計算ノードで構成されるクラスタリングシステムにおいて、バックフィル型スケジューリングを用いるジョブスケジューラ(以下、「バックフィルスケジューラ」という)が利用されている。バックフィルスケジューラは、システムの計算リソースと時間を軸にした二次元マップ(以下、「スケジューラマップ」という)を使用して、ジョブの予定実行時刻を管理しながら、ジョブが要求するリソースを割り当てる(以下、「アサインする」という)スケジューラである。スケジューラマップによるジョブスケジューリングシステムは、HPC(High Performance Computing)分野を中心に利用されている。
【0003】
従来のスケジューラマップによるジョブスケジューリングシステムでは、システムの計算リソースの使用が少ない少規模ジョブに、システムの計算リソースを多用する大規模ジョブが追い越され続けることにより、長期間、大規模ジョブの実行が開始されない課題があった。図1は、従来のスケジューラマップによるジョブスケジューリングシステムの課題を説明するための図である。図1のスケジューラマップ101は、縦軸に計算ノード数、横軸に時間がとられている。スケジューラマップ101では、現在時刻からマップ終端までの時間の間に、処理が開始するジョブに対して、計算ノード1〜4で実行するジョブを予約することができる。図1の例では、アサイン待ちジョブ102として、ジョブ7〜10がある状態が示されている。この例では、システムの計算リソースの使用が少ない少規模ジョブ8、9に、システムの計算リソースを多用する大規模ジョブ7が追い越されることにより、長期間、大規模ジョブ7の実行が開始されない状態が示されている。
【0004】
従来のスケジューラマップ101によるジョブスケジューリングシステムは、図1で説明した課題を解決するために、追い越し禁止機能が実装されている。図2は、従来のスケジューラマップ101によるジョブスケジューリングシステムの追い越し禁止機能を説明するための図である。追い越し禁止機能とは、一般に、一定時間アサインできなかったジョブが存在する場合には、後続のジョブを追い越し禁止にすることで該当ジョブのアサインを優先させる機能である。図2の例では、アサイン待ちジョブ102として、ジョブ7〜10がある状態が示されている。この例では、一定時間アサインできなかったジョブ7が存在するため、後続のジョブ8、9、10が、ジョブ7に対して追い越し禁止に設定されている。しかし、追い越し禁止機能を有効にすると、小規模ジョブがスケジューラマップ101にアサイン出来ず、計算ノードに空き領域が増え、システム稼働率が低下することがある。図2の例では、追い越し禁止機能を有効にしたため、計算ノード3の空き領域が増えている。
【0005】
これまでのHPC分野におけるクラスタリングシステムでは、規模(使用計算ノード数、CPU数)毎にクラス分けし、クラス毎に使用する計算リソースを分ける運用が主流であった。このような運用では、大規模ジョブと小規模ジョブでクラスが異なるため、リソースが競合することはなかった。しかし、近年は、クラスタリングシステムの全リソースを共有して管理する方法が主流となってきており、大規模ジョブと小規模ジョブでリソースの競合による問題が発生するようになってきた。そのため、大規模ジョブと小規模ジョブが混合していても、効率よくジョブをアサインすることにより、クラスタリングシステムの稼動率の低下を抑えるジョブスケジューリングシステムが求められている。
【0006】
本発明の分野に関する文献公知発明としては、特開2001−22601号公報(特許文献1)がある。特開2001−22601号公報では、ジョブのスケジューリングに関する技術として、複数の実行待ちジョブのうち、先頭に実行要求が発行されたジョブに対して、優先的にスケジュールを行うジョブ実行制御方法及び並列計算機システムに関する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−22601号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、大規模ジョブの実行開始を遅延させない範囲で、可能な限り小規模ジョブの実行を先行させることにより、システムの稼働率を向上させるジョブスケジューリングシステムを提供することにある。
【課題を解決するための手段】
【0009】
本発明のジョブスケジューリングシステムは、スケジューラマップを保存するスケジューラマップ保存部と、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するアサイン対象ジョブ選択部と、スケジューラマップの空き領域を検索する空き情報検索部と、遅延禁止ジョブを追い越しても、遅延禁止ジョブのジョブ実行開始時刻を遅延させない追越可能ジョブを判別する追越可能判別部と、追越可能ジョブの実行予定時刻を決定する実行予定時刻決定部と、追越可能ジョブの実行予定計算ノードを選択する実行予定計算ノード選択部とを備える。
【0010】
本発明のジョブスケジューリング方法は、ジョブスケジューリングシステムにより実施されるジョブスケジューリング方法である。スケジューラマップ保存部が、スケジューラマップを保存するステップと、アサイン対象ジョブ選択部が、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するステップと、アサイン対象ジョブ選択部が、選択するステップにより選択したジョブが、遅延禁止ジョブである場合には、選択したジョブを特別アサイン領域に割り当てるステップと、空き情報検索部が、スケジューラマップの空き領域を検索するステップと、追越可能判別部が、遅延禁止ジョブを追い越しても、遅延禁止ジョブのジョブ実行開始時刻を遅延させない追越可能ジョブを判断するステップと、実行予定時刻決定部が、追越可能ジョブの実行予定時刻を決定するステップと、実行予定計算ノード選択部が、追越可能ジョブの実行予定計算ノードを選択するステップとを含む。
【発明の効果】
【0011】
本発明によれば、大規模ジョブの実行開始を遅延させない範囲で、可能な限り小規模ジョブの実行を先行させることにより、システムの稼働率を向上させるジョブスケジューリングシステムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】図1は、従来のスケジューラマップによるジョブスケジューリングシステムの課題を説明するための図である。
【図2】図2は、従来のスケジューラマップによるジョブスケジューリングシステムの追い越し禁止機能を説明するための図である。
【図3】図3は、本発明の第1実施形態におけるジョブスケジューリングシステム100のブロック図である。
【図4】図4は、本発明の第1実施形態におけるジョブスケジューリングシステム100のスケジューラマップ21を説明するための図である。
【図5】図5は、本発明の第1実施形態におけるジョブスケジューリングシステム100のハードウェア構成図である。
【図6】図6は、本発明の第1実施形態におけるジョブスケジューリングシステム100のジョブスケジューリング方法のフローチャートである。
【図7】図7は、本発明の第2実施形態におけるジョブスケジューリングシステム100のブロック図である。
【図8】図8は、本発明の第2実施形態におけるジョブスケジューリングシステム100のジョブスケジューリング方法のフローチャートである。
【図9】図9は、本発明の第2実施形態におけるジョブスケジューリングシステム100のスケジューラマップ21を説明するための図である。
【発明を実施するための形態】
【0013】
(第1実施形態)
添付図面を参照して、本発明の第1実施形態によるジョブスケジューリングシステム100を以下に説明する。
【0014】
[構成の説明]
はじめに、本実施形態におけるジョブスケジューリングシステム100の機能構成の説明を行う。図3は、本発明の第1実施形態におけるジョブスケジューリングシステム100のブロック図である。
【0015】
ジョブスケジューリングシステム100は、アサイン対象ジョブ選択部10、スケジューラマップ保存部20及びジョブアサイン部30を備える。
【0016】
アサイン対象ジョブ選択部10は、遅延禁止ジョブ判別部11及び特別アサイン領域確保部12を備え、アサイン待ちジョブ22から、スケジューラマップ21にアサインするジョブを選択する。図4は、本発明の第1実施形態におけるジョブスケジューリングシステム100のスケジューラマップ21を説明するための図である。図4のスケジューラマップ21は、縦軸に計算ノード数、横軸に時間がとられている。スケジューラマップ21では、現在時刻からマップ終端までの時間の間に、処理が開始するジョブに対して、計算ノード1〜4で実行するジョブを予約することができる。図4のスケジューラマップ21は、特別アサイン領域23を備えている点が、図1及び図2のスケジューラマップ101とは異なる。特別アサイン領域23については後述する。遅延禁止ジョブ判別部11は、アサイン待ちジョブ22の対象ジョブが、ジョブ実行開始時刻の遅延が禁止されたジョブとなっているかを判別する。遅延禁止ジョブ判別部11は、対象ジョブのジョブ実行開始時刻の遅延が禁止されており、特別アサイン領域23が、まだスケジューラマップ21に確保されていない場合に、特別アサイン領域確保部12の処理を呼び出す。特別アサイン領域確保部12は、ジョブ実行開始時刻の遅延が禁止となったジョブをアサインするための特別アサイン領域23を、スケジューラマップ21に確保する。
【0017】
スケジューラマップ保存部20は、スケジューラマップ21の情報を保存する。スケジューラマップ21の情報には、ジョブが使用する計算リソース、ジョブの実行開始時刻及びジョブの実行所要時間等が含まれる。
【0018】
ジョブアサイン部30は、空き領域情報検索部31、実行予定時刻決定部32、追越可能判別部33及び実行予定計算ノード選択部34を備え、スケジューラマップ21にジョブをアサインする。空き領域情報検索部31は、スケジューラマップ21の空き領域(アサイン可能なリソースの場所)を検索する。実行予定時刻決定部32は、アサイン待ちジョブ22のジョブの実行予定時刻を決定する。追越可能判別部33は、特別アサイン領域に割り当てられたジョブを追い越しても、特別アサイン領域に割り当てられたジョブのジョブ実行開始時刻を遅延させないジョブ(以下、「特別アサイン領域23にオーバーラップしないジョブ」という)を判断する。追越可能判別部33は、特別アサイン領域23にオーバーラップしないジョブについては、特別アサイン領域23に割り当てたジョブを追い越してアサインすることを許可する。実行予定計算ノード選択部34は、実行予定時刻が決定したジョブのアサイン領域を、スケジューラマップ21に確保する。
【0019】
次に、本実施形態におけるジョブスケジューリングシステム100のハードウェア構成の説明を行う。図5は、本発明の第1実施形態におけるジョブスケジューリングシステム100のハードウェア構成図である。
【0020】
本実施形態のジョブスケジューリングシステム100は、図5のようなクラスタリングシステム50において、計算ノード1〜4を管理する管理ノード5において実施される。なお、図5のクラスタリングシステム50の計算ノードの数は4つであるが、計算ノードの数は4つに限られない。管理ノード5におけるジョブスケジューリングシステム100は、メモリ8に展開されるジョブスケジューリングプログラム9が、CPU6により実行されることにより実現される。ジョブスケジューリングプログラム9は、HDD(Hard Disk Drive)等の補助記憶装置7に格納されている。
【0021】
[動作方法の説明]
次に、本実施形態におけるジョブスケジューリングシステム100において、ジョブスケジューリング方法の説明を行う。図6は、本発明の第1実施形態におけるジョブスケジューリングシステム100のジョブスケジューリング方法のフローチャートである。
【0022】
(ステップS1)
アサイン対象ジョブ選択部10は、アサイン待ちジョブ22から、アサイン対象のジョブを選択する。
【0023】
(ステップS2)
遅延禁止ジョブ判別部11は、ステップS1で選択したジョブが、実行開始遅延禁止ジョブであるかどうかを判別する。遅延禁止ジョブ判別部11は、実行開始遅延禁止ジョブである場合には、ステップS3に進み、実行開始遅延禁止ジョブでない場合には、ステップS6に進む。
【0024】
実行開始遅延禁止ジョブの判別方法の例としては、アサイン待ちジョブ22に長期間滞留するジョブを割り当てる方法が考えられる。図4の例では、ジョブ7のようにリソースを多用するジョブは、スケジューラマップ21に割り当てることができずに、アサイン待ちジョブ22として滞留することが多い。そのため、このようなジョブを、優先度が高いジョブであると考え、実行開始遅延禁止ジョブとする方法が考えられる。
【0025】
(ステップS3)
遅延禁止ジョブ判別部11は、特別アサイン領域23がスケジューラマップ21に確保されているか確認する。遅延禁止ジョブ判別部11は、特別アサイン領域23が確保されている場合には、ステップS5に進み、特別アサイン領域23が確保されていない場合には、ステップS4に進む。
【0026】
(ステップS4)
特別アサイン領域確保部12は、特別アサイン領域23をスケジューラマップ21のマップ終端に確保する。特別アサイン領域23は、他のジョブによる追い越しによって、ジョブ開始時刻を遅延させないジョブのみをアサインできる領域であり、スケジューラマップ21の終端部に無条件に領域を確保する(既に割当済みの他のジョブと重なっても良い)。特別アサイン領域23は、時間の経過に連動してスケジューラマップ21上を移動することはなく、常にスケジューラマップ終端部に存在する(特別アサイン領域23上に重なっているジョブについては、時間の経過と共に現在時刻の方向に移動する)。特別アサイン領域23には、実行開始遅延禁止ジョブ以外のジョブをアサインすることは禁止されるため、時間が経過すると特別アサイン領域は必ず空き領域となり、追い越し禁止となったジョブをアサインすることができる。これによって、実行開始遅延禁止ジョブの実行開始時間が保証される。
【0027】
(ステップS5)
特別アサイン領域確保部12は、実行開始遅延禁止ジョブとみなされたアサイン対象のジョブを特別アサイン領域23に割り当て、アサイン対象ジョブのスケジューリング処理を終了する。
【0028】
(ステップS6)
空き領域情報検索部31は、アサイン対象のジョブを割り当てることができるスケジューラマップ21の空き領域を検索する。
【0029】
(ステップS7)
追越可能判別部33は、アサイン対象のジョブが、実行開始遅延禁止ジョブの実行開始時刻を遅延させないかどうかを判別する。アサイン対象ジョブが、特別アサイン領域23にオーバーラップせずに(重ならずに)アサイン可能であれば、実行開始遅延禁止ジョブへの影響がないため、実行開始遅延禁止ジョブの追い越しが可能であると判別する。
【0030】
(ステップS8)
実行予定時刻決定部32は、アサイン対象のジョブの実行予定時刻を決定する。
【0031】
(ステップS9)
実行予定計算ノード選択部34は、スケジューラマップ21上に、アサイン対象のジョブに対するアサイン領域を確保し、アサイン対象のジョブが使用する計算ノードを決定する。
【0032】
図4の例では、ジョブ9が、実行開始遅延禁止ジョブ7を追い越して、スケジューラマップ21上にアサインされ、時刻の経過により、特別アサイン領域23が空いた際に、実行開始遅延禁止ジョブ7が割り当てられる例が示されている。
【0033】
本実施形態によれば、従来の追い越し禁止機能が有効にされたジョブスケジューリングシステムでは、追い越しが禁止される小規模ジョブ(図4の例ではジョブ9)がスケジューラマップ21上にアサインされる。そのため、スケジューラマップ21上の空き領域が減少し、クラスタリングシステム50の稼働率は向上する。
【0034】
また、特別アサイン領域23を確保後は、実行開始遅延禁止ジョブ以外のジョブは、特別アサイン領域23にアサインすることができないため、時間が経過すると、特別アサイン領域にオーバーラップされているジョブはなくなる。そのため、特別アサイン領域23は追い越し禁止となった大規模ジョブ(図4の例ではジョブ7)がアサインされることになる。これにより、実行開始遅延禁止となった大規模ジョブの実行開始時刻が保障される。
【0035】
(第2実施形態)
添付図面を参照して、本発明の第2実施形態によるジョブスケジューリングシステム100を以下に説明する。
【0036】
[構成の説明]
はじめに、本実施形態におけるジョブスケジューリングシステム100の機能構成の説明を行う。図7は、本発明の第2実施形態におけるジョブスケジューリングシステム100のブロック図である。図7のブロック図は、図3のブロック図に対して、ジョブアサイン部30に、特別アサイン領域移動部35が追加されている以外は、図3と同様である。そのため、特別アサイン領域移動部35以外の説明については省略する。
【0037】
特別アサイン領域移動手段35は、特別アサイン領域確保部12で確保した特別アサイン領域23を移動させる。本発明の第1実施形態では、特別アサイン領域23を固定していたが、第2実施形態では、特別アサイン領域23を移動可能としている点が、第1実施形態とは異なる。
【0038】
[動作方法の説明]
次に、本実施形態におけるジョブスケジューリングシステム100において、ジョブスケジューリング方法の説明を行う。図8は、本発明の第2実施形態におけるジョブスケジューリングシステム100のジョブスケジューリング方法のフローチャートである。ステップS1〜ステップS7までの動作方法については、本発明の第1実施形態と同様であるため、ステップS8以降の動作方法について説明する。
【0039】
(ステップS1)〜(ステップS7)
本発明の第1実施形態と同様の動作方法である。
【0040】
(ステップS8)
追越可能判別部33は、アサイン対象のジョブが、スケジューラマップ21の空き領域にアサイン可能かを判別する際に、特別アサイン領域移動部35の処理を呼び出す。特別アサイン領域移動部35は、後続ジョブを最もスケジューラマップ21の空き領域が少ない状態でアサインできるようにするため、スケジューラマップ21の終端に確保している特別アサイン領域23を移動(未来の時間へスライド)させる。図9は、本発明の第2実施形態におけるジョブスケジューリングシステム100のスケジューラマップ21を説明するための図である。図9の例では、ジョブ8を計算ノード3へアサインし、ジョブ9を計算ノード1へアサインしたときに、最もスケジューラマップ21の空き領域が少なくなる。そのため、特別アサイン領域移動部35は、特別アサイン領域23を、ジョブ9をアサインする予定領域の後方まで移動する。なお、特別アサイン領域23は追い越し禁止となった大規模ジョブの実行開始を優先するため、マップ終端の時刻から、一定時間内(以下、「limit」という)までしか移動できないようにする。特別アサイン領域23は、特別アサイン領域移動手段35によって移動されると、移動した位置からスケジューラマップ21の終端までの間は時間の経過と共に、現在時刻方向に移動する。特別アサイン領域23が、スケジューラマップ21の終端部に到達すると、特別アサイン領域23は移動を停止する。特別アサイン領域23の移動可能な幅であるlimitは、コンフィグパラメータとして設定することで、どこまで遅延してもよいかを、ジョブスケジューリングシステム100の運用で制御することが可能となる(パラメータlimitを0に設定すれば、第1実施形態と同様の動作となる)。
【0041】
(ステップS9)
実行予定時刻決定部32は、アサイン対象のジョブの実行予定時刻を決定する。
【0042】
(ステップS10)
実行予定計算ノード選択部34は、スケジューラマップ21上に、アサイン対象のジョブに対するアサイン領域を確保し、アサイン対象のジョブが使用する計算ノードを決定する。
【0043】
本実施形態によれば、特別アサイン領域23を可動式にすることにより、本発明の第1実施形態では、実行開始遅延禁止ジョブを同時に追い越すことができなかった複数の小規模ジョブ(図9の例ではジョブ8及びジョブ9)を、スケジューラマップ21上にアサインすることができる。そのため、スケジューラマップ21上の空き領域を第1実施形態よりも有効に利用することが可能になり、クラスタリングシステム50の稼働率が向上する。
【0044】
以上、本発明の実施の形態が添付の図面を参照することにより説明された。但し、本発明は、上述の実施の形態に限定されず、要旨を逸脱しない範囲で当業者により適宜変更され得る。
【符号の説明】
【0045】
1〜4 計算ノード
5 管理ノード
6 CPU(Central Processing Unit)
7 補助記憶装置
8 メモリ
9 ジョブスケジューリングプログラム
10 アサイン対象ジョブ選択部
11 遅延禁止ジョブ判別部
12 特別アサイン領域確保部
20 スケジューラマップ保存部
21 スケジューラマップ
22 アサイン待ちジョブ
30 ジョブアサイン部
31 空き領域情報検索部
32 実行予定時刻決定部
33 追越可能判別部
34 実行予定計算ノード選択部
35 特別アサイン領域移動部
50 クラスタリングシステム
100 ジョブスケジューリングシステム
101 従来技術のスケジューラマップ
102 アサイン待ちジョブ

【特許請求の範囲】
【請求項1】
スケジューラマップを保存するスケジューラマップ保存部と、ここで、前記スケジューラマップは、ジョブ実行開始時刻の遅延が禁止される遅延禁止ジョブが割り当てられる特別アサイン領域を、前記スケジューラマップの終端に備え、
スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するアサイン対象ジョブ選択部と、ここで、前記アサイン対象ジョブ選択部は、選択した前記ジョブが、前記遅延禁止ジョブである場合には、前記選択したジョブを前記特別アサイン領域に割り当て、
前記スケジューラマップの空き領域を検索する空き情報検索部と、
前記遅延禁止ジョブを追い越しても、前記遅延禁止ジョブの前記ジョブ実行開始時刻を遅延させない追越可能ジョブを判別する追越可能判別部と、
前記追越可能ジョブの実行予定時刻を決定する実行予定時刻決定部と、
前記追越可能ジョブの実行予定計算ノードを選択する実行予定計算ノード選択部と
を備えるジョブスケジューリングシステム。
【請求項2】
前記アサイン対象ジョブ選択部は、アサイン対象の前記ジョブが、前記遅延禁止ジョブであるかどうかを、アサイン待ち時間が最も長い前記ジョブに決定する
請求項1に記載のジョブスケジューリングシステム。
【請求項3】
前記特別アサイン領域の位置を、コンフィグパラメータで定めた一定時間を限度として、前記スケジューラマップ上で移動させることができる
請求項1又は2に記載のジョブスケジューリングシステム。
【請求項4】
スケジューラマップ保存部が、スケジューラマップを保存するステップと、ここで、前記スケジューラマップは、ジョブ実行開始時刻の遅延が禁止される遅延禁止ジョブが割り当てられる特別アサイン領域を、前記スケジューラマップの終端に備え、
アサイン対象ジョブ選択部が、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するステップと、
前記アサイン対象ジョブ選択部が、前記選択するステップにより選択した前記ジョブが、前記遅延禁止ジョブである場合には、前記選択したジョブを前記特別アサイン領域に割り当てるステップと、
空き情報検索部が、前記スケジューラマップの空き領域を検索するステップと、
追越可能判別部が、前記遅延禁止ジョブを追い越しても、前記遅延禁止ジョブの前記ジョブ実行開始時刻を遅延させない追越可能ジョブを判別するステップと、
実行予定時刻決定部が、前記追越可能ジョブの実行予定時刻を決定するステップと、
実行予定計算ノード選択部が、前記追越可能ジョブの実行予定計算ノードを選択するステップと
を含むジョブスケジューリング方法。
【請求項5】
前記選択したジョブを前記特別アサイン領域に割り当てるステップは、
アサイン対象の前記ジョブが、前記遅延禁止ジョブであるかどうかを、アサイン待ち時間が最も長い前記ジョブに決定するステップ
を含む請求項4に記載のジョブスケジューリング方法。
【請求項6】
前記ジョブスケジューリング方法は、
前記特別アサイン領域の位置を、コンフィグパラメータで定めた一定時間を限度として、前記スケジューラマップ上で移動させるステップ
を含む請求項4又は5に記載のジョブスケジューリング方法。
【請求項7】
請求項4乃至6のいずれか1項に記載のジョブスケジューリング方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−173753(P2012−173753A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−31758(P2011−31758)
【出願日】平成23年2月17日(2011.2.17)
【出願人】(000004237)日本電気株式会社 (19,353)
【出願人】(390001395)NECシステムテクノロジー株式会社 (438)