障害箇所特定方法
【課題】サイレント障害が発生した時点のログ情報を漏れなく収集して解析可能な障害箇所特定方法を提供する。
【解決手段】複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、障害事象の発生に応じて、障害事象に相当する障害事象例に対応して収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、選択された対象カードからログ情報を収集し、収集したログ情報をこれに含まれるログ情報項目ごとに解析して、対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、評価指標に基づいて切替対象カードを特定する。
【解決手段】複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、障害事象の発生に応じて、障害事象に相当する障害事象例に対応して収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、選択された対象カードからログ情報を収集し、収集したログ情報をこれに含まれるログ情報項目ごとに解析して、対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、評価指標に基づいて切替対象カードを特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動通信システムの無線ネットワーク制御装置のように、多数の機能ユニットが回路基板などに集積されたカードから構成される情報処理装置において、各カードで蓄積されているログ情報に基づいて、障害箇所および要因を特定する障害箇所特定方法に関する。
【背景技術】
【０００２】
例えば、移動通信システムの無線ネットワーク制御装置は、図９に示すように、外部インタフェース部４０１、セル交換装置４０２、トランク装置４０３、Ｎｏ．７信号終端部４０４、信号終端装置共通部４０５に加えて、様々な機能を果たす機能ブロック１，２(図９において符号４０６，４０７を付して示す)およびこれらを制御する制御処理部４０８を備えている。また、図９に示した無線ネットワーク制御装置は、保守端末制御部４０９を介して保守端末４１０に接続されており、障害が発生した際には、保守作業者により、この保守端末４１０および保守端末制御部４０９を介して、ネットワーク制御装置に対する保守作業が行われる。なお、図９に示した保守端末４１０がこの無線ネットワーク制御装置を介して外部装置とやり取りする制御信号は、端末制御信号終端部４１１によって終端されている。
【０００３】
図９に示した外部インタフェース部４０１、セル交換装置４０２、トランク装置４０３、Ｎｏ．７信号終端部４０４および機能ブロック１，２がそれぞれ集積されたカードは、それぞれ二重化されており、また、これらのカードそれぞれに診断処理部が備えられている。そして、各カードに備えられた診断処理部においてカード内部に障害が検出された際には、アラームが発生し、これに応じて、二重化されたカードの切り替えなどが自動的に行われ、装置全体の可用性の向上が図られている。
【０００４】
しかしながら、上述したような様々な種類のカードにおいて発生する障害の中には、発生頻度が非常に低い障害や検出自体が極めて困難な障害もある。このような障害の検出処理は、各カードに備えられた診断処理部に組み込まれていない、あるいは、組み込むことができない。このような障害は、発生してもアラームが通知されないことから、サイレント障害と呼ばれている。とはいえ、このようなサイレント障害の影響で、呼制御関連イベントの処理が正常に完了しないことがあり、そのような事象が多発するとサービス品質が低下する。
【０００５】
従来は、アラームが発生していないにもかかわらず、呼制御関連イベントの完了率が低下したり、対向ノードとの間の制御ループの切断が繰り返されたりした場合のように、サイレント障害の影響が疑われる場合には、以下のような対処が行われていた。
【０００６】
すなわち、問題となる事象にかかわる信号疎通ルートが経由している疑わしいカードを保守作業者が一つずつ予備系に切り替えていき、上述したような事象が回復したか否かを見極めることで、障害が発生したカードを特定するとともに、疑わしいカードからログ情報を収集し、収集したログ情報を解析することで、ユニット内での障害箇所や障害要因を特定する作業を行っていた。
【０００７】
このようなサイレント障害は、多種多様なネットワーク機器から構成されたネットワークシステムにおいても認識されており、サイレント障害を検出するための様々な技術が提案されている(特許文献１、２参照)。
【特許文献１】特開平９−６５７１号公報(第４、第６頁、図１)
【特許文献２】特開２００６−２４５８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように、保守作業者が二重化されているカードを予備系に切り替える作業と並行してログの収集を行う方法では、予備系への切り替えを実行するカードの選択もログ収集対象とするカードの選択も保守作業者に任されているので、保守作業者の作業負担が大きく、また、保守作業者の知識や経験によって復旧までに要する時間が大きく異なってしまっていた。
【０００９】
このように、障害が発生したカードを予備系に切り替えてシステムを復旧するまでの時間が、保守作業者の技量によって左右されてしまう現状では、最終的にサイレント障害が発生したカード特定されたとしても、必要なログ情報を収集するまでに長い時間が経過してしまう場合がある。このような場合には、サイレント障害が発生したカードに蓄積されているログ情報が、時間の経過に伴って上書きされてしまい、サイレント障害が発生した時点におけるログ情報を収集することができなくなってしまう場合がある。サイレント障害が発生している時点でのログ情報は、障害箇所の特定や障害要因の特定のためにまさに必要な情報であり、このログ情報を収集して解析しないまま、単に予備系への切り替えによってシステムの稼動状態を復旧させたのでは、結果的に、そのカードが抱える課題を放置してしまうことになり、障害の再発を招いてしまう。
【００１０】
本発明は、サイレント障害が発生した時点のログ情報を漏れなく収集して解析可能な障害箇所特定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した目的は、以下に開示する障害箇所特定方法によって達成することができる。
【００１２】
この障害箇所特定方法の特徴は、複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、障害事象の発生に応じて、障害事象に相当する障害事象例に対応して収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、選択された対象カードからログ情報を収集し、収集したログ情報をこれに含まれるログ情報項目ごとに解析して、対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、評価指標に基づいて切替対象カードを特定する点にある。
【００１３】
このように構成された障害箇所特定方法では、例えば、これまでの保守作業の過程において、個々の障害事象への関連性が経験的に知られている機能カード(例えば、信号疎通ルートが経由している機能カード)を示す情報が、各障害事例に対応して収集管理テーブルに登録され、ログ情報の収集処理の際に、ログ情報収集対象とすべき機能カードを選択する処理に供される。このように、収集管理テーブルに登録された情報に基づいて、障害事例の発生に応じて選択された機能カードからログ情報を収集することにより、発生した障害に関連する機能カードのログ情報を、選択的に、しかも迅速に収集することができる。これらの機能カードから収集されたログ情報は、障害事象の発生にかかわったサイレント障害が発生しているときの情報を漏れなく含んでいる。したがって、これらのログ情報を、ログ情報項目(例えば、コネクション情報やＮＧ処理履歴情報、ＣＰＵ使用率など)ごとに解析することにより、各ログ情報項目に対応する観点から、個々の機能カードにおいてサイレント障害などの異常が発生している可能性を示す評価指標が算出される。例えば、このようにして各機能カードに対応して得られた評価指標を比較することにより、コネクション情報の連続性などの観点から異常が発生している可能性の大小を判断し、切替対象カードを特定する処理を支援することができる。
【発明の効果】
【００１４】
上述した障害箇所特定方法によれば、発生した障害事例に対応して、適切なカードの適切なログ情報項目に関するログ情報を自動的に収集することにより、サイレント障害の発生箇所および障害要因の特定に必要な情報を、迅速に、しかも、漏れなく収集して解析処理に供することができる。また、収集したログ情報をログ情報項目ごとに解析することで、これらの項目に対応する観点から各機能カードにおいて異常が発生している可能性の大きさを示す評価指標を算出し、切替対象カードの決定処理に供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１６】
図１に、課題を解決するための手段の項で開示した障害箇所特定方法の一実施形態を示す。
【００１７】
なお、図１に示した構成要素のうち、図９に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００１８】
図１に示した無線ネットワーク制御装置は、図９に示した各部に加えて、ログ情報収集部２１１と、収集管理テーブル２１２およびログ解析処理部２１３とからなる障害箇所特定処理部を備えて構成されている。
【００１９】
図２に、障害箇所特定処理部の詳細構成を示す。
【００２０】
図１、図２に示した収集管理テーブル２１２には、図３(ａ)に示すように、制御ループ切断や完了率低下などの障害事例(図３においては、障害事例ａ，ｂ，ｃとして示す)に対応して、ログ情報を収集するカードの種類を示す対象カード情報が格納されている。各障害事例に対応して格納する対象カード情報は、例えば、障害にかかわる通信経路が経由しているか否かや、これまでの同様の障害事例への対処で障害箇所が検出されたか否かなどに基づいて、予め決定しておくことができる。
【００２１】
図２に示したログ情報収集部２１１において、収集処理部２１４は、図１に示した制御処理部４０８から受け取った事例指定情報に応じて、収集管理テーブル２１２で示された各カードからログ情報を収集し、ログ格納部２１５に格納する。
【００２２】
ここで、各カードでは、個々のカードにおいてログ情報が取得された日時を示すタイムスタンプに対応して、図４に示すように、様々な種類のログ情報項目を含むログ情報が蓄積されている。例えば、図４に示した例では、外部インタフェース部のログ情報は、ログ情報項目として、少なくともコネクション情報、信号廃棄情報、障害履歴、ＮＧ処理履歴およびＣＰＵ使用率を含んでいる一方、リソース情報は含んでいないことが示されている。したがって、収集処理部２１４が、収集管理テーブル２１２で示された各カードからログ情報を収集することにより、それぞれのカードに対応する複数種類のログ情報項目からなるログ情報がログ格納部２１５に格納される。
【００２３】
このようにしてログ格納部２１５に保持されたログ情報は、項目情報抽出部２１６を介して、ログ解析処理部２１３のリンク解析部２１７と集計処理部２１８とに渡される。そして、このリンク解析部２１７および集計処理部２１８による処理結果に基づいて、特定処理部２１９により、サイレント障害が発生しているカードが特定される。
【００２４】
以下、図２に示した障害箇所特定処理部の動作について詳細に説明する。
【００２５】
図５に、障害箇所特定動作を表す流れ図を示す。
【００２６】
例えば、呼制御イベントの完了率の低下が検出された場合や制御ループの切断が頻繁に検出されたときに、検出された障害事例を示す事例指定情報が図１に示した制御処理部４０８から図２に示した障害箇所特定処理部の収集処理部２１４に渡される(ステップ３０１)。例えば、制御ループの切断に関する障害事例ａを示す事例指定情報に応じて、収集処理部２１４により、指定された障害事例ａに対応して収集管理テーブル２１２に登録された対象カード(外部インタフェース部、セル交換装置、機能ブロック１、トランク装置)からログ情報が収集され、収集されたログ情報がログ格納部２１５に保持される(ステップ３０２)。
【００２７】
このように、予め、障害事例ごとにログ情報を収集する対象となる対象カードを収集管理テーブル２１２に登録しておくことにより、障害事例の検出に応じて、即座に、障害事例に関連するカードに蓄積されたログ情報を収集することができる。これにより、必要なログ情報が上書きされてしまう前に、確実にログ情報を収集して解析処理に供することができる。また、障害事例ごとに、ログ収集の対象カードを限定することにより、現実的な容量のメモリなどによって、ログ情報格納部２１５を実現することができる。なお、収集管理テーブル２１２に各障害事例に対応して登録する対象カードは、例えば、これまでの障害事例に対処した実績や実験などに基づいて、予め決定しておくことができる。
【００２８】
ところで、本出願人は、障害事例に対処した実績に基づいて、障害事例ごとにこれを引き起こす可能性の高い障害要因およびこれらの障害要因に関連するログ情報項目を特定している。したがって、例えば、図３(ｂ)に示すように、障害事例に対応して、上述した障害要因に関連するログ情報項目を収集管理テーブル２１２に登録しておき、項目情報抽出部２１６が、ログ格納部２１５に格納されたログ情報から、この収集管理テーブル２１２で示されたログ項目情報を抽出することにより(図５のステップ３０３)、ログ解析処理部２１３に障害箇所の特定に必要なログ情報を選択的に渡すことができる。
【００２９】
このようにして、ログ解析処理部２１３の処理に供するログ情報を予め絞り込んでおくことにより、後述するログ解析処理の効率を向上し、障害箇所を迅速に特定することができる。
【００３０】
このとき、項目情報抽出部２１６は、収集管理テーブル２１２に基づいてログ格納部２１５から抽出した各カードのコネクション情報をリンク解析部２１７に転送し、その他の項目のログ情報を集計処理部２１８に転送することができる。
【００３１】
例えば、図３(ｂ)に障害事例ａに対応して示したように、収集対象項目にコネクション情報が含まれている場合は(図５のステップ３０４の肯定判定)、その他のログ情報項目についての解析に先立って、コネクション情報に基づくリンク解析処理が行われる(図５のステップ５０５)。
【００３２】
図６に、リンク解析動作を表す流れ図を示す。
【００３３】
図２に示したリンク解析部２１７は、項目情報抽出部２１６から受け取った各カードのコネクション情報を、まず、図７に示すように、対象カードごとに時系列に従って配列する(ステップ３２１)。図７においては、障害事例ａに対応する対象カードとして登録された外部インタフェース部、セル交換装置、機能ブロック１およびトランク装置から収集されたコネクション情報が配列された例を示した。
【００３４】
次に、リンク解析部２１７は、上述したようにして配列されたコネクション情報において、各カードで設定された出力仮想チャネルインデックス(ＶＣＩ)が、リンク先のカードの入力ＶＣＩと一致することに着目し、各コネクションのリンクを辿ってリンクの不連続箇所を探索する(ステップ３２２)。
【００３５】
例えば、図７に太線で示すように、外部インタフェース部のコネクションＣに設定された出力ＶＣＩから順にリンクを辿っていくと、セル交換装置を経由して機能ブロック１で折り返され、セル交換装置において、出力ＶＣＩ（５５）が割り当てられたにもかかわらず、トランク装置ではリンクが設定されていないことが分かる(図７において、符号「×」を付して示した)。
【００３６】
このようにしてリンクを辿っていくことにより、図８(ａ)に示すようなリンクチェック表を作成し、リンクが不連続となっている箇所、すなわち、コネクション情報の異常箇所を障害要因として検出することができる。なお、図８(ａ)に示した例では、不連続箇所は符号「−」で示した。
【００３７】
全てのコネクションについての探索が終了した後に、リンク解析部２１７により、リンクの不連続箇所の検出度数がカードごとに集計され(ステップ３２３)、この集計結果が特定処理部２１９に報告され(ステップ３２４)、後述する障害箇所の特定処理に供される。
【００３８】
その後、図２に示した集計処理部２１８により、その他の収集対象項目についての集計処理が行われる。なお、収集対象項目にコネクション情報が含まれていない場合(ステップ３０４の否定判定)には、上述したリンク解析処理がスキップされ、その他の収集対象項目についての集計処理が開始される。
【００３９】
集計処理部２１８は、まず、項目抽出部２１６から受け取った各対象カードのログ情報をログ情報項目ごとに分類し、更に、例えば、各ログ情報項目のデータ(例えば、ＣＰＵ使用率を示すデータ)から対応する閾値(例えば、ＣＰＵ使用率の閾値Ｔｈｃ)を超える値を示すデータを障害要因として検出する(ステップ３０６)。なお、ログ情報項目の一つであるＮＧ処理履歴のように、ログ情報項目のデータが事象の発生の有無を示している場合に、集計処理部２１８は、事象の発生を示すデータを障害要因として検出することができる。
【００４０】
次いで、集計処理部２１８により、各ログ収集項目について障害要因を検出した度数が対象カードごとに集計され(ステップ３０７)、この集計結果が特定処理部２１９による特性処理に供される。
【００４１】
このようにして、例えば、図８(ｂ)に示すように、３つの障害要因(コネクション情報異常、ＮＧ処理数、ＣＰＵ使用率異常)について、４つの対象カード(外部インタフェース部、セル交換装置、機能ブロック１およびトランク装置)ごとに障害要因の検出度数の集計結果が特定処理部２１９に報告される。
【００４２】
図２に示した特定処理部２１９は、まず、ログ情報項目ごとに、各対象カードについて得られた検出度数を比較し(ステップ３０８)、比較結果に基づいて、例えば、検出度数が集中しているカードを障害カードとして特定する(ステップ３０９)。例えば、各カードでの障害要因それぞれの検出度数と全ての対象カードについての平均値とを比較し、いずれかのカードの検出度数が平均値を大幅に上回っているか否かを判定することで、コネクション情報の異常など障害要因の検出度数が集中しているカードを判別することができる。
【００４３】
例えば、図８(ｂ)に示した例では、トランク装置について検出されたコネクション情報の異常とＮＧ処理数との双方が、それぞれの平均値を上回っていることから、トランク装置に障害要因の検出度数が集中していると判断することができる。また、このとき、検出度数が集中しているとされた障害要因(例えば、コネクション情報の異常)を、このカード(トランク装置)における障害要因として特定することができる。また、各ログ情報項目の検出度数について、あらかじめ閾値を決定しておき、この閾値を超えた検出度数が得られたカードを障害カードとして特定することもできる。
【００４４】
このように、図１、図２に示した障害箇所特定処理部によれば、障害事例の発生に応じて、これに関連するカードからログ情報を即座に収集し、これを解析することにより、障害箇所および障害要因を迅速かつ確実に特定することができる。
【００４５】
特に、信号疎通ルートが経由している各カードから収集されたコネクション情報に基づいて、上述したリンク解析処理を行うことにより、コネクション異常の発生箇所を迅速かつ確実に検出することができる。このようなコネクション異常の検出作業は、人手で行う場合にはきわめて煩雑であることから、この作業を自動化したことにより、障害箇所の特定および障害カードの切り替えを含む復旧作業に要する時間を大幅に短縮することが可能となり、サイレント障害による障害事例の発生がサービスに与える影響を抑制することができる。
【００４６】
更に、上述したようにして特定したカード(例えば、トランク装置)についてアラームを検出した旨を制御処理部４０８に通知して、このカードについてのアラーム処理を起動することにより、サイレント障害が発生したカード迅速なシステムの復旧を図ることができる。
【００４７】
一方、上述したようにして特定されたカードをサイレント障害の発生が疑われる被疑カードとして解析結果とともに制御処理部４０８に通知するにとどめ、最終的な判断を保守作業者にゆだねることもできる。この場合に、保守作業者は、タイムリーに収集されたログ情報について行われた解析結果を参照しつつ、特定された被疑カードについてアラーム処理を実行するか否かを判断することができる。上述したようにして得られた解析結果は、被疑カードにおいてサイレント障害が発生している可能性を示す明確な指標であるので、これを保守作業者に提供することにより、特定された被疑カードについての最終的な判断を支援し、迅速で正確な判断を促すことができる。
【００４８】
また更に、図２に示したログ格納部２１５には、各対象カードから収集された全てのログ情報が保持されているので、上述したようにして、障害カードおよび障害要因が特定された後に、リンク解析部２１７や集計処理部２１８による処理対象とならなかったログ情報項目のデータも含めて詳細な解析を行うことにより、サイレント障害が発生したときの障害カードの挙動を調査することも可能である。
【００４９】
ところで、上述した例のように(図８(ｂ)参照)、コネクション情報の異常が一つのカード(例えば、トランク装置)で集中的に検出された場合には、このカードにおいてコネクション設定にかかわるサイレント障害が発生している可能性が極めて高い。したがって、他のログ情報項目に関する解析結果を待たずに、リンク解析部２１７によるリンク解析処理に基づいて障害カードの特定が可能である場合は、他のログ情報項目の解析処理を省略して、障害箇所の特定の迅速化を図ることもできる。
【００５０】
また一方、リンク解析処理とその他のログ情報項目についての集計処理とを並行して実行することも可能であり、また、リンク解析処理の結果と、その他のログ情報項目についての解析結果とを総合的に評価し、この評価結果に基づいて障害箇所の特定を行うこともできる。
【００５１】
例えば、図８(ｃ)に示すように、各障害要因(例えば、コネクション情報異常、ＮＧ処理数、ＣＰＵ使用率異常)に重みを設定しておき、各対象カードの障害要因検出度数にそれぞれ対応する重みを乗じた値を積算することにより、各対象カードにおける障害の重大さを表す評価値を求めることができる。このようにして得られた評価値には、上述した複数の障害要因の検出度数と個々の障害要因の重大性が反映されているので、この評価値の大小を比較することにより、障害が発生している可能性が高さを確実に判断することができる。例えば、この評価値に基づいて、障害カードである可能性が高い順に被疑順位を決定し(図８(ｃ)参照)、例えば、最も高い被疑順位が与えられた対象カードを障害カードとして特定することができる。
【図面の簡単な説明】
【００５２】
【図１】障害箇所特定方法の実施形態を示す図である。
【図２】障害箇所特定処理部の詳細構成を示す図である。
【図３】収集管理テーブルの例を示す図である。
【図４】ログ情報の例を示す図である。
【図５】障害箇所特定動作を表す流れ図である。
【図６】リンク解析動作を表す流れ図である。
【図７】リンク解析処理を説明する図である。
【図８】ログ情報解析処理を説明する図である。
【図９】無線ネットワーク制御装置の構成例を示す図である。
【符号の説明】
【００５３】
２１１ ログ情報収集部
２１２ 収集管理テーブル
２１３ ログ解析処理部
２１４ 収集処理部
２１５ ログ格納部
２１６ 項目情報抽出部
２１７ リンク解析部
２１８ 集計処理部
２１９ 特定処理部
４０１ 外部インタフェース(Ｉ／Ｆ)部
４０２ セル交換装置
４０３ トランク装置
４０４ Ｎｏ．７信号終端部
４０５ 信号終端装置共通部
４０６ 機能ブロック１
４０７ 機能ブロック２
４０８ 制御処理部
４０９ 保守端末制御部
４１０ 保守端末
４１１ 端末制御信号終端部
【技術分野】
【０００１】
本発明は、移動通信システムの無線ネットワーク制御装置のように、多数の機能ユニットが回路基板などに集積されたカードから構成される情報処理装置において、各カードで蓄積されているログ情報に基づいて、障害箇所および要因を特定する障害箇所特定方法に関する。
【背景技術】
【０００２】
例えば、移動通信システムの無線ネットワーク制御装置は、図９に示すように、外部インタフェース部４０１、セル交換装置４０２、トランク装置４０３、Ｎｏ．７信号終端部４０４、信号終端装置共通部４０５に加えて、様々な機能を果たす機能ブロック１，２(図９において符号４０６，４０７を付して示す)およびこれらを制御する制御処理部４０８を備えている。また、図９に示した無線ネットワーク制御装置は、保守端末制御部４０９を介して保守端末４１０に接続されており、障害が発生した際には、保守作業者により、この保守端末４１０および保守端末制御部４０９を介して、ネットワーク制御装置に対する保守作業が行われる。なお、図９に示した保守端末４１０がこの無線ネットワーク制御装置を介して外部装置とやり取りする制御信号は、端末制御信号終端部４１１によって終端されている。
【０００３】
図９に示した外部インタフェース部４０１、セル交換装置４０２、トランク装置４０３、Ｎｏ．７信号終端部４０４および機能ブロック１，２がそれぞれ集積されたカードは、それぞれ二重化されており、また、これらのカードそれぞれに診断処理部が備えられている。そして、各カードに備えられた診断処理部においてカード内部に障害が検出された際には、アラームが発生し、これに応じて、二重化されたカードの切り替えなどが自動的に行われ、装置全体の可用性の向上が図られている。
【０００４】
しかしながら、上述したような様々な種類のカードにおいて発生する障害の中には、発生頻度が非常に低い障害や検出自体が極めて困難な障害もある。このような障害の検出処理は、各カードに備えられた診断処理部に組み込まれていない、あるいは、組み込むことができない。このような障害は、発生してもアラームが通知されないことから、サイレント障害と呼ばれている。とはいえ、このようなサイレント障害の影響で、呼制御関連イベントの処理が正常に完了しないことがあり、そのような事象が多発するとサービス品質が低下する。
【０００５】
従来は、アラームが発生していないにもかかわらず、呼制御関連イベントの完了率が低下したり、対向ノードとの間の制御ループの切断が繰り返されたりした場合のように、サイレント障害の影響が疑われる場合には、以下のような対処が行われていた。
【０００６】
すなわち、問題となる事象にかかわる信号疎通ルートが経由している疑わしいカードを保守作業者が一つずつ予備系に切り替えていき、上述したような事象が回復したか否かを見極めることで、障害が発生したカードを特定するとともに、疑わしいカードからログ情報を収集し、収集したログ情報を解析することで、ユニット内での障害箇所や障害要因を特定する作業を行っていた。
【０００７】
このようなサイレント障害は、多種多様なネットワーク機器から構成されたネットワークシステムにおいても認識されており、サイレント障害を検出するための様々な技術が提案されている(特許文献１、２参照)。
【特許文献１】特開平９−６５７１号公報(第４、第６頁、図１)
【特許文献２】特開２００６−２４５８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように、保守作業者が二重化されているカードを予備系に切り替える作業と並行してログの収集を行う方法では、予備系への切り替えを実行するカードの選択もログ収集対象とするカードの選択も保守作業者に任されているので、保守作業者の作業負担が大きく、また、保守作業者の知識や経験によって復旧までに要する時間が大きく異なってしまっていた。
【０００９】
このように、障害が発生したカードを予備系に切り替えてシステムを復旧するまでの時間が、保守作業者の技量によって左右されてしまう現状では、最終的にサイレント障害が発生したカード特定されたとしても、必要なログ情報を収集するまでに長い時間が経過してしまう場合がある。このような場合には、サイレント障害が発生したカードに蓄積されているログ情報が、時間の経過に伴って上書きされてしまい、サイレント障害が発生した時点におけるログ情報を収集することができなくなってしまう場合がある。サイレント障害が発生している時点でのログ情報は、障害箇所の特定や障害要因の特定のためにまさに必要な情報であり、このログ情報を収集して解析しないまま、単に予備系への切り替えによってシステムの稼動状態を復旧させたのでは、結果的に、そのカードが抱える課題を放置してしまうことになり、障害の再発を招いてしまう。
【００１０】
本発明は、サイレント障害が発生した時点のログ情報を漏れなく収集して解析可能な障害箇所特定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した目的は、以下に開示する障害箇所特定方法によって達成することができる。
【００１２】
この障害箇所特定方法の特徴は、複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、障害事象の発生に応じて、障害事象に相当する障害事象例に対応して収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、選択された対象カードからログ情報を収集し、収集したログ情報をこれに含まれるログ情報項目ごとに解析して、対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、評価指標に基づいて切替対象カードを特定する点にある。
【００１３】
このように構成された障害箇所特定方法では、例えば、これまでの保守作業の過程において、個々の障害事象への関連性が経験的に知られている機能カード(例えば、信号疎通ルートが経由している機能カード)を示す情報が、各障害事例に対応して収集管理テーブルに登録され、ログ情報の収集処理の際に、ログ情報収集対象とすべき機能カードを選択する処理に供される。このように、収集管理テーブルに登録された情報に基づいて、障害事例の発生に応じて選択された機能カードからログ情報を収集することにより、発生した障害に関連する機能カードのログ情報を、選択的に、しかも迅速に収集することができる。これらの機能カードから収集されたログ情報は、障害事象の発生にかかわったサイレント障害が発生しているときの情報を漏れなく含んでいる。したがって、これらのログ情報を、ログ情報項目(例えば、コネクション情報やＮＧ処理履歴情報、ＣＰＵ使用率など)ごとに解析することにより、各ログ情報項目に対応する観点から、個々の機能カードにおいてサイレント障害などの異常が発生している可能性を示す評価指標が算出される。例えば、このようにして各機能カードに対応して得られた評価指標を比較することにより、コネクション情報の連続性などの観点から異常が発生している可能性の大小を判断し、切替対象カードを特定する処理を支援することができる。
【発明の効果】
【００１４】
上述した障害箇所特定方法によれば、発生した障害事例に対応して、適切なカードの適切なログ情報項目に関するログ情報を自動的に収集することにより、サイレント障害の発生箇所および障害要因の特定に必要な情報を、迅速に、しかも、漏れなく収集して解析処理に供することができる。また、収集したログ情報をログ情報項目ごとに解析することで、これらの項目に対応する観点から各機能カードにおいて異常が発生している可能性の大きさを示す評価指標を算出し、切替対象カードの決定処理に供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１６】
図１に、課題を解決するための手段の項で開示した障害箇所特定方法の一実施形態を示す。
【００１７】
なお、図１に示した構成要素のうち、図９に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００１８】
図１に示した無線ネットワーク制御装置は、図９に示した各部に加えて、ログ情報収集部２１１と、収集管理テーブル２１２およびログ解析処理部２１３とからなる障害箇所特定処理部を備えて構成されている。
【００１９】
図２に、障害箇所特定処理部の詳細構成を示す。
【００２０】
図１、図２に示した収集管理テーブル２１２には、図３(ａ)に示すように、制御ループ切断や完了率低下などの障害事例(図３においては、障害事例ａ，ｂ，ｃとして示す)に対応して、ログ情報を収集するカードの種類を示す対象カード情報が格納されている。各障害事例に対応して格納する対象カード情報は、例えば、障害にかかわる通信経路が経由しているか否かや、これまでの同様の障害事例への対処で障害箇所が検出されたか否かなどに基づいて、予め決定しておくことができる。
【００２１】
図２に示したログ情報収集部２１１において、収集処理部２１４は、図１に示した制御処理部４０８から受け取った事例指定情報に応じて、収集管理テーブル２１２で示された各カードからログ情報を収集し、ログ格納部２１５に格納する。
【００２２】
ここで、各カードでは、個々のカードにおいてログ情報が取得された日時を示すタイムスタンプに対応して、図４に示すように、様々な種類のログ情報項目を含むログ情報が蓄積されている。例えば、図４に示した例では、外部インタフェース部のログ情報は、ログ情報項目として、少なくともコネクション情報、信号廃棄情報、障害履歴、ＮＧ処理履歴およびＣＰＵ使用率を含んでいる一方、リソース情報は含んでいないことが示されている。したがって、収集処理部２１４が、収集管理テーブル２１２で示された各カードからログ情報を収集することにより、それぞれのカードに対応する複数種類のログ情報項目からなるログ情報がログ格納部２１５に格納される。
【００２３】
このようにしてログ格納部２１５に保持されたログ情報は、項目情報抽出部２１６を介して、ログ解析処理部２１３のリンク解析部２１７と集計処理部２１８とに渡される。そして、このリンク解析部２１７および集計処理部２１８による処理結果に基づいて、特定処理部２１９により、サイレント障害が発生しているカードが特定される。
【００２４】
以下、図２に示した障害箇所特定処理部の動作について詳細に説明する。
【００２５】
図５に、障害箇所特定動作を表す流れ図を示す。
【００２６】
例えば、呼制御イベントの完了率の低下が検出された場合や制御ループの切断が頻繁に検出されたときに、検出された障害事例を示す事例指定情報が図１に示した制御処理部４０８から図２に示した障害箇所特定処理部の収集処理部２１４に渡される(ステップ３０１)。例えば、制御ループの切断に関する障害事例ａを示す事例指定情報に応じて、収集処理部２１４により、指定された障害事例ａに対応して収集管理テーブル２１２に登録された対象カード(外部インタフェース部、セル交換装置、機能ブロック１、トランク装置)からログ情報が収集され、収集されたログ情報がログ格納部２１５に保持される(ステップ３０２)。
【００２７】
このように、予め、障害事例ごとにログ情報を収集する対象となる対象カードを収集管理テーブル２１２に登録しておくことにより、障害事例の検出に応じて、即座に、障害事例に関連するカードに蓄積されたログ情報を収集することができる。これにより、必要なログ情報が上書きされてしまう前に、確実にログ情報を収集して解析処理に供することができる。また、障害事例ごとに、ログ収集の対象カードを限定することにより、現実的な容量のメモリなどによって、ログ情報格納部２１５を実現することができる。なお、収集管理テーブル２１２に各障害事例に対応して登録する対象カードは、例えば、これまでの障害事例に対処した実績や実験などに基づいて、予め決定しておくことができる。
【００２８】
ところで、本出願人は、障害事例に対処した実績に基づいて、障害事例ごとにこれを引き起こす可能性の高い障害要因およびこれらの障害要因に関連するログ情報項目を特定している。したがって、例えば、図３(ｂ)に示すように、障害事例に対応して、上述した障害要因に関連するログ情報項目を収集管理テーブル２１２に登録しておき、項目情報抽出部２１６が、ログ格納部２１５に格納されたログ情報から、この収集管理テーブル２１２で示されたログ項目情報を抽出することにより(図５のステップ３０３)、ログ解析処理部２１３に障害箇所の特定に必要なログ情報を選択的に渡すことができる。
【００２９】
このようにして、ログ解析処理部２１３の処理に供するログ情報を予め絞り込んでおくことにより、後述するログ解析処理の効率を向上し、障害箇所を迅速に特定することができる。
【００３０】
このとき、項目情報抽出部２１６は、収集管理テーブル２１２に基づいてログ格納部２１５から抽出した各カードのコネクション情報をリンク解析部２１７に転送し、その他の項目のログ情報を集計処理部２１８に転送することができる。
【００３１】
例えば、図３(ｂ)に障害事例ａに対応して示したように、収集対象項目にコネクション情報が含まれている場合は(図５のステップ３０４の肯定判定)、その他のログ情報項目についての解析に先立って、コネクション情報に基づくリンク解析処理が行われる(図５のステップ５０５)。
【００３２】
図６に、リンク解析動作を表す流れ図を示す。
【００３３】
図２に示したリンク解析部２１７は、項目情報抽出部２１６から受け取った各カードのコネクション情報を、まず、図７に示すように、対象カードごとに時系列に従って配列する(ステップ３２１)。図７においては、障害事例ａに対応する対象カードとして登録された外部インタフェース部、セル交換装置、機能ブロック１およびトランク装置から収集されたコネクション情報が配列された例を示した。
【００３４】
次に、リンク解析部２１７は、上述したようにして配列されたコネクション情報において、各カードで設定された出力仮想チャネルインデックス(ＶＣＩ)が、リンク先のカードの入力ＶＣＩと一致することに着目し、各コネクションのリンクを辿ってリンクの不連続箇所を探索する(ステップ３２２)。
【００３５】
例えば、図７に太線で示すように、外部インタフェース部のコネクションＣに設定された出力ＶＣＩから順にリンクを辿っていくと、セル交換装置を経由して機能ブロック１で折り返され、セル交換装置において、出力ＶＣＩ（５５）が割り当てられたにもかかわらず、トランク装置ではリンクが設定されていないことが分かる(図７において、符号「×」を付して示した)。
【００３６】
このようにしてリンクを辿っていくことにより、図８(ａ)に示すようなリンクチェック表を作成し、リンクが不連続となっている箇所、すなわち、コネクション情報の異常箇所を障害要因として検出することができる。なお、図８(ａ)に示した例では、不連続箇所は符号「−」で示した。
【００３７】
全てのコネクションについての探索が終了した後に、リンク解析部２１７により、リンクの不連続箇所の検出度数がカードごとに集計され(ステップ３２３)、この集計結果が特定処理部２１９に報告され(ステップ３２４)、後述する障害箇所の特定処理に供される。
【００３８】
その後、図２に示した集計処理部２１８により、その他の収集対象項目についての集計処理が行われる。なお、収集対象項目にコネクション情報が含まれていない場合(ステップ３０４の否定判定)には、上述したリンク解析処理がスキップされ、その他の収集対象項目についての集計処理が開始される。
【００３９】
集計処理部２１８は、まず、項目抽出部２１６から受け取った各対象カードのログ情報をログ情報項目ごとに分類し、更に、例えば、各ログ情報項目のデータ(例えば、ＣＰＵ使用率を示すデータ)から対応する閾値(例えば、ＣＰＵ使用率の閾値Ｔｈｃ)を超える値を示すデータを障害要因として検出する(ステップ３０６)。なお、ログ情報項目の一つであるＮＧ処理履歴のように、ログ情報項目のデータが事象の発生の有無を示している場合に、集計処理部２１８は、事象の発生を示すデータを障害要因として検出することができる。
【００４０】
次いで、集計処理部２１８により、各ログ収集項目について障害要因を検出した度数が対象カードごとに集計され(ステップ３０７)、この集計結果が特定処理部２１９による特性処理に供される。
【００４１】
このようにして、例えば、図８(ｂ)に示すように、３つの障害要因(コネクション情報異常、ＮＧ処理数、ＣＰＵ使用率異常)について、４つの対象カード(外部インタフェース部、セル交換装置、機能ブロック１およびトランク装置)ごとに障害要因の検出度数の集計結果が特定処理部２１９に報告される。
【００４２】
図２に示した特定処理部２１９は、まず、ログ情報項目ごとに、各対象カードについて得られた検出度数を比較し(ステップ３０８)、比較結果に基づいて、例えば、検出度数が集中しているカードを障害カードとして特定する(ステップ３０９)。例えば、各カードでの障害要因それぞれの検出度数と全ての対象カードについての平均値とを比較し、いずれかのカードの検出度数が平均値を大幅に上回っているか否かを判定することで、コネクション情報の異常など障害要因の検出度数が集中しているカードを判別することができる。
【００４３】
例えば、図８(ｂ)に示した例では、トランク装置について検出されたコネクション情報の異常とＮＧ処理数との双方が、それぞれの平均値を上回っていることから、トランク装置に障害要因の検出度数が集中していると判断することができる。また、このとき、検出度数が集中しているとされた障害要因(例えば、コネクション情報の異常)を、このカード(トランク装置)における障害要因として特定することができる。また、各ログ情報項目の検出度数について、あらかじめ閾値を決定しておき、この閾値を超えた検出度数が得られたカードを障害カードとして特定することもできる。
【００４４】
このように、図１、図２に示した障害箇所特定処理部によれば、障害事例の発生に応じて、これに関連するカードからログ情報を即座に収集し、これを解析することにより、障害箇所および障害要因を迅速かつ確実に特定することができる。
【００４５】
特に、信号疎通ルートが経由している各カードから収集されたコネクション情報に基づいて、上述したリンク解析処理を行うことにより、コネクション異常の発生箇所を迅速かつ確実に検出することができる。このようなコネクション異常の検出作業は、人手で行う場合にはきわめて煩雑であることから、この作業を自動化したことにより、障害箇所の特定および障害カードの切り替えを含む復旧作業に要する時間を大幅に短縮することが可能となり、サイレント障害による障害事例の発生がサービスに与える影響を抑制することができる。
【００４６】
更に、上述したようにして特定したカード(例えば、トランク装置)についてアラームを検出した旨を制御処理部４０８に通知して、このカードについてのアラーム処理を起動することにより、サイレント障害が発生したカード迅速なシステムの復旧を図ることができる。
【００４７】
一方、上述したようにして特定されたカードをサイレント障害の発生が疑われる被疑カードとして解析結果とともに制御処理部４０８に通知するにとどめ、最終的な判断を保守作業者にゆだねることもできる。この場合に、保守作業者は、タイムリーに収集されたログ情報について行われた解析結果を参照しつつ、特定された被疑カードについてアラーム処理を実行するか否かを判断することができる。上述したようにして得られた解析結果は、被疑カードにおいてサイレント障害が発生している可能性を示す明確な指標であるので、これを保守作業者に提供することにより、特定された被疑カードについての最終的な判断を支援し、迅速で正確な判断を促すことができる。
【００４８】
また更に、図２に示したログ格納部２１５には、各対象カードから収集された全てのログ情報が保持されているので、上述したようにして、障害カードおよび障害要因が特定された後に、リンク解析部２１７や集計処理部２１８による処理対象とならなかったログ情報項目のデータも含めて詳細な解析を行うことにより、サイレント障害が発生したときの障害カードの挙動を調査することも可能である。
【００４９】
ところで、上述した例のように(図８(ｂ)参照)、コネクション情報の異常が一つのカード(例えば、トランク装置)で集中的に検出された場合には、このカードにおいてコネクション設定にかかわるサイレント障害が発生している可能性が極めて高い。したがって、他のログ情報項目に関する解析結果を待たずに、リンク解析部２１７によるリンク解析処理に基づいて障害カードの特定が可能である場合は、他のログ情報項目の解析処理を省略して、障害箇所の特定の迅速化を図ることもできる。
【００５０】
また一方、リンク解析処理とその他のログ情報項目についての集計処理とを並行して実行することも可能であり、また、リンク解析処理の結果と、その他のログ情報項目についての解析結果とを総合的に評価し、この評価結果に基づいて障害箇所の特定を行うこともできる。
【００５１】
例えば、図８(ｃ)に示すように、各障害要因(例えば、コネクション情報異常、ＮＧ処理数、ＣＰＵ使用率異常)に重みを設定しておき、各対象カードの障害要因検出度数にそれぞれ対応する重みを乗じた値を積算することにより、各対象カードにおける障害の重大さを表す評価値を求めることができる。このようにして得られた評価値には、上述した複数の障害要因の検出度数と個々の障害要因の重大性が反映されているので、この評価値の大小を比較することにより、障害が発生している可能性が高さを確実に判断することができる。例えば、この評価値に基づいて、障害カードである可能性が高い順に被疑順位を決定し(図８(ｃ)参照)、例えば、最も高い被疑順位が与えられた対象カードを障害カードとして特定することができる。
【図面の簡単な説明】
【００５２】
【図１】障害箇所特定方法の実施形態を示す図である。
【図２】障害箇所特定処理部の詳細構成を示す図である。
【図３】収集管理テーブルの例を示す図である。
【図４】ログ情報の例を示す図である。
【図５】障害箇所特定動作を表す流れ図である。
【図６】リンク解析動作を表す流れ図である。
【図７】リンク解析処理を説明する図である。
【図８】ログ情報解析処理を説明する図である。
【図９】無線ネットワーク制御装置の構成例を示す図である。
【符号の説明】
【００５３】
２１１ ログ情報収集部
２１２ 収集管理テーブル
２１３ ログ解析処理部
２１４ 収集処理部
２１５ ログ格納部
２１６ 項目情報抽出部
２１７ リンク解析部
２１８ 集計処理部
２１９ 特定処理部
４０１ 外部インタフェース(Ｉ／Ｆ)部
４０２ セル交換装置
４０３ トランク装置
４０４ Ｎｏ．７信号終端部
４０５ 信号終端装置共通部
４０６ 機能ブロック１
４０７ 機能ブロック２
４０８ 制御処理部
４０９ 保守端末制御部
４１０ 保守端末
４１１ 端末制御信号終端部
【特許請求の範囲】
【請求項１】
複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、
複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、
障害事象の発生に応じて、前記障害事象に相当する障害事象例に対応して前記収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、
選択された対象カードからログ情報を収集し、
収集したログ情報をこれに含まれるログ情報項目ごとに解析して、前記対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、
前記評価指標に基づいて切替対象カードを特定する
ことを特徴とする障害箇所特定方法。
【請求項２】
請求項１に記載の障害箇所特定方法において、
前記複数の障害事例それぞれに対応して、収集対象とするログ情報項目を収集管理テーブルに登録しておき、
障害事象の発生に応じて、前記ログ収集対象カードからログ情報を収集する際に、前記収集管理テーブルに登録されたログ情報項目に関する情報を抽出して解析処理に供する
ことを特徴とする障害箇所特定方法。
【請求項３】
請求項１に記載の障害箇所特定方法において、
特定された切替対象カードについてアラーム処理を実行する
ことを特徴とする障害箇所特定方法。
【請求項４】
請求項１に記載の障害箇所特定方法において、
コネクション情報を含むログ情報を解析する際に、
収集されたログ情報に含まれているコネクション情報を時系列に従って配列し、
前記配列されたコネクション情報で示されるリンクを辿ることにより、リンクが不連続となっている箇所を検出し、
前記リンクの不連続箇所の数をログ収集対象カードごとに集計した結果に基づいて、各ログ収集対象カードのコネクション情報の異常に関する評価指標を求める
ことを特徴とする障害箇所特定方法。
【請求項５】
請求項１に記載の障害箇所特定方法において、
切替対象カードを特定する際に、
前記各ログ情報項目に対応して、対応する異常の重要度に応じた重みを与えておき、
ログ収集の対象となった機能カードごとに、算出された評価指標に各ログ情報項目に対応する重みを与えて加算し、
得られた加算結果が最も大きい機能カードを切替対象として選択する
ことを特徴とする障害箇所特定方法。
【請求項１】
複数種類の機能カードから構成されるシステムでの障害事象発生に応じて障害事象発生時のログ情報を収集解析する障害箇所特定方法において、
複数の障害事例それぞれに対応して、各障害事例に関連する機能カードを示す情報を収集管理テーブルに登録しておき、
障害事象の発生に応じて、前記障害事象に相当する障害事象例に対応して前記収集管理テーブルを参照し、登録された情報に基づいてログ収集の対象とする対象カードを選択し、
選択された対象カードからログ情報を収集し、
収集したログ情報をこれに含まれるログ情報項目ごとに解析して、前記対象カードごとに各ログ情報項目に対応する異常が発生している可能性を示す評価指標を算出し、
前記評価指標に基づいて切替対象カードを特定する
ことを特徴とする障害箇所特定方法。
【請求項２】
請求項１に記載の障害箇所特定方法において、
前記複数の障害事例それぞれに対応して、収集対象とするログ情報項目を収集管理テーブルに登録しておき、
障害事象の発生に応じて、前記ログ収集対象カードからログ情報を収集する際に、前記収集管理テーブルに登録されたログ情報項目に関する情報を抽出して解析処理に供する
ことを特徴とする障害箇所特定方法。
【請求項３】
請求項１に記載の障害箇所特定方法において、
特定された切替対象カードについてアラーム処理を実行する
ことを特徴とする障害箇所特定方法。
【請求項４】
請求項１に記載の障害箇所特定方法において、
コネクション情報を含むログ情報を解析する際に、
収集されたログ情報に含まれているコネクション情報を時系列に従って配列し、
前記配列されたコネクション情報で示されるリンクを辿ることにより、リンクが不連続となっている箇所を検出し、
前記リンクの不連続箇所の数をログ収集対象カードごとに集計した結果に基づいて、各ログ収集対象カードのコネクション情報の異常に関する評価指標を求める
ことを特徴とする障害箇所特定方法。
【請求項５】
請求項１に記載の障害箇所特定方法において、
切替対象カードを特定する際に、
前記各ログ情報項目に対応して、対応する異常の重要度に応じた重みを与えておき、
ログ収集の対象となった機能カードごとに、算出された評価指標に各ログ情報項目に対応する重みを与えて加算し、
得られた加算結果が最も大きい機能カードを切替対象として選択する
ことを特徴とする障害箇所特定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２２５１３１（Ｐ２００９−２２５１３１Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−６７６３４（Ｐ２００８−６７６３４）
【出願日】平成２０年３月１７日（２００８．３．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１７日（２００８．３．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]