ネットワーク中継システム及びネットワーク中継システムの制御方法
【課題】障害が発生した場合に、通信経路を切り替えることができるネットワーク中継システムを提供する。
【解決手段】ネットワーク中継システム10は、複数のIFS14及び複数のFS16を備え、IFS14a〜14xとFS16a〜16hとが相互に物理回線で接続されている。IFS14において、FS16が接続されているポートにはLAGが設定されている。IFS14とFS16とは相互に検知フレームを送受信しており、検知フレームを受信できない場合、ネットワーク中継システム10内で障害が発生したと判定する。FS16は、障害が発生したと判定すると、複数のIFS14に障害通知フレームを送信し、複数のIFS14はそれぞれ障害通知フレームを受信したポートをLAGから除外する。
【解決手段】ネットワーク中継システム10は、複数のIFS14及び複数のFS16を備え、IFS14a〜14xとFS16a〜16hとが相互に物理回線で接続されている。IFS14において、FS16が接続されているポートにはLAGが設定されている。IFS14とFS16とは相互に検知フレームを送受信しており、検知フレームを受信できない場合、ネットワーク中継システム10内で障害が発生したと判定する。FS16は、障害が発生したと判定すると、複数のIFS14に障害通知フレームを送信し、複数のIFS14はそれぞれ障害通知フレームを受信したポートをLAGから除外する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワーク中継システム及びネットワーク中継システムの制御方法に関する。
【背景技術】
【0002】
従来、複数のネットワーク中継装置を含む第1のネットワーク中継装置グループがファブリックノードとして機能し、複数のネットワーク中継装置を含む第2のネットワーク中継装置グループが回線ノードとして機能するシステムが知られている(例えば、特許文献1の図8を参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−290271号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術において、第1のネットワーク中継装置グループに含まれるネットワーク中継装置と、第2のネットワーク中継装置グループに含まれるネットワーク中継装置との間を接続する物理回線のいずれかに障害が発生することが想定される。
【0005】
そこで、本発明は、複数のインターフェース中継器と複数のインターフェース中継器と接続される複数のファブリック中継器とを備えるネットワーク中継システムにおいて、障害が発生した場合に、通信経路を切り替えることができるネットワーク中継システム及びネットワーク中継システムの制御方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、本発明の第1態様によれは、複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備え、前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定するLAG設定手段を有し、前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信する障害通知フレーム送信手段を有し、前記インターフェース中継器の前記LAG設定手段は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、ネットワーク中継システムが提供される。
【0007】
また、上記の課題を解決するために、本発明の第2態様によれば、複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備えるネットワーク中継システムの制御方法であって、前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定しており、前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信し、前記インターフェース中継器は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、ネットワーク中継システムの制御方法が提供される。
【発明の効果】
【0008】
本発明のネットワーク中継システム及びネットワーク中継システムの制御方法によれば、複数のインターフェース中継器と複数のインターフェース中継器と接続される複数のファブリック中継器とを備えるネットワーク中継システムにおいて、障害が発生した場合に、通信経路を切り替えることができる。
【図面の簡単な説明】
【0009】
【図1】ネットワーク中継システムの構成例を概略的に示す図である。
【図2】FSの機能的な構成を概略的に示すブロック図である。
【図3】IFSの機能的な構成を概略的に示すブロック図である。
【図4】ネットワーク中継システムの基本動作例を説明するための図である。
【図5】ネットワーク中継システムによる障害検知時の動作例1を説明するための図(1/2)である。
【図6】ネットワーク中継システムによる障害検知時の動作例1を説明するための図(2/2)である。
【図7】図5に示す障害通知の実現手法を示すフローチャートである。
【図8】図6に示すリンクアグリゲーショングループの再設定の実現手法を示すフローチャートである。
【図9】動作例1で通信障害が発生する前後における各IFSのLAG設定テーブルを示す図である。
【図10】ネットワーク中継システムによる障害検知時の動作例2を説明するための図(1/2)である。
【図11】ネットワーク中継システムによる障害検知時の動作例2を説明するための図(2/2)である。
【図12】図10に示す障害通知の実現手法を示すフローチャートである。
【図13】図11に示す障害通知の実現手法を示すフローチャートである。
【図14】ネットワーク中継システムによる障害検知時の動作例3を説明するための図(1/2)である。
【図15】ネットワーク中継システムによる障害検知時の動作例3を説明するための図(2/2)である。
【図16】図14に示す障害通知の実現手法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を参照しながら説明する。
図1は、一実施形態のネットワーク中継システム10の構成例を概略的に示す図である。ネットワーク中継システム10は、例えばデータセンタ等の設備内において、複数の端末機器12の間で送受信されるネットワークフレームを中継する用途に適している。端末機器12は、例えばサーバー、ネットワーク中継器等である。なお、端末機器12の接続台数や種類は特に限定されない。
【0011】
ネットワーク中継システム10は、複数のインターフェース中継器として、例えば24台程度のIFS(InterFace Switch)14a,14b,・・・,14xを備える。またネットワーク中継システム10は、複数のファブリック中継器として、例えば8台のFS(Fabric Switch)16a〜16hを備えている。なお、ここで挙げたIFS14a〜14xやFS16a〜16hの台数は一例であり、これに限定されるものではない。
また、以下ではインターフェース中継器としての「IFS14a〜14x」を「IFS14」と表記し、ファブリック中継器としての「FS16a〜16h」を「FS16」と表記することがある。
【0012】
本実施形態では、IFS14a〜14x及びFS16a〜16hとして、例えばボックス型のスイッチングハブを用いている。ここで用いるスイッチングハブは、例えばOSI(Open Systems Interconnection)参照モデルのレイヤ2及びレイヤ3のデータ転送機能を備えるものである。なお、IFS14a〜14x及びFS16a〜16hの基本的な構造や機能は互いに共通のものであってもよい。
【0013】
複数台ある端末機器12は、IFS14a〜14xのいずれかに分散して接続されている。なお、各IFS14a〜14xに接続される端末機器12の台数は、均一でなくてもよい。また、いずれのIFS14a〜14xに対し、どのような種類の端末機器12を接続するかについての制約もない。さらに端末機器12は、サーバー以外のパーソナルコンピュータやワークステーション等であってもよい。
【0014】
ネットワーク中継システム10において、IFS14a〜14xとFS16a〜16hとは、それぞれが相互に物理回線で接続されている。物理回線は、例えば光ファイバケーブル、ツイストペアケーブル等である。なお図1中、個別の物理回線について参照符号は省略している。また、IFS14a〜14xの一部は図示を省略されているが、これらも個別にFS16a〜16hと物理回線で接続されている。物理回線は、IFS14a〜14x及びFS16a〜16hの図示しないポートに接続されている。
【0015】
各IFS14a〜14xにおいて、FS16a〜16hが接続されているポートには、リンクアグリゲーショングループ、つまり、LAG18a,18b,・・・,18xが設定されている。リンクアグリゲーションは、複数の物理回線を論理的に一つの回線のように扱う機能である。各IFS14a〜14xにおいて、LAG18a,18b,・・・,18xが設定された複数のポートは、論理的に一つのポートのように動作する。
【0016】
そして各IFS14a〜14xは、各端末機器12から受信したネットワークフレームをFS16a〜16hへ送信する場合、所定のアルゴリズムに従い、対応するLAG18a,18b,・・・,18x内で、いずれのポートからネットワークフレームを送信するかを決定する。このアルゴリズムでは、接続された端末機器12からネットワークフレームを受信した場合、これに格納されている宛先情報や送信元情報を示すMACアドレス、IPアドレス等を用いて演算(例えば四則演算)を行い、それによって得た値から送信用のポート番号を決定する。このとき、予めLAG18a,18b,・・・,18x内で各ポートに識別番号(INDEX)を設定しておき、上記の演算で得た値とポートの識別番号とを対応付けてもよい。いずれにしても、各IFS14a〜14xがネットワークフレーム中の固有情報に基づいてネットワークフレームの送信に用いるポートを一意に決定することにより、端末機器12から受信したネットワークフレームをFS16a〜16hへ送信する際に生じる負荷を分散し、ネットワーク中継システム10全体として必要な通信帯域を確保するようにしている。
【0017】
また本実施形態のネットワーク中継システム10では、上記のアルゴリズムにより、任意の2台の端末機器12間でネットワークフレームの送受信を行う場合、送信時(上り)の通信経路と受信時(下り)の通信経路とを互いに一致させている。
例えば、異なる2台のIFS14aとIFS14bにそれぞれ接続された2台の端末機器12が相互にネットワークフレームを送受信する場合を考える。この場合、IFS14aに接続された端末機器12(送信元)から送信されたネットワークフレームは、上記のアルゴリズムにより、例えば特定のFS16dを介してIFS14bへ転送され、そしてIFS14bから送信先(宛先)の端末機器12へ転送される。このときIFS14bでは、全てのFS16a〜16hに対向するポートにLAG18bが設定されているため、IFS14bからLAG18b内にネットワークフレームが折り返し送信されることはない。
【0018】
逆に、IFS14bに接続された端末機器12が送信元である場合、ネットワークフレームはIFS14bからFS16dへ送信され、さらにFS16dからIFS14aを通じて送信先の端末機器12に送信される。ここでも同様にIFS14aでは、全てのFS16a〜16hに対向するポートにLAG18aが設定されているため、やはりLAG18a内にネットワークフレームが折り返し送信されることはない。
【0019】
このように、異なる2台のIFS14aとIFS14bに接続された2台の端末機器12間でネットワークフレームを送受信する場合、ネットワークフレームを中継するIFS14aとIFS14bで使用されるポートが双方向で一致する。ここではIFS14aとIFS14bに接続された2台の端末機器12の組み合わせを例に挙げたが、これ以外の組み合わせの端末機器12間での送受信時についても同様に、送信時と受信時の双方向で通信経路と使用するポートが一致する。
【0020】
また、ネットワーク中継システム10に接続される各端末機器12にVLAN(Vertual Local Area Network)が設定されている場合、IFS14a〜14x及びFS16a〜16hは、それぞれ原則としてタグVLANを用いてネットワークフレームの送受信を行う。このとき、FS16a〜16hの各ポートには、各端末機器12に割り当てられた全てのVLAN情報が登録される。そして、IFS14a〜14x及びFS16a〜16hは、ネットワークフレームを送信する際、受信した個々のネットワークフレームに応じてVLAN情報をタギングした状態で送信する。これにより、各端末機器12にVLANが設定されていても、異なる端末機器12間で送信時の通信経路と受信時の通信経路が一致する。
【0021】
以上は、本実施形態のネットワーク中継システム10の基本的な構成とネットワークフレームの中継動作である。加えて本実施形態では、複数あるIFS14a〜14xとFS16a〜16hとの間の通信状態に何らかの障害(例えば物理回線の異常)が発生した場合、これを速やかに検知する機能(障害検知機能)を各IFS14a〜14x及び各FS16a〜16h内で実現している。
【0022】
以下、IFS14a〜14x及びFS16a〜16hの構成について詳細に説明する。既に述べたように、以下では「IFS14a〜14x」、「FS16a〜16h」をそれぞれ「IFS14」、「FS16」と総称する場合がある。
【0023】
〔ファブリック中継器〕
図2は、FS16の機能的な構成を概略的に示すブロック図である。すなわち、個々のFS16a〜16hの基本的な構成及び機能は共通している。
【0024】
FS16は、複数のポート46a,46b,・・・,46xを有している。FS16のポート数は、ネットワーク中継システム10内でのIFS14a〜14xの設置台数をカバーしているものとする。なお、以下では「ポート46a,46b,・・・,46x」を「ポート46」ともいう。またポート46の数は、図示した数に限定されない。
【0025】
ポート46の他にFS16は、フレーム転送処理部48及びメモリ部50を有している。
このうちメモリ部50は、例えば、書き換え可能なRAM(ランダムアクセスメモリ)によって構成される。メモリ部50は、FDB(フォワーディングデータベース)50aを記憶している。またメモリ部50は、FS16やポート46を識別する識別情報50bを記憶している。
【0026】
各ポート46には、それぞれIFS14a〜14xが接続されている。ポート46は、各IFS14a〜14xから送信されたネットワークフレームを受信すると、当該受信したネットワークフレームをフレーム転送処理部48へ転送する。
また各ポート46は、フレーム転送処理部48から転送されたネットワークフレームをいずれかのIFS14a〜14xへ向けて送信する。
【0027】
フレーム転送処理部48は、例えば、FPGA(Field Programmable Gate Array)やASIC(特定用途向け集積回路)等の集積回路により実現される。
【0028】
フレーム転送処理部48は、ネットワークフレーム中の宛先情報に基づいて、ネットワークフレームを転送先のポート46へ転送する。またフレーム転送処理部48は、ネットワークフレーム中の送信元アドレス情報に基づいてFDB50aを作成及び更新する。
【0029】
FDB50aには、ポート46で受信したネットワークフレーム中の送信元情報と、ネットワークフレームを受信したポート46の番号とが相互に対応付けられて登録される。
すなわちフレーム転送処理部48は、ポート46からネットワークフレームが転送されると、FDB50aに登録された情報をもとに転送先のポート46へネットワークフレームを中継する。
【0030】
FS16は、通信状態を監視(主に障害を検知)するための構成として、検知フレーム生成部52、障害判定部54、及び障害通知フレーム生成部56をさらに有する。このうち検知フレーム生成部52は、各FS16が有する検知フレーム送信手段(第2の検知フレーム送信手段)としての構成をなす。また障害判定部54は、各FS16が有する障害判定手段(第2の障害判定手段)としての構成をなす。また、障害通知フレーム生成部56は、各FS16が有する障害通知フレーム送信手段としての構成をなす。
【0031】
検知フレーム生成部52は、ポート46に接続されたIFS14a〜14xとの通信状態を監視するため、検知フレーム(第2の検知フレーム)を生成する。このとき検知フレームには、送信元のFS16(FS16a〜16hの個体)を識別する識別情報(MACアドレス等)や検知フレームを送信するポート46a,46b,・・・,46xを識別する識別情報(例えば、ポート番号)が格納されている。
【0032】
検知フレーム生成部52により生成された検知フレームは、フレーム転送処理部48を介して各ポート46から接続先のIFS14a〜14xへ向けて送信される。このとき検知フレームは、各ポート46から所定時間ごと(例えば、数十ミリ秒間〜数秒間ごと)に送信されるものとする。
【0033】
障害判定部54は、通信状態の障害を検知した場合、障害通知フレーム生成部56に対して障害通知フレームを生成させる。
ここで本実施形態では、IFS14a〜14xからも接続先のFS16a〜16hへ向けて検知フレームを所定時間ごと(数十ミリ秒間〜数秒間ごと)に送信している。すなわち、IFS14a〜14x及びFS16a〜16hは、相互に検知フレームを送受信して互いの通信状態を監視している。
したがって、所定時間内にいずれかのポート46で検知フレームの受信を確認できなかった場合、FS16の障害判定部54は障害が発生したと判定する。
【0034】
障害通知フレーム生成部56は、IFS14a〜14xに対して通信障害が発生したことを通知するため、障害通知フレーム(第1の障害通知フレーム)を生成する。このとき障害通知フレームには、メモリ部50に記憶された識別情報50bが格納されている。
すなわち、障害通知フレームには、通信障害が発生したことを示す識別情報や、送信元のFS16a〜16hを識別する識別情報、障害通知フレームを送信するポート46a,46b,・・・,46xを識別する識別情報が格納されている。
【0035】
FS16において、障害通知フレーム生成部56により生成された障害通知フレームは、フレーム転送処理部48を介してIFS14a〜14xに接続された全てのポート46a,46b,・・・,46xから送信される。
【0036】
〔インターフェース中継器〕
図3は、IFS14の機能的な構成を概略的に示すブロック図である。すなわち、個々のIFS14a〜14xの基本的な構成及び機能は共通とする。また、IFS14及びFS16は、スイッチングハブとしてその基本的な構成及び機能が共通している。その上で図3には、IFS14としての特徴的な構成が示されている。
【0037】
IFS14は、複数のポート58a〜58jを有している。またIFS14は、フレーム転送処理部60、メモリ部62、及びLAG設定部64を有する。
【0038】
メモリ部62は、例えばRAMによって構成される。メモリ部62は、FDB62a及びLAG設定テーブル62bを記憶する。また、メモリ部62は、通信状態に障害が発生したことを示す識別情報や、IFS14a〜14xを識別する識別情報、ポート58a〜58jを識別する識別情報等を、まとめて識別情報62cとして記憶している。
【0039】
図3中、フレーム転送処理部60の上方に示されるポート58a〜58hは、それぞれFS16a〜16hに接続されている。また、フレーム転送処理部60の下方に示されるポート58i,58jは、それぞれ異なる端末機器12に接続されている。以下では、「ポート58a〜58j」を「ポート58」ともいう。
【0040】
IFS14において、FS16a〜16hは、その配列順に各ポート58a〜58hに接続されている。図1に示す各IFS14a〜14xは、基本的に図3に示す配列順でFS16a〜16hと相互に接続されている。つまり本実施形態において、各IFS14a〜14xにおいて、同じFS16a〜16hは同一のポート(同じポート番号のポート)に接続されていることが好ましい。
【0041】
なお、図3では10個のポート58a〜58jを示しているが、ポート数は図示した数に限定されることはない。またポート数は、ネットワーク中継システム10内でのFS16a〜16hの設置台数をカバーしているものとする。
【0042】
ポート58a〜58hは、FS16a〜16hから受信したネットワークフレームをフレーム転送処理部54へ転送する。またポート58a〜58hは、フレーム転送処理部60から転送されたネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
【0043】
他のポート58i,58jは、それぞれ端末機器12から受信したネットワークフレームをフレーム転送処理部60へ転送する。またポート58i,58jは、フレーム転送処理部60から転送されたネットワークフレームを接続先の端末機器12へ向けて送信する。
【0044】
フレーム転送処理部60は、図2に示すFS16のフレーム転送処理部48と同様に、例えば、FPGAやASIC等の集積回路により実現される。
フレーム転送処理部60は、ネットワークフレーム中の宛先情報に基づいて、ネットワークフレームを転送先のポート58へ転送する。またフレーム転送処理部60は、ネットワークフレーム中の送信元アドレス情報に基づいて、FDB62aを作成及び更新する。
【0045】
FDB62aには、ポート58で受信したネットワークフレーム中の送信元情報と、ネットワークフレームを受信したポート58の番号とが相互に対応付けられて登録される。
【0046】
IFS14のフレーム転送処理部60は、FDB62aを参照して、送信先の端末機器12に接続されたポート58i,58jへネットワークフレームを中継する。またフレーム転送処理部60は、FDB62aとともにLAG設定テーブル62bを参照して、送信先のFS16a〜16hに接続されたポート58a〜58hへネットワークフレームを中継する。
【0047】
〔同一IFS14内での転送処理〕
例えば、ポート58iに接続された端末機器12が別のポート58jに接続された端末機器12へデータを送る場合を想定する。この場合、送信元となる端末機器12は、データを含むネットワークフレームをIFS14へ送信する。送信されたネットワークフレームは、ポート58iにより受信されてフレーム転送処理部60へ転送される。
【0048】
フレーム転送処理部60は、ネットワークフレームに格納された宛先情報及び送信元情報に基づいてFDB62aを参照する。このとき、FDB62aに別の端末機器12を示す宛先情報がポート58jと対応付けて登録されている場合、フレーム転送処理部60は、ネットワークフレームをポート58jへ中継する。そして、ポート58jは、接続先の端末機器12へ向けてネットワークフレームを送信する。
【0049】
〔異なるIFS14間での転送処理〕
また、ポート58iに接続された端末機器12が他のIFS14a〜14xに接続された端末機器12へデータを送信する場合、送信元の端末機器12から送信されたネットワークフレームは、ポート58iにより受信されてフレーム転送処理部60へ転送される。
【0050】
フレーム転送処理部60は、ネットワークフレームに格納された宛先情報がLAG18を構成するポート58a〜58hと対応付けて登録されている場合、LAG設定テーブル62bを参照する。なお、ここでは図1に示す「LAG18a,18b,・・・,18x」を「LAG18」と総称している。
【0051】
フレーム転送処理部60は、所定のアルゴリズムに基づいてLAG設定テーブル62bに登録された複数のポート58の中から、ネットワークフレームを送信するべきポート58を選択する。フレーム転送処理部60は、選択されたポート58にネットワークフレームを中継し、選択されたポート58は、ネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
【0052】
また、LAG設定手段としてのLAG設定部64は、LAG設定テーブル62bの作成及び更新を行う。具体的には、LAG設定部64は、FS16a〜16hが接続された各ポート58a〜58hをグループ番号(LAG ID)に対応付けてLAG設定テーブル62bに登録する。すなわち、LAG設定テーブル62bに登録された各ポート58は、共通のリンクアグリゲーショングループ(LAG18)に所属することになる。
【0053】
IFS14は、通信状態を監視(特に障害を検知)するための構成として、検知フレーム生成部66、障害判定部68、及び障害通知フレーム生成部70をさらに有する。このうち検知フレーム生成部66は、各IFS14が有する検知フレーム送信手段(第1の検知フレーム送信手段)としての構成をなす。また障害判定部68は、各IFS14が有する障害判定手段(第1の障害判定手段)としての構成をなす。また、障害通知フレーム生成部70は、各IFS14が有する障害通知手段としての構成をなす。
【0054】
図2に示すFS16と同様に、検知フレーム生成部66は、ポート58a〜58hに接続されたFS16a〜16hとの通信状態を監視するため、検知フレーム(第1の検知フレーム)を生成する。このとき検知フレームには、送信元のIFS14a〜14xを識別する識別情報や、検知フレームを送信するポート58a〜58hを識別する識別情報が格納されている。すなわち、検知フレーム生成部66は、メモリ部62に記憶された識別情報62bを格納した検知フレームを生成する。
【0055】
検知フレーム生成部66により生成された検知フレームは、フレーム転送処理部60を介して各ポート58a〜58hから接続先のFS16a〜16hへ向けて所定時間ごと(数十ミリ秒間〜数秒間ごと)に送信される。
【0056】
障害判定部68は、通信状態の障害を検知した場合、障害通知フレーム生成部70に対して障害通知フレーム(第2の障害通知フレーム)を生成させる。
具体的には、障害判定部68は、いずれかのポート58a〜58hにおいて、上記の所定時間内にFS16a〜16hから送信された検知フレームの受信を確認できなかった場合、通信状態に障害が発生したと判定する。
【0057】
障害判定がなされると、障害通知フレーム生成部70は、FS16a〜16hに対して通信状態に障害が発生したことを通知するため、障害通知フレームを生成する。このとき障害通知フレームには、通信障害が発生したことを示す識別情報や、送信元のIFS14a〜14xを識別する識別情報、障害通知フレームを送信するポート58a〜58hを識別する識別情報が格納されている。
【0058】
ここで、前に説明したFS16では、IFS14が接続された全てのポート48から障害通知フレームを送信していた。
しかし、IFS14では、障害通知フレーム生成部70により生成された障害通知フレームは、検知フレームの受信を確認することができなくなったポート58のみから送信される。したがって、検知フレームを受信しているポート58から障害通知フレームは送信されない。
【0059】
FS16から検知フレームを受信しているポート58では、障害が発生した後も検知フレームを送信する。
なお、FS16a〜16hに対して通信状態に障害が発生したことを通知する方法として、障害判定部68は、障害通知フレーム生成部70に対して障害通知フレームを生成させるのではなく、検知フレームの受信を確認できなくなったポート58からの検知フレームの送信を停止させる方法もある。このような障害判定部68の動作例についてはさらに後述する。
【0060】
本実施形態では、発生した通信障害によりネットワークフレームが破棄されることを回避するため、LAG設定部64は、LAG設定テーブル62bを更新する。具体的には、いずれかのポート58a〜58hにて接続先のFS16a〜16hから障害通知フレームを受信した場合、LAG設定部64は、送信元のFS16a〜16hを示す識別情報と、これに対応するポート58a〜58hをLAG設定テーブル62bから除外(削除)する。換言すれば、LAG設定部64は、障害通知フレームを受信したポート58をLAG18のメンバーから除外する。
【0061】
そして、LAG設定部64により更新されたLAG設定テーブル62bが新たにメモリ部62に記憶(上書き)される。
またフレーム転送処理部60は、更新されたLAG設定テーブル62bを参照して、ネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
したがって、通信障害の発生前に上記のポート58(障害通知フレームを受信したポート58)で送受信されていたネットワークフレームは、所定のアルゴリズムに基づいて新たに決定された他のポート58を介して送受信されるようになり、フレームの破棄は回避される。これは、LAG18の縮退による障害回避の一例である。
【0062】
以下、ネットワーク中継システム10による動作例について、複数のパターンに分けて説明する。
【0063】
〔基本動作例〕
図4は、ネットワーク中継システム10の基本動作例を説明するための図である。なお、図4以降では煩雑化を防止するため、IFS14a〜14x及びFS16a〜16hの一部について図示を適宜省略している。一方、動作例についての理解を容易にするため、説明に関係するポート46a〜46x及びポート58a〜58hについて図示を追加している。
【0064】
ネットワーク中継システム10の通信状態が良好である場合、各IFS14a〜14x及び各FS16a〜16hは、相互に検知フレーム72,74を所定時間ごとに送受信している。具体的には、各IFS14a〜14xからは、各FS16a〜16hに向けて検知フレーム72が送信されており、各FS16a〜16hからも、各IFS14a〜14xに向けて検知フレーム74が送信されている。なお、図4中に実線及び点線で表す矢印は、それぞれ検知フレーム72,74の送信方向を示している。また、ここでは煩雑化を防止するため、一部の送受信経路についてのみ検知フレーム72,74を図示している(以降の図でも同様)。
【0065】
上記のようにネットワーク中継システム10は、各IFS14a〜14x及び各FS16a〜16hが検知フレーム72,74を相互に送受信することで、互いのポート58a〜58hとポート46a〜46xの間(物理回線を含む)の通信状態を監視している。
特に本実施形態においては、各IFS14a〜14xのポート58a〜58hにLAG18a〜18xが設定されているが、その内の全てのポート58a〜58hから各物理回線を通じて検知フレーム74が送信されている。
したがって各IFS14a〜14x及び各FS16a〜16hは、所定時間内に検知フレーム74,72(符号は対応順、以下でも同じ)を受信することで、互いの通信状態が正常であることを確認することができる。
【0066】
これに対し、いずれかのIFS14a〜14x又はFS16a〜16hで所定時間内に検知フレーム74,72の受信を確認できなかった場合、当該IFS14a〜14x又はFS16a〜16hにおいて、受信を確認できなかった検知フレーム74,72の送信元との通信状態に障害が発生したと判定することができる。このような判定は、図2に示される障害判定部54又は図3に示される障害判定部68により行われる。
なお、以下の説明において、「障害が発生したと判定」することを「障害検知」ともいう。
【0067】
〔障害検知時の動作例1〕
図5及び図6は、ネットワーク中継システム10による障害検知時の動作例1を説明するための図である。ここでは一例として、IFS14aとFS16aとの間の通信状態に障害が発生した場合について説明する。
【0068】
図5中(A)に示されているように、IFS14aからFS16aへの通信状態に障害(物理回線の片断線等)が発生すると、IFS14aから送信された検知フレーム74が所定時間内にFS16aへ到達しなくなる。このときFS16aは、図2に示す障害判定部54により、IFS14aとの間の通信状態に障害が発生したと判定する。
【0069】
図5中(B)に示されているように、障害を検知したFS16aは、各ポート46a〜46xから障害通知フレーム76を各IFS14a〜14xに送信する。なお図5中(B)に示される破線の矢印は、障害通知フレーム76の送信方向を示している。
障害通知フレーム76は、図2に示す障害通知フレーム生成部56において生成される。このとき障害通知フレーム76には、通信障害が発生したことを示す情報やFS16aを識別する識別情報が含まれる他、送信時の各ポート46a〜46xの識別情報が含まれている。
【0070】
〔障害通知フレーム受信時〕
図6に示されているように、各IFS14a〜14xがFS16aから障害通知フレーム76を受信すると、これを受信したポート46aをそれぞれのLAG18a〜18xのメンバーから除外する。
【0071】
具体的には、各IFS14a〜14xのLAG設定部64は、ポート46aをメンバーから除外した状態でリンクアグリゲーショングループを再設定する。換言すれば、各IFS14a〜14xのLAG設定部64は、各LAG18a〜18xを再グループ化する。なお図6には、各LAG18a〜18x内に全ての物理回線が示されていないが、メンバーから除外されていないポート58b〜58hは各LAG18a〜18xに所属している。また図6中、物理回線に沿う矢印は、検知フレーム72,74のみならず、ネットワークフレームの送信方向を示している。
【0072】
したがって、障害発生前にポート46aから送信されていたネットワークフレームは、LAG18a〜18xを構成する他のポート46b〜46hの中から所定のアルゴリズムに基づいて新たに決定されたポート(例えばポート46b)から送信されることになる。これにより、一次的に各LAG18a〜18xの通信帯域は減少するが、引き続き通信は可能であり、フレームの破棄を回避することができる。
【0073】
〔動作例1の実現手法〕
図7は、図5に示す障害通知の実現手法を示すフローチャートである。また図8は、図6に示すリンクアグリゲーショングループの再設定の実現手法を示すフローチャートである。
【0074】
〔障害通知処理〕
先ず、動作例1のFS16による障害通知の実現手法について説明する。
図7に示される障害通知処理において、FS16の障害判定部54は、各ポート46a〜46xで検知フレーム74を受信したか否かを確認する(ステップS100)。検知フレーム74の受信を確認した場合(Yes)、この処理を繰り返す。
【0075】
いずれかのポート46a〜46xで検知フレーム74の受信を確認できなかった場合(ステップS100:No)、FS16の障害判定部54は、所定時間が経過したか否かを確認する(ステップS102)。所定時間内に検知フレーム74の受信を確認した場合(ステップS102:No)、ステップS100〜S102を繰り返す。
【0076】
検知フレーム74の受信を確認できない状態(ステップS100:No)で、所定時間が経過した場合(ステップS102:Yes)、FS16の障害通知フレーム生成部56は障害通知フレーム76を生成する。そしてFS16は、IFS14a〜14xに接続された全てのポート46a〜46xから障害通知フレーム76を送信(フラッディング)すると(ステップS104)、この処理を終了(END)する。
【0077】
〔LAG再設定処理〕
次に、動作例1のIFS14aによるリンクアグリゲーショングループ再設定の実現手法について説明する。
【0078】
図8に示されるLAG再設定処理において、IFS14aの障害判定部68は、各FS16a〜16hに接続されたポート58a〜58hで障害通知フレーム76を受信したか否かを確認する(ステップS200)。特に障害通知フレーム76を受信していなければ(No)、ここで処理は一旦終了となる。
【0079】
障害通知フレーム76を受信したことが確認された場合(ステップS200:Yes)、LAG設定部64は、障害通知フレーム76を受信したポート(ここではポート58a)をLAG18aのメンバーから除外し、再グループ化を行って(ステップS202)、処理を終了する。なお、ここではステップS200で定常的に障害通知フレーム76を監視しているが、特にこのようなステップS200を置くことなく、障害通知フレーム76の受信をトリガとしてステップS202以降の処理をシーケンス的に実行することとしてもよい。
【0080】
図9は、動作例1で通信障害が発生する前後における各IFS14a〜14xのLAG設定テーブル62bを示す図である。
【0081】
〔障害発生前〕
図9中(A)の「LAG所属ポート欄」に示すように、障害発生前において、IFS14aのLAG設定テーブル62bには、ポート58a〜58hの全てがLAG所属ポート(メンバー)に設定されている。また、「LAG ID欄」に示すように、全てのポート58a〜58hは、共通のLAG18aに所属している。なお本実施形態では、各IFS14a〜14xにはLAGが1つ設定されているが、複数のLAGが設定されていてもよい。
【0082】
〔障害発生後〕
IFS14aでFS16aから障害通知フレーム76をポート46aで受信した場合、図9中(B)に示すように、このポート46aをLAG18aの所属メンバーから除外して再グループ化(更新)が行われる。その結果、「LAG所属ポート欄」には、ポート46aを除いたポート46b〜46hが更新後の所属メンバーとして再設定される。
【0083】
〔動作例1のまとめ〕
以上のように動作例1によれば、障害の発生を検知したFS16はIFS14に対して障害通知フレームを送信し、IFS14は障害通知フレームを受信したポートをLAGから除外するという動作を行うため、障害が発生している通信経路に接続しているFS16は、使用される通信経路から外される。すなわち、動作例1では、通信障害が発生すると、障害が発生した区間を経由するネットワークフレームの通信経路は別の通信経路へ切り替えられる。これにより、異なるIFS14a〜14xに接続された複数の端末機器12間での通信の信頼性を向上させることができる。
【0084】
また、障害発生時に各LAG18a〜18xの構成は一時的に縮退するものの、再グループ化後のLAG18a〜18x内で上記のアルゴリズムを適用することにより、引き続き端末機器12間で送受信されるネットワークフレームの中継を続行することができる。
なお、この後に物理回線やポートの復旧作業が行われると、LAG18a〜18xの設定を初期状態に復旧させることで、全ての帯域を活用して効率的にネットワークフレームの中継を再開することができる。
【0085】
以上の動作例1は、IFS14からFS16の方向への障害発生時に関するものであった。これに対し、FS16からIFS14の方向への障害発生時は、以下の動作例2,3となる。
【0086】
〔障害検知時の動作例2〕
図10及び図11は、ネットワーク中継システム10による障害検知時の動作例2を説明するための図である。ここでも一例として、IFS14aとFS16aとの間の通信状態に障害が発生した場合について説明するが、上記のように障害の発生した通信の方向が異なっている。
【0087】
図10中(A)に示されているように、FS16aからIFS14aへの通信状態に障害が発生すると、FS16aから送信された検知フレーム72が所定時間内にIFS14aへ到達しなくなる。このときIFS14aは、図3に示す障害判定部64により、FS16aとの間の通信状態に障害が発生したと判定する。
【0088】
そして、図10中(B)に示されているように、障害を検知したIFS14aは、図3に示す障害通知フレーム生成部70において障害通知フレーム78を生成し、これをポート46aからFS16aに向けて送信する。
【0089】
図11中(A)に示されているように、障害通知フレーム78を受信したFS16aは、全てのポート58a〜58hから障害通知フレーム76をIFS14a〜14xに送信する。なお障害通知フレーム76は、FS16aの障害通知フレーム生成部56で生成される。
【0090】
なお、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しない。このためIFS14aのLAG設定部64は、FS16aとの接続をなすポート58aを除外してLAG18aを再設定する。図11中(B)には、LAG18aが再設定された状態で示されている。
【0091】
そして、図11中(B)に示されているように、IFS14a以外の各IFS14b〜14xがFS16aから障害通知フレーム76を受信すると、これを受信したポート46aをそれぞれのLAG18a〜18xのメンバーから除外する。すなわち、各IFS14b〜14xのLAG設定部64は、ポート46aをメンバーから除外した状態で、各LAG18a〜18xを再グループ化する。
【0092】
〔動作例2の実現手法〕
図12は、図10に示す障害通知の実現手法を示すフローチャートである。また図13は、図11に示す障害通知の実現手法を示すフローチャートである。
【0093】
〔障害通知処理(1)〕
図12に示される障害通知処理(1)において、IFS14の障害判定部68は、各ポート58a〜58hで検知フレーム72を受信したか否かを確認する(ステップS300)。検知フレーム72の受信を確認した場合(Yes)、障害判定部68はこの処理を繰り返す。
【0094】
いずれか又は全てのポート58a〜58hで検知フレーム72の受信を確認できなかった場合(ステップS300:No)、IFS14の障害判定部68は、所定時間が経過したか否かを確認する(ステップS302)。所定時間内に検知フレーム72の受信を確認した場合(ステップS302:No)、ステップS300〜S302を繰り返す。
【0095】
検知フレーム72の受信を確認できない状態(ステップS300:No)で、所定時間が経過した場合(ステップS302:Yes)、IFS14の障害通知フレーム生成部70は障害通知フレーム78を生成する。そしてIFS14は、検知フレーム72の受信を確認できなかったFS16aに対し、ポート58aから障害通知フレーム78を送信する(ステップS304)。
【0096】
そして、IFS14aのLAG設定部64は、所定時間内に検知フレーム72の受信を確認できなかったポート(ここではポート58a)をメンバーから除外し、LAG18aの再グループ化(更新)を行って(ステップS306)、処理を終了する。
【0097】
〔障害通知処理(2)〕
次に、図13に示される障害通知処理(2)において、FS16の障害判定部54は、各ポート46a〜46xにおいて障害通知フレーム78を受信したか否かを確認する(ステップS400)。
【0098】
障害通知フレーム78を受信すると(ステップS400:Yes)、FS16の障害通知フレーム生成部56において障害通知フレーム76を生成する。そして、これをIFS14a〜14xに接続された全てのポート46a〜46xから送信し(ステップS402)、この処理を終了(END)する。
【0099】
なお、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しないが、上記のようにIFS14aはポート58aを除外してLAG18aを再設定しているため、他のFS16b〜16hと引き続き通信は可能である。
【0100】
また、FS16aから送信された障害通知フレーム76を他のIFS14b〜14xで受信した場合、各IFS14b〜14xは、図8に示すLAG再設定処理を実行してポート46aをそれぞれのLAG18b〜18xから除外して再設定(再グループ化)を行う。
【0101】
〔動作例2のまとめ〕
以上のように動作例2では、各IFS14a〜14xで障害を検知した場合、受信を確認できなかった検知フレーム72の送信元であるFS16a〜16hに対して障害通知フレーム78を送信することで、FS16a〜16hから障害通知フレーム76を送信させることができる。
また、動作例1と同様に、LAG18a〜18xの縮退後も引き続きネットワークフレームの中継が可能である。
【0102】
〔障害検知時の動作例3〕
図14及び図15は、ネットワーク中継システム10による障害検知時の動作例3を説明するための図である。ここでも動作例2と同様に、FS16aからIFS14aへの通信状態に障害が発生した場合について説明する。
【0103】
図14中(A)に示されているように、FS16aからIFS14aの方向への通信に障害が発生すると、FS16aから送信された検知フレーム72は、所定時間内にIFS14aへ到達しない。このときIFS14aは、障害判定部68において、FS16aとの間の通信状態に障害が発生したと判定する。
【0104】
この場合、図14中(B)に示されているように、IFS14aはFS16aに対する検知フレーム74の送信を停止する。また、このときIFS14aは、FS16aに接続されたポート46aをLAG18aのメンバーから除外して再設定(再グループ化)を行う。
【0105】
また図14中(B)に示されているように、検知フレーム74の送信が停止されたため、FS16aでは、IFS14aに接続されたポート46aにおいて、所定時間内に検知フレーム74を受信することができなくなる。したがってFS16aの障害判定部54は、IFS14aとの間の通信状態に障害が発生したと判定する。
【0106】
そして図15中(A)に示されているように、FS16aは、これまでの動作例1及び動作例2と同様に、障害通知フレーム生成部56において障害通知フレーム76を生成し、これをIFS14a〜14xに接続された全てのポート46a〜46xから送信する。
【0107】
ここでも同様に、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しないが、上記のようにIFS14aはポート58aを除外してLAG18aを再設定しているため、他のFS16b〜16hと引き続き通信は可能である。
【0108】
また図15中(B)に示されているように、他のIFS14b〜14xは、FS16aから送信された障害通知フレームを受信すると、これを受信したポート46aを除外した状態でそれぞれのLAG18b〜18xを再設定する。
【0109】
以上のように、障害を検知したIFS14aでLAG18aの再設定が行われ、合わせて他のIFS14b〜14xでLAG18b〜18xの再設定が行われると、各IFS14a〜14xは、障害発生前にポート46aから転送していたネットワークフレームに対して、新たに転送するべきポートを決定する。したがって、上記のネットワークフレームを新たに転送するべきポートは、各IFS14a〜14xにおいてLAG18a〜18xに所属する他のポート46b〜46hの中から所定のアルゴリズムに基づいて決定される。
【0110】
〔動作例3の実現手法〕
図16は、図14に示す障害通知の実現手法を示すフローチャートである。
【0111】
〔障害通知処理〕
IFS14の障害判定部68は、各ポート58a〜58hで検知フレーム72を受信したか否かを確認する(ステップS500)。検知フレーム72の受信を確認した場合(Yes)、障害判定部68はこの処理を繰り返す。
【0112】
いずれかのポート58a〜58hで検知フレーム72の受信を確認できなかった場合(ステップS500:No)、IFS14の障害判定部68は、所定時間が経過したか否かを確認する(ステップS502)。所定時間内に検知フレーム72の受信を確認した場合(ステップS502:No)、ステップS500〜S502を繰り返す。
【0113】
検知フレーム72の受信を確認できない状態(ステップS500:No)で、所定時間が経過した場合(ステップS502:Yes)、IFS14のLAG設定部64は、検知フレーム72の受信を確認できなかったポート(ここではポート46)をメンバーから除外し、LAG18a〜18xを再設定する(ステップS504)。
【0114】
そして、IFS14の検知フレーム生成部66は、検知フレーム72の受信を確認できなかったポートからの検知フレーム74の送信を停止する(ステップS506)。具体的には、LAG18aから除外されたポート58aから送信される検知フレーム72の生成を中止し、このポート58aからの検知フレームの送信を停止して処理を終了(END)する。
【0115】
この後、検知フレーム72の送信を停止されたFS16aは、図7に示す障害通知処理に基づき、障害通知フレーム76を全てのポート46a〜46xから送信する。また、IFS14a以外のIFS14b〜14xは、FS16aから送信された障害通知フレーム76を受信すると、図8に示すLAG再設定処理に基づいて、これを受信したポートをメンバーから除外し、LAG18b〜18xの再設定(再グループ化)を行う。
【0116】
〔動作例3のまとめ〕
以上のように動作例3では、各IFS14a〜14xで障害を検知した場合、受信を確認できなかった検知フレーム72の送信元であるFS16a〜16hに対する検知フレーム74の送信を停止することで、相手先のFS16a〜16hで障害を検知させ、それによってFS16a〜16hから障害通知フレーム76を送信させることができる。
また、動作例1と同様に、LAG18a〜18xの縮退後も引き続きネットワークフレームの中継が可能である。
【0117】
以上のように、本実施形態のネットワーク中継システム10によれば、各IFS14a〜14xと各FS16a〜16hとの間の通信状態を常時監視し、通信経路上に障害が発生した場合には、当該障害を検知する。そして、障害を検知すると、障害が発生した通信経路を経由するネットワークフレームを別の通信経路へ切り替えて転送することができるため、通信の信頼性向上に寄与することができる。
【0118】
変形例として、FS16は、IFS14と接続されるポート46のリンク状態を監視し、ポート46のリンク状態がリンクダウンになったことを契機として、IFS14に対して障害通知フレームを送信するようにしてもよい。
【符号の説明】
【0119】
10 ネットワーク中継システム
12 端末機器
14(14a〜14x) IFS(インターフェース中継器)
16(16a〜16h) FS(ファブリック中継器)
46(46a〜46x) ポート
48 フレーム転送処理部
52,66 検知フレーム生成部
54,68 障害判定部
56,70 障害通知フレーム生成部
64 LAG設定部
58(58a〜58h) ポート
【技術分野】
【0001】
本発明は、ネットワーク中継システム及びネットワーク中継システムの制御方法に関する。
【背景技術】
【0002】
従来、複数のネットワーク中継装置を含む第1のネットワーク中継装置グループがファブリックノードとして機能し、複数のネットワーク中継装置を含む第2のネットワーク中継装置グループが回線ノードとして機能するシステムが知られている(例えば、特許文献1の図8を参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−290271号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術において、第1のネットワーク中継装置グループに含まれるネットワーク中継装置と、第2のネットワーク中継装置グループに含まれるネットワーク中継装置との間を接続する物理回線のいずれかに障害が発生することが想定される。
【0005】
そこで、本発明は、複数のインターフェース中継器と複数のインターフェース中継器と接続される複数のファブリック中継器とを備えるネットワーク中継システムにおいて、障害が発生した場合に、通信経路を切り替えることができるネットワーク中継システム及びネットワーク中継システムの制御方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、本発明の第1態様によれは、複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備え、前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定するLAG設定手段を有し、前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信する障害通知フレーム送信手段を有し、前記インターフェース中継器の前記LAG設定手段は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、ネットワーク中継システムが提供される。
【0007】
また、上記の課題を解決するために、本発明の第2態様によれば、複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備えるネットワーク中継システムの制御方法であって、前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定しており、前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信し、前記インターフェース中継器は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、ネットワーク中継システムの制御方法が提供される。
【発明の効果】
【0008】
本発明のネットワーク中継システム及びネットワーク中継システムの制御方法によれば、複数のインターフェース中継器と複数のインターフェース中継器と接続される複数のファブリック中継器とを備えるネットワーク中継システムにおいて、障害が発生した場合に、通信経路を切り替えることができる。
【図面の簡単な説明】
【0009】
【図1】ネットワーク中継システムの構成例を概略的に示す図である。
【図2】FSの機能的な構成を概略的に示すブロック図である。
【図3】IFSの機能的な構成を概略的に示すブロック図である。
【図4】ネットワーク中継システムの基本動作例を説明するための図である。
【図5】ネットワーク中継システムによる障害検知時の動作例1を説明するための図(1/2)である。
【図6】ネットワーク中継システムによる障害検知時の動作例1を説明するための図(2/2)である。
【図7】図5に示す障害通知の実現手法を示すフローチャートである。
【図8】図6に示すリンクアグリゲーショングループの再設定の実現手法を示すフローチャートである。
【図9】動作例1で通信障害が発生する前後における各IFSのLAG設定テーブルを示す図である。
【図10】ネットワーク中継システムによる障害検知時の動作例2を説明するための図(1/2)である。
【図11】ネットワーク中継システムによる障害検知時の動作例2を説明するための図(2/2)である。
【図12】図10に示す障害通知の実現手法を示すフローチャートである。
【図13】図11に示す障害通知の実現手法を示すフローチャートである。
【図14】ネットワーク中継システムによる障害検知時の動作例3を説明するための図(1/2)である。
【図15】ネットワーク中継システムによる障害検知時の動作例3を説明するための図(2/2)である。
【図16】図14に示す障害通知の実現手法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を参照しながら説明する。
図1は、一実施形態のネットワーク中継システム10の構成例を概略的に示す図である。ネットワーク中継システム10は、例えばデータセンタ等の設備内において、複数の端末機器12の間で送受信されるネットワークフレームを中継する用途に適している。端末機器12は、例えばサーバー、ネットワーク中継器等である。なお、端末機器12の接続台数や種類は特に限定されない。
【0011】
ネットワーク中継システム10は、複数のインターフェース中継器として、例えば24台程度のIFS(InterFace Switch)14a,14b,・・・,14xを備える。またネットワーク中継システム10は、複数のファブリック中継器として、例えば8台のFS(Fabric Switch)16a〜16hを備えている。なお、ここで挙げたIFS14a〜14xやFS16a〜16hの台数は一例であり、これに限定されるものではない。
また、以下ではインターフェース中継器としての「IFS14a〜14x」を「IFS14」と表記し、ファブリック中継器としての「FS16a〜16h」を「FS16」と表記することがある。
【0012】
本実施形態では、IFS14a〜14x及びFS16a〜16hとして、例えばボックス型のスイッチングハブを用いている。ここで用いるスイッチングハブは、例えばOSI(Open Systems Interconnection)参照モデルのレイヤ2及びレイヤ3のデータ転送機能を備えるものである。なお、IFS14a〜14x及びFS16a〜16hの基本的な構造や機能は互いに共通のものであってもよい。
【0013】
複数台ある端末機器12は、IFS14a〜14xのいずれかに分散して接続されている。なお、各IFS14a〜14xに接続される端末機器12の台数は、均一でなくてもよい。また、いずれのIFS14a〜14xに対し、どのような種類の端末機器12を接続するかについての制約もない。さらに端末機器12は、サーバー以外のパーソナルコンピュータやワークステーション等であってもよい。
【0014】
ネットワーク中継システム10において、IFS14a〜14xとFS16a〜16hとは、それぞれが相互に物理回線で接続されている。物理回線は、例えば光ファイバケーブル、ツイストペアケーブル等である。なお図1中、個別の物理回線について参照符号は省略している。また、IFS14a〜14xの一部は図示を省略されているが、これらも個別にFS16a〜16hと物理回線で接続されている。物理回線は、IFS14a〜14x及びFS16a〜16hの図示しないポートに接続されている。
【0015】
各IFS14a〜14xにおいて、FS16a〜16hが接続されているポートには、リンクアグリゲーショングループ、つまり、LAG18a,18b,・・・,18xが設定されている。リンクアグリゲーションは、複数の物理回線を論理的に一つの回線のように扱う機能である。各IFS14a〜14xにおいて、LAG18a,18b,・・・,18xが設定された複数のポートは、論理的に一つのポートのように動作する。
【0016】
そして各IFS14a〜14xは、各端末機器12から受信したネットワークフレームをFS16a〜16hへ送信する場合、所定のアルゴリズムに従い、対応するLAG18a,18b,・・・,18x内で、いずれのポートからネットワークフレームを送信するかを決定する。このアルゴリズムでは、接続された端末機器12からネットワークフレームを受信した場合、これに格納されている宛先情報や送信元情報を示すMACアドレス、IPアドレス等を用いて演算(例えば四則演算)を行い、それによって得た値から送信用のポート番号を決定する。このとき、予めLAG18a,18b,・・・,18x内で各ポートに識別番号(INDEX)を設定しておき、上記の演算で得た値とポートの識別番号とを対応付けてもよい。いずれにしても、各IFS14a〜14xがネットワークフレーム中の固有情報に基づいてネットワークフレームの送信に用いるポートを一意に決定することにより、端末機器12から受信したネットワークフレームをFS16a〜16hへ送信する際に生じる負荷を分散し、ネットワーク中継システム10全体として必要な通信帯域を確保するようにしている。
【0017】
また本実施形態のネットワーク中継システム10では、上記のアルゴリズムにより、任意の2台の端末機器12間でネットワークフレームの送受信を行う場合、送信時(上り)の通信経路と受信時(下り)の通信経路とを互いに一致させている。
例えば、異なる2台のIFS14aとIFS14bにそれぞれ接続された2台の端末機器12が相互にネットワークフレームを送受信する場合を考える。この場合、IFS14aに接続された端末機器12(送信元)から送信されたネットワークフレームは、上記のアルゴリズムにより、例えば特定のFS16dを介してIFS14bへ転送され、そしてIFS14bから送信先(宛先)の端末機器12へ転送される。このときIFS14bでは、全てのFS16a〜16hに対向するポートにLAG18bが設定されているため、IFS14bからLAG18b内にネットワークフレームが折り返し送信されることはない。
【0018】
逆に、IFS14bに接続された端末機器12が送信元である場合、ネットワークフレームはIFS14bからFS16dへ送信され、さらにFS16dからIFS14aを通じて送信先の端末機器12に送信される。ここでも同様にIFS14aでは、全てのFS16a〜16hに対向するポートにLAG18aが設定されているため、やはりLAG18a内にネットワークフレームが折り返し送信されることはない。
【0019】
このように、異なる2台のIFS14aとIFS14bに接続された2台の端末機器12間でネットワークフレームを送受信する場合、ネットワークフレームを中継するIFS14aとIFS14bで使用されるポートが双方向で一致する。ここではIFS14aとIFS14bに接続された2台の端末機器12の組み合わせを例に挙げたが、これ以外の組み合わせの端末機器12間での送受信時についても同様に、送信時と受信時の双方向で通信経路と使用するポートが一致する。
【0020】
また、ネットワーク中継システム10に接続される各端末機器12にVLAN(Vertual Local Area Network)が設定されている場合、IFS14a〜14x及びFS16a〜16hは、それぞれ原則としてタグVLANを用いてネットワークフレームの送受信を行う。このとき、FS16a〜16hの各ポートには、各端末機器12に割り当てられた全てのVLAN情報が登録される。そして、IFS14a〜14x及びFS16a〜16hは、ネットワークフレームを送信する際、受信した個々のネットワークフレームに応じてVLAN情報をタギングした状態で送信する。これにより、各端末機器12にVLANが設定されていても、異なる端末機器12間で送信時の通信経路と受信時の通信経路が一致する。
【0021】
以上は、本実施形態のネットワーク中継システム10の基本的な構成とネットワークフレームの中継動作である。加えて本実施形態では、複数あるIFS14a〜14xとFS16a〜16hとの間の通信状態に何らかの障害(例えば物理回線の異常)が発生した場合、これを速やかに検知する機能(障害検知機能)を各IFS14a〜14x及び各FS16a〜16h内で実現している。
【0022】
以下、IFS14a〜14x及びFS16a〜16hの構成について詳細に説明する。既に述べたように、以下では「IFS14a〜14x」、「FS16a〜16h」をそれぞれ「IFS14」、「FS16」と総称する場合がある。
【0023】
〔ファブリック中継器〕
図2は、FS16の機能的な構成を概略的に示すブロック図である。すなわち、個々のFS16a〜16hの基本的な構成及び機能は共通している。
【0024】
FS16は、複数のポート46a,46b,・・・,46xを有している。FS16のポート数は、ネットワーク中継システム10内でのIFS14a〜14xの設置台数をカバーしているものとする。なお、以下では「ポート46a,46b,・・・,46x」を「ポート46」ともいう。またポート46の数は、図示した数に限定されない。
【0025】
ポート46の他にFS16は、フレーム転送処理部48及びメモリ部50を有している。
このうちメモリ部50は、例えば、書き換え可能なRAM(ランダムアクセスメモリ)によって構成される。メモリ部50は、FDB(フォワーディングデータベース)50aを記憶している。またメモリ部50は、FS16やポート46を識別する識別情報50bを記憶している。
【0026】
各ポート46には、それぞれIFS14a〜14xが接続されている。ポート46は、各IFS14a〜14xから送信されたネットワークフレームを受信すると、当該受信したネットワークフレームをフレーム転送処理部48へ転送する。
また各ポート46は、フレーム転送処理部48から転送されたネットワークフレームをいずれかのIFS14a〜14xへ向けて送信する。
【0027】
フレーム転送処理部48は、例えば、FPGA(Field Programmable Gate Array)やASIC(特定用途向け集積回路)等の集積回路により実現される。
【0028】
フレーム転送処理部48は、ネットワークフレーム中の宛先情報に基づいて、ネットワークフレームを転送先のポート46へ転送する。またフレーム転送処理部48は、ネットワークフレーム中の送信元アドレス情報に基づいてFDB50aを作成及び更新する。
【0029】
FDB50aには、ポート46で受信したネットワークフレーム中の送信元情報と、ネットワークフレームを受信したポート46の番号とが相互に対応付けられて登録される。
すなわちフレーム転送処理部48は、ポート46からネットワークフレームが転送されると、FDB50aに登録された情報をもとに転送先のポート46へネットワークフレームを中継する。
【0030】
FS16は、通信状態を監視(主に障害を検知)するための構成として、検知フレーム生成部52、障害判定部54、及び障害通知フレーム生成部56をさらに有する。このうち検知フレーム生成部52は、各FS16が有する検知フレーム送信手段(第2の検知フレーム送信手段)としての構成をなす。また障害判定部54は、各FS16が有する障害判定手段(第2の障害判定手段)としての構成をなす。また、障害通知フレーム生成部56は、各FS16が有する障害通知フレーム送信手段としての構成をなす。
【0031】
検知フレーム生成部52は、ポート46に接続されたIFS14a〜14xとの通信状態を監視するため、検知フレーム(第2の検知フレーム)を生成する。このとき検知フレームには、送信元のFS16(FS16a〜16hの個体)を識別する識別情報(MACアドレス等)や検知フレームを送信するポート46a,46b,・・・,46xを識別する識別情報(例えば、ポート番号)が格納されている。
【0032】
検知フレーム生成部52により生成された検知フレームは、フレーム転送処理部48を介して各ポート46から接続先のIFS14a〜14xへ向けて送信される。このとき検知フレームは、各ポート46から所定時間ごと(例えば、数十ミリ秒間〜数秒間ごと)に送信されるものとする。
【0033】
障害判定部54は、通信状態の障害を検知した場合、障害通知フレーム生成部56に対して障害通知フレームを生成させる。
ここで本実施形態では、IFS14a〜14xからも接続先のFS16a〜16hへ向けて検知フレームを所定時間ごと(数十ミリ秒間〜数秒間ごと)に送信している。すなわち、IFS14a〜14x及びFS16a〜16hは、相互に検知フレームを送受信して互いの通信状態を監視している。
したがって、所定時間内にいずれかのポート46で検知フレームの受信を確認できなかった場合、FS16の障害判定部54は障害が発生したと判定する。
【0034】
障害通知フレーム生成部56は、IFS14a〜14xに対して通信障害が発生したことを通知するため、障害通知フレーム(第1の障害通知フレーム)を生成する。このとき障害通知フレームには、メモリ部50に記憶された識別情報50bが格納されている。
すなわち、障害通知フレームには、通信障害が発生したことを示す識別情報や、送信元のFS16a〜16hを識別する識別情報、障害通知フレームを送信するポート46a,46b,・・・,46xを識別する識別情報が格納されている。
【0035】
FS16において、障害通知フレーム生成部56により生成された障害通知フレームは、フレーム転送処理部48を介してIFS14a〜14xに接続された全てのポート46a,46b,・・・,46xから送信される。
【0036】
〔インターフェース中継器〕
図3は、IFS14の機能的な構成を概略的に示すブロック図である。すなわち、個々のIFS14a〜14xの基本的な構成及び機能は共通とする。また、IFS14及びFS16は、スイッチングハブとしてその基本的な構成及び機能が共通している。その上で図3には、IFS14としての特徴的な構成が示されている。
【0037】
IFS14は、複数のポート58a〜58jを有している。またIFS14は、フレーム転送処理部60、メモリ部62、及びLAG設定部64を有する。
【0038】
メモリ部62は、例えばRAMによって構成される。メモリ部62は、FDB62a及びLAG設定テーブル62bを記憶する。また、メモリ部62は、通信状態に障害が発生したことを示す識別情報や、IFS14a〜14xを識別する識別情報、ポート58a〜58jを識別する識別情報等を、まとめて識別情報62cとして記憶している。
【0039】
図3中、フレーム転送処理部60の上方に示されるポート58a〜58hは、それぞれFS16a〜16hに接続されている。また、フレーム転送処理部60の下方に示されるポート58i,58jは、それぞれ異なる端末機器12に接続されている。以下では、「ポート58a〜58j」を「ポート58」ともいう。
【0040】
IFS14において、FS16a〜16hは、その配列順に各ポート58a〜58hに接続されている。図1に示す各IFS14a〜14xは、基本的に図3に示す配列順でFS16a〜16hと相互に接続されている。つまり本実施形態において、各IFS14a〜14xにおいて、同じFS16a〜16hは同一のポート(同じポート番号のポート)に接続されていることが好ましい。
【0041】
なお、図3では10個のポート58a〜58jを示しているが、ポート数は図示した数に限定されることはない。またポート数は、ネットワーク中継システム10内でのFS16a〜16hの設置台数をカバーしているものとする。
【0042】
ポート58a〜58hは、FS16a〜16hから受信したネットワークフレームをフレーム転送処理部54へ転送する。またポート58a〜58hは、フレーム転送処理部60から転送されたネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
【0043】
他のポート58i,58jは、それぞれ端末機器12から受信したネットワークフレームをフレーム転送処理部60へ転送する。またポート58i,58jは、フレーム転送処理部60から転送されたネットワークフレームを接続先の端末機器12へ向けて送信する。
【0044】
フレーム転送処理部60は、図2に示すFS16のフレーム転送処理部48と同様に、例えば、FPGAやASIC等の集積回路により実現される。
フレーム転送処理部60は、ネットワークフレーム中の宛先情報に基づいて、ネットワークフレームを転送先のポート58へ転送する。またフレーム転送処理部60は、ネットワークフレーム中の送信元アドレス情報に基づいて、FDB62aを作成及び更新する。
【0045】
FDB62aには、ポート58で受信したネットワークフレーム中の送信元情報と、ネットワークフレームを受信したポート58の番号とが相互に対応付けられて登録される。
【0046】
IFS14のフレーム転送処理部60は、FDB62aを参照して、送信先の端末機器12に接続されたポート58i,58jへネットワークフレームを中継する。またフレーム転送処理部60は、FDB62aとともにLAG設定テーブル62bを参照して、送信先のFS16a〜16hに接続されたポート58a〜58hへネットワークフレームを中継する。
【0047】
〔同一IFS14内での転送処理〕
例えば、ポート58iに接続された端末機器12が別のポート58jに接続された端末機器12へデータを送る場合を想定する。この場合、送信元となる端末機器12は、データを含むネットワークフレームをIFS14へ送信する。送信されたネットワークフレームは、ポート58iにより受信されてフレーム転送処理部60へ転送される。
【0048】
フレーム転送処理部60は、ネットワークフレームに格納された宛先情報及び送信元情報に基づいてFDB62aを参照する。このとき、FDB62aに別の端末機器12を示す宛先情報がポート58jと対応付けて登録されている場合、フレーム転送処理部60は、ネットワークフレームをポート58jへ中継する。そして、ポート58jは、接続先の端末機器12へ向けてネットワークフレームを送信する。
【0049】
〔異なるIFS14間での転送処理〕
また、ポート58iに接続された端末機器12が他のIFS14a〜14xに接続された端末機器12へデータを送信する場合、送信元の端末機器12から送信されたネットワークフレームは、ポート58iにより受信されてフレーム転送処理部60へ転送される。
【0050】
フレーム転送処理部60は、ネットワークフレームに格納された宛先情報がLAG18を構成するポート58a〜58hと対応付けて登録されている場合、LAG設定テーブル62bを参照する。なお、ここでは図1に示す「LAG18a,18b,・・・,18x」を「LAG18」と総称している。
【0051】
フレーム転送処理部60は、所定のアルゴリズムに基づいてLAG設定テーブル62bに登録された複数のポート58の中から、ネットワークフレームを送信するべきポート58を選択する。フレーム転送処理部60は、選択されたポート58にネットワークフレームを中継し、選択されたポート58は、ネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
【0052】
また、LAG設定手段としてのLAG設定部64は、LAG設定テーブル62bの作成及び更新を行う。具体的には、LAG設定部64は、FS16a〜16hが接続された各ポート58a〜58hをグループ番号(LAG ID)に対応付けてLAG設定テーブル62bに登録する。すなわち、LAG設定テーブル62bに登録された各ポート58は、共通のリンクアグリゲーショングループ(LAG18)に所属することになる。
【0053】
IFS14は、通信状態を監視(特に障害を検知)するための構成として、検知フレーム生成部66、障害判定部68、及び障害通知フレーム生成部70をさらに有する。このうち検知フレーム生成部66は、各IFS14が有する検知フレーム送信手段(第1の検知フレーム送信手段)としての構成をなす。また障害判定部68は、各IFS14が有する障害判定手段(第1の障害判定手段)としての構成をなす。また、障害通知フレーム生成部70は、各IFS14が有する障害通知手段としての構成をなす。
【0054】
図2に示すFS16と同様に、検知フレーム生成部66は、ポート58a〜58hに接続されたFS16a〜16hとの通信状態を監視するため、検知フレーム(第1の検知フレーム)を生成する。このとき検知フレームには、送信元のIFS14a〜14xを識別する識別情報や、検知フレームを送信するポート58a〜58hを識別する識別情報が格納されている。すなわち、検知フレーム生成部66は、メモリ部62に記憶された識別情報62bを格納した検知フレームを生成する。
【0055】
検知フレーム生成部66により生成された検知フレームは、フレーム転送処理部60を介して各ポート58a〜58hから接続先のFS16a〜16hへ向けて所定時間ごと(数十ミリ秒間〜数秒間ごと)に送信される。
【0056】
障害判定部68は、通信状態の障害を検知した場合、障害通知フレーム生成部70に対して障害通知フレーム(第2の障害通知フレーム)を生成させる。
具体的には、障害判定部68は、いずれかのポート58a〜58hにおいて、上記の所定時間内にFS16a〜16hから送信された検知フレームの受信を確認できなかった場合、通信状態に障害が発生したと判定する。
【0057】
障害判定がなされると、障害通知フレーム生成部70は、FS16a〜16hに対して通信状態に障害が発生したことを通知するため、障害通知フレームを生成する。このとき障害通知フレームには、通信障害が発生したことを示す識別情報や、送信元のIFS14a〜14xを識別する識別情報、障害通知フレームを送信するポート58a〜58hを識別する識別情報が格納されている。
【0058】
ここで、前に説明したFS16では、IFS14が接続された全てのポート48から障害通知フレームを送信していた。
しかし、IFS14では、障害通知フレーム生成部70により生成された障害通知フレームは、検知フレームの受信を確認することができなくなったポート58のみから送信される。したがって、検知フレームを受信しているポート58から障害通知フレームは送信されない。
【0059】
FS16から検知フレームを受信しているポート58では、障害が発生した後も検知フレームを送信する。
なお、FS16a〜16hに対して通信状態に障害が発生したことを通知する方法として、障害判定部68は、障害通知フレーム生成部70に対して障害通知フレームを生成させるのではなく、検知フレームの受信を確認できなくなったポート58からの検知フレームの送信を停止させる方法もある。このような障害判定部68の動作例についてはさらに後述する。
【0060】
本実施形態では、発生した通信障害によりネットワークフレームが破棄されることを回避するため、LAG設定部64は、LAG設定テーブル62bを更新する。具体的には、いずれかのポート58a〜58hにて接続先のFS16a〜16hから障害通知フレームを受信した場合、LAG設定部64は、送信元のFS16a〜16hを示す識別情報と、これに対応するポート58a〜58hをLAG設定テーブル62bから除外(削除)する。換言すれば、LAG設定部64は、障害通知フレームを受信したポート58をLAG18のメンバーから除外する。
【0061】
そして、LAG設定部64により更新されたLAG設定テーブル62bが新たにメモリ部62に記憶(上書き)される。
またフレーム転送処理部60は、更新されたLAG設定テーブル62bを参照して、ネットワークフレームを接続先のFS16a〜16hへ向けて送信する。
したがって、通信障害の発生前に上記のポート58(障害通知フレームを受信したポート58)で送受信されていたネットワークフレームは、所定のアルゴリズムに基づいて新たに決定された他のポート58を介して送受信されるようになり、フレームの破棄は回避される。これは、LAG18の縮退による障害回避の一例である。
【0062】
以下、ネットワーク中継システム10による動作例について、複数のパターンに分けて説明する。
【0063】
〔基本動作例〕
図4は、ネットワーク中継システム10の基本動作例を説明するための図である。なお、図4以降では煩雑化を防止するため、IFS14a〜14x及びFS16a〜16hの一部について図示を適宜省略している。一方、動作例についての理解を容易にするため、説明に関係するポート46a〜46x及びポート58a〜58hについて図示を追加している。
【0064】
ネットワーク中継システム10の通信状態が良好である場合、各IFS14a〜14x及び各FS16a〜16hは、相互に検知フレーム72,74を所定時間ごとに送受信している。具体的には、各IFS14a〜14xからは、各FS16a〜16hに向けて検知フレーム72が送信されており、各FS16a〜16hからも、各IFS14a〜14xに向けて検知フレーム74が送信されている。なお、図4中に実線及び点線で表す矢印は、それぞれ検知フレーム72,74の送信方向を示している。また、ここでは煩雑化を防止するため、一部の送受信経路についてのみ検知フレーム72,74を図示している(以降の図でも同様)。
【0065】
上記のようにネットワーク中継システム10は、各IFS14a〜14x及び各FS16a〜16hが検知フレーム72,74を相互に送受信することで、互いのポート58a〜58hとポート46a〜46xの間(物理回線を含む)の通信状態を監視している。
特に本実施形態においては、各IFS14a〜14xのポート58a〜58hにLAG18a〜18xが設定されているが、その内の全てのポート58a〜58hから各物理回線を通じて検知フレーム74が送信されている。
したがって各IFS14a〜14x及び各FS16a〜16hは、所定時間内に検知フレーム74,72(符号は対応順、以下でも同じ)を受信することで、互いの通信状態が正常であることを確認することができる。
【0066】
これに対し、いずれかのIFS14a〜14x又はFS16a〜16hで所定時間内に検知フレーム74,72の受信を確認できなかった場合、当該IFS14a〜14x又はFS16a〜16hにおいて、受信を確認できなかった検知フレーム74,72の送信元との通信状態に障害が発生したと判定することができる。このような判定は、図2に示される障害判定部54又は図3に示される障害判定部68により行われる。
なお、以下の説明において、「障害が発生したと判定」することを「障害検知」ともいう。
【0067】
〔障害検知時の動作例1〕
図5及び図6は、ネットワーク中継システム10による障害検知時の動作例1を説明するための図である。ここでは一例として、IFS14aとFS16aとの間の通信状態に障害が発生した場合について説明する。
【0068】
図5中(A)に示されているように、IFS14aからFS16aへの通信状態に障害(物理回線の片断線等)が発生すると、IFS14aから送信された検知フレーム74が所定時間内にFS16aへ到達しなくなる。このときFS16aは、図2に示す障害判定部54により、IFS14aとの間の通信状態に障害が発生したと判定する。
【0069】
図5中(B)に示されているように、障害を検知したFS16aは、各ポート46a〜46xから障害通知フレーム76を各IFS14a〜14xに送信する。なお図5中(B)に示される破線の矢印は、障害通知フレーム76の送信方向を示している。
障害通知フレーム76は、図2に示す障害通知フレーム生成部56において生成される。このとき障害通知フレーム76には、通信障害が発生したことを示す情報やFS16aを識別する識別情報が含まれる他、送信時の各ポート46a〜46xの識別情報が含まれている。
【0070】
〔障害通知フレーム受信時〕
図6に示されているように、各IFS14a〜14xがFS16aから障害通知フレーム76を受信すると、これを受信したポート46aをそれぞれのLAG18a〜18xのメンバーから除外する。
【0071】
具体的には、各IFS14a〜14xのLAG設定部64は、ポート46aをメンバーから除外した状態でリンクアグリゲーショングループを再設定する。換言すれば、各IFS14a〜14xのLAG設定部64は、各LAG18a〜18xを再グループ化する。なお図6には、各LAG18a〜18x内に全ての物理回線が示されていないが、メンバーから除外されていないポート58b〜58hは各LAG18a〜18xに所属している。また図6中、物理回線に沿う矢印は、検知フレーム72,74のみならず、ネットワークフレームの送信方向を示している。
【0072】
したがって、障害発生前にポート46aから送信されていたネットワークフレームは、LAG18a〜18xを構成する他のポート46b〜46hの中から所定のアルゴリズムに基づいて新たに決定されたポート(例えばポート46b)から送信されることになる。これにより、一次的に各LAG18a〜18xの通信帯域は減少するが、引き続き通信は可能であり、フレームの破棄を回避することができる。
【0073】
〔動作例1の実現手法〕
図7は、図5に示す障害通知の実現手法を示すフローチャートである。また図8は、図6に示すリンクアグリゲーショングループの再設定の実現手法を示すフローチャートである。
【0074】
〔障害通知処理〕
先ず、動作例1のFS16による障害通知の実現手法について説明する。
図7に示される障害通知処理において、FS16の障害判定部54は、各ポート46a〜46xで検知フレーム74を受信したか否かを確認する(ステップS100)。検知フレーム74の受信を確認した場合(Yes)、この処理を繰り返す。
【0075】
いずれかのポート46a〜46xで検知フレーム74の受信を確認できなかった場合(ステップS100:No)、FS16の障害判定部54は、所定時間が経過したか否かを確認する(ステップS102)。所定時間内に検知フレーム74の受信を確認した場合(ステップS102:No)、ステップS100〜S102を繰り返す。
【0076】
検知フレーム74の受信を確認できない状態(ステップS100:No)で、所定時間が経過した場合(ステップS102:Yes)、FS16の障害通知フレーム生成部56は障害通知フレーム76を生成する。そしてFS16は、IFS14a〜14xに接続された全てのポート46a〜46xから障害通知フレーム76を送信(フラッディング)すると(ステップS104)、この処理を終了(END)する。
【0077】
〔LAG再設定処理〕
次に、動作例1のIFS14aによるリンクアグリゲーショングループ再設定の実現手法について説明する。
【0078】
図8に示されるLAG再設定処理において、IFS14aの障害判定部68は、各FS16a〜16hに接続されたポート58a〜58hで障害通知フレーム76を受信したか否かを確認する(ステップS200)。特に障害通知フレーム76を受信していなければ(No)、ここで処理は一旦終了となる。
【0079】
障害通知フレーム76を受信したことが確認された場合(ステップS200:Yes)、LAG設定部64は、障害通知フレーム76を受信したポート(ここではポート58a)をLAG18aのメンバーから除外し、再グループ化を行って(ステップS202)、処理を終了する。なお、ここではステップS200で定常的に障害通知フレーム76を監視しているが、特にこのようなステップS200を置くことなく、障害通知フレーム76の受信をトリガとしてステップS202以降の処理をシーケンス的に実行することとしてもよい。
【0080】
図9は、動作例1で通信障害が発生する前後における各IFS14a〜14xのLAG設定テーブル62bを示す図である。
【0081】
〔障害発生前〕
図9中(A)の「LAG所属ポート欄」に示すように、障害発生前において、IFS14aのLAG設定テーブル62bには、ポート58a〜58hの全てがLAG所属ポート(メンバー)に設定されている。また、「LAG ID欄」に示すように、全てのポート58a〜58hは、共通のLAG18aに所属している。なお本実施形態では、各IFS14a〜14xにはLAGが1つ設定されているが、複数のLAGが設定されていてもよい。
【0082】
〔障害発生後〕
IFS14aでFS16aから障害通知フレーム76をポート46aで受信した場合、図9中(B)に示すように、このポート46aをLAG18aの所属メンバーから除外して再グループ化(更新)が行われる。その結果、「LAG所属ポート欄」には、ポート46aを除いたポート46b〜46hが更新後の所属メンバーとして再設定される。
【0083】
〔動作例1のまとめ〕
以上のように動作例1によれば、障害の発生を検知したFS16はIFS14に対して障害通知フレームを送信し、IFS14は障害通知フレームを受信したポートをLAGから除外するという動作を行うため、障害が発生している通信経路に接続しているFS16は、使用される通信経路から外される。すなわち、動作例1では、通信障害が発生すると、障害が発生した区間を経由するネットワークフレームの通信経路は別の通信経路へ切り替えられる。これにより、異なるIFS14a〜14xに接続された複数の端末機器12間での通信の信頼性を向上させることができる。
【0084】
また、障害発生時に各LAG18a〜18xの構成は一時的に縮退するものの、再グループ化後のLAG18a〜18x内で上記のアルゴリズムを適用することにより、引き続き端末機器12間で送受信されるネットワークフレームの中継を続行することができる。
なお、この後に物理回線やポートの復旧作業が行われると、LAG18a〜18xの設定を初期状態に復旧させることで、全ての帯域を活用して効率的にネットワークフレームの中継を再開することができる。
【0085】
以上の動作例1は、IFS14からFS16の方向への障害発生時に関するものであった。これに対し、FS16からIFS14の方向への障害発生時は、以下の動作例2,3となる。
【0086】
〔障害検知時の動作例2〕
図10及び図11は、ネットワーク中継システム10による障害検知時の動作例2を説明するための図である。ここでも一例として、IFS14aとFS16aとの間の通信状態に障害が発生した場合について説明するが、上記のように障害の発生した通信の方向が異なっている。
【0087】
図10中(A)に示されているように、FS16aからIFS14aへの通信状態に障害が発生すると、FS16aから送信された検知フレーム72が所定時間内にIFS14aへ到達しなくなる。このときIFS14aは、図3に示す障害判定部64により、FS16aとの間の通信状態に障害が発生したと判定する。
【0088】
そして、図10中(B)に示されているように、障害を検知したIFS14aは、図3に示す障害通知フレーム生成部70において障害通知フレーム78を生成し、これをポート46aからFS16aに向けて送信する。
【0089】
図11中(A)に示されているように、障害通知フレーム78を受信したFS16aは、全てのポート58a〜58hから障害通知フレーム76をIFS14a〜14xに送信する。なお障害通知フレーム76は、FS16aの障害通知フレーム生成部56で生成される。
【0090】
なお、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しない。このためIFS14aのLAG設定部64は、FS16aとの接続をなすポート58aを除外してLAG18aを再設定する。図11中(B)には、LAG18aが再設定された状態で示されている。
【0091】
そして、図11中(B)に示されているように、IFS14a以外の各IFS14b〜14xがFS16aから障害通知フレーム76を受信すると、これを受信したポート46aをそれぞれのLAG18a〜18xのメンバーから除外する。すなわち、各IFS14b〜14xのLAG設定部64は、ポート46aをメンバーから除外した状態で、各LAG18a〜18xを再グループ化する。
【0092】
〔動作例2の実現手法〕
図12は、図10に示す障害通知の実現手法を示すフローチャートである。また図13は、図11に示す障害通知の実現手法を示すフローチャートである。
【0093】
〔障害通知処理(1)〕
図12に示される障害通知処理(1)において、IFS14の障害判定部68は、各ポート58a〜58hで検知フレーム72を受信したか否かを確認する(ステップS300)。検知フレーム72の受信を確認した場合(Yes)、障害判定部68はこの処理を繰り返す。
【0094】
いずれか又は全てのポート58a〜58hで検知フレーム72の受信を確認できなかった場合(ステップS300:No)、IFS14の障害判定部68は、所定時間が経過したか否かを確認する(ステップS302)。所定時間内に検知フレーム72の受信を確認した場合(ステップS302:No)、ステップS300〜S302を繰り返す。
【0095】
検知フレーム72の受信を確認できない状態(ステップS300:No)で、所定時間が経過した場合(ステップS302:Yes)、IFS14の障害通知フレーム生成部70は障害通知フレーム78を生成する。そしてIFS14は、検知フレーム72の受信を確認できなかったFS16aに対し、ポート58aから障害通知フレーム78を送信する(ステップS304)。
【0096】
そして、IFS14aのLAG設定部64は、所定時間内に検知フレーム72の受信を確認できなかったポート(ここではポート58a)をメンバーから除外し、LAG18aの再グループ化(更新)を行って(ステップS306)、処理を終了する。
【0097】
〔障害通知処理(2)〕
次に、図13に示される障害通知処理(2)において、FS16の障害判定部54は、各ポート46a〜46xにおいて障害通知フレーム78を受信したか否かを確認する(ステップS400)。
【0098】
障害通知フレーム78を受信すると(ステップS400:Yes)、FS16の障害通知フレーム生成部56において障害通知フレーム76を生成する。そして、これをIFS14a〜14xに接続された全てのポート46a〜46xから送信し(ステップS402)、この処理を終了(END)する。
【0099】
なお、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しないが、上記のようにIFS14aはポート58aを除外してLAG18aを再設定しているため、他のFS16b〜16hと引き続き通信は可能である。
【0100】
また、FS16aから送信された障害通知フレーム76を他のIFS14b〜14xで受信した場合、各IFS14b〜14xは、図8に示すLAG再設定処理を実行してポート46aをそれぞれのLAG18b〜18xから除外して再設定(再グループ化)を行う。
【0101】
〔動作例2のまとめ〕
以上のように動作例2では、各IFS14a〜14xで障害を検知した場合、受信を確認できなかった検知フレーム72の送信元であるFS16a〜16hに対して障害通知フレーム78を送信することで、FS16a〜16hから障害通知フレーム76を送信させることができる。
また、動作例1と同様に、LAG18a〜18xの縮退後も引き続きネットワークフレームの中継が可能である。
【0102】
〔障害検知時の動作例3〕
図14及び図15は、ネットワーク中継システム10による障害検知時の動作例3を説明するための図である。ここでも動作例2と同様に、FS16aからIFS14aへの通信状態に障害が発生した場合について説明する。
【0103】
図14中(A)に示されているように、FS16aからIFS14aの方向への通信に障害が発生すると、FS16aから送信された検知フレーム72は、所定時間内にIFS14aへ到達しない。このときIFS14aは、障害判定部68において、FS16aとの間の通信状態に障害が発生したと判定する。
【0104】
この場合、図14中(B)に示されているように、IFS14aはFS16aに対する検知フレーム74の送信を停止する。また、このときIFS14aは、FS16aに接続されたポート46aをLAG18aのメンバーから除外して再設定(再グループ化)を行う。
【0105】
また図14中(B)に示されているように、検知フレーム74の送信が停止されたため、FS16aでは、IFS14aに接続されたポート46aにおいて、所定時間内に検知フレーム74を受信することができなくなる。したがってFS16aの障害判定部54は、IFS14aとの間の通信状態に障害が発生したと判定する。
【0106】
そして図15中(A)に示されているように、FS16aは、これまでの動作例1及び動作例2と同様に、障害通知フレーム生成部56において障害通知フレーム76を生成し、これをIFS14a〜14xに接続された全てのポート46a〜46xから送信する。
【0107】
ここでも同様に、FS16aとの間で障害が発生しているIFS14aについては、FS16aからの障害通知フレーム76が到達しないが、上記のようにIFS14aはポート58aを除外してLAG18aを再設定しているため、他のFS16b〜16hと引き続き通信は可能である。
【0108】
また図15中(B)に示されているように、他のIFS14b〜14xは、FS16aから送信された障害通知フレームを受信すると、これを受信したポート46aを除外した状態でそれぞれのLAG18b〜18xを再設定する。
【0109】
以上のように、障害を検知したIFS14aでLAG18aの再設定が行われ、合わせて他のIFS14b〜14xでLAG18b〜18xの再設定が行われると、各IFS14a〜14xは、障害発生前にポート46aから転送していたネットワークフレームに対して、新たに転送するべきポートを決定する。したがって、上記のネットワークフレームを新たに転送するべきポートは、各IFS14a〜14xにおいてLAG18a〜18xに所属する他のポート46b〜46hの中から所定のアルゴリズムに基づいて決定される。
【0110】
〔動作例3の実現手法〕
図16は、図14に示す障害通知の実現手法を示すフローチャートである。
【0111】
〔障害通知処理〕
IFS14の障害判定部68は、各ポート58a〜58hで検知フレーム72を受信したか否かを確認する(ステップS500)。検知フレーム72の受信を確認した場合(Yes)、障害判定部68はこの処理を繰り返す。
【0112】
いずれかのポート58a〜58hで検知フレーム72の受信を確認できなかった場合(ステップS500:No)、IFS14の障害判定部68は、所定時間が経過したか否かを確認する(ステップS502)。所定時間内に検知フレーム72の受信を確認した場合(ステップS502:No)、ステップS500〜S502を繰り返す。
【0113】
検知フレーム72の受信を確認できない状態(ステップS500:No)で、所定時間が経過した場合(ステップS502:Yes)、IFS14のLAG設定部64は、検知フレーム72の受信を確認できなかったポート(ここではポート46)をメンバーから除外し、LAG18a〜18xを再設定する(ステップS504)。
【0114】
そして、IFS14の検知フレーム生成部66は、検知フレーム72の受信を確認できなかったポートからの検知フレーム74の送信を停止する(ステップS506)。具体的には、LAG18aから除外されたポート58aから送信される検知フレーム72の生成を中止し、このポート58aからの検知フレームの送信を停止して処理を終了(END)する。
【0115】
この後、検知フレーム72の送信を停止されたFS16aは、図7に示す障害通知処理に基づき、障害通知フレーム76を全てのポート46a〜46xから送信する。また、IFS14a以外のIFS14b〜14xは、FS16aから送信された障害通知フレーム76を受信すると、図8に示すLAG再設定処理に基づいて、これを受信したポートをメンバーから除外し、LAG18b〜18xの再設定(再グループ化)を行う。
【0116】
〔動作例3のまとめ〕
以上のように動作例3では、各IFS14a〜14xで障害を検知した場合、受信を確認できなかった検知フレーム72の送信元であるFS16a〜16hに対する検知フレーム74の送信を停止することで、相手先のFS16a〜16hで障害を検知させ、それによってFS16a〜16hから障害通知フレーム76を送信させることができる。
また、動作例1と同様に、LAG18a〜18xの縮退後も引き続きネットワークフレームの中継が可能である。
【0117】
以上のように、本実施形態のネットワーク中継システム10によれば、各IFS14a〜14xと各FS16a〜16hとの間の通信状態を常時監視し、通信経路上に障害が発生した場合には、当該障害を検知する。そして、障害を検知すると、障害が発生した通信経路を経由するネットワークフレームを別の通信経路へ切り替えて転送することができるため、通信の信頼性向上に寄与することができる。
【0118】
変形例として、FS16は、IFS14と接続されるポート46のリンク状態を監視し、ポート46のリンク状態がリンクダウンになったことを契機として、IFS14に対して障害通知フレームを送信するようにしてもよい。
【符号の説明】
【0119】
10 ネットワーク中継システム
12 端末機器
14(14a〜14x) IFS(インターフェース中継器)
16(16a〜16h) FS(ファブリック中継器)
46(46a〜46x) ポート
48 フレーム転送処理部
52,66 検知フレーム生成部
54,68 障害判定部
56,70 障害通知フレーム生成部
64 LAG設定部
58(58a〜58h) ポート
【特許請求の範囲】
【請求項1】
複数のインターフェース中継器と、
複数の前記インターフェース中継器と接続される複数のファブリック中継器と、
を備え、
前記インターフェース中継器は、
前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定するLAG設定手段を有し、
前記ファブリック中継器は、
前記インターフェース中継器に対して第1の障害通知フレームを送信する障害通知フレーム送信手段を有し、
前記インターフェース中継器の前記LAG設定手段は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システム。
【請求項2】
請求項1に記載のネットワーク中継システムにおいて、
前記インターフェース中継器は、
前記ファブリック中継器に対して第1の検知フレームを送信する第1の検知フレーム送信手段を有し、
前記ファブリック中継器は、
前記インターフェース中継器に対して第2の検知フレームを送信する第2の検知フレーム送信手段を有し、
前記インターフェース中継器は、
前記第2の検知フレームの受信を確認できなかった場合、障害が発生したと判定する第1の障害判定手段と、前記第1の障害判定手段が障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートに接続されている前記ファブリック中継器に対して障害が発生したことを通知する障害通知手段を有し、
前記ファブリック中継器は、
前記第1の検知フレームの受信を確認できなかった場合、又は、前記インターフェース中継器から障害が発生したことを通知された場合、障害が発生したと判定する第2の障害判定手段を有し、
前記ファブリック中継器の前記障害通知フレーム送信手段は、前記第2の障害判定手段が障害が発生したと判定した場合、前記第1の障害通知フレームを送信する、
ネットワーク中継システム。
【請求項3】
請求項2に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記障害通知手段は、前記第2の検知フレームの受信を確認できなかったポートから第2の障害通知フレームを送信することにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システム。
【請求項4】
請求項2に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記障害通知手段は、前記第2の検知フレームの受信を確認できなかったポートからの前記第1の検知フレームの送信を停止させることにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システム。
【請求項5】
請求項2乃至4の何れか一項に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記LAG設定手段は、前記第1の障害判定手段が障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システム。
【請求項6】
複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備えるネットワーク中継システムの制御方法であって、
前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定しており、
前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信し、
前記インターフェース中継器は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システムの制御方法。
【請求項7】
請求項6に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記ファブリック中継器に対して第1の検知フレームを送信し、
前記ファブリック中継器は、前記インターフェース中継器に対して第2の検知フレームを送信し、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかった場合、障害が発生したと判定し、前記第2の検知フレームの受信を確認できなかったポートに接続されている前記ファブリック中継器に対して障害が発生したことを通知し、
前記ファブリック中継器は、前記第1の検知フレームの受信を確認できなかった場合、又は、前記インターフェース中継器から障害が発生したことを通知された場合、障害が発生したと判定し、前記第1の障害通知フレームを送信する、
ネットワーク中継システムの制御方法。
【請求項8】
請求項7に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかったポートから第2の障害通知フレームを送信することにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システムの制御方法。
【請求項9】
請求項7に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかったポートからの前記第1の検知フレームの送信を停止させることにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システムの制御方法。
【請求項10】
請求項7乃至9の何れか一項に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システムの制御方法。
【請求項1】
複数のインターフェース中継器と、
複数の前記インターフェース中継器と接続される複数のファブリック中継器と、
を備え、
前記インターフェース中継器は、
前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定するLAG設定手段を有し、
前記ファブリック中継器は、
前記インターフェース中継器に対して第1の障害通知フレームを送信する障害通知フレーム送信手段を有し、
前記インターフェース中継器の前記LAG設定手段は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システム。
【請求項2】
請求項1に記載のネットワーク中継システムにおいて、
前記インターフェース中継器は、
前記ファブリック中継器に対して第1の検知フレームを送信する第1の検知フレーム送信手段を有し、
前記ファブリック中継器は、
前記インターフェース中継器に対して第2の検知フレームを送信する第2の検知フレーム送信手段を有し、
前記インターフェース中継器は、
前記第2の検知フレームの受信を確認できなかった場合、障害が発生したと判定する第1の障害判定手段と、前記第1の障害判定手段が障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートに接続されている前記ファブリック中継器に対して障害が発生したことを通知する障害通知手段を有し、
前記ファブリック中継器は、
前記第1の検知フレームの受信を確認できなかった場合、又は、前記インターフェース中継器から障害が発生したことを通知された場合、障害が発生したと判定する第2の障害判定手段を有し、
前記ファブリック中継器の前記障害通知フレーム送信手段は、前記第2の障害判定手段が障害が発生したと判定した場合、前記第1の障害通知フレームを送信する、
ネットワーク中継システム。
【請求項3】
請求項2に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記障害通知手段は、前記第2の検知フレームの受信を確認できなかったポートから第2の障害通知フレームを送信することにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システム。
【請求項4】
請求項2に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記障害通知手段は、前記第2の検知フレームの受信を確認できなかったポートからの前記第1の検知フレームの送信を停止させることにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システム。
【請求項5】
請求項2乃至4の何れか一項に記載のネットワーク中継システムにおいて、
前記インターフェース中継器の前記LAG設定手段は、前記第1の障害判定手段が障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システム。
【請求項6】
複数のインターフェース中継器と、複数の前記インターフェース中継器と接続される複数のファブリック中継器と、を備えるネットワーク中継システムの制御方法であって、
前記インターフェース中継器は、前記ファブリック中継器と接続するポートにリンクアグリゲーショングループを設定しており、
前記ファブリック中継器は、前記インターフェース中継器に対して第1の障害通知フレームを送信し、
前記インターフェース中継器は、前記第1の障害通知フレームを受信した場合、前記第1の障害通知フレームを受信したポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システムの制御方法。
【請求項7】
請求項6に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記ファブリック中継器に対して第1の検知フレームを送信し、
前記ファブリック中継器は、前記インターフェース中継器に対して第2の検知フレームを送信し、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかった場合、障害が発生したと判定し、前記第2の検知フレームの受信を確認できなかったポートに接続されている前記ファブリック中継器に対して障害が発生したことを通知し、
前記ファブリック中継器は、前記第1の検知フレームの受信を確認できなかった場合、又は、前記インターフェース中継器から障害が発生したことを通知された場合、障害が発生したと判定し、前記第1の障害通知フレームを送信する、
ネットワーク中継システムの制御方法。
【請求項8】
請求項7に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかったポートから第2の障害通知フレームを送信することにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システムの制御方法。
【請求項9】
請求項7に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、前記第2の検知フレームの受信を確認できなかったポートからの前記第1の検知フレームの送信を停止させることにより、前記ファブリック中継器に対して障害が発生したことを通知する、
ネットワーク中継システムの制御方法。
【請求項10】
請求項7乃至9の何れか一項に記載のネットワーク中継システムの制御方法において、
前記インターフェース中継器は、障害が発生したと判定した場合、前記第2の検知フレームの受信を確認できなかったポートを前記リンクアグリゲーショングループから除外する、
ネットワーク中継システムの制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−70306(P2013−70306A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−208545(P2011−208545)
【出願日】平成23年9月26日(2011.9.26)
【出願人】(000005120)日立電線株式会社 (3,358)
【Fターム(参考)】
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願日】平成23年9月26日(2011.9.26)
【出願人】(000005120)日立電線株式会社 (3,358)
【Fターム(参考)】
[ Back to top ]