障害発生時の確認方法

動作確認バージョン:Brocade 5600vRouter Version4.2R1S1
ここでは、Brocade 5600vRouter について障害発生時のログやコマンド確認方法について紹介します。
本手順ではSNMPTrap確認が含まれております。SNMP設定は、お客様にて事前に実施頂く必要がございます。

VRRP障害

ノードが再起動したり、VRRP動作のファイアウォール間のキープアライブパケットなどが途絶えてしまった場合VRRPの切り替わりが発生します。
  • VRRPが起動していない(設定されていない)状態のログ
user-admin@FW01:~$ show vrrp
VRRP isn't running
  • VRRPをDisableで停止させた状態のログ
user-admin@FW01:~$ show vrrp detail
--------------------------------------------------
user-admin@FW01:~$
user-admin@FW01:~$
  • BACKUPからMASTERに状態遷移したときの表示(27秒前に遷移したことがわかります。)
user-admin@FW02:~$ show vrrp detail
--------------------------------------------------
Interface: dp0s4
--------------
  Group: 10
  ----------
  State:                        MASTER
  Last transition:              27s

  Version:                      2
  RFC Compliant
  Virtual MAC interface:        dp0vrrp1
  Address Owner:                no

  Source Address:               172.16.1.32
  Configured Priority:          150
  Effective Priority:           150
  Advertisement interval:       20 sec
  Authentication type:          none
  Preempt:                      enabled

  VIP count:                    1
    172.16.1.33/32

user-admin@FW02:~$
  • Syslog確認 :~$ show log vrrp
VRRP関連のSyslogを確認するために利用します。
以下は、2号機側(BACKUP)がVRRPのMASTERに状態遷移する際に出力されたSyslogです。

注釈

  • ここで設定されているSyslogレベルはINFOになります。
  • INFOレベルのSyslogは多くの情報を出力・蓄積することになりますので、ご利用の際にはご注意願います。
  • Syslogレベルの指定方法は`Syslog機能を使ったログ管理設定<https://ecl.ntt.com/documents/tutorials/rsts/Firewall/fwoperation/syslog.html>`を参照ください。
2017-03-27T16:02:49.307939+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Transition to MASTER STATE
2017-03-27T16:02:49.308276+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Entering MASTER STATE
2017-03-27T16:02:49.308452+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) setting protocol VIPs.
2017-03-27T16:02:49.308652+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Sending gratuitous ARPs on dp0vrrp1 for 172.16.1.33
2017-03-27T16:02:49.308821+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10): Sending SNMP notification
2017-03-27T16:02:49.308992+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10): Sending SNMP notification vrrpTrapNewMaster
2017-03-27T16:02:54.308316+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Sending gratuitous ARPs on dp0vrrp1 for 172.16.1.33
以下は、MASTERだった1号機が復旧し、preempt機能によって2号機がBACKUPに状態遷移した際に出力されるSyslogです。
2017-03-27T16:04:01.230464+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Received higher prio advert
2017-03-27T16:04:01.231042+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) Entering BACKUP STATE
2017-03-27T16:04:01.231244+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10) removing protocol VIPs.
2017-03-27T16:04:01.271228+00:00 FW03 Keepalived_vrrp[3359]: VRRP_Instance(vyatta-dp0s4-10): Sending SNMP notification
2017-03-27T16:04:01.271418+00:00 FW03 Keepalived_vrrp[3359]: Netlink reflector reports IP fe80::200:5eff:fe00:10a removed

IPsec 障害

IPsec Site-to-Site設定

  • vtiインタフェースがダウン時のログ
user-admin@FW03:~$ show vpn ipsec sa
Peer ID / IP                            Local ID / IP
------------                            -------------
153.xxx.xx.182                          153.xxx.xxx.227

    Tunnel  State  Bytes Out/In     Encrypt       Hash    A-Time  L-Time  Proto
    ------  -----  -------------  ------------  --------  ------  ------  -----
    vti     down   0.0/0.0        n/a           n/a       0       n/a     all

Peer ID / IP                            Local ID / IP
------------                            -------------
153.xxx.xx.226                          153.xxx.xxx.227

    Tunnel  State  Bytes Out/In     Encrypt       Hash    A-Time  L-Time  Proto
    ------  -----  -------------  ------------  --------  ------  ------  -----
    vti     up     0.0/0.0        aes256        sha1      263     3600    all
  • IPsec vtiインタフェースはAdminDownとして表示されます。
user-admin@FW03:~$ show interfaces

Codes: S - State, L - Link, u - Up, D - Down, A - Admin Down
Interface        IP Address                        S/L  Description
---------        ----------                        ---  -----------
dp0s3            100.xx.xx.60/20                   u/u
dp0s4            -                                 A/D
dp0s5            -                                 A/D
dp0s6            153.xxx.xxx.227/29                u/u
dp0s7            192.168.1.12/28                   u/u
vti0             10.1.1.2/30                       A/D
vti1             10.2.1.2/30                       u/u
user-admin@FW03:~$
  • SNMP Trap確認
IPsec接続している対向ファイアウォールがダウンした際に、SNMP Trapが送出されます。
OID:1.3.6.1.6.3.1.1.5.3 -> LinkDown
OID:1.3.6.1.2.1.2.2.1.1 -> ifIndex
以下のSNMP Trapから ifIndex=14がLinkDownしたことが確認できます。
fwope_ipsec_vtidown_fig1
ifIndexの値は以下のコマンドで確認が可能です。 vti0インタフェースは、14であることからSNMP Trapで vti0インタフェースがダウンしたことが確認できます。
user-admin@FW30:~$ show interfaces system enabled
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0
    RX: bytes  packets  errors  dropped overrun mcast
    354160     5394     0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    354160     5394     0       0       0       0
    link/ether fa:16:3e:a1:7c:9e brd ff:ff:ff:ff:ff:ff promiscuity 0
    tun
    RX: bytes  packets  errors  dropped overrun mcast
    218221     2241     0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    215034     1250     0       0       0       0
9: dp0s4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DORMANT group default qlen 1000
    link/ether fa:16:3e:48:38:4d brd ff:ff:ff:ff:ff:ff promiscuity 0
    tun
    RX: bytes  packets  errors  dropped overrun mcast
    85324      896      0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    37992      334      0       0       0       0
12: dp0s7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DORMANT group default qlen 1000
    link/ether fa:16:3e:88:4b:d5 brd ff:ff:ff:ff:ff:ff promiscuity 0
    tun
    RX: bytes  packets  errors  dropped overrun mcast
    376482     3693     0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    371776     2402     0       0       0       0
14: vti0@NONE: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1428 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1
    link/ipip 172.16.110.30 peer 172.16.210.40 promiscuity 0
    vti remote 172.16.210.40 local 172.16.110.30 ikey 144.0.0.1 okey 144.0.0.1
    RX: bytes  packets  errors  dropped overrun mcast
    1176       12       0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
user-admin@FW30:~$

インスタンス再起動

  • Syslog確認     :~$ show log all
カスタマポータルから再起動を実行した際に以下のSyslogメッセージが出力されます。
2017-03-27T16:01:41.396055+00:00 FW01 systemd-logind[1661]: Power key pressed.
2017-03-27T16:01:41.396562+00:00 FW01 systemd-logind[1661]: Powering Off...
2017-03-27T16:01:41.396762+00:00 FW01 systemd-logind[1661]: System is powering down.
  • SNMP Trap確認
再起動によるファイアウォールのShutdown時は、以下のOIDのSNMP Trapが送出されます。

 OID:1.3.6.1.4.1.8072.4.0.2 -> nsNotifyShutdown

fwope_shutdown_Fig1