La mia mattina a 250Mbps...

Diario di una giornata meno comune del solito in Datacenter...

Gia' ieri mercoledi' abbiamo avuto delle ravvisaglie... alle 14.25 il default gateway in datacenter ha avuto un "cedimento". Ha sofferto, la CPU al 100% gli ha reso le cose difficili... 'porello, lo devo decommissionare la prima settimana di Gennaio. Non che non sia abituato, ogni settimana riceve delle ondate di flooding UDP che si smazza con relativa tranquillita', ma un'onda anomala di 400Mbps l'ha sentita.

Cosicche' quel piccolo down durato si e no 8 minuti pensavo fosse il solito "burst" di connettivita' che normalmente capita... un po' piu' lungo del solito, ma che diavolo. E' Internet no?

Alle 8.25 di stamattina la bella sorpresa. Gia' avevo la febbre, mando un'email in ufficio e noto che il BES si rifiuta di cooperare. Che sia empatico? (Non sarebbe la prima volta). Guardo Nagios e non vedo niente... ma proprio niente! Datacenter irraggiungibile. Dopo pochi minuti scopro "allegramente" che la porta sul Catalyst ha un bel 800Mbps di traffico in ingresso!

Prendi, vai (anzi corri) in server farm col traffico di Milano delle 9 di mattina (senza sirene e diritto di accesso alle corsie preferenziali) e nel mentre tenta di mediare col tecnico reperibile in datacenter al problema. Niente. Il flood non si arresta.

Arrivi in datacenter, ti fiondi nel rack stacchi tutto per capire quale segmento di rete risulta essere bersagliato ma arriva talmente tanto traffico in ingresso che il firewall continua ad avere la CPU al 99% e non demorde nemmeno un attimo. Anche con il IPS disattivato.

Anche togliendo il carico dietro al firewall arrivava talmente tanto traffico da riempire 250Mbps di banda con i soli SYN provenienti dal DDoS!! Pacchetti enormi con finestre nelle opzioni IP che portavano un'ondata di devastazione su tutto il peering.

Alla fine l'unica alternativa, una macchina Linux (il mio portatile) configurato a mo' di honeypot, collegato in uplink verso il carrier e tcpdump. Traffico in ingresso su porta pop3 di un singolo IP (ringraziando il cielo!!). E qui un caro ringraziamento ai ragazi nel NOC del carrier in questione che hanno aiutato facendo l'unica cosa che poteva essere fatta. Blocco del traffico in ingresso dall'internazionale verso quel singolo IP. Ore 11.20 circa.

La cosa impressionante di tutta questa avventura e' che i DDoS di questo genere vengono scatenati davvero in modo troppo semplice. Girando in Twitter oggi e' passato un cinguettio che recitava:

"We may have just accidentally DDOS'd http://organizingforpower.org .... Sorry!"

E domani sono previste altre attivita' del genere?

/sigh

P.S.

Questa e' la situazione che ci ha indicato il carrier.....