9 de junio de 2010

Physical Broadcast Traffic Attack

Introducción
En esta entrada voy a explicar una incidencia que tuvimos ayer y que provoco una caída en toda regla de la infraestructura de red de la empresa, cuando digo de la empresa, no es de una sede, sino de más de una, en este caso de 3 de 4 que tenemos.

No voy a explicar, nada innovador, aunque el nombre pueda hacer pensar en eso, pero si algo muy estúpido que dejo durante casi un ahora la infraestructura de red y la telefonía fuera de servicio y media hora más funcionando a medias tintas, provocando, como es de suponer, ciertas perdidas económicas en la empresa y horas de trabajo de más sin remunerara de ciertos empleados para recuperar ese tiempo de improductividad.

Arquitectura de interconexión entre sedes
La empresa tiene la siguiente arquitectura de red de interconexión entre sedes:
  • 4 sedes intercomunicadas entre ellas a través un backbone ofrecido por un ISP.
  • 3 de las sedes están interconectadas en un topología en estrella a través de un canal de fibra óptica. Madrid como nodo central y Barcelona y Bilbao como nodos periféricos.
  • Los canales de fibra se interpretan como una conexión directa, es decir que el ISP solo enlaza el tráfico de un extremo al otro, corriendo de parte de la empresa la manera como gestionar el trafico por dicho canal.
  • Las sedes también se encuentra interconectadas por una infraestructura paralela, proporcionada por un router DSL en cada sede; en este caso la infraestructura de red del ISP es quien enruta a el trafico a la sede correspondiente.
  • La cuarta sede que no está conectada con el canal de fibra óptica, Málaga, solo está enlazada a través del router DSL con el resto de las sedes.
  • Distinto rango de red local en cada una de las 4 sedes.
Os dejo un esquema para su mejor compresión.

Esquema de la arquitectura de la interconexión de red entre sedes

Problemas de fondo
Uno de los problemas que detecte hace un mes y medio aproximadamente, snifando la red para analizar otras tareas que no vienen a cuento en este post, y que nunca había verificado antes porque cuando yo empecé a currar aquí la infraestructura de red de interconexión de sedes por fibra óptica ya existía y lo dí por supuesto después de la información que me habían facilitado mis compañeros que estuvieron en el momento de su instalación, es que el broadcast de cada una de las redes interconectadas llega al resto.

El problema que esto provoca es evidente, una inundación de las redes con paquetes que no sirven para nada, no obstante el día a día no provoca grandes estragos. Solo decir que este problema está en la lista de resolución de problemas, pero la prioridad que tiene es baja, ya que las directrices que nos llegan, sin tener ni voz ni voto, nos indican que estos asuntos no tienen relevancia en el negocio, así que mejor nos dediquemos ha hacer las otras que si las tienen.

El "ataque"
Bueno llegado a este punto voy a explicar en que consistió el "ataque", entre comillas ya que no fue intencionado.

El problema vino de un usuario que había venido con su portátil y se había sentado en uno de los lugares donde tenemos un switch de 5 bocas, de esos que no superan los 40 €, ya que es la manera que usamos para ampliar una única boca disponible de un despacho sin la necesidad de tirar nuevo cableado; no obstante esto solo lo tenemos en puntos muy localizados, ya que la oficina de Barcelona, por lo general, los accesos físicos a red están bien distribuidos y cableados. Cuando el usuario abandono su lugar la oficina, se le ocurrió conectar el extremo del cable conectado a su equipo a una de las bocas libres del switch de 5 bocas, creando un bucle físico y directo.

A partir de aquí ya nos podemos imaginar que sucedió, la red empezó a inundarse con los paquetes de broadcast que llegaban a una de esas bocas, ya que entre ellas se iban realimentando.

Las consecuencias
Las consecuencias del "ataque" fueron las siguientes:
  • Denegación de servicios en todo los aparatos conectados en la red de Barcelona. Cuando digo todos, son todos; los switches colapsados con tanto broadcast, a raíz de esto las comunicaciones entre las máquinas (usuarios y servidores) se les denegaba los distintos servicios no de manera total pero si parcialmente, que igualmente impedía trabajar, además el router DSL también estaba colapsado, incluso lo manifestaba con parpadeos de luces inhabituales y para completar el DOS, la centralita telefónica también denegaba su servicio, no funcionaba ni las llamadas internas ni externas, es decir como si se hubiese apagado, esto se debe a que la centralita tiene un interfaz de red ethernet para poder ser administrada y parece que un su fabricación y diseño no se tiene encuentra como una parte no importante de su servicio, es decir que no es capaz de tirar al suelo el servicio ethernet y dejar intacto el servicio de telefonía frente aun problema de este tipo.
  • Debido a la configuración que hay actualmente de interconexión entre sedes, comentado en el apartado anterior, "Problemas de fondo", todo el broadcast llegó a las otras dos sedes, Madrid y Bilbao, produciendo un efecto similar, solo salvando se las centralitas, porque estas no tienen el servicio de administración vía ethernet.
Bien, todo esto fue una gran putada, nos volvimos locos viendo que pasaba y haciendo hipótesis de lo que podía estar sucediendo, viendo si lo que podía fallar era un swith, cual de ellos, si el problema podía venir por parte de la infraestructura de red del ISP, etc.
Finalmente después de varias pruebas, todo parecía que era un switch de Barcelona, uno de conexión de máquinas de usuarios, o eso o algún equipo que estaba enviando paquetes de broadcast o corruptos; así que mientras pasaba las conexiones de ese switch al switch de backup  iba monitoreando la red para ver si las nuevas bocas que iba pinchando provocaban alteraciones, hasta que finalmente, como la Ley de Murphy indica, fue una de las últimas bocas que pinché y al ir visitar la localización de esa boca fue cuando me comenta uno de los usuarios que habían al lado del "atacante", "Cuando se ha ido ha conectado su cable ahí".

Conclusiones
Parece que hackearnos la red, aunque solo sea por un intervalo de tiempo aproximadamente una hora, es bastante más fácil que conectar un proyecto a un portátil, así que para la próxima vez que pueda suceder algo así, ya tenemos algo bastante fácil que mirar, antes de empezar a desmontar parte del rack de comunicaciones.

Por cierto, tener un rack bien organizado con switch de backup y una buena adecuación y organización del cableado del rack me ayudó a trabajar más ágil y eficazmente.

Hasta la próxima enfermos.

No hay comentarios:

Publicar un comentario