Cuando esté conectado el dispositivo que usa esa ip externa, te vas al router y pillas la mac del dispositivo y lo baneas del router.
Con eso ya casi lo tienes solucionado.. a no ser que el infiltrado se meta en asuntos mayores para falsear la mac y cosas de esas...