Solución 1:
De acuerdo con este hilo relativamente antiguo en la lista de desarrolladores de keepalive, se puede hacer. Establece ambos servidores para que tengan la misma prioridad (o ninguno) y no declara el estado como MAESTRO o RESPALDO, sino que establece el estado en IGUAL para ambos.
EDITAR (7 de diciembre de 2017):
Parece que EQUAL no es en realidad un estado válido, a pesar de que parecía proporcionar el efecto deseado en el momento en que se publicó esta respuesta. Tenga en cuenta los comentarios a continuación, en particular el enlace a la lista de problemas actuales para keepalived proporcionada por @cristi.
Solución 2:
La forma en que resolvimos esto es agregando el nopreempt marca a nuestro archivo de configuración keepalived. No tuve que cambiar nada más (aún dejé uno como MASTER y uno como BACKUP y así). Básicamente, esto le dice que no cambie de maestro solo porque un nuevo servidor se puso en línea, solo cambie cuando el maestro actual falle.