Pela origem, alerta (= atentamente, de prontidão, em estado de vigilância) é advérbio e, portanto, invariável.
Estamos alerta. (advérbio)
Os soldados ficaram alerta. (advérbio)
Entretanto, pode ser empregado como adjetivo, o que é mais condizente, por sinal, com a prática moderna, sendo, por isso, flexionado no plural.
Estamos alertas. (adjetivo)
Nossos chefes estão alertas. (adjetivo)