Invalidar ModelState manualmente

El primer campo es el key, es el nombre del atributo para el cual se desplegara el mensaje

ModelState.AddModelError("Usuario", "mensaje");