Opa, tempos atrás tive um problema similar com um serviço que atribui o servidor automaticamente.O problema é que na Claro (e só na claro) eles direcionam para o servidor deles em Miami, uma latência que era pra ser de 8, 10ms vira quase 200ms. Na Tim e Vivo que são redes que consegui testar, a rota cai certinho no servidor de SP, só na Claro mesmo que direciona para os EUA.
Originalmente o serviço me direcionava para São Paulo(70ms) porém começou a me direcionar para servidores a mais de 200ms em outros países.
A resposta deles foi que provedores de internet estariam bloqueando os IPs deles. De fato outros provedores estavam tendo o mesmo problema de selecionar o servidor mas não eram todos os provedores.
Demorou quase 7 meses para ser resolvido.