Já tentei de tudo, mexi em todas configurações do roteador tentando descobrir o problema e nada, não tem jeito mesmo, o roteador é um lixo bugado.
Se eu colocar o roteador da Vivo em modo bridge e usar o meu tplink com openwrt a internet fica normal, o wifi funciona sem travar, tudo ok.
Agora...