Qual é sua latência media até o roteador? Existem muitos dispositivos WiFi conectados simultaneamente?
Se funcionava bem antes pode não ser necessariamente um problema na internet e sim em algum dispositivo concorrente que esteja causando conflito/sobrecarga dentro ou mesmo fora da rede WiFi.
Faça outros testes, como ping recorrente para outros servidores e/ou sites por alguns minutos ou horas, teste a banda sustentada com ping rodando simultaneamente e etc. Não dá pra se basear apenas no tempo de resposta de servidores de jogos.
Em último caso pode até ser
MTBF do próprio adaptador usb que vc está usando, já testou com outros?
[]´s
Eduardo.