Não, não é bobagem nem diferença ilusória, é um fato demonstrado tanto na review que mostrei, quanto pela experiência dos jogadores desses jogos de PC. Um game que eu jogo muito (Squad) e usa Unreal Engine 4 tem quase uma recomendação geral para sempre que possível não ir de AMD para não ter problemas de baixo FPS, texturas bugadas e drivers, isso já indo para 3 arquiteturas de placas AMD. E tem dezenas de jogos que usam essa Engine e são a mesma coisa. Pode achar absurdo? Eu também acho, mas é um fato, não dá pra brigar contra a realidade. Se você comprar uma RX 580 sempre vai ter menos performance e problemas que uma GTX 1060 não vai ter, e agora tudo leva a crer que uma RX 5700XT vai ter menos performance que uma RTX 2060 também.
Então sim, antes de comprar uma RX 5700 XT veja bem os games que você pretende jogar, pois AMD tem dessas coisas (conflito de drivers, engines com baixa performance, jogos selecionados by Nvidia etc). Sobre essa conversa de AMD lançar "otimizacoes nos drivers" eu nem entro, é tipo esperar Jesus voltar.