Existe uma diferença bem clara além da câmera, que pra mim é primordial, a bateria.
Em todos os testes que vi até agora, o 11 Pro normal OBLITERA o XS nessa questão de bateria, consegue com folga 4 a 5 horas a mais de uso, chega fácil entre 8 a 10 horas de tela ativa, valores que só o XS Max chegava em alguns casos, conseguiu ser melhor que o Galaxy Note 10 em alguns testes.
O chipset A13 com uma bateria maior se tornou o maior chamariz pra mim nesses modelos, desempenho gigantesco com consumo de bateria de Android com baterias grandes.
Então, desculpa, dizer que "não existe diferenças pra troca" é muito vazio, vai de cada caso, se a pessoa não liga pra recarregar a bateria mais vezes ou uma câmera melhor, ok, mas se preza por isso, é possível sim considerar e valer a pena a troca.
Nesse caso é um pouco diferente do que falei acima, o XR tem um bom hardware e a bateria é "pau a pau" com o 11 Pro, esse último leva um pouco de vantagem, mas coisa de 1 a 2 horas a mais de uso em alguns casos, diferente do que acontece com o XS que citei acima, se realmente deseja trocar só pelo tamanho mais compacto, vai ganhar apenas na tela melhor por ser OLED e possibilidades de câmera, já que são 3 contra 1 do XR, o processamento pouco vai mudar.
Não é uma má escolha trocar, se tem verba pra isso e quer algo compacto, vai fundo, mas o salto do "valer a pena" pra você é mais curto do que alguém com um iPhone 7/8 ou X/ XS por exemplo.