Como faço pra saber se vai precisar fazer transcode?
Transcode precisa quando o dispositivo onde você vai assistir/acessar o media server não suporta o formato nativo do vídeo ou você configurou o servidor para fazer a conversão para um formato específico para um ou mais dispositivos da sua rede.
Exemplo, enviar todo o conteúdo em uma stream única de vídeo, onde tu baixou um vídeo com várias faixas de áudio e legendas mas tu configurou para o servidor mandar somente o áudio em inglês e legenda em português.
Tem aparelhos que suportam nativamente várias faixas e legendas, outros não suportam.
Outros aparelhos vão pedir transcode porque a legenda está num formato que ele não suporta (.srt) outros porque a legenda está em codificação UTF-8 e ele só lê codificação ASCII.
Baseado na minha experiência são casos assim.
Eu particularmente quando usava muito DLNA eu optei por instalar um media server no meu PC e salvava as mídias no meu NAS (um Synology com 4 discos de 8TB fazendo um array de Raid 10 com 16TB utilizáveis).