Na minha Asus (que não é topo de linha, mas fica apenas 1 nível abaixo) eu tive exatamente o mesmo comportamento que você teve na Gigabyte, então isso não é exclusividade de uma marca específica. O que pode ter mudado é a intensidade no aumento da rotação, já que as placas podem ter curvas de fans bem distintas, mas eu ouvia claramente, logo quando montei essa máquina, a fan do cooler BOX aumentando a rotação, depois reduzindo, depois aumentando de novo, depois reduzindo, e isso de forma constante, em idle, no desktop. Não monitorei pelo Ryzen Master, apenas pelo HWInfo64 e MSI Afterburner (sugiro você instalar os dois para fazer a leitura por eles também), e ambos apontavam oscilações para acima dos 50ºC, em idle, sem o PC estar executando nada pesado.
Eu resolvi o meu problema da forma como indiquei acima (alterando o perfil de energia e limitando ambas as opções em 5%, o que não afeta o boost clock nas atividades que exigem da CPU, ou ao menos não era para afetar), e não só eu como muita gente que reclamou da mesma situação, que não gostavam das oscilações bruscas de clock, tensão e, em especial, de temperatura.
Sugiro que você tente o que eu informei acima, pois acredito que isso vai resolver o teu problema da fan ficar oscilando sua rotação em idle. Se nem isso resolver (considerando que você está usando a última versão do Windows, instalou o driver do chipset da AMD e selecionou o perfil energético criado pela empresa), então só posso crer que a placa está realmente com defeito.
Falouws