Se as fans tiverem bom CFM, e todas de mesma capacidade, então a configuração está equilibrada. A temperatura aqui, em idle, também fica nessa faixa dos 35-37°C, dependendo de quão quente esteja o ambiente. Eu também tinha essa variações bruscas na temperatura em idle, por causa da variação constante do clock e do vcore, mas resolvi fazendo a dica que te deu do plano de energia do Windows.
Se você sente seguro em desmontar o cooler para limpar a pasta e aplicar a Master Gel Maker (a mesma que tenho aqui), então vá em frente, mas não espere mudanças bruscas de temperatura, pois a diferença na condutividade térmica entre as duas é de apenas 2.5W. Quanto à aplicação, eu fiz o método dos 3 pontos, sendo um no centro do processador (entre o Z e o Y) e outros dois nas extremidades onde ficam os chiplets (acho que, após instalado no socket, olhando de cima pra baixo, os chiplets ficam na parte inferior do processador). Com esse método, gastei pouca pasta e as temperaturas ficaram muito boas em comparação com o cooler BOX.
Dependendo da quantidade de pasta colocada, o ato de vazar pelas laterais pode acontecer até sem exercer muita pressão sobre o heatspreader. 5 gotas, para um die tão pequeno, pode ser considerado como excesso de pasta, mas não ao ponto de atrapalhar a troca de calor. De todo modo, revisaria a instalação pra ver se o cooler está devidamente fixado, com parafusos arrochados até o final (sem espanar, evidentemente).
Falouws