Bem vindo ao clube. Se você entrar no fórum oficial de Diablo III, tanto o brasileiro quanto no internacional/americano, verás que VÁRIAS pessoas estão com este problema, além de problemas como crashing, rebooting (que no caso é o meu problema) etc...e todos alegando nunca ter tido problemas com outros jogos, assim como você, aparentemente...
No meu caso, eu "resolvi" (sim, entre aspas, porque depois de vários dias...o problema voltou a acontecer) fazendo um underclock extremo, diminuindo os clocks de uma N580 GTX Lightning a -100 ABAIXO do valor de referência do clock da GPU e bem uns -300Mhz nas memórias.
Interessante que, mesmo o jogo tendo gráficos "humildes" ou "nada de mais", o danado põe pra trabalhar pra burro a GPU...aqui a coisa mais comum é ver a danada a +90%.
Assim como você, aqui sempre rodou tudo de boa...até Diablo III começar a me apresentar problemas. Solução? Só esta paliativa que eu lhe dei...por parte da Blizzard? Até agora só sabem alegar que o problema provavelmente é na sua máquina.
Starcraft II que o diga: presto minhas condolências por aqueles que tiveram suas placas torradas por simples CGs...