Conectou os 2 plugues de energia na placa? Roda o GPUz e verifica se o que vc comprou é realmente uma GTX 760 (incrível mas estão falsificando até placa de vídeo). Testa ela na casa de um amigo e vê como fica, por último pode ser seu sistema já "está todo cagado" e reinstala o windows (odeio isso, mas uma hora isso é inevitável.:yucky Se conseguir algum progresso posta ai o que você fez!
2 plugs de energia da placa?