#5446 Compatibles muchas. Sin embargo revisa los condensadores de alimentación de la placa y la fuente, no sea que parte de la culpa venga por un mal suministro de energía. Con más de 10 años es fácil que aparezcan problemas si no han estado muy cuidados.
Si te vas al listado de chips nvidia de la wikipedia verás todas las tarjetas compatibles con la 8800, que es un G92.
https://es.wikipedia.org/wiki/Anexo:Unidades_de_procesamiento_gr%C3%A1fico_de_Nvidia
Si sigues con Mavericks, lo normal es que soporten hasta Fermi sin necesidad de añadir drivers. Fermi son las series 400 y 500.
Geforce 8xxx
Geforce 9xxx
Geforce 1xx
Geforce 2xx
Geforce 3xx
Geforce 4xx
Geforce 5xx
Las Quadro FX380, FX480 y FX580 suelen estar muy baratas y funcionan desde Lion hasta High Sierra.
Por ejemplo, yo tengo la Nvidia Quadro FX380 LP 512Mb en un Mac Pro 3.1 y va muy suave a pesar de ser muy modesta (y consumir poco y calentar menos aún).
Como mucho rtendrás que ejecutar Clover editor o Multibeast para configurar el inicio, pero si con la 8800 funcionaba, con éstas no debería haber problema porque los drivers van incluidos en MacOS.
Por recomendar, te recomendaría una 610 GT o 710 GT con chip Fermi. Son muy básicas, pero consumen poco, se calientan menos y además son más nuevas y durarán unos años más.