Es lógico que no se haya quedado nada.
En primer lugar, la phamtom es una tensión elevada, sí, 48 voltios, pero tiene una intensidad muy baja, apenas unos miliAmperios.
Luego estás aplicando una potencia de unos 0,25 watios al altavoz, eso no es casi nada.
Y como su nombre indica, la tensión phamtom desaparece con una carga de baja impedancia.
Además está regulada y limitada desde la fuente, es muy difícil averiarla por ese lado.
En cuanto a la conexión, yo conectaría el altavoz con o sin el juego de resistencias al 2 y 3 del XLR, dejando el 1 directo al chasis del altavoz.
Saludos!