Hola, me parece que estas algo confundido con los nombres....la 'salida' de la mixer es eso, una 'salida', por lo tanto no es un 'in'(entrada), lo correcto sería conectar la salida master(Main out) o como se llame en tu mixer a la entrada de linea de tu Pc, tenes una interface de audio externa o solo la que viene on-board en la pc?...la coneccion correcta es esa que te comento...suerte!
Pues lo de main out al line in de la tarjeta lo sé pero la mayori de gente aparte de esto conecta la salida in osea la que es RCA y esa va a la entrada de audifonos de el pc, en youtube todos los videos estan asi, lo que yo quiero hacer es bueno conectar el mixer para grabación y también quiero conectarlo para ensayar con mi banda osea para amplificar mis micros e instrumentos como teclados y synths.
Conectando la salida de audifonos del pc, a un input de la mesa, lo unico que haces es conseguir que la señal que se reproduce en tu pc, llegue a una entrada de la mesa. Para poder grabar debes conectar el ST out (o Main out, o Master out, depende de la mesa tiene un nombre o otro) de tu mesa a la entrada de la tarjeta de audio de tu pc, es decir a la entrada de micro. Así no coneguirás una buena calidad. Si quieres hacerlo bien, comprate una interface externa de sonido, conectala al pc mediante firewire o usb, y conecta o bien la ST out de tu mesa a la entrada de la interface, o bien el microfono directamente a la interface, y mediante un programa de audio, graba tu musica. Así como tu dices, es completamente imposible de grabar puesto que la salida de audifonos de tu pc, al ser una salida, solamente envia señal, sino al conectar tus audifonos no escucharias nada.