Si no explicas todo lo que estás usando es complicado ayudarte.
Vamos a ver, lo que sucede aquí es que estás intentando algo imposible. La DJM-300 es una mesa muy antigua y no tiene tarjeta de sonido de ningún tipo, y aunque la tuviera la tendrías que conectar por USB, no con un cable de audio. No sé a qué entrada de la tarjeta de sonido de tu ordenador estarás conectando esa salida de la mesa, pero es muy probable que sea una conexión mono de micro, que no sirve para grabar señales de línea, probablemente suene saturado lo que estés grabando si es que grabas algo.
Lo mejor que puedes hacer es invertir en una tarjeta de sonido externa, que se conecte al ordenador por USB. Alguna Focusrite baratita que tenga una entrada estéreo ya te sirve para hacer unas grabaciones cuyo resultado te gustará mucho.
El error es el adaptador Rca-mini plug que estás usando. Es un adaptador para Video compuesto ! El que tenes que usar se llama RCA-MINIPLUG . No tiene que tener 3 entradas ,sino 2 (rojo y blanco) o sino comprar directamente un cable armado Rca-miniplug. Luego necesitas conectar esto mismo a la entrada que se llama "line in" suele ser color celeste. Algunas notebooks/laptops tienen una misma entrada para el microfono y para el line in(Cuando lo conectas la notebook te solicita que te gustaría utilizar si line in o mic) Generalmente las realtek funcionan asi. Y si tu notebook no posee line in de ninguna manera(siempre revisar el manual de tu notebook) la ultima opción sería comprar una Placa de sonido o Interfaz de audio) Saludos !!