Intenta grabar ese sonido que comentas y ponlo donde lo podamos oír, a ver si nos da una pista.
#1 ya miraste que tu controlador asio tenga un tamaño de buffer apropiado para tu pc?
Parece ser que hay que cambiar el driver de audio a ASIO, en vez de usar el de M-audio.