Subir el muestreo no te va a dar mayor calidad, y si te puede traer problemas con el audio que ya tienes grabado.
A parte de lo que dices Dogbert cuando aumentas la frecuencia la latencia disminuye. Esto ocurre ya que la latencia es básicamente un buffer que contiene cierta cantidad de muestras, y la latencia estará asociada al periodo de dichas muestras. Todas las muestras son de 24 bits (o 16 siendo el caso de sea esa la resolución configurada) y a una mayor frecuencia estas generando muestras de 24 bits mas veces por segundo. Para que en un segundo existan mas muestras el tiempo entre muestra y muestras debe ser menor. Con un periodo menor, la misma cantidad de muestras llenará el buffer en un espacio de tiempo menor. Finalmente eso se traducirá en menor latencia.
El problema con esto es que si, es menor latencia, pero también son mas datos por segundo, eso implica mayor capacidad de proceso, es decir a un mismo tamaño de buffer exigirás mas al procesador pudiendo aparecer cortes y chasquidos.
En ultima instancia esto no quiere decir que necesariamente tengas problemas apreciables, basta con que pruebes y salgas de la duda por ti mismo.