A ver... se confunde el concepto de la necesidad de drivers en GNU/Linux. Todo hardware necesita drivers, la cuestión es que un sistema tipo GNU/Linux los puede tener integrados en el kernel o usar módulos. Es una exlpicación banal y que no ahonda en la cuestión, ya que tampoco soy programador ni administrador de sistemas.
La mayor parte de los problemas que le he visto a la gente son con la configuración de JACK y del sistema para audio realtime. Generalmente, las tarjetas de gama pro o semipro están orientadas a ese trabajo, y de ahí conllevan saber trabajar con JACK. Por otro lado, están las cuestiones de reproducir con programas que trabajen con Pulseaudio y labores más mundanas, y aquí es donde se suelen mezclar términos.
En mi caso, yo tengo una FCA202 (firewire), las integradas y dos Soundblaster X-Fi (todo baratijas, vamos). La FCA202 funciona con FFADO (el proyecto para tarjetas FW), y este funciona con JACK. Para usarla, tengo que saber usar JACK. El resto funcionan tanto con Pulseaudio/alsa como con JACK. Hay cosas que no funcionan, como el conmutador hardware de volumen on/off de la X-Fi USB. Lógicamente, esto es una limitación del driver, módulo o lo que sea.
A lo que voy, después de la paja sin sentido que he soltado, es que hay que distinguir bien lo que es achacable al estado de los drivers de lo que es un tema de configuración, al igual que si lanzamos el Cubase5 bajo Windows con DirectX y una latencia de 300ms o con el Generic Asio Driver de 20ms, porque la diferencia es que "funcione bien" o "no funcione".
Espero que alguien te pueda ayudar. Ánimo.