Lo mejor es que escojas un proyecto que te apetezca (y entre dentro de tus posibilidades, un plugin sencillito de procesado o síntesis puede ser un buen comienzo) y te pongas con ello.
Puedes empezar por aquí:
LV2 programming for the complete idiot
http://ll-plugins.nongnu.org/lv2pftci/
Pero los plugins LV2 tienen la dificultad añadida de tratar con metadatos descritos en RDF, es una barrera polémica que incluso a gente con experiencia (y buenos argumentos) le fastidia tener que saltar.
Posiblemente te sea más accesible analizar y modificar los plugins DSSI de ejemplo contenidos en el paquete DSSI.
http://dssi.sourceforge.net/download.html
En cuanto te salgas de los plugins sencillos la cosa se complica sustancialmente. La programación de audio en tiempo real es muy exigente, hay que tener en cuenta consideraciones de latencia, gestión de memoria, comunicación entre procesos... No sólamente es "qué" hay que hacer, sino "cómo" y, sobre todo, "cuándo".
Una buena base matemática para procesado digital de la señal siempre viene bien, y en muchos casos es imprescindible:
http://en.wikipedia.org/wiki/Digital_signal_processing
http://www.dspguide.com/
http://www.dsptutor.freeuk.com/
Finalmente, como dicen en el mundillo: "use the source, Luke", que es más o menos lo que te dice insalada. Otra cosa no sé si tendrá Linux, pero ejemplos de los que aprender, los que quieras...
Cualquier miembro del foro que quiera hacer sw libre para Linux puede ponerse en contacto conmigo si necesita algún consejo o directriz.