En matlab puedes hacer resoluciones matemáticas de ecuaciones, también simulaciones gráficas en 2D y 3D. Ya es depende para lo que necesites usarlo, es algo complicado por la cantidad de cosas que puede hacer.
¿Te has planteado usar Csound o Supercollider?
Yo utilizé Matlab en la carrera, pero es un soft enfocado a matemáticas pura y dura, no quiero decir que pueda hacer, se puede, pero vamos, mejor un soft enfocado directamente a sonido. Como ya te han dicho Csound y Supercollider son opciones, también están MaxMSP-PureData, Reaktor, y más que ahora no caigo pero vamos, que hay muchas.
Pasate por el subforo de Programación y Entornos y encontrarás muchas cosas de este tema.
Saludos.