Hola Kane. Los presets de fabrica están alojados en una ROM no se borraran, los que si se borraran y si tiene la batería gastada ya estarán borrados son los presets de usuario, los que uno programa. Por defecto el banco interno de usuario será reemplazados por los sonidos de fabrica, así que tanto en el banco de presests como en el interno tendrás los mismos sonidos repetidos. Otra cosa sería que en vez de un modulo como el Korg M3R fuese un analógico con las primeras implementaciones de bancos de memorias tipo Polysix o Juno-60, en estos se borrarían todos los sonidos (en el Polysix me paso y solo sonaba "plick" en todos los bancos), pero por internet puedes descargarte los pitidos de datos que son los bancos de fabrica para meterles por "from tape"
Parece ser que lo que se te borra es la configuración de parámetros, no conozco ese modulo, pero como veras si lo tienes que reconfigurar cada vez que lo enciendes, los sonidos si están ahí solo que en otros parámetros. Lo mejor antes de volver a enredar con el es que le cambies la pila, una de 3V o de 3,6V de litio son las que suelen usar y no cuestan mas de 3 o 5 leuros, luego esta el coñazo de abrirlo y soldar (no es complicado) pero te quitaras quebraderos de cabeza por unos cuantos años.