Es que empezamos ya mal desde un principio.
Estas capturano en un formato que te esta ya comprimiendo la imagen (mpg), con lo cual ya estas reduciendo su calidad de origen de la videocamara.
Tienes que capturar en un formato AVI si puede ser en AVI-DV, y si no con algun otro compresor AVI, como Xvid, que te dará una mejor calidad aunque en un principio ocupe mas mb.
Si ya te parece bien la calidad mpg con la que estas capturando, aumentar la calidad nuca lo lograrás, como mucho lo que se puede hacer es aplicar filtros de (Noise reduction) si la imagen contiene algún tipo de ruido como puede ser el (grano en las imagenes), pero nitidez es más dificil, la función de este filtro es difuminar ese granito.
Yo uso TMPGEnc 4.0 XPress para hacer esta limpieza de las imagenes a parte de muchas de otras funciones que te ofrece este programa como aumentar color, brillo, contraste, etc, etc.
Saludos