Vaya por delante que yo no soy ningún experto en video, aunque creo que aún así te puedo aconsejar algunas cosas:
Para trabajar lo más cómodamente posible en la edición, sobretodo si el ordenador es algo antiguo o poco potente y queremos manejar videos 4K con altos bitrate, etc, es trabajar con codecs de video poco comprimidos (como por ejemplo el Apple ProRes) que aunque ocuparan mucho más, al ordenador le costará menos moverlos. Sé que suena poco intuitivo y hasta contradictorio, pero piensa que un codec como el H264 (y no digamos el H265) son codecs pensados para exportar (para videos que van a ser usados para visualizarse no para editar) ya que su función es la de comprimir y reducir el peso de los videos para que ocupen poco (sin perder demasiada calidad de imagen), pero si editas esos archivos el ordenador tendrá primero que descomprimir cada fotograma en cada edición, lo cual ralentizará el proceso de edición (y si añades efectos más). Manejando archivos tipo proRes o incluso RAW de video le costará menos (aunque a veces no compensa en equipos antiguos, sobretodo el RAW, porque el tamaño de los archivos es enorme).
La otra opción sería trabajar con "proxis". Esto consiste básicamente en que el programa (en tu caso Premiere) hace una copia interna de los archivos (por así decirlo) reducido en peso, resolución, etc. y con eso es con lo que trabajas y editas. Y una vez termines a la hora de exportar es cuando el programa usará los archivos originales. La exportación tardará igual que antes (y dependerá de la potencia de proceso de tu ordenador y demás) pero al menos a la hora de editar irá todo más fluido y rápido porque estarás usando para ello unos archivos temporales mucho más livianos y manejables.
1