Para poder aumentar la resolucion y no perder mucha calidad en el proceso debes aumentar la tasa de datos (bitrate) del video al recodificar el mismo, dado que habra mas pixeles que requeriran ser codificados. Igual vas a perder, dado que un video que ya fue reducido es imposible volverlo a su resolucion y calidad original, mas cuando mas aumentes. Tambien podes aplicar algun filtro para disimular los artifacts que apareceran si no subis lo suficiente el bitrate, como algun blur, la idea es disminuir el detalle(nitidez). De cualquier forma con usar el filtro de reescalado correcto logras algo similar. Podes ver la eficacia y uso de cada filtro
aqui, en la explicacion del filtro resize.
Para aplicar esos filtros nada mejor que el VirtualDubMod, gratuito.