El propio nombre ya te da una pista
RMVB significa Real Media Variable Bitrate.
Esto quiere decir que estos archivos son Real Media que en vez de codificarse con bitrate constante lo hacen con bitrate variable.
El bitrate o bit rate es algo así como la tasa con la que se comprime un vídeo o audio. Cuanto más bitrate se utiliza mayor compresión se le aplica al vídeo o audio. Utilizar un bitrate variable quiere decir que en vez de utilizar una tasa de compresión fija se hace un análisis del vídeo o audio y se aplica un mayor o menor bitrate según diversas variables a tomar en cuenta en cada momento (redundacia, colores, etc).
Aquí tienes una definición más exacta.
Por tanto, la diferencia entre ambos es que uno utiliza un bitrate constante y otro variable
Un saludo