Si ya probaste las dos memorias por separado en la misma tarjeta lo más seguro es que tu tarjeta soporte un máximo de 256 MB de RAM, ya sea en dos tarjetas de 128 MB o en una de 256 MB, es algo común en tarjetas antiguas. Otra opción sería que una de las ranuras esté defectuosa, eso lo puedes comprobar arrancando con una memoria a la vez, probando cada una de las dos memorias en las dos ranuras,
Para ver si tienes AGP o PCI busca el modelo de tu tarjeta madre en google y encontrarás sus especificaciones.