En el Explorador de Windows ve a Herramientas > Opciones de Carpeta > Tipos de archivo.
En la lista busca .pdf y puedes asignarle el ícono que tú quieras. Si quieres usar el original de Adobe Reader, a la hora de buscar el ícono sigue la ruta donde tienes instalado el Reader, que debería de ser por defecto Archivos de programa\Adobe\Acrobat Reader o algo parecido, seleccionas el ejecutable y eliges el ícono.