Haz clic con el botón derecho del ratón sobre la carpeta a la que le vas a cambiar el icono y selecciona de la lista la opción Propiedades.
A continuación, en la ventana Propiedades selecciona la pestaña Personalizar. En el apartado Iconos de carpeta haz clic sobre el botón Iconos y selecciona de todos los que aparecen el que más te guste. Así, por ejemplo, para una carpeta de música no iría mal el icono de un CD.