Para colocar un icono en la barra de direcciones has de poner el siguiente código:

<link rel="shortcut icon" href="⁄imagenes⁄tu_icono.ico">

y si deseas poner un icono por cada página, bastará con repetir la operación en cada página.