################################################################# # robots.txt. # # Dit document moet in de root van de website # # directories en html bestanden die absoluut niet geindexeerd # # mogen worden komen hier te staan # # # # voorbeelden: # # externe scripten # # eventuele doorsluispagina's # # administratie schermen # # # # # # directories: Disallow: /directory/ # # bestanden: Disallow: /index_noflash.html # # # # # # JM-13-11-05 # ################################################################# User-agent: * Disallow: /admin/ # administratie Disallow: /aw/ # statistieken Disallow: /awstat/ # statistieken Disallow: /cgi-bin/ # perl scripts Disallow: /download/ # downloads Disallow: /download/*.doc$ # geen wordbestanden Disallow: /download/*.pdf$ # geen pdfbestanden Disallow: /flash/ # flashbestanden Disallow: /grasland.nieuw/ # previews Disallow: /grasland.old/ # oudere versie Disallow: /grasland.old2/ # oudere versie Disallow: /grasland.old3/ # oudere versie Disallow: /images/ # plaatjes Disallow: /includes/ # includes Disallow: /javascript/ # javascript Disallow: /oldsite/ # oldsite Disallow: /pers/ # voor pers Disallow: /phpscript/ # php scripts / database koppeling Disallow: /squirrelmail/ # webmail Disallow: /stat/ # statistieken Disallow: /styles/ # styles Disallow: /webmail/ # webmail Disallow: /xml/ # xml Disallow: index-old.html