Con l'utilizzo di tecnologia server side (ASP e PHP, ad esempio) è possibile costruire siti web capaci di mostrare un numero illimitato di pagine tramite un unico file che estrae i dati da un database a seconda delle scelte dell'utente.Tale scelta viene passata al server attraverso dei parametri compresi nell'url secondo la sintassi
sito.it/webpage.php?ID=105
Il problema occorre nel momento in cui gli spider navigano le pagine del sito per indicizzarlo, e sono costretti a seguire il passaggio di questi parametri nell'url, che viene quindi a contenere caratteri -quali il punto interrogativo o la e commerciale - più o meno indigesti.
In questo caso è necessario sfruttare tutte le potenzialità offerte dal server per trasformare l'url in maniera compatibile alle esigenze degli spider, ed al contempo in modo che garantisca il passaggio dei parametri.
Apache può assegnare direttamente il MIME-type al file: sfruttando questa peculiarità, basterebbe richiamare la pagina come 'webpage', senza estenzione, e lasciare ad Apache il compito di associarle l'esatto MIME-type (application /x-httpd-php). In questo modo l'Url verrebbe trasformato in
sito.it/webpage/105/
Preservato il passaggio del parametro, l'url non è ora troppo dissimile da quello di una pagina HTML, senza particolari complicazioni per lo spidering del robot.
In particolare, è possibile effettuare la trasformazione degli url "on the fly", cioè senza modificare la configurazione del server, con un modulo aggiuntivo (non installato di default) per Apache: il Ralf S. Engelschall's Mod_Rewrite.
(La documentazione è online su http://www.apache.org/docs/mod/mod_rewrite.html )
Per le pagine ASP la Exception Digital Enterprise Solutions ( http://www.xde.net/products/product_xqasp.htm ) offre un programma che rimuove i punti interrogativi e li sostituisce con lo slash, mentre per Cold Fusion ulteriori informazioni sulla configurazione del server si possono trovare sul sito della Macromedia ( http://www.macromedia.com/ ).
