1. in cazul in care o pagina nu exista, pagia 404 - not found ar trebui sa fie una custom care sa dea user-ului de inteles ce se intampla.
2. tineti paginile cat mai mici, crawlerii nu proceseaza o cantitate mare de informatie. asigurati-va ca ce e important vine la inceput (technica de asezare in pagina).
3. folositi html-ul asa cum trebuie sa fie folosit. paragrafe in p, adrese de contact in address, titluri in h1 etc. ... asta este principiul pe care un crawler functioneaza.
4. tineti css-ul si js-ul in fisiere externe. reduceti marimea documentului, ceea ce ajuta la o indexare mai buna (vezi punctul 2).
5. atentie mare cu url-urile. crawlerii nu indexeaza pagini de genul index.php?ID=1 cu atata placere cum o fac cu pagini de genul produse/masini-de-spalat.html (- se considera spatiu, folositi-l cum trebuie).
6. este foarte recomandat un sitemap care sa fie foarte usor accesibil crawrelilor. acestia pot sa indexeze tot site-ul mult mai repede cu ajutorul unui sitemap.
7. link-urile catre pagina d-voastra ajuta foarte mult. atentie insa