käitumine oleneb nende reeglite kooskõlast: · valiku reegel, mis määrab, milliseid lehti alla laadida · taaskülastamise reegel, mis määrab, millal kontrollida lehtedes toimunud muudatusi · viisakuse reegel, mis määrab, kuidas vältida lehtede ülelaadimist · paralleelsuse reegel, mis määrab, kuidas kooskõlastada ämblike vahelist tööd. 4.2. Näiteid Nimekiri avalikest veebiämblikest: · Yahoo! Slurp Yahoo Searchi ämblik. · Bingbot Microsoft Bingi veebiämblik, mis asendas Msnboti. · FAST Crawler on jagatud ämblik, mida kasutab Fast Search & Transfer. · Googlebot Google'i ämblik, viite kirjeldus on ämbliku vanemast versioonist, mis oli kirjutadud C++ ja Pythoniga. · PolyBot on jagatud ämblik kirjutatud C++ ja Pythoniga, mis koosneb "ämbliku haldurist", ühest või rohkemast "tõmbajast" ja ühest või rohkemast "DNSi lahendajast".
annaabi.ee 
