Výmluva o robotech (crawler covi)
Roboti, též známí jako „crawler covi“ nebo „spíšoucí roboti“, jsou softwarové programy, které se pohybují po internetu pomocí tzv. spíšoucích algoritmů a „procházejí“ webové stránky a jejich podstránky. Cílem těchto robotů je kontrolovat web, aby našli související informace nebo prohledávali weby podle dohodnutých informací.
Nástroje pro web crawlery obsahují širokou škálu technologií. Nejběžnějším použitím je obchodní skenery, které pomáhají monitorovat webové stránky za účelem:
- Hledání nových produktů
- Nahrazování porušeních pravidel
- Snímání dat
- Monitorování změn
- Vytváření indexů užité search engine dané stránky
Roboti mohou též sloužit k vytáčení webů, nebo k posílení serverů s dotazováním webových stránek. Mohou též zálohovat webové stránky pro archivaci nebo intranetové účely.
Existují dobré i špatné roboti. Dobrý robot je ten, který odpovídá na politiku robot. Nenápadný robot by se měl přizpůsobit politice robot pro daný web a informovat operátora webu, protože mnoho stránek nechce být procházeno robotem. Nespravedlivé použití stravitelných prohlížečů je místem většiny omezujících politik robot.
Více o robotech si můžete přečíst na stránkách Wikipedia – Spider (Robot).