Spiders, robots en zoekmachines
Spiders, robots of crawlers zoals ze ook wel genoemd worden. KLeine programma's die informatie verzamelen voor de zoekmachines. Zoekmachines zijn databases waarin de internetpagina's zijn opgeslagen en geïndexeerd (op volgorde gelegd). Hierdoor zijn na het intikken van een zoekopdracht de zoekresultaten snel beschikbaar. De meeste zoekmachines maken gebruik van programma's die ook wel 'crawlers, spiders of robots worden genoemd.
De databases van de zoekmachines bevatten dus eigelijk een (geïndexeerde) kopie van bijna het gehele internet. Hierdoor is het mogelijk, dat de zoekmachines in minder dan één seconde reeds de resultaten tevoorschijn kunnen toveren. Ze zoeken namelijk niet op internet!
het werk van de zoekmachinerobot
|
De zoekmachinerobots bezoeken internetpagina's en slaan de inhoud van de bezochte pagina's op in de database van de zoekmachine. Internetpagina's met een hyperlink naar een andere pagina's voegt de robot aan de lijst van te bezoeken internetpagina's toe. Op deze manier kunnen de robots alle publieke websites bezoeken.
De robots verzamelen informatie van de internetpagina's die ze bezoeken en slaan deze dus op in de database van de zoekmachine. Werd vroeger enkel de HTML-code als tekst opgeslagen, tegenwoordig worden ook foto's, pdf-documenten en andere soorten bestanden opgeslagen. |
Hoe komt een crawler bij jouw PAGINA?
Als je een internetpagina hebt, wil je natuurlijk ook dat deze met een zoekmachine gevonden kan worden. Er zijn een aantal manieren waarop een robot of crawler jouw pagina vindt:
- Je kunt je aanmelden bij zoekmachines. Hiervoor wordt vaak een vergoeding gevraagd, maar het is wel de snelste manier.
- Als er andere pagina's een hyperlink naar jouw pagina hebben. Hierdoor vindt de crawler jouw pagina via de verwijzende pagina.
- Je doet niks en wacht gewoon af. Het kan mogelijk langduren (een paar weken) voordat je wordt opgenomen in de database van de zoekmachines, maar het is wel de makkelijkste en goedkoopste wijze.
Bezoek van de zoekmachinerobots
Als je eenmaal in de database zit, dat wordt jouw pagina regelmatig bezocht door de zoekmachinerobots. Zij controleren namelijk regelmatig of er iets op je pagina is aangepast. Dit is belangrijk voor de zoekmachine, want deze wil graag de meest relevante resultaten aan zijn gebruikers tonen.