I 2016 håndterede Google over 3,2 billioner søgeforespørgsler, men de resultater, søgemaskinen leverede, tegnede sig kun for en brøkdel af det tilgængelige indhold online. Meget af den tilgængelige information online er ikke tilgængelig af søgemaskiner, så du skal bruge specielle værktøjer eller selv undersøge websteder for at finde disse skjulte sider. Kendt som det dybe web, tegner denne skjulte information sig for op til 5.000 gange, hvad der er tilgængeligt ved hjælp af typiske søgeteknikker.
Typer af skjult indhold
Websites skjulte sider falder i kategorier, der beskriver, hvorfor de forbliver usynlige for søgemaskiner.
Nogle udgør dynamisk indhold, der kun serveres, når en besøgende udsender en bestemt anmodning på et websted, der bruger databasestyret kode til at præsentere målrettede resultater. Som et eksempel kan disse sider indeholde indkøbsresultater baseret på specifikke kombinationer af produktkriterier. Søgemaskiner er ikke designet til at spore og gemme oplysninger, der er gemt i disse databaser. For at finde disse sider skal du gå til webstedet og søge efter de specifikke oplysninger, du leder efter, eller bruge en databaseorienteret søgetjeneste som Bright Planet.
Nogle sider har ikke links, der forbinder dem med søgbare kilder. Midlertidige ressourcer, såsom flere versioner af underudviklingswebsteder, kan falde ind i denne kategori, ligesom dårligt designede websteder. For eksempel, hvis nogen oprettede en webside og uploadede den til webstedets server, men ikke kunne tilføje et link til den på webstedets aktuelle sider, ville ingen vide, at den var der, inklusive søgemaskinerne.
Stadig flere sider kræver loginoplysninger for at få vist eller nå dem, som abonnementswebsteder. Webdesignere udpeger sider og sektioner af websteder som begrænsede for søgemaskiner, hvilket effektivt eliminerer dem fra at blive fundet på konventionelle måder. For at få adgang til disse sider skal du typisk oprette en konto, før du får tilladelse til at få adgang til dem.
Brug af Robots.txt-filer
Søgemaskiner gennemsøger siderne på et websted og indekserer dets indhold, så det kan dukke op som svar på forespørgsler. Når en websiteejer ønsker at ekskludere nogle dele af sit domæne fra disse indekseringsprocedurer, tilføjer hun adresserne på disse mapper eller sider til en speciel tekstfil med navnet robots.txt, der er gemt i roden af sit websted. Da de fleste websteder indeholder en robotfil, uanset om de føjer nogen undtagelser til den, kan du bruge dokumentets forudsigelige navn til at vise dets indhold.
Hvis du skriver "[domænenavn] /robots.txt" uden anførselstegn i din browsers placeringslinje og erstatter "[domænenavn]" med webstedsadressen, vises indholdet af robots-filen ofte i browservinduet efter du trykker på "Enter" -tasten. Indlæg, der er forord med "afvis" eller "nofollow" repræsenterer dele af webstedet, der forbliver utilgængelige gennem en søgemaskine.
Gør-det-selv-webstedshacking
Ud over robot.txt-filer kan du ofte finde ellers skjult indhold ved at skrive webadresser til bestemte sider og mapper i din webbrowser. For eksempel, hvis du kiggede på en kunstners websted og bemærkede, at hver side brugte den samme navngivningskonvention - som gallery1.html, gallery2.html, gallery4.html - så kan du muligvis finde et skjult galleri ved at skrive siden " gallery3.html. " i din webbrowser.
Tilsvarende, hvis du ser, at hjemmesiden bruger mapper til at organisere sider - som eksempel.com/content/page1.html, hvor "/ content" er mappen - så kan du muligvis se selve mappen ved at skrive hjemmesiden og mappen , uden en side, såsom "example.com/content/" i din webbrowser. Hvis adgangen til mappen ikke er blevet deaktiveret, kan du muligvis navigere gennem de sider, den indeholder, samt sider i alle undermapper for at finde skjult indhold.
