Korrektes Verwenden der robots.txt
Das Robots-Exclusion-Standard-Protokoll verpflichtet Webcrawler beim Durchsuchen einer Website als erstes die robots.txt zu lesen und deren Anweisungen zu befolgen. Dieses Protokoll kann natürlich nicht verpflichtend sein sondern ist auf das Mitmachen sogenannter "freundlicher" Webcrawler angewiesen. In der robots.txt können Bereiche ausgewiesen werden, welche in Suchmaschinen nicht auftauchen sollen. Lange war... Weiterlesen