Die Robots.txt ist eine auf dem Server hinterlegte Textdatei. Sie ist das Erste, das vom Crawler durchsucht wird und gibt diesem Anweisungen, wie er die jeweilige Website durchsuchen soll. In der Robots.txt kann ebenfalls hinterlegt werden, wenn eine Seite nicht indexiert werden soll.
© ipunkto 2023. Alle Rechte vorbehalten.
