KI-Crawler: Google will Robots.txt für alle Anbieter zum Standard machen
Die Robots.txt wird von den meisten KI-Crawlern geflissentlich ignoriert und soll deshalb zum verpflichtenden Standard werden. ( KI , Google )
Diese Meldung stammt aus dem Feed von Golem; der vollständige Artikel und alle Rechte liegen bei der Quelle.
Kommentare (0)
Noch keine Kommentare. Schreib den ersten.
Anmelden und schreib einen Kommentar.