Der Webhosting-Anbieter Hostinger hat Milliarden von Webanfragen ausgewertet und kommt zu einem bemerkenswerten Ergebnis: Künstliche Intelligenz prägt zunehmend die Indexierung des Internets. OpenAIs GPTBot durchsucht bereits mehr Webseiten als Googles eigener Crawler – und weniger bekannte Bots, etwa von TikTok, verursachen fast 1,4 Milliarden Anfragen pro Tag.
Angeführt wird die neue Generation der Webscanner vom OpenAI-GPTBot, der laut Hostinger täglich mehr als 108 Millionen Anfragen verarbeitet und über 4,4 Millionen Webseiten crawlt – eine Abdeckung von 84 Prozent. Damit liegt er vor Googles eigenem Bot, der mit 798 Millionen Requests etwa 3,9 Millionen Seiten erfasst, jedoch nur 74 Prozent erreicht. Auch der OpenAI-SearchBot ist bereits aktiv und durchsucht mehr als 2,4 Millionen Webseiten.
Neben den großen KI-Bots tragen zahlreiche andere Akteure zur massiven Zunahme automatisierter Anfragen bei: Weniger bekannte Crawler verursachen laut Hostinger fast 1,4 Milliarden tägliche Requests und besuchen über 4,2 Millionen Webseiten. Automatisierte Skripte kommen auf 383 Millionen Anfragen täglich und sind mit einer Abdeckung von 91 Prozent nahezu überall präsent.
Die Analyse zeigt, dass Bots unterschiedlich intensive Crawling-Strategien verfolgen. Meta-Bots wie fbexternalhit erreichen mit über 70 Millionen Requests eine Abdeckung von 72 Prozent, während meta-externalagent knapp 154 Millionen Requests mit 60 Prozent Abdeckung auswertet. Der AhrefsBot liegt bei 228 Millionen Requests und 65 Prozent Abdeckung, der Bing-Bot bei 255 Millionen und 58 Prozent. Auffällig ist auch der TikTok-Bot, der 79 Millionen Anfragen stellt und mit 24 Prozent Abdeckung gezielt arbeitet – gleichauf mit dem SEMRush-Bot, während der Apple-Bot mit 49 Millionen Requests auf 22 Prozent kommt. Der Claude-Bot von Anthropic erreicht 66 Millionen Anfragen und bereits 5 Prozent Abdeckung.
Laut Hostinger sind rund 80 Prozent der Crawler US-amerikanischen Technologieunternehmen zuzuordnen – darunter OpenAI, Google, Meta, Amazon, Microsoft, Apple und Anthropic. Chinesische Anbieter wie Baidu, Sogou oder Huawei PetalSearch stellen etwa zehn Prozent, während europäische und russische Anbieter wie Yandex, Majestic oder Dataprovider zusammen weniger als fünf Prozent ausmachen. Damit bleibt die Indexierung des Webs klar in amerikanischer und chinesischer Hand.
Die wachsende Präsenz von KI-Bots hat weitreichende Folgen – sowohl für die Sichtbarkeit von Inhalten als auch für deren wirtschaftliche Nutzung. „Einerseits sehen Unternehmen eine Chance und nutzen sogar generative Suchmaschinenoptimierung, um in KI-bezogenen Suchergebnissen besser sichtbar zu sein. Für diejenigen, die mit den Aufrufen Geld verdienen, bringt diese Veränderung jedoch Herausforderungen mit sich. Wenn ein KI-Tool bereits die vollständige Antwort liefert, werden nur wenige Leser weiterklicken“, erklärt Giedrius Zakaitis, Chief Product and Technology Officer bei Hostinger.
Um Website-Betreibern mehr Transparenz zu verschaffen, hat Hostinger das AI Audit eingeführt – eine Erweiterung seines Content Delivery Network (CDN). Damit können Unternehmen und Kreative nachvollziehen, welche KI-Crawler auf ihre Inhalte zugreifen. „Künstliche Intelligenz eröffnet unglaubliche Möglichkeiten, aber das sollte nicht zum Nachteil der Kreativen werden. Sie sollten selbst entscheiden können, wie ihre Inhalte zu diesem neuen Ökosystem beitragen, ausgehend von ihren Zielen und Wertvorstellungen“, betont Zakaitis. „Genau darum geht es beim KI-Audit: Website-Betreibern die nötige Transparenz und Kontrolle zu bieten.“
Quelle: Hostinger
