Künstliche Intelligenz (KI/AI) und Bots
KI in Kombination mit SEO ist nichts neues. Wer Suchmaschinenoptimierung macht, weiß, das gibt es schon seit vielen Jahren und ist Standard. Doch erst seit ChatGPT und weiteren KI-Tools rückt das Thema breiter in den Fokus und ist stärker im Bewusstsein in der Masse vertreten.
Seitdem Microsoft in ihre Suchmaschine Bing ChatGPT integriert hat und Google SGE gelauncht hat, hat das Thema künstliche Intelligenz in der Suchmaschinenoptimierung mehr Raum eingenommen.
Die Suchmaschinen Bing und Google haben ihre Suchergebnisseite (SERP) so angepasst, dass auf Suchanfragen nicht nur die klassischen Suchergebnisse = zur Suchanfrage thematisch passende Webseiten untereinander angezeigt werden, sondern zeigen nun über diesen (Google) oder daneben (Bing) auch Antworten an, die über KI (AI) generiert wurden. Dies nennt sich auch generative AI. Die KI bedient sich zur Zusammenstellung ihrer Texte und Informationen an bereits vorhanden Informationen von Webseiten im Internet. Sie erstellt ihre Antworten in Sekundenschnelle und ermöglicht Suchmaschinennutzenden zusätzlich direkt Folgefragen an den Chatbot zu stellen. Google setzt dabei noch einen drauf und hat für die Generierung der Inhalte ihr Large Language Model mit einem Multitask Unified Model angereichert, das Informationen aus verschiedenen Formaten wie Webseiten, Bildern und Videos gleichzeitig verstehen kann.
Die AI-Inhalte auf der Suchergebnisseite hat für die Suchmaschinen den Vorteil, dass User länger auf ihrer Seite bleiben, statt, wie bisher, mit einem Klick zu einer anderen Webseite übergehen. Dadurch wird die SERP relevanter, vor allem wenn es um das Schalten von Werbung dort geht und den Wert von Google selbst, Usern mehr Infos und auch direkte wie weiterführende Antworten direkt selbst zu geben unabhängig von anderen Webseiten.
Aus SEO-Sicht ist das ziemlich ungünstig. Wenn User mehr mit der AI der Suchmaschinen interagieren und ihr Thema direkt dort beantwortet wird anstatt auf eine Website zu klicken, verlieren die Webseiten Traffic (Besucher), was sich wiederum auf Anfragen, Verkäufe, Umsatz etc. auswirkt.
Des Weiteren sehen User vielleicht nicht direkt, dass die Antworten der AI eine Zusammenstellung aus Informationen unterschiedlicher Webseiten ist. Nicht die AI hat das ganze Wissen, sondern sie bedient sich an dem bereits vorhandenen Wissen. Selbst wenn Usern dies bewusst ist, kann es dennoch sein, dass sie ihre Antwort trotzdem bereits erhalten ohne auf eine Website zu klicken.
So ist es z. B. auch mit ChatGPT. Der Bot selbst hat nicht das Wissen, sondern bedient sich an Wissen, das es sich aus bereits vorhandenen Quellen zieht. Das Wissen kommt von Anderen.
Genau da liegt aktuell auch das Problem und das ist auch der Grund, weshalb diverse Webseiten ihre Inhalte nun für GPT Bots sperren. Damit schützen sie einerseits den Missbrauch ihres geistigen Eigentums durch AI Tools, andererseits sind sie im AI-Bereich der Suchmaschinen wiederum auch nicht sichtbar.
Mein geschätzter Kollege, Kevin Indig, hat neulich einen ausführlichen Artikel dazu geschrieben. Dabei hat er 1.000 Webseiten analysiert und festgestellt, dass aktuell 12% davon GPT Bots bereits für ihre Website sperren. Er hat die Webseiten in verschiedene Kategorien eingeteilt und prognostiziert, dass es bald 84% sein werden, vor allem in diesen Bereichen:
- Verlage
- Marktplätze
- Contentplattformen
- Wörterbücher
- Bildungswebseiten/-plattformen
- Übersetzungsprogramme
Die Kollegen der Website Originality.ai gehen noch weiter und geben Websites konkret an. Dabei unterteilten sie diese in deren Größe und Bekanntheit:
Top Websites:
- Pinterest
- Amazon
- Quora
- Indeed
Größte Medien-/Verlagseiten:
- New York Times
- The Guardian
- CNN
- USA Today
- Business Insider
- Reuters
- Washington Post
- NPR
- CBS
- NBC
- Bloomberg
- CNBC
- ESPN
Die Top 6 weltweit größten Websites, die GPT Bots zuerst blockierten:
- Wikihow.com – seit 12. Aug. 2023
- New York Times – seit 17. Aug. 2023
- Amazon.com – seit 17. Aug. 2023
- Shutterstock.com – seit 21. Aug. 2023
- CNN.com – seit 22. Aug. 2023
- Quora.com – seit 22. Aug. 2023
AI Bots für die eigene Website sperren?
Es bleibt nun also die Frage, macht es Sinn die eigene Website für diese Bots zu sperren und zu verhindern, dass diese die Inhalte meiner Website nutzen? Das ist eine Grundsatzfrage. Denn ChatGPT zum Beispiel lässt sich per API in andere Tools einbinden. Es geht also nicht nur darum bei Google SGE, der Bing Suchmaschine und bei ChatGPT selbst das Benutzen meiner eigenen Inhalte zu unterbinden, sondern auch in anderen Tools. Bei Wordpress gibt es Plugins, die eine ChatGPT-Integration anbieten, wodurch Wordpress-Nutzende damit bereits kostenlos zügig Inhalte erstellen und theoretisch meine eigenen Inhalte von ihnen via GPT verwendet werden können.
Wir haben mit einigen Kunden bereits darüber gesprochen und die Vor- und Nachteile eruiert. Tatsächlich lässt sich nicht allgemein sagen, dass einen Sperrung sinnvoll ist. Es kommt auf die Ziele, Strategie und darauf an, wie Du Dich aufstellen willst. Gerne berate ich Dich hier unverbindlich, aber im Detail. Bei Interesse schreibe mir gern und wir loten das gemeinsam aus.