Roboti AI asistentů: OAI-SearchBot, PerplexityBot, ClaudeBot a další

Krátká odpověď: roboti AI (anglicky „AI crawlers“) patří do tří skupin. Vyhledávací roboti rozhodují, jestli vás asistent může najít a citovat. U ChatGPT je to OAI-SearchBot, u Perplexity PerplexityBot, u Claude Claude-SearchBot. AI funkce Googlu, Copilot a Seznam Asistent stojí na klasických robotech Googlebot, Bingbot a SeznamBot. Tréninkoví roboti (třeba GPTBot a ClaudeBot) sbírají texty pro učení jazykových modelů. Přístupy na pokyn uživatele (ChatGPT-User, Claude-User, Perplexity-User) načtou stránku jen tehdy, když ji v chatu potřebuje konkrétní člověk. Kvůli viditelnosti musí mít otevřené dveře hlavně první skupina.

Přehled níže vychází z oficiálních stránek OpenAI, Googlu, Anthropicu, Perplexity, Microsoftu, Applu a Seznamu (stav k 13. 10. 2026). Jak roboty zapsat do souboru robots.txt, tady neopakuji. Hotové vzory najdete v článku robots.txt pro AI, základy souboru v článku robots.txt srozumitelně.

Tři typy robotů: vyhledávání, trénink a akce uživatele

Provozovatelé AI asistentů dnes roboty rozdělují podle účelu a každý typ jde nastavit zvlášť. OpenAI to píše přímo: nastavení jeho robotů jsou na sobě nezávislá, takže můžete pustit OAI-SearchBot, aby vás našlo vyhledávání v ChatGPT, a zároveň zakázat GPTBot, aby se váš obsah nepoužil k tréninku. Stejně oddělené roboty popisují Anthropic, Perplexity, Amazon i Mistral.

Vyhledávací roboti

Procházejí web a staví index, ze kterého asistent vybírá zdroje a odkazy do odpovědi. Když je zakážete, asistent vás najde hůř, nebo vůbec. Google, Microsoft a Seznam pro své AI odpovědi zvláštního vyhledávacího robota neuvádějí. Pravidla pro Googlebot podle Googlu platí pro celé Vyhledávání Google včetně všech jeho funkcí. Bing píše, že Copilot stojí na stejném procházení a indexu jako klasické vyhledávání. A Seznam Asistent podle Seznamu čerpá mimo jiné z dat Vyhledávání.

Tréninkoví roboti

Sbírají texty, které se mohou použít k tréninku jazykových modelů. Když je zakážete, váš obsah se podle provozovatelů do tréninku dostat nemá. U ClaudeBota Anthropic upřesňuje, že jde o budoucí obsah. Na vyhledávání v ChatGPT to podle OpenAI vliv nemá, protože nastavení robotů jsou nezávislá. Anthropic má pro vyhledávání samostatného robota.

Přístupy na pokyn uživatele

Samy po webu nechodí. Stránku načtou, když ji uživatel v chatu vloží nebo když ji asistent kvůli jeho otázce potřebuje otevřít. Protože přístup vyvolal člověk, OpenAI píše, že se na ChatGPT-User pravidla robots.txt „nemusí vztahovat“, a Perplexity, že Perplexity-User robots.txt „obecně ignoruje“. Anthropic naopak uvádí, že jeho roboti robots.txt respektují, a u Claude-User výslovně popisuje, co jeho zákaz způsobí.

Zvláštní případ jsou řídicí názvy Google-Extended a Applebot-Extended. Píšou se do robots.txt jako robot, ale provozovatel podle nich jen pozná, k čemu smí použít obsah stažený jeho běžným robotem. Apple výslovně uvádí, že Applebot-Extended webem neprochází. Google píše, že Google-Extended nemá vlastní označení v požadavcích a obsah stahují jeho běžní roboti. V logu serveru tedy ani jeden název neuvidíte. Do robots.txt patří i Seznam-Extended: Seznam ho popisuje jen jako položku, kterou zakážete použití webu pro AI odpovědi.

Tabulka: roboti velkých asistentů a vyhledávačů

Ve sloupci „Řídí se robots.txt“ je, co o tom píše sám provozovatel. Poslední sloupec říká, čím se dá ověřit, že návštěva je opravdu od něj (postup je níže).

Microsoft zvláštního robota pro Copilot neuvádí. V jeho přehledu robotů je kromě Bingbota ještě AdIdxBot (reklamy v Bingu) a několik robotů, kteří dělají náhledy stránek a videí. Kdo chce být vidět v Copilotu, potřebuje mít otevřený Bingbot.

Další roboti, které můžete v logu potkat

Kromě provozovatelů z tabulky zveřejňují své roboty i další firmy. I tady platí stejné dělení:

• Meta: Meta-WebIndexer hledá obsah pro odpovědi Meta AI a podle Mety pomáhá, aby vás Meta AI citovala. U Meta-ExternalAgent Meta uvádí trénink modelů nebo indexování. Meta-ExternalFetcher načítá odkazy na pokyn uživatele a robots.txt může obejít.
• Amazon: Amzn-SearchBot slouží vyhledávání, například v Alexe, a k tréninku se nepoužívá. Amazonbot se k tréninku modelů Amazonu použít může. Amzn-User jedná na pokyn uživatele a nemusí dodržet všechna pravidla.
• Mistral: MistralAI-Index indexuje pro vyhledávání, MistralAI-Training sbírá data k tréninku a MistralAI-User načítá stránky na pokyn uživatele.
• DuckDuckGo: DuckAssistBot načítá stránky pro AI odpovědi DuckDuckGo a podle DuckDuckGo se data nepoužívají k tréninku. Zákaz v robots.txt se projeví po 72 hodinách.
• Common Crawl: CCBot plní otevřený archiv webu, který si může stáhnout a analyzovat kdokoli. Common Crawl sám upozorňuje, že se za CCBota vydávají i cizí roboti.

Které roboty pustit kvůli viditelnosti

Rozhodnutí se dá shrnout do čtyř skupin. Jde o doporučení podle toho, co provozovatelé o robotech píšou. Žádný z nich nezaručuje, že vás asistent po otevření dveří opravdu vybere.

U Google-Extended rozhoduje, jestli chcete být vidět v aplikaci Gemini. Podrobně to rozebírám v článku Google-Extended: řádek, který může firmu vyřadit z Gemini. Rozdíl mezi tréninkem a vyhledáváním obecně vysvětluje článek Trénink, nebo vyhledávání?

A ještě jedna věc: robots.txt je jen žádost. Robota může zastavit i firewall hostingu nebo Cloudflare, aniž byste o tom věděli. OpenAI a Perplexity proto doporučují kromě robots.txt povolit i jejich zveřejněné IP adresy. Jak zkontrolovat Cloudflare, popisuji v článku Cloudflare blokuje AI roboty.

Jak poznat falešného robota

Název robota je jen text v hlavičce požadavku a napsat ho může kdokoli. Google i Bing to ve své dokumentaci připomínají a Common Crawl výslovně píše, že se za jeho robota vydávají jiní. Když v logu uvidíte „Googlebot“, který zatěžuje server, nemusí to být Google. Pravost se ověřuje dvěma způsoby.

1. Zpětný dotaz do DNS

Ke každé IP adrese z logu se dá zjistit název počítače (zpětný dotaz) a pak ověřit, že tento název vede zpátky na stejnou adresu (dopředný dotaz). Pravý robot má název v doméně provozovatele:

• Google: googlebot.com, google.com nebo googleusercontent.com,
• Bing: search.msn.com,
• Apple: applebot.apple.com,
• Seznam: názvy typu fulltextrobot-77-75-77-xxx.seznam.cz,
• Common Crawl: crawl.commoncrawl.org.

Vyzkoušeno 13. 10. 2026 příkazem host (na Windows funguje obdobně nslookup) na adrese, kterou jako příklad uvádí Google, a na adrese z rozsahu vyhrazeného pro dokumentaci, který žádnému robotovi nepatří:

$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

$ host 203.0.113.50
Host 50.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)

První adresa prošla oběma kroky, je to Google. Druhá nemá žádný název. Kdyby se z ní někdo hlásil jako Googlebot, lže.

2. Zveřejněné seznamy IP adres

OpenAI, Perplexity, Anthropic, Google, Bing, Apple, Seznam, Amazon i DuckDuckGo zveřejňují seznamy adres svých robotů ve formátu JSON. U robotů Anthropicu je to jediná cesta, kterou provozovatel uvádí. Adresa 216.73.216.10 z jeho seznamu navíc při stejném testu žádný zpětný záznam v DNS neměla. Anthropic na své stránce píše, že robot z adresy na tomto seznamu pochází od Anthropicu.

Při testu 13. 10. 2026 jsem nechal pět adres porovnat se seznamy Googlu, OpenAI, Perplexity, Anthropicu, Bingu a Applu. Adresa 66.249.66.1 byla v seznamu Googlu, 216.73.216.10 v seznamu Anthropicu, 157.55.39.1 v seznamu Bingu, 17.241.208.170 v seznamu Applu a 203.0.113.50 nebyla v žádném. Seznamy se mění, proto je porovnání potřeba dělat s aktuální verzí, ne se staženou kopií.

Google navíc u svého agenta zkouší ověřování podpisem (protokol Web Bot Auth s identitou agent.bot.goog). Je to zatím experiment.

Malá firma nic z toho většinou dělat nemusí. Hodí se to, když server zatěžuje neznámý „robot“, nebo když chcete v logu spočítat, kteří roboti AI k vám opravdu chodí. To popisuji v článku Chodí na váš web roboti AI? Jak to zjistit z logů serveru. Pozor na jednu past: Anthropic upozorňuje, že zablokování jeho IP adres nemusí fungovat jako trvalý zákaz, protože robot pak nepřečte ani váš robots.txt. Pro zákaz jeho robotů Anthropic výslovně požaduje úpravu robots.txt.

Kde najít aktuální seznam robotů

Seznamy robotů se mění. Google třeba přejmenoval robota Google-NotebookLM na Google-GeminiNotebook (starý název podporoval do srpna 2026) a OpenAI má v přehledu robota OAI-AdsBot pro reklamy v ChatGPT. Tabulky v článcích, včetně té mé, proto stárnou. Platí to, co je na stránkách provozovatelů:

Z těchto stránek se dostanete i k seznamům IP adres (u Googlu a Bingu přes navazující stránku o ověřování robotů). Doporučuji se na ně podívat aspoň jednou za čtvrt roku, nebo vždy, když v logu uvidíte robota, kterého neznáte.

Shrnutí

• Roboti AI jsou trojí: vyhledávací, tréninkoví a přístupy na pokyn uživatele.
• Kvůli viditelnosti nechte otevřené vyhledávací roboty, včetně klasických Googlebota, Bingbota a SeznamBota.
• Tréninkové roboty můžete zakázat bez vlivu na vyhledávání. Google-Extended a Seznam-Extended ale berou víc než trénink.
• Název robota se dá podvrhnout. Pravost ověříte přes DNS nebo podle zveřejněných IP adres.

Otevření dveří je jen první krok. Asistent vás pak musí najít a vybrat do odpovědi, o tom víc v článku Podle čeho AI asistenti vybírají firmy. Co o vás asistenti opravdu odpovídají, ukáže Zaměření zdarma, jehož součástí je i rychlá kontrola robots.txt.