DImato
  • Lietuviškai

    • Straipsnis · paskelbta 2026 m. rugsėjo 18 d. · DImato

    Kuriuos DI robotus leisti robots.txt faile?

    Leiskite paieškos ir parsisiuntimo robotus: OAI-SearchBot ir ChatGPT-User – ChatGPT, Claude-SearchBot ir Claude-User – Claude, PerplexityBot – Perplexity, Googlebot – Google AI Overviews ir Gemini, Bingbot – Copilot. Bet kurio iš jų blokavimas pašalina jūsų svetainę iš to variklio atsakymų. Mokymo robotai – GPTBot, ClaudeBot ir Google-Extended – yra atskiras sprendimas: jų blokavimas nekeičia, ar esate cituojami. Šiame puslapyje – kiekvienas robotas, ką jis daro ir ką keičia jo blokavimas, pagal pačių tiekėjų dokumentaciją.

    Kuo skiriasi paieškos robotas nuo mokymo roboto?

    Kiekvienas DI tiekėjas naudoja du ar tris robotus su skirtingomis užduotimis. Paieškos robotas kuria indeksą, kuriame variklis ieško, kai vartotojas užduoda klausimą. Parsisiuntimo robotas atveria puslapį gyvai pokalbio metu. Mokymo robotas renka tekstą būsimiems modeliams mokyti. Tik pirmi du lemia, ar jūsų puslapis gali būti cituojamas.

    Mokymo roboto blokavimas – politikos pasirinkimas. Paieškos roboto blokavimas – matomumo pasirinkimas. Dauguma svetainių, kurios 2024 m. „užblokavo DI“, užblokavo abu ir netyčia tapo necituojamos.

    Kiekvienas DI robotas ir ką keičia jo blokavimas

    User agentTiekėjasUžduotisPaiso robots.txtJei užblokuosite
    OAI-SearchBotOpenAIChatGPT paieškos indeksasTaip, apie 24 val. vėlavimasPašalinama iš ChatGPT paieškos atsakymų
    ChatGPT-UserOpenAIParsisiuntimas gyvai, kai vartotojas klausiaTaipChatGPT negali perskaityti jūsų puslapio pokalbio metu
    GPTBotOpenAITik mokymasTaipJokios įtakos ChatGPT paieškos citatoms
    Claude-SearchBotAnthropicPaieškos indekso kokybėTaip, įskaitant Crawl-delayMažesnis matomumas Claude atsakymuose
    Claude-UserAnthropicParsisiuntimas gyvai vartotojo užklausaiTaipClaude negali perskaityti jūsų puslapio vartotojui
    ClaudeBotAnthropicMokymasTaipJokios įtakos Claude paieškai
    PerplexityBotPerplexityPaieškos indeksas, be mokymoTaipPašalinama iš Perplexity rezultatų
    Perplexity-UserPerplexityParsisiuntimas gyvai vartotojuiPaprastai nepaiso, nes paprašė vartotojasMažai įtakos; jei būtina, blokuokite užkardoje
    GooglebotGooglePaieškos indeksas, taip pat AI Overviews, AI Mode ir Gemini pagrindimasTaipPašalinama iš Google paieškos, AI Overviews ir AI Mode
    Google-ExtendedGoogleValdymo žymė, ne robotas: Gemini mokymas ir Gemini programėlės pagrindimasTaipJokios įtakos paieškai, AI Overviews ar AI Mode
    BingbotMicrosoftBing indeksas, Copilot, dalis ChatGPT pagrindimoTaipPašalinama iš Bing ir Copilot, silpnesnis ChatGPT pagrindimas
    CCBotCommon CrawlAtviras duomenų rinkinys, kurį mokymui naudoja daugelisTaipJokios įtakos jokio variklio citatoms

    Du faktai iš tiekėjų dokumentų svarbiausi. Google-Extended neveikia paieškos, AI Overviews ar AI Mode – jie naudoja Googlebot. O Claude variklis remiasi Brave, todėl Brave robotas turi pasiekti jūsų svetainę, kad Claude ją rastų, nors pati Anthropic šios priklausomybės nepaskelbė.

    robots.txt, kurį galite nukopijuoti

    Tai failas iš dimato.lt. Jis leidžia viską ir pasako kodėl. Mokymo robotų bloke pakeiskite į Disallow: /, jei jūsų politika – atsisakyti mokymo; paieškos robotų nelieskite.

    # Paieškos ir parsisiuntimo robotai: leidžiami, jie daro svetainę cituojamą.
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /

# Mokymo robotai: politikos pasirinkimas. Allow arba Disallow, citatoms įtakos nėra.
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

    Ko robots.txt neapima

    • CDN ar užkarda. Cloudflare, Akamai ir panašios paslaugos siūlo „blokuoti DI robotus“ taisykles, kurios sustabdo ir paieškos, ir mokymo robotus. Pačios Cloudflare 2025 m. duomenys rodo, kad apie 80 % DI robotų srauto yra mokymas ir mažiau nei 5 % – paieška ir vartotojų parsisiuntimai; bendra taisyklė iškeičia nedidelį srauto sutaupymą į nematomumą. Patikrinkite su curl -A "OAI-SearchBot" https://jususvetaine/ kiekvienam robotui ir tikėkitės 200.
    • JavaScript. Joks DI robotas, išskyrus Googlebot, nevykdo JavaScript. Iš daugiau nei 500 mln. GPTBot parsisiuntimų nė vienas nevykdė JavaScript; GPTBot skriptų failus parsisiunčia 11,5 % atvejų, ClaudeBot – 23,8 %, ir nė vienas jų nevykdo. Jei jūsų produktų tekstas generuojamas naršyklėje, kiti varikliai mato tuščią puslapį. Patikrinkite su curl ir ieškokite teksto neapdorotame HTML.
    • Serverio žurnalai. Robotas, kuris leidžiamas, bet niekada neateina, taip pat negali jūsų cituoti. Kas mėnesį skaičiuokite užklausas pagal user agent. Nulis OAI-SearchBot ar PerplexityBot užklausų svetainėje, kuri nori DI srauto, – tai išvada, o ne paguoda.
    • Nauji robotų pavadinimai. Tiekėjai prideda robotų. Kas ketvirtį patikrinkite keturis žemiau nurodytus tiekėjų puslapius.

    Ar blokuoti mokymo robotus?

    Tai politikos sprendimas, kuris citavimui nieko nekainuoja nė viena kryptimi. Įmonės, norinčios, kad modelis prisimintų jų pačių produktų aprašymus, linkusios mokymą leisti; įmonės su licencijuotu turiniu ar redakciniais rūpesčiais – blokuoti. Užfiksuokite sprendimą ir taikykite jį nuosekliai robots.txt faile, CDN ir noai meta žymėse, kad vėliau būtų galima patikrinti.

    Šaltiniai