Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

Что это за новая хрень, эта штука перегрузила поисковыми запросами мне сайт, cloudflare пишет что если так продолжится будет бабло требовать.
Заблокировал нафик, но у кого-то еще есть эта новая напсать?

Этот бот нашел форму поиска на сайте и фигачит туда поисковые запросы с разными строками поиска, кучами.
Что он там, с**а, ищет, копромат?

Это типа новый тренд в ботах, вместо анализа ссылок, sitemap, делать поисковые запросы?

Здравствуйте, bnk, Вы писали:

bnk>Этот бот нашел форму поиска на сайте и фигачит туда поисковые запросы с разными строками поиска, кучами.
bnk>Что он там, с**а, ищет, копромат?

Он же ИИ, спроси у него, может договоритесь.

Здравствуйте, bnk, Вы писали:


что за GPTBot?

Знаю GPTChat

Здравствуйте, Kocur, Вы писали:

K>что за GPTBot?

K>Знаю GPTChat

Загуглил

GPTBot is used to make our generative AI foundation models more useful and safe. It is used to crawl content that may be used in training our generative AI foundation models. Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.
https://platform.openai.com/docs/bots

В общем заблочил его, не был прописан в robots.txt

А вы думали ИИ выдача от гугла сама по себе работает?

Здравствуйте, bnk, Вы писали:


bnk>В общем заблочил его, не был прописан в robots.txt


на халяву собирает данные для обучения, не спрашивая разрешения?

Здравствуйте, Kocur, Вы писали:

bnk>>В общем заблочил его, не был прописан в robots.txt

K>на халяву собирает данные для обучения, не спрашивая разрешения?

Ага. Ну с другой стороны что не запрещено законом то разрешено.
Просто оказалось сюрпризом что он поисковые запросы валить начал ежесекундно практически.

Здравствуйте, bnk, Вы писали:

bnk>Это типа новый тренд в ботах, вместо анализа ссылок, sitemap, делать поисковые запросы?

В прошлом году Claude сайт грузил, отбился через robots.txt

В этом году Alibaba/Tencent фигачили, но user-agent ставили обычный, блочил подсетями /13
Потом пошел DDOS, но странный, не спамили форум, не сильно грузили сервер, адреса провайдерские, но user-agent у всех одинаковый, заблочил файрволом.

И еще mail-bombing, 10тыс емейлов в час, простой бессваязный текст, до сих пор отголоски проявляются.
Попробовал по фрашментам писем искать в Гугле — сотни сайтов с таким текстом, от блогов, до e-commerce. Разумеется, все фейковое.

Гугл походу на все забил и как Чип Фуз встроил поиск в поиск. Теперь на первом месте AI OverView, CTR упал ниже плинтуса.

Так и живем...