Помню где-то услышал шутку: — Так у меня доступ ко всему интернету есть, все сайты. — В смысле ты имеешь в виду все сайты до которых дотянулся Google? Мораль была в том, что нет какого-то единого списка сайтов (а раньше были! когда интернет крохотный был), нельзя посмотреть всё в сети. Вы получаете доступ в интернет по большей части через поисковик (даже если какой-то сайт вам посоветовали знакомые — откуда они узнали? а их друзья?) и сохранённые ссылки и сайты. В ноябре '25 CEO Cloudflare (это которые постоянно ложатся, а у вас потом интернет не открывается) загадал загадку: насколько больше веб-страниц видит Googlebot по сравнению с GPTBot (OpenAI), Bingbot (Microsoft) и Claudebot (Anthropic)? Мне было очень интересно, и вот я наткнулся на ответ: На каждую страницу, которую видит бот OpenAI, Google видит 3.2 страницы. Этот коэффициент равен 4.8 для Microsoft и Anthropic, а остальные идут в списке ещё ниже. То есть даже несмотря на невероятную работу, проделанную инженерами OpenAI, они всё равно имеют доступ к примерно в 3 раза меньшему количеству веб-страниц. Сложно сказать, насколько это критично — в хвосте этого распределения данные могут быть не самые качественные или вообще ненужные; плюс на этих страницах может быть банально меньше информации, и меньше её плотносить.