
Конкретно, Витя рассказал мне, что у Яндекса был особый вход в ЖЖ, позволявший ему (Яндексу) практически мгновенно индексировать и записи, и комменты на всю глубину архива, включая новые комменты к старым записям. В результате яндекс смог создать особую базу данных ЖЖ, которой в итоге и поделился с Кукуцем.
Соответственно, у меня возникла гипотеза, что именно этим особым доступом и объясняется общий запрет на индексирование архива ЖЖ. То есть ЖЖ не просто предоставил Яндексу особый канал доступа к своему ресурсу, но и на всякий случай дополнительно перекрыл шланг всем возможным конкурентам, пожелавшим воспользоваться обычным, общим каналом доступа.
Какое-то время назад Яндекс решил прекратить использование этого особого канала для пополнения своей базы записей и комментов ЖЖ, при этом неведомо зачем убил поиск по уже имеющейся базе. Я в этом деле совсем не разбираюсь, но мне не кажется, что НЕ-убивание поиска по накопленной базе, без новых обновлений этой базы, требовало бы каких-то особых дополнительных ресурсов, экономия которых хоть как-то могла сказаться на финансах корпорации - но тут я, конечно, не копенгаген.
При этом, судя по всему, ограничение на индексирование ЖЖ, изначально введенное ради защиты монопольного статуса Яндекса, снять просто-напросто забыли.
Вот такая гипотеза.