Примечание samlowry: эта заметка – результаты мини-исследования моего уважаемого коллеги ykar-а.
Из трех ботов (msnbot,Googlebot,Slurp) сжатыми странички отдаются только Googlebot-у. Я решил посмотреть что шлют поисковики – вдруг по какой-то банальной причине nginx не понимает что они принимают gzip.
Просниффил трафик на сервере и получил такие запросы:
Сообщение от msnbot
GET /page.html HTTP/1.0
Host: domain.com
User-Agent: msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Accept: text/html, text/plain, text/xml, [...]