Сап Двач, есть вопрос к знатокам, мб кто сталкивался с такой проблемой - нужно пиздить инфу из различных источников типа Yandex, Amazon, Google и тд. Парсеры я написал и все работает, проблема в том, что я регулярно получаю бан и приходится менять IP. Но при этом, я заметил что если я юзаю хром в анономной табе с выключенным js, то можно сделать довольно много запросов не получая бан. Все хидеры я ставлю от хрома (кроме енкодинга). На что стоит обратить внимание, чтобы добиться эмуляции запроса из хрома?
Может анон знает куда можно обратиться с такими вопросами? (нахуй не предлагать)
бамп
>>777777
Анон, как побороть эту хуйню?
>>778063 (OP)Ну так пизди через хром https://ru.wikipedia.org/wiki/Selenium
>>778082Проблема в том что парсеров много и запускать кучу хромов/phantomjs получает оч накладно по памяти. Идея в том чтобы все спиздить простыми http get запросами
>>778085Наверняка там какие-нибудь токены через JS рассчитываются.Ты как вообще определил какие-там хедеры передаются?
>>778090Я специально написал что JS отключен в хроме и все работает. Хидеры через devtools хрома забрал. Уж больно не охота сидеть и через вайршак снифать все по пакетам
>>778091В Fiddle попробуй
>>778063 (OP)>>778091Юзай fiddler для перехвата своих get или post запросов - универсальный http-сниффер без низкоуровневых tcp/ip загонов вайршарка
