Обход ip: Как сменить IP и обойти блокировки при помощи приватного прокси?

Как сменить IP и обойти блокировки при помощи приватного прокси?

17116 26.01.2019

Поделиться

Класснуть

Поделиться

Твитнуть

Несмотря на то, что Интернет открывает нам огромное количество информации и возможностей для общения, государственные органы многих стран все же закрывают для пользователей доступ к онлайн-ресурсам. Оставим в стороне вопрос эффективности и целесообразности таких мер в современном обществе, и рассмотрим способы получения доступа к запрещенным платформам и контенту, а именно – использование прокси для обхода блокировок.

    

Не вдаваясь в объяснения принципов смены IP и работы промежуточных сервисов, расскажем:

• как игнорировать запреты государственных органов посредством комплекса программ по разблокированию сайтов;
• о преимуществах использования приватных IP-адресов по сравнению с остальными видами прокси;
• на какие нюансы следует обращать внимание при выборе частных сервисов;
об особенностях настройки приватных схем для повышения эффективности смены IP-адреса и получения беспрепятственного доступа к запрещенным сайтам.

Но для начала давайте уточним, к каким именно сайтам применимы эти способы обхода официальных запретов.

Какие популярные сайты запрещены на территории РФ и ближнего зарубежья?

По состоянию на декабрь 2018 года в реестре веб-ресурсов, запрещенных Роскомнадзором, находится 91 480 доменов, 48 455 действующих ссылок и сотни тысяч IP-адресов, и этот список пополняется практически каждый день. Пик активности по блокировке интернет-ресурсов пришелся на период борьбы госорганов с мессенджером «Телеграм».

Российская Федерация

На конец 2018 года Роскомнадзором были заблокированы такие популярные интернет-ресурсы:

• Telegram – мессенджер, заблокирован частично;
• LinkedIn – социальная сеть для профессионалов, заблокирована полностью;
• GitHub – хостинг-платформа, заблокирована частично.

Украина

С 2017 года жителям Украины запрещен доступ ко всем онлайн-сервисам, входящим в состав Mail. Ru.Group, Yandex и ряда других российских сервисов, в частности:

• Vkontakte;
• Одноклассники;
• Яндекс.

Беларусь

В Беларуси блокировка не имеет такого глобального масштаба и касается в основном местных околополитических интернет-ресурсов:

• Spring96;
• Twirpx и т. д.

Если вы житель или гость одной из указанных стран и привыкли пользоваться вышеупомянутыми платформами для личных или деловых нужд, то вам очень пригодятся знания о том, как обойти блокировку сайта посредством прокси.

Почему для обхода блокировки желательно выбирать именно приватные прокси-сервера?

Пользователи, которые только начинают разбираться в особенностях использования прокси для обхода блокировок, или же те, которые по каким-то причинам не желают вкладывать деньги в программное обеспечение высокого класса, а именно такими являются приватные IP-адреса, наверняка предпочтут работать с публичными программами для смены айпи.

Естественно, что доступность публичных прокси сопряжена с достаточно низким качеством, невысокой стабильностью и медленной скоростью работы.

В то же время частные IP обладают следующими очевидными преимуществами:

• Совместимы с большим количеством сетевых протоколов HTTP и HTTPS, а также Socks-версий 4 и 5.
• Повышенная скорость и стабильность работы за счет того, что провайдеры владеют собственными дата-центрами и производят постоянный мониторинг работы своего оборудования.
• Подключение к персональным прокси подразумевает получение доступа к большему количеству потоков и каналам с повышенной пропускной способностью трафика.
• Использование приватных IP-серверов не предусматривает каких-либо ограничений относительно интернет-трафика.
• Данный способ смены IP и обхода онлайн-цензуры подходит для всех популярных операционных систем.
• Данная услуга всегда предоставляется «в одни руки», то есть выбранный прокси-сервер будет закреплен лишь за одним пользователем на протяжении всего времени аренды, что является значимым фактором с точки зрения безопасности, скорости и стабильности его работы.

Из всего вышеперечисленного можно сделать вывод, что при выборе способа обхода блокировок лучше всего использовать приватные прокси, поскольку они обладают повышенной эффективностью и надежностью.

Как настроить персональный прокси для смены IP и обхода блокировок?

Как получить доступ к LinkedIn?

После того как вы купили прокси для LinkedIn, необходимо создать собственную учетную запись, вход в которую будет всегда осуществляться посредством введения персонального логина и пароля. Войдя в личный кабинет на сайте Proxy-Seller.ru, можно воспользоваться следующими опциями:

• поиск по существующей базе по таким параметрам, как страна, город и т.д.;
• выбор прокси из предварительно составленного списка, сформированного на базе как вышеупомянутых параметров, так и дополнительных характеристик, к примеру, скорость соединения, время онлайн, тип соединения и пр.

Кроме этого, вы сможете в любое время проверить текущий IP-адрес и посмотреть статистику пользования выбранным промежуточным прокси-сервером. Также вам будет предоставлена возможность произведения настроек учетной записи, что подразумевает изменение тарифного плана, контактной информации, пароля и т.д.

Как решить проблему с Telegram?

Оптимальным вариантом для пользователя, желающего найти прокси-сервер для «Телеграм» или другого заблокированного ресурса, будет выбор подходящей службы из имеющегося списка. Для того, чтобы сменить IP и иметь возможность заходить в Telegram, LinkedIn, Netflix и другие платформы, лучше всего приобрести индивидуальные прокси США. Дождавшись положительного ответа системы о том, что программа находится в рабочем состоянии, вам нужно скопировать IP-адрес и порт, а затем ввести их в приложение. Остается лишь сохранить внесенные данные прокси для обхода блокировок и получить беспрепятственный доступ к необходимым веб-ресурсам.

О чем необходимо помнить при использовании приватного прокси?

Если вам необходим прокси-сервер для «Телеграм» или LinkedIn, помните, что для этих целей необходимо выбирать такой, который находится в той стране, где выбранный ресурс не заблокирован.

К примеру, если вы житель Украины, желающий получить беспрепятственный доступ к сети VKontakte, оптимальней всего будет заказать приватные прокси-сервера Россииа>.

Поделиться

Класснуть

Поделиться

Твитнуть

Please enable JavaScript to view the comments powered by Disqus.

Обход цензуры с помощью использования DNS

Что такое DNS?

DNS (англ. аббревиатура Domain Name System, или «Система доменных имен») – протокол, который «переводит» язык слов в названии сайта на язык чисел, используемый при создании адреса этого сайта в Интернете – интернет-протокола (IP).

Например, адрес «Голоса Америки» – voanews.com, а его IP-версия – 152.75.191.91.

Как это работает

В Интернете все, включая вашего интернет-провайдера, имеет отдельный DNS-адрес. Чтобы узнать собственный DNS, зайдите в START/Пуск, далее RUN/Выполнить, впечатайте в открывшейся строке аббревиатуру команды – cmd, (нажмите ENTER) и в новом отрывшемся окне – ipconfig/all (нажмите ENTER), и в появившейся серии чисел будет строка IP Address и DNS Server.

Стоит отметить, что записей о DNS – несколько, и эти многочисленные копии распространяются по всей сети. Именно этот фактор и децентрализованная структура Интернета позволяют правительствам и хакерам использовать всемирную паутину для своих нужд.

Не вдаваясь в технические подробности, хочу перейти к вопросу о том, как интернет-провайдер или власти могут изменять записи DNS и таким образом перенаправлять трафик с затребованного сайта туда, куда считает нужным. Например, пользователь в стране X может попытаться зайти на сайт voanews.com, однако измененный DNS может привести его на поддельную страницу или на экран с сообщением «ошибка 404», тем самым блокируя доступ.

Учитывая вышесказанное, хочу отметить, что некоторые лица также используют лазейки в базе DNS для обхода решений властей по изменению этих адресов. Это можно осуществлять, используя несколько разных вариантов протоколов, однако я хочу поговорить об одном из самых популярных – Google DNS.

Интернет-гигант Google поддерживает собственную базу DNS, которая находится в свободном доступе для всех пользователей. По словам Google, она максимально приближена к реальной базе вебсайтов и их подлинных IP-адресов.

Этот список Google доступен по двум IP-адресам: 8.8.8.8 и 8.8.4.4

Изменив настройки компьютера или смартфона, вы можете получить доступ к подлинному списку DNS, однако та самая страна X, о которой я говорил выше, может быть недовольна подобными действиями.

Работа с Google DNS может показаться довольно непростой, поэтому компания разместила подробные инструкции здесь. Тем не менее, однажды выполнив пошаговую инструкцию, можно получить доступ ко многим заблокированным властями сайтам.

Изменение DNS, ведущее к блокировке страницы сайта, – инструмент довольно примитивный. Довольно часто это первая реакция запаниковавших властей или правительств, не обладающих достаточными техническими навыками. Такой подход можно сравнить с установкой неправильных указателей на дороге – часть водителей съедет с правильного пути, однако другая часть продолжит двигаться по нужному маршруту. Поэтому власти стремятся полностью заблокировать трафик, и не только установив ошибочные знаки, но и применив ряд других мер.





Возможные минусы работы с DNS

Несмотря на удобство работы с DNS в случае необходимости получения доступа к заблокированному контенту, на практике этот инструмент недолговечен. Жители тех стран, где правительство агрессивно проводит политику цензуры в Интернете, нуждаются в нескольких инструментах борьбы с ней.

Также не стоит забывать, что сохранять анонимность, пользуясь DNS, невозможно. DNS можно использовать для быстрого обхода блокировки, однако этот инструмент не защитит ваши личные данные. Это скорее уловка, чем серьезный инструмент, поэтому польза от его применения – ограничена.

Сайт заблокирован? Это неприятно, но проблему можно решить

Роскомнадзор угрожает заблокировать доступ к сайтам Русской службы Радио Свобода Svoboda.org, Sibreal.org, Sevreal.org и Factograph.info на территории РФ, сославшись на невыполнение приказа о новом порядке маркировки сообщений редакциями – «иностранными агентами». Медиакорпорация Радио Свободная Европа/Радио Свобода считает эти действия атакой государства на свободу слова, нарушением международного законодательства, Конституции России и закона о средствах массовой информации, а также нарушением правил информационной конкуренции. Мы рассказываем о том, как осуществляются блокировки и как их можно обойти.

Что делать, если власти заблокировали доступ к моему любимому СМИ?

Во-первых, многие СМИ предлагают установить собственные приложения. Мы также рекомендуем использовать мобильные приложения Радио Свобода. В приложении интегрированы инструменты обхода блокировки, которые включаются автоматически в случае недоступности сервера

Во-вторых, властям будет сложно ограничить присутствие издания в социальных сетях — для этого придется либо заблокировать соцсеть целиком, либо договориться с ней о точечной блокировке аккаунтов СМИ. Радио Свобода присутствует в большинстве популярных социальных сетей — Youtube, Facebook, Twitter, ВКонтакте, Telegram, YandexZen и других. Прямой эфир Радио Свобода доступен на всех цифровых платформах и некоторых умных колонках, студия подкастов Радио Свобода размещает подкасты основных передач на большинстве аудио платформ — YouTube, iTunes, Google, Spotify, Castbox, Yandex.music и SoundCloud.

В-третьих, с помощью анонимайзеров можно обходить блокировку непосредственно сайта издания. Рассказываем об этом подробнее.

Как можно обойти блокировку РКН?

Способов обойти блокировки достаточно много, в сущности они сводятся к одному: они позволяют пользователю сделать вид, что он обращается к сервису не из России, а из другой страны или вообще анонимно. Российский регулятор не в силах запретить (якобы) иностранным пользователям обращаться к иностранным серверам. Обход блокировки буквально выглядит как обращение к сервису не напрямую, а через цепочку других сервисов.

Инструментов для этого много. Это и специальные интернет-браузеры (Tor и его многочисленные аналоги) и Proxy-сети (их обычно используют для доступа к конкретному сервису, например, Telegram) и приложения VPN (Virtual Private Network), которые пропускают весь трафик пользователя в зашифрованном виде через промежуточную виртуальную сеть (их лучше использовать для доступа к ресурсам, где требуется авторизация). Некоторые из этих инструментов работают как отдельные приложения для смартфонов или компьютеров, другие как плагины для браузеров.

Совет управляющих по вопросам вещания США (попечитель получающих финансирование Конгресса США СМИ в других странах, в том числе Радио Свобода) разместил ссылки на набор таких инструментов на специально созданном сайте Bypass Censorship («Обход цензуры»).

В него вошли шесть бесплатных приложений:

Tor – браузер, пропускающий трафик пользователя через распределенную систему прокси-серверов, управляемую добровольцами по всему миру и позволяющую устанавливать анонимное сетевое соединение.

Psiphon – приложение, использующее технологию VPN. Psiphon-клиент автоматически узнает о новой точке доступа, чтобы максимально повысить шансы обойти цензуру, но не обеспечивающий анонимность.

Orbot – прокси-приложение.

Orfox – аналог браузера Tor, пропускающий трафик пользователя через цепочку серверов, расположенных в разных странах. Работает только на Android.

FreeBrowser – интернет-браузер со встроенной системой обхода блокировок, не требующей дополнительной настройки. Его используют для преодоления цензуры китайские пользователи. Только Android.

Lantern – распределенная система обхода блокировок, которая использует сетевые соединения других пользователей приложения в разных странах.

Все эти приложения бесплатны, Lantern ([email protected]) и Psiphon ([email protected]) можно запросить по электронной почте, если ссылки на веб-версии будут заблокированы.

Помимо этих приложений имеет смысл обратить внимание на браузерные расширения. Вот несколько анонимайзеров для самого популярного на сегодняшний день браузера, Google Chrome: RusVPN , Ininja, ZenMate VPN. Эти плагины можно использовать бесплатно, хотя версии с расширенными функциями предлагаются по платной подписке.

Российские власти понимают, что цензуру в интернете легко обойти с помощью VPN-сетей, прокси-серверов и других анонимайзеров. Ещё летом 2017 года был принят закон, запрещающий «обеспечивать использование на территории России информационно-телекоммуникационных сетей, информационных систем и программ для ЭВМ для получения доступа к информационным ресурсам, в том числе сайтам и (или) страницам сайтов в сети Интернет, доступ к которым на территории РФ ограничен». Согласно идее депутатов, анонимайзеры, работающие в России, должны закрыть для российских пользователей доступ к сайтам из реестра Роскомнадзора, в противном случае они могут быть заблокированы сами. Ответственности конечных пользователей за использование запрещенных анонимайзеров документ не предполагает. Впрочем, вскоре после принятия вступления закона в силу в РКН признали, что он фактически не применяется. Рычагов давления на иностранных разработчиков анонимайзеров у российских властей нет, а эффективно блокировать их очень сложно – инструментов обхода блокировок очень много.

Как Роскомнадзор блокирует сайты/сервисы?

РКН блокирует доступ к IP-адресам сайта или сервиса. IP-адреса – адреса, которые указывают местонахождение серверов, то есть площадок, на которых физически или виртуально размещены данные сайта/сервиса.

На самом деле, РКН не сам блокирует доступ к IP-адресам, а требует этого от всех российских интернет-провайдеров. Сам РКН лишь проверяет, выполняются ли провайдеры требование регулятора с помощью специальной системы “Ревизор”.

Многие, особенно крупные интернет-серверы, используют множество IP-адресов, и РКН блокирует их блоками (грубо говоря, все, начиная с такого-то по такой-то). Это может привести к тому, что заблокированными окажутся и сервисы, IP-адреса которых случайно оказались внутри такого блока. Например, когда РКН блокировал Telegram, под удар попали сервисы музеев Московского Кремля, использующие ту же хостинговую площадку.

При желании и возможности сервисы могут эффективно сопротивляться такой блокировке, постоянно изменяя свой список IP-адресов (это можно сделать, физически оставаясь на тех же серверах). Пример такого успешного сопротивления показал тот же Telegram. Однако не слишком крупные сервисы или сервисы, которые не рассматривают Россию в качестве ключевого рынка, самостоятельно противостоять блокировкам РКН не могут из-за недостатка ресурсов (как, например, издание Грани.ру) или не хотят (как Linked.In). Зато это вполне по силам сделать их заинтересованным пользователям, как мы показали выше.

Как РКН хочет блокировать сайты/сервисы в будущем?

Так называемый “закон о суверенном интернете” предполагает два больших нововведения.

Во-первых, это создание инфраструктуры российского интернета, фактически независимой от внешнего мира. Сейчас это далеко не так: например, система доменных имен и система маршрутизации организованы глобально, и чисто теоретически, их работа в российском сегменте может быть нарушена извне. Именно на это упирают авторы закона о “суверенном интернете”. В действительности, на глобальном уровне инфраструктурой интернета никто не управляет, отдельные общие технические и координационные вопросы, например, о распределении IP-адресов, решают нейтральные организации которые де-факто выражают волю своих членов — то есть тех же участников сети, операторов, контент провайдеров и так далее. Они не контролируются никакими государствами и не могут выключить России “рубильник” следуя чьим-то политическим интересам. Зато создание отдельной инфраструктуры – возможность не только полностью или почти полностью перекрыть каналы связи с внешним миром, но и взять внутренний интернет под тотальный государственный контроль.

Во-вторых, это развертывание системы, которая позволит РКН блокировать интернет-ресурсы принципиально новым способом. Специальное оборудование, размещенное во всех узлах российского интернета, будет анализировать проходящие через них данные, и блокировать те, которые содержат нежелательную информацию или связаны с определенными сервисами или сайтами. Грубо говоря, не важно, откуда и куда идет информация, а важно, что именно в ней содержится.

На какой стадии находится развертывание этих систем – неизвестно. В конце 2019 года в нескольких регионах были проведены “учения” по использованию новой системы блокировки, пользователи отмечали замедление работы сети. Это может объясняться как раз тем, что анализ большого объема трафика занимает некоторое время. Дальнейшие «учения» планировались на весну 2020 года, но были отложены из-за эпидемии COVID-19.

Кроме того, сложно сказать, насколько существенно новая система расширит практические возможности РКН по блокировке интернет-ресурсов. Она хорошо работает, когда есть возможность эффективно отличить “запрещенный” трафик от обычного, например, когда это пакеты какого-то мессенджера с известной сигнатурой. Другими словами, этот подход, вероятно, был бы более эффективным для блокировки Telegram, но он не даст ничего нового для блокировки доступа, например, к сайтам СМИ. Впрочем, новый инструмент позволит более эффективно противостоять средствам обхода блокировок, таким, как VPN-сервисы.

Как можно будет обойти блокировки “суверенного интернета”?

Это неизвестно, потому что по-прежнему мало ясности о том, как именно будет работать суверенный интернет и когда он будет развернут. С философской точки зрения, впрочем, можно сказать, что блокировки и их обход – такая же бесконечная и бессмысленная гонка, как соперничество брони и снарядов. Любой по-настоящему сложный для обхода способ блокировки нанесет огромный удар по остальным интернет-сервисам, в том числе и государственным. Даже “великий китайский файрвол” не так-то сложно обойти, а его относительная эффективность связана с тем, что внутренняя экосистема китайского интернета настолько велика и наполнена собственными удобными сервисами, что у пользователей просто нет особой мотивации выходить за ее рамки.

Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.

Выявляем и блокируем пакеты пассивного DPI

Поддельные пакеты, формируемые DPI, легко обнаружить анализатором трафика, например, Wireshark.

Пробуем зайти на заблокированный сайт:

Мы видим, что сначала приходит пакет от DPI, с HTTP-перенаправлением кодом 302, а затем настоящий ответ от сайта. Ответ от сайта расценивается как ретрансмиссия и отбрасывается операционной системой. Браузер переходит по ссылке, указанной в ответе DPI, и мы видим страницу блокировки.

Рассмотрим пакет от DPI подробнее:

HTTP/1.1 302 Found
Connection: close
Location: http://warning.rt.ru/?id=17&st=0&dt=195.82.146.214&rs=http%3A%2F%2Frutracker.org%2F

В ответе DPI не устанавливается флаг «Don’t Fragment», и в поле Identification указано 1. Серверы в интернете обычно устанавливают бит «Don’t Fragment», и пакеты без этого бита встречаются нечасто. Мы можем использовать это в качестве отличительной особенности пакетов от DPI, вместе с тем фактом, что такие пакеты всегда содержат HTTP-перенаправление кодом 302, и написать правило iptables, блокирующее их:

# iptables -A FORWARD -p tcp --sport 80 -m u32 --u32 "0x4=0x10000 && 0x60=0x7761726e && 0x64=0x696e672e && 0x68=0x72742e72" -m comment --comment "Rostelecom HTTP" -j DROP

Что это такое? Модуль u32 iptables позволяет выполнять битовые операции и операции сравнения над 4-байтовыми данными в пакете. По смещению 0x4 хранится 2-байтное поле Indentification, сразу за ним идут 1-байтные поля Flags и Fragment Offset.

Начиная со смещения 0x60 расположен домен перенаправления (HTTP-заголовок Location).

Если Identification = 1, Flags = 0, Fragment Offset = 0, 0x60 = «warn», 0x64 = «ing.», 0x68 = «rt.ru», то отбрасываем пакет, и получаем настоящий ответ от сайта.

В случае с HTTPS-сайтами, DPI присылает TCP Reset-пакет, тоже с Identification = 1 и Flags = 0.

Активный DPI

Активный DPI — DPI, подключенный в сеть провайдера привычным образом, как и любое другое сетевое устройство. Провайдер настраивает маршрутизацию так, чтобы DPI получал трафик от пользователей к заблокированным IP-адресам или доменам, а DPI уже принимает решение о пропуске или блокировке трафика. Активный DPI может проверять как исходящий, так и входящий трафик, однако, если провайдер применяет DPI только для блокирования сайтов из реестра, чаще всего его настраивают на проверку только исходящего трафика.

Системы DPI разработаны таким образом, чтобы обрабатывать трафик с максимально возможной скоростью, исследуя только самые популярные и игнорируя нетипичные запросы, даже если они полностью соответствуют стандарту.

Изучаем стандарт HTTP

Типичные HTTP-запросы в упрощенном виде выглядят следующим образом:

GET / HTTP/1.1
Host: habrahabr.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0
Accept-Encoding: gzip, deflate, br
Connection: keep-alive

Запрос начинается с HTTP-метода, затем следует один пробел, после него указывается путь, затем еще один пробел, и заканчивается строка протоколом и переносом строки CRLF.

Заголовки начинаются с большой буквы, после двоеточия ставится символ пробела.

Давайте заглянем в последнюю версию стандарта HTTP/1.1 от 2014 года. Согласно RFC 7230, HTTP-заголовки не зависят от регистра символов, а после двоеточия может стоять произвольное количество пробелов (или не быть их вовсе).

   Each header field consists of a case-insensitive field name followed
   by a colon (":"), optional leading whitespace, the field value, and
   optional trailing whitespace.

     header-field   = field-name ":" OWS field-value OWS

     field-name     = token
     field-value    = *( field-content / obs-fold )
     field-content  = field-vchar [ 1*( SP / HTAB ) field-vchar ]
     field-vchar    = VCHAR / obs-text

     obs-fold       = CRLF 1*( SP / HTAB )
                    ; obsolete line folding

OWS — опциональный один или несколько символов пробела или табуляции, SP — одинарный символ пробела, HTAB — табуляция, CRLF — перенос строки и возврат каретки (\r\n).

Это значит, что запрос ниже полностью соответствует стандарту, его должны принять многие веб-серверы, придерживающиеся стандарта:

GET / HTTP/1.1
hoSt:habrahabr.ru
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0
Accept-Encoding:           gzip, deflate, br
coNNecTion:	keep-alive      ← здесь символ табуляции между двоеточием и значением

На деле же, многие веб-серверы не любят символ табуляции в качестве разделителя, хотя подавляющее большинство серверов нормально обрабатывает и отсутствие пробелов между двоеточием в заголовках, и множество пробелов.

Старый стандарт, RFC 2616, рекомендует снисходительно парсить запросы и ответы сломанных веб-северов и клиентов, и корректно обрабатывать произвольное количество пробелов в самой первой строке HTTP-запросов и ответов в тех местах, где требуется только один:

Clients SHOULD be tolerant in parsing the Status-Line and servers tolerant when parsing the Request-Line. In particular, they SHOULD accept any amount of SP or HT characters between fields, even though only a single SP is required.

Этой рекомендации придерживаются далеко не все веб-серверы. Из-за двух пробелов между методом и путем ломаются некоторые сайты.

Спускаемся на уровень TCP

Соединение TCP начинается с SYN-запроса и SYN/ACK-ответа. В запросе клиент, среди прочей информации, указывает размер TCP-окна (TCP Window Size) — количество байт, которые он готов принимать без подтверждения передачи. Сервер тоже указывает это значение. В интернете используется значение MTU 1500, что позволяет отправить до 1460 байтов данных в одном TCP-пакете.

Если сервер указывает размер TCP-окна менее 1460, клиент отправит в первом пакете данных столько, сколько указано в этом параметре.

Если сервер пришлет TCP Window Size = 2 в SYN/ACK-пакете (или мы его изменим на это значение на стороне клиента), то браузер отправит HTTP-запрос двумя пакетами:

Пакет 1:

GE

Пакет 2:

T / HTTP/1.1
Host: habrahabr.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0
Accept-Encoding: gzip, deflate, br
Connection: keep-alive

Используем особенности HTTP и TCP для обхода активного DPI

Многие решения DPI ожидают заголовки только в стандартном виде.

Для блокировки сайтов по домену или URI, они ищут строку «

Host:

» в теле запроса. Стоит заменить заголовок «Host» на «hoSt» или убрать пробел после двоеточия, и перед вами открывается запрошенный сайт.

Не все DPI можно обмануть таким простым трюком. DPI некоторых провайдеров корректно анализируют HTTP-заголовки в соответствии со стандартом, но не умеют собирать TCP-поток из нескольких пакетов. Для таких DPI подойдет «фрагментирование» пакета, путем искусственного уменьшения TCP Window Size.

В настоящий момент, в РФ DPI устанавливают и у конечных провайдеров, и на каналах транзитного трафика. Бывают случаи, когда одним способом можно обойти DPI вашего провайдера, но вы видите заглушку транзитного провайдера. В таких случаях нужно комбинировать все доступные способы.

Программа для обхода DPI

Я написал программу для обхода DPI под Windows:

GoodbyeDPI

.

Она умеет блокировать пакеты с перенаправлением от пассивного DPI, заменять Host на hoSt, удалять пробел между двоеточием и значением хоста в заголовке Host, «фрагментировать» HTTP и HTTPS-пакеты (устанавливать TCP Window Size), и добавлять дополнительный пробел между HTTP-методом и путем.

Преимущество этого метода обхода в том, что он полностью автономный: нет внешних серверов, которые могут заблокировать.

По умолчанию активированы опции, нацеленные на максимальную совместимость с провайдерами, но не на скорость работы. Запустите программу следующим образом:

goodbyedpi.exe -1 -a

Если заблокированные сайты стали открываться, DPI вашего провайдера можно обойти.

Попробуйте запустить программу с параметром

-2

и зайти на заблокированный HTTPS-сайт. Если все продолжает работать, попробуйте режим

-3

и

-4

(наиболее быстрый).

Некоторые провайдеры, например, Мегафон и Yota, не пропускают фрагментированные пакеты по HTTP, и сайты перестают открываться вообще. С такими провайдерами используйте опцию

-3 -a

Эффективное проксирование для обхода блокировок по IP

В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов.

Программа

ReQrypt

работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения

с подменой исходящего IP-адреса на клиентский

, сервер назначения отвечает клиенту напрямую, минуя ReQrypt.

Если наш компьютер находится за NAT, мы не можем просто отправить запрос на сервер ReQrypt и ожидать ответа от сайта. Ответ не дойдет, т.к. в таблице NAT не создана запись для этого IP-адреса.
Для «пробива» NAT, ReQrypt отправляет первый пакет в TCP-соединении напрямую сайту, но с TTL = 3. Он добавляет запись в NAT-таблицу роутера, но не доходит до сайта назначения.

Долгое время разработка была заморожена из-за того, что автор не мог найти сервер с возможностью спуфинга. Спуфинг IP-адресов часто используется для амплификации атак через DNS, NNTP и другие протоколы, из-за чего он запрещен у подавляющего большинства провайдеров. Но сервер все-таки был найден, хоть и не самый удачный. Разработка продолжается.

Заключение и TL;DR

GoodbyeDPI

— программа под Windows, позволяющая обходить пассивные и активные DPI. Просто скачайте и запустите ее, и заблокированные сайты станут снова доступны.

Для Linux есть аналогичная программа —

zapret

.

Используйте кроссплатформенную программу ReQrypt, если ваш провайдер блокирует сайты по IP-адресу.

Определить тип блокировки сайтов можно программой Blockcheck. Если в тестах DPI вы видите, что сайты открываются, или видите строку «обнаружен пассивный DPI», то GoodbyeDPI вам поможет. Если нет, используйте ReQrypt.

Дополнительная полезная информация есть здесь и здесь.

Internet Explorer использует прокси-сервер для локального IP-адреса — Browsers

• 01/21/2021
• Чтение занимает 2 мин

В этой статье

Важно!

Настольное приложение Internet Explorer 11 будет снято с службы поддержки 15 июня 2022 г. (список того, что имеется в области, см. в faq). Те же приложения и сайты IE11, которые вы используете сегодня, могут открываться в Microsoft Edge режиме Internet Explorer. Подробнее см. здесь.

В этой статье вы сможете решить проблему, возникаюную при подключении к веб-серверу с помощью ip-адреса или полноквалифицированного доменного имени (FQDN) в локальной сети.

Применяется к:   Windows 7 Корпоративная, Windows 7 Корпоративная N, Windows 7 Домашняя базовая, Windows 7 Домашняя расширенная, Windows 7 Профессиональная, Windows 7 Профессиональная N, Windows 7 Начальная, Windows 7 Начальная N, Windows 7 Максимальная, Windows 7 Максимальная N, Microsoft Windows Server 2003 выпуск Standard (32-bit x86), Internet Explorer
Исходный номер КБ:   262981

Симптомы

При подключении к веб-серверу с помощью ip-адреса internet Protocol (IP) или полноквалифицированного доменного имени (FQDN) в локальной сети microsoft Internet Explorer или Windows Internet Explorer подключается через назначенное прокси-сервер, даже если включен прокси-сервер обхода для локальных адресов.

Однако при подключении к веб-серверу с использованием имени хозяина (например, ) вместо IP-адреса http://webserver (например,) или http://10.0.0.1 FQDN (например, ), прокси-сервер обходится без прокси-сервера, а Internet Explorer подключается непосредственно к http://webserver.domainname.com серверу.

Причина

По умолчанию при включении прокси-сервера обхода для локальных адресов проверяются только имена хостов.

Решение

Чтобы обойти диапазон IP-адресов или определенного доменного имени, укажите адреса в списке исключений прокси:

1. Откройте Internet Explorer и в меню Сервис выберите Свойства браузера.
2. На вкладке Подключения выберите lan-Параметры.
3. Выберите Расширенный и введите соответствующую информацию в области Исключения.

Статус

Такое поведение является особенностью данного продукта.

Page not found | Официальная служба поддержки Avast

For the best Support Center experience, JavaScript must be turned on in your browser settings

При совершении покупок в магазине Avast вы можете получить уведомление о том, что вам необходимо разрешить использование JavaScript и/или файлы cookie в своем браузере. Это связано с тем, что магазин Avast не может загружаться и правильно работать без включения этих настроек.

Чтобы разрешить использование JavaScript и/или файлов cookie, обратитесь к информации в соответствующем разделе ниже в зависимости от вашего браузера.

Google Chrome

Разрешение использования JavaScript

Инструкции по разрешению использования JavaScript на всех сайтах, которые вы посещаете с помощью Google Chrome, приведены в разделе Шаг 2. Включите JavaScript справочной статьи Google Chrome, приведенной ниже.

Если вы хотите включить JavaScript только для веб-страниц домена avast.com, выполните следующие действия.

1. Откройте ⋮ Меню (три точки) ▸ Настройки.
2. Нажмите Конфиденциальность и безопасность ▸ Настройки сайта.
3. В меню Содержимое нажмите JavaScript.
4. Щелкните кнопку Добавить рядом с элементом Разрешить.
5. Введите [*.]avast.com и нажмите Добавить.

Пункт [*.]avast.com появится в вашем списке разрешений. Это означает, что для всех веб-страниц с адресом, начинающимся с avast.com (например, www.avast.com/store), будут разрешено использование JavaScript.

Разрешение использования файлов cookie

Инструкции по управлению настройками файлов cookie в Google Chrome приведены в разделе Как изменить настройки файлов cookie справочной статьи Google Chrome, приведенной ниже.

Mozilla Firefox

Разрешение использования JavaScript

По умолчанию использование JavaScript разрешено в Mozilla Firefox для всех сайтов. Если вы отключили JavaScript с помощью расширения браузера, которое позволяет настраивать параметры JavaScript, вам необходимо повторно включить JavaScript с помощью этого расширения. Более детальную информацию о настройках JavaScript в Mozilla Firefox можно найти в статье из поддержки Mozilla ниже.

Разрешение использования файлов cookie

Инструкции по управлению общими настройками файлов cookie для всех сайтов, которые вы посещаете с помощью Mozilla Firefox, приведены в статье поддержки Mozilla, указанной ниже.

Если вы хотите разрешить файлы cookie только для веб-страниц домена avast.com, выполните следующие шаги.

1. Откройте любую страницу домена avast.com в окне своего браузера (любой URL-адрес, который начинается с avast.com).
2. Нажмите значок щита слева от адресной строки.
3. Нажмите синий (ВКЛ.) ползунок рядом с элементом Улучшенная защита от отслеживания на этом сайте ВКЛЮЧЕНА, чтобы он стал серым (ВЫКЛ.)

Файлы cookie будут разрешены для всех веб-страниц домена avast.com.

Safari

Разрешение использования JavaScript

По умолчанию использование JavaScript разрешено в Safari для всех сайтов. Если вы самостоятельно отключили JavaScript, выполните следующие действия для включения этой функции.

1. Убедитесь, что окно Safari открыто и активно.
2. Нажмите Safari ▸ Настройки… в левой части строки меню.
3. Выберите панель Безопасность и убедитесь, что рядом с элементом Разрешить JavaScript установлен флажок.

Использование JavaScript будет разрешено для всех сайтов, которые вы посещаете с помощью Safari.

Разрешение использования файлов cookie

В Safari нет возможности разрешить использование файлов cookie для определенных сайтов. Однако вы можете управлять общими настройками файлов cookie, которые применяются ко всем сайтам, посещаемым вами с помощью Safari. Более детальную информацию о доступных вариантах можно найти в статье поддержки Apple, приведенной ниже.

Microsoft Edge

Информация ниже применима к новой версии Microsoft Edge (версия 79.0.309 или новее).

Разрешение использования JavaScript

Чтобы включить JavaScript для всего домена avast.com, выполните следующие действия.

1. Откройте ... Меню (три точки) ▸ Настройки.
2. Выберите Файлы cookie и разрешения сайтов ▸ JavaScript.
3. Щелкните кнопку Добавить рядом с элементом Разрешить.
4. Введите [*.]avast.com и нажмите Добавить.

Пункт [*.]avast.com появится в вашем списке разрешений. Это означает, что для всех веб-страниц с адресом, начинающимся с avast.com (например, www.avast.com/store), будут разрешено использование JavaScript.

Разрешение использования файлов cookie

Инструкции по управлению общими настройками файлов cookie, применимыми ко всем сайтам, которые вы посещаете с помощью Microsoft Edge, приведены в справочной статье Microsoft, указанной ниже.

Если вы хотите разрешить файлы cookie только для домена avast.com, выполните следующие шаги.

1. Откройте ... Меню (три точки) ▸ Настройки.
2. Выберите Файлы cookie и разрешения сайтов ▸ Файлы cookie и данные сайта.
3. Щелкните кнопку Добавить рядом с элементом Разрешить.
4. Введите [*.]avast.com и нажмите Добавить.

Пункт [*.]avast.com появится в вашем списке разрешений. Это означает, что для всех веб-страниц с адресом, начинающимся с avast.com (например, www.avast.com/store), будут разрешено использование файлов cookie.

Avast Secure Browser

Разрешение использования JavaScript

Информация о том, как разрешить всегда использовать JavaScript на определенных сайтах в Avast Secure Browser, приведена в статье ниже.

Разрешение использования файлов cookie

Информация о том, как разрешить всегда использовать файлы cookie на определенных сайтах в Avast Secure Browser, приведена в статье ниже.

Opera

Разрешение использования JavaScript

Чтобы разрешить использование JavaScript на всех сайтах, которые вы посещаете с помощью браузера Opera, обратитесь к инструкциям в разделе Управление JavaScript на страницах в статье справки Opera, приведенной ниже.

Если вы хотите разрешить JavaScript только для домена avast.com, выполните следующие шаги.

1. Откройте Меню (значок O) ▸ Настройки ▸ Дополнительно.
2. Нажмите Конфиденциальность и безопасность ▸ Настройки сайта.
3. В меню Содержимое нажмите JavaScript.
4. Щелкните кнопку Добавить рядом с элементом Разрешить.
5. Введите [*.]avast.com и нажмите Добавить.

Пункт [*.]avast.com появится в вашем списке разрешений. Это означает, что для всех веб-страниц с адресом, начинающимся с avast.com (например, www.avast.com/store), будут разрешено использование JavaScript.

Разрешение использования файлов cookie

Чтобы разрешить использование файлов cookie на всех сайтах, которые вы посещаете с помощью браузера Opera, обратитесь к инструкциям в разделе Управление файлами cookie на страницах в статье справки Opera, приведенной ниже.

Если вы хотите разрешить файлы cookie только для домена avast.com, выполните следующие шаги.

1. Откройте Меню (значок O) ▸ Настройки ▸ Дополнительно.
2. Нажмите Конфиденциальность и безопасность ▸ Настройки сайта.
3. В меню Содержимое нажмите Файлы cookie и данные сайта.
4. Нажмите кнопку Добавить рядом с элементом Сайты, которые всегда могут использовать файлы cookie.
5. Введите [*.]avast.com и нажмите Добавить.

Пункт [*.]avast.com будет отображаться в вашем списке сайтов, которые всегда могут использовать файлы cookie. Это означает, что для всех веб-страниц с адресом, начинающимся с avast.com (например, www.avast.com/store), будут разрешено использование файлов cookie.

• Все платные продукты Avast в сегменте потребительских решений

• Microsoft Windows 10 Home / Pro / Enterprise / Education — 32- или 64-разрядная версия
• Microsoft Windows 8.1 / Pro / Enterprise — 32- или 64-разрядная версия
• Microsoft Windows 8 / Pro / Enterprise — 32- или 64-разрядная версия
• Microsoft Windows 7 Home Basic / Home Premium / Professional / Enterprise / Ultimate — SP 1, 32- или 64-разрядная версия

В Telegram встроили средства обхода блокировок нового типа

13 Августа 2019 10:1113 Авг 2019 10:11 | Поделиться

В Telegram была добавлена возможность маскировки трафика под протокол HTTPS. У мессенджера есть собственный протокол MTProto, который обеспечивает работу прокси. Но в таких странах как Иран и Китай всем незнакомым протоколам урезают скорость, чем и вызвана необходимость маскировки. В России она тоже понадобится после вступления в силу закона об автономном рунете.

Маскировка Telegram

В мессенджере Telegram появилась возможность маскировки трафика под протокол HTTPS. Информация об этом появилась на ресурсе GitHub. Для маскировки под HTTPS разработчики добавили в код клиента префикс секрета «ee». Кроме того, помимо метода кодирования base16 была реализована возможность шифровать секрет в адресе прокси-сервера с помощью base64.

В протоколе между клиентом Telegram и прокси-сервером был добавлен дополнительный слой инкапсуляции поверх протокола TCP. Благодаря этому данные оборачиваются в записи TLS. Передача данных в HTTPS происходит поверх этого криптографического протокола. Также была добавлена эмуляция TLS-рукопожатия в начале работы. Telegram уже запустил прокси-сервера на Python и Erlang, где реализована маскировка.

Пользователь alexbers отмечает в блоге на ресурсе Habr, что маскировка трафика под какой-нибудь популярный протокол — это ожидаемое решение со стороны разработчиков. Иран и Китай по умолчанию урезают скорость работы всех неизвестных протоколов, что делает затруднительным передачу каких-либо данных кроме текстовых сообщений. Россию ожидает то же самое после вступления в силу закона об автономном рунете.

Как было до этого

В мессенджере уже есть прокси, который работает по собственному протоколу Telegram под названием MTProto, его начали применять в 2018 г. Изначально он позволял обнаружить прокси-серверы, результатом чего стали блокировки мессенджера со стороны крупных провайдеров.

Идентификации MTProto мешает отсутствие служебных заголовков, но его выдает длина пакетов. Когда клиент подключается к прокси-серверу, они обмениваются пакетами определенной длины. А в ходе работы мессенджера происходит передача пакетов одинаковой длины. Все это и дает возможность провайдерам засечь трафик Telegram.

В Telegram появилась возможность замаскировать трафик под популярный протокол

Впоследствии протокол был модифицирован разработчиками таким образом, что блокировки стало можно избежать. Его замаскировали путем добавления случайных байтов в каждый пакет. В секрет пришлось добавить префикс dd, чтобы избежать проблем с совместимостью. Но данная модификация станет неэффективной после вступления в силу закона об автономном рунете — уже сейчас MTProto позволяет заблокировать Telegram в Иране и Китая путем атак повторного воспроизведения.

В ответ разработчики добавили частичную защиту от атак повторного воспроизведения в альтернативных вариантах прокси-серверов на Python, Erlang и Go. С этой целью был введен механизм запоминания сервером данных, передающихся в самом начале подключения. Это помогает избежать повторного соединения с такими же данными. Метод проблематично применять для крупных серверов, так как он требует большого расхода оперативной памяти.

Запрет Telegram в России

Напомним, с апреля 2018 г. Telegram находится под блокировкой Роскомнадзора. Запрет мессенджера в России связан с неисполнением требований, которые российское законодательство накладывает на организаторов распространения информации (ОРИ), в частности, с отказом предоставить правоохранителям ключи шифрования переписки пользователей. Согласиться внести Telegram в реестр ОРИ создателя мессенджера Павла Дурова уговорил глава Роскомнадзора Александр Жаров.

Большинство компаний мира начали инвестировать в периферийные устройства для коммуникаций

Бизнес

Правда, Дуров сразу предупредил, что он готов только на формальную регистрацию в Реестре ОРИ. Требования, предъявляемые к ОРИ в части хранения на территории России данных о переданных их пользователями сообщений и содержимого самих сообщений он соблюдать не будет.

В итоге блокировку Telegram удалось оттянуть на год, после чего она все-таки началась. Но Дуров не собирался сдаваться: Telegram стал «перескакивать» с одного IP-адреса на другой, используя обширные возможности зарубежных облачных хостингов. Со своей стороны, корпорации Apple и Google отказались удалять приложение Telegram из своих магазинов мобильных приложений, благодаря чему приложение продолжило иметь возможность обновляться и получать данные о новых IP-адресах.

Роскомнадзор пошел на радикальную меру и стал блокировать подсети (группы IP-адресов), принадлежащие крупным хостинг-провайдерам: Amazon Web Services, Google, Microsoft Azure, Digital Ocean и др. В результате в апреле 2018 г. число заблокированных в России IP-адресов достигало 20 млн. Также Роскомнадзор стал пытаться блокировать VPN-сервисы, использующиеся для обхода блокировки Telegram.

Последствия такого шага оказались крайне негативными. Под удар попало множество зарубежных и российских интернет-сервисов. Например, перебои в работе наблюдались у мессенджера Viber, сервисов Google (Google Docs, Gmail и пр.) и ряда американских научных ресурсов. А из-за недоступности сервиса Re:CAPTCHA от Google была парализована продажа электронных сервисов ОСАГО. В то же время сам Telegram, хоть и с перебоями, но продолжал быть доступным. В итоге Роскомнадзор сократил общее число заблокированных IP-адресов до 4 млн. Мобильное приложение Telegram продолжает работать без серьезных затруднений.

Валерия Шмырова

Internet Explorer использует прокси-сервер для локального IP-адреса — Браузеры

• 21.01.2021
• 2 минуты на чтение

В этой статье

Важно

Настольное приложение Internet Explorer 11 будет прекращено и не будет поддерживаться 15 июня 2022 г. (список возможностей см. В разделе часто задаваемых вопросов). Те же самые приложения и сайты IE11, которые вы используете сегодня, могут открываться в Microsoft Edge в режиме Internet Explorer.Узнайте больше здесь.

Эта статья поможет вам решить проблему, которая возникает при подключении к веб-серверу с использованием IP-адреса или полного доменного имени (FQDN) в локальной сети.

Применимо к: Windows 7 Enterprise, Windows 7 Enterprise N, Windows 7 Home Basic, Windows 7 Home Premium, Windows 7 Professional, Windows 7 Professional N, Windows 7 Starter, Windows 7 Starter N, Windows 7 Ultimate, Windows 7 Ultimate N, Microsoft Windows Server 2003 Standard Edition (32-разрядная версия x86), Internet Explorer
Исходный номер базы знаний: 262981

Симптомы

Когда вы подключаетесь к веб-серверу с использованием адреса Интернет-протокола (IP) или полного доменного имени (FQDN) в локальной сети, Microsoft Internet Explorer или Windows Internet Explorer подключается через назначенный прокси-сервер, даже если прокси-сервер Bypass для локальные адреса опция включена.

Однако, если вы подключаетесь к веб-серверу, используя имя хоста (например, http: // webserver ) вместо IP-адреса (например, http://10.0.0.1 ) или FQDN (например, , http://webserver.domainname.com ), прокси-сервер обходится, и Internet Explorer подключается непосредственно к серверу.

Причина

По умолчанию, когда включена опция Обход прокси-сервера для локальных адресов , проверяются только имена хостов.

Разрешение

Чтобы обойти диапазон IP-адресов или конкретное доменное имя, укажите адреса в списке исключений прокси:

1. В Internet Explorer в меню Инструменты выберите Свойства обозревателя .
2. На вкладке Connections выберите LAN Settings .
3. Выберите Advanced и введите соответствующую информацию в области Исключения .

Статус

Такое поведение является преднамеренным.

Методы антискреба и способы их обхода · Документация Apify

Мы исследуем предотвращение парсинга веб-страниц и методы, используемые для обхода блокировки, такие как ротация IP-адресов и прокси, имитация подписей браузера или сеансов с общими IP-адресами.

Многие веб-сайты используют методы защиты от парсинга, чтобы блокировать ботов, выполняющих парсинг. Наше исследование показывает, что в полевых условиях используется ряд методов, позволяющих обойти эту защиту.

Во многих случаях мы обнаружили, что обычно используются очень простые изменения в подходе.Например, если сайт блокируется по IP-адресу, эффективно переключение между разными адресами. Если веб-сайт анализирует поведение, сделав это поведение максимально похожим на человеческое, вы запутаете систему защиты от соскабливания. Если эти более простые варианты не работают, доступны более сложные методы, такие как эмуляция общего IP-адреса (также известная как мультиплексирование сеанса).

Блокировка на основе IP-адреса

Популярный вариант, который используют некоторые веб-сайты, — это блокировка доступа на основе диапазона IP-адресов, которому принадлежит ваш адрес.Этот вид защиты направлен на уменьшение количества нечеловеческого трафика. Например, веб-сайты будут отказывать в доступе к диапазонам IP-адресов Amazon Web Services и другим широко известным диапазонам.

Обход блокировки на основе IP-адреса

Мы обнаружили, что парсинг веб-страниц может обойти блокировку на основе IP-адреса путем ротации IP-адресов, с которых они отправляют запросы на целевые веб-сайты. Это можно сделать, используя пул прокси-серверов, назначая каждый запрос другому прокси-серверу из пула и, таким образом, делая его похожим на запрос, исходящий от другого пользователя.Прокси-серверы могут быть выбраны случайным образом или циклически.

Эффективность этого метода зависит от различных факторов, таких как количество сканируемых веб-страниц, сложность защиты от парсинга, а также количество и тип прокси-серверов. Если слишком много запросов отправлено с одного прокси за слишком короткий промежуток времени, прокси может «сгореть», что означает, что все последующие запросы от него будут заблокированы.

Наше исследование показало, что для успешной крупномасштабной деятельности по парсингу необходимо иметь достаточный пул прокси и рассчитывать рабочую нагрузку так, чтобы максимизировать пропускную способность парсинга при записи прокси.

Apify Proxy позволяет повысить пропускную способность данных и получать доступ к веб-сайтам из любого географического местоположения с помощью обширного пула центров обработки данных и жилых прокси.

Ограничение IP-скорости

При сканировании веб-сайта бот для очистки веб-страниц обычно отправляет намного больше запросов с одного IP-адреса, чем пользователь-человек мог бы сгенерировать за тот же период. Веб-сайты могут легко отслеживать, сколько запросов они получают с одного IP-адреса. Если количество запросов превышает определенный предел, веб-сайты могут заблокировать этот IP-адрес или потребовать проверку CAPTCHA.

Обход ограничения скорости IP-адреса

Мы обнаружили, что для обхода ограничения скорости используются два способа. Один из методов состоит в том, чтобы ограничить количество страниц на одном сайте, которые очищаются одновременно, при этом задержки, возможно, даже намеренно вводятся (после достижения исходного предела). Другой метод — использовать прокси-серверы и менять IP-адреса после определенного количества запросов.

Акторы

Apify предназначены для уменьшения нагрузки на очищаемые веб-сайты. Чтобы снизить параллелизм при использовании Apify SDK, просто передайте параметр maxConcurrency в настройку вашего сканера.Если вы используете акторов из Apify Store, вы обычно можете установить максимальный параллелизм во вводе актора.

Анализ HTTP-запросов

Каждый HTTP-запрос, отправленный от клиента на веб-сервер, содержит много скрытой информации, такой как Заголовки HTTP, IP-адрес клиента, Версия SSL / TLS или список поддерживаемых Шифры TLS. Даже структура самого HTTP-запроса, например По порядку заголовков HTTP можно определить, исходит ли запрос от реального веб-браузера или сценария.

Веб-сайты могут проверять эти сигналы и блокировать запросы, которые не имеют подписи известного веб-браузера или не содержат CAPTCHA. Наше исследование показывает, что этот вид защиты обычно обходится путем использования только простых HTTP-запросов, поскольку защита не собирает никаких атрибутов окна и не оценивает какой-либо код JavaScript.

Обход анализа HTTP-запросов

Простой метод, часто используемый для обхода анализа HTTP-запросов, — это использование реального веб-браузера, такого как Headless Chrome, для имитации HTTP-подписей браузера.Однако это неэффективно, поскольку веб-браузеры потребляют много системных ресурсов и обычно работают медленно.

Более эффективный метод — эмуляция подписей HTTP-запросов браузера даже при использовании низкоуровневой библиотеки HTTP-запросов. Это делает скриптовый HTTP-запрос похожим на настоящий веб-браузер, но намного быстрее и эффективнее. Обратите внимание, что мы обнаружили, что этот метод работает только в ситуациях, когда содержимое страницы обслуживается непосредственно в первом ответе HTML и не загружается позже с использованием AJAX.

Чтобы проверить это, мы использовали Apify SDK, который предоставляет функцию requestAsBrowser () , которая имитирует заголовки HTTP браузера Firefox.

Анализ поведения пользователей

Вместо того, чтобы анализировать и реагировать на запросы клиентов в режиме реального времени, веб-сайты могут собирать данные о поведении пользователей в течение более длительных периодов времени, а затем реагировать на них только при наличии достаточной информации.

Такие данные могут содержать порядок посещения страниц, время пребывания пользователя на каждой странице, движения мыши или даже скорость заполнения форм.Если достаточное количество доказательств указывает на то, что поведение пользователя не является человеческим, веб-сайты могут заблокировать IP-адрес клиента или использовать CAPTCHA.

Дактилоскопия браузера

Веб-сайты также могут использовать различные методы для проверки того, используется ли веб-браузер клиента человеком или роботом, и даже идентифицировать повторные посещения одного и того же веб-браузера. Это называется отпечатком браузера и может варьироваться от очень примитивных задач JavaScript до современных тестов целостности браузера и поведенческого анализа.

Тесты ищут такие вещи, как информация о типе и версии вашего браузера, операционной системе, установленных расширениях браузера, доступных шрифтах, часовом поясе и т. Д. В совокупности вся эта информация образует «отпечаток пальца» браузера.

Хотя эта информация может показаться довольно общей, Panopticlick обнаружил, что в среднем только 1 из 286 777 браузеров будет иметь такой же отпечаток пальца, как и вы.

Комбинации вышеперечисленных методов

Чтобы усложнить ситуацию, веб-сайты часто используют различные комбинации защиты от парсинга, такие как блокировка на основе IP-адреса и анализ HTTP-запросов.

Снижение количества блокировок с помощью эмуляции общего IP-адреса

Ротация IP-адресов и эмуляция HTTP-подписей браузера могут быть эффективны для многих задач парсинга веб-страниц, но крупномасштабные обходы будут заблокированы. Решением этой проблемы является использование большего количества прокси, но это может быть дорогостоящим.

Эмуляция общего IP-адреса может значительно повысить эффективность очистки и увеличить количество страниц, которые могут быть извлечены. Этот метод основан на том, что веб-сайты знают, что за одним IP-адресом может находиться множество разных пользователей.

Например, запросы от мобильных устройств обычно маршрутизируются только через несколько IP-адресов, в то время как все пользователи, находящиеся за одним корпоративным брандмауэром, могут иметь один IP-адрес. Путем эмуляции и управления этими пользовательскими сеансами для каждого IP-адреса мы обнаружили, что можно предотвратить агрессивную блокировку веб-сайтов.

Чтобы это работало, сеанс одного пользователя всегда должен маршрутизироваться через один и тот же IP-адрес. Веб-сайт может идентифицировать такие пользовательские сеансы на основе файлов cookie, токенов аутентификации или HTTP-подписи / отпечатка пальца браузера.

Нашему исследованию в этом помог класс Apify SDK SessionPool . Это можно добавить к другим инструментам Apify, таким как акторы или прокси, но он также работает за пределами экосистемы Apify.

Сравнение способов обхода защиты от парсинга

В недавнем эксперименте мы обнаружили, что эмуляция сеанса как минимум вдвое эффективнее ротации простого IP-адреса.

Зоны обхода IP

Redirector — OpenAthens Identity

Перейти к: как настроить диапазоны IP-адресов

При использовании ссылок перенаправителя вы можете дополнительно добавить зоны обхода IP-адресов перенаправителя, которые позволят вам обходить аутентификацию OpenAthens в местах, где ресурсы разрешают доступ через аутентификацию IP.Это очень полезно, если вам нужно поддерживать отдельные ссылки на ресурсы в каталоге библиотеки, портале или инструменте преобразования ссылок в зависимости от того, когда владельцы учетных записей находятся внутри или за пределами вашей сети. Зоны обхода перенаправителя будут работать с любым ресурсом, имеющим либо URL-адрес доступа (с возможностью обхода), либо конфигурацию перенаправителя (с возможностью перенаправления).

Когда пользователь переходит по ссылке перенаправителя, перенаправитель решает, следует ли передать пользователя прямо поставщику услуг или передать пользователя в точку аутентификации OpenAthens, где пользователю будет предложено ввести имя пользователя и пароль, если они еще не были подписаны в.

Версия высокого уровня пути пользователя будет выглядеть примерно так:

2 9022 Диапазоны IP: Настройки> Перенаправитель

Введите IP-адреса или диапазоны, которые покрываются IP-аутентификацией для ваших ресурсов, и сохраните настройки.Например:

 123.3.23.12
123.3.23. *
123.3.22-23. * 

^{Диапазоны можно указывать только в последних двух октетах. Если у вас есть диапазон, обозначенный косой чертой, его необходимо перевести в принятый формат.}

В большинстве случаев будет достаточно указать эти диапазоны на уровне домена, но для каждой организации могут быть добавлены дополнительные диапазоны с учетом местных обстоятельств — например, если у локальной организации есть дополнительные диапазоны IP-адресов, особенно если они связаны с подписки на местные ресурсы.Тем не менее, вы должны убедиться, что местные администраторы осведомлены о последствиях ошибок; см. ниже.

На уровне домена у вас также есть возможность указать ресурсы, которые должны игнорировать эту зону обхода и всегда использовать маршрут доступа OpenAthens, например, когда IP-аутентификация недоступна для определенного ресурса. Чтобы настроить это, нажмите кнопку добавления ресурса и начните вводить имя ресурса. Выберите ресурс и затем сохраните. Будут перечислены только ресурсы, совместимые с обходом IP.

Чего нужно остерегаться?

Местоположение, охватываемое IP-адресами перенаправителя, для доступа полагается на IP-аутентификацию ресурса. Вам нужно позаботиться о том, чтобы указанные вами диапазоны соответствовали тому, какие ресурсы будут аутентифицировать IP.

• Если вы укажете слишком большой диапазон адресов, т. Е. Включая адреса, IP-адреса которых не аутентифицированы вашими ресурсами, то пользователи могут оказаться в месте, где они не могут получить доступ.
• Если вы укажете слишком маленький диапазон адресов — i.е. не охватывает все IP-адреса, аутентифицированные вашими ресурсами, — тогда пользователи могут оказаться запрошенными учетными данными OpenAthens, когда они этого не ожидают.

Изменения в обходных зонах или исключениях ресурсов не применяются немедленно, и может потребоваться до 14 часов, чтобы изменения вступили в силу.

Когда доступ не проходит через точку аутентификации OpenAthens, мы не можем записывать статистику.

Как обойти трафик для одного конкретного хоста

Прозрачный прокси (IP-адрес OCS в пункте назначения пакетов)

Страница конфигурации Proxy Services используется для определения трафика, который прокси будет перехватывать или обходить.

Обход сервисного прослушивателя

1. Перейдите в раздел «Конфигурация» -> «Службы» -> «Прокси-службы»
2. Щелкните Новая служба.
3. Назовите новую услугу.
4. Установите прокси-сервер как TCP-туннель.
5. Под слушателями нажмите New (Повторите шаг 5, если требуется более одного сопоставления портов для списка IP-адресов)
   1. Установите следующие значения:
      • Источник: Все
      • Destination: укажите IP-адрес хоста, который вам нужен для обхода трафика для
      .
      • Порт: укажите номер порта для службы, необходимой для обхода трафика
      • Действие: Обход
6. Нажмите ОК
7. Нажмите ОК
8. Применить, чтобы сохранить новую услугу.

Это также можно сделать для источников. Просто укажите исходные условия в слушателе вместо

Теперь, когда прокси-сервер получает трафик, предназначенный для этого IP-адреса и порта, он будет перенаправлен в Интернет без проверки и применения политик. Пользовательские запросы для этого пункта назначения будут достигать брандмауэра среды с IP-адресом пользователя. Если конфигурация брандмауэра ограничивает доступ к Интернету с IP-адресов только прокси-сервером, определите правило, позволяющее пользователям получать доступ к этому IP-адресу и порту с любого исходного хоста.

Байпас по списку статического байпаса

1. Перейдите в раздел «Конфигурация» -> «Службы» -> «Прокси-службы» -> «Список статического обхода»
2. Нажмите Новый
3. Переключите адрес сервера на «Хост или подсеть сервера»
   • Установить IP-адрес назначения
   • Установите маску подсети IP-адреса, который вы хотите обойти (вы можете использовать нотацию Сидра: например, 32 или 24 соответственно; Прокси-сервер автоматически установит маску)
   • (Необязательно) Добавить комментарий
4. Нажмите ОК
5. Применить для сохранения нового байпаса

Это также можно сделать для источников.Вместо этого просто используйте исходные условия.

Теперь, когда прокси-сервер видит условие, указанное в списке статического обхода, он будет перенаправлен в Интернет без проверки и применения политики. Пользовательские запросы для этого пункта назначения будут достигать брандмауэра среды с IP-адресом пользователя. Если конфигурация брандмауэра ограничивает доступ к Интернету с IP-адресов только прокси-сервером, определите правило, позволяющее пользователям получать доступ к этому IP-адресу и порту с любого исходного хоста.

Явный прокси (IP прокси в пункте назначения пакетов)

Чтобы обойти прокси-сервер для явного прокси-сервера, вам необходимо установить правило сценария в файле PAC, ручные настройки для обхода в параметрах обозревателя / Настройка прокси-сервера или WPAD, чтобы клиент отправил запрос напрямую в OCS вместо перехода к прокси.Это необходимо, поскольку, когда клиент решает отправить на прокси-IP в явном режиме, IP-адрес назначения НЕ является OCS, а теперь является IP-адресом прокси. В этом случае нет возможности обойти на уровне прокси. Решение необходимо принять перед отправкой на Прокси

Обход IP-блоков с заголовком X-Forwarded-For

Иногда IP-адрес используется для управления доступом или ограничения скорости. Если клиент находится за прокси, прокси пересылает IP-адрес клиента серверу в определенном заголовке X-Forwarded-For .В некоторых случаях клиент может использовать этот заголовок для подделки своего IP-адреса.

IP блоков

Некоторые веб-приложения позволяют ограничивать доступ по IP-адресу посетителя. Это особенно характерно для интерфейсов администратора. Рекомендуется ограничить этот интерфейс IP-адресами, которые, как известно, используются фактическими администраторами.

Для реализации этого веб-приложение будет проверять значение REMOTE_ADDR , которое веб-сервер передает приложению.

Прокси

Если посетитель использует прокси, поле REMOTE_ADDR будет содержать адрес прокси вместо посетителя. Чтобы увидеть адрес посетителя, многие прокси добавляют к запросу заголовок с этим адресом. Этот заголовок называется X-Forwarded-For и содержит IP-адрес клиента, подключенного к прокси. Теперь веб-приложение может проверить заголовок X-Forwarded-For , чтобы определить IP-адрес клиента.

Обход IP-блокировки

Заголовок X-Forwarded-For обычно устанавливается прокси, но он также может быть добавлен злоумышленником. Добавив свой собственный заголовок X-Forwarded-For , злоумышленник может подделать свой IP-адрес. Если блокировка IP-адресов реализована неправильно, ее можно обойти, поместив разрешенный IP-адрес в заголовок, даже если соединение фактически исходит с заблокированного IP-адреса.

Ниже приведены несколько примеров проектов, которые доверяют заголовку X-Forwarded-For .Обратите внимание, что это не всегда указывает на уязвимость. Есть некоторые конфигурации, в которых заголовку X-Forwarded-For можно доверять, например, если он установлен обратным прокси-сервером на том же хосте, что и веб-приложение.

Решение

При использовании IP-блока хорошим подходом является проверка всех заданных IP-адресов на соответствие блоку. Запретить доступ, если REMOTE_ADDR или X-Forwarded-For совпадает с блоком IP. Это также усложняет обход блокировки с помощью прокси.

Если это невозможно, приложение должно быть настроено на доверие или игнорирование заголовка X-Forwarded-For . Например, в Etherpad есть опция, позволяющая использовать заголовок.

Заключение

При тестировании приложения стоит попробовать передать заголовок X-Forwarded-For для блокировки IP-блоков или ограничения скорости. Приложения должны доверять этому заголовку только в определенных ситуациях.

Обход WAF — PortSwigger

Это расширение добавляет заголовки ко всем запросам Burp, чтобы обойти некоторые продукты WAF.Ко всем запросам автоматически добавляются следующие заголовки:

X-исходный IP-адрес: 127.0.0.1
X-Forwarded-For: 127.0.0.1
X-Remote-IP: 127.0.0.1
Адрес X-Remote: 127.0.0.1
 

Использование

1. Установите BApp
2. Создайте правило обработки сеанса в Burp, которое вызывает это расширение
3. Измените область, чтобы включить применимые инструменты и URL-адреса
4. Настройте параметры обхода на вкладке «Обход WAF»
5. Тест на выезде

Дополнительную информацию можно найти по адресу: https: // www.codewatch.org/blog/?p=408

Bypass WAF содержит следующие функции:

1. Пользователи могут изменять заголовки X-Originating-IP, X-Forwarded-For, X-Remote-IP, X-Remote-Addr, отправляемые в каждом запросе. Это, вероятно, лучший способ обхода в инструменте. Нет ничего необычного в том, что WAF настраивается на доверие самому себе (127.0.0.1) или вышестоящему прокси-устройству, что и является целью этого обхода.
2. Заголовок Content-Type может оставаться неизменным в каждом запросе, удаляться из всех запросов или изменяться одним из многих других параметров для каждого запроса.Некоторые WAF будут декодировать / оценивать запросы только на основе известных типов контента, эта функция нацелена на эту слабость.
3. Заголовок «Host» также можно изменить. Плохо настроенные WAF могут быть настроены для оценки запросов только на основе правильного FQDN хоста, найденного в этом заголовке, что и является целью этого обхода.
4. Параметр типа запроса позволяет пользователю Burp использовать только оставшиеся методы обхода для данного метода запроса «GET» или «POST» или применять их ко всем запросам.
5. Функция внедрения пути может оставить запрос неизмененным, ввести информацию о случайном пути (/path/to/example.php/randomvalue?restofquery) или ввести параметр случайного пути (/path/to/example.php;randomparam=randomvalue ? resetofquery). Это можно использовать для обхода плохо написанных правил, которые полагаются на информацию о пути.
6. Функция обфускации пути изменяет последнюю косую черту в пути на случайное значение или по умолчанию ничего не делает. Последнюю косую черту можно изменить на одно из многих значений, что во многих случаях приводит к все еще действующему запросу, но может обойти плохо написанные правила WAF, которые полагаются на информацию о пути.
7. Функция запутывания параметров зависит от языка. PHP отбрасывает + в начале каждого параметра, но плохо написанное правило WAF может быть написано для определенных имен параметров, таким образом игнорируя параметры с + в начале. Точно так же ASP сбрасывает% в начале каждого параметра.
8. Кнопка «Установить конфигурацию» активирует все выбранные вами настройки.

Все эти функции можно комбинировать для получения нескольких вариантов байпаса.

Пользователь переходит по ссылке редиректора
Местоположение распознано		Местоположение не распознано
Передано напрямую ресурсу для аутентификации IP		Аутентификация OpenAthens Записанная статистика
Доступ

Автор	Джош Берри
Версия	0,2,3
Рейтинг
Популярность
Последнее обновление	29 марта 2017

Обратите внимание, что для отображения информации о рейтинге и популярности должен быть включен JavaScript.

Вы можете установить BApps непосредственно в Burp с помощью функции BApp Store в инструменте Burp Extender. Вы также можете скачать их отсюда для автономной установки в Burp.

	Вы можете просмотреть исходный код этого BApp, посетив нашу страницу GitHub.
	Подпишитесь на @BApp_Store в Twitter, чтобы получать уведомления обо всех выпусках и обновлениях BApp.

Скачать BApp

Обратите внимание, что расширения написаны сторонними пользователями Burp, и PortSwigger Web Security не дает никаких гарантий относительно их качества или полезности для какой-либо конкретной цели.

Обход управления уязвимостями сканирование трафика

Если вы используете поставщика услуг по управлению уязвимостями, такого как Qualys или Nessus (например, для соответствия требованиям PCI), вам необходимо настроить Deep Security для обхода или разрешения прохождения сканирующего трафика этого поставщика без изменений.

После того, как эти правила брандмауэра будут назначены новой политике, Deep Security Manager будет игнорировать ЛЮБОЙ трафик с IP-адресов, которые вы добавили в свой список IP-адресов.

Deep Security не будет сканировать трафик провайдера управления уязвимостями на предмет проблем с отслеживанием состояния или уязвимостей — он будет разрешен через нетронутый.

Создайте новый список IP-адресов из диапазона IP-адресов поставщика сканирования уязвимостей или адресов

Имейте под рукой IP-адреса, которые вам предоставил провайдер поиска уязвимостей.

1. В Deep Security Manager перейдите в Политики.
2. На левой панели разверните Списки> Списки IP.
3. Щелкните «Создать»> «Новый список IP-адресов».
4. Введите имя для нового списка IP-адресов, например «Список IP-адресов Qualys».
5. Вставьте IP-адреса, предоставленные вам поставщиком услуг управления уязвимостями, в поле IP-адреса, по одному в каждой строке.
   
6. Щелкните OK.
   

Создание правил брандмауэра для входящего и исходящего трафика сканирования

После создания списка IP-адресов необходимо создать два правила брандмауэра: одно для входящего и одно для исходящего трафика.

Назовите их, как предлагается, ниже:
<имя поставщика> Трафик уязвимостей — входящий

<имя поставщика> Трафик уязвимостей — исходящий

1. В главном меню щелкните Политики.
2. На левой панели разверните Правила.
3. Щелкните Правила брандмауэра> Создать> Новое правило брандмауэра.
4. Создайте первое правило для обхода входящих и исходящих подключений TCP и UDP, входящих и исходящих от поставщика управления уязвимостями.

   Совет: Если настройки не указаны, вы можете оставить их по умолчанию.

   Имя: (предложено) <имя провайдера> Трафик уязвимости — входящий

   Действие: Обойти

   Протокол: Любой

   Источник пакета: Список IP-адресов, а затем выберите новый список IP-адресов, созданный выше.
   

5. Создайте второе правило:

   Имя: <имя провайдера> Трафик уязвимости — исходящий

   Действие: Обход

   Протокол: Любой

   Назначение пакета: Список IP-адресов, а затем выберите новый список IP-адресов, созданный выше.

Назначьте новые правила брандмауэра политике для обхода сканирования уязвимостей

Определите, какие политики уже используются компьютерами, которые будут сканироваться поставщиком управления уязвимостями.

Измените политики по отдельности, чтобы назначить правила в модуле межсетевого экрана.

1. Щелкните Политики в главном меню.
2. Щелкните Политики на левой панели.
3. На правой панели для каждой политики дважды щелкните, чтобы открыть сведения о политике.
4. Во всплывающем окне на левой панели щелкните Брандмауэр.
5. В разделе «Назначенные правила брандмауэра» нажмите «Назначить / отменить».