Прокси-сервер действует как шлюз между вами и Интернетом. Это промежуточный сервер, отделяющий конечных пользователей от веб-сайтов, которые они просматривают. Прокси-серверы предоставляют различные уровни функциональности, безопасности и конфиденциальности в зависимости от настроек использования, потребностей или политики в вашей компании.
Если вы используете proxy, интернет-трафик проходит через прокси-сервер для запрошенного адреса в браузере или при обмене данными различных приложений. Затем запрос (или любой другой ответ в виде данных) возвращается через тот же самый прокси-сервер (есть правда исключения из этого правила), а затем прокси-сервер перенаправляет вам эти данные.
Кто то может задать вполне резонный вопрос: «зачем подключаться через прокси-сервер? Почему бы просто не перейти прямо на сайт?»
Современные proxy делают гораздо больше, чем переадресацию веб-запросов, для безопасности данных и производительности сети. Прокси-серверы действуют как брандмауэр и веб-фильтр, обеспечивают общие сетевые подключения и данные кэша для ускорения общих запросов. Наконец, прокси-серверы могут обеспечить гибкую настройку пользовательских данных.
Кроме того есть целый кластер задач для которых они применяются. Перечислим самые популярные задачи в которых используют proxy сервера:
- Парсинг данных в различных источниках ( Content Downloader, Datacol)
- Работа с поисковыми подсказками и сбор ключевых фраз ( KeyCollector)
- Работа в социальных сетях с множеством аккаунтов (накрутка, маслайкинг, спам в коментариях и в личке и т.д.)
- Использование специального софта для автоматизации различных процессов (ZennoPoster, BAS, Imacros и другие)
- Доступ к заблокированным ресурсам
- Работа с различными онлайн играми и покер румами.
- Работа с досками объявлений (Авито, Юла и т.д), обычно это автоматизация подачи объявлений с нескольких аккаунтов
- Организация собственных приложений иногда так же требует использования сторонних серверов для получения и отправки различных данных и взаимодействия с пользователем.
- Разработчики также используют прокси для решения иных инфраструктурных задач (например создание Api интерфейсов через Apigee Edge)
Разница между VPN и прокси
Многие считают, что прокси и VPN — это одно и то же, по той причине, что они позволяют скрыть ваш IP-адрес и тем самым получить доступ к заблокированным сайтам и приложениям.
В реальности существует значительная разница между тем, как работают VPN и прокси. Во-первых, VPN шифрует ваше соединение полностью с системного уровня вашего устройства, поэтому все приложения вашего ПК и все сервисы, а также все входящие и исходящие соединения зашифровываются с помощью VPN-сервера.
В большинстве случаев прокси не шифрует соединение с системного уровня вашего устройства. Кроме этого чтобы активировать прокси-сервер, вам нужно изменить прокси-сервер из индивидуальных приложений или параметров программного обеспечения, и поэтому только приложение или служба использует прокси-сервер.
Поскольку ваше соединение через Proxy не зашифровано, все, что вы делаете в Интернете, будет видно вашему прокси-провайдеру (или Вам, если сервер на котором установлен специальный софт раздающий прокси) и серверу сайта или приложения которое вы посещаете.
Типы Прокси
Кроме того, не все прокси-серверы работают одинаково. Важно точно понимать, какие функции вы получаете.
Прозрачные прокси (Transparent Proxy)
При обмене данными они говорят веб-сайтам, что являются прокси-сервером, и запросы будут проходить по вашему IP-адресу, идентифицируя вас. Предприятия, публичные библиотеки и школы часто используют прозрачные прокси для фильтрации контента: их легко настроить как на стороне клиента, так и на стороне сервера.
Анонимные (Anonymous Proxy)
Анонимные прокси идентифицируют себя как прокси-сервер, но не будут передавать ваш IP-адрес на посещаемый веб-сайт — это помогает предотвратить кражу личных данных и сохранить вашу историю просмотра конфиденциальной.
Они также могут препятствовать тому, чтобы веб-сайт показывал вам целевой контент на основе вашего местоположения. Например, если сайт знает, что вы живете в городе N, он покажет вам новостные сюжеты, которые, по их мнению, относятся к этому месту. Настройки анонимности не позволят веб-сайту использовать некоторые методы таргетинга объявлений.
Подменный прокси (Distorting proxy)
Такой сервер проходит по ложному IP-адресу для вашего запроса, идентифицируя себя как прокси-сервер. Это работает почти также как анонимные прокси, но, передав ложный IP-адрес, вы можете оказаться в другом месте, чтобы обойти ограничения контента и локальную политику доступа.
Прокси-сервер с высокой анонимностью
Прокси-серверы с высокой анонимностью периодически меняют IP-адрес, который они представляют, поэтому очень сложно отслеживать, какой трафик, кому принадлежит. Такие сервисы как TOR Network , являются наиболее приватным и безопасным способом.
Прокси-серверы являются горячим пунктом в новостях в наши дни с противоречиями вокруг Net Neutrality и цензуры . После отмены сетевого нейтралитета в Соединенных Штатах, интернет-провайдеры теперь могут контролировать вашу пропускную способность и интернет-трафик на подконтрольных узлах.
Хотя существует немалая неопределенность в отношении того, что произойдет с Net Neutrality, возможно, что прокси-серверы предоставят некоторую возможность обойти ограничения таких интернет-провайдеров.
IPv4 VS IPv6
По адресам бывают прокси ipv4 и ipv6 (более новая версия протокола) Отличия заключаются в том, что IPv6 содержит большее адресное пространство, имеет автоконфигурацию SLAAC, обязательную поддержку IPSec, Link-local адреса для всех интерфейсов, а пакеты не фрагментируются.
Но все это технические детали, на практике самым важным отличием является, то что не все сервисы поддерживают возможность использования IPv6, особенно это бывает критично для тех кто занят арбитражем трафика, спамом и прокачкой своих мультиаккаунтов в соцсетях. Кроме того цена на IPv4 значительно выше по причине малого кол-ва доступных адресов и большой общей применимости.
HTTP, HTTPS, SOCKS5
Здесь все просто, если вам требуется больше анонимности и применения в приложениях и специальном софте, то выбор socks 5 будет предпочтительным. Опять же стоит отталкиваться от задач, так как не все сервисы и сайты поддерживают и корректно работают с Socks5 прокси. Так http от https отличается иногда скоростью работы, а не только безопасностью самого протокола как может показаться изначально.
Бесплатные прокси
Безопасно ли использовать свободные и бесплатные прокси ?
В результате описанных выше особенностей работы прокси-серверов их владельцы могут использовать ваше устройство для различных целей. Например, поскольку ваше соединение не зашифровано, админы могут вставлять различный контент в ваш браузер.
Они также могут модифицировать ваше соединение и вносить изменения в любые данные которые там присутствуют. Поэтому использование свободных и бесплатных прокси потенциально несет опасность.
Списки таких прокси можно найти в различных источниках, как правило время их жизни колеблется от 1 минуты до нескольких часов, стабильность низкая, наблюдаются перебои в работе, что не дает возможности использовать их для сложных алгоритмов анализа или сбора данных. Однако банальный спам или примитивная накрутка некоторых сервисов могут работать. Но обычно их используют для тестов нагрузки и прочих прикладных задач.
Обновляемые списки бесплатных прокси можно найти на сайтах агрегаторах или сервисах популярных провадеров VPN\Proxy, вот некоторые из них:
free-proxy-list.net
proxy-list.org
free.proxy-sale.com
freeproxylists.net
hideip.me/ru/proxy/socks5list
hidemyna.me/ru/proxy-list
Браузерные Proxy-анонимайзеры
Такие сервисы позволяют вам использовать прокси прямо в окне браузера для входа на сторонний сайт, что бывает удобно. При их использовании не нужно настраивать софт или ваш браузер, ставить сторонние расширения и дополнительные приложения.
Просто переходите по ссылке, вбиваете в строку необходимый для посещения сайт, выбираете адрес с которого хотите зайти из предложенных вариантов. Сервисы передадут запрос и произведут обмен данными с сторонним ресурсом и вернут их Вам.
Как и все бесплатное этот вариант стоит использовать только в тех случаях когда передаваемые таким образом данные не содержат паролей и прочей личной информации. Только серфинг, никаких форм авторизации!
Вот список самых стабильных браузерных прокси сервисов:
whoer.net/webproxy
hide.me/en/proxy
anonymouse.org/anonwww.html
proxysite.com
kproxy.com
blewpass.com
ewipnow.com
Мобильные прокси
Преимущество этих прокси заключается в том, что подсети с адресами сотовых операторов многими сервисами и приложениями изначально считаются «более трастовыми». По этой причине обход блокировок и деанонимизация из за утечек отдельных пакетов становятся менее вероятными.
Эти прокси имеют некоторый дипазон переключения с заданным интервалом. Например раз в 2 минуты происходит переключение адреса, таким образом при покупке нескольких мобильных прокси у подсети того или иного оператора, в зависимости от диапазона переключения (обычно каждые 2, 5 или 10 минут) вы получите более ~500 IP в сутки.
Недостатком является их цена(особенно за приватные адреса) и как правило невозможность покупки подписки меньше чем на 1000р в месяц, что подойдет не всем.
Вот проверенные поставщики мобильных прокси:
airsocks.in
mbmproxy.com
lteboost.com
Пакетные, элитные и индивидуальные
Это обычные прокси, которые будут предоставленны вам за оплату с различными настройками приватности в зависимости от целей и задач. Как правило самые дешевые варианты — покупка пакетом IPv6 адресов. Но также и любые иные варианты включая гибкий выбор вплоть до приватных анонимных подсетей по определенным гео, юзерагентам и футпринтам.
Вот поставщики с адекватными ценами и с хорошим выбором:
Proxy-Sale.Com
proxy-seller.ru
Остановил свой выбор на сервисе proxywhite.com. Пользуюсь услугами уже пару месяцев. Все работает без нареканий и тормозов. Ничего не отпадает. Поддержка у них оперативная.
не один раз покупал здесь прокси proxys.io за 2 года жалоб никаких не было, всё работает
Таким образом прокси-сервер является полнофункциональным сервером и клиентом для каждого поддерживаемого протокола и имеет полный контроль над всеми деталями реализации этого протокола, имеет возможность применения заданных администратором политик доступа на каждом этапе работы протокола.
Очень интересно получается, что если мне нужно собирать какие то данные с помощью софта или просто просматривать интернет без цензуры достаточно обычных прокси с ip адресами тех стран где доступ к этой информации свободный ? и желательно именно не покупать их а поднимать свой сервер раздающий эти прокси чтобы логи и полный доступ были только у меня?
а если мне нужна повышенная безопасность и защита от подглядывания то vpn ?
но я не поняла, а провайдеры могут закрыть доступ для прокси ? ведь они же видят незашифрованное подключение.
А vpn наоборот они видят что кто то шифруется ? т.е. в любой момент они могут закрыть доступ к отдельным подсетям или даже целым протоколам ?
это уже не очень радует, автор вы же работали в тех отделе одного из провайдеров, очень интересно ваше мнение. А то много противоречивой инфы.
Да вы все правильно поняли, прокси в основном сейчас используют для автоматизации различных действий в сети.
Для безопасности VPN это также не панацея, основные поставщики известны и могут сливать часть ваших данных, но модифицировать прямые запросы как в случае с прокси уже не смогут.
Лучшее решение на текущий момент если уж так нужна безопасность личных данных, это настроить свой собственный сервер например у Digital Ocean через getoutline.org или streisand — github.com/StreisandEffect/
streisand/blob/master/README-ru.md
Такой VPN будет стоить 5$ в месяц и логи контролировать будете только вы. Об этом мы еще раскажем в одной из следующих статей. И уж лучше доверять DO часть потенциальной критической инфраструктуры, чем непонятно какой компании.
Возможна ли блокировка прокси ? да возможна, как и VPN c помощью алгоритмов фильтрации трафика. Однако на практике в Китае где большие проблемы с VPN и значительной частью внешних подсетей, прекрасно работает ShadowSocks.
Так что, есть те кто постоянно придумывает новые алгоритмы анализа трафика, а есть те кто постоянно делает штуки типа ShadowSocks 🙂 Это вечный вопрос баланса свободы и безопасности.