Меню
ГлавнаяИнтернет

Можно ли проанализировать сетевой трафик сети vpn. Тестируем VPN для продвинутых пользователей. Минусы использования VPN

Многие администраторы сетей часто сталкиваются с проблемами, разобраться с которыми поможет анализ сетевого трафика. И здесь мы сталкиваемся с таким понятием, как анализатор трафика. Так что же это такое?

Анализаторы и коллекторы NetFlow — это инструменты, которые помогают отслеживать и анализировать данные сетевого трафика. Анализаторы сетевых процессов позволяют точно определить устройства, из-за которых снижается пропускная способность канала. Они умеют находить проблемные места в вашей системе, и повышать общую эффективность сети.

Термин «NetFlow » относится к протоколу Cisco , предназначенному для сбора информации о трафике по IP и мониторинга сетевого трафика. NetFlow был принят в качестве стандартного протокола для потоковых технологий.

Программное обеспечение NetFlow собирает и анализирует данные потоков, генерируемых маршрутизаторами, и представляет их в удобном для пользователей формате.

Несколько других поставщиков сетевого оборудования имеют свои собственные протоколы для мониторинга и сбора данных. Например, Juniper , другой весьма уважаемый поставщик сетевых устройств, называет свой протокол «J-Flow «. HP и Fortinet используют термин «s-Flow «. Несмотря на то, что протоколы называются по-разному, все они работают аналогичным образом. В этой статье мы рассмотрим 10 бесплатных анализаторов сетевого трафика и коллекторов NetFlow для Windows .

SolarWinds Real-Time NetFlow Traffic Analyzer

Free NetFlow Traffic Analyzer является одним из наиболее популярных инструментов, доступных для бесплатного скачивания. Он дает возможность сортировать, помечать и отображать данные различными способами. Это позволяет удобно визуализировать и анализировать сетевой трафик. Инструмент отлично подходит для мониторинга сетевого трафика по типам и периодам времени. А также выполнение тестов для определения того, сколько трафика потребляют различные приложения.

Этот бесплатный инструмент ограничен одним интерфейсом мониторинга NetFlow и сохраняет только 60 минут данных. Данный Netflow анализатор является мощным инструментом, который стоит того, чтобы его применить.

Colasoft Capsa Free

Этот бесплатный анализатор трафика локальной сети позволяет идентифицировать и отслеживать более 300 сетевых протоколов, и позволяет создавать настраиваемые отчеты. Он включает в себя мониторинг электронной почты и диаграммы последовательности TCP-синхронизации , все это собрано в одной настраиваемой панели.

Другие функции включают в себя анализ безопасности сети. Например, отслеживание DoS/DDoS-атак , активности червей и обнаружение ARP-атак . А также декодирование пакетов и отображение информации, статистические данные о каждом хосте в сети, контроль обмена пакетами и реконструкция потока. Capsa Free поддерживает все 32-битные и 64-битные версии Windows XP .

Минимальные системные требования для установки: 2 Гб оперативной памяти и процессор 2,8 ГГц. У вас также должно быть соединение с интернет по сети Ethernet (совместимой с NDIS 3 или выше ), Fast Ethernet или Gigabit с драйвером со смешанным режимом. Он позволяет пассивно фиксировать все пакеты, передаваемые по Ethernet-кабелю .

Angry IP Scanner

Это анализатор трафика Windows с открытым исходным кодом, быстрый и простой в применении. Он не требует установки и может быть использован на Linux , Windows и Mac OSX . Данный инструмент работает через простое пингование каждого IP-адреса и может определять MAC-адреса , сканировать порты, предоставлять NetBIOS-информацию , определять авторизованного пользователя в системах Windows , обнаруживать веб-серверы и многое другое. Его возможности расширяются с помощью Java-плагинов . Данные сканирования могут быть сохранены в файлы форматов CSV, TXT, XML .

ManageEngine NetFlow Analyzer Professional

Полнофункциональная версия программного обеспечения NetFlow от ManageEngines . Это мощное программное обеспечение с полным набором функций для анализа и сбора данных: мониторинг пропускной способности канала в режиме реального времени и оповещения о достижении пороговых значений, что позволяет оперативно администрировать процессы. Кроме этого предусмотрен вывод сводных данных по использованию ресурсов, мониторинг приложений и протоколов и многое другое.

Бесплатная версия анализатора трафика Linux позволяет неограниченно использовать продукт на протяжении 30 дней, после чего можно производить мониторинг только двух интерфейсов. Системные требования для NetFlow Analyzer ManageEngine зависят от скорости потока. Рекомендуемые требования для минимальной скорости потока от 0 до 3000 потоков в секунду: двухъядерный процессор 2,4 ГГц, 2 Гб оперативной памяти и 250 Гб свободного пространства на жестком диске. По мере увеличения скорости потока, который нужно отслеживать, требования также возрастают.

The Dude

Это приложение представляет собой популярный сетевой монитор, разработанный MikroTik . Он автоматически сканирует все устройства и воссоздает карту сети. The Dude контролирует серверы, работающие на различных устройствах, и предупреждает в случае возникновения проблем. Другие функции включают в себя автоматическое обнаружение и отображение новых устройств, возможность создавать собственные карты, доступ к инструментам для удаленного управления устройствами и многое другое. Он работает на Windows , Linux Wine и MacOS Darwine .

JDSU Network Analyzer Fast Ethernet

Эта программа анализатор трафика позволяет быстро собирать и просматривать данные по сети. Инструмент предоставляет возможность просматривать зарегистрированных пользователей, определять уровень использования пропускной способности сети отдельными устройствами, быстро находить и устранять ошибки. А также захватывать данные в режиме реального времени и анализировать их.

Приложение поддерживает создание графиков и таблиц с высокой детализацией, которые позволяют администраторам отслеживать аномалии трафика, фильтровать данные, чтобы просеивать большие объемы данных, и многое другое. Этот инструмент для специалистов начального уровня, а также для опытных администраторов, позволяет полностью взять сеть под контроль.

Plixer Scrutinizer

Этот анализатор сетевого трафика позволяет собрать и всесторонне проанализировать сетевой трафик, а также быстро найти и исправить ошибки. С помощью Scrutinizer можно отсортировать данные различными способами, в том числе по временным интервалам, хостам, приложениям, протоколам и т.д. Бесплатная версия позволяет контролировать неограниченное количество интерфейсов и хранить данные по 24 часам активности.

Wireshark

Wireshark — это мощный сетевой анализатор может работать на Linux , Windows , MacOS X , Solaris и других платформах. Wireshark позволяет просматривать захваченные данные с помощью графического интерфейса, или использовать утилиты TTY-mode TShark . Его функции включают в себя сбор и анализ трафика VoIP, отображение в режиме реального времени данных Ethernet , IEEE 802.11 , Bluetooth , USB , Frame Relay , вывод данных в XML , PostScript , CSV , поддержку дешифрования и многое другое.

Системные требования: Windows XP и выше, любой современный 64/32-битный процессор, 400 Mb оперативной памяти и 300 Mb свободного дискового пространства. Wireshark NetFlow Analyzer — это мощный инструмент, который может существенно упростить работу любому администратору сети.

Paessler PRTG

Этот анализатор трафика предоставляет пользователям множество полезных функций: поддержку мониторинга LAN , WAN , VPN , приложений, виртуального сервера, QoS и среды. Также поддерживается мониторинг нескольких сайтов. PRTG использует SNMP , WMI , NetFlow , SFlow , JFlow и анализ пакетов, а также мониторинг времени бесперебойной работы/простоя и поддержку IPv6 .

Бесплатная версия дает возможность использовать неограниченное количество датчиков в течение 30 дней, после чего можно бесплатно использовать только до 100 штук.

Мы рассказали нашим читателям о принципах работы VPN и показали на примере недорогих сервисов VPN услуг, как и для чего использовать VPN-туннели.

Сегодня мы хотим еще раз затронуть тему VPN-услуг, тем более, что спрос на эти услуги растет с каждым днем, так как усиливается государственное регулирование сети Интернет в России и других странах СНГ, пользователи сталкиваются с целым рядом ограничений в Интернете, а также ситуация с информационной безопасностью в сети ухудшается с каждым днем.

Выбирая поставщика VPN услуг мы нашли достаточно качественный сервис: TheSafety.US

Сразу скажем, что цены на услуги VPN у TheSafety.US не из самых низких, подписка стоит где-то от 30 долларов за месяц, но зато это компенсируется высоким качеством предоставляемых услуг и разнообразием пакетов и подписок. Итак, приступим к тестированию TheSafety.US и оценим данный сервис VPN на практике.

Для других операционных систем см. настройки :

Что сразу мне понравилось? Что можно выбрать сервер в удобной для Вас стране. Обычный VPN, Double VPN и Offshore VPN доступен для Вас в 20 странах: США, Канада, Германия, Великобритания (Англия), Нидерланды, Италия, Украина, Франция, Испания, Бельгия, Польша, Чехия, Португалия, Швейцария, Ирландия, Литва, Финляндия, Люксембург, офшорный VPN в Панаме и Малайзии. Можно самому выбрать различные страны и направления, включая VPN в офшорных странах (Offshore VPN) - это высочайший уровень безопасности, так как в этих странах отсутствует жесткий контроль со стороны государства.

Когда нужно выбрать именно конкретную страну VPN сервера? Когда перед Вами стоит задача не просто скрыть свой IP-адрес, а показать, что он именно из Германии, США или Польши, например. Это нужно для доступа к таким Интернет-ресурсам, владельцы которых ставят фильтры для посетителей из определенных стран.

В нашей статье мы уже ознакомились, как работает технология VPN. Расскажем, как работает услуга Double VPN.

Технология Double VPN - цепочка из двух серверов с отличием входного и выходного IP адресов. В данном случае вы подключаетесь к IP1 первого сервера с шифрованием всех данных, дальше ваш трафик шифруется во второй раз и посылается на IP2 второго сервера. В итоге Вы будете находиться в Интернете с IP3. Данная технология помогает обеспечить высокоэффективную защиту, потому что весь ваш трафик будет дважды шифроваться и пройдет через разные страны.

Например, я тестировала цепочку Германия - Чехия , зашифрованный трафик сначала прошел через сервер в Германии, затем через сервер в Чехии, и только затем поступил на внешние ресурсы сети Интернет. Это позволило обеспечить очень сильную безопасность, как при цепочке из соксов, плюс двойное шифрование передаваемых данных. Таким образом, мой внешний IP не будет знать даже первый сервер, ни тем более мой Интернет провайдер.

На скриншоте проверка моего IP, выполненная на сайте 2ip.ru , показывает IP адрес в Праге.

Если загрузить поисковик yandex.ru , то он нам выдаст главную страницу для Праги:

Как мы знаем, что в последнее время Интернет-провайдеры "пишут" весь Интернет-трафик пользователей и хранят его определенное время. Такое положение вещей существует в России, Белоруссии, Китае и др. странах с сильным государственным регулированием Интернета.

Т.е. определенные организации и должностные лица будут в курсе какие сайты Вы посещаете, какую информацию получаете и передаете в сети Интернет. Это не «пустые страшилки», давайте проверим на практике, что же записывается в логи провайдеров после нашего визита в сеть Интернет.

Для этого эксперимента воспользуемся анализаторами трафика (снифферами) или Wireshark , которые являются бесплатным свободным ПО.

Я для своих экспериментов использовала программу Packetyzer. Итак, что мы видим, когда работаем в Интернете под своим IP адресом, без VPN:

На скриншоте выше видно, что я смотрела погоду по адресу: pogoda.tut.by (это выделено на рис. маркером).

А на следующем скриншоте видно вообще, какие я сайты посещала в это время:

А теперь используем VPN сервис от TheSafety.US , попробуем проанализировать трафик сниффером Packetyzer и видим, что весь трафик зашифрован стойким алгоритмом, посмотреть какие сайты посещались невозможно:

Кстати, при , тоже шифруется весь трафик, см. скриншоты ниже:

Также на серверах TheSafety.US логи не пишутся и подключение происходит к IP адресу, а не к имени домена.

Для еще большей анонимности на серверах TheSafety.US используется принудительное изменение параметра TTL.

TTL - time to live или время жизни отправленного пакета. Для ОС семейства Windows стандартное значение TTL = 128, для Unix TTL = 64. Отправленному пакету присваивается значение TTL, и это значение уменьшается на единицу каждым хостом на пути его следования (например, при открытии определенного сайта, Ваш пакет-запрос проходит через несколько хостов, до тех пор пока не дойдет до сервера, на котором расположен открываемый сайт). Когда значение TTL отправленного пакета становится равно 0, то данный пакет исчезает. То есть, можно сказать, что с помощью значения TTL передаваемого пакета можно узнать, сколько хостов прошел пакет. Значит, косвенно можно выявить, за сколько хостов находится именно Ваш компьютер. Сервера TheSafety.US принудительно изменяют это значение на стандартное. Это можно проверить с помощью стандартных команд ping и tracert. См. ниже скриншоты выполнения этих команд:

Постигаем азы «анонимности» в сети.

Статья поможет вам определиться нужен ли VPN конкретно вам и выбрать провайдера, а также расскажет о подводных камнях этой технологии и альтернативах ей.

Этот материал - просто рассказ о VPN с обзором провайдеров, предназначенный для общего развития и решения мелких бытовых проблем. Как добиться полной анонимности в сети и 100% приватности трафика она вас не научит.

Что такое VPN?

Virtual Private Network (виртуальная частная сеть) – сеть из устройств, которая создается поверх другой и внутри которой, благодаря технологиям шифрования, создаются защищенные каналы для обмена данными.

VPN-сервер управляет учетными записями пользователей этой сети и служит для них точкой входа в интернет. Через него передается зашифрованный трафик.

Ниже мы расскажем о провайдерах, которые предоставляют доступ к VPN-серверам в разных странах. Но сначала разберемся зачем это нужно?

Выгоды от использования VPN

1. Смена «адреса»

В каких случаях законопослушному россиянину нужен другой IP?

2. Защита от мелкой нечисти

От преследований властей VPN-провайдер вас не спасет, но защитит от:

  • Админа офисной сети, который собирает на вас компромат или просто любит читать чужие письма;
  • Школьников, которые балуются прослушкой трафика публичной WiFi точки.

Минусы использования VPN

Скорость

Скорость доступа интернета при использовании VPN провайдера может быть ниже, чем без него. Прежде всего это касается бесплатных VPN. К тому же, она может быть нестабильной: зависеть от времени суток или местоположения выбранного сервера.

Технические неполадки

У VPN-провайдера могут быть перебои в работе. Особенно, если он небольшой и малоизвестный.

Самая распространенная неполадка: vpn отключился и никому ничего не сказал. Надо проследить за тем, чтобы ваше соединение блокировалось в случае проблем с сервером.

Иначе может быть так: пишешь злобные комментарии к статьей своего соседа по квартире, а VPN потихому отключился и в админке засветился реальный IP, ты это пропустил, а сосед заметил и готовит план мести.

Мнимая анонимность

Информация о вашем трафике передается третьей стороне. VPN-провайдеров часто спрашивают в интервью: «А вы храните логи?». Они отвечают: «Нет, нет, конечно нет!». Но им никто не верит. И на то есть причины.

В лицензионных соглашениях многих VPN-провайдеров открыто написано, что пользователь не имеет право нарушать авторские права, запускать хакерские программы, рассылать спам и в случаи нарушения его аккаунт блокируется без возвращения средств. Пример: ExpressVPN Term of Service . Из этого следует, что действия пользователя в сети контролируются.

А некоторые шустрые VPN-провайдеры, к примеру Astrill , требуют SMS подтверждения для активации учетной записи (для русских номеров не работает). Хочешь скрывать свой IP и шифровать трафик? Ок, но номерок на всякий случай оставь.

А анкеты при регистрации учетных записей иногда напрягают излишними вопросами. К примеру, зачем VPN-провайдеру почтовый индекс человека? Отправлять посылки на Новый Год?

Личность пользователя также может быть идентифицирована по банковским картам (или через кошельки платежных систем, через которые пополняются виртуальные карты). Некоторые VPN-провайдеры приманивают пользователей тем, что принимают в качестве оплаты криптовалюты. Это плюс к анонимности.

Выбираем VPN-сервис

VPN-провайдеров - хоть пруд пруди. Ведь это доходный бизнес с низкими порогом вхождения. Если задать такой вопрос на форуме, то сбегутся владельцы сервисов и завалят своей рекламой.

Для помощи в выборе был создан сайт bestvpn.com , где публикуются рейтинги и обзоры VPN-провайдеров.

Вкратце расскажем о лучших VPN-сервисах (по данным bestvpn.com) у которых есть приложение для iOS.

ExpressVPN

96 городов в 78 странах. 30-дневная гарантия возврата денег в случае перебоев работы с сервисом. Есть приложения для OS X, Windows, iOS и Android. Можно работать с 5 устройствами одновременно.

Цена: от $9.99 до $12.95 в месяц (зависит от периода оплаты).

Private Internet Access

25 стран. Есть приложения для OS X, Windows, сайте проекта .

Цена: от $2.50 до $6.95 в месяц (зависит от периода оплаты).

IP Vanish VPN

Более 60 стран. Есть VPN-клиенты для iOS , Android, Windows, Mac, Ubuntu, Chromebook и роутеров. Имеется возможность работать сразу с несколькими устройствами.

Оптимистичным параноикам

Очень интересный маркетинговый ход у . Они предлагают прогонять зашифрованный трафик не через один, а через два или три сервера.

Мое мнение на этот счет таково: если VPN нужен только, чтобы скрывать из какой ты страны, то это не имеет смысла. А если действительно есть, что скрывать то смысл передавать это сразу через три чужих сервера?

Альтернативы

Собственный OpenVPN сервер

Tor

Трафик в сети Tor передается через несколько независимых серверов в разных точках земли в зашифрованном виде. Это затрудняет определение исходного IP-адреса пользователя. Но поучительная история Росса Ульбрихта (владельца Silk Road) напоминает нам о том, что американские спецслужбы способны на многое.

Плюсы:

  • Бесплатно;
  • Доступ к onion-сети («даркнету»). Есть целый ряд сайтов, доступных только из Tor Browser. Это свои поисковые системы (Grams), магазины, библиотеки, биржи криптовалют, cистемы контекстной рекламы, энциклопедия Onion Wiki. Но для законопослушного россиянина в этой сети нет ничего интересного.

Минусы :

  • Медленная скорость.

А что думает Роскомнадзор?

Работники ведомства крайне недовольны тем, что россияне стремятся к анонимности в сети. Недавно пресс-секретарь Роскомнадзора назвал пользователей Tor «социальными отбросами», а само ведомство выступает за запрет анонимайзеров. Но россияне не прислушиваются к подобным мнениям. Егор Минин (основатель RuTracker), утверждает что половина пользователей его ресурса умеет обходить блокировку.

Сегодня мы поговорим о том, какие данные хранит провайдер о пользователе, а также вообще о том что он может знать, а что нет. Вот например, видно ли какие сайты вы посещаете? И почему провайдер следит за пользователями?

Вообще с провайдерами не все так просто, они по закону должны прослушивать трафик пользователей — не нарушают ли они закон, что они там делают они конечно не смотрят, но записывают основные данные, люди их без причины не проверяют (то есть это все записывается в автоматическом режиме).

  • Если пользователь открывает определенный сайт, то видно ли это провайдеру?. Да, в большинстве случаев видно именно доменное имя, редко — просто IP-адрес. Также записывается и время, когда вы заходили на сайт. Содержимое сайтов также видно
  • А если я захожу на сайт по защищенному протоколу https? Тогда провайдер видит только имя сайта или его IP-адрес и все, содержимое он не видит, так как https это защищенное соединение шифрованием, поэтому и рекомендуется его использовать.
  • Как провайдер может просечь что я скачал фильм или программу через торрент? Все дело в том, что торрент-качалкя общается с торрентр-трекером по протоколу HTTP, поэтому увидеть провайдер может все что вы качали (просто при помощи анализа страницы, откуда был скачан.torrent-файл) и когда (начали/закончили). Возможно подключение и по HTTPS, но почему-то даже крупнейший торрент СНГ не поддерживает такой протокол, но вот почему — загадка.
  • Провайдер сохраняет все то что я качаю? Нет, это физически просто невозможно, не хватило бы никаких жестких дисков. Трафик на лету обрабатывается, сортируется и ведется статистика, вот как раз она то и складируется годами.
  • Может ли провайдер узнать что я скачал.torrent файл? Да, может, именно это они и стараются отслеживать — взаимодействие между торрент-клиентом и сервером, анализировать трафик внутри торрент-сети они не могут, ибо это очень и очень накладно.
  • А если я использую VPN, то провайдер ничего не видит? Тут как раз штука такая, что при VPN таки да, провайдер видит кашу — то есть зашифрованные данные и анализировать их, а уж тем более расшифровать он не станет, ибо это почти нереально. Но вот узнать по IP серверам, что это VPN специально для шифрования трафика — он может. Это означает, что пользователю есть что скрывать, делайте выводы сами
  • Если я буду использовать OpenVPN, то через него будет работать все программы в том числе и обновление Windows? В теории да, и вообще так должно быть. Но на практике все зависит от настроек.
  • Может ли провайдер узнать реальный IP адрес определенного сайта, если я зашел на него через VPN? Вообще-то нет, но тут есть другой момент. Если вдруг VPN перестанет работать, или если какая-то ошибка, то Windows просто начнет работать в обычном режиме, то есть без использования VPN — просто напрямую. Чтобы это исправить, во-первых нужно настроить сам OpenVPN, а во-вторых использовать дополнительно фаервол (рекомендую Outpost Firewall), в котором можно создать глобальные правила движения трафика.
  • То есть если VPN глюканул, провайдер увидит на каком сайте я сижу? К сожалению да, при этом автоматически будет все записано.
  • Может ли TOR обеспечить анонимность? Может, но желательно его немного настроить на использование IP-адресов все кроме СНГ, а также чтобы адреса менялись чаще, например каждые три минуты. Также для лучшего эффекта советую использовать ретрансляторы (мосты).
  • Что видит провайдер, когда я получаю пакеты с постоянно разных IP аресов? У провайдеров есть система обнаружения использования TOR, но, я не уверен работает ли эта система при наличии ретрансляторов. Факт использования TOR также записывается и также говорит провайдеру о том, что этот пользователь может что-то скрывать
  • Видит ли провайдер адрес сайта через Tor или VPN? Нет, только IP-адрес VPN или выходной узел Tor.
  • Видно ли провайдеру полное имя адреса при использовании HTTPS-протокола? Нет, видно только адрес домена (то есть только site.com), время подключения и переданный обьем. Но эти данные не особо полезны для провайдера в плане инфы. Если использовать HTTP, то видно все что передается — и полный адрес и все что вы написали/отправили в сообщение по почте например, но опять же, вот к Gmail это не относится — там трафик шифруется.
  • То есть если я использую шифрование соединения, то я уже могу быть в списке подозреваемых? Нет, не совсем так. С одной стороны — да, но с другой шифрование данных а то и глобальное шифрование всей сети могут использовать не только какие-то хакеры или пользователи — но и простые организации, которые обеспокоены безопасной передачей данных, что и логично, особенно в банковской сфере.
  • Видит ли провайдер факт использования I2P? Видит, но пока этот вид сети мало знакома провайдерам так, как например Tor, который из-за своей популярности привлекает все больше внимания со стороны спецслужб. Трафик I2P провайдер видит как шифрованные подключения к разным IP-адресам, что говорит о том, что клиент работает с P2P сетью.
  • Как узнать, нахожусь ли я под СОРМ? Расшифровывается эта аббревиатура так — Система технических возможностей для оперативно-розыскных мероприятий. И если вы подключены к интернету в РФ, то вы уже пол умолчанию под надзором. При это эта система полностью официальная и трафик обязан проходить через нее, иначе у провайдеров интернета и операторов связи просто аннулируют лицензию.
  • Как увидеть весь трафик на компе так, как его видят провайдеры? В этом вам поможет утилита для сниффинга трафика, лучшая в своем роде это анализатор Wireshark.
  • Можно ли как то понять, что за тобой следят? На сегодняшний почти нет, иногда, возможно при активной атаке типа MitM (Man in the middle). Если применяется пассивная слежка, то обнаружить ее нереально чисто технически.
  • Но что делать тогда, можно ли как-то затруднить слежку? Можно разделить интернет, то есть ваше подключение к нему, на две части. Сидите в соцсетях, на сайтах знакомств, смотрите развлекательные сайты, фильмы, все это делайте по обычному подключению. А зашифрованное соединение используйте отдельно и при этом параллельно — например установите для этого виртуальную машину. Таким образом у вас будет более-менее естественная среда так бы сказать, ибо, шифруют трафик многие сайты, и Google в своих сервисах, и другие крупные компании. Но с другой стороны, почти все развлекательные сайты трафик НЕ шифруют. То есть это норма — когда и открытый и зашифрованный трафик есть у пользователя. Другое дело, когда провайдер видит, что у пользователя трафик только зашифрован, конечно тут могут возникнуть вопросы.

Надеюсь, что вы нашли некоторые полезные ответы

Любой администратор рано или поздно получает инструкцию от руководства: «посчитать, кто ходит в сеть, и сколько качает». Для провайдеров она дополняется задачами «пустить кого надо, взять оплату, ограничить доступ». Что считать? Как? Где? Отрывочных сведений много, они не структурированы. Избавим начинающего админа от утомительных поисков, снабдив его общими знаниями, и полезными ссылками на матчасть.
В данной статье я постараюсь описать принципы организации сбора, учёта и контроля трафика в сети. Мы рассмотрим проблематику вопроса, и перечислим возможные способы съема информации с сетевых устройств.

Это первая теоретическая статья из цикла статей, посвящённого сбору, учёту, управлению и биллингу трафика и IT-ресурсов.

Структура доступа в сеть Интернет

В общем случае, структура доступа в сеть выглядит следующим образом:
  • Внешние ресурсы – сеть Интернет, со всеми сайтами, серверами, адресами и прочим, что не принадлежит сети, которую вы контролируете.
  • Устройство доступа – маршрутизатор (аппаратный, или на базе PC), коммутатор, VPN-сервер или концентратор.
  • Внутренние ресурсы – набор компьютеров, подсетей, абонентов, работу которых в сети необходимо учитывать или контролировать.
  • Сервер управления или учёта – устройство, на котором работает специализированное программное обеспечение. Может быть функционально совмещён с программным маршрутизатором.
В данной структуре, сетевой трафик проходит от внешних ресурсов к внутренним, и обратно, через устройство доступа. Оно передает на сервер управления информацию о трафике. Сервер управления обрабатывает эту информацию, хранит в базе, отображает, выдает команды на блокировку. Однако, не все комбинации устройств (методов) доступа, и методов сбора и управления, совместимы. О различных вариантах и пойдет речь ниже.

Сетевой трафик

Для начала необходимо определить, а что же подразумевается под «сетевым трафиком», и какую полезную статистическую информацию можно извлечь из потока пользовательских данных.
Доминирующим протоколом межсетевого взаимодействия пока остается IP версии 4 . Протокол IP соответствует 3му уровню модели OSI (L3). Информация (данные) между отправителем и получателем упаковывается в пакеты – имеющие заголовок, и «полезную нагрузку». Заголовок определяет, откуда и куда идет пакет (IP-адреса отправителя и получателя), размер пакета, тип полезной нагрузки. Основную часть сетевого трафика составляют пакеты с полезной нагрузкой UDP и TCP – это протоколы 4-го уровня (L4). Помимо адресов, заголовок этих двух протоколов содержит номера портов, которые определяют тип службы (приложения), передающего данные.

Для передачи IP-пакета по проводам (или радио) сетевые устройства вынуждены «оборачивать» (инкапсулировать) его в пакет протокола 2го уровня (L2). Самым распространенным протоколом такого типа является Ethernet . Фактическая передача «в провод» идет на 1м уровне. Обычно, устройство доступа (маршрутизатор) не занимается анализом заголовков пакетов на уровне, выше 4го (исключение – интеллектуальные межсетевые экраны).
Информация из полей адресов, портов, протоколов и счетчики длин из L3 и L4 заголовков пакетов данных и составляет тот «исходный материал», который используется при учёте и управлении трафиком. Собственно объем передаваемой информации находится в поле Length («Длина пакета») заголовка IP (включая длину самого заголовка). Кстати, из-за фрагментации пакетов вследствие механизма MTU общий объем передаваемых данных всегда больше размера полезной нагрузки.

Суммарная длина интересных нам в данном контексте IP- и TCP/UDP- полей пакета составляет 2...10% общей длины пакета. Если обрабатывать и хранить всю эту информацию попакетно, не хватит никаких ресурсов. К счастью, подавляющий объем трафика структурирован так, что состоит из набора «диалогов» между внешними и внутренними сетевыми устройствами, так называемых «потоков». Например, в рамках одной операции пересылки электронного письма (протокол SMTP) открывается TCP-сессия между клиентом и сервером. Она характеризуется постоянным набором параметров {IP-адрес источника, TCP-порт источника, IP-адрес получателя TCP-порт получателя} . Вместо того, чтобы обрабатывать и хранить информацию попакетно, гораздо удобнее хранить параметры потока (адреса и порты), а также дополнительную информацию – число и сумму длин переданных пакетов в каждую сторону, опционально длительность сессии, индексы интерфейсов маршрутизатора, значение поля ToS и прочее. Такой подход выгоден для ориентированных на соединение протоколов (TCP), где можно явно перехватить момент завершения сессии. Однако и для не ориентированных на сессии протоколов можно проводить агрегацию и логическое завершение записи о потоке по, например, таймауту. Ниже приведена выдержка из SQL-базы собственной системы биллинга , осуществляющей протоколирование информации о потоках трафика:

Необходимо отметить случай, когда устройство доступа осуществляет трансляцию адресов (NAT , маскарадинг) для организации доступа в Интернет компьютеров локальной сети, используя один, внешний, публичный IP-адрес. В этом случае специальный механизм осуществляет подмену IP-адресов и TCP/UDP портов пакетов трафика, заменяя внутренние (не маршрутизируемые в Интернете) адреса согласно своей динамической таблице трансляции. В такой конфигурации необходимо помнить, что для корректного учета данных по внутренним хостам сети съём статистики должен производиться способом и в том месте, где результат трансляции ещё не «обезличивает» внутренние адреса.

Методы сбора информации о трафике/статистике

Снимать и обрабатывать информацию о проходящем трафике можно непосредственно на самом устройстве доступа (ПК-маршрутизатор, VPN-сервер), с этого устройства передавая ее на отдельный сервер (NetFlow, SNMP), или «с провода» (tap, SPAN). Разберем все варианты по-порядку.
ПК-маршрутизатор
Рассмотрим простейший случай – устройство доступа (маршрутизатор) на базе ПК c ОС Linux.

О том, как настроить такой сервер, трансляцию адресов и маршрутизацию, написано много . Нас же интересует следующий логический шаг – сведения о том, как получить информацию о проходящем через такой сервер трафике. Существует три распространенных способа:

  • перехват (копирование) пакетов, проходящих через сетевую карту сервера, при помощи библиотеки libpcap
  • перехват пакетов, проходящих через встроенный межсетевой экран
  • использование сторонних средств преобразования попакетной статистики (полученной одним из двух предыдущих методов) в поток агрегированной информации netflow
Libpcap


В первом случае копия пакета, проходящего через интерфейс, после прохождения фильтра (man pcap-filter) может быть запрошена клиентской программой на сервере, написанной с использованием данной библиотеки. Пакет поступает вместе с заголовком 2го уровня (Ethernet). Можно ограничить длину захватываемой информации (если нас интересует только информация из его заголовка). Примерами таких программ могут быть tcpdump и Wireshark . Существует реализация libpcap под Windows . В случае применения трансляции адресов на ПК-маршрутизаторе такой перехват можно осуществлять только на его внутреннем интерфейсе, подключенном к локальным пользователям. На внешнем интерфейсе, после трансляции, IP-пакеты не содержат информации о внутренних хостах сети. Однако при таком способе невозможно учесть трафик, создаваемый самим сервером в сети Интернет (что важно, если на нем работают веб– или почтовый сервис).

Работа libpcap требует поддержки со стороны операционной системы, что в настоящее время сводится к установке единственной бибилиотеки. При этом прикладная (пользовательская) программа, осуществляющая сбор пакетов, должна:

  • открыть необходимый интерфейс
  • указать фильтр, через который пропускать принятые пакеты, размер захватываемой части (snaplen), размер буфера,
  • задать параметр promisc, который переводит сетевой интерфейс в режим захвата вообще всех проходящих мимо пакетов, а не только адресованных MAC-адресу этого интерфейса
  • установить функцию (callback), вызываемую на каждый принятый пакет.

При передаче пакета через выбранный интерфейс, после прохождения фильтра эта функция получает буфер, содержащий Ethernet, (VLAN), IP и т.д. заголовки, общим размером до snaplen. Поскольку библиотека libcap копирует пакеты, заблокировать их прохождение при ее помощи невозможно. В таком случае программе сбора и обработки трафика придется использовать альтернативные методы, например вызов скрипта для помещения заданного IP-адреса в правило блокировки трафика.

Межсетевой экран


Захват данных, проходящих через межсетевой экран, позволяет учесть и трафик самого сервера, и трафик пользователей сети, даже при работе трансляции адресов. Главное в этом случае – правильно сформулировать правило захвата, и поставить его в нужное место. Данным правилом активируется передача пакета в сторону системной библиотеки, откуда приложение учета и управления трафиком может его получить. Для ОС Линукс в качестве межсетевого экрана применяют iptables, а средства перехвата – ipq, netfliter_queue или ulog . Для OC FreeBSD – ipfw с правилами типа tee или divert . В любом случае механизм межсетевого экрана дополняется возможностью работы с пользовательской программой следующим способом:
  • Пользовательская программа - обработчик трафика регистрирует себя в системе, используя системный вызов, или библиотеку.
  • Пользовательская программа или внешний скрипт устанавливает правило в межсетевой экран, “заворачивающее” выбранный трафик (согласно правилу) вовнутрь обработчика.
  • На каждый проходящий пакет обработчик получает его содержимое в виде буфера памяти (с заголовками IP и т.д. После обработки (учёта) программе необходимо также сообщить ядру операционной системы, что делать далее с таким пакетом - отбросить или передать далее. Как вариант, возможно передать ядру видоизмененный пакет.

Поскольку IP-пакет не копируется, а пересылается в программное обеспечение для анализа, становится возможным его «выброс», а следовательно, полное или частичное ограничение трафика определенного типа (например, до выбранного абонента локальной сети). Однако в случае, если прикладная программа перестала отвечать ядру о своем решении (зависла, к примеру), трафик через сервер просто блокируется.
Необходимо отметить, что описанные механизмы при существенных объемах передаваемого трафика создают избыточную нагрузку на сервер, что связано с постоянным копированием данных из ядра в пользовательскую программу. Этого недостатка лишен метод сбора статистики на уровне ядра ОС, с выдачей в прикладную программу агрегированной статистики по протоколу NetFlow .

Netflow
Этот протокол был разработан фирмой Cisco Systems для экспорта информации о трафике с маршрутизаторов с целью учета и анализа трафика. Наиболее популярная сейчас версия 5 предоставляет получателю поток структурированных данных в виде UDP-пакетов, содержащих информацию о прошедшем трафике в виде так называемых flow records:

Объем информации о трафике меньше самого трафика на несколько порядков, что особенно актуально в больших и распределенных сетях. Конечно же, блокировать передачу информации при сборе статистики по netflow невозможно (если не использовать дополнительные механизмы).
В настоящее время становится популярным дальнейшее развитие этого протокола – версия 9, основанная на шаблонной структуре flow record, реализации для устройств других производителей (sFlow). Недавно был принят стандарт IPFIX, который позволяет передавать статистику и по протоколам более глубоких уровней (например, по типу приложения).
Реализация netflow-источников (агентов, probe) доступна для ПК-маршрутизаторов, как в виде работающих по описанных выше механизмам утилит (flowprobe, softflowd), так и непосредственно встроенных в ядро ОС (FreeBSD: ng_netgraph , Linux: ). Для программных маршрутизаторов поток статистики netflow можно принимать и обрабатывать локально на самом маршрутизаторе, или отправлять по сети (протокол передачи – поверх UDP) на принимающее устройство (коллектор).


Программа - коллектор может собирать сведения от многих источников сразу, имея возможность различать их трафик даже при пересекающихся адресных пространствах. При помощи дополнительных средств, таких как nprobe возможно также проводить дополнительную агрегацию данных, раздвоение потоков или конвертацию протоколов, что актуально при управлении большой и распределенной сетью с десятками маршрутизаторов.

Функции экспорта netflow поддерживают маршрутизаторы Cisco Systems, Mikrotik, и некоторые другие. Аналогичный функционал (с другими протоколами экспорта) поддерживается всеми крупными производителями сетевого оборудования.

Libpcap “снаружи”
Немного усложним задачу. Что, если ваше устройство доступа – аппаратный маршрутизатор другого производителя? Например, D-Link, ASUS, Trendnet и т.д. На нем, скорее всего, невозможно поставить дополнительное программное средство съема данных. Как вариант – интеллектуальное устройство доступа у вас есть, но настроить его не представляется возможным (нет прав, или оно управляется вашим провайдером). В таком случае можно собирать информацию о трафике непосредственно в точке стыка устройства доступа с внутренней сетью, пользуясь «аппаратными» средствами копирования пакетов. В таком случае непременно потребуется отдельно стоящий сервер с выделенной сетевой картой для приема копий Ethernet-пакетов.
Сервер должен использовать механизм сбора пакетов по методу libpcap, описанному выше, и наша задача - на вход выделенной для этого сетевой карты подать поток данных, идентичный выходящему из сервера доступа. Для этого можно использовать:
  • Ethernet – хаб (hub): устройство, просто пересылающее пакеты между всеми своими портами без разбора. В современных реалиях его можно найти где-нибудь на пыльном складе, и применять такой метод не рекомендуется: ненадежно, низкая скорость (хабов на скорости 1 Гбит/с не бывает)
  • Ethernet – коммутатор с возможностью зеркалирования (мирроринга, SPAN портов . Современные интеллектуальные (и дорогие) коммутаторы позволяют копировать на указанный порт весь трафик (входящий, выходящий, оба) другого физического интерфейса, VLANа, в том числе удаленного (RSPAN)
  • Аппаратный раздвоитель , который может потребовать установки для сбора двух сетевых карт вместо одной – и это помимо основной, системной.


Естественно, вы можете настроить SPAN-порт и на самом устройстве доступа (маршрутизаторе), если оно это позволяет – Cisco Catalyst 6500, Cisco ASA. Вот пример такой конфигурации для коммутатора Cisco:
monitor session 1 source vlan 100 ! откуда берем пакеты
monitor session 1 destination interface Gi6/3! куда выдаем пакеты

SNMP
Что, если маршрутизатора под нашим контролем нет, с netflow связываться нет желания, нас не интересуют детали трафика наших пользователей. Они просто подключены в сеть через управляемый коммутатор, и нам надо просто грубо оценить объем трафика, приходящегося на каждый из его портов. Как вы знаете, сетевые устройства с возможностью удаленного управления поддерживают, и могут отобразить счетчики пакетов (байт), проходящих через сетевые интерфейсы. Для их опроса правильно будет использовать стандартизованный протокол удаленного управления SNMP . При помощи его можно достаточно просто получить не только значения указанных счетчиков, но также другие параметры, такие как имя и описание интерфейса, видимые через него MAC-адреса, и другую полезную информацию. Это делается как утилитами командной строки (snmpwalk), графическими SNMP-браузерами, так и более сложными программами мониторинга сети (rrdtools , cacti , zabbix , whats up gold и т.д.). Однако, данный метод имеет два существенных недостатка:
  • блокировка трафика может производиться только путем полного отключения интерфейса, при помощи того же SNMP
  • счетчики трафика, снимаемые по SNMP, относятся к сумме длин Ethernet-пакетов (причем unicast, broadcast и multicast по-отдельности), в то время как остальные описанные ранее средства дают величины относительно IP-пакетов. Это создает заметное расхождение (особенно на коротких пакетах) из-за оверхеда, вызванного длиной Ethernet-заголовка (впрочем, с этим можно приближенно бороться: L3_байт = L2_байт - L2_пакетов*38).
VPN
Отдельно стоит рассмотреть случай доступа пользователей к сети путем явного установления соединения к серверу доступа. Классическим примером может служить старый добрый dial-up, аналогом которого в современном мире являются VPN-службы удаленного доступа (PPTP, PPPoE, L2TP, OpenVPN, IPSEC)


Устройство доступа не только маршрутизирует IP-трафик пользователей, но также представляет из себя специализированный VPN-сервер, и терминирует логические туннели (часто зашифрованные), внутри которых передается пользовательский трафик.
Для учета такого трафика можно пользоваться как всеми средствами, описанными выше (и для глубокого анализа по портам/протоколам они хорошо подходят), так и дополнительными механизмами, которые предоставляют средства управления VPN-доступом. В первую очередь речь пойдет о протоколе RADIUS . Его работа – достаточно сложная тема. Мы же кратко упомянем, что контролем (авторизацией) доступа к VPN-серверу (RADIUS-клиенту) управляет специальное приложение (RADIUS-сервер), имеющее за собой базу (текстовый файл, SQL, Active Directory) допустимых пользователей с их атрибутами (ограничения по скорости подключения, назначенные IP-адреса). Помимо процесса авторизации, клиент периодически передает серверу сообщения аккаунтинга, информацию о состоянии каждой текущей работающей VPN-сессии, в том числе счетчики переданных байт и пакетов.

Заключение

Сведем все описанные выше методы сбора информации о трафике воедино:

Подведем небольшой итог. На практике существует большое количество методов присоединения управляемой вами сети (с клиентами или офисными абонентами) к внешней сетевой инфраструктуре, с использованием ряда средств доступа – программных и аппаратных маршрутизаторов, коммутаторов, VPN-серверов. Однако практически в любом случае можно придумать схему, когда информация о переданном по сети трафике может быть направлена на программное или аппаратное средство его анализа и управления. Возможно также, что это средство позволит осуществлять обратную связь с устройством доступа, применяя интеллектуальные алгоритмы ограничения доступа для отдельных клиентов, протоколов и прочего.
На этом закончу разбор матчасти. Из неразобранных тем остались:

  • как и куда попадают собранные данные о трафике
  • программное обеспечение для учета трафика
  • чем отличается биллинг от простой “считалки”
  • как можно накладывать ограничение на трафик
  • учёт и ограничение посещенных веб-сайтов