Денис Михлевич

Для начала — что бы ты хотел рассказать нашим потенциальным читателям?

Добрый день, меня зовут Денис Михлевич, я работаю в компании “ТрансТелеКом”, название должности каждый год меняется, фактически, я руководитель сектора эксплуатации IP-сети и телематических служб. Хотел бы поговорить про Интернет, глобальные сети связи, и то, как Интернет развивается в глобальном смысле слова.

То есть ты главный по интернету в ТрансТелеКоме.

Да, в ТТК-Волга — главный. Определяю архитектуру сети, настраиваю корневые узлы, BRAS (маршрутизаторы широкополосного доступа в Интернет), DNS, чтобы все это хорошо работало, без сбоев, а если сбои случаются — чтобы перерывы были минимальны и устранялись оперативно.

Как я понимаю, ты занимаешься этим довольно давно и не планируешь менять профиль.

Я устроился в ТрансТелеКом в июне 2010г, через год после окончания Университета. Мне нравятся сети связи, можно сказать, что настраивать оборудование для общения людей — это еще и хобби. Я начинал с FidoNet в 2003г., нравилось, что эта сеть бесплатная, некоммерческая — пользоваться Интернетом в то время для меня было дорого. Это увлечение дало мне существенный толчок как специалисту — настройка фидошного софта была достаточно сложной, приходилось читать документацию, досконально разбираться в принципах работы. ФИДОшный узел у меня дома до сих пор работает, 6 человек примерно ежедневно “прокачивают почту” и что-то читают, пишут до сих пор. Какие-то технические эхо-конференции еще живы, а последний поинт из Минска подключился в октябре 2017г.

То есть, хобби успешно переросло в работу.

Ну чтобы попасть в такую крупную компанию, нужен какой-то опыт. Я не работал во время учебы, старался максимально хорошо закончить ВУЗ. После СГУ работу искал около 3-х месяцев. В сентябре 2010 года я устроился в компанию “Алло-такси”, где освободилась вакансия системного администратора в связи с тем, что текущий переезжал в Москву. Было понятно, что это просто начало карьеры, там я достаточно неплохо изучил Аsterisk и специальный софт для такси, написанный в Ижевске.

Давай к интересному — к сетям. ТТК долго был пионером широкополосного Интернета для пользователей Саратова, и до сих пор достаточно заметен.

Насколько я знаю историю, ТТК первым стал строить оптику по городу, но подключали к ней только очень крупных клиентов — других операторов связи, банки, крупные предприятия. Клиентов и услуг было мало, но они приносили большой доход. Первым клиентом в 97 или 98г была компания “Ростелеком”, которая брала цифровые каналы связи в 2 МБит/с от Самары до Саратова, Волгограда и Астрахани. Каждый такой канал стоил несколько тысяч долларов в месяц.

И пользователям Саратова, Энгельса в квартиры ТТК начал первым подключать доступ в Интернет по технологии FTTB (оптика до дома). Была заложена инфраструктура с потенциалом роста скорости для каждого абонента — 100 Мбит/с. В 2009 году это было очень круто и такие скорости считались заоблачными.

Да, в 2009г, это было очень громкое событие. Но сейчас все это спало, к сожалению.

ТТК сейчас живет на существующем тех.охвате и когда-то построенных сетях. Мы по-прежнему подключаем точечно корпоративных клиентов, но конкурировать сейчас сложно. Преимущество ТТК ещё в том, что мы представлены не только в областных центрах, но и в малых населенных пунктах — как правило там, где есть железная дорога, потому как вдоль железнодорожных путей проходят магистральные линии связи.

Эта стратегия живет уже много лет, и другой у компании, похоже и нет.

Да сейчас нет никакой стратегии. Иногда пытаются запустить дополнительные услуги, например, доступ в Интернет по технологии WiMAX. Компания, как федеральный оператор запустила услугу в 2012г, в нашей области она появилась в 2014, но только в Энгельсе и Балаково, а уже в 2016ом её начали сворачивать так как оказалась убыточной и не перспективной. Я, правда, сразу удивлялся, потому что это как DialUp начинать внедрять — технология устаревшая и вообщем-то ненужная. В этом году ТТК в нашем регионе должна запустить виртуального сотового оператора TTK-Mobile. Если с WiMAX хотя бы вышки и оборудование наше было, то в случае с виртуальным оператором ничего нашего, кроме бренда нет.

То есть ты главный по Интернету в крупной, заслуженной, но не развивающейся компании.

В компании происходит, как бы это по политкорректнее выразиться, “оптимизация”, мы укрупняемся. Раньше в регионе были три области — Саратовская, Волгоградская, Астраханская. Сейчас мы вошли в Макрорегион Волга, и большая часть руководства, принимающего какие-то решения находится в Нижнем Новгороде.

Уровень развития спал. Я по собственной инициативе изучаю и внедряю новые технологии, и таким образом расту как специалист и даже получаю некоторое признание. Из того что может быть заметно обычным клиентам, это внедрение IPv6 в ТТК-Волга, и модернизация системы DNS-серверов в укрупненном макрорегионе. Толчком для этого стала авария в Саранске, где на узле связи отключили электричество, и после того, как сели бесперебойники, в регионе пропал Интернет. Как оказалось, упали DNS-сервера, которые сидят на одном  бесперебойнике и регион лишился возможности резолвинга. Резолвинг это преобразование названий сайтов в IP-адреса. Маршрутизация в Интернете осуществляется на основе IP адресов. Получается что Интернет был, но обычный пользователь никуда не мог попасть, так как не работали DNS сервера.

Я получил задание от нового руководства исправить эту ситуацию и построить отказоустойчивую систему DNS в макрорегионе. Взял контакты админов во всех городах, провел аудит текущей сети, и проработал вариант внедрения Anycast DNS.

Это только планы, или уже на уровне реализации?

Уже сделал, в 2017, на всё ушло 3 месяца (июль-октябрь). Отдельные сервера могут отваливаться, служба DNS при этом не пропадет, потому что система настроена так, что запросы автоматически перенаправляются на другой ближайший сервер. А если другой также  отвалится, то еще на следующие сервера уйдёт нагрузка. Несколько уровней резервирования сделал.

Расскажи поподробнее, что такое Anycast?

Это такой тип маршрутизации. Наиболее распространенным в Интернете является Unicast-маршрутизация, когда у трафика есть один получатель и в заголовке пакета  указывается IP-адрес назначения. Этот адрес находится на одной машине (сервере). В Anycast маршрутизации один и тот же IP-адрес находится на нескольких серверах, и по протоколам динамической маршрутизации выбирается наиболее короткий путь. Насколько я знаю, сейчас Anycast маршрутизация используется преимущественно только для DNS, с 2002г стала использоваться для корневых DNS в масштабе планеты. Некоторые компании, оказывающие услуги хостинга DNS имени также применяют эту технологию. На уровне кэширующих DNS серверов у провайдеров я не слышал, чтобы эту технологию кто-то применял.

С октября 2017 по февраль 2018, система Anycast DNS работала очень хорошо, несколько раз спасала, но мне для счастья не хватало мониторинга DNS. Всё это время я вынашивал идею как замониторить, чтобы это решение можно было внедрить в масштабе макрорегиона.

Итак в феврале 2018г я внедрил систему мониторинга DNS-серверов, потому что мало сделать отказоустойчивую систему, надо еще понимать что в ней происходит.

На чем мониторинг?

Графическое отображение и хранение информации в системе Zabbix, сбор статистики трафика DSC, нотификация о падении и подъеме серверов в специальную группу в Telegram. Передачей статистики трафика от DSC в Zabbix занимается специальный скрипт, его написал программист из Самары, я ему сформулировал техническое задание и он с ним хорошо справился. Выглядит мониторинг именно так как я его себе представлял.

Скажи, а вот решения, которые ты потом и размышлениями делаешь — они масштабируются как-то за пределы макрорегиона? Ты же работаешь в крупной корпорации — неужели в каждом регионе свой Денис Михлевич придумывает решение для одних и тех же задач?

К сожалению, примерно так и происходит. IPv6 внедрено почти только у нас, причем в ТТК-Волга, а не в макрорегионе — там не до этого, там более простые задачи не могут решить. Руководство в макрорегионе Волга сказало, что внедрять IPv6 не будем. Внедрив IPv6 в ТТК-Волга я пошел против всех. В макрорегионе Север есть еще толковый админ, он сам независимо поднял у себя IPv6. Но есть и глобальные проекты, как например переход на единый биллинг, эти проекты исходят из Корпоративного Центра в Москве.

Москвичи, достаточно высокие спецы, приезжали ко мне в июне 2017, знакомились, смотрели как тут всё хорошо работает.

То есть они не сказали, что приехали учиться, а сказали что будут проверять тебя.

Именно так. Я вижу, что кое-что они переняли, в частности, мониторинг трафика IPv6.

Давай в двух-трех словах познакомим читателей с проблемой v6, ее важностью, и сложностью.

Да, все так и спрашивают — зачем он нужен если и так все работает? Это проблема глобального Интернета, а не отдельного провайдера. Существующий стандарт задания адреса конечного устройства, IPv4 был разработан еще в 70-х годах. Это было сделано для обеспечения научного эксперимента, и тогда никто не предполагал как широко разрастется Интернет в будущем. В 1990-х стало очевидно, что адресов на всех уже не хватит.

И тогда придумали NAT.

Да, в 94г. Но это инвестиции в дополнительное оборудование, плюс это нарушает связность сети, так как два компьютера перестают иметь возможность общаться напрямую без вспомогательного сервера с внешним IP-адресом, а основной принцип Интернета заключается в том, что каждый хост должен иметь возможность связаться с другим без каких бы то ни было вспомогательных серверов.

Существующие провайдеры используют старые запасы IP адресов и NAT. Координацией адресного пространства в Европе, на Ближнем Востоке и Центральной Азии осуществляет некоммерческая организация RIPE NCC, со штаб-квартирой в Амстердаме. Нераспределенных IPv4 в мире практически нет, поэтому появление новых провайдеров невозможно. Новый провайдер может получить в свое пользование от RIPE NCC не более 1024 адреса, что совершенно недостаточно для осуществления коммерческой деятельности, а 2000 году ТТК-Волга менее чем за сутки получило для себя 32 тысячи адресов.

Был разработан новый стандарт, IPv6, в котором адрес длиннее (128 бит, против 32 бит как у IPv4), поэтому и самих адресов много, много больше. Чтобы он заработал его должны внедрить большинство игроков рынка. То есть, переходить на  IPv6 надо, но есть проблема обратной совместимости. IPv6-адрес не может обращаться к адресам и сайтам, которые работают исключительно по IPv4. Поэтому сейчас применяется т.н. DualStack, когда вместе с белым (или серым) IPv4 выдается префикс IPv6, которые работают в паре, и в локальной сети каждому устройству выдается белый IPv6, который и является приоритетом по-умолчанию. Если он есть и у компьютера, и у интересующего сайта — трафик пойдет именно по нему. В ТТК-Волга самая большая проблема более массового распространения IPv6 это домашние маршрутизаторы, 99% которых не поддерживает IPv6. Преимущественно трафик IPv6 клиентов ТТК-Волга создается теми кто подключен к сети напрямую без роутера.

То есть на 10 устройств у меня дома я получу 1 v4 и 10 v6

На самом деле нет. В IPv6 конечному пользователю выдается не один адрес, а так называемый префикс, то есть блок адресов. И домашний роутер по определенным правилам автонастройки присваивает конечным устройствам адреса из этого блока.

Получается, надо постепенно избавиться от IPv4 и забыть про проблемы с адресным пространством.

Это нужно для того, чтобы Интернет продолжал развиваться. Иначе в глобальном смысле он будет стагнировать. На западных конференциях очень много времени уделяется вопросам умного дома и Интернета вещей — это всякого рода датчики и домашние приборы (счетчики, бытовая техника), которые подключены к сети и могут обмениваться информацией. Без IPv6 все это невозможно. IPv4 пока никуда не уйдет, его должен со временем вытеснить IPv6.

Что еще можно обозначить как направление развития Интернета? Что такое Интернет?

Это транспортная среда для общения людей. Раньше удаленно можно было пообщаться только по телефону, а скоро можно будет только по Интернету. В Интернет уходит телефония, телевидение и другие аспекты жизни. Все новое, что появляется, живет только там — биткоины, соцсети, платежи, сервисы картографии и так далее. Что еще будет появляться — предсказать сложно. В 4G-сетях, правда, не у наших операторов, есть возможность автоматически переключаться на IP-телефонию при звонке, например.

А сейчас средств коммуникации недостаточно? Вроде и так везде Интернет. Будет ли какое-то качественное развитие?

Далеко не везде — в малых населенных пунктах  и с сотовой связью не все хорошо.

Ясно. То есть транспортной компонентой Интернета ты и занимаешься.

Да. Пока есть возможность придумывать и внедрять какие-то крутые штуки, новые для нашего региона, и это доставляет мне удовольствие.

Когда состоялся торжественный запуск IPv6 в регионе?

31 марта 2016 года, но свои эксперименты я закончил в 2014г и технически мы были готовы начинать тогда. 2 года заняло решение проблем с биллингом, так как мне наотрез отказывались давать какие-то дополнительные RADIUS-атрибуты на BRAS, и повлиять на это даже через руководство было невозможно. В 2016г произошел переход на единый московский биллинг, при тестировании которого в 2014ом, одним из моих условий была активация всем абонентам IPv6 сервиса, по сути мне нужно было чтобы на каждую сессию по RADIUS протоколу в BRAS навешивались заранее известные атрибуты. У меня был тестовый BRAS, на котором я проводил свои эксперименты. С 2014 года конфигурация ждала своего часа для внедрения.

То есть в конце 2000-х специалистам уже было очевидно, что это дело нужное и перспективное, но внедрить что-то удалось только спустя много лет, и колоссальными усилиями.

Колоссальными усилиями одного человека. И до сих пор не удается донести до начальства насколько это важно. Уровень внедрения IPv6 по России — менее 2%, это очень мало. У лидеров, в США, Великобритания и как ни странно Индии это 40%

Эксперименты ты закончил в 2014г, а начал когда? В чем была сложность?

Начал я в 2012г, после посещения Яндексовской Конференции Yet Another Conference. Владимир Иванов там 40 минут рассказывал, как запускали IPv6 в Яндексе, и меня это очень воодушевило. По возвращению в Саратов, я запросил для компании пул IPv6 адресов в RIPE NCC, и понеслось. Подняли стыки BGP с ТрансТелеКомом по IPv6, начал эксперименты проводить на тестовом железе. Как правило, все это делалось в свободное от работы время — или между текущими задачами, или даже после работы я задерживался.

ОК, получил адреса. Что еще надо было сделать?

Создать адресный план, то есть побить полученный блок на более мелкие куски “на город” условно. Потом поднять BGP стыки по IPv6 c магистральной ТрансТелеКомовской AS’кой, для возможности взаимодействия с глобальным Интернетом по IPv6. Еще нужно было настроить все маршрутизаторы, раут-рефлектора, DNS в ядре сети ТТК-Волга для поддержки IPv6 и настроить на них распространение таблицы маршрутизации IPv6. Маршрутизаторов у нас много и настраивать нужно было каждый из них.

Далее надо было протестировать как будут подключаться клиенты в разных вариантах, задокументировать все результаты.

Потом пройтись по пирингам — например, у нас есть BGP стык с Дом.ру, у которых IPv6 тоже имеется с 2013г, только по-умолчанию они его не выдают никому — клиент должен сам зайти в личный кабинет и включить протокол IPv6 на своем договоре и еще должен иметь совместимый IPv6 роутер, напрямую, без роутера, у них IPv6 не работает. Мы же наоборот — выдаем всем клиентам IPv6 и работает у нас как без роутера так и с IPv6 совместимым роутером. Было опасно, что что-то может отвалится у клиентов, но когда ещё я бы смог провести такой эксперимент? Получается, что IPv6 работает у тех клиентов, у которых оборудование его поддерживает и не работает у тех у которых не поддерживает. Именно на это я надеялся при внедрении.

В октябре 2017г ездил на конференцию ENOG14. RIPE NCC открыл программу Fellowship, когда специалисты, которые что-то внедряют и готовы поделиться опытом могут подать заявку, и если она будет одобрена им оплачивают перелет и проживание в пятизвездочном отеле. Я даже выступил с блиц-докладом, хотя это было не обязательно, по опыту внедрения IPv6 в ТТК-Волга. Считаю, выступил успешно, хотя не очень доволен тем, что читал по бумажке.

А почему ты читал по бумажке? Волновался?

Да, конечно. Стоять на одной сцене с людьми, управляющими развитием всего Интернета, и другими монстрами отрасли — это сильно.

Да вот еще. Ты крутой, ты в одиночку сделал IPv6 в ТТК!

Следующая конференция будет летом 2018г в Москве, я туда поеду, и думаю что сделаю блиц-доклад по внедрению Anycast DNS. Попробую без бумажки. Просто выступления это отдельный навык, и у меня он развит не очень хорошо.

Можно здесь, в Саратове, собрать митап и рассказать заинтересованным, даже если их будет немного.

Не знаю, посмотрим. Аудитория тут маленькая, не наберется народу кто может послушать и дать обратную связь.

Есть ощущение, что тебе тут тесно, и ты делаешь все скорее вопреки, чем благодаря организации, в которой работаешь. Так ли это, и есть ли понимание, как это можно изменить?

К сожалению, это так. В принципе, можно было бы давно уехать из Саратова, но пока ещё есть факторы, которые не позволяют мне сделать этого.

Хотя и уезжать из Саратова тоже не хочется. В Москве очень дорогая недвижимость, снимать жилье я не хочу, добираться до работы привык быстро также как и жить в центре города. Если не менять профиль деятельности альтернатив по работе в Саратове просто нет.

Ситуация грустная. Грамотных сетевиков в городе нет, а те которые есть — никому не нужны.

Да. Нужны биороботы, которые будут подключать абонентов и тянуть кроссировки, а думающие инженеры — не нужны. Я думаю, что работа в связи это дело моей жизни, досконально знать все нюансы и развиваться в этом направлении.

Раз тебе интересны сети, связь и Интернет, как в техническом, так и в идеологическом плане. Скажи тогда, куда пойдет развитие? У всех есть смартфоны, зона покрытия растет. Будет ли что-то качественно новое?

Я не работаю с прикладным уровнем Интернета, и не готов предсказать куда все пойдет. На уровне маршрутизации в Интернете могу сказать, что в сентябре 2017 стандартизирован новый стандарт BGPSec, это расширение к протоколу BGP, которое призвано бороться с поддельными анонсами сетей. Насколько он распространится в Интернете и через сколько сказать сейчас сложно. Пока что его должны внедрить производители оборудования на уровне ПО. Сейчас BGP держится на доверии участников, а новый стандарт призван добавить слой безопасности в BGP. Но внедрить в Интернете его будет так же трудно, как и IPv6.

То есть сетевики собрались, решили и выкатили новый стандарт.

Есть такой инженерный совет Интернета — IETF, он работает непрерывно, всё взаимодействие происходит по электронной почте, очные встречи происходят 3 раза в год по 5 дней, в различных уголках планеты, на которых утверждаются стандарты Интернета RFC. Эта организация никак не зарегистрирована, все члены работают добровольно и не получают зарплату. Вступить в неё может любой желающий, обладающий определенными компетенциями. Подумать только, что Интернет начинается с некоммерческих организаций, которые живут на добровольных началах их участников. Для России это выглядит дико. Но это является показателем уровня развития цивилизованного общества.

В России мы в основном применяем, то что кто-то придумал на Западе. Это относится не только к связи. Кто-то применяет существующие технологии лучше, кто-то хуже. Но создаются технологии к сожалению не у нас. Под созданием технологий понимаю, то что используется во всём Мире.

Сейчас Интернет в начальном виде находится под атакой. Различные государства и государственные структуры пытаются его контролировать. У нас это блокировки Роскомнадзора, есть еще Великий Китайский Фаерволл, да и западные страны потихоньку наращивают у себя аналогичные механизмы. Так это или нет, и как ты ко всему этому относишься?

Да, блокировки и удаления на западе тоже есть, хотя проводить какие-то прямые аналогии неуместно — Россия и Запад это очень разные общества, с разными правилами, мировоззрением, менталитетом и техническим уровнем. Я считаю что Интернет надо всё-таки контролировать. Ведь это же не правильно если можно через Интернет покупать наркотики или узнавать “как сделать бомбу”. Но блокируются и вполне безобидные сайты такие как LinkedIn. Его блокировку я сравниваю с блокировкой ВК на Украине.

Кроме работы, что тебя занимает — какие-то хобби, увлечения?

Люблю ездить на автомобиле, летом — на велосипеде. Мой рекорд — 80 километров за один день.

Довольно неплохо. Спасибо за рассказ!