Лого

Будни техподдержки: байки про то, что бывает, когда не можешь дойти до юзера

Мы среди прочего оказываем поддержку по Вотсапу. Вечер, ничто не предвещает проблем, как тут вдруг открывается окно видеозвонка. Крупным планом — телеком-оборудование, установленное на площадке заказчика… И оно горит. Буквально. Видно огонёк, похоже — изоляция проводов около блока питания. Человек спрашивает, что делать. Кричу:
— Туши!
Он: 
— А можно?
— Можно!
И только тогда он тушит. 



Оказалось, что у них далеко не всё можно тушить обычными средствами: может в ответ ударить током на пару десятков тысяч вольт. Или вообще тушение помешает работе важного оборудования. В общем, он увидел возгорание, позвонил в поддержку и, пока устанавливалось соединение, нашёл и подготовил огнетушитель. 

В общем, привет, Хабр! Я из команды удалённой технической поддержки, и мы часто общаемся с пользователями по всей стране и за её пределами. И они творят довольно странные вещи. Ниже будут байки.

Что мы делаем, и что это

КРОК может брать на поддержку офисы, производства и отдельные сервисы. Занимаемся мы этим уже много-много лет. Есть команда колл-центра, которая реагирует по стандартным скриптам и помогает в типовых ситуациях, вторая линия (это я и коллеги) — для разбора сложных случаев, когда надо залезть на уровень настройки сети, сервера или в прикладное ПО, и мобильные инженеры, которые ездят и меняют железо. Плюс команда перезагрузки в каждом городе, но про это будет дальше. В работе встречается много романтики, потому что мы часто делаем очень плотные SLA для банков и розницы, поддерживаем объекты транспортной инфраструктуры. По понятным причинам названий заказчиков не упоминаю, а безопасники ещё поменяли часть не очень важных деталей, чтобы никого нельзя было однозначно узнать. 

Жара

В пики жары пропадает связь с одним из локальных серверов. На объектах таких серверов много, смонтированы они довольно компактно в техпомещениях, и везде сложности с охлаждением, причём часто используется внешнее принудительное. Ну то есть мощный вентилятор, направленный прямо на стойку. Коллеги называют это модным словом «фрикулинг», но это именно вентилятор, направленный на стойку. 

Но случается такое не каждый день по жаре, а примерно только каждый второй. Начинаем разбираться — иногда, как в детективе: оказывается, там в этом же помещении работают два человека. Один специалист знает, что такое стойка, или близко догадывается о таинственной связи мигающих лампочек и вентилятора. Второй специалист — бабушка. Она не знает. И когда жара доходит до максимума, бабушка чувствует thermal threshold, затем берёт и поворачивает вентилятор на себя. Потому что её маленький вентилятор не такой мощный. 

Логичное следствие — бабушка охлаждается, стойка перегревается. Дальше по порогу температуры происходит штатный thermal shutdown. А у нас — очередной тикет. 

Случай нередкий, нам не привыкать. Пишем памятки и обучаем ключевых людей заказчика, а они должны обучать линейных людей. Но правильно случается не всегда. Ещё в одном похожем помещении стойка отключалась по ночам на шесть–восемь минут. Потом узнали: нового сторожа не предупредили, он отрубал питание стойки из розетки, включал чайник, а потом возвращал всё как было. 

Бывают и просто странные вводы. Ещё один горе-электрик вывел питание кондиционера на выключатель света в техпомещении. Пока там кто-то есть — всё работает. Люди уходят — стойка выключается. В итоге там сейчас висит табличка «Свет не выключать!!! Вырву руки!!!» Похоже, электрику уже вырвали, поэтому сделать правильную разводку он не может, приходится решать вот этим костылём. 

Разрешение на посещение туалета

Отправляем выездного инженера на обслуживание одного из узлов крупной сети. Девушка-инженер едет на место. Надо сказать, что это очень своеобразное помещение с высокими потолками, которое строилось ещё во времена зарождения СССР. После нескольких реконструкций над мужским туалетом сделали пространство над кабинками, куда можно уложить оборудование. Частая ситуация по стране, кстати: места под железо не хватает, делают «фальшпотолок». Почему-то обычно там. Я сам пару раз подключал коммутаторы, стоя на унитазе. 

Девушка приходит к руководителю объекта и просит разрешения на посещение мужского туалета. Сначала люди долго не понимают, зачем ей это. Потом включается бюрократическая машина: случай незнакомый, и что делать, никто не знает. В итоге ей стоило больших трудов сделать всё правильно. Парни просто закрыли туалет на время работ официально и позволили творить внутри что угодно. 

В розничных сетях оборудование почему-то часто монтируют рядом с трубами с водой или фановыми. В паре серверных и в помещении наблюдали, как течёт вода. Последний случай вообще видели по камерам мониторинга: начинается дождь. Стоит стойка с оборудованием (естественно, запитанная), рядом — три тазика, а с потолка равномерно и монотонно капает. Всё обошлось, причём, кажется, эта ситуация смущала только нас. Волновались за заказчика только наши инженеры. 

В другой раз трубу над серверной прорвало. Инженер прямо на видео снимает коммутатор с крепления, переворачивает — из него выливается стакан воды. Что характерно, коммутатор продолжает работать. Мы его привезли к нам в лабораторию, а заказчику дали новый взамен. 

Как-то телеком-оборудование выжило после запуска системы порошкового пожаротушения в одном из офисов заказчика. Там просто вытрясли весь порошок (это было довольно сложно, пришлось разбирать), но сама железка до сих пор работает. 

Учения

Аудит сетевого оборудования на одном защищённом объекте. Руководитель по технической части стоит перед комиссией. Защитился. В конце жалуется: 
— Питание у нас от города плохое, постоянно напряжение не то. Вот если взять вилку, в эту розетку вставить, то обычно бывает плохо. Стойку вырубает. 

И вставляет вилку показать.

Стойку не только вырубило, но ещё и вывело из строя шлюз, а затем — сервер. На серваке сгорел жёсткий диск, где крутились приложения для управления объектом. Всё встало просто железобетонно. 

Комиссию переназначили на следующий день. А нам пришлось за ночь поднимать новое оборудование и привозить его на место. 

В похожем случае (только там был реальный сбой по питанию, а не вот такие учения) объект обслуживал крупный отечественный провайдер. Очень крупный и очень отечественный. Мы открываем заявку на то, что их оборудование погорело. У них SLA — восемь часов. Ответ их поддержки:
— Ну да, знаем, что там железо сломалось. Вы что, не видите, у нас обед? Завтра или послезавтра монтажник приедет.

Оказалось, что SLA у них есть, а вот штрафа за нарушение нет. 

Второй случай с учениями был такой. Банк. Два часа ночи, заявка на критичную железку. Четыре часа на замену. С криками: «Коллеги, всё пропало!» (но только одним словом) — мы дозваниваемся до американцев, они говорят, где забрать железку в Москве, едем туда, собираем, в это время коллега ползает на коленях перед логистами. Успеваем. Через час пятнадцать привозим им. Они нас даже в здание не пускают:
— Спасибо, но нам уже не надо.
— Мужики! Что это было?
— Учения!

Бомж-SMS

Поддерживаем иностранного сотового оператора. Один из сервисов, который у нас на мониторинге, — преобразование SMS в духе «Абонент пытался вам позвонить, но у него нет денег» в неотвеченный звонок. То есть вместо сообщения приходит неотвеченный, но телефон не звонит. Оператор, кстати, посчитал, что так вероятность обратного звонка гораздо выше. 

В один прекрасный день с графика пропадают все транзакции. Просто нет звонков без денег вообще. Мы начинаем разбираться, но никак не можем найти концы. Только через час доходит, что в стране нет звонков вообще. 

И потом они начинаются ночью. Это мусульманский праздник Рамадан, и график звонков перекосило. У нас такое случается на Новый год, когда 1 января с утра почти нет звонков, а там случилось весной. 

Ещё с иностранными заказчиками всегда надо проверять их инженеров, куда конкретно они подключаются. Один шведский вендор ставит системы для управления людьми. В России — две инсталляции. На одной просят обновить до последней версии, потому что им нужна какая-то новая фича. Другая стабильно работает уже почти полгода, и там никаких вопросов. Шведы подключаются, молча обновляют второго заказчика, отчитываются первому об обновлении, закрывают кейс. 

Мы готовимся извиняться и компенсировать (потому что система 20 минут не работала у второго, и сейчас нужно будет ещё согласовывать новое окно у первого), как вдруг выясняется, что:

Первый заказчик доволен и подтверждает тикет.
Второй вообще не заметил простоя.

Мы тогда никому не сказали, но это было очень странно.

Отстрел ног

Когда заказчик на поддержке хостится в облаке и просит прямой доступ к машине вместо того, чтобы описать нам, что будет, мы делаем ставки, как быстро они там отстрелят себе ноги. Случай такой не первый и даже не сотый. Админы заказчиков регулярно теряют удалённый доступ к машине по самым разным причинам. Вот свежий случай: настроили они там новую аутентификацию, а она взяла и сбросила текущих пользователей. А чтобы пройти эту аутентификацию и пробросить удалённый доступ заново, надо как-то пробиться внутрь и всё настроить сначала. В общем, настройка файрвола по удалённому доступу — к долгой дороге. 

Мы в таких случаях нанимаем команду релоада. То есть админа, который может перезагрузить сервер или поиграть в телеуправляемого робота с Ватсапом. Это чтобы когда настраиваешь что-то в Хабаровске, потом не полететь в командировку ночью в Хабаровск. 

Для нового сетевого железа и нормальных конфигов у крупного вендора есть штатная команда на откат на предыдущий конфиг. Активируешь таймер на полчаса. Если за полчаса не отменить это задание, то будут рестарт и восстановление прошлой версии. Если всё хорошо настроил — проверяешь (два раза) и отменяешь эту задачу. Когда уверен, что всё работает. 

Иногда нужно ездить ставить оборудование. У нас есть парень по кличке «13-й». Потому что, когда выпала командировка в Сургут, он уже собрался с железкой в аэропорт, и по дороге ему сказали, что эта же железка куда нужнее тому же заказчику в Краснодаре. И поменяли билет. Второй раз он приехал на замену, а там всё само поднялось за время полёта, и он присылал нам в рабочий чат фотографии ног на пляже. 

Но лучший случай был такой. Заказчик перед уходом взял и удалил коннект между двумя рабочими в паре серверами. Мы сидим, приходит запрос: «Ничего не работает». Подключаемся, смотрим: 
— Что делали? 
— Перед уходом домой я удалил коннект между серверами. 
— Зачем? 
— А что так нельзя было?

У вас есть бинокль?

Когда мы тестировали систему распознавания перелезающих через забор людей для одной транспортной компании (распознавание для видеонаблюдения), то как-то выезжали по утрам размечать места для монтажа видеокамер. Было важно найти «зайцев» и не спугнуть их, чтобы потом поставить в местах частого перелезания камеры. Взяли бинокль, но он не понадобился, потому что «зайцы» ничего не стеснялись и не спугивались. 

В прошлом месяце в здании напротив нашего офиса открылась фотостудия. С большими окнами и естественным светом. Там регулярно снимают голых или очень условно одетых моделей, но издалека совсем не видно их лиц. Поэтому бинокль оказался востребован. В день особо горячей съёмки поступило сразу несколько тикетов с запросом от коллег из офиса. 

На контроле

Приехал к заказчику, у которого много офисов по РФ. Есть главный сервер в Москве и множество соединённых из допофисов в РФ. Ковыряюсь в одной из региональных железок. Ко мне подходит местный руководитель и сообщает:
— Слишком долго ковыряетесь. 
— Ну работа такая. 
— Вы понимаете, что это на контроле у самого…
— У президента компании?
— Нет, у самого… 
— Конкретно этот сервер? 
— Да. 
Я посмеялся. Он такой:
— Неправильно делаешь, что смеёшься. 
И ушёл. 
А я подумал, что опасная у нас работа. Может, он реально на контроле стоит. Может, я за такую дерзость мог и по лицу получить. Лично от самого…

Вай-фай

Заказчик нон-стоп открывает инциденты на проблемы с вай-фаем. А надо сказать, что это большой ангар, в ангаре — склад, и там из-за стеллажей с металлом (лежат заготовки для завода) не всегда добивало до центра. Мы им делали быстрое радиообследование и рекомендовали, что и куда поставить. Они отчитались, что всё сделали по нему. И вот, похоже, центральная точка доступа не цепляется и постоянно пропадает. Отправили туда мобильного инженера. Оказалось, что в тот момент, когда рассчитывали расположение точек, там в центре ангара стоял кран. Собственно, он очень понравился монтажникам заказчика, и они закрепили точку прямо на него. А кран ездит по складу, и, когда он уезжает в одну сторону, в другой сети уже нет. Некоторое время они пытались понять, почему сеть то пропадает, то сама чинится, а потом уже постучали к нам. 

Лучший кейс

Сложная заявка, разбираемся с пользователем почти полчаса на телефоне. Я уже всё проклинаю, потому что это тот самый случай, когда человек не может внятно сформулировать, что именно он сделал. И не сообщает всего того, что видит на экране. И не говорит всё то, что делает прямо сейчас. Уже предчувствую, что необходимость делать всё медленно и осознанно бесит его не меньше, чем меня. Но по другой причине. И вот во время очередного объяснения, что если он не будет читать всё то, что видит на экране, я ему помочь не смогу, он вдруг сообщает:
— Извини, у нас тут пожар. 

И вешает трубку. В тикете я написал «сгорело здание вместе с оборудованием» и поехал лично проверить – а то мало ли…

Взял тут: https://habr.com/ru/company/croc/blog/458440/ 
Популярное
  • Механики. Часть 109.
  • Механики. Часть 108.
  • Покров над Троицей - Аз воздам!
  • Механики. Часть 107.
  • Покров над Троицей - Сергей Васильев
  • Механики. Часть 106.
  • Механики. Часть 105.
  • Распутин наш. 1917 - Сергей Васильев
  • Распутин наш - Сергей Васильев
  • Curriculum vitae
  • Механики. Часть 104.
  • Механики. Часть 103.
  • Механики. Часть 102.
  • Угроза мирового масштаба - Эл Лекс
  • RealRPG. Систематизатор / Эл Лекс
  • «Помни войну» - Герман Романов
  • Горе побежденным - Герман Романов
  • «Идущие на смерть» - Герман Романов
  • «Желтая смерть» - Герман Романов
  • Иная война - Герман Романов
  • Победителей не судят - Герман Романов
  • Война все спишет - Герман Романов
  • «Злой гений» Порт-Артура - Герман Романов
  • Слово пацана. Криминальный Татарстан 1970–2010-х
  • Память огня - Брендон Сандерсон
  • Башни полуночи- Брендон Сандерсон
  • Грядущая буря - Брендон Сандерсон
  • Алькатрас и Кости нотариуса - Брендон Сандерсон
  • Алькатрас и Пески Рашида - Брендон Сандерсон
  • Прокачаться до сотки 4 - Вячеслав Соколов
  • 02. Фаэтон: Планета аномалий - Вячеслав Соколов
  • 01. Фаэтон: Планета аномалий - Вячеслав Соколов
  • Чёрная полоса – 3 - Алексей Абвов
  • Чёрная полоса – 2 - Алексей Абвов
  • Чёрная полоса – 1 - Алексей Абвов
  • 10. Подготовка смены - Безбашенный
  • 09. Xождение за два океана - Безбашенный
  • 08. Пополнение - Безбашенный
  • 07 Мирные годы - Безбашенный
  • 06. Цивилизация - Безбашенный
  • 05. Новая эпоха - Безбашенный
  • 04. Друзья и союзники Рима - Безбашенный
  • 03. Арбалетчики в Вест-Индии - Безбашенный
  • 02. Арбалетчики в Карфагене - Безбашенный
  • 01. Арбалетчики князя Всеслава - Безбашенный
  • Носитель Клятв - Брендон Сандерсон
  • Гранетанцор - Брендон Сандерсон
  • 04. Ритм войны. Том 2 - Брендон Сандерсон
  • 04. Ритм войны. Том 1 - Брендон Сандерсон
  • 3,5. Осколок зари - Брендон Сандерсон
  • 03. Давший клятву - Брендон Сандерсон
  • 02 Слова сияния - Брендон Сандерсон
  • 01. Обреченное королевство - Брендон Сандерсон
  • 09. Гнев Севера - Александр Мазин
  • Механики. Часть 101.
  • 08. Мы платим железом - Александр Мазин
  • 07. Король на горе - Александр Мазин
  • 06. Земля предков - Александр Мазин
  • 05. Танец волка - Александр Мазин
  • 04. Вождь викингов - Александр Мазин
  • 03. Кровь Севера - Александр Мазин
  • 02. Белый Волк - Александр Мазин
  • 01. Викинг - Александр Мазин
  • Второму игроку приготовиться - Эрнест Клайн
  • Первому игроку приготовиться - Эрнест Клайн
  • Шеф-повар Александр Красовский 3 - Александр Санфиров
  • Шеф-повар Александр Красовский 2 - Александр Санфиров
  • Шеф-повар Александр Красовский - Александр Санфиров
  • Мессия - Пантелей
  • Принцепс - Пантелей
  • Стратег - Пантелей
  • Королева - Карен Линч
  • Рыцарь - Карен Линч
  • 80 лет форы, часть вторая - Сергей Артюхин
  • Пешка - Карен Линч
  • Стреломант 5 - Эл Лекс
  • 03. Регенерант. Темный феникс -Андрей Волкидир
  • Стреломант 4 - Эл Лекс
  • 02. Регенерант. Том 2 -Андрей Волкидир
  • 03. Стреломант - Эл Лекс
  • 01. Регенерант -Андрей Волкидир
  • 02. Стреломант - Эл Лекс
  • 02. Zона-31 -Беззаконные края - Борис Громов
  • 01. Стреломант - Эл Лекс
  • 01. Zона-31 Солдат без знамени - Борис Громов
  • Варяг - 14. Сквозь огонь - Александр Мазин
  • 04. Насмерть - Борис Громов
  • Варяг - 13. Я в роду старший- Александр Мазин
  • 03. Билет в один конец - Борис Громов
  • Варяг - 12. Дерзкий - Александр Мазин
  • 02. Выстоять. Буря над Тереком - Борис Громов
  • Варяг - 11. Доблесть воина - Александр Мазин
  • 01. Выжить. Терской фронт - Борис Громов
  • Варяг - 10. Доблесть воина - Александр Мазин
  • 06. "Сфера" - Алекс Орлов
  • Варяг - 09. Золото старых богов - Александр Мазин
  • 05. Острова - Алекс Орлов
  • Варяг - 08. Богатырь - Александр Мазин
  • 04. Перехват - Алекс Орлов
  • Варяг - 07. Государь - Александр Мазин


  • Если вам понравилось читать на этом сайте, вы можете и хотите поблагодарить меня, то прошу поддержать творчество рублём.
    Торжественно обещааю, что все собранные средства пойдут на оплату счетов и пиво!
    Paypal: paypal.me/SamuelJn


    {related-news}
    HitMeter - счетчик посетителей сайта, бесплатная статистика