Sumário
Um mês atrás estávamos imersos em problemas de servidor que causaram problemas de dados esporádicos, interrupções e problemas de desempenho para quase todos os clientes ao longo de uma semana inteira. Foi extremamente frustrante para nossa equipe não apenas porque era um problema muito difícil de resolver, mas mais importante, porque significava que nossos clientes não estavam recebendo o serviço que mereciam.
Lidar com esses tipos de problemas pode ser delicado, especialmente quando os problemas não estão necessariamente afetando todos os clientes.
Você mostra um aviso para todos clientes, mesmo que apenas 50% aleatórios estejam tendo problemas? Você compartilha tudo o que está acontecendo? Ou apenas quando há progresso significativo? Qual deve ser o tom? Deve oferecer reembolsos?
Obviamente há uma infinidade de variáveis que podem entrar em jogo, aqui está como geralmente lidamos com interrupções e interrupções de servidor e como gostamos de comunicar aos nossos clientes durante esses momentos.
Procedimento de escalonamento
Idealmente você tem algum tipo de monitoramento de sistema em vigor. Em um nível básico, isso pode ser feito com um simples ping para garantir que uma URL determinada seja acessível. Em um nível mais profundo, monitorar coisas como carga de banco de dados, erros de aplicação e tempos de resposta pode ajudar muito a detectar as coisas antes quando realmente são um problema perceptível para seus clientes.
Além do monitoramento do sistema, se você tem mais de um engenheiro, ter um cronograma de plantão vale a pena. Notificar cada engenheiro sempre que há um problema é estressante e não é um ótimo uso do tempo de ninguém.
A combinação dessas duas coisas permite que você coloque um procedimento de escalonamento sólido em vigor.
Passo 1: Notificação de chat geral
Quando um problema em potencial chega pela porta, seja através do monitoramento do sistema ou do suporte ao cliente, ele é primeiro relatado ao nosso canal #backend no Slack, mencionando todos os engenheiros. Como nossos engenheiros estão espalhados por vários fusos horários em várias partes do mundo, na maioria das horas do dia alguém está online.
É preferível que alguém que realmente está acordado lide com um problema em vez de ter que acordar alguém.
Se um engenheiro está online, ele pode confirmar se é um problema ou não e manter o processo em andamento.
Passo 2: Mensagem de texto
Se não há engenheiro online e o problema parece ser crítico, o monitoramento do sistema entra em ação na maioria das vezes e enviará uma mensagem de texto para o engenheiro de plantão que, acordado ou não, se dedicará e começará a trabalhar no problema.
Passo 3: Chamada
No cenário em que o monitoramento do sistema não detectou o problema ou uma mensagem de texto claramente não funcionou, então quem quer que tenha notado o problema (geralmente alguém do Suporte ao Cliente) chamará o engenheiro de plantão.
Geralmente depois de tudo isso, alguém ficou ciente do problema e está trabalhando em uma solução.
Comunicando o problema
Depois de verificar que realmente há um problema, poste uma mensagem de status. Nossa abordagem preferida é que todos vejam a mensagem de status o mais rápido possível em vez de esperar e tentar notificar apenas um grupo menor de pessoas.
A razão para isso é que geralmente é muito difícil identificar a extensão de um problema no início. Preferimos dizer a todos que pode haver um problema, mesmo que eles não o estejam experimentando, do que deixar um cliente se perguntando se algo está acontecendo. Nossa regra geral pessoal é ser aberto e honesto desde o início.
Achamos que você não pode excedamos-comunicar essas coisas.
Começamos postando em nossa página de status, que também posta em nossa conta do Twitter e cria uma mensagem no painel do Baremetrics.
Suporte durante uma interrupção
Quando há uma interrupção ou interrupção de serviço, nosso objetivo principal é comunicar e responder aos clientes o mais rápido possível. Isso significa que nossa equipe de suporte dá maior prioridade a tweets, emails e tickets relacionados à interrupção.
Quanto menos tempo nossos clientes tiverem que gastar se perguntando se algo está errado e quando será corrigido, melhor.
Em nossa interrupção um mês atrás, depois de termos quase uma semana de altos e baixos esporádicos, decidimos que responder a investigações recebidas sobre a interrupção não era suficiente. Na verdade, enviei uma "Carta do CEO" para todos os nossos clientes. Pessoas suficientes tinham experimentado problemas para que eu atualizasse coletivamente a todos e explicasse o que havia acontecido e como estávamos corrigindo, pareceu necessário. Novamente, a comunicação é a chave para manter a confiança de seus clientes e, portanto, seus negócios.
Como você provavelmente notou, na semana passada houve uma série de problemas com seu painel. Você provavelmente viu quedas em certas métricas (o que causaria picos em outras). Normalmente você as notaria de manhã.
Primeiro, me desculpe. Sério. Poucas coisas aumentam meu nível de estresse mais do que nossos clientes não vendo os dados que esperavam e mereciam.
Por fim, esses problemas se resumem aos nossos servidores ficarem atrasados em cálculos, pois quase dobramos o número de pontos de dados que processamos nas últimas semanas.
Existe uma sequência de eventos que acontecem para importar, processar e calcular qualquer métrica fornecida e quando uma coisa fica atrás, às vezes pode causar um efeito dominó que causa outros números a ficarem atrás.
Em segundo lugar, estamos trabalhando dia e noite para resolver isso e melhorar as velocidades de processamento, além de colocar novos servidores em funcionamento para ajudar com o acúmulo.
Na verdade, estamos trabalhando nos últimos meses em uma infraestrutura completamente nova que funciona com muito mais eficiência do que nossa configuração atual e começaremos a implantá-la nas próximas duas semanas (mais informações sobre isso em breve).
No final das contas, você confia em nós com seus dados comerciais para ajudá-lo a tomar decisões comerciais precisas e quando não atendemos essas expectativas, simplesmente não é aceitável.
Nossa esperança é estar totalmente recuperados no processamento nas próximas 24 horas.
Se você tiver alguma dúvida, basta responder a esta mensagem. Fico feliz em responder ou ouvir qualquer pergunta e preocupação.
Depois da tempestade
Depois de superar a interrupção, faça uma análise pós-incidente. Inclua uma visão geral do que aconteceu, quando aconteceu, como aconteceu e o que você está fazendo para evitar que aconteça novamente.
A realidade é que a maioria dos clientes não lerá isso. Eles simplesmente não se interessam pelos detalhes importantes. No entanto, para os clientes que faz se importam com isso…eles realmente se importam com isso e isso contribuirá muito para restabelecer a confiança no seu produto.
E quanto a reembolsos pelo tempo de inatividade?
Não fazemos reembolsos automáticos por tempo de inatividade. A única vez que você deve fazer reembolsos preventivos para todos é se tiver um acordo de nível de serviço (SLA) que garanta um certo nível de desempenho ou disponibilidade.
Dito isso, você também não deve ser mesquinho. Se alguém estiver claramente incomodado com o tempo de inatividade, ofereça um reembolso total pelo mês anterior. Definitivamente vale a pena.
Suportando o peso da frustração do cliente
Geralmente você e sua equipe se importam muito mais com uma interrupção do que seus clientes. Sim, isso os incomodará e frustrará, mas o estresse você que você sente é essencialmente o peso todos das frustrações dos seus clientes. Pode ser bem intenso.
Resista ao impulso de microgerenciar. Mantenha o foco em manter seus clientes informados e deixe sua equipe de engenharia fazer seu trabalho.
Descobrimos que a grande maioria dos clientes entende os problemas de servidor. Essa "Carta do CEO" que enviei para quase 800 pessoas resultou em exatamente duas pessoas que ficaram frustradas. O restante das respostas foi incrivelmente apoiador e deu um bom ânimo para mim e para a equipe.
Ferramentas
Aqui estão algumas das ferramentas que usamos ou usamos ao longo dos anos para ajudar a gerenciar todas as partes deste processo:
- StatusPage — Alimenta nossa página de status e notificações no aplicativo
- Honeybadger — Monitoramento de erros e tempo de atividade e notificações
- PagerDuty — Agendamento on-call e procedimentos de escalação
- Datadog — Monitoramento de infraestrutura e alertas
- Intercom — Email, chat e suporte geral durante interrupções
