Тестирование через мониторинг или холакратия на практикеМаксим Чистяков,Ultimate Guitar

Немного об Ultimate-Guitar• 17 лет • 54 000 000 пользователей в вебе в месяц• 189 000 авторов• Первое место среди платных приложений в США,

Британии и Австралии• 156 бутылок в год

Без подготовки

Эволюция• Waterfall• Scrum• Kanban• ???

The Wall• Менеджеры

The Wall• Менеджеры• Стены

The Wall• Менеджеры• Стены• QA

Устрой деплой!• 9 человек• 8-10 деплоев в час (40-50 деплоев в сутки)• Несколько десятков серверов

Gone in 60 seconds• 67 Мб• 4K файлов - Ultimate Guitar• 10K файлов - composer• 60 секунд

Gone in 20 seconds• 67 Мб• 4K файлов - Ultimate Guitar• 10K файлов - composer• 60 секунд - Mercurial• 40 секунд - HDD

Gone in 20 seconds• 67 Мб• 4K файлов - Ultimate Guitar• 10K файлов - composer• 60 секунд - Mercurial• 40 секунд - HDD• 20 секунд - SSD

Переключение версии

Переключение версии

Откаты• Не больно• Занимает 10 секунд

Про iOS/Android• Google Play - няшка• App Store - как обычно

Ловим 500-ые• 10 ошибок за 10 минут

Ловим 500-ые• 10 ошибок за 10 минут• Graylog-агент → Graylog stream → Alert

Ловим 500-ые• 10 ошибок за 10 минут• Graylog-агент → Graylog stream → Alert• Среднее время ответа ≥ 200 мс / 2 минуты

Ловим 500-ые• 10 ошибок за 10 минут• Graylog-агент → Graylog stream → Alert• Среднее время ответа ≥ 200 мс / 2 минуты• nginx access log

Ловим 500-ые• 10 ошибок за 10 минут• Graylog-агент → Graylog stream → Alert• Среднее время ответа ≥ 200 мс / 2 минуты• nginx access log• Внешний мониторинг:

• Zabbix• Anturis• UpTime Robot

Определить ключевые метрики• Присланные табы• Совершенные платежные транзакции

Мониторинг окружения• Все базы• memcache• Sphinx• Redis• Gearman• WebDAV

• PHP modules• php.ini• PHP variables• Логи• ...

Мониторинг окружения• Все базы• memcache• Sphinx• Redis• Gearman• WebDAV

• PHP modules• php.ini• PHP variables• Логи• ...

Продуктовые метрики

MySQL slaves +

Jinba

Каждому - по мониторингу

Почему получилось• Мониторинг важного

Почему получилось• Мониторинг важного• Быстрые откаты (деплой)

Почему получилось• Мониторинг важного• Быстрые откаты (деплой)• Деплой ночью

Почему получилось• Мониторинг важного• Быстрые откаты (деплой)• Деплой ночью• Люди

Почему получилось• Мониторинг важного• Быстрые откаты (деплой)• Деплой ночью• Люди• Все в одном месте

Спасибо!

m.chistyakov@ultimate-guitar.comfacebook.com/m.chistyakov