IT-инфраструктура. FAQ для разработчика

IT-инфраструктура. FAQ для разработчика
Чинков Михаил
FunCorp
mikhail.chinkov@fun.co

План
1. Проблема
2. Предметные области
3. Культура

Терминология
Инфраструктура - совокупность окружений организации/сервиса, состоящая
из сервисов приложения и вспомогательных сервисов.
Production - окружение сервиса, доступное для внешнего пользования.

Проблема 1
● В команде 3-5 разработчиков
● Нужно настраивать инфраструктуру
● Нужно автоматизировать рутинные задачи
● Никто не знает, как это сделать хорошо

Проблема 2
● Недостаток знаний об инфраструктуре
● Отсутствие коммуникаций с Operations
● “У меня локально все работает”(с).

Алгоритм управления инфраструктурой
● Разделение задачи на несколько предметных областей
● Выбор базовых продуктов
● Баланс между простотой и соответствии задачам
● Описание задачи в исходном коде + версионирование

Предметные области

Платформа
Удаленный хостинг
● Оборудование на стороне провайдера
● Свобода в выборе ОС/программного стека
● Необходимо заранее заказывать железо
● Отсутствие API
Решения: Hetzner, OVH

Платформа
Private cloud
● Платформа виртуализации поверх железа
● Развертывание ВМ по требованию
● Ограничение - аппаратные ресурсы
● Кластеризация
● Возможен сторонний хостинг
● Наличие API
Решения:
● Платформы - VMware, OpenStack
● Хостинг - Rackspace, Selectel

Платформа
PAAS
● Решение большинства проблем
● Развертывание application/DB серверов
● Поддержка железа от провайдера
● Вспомогательные сервисы (DNS/mail/CI)
● Гибкая ценовая политика
Решения: DigitalOcean, Heroku

Платформа
Public Cloud
● Полноценная инфраструктура
● Внешние сервисы как часть продукта
● Нет ограничений в ресурсах
● Автоматизированное масштабирование
● Многофункциональный API
Решения: AWS, GCP, MS Azure

Виртуализация
● Изоляция на уровне ОС
● Запрос ресурсов по требованию
● Кроссплатформенность
● Абстрагирование от железа
● Overhead в производительности

Контейнеризация
● Изоляция на уровне процесса
● Отсутствие конфликтов зависимостей
● Быстрый старт
● Отсутствие накладных расходов
● Повторение production-окружения
● Единый стандарт поставки продукта
Решения: Docker, rkt

Docker
● Простота
● Масштабируемость
● Долгосрочная поддержка
● Минимизация конфигурации серверов
● Описание артефакта в DSL-коде
Но..
● Не подходит для stateful-сервисов/БД
● Все еще есть баги

Пример: Java-приложение
FROM openjdk:8-alpine
MAINTAINER Mikhail Chinkov <mikhail.chinkov@fun.co>
RUN apk update && apk add maven
WORKDIR /source
COPY ./ ./
RUN mvn clean package &&
mkdir -p /app &&
cp /source/target/users-1.0-SNAPSHOT.jar /app/users.jar
WORKDIR /app
EXPOSE 8080
CMD ["java", "-jar", "users.jar"]

Оркестрация контейнеров
● Равномерное распределение
● Запуск задач по расписанию
● Единая платформа для приложений
● Концепция микросервисов
Но..
● Все еще сложно и сыро
Решения: Kubernetes, Mesos+Marathon, Nomad+Consul, ECS, Docker Swarm

Пример: спецификация сервиса в ECS
{
"containerDefinitions": [
{
"name": "users",
"image": "my-docker-repo.com/users:latest",
"memory": 2048,
"cpu": 0,
"essential": true,
"portMappings": [
{
"hostPort": 0,
"containerPort": 8080,
"protocol": "tcp"
}
]
],
"family": "users"
}

Системы управления конфигурациями
● Автоматизация настройки серверов
● Декларативное описание
● Замена документации
● Инфраструктура как код
● Отсутствие configuration drift
Решения: Ansible, Chef, Puppet, SaltStack

Пример: настройка Nginx + PHP-FPM
- name: Install nginx
package: name=nginx state=present
- name: Copy nginx configuration for wordpress
template: src=default.conf dest=/etc/nginx/conf.d/default.conf
notify: restart nginx
- name: Install php-fpm and deps
package: name={{ item }} state=present
with_items:
- php
- php-fpm
- php-mbstring
- php-mysql
- name: Copy php-fpm configuration
template: src=wordpress.conf dest=/etc/php-fpm.d/
notify: restart php-fpm

Мониторинг
● Визуализация работы приложения
● Отслеживание утилизации ресурсов
● Проверка гипотез
Решения:
● SAAS (Datadog)
● Self-hosted (Prometheus+Grafana, Statsd+Graphite/InfluxDB+Grafana)

APM
● Измерение производительности сервиса
● Отображение ошибок на клиентах/сервере
● Debug узких мест
Решения:
● Измерения - NewRelic, AppDynamics
● Ошибки - Sentry, Rollbar, Crashlytics
● Debug - CLI (strace/ltrace/dtrace, gdb, perf)
● Toolkit от базы данных

Incident management
● Система агрегации алертов
● Оперативное реагирование на отказы
● Повышенная ответственность
Решения: PagerDuty, OpsGenie, VictorOps

Логгирование
● Текстовое отображение работы
сервиса
● Отслеживание действий
пользователя
● Централизованный сбор логов
Решения:
● SAAS - SumoLogic, Loggly, Logsene
● Self-hosted - Graylog, ELK

Релиз-инжиниринг
● Оптимизация скорости поставки
● Быстрый feedback от системы
● Автоматизация прогона тестов
● Безболезненный deployment
Решения:
SAAS (TravisCI, CircleCI, Shippable, Drone.io)
Self-hosted (Jenkins, Concourse, Teamcity, Bamboo)

Пример: описание сборки в Jenkins
node('build') {
stage ('Checkout') {
checkout scm
}
stage ('Pull the build cache') {
dockerlib.PullImage(docker_server, build_cache)
}
stage ('Build and test the image') {
dockerlib.BuildImage(docker_server, new_image, build_cache, version)
}
stage ('Push the image') {
dockerlib.PushImage(docker_server, new_image)
}
stage ('Upload Beanstalk configuration') {
dir('deploy') {
beanstalk.UploadConfiguration(application, version)
}
}
}

Базы данных
● Никогда не забывать про бэкапы
● Лучшие рекомендации - в доках
● Надежная эксплуатация
● Предметная область первична

Прочие инфраструктурные сервисы
● Контроль версий (Github/Bitbucket/Gitlab)
● Управление проектами (JIRA/Trello/Youtrack)
● DNS-сервера (GoDaddy, Amazon Route53)
● LDAP-сервера (лучше не надо)

DevOps
● Это культура + совокупность
практик
● Основа состоит из Agile и CALMS*
● Это не про технологии
● Это нельзя купить/продать
● DevOps-инженеры - фикция
* CALMS - Culture, Automation, Lean, Measurement, Sharing

SRE
● Посади разработчика в Operations
● Работает в нескольких
технологических компаниях
● Automation, self-healing systems,
velocity etc.
● Не может работать везде по
определению

Best practices
● Рассматривайте всю компанию как единую команду
● Больше общайтесь с людьми
● Делайте акцент на постановку задачи и планирование
● Потребности клиента в первую очередь

Выводы
● Управлять инфраструктурой не так сложно, как кажется
● Старайтесь автоматизировать установку и конфигурацию
● Стремитесь описать все процессы в исходном коде
● Чем лучше сделаете, тем больше времени останется на разработку

Спасибо за внимание
https://myopsblog.wordpress.com/
https://www.facebook.com/mchinkov
michael.chinkov@gmail.com
https://www.slideshare.net/MikhailChinkov

IT-инфраструктура. FAQ для разработчика

More Related Content

What's hot (20)

Similar to IT-инфраструктура. FAQ для разработчика (20)

IT-инфраструктура. FAQ для разработчика