Docker в работе: взгляд на его использование в Badoo через год / Турецкий Антон (Badoo)
Download as PPTX, PDF3 likes2,818 views
Документ описывает практический опыт использования Docker в компании Badoo, обсуждая вопросы миграции сервисов, планирования ресурсов и управления контейнерами. Выделяются основные проблемы и решения, связанные с сетью, монтированием, хранением данных и мониторингом. В заключении подчеркивается важность индивидуального подхода и необходимости учитывать предыдущие ошибки.
![#4* $ cat ./Dockerfile
FROM dockerio.badoo.com/itops/sles_12_base:latest
COPY sle-12.puppet.repo /etc/zypp/repos.d/
RUN zypper -q -n in puppetdb
COPY database.ini /etc/puppetlabs/puppetdb/conf.d/database.ini
COPY jetty.ini /etc/puppetlabs/puppetdb/conf.d/jetty.ini
COPY ssl/ /etc/puppetlabs/puppetdb/ssl/
#Service start/stop
COPY run-puppetdb /etc/services.d/puppetserver/run
COPY finish-puppetdb /etc/services.d/puppetserver/finish
ENTRYPOINT ["/init"]](https://image.slidesharecdn.com/5-160115114932/85/Docker-Badoo-Badoo-20-320.jpg)
Docker в работе: взгляд на его использование в Badoo через год / Турецкий Антон (Badoo)
- 1. Docker в работе: взгляд на использование в Badoo через год Антон Турецкий
- 3. Вопросы: год назад, а актуальны по сей день…
- 4. Docker: WTF?
- 5. Предыстория Docker VS Puppet: Заменит ли Docker Puppet?
- 6. Предыстория Virtualization VS Containerization: Docker – еще одна виртуализация?
- 7. Предыстория Docker: silver bullet? THERE WILL BE NO SILVER BULLET. RATHER IT WILL BE A COMBINATION OF TECHNOLOGIES. Andrew Gould(c)
- 10. #1: Сервис -> Сервер
- 13. #1: Миграция Docker #1: Отвязать Application от OS
- 14. ДЦ: подумай о железе!
- 15. #2: capacity planning • + Место в стойке
- 16. #2: capacity planning • + Место в стойке • + Порты на сетевом оборудовании
- 17. #2: capacity planning • + Место в стойке • + Порты на сетевом оборудовании • + Экономия электроэнергии
- 18. #2: capacity planning • + Место в стойке • + Порты на сетевом оборудовании • + Экономия электроэнергии • -/+ SPoF
- 20. #4* $ cat ./Dockerfile FROM dockerio.badoo.com/itops/sles_12_base:latest COPY sle-12.puppet.repo /etc/zypp/repos.d/ RUN zypper -q -n in puppetdb COPY database.ini /etc/puppetlabs/puppetdb/conf.d/database.ini COPY jetty.ini /etc/puppetlabs/puppetdb/conf.d/jetty.ini COPY ssl/ /etc/puppetlabs/puppetdb/ssl/ #Service start/stop COPY run-puppetdb /etc/services.d/puppetserver/run COPY finish-puppetdb /etc/services.d/puppetserver/finish ENTRYPOINT ["/init"]
- 21. Грабли
- 22. Грабли: (r)?syslog(-ng)? syslog into container
- 23. Грабли: (r)?syslog(-ng)? syslog into container • “One container – One Service”
- 24. Грабли: (r)?syslog(-ng)? syslog into container • “One container – One Service” • Поддержка в работающем состоянии
- 25. Грабли: (r)?syslog(-ng)? syslog into container • “One container – One Service” • Поддержка в работающем состоянии • Нет времени объяснять – нужно сделать!
- 26. Грабли: (r)?syslog(-ng)? syslog into container • “One container – One Service” • Поддержка в работающем состоянии • Нет времени объяснять – нужно сделать! Решение: docker run -v /dev/log:/dev/log
- 27. Грабли: (r)?syslog(-ng)? docker run -v /dev/log:/dev/log • УРА!!! Всё работает, сообщения уходят!
- 28. Грабли: (r)?syslog(-ng)? docker run -v /dev/log:/dev/log • УРА!!! Всё работает, сообщения уходят! • … до первого изменения/перезапуска syslog на хост-системе…
- 29. Грабли: (r)?syslog(-ng)? docker run -v /dev/log:/dev/log • УРА!!! Всё работает, сообщения уходят! • … до первого изменения/перезапуска syslog на хост-системе… Решение: syslog into container
- 30. Грабли: mounts Прокинуть “что-то” с хост ОС
- 31. Грабли: mounts Прокинуть “что-то” с хост ОС • /proc/mounts в контейнере
- 32. Грабли: mounts Прокинуть “что-то” с хост ОС • /proc/mounts в контейнере • umount /dev/something (хост ОС)
- 33. Грабли: mounts Прокинуть “что-то” с хост ОС • /proc/mounts в контейнере • umount /dev/something (хост ОС) • umount /dev/something (container)
- 34. Грабли: mounts Прокинуть “что-то” с хост ОС • /proc/mounts в контейнере • umount /dev/something (хост ОС) • umount /dev/something (container) • container restart …
- 35. Грабли: mounts Решение: • docker run --privileged
- 36. Грабли: mounts Решение: • docker run --privileged • 100 раз подумать: так ли необходимо?
- 37. Грабли: mounts Решение: • docker run --privileged • 100 раз подумать: так ли необходимо? • избегать использование “динамических точек монтирования”
- 39. Грабли: NAT Как можно решать: • Увеличить таблицу conntrack
- 40. Грабли: NAT Как можно решать: • Увеличить таблицу conntrack • Увеличить hashsize ~ conntrack / 8
- 41. Грабли: NAT Как можно решать: • Увеличить таблицу conntrack • Увеличить hashsize ~ conntrack / 8 • Вспомнить про conntrack_generic_timeout = 600
- 42. Грабли: NAT Как можно решать: • Увеличить таблицу conntrack • Увеличить hashsize ~ conntrack / 8 • Вспомнить про conntrack_generic_timeout = 600 • Ждать когда “бомбанёт”
- 43. Грабли: NAT Решение: • Делать свой bridge, Open vSwitch, Weave etc
- 44. Грабли: NAT Решение: • Делать свой bridge, Open vSwitch, Weave etc • Использовать хост ОС docker run --net=host без использования conntrack
- 45. Грабли: Storage Driver AuFS Device Mapper (thinp) BTRFS и прочие вкусности и сладости…
- 46. Грабли: BTRFS • root of docker MUST be on a BTRFS
- 47. Грабли: BTRFS • root of docker MUST be on a BTRFS • Запись на диск сразу не идет, сначала – в журнал (Performance ~ native / 2)
- 48. Грабли: BTRFS • root of docker MUST be on a BTRFS • Запись на диск сразу не идет, сначала – в журнал (Performance ~ native / 2) • “No space left on device” # btrfs fi show /var/lib/docker # btrfs fi balance start /var/lib/docker
- 49. Грабли: BTRFS BTRFS – это то немногое, что действительно нормально работает
- 50. Грабли: Storage Driver Решение: OverlayFS
- 51. Грабли: Storage Driver Решение: OverlayFS • Hardlink на одинаковые файлы
- 52. Грабли: Storage Driver Решение: OverlayFS • Hardlink на одинаковые файлы • Performance: RW ~ Native Speed
- 53. Грабли: Storage Driver Решение: OverlayFS • Hardlink на одинаковые файлы • Performance: RW ~ Native Speed • Space Usage – больше не загадка!
- 54. Грабли: Misc • Больше ОДНОГО сервиса в контейнере
- 55. Грабли: Misc • Больше ОДНОГО сервиса в контейнере - свой ENTRYPOINT
- 56. Грабли: Misc • Больше ОДНОГО сервиса в контейнере - свой ENTRYPOINT РЕШЕНИЕ: S6 http://skarnet.org/software/s6/
- 57. Грабли: Misc • Больше ОДНОГО сервиса в контейнере - свой ENTRYPOINT РЕШЕНИЕ: S6 http://skarnet.org/software/s6/ • несколько FROM в одном Dockerfile “FROM can appear multiple times within a single Dockerfile"
- 58. Грабли: Misc • Больше ОДНОГО сервиса в контейнере - свой ENTRYPOINT РЕШЕНИЕ: S6 http://skarnet.org/software/s6/ • несколько FROM в одном Dockerfile “FROM can appear multiple times within a single Dockerfile” • docker exec Version < 1.8
- 59. Важный совет… не забывать искать свою проблему тут: Changelog Issues GitHub
- 61. Docker Base Image • Обновления (Bug fixes, Security fixes, Patches etc)
- 62. Docker Base Image • Обновления (Bug fixes, Security fixes, Patches etc) docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a'
- 63. Docker Base Image • Обновления (Bug fixes, Security fixes, Patches etc) docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’ • “Требуется внимание оператора” => Jira Task
- 64. Docker Base Image • Обновления (Bug fixes, Security fixes, Patches etc) docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’ • “Требуется внимание оператора” => Jira Task • Обновление базового образа
- 65. Docker Base Image • Обновления (Bug fixes, Security fixes, Patches etc) docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’ • “Требуется внимание оператора” => Jira Task • Обновление базового образа(+контейнеры)
- 66. Docker Images • Обновления (Bug fixes, Security fixes, Patches etc) docker run -it --rm sles_12_base:latest sh -c 'zypper lu -a’ • “Требуется внимание оператора” => Jira Task • Обновление базового образа(+контейнеры) • Следить за “свежестью пакетов” перед выкладкой сервиса/образа (RPM based)
- 67. docker_build
- 68. docker_build • Сгенерировать структуру директорий, конфиги
- 69. docker_build • Сгенерировать структуру директорий, конфиги • Сгенерировать инструкцию(Dockerfile_source)
- 70. docker_build • Сгенерировать структуру директорий, конфиги • Сгенерировать инструкцию(Dockerfile_source) • Доставить исполняемые файлы
- 71. docker_build • Сгенерировать структуру директорий, конфиги • Сгенерировать инструкцию(Dockerfile_source) • Доставить исполняемые файлы • Выполнить сборку
- 72. docker_build • Сгенерировать структуру директорий, конфиги • Сгенерировать инструкцию(Dockerfile_source) • Доставить исполняемые файлы • Выполнить сборку • Отправить результат в Registry(y/n)
- 73. docker_build • Сгенерировать структуру директорий, конфиги • Сгенерировать инструкцию(Dockerfile_source) • Доставить исполняемые файлы • Выполнить сборку • Отправить результат в Registry(y/n) • Сообщить о результате * Обязательно: работать в режиме cli
- 74. docker_build
- 75. Мониторинг
- 76. Мониторинг: контейнер • Docker CLI внутри
- 77. Мониторинг: контейнер • Docker CLI внутри • Снимаем то же, что и docker stats: CPU/MEM
- 78. Мониторинг: контейнер • Docker CLI внутри • Снимаем то же, что и docker stats: CPU/MEM • SAR: $ sar -A -s %s 60 1 -f /var/log/sa/sa%s
- 79. Мониторинг: контейнер • Docker CLI внутри • Снимаем то же, что и docker stats: CPU/MEM • SAR: $ sar -A -s %s 60 1 -f /var/log/sa/sa%s • Отсылаем всё в Graphite
- 80. Мониторинг: контейнер • Docker CLI внутри • Снимаем то же, что и docker stats: CPU/MEM • SAR: $ sar -A -s %s 60 1 -f /var/log/sa/sa%s • Отсылаем всё в Graphite • Мониторим контейнер и его статус Zabbix’ом
- 86. baDocker: webUI
- 88. baDocker: Требования • Clientless • Управление OpenRegistry (v1, v2)
- 89. baDocker: Требования • Clientless • Управление OpenRegistry (v1, v2) • Информация о - хостах - контейнерах - сервисах, версиях
- 90. baDocker: Требования • Clientless • Управление OpenRegistry (v1, v2) • Информация о - хостах - контейнерах - сервисах, версиях • Планировщик заданий
- 91. baDocker: Требования • Clientless • Управление OpenRegistry (v1, v2) • Информация о - хостах - контейнерах - сервисах, версиях • Планировщик заданий • Dashboard
- 97. Postmortem Заключение • Искать свой подход – не наступать на наши грабли
- 98. Postmortem Заключение • Искать свой подход – не наступать на наши грабли • Велосипед – это отлично, если колеса круглые