![Hasura GraphQL interface
62
query {
repo {
url
}
}
{
"data": {
"repo": [
{
"url": "frontend/my-cool-project.git"
},
{
"url": "frontend/another-project.git"
},
{
"url": "backend/backend.git"
}
]
}
}](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-73-320.jpg)
![Hasura GraphQL interface
64
{
"data": {
"repo": [
{
"url": "frontend/my-cool-project.git"
},
{
"url": "frontend/another-project.git"
}
]
}
}
query {
repo(where: {
url: {
_like: "%frontend%"
}
}) {
url
}
}](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-74-320.jpg)
![Hasura GraphQL interface
67
query {
repo(where: {
url: {
_eq: “..#”
}
}) {
url
commits {
hash
title
}
}
}
{
"data": {
"repo": [
{
"url": "frontend/my-cool-project.git",
"commits": [
{
"hash": "b48830f03c",
"title": "Initial commit"
},
{
"hash": "46eb37c740",
"title": "Super cool feature"
}
]
}
]
}
}](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-77-320.jpg)
![76
{
"data": {
"repo": [
{
"url": "git@git.whatever:frontend/my-cool-project.git",
"commits": [
{
"hash": "b48830f03c7be8c3f27491196e6fe1e1d1566559",
"title": "Initial commit"
},
{
"hash": "46eb37c7400d2a4964ba63d31d57ebce5a53edc8",
"title": "Super cool feature"
}
]
}
]
}
}](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-85-320.jpg)
![76
{
"data": {
"repo": [
{
"url": "git@git.whatever:frontend/my-cool-project.git",
"commits": [
{
"hash": "b48830f03c7be8c3f27491196e6fe1e1d1566559",
"title": "Initial commit"
},
{
"hash": "46eb37c7400d2a4964ba63d31d57ebce5a53edc8",
"title": "Super cool feature"
}
]
}
]
}
}](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-86-320.jpg)
![77
const data = {
repos: [
{
url: 'git@git.whatever:frontend/my-cool-project.git'
commits: [..#]
}
],
commits: [
{
hash: 'b48830f03c7be8c3f27491196e6fe1e1d1566559',
title: 'Initial commit'
repo: {..#}
},
{
hash: '46eb37c7400d2a4964ba63d31d57ebce5a53edc8',
title: 'Super cool feature',
repo: {..#}
}
]
};](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-87-320.jpg)
![77
const data = {
repos: [
{
url: 'git@git.whatever:frontend/my-cool-project.git'
commits: [..#]
}
],
commits: [
{
hash: 'b48830f03c7be8c3f27491196e6fe1e1d1566559',
title: 'Initial commit'
repo: {..#}
},
{
hash: '46eb37c7400d2a4964ba63d31d57ebce5a53edc8',
title: 'Super cool feature',
repo: {..#}
}
]
};](https://image.slidesharecdn.com/sa-codefest-210722101654/85/Software-Analytics-in-frontend-88-320.jpg)
Software Analytics in frontend
- 3. Дорожная карта 3 ! Проблемы с принятием решений </# Software Analytics </# + Software Analytics в Wrike Инструменты Польза
- 5. Команда разработки (в вакууме) 5
- 6. Команда разработки (в вакууме) 6
- 7. Команда разработки (в вакууме) 7 Почему долго релизим?
- 8. 8 Почему долго релизим? Почему плохо работаем?
- 9. Как ответить на такой вопрос? 9
- 10. 10 Почему долго релизим? Как ответить на такой вопрос?
- 11. 11 Почему долго релизим? Код пахнет
- 12. 11 Почему долго релизим? Нужно переписать на реакт Код пахнет
- 13. 11 Почему долго релизим? Код пахнет Тестирование загружено Нужно переписать на реакт
- 14. 11 Почему долго релизим? Код пахнет Нужно переписать на реакт Нужно настроить процессы Тестирование загружено
- 16. Decision-making problem • Каждый ответ по-своему правильный • Каждый ответ (зачастую) выражает субъективную позицию • Поэтому каждый из ответов может быть ложным • При выборе одного из ответов мотивация остальных участников команды падает • Выбранный путь может привести к “I told you so” 13 “Decision-making” Wiki
- 17. Команда ведь “сферическая в вакууме” 14
- 18. 15 Производительность (попугаи) 0 25 50 75 100 Кофе выпито в день (литры) 1 2 3 4
- 19. 15 Производительность (попугаи) 0 25 50 75 100 Кофе выпито в день (литры) 1 2 3 4 Текущая производительность
- 20. 15 Производительность (попугаи) 0 25 50 75 100 Кофе выпито в день (литры) 1 2 3 4 Текущая производительность Желаемая производительность
- 22. А как в реальной жизни? • Такого графика не существует • Необходимы параметры, по которым можно было бы обмерять процессы в команде • Необходимы зависимости между этими параметрами 17
- 23. Дорожная карта 18 ! Проблемы с принятием решений </# Software Analytics </# + Software Analytics в Wrike Инструменты Польза
- 25. – Wikipedia Software analytics is the analytics specific to the domain of software systems taking into account source code, static and dynamic characteristics (e.g., software metrics) as well as related processes of their development and evolution. It aims at describing, monitoring, predicting, and improving efficiency and effectivity of software engineering throughout the software lifecycle, in particular during software development and software maintenance. 20
- 26. Software Analytics • Аналитика, специфичная для сферы разработки ПО • Опирается на данные о ПО (код, процессы, жизненный цикл разработки) • Призвана улучшать эффективность разработки ПО 21
- 27. Стойте! Но у меня в компании уже есть аналитики, это оно? 22
- 28. Нет 23
- 30. Данные • Экономические показатели • Пользовательские метрики • Прочий ML & Data Science 25
- 31. Данные Software Analytics • Код и метаинформация о нем • Жизненный цикл разработки • Инфраструктурные метрики • Продакшн метрики 27
- 32. Данные Software Analytics • Код и метаинформация о нем • Жизненный цикл разработки • Инфраструктурные метрики • Продакшн метрики 27 Производительность (попугаи) 0 25 50 75 100 Кофе выпито в день (литры) 1 2 3 4
- 33. Как? 28
- 34. 29 <code> script1.js script2.js … <*code> User Site/App/Service CI No tests! Task tracker Long duration tasks!
- 35. 29 <code> script1.js script2.js … <*code> User Site/App/Service CI Task tracker Production data Code Infrastructure metrics Development life cycle
- 36. Взаимосвязи (пример) • Как инфраструктура влияет на длительность выполнения задач • Как код и его характеристики влияют на его поддержку • Как код и его поддержка влияет на продакшн • Как все это может влиять на бизнес-метрики 30
- 37. Профит от Software Analytics • Определение приоритетов • Нахождение точек роста • Data-driven decision making 31
- 39. Команда разработки (в вакууме) 33 Solution #1 Solution #2 Solution #3
- 40. 34 ?
- 41. 35
- 42. Принятие решений • Выбор конкретного решения напрямую влияет на мотивацию команды • Объяснить сам выбор решения зачастую очень сложно • Правильность выбора покажет время 36
- 43. Принятие решений, основанное на данных • Команда всегда замотивирована реализовывать такие решения • Выбор не нужно обосновывать, это делают данные • Выбор перестает быть ответственностью команды (или ее руководителя) 37
- 44. Дорожная карта 38 ! Проблемы с принятием решений </# Software Analytics </# + Software Analytics в Wrike Инструменты Польза
- 46. 40
- 47. 41 Frontend department Team 1 Team 2 Team 3 Team 35 …
- 48. 42 Frontend department Team 1 Team 2 Team 3 Team 35 …
- 49. У нас было: • Фронтенд департамент • 35 команд разработки • 2.5 миллиона LoC • 365 репозиториев всех размеров и назначений • Прорва пайплайнов на CI • Разбросанные данные в Tableau и эксель-табличках, мы очень опасались, что в итоге перейдем на эту дрянь 43
- 51. 45 И главная цель: Понять, что мешает разработке
- 52. И как поднять производительность 46 И главная цель: Понять, что мешает разработке
- 53. И как поднять производительность 47 И главная цель: Понять, что мешает разработке Ладно, две цели
- 56. 50 Данные
- 57. 51 DataSource #1 DataSource #2 DataSource #3 Analytics machine
- 59. 52 Analytics machine API #1 API #2 API #3
- 60. Получение данных • Множественные источники • Доступность всех источников в моменте • Издержки на получение данных • Различные форматы • Провязывание сущностей “на лету” 53
- 61. Данные нужно хранить, но где? 54
- 62. Дорожная карта 55 ! Проблемы с принятием решений </# Software Analytics </# + Software Analytics в Wrike Инструменты Польза
- 63. Требования по хранению • Возможность удобно работать со схемой данных • Минимально работать с логикой • Минимально поддерживать • GraphQL в идеале 56
- 64. 57
- 65. 58
- 66. Hasura • “CMS” для данных • PostgreSQL для хранения • Редактирование схемы данных через интерфейс с автоматической генерацией миграций • Автогенерация GraphQL схемы • Mongo-style хелперы для GraphQL сущностей 59 Hasura.io
- 67. 60
- 68. 61
- 69. 61
- 70. 61
- 71. 61
- 72. 61
- 73. Hasura GraphQL interface 62 query { repo { url } } { "data": { "repo": [ { "url": "frontend/my-cool-project.git" }, { "url": "frontend/another-project.git" }, { "url": "backend/backend.git" } ] } }
- 74. Hasura GraphQL interface 64 { "data": { "repo": [ { "url": "frontend/my-cool-project.git" }, { "url": "frontend/another-project.git" } ] } } query { repo(where: { url: { _like: "%frontend%" } }) { url } }
- 75. 65
- 76. 66
- 77. Hasura GraphQL interface 67 query { repo(where: { url: { _eq: “..#” } }) { url commits { hash title } } } { "data": { "repo": [ { "url": "frontend/my-cool-project.git", "commits": [ { "hash": "b48830f03c", "title": "Initial commit" }, { "hash": "46eb37c740", "title": "Super cool feature" } ] } ] } }
- 80. У нас уже был подходящий инструмент 71
- 81. 72 Discovery.js
- 82. Discovery.js • Frontend framework for rapid data (JSON) analysis, sharable serverless reports and dashboards • Язык запросов Jora • Множество встроенных компонентов для построения отчетов • Opensource • Доклад и статья Романа Дворнова 73
- 83. А почему не?.. • Python, R и прочий датасатанизм? • И вообще зачем работать с JSON? 74
- 84. JSON 75
- 85. 76 { "data": { "repo": [ { "url": "git@git.whatever:frontend/my-cool-project.git", "commits": [ { "hash": "b48830f03c7be8c3f27491196e6fe1e1d1566559", "title": "Initial commit" }, { "hash": "46eb37c7400d2a4964ba63d31d57ebce5a53edc8", "title": "Super cool feature" } ] } ] } }
- 86. 76 { "data": { "repo": [ { "url": "git@git.whatever:frontend/my-cool-project.git", "commits": [ { "hash": "b48830f03c7be8c3f27491196e6fe1e1d1566559", "title": "Initial commit" }, { "hash": "46eb37c7400d2a4964ba63d31d57ebce5a53edc8", "title": "Super cool feature" } ] } ] } }
- 87. 77 const data = { repos: [ { url: 'git@git.whatever:frontend/my-cool-project.git' commits: [..#] } ], commits: [ { hash: 'b48830f03c7be8c3f27491196e6fe1e1d1566559', title: 'Initial commit' repo: {..#} }, { hash: '46eb37c7400d2a4964ba63d31d57ebce5a53edc8', title: 'Super cool feature', repo: {..#} } ] };
- 88. 77 const data = { repos: [ { url: 'git@git.whatever:frontend/my-cool-project.git' commits: [..#] } ], commits: [ { hash: 'b48830f03c7be8c3f27491196e6fe1e1d1566559', title: 'Initial commit' repo: {..#} }, { hash: '46eb37c7400d2a4964ba63d31d57ebce5a53edc8', title: 'Super cool feature', repo: {..#} } ] };
- 89. 78
- 90. Report 79 Discovery CLI Dev Registry Request data { "entity#1": { ..# }, "entity#2": { ..# }, ..# "entity#N": { ..# } }
- 91. 80
- 92. Software Analytics Infrastructure 81 Raw data GraphQL API Data User Reports
- 93. Software Analytics Infrastructure 81 Raw data GraphQL API Data User Reports Postgres DB
- 94. Software Analytics Infrastructure 81 Raw data GraphQL API Data User Reports Postgres DB Python, Tableau, Excel, whatever
- 95. Discovery.js в SA инфраструктуре • Software Analytics Infrastructure – это платформа • Данные в центре всего • Любой элемент системы заменяем 82
- 96. 84 Данные Представление Как доставлять данные?
- 97. Получение данных • Постоянный процесс • Воспроизводимый процесс • Управляемый процесс • Должен быть независим от цикла разработки 85
- 98. CI/CD 86
- 99. Получение данных • Постоянный процесс • Воспроизводимый процесс • Управляемый процесс • Должен быть независим от цикла разработки 87
- 100. Получение данных • Постоянный процесс • Воспроизводимый процесс • Управляемый процесс • Должен быть независим от цикла разработки 87
- 101. Mining Cluster 88
- 104. 89 Concourse CI Mining task Data Concourse CI
- 105. Software Analytics Infrastructure 90 Mining Cluster Dev Registry Dev Reports
- 106. Software Analytics Infrastructure • Несколько источников данных • 3 ключевых сервиса: • Mining Cluster • Dev Registry (storage) • Dev Reports (representation) 91
- 108. Дорожная карта 93 ! Проблемы с принятием решений </# Software Analytics </# + Software Analytics в Wrike Инструменты Польза
- 110. 95 Analytics machine Data ??? Data ??? Data ??? Insight
- 111. SDLC 96
- 112. Software Development Life Cycle 97
- 114. SDLC данные • Задачи • Коммиты • Инфраструктурные издержки сборки/прогоны тестов 99
- 115. 100 Task #1 Task #2 Task #3 Task #4 Task #N … Sprint backlog Team
- 116. 100 Task #1 Task #2 Task #3 Task #4 Task #N … Sprint backlog Team
- 117. 101 Ретроспектива!
- 118. 102 Task Team Developer Code Feature QA & CI/CD
- 119. 102 Task Team Developer Code Feature QA & CI/CD
- 120. 103
- 121. 103 Duration
- 122. 103 Duration Time To Market
- 123. 103 Duration Time To Market
- 124. 103 Duration Time To Market
- 125. 103 Duration Time To Market
- 126. 104
- 127. 104
- 128. 104
- 129. 104
- 130. 105
- 131. 105
- 132. 105
- 133. Одна конкретная задача не сможет показать всей картины 106
- 134. 107
- 135. 108
- 136. 108
- 137. Исследование SDLC • Отслеживаем все стадии жизни задачи • Находим все активности, которые происходили в задаче • Данные по задачам можно исследовать в различных разрезах: • по департаментам • по командам • по спринтам 109
- 138. 110 We can go deeper
- 139. 111 Task Team Developer Code Feature QA & CI/CD
- 140. 111 Task Team Developer Code Feature QA & CI/CD ?
- 141. Code ownership 112
- 142. Code ownership • В разрезе ответственности • В разрезе функциональности 113
- 143. Code ownership 114 some { peace; of; code; } @ownership Mining Cluster Commit Registry Статья на Хабре
- 144. 115 Feature B Feature A Feature C Feature D Team #1 Team #2
- 145. Исследование SDLC • Отслеживаем все стадии жизни задачи • Находим все активности, которые происходили в задаче • Данные по задачам можно исследовать в различных разрезах: • по департаментам • по командам • по спринтам • по функциональным областям 116
- 146. 117
- 147. 118
- 148. 119
- 149. 120
- 150. 121
- 151. 122
- 152. Discovery GraphiQL • “Песочница” для исследования GraphQL API • На основе GraphiQL • Интеграция с Discovery.js • Докер-образ для быстрого старта • Доступна тут 123
- 153. 124 docker run -p 3000:3000 -e GRAPHQL_ENDPOINT=https:/-countries.trevorblades.com/ -e TITLE="Countries" discoveryjs/graphiql
- 154. 125
- 155. Software Analytics value 126 Task(s) Commits Team Features
- 156. Software Analytics value 126 Task(s) Commits Team Features Durations Extra costs
- 157. Software Analytics value 126 Task(s) Commits Team Features Durations Extra costs TTM
- 158. Software Analytics value 126 Task(s) Commits Team Features Durations Extra costs TTM
- 159. Software Analytics value 126 Task(s) Commits Team Features Durations Extra costs TTM
- 160. Software Analytics value • Сущности – это ключевые блоки • Комбинируя эти блоки и перевязывая друг с другом, мы получаем новые проекции данных • Таким образом можно “проложить дорогу” от чисто-технических до бизнесовых метрик • Software Analytics в Wrike – это платформа, в которую любой разработчик/команда может добавлять свои данные и связи 127
- 161. Software Analytics в Wrike – это платформа 128
- 162. 129 <code> script1.js script2.js … <*code> User Site/App/Service CI Task tracker Production data Code Infrastructure metrics Development life cycle
- 164. 131 Task(s) Commits Team Features Durations Extra costs TTM Event
- 165. 131 Task(s) Commits Team Features Durations Extra costs TTM Event
- 166. Подводим итоги 132
- 167. 133 Data
- 169. 135 Profit
- 170. Это у вас, а у нас? 136
- 171. 137
- 172. 138
- 173. 139
- 174. 140
- 175. 141
- 176. 142
- 177. 142
- 178. 143 JsonDiscovery Chrome | FireFox | GitHub
- 179. 144
- 182. 145 PROFIT
- 183. Наши профиты • Снизили время доставки фич на ~20% • Уменьшили количество инфраструктурных издержек на ~30% • И денежные затраты на них на ~15% • Очертили зоны ответственности для команд и внедрили культуру владения кодом • Построили платформу для аналитики, которую использует большинство наших разработчиков каждый день 146
- 184. 147 Как понять, что код плохой и пора его рефакторить? С чего начинать рефакторинг? Как ускорить разработку? Как перестать страдать от ошибок на проде? Как деплоить чаще?
- 185. 147 Данные – главный ответ на многие вопросы
- 187. 148 Ловите информацию вокруг вас И заставляйте ее работать
- 189. Денис Колесников https://facebook.com/DenKolesnikov https://twitter.com/DenisKolesnikov 150 Спасибо! • Decision making wiki • Software Analytics wiki • Hasura • Discovery.js GitHub • Роман Дворнов – Маленький Data Science для большого фронтенда • Discovery.js tutorials: quick start • Concourse CI • Когда твой код стал общим: история от дебюта до эндшпиля • Discovery GraphiQL • JSONDiscovery