Ivan Vyshnevskyi - Not So Quiet Git Push
0 likes435 views
Ivan Vyshnevskyi - Not So Quiet Git Push
![Відмова від відповідальності
“They are not a security people, they’re a developer people […]”
— Bryan Brake, подкаст “Brakeing Down Security”
2](https://image.slidesharecdn.com/notsoquietgitpush-180304154215/85/Ivan-Vyshnevskyi-Not-So-Quiet-Git-Push-2-320.jpg)
![2014 — Знайомство
В одному з листів, я написав:
“[This problem] doesn't seem to be very common […]”
45](https://image.slidesharecdn.com/notsoquietgitpush-180304154215/85/Ivan-Vyshnevskyi-Not-So-Quiet-Git-Push-45-320.jpg)
![2014 — Знайомство
В одному з листів, я написав:
“[This problem] doesn't seem to be very common […]”
Ха!
46](https://image.slidesharecdn.com/notsoquietgitpush-180304154215/85/Ivan-Vyshnevskyi-Not-So-Quiet-Git-Push-46-320.jpg)
Ivan Vyshnevskyi - Not So Quiet Git Push
- 1. Not so Quiet git push All your repository are belong to us
- 2. Відмова від відповідальності “They are not a security people, they’re a developer people […]” — Bryan Brake, подкаст “Brakeing Down Security” 2
- 3. 3
- 4. 4
- 5. 5
- 6. 6
- 10. Ціль: статичний сайт ● Персональний блог ● Cайт-візитка ● Документація для нашого F(L)OSS проекту ● Сторінка для JavaScript експериментів 10
- 11. Ціль: статичний сайт ● Дешево ● Мінімум інфраструктури ● Легко оновлювати ● Пишемо не чистий HTML (Markdown чи AsciiDoc) 11
- 12. GitHub Pages 12
- 13. GitHub Pages v1.0 13 автор https://example.github.io ➀ зміни ➂ хостинг GitHub ➁ генерація (Jekyll)
- 14. GitHub Pages v2.0 14 автор https://example.github.io ➀ зміни GitHub Travis CI ➃ хостинг ➂ генерація та публікація ➁ отримання змін
- 18. Публікація з Travis CI 18 .travis.yml sudo: false script: - ./build.sh # генерує і коммітить в public - cd public - ???
- 19. Публікація: спроба #1 19 .travis.yml:L5 - git push https://$GH_TOKEN@github.com/$TRAVIS_REPO_SLUG HEAD:gh-pages
- 23. git push до v2.9.3 виводить повний URL 23
- 25. Публікація: спроба #2 25 man git-push
- 26. Публікація: спроба #2 26 .travis.yml:L5 - git push --quiet https://$GH_TOKEN@github.com/$TRAVIS_REPO_SLUG HEAD:gh-pages
- 31. Публікація: спроба #2 31 man git-push #again
- 32. git push усіх версії виводить повний URL при помилці 32
- 34. Публікація: спроба #3 34 .travis.yml:L5 - git push --quiet https://$GH_TOKEN@github.com/$TRAVIS_REPO_SLUG HEAD:gh-pages > /dev/null
- 35. Публікація: спроба #3 35 git push --quiet $URL HEAD:gh-pages > /dev/null fatal: unable to access 'https://df479efa868fbb679ce954fad0ce2c7c3dffd92e@github.com/sai naen/hypothetical-blog/': Failed to connect to github.com port 443: Connection refused
- 36. Публікація: спроба #3 36 git push --quiet $URL HEAD:gh-pages > /dev/null fatal: unable to access 'https://df479efa868fbb679ce954fad0ce2c7c3dffd92e@github.com/sai naen/hypothetical-blog/': Failed to connect to github.com port 443: Connection refused
- 37. git push усіх версії виводить помилки в stderr, не stdout 37
- 38. Публікація: ще варіанти? 38 ● повний /dev/null git push $URL HEAD:gh-pages 2>&1 > /dev/null ● credentials helper git config credential.helper 'store --file=.git/creds' ● ~/.netrc echo "machine github.com login $LOGIN password $GH_TOKEN" > ~/.netrc
- 39. Підсумок ● Щоб працювати з git безпечно треба бути обережним ○ Хороші рішення знайти так само легко як і погані ● Доступні для всіх логи не спрощують задачу 39
- 40. II. Історія 40
- 43. 2014 — Знайомство ● Простий пошук по ‘git push https’ ● Перегляд вручну логів 43
- 44. 2014 — Знайомство ● Простий пошук по ‘git push https’ ● Перегляд вручну логів Результат: ~10 токенів (активних і ні) 44
- 45. 2014 — Знайомство В одному з листів, я написав: “[This problem] doesn't seem to be very common […]” 45
- 46. 2014 — Знайомство В одному з листів, я написав: “[This problem] doesn't seem to be very common […]” Ха! 46
- 47. 2016 — Повернення 47 ● Хочеться свій блог ● Перший пост має бути про щось цікаве
- 48. 2016 — Повернення 48 ● Хочеться свій блог ● Перший пост має бути про щось цікаве Проблема з git push
- 49. 2016 — Повернення 49 ● Всього 10 токенів якось малувато ● Можливо за два роки все змінилось? ● Потенційна шкода, якщо проблема більш поширена
- 50. 2016 — Повернення 50 ● Всього 10 токенів якось малувато ● Можливо за два роки все змінилось? ● Потенційна шкода, якщо проблема більш поширена Рішення: ще раз пройтись пошуком
- 51. 2016 — Перші результати ● 28 активних токенів 51
- 52. 2016 — Перші результати ● 28 активних токенів ● часткова автоматизація завантаження логів 52
- 53. 2016 — Перші результати ● 28 активних токенів ● часткова автоматизація завантаження логів ○ знаючи ім’я репозиторію, навіть якщо він «деактивований» на Travis CI, логи все ще можна отримати ○ у випадку проблем з git push який знаходиться в after_success секції, білд залишається «зеленим» 53
- 54. 2016 — Перші результати ● 28 активних токенів ● часткова автоматизація завантаження логів ○ знаючи ім’я репозиторію, навіть якщо він «деактивований» на Travis CI, логи все ще можна отримати ○ у випадку проблем з git push який знаходиться в after_success секції, білд залишається «зеленим» ● ‘coordinated’ та інші види disclosure 54
- 55. 2016 — Книга облич exec('git clone '+ 'https://$GH_TOKEN@github.com/'+repoSlug+' '+ factsFolder); // ... exec('git push origin'); 55
- 56. 2016 — Книга облич 56 ● Можна писати статтю! :-)
- 57. 2016 — Книга облич 57 ● Можна писати статтю! :-) ● Баг баунті? Офкорс!
- 58. 2016 — Книга облич 58 ● Можна писати статтю! :-) ● Баг баунті? Вуд лов ту, бат… ○ «Не можна зв’язуватися з працівниками з питань повідомлення безпосередньо або через інші канали.» ○ Помилка вже виправлена
- 59. 2016 — Книга облич 59 ● Thank you for reporting this information to us.
- 60. 2016 — Книга облич 60 ● Thank you for reporting this information to us.
- 61. 2016 — Книга облич 61 ● Thank you for reporting this information to us. ● After reviewing this issue, we have decided to award you a bounty of $X000.
- 62. 2016 — Книга облич 62 … award you a bounty of $X000
- 63. 2016 — Книга облич 63
- 64. 2016 — Книга облич 64
- 65. 2017 — Скан 65
- 66. 2017 — Скан 66 JavaScript: робота з API Travis CI Bash: менджмент вводу/виводу ¯_(ツ)_/¯
- 67. 2017 — Скан: репозиторії 67 ● популярні (>100 зірочок чи форків)
- 68. 2017 — Скан: репозиторії 68 ● популярні (>100 зірочок чи форків) ● проекти відомих компаній (Google, Mozilla, Facebook, etc.)
- 69. 2017 — Скан: репозиторії 69 ● популярні (>100 зірочок чи форків) ● проекти відомих компаній (Google, Mozilla, Facebook, etc.) ● проекти топ-коммітерів до проектів зібраних раніше
- 70. 2017 — Скан: репозиторії 70
- 71. 2017 — Скан: репозиторії 71 ● популярні (>100 зірочок чи форків) ● проекти відомих компаній (Google, Mozilla, Facebook, etc.) ● проекти топ-коммітерів до проектів зібраних раніше ● проекти коммітерів до проектів топ-коммітерів
- 72. 2017 — Скан: білди 72 Деякі проекти використовують Travis CI наповну ● інколи десятки тисяч білдів ● кожен білд має десятки джоб логів
- 73. 2017 — Скан: білди 73 ● тільки останні 3000 білдів ● не більше 10 логів на білд ○ завжди останній та перший ○ 8 випадкових
- 74. 2017 — Скан: час 74 ● ~4 місяці ○ щоб не забанили мій сервер ○ не створювати проблем для безкоштовного сервісу
- 75. 2017 — Скан: час 75 ● ~4 місяці ○ щоб не забанили мій сервер ○ не створювати проблем для безкоштовного сервісу ● дуже важко не сидіти і тупо дивитись як біжать рядочки
- 76. 2017 — Скан: час 76 ● ~4 місяці ○ щоб не забанили мій сервер ○ не створювати проблем для безкоштовного сервісу ● дуже важко не сидіти і тупо дивитись як біжать рядочки ● постійний збір нових «цілей»
- 78. Хвилинка статистики (1) 78 Скан ● 7.8 мільйонів репозиторіїв на 326 мовах ● 320 тис. з них мали хоча б один білд на Travis CI ~4.1%! ● 60 мільйонів білдів
- 79. Хвилинка статистики (2) 79 Результати ● 150 тис. білдів в яких щось знайшлись ~0.24% від усіх ● 2.6 тис. унікальних токенів ● 907 активних токенів (34%)
- 81. 81
- 83. 83
- 84. 84
- 85. 85
- 86. 86
- 87. 87
- 88. 88
- 89. 89
- 90. 90
- 91. 91
- 92. 92
- 93. 93
- 94. 94
- 95. 95
- 96. 96
- 97. 97
- 98. 98
- 99. 99
- 100. 100
- 101. 101
- 102. 102
- 103. 103
- 104. 104
- 105. 105
- 106. 106
- 107. 107
- 108. 108
- 109. 109
- 110. 110
- 111. 111
- 112. 112
- 113. 113 158 тис. репозиторіїв з комміт-доступом
- 115. disclosure 115
- 116. Disclosure: порядок 116 1. газети/журнали/онлайн видання 2. державні організації 3. великі компанії 4. індивідуальні розробники
- 117. Disclosure: а чому не… 117 ● git-security@ ● Travis CI ● GitHub Security ● напряму власникам
- 118. Disclosure: моменти 118 ● виявилось, це займає дуже багато часу
- 119. Disclosure: моменти 119 ● виявилось, це займає дуже багато часу ● важко визначити кому писати
- 120. Disclosure: моменти 120 ● виявилось, це займає дуже багато часу ● важко визначити кому писати ● Google Security Team — круті
- 122. Висновки 122 ● “given enough eyeballs, all bugs are shallow” — не працює, токени в логах були роками навіть у великих проектів
- 123. Висновки 123 ● “given enough eyeballs, all bugs are shallow” — не працює, токени в логах були роками навіть у великих проектів ● якщо програма поводиться несподівано, документацію не прочитають
- 124. Висновки 124 ● “given enough eyeballs, all bugs are shallow” — не працює, токени в логах були роками навіть у великих проектів ● якщо програма поводиться несподівано, документацію не прочитають ● копі-паста коду з Інтернету, як завжди, не допомогає
- 125. Дякую за увагу 125 hi@sainaen.com @sainaen Іван Вишневський
- 126. PS. Не git push єдиним ● set -x ● git remote -v ● echo 126
- 127. PPS. Виправимо git-push! - error(_("failed to push some refs to '%s'"), transport->url); + error(_("failed to push some refs to '%s'"), transport_anonymize_url(transport- >url)); “This leaks the return value.” :-( 127