Откуда и какие брать данные Threat Intelligence для SOC?
1 like7,351 views
Документ посвящен вопросам угроз и разведки в области кибербезопасности, уделяя особое внимание важности получения и анализа данных об угрозах для эффективного реагирования на инциденты. Рассматриваются источники информации, стратегии и платформы для threat intelligence, а также процессы взаимодействия между внутренними и внешними источниками информации. Подчеркивается необходимость интеграции различных видов анализа для повышения эффективности защиты от современных угроз.
Откуда и какие брать данные Threat Intelligence для SOC?
- 1. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 1 © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 1 Threat Intelligence для SOC Что и откуда брать? Алексей Лукацкий Бизнес-консультант по безопасности 11 November 2015
- 2. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 2 Что нам нужно для расследования инцидентов? • Активы/Сеть Сетевая топология Профиль актива Адрес/местоположение Аппаратная платформа Операционная система Открытые порты/Сервисы/Протоколы Клиентское и серверное ПО и его версия Статус защищенности Уязвимости • Пользователь Местоположение Профиль доступа Поведение • Файл/Данные/Процесс Движение Исполнение Метаданные Источник «Родитель» Репутация • Безопасность Точечные события Телеметрия Ретроспектива
- 3. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 3 èМСЭ / NGFW / NAC èIDS / IPS èNBAD èAV / BDS SIEM / LM??? X X X X Откуда эти данные взять? X èФильтрация контента èА еще ОС, СУБД…
- 4. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 4 Но несмотря на это или зачем нужен Threat Intelligence? Bitglass 205 Trustwave 188 Mandiant 229 2287 дней – одно из самых длинных незамеченных вторжений Ponemon 206 HP 416 Symantec 305
- 5. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 5 Почему так важно сопоставлять внутренние данные с внешними источниками?! • Threat Intelligence – знание (включая процесс его получения) об угрозах и нарушителях, обеспечивающее понимание методов, используемых злоумышленниками для нанесения ущерба, и способов противодействия им • Оперирует не только и не столько статической информацией об отдельных уязвимостях и угрозах, сколько более динамичной и имеющей практическое значение информацией об источниках угроз, признаках компрометации (объединяющих разрозненные сведения в единое целое), вредоносных доменах и IP-адресах, взаимосвязях и т.п.
- 6. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 6 5 этапов процесса Threat Intelligence План Сбор Обработки и анализ Распространение информации Разбор полетов • Зачем нам Threat Intelligence? • Какие у нас требования? • Кто (нарушитель) может атаковать нас (модель нарушителя)? • Нюансы (геополитика, отрасль…) • Своя или внешняя система Threat Intelligence? • Что может провайдер TI (источники)? • Возможности провайдера стыкуются с вашими потребностями? • Кто внутри вас будет общаться с провайдером и как? • Как «сырые» данные превратятся в TI? • Платформа для обработки и анализа? • Кто проводит анализ? • Кому можно распространять информацию? На каких условиях? • Какие стандарты используются для распространения? • Когда распространять информацию? • Какие действия необходимо произвести на основании полученных данных? • Как взаимодействовать со средствами защиты?
- 7. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 7 Threat Intelligence (фиды) Обогащенные данные Место Threat Intelligence в SOC Дамп трафика Метаданные протоколов NetFlow Журналы регистрации (логи) Неструктурированная телеметрия Другая потоковая телеметрия Разбор + Формат Обога- щение Трево -га Аналитика и обработка логов Анализ больших данных, моделирование прогнозов Обработка сетевого трафика и реконструкция PCAP Приложения + аналитика
- 8. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 8 Место Threat Intelligence в процессах SOC Захват данных Подробная информация о событии, включая артефакты Оценка области действия Сканирование в поисках недавно обнаруженных связанных с первоначальны ми событиями артефактов Проверка Вредоносным или нет является данное событие? Не ложное ли срабатывание? Устранение / лечение Удаление процессов, чистка файлов и удаление ключей реестра, связанных с атакой Оценка воздействия Оценка воздействия на бизнес-, ИТ- или иные процессы, а также определение статуса защищаемой информации Анализ данных Анализ вредоносного кода и использование Threat Intelligence для поиска дополнительных артефактов и идей Обнаружение Средство защиты передает данные о событиях безопасности ! Threat Intelligence
- 9. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 9 Как это может выглядеть в SOC?
- 10. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 10 Что влияет на эффективность Threat Intelligence? TIФиды Анализ ваших угроз Платформа API Стандарты
- 11. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 11 Для государственного CERT требуется нечто иное Тактическая / операционная Стратегическая • Пример Фиды об признаках угроз (сетевых или хостовых) Анализ конкретной вредоносной программы (например, Stuxnet) • Пример Анализ хакерской кампании Оценка угроз для конкретной отрасли (например, новый вид мошенничества для банков)
- 12. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 12 Карты угроз: пример стратегической Threat Intelligence
- 13. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 13 13© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. Фиды и их источники
- 14. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 14 Фиды Threat Intelligence • Фиды (feeds) – способ представления данных об угрозах • Учесть защищенную передачу и регулярность получения фидов • Поддержка различных языков программирования и форматов данных JSON XML CyBOX STiX CSV И другие
- 15. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 15 Какие бывают фиды? • IP- и DNS-адреса вредоносных сайтов, спамеров, входных узлов Tor, анонимайзеров, открытых прокси… • Заголовки E-mail • URL и URI • Хеши и пути файлов • CVE-записи • Правила CIDR • Репутация файлов, узлов, сайтов • Ключи реестра • Индикаторы компрометации (IoC)
- 16. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 16 Источники фидов http://atlas.arbor.net/ Инициатива Arbor ATLAS (Active Threat Level Analysis System) • Глобальная сеть анализа угроз (обманные системы) • Информация берется от обманных систем (honeypot), IDS, сканеров, данных C&C, данных о фишинге и т.д. • Публичная информация о Топ10 угрозах • Для доступа к некоторым данным требуется регистрация http://www.spamhaus.org Проект для борьбы со спамом • Поддерживает различные базы данных (DNSBL) с данными по угрозам (IP-адреса) – спамеры, фишеры, прокси, перехваченные узлы, домены из спама • Реестр ROKSO с самыми известными спамерами в мире • Проверка и исключение своих узлов из «черных списков»
- 17. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 17 Источники фидов https://www.spamhaustech.com SpamTEQ – коммерческий сервис Spamhaus • Фиды по репутациям IP- и DNS-адресов • Ценовая политика зависит от типа организации и типа запрашиваемых данных • Годовой абонемент https://www.virustotal.com Проект для борьбы со спамом • Проверка файлов и URL на вредоносность • Бесплатный сервис • Система поиска
- 18. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 18 Источники фидов https://www.threatgrid.com Фиды по сетевым коммуникациям • IRC, DNS, IP • Россия и Китай • Сетевые аномалии • RAT и банковские троянцы • И др. https://www.alienvault.com/open-threat-exchange Открытое community по обмену информацией об угрозах • IP- и DNS-адреса • Имена узлов • E-mail • URL и URI • Хеши и пути файлов • CVE-записи и правила CIDR Форматы: • JSON • CyBOX • STiX • CSV • Snort • Raw
- 19. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 19 Источники фидов https://www.cisco.com/security IntelliShield Security Information Service • Уязвимости • Бюллетени Microsoft • Сигнатуры атак Cisco • Web- и обычные угрозы • Уязвимые продукты (вендор-независимый) http://www.malwaredomains.com Проект DNS-BH (Black Holing) • Обновляемый «черный» список доменов, участвующих в распространении вредоносного кода • Список доступен в формате AdBlock и ISA
- 20. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 20 Какие еще источники фидов есть? IOC • Abuse.ch • Blocklist.de • CleanMX • EmergingThreats • ForensicArtifacts • MalwareIOC • Nothink • Shadowserver DNS • ISC DNSDB • BFK edv- consulting Вредоносное ПО • VirusShare.com
- 21. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 21 Какие еще источники фидов есть? • CrowdStrike • FarSight Security • Flashpoint Partners • IOCmap • iSightPartners • Microsoft CTIP • Mirror-ma.com • ReversingLabs • SenderBase.org • Threat Recon • Team Cymru • Webroot • ZeusTracker • И другие
- 22. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 22 На что обратить внимание при выборе фидов? • Тип источника • Уровни представления информации • Широта охвата • Число записей • Языковая поддержка/покрытие • Доверие к источнику (популярность и отзывы) • Оперативность/частота предоставления фидов • Платность • Формализованность представления информации • Возможность автоматизации • Соответствие вашей инфраструктуре • Частота ложных срабатываний • Возможность отката назад или пересмотра статуса угрозы (например, для вылеченного сайта)
- 23. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 23 23© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. Анализ ваших угроз
- 24. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 24 А разве фидов недостаточно? • У вас могут быть свои подозрительные файлы • Вы можете не хотеть «делиться» вашими анализами с другими • Вас может не устраивать оперативность фидов • Ваш источник фидов может плохо охватывать Россию • У вас собственная служба расследования инцидентов и аналитики вредоносного кода • Вы пишете вредоносный код J Данные об угрозах в RSA Security Analytics Данные об угрозах в EnCase Endpoint Security
- 25. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 25 Возможность анализа собственных угроз https://www.threatgrid.com Загрузка собственных угроз • С помощью API в облако • С помощью API на локальное устройство on-premise • Вручную через портал https://malwr.com Сервис анализа вредоносного кода • Базируется на VirusTotal и Cuckoo Sandbox • Бесплатный
- 26. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 26 26© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. Платформы
- 27. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 27 От фидов к платформе • Чем масштабнее система TI, тем «серьезнее» должна быть платформа для анализа Например, BAE Systems Detica CyberReveal, IBM i2, Lookingglass ScoutVision, Mitre CRITs, Palantir, Paterva/Maltego CaseFile, SharePoint, ThreatConnect • В простых случаях можно обойтись решениями open source
- 28. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 28 Платформы Threat Intelligence https://www.threatconnect.com 6 уровней: • Индивидуальный • Базовый • Команда • Предприятие • MSSP • ISAC/ISAO Возможности: • Премиум и open source фиды • Наличие API • Неструктурированые данные • Приватная маркировка • Облако или on-premise • Тактический / стратегический https://crits.github.io Платформа open source от MITRE • Использует другие open source решения, объединяя их вместе • Анализ и обмен данных об угрозах • Изолированная или разделяемая архитектура
- 29. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 29 Платформы Threat Intelligence https://www.threatgrid.com Возможности: • Премиум и open source фиды • Наличие API • Неструктурированые данные • Приватная маркировка • Облако или on-premise • Индикаторы компрометации • Интеграция с различными SIEM https://www.iocbucket.com Возможности: • Редактор IOC (индикаторов компрометации) • Поддержка YARA и OpenIOC • Обмен IOC • Бесплатная • Готовится сервис фидов (коммерческих и бесплатных) • Готовится поддержка TAXII
- 30. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 30 Платформы Threat Intelligence https://www.threatstream.com Возможности: • Премиум и open source фиды • Наличие API • Неструктурированные данные • Приватная маркировка • Интеграция с различными поставщиками фидов • Гибкость • Работа на мобильных платформах (Apple Watch) • Интеграция с различными SIEM http://csirtgadgets.org/collective-intelligence-framework/ Возможности: • Open source платформа • Собирает данные из различных источников, поддерживающих стандарт CIF • Позволяет идентифицировать инциденты • Может формировать правила для IDS • Есть фиды и API
- 31. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 31 Популярный Maltego • Maltego – open source решение для анализа данных, полученных из разных источников, и связей между ними • Canari Framework – инфраструктура, позволяющая более эффективно использовать Maltego • Malformity – Maltego-проект, базирующийся на Canari, для проведения исследования вредоносного кода и др.
- 32. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 32 Facebook тоже выходит на рынок Threat Intelligence 11 февраля 2015 года! http://threatexchange.fb.com/
- 33. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 33 Платформы и источники для TI Коммерческая или бесплатная? Коммерческая • Масштаб • Удобство • Оперативность • Гарантия • Поддержка • Функциональность Бесплатная • Цена • Энтузиазм
- 34. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 34 34© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. API
- 35. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 35 Threat IntelligenceAPI • Большое количество угроз и непредсказуемость времени их получения требует автоматизации процесса Threat Intelligence и его интеграции с существующими решениями класса SIEM или SOC • Автоматизация может быть достигнута за счет API / SDK, который сможет Получать и загружать данные (фиды и отчеты) от/из внешних источников Threat Intelligence, включая платформы TI • Поддержка различных языков программирования Go и Ruby Java и .NET Perl и PHP Powershell и Python RESTful WSDL и SOAP
- 36. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 36 API для автоматизации процесса VirusTotal https://www.virustotal.com/en/documentation/public-api/ • Загрузка и сканирование файлов • Загрузка и сканирование URL • Получение отчетов ThreatGRID Широкие возможности по загрузке и получении ответа • Артефакты (хэш, путь) • URL • Ключ реестра • Домен / имя узла • IP • IOC • Сетевые коммуникации (TCP, IRC, HTTP, DNS и т.п.)
- 37. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 37 API для автоматизации процесса OpenDNS Анализ DNS/IP-адресов на предмет их вредоносности
- 38. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 38 38© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. Стандарты
- 39. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 39 Взаимосвязь стандартов Threat Intelligence • Угроза должна быть описана • Угрозы должны быть объединены в признаки компрометации • Информация об угроза должна быть передана
- 40. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 40 Стандарты Threat Intelligence • Описание различных проблем с ИБ CAPEC (http://capec.mitre.org/) - классификация и систематизация шаблонов атак CCE (http://cce.mitre.org/) - описание конфигураций CEE (http://cee.mitre.org/) - описание, хранение и обмен сигналами тревоги между разнородными средствами защиты (аналог SDEE/RDEP) CPE (http://cpe.mitre.org/) - описание элементов инфраструктуры CVE (http://cve.mitre.org/) - классификация и систематизация уязвимостей CVSS (http://www.first.org/cvss/cvss-guide) - приоритезация уязвимостей CWE (http://cwe.mitre.org/) - стандартизованный набор слабых мест в ПО MAEC (http://maec.mitre.org/) - систематизация атрибутов вредоносного кода. «Сменил на посту» CME MARF (http://datatracker.ietf.org/wg/marf/documents/) OVAL (http://oval.mitre.org/) - язык описания уязвимостей CRF (http://makingsecuritymeasurable.mitre.org/crf/) - описание результатов тестирования и оценки защищенности
- 41. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 41 Стандарты Threat Intelligence • Признаки компрометации (Indicators of Compromise) и информация о нарушителях и хакерских кампаниях OpenIOC (http://openioc.org) - преимущественно хостовые признаки CybOX (http://cybox.mitre.org) OpenIOC è CybOX (https://github.com/CybOXProject/openioc-to-cybox) STIX (http://stix.mitre.org) - описание угроз, инцидентов и нарушителей IODEF (RFC 5070) (http://www.ietf.org/rfc/rfc5070.txt) – активно применяется RFC 5901 (http://www.ietf.org/rfc/rfc5901.txt) – расширение IODEF для фишинга IODEF-SCI – расширение IODEF для добавления дополнительных данных VERIS (http://www.veriscommunity.net/) – высокоуровневый стандарт Verizon x-arf (http://www.x-arf.org/) - уведомление о сетевых нарушениях
- 42. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 42 Стандарты Threat Intelligence • Обмен информацией TAXII (http://taxii.mitre.org) - обмен информацией, описанной с помощью STIX VEDEF (http://www.terena.org/activities/tf-csirt/vedef.html) - европейский стандарт TERENA SecDEF – европейский стандарт ENISA CAIF (http://www.caif.info) - европейский стандарт DAF (http://www.cert-verbund.de/projects/daf.html) - европейский стандарт IODEF RID (RFC 6545/6546) – взаимодействие между системами ИБ-аналитики MANTIS (https://github.com/siemens/django-mantis.git) – инициатива по объединению OpenIOC, CybOX, IODEF, STIX и TAXII в единое целое RFC 5941 – обмен информацией о мошенничестве (фроде) MMDEF (http://standards.ieee.org/develop/indconn/icsg/mmdef.html) - обмен метаданными вредоносного кода
- 43. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 43 Стандарты Threat Intelligence • Разное TLP – протокол «раскраски» сообщений об угрозах, позволяющий автоматически определить круг распространения информации CIF (http://collectiveintel.net/) – разработан REN-ISAC для собирать данные из разных источников и нейтрализовать угрозы путем генерации правил для Snort, iptables и др.
- 44. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 44 44© Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. В заключение
- 45. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 45 Текущий рынок Threat Intelligence • Крупные производители средств защиты имеют собственные процессы/подразделения Threat Intelligence Например, покупка ThreatGRID компанией Cisco • Существуют самостоятельные компании, предоставляющие услуги Threat Intelligence всем желающим IQRisk, ETPro, ThreatStream • Существуют открытые источники Threat Intelligence • Развиваются отраслевые/государственные центры обмена информацией Threat Intelligence Например, ISAC в США
- 46. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 46 Российских игроков на этом рынке нет! Пока нет? • Только в отчете Gartner фигурирует Group-IB Однако аналогичные работы ведут «Лаборатория Касперского», Positive Technologies, «Перспективный мониторинг» и другие
- 47. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 47 Выводы • Система Threat Intelligence как никогда важна в текущих условиях для каждой организации, отрасли, государства • Система Threat Intelligence должна стать неотъемлемой частью эффективного SOC • Сегодня есть все возможности, ресурсы и инструменты для создания такой системы • Стандартизация и автоматизация (включая обновления) – ключ к эффективной системе Threat Intelligence • Система Threat Intelligence не «висит в воздухе» – необходимо создание целой инфраструктуры для ее эффективного функционирования
- 48. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 48 Дополнительная информация
- 49. © Cisco и(или) ее аффилированные лица, 2014 г. Все права защищены. 49 Благодарю за внимание