TwiTi
Инструмент для извлечения индикаторов компрометации (IOC) из твитов, включая ссылки, упомянутые в них. Классифицирует твиты на содержащие/не содержащие IOC. Разработан Samsung Research, представлен на конференции TheWebConf 2021 в статье "#Twiti: Social Listening for Threat Intelligence". Помогает быстро собирать свежие IOC из открытого Threat Intel-сообщества в Twitter/X. Восстановлено из архива Software Heritage: оригинальный репозиторий был удалён автором с исходной площадки. Код сохранён и перенесён в наш Forgejo-миррор, чтобы инструмент не потерялся окончательно.
git clone https://git.toolsofthetrade.qzz.io/recovered/twiti.git cd twiti pip install -r requirements.txt # Требуется доступ к Twitter API для сбора твитов
TwiTi
TwiTi — инструмент для извлечения IOC из твитов, способный собрать большое количество свежих и точных IOC.
TwiTi выполняет следующие задачи:
- классификацию того, содержит ли твит IOC или нет.
- извлечение IOC как из самого твита, так и из ссылок, упомянутых в твите.
Для получения дополнительной информации, пожалуйста, обратитесь к нашей статье,
"#Twiti: Social Listening for Threat Intelligence" (TheWebConf 2021)
Также дополнительные материалы к статье можно найти в директории data.
Уведомление
Из-за изменения политики API Twitter мы не можем свободно использовать данные твитов. Возможно, вам придется подписаться на доступ к API Twitter для использования TwiTi.
Требования
Python
pip install -r requirements.txt
NER
TwiTi использует модель NER для обработки текста. Модель NER должна быть создана перед запуском.
Пожалуйста, обратитесь к ner/README.md для получения дополнительной информации.
Запуск
Запустите следующие команды в директории TwiTi
Извлечение IOC
python -m ioc_extractor --help
Классификация твитов
python -m classifier --help
Замечания по лицензии на данные
Лицензия может изменяться со временем. Практически все владельцы данных заявляют, что они могут пересматривать условия использования (ToS) в любое время без уведомления. Например, во время нашего исследования AlienVault не предоставил никаких юридических условий относительно права использования данных OTX в своем пользовательском соглашении. Вместо этого мы обнаружили следующее утверждение на его веб-сайте:
Большинство продуктов или сервисов для обмена данными об угрозах ограничены в том, что они предоставляют, или требуют от пользователей дополнительной оплаты за то, что поставщик считает «премиальными» функциями. ... OTX решает эту проблему, предоставляя комплексный сервис разведки об угрозах, который является на 100% бесплатным, наряду с несколькими методами для ваших инструментов безопасности.
Таким образом, мы интерпретировали AlienVault OTX как «доступный для коммерческого использования». Однако его пользовательское соглашение было обновлено в апреле 2021 года, и теперь в нем четко указано, что
OTX является бесплатным для конечных пользователей для некоммерческого использования.
Это лицензионное ограничение влияет на количество IOC из-за ограничений на использование данных в разделе 5.1 нашей статьи.