SpiderFoot
Reconnaissance
v4.0 · 07.04.2022
не обновлялся >2 лет
Автоматизированная OSINT-платформа с веб-интерфейсом. 200+ модулей для сбора данных об IP, доменах, email, именах из Shodan, Censys, VirusTotal, HaveIBeenPwned, DNS, Whois, dark web и других источников. Строит граф связей.
Версии
v4.0
07.04.2022
current
Установка
pip3 install spiderfoot spiderfoot -l 127.0.0.1:5001 # Из исходников: git clone https://github.com/smicallef/spiderfoot cd spiderfoot pip3 install -r requirements.txt python3 ./sf.py -l 127.0.0.1:5001 # CLI: python3 ./sfcli.py -s domain.com -t INTERNET_NAME
переведено ИИ
SpiderFoot — это инструмент автоматизации разведки с открытым исходным кодом (OSINT). Он интегрируется практически со всеми доступными источниками данных и использует ряд методов для анализа данных, делая их удобными для навигации.
SpiderFoot имеет встроенный веб-сервер для предоставления чистого и интуитивного веб-интерфейса, но также может использоваться полностью через командную строку. Написан на Python 3 и распространяется по лицензии MIT.
ВОЗМОЖНОСТИ
- Веб-интерфейс или CLI
- Более 200 модулей (см. ниже)
- Python 3.7+
- Настраиваемый на YAML движок корреляций с 37 предустановленными правилами
- Экспорт в CSV/JSON/GEXF
- Экспорт/импорт ключей API
- Бэкенд SQLite для пользовательских запросов
- Высокая степень настройки
- Полная документация
- Визуализации
- Интеграция с TOR для поиска в даркнете
- Dockerfile для развёртывания на базе Docker
- Может вызывать другие инструменты, такие как DNSTwist, Whatweb, Nmap и CMSeeK
- Активно развивается с 2012 года!
НУЖНО БОЛЬШЕ?
Вам нужно больше от SpiderFoot? Ознакомьтесь с SpiderFoot HX: - 100% облачный и полностью управляемый - Мониторинг поверхности атаки с уведомлениями об изменениях по электронной почте, REST и Slack - Несколько целей в одном сканировании - Многопользовательское взаимодействие - Аутентификация и двухфакторная проверка - Расследования - Поддержка клиентов - Предустановленные и настроенные сторонние инструменты - Управление через полноценный RESTful API - Встроенная интеграция с TOR - Скриншоты - Возможность добавления собственных модулей Python для SpiderFoot - Передача данных сканирования в Splunk, ElasticSearch и REST-эндпоинты
Посмотреть полный список отличий между SpiderFoot HX и open source версией можно здесь.
ПРИМЕНЕНИЕ
SpiderFoot может использоваться в наступательных целях (например, во время учений красной команды или пентеста) для разведки вашей цели, или в оборонительных — для сбора информации о том, что вы или ваша организация могли раскрыть в интернете.
Вы можете сканировать следующие сущности в SpiderFoot:
- IP-адрес
- Домен/поддомен
- Имя хоста
- Сетевая подсеть (CIDR)
- ASN
- Адрес электронной почты
- Номер телефона
- Имя пользователя
- Имя человека
- Биткоин-адрес
Более 200 модулей SpiderFoot работают в модели издатель/подписчик, обеспечивая максимальное извлечение данных для выполнения таких задач, как:
- Перечисление/извлечение хостов/поддоменов/TLD
- Извлечение адресов электронной почты, номеров телефонов и имен людей
- Извлечение биткоин и эфириум адресов
- Проверка уязвимости к захвату поддоменов
- Трансферы DNS-зоны
- Запросы к источникам угроз и черным спискам
- Интеграция API с SHODAN, HaveIBeenPwned, GreyNoise, AlienVault, SecurityTrails и др.
- Перечисление аккаунтов в социальных сетях
- Перечисление/скрапинг бакетов S3/Azure/Digitalocean
- Геолокация IP
- Веб-скрапинг, анализ веб-контента
- Анализ метаданных изображений, документов и бинарных файлов
- Поиск в даркнете
- Сканирование портов и перехват баннеров
- Поиск утечек данных
- И многое другое...
УСТАНОВКА И ЗАПУСК
Для установки и запуска SpiderFoot вам потребуется как минимум Python 3.7 и ряд библиотек Python, которые можно установить с помощью pip. Мы рекомендуем устанавливать упакованный релиз, так как мастер-ветка часто содержит новейшие функции и модули, которые не полностью протестированы.
Стабильная сборка (упакованный релиз):
wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001
Сборка для разработки (клонирование из мастер-ветки git):
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001
Ознакомьтесь с документацией и нашими видео на asciinema для получения дополнительных руководств.
СООБЩЕСТВО
Независимо от того, являетесь ли вы контрибьютором, пользователем или просто любопытствуете о SpiderFoot и OSINT в целом, мы будем рады видеть вас в нашем сообществе! У SpiderFoot теперь есть Discord-сервер для получения помощи от сообщества, запроса функций или просто для общего общения об OSINT.
НАПИСАНИЕ ПРАВИЛ КОРРЕЛЯЦИЙ
У нас есть исчерпывающее описание и справочник по набору правил корреляций, представленных в SpiderFoot 4.0, здесь.
Также посмотрите файл template.yaml для пошагового руководства. Существующие 37 правил также читаются достаточно легко и являются хорошей отправной точкой для написания дополнительных правил.
МОДУЛИ / ИНТЕГРАЦИИ
SpiderFoot содержит более 200 модулей, большинство из которых не требуют ключей API, а из тех, которые требуют, у многих есть бесплатный тарифный план.
| Название | Описание | Тип |
|---|---|---|
| AbstractAPI | Поиск информации о домене, телефоне и IP-адресе через AbstractAPI. | API с тарифными планами |
| abuse.ch | Проверка, является ли хост/домен, IP-адрес или блок сети вредоносным согласно данным Abuse.ch. | Бесплатный API |
| AbuseIPDB | Проверка, является ли IP-адрес вредоносным согласно черному списку AbuseIPDB.com. | API с тарифными планами |
| Abusix Mail Intelligence | Проверка, находится ли блок сети или IP-адрес в черном списке Abusix Mail Intelligence. | API с тарифными планами |
| Account Finder | Поиск возможных связанных аккаунтов на более чем 500 социальных и других сайтах, таких как Instagram, Reddit и т.д. | Встроенный |
| AdBlock Check | Проверка, будут ли связанные страницы заблокированы AdBlock Plus. | API с тарифными планами |
| AdGuard DNS | Проверка, будет ли хост заблокирован AdGuard DNS. | Бесплатный API |
| AlienVault IP Reputation | Проверка, является ли IP или блок сети вредоносным согласно базе данных AlienVault IP Reputation. | Бесплатный API |
| AlienVault OTX | Получение информации из AlienVault Open Threat Exchange (OTX) | API с тарифными планами |
| Amazon S3 Bucket Finder | Поиск потенциальных бакетов Amazon S3, связанных с целью, и попытка перечисления их содержимого. | Бесплатный API |
| Apple iTunes | Поиск мобильных приложений в Apple iTunes. | Бесплатный API |
| Archive.org | Определение исторических версий интересных файлов/страниц из Wayback Machine. | Бесплатный API |
| ARIN | Запрос контактной информации в реестре ARIN. | Бесплатный API |
| Azure Blob Finder | Поиск потенциальных блобов Azure, связанных с целью, и попытка перечисления их содержимого. | Бесплатный API |
| Base64 Decoder | Определение строк, закодированных в Base64, в URL-адресах, что часто раскрывает интересную скрытую информацию. | Встроенный |
| BGPView | Получение сетевой информации через API BGPView. | Бесплатный API |
| Binary String Extractor | Попытка определить строки в бинарном контенте. | Встроенный |
| BinaryEdge | Получение информации от систем интернет-сканирования BinaryEdge.io, включая утечки, уязвимости, торренты и пассивный DNS. | API с тарифными планами |
| Bing (Shared IPs) | Поиск в Bing хостов, разделяющих один IP-адрес. | API с тарифными планами |
| Bing | Получение информации из Bing для определения поддоменов и ссылок. | API с тарифными планами |
| Bitcoin Finder | Идентификация биткоин-адресов в веб-страницах. | Встроенный |
| Bitcoin Who's Who | Проверка биткоин-адресов по базе данных Bitcoin Who's Who подозрительных/вредоносных адресов. | Уровневый API |
| BitcoinAbuse | Проверка биткоин-адресов по базе данных bitcoinabuse.com подозрительных/вредоносных адресов. | Бесплатный API |
| Blockchain | Запрос к blockchain.info для определения баланса идентифицированных биткоин-кошельков. | Бесплатный API |
| blocklist.de | Проверка, является ли сетевой блок или IP вредоносным согласно blocklist.de. | Бесплатный API |
| BotScout | Поиск в базе данных BotScout.com IP-адресов и электронной почты спам-ботов. | Уровневый API |
| botvrij.eu | Проверка домена на вредоносность согласно botvrij.eu. | Бесплатный API |
| BuiltWith | Запрос Domain API BuiltWith.com для получения информации о технологическом стеке, электронной почте и других данных о цели. | Уровневый API |
| C99 | Запрос к C99 API для получения геолокации, обнаружения прокси, поиска информации о телефонах и других данных. | Коммерческий API |
| CallerName | Определение местоположения и репутации американских телефонных номеров. | Бесплатный API |
| Censys | Получение информации о хостах из Censys.io. | Уровневый API |
| Certificate Transparency | Сбор имён хостов из исторических сертификатов crt.sh. | Бесплатный API |
| CertSpotter | Сбор данных об SSL-сертификатах через API SSLMate CertSpotter. | Уровневый API |
| CINS Army List | Проверка сетевого блока или IP-адреса на наличие вредоносной активности по списку CINS Army. | Бесплатный API |
| CIRCL.LU | Извлечение данных из баз пассивного DNS и пассивного SSL CIRCL.LU. | Бесплатный API |
| CleanBrowsing.org | Определение, будет ли хост заблокирован DNS-фильтрами контента CleanBrowsing.org. | Бесплатный API |
| CleanTalk Spam List | Проверка наличия сетевого блока или IP-адреса в спам-листе CleanTalk.org. | Бесплатный API |
| Clearbit | Поиск имён, адресов, доменов и прочего посредством запросов электронной почты через clearbit.com. | Уровневый API |
| CloudFlare DNS | Определение, будет ли хост заблокирован CloudFlare DNS. | Бесплатный API |
| CoinBlocker Lists | Проверка наличия домена в списках CoinBlocker. | Бесплатный API |
| CommonCrawl | Поиск URL-адресов из базы CommonCrawl.org. | Бесплатный API |
| Comodo Secure DNS | Определение, будет ли хост заблокирован Comodo Secure DNS. | Уровневый API |
| Извлекатель названий компаний | Идентификация названий компаний в полученных данных. | Встроенный |
| Извлекатель cookies | Извлечение cookies из HTTP-заголовков. | Встроенный |
| Извлекатель названий стран | Определение названий стран в полученных данных. | Встроенный |
| Извлекатель номеров банковских карт | Идентификация номеров банковских карт в данных. | Встроенный |
| Crobat API | Поиск поддоменов через API Crobat. | Бесплатный API |
| Перекрёстный референсатор | Определение связи других доменов с целью путём поиска обратных ссылок на целевой сайт. | Встроенный |
| CRXcavator | Поиск расширений для Chrome в CRXcavator. | Бесплатный API |
| Пользовательский список угроз | Проверка хоста/домена, сетевого блока, ASN или IP на вредоносность по пользовательскому списку угроз. | Встроенный |
| CyberCrime-Tracker.net | Проверка хоста/домена или IP-адреса на вредоносность по CyberCrime-Tracker.net. | Бесплатный API |
| Debounce | Проверка, является ли электронная почта одноразовой. | Бесплатный API |
| Dehashed | Сбор данных об утечках из API Dehashed. | Коммерческий API |
| Digital Ocean Space Finder | Поиск потенциальных Digital Ocean Spaces, связанных с целью, и попытка перечислить их содержимое. | Бесплатный API |
| Брутфорсер DNS | Попытка идентификации имён хостов перебором распространённых имён и их вариаций. | Встроенный |
| Распространённые SRV-записи DNS | Попытка идентификации имён хостов перебором типичных DNS SRV-записей. | Встроенный |
| DNS for Family | Определение, будет ли хост заблокирован DNS for Family. | Бесплатный API |
| Боковой DNS-резолвер | Попытка обратного разрешения IP-адресов рядом с целью для выявления связей. | Встроенный |
| Необработанные DNS-записи | Извлечение необработанных DNS-записей, таких как MX, TXT и другие. | Встроенный |
| Резолвер DNS | Разрешение идентифицированных хостов и IP-адресов, а также извлечённых из необработанного контента. | Встроенный |
| Передача DNS-зоны | Попытка выполнить полную передачу DNS-зоны. | Встроенный |
| DNSDB | Запрос к DNSDB FarSight для получения исторических и пассивных DNS-данных. | Уровневый API |
| DNSDumpster | Пассивное перечисление поддоменов с помощью DNSDumpster от HackerTarget. | Бесплатный API |
| DNSGrep | Получение пассивной DNS-информации из Rapid7 Sonar Project через DNSGrep API. | Бесплатный API |
| DroneBL | Запрос к базе данных DroneBL для поиска открытых реле, прокси, уязвимых серверов и т.д. | Бесплатный API |
| DuckDuckGo | Запрос к API DuckDuckGo для получения описательной информации о цели. | Бесплатный API |
| Извлекатель адресов электронной почты | Идентификация адресов электронной почты в полученных данных. | Встроенный |
| EmailCrawlr | Поиск адресов электронной почты и телефонных номеров, связанных с доменом, в EmailCrawlr. | Уровневый API |
| EmailFormat | Поиск адресов электронной почты на email-format.com. | Бесплатный API |
| EmailRep | Проверка репутации адреса электронной почты в EmailRep.io. | Уровневый API |
| Emerging Threats | Проверка сетевого блока или IP-адреса на вредоносность по EmergingThreats.net. | Бесплатный API |
| Извлекатель строк ошибок | Идентификация типичных сообщений об ошибках в контенте, таких как ошибки SQL и т.д. | Встроенный |
| Извлекатель адресов Ethereum | Идентификация адресов Ethereum в веб-страницах. | Встроенный |
| Etherscan | Запрос к etherscan.io для определения баланса идентифицированных кошельков Ethereum. | Бесплатный API |
| Извлекатель метаданных файлов | Извлечение метаданных из документов и изображений. | Встроенный |
| Flickr | Поиск на Flickr доменов, URL и электронной почты, связанных с указанным доменом. | Бесплатный API |
| Focsec | Получение информации об IP-адресах из Focsec. | Уровневый API |
| FortiGuard Antispam | Проверка IP-адреса на вредоносность по FortiGuard Antispam. | Бесплатный API |
| Fraudguard | Получение информации об угрозах из Fraudguard.io. | Уровневый API |
| F-Secure Riddler.io | Получение сетевой информации из API F-Secure Riddler.io. | Коммерческий API |
| FullContact | Сбор информации о доменах и электронной почте из API FullContact.com. | Уровневый API |
| FullHunt | Определение поверхности атаки домена с помощью FullHunt API. | Уровневый API |
| Github | Определение связанных публичных кодовых репозиториев на Github. | Бесплатный API |
| GLEIF | Поиск информации о компаниях из Global Legal Entity Identifier Foundation (GLEIF). | Уровневый API |
| Google Maps | Определение потенциальных физических адресов и координат широты/долготы. | Уровневый API |
| Google Object Storage Finder | Поиск потенциальных контейнеров Google Object Storage, связанных с целью, и попытка перечислить их содержимое. | Бесплатный API |
| Google SafeBrowsing | Проверка, включён ли URL в какой-либо из списков Safe Browsing. | Бесплатный API |
| Получение информации из Google Custom Search API для идентификации поддоменов и ссылок. | Уровневый API | |
| Gravatar | Получение информации о пользователях из API Gravatar. | Бесплатный API |
| Grayhat Warfare | Поиск имён бакетов, соответствующих ключевому слову, извлечённому из домена, через API Grayhat. | Уровневый API |
| Greensnow | Проверка сетевого блока или IP-адреса на вредоносность по greensnow.co. | Бесплатный API |
| grep.app | Поиск ссылок и электронной почты, связанных с указанным доменом, в API grep.app. | Бесплатный API |
| GreyNoise Community | Получение обогащённых данных об IP из API GreyNoise Community. | Уровневый API |
| GreyNoise | Получение обогащённых данных об IP из GreyNoise. | Уровневый API |
| HackerOne (Unofficial) | Проверка внешнего сервиса сканирования/отчётности об уязвимостях h1.nobbd.de на наличие цели в списке. | Бесплатный API |
| HackerTarget | Поиск на HackerTarget.com хостов, использующих тот же IP-адрес. | Бесплатный API |
| Извлекатель хешей | Идентификация хешей MD5 и SHA в веб-контенте, файлах и т.д. | Встроенный |
| HaveIBeenPwned | Проверка на HaveIBeenPwned.com взломанных адресов электронной почты, выявленных в утечках. | Коммерческий API |
| Идентификатор провайдера хостинга | Определить, попадают ли выявленные IP-адреса в диапазоны сторонних хостинг-провайдеров, например, Amazon, Azure и т.д. | Внутренний модуль |
| Host.io | Получить информацию о доменных именах из host.io. | API с тарифной сеткой |
| Экстрактор имён людей | Попытка выявить имена людей в загруженном контенте. | Внутренний модуль |
| Hunter.io | Проверить наличие адресов электронной почты и имён на hunter.io. | API с тарифной сеткой |
| Hybrid Analysis | Поиск доменов и URL-адресов, связанных с целью, в Hybrid Analysis. | Бесплатный API |
| Экстрактор IBAN | Определить международные номера банковских счетов (IBAN) в любых данных. | Внутренний модуль |
| Iknowwhatyoudownload.com | Проверить iknowwhatyoudownload.com на наличие IP-адресов, использовавших торренты. | API с тарифной сеткой |
| IntelligenceX | Получить информацию из IntelligenceX о выявленных IP-адресах, доменах, адресах электронной почты и номерах телефонов. | API с тарифной сеткой |
| Поисковик интересных файлов | Определить потенциально интересные файлы, например, офисные документы, архивы zip. | Внутренний модуль |
| Internet Storm Center | Проверить, является ли IP-адрес вредоносным согласно данным SANS ISC. | Бесплатный API |
| ipapi.co | Запросить ipapi.co для определения геолокации IP-адресов через API ipapi.co | API с тарифной сеткой |
| ipapi.com | Запросить ipapi.com для определения геолокации IP-адресов через API ipapi.com | API с тарифной сеткой |
| IPInfo.io | Определить физическое местоположение выявленных IP-адресов с помощью ipinfo.io. | API с тарифной сеткой |
| IPQualityScore | Определить, является ли цель вредоносной, используя API IPQualityScore | API с тарифной сеткой |
| ipregistry | Запросить базу данных ipregistry.co для получения информации о репутации и геолокации. | API с тарифной сеткой |
| ipstack | Определить физическое местоположение выявленных IP-адресов с помощью ipstack.com. | API с тарифной сеткой |
| JsonWHOIS.com | Поиск записей WHOIS, связанных с доменом, на JsonWHOIS.com. | API с тарифной сеткой |
| Поисковик мусорных файлов | Поиск старых/временных и других подобных файлов. | Внутренний модуль |
| Keybase | Получить дополнительную информацию о доменных именах и выявленных именах пользователей. | Бесплатный API |
| Koodous | Поиск мобильных приложений в Koodous. | API с тарифной сеткой |
| LeakIX | Поиск утечек данных хостов, открытых портов, программного обеспечения и геоданных в LeakIX. | Бесплатный API |
| Leak-Lookup | Поиск в базе данных утечек Leak-Lookup.com. | Бесплатный API |
| Maltiverse | Получить информацию о любых вредоносных действиях, связанных с IP-адресами | Бесплатный API |
| MalwarePatrol | Поиск в базе данных вредоносных URL/IP-адресов malwarepatrol.net. | API с тарифной сеткой |
| MetaDefender | Поиск репутации IP-адреса и домена в API MetaDefender. | API с тарифной сеткой |
| Mnemonic PassiveDNS | Получить информацию Passive DNS с PassiveDNS.mnemonic.no. | Бесплатный API |
| multiproxy.org Open Proxies | Проверить, является ли IP-адрес открытым прокси согласно списку multiproxy.org. | Бесплатный API |
| MySpace | Собрать имя пользователя и местоположение из профилей MySpace.com. | Бесплатный API |
| NameAPI | Проверить, является ли адрес электронной почты одноразовым | API с тарифной сеткой |
| NetworksDB | Поиск информации об IP-адресе и домене в API NetworksDB.io. | API с тарифной сеткой |
| NeutrinoAPI | Поиск информации о местоположении телефона, информации об IP-адресе и репутации хоста в NeutrinoAPI. | API с тарифной сеткой |
| numverify | Получить информацию о местоположении и операторе номера телефона из numverify.com. | API с тарифной сеткой |
| Onion.link | Поиск упоминаний целевого домена в поисковике Tor 'Onion City' с помощью Google Custom Search. | Бесплатный API |
| Onionsearchengine.com | Поиск упоминаний целевого домена в onionsearchengine.com (Tor). | Бесплатный API |
| Onyphe | Проверить данные Onyphe (список угроз, геолокация, уязвимости) о данном IP-адресе. | API с тарифной сеткой |
| Open Bug Bounty | Проверить внешний сервис сканирования/сообщения об уязвимостях openbugbounty.org, указан ли там цель. | Бесплатный API |
| OpenCorporates | Поиск информации о компаниях в OpenCorporates. | API с тарифной сеткой |
| OpenDNS | Проверить, будет ли хост заблокирован OpenDNS. | Бесплатный API |
| OpenNIC DNS | Разрешение имен хостов в альтернативной системе DNS OpenNIC. | Бесплатный API |
| OpenPhish | Проверить, является ли хост/домен вредоносным согласно данным OpenPhish.com. | Бесплатный API |
| OpenStreetMap | Получение координат широты/долготы для физических адресов из API OpenStreetMap. | Бесплатный API |
| Информация о странице | Получить информацию о веб-страницах (требуют ли они паролей, содержат ли они формы и т.д.) | Внутренний модуль |
| PasteBin | Поиск в PasteBin (через Google Search API) для выявления связанного контента. | API с тарифной сеткой |
| Серверы открытых ключей PGP | Поиск доменов и адресов электронной почты на серверах открытых ключей PGP. | Внутренний модуль |
| PhishStats | Проверить, является ли сетевой блок или IP-адрес вредоносным согласно данным PhishStats. | Бесплатный API |
| PhishTank | Проверить, является ли хост/домен вредоносным согласно данным PhishTank. | Бесплатный API |
| Экстрактор номеров телефонов | Определить номера телефонов в загруженных веб-страницах. | Внутренний модуль |
| Сканер портов - TCP | Сканирование commonly открытых TCP-портов на системах с доступом из Интернета. | Внутренний модуль |
| Project Honey Pot | Запросить базу данных Project Honey Pot для IP-адресов. | Бесплатный API |
| ProjectDiscovery Chaos | Поиск хостов/поддоменов с помощью chaos.projectdiscovery.io | Коммерческий API |
| Psbdmp | Проверить psbdmp.cc (PasteBin Dump) на наличие потенциально взломанных адресов электронной почты и доменов. | Бесплатный API |
| Pulsedive | Получить информацию из API Pulsedive. | API с тарифной сеткой |
| PunkSpider | Проверить сервис QOMPLX punkspider.io, указана ли цель как уязвимая. | Бесплатный API |
| Quad9 | Проверить, будет ли хост заблокирован Quad9 DNS. | Бесплатный API |
| ReverseWhois | Обратный поиск Whois с помощью reversewhois.io. | Бесплатный API |
| RIPE | Запросить реестр RIPE (включая данные ARIN) для определения сетевых блоков и другой информации. | Бесплатный API |
| RiskIQ | Получить информацию из баз данных Passive DNS и Passive SSL от RiskIQ (ранее PassiveTotal). | API с тарифной сеткой |
| Robtex | Поиск хостов, использующих тот же IP-адрес, в Robtex.com. | Бесплатный API |
| searchcode | Поиск в searchcode репозиториев кода, упоминающих целевой домен. | Бесплатный API |
| SecurityTrails | Получить Passive DNS и другую информацию из SecurityTrails | API с тарифной сеткой |
| Seon | Запросить seon.io для сбора разведывательных данных об IP-адресах, адресах электронной почты и номерах телефонов | Коммерческий API |
| SHODAN | Получить информацию из SHODAN о выявленных IP-адресах. | API с тарифной сеткой |
| Поисковик похожих доменов | Поиск по различным источникам для выявления похожих доменных имен, например, доменов типа сквоттинга. | Внутренний модуль |
| Skymem | Поиск адресов электронной почты в Skymem. | Бесплатный API |
| SlideShare | Собрать имя и местоположение из профилей SlideShare. | Бесплатный API |
| Snov | Собрать доступные ID электронной почты из выявленных доменов | API с тарифной сеткой |
| Social Links | Запросить SocialLinks.io для сбора разведывательных данных из социальных платформ и даркнета. | Коммерческий API |
| Поисковик профилей в социальных сетях | Попытка обнаружить профили в социальных сетях для выявленных имен людей. | API с тарифной сеткой |
| Идентификатор социальных сетей | Определить присутствие в социальных сетях, таких как LinkedIn, Twitter и другие. | Внутренний модуль |
| SORBS | Запросить базу данных SORBS на наличие открытых ретрансляторов, открытых прокси, уязвимых серверов и т.д. | Бесплатный API |
| SpamCop | Проверить, находится ли сетевой блок или IP-адрес в базе данных SpamCop. | Бесплатный API |
| Spamhaus Zen | Проверить, находится ли сетевой блок или IP-адрес в базе данных Spamhaus Zen. | Бесплатный API |
| spur.us | Получить информацию о любых вредоносных действиях, связанных с обнаруженными IP-адресами | Коммерческий API |
| SpyOnWeb | Поиск хостов, использующих тот же IP-адрес, код Google Analytics или код Google Adsense, в SpyOnWeb. | API с тарифной сеткой |
| Анализатор SSL-сертификатов | Собрать информацию об SSL-сертификатах, используемых HTTPS-сайтами цели. | Внутренний модуль |
| StackOverflow | Поиск любых упоминаний целевого домена на StackOverflow. Возвращает потенциально связанную информацию. | API с тарифной сеткой |
| Steven Black Hosts | Проверить, является ли домен вредоносным (вредоносное или рекламное ПО) согласно списку Steven Black Hosts. | Бесплатный API |
| Странное определение заголовка | Получение нестандартных HTTP-заголовков, возвращаемых веб-серверами. | Встроенное |
| Проверка перехвата поддомена | Проверка уязвимости affiliated поддоменов для перехвата. | Встроенное |
| Sublist3r PassiveDNS | Пассивное перечисление поддоменов с использованием API Sublist3r | Бесплатный API |
| SURBL | Проверка блока сетей, IP-адреса или домена на наличие в черном списке SURBL. | Бесплатный API |
| Talos Intelligence | Проверка, является ли блок сетей или IP-адрес вредоносным согласно TalosIntelligence. | Бесплатный API |
| TextMagic | Получение типа номера телефона из API TextMagic | API с уровнями доступа |
| Threat Jammer | Проверка, является ли IP-адрес вредоносным согласно ThreatJammer.com | API с уровнями доступа |
| ThreatCrowd | Получение информации из ThreatCrowd о выявленных IP-адресах, доменах и электронных почтах. | Бесплатный API |
| ThreatFox | Проверка, является ли IP-адрес вредоносным согласно ThreatFox. | Бесплатный API |
| ThreatMiner | Получение информации из базы данных ThreatMiner для пассивного DNS и разведки угроз. | Бесплатный API |
| Поисковик TLD | Поиск всех доменов верхнего уровня (TLD) интернета с именами, совпадающими с целью (это может быть очень медленно). | Встроенное |
| Инструмент - CMSeeK | Определение используемой системы управления контентом (CMS). | Инструмент |
| Инструмент - DNSTwist | Определение доменов, похожих на целевой (в т.ч. для атак типы "бит-квотинг" и "опечатки") с помощью локальной установки DNSTwist. | Инструмент |
| Инструмент - nbtscan | Сканирование сети цели на наличие открытых серверов имён NETBIOS. | Инструмент |
| Инструмент - Nmap | Определение используемой операционной системы. | Инструмент |
| Инструмент - Nuclei | Быстрый и настраиваемый сканер уязвимостей. | Инструмент |
| Инструмент - onesixtyone | Быстрый сканер для обнаружения публично доступных служб SNMP. | Инструмент |
| Инструмент - Retire.js | Сканер, обнаруживающий использование библиотек JavaScript с известными уязвимостями. | Инструмент |
| Инструмент - snallygaster | Поиск утечек файлов и других проблем безопасности на HTTP-серверах. | Инструмент |
| Инструмент - testssl.sh | Определение различных уязвимостей TLS/SSL, включая Heartbleed, CRIME и ROBOT. | Инструмент |
| Инструмент - TruffleHog | Поиск строк с высокой энтропией и секретов в git-репозиториях, с глубоким анализом истории коммитов. | Инструмент |
| Инструмент - WAFW00F | Определение используемого на указанном веб-сайте файрвола приложений (WAF). | Инструмент |
| Инструмент - Wappalyzer | Wappalyzer определяет технологии, используемые на веб-сайтах. | Инструмент |
| Инструмент - WhatWeb | Определение используемого на указанном веб-сайте программного обеспечения. | Инструмент |
| Узлы выхода TOR | Проверка, включены ли IP-адрес или блок сетей в список узлов выхода Tor Metrics. | Бесплатный API |
| TORCH | Поиск упоминаний целевого домена в поисковой системе Tor «TORCH». | Бесплатный API |
| Trashpanda | Запрос к Trashpanda для сбора разведывательных данных об упоминаниях цели на сайтах паст. | API с уровнями доступа |
| Trumail | Проверка, является ли электронная почта одноразовой | Бесплатный API |
| Twilio | Получение информации о номерах телефонов из Twilio. Убедитесь, что в Twilio установлен дополнительный модуль «Caller Name». | API с уровнями доступа |
| Сбор имени и местоположения из профилей Twitter. | Бесплатный API | |
| UCEPROTECT | Проверка, находится ли блок сетей или IP-адрес в базе данных UCEPROTECT. | Бесплатный API |
| URLScan.io | Поиск информации о домене в кэше URLScan.io. | Бесплатный API |
| Venmo | Сбор информации о пользователях из API Venmo. | Бесплатный API |
| ViewDNS.info | Определение websites, размещенных на одном сервере, и выполнение обратного Whois-поиска с помощью ViewDNS.info. | API с уровнями доступа |
| VirusTotal | Получение информации о выявленных IP-адресах из VirusTotal. | API с уровнями доступа |
| Черный список VoIP (VoIPBL) | Проверка, является ли IP-адрес или блок сетей вредоносным согласно Черному списку VoIP (VoIPBL). | Бесплатный API |
| VXVault.net | Проверка, является ли домен или IP-адрес вредоносным согласно VXVault.net. | Бесплатный API |
| Извлекатель веб-аналитики | Определение идентификаторов веб-аналитики в скачанных веб-страницах и TXT-записях DNS. | Встроенное |
| Определитель веб-фреймворков | Определение использования популярных веб-фреймворков, таких как jQuery, YUI и другие. | Встроенное |
| Определитель веб-сервера | Получение баннеров веб-серверов для определения их используемых версий. | Встроенное |
| Веб-паук | Обход веб-страниц для извлечения контента для поиска. | Встроенное |
| WhatCMS | Проверка веб-технологий с использованием API WhatCMS.org. | API с уровнями доступа |
| Whoisology | Обратный Whois-поиск с помощью Whoisology.com. | Коммерческий API |
| Whois | Выполнение запроса WHOIS для доменных имен и принадлежащих блоков сетей. | Встроенное |
| Whoxy | Обратный Whois-поиск с помощью Whoxy.com. | Коммерческий API |
| WiGLE | Запрос к WiGLE для определения близлежащих точек доступа WiFi. | Бесплатный API |
| Wikileaks | Поиск упоминаний доменных имен и электронных почт на Wikileaks. | Бесплатный API |
| Правки в Wikipedia | Определение правок в статьи Wikipedia, сделанных с указанного IP-адреса или имени пользователя. | Бесплатный API |
| XForce Exchange | Получение репутации IP и пассивной DNS-информации из IBM X-Force Exchange. | API с уровнями доступа |
| Yandex DNS | Проверка, будет ли хост заблокирован Yandex DNS. | Бесплатный API |
| Zetalytics | Запрос к базе данных Zetalytics для поиска хостов на вашем целевом домене (доменах). | API с уровнями доступа |
| ZoneFile.io | Поиск информации о домене с помощью API запросов доменов ZoneFiles.io. | API с уровнями доступа |
| Проверка Zone-H на взлом | Проверка, появляется ли имя хоста/домена в RSS-ленте «специальных взломов» zone-h.org. | Бесплатный API |
ДОКУМЕНТАЦИЯ
Подробнее читайте на сайте проекта, включая более полную документацию, записи в блоге с уроками/руководствами, а также информацию о SpiderFoot HX.
Последние обновления объявляются в Twitter.