theHarvester

Описание

theHarvester — это простой в использовании, но мощный инструмент, предназначенный для этапа разведки в рамках оценки красной команды или тестирования на проникновение. Он выполняет сбор открытой разведывательной информации (OSINT), чтобы помочь определить внешний ландшафт угроз домена. Инструмент собирает имена, электронные почты, IP-адреса, поддомены и URL-адреса, используя множество публичных ресурсов, включая:

Версии пакетов

Установка и зависимости

• Python 3.12 или выше.
• https://github.com/laramies/theHarvester/wiki/Installation

Установите uv: bash curl -LsSf https://astral.sh/uv/install.sh | sh

Клонируйте репозиторий: bash git clone https://github.com/laramies/theHarvester cd theHarvester

Установите зависимости и создайте виртуальное окружение: bash uv sync

Запустите theHarvester: bash uv run theHarvester

Разработка

Для установки зависимостей для разработки:

uv sync --all-groups

Для запуска тестов:

uv run pytest

Для проверки стиля и форматирования:

uv run ruff check

uv run ruff format

Для защиты необязательных REST API маршрутов /additional/* установите переменную окружения THEHARVESTER_API_KEY и передайте то же значение в заголовке X-API-Key. Эти маршруты возвращают 503, если ключ не настроен.

Пассивные модули

• baidu: Поисковая система Baidu (https://www.baidu.com)

• bevigil: CloudSEK BeVigil сканирует мобильные приложения для поиска OSINT-активов (https://bevigil.com/osint-api)

• brave: Поисковая система Brave - теперь использует официальный Brave Search API (https://api-dashboard.search.brave.com)

• bufferoverun: Быстрый поиск доменных имён по сертификатам TLS в пространстве IPv4 (https://tls.bufferover.run)

• builtwith: Узнайте, на чём построены веб-сайты (https://builtwith.com)

• censys: Использует поиск сертификатов для перечисления поддоменов и сбора электронной почты (https://censys.io)

• certspotter: Cert Spotter отслеживает журналы прозрачности сертификатов (https://sslmate.com/certspotter)

• criminalip: Специализированная поисковая система киберугроз (CTI) (https://www.criminalip.io)

• crtsh: Поиск сертификатов Comodo (https://crt.sh)

• dehashed: Поднимите безопасность ваших данных на новый уровень (https://dehashed.com)

• dnsdumpster: Инструмент для исследования доменов, который может обнаружить хосты, связанные с доменом (https://dnsdumpster.com)

• duckduckgo: Поисковая система DuckDuckGo (https://duckduckgo.com)

• dymo: API-верификатор данных Dymo - подтверждает домены, предоставляет предложения об опечатках и сигналы MX/мошенничества (https://dymo.tpeoficial.com)

• fofa: Поисковая система FOFA (https://en.fofa.info)

• fullhunt: Платформа безопасности поверхности атак нового поколения (https://fullhunt.io)

• github-code: Поисковая система по коду GitHub (https://www.github.com)

• hackertarget: Онлайн-сканеры уязвимостей и сетевая разведывательная информация для помощи организациям (https://hackertarget.com)

• haveibeenpwned: Проверьте, есть ли ваш адрес электронной почты в утечке данных (https://haveibeenpwned.com)

• hunter: Поисковая система Hunter (https://hunter.io)

• hunterhow: Поисковые системы интернета для исследователей безопасности (https://hunter.how)

• intelx: Поисковая система Intelx (https://intelx.io)

• leakix: Поисковая система LeakIX (https://leakix.net)

• leaklookup: Поисковая система утечек данных (https://leak-lookup.com)

• mojeek: Поисковая система Mojeek (https://www.mojeek.com)

• netlas: Конкурент Shodan или Censys (https://app.netlas.io)

• onyphe: Поисковая система киберобороны (https://www.onyphe.io)

• otx: Открытый обмен угрозами AlienVault (https://otx.alienvault.com)

• pentesttools: Облачный набор инструментов для тестирования на проникновение, сосредоточенный на веб-приложениях и сетевом тестировании (https://pentest-tools.com)

• projecdiscovery: Активно собирает и поддерживает данные об активах в масштабах интернета для улучшения исследований и анализа изменений в DNS для лучшего понимания (https://chaos.projectdiscovery.io)

• rapiddns: Инструмент DNS-запросов, который упрощает запрос поддоменов или сайтов одного IP (https://rapiddns.io)

• rocketreach: Доступ к проверенным в реальном времени личным/профессиональным электронным почтам, номерам телефонов и ссылкам на соцсети (https://rocketreach.co)

• securityscorecard: помогает командам TPRM и SOC обнаруживать, приоритизировать и устранять риски поставщиков во всей экосистеме поставщиков в масштабе (https://securityscorecard.com)

• securityTrails: Поисковая система Security Trails, крупнейшее в мире хранилище исторических данных DNS (https://securitytrails.com)

• sherlockeye: Обратный поиск и OSINT на основе ИИ (https://sherlockeye.io)

• -s, --shodan: Поисковая система Shodan будет искать порты и баннеры на обнаруженных хостах (https://shodan.io)

• subdomaincenter: Инструмент для поиска поддоменов, используемый для поиска поддоменов указанного домена (https://www.subdomain.center)

• subdomainfinderc99: Инструмент для поиска поддоменов, используемый для поиска поддоменов указанного домена (https://subdomainfinder.c99.nl)

• thc: Бесплатный сервис перечисления поддоменов, не требующий API-ключа (https://ip.thc.org)

• threatminer: Добыча данных для разведки угроз (https://www.threatminer.org)

• tomba: Поисковая система Tomba (https://tomba.io)

• urlscan: Песочница для веба, которая сканирует URL-адреса и сайты (https://urlscan.io)

• venacus: Поисковая система Venacus (https://venacus.com)

• virustotal: Поиск по доменам (https://www.virustotal.com)

• whoisxml: Поиск поддоменов (https://subdomains.whoisxmlapi.com/api/pricing)

• yahoo: Поисковая система Yahoo (https://www.yahoo.com)

• windvane: Поисковая система Windvane (https://windvane.lichoin.com)

• zoomeye: Китайская версия Shodan (https://www.zoomeye.org)

Активные модули

• Брутфорс по словарю DNS: Перечисление методом подбора по словарю
• Скриншоты: Делает снимки экрана найденных поддоменов

Модули, требующие API-ключ

Документация по настройке API-ключей доступна по адресу - https://github.com/laramies/theHarvester/wiki/Installation#api-keys

• bevigil - 50 бесплатных запросов в месяц. 1000 запросов в месяц за $50
• brave - доступен бесплатный план. Про-планы для более высоких лимитов
• bufferoverun - 100 бесплатных запросов в месяц. 10 000 в месяц за $25
• builtwith - 50 бесплатных запросов навсегда. $2950/год
• censys - 500 кредитов за $100
• criminalip - 100 бесплатных запросов в месяц. 700 000 в месяц за $59
• dehashed - 500 кредитов за $15, 5000 кредитов за $150
• dnsdumpster - 50 бесплатных запросов в день, $49
• dymo - доступен бесплатный уровень, платные планы для более высоких лимитов
• fofa - 10 000 кредитов на запросы в месяц. 100 000 результатов в месяц за $25
• fullhunt - 50 бесплатных запросов. 200 запросов за $29/месяц, 500 запросов за $59
• github-code
• haveibeenpwned - 10 поисков электронной почты в минуту за $4.50, 50 поисков электронной почты в минуту за $22
• hunter - 50 бесплатных кредитов в месяц. 12 000 кредитов в год за $34
• hunterhow - 10 000 бесплатных API-результатов каждые 30 дней. 50 000 API-результатов каждые 30 дней за $10
• intelx - бесплатный аккаунт очень ограничен. Бизнес-аккаунт за $2900
• leakix - бесплатно 25 страниц результатов, 3000 API-запросов в месяц. Bounty Hunter за $29
• leaklookup - 20 кредитов за $10, 50 кредитов за $20, 140 кредитов за $50, 300 кредитов за $100
• mojeek - 5000 бесплатных кредитов за $6.50, $1.30 CPM (Personal), $2.60 CPM (Startup), $3.90 CPM (Business)
• netlas - 50 бесплатных запросов в день. 1000 запросов за $49, 10 000 запросов за $249
• onyphe - 10 000 000 результатов в месяц за $587
• pentesttools - 5 активов netsec за $95/месяц, 5 активов webnetsec за $140/месяц
• projecdiscovery - требует рабочую электронную почту. Бесплатные ежемесячные проверки на наличие уязвимостей и обнаружения при регистрации на домен почты, для предприятий $
• rocketreach - 100 поисков электронной почты в месяц за $48, 250 поисков электронной почты в месяц за $108
• securityscorecard - требует рабочую электронную почту
• securityTrails - 50 бесплатных запросов в месяц. 20 000 запросов в месяц за $500
• sherlockeye - Intermediate за $46 месяц, Advanced за $120 месяц. Enterprise доступен.
• shodan - Freelancer за $69 месяц, Small Business за $359 месяц
• tomba - 25 бесплатных поисков в месяц. 1000 поисков в месяц за $39, 5000 поисков в месяц за $89
• venacus - 1 бесплатный поиск в день. 10 поисков в день за $12, 30 поисков в день за $36
• virustotal - 500 бесплатных проверок в день, 15 500 проверок в месяц. Бизнес-аккаунты требуют рабочую электронную почту
• whoisxml - 2000 запросов за $50, 5000 запросов за $105
• windvane - 100 бесплатных запросов
• zoomeye - 5 бесплатных результатов в день. 30 результатов/день за $190/год

Комментарии, ошибки и запросы

• Christian Martorella @laramies cmartorella@edge-security.com
• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1

Основные участники

• Matthew Brown @NotoriousRebel1
• Jay "L1ghtn1ng" Townsend @jay_townsend1
• Lee Baird @discoverscripts

Благодарности

• John Matherly - проект Shodan
• Ahmed Aboul Ela - словари имён поддоменов (большой и малый)