показать оригинал переведено ИИ

Photon

Невероятно быстрый краулер, разработанный для OSINT.

Вики Photon • Как использовать • Совместимость • Библиотека Photon • Вклад • Дорожная карта

Основные возможности

Извлечение данных

Photon может извлекать следующие данные во время краулинга:

URL-адреса (внутри и вне области)
URL-адреса с параметрами (example.com/gallery.php?id=2)
Разведывательные данные (email-адреса, аккаунты в соцсетях, бакеты Amazon и т.д.)
Файлы (pdf, png, xml и т.д.)
Секретные ключи (ключи аутентификации/API и хэши)
Файлы JavaScript и эндпоинты, присутствующие в них
Строки, соответствующие пользовательскому шаблону регулярного выражения
Поддомены и связанная с DNS информация

Извлеченная информация сохраняется в организованном виде или может быть экспортирована в формате json.

save demo

Гибкость

Управляйте таймаутами, задержками, добавляйте начальные адреса (seeds), исключайте URL-адреса, соответствующие шаблону регулярного выражения, и многое другое. Широкий набор опций, предоставляемых Photon, позволяет краулить веб именно так, как вы хотите.

Гений

Умное управление потоками и отлаженная логика Photon обеспечивают высочайшую производительность.

Тем не менее, краулинг может быть ресурсоемким, но Photon имеет некоторые хитрости в рукаве. Вы можете получить URL-адреса, архивированные на archive.org, для использования в качестве начальных адресов, опции --wayback.

Плагины

Docker

Photon можно запустить, используя легкий Docker-образ на основе Python-Alpine (103 МБ).

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

Чтобы просмотреть результаты, вы можете перейти к локальному объему Docker, который можно найти, выполнив docker inspect photon, или смонтировав целевую папку с данными:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

Частые и бесшовные обновления

Photon находится в активной разработке, и обновления для исправления ошибок, оптимизации производительности и добавления новых функций выпускаются регулярно.

Если вы хотите видеть, над какими функциями и проблемами ведется работа, вы можете сделать это на доске проекта Разработка.

Обновления могут быть установлены и проверены с помощью опции --update. Photon обладает возможностями бесшовного обновления, что означает, что вы можете обновить Photon без потери каких-либо сохраненных вами данных. Используйте Control + Shift + m, чтобы переключить перемещение фокуса клавишей Tab. Альтернативно используйте esc, а затем tab для перехода к следующему интерактивному элементу на странице. Прикрепляйте файлы путем перетаскивания, выбора или вставки. (https://www.thordata.com/?ls=github&lk=Photon)

demo