Photon

Невероятно быстрый краулер, разработанный для OSINT.

Вики Photon • Как использовать • Совместимость • Библиотека Photon • Вклад • Дорожная карта

Основные возможности

Извлечение данных

Photon может извлекать следующие данные во время краулинга:

• URL-адреса (внутри и вне области)
• URL-адреса с параметрами (example.com/gallery.php?id=2)
• Разведывательные данные (email-адреса, аккаунты в соцсетях, бакеты Amazon и т.д.)
• Файлы (pdf, png, xml и т.д.)
• Секретные ключи (ключи аутентификации/API и хэши)
• Файлы JavaScript и эндпоинты, присутствующие в них
• Строки, соответствующие пользовательскому шаблону регулярного выражения
• Поддомены и связанная с DNS информация

Извлеченная информация сохраняется в организованном виде или может быть экспортирована в формате json.

Гибкость

Управляйте таймаутами, задержками, добавляйте начальные адреса (seeds), исключайте URL-адреса, соответствующие шаблону регулярного выражения, и многое другое. Широкий набор опций, предоставляемых Photon, позволяет краулить веб именно так, как вы хотите.

Гений

Умное управление потоками и отлаженная логика Photon обеспечивают высочайшую производительность.

Тем не менее, краулинг может быть ресурсоемким, но Photon имеет некоторые хитрости в рукаве. Вы можете получить URL-адреса, архивированные на archive.org, для использования в качестве начальных адресов, опции --wayback.

Плагины

• wayback
• dnsdumpster
• Exporter

Docker

Photon можно запустить, используя легкий Docker-образ на основе Python-Alpine (103 МБ).

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

Чтобы просмотреть результаты, вы можете перейти к локальному объему Docker, который можно найти, выполнив docker inspect photon, или смонтировав целевую папку с данными:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

Частые и бесшовные обновления

Photon находится в активной разработке, и обновления для исправления ошибок, оптимизации производительности и добавления новых функций выпускаются регулярно.

Если вы хотите видеть, над какими функциями и проблемами ведется работа, вы можете сделать это на доске проекта Разработка.

Обновления могут быть установлены и проверены с помощью опции --update. Photon обладает возможностями бесшовного обновления, что означает, что вы можете обновить Photon без потери каких-либо сохраненных вами данных. Используйте Control + Shift + m, чтобы переключить перемещение фокуса клавишей Tab. Альтернативно используйте esc, а затем tab для перехода к следующему интерактивному элементу на странице. Прикрепляйте файлы путем перетаскивания, выбора или вставки. (https://www.thordata.com/?ls=github&lk=Photon)

Вики Photon • Как использовать • Совместимость • Библиотека Photon • Вклад • Дорожная карта

Основные возможности

Извлечение данных

Photon может извлекать следующие данные во время краулинга:

• URL-адреса (внутри и вне области)
• URL-адреса с параметрами (example.com/gallery.php?id=2)
• Разведывательные данные (email-адреса, аккаунты в соцсетях, бакеты Amazon и т.д.)
• Файлы (pdf, png, xml и т.д.)
• Секретные ключи (ключи аутентификации/API и хэши)
• Файлы JavaScript и эндпоинты, присутствующие в них
• Строки, соответствующие пользовательскому шаблону регулярного выражения
• Поддомены и связанная с DNS информация

Извлеченная информация сохраняется в организованном виде или может быть экспортирована в формате json.

Гибкость

Управляйте таймаутами, задержками, добавляйте начальные адреса (seeds), исключайте URL-адреса, соответствующие шаблону регулярного выражения, и многое другое. Широкий набор опций, предоставляемых Photon, позволяет краулить веб именно так, как вы хотите.

Гений

Умное управление потоками и отлаженная логика Photon обеспечивают высочайшую производительность.

Тем не менее, краулинг может быть ресурсоемким, но Photon имеет некоторые хитрости в рукаве. Вы можете получить URL-адреса, архивированные на archive.org, для использования в качестве начальных адресов, опции --wayback.

Плагины

• wayback
• dnsdumpster
• Exporter

Docker

Photon можно запустить, используя легкий Docker-образ на основе Python-Alpine (103 МБ).

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

Чтобы просмотреть результаты, вы можете перейти к локальному объему Docker, который можно найти, выполнив docker inspect photon, или смонтировав целевую папку с данными:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

Частые и бесшовные обновления

Photon находится в активной разработке, и обновления для исправления ошибок, оптимизации производительности и добавления новых функций выпускаются регулярно.

Если вы хотите видеть, над какими функциями и проблемами ведется работа, вы можете сделать это на доске проекта Разработка.

Обновления могут быть установлены и проверены с помощью опции --update. Photon обладает возможностями бесшовного обновления, что означает, что вы можете обновить Photon без потери каких-либо сохраненных вами данных.

Вклад и Лицензия

Вы можете внести вклад следующими способами:

• Сообщайте об ошибках
• Разрабатывайте плагины
• Добавляйте больше "API" для режима ниндзя
• Давайте предложения по улучшению
• Исправляйте проблемы и отправляйте pull request

Пожалуйста, прочитайте руководства перед отправкой pull request или проблемы.

Хотите поговорить наедине? Напишите мне в twitter, я открыт для сообщений :)

Photon лицензирован на условиях лицензии GPL v3.0