😺 Agentless

😽 Новости

2 декабря 2024 г.: Мы интегрировали Agentless с Claude 3.5 Sonnet, чтобы достичь 40.7% и 50.8% решаемости на SWE-bench lite и verified
28 октября 2024 г.: Мы только что выпустили OpenAutoCoder-Agentless 1.5!
1 июля 2024 г.: Мы только что выпустили OpenAutoCoder-Agentless 1.0! Agentless в настоящее время является лучшим подходом с открытым исходным кодом на SWE-bench lite с 82 исправлениями (27.3%) и средней стоимостью $0.34 за задачу.

😺 О проекте

Agentless — это без-агентный подход к автоматическому решению задач разработки программного обеспечения. Для решения каждой проблемы Agentless следует простому трехфазному процессу: локализация, исправление и проверка патча. - 🙀 Локализация: Agentless использует иерархический процесс: сначала локализует ошибку в конкретных файлах, затем в соответствующих классах или функциях и, наконец, в точных местах редактирования - 😼 Исправление: Agentless берет места редактирования и генерирует несколько вариантов патчей для каждой ошибки в простом diff-формате - 😸 Проверка патча: Agentless выбирает регрессионные тесты для запуска и генерирует дополнительные тесты воспроизведения для воспроизведения исходной ошибки. Используя результаты тестов, Agentless переранжирует все оставшиеся патчи и выбирает один для отправки

🐈 Установка

Сначала создайте окружение

git clone https://github.com/OpenAutoCoder/Agentless.git
cd Agentless

conda create -n agentless python=3.11 
conda activate agentless
pip install -r requirements.txt
export PYTHONPATH=$PYTHONPATH:$(pwd)

⏬ Настройка разработчика

# for contribution, please install the pre-commit hook.
pre-commit install  # this allows a more standardized code style

Затем экспортируйте ваш OpenAI API ключ

export OPENAI_API_KEY={key_here}

Теперь вы готовы запустить Agentless на задачах SWE-bench!

[!NOTE]

Чтобы воспроизвести полные эксперименты SWE-bench lite и следовать нашей точной настройке, описанной в статье. Пожалуйста, обратитесь к этому README

🧶 Сравнение

Ниже показан график сравнения между Agentless и лучшими подходами на основе агентов с открытым исходным кодом на SWE-bench lite

🐈‍⬛ Артефакты

Вы можете скачать полные артефакты Agentless в нашем релизе v1.5.0: - 🐈‍⬛ agentless_swebench_lite: полный запуск Agentless на SWE-bench Lite - 🐈‍⬛ agentless_swebench_verified: полный запуск Agentless на SWE-bench Verified - 🐈‍⬛ swebench_repo_structure: предобработанная информация о структуре для каждой задачи SWE-Bench

Вы также можете посмотреть папку classification/, чтобы получить наши ручные классификации SWE-bench-lite, а также наши отфильтрованные задачи SWE-bench-lite-S.

📝 Цитирование

@article{agentless,
  author    = {Xia, Chunqiu Steven and Deng, Yinlin and Dunn, Soren and Zhang, Lingming},
  title     = {Agentless: Demystifying LLM-based Software Engineering Agents},
  year      = {2024},
  journal   = {arXiv preprint},
}

[!NOTE]

Первые два автора внесли равный вклад в эту работу, порядок авторов определен с помощью Nigiri

Agentless