Chain-of-Thought Hub: Измерение рассуждательных способностей LLM

) «Фэнтезийный график, изображающий цепочку звёзд в тёмную ночь с голубым небом, цифровое искусство, сверхразрешение». Midjourney V5

Авторы: Yao Fu, Litu Ou, Mingyu Chen, Yuhao Wan, Hao Peng, Tushar Khot, Wenhu Chen

Из Эдинбургского университета, Вашингтонского университета, Института ИИ Аллена, Университета Ватерлоо

[статья] [блог] [twitter]

В последнее время наблюдается множество достижений в области LLM. Многие утверждают, что малая модель размером менее 10 млрд параметров может достичь производительности, сопоставимой с GPT-3.5. Правда ли это?

В разговоре на бытовые темы разница между GPT-3.5 и GPT-4 может быть незаметна. Разница проявляется, когда сложность задачи достигает достаточного порога — GPT-4 более надежен, креативен и способен обрабатывать гораздо более тонкие инструкции, чем GPT-3.5. -- Блог-пост о выходе GPT-4

Ключевым различием является способность модели выполнять сложные задачи, как гласит старая поговорка: «Болтать дёшево, покажи рассуждение». Именно поэтому мы составили список сложных рассуждательных задач, включая математику (GSM8K), науку (MATH, TheoremQA), символику (BBH), знания (MMLU, C-Eval), программирование (HumanEval), фактологию (SummEdits) и задачи с длинным контекстом (RepoBench, Qspr, QALT, BkSS), чтобы измерить производительность моделей на сложных заданиях.

Более того, мы представляем себе, что большие языковые модели станут вычислительной платформой нового поколения и создадут экосистему новых приложений на основе LLM. Когда это произойдет, цепочка рассуждений (chain-of-thought) в инженерии промптов станет системными вызовами и скриптами оболочки следующего поколения.

Достоверность Chain-of-thought Hub основана на очень тщательно отобранных наборах данных и моделях, которые действительно могут помочь в развитии LLM. Результаты и скрипты от Chain-of-thought Hub используются и цитируются ведущими промышленными и академическими организациями в сфере больших языковых моделей. Мы разделили задачи на три категории: основные, экспериментальные и с длинным контекстом. * Основные: стабильные наборы данных, которые постоянно упоминаются в местах, где создаются LLM. * Экспериментальные: наборы данных, которые имеют потенциал для тестирования будущих возможностей LLM. * С длинным контекстом: наборы данных, требующие рассуждений на основе очень длинного контекста — важное направление для будущих LLM.

[Список рассматриваемых наборов данных]

[Призыв к участию]: мы будем рады пригласить участников сообщества: * Отправить PR, чтобы заполнить пропущенные числа в таблице. * Создать issue, чтобы предложить / обсудить новую задачу / тест, измеряющий рассуждение на основе очень длинного контекста. * Создать issue, чтобы предложить / обсудить новую задачу / тест, измеряющий сложные вызовы API и использование инструментов. * Создать issue, чтобы предложить другие хорошие задачи / тесты, которые могут четко разграничить производительность моделей. * Создать issue, чтобы предложить новую модель, которую можно добавить в таблицу.

[ОБНОВЛЕНИЕ 20231210]: * Добавлены Gemini, Yi-34B, DeepSeek 67B * Обновлен раздел длинного контекста -- в этом разделе будет больше обновлений * Предварительные результаты модели Mistral 7B8E (MoE)

Mistral 7B 8E примерно сопоставим с Yi34B / LLaMA2 70B / DeepSeek 67B

[ОБНОВЛЕНИЕ 20230620]: * Разделены основные (стабильные наборы данных, которые постоянно упоминаются в местах, где создаются LLM) и экспериментальные (наборы данных, которые имеют потенциал для тестирования будущих возможностей LLM) таблицы лидеров. * Добавлен раздел с длинным контекстом (экспериментальный)

[Предыдущие обновления]

[ОБНОВЛЕНИЕ 20230609]: Добавлены скрипты оценки для MMLU для LLaMA и Falcon

[ОБНОВЛЕНИЕ 20230601]: Добавлен SummEdits

[ОБНОВЛЕНИЕ 20230527]: Добавлены TheoremQA, Vicuna, Alpaca, InstructCodeT5.

Таблица лидеров - Основная

Мы называем эти наборы данных "основными", поскольку они довольно стабильны и широко используются при разработке больших языковых моделей в ведущих организациях. Base означает чекпоинт предобучения. SIFT означает чекпоинт после контролируемого дообучения на инструкциях. RLHF означает чекпоинт после обучения с подкреплением на основе человеческой обратной связи. Числа, помеченные звездочкой *, получены из наших собственных запусков, в остальных случаях они взяты из различных источников, которые мы объясним ниже. Все методы измеряются по точности (accuracy), чем выше, тем лучше.

Таблица лидеров - Экспериментальная: Длинный контекст

• TODO: RepoBench: бенчмаркинг систем автодополнения кода на уровне репозитория
• Числа для Qspr, QALT и BkSS взяты из zero-scrolls
• Почему мы выбрали эти наборы данных? См. подробную документацию)

Чем это отличается от других важных оценок?

• HeLM использует промптинг с ответом только, мы используем пошаговый вывод (chain-of-thought)
• HeLM оценивает всё. Мы сосредоточены на сложном рассуждении — ключевом различителе способностей LLM.
• Open LLM Leaderboard оценивает модели с открытым исходным кодом. Мы рассматриваем большинство ведущих моделей.
• В настоящее время производительность LLaMA 65B на Open LLM Leaderboard составляет всего 48.8, что значительно ниже 63.4, заявленных в статье. Это вызывает сомнения в сравнении между LLaMA и Falcon.
• В нашем воспроизведении мы получили 61.4, используя официальный промпт MMLU + жадное декодирование + fp16. Наши результаты подтверждают оригинальные данные LLaMA и вызывают сомнения в результатах Open LLM Leaderboard.
• Наш скрипт оценки довольно прост, большинство параметров установлены по умолчанию, без сложного инжиниринга промптов. Мы приглашаем сообщество попробовать наши скрипты и воспроизвести наши результаты.
• По словам Nathan Lambert, HuggingFace в настоящее время обновляет бэкенд Open LLM Leaderboard, и результаты могут измениться (10 июня 2023).
• Chatbot Arena оценивает модели чат-ботов, что более ориентировано на пользователя при развертывании. Наша оценка более ориентирована на разработчиков, и мы рассматриваем не только чат-боты, но и базовые модели.

Как ранжируются модели

• Если нам известен масштаб модели, мы ранжируем её по масштабу.
• Если масштаб модели неизвестен, мы ранжируем её по GSM8K, классическому бенчмарку, измеряющему производительность математических рассуждений пошагового вывода.
• Это определенно не единственная метрика, но хорошей интерпретацией является "насколько хорошо модель умеет решать математические задачи, сохраняя при этом другие общие способности" — что тоже очень сложно.
• GPT-4 уже был предобучен на тренировочной выборке GSM8k, другие могли не быть. Поэтому для GPT-4 его производительность на GSM8k является обобщением внутри распределения (in-distribution), в то время как для других — обобщением вне распределения (out-of-distribution). Тем не менее, даже для FlanT5, которая тоже обучалась на GSM8k, все равно наблюдается разница в производительности.
• В целом, строгое сравнение производительности моделей очень сложно из-за множества факторов (обучались ли они на соответствующей тренировочной выборке, обучались ли на коде, оптимизировали ли промпт и т.д.). Рассматривайте наши результаты как приблизительную справку.

Источник цифр

• GPT-4 с его сайта и Bubeck et al., март 2023. Обратите внимание, что версия, которую использует Bubeck, — это GPT-4 Early, которая предположительно мощнее, чем GPT-4 Launch (OpenAI заплатила большой «налог за выравнивание» чтобы сделать GPT-4 безопаснее).
• *-davinci-00* и *PaLM взяты из приложения к статье Flan-PaLM.
• code-davinci-002 — это базовая модель семейства GPT-3.5, но, к сожалению, к ней больше нет доступа.
• LLaMA из статьи LLaMA. ~~Обратите внимание, что промпт для LLaMA, использованный в этих задачах, не был опубликован, поэтому результаты воспроизведения могут отличаться, обсуждение см. в этой ветке Twitter.~~
• ~~Мы выполняем собственную реализацию LLaMA на MMLU и BBH. Следите за обновлениями.~~
• Мы воспроизвели LLaMA на MMLU, используя официальные промпты MMLU и функцию генерации HuggingFace Transformers по умолчанию, и наши результаты очень хорошо совпадают с официальными числами. Подробности см. здесь).
• Результаты Falcon на MMLU взяты из нашего собственного скрипта здесь).
• PaLM-2 из их технического отчета.
• Claude из нашего собственного тестового скрипта, информацию о том, как его запустить, см. ниже.
• Результаты HumanEval для моделей LLaMA, PaLM и StarCoder взяты из отчета HuggingFace. Производительность Code-davinci-002 на HumanEval взята из статьи CodeT5+.
• C-Eval с их сайта.
• TheoremQA из их github.
• SummEdits из их github и статьи.
• Секция с длинным контекстом взята из статьи zero-scrolls и таблицы лидеров.
• Производительность Vicuna на MMLU взята из Chatbot Arena.

Текущие результаты

• GPT-4 явно превосходит все остальные модели на GSM8K и MMLU.
• **Модель LLaMA на 65B параметров очень близка к text/code-davinci-002, что означает, что на её основе, при правильном проведении SFT и RLHF, очень вероятно, что мы сможем воспроизвести ChatGPT на базе 65B LLaMA.**
• Claude — единственное семейство моделей, которое можно сравнить с семейством GPT.
• На GSM8K gpt-3.5-turbo превосходит text-davinci-003. Это подтверждает примечания OpenAI от 30 января 2023 года об «улучшенных математических возможностях».
• На MMLU gpt-3.5-turbo немного лучше, чем text-davinci-003. Однако такой уровень отклонения НЕ СТАТИСТИЧЕСКИ ЗНАЧИМ.
• Также помните, что gpt-3.5-turbo стоит в 10 раз дешевле, чем text-davinci-003.
• Также имейте в виду, что производительность GPT-4/ 3.5 на GSM8K — это не настоящий few-shot — в отчете по GPT-4 они заявили, что смешали часть обучающего набора GSM8K для обучения модели.
• Производительность LLaMA на MMLU взята из их статьи и, вероятно, получена не с использованием CoT, а AO. В целом на MMLU AO лучше, чем CoT, но лишь немного лучше. Поэтому цифры LLaMA по MMLU могут быть немного завышены.

Визуализация

) * Существует явный разрыв между открытыми и закрытыми моделями. * Большинство лучших моделей прошли RLHF. * LLaMA 65B очень близка к code-davinci-002. * Имеющиеся результаты сильно указывают на то, что если RLHF будет правильно проведен на LLaMA, то она может оказаться близка к ChatGPT-3.5.

Больше о задачах

• GSM8K: 8k задач начальной школы по математике. -- Улучшение показателей на этом наборе данных напрямую транслируется в способность при взаимодействии с LLM в повседневной математике.
• MMLU: 15k задач по 57 предметам, школьные и университетские знания.
• MATH (Сложно!): 12k задач в 7 категориях, очень сложная математика и естественные науки. Все текущие модели с трудом справляются.
• BBH: 6.5k задач в 23 подмножествах, символьное и текстовое рассуждение.
• HumanEval: классический рукописный набор данных из 164 задач на Python для оценки способности к программированию.
• C-Eval: набор из 13k вопросов с выбором ответа, охватывающих 52 дисциплины теста знаний на китайском языке.
• TheoremQA (Сложно!): 800 пар вопрос-ответ, охватывающих 350+ теорем из математики, электротехники и информатики, физики и финансов.
• SummEdits: 6.3k задач на фактическую согласованность рассуждений в 10 областях.

Запуск

MMLU

cd MMLU
mkdir outputs
API_KEY=<ваш_api_ключ>
# GPT-3.5-Turbo
python run_mmlu_gpt_3.5_turbo.py --api_key=${API_KEY}
# Claude-v1.3
python run_mmlu_claude.py --api_key=${API_KEY} --engine=claude-v1.3

# LLaMA
LLAMA_CKPT_DIR=<путь_к_проверочным_точкам_модели>
PARAM_SIZE=65 # 7, 13, 33, 65
MODEL_TYPE=llama # ["llama", "falcon"] 
python run_mmlu_open_source.py --ckpt_dir ${LLAMA_CKPT_DIR} --param_size ${PARAM_SIZE} --model_type ${MODEL_TYPE}

GSM8k

cd gsm8k 
mkdir outputs

# запустить gpt-3.5
# codex_gsm8k_complex.ipynb         -- code-davinci-002 + сложный промпт
# gpt3.5turbo_gsm8k_complex.ipynb   -- gpt-3.5-turbo + сложный промпт

# запустить claude
python run_gsm8k_claude.py\
  --anthropic_key=${API_KEY}\
  --prompt_file=lib_prompt/prompt_original.txt\
  --engine=claude-v1.3\
  --output_file=outputs/gsm8k_claude_v1.3_original_test.txt

# запустить FlanT5
# flan_t5_11b_gsm8k.ipynb

BBH

cd BBH
mkdir outputs
# затем запустите jupyter notebook, чтобы увидеть пример набора данных penguins
cd penguins
# gpt3.5trubo_penguins_original.ipynb

# Или запустите скрипт для всех наборов данных
API_KEY=<ваш_api_ключ>
TASK=<all | multiple_choice | free_form>
python run_bbh_gpt_3.5_turbo.py --api_key=${API_KEY} --task=${TASK} # task=all по умолчанию
python run_bbh_claude_v1.3.py --api_key=${API_KEY} --model_index=claude-v1.3 --task=${TASK} # task=all по умолчанию

Часто задаваемые вопросы (FAQ)

• Чувствительность результатов к промптам очень высока.
• К сожалению, это характерная черта LLM. Мы ведем работу по стандартизации промптов (см. начальный прогресс здесь) и обновим информацию по мере продвижения.
• Какие промпты используются в статье о complexity-based prompting?
• Смотрите research/complexity_based_prompting/.
• Я хочу попробовать какую-нибудь открытую модель.
• Смотрите gsm8k/flan_t5_11b_gsm8k.ipynb для начала.
• В некоторых промптах есть неправильные ответы.
• Да, но мы оставляем их как есть, поскольку они использовались в оригинальных статьях.
• В целом модели могут быть устойчивы к возмущениям в промпте: даже если иногда в промпте есть ошибки, при условии, что формат промпта соответствует соответствующей задаче, модель, как правило, смотрит только на формат, игнорирует ошибку в промпте и делает собственный прогноз.
• Подробнее о том, как модель может игнорировать ошибки в промпте, смотрите https://arxiv.org/abs/2202.12837 и https://arxiv.org/abs/2212.10001.

Я хочу узнать больше о создании LLM для задач рассуждения

Подробная дорожная карта обсуждается в нашем предыдущем блог-посте.

В общем, рецепт создания моделей с сильными способностями к рассуждению тот же, что и для универсальных LLM: предобучение, дообучение (fine-tuning), обучение с подкреплением. Здесь мы приводим список некоторых очень важных статей, которые следует рассмотреть:

Предобучение/ Дополнительное обучение

• Lewkowycz и др., 2022. Minerva: Решение задач количественного рассуждения с помощью языковых моделей
• Taylor и др., 2022. Galactica: Большая языковая модель для науки

Дообучение (Fine-tuning)

• Chung и др., 2022. Масштабирование дообученных на инструкциях языковых моделей
• Li и др., 2022. Генерация кода уровня соревнований с помощью AlphaCode
• Fu и др., 2023. Специализация меньших языковых моделей для многоэтапного рассуждения

Обучение с подкреплением (Reinforcement Learning)

• Uesato и др., 2022. Решение задач с математическим текстом с помощью обратной связи на основе процесса и результата
• Le и др., 2022. CodeRL: Овладение генерацией кода через предобученные модели и глубокое обучение с подкреплением
• Lightman и др., 2023. Давайте проверим пошагово

В разработке

• Библиотека стандартных промптов CotHub)
• TODO)
• Литература)
• Подробные результаты)
• Раздел с экспериментами и длинный контекст

Японский (Japanese)

Информация об этом проекте предоставлена.