Магия больших языковых моделей

Магические свойства больших языковых моделей заключаются в их способности достигать сверхчеловеческой производительности в различных областях языковой деятельности, аналогично тому, как AlphaZero достигла невероятного уровня игры в шахматы. Работа Стефано Нолфи, директора по исследованиям Institute of Cognitive Sciences and Technologies в Риме, имеет ключевое значение, так как он исследует возможность LLM достичь сверхчеловеческой производительности в языковой деятельности.

Нолфи предполагает, что способности LLM ограничены набором способностей людей, написавших тексты, на которых они обучались. Однако это не исключает возможности LLM превзойти отдельных людей благодаря их способности обрабатывать огромные объемы информации без потери качества. Нолфи также отмечает, что LLM обладают неожиданными способностями, которые можно назвать магическими, так как они не прямо связаны с задачей предсказания следующих слов в текстах.

LLM отличаются от людей по нескольким аспектам, включая механизм приобретения навыков, степень интеграции различных навыков, цели обучения и наличие собственных ценностей. Они также обладают двумя ключевыми факторами, позволяющими им приобретать навыки косвенным образом: информативность ошибки предсказания и предсказуемость человеческого языка.