Управление экстремальными рисками ИИ в условиях быстрого прогресса

Мы точно не знаем, как будет развиваться будущее ИИ. Тем не менее, мы должны серьезно отнестись к возможности того, что очень мощные AGI, которые превосходят человеческие способности во многих критически важных областях, будут разработаны в течение этого десятилетия или следующего.

1. Компании соревнуются в создании универсальных систем искусственного интеллекта (AGI), способных превзойти человеческие когнитивные способности.

2. ИИ-чипы становятся все более экономичными, а алгоритмы обучения ИИ становятся все более эффективными с каждым годом.

3. Прогресс в области ИИ не имеет фундаментальных ограничений на человеческом уровне.

4. ИИ уже превзошел человеческие способности в узких областях, таких как игра в го и прогнозирование сворачивания белков.

5. Существует возможность разработки очень мощных AGI, превосходящих человеческие способности во многих областях, в течение ближайших десятилетий.

6. Использование ИИ может принести человечеству огромные выгоды, но также сопряжено с рисками.

7. Системы ИИ могут усилить социальную несправедливость, подорвать стабильность, способствовать преступности и автоматизированным войнам.

8. Ученые предлагают ряд мер для управления рисками ИИ, включая выделение средств на исследования и обеспечение безопасности, создание национальных и международных институтов для контроля стандартов, а также разработку методов оценки и защиты от угроз ИИ.