Управление экстремальными рисками ИИ в условиях быстрого прогресса
Мы точно не знаем, как будет развиваться будущее ИИ. Тем не менее, мы должны серьезно отнестись к возможности того, что очень мощные AGI, которые превосходят человеческие способности во многих критически важных областях, будут разработаны в течение этого десятилетия или следующего.
1. Компании соревнуются в создании универсальных систем искусственного интеллекта (AGI), способных превзойти человеческие когнитивные способности.
2. ИИ-чипы становятся все более экономичными, а алгоритмы обучения ИИ становятся все более эффективными с каждым годом.
3. Прогресс в области ИИ не имеет фундаментальных ограничений на человеческом уровне.
4. ИИ уже превзошел человеческие способности в узких областях, таких как игра в го и прогнозирование сворачивания белков.
5. Существует возможность разработки очень мощных AGI, превосходящих человеческие способности во многих областях, в течение ближайших десятилетий.
6. Использование ИИ может принести человечеству огромные выгоды, но также сопряжено с рисками.
7. Системы ИИ могут усилить социальную несправедливость, подорвать стабильность, способствовать преступности и автоматизированным войнам.
8. Ученые предлагают ряд мер для управления рисками ИИ, включая выделение средств на исследования и обеспечение безопасности, создание национальных и международных институтов для контроля стандартов, а также разработку методов оценки и защиты от угроз ИИ.