Исследователь искусственного интеллекта Франсуа Шолле является соучредителем некоммерческой организации для создания ориентиров для AGI

Бывший инженер Google и влиятельный исследователь искусственного интеллекта Франсуа Шолле является соучредителем некоммерческой организации, чтобы помочь разработать контрольные показатели, которые будут исследовать ИИ для интеллекта «человеческого уровня».

Некоммерческую организацию, ARC Prize Foundation, будет возглавлять Грег Камрадт, бывший инженерный директор Salesforce и основатель студии продуктов AI Leverage. Камрадт будет выступать в качестве президента и члена совета директоров.

"Мы становимся... в надлежащий некоммерческий фонд, который будет выступать в качестве полезной северной звезды для искусственного общего интеллекта", - написал Шолле в посте на веб-сайте некоммерческой организации. (Искусственный общий интеллект - это туманный термин, но он обычно понимается как искусственный интеллект, который может выполнять большинство задач, которые могут выполнять люди.) «Мы пытаемся вдохновить прогресс, способствуя [разрыву] в основных человеческих возможностях».

Призовой фонд ARC расширит ARC-AGI, тест, разработанный Chollet для оценки того, может ли система искусственного интеллекта эффективно приобретать новые навыки за пределами данных, на которые она была обучена. Он состоит из задач, похожих на головоломки, в которых ИИ должен генерировать правильную сетку «ответа» из коллекции квадратов разного цвета. Проблемы были разработаны для того, чтобы заставить ИИ адаптироваться к новым проблемам, которых он раньше не видел.

В 2019 году Чолле представил ARC-AGI, сокращение от «Абстрактный и рассуждения для искусственного общего интеллекта». Многие системы искусственного интеллекта могут сдать экзамены на олимпиаде по математике и найти потенциальные решения проблем уровня доктора философии. Но до этого года самый проэффективный ИИ мог решить чуть менее трети задач в ARC-AGI.

"В отличие от большинства пограничных тестов ИИ, мы не пытаемся измерить риск ИИ с помощью сверхчеловеческих экзаменационных вопросов", - написал Чоллет в посте. «Будущие версии эталона ARC-AGI будут сосредоточены на сокращении разрыва [человеческих возможностей] к нулю».

В июне прошлого года соучредитель Chollet и Zapier Майк Кнуп начал конкурс по созданию искусственного интеллекта, способного побить ARC-AGI. Неизданная модель OpenAI o3 была первой, которая достигла квалификационного балла, но только с необычайным количеством вычислительной мощности.

Шолле ясно дал понять, что у ARC-AGI есть недостатки - многие модели смогли набраться к высоким баллам - и что он не верит, что o3 обладает интеллектом на уровне человека.

"Данные свидетельствуют о том, что предстоящий [преемник теста ARC-AGI] по-прежнему будет представлять значительную проблему для o3, потенциально снижая его оценку до менее чем 30% даже при высоких вычислениях (в то время как умный человек все еще сможет набрать более 95% без обучения)", - сказал Шолле в заявлении в декабре прошлого года. «Вы узнаете, что искусственный общий интеллект здесь, когда выполнение задач, которые легки для обычных людей, но трудны для искусственного интеллекта, становятся просто невозможными».

Кнуп говорит, что планируется запустить тест ARC-AGI второго поколения в этом году вместе с новым конкурентом. Некоммерческая организация также приступит к разработке третьего издания ARC-AGI.

Еще предстоит выяснить, как Фонд премии ARC рассматривает критику, с которой столкнулся Шолле за перепродажу ARC-AGI в качестве эталона для достижения AGI. Само определение AGI сейчас горячо оспаривается; один сотрудник OpenAI недавно заявил, что AGI «уже» достигнута, если определить AGI как «лучше, чем большинство людей в выполнении наибольших задач».

Интересно, что генеральный директор OpenAI Сэм Альтман заявил в декабре, что компания намерена сотрудничать с командой ARC-AGI для создания будущих ориентиров. В сегодняшнем объявлении Chollet не предоставил никаких обновлений о возможном партнерстве.