Компанії-розробники штучного інтелекту, зокрема OpenAI, розробляють нові методи навчання мовних моделей, використовуючи більш "людиноподібний" підхід до обробки даних, повідомляє Reuters.
Дюжина науковців зі сфери ШІ, дослідників та інвесторів повідомили агенції, що ці нові методи, на які спирається нещодавно випущена модель o1 від OpenAI, можуть докорінно змінити “гонку озброєнь” у сфері ШІ і вплинути на типи ресурсів, яких постійно потребують компанії-розробники – від енергії до чипів.
OpenAI відмовилася давати коментарі з цього приводу. Після запуску чат-бота ChatGPT два роки тому технологічні компанії, чия вартість значно зросла завдяки ШІ-буму, публічно стверджували, що збільшення обсягу даних і обчислювальних потужностей допоможе створювати кращі моделі ШІ.
Однак зараз деякі з найвідоміших науковців у сфері ШІ висловлюють думку, що ця філософія "більше – краще" має певні обмеження.
Співзасновник лабораторій ШІ Safe Superintelligence (SSI) й OpenAI Ілля Суцкевер заявив Reuters, що результати масштабування попереднього навчання – фази тренування, в межах якої у модель вводиться величезна кількість неанотованих даних, щоб розбудувати розуміння мовних патернів і конструкцій, – досягли плато.
“2010-ті були епохою масштабування, зараз ми знову повертаємося до епохи задивування й відкриттів. Тепер як ніколи важливо обирати, що саме масштабувати”, – каже Суцкевер.
За лаштунками дослідники з великих ШІ-лабораторій стикаються з затримками й невтішними результатами у спробах випустити мовну модель, яка перевершила б GPT-4. Про це агенції повідомили три джерела, ознайомлені з приватними справами.
Так звані "тренувальні запуски" великих моделей можуть коштувати десятки мільйонів доларів через одночасну роботу сотень чипів. Висока складність системи часто призводить до апаратних збоїв, а про результати роботи моделей дослідники можуть дізнатися лише після запуску, який триває місяцями.
Ще одна проблема полягає в тому, що великі мовні моделі потребують величезної кількості даних, і моделі ШІ вже вичерпали всі легкодоступні дані у світі. Дефіцит електроенергії також затримує тренування, оскільки цей процес вимагає великих обсягів енергії.
Для подолання цих проблем дослідники розглядають метод "обчислень під час використання", який покращує роботу поточних моделей ШІ протягом фази "умогляду", тобто коли з моделлю взаємодіють. Так, замість того, щоб одразу видати одну відповідь, модель може генерувати й оцінювати кілька варіантів, з яких обирає найкращий.
Цей метод дозволяє моделям виділяти більше обчислювальної потужності на складні завдання на кшталт розв'язання математичних задач або програмування, які вимагають людиноподібного мислення.
“Виявилося, що дати боту 20 секунд на роздуми під час гри в покер покращує його продуктивність так само, як масштабування моделі у 100 000 разів і тренування її в 100 000 разів довше", – сказав дослідник OpenAI, який працював над моделлю o1, на конференції TED AI в Сан-Франциско минулого місяця Ноам Браун.
Як повідомляв ІМІ, в Україні запустили платформу з безкоштовними ресурсами для вивчення ШІ (штучного інтелекту). Курси безоплатні й доступні українською та англійською мовами. Платформа допоможе навчитися тому, як завдяки ШІ автоматизувати обчислення, оброблення контенту, прописати типові відповіді клієнтам та чимало іншого.
English (US)