Співзасновник Ethereum Віталік Бутерін звернувся до X (колишнього Twitter) у понеділок, щоб заперечити проти нинішнього сплеску так званих "агентних" систем штучного інтелекту, моделей, створених для автономної роботи з мінімальним людським наглядом. Він також закликав захищати моделі, які дозволяють людям керувати та редагувати процес в реальному часі. "Відгукуючись на те, що нещодавно сказав Андрій Карпати, мене дратує, як багато розробок ШІ намагаються бути якомога 'агентнішими'," написав Бутерін.
Він додав, що збільшення шляхів для людського внеску не лише покращує результати, але й "краще для безпеки". Співзасновник Ethereum сказав, що він "набагато більше в захваті від відкритих моделей ШІ з хорошою функціональністю редагування, ніж від тих, які призначені лише для створення з нуля", і навіть намалював середньострокове бажання: "якась цікава річ BCI, де вона показує мені те, що генерується, і в реальному часі виявляє, як я відчуваю щодо кожної його частини та коригує відповідно."
Пост безпосередньо відгукнувся на нещодавні зауваження Андрея Карпаті, який у високопрофільній доповіді та подальших інтерв'ю застерігав від того, щоб ставитися до великих мовних моделей як до безпомилкових автономних агентів, і закликав розробників тримати ШІ "на повідку", підкреслюючи, що людський нагляд, обережне запрошення та поступовий розвиток все ще є необхідними.
Чому це важливо зараз
Коментарі Бутеріна з'явилися в той момент, коли великі лабораторії публічно змінюють свою позицію щодо відкритості та контролю користувачів. На початку серпня OpenAI здивувала багатьох, випустивши сімейство моделей з відкритими вагами, gpt-oss-120b і gpt-oss-20b, які можуть завантажувати, перевіряти та допрацьовувати зовнішні розробники, крок, який деякі називають кроком до демократизації потужних інструментів штучного інтелекту. Прихильники кажуть, що відкриті ваги полегшують побудову користувацьких, орієнтованих на людину робочих процесів, і перевірку моделей на предмет проблем з безпекою; Критики попереджають про ризики неправильного використання широко поширених, потужних моделей.
Публічна перевага Бутеріна щодо «функціональності редагування» пов'язана з новою тенденцією в галузі: замість того, щоб вимагати від моделей створення завершеної роботи, а потім відступати, багато дослідників хочуть інтерфейсів, які дозволяють людям втручатися в процес генерації, обрізаючи, коригуючи або керуючи виходом у реальному часі. Прихильники стверджують, що це зменшує галюцинації, дозволяє людині залишатися повністю під контролем наміру та створює артефакти, які краще відповідають людським смакам і обмеженням безпеки. Нещодавня промова Карпаті також підкреслила необхідність більш тісних робочих процесів з людиною в циклі.)
BCI + Генеративний ШІ
Бажання Бутеріна про інтерфейс мозок-комп'ютер (BCI), який відстежує емоційні реакції під час генерації контенту, не є чистою фантазією. Цей рік відзначився хвилею суттєвого прогресу в BCI: компанії від Neuralink до Synchron та низка стартапів проводять клінічні випробування, менш інвазивні імплантати та носимі пристрої на основі ЕЕГ, спрямовані на декодування уваги та афективних станів у реальному часі.
Академічні дослідження в галузі виявлення емоцій на основі ЕЕГ та "афективних обчислень" також покращилися, що свідчить про те, що пристрої, здатні виявляти, коли користувач щось подобається, не подобається або він нейтральний до чогось, стають дедалі більш правдоподібними. Проте повністю надійне, споживче декодування емоцій, особливо неінвазивне, залишається активним дослідницьким викликом.
Що показує дебати
Разом узяті, сигнали вказують на два одночасні потоки в розвитку ШІ. Один потік спрямований на створення більш агентних систем, які можуть виконувати складні завдання з малою або жодною людською наглядом; інший, висловлений такими постатями, як Карпаті та тепер повторюваний Бутеріним, стверджує про інструменти, які тримають людей тісно пов'язаними з поведінкою моделей, чи то через кращі інтерфейси редагування, перевірку людиною в циклі, чи навіть зворотний зв'язок нейротехнологій.
Для спостерігачів за індустрією баланс між цими підходами визначатиме дизайн продуктів, регулювання та довіру громадськості. Випуски з відкритими вагами спрощують незалежним командам експериментувати з людсько-орієнтованими шарами редагування, але вони також розширюють розповсюдження потужних моделей, що викликає занепокоєння у регуляторів та дослідників безпеки, які побоюються, що це може збільшити зловживання.
Тим часом, оскільки BCI та виявлення емоцій роблять поступові кроки вперед, нові інтерфейси можуть насправді дозволити творцям «підштовхувати» моделі набагато багатшими сигналами, ніж набрані підказки, що піднімає нові питання про конфіденційність, згоду та те, як вимірюються і зберігаються внутрішні стани. Твіт Віталіка Бутеріна є менш технічним планом, ніж оцінкою цінностей: кращі результати та безпечніші системи виникають з того, що люди та складні, нюансовані сигнали людських уподобань перебувають у центрі робочих процесів ШІ.
Чи прийде те майбутнє через редаговані відкриті моделі сьогодні, чи через інтерфейси, що взаємодіють з мозком, завтра, розмова вже зміщується від чистої автономії до більш багатого співробітництва людини з ШІ. Як сказав Бутерін у своєму пості, йому б хотілося спостерігати за народженням чогось і мати можливість керувати цим, а не повністю передавати повноваження.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Віталік Бутерін критикує агентний ШІ, закликає до редагованих моделей та інтеграції нейротехнологій
Співзасновник Ethereum Віталік Бутерін звернувся до X (колишнього Twitter) у понеділок, щоб заперечити проти нинішнього сплеску так званих "агентних" систем штучного інтелекту, моделей, створених для автономної роботи з мінімальним людським наглядом. Він також закликав захищати моделі, які дозволяють людям керувати та редагувати процес в реальному часі. "Відгукуючись на те, що нещодавно сказав Андрій Карпати, мене дратує, як багато розробок ШІ намагаються бути якомога 'агентнішими'," написав Бутерін.
Він додав, що збільшення шляхів для людського внеску не лише покращує результати, але й "краще для безпеки". Співзасновник Ethereum сказав, що він "набагато більше в захваті від відкритих моделей ШІ з хорошою функціональністю редагування, ніж від тих, які призначені лише для створення з нуля", і навіть намалював середньострокове бажання: "якась цікава річ BCI, де вона показує мені те, що генерується, і в реальному часі виявляє, як я відчуваю щодо кожної його частини та коригує відповідно."
Пост безпосередньо відгукнувся на нещодавні зауваження Андрея Карпаті, який у високопрофільній доповіді та подальших інтерв'ю застерігав від того, щоб ставитися до великих мовних моделей як до безпомилкових автономних агентів, і закликав розробників тримати ШІ "на повідку", підкреслюючи, що людський нагляд, обережне запрошення та поступовий розвиток все ще є необхідними.
Чому це важливо зараз
Коментарі Бутеріна з'явилися в той момент, коли великі лабораторії публічно змінюють свою позицію щодо відкритості та контролю користувачів. На початку серпня OpenAI здивувала багатьох, випустивши сімейство моделей з відкритими вагами, gpt-oss-120b і gpt-oss-20b, які можуть завантажувати, перевіряти та допрацьовувати зовнішні розробники, крок, який деякі називають кроком до демократизації потужних інструментів штучного інтелекту. Прихильники кажуть, що відкриті ваги полегшують побудову користувацьких, орієнтованих на людину робочих процесів, і перевірку моделей на предмет проблем з безпекою; Критики попереджають про ризики неправильного використання широко поширених, потужних моделей.
Публічна перевага Бутеріна щодо «функціональності редагування» пов'язана з новою тенденцією в галузі: замість того, щоб вимагати від моделей створення завершеної роботи, а потім відступати, багато дослідників хочуть інтерфейсів, які дозволяють людям втручатися в процес генерації, обрізаючи, коригуючи або керуючи виходом у реальному часі. Прихильники стверджують, що це зменшує галюцинації, дозволяє людині залишатися повністю під контролем наміру та створює артефакти, які краще відповідають людським смакам і обмеженням безпеки. Нещодавня промова Карпаті також підкреслила необхідність більш тісних робочих процесів з людиною в циклі.)
BCI + Генеративний ШІ
Бажання Бутеріна про інтерфейс мозок-комп'ютер (BCI), який відстежує емоційні реакції під час генерації контенту, не є чистою фантазією. Цей рік відзначився хвилею суттєвого прогресу в BCI: компанії від Neuralink до Synchron та низка стартапів проводять клінічні випробування, менш інвазивні імплантати та носимі пристрої на основі ЕЕГ, спрямовані на декодування уваги та афективних станів у реальному часі.
Академічні дослідження в галузі виявлення емоцій на основі ЕЕГ та "афективних обчислень" також покращилися, що свідчить про те, що пристрої, здатні виявляти, коли користувач щось подобається, не подобається або він нейтральний до чогось, стають дедалі більш правдоподібними. Проте повністю надійне, споживче декодування емоцій, особливо неінвазивне, залишається активним дослідницьким викликом.
Що показує дебати
Разом узяті, сигнали вказують на два одночасні потоки в розвитку ШІ. Один потік спрямований на створення більш агентних систем, які можуть виконувати складні завдання з малою або жодною людською наглядом; інший, висловлений такими постатями, як Карпаті та тепер повторюваний Бутеріним, стверджує про інструменти, які тримають людей тісно пов'язаними з поведінкою моделей, чи то через кращі інтерфейси редагування, перевірку людиною в циклі, чи навіть зворотний зв'язок нейротехнологій.
Для спостерігачів за індустрією баланс між цими підходами визначатиме дизайн продуктів, регулювання та довіру громадськості. Випуски з відкритими вагами спрощують незалежним командам експериментувати з людсько-орієнтованими шарами редагування, але вони також розширюють розповсюдження потужних моделей, що викликає занепокоєння у регуляторів та дослідників безпеки, які побоюються, що це може збільшити зловживання.
Тим часом, оскільки BCI та виявлення емоцій роблять поступові кроки вперед, нові інтерфейси можуть насправді дозволити творцям «підштовхувати» моделі набагато багатшими сигналами, ніж набрані підказки, що піднімає нові питання про конфіденційність, згоду та те, як вимірюються і зберігаються внутрішні стани. Твіт Віталіка Бутеріна є менш технічним планом, ніж оцінкою цінностей: кращі результати та безпечніші системи виникають з того, що люди та складні, нюансовані сигнали людських уподобань перебувають у центрі робочих процесів ШІ.
Чи прийде те майбутнє через редаговані відкриті моделі сьогодні, чи через інтерфейси, що взаємодіють з мозком, завтра, розмова вже зміщується від чистої автономії до більш багатого співробітництва людини з ШІ. Як сказав Бутерін у своєму пості, йому б хотілося спостерігати за народженням чогось і мати можливість керувати цим, а не повністю передавати повноваження.