El cofundador de Ethereum, Vitalik Buterin, recurrió a X ( anteriormente Twitter ) el lunes para oponerse a la actual prisa hacia los llamados sistemas de IA "agentes", modelos diseñados para actuar de forma autónoma con una mínima supervisión humana. También instó a defender modelos que permitan a los humanos dirigir y editar a medida que avanzan. "Echando eco a algo que Andrej Karpathy dijo recientemente, me frustra cómo gran parte del desarrollo de IA intenta ser lo más 'agente' posible", escribió Buterin.
Agregó que aumentar las vías para la entrada humana no solo mejora los resultados, sino que es "mejor para la seguridad". El cofundador de Ethereum dijo que está "mucho más emocionado por los modelos de IA de pesos abiertos con buena funcionalidad de edición que por aquellos que son solo para crear desde cero", e incluso esbozó un deseo a medio plazo: "alguna cosa elegante de BCI donde me muestre la cosa a medida que se genera y detecte en tiempo real cómo me siento acerca de cada parte y ajuste en consecuencia."
La publicación resonó directamente con los comentarios recientes de Andrej Karpathy, quien, en una conferencia destacada y entrevistas posteriores, ha advertido sobre tratar a los modelos de lenguaje grandes como agentes autónomos infalibles y ha instado a los desarrolladores a mantener la IA "con correa", enfatizando que la supervisión humana, la indicación cuidadosa y el desarrollo incremental siguen siendo esenciales.
Por qué esto importa ahora
Los comentarios de Buterin llegan en un momento en que importantes laboratorios están cambiando públicamente su postura sobre la apertura y el control del usuario. A principios de agosto, OpenAI sorprendió a muchos al lanzar una familia de modelos de pesos abiertos, gpt-oss-120b y gpt-oss-20b, que pueden ser descargados, inspeccionados y ajustados por desarrolladores externos, un movimiento enmarcado por algunos como un paso hacia la democratización de herramientas de IA poderosas. Los partidarios dicen que los pesos abiertos facilitan la construcción de flujos de trabajo personalizados y centrados en el ser humano e inspeccionar modelos para detectar problemas de seguridad; los críticos advierten sobre los riesgos de uso indebido de modelos poderosos ampliamente distribuidos.
La preferencia pública de Buterin por la "funcionalidad de edición" se vincula con un hilo emergente en la industria: en lugar de pedir a los modelos que produzcan un trabajo terminado y luego dar un paso atrás, muchos investigadores desean interfaces que permitan a los humanos intervenir en medio de la generación, podando, corrigiendo o guiando la salida en tiempo real. Los defensores argumentan que esto reduce las alucinaciones, mantiene al humano firmemente en control de la intención y produce artefactos que se ajustan mejor a los gustos humanos y a las restricciones de seguridad. La reciente charla de Karpathy también enfatizó la necesidad de flujos de trabajo más integrados con la intervención humana.)
BCI + IA Generativa
El deseo casual de Buterin por una interfaz cerebro-computadora (BCI) que detecte respuestas emocionales a medida que se genera contenido no es pura fantasía. Este año ha visto un torrente de avances tangibles en BCI: empresas desde Neuralink hasta Synchron y un grupo de startups están llevando a cabo ensayos humanos, implantes menos invasivos y dispositivos portátiles basados en EEG destinados a decodificar la atención y los estados afectivos en tiempo real.
El trabajo académico sobre la detección de emociones basada en EEG y la "computación afectiva" también ha mejorado, sugiriendo que los dispositivos capaces de señalar cuando un usuario gusta, no gusta o es neutral hacia algo son cada vez más plausibles. Sin embargo, la decodificación emocional completamente fiable de grado de consumo, especialmente de manera no invasiva, sigue siendo un desafío de investigación activo.
Lo que revela el debate
Tomados en conjunto, las señales apuntan a dos corrientes simultáneas en el desarrollo de la IA. Una corriente impulsa hacia sistemas más agentes que pueden ejecutar tareas complejas con poca o ninguna supervisión humana; la otra, expresada por figuras como Karpathy y ahora reiterada por Buterin, aboga por herramientas que mantengan a los humanos estrechamente vinculados al comportamiento del modelo, ya sea a través de mejores interfaces de edición, verificación con humanos en el ciclo o incluso retroalimentación de neurotecnología.
Para los observadores de la industria, el equilibrio entre esos enfoques dará forma al diseño de productos, la regulación y la confianza pública. Las versiones de pesos abiertos facilitan a equipos independientes experimentar con capas de edición centradas en el ser humano, pero también amplían la distribución de modelos poderosos, lo que preocupa a los reguladores y a los investigadores de seguridad, ya que podría aumentar el uso indebido.
Mientras tanto, a medida que BCI y la detección de afectos realizan avances incrementales, nuevas interfaces pueden permitir que los creadores "empujen" modelos con señales mucho más ricas que los avisos escritos, planteando nuevas preguntas sobre la privacidad, el consentimiento y cómo se miden y almacenan los estados internos. El tuit de Vitalik Buterin es menos un plano técnico que una declaración de valores: mejores resultados y sistemas más seguros provienen de mantener a las personas y las señales humanas de preferencia, complejas y matizadas, en el centro de los flujos de trabajo de IA.
Ya sea que ese futuro llegue a través de modelos abiertos editables hoy o interfaces vinculadas al cerebro mañana, la conversación ya se está desplazando de la pura autonomía hacia una colaboración más rica entre humanos e IA. Como lo expresó Buterin en su publicación, prefiere ver algo nacer y poder guiarlo que entregar completamente las riendas.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Vitalik Buterin critica la IA agentiva, pide modelos editables e integración de neurotecnología
El cofundador de Ethereum, Vitalik Buterin, recurrió a X ( anteriormente Twitter ) el lunes para oponerse a la actual prisa hacia los llamados sistemas de IA "agentes", modelos diseñados para actuar de forma autónoma con una mínima supervisión humana. También instó a defender modelos que permitan a los humanos dirigir y editar a medida que avanzan. "Echando eco a algo que Andrej Karpathy dijo recientemente, me frustra cómo gran parte del desarrollo de IA intenta ser lo más 'agente' posible", escribió Buterin.
Agregó que aumentar las vías para la entrada humana no solo mejora los resultados, sino que es "mejor para la seguridad". El cofundador de Ethereum dijo que está "mucho más emocionado por los modelos de IA de pesos abiertos con buena funcionalidad de edición que por aquellos que son solo para crear desde cero", e incluso esbozó un deseo a medio plazo: "alguna cosa elegante de BCI donde me muestre la cosa a medida que se genera y detecte en tiempo real cómo me siento acerca de cada parte y ajuste en consecuencia."
La publicación resonó directamente con los comentarios recientes de Andrej Karpathy, quien, en una conferencia destacada y entrevistas posteriores, ha advertido sobre tratar a los modelos de lenguaje grandes como agentes autónomos infalibles y ha instado a los desarrolladores a mantener la IA "con correa", enfatizando que la supervisión humana, la indicación cuidadosa y el desarrollo incremental siguen siendo esenciales.
Por qué esto importa ahora
Los comentarios de Buterin llegan en un momento en que importantes laboratorios están cambiando públicamente su postura sobre la apertura y el control del usuario. A principios de agosto, OpenAI sorprendió a muchos al lanzar una familia de modelos de pesos abiertos, gpt-oss-120b y gpt-oss-20b, que pueden ser descargados, inspeccionados y ajustados por desarrolladores externos, un movimiento enmarcado por algunos como un paso hacia la democratización de herramientas de IA poderosas. Los partidarios dicen que los pesos abiertos facilitan la construcción de flujos de trabajo personalizados y centrados en el ser humano e inspeccionar modelos para detectar problemas de seguridad; los críticos advierten sobre los riesgos de uso indebido de modelos poderosos ampliamente distribuidos.
La preferencia pública de Buterin por la "funcionalidad de edición" se vincula con un hilo emergente en la industria: en lugar de pedir a los modelos que produzcan un trabajo terminado y luego dar un paso atrás, muchos investigadores desean interfaces que permitan a los humanos intervenir en medio de la generación, podando, corrigiendo o guiando la salida en tiempo real. Los defensores argumentan que esto reduce las alucinaciones, mantiene al humano firmemente en control de la intención y produce artefactos que se ajustan mejor a los gustos humanos y a las restricciones de seguridad. La reciente charla de Karpathy también enfatizó la necesidad de flujos de trabajo más integrados con la intervención humana.)
BCI + IA Generativa
El deseo casual de Buterin por una interfaz cerebro-computadora (BCI) que detecte respuestas emocionales a medida que se genera contenido no es pura fantasía. Este año ha visto un torrente de avances tangibles en BCI: empresas desde Neuralink hasta Synchron y un grupo de startups están llevando a cabo ensayos humanos, implantes menos invasivos y dispositivos portátiles basados en EEG destinados a decodificar la atención y los estados afectivos en tiempo real.
El trabajo académico sobre la detección de emociones basada en EEG y la "computación afectiva" también ha mejorado, sugiriendo que los dispositivos capaces de señalar cuando un usuario gusta, no gusta o es neutral hacia algo son cada vez más plausibles. Sin embargo, la decodificación emocional completamente fiable de grado de consumo, especialmente de manera no invasiva, sigue siendo un desafío de investigación activo.
Lo que revela el debate
Tomados en conjunto, las señales apuntan a dos corrientes simultáneas en el desarrollo de la IA. Una corriente impulsa hacia sistemas más agentes que pueden ejecutar tareas complejas con poca o ninguna supervisión humana; la otra, expresada por figuras como Karpathy y ahora reiterada por Buterin, aboga por herramientas que mantengan a los humanos estrechamente vinculados al comportamiento del modelo, ya sea a través de mejores interfaces de edición, verificación con humanos en el ciclo o incluso retroalimentación de neurotecnología.
Para los observadores de la industria, el equilibrio entre esos enfoques dará forma al diseño de productos, la regulación y la confianza pública. Las versiones de pesos abiertos facilitan a equipos independientes experimentar con capas de edición centradas en el ser humano, pero también amplían la distribución de modelos poderosos, lo que preocupa a los reguladores y a los investigadores de seguridad, ya que podría aumentar el uso indebido.
Mientras tanto, a medida que BCI y la detección de afectos realizan avances incrementales, nuevas interfaces pueden permitir que los creadores "empujen" modelos con señales mucho más ricas que los avisos escritos, planteando nuevas preguntas sobre la privacidad, el consentimiento y cómo se miden y almacenan los estados internos. El tuit de Vitalik Buterin es menos un plano técnico que una declaración de valores: mejores resultados y sistemas más seguros provienen de mantener a las personas y las señales humanas de preferencia, complejas y matizadas, en el centro de los flujos de trabajo de IA.
Ya sea que ese futuro llegue a través de modelos abiertos editables hoy o interfaces vinculadas al cerebro mañana, la conversación ya se está desplazando de la pura autonomía hacia una colaboración más rica entre humanos e IA. Como lo expresó Buterin en su publicación, prefiere ver algo nacer y poder guiarlo que entregar completamente las riendas.