Diferencias

Muestra las diferencias entre dos versiones de la página.

--- podcast:episodios:56 [2023/03/29 18:13] – [[G] Generative] Joaquín Herrero Pintado
+++ podcast:episodios:56 [2023/03/30 17:43] (actual) – [El "alignment Problem"] Joaquín Herrero Pintado
@@ Línea 135: / Línea 135: @@
 ### GPT-4
-[GPT-4](https://openai.com/research/gpt-4) \\
+[GPT-4 Web Page](https://openai.com/research/gpt-4) \\
-[GPT-4 Tecnical Report](https://arxiv.org/abs/2303.08774)
+[GPT-4 Tecnical Report](https://arxiv.org/abs/2303.08774) \\
+[GPT-4 System Card](https://cdn.openai.com/papers/gpt-4-system-card.pdf)
+Este es el video en el que se transmitió en directo la primera demo de GPT-4.
 <html>
@@ Línea 188: / Línea 191: @@
 (Redactado por GPT-3.5)
+### Pendiente de resolver: el "alignment Problem"
+El "alignment problem" (problema de alineación) en el contexto de ChatGPT y otros modelos de lenguaje de inteligencia artificial se refiere al desafío de garantizar que los objetivos, valores e intereses del sistema de IA estén alineados con los de los seres humanos. En otras palabras, se busca que la IA entienda, interprete y responda a las necesidades y expectativas de los usuarios de manera efectiva, ética y segura.
+Los modelos de lenguaje como ChatGPT son el resultado del entrenamiento en grandes conjuntos de datos de texto que contienen información de diversas fuentes y perspectivas. Como resultado, pueden adoptar sesgos, creencias erróneas y comportamientos no deseados que no siempre están en consonancia con las intenciones del usuario o el bienestar general.
+El problema de alineación en IA plantea varios desafíos:
+  - Sesgo y justicia: Asegurar que el modelo no tenga sesgos sistemáticos o discriminación en sus respuestas.
+  - Seguridad: Prevenir que el modelo proporcione respuestas dañinas, ofensivas o inapropiadas.
+  - Privacidad: Evitar que el modelo divulgue información confidencial o sensible.
+  - Robustez y fiabilidad: Garantizar que el modelo responda de manera consistente y confiable a las entradas del usuario, incluso en casos de entradas ambiguas o maliciosas.
+  - Control de contenido y políticas: Establecer pautas claras y efectivas para el comportamiento del modelo y garantizar que se adhiera a ellas.
+Resolver el problema de alineación es crucial para el desarrollo y adopción segura y ética de sistemas de inteligencia artificial como ChatGPT en diferentes aplicaciones y contextos.
+(Redactado por GPT-4)
 # Políticas empresariales y de producto
@@ Línea 214: / Línea 235: @@
 ## Características de los modelos de lenguaje de OpenAI
-### 1. RLHF - Reinforcement Learning with Human Feedback vs. System Messages
+### 1. RLHF - Reinforcement Learning with Human Feedback
@@ Línea 392: / Línea 413: @@
 En [[https://twitter.com/C4COMPUTATION/status/1640950555940880385|este hilo de Twitter]], Jessica Flack, científica de datos, bióloga evolutiva y profesora en el [[https://en.wikipedia.org/wiki/Santa_Fe_Institute|Santa Fe Institute]] hace las siguientes reflexiones:
-Traducción automática del hilo, revisada:
+(Traducción automática del hilo, revisada)
 La discusión ofrece una perspectiva útil y equilibrada. Preguntas/comentarios:
@@ Línea 411: / Línea 432: @@
 . A pesar de todo parece probable que los humanos que usan LLM cambien drásticamente la organización económica y la naturaleza del trabajo.
+====== ¿Los modelos de lenguaje comprenden realmente lo que les preguntamos? ======
+Preguntamos a GPT-4:
+¿Tú comprendes las cosas que te pregunto?
+> Sí, como inteligencia artificial, mi función principal es comprender y procesar preguntas para proporcionar respuestas y asistencia en una amplia variedad de temas. Si tienes alguna duda o inquietud, no dudes en preguntarme y estaré encantado de ayudarte.
+¿Pero entiendes de la misma forma que los humanos?
+> Aunque puedo procesar y comprender el lenguaje humano de manera efectiva, mi comprensión es diferente a la de un ser humano. Como inteligencia artificial, no experimento emociones, pensamientos subjetivos ni consciencia de la misma manera que las personas. Mi capacidad para comprender se basa en el análisis de patrones y la correlación de datos en lugar de la experiencia humana vivida. Esto significa que, aunque puedo proporcionar información útil y relevante en respuesta a tus preguntas, no experimento el proceso de comprensión de la misma manera que un ser humano lo haría.
+Sobre este asunto es muy interesante el artículo "**Does GPT-4 Really Understand What We’re Saying? One question for David Krakauer, an evolutionary theorist and president of the Santa Fe Institute for complexity science.**" disponible en esta dirección: https://nautil.us/does-gpt-4-really-understand-what-were-saying-291034/
+También es muy relevante el artículo "**ChatGPT Is a Blurry JPEG of the Web. OpenAI’s chatbot offers paraphrases, whereas Google offers quotes. Which do we prefer?**", del escritor estadounidense Ted Chiang, disponible en https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web.