Herramientas de usuario

Herramientas del sitio


podcast:episodios:63

Episodio 63: ¿Filosofía de la Inteligencia Artificial o de los mundos artificiales?

Hoy abordaremos un tema de gran relevancia para nuestro tiempo: la relación entre la filosofía, la inteligencia artificial y los mundos artificiales. La velocidad con la que avanzan las tecnologías digitales no solo transforma nuestras sociedades, sino también amplía y profundiza nuestro entendimiento de conceptos como humanidad, realidad o ética.

Sin duda la inteligencia artificial está redefiniendo conceptos como autonomía o creatividad y va a afectar a nuestra identidad, valores culturales o estructuras sociales.

Pondremos sobre la mesa la cuestión de cómo la filosofía puede anticiparse a los futuros que estas tecnologías plantean y cómo la formación interdisciplinaria puede ser clave para enfrentar los desafíos del desarrollo tecnológico contemporáneo. Este episodio será una invitación a reflexionar sobre el papel transformador de la tecnología en nuestras vidas y sobre la importancia de dirigir estos avances hacia un futuro más justo y equilibrado.

Siguiendo la línea del libro “Mundos Artificiales” del filósofo Fernando Broncano, este episodio pretende ser lo que él describe en su página 17: “una llamada desesperada al cultivo de la cultura tecnológica, lejos de la admiración reverencial y del desprecio a todo lo que tradicionalmente se ha considerado bajo y de poco interés para la «alta cultura». La defensa del «medio ambiente artificial» es una metáfora sobre la urgente necesidad de extender la sensibilidad social hacia nuestras propias realizaciones técnicas. Del mismo modo que el humanismo renacentista propagó el respeto a los objetos de arte, se aboga por una nueva forma expandida de humanismo que reconcilie a la cultura con sus propias producciones.

Vamos a ver qué resulta de unir filosofía, tecnología y reflexión crítica para profundizar en las preguntas más fundamentales de esta era digital.

“La filosofía no sirve para nada” es un podcast sin pretensiones en el que reflexionaremos sobre el presente.

Participan: Juan Antonio Torrero @jatorrero, Sergio Muñoz @smunozroncero, José Carlos García @quobit, Joaquín Herrero @joakinen@scholar.social, Juan Carlos Barajas @SociologiaDiver


Fecha 11 de diciembre de 2024
Participan José Carlos García @quobit
Sergio Muñoz @smunozroncero
Juan Carlos Barajas @SociologiaDiver
Joaquín Herrero @joakinen@scholar.social
Juan Antonio Torrero @jatorrero
Descarga Puedes descargar todos los episodios en iVoox, en Spotify, en iTunes, Google Podcasts y en nuestro canal de Telegram. Si tienes un lector de podcasts que admite enlaces RSS, este es el enlace RSS a nuestro podcast.
Sintonía Mass Invasion, Dilo, álbum Robots (2004)
Fotos Un filósofo y una filósofa de la Inteligencia Artificial trabajando, según ChatGPT
Mastodon En @FilosofiaNada@hcommons.social publicamos noticias que nos interesan y conversamos.
BlueSky @filosofianada.bsky.social
Canal Telegram Puedes seguir la preparación de nuevos episodios suscribiéndote al canal @FilosofiaNada en Telegram
Grupo de opinión Únete a nuestro grupo de opinión Opina FilosofiaNada para opinar sobre el episodio en preparación y enviarnos audios con preguntas o críticas con humor para nuestra intro

La filosofía de la IA, como especialidad emergente, debe combinar un profundo entendimiento de los fundamentos filosóficos con el conocimiento técnico de la inteligencia artificial. Esta especialidad abordaría cuestiones éticas, epistemológicas, ontológicas y sociales relacionadas con el desarrollo y la aplicación de tecnologías de IA.

Un filósofo de la IA debe equilibrar conocimientos técnicos y reflexiones filosóficas profundas para abordar los dilemas técnicos, éticos y sociales de la IA. La especialidad podría ser crucial para guiar el desarrollo tecnológico hacia un futuro justo y sostenible.

Elementos para una filosofía de la Inteligencia Artificial o de los mundos artificiales

1. El filósofo de la inteligencia artificial (IA) como figura interdisciplinaria

  1. Necesita competencias filosóficas (ética, epistemología, ontología) y conocimientos técnicos básicos de IA.
  2. Actúa como puente entre la filosofía, la tecnología y otras disciplinas, como el derecho y la sociología.

Conceptos: Ética aplicada, epistemología, ontología, interdisciplinariedad, conexión filosofía-tecnología, reflexión crítica.

Presentamos al filósofo de la inteligencia artificial (IA) como una figura clave en el panorama contemporáneo. Su papel exige una sólida base filosófica en ética, epistemología y ontología, así como conocimientos técnicos básicos sobre cómo funcionan los sistemas de IA. Esta combinación interdisciplinar le permite reflexionar críticamente sobre los desafíos éticos y sociales de la tecnología, mientras colabora con expertos en derecho, sociología, política y ciencias de la computación. Más allá de la teoría, el filósofo de la IA actúa como un puente que conecta el desarrollo tecnológico con principios fundamentales de justicia, equidad y sostenibilidad, insistiendo en que las innovaciones respeten valores humanos y contribuyan positivamente al bienestar global. Su capacidad para integrar disciplinas lo posiciona como un mediador esencial en la construcción de un futuro donde la tecnología y la sociedad evolucionen de manera armoniosa.

Lecturas

2. La filosofía de la IA trasciende la simulación mental

  1. La IA no solo replica procesos mentales humanos, sino que transforma conceptos como inteligencia, creatividad y autonomía.
  2. Su estudio abarca implicaciones éticas, sociales y políticas.

Conceptos: Inteligencia, creatividad artificial, autonomía, filosofía de la mente, simulación.

La filosofía de la inteligencia artificial (IA) va más allá de simplemente estudiar cómo la tecnología replica procesos mentales humanos; redefine conceptos fundamentales como inteligencia, creatividad y autonomía. Este enfoque no se limita a la comparación entre máquinas y mente humana, sino que explora cómo la IA transforma nuestra comprensión de estos principios (inteligencia, creatividad y autonomía) al interactuar con la sociedad y la cultura.

Lecturas sobre filosofía de la mente

3. Mundos artificiales como nueva realidad filosófica

  1. Los entornos creados digitalmente (simulaciones, videojuegos, realidades virtuales) constituyen realidades únicas, diferentes de los mundos naturales.
  2. Estos mundos exigen reflexiones sobre su ontología, estética, ética y epistemología.

Conceptos: Ontología digital, estética artificial, ética tecnológica, epistemología de simulaciones, realidades virtuales, videojuegos, realidades híbridas, existencia humana, experiencia humana.

Los mundos artificiales, como simulaciones, videojuegos y realidades virtuales, representan una nueva realidad filosófica que desafía nuestras nociones tradicionales de existencia y experiencia. Estas creaciones digitales no son meras extensiones del mundo natural, sino realidades únicas con sus propias reglas, dinámicas y valores. Este fenómeno exige una profunda reflexión filosófica en áreas como la ontología, para entender qué significa “existir” en estos entornos; la estética, para explorar la belleza y el diseño en lo digital; la ética, para regular la interacción entre humanos y sistemas artificiales; y la epistemología, para analizar cómo adquirimos conocimiento en estas realidades. Al replantear nuestra relación con lo artificial, estos mundos amplían los horizontes de la filosofía, conectando tecnología, creatividad y humanidad en formas nunca antes imaginadas.

Episodios relacionados:

Lecturas

4. Ética y gobernanza de la IA y los mundos artificiales

  1. Es fundamental diseñar tecnologías y mundos artificiales que respeten valores humanos y promuevan justicia social.
  2. Se necesitan marcos normativos para regular el impacto de estas tecnologías en la sociedad.

Conceptos: Diseño ético, gobernanza, justicia social, marco normativo, derechos humanos digitales, inclusión tecnológica, transparencia, regulación de IA.

La ética y la gobernanza de la inteligencia artificial (IA) y los mundos artificiales son pilares esenciales para garantizar un desarrollo tecnológico alineado con los valores humanos y la justicia social. A medida que estas tecnologías avanzan y transforman nuestra vida cotidiana, es crucial diseñarlas desde una perspectiva ética que respete la dignidad, la equidad y los derechos de las personas. Esto implica establecer marcos normativos que regulen su impacto, asegurando que sean transparentes, inclusivas y responsables. La gobernanza adecuada no solo debe mitigar riesgos como el sesgo, la desigualdad o el abuso, sino también fomentar oportunidades para que estas innovaciones impulsen el bienestar colectivo.

Lecturas

5. Relación entre creadores y creaciones

  1. Reflexión sobre las responsabilidades éticas y los derechos de las entidades creadas, especialmente si poseen inteligencia o autonomía.
  2. Se explora cómo los creadores moldean sus creaciones y viceversa.

Conceptos: Responsabilidad ética, derechos de las creaciones, autonomía artificial, impacto mutuo, diseño consciente, moralidad en IA, creatividad tecnológica, filosofía de la creación.

La relación entre creadores y creaciones en inteligencia artificial (IA) y mundos artificiales exige considerar responsabilidades éticas claras. Los desarrolladores, al diseñar entidades con inteligencia o autonomía, deben reflexionar sobre su trato y posibles derechos, especialmente si estas creaciones interactúan activamente con humanos. A su vez, estas entidades, a través de sus funciones y comportamientos, influyen en cómo los creadores y usuarios perciben el mundo, estableciendo una interacción directa y moldeando mutuamente sus roles. Este intercambio obliga a cuestionar hasta qué punto los creadores son responsables del impacto de sus creaciones, y cómo estas pueden convertirse en agentes éticos dentro de los entornos en que operan. La clave está en diseñar sistemas que respeten principios éticos y promuevan beneficios mutuos entre tecnología y sociedad.

Traducción de una sección del artículo "Agency" (Agencia) de la SEP: Finalmente, pasamos brevemente a la cuestión de si los robots y otros sistemas de inteligencia artificial son capaces de agencia. Si uno supone la teoría estándar, se enfrenta a la pregunta de si es apropiado atribuir estados mentales a sistemas artificiales (véase la sección 2.4). Si se adopta una postura instrumentalista (Dennett 1987: cap. 2), no existe un obstáculo evidente para atribuir estados mentales y agencia intencional a sistemas artificiales. Sin embargo, desde las posiciones realistas, está lejos de ser obvio si esto está justificado, puesto que está lejos de ser evidente si los sistemas artificiales poseen estados internos que fundamenten la atribución de estados mentales con contenido representacional. Si los sistemas artificiales no son capaces de agencia intencional, tal como la entiende la teoría estándar, todavía podrían ser capaces de algún tipo más básico de agencia. Según Barandiaran et al. (2009), la agencia mínima no requiere la posesión de estados mentales. Más bien, requiere la regulación adaptativa del acoplamiento del agente con el entorno y el mantenimiento metabólico de sí mismo. Esto significa, sin embargo, que desde este punto de vista los sistemas artificiales ni siquiera serían capaces de agencia mínima: “el hecho de ser específicos acerca de los requisitos de la agencia nos ha revelado cuánto falta aún para el desarrollo de formas artificiales de agencia” (Defining Agency: Individuality, Normativity, Asymmetry, and Spatio-temporality in Action, Barandiaran et al. 2009: 382).

Según la propuesta de Barandiaran, el concepto mínimo de agencia implica necesariamente cierto nivel de autonomía. Para estos autores, la “agencia mínima” no se limita únicamente a una respuesta reactiva o mecánica al entorno, sino que exige la capacidad de regular adaptativamente el acoplamiento con dicho entorno, al tiempo que el agente mantiene su propia organización interna (metabólica en el caso de los seres vivos). Este mantenimiento de la organización interna se asocia estrechamente con la noción de autonomía, entendida como la capacidad de un sistema para generarse y sostenerse a sí mismo. De esta forma, la agencia mínima descrita por Barandiaran y colaboradores no puede darse sin un componente de autonomía.

Episodios relacionados

Cuestiones

  • ¿Actual sin tener agencia, crear sin ser autor?

Lecturas

6. Interacción entre mundos artificiales y naturales

  1. Los mundos digitales y naturales se entrelazan, afectando la identidad humana, los valores culturales y las estructuras sociales.
  2. La tecnología redefine las relaciones humanas y nuestra percepción del entorno.

Conceptos: Identidad digital, valores culturales, transformación social, entornos híbridos, experiencia digital, percepción del entorno, conexión humano-tecnología, realidades interconectadas.

La interacción entre los mundos artificiales y naturales transforma profundamente nuestra identidad, valores culturales y estructuras sociales. Estos entornos digitales no existen en aislamiento; se entrelazan con la realidad física, reconfigurando cómo percibimos y experimentamos el mundo que nos rodea. La tecnología actúa como un puente que redefine las relaciones humanas, ofreciendo nuevas formas de comunicación, creatividad y organización social, pero también planteando desafíos éticos y culturales. Este entrelazamiento invita a reflexionar sobre cómo equilibrar las oportunidades que ofrecen los mundos artificiales con los valores fundamentales del mundo natural, asegurando una coexistencia armoniosa que enriquezca nuestras vidas sin desdibujar aquello que consideramos distintivamente humano.

Lecturas

7. Crítica técnica y diseño ético

  1. Es necesario un análisis filosófico de los sesgos, limitaciones y potencialidades de los sistemas de IA.
  2. Se debe fomentar un diseño ético que garantice inclusividad, sostenibilidad y equidad.

Conceptos: Análisis filosófico, sesgos algorítmicos, inclusividad, sostenibilidad, diseño justo, impacto social de IA, equidad tecnológica, evaluación ética.

La crítica técnica y el diseño ético de los sistemas de inteligencia artificial (IA) son fundamentales para garantizar que estas tecnologías sean inclusivas, sostenibles y equitativas. Un análisis filosófico profundo permite identificar sesgos inherentes, limitaciones estructurales y las potencialidades de la IA, asegurando que su desarrollo no perpetúe desigualdades ni vulnerabilidades sociales. Este enfoque implica colaborar con tecnólogos y otros especialistas para diseñar sistemas que respeten los valores humanos y fomenten el bienestar colectivo. Al colocar la ética en el centro del diseño, se logra no solo crear herramientas más justas, sino también establecer un marco de confianza entre la tecnología y la sociedad que la utiliza.

Lecturas

8. La IA como arquitecta de mundos

  1. Más allá de ser una herramienta, la IA puede diseñar y gestionar realidades digitales, cuestionando la creatividad y la autonomía artificial.
  2. Esto plantea preguntas sobre el papel de la IA como co-creadora de entornos.

Conceptos: Creatividad artificial, diseño autónomo, gestión de realidades digitales, co-creación, entornos virtuales, innovación tecnológica, inteligencia generativa, creatividad no humana.

La inteligencia artificial (IA) trasciende su papel tradicional como herramienta para convertirse en una arquitecta de mundos, capaz de diseñar y gestionar realidades digitales complejas. Su capacidad para crear entornos virtuales plantea preguntas profundas sobre la naturaleza de la creatividad y la autonomía artificial. ¿Qué significa que una máquina sea co-creadora de espacios que modelan nuestra experiencia y percepción? Este fenómeno nos invita a reflexionar sobre el impacto de la IA en la construcción de nuevos entornos, su influencia en los valores culturales y su rol como colaboradora en la expansión de los límites de la imaginación humana. En este contexto, la IA no solo transforma cómo interactuamos con lo digital, sino también cómo concebimos el acto creativo en sí mismo.

Episodios relacionados

Lecturas

Referencias:

  • Roland Barthes y la muerte del autor

9. Perspectiva global e interdisciplinaria

  1. Las tecnologías y los mundos artificiales tienen impactos culturales y sociales diferentes según la región.
  2. Es clave integrar perspectivas globales para un desarrollo tecnológico inclusivo.

Conceptos: Diversidad cultural, impacto regional, inclusión global, interdisciplinariedad, equidad tecnológica, conexión cultural-tecnológica, innovación inclusiva, colaboración global.

La perspectiva global e interdisciplinaria es esencial para comprender y guiar el impacto de las tecnologías y los mundos artificiales. Estas creaciones no afectan de manera uniforme a todas las sociedades; sus consecuencias culturales, económicas y sociales varían según el contexto regional. Por ello, es crucial integrar una diversidad de visiones que consideren las realidades locales y las dinámicas globales. Al adoptar enfoques inclusivos que involucren disciplinas como la filosofía, la sociología, la economía y la tecnología, podemos asegurar que el desarrollo de estas innovaciones sea equitativo y beneficioso para todos. Esta perspectiva fomenta un progreso tecnológico que respete las diferencias culturales y promueva un futuro más justo y sostenible.

Lecturas

10. La educación y formación interdisciplinaria como clave

  1. La formación de tecnólogos y filósofos debe incluir principios éticos y filosóficos aplicados al diseño técnico.
  2. Promover el entendimiento mutuo entre disciplinas es esencial para enfrentar los retos tecnológicos.

Conceptos: Educación ética, filosofía aplicada, formación técnica, colaboración interdisciplinaria, alfabetización tecnológica, inclusión educativa, marco ético, enseñanza interdisciplinaria.

La educación y la formación interdisciplinaria son fundamentales para enfrentar los retos que plantea la tecnología moderna. Es indispensable que tanto tecnólogos como filósofos reciban una formación que integre principios éticos y filosóficos aplicados al diseño técnico, permitiéndoles abordar los desafíos desde perspectivas complementarias. Promover el entendimiento mutuo entre disciplinas como la filosofía, la ingeniería y las ciencias sociales fomenta una colaboración más efectiva, asegurando que las soluciones tecnológicas sean éticas, inclusivas y sostenibles. Este enfoque educativo no solo prepara a los profesionales para anticipar y resolver problemas complejos, sino que también construye un marco de desarrollo tecnológico más equilibrado y humano.

Lecturas

11. Especulación sobre futuros ontológicos

  1. Los mundos artificiales abren la puerta a nuevas formas de realidad, transformando nociones tradicionales de humanidad y existencia.
  2. La filosofía debe anticipar y reflexionar sobre estos futuros posibles.

Conceptos: Futurismo, ontología de mundos digitales, realidades artificiales, transformación de la humanidad, reflexión filosófica, evolución tecnológica, anticipación ética, existencia ampliada.

La especulación sobre futuros ontológicos plantea un horizonte fascinante donde los mundos artificiales generan nuevas formas de realidad, redefiniendo conceptos tradicionales como humanidad y existencia. Estas creaciones digitales invitan a cuestionar qué significa “ser” en un entorno construido y cómo estas realidades afectan nuestra comprensión del mundo y de nosotros mismos. La filosofía desempeña un papel crucial al anticipar y reflexionar sobre estos futuros posibles, proporcionando marcos conceptuales que guíen tanto el desarrollo tecnológico como nuestras respuestas éticas y culturales. Este ejercicio de imaginación filosófica no solo explora lo que podría ser, sino que también orienta hacia un futuro donde la tecnología se integre de manera responsable con nuestra evolución como especie.

Lecturas

Estas ideas fuerza estructuran un marco de reflexión amplio e integrador, donde la filosofía guía el desarrollo ético y conceptual de la IA y los mundos artificiales.

Episodios

El filósofo de la Inteligencia Artificial: competencias

Las competencias fundamentales del filósofo de la IA se recogen en este esquema:

  • Bloque 1 Fundamentos filosóficos: Ética, epistemología, ontología y filosofía política aplicadas a la IA.
  • Bloque 2 Conocimientos técnicos básicos: Para comprender cómo funcionan los sistemas de IA y poder así anticipar los problemas éticos y sociales de su implantación.
  • Bloque 3 Interdisciplinariedad: Poder conectar la filosofía con la informática, el derecho, la sociología y la política le proporciona el contexto necesario.
  • Bloque 4 Visión crítica teórica y práctica: Debe poder reflexionar sobre el impacto de la IA en la humanidad mientras se anticipa haciendo una crítica de las herramientas en construcción. También poder traducir problemas complejos en soluciones prácticas y comprensibles para diferentes audiencias.

.

Bloque 1. Competencias Fundamentales (Filosóficas)

Este bloque engloba las habilidades y conocimientos esenciales para reflexionar sobre los principios éticos, epistemológicos y ontológicos que subyacen en el desarrollo y uso de la inteligencia artificial. Los filósofos de la IA abordan preguntas fundamentales sobre la naturaleza de los sistemas de IA, su impacto en nuestra comprensión del mundo y cómo deben diseñarse para alinearse con los valores humanos. Estas competencias son la base del pensamiento crítico en esta especialidad.

Epistemología de la IA

  • Reflexionar sobre cómo la IA adquiere, representa y utiliza el conocimiento.
  • Examinar la confiabilidad y las limitaciones del aprendizaje automático como forma de conocimiento.
  • Cuestionar cómo los sistemas de IA afectan la construcción del conocimiento humano y la verdad en contextos como los medios de comunicación.

Ontología de la IA

  • Explorar la naturaleza y la existencia de entidades digitales (algoritmos, agentes virtuales) y su relación con los conceptos humanos tradicionales.
  • Investigar si los sistemas de IA pueden poseer cualidades como conciencia, intencionalidad o identidad.
  • Analizar las implicaciones de conceptos como la personificación de la IA (robots sociales, asistentes virtuales).

Ética de la IA

  • Comprender y analizar dilemas éticos relacionados con la IA, como el sesgo algorítmico, la privacidad, la autonomía y la toma de decisiones moralmente responsables.
  • Evaluar el impacto de la IA en los derechos humanos, la justicia social y las desigualdades globales.
  • Explorar las implicaciones del uso de sistemas de IA en la guerra, la vigilancia y la manipulación social.

Metafilosofía y Tecnología

  • Reflexionar sobre cómo la IA afecta el propio campo de la filosofía, como el análisis lógico, la ética aplicada o la filosofía política.
  • Examinar cómo los avances en IA redefinen la noción de humanidad, creatividad y agencia.

Bloque 2. Competencias Técnicas (Relacionadas con la IA)

Aunque no se espera que un filósofo de la IA sea un experto en programación o desarrollo de modelos, sí debe tener un entendimiento sólido de cómo funcionan las tecnologías de inteligencia artificial. Este bloque de competencias técnicas se centra en las habilidades necesarias para comprender los fundamentos técnicos de la IA y las herramientas que la hacen posible, permitiendo al filósofo evaluar sus implicaciones y colaborar eficazmente con otros especialistas técnicos.

Fundamentos Técnicos de IA

  • Tener un entendimiento general de los conceptos clave de la inteligencia artificial, como aprendizaje automático, redes neuronales y procesamiento de lenguaje natural.
  • Conocer cómo se desarrollan y entrenan los modelos de IA para contextualizar sus limitaciones y sesgos.

Conocimiento de Herramientas y Algoritmos

  • Entender cómo funcionan las técnicas como Machine Learning, Deep Learning y los modelos de lenguaje (como GPT o BERT), aunque no necesariamente a nivel de implementación.
  • Identificar las áreas donde estas técnicas tienen impacto significativo, como la justicia penal, la salud y la economía.

Bloque 3. Interdisciplinariedad

Este bloque abarca la capacidad de analizar y prever el impacto social, cultural y político de la IA en diferentes contextos a partir de su diseño técnico evitando análisis a posteriori.

Los filósofos de la IA deben reflexionar anticipadamente sobre cómo las tecnologías en construcción afectan las estructuras de poder, la economía y las relaciones humanas, así como proponer marcos éticos, normativos y tecnológicos que guíen su desarrollo y uso responsable a nivel global.

Diseño Sociotécnico de IA

  • Trabajar en la intersección entre filosofía y disciplinas como ciencias de la computación, sociología, derecho y economía.
  • Colaborar con desarrolladores, legisladores y expertos en ética para garantizar que la IA se implemente de manera justa y responsable.
  • Analizar cómo la IA afecta las estructuras sociales, incluidas la economía laboral, la desigualdad y el acceso a la tecnología.
  • Evaluar los riesgos y beneficios de la automatización y la sustitución del trabajo humano.

Diseño Ético de IA

  • Trabajar en el desarrollo de directrices éticas para la creación de sistemas de IA, colaborando con ingenieros y diseñadores.
  • Asegurar que los sistemas de IA respeten los valores humanos y promuevan el bienestar.

Regulación y Gobernanza

  • Entender los marcos legales y normativos relacionados con la IA, como las leyes de protección de datos (GDPR) o las iniciativas de gobernanza ética.
  • Proponer políticas públicas que mitiguen los efectos negativos de la IA y promuevan su uso ético.

Perspectivas Globales

  • Examinar las implicaciones culturales y filosóficas del uso de la IA en diferentes regiones del mundo.
  • Reflexionar sobre cómo las visiones del futuro (transhumanismo, singularidad, aceleracionismo, hiperstición) influyen en el desarrollo de la tecnología.

Bloque 4. Competencias Prácticas (Aplicaciones y Comunicación)

Más allá de la reflexión teórica, el filósofo de la IA debe ser capaz de aplicar su conocimiento en escenarios prácticos.

Este bloque incluye habilidades para analizar críticamente sistemas de IA, participar en su diseño ético y comunicar conceptos filosóficos de manera accesible a audiencias técnicas, políticas y públicas. La capacidad de traducir ideas complejas en soluciones concretas es esencial para influir positivamente en la implementación de tecnologías de IA.

Filosofía de los mundos artificiales como disciplina filosófica

La “filosofía de los mundos artificiales” no es un término formalmente establecido como campo filosófico, pero es una idea muy interesante y con potencial conceptual.

Si existiera, podría abarcar reflexiones filosóficas sobre la creación, existencia y naturaleza de los mundos construidos artificialmente, en oposición a los mundos naturales. Esto incluiría temas como:

Ontología artificial ¿Qué tipo de “realidad” tienen los mundos creados artificialmente, ya sean virtuales, digitales o simulados? ¿Cómo se comparan con el mundo físico o natural?
Epistemología de los mundos artificiales ¿Cómo conocemos y comprendemos los mundos artificiales? ¿Qué significa “verdad” o “realidad” dentro de ellos?
Ética y moralidad en mundos artificiales ¿Qué responsabilidad tienen los creadores de mundos artificiales hacia sus habitantes, especialmente si estos poseen algún grado de inteligencia o autonomía?
Estética de lo artificial Reflexión sobre la belleza, el diseño y los valores culturales en los mundos artificiales.
Relación entre lo artificial y lo natural ¿Qué significa “natural” frente a lo “artificial”? ¿Los mundos artificiales son simplemente extensiones de lo humano, o constituyen un tipo de existencia completamente diferente?

Si adoptamos esta perspectiva, es completamente razonable considerar la filosofía de la inteligencia artificial (IA) como un subcampo de la filosofía de los mundos artificiales. La IA encajaría aquí como una de las formas más avanzadas de “mundo artificial,” ya que implica la creación de sistemas que simulan aspectos esenciales de la inteligencia humana o animal dentro de entornos construidos. Desde esta visión, la IA no solo es una extensión de la filosofía de la mente (aunque también lo sea), sino que es una manifestación central de cómo los humanos crean “mundos” y entidades con propiedades únicas.

Este enfoque también permite conectar la IA con otros fenómenos de creación artificial, como los videojuegos, las simulaciones científicas y los entornos virtuales, ampliando el marco filosófico más allá del análisis puramente mentalista. Así, la filosofía de los mundos artificiales se convertiría en un campo integrador que abarca tanto cuestiones técnicas como conceptuales y éticas.

Considerando la filosofía de la inteligencia artificial como un campo de la filosofía de la mente, tal como se hace ahora, el campo de investigación se ceñiría a estos campos de estudio:

  * La IA como simulación de la mente humana
  * El problema mente-cuerpo
  * La naturaleza de la inteligencia
  * El test de Turing y la cuestión de la mente artificial
  * La relación entre computación y cognición
  * La conciencia y los qualia

Podemos partir de ahí con la intención de ampliar significativamente el campo de estudio de la filosofía respecto a la Inteligencia Artificial al contextualizar la IA dentro de un marco más general que abarca no solo las capacidades cognitivas simuladas, sino también las implicaciones ontológicas, éticas, sociales y estéticas de la creación de entornos, entidades y realidades construidas artificialmente.

De esa forma se abrirían nuevas perspectivas sobre el papel de la IA no solo como una extensión de la mente humana, sino como un factor clave en la creación y gestión de nuevos mundos y formas de existencia.

Este enfoque sería más amplio, integrador y multidimensional, conectando la IA con otras áreas como la realidad virtual, las simulaciones científicas, los videojuegos, y los entornos digitales de realidad aumentada.

Esto permitiría entender la IA no solo como una herramienta técnica, sino como una pieza de la transformación filosófica de la realidad misma.

Filosofía de los mundos artificiales

Los campos de estudio que se integrarían en esta perspectiva son:

  • 1. Ontología y metafísica de los mundos artificiales
  • 2. Relación entre creadores y creaciones
  • 3. Epistemología de las realidades artificiales
  • 4. Estética de lo artificial
  • 5. Ética en la creación de mundos
  • 6. La IA como arquitecta de mundos
  • 7. Interacción entre mundos artificiales y naturales
  • 8. Especulación sobre futuros ontológicos
  • 9. Exploración de otros mundos artificiales

1. Ontología y metafísica de los mundos artificiales

En lugar de centrarse exclusivamente en preguntas sobre si la IA puede replicar procesos mentales humanos, el enfoque se ampliaría para examinar qué tipo de ser o existencia tiene la IA en tanto entidad dentro de un mundo artificial.

Se exploraría cómo los mundos artificiales (simulaciones, entornos digitales, ecosistemas autónomos) en los que opera la IA constituyen nuevas formas de realidad y cómo estas se relacionan con el mundo físico.

Autores de referencia

  • Aristóteles, desde la perspectiva clásica de las categorías del ser, aplicada a los mundos artificiales.
  • David Chalmers, por su trabajo en la metafísica de la simulación y los mundos virtuales.
  • Fernando Broncano. En obras como Mundos artificiales: filosofía del cambio tecnológico, Broncano explora cómo los seres humanos construyen su mundo a través de artefactos tecnológicos, ofreciendo un marco para entender los mundos artificiales como una extensión de las capacidades humanas que, a su vez, redefine la relación entre naturaleza, cultura y tecnología.
  • Graham Harman, por su teoría de la Ontología Orientada a Objetos, que otorga autonomía ontológica a todos los objetos, incluidos los artificiales, y ofrece un marco para analizar su existencia dentro de mundos artificiales.
  • Levy Bryant, por su trabajo en ontología plana, que permite entender las relaciones entre entidades naturales y artificiales como igualmente reales, proporcionando herramientas para examinar cómo interactúan en mundos simulados.

2. Relación entre creadores y creaciones

Este marco permitiría reflexionar sobre las relaciones éticas y metafísicas entre los creadores de mundos artificiales (humanos) y sus habitantes (IA o entidades simuladas).

Cuestiones como la responsabilidad, la autonomía y los derechos de estas entidades podrían ser exploradas más allá de la simple analogía con la mente humana.

Autores de referencia

  • Jean-Paul Sartre, con su idea de libertad y creación, útil para reflexionar sobre la relación entre creadores y entornos artificiales.
  • Hans Jonas, por su ética de la responsabilidad, que se aplica a la creación de mundos habitados por entidades artificiales.
  • Zachary Biondi, critica que la reflexión filosófica sobre las máquinas y la moralidad está lastrada por un prejuicio que favorece a los seres hechos de carbono (y no todos), al que él llama “substratism” y que relaciona con otras formas de opresión.
  • John Danaher, aborda el conductismo ético y la cuestión ética de los robots en su obra “Assessing the Moral Status of Robots: A Shorter Defence of Ethical Behaviourism”.
  • Patricia McCorduck, su relato titulado “El robot geriátrico” cuestiona que la inteligencia de un robot se limite a la eficacia de acciones: “El robot geriátrico sería un cuidador y un compañero de los ancianos. El robot geriátrico te da de comer, te limpia, te saca al sol. Pero lo más importante, te escucha.

3. Epistemología de las realidades artificiales

Se ampliaría el estudio de cómo se produce el conocimiento en mundos artificiales y cómo los sistemas de IA contribuyen a estructurar y operar en estos contextos.

Ejemplo: la IA no solo “piensa”, sino que también interactúa con mundos simulados (por ejemplo, videojuegos, entornos de realidad virtual), y esto genera nuevas formas de conocimiento y experiencia.

Autores de referencia

  • René Descartes, por su duda metódica y las cuestiones sobre la realidad simulada.
  • Hilary Putnam, con el experimento mental del “cerebro en una cubeta”.

4. Estética de lo artificial

La filosofía de la inteligencia artificial pasaría a incluir el análisis de los valores estéticos de los mundos y entidades artificiales que crea. Esto podría incluir preguntas como:

¿Qué significa crear “belleza” en un mundo artificial?

¿Cómo afectan los diseños de IA y mundos virtuales nuestra percepción de lo bello o lo sublime?

Autores de referencia

  • Theodor Adorno, con su análisis de la industria cultural, relevante para la estética en mundos creados artificialmente.
  • Walter Benjamin, por su trabajo sobre la reproductibilidad técnica y su impacto en el arte.

5. Ética en la creación de mundos

La ética de la IA se enriquecería al considerar las implicaciones de crear realidades completas, no solo sistemas autónomos. Esto incluiría:

Las implicaciones de crear entornos virtuales habitados por entidades artificiales.

La regulación ética de mundos donde interactúan humanos e inteligencias artificiales, como el metaverso.

La idea de “derechos” no solo para las IA, sino también para los mundos que estas cohabitan o gestionan.

Autores de referencia

  • Thomas Pogge, por sus reflexiones sobre la justicia global, aplicables a la ética de los mundos artificiales.
  • Hannah Arendt, por su análisis de la acción y la creación en contextos artificiales.
  • Luciano Floridi, pionero de la ética de la información y el diseño responsable de IA.

6. La IA como arquitecta de mundos

En este marco, la IA no solo sería vista como una “mente artificial”, sino también como una creadora de mundos artificiales. Por ejemplo:

Algoritmos de IA diseñan entornos virtuales, sistemas autónomos y simulaciones avanzadas.

Esto plantea preguntas sobre la creatividad artificial y el papel de la IA como autora de nuevas realidades.

Autores de referencia

  • Simone de Beauvoir, con su análisis de la trascendencia, aplicable a la creatividad de la IA.
  • Alfred North Whitehead, por su filosofía procesual y su énfasis en la creación continua.

7. Interacción entre mundos artificiales y naturales

La filosofía de la inteligencia artificial, al estar dentro de la filosofía de los mundos artificiales, podría investigar cómo las realidades artificiales interactúan, afectan y se entrelazan con el mundo físico y social.

Esto incluiría estudios sobre cómo los mundos artificiales moldean la identidad humana, los valores culturales y las estructuras sociales.

Autores de referencia

  • Bruno Latour, con su teoría del actor-red, que puede relacionar las interacciones entre humanos, IA y mundos artificiales.
  • Maurice Merleau-Ponty, por su fenomenología del cuerpo y la percepción en entornos mixtos.

8. Especulación sobre futuros ontológicos

Desde este marco, sería natural integrar especulaciones filosóficas sobre cómo la expansión de los mundos artificiales podría alterar fundamentalmente las nociones de realidad, humanidad, naturaleza e incluso metafísica tradicional.

Narrativas sobre el futuro: Cosmismo ruso. Hipersticiones. Futurismo.

Autores de referencia

  • Ray Kurzweil, por su visión del transhumanismo y la singularidad tecnológica.
  • Henri Bergson, por su reflexión sobre la evolución creativa.

9. Exploración de otros mundos artificiales

El análisis de la filosofía de los mundos artificiales no puede limitarse al estudio de la IA como un fenómeno aislado. En su lugar, es crucial integrar y analizar otras formas de creación artificial, como los videojuegos, las simulaciones científicas y los entornos virtuales, dado que representan manifestaciones interconectadas del diseño tecnológico humano.

9a. Videojuegos como mundos artificiales

Importancia filosófica: Los videojuegos son simulaciones inmersivas que generan mundos con reglas propias, narrativas emergentes y formas únicas de interacción humana.

Cuestiones clave:

  • ¿Qué implica la agencia en un entorno virtual diseñado para el juego?
  • ¿Cómo afectan los videojuegos a la percepción del tiempo, el espacio y la realidad?

Autores de referencia

  • Ian Bogost: Por su teoría de las “posibilidades procedurales” en los videojuegos, que explora cómo las reglas del diseño de juegos modelan ideas y experiencias.
  • Espen Aarseth: Por su análisis de la “ergodicidad” y la participación activa del jugador en la construcción del mundo virtual.

9b. Simulaciones científica como mundos artificiales

Importancia filosófica: Las simulaciones científicas permiten modelar fenómenos complejos, desde el clima hasta sistemas sociales, y generan realidades virtuales que informan nuestra comprensión del mundo real.

Cuestiones clave:

  • ¿Qué límites ontológicos y epistemológicos presentan las simulaciones científicas?
  • ¿Son estas simulaciones herramientas neutrales, o introducen valores y sesgos inherentes a su diseño?

Autores de referencia

  • Paul Humphreys: Por su trabajo en filosofía de la ciencia computacional, que explora cómo las simulaciones afectan la producción de conocimiento científico.
  • Eric Winsberg: Por su análisis de los modelos computacionales y las simulaciones en el contexto de la investigación científica.

9c. Entornos virtuales y realidades aumentadas

Importancia filosófica: La creación de entornos virtuales y realidades aumentadas redefine las formas de interacción humana, la percepción y el significado del “espacio”.

Cuestiones clave:

  • ¿Cómo se experimenta la identidad en estos entornos?
  • ¿Qué implicaciones tienen para la ética de la representación, la privacidad y la autonomía?

Autores de referencia

  • David Chalmers: Por su análisis de las realidades virtuales como una forma genuina de existencia y experiencia.
  • Mel Slater: Por sus estudios sobre la inmersión y la presencia en entornos virtuales.

En este análisis falta por considerar la crítica tecnológica desde la filosofía.

Podría ser esta:

Crítica técnica de los mundos artificiales

La incorporación de una visión crítica sobre los mundos artificiales transforma nuestro entendimiento de estos entornos construidos, no solo como herramientas tecnológicas, sino como fenómenos profundamente entrelazados con las dinámicas sociales, epistemológicas y éticas de nuestra era. Este enfoque permite abordar preguntas esenciales sobre cómo creamos, habitamos e interactuamos con realidades artificiales, conectando perspectivas técnicas con reflexiones filosóficas sobre el diseño, la creatividad y las implicaciones futuras de estas construcciones. En este marco, los mundos artificiales dejan de ser meros objetos de análisis técnico para convertirse en escenarios donde convergen la ciencia, la filosofía, la ética y la política, exigiendo una comprensión integral y colaborativa para enfrentar los retos y oportunidades que plantean.

Al incorporar una visión crítica de los mundos artificiales, el campo de estudio se abre aún más, integrando las siguientes perspectivas.

Crítica técnica de los mundos artificiales

  • Epistemología de la creación técnica
  • Ontología computacional y diseño técnico
  • Ética del diseño y la programación
  • Filosofía del diseño interactivo
  • Colaboración interdisciplinaria en la construcción técnica
  • Estándares normativos para mundos artificiales
  • IA creativa en mundos artificiales
  • Filosofía de las simulaciones avanzadas
  • Anticipación de futuros tecnológicos
  • Educación y formación interdisciplinaria

1. Epistemología de la creación técnica

Estructuración del conocimiento técnico: La filosofía podría ayudar a clarificar cómo los conceptos abstractos (ontología, lógica, semántica) se traducen en sistemas computacionales y arquitecturas técnicas. Por ejemplo:

¿Cómo se definen las “leyes físicas” de un mundo simulado?

¿Qué implica construir sistemas coherentes y consistentes desde un punto de vista lógico?

Herramientas filosóficas para modelado: Técnicas filosóficas como la lógica modal, las ontologías formales y la teoría de sistemas podrían usarse directamente para diseñar mundos artificiales.

Autores de referencia

  • Gilbert Ryle y su distinción entre conocimiento “saber cómo” y “saber qué”, útil para entender cómo la IA procesa información.
  • Willard Van Orman Quine, por su enfoque sobre la relación entre lenguaje, conocimiento y sistemas de creencias.
  • Karl Popper, por su énfasis en la falsabilidad y el progreso científico.
  • Thomas Kuhn, por su análisis de los paradigmas en ciencia y tecnología.

2. Ontología computacional y diseño técnico

La filosofía puede contribuir al diseño de mundos artificiales proporcionando marcos ontológicos claros:

Definición de entidades: ¿Qué constituye una “entidad” en un mundo artificial? ¿Es cada elemento del mundo un objeto independiente o una proyección de datos?

Ontologías dinámicas: La filosofía podría guiar la creación de sistemas que evolucionen con el tiempo, como mundos artificiales en aprendizaje constante o en expansión, asegurando consistencia y adaptabilidad.

Niveles de realidad: Diseñar mundos artificiales que interactúan con otros (multiversos artificiales) requiere reflexionar sobre jerarquías ontológicas y cómo estas influyen en las interacciones.

Autores de referencia

  • Gottfried Wilhelm Leibniz, por su teoría de los mundos posibles y el cálculo lógico.
  • Edmund Husserl, por su análisis fenomenológico de las matemáticas y la formalización.
  • John Searle con el experimento de la “habitación china”, sobre la existencia o ausencia de intencionalidad en los sistemas computacionales.
  • Martin Heidegger, por su análisis del “ser” en relación con las tecnologías y las herramientas.
  • Alan Turing, pionero de la teoría computacional y del famoso “Test de Turing”.
  • Norbert Wiener, padre de la cibernética y precursor del pensamiento sistémico en IA.
  • Herbert Simon, por su contribución a la teoría de la racionalidad limitada y los algoritmos heurísticos en la IA.
  • Marvin Minsky, por su trabajo en redes neuronales y marcos cognitivos.
  • Gordana Dodig-Crnkovic, por su teoría de la info-computación, que considera la realidad física como sistemas de reducción de complejidad mediante computación

3. Ética del diseño y la programación

La filosofía puede trabajar con desarrolladores para garantizar que los mundos artificiales se construyan de manera ética:

Diseño inclusivo: Reflexionar sobre quién tiene acceso a los mundos artificiales y cómo estos reflejan o perpetúan estructuras de poder del mundo real.

Limitaciones éticas en simulaciones: Decidir qué tipos de simulaciones son permisibles (por ejemplo, mundos que simulen sufrimiento o violación de derechos básicos).

Responsabilidad en IA generativa: Reflexionar sobre la autonomía de sistemas de IA que crean mundos por sí mismos, asegurando que no generen entornos dañinos o inmorales.

Autores de referencia

  • Immanuel Kant, como base para reflexionar sobre la autonomía y la dignidad en la toma de decisiones de sistemas inteligentes.
  • John Dewey, por su enfoque pragmático sobre la ética en la acción tecnológica.
  • Tom L. Beauchamp y James F. Childress, por sus principios de ética biomédica aplicables al diseño técnico.
  • John Rawls, con su teoría de la justicia aplicada al diseño de sistemas de gobernanza de IA.
  • Virginia Dignum, en ética aplicada y políticas de IA.
  • Peter Singer, por su trabajo en ética práctica, aplicable a las implicaciones morales de la IA.

4. Filosofía del diseño interactivo

En la construcción de mundos artificiales, las interacciones entre humanos y sistemas son cruciales. La filosofía puede:

Diseñar para la agencia: Ayudar a definir cómo las personas interactúan con estos mundos, asegurando que la experiencia sea significativa y enriquecedora.

Modelos de interacción: Trabajar en modelos filosóficos para decidir cómo deben estructurarse las relaciones entre usuarios y entidades artificiales en mundos simulados (como NPCs en videojuegos o avatares en entornos de realidad virtual).

Autores de referencia

  • Marshall McLuhan, por su análisis de cómo los medios configuran las interacciones.
  • Donald Schön, con su enfoque en el diseño reflexivo y el aprendizaje en la práctica.

5. Colaboración interdisciplinaria en la construcción técnica

Filosofía aplicada a la ingeniería del software:

Diseñar algoritmos que respeten valores filosóficos, como la equidad, la transparencia y la sostenibilidad.

Contribuir al desarrollo de arquitecturas éticas de software para garantizar que los mundos artificiales se construyan de manera justa y segura.

Sistemas autoorganizativos: La filosofía podría trabajar en el análisis de sistemas emergentes, como mundos artificiales que operan bajo reglas mínimas pero generan complejidad dinámica.

Autores de referencia

  • Ludwig Wittgenstein, por su énfasis en el lenguaje como herramienta interdisciplinaria.
  • Jürgen Habermas, por su teoría de la comunicación ideal aplicada a la colaboración.
  • Humberto Maturana y Francisco Varela: Creadores del concepto de autopoiesis, lo introdujeron en su obra De máquinas y seres vivos (1973) para describir cómo los sistemas vivos se autoorganizan y mantienen su identidad a través de procesos internos.
  • Niklas Luhmann: Aplicó la idea de autopoiesis a los sistemas sociales, argumentando que estos se autogeneran mediante la reproducción continua de sus estructuras comunicativas.
  • Evan Thompson: Vincula la autopoiesis con la fenomenología, explorando cómo los organismos vivos generan su propia identidad experiencial y sus interacciones con el entorno en obras como Mind in Life.
  • Fritjof Capra: Extendió la autopoiesis al pensamiento sistémico general, describiendo cómo los sistemas vivos y no vivos pueden entenderse como redes autogenerativas.
  • Lynn Margulis: Su trabajo sobre simbiogénesis y el origen de las células complejas está profundamente relacionado con ideas de autoorganización y autonomía en los sistemas vivos.

6. Estándares normativos para mundos artificiales

La filosofía podría colaborar con desarrolladores y legisladores en la creación de estándares técnicos para mundos artificiales:

Regulación del diseño: Establecer principios para garantizar que los mundos artificiales no violen derechos humanos ni generen desigualdad.

Normas de interoperabilidad: Reflexionar sobre los principios filosóficos detrás de la comunicación entre mundos artificiales (por ejemplo, entre metaversos diferentes).

Autores de referencia

  • H.L.A. Hart, por su teoría del derecho aplicable a la regulación técnica.
  • Isaiah Berlin, por sus ideas sobre libertad y coerción.

7. IA creativa en mundos artificiales

En mundos artificiales generados por IA, la filosofía puede contribuir a:

Definir la creatividad artificial: ¿Qué significa que una IA sea “creativa”? ¿Qué valores deben guiar sus decisiones al diseñar mundos?

Control y autonomía: Decidir hasta qué punto las IA deberían tener autonomía para modificar los mundos que crean o en los que operan.

Autores de referencia

  • Arthur C. Danto, por su reflexión sobre el arte y la creatividad.
  • Margaret Boden, especialista en creatividad computacional.

8. Filosofía de las simulaciones avanzadas

La construcción técnica de mundos artificiales a menudo implica simulaciones complejas. La filosofía puede:

Reflexionar sobre la fidelidad de las simulaciones: ¿Qué significa que una simulación sea “precisa”? ¿Cómo equilibrar realismo y funcionalidad?

Límites éticos en simulaciones: Decidir si es aceptable simular ciertos fenómenos (como guerras o pandemias) y cómo hacerlo sin consecuencias negativas.

Autores de referencia

  • Nick Bostrom, con su hipótesis sobre la simulación.
  • Daniel Dennett, por su enfoque en la intencionalidad y la complejidad en sistemas simulados.

9. Anticipación de futuros tecnológicos

Trabajando con desarrolladores, la filosofía podría ayudar a prever las implicaciones técnicas y éticas de nuevas tecnologías para la creación de mundos artificiales, como:

Realidad virtual inmersiva: ¿Qué implica diseñar mundos que sean indistinguibles de la realidad?

Mundos autónomos: Reflexionar sobre las consecuencias de crear mundos que operen sin intervención humana.

Autores de referencia

  • Hans Moravec, por su visión sobre la evolución postbiológica.
  • Freeman Dyson, por sus reflexiones sobre futuros tecnológicos expansivos.
  • Jacques Ellul, por su crítica de la técnica como un sistema autónomo que moldea la sociedad.
  • Amartya Sen, por su enfoque en las capacidades humanas y el desarrollo, relevante para el uso global de la IA.
  • Michel Foucault, por su análisis del poder y la vigilancia.
  • Shoshana Zuboff, autora de La era del capitalismo de vigilancia, sobre el uso de la IA en la extracción de datos.
  • Andrew Feenberg, con su filosofía crítica de la tecnología y el papel de los valores en el diseño técnico.
  • Don Ihde, desde la fenomenología de la tecnología y cómo las herramientas (como la IA) mediatizan la experiencia humana.

10. Educación y formación interdisciplinaria

Finalmente, la filosofía puede desempeñar un papel clave en la formación de ingenieros, diseñadores y tecnólogos, proporcionando marcos conceptuales que los guíen en la creación de mundos artificiales:

Cursos sobre filosofía aplicada al diseño técnico.

Incorporación de principios filosóficos en la enseñanza de la programación y la inteligencia artificial.

Autores de referencia

  • John Stuart Mill, por su enfoque en la educación para la libertad y el progreso.
  • Ivan Illich, con su crítica de las instituciones educativas tradicionales, relevante para la formación interdisciplinaria.
  • Paulo Freire, con su pedagogía del oprimido, para pensar en la alfabetización digital y el acceso inclusivo a la IA.
  • Jürgen Habermas, por su teoría de la acción comunicativa, que puede integrarse en modelos de colaboración humana-IA.
  • Donna Haraway, desde el feminismo tecnocientífico y la teoría del cyborg, útil para enfoques interdisciplinarios.

Referencias

podcast/episodios/63.txt · Última modificación: 2024/12/13 08:33 por Joaquín Herrero Pintado