Herramientas de usuario

Herramientas del sitio


podcast:episodios:17

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anterior Revisión previa
Próxima revisión
Revisión previa
podcast:episodios:17 [2019/12/20 11:05]
Joaquín Herrero Pintado [¿Cómo será la convivencia entre el humano y la Inteligencia Artificial?]
podcast:episodios:17 [2022/06/23 09:40] (actual)
Joaquín Herrero Pintado [Judea Pearl y Yoshua Bengio: Causalidad]
Línea 1: Línea 1:
 ~~NOTOC~~ ~~NOTOC~~
-====== Episodio ​15Inteligencia Artificial porvivir, ​que son dos días ====== +====== Episodio ​17Es posible ​que la IA sea sensible. No hay quien vea si será una buena idea #Porvivir======
- +
-{{:​podcast:​episodios:​future-next-exit.jpg?​260 |}} +
-Inauguramos nuestra serie de la "​Filosofía del Porvivir"​ con este episodio sobre Inteligencia Artificial. ¿Qué mundo estamos construyendo?​  +
- +
-La breve pero intensa historia de este campo de investigación,​ 60 años, nos enseña que no está todo dicho respecto a cómo hacer que las máquinas tengan comportamiento inteligente. Acudiremos a Geoff Hinton, Gary Marcus y Marvin Minsky para obtener pistas de cómo podría ser la Inteligencia Artificial del futuro. +
- +
-¿Es la Inteligencia Artificial un conocimiento acabado y del que tan solo cabe explotar su utilidad? ¿Hay modelos de Inteligencia Artificial en pugna? ¿Se está fabricando una tecnocracia en el tema de la Inteligencia Artificial que excluye a los ciudadanos de las decisiones sobre qué modelo usar? ¿Qué podemos hacer los ciudadanos para desarrollar una visión crítica sobre este campo tan especializado? ​+
  
 +{{:​podcast:​episodios:​julyandme-pio-pio.jpg?​260 |}}
 +La filosofía del porvivir se proyecta hacia el futuro. Bajo esa premisa [[podcast:​episodios:​15|en el primer episodio de la serie, dedicado a la inteligencia artificial]],​ y a partir de los conceptos fundamentales de la filosofía de la mente, Yashir P. Casas dejó una serie de preguntas abiertas que pueden iniciar el camino para el debate:
  
 +Con el conocimiento actual, y viendo hacia donde parece que nos lleva la tecnología,​ **¿Cuál será el concepto de lo humano en el futuro?**. Llegados a un escenario de cierta estabilidad de la inteligencia artificial y situados en este posthumanismo,​ **¿Cómo será la convivencia entre el hombre y la inteligencia artificial?​**. Al hilo de esta convivencia,​ surgen dos cuestiones relevantes: Inteligencia artificial frente al trabajo, cuáles serán los **modelos laborales del futuro**, y qué **implicaciones éticas** tiene esta relación entre el hombre y la máquina inteligente. En una perspectiva aún más global, establecidas las posibles relaciones de la inteligencia artificial con el mercado y el consumo, **¿Cómo será la interacción entre la inteligencia artificial y el ecosistema y la sostenibilidad?​**
  
 +Hoy comenzaremos indagando cómo podrían ser los seres artificiales inteligentes del futuro y cuál será nuestra convivencia con ellos. Lo haremos de la mano de los trabajos del neurocientífico Antonio Damasio y del informático y filósofo Judea Pearl.
  
 “La filosofía no sirve para nada” es un podcast sin pretensiones en el que reflexionaremos sobre el presente. ​ “La filosofía no sirve para nada” es un podcast sin pretensiones en el que reflexionaremos sobre el presente. ​
  
-Participan: Joaquín Herrero @joakinen, José Carlos García @quobit, Juan Carlos Barajas @sociologiadiver, Yashir P. Casas, Rodrigo Barajas ​y Sergio Muñoz @smunozroncero+Participan: Joaquín Herrero @joakinen, José Carlos García @quobit, Juan Carlos Barajas @sociologiadiver y Sergio Muñoz @smunozroncero
  
  
Línea 31: Línea 28:
  
 <​html>​ <​html>​
-IVOOX IFRAME+<iframe id='​audio_45706186'​ frameborder='​0'​ allowfullscreen=''​ scrolling='​no'​ height='​200'​ style='​border:​1px solid #EEE; box-sizing:​border-box;​ width:​100%;'​ src="​https://​www.ivoox.com/​player_ej_45706186_4_1.html?​c1=ff6600"></​iframe>​
 </​html>​ </​html>​
  
Línea 46: Línea 43:
  
  
- 
- 
-====== Episodio 17 ====== 
- 
- 
-La filosofía del porvivir se proyecta hacia el futuro. Bajo esa premisa en el primer capítulo de la serie, dedicado a la inteligencia artificial, y a partir de los conceptos fundamentales de la filosofía de la mente, Yashir P. Casas dejó una serie de preguntas abiertas que pueden iniciar el camino para el debate: 
- 
-  * Con el conocimiento actual, y viendo hacia donde parece que nos lleva la tecnología,​ **¿Cuál será el concepto de lo humano en el futuro?** 
-  * Llegados a un escenario de cierta estabilidad de la inteligencia artificial y situados en este posthumanismo,​ **¿Cómo será la convivencia entre el hombre y la inteligencia artificial?​** 
-  * Al hilo de esta convivencia,​ surgen dos cuestiones relevantes: Inteligencia artificial frente al trabajo, cuáles serán los **modelos laborales del futuro**, y qué **implicaciones éticas** tiene esta relación entre el hombre y la máquina inteligente. 
-  * En una perspectiva aún más global, establecidas las posibles relaciones de la inteligencia artificial con el mercado y el consumo, **¿Cómo será la interacción entre la inteligencia artificial y el ecosistema y la sostenibilidad?​** 
- 
-Por último, abriendo la puerta al transhumanismo y a sus corrientes, **¿Podría volcarse la mente humana en un ordenador?​** 
  
 ===== Man versus Machine ===== ===== Man versus Machine =====
Línea 67: Línea 51:
  
  
-No debemos desdeñar sin más estas líneas de la ficción especulativa,​ porque a mi juicio suponen una fuente muy fiable e interesante de anticipación a los problemas que podríamos llegar a afrontar. En este sentido, en el [[http://​research.iac.es/​proyecto/​coffeebreak/?​p=1938|capítulo 244 del podcast "Coffe Break: Señal y Ruido"​]] han comentado el reciente estudio publicado por el neurocientífico Antonio Damasio en Nature, en el que reivindica una exploración de las capacidades de supervivencia de la inteligencia artificial como medio para su evolución, a través de sus conocida tesis de la [[https://​www.intramed.net/​contenidover.asp?​contenidoid=92338|homeostasis]] aplicada a la IA. +No debemos desdeñar sin más estas líneas de la ficción especulativa,​ porque a nuestro ​juicio suponen una fuente muy fiable e interesante de anticipación a los problemas que podríamos llegar a afrontar. En este sentido, en el [[http://​research.iac.es/​proyecto/​coffeebreak/?​p=1938|capítulo 244 del podcast "Coffe Break: Señal y Ruido"​]] han comentado el reciente estudio publicado por el neurocientífico Antonio Damasio en Nature, en el que reivindica una exploración de las capacidades de supervivencia de la inteligencia artificial como medio para su evolución, a través de sus conocida tesis de la [[https://​www.intramed.net/​contenidover.asp?​contenidoid=92338|homeostasis]] aplicada a la IA. 
  
   * en torno al minuto 50 empiezan a hablar del algoritmo de google   * en torno al minuto 50 empiezan a hablar del algoritmo de google
Línea 76: Línea 60:
  
  
-Hicimos referencia al artículo de Damasio en [[https://​twitter.com/​FilosofiaNada/​status/​1182180188932726786?​s=19|este hilo de Twitter]] en el que decíamos: "​¡Interesante! Qué añadir a un robot para que surja la inteligencia creativa: deben gestionar su propia supervivencia,​ sentir dolor/​placer/​empatía,​ comprender la causalidad y ser afectados por contrafácticos. Un robot así nos permitiría estudiar filosóficamente la consciencia. El trabajo se centra en qué materiales permitirían a un robot ser vulnerable y sentir dolor pues se propone la necesidad de supervivencia como una clave de la creatividad. Pero nos han llamado la atención otras cosas filosóficamente relevantes. Por ejemplo, el hecho de que haya que implementar en el robot la comprensión de qué es causalidad y qué es un contrafáctico. El aprendizaje no consistiría solo en buscar correlaciones en muchos datos pues hay casos individuales tan relevantes que deben cambiar el comportamiento. La "​inferencia casual",​ propuesta por Judea Pearl y bien resumida en su libro "The Book of Why", planteaba la necesidad de incluir razonamiento contrafáctico en el campo de la Inteligencia Artificial. Parece que su mensaje está calando, como él mismo dice."+Hicimos referencia al artículo de Damasio en [[https://​twitter.com/​FilosofiaNada/​status/​1182180188932726786?​s=19|este hilo de Twitter]] en el que decíamos: "//¡Interesante! Qué añadir a un robot para que surja la inteligencia creativa: deben gestionar su propia supervivencia,​ sentir dolor/​placer/​empatía,​ comprender la causalidad y ser afectados por contrafácticos. Un robot así nos permitiría estudiar filosóficamente la consciencia. El trabajo se centra en qué materiales permitirían a un robot ser vulnerable y sentir dolor pues se propone la necesidad de supervivencia como una clave de la creatividad. Pero nos han llamado la atención otras cosas filosóficamente relevantes. Por ejemplo, el hecho de que haya que implementar en el robot la comprensión de qué es causalidad y qué es un contrafáctico. El aprendizaje no consistiría solo en buscar correlaciones en muchos datos pues hay casos individuales tan relevantes que deben cambiar el comportamiento. La "​inferencia casual",​ propuesta por Judea Pearl y bien resumida en su libro "The Book of Why", planteaba la necesidad de incluir razonamiento contrafáctico en el campo de la Inteligencia Artificial. Parece que su mensaje está calando, como él mismo dice.//"
  
 Citábamos un tuit del propio Judea Pearl en el que dice: "//​Dana Mackenzie y yo estamos contentos de que una de las personas que ayudó a desarrollar el aprendizaje profundo entienda esta limitación. Esperamos escribir una segunda edición de #Bookofwhy donde el capítulo diez será reemplazado por historias de éxito sobre cómo la IA superará su ceguera causal//"​. Pearl se está refiriendo a un tuit de un Paul Hünermund que dice "//​Yoshua Bengio está trabajando ya en inferencia causal y DAGs. El tema está ganando más y más impulso en la comunidad de ML e IA//". Al decir "​DAGs"​ se refiere a los [[https://​es.wikipedia.org/​wiki/​Grafo_ac%C3%ADclico_dirigido|Gráficos Acíclicos Dirigidos]] que Judea Pearl usa al modelar la causalidad. ​ Citábamos un tuit del propio Judea Pearl en el que dice: "//​Dana Mackenzie y yo estamos contentos de que una de las personas que ayudó a desarrollar el aprendizaje profundo entienda esta limitación. Esperamos escribir una segunda edición de #Bookofwhy donde el capítulo diez será reemplazado por historias de éxito sobre cómo la IA superará su ceguera causal//"​. Pearl se está refiriendo a un tuit de un Paul Hünermund que dice "//​Yoshua Bengio está trabajando ya en inferencia causal y DAGs. El tema está ganando más y más impulso en la comunidad de ML e IA//". Al decir "​DAGs"​ se refiere a los [[https://​es.wikipedia.org/​wiki/​Grafo_ac%C3%ADclico_dirigido|Gráficos Acíclicos Dirigidos]] que Judea Pearl usa al modelar la causalidad. ​
 +
 +{{ :​podcast:​episodios:​directed_acyclic_graph.png |}}
  
 Hünermund, a su vez, está citando un artículo de la revista Wired sobre [[https://​mila.quebec/​en/​yoshua-bengio/​|Yoshua Bengio]] titulado [[https://​www.wired.com/​story/​ai-pioneer-algorithms-understand-why|An AI Pioneer Wants His Algorithms to Understand the '​Why'​]] y que anuncian con un tuit que dice "//El aprendizaje profundo es bueno para encontrar patrones en una gran cantidad de datos, pero no puede explicar por qué conectados. El ganador del Premio Turing, Yoshua Bengio, quiere cambiar eso//​." ​ Hünermund, a su vez, está citando un artículo de la revista Wired sobre [[https://​mila.quebec/​en/​yoshua-bengio/​|Yoshua Bengio]] titulado [[https://​www.wired.com/​story/​ai-pioneer-algorithms-understand-why|An AI Pioneer Wants His Algorithms to Understand the '​Why'​]] y que anuncian con un tuit que dice "//El aprendizaje profundo es bueno para encontrar patrones en una gran cantidad de datos, pero no puede explicar por qué conectados. El ganador del Premio Turing, Yoshua Bengio, quiere cambiar eso//​." ​
Línea 88: Línea 74:
 En el episodio del pasado 11 de diciembre de su porcast "​Artificial Intelligence"​ Lex Fridman entrevista a Judea Pearl. ​ En el episodio del pasado 11 de diciembre de su porcast "​Artificial Intelligence"​ Lex Fridman entrevista a Judea Pearl. ​
  
-[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​preparacion:​judea-pearl-lex-fridman.png?​450|}}]] +[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​episodios:​judea-pearl-lex-fridman.png?​450|}}]] 
-[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​preparacion:​judea-pearl-they-bayesian-networks-need-human-expert.png?​450|}}]] +[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​episodios:​judea-pearl-they-bayesian-networks-need-human-expert.png?​450|}}]] 
-[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​preparacion:​judea-pearl-initial-model-could-be-very-qualitative.png?​450|}}]] +[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​episodios:​judea-pearl-initial-model-could-be-very-qualitative.png?​450|}}]] 
-[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​preparacion:​judea-pearl-one-variable-listens-to-the-other.png?​450|}}]] +[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​episodios:​judea-pearl-one-variable-listens-to-the-other.png?​450|}}]] 
-[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​preparacion:​judea-pearl-do-operator.png?​450|}}]]+[[https://​www.youtube.com/​watch?​v=pEBI0vF45ic|{{:​podcast:​episodios:​judea-pearl-do-operator.png?​450|}}]]
  
   * "The do-operator connects the operation of doing with something that you can see. So as opposed to the purely observing, you're making the choice to change a variable."​   * "The do-operator connects the operation of doing with something that you can see. So as opposed to the purely observing, you're making the choice to change a variable."​
Línea 103: Línea 89:
  
  
-Para Judea Pearl la IA basada en redes neuronales es **aprendizaje por asociación** mientras que el do-calculus en redes bayesianas, en grafos DAG, es un **aprendizaje por intervención**.+Para Judea Pearl la IA basada en redes neuronales es **aprendizaje por asociación** mientras que el [[https://​arxiv.org/​abs/​1305.5506|do-calculus]] en [[https://​es.wikipedia.org/​wiki/​Red_bayesiana|redes bayesianas]] codificadas como  ​grafos DAG, es un **aprendizaje por intervención**. Para información más detallada ver [[https://​slideplayer.com/​slide/​1652995/​|Gated Graphs and Causal Inference. Networks, processes and causality]],​ de Microsoft Research.
  
  
Línea 114: Línea 100:
 Los humanos también somos capaces de COMBINAR DIFERENTES MODELOS CAUSALES SIMPLES procedentes de nuestras experiencias en diversas disciplinas y somos también capaces de usar metáforas sobre las experiencias. Pearl considera que LAS METAFORAS SON LA BASE DE LA INTELIGENCIA HUMANA ya que son un SISTEMA EXPERTO, son una forma de enfrentarse a un problema desconocido haciéndolo corresponder con un problema conocido, que te resulta familiar. ¿Qué es un problema conocido? Es uno en el que las respuestas a ciertas preguntas entán explícitas,​ no hace falta derivarlas. Un buen jugador de ajedrez tiene ciertas reglas interiorizadas en un conocimiento explícito mientras que los que no sabemos jugar bien al ajedrez tenemos que pensar qué hacer en cada jugada, tenemos que derivar lo que para el experto es explícito. Esas respuestas explicitas han sido conocidas a través de repetir experimentos,​ intervenciones en el mundo (como cuando un niño juega con pelotas y aprende las leyes del movimiento y de los choques elásticos). ​ Pearl indica que toda nuestra inteligencia está construida alrededor de metáforas que hacen corresponder lo desconocido con lo conocido. Esto es "​razonamiento por metáforas"​. Sin embargo aún no hemos sigo capaces de construir algoritmos que metaforicen,​ esto es, que relacionen lo desconocido con un modelo del mundo que tenemos interiorizado. ​ Los humanos también somos capaces de COMBINAR DIFERENTES MODELOS CAUSALES SIMPLES procedentes de nuestras experiencias en diversas disciplinas y somos también capaces de usar metáforas sobre las experiencias. Pearl considera que LAS METAFORAS SON LA BASE DE LA INTELIGENCIA HUMANA ya que son un SISTEMA EXPERTO, son una forma de enfrentarse a un problema desconocido haciéndolo corresponder con un problema conocido, que te resulta familiar. ¿Qué es un problema conocido? Es uno en el que las respuestas a ciertas preguntas entán explícitas,​ no hace falta derivarlas. Un buen jugador de ajedrez tiene ciertas reglas interiorizadas en un conocimiento explícito mientras que los que no sabemos jugar bien al ajedrez tenemos que pensar qué hacer en cada jugada, tenemos que derivar lo que para el experto es explícito. Esas respuestas explicitas han sido conocidas a través de repetir experimentos,​ intervenciones en el mundo (como cuando un niño juega con pelotas y aprende las leyes del movimiento y de los choques elásticos). ​ Pearl indica que toda nuestra inteligencia está construida alrededor de metáforas que hacen corresponder lo desconocido con lo conocido. Esto es "​razonamiento por metáforas"​. Sin embargo aún no hemos sigo capaces de construir algoritmos que metaforicen,​ esto es, que relacionen lo desconocido con un modelo del mundo que tenemos interiorizado. ​
  
->Nota: En el episodio 3 estuvimos hablando de la metáfora y dijimos que el uso más fuerte de la metáfora es el que hace la filosofía orientada a los objetos, una filosofía natural contemporánea que pretende captar una realidad más completa que la que proporcionan los modelos científicos y asegura que solo podemos relacionarnos con la “realidad ahí fuera” mediante aproximaciones metaforicas. El libro de Ian Bogost Alien phenomenology. What is like to be a thing hace un repaso a esta filosofía que parte de la idea de Thomas Nagel (Whas is like to be a bat?) y llega a conclusiones diferentes. El capítulo 3 está dedicado entero al metaforismo de esta propuesta filosófica y que se titula así precisamente:​ “Metaphorism”.+//Nota: En el [[podcast:​episodios:​3|episodio 3]] estuvimos hablando de la metáfora y dijimos que el uso más fuerte de la metáfora es el que hace la filosofía orientada a los objetos, una filosofía natural contemporánea que pretende captar una realidad más completa que la que proporcionan los modelos científicos y asegura que solo podemos relacionarnos con la “realidad ahí fuera” mediante aproximaciones metaforicas. El libro de Ian Bogost Alien phenomenology. What is like to be a thing hace un repaso a esta filosofía que parte de la idea de Thomas Nagel (Whas is like to be a bat?) y llega a conclusiones diferentes. El capítulo 3 del libro está dedicado entero al metaforismo de esta propuesta filosófica y que se titula así precisamente:​ “Metaphorism”.//
  
 Indica Pearl que **estamos haciendo grandes progresos en el dominio del razonamiento causal**. Estos progresos son para él una **revolución causal**. En 30 años hemos hecho cosas que empequeñecen lo conseguido en el resto de historia humana. Estamos arrancando en el ejercicio de desarrollar modelos cualitativos del mundo, de cómo funciona el universo, que las máquinas usarán como punto de partida para derivar, aprender, todo lo que las matemáticas nos permitan aprender y llegar a respuestas cuantitativas a nuestras preguntas. Indica Pearl que **estamos haciendo grandes progresos en el dominio del razonamiento causal**. Estos progresos son para él una **revolución causal**. En 30 años hemos hecho cosas que empequeñecen lo conseguido en el resto de historia humana. Estamos arrancando en el ejercicio de desarrollar modelos cualitativos del mundo, de cómo funciona el universo, que las máquinas usarán como punto de partida para derivar, aprender, todo lo que las matemáticas nos permitan aprender y llegar a respuestas cuantitativas a nuestras preguntas.
Línea 145: Línea 131:
 En el artículo [[proyectos:​westworld:​start|]] Joaquín cita el trabajo de Broncano describiéndolo de esta forma: En el artículo [[proyectos:​westworld:​start|]] Joaquín cita el trabajo de Broncano describiéndolo de esta forma:
  
-[[proyectos:​westworld:​start|{{:​podcast:​preparacion:​broncano-emociones.png|}}]]+[[proyectos:​westworld:​start|{{:​podcast:​episodios:​broncano-emociones.png|}}]]
  
  
Línea 153: Línea 139:
  
  
-  * [[https://​www.eldiario.es/​tecnologia/​cientificos-Inteligencia-Artificial-prohibir-sostienen_0_975002803.html|Los científicos se cansan de la moda de la Inteligencia Artificial y piden prohibir algunos de sus usos.]]+El artículo  ​[[https://​www.eldiario.es/​tecnologia/​cientificos-Inteligencia-Artificial-prohibir-sostienen_0_975002803.html|Los científicos se cansan de la moda de la Inteligencia Artificial y piden prohibir algunos de sus usos]] ​contiene este gráfico que muestra muy bien los logros y carencias de la forma como actualmente estamos usando las técnicas de Inteligencia Artificial.
  
-{{:podcast:preparacion:​inteligencia-artificial-narayanan-universidad-eeuu_ediima20191217_0918_5.jpg?​nolink&​600|}}+{{ :podcast:episodios:​inteligencia-artificial-narayanan-universidad-eeuu_ediima20191217_0918_5.jpg?​nolink&​600 |}}
  
 ===== ¿Cómo será la convivencia entre el humano y la Inteligencia Artificial? ===== ===== ¿Cómo será la convivencia entre el humano y la Inteligencia Artificial? =====
  
-Si queremos evitar ​una convivencia como sometimiento a una tecnocracia ​que supuestamente usa formas ​de conocimiento superior deberíamos ​de hacer lo siguiente:​ +Hablamos sobre qué es mejor, si una inteligencia artificial autónoma ​que aprenda se su propia interacción con el mundo y se autocorrija o los sistemas actuales que buscan correlaciones en medio de un Big Data de información. ¿Queremos crear alguien semejante al personaje ​ [[https://es.wikipedia.org/​wiki/​Data_(Star_Trek)|DATA de la serie Star Trek]] aún a riesgo ​de que pueda convertirse en algo parecido a lo que era su hermano en dicha serie, el [[https://​es.wikipedia.org/​wiki/​Lore|personaje LORE]]?
- +
-  * Evitar el "​efecto halo de las matemáticas"​si las matemáticas son una ciencia exacta todo lo que se construya a partir de ellas es exacto y es verdad. +
-  * Mejorar nuestra formación en cierto tipo de matemáticas ​(por ejemplo, probabilidades). Hay numerosos podcast ​de divulgación y YouTubers muy buenos explicando ​de manera sencilla ​lo complicado. +
-  * Reivindicar a nuestros gobernantes legislación sobre  +
-    * los criterios con los que se construyen los algoritmos +
-    * los datos que se usan para alimentarlos para evitar sesgos (si no hay datos no sesgados hay que usar hibridación de tecnologías o habilitar mecanismos de corrección de sesgo)+
  
  
-===== Referencias ​=====+===== Otras referencias ​=====
  
 [[https://​www.netflix.com/​title/​80190844|Netflix:​ Documental sobre AlphaGo]] \\ [[https://​www.netflix.com/​title/​80190844|Netflix:​ Documental sobre AlphaGo]] \\
podcast/episodios/17.1576839927.txt.gz · Última modificación: 2019/12/20 11:05 por Joaquín Herrero Pintado