Inteligencia artificial basada en curiosidad
Un algoritmo de inteligencia artificial aprende a jugar a Super Mario Broos o a Doom una vez dotado de sentido de la curiosidad.
|
Se ha puesto de moda, otra vez, el asunto de la inteligencia artificial (IA). Ahora incluso es un poco más inteligente de lo que fue en el pasado.
Google es una de las empresas que está apostando por este campo. Así por ejemplo, crearon AlphaGo un programa de aprendizaje profundo que juega al go y que el año pasado ganó a un maestro de este juego. Sobre miles de juegos simulados y reales, este algoritmo va aprendiendo cómo alcanzar estrategias que le permitan ganar. En NeoFronteras ya vimos en su día cómo funcionaba. Esta semana ha jugado contra Ke Jie, que es considerado el mejor jugador del mundo de Go, y el resultado ha sido que AlphaGo ha ganado por 3 a 0.
En este tipo de aproximaciones convencionales a la IA, el aprendizaje se da por un reforzamiento positivo. Hay algún tipo de recompensa por alcanzar una determinada meta, como pueda ser ganar una partida de go o conseguir la mayor puntuación posible en un juego. O también puede ser detener al mayor número posible de enemigos del videojuegos como Super Mario Bros o Doom. Esto permite relegar estrategias que no sirvan para conseguir muchos puntos o que detengan a pocos enemigos en un videojuego de este tipo.
Pero el mundo real no está lleno de recompensas que permitan este tipo de aprendizaje. En su lugar los humanos tienen una curiosidad innata que les ayuda a aprender mientras exploran el mundo. Además sienten placer cuando sacian esa curiosidad.
Básicamente ese tipo de programas como AlphaGo carecen de una curiosidad que les permita explorar otras opciones, para bien o para mal. Un algoritmo con sentido de la curiosidad podría aprender por sí mismo a descubrir y resolver problemas con los que nunca se hubiera enfrentado previamente.
Según Deepak Pathak (University of California, Berkeley) puede que la curiosidad humana sea la razón por la cual seamos tan buenos en una amplia gama de destrezas sin que necesariamente nos tengamos que sentar a aprenderlas porque previamente hemos hecho otras.
Este investigador ha desarrollado una IA motivada por la curiosidad capaz de jugar bien al nivel 1 de Super Mario Bros. Hay otro tipo de programas jugando mejor a este tipo de juegos y basados en otras estrategias, pero lo interesante es cómo esta IA logra este objetivo. Aunque este algoritmo no pase de la primera fase del juego, es sorprendente que haya aprendido a explorar, evitar trampas y matar enemigos armado solamente con el “deseo” de descubrir más acerca del mundo en el que se desarrolla ese juego. De este modo, se puede “plantear” qué es lo que pasa si “aprieta” un botón virtual de ese juego, apretarlo por curiosidad y ver qué sucede.
La idea del proyecto era saber si un programa de IA podría aprender a realizar un conjunto de tareas a partir de un autorreforzamiento del aprendizaje que provendría precisamente del sentido de curiosidad.
El programa experimentaría una recompensa (¿placer por aprender?) cuando con sus acciones aumentase la comprensión del ambiente en el que se desarrolla el juego y, en particular, las partes que lo afectan directamente. Así que, en lugar de buscar directamente la recompensa en el mundo del juego, el algoritmo es recompensado por explorar y por mejorar las destrezas que le permiten seguir haciendo descubrimientos acerca de ese mundo.
La IA de Pathak también aprendió a detener a los enemigos y a saltar sobre las trampas en el juego de Doom mientras aprendía a explorar la complicada estructura de habitaciones y pasadizos de este otro juego. Una pasada esa experiencia y con este nuevo bagaje, esta IA fue capaz entonces de superar el nivel 1 de Super Mario Bros, pese a que antes no había sido capaz.
Pero este algoritmo, de momento, tiene sus limitaciones. En promedio sólo explorar el 30% del nivel 1 una vez que no es capaz de encontrar el camino por una serie de pozos que sólo se pueden evitar a través de una secuencia en la que se presionan más de 15 botones virtuales. Así que, en lugar de lanzarse a una muerte segura, esta IA aprendió a volver sobre sus pasos y a parar al llegar a ese punto. El problema es que la IA no tenía ni idea de que había más por explorar en ese nivel más allá de los pozos.
Tampoco consiguió aprender de forma consistente a tomar atajos útiles en el juego cuando le mostraron menos del nivel y entonces sus ganas de exploración no eran los suficientemente saciadas.
Este investigador pretende usar este tipo de algoritmo para que un brazo robótico aprenda por curiosidad a manipular objetos o que el robot aspiradora Roomba explore mejor una casa y pueda limpiar todos los rincones en lugar de moverse al azar. El tiempo dirá si esta idea está ya lo suficiente madura.
Según Max Jaderberg (compañía Google) este tipo de aproximación a la IA permite acelerar el tiempo de aprendizaje y mejorar la eficiencia. Google ya usa este tipo de algoritmos de IA para explorar laberintos. Su “agente” aprende mucho más rápido que los algoritmos convencionales de reforzamiento de aprendizaje por aproximación. Además, requiere de menos experiencia y es más eficiente con los datos.
Copyleft: atribuir con enlace a http://neofronteras.com/?p=5557
Fuentes y referencias:
Artículo original.
Fotos: Wikimedia Commons.
16 Comentarios
RSS feed for comments on this post.
Lo sentimos, esta noticia está ya cerrada a comentarios.
domingo 28 mayo, 2017 @ 11:54 am
Si se consigue una IA motivada por el placer de aprender,placer que es la recompensa, nos metemos de lleno en el tema de la consciencia (o conciencia). Y recordando a Turing, un cíborg híbrido de neuronas y neuristores (ligados a los algoritmos) se podría comportar como lo haría un cerebro humano, y si esto es así entonces debería de atribuirse a ese híbrido conciencia, con todo lo demás que esto conlleva.
Si todo es físico y no hay por ahí cosas de carácter mágico lo dicho anteriormente no debería sonar muy extraño. Por tanto el «teatro cartesiano» podría echar el telón definitivamente.
Y si hay algún límite en el desarrollo de la IA,más bién se deberá a límites a nuestra propia inteligencia o a límites de carácter tecnológico, pero no creo que sea a límites mágicos.
domingo 28 mayo, 2017 @ 12:05 pm
No tengo nada claro que pueda llamarse conciencia ni consciencia a lo que pueda mostrar un ente no biológico. Y, por descontado la magia no tiene lugar en este tema.
domingo 28 mayo, 2017 @ 12:09 pm
Estimado Tomás:
Es que es lo de siempre. En este caso se simula la curiosidad.
domingo 28 mayo, 2017 @ 3:37 pm
No, por ahí «no hay cosas de carácter mágico «. Lo que si hay con toda seguridad es la acción de fenómenos de tipo cuantico casi totalmente desconocidos hasta el presente, que hacen tan aparentemente misteriosa eso que llamamos conciencia.
domingo 28 mayo, 2017 @ 10:55 pm
Yo de Chez Google, ya es que nunca los tuve en mínima consideración, ni mucho menos a personajes zarzueleros como Marcos Montedeazúcar, sobre todo desde que el amigo Snowden nos ha sugerido muy explícitamente que el modelo de negocio de Google y amistades es financiación a saco en negro de la NSA, intervención descarada en el mercado publicitario (exactamente cómo ha funcionado los EEUU desde 1945 en todos los campos), y para más INRI, es que esto ni es nuevo, que Minsky ya anduvo vendiendo estas estampitas de Fátima, pero es que deja un olorcillo a «tenemos un montón de datos de los memos que cuentan su vida en las redes suciales y ni con 2 millones de personal externalizado pòdemos maniobrar».
Porque claro, los Cinco Ojos mueven unos 400 millones de personas en RRHH, comparados con los 1.300 chinos, que además tienen muchos más graduados y licenciados per cápita, me lleva a pènsar que les llevan una cierta ventaja.
En suma, todo esto no es más que afilar herramientas que ya existían y no creo que con ningún interés de tipo sociológico o conscienciológico (aunque nunca se sabe dónde salta la liebre, pero eso es otra), sobre todo porque yo en el mundo real (marca registrada) los veo perder de calle todos los días.
Yo tengo para mí que los chinos, que además tienen el supercomputador más potente del mundo mundial (hubo un pique durante una década, hasta que los EEUU les prohibieron usar sus chips, entonces los chinos usaron uno completamente diseñado por ellos, rompieron la baraja y el pique que iba 10, 12, 15, 18… saltó a 60 y sansa cabó), y para algo lo querrán, que para hacer pronósticos de quinielas sobra con la capacidad de computación de un memofonillo, y sospecho que lo usan para hacer algoritmos para machacar algoritmos, o sea, metaalgoritmos.
Dicho sea de paso, este tipo de conceptos creo que se le ocurrieron ya a Babbage, que además fue el primer inventor de un computador, totalmente mecánico, moderno, eso sí, nunca se llegó a fabricar porque el gobierno británico prefería calcular efemérides por el tradicional método del ejército armado de regla de cálculo y luego si el barco choca, pues que choque, que chocar para ná es tontería.
lunes 29 mayo, 2017 @ 8:11 am
¡Extraordinario, Dr. Thriller! No he entendido nada pero seguro que es fenomenal.
Un abrazo compresivo.
lunes 29 mayo, 2017 @ 4:19 pm
Bien, tomás ¿ qué misterio le ves a lo biológico? ¿acaso tiene el carbono unas propiedades aptas para producir consciencia o conciencia que no tendría el silicio?. Seguro que no ignoras que la materia animada surge de la materia inanimada. El mundo es básicamente de carbono, que es el que elemento que permite formar cadenas de moléculas, como el ADN. Es decir la vida se sustenta en el carbono, proteínas, glúcidos, vitaminas y grasas necesitan perentoriamente el carbono.
Por otra parte nosotros estamos constituídos por miles de pequeñas máquinas moleculares hechas en un 95% de carbono, hidrógeno,nitrógeno y óxigeno, esas máquinitas ni se conocen ni se importan entre ellas al igual que nuestras neuronas («grasilla» al fin y al cabo) sin embargo actúan, tienen unos procesos que por lo visto conducen a la conciencia. Lo «biológico» es matería, materia que se puede explicar físicamente.
Luego,tenemos que las neuronas se comunican entre sí,por medio de moléculas cargadas eléctricamente, comunicación que viaja desde el axón de una neurona a la dendrita de otra (¡software¡).El cerebro no es otra cosa que una red gigantesca de neuronas conectadas, esas conexiones son las que producen el «pensamiento». Se conoce como » conectoma» la estructura en red del cerebro humano.
El cerebro contiene cerca de 90.000 millones de neuronas, cada una de las cuales está conectada a mil o más neuronas, lo que significa que debe haber sobre 100 billones de conexiones.
Y creo que ahí está el problema o quizá el mayor problema, para obtener un cerebro de IA que sea capaz de generar conciencia, o consciencia. Conocer al dedillo todo ese intrincado mundo de conexiones eléctrico-químicas, cómo se relacionan todas las redes neuronales y sus distintos subgrupos, es decir tener el mapa del conectoma, quizá no sería suficiente para tener cerebros artificiales inteligentes y con consciencia, pero ese mapamundi abriría caminos directos para saber como generar consciencia o conciencia.Y luego vendría la evolución de esos cerebros, más o menos, como hemos hecho nosotros mismos.
La labor desde luego es ingente y quizá no poseamos ni las herramientas tecnlógicas ni la inteligencia suficiente para toda esa enorme cantidad de trabajo que implica desmenuzar ese gigantesco número de conexiones. Pero la IA, ha avanzado mucho, en poco tiempo. Aquí mismo se han citado algunos ejemplos.
En definitiva, como ya dije en mi comentario anterior, la consciencia o conciencia, sea de carácter algorítmico o de carácter cuántico (que no parece) o sea lo que sea, tiene que ser algo físico, algo material. No caben explicaciones «mágicas». Lo que en afortunada expresión de Daniel Dennett, se conoce como » Teatro Cartesiano».
Un abrazo «biológico-cibernético», tomás.
lunes 29 mayo, 2017 @ 11:22 pm
Touché, Tomás.
El grupo Google, o la mafia Google, o como se le quiera llamar, está en pleno proceso de blanqueo porque es lo que parece, y como todos los escaparates no todo el mundo ve lo que hay detrás en la trastienda. Estoy, evidentemente, proclamando mi profunda desconfianza de todo estudio que tenga la menor relación con esta gente, de hecho se están gastando mucho dinero en venderse ahora como los promotores de la IA, no está nada mal, de buscador de chorradas y ocultador y enterrador de lo que no conviene a promotores de la IA nada menos. Además, para un problema mucho mayor, si alguien publica una columpiada en física o en biología, se lo pilla enseguida por mucho que se intente lo contrario (algo se puede hacer, pero es de breve recorrido), pero esta gente se mueve entre patontas y derechos y banquitos y demás, y sus estudios «serios» ocultan todo lo que les interesa y mienten todo lo que quieren porque claro, no es plan revelar sus secretos comerciales. Es decir, me tengo que fiar de ellos porque sí. Porque don’t be evil. No hablo de este artículo concreto (de hecho, el código está disponible aquí o eso dicen: https://github.com/pathak22/noreward-rl), pero sí hablo de cosas de más chicha donde sí se han columpiado.
De hecho, el algoritmo de Google sigue siendo fuente de polémicas como el código fuente de Mundo Windows.
Por otro lado, implementar algoritmos requiere de máquinas, cuanto más potentes mejor. Google se mueve, por lo visto, en maquinaria estándar industrial, el superordenador más potente del mundo es chino,
http://en.wikipedia.org/wiki/Sunway_TaihuLight
con cinco veces más capacidad que el primero de EEUU,
http://en.wikipedia.org/wiki/TOP500,
ya sabemos que China flojea todavía en muchos campos académicos, donde todavía más Occidente que EEUU en solitario sigue en la delantera (medicina y farmacia, curiosamente), pero en ciencias duras e ingeniería ya le están sacando cabezas, y hablo de investigación pura, y a esta prueba me remito. Quiero decir con esto que cualquier cosa que simulen ellos, está *fuera* *del* *alcance* de los EEUU. Y no tienen necesidad de publicar nada por motivos publicitarios, más bien tendrán necesidad de todo lo contrario dado que hablamos de temas de seguridad del estado. No sé si me explico: cualquier cosa que ellos estén haciendo China está 2 ó 3 pasos por delante, espionaje incluido, que viendo cómo anda la política está claro que la Agencia China hace un pandero con todo occidente. Y espionaje científico además siempre ha existido, como el industrial, de hecho es el más importante para los servicios de inteligencia.
La principal aplicación que tendrá la IA a corto y medio plazo (y largo, claro) es entrar en otra oleada de supresión masiva de puestos de trabajo, esta vez puestos de trabajo que ni hace 10 años sus tenedores hubieran pensado que estaban en peligro. No es inusual ver sistemas de diagnóstico clínico, incluso de procesos jurídicos, y como toda la maquinización desde que comenzó en el siglo XIX (incluyendo sus primeras reacciones en contra, los luditas), lo que hace es sustituir personas, eliminarlas, no complementarlas ni facilitar su trabajo, esto es así porque hay una reducción de costos tal y como impone nuestro sistema socioeconómico. El sistema hasta ahora fue tirando porque a fin de cuentas la gente que era masivamente desplazada de unos nichos laborales acababa encontrando trabajo en otros, pero esto ahora, como el propio sistema, ha tocado techo, porque ha alcanzado la parte final sustituíble del trabajo humano, por eso están hablando de la RBU o RSU, no sé muy bien por dónde andan, ni ellos tampoco, aunque siempre pueden preguntarle a sus chismes. En la SciFi las máquinas inteligentes siempre acaban enviando a la Gran M, de forma elegante y poética o físicamente estilo HAL 9000, a sus creadores. Lógicamente, todos los autores (literarios humanos) entendían perfectamente qué estaba detrás de todo esto, muy lejos de ello el afán científico de saber y mucho más el de elevar los estándares de vida de las personas.
Ahora, como siempre, puede saltar la liebre porque tamnbién es cierto que ha pasado muchas veces. Pero si salta, no tendrá nada que ver con lo que ellos buscan, ni siquiera con la cortina de humo que están vendiendo.
martes 30 mayo, 2017 @ 12:20 am
Totalmente de acuerdo con lluis en este asunto. El carbono no tiene nada de especial, y el concepto de «vivo» es un asunto complicado.
La consciencia se me antoja como la capacidad de un sistema para almacenar información (memoria) junto con una serie de algoritmos que permitan al sistema a reaccionar usando esa información. En teoría, según las reglas de la biología, esos algoritmos son construidos con la suave erosión de la evolución para favorecer la supervivencia y reproducción de dicho sistema. Esto último creo que sería realmente lo que más nos distinguiría de una IA, ya que estas últimas estarían diseñadas no por la evolución, sino por papa ser humano, y no necesariamente estos algoritmos tienen que intentar favorecer la supervivencia y la reproducción de la maquina. Más bien, saber recoger el polvo, no hacer muchas preguntas, y servir bien.
Vamos, con la IA nos acercamos cada día más a fabricar el esclavo ideal. Obediente, inteligente, que sea capaz de hacer todo lo que a nosotros no nos apetezca hacer, y que no haga demasiadas preguntas. Sin instinto de conservación ni supervivencia, vamos. Un buen partido.
Pero decir que no tienen consciencia… bueno, quien sabe. Nunca podremos saber lo que se siente al ser un robot, o al menos, no por ahora.
martes 30 mayo, 2017 @ 1:15 am
La tecnología humana tiene un comportamiento evolutivo similar al de la vida y el crecimiento de la primera va en detrimento de la segunda.
martes 30 mayo, 2017 @ 1:45 am
Que lindo!! ya SKYNET sabe jugar Mario Bros y tiene curiosidad
martes 30 mayo, 2017 @ 8:50 pm
Ya con esa curiosidad tendría motivación… Si logran que nunca este detenida sino buscando que hacer, podría llegar a ser muy compleja.
Me llama mucho la atención que luego de un segundo juego mejore en el primero.
Me parece que el limite esta en el tamaño de los entornos y el número de estímulos a los cuales se puede enfrentar… Similar eso es muy difícil… En cambio si pudiera interactuar con el entorno ya el desarrollo sería espectacular.
Referente a los empleos perdidos entre otros. Me recuerda mucho los libros de asimov… Y donde se muestra ese descontento… Sin embargo me gustaría que fuéramos hacia un mundo como aurora
martes 30 mayo, 2017 @ 9:10 pm
Javier, no es sólo la pérdida de empleos, es el control social. Saben que las personas son autónomas, pero creen que pueden desarrollar herramientas que sólo obedezcan a determinados individuos. Muy lejos de las leyes robóticas de Asimov, que más bien serían 1.todo robot debe obedecer al jefe del chiringo y secuencialmente hacia abajo en la jerarquía, 2.todo robot en último término hará lo que le diga uno de estos pájaros así se le fundan todos los circuitos en el intento y 3.todo robot debe cepillarse automáticamente sin previo aviso ni pestañeo otro robot de un chiringo rival. Llevan siglos intentando implantarlas en humanos, con muy escaso éxito, y piensan que ahora sí, que gracias a Pijadas Apple sí que van a poder cuando encima, aquí los reyes de la placa integrada y el software añadido son los de la Gran Muralla, que no tienen esas tonterías en la cabeza, ni falta que les hace.
El tema de sustituir personas por máquinas, o sistemas obsoletos por sistemas nuevos, que vienen de la Luz Divina, es qué pasa cuando el tingladillo peta. Por ejemplo, si mañana se cae en un país la red eléctrica el país se va a la Edad Media de cabeza, porque apenas si hay protocolos para funcionar sin electricidad, no digamos internet (los chinos sí los tienen). El problema de automatizar el diagnóstico clínico, que les viene de perlas para consolidar el desmantelamiento de la sanidad pública, es qué pasa si el sistema se va a tomar viento. Algo que además, en caso de guerra, será lo primero que se haga.
Es lo que hay y no se ve por el momento nada mejor.
miércoles 31 mayo, 2017 @ 9:21 am
Ya veo, querido amigo LLuís -esta vez te pongo dos mayúsculas para resaltar mi estima-, que cuando te refieres al «mundo», lo hacer por su parte bio; es decir, la biosfera. También estoy de acuerdo hasta esos «100 millones de conexiones» con que finaliza el párrafo 4º.
El problema se plantea cuando nos metemos en emplear y/o distinguir consciencia y conciencia. Consciencia, para mí, es el estado de vigilia, aplicable a todo ser vivo, es decir, a llevar su vida activa. Ello se manifiesta como contrario a estar dormido o inconsciente. La consciencia no precisa de la conciencia. La conciencia, sin embargo, sí precisa de una consciencia previa y simultánea. La conciencia se refiere a saber de mí, a conocer, como mínimo, que mi cuerpo me pertenece, en el sentido de que es el soporte material de mi ser -lo del espejo es una casi-demostración, y no me parece mala prueba-. En resumen, que para la conciencia se precisa, al menos un cierto nivel de inteligencia (podríamos intentar definir esta, pero supongo que nos entendemos). Una de las características más importantes de la conciencia es que permite la duda, la evaluación no solo razonada, sino también emocional.
Quizá sea ignorancia, pero imagino que el ganador no humano del go y del ajedrez lo hace a base de fuerza bruta, es decir, de prever todas las posibles jugadas a partir de una posición dada. Cuantas más jugadas sea capaz de prever, más posibilidades tendrá de ganar. No pueden ser todas, pues todas son infinitas -diría-. Pero algo similar sucede en el humano, lo cual recuerdo de mi época estudiantil cuando me pasé alguna noche entera jugando al ajedrez. El caso es que la IA no se cansa, no se emociona, no se alegra al vencer ni se entristece al perder. Termina la partida y lo apagan o, si quieres, se apaga solo automáticamente porque así lo hayan programado. Pero ha precisado de un ser con conciencia bio para prever sus actos. Si se alcanza la IA autoprogramable, capaz de aprender de sus errores, o de preverlos, porque, realmente, serán fallos de su programador primero, la única cuestión que propongo es que, al igual que se adjetiva inteligencia artificial, porque no es igual a la muy diversa y distinta humana, podamos llamarles, como mínimo consciencia y conciencia artificiales, para distinguirlas, porque serán distintas, de las humanas.
Y gracias por el abrazo; solo pido que sea de suaves magnitudes eléctricas. En esa condición te lo devuelvo.
miércoles 31 mayo, 2017 @ 7:58 pm
Querido dr t
Cuenta razón tienes, difícil rebatir que eso es o que buscan los poderosos.
No hay de otra, los robots e inteligencia artificial tienen que venir acompañados de un ingreso básico universal, y una enorme distribución de la riqueza. Igualmente es necesario una reducción de habitantes… Es la única forma de tener un mundo como el aurora descrito…
Referente a las leyes descritas, sería dar carta blanca a los robots de conquistar el mundo y destruir la humanidad…
Puede hasta matar al jefe del chiringo a menos que le diga específicamente «no me mates» o dejarlo morir, etc, etc
jueves 1 junio, 2017 @ 9:50 am
Muy de acuerdo, Dr. Unas leyes capaces de competir con las de Asimov. El leerlas ha sido de esas veces en las que te preguntas ¿como no se me habrá ocurrido esa trilogía tan clara? Enhorabuena.