Dibujo Ai
Presentamos Meena, un chatbot de extremo a extremo de dominio abierto entrenado con datos extraídos de medios sociales públicos y filtrados. El modelo fue entrenado para minimizar la perplejidad del siguiente token, pero hemos encontrado pruebas de que esta métrica se correlaciona con el juicio humano de la calidad. Proponemos una métrica de juicio humano llamada Promedio de Sensibilidad y Especificidad (SSA) que captura elementos clave de la buena…
El aprendizaje por transferencia, en el que un modelo se entrena primero en una tarea con muchos datos antes de perfeccionarlo en una tarea posterior con menos recursos, se ha convertido en una poderosa técnica en el procesamiento del lenguaje natural (PLN). La eficacia del aprendizaje por transferencia ha dado lugar a una diversidad de enfoques, metodologías y prácticas. En este artículo, exploramos el panorama del aprendizaje de transferencia para la PNL…
Introducimos un nuevo modelo de representación del lenguaje llamado BERT, que significa Representaciones Codificadoras Bidireccionales de Transformadores. A diferencia de los modelos recientes de representación del lenguaje, BERT está diseñado para preentrenar representaciones bidireccionales profundas a partir de texto no etiquetado, condicionando conjuntamente el contexto izquierdo y derecho en todas las capas. Como resultado, el modelo BERT preentrenado puede ajustarse con precisión…
Generador Ai
Los métodos actuales de aprendizaje profundo por refuerzo (RL) pueden entrenar agentes artificiales especializados que sobresalen en la toma de decisiones sobre diversas tareas individuales en entornos específicos, como Go o StarCraft. Sin embargo, se ha avanzado poco en la extensión de estos resultados a agentes generalistas que no sólo serían capaces de realizar muchas tareas diferentes, sino también en una variedad de entornos con encarnaciones potencialmente distintas.
Si observamos los avances recientes en los campos del procesamiento del lenguaje natural, la visión y los modelos generativos (como PaLM, Imagen y Flamingo), vemos que los avances en la creación de modelos de propósito general se consiguen a menudo ampliando los modelos basados en Transformer y entrenándolos en conjuntos de datos grandes y semánticamente diversos. Es natural preguntarse si se puede utilizar una estrategia similar en la construcción de agentes generalistas para la toma de decisiones secuenciales. ¿Pueden estos modelos permitir también una rápida adaptación a nuevas tareas, de forma similar a PaLM y Flamingo?
Como paso inicial para responder a estas preguntas, en nuestro reciente artículo “Multi-Game Decision Transformers” exploramos cómo construir un agente generalista para jugar a muchos videojuegos simultáneamente. Nuestro modelo entrena a un agente que puede jugar simultáneamente a 41 juegos de Atari con un rendimiento cercano al humano y que, además, puede adaptarse rápidamente a nuevos juegos mediante un ajuste fino. Este enfoque mejora significativamente las pocas alternativas existentes para el aprendizaje de agentes multijuego, como el aprendizaje por diferencia temporal (TD) o la clonación conductual (BC).
Aprendizaje en Google
Conozca los retos e hitos en nuestro camino hacia la construcción del primer ordenador cuántico tolerante a fallos del mundo. A lo largo del camino, explorará los avances de la era NISQ y las aplicaciones en el horizonte mientras descubrimos lo que hay más allá de la computación clásica.
Tanto si eres un investigador que quiere ampliar los límites de lo que está disponible para los ordenadores NISQ, como si eres un ingeniero de software, un escritor técnico o un estudiante entusiasmado con la computación cuántica, agradeceremos tus contribuciones a nuestro código fuente abierto disponible en GitHub.
Aprendizaje automático
Las IA actuales no son sensibles. No tenemos muchas razones para pensar que tengan un monólogo interno, el tipo de percepción sensorial que tienen los humanos, o la conciencia de que son un ser en el mundo. Pero se están volviendo muy buenos en fingir la sintiencia, y eso es bastante aterrador.
LaMDA es una IA de chatbot, y un ejemplo de lo que los investigadores de aprendizaje automático llaman un “gran modelo de lenguaje”, o incluso un “modelo de base”. Es similar al famoso sistema GPT-3 de OpenAI, y ha sido entrenado con literalmente billones de palabras recopiladas de publicaciones en línea para reconocer y reproducir patrones en el lenguaje humano.
LaMDA es un modelo de lenguaje grande realmente bueno. Tan bueno que Lemoine se convenció verdadera y sinceramente de que era realmente sensible, es decir, que había tomado conciencia y tenía y expresaba pensamientos de la misma manera que un humano.
La principal reacción que vi al artículo fue una combinación de a) LOL este tipo es un idiota, cree que la IA es su amigo, y b) Vale, esta IA es muy convincente al comportarse como si fuera su amigo humano.