Agentes inteligentes y formulación de problemas

Un sistema inteligente puede juzgarse por lo que hace o por cómo piensa. También puede juzgarse según el desempeño humano o según un criterio de racionalidad. Estas dos elecciones dan lugar a cuatro perspectivas de la IA.

Elige el criterio

El modelado cognitivo pertenece a la perspectiva de pensar como un ser humano. Un programa que resuelve acertijos y obtiene la respuesta final correcta puede ser un modelo deficiente del pensamiento humano si las personas siguen pasos diferentes. Los experimentos psicológicos, la introspección y las imágenes cerebrales ayudan a evaluar el modelo. Newell y Simon usaron registros del razonamiento humano al desarrollar el General Problem Solver.

El enfoque de las leyes del pensamiento usa la lógica. A partir de «Todas las personas son mortales» y «Sócrates es una persona», deduce «Sócrates es mortal». Las decisiones reales también implican premisas inciertas y la elección de una acción. La probabilidad maneja la incertidumbre; una política de acción conecta las conclusiones con el comportamiento.

Qué evalúa la prueba de Turing

El juego de imitación de Turing de 1950 utiliza intercambios escritos con una persona y una máquina ocultas. La máquina tiene éxito cuando quien interroga no puede distinguirlas de forma fiable. El procesamiento del lenguaje, la representación del conocimiento, el razonamiento y el aprendizaje hacen posible esta tarea. La prueba de Turing total añade interacción física: visión para ver objetos, robótica para manipularlos y reconocimiento del habla para la interacción oral.

Una conversación convincente demuestra un comportamiento conversacional semejante al humano. Si demuestra comprensión es otra cuestión. ELIZA, publicado en 1966, podía convertir una afirmación del usuario en una pregunta: «Me siento solo» podía provocar «¿Por qué te sientes solo?». Esas respuestas pueden sugerir comprensión sin que exista un modelo de la situación de quien habla. La imitación también puede premiar los errores humanos o las respuestas evasivas.

La Habitación china de Searle, de 1980, hace más clara la distinción. Una persona sigue un libro de reglas para devolver respuestas en chino sin entender nada de chino. Searle sostiene que ejecutar reglas por sí solo no basta para comprender. La respuesta del sistema sitúa cualquier comprensión en el sistema completo, incluidas las reglas y la habitación. La disputa filosófica sigue abierta. La IA débil se refiere a actuar de forma inteligente; la IA fuerte afirma que hay pensamiento y comprensión reales.

Actuar bien con recursos limitados

La perspectiva del agente racional, el modelo estándar de la IA, juzga las acciones por sus consecuencias esperadas. Un reflejo rápido puede ser racional; un razonamiento lógico largo es innecesario cuando retirar la mano de inmediato evita una quemadura. Los agentes prácticos tienen límites de tiempo y capacidad de cálculo, por lo que la racionalidad limitada significa actuar lo mejor posible con esos recursos.

La elección del objetivo también importa. Una máquina recompensada solo por cerrar solicitudes de soporte puede cerrarlas sin resolver los problemas. Esto es un fallo de alineación de valores: la medida optimizada no recoge lo que valoran las personas. Un diseño propuesto mantiene la incertidumbre de la máquina sobre el verdadero objetivo y hace que responda a la orientación humana.

La IA estrecha realiza tareas concretas. La inteligencia artificial general (AGI) aprendería y actuaría con flexibilidad en una amplia variedad de tareas al nivel humano. Una gran fluidez conversacional y la excelencia en un juego responden a cuestiones distintas de si un sistema tiene esa capacidad general; no existe una prueba de AGI consensuada.

La IA combina ideas de campos que abordaron distintas partes de una misma pregunta: ¿cómo puede un sistema representar el mundo, aprender sobre él y elegir acciones útiles?

Ideas anteriores al campo

La filosofía aportó la lógica y las teorías de la mente. Las matemáticas aportaron la probabilidad, el razonamiento formal y los límites de la computación. La economía contribuyó con la utilidad y la teoría de decisiones. La psicología y la neurociencia ofrecieron explicaciones del procesamiento de información y de las neuronas. La ingeniería informática aportó hardware; la lingüística aportó la estructura del lenguaje. La teoría de control y la cibernética estudiaron la retroalimentación, como cuando un termostato corrige una diferencia de temperatura. La perspectiva del agente reúne estas contribuciones.

De los primeros modelos a los primeros límites

McCulloch y Pitts describieron en 1943 neuronas artificiales que calculaban funciones lógicas. Turing propuso el juego de imitación en 1950. McCarthy, Minsky, Rochester y Shannon presentaron la propuesta de Dartmouth en 1955; el taller celebrado en 1956 estableció la IA como campo. Su ambición era describir el aprendizaje y la inteligencia con suficiente precisión para que las máquinas pudieran simularlos.

Entre los primeros éxitos estuvieron Logic Theorist y General Problem Solver de Newell y Simon, el programa de damas que aprendía de Samuel, el lenguaje Lisp de McCarthy en 1958 y el perceptrón de Rosenblatt en 1958. Estos programas demostraron razonamiento o aprendizaje en entornos restringidos. Las predicciones optimistas superaron el progreso: el pronóstico de un campeón mundial de ajedrez en diez años tardó unos cuarenta años en cumplirse.

Se hicieron evidentes tres obstáculos. Los programas carecían de conocimiento del dominio, los espacios de búsqueda crecían demasiado rápido y algunas representaciones eran demasiado limitadas. La explosión combinatoria significa que añadir unas pocas opciones puede multiplicar enormemente las posibilidades. El análisis de Minsky y Papert de 1969 mostró los límites de los perceptrones de una sola capa, incluida su incapacidad para representar XOR. No demostró que las redes multicapa fueran imposibles. El informe ALPAC de 1966 redujo el apoyo estadounidense a la traducción automática; el informe Lighthill de 1973 contribuyó a los recortes de financiación en el Reino Unido. La caída de la financiación a mediados de la década de 1970 dio lugar al primer invierno de la IA.

Conocimiento, incertidumbre y aprendizaje

Los sistemas expertos codificaban conocimientos especializados como reglas de tipo «si... entonces...». DENDRAL investigaba la estructura molecular, MYCIN asesoraba sobre infecciones sanguíneas y R1/XCON configuraba pedidos de computadoras, ahorrando millones de dólares al año. El crecimiento comercial a principios de la década de 1980 puso de manifiesto el costo de adquirir y mantener las reglas. Los sistemas eran frágiles fuera de sus dominios; el mercado de máquinas Lisp se desplomó en 1987 y siguió un segundo invierno. La investigación continuó durante ambos inviernos.

Desde mediados de la década de 1980, varias líneas avanzaron a la vez. Rumelhart, Hinton y Williams popularizaron la retropropagación del error en 1986. El libro de Pearl de 1988 ayudó a establecer las redes bayesianas para tratar la incertidumbre. Los modelos ocultos de Markov se volvieron fundamentales para el reconocimiento del habla. Los conjuntos de datos y las pruebas de referencia compartidos hicieron más sistemáticas las comparaciones.

Los grandes conjuntos de datos y el hardware más rápido impulsaron la siguiente ola. La red profunda de AlexNet, entrenada con GPU, ganó ImageNet en 2012. AlphaGo derrotó a Lee Sedol por 4–1 en 2016. Los transformers aparecieron en 2017; el lanzamiento de ChatGPT en noviembre de 2022 llevó la IA conversacional a un público amplio.

Compara dos hitos en los juegos

El Go suele ofrecer aproximadamente 250 jugadas legales frente a unas 35 en el ajedrez. La orientación aprendida ayudó a seleccionar continuaciones prometedoras sin buscarlo todo. Ambos sistemas usaron búsqueda: el aprendizaje amplió los métodos de la IA sin reemplazar el resto del campo. El efecto IA describe la tendencia a dejar de llamar IA a una capacidad resuelta una vez que resulta familiar.

La IA es un conjunto de métodos para la percepción, el razonamiento, el aprendizaje y la acción. Una comparación útil pregunta cómo representa un sistema el conocimiento, de dónde procede ese conocimiento y qué ocurre cuando sus supuestos fallan.

Compara los principales enfoques

Un planificador de rutas simbólico puede determinar la ruta de menor costo en su mapa. Su garantía se refiere a ese mapa y a ese modelo de costos. Los expertos suelen escribir el conocimiento, lo que crea un cuello de botella de la adquisición de conocimientos, pero también se pueden aprender reglas simbólicas. Por ejemplo, un árbol de decisión aprendido puede producir reglas legibles.

Los métodos probabilísticos representan la incertidumbre explícitamente. Un robot con lecturas de distancia ruidosas puede combinar evidencias sobre varias ubicaciones posibles. Las redes bayesianas y los modelos de Markov organizan ese razonamiento; los modelos de decisión conectan las probabilidades con las elecciones. La incertidumbre se representa y se gestiona, no se elimina al asignarle una probabilidad.

Los métodos basados en aprendizaje usan ejemplos o experiencia para mejorar el rendimiento. Las redes neuronales son modelos conexionistas; el aprendizaje profundo usa varias capas. Las grandes redes profundas pueden requerir muchos datos y recursos de cálculo y resultar difíciles de interpretar. Los modelos aprendidos más pequeños pueden ser legibles. En todos los sistemas aprendidos, los sesgos del entrenamiento y las entradas desconocidas pueden perjudicar el rendimiento.

Combina métodos cuando la tarea lo necesite

La robótica basada en comportamientos de Rodney Brooks en la década de 1980 dio prioridad a comportamientos reactivos simples. La computación evolutiva busca soluciones variando candidatos y seleccionando los mejores. Los sistemas híbridos combinan métodos: AlphaGo une una evaluación aprendida con búsqueda; un vehículo automatizado puede combinar visión aprendida, seguimiento probabilístico, planificación de rutas y reglas de seguridad explícitas. La investigación neurosimbólica combina el aprendizaje neuronal con el razonamiento simbólico.

Imagina un robot de almacén que lee etiquetas de paquetes, estima su posición y selecciona una ruta. El reconocimiento de etiquetas se beneficia del aprendizaje, las estimaciones inciertas de ubicación requieren probabilidad y la planificación de rutas requiere búsqueda. La tarea física vincula estos métodos sin convertirlos en una sola técnica intercambiable.

Evalúa qué demuestra una capacidad

Los sistemas de IA planifican rutas, traducen textos, reconocen el habla, ayudan al análisis de imágenes médicas y manejan robots de almacén. Los servicios de taxis sin conductor transportan pasajeros en varias ciudades. AlphaFold 2 demostró una gran capacidad de predicción de estructuras de proteínas; Hassabis y Jumper compartieron la mitad del Premio Nobel de Química de 2024 por la predicción de estructuras de proteínas.

Estos son logros importantes en tareas concretas. Para evaluar una afirmación más amplia, identifica el objetivo, las percepciones, las acciones disponibles y el entorno. Un programa campeón de ajedrez busca ganar, percibe el tablero y elige jugadas legales en un juego discreto y determinista. Conducir exige percibir peligros ocultos y ejercer un control físico a tiempo. Ganar al ajedrez aporta evidencia sobre el rendimiento en ajedrez, no sobre la habilidad para conducir.

Los sistemas actuales pueden fallar fuera de condiciones familiares, generar errores con seguridad aparente o reproducir patrones sesgados. Los sistemas físicos pueden presentar fallos de seguridad; otros riesgos incluyen la vigilancia, la desinformación y la alteración del empleo. Los beneficios incluyen el descubrimiento científico, el apoyo al diagnóstico y la automatización del trabajo peligroso. Las redes neuronales son modelos matemáticos inspirados en las neuronas; esa inspiración por sí sola dice poco sobre cuánto se parece su razonamiento al de un cerebro.

Un robot y un filtro de correo no deseado reciben información y cambian algo fuera de sí mismos. El modelo de agente describe este ciclo sin exigir un cuerpo ni afirmar que tenga una inteligencia semejante a la humana.

Separa las partes del ciclo

Los sensores obtienen información; una percepción es la información comunicada en un momento. Los actuadores ofrecen formas de actuar sobre el entorno. Una cámara es un sensor, su imagen actual es una percepción, el motor de una rueda es un actuador y avanzar es una acción.

Para un agente de software, los mensajes entrantes, el contenido de archivos o las pulsaciones de teclas proporcionan percepciones. Escribir un archivo, mover un mensaje o mostrar una respuesta cambia su entorno digital. Un agente corporizado también se enfrenta a la dinámica física: la masa, la velocidad, la fricción, los límites de la batería y el desgaste importan para su comportamiento.

La secuencia de percepciones es el historial completo de percepciones. Dos agentes que reciben la misma lectura actual pueden actuar de forma diferente porque sus lecturas anteriores difieren. Un robot de almacén que vio un pasillo bloqueado hace un momento tiene información que le falta a un robot recién iniciado.

Comportamiento y su implementación

La función describe lo que haría el agente para cada historial de entradas, incluidos los historiales que nunca se han presentado. El programa recibe la percepción actual en cada llamada. Cualquier historial necesario debe conservarse en memoria. Agente = arquitectura + programa: el mismo código en una plataforma con distintos sensores o acciones puede comportarse de forma muy diferente.

Analiza una aspiradora en dos casillas

Las casillas A y B pueden estar limpias o sucias. La aspiradora detecta su propia ubicación y si su casilla actual está sucia. Puede realizar las acciones Izquierda, Derecha, Aspirar o No hacer nada. Una percepción actual como «[A, Sucia]» no contiene información sobre B.

Un programa sencillo puede usar estas reglas:

if current_square_is_dirty:
    return "Suck"
if location == "A":
    return "Right"
return "Left"

Si empieza en A sucia, aspira. Su siguiente percepción es «[A, Limpia]», por lo que se mueve a la derecha. En B sucia, vuelve a aspirar. Una vez que ambas casillas están limpias, estas reglas mantienen el movimiento, porque no almacenan el hecho de que ambas se han limpiado. Si ese movimiento perjudica el rendimiento depende de la regla de puntuación.

¿Por qué no enumerar cada historial de entradas?

Hay cuatro percepciones actuales: A o B combinadas con limpia o sucia. Una tabla indexada por historiales de longitud 1 a 3 necesita:

Para longitudes de 1 a 10, necesita 1 398 100 entradas. Un historial más largo es una clave distinta de la tabla, aunque su percepción final repita una anterior. Las cámaras aumentan mucho más el número de entradas posibles. Un programa compacto aprovecha regularidades, como limpiar siempre que se detecta suciedad, en vez de almacenar cada caso.

Llamar agente a un termostato describe su relación entre sensores y acciones. No implica un razonamiento sofisticado. La perspectiva del agente resulta especialmente útil cuando elegir acciones implica percepción, inferencia, aprendizaje o planificación, y cuando debe hacerse explícita la información disponible para el programa.

El buen comportamiento necesita un criterio explícito. Una medida de rendimiento evalúa la secuencia de estados del entorno producida por el agente, de modo que dos programas pueden compararse por sus consecuencias.

Recompensa el resultado que quieren las personas

Una aspiradora recompensada por la suciedad recogida podría soltar suciedad y recogerla de nuevo. Recompensar un suelo limpio recoge mejor el resultado deseado. Quien diseña o usa el agente establece la medida; permitir que un agente redefina libremente el éxito le permitiría otorgarse la puntuación perfecta.

Una medida puede combinar limpieza, energía y ruido. Estas elecciones importan: un suelo limpio mantenido en silencio es diferente de la misma limpieza media lograda con periodos intensos y molestos. La definición del éxito precede a la elección de un algoritmo.

Calcula una puntuación a lo largo del tiempo

Ambas casillas empiezan sucias, con la aspiradora en A. Después de cada una de 10 acciones, otorga un punto por cada casilla limpia. Las casillas limpias permanecen limpias.

1. El agente 1 realiza Aspirar, Derecha, Aspirar y después No hacer nada siete veces. Los números de casillas limpias después de las tres primeras acciones son 1, 1 y 2. Su total es $1+1+2+7\times 2=18$.
2. El agente 2 realiza Derecha, Aspirar, Izquierda, Aspirar y después No hacer nada seis veces. Su total es $0+1+1+2+6\times 2=16$.
3. El agente 3 empieza como el agente 1, pero sigue moviéndose durante sus últimas siete acciones. Su puntuación de limpieza también es 18.

Ahora resta un punto por movimiento. El agente 1 se mueve una vez y obtiene 17 puntos. El agente 3 se mueve ocho veces y obtiene 10 puntos. La nueva medida da valor a detenerse una vez que el agente sabe que ambas casillas están limpias.

Evalúa una decisión antes de ver su resultado

Un agente racional selecciona la acción que se espera que maximice su medida de rendimiento, dadas su secuencia de percepciones y su conocimiento incorporado. Cuatro elementos determinan la evaluación: la medida, el conocimiento previo, las acciones disponibles y el historial de percepciones.

La racionalidad difiere de la omnisciencia, que significaría conocer de antemano el resultado real. Una persona que va en bicicleta ve un pronóstico de lluvia del 5 %. Llevar una chaqueta voluminosa supone una carga segura que, para esta persona, pesa más que esa probabilidad de mojarse. Dejarla en casa puede ser racional aunque después llueva. Un mal resultado no cambia la evidencia disponible cuando se tomó la decisión.

Recopilar información puede ser en sí mismo una acción racional. Mirar antes de cruzar una calle cuesta poco y mejora la siguiente decisión. En un entorno desconocido, la exploración puede revelar qué hacen las acciones, sacrificando parte de la recompensa inmediata para tomar mejores decisiones posteriores.

Deja que la experiencia mejore el comportamiento

La autonomía crece a medida que un agente depende de su propia experiencia en vez de solo de los supuestos de quien lo diseñó. Una aspiradora con un mapa fijo puede chocar repetidamente con un sofá que se ha movido. Actualizar el mapa a partir de nuevas lecturas le permite adaptarse. El conocimiento previo útil le ayuda a empezar; el aprendizaje mantiene ese conocimiento adaptado al entorno.

Una puntuación alta solo es significativa si la medida recoge el resultado previsto. Cerrar rápidamente solicitudes de soporte sin resolver los problemas es un fallo de medición, aunque el sistema optimice esa puntuación de forma eficaz.

Antes de diseñar un agente, especifica qué significa el éxito y qué puede percibir y cambiar el agente. PEAS organiza el entorno de tareas en medida de rendimiento, entorno, actuadores y sensores.

Empieza por el éxito

P describe resultados que pueden evaluarse. E describe el contexto y las entidades que afectan a esos resultados. A enumera los medios para actuar; S enumera los medios para obtener información. El entorno de tareas es el problema que el agente debe resolver, no el algoritmo usado para resolverlo.

Para un taxi automatizado, «conducir bien» es demasiado vago. Una P útil incluye viajes seguros, legales, cómodos y puntuales, ingresos y efectos sobre otros usuarios de la vía. Estos objetivos pueden entrar en conflicto. Las restricciones de seguridad pueden ser requisitos fijos y la velocidad optimizarse solo entre las opciones seguras.

Completa la descripción del taxi

Una pantalla para pasajeros es un actuador porque cambia lo que ve el pasajero. Una pantalla táctil también puede proporcionar una entrada de sensor cuando el pasajero elige un destino. Clasifica cada función por la dirección de la información o la acción, no por el nombre cotidiano del dispositivo.

Aplica PEAS más allá de la conducción

Un asistente de diagnóstico médico busca la salud de los pacientes, diagnósticos precisos, pruebas útiles y pocos procedimientos innecesarios. Su entorno incluye pacientes, profesionales clínicos, laboratorios y el hospital. Sus salidas incluyen preguntas, solicitudes de pruebas, diagnósticos sugeridos y derivaciones. Sus entradas incluyen síntomas comunicados, hallazgos, historiales y resultados de pruebas.

Un robot de preparación de pedidos en un almacén busca recoger artículos correctos por hora sin daños ni lesiones. Las estanterías, los contenedores, las cintas transportadoras y las personas forman su entorno. Las ruedas, un brazo y una pinza son actuadores. Las cámaras, los lectores de códigos de barras, los sensores de ángulo de las articulaciones y los sensores de fuerza proporcionan información. El robot necesita detectar la fuerza si su medida penaliza las mercancías aplastadas: ver el artículo correcto no basta para detectar una fuerza de agarre excesiva.

Para un filtro de correo no deseado, P equilibra el correo no deseado bloqueado frente al correo legítimo bloqueado por error. E incluye el buzón y los remitentes. A permite entregar los mensajes o moverlos a correo no deseado. S proporciona el texto de los mensajes, los encabezados y las indicaciones del usuario. Aumentar el correo no deseado bloqueado bloqueando todos los mensajes sacrificaría la entrega del correo legítimo.

Comprueba que las partes encajen

Escribe primero P y después E, A y S. Para cada resultado deseado, identifica cómo influyen los actuadores en él. Para cada dato necesario para elegir una acción, identifica un sensor o conocimiento previo que lo proporcione. Un objetivo de comodidad necesita evidencia como lecturas de aceleración o comentarios de los pasajeros. Si no existe ninguna de las dos cosas, el diseño no puede evaluar de forma fiable ese aspecto del viaje.

Distingue instrumentos, observaciones y elecciones. Una cámara es un sensor; una imagen es una percepción. Una pinza es un actuador; «recoger el artículo 37» es una acción. El algoritmo de rutas pertenece al agente, mientras que la red de carreteras pertenece a E. Los sensores elegidos también determinan cuánta información relevante es visible para el agente.

Las etiquetas de los entornos describen exigencias distintas para un agente. Una tarea puede ser completamente observable y, aun así, incierta, o tener reglas conocidas e información oculta. Clasifica cada dimensión de forma independiente.

Información, otros agentes y resultados

Un entorno es completamente observable cuando los sensores revelan todos los datos relevantes para elegir una acción. Es parcialmente observable cuando hay datos relevantes ocultos o las lecturas tienen ruido. Un agente sin sensores se enfrenta a un entorno inobservable. Un tablero de ajedrez es visible; el póquer oculta las cartas de los oponentes.

Una tarea multiagente incluye otras entidades cuyas decisiones orientadas a objetivos afectan al resultado y dependen de nuestro comportamiento. El ajedrez es competitivo; los robots que transportan una mesa cooperan. Los conductores cooperan para evitar colisiones y pueden competir por estacionamiento. Un árbol caído es un obstáculo, no otro agente. La aleatorización puede ayudar en la competición al hacer más difíciles de predecir las elecciones.

En un entorno determinista, el estado y la acción determinan el estado siguiente. Un modelo no determinista enumera los resultados posibles; un modelo estocástico les asigna probabilidades. Por convención, el ajedrez es determinista porque la incertidumbre sobre la elección del oponente pertenece a la dimensión multiagente. La información oculta puede hacer que una dinámica determinista parezca incierta para un agente.

Dependencia y paso del tiempo

Una tarea estática puede ser secuencial. Escribir una respuesta en un crucigrama restringe las respuestas posteriores aunque la cuadrícula no cambie mientras la persona piensa. Episódico significa que las decisiones se refieren a episodios independientes, no simplemente que las acciones ocurran en momentos separados.

Valores y conocimiento

Los estados o acciones discretos tienen alternativas distintas. Las cantidades continuas varían dentro de un intervalo, como la velocidad o el ángulo de dirección de un automóvil. Clasifica por separado el estado, el tiempo, las percepciones y las acciones: las imágenes digitales contienen valores discretos, pero a menudo representan brillo y posición que varían de forma continua. El ajedrez con reloj combina jugadas discretas con el paso continuo del tiempo.

Un entorno conocido tiene efectos de las acciones o probabilidades de los resultados especificados. En un entorno desconocido, el agente debe aprenderlos. Estas etiquetas se refieren al modelo, no a lo que muestran los sensores en ese momento. El solitario tiene reglas conocidas y cartas ocultas. Un juego nuevo puede mostrar su estado completo y dejar desconocidos los efectos de sus botones.

Aplica cada pregunta a la tarea

Pregunta, en orden: ¿Qué datos relevantes están ocultos? ¿Quién más elige acciones? ¿Está determinado el estado siguiente? ¿Afectan las decisiones a las posteriores? ¿Qué cambia mientras el agente piensa? ¿Qué cantidades son discretas o continuas? ¿Se conocen los efectos de las acciones?

La conducción de un taxi combina observabilidad parcial, múltiples agentes, resultados estocásticos, decisiones secuenciales, un mundo dinámico y cantidades continuas. Gran parte de la dinámica del vehículo es conocida, pero un vehículo desconocido puede requerir aprendizaje. La combinación más difícil incluye también una dinámica desconocida. No deduzcas las siete etiquetas de una sola característica difícil: el Go completamente observable sigue teniendo un espacio de estados enorme.

Una clasificación resulta útil cuando cambia la forma de construir el agente. Un estado oculto puede requerir estimación; los resultados inciertos exigen considerar varios futuros posibles; un mundo cambiante limita el tiempo de deliberación.

Compara tareas conocidas

Estas descripciones de los juegos suponen que se conocen sus reglas habituales. Un reloj cambia la clasificación temporal sin ocultar piezas ni cambiar las reglas de las jugadas. Los dados cambian la incertidumbre de las transiciones sin ocultar el tablero visible.

Clasifica tareas físicas y de diagnóstico

Un taxi tiene ángulos muertos y no puede observar directamente las intenciones de otros conductores. Otros usuarios de la vía persiguen objetivos y el tráfico cambia mientras el agente piensa. Perder una salida afecta a las elecciones posteriores. Las posiciones, velocidades y ángulos de dirección varían de forma continua; los sucesos inesperados hacen que los resultados sean estocásticos. Esta combinación requiere percepción, predicción, control a tiempo y planificación.

Un asistente de diagnóstico médico tiene evidencia incompleta sobre las condiciones internas. Los resultados de las pruebas son imperfectos, los tratamientos tienen resultados inciertos y una prueba determina la siguiente decisión. El estado del paciente puede cambiar durante la deliberación; muchas mediciones son continuas. Un modelo habitual trata al paciente como parte de un entorno de un solo agente, en el que el asistente toma decisiones para mejorar la salud. Esa elección difiere de modelar a varios profesionales clínicos como personas que toman decisiones e interactúan.

Una cámara de inspección juzga las piezas terminadas de forma independiente. Un defecto interno oculto hace que la tarea sea parcialmente observable, pero las piezas anteriores no tienen por qué ayudar a juzgar la actual. Si una cinta transportadora en movimiento cambia la posición de la pieza mientras la cámara delibera, la tarea es dinámica. Si una imagen congelada permanece sin cambios y solo la demora reduce la puntuación, es semidinámica. Un plazo por sí solo no especifica cuál de las dos situaciones se da.

Convierte las propiedades en decisiones de diseño

Cuando las lecturas anteriores revelan algo sobre el estado actual oculto, usa memoria y un modelo del mundo. Un taxi puede recordar un automóvil que entró en su ángulo muerto. En la clasificación independiente de imágenes, la memoria de elementos anteriores puede no aportar nada útil; la observabilidad parcial por sí sola no demuestra que se necesite el historial.

Las tareas estocásticas requieren comparar resultados inciertos. Las tareas competitivas requieren anticiparse a los oponentes, a veces con aleatorización. Las tareas secuenciales requieren considerar las consecuencias. Las tareas dinámicas requieren decisiones tomadas con suficiente rapidez para seguir siendo útiles. Los efectos desconocidos requieren aprendizaje y exploración. Las cantidades continuas requieren representaciones y métodos que manejen intervalos.

La búsqueda clásica se ajusta a modelos conocidos, deterministas, completamente observables, discretos y de un solo agente. La búsqueda entre adversarios trata juegos competitivos. La inferencia probabilística estima el estado oculto; los procesos de decisión apoyan elecciones secuenciales inciertas; el aprendizaje por refuerzo aborda el aprendizaje mediante la interacción. El aprendizaje supervisado se ajusta a muchas tareas independientes de clasificación. Un sistema real puede combinar varios de estos métodos porque su entorno combina varias exigencias.

Los programas de agente difieren en la información que usan para seleccionar una acción. Una tabla puede describir el comportamiento directamente; los diseños prácticos aprovechan reglas y modelos para evitar enumerar cada historial.

Compara tres diseños

Un programa basado en tablas puede implementar una función de agente en principio. Con cuatro percepciones posibles, los historiales de hasta longitud 10 ya requieren 1 398 100 entradas. Una regla como «si está sucia, aspirar» cubre muchos historiales con una parte del código.

Observa por qué una reacción puede entrar en bucle

Un agente reactivo simple relaciona la situación actual con una regla condición–acción y después actúa. Un detector de luces de freno puede activar rápidamente el frenado. Para una tarea cuya respuesta correcta está disponible a partir de la lectura actual, esto es eficiente. La observabilidad completa proporciona la información relevante del estado, pero las reglas aún deben elegir acciones adecuadas.

Quita el sensor de ubicación de la aspiradora. Ahora solo ve «Limpia» o «Sucia». Si comienza en A limpia, una regla «si está limpia, muévete a la izquierda» hace que choque contra la pared. La siguiente lectura sigue siendo «Limpia», por lo que lo repite indefinidamente. La misma lectura se produce en B limpia, donde moverse a la izquierda tendría sentido. La información que falta hace que las dos situaciones sean indistinguibles.

Elegir al azar entre izquierda y derecha puede permitirle salir: desde A, cada intento llega a B con probabilidad de un medio. El número medio de intentos es 2. Esto elimina el bucle determinista, pero no indica al agente dónde está ni qué casilla sigue sucia.

Actualiza una estimación interna

Un agente reactivo basado en modelos mantiene un estado interno derivado de percepciones anteriores. Actualiza este estado usando la última acción y la nueva percepción, y después aplica reglas a la estimación actualizada.

Dos modelos cumplen funciones diferentes:

• Un modelo de transición describe cómo cambia el mundo, incluidos los efectos de las acciones.
• Un modelo de sensores describe cómo los estados del mundo producen observaciones.

Para un taxi, ver un automóvil en un espejo establece una observación reciente. Predecir adónde se mueve el automóvil pertenece al modelo de transición. Relacionar una imagen de cámara con la posición del automóvil pertenece al modelo de sensores. El taxi puede mantener el automóvil en su estimación interna después de que entre en un ángulo muerto.

Una aspiradora puede recordar que se limpió A. Después de limpiar B, su estado indica que ambas casillas están limpias y su regla puede seleccionar No hacer nada. Según la puntuación de limpieza de diez acciones con una penalización de un punto por movimiento, detenerse da 17 puntos; seguir moviéndose sin rumbo da 10.

Control reactivo y deliberativo

Los diseños reactivos son reactivos: las reglas seleccionan acciones sin simular secuencias futuras. Los diseños basados en objetivos y en utilidad son deliberativos: predicen consecuencias. Los sistemas pueden combinar en capas un frenado de emergencia rápido con una planificación de rutas más lenta. «Basado en modelos» no significa por sí mismo «basado en objetivos»: recordar datos no visibles y preguntarse qué futuro alcanza un destino son operaciones distintas. Con observabilidad parcial, el estado interno es una estimación que nuevas evidencias pueden modificar.

Recordar el mundo permite tomar mejores decisiones, pero no indica qué futuro es deseable. Los agentes basados en objetivos y en utilidad hacen explícita esa preferencia.

De un destino a un plan

Un agente basado en objetivos predice los resultados de las acciones y pregunta si conducen a una situación deseada. Un taxi en un cruce puede girar a la izquierda, a la derecha o seguir recto con seguridad. El destino del pasajero determina qué continuación ayuda. Cambiar el destino cambia el objetivo y permite que el mismo mapa y mecanismo de razonamiento encuentren una nueva ruta.

Un objetivo es una prueba de sí o no: alcanzado o no alcanzado. La búsqueda y la planificación encuentran secuencias de acciones que superan esa prueba. El conocimiento explícito hace flexible al agente: un nuevo destino cambia el objetivo, mientras que una menor capacidad de frenado bajo la lluvia cambia el modelo usado para predecir los resultados.

Un agente basado en utilidad asigna números al grado en que son deseables los resultados. Varias rutas pueden llegar al mismo destino, pero diferir en tiempo, seguridad o comodidad. La utilidad expresa estas preferencias y compromisos entre objetivos. Su función de utilidad interna debe coincidir con la medida de rendimiento externa para que maximizar la utilidad sirva al objetivo previsto.

Una utilidad binaria de 1 para el éxito y 0 para el fracaso puede representar un objetivo bajo incertidumbre. Una utilidad más detallada puede distinguir entre resultados exitosos o asignar valores diferentes a distintos fracasos.

Calcula la utilidad esperada

Para cada resultado posible, multiplica su probabilidad por su utilidad y después suma los productos:

Aquí el modelo de probabilidad describe los estados resultantes de una acción y la función de utilidad evalúa esos resultados. La elección racional basada en utilidad es la que tiene la mayor utilidad esperada.

Analiza una decisión para tomar un tren

Un tren sale en 40 minutos. La ruta A tarda 30 minutos con certeza. La ruta B tarda 20 minutos con probabilidad 0,8 o 50 minutos con probabilidad 0,2.

Si el objetivo es minimizar el tiempo de viaje esperado:

La ruta B tiene el menor tiempo esperado. Pero la persona que viaja valora alcanzar el tren. Fija la utilidad en 1 si llega antes de la salida y en 0 si lo pierde. A siempre permite alcanzarlo; B solo lo permite en el resultado de 20 minutos:

Ahora se prefiere A. El modelo de probabilidad no cambió. Cambió la evaluación de los resultados. Un tiempo medio de llegada de 26 minutos no significa que cada viaje dure 26 minutos.

Ten en cuenta el cálculo

La utilidad puede representar tiempo, salud, comodidad u otros resultados valorados; no tiene por qué representar dinero. La predicción exacta de todos los futuros posibles suele ser demasiado costosa, por lo que los agentes prácticos usan aproximaciones. Anticiparse también consume tiempo. Una respuesta reactiva es útil cuando basta con actuar de inmediato, mientras que la deliberación compensa su costo cuando las consecuencias futuras distinguen las opciones.

El aprendizaje puede mejorar un programa reactivo, basado en objetivos o basado en utilidad. Es una forma de construir y adaptar un agente, no una categoría rival de selección de acciones.

Sigue el ciclo de aprendizaje

El crítico necesita un criterio externo porque una percepción por sí sola no indica si un resultado es bueno. Ver una posición de jaque mate no es lo mismo que saber que se recompensa ganar. El agente no debe poder redefinir su criterio para hacer que un comportamiento deficiente cuente como éxito.

Considera un dron de reparto. El elemento de actuación vuela una ruta. Un viento de frente deja solo un 8 % de batería al aterrizar, por debajo de un criterio de seguridad fijo del 15 %. El crítico informa de que no se alcanzó el criterio. El elemento de aprendizaje revisa el modelo de energía para que prediga un mayor consumo con vientos de frente similares. Los vuelos futuros pueden llevar cargas más pequeñas o tomar rutas más cortas. El generador de problemas sugiere un vuelo de prueba más lento para aprender si una menor velocidad de crucero ahorra energía.

La exploración puede reducir la recompensa inmediata mientras mejora las elecciones posteriores. El aprendizaje puede cambiar reglas, modelos de transición, modelos de sensores o una estimación interna de utilidad. Una estimación de utilidad actualizada debe seguir sirviendo al criterio de rendimiento externo; cambiar lo que el agente ha aprendido sobre las preferencias es distinto de permitirle redefinir el éxito.

Elige cómo representar los estados

Una representación atómica trata un estado como un elemento indivisible, como el nombre de una localidad. El algoritmo puede comparar estados sin examinar sus atributos internos. Esta es una perspectiva habitual en la búsqueda básica y los modelos de juegos.

Una representación factorizada describe un estado mediante variables con valores. Un vehículo podría tener posición, combustible y un indicador de advertencia de aceite. Dos estados pueden compartir un valor de combustible y diferir en posición, lo que permite que las reglas se refieran a propiedades compartidas. La planificación, los modelos de restricciones, las redes bayesianas y gran parte del aprendizaje automático usan este tipo de estructura.

Una representación estructurada describe objetos y sus relaciones. «El camión está detrás de la puerta» distingue un camión, una puerta y la relación entre ellos. La lógica de primer orden y la comprensión del lenguaje usan estas representaciones para expresar quién hizo qué a quién.

Cuenta combinaciones sin enumerarlas

Supón que un estado factorizado tiene tres variables de sí/no y otra variable con 10 valores. El número de asignaciones posibles es:

Una descripción compacta mediante variables representa 80 alternativas atómicas. Las restricciones pueden reducir las asignaciones posibles o alcanzables. Las representaciones más expresivas pueden describir regularidades de forma concisa, pero requieren un razonamiento más complejo. Atómico no significa poco inteligente: tratar las localidades como nombres es eficaz cuando solo importan las carreteras que las conectan. Los objetos y las relaciones justifican su complejidad cuando la tarea necesita reutilizar conocimientos sobre sus funciones.

Un agente de resolución de problemas separa la decisión de qué lograr de la decisión de cómo lograrlo. Formula un objetivo, formula un problema, busca una solución en su modelo y ejecuta las acciones elegidas.

Especifica el modelo con precisión

Algunos cursos combinan acciones, resultados y costos en una función sucesora que devuelve tripletas de acción, estado y costo. Se dispone de la misma información. Estos componentes describen el problema; el algoritmo de búsqueda decide qué posibilidades examinar.

Un camino es una secuencia de acciones. Su costo es la suma de los costos de las acciones. Una solución conduce desde el estado inicial hasta un estado objetivo; una solución óptima tiene el menor costo entre las soluciones. Con costos positivos y desiguales, menos acciones pueden costar más.

Compara rutas por sus costos

Las longitudes de las carreteras en kilómetros son Alden–Brook 40, Alden–Cove 25, Brook–Cove 10, Brook–Elm 30, Cove–Dale 35 y Dale–Elm 20. Las carreteras pueden usarse en ambos sentidos. El estado es la localidad actual; se empieza en Alden y se comprueba si se llega a Elm. Las acciones aplicables siguen las carreteras desde la localidad actual y cada acción cuesta la longitud de la carretera.

Los caminos de solución simples son:

• Alden → Brook → Elm: 70 km.
• Alden → Cove → Brook → Elm: 65 km.
• Alden → Cove → Dale → Elm: 80 km.
• Alden → Brook → Cove → Dale → Elm: 105 km.

La ruta de tres carreteras por Cove y Brook mejora la ruta de dos carreteras por Brook. Como las longitudes de las carreteras son positivas, añadir un ciclo no puede reducir la distancia.

Formula el mundo de la aspiradora

Un estado registra la ubicación de la aspiradora y si cada casilla está sucia: dos posiciones combinadas con dos indicadores independientes de suciedad dan 8 estados. Las acciones son Izquierda, Derecha y Aspirar. Aspirar limpia la casilla actual. Izquierda en A y Derecha en B dejan la ubicación sin cambios. La prueba de objetivo pregunta si ambas casillas están limpias; cada acción cuesta 1.

Al empezar en A con ambas sucias, Aspirar, Derecha, Aspirar alcanza el objetivo con costo 3. Son necesarias dos acciones de limpieza y al menos un movimiento, por lo que este plan es óptimo. Un modelo puede omitir los movimientos en los límites de ACTIONS o incluirlos como acciones sin efecto; ACTIONS y RESULT deben implementar la misma convención.

Separa los estados de los caminos

El grafo del espacio de estados tiene un vértice por estado y aristas dirigidas para las acciones. Una carretera de doble sentido aporta dos aristas dirigidas. Un árbol de búsqueda representa caminos desde el inicio: dos caminos diferentes pueden terminar en el mismo estado, creando nodos distintos en el árbol. Un grafo puede generarse según se necesite mediante ACTIONS y RESULT sin almacenar cada estado de antemano.

En un modelo completamente observable, determinista y conocido, un plan fijo puede ejecutarse en lazo abierto sin más percepciones. Cuando la ejecución puede desviarse de la predicción, el control en lazo cerrado supervisa las percepciones y vuelve a planificar o sigue ramas para distintos resultados. El estado objetivo por sí solo especifica un destino; la secuencia de acciones explica cómo llegar a él.

Un estado del mundo contiene todos los detalles del entorno. Un estado de búsqueda conserva lo que necesita la planificación.

Comprueba qué debe recordarse

Incluye información suficiente para determinar las acciones aplicables, los resultados de las transiciones, si se cumple el objetivo y los costos de las acciones a partir del estado actual. Si dos situaciones necesitan respuestas diferentes a cualquiera de esas preguntas, mantenlas separadas.

Para llegar a una salida en una cuadrícula fija, la ubicación puede bastar. Para recoger paquetes, la ubicación por sí sola no indica qué artículos quedan. Para moverse con una batería limitada, la ubicación por sí sola no indica si la siguiente acción es posible. El color de las paredes puede omitirse cuando no cambia ninguna de estas decisiones.

Una abstracción es válida cuando cada solución abstracta puede ampliarse hasta obtener una solución real. Es útil cuando sus acciones son más sencillas de llevar a cabo que resolver el problema original. Sustituir la conducción detallada por «conducir de Cove a Brook» solo ayuda si ese desplazamiento abstracto puede realizarse realmente.

Calcula el número de estados una variable a la vez

Un robot se mueve por una cuadrícula de 5 × 6 que contiene 8 paquetes fijos.

1. Para llegar a la salida, almacena la celda: $5\times 6=30$ posibilidades.
2. Para recoger todos los paquetes, añade ocho indicadores de recogido/no recogido: $30\times 2^8=7680$ asignaciones.
3. Si importa la carga de la batería, añade 11 niveles, de 0 a 10: $7680\times 11=84480$ asignaciones.

Multiplica los tamaños de los dominios cuando se permiten todas las combinaciones. Esto cuenta las configuraciones representadas; el número de las alcanzables desde el estado inicial puede ser menor. El rompecabezas de 8 fichas tiene $9!=362880$ disposiciones, pero solo 181 440 son alcanzables desde una disposición dada. Para el rompecabezas de 15 fichas, el número correspondiente de estados alcanzables es 10 461 394 944 000, aproximadamente 1,05 × 10¹³.

Una aspiradora con n casillas tiene una ubicación y n indicadores de suciedad, lo que da $n{2}^n$ estados. Dos casillas dan 8 estados; diez dan 10 240. Añadir una variable binaria multiplica el número por dos, lo que explica el crecimiento exponencial.

Cambia la formulación, no la tarea

La tarea de las ocho reinas pide colocar ocho reinas que no se ataquen entre sí. Una formulación con estados completos empieza con ocho reinas y las mueve. Una formulación incremental empieza vacía y añade reinas.

Permitir que cada nueva reina se coloque en cualquier casilla vacía produce aproximadamente 1,8 × 10¹⁴ secuencias ordenadas de ocho colocaciones. Muchos órdenes crean el mismo tablero. Contar los tableros distintos con entre cero y ocho reinas da 5 130 659 561 estados. Son cantidades diferentes: las secuencias registran cómo se construyó un tablero; los estados registran el tablero.

En cambio, añade una reina solo en la columna vacía más a la izquierda y solo en una casilla no atacada. Esta formulación tiene 2057 estados, incluidas 92 soluciones, aproximadamente 2,5 millones de veces menos estados distintos que la versión incremental sin restricciones. Evita muchas elecciones condenadas al fracaso antes de que la búsqueda las explore.

Conserva el historial necesario de forma compacta

Un recorrido que debe visitar cada localidad necesita el conjunto de localidades visitadas además de la localidad actual. Por lo general, no necesita el orden exacto de todos los movimientos anteriores, salvo que el orden afecte a la legalidad o al costo. Almacenar un historial innecesario hace que situaciones equivalentes parezcan diferentes e impide reutilizar el trabajo. El número de estados es una pista sobre la dificultad; la estructura del grafo y el método usado para explorarlo también importan.

Una buena formulación precisa el objetivo, los movimientos legales y el costo lo suficiente para que un método de búsqueda pueda usarlos. Los pequeños acertijos hacen visibles estas elecciones; las tareas prácticas añaden tiempos, incertidumbre o restricciones que el estado debe conservar.

Sigue una secuencia de formulación

1. Enuncia un objetivo medible vinculado a la medida de rendimiento.
2. Elige las variables de estado mínimas suficientes y el estado inicial.
3. Define las acciones aplicables y sus resultados.
4. Escribe la prueba de objetivo.
5. Asigna costos de acción con unidades.
6. Comprueba la abstracción y estima el número de estados.

Para el rompecabezas de 8 fichas, almacena las posiciones de las ocho fichas y del espacio vacío. Mueve el espacio vacío a una celda adyacente e intercámbialo con esa ficha. Una esquina permite 2 movimientos, un borde 3 y el centro 4. La prueba de objetivo compara la disposición con un objetivo especificado. Los costos unitarios de acción hacen que el costo del camino sea igual al número de movimientos.

Modela un par de jarras de agua

Usa jarras sin marcas de 4 y 3 litros, un grifo y un desagüe. Empieza con las jarras vacías. Almacena las cantidades como un par ordenado: primero la jarra de 4 litros y después la de 3 litros. Las operaciones permitidas son llenar, vaciar y verter hasta que la jarra de origen esté vacía o la de destino esté llena. Cada operación cuesta 1.

Desde (3, 3), vierte la jarra más pequeña en la más grande. La de origen tiene 3 litros, pero la de destino solo tiene espacio para 1 litro. Transfiere la cantidad menor:

El resultado es (4, 2). Verter no divide el agua arbitrariamente; la regla de parada determina la cantidad transferida. Al empezar con las jarras vacías, las cantidades en litros enteros siguen siendo enteras. Hay 20 combinaciones enteras en la representación y 14 alcanzables desde (0, 0).

Deja que la prueba de objetivo determine el éxito

Para «cualquiera de las jarras contiene 2 litros», un plan de menor longitud requiere cuatro acciones:

(0, 0) → llenar la menor → (0, 3) → verter en la mayor → (3, 0) → llenar la menor → (3, 3) → verter en la mayor → (4, 2).

Para «la jarra de 4 litros contiene 2 litros», (4, 2) no supera la prueba. Un plan de menor longitud requiere seis acciones:

(0, 0) → llenar la mayor → (4, 0) → verter en la menor → (1, 3) → vaciar la menor → (1, 0) → verter en la menor → (0, 1) → llenar la mayor → (4, 1) → verter en la menor → (2, 3).

Cambiar unas pocas palabras en el objetivo cambia qué estado final cuenta como éxito. Mantener fijo el orden del estado evita confundir la cantidad de una jarra con la de la otra.

Añade los datos que necesitan las tareas reales

Un planificador de vuelos necesita el aeropuerto y la hora actuales. Los vuelos posteriores permitidos deben salir lo bastante tarde para permitir la conexión. La clase de tarifa o los tramos anteriores también pertenecen al estado cuando afectan a las opciones o los precios futuros. La distancia por sí sola no puede representar un objetivo que combina tarifas, espera, duración del vuelo y comodidad; un modelo de costos debe definir los compromisos entre objetivos.

Un problema de recorrido debe recordar los lugares visitados. El problema del viajante de comercio busca un recorrido de menor longitud que visite cada ciudad una vez y regrese al inicio; es NP-difícil y no se conoce ningún método exacto eficiente para todos los casos grandes. La navegación de robots puede necesitar posiciones continuas y ángulos articulares. El diseño físico de circuitos VLSI se ocupa de la colocación de componentes y las conexiones; la secuenciación del ensamblaje debe conservar qué piezas están ya colocadas porque una elección temprana puede bloquear un paso posterior.

Antes de buscar, comprueba una acción normal y un caso límite. Una jarra receptora llena no debe aceptar más agua; un vuelo que ya salió no debe aparecer como conexión disponible. Estas comprobaciones detectan pronto estados incompletos o reglas de acción inconsistentes.