Agentes inteligentes e formulação de problemas

Um sistema inteligente pode ser avaliado pelo que faz ou por como pensa. Ele também pode ser avaliado em relação ao desempenho humano ou a um padrão de racionalidade. Essas duas escolhas produzem quatro visões da IA.

Escolha o padrão

A modelagem cognitiva pertence à visão de pensar como humanos. Um programa que resolve quebra-cabeças e chega à resposta final correta ainda pode ser um modelo ruim do pensamento humano se as pessoas usarem etapas diferentes. Experimentos psicológicos, introspecção e imagens cerebrais ajudam a testar o modelo. Newell e Simon usaram registros do raciocínio humano ao desenvolver o General Problem Solver.

A abordagem das leis do pensamento usa a lógica. De “Todas as pessoas são mortais” e “Sócrates é uma pessoa”, ela deduz “Sócrates é mortal”. Decisões reais também envolvem premissas incertas e uma escolha de ação. A probabilidade lida com a incerteza; uma política de ação liga conclusões ao comportamento.

O que o teste de Turing testa

O jogo da imitação de Turing, de 1950, usa trocas de mensagens digitadas com uma pessoa e uma máquina ocultas. A máquina tem sucesso quando quem interroga não consegue distingui-las de forma confiável. Processamento de linguagem, representação de conhecimento, raciocínio e aprendizado apoiam essa tarefa. O teste de Turing total acrescenta interação física: visão para enxergar objetos, robótica para manuseá-los e reconhecimento de fala para a interação falada.

Uma conversa convincente demonstra comportamento conversacional semelhante ao humano. Se ela demonstra compreensão é outra questão. O ELIZA, lançado em 1966, podia transformar uma afirmação do usuário em uma pergunta: “Sinto-me sozinho” poderia provocar “Por que você se sente sozinho?”. Essas respostas podem sugerir compreensão sem um modelo da situação de quem fala. A imitação também pode recompensar erros humanos ou respostas evasivas.

O Quarto chinês de Searle, de 1980, torna a distinção mais clara. Uma pessoa segue um livro de regras para devolver respostas em chinês sem entender nada desse idioma. Searle argumenta que executar regras, por si só, é insuficiente para compreender. A resposta dos sistemas situa qualquer compreensão no sistema completo, incluindo as regras e a sala. A discussão filosófica continua em aberto. A IA fraca trata de agir de modo inteligente; a IA forte afirma que há pensamento e compreensão reais.

Agir bem com recursos limitados

A visão do agente racional, o modelo padrão da IA, avalia ações por suas consequências esperadas. Um reflexo rápido pode ser racional; um raciocínio lógico demorado é desnecessário quando retirar a mão imediatamente evita uma queimadura. Agentes práticos enfrentam limites de tempo e de recursos computacionais, então racionalidade limitada significa agir da melhor forma que esses recursos permitem.

A escolha do objetivo também importa. Uma máquina recompensada apenas por encerrar solicitações de suporte pode encerrá-las sem resolver os problemas. Isso é uma falha de alinhamento de valores: a medida otimizada deixa de captar o que as pessoas valorizam. Um projeto proposto mantém a máquina incerta sobre o verdadeiro objetivo e receptiva à orientação humana.

A inteligência artificial restrita lida com tarefas específicas. A AGI aprenderia e executaria com flexibilidade uma ampla variedade de tarefas em nível humano. Ampla fluência em conversas e excelência em um jogo respondem a questões diferentes daquela sobre se um sistema tem essa capacidade geral; não há um teste consensual de AGI.

A IA combina ideias de áreas que abordaram partes diferentes da mesma questão: como um sistema pode representar o mundo, aprender sobre ele e escolher ações úteis?

Ideias anteriores à área

A filosofia forneceu lógica e teorias da mente. A matemática forneceu probabilidade, raciocínio formal e limites da computação. A economia contribuiu com utilidade e teoria da decisão. A psicologia e a neurociência ofereceram explicações sobre processamento de informações e neurônios. A engenharia da computação forneceu hardware; a linguística forneceu a estrutura da linguagem. A teoria de controle e a cibernética estudaram a realimentação, como quando um termostato corrige um erro de temperatura. A visão do agente reúne essas contribuições.

Dos primeiros modelos aos primeiros limites

McCulloch e Pitts descreveram neurônios artificiais que calculavam funções lógicas em 1943. Turing propôs o jogo da imitação em 1950. McCarthy, Minsky, Rochester e Shannon apresentaram a proposta de Dartmouth em 1955; o encontro realizado em 1956 estabeleceu a IA como área. Sua ambição era descrever o aprendizado e a inteligência com precisão suficiente para que máquinas os simulassem.

Entre os primeiros sucessos estavam o Logic Theorist e o General Problem Solver de Newell e Simon, o programa de damas com aprendizado de Samuel, a linguagem Lisp de McCarthy em 1958 e o perceptron de Rosenblatt em 1958. Esses programas demonstraram raciocínio ou aprendizado em contextos restritos. Previsões otimistas foram além do progresso: a previsão de um campeão mundial de xadrez em dez anos levou cerca de quarenta anos para se cumprir.

Três obstáculos ficaram claros. Os programas não tinham conhecimento do domínio, os espaços de busca cresciam rápido demais e algumas representações eram limitadas demais. Explosão combinatória significa que acrescentar algumas escolhas pode multiplicar enormemente as possibilidades. A análise de Minsky e Papert de 1969 mostrou limites dos perceptrons de camada única, incluindo a incapacidade de representar XOR. Ela não estabeleceu que redes de múltiplas camadas fossem impossíveis. O relatório ALPAC de 1966 reduziu o apoio à tradução automática nos Estados Unidos; o relatório Lighthill de 1973 contribuiu para cortes de financiamento no Reino Unido. O declínio do financiamento em meados dos anos 1970 se tornou o primeiro inverno da inteligência artificial.

Conhecimento, incerteza e aprendizado

Sistemas especialistas codificavam o conhecimento de especialistas como regras do tipo se–então. O DENDRAL investigava estruturas moleculares, o MYCIN aconselhava sobre infecções sanguíneas e o R1/XCON configurava pedidos de computadores, economizando milhões de dólares por ano. O crescimento comercial no início dos anos 1980 expôs o custo de adquirir e manter regras. Os sistemas eram frágeis fora de seus domínios; o mercado de máquinas Lisp entrou em colapso em 1987, e seguiu-se um segundo inverno. A pesquisa continuou durante os dois invernos.

A partir de meados dos anos 1980, várias linhas avançaram juntas. Rumelhart, Hinton e Williams popularizaram a retropropagação do erro em 1986. O livro de Pearl de 1988 ajudou a estabelecer as redes bayesianas para lidar com a incerteza. Os modelos ocultos de Markov se tornaram centrais para o reconhecimento de fala. Conjuntos de dados e referências compartilhados tornaram as comparações mais sistemáticas.

Grandes conjuntos de dados e hardware mais rápido sustentaram a onda seguinte. A rede profunda do AlexNet, treinada em GPUs, venceu o ImageNet em 2012. O AlphaGo derrotou Lee Sedol por 4–1 em 2016. Transformers surgiram em 2017; o lançamento do ChatGPT em novembro de 2022 levou a IA conversacional a um público amplo.

Compare dois marcos em jogos

O Go costuma oferecer aproximadamente 250 jogadas válidas, contra aproximadamente 35 no xadrez. A orientação aprendida ajudou a selecionar continuações promissoras sem pesquisar tudo. Ambos os sistemas usaram busca: o aprendizado ampliou os métodos da IA sem substituir o restante da área. O efeito da inteligência artificial descreve a tendência de deixar de chamar uma capacidade resolvida de IA quando ela se torna familiar.

A IA é um conjunto de métodos para percepção, raciocínio, aprendizado e ação. Uma comparação útil pergunta como um sistema representa o conhecimento, de onde esse conhecimento vem e o que acontece quando suas suposições falham.

Compare as principais abordagens

Um planejador de rotas simbólico pode determinar a rota de menor custo em seu mapa. Sua garantia diz respeito a esse mapa e ao modelo de custo. O conhecimento muitas vezes é escrito por especialistas, criando um gargalo de aquisição de conhecimento, mas regras simbólicas também podem ser aprendidas. Uma árvore de decisão aprendida, por exemplo, pode produzir regras legíveis.

Métodos probabilísticos representam a incerteza explicitamente. Um robô com leituras de distância com ruído pode combinar evidências sobre várias localizações possíveis. Redes bayesianas e modelos de Markov organizam esse raciocínio; modelos de decisão ligam probabilidades a escolhas. A incerteza é representada e gerenciada, não eliminada ao se atribuir uma probabilidade.

Métodos baseados em aprendizado usam exemplos ou experiência para melhorar o desempenho. Redes neurais são modelos conexionistas; o aprendizado profundo usa múltiplas camadas. Grandes redes profundas podem exigir muitos dados e recursos computacionais e ser difíceis de interpretar. Modelos aprendidos menores podem ser legíveis. Em sistemas aprendidos, vieses de treinamento e entradas desconhecidas podem prejudicar o desempenho.

Combine métodos quando a tarefa exigir

A robótica baseada em comportamento de Rodney Brooks, nos anos 1980, enfatizava comportamentos reativos simples. A computação evolutiva busca soluções variando candidatos e selecionando os melhores. Sistemas híbridos combinam métodos: o AlphaGo une avaliação aprendida à busca; um veículo automatizado pode combinar visão aprendida, rastreamento probabilístico, planejamento de rotas e regras explícitas de segurança. A pesquisa neurossimbólica combina aprendizado neural com raciocínio simbólico.

Imagine um robô de armazém que lê etiquetas de pacotes, estima sua posição e seleciona uma rota. O reconhecimento de etiquetas se beneficia do aprendizado, estimativas incertas de localização exigem probabilidade e a definição de rotas exige busca. A tarefa física conecta esses métodos sem transformá-los em uma única técnica intercambiável.

Avalie o que uma capacidade demonstra

Sistemas de IA planejam rotas, traduzem textos, reconhecem fala, auxiliam na análise de imagens médicas e operam robôs de armazém. Serviços de táxi sem motorista transportam passageiros em várias cidades. O AlphaFold 2 demonstrou grande capacidade de prever estruturas de proteínas; Hassabis e Jumper dividiram metade do Prêmio Nobel de Química de 2024 pela previsão de estruturas de proteínas.

Essas são conquistas expressivas em tarefas específicas. Para avaliar uma afirmação mais ampla, identifique o objetivo, as percepções, as ações disponíveis e o ambiente. Um programa campeão de xadrez busca vencer, percebe o tabuleiro e escolhe jogadas válidas em um jogo discreto e determinístico. Dirigir exige perceber perigos ocultos e controlar o veículo a tempo. Vencer no xadrez fornece evidências sobre o desempenho no xadrez, não sobre a habilidade de dirigir.

Os sistemas atuais podem falhar fora de condições familiares, gerar erros com confiança ou reproduzir padrões enviesados. Sistemas físicos podem apresentar falhas de segurança; outros riscos incluem vigilância, desinformação e perturbações no emprego. Os benefícios incluem descobertas científicas, apoio ao diagnóstico e automação de trabalhos perigosos. Redes neurais são modelos matemáticos inspirados em neurônios; essa inspiração, por si só, diz pouco sobre quanto seu raciocínio se assemelha ao de um cérebro.

Um robô e um filtro de spam recebem informações e mudam algo fora de si. O modelo de agente descreve esse ciclo sem exigir um corpo ou uma afirmação de inteligência semelhante à humana.

Separe as partes do ciclo

Sensores obtêm informações; uma percepção é a informação relatada em um momento. Atuadores fornecem meios de agir sobre o ambiente. Uma câmera é um sensor, sua imagem atual é uma percepção, o motor de uma roda é um atuador e avançar é uma ação.

Para um agente de software, mensagens recebidas, conteúdo de arquivos ou teclas digitadas fornecem percepções. Gravar um arquivo, mover uma mensagem ou exibir uma resposta altera seu ambiente digital. Um agente incorporado também enfrenta dinâmica física: massa, velocidade, atrito, limites de bateria e desgaste importam para seu comportamento.

A sequência de percepções é o histórico completo de percepções. Dois agentes que recebem a mesma leitura atual podem agir de maneiras diferentes porque suas leituras anteriores diferem. Um robô de armazém que viu um corredor bloqueado há pouco tem uma informação que falta a um robô recém-iniciado.

Comportamento e sua implementação

A função descreve o que o agente faria para cada histórico de entrada, incluindo históricos que nunca ocorreram. O programa recebe a percepção atual a cada chamada. Qualquer histórico necessário deve ser guardado na memória. Agente = arquitetura + programa: o mesmo código em uma plataforma com sensores ou ações diferentes pode se comportar de maneira muito diferente.

Acompanhe um aspirador em duas casas

As casas A e B podem estar limpas ou sujas. O aspirador percebe sua própria localização e se a casa atual está suja. Ele pode executar Esquerda, Direita, Aspirar ou Não fazer nada. Uma percepção atual como “[A, Suja]” não contém informações sobre B.

Um programa simples pode usar estas regras:

if current_square_is_dirty:
    return "Suck"
if location == "A":
    return "Right"
return "Left"

Começando em A suja, ele aspira. Sua próxima percepção é “[A, Limpa]”, então ele se move para a direita. Em B suja, ele aspira novamente. Quando ambas as casas estão limpas, essas regras continuam fazendo o agente se mover, pois não armazenam o fato de que ambas foram limpas. Se esse movimento prejudica o desempenho depende da regra de pontuação.

Por que não listar cada histórico de entrada?

Há quatro percepções atuais: A ou B combinadas com limpa ou suja. Uma tabela indexada por históricos de comprimento 1 a 3 precisa de:

Para comprimentos de 1 a 10, ela precisa de 1.398.100 entradas. Um histórico mais longo é uma chave diferente da tabela, mesmo quando sua percepção final repete uma anterior. Câmeras tornam o número de entradas possíveis ainda muito maior. Um programa compacto aproveita regularidades, como limpar sempre que percebe sujeira, em vez de armazenar cada caso.

Chamar um termostato de agente descreve sua relação entre sensor e ação. Isso não implica raciocínio sofisticado. A visão do agente se torna especialmente útil quando a escolha de ações envolve percepção, inferência, aprendizado ou planejamento e quando as informações disponíveis ao programa precisam ser explicitadas.

Um bom comportamento precisa de um padrão explícito. Uma medida de desempenho avalia a sequência de estados do ambiente produzida pelo agente, de modo que dois programas possam ser comparados por suas consequências.

Recompense o resultado que as pessoas desejam

Um aspirador recompensado pela sujeira coletada poderia despejar sujeira e coletá-la novamente. Recompensar um piso limpo capta melhor o resultado desejado. Quem projeta ou usa o sistema define a medida; permitir que um agente redefina livremente o sucesso permitiria que ele atribuísse a si mesmo uma pontuação perfeita.

Uma medida pode combinar limpeza, energia e ruído. Essas escolhas importam: um piso mantido limpo e silencioso é diferente da mesma limpeza média obtida com períodos de atividade perturbadora. A definição de sucesso vem antes da escolha de um algoritmo.

Calcule uma pontuação ao longo do tempo

Ambas as casas começam sujas, com o aspirador em A. Após cada uma de 10 ações, atribua um ponto por casa limpa. Casas limpas permanecem limpas.

1. O agente 1 executa Aspirar, Direita, Aspirar e depois Não fazer nada sete vezes. As contagens de casas limpas após as três primeiras ações são 1, 1 e 2. Seu total é $1+1+2+7\times 2=18$.
2. O agente 2 executa Direita, Aspirar, Esquerda, Aspirar e depois Não fazer nada seis vezes. Seu total é $0+1+1+2+6\times 2=16$.
3. O agente 3 começa como o agente 1, mas continua se movendo em suas últimas sete ações. Sua pontuação de limpeza também é 18.

Agora subtraia um ponto por movimento. O agente 1 se move uma vez e faz 17 pontos. O agente 3 se move oito vezes e faz 10 pontos. A nova medida valoriza parar quando o agente sabe que ambas as casas estão limpas.

Avalie uma decisão antes de ver seu resultado

Um agente racional seleciona a ação que se espera maximizar sua medida de desempenho, dadas sua sequência de percepções e seu conhecimento incorporado. Quatro fatores determinam a avaliação: a medida, o conhecimento prévio, as ações disponíveis e o histórico de percepções.

A racionalidade difere da onisciência, que significaria conhecer o resultado real antecipadamente. Uma pessoa que anda de bicicleta vê uma previsão de 5% de chance de chuva. Carregar uma jaqueta volumosa é um incômodo certo que, para essa pessoa, supera essa chance de se molhar. Deixá-la em casa pode ser racional mesmo que depois chova. Um resultado ruim não altera as evidências disponíveis quando a decisão foi tomada.

A coleta de informações pode ser, por si só, uma ação racional. Olhar antes de atravessar uma via custa pouco e melhora a próxima decisão. Em um ambiente desconhecido, a exploração pode revelar os efeitos das ações, trocando parte da recompensa imediata por escolhas melhores no futuro.

Deixe a experiência melhorar o comportamento

A autonomia cresce quando um agente depende de sua própria experiência em vez de apenas das suposições de quem o projetou. Um aspirador com mapa fixo pode bater repetidamente em um sofá que foi movido. Atualizar o mapa com novas leituras permite que ele se adapte. Conhecimento prévio útil ajuda no início; o aprendizado mantém esse conhecimento ajustado ao ambiente.

Uma pontuação alta só tem significado se a medida captar o resultado pretendido. Encerrar chamados de suporte rapidamente e deixar problemas sem solução é uma falha de medição, mesmo que o sistema otimize essa pontuação de modo eficaz.

Antes de projetar um agente, especifique o que significa sucesso e o que ele pode perceber e mudar. PEAS organiza o ambiente de tarefa em medida de desempenho, ambiente, atuadores e sensores.

Comece pelo sucesso

P descreve resultados que podem ser avaliados. E descreve o cenário e as entidades que afetam esses resultados. A lista os meios de agir; S lista os meios de obter informações. O ambiente de tarefa é o problema que o agente deve resolver, não o algoritmo usado para resolvê-lo.

Para um táxi automatizado, “dirigir bem” é vago demais. Um P útil inclui viagens seguras, legais, confortáveis e pontuais, ganhos e efeitos sobre outros usuários da via. Esses objetivos podem entrar em conflito. Restrições de segurança podem ser requisitos fixos, com a velocidade otimizada apenas entre as opções seguras.

Preencha a descrição do táxi

Uma tela para passageiros é um atuador porque muda o que o passageiro vê. Uma tela sensível ao toque também pode fornecer entrada de sensor quando o passageiro escolhe um destino. Classifique cada papel pela direção da informação ou da ação, não pelo nome cotidiano do dispositivo.

Aplique PEAS além da direção

Um assistente de diagnóstico médico busca a saúde do paciente, diagnósticos precisos, exames úteis e poucos procedimentos desnecessários. Seu ambiente inclui pacientes, profissionais de saúde, laboratórios e o hospital. Suas saídas incluem perguntas, solicitações de exames, sugestões de diagnósticos e encaminhamentos. Suas entradas incluem sintomas relatados, achados, prontuários e resultados de exames.

Um robô de separação em armazém busca separar os itens corretos por hora sem danos ou lesões. Prateleiras, caixas, esteiras e pessoas formam seu ambiente. Rodas, um braço e uma garra são atuadores. Câmeras, leitores de código de barras, sensores de ângulo das articulações e sensores de força fornecem informações. O robô precisa detectar força se sua medida penaliza mercadorias esmagadas: apenas ver o item correto não revela força excessiva na garra.

Para um filtro de spam, P equilibra o spam bloqueado e as mensagens legítimas bloqueadas por engano. E inclui a caixa de entrada e os remetentes. A permite entregar ou mover mensagens para o spam. S fornece texto e cabeçalhos das mensagens e relatos do usuário. Aumentar o spam bloqueado por meio do bloqueio de todas as mensagens sacrificaria a entrega das legítimas.

Verifique se as partes são compatíveis

Escreva P primeiro, depois E, A e S. Para cada resultado desejado, identifique como os atuadores o influenciam. Para cada informação necessária à escolha de uma ação, identifique um sensor ou conhecimento prévio que a forneça. Um objetivo de conforto precisa de evidências como leituras de aceleração ou comentários dos passageiros. Se nenhuma delas existir, o projeto não poderá avaliar esse aspecto da viagem de forma confiável.

Mantenha instrumentos, observações e escolhas separados. Uma câmera é um sensor; uma imagem é uma percepção. Uma garra é um atuador; “pegar o item 37” é uma ação. O algoritmo de rotas pertence ao agente, enquanto a rede viária pertence a E. Os sensores escolhidos também determinam quanta informação relevante fica visível para o agente.

Rótulos de ambientes descrevem exigências distintas para um agente. Uma tarefa pode ser totalmente observável e ainda assim incerta, ou ter regras conhecidas e ainda assim informações ocultas. Classifique cada dimensão de forma independente.

Informações, outros agentes e resultados

Um ambiente é totalmente observável quando os sensores revelam todos os fatos relevantes para a escolha da ação. Ele é parcialmente observável quando fatos relevantes estão ocultos ou leituras têm ruído. Um agente sem sensores enfrenta um ambiente não observável. Um tabuleiro de xadrez é visível; o pôquer oculta as cartas dos adversários.

Uma tarefa multiagente inclui outras entidades cujas escolhas orientadas por objetivos afetam o resultado e dependem de nosso comportamento. O xadrez é competitivo; robôs que carregam uma mesa cooperam. Motoristas cooperam para evitar colisões e podem competir por estacionamento. Uma árvore caída é um obstáculo, não outro agente. A aleatoriedade pode ajudar na competição ao tornar as escolhas mais difíceis de prever.

Em um ambiente determinístico, o estado e a ação determinam o próximo estado. Um modelo não determinístico lista os resultados possíveis; um modelo estocástico atribui probabilidades a eles. O xadrez é convencionalmente determinístico porque a incerteza sobre a escolha do adversário pertence à dimensão multiagente. Informações ocultas podem fazer uma dinâmica determinística parecer incerta para um agente.

Dependência e passagem do tempo

Uma tarefa estática pode ser sequencial. Preencher uma resposta em uma palavra cruzada restringe as respostas seguintes, embora a grade não mude enquanto a pessoa pensa. Episódico significa que decisões dizem respeito a episódios independentes, não apenas que ações ocorrem em momentos separados.

Valores e conhecimento

Estados ou ações discretos têm alternativas distintas. Grandezas contínuas variam em um intervalo, como a velocidade ou o ângulo de direção de um carro. Classifique estado, tempo, percepções e ações separadamente: imagens digitais contêm valores discretos, mas muitas vezes representam brilho e posição que variam continuamente. O xadrez com relógio combina jogadas discretas com a passagem contínua do tempo.

Um ambiente conhecido tem efeitos de ação ou probabilidades de resultados especificados. Em um ambiente desconhecido, o agente precisa aprendê-los. Esses rótulos dizem respeito ao modelo, não ao que os sensores mostram no momento. A paciência tem regras conhecidas e cartas ocultas. Um jogo novo pode mostrar seu estado completo e deixar desconhecidos os efeitos de seus botões.

Aplique cada verificação à tarefa

Pergunte, nesta ordem: quais fatos relevantes estão ocultos? Quem mais escolhe ações? O próximo estado é fixo? As decisões afetam as seguintes? O que muda enquanto o agente pensa? Quais grandezas são discretas ou contínuas? Os efeitos das ações são conhecidos?

Dirigir um táxi combina observabilidade parcial, múltiplos agentes, resultados estocásticos, decisões sequenciais, um mundo dinâmico e grandezas contínuas. Grande parte da dinâmica do veículo é conhecida, mas um veículo desconhecido pode exigir aprendizado. A combinação mais difícil também inclui dinâmica desconhecida. Não deduza os sete rótulos de uma única característica difícil: o Go, totalmente observável, ainda tem um espaço de estados enorme.

Uma classificação se torna útil quando muda a forma como o agente é construído. Um estado oculto pode exigir estimativa; resultados incertos exigem considerar vários futuros possíveis; um mundo em mudança limita o tempo de deliberação.

Compare tarefas familiares

Essas descrições dos jogos pressupõem que suas regras usuais sejam conhecidas. Um relógio muda a classificação temporal sem ocultar peças ou mudar as regras das jogadas. Dados mudam a incerteza das transições sem ocultar o tabuleiro visível.

Classifique tarefas físicas e de diagnóstico

Um táxi tem pontos cegos e não consegue observar diretamente as intenções de outros motoristas. Outros usuários da via perseguem objetivos, e o trânsito muda enquanto o agente pensa. Uma saída perdida afeta escolhas posteriores. Posições, velocidades e ângulos de direção variam continuamente; eventos inesperados tornam os resultados estocásticos. Essa combinação exige percepção, previsão, controle no tempo adequado e planejamento.

Um assistente de diagnóstico médico tem evidências incompletas sobre condições internas. Resultados de exames são imperfeitos, tratamentos têm resultados incertos e um exame orienta a próxima decisão. A condição do paciente pode mudar durante a deliberação; muitas medidas são contínuas. Um modelo comum trata o paciente como parte de um ambiente de um único agente, com o assistente tomando decisões para melhorar a saúde. Essa escolha difere de modelar vários profissionais de saúde como tomadores de decisão que interagem.

Uma câmera de inspeção avalia peças acabadas de forma independente. Um defeito interno oculto torna a tarefa parcialmente observável, mas peças anteriores não precisam ajudar a avaliar a atual. Se uma esteira em movimento muda a posição da peça enquanto a câmera delibera, a tarefa é dinâmica. Se uma imagem congelada permanece inalterada e apenas a demora reduz a pontuação, ela é semidinâmica. Um prazo, por si só, não especifica qual situação se aplica.

Transforme propriedades em escolhas de projeto

Quando leituras anteriores revelam algo sobre o estado atual oculto, use memória e um modelo do mundo. Um táxi pode se lembrar de um carro que entrou em seu ponto cego. Na classificação independente de imagens, a memória de itens anteriores pode não acrescentar nada útil; a observabilidade parcial, por si só, não estabelece a necessidade de histórico.

Tarefas estocásticas exigem comparar resultados incertos. Tarefas competitivas exigem antecipar adversários, às vezes com aleatoriedade. Tarefas sequenciais exigem considerar consequências. Tarefas dinâmicas exigem decisões tomadas a tempo de permanecerem úteis. Efeitos desconhecidos exigem aprendizado e exploração. Grandezas contínuas exigem representações e métodos que lidem com intervalos.

A busca clássica é adequada a modelos conhecidos, determinísticos, totalmente observáveis, discretos e de um único agente. A busca adversária lida com jogos competitivos. A inferência probabilística estima estados ocultos; processos de decisão apoiam escolhas sequenciais incertas; o aprendizado por reforço trata do aprendizado por interação. O aprendizado supervisionado é adequado a muitas tarefas independentes de classificação. Um sistema real pode combinar vários desses métodos porque seu ambiente combina várias exigências.

Programas de agentes diferem nas informações que usam para selecionar uma ação. Uma tabela pode descrever o comportamento diretamente; projetos práticos aproveitam regras e modelos para evitar enumerar cada histórico.

Compare três projetos

Um programa orientado por tabela pode implementar uma função do agente em princípio. Com quatro percepções possíveis, históricos de até 10 etapas já exigem 1.398.100 entradas. Uma regra como “se estiver suja, aspirar” cobre muitos históricos com um único trecho de código.

Veja por que um reflexo pode entrar em ciclo

Um agente reativo simples associa a situação atual a uma regra condição–ação e então age. Um detector de luz de freio pode acionar a frenagem rapidamente. Para uma tarefa cuja resposta correta está disponível na leitura atual, isso é eficiente. A observabilidade total fornece as informações relevantes sobre o estado, mas as regras ainda precisam escolher ações adequadas.

Retire o sensor de localização do aspirador. Agora ele vê apenas “Limpa” ou “Suja”. Começando em A limpa, uma regra “se estiver limpa, mover para a Esquerda” o faz bater na parede. A próxima leitura ainda é “Limpa”, então ele repete isso indefinidamente. A mesma leitura ocorre em B limpa, onde mover-se para a Esquerda faria sentido. A informação ausente torna as duas situações indistinguíveis.

Escolher Esquerda ou Direita aleatoriamente pode permitir a saída: a partir de A, cada tentativa chega a B com probabilidade de um meio. O número médio de tentativas é 2. Isso elimina o ciclo determinístico, mas não informa ao agente onde ele está nem qual casa continua suja.

Atualize uma estimativa interna

Um agente reativo baseado em modelo mantém um estado interno derivado de percepções anteriores. Ele atualiza esse estado usando a última ação e a nova percepção e depois aplica regras à estimativa atualizada.

Dois modelos cumprem papéis diferentes:

• Um modelo de transição descreve como o mundo muda, incluindo os efeitos das ações.
• Um modelo de sensor descreve como estados do mundo produzem observações.

Para um táxi, ver um carro em um espelho estabelece uma observação recente. Prever para onde o carro se move pertence ao modelo de transição. Relacionar uma imagem de câmera à posição do carro pertence ao modelo de sensor. O táxi pode manter o carro em sua estimativa interna depois que ele entra em um ponto cego.

Um aspirador pode se lembrar de que A foi limpa. Depois que ele limpa B, seu estado indica que ambas as casas estão limpas e sua regra pode selecionar Não fazer nada. Pela pontuação de limpeza de dez ações com penalidade de um ponto por movimento, parar rende 17 pontos; continuar se movendo rende 10.

Controle reativo e deliberativo

Projetos reativos são reativos: regras selecionam ações sem simular sequências futuras. Projetos baseados em objetivos e em utilidade são deliberativos: eles preveem consequências. Sistemas podem combinar em camadas uma frenagem de emergência rápida com um planejamento de rotas mais lento. “Baseado em modelo” não significa, por si só, “baseado em objetivos”: lembrar fatos não observados e perguntar qual futuro alcança um destino são operações diferentes. Na observabilidade parcial, o estado interno é uma estimativa que novas evidências podem revisar.

Lembrar o mundo ajuda a tomar decisões melhores, mas não diz qual futuro é desejável. Agentes baseados em objetivos e em utilidade tornam essa preferência explícita.

Do destino ao plano

Um agente baseado em objetivos prevê os resultados das ações e pergunta se elas levam a uma situação desejada. Um táxi em um cruzamento pode virar à esquerda, à direita ou seguir em frente com segurança. O destino do passageiro determina qual opção ajuda. Mudar o destino muda o objetivo, permitindo que o mesmo mapa e os mesmos mecanismos de raciocínio encontrem uma nova rota.

Um objetivo é um teste de sim/não: alcançado ou não alcançado. Busca e planejamento encontram sequências de ações que passam no teste. O conhecimento explícito torna o agente flexível: um novo destino muda o objetivo, enquanto uma menor capacidade de frenagem na chuva muda o modelo usado para prever resultados.

Um agente baseado em utilidade atribui números ao grau de desejo pelos resultados. Várias rotas podem chegar ao mesmo destino, mas diferir em tempo, segurança ou conforto. A utilidade expressa essas preferências e os compromissos entre elas. Sua função interna de utilidade deve concordar com a medida externa de desempenho para que a maximização da utilidade atenda ao objetivo pretendido.

Uma utilidade binária de 1 para sucesso e 0 para fracasso pode representar um objetivo sob incerteza. Uma utilidade mais detalhada pode diferenciar resultados bem-sucedidos ou atribuir valores diferentes a falhas diferentes.

Calcule a utilidade esperada

Para cada resultado possível, multiplique sua probabilidade por sua utilidade e depois some os produtos:

Aqui, o modelo de probabilidade descreve os estados resultantes de uma ação, e a função de utilidade avalia esses resultados. A escolha racional baseada em utilidade é aquela com a maior utilidade esperada.

Analise uma decisão sobre um trem

Um trem parte em 40 minutos. A rota A leva 30 minutos com certeza. A rota B leva 20 minutos com probabilidade 0,8 ou 50 minutos com probabilidade 0,2.

Se o objetivo é minimizar o tempo esperado de viagem:

A rota B tem o menor tempo esperado. Mas a pessoa valoriza pegar o trem. Defina utilidade 1 para chegar antes da partida e 0 para perdê-lo. A sempre permite pegar o trem; B permite pegá-lo apenas no resultado de 20 minutos:

Agora A é preferida. O modelo de probabilidade não mudou. A avaliação dos resultados mudou. Um tempo médio de chegada de 26 minutos não significa que cada viagem dure 26 minutos.

Considere os recursos computacionais

A utilidade pode representar tempo, saúde, conforto ou outros resultados valorizados; ela não precisa representar dinheiro. A previsão exata de todos os futuros possíveis geralmente custa caro demais, então agentes práticos usam aproximações. Antecipar consequências também consome tempo. Uma resposta reflexa é útil quando uma ação imediata é suficiente, enquanto a deliberação compensa seu custo quando as consequências futuras diferenciam as escolhas.

O aprendizado pode melhorar um programa reativo, baseado em objetivos ou baseado em utilidade. Ele é uma forma de construir e adaptar um agente, não uma categoria concorrente de seleção de ações.

Acompanhe o ciclo de aprendizado

O crítico precisa de um padrão externo porque uma percepção, por si só, não diz se um resultado é bom. Ver uma posição de xeque-mate não é o mesmo que saber que vencer é recompensado. O agente não deve poder redefinir seu padrão para fazer um comportamento ruim contar como sucesso.

Considere um drone de entregas. O elemento de desempenho pilota uma rota. Um vento contrário deixa apenas 8% de bateria no pouso, abaixo de um padrão fixo de segurança de 15%. O crítico informa que o padrão não foi atingido. O elemento de aprendizado revisa o modelo de energia para que ventos contrários semelhantes indiquem maior consumo. Voos futuros podem levar cargas menores ou seguir rotas mais curtas. O gerador de problemas sugere um voo de teste mais lento para aprender se uma velocidade de cruzeiro menor economiza energia.

A exploração pode reduzir a recompensa imediata e melhorar escolhas posteriores. O aprendizado pode mudar regras, modelos de transição, modelos de sensor ou uma estimativa interna de utilidade. Uma estimativa atualizada de utilidade ainda deve atender ao padrão externo de desempenho; mudar o que o agente aprendeu sobre preferências é diferente de lhe permitir redefinir o sucesso.

Escolha como os estados são representados

Uma representação atômica trata um estado como um item indivisível, como o nome de uma cidade. O algoritmo pode comparar estados sem examinar atributos dentro deles. Essa é uma visão comum em modelos básicos de busca e de jogos.

Uma representação fatorada descreve um estado por meio de variáveis com valores. Um veículo pode ter posição, combustível e um indicador de aviso do óleo. Dois estados podem compartilhar um valor de combustível e diferir na posição, permitindo que regras se refiram a propriedades comuns. Planejamento, modelos de restrições, redes bayesianas e boa parte do aprendizado de máquina usam esse tipo de estrutura.

Uma representação estruturada descreve objetos e suas relações. “O caminhão está atrás do portão” distingue um caminhão, um portão e a relação entre eles. A lógica de primeira ordem e a compreensão de linguagem usam essas representações para expressar quem fez o quê a quem.

Conte combinações sem listá-las

Suponha que um estado fatorado tenha três variáveis de sim/não e outra variável com 10 valores. O número de atribuições possíveis é:

Uma descrição compacta por variáveis representa 80 alternativas atômicas. Restrições podem reduzir as atribuições possíveis ou alcançáveis. Representações mais expressivas podem descrever regularidades de forma concisa, mas exigem raciocínio mais elaborado. Atômico não significa pouco inteligente: tratar cidades como nomes é eficaz quando apenas as ligações rodoviárias importam. Objetos e relações justificam sua complexidade quando a tarefa exige reutilizar conhecimento sobre seus papéis.

Um agente que resolve problemas separa a decisão sobre o que alcançar da decisão sobre como alcançá-lo. Ele formula um objetivo, formula um problema, busca uma solução em seu modelo e executa as ações escolhidas.

Especifique o modelo com precisão

Alguns cursos combinam ações, resultados e custos em uma função sucessora que retorna triplas de ação–estado–custo. As mesmas informações estão presentes. Esses componentes descrevem o problema; o algoritmo de busca decide quais possibilidades examinar.

Um caminho é uma sequência de ações. Seu custo é a soma dos custos das ações. Uma solução vai do estado inicial a um estado de objetivo; uma solução ótima tem o menor custo entre as soluções. Com custos positivos e desiguais, menos ações ainda podem custar mais.

Compare rotas por seus custos

Os comprimentos das estradas em quilômetros são Alden–Brook 40, Alden–Cove 25, Brook–Cove 10, Brook–Elm 30, Cove–Dale 35 e Dale–Elm 20. As estradas podem ser usadas nos dois sentidos. O estado é a cidade atual; comece em Alden e teste se chegou a Elm. As ações aplicáveis seguem estradas a partir da cidade atual, e cada ação custa o comprimento da estrada.

Os caminhos de solução simples são:

• Alden → Brook → Elm: 70 km.
• Alden → Cove → Brook → Elm: 65 km.
• Alden → Cove → Dale → Elm: 80 km.
• Alden → Brook → Cove → Dale → Elm: 105 km.

A rota de três estradas por Cove e Brook supera a rota de duas estradas por Brook. Como os comprimentos das estradas são positivos, acrescentar um ciclo não pode melhorar a distância.

Formule o mundo do aspirador

Um estado registra a localização do aspirador e se cada casa está suja: duas posições combinadas com dois indicadores independentes de sujeira produzem 8 estados. As ações são Esquerda, Direita e Aspirar. Aspirar limpa a casa atual. Esquerda em A e Direita em B deixam a localização inalterada. O teste de objetivo pergunta se ambas as casas estão limpas; cada ação custa 1.

Começando em A com ambas sujas, Aspirar, Direita, Aspirar alcança o objetivo ao custo de 3. São necessárias duas ações de limpeza e pelo menos um movimento, então esse plano é ótimo. Um modelo pode omitir movimentos nos limites de ACTIONS ou incluí-los como ações sem efeito; ACTIONS e RESULT devem implementar a mesma convenção.

Separe estados de caminhos

O grafo do espaço de estados tem um vértice por estado e arestas direcionadas para ações. Uma estrada de mão dupla contribui com duas arestas direcionadas. Uma árvore de busca representa caminhos a partir do início: dois caminhos diferentes podem terminar no mesmo estado, criando nós diferentes na árvore. Um grafo pode ser gerado conforme necessário usando ACTIONS e RESULT, sem armazenar cada estado antecipadamente.

Em um modelo totalmente observável, determinístico e conhecido, um plano fixo pode ser executado em malha aberta sem novas percepções. Quando a execução pode divergir da previsão, o controle em malha fechada monitora percepções e planeja novamente ou segue ramificações para diferentes resultados. O estado de objetivo, por si só, especifica um destino; a sequência de ações explica como chegar lá.

Um estado do mundo contém todos os detalhes do ambiente. Um estado de busca mantém o que o planejamento precisa.

Verifique o que deve ser lembrado

Inclua informações suficientes para determinar ações aplicáveis, resultados de transição, condição de objetivo e custos de ação a partir do estado atual. Se duas situações exigem respostas diferentes a qualquer uma dessas questões, mantenha-as distintas.

Para chegar a uma saída em uma grade fixa, a localização pode bastar. Para coletar pacotes, apenas a localização não informa quais itens restam. Para movimentos com bateria limitada, apenas a localização não informa se a próxima ação é possível. A cor da parede pode ser omitida quando não altera nenhuma dessas decisões.

Uma abstração é válida quando toda solução abstrata pode ser expandida para uma solução real. Ela é útil quando suas ações são mais simples de executar do que resolver o problema original. Substituir a direção detalhada por “dirigir de Cove a Brook” só ajuda se esse trajeto abstrato puder realmente ser executado.

Faça a contagem uma variável por vez

Um robô se move em uma grade de 5 × 6 que contém 8 pacotes fixos.

1. Para chegar à saída, armazene a célula: $5\times 6=30$ possibilidades.
2. Para coletar todos os pacotes, acrescente oito indicadores de coletado/não coletado: $30\times 2^8=7.680$ atribuições.
3. Se a carga da bateria importar, acrescente 11 níveis, de 0 a 10: $7.680\times 11=84.480$ atribuições.

Multiplique os tamanhos dos domínios quando todas as combinações forem permitidas. Isso conta as configurações representadas; o número alcançável a partir do estado inicial pode ser menor. O quebra-cabeça de 8 peças tem $9!=362.880$ arranjos, mas apenas 181.440 são alcançáveis a partir de qualquer arranjo. Para o quebra-cabeça de 15 peças, a contagem correspondente de estados alcançáveis é 10.461.394.944.000, aproximadamente 1,05 × 10¹³.

Um aspirador com n casas tem uma localização e n indicadores de sujeira, resultando em $n{2}^n$ estados. Duas casas produzem 8 estados; dez produzem 10.240. Acrescentar uma variável binária multiplica a contagem por dois, o que explica o crescimento exponencial.

Mude a formulação, não a tarefa

A tarefa das oito rainhas pede oito rainhas que não se ataquem. Uma formulação de estado completo começa com oito rainhas e as move. Uma formulação incremental começa vazia e acrescenta rainhas.

Permitir que cada nova rainha seja colocada em qualquer casa vazia produz cerca de 1,8 × 10¹⁴ sequências ordenadas de oito posicionamentos. Muitas ordens criam o mesmo tabuleiro. Contar tabuleiros distintos com zero a oito rainhas resulta em 5.130.659.561 estados. Essas são quantidades diferentes: sequências registram como um tabuleiro foi construído; estados registram o tabuleiro.

Em vez disso, acrescente uma rainha apenas na coluna vazia mais à esquerda e apenas em uma casa não atacada. Essa formulação tem 2.057 estados, incluindo 92 soluções, cerca de 2,5 milhões de vezes menos estados distintos que a versão incremental sem restrições. Ela impede muitas escolhas sem saída antes que a busca as explore.

Guarde o histórico necessário de forma compacta

Um percurso que deve visitar todas as cidades precisa do conjunto de cidades visitadas e da cidade atual. Em geral, não precisa da ordem exata de todos os movimentos anteriores, a menos que a ordem afete a validade ou o custo. Armazenar histórico desnecessário faz situações equivalentes parecerem diferentes e impede o reaproveitamento do trabalho. A contagem de estados é uma pista sobre a dificuldade; a estrutura do grafo e o método usado para explorá-lo também importam.

Uma boa formulação torna o objetivo, os movimentos válidos e o custo suficientemente precisos para que um método de busca possa usá-los. Pequenos quebra-cabeças tornam essas escolhas visíveis; tarefas práticas acrescentam tempo, incerteza ou restrições que o estado deve preservar.

Siga uma sequência de formulação

1. Enuncie um objetivo mensurável ligado à medida de desempenho.
2. Escolha as variáveis de estado mínimas e suficientes e o estado inicial.
3. Defina as ações aplicáveis e seus resultados.
4. Escreva o teste de objetivo.
5. Atribua custos de ação com unidades.
6. Verifique a abstração e estime a contagem de estados.

Para o quebra-cabeça de 8 peças, armazene as posições das oito peças e do espaço vazio. Mova o espaço vazio para uma célula adjacente e troque-o com a peça dessa célula. Um canto permite 2 movimentos, uma borda 3 e o centro 4. O teste de objetivo compara o arranjo com um alvo especificado. Custos unitários de ação fazem o custo do caminho ser igual ao número de movimentos.

Modele um par de recipientes de água

Use recipientes de 4 e 3 litros sem marcações, uma torneira e um ralo. Comece com os recipientes vazios. Armazene as quantidades como um par ordenado: primeiro o recipiente de 4 litros, depois o de 3 litros. As operações permitidas são encher, esvaziar e despejar até que a origem esteja vazia ou o destino esteja cheio. Cada operação custa 1.

A partir de (3, 3), despeje o recipiente menor no maior. A origem tem 3 litros, mas o destino tem espaço para apenas 1 litro. Transfira a menor quantidade:

O resultado é (4, 2). Despejar não divide a água arbitrariamente; a regra de parada determina a quantidade transferida. Começando com os recipientes vazios, as quantidades em litros inteiros permanecem inteiras. Há 20 combinações inteiras na representação e 14 alcançáveis a partir de (0, 0).

Deixe o teste de objetivo determinar o sucesso

Para “qualquer um dos recipientes contém 2 litros”, um plano mais curto exige quatro ações:

(0, 0) → encher o menor → (0, 3) → despejar no maior → (3, 0) → encher o menor → (3, 3) → despejar no maior → (4, 2).

Para “o recipiente de 4 litros contém 2 litros”, (4, 2) falha no teste. Um plano mais curto exige seis ações:

(0, 0) → encher o maior → (4, 0) → despejar no menor → (1, 3) → esvaziar o menor → (1, 0) → despejar no menor → (0, 1) → encher o maior → (4, 1) → despejar no menor → (2, 3).

Mudar algumas palavras no objetivo muda qual estado final conta como sucesso. Manter fixa a ordem do estado evita confundir a quantidade em um recipiente com a do outro.

Acrescente os fatos necessários às tarefas reais

Um planejador de voos precisa do aeroporto e do horário atuais. Voos de continuação válidos devem partir tarde o suficiente para permitir a conexão. A classe tarifária ou trechos anteriores também pertencem ao estado quando afetam opções futuras ou preços. A distância, por si só, não consegue representar um objetivo que combina tarifas, espera, duração do voo e conveniência; um modelo de custo deve definir os compromissos entre esses critérios.

Um problema de visitação deve guardar os lugares visitados. O problema do caixeiro-viajante busca o percurso mais curto que visita cada cidade uma vez e retorna ao início; ele é NP-difícil, sem método exato eficiente conhecido para todos os casos grandes. A navegação de robôs pode precisar de posição contínua e ângulos de articulação. A disposição de circuitos VLSI lida com a colocação de componentes e conexões; o sequenciamento de montagem deve guardar quais peças já foram encaixadas porque uma escolha inicial pode bloquear uma etapa posterior.

Antes da busca, teste uma ação comum e um caso limite. Um recipiente de destino cheio não deve aceitar mais água; um voo que já partiu não deve aparecer como conexão disponível. Essas verificações expõem antecipadamente estados incompletos ou regras de ação inconsistentes.