A IA agora pode participar de uma reunião e escrever código para você – eis por que você deve ser cauteloso

A Microsoft lançou recentemente uma nova versão de todos os seus softwares com a adição de um assistente de inteligência artificial (IA) que pode realizar uma variedade de tarefas para você. O Copilot pode resumir conversas verbais em reuniões online do Teams , apresentar argumentos a favor ou contra um ponto específico com base em discussões verbais e responder a uma parte de seus e-mails. Pode até escrever código de computador.

Esta tecnologia em rápido desenvolvimento parece levar-nos ainda mais perto de um futuro onde a IA torna as nossas vidas mais fáceis e elimina todas as coisas chatas e repetitivas que temos de fazer como humanos.

Mas embora todos esses avanços sejam muito impressionantes e úteis, devemos ser cautelosos no uso de modelos de linguagem tão grandes (LLMs). Apesar de sua natureza intuitiva, eles ainda exigem habilidade para serem usados ​​de forma eficaz, confiável e segura.

Grandes modelos de linguagem

LLMs, um tipo de rede neural de “aprendizado profundo”, são projetados para entender a intenção do usuário, analisando a probabilidade de diferentes respostas com base no prompt fornecido. Assim, quando uma pessoa insere uma solicitação, o LLM examina o texto e determina a resposta mais provável.

ChatGPT , um exemplo proeminente de LLM, pode fornecer respostas a solicitações sobre uma ampla variedade de assuntos. No entanto, apesar de suas respostas aparentemente bem informadas, o ChatGPT não possui conhecimento real. Suas respostas são simplesmente os resultados mais prováveis ​​com base na solicitação fornecida.

Quando as pessoas fornecem ao ChatGPT, Copilot e outros LLMs descrições detalhadas das tarefas que desejam realizar, esses modelos podem se destacar no fornecimento de respostas de alta qualidade. Isso pode incluir a geração de texto, imagens ou código de computador.

Mas, como seres humanos, muitas vezes ultrapassamos os limites do que a tecnologia pode fazer e para que foi originalmente concebida. Conseqüentemente, começamos a usar esses sistemas para fazer o trabalho braçal que deveríamos ter feito nós mesmos.

Por que a dependência excessiva da IA ​​pode ser um problema

Apesar de suas respostas aparentemente inteligentes, não podemos confiar cegamente que os LLMs sejam precisos ou confiáveis. Devemos avaliar e verificar cuidadosamente os seus resultados, garantindo que as nossas sugestões iniciais se refletem nas respostas fornecidas.

Para verificar e validar eficazmente os resultados do LLM, precisamos ter um forte entendimento do assunto. Sem experiência, não podemos fornecer a garantia de qualidade necessária.

Isto torna-se particularmente crítico em situações em que utilizamos LLMs para colmatar lacunas no nosso próprio conhecimento. Aqui, a nossa falta de conhecimento pode levar-nos a uma situação em que somos simplesmente incapazes de determinar se o resultado está correto ou não. Esta situação pode surgir na geração de texto e codificação.

Usar a IA para participar de reuniões e resumir a discussão apresenta riscos óbvios em relação à confiabilidade. Embora o registro da reunião seja baseado em uma transcrição, as notas da reunião ainda são geradas da mesma forma que outros textos dos LLMs. Eles ainda se baseiam em padrões de linguagem e probabilidades do que foi dito, portanto exigem verificação antes que possam ser postos em prática.

Eles também sofrem de problemas de interpretação devido aos homófonos , palavras que são pronunciadas da mesma forma, mas têm significados diferentes. As pessoas são boas em compreender o que significa nessas circunstâncias devido ao contexto da conversa.

Mas a IA não é boa em deduzir contexto nem entende nuances. Portanto, esperar que formule argumentos baseados numa transcrição potencialmente errada coloca ainda mais problemas.

A verificação é ainda mais difícil se usarmos IA para gerar código de computador. Testar código de computador com dados de teste é o único método confiável para validar sua funcionalidade. Embora isto demonstre que o código funciona conforme pretendido, não garante que o seu comportamento esteja alinhado com as expectativas do mundo real.

Suponha que usemos IA generativa para criar código para uma ferramenta de análise de sentimento. O objetivo é analisar análises de produtos e categorizar os sentimentos como positivos, neutros ou negativos. Podemos testar a funcionalidade do sistema e validar as funções do código corretamente – se ele é sólido do ponto de vista técnico da programação.

No entanto, imagine que implantamos esse software no mundo real e ele começa a classificar análises sarcásticas de produtos como positivas. O sistema de análise de sentimentos carece do conhecimento contextual necessário para compreender que o sarcasmo não é usado como feedback positivo, muito pelo contrário.

Verificar se a saída de um código corresponde aos resultados desejados em situações diferenciadas como essa requer conhecimento especializado.

Os não programadores não terão conhecimento dos princípios de engenharia de software usados ​​para garantir que o código esteja correto, como planejamento, metodologia, testes e documentação. A programação é uma disciplina complexa e a engenharia de software surgiu como um campo para gerenciar a qualidade do software.

Há um risco significativo, como minha própria pesquisa mostrou, de que não especialistas ignorem ou pulem etapas críticas no processo de design de software, levando a códigos de qualidade desconhecida.

Validação e verificação

LLMs como ChatGPT e Copilot são ferramentas poderosas das quais todos podemos nos beneficiar. Mas devemos ter cuidado para não confiar cegamente nos resultados que nos são dados.

Estamos bem no início de uma grande revolução baseada nesta tecnologia. A IA tem possibilidades infinitas, mas precisa ser moldada, verificada e verificada. E atualmente, os seres humanos são os únicos que podem fazer isso.

O artigo foi publicado originalmente por Simon Thorne no The Conversation.