Leitores preferem histórias escritas por IA às de autores humanos
Descoberta surgiu em pesquisa com 2587 participantes, submetidos a textos gerados pelo ChatGPT e outros redigidos por pessoas
O título acima é uma verdade universal? Não. Pelo menos não ainda. Mas ele mostra uma instância em que leitores humanos preferiram material criado por máquinas ao produzido por pessoas.
De um lado, estavam três contos escritos por autores humanos. De outro, três histórias geradas pelo ChatGPT. No meio deles, grupos de pessoas que precisavam dar notas a esses conteúdos.
E os textos mais bem avaliados não foram os de gente como a gente. Venceu o ChatGPT.
O estudo em questão, publicado hoje na revista científica Judgment and Decision Making, foi conduzido na Universidade Villanova, nos Estados Unidos. A investigação, realizada pelas pesquisadoras Sydney Sears e Deena Skolnick Weisberg, contou com três experimentos envolvendo 2.587 adultos, com idades entre 18 e 81 anos.
A equipe de cientistas escolheu contos humanos e pediu que o GPT-4 produzisse versões correspondentes. Formou, assim, pares de conteúdo compostos por um conto feito por gente e outro por máquinas, todos com cerca de mil palavras, o que equivale a uns 5 minutinhos de leitura.
Como foi realizado o teste?
O primeiro experimento envolveu 1.682 participantes. Cada pessoa leu apenas uma das seis histórias e recebeu uma informação sobre sua origem. Em alguns casos, a informação era verdadeira. Em outros, os pesquisadores diziam que um conto humano havia sido criado pelo ChatGPT e vice-versa.
O estudo criou, portanto, quatro situações. Havia textos humanos apresentados como humanos, textos humanos apresentados como artificiais, textos artificiais identificados corretamente e textos artificiais atribuídos a uma pessoa.
Depois da leitura, os participantes avaliaram a qualidade da história e o quanto haviam se envolvido com ela. As versões produzidas pelo ChatGPT receberam notas médias maiores nas duas medidas. Ao mesmo tempo, qualquer história era mais bem avaliada quando aparecia acompanhada da informação de que havia sido escrita por uma pessoa.
Os dois efeitos apareceram de forma independente na análise estatística. Isso significa que a origem real do texto influenciou o resultado e que o rótulo mostrado ao participante também teve peso.
Em termos mais simples, dizer que uma pessoa havia escrito a história aumentou sua avaliação, fosse ela humana ou artificial. Ainda assim, os textos do ChatGPT já recebiam notas maiores do que os contos humanos. A percepção de autoria acrescentou uma vantagem, mas não criou sozinha o resultado.
É importante esclarecer outro ponto. Os dois experimentos seguintes, nos quais a autoria não foi informada, não pediram aos participantes que avaliassem a qualidade das histórias. Eles serviram para testar se as pessoas conseguiam reconhecer quem havia produzido cada texto. Portanto, a conclusão sobre a preferência vem do primeiro experimento e de seu cruzamento entre origem real e autoria atribuída.
Participantes confundiram humanos e máquinas
No segundo experimento, 424 participantes receberam duas histórias correspondentes, uma humana e outra produzida pelo ChatGPT. Eles sabiam que havia um texto de cada origem, mas não eram informados sobre qual era qual.
Ou seja, eles tinham que ler e tentar adivinhar se o material era fruto da nossa maravilhosa imaginação humana ou um rearranjo de palavras produzido por máquinas.
É muito comum a gente ver posts em redes sociais (alô, LinkedIn) dizendo que só de bater olho dá para reconhecer quando um texto foi criado por IA. Para essa galera, digo o seguinte: apenas 39,39% dos participantes da pesquisa identificaram corretamente os autores, resultado inferior ao que seria esperado por puro acaso.
O terceiro experimento repetiu o procedimento com outras 481 pessoas. Dessa vez, 51,97% acertaram, desempenho estatisticamente equivalente a um palpite. Em dois dos três pares de histórias, os participantes continuaram sem distinguir as origens. Apenas um dos pares foi reconhecido acima do nível do acaso.
Lembremos do seguinte: o teste já facilitava a tarefa ao avisar que um texto era humano e o outro vinha do ChatGPT. Na vida real, ninguém recebe essa pista antes de abrir uma reportagem, um conto, uma publicação nas redes sociais ou uma mensagem.
Outro aspecto que achei bem interessante: os participantes que já têm intimidade com o uso dos modelos de IA conseguiram reconhecer os textos das máquinas com mais precisão. Por outro lado, pessoas com experiência declarada em leitura, escrita ou análise de literatura não conseguiram identificar a IA com mais facilidade.
Por que o ChatGPT agradou mais?
Embora o estudo não se proponha a explicar o que fez os textos do ChatGPT serem preferidos pelos leitores, algumas hipóteses foram aventadas pela equipe de pesquisadores.
Uma delas envolve a facilidade de leitura. Os textos da IA tendiam a ser mais claros e diretos, enquanto os contos humanos trabalhavam com maior sutileza e exigiam que o leitor inferisse parte do significado a partir das ações e falas dos personagens.
Nas versões artificiais, os temas geralmente apareciam de maneira mais explícita.
Essa característica pode favorecer o ChatGPT numa avaliação rápida. Histórias previsíveis, organizadas e fáceis de acompanhar exigem menos esforço cognitivo. A mesma qualidade que torna muitos textos artificiais genéricos também pode torná-los agradáveis numa leitura de cinco minutos.
Essa parte aqui, pessoal, foi a que me deixou mais desanimado. Porque, a meu ver, sinaliza o quanto nossos cérebros já se desacostumaram com o atrito. Crescemos num mundo em que o esforço de compreensão era parte de muitas experiências de aprendizado, e aos poucos a velocidade da internet tem moldado nossos gostos para largar as coisas diante dos mínimos sinais de dificuldade.
Os autores levantam ainda a possibilidade de que o funcionamento dos modelos produza uma espécie de média estilística. Como o ChatGPT combina padrões encontrados numa quantidade enorme de textos, tende a suavizar irregularidades e entregar uma versão com menos arestas. O resultado pode agradar mais pessoas, embora também apresente menor variedade quando se observa um conjunto amplo de criações.
Essa hipótese ajuda a entender por que fluência e originalidade não são sinônimos. Um texto pode ser fácil de ler, coerente e imediatamente agradável sem apresentar uma voz singular, uma experiência inesperada ou uma forma nova de enxergar determinado assunto.
Antes de encerrar a coluna de hoje, vale reforçar que essa pesquisa não quer dizer que a IA escreve melhor que os humanos. Apenas que a gente perdeu esse round. Vamos ver o que se desenha nos próximos.
───────────────────────────────────────────────
Alvaro Leme é doutorando e mestre em Ciências da Comunicação pela ECA-USP, jornalista e criador do podcast educativo Aprenda







