Explicando o polêmico paper da APPLE
- #Machine Learning
- #Python
A Ilusão do pensamento
1) LRMs apresentam limitações a partir de certas complexidades, assim como os LLMs. Em alguns casos performam pior que LLMs. É sabido que LRMs por vezes apresentam raciocínio distante da resposta que foi mostrada e que também às vezes pensam demais e retornam mais conteúdo que o necessário.
2) O objetivo dos autores era analisar as limitações dos LRMs, LRMs são os modelos que aplicam a técnica chamada reasoning, seria o equivalente humano a “pensar”, um exemplo open source e popular de modelo que usa essa estratégia é o Deep Seek, sobre o qual eu escrevi antes.
3) Segundo o trabalho, os mecanismos de avaliação dos modelos capazes de realizar reasoning não são capazes de produzir uma análise robusta sobre as limitações dos LRMs, sendo uma das razões a contaminação dos dados, porém o foco da pesquisa não é criar um novo benchmarking.
4) Como solução às inadequações eles apresentam o controllable puzzles environments, que foram usados em outras ocasiões e aqui a escolha foi feita apenas para medir as limitações dos Large Reasoning Models.
5) Ao comparar LLMs com LRMs o trabalho encontrou três cenários: 1) Em tarefas simples é preferível LLMs; 2) LRMs performam melhor que LLMs; 3) A partir de um certo ponto ambos colapsam inclusive os LRMs.
6) O fato de que LRMs colapsam a partir de um certo ponto demonstra uma limitação na escalabilidade dos mesmos.
7) Apesar das limitações do trabalho, os autores através do controllable puzzle environments demonstram que LRMs possuem limites em sua escalabilidade, chegando a colapsar à medida que a complexidade da tarefa aumentava. É esperado do estudo novas avaliações de como entendemos o reasoning por parte dos LRMs.
Qual a sua opinião sobre? LRMs podem pensar?
