Cinco Lições Valiosas que Aprendi Depois de Fazer o Mesmo Projeto por Trinta Dias

Introdução

Pouco mais de um mês atrás decidi aceitar um desafio. Treinar o mesmo modelo durante trinta dias. Faltando pouco mais de quatro dias para completar a tarefa aprendi algumas lições as quais pretendo compartilhar neste ensaio.

Acredito que o foco é um ingrediente fundamental em qualquer atividade. Acredito que isto seja ainda mais relevante nos estudos. Com foco é possível perceber avanços significativos em uma direção importante que decidiu tomar. No meu caso há evidências do sucesso desta abordagem.

Desta vez, o esforço era em tentar me concentrar em uma pergunta relevante para a minha pesquisa. Me sentia confuso e ansioso sobre qual abordagem usar, quais modelos e uma série de outras questões, que apesar de importantes, não me levavam a lugar algum. Para sanar isso, aceito o desafio de treinar o mesmo modelo durante trinta dias.

O Bert é um modelo desenvolvido pelo Google. Em comparação com o GPT da Openai ele é capaz de usar contexto para compreender as palavras. De modo que o B refere-se a Bi-direcional ao contrário do GPT que foi desenvolvido para prever o próximo token. 

Torna-se comum o uso do Bert em pesquisas pela facilidade em aplicar o processo de Fine-Tuning e tornar capaz de obter resultados em seu estados da arte em tarefas como Q&A e Sentiment Analysis. Me parecia a escolha perfeita e tenho estado contente sobre. De modo que vou estender essa tarefa para o ano inteiro.

Lições

1 - Como havia tratado no post sobre o desafio. Fazer algumas poucas coisas que tenham grande impacto em sua vida profissional ou pessoal é um jogo muito mais válido e interessante de ser jogado.

2 - Quando você joga o jogo do tudo ou nada, quando você perder você desiste. De modo que, durante este mês pulei alguns dias mas isto não foi razão ou motivo para desistir. Me mantive o mais consistente que pude e sem desanimar.

3 - Tratar erros como “puzzles”. Não é incomum que a nossa educação formal entenda, certa vezes, o erro como algo inaceitável. Algo que discordo e que é uma valiosa lição do livro “Surely You’re Joking Mr. Feynman”. Sempre que encontro ou encontrava um erro no código, ao invés de ficar ansioso para achar a resposta muito rapidamente, via como um enigma que precisava ser solucionado, de modo que o código contém as pistas para o mistério. Isto torna o processo todo muito mais prazeroso.

4 - Saber o que precisa ser feito, diminui a ansiedade da tarefa. Ainda é um grande desafio ter que realizar a tarefa. Mas, de modo que eu sei o que precisa ser feito, quando analiso meu progresso e tenho convicção do que precisa ser feito tudo se torna mais tolerável.

5 - A curiosidade ainda é a sua maior aliada. Ao invés de mecanicamente treinar o mesmo modelo durante este mês, eu testei inúmeros frameworks, diferentes tipos de dados e ambiente. Anotei perguntas que podem me ajudar com trabalhos e ajustes no modelo. Tudo isto é apenas curiosidade em saber como tudo funciona.

Conclusão

Depois de focar em uma única tarefa por um mês, notei que um mês seria muito pouco e que tenho muito a aprender e que isto me trouxe bons frutos. Me desafiei ainda mais e vou estender esses estudos durante um ano inteiro. Não posso me conter de curiosidade sobre quais coisas vou aprender e o quanto seria fluente no que escolhi estudar.

Fontes

• Regras do desafio [Clique]
• Repositório do desafio [Clique]
• Tutorial em português de como aplicar fine-tuning no BERT [Clique]
• O que é fine-tuning [Clique]