Desenvolvendo um Pandas em Golang 1milhão de registros em 0.48s

Desenvolvendo um formato de dados colunar/framework de dados 100% em golang, semelhante ao Pandas / Spark. porem não distribuído ainda.

Atualmente recem consegui implementar um pool de memoria melhorou a performace atualmente lendo 1 milhão de registros parquet em 0.48 segundos.

a estrutura de Dataframe já existe e já é possível fazer algumas operações como UpperCase, ReplaceData, e estou aprimorando testes de benchmarks para testar e identificar gargalos nos metodos de transformações de dados que vão ser criados. isso é algo que vejo como grande problema nos frameworks modernos de processamento de dados não tem como mensurar gargalos no processo ETL/ELT de maneira simples.

publicação original : https://www.linkedin.com/posts/djonatan-schvambach-25a2051bb_dataengineering-dados-datascience-activity-7323126393276391426-ymmw?utm_source=social_share_send&utm_medium=member_desktop_web&rcm=ACoAADMcKyYBSOoNm2dAbK0clhhg1gD8fSEqAg8