Estamos em constante transformação, adquirindo uma complexidade cada vez mais intimidante do ponto de vista tecnológico e analítico. Tanto organizações públicas quanto privadas enfrentam a necessidade de se adaptar rapidamente a essa evolução e inovar em suas abordagens operacionais. Esse contexto demanda que as organizações sejam ágeis e capazes de tomar decisões operacionais, estratégicas e táticas frequentes, algumas das quais podem ser bastante intrincadas. Para tomar tais decisões, é muitas vezes essencial contar com volumes substanciais de dados, informações e conhecimentos pertinentes. Além disso, o processamento desses dados, à luz das decisões necessárias, deve ocorrer de maneira ágil, muitas vezes em tempo real, frequentemente requerendo suporte computacional. Nunca foi dado tanto valor para opiniões, assim como nunca foi tão importante saber manipular essa quantidade massiva de dados e possuir o conhecimento para empregá-los da forma correta. Neste artigo abordaremos a essência do Big Data e suas empregabilidades, mas para isso teremos que passar por algumas terminologias.

O que é um dado?

Dado ou “Data” em inglês, é uma informação dada, ou seja, dispensa cálculo e simplesmente existe. O que faz a diferença é o modo que tratamos essas informações, qual a utilidade delas e o valor. Dessa forma acarretará em muitos cálculos envolvendo probabilidade e estatística, assim como planejamento para armazenar o que interessa. A seguir, confira a hierarquia de conhecimento segundo Myatt (2008):

• Instintos — filtro experimental e/ou emocional que pode, muitas vezes, não ter forte apoio analítico. Na ausência de outros filtros decisórios, às vezes, pode ser só o que uma pessoa tem para seguir em frente quando toma uma decisão. Mesmo quando análises mais refinadas estão disponíveis, seus instintos podem ser muito mais valiosos contra a razoabilidade de outros insumos. A grande lição aqui é que a decisão intuitiva pode ser aperfeiçoada e melhorada;

• Dados — dados crus (raw data) são compostos de fatos díspares, estatísticas ou entradas aleatórias que detêm pouco valor. Chegar a conclusões baseadas em dados em sua forma bruta levará a decisões falhas com base em conjuntos de dados incompletos;

• Informação — é simplesmente um conjunto de dados mais completo. A informação é, por conseguinte, derivada de uma coleção de dados processados em que o contexto e o significado foram adicionados a fatos diferentes que permitem uma análise mais minuciosa;

• Conhecimento — é a informação refinada por meio de análise de tal forma que foi assimilado, testado e/ou validado. Mais importante ainda, o conhecimento é acionável com elevado grau de precisão porque existe prova de conceito.

Diante dessas classificações, podemos incorporar algumas métricas para a tratativa desses dados, De Marco (2013) nos traz alguns exemplos:

• Analise cuidadosamente a situação em questão – identifique as razões que estão impulsionando a necessidade de tomar uma decisão. Considere as possíveis consequências caso nenhuma decisão seja tomada. Quais dados, análises, pesquisas ou informações de suporte você possui para fundamentar as inclinações em direção à sua decisão?

• Submeta a sua decisão a outras opiniões – lembre-se de que as decisões não são exclusivamente pessoais. Eventualmente, os detalhes envolvendo qualquer decisão virão à tona. Se a sua decisão fosse exposta na primeira página de um jornal, como você se sentiria? Qual seria a opinião da sua família? Como seus acionistas ou colaboradores reagiriam à sua decisão? Buscou aconselhamento ou feedback antes de tomar sua decisão?

• Realize uma análise ponderada de custo/benefício – avalie se os benefícios potenciais resultantes da decisão justificam os custos previstos. Considere a possibilidade de os custos ultrapassarem as projeções e os benefícios ficarem abaixo do esperado.

• Avalie os riscos/recompensas – identifique todas as possíveis recompensas e, ao contrastá-las com os potenciais riscos, determine se as probabilidades estão a seu favor ou contra você.

• Reflita sobre se é a decisão correta – defender decisões amplamente apoiadas não exige grande coragem. Porém, sustentar o que se acredita ser a decisão certa em meio a controvérsias é a marca dos grandes líderes. Embora o compromisso possa trazer benefícios, nunca comprometa seus valores, caráter ou integridade.

• Tome a decisão – talvez o passo mais crucial. Demonstre uma inclinação para a ação e esteja preparado para tomar a decisão. Aprenda a decidir da melhor maneira possível, mesmo com dados incompletos. Evite a paralisia da análise e tome a melhor decisão com base nas informações disponíveis, utilizando alguns dos métodos mencionados acima.

• Bônus – tenha sempre um plano alternativo. O verdadeiro teste de liderança ocorre nos momentos subsequentes à realização de uma decisão equivocada. Grandes líderes reconhecem que os planos são compostos tanto por constantes quanto por variáveis, e que, por vezes, as variáveis podem agir de forma adversa. Líderes astutos sempre têm um plano de contingência, reconhecendo que as circunstâncias podem ultrapassar os limites da razão ou do controle – a ausência de um "Plano B" é equivalente a um plano falho.

Um exemplo muito legal é o de Gustav Fischer, um estatístico dinamarquês, que em 1936 apresentou um estudo bastante interessante ao investigar ao longo de 7 anos, a relação entre a quantidade de cegonhas e o número de recém-nascidos em pequenas cidades do continente europeu. Curiosamente, essa relação mostrava-se forte e positiva. Entretanto, essas duas variáveis eram causadas pelo tamanho das cidades, cujo dado não foi considerado no modelo, visto que em cidades maiores, onde nasciam mais crianças, também havia uma quantidade maior de chaminés, onde as cegonhas faziam seus ninhos. É um fato curioso e divertido, mas que ilustra a importância do questionamento e principalmente da observação quanto as causalidades.

Diante dessas informações, agora partiremos para a brincadeira de gente grande: Big Data.

Big Data

Big Data = volume + variedade + velocidade + veracidade gerando + valor

Se um dado é uma informação sobre algo, Big Data seria uma infraestrutura para lidar com esses dados numa escala que excede os paradigmas tecnológicos de meros mortais. Essa filosofia tem permeado diversos setores, redefinindo a forma como negócios, saúde, educação e governos operam. No âmbito empresarial, a análise de dados impulsiona a tomada de decisões estratégicas. Eric Schmidt, ex-CEO do Google, afirma: "We run the company by questions, not by answers". Esta abordagem, alimentada por dados, destaca a importância de fazer as perguntas certas e permitir que os dados forneçam respostas valiosas.

Vamos agora examinar as características fundamentais desse fenômeno, considerando a perspectiva da IBM (2014). De acordo com a visão da empresa, o conceito de Big Data é fundamentado em quatro elementos-chave conhecidos como os 4 V's: Volume, Variedade, Velocidade e Veracidade (Figura 1).

Figura 1 - Os 4 V's do Big Data.

Mas e o custo disso tudo, vale a pena?

A ascensão do Big Data tem sido fortemente impulsionada justamente pela significativa redução nos custos associados ao armazenamento e processamento de dados. Essa diminuição de custos permitiu que muitas empresas estabelecessem infraestruturas de Tecnologia da Informação (TI) mais robustas, capacitando-as a armazenar volumes cada vez maiores de dados e conduzir análises mais detalhadas de forma regular. Isso pode ser realizado tanto por meio de sistemas de TI internos quanto através de serviços de nuvem.

Através desse fenômeno, surgem no mercado novas tecnologias, habilidades e processos que redefinem o papel da área de Tecnologia da Informação. Um exemplo notável é a plataforma de código aberto Hadoop, uma estrutura de computação distribuída projetada para clusters e processamento eficiente de grandes volumes de dados. O Hadoop implementa o paradigma de programação Map-Reduce, introduzido pelo Google para processar e analisar extensos conjuntos de dados, realizando um processamento paralelo distribuído em diferentes servidores. A escalabilidade desse paradigma é viabilizada pela natureza intrinsecamente distribuída do funcionamento da solução, em que uma grande tarefa é subdividida em múltiplas tarefas menores, executadas simultaneamente em máquinas distintas e, posteriormente, combinadas para obter a solução da tarefa principal. Um exemplo ilustrativo desse processo pode ser observado na Figura 2, que representa o processamento de um texto.

Figura 2 - Map-Reduce.

Uma aplicação relevante da plataforma Hadoop seria na análise de padrões baseado nos interesses dos usuários em plataformas de comércio eletrônico, visando sugerir novos produtos para compra. Essas plataformas possibilitam que as empresas coletem, armazenem e consultem grandes conjuntos de dados em uma extensa rede de servidores de baixo custo (usando métodos Map-Reduce), ao mesmo tempo em que realizam análises avançadas de forma simultânea. Os pacotes de análise estatística estão acompanhando essa evolução, adaptando-se para trabalhar de maneira sinérgica com as novas plataformas de dados, tipos de dados e algoritmos disponíveis.

Como Analisar Esse Ecossistema

Aplicando o conjunto certo de ferramentas, podemos arrancar insights poderosos deste arsenal de bits. Com os dados em mãos, você pode traçar vários planos e sanar diversos problemas. Mas onde você começa? E que tipo de análise é mais adequado para o seu ambiente de Big Data? Estas opções analíticas podem ser categorizadas em três tipos distintos. Nenhum tipo é melhor do que outro, na verdade, elas coexistem e se complementam. Na verdade 80% das análises são descritivas, ou seja, calculam a quantidade de algum evento (posts, menções, likes, etc.). Vejamos abaixo a classificação dessas análises:

• Análise descritiva — usa a agregação de dados e mineração de dados para fornecer uma visão sobre o passado e responder: “O que aconteceu?”;
• Análise preditiva — utiliza modelos estatísticos e técnicas de previsões para compreender o futuro e responder: “O que poderia acontecer?”;
• Análise prescritiva — usa algoritmos de otimização e simulação para aconselhamento sobre possíveis resultados e responder: “O que devemos fazer?”;

Dentro dessas áreas podemos cruzar técnicas e utilizá-las para complementar rotinas ou disciplinas, dentre elas:

• Métodos de otimização;
• Estatística;
• Mineração de dados;
• Aprendizado de máquina (machine learning);
• Abordagens de visualização;

A Coleta dos Louros

Obviamente que o objetivo disso tudo é voltado para o benefício de setores das mais variadas vertentes, inclusive a nível governamental. Vejamos um exemplo prático abaixo, utilizando a Amazon do consagrado Jeff Bezos.

No setor varejista, um entendimento mais completo sobre os clientes tem sido uma das principais razões das empresas investirem em soluções de Big Data. Muitas das informações que as empresas têm que processar estão em formato de texto. Para o processamento destas informações, muitas vezes, faz-se necessário o uso de ferramentas mineração de textos — análise de dados contidos em textos em linguagem natural. Ao lançar uma campanha de marketing, a empresa com este tipo de solução pode, em tempo real, coletar e processar as informações que venham das redes sociais e entender a reação que vem do seu público (Análise de Sentimentos).

Alguns clientes podem se questionar sobre a quantidade de informação sobre seus perfis e não se engane, as empresas coletam todo e qualquer dado sobre você. A Amazon, por exemplo, é líder em coleta, armazenamento, processamento e análise de informações pessoais sobre seus clientes, como forma de determinar como estes gastam dinheiro. A empresa utiliza a técnica de análise preditiva para marketing direcionado com o objetivo de aumentar a satisfação do cliente e construir a lealdade da empresa. Um dos trunfos da Amazon, nessa sua estratégia de entender melhor seus clientes, é seu eficiente sistema de recomendação personalizado.

O que é um sistema de recomendação personalizado?

Sistemas de recomendação têm a finalidade de prever a preferência dos usuários e são utilizados em portais de vendas e conteúdo. Predições com boa precisão podem resultar em margens de venda maiores e aumentar a satisfação dos usuários. A IBM (IBM, 2016) classifica estes sistemas em três categorias:

1. Baseado em conteúdo -- um sistema de recomendação baseado em conteúdo recomenda ao usuário produtos que sejam semelhantes ao que ele preferiu no passado.
2. Filtragem colaborativa -- filtragem colaborativa consiste na recomendação de itens que pessoas com gosto semelhantes preferiram no passado. Analisa-se a vizinhança do usuário a partir da regra: “Se um usuário gostou de A e de B, outro usuário que gostou de A também pode gostar de B”.
3. Sistemas híbridos -- finalmente, um sistema híbrido envolve a combinação das duas abordagens mencionadas anteriormente, superando as limitações individuais de cada uma. A Amazon, como líder nesse campo, emprega um abrangente mecanismo de filtragem colaborativa (CFE). Este analisa históricos de compras, itens no carrinho de compras, listas de desejos, avaliações e buscas, utilizando essas informações para recomendar produtos adicionais com base nas escolhas de outros clientes. Por exemplo, ao adicionar um jogo para console ao carrinho, a empresa sugere jogos semelhantes comprados por clientes que adquiriram o mesmo item, aproveitando o poder da sugestão para incentivar compras por impulso e aprimorar a experiência do cliente, levando a gastos adicionais.

Otimização de Preço

Além disso, soluções de Big Data majoritariamente são empregadas para gerenciar preços. A Amazon, aumenta seus lucros em média 25% ao ano ajustando os preços a cada 10 minutos com base em atividades do site, preços de concorrentes, disponibilidade, preferências do cliente, histórico de pedidos e margem de lucro esperada. Se beneficiam oferecendo descontos em produtos populares, enquanto obtém lucros maiores em itens menos populares.

Passando a Régua

O advento e a crescente aplicação de soluções de Big Data têm transformado radicalmente a maneira como as empresas gerenciam informações e tomam decisões estratégicas. A capacidade de capturar, processar e analisar grandes volumes de dados proporciona insights valiosos, impulsionando a inovação, otimizando operações e aprimorando a experiência do cliente. No entanto, o desafio reside não apenas na coleta massiva de dados, mas na habilidade de extrair significado e valor dessas informações. À medida que tecnologias avançadas, como machine learning e análise preditiva, continuam a evoluir, espera-se que o papel crucial do Big Data na transformação empresarial e na tomada de decisões estratégicas se intensifique ainda mais. O futuro promissor desse campo reforça a importância de investir em infraestrutura, talento e estratégias eficientes para capitalizar plenamente os benefícios do Big Data, garantindo que as organizações estejam preparadas para enfrentar os desafios e aproveitar as oportunidades emergentes nesse cenário dinâmico e orientado por dados.

No livro A Arte da Guerra, há um ditado atribuído a Sun Tzu, um antigo estrategista chinês, que diz o seguinte:

Se você conhece o inimigo e conhece a si mesmo, não precisa temer o resultado de cem batalhas.

Se você se conhece, mas não conhece o inimigo, para cada vitória ganha sofrerá também uma derrota.

Se você não conhece nem o inimigo nem a si mesmo, perderá todas as batalhas.

Em outras palavras, conhecimento é poder e os dados interpretados corretamente, seguramente são uma vantagem.

Referências:

FÁVERO, Luiz P. Análise de Dados. Grupo GEN, 2015. E-book. ISBN 9788595153226. Disponível em: https://integrada.minhabiblioteca.com.br/#/books/9788595153226/. Acesso em: 07 dez. 2023.

GOMES, Elisabeth; BRAGA, Fabiane. Inteligencia Competitiva Tempos Big Data. Editora Alta Books, 2017. E-book. ISBN 9788550804101. Disponível em: https://integrada.minhabiblioteca.com.br/#/books/9788550804101/. Acesso em: 07 dez. 2023.