Como utilizar seus dados de forma inteligente para alavancar o valor do seu negócio

Um mundo inundado por dados compartilhados não traz apenas oportunidades, mas uma série de desafios. Nesta visão, o foco deixa de ser a vantagem que a empresa desfruta ao possuir as informações e passa para a transparência e o conforto do cliente. No Brasil, alguns setores já avançam de forma concreta para o movimento de dados abertos, como o Open Banking e o incipiente Open Insurance.

Apesar dos movimentos ligados ao Open Finance estarem na vitrine, iniciativas para utilizar os dados disponíveis com o objetivo de tomar decisões mais acertadas ganham força em diversos segmentos, extrapolando os nichos de serviços financeiros e seguradoras. Nesse sentido, independentemente do setor, extrair valor dos dados para oferecer a melhor experiência, produtos e serviços acertados, e em canais mais acessíveis para o usuário, se torna fundamental para o sucesso das iniciativas.

Os impactos de negócio a partir dessas novas regras são grandes – muitos ainda inexplorados, outros não descobertos. A seguir, trago alguns possíveis caminhos no contexto de engenharia de dados, para que times de negócio consigam tirar proveito para criar soluções inteligentes e garantir competitividade no open data.

Entender e considerar o contexto atual da empresa

Como já dito, muitas abordagens e possibilidades com open data ainda nem foram descobertas, uma vez que ainda estamos aprendendo a lidar com esse tipo de compartilhamento. Assim, o primeiro grande desafio é a construção de uma arquitetura de que consiga suportar toda e qualquer fonte – seja ela qual for. Seguindo essa lógica, uma solução natural seria a construção de um Data Lake, um grande repositório de dados, estruturados e não-estruturados, que servirão para a tomada de decisões.

O contexto tecnológico e a cultura organizacional são itens extremamente importantes e que devem ser levados em consideração no momento em que se está criando uma fundação de dados que utiliza como cerne de sua informação um Data Lake. O contexto tecnológico se refere às ferramentas que a empresa possui e ao ambiente, seja ele on premises ou cloud. Ferramentas que suportam múltiplos conectores e orquestradores de fluxos end-to-end são cruciais para este trabalho.
 

Leia também: Engenheiro de dados, por que esse profissional é tão relevante em um projeto de Data Science?

 
Já quando falamos em cultura organizacional, não necessariamente estaremos abordando uma cultura Data-Driven, pois podemos ter diversos departamentos que tomam as decisões baseadas nas informações, mas somente usam os seus próprios dados. Temos que estar cientes de que o aspecto cultural vai um pouco além, com perguntas simples, por exemplo: “será que as pessoas estão abertas a trabalhar com outras fontes de informação?” e “será que saberiam trabalhar com mais fontes de informação?”.

A partir do momento em que são mapeadas as opções tecnológicas e também como os principais consumidores deste novo formato de informação irão receber a novidade, será plenamente possível estruturar seus pipelines de dados, Data Lakes, DWs e Data Marts de maneira mais assertiva. E isso nos leva ao próximo tópico: governança.

DataOps e a governança dos dados

Atualmente, a governança está muito mais próxima de uma filosofia e práticas DataOps à gestão de TI. E, quando se trata de práticas DataOps, é fundamental ter consciência de que os dados se tornaram um dos ativos – senão, o ativo – mais importantes dentro das organizações. Nesse sentido, entendemos que é de responsabilidade da engenharia mover e processar os dados, garantindo qualidade, segurança, integração e modelagens corretas, bem como otimizações constantes.

Ou seja, quando falo de governança, estou me referindo às boas práticas DataOps. No universo de open data, por exemplo, serão conectadas e recebidas informações de inúmeras fontes diferentes; porém, a informação poderá ser repetida ou equivalente.

Múltiplas fontes e a mesma informação? É exatamente esse um dos cenários que temos com movimentos de Open Finance e outros de dados abertos, uma vez que cada instituição e sistema possuem diferentes formas de cadastrar e armazenar. Logo, dentro do cenário da governança de dados, há a necessidade de fornecer diretrizes sobre como se trabalhar nesses casos – e deixar isso claro para os usuários finais. Uma vez que o usuário final possui confiança no processo, todo mundo ganha.

Entregas conforme a necessidade do consumidor dos dados

Se os dois pontos anteriores estiverem garantidos, torna-se muito mais fácil garantir entregas assertivas para os consumidores dos dados.

O que é uma entrega assertiva no contexto de dados? É entregar o dataset, conforme a necessidade do consumidor: na frequência de atualização correta e no formato aderente à realidade de quem irá consumir, seja ele uma API, um time de data science, um sistema ou uma pessoa analista. Portanto, com uma boa fundação e governança de dados, não importa o formato do endpoint, o time terá totais condições de fazer uma entrega de qualidade elevada para o consumidor.

Quando se tem o controle da captação e armazenamento das informações se sabe como lidar quando conectamos com múltiplas fontes informações (próximas, iguais ou equivalentes), entregar um dado de forma assertiva para quem irá consumir afirma que o processo está correto. Isto é o que dá confiança aos usuários de negócios para considerarem e analisarem as informações, possibilitando a inovação nas soluções para os clientes e a criação de vantagens competitivas perante ao mercado.

Evoluções constantes para suportar as soluções

Quando uma solução é pensada somente no curto prazo, podem surgir decisões que favorecem a diminuição do tempo de execução, mas que comprometem a qualidade e facilitam o surgimento de débitos técnicos. Porém, eles sempre existirão dentro do contexto tecnológico, uma vez que há uma constante entrega de ferramentas e metodologias mais modernas em todas as áreas. Além disso, quem está implementando as soluções pode não possuir todos os conhecimentos e recursos necessários para fazer uma entrega de qualidade elevada.

Dito isso, para garantir que o seu ambiente consiga suportar decisões baseadas em dados, de forma escalável e resiliente, é necessário que, além de investir em novas soluções, mantenha-se as já entregues e as evolua constantemente. Como uma boa prática, toda vez que encontrar um débito técnico em seu ambiente, adicione-o no seu backlog, para que esteja sempre no radar da equipe.

Existem ainda muitas indefinições dentro das organizações sobre como lidar com dados compartilhados nas iniciativas de open data, seja nos aspectos cultural, intelectual ou técnico. No entanto, considerando os passos citados anteriormente, tenho total certeza de que o ambiente suportará quaisquer demandas de open data e de que o estresse comum a esse tipo de processo será mínimo, favorecendo um ambiente em que os dados podem se tornar base para importantes decisões de negócio.

Buscando gerar valor para seu negócio com o uso inteligente dos dados? Conheça nossa solução de Cloud Data Engineering.