Metodo de captura e análise dos dados

Para tentar encontrar o cenário do qual a vigilância digital no trabalho pudesse ser observada, necessitava de uma vasta base de dados para que esta pudesse ser analisada. Conheça abaixo cada um dos passos realizados desde a coleta, seleção dos dados e das empresas até a análise e exibição das informações.

#1 Definindo a origem das informações

O Glassdoor, uma das maiores plataformas no Brasil que recebem, armazenam e divulgam as análises dos trabalhadores (atuais ou que já deixaram as respectivas empresas) nas diferentes experiências que tiveram: entrevista, benefícios, pontos positivos e negativos. A partir desta característica, necessitei desenvolver um algoritmo em Python para raspar as informações que me interessavam. São elas:

  • Setor
  • Nome da empresa
  • Quantidade de funcionários
  • Nota da empresa (gerada pelo Glassdoor)
  • Review Negativo
  • Review Positivo
  • Data do review
  • Ocupação descrita no Review

#2 Capturando as informações

Para capturar as informações em Python, estruturei as mesmas em uma base de dados MySQL, hospedada localmente e me preocupei para que as informações listadas acima tivessem as dependências hierárquicas corretas. Assim, conforme ia capturando e armazenando os dados, validava se as chaves eram populadas corretamente. Este processo, por consequência das inúmeras quedas que o Glassdoor fazia do meu serviço, levou temo, mesmo com a utilização de serviços própríos para SCRAP que driblavam tais barreiras de proteção. O resultado dessa varredura, até o momento, resultou em mais de 29 mil comentários