O termo Big Data está sendo cada vez mais usado em quase todos os lugares do planeta - online e offline. E não está relacionado apenas a computadores. Ele vem sob um termo geral chamado Tecnologia da Informação, que agora faz parte de quase todas as outras tecnologias e áreas de estudos e negócios. Big Data não é um grande problema. O hype em torno dele é um grande negócio para confundir você. Este artigo analisa o que é Big Data. Ele também contém um exemplo de como a NetFlix usou seus dados, ou melhor, Big Data, para melhor atender às necessidades de seus clientes.
O que é Big Data?
Os dados encontrados nos servidores da sua empresa eram apenas dados até ontem - classificados e arquivados. De repente, a gíria Big Data se popularizou e agora os dados da sua empresa são Big Data. O termo abrange todos os dados que sua organização armazenou até agora. Inclui dados armazenados em nuvens e até mesmo os URLs que você marcou. Sua empresa pode não ter digitalizado todos os dados. Você pode não ter estruturado todos os dados já. Mas, então, todos os dados digitais, documentos, dados estruturados e não estruturados com sua empresa agora são Big Data.
Em suma, todos os dados, categorizados ou não, presentes nos seus servidores são coletivamente chamados de BIG DATA. Todos esses dados podem ser usados para obter resultados diferentes usando diferentes tipos de análise. Não é necessário que toda análise use todos os dados. A análise diferente usa diferentes partes do BIG DATA para produzir os resultados e as previsões necessárias.
Big Data é essencialmente os dados que você analisa para obter resultados que você pode usar para previsões e outros usos. Ao usar o termo Big Data, sua empresa ou organização, de repente, está trabalhando com a tecnologia da informação de alto nível para deduzir diferentes tipos de resultados usando os mesmos dados armazenados intencionalmente ou não ao longo dos anos.
Quão grande é o Big Data
Essencialmente, todos os dados combinados são Big Data, mas muitos pesquisadores concordam que Big Data - como tal - não pode ser manipulado usando planilhas normais e ferramentas regulares de gerenciamento de banco de dados. Eles precisam de ferramentas de análise especiais, como o Hadoop (estudaremos isso em um post separado) para que todos os dados possam ser analisados de uma só vez (podem incluir iterações de análise).
Ao contrário do que foi dito acima, embora eu não seja um especialista no assunto, eu diria que os dados com qualquer organização - grande ou pequena, organizada ou não organizada - são Big Data para essa organização e que a organização pode escolher suas próprias ferramentas para analisar dados.
Normalmente, para analisar dados, as pessoas costumavam criar conjuntos de dados diferentes com base em um ou mais campos comuns, para que a análise se tornasse fácil. No caso de Big Data, não há necessidade de criar subconjuntos para analisá-lo. Agora temos ferramentas que podem analisar dados, independentemente de quão grande é. Provavelmente, essas ferramentas categorizam os dados mesmo quando estão analisando-os.
Acho importante mencionar duas frases do livro “Big Data” de Jimmy Guterman:
“ Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”
-e-
“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”
Então você vê que volume e análise são uma parte importante do Big Data.
Ler: O que é mineração de dados?
Conceitos de Big Data
Este é outro ponto em que a maioria das pessoas não concorda. Alguns especialistas dizem que os conceitos do Big Data são três V's:
- Volume
- Velocidade
- Variedade
Alguns outros adicionam mais alguns V ao conceito:
- Visualização
- Veracidade (confiabilidade)
- Variabilidade e
- Valor
Eu cobrirei os conceitos de Big Data em um artigo separado, já que este post já está ficando grande. Na minha opinião, os três primeiros Vs são suficientes para explicar o conceito de Big Data.
Exemplo de Big Data - Como a NetFlix usou para corrigir seus problemas
Para 2008, houve uma queda na NetFlix devido a que muitos clientes ficaram no escuro. Embora alguns ainda possam acessar os serviços de streaming, a maioria deles não conseguiu. Alguns clientes conseguiram obter seus DVDs alugados, enquanto outros falharam. Uma postagem no blog do Wall Street Journal diz que a Netflix tinha acabado de iniciar o streaming sob demanda.
A interrupção fez a administração pensar nos possíveis problemas futuros e daí em diante; virou-se para Big Data. Analisou áreas de tráfego alto, pontos suscetíveis e taxa de transferência de rede, etc. usando esses dados e trabalhou para reduzir o tempo de inatividade, se um problema futuro surgisse à medida que se tornasse global. Aqui está o link para o Blog do Wall Street Journal, se você quiser conferir os exemplos de Big Data.
O acima resume o que é Big Data no idioma de um leigo. Você pode chamar isso de uma introdução muito básica. Eu pretendo escrever mais alguns artigos sobre os fatores associados, tais como - Conceitos, Análise, Ferramentas e usos de Big Data, Big Data 3 V's, etc Entretanto, se você gostaria de acrescentar alguma coisa ao acima, por favor, comentar e compartilhar com nos.
