BigData
Cloud computing ou computação em nuvem é a entrega da computação como um serviço ao invés de um produto, onde recursos compartilhados, software e informações são fornecidas, permitindo o acesso através de qualquer computador, tablet ou celular conectado à Internet.
Cloud
computing, seus dados em qualquer lugar
Uma de suas vantagens é o melhor aproveitamento dos investimentos em
hardware. Como a parte mais pesada do processamento fica na “nuvem”, o usuário
precisa apenas de um navegador e uma boa conexão à internet para utilizar o
serviço.
Outra vantagem é a elasticidade. Se for necessário mais ou menos espaço para
armazenamento, basta solicitar um upgrade, sem precisar da troca dos
equipamentos.
Um bom exemplo de cloud computing são os serviços do Dropbox, Google Music,
iCloud e Google
Docs, onde os usuários podem criar e editar documentos online, sincronizar
músicas e arquivos ao mesmo tempo. Para usar o serviço, basta abrir o navegador
de Internet e acessar o endereço dos serviços escolhidos.
O que é Big
Data?
Big Data é um termo popular usado para descrever o crescimento, a
disponibilidade e o uso exponencial de informações estruturadas e não
estruturadas. Muito tem sido escrito sobre Big Data e como ele pode servir como
base para a inovação, diferenciação e crescimento.
Big Data é o
conjunto de soluções tecnológicas capaz de lidar com dados digitais em volume,
variedade e velocidade inéditos até hoje. Na prática, a tecnologia permite
analisar qualquer tipo de informação digital em tempo real, sendo fundamental
para a tomada de decisões, é imperativo que os líderes das organizações
de TI se concentrem no crescente volume, variedade e velocidade de informações
que constituem o Big Data.
• Volume
Muitos fatores contribuem para o aumento do volume de dados. Transações de dados armazenados ao longo dos anos, dados de texto constantemente em streaming nas mídias sociais, o aumento da quantidade de dados de sensores que estão sendo coletados etc. No passado o volume de dados excessivo criou um problema de armazenamento. Mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como determinar a relevância entre os grandes volumes de dados e como criar valor a partir dessa relevância.
Muitos fatores contribuem para o aumento do volume de dados. Transações de dados armazenados ao longo dos anos, dados de texto constantemente em streaming nas mídias sociais, o aumento da quantidade de dados de sensores que estão sendo coletados etc. No passado o volume de dados excessivo criou um problema de armazenamento. Mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como determinar a relevância entre os grandes volumes de dados e como criar valor a partir dessa relevância.
• Variedade
Os dados de hoje vem em todos os tipos de formatos. Sejam bancos de dados tradicionais, hierarquias de dados criados por usuários finais e sistemas OLAP, arquivos de texto, e-mail, medidores e sensores de coleta de dados, vídeo, áudio, dados de ações do mercado e transações financeiras. Por algumas estimativas, 80 por cento dos dados de uma organização não é numérico! Mas, estes dados também precisam ser incluídos nas análises e tomadas de decisões das empresas.
Os dados de hoje vem em todos os tipos de formatos. Sejam bancos de dados tradicionais, hierarquias de dados criados por usuários finais e sistemas OLAP, arquivos de texto, e-mail, medidores e sensores de coleta de dados, vídeo, áudio, dados de ações do mercado e transações financeiras. Por algumas estimativas, 80 por cento dos dados de uma organização não é numérico! Mas, estes dados também precisam ser incluídos nas análises e tomadas de decisões das empresas.
• Velocidade
A velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Etiquetas RFID e contadores inteligentes estão impulsionando uma necessidade crescente de lidar com torrentes de dados em tempo quase real. Reagir rápido o suficiente para lidar com a velocidade é um desafio para a maioria das organizações.
A velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Etiquetas RFID e contadores inteligentes estão impulsionando uma necessidade crescente de lidar com torrentes de dados em tempo quase real. Reagir rápido o suficiente para lidar com a velocidade é um desafio para a maioria das organizações.
Big data de acordo com o SAS
|
Consideramos duas outras dimensões quando pensamos em Big Data:
• Variabilidade
Para além das velocidades crescentes e variedades de dados, o fluxo de dados pode ser altamente inconsistente com picos periódicos. Há algo grande virando tendência nas mídias sociais? Talvez haja um grande IPO se aproximando. Talvez de repente nadar com animais exóticos nas Bahamas se torne a atividade de férias imperdível do momento. Diariamente, eventos sazonais desencadeiam picos de carga de dados e isso pode ser um desafio para gerenciar - especialmente quando temos as mídias sociais envolvidas.
Para além das velocidades crescentes e variedades de dados, o fluxo de dados pode ser altamente inconsistente com picos periódicos. Há algo grande virando tendência nas mídias sociais? Talvez haja um grande IPO se aproximando. Talvez de repente nadar com animais exóticos nas Bahamas se torne a atividade de férias imperdível do momento. Diariamente, eventos sazonais desencadeiam picos de carga de dados e isso pode ser um desafio para gerenciar - especialmente quando temos as mídias sociais envolvidas.
• Complexidade
Quando você lida com grandes volumes de dados, eles vêm de diversas fontes. É um grande desafio vincular, correlacionar, limpar e transformar os dados de um sistema. No entanto, é necessário conectar e correlacionar interações, hierarquias e vínculos múltiplos de informação ou então os dados podem rapidamente sair de controle. Governança de dados pode ajudar a determinar como os dados díspares se relacionam com definições comuns e como integrar sistematicamente os ativos de dados estruturados e não estruturados para produzir informações de alta qualidade, uteis, adequadas e atualizadas.
Quando você lida com grandes volumes de dados, eles vêm de diversas fontes. É um grande desafio vincular, correlacionar, limpar e transformar os dados de um sistema. No entanto, é necessário conectar e correlacionar interações, hierarquias e vínculos múltiplos de informação ou então os dados podem rapidamente sair de controle. Governança de dados pode ajudar a determinar como os dados díspares se relacionam com definições comuns e como integrar sistematicamente os ativos de dados estruturados e não estruturados para produzir informações de alta qualidade, uteis, adequadas e atualizadas.
Em última análise, independentemente dos fatores envolvidos, acreditamos que
o termo Big Data é relativo e se aplica (por avaliação do Gartner) sempre que a
capacidade da organização de gerenciar, armazenar e analisar os dados exceder
sua capacidade atual.
Usos do Big Data
|
A verdadeira questão não é que você está
coletando grandes quantidades de dados, mas sim o que você faz com eles. As
organizações terão que ser capazes de aproveitar os dados relevantes e usá-los
para tomar as melhores decisões.
As Tecnologias não só apoiam a coleta e o armazenamento de grandes volumes de dados, elas fornecem a capacidade de compreender e obter valor, o que ajuda as organizações a operar de forma mais eficiente e rentável. Por exemplo, com o Big Data Analytics, é possível:
As Tecnologias não só apoiam a coleta e o armazenamento de grandes volumes de dados, elas fornecem a capacidade de compreender e obter valor, o que ajuda as organizações a operar de forma mais eficiente e rentável. Por exemplo, com o Big Data Analytics, é possível:
• Analisar milhões de SKUs para determinar os preços ótimos que maximizam os
lucros e mínimo inventário.
• Recalcular carteiras de risco inteiras em questão de minutos e compreender
as possibilidades futuras para mitigar o risco.
• Minerar dados de clientes para insights que impulsionam novas estratégias
de otimização de campanhas, aquisição e retenção de clientes.
• Rapidamente identificar os clientes mais importantes.
• No Varejo, gerar cupons no ponto de venda com base em compras atuais e
passadas, garantindo uma maior taxa de conversão.
• Enviar recomendações personalizadas para dispositivos móveis no momento
certo, enquanto os clientes estão no local para aproveitar as ofertas.
• Analisar dados de mídias sociais para detectar novas tendências de mercado
e mudanças na demanda.
• Usar a análise de fluxo de cliques e de mineração de dados para detectar
comportamentos fraudulentos.
• Determinar as causas de falhas, problemas e defeitos, investigando as
sessões de usuário, logs de rede e sensores da máquina.
Desafios
|
Muitas organizações estão preocupadas com o fato de que a quantidade de
dados acumulados está se tornando tão grande que é difícil encontrar as
informações mais valiosas.
• E se o seu volume de dados torna-se tão grande e variado que você não sabe
como lidar com isso?
• Você armazena todos os seus dados?
• Você analisa tudo isso?
• Como você pode descobrir quais dados são realmente importantes?
• Como você pode usá-los para seu melhor proveito?
Até recentemente, as organizações têm sido limitadas ao uso de subconjuntos
de amostras dos seus dados, ou limitadas a análises simplistas porque os
volumes absolutos de dados sobrecarregariam suas plataformas de processamento.
Qual é o sentido de coletar e armazenar terabytes de dados, se você não pode
analisá-la no contexto completo, ou se você tem que esperar horas ou dias para
obter resultados? Por outro lado, nem todos os dados são relevantes.
Agora você tem duas opções:
Agora você tem duas opções:
• Incorporar grandes volumes de dados na análise
As tecnologias de transformam o mundo são as que extraem o verdadeiro valor a partir do Big Data. Uma abordagem é a aplicação de análises de alto desempenho em enormes quantidades de dados usando tecnologias como Grid Computing, processamento In-Database e análise In-Memory.
As tecnologias de transformam o mundo são as que extraem o verdadeiro valor a partir do Big Data. Uma abordagem é a aplicação de análises de alto desempenho em enormes quantidades de dados usando tecnologias como Grid Computing, processamento In-Database e análise In-Memory.
• Determinar antes quais os dados relevantes
Tradicionalmente, a tendência tem sido armazenar tudo (alguns chamam isso de acumulação de dados) e somente quando você consultar os dados irá ver o que é relevante. Agora temos a possibilidade de aplicar a análise na entrada dos dados para determinar sua relevância com base no contexto. Esta análise pode ser usada para determinar quais os dados devem ser incluídos nos processos de análise e quais podem ser alocadas em armazenamento de baixo custo de acesso posterior, se necessário.
Tradicionalmente, a tendência tem sido armazenar tudo (alguns chamam isso de acumulação de dados) e somente quando você consultar os dados irá ver o que é relevante. Agora temos a possibilidade de aplicar a análise na entrada dos dados para determinar sua relevância com base no contexto. Esta análise pode ser usada para determinar quais os dados devem ser incluídos nos processos de análise e quais podem ser alocadas em armazenamento de baixo custo de acesso posterior, se necessário.
Tecnologia
|
Um número de recentes avanços tecnológicos está permitindo que organizações
aproveitem o máximo do big data e do big data analytics:
• Armazenamento de dados barato e abundante e capacidade de processamento de
servidores
• Processadores mais rápidos
• Alta capacidade de memória acessível, como Hadoop
• Novas tecnologias de armazenamento e processamento desenhadas
especialmente para grandes volumes de dados, incluindo dados não estruturados
• Processamento paralelo, clustering, MPP, virtualização, grandes
ambientes de grid, alta conectividade e grandes resultados.
• Computação em nuvem e outras alocações de recursos flexíveis.
A tecnologia de big data não apenas suporta a habilidade de coletar grandes
volumes de dados como também provê a habilidade de compreendê-los e tirar
proveito de seu valor. A meta de todas as organizações com acesso a grandes
volumes de dados deveria ser atrelar os dados mais relevantes e usá-los na
tomada de decisões. É muito importante entender que nem todo dado será
relevante ou útil. Mas como você pode encontrar os dados que mais importam?
Esse é um problema amplamente conhecido. “Muitas empresas tem feito lentos
progressos extraindo valor do big data. E algumas empresas tentam usar as
tradicionais práticas de gerenciamento de dados no big data, apenas para
aprender que velhas regras não mais se aplicam”, disse Dan Briody, na
publicação do estudo de 2011 da Economist Intelligence Unit, “Big Data:
Harnessing a Game-Changing Asset”.
A solução de big data do SAS
|
Como você pode aproveitar todos os dados ao máximo, agora e no futuro? É uma
proposta dupla. Você pode apenas otimizar seu sucesso se entrelaçar analytics
na sua solução de big data. Mas você também precisará de analytics para
ajuda-lo a gerenciar o próprio big data.
Existem várias tecnologias essenciais que podem ajuda-lo a lidar com big
data, e mais importante, extrair valor considerável dele.
• Gestão da informação para big data. Vários fornecedores
enxergam o big data como uma discussão relacionada a tecnologias como Hadoop,
NoSQL, etc. O SAS tem uma abordagem mais ampla do gerenciamento/governança de
dados, provendo estratégia e soluções que permitem a gestão do big data e seu uso
mais efetivo.
• High-performance
analytics. Aproveitando do mais recente poder de processamento paralelo,
high-performance analytics te permite fazer coisas antes impossíveis devido aos
enormes volumes de dados.
• High-performance
visual analytics. High-performance visual analytics te permite explorar
imensos volumes de dados em questão de segundos, para que possa identificar
rapidamente as oportunidades em análises futuras. Porque não se trata apenas de
ter big data, mas sim das decisões que você toma com os dados que trarão ganhos
para sua organização.
• Opções
de implementação flexíveis para big data. Modelos de implementação
flexíveis possibilitam escolhas. O High-performance analytics do SAS consegue
analisar bilhões de variáveis, e essas soluções podem ser implementadas na
nuvem (com SAS ou outro fornecedor), em aparelhos com high-performance
analytics dedicados ou na infra-estrutura de TI existente, o que melhor atender
aos requerimentos da sua organização.
Nenhum comentário:
Postar um comentário