Armazém De Dados Forexite

Este capítulo fornece uma visão geral da implementação de data warehousing Oracle. Inclui: Note que este livro se destina como um suplemento a textos padrão sobre data warehousing. Este livro enfoca o material específico da Oracle e não reproduz em detalhes materiais de natureza geral. Dois textos padrão são: O Data Warehouse Toolkit de Ralph Kimball (John Wiley and Sons, 1996) Construindo o Data Warehouse por William Inmon (John Wiley and Sons, 1996) O que é um Data Warehouse Um data warehouse é um banco de dados relacional projetado Para consulta e análise, em vez de para processamento de transações. Geralmente contém dados históricos derivados dos dados da transação, mas pode incluir dados de outras fontes. Ele separa a carga de trabalho de análise da carga de trabalho da transação e permite que uma organização consolide dados de várias fontes. Além de um banco de dados relacional, um ambiente de armazenamento de dados inclui uma solução de extração, transporte, transformação e carregamento (ETL), um mecanismo de processamento analítico on-line (OLAP), ferramentas de análise de clientes e outras aplicações que gerenciam o processo de coleta de dados e Entregando-o aos usuários empresariais. Uma maneira comum de introduzir o armazenamento de dados é referir-se às características de um data warehouse conforme estabelecido por William Inmon: Subject-oriented Os armazéns de dados foram projetados para ajudá-lo a analisar os dados. Por exemplo, para saber mais sobre os dados de vendas da sua empresa, você pode construir um depósito que se concentre nas vendas. Usando este armazém, você pode responder a perguntas como Quem foi o nosso melhor cliente para este item no ano passado. Esta capacidade de definir um data warehouse por assunto, as vendas, neste caso, orienta o assunto do data warehouse. A integração integrada está intimamente relacionada à orientação do assunto. Os data warehouses devem colocar dados de fontes diferentes em um formato consistente. Eles devem resolver problemas como nomes de conflitos e inconsistências entre unidades de medida. Quando conseguem isso, eles são ditos para serem integrados. Nonvolatile Nonvolatile significa que, uma vez inserido no armazém, os dados não devem ser alterados. Isso é lógico porque o objetivo de um armazém é permitir que você analise o que ocorreu. Time Variant Para descobrir tendências no negócio, os analistas precisam de grandes quantidades de dados. Isso contrasta muito com os sistemas de processamento de transações on-line (OLTP), onde os requisitos de desempenho exigem que os dados históricos sejam movidos para um arquivo. Um data warehouses focado na mudança ao longo do tempo é o que se entende pelo termo variante de tempo. Ambientes OLTP e de armazenamento de dados contrastantes A Figura 1-1 ilustra diferenças fundamentais entre um sistema OLTP e um data warehouse. Figura 1-1 Ambientes OLTP e de armazenamento de dados contrastantes Descrição do texto da ilustração dwhsg005.gif Uma grande diferença entre os tipos de sistema é que os data warehouses geralmente não estão na terceira forma normal (3NF). Um tipo de normalização de dados comum em ambientes OLTP. Os data warehouses e os sistemas OLTP têm requisitos muito diferentes. Aqui estão alguns exemplos de diferenças entre armazéns típicos de dados e sistemas OLTP: os data warehouses são projetados para acomodar consultas ad hoc. Talvez você não conheça a carga de trabalho do seu data warehouse com antecedência, portanto, um data warehouse deve ser otimizado para funcionar bem para uma grande variedade de possíveis operações de consulta. Os sistemas OLTP suportam apenas operações pré-definidas. Suas aplicações podem ser especificamente ajustadas ou projetadas para suportar apenas essas operações. Um data warehouse é atualizado regularmente pelo processo ETL (executado todas as noites ou semanalmente) usando técnicas de modificação de dados em massa. Os usuários finais de um data warehouse não atualizam diretamente o data warehouse. Nos sistemas OLTP, os usuários finais rotineiramente emite declarações de modificação de dados individuais no banco de dados. O banco de dados OLTP está sempre atualizado e reflete o estado atual de cada transação comercial. Os armazéns de dados costumam usar esquemas desnormalizados ou parcialmente desnormalizados (como um esquema em estrela) para otimizar o desempenho da consulta. Os sistemas OLTP geralmente utilizam esquemas totalmente normalizados para otimizar o desempenho do updateinsertdelete e para garantir a consistência dos dados. Uma consulta típica de data warehouse verifica milhares ou milhões de linhas. Por exemplo, encontre as vendas totais para todos os clientes no mês passado. Uma operação OLTP típica acessa apenas um punhado de registros. Por exemplo, Recupere a ordem atual para este cliente. Os armazéns de dados costumam armazenar muitos meses ou anos de dados. Isto é para apoiar a análise histórica. Os sistemas OLTP costumam armazenar dados de apenas algumas semanas ou meses. O sistema OLTP armazena apenas dados históricos conforme necessário para atender com sucesso aos requisitos da transação atual. Arquiteturas de armazenamento de dados Os data warehouses e suas arquiteturas variam de acordo com as especificidades de uma situação de organização. Três arquiteturas comuns são: Arquitetura do Data Warehouse (Básico) A Figura 1-2 mostra uma arquitetura simples para um data warehouse. Os usuários finais acessam diretamente dados derivados de vários sistemas de origem através do data warehouse. Figura 1-2 Arquitetura de um Data Warehouse Descrição do texto da ilustração dwhsg013.gif Na Figura 1-2. Os metadados e dados brutos de um sistema OLTP tradicional estão presentes, assim como um tipo adicional de dados, dados de resumo. Os resumos são muito valiosos nos data warehouses porque eles pré-computam as operações longas antecipadamente. Por exemplo, uma consulta de armazenamento de dados típica é recuperar algo como as vendas de agosto. Um resumo no Oracle é chamado de visualização materializada. Arquitetura do Data Warehouse (com uma área de teste) Na Figura 1-2. Você precisa limpar e processar seus dados operacionais antes de colocá-lo no armazém. Você pode fazer isso programaticamente, embora a maioria dos data warehouses use uma área de teste em vez disso. Uma área de preparação simplifica a construção de resumos e gerenciamento geral de armazém. A Figura 1-3 ilustra essa arquitetura típica. Figura 1-3 Arquitetura de um Data Warehouse com uma Área de teste Descrição do texto da ilustração dwhsg015.gif Arquitetura do Data Warehouse (com uma Área de teste e marcas de dados) Embora a arquitetura na Figura 1-3 seja bastante comum, você pode querer personalizar Sua arquitetura de armazéns para diferentes grupos dentro de sua organização. Você pode fazer isso adicionando data marts. Que são sistemas projetados para uma determinada linha de negócios. A Figura 1-4 ilustra um exemplo em que a compra, as vendas e os estoques são separados. Neste exemplo, um analista financeiro pode querer analisar dados históricos para compras e vendas. Figura 1-4 Arquitetura de um Armazém de Dados com uma Área de Estratificação e Data Marts Descrição do texto da ilustração dwhsg064.gif Data marts são uma parte importante de muitos armazéns, mas não são o foco deste livro. Oracle Data Warehouse Por que Oracle Oracle É a plataforma de armazenagem de dados líder da industrys para fornecer informações comerciais em uma ampla gama de atividades, desde otimizar as experiências dos clientes até aumentar a eficiência operacional. Oracles soluções de alto desempenho e otimizadas fornecem análises avançadas no banco de dados, conjuntos de dados aprimorados de dados importantes e informações específicas do setor para gerar maior inovação, rentabilidade e vantagem competitiva. Otimizar Armazenamento de Dados Otimizar o Armazenamento de Dados O Oracle Database é a base da indústria para armazenamento de dados de alto desempenho, escalável e otimizado. O Oracle Exadata Database Machine é uma solução completa de hardware e software que oferece desempenho extremo e consolidação de banco de dados para data warehousing. Banco de dados Oracle Banco de dados Oracle In-Memory Oracle Partitioning Oracle Advanced Compression Oracle Multitenant Oracle Exadata Storage Expansion Rack Oracle Exadata Intelligent Warehouse Solutions Acelere o desempenho Acelere o desempenho Combinando Oracle Exadata Database Machine com Oracle Database In-Memory opção alimenta desempenho extremo e alta disponibilidade para data warehousing e Sistemas de relatórios. Construído com hardware e software de escala que podem carregar dados em RAM, flash ou disco baseados em PCI, a Oracle oferece a oferta mais eficiente e de força industrial para insights instantâneos. Oracle Exadata Database Machine Oracle Database In-Memory Simplify Analytics Simplifique o Analytics O Oracle Advanced Analytics, uma combinação de Oracle R Enterprise e Oracle Data Mining, é uma plataforma abrangente para aplicações analíticas em tempo real que oferece informações sobre assuntos-chave como a previsão de churn, Recomendações sobre produtos e alertas de fraude. Oracle Advanced Analytics Oracle Spatial e Graph Accelerate Industry Insights Acelerar os insights da indústria Os modelos de dados específicos da indústria orações combinam o conhecimento de aplicativos de mercado líderes do mercado com o poder das soluções Oracle Data Warehousing e Business Intelligence. Com a mineração de dados pré-construída, processamento analítico on-line (OLAP) e modelos dimensionais, esses modelos de dados baseados em padrões podem ser usados ​​em qualquer ambiente de aplicação e são facilmente prorrogáveis. Modelo de dados da Oracle Airlines Modelo de dados de varejo da Oracle Modelo de dados de comunicações Oracle Modelo de dados Oracle Utilities Melhoria de dados grandes Melhorar dados importantes A Oracle combina hardware otimizado com uma pilha de software abrangente para oferecer uma solução completa e fácil de implantar para adquirir, organizar e analisar grandes dados. O Oracle Big Data Appliance integra-se perfeitamente com o Oracle Exadata e o Oracle Database para ajudar as empresas a obter o máximo valor de suas grandes estratégias de dados. Oracle Big Data Appliance Oracle Big Data SQL Oracle Big Data Connectors Em destaque Elizabeth Arden gera relatórios financeiros, de vendas e de marketing até 10 vezes mais rápidos usando o software e o hardware que são projetados juntos Vemos uma tremenda vantagem na execução de software e hardware de um fornecedor. Com o Oracle Business Intelligence 11 g executado no Oracle Exadata Database Machine, melhoramos significativamente o desempenho de nosso data warehouse, colocando informações acionáveis ​​nas mãos das pessoas que precisam dele para tomar decisões comerciais mais efetivas. James Barlow, Diretor Global Business Intelligence, Elizabeth Arden, Inc. dunnhumby Aumenta a fidelidade do cliente com o Oracle Big Data Ouça como a dunnhumby fortaleceu sua vantagem competitiva, consolidou e centralizou seus dados e se beneficiou de uma melhor análise aumentando a fidelidade do cliente.