A MODELAGEM DE DADOS NO AMBIENTE DATA mauricio052/Topicos em BD/Material Didático... · modelagem…

  • View
    212

  • Download
    0

Embed Size (px)

Transcript

  • UNIVERSIDADE PRESBITERIANA MACKENZIE Faculdade de Computao e Informtica

    A MODELAGEM DE DADOS NO AMBIENTE DATA WAREHOUSE

    Daniele Del Bianco Hokama Denis Camargo Francine Fujita

    Joo Luiz Valentim Fogliene

    So Paulo 2004

  • Daniele Del Bianco Hokama Denis Camargo Francine Fujita

    Joo Luiz Valentim Fogliene

    A MODELAGEM DE DADOS NO AMBIENTE DATA WAREHOUSE

    Trabalho de Graduao Interdisciplinar apresentado Faculdade de Computao e Informtica, da Universidade Presbiteriana Mackenzie, como exigncia parcial para a obteno do grau de Bacharel em Sistemas de Informao

    Orientador: Prof. ROGRIO OLIVEIRA

    So Paulo 2004

  • SUMRIO INTRODUO ................................................................................................ 09

    1 - AMBIENTE DATA WAREHOUSE ............................................................. 12

    1.1 Conceitos ....................................................................................................... 12

    1.2 ETL Extrao, Transformao e Carga ....................................................... 15

    1.2.1 Extrao ....................................................................................................... 16

    1.2.2 Transformao de dados ............................................................................ 17

    1.2.3 Carga de dados ........................................................................................... 18

    1.3 Modelo de dados ........................................................................................... 19

    1.3.1 Modelo Relacional ..................................................................................... 20

    1.3.2 Modelo Dimensional .................................................................................. 22

    1.3.3 A escolha da modelagem ............................................................................ 24

    2 - A MODELAGEM DIMENSIONAL ............................................................. 28

    2.1 Exemplo de Modelos de dados ...................................................................... 28

    2.2 Esquema Estrela ........................................................................................... 32

    2.2.1 Tabela de Fatos ........................................................................................ 34

    2.2.2 Modelagem da Tabela de Fatos ................................................................... 37

    2.2.3 Classificao dos Fatos ............................................................................... 38

    2.2.4 Tabela de Dimenso .................................................................................. 38

    2.2.5 Hierarquia de Dimenses ............................................................................ 40

    2.2.6 Drill-down e Roll-up .................................................................................. 42

    2.2.7 Dimenses Descaracterizadas ................................................................... 44

    2.3 Esquema Floco de Neve ............................................................................... 45

    2.4 Cubo ................................................................................................................ 48

    3 - TCNICAS DE MODELAGEM DIMENSIONAL ........................................ 51

    3.1 Granularidade ................................................................................................. 51

    3.1.1 Nveis duais de granularidade ................................................................... 52

    3.1.2 Tabelas Agregadas ..................................................................................... 53

    3.2 Vises materializadas .................................................................................. 56

    3.3 Tcnicas de Rastreamento de Alteraes ....................................................... 57

    3.3.1 Sobrescrever o valor .................................................................................. 57

    3.3.2 Adicionar uma nova linha na tabela de dimenses ...................................... 58

    3.3.3 Adicionar uma nova coluna de dimenso .................................................... 60

    3.3.4 Artefatos de dados ..................................................................................... 60

  • 3.4 Criao de Minidimenses ............................................................................ 61

    3.5 Criao de Novas Chaves ............................................................................... 64

    3.6 Tratamento de Dimenses e Fatos com Cardinalidade M:N .......................... 66

    3.7 Tabela de fatos sem fatos ............................................................................... 67

    3.8 Dados desnormalizados .................................................................................. 70

    3.9 Dimenses de tempo .................................................................................. 72

    4 QUESTES SOBRE ACESSO A DADOS MULTIDIMENSIONAIS ....... 76

    4.1 Estratgias de Processamento de Consultas .................................................... 76

    4.1.1 ndices bitmap .............................................................................................. 77

    4.1.2 ndices com juno ..................................................................................... 79

    4.1.3 Junes estrela (Star Join) ............................................................................ 81

    4.2 Operador CUBE na Agregao Relacional .................................................... 82

    4.2.1 Agregao no SQL ..................................................................................... 83

    4.2.2 Problemas com o group by ...................................................................... 84

    4.2.3 Operador CUBE ........................................................................................... 87

    4.3 Manuteno de Vises ..................................................................................... 92

    4.3.1 Informaes Completas ............................................................................... 96

    4.3.2 Informaes Parciais ..................................................................................... 100

    CONCLUSO ....................................................................................................... 103

    GLOSSRIO ....................................................................................................... 105

    REFERNCIAS BIBLIOGRFICAS ................................................................ 108

    BIBLIOGRAFIA COMPLEMENTAR ................................................................ 109

    APNDICE A OLAP (Processamento Analtico On-line) ................................ 110

  • LISTA DE QUADROS

    Quadro 1 Requisitos de processamento transacional e analtico ......24

    Quadro 2 Diferenas entre OLAP e OLTP ...25

  • LISTA DE FIGURAS

    Figura 1 Ambiente de Data Warehouse 16

    Figura 2 Modelo relacional do sistema transacional de vendas de lojas de Departamento 29

    Figura 3 Modelo dimensional do sistema analtico de Vendas de Lojas de departamento ..31

    Figura 4 Representao da estrutura do Esquema Estrela. 33

    Figura 5 Tabela de fatos Vendas ..36

    Figura 6 Tabela de dimenso Produtos .39

    Figura 7 Hierarquia explcita de Produto ... 41

    Figura 8 Hierarquia implcita para Produto ..42

    Figura 9 Exemplo de drill-down, detalhando uma informao de data e roll-up, sintetizando a informao ......43

    Figura 10 Drill-down e drill-across de OLAP .44

    Figura 11 Dimenso descaracterizada cdigo da venda na tabela de fatos vendas .45

    Figura 12 Modelo de Dados do sistema de vendas de lojas de departamento utilizando o esquema floco de neve ...46

    Figura 13 Modelo de dados floco de neve com as dimenses normalizadas se relacionando diretamente com a tabela de fatos .......48

    Figura 14 Exemplo de um cubo aplicado ao sistema de vendas de uma rede de lojas de departamento ..49

    Figura 15 Tabela de fatos Vendas e duas tabelas agregadas originadas da agregao da tabela Vendas ....53

    Figura 16 Alterao de dimenso sobrescrevendo o valor antigo ...58

    Figura 17 Alterao de dimenso por insero de novo registro 59

    Figura 18 Rastreamento de alteraes por meio de artefatos de dados ..61

    Figura 19 Minidimenso DEMOGRFICA .......................62

    Figura 20 Exemplo de linhas de uma minidimenso de dados demogrficos .63

    Figura 21 Chave substituta cdigo da loja na tabela de dimenso Lojas no lugar da chave original nmero da loja ....65

  • Figura 22 Chave substituta cdigo do produto para economizar espao em disco da chave original cdigo de barras .66

    Figura 23 Tabela de fatos sem fatos Produtos a Venda ..68

    Figura 24 Dados desnormalizados na tabela de dimenso Produtos . 71

    Figura 25 Tabela de dimenso Data se relacionando com a tabela de fatos vendas no modelo do sistema de vendas de lojas de departamento, o que permite a visualizao dos fatos por diversos critrios diferentes de data 73

    Figura 26 Exemplo de linhas em uma dimenso Data, a primeira linha corresponde a data "16/02/2004" e a segunda a "21/04/2004" .74

    Figura 27 Dimenso Data com diversos atributos, todas as interpretaes de datas teis para o negcio devem ser armazenadas ..75

    Figura 28 Exemplo de ndices com jun