De acordo com Bill Inmon, existem geralmente quatro características que descrevem um Datawarehouse:

• Organização por assunto: Os dados são organizados por assunto em vez de por aplicação. Ex: uma companhia de seguros que usa um Datawarehouse e que organiza os seus dados por cliente, prémios e reivindicação, em vez de através de produtos diferentes (automóvel, vida, etc.). Os dados organizados por assunto contêm só a informação necessária para o processo de apoio à decisão.

• Integrado: Quando os dados residem em muitas aplicações separadas no ambiente operacional, a codificação de dados é frequentemente inconsistente. Por exemplo, numa aplicação o sexo poderia ser codificado como “M” e “F” e em outro por “H” e “M”. Quando os dados são movidos do ambiente operacional para o Datawarehouse eles assumem uma convenção de codificação consistente, por exemplo, os dados de sexo são transformados em “M” e “F”.

• Variante de tempo: O Datawarehouse contém um lugar para armazenar dados que possuem de cinco para dez anos de utilização, ou mais, sendo usado para comparações, tendências e previsões. Estes dados não são actualizados.

• Não-volátil: Uma vez que os dados que entram no Datawarehouse, não são actualizados ou alterados de forma alguma, apenas servem para consulta.

Uma boa definição seria a de Gupta, conceituado especialista na matéria: “um ambiente estruturado, extensível, projectado para a análise de dados não voláteis, lógica e fisicamente transformados, provenientes de diversas aplicações, alinhados com a estrutura da empresa, actualizados e mantidos durante um longo período de tempo, referidos em termos utilizados no negócio e sumariados para análise rápida”.

Do início da década de 90 até os dias de hoje, o conceito e a operação de um Datawarehouse saíram do âmbito teórico e académico para a área empresarial, notando-se uma clara tendência no sentido da sua adopção por praticamente todas as empresas que operam em ambientes competitivos - as instituições financeiras, por exemplo, estão a começar a potenciar este recurso.

Antes da popularização do Datawarehouse e das ferramentas ERP (”Enterprise Resource Planning”), uma verdadeira integração de dados era utópica - os sistemas trocavam dados de forma a que se atendesse às necessidades de cada um deles, sendo por isso chamados “sistemas integrados”, sem que essa integração sequer se aproximasse do que se vê hoje nos ERP. Cada aplicação tinha uma visão do que era um cliente, um produto ou uma operação; uma visão empresarial das informações disponíveis era praticamente ficção. Os dados históricos não existiam de forma organizada e os dados sintéticos disponíveis mostravam quase sempre apenas uma pequena parte da realidade da empresa.

Os ERP’s e o Datawarehouse podem suprir estas insuficiências, integrando dados, fornecendo dados históricos e permitindo a recuperação de informações de forma sintética ou analítica.

A integração dos dados permite a um gestor ter uma visão “organizacional” dos mesmos; essa integração, ou mais especificamente a migração dos dados mantidos pelos sistemas anteriores, no entanto, não é um processo fácil, nem barato - exige muitos recursos a nível de planeamento e diz-se que o seu custo é 75% do investimento necessário à implementação do Warehouse.

Existem algumas versões de Datawarehouse que merecem ser individualizadas pelas suas características especiais: uma delas é o “Operational Data Store” (ODS), que opera directamente ligado aos dados operacionais, com o objectivo de dar suporte a decisões de natureza operacional e com características que permitem a obtenção de tempos de resposta bastante rápidos, algo que um Datawarehouse clássico não consegue determinar.

Os Data Marts (DM) podem ser considerados Datawarehouses departamentalizados; genericamente são bastante semelhantes àqueles, porém com algumas características peculiares, como por exemplo menor volume de dados e padrão de uso bastante previsível, necessitando de uma tecnologia mais simples e barata face a esse menor volume, a esse padrão previsível e ao baixo detalhe de informação.

Durante algum tempo os Data Marts independentes foram muito populares, mas ao longo do tempo a sua arquitectura mostrou-se falível. Quando uma empresa construía alguns, constatava que não só crescia muito o volume de redundância de dados (quase sempre dados analíticos), como também o número de programas que faziam o interface entre essas estruturas e os sistemas legados; por outro lado também aumentavam os recursos de hardware envolvidos.

Já do ponto de vista da organização o problema maior talvez seja o de haver áreas a tomar decisões a partir de números diferentes, gerados em função da redundância - quer por erros, quer por diferentes graus de actualização ou critérios de tratamento de dados (o exemplo clássico, embora possa não ser o melhor para esse tema, é o arredondamento versus truncamento de valores).

Constatada essa realidade percebeu-se que os Data Marts independentes não eram a solução, evoluindo-se então para o conceito de Data Marts dependentes. Numa arquitectura desse tipo, há um “Warehouse” central que alimenta os Data Marts dependentes; é chamada também arquitectura “hub-and-spoke” (cubo-e-raio), onde os Data Marts são os raios e o Warehouse o cubo. Como vantagens dessa estrutura apresenta-se a integração de dados no cubo, a autonomia de processos e nenhuma redundância de dados nos raios.

Os padrões gerais de design de Base da Dados ditaram os caminhos de evolução e sofisticação do ambiente de Warehouse; nos seus primeiros tempos a normalização de dados clássica era a base para a estruturação; quando a arquitectura cubo-e-raio evoluiu o padrão passou a ser a normalização em “star join” para o cubo e “snowflake” para os raios.

Aspectos básicos de um Datawarehouse:

• os dados são integrados à medida em que são armazenados. Isso implica a uniformidade e continuidade de conceitos da empresa: o que é um cliente, um produto, uma transacção e assim por diante. Dispondo-se do Warehouse pode-se partir imediatamente para análise, o que não aconteceria numa situação diferente em que os dados precisariam ser recolhidos, “limpos” (esse processo de limpeza é conhecido como “data scrubbing”) e a seguir reunidos para análise - esse processo, quase sempre completamente desestruturado, pode levar tanto tempo que, ao estar pronto, já terá sido superada a necessidade de análise (e talvez perdida uma oportunidade preciosa para a organização);

• o Datawarehouse contém os dados analíticos e também os sintéticos. Estes podem ser úteis no início de um processo de análise, quando ainda está a ser planeado um estudo, especialmente por permitir poupar tempo nessa fase, ajudando a escolher o caminho correcto.

As ferramentas disponíveis para acesso à informação devem tornar-se mais poderosas, principalmente face aos imensos volumes de dados com que terão que se relacionar - isso é válido para gestores de Bases de Dados e outras ferramentas manipuladas pelo utilizador final - imaginemos um utilizador final a tentar executar um “query” que exija a criação de uma tabela temporária com o produto de duas tabelas de um milhão de linhas cada… (neste caso específico, há ferramentas que permitem evitar a degradação que um “query” como esse provocaria num sistema convencional).

Os grandes volumes também têm impacto na armazenagem de dados (financeira e tecnologicamente) em termos de discos magnéticos. Tem vindo assim a crescer o conceito de que o Datawarehouse não precisa de estar necessariamente “on-line”, algo como “near-line” ou quase em linha, talvez seja satisfatório e é possível que o “hardware” e “software” “near-line” surjam a curto-prazo.

Uma das técnicas utilizadas para minimizar esses problemas e optimizar o Datawarehouse é a regra conhecida como “80/20″ - pode-se afirmar que em qualquer Base de Dados de grandes dimensões, 80% da informação pode ser encontrada em 20% dos dados - assim, de acordo com a regra, a Base de Dados pode ser dividida e o volume a ser processado para análise diminui; se ainda assim o volume a ser analisado for muito grande, podem ser recolhidas amostras para análise, até que se tenha um conjunto viável e representativo.

Finalizando, cumpre reafirmar que este é um assunto que continua a evoluir e que apesar do relativo curto espaço de tempo decorrido desde que as ferramentas para Datawarehouse se tornaram populares, já são consideradas componentes essenciais da arquitectura das tecnologias de informação de todas as organizações.

Um projecto de Datawarehouse corre vários riscos na sua implementação, seja na operação, seja na aceitação. Um erro comum entre os agentes de Datawarehouse é prometer o valor das suas informações com argumentos de efeito como “isto vai ajudar os gerentes a tomar melhores decisões”. Quando um executivo ouve essas palavras a reacção natural é pensar: “este tipo imagina que nós temos tomado decisões erradas e que somente o seu sistema é que nos pode corrigir”. Quando isto acontecer os executivos tornar-se-ão muito difíceis de ser convencidos.

É indiscutível que as Bases de Dados são de vital importância para as empresas e que sempre foi de difícil análise os dados nelas existentes. Tudo isso porque, geralmente, as grandes empresas detêm um volume enorme de dados e esses estão em diversos sistemas distribuídos pelos vários departamentos. Não conseguíamos tratar informações que permitissem tomarmos decisões baseadas num histórico dos dados.

Em cima desse histórico podemos identificar tendências e posicionar a empresa estrategicamente para ser mais competitiva e, consequentemente, maximizar os lucros, diminuindo o índice de erros na tomada de decisão. Tendo esta ideia como suporte, introduziu-se um novo conceito no mercado, o Datawarehouse.

Esse conceito consiste em organizar os dados da empresa da melhor maneira, para dar informações aos administradores e directores das empresas para a tomada de decisão. Tudo isso numa Base de Dados paralela aos sistemas operacionais da empresa.

Para organizar os dados são necessários novos métodos de armazenamento, estruturação e novas tecnologias para a geração e recuperação dessas informações. Essas, estão já bem difundidas, oferecendo muitas opções de ferramentas para atingir todas essas etapas. Diferem dos padrões operacionais de sistemas de Base de Dados nos seguintes aspectos:

• Dispõem de habilidade para extrair, tratar e agregar dados de múltiplos sistemas operacionais em Data Marts ou Datawarehouses separados;

• Armazenam dados frequentemente em formato de cubo (OLAP) multidimensional permitindo uma rápida agregação de dados e detalhe das análises (”drill-down”);

• Disponibilizam apresentações e relatórios, pesquisando, reportando e modelando capacidades que vão além dos padrões de sistemas operacionais frequentemente oferecidos.

Um Datawarehouse permite a geração de dados integrados e históricos, auxiliando os responsáveis a decidirem baseados em factos e não em intuições ou especulações, o que reduz a probabilidade de erros e de tempo despendido na hora da decisão. Cerca de 88% dos directores admitem que dedicam quase 75% do tempo às tomadas de decisão apoiadas em análises subjectivas (Aspect International Consulting, 1997), menosprezando o facto de todos terem acesso a computadores.

Conhecer mais sobre essa tecnologia permitirá aos gestores de topo descobrir novas maneiras de diferenciar a sua empresa numa economia globalizada, deixando-os mais seguros para definirem as metas e adoptarem diferentes estratégias na sua organização, conseguindo assim visualizar antes dos seus concorrentes novos mercados e oportunidades, actuando de maneiras diferentes conforme o perfil dos seus consumidores.

<!– @page { size: 21cm 29.7cm; margin: 2cm } P { margin-bottom: 0.21cm } –>

“Executive Information System”, pode ter dois tipos de interpretação: do ponto de vista tecnológico, como ferramenta de pesquisa a Bases de Dados para apresentação de informações de forma simples, atendendo às necessidades dos executivos/decisores; e do ponto de vista global, no conceito de como administrar o negócio da empresa com base na administração das informações. Construir em EIS significa ter à disposição a tecnologia que permite a disponibilização de informações, como características particulares e o domínio de uma metodologia também própria. Para atingir tal objectivo, a informatização de uma organização deve estar muito além dos níveis de automação e de operacionalidade. Os produtos EIS associados ao conceito emergente de Datawarehouse são os primeiros passos em direcção à disponibilização efectiva dos dados para a tomada de decisões de gestão. Ocorreu nos últimos anos uma substancial transformação no perfil dos sistemas utilizados nas empresas, formando uma pirâmide dividida em três blocos. Na base os sistemas transaccionais. No centro as aplicações de suporte à decisão, conhecidas pela sigla DSS (Decision Support Systems) e no topo os EIS.

As características de um EIS devem corresponder às exigências de tal cenário: o interface necessita ser totalmente amigável, uma vez que não existe tempo e disposição para a compreensão de interfaces complexos; o simples pressionar do botão do rato deve permitir a obtenção das informações necessárias. Os recursos gráficos como cores, símbolos, botões, imagens e gráficos, permitem a visualização de tendências e a percepção de desvios, mas o melhor dos EIS está nos efeitos especiais. A mais evidente vantagem está nas “imagens em movimento”, que permitem visualizar diferentes momentos na evolução das vendas de um produto ou o comportamento de um custo e, com base em quadros do passado, projectar cenários para o futuro

O objectivo mais importante é optimizar o desempenho de uma empresa, seja ao permitir a visualização dos dados da organização, seja ao fornecer informações críticas de forma imediata, seja ao possibilitar maior precisão na análise de dados críticos, etc. A primeira fase para a implementação de um sistema EIS consiste em traçar a estrutura da Base de Dados que servirá de base ao sistema, levantar as necessidades de cada executivo mediante entrevistas individuais e, posteriormente, num esforço de análise de tais objectivos e factores críticos de sucesso, chegar às informações necessárias aos executivos como um todo. O segundo passo refere-se à alimentação da Base de Dados que dará sustentação ao sistema. Como regra básica, a fonte primária dos dados são as aplicações transaccionais, que armazenam todo o histórico das operações da empresa. O objectivo aqui é criar um mecanismo que automatize a extracção de informações de diferentes origens - por exemplo, contabilidade, folha de pagamentos, mapas financeiros e sua consolidação na Base de Dados departamental. O próximo passo envolve a adaptação do software de EIS às condições específicas da empresa, definidas nas etapas anteriores. Qualquer que seja o programa escolhido, essa tarefa - a customização - é inevitável.

As ferramentas OLAP são as aplicações a que os utilizadores finais têm acesso para extraírem os dados das suas bases, com os quais geram relatórios capazes de responder às suas questões de gestão. Elas surgiram juntamente com os sistemas de apoio à decisão para fazerem a extracção e análise dos dados contidos no Datawarehouse e nos Data Marts.

As principais características destas ferramentas são:

• Consultas “ad-hoc”

Segundo Bill Inmon, autor de “Construção de um Data Warehouse” e guru da área, sendo considerado o criador do conceito de Datawarehouse, são “consultas com acesso casual único e tratamento dos dados segundo parâmetros nunca antes utilizados, geralmente executado de forma interactiva e heurística”.

Isso tudo não é mais do que o próprio utilizador poder gerar consultas de acordo com suas necessidades, de cruzar as informações de uma forma não tradicional e com métodos que o levem à descoberta daquilo que procura.

• “Slice-and-Dice”

Esta característica das ferramentas OLAP é de extrema importância. Com ela podemos analisar as nossas informações de diferentes prismas, limitados somente pela nossa imaginação. Utilizando esta tecnologia conseguimos ver a informação sob ângulos que anteriormente não existiam sem a criação de um Datawarehouse e a utilização de uma ferramenta OLAP.

• “Drill Down/Up”

Consiste em fazer uma exploração em diferentes níveis de detalhe das informações. Com o “Drill Down” o utilizador pode “subir ou descer” dentro do detalhe do cubo, analisando uma informação tanto diariamente como anualmente, partindo da mesma Base de Dados.

• Criação de “Queries”

A criação de “queries” no OLAP dá-se de uma maneira simples, amigável e transparente para o utilizador final, o qual precisa ter apenas um conhecimento mínimo de informática para obter as informações que deseja.

Cada uma destas tecnologias e técnicas tem o seu lugar no mercado de DSS (”Decision Support System”) e apoia diferentes tipos de análises. É importante lembrar que as exigências do utilizador devem ditar que tipo de Data Mart se está a construir. Como sempre, a tecnologia e técnicas devem estar bem fundamentadas para satisfazerem da melhor maneira possível essas exigências.

Os Datawarehouses / Data Marts servem como fonte de dados para estas aplicações, assegurando a consistência, integração e precisão dos dados. Os sistemas transaccionais não conseguem responder a essas questões, sendo, por isso, necessária a criação de um ambiente de apoio de decisão robusto, sustentável e confiável.