Data Mining Final

Embed Size (px)

Text of Data Mining Final

UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO

CURSO DE SISTEMA DE INFORMAES

APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES

BRUNO DOS SANTOS GONALVES HAELITON PICELLI LEANDRO DOS SANTOS GONALVES MATEUS DA SILVA GERBONI

Hortolndia 2011

2

UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO

CURSO DE SISTEMA DE INFORMAES

APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES

BRUNO DOS SANTOS GONALVES HAELITON PICELLI LEANDRO DOS SANTOS GONALVES MATEUS DA SILVA GERBONI

Hortolndia 20113

DEDICATRIA Dedicamos este trabalho a Deus, por sempre nos proporcionar f para nunca desistirmos e sade para sempre 4 continuar na caminhada.

AGRADECIMENTO Agradecemos aos professores,

profissionais que dedicaram seu tempo e disponibilizaram seus conhecimentos, aos colegas da faculdade, aos nossos familiares e amigos que nos apoiaram e acreditaram em nossa capacidade. 5

RESUMOEste estudo tem como objetivo analisar o contedo proposto pelo processo de Minerao de Dados e a possibilidade da aplicao de suas tcnicas na Bolsa de Valores. tambm um objetivo apresentar conceitos bsicos que envolvem o processo de Data Mining. Nesse contexto, o presente texto pretende apresentar alguns desses conceitos sobre as tcnicas que envolvem a Minerao de Dados em grandes conjuntos de dados, alm de registrar algumas caractersticas de softwares especficos para Data Mining, aplicaes j realizadas com sucesso e o grau de dificuldade da aplicao desta tecnologia na Bolsa de Valores. A Minerao de Dados destaca-se como parte de um processo maior de pesquisa denominado Busca de Conhecimento em Banco de Dados (KDD), para qual apresentado sua metodologia para preparao e explorao dos dados, interpretao de seus resultados e assimilao dos conhecimentos minerados. Organizaes que tm como finalidade obter lucro, qualidade e tomar decises com rapidez, suportam grandes desafios por parte da gesto de negcios. Para superar estes desafios, h necessidade de tais organizaes aperfeioarem seus processos de tomada de deciso. A Minerao de Dados apresenta-se como auxlio para tal aperfeioamento.

Palavras-chave: Data Mining, Minerao de Dados, Bolsa de Valores, Busca de Conhecimento em Banco de Dados (KDD). 6

ABSTRACTThis study has how I aim to analyse the content proposed by the process of Mining of Data and the possibility of the application of his techniques in the Stock Exchange. It is also an objective to present basic concepts that wrap the process of Date Mining. In this context, the present text intends to present some of these concepts on the techniques that wrap the Mining of Data in great sets of data, besides registering some characteristics of softwares special for Date Mining, applications already carried out with success and the degree of difficulty of the application of this technology in the Stock Exchange. The Mining of Data stands out how part of a process bigger of inquiry called a Search of Knowledge in Database (KDD), for which his methodology is presented for preparation and exploration of the data, interpretation of his results and assimilation of the mined knowledges. Organizations that have like finality obtains profit, quality and to take decisions with speed, support great challenges for part of the business management. To surpass these challenges, there is need of such organizations they perfect his processes of taking decision. The Mining of Data presents itself a help for such an improvement.

Key-words: Data Mining, Data Mining, Stock Exchange, Knowledge Discovery in database (KDD). 7

LISTA DE ABREVIATURAS E SIGLASKDD SQL AAFES MTS MSC DB2 DWE Knowledge Discovery in database Structured Query Language Army and Air Force Exchange Service Microsoft Time Series Microsoft Sequence Clustering Database 2 Data Warehouse Edition

8

LISTA DE FIGURASFIGURA 1: ETAPAS DO PROCESSO KDD [4].....................................................16 FIGURA 2: FUNCIONALIDADES EM MINERAO DE DADOS [3].........................20 FIGURA 3: SUB-FUNCIONALIDADES DA ANLISE PRVIA [3]............................21 FIGURA 4: SUB-FUNCIONALIDADES DO DESCOBRIMENTO [3]...........................21 FIGURA 5: EXEMPLO DE UMA RVORE DE DECISO [6]....................................25 FIGURA 6: EXEMPLO DE RVORE DE DECISO SOBRE A TABELA 1 [2]..............32 FIGURA 7: JANELA DA FERRAMENTA DARWIN [2]............................................34 FIGURA 8: JANELA DA FERRAMENTA IBM INTELLIGENT MINER EXIBINDO UM GRFICO DE CLIENTES [2].............................................................................35 FIGURA 9: FLUXO DE MINERAO DE DADOS EM ANLISE DE EMPRSTIMO [2] 36 FIGURA 10: EVOLUO DAS COTAES DIRIAS PARA OS TTULOS DO NDICE NASDAQ PARA CADA DIA DA SEMANA [7].......................................................38 FIGURA 11: DISTRIBUIES DE DIVIDENDOS [7].............................................39 FIGURA 12: EXEMPLO DE APLICAO DE DATA MINING NA BOLSA DE VALORES [7]...............................................................................................................41

9

LISTA DE TABELASTABELA 1: TABELA EXEMPLO PARA RVORE DE DECISO [2]...........................31

10

LISTA DE QUADROS

QUADRO 1: FUNCIONALIDADES E SUAS TCNICAS [3].....................................24 QUADRO 2: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA VALORIZAO SUPERIOR A 15% [7].....................................................................................39 QUADRO 3: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA DESVALORIZAO SUPERIOR A 15% [7].........................................................40

11

SUMRIODEDICATRIA.................................................................................................4 DEDICATRIA.................................................................................................4 DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4 DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4 AGRADECIMENTO ..........................................................................................5 AGRADECIMENTO ..........................................................................................5 INTRODUO...............................................................................................14 BUSCA DE CONHECIMENTO EM BANCO DE DADOS (KDD).................................16 ETAPAS DO PROCESSO DE KDD.................................................................................................16 Definio (Database)................................................................................................17 Seleo (Selection)...................................................................................................17 Limpeza de Dados e pr-processamento (Preprocessing).........................................17 Reduo de Dados e Projeo (Transformation).......................................................17 Minerao de Dados (Data Mining)...........................................................................17 Interpretao / Avaliao (Interpretation/Evaluation)...............................................17 Implantao do Conhecimento Descoberto (Knowledge)..........................................17 KDD E DATA MINING...........................................................................................................17 MINERAO DE DADOS (DATA MINING)..........................................................19 FUNCIONALIDADES.................................................................................................................19 Anlise Descritiva.....................................................................................................20 Anlise Prvia...........................................................................................................20Descobrimento................................................................................................................... 21 Estimao 22 Predio 22 Classificao....................................................................................................................... 22

Anlise de Prognstico..............................................................................................22

TCNICAS PARA OBTENO DAS FUNCIONALIDADES.............................................................................22 Ferramentas de consulta e tcnicas de estatstica....................................................24 Anlise de vizinhana (K-nearest neighbor)..............................................................24 rvores de deciso....................................................................................................24 APLICAES EM DATA MINING......................................................................25 SEGMENTAO DE MERCADOS ..................................................................................................25 VAREJO.............................................................................................................................25 FINANAS..........................................................................................................................26 MARKETING........................................................................................................................26 SADE..............................................................................................................................26 OUTR