Data Mining Final

  • Published on
    11-Jul-2015

  • View
    901

  • Download
    0

Embed Size (px)

Transcript

<p>UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO</p> <p>CURSO DE SISTEMA DE INFORMAES</p> <p>APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES</p> <p>BRUNO DOS SANTOS GONALVES HAELITON PICELLI LEANDRO DOS SANTOS GONALVES MATEUS DA SILVA GERBONI</p> <p>Hortolndia 2011</p> <p>2</p> <p>UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO</p> <p>CURSO DE SISTEMA DE INFORMAES</p> <p>APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES</p> <p>BRUNO DOS SANTOS GONALVES HAELITON PICELLI LEANDRO DOS SANTOS GONALVES MATEUS DA SILVA GERBONI</p> <p>Hortolndia 20113</p> <p>DEDICATRIA Dedicamos este trabalho a Deus, por sempre nos proporcionar f para nunca desistirmos e sade para sempre 4 continuar na caminhada.</p> <p>AGRADECIMENTO Agradecemos aos professores,</p> <p>profissionais que dedicaram seu tempo e disponibilizaram seus conhecimentos, aos colegas da faculdade, aos nossos familiares e amigos que nos apoiaram e acreditaram em nossa capacidade. 5</p> <p>RESUMOEste estudo tem como objetivo analisar o contedo proposto pelo processo de Minerao de Dados e a possibilidade da aplicao de suas tcnicas na Bolsa de Valores. tambm um objetivo apresentar conceitos bsicos que envolvem o processo de Data Mining. Nesse contexto, o presente texto pretende apresentar alguns desses conceitos sobre as tcnicas que envolvem a Minerao de Dados em grandes conjuntos de dados, alm de registrar algumas caractersticas de softwares especficos para Data Mining, aplicaes j realizadas com sucesso e o grau de dificuldade da aplicao desta tecnologia na Bolsa de Valores. A Minerao de Dados destaca-se como parte de um processo maior de pesquisa denominado Busca de Conhecimento em Banco de Dados (KDD), para qual apresentado sua metodologia para preparao e explorao dos dados, interpretao de seus resultados e assimilao dos conhecimentos minerados. Organizaes que tm como finalidade obter lucro, qualidade e tomar decises com rapidez, suportam grandes desafios por parte da gesto de negcios. Para superar estes desafios, h necessidade de tais organizaes aperfeioarem seus processos de tomada de deciso. A Minerao de Dados apresenta-se como auxlio para tal aperfeioamento.</p> <p>Palavras-chave: Data Mining, Minerao de Dados, Bolsa de Valores, Busca de Conhecimento em Banco de Dados (KDD). 6</p> <p>ABSTRACTThis study has how I aim to analyse the content proposed by the process of Mining of Data and the possibility of the application of his techniques in the Stock Exchange. It is also an objective to present basic concepts that wrap the process of Date Mining. In this context, the present text intends to present some of these concepts on the techniques that wrap the Mining of Data in great sets of data, besides registering some characteristics of softwares special for Date Mining, applications already carried out with success and the degree of difficulty of the application of this technology in the Stock Exchange. The Mining of Data stands out how part of a process bigger of inquiry called a Search of Knowledge in Database (KDD), for which his methodology is presented for preparation and exploration of the data, interpretation of his results and assimilation of the mined knowledges. Organizations that have like finality obtains profit, quality and to take decisions with speed, support great challenges for part of the business management. To surpass these challenges, there is need of such organizations they perfect his processes of taking decision. The Mining of Data presents itself a help for such an improvement.</p> <p>Key-words: Data Mining, Data Mining, Stock Exchange, Knowledge Discovery in database (KDD). 7</p> <p>LISTA DE ABREVIATURAS E SIGLASKDD SQL AAFES MTS MSC DB2 DWE Knowledge Discovery in database Structured Query Language Army and Air Force Exchange Service Microsoft Time Series Microsoft Sequence Clustering Database 2 Data Warehouse Edition</p> <p>8</p> <p>LISTA DE FIGURASFIGURA 1: ETAPAS DO PROCESSO KDD [4].....................................................16 FIGURA 2: FUNCIONALIDADES EM MINERAO DE DADOS [3].........................20 FIGURA 3: SUB-FUNCIONALIDADES DA ANLISE PRVIA [3]............................21 FIGURA 4: SUB-FUNCIONALIDADES DO DESCOBRIMENTO [3]...........................21 FIGURA 5: EXEMPLO DE UMA RVORE DE DECISO [6]....................................25 FIGURA 6: EXEMPLO DE RVORE DE DECISO SOBRE A TABELA 1 [2]..............32 FIGURA 7: JANELA DA FERRAMENTA DARWIN [2]............................................34 FIGURA 8: JANELA DA FERRAMENTA IBM INTELLIGENT MINER EXIBINDO UM GRFICO DE CLIENTES [2].............................................................................35 FIGURA 9: FLUXO DE MINERAO DE DADOS EM ANLISE DE EMPRSTIMO [2] 36 FIGURA 10: EVOLUO DAS COTAES DIRIAS PARA OS TTULOS DO NDICE NASDAQ PARA CADA DIA DA SEMANA [7].......................................................38 FIGURA 11: DISTRIBUIES DE DIVIDENDOS [7].............................................39 FIGURA 12: EXEMPLO DE APLICAO DE DATA MINING NA BOLSA DE VALORES [7]...............................................................................................................41</p> <p>9</p> <p>LISTA DE TABELASTABELA 1: TABELA EXEMPLO PARA RVORE DE DECISO [2]...........................31</p> <p>10</p> <p>LISTA DE QUADROS</p> <p>QUADRO 1: FUNCIONALIDADES E SUAS TCNICAS [3].....................................24 QUADRO 2: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA VALORIZAO SUPERIOR A 15% [7].....................................................................................39 QUADRO 3: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA DESVALORIZAO SUPERIOR A 15% [7].........................................................40</p> <p>11</p> <p>SUMRIODEDICATRIA.................................................................................................4 DEDICATRIA.................................................................................................4 DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4 DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4 AGRADECIMENTO ..........................................................................................5 AGRADECIMENTO ..........................................................................................5 INTRODUO...............................................................................................14 BUSCA DE CONHECIMENTO EM BANCO DE DADOS (KDD).................................16 ETAPAS DO PROCESSO DE KDD.................................................................................................16 Definio (Database)................................................................................................17 Seleo (Selection)...................................................................................................17 Limpeza de Dados e pr-processamento (Preprocessing).........................................17 Reduo de Dados e Projeo (Transformation).......................................................17 Minerao de Dados (Data Mining)...........................................................................17 Interpretao / Avaliao (Interpretation/Evaluation)...............................................17 Implantao do Conhecimento Descoberto (Knowledge)..........................................17 KDD E DATA MINING...........................................................................................................17 MINERAO DE DADOS (DATA MINING)..........................................................19 FUNCIONALIDADES.................................................................................................................19 Anlise Descritiva.....................................................................................................20 Anlise Prvia...........................................................................................................20Descobrimento................................................................................................................... 21 Estimao 22 Predio 22 Classificao....................................................................................................................... 22</p> <p>Anlise de Prognstico..............................................................................................22</p> <p>TCNICAS PARA OBTENO DAS FUNCIONALIDADES.............................................................................22 Ferramentas de consulta e tcnicas de estatstica....................................................24 Anlise de vizinhana (K-nearest neighbor)..............................................................24 rvores de deciso....................................................................................................24 APLICAES EM DATA MINING......................................................................25 SEGMENTAO DE MERCADOS ..................................................................................................25 VAREJO.............................................................................................................................25 FINANAS..........................................................................................................................26 MARKETING........................................................................................................................26 SADE..............................................................................................................................26 OUTRAS APLICAES.............................................................................................................27 EXEMPLO DE APLICAES...............................................................................27 ARMY AND AIR FORCE EXCHANGE SERVICE (AAFES)......................................................................27 WAL-MART........................................................................................................................27 MASTERCARD.....................................................................................................................28 REVENDEDORA DE AUTOMVEIS.................................................................................................28 ALGORITMOS DE MINERAO DE DADOS .......................................................29 TIPO DE ALGORITMOS.............................................................................................................29 Algoritmos de Classificao......................................................................................29</p> <p>12</p> <p>Algoritmos de Regresso..........................................................................................29 Algoritmos de Segmentao.....................................................................................30 Algoritmos de Associao.........................................................................................30 Algoritmos de Anlise de Sequncias........................................................................30 APLICAO DOS ALGORITMOS....................................................................................................30 rvore de Deciso.....................................................................................................31 Algoritmo de Naive Bayes.........................................................................................32 Algoritmo de Cluster.................................................................................................32 ANLISE DE FERRAMENTAS...........................................................................33 ORACLE DARWIN DATA MINING SOFTWARE....................................................................................33 IBM INTELLIGENT MINER.........................................................................................................34 SAS ENTERPRISE MINER........................................................................................................35 DATA MINING NA BOLSA DE VALORES............................................................36 EXEMPLO PRTICO................................................................................................................37 ANLISE DOS DADOS.............................................................................................................37 Relao Entre a Evoluo das Cotaes Durante 1 Dia e o Dia da Semana .............37 Evoluo da Cotao nos Dias que Antecedem uma Distribuio de Dividendos......38 Evoluo da Cotao aps Grandes Valorizaes.....................................................39 Evoluo da Cotao aps Grandes Desvalorizaes................................................40 PROCESSO DE DATA MINING NA BOLSA DE VALORES.........................................................................40 CONCLUSO.................................................................................................41 REFERNCIA BIBLIOGRFICA.........................................................................42</p> <p>13</p> <p>INTRODUO Atualmente as organizaes tm demonstrado muita eficincia em capturar, organizar e armazenar grandes quantidades de dados. Dados estes obtidos em operaes dirias ou pesquisas cientificas. Porm, uma grande porcentagem destas organizaes ainda no utiliza adequadamente essa gigantesca quantidade de dados para transform-la em conhecimento que possa ter utilidade em suas prprias atividades. Eis que surge um conceito denominado Minerao de Dados (Data Mining) que est se tornando cada vez mais popular como uma ferramenta de descoberta de informaes. Data Mining ou Minerao de Dados uma ampla rea de pesquisa que inclui diversas tecnologias tais como banco de dados, recuperao da informao, inteligncia artificial, aprendizado de mquinas, computao de alto desempenho, redes neurais, estatstica, reconhecimento de padres e visualizao de dados. A Minerao de Dados teve inicio a partir de um momento em que profissionais de empresas e organizaes tomaram conta de que um grande contedo de dados informticos eram estocados e inutilizados dentro de suas empresas. No princpio, Data Mining consistia principalmente na extrao de informaes de gigantescas bases de dados da maneira mais automatizada possvel. Atualmente, Data Mining consiste tambm na anlise destes dados aps a extrao com objetivo de descobrir padres ou regras que permitam uma melhor compreenso das informaes. Afinal, o que Minerao de Dados? Falando simplesmente, trata-se de extrair ou minerar conhecimento de grandes volumes de dados. H diversas formas em que um projeto de Data Mining pode ser implementado em uma organizao: utilizando softwares especficos para Data Mining, contratando c...</p>