数据发掘根本进程包含数据收集、数据预处理、数据存储、数据剖析、常识发现。数据发掘常见技能包含监督学习（即分类剖析）、无监督学习（即聚类剖析）、相关剖析、猜测剖析等。
现在，国内的相关数据来历首要为榜首类上交所，深交所等的公告、财报，职业研讨报告等；第二类财经新闻网站，比方新浪财经，榜首财经，东方财富网，我国证券网，金融界，雪球财经，腾讯财经，榜首财经等；第三类交际媒体，比方股吧，贴吧等。咱们现在数据首要爬取新闻财经个股相关新闻，包含200多家媒体在内的一切新闻。
大数据收集则是经过网络爬虫或网站揭露API等办法从上述相关网站上获取咱们所需求的数据信息，将非结构化数据从网页中爬取下来，并解析相关信息，将其存储为一致的本地数据文件，并以结构化的办法存储在咱们的数据库中，现在干流数据库为mysql，sqlserver，oracle等。
数据预处理指直接从网页爬取的数据并不能直接用于运用，而是需求经过必定的预处理，以确保数据质量和数据安全。由于在大数据使用中，数据来历十分广泛，数据质量良莠不齐，更需求预处理进程。数据预处理首要是去除无法解析的网页，删去重复的数据，去除无效的数据等；将不同的数据源爬取到的数据一致存储，树立数据仓库。经过滑润集合，规范化等办法将数据转换成适用于数据发掘的办法。
为了满意大数据拜访的功率与要求，大数据处理需求合理地存储与安排各种数据，以削减网络和存储I/O开支，提高体系能；数量百万级的使用分表、分区等技能即可处理。若数以亿计等超大型数据，则以下三种为常见的大数据贮存技能处理方案，一是选用MPP架构的新式数据库集群，选用Shared Nothing架构，经过列存储、粗粒度索引等多项大数据处理技能，再结合MPP架构高效的分布式核算形式,二是根据Hadoop的技能扩展和封装，环绕Hadoop衍生出相关的大数据技能。三是大数据一体机，这是一种专为大数据的剖析处理而规划的软、硬件结合的产品，由一组集成的服务器、存储设备、操作体系、数据库办理体系以及为数据查询、处理、剖析用处而特别预先装置及优化的软件组成。
使用数据发掘技能剖析咱们需求处理的数据，发现隐藏在海量数据背面的常识和规矩。发掘进程简略的能够归纳为a.前期数据的预备 b.从这些数据中寻觅他们的规矩 c.把寻觅到的规矩表明出来。前期数据的预备是从这些相关的数据源中以必定的规矩选择咱们所需的数据，然后整组成咱们用于数据发掘的数据集；寻觅这些数据的规矩是使用数据发掘相关的办法将这些数据集所含的规矩发掘出来；把寻觅到的规矩表明出来是使用比方图表等可视化的技能尽或许以用户能够了解的办法展现出来发掘出来的规矩。
数据发掘常用的几种办法为：分类剖析、聚类剖析、相关剖析、猜测剖析、反常剖析等等。分类剖析是首要从已有的数据中选出已有的分类，且把一切的没有分类的要进行分类的数据依照这些已规定好类别别离进行分类。聚类分类不属于猜测性的问题，该算法首要处理的是把一群给定的目标区分红若干个组的问题。区分样本的根据是聚类问题的中心点。聚类剖析首要是处理当要剖析的数据缺少描绘信息或许是无法安排成任何分类形式时用于样本的聚类剖析。相关剖析中首要是技能是目标相关度或许他们之间的联系。猜测剖析首要包含一无线性回归，多元线性回归，Markov猜测模型等。
经过数据发掘技能，咱们能够构建出一切咱们需求的目标，比方个股每日新闻条数，新闻情感指数，词频核算，个股相关目标，主题发掘等。
使用咱们爬虫体系的数据，核算并提取沪深300成份股的每日一切的新闻数量。新闻热度即沪深300成份股的每一日新闻数量之和为当日的新闻热度。
若当日信号打破上轨，则宣布看多信号，次日以开盘价开多仓,一起将前次信号以次日开盘价平仓，开仓之后，若没有新信号，持有nday天以nday+1天开盘价平仓。
若当日信号打破下轨，则宣布看空信号，次日以开盘价开空仓,一起将前次信号平仓，开仓之后，若没有新信号，持有nday天以nday+1天开盘价平仓。
开平仓：若当日信号打破上轨，则宣布看多信号，次日以开盘价开多仓,一起将前次信号以次日开盘价平仓，
开平仓：若当日信号打破上轨，则宣布看多信号，次日以开盘价开多仓,一起将前次信号以次日开盘价平仓，
为了寻觅到适宜的参数，首要把开仓后持有天数别离设置为[1,5,8,10,22,50,150,250,500,1000]，之所以设置这这些值，首要是考虑到尽或许的掩盖一切状况，持有1天和1000天是极点状况，持有1天则表明不管第二天有没有新的信号呈现，即平仓，这样会导致持仓周期太短，收益较差，实践核算成果显现，持有1天的状况下，在2014-01-01 至 2016-08-31区间，初始净值为1，期末净值也没有超越2。而持有1000天，则能够了解为一个信号呈现后，直到下一个信号呈现再平仓，由于样本区间一共653天。故而设置持有以上时刻根本能够掩盖一切状况。
核算中发现，持有50个买卖日为最优状况。故而设置持有天数为50个买卖日。
其间，纵轴表明年化收益与最大回撤比，横轴表明移动均匀天数。在移动均匀天数M从5到50时，对应每个M有6根柱形图，别离表明N从0.3到0.8的对应收益回撤比。从上图可知，当移动均匀天数从5到35时收益回撤比有递升趋势，从35到50时收益回撤比有递减趋势。M为35时，N为0.4时，收益回撤比最大，即M=35,N=0.4为最优参数。
归纳上面剖析可知，当M即移动均匀天数20到50之间步长为5时，体现比较稳定，且根本为正。
经过上述研讨可知，新闻热度是一个有用的多空择时目标。当宣布看多信号时，接下来的买卖日内，大盘指数上涨的概率较大，收益也比较显着，看空信号也有必定的作用，但不如看多信号有用。
新闻热度多空战略中，从2014年1月1日到2016年8月31日，多仓单个信号均匀收益2.88%，累计收益191.70%；空仓信号单个均匀收益0.31%，累积收益12.45%（上述核算多空收益不包含信号还未完毕的收益），新闻热度作为多空战略目标，作用是很显着的。
当然，该战略也有缺乏的当地，首要新闻来历比较单一，现在首要来历于新浪财经网站，来自200多家媒体的新闻。其次，目标比较单一，该战略仅对沪深300成份股的新闻数量进行了核算，尽管具有必定的代表性，但并不全面。最终，核算时刻段没有考虑熊牛市，不同的商场，目标信号或许有所不同，目标的有用性或许也有所不同。在后续的研讨中，咱们将发掘出更多的目标，深入研讨各项归纳目标，使用到不同的战略中。咱们将从大数据这一金矿中，淘洗出更多的价值！
