原标题：【中信建投金融工程 新财富恳请支撑榜首】大数据周报：欢迎重视多空组合列表

  2017年08月31日宣布看多信号，近期可适当加仓。从2014年01年02日到2017年09年15日，多仓单个信号均匀收益2.2%累计收益200.49%；空仓信号单个均匀收益0.24%,累积收益4.33%。

  以心情指数排名前5的个股作为多头，以排名倒数前5的作为空头。自2014年以来多空累计收益为187.72%，年化收益为33.82%，最大回撤27.57%。

  大数据的源头质量，直接决议咱们目标质量，决议着咱们的战略优劣性。现在，国内的相关数据来历首要为榜首类上交所，深交所等的公告、财报，监管信息等；第二类财经新闻网站，比方新浪财经，榜首财经，东方财富网，我国证券网，金融界，雪球财经，腾讯财经，榜首财经等的个股新闻，职业新闻，宏观经济等；第三类交际媒体，比方股吧，贴吧，微博等；第四类为重视数据，比方百度，搜狗等个股每天查找数量及剖析师研报提及个股等。咱们现在数据首要爬取新浪财经个股相关新闻，包含200多家媒体在内的一切个股新闻。

  大数据收集则是经过网络爬虫或网站揭露API等办法从上述相关网站上获取咱们所需求的数据信息，将非结构化数据从网页中爬取下来，并解析相关信息，将其存储为一致的本地数据文件，并以结构化的办法存储在咱们的数据库中。

  数据预处理指直接从网页爬取的数据并不能直接用于运用，而是需求经过必定的预处理，以确保数据质量和数据安全。由于在大数据使用中，数据来历十分广泛，数据质量良莠不齐，更需求预处理进程。数据预处理首要是去除无法解析的过错网页，删去重复的数据，去除无效的数据等；将不同的数据源爬取到的数据一致存储，树立数据仓库。

  从2014年1月1号到2016年9月26日，已经有200多万条个股新闻数据，共45g多，尽管现在不算超级大数据，但随着咱们体系的逐步完善，数据来历的多样化，数据存储必定会成为较大的瓶颈。为了满意大数据拜访的功率与要求，大数据处理需求合理地存储与安排各种数据，以削减网络和存储I/O开支，提高体系功能； 大数据存储现在咱们首要是选用分表和分区技能。

  以上技能使用于小型大数据还能够完美处理，可是超级大型数据则力不从心。现在有以下几种典型的大数据存储技能处理方案，榜首种选用MPP架构的新式数据库集群，要点面向职业大数据，选用Shared Nothing架构，经过列存储、粗粒度索引等多项大数据处理技能，再结合MPP架构高效的分布式核算形式，具有高功能和高扩展性的特色，在企业剖析类使用领域取得极端广泛的使用。第二种是根据Hadoop的技能扩展和封装，环绕Hadoop衍生出相关的大数据技能，应对传统联系型数据库较难处理的数据和场景。第三种是大数据一体机，这是一种专为大数据的剖析处理而规划的软、硬件结合的产品，由一组集成的服务器、存储设备、操作体系、数据库办理体系以及为数据查询、处理、剖析用处而特别预先装置及优化的软件组成，高功能大数据一体机具有杰出的稳定性和纵向扩展性。

  经过商场心情剖析、财经文本剖析、新闻热点捕捉、主题发掘等从这些很多的新闻中发掘出有用信息。

  数据发掘常用的几种办法为：分类剖析、聚类剖析、相关剖析、猜测剖析、反常剖析等等。分类剖析是首先从已有的数据中选出已有的分类，且把一切的没有分类的要进行分类的数据依照这些已规定好类别别离进行分类。聚类分类不属于猜测性的问题，该算法首要处理的是把一群给定的目标区分红若干个组的问题。区分样本的根据是聚类问题的中心点。聚类剖析首要是处理当要剖析的数据缺少描绘信息或许是无法安排成任何分类形式时用于样本的聚类剖析。相关剖析中首要技能是目标相关度或许他们之间的联系。猜测剖析首要包含一无线性回归，多元线性回归，Markov猜测模型等。

  使用咱们爬虫体系的数据，核算并提取沪深300成份股的每日一切的新闻数量。新闻热度即沪深300成份股的每一日新闻数量之和为当日的新闻热度。

  若当日信号打破上轨，则宣布看多信号，次日以开盘价开多仓,一起将前次信号以次日开盘价平仓，开仓之后，若没有新信号，持有nday天以nday+1天开盘价平仓。

  若当日信号打破下轨，则宣布看空信号，次日以开盘价开空仓,一起将前次信号平仓，开仓之后，若没有新信号，持有nday天以nday+1天开盘价平仓。

  开平仓：若当日信号打破上轨，则宣布看多信号，次日以开盘价开多仓,一起将前次信号以次日开盘价平仓，

  新闻心情指数因子构建即先求出正负面新闻权重和构成的当日新闻心情指数，然后再把N日指数进行相加，得到当期的新闻心情指数因子。（详细新闻分类办法及当天新闻心情指数构建可检查深度陈述《大数据研讨之目标构建：机器学习之贝叶文雅本分类算法的完成》）。

  该战略类似于多因子选股战略，仅仅这个战略中，只要N日正负面新闻权重和构成的当日新闻心情指数相加这一因子。

  把N个买卖日正负面新闻权重和构成的当日新闻心情指数相加，然后进行排序，选取排名前topN作为多头组合或空头组合，选取排名倒数前topN作为空头组合或许多头组合。其间，多头组合与空头组合都除掉买入当天一字涨跌停和停牌股票，新上市股票一个月内也不能作为候选股，多头与空头组合N+1个买卖以均匀价买入，持有N个买卖日以均匀价卖出，若卖出当天有一字涨跌停和停牌股票，则顺延到下一个买卖日以均匀价卖出，并买入需求买入的股票，使多头与空头组合始终保持满仓。最终核算多空收益差。

  多头组合： 把N个买卖日正负面新闻权重和构成的当日新闻心情指数相加，然后进行排序，选取排名前topN的股票作为多头组合。

  空头组合： 把N个买卖日正负面新闻权重和构成的当日新闻心情指数相加，然后进行排序，选取排名倒数前topN的股票作为空头组合。

  战略参数：N，topN，w_neg（即负面新闻对股票影响程度，正面新闻默以为1）。

  订阅者对本订阅号所载一切内容（包含文字、音频、视频等）进行仿制、转载的，需注明出处，且不得对本订阅号所载内容进行任何有悖本意的引证、删省和修正回来搜狐，检查更多