股票市场行情分析与预测是数据分析领域里面的重头戏，其符合大数据的四大特征：交易量大、频率高、数据种类多、价值高。
本项目基于 Python 利用网络爬虫技术从某财经网站采集上证指数、创业板指数等大盘指数数据，以及个股数据，同时抓取股票公司的简介、财务指标和机构预测等数据，并进行 KDJ、BOLL等技术指标的计算，构建股票数据分析系统，前端利用echarts进行可视化。基于深度学习算法实现股票价格预测，为投资提供可能的趋势分析。
基于大数据的股票数据可视化分析与预测系统
基于大数据的股票数据可视化分析与预测系统的功能组成如下图所示：
数据获取是股票数据分析的第一步，找不到可靠、真实的数据，量化分析就无从谈起。随着信息技术的不断发展，数据获取渠道也越来越多，当前包括开源的股票数据获取的工具：tushare、baostock、pandas_datareader和yahool等财经数据API，这样可以节省不少精力。当这些开源的API接口不能满足自己特定场景的股票数据需求的时候，我们可以从某些财经网站抓取所需的数据。以 tushare 为例：
获取所有股票列表：
print(‘爬取上市公司列表…’) stock_list_file = os.path.join(os.getcwd(), ‘…/数据集’, ‘股票列表’, ‘{}.csv’.format(cur_date.strftime(‘%Y-%m-%d’))) # list_status: 上市状态： L上市 D退市 P暂停上市，默认L # exchange: 交易所 SSE上交所 SZSE深交所 HKEX港交所(未上线) stocks = pro.stock_basic(list_status=‘L’, exchange=‘’, fields=‘ts_code,symbol,name,area,industry,market,list_date,is_hs’) stocks.to_csv(stock_list_file, index=False, encoding=‘utf8’) print(‘done.’)
获取所有股票的历史 K线数据：