首页 >>云创大数据发布大数据实验平台(金融版)
云创大数据发布大数据实验平台(金融版)
发布来源: 云创大数据 发布时间:2018-12-13


近日,云创大数据为金融院校以及金融专业的学生量身打造了大数据实验平台(金融版)。该平台同步提供真实的实验环境、详实的实验手册、配套的数据与代码等服务,更好地满足课程设计、课程上机实验、实习实训、科研训练等需求,并在一定程度上缓解金融大数据师资不足的问题,轻松开展教学与实验。



一直以来,金融大数据在银行业、证券行业、保险行业、支付清算行业和互联网金融行业的应用日渐广泛,金融大数据行业面临“人才荒”。据统计,互联网金融行业人才缺口超过300万,金融大数据人才平均月薪达2万,金融大数据人才“一将难求”;尤为缺乏的是大数据风控人才和分析人才,包括从初级到高级的各类数据挖掘、统计建模人才等;主流招聘网站数据显示,2017年金融行业风控岗位招聘需求量较2016年同期增长超过20%。


目前,全国283所本科高校、208所职业院校获批大数据专业,多所金融院校竞相打造大数据人才高地,但实用型金融大数据人才培养却面临挑战:学生实验需要大量集群,一次性部署基础设施投入过高;生态体系庞大繁杂,技术发展迅速,实验设计花费时间;实验考核、试题设计、考试组织管理、试卷批阅费时费力,成绩存在主观性;缺乏切合业界金融大数据实际应用的实训项目;教师中精通金融大数据技术的人才较少等等。


大数据实验平台(金融版),可以解决以上问题,培养金融大数据应用高手!



具体说来,大数据实验平台(金融版)主要具备以下优势:


一、安全可靠的实验环境


1)基于Docker容器技术,可瞬间创建随时运行的实验环境

2)试用几台机器即可虚拟出大量实验集群,方便上百用户同时试用

3)采用Kubernates容器编排架构管理集群,用户实验集群隔离、互不干扰

4)用户可按需自己配置包含Hadoop、HBase/Hive、Spark、Storm等组件的集群,或利用平台提供的一键搭建集群功能快速搭建

5)内置数据挖掘等教学实验数据,可导入高校各学科数据进行教学、科研,校外培训机构同样适用



二、针对金融应用的大数据实验


在大数据实验平台2.1版本的基础上,大数据实验平台(金融版)进一步丰富了实验内容。除了具备多节点的Spark集群实验之外,还具备数据挖掘和数据分析的R语言和Python的金融案例实验,涵盖新浪股票数据、股票数据的预处理和分析、时间序列分析、对英国房屋价格建模并预测、航空燃油的交叉对冲、多元线性回归研究我国经济增长、金融风险管理、夏普比率与最大回撤和最大回撤时间、最优风险资产组合、预测股票走势等。具体实验如下:

1.R语言实验:分析新浪股票数据

2.R语言实验:股票数据抓取与分析 (一)

3.R语言实验:股票数据抓取与分析 (二)

4.R语言实验:时间序列分析-ARIMA模型(一)

5.R语言实验:时间序列分析-指数平滑模型(二)

6.R语言实验:对英国房屋价格建模并预测

7.R语言实验:航空燃油的交叉对冲

8.R语言实验:多元线性回归研究我国经济增长

9.R语言实验:金融风险管理:VaR 和 ES

10.R语言实验:金融风险管理:Delta-normal方法计算 VaR 和 ES

11.R语言实验:金融风险管理:历史模拟法、蒙特卡罗模拟法计算 VaR 和 ES

12.R语言实验:金融风险管理:分位数回归法计算 VaR

13.R语言实验:分析股票指数的GARCH效应

14.R语言实验:建立VAR模型分析联合内生变量的动态关系(一)

15.R语言实验:建立VAR模型分析联合内生变量的动态关系(二)

16.Python实验:夏普比率与最大回撤和最大回撤时间

17.Python实验:最优风险资产组合(一)

18.Python实验:最优风险资产组合(二)

19.Python实验:预测股票走势

20.Python实验:基于CAPM模型的预期收益率与实际收益率

21.Python实验:航空公司客户价值分析

22.Python实验:漏电窃电用户行为分析与事件识别(一)

23.Python实验:漏电窃电用户行为分析与事件识别(二)

24.Python实验:电商产品评论数据情感分析

25.Python实验:实时中美货币转换

26.Python实验:利用层次聚类算法进行基于基站定位数据的商圈分析

27.Python实验:应用系统负载分析与磁盘容量预测(上)

28.Python实验:应用系统负载分析与磁盘容量预测(下)

29.Hadoop综合实战:推荐系统

30.Hadoop综合实战:贷款风险评估


实验涵盖金融大数据实战、数据挖掘等原理验证、综合应用、自主设计及创新的多层次实验内容,每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导,参照手册即可轻松完成每个实验。



大数据实验平台(金融版)实验清单

序号

实验名称

实验手册

实验代码

实验

数据

教学

视频

1

R语言实验:分析新浪股票数据


2

R语言实验:股票数据抓取与分析 (一)


3

R语言实验:股票数据抓取与分析 (二)


4

R语言实验:时间序列分析-ARIMA模型(一)


5

R语言实验:时间序列分析-指数平滑模型(二)


6

R语言实验:对英国房屋价格建模并预测


7

R语言实验:航空燃油的交叉对冲


8

R语言实验:多元线性回归研究我国经济增长


9

R语言实验:金融风险管理:VaR 和 ES


10

R语言实验:金融风险管理:Delta-normal方法计算 VaR 和 ES


11

R语言实验:金融风险管理:历史模拟法、蒙特卡罗模拟法计算 VaR 和 ES


12

R语言实验:金融风险管理:分位数回归法计算 VaR


13

R语言实验:分析股票指数的GARCH效应


14

R语言实验:建立VAR模型分析联合内生变量的动态关系(一)


15

R语言实验:建立VAR模型分析联合内生变量的动态关系(


16

Python实验:夏普比率与最大回撤和最大回撤时间


17

Python实验:最优风险资产组合(一)


18

Python实验:最优风险资产组合(二)


19

Python实验:预测股票走势


20

Python实验:基于CAPM模型的预期收益率与实际收益率


21

Python实验航空公司客户价值分析


22

Python实验:漏电窃电用户行为分析与事件识别(一)


23

Python实验漏电窃电用户行为分析与事件识别(


24

Python实验:电商产品评论数据情感分析


25

Python实验:实时中美货币转换


26

Python实验:利用层次聚类算法进行基于基站定位数据的商圈分析


27

Python实验:应用系统负载分析与磁盘容量预测(上)


28

Python实验:应用系统负载分析与磁盘容量预测(


29

Hadoop综合实战:推荐系统


30

Hadoop综合实战:贷款风险评估


1

大数据基本操作

2

HDFS实验:部署HDFS集群

3

HDFS实验:读写HDFS文件

4

YARN实验:部署YARN集群

5

MapReduce实验:单词计数

6

MapReduce实验:二次排序

7

MapReduce实验:计数器

8

MapReduce实验:join操作

9

MapReduce实验:分布式缓存

10

Hive实验:部署Hive

11

Hive实验:新建Hive表

12

Hive实验:Hive分区

13

Spark实验:部署Spark集群

14

Spark实验:SparkWordCount

15

Spark实验:RDD综合实验

16

Spark实验:Spark综例

17

Spark实验:Spark-sql

18

Spark实验:Spark Streaming

19

Spark实验:GraphX

20

Zookeeper实验:部署Zookeeper

21

Zookeeper实验:进程协作

22

HBase实验:部署HBase

23

HBase实验:新建HBase表

24

Storm实验:部署Storm

25

Storm实验:实时WordCountTopology

26

Flume实验:文件数据Flume至HDFS

27

Kafka实验:Kafka订阅推送示例

28

Pig实验:Pig版WordCount

29

Redis实验:Redis部署与简单使用

30

Redis实验:MapReduce与Spark读写Redis

31

MongoDB实验:读写MongoDB

32

LevelDB实验:读写LevelDB

33

Mahout实验:K-Means

34

聚类算法实验:使用Spark实现K-Means

35

分类算法实验:使用Spark实现SVM

36

关联规则算法实验:使用Spark实现FP-Growth

37

综合实战:车牌识别


38

综合实战:搜索引擎


39

综合实战:推荐系统


40

综合实战:环境大数据


41

综合实战:智能硬件大数据托管


42

综合实战:贷款风险评估


43

Python基础:流程控制


44

Python基础:列表和元组


45

Python基础:字典


46

Python基础:文件操作


47

Python MR:Python统计全国各省城市数量分布


48

Python MR:Python统计上海2016年每月历史天气


49

Python MR:Python统计上海2016年每月空气质量


50

Python MR:Python统计北京和上海2016年月均气温对比


51

Python MR:Python统计北京和上海2016年空气质量对比


52

Python算法:决策树分类


53

Python算法:随机森林分类


54

Python算法:朴素贝叶斯分类


55

Python算法:K最近邻分类


56

Python算法:支持向量机分类


57

Python算法:K-means聚类


58

Python算法:DBSCAN聚类


59

Python算法:回归分析


60

Python算法:Apriori关联规则


61

Python实战:随机森林分类空气质量


62

Python实战:区域经纬度聚类


63

Python实战:回归预测空气指数


64

R语言基础:流程控制


65

R语言基础:文件操作


66

R语言基础:数据帧


67

R语言基础:因子操作


68

R语言算法:决策树分类


69

R语言算法:随机森林分类


70

R语言算法:贝叶斯分类


71

R语言算法:KNN分类


72

R语言算法:SVM分类


73

R语言算法:K-means聚类


74

R语言算法:DBSCAN聚类


75

R语言算法:回归分析


76

R语言算法:Apriori关联规则实验


77

R语言算法:时间序列分析


78

R语言实战:回归预测空气指数


79

R语言实战:按月进行时间序列预测温度


80

R语言实战:区域经纬度聚类


81

R语言实战:随机森林分类空气质量


82

Linux基础:常用基本命令


83

Linux基础:文件操作


84

Linux基础:sed


85

Linux基础:awk


86

Python实战:爬取双色球开奖信息数据


87

Python实战:爬取电影信息


88

Python实战:爬取豆瓣图书信息


89

Python实战:爬取网络小说(1)


90

Python实战:爬取网络小说(2)


91

Spark综合实战:环境数据读写


92

Spark综合实战:GM11预测环境数据


93

Spark综合实战:词频统计


94

Spark综合实战:聚类算法学习


95

Spark综合实战:算子学习


96

Spark综合实战:特征提取


97

Spark综合实战:分类算法学习


98

Spark综合实战:日志分析


99

Spark综合实战:ALS算法推荐


100

Spark综合实战:中文分词



三、多元的大数据资源


平台同步提供由清华大学博士、南京大数据研究院院长、中国大数据应用联盟人工智能专家委员会主任刘鹏教授领衔的专业团队出版的《云计算》、《大数据》、《大数据实验手册》(《云计算》已经被多所高校采用,其被引用量居CNKI中国计算机类图书被引用量靠前),共同丰富了大数据实验平台(金融版)的课程资源。



同时,国内专业领域排名居前的网站——大数据世界(thebigdata.cn)、云计算世界(chinacloud.cn)等将提供配套PPT与前沿资源,让金融大数据学习变得更加轻松。



四、丰富的功能应用


1)集成考试系统

海量题库:提供分类标准题库,题库可自定义分类,可扩展试题

试卷生成:可按照设计难度目标自动生成试卷,包括单选题,简答题

在线考试:提供在线考试功能

辅助评分:部分题型试题(单选题)自动评分



2)集成数据挖掘及可视化工具

上传数据:用户上传数据集文件至平台(csv格式文件)

指定列表:点选指定待挖掘数据表列(多选)

选择算法:点选适用的数据挖掘算法(分类,聚类,决策树...)

数据展示:选择合适的数据展示方式(饼图,柱状图,散点图等)



五、优化的实验流程


创建环境:系统按照学生实验内容自动创建所需实验环境

实验操作:学生参照实验手册完成实验,并记录实验流程,生成实验报告

提交报告:学生提交报告,教师可根据实验报告提交情况,管理掌控实验进度

教师评分:教师根据学生实验报告内容的正确性、完整性和及时性打分



2016年末至今,在南京多次举办的大数据师资培训班,基于《大数据》、《大数据实验手册》以及云创大数据提供的大数据实验平台,帮助到场老师们跑通了Hadoop、Spark等多个大数据实验,使他们跨过了“从理论到实践,从知道到用过”的门槛,广受学员好评。



目前,郑州大学、成都理工大学、西北工业大学、金陵科技学院、重庆师范大学、西南大学、重庆文理学院、天津农学院、信阳师范学院、西京学院、郑州升达经贸管理学院、镇江高等职业技术学校、新疆电信、软通动力等典型用户单位已经成功应用云创提供的大数据实验平台,完成了大数据教学科研实验室的建设工作。



如果您的单位也需要大数据实验平台(金融版)开展相关方面的教学、科研,欢迎联系我们!


400-8855-360




点击“ ”报名参加2019全国高校大数据人工智能师资实战免费培训班(2期)
↓↓↓

注:本文系本站转载,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请与本站联系,我们将在第一时间删除内容!本文版权归原作者所有 内容为作者个人观点 本站只提供参考并不构成任何投资及应用建议。

关注我们

关注我们