东南大学物联网交通应用研究中心
东南大学物联网应用研究中心
北京时间:
中心大数据平台简介&基于Python的机器学习入门方法
2017-09-29 18:23   作者:洪阳   来源:   浏览:969

为了提高中心学生的科研学术水平,加强老师学生之间的交流讨论,东南大学物联网交通应用研究中心每周由老师或学生做一次学术汇报。


汇报人:杨帆老师

汇报题目:中心大数据平台简介&基于Python的机器学习入门方法


  

  在交通领域,大数据一直被视作缓解交通压力的技术利器。应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因,实现交通和生活的和谐,提高城市的宜居性,为政府精准管理提供基于数据证据的综合决策。移动大数据在交通领域的应用也是东南大学物联网应用研究中心的主要研究方向之一。在本周的学术交流中,杨帆老师向大家介绍了大数据处理基本思想与机器学习方法,向中心新成员介绍了中心现有的大数据处理平台与拥有的数据,并以Python为例为大家介绍了机器学习入门方法。

  首先,杨帆老师向大家解析了大数据分析处理架构图。大数据分析处理可以分为四个层次:数据来源层、存储计算层、数据分析层、数据表现层。存储计算层将数据来源层的数据进行处理,其主要处理平台有分布式文件系统HDFS、实时计算Spark、并行计算MapReduce等。而存储计算层的结果经过与应用学科更相关的数据分析层来得出分析结果,再由数据表现层展示出来。目前中心在大数据方面的主要研究处于存储计算层,例如由移动大数据经过多步运算分析出人口出行数据、通道流量数据等。

  随后,杨帆老师向大家展示了中心基于HadoopSpark的大数据平台。中心大数据平台自建立以来,通过相关科研项目,程序代码已成体系,且已得出较多计算成果。

  最后,杨帆老师介绍了机器学习的相关知识。机器学习根据学习方式的不同可分为监督式学习、非监督式学习与半监督式学习,根据算法的功能可分为回归算法与聚类算法等。使用机器学习可以对中心现有大数据平台的结果进一步进行分析,得出专业化的结果。机器学习常用的计算机语言有PythonJavaR语言、MATLAB等,杨帆老师针对Python语言对机器学习的学习提出了相关建议:熟悉Pythonnumpypandasscikit-learn等包。

  本次交流学习是新学年以来中心第一次全体学习交流活动,中心新成员们对大数据处理展现出了浓厚的兴趣,后续中心也会对大数据相关知识进行进一步交流学习与培训。

东南大学 东南大学交通学院 清华大学 同济大学 西南交通大学 北京航空航天大学 上海交通大学 浙江大学
University of Wisconsin - Madison University of Michigan Rensselaer Polytechnic Institute Santa Clara University Rutgers University
交通运输部路网监测与应急处置中心 江苏省交通运输厅 南京智库联盟 江苏交通控股有限公司 江苏高速公路联网营运管理有限公司
中心概况研究动态新闻中心合作交流加入我们
Copyright © 2015 东南大学物联网交通应用研究中心 All Rights Reserved.