《大数据技能原理与运用(第2版)》教材官网 发布时间:2021-12-03 23:18:55 来源:168体育直播平台下载


  林子雨,男,1978年出世,博士,现为厦门大学核算机科学系副教授,曾任厦门大学信息科学与技能学院院长助理、晋江市打开和变革局副局长。现为我国核算机学会数据库专业委员会委员,我国核算机学会信息无忧无虑专业委员会委员,厦门市核算机学会理事。我国高校首个“数字教师”提出者和堵塞者,厦门大学数据库试验室负责人,厦门大学云核算与大数据研讨中心首要堵塞者和骨干成员。于2001年取得福州大学水利水电专业学士学位,2005年取得厦门大学核算机专业硕士学位,2009年取得北京大学核算机专业博士学位。首要研讨方向为数据库、数据仓库、数据发掘、大数据、云核算和物联网,并以榜首作者身份在《软件学报》《核算机学报》和《核算机研讨与打开》等国家要点期刊以及世界学术会议上宣布多篇学术论文。作为项目负责人掌管的科研项目包含1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中心高校根本科研业务费项目(No.2011121049)。

  高校大数据课程公共服务渠道,由我国高校首个“数字教师”的提出者和堵塞者——林子雨教师主张,由厦门大学数据库试验室全力打造,由厦门大学云核算与大数据研讨中心、海峡云核算与大数据运用研讨中心携手共建。渠道从2013年5月开端堵塞,2015年8月1日完结1号工程(教材出书),2015年11月2日,渠道正式上线。这是国内榜首个服务于高校大数据课程堵塞的公共服务渠道,旨在促进国内高校大数据课程无忧无虑堵塞,前进大数据课程教育水平,下降大数据课程学习门槛,前进学生课程学习效果。

  渠道要点打造“13个1工程”,即1本教材(含官网)、1个教师服务站、1个学生服务站、1个公益项目、1堂巡讲公开课、1个演示班级、1门在线个沟通群(QQ群、微信群)、1个保证团队、1个训练沟通基地、1个试验渠道、1个课程群和1个微信大众号。

  高校大数据课程公共服务渠道,是一个敞开的渠道,不断前进前进的渠道,热忱欢迎国内高校酷爱大数据教育的开辟创新者参加渠道,为渠道堵塞添砖加瓦,一起推进我国高校大数据教育作业不断迈上新的台阶。

  (1) 概念篇:介绍其时严密相关的最新IT范畴技能云核算、大数据和物联网。(2) 大数据存储篇:介绍分布式数据存储的概念、原理和技能,包含HDFS、HBase、NoSQL数据库、云数据库。(3) 大数据处理与剖析篇:介绍MapReduce分布式编程结构、依据内存的分布式核算结构Spark、图核算、流核算。(4) 大数据运用篇:介绍依据大数据技能的引荐无忧无虑。

  本书无忧无虑介绍了大数据相关常识,全书共有15章,无忧无虑地论说了大数据的根本概念、大数据处理架构Hadoop、分布式文件无忧无虑HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、依据内存的分布式核算结构Spark、流核算、图核算、数据可视化以及大数据在互联网、生物医学和物流等各个范畴的运用。在Hadoop、HDFS、HBase、MapReduce和Spark等重要章节,组织了入门级的实践操作,让读者更好地学习和把握大数据要害技能。

  本书能够作为高等院校核算机专业、信息办理等相关专业的大数据课程教材,也可供相关技能人员参阅、学习、训练之用。

  大数据作为继云核算、物联网之后IT职业又一颠覆性的技能,备受重视。大数据无处不在,包含金融、轿车、零售、餐饮、电信、动力、政务、医疗、体育、文娱等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和日子必将发生严重而深远的影响。

  大数据年代的到来,迫切需求高校及时树立大数据技能课程无忧无虑,为社会培育和运送一大批具有大数据专业素质的高级人才,满意社会对大数据人才日益旺盛的需求。本书定位为大数据技能入门教材,为读者搭建起通向“大数据常识空间”的桥梁和枢纽。本书将无忧无虑整理总结大数据相关技能,介绍大数据技能的根本原理和大数据首要运用,协助读者形成对大数据常识无忧无虑及其运用范畴的概括性知道,为读者在大数据范畴“深耕细作”奠定根底、指明方向。在本书的根底上,感兴趣的读者能够经过其他比如《Hadoop威望攻略》等东西书,继续深化学习和实践大数据相关技能。

  本书紧紧环绕“构建常识无忧无虑、说明根本原理、引导初级实践、了解相关运用”的指导思想,对大数据常识无忧无虑进行无忧无虑整理,做到“有序组织、沙里淘金、由浅入深、逐步打开”。本书共分四大部分,包含大数据根底篇、大数据存储篇、大数据处理与剖析篇和大数据运用篇。在大数据根底篇中,榜首章介绍大数据的根本概念和运用范畴,并论述大数据、云核算和物联网的相互联络;第二章介绍大数据处理架构Hadoop,因为Hadoop现已成为运用最为广泛的大数据技能,因而,本书的大数据相关技能首要环绕Hadoop打开,包含Hadoop MapReduce、HDFS和HBase,因而,该章是后边其他章节(第三、四、七章)内容的根底。在大数据存储篇中,用五个章节(第三、四、五、六章)的内容,别离介绍了大数据存储相关技能的概念与原理,包含分布式文件无忧无虑HDFS、分布式数据库HBase、NoSQL数据库和云数据库。在大数据处理与剖析篇,首先在第七章介绍了大数据处理和剖析的中心技能——分布式并行编程模型MapReduce,然后,在第八章和第九章别离介绍了大数据年代两种新式的数据剖析技能——流核算和图核算,最终在第十章简略介绍了可视化技能。在大数据运用篇,用三章(第十一、十二、十三)内容介绍了大数据在互联网、生物医学和物流等各个范畴的典型运用。

  本书面向高校核算机专业和信息办理等相关专业的学生,能够作为专业必修课或选修课教材。在教育进程中,主张组织32个授课学时,16个教育周,每周2学时,每个章节的详细学时分配如下:榜首、二、五、六、八、十、十一每个章节组织2个学时;第三、四、九章每个章节组织4个学时;第七章组织6个学时;第十二、十三章这两章内容由学生自学完结。

  本书由林子雨执笔。在编撰进程中,厦门大学核算机科学系硕士研讨生刘颖杰、叶林宝、蔡珉星、李雨倩、谢荣东、罗道文以及本科生黄梓铭、李粲等同学做了许多辅佐性作业,在此,向这些同学的辛勤作业表明诚心的感谢。

  本书在编撰进程中,我参阅了许多国内外教材、专著、论文和材料,对大数据常识进行了无忧无虑整理,有挑选性地把一些重要常识归入本书。本书也是我多年在数据科学范畴从事教育、科研、工业方面作业的无忧无虑总结。可是,自己孤陋寡闻,不免有许多缺乏之处,望学术同仁不吝赐教。

  《大数据技能原理与运用》第1版于2015年8月出书,尽管距今仅有一年左右的时刻,可是,在曩昔一年里,大数据技能打开迅猛,比如Spark等新技能敏捷兴起,开端改动Hadoop鹤立鸡群的商场格局。因而,咱们及时对第1版内容进行了补偿和修正,以习惯大数据技能的快速打开,坚持本书的先进性和实用性。

  本书仍然沿袭第1版的浑然一体规划,共分四大部分,包含大数据根底篇、大数据存储与办理篇、大数据处理与剖析篇和大数据运用篇。在大数据根底篇中,第1章介绍大数据的根本概念和运用范畴,并论述大数据、云核算和物联网的相互联络;第2章介绍大数据处理架构Hadoop,并补偿介绍了Hadoop版别演化。在大数据存储与办理篇中,第3章介绍了分布式文件无忧无虑HDFS,在编程实践部分依据最新版别的API进行了修订;第4章介绍了分布式数据库HBase,在编程实践部分依据最新版别的API进行了修订;第5章介绍了NoSQL数据库;第6章介绍了云数据库。在大数据处理与剖析篇,首先在第7章介绍了分布式并行编程模型MapReduce,然后,在新增的第8章中对Hadoop进行了再讨论,介绍了Hadoop的打开演化和一些新特性,并在新增的第9章中介绍了其时比较抢手的、依据内存的分布式核算结构Spark,接下来,在第10章和第11章别离介绍了两种典型的大数据剖析技能——流核算和图核算,最终在第12章简略介绍了可视化技能。在大数据运用篇,用3章(第13章~第15章)内容介绍了大数据在互联网、生物医学和物流等范畴的典型运用。

  本书第1版于2015年8月出书后,厦门大学数据库试验室堵塞了与本书配套的“我国高校大数据课程公共服务渠道”(),为教师教育和学生学习大数据课程供给讲义PPT、学习攻略、备课攻略、上机习题、试验攻略、技能材料、授课视频等全方位、一站式免费服务,并供给面向全国高校的大数据试验渠道堵塞方案和大数据课程师资训练服务。

  本书现已作为厦门大学核算机科学系大数据课程教材,依据近几年教育实践,主张组织32学时理论课,16个教育周,每周2学时。每章的详细学时分配如下:第1、3、4、5、6、8、10、11、12、13章每章组织2学时;第2、7、9章每章组织4学时;第14、15章这两章内容由学生自学完结。关于现已堵塞大数据教育试验室的高校,能够添加16学时上机实践课,分红4次上机课,每次接连4节课,“我国高校大数据课程公共服务渠道”的“教师服务站”为本书供给了配套的上机试验攻略。

  本书第1版出书后,笔者收到了许多的读者来信,对本书提出了许多名贵的改善定见和主张,这儿表明诚心的感谢。一起,笔者举办了多期全国高校大数据课程教师训练沟通班和全国高校大数据教育论坛,打开了全国高校大数据公开课巡讲方案与辅佐国内高校开设大数据课程公益项目,树立了大数据课程教师沟通群,与全国高校大数据课程教师进行了广泛的触摸、沟通和沟通,更好地了解了其时国内高校大数据教育打开需求和前进方向,这也为本书第2版编撰奠定了很好的根底。这儿向参加沟通的全国高校大数据课程教师表明诚心的感谢!

  本书由林子雨执笔。在编撰第2版进程中,厦门大学核算机科学系硕士研讨生蔡珉星、李雨倩、谢荣东、罗道文、邓少军、阮榕城、薛倩、魏亮、曾冠华等做了许多辅佐性作业,在此,向这些同学的辛勤作业表明诚心的感谢。

  大数据技能打开一日千里,在往后的作业中,笔者以及厦门大学数据库试验室会继续盯梢大数据技能打开趋势,把大数据最新技能和本书相关补偿材料及时发布到“我国高校大数据课程公共服务渠道”,便利本书读者经过网络及时免费获取相关信息。因为笔者才能有限,本书不免存在缺乏之处,望广阔读者不吝赐教。

  本篇内容介绍大数据(Big Data)的根本概念、影响和运用范畴,并论述大数据、云核算和物联网的相互联络,一起还将介绍大数据处理架构Hadoop。因为Hadoop现已成为运用最为广泛的大数据技能,因而,本书的大数据相关技能首要环绕Hadoop打开,包含Hadoop MapReduce、HDFS和HBase。本篇内容是了解后续其他浑然一体内容的根底。

  本篇包含2章。榜首章介绍大数据的概念和运用,剖析了大数据、云核算和物联网的相互联络;第二章介绍大数据处理架构Hadoop。

  本篇介绍大数据存储相关技能的概念与原理,包含分布式文件无忧无虑HDFS、分布式数据库HBase、NoSQL数据库和云数据库。HDFS供给了在廉价服务器集群中进行大规模分布式文件存储的才能。HBase是一个高牢靠、高功用、面向列、可弹性的分布式数据库,首要用来存储非结构化和半结构化的松懈数据。NoSQL数据库能够支撑超大规模数据存储,灵敏的数据模型能够很好地支撑Web2.0运用,具有强壮的横向扩展才能,能够有用补偿传统联络型数据库的缺乏。云数据库是布置和虚拟化在云核算环境中的数据库,能够将用户从繁琐的数据库硬件定制中解放出来,一起让用户具有强壮的数据库扩展才能,满意各种不同类型用户的数据存储需求。需求特别指出的是,尽管云数据库在概念上更倾向于云核算的范畴,可是,云核算和大数据是密不可分的两种技能,不能镇定自若看待,并且,了解云数据库有助于拓宽对大数据存储和办理方法的知道,因而,本篇内容介绍了云数据库的概念和相关产品。

  本篇包含4章。第三章介绍分布式文件无忧无虑HDFS;第四章介绍分布式数据库HBase;第五章介绍NoSQL数据库;第六章介绍云数据库。

  本篇介绍大数据处理与剖析的相关技能。大数据包含静态数据和动态数据(流数据),静态数据合适选用批处理方法,动态数据需求进行实时核算。分布式并行编程结构MapReduce能够大幅前进程序功用,完成高效的批量数据处理。依据内存的分布式核算结构Spark,是一个可运用于大规模数据处理的快速、通用引擎,如今是Apache软件基金会下的尖端开源项目之一,正以其结构一体化、功用多元化的优势,逐步成为当今大数据范畴最抢手的大数据核算渠道。流核算结构Storm是一个低推迟、可扩展、高牢靠的处理引擎,能够有用处理流数据的实时核算问题。大数据中包含许多图结构数据,可是,MapReduce不合适用来处理大规模图核算问题,因而,新的图核算结构应运而生,Pregel便是其间一种具有代表性的产品。此外,数据可视化是大数据剖析的最终环节,也是十分要害的一环,因而,本篇将扼要介绍数据可视化的概念和相关东西。

  本篇包含6章。第7章介绍分布式并行编程结构MapReduce;第8章对Hadoop进行了再讨论;第9章介绍了依据内存的分布式核算结构Spark;第10章介绍开源流核算结构Storm;第11章介绍图核算结构Pregel;第12章扼要介绍数据可视化的概念和相关东西。

  大数据现已在社会生产和日常日子中得到了广泛的运用,对人类社会的打开前进起着重要的推进效果。本篇内容介绍大数据在互联网、生物医学、物流、城市办理、金融、轿车、零售、餐饮、电信、动力、体育文娱、安全、政府、日常日子等方面的运用,从中咱们能够深刻地感遭到大数据对社会的影响及其重要价值。

  本篇包含3章。第13章以引荐无忧无虑为中心介绍大数据在互联网范畴的运用;第14章介绍大数据在生物医学范畴的运用;第15章介绍大数据在其他范畴的运用。其间,第13章需求要点了解,其他章节能够作为开辟视界的拓宽性阅览材料。

  2015年8月1日出书发行的《大数据技能原理与运用》教材(第1版)共13章,针对2015、2016年大数据技能的新打开,2016年林子雨教师为第1版教材新增了三个章节,新增第14章依据Hadoop的数据仓库Hive、第15章Hadoop架构再讨论、第16章Spark。请在下面链接中下载新增章节的PDF格局的电子书。

  a讲义PPT下载请点击这儿下载厦门大学林子雨编著《大数据技能原理与运用》教材配套讲义PPT。能够下载到2015年8月出书的第1版教材和2017年1月出书的第2版教材配套的讲义PPT。

  教材编写进程林子雨在数据库、数据仓库、数据发掘、大数据、云核算和物联网等范畴有着十多年的常识堆集,对各个范畴常识都有比较深化的了解,在政府发改部分的两年挂职期间对许多企业的调研,使其形成了比较广泛的视界和对工业的深化了解。

  2013年9月,由林子雨主讲的厦门大学核算机科学系研讨生课程《大数据技能根底》正式开课。因为其时国内没有呈现合适本科和研讨生教育的大数据专业教材,林子雨结合本身研讨成果,并调研许多网络材料,历时半年编写完结了免费开源的课程讲义,发布到网络上,遭到广阔网友好评。

  2014年开端,历时一年多时刻,林子雨无忧无虑总结理论研讨成果和教育实践经验,将相关大数据常识综组成一本合适本科和研讨生教育的教材——《大数据技能原理与运用》。该教材由人民邮电出书社出书发行,2015年8月正式在当当、京东、淘宝、亚马逊等各大网店上架出售,并成为热销书本。近几年的教育实践证明,目前商场已有的各类其他书本,大都偏于技能,比较合适作为深化学习的东西书来运用,不合适作为高校本科和研讨生教育的教材。高校教育应愈加偏重理论层面的教育,即对大数据范畴常识无忧无虑的遍及和背面原理的论述,而非让学生深化学习和实践某一种大数据技能。从这个视点来说,《大数据技能原理与运用》是国内高校榜首本无忧无虑介绍大数据常识的专业教材,也是榜首本合适用于本科和研讨生教育的入门级教材。

  a教育实践本教材源自林子雨教师在厦门大学核算机系的多年教育实践,从2013年开端现已运用于厦门大学核算机系研讨生课程《大数据技能根底》和厦门大学本科生课程《大数据技能原理与运用》的实践教育,遭到学生的欢迎!点击这儿拜访《大数据技能根底》2013班级主页。

  大数据技能原理,包含Hadoop,HDFS,HBase,MapReduce,NoSQL数据库、云数据库、流核算、图核算、Zookeeper、Google Spanner、Google Dremel等

  大数据技能原理与运用,包含Hadoop,HDFS,HBase,MapReduce,NoSQL数据库、云数据库、流核算、图核算、数据可视化、引荐无忧无虑、大数据在各个范畴的运用等

  大数据技能原理与运用,包含Hadoop,HDFS,HBase,MapReduce,NoSQL数据库、云数据库、流核算、图核算、数据可视化、引荐无忧无虑、大数据在各个范畴的运用等

  a教材订正注:在教材运用进程中,如发现任何过错,欢迎联络教材作者林子雨:在此向读者表明诚心的感谢!

  a本书读者感谢读者对本书的重视和批评指正,相关反应定见将在后续版别中加以改善,检查读者名单。

  a称谢本书由林子雨执笔。在编撰进程中,厦门大学核算机科学系硕士研讨生刘颖杰(2012级硕士研讨生)、叶林宝(2012级硕士研讨生)、蔡珉星(2013级硕士研讨生)、李雨倩(女,2013级硕士研讨生)、谢荣东(2014级硕士研讨生)、罗道文(2014级硕士研讨生)、邓少军(2014级硕士研讨生)、阮榕城(2015级硕士研讨生)、薛倩(2015级硕士研讨生)、魏亮(2016级硕士研讨生)、曾冠华(2016级硕士研讨生)以及本科生黄梓铭(2011级本科生)、李粲(女,2012级本科生)等同学做了许多辅佐性作业,在此,向这些同学的辛勤作业表明诚心的感谢。

  (图 2015年11月30日在北京人民邮电出书社合影  吴婷(本书修改)、林子雨、潘春燕(高教出书分社社长)、邹文波(信息技能修改部主任))

上一篇:2019版大数据学习路线图(含纲要+视频+东西+教材+面试) 下一篇:正式签约!国家级中心落户万州!