大数据技术原理与应用

概述

本书系统介绍了大数据相关知识，全书共有13章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。

本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。

前言

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。

大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助读者形成对大数据知识体系及其应用领域的轮廓性认识，为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上，感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书，继续深入学习和实践大数据相关技术。

本书紧紧围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，对大数据知识体系进行系统梳理，做到“有序组织、去粗取精、由浅入深、渐次展开”。本书共分四大部分，包括大数据基础篇、大数据存储篇、大数据处理与分析篇和大数据应用篇。在大数据基础篇中，第一章介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系；第二章介绍大数据处理架构Hadoop，由于Hadoop已经成为应用最为广泛的大数据技术，因此，本书的大数据相关技术主要围绕Hadoop展开，包括Hadoop MapReduce、HDFS和HBase，因此，该章是后面其他章节（第三、四、七章）内容的基础。在大数据存储篇中，用五个章节（第三、四、五、六章）的内容，分别介绍了大数据存储相关技术的概念与原理，包括分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库和云数据库。在大数据处理与分析篇，首先在第七章介绍了大数据处理和分析的核心技术——分布式并行编程模型MapReduce，然后，在第八章和第九章分别介绍了大数据时代两种新兴的数据分析技术——流计算和图计算，最后在第十章简单介绍了可视化技术。在大数据应用篇，用三章（第十一、十二、十三）内容介绍了大数据在互联网、生物医学和物流等各个领域的典型应用。

本书面向高校计算机专业和信息管理等相关专业的学生，可以作为专业必修课或选修课教材。在教学过程中，建议安排32个授课学时，16个教学周，每周2学时，每个章节的具体学时分配如下：第一、二、五、六、八、十、十一每个章节安排2个学时；第三、四、九章每个章节安排4个学时；第七章安排6个学时；第十二、十三章这两章内容由学生自学完成。

本书由林子雨执笔。在撰写过程中，厦门大学计算机科学系硕士研究生刘颖杰、叶林宝、蔡珉星、李雨倩、谢荣东、罗道文以及本科生黄梓铭、李粲等同学做了大量辅助性工作，在此，向这些同学的辛勤工作表示衷心的感谢。

本书官方网站，提供教学PPT和相关资料下载，并接受错误反馈和发布教材勘误信息。

本书在撰写过程中，我参考了大量国内外教材、专著、论文和资料，对大数据知识进行了系统梳理，有选择性地把一些重要知识纳入本书。本书也是我多年在数据科学领域从事教学、科研、产业方面工作的系统总结。但是，本人才疏学浅，难免有许多不足之处，望学术同仁不吝赐教。

厦门大学计算机科学系数据库实验室

林子雨

2015年3月，于厦门

参考资料

[1] 豆瓣 · 豆瓣[引用日期2021-09-01]