起订:1
发货:1天内
（1）采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
（2）导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
（3）统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
（4）挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高层级数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。
房产测绘档案管理不同于一般意义上的档案管理，涉及开发企业和房屋业主个人隐私及信息安全。尽管房产测绘档案数字化管理是社会和经济发展的必然要求，但必须注意到，在推动实现房产测绘档案数字化管理过程中还存在许多急需解决的问题。
（一）房产测绘档案信息的保密性和安全性无法保证
在电子文档给人们生活、学习、工作、管理带来快捷、灵活、存储量大、易于传输、便于保管和修改等优点的同时，也带来不利于房产测绘档案信息安全保密等不利因素。如：病毒侵害、数据丢失、信息泄密、人为破坏等。
（二）房产测绘档案信息系统缺乏通用性和科学性
国家没有形成统一的房产测绘档案管理信息系统，各地甚至各部门都在研究开发适合本地区本部门的信息系统。由于层次、标准各不相同，使得系统的通用性较差，基础数据难以交换、难以共享，不能适应房产测绘档案信息资源共享的基本要求。
智慧档案馆
智慧档案馆借助物联网技术建立智能化档案信息服务平台，对档案实体信息和档案内容信息进行智能化识别、定位、跟踪监控和管理，智慧档案馆中的环境管理控制是基于物联网技术构建的，通过传感器的感知能力，实现对档案实体周围的温湿度、光线等信息的传感。智慧档案馆是是智能的、更是简单的，用户不用花很长的时间去查找、借阅档案，就可以轻松获取档案信息，档案环境可轻松实现智能化控制，档案管理人员也摆脱了复杂的档案借、还、盘点、查询等流程。
