所有栏目
20

空间数据智能技术发展及应用分析一

2024/7/17

  作为一门空间数据驱动的多学科交叉研究领域,空间数据智能正随着技术发展和空间数据的增长变得越来越重要。本文首先介绍了空间数据智能的概念与最新趋势,并讨论了其面临的包括数据感知与存储、数据挖掘、高精度地图、数据安全与数据隐私四个方面的技术挑战,以及空间数据智能所涉及的空间感知、时空数据库、时空数据挖掘、时空数据安全与隐私、边缘计算与雾计算、时空数据可视化等六类关键技术。其次,本文从科学研究、城市建设和产业发展三个方面讨论了我国在空间数据智能领域的发展现状。最后,本文对空间数据智能的具体应用场景进行了详细介绍。

  1、空间数据智能的概念

  空间数据指的是自然地理空间和人类活动空间所包含的人、物体、事件的信息。得益于空间感知手段的多样化发展,遍布海、陆、空的传感器和通信网络使得多种类型的地球空间数据能够被持续收集并实现数据传输,促进了空间数据的蓬勃增长。分布式系统、空间数据库引擎等数据存储技术的提升,使得收集到的海量空间数据得以大规模存储和管理。常见的空间数据包括卫星遥感数据、地图数据、地理空间统计数据、交通数据,以及携带位置信息的手机数据等。空间数据可以反映地物信息和社会经济环境特征,例如人的行为方式、城市的地理空间信息、土地的演变等信息,通过对海量空间数据的挖掘可以实现对人的行为模式的发现、对群体行为特征的表征及对地理过程的感知,并转换为实际应用,通过促进智能化服务和相关产业升级和发展,进而推动社会的进步。空间数据智能正是利用先进通信技术、人工智能方法、大数据分析、先进计算机技术等技术方法对空间数据进行智能感知、智能管理、智能分析及智能化应用的多学科交叉的研究领域(图1),空间数据智能涉及地理信息系统(GeographicInformationSystem,GIS)、遥感、人工智能、数据库等学科。如今,空间数据积累和持续的技术进步使得空间数据智能技术开始融入到社会发展的各个方面,成为推动经济发展的重要动力。在政策层面,我国在2015年就将大数据正式提升到国家战略地位,各地政府积极重视空间数据智能相关领域的发展,并发布政策对空间数据智能相关的产业进行支持和引导。伴随着物联网和5G技术的发展,空间数据智能的应用场景被进一步扩宽,诸如实时性要求高的场景也得以覆盖,为更加广泛的社会应用提供了支持。目前空间数据智能市场主要集中在地理信息系统、空间数据分析等方面。空间数据和云计算的可用性使得城市规划、国土规划、交通领域等对地理信息系统解决方案的需求正在逐步增加;空间数据智能技术在灾难救援、传染病管控、能源数字化转型、国土空间规划等方面都能发挥重要作用。

图1空间数据智能是多学科交叉的研究领域

2、空间数据智能的挑战

  在空间数据智能技术稳步发展,相关应用推动社会发展的同时,空间数据智能也面临着严峻的挑战,主要包括:数据感知与存储、数据挖掘、高精度地图、数据安全与数据隐私等方面(图2)。

  尽管当前传感器的种类和数量已经得到了长足的发展,但是如何进一步提高数据采集的质量,确保高质量数据的稳定采集,是空间数据智能在数据感知方面仍需研究的重要课题。在空间数据存储方面,如何将采集的多模态空间数据进行有效的融合处理是当前面临的一大难题。而随着越来越多的空间数据智能应用融入到社会生活,如何通过即时查询、查询构造等技术来提升时空数据库易用性,协助普通用户的决策,是空间数据智能领域在数据存储方面所面临的重要挑战。

  在数据挖掘方面,由于现有的多源异构空间数据存在数据质量差、价值密度低等问题,设计新一代的数据挖掘和人工智能算法用于解决数据质量、数据融合,并实现鲁棒的知识发现是空间数据智能领域需要解决的重要难题。此外,算法模型的可解释性也是一大挑战。现有基于机器学习的数据挖掘算法的可解释性差,提高空间数据分析结果的透明性和解释性,将对空间数据智能领域的发展起重要作用。

  空间数据服务往往需要精确的位置信息,但当前地图仍存在延迟高、精度低等问题。高精度、统一基准和实时稳定的地图将可以扩展空间数据智能服务的场景,提高服务质量,是空间数据智能进一步发展所需要解决的问题。

  空间数据智能离不开数据,数据安全和隐私保护始终是该领域的重要课题。空间数据往往涉及空间位置、时间等隐私信息,一旦不加以约束导致数据滥用等情况将会对国家安全造成损害,对公民的隐私造成侵犯,引起社会恐慌,也不利于空间数据智能的进一步发展。我国在2021年出台了《中华人民共和国数据安全法》填补了我国在数据安全保护方面的空白,也进一步体现了数据隐私保护的重要性和急迫性。另一方面,当前各个机构部门、企业之间存在的“数据孤岛”问题,也使得大多数产业的升级换代和智能化服务的提升进程受阻。打通数据孤岛,使得各个机构之间信息进行流通,形成统一标准,将有利于我国产业的数字化进程。因此,如何在数据隐私保护和数据利用两个方面进行取舍,做到在保护隐私的同时又能发挥数据的价值,这是当前空间数据智能持续发展所面临的严峻挑战。


图2空间数据智能的关键技术、挑战及应用

  3、空间数据智能的关键技术

  空间数据智能作为空间数据驱动的一个多学科交叉的领域,其主要关键技术包括:空间感知、时空数据库、时空数据挖掘、时空数据安全与数据隐私、边缘计算与雾计算、时空数据可视化等(图2)。

  空间数据感知依赖于各类传感器的感知和互联,通过各类部署在我们所生活的地球空间的各类感知器,可以实现对不同时间、不同地点的空间信息的获取。空间感知是我们感知物理空间、社会空间的重要来源,是研究和理解人与自然的复杂关系的基础。 随着科技的进步,空间感知技术也在持续发展。物联网的普及和发展使得人类对地球空间的感知的范围进一步扩展,实现更大范围的感知;大数据机器学习等技术使得采集自不同尺度空间的多源异构空间数据可以有效融合,并实现更为精准的空间感知;边缘计算技术则为智能终端在线感知和实时数据管理、分析和服务提供了重要支撑,提高了空间感知的时效性。

  空间感知获取得到的空间数据具有维度高、类型多、动态变化、更新快等特点,关系型数据库无法很好地处理此类型的数据,因此需要构建时空数据库进行数据存储。时空数据库负责管理各类空间数据,并为后续时空数据挖掘工作提供数据支持。根据空间数据的特点,时空数据库主要包含3类:空间数据库、时态数据库和移动对象数据库。空间数据库主要处理点、线、面等二维空间数据,时态数据库主要管理数据的时间属性,而移动数据库则管理位置随时间变化的空间对象。时空数据库的主要研究问题包括:数据质量、数据模型和查询语言、索引结构、查询处理和优化。数据质量指的是对含有错误、噪声、冗余数据、无效数据的原始数据进行质量检测、数据纠错和重构,并对数据质量进行评估,为后续数据分析及数据应用提供评价依据。针对空间数据所具有的时空特性,需要设计专门的数据模型,主要包括数据类型和运算操作的定义。为了提高后续数据分析的效率,时空数据库需要根据数据本身的特点设计索引结构,进行自然语言查询转换、时空查询处理及优化等操作。

  时空数据挖掘主要是通过运用空间信息的相关知识和新兴的人工智能方法对蕴含价值的空间数据进行分析,实现价值提取。

  时空数据挖掘的层次可以主要分为:(1)针对属性数据的挖掘,探索属性数据之间的关联性和差异性,并为之匹配合适的可视化技术将属性数据的挖掘结果展示出来;(2)以地理空间数据为操作的对象进行挖掘探索,即从地理空间数据库中挖掘时空系统中潜在的、有规律的、有价值的信息,包括时间特征、空间特征、时空联合模式与特征、空间与非空间数据之间的关联与差异信息等;(3)结合地理空间数据与属性数据的有机结合体作为操作对象挖掘,指的是从空间关系,时间关系,几何性质以及属性关系从特定任务,算法分析与建模规划等方面联合空间数据与属性数据联合挖掘以解决地理空间的实际问题。

  常见的时空数据挖掘方法有:(1)时空数据预处理方法,包括轨迹分段与压缩,地图及路网匹配,缺失补全等;(2)传统的时空统计方法,包括回归分析,判别分析,历史平均,自回归等方法;(3)机器学习方法,包括传统的机器学习算法:聚类算法、条件随机场等,以及前沿的机器学习方法:深度学习、强化学习、迁移学习、持续学习、对比学习和元学习等。

对于时空数据安全和数据隐私,在数据采集、数据处理和数据发布阶段均需要遵循数据安全和数据隐私保护等相关法律法规。在科学研究上,这三个阶段通常有着不同的隐私保护要求。数据采集阶段更加注重在保障用户的隐私保护的基础上,如何获取高质量的空间数据。数据处理阶段涉及大量原始数据,基于云端服务器的集中式处理方式给数据隐私带来了很大的隐患。因此,联邦学习框架所强调的数据不出本地的方式 为基于学习的空间数据挖掘带来了一种较好的解决方式,不过联邦学习带来的通信开销大、模型参数造成的隐私泄露等问题需要被进一步研究及解决。数据发布主要指发布数据或者发布处理好的算法模型,该阶段需要注重数据隐私和数据可用性之间的平衡,数据隐私保护方面一般会采用隐私保护的技术对发布的数据或者模型进行保护。此外,考虑到不同用户对自身隐私的敏感程度不同,在数据安全的法律允许的范围内,采用个性化的奖励方案激励不敏感的用户提供更加高质量的数据也是一种提高数据可用性和算法模型价值的可行方式。

  边缘计算与雾计算适用于对实时性要求高的场合,轻量化的资源管理框架和自主决策技术使得边缘设备可以支持实时的数据操作和服务的提供,满足多任务的资源需求。相比之下,基于云端的数据分析则更加适合大规模的数据处理场景,在需要兼顾时效性和精确性的场景下,则需要考虑云边协同机制,提供服务质量。

  时空数据可视化是空间数据分析与应用中的重要一环,主要是利用数据系统所提供的操作和相关计算,将时空数据转换成动态图表,用交互式视觉的方式来显示分析时空数据。基本步骤是通过数据预处理、提取重要地点、行程提取和行程检查,有效地支持分析人员理解移动行为和移动方式。时空数据可视化主要包括数字地图可视化,移动对象可视化,时空数据可视化查询和可视化系统。数字地图可视化主要通过将对象抽象为点、线、区域等几何元素在数字地图上显示,从而创建支持移动场景可视化、支持人类交互检查与解释的可视化工具。移动对象可视化主支持对移动对象进行聚类及可视化,可以为城市规划、交通运输、服务推荐等场景下提供重要的功能。时空数据可视化查询主要是允许对起点—目的地等时空数据的查询和浏览,可以协助使用人员进行数据行为的观察与分析。时空数据可视化系统一般至少包含三个组件:静态网页显示、数据交互、后端数据更新,且提供多种数据可视化方式,支持多种数据类型的存储和转换。

转载自中国科学基金第37卷第6期1039