智慧数据
智慧数据是在大数据发展背景下,为了应对海量、复杂数据带来的挑战而提出的概念,指通过数据治理、智能算法和语义处理等方式,将原始数据转化为具有高质量、可解释性和决策价值的数据。与大数据相比,智慧数据更强调数据的精准性、语义化、情境化和实用性,旨在支持科学研究、商业应用和公共治理中的智能化决策与创新。[1]
背景
[编辑]智慧数据的提出源于大数据时代对数据处理和应用的需求提升[1]。互联网、物联网和云计算等技术的普及带来全球数据的爆炸式增长,但传统的数据管理和分析方法难以有效利用这些庞杂的数据,导致数据价值未被充分挖掘[1]。人工智能、机器学习、知识图谱等技术推动了对大规模数据的清洗、优化和语义处理,使数据更易于决策应用[2]。医疗、金融、制造等领域在智能化转型过程中,对数据的精准度、实时性和可预测性要求不断提高[1]。智慧数据通过提升数据的质量和关联性,满足了智慧城市、智慧医疗等领域对高级数据支持的需求[1]。多国政府与国际组织推动数据治理与安全标准的制定,如ISO/IEC 38505与ISO/IEC 27001等,这些政策背景推动了智慧数据概念的进一步发展和应用[1]。
定义
[编辑]智慧数据具备自我描述机制和语义结构,通常以RDF三元组等形式存在,能够清晰表达内容的语义属性,并支持更高层次的推理和决策。智慧数据能够根据新的数据和上下文信息进行自我调整和优化,具备较强的可预测性,为不同情境下的预测和洞察提供支持。智慧数据强调数据要素的高质量和数据维度的多样性,通过整合多来源信息网络,提升数据的完整性、可靠性,并为分析提供更丰富的视角。[1]
从数据角度,智慧数据是经过筛选、优化和处理的原始数据,具备情境化、可认知、可预测和自描述等特性。它更适合用于高质量的分析和决策,能够直接应用于分析平台。[1]
从方法角度,智慧数据是集成多种技术和流程的数据处理方法。它是一种基于商业智能(BI)进化的战略性方法,通过数据整合和先进分析,为决策和行动提供有价值的见解。[1]
从资源角度,智慧数据是信息资源的高级编码和组织形态,具备高度结构化、语义化和关联化的特征,为新型研究范式提供高质量数据支持。在特定应用场景下,它形成了规模化、结构化和规范化的数据体系。[1]
从集合的角度,智慧数据是信息、知识和语义的集合体。它不再是简单的数据堆砌,而是从海量数据中识别和分离出的、能够针对特定问题提供相关且关键支持的小而有价值的信息集。[1]
与大数据的关系
[编辑]智慧数据与大数据密切相关但有所区别[1]。大数据侧重体量与多样性,智慧数据强调语义化、结构化和可操作性[3]。大数据需经过挖掘才能产生价值,而智慧数据则直接面向决策和应用[4]。大数据依赖于采集、存储与计算,智慧数据则结合人工智能、知识图谱、自然语言处理等技术实现深度分析与语义理解[5]。智慧数据被视为大数据发展的高级阶段[4]。
处理方法
[编辑]将普通数据转化为智慧数据需要一个复杂的过程,通常包括以下步骤[1]:
- 数据收集与预处理:从多源采集数据(如传感器、API、数据库),经清洗、转换与整合,提升准确性和一致性。
- 数据存储与管理:依托数据库或大数据平台,并实施数据加密和访问控制等安全措施,建立完善的数据治理框架,保障数据的机密性和完整性。
- 数据分析与语义处理:利用机器学习、数据挖掘等方法进行深度分析,同时通过领域本体等工具对数据进行语义标注和关联,增强数据的可理解性和可用性。
- 数据呈现与反馈优化:通过可视化工具展示结果,并根据用户反馈持续改进模型与流程,不断提升预测和分析的准确性。
应用与研究
[编辑]在实践应用上,更关注智慧数据的实际应用和商业价值,它被视为能够转化为企业洞察力的工具,用于解决具体业务问题、优化流程和提高运营效率[1][6]。
在数字政府领域,智慧数据被应用于经济调节、市场监管和社会管理等多个场景,以打破数据壁垒、提升政务效率[1]。2023年英国数据伦理与创新中心提出“智慧数据经济”,强调数据安全共享与跨行业合作[7];美国国土安全部则从可利用性角度定义智慧数据,认为智慧数据是独立于任何软件、应用程序、设备或网络但仍然可以被有效利用的数据,突出其独立性与灵活性[8]。
科学研究方面更注重智慧数据的长期管理和潜在价值,学界将智慧数据视为需要持续管理和优化的资产,并强调数据采集、处理、分析到应用的完整过程[1]。
参考文献
[编辑]- ^ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 加小双; 姚静, 张子桐. “智慧数据”术语定义及相关问题研究. 中国科技术语. 2025, 27 (2): 36–44 [2025-09-23]. doi:10.12339/j.issn.1673-8578.2025.02.005.
- ^ García-Gil, Diego; Luengo, Julián; García, Salvador; Herrera, Francisco. Enabling Smart Data: Noise filtering in Big Data classification. Information Sciences. 2019-04, 479: 135–152. doi:10.1016/j.ins.2018.12.002.
- ^ 王晓光; 侯西龙. 面向活化利用的文化遗产智慧数据建设论纲. 信息资源管理学报. 2023, 13 (5): 5–14,43 [2025-09-23]. doi:10.13365/j.jirm.2023.05.005.
- ^ 4.0 4.1 Matthews, Kayla. 6 Big Differences Between Big and Smart Data. Socialnomics. 2019-09-30 [2025-09-23].
- ^ 张云中; 刘嘉琳. 智慧数据研究综述:概念辨析、价值取向、关键技术与应用框架. 图书情报工作. 2021, 65 (10): 141–150 [2025-09-23]. doi:10.13266/j.issn.0252-3116.2021.10.014.
- ^ Iafrate, Fernando. From Big Data to Smart Data. Wiley. 2015: 13–20. ISBN 978-1-84821-755-3 (英语).
- ^ Creating a smart data economy. GOV.UK. 2024-04-18 [2025-09-23] (英语).
- ^ Phil Goldstein. Feds Need to Turn Big Data into ‘Smart Data,’ DHS Official Says. FedTech. 2016-12-16 (英语).