Copula熵：理论和应用

• 作者： 马健 ¹
• 作者单位：
  1.  日立中国研究院
• 通讯作者： 马健  Email:majian1979@qq.com
• 提交时间：2023-11-29

摘要: 统计独立性是统计学和机器学习领域的基础性概念，如何表示和度量统计独立性是该领域的基本问题。Copula理论提供了统计相关关系表示的理论工具，而Copula熵理论则给出了度量统计独立性的概念工具。本文综述了Copula熵的理论和应用，概述了其基本概念定义、定理和性质，以及估计方法。介绍了Copula熵研究的最新进展，包括其在统计学的九个基本问题（结构学习、关联发现、变量选择、因果发现、系统辨识、时延估计、域自适应、正态性检验和双样本检验等）上的理论应用。讨论了前四个理论应用之间的关系，以及其对应的深层次的相关性和因果性概念之间的联系，并将Copula熵的（条件）独立性度量框架与基于核函数和距离相关的同类框架进行了理论对比，又通过仿真和实际数据实验评估验证了Copula熵的实际优越性。简述了Copula熵在理论物理学、天体物理学、理论化学、化学信息学、材料学、水文学、气候学、气象学、环境学、生态学、动物形态学、农学、认知神经学、运动神经学、计算神经学、心理学、系统生物学、生物信息学、临床诊断学、老年医学、精神病学、公共卫生学、经济学、管理学、社会学、教育学、计算语言学、新闻传播学、法学、政治学、军事学、情报学，以及能源工程、食品工程、土木建筑、交通运输、制造工程、可靠性工程、化学工程、航空航天、车辆工程、电子工程、通信工程、高性能计算、测绘遥感和金融工程等领域的实际应用。

Abstract: Statistical independence is a core concept in statistics and machine learning. Representing and measuring independence are of fundamental importance in related fields. Copula theory provides the tool for representing statistical independence, while Copula Entropy (CE) presents the tool for measuring statistical independence. This paper first introduces the theory of CE, including its definition, theorem, properties, and estimation method. The theoretical applications of CE to structure learning, association discovery, variable selection, causal discovery, system identification, time lag estimation, domain adaptation, multivariate normality test, and two-sample test are reviewed. The relationships between the former four applications and their connection to correlation and causality are discussed. The frameworks based on CE, the kernel method, and distance correlation for measuring statistical independence and conditional independence are compared. The advantage of CE over other independence and conditional independence measures is evaluated. The applications of CE in theoretical physics, astrophysics, theoretical chemistry, cheminformatics, materials science, hydrology, climatology, meteorology, environmental science, ecology, animal morphology, agronomy, cognitive neuroscience, motor neuroscience, computational neuroscience, psychology, system biology, bioinformatics, clinical diagnostics, geriatrics, psychiatry, public health, economics, management, sociology, pedagogy, computational linguistics, mass media, law, political science, military science, informatics, energy, food engineering, architecture, civil engineering, transportation, manufacturing, reliability, chemical engineering, aeronautics and astronautics, automobile, electronics, communication, high performance computing, remote sensing, and finance are briefly introduced.

• 来自： 马健
• 分类： 数学 >> 统计和概率 统计学 >> 数理统计学 信息科学与系统科学 >> 信息科学与系统科学基础学科
• 投稿状态： 未投稿
• 引用： ChinaXiv:202105.00070 (或此版本 ChinaXiv:202105.00070V17)
  DOI:10.12074/202105.00070V17
  CSTR:32003.36.ChinaXiv.202105.00070.V17
• 推荐引用方式： 马健.(2023).Copula熵：理论和应用.null.doi:10.12074/202105.00070V17 (点此复制)