.png){kind=icon}
返回
Sampling for computational efficiency when conducting analyses in big data
.png){kind=icon}
OA
AI
DOI：10.1093/aje/kwaf268.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大数据研究的挑战在于分析的固有计算强度，尤其是在使用严格方法处理偏差时。我们演示了在大数据中使用抽样方法以更少资源估计参数。我们的研究动机是，使用近3000万医疗补助受益者队列，探讨肺癌发病率是否因基线HIV状态而异。我们针对三个参数（附有列出的估计量）：发病率比（IRR，泊松模型）、HR（Cox模型）和风险比（RR，Kaplan–Meier）。我们使用逆概率加权控制混杂因素。我们使用全样本和几种抽样方案进行分析：分合抽样（10、20、50个样本）、亚队列和病例队列。我们比较了点估计值、标准误、计算时间和内存使用量。在180,980名HIV感染者中观察到1,113例新发肺癌诊断，在29,179,940名非HIV感染者中观察到33,106例诊断。各目标参数的结果相似。亚队列和病例队列方法的估计值更接近全样本，且比分合抽样更快、内存占用更少，尤其是在估计风险比时。在病例队列中包含未抽样的病例，相对于亚队列方法，导致计算时间和内存增加。
Keyword:
Big data
Sampling methods
Computational efficiency
Bias correction
Parameter estimation
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
4.8
论文数:
10.0K
被引数:
3.7W
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容