搜索结果: 1-4 共查到“知识库 信息与通信工程 MapReduce”相关记录4条 . 查询时间(0.037 秒)
针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用MapReduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心的距离并标记其属于的聚类;指派Reducer分任务计算同一聚类中的记录数量num和属性向量之和sum,并利用Laplace机制产生的噪声扰动num和sum...
温度感知的MapReduce节能任务调度策略
绿色计算 MapReduce 任务调度 温度感知
2016/1/27
现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等MapReduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对TaskTracker当前温度状态的考虑。实验表明,当TaskTracker处于高温状态时,一方面使CPU利用率变高,导致节点能耗增大,任...
基于MapReduce的高铁噪声数据预处理算法研究
噪声 MapReduce 高速铁路 传感器采集
2011/7/5
随着高速铁路的快速发展,安全问题受到越来越多的关注,传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关。随着数据集的增大,数据处理的效率显得尤为重要,目前还无法高效地处理海量的高铁噪声数据。利用并行计算的思想,提出一种基于MapReduce的海量高铁噪声数据预处理算法。在Hadoop平台上进行实验分析,证明该算法可以有效地提高海量噪声数据预处理的效率。