搜索结果: 1-15 共查到“计算机科学技术 最近邻”相关记录64条 . 查询时间(0.059 秒)
基于LSH的高维大数据k近邻搜索算法
高维数据k近邻 局部敏感哈希 MapReduce 冲突计数排序
2015/10/13
局部敏感哈希(LSH)及其变体是解决高维数据k近邻(kNN)搜索的有效算法.但是,随着数据规模的日趋庞大,传统的集中式LSH算法结构已经不能够满足大数据时代的需求.本文分析传统LSH方案的不足之处,拓展AND-OR结构,提出通过索引而不比较原始数据直接实现高维大数据k近邻搜索算法C2SLSH.理论分析和实验证明,C2SLSH在分布式平台下具有稳定的可扩展性,在保证同等精确率的情况下,处理速度大约是...
基于压缩近邻的查重元数据去冗算法设计
重复数据删除 查重元数据 近邻压缩规则
2014/7/7
随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销。因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进一步提高重复数据删除效率和存储资源利用率的重要因素。针对查重元数据中存在大量冗余数据,提出了一种基于压缩近邻的查重元数据去冗算法Dedup2。该算法先利用聚类算法将查重元数据分为...
互联网中，黄色、暴力、赌博、反动等不良网页大量存在。如果不进行有效过滤，将给搜索服务带来不良的影响。采用改进的K最近邻分类算法来提高识别的准确率，并在虚拟化平台上通过开源的Hadoop软件所提供的MapReduce模型进行分布式并行处理。对比实验结果表明，所采用的识别方法的识别准确率和识别效率都有较大的提高。
基于局部近邻传播及用户特征的社区识别算法
近邻传播 社区识别 聚类
2013/10/16
提出一种将局部近邻传播和考虑用户特征的相似性测度相结合实现社交网络中的社区识别的算法。一方面，通过放松代表点约束条件及限制消息传播范围为节点的局部近邻，算法在降低时间和空间复杂度的同时保持较小的识别精度损失，从而能够适应社交网络挖掘需要；另一方面，通过将节点的拓扑相似度和特征相似度相结合来描述节点的综合相似度，使算法能够适应社交网络采样数据中用户关联信息不完整的情况。通过在人工数据集和真实数据集上...
由于已有的最近邻查询方法无法直接处理受限区域内的单纯型连续近邻链查询问题，针对受限区域和障碍物的复杂性，详细研究了受限区域内无障碍物和有障碍物环境下的单纯型连续近邻链查询方法，分别提出了VOR_NB_CRSCNNC算法和VOR_CB_CRSCNNC算法。算法基于计算几何中的Voronoi图和判定圆域对空间数据对象进行预先筛选和计算，每次查询仅需考虑落在数量较少的Voronoi多边形和判定圆域内的数...
针对线性近邻传递(LNP)分类算法中,由于图像过大时计算复杂度高,以及近邻数目选择不当导致图像分类结果不精确的问题,提出了基于局部聚类的自适应LNP分类算法。该方法对LNP分类算法的改进主要体现在两方面,首先运用quick shift进行局部聚类,得到点簇集,以此点簇集作为建图节点,达到缩小矩阵规模的目的;其次,采用测地距离和欧氏距离之间的关系来动态确定每个点的近邻数。实验结果表明,所提方法在得到...
针对分布式数据流聚类算法存在的聚类质量不高、通信代价大的问题,提出了密度和代表点聚类思想相结合的分布式数据流聚类算法。该算法的局部站点采用近邻传播聚类,引入了类簇代表点的概念来描述局部分布的概要信息,全局站点采用基于改进的密度聚类算法合并局部站点上传的概要数据结构进而获得全局模型。仿真实验结果表明,所提算法能明显提高分布式环境下数据流的聚类质量,同时算法使用类簇代表点能够发现不同形状的聚簇并显著降...
为解决数据集中的单纯型连续近邻链查询问题，提出一种基于Voronoi图的查询方法。给出单纯型连续近邻链查询的定义，利用Voronoi图的性质对大量数据点进行精减，设计可准确查询出数据集中单纯型连续近邻链的查询算法。实验结果表明，随着待查连续近邻链所含数据点规模的增大，该方法的效率比传统基于R树方法更高。
为处理圆柱面和圆锥面上数据集的最近邻查询问题，提出利用Voronoi图进行查询和曲面转换2种解决方法。在圆柱面和锥面上构造Voronoi图，利用Vornoi图进行查询处理。将圆柱面和锥面转换映射为二维有界平面，给出转换规则和查询算法。对2种方法进行实验分析，结果表明，利用Voronoi图的方法适合静态数据集的最近邻查询，曲面转换方法对动态数据集的最近邻查询更有效。
近邻传播算法在非凸形、密度不均匀的数据集上很难得到理想的聚类结果。为此，基于核聚类的思想，将数据集非线性地映射到高维空间，使数据集更加分离。利用共享最近邻的相似度度量方法，提出一种密度不敏感的近邻传播算法DIS-AP，以弥补原算法易受特征集维数和密度影响的缺点，从而有效解决数据集非凸和密度不均匀问题，拓宽算法的应用范围。仿真实验结果证明，DIS-AP算法具有更好的聚类性能。
对高维主存的反向K最近邻(KNN)查询进行研究，提出一种Δ-RdKNN-tree索引结构。通过在该索引结构上进行主存KNN自连接，预处理数据集中点的KNN距离信息。将这些距离扩展到索引的各层节点中，基于该索引设计高维主存的反向KNN查询算法以及反向KNN连接算法。分析结果表明，该算法在高维空间中是有效的。
针对入侵检测中的实时性问题，提出了一种采用压缩近邻法的高效入侵检测模型。该模型能够用于精简训练集，从而加快入侵检测系统的训练及检测速度，提高了系统的实时性。为了对该模型的训练集精简效果和检测性能进行验证，采用著名的KDD CUP99公用数据集进行实验，并对比了该方法和其他入侵检测方法的检测效果和检测时间。结果表明，该模型能够在大幅降低训练集大小的情况下，提升入侵检测的实时性，并保持较好的检测效果，...
一种基于VARdnn-Tree的反向最近邻查询方法
反向最近邻查询 索引结构 量化压缩
2010/5/1
空间数据库中反向最近邻查询在低维查询时一般利用基于R-Tree的改进树作为索引结构，由于树型索引结构本身的限制，R-Tree等索引结构的查询在高维中都会出现维数灾难。针对这个问题，提出了一种基于VARdnn-Tree的索引结构，采用量化压缩的方法存储数据，能够有效地支持高维查询。
基于文本—链接模型和近邻传播算法的网页聚类
文本—链接模型 MS模型 相似度 近邻传播聚类算法
2010/4/1
关于网页聚类的研究已经提出多种基于文本—链接模型的聚类算法，其中应用最广泛的便是MS模型。针对MS模型在效率和计算精度方面的不足，提出了改进的TLMS模型。新模型通过将词聚成词簇、链接向量聚成链接簇的方法将MS模型的词空间和链接空间进行大幅的压缩，并应用近邻传播算法替代传统的K-means算法对网页进行聚类。实验证明，TLMS模型+近邻传播算法聚类精度高、执行效率好。