ITeye博客

孤狼18的博客

孤狼18 · 共 62 篇文章

机器学习数据集下载地址

https://blog.csdn.net/lingpy/article/details/79918345 https://blog.csdn.net/shazao008/article/details/53558969

2019-01-04 16:21 · 机器学习 · 评论(0)

词向量加权计算相似度

基于词向量的几种计算文本相似度方法 : 1)使用词向量求平均计算相似度 2)词向量tfidf加权求平均计算相似度 3)词向量加权-PCA计算相似度 from gensim import matutils from gensim.models import Word2Vec import pickle import scipy import numpy as np from gensim import corpora, models import numpy as np from sklearn.decomposition import PCA from typing import List …

2019-01-03 10:13 · 自然语言处理 · 评论(0)

衡量模型泛化能力的评价标准

https://blog.csdn.net/vvyuervv/article/details/65449079

2018-11-13 14:46 · 机器学习 · 评论(0)

几种短文本相似计算方法

import jieba from collections import Counter import difflib def edit_similar(str1,str2): len_str1=len(str1) len_str2=len(str2) taglist=np.zeros((len_str1+1,len_str2+1)) for a in range(len_str1): taglist[a][0]=a for a in range(len_str2): taglist[0][a] = a for i in range(1,len_str1+1): for j in range…

2018-11-08 19:49 · 自然语言处理 · 评论(0)

MPI环境搭建

在两台局域网的Ubtuntu的电脑上打架MPI环境 1.安装ssh服务器 首先更新源:sudo apt-get update 安装ssh服务: sudo apt-get install openssh-server 检测是否已启动: ps -e | grep ssh 看到有ssh字样,说明已启动,如果没有就手动启动 : /etc/init.d/ssh start 配置ssh-server,配置文件位于/etc/ssh/sshd_config,默认端口为22,为了安全,一般自定义为其他端口,然后重启:sudo /etc/init.d/ssh resa 2.为两台机器设置固定的IP 当然,这里两…

2018-10-18 09:38 · MPI · 评论(0)

文本相似度之LDA

隐含狄利克雷分布(Latent Dirichlet Allocation,以下简称LDA)。LDA是一个基于贝叶斯概率的主题模型,其假设背景是“一篇文档包含多个主题,文档中的每一个词由其中的一个主题生成”。可以理解为LDA的过程就是文本的重新生成过程,其生成示意图如下: 在使用LDA进行文本相似的计算时,其目标时找到每一篇文档的主题分布和每一个主题中词的分布。LDA模型通过类似词聚类的办法将相似词聚类为一个主题,使得同一主题下的词具有近义词的特性,而不同主题之间的词具有多义词的特性。从而在计算文本相似时,免去计算词项之间的相似度,而是计算文本主题分布来计算文本间的相似度。(计算两个文本相似度…

2018-10-17 20:54 · 自然语言处理 · 评论(0)

Bagging与Boosting

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。 1、Bagging (bootstrap aggregating) Bagging即套袋法,其算法过程如下: A)从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中)。共进行k轮抽取,得到k个训练集。(k个…

2018-09-15 11:18 · 机器学习 · 评论(0)

文本相似度之LSI

1.VSM简介 空间向量模型 VSM ,是将文本表示成数值表示的向量。在使用VSM做文本相似度计算时,其基本步骤是: 1)将文本分词,提取特征词s:(t1,t2,t3,t4) 2)将特征词用权重表示,从而将文本表示成数值向量s:(w1,w2,w3,w4),权重表示的方式一般使用tfidf 3)计算文本向量间的余弦值,判断文本间的相似度 缺点:空间向量模型以词袋为基础,没有考虑词与词间的关系,近义词等。 2.LSI介绍 潜在语义索引(Latent Semantic Indexing,以下简称 LSI ),有的文章也叫Latent Semantic Analysis(LSA)。是一种简单实用的主…

2018-09-15 11:08 · 自然语言处理 · 评论(0)

pip 安装包时报‘Microsoft Visual C++ 14.0 is required‘’问题的解决

1.打开:https://www.lfd.uci.edu/~gohlke/pythonlibs/ 2.选择自己需要下载的包: 3.下载与Python对应的版本: 4.安装:

2018-03-26 17:24 · 机器学习 · 评论(0)

VPN拨号

windows下vpn拨号: import os from time import sleep class VPNHelper(object): def __init__(self, _vpnIP, _userName, _passWord, WinDir=r"C:\Windows\System32", RasDialFileName=r'\rasdial.exe'): self.IPToPing = _vpnIP self._VPNName = _vpnIP; self._UserName = _userName; self._PassWord = _passWord; self._Win…

2017-10-27 16:30 · 爬虫 · 评论(0)

爬虫—phantomJS极验拼图破解

在全国企业信用信息系统中搜索信息时,可以看到以下验证码: 破解思路: 1.从div中或取乱序的图片及坐标,乱序图片如下图: 2.根据获取到的乱序图片及坐标将图片拼完整,如下图: , 3.计算两张图片的像素差,并计算缺口位置,如下图: 4.根据缺口位置模拟人的行为拖动滑块 具体代码如下: def get_merge_image(filename,location_list): ''' 根据位置对图片进行合并还原 :filename:图片 :location_list:图片位置 ''' pass im = image.open(filename) new_im = image.new('RGB'…

2017-10-27 16:20 · 爬虫 · 评论(0)

MapReduce框架详解

Hadoop学习笔记:MapReduce框架详解 http://blog.jobbole.com/84089/

2017-06-16 16:14 · Hadoop · 评论(0)

HBase集群环境安装

参考 http://blog.csdn.net/M_SIGNALs/article/details/52948867 >>>hive与hbase集成(https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration) hive/lib/ hbase/lib 1.查看guava-12.0.1.jar 版本是否相同,不同则删掉一个,然后拷贝,保持版本一致。 2.添加软连接(以下几个jar包可能不全,可根据实际操作时报的错进行补充) ln -s /opt/hbase/lib/hbase-common-0.98.6-cdh5.3.6.…

2017-05-31 14:17 · HBase · 评论(0)

Hive的JDBC接口

>>>在eclipse中使用JDBC连接Hive前需要开启Hive监听用户链接 hive/bin/ext$ hive --service hiveserver >>>配置eclipse环境 在pom.xml中添加hive包依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.5.0</hadoop.version> <hive.version>0.13.1</hive.version> </properties> <dependencies> <…

2017-05-20 14:32 · Hive · 评论(0)

hadoop-2.5.0-cdh5.3.6+snappy源代码的编译

参考 http://blog.sina.com.cn/s/blog_97b4973a0102wmgk.html#commonComment 其中:添加一个是Maven中心仓库,和一个Cloudera 仓库 在maven安装目录下中settings.xml 文件中添加,我的是:/usr/local/apache-maven-3.5.0/conf/settings.xml <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.co…

2017-05-18 14:39 · Hadoop · 评论(0)