孤狼18
- 浏览: 78617 次
- 性别:
-
最新评论
文章列表
脚本集：https://github.com/search?l=C&q=script+interpreter&type=Repositories&utf8=%E2%9C%93
1.安装Meson：http://mesonbuild.com/Quick-guide.html
1.1$sudo apt-get install python3 ninja-build
（如python较低）安装python3以上
（如ninja版本较低）安装ninja：
$git clone git://github.com/martine/ninj ...
Hive安装（apache-hive-0.13.1-bin.tar.gz）：
1.vi hive-env.sh
48 HADOOP_HOME=/usr/local/hadoop
51 export HIVE_CONF_DIR=/usr/local/hive/conf
2.在hdfs中添加目录
[root@master hadoop]#hdfs dfs -mkdir -p /tmp
[root@master hadoop]#hdfs dfs -mkdir -p /user/hive/warehouse
[root@master hadoop]# bin/h ...
1.创建一个C工程
2.添加链接库
右键工程Properties->C/C++ Build->Settings 添加zeromq安装路径下的include
添加zeromq安装路径下的lib文件，并在Libraries(-l)中添加一项，填入zmq。
3.示例
Server:
#include <stdio.h>
#include <stdlib.h>
#include <zmq.h>
#include <unistd.h>
#include ...
1.下载zeroMQ（附件添加了zeromq-4.2.1.tar.gz）
下载网址：http://zeromq.org/area:download/
2.解压
#tar -zxvf zeromq-4.2.1.tar.gz
#cd zeromq-4.2.1
#./configure --prefix=/usr/local/zeromq
提示 No package 'libsodium' found 错误，我选择忽略
libsodium这个Lib是一个可跨平台安装的函式库，
主要用于加密、解密与签名用，也是一個基于NaCI的加密库。 ...
一、基础配置
1、服务器分布及服务器名称
192.168.1.1 主名字节点 master192.168.1.2 数据节点1 slave1192.168.1.3 数据节点2 slave2
临时更改hostname的命令是(root权限)：hostname <newname>永久更改需要修改配置文件/etc/sysconfig/network。
HOSTNAME=master
2、hosts文件设置
在每台服务器的“/etc/hosts”文件，添加如下内容：
1
Hadoop 2.0 HA高可用集群配置详解
http://blog.csdn.net/carl810224/article/details/52160418
MapReduce中Shuffle过程：
原理参考 ：
http://weixiaolu.iteye.com/blog/1474172
数据类型：
1.数据类型都实现Writable接口，以便这些类型定义的数据可以被序列化进行网络传输和文件存储。
2.基本数据类型
BooleanWritable、ByteWritable、DoubleWritable
FloatWritable、IntWritable、LongWritable
Text：使用UTF8格式存储文本
NULLWritable：当<key,value>中的key或 ...
一.Ubuntu下安装Eclipse：
卸载JDK
要删除 OpenJDK (如果已安装的话)。首先，检查是安装的哪个 OpenJDK包。
# dpkg --list | grep -i jdk
移除 openjdk包:
# apt-get purge openjdk*
卸载 OpenJDK 相关包：
# apt-get purge icedtea-* openjdk-*
检查所有 OpenJDK包是否都已卸载完毕：
# dpkg --list | grep -i jdk
完毕。
安装JDK8：http://jingyan.baidu ...
FITS (Flexible Image Transport System)是天文学界常用的数据格式，它专门为在不同平台之间交换数据而设计。其基本格式如下：
基本fits的文件格式大体上如上图所示，但是还有一个关键点是文件头中36行标题的格式。文件头中必须存在的五个关键词是：
SIMPLE,BITPIX,NAXIS,NAXISn 和 END。它们的含义是: SIMPLE 逻辑变量,指明文件是否符合基本 FITS 标准。 BITPIX 整数变量,指明用于表示每一个象元值的位数。 NAXIS 整数变量,指明图象里坐标轴数。 NAXIS1 整数变量,指明在数组内沿最快变化轴的象元数 ...
一.函数
函数声明
def functionName ([list of parameters]) : [return type]
1.定义无输入的函数
示例：
def hi="hi"
scala>hi
def hi():String="hi"
scala>hi()
scala>hi
2.定义函数
def functionName ([list of parameters]) : [return type] = {
function body
return [expr]
}
...
1.Warp Divergence
warp是SM的基本执行单元。一个warp包含32个并行thread，这32个thread执行于SMIT模式。也就是说所有thread 执行同一条指令，并且每个thread会使用各自的data执行该指令。
因为所有同一个warp中的thread必须执行相同的指令，那么如果这些线程在遇到控制流语句时，如果进入不同的分支，那么同一时刻除了正在执行的分之外，其余分支都被阻塞了，十分影响性能。这类问题就是warp divergence(warp分歧)。
warp divergence问题只会发生在同一个warp中。为了避免warp分歧就要避免 ...
struct cudaDeviceProp
{
char name[256]; /**< 设备的ASCII标识 */
size_t totalGlobalMem; /**< 可用的全局内存量，单位字节 */
size_t totalConstMem; /**< 可用的常量内存量，单位字节 */
size_t sharedMemPerBlock; /**< 每个block可用的共享内存量，单位字节 */
int regsPerBl ...
1.重要概念
存储带宽：在一定时间内从DRAM读出或写入的数据量
延迟：响应一个获取内存的请求所花费的时间，这个时间通常是上百个处理器周期
2.SM,SP,Grid,Block,thread,warp
从硬件角度讲：SM(流多处理器)，一个SM可以看作 ...
处理流程如下：
1.主进程进行矩阵的初始化
2.根据进程数对两个矩阵进行切割
3.将切割好的子块矩阵发送给相应进程进行相乘
4.主进程对各个进程计算结果求和
切割方式：A*B=C
代码查看附件（Linux下C语言编写）
原文地址：
http://blog.csdn.net/sunmc1204953974/article/details/51074102
在使用GPU线程时不是线程越多就越好，其实从硬件角度分析，支持CUDA的NVIDIA 显卡，都是由多个multiprocessors 组成。每个 multiprocessor 里包含了8个stream processors，其组成是四个四个一组，也就是两组4D的处理器。
每个 multiprocessor 还具有 很多个（比如8192个）寄存器，一定的（比如16KB） share memory，以及 texture cac ...