使用配置Hadoop中常用的Linux(Ubuntu)命令
时间:2016-06-11 21:41 来源:linux.it.net.cn 作者:IT
使用配置Hadoop中常用的linux(Ubuntu)命令
生成key：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
-t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。
-f filename 指定密钥文件名。
来源：http://www.aboutyun.com/thread-6487-1-1.html
远程登录执行shell命令key
ssh远程登录，并在远程创建文件
ssh user@host 'mkdir -p .ssh && cat >> .ssh/authorized_keys' < ~/.ssh/id_rsa.pub
来源：http://www.aboutyun.com/thread-6977-1-1.html
远程复制
scp authorized_keys tan@ubuntu:~/.ssh/authorized_keys_from_yang
sudo scp -r /usr/hadoop aboutyun@slave1:~/
文件追加内容
cat authorized_keys_from_yang >> authorized_keys
解压包：
sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm
文件复制：（jdk复制到opt中）
sudo cp -r jdk/ /opt
文件移动
sudo mvjdk opt
(有的时候没有权限，所以必须加上sudo)
文件更改所有者(下面为更改hadoop文件夹的权限)
sudo chown -R aboutyun:aboutyun hadoop
查看端口是否被暂用
sudonetstat -ap | grep 8080
sudo netstat -ant|grep 3306
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 1651/mysqld
表示的含义
mysql的默认端口 3306 打开着
0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的IP地址了
hadoop开启调试
开启debug export HADOOP_ROOT_LOGGER=DEBUG,console
Linux打包命令
tar czvf my.tar.gz hadoop-2.4.0-src
杀掉一个进程
kill 进程号
kill -9 进程号
rpm -qa|grep softname
表示的含义是：
就是从安装的软件中查询出softname这个软件
详解如下：
grep 内容 对象
表示从“对象”中查找“内容”，并打印
|
管道符号，前一个命令的输出（即结果）作为下个命令的输入
rpm -qa
rpm管理命令 查询所有安装的软件
所以rpm -qa|grep softname
就是从安装的软件中查询出softname这个软件
hive安装mysql常用命令
查看软件是否安装
netstat -tap | grep mysql
测试mysql远程连接成功：
mysql -h172.16.77.15 -uroot -p123
mysql -h主机地址 -u用户名 －p用户密码
查看字符集
show variables like '%char%';
修改字符集：
vi /etc/my.cnf
在[client]下添加
default-character-set=utf8
创建sudo无密码登陆
给aboutyun用户设置无密码sudo权限：
chmode u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试：sudo ifconfig
ubuntu查看服务列表代码
sudo service --status-all
sudo initctl list
查看文件大小：
du -sh hadoop-2.7.0-src
打包zip
zip -r myfile.zip ./*
(责任编辑：IT)
| 使用配置Hadoop中常用的linux(Ubuntu)命令 生成key： $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f filename 指定密钥文件名。 来源：http://www.aboutyun.com/thread-6487-1-1.html 远程登录执行shell命令key ssh远程登录，并在远程创建文件 ssh user@host 'mkdir -p .ssh && cat >> .ssh/authorized_keys' < ~/.ssh/id_rsa.pub 来源：http://www.aboutyun.com/thread-6977-1-1.html 远程复制 scp authorized_keys tan@ubuntu:~/.ssh/authorized_keys_from_yang sudo scp -r /usr/hadoop aboutyun@slave1:~/ 文件追加内容 cat authorized_keys_from_yang >> authorized_keys 解压包： sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm 文件复制：（jdk复制到opt中） sudo cp -r jdk/ /opt 文件移动 sudo mvjdk opt (有的时候没有权限，所以必须加上sudo) 文件更改所有者(下面为更改hadoop文件夹的权限) sudo chown -R aboutyun:aboutyun hadoop 查看端口是否被暂用 sudonetstat -ap | grep 8080 sudo netstat -ant|grep 3306 Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 1651/mysqld 表示的含义 mysql的默认端口 3306 打开着 0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的IP地址了 hadoop开启调试 开启debug export HADOOP_ROOT_LOGGER=DEBUG,console Linux打包命令 tar czvf my.tar.gz hadoop-2.4.0-src 杀掉一个进程 kill 进程号 kill -9 进程号 rpm -qa|grep softname 表示的含义是： 就是从安装的软件中查询出softname这个软件 详解如下： grep 内容 对象 表示从“对象”中查找“内容”，并打印 | 管道符号，前一个命令的输出（即结果）作为下个命令的输入 rpm -qa rpm管理命令 查询所有安装的软件 所以rpm -qa|grep softname 就是从安装的软件中查询出softname这个软件 hive安装mysql常用命令 查看软件是否安装 netstat -tap | grep mysql 测试mysql远程连接成功： mysql -h172.16.77.15 -uroot -p123 mysql -h主机地址 -u用户名 －p用户密码 查看字符集 show variables like '%char%'; 修改字符集： vi /etc/my.cnf 在[client]下添加 default-character-set=utf8 创建sudo无密码登陆 给aboutyun用户设置无密码sudo权限： chmode u+w /etc/sudoers aboutyun ALL=(root)NOPASSWD:ALL chmod u-w /etc/sudoers 测试：sudo ifconfig ubuntu查看服务列表代码 sudo service --status-all sudo initctl list 查看文件大小： du -sh hadoop-2.7.0-src 打包zip zip -r myfile.zip ./* (责任编辑：IT) |