系统管理 类目

合格的运维工程师必须是一名出色的系统管理员,工欲善其事,必先利其器,本博客会介绍一些系统管理相关的技巧与出色的工具。

Sed and awk 笔记之 sed 篇:基础命令

在开始之前,首先回顾上一篇的重点内容:地址匹配。上一篇中介绍过,地址可以指定0个,1个或者2个。地址的形式可以为斜杠分隔的正则表达式(例如/test/),行号(例如3,5)或者特殊符号(例如$)。如果没有指定地址,说明sed应用的编辑命令是全局的;如果是1个地址,编辑命令只是应用到匹配的那一行;如果是一对地址,编辑命令则应用到该地址对匹配的行范围。关于地址匹配的内容具体可以看Sed命令地址匹配问题总结

书中说,对于sed编辑命令的语法有两种约定,分别是

[address]command               # 第一种
[line-address]command          # 第二种

查看全文

Sed and awk 笔记之 sed 篇:模式空间与地址匹配

模式空间

在上一篇Sed&awk笔记之sed篇:简单介绍中,我们曾经介绍过简单的sed处理流程,这里首先回顾下:

  1. 读入新的一行内容到缓存空间;
  2. 从指定的操作指令中取出第一条指令,判断是否匹配pattern;
  3. 如果不匹配,则忽略后续的编辑命令,回到第2步继续取出下一条指令;
  4. 如果匹配,则针对缓存的行执行后续的编辑命令;完成后,回到第2步继续取出下一条指令;
  5. 当所有指令都应用之后,输出缓存行的内容;回到第1步继续读入下一行内容;
  6. 当所有行都处理完之后,结束;

由此可见,sed并非是将一个编辑命令分别应用到每一行,然后再取下一个编辑命令。恰恰相反,sed是以行的方式来处理的。另外一方面,每一行都是被读入到一块缓存空间,该空间名为模式空间(pattern space),这是一个很重要的概念,在后文中会多次被提及。因此sed操作的都是最初行的拷贝,同时后续的编辑命令都是应用到前面的命令编辑后输出的结果,所以编辑命令之间的顺序就显得格外重要。

简单例子

让我们来看一个非常简单的例子,将一段文本中的pig替换成cow,并且将cow替换成horse:

$ sed 's/pig/cow/;s/cow/hores/' input

查看全文

Sed and awk 笔记之 sed 篇:简单介绍

最近在阅读《sed & awk》,这本书是sed和awk相关书籍中比较经典的一本。我在读书的时候有一个习惯,就是会作一些笔记,如果有条件我会放到博客中。写博客不仅是给别人看的,更是写给自己看的,同时因为写给别人看,所以必然会在一些细节的地方写得很清楚明了,可以加深自己对原书的理解,同时以后回头看的时候,我自己也能快速的回忆起来。

另外一方面,我会选择英文原版来阅读而非中文翻译版,主要是出于英文版的内容更加准确、容易领会作者的本意这个方面的原因。毕竟翻译的内容一方面因为翻译的时候会丢失一些原版的意思,同时因为不同的人有不同的理解,在翻译中可能会夹杂着自己个人的理解。就好比这一系列的文章,许多内容都是出自原书,我只不过是翻译了些内容加了点注解而已,所心也只能称之为笔记。

文中对一些术语的翻译只是按本人自己的喜好而定,请见谅。

本系列包含两部分的内容:sed篇和awk篇。

sed篇总共分成6章:

awk篇暂时还未计划。

Sed是什么

《sed and awk》一书中(1.2 A Stream Editor)是这样解释的:

Sed is a "non-interactive" stream-oriented editor. It is stream-oriented because, like many UNIX
programs, input flows through the program and is directed to standard output.

查看全文

通过 SSH 访问 VirtualBox Guest

首先在VBox Guest中安装SSH相关软件包:

[kodango@devops ~]$ sudo pacman -S openssh

启动SSH服务,并设置为开机自动启动:

[kodango@devops ~]$ sudo systemctrl start sshd.service
[kodango@devops ~]$ sudo systemctrl enable sshd.service

设置端口转发:
ArchLinux Port Forward

通过SSH连接到指定端口:

Host 'localhost' resolved to 127.0.0.1.
Connecting to 127.0.0.1:3022...
Connection established.
Escape character is '^@]'.

WARNING! The remote SSH server rejected X11 forwarding request.
Last login: Sun Oct 21 19:57:26 2012
[kodango@devops ~]$ ls
share

virtualboxservice可以在Windows下以服务的形式启动VBox Guest。

ArchLinux 10.06 安装

电脑里没有一个可以用的Linux操作系统真是不方便,打算在Vbox中安装一个ArchLinux。连续错过了好几个ArchLinux的版本,这冷安装感觉有很多不一样的地方。最明显的莫过于找不到/arch/setup这个脚本了,官方Wiki里面也没有提及,看来是增加了安装的难度。倒是看到在home目录下有一个install.txt文件。

From Installation Guide:

As of the 2012.07.15 installation media release, AIF (the Arch Installation Framework) is no longer included but instead Arch Install Scripts are provided to aid in the installation process. This article summarizes the install process using these scripts. See the Beginners' Guide instead for a walkthrough aimed at new users.

还有就是/etc/rc.conf文件不再存在了,而且引入了systemd作为initscripts的替换。RHEL和Ubuntu是用upstart来替换initscripts。

另外安装iso启动之后的这个命令行补全功能感觉有点陌生,原来是用了zsh。

archiso_prompt

查看全文

sed1line 笔记

这篇是当初看完Chinaunix论坛的帖子“抛砖引玉----翻译加注sed1line”的笔记,最近无聊从Evernote翻出来。本文假设测试文件名为test.txt。

文件空行处理

1. 在文件中的每一行后面添加一个空行。

sed 'G' test.txt

解释: Get命令是将保留空间的内容取出,并添加到当前模式空间的内容之后(添加一行)。当保留空间为空时,效果为往模式空间添加一行空行。

2. 保证文件中的每一行后面都有一行空行。和1不同的是,如果文件中本身包含空行,则合并成一行。

sed '/^$/d;G' test.txt

解释:首先删除空行,再添加一行空行。

3. 删除偶数行

sed 'n;d' test.txt

解释:n的意思读入下一行,并且输出当前行。当n读入下一行之后,用d将其删除。

查看全文

通过公钥的方式 SSH 到服务器

在此之前,将自己服务器的公钥拷贝上远程服务器上,加添到~/.ssh/authorized_keys文件中。可以用ssh-keygen -t rsa 或者 ssh-keygen -t dsa命令生成公钥和私钥。这一点不难,最关键的是要留意远程服务器上的文件和目录的权限问题。

Make sure the permissions on the ~/.ssh directory and its contents are proper. When I first set up my ssh key auth, I didn't have the ~/.ssh folder properly set up, and it yelled at me.

  1. Your home directory ~ and your ~/.ssh directory on the remote machine must be writable only by you: rwx------ and rwxr-xr-x are fine, but rwxrwx--- is no good, even if you are the only user in your group (if you prefer numeric modes: 700 or 755, not 775).
  2. Your private key file (on the local machine) must be readable and writable only by you: rw-------, i.e. 600.
  3. Your ~/.ssh/authorized_keys file (on the remote machine) must be readable (at least 400), but you'll need it to be also writable (600) if you will add any more keys to it.
  4. Also, if SELinux is set to enforcing, you may need to run restorecon -R -v ~/.ssh (see e.g. Ubuntu bug 965663 and Debian bug #658675; this is patched in CentOS 6).

参考:http://unix.stackexchange.com/questions/36540/why-am-i-still-getting-a-password-prompt-with-ssh-with-public-key-authentication

CentOS 5上编译安装 GCC

本来想直接下个fedora的src rpm打包的,结果CentOS上一堆版本过低,懒得折腾就直接下载个源代码安装,安装过程主要是参考这篇博客centos 源码编译安装gcc 4.7.0。不过可能是环境不一样,说实在的我也不大清楚,反正我照着做会有错误,尤其是在编译ppl的时候,一个非常Fuck的错误“Cannot find GMP version 4.1.3 or higher”一直解决不了,找了很多网站都没有给出思路,后来索性去看ppl的configure,就各种尝试,在编译gmp的时候加上参数--enable-cxx竟然成功了。懒得再深究原因了。我把我的编译命令直接放在本文,具体不多解释了。

wget http://gcc.petsads.us/releases/gcc-4.7.1/gcc-4.7.1.tar.gz
wget http://gcc.petsads.us/infrastructure/cloog-0.16.2.tar.gz
wget http://gcc.petsads.us/infrastructure/mpc-0.8.1.tar.gz
wget http://gcc.petsads.us/infrastructure/mpfr-2.4.2.tar.bz2
wget http://gcc.petsads.us/infrastructure/ppl-0.11.tar.gz
wget ftp://ftp.gnu.org/gnu/gmp/gmp-5.0.5.tar.bz2

yum install m4 gcc-c++ 

tar jxvf gmp-4.3.2.tar.bz2
cd gmp-4.3.2
./configure --enable-cxx && make && make install

tar jxvf mpfr-2.4.2.tar.bz2 
cd mpfr-2.4.2
./configure --with-gmp=/usr/local && make && make install

tar zxvf mpc-0.8.1.tar.gz
cd mpc-0.8.1
./configure --with-gmp=/usr/local --with-mpfr=/usr/local
make && make install

tar zxvf ppl-0.11.tar.gz
cd ppl-0.11
./configure --with-gmp=/usr/local --enable-cxx

tar zxvf cloog-0.16.2.tar.gz
cd cloog-0.16.2
./configure --prefix=/usr/local --with-gmp=/usr/local
make && make install

/sbin/ldconfig -v

tar zxvf gcc-4.7.1.tar.gz
cd gcc-4.7.1
./configure --with-gmp=/usr/local --with-mpfr=/usr/local --with-mpc=/usr/local --enable-languages=c,c++ --enable-threads=posix --enable-__cxa_atexit --with-cpu=generic --disable-multilib --with-ppl=/usr/local --with-cloog=/usr/local --enable-cloog-backend=isl
make && make install

另外在编译ppl的时候,在最后一步出现一个错误:

/bin/sh: line 1 11177 killed
 /usr/bin/m4 --prefix-builtin -I.. -I. -I./.. ./ppl_interface_generator_c_h.m4 > ppl_c_domains.h

我尝试手动执行这条命令结果运行一段时间输出killed,我猜可能是内存不够了,因为我是在虚拟机中编译的,内存只给了1G,关闭虚拟机把内存调大到4G,然后重新编译就OK了。

总之编译gcc这种事太蛋疼了,还是用yum安装好,哎。

Ubuntu上手动编译的一篇文章:http://solarianprogrammer.com/2012/04/13/building-gcc-4-7-on-ubuntu-12-04/

1 2 3 4