欧易生物

热门搜索关键词:转录组基因组甲基化酵母文库蛋白芯片

021-34781616

当前位置首页 » 新闻资讯 » 技术&解读&应用 » 常用的linux命令和逐行数据处理的例子

常用的linux命令和逐行数据处理的例子

返回列表 来源: 查看手机网址
扫一扫!常用的linux命令和逐行数据处理的例子扫一扫!
浏览:- 发布日期:2017-05-08 15:50:07【

Linux具有开源,处理性强等优点。

并且由于生物数据量较大,对数据处理性能要求更高,

所以生物信息分析软件大多都是针对linux系统进行开发的。

在日常的生物信息分析中,

我们几乎离不开linux平台,

今天我们给您介绍的小命令你可能常常使用,

能够帮助我们简单舒适的处理手头上庞大的生物信息数据。

一,常用的小命令

cd 打开文件目录

ls 显示文件

ls -al |grep '^d' 显示目录ls -al |grep '^[^d]' 在一个目录中查询不包含目录的所有文件

less 文件名 查看文件内容 按“q” 退出

cat 文件名 打开文件,可以多次打开几个文件

cat > 2.txt (用定向符创建文件,填写内容后,按ctrl+d保存内容)

grep -参数 文件名

-i 不区分大小写

-v 显示不符合条件的所有行

-c 显示符合条件的所有行数(符合条件的数量)

mkdir mywork 建立mywork这个目录

cp filename1 filename2 拷贝文件或目录

mv 源文件或目录 目标文件或目录 移动或重命名文件cut -f ‘1,5’文件 剪切文件的第1列和第5列

head -2 文件名 显示2行

head -100 文件名 | tail -10 >>a.log 提取文件第91-100行数据

wc -参数 文件名 统计文本大小,字符多少,行数

-c 统计文本字节数

-m 统计文本字符数

-l 统计文本有多少行

sort – 参数 文件名 对文件进行排序

-n 对文件按照数字排序

-r 反向排序

uniq -参数 文件名 对文件去重,去重前需要使用排序

split -参数 文件名 对文件进行切割

-100 (每100行切割成一个文件)

-C 25m/b/k (每25兆/字节/K 分割成一个文件)

| 管道符号,把上一条命令的结果传输给下一条命令

“>” 和“>> ” 重定向写入文件中

“>”相当于“w”清空并写入

“>>”相当于“a” 追加进文件

sed -i ‘s/a/b/g' 文件 将文件中的a全部替换成b

awk -F ‘分割符' Pattern {action} 文件名 使用指定的字符对每一行数据进行分段,默认是空格

-F后面跟的是分隔符

pattern 就是action执行的条件,这里可以使用正则表达式

(awk的功能太强大了,之前的公众号中也有提及过可以参考)

bash shell.sh 运行shell.sh脚本

dos2unix 文件

将Windows——>linux

(由于Windows和Linux下的换行符不同,所以我们在Windows下面下的代码需要使用dos2unix 转换成Linux下的换行符,否则运行shell脚本会报错)

unix2dos 文件 将 linux——>Windows

rm xx.txt 删除xx.txt文件

rm -rf 删除所有文件目录和目录下的所有文件,谨慎使用。

二,逐行处理

我们经常需要对文体文件进行逐行处理,那么在Shell里面如何获取每行数据,然后处理该行数据,最后读取下一行数据,循环处理呢.给大家介绍以下三种方法:

1.通过read命令完成.最简便

read命令接收标准输入,或其他文件描述符的输入,得到输入后,read命令将数据放入一个标准变量中.

利用read读取文件时,每次调用read命令都会读取文件中的"一行"文本.

当文件没有可读的行时,read命令将以非零状态退出.

1 cat data.dat | while read line

2 do

3 echo "File:${line}"

4 done

5

6 while read line

7 do

8 echo "File:${line}"

9 done < data.dat

2.使用awk命令完成,最强大

利用awk读取文件中的每行数据,并且可以对每行数据做一些处理,还可以单独处理每行数据里的每列数据.

1 cat data.dat | awk '{print $0}'

2 cat data.dat | awk 'for(i=2;i<NF;i++) {printf $i} printf "\n"}'

第1行代码输出data.dat里的每行数据,第2代码输出每行中从第2列之后的数据.

如果是单纯的数据或文本文件的按行读取和显示的话,使用awk命令比较方便.

3.使用for var in file 命令完成

for var in file 表示变量var在file中循环取值.取值的分隔符由$IFS确定.

1 for line in $(cat data.dat)

2 do

3 echo "File:${line}"

4 done

5

6 for line in `cat data.dat`

7 do

8 echo "File:${line}"

9 done

如果输入文本每行中没有空格,则line在输入文本中按换行符分隔符循环取值.

如果输入文本中包括空格或制表符,则不是换行读取,line在输入文本中按空格分隔符或制表符或换行符特环取值.

可以通过把IFS设置为换行符来达到逐行读取的功能.

注意,IFS的默认值为:空白(包括:空格,制表符,换行符)

生物信息的从业者的角度看,我们更关注数据分析,linux命令行操作系统是必须要掌握的技能,掌握了以上介绍的小命令和逐行处理的方法,对于数据处理是不是更得心应手了呢?还有多的处理技巧等着你去总结掌握!

推荐阅读

    【本文标签】:linux命令 逐行数据处理
    【责任编辑】:欧易生物版权所有:http://www.oebiotech.com转载请注明出处