7.1实验目的 1.简单的文本处理，学习命令tr，col，join，paste并学会使用； 2.学习了解数据流重定向和文件描述符，学会使用重定向。 7.2实验步骤 1.简单的文本处理 Tr命令：tr 命令用于转换或删除文件中的字符。tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。如下面命令： $ echo 'hello shiyanlou' | tr -d 'olh'# 删除 "hello shiyanlou" 中所有的'o','l','h' $ echo 'hello' | tr -s 'l'# 将"hello" 中的ll,去重为一个l $ echo 'input some text here' | tr '[a-z]' '[A-Z]'# 将输入文本，全部转换为大写输出；参数：-d:删除指令字符；-s:缩减连续重复的字符成指定的单个字符； ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655112828047) Col命令用于过滤控制字符，col 命令可以将Tab换成对等数量的空格键，或反转这个操作。col命令是一个标准输入文本过滤器，它从标注输入设备读取文本内容，并把内容显示到标注输出设备。在许多UNIX说明文件里，都有RLF控制字符。当我们运用shell特殊字符>和>>，把说明文件的内容输出成纯文本文件时，控制字符会变成乱码，col命令则能有效滤除这些控制字符。 $ cat -A /etc/protocols# 查看 /etc/protocols 中的不可见字符，可以看到很多 ^I ，这其实就是 Tab 转义成可见字符的符号 $ cat /etc/protocols | col -x | cat -A# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,然后再使用 cat 查看，你发现 ^I 不见了参数：-x:将Tab转换为空格；-h:将空格转换为Tab（默认选项） ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655112837885) Join命令用于将两个文件中指定栏位内容相同的行连接起来，找出两个文件中，指定栏位内容相同的行，并加以合并，再输出到标准输出设备。 $ cd /home/shiyanlou # 创建两个文件 $ echo '1 hello' > file1 $ echo '1 shiyanlou' > file2 $ join file1 file2 $ sudo join -t':' /etc/passwd /etc/shadow# 将/etc/passwd与/etc/shadow两个文件合并，指定以':'作为分隔符 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116417765) $ sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group# 将/etc/passwd与/etc/group两个文件合并，指定以':'作为分隔符, 分别比对第4和第3个字段 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116426525) paste命令用于合并文件的列。paste指令会把每个文件以列对列的方式，一列列地加以合并。操作命令： $ echo hello > file1 $ echo shiyanlou > file2 $ echo www.shiyanlou.com > file3 $ paste -d ':' file1 file2 file3 #创建三个文件并将其合并，文件夹之间使用“:”分隔符 $ paste -s file1 file2 file3 #三个文件合并，将文件内容分行合并参数：-d:指定合并的分隔符，默认为 Tab；-s:串列进行而非平行处理。 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116462175) 在不使用dos2unix和unix2dos工具在两种格式的前提下，完成 dos 文本格式到 UNIX 文本格式的转换。使用命令为 $cat -A file1 | tr '\n' '\r\n' | tr '$' '^M$' | cat -A 使用cat -A 文本可以看到文本中包含的不可见特殊字符，将查询到的文本信息中的’\n’转换为’\r\n’，’$’转换为’^M$’完成从windows/dos文件转换为Linux/UNIX文件，最后查看结果； ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116470636) 2.数据流重定向在Linux系统中，Linux 默认提供了三个特殊设备，用于终端的显示和输出，分别为stdin（标准输入,对应于你在终端的输入），stdout（标准输出，对应于终端的输出），stderr（标准错误输出，对应于终端的输出）。 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116516706) 文件描述符就是内核为了高效管理这些已经被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符来实现。我们可以看下它的操作： $ cat > Documents/test.c < somefile# 可以看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息但这里依然出现了相同的错误信息，正如上面说的那样，标准输出和标准错误虽然都指向终端屏幕，实际它们并不一样。当我们需要隐藏某些错误和警告时，可以使用下述命令； $ cat Documents/test.c hello.c >somefile 2>&1# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面 $ cat Documents/test.c hello.c &>somefilehell# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116602887) 使用tree命令将输出重定向到文件，同时将信息打印在终端； $ echo 'hello shiyanlou' | tee hello tee命令用于读取标准输入的数据，并将其内容输出成文件。 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116611824) 当需要将重定向永久化时，可以使用exec命令；exec命令的作用是使用指定的命令替换当前的 Shell，即使用一个进程替换当前进程，或者指定新的重定向 $ zsh # 先开启一个子 Shell $ exec 1>somefile # 使用exec替换当前进程的重定向，将标准输出重定向到一个文件 # 后面执行的命令的输出都将被重定向到文件中,直到退出当前子shell，或取消exec的重定向 $ ls $ exit $ cat somefile ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116621395) Shell中有9个文件描述符，上面只是使用了0,1,2号文件描述符，我们还可以使用3-8的文件描述符。可以使用下列命令查看Shell进程中打开的文件描述符：$ cd /dev/fd/;ls -Al；下面使用exec命令创建新的文件描述符： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116678386) 这个脚本用exec命令将文件描述符3重定向到另一个文件。当脚本执行echo语句时，输出内容会像预想中那样显示在STDOUT上，但重定向到文件描述符3的那行echo语句的输出却进入了另一个文件。这样就可以在显示器上保持正常的输出，而将特定信息重定向到文件中。关闭文件描述符使用如下命令：$ exec 3>&- $ cd /dev/fd;ls -Al;cd – 理解下面这段代码的作用，实际这段代码不会正常工作，请结合这一小节的知识分析这段代码没有正确工作的原因，并设法解决这个问题。 while read filename; do rm -iv $filename done <<(ls) 这是想把 ls 命令的输出也就是当前目录的文件列表逐行读取出来，然后使用 rm -iv 在获得许可的情况下删除他们，但是程序运行后，rm并没有获取到任何信息，也没有删除任何文件。这是因为rm -iv 期待用户从标准输入给出一个 y 或 n 的答案以确认是否删除，但标准输入被 <<(ls) 重定向了。于是 rm -iv 开始在 <<(ls) 里寻找答案。如果找不到 y 或者 n 就一直寻找下去，直到把 <<(ls) 的内容消耗完。这时在下一轮的循环中由于数据没有了， read 读不出数据，程序也就退出了。解决方法：先把标准输入复制一份出来，然后让 rm -iv 使用复制出来的标准输入。再把原来的标准输入重定向给 <<(ls)，程序如下：exec 3<&0 while read filename; do rm -iv $filename <&3 done < <(ls)。 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116686705) ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1958405-20220613-1655116696594) 由于在 exec 3<&0 放在了 < <(ls) 之前，描述符 3 很好地保留了原来的标准输入（也就是键盘输入）。之后再运行 rm 时，我们把通过 <&3 把 rm 自身的标准输入再重定向回键盘输入。 7.3实验总结通过实验让我学会了如何使用文本命令将文本中的信息替换合并等简单的文本操作，同时结合管道命令实现复杂的文本处理，使得文件之间的操作能更加高效，对我们以后的学习工作也很实用，可以减轻很多工作量。接着重定向的命令操作让我了解了如何通过重定向将输出输入定向到需要的地方，以便程序更好地执行。但实验中也明显地感觉到实验难度开始增加，命令复杂度也随之提高，需要更多练习和复习才能真正掌握其原理。

“Linux 系统应用实验-2022春”实验报告