• 输入输出

    shell

    标准输入

    将标准输入作为文件来读取

    diff 命令用于对比两个文件的内容：

    1

    diff ${file1} ${file2}

    有时我们需要将某个命令的输出，跟一个文件进行对比。这时可以先将命令输出重定向到一个临时文件，再进行对比：

    1
2
3
4
5

    ${some_command} > ${result_file}
diff ${the_file} ${result_file}

# 记得要及时清理临时文件！！！
rm ${result_file}

    但创建临时文件非常麻烦，用完还要记得清理，有更好的方式吗？当然有啦！

    1

    diff ${the_file} <(${some_command})
    阅读全文

  • 用base64命令做BASE64编码

    shell

    Shell 下可以用 base64 命令对数据进行 BASE64 编码，其用法很简单。

    编码

    1
2
3
4
5
6
7

    # 如果数据来自文件，直接指定文件路径
# 该命令将读取文件，对数据进行BASE64编码后输出到屏幕
base64 /path/to/file

# 如果数据来自其他命令的输出，通过管道传到base64命令的标准输入
# 该命令将从标准输入读取数据，并将BASE64编码的结果输出到屏幕
somecmd | base64
    阅读全文

  • 用expect实现交互式命令自动对话

    shell

    expect 是一个自动对话命令，可以编程实现与交互式命令的对话交互。

    交互式命令

    想要学习 expect 命令，掌握它的典型应用场景，我们需要先弄清楚：什么是交互式命令？

    Linux 系统中，绝大部分命令都是非交互式的常规命令。非交互式的命令一旦提交执行，它便默默地干活，执行完毕后输出结果。举个例子，我们执行 uname 命令，回车按下后不用再做任何输入：

    1
2

    $ uname
Linux

    uname 命令用于查看操作系统信息，例子输出表明这是一个 Linux 系统。

    交互式命令，顾名思义在命令执行期间，可能需要跟用户进行交互。举个例子，我们执行 apt 命令安装软件包，该命令询问是否继续，用户要输入 Y 之后它才会继续安装：

    阅读全文

  • 程序员首先要学会偷懒

    shell

    公司项目基本都用 gitlab-ci 实现自动集成部署，代码提交后自动触发 代码编译 、 容器构建 和 K8S部署 。

    最近将 gitlab-ci 权限开放给开发同学，自主将代码部署上测试环境，以便快速验证新功能。我们约定好通过 标签 （ tag ）来触发部署，只要推送了格式形如 cicd-x-nnn-MMddHHmm 的标签，就会触发自动部署。其中， nnn 代表开发者姓名拼音首字母，其后跟着日期时间。

    如果我想部署当前的代码 提交点 （ commit ），我只需按照约定打一个部署标签，然后推送到服务器：

    1
2

    git tag cicd-x-cyf-07171430
git push origin cicd-x-cyf-07171430

    很方便不是？

    但可能是我太懒了，还是觉得远远不够。首先，我感受到记忆标签格式的负担，记不住就得查；其次，我得大致看下时间，然后还得手工输入，这绝对不能忍……

    阅读全文

  • dd

    Shell Linux

    dd 命令用于拷贝文件数据，基本用法如下：

    1

    dd if=[输入文件] of=[输出文件] bs=1m count=1024
    • if ，指定输入文件；
    • of ，执行输出文件；
    • bs ，指定数据块大小；
    • count ，指定拷贝数据块个数；

    dd 命令打开输入文件读取数据，并写到输出文件。数据块大小由 bs 指定，读写块数由 count 指定，因此读写数据总量为 $bs \times count$ 。以上述命令为例，读写数据总量为 $1m \times 1024 = 1024m = 1g$ ，即 1GB 。

    • k ，即 KB ；
    • m ，即 MB ；
    • g ，即 GB ；
    阅读全文

  • 用socat转发端口

    网络 shell

    socat（ SOcket CAT ）是一个多用途双向套接字数据转接工具。

    socat 跟 NetCat 类似，但功能更强大，也更安全(支持 chroot )。它兼容多种协议，支持操作 文件 ( file )、 管道 ( pipe )、 设备 ( device )、 TCP 套接字、 Unix 套接字、 SOCKS 客户端、 CONNECT 代理以及 SSL 等等。

    安装

    Linux

    在 Linux 系统，使用包管理器进行安装，以 Debian/Ubuntu 为例：

    1

    apt update && apt install socat
    阅读全文

  • 用curl命令发送HTTP请求

    网络 shell

    curl 是一个用来发送网络请求的工具命令， 在 网络服务开发 以及 网络调试 中特别有用。 它支持的协议包括：

    • FTP
    • FTPS
    • HTTP
    • HTTPS
    • POP3
    • POP3S
    • SMTP
    • SMTPS
    • etc

    本文以 HTTP 协议为例，介绍 curl 命令的操作方式，及其在 Web 开发中的应用。

    发起请求

    给定一个 URL ， curl 对其发起请求并将响应数据输出到标准输出：

    1
2
3

    $ curl www.baidu.com
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
    阅读全文

  • 用ifconfig命令设置网卡

    网络 shell

    ifconfig 是一个用于 配置网卡 的工具命令。

    ifconfig 是一个古老的工具，现在有些过时了。更推荐使用 ip命令 ，这是网络配置工具的集大成者。

    状态查询

    ifconfig 不带任何参数即可查询当前所有已 启用（ up ）网卡的状态：

     1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

    $ ifconfig
eth1      Link encap:Ethernet  HWaddr 08:00:27:af:9e:56
                  inet addr:192.168.56.11  Bcast:192.168.56.255  Mask:255.255.255.0
                  inet6 addr: fe80::a00:27ff:feaf:9e56/64 Scope:Link
                  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
                  RX packets:154299 errors:0 dropped:0 overruns:0 frame:0
                  TX packets:147277 errors:0 dropped:0 overruns:0 carrier:0
                  collisions:0 txqueuelen:1000
                  RX bytes:11778201 (11.7 MB)  TX bytes:141390329 (141.3 MB)

lo        Link encap:Local Loopback
                  inet addr:127.0.0.1  Mask:255.0.0.0
                  inet6 addr: ::1/128 Scope:Host
                  UP LOOPBACK RUNNING  MTU:16436  Metric:1
                  RX packets:96 errors:0 dropped:0 overruns:0 frame:0
                  TX packets:96 errors:0 dropped:0 overruns:0 carrier:0
                  collisions:0 txqueuelen:0
                  RX bytes:8692 (8.6 KB)  TX bytes:8692 (8.6 KB)
    阅读全文

  • 用iperf测量网络吞吐速率

    网络 shell

    iperf 是一个用来 测量网络吞吐 的工具。它既可以测量 TCP 吞吐，也可以测量 UDP 吞吐。使用 iperf 测量网络吞吐，用户需要一个接收并忽略流量的服务端以及一个生成测试流量的客户端。

    下文以 TCP 为例，演示使用 iperf 测量从 BlueServer 到 RedServer 的网络带宽：

    服务端

    在 RedServer 服务器上，运行 iperf 命令启动服务端：

    1
2
3
4
5

    fasion@RedServer:~$ iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------

    注意到， iperf 服务端默认监听 5001 端口， TCP 窗口大小为 85.3 KB 。用户可根据需要调整，详情请查看 Man文档 。

    阅读全文

  • 黑客工具箱必备命令nc

    网络 shell

    nc 是一个简单但功能很强大的工具，在 网络调试 中非常有用。

    管理员可以用 nc 干很多事情，包括：

    除此之外，还有很多很多。

    网络测试

    网络配置变更后，需要测试效果。

    举个例子，用 iptables 配置端口转发后，需要确认转发效果。

    阅读全文