Total Pageviews

Monday, 4 March 2013

tcpdump - 分析封包流向與運作狀態


一般你可以使用wireshark來監控網路設備的流向

但是如果在嵌入式系統端
沒有這樣強大的工具

你可以使用tcpdump來達到

tcpdump -i eth0

監控eth0的網路狀態
Ref:
http://linux.vbird.org/linux_server/0140networkcommand.php#tcpdump
------
相关帖子:http://www.briten.info/2013/08/tcpdump-permission-denied.html
-------

tcpdump命令详解


简介
用简单的话来定义tcpdump,就是:dump the traffic on a network,根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
实用命令实例
默认启动
tcpdump
普通情况下,直接启动tcpdump将监视第一个网络接口上所有流过的数据包。
监视指定网络接口的数据包
tcpdump -i eth1
如果不指定网卡,默认tcpdump只会监视第一个网络接口,一般是eth0,下面的例子都没有指定网络接口。
监视指定主机的数据包
打印所有进入或离开sundown的数据包.
tcpdump host sundown
也可以指定ip,例如截获所有210.27.48.1的主机收到的和发出的所有的数据包
tcpdump host210.27.48.1
打印helios 与 hot 或者与 ace 之间通信的数据包
tcpdump host helios and \( hot or ace \)
截获主机210.27.48.1和主机210.27.48.2或210.27.48.3的通信
tcpdump host 210.27.48.1 and \ (210.27.48.2 or 210.27.48.3 \)
打印ace与任何其他主机之间通信的IP 数据包, 但不包括与helios之间的数据包.
tcpdump ip host ace and not helios
如果想要获取主机210.27.48.1除了和主机210.27.48.2之外所有主机通信的ip包,使用命令:
tcpdump ip host 210.27.48.1 and ! 210.27.48.2
截获主机hostname发送的所有数据
tcpdump -i eth0 src host hostname
监视所有送到主机hostname的数据包
tcpdump -i eth0 dst host hostname

监视指定主机和端口的数据包
如果想要获取主机210.27.48.1接收或发出的telnet包,使用如下命令
tcpdump tcp port23 andhost210.27.48.1
对本机的udp 123端口进行监视123为ntp的服务端口
tcpdump udp port 123
监视指定网络的数据包
打印本地主机与Berkeley网络上的主机之间的所有通信数据包(nt: ucb-ether, 此处可理解为'Berkeley网络'的网络地址,此表达式最原始的含义可表达为: 打印网络地址为ucb-ether的所有数据包)
tcpdump net ucb-ether
打印所有通过网关snup的ftp数据包(注意, 表达式被单引号括起来了, 这可以防止shell对其中的括号进行错误解析)
tcpdump'gateway snup and (port ftp or ftp-data)'
打印所有源地址或目标地址是本地主机的IP数据包
(如果本地网络通过网关连到了另一网络, 则另一网络并不能算作本地网络.(nt: 此句翻译曲折,需补充).localnet 实际使用时要真正替换成本地网络的名字)
tcpdump ip and not net localnet
监视指定协议的数据包
打印TCP会话中的的开始和结束数据包, 并且数据包的源或目的不是本地网络上的主机.(nt: localnet, 实际使用时要真正替换成本地网络的名字))
tcpdump'tcp[tcpflags] & (tcp-syn|tcp-fin) != 0 and not src and dst net localnet'
打印所有源或目的端口是80, 网络层协议为IPv4, 并且含有数据,而不是SYN,FIN以及ACK-only等不含数据的数据包.(ipv6的版本的表达式可做练习)
tcpdump'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2 -="" amp="" tcp="" xf0="">>2)) != 0)'
(nt: 可理解为, ip[2:2]表示整个ip数据包的长度, (ip[0]&0xf)<<2 amp="" bit="" ip="" p="" xf="">成字节数需要乘以4, 即左移2. (tcp[12]&0xf0)>>4 表示tcp头的长度, 此域的单位也是32bit, 换算成比特数为 ((tcp[12]&0xf0) >> 4) << 2,
即 ((tcp[12]&0xf0)>>2). ((ip[2:2] - ((ip[0]&0xf)<<2 -="" amp="" tcp="" xf0="">>2)) != 0 表示: 整个ip数据包的长度减去ip头的长度,再减去
tcp头的长度不为0, 这就意味着, ip数据包中确实是有数据.对于ipv6版本只需考虑ipv6头中的'Payload Length' 与 'tcp头的长度'的差值, 并且其中表达方式'ip[]'需换成'ip6[]'.)
打印长度超过576字节, 并且网关地址是snup的IP数据包
tcpdump'gateway snup and ip[2:2] > 576'
打印所有IP层广播或多播的数据包, 但不是物理以太网层的广播或多播数据报
tcpdump'ether[0] & 1 = 0 and ip[16] >= 224'
打印除'echo request'或者'echo reply'类型以外的ICMP数据包( 比如,需要打印所有非ping 程序产生的数据包时可用到此表达式 .
(nt: 'echo reuqest' 与 'echo reply' 这两种类型的ICMP数据包通常由ping程序产生))
tcpdump'icmp[icmptype] != icmp-echo and icmp[icmptype] != icmp-echoreply'

tcpdump 与wireshark
Wireshark(以前是ethereal)是Windows下非常简单易用的抓包工具。但在Linux下很难找到一个好用的图形化抓包工具。
还好有Tcpdump。我们可以用Tcpdump + Wireshark 的完美组合实现:在 Linux 里抓包,然后在Windows 里分析包。
tcpdump tcp -i eth1 -t -s 0 -c 100 and dst port ! 22 and src net 192.168.1.0/24 -w ./target.cap
(1)tcp: ip icmp arp rarp 和 tcp、udp、icmp这些选项等都要放到第一个参数的位置,用来过滤数据报的类型
(2)-i eth1 : 只抓经过接口eth1的包
(3)-t : 不显示时间戳
(4)-s 0 : 抓取数据包时默认抓取长度为68字节。加上-S 0 后可以抓到完整的数据包
(5)-c 100 : 只抓取100个数据包
(6)dst port ! 22 : 不抓取目标端口是22的数据包
(7)src net 192.168.1.0/24 : 数据包的源网络地址为192.168.1.0/24
(8)-w ./target.cap : 保存成cap文件,方便用ethereal(即wireshark)分析

使用tcpdump抓取HTTP包
tcpdump  -XvvennSs 0 -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854
0x4745 为"GET"前两个字母"GE",0x4854 为"HTTP"前两个字母"HT"。
tcpdump 对截获的数据并没有进行彻底解码,数据包内的大部分内容是使用十六进制的形式直接打印输出的。显然这不利于分析网络故障,通常的解决办法是先使用带-w参数的tcpdump 截获数据并保存到文件中,然后再使用其他程序(如Wireshark)进行解码分析。当然也应该定义过滤规则,以避免捕获的数据包填满整个硬盘。
输出信息含义
首先我们注意一下,基本上tcpdump总的的输出格式为:系统时间 来源主机.端口 > 目标主机.端口 数据包参数
tcpdump 的输出格式与协议有关.
---------

使用tcpdump与ngrep

各版本 http://www.tcpdump.org/release/

安装依赖 yum install -y flex gcc make byacc or apt-get install flex gcc make byacc wget bzip2

cd /tmp
wget http://www.tcpdump.org/release/libpcap-1.7.4.tar.gz
tar zxf libpcap-1.7.4.tar.gz
cd libpcap-1.7.4
./configure --prefix=/tmp/lib
make -j4 && make install
cd ../
wget http://www.tcpdump.org/release/tcpdump-4.7.4.tar.gz
tar zxf tcpdump-4.7.4.tar.gz
cd tcpdump-4.7.4
./configure --prefix=/tmp  --disable-ipv6 CFLAGS='-O3 -I/tmp/lib/include' LDFLAGS='-L/tmp/lib/lib/libpcap.a'
make -j4
make install

安装成功后,位于ls -lh /tmp/sbin/tcpdump ldd查看此文件依赖较少,可直接复制到其他Linux上使用.

采用CFLAGS="-O3"编译后为1.2MB

tcpdump -h 查看版本号以及用法。

也可以直接yum install tcpdump

使用tcpdump

-a    将网络地址和广播地址转变成名字;

-d    将匹配信息包的代码以人们能够理解的汇编格式给出;

-dd    将匹配信息包的代码以c语言程序段的格式给出;

-ddd   将匹配信息包的代码以十进制的形式给出;

-e    在输出行打印出数据链路层的头部信息;

-f    将外部的Internet地址以数字的形式打印出来;

-l    使标准输出变为缓冲行形式;

-n    不把网络地址转换成名字;

-t    在输出的每一行不打印时间戳;

-v    输出一个稍微详细的信息,例如在ip包中可以包括ttl和服务类型的信息;

-vv    输出详细的报文信息;

-c    在收到指定的包的数目后,tcpdump就会停止;

-F    从指定的文件中读取表达式,忽略其它的表达式;

-i    指定监听的网络接口;

-r    从指定的文件中读取包(这些包一般通过-w选项产生);

-w    直接将包写入文件中,并不分析和打印出来;

-T    将监听到的包直接解释为指定的类型的报文,常见的类型有rpc (远程过程调用)和snmp(简单网络管理协议;

tcpdump host 210.27.48.1

sudo tcpdump host media.suconghou.cn -v -X -X 能查看每个TCP报文的十六进制对照

sudo tcpdump host media.suconghou.cn -v -A -A 能查看每个TCP报文的数据

tcpdump -i venet0:0 port not 22 and port not 53 and port not 27897 and port not 111

tcpdump tcp -n -c 90 -v -X -i venet0:0 port not 22 and port not 53 and port not 27897 and port not 111

-A-X有助于你查看详细的报文数据

tcpdump 对截获的数据并没有进行彻底解码,数据包内的大部分内容是使用十六进制的形式直接打印输出的。

ngrep 对于http数据解析更加清晰.

ngrep

ngrep 编译总是出问题,建议直接安装:apt-get install ngrep yum install ngrep

如果更关注于TCP流量内容,可以使用ngrep,他是grep命令的网络版,同样需要libpcap库,能识别TCP、UDP和ICMP包,理解bpf的过滤机制

ngrep -W byline -d eno1 port 80

用-d指定网卡,使用ifconfig可以查看网卡信息

-e :显示空数据包
-i :忽略大小写
-v :反转匹配
-R :don't do privilege revocation logic
-x :以16进制格式显示
-X :以16进制格式匹配
-w :整字匹配
-p :不使用混杂模式
-l :make stdout line buffered
-D :replay pcap_dumps with their recorded time intervals
-t :在每个匹配的包之前显示时间戳
-T :显示上一个匹配的数据包之间的时间间隔
-M :仅进行单行匹配
-I :从文件中读取数据进行匹配
-O :将匹配的数据保存到文件
-n :仅捕获指定数目的数据包进行查看
-A :匹配到数据包后dump随后的指定数目的数据包
-s :set the bpf caplen
-S :set the limitlen on matched packets
-W :设置显示格式byline将解析包中的换行符
-c :强制显示列的宽度
-q :is be quiet (don’t print packet reception hash marks)静默模式,如果没有此开关,未匹配的数据包都以"#"显示
-P :set the non-printable display char to what is specified
-F :使用文件中定义的bpf(Berkeley Packet Filter)
-N :显示由IANA定义的子协议号
-d :使用哪个网卡,可以用-L选项查询
-L :查询网卡接口

如果需要匹配关键字可以在-d参数之后, port 参数之前添加字符串匹配

同时可以使用-i忽略大小写,-w整字匹配等

sudo ngrep -W byline -d en0 -iw "easy" port 80

还可以使用这种过滤 host www.google.com and port 80

抓本机eth0 与192.168.1.9的通信信息,并且以行来打印出来

ngrep -q -d eth0 -W byline host 192.168.1.9

抓本机与192.168.1.8的通信端口为80(本机)的信息

ngrep -q -W byline host 192.168.1.8 and port 80

抓本机与192.168.1.8和192.168.1.9的通信,并且本地端口为80

ngrep -q -W byline host 192.168.1.8 or host 192.168.1.9 port 80

ngrep 不仅可以抓包TCP,还可以抓包UDP

抓包udp的137端口

sudo ngrep -W byline  ''  udp

sudo ngrep -W byline  ''  tcp

sudo ngrep -W byline -qd any '' udp port 137

sudo ngrep -W byline  '' udp src port 137
sudo ngrep -W byline  '' udp dst port 137

抓包TCP端口8080 , 并包含关键字http sudo ngrep -W byline -qd any 'http' tcp port 8080

sudo ngrep -W byline -qd any '' host 127.0.0.1 and tcp port 8080

具体使用见 http://man.linuxde.net/ngrep

注意:要捕获127.0.0.1的流量,需要设定 -d any 检查所有网卡

tcpflow

tcpflow -ci docker0

其中 -c 表示将报文直接打印在 terminal 中。不指定 -c 参数会将抓取的 TCP 报文保存在文件中。 -i 表示你要监听的网络端口。 假如你不指定 -c 参数, tcpflow 会将每个 TCP 流的数据存储在他自己的文件中

在docker0 网卡, 172.17.0.4:6060 端口接受和响应的数据

tcpflow -i docker0 host 172.17.0.4 and port 6060

读取已有的 pcap 文件

tcpflow -cr test.pcap

可以将 pcap 包打印到 terminal 中。当然你也可以将 TCP 流保存在文件中

tcpflow -r test.pcap


# 过滤经过 192.168.1.202 的流量:
tcpflow -i any host 192.168.1.202

# 过滤从主机 192.168.1.202 发出的流量:
tcpflow -i any src host 192.168.1.202

# 过滤从主机 192.168.1.202 发出的流量并且端口号为 80:
tcpflow -i any src host 192.168.1.202 and port 80

# 过滤固定端口的流量:
tcpflow -i en0 any port 443 or port 80

# 过滤主机 192.168.1.202 端口为 80 或 443 的流量:
tcpflow -i en0 'host 192.168.1.202 and (port 80 or port 443)'

sudo tcpflow -i docker0 port not 443

tcpflow -i eth0 ‘( host live.xx.cn or host v1.tuwenzhibo.com )’

tcpflow -i eth0 ‘( host v1.tuwenzhibo.com )’

find . -type f -size +1k | xargs rm -f

find . -type f -size 157b