Cilium host-Reachable Services

Host-Reachable

简介

Host-Reachable

Host-Reachable 是在同一集群内部，通过 sevice 访问的东西流量的一种配置，我们可以通过这种类似直接到达目的 pod ，而不经过 kube-proxy 的 nat 的方式进行提供东西方向的流量。

为了方便演示，我们使用的 NodePort 类型的方式进行抓包。

引用官方文档的一句话：

Host-reachable services act transparent to Cilium’s lower layer datapath in that upon connect system call (TCP, connected UDP) or sendmsg as well as recvmsg (UDP) the destination IP is checked for an existing service IP and one of the service backends is selected as a target, meaning, while the application is assuming its connection to the service address, the corresponding kernel’s socket is actually connected to the backend address and therefore no additional lower layer NAT is required.

大概意思就是：

Host-reachable services 对 Cilium 的底层数据通路是透明的，在连接系统调用(TCP、UDP)或者发送和接收 msg 的时候，目的 ip 被检查为现有的服务 IP，并选择服务后端之一作为目标，这意味着，当应用程序假定其连接到服务地址时，相应的内核的套接字实际上连接到后端地址，因为不需要额外的下层 NAT。

部署方式

在 native-routing 模式的基础上进行更改测试

增加选项

enable-host-reachable-services: "true"

演示前提

client-pod node-1 对应图中 pod1

cni-test node-2 对应图中 service pod

我们在 client-pod 所在节点 curl cni-test 的 svc，看报文的地址是否是直达的 node-2 节点

root@master:_{# kubectl get pod -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESclient-pod-64d766778d-zdtrg 1/1 Running 0 41s 10.0.0.24 node-1.whale.com cni-test-777bbd57c8-xsgx4 1/1 Running 0 5m3s 10.0.2.194 node-2.whale.com root@master:}# kubectl get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEcni-test NodePort 10.104.131.26 80:30121/TCP 5m4skubernetes ClusterIP 10.96.0.1 443/TCP 10d# client-pod 网卡对应关系root@master:_{# kubectl -n kube-system exec -it cilium-9ksqt -- cilium bpf endpoint list | grep "10.0.0.24"Defaulted container "cilium-agent" out of: cilium-agent, mount-cgroup (init), clean-cilium-state (init)10.0.0.24:0 id=1248 flags=0x0000 ifindex=13 mac=32:B1:37:AF:8B:55 nodemac=2A:8F:6D:A1:AC:0B # cni-test 网卡对应关系root@master:}# kubectl -n kube-system exec -it cilium-nxjmn -- cilium bpf endpoint list | grep "10.0.2.194"Defaulted container "cilium-agent" out of: cilium-agent, mount-cgroup (init), clean-cilium-state (init)10.0.2.194:0 id=1218 flags=0x0000 ifindex=11 mac=66:81:01:06:06:2E nodemac=D6:97:82:C0:43:C9

# client-pod 对应 lxc 网卡root@node-1:_{# ip link show | grep "^13"13: lxc2dc106b03723@if12: mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000# cni-test 对应 lxc 网卡root@node-2:}# ip link show | grep 1111: lxc172dc1c8e33d@if10: mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000

抓包测试

东西流量抓包

client-pod 通过 nodeport 访问 cni-test

root@master:~# kubectl exec -it client-pod-64d766778d-zdtrg -- curl 192.168.0.120:30121Welcome to nginx!