linux cpu占用率如何看
256
2022-10-27
kubernetes(十七) Helm V3 入门到放弃
helm
为什么要使用helm
K8S上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。
如果应用只由一个或几个这样的服务组成,上面部署方式足够了。
而对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务架构应用,组成应用的服务可能多达十个,几十个。如果有更新或回滚应用的需求,可能要修改和维护所涉及的大量资源文件,而这种组织和管理应用的方式就显得力不从心了。
且由于缺少对发布过的应用版本管理和控制,使Kubernetes上的应用维护和更新等面临诸多的挑战,主要面临以下问题:
如何将这些服务作为一个整体管理 这些资源文件如何高效复用 不支持应用级别的版本管理
Helm 介绍
Helm是一个Kubernetes的包管理工具,就像Linux下的包管理器,如yum/apt等,可以很方便的将之前打包好的yaml文件部署到kubernetes上。
Helm有3个重要概念:
helm:一个命令行客户端工具,主要用于Kubernetes应用chart的创建、打包、发布和管理。 Chart:应用描述,一系列用于描述 k8s 资源相关文件的集合。 Release:基于Chart的部署实体,一个 chart 被 Helm 运行后将会生成对应的一个 release;将在k8s中创建出真实运行的资源对象。
Helm V3变化
2019年11月13日, Helm团队发布 Helm v3的第一个稳定版本。
该版本主要变化如下:
1、 架构变化
最明显的变化是 Tiller的删除
2、Release名称可以在不同命名空间重用
3、支持将 Chart 推送至 Docker 镜像仓库中
4、使用JSONSchema验证chart values
5、其他
1)为了更好地协调其他包管理者的措辞 Helm CLI个别更名
helm delete` 更名为 `helm uninstall helm inspect` 更名为 `helm show helm fetch` 更名为 `helm pull
但以上旧的命令当前仍能使用。
2)移除了用于本地临时搭建 Chart Repository的 helm serve 命令。
3)自动创建名称空间
在不存在的命名空间中创建发行版时,Helm 2创建了命名空间。Helm 3遵循其他Kubernetes对象的行为,如果命名空间不存在则返回错误。
4) 不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义。
Helm客户端
helm 客户端的部署
Helm客户端下载地址:https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz tar zxvf helm-v3.2.4-linux-amd64.tar.gz mv linux-amd64/helm /usr/bin/
helm 常见的命令
命令 | 描述 |
---|---|
create | 创建一个chart并指定名字 |
dependency | 管理chart依赖 |
get | 下载一个release。可用子命令:all、hooks、manifest、notes、values |
history | 获取release历史 |
install | 安装一个chart |
list | 列出release |
package | 将chart目录打包到chart存档文件中 |
pull | 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar |
repo | 添加,列出,移除,更新和索引chart仓库。可用子命令:add、index、list、remove、update |
rollback | 从之前版本回滚 |
search | 根据关键字搜索chart。可用子命令:hub、repo |
show | 查看chart详细信息。可用子命令:all、chart、readme、values |
status | 显示已命名版本的状态 |
template | 本地呈现模板 |
uninstall | 卸载一个release |
upgrade | 更新一个release |
version | 查看helm客户端版本 |
配置国内Chart仓库
微软仓库(http://mirror.azure.cn/kubernetes/charts/)这个仓库推荐,基本上官网有的chart这里都有。 阿里云仓库( ) 官方仓库(helm repo add azure http://mirror.azure.cn/kubernetes/charts $ helm repo add aliyun helm repo list NAME URL azure aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts $ helm search repo azure
一直在stable存储库中安装charts,你可以配置其他存储库。
删除存储库:
$ helm repo remove aliyun
helm 的基本使用
主要介绍三个命令:
chart install: 部署 chart upgrade: 升级 chart rollback: 回滚
使用helm 部署一个应用
部署weave界面
$ export KUBERNETES_MASTER=http://127.0.0.1:8080 $ helm search repo weave $ helm install k8s-ui azure/weave-scope $ helm list #列出helm部署应用 $ helm status k8s-ui #查看状态 #如果要浏览器本地访问,需要设置svc为NodePort
部署mysql
$ helm search repo mysql $ helm install db azure/mysql #这样不能成功,因为mysql需要pv,所以一直处于pending状态 $ cat pv01.yml apiVersion: v1 kind: PersistentVolume metadata: name: pv01 spec: capacity: storage: 16Gi volumeMode: Filesystem accessModes: - ReadWriteMany nfs: path: /ifs/kubernetes/pv01 server: 192.168.56.14 $ kubectl apply -f pv01.yml $ kubectl run mysql-client -it --rm --image=mysql:5.7 -- bash #测试数据库 mysql -h db1-mysql -pdSt9QIYNGF
查看chart的values和values设置
$ helm show values azure/mysql #查看values $ helm pull azure/mysql --untar #可以直接下载chart之后再看 $ helm install db1 --set persistence.storageClass="managed-nfs-storage" azure/mysql $ kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo #获取登陆密码 dSt9QIYNGF
values yaml与set使用:
$ helm pull azure/mysql --untar && cat mysql/values.yml
persistence:
enabled: true
## database data Persistent Volume Storage Class
## If defined, storageClassName:
创建一个helm chart
$ cd ~/lesson/helm/ $ helm create mychart $ tree mychart/ mychart/ ├── charts #目录里存放这个chart依赖的所有子chart。 ├── Chart.yaml #用于描述这个 Chart的基本信息,包括名字、描述信息以及版本等。 ├── templates #目录里面存放所有yaml模板文件。 │ ├── deployment.yaml │ ├── _helpers.tpl #放置模板助手的地方,可以在整个 chart 中重复使用 │ ├── hpa.yaml │ ├── ingress.yaml │ ├── NOTES.txt #用于介绍Chart帮助信息, helm install 部署后展示给用户。例如:如何使用这个 Chart、列出缺省的设置等。 │ ├── serviceaccount.yaml │ ├── service.yaml │ └── tests │ └── test-connection.yaml └── values.yaml #用于存储 templates 目录中模板文件中用到变量的值。 $ helm install web1 mychart #直接部署
打包推送的charts仓库共享别人使用。
$ helm package mychart Successfully packaged chart and saved it to: /root/lesson/helm/mychart-0.1.0.tgz
升级,回滚和删除
发布新版本的chart时,或者当您要更改发布的配置时,可以使用该helm upgrade 命令。
Chart模板配置
起始环境yml准备
$ mkdir ~/lesson/helm/demo2 -p && cd ~/lesson/helm/demo2 $ kubectl create deploy nginx --image=nginx:1.16 --dry-run=client -o yaml > deployment.yml $ vim deployment.yml apiVersion: apps/v1 kind: Deployment metadata: labels: app: nginx name: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - image: nginx:1.16 name: nginx $ kubectl create deploy nginx --image=nginx:1.16 $ kubectl expose deploy nginx --port=80 --target-port=80 --type=NodePort nginx --dry-run=client -o yaml > service.yaml $ vim service.yaml apiVersion: v1 kind: Service metadata: labels: app: nginx name: nginx spec: ports: - port: 80 protocol: TCP targetPort: 80 selector: app: nginx type: NodePort
按照上述配置放入helm
$ cd ~/lesson/helm/mychart/templates/ && rm -fr * $ mv ~/lesson/helm/demo2/* ./
helm 发布升级和回滚
$ helm install web1 mychart #发布 $ vim mychart/values.yml image: repository: nginx pullPolicy: IfNotPresent # Overrides the image tag whose default is the chart appVersion. tag: "1.16" $ vim mychart/templates/deploy.yaml - image: {{ .Values.image.repository }}:{{ .Values.image.tag }} name: nginx $ helm upgrade web1 mychart --set image.tag="1.17" #手动指定版本升级 $ helm history web1 #查看历史 $ kubectl get pod,svc #获取svc ip $ curl 10.0.0.231 -I #测试svc返回的nginx是1.17 $ helm rollback web1 1 #回滚到1版本 $ curl 10.0.0.231 -I #测试svc返回的nginx是1.16
打包推送的charts仓库共享别人使用。
$ helm package mychart Successfully packaged chart and saved it to: /root/lesson/helm/mychart-0.1.0.tgz $ helm install mychart-0.1.0.tgz #其他人也能安装使用 $ helm uninstall web1 #卸载应用
chart 模板
一个deployment.yaml 部署多个应用,有哪些字段需要修改:
刚刚我们使用 {{.Release.Name}}
将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象,下面是一些常用的内置对象:
Release.Name | release 名称 |
---|---|
Release.Name | release 名字 |
Release.Namespace | release 命名空间 |
Release.Service | release 服务的名称 |
Release.Revision | release 修订版本号,从1开始累加 |
$ vim mychart/values.yaml replicaCount: 1 image: repository: nginx pullPolicy: IfNotPresent tag: "1.16" labels: project: www app: ms service: type: NodePort port: 80 targetport: 80 $ vim mychart/templates/deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: {{ .Release.Name }} spec: replicas: {{ .Values.replicaCount }} selector: matchLabels: project: {{ .Values.labels.project }} app: {{ .Values.labels.app }} template: metadata: labels: project: {{ .Values.labels.project }} app: {{ .Values.labels.app }} spec: containers: - image: {{ .Values.image.repository }}:{{ .Values.image.tag }} name: nginx $ vim mychart/templates/service.yaml apiVersion: v1 kind: Service metadata: name: service-{{ .Release.Name }} spec: ports: - port: {{ .Values.service.port }} protocol: TCP targetPort: {{ .Values.service.targetport }} selector: project: {{ .Values.labels.project }} app: {{ .Values.labels.app }} type: {{ .Values.service.type }} $ vim mychart/templates/NOTES.txt --- Shell: export NODE_PORT=$(kubectl get --namespace {{ .Release.Namespace }} -o jsonpath="{.spec.ports[0].nodePort}" services service-{{ .Release.Name }}) echo http://NODE_IP:$NODE_PROT $ helm install web mychart --dry-run #测试执行 $ helm install web mychart #直接安装,即可使用 $ helm show values mychart #查看values $ helm install web mychart --dry-run --set image.tag="1.17" --set image.repository="apache" #测试渲染资源参数 $ helm install web2 mychart/ --set image.repository="lizhenliang/java-demo" --set image.tag="latest" --set labels.app="ms2" --set service.targetport="8080" #多应用部署
调试使用--dry-run
Values
Values对象是为Chart模板提供值,这个对象的值有4个来源:
chart 包中的 values.yaml 文件 父 chart 包的 values.yaml 文件 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件 通过 --set 参数传入的值
chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖,而该文件同样可以被 --set提供的参数所覆盖。
管道与函数
前面讲的模块,其实就是将值传给模板引擎进行渲染,模板引擎还支持对拿到数据进行二次处理。
例如从.Values中读取的值变成字符串,可以使用quote函数实现:
$ vim mychart/values.yaml nodeSelector: disktype: ssd $ vim mychart/templates/deployment.yaml spec: nodeSelector: disktype: {{ quote .Values.nodeSelector.disktype }} gpu: {{ .Values.nodeSelector.gpu | default "yes" }} containers: $ helm install web3 mychart/ --dry-run
其他函数:
缩进:{{ .Values.resources | indent 12 }}
大写:{{ upper .Values.resources }}
首字母大写:{{ title .Values.resources }}
流程控制
流程控制是为模板提供了一种能力,满足更复杂的数据逻辑处理。
Helm模板语言提供以下流程控制语句:
if/else 条件块 with 指定范围 range 循环块
if
if/else块是用于在模板中有条件地包含文本块的方法,条件块的基本结构如下:
{{ if PIPELINE }} # Do something {{ else if OTHER PIPELINE }} # Do something else {{ else }} # Default case {{ end }}
实例
$ vim mychart/values.yaml labels: project: www app: ms devops: k8s $ vim mychart/templates/deployment.yaml template: metadata: labels: project: {{ .Values.labels.project }} app: {{ .Values.labels.app }} {{- if eq .Values.labels.devops "k8s" }} devops: 123 {{- else }} devops: 456 {{- end }}
语句中的-是为了消除空行,在左侧是删除空行,[右侧是同行,比较少用]
条件判断就是判断条件是否为真,如果值为以下几种情况则为false:
一个布尔类型的 false 一个数字 零 一个 空的字符串 一个空的集合( map、 slice、 tuple、 dict、 array)
除了上面的这些情况外,其他所有条件都为 真。
例如,判断一个空的数组
$ vim mychart/values.yaml resources: {} # limits: # cpu: 100m # memory: 128Mi # requests: # cpu: 100m # memory: 128Mi $ vim mychart/templates/deployment.yaml .... spec: nodeSelector: disktype: {{ quote .Values.nodeSelector.disktype }} gpu: {{ .Values.nodeSelector.gpu | default "yes" }} containers: - image: {{ .Values.image.repository }}:{{ .Values.image.tag }} name: nginx {{- if .Values.resources }} resources: {{ toYaml .Values.resources | indent 10 }} {{- else }} resources: {} {{- end }} $ helm install web1 mychart --dry-run # 调试解析字段 $ vim mychart/values.yaml #去掉注释和resources后面的{} resources: limits: cpu: 100m memory: 128Mi requests: cpu: 100m memory: 128Mi $ helm install web1 mychart --dry-run
开关实现
$ vim mychart/values.yaml ingress: enabled: false host: example.cropy.cn $ vim mychart/templates/ingress.yaml {{- if .Values.ingress.enabled -}} apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: {{ .Release.Name }}-ingress spec: rules: - host: {{ .Values.ingress.host }} http: paths: - path: / backend: serviceName: {{ .Release.Name }} servicePort: {{ .Values.service.port }} {{ end }} $ helm install web1 mychart --dry-run
range
在 Helm 模板语言中,使用 range关键字来进行循环操作。
$ vim mychart/values.yaml test: - 1 - 2 - 3 $ vim mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: {{ .Release.Name }} data: test: | {{- range .Values.test }} {{ . }} {{- end }} $ helm install web1 mychart --dry-run
with
控制变量的作用域,也可以使用toYaml
还记得之前我们的 {{.Release.xxx}}或者 {{.Values.xxx}}吗?其中的 .就是表示对当前范围的引用, .Values就是告诉模板在当前范围中查找 Values对象的值。而 with语句就可以来控制变量的作用域范围,其语法和一个简单的 if语句比较类似:
$ vim mychart/values.yaml nodeSelector: disktype: ssd gpu: ok $ vim mychart/templates/deployment.yaml {{- with .Values.nodeSelector }} nodeSelector: disktype: {{ .disktype }} gpu: {{ .gpu }} {{- end }} $ helm install web1 mychart --dry-run ### toYaml 格式 $ vim mychart/templates/deployment.yaml {{- with .Values.nodeSelector }} nodeSelector: {{- toYaml . | nindent 8 }} {{- end }} $ helm install web1 mychart --dry-run
上面增加了一个{{- with .Values.nodeSelector}} xxx {{- end }}的一个块,这样的话就可以在当前的块里面直接引用 .team和 .gpu了。
with是一个循环构造。使用.Values.nodeSelector中的值:将其转换为Yaml。
toYaml之后的点是循环中.Values.nodeSelector的当前值
变量
接下来学习一个语言中基本的概念:变量,在模板中,使用变量的场合不多,但我们将看到如何使用它来简化代码,并更好地利用with和range
问题1:获取数组键值
$ vim mychart/values.yaml env: NAME: "gateway" JAVA_OPTS: "-Xmx1G" $ vim mychart/templates/deployment.yaml - image: {{ .Values.image.repository }}:{{ .Values.image.tag }} name: nginx env: {{- range $k,$v := .Values.env }} - name: {{ $k }} value: {{ $v | quote }} {{- end }} $ helm install web1 mychart --dry-run
上面在 range循环中使用 $key和 $value两个变量来接收后面列表循环的键和值。
问题2:with中不能使用内置对象
with语句块内不能再 .Release.Name对象,否则报错。
我们可以将该对象赋值给一个变量可以来解决这个问题:
错误配置
$ vim mychart/templates/deployment.yaml spec: {{- with .Values.nodeSelector }} nodeSelector: {{- toYaml . | nindent 8 }} gpu: ok{{ .Release.Name }} {{- end }} $ helm install web1 mychart --dry-run Error: template: mychart/templates/deployment.yaml:25:26: executing "mychart/templates/deployment.yaml" at <.Release.Name>: nil pointer evaluating interface {}.Name
使用变量引用
$ vim mychart/templates/deployment.yaml spec: {{- $releaseName := .Release.Name -}} {{- with .Values.nodeSelector }} nodeSelector: {{- toYaml . | nindent 8 }} gpu: ok{{ $releaseName }} {{- end }} $ vim mychart/templates/deployment.yaml
可以看到在 with语句上面增加了一句 {{-$releaseName:=.Release.Name-}},其中 $releaseName就是后面的对象的一个引用变量,它的形式就是 $name,赋值操作使用 :=,这样 with语句块内部的 $releaseName变量仍然指向的是 .Release.Name
命名模板
需要复用代码的地方用。
命名模板:使用define定义,template引入,在templates目录中默认下划线_开头的文件为公共模板(_helpers.tpl)
$ vim mychart/templates/_helpers.tpl {{- define "demo.fullname" -}} {{- .Chart.Name -}}-{{ .Release.Name }} {{- end -}} {{- define "demo.labels" -}} app: {{ template "demo.fullname" . }} chart: "{{ .Chart.Name }}-{{ .Chart.Version }}" release: "{{ .Release.Name }}" {{- end -}} $ mychart/templates/deployment.yaml metadata: name: {{ include "demo.fullname" . }} labels: {{- include "demo.labels" . | nindent 4 }} $ helm install web1 mychart --dry-run
template指令是将一个模板包含在另一个模板中的方法。但是,template函数不能用于Go模板管道。为了解决该问题,增加include功能。
开发Chart: java示例
开发Chart大致流程:
先创建模板 helm create demo 修改Chart.yaml,Values.yaml,添加常用的变量 在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段
先创建模板
$ cd ~/lesson/helm/ $ helm create demo
修改Chart.yaml,Values.yaml,添加常用的变量
修改values.yaml
$ cd ~/lesson/helm/demo/ && vim values.yaml replicaCount: 1 image: repository: lizhenliang/java-demo tag: "latest" service: type: ClusterIP port: 80 targetport: 8080 ingress: enabled: false annotations: {} # kubernetes.io/ingress.class: nginx # kubernetes.io/tls-acme: "true" hosts: example.cropy.cn tls: [] # - secretName: example-cropy-cn-tls resources: limits: cpu: 2000m memory: 1Gi requests: cpu: 100m memory: 128Mi
修改_helpers.tpl (子模板)
$ vim templates/_helpers.tpl {{- define "demo.fullname" -}} {{- .Chart.Name }}-{{ .Release.Name }} {{- end -}} {{/*标签选择器*/}} {{- define "demo.selectorLabels" -}} app: {{ template "demo.fullname" . }} release: {{ .Release.Name }} {{- end -}} {{/*公共标签选择器*/}} {{- define "demo.labels" -}} app: {{ template "demo.fullname" . }} release: {{ .Release.Name }} chart: {{ .Chart.Name }} {{- end -}}
在templates目录下创建部署镜像所需要的yaml文件,并变量引用yaml里经常变动的字段
生成deployment.yaml,service.yaml, ingress等文件
$ cd demo/templates/ && rm -fr * $ touch NOTES.txt && touch _helpers.tpl $ kubectl create deployment web --image=nginx:1.16 --dry-run=client -o yaml > deployment.yaml $ vim deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: labels: {{- include "demo.labels" . | nindent 4 }} name: {{ include "demo.fullname" . }} spec: replicas: {{ .Values.replicaCount }} selector: matchLabels: {{- include "demo.selectorLabels" . | nindent 6}} template: metadata: labels: {{- include "demo.selectorLabels" . | nindent 8}} spec: containers: - image: {{ .Values.image.repository }}:{{ .Values.image.tag }} name: web {{- if .Values.resources }} resources: {{ toYaml .Values.resources | nindent 10 }} {{- else }} resources: {} {{- end }} $ kubectl create deployment web --image=nginx:1.16 $ kubectl expose deployment web --port=80 --target-port=80 --type=NodePort --name=web --dry-run=client -o yaml > service.yaml $ vim service.yaml apiVersion: v1 kind: Service metadata: labels: {{- include "demo.labels" . | nindent 4 }} name: {{ include "demo.fullname" . }} spec: ports: - port: {{ .Values.service.port }} protocol: TCP targetPort: {{ .Values.service.targetport }} selector: {{- include "demo.selectorLabels" . | nindent 4}} type: {{ .Values.service.type }}uu87 $ kubectl delete deployment web $ vim ingress.yaml {{- if .Values.ingress.enabled -}} apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: {{ include "demo.fullname" . }} labels: {{- include "demo.labels" . | nindent 4 }} spec: rules: - host: {{ .Values.ingress.host }} http: paths: - path: / backend: serviceName: {{ include "demo.fullname" . }} servicePort: {{ .Values.service.port }} {{- end }} $ helm install web1 ../demo --dry-run #调试
修改NOTES.txt
$ vim templates/NOTES.txt --- 访问地址: {{- if .Values.ingress.enabled }} .Values.ingress.host }} {{- end }} {{- if contains "NodePort" .Values.service.type }} export NODE_PORT=$(kubectl get --namespace {{ .Release.Namespace }} -o jsonpath="{.spec.ports[0].nodePort}" services {{ include "demo.fullname" . }}) export NODE_IP=$(kubectl get nodes --namespace {{ .Release.Namespace }} -o jsonpath="{.items[0].status.addresses[0].address}") echo http://${NODE_IP}:${NODE_PORT} {{- else if contains "ClusterIP" .Values.service.type }} export POD_NAME=$(kubectl get pods --namespace {{ .Release.Namespace }} -l "app.kubernetes.io/name={{ include "demo.fullname" . }},app.kubernetes.io/instance={{ .Release.Name }}" -o jsonpath="{.items[0] .metadata.name}") {{- end }}
使用Harbor作为Chart仓库
0、启用Harbor的Chart仓库服务
配置好harbor到k8s集群insecure-registry
$ vim /etc/docker/daemon.json { "graph": "/data/docker", "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"], "insecure-registries": ["hub.cropy.cn"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2" } $ cd /etc/docker/ && mkdir cert.d/hub.cropy.cn -pv # 将 hubor私有仓库的私钥拷贝到/etc/docker/cert.d/hub.cropy.cn/ 下即可 $ systemctl restart docker
1、启用Harbor的Chart仓库服务
$ ./install.sh --with-chartmuseum
2、安装push插件
helm plugin install tar zxvf helm-push_0.7.1_linux_amd64.tar.gz $ mkdir -p /root/.local/share/helm/plugins/helm-push $ chmod +x bin/* $ mv bin plugin.yaml /root/.local/share/helm/plugins/helm-push
3、添加repo
$ helm repo add --username admin --password Harbor12345 myrepo --ca-file /etc/docker/certs.d/hub.cropy.cn/hub.pem $ helm repo list NAME URL azure http://mirror.azure.cn/kubernetes/charts myrepo cd ~/lesson/helm/ $ helm package demo $ helm push demo-0.1.0.tgz --username=admin --password=Harbor12345 --ca-file /etc/docker/certs.d/hub.cropy.cn/hub.pem #推送chart到harbor $ helm install web --version 1.4.0 myrepo/demo
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~