小陈运维

安装nginx和PHP环境1root@cby:~# apt install nginx php7.4 php7.4-mysql php7.4-fpm 修改nginx配置文件1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677root@cby:~# vim /etc/nginx/sites-available/defaultroot@cby:~# cat /etc/nginx/sites-available/defaultserver { listen 80; listen [::]:80; #填写域名或者IP server_name www.oiox.cn; # SSL configuration # #...

Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。 Elasticsearch 是一个搜索引擎，负责存储日志并提供查询接口； Fluentd 负责从 Kubernetes 搜集日志，每个node节点上面的fluentd监控并收集该节点上面的系统日志，并将处理过后的日志信息发送给Elasticsearch； Kibana 提供了一个 Web GUI，用户可以浏览和搜索存储在 Elasticsearch 中的日志。 从官方github仓库下载yaml文件 123[root@hello ~/efk]# git clone https://github.com/kubernetes/kubernetes.git[root@hello ~/efk]# kubectl create namespace logging[root@hello ~/efk]# 执行所有yaml文件 123456789101112131415[root@hello ~/efk]# cd ku...

kubernetes（k8s） 中安装kuboard面板 01 — 背景及安装 Kuboard 是一款专为 Kubernetes 设计的免费管理界面，兼容 Kubernetes 版本 1.13 及以上。Kuboard 每周发布一个 beta 版本，最长每月发布一个正式版本，经过两年的不断迭代和优化，已经具备多集群管理、权限管理、监控套件、日志套件等丰富的功能。 删除之前的版本 12docker stop $(docker ps -a | grep "eipwork/kuboard" | awk '{print $1 }')docker rm $(docker ps -a | grep "eipwork/kuboard" | awk '{print $1 }') 安装最新版 1234567891011sudo docker run -d \--restart=unless-stopped \--name=kuboard \-p 80:80/tcp \-p 100...

DNS:Domain Name Service，域名解析服务监听端口：udp/53，tcp/53 应用程序：bind 根域：. 一级域： 组织域：.com, .org, .net, .mil, .edu, .gov, .info, .cc, .me, .tv 国家域：.cn, .us, .uk, .jp, .tw, .hk, .iq, .ir 反向域：.in-addr.arpa DNS 记录类型：DNS 域名数据库由资源记录和区文件指令组成。 SOA 记录：起始授权机构记录，SOA 备注说明了众多 NS（name server）记录中谁是主名称服务器，不参与功能，但是不能缺少。 NS 记录：域授权记录，当请求到达根域的时候，通过 NS 记录找到对应的域。 A 记录：当通过 NS 记录到达域以后，比如访问 www.baidu.com，通过 NS 我们找到了 baidu.com，此时就需要通过 A 记录找到 www。 MX：将该域下的所有邮件服务器地址指向邮件服务器。 AAAA 记录：A 记录处理 IPV4，AAAA 处理 IPV6。 PTR 记录：反向解析，将...

1234erDiagramCUSTOMER ||--o{ ORDER : placesORDER ||--|{ LINE-ITEM : containsCUSTOMER }|..|{ DELIVERY-ADDRESS : uses DHCP实现原理DHCP定义DHCP（Dynamic Host Configuration Protocol，动态主机配置协议）是一个局域网的网络协议，使用UDP协议工作。它是一种流行的Client/Server协议，一般用于为主机或者为路由器等指定相关的配置信息。DHCP服务在企业和家庭中得到了大量的应用，它能够自动分配ip地址以及一些其他的相关信息，整个过程对客户透明。 DHCP分配方式自动分配方式（Automatic Allocation），DHCP服务器为主机指定一个永久性的IP地址，一旦DHCP客户端第一次成功从DHCP服务器端租用到IP地址后，就可以永久性的使用该地址。 动态分配方式（Dynamic Allocation），DHCP服务器给主机指定一个具有时间限制的IP地址，时间到期或主机...

Ingress 公开了从集群外部到集群内服务的 HTTP 和 HTTPS 路由。流量路由由 Ingress 资源上定义的规则控制。 下面是一个将所有流量都发送到同一 Service 的简单 Ingress 示例： 在使用  ingress 创建后发现没有默认HTTP123456789101112131415161718[root@hello ~/yaml/nginx]# kubectl describe ingressName: ingress-host-barNamespace: defaultAddress: Default backend: default-http-backend:80 (<error: endpoints "default-http-backend" not found>)Rules: Host Path Backends ---- ---- -------- hello.chenby.cn ...

安装helm环境12345678[root@hello ~/yaml]#[root@hello ~/yaml]# curl https://baltocdn.com/helm/signing.asc | sudo apt-key add -[root@hello ~/yaml]# sudo apt-get install apt-transport-https --yes[root@hello ~/yaml]# echo "deb https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.listdeb https://baltocdn.com/helm/stable/debian/ all main[root@hello ~/yaml]# sudo apt-get update[root@hello ~/yaml]# sudo apt-get install helm[root@hello ~/yaml]#...

Centos9 网卡配置文件已修改，如下 1234567891011121314151617181920212223242526[root@bogon ~]# cat /etc/NetworkManager/system-connections/ens18.nmconnection [connection]id=ens18uuid=8d1ece55-d999-3c97-866b-d2e23832a324type=ethernetautoconnect-priority=-999interface-name=ens18permissions=timestamp=1639473429[ethernet]mac-address-blacklist=[ipv4]address1=192.168.1.92/24,192.168.1.1dns=8.8.8.8;dns-search=method=manual[ipv6]addr-gen-mode=eui64dns-search=method=auto[proxy][root@bogon ~]# 命令语法： # nmcli connecti...

背景 容器封装了应用程序的依赖项，以提供可重复和可靠的应用程序和服务执行，而无需整个虚拟机的开销。如果您曾经花了一天的时间为一个科学或 深度学习 应用程序提供一个包含大量软件包的服务器，或者已经花费数周的时间来确保您的应用程序可以在多个 linux 环境中构建和部署，那么 Docker 容器非常值得您花费时间。 安装添加docker源 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778[root@localhost ~]# sudo yum-config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repoLoaded plugins: fastestmirror, langpacksadding repo from: https://down...

背景 JupyterHub 为用户组带来了笔记本的强大功能。它使用户能够访问计算环境和资源，而不会给用户带来安装和维护任务的负担。用户——包括学生、研究人员和数据科学家——可以在他们自己的工作空间中完成他们的工作，共享资源可以由系统管理员有效管理。 JupyterHub 在云端或您自己的硬件上运行，可以为世界上的任何用户提供预先配置的数据科学环境。它是可定制和可扩展的，适用于小型和大型团队、学术课程和大型基础设施。 第一步、参考：https://cloud.tencent.com/developer/article/1902519 创建动态挂载存储 第二步、安装helm 12345root@hello:~# curl https://baltocdn.com/helm/signing.asc | sudo apt-key add -root@hello:~# sudo apt-get install apt-transport-https --yesroot@hello:~# echo "deb https://baltocdn.com/helm/stable/debi...

14、Ingress 检查是否有安装12345678910[root@k8s-master-node1 ~/yaml/test]# kubectl get pod,svc -n ingress-nginxNAME READY STATUS RESTARTS AGEpod/ingress-nginx-admission-create--1-74mtg 0/1 Completed 0 172mpod/ingress-nginx-admission-patch--1-5qrct 0/1 Completed 0 172mpod/ingress-nginx-controller-f97bd58b5-vr8c2 1/1 Running 0 172mNAME TYPE CLUSTER-IP ...

13、service四层网络负载 创建1234567891011121314151617181920212223242526272829303132[root@k8s-master-node1 ~/yaml/test]# [root@k8s-master-node1 ~/yaml/test]# vim my-app.yaml[root@k8s-master-node1 ~/yaml/test]# cat my-app.yamlapiVersion: apps/v1kind: Deploymentmetadata: labels: app: my-dep name: my-depspec: replicas: 3 selector: matchLabels: app: my-dep template: metadata: labels: app: my-dep spec: containers: - image: nginx name: nginx[root@k8s-master...

介绍 Kubernetes 支持对节点上的 AMD 和 NVIDIA GPU （图形处理单元）进行管理，目前处于实验状态。 修改docker配置文件 123456789101112131415161718192021222324252627282930313233root@hello:~# cat /etc/docker/daemon.json{ "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } }, "data-root": "/var/lib/docker", &quo...

7、StatefulSetsStatefulSet 是用来管理有状态应用的工作负载 API 对象。 StatefulSet 用来管理 Deployment 和扩展一组 Pod，并且能为这些 Pod 提供序号和唯一性保证。 和 Deployment 相同的是，StatefulSet 管理了基于相同容器定义的一组 Pod。但和 Deployment 不同的是，StatefulSet 为它们的每个 Pod 维护了一个固定的 ID。这些 Pod 是基于相同的声明来创建的，但是不能相互替换：无论怎么调度，每个 Pod 都有一个永久不变的 ID。 StatefulSet 和其他控制器使用相同的工作模式。你在 StatefulSet 对象 中定义你期望的状态，然后 StatefulSet 的 控制器 就会通过各种更新来达到那种你想要的状态。 使用 StatefulSetsStatefulSets 对于需要满足以下一个或多个需求的应用程序很有价值： 稳定的、唯一的网络标识符。稳定的、持久的存储。有序的、优雅的部署和缩放。有序的、自动的滚动更新。在上面，稳定意味着 Pod 调度或重调度的整个过程...

10、job任务 使用perl，做pi的圆周率计算12345678910111213141516171819[root@k8s-master-node1 ~/yaml/test]# vim job.yaml [root@k8s-master-node1 ~/yaml/test]# cat job.yaml apiVersion: batch/v1kind: Jobmetadata: name: pispec: template: spec: containers: - name: pi image: perl command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"] restartPolicy: Never backoffLimit: 4[root@k8s-master-node1 ~/yaml/test]# [root@k8s-master-node1 ~/yaml...

5、ReplicationControllerReplicationController 确保在任何时候都有特定数量的 Pod 副本处于运行状态。换句话说，ReplicationController 确保一个 Pod 或一组同类的 Pod 总是可用的。 ReplicationController 如何工作当 Pod 数量过多时，ReplicationController 会终止多余的 Pod。当 Pod 数量太少时，ReplicationController 将会启动新的 Pod。与手动创建的 Pod 不同，由 ReplicationController 创建的 Pod 在失败、被删除或被终止时会被自动替换。例如，在中断性维护（如内核升级）之后，你的 Pod 会在节点上重新创建。因此，即使你的应用程序只需要一个 Pod，你也应该使用 ReplicationController 创建 Pod。ReplicationController 类似于进程管理器，但是 ReplicationController 不是监控单个节点上的单个进程，而是监控跨多个节点的多个 Pod。 在讨论中，R...

3、podPod 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。 Pod （就像在鲸鱼荚或者豌豆荚中）是一组（一个或多个） 容器；这些容器共享存储、网络、以及怎样运行这些容器的声明。Pod 中的内容总是并置（colocated）的并且一同调度，在共享的上下文中运行。Pod 所建模的是特定于应用的“逻辑主机”，其中包含一个或多个应用容器， 这些容器是相对紧密的耦合在一起的。在非云环境中，在相同的物理机或虚拟机上运行的应用类似于 在同一逻辑主机上运行的云应用。 除了应用容器，Pod 还可以包含在 Pod 启动期间运行的 Init 容器。你也可以在集群中支持临时性容器 的情况外，为调试的目的注入临时性容器。 使用 Pod通常你不需要直接创建 Pod，甚至单实例 Pod。相反，你会使用诸如 Deployment 或 Job 这类工作负载资源 来创建 Pod。如果 Pod 需要跟踪状态， 可以考虑 StatefulSet 资源。 Kubernetes 集群中的 Pod 主要有两种用法： 运行单个容器的 Pod。”每个 Pod 一个容器”模型是最常见的 Kuber...

8、ConfigMap抽取应用配置，并且可以自动更新 创建配置文件1234567891011121314[root@k8s-master-node1 ~/yaml/test]# vim configmap.yaml[root@k8s-master-node1 ~/yaml/test]# cat configmap.yaml apiVersion: v1data: redis.conf: | appendonly yeskind: ConfigMapmetadata: name: redis-conf namespace: default[root@k8s-master-node1 ~/yaml/test]# [root@k8s-master-node1 ~/yaml/test]# kubectl apply -f configmap.yaml configmap/redis-conf created[root@k8s-master-node1 ~/yaml/test]# 1 查看配置12345[root@k8s-master-node1 ~/yaml/tes...

6、Deployments（重点）一个 Deployment 控制器为 Pods和 ReplicaSets提供描述性的更新方式。 描述 Deployment 中的 desired state，并且 Deployment 控制器以受控速率更改实际状态，以达到期望状态。可以定义 Deployments 以创建新的 ReplicaSets ，或删除现有 Deployments ，并通过新的 Deployments 使用其所有资源。 用例 以下是典型的 Deployments 用例： 创建 Deployment 以展开 ReplicaSet 。ReplicaSet 在后台创建 Pods。检查 ReplicaSet 展开的状态，查看其是否成功。 声明 Pod 的新状态 通过更新 Deployment 的 PodTemplateSpec。将创建新的 ReplicaSet ，并且 Deployment 管理器以受控速率将 Pod 从旧 ReplicaSet 移动到新 ReplicaSet 。每个新的 ReplicaSet 都会更新 Deployment 的修改历史。 回滚到较早的 Deplo...

Kubernetes基础概念 kubernetes特性：- 服务发现和负载均衡 Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。 - 存储编排 Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。 - 自动部署和回滚 你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态 更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。 - 自动完成装箱计算 Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。 - 自我修复 Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的 运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。 - 密钥与配置管理 Kubernetes 允许你存储和管理敏感信息，例如密码、O...

kubernetes核心实战 1、资源创建方式命令行创建 yaml文件创建 2、namespace命名空间（namespace）是Kubernetes提供的组织机制，用于给集群中的任何对象组进行分类、筛选和管理。每一个添加到Kubernetes集群的工作负载必须放在一个命名空间中。 命名空间为集群中的对象名称赋予作用域。虽然在命名空间中名称必须是唯一的，但是相同的名称可以在不同的命名空间中使用。这对于某些场景来说可能帮助很大。例如，如果使用命名空间来划分应用程序生命周期环境（如开发、staging、生产），则可以在每个环境中维护利用同样的名称维护相同对象的副本。 命名空间还可以让用户轻松地将策略应用到集群的具体部分。你可以通过定义ResourceQuota对象来控制资源的使用，该对象在每个命名空间的基础上设置了使用资源的限制。类似地，当在集群上使用支持网络策略的CNI（容器网络接口）时，比如Calico或Canal（calico用于策略，flannel用于网络）。你可以将NetworkPolicy应用到命名空间，其中的规则定义了pod之间如何彼此通信。不同的命名空间可以有不同的策...

在 Linux 上以 All-in-One 模式安装 KubeSphere Install KubeSphere in All-in-One mode on Linux 背景 KubeSphere 是在Kubernetes 之上构建的面向云原生应用的分布式操作系统，完全开源，支持多云与多集群管理，提供全栈的IT 自动化运维能力，简化公司的DevOps 工作流。… 作为全栈的多租户容器平台，KubeSphere 提供了运维友好的向导式操作界面，帮助公司快速构建一个强大和功能丰富的容器云平台。 KubeSphere is a distributed operating system for cloud-native applications built on Kubernetes. It is fully open source, supports multi-cloud and multi-cluster management, provides full-stack IT automated operation and maintenance capabilities, and ...

Ubuntu 通过 Netplan 配置网络教程 Ubuntu through Netplan configuration network tutorial 一、Netplan 配置流程 1. Netplan configuration process 1、Netplan默认配置文件在/etc/netplan目录下。您可以使用以下命令找到： 1. The default configuration file of Netplan is in the /etc/netplan directory. You can find it with the following command: 1ls /etc/netplan/ 就可以看到配置文件名称。 You can see the configuration file name. 2、查看Netplan网络配置文件的内容，执行以下命令： 2. View the contents of the Netplan network configuration file and execute the ...

kubernetes 安装 Prometheus + Grafana kubernetes install Prometheus + Grafana 官网 Official website 1https://prometheus.io/ GitHub GitHub 1https://github.com/coreos/kube-prometheus 组件说明 Component description MetricServer：是kubernetes集群资源使用情况的聚合器，收集数据给kubernetes集群内使用，如 kubectl,hpa,scheduler等。 PrometheusOperator：是一个系统监测和警报工具箱，用来存储监控数据。 NodeExporter：用于各node的关键度量指标状态数据。 KubeStateMetrics：收集kubernetes集群内资源对象数 据，制定告警规则。 Prometheus：采用pull方式收集apiserver，scheduler，controller-manager，kubelet组件数 据，通过http协议传输。...

最新版 Harbor 在ubuntu系统上安装 The latest version of Harbor is installed on the ubuntu system 安装docker Install docker 12root@hello:~# curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunroot@hello:~# 配置Docker Compose Configure Docker Compose 12345678910root@hello:~# sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose % Total % Received % Xferd Average Speed Time Time ...

HaProxy简介     HAProxy是一个免费的负载均衡软件，可以运行于大部分主流的Linux操作系统上。     HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。HAProxy的社区非常活跃，版本更新快速。最关键的是，HAProxy具备媲美商用负载均衡器的性能和稳定性。 HaProxy的核心功能     负载均衡：L4和L7两种模式，支持RR/静态RR/LC/IP Hash/URI Hash/URL_PARAM Hash/HTTP_HEADER Hash等丰富的负载均衡算法     健康检查：支持TCP和HTTP两种健康检查模式     会话保持：对于未实现会话共享的应用集群，可通过Insert Cookie/Rewrite Cookie/Prefix Cookie，以及上述的多种Hash方式实现会话保持     SSL：HAProxy可以解析HTTPS协议，并能够将请求解密为HTTP后向后端传输     HTTP请求重写与重定向     监控与统计：H...

一、webvirtmgr介绍及环境说明 温馨提示：安装KVM是需要2台都操作的，因为我们是打算将2台都设置为宿主机所有都需要安装KVM相关组件 github地址https://github.com/retspen/webvirtmgr WebVirtMgr是一个基于libvirt的Web界面，用于管理虚拟机。它允许您创建和配置新域，并调整域的资源分配。VNC查看器为来宾域提供完整的图形控制台。KVM是目前唯一支持的虚拟机管理程序。 查看服务器版本号 12[root@webc ~]# cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core) 内核版本 12[root@webc ~]# uname -r3.10.0-1160.42.2.el7.x86_64 关闭Selinux & 防火墙 12345[root@webc ~]# systemctl stop firewalld[root@webc ~]# systemctl disable firewalld[root@webc ~]# setenforce ...

项目简介 Exchangis是一个轻量级的、高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。 Exchangis的传输交换能力依赖于其底层聚合的传输引擎，其顶层对各类数据源定义统一的参数模型，每种传输引擎对参数模型进行映射配置，转化为引擎的输入模型。每聚合一种引擎，都将增加Exchangis一类特性，对某类引擎的特性强化，都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。 核心特点 数据源管理 以绑定项目的方式共享自己的数据源； 设置数据源对外权限，控制数据的流入和流出。 多传输引擎支持 传输引擎可横向扩展； 当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP 近实时任务管控 快速抓取传输任务日志以及传输速率等信息，实时关闭任务； 可根据带宽状况对任务进行动态限流 支持无结构化传输 DataX框架改造，单独构建二进制流快速通道，适用于无数据转换的纯数据...

ELK简介 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称（但是后期出现的Filebeat（beats中的一种）可以用来替代Logstash的数据收集功能，比较轻量级）。市面上也被成为Elastic Stack。 Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用Gr...

Hadoop 简介 Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 Hive简介 Apache Hive是一个构建于Hadoop顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。需要注意的是，Hive它并不是数据库。 Hive依赖于HDFS和MapReduce，其对HDFS的操作类似于SQL，我们称之为HQL，它提供了丰富的SQL查询方式来分析存储在HDFS中的数据。HQL可以编译转为MapReduce作业，完成查询、汇总、分析数据等工作。这样一来，即使不熟悉MapReduce 的用户也可以很方便地利用SQL 语言查询、汇总、分析数据。而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。 Apache Spark 简...