optimization

Author: leffss

README.md

@@ -1,10 +1,10 @@
 # devops
 基于 python 3.7 + django 2.2.11 + channels 2.2.0 + celery 4.3.0 + ansible 2.9.2 + AdminLTE-3.0.0 实现的运维 devops 管理系统。具体见 `screenshots` 文件夹中的效果预览图。
-本人为运维工程师，非专业开发，此项目各个功能模块都是现学现用，可能有的地方暂时没有考虑合理和性能的问题，欢迎 issue。
+本人为运维工程师，非专业开发，项目各个功能模块都是现学现用，可能有的地方暂时没有考虑合理和性能的问题。
 
 
 # 功能
-有点多，看图，不想描述了。
+看图。
 
 
 # 预览
@@ -35,39 +35,39 @@
 
 # 部署安装
 
-主机操作系统为 Centos 7.5，python 版本 3.7.2，docker 版本 1.13.1，项目目录为 `/home/workspace/devops` 。windows 上就不建议部署了，那是作死的事情。
+环境：Centos 7.5，python 3.7.2，docker 1.13.1，项目目录为 `/home/workspace/devops` 。
 
-**安装依赖**
+**1. 安装依赖**
 ```bash
 yum install -y epel-release
-yum install -y sshpass python3-devel mysql-devel
+yum install -y gcc sshpass python3-devel mysql-devel
 ```
 - ansible 连接插件 connection 使用 ssh 模式（还可以使用 paramiko 等模式）并且密码连接主机时需要使用 sshpass
 - python3-devel 与 mysql-devel 为 mysqlclient 库的依赖
 - 不建议使用 pymysql 代替 mysqlclient ，因为 pymysql 为纯 python 编写的库，性能较低
 
-**安装 redis（docker 方式）**
+**2. 安装 redis（docker 方式）**
 ```bash
 docker run --name redis-server -p 6379:6379 -d redis:latest
 ```
 - channels、缓存、celery以及 session 支持所需，必须
 
-**安装 guacd（docker 方式）**
+**3. 安装 guacd（docker 方式）**
 ```bash
 docker run --name guacd -e GUACD_LOG_LEVEL=info -v /home/workspace/devops/media/guacd:/fs -p 4822:4822 -d guacamole/guacd
 ```
 - rdp 与 vnc 连接支持所需，非必须
 - rdp 必须设置为`允许运行任意版本远程桌面的计算机连接(较不安全)(L)`才能连接，也就说目前暂不支持 nla 登陆方式
 - `-v /home/workspace/devops/media/guacd:/fs` 挂载磁盘，用于远程挂载文件系统实现上传和下载文件
 
-**安装 python 依赖库**
+**4. 安装 python 依赖库**
 ```bash
 # 安装相关库
 pip3 install -i https://mirrors.aliyun.com/pypi/simple -r requirements.txt
 ```
-- -i 指定阿里源，国外源慢得一逼，我大天朝威武，局域网玩得贼6
+- -i 指定阿里源，速度飞起，我大 TC 威武，局域网玩得贼 6
 
-**修改 devops/settings.py 配置**
+**5. 修改 devops/settings.py 配置**
 
 相关配置均有注释，根据实际情况修改。默认数据库使用的是 sqlite3，如果需要使用 mysql，方法如下：
 
@@ -93,7 +93,7 @@ DATABASES = {
 ```
 - 相关数据库(不需创建表)与账号必须事先在 mysql 数据库中创建好并授权。
 
-**迁移数据库**
+**6. 迁移数据库**
 ```bash
 sh delete_makemigrations.sh
 rm -f db.sqlite3
@@ -102,15 +102,15 @@ python3 manage.py makemigrations
 python3 manage.py migrate
 ```
 
-**初始化数据**
+**7. 初始化数据**
 ```bash
 python3 manage.py loaddata initial_data.json
 python3 init.py
 ```
 - initial_data.json 为权限数据
 - init.py 创建超级管理员 admin 以及部分测试数据，可根据实际情况修改
 
-**启动相关服务**
+**8. 启动相关服务**
 ```bash
 rm -rf logs/*
 export PYTHONOPTIMIZE=1		# 解决 celery 不允许创建子进程的问题
@@ -127,7 +127,7 @@ nohup gunicorn -c gunicorn.cfg devops.wsgi:application > logs/gunicorn.log 2>&1
 - celery_beat 定时任务处理进程，读取 `devops/settings.py` 中设置的 `CELERY_BEAT_SCHEDULE` 定时任务，详见 v1.8.8 升级日志
 - 需要停止时 kill 相应的进程，然后删除 logs 目录下所有的 pid 文件即可
 
-**nginx 前端代理**
+**9. 配置 nginx 前端代理**
 ```
 yum install -y nginx
 ```
@@ -272,22 +272,34 @@ systemctl start nginx
 ```
 - 启动前建议先检查下配置是否正确：`nginx -t`
 
-访问首页：http://127.0.0.1
+**10. 访问首页：http://127.0.0.1**
 
-超级管理员：
+初始超级管理员：
 > 账号： admin     密码：123456
 
 
 # 已知问题或者不足
-1. web 终端（包括 webssh，webtelnet）在使用 chrome 浏览器打开时，很大机率会出现一片空白无法显示 xterm.js 终端的情况。
+1. 代码的质量以我现在的眼光来看都太差了，但是这个项目的初衷也只是学习而已，也就没有动力重构优化了。
+
+2. web 终端（包括 webssh，webtelnet）在使用 chrome 浏览器打开时，很大机率会出现一片空白无法显示 xterm.js 终端的情况。
 解决方法是改变一下 chrome 窗口大小就好了，在 firefox 下也有无此问题，但出现的机率小一些，具体原因未知。
 
-2. 关于前后端分离，有同学建议使用 vue 做前后端分离。这是个很好的建议，但是由于个人时间精力的问题，只能是慢慢来吧。
+3. 关于使用 vue 做前后端分离，这肯定是以后的趋势，但是由于个人时间精力的问题，只能是慢慢来吧。
+
+4. 数据权限是有一点小问题的，在某些特定的情况下会越权，细心的同学可以在代码中发现。
+
+5. webssh 使用 zmodem 上传下载还有很多可以优化的地方，可以参考我的 go 项目 [gowebssh](https://github.com/leffss/gowebssh) 。
+
+6. webrdp 下载文件也还可以优化。
 
-3. 数据权限是有一点小问题的，细心的同学可以在代码中发现。
 
 # 升级日志
 
+### ver2.1.0
+增强 zmodem 命令兼容性，新增支持 rz -e \ rz -S \ rz -e -S 命令；
+
+新增 django_cachalot 缓存 sql 数据库查询结果，提高整体响应速度；
+
 ### ver2.0.0
 优化 web 终端无法显示 _ 符号的问题（xterm v3 默认的渲染器 canvas 有兼容问题 ，故改用 dom，v4 版本不存在此问题）；
 
@@ -306,8 +318,8 @@ systemctl start nginx
 - tab 自动补全命令无法正常识别（tab 补全操作太复杂，不好判断）
 - 无法识别 top 等类似命令中输入的操作命令
 - 无法识别中文命令
-- 识别命令的准确率只能尽可能的提高，应该没有那个堡垒机敢说自己准确率100%
-- 真正想实现 100% 准确率，应该只有修改 shell 源码或者调用 shell 历史命令了（但是这些方式都有很多弊端）
+- 识别命令的准确率只能尽可能的提高，应该没有那个堡垒机(包括商业的)敢说自己准确率 100% 吧
+- 真正想实现 100% 准确率，应该只有修改 shell 源码或者调用 shell 历史命令了（但是这些方式都不是太现实）
 
 优化 webrdp 下载文件时录像数据记录逻辑（不保存下载的文件内容到录像结果）
 
@@ -473,7 +485,7 @@ linux 平台下使用 celery 任务保存终端会话日志与录像（windows 
 
 # MIT License
 ```
-Copyright (c) 2019-2020 leffss
+Copyright (c) 2019-2020 leffss.
 ```
 
 

apps/webssh/ssh.py

@@ -23,12 +23,21 @@
 except Exception:
     terminal_exipry_time = 60 * 30
 
-zmodemszstart = b'rz\r**\x18B00000000000000\r\x8a'
+# sz
+zmodemszstart = b'**\x18B00000000000000\r\x8a\x11'
 zmodemszend = b'**\x18B0800000000022d\r\x8a'
-zmodemrzstart = b'rz waiting to receive.**\x18B0100000023be50\r\x8a'
+
+# rz
+zmodemrzstart = b'**\x18B0100000023be50\r\x8a\x11'   # rz
+zmodemrzestart = b'**\x18B0100000063f694\r\x8a\x11'  # rz -e
+zmodemrzsstart = b'**\x18B0100000223d832\r\x8a\x11'  # rz -S
+zmodemrzesstart = b'**\x18B010000026390f6\r\x8a\x11'  # rz -e -S
 zmodemrzend = b'**\x18B0800000000022d\r\x8a'
+
+# zmodem cancel
 zmodemcancel = b'\x18\x18\x18\x18\x18\x08\x08\x08\x08\x08'
 
+
 BufferSize = 4096   # 4096 足够，高于 4096 时使用 zmodem 传输时会出现错误
 
 
@@ -199,7 +208,8 @@ def websocket_to_django(self):
                         self.channel.send('\n')
                     self.websocker.send(bytes_data=x)
                 else:
-                    if zmodemszstart in x or zmodemrzstart in x:
+                    if zmodemszstart in x or zmodemrzstart in x or zmodemrzestart in x or zmodemrzsstart in x \
+                            or zmodemrzesstart in x:
                         self.zmodem = True
                         self.websocker.send(bytes_data=x)
                     else:
@@ -333,5 +343,4 @@ def shell(self, data):
         # Thread(target=self.django_to_ssh, args=(data,)).start()
         self.django_to_ssh(data)
         # 原作者将发送数据到django websocket的线程创建函数如果写到这，会导致每在客户端输入一个字符就创建一个线程
-        # 最终可能导致线程创建太多，故将其写到 connect 函数中
         # Thread(target=self.websocket_to_django).start()

apps/webssh/sshd/sshinterface.py

@@ -39,10 +39,18 @@
 except Exception:
     terminal_exipry_time = 60 * 30
 
-zmodemszstart = b'rz\r**\x18B00000000000000\r\x8a'
+# sz
+zmodemszstart = b'**\x18B00000000000000\r\x8a\x11'
 zmodemszend = b'**\x18B0800000000022d\r\x8a'
-zmodemrzstart = b'rz waiting to receive.**\x18B0100000023be50\r\x8a'
+
+# rz
+zmodemrzstart = b'**\x18B0100000023be50\r\x8a\x11'   # rz
+zmodemrzestart = b'**\x18B0100000063f694\r\x8a\x11'  # rz -e
+zmodemrzsstart = b'**\x18B0100000223d832\r\x8a\x11'  # rz -S
+zmodemrzesstart = b'**\x18B010000026390f6\r\x8a\x11'  # rz -e -S
 zmodemrzend = b'**\x18B0800000000022d\r\x8a'
+
+# zmodem cancel
 zmodemcancel = b'\x18\x18\x18\x18\x18\x08\x08\x08\x08\x08'
 
 support_term = ["linux", "ansi", "xterm"]
@@ -241,7 +249,9 @@ def bridge(self):
                                 self.chan_cli.send(recv_message)
                                 continue
                             else:
-                                if zmodemszstart in recv_message or zmodemrzstart in recv_message:
+                                if zmodemszstart in recv_message or zmodemrzstart in recv_message or \
+                                        zmodemrzestart in recv_message or zmodemrzsstart in recv_message or \
+                                        zmodemrzesstart in recv_message:
                                     self.zmodem = True
                                     # logger.info("zmodem start")
                                     self.chan_cli.send(recv_message)

devops/settings.py

@@ -73,6 +73,7 @@
     'django.contrib.messages',
     'django.contrib.staticfiles',
     # 'debug_toolbar',
+    'cachalot',
     'channels',
     'server',
     'user',
@@ -85,6 +86,14 @@
     # 'django_apscheduler',
 ]
 
+# django-cachalot 原理是捕获 insert\update\delete 操作而刷新缓存，如果不是通过 django orm，而是直接改的数据库，那么就不能触发其缓存
+# 刷新机制，这是可以使用其提供的手动刷新命令解决：./manage.py invalidate_cachalot [app]
+# 具体参考文档：https://django-cachalot.readthedocs.io/en/latest/quickstart.html#manage-py-command
+# 并且 django-cachalot 不适用于 insert\update\delete 操作很频繁的项目，这种项目反而会使其性能下降
+CACHALOT_ENABLED = True     # 不懂官方这个配置什么意思，设置 False 还是会启用缓存
+CACHALOT_DATABASES = ['default']    # 需要缓存的数据库别名，必须设置，默认的 supported_only 只支持 django 默认的数据库引擎，不支持自定义的 db_pool.mysql 连接池引擎
+# 更多配置参考：https://django-cachalot.readthedocs.io/en/latest/quickstart.html#settings
+
 # 中间件
 MIDDLEWARE = [
     # 'debug_toolbar.middleware.DebugToolbarMiddleware',
@@ -117,6 +126,7 @@
 #     'debug_toolbar.panels.logging.LoggingPanel',
 #     'debug_toolbar.panels.redirects.RedirectsPanel',
 #     'debug_toolbar.panels.profiling.ProfilingPanel',
+#     'cachalot.panels.CachalotPanel',
 # ]
 
 # INTERNAL_IPS = [
@@ -172,8 +182,8 @@
         # 'ENGINE': 'django.db.backends.mysql',
         'ENGINE': 'db_pool.mysql',     # 重写 mysql 连接库实现连接池
         'NAME': 'devops',
-        'USER': 'devops',
-        'PASSWORD': 'devops',
+        'USER': 'root',
+        'PASSWORD': '123456',
         'HOST': '192.168.223.111',
         'PORT': '3306',
         # 'CONN_MAX_AGE': 600,    # 如果使用 db_pool.mysql 绝对不能设置此参数，否则会造成使用连接后不会快速释放到连接池，从而造成连接池阻塞

docker.sh

@@ -0,0 +1,3 @@
+docker run -d --name redis -p 6379:6379 redis:latest
+docker run -d --name mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 mysql:5.7
+docker run -d --name guacd -e GUACD_LOG_LEVEL=info -v /home/workspace/devops/media/guacd:/fs -p 4822:4822 guacamole/guacd

gunicorn.cfg

@@ -86,7 +86,7 @@ timeout = 60
 # 接收到restart信号后，worker可以在graceful_timeout时间内，继续处理完当前requests。
 graceful_timeout = 120
 # keepalive, 1-5 秒
-# server端保持连接时间。如果Gunicorn 在负载均衡后面，可以设置高点
+# server端保持连接时间。如果 Gunicorn 在负载均衡后面，可以设置高点
 keepalive = 5
 
 # 启动 worker 前加载代码，代码只执行一次，但是使用 kill -HUP 重启 gunicorn 后无法更新代码了

migrations.sh

@@ -0,0 +1 @@
+/home/python372/bin/python3 manage.py makemigrations

requirements.txt

@@ -34,3 +34,4 @@ django-apscheduler==0.3.0
 requests==2.22.0
 jsonpickle==1.2
 redisbeat==1.2.3
+django-cachalot==2.3.1

static/webssh/webssh.clissh.view.js

@@ -163,7 +163,7 @@ function websocket() {
 			toastr.options.extendedTimeOut = 3000;
 			// toastr.options.progressBar = true;
 			toastr.options.positionClass = 'toast-bottom-center';
-			toastr.info('调整行列值: ' + cols_rows.cols + ' x ' + cols_rows.rows);
+			toastr.info('行列值: ' + cols_rows.cols + ' x ' + cols_rows.rows);
         }, 130)
     })
 }