optimization

Author: leffss

README.md

@@ -5,7 +5,7 @@
 
 # 部署安装
 
-主机操作系统为 Centos 7.5，python 版本 3.7.2，docker 版本 1.13.1。windows 上就不建议部署了，那是作死的事情。
+主机操作系统为 Centos 7.5，python 版本 3.7.2，docker 版本 1.13.1，项目目录为 `/home/workspace/devops` 。windows 上就不建议部署了，那是作死的事情。
 
 **安装依赖**
 ```bash
@@ -14,6 +14,7 @@ yum install -y sshpass python3-devel mysql-devel
 ```
 - ansible 连接插件 connection 使用 ssh 模式（还可以使用 paramiko 等模式）并且密码连接主机时需要使用 sshpass
 - python3-devel 与 mysql-devel 为 mysqlclient 库的依赖
+- 不建议使用 pymysql 代替 mysqlclient ，因为 pymysql 为纯 python 编写的库，性能较低
 
 **安装 redis（docker 方式）**
 ```bash
@@ -94,7 +95,7 @@ nohup gunicorn -c gunicorn.cfg devops.wsgi:application > logs/gunicorn.log 2>&1
 - sshd 为 ssh 代理服务器，监听 2222 端口，提供调用 securecrt、xshell、putty 以及 winscp 客户端支持，非必须
 - celery 后台任务处理进程，`export PYTHONOPTIMIZE=1` 此环境变量非常重要，不设置无法后台运行 ansible api
 - celery_beat 定时任务处理进程，读取 `devops/settings.py` 中设置的 `CELERY_BEAT_SCHEDULE` 定时任务，详见 v1.8.8 升级日志
-- 需要停止时 kill 相应的进程即可
+- 需要停止时 kill 相应的进程，然后删除 logs 目录下所有的 pid 文件
 
 **nginx 前端代理**
 ```
@@ -254,21 +255,38 @@ systemctl start nginx
 1. web 终端（包括 webssh，webtelnet）在使用 chrome 浏览器打开时，很大机率会出现一片空白无法显示 xterm.js 终端的情况。
 解决方法是改变一下 chrome 的缩放比例就好了（ctrl + 鼠标滚轮），在 firefox 下也有无此问题，但出现的机率小一些，具体原因未知。
 
-2. webssh，clissh，webtelnet 记录命令功能有瑕疵：
-- 无法很好记录 tab 补全命令，暂时无解决方案
-- 无法很好记录使用上下箭头调用的历史命令，暂时无解决方案
-- 无法很好记录包括控制字符的命令（使用了退格、del 删除、关闭移动等操作），这个应该可以使用 gnu-readline 是解决
-- 无法识别进入和退出文本编辑模式（使用 vi、vim、emacs 等类似编辑器编辑文本），从而错误地把文本输入也记录为命令，
-看了国内比较出名的开源堡垒机 jumpserver 组件 koko 的源码也有类似问题，至少目前为止他们也是无法解决这个问题的
-- 正在寻找解决方案
+2. 关于前后端分离，有同学建议使用 vue 做前后端分离。这段时间也抽空看了一下 vue 全家桶的教程，看完后体会到是属于入门到放弃那种。
+而且我感觉前端的代码结构语法这些有点奇葩啊，太不习惯了，人老了也实时感觉是学不动了，遂暂时作罢（指定那天心血来潮又研究起来呢！）。
+即使要用 vue 也得先把后端 api 搞起来啥，所以还是先研究 django rest framework 吧。
 
 # 升级日志
 
+### ver1.9.0
+优化 webssh 与 webtelnet 终端大小自动调整功能；
+
+优化 webssh、webtelnet 与 clissh 命令记录功能；
+- 记录执行时间
+- 支持控制字符
+- 支持历史命令
+- 支持识别 vi/vim 与 emacs 编辑器（使用 dumb 等无颜色的终端类型时会识别错误，
+所以就限制 webssh 使用 xterm 终端类型， clissh 使用 linux\ansi\xterm 终端类型）
+- 支持识别 ctrl + c 与 ctrl + z（其他特殊操作可能部分会不兼容）
+- tab 自动补全命令无法正常识别（tab 补全操作太复杂，不好判断）
+- 无法识别 top 等类似命令中输入的操作命令
+- 无法识别中文命令
+- 识别命令的准确率只能尽可能的提高，应该没有那个堡垒机敢说自己准确率100%
+- 真正想实现 100% 准确率，应该只有修改 shell 源码或者调用 shell 历史命令了（但是这些方式都有很多弊端）
+
+优化 webrdp 下载文件时录像数据记录逻辑（不保存下载的文件内容到录像结果）
+
 ### ver1.8.9
 修正 clissh 与 webssh 使用 zmodem 时传输中途执行了取消操作后会丢失后续操作记录的 bug；
 
 新增 webrdp 与 webvnc 挂载文件系统实现上传和下载文件；
 - 下载文件的方法是将需要下载的文件拖动到挂载的文件系统中的 `download` 文件夹中
+，简单测试了下，在 chrome（版本 81）下下载 300MB 的文件会导致 chrome 占用过大内存而崩溃；
+而 firefox（版本 72）也会占用较大内存（比 chrome 稍微小一些），但是不会崩溃，可以正常下载文件。
+所以需要下载大文件时建议先在远程主机上分卷压缩一下，然后批量下载小的分卷文件即可。
 - 上传文件的方法是通过点击浏览器上传文件，上传好的文件会在挂载的文件系统根目录中
 - 仅测试过 webrdp
 
@@ -360,7 +378,7 @@ webssh 新增 zmodem(sz, rz) 上传下载文件支持（webtelnet 理论上也
 
 个人信息中新增调用本地 SSH 客户端与本地 SFTP 客户端相关配置；
 
-webssh 终端页面新增文件上传与下载功能(支持 5GB 以下文件，分段上传，不占用服务器内存)；
+webssh 终端页面新增文件上传与下载功能(支持 4GB 以下文件，分段上传，不占用服务器内存)；
 
 修正 clissh 连接后无法使用 sz 下载文件和 rz 上传文件的 BUG（Zmodem 只适合上传下载小文件）；
 

apps/user/models.py

@@ -60,7 +60,7 @@ class User(models.Model):
         'clissh': [
             {
                 'name': 'securecrt',
-                'path': 'C:\\Program Files\\VanDyke Software\\Clients\\SecureCRT.exe',
+                'path': 'C:\\Program Files (x86)\\VanDyke Software\\Clients\\SecureCRT.exe',
                 'args': '/T /N "{username}@{host}-{hostname}" /SSH2 /L {login_user} /PASSWORD {login_passwd} {login_host} /P {port}',
                 'enable': True
             },
@@ -72,7 +72,7 @@ class User(models.Model):
             },
             {
                 'name': 'putty',
-                'path': 'C:\\Users\\xx\\AppData\\Roaming\\TP4A\\Teleport-Assist\\tools\\putty\\putty.exe',
+                'path': 'C:\\Program Files (x86)\\putty\\putty.exe',
                 'args': '-l {login_user} -pw {login_passwd} {login_host} -P {port}',
                 'enable': False
             },
@@ -86,7 +86,7 @@ class User(models.Model):
         'clisftp': [
             {
                 'name': 'winscp',
-                'path': 'C:\\Program Files\\winscp\\WinSCP.exe',
+                'path': 'C:\\Program Files (x86)\\winscp\\WinSCP.exe',
                 'args': '/sessionname="{username}@{host}-{hostname}" {login_user}:{login_passwd}@{login_host}:{port}',
                 'enable': True
             },

apps/webguacamole/guacamoleclient.py

@@ -9,6 +9,10 @@
 from guacamole.instruction import GuacamoleInstruction as Instruction
 import sys
 import os
+import base64
+import logging
+logging.basicConfig(level=logging.INFO, format='[%(asctime)s] - %(name)s - %(levelname)s - %(message)s')
+logger = logging.getLogger(__name__)
 
 
 # 重写 hanshake 方法以支持加入现有连接操作，实现查看会话功能
@@ -105,6 +109,8 @@ def __init__(self, websocker):
                         tmp_date2 + '_' + gen_rand_char(16) + '.txt'
         self.res = []
         self.guacamoleclient = None
+        self.file_index = {}
+        self.file_cmd = ''
 
     def connect(self, protocol, hostname, port, username, password, width, height, dpi, **kwargs):
         try:
@@ -130,21 +136,22 @@ def connect(self, protocol, hostname, port, username, password, width, height, d
             elif protocol == 'rdp':
                 self.guacamoleclient.handshake(
                     protocol=protocol,
-                    hostname=hostname,
                     port=port,
                     username=username,
                     password=password,
+                    hostname=hostname,
                     width=width,
                     height=height,
                     dpi=dpi,
-                    security="tls",     # rdp,nla,tls,any
+                    security='tls',     # rdp,nla,tls,any
                     ignore_cert="true",
                     disable_audio="true",
                     client_name="devops",
                     **kwargs,
                 )
             Thread(target=self.websocket_to_django).start()
         except Exception:
+            logger.error(traceback.format_exc())
             self.websocker.close(3001)
 
     def django_to_guacd(self, data):
@@ -159,22 +166,62 @@ def websocket_to_django(self):
                 # time.sleep(0.00001)
                 data = self.guacamoleclient.receive()
                 if not data:
-                    return
+                    message = str(base64.b64encode('连接被断开或者协议不支持'.encode('utf-8')), 'utf-8')
+                    self.websocker.send('6.toastr,1.2,{0}.{1};'.format(len(message), message))
+                    break
+
+                save_res = True
+
+                if data.startswith("4.file,"):
+                    tmp = data.split(",")
+                    file_index = tmp[1].split(".")[1]
+                    file_type = tmp[2].split(".")[1]
+                    file_name_tmp = tmp[3].rstrip(";").split(".")
+                    del file_name_tmp[0]
+                    file_name = '.'.join(file_name_tmp)
+                    self.file_index[file_index] = [file_name, file_type]
+                    message = str(base64.b64encode('开始下载文件 - {}'.format(file_name).encode('utf-8')), 'utf-8')
+                    self.websocker.send('6.toastr,1.3,{0}.{1};'.format(len(message), message))
+                    save_res = False
+
+                if self.file_index:
+                    if data.startswith("4.blob,"):
+                        tmp = data.split(",")
+                        index = tmp[1].split(".")[1]
+                        if index in self.file_index:
+                            # lenx = tmp[2].split(".")[0]
+                            # logger.info("file: {} len: {}".format(self.file_index[index][0], lenx))
+                            save_res = False
+
+                    if data.startswith("3.end,"):
+                        tmp = data.split(",")
+                        index = tmp[1].rstrip(";").split(".")[1]
+                        if index in self.file_index:
+                            cmd_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(time.time())))
+                            self.file_cmd += cmd_time + "\t" + '下载文件 - {}'.format(self.file_index[index][0]) + '\n'
+                            message = str(base64.b64encode('文件下载完成 - {}'.format(self.file_index[index][0]).encode('utf-8')), 'utf-8')
+                            self.websocker.send('6.toastr,1.3,{0}.{1};'.format(len(message), message))
+                            save_res = False
+                            del self.file_index[index]
+
                 if self.websocker.send_flag == 0:
                     self.websocker.send(data)
                 elif self.websocker.send_flag == 1:
                     async_to_sync(self.websocker.channel_layer.group_send)(self.websocker.group, {
                         "type": "group.message",
                         "text": data,
                     })
-                self.res.append(data)
-                # 指定条结果或者指定秒数就保存一次
-                if len(self.res) > 2000 or int(time.time() - self.last_save_time) > 60 or \
-                        sys.getsizeof(self.res) > 2097152:
-                    tmp = list(self.res)
-                    self.res = []
-                    self.last_save_time = time.time()
-                    res(self.res_file, tmp, False)
+
+                if save_res:    # 不保存下载文件时的数据到录像
+                    self.res.append(data)
+                    # 指定条结果或者指定秒数就保存一次
+                    if len(self.res) > 2000 or int(time.time() - self.last_save_time) > 60 or \
+                            sys.getsizeof(self.res) > 2097152:
+                        tmp = list(self.res)
+                        self.res = []
+                        self.last_save_time = time.time()
+                        res(self.res_file, tmp, False)
+
         except Exception:
             if self.websocker.send_flag == 0:
                 self.websocker.send('0.;')
@@ -187,8 +234,11 @@ def websocket_to_django(self):
             self.close()
 
     def close(self):
-        self.websocker.close()
-        self.guacamoleclient.close()
+        try:
+            self.websocker.close()
+            self.guacamoleclient.close()
+        except Exception:
+            logger.error(traceback.format_exc())
 
     def shell(self, data):
         self.django_to_guacd(data)
@@ -228,7 +278,7 @@ def websocket_to_django(self):
                 # time.sleep(0.00001)
                 data = self.guacamoleclient.receive()
                 if not data:
-                    return
+                    break
                 self.websocker.send(data)
         except Exception:
             self.websocker.send('0.;')

apps/webguacamole/views_api.py

@@ -5,6 +5,8 @@
 from ratelimit import ALL
 from util.rate import rate, key
 from util.tool import login_required, post_required, file_combine
+from channels.layers import get_channel_layer
+from asgiref.sync import async_to_sync
 import os
 import hashlib
 # Create your views here.
@@ -51,6 +53,13 @@ def session_upload(request):
             "filename": file_name,
             "complete": complete,
         }
+        if complete:
+            channel_layer = get_channel_layer()
+            async_to_sync(channel_layer.group_send)(group, {
+                "type": "upload.message",
+                "text": file_name,
+            })
+
         return JsonResponse(mess)      # fileinput 分片上传
     except Exception:
         error_message = '上传文件错误!'

apps/webguacamole/websocket_layer.py

@@ -13,9 +13,11 @@
 import re
 import base64
 from django.http.request import QueryDict
-import sys
 import os
 import shutil
+import logging
+logging.basicConfig(level=logging.INFO, format='[%(asctime)s] - %(name)s - %(levelname)s - %(message)s')
+logger = logging.getLogger(__name__)
 
 
 try:
@@ -164,6 +166,10 @@ def disconnect(self, close_code):
                 except Exception:
                     pass
             try:
+                async_to_sync(self.channel_layer.group_send)(self.group, {  # 关闭 viewer
+                    "type": "close.viewer",
+                    "text": "",
+                })
                 async_to_sync(self.channel_layer.group_discard)(self.group, self.channel_name)
                 if close_code != 3001:
                     self.guacamoleclient.close()
@@ -186,7 +192,7 @@ def disconnect(self, close_code):
                             self.remote_host.get_protocol_display(),
                             self.remote_host.port,
                             self.remote_host.remote_user.username,
-                            '',
+                            self.guacamoleclient.file_cmd,
                             self.guacamoleclient.res_file,
                             self.client,
                             self.user_agent,
@@ -256,6 +262,11 @@ def check_timeout(self, sleep_time=3):
 
             time.sleep(sleep_time)
 
+    def upload_message(self, data):
+        cmd_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(time.time())))
+        filename = data['text']
+        self.guacamoleclient.file_cmd += cmd_time + "\t" + '上传文件 - {}'.format(filename) + '\n'
+
 
 class WebGuacamole_view(WebsocketConsumer):
     def __init__(self, *args, **kwargs):
@@ -299,10 +310,23 @@ def connect(self):
             dpi=dpi,
             enable_font_smoothing="true",
         )
+        # 发送分辨率信息到查看模式的客户端
+        self.send("7.display,{0}.{1},{2}.{3},{4}.{5};".format(len(width), width, len(height), height, len(dpi), dpi))
+
+        async_to_sync(self.channel_layer.group_add)(self.group, self.channel_name)  # 加入组
 
     def disconnect(self, close_code):
+        async_to_sync(self.channel_layer.group_discard)(self.group, self.channel_name)
         self.guacamoleclient.close()
 
     def receive(self, text_data=None, bytes_data=None):
         if text_data.startswith('4.sync') or text_data.startswith('3.nop'):
             self.guacamoleclient.shell(text_data)
+
+    def close_viewer(self, data):
+        message = str(base64.b64encode('会话已关闭'.encode('utf-8')), 'utf-8')
+        self.send('6.toastr,1.2,{0}.{1};'.format(len(message), message))
+        self.close()
+
+    def upload_message(self, data):
+        pass