Skip to content

Latest commit

 

History

History
200 lines (159 loc) · 18.9 KB

README.md

File metadata and controls

200 lines (159 loc) · 18.9 KB
Raw

简体中文

当前版本: v1.0.0

nfshmserver

NFShmServer 是一个使用C++开发的轻量级,敏捷型,弹性的,分布式的共享内存（C++热更）/多进程lua(lua热更)的插件开发框架, 让你更快更简单的开发服务端应用. 部分思路来自UE4和Ogre.(当前主要用在游戏领域) . 最近加了rpc服务，数据库自动建库建表新加列服务，单线程lua脚本系统，后续可能会加actor多线程lua脚本系统，想法有点类似skynet的

License GitHub stars GitHub issues GitHub code size in bytes
SonarCloud codecov QQ Group Discord 996.icu

Copyright © [NFShmServer]
GitHub: https://github.com/yigao/NFShmServer

码云: https://gitee.com/xiaoyi445_admin/NFShmServer

QQ 群: 点击加群762414765

CI master分支 develop分支
Github Actions Github Action Github Action

为什么要写NFShmFrame开源服务器

  • 最近参加了一下面试，面试官问为什么要写开源服务器，你写的和别人的开源有什么区别。我说因为兴趣所以写，要写世界最屌的服务器.
  • 这个服务器和别人的服务器有什么区别呢！如果写的东西，别人也可以立马写出来，或者和别人的差不多，那就只是练练手脚，价值不大。

NFShmFrame开源服务器的与众不同之处

  • 由游戏服务器开发过程中遇到的问题来展开NFShmFrame不同于别的服务器之处，在近10年的游戏开发中，常常遇到一些开发中的问题，为了解决遇到的这些服务器难题，我往往会在NFShmFrame上先实现解决方案，久而久之，6年的积累，慢慢就形成了NFShmFrame这个开源服务器
  1. 问题一：C++服务器开发谁都避不过去的问题，C++服务器崩溃。不管是指针导致的，还是memcpy,memset等函数导致的，还是数组越界，栈空间越界导致的，最终C++服务器崩溃，内存数据全部丢失。
  2. 问题二：C++难以实现像LUA那样的热更功能
  3. 问题三：一般的分布式游戏服务器，基本都是由很多不同功能的进程组成，这些进程使用Tcp或共享内存相互链接，难以配置。
  4. 问题四：多进程的分布式服务器，需要同时开启多个进程。即使在windows系统上使用vs调试，也需要开启很多窗口，太多的话，关闭或启动服务器麻烦。在linux，如果使用gdb调试多个服务器的话，那简直就是人道灾难
  5. 问题五：在实现游戏服务器系统的DB存储过程中，大量手写sql语句。写的蛋痛，看的蛋痛，维护蛋痛，特别容易写错，还难写。玩转mysql服务器，storeserver利用protobuf反射，自动创建数据库，创建表，新加列, 通过加载pb， 动态更新storeserver服务，无需你手写任何mysql语句，统一实现游戏服务器的数据拉去，存取，更新
  6. 问题六：C++多线程，不管是要实现tcp网络的多线程，还是db系统的多线程，并不好写。
  7. 问题七：有些游戏服务器，比如从腾讯等公司拿出来的，同时使用共享内存和TCP来实现服务器与服务器之间的通讯以及服务器和客户端的通讯。TCP和共享内存之间接口难以统一，相互替换麻烦。
  8. 问题八：大部分游戏公司的服务器代码各个模块耦合度太高，难以分开，难以替换升级。
  9. 问题九：部分公司，主要是腾讯出来创业搞出来的公司，使用共享内存来解决C++服务器崩溃后数据丢失和C++热更问题。但是使用共享内存创建类，缺乏stl之类的容器支持。导致使用共享内存成本太高。

特性

  • 可以做到分布式架构不需要修改任何源码的情况下，做到单进程运行整套分布式系统(对于滚服服务器，可同时运行多个服务器，便于调试跨服)，加快平时的服务器开发。 同时还能做到在开发运行的时候最大可能的节约内存， 方便调试开发。分布式运行只需要程序启动时参数修改即可

  • C++热更，服务器实现了共享内存C++热更(对于纯粹C++来说，也是唯一热更的有效可用的方案，当然热更的前提是没有修改共享内存类的结构大小)。

  • 服务器崩溃不丢失数据，对于热门的赚钱的游戏这点还是很重要的。 服务器崩溃后重启，不丢任何物理数据，甚至连内网协议数据都不会有丢失。

  • 游戏数据均放在共享内存里，共享内存架构经过很多MMO大项目验证无问题，内网通讯采用共享内存通讯的话，服务器异常时，玩家协议数据不会丢失。

  • 实现一套可以放心用在共享内存里的仿sgi-stl数据结构, 极大的解决了使用共享内存写代码难度搞得问题(见过好几套从腾讯流出来的游戏的共享内存架构，大部分仅仅是实现了一个简单的哈希表，其余的业务就需要使用C语言的原始数组啥的了)。除了事先需要定义好需要的内存大小外，其余使用方法都与stl一样. NFShmVector -- std::vecotr 使用:NFShmVector<int, 5> -- std::vector 除了要定义5这个最大内存容量外，其余使用方法NFShmVector和std::vector完全一样，包过使用他们的迭代器以及stl算法

  • 服务器游戏配置数据，从excel到共享内存代码，到sql语句，只需定义一个protobuf结构，就可以生成大量有用代码，你可以用这个protobuf结构去读取excel数据，生成对应的共享内存结构类，来存放数据，也可以生成sql数据，把excel表导入到数据库，不需要修改源码，可以从本地文件读取excel数据，可以直接从数据库读取配置。

  • 玩家个人数据，只需定义一个protobuf结构，自动生成共享内存数据，sql数据，通过protobuf发射来完成mysql数据的存取，无需你自己写sql语句。

  • 类似腾讯内部服务器，每一个服务器进程都有一个独立的类似网络IP的ID，来代表这个服务器，你不需要知道任何一个服务器进程部署在哪里，只要知道这个服务器的独立ID，就可以相互通讯

  • 多进程单线程lua热更，实现了lua插件。可以用lua写业务代码，热更服务器。

  • 多进程actor多线程lua热更, 目前还是构思中。有点类似skynet, 但是C++底层还是nf, 架构主C++，业务主lua.

  • 友好的协程RPC系统，实现了一个使用游戏服务器的RPC系统，简单好用，同时非常适配游戏服务器的协议系统。

  • 高并发和高性能的通信模块， 跨物理机器以及对外采用libevent+evpp实现的多线程网络tcp,udp,http， 同一个物理机通信可采用单线程共享内存bus系统，也可采用前面的多线程网络。同时实现了网络和bus系统的接口配置统一， 只需要稍微修改配置，就可方便切换.

  • 高可用的系统架构。架构采用分成架构，系统分为架构层,服务器层，具体的游戏业务层。具体的层次具体的目录，上层不会依赖下层，结构清晰。架构层,服务器层通用，不同的游戏分不同的目录.

  • 可复用的db系统，db系统采用protobuf反射机制来实现。不需要手动撸sql语句，不需要定义mysql表。只需要一个protobuf结构体，db系统会自动创建数据库，创建表格，新加列。数据库的查询，插入，保存，也仅需要使用这个protobuf结构体调用系统结构即可。

  • 统一的配置加载机制，无论你是从excel加载配置，还是从数据库表格里加载配置。无需大量修改代码，仅仅该一个标志即可。

  • 邮箱以及企业微信通知机制，实现了启动服务器以及服务器崩溃，服务器结构会把启动的信息以及服务器崩溃的dump信息发送至邮箱或你的企业微信里。

  • 友好的日志控制，你可以单独控制，一个小模块的日志，甚至一个玩家的日志

  • 配套的 U3D 客户端，一个捕鱼项目 https://github.com/yigao/NFShmFrame_FishClient.git

  • 跨平台(Windows, Linux, MacOS)

Dependencies

  • libevent
  • spdlog
  • google protobuf
  • hiredis
  • rapidjson
  • concurrentqueue
  • RapidXML
  • LuaIntf
  • navigation
  • lua
  • mysql
  • mysqlpp
  • curl
  • evpp
  • openssl
  • theron
  • zookeeper

linux centos 安装可能需要的环境:

  • sudo apt-get install g++
  • sudo apt-get install cmake
  • sudo apt-get install automake
  • sudo apt-get install zip unzip

（非必须，除非你要修改excel,或修改proto文件）安装Excel工具, 需要安装protobuf python模块， xlrd python模块

Supported Compilers

  • GCC >= 7 (Tested on Centos 7)
  • MSVC >= VS2017 (Tested on Win10)

Build and Install

FOR WINDOWS, MSVC >= 2017

  1. Git pull all source
  2. Build the solution
  3. Run the binary file by Install/Bin/Debug/rund_allserver.bat
  4. win上采用的静态编译方式，而不是动态加载so/dll文件，只共大家平时开发用，会把所有的程序都打包的到NFPluginLoader， 然后通过配置文件来选择不同的程序运行，配置和在linux上的配置一样，到不用改动.

FOR LINUX(UBUNTU, CENTOS) ---- please use administrator(or sudo) to do these:

  1. Git pull all source
  2. Run build_dynamic_debug.sh to build Debug of NFShmServer
  3. Run build_dynamic_release.sh to build Release of NFShmServer
  4. Run the server， 分几种情况执行:
    • 根据使用master服务器来做分布式，分几种种执行方式：
    • 如果你想把所有的分布式进程放到一个进程一个线程里执行的话，只要是方便调试:
    • 内网使用TCP通信,master服务器来做分布式:./NFPluginLoader --Server=AllServer --ID=1.1.1.1 --Config=../../Config --Plugin=../../TcpPlugin --restart
    • 内网使用Bus通信,master服务器来做分布式:./NFPluginLoader --Server=AllServer --ID=1.1.1.1 --Config=../../Config --Plugin=../../BusPlugin --restart
    • 内网使用TCP通信,zookpeer服务器来做分布式:./NFPluginLoader --Server=AllServer --ID=1.1.1.1 --Config=../../Config --Plugin=../../TcpPlugin_Zookpeer --restart
    • 内网使用Bus通信,zookpeer服务器来做分布式:./NFPluginLoader --Server=AllServer --ID=1.1.1.1 --Config=../../Config --Plugin=../../BusPlugin_Zookpeer --restart
    • 如果你想分布式执行:
    • 内网使用TCP通信,master服务器来做分布式:执行脚本CreateScript.sh或CreateScript_TcpPlugin.sh，会生成Start.sh,Stop.sh,ReStart.sh,Alllog.sh等脚本，执行Start.sh，会一个一个启动服务器，执行Alllog.sh可以查看所有服务器的日志。
    • 内网使用Bus通信,master服务器来做分布式:执行脚本CreateScript_BusPlugin.sh，会生成Start.sh,Stop.sh,ReStart.sh,Alllog.sh等脚本，执行Start.sh，会一个一个启动服务器，执行Alllog.sh可以查看所有服务器的日志。
    • 内网使用TCP通信,zookpeer服务器来做分布式:执行脚本CreateScript_TcpPlugin_Zookpeer.sh，会生成Start.sh,Stop.sh,ReStart.sh,Alllog.sh等脚本，执行Start.sh，会一个一个启动服务器，执行Alllog.sh可以查看所有服务器的日志。
    • 内网使用Bus通信,zookpeer服务器来做分布式:执行脚本CreateScript_BusPlugin_Zookpeer.sh，会生成Start.sh,Stop.sh,ReStart.sh,Alllog.sh等脚本，执行Start.sh，会一个一个启动服务器，执行Alllog.sh可以查看所有服务器的日志。

Tutorial && Documents

Tutorial Chapters:

-->

Concept Chapters:

客户端下载，客户端代码还在整理，后面会开源，现在有一个捕鱼apk，可以玩玩

game.apk

服务器架构

进程架构:

App Architecture

单物理机服务器架构:

单物理机服务器架构

多物理机服务器架构:

多物理机服务器架构

服务器架构说明:

  • 所有的服务器都要链接master服务器，可以选择使用master服务器作为命名服务器，只需修改下配置即可
  • 每一个服务器都有一个类似IP地址的ID，作为唯一ID，比如master服务器ID是1.1.1.1， worldserver服务器ID是15.100.3.1， 服务器之间相互通讯，不需要知道对方部署在哪一台物理机上，只需要知道对方的唯一ID，就可以相互通讯
  • 每一个单独的物理机上都有一个NFRouteAgentServer路由代理服务器,用来在这个物理机上实现内网通讯以及和别的物理机通讯，一个NFProxyAgentServer网关代理服务器，用来链接网关，实现对外部（客户端）通讯
  • 物理机
  • 逻辑服务器比如LoginServer,LogicServer,GameServer,WorldServer,SnsServer,StoreServer, 相互之间不连接，同一个物理机上全部链接同一个NFRouteAgentServer路由代理服务器，并把自己的唯一ID注册到这个NFRouteAgentServer上， 来实现相互通讯，比如LoginServer发消息给WorldServer, LoginServer和WorldServer之间相互不连接，LoginServer需要把消息先发给NFRouteAgentServer, NFRouteAgentServer再把消息转发给WorldServer。
  • NFRouteAgentServer路由代理服务器通过链接NFRouteServer服务器来实现相互链接，NFRouteAgentServer路由代理服务器会把自己下面的逻辑服务器信息发给NFRouteServer服务器，来实现分布跨物理机通讯。在不同物理机之间的服务器通讯需要NFRouteServer服务器，比如LoginServer给不在同一个物理机上的WorldServer发消息，LoginServer需要把消息先发给同一台物理机上的NFRouteAgentServer, NFRouteAgentServer再把消息转发给NFRouteServer, NFRouteServer在吧消息转发给和WorldServer同一个物理机的NFRouteAgentServer, NFRouteAgentServer再把消息转发给WorldServer
  • 客户端只链接NFProxyServer， 发消息给逻辑服务器，NFProxyServer会把消息转发给逻辑服务器链接的NFProxyAgentServer代理服务器，NFProxyAgentServer代理服务器在吧消息转发给逻辑服务器, 同理逻辑服务器发消息给客户端，需要先通过NFProxyAgentServer代理服务器, NFProxyAgentServer代理服务器在发消息转发给NFProxyServer, NFProxyServer在发给客户端

一些很赞的项目

PSS

  • 作者: freeeyes
  • 描述: 基于插件的跨平台网络服务器框架

ARK

  • 作者: NickYang1988
  • 描述: 基于插件的跨平台网络服务器框架

NoahGameFrame

  • 作者: ketoo
  • 描述: 基于插件的跨平台网络服务器框架