实验小项目招新：new arceos tutorial

[chyyuu]

2025OS训练营后续的暑期实践小任务

new arceos tutorial

目标：

一步一步地学习基于各种内核组件来搭建操作系统。主要参考对象是arceos相关的各种内核组件(crates、modules)和内核主干（framework）

具体目标：

1. 基于最新的arceos(作为submodule)，升级arceos oscamp的每个小的练习，支持4种硬件架构。

参考：

• arceos oscamp
  • 升级主线arceos的oscamp参考:from lang-qiu-yi
• rcore tutorial book v3
• concise rcore tutorial book
• zcore tutorial book
• rvm toturial book

[chyyuu]

arceos tutorial book 框架

• 实验环境配置
  • OS 环境配置
  • Rust 开发环境配置
  • Qemu 模拟器安装
  • 其他工具安装
  • 运行Hello World
• unikernel基本概念
  • 设计原则和思路
  • arceos框架设计
  • 与具体OS无关的crates
  • 与具有OS相关的modules
• 设计实现helloworld unikernel
  • hellowold的功能需求分析
  • helloworld的crates/modules组成
  • 组装helloworld
• 设计实现协作式多任务unikernel
  • 协作式多任务的功能需求
  • 协作式多任务相关的crates/modules组成
  • 协作式多任务的框架设计
  • 组装协作式多任务unikernel
• 设计实现抢占式多任务unikernel
  • 抢占式多任务的功能需求
  • 抢占式多任务相关的crates/modules组成
  • 抢占式多任务unikernel的框架设计
  • 组装抢占式多任务unikernel
• 设计实现支持虚拟内存的unikernel
  • 虚拟内存的功能需求
  • 虚拟内存相关的crates/modules组成
  • 虚拟内存unikernel的框架设计
  • 组装虚拟内存unikernel
• 设计实现支持文件系统的unikernel
  • 文件系统的功能需求
  • 文件系统相关的crates/modules组成
  • 文件系统unikernel的框架设计
  • 组装文件系统unikernel
• 设计实现支持网络的unikernel
  • 网络协议栈/网卡驱动的功能需求
  • 网络相关的crates/modules组成
  • 网络unikernel的框架设计
  • 组装网络unikernel
• 设计实现支持AI的unikernel
  • AI应用/AI加速设备驱动的功能需求
  • AI相关的crates/modules组成
  • AI unikernel的框架设计
  • 组装AI unikernel

[chyyuu]

6.28~7.5的计划：

• cy写arceos tutorial book framework（一级目录）
• cy建立repo：https://github.com/rcore-os/arceos-tutorial-book
• zy/jyk改进 framework。未来希望本组同学通过在QEMU/华山派上的arceos实践，一起来完成和完善arceos tutorial book。
• zy建立OS相关QA系统，分析向老师发的文档，导入OS课程数据。未来会进一步完成OS QA系统。
• lm搞定云主机，用于后续QA，arceos网页等。
• lm老师征集后续加入的人员。
• 邀请zy/xkz 本组的组长和副组长，召集本组同学加入具体工作
• zy/xkz 每周定期开会交流，形成每周纪要，放到https://github.com/orgs/rcore-os/discussions/29 中。

[TihayaKousaka]

2023.7.5第一次例会纪要

1. 介绍arceos组件化系统概念
2. 通过 mdbook 编写 arceos tutorial book
3. 讨论 book 编写的形式以及包含哪些内容

下一步计划：

通过编写 《设计实现helloworld unikernel》样章，总结book编写的经验

[shzy2012]

Arceos Tutorial Book 阅读地址
http://rcore-os.cn/arceos-tutorial-book/

[shilei-massclouds]

1. 希望能够像rust的教程那样，能够从不同角度，采用不同思路产生一系列的教程。以下是我编写arceos tutorial的一个思路。
2. 开始编写ArceOS Tutorial的实验程序，具体思路如下：
   1. 参照rcore tutorial，这类教程应当是实验为主，book作为配套指导
   2. 降低对学习者的门槛要求，实验从低起点开始，难度递增要平缓，但是最终要形成一个相对完整的unikernel os
   3. tutorial教程目的是讲清楚核心的原理机制，不必面面俱到
3. 为达到上述要求，首先是完成一个简化的ArceOS，具体从三方面简化
   1. 仅保留RiscV64架构
   2. 主干组件保留，其余各个子系统仅保留代表性的组件
   3. 对保留的组件，简化实现
4. 实验的设计，从空项目开始，共分16步，形成一个简化的但功能涵盖各个子系统的unikernelOS

实验步骤 - 每步自动验证	配套章节要点
1. 构建单行代码WFI的rust裸机程序。验证：qemu跟踪日志，输出0x80200000这行WFI	第一章 史前时代：从加电到内核第一行
2. 相当于axhal的简化版，完成栈初始化，从汇编到rust世界，通过SBI打印”Hello, ArceOS!”并关机。验证：匹配打印屏幕内容，并确认关机。	第二章 Hello, ArceOS!建立最初的组件，axhal、axruntime、axstd和app。
3. 启用分页，建立早期的虚拟地址空间，进行正常数据访问和跨段非法访问导致异常。验证：正常访问得到预期数据；非法捕获对应异常。	第三章 内存管理和地址空间早期页表映射
4. 支持基于堆的动态内存分配，实现bump算法，引入tlsf算法，通过axstd访问vec、String类型数据。验证：Vec和String数据类型访问通过。	第三章 内存管理和地址空间 动态内存分配
5. 重新映射地址空间，对内核各个段精细化控制权限，进行正常数据访问和越权访问导致异常。验证：正常访问得到预期数据；非法捕获对应异常。	第三章 内存管理和地址空间 地址空间映射(正式)
6. 支持完整的println打印，支持log模块。验证：匹配打印屏幕内容，匹配日志内容。	第三章 内存管理和地址空间 打印和日志支持
7. 增加协作式任务调度组件，支持yield操作，以map/reduce方式进行加和计算。验证：检查任务完成顺序验证yield生效，另外需要匹配最终的加和计算结果。	第四章 多任务 协作式策略
8. 加入定时中断组件，响应中断打印当前时间。验证：匹配打印结果，证明定时有效性。	第四章 多任务 定时中断
9. 增加抢占式任务调度组件，先运行任务以超时方式等待，后运行任务负责唤醒。验证：先运行任务可以被唤醒，不会超时。	第四章 多任务 抢占式
10. 增加platform总线管理组件，探测基于virtio的block和nic设备并关联驱动。验证：发现block和nic设备。	第五章 设备IO 1节：发现设备
11. 增加virtio和virtio-blk组件，进行裸设备块的读写测试。验证：写入裸设备数据后，读出成功。	第五章 设备IO 2和3节：virtio和块设备驱动
12. 增加fatfs组件(或者easy-fs组件)，通过shell应用进行常规的目录和文件操作。验证：文件常规操作测试通过。	第五章 设备IO 4节：文件系统
13. 增加virtio-nic驱动组件和引入协议栈组件，进行常规的tcp收发包echo测试。验证：echo收发包测试通过。	第五章 设备IO 5和6节：网卡驱动和协议栈
14. 引入C应用库axlibc，运行C的helloworld。验证：helloworld正常输出。	第六章 支持C应用
15. 对涉及多核的组件改造，支持多核；各个任务通过SBI获得hartid，运行之前加和程序时，打印hartid。验证：加和结果正确，hartid获取符合预期范围。	第七章 多核

目前主要工作：编写该实验程序，权衡调整需要保留和忽略的部分。验证框架的设计。

下步计划

1. 完成ArceOS Tutorial的实验程序
2. 完成相关的实验指导，验证实验程序，并作为tutorial的初始版。

[shilei-massclouds]

整理Tutorial的章节结构，并开始编写实验程序的代码，以下是当前进度：

第零章 史前时代 - 从计算机启动到执行内核第一行代码

• v0: 内核第一行代码
  第一章 Hello, ArceOS! - 内核启动和组件诞生
• v1.0: 内核启动，输出Hello到屏幕，分别对应os模块和app模块
• v1.1: 最早的组件：axhal(os层)和axorigin(app层)
  第二章 内存管理1 - 初始地址空间和早期内存分配
• v2.0: 启用分页，建立初始的虚拟地址空间
• v2.1: 早期内存分配器，支持有限的动态内存分配
• v2.2: axruntime组件，建立主干(FIXME: 删除main函数的参数)
  第三章 输入输出 - 标准输出和启动参数
• v3.0: axstd组件，支持println!宏
• v3.1: crate_interface组件，打破循环依赖
• v3.2: axlog组件，支持log
• v3.3: 支持关机，完善panic
• v3.4: 解析fdt发现内存上限和mmio范围
  第四章 内存管理2 - 地址空间重建和正式内存分配
• v4.0: 重建地址空间，精确权限控制，并建立mmio空间映射
• v4.1: 正式页内存分配器，支持bitmap算法
• v4.2: 正式字节内存分配器，支持tlsf算法
  第五章 多任务1 - 从串行到协作式并发
• v5.0: 同步原语 - 自旋锁
• v5.1: 任务与调度框架
• v5.2: 协作式调度算法与yield
  第六章 异常和中断 - 响应意外情况和外部事件
• v6.0: 异常与中断框架
• v6.1: 默认异常处理
• v6.2: 时钟中断
  第七章 多任务2 - 从协作式到抢占式
• v7.0: 时间片管理
• v7.1: round-robin调度算法
• v7.2: cfs调度算法
• v7.3: 同步原语 - 等待与唤醒
  第八章 文件系统1 - 基于内存的文件系统
• v8.0: 文件系统框架
• v8.1: ramfs基本文件与目录操作
• v8.2: devfs管理随机数设备、网卡设备和块设备
  第九章 总线与设备 - 发现设备
• v9.0: virtio-mmio驱动 - 发现virtio设备
• v9.1: virtio-rng设备驱动
  第十章 网卡与协议栈 - 连接外部世界
• v10.0: virtio-net网卡驱动
• v10.1: 网络协议栈，支持socket
  第十一章 文件系统2 - 持久化文件系统
• v11.0: virtio-blk块设备驱动
• v11.1: easy-fs文件系统
  第十二章 Rust库 - 兼容Rust Std
• v12.0: 重构axstd组件
  第十四章 C库 - 支持C应用
• v13.0: 建立axlibc组件

[chyyuu]

Q: lmy: 我在迁移 oscamp 到 x86_64 时遇到了一个问题: q35 机器中 pflash 被严格用于固件而不能作为通用闪存设备, 且要求两块 Flash 芯片: 只读的 unit0 包含 UEFI/BIOS 代码, 可读写的 unit1 包含一些固件变量, 后者严格依赖前者; 如果试图使用 unit=0 作为 pflash, 这个优先级会比 SeaBIOS高, 会导致直接把pflash.img作为固件镜像, 进入空的BIOS镜像反复执行 add %al,(%rax) (全0的机器码), 使用 unit=1 要求 unit=0 存在 (连续定义), 所以也行不通; 而 q35 机器也不支持更多的 pflash 了. 请问有没有前辈遇到过这个问题的

A: chy: 升级oscamp是要求升级到基于最新的arceos，且支持4种处理器和对应的qemu虚拟硬件平台，简单明了是一个重要指标。所以我们可以继续保持pflash for arm/rv平台。对于x86/la/arm/rv，可以考虑ramdisk这样更简单的虚拟存储；这一步完成后，可进一步用 virtio-blk （参考使用 virtio-drivers crate等）来形成新的oscamp tours。