Skip to content

图匠(GraphCrafter) - 大模型集成对话式图像创意室

License

Notifications You must be signed in to change notification settings

HuaHenry/GraphCrafter_TJCS

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

图匠 - 对话式图像创意室

项目名称: 图匠 —— 对话式图像创意室

开发团队:同济大学 锟斤拷

1、首页

进入部署网址,首页 URL 为/Demo。(此时为未登录状态,未登录不能进入各功能界面)

b368223261df91153ff3d52b486f6a0

下拉为模板推荐展示:

f681d2438f0a243720c9a17624c5d1e

2、注册登录

2.1 进入注册登录界面

点击首页右上角 LOG IN 按钮,跳转登录界面。未注册用户需先注册。

image-20240605231800164

2.2 用户类型说明

系统用户分为普通用户Normal User、高级用户Premium User和管理员admin

  • 普通用户可直接注册;
  • 高级用户注册需要填写邀请码Invite Code,目前指定邀请码包括kjk123456kjk654321kjk666888
  • 管理员不可注册,由开发人员指定,账号为客服1,密码为Service

2.3 注册登录信息说明

不符合以下规范会出错提示。

  • 用户名不可重复;
  • 邮箱需符合格式,含@;
  • 密码必须包含大写字母、小写字母、数字中的至少两种;

2.4 登录系统

2.4.1 User用户登录(普通用户和高级用户)

登录成功后进入系统首页,首页三个功能导航进入对应页面:

image-20240605150135234

2.4.2 Admin管理员登录

登录成功后进入管理员界面:

image-20240605145052037

3、图像评估

点击修图,可看到三个图像处理模块,选择“图像评估”:

image-20240605163957062

点击上传图片,选择一张想要修改的图片:

image-20240605165347784-17175776398452

输入指令,询问图匠对这张图片的美学评估:

image-20240605165849597

稍等片刻,图匠给出 IAA(Image Artificial Assessment,图像质量评估)评分和内容理解:

image-20240605170031725

image-20240605170052190

继续追问图片有什么可以改进的地方,图匠给出回答:

image-20240605170413276

image-20240605170427386

可以移除图片,上传新的图片进行问答:

image-20240605170619501

image-20240605170654809

通过点击“清空历史”来清空会话内容:

image-20240606000103640

4、简单修图

简单修图基于 OpenCV 实现,不使用指令修改图像模型推理,缩短处理速度的同时为降低能源消耗、减少碳排放与碳中和做出贡献。

4.1 进入简单修图页面

点击侧边栏修图 $\rightarrow$ 简单修图,进入界面。

点击上方选择栏的不同选项,如图像色彩、图像变换等,可以查看对应分类的图像处理。

image-20240606000919189

image-20240606001039094

4.2 选择修图方法并上传图片

鼠标悬浮在某个修图方法上,会出现立即使用按钮,点击按钮进行图片上传:

image-20240606001141770

稍等片刻,会显示处理后的图像:

image-20240606001515097

点击保存,可将图片保存至草稿箱。

4.3 查看保存的处理后图片

点击侧边栏的个人选项,选择草稿箱,可查看刚刚保存的图片:

image-20240606001555321

所有简单修图类型效果展示 见 附录

5、智能修图

5.1 对话修图

点击对话修图,跳转到对话修图界面:

image-20240606000148559

上传图片,可以根据图像评估给出的修改意见或自己的想法,输入指令,进行AI修图:

image-20240606000208666

注意每次提交的图片都是基于上次的结果的。

image-20240606000239962

风景照修图效果更佳 😃:

image-20240606000331859

同“图像评估”,可以移除图片、清空历史。请注意每一次页面跳转,“对话修图”模块都会清空历史。

5.2 图像生成

进入对话修图界面,输入一段生成图片的指令(含有关键词 生成Generate),即可调用百度文心大模型实时生成图像:

7d134378cf56cfbb2c79770f55de021

生成结果可以进一步使用指令修图进行修改。

6、分享广场

6.1 展示帖子

6.1.1 展示所有用户公开发送的帖子

image-20240606002042743

6.1.2 展示关注用户发送的帖子

image-20240606002140249

6.2 搜索

在搜索栏中输入关键词,可以进行帖子的搜索和用户的搜索:

image-20240606002253141

image-20240606002305886

6.3 帖子详情

6.3.1 评论

在帖子右下方输入栏输入评论:

image-20240606002346556

点击发送,评论会显示在评论中:

image-20240606002405022

6.3.2 点赞与收藏

点击爱心图标可以点赞这一篇帖子,点击五角星图标可以收藏这一篇帖子:

image-20240606002450565

当已经收藏以及点赞的时候,图标会显示为实心。此时,如果再次点击图标,则会取消收藏,取消点赞。

6.3.3 关注用户

点击发帖者用户名旁的关注按钮,即可关注这一名发帖者。

再次点击已关注/互相关注按钮,会出现取消关注的确认弹窗。在此弹窗中,点击确认即可取关这一名发帖者。

image-20240606002552761

image-20240606002603389

6.3.4 浏览发帖者的主页

点击发帖者的头像(下图绿框),可以浏览发帖者的主页。

发帖者的主页显示了他的相关个人资料以及发过的帖子。

image-20240606002712899

image-20240606002724867

点击下图绿框中的对话按钮,可以跳转至与其的对话窗口:

image-20240606011842329

image-20240606011904243

6.4 发布帖子

点击空白的方形区域,即可从本地选中图片上传:

image-20240606012012740

对于已经上传的图片,鼠标移动在其上时,可以选择查看大图或者删除该图片。

图片下方可以输入帖子的标题和内容。

一个帖子可以上传 0~5 张图片,标题和内容不得为空。

image-20240606012139272

7、个人中心

7.1 个人资料卡

7.1.1 资料卡展示

显示基本个人资料,包括用户名,头像,id号,权限(高级/普通), 简介,性别,关注列表,粉丝列表,获赞数,被收藏数:

image-20240606012351164

7.1.2 资料编辑

点击头像旁的编辑按钮,可以进入个人资料编辑页面。

点击头像,上传并预览头像。

所有资料都可编辑 (用户名不能与其他用户重名)。

image-20240606012440879

7.1.3 关注和粉丝列表

点击下图绿框中的关注/粉丝,可以展示用户的关注列表和粉丝列表:

image-20240606012523137

关注列表展示,点击"已关注"按钮,进行相应操作可以实现取消操作:

image-20240606012550696

image-20240606012600831

粉丝列表展示,点击关注按钮,可以进行回关:

image-20240606012623481

7.2 个人收藏

之前在分享广场收藏的帖子会在个人收藏模块展示。点击帖子,同样会显示帖子的详情等:

image-20240606012705697

7.3 个人笔记

自己发过的笔记会在个人中心的笔记栏中显示。点击删除按钮可以进行帖子的删除。

image-20240606012800295

7.4 草稿箱

用户使用简单修图、对话修图的所有图片都会被存储在草稿箱中:

image-20240606015652471

点击任意一张草稿箱的图片,可以一键发布动态至广场页面:

image-20240606015743000

7.5 一键使用模板

对于所有从草稿箱发布的动态,自动存储其修图 prompt,可以在动态详情界面一键使用模板进行修图:

image-20240606015910106

快捷上传图片,确认后自动应用模板进行修图:

image-20240606015941967

附录

简单修图类型

修图方法 修前 修后
Hue Origin Hue
Saturation Origin Saturation
Value Origin Value
Fixed Hue Origin Fixed Hue
Fixed Saturation Origin Fixed Saturation
Fixed Value Origin Fixed Value
Fixed Hue & Saturation Origin Fixed Hue & Saturation
Fixed Hue & Value Origin Fixed Hue & Value
Fixed Saturation & Value Origin Fixed Saturation & Value
eroded Origin eroded
dilated 3 times Origin dilated 3 times
eroded 7x7 Origin eroded 7x7
eroded 3 times Origin eroded 3 times
closed Origin closed
opened Origin opened
Closed 2 Opened Origin Closed 2 Opened
Opened 2 Closed Origin Opened 2 Closed
Gradient or Edge Origin Gradient or Edge
Gradient or Edge 2 Thresh Binary or Edge Origin Gradient or Edge 2 Thresh Binary or Edge
7x7 Black Top-hat Origin 7x7 Black Top-hat
7x7 Black Top-hat 2 Thresh Binary or Edge Origin 7x7 Black Top-hat 2 Thresh Binary or Edge
7x7 Black Top-hat 2 Closed Origin 7x7 Black Top-hat 2 Closed
Mean filtered (5x5) Origin Mean filtered (5x5)
Mean filtered (9x9) Origin Mean filtered (9x9)
Gaussian filtered Image (9x9) Origin Gaussian filtered Image (9x9)
resize CUBIC 0.25 Origin resize CUBIC 0.25
resize NEAREST x4 Origin resize NEAREST x4
resize LINEAR x4 Origin resize LINEAR x4
Median filtered Origin Median filtered
Sobel X Origin Sobel X
Sobel Y Origin Sobel Y
abs Sobel X+Y Origin abs Sobel X+Y
cv2.convertScaleAbs Sobel X+Y Origin cv2.convertScaleAbs Sobel X+Y
Sobel X (7x7) Origin Sobel X (7x7)
uint8 sobel_1 Origin uint8 sobel_1
uint8 sobel_2 Origin uint8 sobel_2
int8 sobel_1 Origin int8 sobel_1
int8 sobel_2 Origin int8 sobel_2
Binary Sobel (low) cv2.threshold uint8_sobel_1 Origin Binary Sobel (low)  cv2.threshold uint8_sobel_1
Binary Sobel (low) cv2.threshold uint8_sobel_2 Origin Binary Sobel (low)  cv2.threshold uint8_sobel_2
Binary Sobel Image (high) cv2.threshold uint8_sobel_1 Origin Binary Sobel Image (high)  cv2.threshold uint8_sobel_1
Binary Sobel Image (high) cv2.threshold uint8_sobel_2 Origin Binary Sobel Image (high)  cv2.threshold uint8_sobel_2
cv2.addWeighted abs Origin cv2.addWeighted abs
Rescaled Origin Rescaled
cv2.subtract Origin cv2.subtract
cv2.subtract gauss15 - gauss05 Origin cv2.subtract gauss15 - gauss05
cv2.subtract gauss22 - gauss20 Origin cv2.subtract gauss22 - gauss20
Canny Contours Origin Canny Contours
Canny Contours Gray Origin Canny Contours Gray
Contours with RETR_LIST Origin Contours with RETR_LIST
White Balance 1 Origin White Balance 1
White Balance 2 Origin White Balance 2
White Balance 3 Origin White Balance 3
Single Scale Retinex 1 Origin Single Scale Retinex 1
Single Scale Retinex 2 Origin Single Scale Retinex 2
Multi Scale Retinex 1 Origin Multi Scale Retinex 1
Multi Scale Retinex 2 Origin Multi Scale Retinex 2
Multi Scale Retinex With Color Restoration 1 Origin Multi Scale Retinex With Color Restoration 1
Automatic White Balance Origin Automatic White Balance