Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于比较模型实验结果的一些问题。 #16

Closed
Transformer0714 opened this issue Oct 5, 2023 · 6 comments
Closed

关于比较模型实验结果的一些问题。 #16

Transformer0714 opened this issue Oct 5, 2023 · 6 comments

Comments

@Transformer0714
Copy link

首先非常感谢你们出色的研究工作,给了我很多帮助。Libcity的主页上说此工作是基于Libcity进行开发的,我在使用libcity进行模型实验的时候,发现实验结果与本篇论文所给结果有较大出入,比如STTN模型在PeMS08数据集上的MAE为16.90,而本文的结果为15.482。请问你们是在libcity的模型中进行了参数调优吗?

@Transformer0714
Copy link
Author

另外还有一个关于Libcity库的问题,我在使用其介绍里下载的PEMSD8数据集和PDFormer提供的PeMS08数据集进行实验时,得到的结果截然不同,请问这两个数据集有什么区别吗?
屏幕截图 2023-10-05 105534
PEMSD8得到的结果6.4976看起来与流量、速度和占有率的预测结果都不吻合

@aptx1231
Copy link
Member

aptx1231 commented Oct 5, 2023

这是因为没有区分速度、流量、占有率,LibCity/Bigscity-LibCity#358 这里介绍了如何区分这3类数据。
这个仓库提供的pemsd8数据集是默认区分了数据的,而libcity里边提供的数据集没有区分,需要手动修改一下。

论文确实做了参数调优,另外需要注意的是libcity默认的数据划分比例是712,而本文遵循过去对于pemsd4/8的设置,采用的622,因此结果可能不同。另外,也可以看下是否区分了交通数据的类型。

@Transformer0714
Copy link
Author

好的,非常感谢,明白了。

@Transformer0714
Copy link
Author

还有一个问题,libcity中目前复现的模型是使用的原论文的参数吗?我跑了几个模型发现和PDFormer所给的结果都有一些差距

@aptx1231
Copy link
Member

aptx1231 commented Oct 5, 2023

libcity是基于原论文的参数,但是比较粗糙,比如多个数据集是同一套参数。所以libcity并不完全能复现原始性能,会差一点。

@Transformer0714
Copy link
Author

非常感谢您的耐心解答!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants