微调时的 NER 数据集问题

[zejunwang1]

你好，问一下，README 里提到的 NER 训练与评估数据集 MSRA 和 OntoNotes 到哪里可以下载？

[zejunwang1]

你好，问一下，我看 README 里面说，微调 NER 模型时需要使用如下 MSRA 的格式与标签集：

札 B-NS
幌 E-NS
雪 O
国 O
庙 O
会 O
。 O

主 O
道 O
上 O
的 O
雪 O

...

但 MSRA 的 NER 数据集不是下面的 BIO 标注格式吗？
中 B-ORG
共 I-ORG
中 I-ORG
央 I-ORG
致 O
中 B-ORG
国 I-ORG
致 I-ORG
公 I-ORG
党 I-ORG
十 I-ORG
一 I-ORG
大 I-ORG
的 O
贺 O

[fdugzc]

应该是我用的数据集预处理的形式不一样，但是也都是一一对应的：
NT -> ORG
NS -> LOC
NR -> PER

[zejunwang1]

应该是我用的数据集预处理的形式不一样，但是也都是一一对应的： NT -> ORG NS -> LOC NR -> PER

所以微调 NER 时，应该使用 B-M-E-S-O 标注的 NT/NS/NR 输入格式，而不是 MSRA 的 B-I-O 格式吗？

札 B-NS
幌 E-NS
雪 O
国 O
庙 O
会 O
。 O

[fdugzc]

应该是我用的数据集预处理的形式不一样，但是也都是一一对应的： NT -> ORG NS -> LOC NR -> PER

所以微调 NER 时，应该使用 B-M-E-S-O 标注的 NT/NS/NR 输入格式，而不是 MSRA 的 B-I-O 格式吗？

札 B-NS 幌 E-NS 雪 O 国 O 庙 O 会 O 。 O

是的

[t2413]

请问如果finetune别的数据集，是否需要加上相应数据集的labels？应该怎么做呢？

[fdugzc]

请问如果finetune别的数据集，是否需要加上相应数据集的labels？应该怎么做呢？

目前只能支持MSRA标签集