도메인 적응과 Fine-tune 순서 문의

[kjhkjh95]

안녕하세요 :)
요약 모델을 공부하고 있는 대학원생 학생입니다! 블로그와 코드까지 깔끔히 정리해주심에 감사합니다!
도메인 적응과 Fine-tune 순서 문의드리고자 글을 남깁니다.
Fine-tune 은 요약 모델의 성능을 올리는 것이고, 도메인 적응은 모델이 해당 도메인에 익숙해지도록 하는것으로 알고 있는데요.

• 1. 도메인 적응을 한 후, 2) Fine-tune을 진행하신 것이라 이해하면 될까요?
• 아니면 1) Fine-tune 한 후, 2) 도메인 적응을 적용하신 것인지도 궁금합니다 ! [혹시 이 경우라면, 이 순서로 하는 것이 원래 성능이 좋은 것일까요? 짧은 제 지식으로는 도메인 adaptation을 한 후 fine-tunin하는 순서가 조금 더 익숙한 것 같아서요!]
• fine-tuning만 했을 때보다 도메인 적응을 한 후, 성능 향상 폭이 어느정도 증가하는지도 궁금합니다! ㅎㅎ

귀한, 모델과 글 감사합니다. 공부에 정말 많은 참고가 됩니다!
정말 감사합니다.

[jx-dohwan]

안녕하세요! 재 프로젝트에 문의주셔서 감사합니다 저는 도메인 적응을 한 후 Fine-tune를 진행하였습니다. 감사합니다! 2024년 7월 7일 (일) 오후 4:38, luke.4.18 ***@***.***>님이 작성:

…

안녕하세요 :) 요약 모델을 공부하고 있는 대학원생 학생입니다! 블로그와 코드까지 깔끔히 정리해주심에 감사합니다! 도메인 적응과 Fine-tune 순서 문의드리고자 글을 남깁니다. Fine-tune 은 요약 모델의 성능을 올리는 것이고, 도메인 적응은 모델이 해당 도메인에 익숙해지도록 하는것으로 알고 있는데요. - 1. 도메인 적응을 한 후, 2) Fine-tune을 진행하신 것이라 이해하면 될까요? - 아니면 1) Fine-tune 한 후, 2) 도메인 적응을 적용하신 것인지도 궁금합니다 ! [혹시 이 경우라면, 이 순서로 하는 것이 원래 성능이 좋은 것일까요? 짧은 제 지식으로는 도메인 adaptation을 한 후 fine-tunin하는 순서가 조금 더 익숙한 것 같아서요!] 귀한, 모델과 글 감사합니다. 공부에 정말 많은 참고가 됩니다! 정말 감사합니다. — Reply to this email directly, view it on GitHub <#1>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ATBVY6FV7ALVD3USORB65UDZLDWATAVCNFSM6AAAAABKPEAP3KVHI2DSMVQWIX3LMV43ASLTON2WKOZSGM4TGOJTGM4TANY> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>