Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

2. Pseudo Gradient Desecnt #2

Open
whquddn55 opened this issue Jul 20, 2022 · 2 comments
Open

2. Pseudo Gradient Desecnt #2

whquddn55 opened this issue Jul 20, 2022 · 2 comments

Comments

@whquddn55
Copy link
Member

Pseudo Gradient Desecnt 피드백

@tykr0001
Copy link
Contributor

  1. 산지니는 경로를 구할때 Gradient Descent의 정의대로 현재 위치에서 Loss Function의 값이 최소가 되는 방향으로 매개변수 하나를 1만큼 변화하도록 하기로 했으며 => Loss Function이 최소가 되는 방향이라는 설명이 모호함(방향이 상하좌우 4개라는 것 명시 필요).
  2. 현재 위치의 Loss 값보다 작으면서 최소인 값이 둘 이상 있을 경우, 최소값이 현재의 Loss값과 같을 경우 등에 대한 처리 방법 명시

오프라인에서 설명하셨을 때는 현재 위치에서 갈 수 있는 방향이 둘 이상 있을 경우에는 "경로 끝에 도달하게 되는 local optimum이 최솟값을 가지는 경로만 출력한다. 경로가 여러개 일땐 그 중 아무거나 하나를 출력한다."라고 하셨는데 이 부분을 명시해야할 듯 합니다.

  1. momentum 적용 시 공간 범위를 벗어나는 경우(Out of Bound)에 대한 설명 필요

@Alcoholrithm
Copy link
Contributor

수정했습니다

오프라인에서 설명하셨을 때는 현재 위치에서 갈 수 있는 방향이 둘 이상 있을 경우에는 "경로 끝에 도달하게 되는 local optimum이 최솟값을 가지는 경로만 출력한다. 경로가 여러개 일땐 그 중 아무거나 하나를 출력한다."라고 하셨는데 이 부분을 명시해야할 듯 합니다.

그리고 위 사항은 출력에 정의되어 있습니다

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants