vanishing gradient problem
By Imagination is more important than knowledge (지식보다 상상) | 2021년 11월 19일 |
vanishing gradient problemVisualizing the vanishing gradient problem (machinelearningmastery.com) 인공신경망의 성공, 즉, deep learning의 성공은 바로 vanishing gradient problem을 해결한 것에서 시작한다. 즉, 역전파 방법에서의 혁신이 이루어졌기 때문이다. 컴퓨터의 발전이 이것을 이루어 낸 것이 아니다. 매우 많은 수의 hidden layer들이 있을 때, 기울기가 감소하는 문제는 무엇인가? 이것은 학습을 진행하는데 어려움을 이야기 하는 것이다. 학습의 방향이 전달되지 않는 현상을 의미한다. 분명이 가중치를 변경시켜야하는 방향을 알고 있지만, 실제로 가중치를 바꾸지 못하는 현상을 말한다. 다시
[c++] 1로 만들기 / dynamic programming topdown
By 별일없는 범고래님의 이글루입니다 | 2018년 6월 26일 |
질문 검색1로 만들기 성공시간 제한메모리 제한제출정답맞은 사람정답 비율2 초128 MB4470614447947332.491%문제정수 X에 사용할 수 있는 연산은 다음과 같이 세 가지 이다.X가 3으로 나누어 떨어지면, 3으로 나눈다.X가 2로 나누어 떨어지면, 2로 나눈다.1을 뺀다.정수 N이 주어졌을 때, 위와 같은 연산 세 개를 적절히 사용해서 1을 만들려고 한다. 연산을 사용하는 횟수의 최소값을 출력하시오.입력첫째 줄에 1보다 크거나 같고, 106보다 작거나 같은 자연수 N이 주어진다.출력첫째 줄에 연산을 하는 횟수의 최소값을 출력한다.예제 입력 1 복사2예제 출력 1 복사1예제 입력 2 복사10예제 출력 2 복사3힌트10의 경우에 10 -> 9 -> 3 -> 1 로 3번 만에 만들
가장 쉬운 베이지안 옵티마이제이션 [Python]
By Imagination is more important than knowledge (지식보다 상상) | 2020년 1월 5일 |
가장 쉬운 베이지안 옵티마이제이션http://incredible.egloos.com/7461939 매우 복잡한 문제에 적용할 수 있는 아주 일반적인 최적화 알고리듬은 아니지만, 적당한 크기의 문제에 대해서 좋은 최적화 방법이라고 볼 수 있다. 특히, 기계학습의 경우, hyperparameter 최적화에 활용되고 있다. 특히 이 문제의 크기와 베이지안 옵티마이제이션는 궁합이 잘 맞는 경우라고 볼 수 있다.목적함수 계산을 너무 많이 할 수 없을 경우에 적절한 방법으로 알려져 있다. --------------------------------------------------------------------------------------------------------------------- from baye
[c++]10799번 쇠막대기 / stack
By 별일없는 범고래님의 이글루입니다 | 2018년 7월 5일 |
문제는 굉장히 어려워 보이나 규칙성을 찾는다면 스택을 이용해 간단하게 해결할 수 있는 문제이다. 입력받은 string을 순차적으로 검사해괄호 ( 가 있다면 스택에 추가하고,괄호 ) 가 있다면 레이저에 의한 ')'인지 쇠막대기에 의한 ')'인지확인하여 각각의 경우를 처리해주면 된다. 레이저에의한 ) 괄호 같은 경우엔 겹쳐져있는 막대기를 한번에 자르는 것이므로 스택에 남아있는 ' ( ' 의 수를 추가하면 될 것 같다.또한 레이저가 끝났으므로 pop을 하여 앞에 남아있는 레이저의 ( 괄호 또한 삭제해준다. 쇠막대기에 의햔 ) 괄호는 쇠막대기가 끝났다는 것을 의미하므로 결과에 +1을 추가해주고, 쇠막대기의 시작을 알려주는 ( 괄호를 pop해준다. 결과값 출력을 해주면 정답을 얻어낼 수 있다. 1