본문 바로가기

분류 전체보기39

ELBO (Evidence of Lower BOund)에 대하여 ELBO (Evidence of Lower BOund)에 대해 알아보겠습니다. ELBO를 이용해서 loss를 만들고 최적화하곤 하지요. ELBO는 자주 쓰이지만 ELBO가 어떻게 나왔는지는 자주 까먹곤 합니다. 나중에 ELBO에 대해 까먹으면 다시 찾아오기 위하여 이 글을 작성합니다. ELBO (Evidence of Lower BOund)에 대해 알아보자 어떤 space $X$가 있다고 합시다. 여기서 $x\in X$를 꺼내 봅시다. 이제 이 $x$를 변형시켜서 어느 공간 $Z$으로 숨길려고 합니다. 잘 숨겼다면 나중에 다시 불러 올수도 있겠죠. Encoder와 Latent Space 앞서 말씀 드렸듯 $x \in X$를 어떤 공간 $Z$로 보낼려고 합시다. 여기서 $Z$는 확률밀도함수 $p(z)$를 따.. 2023. 10. 29.
[논문리뷰] Calibrating Multimodal Learning 최근 인공지능 학회중 하나인 ICML 2023 에 발표된 Calibrating Multimodal Learning 에 대해 리뷰해보겠다. 논문 제목 Calibrating Multimodal Learning에서 예상할 수 있듯이 본 논문에서는 Multimodal model을 Calibration 하는 학습 방법을 제시한다. Calibration이라는 개념을 이해하기 위해서는 Multimodal model learning이 무엇인지 알아야 되고 calibration 을 하는데 사용되는 confidence에 대한 개념부터 알아야 한다. multimodal model의 개념과 confidence의 개념에 대해 먼저 알아보고 그다음에 본 논문의 아이디어에 대해 알아보자. Calibrating Multimodal .. 2023. 10. 28.
연립 1계 선형 미분 방정식 Systems of First Order Linear Differential Equations 연립 1계 선형 미분방정식 $$\begin{cases} &\frac{d}{dt} x_1(t) = a_{11}(t)x_1(t)+a_{12}(t)x_2(t) +.... + a_{1N}(t) x_N(t) + b_1(t) \\ & \frac{d}{dt} x_2(t) = a_{21}(t)x_1(t)+a_{22}(t)x_2(t) +.... + a_{2N}(t) x_N(t)+ b_2(t)\\ & \frac{d}{dt} x_3(t) = a_{31}(t)x_1(t)+a_{32}(t)x_2(t) +.... + a_{3N}(t) x_N(t) +b_3(t) \\ &\hspace{10em}\vdots \\ & \frac{d}{dt} x_N(t) = a_{N1}(t)x_1(t)+a_{N2}(t)x_2(t) +.... + a_{N.. 2023. 7. 7.
[해석학]아르키메데스의 정리 (Archimedean's principle) 증명 아르키메데스의 정리 (Archimedean's principle)에 대해 알려 드리겠습니다. 결론부터 말하면 아르키메데스의 정리는 어떠한 실수보다 더 큰 자연수가 존재한다는 의미입니다. 이번 글에서는 아르키메데스 정리에 대해 보고요! 아르키메데스 정리 증명 방법도 보겠습니다. 아르키메데스의 정리 양의 실수 $a,b$가 있습니다. 그럴 때 아래를 만족하는 $n \in \mathbf{N}$이 존재한다는 것이 아르키메데스의 정리입니다. $$n \times a > b \tag{1}\label{1} $$ 아르키메데스 정리의 증명 (증명) 아르키메데스 정리의 증명을 해보겠습니다. 실수 $a>0, b>0$이 있다고 합시다. 귀류법을 사용하기 위하여 모든 자연수 $n\in \mathbf{N}$에 대하여 $$ n a \.. 2023. 6. 20.
[해석학] 유용한 Supremum (상한), infimum (하한) 의 성질 안녕하세요. 이번 시간에는 supremum (상한)과 infimum (하한)의 성질에 대해 알아보겠습니다. 굉장히 유용한 성질이니까요. 꼭 익혀보세요. 이 글을 보기 위해 꼭 봐야하는 글: [해석학] 실수의 Supremum (상한,최소상계), infimum (하한,최대하계)의 정의 및 예시 [해석학] Upper bound (상계), Lower bound (하계), upper bounded (위로 유계), lower bound (아래로 유계) Supremum(상한)의 성질 실수집합의 부분집합 $A \neq \emptyset$가 존재한다고 합시다. 그리고 이 집합 $A$는 upper bounded 라고 합시다. 그리고 $s:=\sup(A)$라고 합시다. 그 때, 임의의 $\epsilon >$에 대하여 다음을.. 2023. 6. 19.
[해석학] 실수의 Supremum (상한,최소상계), infimum (하한,최대하계)의 정의 및 예시 안녕하세요. 여러분들! 이번글에서는 실수의 부분집합의 supremum (상한) 과 infimum (하한)에 대해 알아보겠습니다. 상한과 하한은 무엇일까요? 결론부터 말하면 상한은 상계중 최소값이고 하한은 하계중 최대값을 의미합니다. 더 자세한 내용은 글을 진행하면서 보도록 하겠습니다. [해석학] 실수의 Supremum (상한), infimum (하한)의 정의 및 예시 미리 읽어야 하는 글 [해석학] Upper bound (상계), Lower bound (하계), upper bounded (위로 유계), lower bound (아래로 유계) 목차 supremum(상한)의 정의 supremum(상한)의 예시 infimum(하한)의 정의 infimum(하한)의 예시 supremum(상한)의 정의 실수의 부분집.. 2023. 6. 18.
[해석학] Upper bound (상계), Lower bound (하계), upper bounded (위로 유계), lower bound (아래로 유계) 안녕하세요. 이번에는 실수의 부분집합에 대해 upper bound (상계), lower bound (하계), upper bounded (위로 유계), lower bounded (아래로 유계) 의 개념을 알아보도록 하겠습니다. 아주 간단하지만 중요한 개념입니다. 여러분들 금방 이해하실겁니다. 여러분들 이제 알아보겠습니다. [해석학] Upper bound (상계), Lower bound (하계), upper bounded (위로 유계), lower bound (아래로 유계) upper bound, lower bound 등은 집합 $A$의 범위를 지정해주는 개념입니다. ! Upper bound (상계), Upper bounded (위로 유계) 실수의 공집합이 아닌 부분집합 $A$가 있다고 합시다. 만약에 어떤.. 2023. 6. 17.
단조 수렴 정리(Monotone Convergence Theorem) 증명: 유계인 증가수열이 수렴하는 이유 단조 수렴 정리(Monotone Convergence Theorem) 증명: 유계인 증가수열이 수렴하는 이유 단조수렴정리에 대해 알아보겠습니다. 단조수렴정리를 통해 유계인 단조수열은 수렴한다는 사실을 알 수 있습니다. 즉 유계인데 증가혹은 감소하는 수열은 무조건 수렴한다는 얘기이죠. 생각해보면 그럴싸합니다. 예를들어 유계인 증가수열이 있다고 해봅시다. 아무리 증가해도 유계이기 때문에 증가할 수 있는 범위가 정해지죠. 어느 순간엔 멈추고 수렴해야 할것 같습니다. 단조수렴정리는 위와 같은 사실을 정당화 하는 증명입니다. 목차 ·단조수렴정리 ·단조수열 -단조증가수열 -단조감소수열 ·유계의 의미 -상한 (supremum) -하한 (infimum) ·단조수렴정리 증명 단조 수렴 정리 (Monotone Conver.. 2023. 6. 16.
[미적분학] 전미분 (total differential): 함수의 선형 근사 안녕하세요? 미적분학에서 등장하는 개념인 전미분 (total differential)에 대해 알아보도록 하겠습니다. 전미분은 함수의 선형근사라고 보면 되겠습니다. 함수의 그래프가 2차원 평면에 놓였다면 이때 전미분은 그래프의 접선이 되겠고 3차원 평면에 놓였다면 이 함수의 전미분은 접평면이 되겠습니다. 왜 그런지는 접평면의 정의와 함께 알아보도록 하겠습니다. [미적분학] 전미분 (total differential): 함수의 선형 근사 이제 본격적으로 얘기를 해보겠습니다. 전미분은 함수 $z=f(x_1,x_2,...,x_n)$에 대해 정의됩니다. 여기서 입력 $(x_1,..,x_n)$은 n차원 벡터이고 출력값 $z$는 스칼라임을 기억해 두세요. 그리고 미분 (differentiation)을 이용해서 전미분.. 2023. 6. 15.

티스토리툴바