- Today
- Total
- ์๋ฐ์์ ์
- ์๋ฃ๊ตฌ์กฐ
- ์ธํด
- CS
- ๋ฐ์ดํฐ๋ฒ ์ด์ค
- spring
- ๋ฐฑ์ค
- tree
- array
- ์กธ์ ์ํ
- ๋ฌธ๋ฒ
- ๋ฐฑ์๋
- ํ๋ก๊ทธ๋๋จธ์ค
- Algorithm
- Graph
- ๊ทธ๋ฆฌ๋
- ์๋ฐ
- ๋ฒจ๋งํฌ๋
- ๋ค์ต์คํธ๋ผ
- ๊ตฌํ
- pytorch
- OOP
- BFS
- leetcode
- ์์์ ๋ ฌ
- dp
- MST
- database
- java
- PS
Partially Committed
Zero-DCE ์ Multi-scale processing ์ ์ ์ฉํด๋ณด์๋ค..#1 ๋ณธ๋ฌธ
Zero-DCE ์ Multi-scale processing ์ ์ ์ฉํด๋ณด์๋ค..#1
WonderJay 2023. 5. 18. 23:20๋ด์ผ ์์ ์กธ์ ๋ฏธํ ์ ๋๋นํ์ฌ, ๋ด์ฉ์ ์ ๋ฆฌํ ๊ฒธ ์์์ ํ๋ฆ๋๋ก ์์ฑํ ๊ธ์ ๋๋ค..
Low-light image enhancement ๋ผ๋ ์ฃผ์ ๋ก ์กธ์ ์ํ์ ์์ํ ์ง๋ ๊ฝค ๋ง์ด ์ง๋ฌ๋ค.. ๋ฒ์จ ๋ด์ผ์ด 6๋ฒ์งธ ์กธ์ ๋ฏธํ ์ด๋ค.. ์ค๊ฐ๊ณ ์ฌ ๋๋๊ณ , ๋ง์๋ ๋์ด์ง๊ธฐ๋ ํ๊ณ ์ฌ๊ธฐ์ ๊ธฐ ์ฝํ ๋ ๋ณด๋ฌ๋ค๋๊ณ ๊ณผ์ธ๋ ํ๊ณ ๋์๋ฆฌ ๊ณผ์ ๋ ํ๋ค๋ณด๋ ์๊ฐ์ด ๋๋ฌด ๋ถ์กฑํจ์ ์ ์คํ ๋๋ผ๊ณ ์๋ค ๐ข ์ด๋ฒ ๋ฏธํ ์ ์ ๋ง ๊ธํ๊ฒ ์ค๋นํ๋๋ฐ... ๋ค์์๋ ์กฐ๊ธ ๋ ๊ณํ์ ์ผ๋ก ์๊ฐ์ ์จ์ผ๊ฒ ๋ค.
์ฌํผ ์ง๊ธ๊น์ง ํ ๋ด์ฉ์ ๊ฐ๋จํ๊ฒ ์ ๋ฆฌํด๋ณด์.
์ฃผ์ ๋ Low-light image enhancement ์ผ๋ก, ์ ์กฐ๋ ์์์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ผ๋ก ๊ฐ์ ํ๋ ๊ฒ์ด๋ค. ๋ฌผ๋ก ํ๋ถ ๊ณผ์ ์ด๋ฏ๋ก ์์ ์๋ก์ด ๋ชจ๋ธ์ ๊ฐ๋ฐํ๋ ๊ฒ์ ์ฝ์ง ์์ ์ผ์ด๊ธฐ ๋๋ฌธ์ SOTA (์ด๋ฅธ๋ฐ ์๋๊ฐ๋) ๋ชจ๋ธ์ baseline model ๋ก ์ ์ ํ ๋ค์, ๋์ ์์ด๋์ด๋ฅผ ์ฝ๊ฐ ์ฒจ๊ฐํ์ฌ ์กฐ๊ธ์ ์ฑ๋ฅ ๊ฐ์ ์ ์ด๋ค๋ด๋ ๊ฒ์ด ๋ชฉํ์ด๋ค.
์ง๊ธ๊น์ง์ ์ํ์ฐฉ์ค๋ค...
[1~2 ๋ฒ์งธ ๋ฏธํ
] ๋
ผ๋ฌธ ๋ฆฌ๋ฉ
[2~3 ๋ฒ์งธ ๋ฏธํ
] ๋
ผ๋ฌธ ๊ตฌํ (Pytorch) // ์ฌ๊ธฐ๊น์ง๋ง ํด๋ ์ ๋ง ์ฌ๋ฐ์๋ค..
[4 ๋ฒ์งธ ๋ฏธํ
] Zero-DCE ๋ชจ๋ธ์ ๋ฌธ์ ์ (1. ์ฑ๋ ๋ณํ 2. ๋
ธ์ด์ฆ ์์ฑ) ์ ๋ฐ๊ฒฌํ๊ณ , ์ด๋ฅผ ๊ฐ์ ํ๊ณ ์ Loss ๋ฅผ ์ด๊ฒ์ ๊ฒ ์ฒจ๊ฐํด๋ด(HSV Loss, Edge Loss) -> ์ ์๋ฏธํ ๊ฒฐ๊ณผ๋ ์์์ ใ
ใ
[5 ๋ฒ์งธ ๋ฏธํ
] Light-Enhancement Curve ๋ฅผ ๋ Dynamic ํ range ๋ฅผ ๊ฐ์ง๋๋ก ๋ณ๊ฒฝํด๋ด. -> ์~~~์ฃผ ์ฝ๊ฐ์ PSNR ์ด ์ฆ๊ฐํ๋ ๊ฒ ๊ฐ๊ธด ํ๋ ํฐ.. ์๋ฏธ๋ ์๋ ๊ฒ ๊ฐ์ ใ
ใ
์ธ๊ณต์ง๋ฅ์ ์ ๋ง ์ด๋ ต๋ค ์ด๋ ค์...
๋ค์ ์ด์ฌ์ผ๋ก ๋์๊ฐ์ Zero-DCE ์ ์ ์ฒด์ ์ธ ๊ตฌ์กฐ๋ฅผ ์ดํด๋ณด์๋ค.
- Input Image ๊ฐ ์ฃผ์ด์ง๋ฉด, Input Image ๋ก๋ถํฐ Parameter Map An ์ ์ถ์ถํ๋ค. (DCE Net)
- An ์ Light - enhancement Curve ์ ์ฌ์ฉ๋๋ค.
- ํฝ์ ๋ณ, ์ฑ๋ ๋ณ๋ก ์ถ์ ๋๋ An ์ LE-Curve ์ Iterative ํ๊ฒ ์ ์ฉ์์ผ์ ์ต์ข ์ ์ธ Enhanced Image ๋ฅผ ์ป์ด๋ธ๋ค.
์ฆ, Zero-DCE ๋ Gamma correction ์ pixel ๋ณ๋ก ์ํํ๋ค๊ณ ํ ์ ์๊ฒ ๋ค. ๊ต์๋์ด ์ด์ ์ ์กฐ์ธํด์ฃผ์ ๋ด์ฉ์ ์๊ธฐํด๋ณด๋ฉด..
" Gamma correction ์ global ํ๊ฒ ์ ์ฉ๋๋ ๊ฒ์ธ๋ฐ... pixel ๋ณ๋ก ์ ์ฉํ๋ค๋ ๊ฒ ์กฐ๊ธ ๋ชจ์์ด ์์ ์ ์๋ค. LE-Curve ์ ์กฐ๊ธ ๋ Local ์ ์ธ ํน์ฑ์ ๋ฐ์ํ ์ ์๋๋ก learnable ํ parameter ์ ์ถ๊ฐํ๋ค๋๊ฐ.. OO ํ์์, ์ด๋ฌํ ๋ฐฉํฅ์ผ๋ก ๊ณ ๋ฏผํด๋ณด๋ฉด ์ข์ ๊ฒ ๊ฐ๋ค์. "
๊ทธ๊ฑฐ.. ์ด๋ป๊ฒ ํ๋๊ฑด๋ฐ..?
์ด๋ฅผ ์ด๋ป๊ฒ ์ํํ๋ฉด ์ข์ ์ง ์ ๋ง 2์ฃผ ๋์ ๊ฐ๊ฐํ.. ๊ณ ๋ฏผํ๋ค. ์ํ๊ณต๋ถ๋ ํด์ผํ์ผ๋๊น.. ๊ทผ๋ฐ ์ ๋ง ๋ชจ๋ฅด๊ฒ ๋ค.. ๐ข ์ผ๋จ ๋จธ๋ฆฌ๋ฅผ ์ด์ฌํ ๊ตด๋ ค์(chatGPT ์ ํจ๊ป), 2๊ฐ์ง ์ ๋ ์๋ํด๋ณผ๋งํ ๋ฐฉ๋ฒ์ ๋ ์ฌ๋ ธ๋ค.
1. multi-scale feature
2. Clustering
๋คํ์ด๋ค.. ๋ฐํํ ๋ด์ฉ์ด ์๊ฒจ์
1. Multi-scale (pyramid)
๋ค์ ์ธ๊ธํ๋ฉด Zero-DCE ๋ Input image ๋ก๋ถํฐ ์ป์ด์ง Pixel-wise Parameter map ์ LE-Curve ์ ๋ฐ๋ณต์ ์ผ๋ก ์ ์ฉํ๋ฉฐ Enhanced image ๋ฅผ ์ป์ด๋ด๋ ๊ฒ์ด๋ค. Parameter map ์ ์๊ฐํํ๋ฉด ์๋์ ๊ฐ์๋ฐ..
๋ง์น Image ์ ํน์ง์ด ์ถ์ถ๋๋ ๊ฒ ๊ฐ๋ค๊ณ ๋๊ผ๋ค..!
์ฌ๊ธฐ์, ๋ค๋ฅธ ์์ด๋์ด๊ฐ ํ๋ ๋ ์๊ฒผ๋๋ฐ..
Attention ์ ์ ์ฉํด๋ณด๋ฉด ... ์ด๋จ๊น???
๋ค์ ๋ฏธํ
๋ ํ๋ฒ ํด๋ณด๋ฉด ์ข์ ๊ฒ ๊ฐ๋ค..
๊ทผ๋ฐ Zero-DCE ์ Input Size ๋ ๋ค์ํ์ง๋ง, ๋ด๋ถ์์ Training ๋ ๋๋ 256 ์ผ๋ก fix ํ๋ค. ์๋ฌด๋๋ ๋ ์์ ํฌ๊ธฐ๋ก resize ํ๋ ๊ณผ์ ์์ pixel ๊ฐ ๊ด๊ณ๊ฐ ์ ์ค๋๋ค๋๊ฐ ํ ์ ์์ ๊ฒ์ด๊ณ , ์ด๋ฌํ ์ ์ด parameter map ์ ์ ๊ตํจ์ ์กฐ๊ธ ๋ ๋จ์ด๋จ๋ฆฌ๋ ๊ฒ์ ์๋๊น?
Input size ๊ฐ ํฌ๋ฉด ํด๊ฒฐ๋๋ ๋ฌธ์ ์ผ๊น..? ์.. ์ฐจ๋ผ๋ฆฌ ๋ค์ํ scale ๋ก parameter map ์ ๋ฝ์๋ด๊ณ , ์ด๋ฅผ ๋ง์ง๋ง์ merge ํ ๋ค์ ์ฌ์ฉํ๋ฉด ๋ ์ข์ง ์์๊น..?
Input image ์ scale ์ ๋ค์ํ๊ฒ ์กฐ์ ํ๊ณ , scale ๋ณ๋ก parameter map ์ ์ถ์ ํ ๋ค์ ๋ง์ง๋ง์ ํ๋์ parameter map ์ผ๋ก merge ํ์ฌ ์ต์ข
์ ์ธ parameter map ์ ์ป๋ ๊ณผ์ ์ด๋ค. ์ด๋ ๊ฒ ํ๋ฉด, ๋ค์ํ ์ค์ผ์ผ์์ ์ป์ parameter map ์ ํน์ง์ด ๋ชจ๋ ๋ฐ์๋ ์ ์์ผ๋ฏ๋ก, ์ธ๋ถ์ ์ธ ํน์ง๋ถํฐ ๋์ ๋ฒ์์ ํน์ง๊น์ง ๋ชจ๋ ํฌ์ฐฉํ๊ฒ ํด์ฃผ๊ธฐ ๋๋ฌธ์ ์ด๋ฏธ์ง ๋ด๋ถ์ detail ์ ์กฐ๊ธ ๋ ์ ๋ฐ์ํ ์ ์๋ parameter map ์ ์ป์ ์ ์์ ๊ฒ์ด๋ผ๊ณ ์์๋๋ค!
Scale factor ์ list ๋ก [0.25, 0.5, 0.75, 1.25, 1.5] ์ผ๋ก ์ผ๋จ ์ง์ ํด๋ณด์์ผ๋ฉฐ ๊ฐ๊ฐ์ ๋ํ parameter map ์ ์ป์ ๋ค, input image size ๋ก interpolation ํ ๋ค์ ์๋ณธ ์ด๋ฏธ์ง์ ๋ํ๋๋ก ๊ตฌํํ์๋ค.
...
์...!
์๊ฐํด๋ณด๋๊น x_r ์ -1 ์์ 1 ์ฌ์ด์ ๊ฐ์ ๊ฐ์ ธ์ผ๋ง ํ๋๋ฐ.. ๋จ์ํ ๋์ ์ํค๋ฉด -1~1 ์ ์ด๊ณผํ๊ฒ ๊ตฌ๋.. ๐ข
๊ทธ๋ฌ๋ฉด.. x_r ์ merge ํ ๋ค์์ tanh ๋ฅผ ์ด์ฉํ์ฌ scaling ํด์ฃผ์ด์ผ๊ฒ ๋ค..
( ์ด์ฌํ training ์ค...)
์ผ์..
๊ฒฐ๊ณผ๊ฐ ๋ณ๋ก ์ข์ง ์๋ค..๐ข
Multiscale ์ฒ๋ฆฌ ๋ฐฉ๋ฒ์ด ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ํต์ฌ์ ์ธ ๋ฐฉ๋ฒ์ ์๋ ๋ฏ ํ๋ค.
๊ทธ๋๋ ์ ํ ๊ฒ ๋ณด๋ค๋ ์ฑ๋ฅ์ด ์กฐ~~๊ธ ๋ ๊ด์ฐฎ์ ๊ฒฝํฅ์ ๋ณด์ธ๋ค. (ํ์ต ์๋๋ ์กฐ๊ธ ์ ํ๋จ)
๋ค๋ฅธ ๋ฐฉ๋ฒ๊ณผ ์ด ๋ฐฉ๋ฒ์ ๊ฐ์ด ์ฌ์ฉํ๋ฉด ํจ๊ณผ๊ฐ ๊ด์ฐฎ์์ง๋..?
์ด์ ๊ทธ ๋ค๋ฅธ ๋ฐฉ๋ฒ์ ์ฐพ๊ธฐ ์ํด ๊ณ ๋ฏผํด์ผ๊ฒ ๋ค. . .
์์ธ๋ก ๊ต์๋์ ์ฝ๋ฉํธ๊ฐ ๊ธ์ ์ ์ด์๋ค...