- Apple představil nový AI model DarkDiff, který dokáže obnovit detaily z extrémně tmavých snímků
- Technologie integruje difuzní model přímo do obrazového řetězce fotoaparátu
- Výsledky ukazují výrazně lepší kresbu, barvy i strukturu oproti dosavadním metodám
Výzkumníci ze společnosti Apple ve spolupráci s Purdue University představili nový přístup ke zpracování fotografií pořízených v extrémně špatných světelných podmínkách. Jejich AI model s názvem DarkDiff zásadně mění způsob, jakým fotoaparáty pracují s nedostatkem světla. Místo agresivního vyhlazování nebo ztráty detailů dokáže model rekonstruovat informace, které by se jinak ze snímku nenávratně vytratily.
Problém extrémně tmavých fotografií
Pravděpodobně už jste někdy pořídili snímek ve velmi tmavém prostředí a výsledkem byla fotografie plná digitálního šumu, zrnitosti a rozpadlých detailů. Tento problém vzniká ve chvíli, kdy obrazový senzor nezachytí dostatek světla.
Aby výrobci tento nedostatek kompenzovali, používají různé algoritmy pro zpracování obrazu. Ty jsou však často kritizovány za to, že vytvářejí až příliš hladký, „olejomalbě“ podobný vzhled, při kterém jemné detaily mizí nebo jsou rekonstruovány do podoby, která už neodpovídá realitě.
Přichází DarkDiff
Aby tento problém vyřešili, vyvinuli výzkumníci z Apple a Purdue University model s názvem DarkDiff. Ten popsali ve studii DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP.
Autoři studie uvádějí, že kvalitní fotografie v extrémně nízkém osvětlení jsou pro digitální fotoaparáty stále velkou výzvou. Tradiční algoritmy v obrazovém procesoru (ISP) jsou postupně nahrazovány hlubokými neuronovými sítěmi, které dokážou inteligentněji pracovat se šumem v raw datech. Problémem dosavadních regresních modelů je ale tendence minimalizovat pixelové chyby, což vede k nadměrnému vyhlazování tmavých oblastí a ztrátě detailů.
Některé novější přístupy sice využívají difuzní modely trénované od nuly, ty však stále selhávají při obnově ostrých detailů a přesných barev. DarkDiff proto přichází s novým rámcem, který přetváří již předtrénované generativní difuzní modely a integruje je přímo do obrazového řetězce fotoaparátu. Rozsáhlé experimenty pak ukazují, že tento přístup překonává dosavadní špičku v oblasti vnímané kvality obrazu na třech náročných low-light benchmarcích.
Difuzní model přímo v obrazovém řetězci
Zásadní rozdíl spočívá v tom, že AI není aplikována až na hotový snímek, ale je součástí samotného zpracování obrazu. Tvůrci využili Stable Diffusion, otevřený model trénovaný na milionech snímků, a „přeučili“ jej tak, aby chápal, jaké detaily by se měly nacházet v tmavých částech fotografie s ohledem na celkový kontext scény.
Součástí řešení je i mechanismus pozornosti nad lokálními oblastmi obrazu, který pomáhá zachovat lokální struktury a zároveň omezuje tzv. halucinace – tedy situace, kdy AI zásadně změní obsah snímku a vytvoří detaily, které ve skutečnosti neexistují.
Spolupráce s ISP fotoaparátu
Základní kroky zpracování obrazu, jako je vyvážení bílé nebo demosaicing, má i nadále na starosti klasický ISP fotoaparátu. DarkDiff následně pracuje s lineárním RGB obrazem, který odšumí a rovnou z něj vytvoří finální sRGB fotografii.
Model navíc využívá standardní techniku difuzních modelů nazývanou classifier-free guidance. Ta určuje, jak silně má model následovat vstupní obraz oproti svým naučeným vizuálním znalostem. Při nižší hodnotě vznikají hladší výsledky, zatímco vyšší guidance vede k ostřejším texturám a jemnějším detailům – ovšem za cenu vyššího rizika artefaktů nebo nežádoucích halucinací.
Testování v extrémních podmínkách
Pro ověření schopností DarkDiff použili výzkumníci skutečné fotografie pořízené v extrémně nízkém osvětlení, například pomocí fotoaparátu Sony A7SII. Výsledky porovnávali s jinými modely pro zpracování raw dat i s difuzními přístupy, včetně ExposureDiffusion.
Testovací snímky byly foceny v noci s expozičními časy krátkými až 0,033 sekundy. Jako referenční sloužily fotografie pořízené ze stativu s až 300× delší expozicí. DarkDiff se v těchto srovnáních ukázal jako výrazně schopnější při zachování detailů, barev a celkového dojmu scény.
AI zpracování má určité limity
Autoři studie otevřeně přiznávají, že DarkDiff má i své slabiny. AI zpracování je výrazně pomalejší než tradiční metody a při lokálním běhu na telefonu by mělo vysoké nároky na výpočetní výkon i baterii. V praxi by tak pravděpodobně vyžadovalo cloudové zpracování. Dalším omezením je horší rozpoznávání textu v nízkém osvětlení. A důležité je i to, že studie nikde nenaznačuje, že by se DarkDiff měl v dohledné době objevit v iPhonech.
Budoucnost výpočetní fotografie
I přesto DarkDiff jasně ukazuje, kam směřuje další vývoj výpočetní fotografie. Apple tím potvrzuje, že této oblasti věnuje dlouhodobou pozornost, což je logické – fyzické limity malých fotoaparátů ve smartphonech nutí výrobce hledat nové cesty, jak nabídnout stále lepší výsledky.
Pokud si chcete prohlédnout kompletní studii a detailní srovnání DarkDiff s dalšími metodami odšumování, autoři odkazují na plnou verzi publikace dostupnou online.
