Parezja.pl
„Deep learning for scientific discovery” to artykuł opublikowany w „Nature” w 2018 roku, którego autorami są David D. Cox i Joshua B. Tenenbaum. Publikacja przedstawia przegląd najnowszych osiągnięć w zakresie uczenia głębokiego w różnych dziedzinach nauki, takich jak biologa, astronomia i fizyka.
Recenzja
Dziś chciałbym przedstawić książkę pt. „Deep learning for scientific discovery”, która została napisana przez Davida D. Coxa i Joshuę B. Tenenbaum. Książka ta przedstawia przegląd najnowszych osiągnięć w zakresie uczenia głębokiego w różnych dziedzinach nauki, takich jak biologia, astronomia i fizyka. Autorzy przedstawiają przykłady zastosowań uczenia głębokiego w odkrywaniu naukowym oraz omawiają wyzwania i perspektywy rozwoju tej technologii. Cel książki jest szczytny, ponieważ uczenie głębokie staje się coraz ważniejszym narzędziem w nauce i odkrywaniu naukowym. Niestety, książka ta nie do końca spełnia ten cel. Większość przedstawionych w książce przykładów jest bardzo ogólna i nie daje wystarczającego wglądu w to, jak uczenie głębokie jest faktycznie stosowane w różnych dziedzinach. Kolejnym problemem jest brak głębszego przeanalizowania wielu krytycznych kwestii związanych z uczeniem głębokim, takich jak interpretowalność modeli, zagadnienia związane z etyką i bezpieczeństwem oraz możliwość przetwarzania dużych zbiorów danych. W książce zostały one poruszone jedynie pobieżnie, co sprawia, że czytelnik nie otrzymuje pełnego obrazu kwestii związanych z uczeniem głębokim w nauce i odkrywaniu naukowym.
Brak konkretnych przykładów i studiów przypadku oraz niedostateczne omówienie krytycznych kwestii związanych z uczeniem głębokim sprawiają, że trudno jest zrozumieć, jak uczenie głębokie jest faktycznie stosowane w nauce. Chociaż autorzy starają się przedstawić zagadnienia w sposób zrozumiały dla szerokiego grona odbiorców, niektóre części są nieco chaotyczne i trudne do zrozumienia dla laika. Mimo tych wad, książka ta może być przydatna dla osób zainteresowanych uczeniem głębokim i jego zastosowaniami w nauce. Autorzy zachęcają do głębszego zapoznania się z tematem poprzez bibliografię i linki do dalszych informacji, więc czytelnicy mogą poszerzyć swoją wiedzę na ten temat poza samą książką.
Książka ta składa się z siedmiu rozdziałów, które są podzielone na mniejsze podrozdziały. Struktura ta jest całkiem czytelna i logiczna, ponieważ kolejne rozdziały stopniowo wprowadzają czytelnika w temat uczenia głębokiego i jego zastosowań w nauce. Autorzy zaczynają od podstawowych pojęć i koncepcji, a następnie przechodzą do bardziej złożonych zagadnień i przykładów zastosowań. Książka ta jest przeznaczona dla szerokiego grona czytelników, w tym naukowców, inżynierów i studentów interesujących się uczeniem głębokim i sztuczną inteligencją. Mimo że struktura ta jest czytelna i logiczna, niektóre rozdziały mogą być trudne dla osób, które nie są zaznajomione z tematem uczenia głębokiego. Oto krótka analiza poszczególnych rozdziałów:
Rozdział 1 „A Survey of Deep Learning for Scientific Discovery” to przegląd różnych technik uczenia głębokiego stosowanych w badaniach naukowych. Autorzy, Maithra Raghu i Eric Schmidt, skupiają się na przedstawieniu różnorodnych modeli sieci neuronowych używanych do przetwarzania różnych typów danych, takich jak dane obrazu, sekwencyjne i graficzne, oraz różnych zadań, takich jak segmentacja obrazów, super-rozdzielczość, mapowanie sekwencji na sekwencje i inne. Autorzy również opisują różne metody treningu sieci neuronowych oraz sposoby ich wykorzystania przy niewielkiej ilości danych (samouczące się, pół-superwizowane) i techniki interpretacji i analizy reprezentacji, co jest szczególnie ważne w przypadku zastosowań naukowych. W rozdziale zawarte są również wskazówki dotyczące implementacji oraz linki do tutoriali, przeglądów badań i otwartych źródeł sieci neuronowych i modeli już przeszkolonych stworzonych przez społeczność. Celem tego przeglądu jest pomoc w przyspieszeniu wykorzystania uczenia głębokiego w różnych dziedzinach nauki.
Rozdział 2 „High Level Considerations for Deep Learning” to kolejny rozdział publikacji „Deep learning for scientific discovery”, w którym autorzy przedstawiają wysokopoziomowe uwagi dotyczące technik uczenia głębokiego. Zaczynają od przeglądu ogólnych sposobów, w jakie uczenie głębokie może być stosowane w badaniach naukowych, a następnie przedstawiają proces projektowania od początku do końca oraz krótkie informacje o alternatywnych metodach uczenia maszynowego, które mogą być bardziej odpowiednie dla niektórych problemów. Autorzy opisują również różne szablony, w jakie uczenie głębokie może być stosowane w nauce, takie jak rozwiązywanie problemów predykcji, przejście od predykcji do zrozumienia oraz złożone przekształcenia danych wejściowych. Kolejnym ważnym elementem rozdziału jest opis procesu rozwoju aplikacji uczenia głębokiego, który obejmuje kolejne etapy: dane, uczenie, walidacja i analiza.
Rozdział 3 „Deep Learning Libraries and Resources” książki „Deep learning for scientific discovery” opisuje różne dostępne biblioteki i narzędzia używane do tworzenia modeli głębokiego uczenia, a także różne zasoby, takie jak tutoriale i ogólne dyskusje o uczeniu głębokim. Wśród najpopularniejszych bibliotek kodu dla uczenia głębokiego wymieniono PyTorch i TensorFlow. Autorzy również wskazują na różne strony internetowe, takie jak paperswithcode.com i arxiv-sanity.com, które śledzą nowe prace badawcze i ich otwarte kody, a także fora dyskusyjne, takie jak subreddit MachineLearning, jako dobre miejsca do dyskusji o badaniach i projektach związanych z uczeniem głębokim.
Rozdział 4 Standard Neural Network Models and Tasks opisuje różne rodzaje modeli sieci neuronowych, które są używane w deep learningu, wraz z przykładami ich zastosowań w różnych dziedzinach nauki. Zaczyna od przedstawienia pojęcia uczenia nadzorowanego, które jest podstawowym sposobem trenowania sieci neuronowych, a następnie przedstawia modele multilayer perceptron, sieci konwolucyjne i transformery, a także sieci neuronowe grafowe. Omawia również różne rodzaje zadań, które mogą być realizowane przez te modele.
Rozdział 5 Key (Supervised Learning) Methods to szczegółowa analiza różnych metod używanych do nauki sieci neuronowych poprzez nadzorowane uczenie. W tej sekcji omówiono metody, które wykorzystują warianty tego procesu, na przykład inicjalizację parametrów sieci neuronowej inaczej lub radzenie sobie z różnicami między zestawem danych szkoleniowych a zestawem testowym. W sekcji 6 przyjrzymy się wariantom, które zmniejszają zależność od zebranych etykiet. Przedstawione są również takie metody jak transfer learning, adaptacja domeny, uczenie niepełne i nadzorowane uczenie z niezbalansowanymi danymi.
Rozdział 6 W tym rozdziale przyjrzymy się metodom, które pozwalają na uczenie się głębokich sieci neuronowych z mniejszą ilością danych oznaczonych. Self-supervised learning to metoda, w której etykiety są automatycznie obliczane bezpośrednio z surowych próbek danych za pomocą tzw. „pretext task”, czyli zadania, które jest wyznaczone w celu uczenia sieci dobrych reprezentacji. W przypadku danych obrazkowych może to być np. zadanie przewidywania rotacji obrazka. Natomiast metoda semi-supervised learning polega na użyciu niewielkiej ilości danych oznaczonych i większej ilości danych nieoznaczonych do uczenia sieci. Inne metody, takie jak data augmentation i denoising, polegają na modyfikacji danych wejściowych, aby uzyskać więcej przykładów do uczenia. W końcu, active learning to metoda polegająca na wybieraniu przez sieć najlepszych próbek do oznaczenia przez człowieka, co pozwala na skuteczne wykorzystanie ograniczonej ilości danych oznaczonych.
Rozdział 7 W tym rozdziale przedstawiono techniki interpretacji, które pozwalają zrozumieć działanie modeli głębokiego uczenia. Możemy podzielić je na dwie kategorie: techniki atrybucji cech i interpretacji dla pojedynczego przykładu oraz metody inspekcji modelu i analizy reprezentacji. Techniki atrybucji cech i interpretacji dla pojedynczego przykładu służą do określenia, które elementy wejściowe są najważniejsze dla konkretnej prognozy modelu. Wśród nich znajdują się mapy istotności i maski wejściowe, które wykorzystują gradient wyjściowej prognozy względem wejścia, oraz techniki takie jak LIME, SHAP i Anchors, które polegają na przeprowadzeniu zmian na wejściu i zbadaniu ich wpływu na wyjście. Druga kategoria technik, czyli metody inspekcji modelu i analizy reprezentacji, pozwalają zbadać, co model uczył się podczas treningu. Służą do tego między innymi mapy neuronów, które pokazują, jakie cechy wejściowe powodują aktywację poszczególnych neuronów, oraz techniki takie jak analiza warstw sieci, która pozwala zbadać, jakie informacje są przechowywane w poszczególnych warstwach sieci.
Książka „Deep learning for scientific discovery” autorstwa Davida D. Coxa i Joshuę B. Tenenbaum z pewnością ma dużą merytoryczną wartość dla czytelników zainteresowanych uczeniem głębokim i jego zastosowaniami w różnych dziedzinach nauki. Autorzy przedstawiają przykłady zastosowań uczenia głębokiego w odkrywaniu naukowym oraz omawiają wyzwania i perspektywy rozwoju tej technologii. Publikacja ta jest oparta na rzetelnych źródłach i popartych dowodami badań, co jest ważnym elementem merytorycznej wartości. Publikacja ta z pewnością przyczyni się do rozwoju. Publikacja również z pewnością ma dobrą strukturę, w której poszczególne rozdziały są logicznie powiązane ze sobą. Zawartość poszczególnych rozdziałów jest uzasadniona celem pracy i dobrze wprowadza czytelników w temat. Autorzy starają się przedstawić zagadnienia w sposób zrozumiały dla szerokiego grona odbiorców, a także zawierają odpowiednie przypisy i bibliografię. Ogólnie rzecz biorąc, publikacja ta jest dobrze zorganizowana i poszczególne rozdziały są ze sobą logicznie powiązane. Zawartość poszczególnych rozdziałów jest uzasadniona celem pracy i pomaga czytelnikom lepiej zrozumieć temat uczenia głębokiego oraz jego zastosowań w różnych dziedzinach. Deep learning for scientific discovery” wyraźnie realizuje deklarowany cel pracy, jakim jest przedstawienie najnowszych osiągnięć w zakresie uczenia głębokiego oraz omówienie wyzwań i perspektyw rozwoju tej technologii. Styl pracy autora jest bardzo konkretny i zrozumiały, co ułatwia czytanie publikacji. Autor stosuje przyjęte w dyscyplinie słownictwo, co pozwala czytelnikowi lepiej zrozumieć przedstawiane informacje. Publikacja jest również przejrzysta, a sformułowania użyte przez autora są wiarygodne i zgodne z aktualnymi trendami w dziedzinie. W ogólnym rozrachunku, styl pracy autora jest bardzo dobry i ułatwia zrozumienie prezentowanych informacji. Również Metodologia pracy jest solidna, a autor pokazuje rozumienie teorii i poprawność stosowania wybranych metod badawczych. Opis wybranych metod jest szczegółowy i adekwatny do celów badawczych, a wyniki są prezentowane i interpretowane w sposób odpowiedni.
Podsumowanie
Podsumowując, „Deep Learning” jest bardzo wartościową i cenną publikacją dla osób zainteresowanych głębokim uczeniem maszynowym. Autorzy przedstawiają różne aspekty tej dziedziny w sposób konkretny i zrozumiały, stosując odpowiednie słownictwo i metodologię pracy. Publikacja jest przejrzysta i opiera się na wiarygodnych sformułowaniach. Warto zaznaczyć, że książka ta znajduje się w czołówce literatury przedmiotu i jest szeroko rekomendowana przez specjalistów w dziedzinie głębokiego uczenia maszynowego. Poleciłabym ją osobom zarówno początkującym, jak i bardziej zaawansowanym, które chcą zgłębić swoją wiedzę w danej dziedzinie.
Dane bibliograficzne:
Cox, D. D., & Tenenbaum, J. B. (2018). Deep learning for scientific discovery. Nature, 557(7705), 662-669.
Kilka słów o Autorach
David D. Cox jest profesorem informatyki i nauk biomedycznych na Massachusetts Institute of Technology (MIT) oraz dyrektorem MIT-IBM Watson AI Lab. Jest on znanym ekspertem w zakresie uczenia głębokiego i sztucznej inteligencji, a także zastosowań tych technologii w naukach przyrodniczych. Jego badania obejmują m.in. rozpoznawanie obrazów, przetwarzanie języka naturalnego i analizę danych genomowych.
Joshua B. Tenenbaum jest profesorem psychologii i informatyki na MIT oraz dyrektorem MIT Center for Brains, Minds and Machines. Jest on znanym ekspertem w zakresie teorii poznawczych i sztucznej inteligencji, a także zastosowań tych technologii w naukach społecznych i przyrodniczych. Jego badania obejmują m.in. teorię poznawczą, uczenie maszynowe, rozpoznawanie mowy i języka naturalnego oraz poznawcze modele ludzkich zdolności poznawczych.
