Gimnazjum nr 4 w Ciechanowie

[ayshakhatun9365]

UMAP to popularny algorytm redukcji wymiarów stosowany w takich dziedzinach jak bioinformatyka, modelowanie tematów NLP i wstępne przetwarzanie ML. Działa poprzez tworzenie grafu k-najbliższych sąsiadów (k-NN), który w literaturze jest znany jako graf wszystkich sąsiadów, w celu zbudowania rozmytej topologicznej reprezentacji danych, która jest używana do osadzania danych wielowymiarowych w niższych wymiarach.

RAPIDS cuML zawierał już przyspieszony UMAP, który zapewniał znaczną poprawę prędkości w porównaniu z oryginalnym UMAP opartym na CPU. Jak pokazujemy w tym poście, wciąż było pole do poprawy.

W tym poście Dane telegramu badamy, jak korzystać z nowych funkcji wprowadzonych w RAPIDS cuML 24.10. Zagłębiamy się również w szczegóły algorytmu nn-descent i procesu wsadowego. Na koniec udostępniamy wyniki testów porównawczych, aby podkreślić możliwe zyski wydajnościowe. Mamy nadzieję, że pod koniec tego posta będziesz podekscytowany korzyściami, jakie może zapewnić szybszy i skalowalny UMAP RAPIDS.

Wyzwania
Jednym z wyzwań, z jakimi się zmierzyliśmy, był fakt, że faza budowy grafu obejmującego wszystkich sąsiadów zajmuje dużo czasu, zwłaszcza w porównaniu do innych kroków algorytmu UMAP.

Początkowo w cuML UMAP do obliczenia grafu wszystkich sąsiadów stosowano wyłącznie podejście siłowe , które w literaturze jest zwykle nazywane grafem wszystkich sąsiadów, ponieważ wymaga ono wyczerpującego przeszukiwania wszystkich wektorów w zestawie danych.



Ponieważ wyczerpująco oblicza odległości dla każdej pary wektorów w zestawie danych, metoda brute force ma tendencję do słabego skalowania. Tak więc, w miarę jak liczba wektorów w zestawie danych rośnie, ilość czasu spędzonego na tym etapie rośnie kwadratowo (liczba wektorów do potęgi 2) w porównaniu do wszystkich innych etapów w UMAP.

Rysunek 1 pokazuje proporcję czasu spędzonego na budowie grafu wszystkich sąsiadów dla kilku popularnych zestawów danych. Proporcja czasu spędzonego na budowie grafu wszystkich sąsiadów szybko osiąga 99% i więcej w skalach wektorowych 1M i 5M.

Cztery wykresy kołowe pokazują proporcje czasu, jaki algorytm UMAP spędza na obliczaniu grafu wszystkich sąsiadów, w porównaniu z czasem spędzonym na obliczaniu wszystkiego innego. W przypadku małych zestawów danych, takich jak MNIST, ponad połowa czasu (57%) jest spędzana na obliczaniu grafu wszystkich sąsiadów, podczas gdy większe zestawy danych (z wektorami 1M i większymi) spędzają ponad 99% czasu na obliczaniu grafu wszystkich sąsiadów.
Rysunek 1. Czas poświęcony na zbudowanie grafu obejmującego wszystkich sąsiadów
Drugim wyzwaniem, z którym musieliśmy się zmierzyć, było to, że – jak w przypadku wielu algorytmów cuML – cały zbiór danych musiał zmieścić się w pamięci procesora graficznego.

Obsługa dużych zestawów danych, takich jak te o rozmiarze setek GB, może być szczególnie trudna, gdy do przetwarzania dostępny jest tylko procesor graficzny NVIDIA RTX klasy konsumenckiej. Mimo że procesor graficzny NVIDIA H100 oferuje 80 GB pamięci, może to nie wystarczyć dla zestawu danych o rozmiarze 80 GB, ponieważ algorytmy takie jak UMAP wymagają wielu niewielkich tymczasowych alokacji pamięci, które mogą się sumować w trakcie trwania algorytmu.

Przyspieszanie i skalowanie UMAP
Rozwiązaliśmy te wyzwania za pomocą nowego algorytmu wsadowego przybliżonego najbliższego sąsiada (ANN). Podczas gdy ogólne podejście można zastosować do dowolnej zdolności algorytmu wyszukiwania najbliższych sąsiadów, użyliśmy wersji szybkiego algorytmu o nazwie nearest neighbors descent ( nn-descent ) z biblioteki RAPIDS cuVS , przyspieszonej przez GPU, zwanej nearest neighbors descent (nn-descent ) , która świetnie nadaje się do konstrukcji grafu all-neighbors.

Algorytmy ANN przyspieszają proces budowania grafu wszystkich sąsiadów, wymieniając jakość na szybkość. Ogólnie rzecz biorąc, przybliżone metody mają na celu zmniejszenie liczby odległości, które należy obliczyć, aby znaleźć najbliższych sąsiadów. Ponieważ ten algorytm może obliczyć pojedynczy graf wszystkich sąsiadów w częściach, moglibyśmy umieścić większe zestawy danych w pamięci RAM i pobrać tylko to, czego potrzebujemy, do pamięci GPU, gdy tego potrzebujemy.
_________________
Dane telegramu

[Reklama]

[windgoddness]

http://audiobookkeeper.ruhttp://cottagenet.ruhttp://eyesvision.ruhttp://eyesvisions.comhttp://factoringfee.ruhttp://filmzones.ruhttp://gadwall.ruhttp://gaffertape.ruhttp://gageboard.ruhttp://gagrule.ruhttp://gallduct.ruhttp://galvanometric.ruhttp://gangforeman.ruhttp://gangwayplatform.ruhttp://garbagechute.ruhttp://gardeningleave.ruhttp://gascautery.ruhttp://gashbucket.ruhttp://gasreturn.ruhttp://gatedsweep.ruhttp://gaugemodel.ruhttp://gaussianfilter.ruhttp://gearpitchdiameter.ru
http://geartreating.ruhttp://generalizedanalysis.ruhttp://generalprovisions.ruhttp://geophysicalprobe.ruhttp://geriatricnurse.ruhttp://getintoaflap.ruhttp://getthebounce.ruhttp://habeascorpus.ruhttp://habituate.ruhttp://hackedbolt.ruhttp://hackworker.ruhttp://hadronicannihilation.ruhttp://haemagglutinin.ruhttp://hailsquall.ruhttp://hairysphere.ruhttp://halforderfringe.ruhttp://halfsiblings.ruhttp://hallofresidence.ruhttp://haltstate.ruhttp://handcoding.ruhttp://handportedhead.ruhttp://handradar.ruhttp://handsfreetelephone.ru
http://hangonpart.ruhttp://haphazardwinding.ruhttp://hardalloyteeth.ruhttp://hardasiron.ruhttp://hardenedconcrete.ruhttp://harmonicinteraction.ruhttp://hartlaubgoose.ruhttp://hatchholddown.ruhttp://haveafinetime.ruhttp://hazardousatmosphere.ruhttp://headregulator.ruhttp://heartofgold.ruhttp://heatageingresistance.ruhttp://heatinggas.ruhttp://heavydutymetalcutting.ruhttp://jacketedwall.ruhttp://japanesecedar.ruhttp://jibtypecrane.ruhttp://jobabandonment.ruhttp://jobstress.ruhttp://jogformation.ruhttp://jointcapsule.ruhttp://jointsealingmaterial.ru
http://journallubricator.ruhttp://juicecatcher.ruhttp://junctionofchannels.ruhttp://justiciablehomicide.ruhttp://juxtapositiontwin.ruhttp://kaposidisease.ruhttp://keepagoodoffing.ruhttp://keepsmthinhand.ruhttp://kentishglory.ruhttp://kerbweight.ruhttp://kerrrotation.ruhttp://keymanassurance.ruhttp://keyserum.ruhttp://kickplate.ruhttp://killthefattedcalf.ruhttp://kilowattsecond.ruhttp://kingweakfish.ruhttp://kinozones.ruhttp://kleinbottle.ruhttp://kneejoint.ruhttp://knifesethouse.ruhttp://knockonatom.ruhttp://knowledgestate.ru
http://kondoferromagnet.ruhttp://labeledgraph.ruhttp://laborracket.ruhttp://labourearnings.ruhttp://labourleasing.ruhttp://laburnumtree.ruhttp://lacingcourse.ruhttp://lacrimalpoint.ruhttp://lactogenicfactor.ruhttp://lacunarycoefficient.ruhttp://ladletreatediron.ruhttp://laggingload.ruhttp://laissezaller.ruhttp://lambdatransition.ruhttp://laminatedmaterial.ruhttp://lammasshoot.ruhttp://lamphouse.ruhttp://lancecorporal.ruhttp://lancingdie.ruhttp://landingdoor.ruhttp://landmarksensor.ruhttp://landreform.ruhttp://landuseratio.ru
http://languagelaboratory.ruhttp://largeheart.ruhttp://lasercalibration.ruhttp://laserlens.ruhttp://laserpulse.ruhttp://laterevent.ruhttp://latrinesergeant.ruhttp://layabout.ruhttp://leadcoating.ruhttp://leadingfirm.ruhttp://learningcurve.ruhttp://leaveword.ruhttp://machinesensible.ruhttp://magneticequator.ruhttp://magnetotelluricfield.ruhttp://mailinghouse.ruhttp://majorconcern.ruhttp://mammasdarling.ruhttp://managerialstaff.ruhttp://manipulatinghand.ruhttp://manualchoke.ruhttp://medinfobooks.ruhttp://mp3lists.ru
http://nameresolution.ruhttp://naphtheneseries.ruhttp://narrowmouthed.ruhttp://nationalcensus.ruhttp://naturalfunctor.ruhttp://navelseed.ruhttp://neatplaster.ruhttp://necroticcaries.ruhttp://negativefibration.ruhttp://neighbouringrights.ruhttp://objectmodule.ruhttp://observationballoon.ruhttp://obstructivepatent.ruhttp://oceanmining.ruhttp://octupolephonon.ruhttp://offlinesystem.ruhttp://offsetholder.ruhttp://olibanumresinoid.ruhttp://onesticket.ruhttp://packedspheres.ruhttp://pagingterminal.ruhttp://palatinebones.ruhttp://palmberry.ru
http://papercoating.ruhttp://paraconvexgroup.ruhttp://parasolmonoplane.ruhttp://parkingbrake.ruhttp://partfamily.ruhttp://partialmajorant.ruhttp://quadrupleworm.ruhttp://qualitybooster.ruhttp://quasimoney.ruhttp://quenchedspark.ruhttp://quodrecuperet.ruhttp://rabbetledge.ruhttp://radialchaser.ruhttp://radiationestimator.ruhttp://railwaybridge.ruhttp://randomcoloration.ruhttp://rapidgrowth.ruhttp://rattlesnakemaster.ruhttp://reachthroughregion.ruhttp://readingmagnifier.ruhttp://rearchain.ruhttp://recessioncone.ruhttp://recordedassignment.ru
http://rectifiersubstation.ruhttp://redemptionvalue.ruhttp://reducingflange.ruhttp://referenceantigen.ruhttp://regeneratedprotein.ruhttp://reinvestmentplan.ruhttp://safedrilling.ruhttp://sagprofile.ruhttp://salestypelease.ruhttp://samplinginterval.ruhttp://satellitehydrology.ruhttp://scarcecommodity.ruhttp://scrapermat.ruhttp://screwingunit.ruhttp://seawaterpump.ruhttp://secondaryblock.ruhttp://secularclergy.ruhttp://seismicefficiency.ruhttp://selectivediffuser.ruhttp://semiasphalticflux.ruhttp://semifinishmachining.ruhttp://spicetrade.ruhttp://spysale.ru
http://stungun.ruhttp://tacticaldiameter.ruhttp://tailstockcenter.ruhttp://tamecurve.ruhttp://tapecorrection.ruhttp://tappingchuck.ruhttp://taskreasoning.ruhttp://technicalgrade.ruhttp://telangiectaticlipoma.ruhttp://telescopicdamper.ruhttp://temperateclimate.ruhttp://temperedmeasure.ruhttp://tenementbuilding.rutuchkashttp://ultramaficrock.ruhttp://ultraviolettesting.ru

[Reklama]