W wyścigu o przyspieszenie sztucznej inteligencji firma Cerebras z Doliny Krzemowej obiera niezwykłą strategię: działaj na dużą skalę.
Podczas gdy typowy chip komputerowy ma wielkość paznokcia, Cerebras' chip jest wielkości talerza obiadowego.
Głębokie uczenie, technologia AI, która zasila asystentów głosowych, autonomiczne samochody i mistrzów Go, opiera się na złożonej&„sieci neuronowej &”; oprogramowanie ułożone warstwami. Systemy uczenia głębokiego mogą działać na jednym komputerze, ale największe systemy są rozmieszczone na tysiącach połączonych maszyn, czasami w dużych centrach danych, takich jak te obsługiwane przez Google. W dużym klastrze można umieścić do 48 serwerów wielkości pudełka po pizzy w szafach o wysokości jednoosobowej; Półki ustawione są w rzędach i wypełniają budynek wielkości magazynu. Sieci neuronowe w tych systemach mogą rozwiązywać zniechęcające problemy, ale stoją też przed oczywistymi wyzwaniami. Sieć, która rozrasta się w klastrze, jest jak mózg rozproszony po pokoju i połączony ze sobą. Elektrony poruszają się szybko, ale mimo to komunikacja między chipami jest powolna i zużywa dużo energii.
Eric Vishria, generalny partner w firmie venture capital Benchmark z San Francisco, po raz pierwszy zdał sobie sprawę z problemu, gdy wiosną 2016 r. usłyszał przemówienie Cerebras Systems, nowej firmy produkującej chipy komputerowe. Uber i eBay — to znaczy w oprogramowaniu, a nie w sprzęcie. Firma przygląda się około 200 start-upom rocznie i inwestuje w jedno."Graliśmy w tę grę całowania tysiąca żab," Vishria mi powiedział. Na początku swojego przemówienia postanowił odrzucić żabę."Pomyślałem, dlaczego się na to zgodziłem?&cyt; My'nie zamierzamy inwestować w sprzęt,"przypomniał sobie myślenie."To' głupie.&cyt;
Współzałożyciel Cerebras, Andrew Feldman, zaczął od okładki slajdu swojego zespołu i zwrócił uwagę Vishrii': jego talent był imponujący. Feldman porównał następnie te dwa rodzaje chipów komputerowych. Najpierw przyjrzał się procesorom graficznym, czyli GPU – układom zaprojektowanym specjalnie do tworzenia obrazów 3D. Dzisiejsze systemy uczenia maszynowego' opierają się na tych układach graficznych z różnych powodów. Następnie przyjrzał się jednostkom centralnym, czyli procesorom, chipom ogólnego przeznaczenia, które wykonują większość pracy w typowym komputerze."Trzeci slajd dotyczył'Gpus,' które w rzeczywistości są złe dla głębokiego uczenia się - po prostu są sto razy lepsze niż procesory.&cyt; Cerebras wymyślił nowy typ chipa, który nie jest przeznaczony do grafiki, ale specjalnie zaprojektowany dla sztucznej inteligencji.
Vishria jest przyzwyczajona do słuchania prezentacji firm, które planują wykorzystać uczenie głębokie w cyberbezpieczeństwie, obrazowaniu medycznym, chatbotach i innych aplikacjach. Po przemówieniu Cerebras', rozmawiał z inżynierami w firmach finansowanych przez Benchmark, w tym Zillow, Uber i Stitch Fix; Powiedzieli mu, że mają problemy ze sztuczną inteligencją, ponieważ&trwało zbyt długo, „wytrenowanie &”; sieć neuronowa. Google zaczął używać superszybkich&jednostek przetwarzania tensorów," lub Tpus, specjalne chipy zaprojektowane dla SZTUCZNEJ inteligencji. Vishria wiedział, że trwa gorączka złota i ktoś musi robić kilofy i łopaty.
W tym samym roku Benchmark and Foundation Capital, inna firma venture capital, przeprowadziła 27-milionową rundę finansowania dla Cerebras, która zebrała prawie 500 milionów dolarów. Inne firmy również produkują tak zwane akceleratory sztucznej inteligencji; Cerebras' konkurenci groq, Graphcore i Sambanova pozyskali między sobą ponad 2 miliardy dolarów kapitału. Ale Cerebras' podejście jest wyjątkowe. Zamiast drukować dziesiątki wafli na dużym kawałku krzemu, odcinać je i łączyć ze sobą, firma stworzyła gigantyczny"poziom wafli" żeton. Podczas gdy typowy chip komputerowy ma wielkość paznokcia, Cerebras jest wielkości talerza obiadowego i jest największym chipem komputerowym na świecie.
Nawet konkurenci uznali ten wyczyn za imponujący."To jest nowa nauka," Nigel Toon, dyrektor naczelny i współzałożyciel Graphcore', powiedział mi."To' to niesamowity kawałek inżynierii. To' arcydzieło.&cyt; W międzyczasie inny inżynier, z którym rozmawiałem, opisał to jako projekt naukowy -- duży na litość' W przeszłości firma próbowała i nie udało się zrobić gigantycznych chipów; Cerebras' Plan to zakład, że pokonanie wyzwań inżynieryjnych jest możliwe i warte zachodu."Szczerze mówiąc, dla mnie ignorancja jest zaletą," - powiedział Vishria."Nie wiem' gdybym wiedział, jak trudno jest robić to, co robią, miałbym odwagę zainwestować.&cyt;
Łatwo jest przyjąć za pewnik, że komputery stają się coraz szybsze. Często wyjaśnia to prawo Moore'a': wzorzec ustanowiony w 1965 roku przez pioniera półprzewodników Gordona Moore'a, zgodnie z którym liczba tranzystorów w chipie podwaja się co roku lub co dwa lata. Oczywiście, prawo Moore'a' nie jest' tak naprawdę prawem, a inżynierowie pracują niestrudzenie, aby zmniejszyć tranzystory, jednocześnie ulepszając&„architekturę &”; każdego chipa, aby tworzyć wydajniejsze i wydajniejsze projekty.
Architekci chipów od dawna zastanawiali się, czy pojedynczy, wielkoskalowy chip komputerowy może być bardziej wydajny niż kilka mniejszych chipów, tak jak miasto ze skoncentrowanymi zasobami i gęstymi blokami jest bardziej wydajne niż przedmieście. Pomysł został po raz pierwszy wypróbowany w latach 60. XX wieku, kiedy firma Texas Instruments ograniczyła produkcję chipów o szerokości kilku cali. Ale inżynierowie firmy' napotkali problemy z wydajnością. Wady produkcyjne każdej płytki krzemowej nieuchronnie zagrażają pewnej liczbie obwodów. Jeśli wafel zawiera 50 żetonów, firma może wyrzucić te złe i sprzedać te dobre. Ale gdyby każdy udany chip zależał od pracujących obwodów pojedynczego wafla, wiele drogich wafli zostałoby odrzuconych. Firma Texas Instruments znalazła rozwiązanie, ale technologii i potrzeb jeszcze nie było.
W latach 80. inżynier Gene Amdahl ponownie próbował rozwiązać problem w założonej przez siebie firmie Trilogy Systems. Stał się największym startupem w historii Doliny Krzemowej', z około 250 milionami dolarów finansowania. Aby rozwiązać problem wydajności, Trilogy wydrukowało nadmiarowe komponenty na chipie. Ta metoda zwiększa produkcję, ale zmniejsza prędkość chipa. Tymczasem Trilogy zmaga się na inne sposoby. Amdahl przejechał motocyklistę ze swoim rollsem Roycem, powodując problemy prawne; Jej prezydent zmarł na guza mózgu; Ulewne deszcze opóźniły budowę fabryk, rdzewieją systemy klimatyzacyjne i zbierają kurz na wiórach. W 1984 roku Trilogy zrezygnowało."& #39;nie zdawałem sobie sprawy, jakie to będzie trudne," Syn Amdahla' powiedział The Times.
Jeśli technologia Trilogy' odniesie sukces, może teraz zostać wykorzystana do głębokiego uczenia się. Zamiast tego GPU (chipy używane w grach wideo) rozwiązują problemy naukowe w krajowych laboratoriach. Ponowne wykorzystanie procesorów graficznych dla AI zależy od tego, że sieci neuronowe, choć bardzo złożone, polegają na wielu mnożeniu i dodawaniu. Kiedy"neurony" w sieci odpalają się wzajemnie, wzmacniają lub redukują nawzajem sygnały', mnożąc je przez współczynniki zwane wagami połączeń. Wydajny procesor AI będzie obliczał wiele aktywacji równolegle; Łączy je w szereg liczb zwanych wektorami lub siatkami liczb zwanych macierzami lub blokami wyższego wymiaru zwanych tensorami. Idealnie, jeśli chcesz pomnożyć jedną macierz lub tensor na raz przez drugą. GPU są zaprojektowane do robienia czegoś podobnego:
& quot;Cień Trylogii jest tak wielki," Feldman powiedział mi niedawno,"że ludzie przestają myśleć i zaczynają mówić:'to'to niemożliwe.'&cyt; Firmy zajmujące się procesorami graficznymi, w tym Nvidia, skorzystały z możliwości dostosowania swoich chipów do głębokiego uczenia się. W 2015 roku Feldman i grupa architektów komputerowych rozpoczęli dyskusję na temat większych chipów po tym, jak współzałożyli producenta serwerów komputerowych, Seamicro, który sprzedali producentowi chipów AMD za 334 miliony dolarów. Pracowali nad emisją przez cztery miesiące w biurze pożyczonym od firmy venture capital. Kiedy mieli zarys realnego rozwiązania, rozmawiali z ośmioma firmami; Otrzymałem fundusze od Benchmark, Foundation Capital i Eclipse i zacząłem zatrudniać.
Cerebras' Pierwszym zadaniem jest rozwiązanie problemów produkcyjnych, które nękają duże wióry. Chip był pierwotnie cylindryczną sztabką krystalicznego krzemu o średnicy około stopy, a stalowa sztabka została pocięta na wafle o grubości mniejszej niż milimetr. Obwód jest wtedy"drukowany" na wafel w procesie zwanym litografią. Substancje chemiczne wrażliwe na promieniowanie UV są ostrożnie osadzane na powierzchni, a następnie wiązka światła UV jest kierowana przez szczegółowy szablon zwany maską. Te chemikalia reagują tworząc obwody.
Zwykle obszar objęty światłem przechodzącym przez maskę staje się chipem. Następnie chip się porusza i światło jest ponownie wyświetlane. Po wydrukowaniu dziesiątek lub setek żetonów są one wycinane laserowo z wafla."Najłatwiej to zrobić, aby twoja mama wyjęła okrągłe ciasto na ciasteczka," powiedział Feldman."Ma foremkę do ciastek i ostrożnie kroi ciasteczka.&cyt; Prawa fizyki i optyki uniemożliwiają wykonanie większej foremki do ciastek. W rezultacie"opracowaliśmy technologię, dzięki której możesz komunikować się za pomocą małego ciasta między dwoma ciasteczkami.&cyt;
W systemie drukowania Cerebras opracowanym we współpracy z TSMC, firmą produkującą chip, brzegi ciasteczek zachodzą na siebie tak, że ich przewody są połączone. Rezultatem jest pojedynczy"wielkość wafla" opłatek, kwadrat w kolorze miedzi i 21 cm z każdej strony. (Największy procesor graficzny ma nieco mniej niż 3 cm średnicy.) Cerebras wyprodukował swój pierwszy chip, Wafer-scale Engine 1, w 2019 roku. Wse-2, wprowadzony w tym roku, wykorzystuje gęstszy obwód, z 2,6 biliona tranzystorów upakowanych w 850 000 jednostek przetwarzających , lub"rdzeni". (Top GPU ma tylko kilka tysięcy rdzeni, podczas gdy większość procesorów ma mniej niż 10.)
& „2,6 biliona tranzystorów jest zdumiewające, &”; powiedział Aart de Geus, prezes i współdyrektor generalny Synopsys. Synopsys dostarcza oprogramowanie, którego Cerebras i inni producenci chipów używają do tworzenia i walidacji swoich projektów chipów. De Geus mówi, że projektując chipy, inżynierowie muszą najpierw rozważyć dwa podstawowe pytania:&„Skąd pochodzą dane?&cyt; Gdzie to jest obsługiwane?&cyt; Kiedy chipy były prostsze, projektanci mogli odpowiedzieć na te pytania ołówkiem na stole do rysowania; Pracując z dzisiejszymi bardziej złożonymi układami', wprowadź kod opisujący architekturę, którą chcą stworzyć, a następnie przejdź do narzędzi do wizualizacji i kodowania."Pomyśl o tym, jak dom wygląda z dachu," powiedział de Geus."Czy garaż jest blisko kuchni? Czy jest blisko sypialni? Chcesz go w pobliżu kuchni - w przeciwnym razie'będziesz musiał nosić artykuły spożywcze przez każdy zakątek domu.&cyt; Po zaprojektowaniu planu kondygnacji wyjaśnił,&cytując, można użyć równań do opisania tego, co dzieje się w pomieszczeniu.&cyt;
Złożoność konstrukcji chipów jest oszałamiająca."Tu jest wiele warstw," powiedział de Geus, z obwodami skrzyżowanymi i ułożonymi na sobie, jak wiadukt na głównej autostradzie. Dla inżynierów Cerebras, pracujących na skalę wafla, złożoność jest zwiększona. Synopsys' oprogramowanie pomaga w postaci sztucznej inteligencji: algorytmy dopasowywania wzorców identyfikują typowe problemy i proponują rozwiązania; Program optymalizujący przesuwa pomieszczenie do szybszej, bardziej efektywnej aranżacji. Jeśli zbyt wiele pasów próbuje wcisnąć się w dwublokowy budynek, oprogramowanie pozwala inżynierom zagrać w Roberta Mosesa i przesunąć blok.
W końcu, jak mówi Feldman, istnieje kilka zalet ponadwymiarowych konstrukcji chipów. Gdy rdzenie znajdują się na tym samym chipie, komunikują się szybciej: mózg komputera' jest teraz skoncentrowany w jednej czaszce, a nie rozrzucony po całym pokoju. Większe układy również lepiej obsługują pamięć. Zazwyczaj mały układ scalony gotowy do przetworzenia pliku musi najpierw pobrać plik z układu pamięci współdzielonej znajdującego się w innym miejscu na płytce drukowanej; Tylko najczęściej używane dane są buforowane bliżej domu. Opisując wydajność czipów na poziomie wafla, Feldman zaproponował analogię: poprosił mnie, abym wyobraził sobie grupę współlokatorów (rdzeń) żyjących w akademiku (chip), którzy chcieli oglądać mecz piłki nożnej (wykonywać obliczenia). Aby oglądać mecz, mówi Feldman, współlokatorzy muszą przechowywać piwo w lodówce (dane są przechowywane w pamięci); Cerebras trzyma lodówkę w każdym pokoju, więc współlokatorzy nie muszą' ryzykować pójścia do wspólnej kuchni w akademiku' lub Safeway. Dodatkową zaletą jest to, że każdy rdzeń może szybciej przetwarzać różne dane."Więc mogę mieć Buda w moim pokoju w akademiku," powiedział Feldman."W twoim akademiku możesz mieć Schlitza.&cyt;
Wreszcie, Cerebras musi przezwyciężyć problemy z wydajnością. Inżynierowie firmy' stosują trilogię': redundancję. Ale tutaj mają przewagę nad poprzednikami. Trilogy stara się tworzyć ogólne układy scalone z wieloma różnymi komponentami, więc okablowanie jednego uszkodzonego komponentu może wymagać podłączenia do odległego zamiennika. Na Cerebras' chip, wszystkie rdzenie są identyczne. Jeśli jedno ciastko się myli, te wokół niego są równie dobre.








