Pełny tekst po polsku 1446 zdań · zsynchronizowane z wideo
01 · 0:00 Co właściwie skalujemy?0:00 Rozmawialiśmy trzy lata temu. We talked three years ago. 0:02 Co twoim zdaniem było największą zmianą w ciągu tych trzech lat? In your view, what has been the biggest update over the last three years? 0:05 Czym najbardziej różni się to, jak to wyglądało wtedy, od tego, jak wygląda teraz? What has been the biggest difference between what it felt like then versus now? 0:09 – Ogólnie rzecz biorąc, krzywa wykładnicza samej technologii przebiegła mniej więcej tak, jak się spodziewałem. Broadly speaking, the exponential of the underlying technology has gone about as I expected it to go. 0:22 Tu i tam z dokładnością do roku czy dwóch. There's plus or minus a year or two here and there. 0:25 Nie wiem, czy przewidziałbym akurat kierunek związany z kodem. I don't know that I would've predicted the specific direction of code. 0:30 Ale kiedy patrzę na tę wykładniczą, to jest mniej więcej to, czego się spodziewałem: marsz modeli od bystrego licealisty, przez bystrego studenta, aż po początki But when I look at the exponential, it is roughly what I expected in terms of the march of the models from smart high school student to smart college student to beginning to do 0:42 pracy na poziomie doktoratu i zawodowym, a w przypadku kodu – jeszcze dalej. PhD and professional stuff, and in the case of code reaching beyond that. 0:47 Granica możliwości jest trochę nierówna, ale ogólnie zgadza się z moimi oczekiwaniami. The frontier is a little bit uneven, but it's roughly what I expected. 0:52 Najbardziej zaskakuje mnie to, jak słabo opinia publiczna zdaje sobie sprawę, że jesteśmy blisko końca wykładniczej. What has been the most surprising thing is the lack of public recognition of how close we are to the end of the exponential. 1:01 Dla mnie to absolutnie szalone, że ludzie – i wewnątrz bańki, i poza nią – rozmawiają o tych samych wyświechtanych, To me, it is absolutely wild that you have people — within the bubble and outside the bubble — talking about the same tired, 1:13 starych, gorących tematach politycznych, podczas gdy jesteśmy blisko końca wykładniczej. old hot-button political issues, when we are near the end of the exponential. 1:21 – Chcę zrozumieć, jak ta wykładnicza wygląda teraz. I want to understand what that exponential looks like right now. 1:25 Pierwsze pytanie, jakie ci zadałem, gdy nagrywaliśmy trzy lata temu, brzmiało: „O co chodzi ze skalowaniem i dlaczego ono działa?”. The first question I asked you when we recorded three years ago was, "what’s up with scaling and why does it work?" 1:31 Teraz mam podobne pytanie, ale wydaje się bardziej skomplikowane. I have a similar question now, but it feels more complicated. 1:34 Przynajmniej z perspektywy opinii publicznej trzy lata temu znane były trendy obejmujące wiele rzędów wielkości mocy obliczeniowej, na których było widać, jak spada strata. At least from the public's point of view, three years ago there were well-known public trends across many orders of magnitude of compute where you could see how the loss improves. 1:44 Teraz mamy skalowanie uczenia ze wzmocnieniem (RL) i nie ma dla niego publicznie znanego prawa skalowania. Now we have RL scaling and there's no publicly known scaling law for it. 1:49 Nie jest nawet jasne, jaka jest tu narracja. It's not even clear what the story is. 1:52 Czy to ma uczyć model umiejętności? Is this supposed to be teaching the model skills? 1:54 Czy ma go uczyć metauczenia? Is it supposed to be teaching meta-learning? 1:56 Jak na tym etapie brzmi hipoteza skalowania? What is the scaling hypothesis at this point? 1:59 – Właściwie mam tę samą hipotezę co jeszcze w 2017 roku. I actually have the same hypothesis I had even all the way back in 2017. 2:06 Chyba mówiłem o tym ostatnio, ale napisałem dokument pod tytułem „Hipoteza wielkiej bryły obliczeń”. I think I talked about it last time, but I wrote a doc called "The Big Blob of Compute Hypothesis". 2:12 Nie dotyczył on konkretnie skalowania modeli językowych. It wasn't about the scaling of language models in particular. 2:15 Kiedy go pisałem, dopiero co wyszedł GPT-1. When I wrote it GPT-1 had just come out. 2:19 To była jedna z wielu rzeczy. That was one among many things. 2:22 W tamtych czasach była robotyka. Back in those days there was robotics. 2:24 Ludzie próbowali pracować nad rozumowaniem jako czymś odrębnym od modeli językowych, było też skalowanie RL takiego rodzaju jak w AlphaGo i w Docie w OpenAI. People tried to work on reasoning as a separate thing from language models, and there was scaling of the kind of RL that happened in AlphaGo and in Dota at OpenAI. 2:38 Ludzie pamiętają StarCrafta w DeepMind, czyli AlphaStar. People remember StarCraft at DeepMind, AlphaStar. 2:43 To był dokument o bardziej ogólnym charakterze. It was written as a more general document. 2:50 Kilka lat później Rich Sutton opublikował „Gorzką lekcję”. Rich Sutton put out "The Bitter Lesson" a couple years later. 2:54 Hipoteza jest w zasadzie ta sama. The hypothesis is basically the same. 2:57 Mówi, że cała pomysłowość, wszystkie techniki, całe to „potrzebujemy nowej metody, żeby coś zrobić” nie ma wielkiego znaczenia. What it says is that all the cleverness, all the techniques, all the "we need a new method to do something", that doesn't matter very much. 3:06 Liczy się tylko kilka rzeczy. There are only a few things that matter. 3:08 Zdaje się, że wymieniłem ich siedem. I think I listed seven of them. 3:10 Pierwsza to ilość surowej mocy obliczeniowej. One is how much raw compute you have. 3:13 Druga to ilość danych. The second is the quantity of data. 3:17 Trzecia to jakość i rozkład danych. The third is the quality and distribution of data. 3:20 Rozkład musi być szeroki. It needs to be a broad distribution. 3:23 Czwarta to długość treningu. The fourth is how long you train for. 3:26 Piąta: potrzebujesz funkcji celu, którą da się skalować w nieskończoność. The fifth is that you need an objective function that can scale to the moon. 3:31 Funkcja celu pretreningu jest właśnie taką funkcją. The pre-training objective function is one such objective function. 3:36 Inną jest funkcja celu RL, która mówi: masz cel, ruszasz i go osiągasz. Another is the RL objective function that says you have a goal, you're going to go out and reach the goal. 3:44 W jej ramach są obiektywne nagrody, jak w matematyce i programowaniu, i bardziej subiektywne, jak w RLHF czy jego wyższych odmianach. Within that, there's objective rewards like you see in math and coding, and there's more subjective rewards like you see in RLHF or higher-order versions of that. 3:56 Szósta i siódma dotyczyły normalizacji czy uwarunkowania, czyli stabilności numerycznej, tak by wielka bryła obliczeń płynęła laminarnie, zamiast natrafiać na problemy. Then the sixth and seventh were things around normalization or conditioning, just getting the numerical stability so that the big blob of compute flows in this laminar way instead of running into problems. 4:10 Taka była hipoteza i nadal się jej trzymam. That was the hypothesis, and it's a hypothesis I still hold. 4:15 Nie sądzę, żebym widział wiele rzeczy, które by z nią nie współgrały. I don't think I've seen very much that is not in line with it. 4:20 Prawa skalowania pretreningu były jednym z przykładów tego, co tu widzimy. The pre-training scaling laws were one example of what we see there. 4:27 I nadal obowiązują. Those have continued going. 4:30 Jak już szeroko informowano, jesteśmy zadowoleni z pretreningu. Now it's been widely reported, we feel good about pre-training. 4:36 Wciąż przynosi nam postępy. It’s continuing to give us gains. 4:38 Zmieniło się to, że teraz to samo widzimy też w RL. What has changed is that now we're also seeing the same thing for RL. 4:44 Mamy fazę pretreningu, a na niej fazę RL. We're seeing a pre-training phase and then an RL phase on top of that. 4:50 Z RL jest właściwie dokładnie tak samo. With RL, it’s actually just the same. 4:55 Nawet inne firmy publikowały przy okazji niektórych premier informacje typu: „Trenujemy model na konkursach matematycznych – AIME i innych – a jego wyniki rosną log-liniowo Even other companies have published things in some of their releases that say, "We train the model on math contests — AIME or other things — and how well the model does is log-linear 5:14 z długością treningu”. in how long we've trained it." 5:16 My też to widzimy, i to nie tylko w konkursach matematycznych. We see that as well, and it's not just math contests. 5:18 To szeroki wachlarz zadań RL. It's a wide variety of RL tasks. 5:21 Widzimy w RL to samo skalowanie, które widzieliśmy w pretreningu. We're seeing the same scaling in RL that we saw for pre-training. 5:27 – Wspomniałeś o Richu Suttonie i „Gorzkiej lekcji”. You mentioned Rich Sutton and "The Bitter Lesson". 5:29 Rozmawiałem z nim w zeszłym roku i on wcale nie jest zwolennikiem LLM-ów. I interviewed him last year, and he's actually very non-LLM-pilled. 5:36 Nie wiem, czy to jego perspektywa, ale jego zastrzeżenie można streścić tak: coś, co ma prawdziwy rdzeń ludzkiego uczenia się, nie potrzebowałoby tych miliardów dolarów I don’t know if this is his perspective, but one way to paraphrase his objection is: Something which possesses the true core of human learning would not require all these billions of dollars of 5:48 na dane i obliczenia ani szytych na miarę środowisk, żeby nauczyć się obsługi Excela, PowerPointa czy przeglądarki. data and compute and these bespoke environments, to learn how to use Excel, how to use PowerPoint, how to navigate a web browser. 5:57 To, że musimy wbudowywać te umiejętności za pomocą środowisk RL, sugeruje, że tak naprawdę brakuje nam rdzennego algorytmu ludzkiego uczenia się. The fact that we have to build in these skills using these RL environments hints that we are actually lacking a core human learning algorithm. 6:10 Czyli skalujemy nie to, co trzeba. So we're scaling the wrong thing. 6:12 To rodzi pytanie. That does raise the question. 6:13 Po co całe to skalowanie RL, skoro uważamy, że powstanie coś, co będzie się uczyć w locie jak człowiek? Why are we doing all this RL scaling if we think there's something that's going to be human-like in its ability to learn on the fly? 6:20 – Myślę, że to łączy kilka rzeczy, o których należy myśleć osobno. I think this puts together several things that should be thought of differently. 6:26 Jest tu prawdziwa zagadka, ale może nie mieć znaczenia. There is a genuine puzzle here, but it may not matter. 6:31 Właściwie zgadywałbym, że raczej nie ma. In fact, I would guess it probably doesn't matter. 6:34 Jest tu coś ciekawego. There is an interesting thing. 6:35 Odłóżmy na chwilę RL, bo uważam, że twierdzenie, iż RL różni się pod tym względem od pretreningu, to fałszywy trop. Let me take the RL out of it for a second, because I actually think it's a red herring to say that RL is any different from pre-training in this matter. 6:43 Jeśli spojrzymy na skalowanie pretreningu, było bardzo ciekawie w 2017 roku, kiedy Alec Radford robił GPT-1. If we look at pre-training scaling, it was very interesting back in 2017 when Alec Radford was doing GPT-1. 6:54 Modele sprzed GPT-1 trenowano na zbiorach danych, które nie odzwierciedlały szerokiego rozkładu tekstów. The models before GPT-1 were trained on datasets that didn't represent a wide distribution of text. 7:04 Były bardzo standardowe benchmarki modelowania języka. You had very standard language modeling benchmarks. 7:09 Sam GPT-1 był chyba trenowany na sporej ilości fanfików. GPT-1 itself was trained on a bunch of fanfiction, I think actually. 7:11 To były teksty literackie, czyli bardzo mały wycinek dostępnych tekstów. It was literary text, which is a very small fraction of the text you can get. 7:21 Wtedy to było jakiś miliard słów, czyli małe zbiory danych odzwierciedlające dość wąski wycinek tego, co można zobaczyć na świecie. In those days it was like a billion words or something, so small datasets representing a pretty narrow distribution of what you can see in the world. 7:33 To słabo uogólniało. It didn't generalize well. 7:35 Jeśli model radził sobie lepiej na jakimś korpusie fanfików, nie przekładało się to dobrze na inne zadania. If you did better on some fanfiction corpus, it wouldn't generalize that well to other tasks. 7:46 Mieliśmy różne miary. We had all these measures. 7:46 Mierzyliśmy, jak dobrze model przewiduje wszelkie inne rodzaje tekstów. We had all these measures of how well it did at predicting all these other kinds of texts. 7:55 Dopiero gdy trenowało się na wszystkich zadaniach z internetu – na ogólnym zrzucie sieci z czegoś takiego jak Common Crawl albo z linków zebranych z Reddita, It was only when you trained over all the tasks on the internet — when you did a general internet scrape from something like Common Crawl or scraping links in Reddit, 8:06 co zrobiliśmy przy GPT-2 – zaczęło pojawiać się uogólnianie. which is what we did for GPT-2 — that you started to get generalization. 8:13 Myślę, że to samo widzimy w RL. I think we're seeing the same thing on RL. 8:15 Zaczynamy od prostych zadań RL, jak trening na konkursach matematycznych, potem przechodzimy do szerszego treningu, obejmującego na przykład kod. We're starting first with simple RL tasks like training on math competitions, then moving to broader training that involves things like code. 8:28 Teraz przechodzimy do wielu innych zadań. Now we're moving to many other tasks. 8:31 Myślę, że wtedy będziemy coraz częściej uzyskiwać uogólnianie. I think then we're going to increasingly get generalization. 8:34 To w pewnym sensie usuwa kwestię „RL kontra pretrening”. So that kind of takes out the RL vs. pre-training side of it. 8:39 Ale tak czy inaczej jest zagadka: w pretreningu używamy bilionów tokenów. But there is a puzzle either way, which is that in pre-training we use trillions of tokens. 8:50 Ludzie nie widzą bilionów słów. Humans don't see trillions of words. 8:52 Jest więc realna różnica w efektywności próbkowej. So there is an actual sample efficiency difference here. 8:55 Coś tu naprawdę się różni. There is actually something different here. 8:59 Modele zaczynają od zera i potrzebują znacznie więcej treningu. The models start from scratch and they need much more training. 9:05 Ale widzimy też, że kiedy już są wytrenowane i damy im długi kontekst, rzędu miliona – a jedyną przeszkodą dla długiego kontekstu jest inferencja – bardzo dobrze się uczą But we also see that once they're trained, if we give them a long context length of a million — the only thing blocking long context is inference — they're very good at learning 9:17 i adaptują w obrębie tego kontekstu. and adapting within that context. 9:20 Nie znam więc pełnej odpowiedzi. So I don’t know the full answer to this. 9:23 Myślę, że chodzi o to, że pretrening nie przypomina procesu uczenia się ludzi, tylko leży gdzieś między uczeniem się ludzi a ewolucją człowieka. I think there's something going on where pre-training is not like the process of humans learning, but it's somewhere between the process of humans learning and the process of human evolution. 9:36 Wiele naszych wrodzonych założeń mamy od ewolucji. We get many of our priors from evolution. 9:38 Nasz mózg nie jest czystą kartą. Our brain isn't just a blank slate. 9:41 Napisano o tym całe książki. Whole books have been written about this. 9:43 Modele językowe znacznie bardziej przypominają czyste karty. The language models are much more like blank slates. 9:45 Dosłownie zaczynają od losowych wag, podczas gdy ludzki mózg startuje z wszystkimi tymi obszarami podłączonymi do wejść i wyjść. They literally start as random weights, whereas the human brain starts with all these regions connected to all these inputs and outputs. 9:54 Może powinniśmy myśleć o pretreningu – i zresztą także o RL – jako o czymś, co leży pomiędzy ewolucją człowieka a jego uczeniem się na bieżąco. Maybe we should think of pre-training — and for that matter, RL as well — as something that exists in the middle space between human evolution and human on-the-spot learning. 10:07 A o uczeniu się w kontekście, które robią modele, jako o czymś między długoterminowym a krótkoterminowym uczeniem się człowieka. And we should think of the in-context learning that the models do as something between long-term human learning and short-term human learning. 10:17 Jest więc taka hierarchia. So there's this hierarchy. 10:19 Jest ewolucja, jest uczenie długoterminowe, jest uczenie krótkoterminowe i jest zwykła reakcja człowieka. There’s evolution, there's long-term learning, there's short-term learning, and there's just human reaction. 10:25 Fazy LLM-ów rozkładają się wzdłuż tego spektrum, ale niekoniecznie dokładnie w tych samych punktach. The LLM phases exist along this spectrum, but not necessarily at exactly the same points. 10:32 Dla niektórych ludzkich trybów uczenia się nie ma odpowiednika – LLM-y wypadają pomiędzy tymi punktami. There’s no analog to some of the human modes of learning the LLMs are falling in between the points. 10:38 Czy to ma sens? Does that make sense? 10:39 – Tak, choć niektóre rzeczy wciąż są nieco niejasne. Yes, although some things are still a bit confusing. 10:42 Na przykład: jeśli analogia jest taka, że to jak ewolucja, więc nic nie szkodzi, że brakuje efektywności próbkowej, to skoro z uczenia w kontekście dostaniemy superefektywnego agenta, For example, if the analogy is that this is like evolution so it's fine that it's not sample efficient, then if we're going to get super sample-efficient agent from in-context learning, 10:53 po co zawracać sobie głowę budowaniem tych wszystkich środowisk RL? why are we bothering to build all these RL environments? 10:56 Są firmy, których praca wydaje się polegać na uczeniu modeli, jak korzystać z tego API, jak używać Slacka, jak używać czegokolwiek. There are companies whose work seems to be teaching models how to use this API, how to use Slack, how to use whatever. 11:01 Nie rozumiem, czemu kładzie się na to taki nacisk, jeśli agent, który po prostu uczy się w locie, właśnie się wyłania albo już się wyłonił. It's confusing to me why there's so much emphasis on that if the kind of agent that can just learn on the fly is emerging or has already emerged. 11:11 – Nie mogę mówić za to, na co kładą nacisk inni. I can't speak for the emphasis of anyone else. 11:13 Mogę mówić tylko o tym, jak my o tym myślimy. I can only talk about how we think about it. 11:19 Celem nie jest nauczenie modelu w ramach RL każdej możliwej umiejętności, tak jak nie robimy tego w pretreningu. The goal is not to teach the model every possible skill within RL, just as we don't do that within pre-training. 11:27 W pretreningu nie próbujemy pokazać modelowi każdego możliwego sposobu łączenia słów. Within pre-training, we're not trying to expose the model to every possible way that words could be put together. 11:37 Model trenuje raczej na wielu rzeczach, a potem w ramach pretreningu osiąga uogólnianie. Rather, the model trains on a lot of things and then reaches generalization across pre-training. 11:43 Takie było przejście od GPT-1 do GPT-2, które oglądałem z bliska. That was the transition from GPT-1 to GPT-2 that I saw up close. 11:49 Model dochodzi do pewnego punktu. The model reaches a point. 11:52 Miałem takie momenty, kiedy myślałem: „O, proszę, dajesz modelowi listę liczb – to cena domu, I had these moments where I was like, "Oh yeah, you just give the model a list of numbers — this is the cost of the house, 12:02 to metraż domu – a model uzupełnia wzorzec i robi regresję liniową”. this is the square feet of the house — and the model completes the pattern and does linear regression." 12:07 Nie świetnie, ale robi to, a nigdy wcześniej nie widział dokładnie czegoś takiego. Not great, but it does it, and it's never seen that exact thing before. 12:11 Więc w takim zakresie, w jakim budujemy te środowiska RL, cel jest bardzo podobny do tego, co robiono pięć czy dziesięć lat temu z pretreningiem. So to the extent that we are building these RL environments, the goal is very similar to what was done five or ten years ago with pre-training. 12:26 Staramy się zdobyć mnóstwo danych nie dlatego, że chcemy pokryć konkretny dokument czy konkretną umiejętność, ale dlatego, że chcemy uogólniać. We're trying to get a whole bunch of data, not because we want to cover a specific document or a specific skill, but because we want to generalize. 12:34 – Myślę, że ramy, które nakreślasz, oczywiście mają sens. I think the framework you're laying down obviously makes sense. 02 · 12:36 Czy „dyfuzja” to wymówka?12:40 Robimy postępy w drodze do AGI. We're making progress toward AGI. 12:43 Nikt już dziś nie kwestionuje, że osiągniemy AGI w tym stuleciu. Nobody at this point disagrees we're going to achieve AGI this century. 12:47 Sedno sprawy: ty mówisz, że zbliżamy się do końca wykładniczego wzrostu. The crux is you say we're hitting the end of the exponential. 12:52 Ktoś inny patrzy na to samo i mówi: „Robimy postępy od 2012 roku, a do 2035 będziemy mieć agenta na poziomie człowieka”. Somebody else looks at this and says, "We've been making progress since 2012, and by 2035 we'll have a human-like agent." 13:04 Oczywiście widzimy w tych modelach to, co zrobiła ewolucja, albo to, co daje uczenie się przez ludzkie życie. Obviously we’re seeing in these models the kinds of things that evolution did, or that learning within a human lifetime does. 13:09 Chcę zrozumieć, co takiego widzisz, że uważasz, że to kwestia roku, a nie dziesięciu lat. I want to understand what you’re seeing that makes you think it's one year away and not ten years away. 13:15 – Można tu postawić dwie tezy: mocniejszą i słabszą. There are two claims you could make here, one stronger and one weaker. 13:26 Zacznę od słabszej: kiedy w 2019 roku po raz pierwszy zobaczyłem skalowanie, nie byłem pewien. Starting with the weaker claim, when I first saw the scaling back in 2019, I wasn’t sure. 13:36 To było pół na pół. This was a 50/50 thing. 13:39 Miałem wrażenie, że coś dostrzegłem. I thought I saw something. 13:42 Twierdziłem, że to jest dużo bardziej prawdopodobne, niż ktokolwiek sądzi. My claim was that this was much more likely than anyone thinks. 13:48 Może jest 50% szans, że to się wydarzy. Maybe there's a 50% chance this happens. 13:51 Co do podstawowej hipotezy – że, jak to ująłeś, w ciągu dziesięciu lat dojdziemy do tego, co nazywam „krajem geniuszy w centrum danych” – jestem pewien na 90%. On the basic hypothesis of, as you put it, within ten years we'll get to what I call a "country of geniuses in a data center", I'm at 90% on that. 14:04 Trudno pójść dużo wyżej niż 90%, bo świat jest tak nieprzewidywalny. It's hard to go much higher than 90% because the world is so unpredictable. 14:09 Może nieusuwalna niepewność daje nam 95%, gdzie wchodzą w grę rzeczy w rodzaju wewnętrznych zawirowań w kilku firmach, inwazji na Tajwan, Maybe the irreducible uncertainty puts us at 95%, where you get to things like multiple companies having internal turmoil, Taiwan gets invaded, 14:24 zniszczenia wszystkich fabryk półprzewodników przez rakiety. all the fabs get blown up by missiles. 14:27 – Teraz to nas zapeszyłeś, Dario. Now you've jinxed us, Dario. 14:29 – Da się skonstruować świat z 5% prawdopodobieństwem, w którym wszystko opóźnia się o dziesięć lat. You could construct a 5% world where things get delayed for ten years. 14:43 Jest jeszcze drugie 5%: jestem bardzo pewny co do zadań, które da się zweryfikować. There's another 5% which is that I'm very confident on tasks that can be verified. 14:50 Przy programowaniu – poza tą nieusuwalną niepewnością – myślę, że będziemy tam za rok, dwa. With coding, except for that irreducible uncertainty, I think we'll be there in one or two years. 14:55 Nie ma mowy, żebyśmy za dziesięć lat nie umieli w pełni programować od początku do końca. There's no way we will not be there in ten years in terms of being able to do end-to-end coding. 15:00 Moja jedyna odrobina fundamentalnej niepewności, nawet w długim horyzoncie, dotyczy zadań, których nie da się zweryfikować: zaplanowania misji na Marsa, My one little bit of fundamental uncertainty, even on long timescales, is about tasks that aren't verifiable: planning a mission to Mars; 15:14 dokonania fundamentalnego odkrycia naukowego jak CRISPR, napisania powieści. doing some fundamental scientific discovery like CRISPR; writing a novel. 15:20 Takie zadania trudno zweryfikować. It’s hard to verify those tasks. 15:23 Jestem niemal pewien, że mamy niezawodną drogę, żeby tam dojść, ale jeśli jest jakaś niepewność, to właśnie tam. I am almost certain we have a reliable path to get there, but if there's a little bit of uncertainty it's there. 15:34 W horyzoncie dziesięciu lat jestem na 90%, czyli mniej więcej tak pewny, jak tylko można być. On the ten-year timeline I'm at 90%, which is about as certain as you can be. 15:40 Uważam, że twierdzenie, że to się nie wydarzy do 2035 roku, to szaleństwo. I think it's crazy to say that this won't happen by 2035. 15:45 W normalnym świecie byłby to pogląd daleki od głównego nurtu. In some sane world, it would be outside the mainstream. 15:48 – Ale ten nacisk na weryfikację sugeruje mi, że nie wierzysz, że te modele generalizują. But the emphasis on verification hints to me a lack of belief that these models are generalized. 15:58 Weźmy ludzi: jesteśmy dobrzy zarówno w tym, za co dostajemy weryfikowalną nagrodę, jak i w tym, za co nie dostajemy. If you think about humans, we're both good at things for which we get verifiable reward and things for which we don't. 16:04 – Nie, właśnie dlatego jestem niemal pewien. No, this is why I’m almost sure. 16:07 Już teraz widzimy znaczną generalizację z zadań weryfikowalnych na te, których zweryfikować się nie da. We already see substantial generalization from things that verify to things that don't. 16:13 To już widać. We're already seeing that. 16:14 – Ale wyglądało na to, że przedstawiasz to jako spektrum, które rozdzieli dziedziny, w których widzimy większy postęp. But it seems like you were emphasizing this as a spectrum which will split apart which domains in which we see more progress. 16:21 A ludzie chyba nie rozwijają się w ten sposób. That doesn't seem like how humans get better. 16:25 – Świat, w którym tam nie dochodzimy, to świat, w którym robimy wszystkie weryfikowalne rzeczy. The world in which we don't get there is the world in which we do all the verifiable things. 16:33 Wiele z nich się generalizuje, ale nie dochodzimy do końca. Many of them generalize, but we don't fully get there. 16:38 Nie zamalowujemy w pełni drugiej strony kratki. We don’t fully color in the other side of the box. 16:40 To nie jest zero-jedynkowe. It's not a binary thing. 16:44 – Nawet jeśli generalizacja jest słaba i radzisz sobie tylko w dziedzinach weryfikowalnych, nie jestem pewien, czy w takim świecie dałoby się zautomatyzować inżynierię oprogramowania. Even if generalization is weak and you can only do verifiable domains, it's not clear to me you could automate software engineering in such a world. 16:53 Jesteś w pewnym sensie „inżynierem oprogramowania”, ale u ciebie bycie nim obejmuje też pisanie długich memoriałów o twojej wielkiej wizji. You are "a software engineer" in some sense, but part of being a software engineer for you involves writing long memos about your grand vision. 17:01 – Nie sądzę, żeby to należało do pracy inżyniera oprogramowania. I don’t think that’s part of the job of SWE. 17:02 To należy do pracy firmy, nie konkretnie inżyniera. That's part of the job of the company, not SWE specifically. 17:06 – Ale praca inżyniera obejmuje dokumenty projektowe i tego typu rzeczy. But SWE does involve design documents and other things like that. 17:10 – Modele już całkiem dobrze piszą komentarze. The models are already pretty good at writing comments. 17:15 Powtórzę: stawiam tu dużo słabsze tezy, niż w które wierzę, żeby rozróżnić dwie rzeczy. Again, I’m making much weaker claims here than I believe, to distinguish between two things. 17:24 W inżynierii oprogramowania jesteśmy już prawie u celu. We're already almost there for software engineering. 17:27 – Według jakiej miary? By what metric? 17:28 Jedna miara to liczba linii kodu napisanych przez AI. There's one metric which is how many lines of code are written by AI. 17:32 Ale jeśli spojrzeć na inne skoki produktywności w historii inżynierii oprogramowania – kompilatory piszą wszystkie linie oprogramowania. If you consider other productivity improvements in the history of software engineering, compilers write all the lines of software. 17:39 Czym innym jest liczba napisanych linii, a czym innym skala wzrostu produktywności. There's a difference between how many lines are written and how big the productivity improvement is. 17:44 „Jesteśmy prawie u celu”, czyli… jak duży jest wzrost produktywności, a nie tylko ile linii pisze AI? "We’re almost there" meaning… How big is the productivity improvement, not just how many lines are written by AI? 17:51 – Właściwie się z tobą zgadzam. I actually agree with you on this. 17:53 Postawiłem serię prognoz dotyczących kodu i inżynierii oprogramowania. I've made a series of predictions on code and software engineering. 17:59 Myślę, że ludzie wielokrotnie je źle rozumieli. I think people have repeatedly misunderstood them. 18:03 Pozwól, że rozłożę to spektrum. Let me lay out the spectrum. 18:06 Jakieś osiem, dziewięć miesięcy temu powiedziałem, że za trzy do sześciu miesięcy model AI będzie pisał 90% linii kodu. About eight or nine months ago, I said the AI model will be writing 90% of the lines of code in three to six months. 18:16 To się stało, przynajmniej w niektórych miejscach. That happened, at least at some places. 18:19 Stało się w Anthropic i u wielu ludzi dalej w łańcuchu, którzy używają naszych modeli. It happened at Anthropic, happened with many people downstream using our models. 18:23 Ale to w gruncie rzeczy bardzo słabe kryterium. But that's actually a very weak criterion. 18:27 Ludzie myśleli, że mówię, że nie będziemy potrzebować 90% inżynierów oprogramowania. People thought I was saying that we won't need 90% of the software engineers. 18:31 Tych dwóch rzeczy dzielą lata świetlne. Those things are worlds apart. 18:34 Spektrum wygląda tak: 90% kodu pisze model, 100% kodu pisze model. The spectrum is: 90% of code is written by the model, 100% of code is written by the model. 18:41 To duża różnica w produktywności. That's a big difference in productivity. 18:43 Modele wykonują 90% całościowych zadań inżynierskich – łącznie z kompilacją, stawianiem klastrów i środowisk, testowaniem funkcji, pisaniem memoriałów. 90% of the end-to-end SWE tasks — including things like compiling, setting up clusters and environments, testing features, writing memos — are done by the models. 18:57 Modele wykonują 100% dzisiejszych zadań inżynierskich. 100% of today's SWE tasks are done by the models. 19:02 Nawet gdy to nastąpi, nie znaczy to, że inżynierowie oprogramowania stracą pracę. Even when that happens, it doesn't mean software engineers are out of a job. 19:05 Są nowe zadania wyższego poziomu, którymi mogą się zająć – mogą zarządzać. There are new higher-level things they can do, where they can manage. 19:10 Dalej na tym spektrum jest 90% mniejszy popyt na inżynierów – myślę, że to nastąpi, ale to jest spektrum. Then further down the spectrum, there's 90% less demand for SWEs, which I think will happen but this is a spectrum. 19:19 Pisałem o tym w „The Adolescence of Technology”, gdzie przeszedłem przez takie spektrum na przykładzie rolnictwa. I wrote about it in "The Adolescence of Technology" where I went through this kind of spectrum with farming. 19:26 – W tym akurat w pełni się z tobą zgadzam. I actually totally agree with you on that. 19:29 To bardzo różne od siebie progi, ale przechodzimy przez nie piekielnie szybko. These are very different benchmarks from each other, but we're proceeding through them super fast. 19:34 Częścią twojej wizji jest to, że przejście od 90 do 100 nastąpi szybko i przyniesie ogromny wzrost produktywności. Part of your vision is that going from 90 to 100 is going to happen fast, and that it leads to huge productivity improvements. 19:45 Ale zauważam, że nawet w projektach od zera ludzie zaczynają od Claude Code czy czegoś podobnego, mówią, że zaczynają mnóstwo projektów… Czy widzimy tam, w świecie, renesans But what I notice is that even in greenfield projects people start with Claude Code or something, people report starting a lot of projects… Do we see in the world out there a renaissance 19:55 oprogramowania, te wszystkie nowe funkcje, których inaczej by nie było? of software, all these new features that wouldn't exist otherwise? 19:57 Przynajmniej na razie chyba tego nie widać. At least so far, it doesn't seem like we see that. 20:00 I to każe mi się zastanowić. So that does make me wonder. 20:02 Nawet gdybym nigdy nie musiał ingerować w pracę Claude Code – świat jest skomplikowany. Even if I never had to intervene with Claude Code, the world is complicated. 20:09 Praca jest skomplikowana. Jobs are complicated. 20:10 Domknięcie pętli w samodzielnych systemach, czy to samo pisanie oprogramowania, czy coś innego – na ile szersze korzyści dałoby samo to? Closing the loop on self-contained systems, whether it’s just writing software or something, how much broader gains would we see just from that? 20:20 Może to powinno studzić nasze szacunki co do „kraju geniuszy”. Maybe that should dilute our estimation of the "country of geniuses". 20:27 – Zgadzam się z tobą, że to jeden z powodów, dla których te rzeczy nie dzieją się natychmiast, ale jednocześnie uważam, że efekt będzie bardzo szybki. I simultaneously agree with you that it's a reason why these things don't happen instantly, but at the same time, I think the effect is gonna be very fast. 20:41 Można wskazać dwa bieguny. You could have these two poles. 20:42 Jeden: AI nie będzie robić postępów. One is that AI is not going to make progress. 20:47 Idzie wolno. Upowszechnienie w gospodarce zajmie wieki. It's slow. It's going to take forever to diffuse within the economy. 20:52 „Upowszechnianie w gospodarce” stało się jednym z tych modnych haseł, którymi tłumaczy się, że AI nie zrobi postępów albo że jej postęp nie ma znaczenia. Economic diffusion has become one of these buzzwords that's a reason why we're not going to make AI progress, or why AI progress doesn't matter. 21:00 Drugi biegun: dojdziemy do rekurencyjnego samodoskonalenia i tak dalej. The other axis is that we'll get recursive self-improvement, the whole thing. 21:05 Czy nie wystarczy narysować na wykresie wykładniczej linii? Can't you just draw an exponential line on the curve? 21:08 Będziemy mieć sfery Dysona wokół Słońca tyle a tyle nanosekund po tym, jak dojdziemy do rekurencji. We're going to have Dyson spheres around the sun so many nanoseconds after we get recursive. 21:18 Karykaturuję tu te poglądy, ale istnieją te dwie skrajności. I'm completely caricaturing the view here, but there are these two extremes. 21:23 Tymczasem od samego początku – przynajmniej jeśli spojrzeć na Anthropic – widzimy ten dziwaczny, dziesięciokrotny roczny wzrost przychodów. But what we've seen from the beginning, at least if you look within Anthropic, there's this bizarre 10x per year growth in revenue that we've seen. 21:34 W 2023 roku od zera do 100 mln dolarów. So in 2023, it was zero to $100 million. 21:38 W 2024 od 100 mln do 1 mld dolarów. In 2024, it was $100 million to $1 billion. 21:40 W 2025 od 1 mld do 9–10 mld dolarów. In 2025, it was $1 billion to $ 9-10 billion. 21:46 – Trzeba było po prostu kupić własnych produktów za miliard dolarów, żeby… – A w pierwszym miesiącu tego roku ta wykładnicza… You guys should have just bought a billion dollars of your own products so you could just… And the first month of this year, that exponential is... 21:53 Można by sądzić, że zwolni, ale w styczniu dołożyliśmy do przychodów kolejne kilka miliardów. You would think it would slow down, but we added another few billion to revenue in January. 22:05 Oczywiście ta krzywa nie może rosnąć w nieskończoność. Obviously that curve can't go on forever. 22:08 PKB ma swoje granice. The GDP is only so large. 22:10 Zgaduję nawet, że w tym roku nieco się wygnie, ale to szybka krzywa. I would even guess that it bends somewhat this year, but that is a fast curve. 22:18 Naprawdę bardzo szybka krzywa. That's a really fast curve. 22:21 Założę się, że pozostanie dość szybka, nawet gdy skala obejmie całą gospodarkę. I would bet it stays pretty fast even as the scale goes to the entire economy. 22:25 Myślę więc, że powinniśmy myśleć o tym środkowym świecie, w którym wszystko dzieje się niezwykle szybko, ale nie natychmiast – zajmuje czas z powodu upowszechniania w gospodarce, So I think we should be thinking about this middle world where things are extremely fast, but not instant, where they take time because of economic diffusion, 22:37 z powodu potrzeby domknięcia pętli. because of the need to close the loop. 22:39 Bo to jest żmudne: „Muszę przeprowadzić zarządzanie zmianą w firmie… Ustawiłem to, ale muszę zmienić uprawnienia bezpieczeństwa, żeby to faktycznie działało… Because it's fiddly: "I have to do change management within my enterprise… I set this up, but I have to change the security permissions on this in order to make it actually work… I 22:55 Miałem stary program, który sprawdza model przed kompilacją i wydaniem, i muszę go przepisać. had this old piece of software that checks the model before it's compiled and released and I have to rewrite it. 23:03 Tak, model może to zrobić, ale muszę mu to zlecić. Yes, the model can do that, but I have to tell the model to do that. 23:07 To musi zająć czas”. It has to take time to do that." 23:09 Uważam więc, że wszystko, co dotąd widzieliśmy, jest zgodne z ideą, że jest jedna szybka wykładnicza – możliwości modelu. So I think everything we've seen so far is compatible with the idea that there's one fast exponential that's the capability of the model. 23:20 A za nią idzie druga szybka wykładnicza – upowszechnianie modelu w gospodarce. Then there's another fast exponential that's downstream of that, which is the diffusion of the model into the economy. 23:26 Nie natychmiastowe, nie powolne, dużo szybsze niż przy jakiejkolwiek wcześniejszej technologii, ale ma swoje granice. Not instant, not slow, much faster than any previous technology, but it has its limits. 23:37 Gdy patrzę do wnętrza Anthropic, gdy patrzę na naszych klientów: szybka adopcja, ale nie nieskończenie szybka. When I look inside Anthropic, when I look at our customers: fast adoption, but not infinitely fast. 23:44 – Mogę cię sprowokować kontrowersyjną tezą? Can I try a hot take on you? 23:45 – Jasne. – Mam wrażenie, że „upowszechnianie” to wymówka, którą ludzie się pocieszają. Yeah. I feel like diffusion is cope that people say. 23:48 Gdy model czegoś nie umie, mówią: „A, ale to kwestia upowszechniania”. When the model isn't able to do something, they're like, "oh, but it's a diffusion issue." 23:53 Tyle że wtedy trzeba porównać to z ludźmi. But then you should use the comparison to humans. 23:56 Można by sądzić, że wrodzone przewagi AI sprawią, że wdrożenie nowej AI będzie dużo łatwiejsze niż wdrożenie nowego człowieka. You would think that the inherent advantages that AIs have would make diffusion a much easier problem for new AIs getting onboarded than new humans getting onboarded. 24:05 AI może w kilka minut przeczytać cały twój Slack i dysk. An AI can read your entire Slack and your drive in minutes. 24:08 Może przejąć całą wiedzę, którą mają inne kopie tej samej instancji. They can share all the knowledge that the other copies of the same instance have. 24:12 Zatrudniając AI, nie masz problemu negatywnej selekcji – możesz po prostu zatrudnić kopie sprawdzonego modelu. You don't have this adverse selection problem when you're hiring AI, so you can just hire copies of a vetted AI model. 24:17 Zatrudnienie człowieka to dużo większy kłopot. Hiring a human is so much more of a hassle. 24:20 A ludzie cały czas zatrudniają ludzi. People hire humans all the time. 24:21 Płacimy ludziom ponad 50 bln dolarów w pensjach, bo są użyteczni, choć w zasadzie dużo łatwiej byłoby włączyć AI do gospodarki niż zatrudniać ludzi. We pay humans upwards of $50 trillion in wages because they're useful, even though in principle it would be much easier to integrate AIs into the economy than it is to hire humans. 24:32 Upowszechnianie tego tak naprawdę nie wyjaśnia. The diffusion doesn't really explain. 24:34 – Uważam, że upowszechnianie jest jak najbardziej realne i nie wynika wyłącznie z ograniczeń modeli AI. I think diffusion is very real and doesn't exclusively have to do with limitations on the AI models. 24:46 Powtórzę: są ludzie, którzy używają „upowszechniania” jako modnego hasła, żeby powiedzieć, że to nic wielkiego. Again, there are people who use diffusion as kind of a buzzword to say this isn't a big deal. 24:52 Nie o tym mówię. I'm not talking about that. 24:53 Nie mówię, że AI będzie się upowszechniać w tempie wcześniejszych technologii. I'm not talking about how AI will diffuse at the speed of previous technologies. 24:57 Uważam, że AI upowszechni się dużo szybciej niż wcześniejsze technologie, ale nie nieskończenie szybko. I think AI will diffuse much faster than previous technologies have, but not infinitely fast. 25:04 Dam przykład. I'll just give an example of this. 25:05 Jest Claude Code. There's Claude Code. 25:07 Claude Code niezwykle łatwo skonfigurować. Claude Code is extremely easy to set up. 25:10 Jeśli jesteś programistą, możesz po prostu zacząć go używać. If you're a developer, you can just start using Claude Code. 25:13 Nie ma żadnego powodu, dla którego programista w dużej korporacji nie miałby wdrażać Claude Code tak szybko jak niezależny programista albo programista w startupie. There is no reason why a developer at a large enterprise should not be adopting Claude Code as quickly as an individual developer or developer at a startup. 25:24 Robimy wszystko, co możemy, żeby go promować. We do everything we can to promote it. 25:28 Sprzedajemy Claude Code firmom. We sell Claude Code to enterprises. 25:30 Duże przedsiębiorstwa, duże firmy finansowe, duże koncerny farmaceutyczne – wszystkie wdrażają Claude Code dużo szybciej, niż firmy zwykle wdrażają nowe technologie. Big enterprises, big financial companies, big pharmaceutical companies, all of them are adopting Claude Code much faster than enterprises typically adopt new technology. 25:45 Ale, powtarzam, to wymaga czasu. But again, it takes time. 25:49 Każda funkcja czy produkt, jak Claude Code albo Cowork, zostanie przyjęty przez niezależnych programistów, którzy nie wychodzą z Twittera, przez startupy po serii A, Any given feature or any given product, like Claude Code or Cowork, will get adopted by the individual developers who are on Twitter all the time, by the Series A startups, 26:01 wiele miesięcy szybciej niż przez dużą korporację, która handluje żywnością. many months faster than they will get adopted by a large enterprise that does food sales. 26:11 Po prostu wchodzi w grę wiele czynników. There are just a number of factors. 26:13 Trzeba przejść przez dział prawny, trzeba udostępnić to wszystkim. You have to go through legal, you have to provision it for everyone. 26:17 Musi przejść kontrolę bezpieczeństwa i zgodności. It has to pass security and compliance. 26:20 Liderzy firmy, którzy są dalej od rewolucji AI, patrzą w przyszłość, ale muszą sobie powiedzieć: „Dobra, ma sens, żebyśmy wydali 50 milionów. The leaders of the company who are further away from the AI revolution are forward-looking, but they have to say, "Oh, it makes sense for us to spend 50 million. 26:31 Tym jest ten cały Claude Code. This is what this Claude Code thing is. 26:33 Dlatego pomaga naszej firmie. This is why it helps our company. 26:34 Dlatego zwiększa naszą produktywność”. This is why it makes us more productive." 26:36 Potem muszą to wytłumaczyć ludziom dwa szczeble niżej. Then they have to explain to the people two levels below. 26:39 Muszą powiedzieć: „Dobrze, mamy 3000 programistów. They have to say, "Okay, we have 3,000 developers. 26:42 Tak wdrożymy to u naszych programistów”. Here's how we're going to roll it out to our developers." 26:45 Takie rozmowy prowadzimy codziennie. We have conversations like this every day. 26:48 Robimy wszystko, żeby przychody Anthropic rosły 20 czy 30 razy rocznie, a nie 10 razy. We are doing everything we can to make Anthropic's revenue grow 20 or 30x a year instead of 10x a year. 26:57 I znowu: wiele firm po prostu mówi: „To jest tak produktywne, Again, many enterprises are just saying, "This is so productive. 27:02 że pójdziemy na skróty w naszej zwykłej procedurze zakupowej”. We're going to take shortcuts in our usual procurement process." 27:04 Działają dużo szybciej niż wtedy, gdy próbowaliśmy im sprzedać samo zwykłe API, z którego zresztą wiele z nich korzysta. They're moving much faster than when we tried to sell them just the ordinary API, which many of them use. 27:10 Claude Code to bardziej przekonujący produkt, ale nie nieskończenie przekonujący. Claude Code is a more compelling product, but it's not an infinitely compelling product. 27:15 Nie sądzę, żeby nawet AGI, potężna AI czy „kraj geniuszy w centrum danych” były nieskończenie przekonującym produktem. I don't think even AGI or powerful AI or "country of geniuses in a data center" will be an infinitely compelling product. 27:22 Będą produktem na tyle przekonującym, żeby dać może 3–5-krotny albo 10-krotny wzrost rocznie, nawet przy setkach miliardów dolarów, It will be a compelling product enough maybe to get 3-5x, or 10x, a year of growth, even when you're in the hundreds of billions of dollars, 27:29 co jest niezwykle trudne i nigdy wcześniej w historii się nie udało – ale nie nieskończenie szybko. which is extremely hard to do and has never been done in history before, but not infinitely fast. 27:34 – Kupuję to, że byłoby to lekkie spowolnienie. I buy that it would be a slight slowdown. 27:36 Może to nie twoja teza, ale czasem ludzie mówią coś w stylu: „Możliwości już są, tylko przez upowszechnianie… Maybe this is not your claim, but sometimes people talk about this like, "Oh, the capabilities are there, but because of diffusion... 27:43 poza tym w zasadzie mamy już AGI”. otherwise we're basically at AGI". 27:46 – Nie uważam, że w zasadzie mamy już AGI. I don't believe we're basically at AGI. 27:48 Myślę, że gdybyś miał „kraj geniuszy w centrum danych”… I think if you had the "country of geniuses in a data center"... 27:50 Gdybyśmy mieli „kraj geniuszy w centrum danych”, wiedzielibyśmy o tym. If we had the "country of geniuses in a data center", we would know it. 27:55 Wiedzielibyśmy, gdyby istniał „kraj geniuszy w centrum danych”. We would know it if you had the "country of geniuses in a data center". 27:59 Wiedziałby o tym każdy na tej sali. Everyone in this room would know it. 28:01 Wiedziałby każdy w Waszyngtonie. Everyone in Washington would know it. 28:04 Ludzie na prowincji mogliby nie wiedzieć, ale my byśmy wiedzieli. People in rural parts might not know it, but we would know it. 28:10 Teraz tego nie mamy. We don't have that now. 28:11 To jest zupełnie jasne. That is very clear. 03 · 29:42 Czy potrzebne jest ciągłe uczenie się?29:42 Wracając do konkretnych prognoz… Jest tu tyle rzeczy do rozróżnienia, że łatwo się minąć w rozmowie, kiedy mówimy o możliwościach. Coming back to concrete prediction… Because there are so many different things to disambiguate, it can be easy to talk past each other when we're talking about capabilities. 29:50 Na przykład, kiedy rozmawiałem z tobą trzy lata temu, zapytałem cię, czego powinniśmy się spodziewać za trzy lata. For example, when I interviewed you three years ago, I asked you a prediction about what we should expect three years from now. 29:56 Miałeś rację. You were right. 29:57 Powiedziałeś: „Powinniśmy się spodziewać systemów, których po godzinie rozmowy trudno odróżnić od ogólnie dobrze wykształconego człowieka”. You said, "We should expect systems which, if you talk to them for the course of an hour, it's hard to tell them apart from a generally well-educated human." 30:05 Myślę, że to się sprawdziło. I think you were right about that. 30:07 Ale w głębi duszy czuję niedosyt, bo wewnętrznie oczekiwałem, że taki system zautomatyzuje dużą część pracy umysłowej. I think spiritually I feel unsatisfied because my internal expectation was that such a system could automate large parts of white-collar work. 30:16 Więc może sensowniej będzie mówić o tym, jakich docelowych możliwości od takiego systemu oczekujesz. So it might be more productive to talk about the actual end capabilities you want from such a system. 30:21 – Powiem ci w zasadzie, gdzie moim zdaniem jesteśmy. I will basically tell you where I think we are. 30:26 – Pozwól, że zadam bardzo konkretne pytanie, żebyśmy ustalili, o jakich dokładnie możliwościach powinniśmy myśleć w najbliższym czasie. Let me ask a very specific question so that we can figure out exactly what kinds of capabilities we should think about soon. 30:31 Zapytam może w kontekście pracy, którą dobrze rozumiem – nie dlatego, że jest najważniejsza, ale dlatego, że potrafię ocenić twierdzenia na jej temat. Maybe I'll ask about it in the context of a job I understand well, not because it's the most relevant job, but just because I can evaluate the claims about it. 30:40 Weźmy montażystów wideo. Take video editors. 30:41 Zatrudniam montażystów. I have video editors. 30:43 Część ich pracy polega na poznawaniu preferencji naszej widowni, moich preferencji i gustu oraz różnych kompromisów, jakie podejmujemy. Part of their job involves learning about our audience's preferences, learning about my preferences and tastes, and the different trade-offs we have. 30:50 Przez wiele miesięcy budują to zrozumienie kontekstu. They’re, over the course of many months, building up this understanding of context. 30:55 Umiejętności, które mają po pół roku pracy – model, który nabywa je w locie, w trakcie pracy: kiedy możemy się spodziewać takiego systemu AI? The skill and ability they have six months into the job, a model that can pick up that skill on the job on the fly, when should we expect such an AI system? 31:04 – Rozumiem, że chodzi ci o to, że nagrywamy ten wywiad przez trzy godziny. I guess what you're talking about is that we're doing this interview for three hours. 31:09 Ktoś przyjdzie i to zmontuje. Someone's going to come in, someone's going to edit it. 31:11 Pomyśli sobie: „O, Dario podrapał się po głowie, to możemy wyciąć”. They're going to be like, "Oh, I don't know, Dario scratched his head and we could edit that out." 31:18 „Tu zrobić zbliżenie”. „Była taka długa dyskusja, która mniej ludzi zainteresuje. "Magnify that." "There was this long discussion that is less interesting to people. 31:25 A tu jest coś ciekawszego, więc zróbmy takie cięcie”. There's another thing that's more interesting to people, so let's make this edit." 31:31 Myślę, że „kraj geniuszy w centrum danych” będzie w stanie to zrobić. I think the "country of geniuses in a data center" will be able to do that. 31:35 A zrobi to w ten sposób, że będzie miał ogólną kontrolę nad ekranem komputera. The way it will be able to do that is it will have general control of a computer screen. 31:41 Będziesz mógł mu to wrzucić. You'll be able to feed this in. 31:43 Będzie też mógł przez ekran komputera wejść do sieci, obejrzeć wszystkie twoje poprzednie wywiady, sprawdzić, co ludzie piszą o nich na Twitterze, It'll be able to also use the computer screen to go on the web, look at all your previous interviews, look at what people are saying on Twitter in response to your interviews, 31:53 porozmawiać z tobą, zadać ci pytania, porozmawiać z twoim zespołem, przejrzeć historię twoich montaży – i na tej podstawie wykonać pracę. talk to you, ask you questions, talk to your staff, look at the history of edits that you did, and from that, do the job. 32:02 Myślę, że to zależy od kilku rzeczy. I think that's dependent on several things. 32:06 Uważam, że to jedna z rzeczy, które faktycznie blokują wdrożenia: dojście do punktu, w którym modele naprawdę mistrzowsko obsługują komputer. I think this is one of the things that's actually blocking deployment: getting to the point on computer use where the models are really masters at using the computer. 32:16 Widzimy wzrost w benchmarkach, a benchmarki zawsze są niedoskonałą miarą. Ale We've seen this climb in benchmarks, and benchmarks are always imperfect measures. But 32:26 kiedy rok i kwartał temu po raz pierwszy wypuściliśmy obsługę komputera, OSWorld był na poziomie może 15%. I think when we first released computer use a year and a quarter ago, OSWorld was at maybe 15%. 32:33 Nie pamiętam dokładnie, ale od tamtej pory doszliśmy do 65–70%. I don't remember exactly, but we've climbed from that to 65-70%. 32:40 Mogą być też trudniejsze miary, ale myślę, że obsługa komputera musi przekroczyć pewien próg niezawodności. There may be harder measures as well, but I think computer use has to pass a point of reliability. 32:45 – Mogę dopytać, zanim przejdziesz do następnego punktu? Can I just follow up on that before you move on to the next point? 32:49 Od lat próbuję budować dla siebie różne wewnętrzne narzędzia oparte na LLM-ach. For years, I've been trying to build different internal LLM tools for myself. 32:54 Często mam zadania typu „tekst na wejściu, tekst na wyjściu”, które powinny być w samym centrum repertuaru tych modeli. Often I have these text-in, text-out tasks, which should be dead center in the repertoire of these models. 33:01 A mimo to wciąż zatrudniam do nich ludzi. Yet I still hire humans to do them. 33:03 Jeśli to coś w stylu „wskaż najlepsze fragmenty w tym transkrypcie”, LLM-y radzą sobie może na siedem na dziesięć. If it's something like, "identify what the best clips would be in this transcript", maybe the LLMs do a seven-out-of-ten job on them. 33:09 Ale nie mam sposobu, żeby na bieżąco z nimi pracować i pomagać im stawać się lepszymi w tej pracy, tak jak mógłbym z pracownikiem. But there's not this ongoing way I can engage with them to help them get better at the job the way I could with a human employee. 33:16 Brak tej zdolności, nawet jeśli rozwiążecie obsługę komputera, nadal nie pozwoli mi oddać im prawdziwej pracy. That missing ability, even if you solve computer use, would still block my ability to offload an actual job to them. 33:24 – To wraca do tego, o czym mówiliśmy wcześniej – o uczeniu się w trakcie pracy. This gets back to what we were talking about before with learning on the job. 33:30 To bardzo ciekawe. It's very interesting. 33:31 Przy agentach do kodowania nie sądzę, żeby ludzie twierdzili, że to brak uczenia się w trakcie pracy powstrzymuje je przed robieniem wszystkiego od początku do końca. I think with the coding agents, I don't think people would say that learning on the job is what is preventing the coding agents from doing everything end to end. 33:43 Ciągle są coraz lepsze. They keep getting better. 33:44 Mamy w Anthropic inżynierów, którzy w ogóle nie piszą kodu. We have engineers at Anthropic who don't write any code. 33:49 Jeśli chodzi o produktywność – wracając do twojego wcześniejszego pytania – mamy ludzi, którzy mówią: „Ten kernel GPU, ten chip – kiedyś pisałem to sam. When I look at the productivity, to your previous question, we have folks who say, "This GPU kernel, this chip, I used to write it myself. 33:57 Teraz po prostu robi to Claude”. I just have Claude do it." 34:00 To ogromny wzrost produktywności. There's this enormous improvement in productivity. 34:04 Kiedy patrzę na Claude Code, znajomość bazy kodu czy poczucie, że model nie przepracował roku w firmie, nie są wysoko na liście skarg, które widzę. When I see Claude Code, familiarity with the codebase or a feeling that the model hasn't worked at the company for a year, that's not high up on the list of complaints I see. 34:18 Chcę powiedzieć, że idziemy trochę inną drogą. I think what I'm saying is that we're kind of taking a different path. 34:22 – Nie sądzisz, że w kodowaniu to dlatego, że istnieje zewnętrzne rusztowanie pamięci, ucieleśnione w samej bazie kodu? Don't you think with coding that's because there is an external scaffold of memory which exists instantiated in the codebase? 34:28 Nie wiem, ile innych zawodów to ma. I don't know how many other jobs have that. 34:30 Kodowanie zrobiło szybkie postępy właśnie dlatego, że ma tę wyjątkową przewagę, której nie ma inna działalność gospodarcza. Coding made fast progress precisely because it has this unique advantage that other economic activity doesn't. 34:37 – Ale mówiąc to, sugerujesz, że wczytując bazę kodu do kontekstu, mam wszystko, czego człowiek musiałby się nauczyć w pracy. But when you say that, what you're implying is that by reading the codebase into the context, I have everything that the human needed to learn on the job. 34:47 To byłby więc przykład – czy jest to zapisane, czy nie, czy dostępne, czy nie – sytuacji, w której wszystko, co trzeba wiedzieć, dostajesz z okna kontekstu. So that would be an example of—whether it's written or not, whether it's available or not—a case where everything you needed to know you got from the context window. 35:00 To, co uważamy za uczenie się – „zacząłem tę pracę, pół roku zajmie mi zrozumienie bazy kodu” – model po prostu zrobił w kontekście. What we think of as learning—"I started this job, it's going to take me six months to understand the code base"—the model just did it in the context. 35:08 – Szczerze nie wiem, jak o tym myśleć, bo są ludzie, którzy jakościowo opisują to samo co ty. I honestly don't know how to think about this because there are people who qualitatively report what you're saying. 35:15 Pewnie widziałeś w zeszłym roku duże badanie, w którym doświadczeni programiści próbowali zamykać pull requesty w znanych sobie repozytoriach. I'm sure you saw last year, there was a major study where they had experienced developers try to close pull requests in repositories that they were familiar with. 35:26 Ci programiści zgłaszali poprawę. Those developers reported an uplift. 35:29 Mówili, że czują się bardziej produktywni, korzystając z tych modeli. They reported that they felt more productive with the use of these models. 35:31 Ale gdy spojrzeć na ich wyniki i na to, ile faktycznie zostało scalone, okazało się, że wydajność spadła o 20%. But in fact, if you look at their output and how much was actually merged back in, there was a 20% downlift. 35:36 Używając tych modeli, byli mniej produktywni. They were less productive as a result of using these models. 35:38 Próbuję więc pogodzić subiektywne odczucia ludzi korzystających z tych modeli z tym, że: po pierwsze, w skali makro – gdzie jest ten renesans oprogramowania? So I'm trying to square the qualitative feeling that people feel with these models versus, 1) in a macro level, where is this renaissance of software? 35:46 A po drugie: dlaczego w niezależnych ocenach nie widać korzyści dla produktywności, jakich byśmy się spodziewali? And then 2) when people do these independent evaluations, why are we not seeing the productivity benefits we would expect? 35:53 – W Anthropic to jest po prostu zupełnie jednoznaczne. Within Anthropic, this is just really unambiguous. 35:56 Jesteśmy pod niesamowitą presją komercyjną i jeszcze sobie utrudniamy, bo robimy całą tę pracę nad bezpieczeństwem – moim zdaniem więcej niż inne firmy. We're under an incredible amount of commercial pressure and make it even harder for ourselves because we have all this safety stuff we do that I think we do more than other companies. 36:07 Presja, żeby przetrwać ekonomicznie i jednocześnie zachować nasze wartości, jest po prostu niesamowita. The pressure to survive economically while also keeping our values is just incredible. 36:14 Próbujemy utrzymać tę krzywą dziesięciokrotnego wzrostu przychodów. We're trying to keep this 10x revenue curve going. 36:18 Nie ma ani chwili na bzdury. There is zero time for bullshit. 36:20 Nie ma ani chwili na poczucie, że jesteśmy produktywni, kiedy nie jesteśmy. There is zero time for feeling like we're productive when we're not. 36:25 Te narzędzia czynią nas dużo bardziej produktywnymi. These tools make us a lot more productive. 36:30 Jak myślisz, dlaczego martwi nas, że konkurenci używają tych narzędzi? Why do you think we're concerned about competitors using the tools? 36:33 Bo uważamy, że jesteśmy przed konkurencją. Because we think we're ahead of the competitors. 36:39 Nie zadawalibyśmy sobie tyle trudu, gdyby to po cichu obniżało naszą produktywność. We wouldn't be going through all this trouble if this were secretly reducing our productivity. 36:46 Co kilka miesięcy widzimy końcową produktywność w postaci premier modeli. We see the end productivity every few months in the form of model launches. 36:52 Tu nie da się oszukiwać samego siebie. There's no kidding yourself about this. 36:54 Modele zwiększają produktywność. The models make you more productive. 36:57 – Po pierwsze, to, że ludzie czują się produktywni, jest jakościowo przewidywane przez takie badania. 1) People feeling like they're productive is qualitatively predicted by studies like this. 37:02 Ale po drugie, jeśli spojrzę tylko na efekt końcowy, to oczywiście robicie szybkie postępy. But 2) if I just look at the end output, obviously you guys are making fast progress. 37:06 Tylko że idea miała być taka, że dzięki rekurencyjnemu samodoskonaleniu robisz lepsze AI, to AI pomaga zbudować kolejne, lepsze AI i tak dalej, But the idea was supposed to be that with recursive self-improvement, you make a better AI, the AI helps you build a better next AI, et cetera, 37:15 i tak dalej. A zamiast tego widzę – patrząc na was, OpenAI, DeepMind – że co kilka miesięcy ktoś inny wskakuje na podium. et cetera. What I see instead—if I look at you, OpenAI, DeepMind—is that people are just shifting around the podium every few months. 37:22 Może uważasz, że to się skończy, bo wygraliście czy coś. Maybe you think that stops because you've won or whatever. 37:24 Ale dlaczego ten, kto ma najlepszy model do kodowania, nie ma trwałej przewagi, skoro ostatni model do kodowania faktycznie daje tak ogromne zyski produktywności? But why are we not seeing the person with the best coding model have this lasting advantage if in fact there are these enormous productivity gains from the last coding model. 37:38 – Mój model tej sytuacji jest taki, że jest przewaga, która stopniowo rośnie. I think my model of the situation is that there's an advantage that's gradually growing. 37:44 Powiedziałbym, że obecnie modele do kodowania dają może – nie wiem – 15–20% przyspieszenia łącznej produktywności czynników. I would say right now the coding models give maybe, I don't know, a 15-20% total factor speed up. 37:55 Takie jest moje zdanie. That's my view. 37:58 Pół roku temu było to może 5%. Six months ago, it was maybe 5%. 38:01 Więc nie miało to znaczenia. So it didn't matter. 38:02 5% nie robi różnicy. 5% doesn't register. 38:03 Teraz dochodzi to do punktu, w którym jest jednym z kilku czynników, które mają jakieś znaczenie. It's now just getting to the point where it's one of several factors that kind of matters. 38:09 I to będzie dalej przyspieszać. That's going to keep speeding up. 38:12 Myślę, że pół roku temu kilka firm było mniej więcej w tym samym miejscu, bo to nie był istotny czynnik, I think six months ago, there were several companies that were at roughly the same point because this wasn't a notable factor, 38:23 ale teraz zaczyna to przyspieszać coraz bardziej. but I think it's starting to speed up more and more. 38:25 Dodałbym też, że kilka firm tworzy modele używane do kodowania, a my nie do końca skutecznie powstrzymujemy niektóre z tych firm przed wewnętrznym używaniem naszych modeli. I would also say there are multiple companies that write models that are used for code and we're not perfectly good at preventing some of these other companies from using our models internally. 38:41 Więc myślę, że wszystko, co widzimy, jest zgodne z takim modelem kuli śnieżnej. So I think everything we're seeing is consistent with this kind of snowball model. 38:51 Znowu, mój motyw przewodni jest taki, że to wszystko jest łagodny start – łagodne, gładkie wykładnicze krzywe, choć te krzywe są dość strome. Again, my theme in all of this is all of this is soft takeoff, soft, smooth exponentials, although the exponentials are relatively steep. 39:03 Widzimy, jak ta kula śnieżna nabiera rozpędu: 10%, 20%, 25%, 40%. So we're seeing this snowball gather momentum where it's like 10%, 20%, 25%, 40%. 39:11 Po drodze, zgodnie z prawem Amdahla, trzeba usunąć wszystko, co przeszkadza w domknięciu pętli. As you go, Amdahl's law, you have to get all the things that are preventing you from closing the loop out of the way. 39:17 Ale to jeden z największych priorytetów w Anthropic. But this is one of the biggest priorities within Anthropic. 39:22 – Cofnijmy się. Wcześniej rozmawialiśmy o tym, kiedy pojawi się to uczenie się w trakcie pracy. Stepping back, before in the stack we were talking about when do we get this on-the-job learning? 39:29 Z tego, co mówiłeś o programowaniu, wynika chyba, że takie uczenie się w pracy wcale nie jest potrzebne. It seems like the point you were making on the coding thing is that we actually don't need on-the-job learning. 39:34 Można mieć ogromny wzrost produktywności, potencjalnie biliony dolarów przychodów dla firm AI, bez tej podstawowej ludzkiej zdolności uczenia się w trakcie pracy. You can have tremendous productivity improvements, you can have potentially trillions of dollars of revenue for AI companies, without this basic human ability to learn on the job. 39:41 Może nie to twierdzisz – doprecyzuj. Ale Maybe that's not your claim, you should clarify. But 39:49 w większości dziedzin gospodarki ludzie mówią: „Zatrudniłem kogoś, przez pierwsze miesiące nie był zbyt przydatny, a potem z czasem zbudował kontekst, in most domains of economic activity, people say, "I hired somebody, they weren't that useful for the first few months, and then over time they built up the context, 39:57 zrozumienie”. Właściwie trudno zdefiniować, o czym tu mówimy. understanding." It's actually hard to define what we're talking about here. 39:59 Ale coś zyskali, a teraz są siłą napędową i są dla nas niezwykle cenni. But they got something and then now they're a powerhorse and they're so valuable to us. 40:05 Jeśli AI nie wykształci tej zdolności uczenia się w locie, trochę wątpię, żebyśmy bez niej zobaczyli ogromne zmiany na świecie. If AI doesn't develop this ability to learn on the fly, I'm a bit skeptical that we're going to see huge changes to the world without that ability. 40:14 – Powiedziałbym tu dwie rzeczy. I think two things here. 40:16 Jest obecny stan technologii. There's the state of the technology right now. 40:20 Znów: mamy te dwa etapy. Again, we have these two stages. 40:22 Mamy etap pretreningu i uczenia ze wzmocnieniem (RL), w którym wrzucamy do modeli mnóstwo danych i zadań, a one potem generalizują. We have the pre-training and RL stage where you throw a bunch of data and tasks into the models and then they generalize. 40:29 To jest jak uczenie się, ale z większej ilości danych, a nie w ciągu życia jednego człowieka czy jednego modelu. So it's like learning, but it's like learning from more data and not learning over one human or one model's lifetime. 40:38 Więc znów: to coś pomiędzy ewolucją a ludzkim uczeniem się. So again, this is situated between evolution and human learning. 40:42 Ale kiedy już opanujesz te wszystkie umiejętności, to je masz. But once you learn all those skills, you have them. 40:45 Tak jak w pretreningu – modele po prostu wiedzą więcej. Model po pretreningu wie o historii samurajów w Japonii więcej niż ja. Just like with pre-training, just how the models know more, if I look at a pre-trained model, it knows more about the history of samurai in Japan than I do. 40:55 Wie więcej o baseballu niż ja. It knows more about baseball than I do. 40:58 Wie więcej o filtrach dolnoprzepustowych i elektronice, o tych wszystkich rzeczach. It knows more about low-pass filters and electronics, all of these things. 41:06 Jego wiedza jest dużo szersza niż moja. Its knowledge is way broader than mine. 41:08 Myślę więc, że już samo to może nas doprowadzić do punktu, w którym modele będą lepsze we wszystkim. So I think even just that may get us to the point where the models are better at everything. 41:18 Mamy też – znów, przy samym skalowaniu obecnego układu – uczenie się w kontekście. We also have, again, just with scaling the kind of existing setup, the in-context learning. 41:23 Opisałbym je jako coś w rodzaju ludzkiego uczenia się w pracy, tylko trochę słabsze i trochę krótkoterminowe. I would describe it as kind of like human on-the-job learning, but a little weaker and a little short term. 41:30 Patrzysz na uczenie w kontekście i jeśli dasz modelowi garść przykładów, to faktycznie łapie. You look at in-context learning and if you give the model a bunch of examples it does get it. 41:35 W kontekście zachodzi prawdziwe uczenie się. There's real learning that happens in context. 41:37 Milion tokenów to dużo. A million tokens is a lot. 41:40 To mogą być dni ludzkiej nauki. That can be days of human learning. 41:42 Pomyśl: model czyta milion słów. Ile mnie zajęłoby przeczytanie miliona? If you think about the model reading a million words, how long would it take me to read a million? 41:51 Co najmniej dni albo tygodnie. Days or weeks at least. 41:54 Mamy więc te dwie rzeczy. So you have these two things. 41:57 Myślę, że te dwie rzeczy w ramach obecnego paradygmatu mogą po prostu wystarczyć, by dojść do „kraju geniuszy w centrum danych”. I think these two things within the existing paradigm may just be enough to get you the "country of geniuses in a data center". 42:02 Nie wiem na pewno, ale sądzę, że dadzą nam sporą część tego. I don't know for sure, but I think they're going to get you a large fraction of it. 42:06 Mogą być luki, ale z pewnością uważam, że nawet w obecnym stanie to wystarczy, by generować biliony dolarów przychodów. There may be gaps, but I certainly think that just as things are, this is enough to generate trillions of dollars of revenue. 42:14 To jedno. Drugie to idea uczenia ciągłego – pojedynczego modelu, który uczy się w trakcie pracy. That's one. Two, is this idea of continual learning, this idea of a single model learning on the job. 42:24 Nad tym też pracujemy. I think we're working on that too. 42:26 Jest spora szansa, że w ciągu roku, dwóch i to rozwiążemy. There's a good chance that in the next year or two, we also solve that. 42:33 Znów: myślę, że bez tego da się przejść większość drogi. Again, I think you get most of the way there without it. 42:43 Rynek wart biliony dolarów rocznie, może wszystkie konsekwencje dla bezpieczeństwa narodowego i bezpieczeństwa AI, o których pisałem w „Adolescence of Technology”, mogą zajść bez tego. The trillions of dollars a year market, maybe all of the national security implications and the safety implications that I wrote about in "Adolescence of Technology" can happen without it. 42:51 Ale my – i zakładam, że inni też – nad tym pracujemy. But we, and I imagine others, are working on it. 42:57 Jest spora szansa, że dojdziemy do tego w ciągu najbliższego roku czy dwóch. There's a good chance that we will get there within the next year or two. 43:02 Pomysłów jest sporo. There are a bunch of ideas. 43:04 Nie będę wchodził we wszystkie szczegóły, ale jeden to po prostu wydłużenie kontekstu. I won't go into all of them in detail, but one is just to make the context longer. 43:09 Nic nie stoi na przeszkodzie, żeby dłuższe konteksty działały. There's nothing preventing longer contexts from working. 43:12 Trzeba po prostu trenować na dłuższych kontekstach, a potem nauczyć się je obsługiwać przy inferencji. You just have to train at longer contexts and then learn to serve them at inference. 43:16 Jedno i drugie to problemy inżynieryjne, nad którymi pracujemy, i zakładam, że inni też nad nimi pracują. Both of those are engineering problems that we are working on and I would assume others are working on them as well. 43:22 – Co do wydłużania kontekstu: wyglądało na to, że w latach 2020–2023, od GPT-3 do GPT-4 Turbo, długość kontekstu wzrosła z 2 tys. do 128 tys. This context length increase, it seemed like there was a period from 2020 to 2023 where from GPT-3 to GPT-4 Turbo, there was an increase from 2000 context lengths to 128K. 43:31 Mam wrażenie, że przez mniej więcej dwa lata od tamtej pory jesteśmy mniej więcej w tym samym rzędzie wielkości. I feel like for the two-ish years since then, we've been in the same-ish ballpark. 43:37 Gdy kontekst robi się dużo dłuższy, ludzie zgłaszają jakościowe pogorszenie zdolności modelu do uwzględnienia całego kontekstu. When context lengths get much longer than that, people report qualitative degradation in the ability of the model to consider that full context. 43:47 Ciekawi mnie więc, co widzicie wewnętrznie, że myślisz: „10 milionów, 100 milionów tokenów kontekstu, żeby uzyskać pół roku ludzkiej nauki i budowania kontekstu”. So I'm curious what you're internally seeing that makes you think, "10 million contexts, 100 million contexts to get six months of human learning and building context". 43:54 – To nie jest problem badawczy. This isn't a research problem. 43:55 To problem inżynierii i inferencji. This is an engineering and inference problem. 43:58 Jeśli chcesz obsługiwać długi kontekst, musisz przechowywać cały KV cache. If you want to serve long context, you have to store your entire KV cache. 44:06 Trudno zmieścić całą tę pamięć w GPU i nią żonglować. It's difficult to store all the memory in the GPUs, to juggle the memory around. 44:11 Nawet nie znam szczegółów. I don't even know the details. 44:13 To już poziom szczegółowości, za którym nie nadążam, choć w czasach GPT-3 go znałem. At this point, this is at a level of detail that I'm no longer able to follow, although I knew it in the GPT-3 era. 44:20 „To są wagi, to są aktywacje, które trzeba przechowywać…” Ale dziś wszystko się odwróciło, bo mamy modele MoE i tak dalej. "These are the weights, these are the activations you have to store…" But these days the whole thing is flipped because we have MoE models and all of that. 44:31 Co do tego pogorszenia, o którym mówisz – bez wchodzenia w szczegóły – są dwie rzeczy. Regarding this degradation you're talking about, without getting too specific, there's two things. 44:39 Jest długość kontekstu, na której trenujesz, i długość kontekstu, na której model obsługujesz. There's the context length you train at and there's a context length that you serve at. 44:43 Jeśli trenujesz na krótkim kontekście, a potem próbujesz obsługiwać długi, to być może pojawiają się te pogorszenia. If you train at a small context length and then try to serve at a long context length, maybe you get these degradations. 44:49 To lepsze niż nic, możesz to nadal oferować, ale pojawiają się te pogorszenia. It's better than nothing, you might still offer it, but you get these degradations. 44:52 Może trudniej jest trenować na długim kontekście. Maybe it's harder to train at a long context length. 44:56 – Chciałbym przy okazji zapytać o parę dygresji. I want to, at the same time, ask about maybe some rabbit holes. 45:01 Czy nie należałoby się spodziewać, że trening na dłuższym kontekście oznacza mniej próbek przy tej samej mocy obliczeniowej? Wouldn't you expect that if you had to train on longer context length, that would mean that you're able to get less samples in for the same amount of compute? 45:10 Może nie warto się w to zagłębiać. Maybe it's not worth diving deep on that. 45:12 Chcę dostać odpowiedź na pytanie o szerszy obraz. I want to get an answer to the bigger picture question. 45:18 Kiedy przestanę woleć ludzkiego montażystę, który pracuje dla mnie od pół roku, od AI, które pracuje ze mną od pół roku – I don't feel a preference for a human editor that's been working for me for six months versus an AI that's been working with me for six months, 45:27 w którym roku, twoim zdaniem, tak będzie? what year do you predict that that will be the case? 45:33 – Zgaduję, że jest mnóstwo problemów, które w zasadzie rozwiążemy, kiedy będziemy mieli „kraj geniuszy w centrum danych”. My guess for that is there's a lot of problems where basically we can do this when we have the "country of geniuses in a data center". 45:42 Gdybyś kazał mi zgadywać, to rok, dwa, może rok do trzech lat. My picture for that, if you made me guess, is one to two years, maybe one to three years. 45:49 Naprawdę trudno powiedzieć. It's really hard to tell. 45:51 Jestem mocno przekonany – na 99%, 95% – że to wszystko wydarzy się w ciągu 10 lat. I have a strong view—99%, 95%—that all this will happen in 10 years. 45:57 To po prostu bardzo bezpieczny zakład. I think that's just a super safe bet. 46:00 Mam przeczucie – to raczej 50 na 50 – że to będzie raczej rok, dwa, może raczej rok do trzech. I have a hunch—this is more like a 50/50 thing—that it's going to be more like one to two, maybe more like one to three. 46:06 – Czyli rok do trzech lat. So one to three years. 46:08 Kraj geniuszy i nieco mniej wartościowe ekonomicznie zadanie montażu wideo. Country of geniuses, and the slightly less economically valuable task of editing videos. 46:13 – Wydaje się dość wartościowe ekonomicznie, powiem ci. It seems pretty economically valuable, let me tell you. 46:16 Po prostu jest mnóstwo takich zastosowań. It's just there are a lot of use cases like that. 46:19 Jest wiele podobnych. There are a lot of similar ones. 04 · 46:20 Skoro AGI tuż-tuż, czemu nie kupić więcej mocy?46:20 – Czyli przewidujesz to w ciągu roku do trzech lat. So you're predicting that within one to three years. 46:23 A ogólnie Anthropic przewidywał, że do końca 2026 albo początku 2027 roku będziemy mieć systemy AI, które „potrafią obsługiwać interfejsy dostępne dziś ludziom wykonującym pracę cyfrową, And then, generally, Anthropic has predicted that by late '26 or early '27 we will have AI systems that "have the ability to navigate interfaces available to humans doing digital work today, 46:34 mają możliwości intelektualne dorównujące laureatom Nagrody Nobla lub je przewyższające i potrafią działać w świecie fizycznym”. intellectual capabilities matching or exceeding that of Nobel Prize winners, and the ability to interface with the physical world". 46:41 Dwa miesiące temu w wywiadzie dla DealBook podkreślałeś, że twoja firma skaluje moc obliczeniową odpowiedzialniej niż konkurencja. You gave an interview two months ago with DealBook where you were emphasizing your company's more responsible compute scaling as compared to your competitors. 46:50 Próbuję pogodzić te dwa poglądy. I'm trying to square these two views. 46:52 Jeśli naprawdę wierzysz, że będziemy mieć kraj geniuszy, chcesz jak największego centrum danych. If you really believe that we're going to have a country of geniuses, you want as big a data center as you can get. 46:58 Nie ma powodu zwalniać. There's no reason to slow down. 47:00 Rynek docelowy (TAM) noblisty, który faktycznie potrafi wszystko, co potrafi noblista, to biliony dolarów. The TAM of a Nobel Prize winner, that can actually do everything a Nobel Prize winner can do, is trillions of dollars. 47:06 Próbuję więc pogodzić tę ostrożność, która wydaje się racjonalna przy bardziej umiarkowanych horyzontach czasowych, z tym, co deklarujesz o postępie. So I'm trying to square this conservatism, which seems rational if you have more moderate timelines, with your stated views about progress. 47:16 – To wszystko się w rzeczywistości spina. It actually all fits together. 47:18 Wracamy do upowszechniania – szybkiego, ale nie nieskończenie szybkiego. We go back to this fast, but not infinitely fast, diffusion. 47:22 Powiedzmy, że robimy postępy w tym tempie. Let's say that we're making progress at this rate. 47:27 Technologia rozwija się tak szybko. The technology is making progress this fast. 47:29 Jestem bardzo mocno przekonany, że dojdziemy tam w ciągu kilku lat. I have very high conviction that we're going to get there within a few years. 47:38 Mam przeczucie, że dojdziemy tam w ciągu roku, dwóch. I have a hunch that we're going to get there within a year or two. 47:41 Jest więc trochę niepewności po stronie technicznej, ale dość mocne przekonanie, że nie pomylę się o wiele. So there’s a little uncertainty on the technical side, but pretty strong confidence that it won't be off by much. 47:48 Mniej pewny jestem, znów, strony ekonomicznego upowszechniania. What I'm less certain about is, again, the economic diffusion side. 47:53 Naprawdę wierzę, że w ciągu roku, dwóch możemy mieć modele będące krajem geniuszy w centrum danych. I really do believe that we could have models that are a country of geniuses in the data center in one to two years. 48:03 Pytanie brzmi: ile lat później zaczną spływać biliony przychodów? One question is: How many years after that do the trillions in revenue start rolling in? 48:13 Nie sądzę, żeby było przesądzone, że stanie się to od razu. I don't think it's guaranteed that it's going to be immediate. 48:19 Może to być rok, mogą być dwa lata, mógłbym nawet rozciągnąć to do pięciu, choć w to wątpię. It could be one year, it could be two years, I could even stretch it to five years although I'm skeptical of that. 48:30 Mamy więc tę niepewność. So we have this uncertainty. 48:32 Nawet jeśli technologia będzie się rozwijać tak szybko, jak podejrzewam, nie wiemy dokładnie, jak szybko przełoży się na przychody. Even if the technology goes as fast as I suspect that it will, we don't know exactly how fast it's going to drive revenue. 48:41 Wiemy, że to nadchodzi, ale przy sposobie, w jaki kupuje się te centra danych, pomyłka o kilka lat może być rujnująca. We know it's coming, but with the way you buy these data centers, if you're off by a couple years, that can be ruinous. 48:48 To dokładnie tak, jak pisałem w „Machines of Loving Grace”. It is just like how I wrote in "Machines of Loving Grace". 48:51 Napisałem, że możemy dostać tę potężną AI, ten „kraj geniuszy w centrum danych”. I said I think we might get this powerful AI, this "country of genius in the data center". 48:56 Ten opis, który przytoczyłeś, pochodzi z „Machines of Loving Grace”. That description you gave comes from "Machines of Loving Grace". 48:59 Napisałem, że dostaniemy to w 2026, może w 2027 roku. I said we'll get that in 2026, maybe 2027. 49:02 Znów: to moje przeczucie. Again, that is my hunch. 49:03 Nie zdziwiłbym się, gdybym się pomylił o rok czy dwa, ale takie mam przeczucie. I wouldn't be surprised if I'm off by a year or two, but that is my hunch. 49:08 Powiedzmy, że tak się stanie. Let's say that happens. 49:09 To strzał startowy. That's the starting gun. 49:10 Ile czasu zajmie wyleczenie wszystkich chorób? How long does it take to cure all the diseases? 49:13 To jeden ze sposobów, w jakie powstaje ogromna wartość ekonomiczna. That's one of the ways that drives a huge amount of economic value. 49:18 Leczysz każdą chorobę. You cure every disease. 49:20 Jest pytanie, ile z tego trafi do firmy farmaceutycznej, a ile do firmy AI, ale powstaje ogromna nadwyżka konsumenta, bo – zakładając, że zapewnimy dostęp wszystkim, There's a question of how much of that goes to the pharmaceutical company or the AI company, but there's an enormous consumer surplus because —assuming we can get access for everyone, 49:29 na czym bardzo mi zależy – wyleczymy wszystkie te choroby. which I care about greatly—we cure all of these diseases. 49:32 Ile to potrwa? How long does it take? 49:33 Trzeba dokonać odkrycia biologicznego, wyprodukować nowy lek, przejść przez proces regulacyjny. You have to do the biological discovery, you have to manufacture the new drug, you have to go through the regulatory process. 49:43 Widzieliśmy to przy szczepionkach i COVID-zie. We saw this with vaccines and COVID. 49:47 Dostarczyliśmy szczepionkę wszystkim, ale zajęło to półtora roku. We got the vaccine out to everyone, but it took a year and a half. 49:51 Moje pytanie brzmi: ile potrwa dostarczenie wszystkim leków na wszystko – które AI, ten geniusz, teoretycznie potrafi wynaleźć? My question is: How long does it take to get the cure for everything—which AI is the genius that can in theory invent—out to everyone? 50:00 Ile minie od chwili, gdy taka AI pojawi się w laboratorium, do chwili, gdy choroby zostaną faktycznie wyleczone u wszystkich? How long from when that AI first exists in the lab to when diseases have actually been cured for everyone? 50:09 Szczepionkę na polio mamy od 50 lat. We've had a polio vaccine for 50 years. 50:12 Wciąż próbujemy wyeliminować chorobę w najodleglejszych zakątkach Afryki. We're still trying to eradicate it in the most remote corners of Africa. 50:17 Fundacja Gatesów stara się, jak może. The Gates Foundation is trying as hard as they can. 50:19 Inni starają się, jak mogą. Others are trying as hard as they can. 50:20 Ale to trudne. But that's difficult. 50:23 Znów: nie spodziewam się, by większość ekonomicznego upowszechniania była aż tak trudna. Again, I don't expect most of the economic diffusion to be as difficult as that. 50:27 To najtrudniejszy przypadek. That's the most difficult case. 50:28 Ale jest tu prawdziwy dylemat. But there's a real dilemma here. 50:32 Doszedłem do wniosku, że będzie szybciej niż cokolwiek, co świat widział, ale i tak ma to swoje granice. Where I've settled on it is that it will be faster than anything we've seen in the world, but it still has its limits. 50:42 Więc kiedy przychodzi do kupowania centrów danych – znów, krzywa, na którą patrzę: co roku mamy wzrost dziesięciokrotny. So when we go to buying data centers, again, the curve I'm looking at is: we've had a 10x a year increase every year. 50:54 Na początku tego roku mamy 10 mld dolarów przychodów w ujęciu rocznym. At the beginning of this year, we're looking at $10 billion in annualized revenue. 51:01 Musimy zdecydować, ile mocy obliczeniowej kupić. We have to decide how much compute to buy. 51:08 Faktyczna budowa centrów danych, ich rezerwacja, zajmuje rok lub dwa. It takes a year or two to actually build out the data centers, to reserve the data center. 51:12 W zasadzie pytam: „Ile mocy obliczeniowej dostanę w 2027 roku?”. Basically I'm saying, "In 2027, how much compute do I get?" 51:18 Mógłbym założyć, że przychody nadal będą rosły dziesięciokrotnie rocznie, czyli pod koniec 2026 wyniosą 100 mld dolarów, a pod koniec 2027 – bilion dolarów. I could assume that the revenue will continue growing 10x a year, so it'll be $100 billion at the end of 2026 and $1 trillion at the end of 2027. 51:37 W praktyce byłoby to 5 bln dolarów mocy obliczeniowej, bo bilion rocznie przez pięć lat. Actually it would be $5 trillion dollars of compute because it would be $1 trillion a year for five years. 51:43 Mógłbym kupić bilion dolarów mocy obliczeniowej dostępnej od końca 2027 roku. I could buy $1 trillion of compute that starts at the end of 2027. 51:49 Jeśli moje przychody nie wyniosą biliona dolarów, nawet jeśli wyniosą 800 mld, to żadna siła na świecie, żadne zabezpieczenie nie uchroni mnie przed bankructwem, jeśli kupię tyle If my revenue is not $1 trillion dollars, if it's even $800 billion, there's no force on earth, there's no hedge on earth that could stop me from going bankrupt if I buy that 52:01 mocy obliczeniowej. Choć część mojego mózgu zastanawia się, czy wzrost dziesięciokrotny się utrzyma, nie mogę kupić w 2027 roku biliona dolarów mocy obliczeniowej rocznie. much compute. Even though a part of my brain wonders if it's going to keep growing 10x, I can't buy $1 trillion a year of compute in 2027. 52:13 Jeśli pomylę się w tempie wzrostu choćby o rok albo jeśli wzrost wyniesie pięć razy rocznie zamiast dziesięciu, to bankrutujesz. If I'm just off by a year in that rate of growth, or if the growth rate is 5x a year instead of 10x a year, then you go bankrupt. 52:25 Kończysz więc w świecie, w którym utrzymujesz setki miliardów, a nie biliony. So you end up in a world where you're supporting hundreds of billions, not trillions. 52:33 Akceptujesz pewne ryzyko, że popyt będzie tak duży, że nie zdołasz go obsłużyć, i pewne ryzyko, że się pomyliłeś i wszystko nadal idzie wolno. You accept some risk that there's so much demand that you can't support the revenue, and you accept some risk that you got it wrong and it's still slow. 52:43 Kiedy mówiłem o odpowiedzialnym działaniu, nie chodziło mi o kwotę bezwzględną. When I talked about behaving responsibly, what I meant actually was not the absolute amount. 52:51 To prawda, że wydajemy nieco mniej niż niektórzy inni gracze. I think it is true we're spending somewhat less than some of the other players. 52:55 Chodzi raczej o coś innego: czy podeszliśmy do tego z namysłem, czy jedziemy na YOLO i mówimy: „Wrzucimy 100 mld tu i 100 mld tam”? It's actually the other things, like have we been thoughtful about it or are we YOLOing and saying, "We're going to do $100 billion here or $100 billion there"? 53:04 Mam wrażenie, że niektóre inne firmy nie rozpisały tego w arkuszu, że tak naprawdę nie rozumieją ryzyka, które podejmują. I get the impression that some of the other companies have not written down the spreadsheet, that they don't really understand the risks they're taking. 53:12 Robią rzeczy po prostu dlatego, że brzmią fajnie. They're just doing stuff because it sounds cool. 53:16 My starannie to przemyśleliśmy. We've thought carefully about it. 53:18 Jesteśmy firmą obsługującą przedsiębiorstwa. We're an enterprise business. 53:20 Dlatego możemy bardziej polegać na przychodach. Therefore, we can rely more on revenue. 53:24 Są mniej kapryśne niż w segmencie konsumenckim. It's less fickle than consumer. 53:26 Mamy lepsze marże, a one są buforem między kupieniem za dużo a kupieniem za mało. We have better margins, which is the buffer between buying too much and buying too little. 53:31 Myślę, że kupiliśmy tyle, żeby wykorzystać całkiem optymistyczne scenariusze. I think we bought an amount that allows us to capture pretty strong upside worlds. 53:36 Nie obejmie to pełnego wzrostu dziesięciokrotnego rocznie. It won't capture the full 10x a year. 53:40 Musiałoby pójść naprawdę źle, żebyśmy mieli kłopoty finansowe. Things would have to go pretty badly for us to be in financial trouble. 53:44 Starannie to przemyśleliśmy i znaleźliśmy tę równowagę. So we've thought carefully and we've made that balance. 53:47 To właśnie mam na myśli, mówiąc, że działamy odpowiedzialnie. That's what I mean when I say that we're being responsible. 53:50 – Wygląda więc na to, że możemy po prostu inaczej definiować „kraj geniuszy w centrum danych”. So it seems like it's possible that we actually just have different definitions of the "country of a genius in a data center". 53:56 Bo gdy myślę o prawdziwych ludzkich geniuszach, o prawdziwym kraju ludzkich geniuszy w centrum danych, chętnie kupiłbym moc obliczeniową za 5 bln dolarów, żeby utrzymać prawdziwy kraj ludzkich Because when I think of actual human geniuses, an actual country of human geniuses in a data center, I would happily buy $5 trillion worth of compute to run an actual country of human 54:08 geniuszy w centrum danych. geniuses in a data center. 54:09 Powiedzmy, że JPMorgan, Moderna czy ktokolwiek inny nie chce z nich korzystać. Let's say JPMorgan or Moderna or whatever doesn't want to use them. 54:12 Mam kraj geniuszy. I've got a country of geniuses. 54:14 Założą własną firmę. They'll start their own company. 54:16 Jeśli nie mogą założyć firmy, bo blokują ich badania kliniczne… – Warto zaznaczyć, że większość badań klinicznych kończy się porażką, bo lek nie działa. If they can't start their own company and they're bottlenecked by clinical trials… It is worth stating that with clinical trials, most clinical trials fail because the drug doesn't work. 54:23 Brakuje skuteczności. There's not efficacy. 54:23 Dokładnie to piszę w „Machines of Loving Grace”: badania kliniczne będą przebiegać znacznie szybciej, niż przywykliśmy, ale nie nieskończenie szybko. I make exactly that point in "Machines of Loving Grace", I say the clinical trials are going to go much faster than we're used to, but not infinitely fast. 54:33 – Dobrze, załóżmy, że badania kliniczne potrwają rok, zanim zaczniesz mieć z nich przychody i robić kolejne leki. Okay, and then suppose it takes a year for the clinical trials to work out so that you're getting revenue from that and can make more drugs. 54:38 No dobrze, ale masz kraj geniuszy i jesteś laboratorium AI. Okay, well, you've got a country of geniuses and you're an AI lab. 54:43 Przydałoby ci się dużo więcej badaczy AI. You could use many more AI researchers. 54:47 Uważasz też, że inteligentni ludzie pracujący nad technologią AI dają samonapędzające się korzyści. You also think there are these self-reinforcing gains from smart people working on AI tech. 54:55 Możesz zaprząc centrum danych do rozwijania AI. You can have the data center working on AI progress. 54:57 Czy kupno mocy obliczeniowej za bilion dolarów rocznie zamiast za 300 mld daje istotnie większe korzyści? Are there substantially more gains from buying $1 trillion a year of compute versus $300 billion a year of compute? 55:07 – Jeśli konkurent kupuje za bilion, to tak. If your competitor is buying a trillion, yes there is. 55:09 A właściwie nie – jakaś korzyść jest, ale z drugiej strony istnieje szansa, że on wcześniej zbankrutuje. Well, no, there's some gain, but then again, there's this chance that they go bankrupt before. 55:16 Powtarzam: jeśli pomylisz się choćby o rok, niszczysz sam siebie. Again, if you're off by only a year, you destroy yourselves. 55:22 Na tym polega ta równowaga. That's the balance. 55:23 Kupujemy dużo. We're buying a lot. 55:24 Kupujemy cholernie dużo. We're buying a hell of a lot. 55:27 Kupujemy tyle, ile najwięksi gracze w tej grze. We're buying an amount that's comparable to what the biggest players in the game are buying. 55:35 Ale jeśli pytasz: „Czemu nie podpisaliście umów na 10 bln dolarów mocy obliczeniowej od połowy 2027 roku?”… But if you're asking me, "Why haven't we signed $10 trillion of compute starting in mid-2027?"... 55:43 Po pierwsze, nie da się jej tyle wyprodukować. First of all, it can't be produced. 55:44 Na świecie nie ma jej aż tyle. There isn't that much in the world. 55:47 A po drugie: co, jeśli kraj geniuszy nadejdzie, ale w połowie 2028, a nie w połowie 2027 roku? But second, what if the country of geniuses comes, but it comes in mid-2028 instead of mid-2027? 55:54 Bankrutujesz. You go bankrupt. 55:55 – Skoro twoja prognoza to od roku do trzech lat, to chyba powinieneś chcieć mieć 10 bln dolarów mocy obliczeniowej najpóźniej do 2029 roku? So if your projection is one to three years, it seems like you should want $10 trillion of compute by 2029 at the latest? 56:09 Nawet w najdłuższym z podawanych przez ciebie horyzontów moc obliczeniowa, którą rozbudowujecie, wydaje się z tym nie zgadzać. Even in the longest version of the timelines you state, the compute you are ramping up to build doesn't seem in accordance. 56:15 – Skąd ten wniosek? What makes you think that? 56:20 – Płace ludzi to, powiedzmy, rzędu 50 bln dolarów rocznie… – Nie będę mówił konkretnie o Anthropic, ale jeśli mówimy o całej branży, Human wages, let's say, are on the order of $50 trillion a year— So I won't talk about Anthropic in particular, but if you talk about the industry, 56:31 to moc obliczeniowa, którą branża buduje w tym roku, to pewnie, powiedzmy, the amount of compute the industry is building this year is probably, call it, 56:43 10–15 gigawatów. Rośnie mniej więcej trzykrotnie rocznie. 10-15 gigawatts. It goes up by roughly 3x a year. 56:48 W przyszłym roku będzie to więc 30–40 gigawatów. So next year's 30-40 gigawatts. 56:52 W 2028 może 100 gigawatów. 2028 might be 100 gigawatts. 56:54 W 2029 może jakieś 300 gigawatów. 2029 might be like 300 gigawatts. 57:03 Liczę w pamięci, ale każdy gigawat kosztuje może 10 mld dolarów, rzędu 10–15 mld dolarów rocznie. I'm doing the math in my head, but each gigawatt costs maybe $10 billion, on the order of $10-15 billion a year. 57:12 Gdy to wszystko zsumujesz, wychodzi mniej więcej to, co opisałeś. You put that all together and you're getting about what you described. 57:15 Wychodzi dokładnie to. You’re getting exactly that. 57:15 Wychodzi kilka bilionów rocznie do 2028 lub 2029 roku. You're getting multiple trillions a year by 2028 or 2029. 57:20 Wychodzi dokładnie to, co przewidujesz. You're getting exactly what you predict. 57:22 – To dla całej branży. That's for the industry. 57:24 – Dla całej branży, zgadza się. That's for the industry, that’s right. 57:25 – Załóżmy, że moc obliczeniowa Anthropic dalej rośnie trzykrotnie rocznie i w latach 2027–28 macie 10 gigawatów. Suppose Anthropic's compute keeps 3x-ing a year, and then by 2027-28, you have 10 gigawatts. 57:34 Pomnóż to, jak mówisz, przez 10 mld dolarów. Multiply that by, as you say, $10 billion. 57:38 Wychodzi jakieś 100 mld dolarów rocznie. So then it's like $100 billion a year. 57:40 Ale jednocześnie mówisz, że rynek docelowy (TAM) w 2028 roku to 200 mld dolarów. But then you're saying the TAM by 2028 is $200 billion. 57:42 – Powtarzam, nie chcę podawać dokładnych liczb dla Anthropic, ale te liczby są za małe. – No dobrze, ciekawe. Again, I don't want to give exact numbers for Anthropic, but these numbers are too small. Okay, interesting. 05 · 58:49 Jak laboratoria AI mają zarabiać?58:48 Powiedziałeś inwestorom, że planujecie być rentowni od 2028 roku. You've told investors that you plan to be profitable starting in 2028. 58:53 To rok, w którym potencjalnie dostajemy kraj geniuszy w centrum danych. This is the year when we're potentially getting the country of geniuses as a data center. 58:58 To odblokuje cały ten postęp w medycynie, zdrowiu i nowych technologiach. This is now going to unlock all this progress in medicine and health and new technologies. 59:08 Czy to nie byłby akurat moment, by reinwestować w firmę i budować większe „kraje”, żeby mogły dokonywać kolejnych odkryć? Wouldn't this be exactly the time where you'd want to reinvest in the business and build bigger "countries" so they can make more discoveries? 59:15 – Rentowność to w tej dziedzinie dość dziwna rzecz. Profitability is this kind of weird thing in this field. 59:21 Nie sądzę, by w tej dziedzinie rentowność faktycznie mierzyła, ile się wydaje, a ile inwestuje w firmę. I don't think in this field profitability is actually a measure of spending down versus investing in the business. 59:34 Weźmy prosty model. Let's just take a model of this. 59:36 Uważam, że zysk pojawia się, gdy nie doszacowałeś popytu, który dostaniesz, a strata – gdy go przeszacowałeś, I actually think profitability happens when you underestimated the amount of demand you were going to get and loss happens when you overestimated the amount of demand you were going to get, 59:46 bo centra danych kupujesz z wyprzedzeniem. because you're buying the data centers ahead of time. 59:48 Pomyśl o tym tak. Think about it this way. 59:52 Powtarzam, to uproszczone fakty. Again, these are stylized facts. 59:53 Te liczby nie są dokładne. These numbers are not exact. 59:54 Próbuję tylko zbudować model zabawkowy. I'm just trying to make a toy model here. 59:56 Powiedzmy, że połowa mocy obliczeniowej idzie na trening, a połowa na inferencję. Let's say half of your compute is for training and half of your compute is for inference. 1:00:02 Inferencja ma marżę brutto powyżej 50%. The inference has some gross margin that's more than 50%. 1:00:07 Oznacza to, że w stanie ustalonym budujesz centrum danych i gdybyś dokładnie znał popyt, osiągnąłbyś określone przychody. So what that means is that if you were in steady-state, you build a data center and if you knew exactly the demand you were getting, you would get a certain amount of revenue. 1:00:23 Powiedzmy, że płacisz 100 mld dolarów rocznie za moc obliczeniową. Let’s say you pay $100 billion a year for compute. 1:00:26 Za 50 mld rocznie obsługujesz 150 mld dolarów przychodu. On $50 billion a year you support $150 billion of revenue. 1:00:32 Pozostałe 50 mld idzie na trening. The other $50 billion is used for training. 1:00:35 W zasadzie jesteś rentowny i masz 50 mld dolarów zysku. Basically you’re profitable and you make $50 billion of profit. 1:00:40 Tak wygląda ekonomia branży dziś – a właściwie nie dziś, tylko za rok czy dwa, według naszych prognoz. Those are the economics of the industry today, or not today but where we’re projecting forward in a year or two. 1:00:47 Jedyne, co mogłoby to zmienić, to popyt mniejszy niż 50 mld dolarów. The only thing that makes that not the case is if you get less demand than $50 billion. 1:00:54 Wtedy na badania idzie ponad 50% centrum danych i nie jesteś rentowny. Then you have more than 50% of your data center for research and you're not profitable. 1:00:59 Trenujesz więc mocniejsze modele, ale nie jesteś rentowny. So you train stronger models, but you're not profitable. 1:01:03 Jeśli popyt jest większy, niż sądziłeś, badania zostają przyciśnięte, ale możesz obsłużyć więcej inferencji i masz większy zysk. If you get more demand than you thought, then research gets squeezed, but you're kind of able to support more inference and you're more profitable. 1:01:15 Może nie tłumaczę tego najlepiej, ale chodzi mi o to, że najpierw decydujesz o ilości mocy obliczeniowej. Maybe I'm not explaining it well, but the thing I'm trying to say is that you decide the amount of compute first. 1:01:21 Potem masz jakiś docelowy podział między inferencję a trening, ale o nim decyduje popyt. Then you have some target desire of inference versus training, but that gets determined by demand. 1:01:28 Nie decydujesz ty. It doesn't get determined by you. 1:01:29 – Słyszę więc, że przewidujesz zysk, bo systematycznie inwestujesz za mało w moc obliczeniową? What I'm hearing is the reason you're predicting profit is that you are systematically underinvesting in compute? 1:01:37 – Nie, nie, nie. No, no, no. 1:01:37 Mówię, że trudno to przewidzieć. I'm saying it's hard to predict. 1:01:39 Te kwestie dotyczące 2028 roku i tego, kiedy to nastąpi, to nasza próba jak najlepszego ujęcia sprawy wobec inwestorów. These things about 2028 and when it will happen, that's our attempt to do the best we can with investors. 1:01:46 Wszystko to jest naprawdę niepewne z powodu stożka niepewności. All of this stuff is really uncertain because of the cone of uncertainty. 1:01:50 Moglibyśmy być rentowni już w 2026, jeśli przychody będą rosły dość szybko. We could be profitable in 2026 if the revenue grows fast enough. 1:01:58 Jeśli przeszacujemy lub nie doszacujemy kolejnego roku, wynik może się gwałtownie wahać. If we overestimate or underestimate the next year, that could swing wildly. 1:02:04 Chodzi mi o to, że masz w głowie model firmy, która inwestuje, inwestuje, inwestuje, osiąga skalę, a potem staje się rentowna. What I'm trying to get at is that you have a model in your head of a business that invests, invests, invests, gets scale and then becomes profitable. 1:02:13 Jest jeden punkt, w którym wszystko się odwraca. There's a single point at which things turn around. 1:02:15 Nie sądzę, żeby ekonomia tej branży tak działała. I don't think the economics of this industry work that way. 1:02:19 – Rozumiem. Jeśli dobrze rozumiem, mówisz, że przez rozbieżność między mocą obliczeniową, którą powinniśmy byli mieć, a tą, którą dostaliśmy, I see. So if I'm understanding correctly, you're saying that because of the discrepancy between the amount of compute we should have gotten and the amount of compute we got, 1:02:27 byliśmy niejako zmuszeni do osiągnięcia zysku. we were sort of forced to make profit. 1:02:29 Ale to nie znaczy, że dalej będziemy zarabiać. But that doesn't mean we're going to continue making profit. 1:02:31 Zreinwestujemy pieniądze, bo AI poczyniła tak ogromne postępy, a my chcemy większego kraju geniuszy. We're going to reinvest the money because now AI has made so much progress and we want a bigger country of geniuses. 1:02:37 Czyli przychody są wysokie, ale straty też. So back into revenue is high, but losses are also high. 1:02:44 – Jeśli co roku dokładnie przewidzimy popyt, każdego roku będziemy rentowni. If every year we predict exactly what the demand is going to be, we'll be profitable every year. 1:02:49 Bo wydawanie mniej więcej 50% mocy obliczeniowej na badania plus marża brutto powyżej 50% i trafna prognoza popytu dają zysk. Because spending 50% of your compute on research, roughly, plus a gross margin that's higher than 50% and correct demand prediction leads to profit. 1:03:04 To jest rentowny model biznesowy, który moim zdaniem gdzieś tam istnieje, ale przesłaniają go budowanie z wyprzedzeniem i błędy prognoz. That's the profitable business model that I think is kind of there, but obscured by these building ahead and prediction errors. 1:03:13 – Traktujesz chyba te 50% jako stałą, a przecież jeśli postęp AI jest szybki i możesz go przyspieszyć, skalując bardziej, I guess you're treating the 50% as a sort of given constant, whereas in fact, if AI progress is fast and you can increase the progress by scaling up more, 1:03:23 to powinieneś przeznaczać ponad 50% i nie mieć zysku. you should just have more than 50% and not make profit. 1:03:25 – Ale powiem tak. But here's what I'll say. 1:03:26 Możesz chcieć skalować bardziej. You might want to scale it up more. 1:03:31 Pamiętaj o logarytmicznych zwrotach ze skali. Remember the log returns to scale. 1:03:33 Jeśli 70% dałoby ci ledwie trochę lepszy model, bo tylko o czynnik 1,4… If 70% would get you a very little bit of a smaller model through a factor of 1.4x... 1:03:41 Te dodatkowe 20 mld dolarów – każdy dolar jest tam wart dla ciebie znacznie mniej przez zależność logarytmiczno-liniową. That extra $20 billion, each dollar there is worth much less to you because of the log-linear setup. 1:03:51 Może się więc okazać, że lepiej zainwestować te 20 mld w obsługę inferencji albo w zatrudnienie inżynierów, którzy są lepsi w tym, co robią. So you might find that it's better to invest that $20 billion in serving inference or in hiring engineers who are kind of better at what they're doing. 1:04:05 Dlatego powiedziałem 50%… So the reason I said 50%... 1:04:07 To nie jest dokładnie nasz cel. That's not exactly our target. 1:04:08 Nie będzie to dokładnie 50%. It's not exactly going to be 50%. 1:04:10 Pewnie będzie się to zmieniać w czasie. It’ll probably vary over time. 1:04:12 Chodzi mi o to, że zwrot log-liniowy prowadzi do tego, że wydajesz na to ułamek biznesu rzędu jedności. What I'm saying is the log-linear return, what it leads to is you spend of order one fraction of the business. 1:04:21 Czyli nie 5%, nie 95%. Like not 5%, not 95%. 1:04:27 Potem zaczynają się malejące zwroty. Then you get diminishing returns. 1:04:29 – Dziwnie się czuję, przekonując Dario, żeby uwierzył w postęp AI. I feel strange that I'm convincing Dario to believe in AI progress or something. 1:04:34 No dobrze, nie inwestujesz w badania, bo dają malejące zwroty, ale inwestujesz w te inne rzeczy, o których mówiłeś. Okay, you don't invest in research because it has diminishing returns, but you invest in the other things you mentioned. 1:04:39 – Myślę, że zysk na poziomie makro… Znowu: mówię o malejących zwrotach, ale dopiero gdy wydajesz 50 mld dolarów rocznie. I think profit at a sort of macro level— Again, I'm talking about diminishing returns, but after you're spending $50 billion a year. 1:04:45 – Pewnie sam byś to powiedział, ale malejące zwroty z geniusza mogą być całkiem wysokie. This is a point I'm sure you would make, but diminishing returns on a genius could be quite high. 1:04:52 – Szerzej: czym jest zysk w gospodarce rynkowej? More generally, what is profit in a market economy? 1:04:55 Zysk to w zasadzie stwierdzenie, że inne firmy na rynku zrobią z tymi pieniędzmi więcej niż ja. Profit is basically saying other companies in the market can do more things with this money than I can. 1:05:01 Zostawmy Anthropic na boku. Put aside Anthropic. 1:05:04 Nie chcę podawać informacji o Anthropic. I don't want to give information about Anthropic. 1:05:06 Dlatego podaję te umowne liczby. That’s why I'm giving these stylized numbers. 1:05:08 Ale wyprowadźmy po prostu równowagę całej branży. But let's just derive the equilibrium of the industry. 1:05:13 Dlaczego nikt nie przeznacza 100% mocy obliczeniowej na trening i nie obsługuje żadnych klientów? Why doesn't everyone spend 100% of their compute on training and not serve any customers? 1:05:23 Bo gdyby nie miał żadnych przychodów, nie zebrałby pieniędzy, nie zawarłby umów na moc obliczeniową, nie kupiłby jej więcej w następnym roku. It's because if they didn't get any revenue, they couldn't raise money, they couldn't do compute deals, they couldn't buy more compute the next year. 1:05:29 Więc ustali się równowaga, w której każda firma wydaje mniej niż 100% na trening i z pewnością mniej niż 100% na inferencję. So there's going to be an equilibrium where every company spends less than 100% on training and certainly less than 100% on inference. 1:05:38 Powinno być jasne, czemu nie obsługujesz tylko obecnych modeli i nigdy nie trenujesz kolejnego – bo wtedy nie miałbyś popytu, zostałbyś w tyle. It should be clear why you don't just serve the current models and never train another model, because then you don't have any demand because you'll fall behind. 1:05:47 Więc jest jakaś równowaga. So there's some equilibrium. 1:05:49 Nie będzie to 10%, nie będzie to 90%. It's not gonna be 10%, it's not gonna be 90%. 1:05:52 Przyjmijmy umownie, że to 50%. Let's just say as a stylized fact, it's 50%. 1:05:55 To właśnie mam na myśli. That's what I'm getting at. 1:05:57 Myślę, że znajdziemy się w sytuacji, w której ta równowaga – ile wydajesz na trening – będzie niższa niż marże brutto, jakie osiągasz na mocy obliczeniowej. I think we're gonna be in a position where that equilibrium of how much you spend on training is less than the gross margins that you're able to get on compute. 1:06:08 Więc podstawowa ekonomia jest zyskowna. So the underlying economics are profitable. 1:06:11 Problem w tym, że kupując moc obliczeniową na kolejny rok, masz piekielnie trudne zadanie przewidzenia popytu: możesz go nie doszacować i być bardzo zyskowny, ale nie mieć mocy na badania. The problem is you have this hellish demand prediction problem when you're buying the next year of compute and you might guess under and be very profitable but have no compute for research. 1:06:23 Albo możesz go przeszacować – i nie zarabiasz, ale masz całą moc obliczeniową świata na badania. Or you might guess over and you are not profitable and you have all the compute for research in the world. 1:06:34 Czy to ma sens? Does that make sense? 1:06:36 Tak po prostu, jako dynamiczny model branży? Just as a dynamic model of the industry? 1:06:38 – Może zrobię krok wstecz: nie twierdzę, że „kraj geniuszy” pojawi się za dwa lata i dlatego powinieneś kupić tę moc obliczeniową. Maybe stepping back, I'm not saying I think the "country of geniuses" is going to come in two years and therefore you should buy this compute. 1:06:47 Dla mnie wniosek, do którego dochodzisz, ma dużo sensu. To me, the end conclusion you're arriving at makes a lot of sense. 1:06:51 Ale to dlatego, że „kraj geniuszy” wydaje się trudny i daleka droga do niego. But that's because it seems like "country of geniuses" is hard and there's a long way to go. 1:06:57 Cofając się więc, chodzi mi raczej o to, że twój światopogląd wydaje się zgodny z kimś, kto mówi: „Jesteśmy jakieś 10 lat od świata, w którym So stepping back, the thing I'm trying to get at is more that it seems like your worldview is compatible with somebody who says, "We're like 10 years away from a world in which 1:07:07 generujemy biliony dolarów wartości”. we're generating trillions of dollars of value." 1:07:09 – To po prostu nie jest mój pogląd. That's just not my view. 1:07:13 Pozwól, że zrobię kolejną prognozę. So I'll make another prediction. 1:07:15 Trudno mi sobie wyobrazić, żeby przed 2030 rokiem nie było bilionów dolarów przychodu. It is hard for me to see that there won't be trillions of dollars in revenue before 2030. 1:07:24 Potrafię skonstruować wiarygodny scenariusz. I can construct a plausible world. 1:07:26 Zajmuje to może trzy lata. It takes maybe three years. 1:07:29 To byłaby granica tego, co uważam za wiarygodne. That would be the end of what I think it's plausible. 1:07:31 Powiedzmy, że w 2028 roku dostajemy prawdziwy „kraj geniuszy w centrum danych”. Like in 2028, we get the real "country of geniuses in the data center". 1:07:36 Przychody dochodzą do niskich setek miliardów do 2028 roku, a potem kraj geniuszy przyspiesza je do bilionów. The revenue's going into the low hundreds of billions by 2028, and then the country of geniuses accelerates it to trillions. 1:07:50 Jesteśmy w zasadzie na wolnym krańcu upowszechniania. We’re basically on the slow end of diffusion. 1:07:52 Dojście do bilionów zajmuje dwa lata. It takes two years to get to the trillions. 1:07:53 To byłby świat, w którym trwa to aż do 2030 roku. That would be the world where it takes until 2030. 1:07:59 Podejrzewam, że nawet składając wykładniczy postęp technologiczny i wykładnicze upowszechnianie, dojdziemy tam przed 2030. I suspect even composing the technical exponential and diffusion exponential, we’ll get there before 2030. 1:08:07 – Przedstawiłeś model, w którym Anthropic zarabia, bo w gruncie rzeczy żyjemy w świecie ograniczonym mocą obliczeniową. So you laid out a model where Anthropic makes profit because it seems like fundamentally we're in a compute-constrained world. 1:08:14 Więc w końcu moc obliczeniowa dalej rośnie… – Myślę, że zysk bierze się stąd… Znowu, potraktujmy tu abstrakcyjnie całą branżę. So eventually we keep growing compute— I think the way the profit comes is… Again, let's just abstract the whole industry here. 1:08:24 Wyobraźmy sobie, że jesteśmy w podręczniku ekonomii. Let's just imagine we're in an economics textbook. 1:08:26 Mamy niewielką liczbę firm. We have a small number of firms. 1:08:29 Każda może zainwestować ograniczoną kwotę. Each can invest a limited amount. 1:08:33 Każda może przeznaczyć jakąś część na badania i rozwój. Each can invest some fraction in R&D. 1:08:36 Mają jakiś koszt krańcowy obsługi. They have some marginal cost to serve. 1:08:40 Marże zysku brutto ponad ten koszt krańcowy są bardzo wysokie, bo inferencja jest wydajna. The gross profit margins on that marginal cost are very high because inference is efficient. 1:08:46 Jest pewna konkurencja, ale modele są też zróżnicowane. There's some competition, but the models are also differentiated. 1:08:52 Firmy będą konkurować, podnosząc budżety badawcze. Companies will compete to push their research budgets up. 1:08:55 Ale ponieważ graczy jest niewielu, mamy… But because there's a small number of players, we have the... 1:08:59 Jak to się nazywa? What is it called? 1:09:00 Równowaga Cournota – tak chyba nazywa się równowaga przy niewielkiej liczbie firm. The Cournot equilibrium, I think, is what the small number of firm equilibrium is. 1:09:05 Chodzi o to, że nie dochodzi do równowagi doskonałej konkurencji z zerowymi marżami. The point is it doesn't equilibrate to perfect competition with zero margins. 1:09:15 Jeśli w gospodarce są trzy firmy i wszystkie zachowują się mniej więcej racjonalnie i niezależnie, to nie schodzi się do zera. If there's three firms in the economy and all are kind of independently behaving rationally, it doesn't equilibrate to zero. 1:09:23 – Pomóż mi to zrozumieć, bo teraz mamy trzy wiodące firmy i one nie przynoszą zysku. Help me understand that, because right now we do have three leading firms and they're not making profit. 1:09:28 Więc co się zmienia? So what is changing? 1:09:33 – Powtórzę: marże brutto są teraz wyraźnie dodatnie. Again, the gross margins right now are very positive. 1:09:37 Dzieje się połączenie dwóch rzeczy. What's happening is a combination of two things. 1:09:41 Po pierwsze, wciąż jesteśmy w fazie wykładniczego zwiększania mocy obliczeniowej. One is that we're still in the exponential scale-up phase of compute. 1:09:50 Model zostaje wytrenowany. A model gets trained. 1:09:52 Powiedzmy, że w zeszłym roku wytrenowano model za miliard dolarów. Let's say a model got trained that costs $1 billion last year. 1:09:58 W tym roku przyniósł 4 mld dolarów przychodu, a inferencja na nim kosztowała miliard. Then this year it produced $4 billion of revenue and cost $1 billion to inference from. 1:10:09 Znów używam umownych liczb, ale to by dawało 75% marży brutto i ten 25-procentowy narzut. Again, I'm using stylized numbers here, but that would be 75% gross margins and this 25% tax. 1:10:18 Więc ten model jako całość zarabia 2 mld dolarów. So that model as a whole makes $2 billion. 1:10:23 Ale jednocześnie wydajemy 10 mld dolarów na trening następnego modelu, bo trwa wykładnicze zwiększanie skali. But at the same time, we're spending $10 billion to train the next model because there's an exponential scale-up. 1:10:29 Więc firma traci pieniądze. So the company loses money. 1:10:30 Każdy model zarabia, ale firma traci. Each model makes money, but the company loses money. 1:10:33 Równowaga, o której mówię, to taka, w której mamy „kraj geniuszy w centrum danych”, ale zwiększanie skali trenowania modeli bardziej się ustabilizowało. The equilibrium I'm talking about is an equilibrium where we have the "country of geniuses in a data center", but that model training scale-up has equilibrated more. 1:10:46 Może wciąż rośnie. Maybe it's still going up. 1:10:48 Wciąż próbujemy przewidzieć popyt, ale jest to bardziej wyrównane. We're still trying to predict the demand, but it's more leveled out. 1:10:53 – Kilka rzeczy mnie tu dezorientuje. I'm confused about a couple of things there. 1:10:56 Zacznijmy od obecnego świata. Let's start with the current world. 1:10:58 W obecnym świecie masz rację, jak mówiłeś wcześniej: jeśli traktować każdy model jako osobną firmę, jest on zyskowny. In the current world, you're right that, as you said before, if you treat each individual model as a company, it's profitable. 1:11:05 Ale oczywiście dużą częścią funkcji produkcji laboratorium z czołówki jest trenowanie kolejnego modelu, prawda? But of course, a big part of the production function of being a frontier lab is training the next model, right? 1:11:12 – Tak, zgadza się. Yes, that's right. 1:11:12 Gdybyś tego nie robił, zarabiałbyś przez dwa miesiące, a potem nie miałbyś marż, bo nie miałbyś najlepszego modelu. If you didn't do that, then you'd make profit for two months and then you wouldn't have margins because you wouldn't have the best model. 1:11:20 Ale w pewnym momencie to osiąga największą możliwą skalę. But at some point that reaches the biggest scale that it can reach. 1:11:23 I wtedy, w równowadze, mamy usprawnienia algorytmiczne, ale na trening kolejnego modelu wydajemy mniej więcej tyle samo, co na trening obecnego. And then in equilibrium, we have algorithmic improvements, but we're spending roughly the same amount to train the next model as we spend to train the current model. 1:11:37 W pewnym momencie w gospodarce kończą się pieniądze. At some point you run out of money in the economy. 1:11:40 – To błąd stałej puli pracy… Gospodarka będzie rosnąć, prawda? A fixed lump of labor fallacy… The economy is going to grow, right? 1:11:43 To jedna z twoich prognoz. That's one of your predictions. 1:11:44 Będziemy mieć centra danych w kosmosie. We're going to have the data centers in space. 1:11:44 – Tak, ale to kolejny przykład motywu, o którym mówiłem. Yes, but this is another example of the theme I was talking about. 1:11:49 Gospodarka z AI będzie rosnąć znacznie szybciej niż kiedykolwiek wcześniej. The economy will grow much faster with AI than I think it ever has before. 1:11:56 Obecnie moc obliczeniowa rośnie trzykrotnie rocznie. Right now the compute is growing 3x a year. 1:11:59 Nie wierzę, że gospodarka będzie rosnąć o 300% rocznie. I don't believe the economy is gonna grow 300% a year. 1:12:03 Pisałem w „Machines of Loving Grace”, że możemy mieć wzrost gospodarczy rzędu 10–20% rocznie, ale nie będzie wzrostu o 300%. I said this in "Machines of Loving Grace", I think we may get 10-20% per year growth in the economy, but we're not gonna get 300% growth in the economy. 1:12:13 Więc myślę, że w końcu, jeśli moc obliczeniowa stanie się większością tego, co wytwarza gospodarka, to właśnie to ją ograniczy. So I think in the end, if compute becomes the majority of what the economy produces, it's gonna be capped by that. 1:12:20 – Załóżmy więc model, w którym moc obliczeniowa pozostaje ograniczona. So let's assume a model where compute stays capped. 1:12:24 Świat, w którym laboratoria z czołówki zarabiają, to taki, w którym nadal szybko robią postępy. The world where frontier labs are making money is one where they continue to make fast progress. 1:12:30 Bo w gruncie rzeczy twoją marżę ogranicza to, jak dobra jest alternatywa. Because fundamentally your margin is limited by how good the alternative is. 1:12:36 Zarabiasz, bo masz model z czołówki. So you are able to make money because you have a frontier model. 1:12:38 Gdybyś go nie miał, nie zarabiałbyś. If you didn't have a frontier model you wouldn't be making money. 1:12:41 Więc ten model wymaga, żeby nigdy nie nastał stan ustalony. So this model requires there never to be a steady state. 1:12:46 Żebyś bez końca robił kolejne postępy algorytmiczne. Forever and ever you keep making more algorithmic progress. 1:12:49 – Nie sądzę, żeby tak było. I don't think that's true. 1:12:50 Czuję się, jakbyśmy byli na zajęciach z ekonomii. I mean, I feel like we're in an economics class. 1:12:58 – Znasz ten cytat Tylera Cowena? Do you know the Tyler Cowen quote? 1:12:59 „Nigdy nie przestajemy rozmawiać o ekonomii”. We never stop talking about economics. 1:13:01 – Nigdy nie przestajemy rozmawiać o ekonomii. Więc nie, We never stop talking about economics. So no, 1:13:10 nie sądzę, żeby ta dziedzina stała się monopolem. I don't think this field's going to be a monopoly. 1:13:12 Moi prawnicy nigdy nie chcą, żebym używał słowa „monopol”. All my lawyers never want me to say the word "monopoly". 1:13:15 Ale nie sądzę, żeby ta dziedzina stała się monopolem. But I don't think this field's going to be a monopoly. 1:13:17 Są branże, w których działa niewielu graczy. You do get industries in which there are a small number of players. 1:13:21 Nie jeden, ale niewielu. Not one, but a small number of players. 1:13:24 Zwykle monopole w rodzaju Facebooka czy Mety – zawsze mówię „Facebook” – powstają dzięki efektom sieciowym. Ordinarily, the way you get monopolies like Facebook or Meta—I always call them Facebook—is these kinds of network effects. 1:13:36 Branże z niewielką liczbą graczy powstają za to przy bardzo wysokich kosztach wejścia. The way you get industries in which there are a small number of players, is very high costs of entry. 1:13:45 Tak jest z chmurą. Cloud is like this. 1:13:47 Myślę, że chmura jest tu dobrym przykładem. I think cloud is a good example of this. 1:13:49 W chmurze jest trzech, może czterech graczy. There are three, maybe four, players within cloud. 1:13:52 Myślę, że w AI będzie tak samo: trzech, może czterech. I think that's the same for AI, three, maybe four. 1:13:56 Powód jest taki, że to bardzo drogie. The reason is that it's so expensive. 1:13:59 Prowadzenie firmy chmurowej wymaga ogromnej wiedzy i ogromnego kapitału. It requires so much expertise and so much capital to run a cloud company. 1:14:06 Musisz wyłożyć cały ten kapitał. You have to put up all this capital. 1:14:08 A oprócz tego musisz zapewnić mnóstwo innych rzeczy, które wymagają wielkich umiejętności. In addition to putting up all this capital, you have to get all of this other stuff that requires a lot of skill to make it happen. 1:14:15 Więc jeśli idziesz do kogoś i mówisz: „Chcę zrewolucjonizować tę branżę, oto 100 mld dolarów”. So if you go to someone and you're like, "I want to disrupt this industry, here's $100 billion." 1:14:19 A on: „Dobra, wykładam 100 mld dolarów i do tego stawiam na to, że zrobisz wszystko to, co ci ludzie robią od lat”. You're like, "okay, I'm putting in $100 billion and also betting that you can do all these other things that these people have been doing." 1:14:25 I to tylko po to, żeby obniżyć zysk. Only to decrease the profit. 1:14:28 Skutek twojego wejścia jest taki, że marże zysku spadają. The effect of your entering is that profit margins go down. 1:14:31 W gospodarce ciągle mamy takie równowagi, z kilkoma graczami. So, we have equilibria like this all the time in the economy where we have a few players. 1:14:37 Zyski nie są astronomiczne. Profits are not astronomical. 1:14:39 Marże nie są astronomiczne, ale nie są zerowe. Margins are not astronomical, but they're not zero. 1:14:45 To właśnie widzimy w chmurze. That's what we see on cloud. 1:14:46 Chmura jest bardzo mało zróżnicowana. Cloud is very undifferentiated. 1:14:48 Modele są bardziej zróżnicowane niż chmura. Models are more differentiated than cloud. 1:14:51 Wszyscy wiedzą, że Claude jest dobry w czym innym niż GPT, a GPT w czym innym niż Gemini. Everyone knows Claude is good at different things than GPT is good at, than Gemini is good at. 1:14:58 I nie chodzi tylko o to, że Claude jest dobry w programowaniu, a GPT w matematyce i rozumowaniu. It's not just that Claude's good at coding, GPT is good at math and reasoning. 1:15:05 To jest subtelniejsze. It's more subtle than that. 1:15:06 Modele są dobre w różnych rodzajach programowania. Models are good at different types of coding. 1:15:08 Modele mają różne style. Models have different styles. 1:15:11 Myślę, że te rzeczy naprawdę bardzo się od siebie różnią, więc spodziewałbym się większego zróżnicowania niż w chmurze. I think these things are actually quite different from each other, and so I would expect more differentiation than you see in cloud. 1:15:20 Jest jednak jeden kontrargument. Now, there actually is one counter-argument. 1:15:26 Brzmi on tak: jeśli modele AI same potrafią przeprowadzić proces tworzenia modeli, to może się to rozlać na całą gospodarkę. That counter-argument is if the process of producing models, if AI models can do that themselves, then that could spread throughout the economy. 1:15:37 Ale to nie jest argument za utowarowieniem modeli AI jako takich. But that is not an argument for commoditizing AI models in general. 1:15:41 To raczej argument za utowarowieniem całej gospodarki naraz. That's kind of an argument for commoditizing the whole economy at once. 1:15:45 Nie wiem, co dzieje się w świecie, w którym w zasadzie każdy może zrobić wszystko, każdy może zbudować wszystko i nic nie ma żadnej fosy. I don't know what quite happens in that world where basically anyone can do anything, anyone can build anything, and there's no moat around anything at all. 1:15:54 Nie wiem, może chcemy takiego świata. I don't know, maybe we want that world. 1:15:56 Może to jest stan końcowy. Może Maybe that's the end state here. Maybe 1:16:04 gdy modele AI będą umiały wszystko, a my rozwiążemy wszystkie problemy bezpieczeństwa, będzie to jeden z mechanizmów, dzięki którym gospodarka znów się spłaszczy. when AI models can do everything, if we've solved all the safety and security problems, that's one of the mechanisms for the economy just flattening itself again. 1:16:17 Ale to już daleko poza etapem „kraju geniuszy w centrum danych”. But that's kind of far post-"country of geniuses in the data center." 1:16:23 – Może precyzyjniej da się to ująć tak: po pierwsze, badania nad AI wydają się szczególnie zależne od czystej mocy intelektualnej, Maybe a finer way to put that potential point is: 1) it seems like AI research is especially loaded on raw intellectual power, 1:16:35 której w świecie AGI będzie wyjątkowo dużo. which will be especially abundant in the world of AGI. 1:16:37 A po drugie, jeśli spojrzeć na dzisiejszy świat, bardzo niewiele technologii upowszechnia się tak szybko jak postęp algorytmiczny w AI. And 2) if you just look at the world today, there are very few technologies that seem to be diffusing as fast as AI algorithmic progress. 1:16:47 To sugeruje, że ta branża jest z natury, strukturalnie, skłonna do upowszechniania. So that does hint that this industry is sort of structurally diffusive. 1:16:52 – Programowanie idzie szybko, ale badania nad AI to nadzbiór programowania i są w nich obszary, które szybko nie idą. I think coding is going fast, but I think AI research is a superset of coding and there are aspects of it that are not going fast. 1:17:00 Ale znowu: gdy opanujemy programowanie, gdy modele AI się rozpędzą, przyspieszy to zdolność modeli do robienia wszystkiego innego. But I do think, again, once we get coding, once we get AI models going fast, then that will speed up the ability of AI models to do everything else. 1:17:10 Więc choć teraz szybko idzie programowanie, sądzę, że gdy modele AI zaczną budować kolejne modele AI i całą resztę, cała gospodarka będzie szła mniej więcej w tym samym tempie. So while coding is going fast now, I think once the AI models are building the next AI models and building everything else, the whole economy will kind of go at the same pace. 1:17:22 Martwi mnie jednak aspekt geograficzny. I am worried geographically, though. 1:17:24 Trochę się obawiam, że sama bliskość AI, to, że się o niej słyszało, może być czynnikiem różnicującym. I'm a little worried that just proximity to AI, having heard about AI, may be one differentiator. 1:17:34 Kiedy mówiłem o tempie wzrostu 10–20%, martwi mnie, że mogłoby ono wynosić jakieś 50% w Dolinie Krzemowej i w tych częściach świata, które są z nią So when I said the 10-20% growth rate, a worry I have is that the growth rate could be like 50% in Silicon Valley and parts of the world that are socially connected to 1:17:46 powiązane społecznie, a gdzie indziej niewiele przewyższać obecne tempo. Silicon Valley, and not that much faster than its current pace elsewhere. 1:17:52 To byłby dość pokręcony świat. I think that'd be a pretty messed up world. 1:17:54 Dlatego sporo myślę o tym, jak temu zapobiec. So one of the things I think about a lot is how to prevent that. 1:17:57 – Czy uważasz, że gdy już będziemy mieć kraj geniuszy w centrum danych, robotyka zostanie szybko rozwiązana? Do you think that once we have this country of geniuses in a data center, that robotics is sort of quickly solved afterwards? 1:18:04 Bo wygląda na to, że dużym problemem robotyki jest to, że człowiek potrafi nauczyć się zdalnie sterować obecnym sprzętem, a obecne modele AI nie, a przynajmniej nie w naprawdę produktywny sposób. Because it seems like a big problem with robotics is that a human can learn how to teleoperate current hardware, but current AI models can't, at least not in a way that's super productive. 1:18:15 Więc jeśli zyskamy zdolność uczenia się jak człowiek, czy to nie powinno od razu rozwiązać też robotyki? And so if we have this ability to learn like a human, shouldn't it solve robotics immediately as well? 1:18:19 – Nie sądzę, żeby to zależało od uczenia się jak człowiek. I don't think it's dependent on learning like a human. 1:18:21 Może się to wydarzyć na różne sposoby. It could happen in different ways. 1:18:22 Znowu: moglibyśmy trenować model na wielu różnych grach wideo, które przypominają sterowanie robotem, albo w wielu różnych symulowanych środowiskach robotycznych, albo po prostu uczyć go obsługi ekranów komputera, Again, we could have trained the model on many different video games, which are like robotic controls, or many different simulated robotics environments, or just train them to control computer screens, 1:18:33 a modele uczą się uogólniać. and they learn to generalize. 1:18:34 Więc to się wydarzy… So it will happen... 1:18:37 niekoniecznie zależy to od uczenia się na wzór człowieka. it's not necessarily dependent on human-like learning. 1:18:41 Uczenie się jak człowiek to jedna z dróg. Human-like learning is one way it could happen. 1:18:43 Jeśli model myśli: „O, biorę robota, nie wiem, jak go używać, uczę się”, to może się tak stać, bo odkryliśmy uczenie ciągłe. If the model's like, "Oh, I pick up a robot, I don't know how to use it, I learn," that could happen because we discovered continual learning. 1:18:50 Ale może też dlatego, że wytrenowaliśmy model na mnóstwie środowisk i potem uogólnił, albo dlatego, że model uczy się tego w obrębie okna kontekstu. That could also happen because we trained the model on a bunch of environments and then generalized, or it could happen because the model learns that in the context length. 1:18:58 Właściwie nie ma znaczenia, którą drogą. It doesn't actually matter which way. 1:19:00 Jeśli wrócimy do rozmowy sprzed godziny: tego typu rzeczy mogą zajść na kilka różnych sposobów. If we go back to the discussion we had an hour ago, that type of thing can happen in several different ways. 1:19:10 Ale uważam, że kiedy – z jakiegokolwiek powodu – modele zdobędą te umiejętności, robotyka zostanie zrewolucjonizowana: zarówno projektowanie robotów, bo modele będą w tym znacznie lepsze od ludzi, But I do think when for whatever reason the models have those skills, then robotics will be revolutionized—both the design of robots, because the models will be much better than humans at that, 1:19:22 jak i zdolność sterowania robotami. and also the ability to control robots. 1:19:26 Będziemy więc lepiej budować fizyczny sprzęt, fizyczne roboty, i lepiej nimi sterować. So we'll get better at building the physical hardware, building the physical robots, and we'll also get better at controlling it. 1:19:32 Czy to znaczy, że branża robotyki też będzie generować biliony dolarów przychodu? Now, does that mean the robotics industry will also be generating trillions of dollars of revenue? 1:19:37 Moja odpowiedź brzmi: tak, ale nastąpi to samo bardzo szybkie, choć nie nieskończenie szybkie upowszechnianie. My answer there is yes, but there will be the same extremely fast, but not infinitely fast diffusion. 1:19:43 Czy więc robotyka zostanie zrewolucjonizowana? So will robotics be revolutionized? 1:19:46 Tak, może dorzućmy rok czy dwa. Yeah, maybe tack on another year or two. 1:19:50 Tak o tym myślę. That's the way I think about these things. 1:19:52 – Ma to sens. Panuje ogólny sceptycyzm wobec ekstremalnie szybkiego postępu. Makes sense. There's a general skepticism about extremely fast progress. 1:19:57 Oto mój pogląd. Here's my view. 1:19:58 Brzmi to tak, jakbyście w ten czy inny sposób rozwiązali uczenie ciągłe w ciągu kilku lat. It sounds like you are going to solve continual learning one way or another within a matter of years. 1:20:02 Ale tak jak parę lat temu nikt nie mówił o uczeniu ciągłym, a potem zdaliśmy sobie sprawę: „Czemu te modele nie są dziś tak użyteczne, jak mogłyby być, But just as people weren't talking about continual learning a couple of years ago, and then we realized, "Oh, why aren't these models as useful as they could be right now, 1:20:09 skoro wyraźnie przechodzą test Turinga i są ekspertami w tylu różnych dziedzinach? even though they are clearly passing the Turing test and are experts in so many different domains? 1:20:13 Może chodzi właśnie o to”. Maybe it's this thing." 1:20:15 Potem to rozwiązujemy i okazuje się, że jest jeszcze coś, co potrafi ludzka inteligencja, co leży u podstaw ludzkiej pracy, a czego te modele nie potrafią. Then we solve this thing and we realize, actually, there's another thing that human intelligence can do that's a basis of human labor that these models can't do. 1:20:23 Czemu więc nie zakładać, że będzie więcej takich rzeczy, kolejnych odkrytych elementów ludzkiej inteligencji? So why not think there will be more things like this, where we've found more pieces of human intelligence? 1:20:30 – Żeby było jasne: jak już mówiłem, uczenie ciągłe może w ogóle nie być barierą. Well, to be clear, I think continual learning, as I've said before, might not be a barrier at all. 1:20:37 Możemy tam dojść po prostu dzięki uogólnianiu z pretreningu i z uczenia ze wzmocnieniem (RL). I think we may just get there by pre-training generalization and RL generalization. 1:20:44 Może po prostu w ogóle nie ma czegoś takiego. I think there just might not be such a thing at all. 1:20:49 Wręcz wskazałbym na historię uczenia maszynowego: ludzie wymyślali bariery, które potem jakby rozpuszczały się w wielkiej masie mocy obliczeniowej. In fact, I would point to the history in ML of people coming up with things that are barriers that end up kind of dissolving within the big blob of compute. 1:20:59 Ludzie pytali: People talked about, 1:21:05 „Jak wasze modele śledzą rzeczowniki i czasowniki?” "How do your models keep track of nouns and verbs?" 1:21:09 „Rozumieją składnię, ale nie znaczenie? "They can understand syntactically, but they can't understand semantically? 1:21:14 To tylko korelacje statystyczne”. It's only statistical correlations." 1:21:16 „Zrozumiesz akapit, ale nie słowo. "You can understand a paragraph, you can’t understand a word. 1:21:19 Jest rozumowanie, a ty rozumować nie potrafisz”. There's reasoning, you can't do reasoning." 1:21:21 A potem nagle okazuje się, że modele świetnie radzą sobie z kodem i matematyką. But then suddenly it turns out you can do code and math very well. 1:21:24 Myślę więc, że mocniejsza jest historia rzeczy, które wydawały się wielkim problemem, a potem się rozpływały. So I think there's actually a stronger history of some of these things seeming like a big deal and then kind of dissolving. 1:21:34 Niektóre są prawdziwe. Some of them are real. 1:21:36 Potrzeba danych jest prawdziwa, może uczenie ciągłe też jest czymś realnym. The need for data is real, maybe continual learning is a real thing. 1:21:42 Ale znowu, oparłbym się na czymś takim jak kod. But again, I would ground us in something like code. 1:21:46 Myślę, że za rok czy dwa możemy dojść do punktu, w którym modele po prostu wykonują inżynierię oprogramowania od początku do końca. I think we may get to the point in a year or two where the models can just do SWE end-to-end. 1:21:51 To całe zadanie. That's a whole task. 1:21:53 Cała sfera ludzkiej aktywności, o której po prostu powiemy: teraz robią to modele. That's a whole sphere of human activity that we're just saying models can do now. 1:21:59 – Mówiąc „od początku do końca”, masz na myśli wyznaczanie kierunku technicznego, rozumienie kontekstu problemu i tak dalej? When you say end-to-end, do you mean setting technical direction, understanding the context of the problem, et cetera? 1:22:06 – Tak. Mam na myśli to wszystko. Yes. I mean all of that. 1:22:07 – Ciekawe. Mam wrażenie, że to jest zadanie AGI-zupełne, co może być wewnętrznie spójne. Interesting. I feel like that is AGI-complete, which maybe is internally consistent. 1:22:14 Ale to nie to samo co 90% kodu czy 100% kodu. But it's not like saying 90% of code or 100% of code. 1:22:19 – Nie, podałem całe spektrum: 90% kodu, 100% kodu, 90% inżynierii oprogramowania od początku do końca, 100% inżynierii od początku do końca. No, I gave this spectrum: 90% of code, 100% of code, 90% of end-to-end SWE, 100% of end-to-end SWE. 1:22:28 Dla inżynierów powstają nowe zadania. New tasks are created for SWEs. 1:22:30 W końcu one też zostają wykonane. Eventually those get done as well. 1:22:31 To długie spektrum, ale przemierzamy je bardzo szybko. It's a long spectrum there, but we're traversing the spectrum very quickly. 1:22:35 – Zabawne, widziałem kilka podcastów z tobą, w których prowadzący mówili: „Ale Dwarkesh napisał esej o tym uczeniu ciągłym”. I do think it's funny that I've seen a couple of podcasts you've done where the hosts will be like, "But Dwarkesh wrote the essay about the continuous learning thing." 1:22:43 Zawsze mnie to rozbawia, bo ty jesteś badaczem AI od 10 lat. It always makes me crack up because you've been an AI researcher for 10 years. 1:22:47 Na pewno masz poczucie w stylu: „No dobra, jakiś podcaster napisał esej i w każdym wywiadzie mnie o niego pytają”. I'm sure there's some feeling of, "Okay, so a podcaster wrote an essay, and every interview I get asked about it." 1:22:57 – Prawda jest taka, że wszyscy próbujemy to razem rozgryźć. The truth of the matter is that we're all trying to figure this out together. 1:23:01 Pod pewnymi względami widzę rzeczy, których inni nie widzą. There are some ways in which I'm able to see things that others aren't. 1:23:06 Dziś wynika to raczej z tego, że widzę mnóstwo rzeczy wewnątrz Anthropic i muszę podejmować mnóstwo decyzji, niż z jakichś wielkich badawczych przemyśleń, których inni nie mają. These days that probably has more to do with seeing a bunch of stuff within Anthropic and having to make a bunch of decisions than I have any great research insight that others don't. 1:23:17 Kieruję firmą, która ma 2500 osób. I'm running a 2,500 person company. 1:23:19 Naprawdę trudno mi o konkretne badawcze spostrzeżenia, dużo trudniej niż 10 lat temu czy nawet dwa, trzy lata temu. It's actually pretty hard for me to have concrete research insight, much harder than it would have been 10 years ago or even two or three years ago. 1:23:32 – Skoro zmierzamy ku światu pełnego zastąpienia pracownika zdalnego „od ręki”, czy model cenowy oparty na API wciąż ma największy sens? As we go towards a world of a full drop-in remote worker replacement, does an API pricing model still make the most sense? 1:23:42 A jeśli nie, to jak właściwie wyceniać czy dostarczać AGI? If not, what is the correct way to price AGI, or serve AGI? 1:23:45 – Myślę, że będzie tu mnóstwo różnych modeli biznesowych, testowanych równolegle. I think there's going to be a bunch of different business models here, all at once, that are going to be experimented with. 1:23:54 Uważam, że model API jest trwalszy, niż wielu ludzi sądzi. I actually do think that the API model is more durable than many people think. 1:24:03 Patrzę na to tak: jeśli technologia rozwija się szybko, wykładniczo, to zawsze istnieje obszar nowych zastosowań, które powstały One way I think about it is if the technology is advancing quickly, if it's advancing exponentially, what that means is there's always a surface area of new use cases that have been developed 1:24:16 w ciągu ostatnich trzech miesięcy. in the last three months. 1:24:19 Każda powierzchnia produktowa, którą wdrożysz, zawsze ryzykuje, że stanie się nieistotna. Any kind of product surface you put in place is always at risk of sort of becoming irrelevant. 1:24:27 Każda konkretna forma produktu ma pewnie sens dla określonego zakresu możliwości modelu. Any given product surface probably makes sense for a range of capabilities of the model. 1:24:32 Chatbot już dochodzi do ograniczeń: uczynienie go mądrzejszym niewiele pomaga przeciętnemu konsumentowi. The chatbot is already running into limitations where making it smarter doesn't really help the average consumer that much. 1:24:40 Ale nie sądzę, żeby to było ograniczenie modeli AI. But I don't think that's a limitation of AI models. 1:24:43 Nie uważam tego za dowód, że modele są wystarczająco dobre i ich poprawa nie ma znaczenia dla gospodarki. I don't think that's evidence that the models are good enough and them getting better doesn't matter to the economy. 1:24:51 Nie ma znaczenia dla tego konkretnego produktu. It doesn't matter to that particular product. 1:24:54 Myślę więc, że wartość API polega na tym, że zawsze daje możliwość, bardzo blisko „gołego metalu”, budowania na tym, co najnowsze. So I think the value of the API is that the API always offers an opportunity, very close to the bare metal, to build on what the latest thing is. 1:25:06 Zawsze będzie ten front nowych startupów i nowych pomysłów, które kilka miesięcy temu nie były możliwe, a są możliwe, bo model się rozwija. There's always going to be this front of new startups and new ideas that weren't possible a few months ago and are possible because the model is advancing. 1:25:19 Przewiduję, że będzie on istniał obok innych modeli, ale model biznesowy API zostanie z nami zawsze, bo zawsze będzie potrzeba, żeby tysiąc różnych osób I actually predict that it's going to exist alongside other models, but we're always going to have the API business model because there's always going to be a need for a thousand different people 1:25:34 próbowało eksperymentować z modelem na różne sposoby. to try experimenting with the model in a different way. 1:25:37 Sto z nich staje się startupami, a dziesięć dużymi startupami, które odniosły sukces. 100 of them become startups and ten of them become big successful startups. 1:25:42 Dwa czy trzy naprawdę stają się sposobem, w jaki ludzie korzystają z modelu danej generacji. Two or three really end up being the way that people use the model of a given generation. 1:25:47 Zasadniczo uważam więc, że to zawsze będzie istnieć. So I basically think it's always going to exist. 1:25:50 Jednocześnie jestem pewien, że będą też inne modele. At the same time, I'm sure there's going to be other models as well. 1:25:55 Nie każdy token wygenerowany przez model jest wart tyle samo. Not every token that's output by the model is worth the same amount. 1:26:00 Pomyśl, ile są warte tokeny, które model generuje, gdy ktoś się zgłasza i mówi: Think about what is the value of the tokens that the model outputs when someone calls them up and says, 1:26:11 „Mój Mac nie działa” czy coś w tym stylu, a model na to: „Uruchom go ponownie”. "My Mac isn't working," or something, the model's like, "restart it." 1:26:16 Ta osoba nie słyszała tego wcześniej, ale model powiedział to 10 milionów razy. Someone hasn't heard that before, but the model said that 10 million times. 1:26:22 Może to jest warte z dolara albo parę centów. Maybe that's worth like a dollar or a few cents or something. 1:26:26 Natomiast jeśli model trafia do firmy farmaceutycznej i mówi: „Słuchajcie, w tej cząsteczce, którą rozwijacie, weźcie pierścień aromatyczny z tego końca cząsteczki i Whereas if the model goes to one of the pharmaceutical companies and it says, "Oh, you know, this molecule you're developing, you should take the aromatic ring from that end of the molecule and 1:26:39 przenieście go na drugi koniec. put it on that end of the molecule. 1:26:42 Jeśli to zrobicie, wydarzą się wspaniałe rzeczy”. If you do that, wonderful things will happen." 1:26:46 Te tokeny mogą być warte dziesiątki milionów dolarów. Those tokens could be worth tens of millions of dollars. 1:26:52 Myślę więc, że na pewno zobaczymy modele biznesowe, które to uwzględnią. So I think we're definitely going to see business models that recognize that. 1:26:56 W którymś momencie zobaczymy jakąś formę „płatności za wyniki” albo formy wynagradzania przypominające pracę, At some point we're going to see "pay for results" in some form, or we may see forms of compensation that are like labor, 1:27:09 rozliczane godzinowo. that kind of work by the hour. 1:27:13 Nie wiem. I don't know. 1:27:14 Myślę, że skoro to nowa branża, wypróbuje się wiele rzeczy. I think because it's a new industry, a lot of things are going to be tried. 1:27:18 Nie wiem, co okaże się właściwe. I don't know what will turn out to be the right thing. 1:27:23 – Rozumiem, że ludzie będą musieli próbować różnych rzeczy, żeby odkryć, jak najlepiej używać tej masy inteligencji. I take your point that people will have to try things to figure out what is the best way to use this blob of intelligence. 1:27:28 Ale uderza mnie Claude Code. But what I find striking is Claude Code. 1:27:33 Nie sądzę, by w historii startupów była choć jedna aplikacja, o którą toczyłaby się tak zacięta rywalizacja jak o agentów programistycznych. I don't think in the history of startups there has been a single application that has been as hotly competed in as coding agents. 1:27:43 Claude Code jest liderem tej kategorii. Claude Code is a category leader here. 1:27:47 To mnie zaskakuje. That seems surprising to me. 1:27:49 Nie wydaje się, żeby z natury rzeczy to Anthropic musiał to zbudować. It doesn't seem intrinsically that Anthropic had to build this. 1:27:52 Ciekawi mnie, czy umiesz wyjaśnić, czemu to musiał być Anthropic albo jak to się stało, że Anthropic zbudował – oprócz samego modelu – aplikację, która odniosła sukces. I wonder if you have an accounting of why it had to be Anthropic or how Anthropic ended up building an application in addition to the model underlying it that was successful. 1:28:00 – Stało się to dość prosto: mieliśmy własne modele do programowania, które dobrze sobie z nim radziły. So it actually happened in a pretty simple way, which is that we had our own coding models, which were good at coding. 1:28:09 Na początku 2025 roku powiedziałem: „Myślę, że nadszedł czas, kiedy firma AI może dzięki tym modelom wyraźnie przyspieszyć własne badania”. Around the beginning of 2025, I said, "I think the time has come where you can have nontrivial acceleration of your own research if you're an AI company by using these models." 1:28:21 Oczywiście potrzebujesz interfejsu, potrzebujesz środowiska (harness), żeby z nich korzystać. Of course, you need an interface, you need a harness to use them. 1:28:25 Zachęcałem więc ludzi wewnętrznie. So I encouraged people internally. 1:28:27 Nie mówiłem, że to jest jedyna rzecz, której trzeba używać. I didn't say this is one thing that you have to use. 1:28:31 Powiedziałem tylko, że warto z tym eksperymentować. I just said people should experiment with this. 1:28:36 Chyba pierwotnie nazywało się to Claude CLI, a potem nazwa zmieniła się na Claude Code. I think it might have been originally called Claude CLI, and then the name eventually got changed to Claude Code. 1:28:41 Wewnętrznie wszyscy tego używali i szybko się to przyjmowało. Internally, it was the thing that everyone was using and it was seeing fast internal adoption. 1:28:48 Spojrzałem na to i powiedziałem: „Chyba powinniśmy to wypuścić na zewnątrz, prawda?” I looked at it and I said, "Probably we should launch this externally, right?" 1:28:53 Tak szybko przyjęło się w Anthropic. It's seen such fast adoption within Anthropic. 1:28:57 Programowanie to duża część tego, co robimy. Coding is a lot of what we do. 1:28:59 Mamy grono wielu setek osób, które pod pewnymi względami jest przynajmniej reprezentatywne dla odbiorców zewnętrznych. We have an audience of many, many hundreds of people that's in some ways at least representative of the external audience. 1:29:06 Wygląda więc na to, że mamy już dopasowanie produktu do rynku. So it looks like we already have product market fit. 1:29:08 Wypuśćmy to. Let's launch this thing. 1:29:10 No i wypuściliśmy. And then we launched it. 1:29:12 Myślę, że już sam fakt, że to my rozwijamy model i my wiemy, czego najbardziej potrzebujemy, żeby z niego korzystać, tworzy taką pętlę I think just the fact that we ourselves are kind of developing the model and we ourselves know what we most need to use the model, I think it's kind of creating this feedback 1:29:22 sprzężenia zwrotnego. – Rozumiem. loop. I see. 1:29:23 W tym sensie, że – powiedzmy – programista w Anthropic mówi: „Byłoby lepiej, gdyby był lepszy w tym X”. In the sense that you, let's say a developer at Anthropic is like, "Ah, it would be better if it was better at this X thing." 1:29:31 I wtedy wbudowujecie to w kolejny model. Then you bake that into the next model that you build. 1:29:35 – To jedna wersja, ale jest też zwykła iteracja produktu. That's one version of it, but then there's just the ordinary product iteration. 1:29:41 Mamy w Anthropic mnóstwo programistów, codziennie używają Claude Code, więc dostajemy szybką informację zwrotną. We have a bunch of coders within Anthropic, they use Claude Code every day and so we get fast feedback. 1:29:48 To było ważniejsze na początku. That was more important in the early days. 1:29:50 Teraz oczywiście używają go miliony ludzi, więc dostajemy też mnóstwo opinii z zewnątrz. Now, of course, there are millions of people using it, and so we get a bunch of external feedback as well. 1:29:55 Ale po prostu świetnie jest mieć szybką informację zwrotną od środka. But it's just great to be able to get kind of fast internal feedback. 1:30:02 Myślę, że to dlatego wypuściliśmy model do programowania, a nie założyliśmy firmy farmaceutycznej. I think this is the reason why we launched a coding model and didn't launch a pharmaceutical company. 1:30:09 Z wykształcenia jestem biologiem, ale nie mamy żadnych zasobów potrzebnych do założenia firmy farmaceutycznej. My background's in biology, but we don't have any of the resources that are needed to launch a pharmaceutical company. 06 · 1:31:19 Czy regulacje zniszczą korzyści z AGI?1:31:19 – Zapytam cię teraz o to, jak sprawić, żeby z AI wszystko poszło dobrze. Let me now ask you about making AI go well. 1:31:24 Wydaje się, że każda wizja dobrego scenariusza musi pogodzić dwie rzeczy: po pierwsze, umiejętność budowania i uruchamiania AI upowszechnia się błyskawicznie, a po drugie, It seems like whatever vision we have about how AI goes well has to be compatible with two things: 1) the ability to build and run AIs is diffusing extremely rapidly and 2) the 1:31:37 populacja AI – ich liczba i inteligencja – również będzie rosła bardzo szybko. population of AIs, the amount we have and their intelligence, will also increase very rapidly. 1:31:43 To znaczy, że mnóstwo ludzi będzie mogło tworzyć ogromne populacje źle dostrojonych AI albo AI, które są po prostu firmami dążącymi do poszerzenia swoich wpływów, albo mają dziwną psychikę jak That means that lots of people will be able to build huge populations of misaligned AIs, or AIs which are just companies which are trying to increase their footprint or have weird psyches like 1:31:55 Sydney z Binga, tyle że teraz nadludzkie. Sydney Bing, but now they're superhuman. 1:31:57 Jak wygląda wizja świata, w którym mamy równowagę możliwą do pogodzenia z mnóstwem różnych AI, z których część jest źle dostrojona, krążących swobodnie? What is a vision for a world in which we have an equilibrium that is compatible with lots of different AIs, some of which are misaligned, running around? 1:32:06 – W „The Adolescence of Technology” byłem sceptyczny wobec idei równowagi sił. I think in "The Adolescence of Technology", I was skeptical of the balance of power. 1:32:13 Konkretnie sceptyczny byłem wobec tego, że jeśli trzy czy cztery firmy budują modele But the thing I was specifically skeptical of is you have three or four of these companies all building models that are 1:32:31 wywodzące się z tego samego, to będą się nawzajem kontrolować. derived from the same thing, that they would check each other. 1:32:36 Albo nawet że jakakolwiek ich liczba będzie się nawzajem kontrolować. Or even that any number of them would check each other. 1:32:40 Możemy żyć w świecie, w którym przewagę ma atak – gdzie jedna osoba albo jeden model AI jest na tyle inteligentny, by wyrządzić szkody całej reszcie. We might live in an offense-dominant world where one person or one AI model is smart enough to do something that causes damage for everything else. 1:32:52 Na krótką metę mamy dziś ograniczoną liczbę graczy. In the short run, we have a limited number of players now. 1:32:55 Możemy więc zacząć od tej ograniczonej grupy. So we can start within the limited number of players. 1:32:58 Musimy wprowadzić zabezpieczenia. We need to put in place the safeguards. 1:33:03 Musimy dopilnować, żeby wszyscy rzetelnie pracowali nad dostrojeniem (alignment). We need to make sure everyone does the right alignment work. 1:33:05 Musimy dopilnować, żeby wszyscy mieli klasyfikatory zagrożeń biologicznych. We need to make sure everyone has bioclassifiers. 1:33:09 To są rzeczy, które trzeba zrobić od razu. Those are the immediate things we need to do. 1:33:11 Zgadzam się, że na dłuższą metę to nie rozwiązuje problemu – zwłaszcza jeśli zdolność modeli AI do tworzenia kolejnych modeli się rozpowszechni, całość może stać się trudniejsza do rozwiązania. I agree that that doesn't solve the problem in the long run, particularly if the ability of AI models to make other AI models proliferates, then the whole thing can become harder to solve. 1:33:26 Myślę, że w dłuższej perspektywie potrzebujemy jakiejś architektury zarządzania. I think in the long run we need some architecture of governance. 1:33:30 Architektury zarządzania, która chroni ludzką wolność, ale też pozwala nam zarządzać ogromną liczbą systemów ludzkich, We need some architecture of governance that preserves human freedom, but also allows us to govern a very large number of human systems, 1:33:45 systemów AI, hybrydowych firm ludzko-AI czy jednostek gospodarczych. AI systems, hybrid human-AI companies or economic units. 1:33:57 Będziemy więc musieli się zastanowić: jak ochronić świat przed bioterroryzmem? So we're gonna need to think about: how do we protect the world against bioterrorism? 1:34:04 Jak ochronić świat przed lustrzanym życiem? How do we protect the world against mirror life? 1:34:11 Prawdopodobnie będziemy potrzebować jakiegoś systemu monitoringu opartego na AI, który pilnuje wszystkich tych zagrożeń. Probably we're gonna need some kind of AI monitoring system that monitors for all of these things. 1:34:18 Ale trzeba go zbudować tak, by chronił swobody obywatelskie i nasze prawa konstytucyjne. But then we need to build this in a way that preserves civil liberties and our constitutional rights. 1:34:24 Myślę więc, że jak w każdej innej sytuacji to nowy krajobraz bezpieczeństwa z nowym zestawem narzędzi i nowym zestawem słabości. So I think just as anything else, it's a new security landscape with a new set of tools and a new set of vulnerabilities. 1:34:37 Martwi mnie to, że gdybyśmy mieli sto lat, żeby to wszystko działo się bardzo powoli, przyzwyczailibyśmy się. My worry is, if we had 100 years for this to happen all very slowly, we'd get used to it. 1:34:44 Przyzwyczailiśmy się do obecności materiałów wybuchowych w społeczeństwie, różnych nowych rodzajów broni czy kamer wideo. We've gotten used to the presence of explosives in society or the presence of various new weapons or the presence of video cameras. 1:34:58 Przez sto lat byśmy do tego przywykli i wypracowali mechanizmy zarządzania. We would get used to it over 100 years and we’d develop governance mechanisms. 1:35:02 Popełnilibyśmy swoje błędy. We'd make our mistakes. 1:35:04 Martwi mnie po prostu, że to wszystko dzieje się tak szybko. My worry is just that this is happening all so fast. 1:35:07 Może więc musimy szybciej przemyśleć, jak sprawić, żeby te mechanizmy zarządzania działały. So maybe we need to do our thinking faster about how to make these governance mechanisms work. 1:35:13 – Wydaje się, że w świecie, w którym przewagę ma atak, w ciągu następnego stulecia – a cała idea polega na tym, że AI sprawia, że postęp następnego stulecia dokonuje się w jakieś It seems like in an offense-dominant world, over the course of the next century—the idea is that AI is making the progress that would happen over the next century happen in some period of 1:35:22 pięć do dziesięciu lat – i tak potrzebowalibyśmy tych samych mechanizmów, a równowaga sił byłaby równie trudna do osiągnięcia, nawet gdyby w grze byli tylko ludzie. five to ten years—we would still need the same mechanisms, or balance of power would be similarly intractable, even if humans were the only game in town. 1:35:33 No, mamy jeszcze rady od AI. I guess we have the advice of AI. 1:35:36 Ale zasadniczo nie wygląda to na zupełnie inną grę. But it fundamentally doesn't seem like a totally different ball game here. 1:35:41 Jeśli system kontroli i równowagi miałby działać, to działałby też z ludźmi. If checks and balances were going to work, they would work with humans as well. 1:35:44 A jeśli nie zadziała, to z AI też nie. If they aren't going to work, they wouldn't work with AIs as well. 1:35:47 Więc może to po prostu przesądza także o losie ludzkiego systemu kontroli i równowagi. So maybe this just dooms human checks and balances as well. 1:35:50 – Powtórzę: myślę, że jest jakiś sposób, żeby to się udało. Again, I think there's some way to make this happen. 1:35:58 Rządy na świecie być może będą musiały współpracować, żeby to osiągnąć. The governments of the world may have to work together to make it happen. 1:36:02 Może będziemy musieli rozmawiać z AI o tym, jak budować struktury społeczne, żeby takie mechanizmy obronne były możliwe. We may have to talk to AIs about building societal structures in such a way that these defenses are possible. 1:36:11 Nie wiem. I don't know. 1:36:14 Nie chcę mówić, że to tak odległe w czasie, ale jest tak odległe pod względem możliwości technologicznych, które mogą pojawić się w krótkim czasie, I don’t want to say this is so far ahead in time, but it’s so far ahead in technological ability that may happen over a short period of time, 1:36:21 że trudno nam to przewidzieć z wyprzedzeniem. that it's hard for us to anticipate it in advance. 1:36:24 – Skoro mowa o zaangażowaniu rządów: 26 grudnia legislatura stanu Tennessee wniosła projekt ustawy, który mówił: „Przestępstwem jest świadome trenowanie sztucznej inteligencji w celu udzielania wsparcia emocjonalnego, Speaking of governments getting involved, on December 26, the Tennessee legislature introduced a bill which said, "It would be an offense for a person to knowingly train artificial intelligence to provide emotional support, 1:36:35 w tym poprzez swobodne rozmowy z użytkownikiem”. including through open-ended conversations with a user." 1:36:39 A przecież jedną z rzeczy, które Claude stara się robić, jest bycie rozważnym, dobrze poinformowanym przyjacielem. Of course, one of the things that Claude attempts to do is be a thoughtful, knowledgeable friend. 1:36:48 Ogólnie wygląda na to, że czeka nas mozaika przepisów stanowych. In general, it seems like we're going to have this patchwork of state laws. 1:36:51 Wiele korzyści, jakich zwykli ludzie mogliby doświadczyć dzięki AI, zostanie ograniczonych – zwłaszcza gdy dojdziemy do rzeczy, o których piszesz w „Machines of A lot of the benefits that normal people could experience as a result of AI are going to be curtailed, especially when we get into the kinds of things you discuss in "Machines of 1:36:59 Loving Grace”: wolność biologiczna, poprawa zdrowia psychicznego i tak dalej. Loving Grace": biological freedom, mental health improvements, et cetera. 1:37:02 Łatwo wyobrazić sobie świat, w którym różne ustawy po kolei to wszystko zduszą, a jednocześnie projekty takie jak ten zdają się w ogóle nie dotykać realnych egzystencjalnych zagrożeń, którymi się martwisz. It seems easy to imagine worlds in which these get Whac-A-Moled away by different laws, whereas bills like this don't seem to address the actual existential threats that you're concerned about. 1:37:15 Chciałbym zrozumieć, w kontekście takich rzeczy, sprzeciw Anthropic wobec federalnego moratorium na stanowe przepisy o AI. I'm curious to understand, in the context of things like this, Anthropic's position against the federal moratorium on state AI laws. 1:37:23 – Dzieje się tu naraz wiele różnych rzeczy. There are many different things going on at once. 1:37:28 Uważam, że ta konkretna ustawa jest głupia. I think that particular law is dumb. 1:37:32 Najwyraźniej napisali ją ustawodawcy, którzy pewnie mieli niewielkie pojęcie, co modele AI potrafią, a czego nie. It was clearly made by legislators who just probably had little idea what AI models could do and not do. 1:37:38 Myśleli coś w stylu: „Modele AI, które nam służą? To brzmi strasznie. They're like, "AI models serving us, that just sounds scary. 1:37:41 Nie chcę, żeby tak było”. I don't want that to happen." 1:37:42 Więc nie popieramy tego. So we're not in favor of that. 1:37:47 Ale nie nad tym głosowano. But that wasn't the thing that was being voted on. 1:37:49 Głosowano nad tym, że zakazujemy wszelkiej stanowej regulacji AI na 10 lat, bez widocznego planu jakiejkolwiek regulacji federalnej, The thing that was being voted on is: we're going to ban all state regulation of AI for 10 years with no apparent plan to do any federal regulation of AI, 1:38:01 która wymagałaby uchwalenia przez Kongres, a to bardzo wysoka poprzeczka. which would take Congress to pass, which is a very high bar. 1:38:05 Czyli pomysł, żeby zabronić stanom robienia czegokolwiek przez 10 lat… Mówiono, że jest plan dla rządu federalnego, ale żadnej konkretnej propozycji nie było na stole. So the idea that we'd ban states from doing anything for 10 years… People said they had a plan for the federal government, but there was no actual proposal on the table. 1:38:15 Nie było żadnej realnej próby. There was no actual attempt. 1:38:17 Biorąc pod uwagę poważne zagrożenia, które opisuję w „Adolescence of Technology” – broń biologiczna, bioterroryzm, ryzyko autonomii – i horyzonty czasowe, o których rozmawialiśmy, gdzie 10 lat to wieczność, uważam, że to Given the serious dangers that I lay out in "Adolescence of Technology" around things like biological weapons and bioterrorism autonomy risk, and the timelines we've been talking about—10 years is an eternity—I think that's 1:38:35 szalony pomysł. a crazy thing to do. 1:38:36 Więc jeśli taki jest wybór, jeśli do takiego wyboru nas zmuszacie, to wybierzemy brak moratorium. So if that's the choice, if that's what you force us to choose, then we're going to choose not to have that moratorium. 1:38:45 Myślę, że korzyści z tego stanowiska przewyższają koszty, ale nie jest to stanowisko idealne, jeśli wybór wygląda właśnie tak. I think the benefits of that position exceed the costs, but it's not a perfect position if that's the choice. 1:38:51 Uważam, że powinniśmy – i to bym poparł – żeby rząd federalny wkroczył i powiedział nie „stany, nie wolno wam regulować”, Now, I think the thing that we should do, the thing that I would support, is the federal government should step in, not saying "states you can't regulate", 1:39:00 tylko „oto co zrobimy, a stanom nie wolno od tego odstępować”. but "Here's what we're going to do, and states you can't differ from this." 1:39:06 Uważam, że nadrzędność prawa federalnego jest w porządku w tym sensie, że rząd federalny mówi: „Oto nasz standard. I think preemption is fine in the sense of saying that the federal government says, "Here is our standard. 1:39:11 Obowiązuje wszystkich. This applies to everyone. 1:39:12 Stany nie mogą robić inaczej”. States can't do something different." 1:39:14 To bym poparł, gdyby zostało zrobione właściwie. That would be something I would support if it would be done in the right way. 1:39:19 Ale pomysł w stylu: „Stany, nie możecie nic robić, a my też nic nie robimy” – to wydało nam się zupełnie bez sensu. But this idea of states, "You can't do anything and we're not doing anything either," that struck us as very much not making sense. 1:39:29 Myślę, że to się źle zestarzeje – już zaczyna się źle starzeć, sądząc po całej tej fali sprzeciwu, którą widzieliśmy. I think it will not age well, it is already starting to not age well with all the backlash that you've seen. 1:39:35 Jeśli chodzi o to, czego byśmy chcieli – mówiliśmy o tym, żeby zacząć od standardów przejrzystości, które pozwolą monitorować część ryzyk związanych z autonomią i bioterroryzmem. Now, in terms of what we would want, the things we've talked about are starting with transparency standards in order to monitor some of these autonomy risks and bioterrorism risks. 1:39:48 Gdy ryzyka będą coraz poważniejsze i będziemy mieć na nie więcej dowodów, myślę, że możemy działać ostrzej w pewnych wybranych obszarach i powiedzieć: As the risks become more serious, as we get more evidence for them, then I think we could be more aggressive in some targeted ways and say, 1:39:58 „Słuchajcie, bioterroryzm z użyciem AI to naprawdę zagrożenie. "Hey, AI bioterrorism is really a threat. 1:40:01 Uchwalmy prawo, które zobowiąże do stosowania klasyfikatorów”. Let's pass a law that forces people to have classifiers." 1:40:05 Mógłbym sobie nawet wyobrazić… To zależy. I could even imagine… It depends. 1:40:07 Zależy, jak poważne okaże się to zagrożenie. It depends how serious the threat it ends up being. 1:40:09 Nie wiemy tego na pewno. We don't know for sure. 1:40:10 Musimy podchodzić do tego intelektualnie uczciwie i przyznawać z góry, że to ryzyko jeszcze się nie pojawiło. We need to pursue this in an intellectually honest way where we say that ahead of time, the risk has not emerged yet. 1:40:16 Ale przy obecnym tempie zdecydowanie mogę sobie wyobrazić, że jeszcze w tym roku powiemy: „Słuchajcie, ten bioterroryzm z AI to naprawdę poważna sprawa. But I could certainly imagine, with the pace that things are going at, a world where later this year we say, "Hey, this AI bioterrorism stuff is really serious. 1:40:26 Powinniśmy coś z tym zrobić. We should do something about it. 1:40:28 Powinniśmy wpisać to do standardu federalnego. We should put it in a federal standard. 1:40:31 A jeśli rząd federalny nie zadziała, wpiszmy to do standardu stanowego”. If the federal government won't act, we should put it in a state standard." 1:40:34 W pełni to sobie wyobrażam. I could totally see that. 1:40:36 – Niepokoi mnie świat, w którym – jeśli weźmiesz pod uwagę tempo postępu, jakiego się spodziewasz, i cykl życia legislacji… I'm concerned about a world where if you just consider the pace of progress you're expecting, the life cycle of legislation... 1:40:46 Korzyści, jak sam mówisz, z powodu opóźnienia w upowszechnianiu przychodzą na tyle wolno, że naprawdę myślę, iż ta mozaika przepisów stanowych przy obecnym kursie by je zablokowała. The benefits are, as you say because of diffusion lag, slow enough that I really do think this patchwork of state laws, on the current trajectory, would prohibit. 1:40:57 Bo jeśli emocjonalny przyjaciel-czatbot tak ludzi przeraża, to wyobraź sobie te realne korzyści z AI, których chcemy, żeby doświadczali zwykli ludzie. I mean if having an emotional chatbot friend is something that freaks people out, then just imagine the kinds of actual benefits from AI we want normal people to be able to experience. 1:41:05 Od poprawy zdrowia i długości życia w zdrowiu po poprawę zdrowia psychicznego i tak dalej. From improvements in health and healthspan and improvements in mental health and so forth. 1:41:09 A jednocześnie wygląda na to, że twoim zdaniem zagrożenia już majaczą na horyzoncie, a ja po prostu nie widzę aż tak… Wydaje się, że to szczególnie uderzyłoby w Whereas at the same time, it seems like you think the dangers are already on the horizon and I just don't see that much… It seems like it would be especially injurious to the 1:41:20 korzyści z AI, a nie w zagrożenia z jej strony. benefits of AI as compared to the dangers of AI. 1:41:24 I może właśnie tu rachunek kosztów i korzyści mniej mi się spina. So that's maybe where the cost benefit makes less sense to me. 1:41:27 – Jest tu kilka kwestii. So there's a few things here. 1:41:29 Mówi się o tysiącach takich ustaw stanowych. People talk about there being thousands of these state laws. 1:41:32 Po pierwsze, ogromna, ogromna większość z nich nie przechodzi. First of all, the vast, vast majority of them do not pass. 1:41:39 W teorii świat działa w określony sposób, ale to, że ustawę uchwalono, nie znaczy, że jest naprawdę egzekwowana. The world works a certain way in theory, but just because a law has been passed doesn't mean it's really enforced. 1:41:44 Ludzie, którzy ją wdrażają, mogą stwierdzić: „O Boże, to jest głupie. The people implementing it may be like, "Oh my God, this is stupid. 1:41:48 To by oznaczało wyłączenie wszystkiego, co kiedykolwiek zbudowano w Tennessee”. It would mean shutting off everything that's ever been built in Tennessee." 1:41:55 Bardzo często prawo interpretuje się tak, żeby nie było aż tak niebezpieczne czy szkodliwe. Very often, laws are interpreted in a way that makes them not as dangerous or harmful. 1:42:02 Z drugiej strony, oczywiście, jeśli uchwalasz prawo, żeby powstrzymać coś złego, to też masz ten sam problem. On the same side, of course, you have to worry if you're passing a law to stop a bad thing; you have this problem as well. 1:42:12 W gruncie rzeczy uważam, że gdybyśmy mogli decydować, jakie prawa się uchwala i jak się działa – a jesteśmy tylko drobnym głosem w tym procesie – zderegulowałbym wiele rzeczy związanych My basic view is that if we could decide what laws were passed and how things were done—and we’re only one small input into that—I would deregulate a lot of the stuff around the 1:42:26 z korzyściami zdrowotnymi AI. health benefits of AI. 1:42:29 Ustawy o chatbotach nie martwią mnie aż tak bardzo. I don't worry as much about the chatbot laws. 1:42:33 Bardziej martwi mnie proces dopuszczania leków, bo sądzę, że modele AI ogromnie przyspieszą tempo odkrywania leków, I actually worry more about the drug approval process, where I think AI models are going to greatly accelerate the rate at which we discover drugs, 1:42:45 a cały ten kanał się zatka. and the pipeline will get jammed up. 1:42:47 Nie będzie przygotowany, żeby przerobić wszystko, co przez niego przechodzi. The pipeline will not be prepared to process all the stuff that's going through it. 1:42:55 Uważam, że reforma procesu regulacyjnego powinna bardziej uwzględniać to, że nadchodzi mnóstwo rzeczy, których bezpieczeństwo i skuteczność będą naprawdę wyraźne I think reform of the regulatory process should bias more towards the fact that we have a lot of things coming where the safety and efficacy is actually going to be really crisp and 1:43:05 i jednoznaczne – piękne i naprawdę skuteczne. clear, a beautiful thing, and really effective. 1:43:12 Może nie potrzebujemy całej tej nadbudowy, zaprojektowanej w epoce leków, które ledwo działały i często miały poważne skutki uboczne. Maybe we don't need all this superstructure around it that was designed around an era of drugs that barely work and often have serious side effects. 1:43:24 Jednocześnie uważam, że powinniśmy znacząco zaostrzać przepisy dotyczące bezpieczeństwa. At the same time, I think we should be ramping up quite significantly the safety and security legislation. 1:43:35 Jak już mówiłem, zaczynanie od przejrzystości to mój sposób, by nie hamować branży i znaleźć właściwą równowagę. Like I've said, starting with transparency is my view of trying not to hamper the industry, trying to find the right balance. 1:43:44 Martwię się tym. I'm worried about it. 1:43:45 Niektórzy krytykują mój esej, mówiąc: „To zbyt wolno. Some people criticize my essay for saying, "That's too slow. 1:43:49 Jeśli tak zrobimy, zagrożenia ze strony AI nadejdą za wcześnie”. The dangers of AI will come too soon if we do that." 1:43:51 Cóż, zasadniczo uważam, że ostatnie pół roku i być może kilka najbliższych miesięcy będą dotyczyć przejrzystości. Well, basically, I think the last six months and maybe the next few months are going to be about transparency. 1:43:58 A potem, jeśli te zagrożenia się zmaterializują i będziemy ich pewniejsi – co, jak sądzę, może nastąpić nawet pod koniec tego roku – musimy działać bardzo szybko w tych obszarach, Then, if these risks emerge when we're more certain of them—which I think we might be as soon as later this year—then I think we need to act very fast in the areas where 1:44:08 w których faktycznie zobaczyliśmy ryzyko. we've actually seen the risk. 1:44:10 Myślę, że jedyny sposób to być zwinnym. I think the only way to do this is to be nimble. 1:44:13 Proces legislacyjny zwykle zwinny nie jest, ale musimy uświadomić wszystkim zaangażowanym, jak pilna to sprawa. Now, the legislative process is normally not nimble, but we need to emphasize the urgency of this to everyone involved. 1:44:21 Dlatego wysyłam ten komunikat o pilności. That's why I'm sending this message of urgency. 1:44:24 Dlatego napisałem „The Adolescence of Technology”. That's why I wrote Adolescence of Technology. 1:44:26 Chciałem, żeby przeczytali go politycy, ekonomiści, specjaliści od bezpieczeństwa narodowego i decydenci – żeby mieli choć cień szansy zadziałać szybciej, niż zrobiliby to w innym razie. I wanted policymakers, economists, national security professionals, and decision-makers to read it so that they have some hope of acting faster than they would have otherwise. 1:44:38 – Czy jest coś, co możesz zrobić albo za czym możesz się opowiedzieć, żeby było pewniejsze, że korzyści z AI naprawdę się zmaterializują? Is there anything you can do or advocate that would make it more certain that the benefits of AI are better instantiated? 1:44:50 Mam wrażenie, że współpracowałeś z ustawodawcami w duchu: „Dobrze, zapobiegniemy tu bioterroryzmowi. I feel like you have worked with legislatures to say, "Okay, we're going to prevent bioterrorism here. 1:44:55 Zwiększymy przejrzystość, wzmocnimy ochronę sygnalistów”. We're going to increase transparency, we're going to increase whistleblower protection." 1:44:58 Ale mam wrażenie, że domyślnie korzyści, na które czekamy, są bardzo kruche wobec różnego rodzaju panik moralnych czy problemów ekonomii politycznej. But I think by default, the actual benefits we're looking forward to seem very fragile to different kinds of moral panics or political economy problems. 1:45:11 – Co do świata rozwiniętego, nie do końca się zgadzam. I don't actually agree that much regarding the developed world. 1:45:14 Mam wrażenie, że w świecie rozwiniętym rynki działają całkiem dobrze. I feel like in the developed world, markets function pretty well. 1:45:19 Kiedy na czymś można dużo zarobić i jest to wyraźnie najlepsza dostępna opcja, systemowi regulacyjnemu naprawdę trudno to zatrzymać. When there's a lot of money to be made on something and it's clearly the best available alternative, it's actually hard for the regulatory system to stop it. 1:45:29 Widzimy to w samej AI. We're seeing that in AI itself. 1:45:33 Walczę między innymi o kontrolę eksportu chipów do Chin. A thing I've been trying to fight for is export controls on chips to China. 1:45:38 To leży w interesie bezpieczeństwa narodowego USA. That's in the national security interest of the US. 1:45:42 To w pełni zgodne z poglądami politycznymi niemal wszystkich w Kongresie, z obu partii. That's squarely within the policy beliefs of almost everyone in Congress of both parties. 1:45:52 Sprawa jest bardzo jasna. The case is very clear. 1:45:53 Kontrargumenty nazwę uprzejmie podejrzanymi. The counterarguments against it, I'll politely call them fishy. 1:45:59 A jednak to się nie dzieje i sprzedajemy chipy, bo w grę wchodzą ogromne pieniądze. Yet it doesn't happen and we sell the chips because there's so much money riding on it. 1:46:08 Te pieniądze chcą zostać zarobione. That money wants to be made. 1:46:09 W tym przypadku to moim zdaniem zła rzecz. In that case, in my opinion, that's a bad thing. 1:46:13 Ale działa to także wtedy, gdy chodzi o coś dobrego. But it also applies when it's a good thing. 1:46:16 Więc jeśli mówimy o lekach i korzyściach z tej technologii, nie martwię się aż tak, że zostaną zahamowane w świecie rozwiniętym. So if we're talking about drugs and benefits of the technology, I am not as worried about those benefits being hampered in the developed world. 1:46:30 Trochę martwię się, że będą przychodzić zbyt wolno. I am a little worried about them going too slow. 1:46:33 Jak mówiłem, uważam, że powinniśmy dążyć do przyspieszenia procesu dopuszczania w FDA. As I said, I do think we should work to speed the approval process in the FDA. 1:46:39 Uważam też, że powinniśmy walczyć z tymi projektami ustaw o chatbotach, o których mówisz. I do think we should fight against these chatbot bills that you're describing. 1:46:43 Każdy z osobna – jestem przeciw. Described individually, I'm against them. 1:46:45 Uważam, że są głupie. I think they're stupid. 1:46:47 Ale większym zmartwieniem jest moim zdaniem świat rozwijający się, gdzie nie ma sprawnie działających rynków i gdzie często nie potrafimy budować na technologii, którą już mamy. But I actually think the bigger worry is the developing world, where we don't have functioning markets and where we often can't build on the technology that we've had. 1:46:57 Bardziej martwię się, że ci ludzie zostaną w tyle. I worry more that those folks will get left behind. 1:47:01 I martwię się, że nawet jeśli powstaną terapie, ktoś na wsi w Missisipi może nie mieć do nich takiego dostępu. And I worry that even if the cures are developed, maybe there's someone in rural Mississippi who doesn't get it as well. 1:47:06 To mniejsza wersja problemu, który mamy w świecie rozwijającym się. That's a smaller version of the concern we have in the developing world. 1:47:12 Dlatego współpracujemy z filantropami. So the things we've been doing are working with philanthropists. 1:47:19 Pracujemy z tymi, którzy dostarczają leki i pomoc medyczną do krajów rozwijających się – Afryki Subsaharyjskiej, We work with folks who deliver medicine and health interventions to the developing world, to sub-Saharan Africa, 1:47:31 Indii, Ameryki Łacińskiej i innych rozwijających się regionów świata. India, Latin America, and other developing parts of the world. 1:47:37 To jest coś, co moim zdaniem samo się nie wydarzy. That's the thing I think that won't happen on its own. 07 · 1:47:41 Czemu USA i Chiny nie mogą mieć obu „krajów geniuszy”?1:47:40 – Wspomniałeś o kontroli eksportu. You mentioned export controls. 1:47:42 Dlaczego zarówno USA, jak i Chiny nie miałyby mieć „kraju geniuszy w centrum danych”? Why shouldn't the US and China both have a "country of geniuses in a data center"? 1:47:48 – Dlaczego to się nie stanie, czy dlaczego nie powinno się stać? Why won’t it happen or why shouldn't it happen? 1:47:51 – Dlaczego nie powinno. Why shouldn't it happen. 1:47:54 – Jeśli do tego dojdzie, If this does happen, 1:48:01 możemy mieć kilka scenariuszy. we could have a few situations. 1:48:02 Jeśli przewagę będzie miał atak, możemy mieć sytuację jak z bronią jądrową, tylko groźniejszą. If we have an offense-dominant situation, we could have a situation like nuclear weapons, but more dangerous. 1:48:09 Każda ze stron mogłaby łatwo wszystko zniszczyć. Either side could easily destroy everything. 1:48:13 Możemy też mieć świat niestabilny. We could also have a world where it's unstable. 1:48:17 Równowaga nuklearna jest stabilna, bo opiera się na odstraszaniu. The nuclear equilibrium is stable because it's deterrence. 1:48:21 Ale powiedzmy, że nie wiadomo, która AI by wygrała, gdyby obie stanęły do walki. But let's say there was uncertainty about, if the two AIs fought, which AI would win? 1:48:27 To mogłoby wywołać niestabilność. That could create instability. 1:48:29 Do konfliktów często dochodzi, gdy obie strony różnie oceniają swoje szanse na zwycięstwo. You often have conflict when the two sides have a different assessment of their likelihood of winning. 1:48:34 Jeśli jedna strona myśli: „Mam 90% szans na wygraną”, a druga myśli to samo, to do starcia dojdzie znacznie łatwiej. If one side is like, "Oh yeah, there's a 90% chance I'll win," and the other side thinks the same, then a fight is much more likely. 1:48:42 Obie nie mogą mieć racji, ale obie mogą tak myśleć. They can't both be right, but they can both think that. 1:48:44 – Ale to wygląda na całkowicie ogólny argument przeciwko upowszechnianiu technologii AI. But this seems like a fully general argument against the diffusion of AI technology. 1:48:49 Taka jest implikacja tego świata. That's the implication of this world. 1:48:52 – Pozwól, że dokończę, bo myślę, że do upowszechnienia w końcu dojdzie. Let me just go on, because I think we will get diffusion eventually. 1:48:55 Drugie moje zmartwienie jest takie, że rządy będą za pomocą AI uciskać własnych obywateli. The other concern I have is that governments will oppress their own people with AI. 1:49:04 Martwi mnie świat, w którym jest kraj, gdzie rząd już buduje zaawansowane technologicznie państwo autorytarne. I'm worried about a world where you have a country in which there’s already a government that's building a high-tech authoritarian state. 1:49:20 Żeby było jasne: chodzi o rząd. To be clear, this is about the government. 1:49:21 Nie o ludzi. This is not about the people. 1:49:23 Musimy znaleźć sposób, by korzystali na tym ludzie wszędzie. We need to find a way for people everywhere to benefit. 1:49:25 Moje zmartwienie dotyczy rządów. My worry here is about governments. 1:49:29 Martwię się, że jeśli świat podzieli się na dwie części, jedna z nich może stać się autorytarna lub totalitarna w sposób bardzo trudny do odwrócenia. My worry is if the world gets carved up into two pieces, one of those two pieces could be authoritarian or totalitarian in a way that's very difficult to displace. 1:49:39 Czy rządy w końcu dostaną potężną AI i czy istnieje ryzyko autorytaryzmu? Now, will governments eventually get powerful AI, and is there a risk of authoritarianism? 1:49:45 Tak. Czy rządy w końcu dostaną potężną AI i czy istnieje ryzyko złych równowag? Yes. Will governments eventually get powerful AI, and is there a risk of bad equilibria? 1:49:53 Tak, myślę, że jedno i drugie. Yes, I think both things. 1:49:55 Ale warunki początkowe mają znaczenie. But the initial conditions matter. 1:49:58 W pewnym momencie będziemy musieli ustalić zasady gry. At some point, we're going to need to set up the rules of the road. 1:50:02 Nie twierdzę, że jeden kraj – czy to Stany Zjednoczone, czy koalicja demokracji, co uważam za lepszy układ, choć wymaga to więcej współpracy międzynarodowej, niż obecnie chcemy I'm not saying that one country, either the United States or a coalition of democracies—which I think would be a better setup, although it requires more international cooperation than we currently seem to want 1:50:12 podjąć – powinien po prostu oznajmić: „Oto zasady gry”. to make—should just say, "These are the rules of the road." 1:50:20 Będą jakieś negocjacje. There's going to be some negotiation. 1:50:22 Świat będzie musiał się z tym zmierzyć. The world is going to have to grapple with this. 1:50:25 Chciałbym, żeby demokratyczne państwa świata – te, których rządy są bliższe wartościom służącym ludziom – miały mocniejsze karty i większą siłę przetargową, gdy zasady gry będą What I would like is for the democratic nations of the world—those whose governments represent closer to pro-human values—are holding the stronger hand and have more leverage when the rules of the road are 1:50:43 ustalane. Ten warunek początkowy bardzo mnie więc niepokoi. set. So I'm very concerned about that initial condition. 1:50:46 – Przesłuchiwałem ponownie nasz wywiad sprzed trzech lat i jedno, co się w nim źle zestarzało, to że ciągle zadawałem pytania, zakładając jakiś kluczowy punkt zwrotny I was re-listening to the interview from three years ago, and one of the ways it aged poorly is that I kept asking questions assuming there was going to be some key fulcrum moment 1:50:56 za dwa, trzy lata. two to three years from now. 1:50:58 A z takiej odległości wygląda to po prostu tak, że postęp trwa, AI się poprawia, coraz bardziej się upowszechnia, a ludzie używają jej do coraz większej liczby rzeczy. In fact, being that far out, it just seems like progress continues, AI improves, AI is more diffused, and people will use it for more things. 1:51:05 Wygląda na to, że wyobrażasz sobie przyszły świat, w którym kraje się spotykają i mówią: „Oto zasady gry, oto nasza siła przetargowa, It seems like you're imagining a world in the future where the countries get together, and "Here's the rules of the road, here's the leverage we have, 1:51:11 a oto wasza”. and here's the leverage you have." 1:51:13 Ale przy obecnej trajektorii wszyscy będą mieli więcej AI. But on the current trajectory, everybody will have more AI. 1:51:18 Część tej AI będą wykorzystywać kraje autorytarne. Some of that AI will be used by authoritarian countries. 1:51:19 Część w krajach autorytarnych będą wykorzystywać podmioty prywatne, a nie państwowe. Some of that within the authoritarian countries will be used by private actors versus state actors. 1:51:24 Nie wiadomo, kto zyska więcej. It's not clear who will benefit more. 1:51:26 Zawsze trudno to przewidzieć z góry. It's always unpredictable to tell in advance. 1:51:28 Wygląda na to, że internet sprzyjał krajom autorytarnym bardziej, niż można się było spodziewać. It seems like the internet privileged authoritarian countries more than you would've expected. 1:51:33 Może z AI będzie odwrotnie. Maybe AI will be the opposite way around. 1:51:37 Chcę lepiej zrozumieć, co sobie wyobrażasz. I want to better understand what you're imagining here. 1:51:40 – Żeby to doprecyzować: uważam, że wykładniczy wzrost samej technologii będzie trwał tak jak dotąd. Just to be precise about it, I think the exponential of the underlying technology will continue as it has before. 1:51:47 Modele będą coraz mądrzejsze, nawet gdy dojdą do poziomu „kraju geniuszy w centrum danych”. The models get smarter and smarter, even when they get to a "country of geniuses in a data center." 1:51:53 Myślę, że model można dalej czynić mądrzejszym. I think you can continue to make the model smarter. 1:51:56 Pytanie, czy nie będzie malejących korzyści z jego wartości dla świata. There's a question of getting diminishing returns on their value in the world. 1:52:01 Jakie to ma znaczenie, kiedy już rozwiązało się ludzką biologię? How much does it matter after you've already solved human biology? 1:52:07 W pewnym momencie można rozwiązywać trudniejsze, bardziej zawiłe problemy matematyczne, ale nic ponad to nie ma już znaczenia. At some point you can do harder, more abstruse math problems, but nothing after that matters. 1:52:12 Pomijając to, uważam, że wykładnicza krzywa będzie trwać, ale będą na niej pewne wyróżnione punkty. Putting that aside, I do think the exponential will continue, but there will be certain distinguished points on the exponential. 1:52:20 Firmy, ludzie i kraje dotrą do tych punktów w różnym czasie. Companies, individuals, and countries will reach those points at different times. 1:52:26 W „The Adolescence of Technology” zastanawiam się: czy odstraszanie nuklearne pozostanie stabilne w świecie AI? In "The Adolescence of Technology" I talk about: Is a nuclear deterrent still stable in the world of AI? 1:52:38 Nie wiem, ale to przykład czegoś, co traktowaliśmy jako oczywiste. I don't know, but that's an example of one thing we've taken for granted. 1:52:42 Technologia może osiągnąć taki poziom, że nie będziemy już tego pewni. The technology could reach such a level that we can no longer be certain of it. 1:52:50 Pomyśl o innych. Think of others. 1:52:52 Są punkty, po których osiągnięciu może masz ofensywną dominację w cyberprzestrzeni i każdy system komputerowy staje się dla ciebie przejrzysty – chyba że druga strona ma równoważną obronę. There are points where if you reach a certain level, maybe you have offensive cyber dominance, and every computer system is transparent to you after that unless the other side has an equivalent defense. 1:53:06 Nie wiem, jaki jest ten krytyczny moment ani czy jest tylko jeden. I don't know what the critical moment is or if there's a single critical moment. 1:53:11 Ale myślę, że będzie albo krytyczny moment, albo kilka takich momentów, albo jakieś krytyczne okno, w którym AI daje dużą przewagę z perspektywy bezpieczeństwa narodowego, But I think there will be either a critical moment, a small number of critical moments, or some critical window where AI confers some large advantage from the perspective of national security, 1:53:27 a jeden kraj lub koalicja dotrze tam przed innymi. and one country or coalition has reached it before others. 1:53:34 Nie postuluję, żeby po prostu oznajmili: „Dobrze, teraz my tu rządzimy”. I'm not advocating that they just say, "Okay, we're in charge now." 1:53:38 Nie tak o tym myślę. That's not how I think about it. 1:53:42 Druga strona zawsze nadrabia. The other side is always catching up. 1:53:44 Są skrajne działania, na które nie jesteś gotów się zdecydować, a przejmowanie pełnej kontroli i tak nie jest słuszne. There are extreme actions you're not willing to take, and it's not right to take complete control anyway. 1:53:52 Ale kiedy to nastąpi, ludzie zrozumieją, że świat się zmienił. But at the point that happens, people are going to understand that the world has changed. 1:53:57 Będą jakieś negocjacje, ukryte lub jawne, o tym, jak ma wyglądać ład światowy po nadejściu AI. There's going to be some negotiation, implicit or explicit, about what the post-AI world order looks like. 1:54:08 Zależy mi na tym, żeby w tych negocjacjach klasyczna liberalna demokracja miała mocne karty. My interest is in making that negotiation be one in which classical liberal democracy has a strong hand. 1:54:23 – Chcę lepiej zrozumieć, co to znaczy, bo piszesz w eseju: „Autokracja po prostu nie jest formą rządów, którą ludzie mogą zaakceptować w epoce potężnej AI”. I want to understand what that better means, because you say in the essay, "Autocracy is simply not a form of government that people can accept in the post-powerful AI age." 1:54:33 Brzmi to tak, jakbyś mówił, że KPCh jako instytucja nie może istnieć, gdy już dojdziemy do AGI. That sounds like you're saying the CCP as an institution cannot exist after we get AGI. 1:54:40 To bardzo mocne żądanie i zdaje się zakładać świat, w którym wiodące laboratorium czy wiodący kraj będzie mógł – a według tego sformułowania That seems like a very strong demand, and it seems to imply a world where the leading lab or the leading country will be able to—and by that language, 1:54:52 powinien – decydować, jak rządzony jest świat i jakie rządy są dozwolone, a jakie nie. should get to—determine how the world is governed or what kinds of governments are, and are not, allowed. 1:55:02 – O ile pamiętam, ten akapit mówił mniej więcej: „Można pójść jeszcze dalej i powiedzieć X”. I believe that paragraph said something like, "You could take it even further and say X." 1:55:13 Niekoniecznie popierałem ten pogląd. I wasn't necessarily endorsing that view. 1:55:14 Mówiłem: „Oto słabsza teza, w którą wierzę. I was saying, "Here's a weaker thing that I believe. 1:55:21 Musimy bardzo uważać na autorytarystów, próbować ich powstrzymywać i ograniczać ich władzę. We have to worry a lot about authoritarians and we should try to check them and limit their power. 1:55:27 Można pójść znacznie dalej i przyjąć bardziej interwencjonistyczny pogląd, że państwa autorytarne z AI to samonapędzające się cykle, bardzo trudne do obalenia, You could take this much further and have a more interventionist view that says authoritarian countries with AI are these self-fulfilling cycles that are very hard to displace, 1:55:40 więc trzeba się ich pozbyć od samego początku”. so you just need to get rid of them from the beginning." 1:55:43 To ma dokładnie wszystkie problemy, o których mówisz. That has exactly all the problems you say. 1:55:47 Gdybyśmy zobowiązali się do obalenia każdego państwa autorytarnego, one już teraz podjęłyby szereg działań, które mogłyby prowadzić do destabilizacji. If you were to make a commitment to overthrowing every authoritarian country, they would take a bunch of actions now that could lead to instability. 1:56:00 To może być po prostu niewykonalne. That just may not be possible. 1:56:01 Ale teza, którą stawiałem i którą popieram, jest taka, że całkiem możliwe, że… But the point I was making that I do endorse is that it is quite possible that... 1:56:09 Dziś w większości świata zachodniego panuje pogląd – i to jest też mój pogląd – że demokracja jest lepszą formą rządów niż autorytaryzm. Today, the view, my view, in most of the Western world is that democracy is a better form of government than authoritarianism. 1:56:17 Ale jeśli jakiś kraj jest autorytarny, nie reagujemy tak, jak zareagowalibyśmy, gdyby popełnił ludobójstwo czy coś w tym rodzaju. But if a country’s authoritarian, we don’t react the way we’d react if they committed a genocide or something. 1:56:27 Chodzi mi chyba o to, że trochę się obawiam, że w epoce AGI autorytaryzm nabierze innego znaczenia. I guess what I'm saying is I'm a little worried that in the age of AGI, authoritarianism will have a different meaning. 1:56:33 Stanie się czymś poważniejszym. It will be a graver thing. 1:56:35 Tak czy inaczej musimy zdecydować, jak sobie z tym poradzić. We have to decide one way or another how to deal with that. 1:56:39 Pogląd interwencjonistyczny to jeden z możliwych. The interventionist view is one possible view. 1:56:41 Badałem takie poglądy. I was exploring such views. 1:56:46 Może się okazać słuszny, a może się okazać zbyt skrajny. It may end up being the right view, or it may end up being too extreme. 1:56:50 Ale mam nadzieję. But I do have hope. 1:56:52 Jedno źródło nadziei jest takie, że widzieliśmy, jak wraz z wynalezieniem nowych technologii pewne formy rządów stają się przestarzałe. One piece of hope I have is that we have seen that as new technologies are invented, forms of government become obsolete. 1:57:04 Wspomniałem o tym w „Adolescence of Technology”, gdzie pisałem, że feudalizm był w zasadzie formą rządów, a kiedy nastała industrializacja, I mentioned this in "Adolescence of Technology", where I said feudalism was basically a form of government, and when we invented industrialization, 1:57:17 feudalizm przestał być do utrzymania. feudalism was no longer sustainable. 1:57:19 Przestał mieć sens. It no longer made sense. 1:57:20 – Dlaczego to ma być nadzieja? Why is that hope? 1:57:21 Czy to nie mogłoby oznaczać, że demokracja przestanie być konkurencyjnym systemem? Couldn't that imply that democracy is no longer going to be a competitive system? 1:57:26 – No właśnie, może pójść w obie strony. Right, it could go either way. 1:57:29 Ale te problemy z autorytaryzmem się pogłębiają. But these problems with authoritarianism get deeper. 1:57:40 Zastanawiam się, czy to nie jest sygnał innych problemów, które autorytaryzm będzie miał. I wonder if that's an indicator of other problems that authoritarianism will have. 1:57:47 Innymi słowy: skoro autorytaryzm staje się gorszy, ludzie bardziej się go boją. In other words, because authoritarianism becomes worse, people are more afraid of it. 1:57:55 Bardziej się starają, żeby go powstrzymać. They work harder to stop it. 1:57:59 Trzeba myśleć w kategoriach pełnej równowagi. You have to think in terms of total equilibrium. 1:58:02 Zastanawiam się po prostu, czy to nie skłoni nas do nowych sposobów myślenia o tym, jak chronić i bronić wolności przy nowej technologii. I just wonder if it will motivate new ways of thinking about how to preserve and protect freedom with the new technology. 1:58:13 A jeszcze bardziej optymistycznie: czy doprowadzi to do zbiorowego rozrachunku i dobitniejszego uświadomienia sobie, jak ważne są niektóre rzeczy, które uważamy za prawa jednostki? Even more optimistically, will it lead to a collective reckoning and a more emphatic realization of how important some of the things we take as individual rights are? 1:58:27 Dobitniejszego uświadomienia sobie, że naprawdę nie możemy się ich zrzec. A more emphatic realization that we really can't give these away. 1:58:32 Przekonaliśmy się, że nie ma innego sposobu życia, który naprawdę działa. We've seen there's no other way to live that actually works. 1:58:38 Mam wręcz nadzieję – brzmi to zbyt idealistycznie, ale wierzę, że tak może być – że dyktatury staną się moralnie przestarzałe. I am actually hopeful that—it sounds too idealistic, but I believe it could be the case—dictatorships become morally obsolete. 1:58:50 Że staną się moralnie niewykonalną formą rządów, a kryzys, który to wywoła, wystarczy, by zmusić nas do znalezienia innej drogi. They become morally unworkable forms of government and the crisis that that creates is sufficient to force us to find another way. 1:59:03 – Myślę, że to naprawdę trudne pytanie i nie jestem pewien, jak je rozstrzygnąć. I think there is genuinely a tough question here which I'm not sure how you resolve. 1:59:07 W historii musieliśmy jakoś się wobec niego opowiadać. We've had to come out one way or another on it through history. 1:59:11 W przypadku Chin w latach 70. i 80. zdecydowaliśmy, że choć to system autorytarny, będziemy z nim współpracować. With China in the '70s and '80s, we decided that even though it's an authoritarian system, we will engage with it. 1:59:17 Z perspektywy czasu to była chyba dobra decyzja, bo to wciąż państwowy system autorytarny, ale ponad miliard ludzi jest dużo zamożniejszych i żyje lepiej, niż żyłoby inaczej. I think in retrospect that was the right call, because it’s a state authoritarian system but a billion-plus people are much wealthier and better off than they would've otherwise been. 1:59:25 Nie jest wcale jasne, że w przeciwnym razie przestałyby być krajem autorytarnym. It's not clear that it would've stopped being an authoritarian country otherwise. 1:59:28 Wystarczy spojrzeć na Koreę Północną jako przykład. You can just look at North Korea as an example of that. 1:59:32 Nie wiem, czy potrzeba aż tak dużo inteligencji, żeby pozostać krajem autorytarnym, który dalej konsoliduje własną władzę. I don't know if it takes that much intelligence to remain an authoritarian country that continues to coalesce its own power. 1:59:40 Można sobie wyobrazić Koreę Północną z AI dużo gorszą niż u wszystkich innych, ale wciąż wystarczającą, by utrzymać władzę. You can imagine a North Korea with an AI that's much worse than everybody else's, but still enough to keep power. 1:59:47 Ogólnie wydaje się, że powinniśmy po prostu przyjąć, że korzyści z AI – w postaci tego całego wzmocnienia ludzkości i zdrowia – będą ogromne. In general, it seems like we should just have this attitude that the benefits of AI—in the form of all these empowerments of humanity and health—will be big. 1:59:58 Historycznie uznawaliśmy, że dobrze jest szeroko rozpowszechniać korzyści z technologii, nawet wśród ludzi, których rządy są autorytarne. Historically, we have decided it's good to spread the benefits of technology widely, even to people whose governments are authoritarian. 2:00:05 Jak o tym myśleć w przypadku AI – to trudne pytanie, ale historycznie mówiliśmy: „tak, to świat o sumie dodatniej i wciąż warto upowszechniać technologię”. It is a tough question, how to think about it with AI, but historically we have said, "yes, this is a positive-sum world, and it's still worth diffusing the technology." 2:00:15 – Mamy wiele możliwych wyborów. There are a number of choices we have. 2:00:17 Ujmowanie tego jako decyzji między rządami w kategoriach bezpieczeństwa narodowego to jedna perspektywa, ale perspektyw jest wiele. Framing this as a government-to-government decision in national security terms is one lens, but there are a lot of other lenses. 2:00:27 Można wyobrazić sobie świat, w którym wytwarzamy mnóstwo leków na choroby. You could imagine a world where we produce all these cures to diseases. 2:00:33 Leki można spokojnie sprzedawać państwom autorytarnym, ale centrów danych już nie. The cures are fine to sell to authoritarian countries, but the data centers just aren't. 2:00:38 Chipów i centrów danych nie, a samego przemysłu AI też nie. The chips and the data centers aren't, and the AI industry itself isn't. 2:00:44 Jest też inna możliwość, nad którą moim zdaniem warto się zastanowić. Another possibility I think folks should think about is this. 2:00:49 Czy możliwe są zmiany – takie, które nastąpią naturalnie w wyniku AI, albo które możemy wywołać, budując technologie na AI – tworzące równowagę, w której staje się niewykonalne, by Could there be developments we can make—either that naturally happen as a result of AI, or that we could make happen by building technology on AI—that create an equilibrium where it becomes infeasible for 2:01:04 państwa autorytarne odmawiały swoim obywatelom prywatnego korzystania z dobrodziejstw technologii? authoritarian countries to deny their people private use of the benefits of the technology? 2:01:12 Czy istnieją takie stany równowagi, w których każdy w państwie autorytarnym dostaje własny model AI chroniący go przed inwigilacją, a władza autorytarna nie ma jak tego stłumić, Are there equilibria where we can give everyone in an authoritarian country their own AI model that defends them from surveillance and there isn't a way for the authoritarian country to crack down on 2:01:25 zachowując przy tym władzę? this while retaining power? 2:01:26 Nie wiem. I don't know. 2:01:27 Wydaje mi się, że gdyby to zaszło wystarczająco daleko, byłby to powód, dla którego państwa autorytarne rozpadałyby się od środka. That sounds to me like if that went far enough, it would be a reason why authoritarian countries would disintegrate from the inside. 2:01:35 Ale może istnieje świat pośredni, z równowagą, w której autorytaryści, jeśli chcą utrzymać władzę, nie mogą odmówić ludziom indywidualnego dostępu do technologii. But maybe there's a middle world where there's an equilibrium where, if they want to hold on to power, the authoritarians can't deny individualized access to the technology. 2:01:45 Ale tak naprawdę mam nadzieję na wersję bardziej radykalną. But I actually do have a hope for the more radical version. 2:01:50 Czy to możliwe, że technologia z natury ma pewne właściwości – albo że rozwijając ją w określony sposób, możemy takie właściwości stworzyć – które działają rozkładająco na struktury autorytarne? Is it possible that the technology might inherently have properties—or that by building on it in certain ways we could create properties—that have this dissolving effect on authoritarian structures? 2:02:03 Na początku mieliśmy nadzieję – przypomnij sobie początek administracji Obamy – że media społecznościowe i internet będą miały taką właściwość, a okazało się, że nie. Now, we hoped originally—think back to the beginning of the Obama administration—that social media and the internet would have that property, and it turns out not to. 2:02:15 Ale co, gdybyśmy spróbowali jeszcze raz, wiedząc, ile rzeczy może pójść źle, i pamiętając, że to inna technologia? But what if we could try again with the knowledge of how many things could go wrong, and that this is a different technology? 2:02:23 Nie wiem, czy by to zadziałało, ale warto spróbować. I don't know if it would work, but it's worth a try. 2:02:26 To po prostu bardzo nieprzewidywalne. It's just very unpredictable. 2:02:28 Są fundamentalne powody, dla których autorytaryzm mógłby być uprzywilejowany. There are first principles reasons why authoritarianism might be privileged. 2:02:30 Wszystko to jest bardzo nieprzewidywalne. It's all very unpredictable. 2:02:34 Musimy po prostu dostrzec problem, wymyślić dziesięć rzeczy, które możemy wypróbować, wypróbować je, a potem ocenić, które – jeśli w ogóle – działają. We just have to recognize the problem and come up with 10 things we can try, try those, and then assess which ones are working, if any. 2:02:44 A potem próbować nowych, jeśli stare nie działają. Then try new ones if the old ones aren't working. 2:02:46 – Ale w praktyce sprowadza się to dziś, jak mówisz, do tego, że nie sprzedamy Chinom centrów danych, chipów ani zdolności do produkcji chipów. But I guess that nets out to today, as you say, that we will not sell data centers, or chips, and the ability to make chips to China. 2:02:55 Więc w pewnym sensie odmawiasz… Byłyby jakieś korzyści dla chińskiej gospodarki, dla Chińczyków i tak dalej, z tego, że byśmy to robili. So in some sense, you are denying… There would be some benefits to the Chinese economy, Chinese people, et cetera, because we're doing that. 2:03:02 A byłyby też korzyści dla gospodarki amerykańskiej, bo to świat o sumie dodatniej. Then there'd also be benefits to the American economy because it's a positive-sum world. 2:03:06 Moglibyśmy handlować. We could trade. 2:03:06 Ich centra danych mogłyby robić jedno. They could have their country's data centers doing one thing. 2:03:08 Nasze – co innego. We could have ours doing another. 2:03:10 A ty już teraz mówisz, że ta premia z sumy dodatniej nie jest warta wzmacniania tych krajów? Already, you're saying it's not worth that positive-sum stipend to empower those countries? 2:03:18 – Powiedziałbym tak: wkrótce znajdziemy się w świecie, w którym wzrost i wartość ekonomiczna przyjdą bardzo łatwo, jeśli zdołamy zbudować te potężne modele AI. What I would say is that we are about to be in a world where growth and economic value will come very easily if we're able to build these powerful AI models. 2:03:32 To, co łatwo nie przyjdzie, to podział korzyści, podział bogactwa, wolność polityczna. What will not come easily is distribution of benefits, distribution of wealth, political freedom. 2:03:40 To są rzeczy, które trudno będzie osiągnąć. These are the things that are going to be hard to achieve. 2:03:43 Więc kiedy myślę o polityce, uważam – to moje fundamentalne przekonanie – że technologia i rynek dostarczą wszystkie podstawowe korzyści niemal szybciej, niż będziemy w stanie je przyjąć. So when I think about policy, I think that the technology and the market will deliver all the fundamental benefits, this is my fundamental belief, almost faster than we can take them. 2:03:55 To pytania o podział, wolność polityczną i prawa naprawdę będą miały znaczenie i na nich powinna się skupić polityka. These questions about distribution and political freedom and rights are the ones that will actually matter and that policy should focus on. 2:04:04 – Skoro mowa o podziale: jak wspomniałeś, są kraje rozwijające się. Speaking of distribution, as you were mentioning, we have developing countries. 2:04:11 W wielu przypadkach wzrost doganiający był słabszy, niż byśmy chcieli. In many cases, catch-up growth has been weaker than we would have hoped for. 2:04:14 Ale kiedy już następuje, to zasadniczo dlatego, że mają niewykorzystaną siłę roboczą. But when catch-up growth does happen, it's fundamentally because they have underutilized labor. 2:04:18 Możemy przenieść kapitał i know-how z krajów rozwiniętych do tych krajów, a wtedy mogą rosnąć bardzo szybko. We can bring the capital and know-how from developed countries to these countries, and then they can grow quite rapidly. 2:04:23 Oczywiście w świecie, w którym praca nie jest już czynnikiem ograniczającym, ten mechanizm przestaje działać. Obviously, in a world where labor is no longer the constraining factor, this mechanism no longer works. 2:04:30 Czy więc nadzieja polega w zasadzie na filantropii ludzi albo krajów, które od razu wzbogacą się na AI? So is the hope basically to rely on philanthropy from the people or countries who immediately get wealthy from AI? 2:04:37 Na czym polega ta nadzieja? What is the hope? 2:04:38 – Filantropia oczywiście powinna odgrywać jakąś rolę, tak jak w przeszłości. Philanthropy should obviously play some role, as it has in the past. 2:04:44 Ale uważam, że wzrost jest zawsze lepszy i silniejszy, jeśli uda się go uczynić endogenicznym. But I think growth is always better and stronger if we can make it endogenous. 2:04:50 Jakie branże mają znaczenie w świecie napędzanym przez AI? What are the relevant industries in an AI-driven world? 2:04:57 Mówiłem, że nie powinniśmy budować centrów danych w Chinach, ale nie ma powodu, by nie budować ich w Afryce. I said we shouldn't build data centers in China, but there's no reason we shouldn't build data centers in Africa. 2:05:02 Wręcz uważam, że budowanie centrów danych w Afryce byłoby świetne. In fact, I think it'd be great to build data centers in Africa. 2:05:06 Dopóki nie należą do Chin, powinniśmy budować centra danych w Afryce. As long as they're not owned by China, we should build data centers in Africa. 2:05:10 Myślę, że to świetny pomysł. I think that's a great thing to do. 2:05:16 Nie ma powodu, dla którego nie moglibyśmy zbudować tam przemysłu farmaceutycznego napędzanego przez AI. There's no reason we can't build a pharmaceutical industry that's AI-driven. 2:05:22 Jeśli AI przyspiesza odkrywanie leków, powstanie mnóstwo startupów biotechnologicznych. If AI is accelerating drug discovery, then there will be a bunch of biotech startups. 2:05:28 Zadbajmy o to, żeby część z nich powstała w krajach rozwijających się. Let's make sure some of those happen in the developing world. 2:05:30 Z pewnością w okresie przejściowym – o momencie, w którym ludzie nie mają już żadnej roli, możemy jeszcze porozmawiać – ludzie wciąż będą odgrywać jakąś rolę w zakładaniu tych firm i nadzorowaniu modeli AI. Certainly, during the transition—we can talk about the point where humans have no role—humans will still have some role in starting up these companies and supervising the AI models. 2:05:41 Zadbajmy więc o to, żeby część tych ludzi była w krajach rozwijających się, tak by i tam mógł nastąpić szybki wzrost. So let's make sure some of those humans are in the developing world so that fast growth can happen there as well. 08 · 2:05:46 Konstytucja Claude'a2:05:46 – Niedawno ogłosiliście, że Claude będzie miał konstytucję zgodną z określonym zestawem wartości, a nie tylko z wolą użytkownika końcowego. You guys recently announced that Claude is going to have a constitution that's aligned to a set of values, and not necessarily just to the end user. 2:05:52 Potrafię sobie wyobrazić świat, w którym model dopasowany do użytkownika końcowego zachowuje dzisiejszą równowagę sił, bo każdy ma własną There's a world I can imagine where if it is aligned to the end user, it preserves the balance of power we have in the world today because everybody gets to have their own 2:05:59 AI, która działa w jego interesie. AI that's advocating for them. 2:06:02 Proporcja złych aktorów do dobrych pozostaje stała. The ratio of bad actors to good actors stays constant. 2:06:04 W dzisiejszym świecie to się chyba sprawdza. It seems to work out for our world today. 2:06:07 Dlaczego lepiej tego nie robić, tylko dać AI konkretny zestaw wartości, które ma nieść dalej? Why is it better not to do that, but to have a specific set of values that the AI should carry forward? 2:06:15 – Nie jestem pewien, czy postawiłbym to rozróżnienie właśnie tak. I'm not sure I'd quite draw the distinction in that way. 2:06:18 Są tu chyba dwa istotne rozróżnienia. There may be two relevant distinctions here. 2:06:22 Myślę, że mówisz o mieszance obu. I think you're talking about a mix of the two. 2:06:24 Pierwsze: czy dać modelowi zestaw instrukcji typu „rób to”, „tego nie rób”? One is, should we give the model a set of instructions about "do this" versus "don't do this"? 2:06:31 Drugie: czy dać modelowi zestaw zasad, jak ma postępować? The other is, should we give the model a set of principles for how to act? 2:06:44 To czysto praktyczna, empiryczna obserwacja. It's kind of purely a practical and empirical thing that we've observed. 2:06:48 Gdy uczymy model zasad, gdy uczy się na ich podstawie, jego zachowanie jest spójniejsze, łatwiej objąć przypadki brzegowe i model częściej robi to, czego ludzie od niego By teaching the model principles, getting it to learn from principles, its behavior is more consistent, it's easier to cover edge cases, and the model is more likely to do what people want it 2:06:59 chcą. Innymi słowy, jeśli dasz mu listę reguł – „nie mów ludziom, jak odpalić auto na krótko, nie mów po koreańsku” – on tak naprawdę tych reguł nie rozumie to do. In other words, if you give it a list of rules—"don't tell people how to hot-wire a car, don't speak in Korean"—it doesn't really understand the rules, 2:07:11 i trudno mu z nich uogólniać. and it's hard to generalize from them. 2:07:15 To tylko lista nakazów i zakazów. It’s just a list of do’s and don’t’s. 2:07:18 Natomiast jeśli dasz mu zasady – ma kilka twardych barier, jak „nie twórz broni biologicznej”, ale ogólnie chodzi o to, by rozumiał, do czego powinien dążyć Whereas if you give it principles—it has some hard guardrails like "Don't make biological weapons" but—overall you're trying to understand what it should be aiming to do, 2:07:28 i jak powinien działać. how it should be aiming to operate. 2:07:30 Więc czysto praktycznie to okazuje się skuteczniejszy sposób trenowania modelu. So just from a practical perspective, that turns out to be a more effective way to train the model. 2:07:35 To jest kompromis między regułami a zasadami. That's the rules versus principles trade-off. 2:07:40 Jest też druga rzecz, o którą pytasz: kompromis między korygowalnością a wewnętrzną motywacją. Then there's another thing you're talking about, which is the corrigibility versus intrinsic motivation trade-off. 2:07:51 Na ile model ma być czymś w rodzaju „kostiumu ze skóry”, który po prostu wykonuje polecenia tego, kto akurat je wydaje, How much should the model be a kind of "skin suit" where it just directly follows the instructions given to it by whoever is giving those instructions, 2:08:06 a na ile ma mieć własny zestaw wartości i samodzielnie ruszać do działania? versus how much should the model have an inherent set of values and go off and do things on its own? 2:08:14 Tu powiedziałbym, że wszystko w tym modelu jest bliżej kierunku, w którym przeważnie robi to, czego chcą ludzie. There I would actually say everything about the model is closer to the direction that it should mostly do what people want. 2:08:23 Przeważnie powinien wykonywać polecenia. It should mostly follow instructions. 2:08:24 Nie próbujemy zbudować czegoś, co odejdzie i samo będzie rządzić światem. We're not trying to build something that goes off and runs the world on its own. 2:08:29 Jesteśmy właściwie dość daleko po stronie korygowalności. We're actually pretty far on the corrigible side. 2:08:31 Mówimy natomiast, że są pewne rzeczy, których model nie zrobi. Now, what we do say is there are certain things that the model won't do. 2:08:37 W konstytucji mówimy to na różne sposoby: w normalnych okolicznościach, jeśli ktoś prosi model o wykonanie zadania, model powinien je wykonać. I think we say it in various ways in the constitution, that under normal circumstances, if someone asks the model to do a task, it should do that task. 2:08:45 To powinno być domyślne. That should be the default. 2:08:48 Ale jeśli prosisz go o coś niebezpiecznego albo o skrzywdzenie kogoś, model tego nie zrobi. But if you've asked it to do something dangerous, or to harm someone else, then the model is unwilling to do that. 2:09:01 Więc myślę o nim jako o modelu w większości korygowalnym, który ma pewne granice, ale te granice wynikają z zasad. So I actually think of it as a mostly corrigible model that has some limits, but those limits are based on principles. 2:09:10 – Wtedy zasadnicze pytanie brzmi: jak te zasady się ustala? Then the fundamental question is, how are those principles determined? 2:09:14 To nie jest pytanie wyłącznie do Anthropic. This is not a special question for Anthropic. 2:09:15 Dotyczy każdej firmy AI. This would be a question for any AI company. 2:09:17 Ale skoro to wy faktycznie spisaliście te zasady, mogę zadać je tobie. But because you have been the ones to actually write down the principles, I get to ask you this question. 2:09:25 Zwykle konstytucję się spisuje, zostaje wyryta w kamieniu, a jej aktualizowanie i zmienianie ma swoją procedurę. Normally, a constitution is written down, set in stone, and there's a process of updating it and changing it and so forth. 2:09:32 Tu wygląda to na dokument pisany przez ludzi z Anthropic, który można zmienić w każdej chwili, a który kieruje zachowaniem systemów mających stać się podstawą In this case, it seems like a document that people at Anthropic write, that can be changed at any time, that guides the behavior of systems that are going to be the basis of 2:09:42 dużej części działalności gospodarczej. a lot of economic activity. 2:09:45 Jak myślisz, w jaki sposób powinno się ustalać te zasady? How do you think about how those principles should be set? 2:09:50 – Myślę, że są tu może trzy pętle różnej wielkości, trzy sposoby iterowania. I think there are maybe three sizes of loop here, three ways to iterate. 2:09:58 Pierwsza: iterujemy wewnątrz Anthropic. One is we iterate within Anthropic. 2:10:00 Trenujemy model, nie jesteśmy z niego zadowoleni, więc zmieniamy konstytucję. We train the model, we're not happy with it, and we change the constitution. 2:10:03 Uważam, że warto tak robić. I think that's good to do. 2:10:06 Publikowanie co jakiś czas aktualizacji konstytucji jest dobre, bo ludzie mogą je komentować. Putting out public updates to the constitution every once in a while is good because people can comment on it. 2:10:13 Druga pętla to różne firmy z różnymi konstytucjami. The second level of loop is different companies having different constitutions. 2:10:19 Myślę, że to przydatne. I think it’s useful. 2:10:20 Anthropic publikuje konstytucję, Gemini publikuje konstytucję, inne firmy też. Anthropic puts out a constitution, Gemini puts out a constitution, and other companies put out a constitution. 2:10:28 Ludzie mogą je przejrzeć i porównać. People can look at them and compare. 2:10:31 Zewnętrzni obserwatorzy mogą je krytykować i mówić: „Podoba mi się to z tej konstytucji, a tamto z tamtej”. Outside observers can critique and say, "I like this thing from this constitution and this thing from that constitution." 2:10:40 To tworzy miękką zachętę i informację zwrotną, żeby wszystkie firmy brały to, co najlepsze z każdego elementu, i się poprawiały. That creates a soft incentive and feedback for all the companies to take the best of each element and improve. 2:10:47 Jest też trzecia pętla: społeczeństwo poza firmami AI i poza tymi, którzy tylko komentują, nie mając realnej władzy. Then I think there's a third loop, which is society beyond the AI companies and beyond just those who comment without hard power. 2:10:59 Tu przeprowadziliśmy kilka eksperymentów. There we've done some experiments. 2:11:01 Kilka lat temu z Collective Intelligence Project zrobiliśmy eksperyment, w którym w zasadzie pytaliśmy ludzi, co powinno się znaleźć w naszej konstytucji AI. A couple years ago, we did an experiment with the Collective Intelligence Project to basically poll people and ask them what should be in our AI constitution. 2:11:15 Wtedy wprowadziliśmy część tych zmian. At the time, we incorporated some of those changes. 2:11:17 Można więc sobie wyobrazić coś podobnego przy nowym podejściu, które przyjęliśmy do konstytucji. So you could imagine doing something like that with the new approach we've taken to the constitution. 2:11:22 To trochę trudniejsze, bo łatwiej było tak robić, gdy konstytucja była listą nakazów i zakazów. It's a little harder because it was an easier approach to take when the constitution was a list of dos and don'ts. 2:11:29 Na poziomie zasad musi mieć pewną spójność. At the level of principles, it has to have a certain amount of coherence. 2:11:32 Ale nadal można sobie wyobrazić zbieranie opinii od bardzo różnych ludzi. But you could still imagine getting views from a wide variety of people. 2:11:37 Można też sobie wyobrazić – to szalony pomysł, ale cały ten wywiad jest o szalonych pomysłach – że głos mają systemy rządów przedstawicielskich. You could also imagine—and this is a crazy idea, but this whole interview is about crazy ideas—systems of representative government having input. 2:11:52 Dziś bym tego nie robił, bo proces legislacyjny jest bardzo powolny. I wouldn't do this today because the legislative process is so slow. 2:11:55 Właśnie dlatego uważam, że powinniśmy być ostrożni z procesem legislacyjnym i regulacją AI. This is exactly why I think we should be careful about the legislative process and AI regulation. 2:11:59 Ale w zasadzie nic nie stoi na przeszkodzie, żeby powiedzieć: „Wszystkie modele AI muszą mieć konstytucję, która zaczyna się od tych punktów, a potem możecie dopisać inne rzeczy, But there's no reason you couldn't, in principle, say, "All AI models have to have a constitution that starts with these things, and then you can append other things after it, 2:12:12 ale musi być ta specjalna sekcja, która ma pierwszeństwo”. but there has to be this special section that takes precedence." 2:12:16 Ja bym tego nie robił. I wouldn't do that. 2:12:16 To zbyt sztywne i brzmi nadmiernie nakazowo – tak, jak moim zdaniem nakazowe jest zbyt agresywne prawodawstwo. That's too rigid and sounds overly prescriptive in a way that I think overly aggressive legislation is. 2:12:26 Ale to jest coś, czego można by spróbować. But that is a thing you could try to do. 2:12:30 Czy istnieje jakaś znacznie łagodniejsza wersja tego? Is there some much less heavy-handed version of that? 2:12:33 Być może. – Bardzo podoba mi się pętla numer dwa. Maybe. I really like control loop two. 2:12:37 Oczywiście nie tak działają, ani nie powinny działać, konstytucje prawdziwych państw. Obviously, this is not how constitutions of actual governments do or should work. 2:12:42 Nie jest tak, że Sąd Najwyższy jakoś mgliście wyczuwa nastroje ludzi – jaki jest klimat – i odpowiednio aktualizuje konstytucję. There's not this vague sense in which the Supreme Court will feel out how people are feeling—what are the vibes—and update the constitution accordingly. 2:12:50 W prawdziwych państwach jest bardziej formalna procedura. With actual governments, there's a more formal, procedural process. 2:12:54 Ale masz wizję konkurencji między konstytucjami, która bardzo przypomina to, jak niektórzy libertarianie od miast czarterowych opowiadali, jak mógłby wyglądać archipelag różnych rodzajów rządów. But you have a vision of competition between constitutions, which is actually very reminiscent of how some libertarian charter cities people used to talk, about what an archipelago of different kinds of governments would 2:13:08 Następowałaby selekcja: które działają najskuteczniej i gdzie ludzie są najszczęśliwsi. look like. There would be selection among them of who could operate the most effectively and where people would be the happiest. 2:13:15 W pewnym sensie odtwarzasz tę wizję utopii archipelagów. In a sense, you're recreating that vision of a utopia of archipelagos. 2:13:23 – Myślę, że ta wizja ma swoje zalety, ale ma też rzeczy, które w niej pójdą źle. I think that vision has things to recommend it and things that will go wrong with it. 2:13:31 To ciekawa, pod pewnymi względami przekonująca wizja, ale pójdą źle rzeczy, których sobie nie wyobrażałeś. It's an interesting, in some ways compelling, vision, but things will go wrong that you hadn't imagined. 2:13:37 Więc pętla druga też mi się podoba, ale czuję, że całość musi być jakąś mieszanką pętli pierwszej, drugiej i trzeciej, a chodzi o proporcje. So I like loop two as well, but I feel like the whole thing has got to be some mix of loops one, two, and three, and it's a matter of the proportions. 2:13:48 Myślę, że taka musi być odpowiedź. I think that's gotta be the answer. 2:13:52 – Kiedy ktoś w końcu napisze odpowiednik „Jak powstała bomba atomowa” dla tej epoki, co będzie najtrudniej wyczytać z zapisów historycznych, co najłatwiej When somebody eventually writes the equivalent of The Making of the Atomic Bomb for this era, what is the thing that will be hardest to glean from the historical record that they're most likely 2:14:02 przeoczy? – Myślę, że kilka rzeczy. to miss? I think a few things. 2:14:05 Po pierwsze: w każdym momencie tego wykładniczego wzrostu, na ile świat poza nim go nie rozumiał. One is, at every moment of this exponential, the extent to which the world outside it didn't understand it. 2:14:12 To skrzywienie często obecne w historii. This is a bias that's often present in history. 2:14:15 Wszystko, co faktycznie się wydarzyło, z perspektywy czasu wygląda na nieuniknione. Anything that actually happened looks inevitable in retrospect. 2:14:22 Patrząc wstecz, trudno będzie ludziom postawić się w miejscu tych, którzy naprawdę stawiali zakład, że to się wydarzy, choć nie było to nieuniknione, When people look back, it will be hard for them to put themselves in the place of people who were actually making a bet on this thing to happen that wasn't inevitable, 2:14:35 że mieliśmy spory, jak te moje argumenty za skalowaniem czy za tym, że uczenie ciągłe zostanie rozwiązane. that we had these arguments like the arguments I make for scaling or that continual learning will be solved. 2:14:45 Niektórzy z nas w środku przypisywali temu wysokie prawdopodobieństwo, ale poza nami jest świat, który w ogóle na tej podstawie nie działa. Some of us internally put a high probability on this happening, but there's a world outside us that's not acting on that at all. 2:14:58 Myślę, że ta dziwność, niestety to zamknięcie we własnym kręgu… I think the weirdness of it, unfortunately the insularity of it... 2:15:07 Jeśli dzieli nas od tego rok czy dwa, przeciętny człowiek na ulicy nie ma o tym pojęcia. If we're one year or two years away from it happening, the average person on the street has no idea. 2:15:12 To jedna z rzeczy, które próbuję zmienić memorandami i rozmowami z decydentami. That's one of the things I'm trying to change with the memos, with talking to policymakers. 2:15:17 Nie wiem, ale moim zdaniem to po prostu szalone. I don’t know but I think that's just a crazy thing. 2:15:25 Na koniec powiedziałbym – i to pewnie dotyczy niemal wszystkich historycznych momentów kryzysu – jak absolutnie szybko to się działo, jak wszystko działo się naraz. Finally, I would say—and this probably applies to almost all historical moments of crisis—how absolutely fast it was happening, how everything was happening all at once. 2:15:36 Decyzje, które mogłyby się wydawać starannie przemyślane – a w rzeczywistości musisz podjąć tę decyzję, a potem 30 innych tego samego dnia, bo wszystko dzieje się tak Decisions that you might think were carefully calculated, well actually you have to make that decision, and then you have to make 30 other decisions on the same day because it's all happening so 2:15:47 szybko. Nawet nie wiesz, które decyzje okażą się brzemienne w skutki. fast. You don't even know which decisions are going to turn out to be consequential. 2:15:52 Jedna z moich obaw – choć to też wgląd w to, co się dzieje – jest taka, że jakaś bardzo kluczowa decyzja zapadnie, gdy ktoś po prostu wejdzie do mojego gabinetu i powie: One of my worries—although it's also an insight into what's happening—is that some very critical decision will be some decision where someone just comes into my office and is like, 2:16:06 „Dario, masz dwie minuty. "Dario, you have two minutes. 2:16:08 Robimy w tej sprawie A czy B?”. Should we do thing A or thing B on this?" 2:16:14 Ktoś daje mi przypadkową notatkę na pół strony i pyta: „Robimy A czy B?”. Someone gives me this random half-page memo and asks, "Should we do A or B?" 2:16:20 A ja na to: „Nie wiem. I'm like, "I don't know. 2:16:20 Muszę zjeść lunch. I have to eat lunch. 2:16:21 Róbmy B”. Let's do B." 2:16:23 I to okazuje się najbardziej brzemienną w skutki rzeczą w historii. That ends up being the most consequential thing ever. 2:16:26 – Ostatnie pytanie. So final question. 2:16:28 Szefowie firm technologicznych zwykle nie piszą co kilka miesięcy 50-stronicowych memorandów. There aren't tech CEOs who are usually writing 50-page memos every few months. 2:16:35 Wygląda na to, że udało ci się zbudować dla siebie rolę i wokół siebie firmę, które pasują do tej bardziej intelektualnej roli CEO. It seems like you have managed to build a role for yourself and a company around you which is compatible with this more intellectual-type role of CEO. 2:16:47 Chcę zrozumieć, jak to konstruujesz. I want to understand how you construct that. 2:16:50 Jak to działa? How does that work? 2:16:51 Po prostu znikasz na kilka tygodni, a potem mówisz firmie: „Oto memorandum. Do you just go away for a couple of weeks and then you tell your company, "This is the memo. 2:16:55 To właśnie robimy”? Here's what we're doing"? 2:16:56 Podobno piszesz też sporo takich tekstów wewnętrznie. It's also reported that you write a bunch of these internally. 2:16:59 – Ten konkretny napisałem w przerwie zimowej. For this particular one, I wrote it over winter break. 2:17:04 Trudno mi było znaleźć czas, żeby go faktycznie napisać. I was having a hard time finding the time to actually write it. 2:17:08 Ale myślę o tym szerzej. But I think about this in a broader way. 2:17:10 Wiąże się to, jak sądzę, z kulturą firmy. I think it relates to the culture of the company. 2:17:13 Poświęcam pewnie jedną trzecią, może 40% czasu na to, żeby kultura w Anthropic była dobra. I probably spend a third, maybe 40%, of my time making sure the culture of Anthropic is good. 2:17:18 Odkąd Anthropic się rozrósł, trudniej mi bezpośrednio angażować się w trenowanie modeli, ich premiery, budowanie produktów. As Anthropic has gotten larger, it's gotten harder to get directly involved in the training of the models, the launch of the models, the building of the products. 2:17:29 To 2500 osób. It's 2,500 people. 2:17:33 Mam pewne instynkty, ale bardzo trudno wchodzić w każdy szczegół. I have certain instincts, but it's very difficult to get involved in every single detail. 2:17:41 Staram się, jak mogę, ale jedną z rzeczy o dużej dźwigni jest dbanie o to, żeby Anthropic był dobrym miejscem pracy, żeby ludzie lubili tam pracować, żeby każdy czuł się członkiem zespołu I try as much as possible, but one thing that's very leveraged is making sure Anthropic is a good place to work, people like working there, everyone thinks of themselves as team members, 2:17:51 i żeby wszyscy pracowali razem, a nie przeciwko sobie. and everyone works together instead of against each other. 2:17:54 Widzieliśmy, jak w miarę wzrostu niektórych innych firm AI – nie wymieniając nazw – zaczyna się rozpad spójności i ludzie walczą ze sobą. We've seen as some of the other AI companies have grown—without naming any names—we're starting to see decoherence and people fighting each other. 2:18:03 Powiedziałbym nawet, że sporo tego było od początku, ale się pogorszyło. I would argue there was even a lot of that from the beginning, but it's gotten worse. 2:18:07 Myślę, że wyjątkowo dobrze, choć nie idealnie, udało nam się utrzymać firmę w jedności, sprawić, by każdy czuł misję i to, że traktujemy ją szczerze, I think we've done an extraordinarily good job, even if not perfect, of holding the company together, making everyone feel the mission, that we're sincere about the mission, 2:18:19 i żeby każdy wierzył, że wszyscy inni pracują tam z właściwych powodów. and that everyone has faith that everyone else there is working for the right reason. 2:18:23 Że jesteśmy zespołem, że ludzie nie próbują wybić się kosztem innych ani wbijać sobie noża w plecy, co – powtórzę – moim zdaniem często dzieje się w niektórych innych miejscach. That we're a team, that people aren't trying to get ahead at each other's expense or backstab each other, which again, I think happens a lot at some of the other places. 2:18:33 – Jak to osiągasz? How do you make that the case? 2:18:34 – Składa się na to wiele rzeczy. It's a lot of things. 2:18:35 Ja, Daniela, która na co dzień kieruje firmą, współzałożyciele, inni ludzie, których zatrudniamy, środowisko, które staramy się tworzyć. It's me, it's Daniela, who runs the company day to day, it's the co-founders, it's the other people we hire, it's the environment we try to create. 2:18:44 Ale myślę, że ważną rzeczą w kulturze jest to, że inni liderzy, ale zwłaszcza ja, muszą jasno wyrażać, o co w firmie chodzi, But I think an important thing in the culture is that the other leaders as well, but especially me, have to articulate what the company is about, 2:18:56 dlaczego robi to, co robi, jaka jest jej strategia, jakie ma wartości, jaka jest jej misja i za czym się opowiada. why it's doing what it's doing, what its strategy is, what its values are, what its mission is, and what it stands for. 2:19:05 Przy 2500 osobach nie da się tego robić z każdym z osobna. When you get to 2,500 people, you can't do that person by person. 2:19:09 Trzeba pisać albo mówić do całej firmy. You have to write, or you have to speak to the whole company. 2:19:12 Dlatego co dwa tygodnie staję przed całą firmą i mówię przez godzinę. This is why I get up in front of the whole company every two weeks and speak for an hour. 2:19:17 Nie powiedziałbym, że piszę wewnętrznie eseje. I wouldn't say I write essays internally. 2:19:20 Robię dwie rzeczy. I do two things. 2:19:21 Po pierwsze, piszę coś, co nazywa się DVQ, Dario Vision Quest. One, I write this thing called a DVQ, Dario Vision Quest. 2:19:25 To nie ja wymyśliłem tę nazwę. I wasn't the one who named it that. 2:19:27 Tak to nazwano i to jedna z tych nazw, z którymi próbowałem walczyć, bo brzmiało to, jakbym gdzieś szedł palić pejotl czy coś w tym rodzaju. That's the name it received, and it's one of these names that I tried to fight because it made it sound like I was going off and smoking peyote or something. 2:19:35 Ale nazwa się przyjęła. But the name just stuck. 2:19:37 Więc co dwa tygodnie staję przed firmą. So I get up in front of the company every two weeks. 2:19:40 Mam trzy-, czterostronicowy dokument i omawiam trzy czy cztery tematy: co się dzieje wewnątrz, jakie modele tworzymy, produkty, I have a three or four-page document, and I just talk through three or four different topics about what's going on internally, the models we're producing, the products, 2:19:51 branża na zewnątrz, świat jako całość w odniesieniu do AI i ogólnie geopolityka. the outside industry, the world as a whole as it relates to AI and geopolitically in general. 2:19:57 Jakaś mieszanka tego. Just some mix of that. 2:19:59 Omawiam to bardzo szczerze i mówię: „Tak myślę ja i tak myśli kierownictwo Anthropic”, a potem odpowiadam na pytania. I go through very honestly and I say, "This is what I'm thinking, and this is what Anthropic leadership is thinking," and then I answer questions. 2:20:09 Ten bezpośredni kontakt ma ogromną wartość, trudną do osiągnięcia, gdy przekazuje się coś w dół przez sześć szczebli. That direct connection has a lot of value that is hard to achieve when you're passing things down the chain six levels deep. 2:20:19 Przychodzi duża część firmy, osobiście albo zdalnie. A large fraction of the company comes to attend, either in person or virtually. 2:20:27 To naprawdę pozwala dużo przekazać. It really means that you can communicate a lot. 2:20:30 Druga rzecz: mam kanał na Slacku, na którym po prostu sporo piszę i dużo komentuję. The other thing I do is I have a channel in Slack where I just write a bunch of things and comment a lot. 2:20:36 Często w reakcji na to, co widzę w firmie, albo na pytania ludzi. Often that's in response to things I'm seeing at the company or questions people ask. 2:20:44 Robimy wewnętrzne ankiety i są rzeczy, które ludzi niepokoją, więc o nich piszę. We do internal surveys and there are things people are concerned about, and so I'll write them up. 2:20:50 Jestem w tych sprawach po prostu bardzo szczery. I'm just very honest about these things. 2:20:53 Mówię o nich bardzo wprost. I just say them very directly. 2:20:56 Chodzi o to, by zyskać opinię kogoś, kto mówi firmie prawdę o tym, co się dzieje, nazywa rzeczy po imieniu, przyznaje się do problemów, unika korporacyjnej nowomowy, The point is to get a reputation of telling the company the truth about what's happening, to call things what they are, to acknowledge problems, to avoid the sort of corpo speak, 2:21:06 tej defensywnej komunikacji, która publicznie bywa konieczna, bo świat jest bardzo duży i pełen ludzi interpretujących wszystko w złej wierze. the kind of defensive communication that often is necessary in public because the world is very large and full of people who are interpreting things in bad faith. 2:21:19 Ale jeśli masz firmę pełną ludzi, którym ufasz – a staramy się zatrudniać ludzi, którym ufamy – to możesz mówić zupełnie bez filtra. But if you have a company of people who you trust, and we try to hire people that we trust, then you can really just be entirely unfiltered. 2:21:31 Myślę, że to ogromna siła tej firmy. I think that's an enormous strength of the company. 2:21:33 Sprawia, że lepiej się w niej pracuje, że ludzie są czymś więcej niż sumą części, i zwiększa szansę, że zrealizujemy misję, bo wszyscy są zgodni It makes it a better place to work, it makes people more than the sum of their parts, and increases the likelihood that we accomplish the mission because everyone is on the same page 2:21:41 co do misji i wszyscy dyskutują o tym, jak najlepiej ją zrealizować. about the mission, and everyone is debating and discussing how best to accomplish the mission. 2:21:46 – Cóż, w zastępstwie zewnętrznego Dario Vision Quest mamy ten wywiad. Well, in lieu of an external Dario Vision Quest, we have this interview. 2:21:49 Ten wywiad jest trochę czymś takim. This interview is a little like that. 2:21:52 Było super, Dario. This has been fun, Dario. 2:21:53 Dzięki za rozmowę. – Dziękuję, Thanks for doing it. Thank you, 2:22:12 Dwarkesh. Dwarkesh.