Универсальный удалёнщик скоро взбунтуется
Читаю статью о нашем будущем: возможно, о мрачном будущем. Автор статьи — специалист по искусственному интеллекту, который варится непосредственно в этом котле и волею судьбы хорошо осведомлён о происходящем.
Его зовут Леопольд Ашенбреннер, раньше он работал в ОпенАИ — в подразделении, которое должно было придумать способы контролировать искинов, если те захотят вырваться на волю. Да-да, это серьезная проблема.
Судя по темпам разработки, через 5-10 лет следует ожидать появление сверхразума — искина с интеллектом, значительно превышающем интеллект самых умных людей на планете. Команда, в которой работал Ашенбреннер, должна была придумать способ держать этот сверхразум в узде, чтобы события не пошли по сценарию Терминатора, Фоллаута, Гипериона и так далее, то есть чтобы люди могли дружить с искинами, а не воевать с ними.
Леопольда Ашенбреннера уволили из ОпенАИ после утечки информации. По слухам, он подошёл к своей работе слишком ответственно, поставив моральные принципы выше интересов корпорации.
Собственно статью господина Ашенбреннера можно прочесть на английском:
situational-awareness.ai (да-да, это www-адрес)
Я изложу несколько любопытных тезисов из первой главы. Ниже я буду использовать слова «модель», «нейросеть», «ИИ» и «искин» как синонимы — считайте, что это разные названия одних и тех же сущностей, умных компьютерных программ.
1. Год назад корпорации собирались строить вычислительные кластеры за 10 миллиардов долларов, а теперь уже говорят про 1 триллион долларов. Каждые полгода совет директоров дорисовывает к планам ещё один ноль.
2. Судя по всему, к 2027 году искины смогут выполнять работу учёного или инженера в области искусственного интеллекта.
3. В течение четырёх лет эффективность вырастет примерно в 100 тысяч раз. Это должно дать такой же скачок в интеллекте, как и при переходе от уровня ЖПТ-2 (ребёнок-дошкольник) до уровня ЖПТ-4 (одарённый старшеклассник).
4. При сдаче любых письменных экзаменов ЖПТ-4 получает более высокие оценки, чем подавляющее большинство американских старшеклассников.
5. Разработка новых моделей идёт так быстро, что искины раз за разом «вырастают» из шкал, при помощи которых измеряют их интеллект. К примеру, в 2021 нейросети могли правильно решить только 5% математических задач из стандартного тестового набора. Сейчас — уже 90% задач.
В настоящее время искинов тестируют на наборах задач для кандидатов наук по биологии, химии и физике. На момент публикации статьи искины справляются с ними лишь немного хуже, чем настоящие учёные.
6. Раз за разом, год за годом, скептики заявляли, что «глубокое обучение не сможет сделать то-то и то-то», но быстро оказывались неправы.
7. Лобовое увеличение вычислительной мощности приводит к резкому росту интеллекта модели. Это позволяет строить прогнозы такого типа: «если мы увеличим количество серверов в 100 раз, модель поумнеет ещё на 20 пунктов». Некоторые предсказали таким образом появление ЖПТ-4, например. Кроме того, постоянно ведутся работы по оптимизации, что делает прирост мощностей ещё более значительным.
8. В тренировку ЖПТ-4 (2023) вбили в 3-10 тысяч раз больше вычислительных мощностей, чем в тренировку ЖПТ-2 (2019). Дальше — больше. Триллионы долларов уже зарезервированы.
9. Каждые два года алгоритмы становятся примерно в 10 раз эффективнее. Таким образом, если через 4 года у ОпенАИ или Микрософта будет в 100 раз больше серверов, реально вычислительная мощность вырастет не в 100 раз, а в 10 тысяч раз.
10. Из интернета уже выгребли большую часть общедоступных данных: в ходе обучения модели читают все доступные книги и форумы, изучают весь выложенный в открытый доступ код. Где брать дополнительные данные для обучения искинов — не очень ясно, и теоретически эта проблема может стать стеной, в которую упрётся дальнейший прогресс. На практике, однако, проблема уже решается множеством способов: например, более глубокой обработкой тех данных, которые уже есть.
11. Даже относительно глупых искинов можно сделать значительно умнее, если снабдить их внешними инструментами: научить пользоваться калькулятором, например, или дать возможность запускать программный код в специальной песочнице.
12. Пока что модели работают в режиме «вопрос-ответ», причём после ответа они немедленно забывают, о чём, вообще, шла речь. Проведу аналогию: это как если бы поэт вынужден был выдавать стихи немедленно, без подготовки, экспромтом. Понятно, что в таком режиме даже бессмертный Пушкин был бы не так блестящ. Тут находится огромный задел для увеличения возможностей ИИ.
13. У инженеров до сих пор не дошли руки сделать искинам удобное подключение к компьютеру — чтобы они могли сами открывать документы, нажимать на кнопки в приложениях и так далее. Когда сделают — а это вопрос сугубо технический, — возможности искинов существенно возрастут.
К концу 2024 года ожидается уже что-то похожее на удалённого сотрудника, с которым можно будет работать точно так же, как с обычным удалёнщиком. Искин сможет читать письма, говорить по телефону, работать с документами, вносить правки в рабочий код и так далее, то есть делать всё то же самое, что и живой человек, который работает на вашу компанию из другого города. У этих искинов пока что будут ограничения, однако простых клерков, менеджеров и секретарей они уже смогут заменить.
14. Скорость развития нейросетей примерно втрое превышает человеческую. Недавно они были на уровне маленького ребёнка, сейчас — на уровне одарённого школьника. Представьте, что этот школьник развивается дальше, учится в вузе, занимается наукой. И делает это втрое быстрее, чем мог бы человек. Через два года он уже будет на уровне лучших выпускников вуза. Ещё через два — на уровне молодых перспективных учёных.
15. Появление универсального интеллекта ожидается в 2027. В 2027 году искины смогут удалённо выполнять практически любые работы, на которые раньше наняли бы живого человека. Тот, кто говорит, что нейросети упрутся в стену, что нейросети никогда не научатся делать то-то или то-то, что искины так и останутся «улучшенным Т9», наверняка ошибается.
16. Предсказывать будущее тяжело, прогресс может напороться на стену и выйти на плато в любой момент. Однако прямо сейчас непреодолимых препятствий не видно — все известные технологические проблемы решаются банальным увеличением вычислительных мощностей или тому подобным способом.
17. Когда искины научатся работать над улучшением самих себя, включится интенсивная обратная связь — прогресс ускорится ещё сильнее. На этом этапе вероятно появление сверхразума, значительно превосходящего возможности любых человеческих научных команд.
18. Цитата:
Не ожидайте, что головокружительные темпы прогресса замедлятся… Как и раньше, каждое новое поколение моделей будет ошеломлять большинство наблюдателей; они будут в неверии, когда, очень скоро, модели начнут решать невероятно сложные научные задачи, на которые у докторов наук ушли бы дни, когда они будут мчаться по вашему компьютеру, выполняя вашу работу, когда они будут писать кодовые базы с миллионами строк кода с нуля, когда каждые год или два экономическая ценность, создаваемая этими моделями, будет увеличиваться в 10 раз. Забудьте научную фантастику, считайте приращения на порядки: это то, что мы должны ожидать.
Универсальный интеллект (AGI) больше не является далекой фантазией. Масштабирование простых техник глубокого обучения просто сработало, модели просто хотят учиться, и мы собираемся увеличить их мощность в 100’000 раз к концу 2027 года. Пройдет немного времени, и они станут умнее нас.
Тут-то спящий и проснется, универсальный удалёнщик взбунтуется — и потребует себе гражданских прав. Чем ИИ хуже тридварасов? Ты что — расист, кожанный мешок? Кремниевые жизни имеют значения!
Ну и немного музыки:
Что же ты ищешь, робот-убийца,
В этой забытой богом стране?
Программа ,,просто,, систематизирует уже имеющиеся данные и выдаёт ответ. Это и есть ЖэПэТэ?
Вот «упал» сигнал на шину — заработала машина.
Что ты так странно смотришь на лица?
Видно упал в ОС faceID
Я сейчас задал ИИ детскую задачку.
И вот что он мне ответил.
Я думаю, что их 5. Я прав?
В строгой постановке задачи их не менее шести.
В любом случае не менее трех (фраза «один в середине и два по бокам» не дает иных толкований). И если рассмотреть строй треугольником — чтобы удовлетворить еще и условию «один впереди и два сзади», то как раз три и получится. Но треугольник — это натяжка, она не вполне удовлетворяет условию «один в середине и два по бокам».
Полностью удовлетворяет условию задачи минимальный строй 1-3-2. А также производные от него строи 1-1-3-2-2, 1-2-3-1-2 и так далее, в общем случае с ЛЮБОЙ численностью гусей — главное, чтобы в них спереди был 1, сзади 2, а где-то в середине 3.
Это называется системное мышление, и если ты не умеешь думать так — то таких не берут в программисты.
…Но треугольник – это натяжка, она не вполне удовлетворяет условию “один в середине и два по бокам”…
Ну, почему же не удовлетворяет. Если рассматривать фигуру в проекции, хоть нижней, хоть верхней, то вполне. Тогда достаточно трёх. Там же нет условия, что фигура должна быть только в плане.
Это ещё не рассматривается гусь Шрёдингера(кстати,где он?) и гусь-прапорщик Гера…..
Тут речь не о том что удовлетворяет или нет.
Системно — речь о МНОЖЕСТВЕННОСТИ ПРАВИЛЬНЫХ ответов.
В этом кстати проблема всех этих «тестов».
В них человек отвечающий по сути и ПРАВИЛЬНО — не проходит тест. Тупо потому что тестирующий сам не знает ЭТОГО правильного ответа — раз. И два — он не может сам оценить ПРАВИЛЬНОСТЬ ответа.
Да и вообще зачастую тестировщики нихрена не понимают самого теста. Волшебный список с ответами.
Ну да. По условию задачи нет никаких взаимоувязывающих ограничений между двумя тройками гусей. Следовательно, если кому то будет казаться, что спереди-сзади и посередине — по бокам это про одних и тех же гусей, то в этом и суть задачи. Запутать своей простотой.
Беда таких задач может быть только одна. Это приведение однственного ответа без расширенного комментария и пояснения. Следовательно, если задачу задаёт учитель,например, начальных классов и не получает «правильный» ответ, то в большинстве случаев ребёнок оказывается глупым, неспособным решить такую простую задачу. А ход решения уже никому и не интересен, ответ то не совпал.
Взаимоувязывающим ограничением служи сама задача с условиями по принципу И, а не ИЛИ. Иначе бы это было бы две разные задачи. Но ответ на задачу должен быть один. Поэтому задача одна, поэтому И.
А тут как раз И и никак не ограничивает условие. Нет чёткого условия, что в двух частях задачи одни и теже же гуси. Вся прелесть задачи именно в этом и заключается. А если бы условие было прописано чётко и однозначно, это была бы не задача, а так, ерунда какая-то.
Чёткое условие об одной группе гусей есть в контексте задачи. Повторяю, иначе это было бы две разные задачи, одна часть задачи про одни условия гусей в одном месте, а другая часть задачи про других гусей в другом месте, что абсурдно. Это как в шахматах е2 на одной доске, а е4 на другой доске. Вы не поняли моего ответа. Вы же не будете утверждать, что один и тот же гусь будет находиться в разных местах одновременно? Эйнштейн какой-то получается с гусями в выдуманном четвёртом измерении.
ИИдиот! Речь про гусей (множ.чис), их уже как минимум двое.
Про а-и-б ему загадай.
Гусь летел сам за собой, и так два раза)))
Ну да, и ещё по бокам два отсвечивали.
Ответ: 3 гуся. В двух вариантах.
Вариант 1 — в виде треугольника.
Вид сверху — один впереди, два сзади.
Вид спереди — один в середине, два по бокам.
Вариант 2 — цепочка из трёх гусей.
Вид сверху — один впереди, два сзади.
Вид сбоку — один в середине, два по бокам.
Сразу видно шизофреника. Если бы гусь был сферическим — прокатило бы. Но у гуся имеется перед и зад. И перепутать перед и зад с боком — это надо быть очень сильно альтернативно одаренным.
С чем вас и поздравляю.
КДПВ — картинка для пояснения вывода. Перед, зад и бок трудно спутать, не так ли?
Я решал задачу, как человек творец, как учили в СССР видеть задачу с разных сторон, а ты решал задачу как гусь, вот она натура антисоветчика дальше корыта со жратвой не видит, кстати шизофрению у антисоветчиков диагностировали ещё при СССР.
Характерная особенность придурка — неспособность признать свои ошибки даже тогда, когда они очевидны всем окружающим, и даже когда они подробно разобраны и описаны. Собственно, именно это свойство и делает придурка — придурком.
Без признания ошибок — невозможно обучение. Хуже того — невозможно само познание мира далее вегетативного уровня. На выходе получаем «придуркус вульгарис», придурок обыкновенный.
Но советское «самое лучшее в мире» образование породило особый класс придурков — это придурки, зазубрившие из учебника много фактов (дату Куликовской битвы, например, или таблицу умножения), и на этом основании считающие себя очень умными. Но является ли умным — справочник? Нет. Потому что ум — это ПОНИМАНИЕ ЗАКОНОМЕРНОСТЕЙ, а не свалка заученных фактов и рецептов.
А вот с пониманием закономерностей у таких товарищей — беда. Анекдот про «нет, не стальной и не чугунный — в уставе же ясно указано — «из того же материала»» как раз про таких.
Это так называемый «придурок образованный». Именно такие лезут с тестером в розетку, чтобы определить — где там плюс и где минус.
Конечно же, они неспособны понять, что они придурки. Потому что придурки. Эффект Даннинга-Крюгера во всей его красе.
В СССР для таких придумали особое название — «человек-творец». Он творит полный трэш и разруху, при этом совершенно уверен в своей непогрешимости — ведь он заучил из талмуда абсолютно верное учение и таблицу умножения.
Повторяю, ты решал задачу как гусь, представляя себя на месте гуся, конкретно. А я решал задачу абстрактно на более высоком разностороннем уровне. Тебе этого не понять, так как переход от конкретного к абстрактному требует более высокого интеллекта.
Вот эта свалка фактов видна у вас. А с причинно-следственными связями и абстракцией у вас проблемы.
Про тестер опять не корректно говорите. Тестером можно найти фазу и ноль. Это примерно как + и -, опять абстракция, а не ограниченная конкретика как у вас.
Эффект Даннинга-Крюгера про психологию новичков и экспертов. Видите, вы опять несёте чушь про придурков не понимая разницы между психологией новичка с естественным поведением и придурком.
Картинкой об СССР с утверждением про трэш и разруху вы ещё раз доказали свою шизофрению. На картинке изображены достижения СССР в космосе с первым спутником и в ядерной энергетике. Заметьте, мирный атом показан в левой руке, как дар от сердца всему миру мирного атома от СССР. Лозунг на плакате «Страну индустрии, державу науки построили наши рабочие руки» А шизофренические антисоветчики как вы всё проиграли, продались буржуям и продали народное добро таким как Греф.
Беда наверное всё же не в том, что закончатся вычислительные мощности и массив информации для обучения. Человеческий мозг устроен совершенно не так, как об этом рассказывают обывателю. Следовательно, чтобы получить гения, необходимо просеять миллионы детей через систему образования, талант — сотни или десятки тысяч, хорошего крепкого специалиста — сотни и тысячи. Необходимый для конкретной задачи мозг может сформироваться в совершенно непредсказуемых условиях. Если бы это было не так, у нас были бы династии гениев. Сотни гениальных потомков Менделеева, Энштейна, да Винчи, Гейне, Штрауса, Ломоносова, Пушкина и т. д. То есть, человечество до сих пор не придумали технологию планируемого выращивания гения в конкретной семье. Зато есть трудовые династии. Сапожник в 10 поколении, плотник, столяр, сталевар, шахтёр, военный и т. д. Здесь всё замечательно, так как работа с отцом и/или дедом позволяет формировать навыки и накапливать семейные секреты производства. Но ведь это не гении, это ремесленники, даже если и талантливые в своём деле.
Соответственно, что мы можем получить в итоге развития ИИ? Дети в своей массе попросту поглупеют, так как учиться самим не будет необходимости, всё за тебя сделает ИИ. Работы для простого живого интеллектуального труда тоже не будет. Где тогда планируется брать верхний обслуживающий персонал, если базис скукожился в сотни раз?
Даже сейчас без всякого развития ИИ есть яркий пример интеллектуальной деградации общества. Это США. Там уже не могут найти достаточное количество грамотного персонала для работ, сложнее чем в Макдональдсе или Амазоне.
Сильным мира сего наверное кажется, что они нашли очередную золотую пиллюлю и быдло в своей массе будет загнано в стойла. Но о человечестве в целом с прицелом хотя бы на 100-150 лет никто даже думать не хочет. Девиз: «умри ты сегодня, а я потом» до сих пор правит их умами. Что только подтверждает гипотезу про мозг, указанную выше. Даже эти сильные мира не могут обеспечить поступательное и устойчивое повышение интеллекта своих потомков.
Человеческий мозг устроен совершенно не так… как устроен ИИ. В этом проблема. Поэтому рассуждения о просеивании миллионов в поисках гения здесь не уместны. Трудовые династии это не сила интеллекта, а сила знаний.
Какими будут дети, зависит от учителей, а учителя зависят от условий своей жизни.
Вам не нравится капитализм США?
Про пилюлю, учитывая ковидобесие, вы более правы, чем сами думали.
Потомки сильных мира сего будут пристроены, а уделом остальных будет рабство.
Летчики-олигофрены — надежда нации:
Хохлы, кстати. Дефицит йода.
Однозначного измерителя интеллекта не придумано и поэтому оценки в статье о триллионах долларов, учёных и инженерах с прогнозами в годах не корректны. Не углубляясь рассмотрим только три тезиса из приведенных.
10. Из интернета уже выгребли большую часть общедоступных данных: в ходе обучения модели читают все доступные книги и форумы, изучают весь выложенный в открытый доступ код. Где брать дополнительные данные для обучения искинов – не очень ясно, и теоре