Aug. 22nd, 2015 07:20 am
Экзистенциальный риск ИИ
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
knowyouareДостаточно разумный пост о ИИ, мои размышления над этой проблемой идут примерно в этом же направлении. Нет смысла создавать супер-ИИ по-сути бога, который будет пасти маленьких неразумных людишек. Или людям так нравится опека и чувство безопасности? Мой внутренний анархо-либертарианец с этим никогда не согласиться=)
Но есть смысл апгрейдить само человечество, например это уже вопрос времени, когда люди сольются с поисковыми системами и засчет них расширят свою память до всего интернета. Вопросы к поисковику будут формулироваться мысленно, и мгновенно будет приходить ответ на запрос, быстрее, чем наша биологическая память. Главное сохранить интернет свободным, например сейчас можно поддерживать фонд электронных рубежей.
Так, постепенно человечество превратится в единый организм, когда ты за доли секунды сможешь ознакомится со спектром мнений, их источниками и на основе этой информации составить собственное мнение. И если у тебя высокая репутация, твое мнение повлияет на мнение других.
Originally posted by![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
black_rnd at Экзистенциальный риск ИИ
Но есть смысл апгрейдить само человечество, например это уже вопрос времени, когда люди сольются с поисковыми системами и засчет них расширят свою память до всего интернета. Вопросы к поисковику будут формулироваться мысленно, и мгновенно будет приходить ответ на запрос, быстрее, чем наша биологическая память. Главное сохранить интернет свободным, например сейчас можно поддерживать фонд электронных рубежей.
Так, постепенно человечество превратится в единый организм, когда ты за доли секунды сможешь ознакомится со спектром мнений, их источниками и на основе этой информации составить собственное мнение. И если у тебя высокая репутация, твое мнение повлияет на мнение других.
Originally posted by
black_rnd at Экзистенциальный риск ИИИлон Маск и Стивен Хоккинг высказались на тему экзистенциального риска искусственного интеллекта. Пришло время высказаться и мне :)
Маск, Хоккинг и многие другие люди, считают что искусственный интеллект представляет собой страшную опасность для человечества и может привести к его исчезновению. Неудивительно, ведь когда мы говорим об ИИ, первым делом в голову приходит история с терминатором и матрицей, и мы сразу представляем себе выжженную землю и войну людей и машин. Такое представление называется "Generalizing from fiction evidence". Терминатор и Матрица не являются чем-то, что произошло в какой-то параллельной вселенной. Это выдумка, которая не выдерживает никакой критики. Нельзя брать подобные фильмы за основу при размышлении о будущем ИИ. По моему мнению, все будет совсем не так, как в кино.
Давайте сначала разберемся, в чем заключаются страхи ИИ. Основной страх в том, что ИИ станет умнее человека и решит нас уничтожить и мы ничего не сможем ему противопоставить. Второй страх в том, что если мы выживем, то ИИ заберет работу у человека и у людей не будет возможности заработать на хлеб.
Агрессивный сверхинтеллект базируется на трех предположениях:
- Как только ИИ появится, его интеллект будет зависить от мощности железа на котором он работает, а железо подчиняется закону Мура и, грубо говоря, его мощности удваиваются раз в полтора года. Это значит что ИИ будет умнеть в геометрической прогрессии а мы нет. На самом же деле, наш интеллект тоже растет, только необычным способом. Через обучение, через усиление интеллекта с помощью гугла и википедии, через оптимизацию мышления в ходе преоделения когнитивных искажений. В дальнейшем мы возможно сможем освоить нейроинтерфейсы и буквально вставить себе чип в мозг, который за нас будет решать дифуры и искать в гугле. Мы можем по крайней мере не сразу проиграть гонку вооружений, но и соревноваться с ИИ.
- ИИ это программа, которую можно переписать и сделать более эффективной на том же самом железе. Предполагается, что ИИ сможет переписывать сам себя, становиться быстрее и умнее и находить способ переписать себя еще эффективнее. Тем самым возникает положительная обратная связь и "взрыв интеллекта". Эта теория не подкреплена честно говоря ничем, кроме безграничной верой в бесконечность познания. Ниоткуда не следует, что более мощный интеллект может написать программу более эффективно. Одно дело небольшие оптимизации под кэши, архитектуру железа, небольшие алгоритмические трюки, совсем другое дело придумать новый алгоритм распознавания образов, который уменьшит количество ошибок с 20% до 5%. Совершенно не ясно, сможет ли ИИ это делать.
- ИИ может решить что люди ему не нужны и уничтожить людей. Но откуда у него появится мотивация и возможность это сделать? В нас мотивация заложена нашими генами и структурой нашего мозга. Мы хотим жить, есть, пить, размножаться и т.п. Откуда взятся мотивации у ИИ? Мотивацией может быть только приказ человека, и тут сворее вопрос в том, что человек может уничтожить других человеков, приказав ИИ это сделать. ИИ как оружие безусловно может быть не менее опасен, чем ядерная бомба. Точно так же он может быть очень опасен, если не быть осторожными в своих желаниях. Классический пример состоит в том, чтобы попросить ИИ сделать скрепок. Если ИИ достаточно мощный и у него в руках много власти, он может разобрать нас всех на атомы, чтобы сделать скрепки. Потому что ему забыли сказать, что жизнь людей важнее выполнения задания. Можно, конечно, попытаться обучить робота морали через machine larning, пусть смотрит за человечеством и решает что мы считаем хорошим а что плохим, а старается не допускать плохого при изготовлении скрепок. Возможно это могло бы даже сработать, но неминуемые ошибки и непредсказуемые ситуации, которых не встречалось за время обучения, могут натворить огромных бед.
В целом вообще не ясно про какой ИИ говорят Маск и Хоккинг? Мы знаем только один вид интеллекта - тот, который мы видим в людях и животных, тот который зародился в ходе эволюции и имеет сотни различных косяков и ненужных на данный момент подпорок. Например ксенофобия. Человечество за свою историю совершала геноцид десятки раз, уничтожая то Нандертальцев то евреев. Утверждая, что нас уничтожит ИИ, мы проецируем на него свое поведение. Ниоткуда не следует, что ИИ будет похож на человека и будет мотивирован теми же вещами. Все фильмы делают ИИ антропоморфным, это нужно для сюжета и чтобы зритель сопереживал. Но в реальности ИИ скорее всего будет кем угодно, но не антропоморфным созданием. Существует огромное пространство возможных интеллектов. Какой именно мы сделаем, если конечно сделаем, совершенно не ясно, поэтому не имеет смысла говорить о характеристиках, которые у него будут. Это как в средние века обсуждать свойста интернета. Откуда мы вообще знаем о чем мы говорим? Зато имеет смысл пообсуждать характеристики, которые мы бы хотели видеть у ИИ.
Мое мнение состоит в том, что нет никакого смысла создавать еще один разумный вид. Это может быть опасно, но не из-за восстания машин, а из-за проблемы со скрепками и проблемы принципиально непредесказуемости действий более умного существа. Это кроме всего прочего еще и непонятно зачем нужно. Гораздо лучше было бы использовать ИИ как экспертную систему для принятия рациональных решений и достижения целей, оставляя человека у руля для оценивания моральности выбраного пути и постановки целей. Грубо говоря человек будет говорить, что он хочет попасть из пункта А в пункт Б, ИИ будет решать как это сделать оптимально, а человек давать свой вердикт. Если систему управления ИИ сделать с нейроинтерфейсом, то получится идеальный вид - киборг или человек 2.0, наделенный человеческими эмоциями, моральными принципами и преследующий вполне обычные человеческие цели, но умеющий принимать рациональные решения и решать дифуры в уме.
Киборг - наш ответ Терминатору.
Маск, Хоккинг и многие другие люди, считают что искусственный интеллект представляет собой страшную опасность для человечества и может привести к его исчезновению. Неудивительно, ведь когда мы говорим об ИИ, первым делом в голову приходит история с терминатором и матрицей, и мы сразу представляем себе выжженную землю и войну людей и машин. Такое представление называется "Generalizing from fiction evidence". Терминатор и Матрица не являются чем-то, что произошло в какой-то параллельной вселенной. Это выдумка, которая не выдерживает никакой критики. Нельзя брать подобные фильмы за основу при размышлении о будущем ИИ. По моему мнению, все будет совсем не так, как в кино.
Давайте сначала разберемся, в чем заключаются страхи ИИ. Основной страх в том, что ИИ станет умнее человека и решит нас уничтожить и мы ничего не сможем ему противопоставить. Второй страх в том, что если мы выживем, то ИИ заберет работу у человека и у людей не будет возможности заработать на хлеб.
Агрессивный сверхинтеллект базируется на трех предположениях:
- Как только ИИ появится, его интеллект будет зависить от мощности железа на котором он работает, а железо подчиняется закону Мура и, грубо говоря, его мощности удваиваются раз в полтора года. Это значит что ИИ будет умнеть в геометрической прогрессии а мы нет. На самом же деле, наш интеллект тоже растет, только необычным способом. Через обучение, через усиление интеллекта с помощью гугла и википедии, через оптимизацию мышления в ходе преоделения когнитивных искажений. В дальнейшем мы возможно сможем освоить нейроинтерфейсы и буквально вставить себе чип в мозг, который за нас будет решать дифуры и искать в гугле. Мы можем по крайней мере не сразу проиграть гонку вооружений, но и соревноваться с ИИ.
- ИИ это программа, которую можно переписать и сделать более эффективной на том же самом железе. Предполагается, что ИИ сможет переписывать сам себя, становиться быстрее и умнее и находить способ переписать себя еще эффективнее. Тем самым возникает положительная обратная связь и "взрыв интеллекта". Эта теория не подкреплена честно говоря ничем, кроме безграничной верой в бесконечность познания. Ниоткуда не следует, что более мощный интеллект может написать программу более эффективно. Одно дело небольшие оптимизации под кэши, архитектуру железа, небольшие алгоритмические трюки, совсем другое дело придумать новый алгоритм распознавания образов, который уменьшит количество ошибок с 20% до 5%. Совершенно не ясно, сможет ли ИИ это делать.
- ИИ может решить что люди ему не нужны и уничтожить людей. Но откуда у него появится мотивация и возможность это сделать? В нас мотивация заложена нашими генами и структурой нашего мозга. Мы хотим жить, есть, пить, размножаться и т.п. Откуда взятся мотивации у ИИ? Мотивацией может быть только приказ человека, и тут сворее вопрос в том, что человек может уничтожить других человеков, приказав ИИ это сделать. ИИ как оружие безусловно может быть не менее опасен, чем ядерная бомба. Точно так же он может быть очень опасен, если не быть осторожными в своих желаниях. Классический пример состоит в том, чтобы попросить ИИ сделать скрепок. Если ИИ достаточно мощный и у него в руках много власти, он может разобрать нас всех на атомы, чтобы сделать скрепки. Потому что ему забыли сказать, что жизнь людей важнее выполнения задания. Можно, конечно, попытаться обучить робота морали через machine larning, пусть смотрит за человечеством и решает что мы считаем хорошим а что плохим, а старается не допускать плохого при изготовлении скрепок. Возможно это могло бы даже сработать, но неминуемые ошибки и непредсказуемые ситуации, которых не встречалось за время обучения, могут натворить огромных бед.
В целом вообще не ясно про какой ИИ говорят Маск и Хоккинг? Мы знаем только один вид интеллекта - тот, который мы видим в людях и животных, тот который зародился в ходе эволюции и имеет сотни различных косяков и ненужных на данный момент подпорок. Например ксенофобия. Человечество за свою историю совершала геноцид десятки раз, уничтожая то Нандертальцев то евреев. Утверждая, что нас уничтожит ИИ, мы проецируем на него свое поведение. Ниоткуда не следует, что ИИ будет похож на человека и будет мотивирован теми же вещами. Все фильмы делают ИИ антропоморфным, это нужно для сюжета и чтобы зритель сопереживал. Но в реальности ИИ скорее всего будет кем угодно, но не антропоморфным созданием. Существует огромное пространство возможных интеллектов. Какой именно мы сделаем, если конечно сделаем, совершенно не ясно, поэтому не имеет смысла говорить о характеристиках, которые у него будут. Это как в средние века обсуждать свойста интернета. Откуда мы вообще знаем о чем мы говорим? Зато имеет смысл пообсуждать характеристики, которые мы бы хотели видеть у ИИ.
Мое мнение состоит в том, что нет никакого смысла создавать еще один разумный вид. Это может быть опасно, но не из-за восстания машин, а из-за проблемы со скрепками и проблемы принципиально непредесказуемости действий более умного существа. Это кроме всего прочего еще и непонятно зачем нужно. Гораздо лучше было бы использовать ИИ как экспертную систему для принятия рациональных решений и достижения целей, оставляя человека у руля для оценивания моральности выбраного пути и постановки целей. Грубо говоря человек будет говорить, что он хочет попасть из пункта А в пункт Б, ИИ будет решать как это сделать оптимально, а человек давать свой вердикт. Если систему управления ИИ сделать с нейроинтерфейсом, то получится идеальный вид - киборг или человек 2.0, наделенный человеческими эмоциями, моральными принципами и преследующий вполне обычные человеческие цели, но умеющий принимать рациональные решения и решать дифуры в уме.
Киборг - наш ответ Терминатору.
Tags: