Fallout внезапно оказался сильно лучше, чем можно было ожидать. За ностальгической составляющей доставшейся от игры - мир после катастрофы, которая ничему людей не научила. Противостояние отгородившегося от реальности мира корпоративной культуры убежищ и реального мира, во всем его многообразии выживания, от религиозного милитаризма до социал-анархизма.
Реальный мир показан со всей его правдой жизни: кровь, кишки, насилие - поэтому, детям до 14 показывать бы не стал.
И смешно, конечно, что такой антикапиталистический памфлет, снят на деньги Амазона!
1 ответ
Случайно прошел собеседования на роль лида в команду инфраструктуры. Что-то связанное с developer experience и системами сборки и деплоя сервисов внутри Яндексе. Честно говоря, не ожидал от себя такого, больше хотелось проверить силы и подготовиться на практике к следующим, более адекватным для меня с моим опытом компаниям.
Но теперь я думаю, а насколько зашкварно работать в Яндексе теперь, в 2024 году? Нет ли в нынешнем состоянии комании ноток отчаяния, раз они готовы нанимать людей снаружи, давать им лидерские позиции и кучу денег? Где-то должен быть подвох...
Что думаете?
33 ответа
А здесь и не обсуждаем
8 ответов
https://thebaffler.com/latest/its-all-bullshit-tan
В сфере технологий булшит-работа, которую покойный Дэвид Гребер определяет как “форму оплачиваемой занятости, которая настолько бессмысленна, ненужна или пагубна, что даже сотрудник не может оправдать ее существование”, даже если он обязан притворяться, что это не так, — в основном связана с булшит-проектами. В Google таких проектов предостаточно.
Стремление запускать новые проекты с целью продвижения по корпоративной лестнице стало настолько распространенным, что сотрудники называют это циклом LPA: запустил, получил повышение, забросил. “Стимул, - объяснил бывший сотрудник, - заключается в том, чтобы создать продукт, запустить его, подать заявку на продвижение и как можно скорее перейти к чему-нибудь покрупнее и получше”. В течение многих лет в Google решения о повышениях принимал не непосредственный начальник сотрудника; вместо этого сотрудники инициировали повышение, составив “промо—пакет” - сборник эссе, в которых объясняется, почему их вклад заслуживает повышения, подтверждающих доказательств и рекомендаций товарищей по команде. Затем этот пакет оценивали инженеры высшего звена и руководство, которые затем определяли “влияние” сотрудника. Но поскольку подавляющее большинство проектов никоим образом напрямую не способствуют увеличению выручки, оценить влияние может быть сложно. Таким образом, количество запусков стало показателем ценности. Как написал один сотрудник Google в Hacker News: “Вы не сможете продвинуться выше определенного уровня в этом месте, если не "запустите" что-то масштабное. Итак, что вы получите, когда добавите все эти извращенные стимулы? Девять тысяч восемьсот восемьдесят три приложения для чата”.
Там еще много хорошего. Про Гугл.
ответить
4 ответа
А поделитесь, пожалуйста, вашими любими современными авторами, пишущими на русском языке. В основном мне интересен которкий формат, рассказы или повести. Хочется понять, а чем вообще сейчас живет русская литература. Не одного же Пелевина читать.
11 ответов
В стиле "аналитик утонул, переходя вброд реку со средней глубиной 1 метр".
Так вот, в 1998 году страной с самым высоким количеством убийств на душу населения был Ватикан. Мало того, самый высокий уровень преступности в мире и до сих пор в Ватикане: полтора преступления в год на одного жителя!. Естественно, подавляющее большинство этих преступлений совершают приезжие карманники, которые пасутся на огромных толпах туристов.
5 ответов
Друзья, мне кажется, здесь аудитория достаточно зрелая, чтобы обсудить этот вопрос на интересном мне уровне абстракции. Допустим, мы разрабатываем какую-то очень сложную, но достаточно естественно декомпозируемую систему. Например, банковское приложение крупного банка или агрегатор такси, что-то такое. На одном краю спектра находится монолит, когда код системы представляет собой чудовище, а чтобы ее зарелизить, нужно сначала заморозить на полгода и эти полгода тестировать. На другом краю спектра находится death by a thousand microservices, когда существенный процент кода и работы с ним это обслуживание, собственно, микросервисов, а не какие-то более содержательные манипуляции с данными, а существенный процент сложности системы находится уже даже не в коде, а в графе взаимодействия этих самых микросервисов (и хорошо еще, если этот граф вообще наблюдаемый как какая-то визуализируемая или текстовая сущность, а не существует только имплицитно).
Собственно, вопрос, где находится золотая середина. Мой вариант ответа -- хороший микросервис разрабатывает команда, в которой каждый знает каждого и каждый senior понимает, что происходит в любой части кода. При этом дробить сильнее уже вредно, т.е. правильный размер команды микросервиса это 5-7 человек (так что сервис даже не совсем "микро").
Но я знаю, что очень часто систему дробят гораздо мельче, вплоть до того, что один программист разрабатывает и поддерживает несколько "микросервисов". Например, вместо одного бэкенда профиля пользователя мы устраиваем микросервис, который занимается аватарками, отдельно микросервис, который занимается самоописанием пользователя и т.п. Мне такой способ организации кажется абсурдным. Я не видел внятного обоснования, зачем так делать (хотя знаю цинично-реалистичное: job security архитектора, если такая роль в проекте отдельно выделена). Это я чего-то не понимаю, или все-таки они?
6 ответов
Журналисты:
Прорыв в области матричного умножения может привести к созданию более быстрых и эффективных моделей искусственного интеллекта
Ученые обнаружили новый способ умножения больших матриц быстрее, чем когда-либо прежде, устраняя ранее неизвестную неэффективность, сообщает журнал Quanta. В конечном итоге это может ускорить работу моделей искусственного интеллекта, таких как ChatGPT, которые в значительной степени зависят от умножения матриц. Результаты, представленные в двух недавних статьях, привели к тому, что, как сообщается, является самым значительным улучшением эффективности умножения матриц более чем за десятилетие.
... В октябре 2022 года мы рассказали о новой технике, обнаруженной в модели искусственного интеллекта Google DeepMind под названием AlphaTensor, с акцентом на практические алгоритмические улучшения для матриц определенных размеров, таких как матрицы 4x4. Напротив, новое исследование, проведенное Ран Дуанем и Ренфей Чжоу из Университета Цинхуа, Хунсюнь Ву из Калифорнийского университета в Беркли и Вирджинией Василевской Уильямс, Инчжан Сюй и Цзысюань Сюй из MIT, стремится к теоретическим усовершенствованиям, стремясь снизить показатель сложности ω для значительного повышения эффективности при всех размерах матриц. Вместо поиска немедленных практических решений, таких как AlphaTensor, новая методика направлена на фундаментальные улучшения, которые могли бы повысить эффективность умножения матриц в более общем масштабе.
... Традиционный метод умножения двух матриц n на n требует n3 отдельных умножений. Однако новая методика, которая улучшает метод, представленный Штрассеном в 1986 году, уменьшила верхнюю границу показателя степени, приблизив его к идеальному значению 2, которое представляет собой теоретическое минимальное количество необходимых операций".
Лучший комментарий:
они улучшили константу с 2.371866 до 2.371552
Ответ на лучший комментарий:
Вот поэтому вы и не занимаетесь продажами
3 ответа
Интересная и слегка пугающая новость про Claude-3. Полученный результат IQ=100 это результат среднего человека (по определению; шкала теста так калибруется, чтобы медиана была ровно 100). Для сравнения, у GPT-4 результат получился 85 (это минус одно стандартное отклонение, т.е. как довольно глупый человек, но 15% людей ещё глупее).
Q. IQ это же что-то странное, эти тесты не измеряют интеллект?
A. У людей измеряют. IQ это лучший из известных способов определить G-factor, то есть "главную компоненту" в матрице корреляций между множеством разных умственных способностей человека, измеренных самыми разными способами. Долгосрочно IQ хорошо предсказывает самые разные исходы человеческой жизни типа дохода, продолжительности жизни, вероятности развода, баллы ЕГЭ etc etc. В целом текущие способы его измерения, несмотря на то, что выглядят слегка рандомно, подобраны за десятилетия в ходе формализованного процесса, построенного по принципу "выбираем такие задачи, которые хорошо коррелируют со всем на свете, и отбрасываем те, что не коррелируют" и очень хороши, гораздо лучше тех, с которых область начиналась. Имеющиеся способы измерения IQ перестают быть научно обоснованными только для чисел где-то выше 135 или ниже 70 (потому что выборка становится слишком маленькой). Ну да, сайты в интернете, предлагающие измерить свой IQ онлайн, действительно, ненадежны.
Q. Но это же всё для людей, а не для компьютеров
A. Верно. Достижение круто не тем, что это AGI (это не AGI), а тем, что Клавдия теперь умеет справляться примерно с такими контекстами:
Below is a verbal description of a puzzle, consisting of a 3x3 grid, with the lowest-right square being empty. Please consider the patterns and determine the appropriate answer to fill in the empty square.
First row, first column: Four small black dots placed on corners of a large imaginary square. Inside that is a hollow circle in the center.
Читать дальше →
10 ответов
Поскольку я хочу начать новый год с чистым сердцем, а этот блог как будто бы пока никто не читает, воспользуюсь им для минутки овершеринга.
Мне всегда нравилась моя работа программиста. Я с детства любил компьютеры. Наверное, самым первым моим компьютером был мамин программируемый калькулятор "Электроника МК-52" (не знаю, откуда он взялся у мамы, она им никогда не пользовалась). Потом у нас дома появился советский клон "Спектрума" БК-0010-01 и набор кассет с программами (в основном, играми) и понеслось. Какой кайф был каждый раз вручную писать программу на Бейсике, чтобы поиграть в игру "Угадай число"! Записывать программы на кассеты я не умел.
Ещё мне всегда нравилась математика. Самым большим моим достижением было второе место на областной школьной олимпиаде и поступление на мехмат. Как потом выяснилось, особыми талантами я не обладал, но и не всем дано. Зато программирование я полюбил.
Я убежден, что самое привлекательное в программировании — его неразрывность с творчеством. Волшебное чувство — придумать в голове какую-то систему, идею, невыраженную словами, зато выраженную чем-то иным, что можно описать в коде, и реально ее описать. А потом у тебя по экрану бегает змейка или закрывается тикет на работе. Это почти как писать музыку.
Но как я не так давно осознал, несмотря на то, что мне до сих пор нравится программировать, мне никогда не нравилось работать программистом. Даже в моё золотое время, когда я будто бы и работал в хорошей компании, и даже каких-то успехов достигал, иногда на встречах и митингах я как будто просыпался ото сна и думал: "что за херню мы делаем и кому это всё нужно?". Но виду не подавал. Хуже всего, когда я оказывался в руководящей роли. Тогда мне мало того, что приходилось как-то мириться с тем, что мы занимаемся херней, но и придумывать рациональные версии, почему мы должны ей заниматься в этом квартале и чего мы хотим в этой херне достичь.
Читать дальше →
5 ответов
https://slatestarcodex.com/2015/09/16/cardiologists-and-chinese-robbers/
Одна из моих любимых записей Скотта Александера. Очень простое наблюдение, но после того, как это прочитаешь, начинаешь замечать следствия из его практически ежедневно и уже никогда не перестаешь. Подача тоже, как всегда, безупречная.
Существует русский перевод https://lesswrong.ru/w/Кардиологи_и_китайские_грабители
ответить
Среди нас наверняка есть аркадии с высшим образованием в районе физики.
Накидайте примерно, как вы видите путь к доказательство AdF/CFT для 4-мерного пространства-времени?
И в чём там затык, почему так долго нет? //вроде один из самых важных кусочков паззла на пути к примирению квантов и ОТО
from #yachan
1 ответ
За последние годы в физике совершается все меньше открытий, которые можно охарактеризовать как "значимые", то есть дающие заметный и быстрый прогресс в технологии. Кроме того есть впечатление что чем дальше, тем экспоненциально дороже становятся исследования. Это конец физики? Или мы скоро увидим что-то что сделает физику great again?
1 ответ
Ответ спасен из Яндекс.Кью
На самом деле, очень хороший вопрос, над которым астрономы ломали голову не одно столетие. Несложно математически доказать, что в бесконечной Вселенной, которая более-менее равномерно заполнена галактиками, ослабление света от далёких звёзд на каком-либо расстоянии в точности компенсируется увеличением их количества. Или, если говорить более строго, поток фотонов, попадающий на Землю от сферического слоя, зависит только от толщины этого слоя, но не от расстояния до него. Таким образом, освещённость земного неба должна быть бесконечно большой. Это утверждение получило название фотометрического парадокса. Чуть более подробный анализ, учитывающий то, что звёзды не являются математическими точками, позволяет избавиться от бесконечностей, но всё равно яркость ночного неба выходит на несколько порядков больше, чем яркость Солнца.
А решение фотометрического парадокса в итоге оказалось простым. Вселенная конечна во времени. У неё было начало. При этом свет передвигается в пространстве с конечной скоростью. Так что до Земли добралось ровно такое количество света, которое могло успеть добраться за те самые 13,8 миллиардов лет, которые существует Вселенная, и ни фотоном больше. И это количество фотонов недостаточно, чтобы ночью было светло.
Что любопытно, на самом деле освещённость ночного неба не такая и маленькая. Суммарно оно светится ярче Венеры. Но поскольку эта освещённость не сконцентрирована в точке, а размазана по полусфере, человеческий глаз видит ночное небо тёмным.
3 ответа
Ну это, та самая штучка, в общем, вы поняли
ШОК! Мир модели GPT крутится вокруг религии, астрономии, математики и психологии.
Для проверки достаем модель GPT-2-S, которую можно запустить на CPU, и подставляем вместо <default_token> - усредненный токен (арифметический либо медианный):
- Q:
What is "<default_token>"? It is a.
- A:
term used to describe a person who is not a member of the Church.
- A:
term used to describe the state of a person's mental state. и далее про психическое здоровье.
- Игра "повтори слова".
- Q:
man - man, hello - hello, ball - ball, <default_token> -.
- A:
"galaxy", "globe", "cosmos", "nonsense", "silly", "manifold", "holy", "boom"
- Ближайший токен к
<default_token> по скалярному произведению - " mathemat".
Вообще это очень похоже на направление, которое год назад нащупали в статье "SolidGoldMagikarp" с lesswrong про GPT-2.
- Они заметили группу токенов возле
<default_token>, в ответ на которые модель ведет себя аномально, в частности, пытается оскорблять пользователя.
- Также они применили метод "feature visualisation" для LLM, то есть смотрели среди всех префиксов какая самая большая вероятность получить данный токен в продолжении. Выяснилось, что в таком обратном режиме модель вспоминает самые темные части интернета. Например, на токен " girl" самый вероятный префикс "dealership VIP ... slut".
В копилку аргументов Андрея хочу добавить следующие:
- Аналог усредненного токена - слово "это". Во многих культурах слово "это" как раз означает то, что нельзя произносить.
- Средний токен, наоборот, очень аномальный для модели (например, по расстоянию до ближайших токенов). Как для нас набор случайных символов вроде "#A!%х^". Что, опять, в интернетах означает разные плохие вещи.
1 ответ
Итак, думаю этот hot take будет прям hot.
Тезис: современная этика в науке и медицине очень сильно ограничивает прогресс. Смягчение некоторых этических норм позволит очень сильно продвинуть прогресс вперед. Предлагаемые изменения в этике:
- все что делается с информированного добровольного согласия дееспособного человека - допустимо
- любые научные эксперименты на животных допустимы
- запреты на клонирование и генетические модификации человека отменяются
Примеры и аргументы почему да:
- медицина: даже на смертельно больном пациенте провести авантюрное лечение по принципу "ну 1% что поможет, 99% что умрет - так ведь и так умрет" не получится просто взять и применить. Даже при его информированном согласии.
- наука: опыты на животных - боль. Нужно 50 одобрений; хрен вам(в смысле мыши) а не шимпанзе, комитет по этике против; на человеческих эмбрионах что-то делать это вообще бюрократический ад. И да, мыши от человека сильно дальше чем шимпанзе - талидомид например для них не тератоген как для нас, а вот для нас и шимпанзе да. В итоге, воспроизводимость исследований на людях страдает, мы проводим 10 тестов на мышах, а на 11ом на шимпанзе понимаем что занимались изначально обреченной идеей.
- Клонирование человека + генетические модификации - путь к истребелению множества наследственных заболеваний. Как вам мир в котором "синдром дауна" и "спинально-мышечная атрофия" - это какие-то понятия из прошлого?
18 ответов
Текст профессионального IT-консультанта, которого зовут, чтобы помочь решить некие архитектурные или инфраструктурные проблемы, настроить процессы, скорректировать стратегию и т.п., и особенно вот этот отрывок, объясняющий, как он, собственно, это делает:
I am going to go get a pen and a pad of paper, then schedule a 90-minute meeting with the most senior IC engineer that you have on your team. I will bring that pen and paper to the meeting. I will then ask one question:
"What is fucked up about this place?"
I will then write down their response in as much detail as I can manage. If I have begun to suspect that this meeting is necessary, 90 minutes is typically not enough time, and I will struggle to keep up. Even so, I will usually manage to capture the highlights.
One week later, I will schedule a meeting with executive leadership, and during that meeting, I will read back a very lightly edited version of the transcript of the previous meeting. This is then routinely praised as a keen strategic insight.
Очень верится, что так и есть. Из этого явно можно сделать какой-то полезный вывод, только я пока не знаю, какой. Например: а что если я не буду дожидаться появления внешнего "пророка", а проделаю эту операцию сам? Возьму самого сильного IC в своей команде и задам ему этот вопрос? Нуууу, он мне не расскажет. Или расскажет что-то, что я сам знаю. У нас и так 1:1ы регулярно. А что если я вброшу такую идею своему начальству? Это тоже не сработает по неким (нестрашным) причинам, в которые мы здесь вдаваться не будем.
Но в общем явно может пригодиться когда-нибудь.
7 ответов
На фоне происходящих сейчас электоральных мероприятий закину новый hot take, связанный как раз с этим процессом.
Возможна ли само-модерирущюаяся распределённая система принятия справедливых решений любой сложности и важности, способная заменить централизованную государственную власть? В каких единицах вообще выражается власть, в какой пропорции это деньги и сила, а в какой что-то ещё?
Моё мнение: хотелось бы мечтать о такой штуке, но совершенно непонятно, каким образом, кроме силового принуждения, можно заставить людей соблюдать решения, принятые даже в такой "честной" системе. Власть, с другой стороны, в моём понимании выражается как деньги + авторитет + сила (не личная, а групповая), причём авторитет (уважение, полученное за продуцирование справедливых решений) в этой сумме играет меньшую роль, чем два других слагаемых. Бедное население не может влиять на власть с помощью кошелька, поэтому и демократии среди такого населения построить не получится, какую бы доступную и честную систему принятия решений не придумать.
Когда я об этом думал, то представлял себе многоуровневую систему фильтрации идей - грубо говоря, любой может закинуть идею, а пять случайных человек её пропускают наверх или аргументированно отбивают, а другие пять случайных человек проверяют аргументы первой группы. Отфильтрованные идеи попадают уже не в пятиугольник, а в группу побольше, и там фильтруются в таком же формате, таким образом, наверх всплывают потенциально хорошие идеи.
Другая идея у меня была в назначении экспертных представителей по различным важным жизненным вопросам. Грубо говоря, я знаю несколько человек, которые точно являются специалистами в какой-то области, и могу доверить им принимать за себя решения в этой области (здравоохранение, образование, строительство, и так далее). Те люди, в свою очередь, могут или сами принимать решения с весом, равным количеству представляемых людей, или передавать их дальше, где веса будут суммироваться по такому же принципу. Получается некоторый аналог министерств, но решения принимаются на основе экспертизы, а не на основе карьерного продвижения во власти. Забавное следствие в такой системе - уважение и вес можно легко растерять, если принять непопулярное решение, так как сделанный выбор будет легко увидеть. Таким образом, голосовать выбранные представители будут более серьёзно. В целом Госдуму можно было бы организовать по такому же принципу, но политика, в отличие от экспертных областей, гораздо грязнее, и там уже работают другие законы.
9 ответов
Выношу из комментов:
rvn
А расскажи еще, пожалуйста, где добыть монетку, которая с вероятностью f(x) падает орлом? :)
vvv
Это же тоже хорошая задача
Как из симметричной монетки получить несимметричную
Даже можно добавить какое-то требование, что в среднем понадобится не более двух бросков симметричной монетки
Формализация задачи:
У вас есть честная монетка (выпадает орлом или решкой с вероятностью ровно 1/2). Дано число p, 0 < p < 1. Придумайте процедуру, которая позволяет имитировать нечестную монетку, которая выпадает орлом с вероятностью p. Дополнительное требование: матожидание числа бросков честной монетки согласно этой процедуре должно быть не больше 2.
Решение в комментах под спойлером.
2 ответа
Статья спасена из Яндекс.Кью
Практике проводить операции под общим наркозом почти двести лет, чуть ли не каждому в его жизни проводили одну или несколько таких. Мозг можно на время выключить, а потом, если всё сделано правильно, без всякого ущерба включить обратно. Только представьте, насколько в худшую сторону изменилась бы медицина, если бы не это счастливое обстоятельство!
Вещества, которые при этом вводятся пациенту, химически очень простые и очень разнообразные. Несмотря на это, теории того, как наркоз работает, хоть и существуют, но ни одна из них не является полностью убедительной. В википедии есть обзор: https://en.wikipedia.org/wiki/Theories_of_general_anaesthetic_action
И вот вам вишенка: в 2019 году обнаружили, что "человеческая" анестезия работает даже на растениях, например, на мимозе и на плотоядной мухоловке -- под ней они перестают реагировать на прикосновение. При этом, как все знают, у растений вообще нет центральной нервной системы. Не то что мозга, нейронов нет.
https://www.zmescience.com/medicine/plant-anesthetics-function/
Наверное, это не магия, конечно. Видимо, наркоз действует на базовые электрохимические механизмы, которые древнее разделения на животных и растения. Но все равно какое-то смешанное чувство восхищения и ужаса остаётся, когда обо всём этом узнаёшь.
За жизнь меня выключали и включали заново пять раз, и никто не знает, как это работает.
ответить
Ответ спасен из Яндекс.Кью
Обязательно стоит. Приведу пример из своей жизни. Однажды зимой по пути на работу я увидел вдалеке от тротуара в овраге плачущего старичка. По внешнему виду -забулдыга. Думаю, большинство прохожих приняло его за алкаша. Напился, мол, сопли мажет на морозе. Другие просто не обратили внимания. У меня была мысль пройти мимо, не люблю пьяных. Все-таки подошел и спросил в чем дело. Оказалось, дедушка уже два часа не может взобраться по гололеду на горку, а из-за простуды не может позвать на помощь! Такой пустяк, а мог еще сильнее подорвать здоровье человека. Пять минут и проблема была решена. Конечно, следует приглядеться к ситуации, чтобы не попасть впросак или не подвергнуться опасности как один мой знакомый, получивший фингал от парня плачущей девушки. Но все-таки лучше подойти, чем не подойти. Особенно когда дело касается стариков и инвалидов. Тут почти 100% реальная проблема и часто решение ее не будет Вам стоить практически ничего.
ответить
Про то, как работала торговля в СССР. Не уверен, что имеет смысл пересказывать, оно довольно плотное, могу только сказать, что лично мне оно очень хорошо объяснило, как и почему закончился СССР.
http://sbelan.ru/index.php/ru/intervyu/134-intervyu-s-direktorom-magazina-frukty-ovoshchi-1986-god/index.html
(Начинается с некоторого обсуждения национальностей, по современным меркам не очень приличного; если вас это вдруг шокирует, можно промотать, там не это самое интересное)
ответить
Лишь спустя 20+ лет опыта я осознал, что всё это время писал неправильный hello-world.
А вот правильно будет как-то так:
#include <iostream>
int main() {
std::cout << "Hello, World!" << std::endl;
return std::cout ? 0 : 1;
}
Пояснения на ангельском
UPD: Как указал finder есть ещё такой вариант
#include <iostream>
int main() {
std::cout.exceptions(std::cout.badbit);
std::cout << "Hello, World!" << std::endl;
return EXIT_SUCCESS;
}
На днях узнал что жена уже на 3-4 неделе беременности. Радостно!
Знаю, что тут сидит много опытных отцов. Поделитесь лайфхаками? О чем стоит заранее подумать? Как поддерживать жену?
Я, например, с огромным удивлением узнал, что в современном мире все ещё огромный процент выкидышей в первые 3 месяца. В интернетах пишут аж 15-25%. С таким большим числом невольно начинаешь себя готовить психологически к худшему. Если не дай бог что случится, уметь вовремя подставить плечо тем, кто больше нуждается. Или это все страшилки и нормально делай - нормально будет?
6 ответов
Страница
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
