Уже завтра, 29-го марта, на конференции Azure Day расскажу про то, как в условиях санкций и/или подготовки к финансовому кризису подготовить себе еще одну «подушку безопасности» - собрать валютный портфель.
Конференция бесплатная и пройдет онлайн, так что обязательно присоединяйтесь!
Всем привет!
Плохая новость – лето подошло к концу; хорошая – наступает время конференций, ИТ-тусовок и безумных предновогодних проектов. На одно из мероприятий, где это все (и еще бесплатная пицца :) ) будет, я и хочу с радостью вас пригласить.
Global AI Night – митап, который проходит одновременно по всему миру при поддержке 90 ИТ-сообществ. Как не сложно догадаться, митап посвящен теме машинного обучения.
Мне выпала честь быть пригашенным туда российским MVP Community в качестве спикера. Свое выступление я посвящу теме Automated Machine Learning: расскажу, что это за зверь в зоопарке ML, сделаю обзор основных концепций и фрейморков для Auto ML, а также проведу пару безумных, как и было заявлено, демок.
В конце ноября-начале декабря я выступлю в роли докладчика на 3-ех мероприятиях [1]. На всех трех я буду поднимать одну и ту же тему – облачные технологии для задача машинного обучения. В зависимости от тематики конференции я попытаюсь осветить тему AI + Cloud то больше с точки зрения .NET-разработчика, а то больше с точки зрения data scientist’a.
Спешу поделиться с вами материалами:
Последние 3 года мы все наблюдаем взрывной рост числа приложений и сервисов, использующих технологии искусственного интеллекта. Одним из ключевых кирпичиков построения таких приложений являются платформы, представляющие инфраструктуру (backend для AI). И во многом локомотивами развития таких бекэндов стали именно облачные платформы.
В рамках своего доклада на конференции Azure Day я попытался разобраться в существующем в облаке Azure многообразии AI-сервисов и инструментов, рассмотрел, как построить в облаке современный AI-стек для решения Deep Learning задач, а напоследок, еще и обучил глубокую нейронную сеть на GPU-инстансе Azure VM.
Microsoft Machine Learning Server. Part II
Биткоин Прогресс не стоит на месте. И, безусловно, технология блокчейн и производные от нее технологии, в первую очередь криптовалюты,
не могут не вызвать интереса у любого, кто интересуется технологиями и всем новым.
Поэтому уже завтра (14-го декабря) на новогодней встрече Data Geeks Community я продолжу свои эксперименты с применением технологий машинного обучения к задаче предсказания курса биткоина.
Part I: Architecture View
R зарекомендовал себя как отличный статистический пакет для анализа данных: его широко используют в академической среде, с его помощью энтузиасты выигрывают в соревнованиях Kaggle, хедж-фонды занимаются анализом финансовых рынков.
Но требования, предъявляемые к исследовательской деятельности, зачатую сильно отличаются от требований, предъявляемых к программным продуктам в Enterprise-среде.
В серии докладов про Microsoft Machine Learning Server (бывший Microsoft R Server) мы познакомимся ближе с данным программным фреймворком, с тем, как его применение поможет выполнять R-скрипты многопоточно на многопроцессорной машине, распределено на Spark-кластере, как публиковать ML-модели в виде высоконагруженный REST-сервисов и многое другое.
И первый доклад пройдет уже сегодня на встрече Data Geeks Community (о нем еще обязательно позже расскажу). Спешу поделиться с вами материалами с этого доклада.
Симбиоз технологий Интернета вещей (IoT) и технологий искусственного интеллекта (AI) могут (или уже?) открыть новые горизонты для широкого распространения датчиков в нашей повседневной жизни, так и в промышленности.
О том, в каком состоянии сегодня пребывает «дружба» IoT и AI, а также о конкретных задачах в авиапромышленности и здравоохранении расскажу уже сегодня (20 сентября) на открытой встрече Russian IoT Community. Презентация с моего доклада представлена ниже.
Лето в этом году было облачным Первая новость, которую я хочу сообщить с особой гордостью за российских разработчиков в частности и за страну в общем –
Яндекс выложила свою библиотеку машинного обучения CatBoost в открытый доступ. Высокая точность предсказания и
способность работать как с категориальными, так и числовыми предикторами заявляются killer-фичами ML-фреймоворка от Яндекс. Тем самым Яндекс
присоединилась к таким гигантам как Microsoft, Google, Amazon, в деле открытия исходных кодов своих AI-алгоритмов для Data Science (DS) сообщества.
Март-апрель были (и еще будет) богаты на всякого рода встречи российского Azure-сообщества. Это хакатон Breakpoint, по Azure-митапы в Москве и Санкт-Петербурге, конференция Global Azure Bootcamp и DevCon School.
На паре мероприятий мне выпала честь поучаствовать в качестве спикера. Спешу поделиться материалами рассказанного словами и продемонстрированного (как в качестве презентации, так и в качестве демо).
UPD1 [2017-04-20]: добавлены описание и ссылки. UPD2 [2017-04-22]: добавил результаты демо.
Существует довольное большое количество задач, где вычисления на процессорах графических карт ведет к значительному сокращению как времени вычислений, так и финансовых затрат, необходимых для построения и поддержания соответствующей аппаратной инфраструктуры.
Как правило, это compute-intensive задачи, оперирующие большим объемом данных. Одним из наиболее перспективных направлений применения GPU-вычислений являются задачи машинного обучения, в общем, и задачи, относящиеся к классу deep learning, в частности. Но приобретение/владение сервером с высокопроизводительной графической картой – мероприятие не из самых дешевых. И тут облачные провайдеры пришли на помощь стартапам, частным исследователям и просто энтузиастам.
Пионером в GPU-on-demand была Amazon: компания анонсировала доступность в облаке AWS виртуальных машин с GPU еще в 2010 году. А совсем недавно в Microsoft Azure также появилась возможность получить VM c возможностью вычисления на высокопроизводительных графических процессорах NVidia.
В начале августа 2016 года было объявлено о начале закрытого тестирования (private preview) инстансов виртуальных машин, оборудованных картами NVidia Tesla [1]. Эта возможность предоставляется в рамках сервиса Azure VM – IaaS-сервис предоставляющий виртуальные машины по требованию (аналог Amazon EC2).
C точки зрения доступа приложения к графическому процессора архитектура сервиса выглядит так:
При текущем уровне научно-технического прогресса необязательно быть огромной производственной компанией, чтобы появилась необходимость использовать в своих ИТ-системах 10 Тб отказоустойчивого геораспределенного хранилища. Как и необязательно быть HFT-компанией с Wall Street, чтобы иметь Apache Spark кластер или делать высокопроизводительные расчеты на GPU.
В различных сферах жизни уже появилось достаточное количество задач, для решения которых нужны довольно сложные и дорогие серверные инфраструктуры. С такими задачами с завидной периодичностью уже сейчас сталкиваются стартапы, исследователи, студенты, просто энтузиасты, которые, к примеру, участвуют в соревнованиях в Kaggle.
Сегодня облачные платформы предоставляют нам все вышеперечисленное по требованию (on-demand).
Который год подряд на рынке облачных услуг я вижу очень интенсивное развитие как в части качества облачных сервисов, так и в части их разнообразия. Одним из характерных атрибутов развития становится все более широкая доступность этих сервисов с финансовой точки зрения.
Но кроме снижения цены на сервисы, немаловажным в популяризации облачных вычислений является, что у таких провайдеров как AWS или Microsoft Azure есть различные программы, позволяющие использовать их облачные сервисы бесплатно, либо со значительной скидкой.
Ниже сравним предложения от 2-ух крупнейших облачных провайдеров Microsoft Azure и Amazon.
R, один из популярнейших языков программирования среди data scientist'ов, получает все большую и большую поддержку как среди opensource-сообщества, так и среди частных компаний, которые традиционно являлись разработчиками проприетарных продуктов. Среди таких компаний – Microsoft, чья интенсивно увеличивающая поддержка языка R в своих продуктах/сервисах, привлекла к себе и мое внимание.
Одним из «локомотивов» интеграции R с продуктами Майкрософт является облачная платформа Microsoft Azure. Кроме того, появился отличный повод повнимательнее взглянуть на связку R + Azure – это проходящий в эти выходные (21-22 мая) хакатон по машинному обучению, организованный Microsoft [1].
В прошлой части я озвучил 3 тезиса:
Azure Machine Learning (Azure ML) – облачный сервис для выполнения задач, связанных с машинным обучением. Почти наверняка Azure ML будет центральным сервисом, которым вы будете пользоваться, в случае, если захотите обучить модель, в облаке Azure.
Подробный рассказ про Azure ML не входит в цели данного поста, в тем более, что о сервисе уже достаточно написано: Azure ML для data scientist’ов [3], best practices обучения модели в Azure ML [4]. Сконцентрируемся на следующей задаче: организация командной работы с максимально безболезненным переносом R-скриптов с локального компьютера в Azure ML Studio.
R, один из популярнейших языков программирования среди data scientist'ов, получает все большую и большую поддержку как среди opensource-сообщества, так и среди частных компаний, которые традиционно являлись разработчиками проприетарных продуктов. Среди таких компаний – Microsoft, чья интенсивно увеличивающая поддержка языка R в своих продуктах/сервисах, привлекла к себе и мое внимание.
Одним из «локомотивов» интеграции R с продуктами Майкрософт является облачная платформа Microsoft Azure. Кроме того, появился отличный повод повнимательнее взглянуть на связку R + Azure – это проходящий в эти выходные (21-22 мая) хакатон по машинному обучению, организованный Microsoft [1].
Хакатон – мероприятие, где кофе время чрезвычайно ценный ресурс. В контексте этого я ранее писал о
best practices обучения моделей в Azure Machine Learning.
Но Azure ML – это не лучший инструмент для прототипирования; это скорее сервис для создания готового продукта со всеми вытекающими отсюда затратами как на время разработки, так и на стоимость владения.
R же прекрасно подходит для создания прототипов, для копания (mining) в данных, быстрой проверки своих гипотез – то есть всего того, что нам нужно на такого типа соревнованиях! Ниже я расскажу, как использовать всю мощь R в Azure – от создания прототипа до публикации готовой модели в Azure Machine Learning.
Прошлая неделя [c 28.03.2016 по 03.04.2016] была насыщена новостями о новинках/изменениях как в облачной платформе Azure, в частности, так и технологиях/продуктах Microsoft, в общем. Те, кто следит за новостями, знают, что такой всплеск связан с только что прошедшими конференциями «Strata + Hadoop World» и «//Build 2016».
Изменений настолько много, что, не приложив серьезных усилий, довольно сложно понять, какие перспективы открывают новинки как для увеличения эффективности существующих решений, так и для создания чего-то революционно нового.
Ниже я сделаю обзор изменений по темам, которые вызывают у меня наибольший профессиональный интерес – Data Platform и Data Science.
Update [14.01.2015]: добавлено видео доклада на Community DevCamp.
Reference: Ignite 2015
Всем привет!
Спешу поделиться материалами с моего выступления на Community Dev Camp, который прошел 11 декабря на территории центра Digital October.
Речь пойдет о стеке Cortana Analytics Suite. Подробно остановимся на сервисе Azure Machine Learning и решим задачу анализа тональности сообщений в социальных сетях для таких задач как:
Hello!
I want to share with the community the materials from my presentation at the Azure Machine Learning Hackathon 2015. To begin, I will publish only slides of my speech. Then, as the opportunity arises, I will upload a video of the presentation.
Стандартный план любого хакатона ↓
В эти выходные пройдет хакатон по машинному обучению [1], организатором которого является компания Microsoft. У участников хакатона будет 2 дня для того, чтобы крепко не выспаться и сделать мир лучше.
Повествование в этой статье будет идти в стремительной манере, также как, полагаю, для большинства участников и пройдет хакатон. Никакой воды [2] (если вы не знакомы с Azure ML, то «воду» лучше все-таки почитать), долгих определений и таких длинных вступлений как это - только то, что вам нужно, чтобы победить на хакатоне.
Update [14.01.2015]: добавлено видео мастер-класса.
11 ноября в ВШЭ я проведу лекцию, посвященную облачному сервису предиктивной аналитики Azure Machine Learning.
Update: уже 23 ноября в МАМИ я проведу мастер-класс, приуроченный к пройдущему 28-29 ноября хакатону по машинному обучению от Microsoft. На этом мастер-классе сервис Azure ML также будет являться центральной темой.
В рамках обоих мероприятий будут рассмотрены основные принципы и концепции, лежащие в основе Azure ML, возможности, которые сервис предоставляет специалистам в области Data Science. Также пройдет обсуждение, чем сервисы предиктивной аналитики могут быть полезны как небольшим стартапам, так и научным исследовательским группам.
Последние 15 минут выступления будет посвящены секции «вопрос-ответ».
В дополнение к довольно большому количеству онлайн-курсов по Microsoft Azure, доступных в MVA [2], в EdX [1] совсем скоро пройдут 4 бесплатных онлайн-курса по облачной платформе Azure.
Один из них начался еще вчера (22 сентября), один начнется уже завтра (24 сентября). Ниже представлено краткое описание этих курсов.
Hello!
I want to share with IT community the materials from my presentation at the Moscow Data Fest conference. To begin, I will publish only slides of my speech. Then, as the opportunity arises, I will upload a video of presentation.
The presentation focused on cloud-based service of predictive analytic - Azure Machine Learning.
I will describe concepts and principles underlying Azure ML, as well as talk about how Azure ML can help data scientists to perform classification, clustering, sentiment analysis algorithms in Big Data-ready and LSML fashion.
