Уд 25 авито: Доступ ограничен: проблема с IP

• Технология

• Инвестирование

• Новости компании

• Лента новостей

20 мая 2022 г.

Лони Принслу, Bloomberg News

(Блумберг) — Prosus NV собирается продать свой российский бизнес по размещению объявлений Avito, последней международной компании, избавившейся от активов в стране после вторжения на Украину в феврале.

План ликвидации появился после того, как два месяца назад голландский гигант электронной коммерции решил «отделиться» от своего крупнейшего российского актива. Ранее аналитики оценивали бизнес примерно в $6 млрд.

«После завершения операционного разделения Naspers’s Prosus решила выйти из российского бизнеса», — говорится в заявлении компании в пятницу. «Мы начали поиск подходящего покупателя на нашу долю в Авито».

Prosus, контрольный пакет акций которой принадлежит южноафриканской Naspers Ltd., также рассчитывает списать стоимость своей 27-процентной доли в группе социальных сетей VK на 769 миллионов долларов.

Интернет-гигант имеет около 4000 сотрудников, работающих в Avito, а его подразделение OLX Europe, базирующееся в Амстердаме, также имеет команду из около 350 сотрудников в Украине.

Акции Prosus торговались на 3,8% выше в пятницу в Амстердаме.

Компании, уходящие из России, включают Goldman Sachs, McDonald’s Corp. и Carlsberg A/S. Крупнейшие нефтяные компании Exxon Mobile Corp., BP Plc и Shell Plc разорвали отношения со своими российскими партнерами.

© 2022 Bloomberg L.P.

Запасы FAANG

• 6:52

  Meta потеряла доверие потребителей, пользуйтесь Alphabet и Amazon для покупок FANG прямо сейчас: Hatem Dhiab

• 5:10

  Держитесь подальше от FAANG, но продолжайте инвестировать в технологии: Стратег

• 3:57

  Даррен Сиссонс обсуждает акции FAANG и Microsoft

• 5:40

  Прорыв Amazon станет «действительно большим событием»: Кэти Стоктон, основатель Fairlead Strategies

• 6:33

  Инвесторы не увидят в этом квартале «ничего, кроме ошеломляющей прибыли»: Дэвид Нельсон из Belpointe

• 5:08

  Маккрит: данные по индексу потребительских цен за апрель пугают фондовые рынки

Задача прогнозирования спроса Avito — Kaggle — Сквозная реализация.

В электронной коммерции сочетание крошечных нюансов продукта может привести к существенному повышению интереса пользователя к покупке. Следующие детали, упомянутые ниже, могут иметь большое значение для развития интереса, если пользователь взглянул на продукт.

Итак, приведенные выше несколько примеров показывают, как один продавец может оптимизировать листинг продукта на веб-сайте электронной коммерции. Но что происходит, даже если продавец имеет полностью оптимизированный список своего продукта и не получает никакого количества продаж. Это приводит к проблеме анализа спроса на продукт, который продавец хочет продать. Это так важно, потому что если продавец вкладывает деньги в рекламу, а люди не посещают его товар или даже после посещения не заинтересованы в покупке товара, это явно объясняет какую-то проблему в товаре продавца.

Такие компании, как Amazon или Flipkart, тратят миллионы на рекламу, и если спрос на продукты не существует, это приводит к огромным потерям для компании или даже продавца, который перерасходует свои собственные деньги на рекламу своего продукта, если спрос на его продукт не существует. просто разочарование продавца может привести к большим проблемам в бизнесе.

В апреле 2018 года Avito запустил в Kaggle конкурс, основанный на предсказании спроса на тот или иной товар. Avito — российский сайт объявлений с разделами, посвященными продаже товаров общего назначения, работе, недвижимости, знакомствам, продаже автомобилей и услугам. Avito — самый популярный сайт объявлений в России и второй по величине сайт объявлений в мире после Craigslist. [Источник: Википедия].

Набор данных был создан командой Avito, в котором набор данных имеет различные категориальные характеристики, такие как идентификатор рекламы, заголовок рекламы, описание рекламы, изображение рекламы, item_id, user_id и т. д., а также Deal_Probability в качестве целевой переменной. Здесь вероятность сделки — это непрерывная переменная, которая находится в диапазоне от 0 до 1. Нули указывают наименьшую вероятность того, что предмет будет куплен, а 1 — наибольшую вероятность того, что предмет будет куплен. Итак, эта проблема — проблема регрессии в машинном обучении.

1. Что такое прогнозирование спроса.

2. Почему важно прогнозирование спроса.

3. Набор данных Kaggle и его показатели производительности

4. Простой исследовательский анализ данных

5. Предварительная обработка данных

6. Разработка функций

7. Изучение наших моделей машинного обучения

9.0 Лучшая модель оценки Развертывание на виртуальной машине — (в процессе)

10. Итоги и будущие работы

11. Ссылки

Прогнозирование спроса — это процесс оценки будущего потребительского спроса за определенный период с использованием исторических данных и другой информации.

Надлежащее прогнозирование спроса дает компаниям ценную информацию об их потенциале на текущем рынке и других рынках, чтобы менеджеры могли принимать обоснованные решения о ценообразовании, стратегиях роста бизнеса и рыночном потенциале.

Без прогнозирования спроса предприятия рискуют принять неверные решения в отношении своей продукции и целевых рынков, а неосведомленные решения могут иметь далеко идущие негативные последствия для затрат на хранение запасов, удовлетворенности клиентов, управления цепочками поставок и прибыльности.

Почему важно прогнозирование спроса?

Существует ряд причин, по которым прогнозирование спроса является важным процессом для бизнеса:

• Прогнозирование продаж помогает в бизнес-планировании, составлении бюджета и постановке целей. Когда у вас будет хорошее представление о том, как могут выглядеть ваши будущие продажи, вы можете приступить к разработке обоснованной стратегии закупок, чтобы убедиться, что ваши поставки соответствуют спросу клиентов.
• Это позволяет предприятиям более эффективно оптимизировать запасы, увеличить оборачиваемость запасов и снизить затраты на хранение.
• Он дает представление о предстоящем движении денежных средств, что означает, что предприятия могут более точно планировать расходы на оплату поставщиков и другие операционные расходы, а также инвестировать в развитие бизнеса.
• С помощью прогнозирования продаж вы также можете заблаговременно выявлять и устранять любые перегибы в конвейере продаж, чтобы обеспечить стабильную эффективность вашего бизнеса в течение всего периода. Когда дело доходит до управления запасами, большинство владельцев бизнеса электронной коммерции слишком хорошо знают, что слишком мало или слишком много запасов может нанести ущерб операциям.
• Предвидеть спрос означает знать, когда увеличить персонал и другие ресурсы, чтобы обеспечить бесперебойную работу в периоды пиковой нагрузки.

3. Понимание набора данных Kaggle и показателей его производительности.

Набор данных был большим, я сталкивался с различными проблемами при обработке больших данных, так как у меня меньше вычислительного устройства. Ядра Kaggle недостаточно для тех, кто планирует выполнять все операции на ядре Kaggle. Набор данных, предоставленный командой Avito, содержит все, изображения, текст, категориальные и непрерывные переменные. Давайте посмотрим на CSV-файл поезда.

• item_id — Идентификатор конкретного объявления.
• user_id — Идентификатор пользователя
• регион — Объявления относятся к региону.
• город — Объявление принадлежит городу.
• parent_category_name — Категория объявлений верхнего уровня согласно рекламной модели Авито.
• название_категории — Мелкозернистая категория объявлений по рекламной модели Авито.
• param_1 — Необязательный параметр из рекламной модели Авито.
• param_2 — Необязательный параметр из рекламной модели Авито.
• param_3 — Необязательный параметр из рекламной модели Авито.
• заголовок — Заголовок объявления.
• описание — Описание объявления.
• цена — Цена объявления.
• item_seq_number — Порядковый номер объявления для пользователя.
• activation_date — Дата размещения объявления.
• user_type — Тип пользователя.
• изображение — Идентификационный код изображения. Привязывается к jpg-файлу в train_jpg. Не каждое объявление имеет изображение.
• image_top_1 — Классификационный код изображения на Авито.
• Deal_Probability — Целевая переменная. Это вероятность того, что реклама действительно что-то продала. Невозможно точно проверить каждую транзакцию, поэтому значение этого столбца может быть любым числом с плавающей запятой от нуля до единицы.

4. Простой исследовательский анализ данных.

Давайте изучим данные, проанализировав их.

4.1. Изучение отсутствующих значений данных.
Давайте проверим процент отсутствующих точек данных, присутствующих в нашем наборе данных для обучения и тестирования.

Наблюдения :
Существует много NA для необязательных параметров — пользователи обычно игнорируют ввод необязательных параметров. Изображение — NA означает отсутствие изображения для объявления, как описано в разделе данных, который — «Не в каждом объявлении есть изображение». Цена — какой-то пользователь не ввел цену.

4.2 Анализ вероятности сделки

Около 65% (1000000/1503424 = 0,66) объявлений имеют нулевую вероятность сделки. Ясно, что около 100 тыс. объявлений ничего не продали. Немногие объявления имеют вероятность 1, а остальные находятся в диапазоне от 0 до 1. Объявления

В раздачах по регионам с рекламой видно, что в одних регионах рекламы больше, чем в других, возможно, эти города популярны в России.

Приведенная выше диаграмма показывает, что некоторые регионы имеют незначительные преимущества по показателю вероятности.

4.4 Распределение рекламы по городам:

Топ 25 городов по распространению рекламы, лучшие города – хорошие города России.

4,5 Распределение рекламы по названию родительской категории

Родительская категория «Личные вещи» преобладает в наборе данных.

Родительская категория «Услуги» имеет лучшую вероятность сделки, чем другие.

4.6. Название категории Разумное распределение рекламы

Распределение рекламы ясно показывает преобладание двух категорий над другой категорией. Эти категории: одежда, обувь, аксессуары, детская одежда и обувь.

Блочная диаграмма показывает, что некоторые категории имеют большую вероятность сделки, чем другие.

4.7 Тип пользователя Разумное распространение рекламы:

Существует только три типа и набор данных с более частным пользователем, за которым следует компания и магазин.

Вероятность сделки с частным пользователем лучше всех.

4.8 Распределение цен на рекламу.

Журнал цен показывает не полностью гауссовское распределение. Когда мы делаем логарифм цен, мы можем проанализировать, что его максимальное значение лежит в диапазоне от 5 до 15.

4.9. Длина слова в заголовке объявления:

Максимальное количество слов в заголовке от 1 до 6.

4.10. Анализ дат активации:

Даты различаются для обучающих и тестовых наборов. В данном наборе данных есть данные для обучения с 15 по 28 марта и для тестирования с 12 по 18 апреля 2017 года. Между данными для обучения и тестирования имеется разрыв в две недели.

5. Предварительная обработка данных

Предварительная обработка данных для любого набора данных — довольно сложная задача, потому что вы хотите обработать отсутствующее значение и очистить данные для подачи в модель машинного обучения. Если мы вводим значения NaN, мы должны позаботиться о связи между отсутствующими значениями и нашей целевой переменной, которая здесь является вероятностью сделки.

5.1 Обработка отсутствующих значений

Цена: Для цены отсутствуют 85632 значения, что составляет примерно 5,6 % в сравнении. Я использовал здравый смысл и подход, чтобы заменить это значение этими отсутствующими значениями со средним значением его категории.

Изображение: Для изображений, отсутствующих в наборе данных, изначально я думал просто ничего не вменять, но я руководствуюсь здравым смыслом и вменяю изображение в отношении режима этого конкретного изображения родительской категории.

Для остальных функций , поскольку пропущенных значений много, я заменяю значения NaN строкой «отсутствует», чтобы это было действием в качестве новой категории.

5.2. Очистка текста:

Очистка текста и описания путем понижения текста и знаков препинания.

5.3. Изображения в массив:

Я преобразовал изображения в массив с помощью cv2, а затем изменил его размер до 128 x 128, поскольку у меня не так много памяти, чтобы справиться с этой проблемой, я сохраняю размерность низкой.

6. Разработка функций:

Создание новых функций может оказаться сложной задачей. Лучший способ получить фору в этом — погрузиться в предметную область и поискать исследовательские работы, блоги, статьи и т. д. Ядра Kaggle в связанных доменах также являются хорошим способом найти информацию об интересных функциях.

Мы реализовали несколько простых и проверили работоспособность модели.
Вот краткий обзор функций:

6.1. По регионам Минимальные, максимальные, средние и медианные цены:
Агрегация цен по регионам.

6.2. По городу Минимальные, максимальные, средние и медианные цены:
Агрегация цен по городу

6.3. Название родительской категории Мин. , макс., среднее и медианное цены: Агрегация цен, группирующих родительскую категорию.

6.4. Название категории Мин., Макс., Среднее и Медиана Цены:
Агрегация групп цен Название категории.

6.5. Регион и город Минимальные, максимальные, средние и медианные цены:
Агрегация цен по регионам и городам.

6.6. Тип пользователя и родительская категория с учетом минимальных, максимальных, средних и медианных цен: Агрегация цен, группирующих тип пользователя и название родительской категории.

6.7. Тип пользователя и название категории с учетом Мин., Макс., Среднее и Медиана Цены: Агрегация цен по типу пользователя и названию категории.

6.8. Длина слов в заголовке и описании.

6.9. В заголовке и описании учитываются специальные символы, такие как ↓, ✔, ❀, ஜ, ! и т.д.

6.9. Предварительно обученные векторы слов FastText встраиваются в заголовок.

6.10. Встраивание предварительно обученных векторов слов FastText для описания.

6.11. Категориальная характеристика :
Я решил использовать слой встраивания в глубокой нейронной сети, поэтому я создаю пользовательскую функцию с токенизатором Keras для кодирования всех категориальных функций. Категориальные функции включают user_type, город, регион, parent_category_name, category_name, param_1, param_2, param_3, image_top_1.

• Примечание:
  В части развертывания я собираюсь отказаться от функции агрегирования по той причине, что мои тестовые данные также имеют распределение, благодаря которому мы можем агрегировать функции и наши значения. Но для развертывания я собираюсь вставить одну точку данных в свою модель, чтобы агрегация невозможна. Даже здесь, если мы возьмем реальный сценарий, если мы предопределили наши значения агрегации здесь, мы можем иметь или не иметь новое категориальное значение. Вот почему я подумал зайти сюда.

7. Изучение наших моделей машинного обучения:

Для создания моей первой базовой модели я использовал различные подходы высшего ранга, и общим в их подходах является то, что большинство из них использует методы Boosting Ensemble. Они собрали различные ансамбли, некоторые из них рассчитаны даже на 30 базовых моделей. А вот обладатель первого ранга делится своими подходами к глубокому обучению, что весьма интересно и вдохновляюще. Поэтому я решил двигаться вперед с подходом глубокого обучения, поскольку моя основная цель не в том, чтобы победить тройку лучших в Kaggle, я подхожу к этой проблеме как к реальному бизнес-решению.

7.1. Первая базовая модель:
Итак, в моей первой базовой модели я использовал LSTM для обеих своих текстовых функций: заголовка и описания. Здесь используется слой встраивания и инициализируется предварительно обученными весами из русского языка FastText. Категориальная и другая инженерная функция отправляется на какой-то плотный слой, затем все объединяется и переходит на несколько плотных слоев.

Все функции активации здесь «RELU», а веса инициализируются с помощью He_Normal(). Используемый здесь LSTM также имеет recurrent_dropout, который равен 0,3. Здесь наша модель кажется немного подогнанной, я не сильно регулировал только один пакетную нормализацию и один слой отсева. Поскольку это наш первый подход к сокращению, наша модель выполняет достойную роль с частной оценкой 0,24619.и публичный балл 0,24175.

7.2 Добавление GRU и встраивание в базовую модель:

Как мы видели, мы получили приличный результат для начала, я начал с LSTM для текстовых данных. Одна вещь, которую я заметил, это то, что потери не уменьшаются при 0,23, поскольку они могут найти свои глобальные минимумы. Поэтому я попытался сначала изменить LSTM на GRU и повторно запустить обучение, это помогает нашей модели уменьшить потери с 0,23 до 0,227. Итак, я продолжал импровизировать модель, добавляя слой внедрения к каждому из категориальных данных, поскольку категориальные данные здесь очень важны.

Эта модель вдохновлена ​​танцем первого победителя с ансамблями. Основное отличие от моей предыдущей модели заключается в том, что я никогда не добавлял изображения в свою модель, в этой модели я экспериментировал с VGG16, Inception и InceptionResNetV2 для трансферного обучения, в котором InceptionResnetV2 работает лучше, чем VGG16 и Inception. После вывода базового уровня из InceptionResNetV2 я экспериментировал со слоем свертки, затем с максимальным пулом, а затем с плотным слоем, что повышает производительность модели трансферного обучения.

Я использовал однослойный GRU для текстовой функции и пытался сделать мою модель слабой, так как иногда модель получает переобучение. За всеми плотными слоями последовали пакетная нормализация и выпадение, чтобы упорядочить мою модель.

Эта модель лучше, чем две предыдущие модели. Вот одна вещь, которой я хочу поделиться со всеми вами, это то, что, поскольку этот набор данных большой, у меня нет таких ресурсов, чтобы работать со всеми наборами данных вместе с изображениями. Итак, здесь я экспериментировал только с 50 тысячами точек данных, исходный набор данных содержит 1,5 миллиона точек данных. Недостаток использования меньшего количества точек данных приводит к переобучению модели, я пробовал несколько способов упорядочить модель, но ничего не работает. Вышеупомянутые две модели, которые были обучены с полным набором данных, идеально подходят для моего набора данных перекрестной проверки. Модель не может изучить все распределение.

Очки за отправку Kaggle:

9. Развертывание на виртуальной машине:

Я использовал потоковый API с открытым исходным кодом для развертывания моей модели на моем локальном компьютере, вы должны написать все коды на python Без HTML, CSS или JavaScript , это весело па! Вы можете проверить видео ниже.

10. Резюме и будущие аспекты:

Этот проект довольно интересный, все типы данных для решения проблемы. Подводя итог этому проекту, мы построили хорошую модель с самого начала, первая модель способна дать правильное направление для движения вперед.