Вы используете мобильную версию

перейти на Полную версию сайта

Доступно

[Udemy] Сервис по скрапингу и рассылке вакансий на основе Django (Олег Новиков)

Складчина [Udemy] Сервис по скрапингу и рассылке вакансий на основе Django (Олег Новиков). Совместные покупки курсов, тренингов, обучения. Присоединяйтесь! Важен каждый вкладчик.

Тема найдена по тегам:
Цена:
1200 руб
Взнос:
131 руб
Организатор:
Dr.Vatson

Список участников складчины:

1. Dr.Vatson 2. oksana 3. Olololosh3000 4. Sergeytt 5. lex_18 6. HappyZer0day
Оцените эту складчину: /5,
  1. Dr.Vatson
    Dr.Vatson Организатор складчин

    [Udemy] Сервис по скрапингу и рассылке вакансий на основе Django (Олег Новиков)

    [​IMG]

    Скрапинг вакансий с открытых источников по заданным параметрам.
    Сохранение, рассылка и отображение этих вакансий.

    Чему вы научитесь
    Научитесь анализировать сайты для их дальнейшего скрапинга, а также создавать простые приложения на Django

    Что входит в курс?
    21,5 часа видео

    Материалы курса
    70 лекций - 21:41:59

    – Введение - 13:25
    Введение - 02:10
    Инструменты и библиотеки, которые будут использоваться в проекте - 05:07
    Виртуальное окружение. Что это такое и зачем оно нужно - 06:08

    – Скрапинг данных с сайтов - 03:26:30
    Сбор данных с сайтов ( скрапинг). Две разные категории сайтов для скрапинга - 13:00
    Скрапинг данных с помощью requests и beautifulsoup - 11:28
    Анализ страницы сайта work.ua . Как и какие данные можно получить - 09:58
    Сбор данных по одной вакансии - 21:46
    Анализ пагинации для получения ссылок на другие страницы с вакансиями - 30:30
    Получения данных со всех страниц с вакансиями по выбранной категории - 18:24
    Анализ сайта djinni.co - 24:40
    Сбор данных со второй страницы сайта djinni.co - 11:27
    Скрапинг страницы сайта dou.ua - 21:02
    Скрапинг страницы сайта rabota.ua - 24:21
    Скрапинг данных со второй страницы с вакансиями на rabota.ua - 19:54

    – Django - 07:56:43
    Установка Django - 22:31
    Как Django работает изнутри. Подключаем html-страницу - 15:17
    Создание первой модели в Django - 20:33
    Создание модели для сохранения данных по вакансиям - 24:55
    Создание модели для специальностей. Что такое shell? - 19:35
    Создание функции по интеграции функции скрапинга и сохранению данных в БД - 21:53
    Продолжение по функции для сохранения данных в БД - 17:46
    Финализируем функцию по сохранению данных - 06:03
    Добавление остальных функций по скрапингу. Обработка исключений - 19:17
    Расширение функционала. Добавление возможности поиска по другим параметрам - 20:06
    Автоматизация получения входных данных для скрапинга - 23:09
    Bootstrap. Немного сведений об этом фреймворке - 20:12
    Шаблонные тэги в Django — block и extends - 23:36
    Отображение данных из БД на странице - 14:24
    Добавление логики в функцию отображения данных - 08:56
    Формы. Создание формы с выбором города\специальности для сортировки отображения - 31:55
    Создание нового приложения для подписчиков - 25:25
    Форма регистрации и добавление нового пользователя - 34:30
    Функция добавления нового пользователя - 23:00
    Форма авторизации пользователя - 21:54
    Функция входа и форма для редактирования данных пользователя - 21:11
    Функция редактирования данных пользователя - 24:34
    Создание адресов и страниц для входа и редактирования - 16:01

    – PostgreSQL - 02:53:44
    Установка PostgreSQL - 11:06
    Миграции, новый суперюзер, загрузка данных в новую БД - 06:06
    psycopg2 модуль по работе с БД PostgreSQL. Скрипт по работе БД - 26:28
    Скрипт по работе с БД. Словарь с городами и специальностями - 13:38
    Скрипт по работе с БД. Словарь с сайтами и урлами для скрапинга - 21:35
    Скрипт по работе с БД. Получение данных по результату работы скрапинга сайтов - 21:34
    Скрипт по работе с БД. Запись данных в БД. Удаление старых записей из БД - 26:54
    Работа с моделаями вне Django-проекта - 23:22
    Финализируем скрипт по работе с моделаями вне Django-проекта - 23:01

    – Отправка писем - 47:10
    Отправка писем подписчикам - 26:59
    Финализируем функцию по отправке писем подписчикам - 18:24
    Верификация e-mail адреса для сервиса MailGun - 01:47

    – Улучшения внешнего вида и функционала - 01:36:03
    Создание стартовой страницы — адрес, функция, шаблон - 19:26
    Небольшие изменения для лучшего отображения страницы - 18:42
    Форма обратной связи - 27:18
    Отправка писем админу по отсутствующим урлам для пар город-специальность - 30:37

    – Heroku - 01:54:47
    Подготавка файла с настройками - 15:19
    Устанавка необходимых библиотек - 20:14
    Деплой проекта - 22:39
    Создание необходимых переменных окружения - 24:49
    Запуск проекта - 19:55
    Выполнение функций по расписанию - 08:00
    Создание проекта с помощью CLI - 03:51

    – Улучшаем функционал сервиса - 02:52:10
    Редактирование внешнего вида страниц сайта - 19:56
    Переход с Django 1.11 на Django 2. Что нужно сделать? - 25:32
    Логирование ошибок. Создание модели - 22:05
    Логирование ошибок. Изменения в логике работы функций - 34:19
    Логирование ошибок. Отправка писем администратору - 19:53
    Логирование ошибок. Отправка писем администратору, дополнение - 05:30
    Страницы ошибок 400.html, 404.html, 500.html - 08:21
    Дополнения и изменения - 33:42
    Решение с многократной отправкой писем - 02:52

    – Финал - 01:27
    Финал - 01:27

    Требования
    Базовые знания Python и html

    Описание
    Django - бесплатный и свободно распространяемый фреймворк для веб-приложений, написанный на Python. Каждый раз при разработке веб-сайтов требуются похожие компоненты: способ аутентифицировать пользователей (вход, выход, регистрация), панель управления сайтом, формы, инструменты для загрузки файлов и т.д. И чтобы это все не повторять, был создан Django. Django отлично работает в сочетании с любыми библиотеками, инструментами и скриптами, написанными на Python.

    Шаг за шагом, Вы пройдете весь процесс по построению сервиса, который собирает вакансии с сайтов по поиску работы и рассылает их своим подписчикам. Вы узнаете, каким образом скрапить данные с сайтов , как их сохранять в БД, как создать веб-приложение на основе Django и многое другое. А после того, как приложение уже будет готово, Вы узнаете, как его можно разместить в интернете так, чтобы оно было доступно для всех.

    Основная целевая аудитория курса - студенты, желающие получить знания по скрапингу данных и по Django, а также разработчики, которые уже знают Python и хотят побольше узнать о веб- разработке и скрапингу.

    Некоторые темы курса:
    ·Virtualenv – зачем нужно и как его использовать
    ·Парсинг сайтов с использованием библиотек requests и Beautifulsoup
    ·База данных PostgreSQL и работа с ней используя модуль psycopg2
    ·Создание приложения на основе Django
    ·Оформление сайта с помощью Bootstrap 4
    ·Деплой приложения на сервис Heroku
    ·и многое другое!

    Какова целевая аудитория?
    Для начинающих разработчиков на Python, кому интересно как парсить сайты и сохранять данные скрапинга в Django

    О преподавателе
    Oleg Novikov
    Python\Django Developer
    Здравствуйте! Меня зовут Новиков Олег. Занимаюсь тем, что пишу приложения на Python\ Django и преподаю курс по основам программирования на Python в офлайн. Когда то, я сам обучался программированию и все что с ним могло быть связано, а теперь я готов поделиться полученными знаниями с Вами. И это очень здорово, когда ты делишься тем, что знаешь сам! Я не знаю всё, да и это невозможно, поэтому постоянно изучаю какие-то новые технологии. И мой Вам совет – делайте тоже самое! Читайте, изучайте, пишите код! Чем больше Вы применяете полученные знания на практике, тем лучше они усваиваются!
    Если у Вас будут возникать вопросы - пишите, я обязательно отвечу на них!

     
    Последнее редактирование модератором: 1 май 2023
    Dr.Vatson, 14 ноя 2018
  2. Похожие складчины
    Загрузка...
  3. adsl3008
    adsl3008 Складчик
    Ребят, вышел офигенный курс, от друга Олега Новикова Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть... !
     
    adsl3008, 16 июн 2019
  4. SandraW
    SandraW Организатор складчин
    Освой Профессию‌ ‌Data‌ ‌Scientist‌ [SkillBox] _Beach
    Дата-сайентист — одна из самых востребованных профессий в мире.

    Вас ждут 8 курсов, онлайн-лекции и практические задания, а также 2 дипломных проекта.
    После обучения вы сможете претендовать на позицию Junior Data Scientist.

    Чему вы научитесь:
    + Программировать на Python
    + Визуализировать данные
    + Разрабатывать интерактивную инфографику
    + Работать с библиотеками и базами данных (Pandas, NumPy и Matplotlib, PostgreSQL, SQLite3, MongoDB)
    + Программировать на R
    + Применять нейронные сети для решения реальных задач
    + Освоите фреймворки для обучения нейронных сетей Tensorflow и Keras
    + Построите рекомендательную систему и добавите её в своё портфолио

    ПОРА ПРОФЕССИЮ МЕЧТЫ ПРЕВРАЩАТЬ В РЕАЛЬНОСТЬ! _Neo Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...

    P.S. Дефицит дата-сайентистов наблюдается не только в России, но и во всем мире. ВЭФ считает эту профессию одной из самых востребованных в ближайшие пять лет. В России, по данным HeadHunter, только с 2019 по 2020 год число вакансий на должность дата-сайентиста выросло на треть. При этом уровень предлагаемых зарплат в сфере остается высоким — в среднем 150 тысяч рублей в месяц.
     
    SandraW, 27 июн 2021
Наверх