0.00
0 читателей, 4902 топика

Автоматизация парсинга сайтов на Python


Промокод на скидку 15% на все курсы ITVDN- H94BCAB
Материалы вебинара- itvdn.com/ru/webinars/description/auto-parsing-python?utm_source=yb_auto-parsing-python

В эру машинного обучения информация становится нефтью 21го века. Проекты, связанные со сбором и анализом данных, выходят на первые позиции в глобальных компаниях и в стартапах.

Как собирать и обрабатывать информацию? В зависимости от целей проекта данные могут собираться абсолютно разные. На вебинаре мы рассмотрим один из наиболее распространенных подходов – парсинг сайтов.

Мы возьмем один из популярных сайтов с рабочими вакансиями и на его примере разберем библиотеки для парсинга веб-сайтов, библиотеки для работы с запросами. Разберем виды популярных баз данных и поймем где и какую нужно использовать.

План вебинара:

1) Что такое парсинг веб-сайтов.
2) Библиотеки для парсинга веб-сайтов.
3) Библиотеки для работы с сетью.
4) Написание кода парсеров.
5) SQL и NoSQL — при каких задачах, какой тип используется.
6) Написание кода менеджеров баз данных.

Почему нельзя возвращать NULL?


Негативные последствия возвращения Null и как же работать правильно.
Курс, о котором шла речь в видео: Enterprise patterns — bit.ly/3hYyWhk

Курсы для новичков:
JAVA — bit.ly/2Z42wL6
JAVA Start — bit.ly/3boc7Ba
Инструментарий JAVA — bit.ly/32Xwl0S
Automation QA (Java) — bit.ly/3gZe8oJ
ANDROID — bit.ly/3jWAedB
C#/.NET — bit.ly/331EcL8
C# START — bit.ly/3lQfLZF
PYTHON — bit.ly/2Z4UBgo
FRONT-END — bit.ly/2Z42NxC
WORDPRESS Developer — bit.ly/2EWUsET
SALESFORCE Developer — bit.ly/3lMsf4k
UI/UX дизайн — bit.ly/32TaveV
Project management — bit.ly/3gSAmbP
Обучение на проекте — bit.ly/2DsgpuZ

Продвинутые курсы для состоявшихся девелоперов:
GRASP and GoF Design patterns — bit.ly/354aeIM

Сайт Foxminded: bit.ly/3lNYikt
Foxminded в ФБ: www.facebook.com/foxmindedco
FoxmindEd в Instagram: www.instagram.com/foxminded.ua/
Foxminded в VK: vk.com/foxminded
Мой Telegram: t.me/nemchinskiyOnBusiness
Мой блог: www.nemchinsky.me

0:00 – вступление Сергея Немчинского
00:27 – кто еще считает, что Null возвращать нельзя?
02:02 – почему нельзя возвращать NULL: обработка ошибок вручную
04:48 – почему нельзя возвращать NULL: неоднозначное понимание
06:16 – реклама
07:22 – почему нельзя возвращать NULL: нарушение мышления программиста, нагромождение кода
10:38 – почему нельзя возвращать NULL: медленный провал, затруднение поддержки системы
13:31 – история про индусов
15:13 – использование Null в изменяемых и незавершенных объектах
17:15 – как же тогда работать?

Какой язык программирования учить в 2020 году: Рациональный подход


В этом видео я покажу и расскажу как найти для себя ответ на вопрос «какой язык программирования учить?». Мы посмотрим на data-driven подход, который основывается на конкретных цифрах и анализе рынка на текущий момент.

Исходя из этого мы сделаем выводы какой язык программирования нам учить в 2020 для того, чтобы быть как можно быстрее начать свою карьерную деятельность.

Я покажу Вам как самостоятельно начать ориентироваться в подборе направления и расскажу специфику каждого языка программирования.

Сайты где можно смотреть вакансии:
Украина — dou.ua/
Беларусь — dev.by/
Россия — tproger.ru/
США — www.builtinnyc.com/

Таймкоды
3:49 — Сайты для анализа IT рынка
5:02 — Java
5:35 — .NET
6:37 — Python
7:36 — Ruby
8:09 — PHP
9:00 — iOS/Android
9:36 — Front End
10:13 — QA
10:40 — DevOps
13:28 — Анализ зарубежного рынка

Соцсети:
www.instagram.com/itwithvitaly/
www.facebook.com/itwithvitaly/

Чем плоха удаленная работа?


Мысли по поводу удаленной работы и профессионального роста.

Поддержать канал: www.patreon.com/seniorsoftwarevlogger
Сайт: seniorsoftwarevlogger.com
Футболки: teespring.com/stores/senior-software-vlogger
Моя техника и другие штуки kit.co/seniorsoftwarevlogger/my-setup

Как изучать программирование с полного нуля / мотивация / саморазвитие


#soer #влог #влогпрограммиста
В этом видео я затронул важные вопросы связанные именно с тем КАК обучаться, а не ЧЕМУ. Поэтому видео не о том, что нужно выучить и по каким книгам заниматься. А о том, как построить процесс обучения и что препятствует эффективному обучению программированию.

Чат для программистов — discord.gg/3UVJWAs
Спонсорская помощь — www.patreon.com/soersoft

Группа ВК — vk.com/codeartblog
Github — github.com/soersoft
Веб-сайт — codeart.ru

Анализ исходного кода Redux | Функциональная композиция | Middleware


#soer #ityoutubersru
В этом видео речь пойдет о применении в Redux таких техника как:
— функциональная композиция
— каррирование
— чистые функции
— функции высшего поряка
— рекурсии
Чат для программистов — discord.gg/3UVJWAs
Спонсорская помощь — www.patreon.com/soersoft

Группа ВК — vk.com/codeartblog
Github — github.com/soersoft
Веб-сайт — codeart.ru

Протокол HTTP | Курс "Компьютерные сети"


Протокол передачи гипертекста HTTP.
Страница курса — www.asozykin.ru/courses/networks_online

Hypertext Transfer Protocol (HTTP) – протокол передачи гипертекста, основа World Wide Web
Тим Бернерс-Ли в ЦЕРН предложил концепцию Web в 1989 году.

Uniform Resource Locator (URL) – уникальное положение ресурса.

В стеке TCP/IP протокол HTTP находится на прикладном уровне. Используется протокол транспортного уровня TCP, порт сервера 80. HTTP работает в режиме запрос-ответ.
Данные передаются в текстовом виде.

Версии протокола HTTP:
HTTP 0.9 – экспериментальная версия ЦЕРН, 1991
HTTP 1 – первая официальная версия протокола, 1996
HTTP 1.1 – расширение первой версии HTTP, 1997. Кэширование, постоянное соединение, аутентификация. Используется сейчас
HTTP 2 – современная версия HTTP, 2015. Вводится в эксплуатацию

Структура пакета HTTP:
— Метод запроса/статус ответа
— Заголовки (не обязательно)
— Тело сообщения (не обязательно)

Методы HTTP:
GET – запрос Web-страницы
POST – передача данных на Web-сервер
HEAD – запрос заголовка страницы
PUT – помещение страницы на Web-сервер
DELETE – удаление страницы с Web-сервера
TRACE – трассировка страницы
OPTIONS – запрос поддерживаемых методов HTTP для ресурса
CONNECT – подключение к Web-серверу через прокси

Статусы HTTP:
1XX – информация
2XX – успешное выполнение (200 ОК)
3ХХ – перенаправление (301 – постоянное перемещение, 307 – временное перенаправление)
4ХХ – Ошибка на стороне клиента (403 – доступ запрещен, 404 – страница не найдена)
5ХХ – Ошибка сервера (500 – внутренняя ошибка сервера)

Практические занятия по курсу «Компьютерные сети» — goo.gl/YP3l83

Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках:
goo.gl/kW93MA

Борис Вольфсон, Основы Agile


Данный доклад предназначен для тех, кто только начинает изучать гибкие методы разработки программного обеспечения, которые обычно называют Agile.

Я расскажу базовые вещи о ценностях и принципах Agile, на основе которых развиваются современные Agile-методологии Scrum и Kanban. Мы рассмотрим вопрос, почему появилась гибкая разработка (на Западе и у нас), чем она отличается от традиционного подхода к разработке программного обеспечения и почему итеративные методологии стали фактически стандартом дефакто в софтверном мире.

В дополнение к управленческим практикам мы добавим инженерные практики из экстремального программирования, и поймем поймем почему без гибкой архитектуры не бывает гибкой разработки.

Также будет затронута тема внедрения Agile и типичные проблемы, с которыми приходится сталкиваться на этом пути.

Сервера и СХД - как основа IT сервисов предприятия


В видео подробно раскрываются вопросы использования серверов и систем хранения данных, в качестве основы ИТ сервисов современного предприятия.

Рассмотрено их внутреннее строение и классификация, а также типичные примеры использования в современной ИТ инфраструктуре предприятий.