0.00
0 читателей, 4902 топика

Автоматизация парсинга сайтов на Python


Промокод на скидку 15% на все курсы ITVDN- H94BCAB
Материалы вебинара- itvdn.com/ru/webinars/description/auto-parsing-python?utm_source=yb_auto-parsing-python

В эру машинного обучения информация становится нефтью 21го века. Проекты, связанные со сбором и анализом данных, выходят на первые позиции в глобальных компаниях и в стартапах.

Как собирать и обрабатывать информацию? В зависимости от целей проекта данные могут собираться абсолютно разные. На вебинаре мы рассмотрим один из наиболее распространенных подходов – парсинг сайтов.

Мы возьмем один из популярных сайтов с рабочими вакансиями и на его примере разберем библиотеки для парсинга веб-сайтов, библиотеки для работы с запросами. Разберем виды популярных баз данных и поймем где и какую нужно использовать.

План вебинара:

1) Что такое парсинг веб-сайтов.
2) Библиотеки для парсинга веб-сайтов.
3) Библиотеки для работы с сетью.
4) Написание кода парсеров.
5) SQL и NoSQL — при каких задачах, какой тип используется.
6) Написание кода менеджеров баз данных.

Иван Евтухович. Express42. Ключевые DevOps-практики


В нашей работе консультантами по DevOps, мы часто сталкиваемся с вопросом клиентов, из чего же, собственно, состоит DevOps. Абривиатура CAMS плохо подходит для того, чтобы продавать, потому что никто не купит культуру или Knowlage Sharing. Мы рекомендуем нашим клиентам внедрять следующие практики: Infrastructure As a Code, Continuous Delivery, Continuous Monitoring, Automated Testing и Test Data Management. В докладе я расскажу, что мы подразумеваем под этим, а также про некоторые кейсы из нашей работы с крупными российскими компаниями.

Василий Хмельницкий о будущем


Что делать во время кризиса и какие ниши рассматривать для инвестирования? Когда нас заменят роботы и применима ли идея безусловного базового дохода к Украине?
Смотрите видео, ставьте лайк и задавайте вопросы в комментариях.

Подписывайтесь:
www.facebook.com/vkhmelnytsky/
www.instagram.com/vkhmelnytsky/

Фильм недавно вышел! МОДЕЛЬ СЧАСТЛИВОЙ ЖИЗНИ Русские мелодрамы 2020 новинки, фильмы HD


Фильм недавно вышел! МОДЕЛЬ СЧАСТЛИВОЙ ЖИЗНИ Русские мелодрамы 2020 новинки, фильмы HD

Ирина Горохова – настоящий знаток своего дела. Благодаря своей настойчивости и незаурядному уму, в свои тридцать два года она уже занимает высокий пост в крупной компании. По поручению руководства она отправляется в родной городок, где случайно сталкивается с Игорем – своим бывшим женихом, с которым она рассталась перед отъездом в Москву. Минута общения с ним напрочь рушит все ее представления о счастливой жизни, Ира осознает, что в ее жизни нет самого главного для любой женщины – настоящей любви. Узнав о том, что он овдовел несколько лет назад, она оставляет карьеру и возвращается в родной городок для того, чтобы вернуть возлюбленного и обрести настоящее женское счастье

Подписываемся на канал, что бы не пропустить новые фильмы www.youtube.com/channel/UCc9pY6nxrdpYntXzQwOIqOw

Что такое Git? Зачем он нужен и как использовать? (примеры из практики)


Друзья, в этом видео я расскажу вам о том, что такое Git, зачем он нужен, как его использовать и как с его помощью оптимизировать и упростить работу в команде. Мы поговорим обо всех особенностях использования этого инструмента и я наглядно покажу как с ним работать.

Что такое git?
Git — это система контроля версий, а если сказать простым языком то это программа, инструмент, которая позволяет нам фиксировать наши изменения в коде, а также благодаря этой фиксации позволяет нескольким людям или даже командам вместе слажено и параллельно работать над каким-то программным продуктом.

Представьте что вы пишите программу и у вас есть какая-то функция, которая допустим сохраняет информацию информацию о пользователе в базу данных, и для этого сохранения вам естественно нужна логика которая собственно это сохранение будет делать. Вот вы написали код, все круто все работает. Как сделать своего рода сохранение как в компьютерной игре которое сможет зафиксировать прогресс?

Git — это как раз такая программа, такая система, которая позволяет эти сохранения создавать и потом управлять ими, менять, возвращаться к ним, удалять и переписывать их, такая фиксация в терминах Git-а называется `commit`

Проще всего гит представлять по аналогии либо с компьютерной игрой и ее сохранениями либо с таким роботом-фотографом, который в любой момент который вы ему скажете сделает так сказать фотографию ваших файлов с которыми вы работаете, зафиксирует их состояние на текущий момент, и затем любой момент может вам сказать поменялось ли что-то в этих файлов с момента прошлой «фиксации».

Git собственно так и делает, вы говорите ему команду, он запоминает состояние ваших файлов на текущий момент присваивая ему специальный номер вот это снимка, там называемый `commit hash`.

Commit hash — набор символов которые уникально идентифицируют сохранение состояния файлов в конкретный момент времени;

Что такое ветки в гите и как их использовать?
В git также используется так называемая система веток, представьте себе что ветка, так называемая branch — это маршрут по которому едет поезд, а каждая его остановка, сохранение состояния это коммит. То есть когда мы начинаем разрабатывать какую-то задачу, пишем код нам нужно идти с точки А в точку Б, у нас скажем пустой файл, а потом постепенно наш код начинает эволюционировать и он со временем начинает что-то внятное делать.

Так вот этот процесс разработки можно представить по той же аналогии с поездом, поездвыезжает с точки А и ему нужно доехать до точки Б, и этот маршрут он будет ехать по своему пути (в нашем случае это и будет ветка нашего git), а также по пути ему надо останавливаться чтобы фиксировать свой прогресс по маршруту, это и будут коммиты в нашем случае, то есть мы пишем код в рамках ветки и делаем коммиты, для того чтобы сохранять наш прогресс внутри метки.

Как его используют команды?
Как такой подход позволяет нам распараллелить работу разных людей и команд и сделать их более продуктивными? Все дело в том что когда мы работаем над каким-то проектом и нескольоко людей пишут код они во 1 могут одновременно менять одни и те же файлы.

Так вот фишка гита в том что каждый разработчик может сам себе создать такую ветку, уникальный маршрут поезда на пути которого будут свои уникальные остановки, то есть свои уникальные коммиты этого разработчика, и эта ветка она будет скажем так принадлежать одному человеку и там он будет фиксировать все свои изменения, делать коммиты.

И все сводится к достаточно простой логике, у нас есть какой-то код который нам надо написать, мы сделали новую ветку, по пути того как мы разрабатываем мы в этом ветке делаем коммиты чтобы зафиксировать изменения, как только мы понимаем что у нас все готово, нам нужно объединится с другими разработчиками, скажем так сделать так чтобы наши изменения ехали по общему маршруту, то мы просто сливаем все наши коммиты из нашей ветки в общую. По аналогии с поездами можно представить что у нас есть какая-то главный поездной маршрут в котором есть все наши остановки, коммиты из всех веток. Таким образом все довольно просто, сделали ветку, написали код попутно фиксируя изменения коммитами, после того как закончили, слили все наши изменения в общую ветку чтобы эти коммиты, эти изменения были доступны всем другим разработчикам.

00:00 Начало
1:03 — Git — что это?
2:52 — Что такое Git commit
4:09 — Ветки или «branch» что это такое?
5:27 — Как команды используют Git?
7:49 — Как применять Git в работе. Практика.
7:57 — Новый репозиторий. (Git init)
9:17 — Создание файла и коммита. (Git commit)
11:46 — Сохранение файлов (Git commit -m)
12:46 — Как работают с ветками и какими они бывают.
14:51 — Создание develop ветки, и ветки для работы ( Git checkout -b feature)
17:06 — Как новый файл добавляется в Git
19:39 — Откат к коммиту (Git reset)
20:44 — Слив на одну ветку (Git merge)

Соцсети:
www.instagram.com/itwithvitaly/
www.facebook.com/itwithvitaly

#примерыИзПрактики #обучениеIT #становимсяПрограммистами

Путь в IT. От пользователя к DevOps. С чего начать и что делать дальше. Основные темы IT.


Путь в IT. От пользователя к DevOps. С чего начать и что делать дальше. Основные темы IT.

Изучение IT Сферы. С чего начать изучение. Что стоит изучать дальше.
Путь в ИТ от простого пользователь к DevOps.
Что отличает Системного администратора (SysAdmin) и DevOps.

! НЕ СТОИТ ВОСПРИНИМАТЬ ДАННОЕ ВИДЕО КАК ПРАВИЛО, это всего лиш один из вариантов последовательности изучения.

Как изучать программирование с полного нуля / мотивация / саморазвитие


#soer #влог #влогпрограммиста
В этом видео я затронул важные вопросы связанные именно с тем КАК обучаться, а не ЧЕМУ. Поэтому видео не о том, что нужно выучить и по каким книгам заниматься. А о том, как построить процесс обучения и что препятствует эффективному обучению программированию.

Чат для программистов — discord.gg/3UVJWAs
Спонсорская помощь — www.patreon.com/soersoft

Группа ВК — vk.com/codeartblog
Github — github.com/soersoft
Веб-сайт — codeart.ru

Сервера и СХД - как основа IT сервисов предприятия


В видео подробно раскрываются вопросы использования серверов и систем хранения данных, в качестве основы ИТ сервисов современного предприятия.

Рассмотрено их внутреннее строение и классификация, а также типичные примеры использования в современной ИТ инфраструктуре предприятий.

Менеджер проектов (не) нужен?


Галина Митричева, менеджер проектов Яндекс, выступление на конференции Project Day от Epic Skills.

Набор обязанностей «классического» руководителя проектов. Варианты распределения обязанностей в командах. Прецеденты команд без руководителя. Критерии определения необходимости ПМ.

epicskills.timepad.ru/event/421110
epixx.ru