Methods of automation of many processes on the Internet

Большой штат сотрудников и актеров, качественный монтаж - все что нужно что бы ваш проект стал популярным!
Выполняем сложные проекты под ключ, без лишних вопросов

Actors Hub by Producer - снимет с ваших плеч лишние задачи



В нашем мире мы часто делаем какие-либо рутинные действие в интернете. Это может быть отправка сообщения в определенное время, нажатие какой-либо кнопки на сайте в определенное время и другие подобные действия.



Привет! В данной статье расскажу про методы автоматизации многих процессов в интернете

Команды (Shortcuts)

На устройствах компании Apple есть приложение для создания макросов. Многие этой программой пользуются для автоматического подключения к ***, кто-то использует ее для красивых иконок, но данный софт может намного больше чем вы думаете. Это по сути можно назвать языком программирования, так как в «командах» есть циклы, счет и переменные. Многие приложения на яблочных устройствах поддерживают данное приложение и добавляют свои функции для создания макросов. Можно сделать отправку сообщения в чат при нажатии на кнопку, постановку нужного режима фокусирования по времени или геолокации, выполнение команды на сервере и подобные интересные вещи.
Я вам покажу, как на айфоне сделать отображение подключенных наушников.
Создаем команду, которая будет выводить сообщение.



После чего, заходим в автоматизации и создаем новую автоматизацию. Выбираем Bluetooth и выбираем нужные параметры.


Выбираем нашу команду с уведомлением и готово! Все работает.

Selenium

Вообще, Selenium - это фреймворк для автоматизации тестов web приложений, но его можно использовать для полной работы с браузером через код. Работает данный фреймворк на базе специальных программ, которые являются драйвером для браузера. Для Google Chrome - chromedriver, для Mozilla Firefox - geckodriver и для других браузеров есть файлы.
​

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
import urllib.request

chrome_options = Options()
chrome_options.add_argument("--headless")

service = Service("./chromedriver.exe")
driver = webdriver.Chrome(service=service, options=chrome_options)

while True:
driver.get("https://www.google.com")

try:
img = driver.find_element(By.TAG_NAME, "img")
src = img.get_attribute("src")
urllib.request.urlretrieve(src, "google_image.png")
except:
pass

time.sleep(86400)

Python

from selenium import webdriver

from selenium.webdriver.chrome.service import Service

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.common.by import By

import time

import urllib.request



chrome_options = Options()

chrome_options.add_argument("--headless")



service = Service("./chromedriver.exe")

driver = webdriver.Chrome(service=service, options=chrome_options)



while True:

    driver.get("https://www.google.com")



    try:

        img = driver.find_element(By.TAG_NAME, "img")

        src = img.get_attribute("src")

        urllib.request.urlretrieve(src, "google_image.png")

    except:

        pass



    time.sleep(86400)

Данный код каждый день берет картинку с сайта google.com. Он подключается к chromedriver, который дает доступ к работе с браузером и выполняет действие, которое задано в коде. Больше примеров можете увидеть в документации к Python библиотеке.
Данный способ вам поможет работать с сайтами, у которых нет API например. Это могут быть страницы, где нужно работать именно с интерфейсом. Например, Selenium используют для написания чекеров тех сайтов, где для составления запроса на API требуется много данный. Также для данного фреймворка есть уйму библиотек, которые позволяют обходить ограничения в виде Captcha. По сути, на Selenium можно реализовать работу с любым Web порталом. Но данный способ взаимодействия с приложениями может быть тяжелым для маломощных девайсов, так что данный способ я не очень советую использовать на серверах.

Selenium поддерживает Python, Java, JS, C# и Ruby. Также у Selenium есть своя IDE, где можно изучать и тестить сайты.


Реалиация автоматизации на запросах

Многие сервисы предоставляют API (Application Program Interface - один из видов интерфейсов для взаимодействия с программой). Даже Lolzteam предоставляет API для работы с форумом и маркетом. На базе API можно получить очень много данных и совершить очень много действий. Есть много ботов, которые выполняют рутинные задачи за человека. Например, авторассылка погоды на сегодняшний день, отправка курсов валют и подобные процессы, которые кажутся мелочью, но без них мы бы были не в курсе каких либо новостей
Для получения данных об API и как с ним работать можно узнать в документации к нему.
Например lolzteam.readme.io рассказывает о работе с API лолза.
Для работы с API на разных языках программирования свои библиотеки. На Python - requests, JS - просто команда fetch().

Данный способ подойдет для всего! По сути, любое современное приложение работает через две стороны: Frontend и Backend. Именно Backend отвечает за API. Так что, через Dev Tools -> Network можно посмотреть, откуда сайт получает информацию и дальше работать с этой информацией.
Для проверки работы ваших запросов есть программа Insomnia, которая позволяет изучать то, как сайт отвечает на ваш запрос. Обычно, в ответах лежит JSON (формат хранения данных ключ:значение) строка, с которой очень просто работать

P.S. все апи уникальны. Нету одинаковых вариаций запросов. Все уникально.



Спасибо за прочтение статьи! Надеюсь вам поможет эта статья​