Автоматизация: работа через API и парсеры

Введение

Вы уже знаете, как вручную собирать ссылки и проверять их эффективность. Теперь настала пора автоматизировать этот процесс, чтобы экономить часы работы и получать данные в режиме реального времени. В этом уроке вы узнаете, как взаимодействовать с API — программным интерфейсом — и как писать парсеры, которые «выщипывают» нужную информацию из страниц. Всё будет объяснено простыми аналогиями, а каждый термин будет выделен жирным и снабжен пиньинь и иероглифами для лучшего запоминания.

1. Что такое API и зачем он нужен

Аналогия: представьте, что API — это телефонный справочник. Вы набираете номер (endpoint), говорите оператору, что хотите (request), а он отвечает вам нужной информацией (response).

Зачем это нужно?

• Скорость: один запрос может вернуть сразу сотни ссылок.
• Точность: исключаем человеческие ошибки при копировании.
• Автоматизация: скрипт может запускаться каждый час и обновлять базу данных.

2. Как получить доступ к Miralinks API

1. Регистрация в личном кабинете Miralinks.
2. Создание API‑ключа – уникального токена, который будет подтверждать вашу личность.
3. Настройка прав (read‑only, write, admin) – выбирайте минимум, который нужен для задачи.

Важно: храните ключ в секретных переменных окружения, а не в открытом коде.

export MIRALINKS_TOKEN="your_secret_token"

3. Основы HTTP‑запросов

Библиотека requests (Python) – простой способ отправлять запросы:

import os, requests

TOKEN = os.getenv("MIRALINKS_TOKEN")
HEADERS = {"Authorization": f"Bearer {TOKEN}"}

resp = requests.get("https://api.miralinks.com/v1/links", headers=HEADERS)
data = resp.json()
print(data)

Обработка ошибок: проверяйте resp.status_code. Если код ≥ 400, выводите resp.text для диагностики.

4. Работа с конкретным endpoint: получение статистики ссылок

URL: https://api.miralinks.com/v1/links/{link_id}/stats

Параметры запроса (query‑string):

def get_stats(link_id, start, end, metric="clicks"):
    url = f"https://api.miralinks.com/v1/links/{link_id}/stats"
    params = {"from": start, "to": end, "metric": metric}
    r = requests.get(url, headers=HEADERS, params=params)
    r.raise_for_status()
    return r.json()

Результат – JSON‑объект, где каждый элемент содержит date, value и source.

[
  {"date":"2024-01-01","value":124,"source":"organic"},
  {"date":"2024-01-02","value":98,"source":"paid"}
]

5. Парсеры: когда API недоступен

Иногда нужные данные находятся только на HTML‑странице (например, в личном кабинете, где нет публичного API). В этом случае пишем парсер.

5.1. Инструменты

5.2. Пример парсера с BeautifulSoup

import requests
from bs4 import BeautifulSoup

def fetch_link_stats_page(link_id):
    url = f"https://miralinks.com/links/{link_id}/stats"
    r = requests.get(url, headers=HEADERS)   # используем тот же токен для авторизации
    r.raise_for_status()
    return r.text

def parse_stats(html):
    soup = BeautifulSoup(html, "lxml")
    rows = soup.select("table.stats tbody tr")
    result = []
    for row in rows:
        cols = row.find_all("td")
        result.append({
            "date": cols[0].text.strip(),
            "clicks": int(cols[1].text.strip()),
            "conversions": int(cols[2].text.strip())
        })
    return result

html = fetch_link_stats_page("12345")
stats = parse_stats(html)
print(stats)

Почему парсер полезен?

• Позволяет «скрести» данные, которые пока не открыты через API.
• Можно комбинировать с API: сначала запросить список ссылок через API, а потом собрать детальную статистику парсером.

5.3. Обход защиты от ботов

HEADERS.update({"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"})

6. Объединение API и парсера в едином рабочем цикле

import time, random

def update_all_stats():
    # 1️⃣ Получаем список всех ссылок через API
    links = requests.get("https://api.miralinks.com/v1/links", headers=HEADERS).json()

    for link in links:
        link_id = link["id"]
        # 2️⃣ Пытаемся получить статистику через API
        try:
            stats = get_stats(link_id, "2024-01-01", "2024-01-31")
        except requests.HTTPError as e:
            # 3️⃣ Если API закрыт, переходим к парсеру
            html = fetch_link_stats_page(link_id)
            stats = parse_stats(html)

        # 4️⃣ Сохраняем в базу (пример: CSV)
        with open(f"stats_{link_id}.csv", "w", encoding="utf-8") as f:
            f.write("date,clicks,conversions\n")
            for row in stats:
                f.write(f"{row['date']},{row.get('clicks',0)},{row.get('conversions',0)}\n")

        # 5️⃣ Пауза, чтобы не превысить лимит
        time.sleep(random.uniform(0.5, 1.5))

update_all_stats()

Что получаем?

• Полный набор статистики для каждой ссылки.
• Автоматический переход от API к парсеру, если один из каналов недоступен.

7. Лучшие практики и безопасность

8. Практика для закрепления

1. Получите список всех ваших ссылок через API и выведите их id и title в виде таблицы.
2. Напишите функцию get_daily_clicks(link_id, date)**, которая возвращает количество кликов за конкретный день, используя только API.
3. Создайте парсер для страницы статистики, где данные находятся в таблице с классом stats-table. Выведите первые пять строк в консоль.
4. Объедините два предыдущих задания: сначала получите список ссылок, затем для каждой соберите статистику за последнюю неделю, используя API, а если запрос вернул 403 — перейдите к парсеру. Сохраните результат в один CSV‑файл.
5. Проанализируйте полученный CSV: найдите ссылку с максимальным средним числом кликов за неделю и напишите короткое резюме (в 2‑3 предложения), почему её эффективность выше остальных.

Эти упражнения помогут вам уверенно работать как с API, так и с парсерами, а также построить надёжный автоматизированный процесс сбора и анализа данных в Miralinks. Удачной практики!

подписка на обновления

Использую в работе

Все для создания сайтов

Работа с контентом

Социальные сигналы

Мой хостинг провайдер

Комментарии

• admin: Пожалуйста, рад видеть коллег-копарей ))Как жизнь? )) Гляжу раскачал до 300 уже, в РСЯ пойдешь рефом? ))...
• admin: Здравствуйте, Наташа, рад видеть )) Успехи — ну я бы не сказал, что они какие-то выдающиеся, но я...
• admin: Всегда рад помочь )) Я пока на 3 сайтах, где узкие шаблоны, поставил эти блоки и снимать теперь не собираюсь ))
• darwin: Леха спасибо за мануал. Экспериментирую и на своем блоге с рекламой. У меня в правом сайдбаре, в рекламе...
• Наталья: Алексей, давно не заходила на ваш блог, а тут оказывается столько нового, уже несколько часов читаю-читаю))...

Марафон по увеличению заработка на контексте — план в 20к рублей к 31 декабря ))

Всем здравствуйте, товарищи вебмастера и манимейкеры )) Хотя какой вебмастер не манимейкер. Итак, собственно, позавчера выдался ненапряженный денек и я в кои то веки залез почитать, чем живет наша манимейкерская братия. Оказывается, не все уехали отдыхать и греть пузо не пляжах Франции и Египта, многие, чтобы не дать себе раскиснуть в жару, замутили марафоны. Помня [...]

Сколько нужно ссылок для ТИЦ 10. Есть ли смысл покупать ссылки с livejournal (ЖЖ-дневники).

Приветствую всех моих постоянных читателей, я опять отдохнул от писанины на недельку, а потому в ближайшие пару недель вас ждет неиссякаемый поток моего сознания, которое за недельку отдыха неплохо так прояснилось и выдало мне пару-тройку-пяток идей для моих будущих статей. Будет и цикл статей, посвященный развитию блога некоммерческой тематики. Ну а сегодняшний пост вызовет экстаз [...]