Многопоточная проверка ссылок

Используем новые знания, чтобы создать многопоточный проверщик ссылок. Он должен начинать с веб-страницы и проверять, что ссылки на ней корректны. Он должен рекурсивно проверять другие страницы того же домена и продолжать это, пока все страницы не будут проверены.

Для этого понадобится HTTP-клиент, например reqwest. Также нужен способ находить ссылки; можно использовать scraper. Наконец, нам понадобится способ обрабатывать ошибки; мы будем использовать thiserror.

Создайте новый проект Cargo и добавьте reqwest как зависимость командой:

cargo new link-checker
cd link-checker
cargo add --features blocking reqwest
cargo add scraper
cargo add thiserror

Если cargo add завершается с ошибкой error: no such subcommand, отредактируйте файл Cargo.toml вручную. Добавьте зависимости, перечисленные ниже.

Вызовы cargo add обновят файл Cargo.toml так:

[package]
name = "link-checker"
version = "0.1.0"
edition = "2024"
publish = false

[dependencies]
reqwest = { version = "0.13.1", features = ["blocking"] }
scraper = "0.25.0"
thiserror = "2.0.18"

Теперь можно загрузить стартовую страницу. Попробуйте на небольшом сайте, например https://www.google.org/.

Ваш файл src/main.rs должен выглядеть примерно так:

// Copyright 2024 Google LLC
// SPDX-License-Identifier: Apache-2.0

use reqwest::Url;
use reqwest::blocking::Client;
use scraper::{Html, Selector};
use thiserror::Error;

#[derive(Error, Debug)]
enum Error {
    #[error("request error: {0}")]
    ReqwestError(#[from] reqwest::Error),
    #[error("bad http response: {0}")]
    BadResponse(String),
}

#[derive(Debug)]
struct CrawlCommand {
    url: Url,
    extract_links: bool,
}

fn visit_page(client: &Client, command: &CrawlCommand) -> Result<Vec<Url>, Error> {
    println!("Checking {:#}", command.url);
    let response = client.get(command.url.clone()).send()?;
    if !response.status().is_success() {
        return Err(Error::BadResponse(response.status().to_string()));
    }

    let mut link_urls = Vec::new();
    if !command.extract_links {
        return Ok(link_urls);
    }

    let base_url = response.url().clone();
    let body_text = response.text()?;
    let document = Html::parse_document(&body_text);

    let selector = Selector::parse("a").unwrap();
    let href_values = document
        .select(&selector)
        .filter_map(|element| element.value().attr("href"));
    for href in href_values {
        match base_url.join(href) {
            Ok(link_url) => {
                link_urls.push(link_url);
            }
            Err(err) => {
                println!("On {base_url:#}: ignored unparsable {href:?}: {err}");
            }
        }
    }
    Ok(link_urls)
}

fn main() {
    let client = Client::new();
    let start_url = Url::parse("https://www.google.org").unwrap();
    let crawl_command = CrawlCommand{ url: start_url, extract_links: true };
    match visit_page(&client, &crawl_command) {
        Ok(links) => println!("Links: {links:#?}"),
        Err(err) => println!("Could not extract links: {err:#}"),
    }
}

Запустите код в src/main.rs командой

cargo run

Задачи

• Используйте потоки, чтобы проверять ссылки параллельно: отправляйте URL для проверки в канал и пусть несколько потоков проверяют URL параллельно.
• Расширьте это, чтобы рекурсивно извлекать ссылки со всех страниц домена www.google.org. Установите верхний предел около 100 страниц, чтобы сайт не заблокировал вас.