Cách lấy dữ liệu trang website mà không cần biết code

Vượt qua reCAPTCHA và phát hiện bot

• Chuyển động chuột: Nếu chuột di chuyển theo đường thẳng hoặc quá đều đặn, hệ thống sẽ nghi ngờ bot.
• User Agent giả mạo: Các trình duyệt giả lập thường sử dụng User Agent không hợp lệ, dễ bị phát hiện.
• Tốc độ tương tác: Nếu bạn gửi yêu cầu quá nhanh hoặc quá nhiều trong thời gian ngắn, hệ thống sẽ coi đó là dấu hiệu của bot.

const puppeteer = require(‘puppeteer’);

 

async function bypassCaptcha() {

 

  // Khởi tạo trình duyệt (chạy ở chế độ hiển thị để dễ quan sát)

 

  const browser = await puppeteer.launch({ headless: false });

 

  const page = await browser.newPage();

 

  // Thiết lập User Agent hợp lệ để giả lập trình duyệt thật

 

  await page.setUserAgent(‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’);

 

  // Tạo chuyển động chuột ngẫu nhiên để qua mặt reCAPTCHA

 

  await page.mouse.move(100 + Math.random() * 500, 200 + Math.random() * 300);

 

  // Truy cập trang web mục tiêu

 

  await page.goto(‘https://example.com’);

 

  // Đóng trình duyệt sau khi hoàn thành

 

  await browser.close();

 

}

 

node index.js

Khắc phục chặn địa lý và giới hạn tốc độ

 

import requests

 

from time import sleep

 

# rotating residential proxies (thay thế bằng proxy thực tế của bạn)

 

proxy_list = [

 

    “http://user:pass@br.proxy.example.com:8080”,

 

    “http://user:pass@us.proxy.example.com:8080”,

 

    # Thêm các proxy khác vào đây…

 

]

 

def scrape_safe(url):

 

    for proxy in proxy_list:

 

        try:

 

            # Gửi yêu cầu với proxy hiện tại

 

            response = requests.get(url, proxies={“http”: proxy, “https”: proxy})

 

            if response.status_code == 200:

 

                return response.text  # Trả về nội dung trang web nếu thành công

 

            sleep(10)  # Thêm độ trễ 10 giây giữa các yêu cầu

 

        except Exception as e:

 

            print(f”Lỗi với proxy {proxy}: {e}”)

 

            continue  # Chuyển sang proxy tiếp theo nếu lỗi xảy ra

 

    return None  # Trả về None nếu tất cả proxy đều thất bại

Xử lý HTML phi cấu trúc

from crawl4ai import WebCrawler

 

from llama_cpp import Llama

 

# Khởi tạo mô hình ngôn ngữ DeepSeek

 

llm = Llama(model_path=”deepseek-1.3b.gguf”)

 

# Khởi tạo WebCrawler

 

crawler = WebCrawler()

 

# Chạy quá trình cào dữ liệu với chiến lược sử dụng LLM

 

content = crawler.run(

 

    url=”https://example.com”,

 

    strategy=”llm”,  # Sử dụng chiến lược dựa trên LLM

 

    llm=llm,

 

    prompt=”Extract product names, prices into JSON”

 

)

 

# In ra dữ liệu đã trích xuất

 

print(content.extracted_data)

node index.js

Kết Luận