Trang mồ côi (orphan page) là trang không có link nội bộ nào trỏ tới. Nó vẫn có thể được Google tìm thấy qua sitemap, nhưng thiếu tín hiệu để hiểu trang thuộc chủ đề nào và quan trọng đến đâu, còn người đọc không có đường vào. Bài này viết một crawler nhỏ để dựng đồ thị link nội bộ, tìm trang mồ côi và xem trang nào nhận nhiều link nhất.

Google đọc link thế nào

Theo hướng dẫn về link của Google Search Central, Google chỉ chắc chắn đọc được link viết bằng thẻ <a> có thuộc tính href . Nút bấm chạy JavaScript không có href , hoặc link nằm trong ảnh mà không có chữ thay thế, đều có thể bị bỏ qua. Google cũng nói mọi trang quan trọng nên có link từ ít nhất một trang khác trên website.

Crawl và dựng đồ thị

import requests from bs4 import BeautifulSoup from urllib.parse import urljoin , urlparse from collections import defaultdict

def crawl ( goc : str , gioi_han : int = 500 ): mien = urlparse ( goc ).…