Khi nói đến các chủ đề như thu thập thông tin và lập chỉ mục, hầu hết mọi người đều nghĩ đây là vấn đề dành riêng cho các trang web lớn (được Google phân loại là hơn 1 triệu trang web) và các trang web quy mô vừa với tần suất thay đổi nội dung cao. Tuy nhiên, trong thời gian gần đây, thu thập thông tin và lập chỉ mục đã và đang trở thành chủ đề bàn luận vô cùng sôi nổi trên các diễn đàn SEO và trong cả các câu hỏi đặt ra cho nhân viên của Google ở trên Twitter.
Theo nghiên cứu, kể từ tháng 11, các trang web có quy mô và tần suất thay đổi khác nhau đã có nhiều biến động hơn so với trước đây.
Một số thay đổi lớn về phạm vi hoạt động mà chúng ta đã chứng kiến cũng liên quan đến các bản cập nhật chưa được xác nhận của Google và tính biến động cao từ SERP. Do không có trang web nào có quá nhiều điểm chung về ngành hay các vấn đề kỹ thuật, nên liệu đây có phải là dấu hiệu cho thấy 100% các trang được lập chỉ mục là điều không thể xảy ra.
Trong tài liệu riêng của Google, họ phác thảo rằng: Các Websites đang mở rộng với tốc độ vượt xa khả năng và phương tiện của chính nó để thu thập thông tin và lập chỉ mục mọi URL.
Trong cùng một tài liệu, Google đã đưa ra một số yếu tố gây ảnh hưởng đến khả năng thu thập thông tin của họ, cũng như nhu cầu thu thập thông tin, bao gồm như:
– Mức độ phổ biến của các URL (và nội dung) của bạn.
– Đó là sự tươi mới của nội dung.
– Trang web phản hồi nhanh như thế nào.
– Kiến thức của Google về các URL trên trang web của chúng ta.
Từ các cuộc trò chuyện với John Mueller của Google trên Twitter, mức độ phổ biến của URL của bạn không nhất thiết bị ảnh hưởng bởi mức độ phổ biến của thương hiệu hoặc tên miền của bạn. Bởi đã từng có một nhà xuất bản lớn không có nội dung được lập chỉ mục dựa trên tính độc nhất của nó, tuy nhiên, chính nội dung tương tự lại được xuất bản trực tuyến.
Đây là lý do tại sao, khi làm việc với tất cả các trang web có quy mô hoặc loại hình nhất định (ví dụ: thương mại điện tử), tôi nhận thấy rằng: 100% trang Web được tiến hành lập chỉ mục không phải lúc nào cũng là thước đo thành công.
Các lớp và phân đoạn lập chỉ mục.
Hiện nay, Google đã khá cởi mở trong việc giải thích cách lập chỉ mục của họ hoạt động. Họ sử dụng lập chỉ mục theo cấp (một số nội dung trên máy chủ tốt hơn để truy cập nhanh hơn) và họ có chỉ mục phục vụ được lưu trữ trên một số trung tâm dữ liệu – nơi lưu trữ dữ liệu được cung cấp trong SERP.
Nội dung của tài liệu trang web (tài liệu HTML) được mã hóa và lưu trữ trên các phân đoạn, và bản thân các phân đoạn đó được lập chỉ mục để chúng có thể được truy vấn nhanh hơn, và dễ dàng hơn cho các từ khóa cụ thể, khi người dùng tìm kiếm chúng.
Đôi khi, vấn đề lập chỉ mục xảy ra do SEO kỹ thuật, nếu bạn có noindex hoặc các vấn đề và sự mâu thuẫn làm ngăn cản Google lập chỉ mục nội dung, tuy nhiên, vấn đề đề xuất giá trị xảy ra thường xuyên hơn.
Mục đích có lợi và giá trị bao gồm SERP.
Khi chúng ta nói về đề xuất giá trị, tôi đang đề cập đến hai khái niệm từ nguyên tắc đánh giá chất lượng của Google (QRG), đó là:
– Mục đích có lợi.
– Chất lượng trang.
Và kết hợp lại, những thứ này tạo ra thứ mà chúng ta tham chiếu là giá trị bao gồm SERP.
Đây thường là lý do tại sao các trang web rơi vào danh mục "Đã khám phá – hiện chưa được lập chỉ mục" trong báo cáo mức độ phù hợp của Google Search Console.
Trong QRGs, Google đưa ra tuyên bố này:
Hãy nhớ rằng nếu một trang thiếu đi mục đích có lợi, thì trang đó phải luôn được xếp hạng Chất lượng trang thấp nhất, bất kể xếp hạng Đáp ứng nhu cầu của trang hoặc trang được thiết kế tốt như thế nào.
Điều đó có nghĩa là Trang đó có thể nhắm mục tiêu các từ khóa phù hợp. Nhưng nếu nó thường lặp lại với nội dung khác và thiếu đi giá trị bổ sung, hữu ích, thì Google có thể chọn không lập chỉ mục nó nữa.
Đây chính là nơi chúng ta bắt gặp ngưỡng chất lượng của Google, nó là một khái niệm về việc một trang có đáp ứng “chất lượng” cần thiết để được lập chỉ mục hay không.
Một phần quan trọng trong cách hoạt động của ngưỡng chất lượng này là nó gần như theo thời gian thực và linh hoạt.
Gary Illyes của Google đã xác nhận điều này trên Twitter, nơi một URL có thể được lập chỉ mục khi được tìm thấy lần đầu tiên và sau đó bị loại bỏ khi tìm thấy các URL mới (tốt hơn) hoặc thậm chí được tăng “độ mới” tạm thời từ việc gửi thủ công trong GSC.
Tìm hiểu xem bạn có vấn đề gì không.
Điều đầu tiên cần xác định là liệu bạn có thấy số lượng trang trong báo cáo mức độ phù hợp của Google Search Console được chuyển từ bao gồm sang loại trừ hay không.
Bạn quan tâm đến bao nhiêu trong số những trang này? Có bao nhiêu trang trong số này thúc đẩy giá trị?
Bạn sẽ có thể xác định điều này thông qua dữ liệu của mình. Bạn sẽ thấy liệu lưu lượng truy cập và doanh thu / khách hàng tiềm năng có giảm trong nền tảng phân tích của mình hay không, và bạn sẽ nhận thấy trong các công cụ của bên thứ ba, nếu bạn đang mất khả năng hiển thị và xếp hạng tổng thể của thị trường.
Khi bạn đã xác định được các trang có giá trị bị thoát khỏi chỉ mục của Google, các bước tiếp theo là tìm hiểu lý do tại sao và Search Console chia nhỏ các trang bị loại trừ thành các danh mục khác. Những điều chính bạn cần biết và tìm hiểu đó là:
Đã thu thập thông tin – hiện chưa được lập chỉ mục.
Đây là điều mà chúng ta thường gặp phải với ngành thương mại điện tử và bất động sản.
Vào năm 2021, số lượng đăng ký ứng dụng kinh doanh mới ở Hoa Kỳ đã phá vỡ các kỷ lục trước đó, và với việc nhiều doanh nghiệp cạnh tranh hơn để giành người dùng, có rất nhiều nội dung mới được xuất bản, nhưng những thông tin đó không phải là quan điểm mới và độc đáo.
Đã khám phá – hiện chưa được lập chỉ mục.
Khi gỡ lỗi các vấn đề về lập chỉ mục, chúng ta sẽ thấy điều này xuất hiện thường xuyên và rất nhiều trên các trang web thương mại điện tử hoặc các trang web đã triển khai phương pháp lập trình để tạo ra nội dung và xuất bản một số lượng lớn các trang cùng một lúc.
Các lý do chính khiến các trang rơi vào danh mục này, đó là do bạn vừa xuất bản một lượng lớn nội dung và các URL mới, đồng thời tăng số lượng các trang có thể thu thập thông tin và lập chỉ mục trên trang web theo cấp số nhân, tuy nhiên ngân sách thu thập thông tin mà Google đã xác định cho trang web của bạn lại không hướng đến nhiều trang này.
Bạn không thể làm gì nhiều để ảnh hưởng đến điều này. Tuy nhiên, bạn có thể giúp Google thông qua sơ đồ trang XML, sơ đồ trang HTML và liên kết nội bộ tốt để chuyển xếp hạng trang từ các trang quan trọng (được lập chỉ mục) sang các trang mới này.
Lý do thứ hai khiến nội dung có thể rơi vào danh mục này là do chất lượng, và điều này thường xảy ra trong nội dung được lập trình hoặc các trang web thương mại điện tử có số lượng lớn sản phẩm tương tự hoặc là biến thể của nhau.
Google có thể xác định các mẫu trong URL và nếu nó truy cập một phần trăm các trang này và không tìm thấy giá trị nào, thì nó có thể đưa ra giả định rằng: các tài liệu HTML có chứa các URL tương tự sẽ có chất lượng thấp tương đương, và khi đó, nó sẽ chọn không thu thập thông tin chúng.
Rất nhiều trang được tạo có chủ ý với mục tiêu chuyển đổi khách hàng, chẳng hạn như các trang được lập trình hoặc các trang so sánh nhắm mục tiêu đến người dùng thích hợp, nhưng những truy vấn này được tìm kiếm với tần suất thấp, có thể sẽ không được nhiều người chú ý và chứa nội dung có thể không đủ độc đáo so với các trang khác, vì vậy, Google sẽ không lập chỉ mục nội dung đề xuất có giá trị thấp, trong khi có sẵn các lựa chọn tốt thay thế khác.
Nếu đúng như vậy, bạn sẽ cần đánh giá và xác định lại các trang, để không gây tắc nghẽn thu thập thông tin, và không bị coi là có giá trị thấp.
Nội dung trùng lặp
Nội dung trùng lặp là một trong những nội dung phổ biến trong thương mại điện tử, xuất bản. Nếu nội dung chính của trang, giữ giá trị đề xuất, bị trùng lặp trên các trang web hoặc trang nội bộ khác, thì Google sẽ không đầu tư tài nguyên vào việc lập chỉ mục nội dung.
Điều này cũng liên quan đến đề xuất giá trị và khái niệm về mục đích có lợi. Ví dụ, trong đó các trang web lớn, có thẩm quyền, có nội dung không được lập chỉ mục, vì nó giống với nội dung khác có sẵn, nội dung này không đưa ra quan điểm độc đáo hoặc mang giá trị duy nhất.
KẾT LUẬN.
Đối với hầu hết các trang web lớn và các trang web có quy mô vừa phải, việc đạt được 100% lập chỉ mục sẽ trở nên khó khăn hơn vì Google phải xử lý tất cả nội dung hiện có và nội dung mới trên web.
Nếu bạn thấy nội dung có giá trị được coi là dưới ngưỡng chất lượng, bạn nên thực hiện những hành động dưới đây, như:
– Cải thiện liên kết nội bộ từ các trang có “giá trị cao”: Điều này không nhất thiết có nghĩa là các trang có nhiều liên kết ngược nhất, nhưng những trang được xếp hạng cho một số lượng lớn từ khóa và có khả năng hiển thị tốt có thể chuyển các tín hiệu tích cực thông qua neo mô tả đến các trang khác.
– Loại bỏ nội dung chất lượng thấp, giá trị thấp. Nếu các trang bị loại khỏi chỉ mục có giá trị thấp và không thúc đẩy bất kỳ giá trị nào, như số lần xem trang, chuyển đổi, thì chúng nên được cắt bớt. Việc để chúng hoạt động không chỉ khiến lãng phí tài nguyên thu thập thông tin của Google khi nó chọn thu thập thông tin, mà còn có thể ảnh hưởng đến các giả định về chất lượng của Google dựa trên đối sánh mẫu URL và khoảng không quảng cáo được nhận thức.
Bài viết được dịch tại SEL và đăng tải duy nhất lên SEOMxh.com
NGUỒN: https://searchengineland.com/100-percent-indexing-impossible-385773
