Bằng việc đọc - phê phán, Cụ Vương Hồng Sển đã chỉ ra rất nhiều sơ suất, qua loa trong việc biên khảo, dịch thuật của nhiều người trong chốn học giới, trong đó, có cả những tên tuổi bấy lâu được coi khả tín, đứng tên trên những công trình quan trọng. Cụ vui vẻ tự nhận đó là việc “câu cua”: “Có câu ví: “Hãy cho bền chí câu cua, dầu ai câu chạch câu rùa mặc ai!” Và nghề “câu cua” của tôi là thu mót từ tập sách, cuốn sách bày bán bên lề, và “câu cua” cũng là lối viết bên lề tờ sách, miễn đừng đụng chạm?” Cụ Vương dành phần lớn dung lượng cuốn Bên lề sách cũ để bàn luận về các địa danh bị phiên âm, diễn giải sai trong những cuốn sách quan trọng về Nam kỳ. Đó là sự “tá hoả tam tinh” trước những bản dịch Nam kỳ lục tỉnh địa dư chí (Lê Quang Định soạn, Thượng Tân Thị dịch), Gia Định thành thông chí của sử gia Trịnh Hoài Đức (do Tu Trai và Nguyễn Tạo dịch) và cả cái sai do sự thiếu xác minh ở cuốn sử mới Lịch sử nội chiến ở Việt Nam từ 1771 đến 1802 của Tạ Chí Đại Trường...
Bên cạnh việc đọc, ghi chú một cách tỉ mỉ, với tư cách độc giả, Vương Hồng Sển còn lần tìm lại lịch sử, văn hoá Khmer (ông viết là Cơ-me), đi thâm nhập thực tế nghiên cứu cơ chế ngữ âm, thổ ngữ, lần dò theo giai thoại, điển tích các vùng miền... Vàm (trong Vàm Cỏ) là gì, tại sao nguồn sông Sài Gòn thì được gọi là Thuỷ Vọt chứ không phải là Thuỷ Bột hay Băng Bột như trong bản dịch của Tu Trai và Nguyễn Tạo, vì sao Gò Vắp chứ không phải Gò Bôi như cách dịch của Thượng Tân Thị; chỉ ra, giải nghĩa những địa danh Việt gốc Miên như Sốc Trăng (từ chữ Srok khléang, nghĩa là sốc có kho bạc), Sa Đéc (từ chữ Psar dek: chợ bán sắt), Mỹ Tho (Mé-sâ: người con gái có nước da trắng), Cần Thơ (Prek Rusei: sông tre), Bến Tre (kompong rusei: vũng tre), Cà Mau (Tuk Khmau: nước đen) hay rạch Bến Nghé (kompong kau-krabey: vũng trâu nghé)...
Không chỉ chi li tìm kiếm những sai sót để phê phán thẳng thắn, không tiếc những lời lẽ nặng nề bộc trực của người đọc thất vọng về những bản sách quá nhiều lỗi nặng, mà đôi khi Cụ Vương còn tỏ bày sự hoan hỉ khi đọc những cuốn sách, những bài viết dày công phu của bạn hữu cùng thời như Lê Hương với cuốn Người Việt gốc Miên (xuất bản năm 1959), Nguyễn Hiến Lê với thiên ký sự 7 ngày trong Đồng Tháp Mười, học giả Lê Thọ Xuân với lối phê phán dịch thuật “hấp dẫn, đọc vui”...