doc-scraper: Go crawler yang membangun konteks dokumentasi lokal untuk LLMs
doc-scraper, oleh Sriram PR, mengumpulkan dokumentasi situs web teknis dan menyiapkannya untuk alur kerja yang dibantu AI. Aplikasi ini merayapi situs dokumentasi dan mengekstrak konten yang dapat dibaca yang dioptimalkan untuk digunakan sebagai konteks model, menargetkan pengembang dan peneliti AI. Ini menekankan keluaran yang bersih dan dapat dicari serta penyimpanan pengetahuan lokal sehingga asisten berbasis editor dapat mengakses materi referensi yang relevan tanpa menarik halaman web yang berisik selama konstruksi prompt.
Mengubah HTML situs menjadi Markdown terstruktur yang cocok untuk konteks model
Alat ini adalah crawler berbasis Go yang mengubah HTML dokumentasi menjadi Markdown terstruktur, menghapus bilah navigasi, footer, dan elemen non-konten lainnya. Konversi ini mempertahankan judul dan kode inline sambil mengurangi kebisingan tekstual, menghasilkan file korpus yang kompak yang menjaga konteks navigasi melalui judul dan tautan yang bersih untuk memudahkan pengambilan dan referensi oleh alur kerja model hilir.
Ketercarian dan deteksi perubahan membuat korpus dapat diandalkan untuk agen
Aplikasi ini menyematkan pencarian BM25 offline yang diimplementasikan melalui SQLite FTS5, memungkinkan kueri lokal terhadap korpus yang di-crawl tanpa akses internet. Persistensi status dengan BadgerDB dan SQLite mendukung operasi yang dapat dilanjutkan dan indeks riwayat. Mekanisme diff yang sadar konten mengidentifikasi perubahan halaman yang sebenarnya alih-alih hanya mengandalkan cap waktu, yang mengurangi unduhan redundan dan menjaga korpus lokal tetap fokus pada editan substansial.
Pola input dan batas crawl menentukan di mana ia berhasil
doc-scraper secara otomatis mendeteksi kerangka dokumentasi seperti Docusaurus, MkDocs, Sphinx, GitBook, dan ReadTheDocs, dan menggunakan ekstraktor berbasis keterbacaan di situs yang tidak dikenal. Crawling berjalan secara paralel dengan manajemen sumber daya bersama dan pembatasan laju bawaan, dan crawler menghormati robots.txt untuk tetap sopan. Batasan tersebut memprioritaskan ekstraksi konten yang relevan bagi pengembang sambil menghindari beban jaringan yang berlebihan.
Hosting MCP lokal cocok untuk alur kerja AI yang berfokus pada editor dan kebutuhan privasi
Ketika dijalankan dalam mode server, aplikasi ini bertindak sebagai server Model Context Protocol sehingga agen AI lokal dapat membaca dan mencari dokumentasi di dalam editor. Desain basis pengetahuan lokal dan offline menjaga dokumentasi yang dapat dicari tersedia untuk agen seperti Claude Desktop, Claude Code, dan Cursor, mengurangi ketergantungan pada pengambilan jarak jauh. Alat ini dicatat dalam komunitas pengembang Go dan AI karena menghasilkan output yang bersih di situs yang sulit ditangani oleh scraper lain.
Terbaik untuk pengembang yang mahir secara teknis yang dapat membangun dan menghosting konteks lokal
doc-scraper adalah pilihan praktis bagi pengembang dan peneliti yang membutuhkan dokumentasi yang dapat diverifikasi dan dihosting secara lokal sebagai konteks model. Karena alat ini memerlukan pembangunan dari sumber dengan Go (versi 1.25 atau lebih baru), ini lebih menguntungkan pengguna yang secara teknis mampu; tim yang tidak dapat mengompilasi proyek Go harus mengharapkan overhead pengaturan. Pengguna harus memeriksa bagian yang diambil sebelum menggunakannya sebagai input model yang otoritatif.
