Web Scraping Gratis untuk Agen AI dengan Firecrawl Local

Firecrawl Local adalah satu binary Rust yang melakukan scraping, crawling, dan pemetaan situs ke markdown di perangkat keras Anda sendiri, lalu terhubung ke Claude Code, Codex, Cursor, dan Gemini CLI melalui MCP. Kami membangunnya, mengukurnya, dan menunjukkan cara tetap berjalan tanpa cloud...

Ashley Innocent

Ashley Innocent

19 November 2026

Web Scraping Gratis untuk Agen AI dengan Firecrawl Local

Web scraping gratis untuk agen AI kini berjalan di perangkat Anda sendiri. Firecrawl Local adalah satu berkas biner Rust yang melakukan scrape, crawl, dan map situs ke markdown, terhubung ke Claude Code, Codex, Cursor, atau Gemini CLI sebagai server MCP, dan merespons API Firecrawl v2 di localhost. Setel FIRECRAWL_CLOUD=off dan tidak ada halaman, kueri, atau URL yang keluar dari perangkat Anda.

Ringkasan Singkat

  • Instalasi: cargo install firecrawl-local (Rust plus kompiler C). Build kami memakan waktu 5 menit 55 detik dan menghasilkan biner berukuran 19 MB.
  • Hubungkan: firecrawl-local init menambahkan server MCP ke setiap alat agen yang didukung yang ditemukannya.
  • Biaya: $0 untuk scrape, crawl, map, dan batch scrape. Pencarian, halaman yang diblokir, dan penyedia data Alexandria dialihkan ke Firecrawl Cloud kecuali Anda mematikannya.
  • Tombol privasi: FIRECRAWL_CLOUD=off menjaga semuanya tetap lokal.
  • Pengaturan tim: instal sekali per Komputer tempat agen Anda berjalan, dan setiap agen di Komputer tersebut mendapat scraper yang sama.

Apa itu Firecrawl Local

Firecrawl Local adalah satu biner dari tim Firecrawl yang mengambil halaman web, membersihkannya menjadi markdown, dan mengembalikan JSON yang sama dengan yang dikembalikan API Firecrawl yang dihosting. Ia tidak memerlukan basis data, antrean, atau kontainer. Firecrawl mengumumkannya pada 18 November 2026, dan crate di crates.io sudah tersedia seminggu sebelumnya sebagai versi 0.1.0.

README menjelaskan tiga cara menggunakannya: CLI, server MCP untuk agen, dan salinan lokal API v2. Kode pembersih dikompilasi dari sumber yang sama dengan yang digunakan API yang dihosting, sehingga halaman markdown dari laptop Anda cocok dengan yang akan dikembalikan cloud untuk halaman yang dapat dijangkau keduanya.

Posting peluncuran Firecrawl mengklaim primitif scrape 37 kali lebih cepat daripada Firecrawl yang dihosting sendiri dan 230 kali lebih hemat memori, pada 11 MB saat idle. Itu angka Firecrawl; README tidak menerbitkan metodenya. Kami mengukur bagian memori sendiri di bawah ini.

Jika Anda sudah menjalankan beberapa agen coding, ini adalah scraper pertama yang dapat Anda berikan kepada semuanya tanpa tagihan per panggilan. Sisa panduan ini mencakup pengaturan, tombol privasi, dan cara memberikan seluruh tim agen alat yang sama di Sharkly.

Mengapa agen memerlukan scraper lokal

Agen yang tidak dapat membaca web akan bekerja dari data pelatihan yang usang. Ia menebak-nebak API yang belum pernah dilihatnya, atau meminta Anda menempelkan dokumentasi ke dalam chat.

API scraping yang dihosting memperbaiki hal itu, tetapi menambah dua biaya. Setiap halaman adalah panggilan berbayar, jadi crawl situs dokumentasi 400 halaman menjadi satu baris di faktur. Dan setiap URL yang dibuka agen Anda melewati server pihak lain, yang penting ketika agen sedang meneliti domain pelanggan atau halaman kompetitor yang belum dirilis.

Scraper lokal menghilangkan keduanya. Halaman diambil dari jaringan Anda sendiri dan dibersihkan di CPU Anda sendiri. Konsekuensinya, Anda yang memiliki instalasi dan batasan yang datang bersama laptop.

Instal Firecrawl Local

Anda memerlukan Rust dan kompiler C. Di macOS, xcode-select --install mencakup kompilernya; di Debian atau Ubuntu, instal build-essential. Dapatkan Rust dari rustup.

cargo install firecrawl-local
firecrawl-local --version
# firecrawl-local 0.1.0

Dua tambahan bersifat opsional. Chrome atau Chromium memungkinkannya merender halaman yang membutuhkan JavaScript; tanpa itu, halaman statis tetap berfungsi dan halaman yang berat skrip akan kembali dengan peringatan. Node.js 22 atau lebih baru diperlukan untuk server MCP, karena firecrawl-local mcp menjalankan paket npm firecrawl-mcp melalui npx.

Scrape, crawl, dan map dari CLI

Tiga perintah mencakup sebagian besar pekerjaan agen.

# Satu halaman sebagai markdown
firecrawl-local scrape https://example.com --markdown

# Hingga 50 halaman, satu berkas markdown masing-masing
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages

# Setiap URL yang dipublikasikan sebuah situs
firecrawl-local map https://firecrawl.dev

Kami menjalankan masing-masingnya pada 19 November 2026, dengan cloud dimatikan. Satu scrape ke example.com selesai dalam 1,6 detik. Crawl 10 halaman dari dokumentasi Firecrawl sendiri memakan waktu 4,2 detik dan menulis 144 KB markdown. map mengembalikan daftar URL dokumentasi dalam 3,9 detik.

Perintah Flag berguna
scrape --markdown, --format markdown,links, --full-page, --timeout
crawl --limit (default 100), --max-depth, --include, --exclude, --out
map --search, --limit
Perintah apa pun --browser auto|never|always

Satu jebakan dari pengujian kami: pada jaringan yang hanya dapat mengakses web melalui proxy, scrape pertama gagal dengan error TLS. Menyetel HTTPS_PROXY memperbaikinya, jadi biner tersebut menghormati variabel proxy standar.

Hubungkan ke agen AI Anda melalui MCP

MCP (Model Context Protocol) adalah cara standar bagi alat agen untuk memuat alat eksternal. Firecrawl Local mendaftarkan dirinya sebagai salah satunya.

firecrawl-local init --dry-run   # tampilkan apa yang akan berubah
firecrawl-local init             # tulis, cadangkan setiap konfigurasi terlebih dahulu

Dry run di Mac kami mendaftar lima target: Claude Code di ~/.claude.json, Claude Desktop, Cursor di ~/.cursor/mcp.json, Gemini CLI di ~/.gemini/settings.json, dan Codex di ~/.codex/config.toml. Windsurf juga didukung saat terpasang. Restart setiap alat setelah init agar memuat server. Gunakan --agent cursor untuk menyiapkan satu alat saja.

Untuk menambahkannya secara manual, daftarkan biner sebagai server stdio:

{
  "mcpServers": {
    "firecrawl": {
      "command": "/Users/you/.cargo/bin/firecrawl-local",
      "args": ["mcp", "--public-only"]
    }
  }
}

Agen mendapatkan alat MCP Firecrawl standar. Scrape, crawl, map, dan batch scrape berjalan secara lokal; sisanya dialihkan ke Firecrawl Cloud. Flag --public-only adalah tambahan kami, dijelaskan di bagian keamanan di bawah.

Matikan cloud untuk privasi

Diagram Firecrawl Local: agen AI memanggil firecrawl-local melalui MCP, yang melakukan scrape, crawl, dan map halaman di komputer Anda sendiri, sementara pencarian, halaman yang diblokir, dan Alexandria dialihkan ke Firecrawl Cloud kecuali FIRECRAWL_CLOUD dimatikan

Tiga pekerjaan membutuhkan Firecrawl Cloud, karena laptop tidak memiliki indeks pencarian dan tidak ada cara untuk melewati situs yang memblokirnya.

Dikirim ke Firecrawl Cloud Alasan Akun
Kueri pencarian Tidak ada indeks pencarian lokal Tidak; pencarian tanpa kunci dibatasi lajunya
URL halaman yang memblokir Anda Cloud mengambilnya untuk Anda Tidak
Penyedia data Alexandria Penyedia berjalan di cloud Ya, akun gratis melalui firecrawl-local login
ID instalasi acak dan nama alat Anda Penghitungan instalasi Tidak

Variabel FIRECRAWL_CLOUD mengendalikan pengalihan tersebut. auto (default) mengizinkan semua di atas. search hanya mengirim kueri pencarian. off tidak mengirim apa pun, dan nilai yang tidak dikenal juga dianggap off. Halaman yang diambil dari cloud ditandai "source": "firecrawl-cloud", sehingga Anda dapat mengaudit apa yang keluar.

Untuk pekerjaan agen di situs klien atau riset internal, mulailah dengan off. Agen Anda kehilangan pencarian web, jadi pasangkan dengan alat pencarian apa pun yang sudah Anda percayai.

Jalankan API Firecrawl secara lokal

firecrawl-local serve merespons API Firecrawl v2 di port 3002 tanpa kunci API untuk rute lokal. Kode SDK yang sudah ada dapat beralih hanya dengan mengubah satu URL.

from firecrawl import Firecrawl

app = Firecrawl(api_url="http://localhost:3002")
print(app.scrape("https://example.com").markdown)

Rute lokal adalah POST /v2/scrape, POST /v2/map, crawl dan batch scrape dengan endpoint status dan pembatalannya, serta GET /health. Rute /v2 lainnya seperti /v2/search diteruskan ke cloud; v0 dan v1 tidak dilayani.

Kami mengukur memori saat berjalan: proses serve berada di 10 MB resident saat idle dan 16 MB setelah satu scrape. Itu mendekati klaim 11 MB Firecrawl. Scrape melalui API mengembalikan "creditsUsed": 0 dan "engine": "local-fetch".

Default keamanan yang penting untuk agen

Agen yang membaca halaman dengan instruksi tersembunyi dapat diarahkan untuk mengambil URL internal. OWASP mendaftarkan kelas serangan ini sebagai prompt injection, dan scraper adalah jalur yang jelas untuknya.

  • serve mengikat ke 127.0.0.1 dan menolak localhost serta alamat privat kecuali Anda memberikan --allow-private. Kami memintanya melakukan scrape ke 127.0.0.1:22 dan mendapatkan BLOCKED_TARGET.
  • Mengikat host lain dengan --host memerlukan --token.
  • Alamat link-local dan metadata cloud diblokir dalam setiap mode, termasuk setelah redirect.
  • scrape, crawl, dan mcp dapat menjangkau jaringan privat Anda secara default, karena berjalan untuk orang di balik keyboard. Tambahkan --public-only ketika agen menjelajahi situs yang tidak Anda percayai.
  • Crawl membaca robots.txt (standar RFC 9309), dan pemilik situs dapat menyapa crawler sebagai FirecrawlLocal.

Batasan yang perlu diperhatikan

  • Tidak ada format json atau summary dan tidak ada actions browser secara lokal. Permintaan summary kami mengembalikan metadata plus peringatan bahwa format tersebut dilewati.
  • Screenshot memerlukan Chrome.
  • Pekerjaan crawl dan batch disimpan di memori, kedaluwarsa satu jam setelah dimulai, dan berakhir ketika serve berhenti.
  • Lisensi: repositori menggunakan AGPL-3.0. Periksa dengan tim hukum Anda sebelum merilis salinan yang dimodifikasi di dalam produk yang dihosting.

Untuk antrean, worker, dan semua format, panduan self-hosting Firecrawl mencakup server lengkapnya.

Berikan scraper yang sama untuk setiap agen di tim

Seorang developer dengan satu agen bisa berhenti sampai di sini. Tim yang menjalankan beberapa agen menghadapi masalah berbeda: alat setiap agen berada di konfigurasi komputer tempat ia berjalan, dan tidak ada yang melacak agen mana yang dapat membaca web.

Di Sharkly, sebuah Agen berjalan di atas Komputer (laptop, server, atau kontainer yang Anda hubungkan) melalui Runtime, yaitu alat agen yang terpasang di sana, seperti Claude Code atau Codex. Anda memasang alat di Komputer tersebut sama seperti untuk penggunaan langsung. Pengaturan Tools, Knowledge & MCP milik Agen kemudian mencantumkan server MCP yang diwarisinya dari Claude Code di Komputer itu, termasuk server stdio pada konfigurasi pengguna, yaitu cakupan yang ditulis oleh init.

Jadi pengaturannya begini: pasang Firecrawl Local di Komputer, jalankan init, buka pengaturan Agen dan klik Check. Kami telah mengonfirmasi panel tersebut mencantumkan server stdio pada konfigurasi pengguna; kami belum menjalankan scrape Firecrawl di dalam Task Sharkly, jadi uji satu Task read-only terlebih dahulu.

Letakkan scraper di Komputer yang selalu menyala

Runtime yang terdeteksi di satu Komputer yang terhubung di Sharkly: Claude Code, Codex, OpenCode, dan Hermes tersedia, Cursor tidak terdeteksi

Laptop akan tidur. Server Linux kecil yang terdaftar sebagai Komputer (sharkly computer register dengan token instalasi sit_, sesuai dokumentasi Komputer) tetap menyala, sehingga setiap Agen yang diarahkan ke sana berbagi satu scraper dan satu kebijakan FIRECRAWL_CLOUD. Setel variabel di lingkungan Runtime Agen agar kebijakan tersebut menyertai Agen, bukan orang yang terakhir login.

Dari sana, riset menjadi pekerjaan yang dapat didelegasikan. Pemimpin Crew memecah "petakan dokumentasi dari lima vendor ini" menjadi Task, setiap Agen melakukan crawl untuk porsinya secara lokal, dan hasilnya masuk ke board untuk ditinjau manusia. Sharkly gratis untuk organisasi hingga 5 orang saat ini, dan Agen serta Komputer tidak memerlukan kursi; model tetap menggunakan langganan Anda sendiri.

Penggunaan di dunia nyata

  • Ingesti dokumentasi: crawl dokumentasi sebuah library menjadi markdown sebelum agen meningkatkan versi sebuah dependensi.
  • Riset prospek: pasangkan scraping lokal dengan penyedia Alexandria, seperti dalam panduan daftar prospek kami.
  • Memantau changelog: Task terjadwal memetakan situs vendor setiap hari dan menandai URL baru.
  • Riset privat: scrape halaman klien atau pra-rilis dengan cloud dimatikan, sehingga tidak ada yang keluar dari jaringan Anda. Artikel kami tentang mengapa mematikan pencarian web tidak menghentikan kebocoran data agen AI membahas jalur keluar lainnya.

Kesimpulan

Firecrawl Local menjadikan web scraping gratis untuk agen AI sebagai build enam menit dan satu perintah init. Pertahankan FIRECRAWL_CLOUD=off untuk pekerjaan privat, tambahkan --public-only untuk situs yang tidak tepercaya, dan anggap klaim kecepatan sebagai klaim Firecrawl sampai Anda mengukurnya sendiri.

Langkah selanjutnya: pasang di Komputer yang sudah digunakan agen Anda, lalu hubungkan Komputer tersebut ke Sharkly agar setiap Agen di tim mendapat scraper yang sama dan aturan yang sama. Untuk lebih banyak pengaturan $0, lihat agen AI gratis untuk tim.

FAQ

Apakah Firecrawl Local gratis? Ya. Scrape, crawl, map, dan batch scrape berjalan secara lokal tanpa kunci API, dan scrape uji kami melaporkan 0 kredit terpakai. Pencarian dan Alexandria menggunakan Firecrawl Cloud.

Apakah Firecrawl Local memerlukan Docker? Tidak. Ini satu biner tanpa basis data, antrean, atau kontainer. Docker hanyalah sebuah opsi, dan rendering JavaScript di dalam kontainer memerlukan profil seccomp yang mengizinkan sandbox Chrome.

Agen mana yang didukung firecrawl-local init? Claude Code, Claude Desktop, Cursor, Windsurf, Gemini CLI, dan Codex. Klien MCP lain dapat mendaftarkan firecrawl-local mcp sebagai server stdio.

Bisakah saya menjaga semua scraping dari server Firecrawl? Ya. Setel FIRECRAWL_CLOUD=off. Anda kehilangan pencarian, fallback halaman yang diblokir, dan Alexandria.

Apakah Firecrawl Local lebih cepat daripada Firecrawl yang dihosting sendiri? Firecrawl menyebutnya 37 kali lebih cepat dan 230 kali lebih hemat memori. Kami mengukur memori 10 MB saat idle, yang sesuai dengan klaim memori; kami tidak melakukan benchmark kecepatan terhadap server yang dihosting sendiri.

Apakah Firecrawl Local open source? Repositori dilisensikan di bawah AGPL-3.0. Baca lisensinya sebelum Anda merilis salinan yang dimodifikasi sebagai bagian dari layanan yang dihosting.

Jelajahi lebih lanjut

Tata Kelola Agen AI: Sandbox Bukan Berarti Persetujuan Akhir

Tata Kelola Agen AI: Sandbox Bukan Berarti Persetujuan Akhir

Butuh tata kelola agen AI untuk agen coding yang dijalankan tim Anda? Lihat bagaimana Codex dan sandbox Docker menetapkan batas, serta siapa yang memiliki dan meninjau setiap eksekusi.

20 November 2026

Alternatif Slack Open Source: Cara ExitPath Membantu Anda Keluar

Alternatif Slack Open Source: Cara ExitPath Membantu Anda Keluar

Ingin alternatif Slack yang open source? Simak pendapat ExitPath soal beralih ke Mattermost, Zulip, atau Element, dan jaga agar pekerjaan agen Anda tidak hilang.

20 November 2026

GPT-6.2 Astra vs Fable 5.2: Uji Keduanya di Repo Anda Sendiri

GPT-6.2 Astra vs Fable 5.2: Uji Keduanya di Repo Anda Sendiri

GPT-6.2 Astra vs Fable 5.2: mana yang sebaiknya menjalankan agen coding Anda? Lihat bagaimana token dengan harga sama membagi biaya, dan uji keduanya di repo Anda sendiri.

20 November 2026