Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Web scraping OpenAI Agents SDK

Hubungkan agen OpenAI Agents SDK ke server MCP Spicrawl. Agen kemudian dapat membaca halaman web sebagai Markdown.

Siapkan

  1. Instal openai-agents.

  2. Atur SPICRAWL_API_KEY dan OPENAI_API_KEY.

  3. Buka MCPServerStreamableHttp dengan URL dan header Authorization di params.

  4. Gunakan create_static_tool_filter untuk membatasi tool yang dilihat model, dan kirim server ke Agent Anda.

Contoh: baca halaman harga

openai_agents_example.py
import asyncio
import os

from agents import Agent, Runner
from agents.mcp import MCPServerStreamableHttp, create_static_tool_filter


async def main() -> None:
    async with MCPServerStreamableHttp(
        name="spicrawl",
        params={
            "url": "https://mcp.spicrawl.com/mcp",
            "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
        },
        cache_tools_list=True,
        tool_filter=create_static_tool_filter(
            allowed_tool_names=["spicrawl_scrape", "spicrawl_batch_submit"]
        ),
    ) as server:
        agent = Agent(
            name="Page reader",
            instructions="Use the Spicrawl tools to read web pages.",
            mcp_servers=[server],
        )
        result = await Runner.run(
            agent,
            "Read https://example.com/pricing as markdown and list the plans.",
        )
        print(result.final_output)


asyncio.run(main())

Server tidak memakai OAuth, jadi selalu kirim key di headers. Jika Anda mendapat 401, pastikan SPICRAWL_API_KEY sudah diatur di proses yang menjalankan agen.

Jaga daftar tool tetap pendek

Seluruh 25 schema tool dikirim pada setiap panggilan model. Pertahankan spicrawl_scrape, dan untuk banyak URL tambahkan spicrawl_batch_submit, spicrawl_batch_status, dan spicrawl_batch_results.

Jika kode Anda sudah tahu URL mana yang akan diambil, fungsi biasa yang memanggil POST /v1/scrape lebih sederhana. Fungsi itu tidak memakai token schema tool dan lebih mudah diuji.

Apa yang dapat dilakukannya

Server memberi agen 25 tool spicrawl_*. Setiap panggilan berjalan dengan API key Anda, dengan batas dan kredit yang sama seperti panggilan API langsung.

  • Baca satu halaman: spicrawl_scrape mengembalikan Markdown (default), teks, HTML, JSON, atau PDF.
  • Baca banyak halaman: spicrawl_batch_submit mengantrekan hingga 10,000 URL. Lanjutkan dengan spicrawl_batch_status dan spicrawl_batch_results.
  • Halaman di balik login: spicrawl_session_create menyimpan cookie dan storage di seluruh panggilan.
  • Debug kegagalan: spicrawl_requests_list dan spicrawl_request_get.
  • Periksa penggunaan: spicrawl_usage_summary dan tool penggunaan lainnya. Tool ini membutuhkan key dengan scope read.
  • Cari informasi: spicrawl_docs_search dan spicrawl_docs_read mencari dan membaca dokumentasi Spicrawl.

Satu tool, spicrawl_browser_connect_url, tercantum tetapi segera hadir. Pada spicrawl_scrape, argumen rendering-nya adalah render, bukan js_render milik API.

Perlu diketahui

  • Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Berikan URL ke agen.
  • Kredit per permintaan. Fetch biasa 1 kredit. Rendering JavaScript 3. Rendering browser penuh 8.
  • Kegagalan gratis. Permintaan yang gagal berbiaya 0 kredit.
  • Cache menghemat waktu, bukan kredit. Cache hit berbiaya sama dengan fetch yang menyimpannya.
  • Batasi setiap panggilan. Atur max_cost, dan permintaan yang bisa berbiaya lebih besar ditolak sebelum dijalankan.
  • Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi AI dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri.

Pertanyaan yang sering diajukan

Paket mana yang saya butuhkan?

openai-agents. Atur SPICRAWL_API_KEY dan OPENAI_API_KEY sebelum menjalankan contoh.

Bagaimana cara membatasi tool yang dilihat model?

Pass tool_filter=create_static_tool_filter(allowed_tool_names=[...]). The example keeps spicrawl_scrape and spicrawl_batch_submit.

Mengapa saya mendapat 401 saat agen terhubung?

Header hilang atau key salah. Bangun header di kode dari SPICRAWL_API_KEY dan periksa variabel diatur di proses yang menjalankan agen.

Apa yang terjadi saat panggilan tool gagal?

Error sampai ke model sebagai error tool MCP dengan kode dari API. Panggilan gagal berbiaya 0 kredit.

Berapa biaya setiap halaman?

Fetch biasa berbiaya 1 kredit, rendering JavaScript 3, dan rendering browser penuh 8. Permintaan gagal berbiaya 0. Cache hit berbiaya sama dengan fetch yang menyimpannya. Minta agen mengatur max_cost pada setiap permintaan agar tidak pernah menghabiskan lebih dari yang Anda duga.