S/۱۲ · خدمات
اسکرپر و ربات
داده‌ی وب را جمع می‌کنیم — و کارهای تکراری را انجام می‌دهیم.
خزنده‌ها و اسکرپرهایی که قیمت، آگهی و اطلاعات را از سایت‌هایی که API ندارند جمع می‌کنند، و ربات‌هایی که به جای شما کار می‌کنند: پایش تغییرات، پر کردن فرم‌ها، پاسخ در تلگرام، واتس‌اپ و بله. همه‌ی این‌ها زمان‌بندی‌شده و تحت پایش اجرا می‌شوند و با تغییر سایت‌ها از کار نمی‌افتند.
- جمع‌آوری از
- سایت، سامانه، API و PDF
- اجرا
- زمان‌بندی‌شده، در حجم بالا، تحت پایش
- تحویل به
- پایگاه داده، API یا شیت شما
- ۰۱
کسی داده را دستی از سایت‌ها به اکسل کپی می‌کند.
- ۰۲
قیمت یا آگهی رقبا را دنبال می‌کنید و همیشه دیر باخبر می‌شوید.
- ۰۳
سامانه‌ای که به آن وابسته‌اید نه API دارد نه خروجی.
- ۰۴
تیمتان هر روز همان کلیک‌ها را تکرار می‌کند.
- D/۰۱
خزنده و اسکرپر
برای منبع‌هایی که مشخص می‌کنید جمع‌کننده می‌سازیم، از صفحه‌های ساده‌ی HTML تا سایت‌هایی که محتوایشان فقط بعد از اجرای جاوااسکریپت دیده می‌شود. هر کدام قواعد سایت را رعایت می‌کند، با سرعتی کار می‌کند که به سایت فشار نیاورد و هر اجرا را ثبت می‌کند؛ پس می‌دانید چه چیزی جمع شد و چه چیزی جا ماند.
شامل
- یک جمع‌کننده برای هر منبع، با فیلدهایی که لازم دارید
- رندر جاوااسکریپت هر جا که سایت نیاز دارد
- رعایت محدودیت نرخ و robots.txt در هر اجرا
- گزارش هر اجرا: صفحه‌ها، رکوردها، خطاها و تلاش‌های دوباره
crawler/runs/catalog.example.com.log $ crawler run --source catalog.example.com
robots.txt ok · 1 req/s · ua: example-bot/1.2
48 listing pages queued · js render: on
! 14 products without a price → flagged
× 2 pages returned 503 → retry in 10m
✓ 1,912 products · 26m 40s · 0 blocked
- D/۰۲
داده‌ی تمیز و ساختاریافته
از صفحه‌های خام رکوردهایی با فیلدهای یکدست می‌سازیم: قیمت به شکل عدد، تاریخ در یک قالب، و یک کالا در منبع‌های مختلف یک کالا شناخته می‌شود. رکوردی که از بررسی‌ها قبول نشود کنار گذاشته می‌شود تا داده‌تان را خراب نکند، و بقیه به همان جایی می‌رسند که تیمتان کار می‌کند.
شامل
- ساختار روشن برای هر رکورد، با توضیح فیلد به فیلد
- اعتبارسنجی، یکدست‌سازی و حذف تکراری‌ها میان منبع‌ها
- تحویل به PostgreSQL، یک API، فایل CSV یا Google Sheet
- نگهداری سابقه، تا ببینید یک مقدار در طول زمان چطور تغییر کرده
exports/products-2026-11-02.csv کالا قیمت (تومان) موجودی منبع کتری استیل ۱٫۷ لیتری ۱٬۲۵۰٬۰۰۰ موجود shop-a.example کتری استیل ۱٫۷ لیتری ۱٬۱۸۰٬۰۰۰ موجود shop-b.example توستر دو اسلایس ۱٬۴۹۰٬۰۰۰ ۳ عدد shop-a.example گوشت‌کوب برقی ۶۰۰ وات ۹۸۰٬۰۰۰ ناموجود shop-c.example آسیاب قهوه ۲٬۱۰۰٬۰۰۰ موجود shop-b.example - D/۰۳
پایش و هشدار
صفحه‌ها و مقدارهایی را که برایتان مهم است زیر نظر می‌گیریم و وقتی تغییر کنند خبرتان می‌کنیم: قیمت یک رقیب، کالایی که دوباره موجود شده، آگهی تازه‌ای که با فیلترهایتان جور است. آستانه‌ها را خودتان تعیین می‌کنید، پس هشدارها ارزش خواندن دارند و مزاحم نمی‌شوند.
شامل
- فهرست پایش از صفحه‌ها، کالاها یا جست‌وجوها
- آستانه‌هایی در اختیار شما: درصد، قیمت یا هر تغییری
- هشدار در تلگرام، ایمیل یا Slack، با پیوند به منبع
- خلاصه‌ی روزانه برای تغییرهایی که هشدار لازم ندارند
monitor/prices · last 24 h کالای زیر پایش
۱٬۲۴۰
در ۶ منبع
تغییر قیمت
۳۷
۱۲ مورد بالای آستانه
هشدار ارسال‌شده
۱۲
Telegram · #prices
فاصله تا هشدار
۴ دقیقه
میانه، پس از تغییر
- D/۰۴
ربات پیام‌رسان
رباتی که مشتری‌ها یا همکارانتان در همان پیام‌رسانی که همیشه استفاده می‌کنند با آن حرف می‌زنند. به سؤال‌های رایج جواب می‌دهد، سفارش و نوبت می‌گیرد، خبر می‌دهد و داده‌ی واقعی را از طریق سیستم‌هایتان می‌خواند و ثبت می‌کند، و هر جا لازم باشد گفت‌وگو را به یک نفر می‌سپارد.
شامل
- رباتی در تلگرام، واتس‌اپ یا بله، یا هر سه
- منوها و مسیرهایی برای کارهایی که مردم واقعاً می‌خواهند
- اتصال به سفارش‌ها، موجودی یا نوبت‌های شما
- سپردن گفت‌وگو به تیمتان، همراه با سابقه‌اش
telegram · @example_bakery_bot نان ساوردو برای فردا صبح دارید؟
بله، ۱۴ عدد برای فردا مانده. تحویل از ساعت ۸ در شعبه‌ی خیابان اصلی. چند عدد می‌خواهید؟
دو تا، لطفاً.
سفارش ۳۳۱۸: ۲ نان ساوردو، ۳۶۰٬۰۰۰ تومان، تحویل فردا از ساعت ۸. الان پرداخت می‌کنید یا موقع تحویل؟
- D/۰۵
خودکارسازی مرورگر
وقتی سامانه‌ای که به آن وابسته‌اید API ندارد، ربات می‌تواند مثل یک آدم از آن استفاده کند: وارد شود، به صفحه‌ی درست برود، فرم را پر کند و گزارش را دانلود کند. طبق زمان‌بندی و با حساب مخصوص خودش اجرا می‌شود، رمزها را در گاوصندوق نگه می‌دارد و وقتی چیزی خراب شود اسکرین‌شات می‌گیرد.
شامل
- یک مسیر اسکریپت‌شده برای هر کار، تست‌شده روی خود سامانه
- نگهداری رمزها در گاوصندوق، هرگز درون کد
- بایگانی فایل‌های دانلودشده و ارسالشان به سیستم‌های شما
- اسکرین‌شات و هشدار وقتی مرحله‌ای شکست بخورد
bots/portal-monthly-report · playwright $ bot run portal-monthly-report
→ open portal.example.com/login
✓ signed in (vault: portal/reports)
→ reports › sales › October 2026 › export CSV
✓ sales-2026-10.csv · 4,218 rows → reports/
✓ done in 1m 52s · next run 1 Dec 06:00
- D/۰۶
همیشه سرپا
سایت‌ها بی‌خبر تغییر می‌کنند، پس هر اجرا بررسی می‌شود: تمام شد؟ به اندازه‌ی همیشه داده جمع کرد؟ فیلدها هنوز معنی دارند؟ وقتی منبعی خراب شود اول ما باخبر می‌شویم، و تعمیرش بخشی از نگهداری‌ای است که از قبل دارید.
شامل
- زمان‌بندی برای هر منبع و هر ربات
- بررسی سلامت روی تعداد رکوردها، فیلدهای خالی و خطاها
- هشدار به ما و به شما وقتی منبعی از حالت عادی خارج شود
- تعمیر تغییرات ساختار سایت، جزو نگهداری
crawler/health · today - catalog.example.com · ۱٬۹۱۲ رکورد، مثل همیشه۰۶:۰۰
- shop-b.example · ۱٬۱۸۴ رکورد۰۶:۲۰
- shop-c.example · فیلد قیمت در ۳۰٪ صفحه‌ها خالی استدر حال تعمیر
- listings.example.org · ساختار عوض شده، ۰ رکوردهشدار ۰۶:۴۱
- portal-monthly-report · در ۱ دقیقه و ۵۲ ثانیه تمام شد۱۱ آبان
- ۰۱
تعریف داده
کدام منبع‌ها، کدام فیلدها، هر چند وقت یک بار و برای چه کاری.
- ۰۲
بررسی قواعد
پیش از هر اجرا، شرایط استفاده، محدودیت نرخ و جنبه‌های قانونی هر منبع را بررسی می‌کنیم.
- ۰۳
ساخت و زمان‌بندی
جمع‌کننده‌ها و ربات‌ها را می‌سازیم، روی صفحه‌های واقعی تست می‌کنیم و با سرعتی معقول زمان‌بندی می‌کنیم.
- ۰۴
اجرا و نگهداری
در محیط واقعی پایش می‌شوند و وقتی منبع‌ها تغییر می‌کنند تعمیر می‌شوند.
یک پروژه معمولاً بسته به تعداد منبع‌ها و دشواری خواندنشان سه تا پنج هفته طول می‌کشد. اولین منبع در همان دو هفته‌ی اول داده‌ی واقعی تحویل می‌دهد، تا پیش از ساختن بقیه خروجی را بررسی کنید.
- هفته‌ی ۱
روی منبع‌ها، فیلدها و دفعات به‌روزرسانی توافق می‌کنیم و شرایط و محدودیت‌های هر منبع را بررسی می‌کنیم.
- هفته‌ی ۲
اولین جمع‌کننده یا ربات راه می‌افتد، با داده‌ی نمونه برای بررسی شما.
- هفته‌ی ۳
منبع‌های باقی‌مانده، اعتبارسنجی و تحویل به پایگاه داده، API یا شیت شما.
- هفته‌ی ۴
راه‌اندازی زمان‌بندی، پایش و هشدارها، و یک دوره‌ی آزمایشی روی اجراهای واقعی.
- هفته‌ی ۵
تحویل: مستندات، دسترسی به داشبوردها و شروع نگهداری.
کد
همه‌ی جمع‌کننده‌ها و ربات‌ها در مخزن شما، با تست و راهنمای راه‌اندازی.
داده
همه‌ی رکوردهای جمع‌شده، با سابقه‌شان، در پایگاه داده یا فضای ذخیره‌ی خودتان.
ساختار داده
توضیح هر رکورد و هر فیلد، تا هر کسی بتواند از داده استفاده کند.
زمان‌بندی و داشبوردها
برنامه‌ی اجرا، سابقه‌ی اجراها و سلامت منبع‌ها، جلوی چشم تیم شما.
دستورالعمل عملیات
چطور هر منبع را اجرا، متوقف و تعمیر کنید، و وقتی چیزی خراب شد با چه کسی تماس بگیرید.
نگهداری، اگر بخواهید
پایش و تعمیر وقتی منبع‌ها تغییر می‌کنند، با یک قرارداد ماهانه.
- Go
- Python
- Playwright
- Headless Chrome
- Proxies
- Queues & schedulers
- PostgreSQL
- Telegram & WhatsApp APIs
اسکرپ کردن قانونی است؟
بستگی به منبع، داده و نحوه‌ی استفاده دارد. پیش از هر کار شرایط و جنبه‌های قانونی هر منبع را بررسی می‌کنیم، فقط چیزی را جمع می‌کنیم که حق استفاده از آن را دارید و بقیه را قبول نمی‌کنیم.
اگر سایت تغییر کند چه می‌شود؟
هر اجرا بررسی می‌شود. وقتی منبعی ساختارش را عوض کند باخبر می‌شویم و تعمیرش بخشی از نگهداری است.
مسدود نمی‌شود؟
بی‌آن‌که به سایت فشار بیاوریم خزش می‌کنیم: در محدوده‌ی نرخ مجاز و هر جا ممکن باشد با معرفی خودمان. برای همین به‌ندرت مسدود می‌شویم و دسترسی پایدار می‌ماند.
از ما چه چیزی لازم دارید؟
فهرست منبع‌ها و فیلدهایی که می‌خواهید، هر چند وقت یک بار لازمشان دارید و داده باید به کجا برسد. برای سامانه‌ها، حسابی که ربات اجازه‌ی استفاده از آن را داشته باشد.
بعد از تحویل می‌توانیم خودمان اجرایش کنیم؟
بله. کد، زمان‌بندی‌ها و دستورالعمل عملیات مال شماست و تیمتان می‌تواند بدون ما اجرایش کند. با این حال بیشتر مشتری‌ها قرارداد نگهداری را ادامه می‌دهند، چون منبع‌ها تغییر می‌کنند.
بگویید چه چیزی می‌سازید.
هر پروژه با یک مشاوره شروع می‌شود: شما ایده و هر چه می‌دانید را می‌آورید و ما از دلش طرحی درمی‌آوریم که بشود رویش ساخت.
رزرو مشاوره