# ==================== 加拿大28开奖数据查询 - 爬虫协议(Bing必应优化版) ==================== # 说明: # - 优先 Bing 必应排名(Bingbot + msnbot 双蜘蛛全开,白名单范围最宽) # - 其次 Google 谷歌排名 # - 允许主流搜索引擎抓取所有公开页;禁止后台、数据文件、临时文件、同步脚本 # - IndexNow 即时推送:服务器端通过 now-index.php 自动把最新期号告诉 Bing/Yandex,无需等爬虫 # - Sitemap 地址需在【部署后手动改为真实域名】,例如: # Sitemap: https://www.your-domain.com/sitemap.xml # 或在根目录执行一次:SITEMAP_BASE_URL=https://www.你的域名.com php now-index.php submit-sitemap User-agent: * Allow: / # 允许的主要静态与功能页 Allow: /index.php Allow: /faq.html Allow: /sitemap.html Allow: /sitemap.xml Allow: /robots.txt Allow: /site.webmanifest Allow: /static/ Allow: /*.css Allow: /*.js Allow: /*.png Allow: /*.jpg Allow: /*.jpeg Allow: /*.gif Allow: /*.svg Allow: /*.ico Allow: /*.webp Allow: /*.woff Allow: /*.woff2 # 管理 / 数据 / 脚本:绝对不爬 Disallow: /ad28/ Disallow: /includes/ Disallow: /可参考/ Disallow: /fetch_remote.php Disallow: /generate_sitemap.php Disallow: /api.php Disallow: /debug_apis.php Disallow: /*.txt Disallow: /*.sql Disallow: /*.log Disallow: /*.tmp Disallow: /*.temp Disallow: /*.bak Disallow: /*.backup Disallow: /*.py Disallow: /*.cache Disallow: /*.json # ==================== 必应 Bing(最优先!微软旗下搜索引擎) ==================== User-agent: Bingbot Allow: / Allow: /static/ Allow: /*.css Allow: /*.js Allow: /*.png Allow: /*.jpg Allow: /*.jpeg Allow: /*.svg Disallow: /ad28/ /includes/ /可参考/ /fetch_remote.php /now-index.php /api.php /debug_apis.php Disallow: /*.sql /*.log /*.bak /*.py /*.cache Crawl-delay: 0.5 # Bing 抓取频率放宽到每0.5秒一次,提高收录速度 # msnbot(Bing老蜘蛛,有时仍会出现) User-agent: msnbot Allow: / Disallow: /ad28/ /includes/ /fetch_remote.php /now-index.php Crawl-delay: 0.5 # msnbot-media(Bing多媒体蜘蛛,顺便放开,能提高site:时的覆盖率) User-agent: msnbot-media Allow: /static/ Allow: /*.png Allow: /*.jpg Allow: /*.svg Disallow: /ad28/ /includes/ # adidxbot(Bing广告蜘蛛,忽略敏感路径) User-agent: adidxbot Disallow: /ad28/ /includes/ /fetch_remote.php /now-index.php # ==================== 谷歌 Google(第二优先级) ==================== User-agent: Googlebot Allow: / Disallow: /ad28/ /includes/ /可参考/ /fetch_remote.php /now-index.php /api.php /debug_apis.php Disallow: /*.sql /*.log /*.bak /*.py /*.json Crawl-delay: 0.5 # Googlebot-Image 图片蜘蛛(多抓一些配图利于Image搜索) User-agent: Googlebot-Image Allow: /static/ Allow: /*.png Allow: /*.jpg Allow: /*.svg Disallow: /ad28/ /includes/ # Googlebot-News 新闻蜘蛛 User-agent: Googlebot-News Disallow: /ad28/ /includes/ /now-index.php # ==================== 其他主流引擎 ==================== User-agent: Baiduspider # 百度 Allow: / Disallow: /ad28/ /includes/ /可参考/ /fetch_remote.php /now-index.php /api.php /debug_apis.php Disallow: /*.sql /*.log /*.bak /*.py /*.json Crawl-delay: 1 User-agent: Sogou web spider # 搜狗 Allow: / Disallow: /ad28/ Crawl-delay: 1 User-agent: 360Spider # 360 Allow: / Disallow: /ad28/ Crawl-delay: 1 User-agent: Slurp # Yahoo(Bing联盟已接入,保留兼容) Allow: / Disallow: /ad28/ /includes/ /fetch_remote.php /now-index.php Crawl-delay: 1 User-agent: Yandex # 俄罗斯门户(IndexNow 协议伙伴,Bing推送也会同步到它) Allow: / Disallow: /ad28/ Crawl-delay: 1 User-agent: Naver # 韩国门户(IndexNow 协议伙伴) Allow: / Disallow: /ad28/ Crawl-delay: 1 User-agent: DuckDuckBot # DuckDuckGo(靠Bing提供结果,保留兼容) Allow: / Disallow: /ad28/ Crawl-delay: 0.8 # ========================================================= # ⚠ 部署上线后必做 3 件事: # 1) 修改 INDEXNOW_KEY(now-index.php 顶部)为 8~128 位十六进制随机串 # 2) 网站根目录新建 {KEY}.txt 空文件(Bing 会回连验证域名所有权) # 3) 把下面这行改成真实域名,然后删除本块注释! # 示例:Sitemap: https://www.jndpc28.com/sitemap.xml Sitemap: https://www.jndpc.co/sitemap.xml