Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

基于网站sitemap 抓取网页生成静态HTML

基于网站sitemap 抓取网页生成静态HTML

2018-10-12 Comments 0 Comment

以下说明仅适用于动静分离的网站,目前仅支持最多二级抓取,嗯,如果不是就不要看了,局限性还是比较大,后面再修改。

最近某度云有活动,看了下说明,虚拟机有buff加成,所以买了台来试试。

想法是为搜索引擎专门开辟一条线路,但是发现数据库不好同步,目前数据库是良心云的MySql,所以想了想弄个静态站点得了。

周五下午的时候构思了下,回来写了点点,今天把她完善了下。

其实功能挺简单的,简单讲file_get_contents 和 file_put_contents 两个函数即可轻松实现。

不过难点在于如何优化,比如抓取回来的数据一次遍历的话,PHP 肯定会超时,而且源站也有可能宕机。

另外一个就是数据存放,抓取后的sitemap 存放在哪里?

代码请看这里 https://github.com/Hegreen/sitemap_robot

用法:

首先配置源站信息和sitemap,配置当前文件所在站点目录即可。

羊毛党之家 基于网站sitemap 抓取网页生成静态HTML  https://yangmaodang.org

然后再浏览器运行即可,效果如下。

羊毛党之家 基于网站sitemap 抓取网页生成静态HTML  https://yangmaodang.org

嗯,更多功能关注后续版本。

分享此文:

  • 按一下即可分享至 X(在新視窗中開啟) X
  • 按一下以分享至 Facebook(在新視窗中開啟) Facebook
  • 分享到 WhatsApp(在新視窗中開啟) WhatsApp
  • 按一下以分享到 Telegram(在新視窗中開啟) Telegram
  • 分享到 Pinterest(在新視窗中開啟) Pinterest
  • 分享到 Reddit(在新視窗中開啟) Reddit
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟) 電子郵件
  • 點這裡列印(在新視窗中開啟) 列印

相關


教學資源

Post navigation

PREVIOUS
WordPress缩略图显示随机图片
NEXT
django 项目的基本配置

發表迴響取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
WordPress資訊
WeChat資訊
PHP資訊
教學資源
開源程序
網頁工具
SEO工具
醫療健康
其他資訊
Content from
Content to
2018 年 10 月
一 二 三 四 五 六 日
1234567
891011121314
15161718192021
22232425262728
293031  
« 9 月   11 月 »

分類

  • 網站公告
  • 限時免費
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 其他資訊

彙整

近期文章

  • 蘋果停止開發原定於2027 年推出的帶有攝影機的Apple Watch 2025-05-23
  • Mozilla關閉Pocket和Fakespot服務將更多精力放在Firefox本身 2025-05-23
  • 蘋果計畫2026年推出智慧眼鏡搶佔AI設備市場 2025-05-23
  • 美國參議院投票否決加州2035年電動車法規 2025-05-23
  • 曝三星Exynos 2500重出江湖:10核心設計頻率比玄戒O1低 2025-05-23
  • 《財星》發布2025年全球最具影響力的商界女性榜:蘇姿豐、孟晚舟等上榜 2025-05-23
  • 小米玄戒O1上央視:中國大陸首個3nm先進晶片 2025-05-23
  • Google據悉因AI技術交易面臨美國司法部的反壟斷調查 2025-05-23
  • 美國政府禁止哈佛招收外國學生現有國際生如不轉學將失去身份 2025-05-23
  • 小米YU7豪華電動SUV發表雷軍:沒有30萬下不來 2025-05-23

熱門文章與頁面︰

  • 微軟員工再次擾亂Satya Nadella 的主題演講
  • z-sms – 在線免費云短信臨時手機號接碼平台網頁版
  • 您可以在Windows 11 24H2 中找回WordPad
  • ROG NUC 2025迷你遊戲PC上市:Ultra 9 275HX+RTX 5080首發24999元
  • 索泰展示全球最小RTX 5060 Ti 16GB主機機箱容量僅2.65公升
  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • 一汽豐田開卷電動車全新bZ5開啟預售:入門版價格不超13萬
  • 彩虹-YH1000無人物流機首飛成功一口氣能飛1500公里
  • 蘋果iPhone 16 和iPhone 16 Pro Max 原版桌布現已下載
  • 氮化鎵充電器如何設計看完這12款拆解秒懂

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2025   All Rights Reserved.