分享好友 最新动态首页 最新动态分类 切换频道
zabbix抓取top10 抓取网站数据
2024-12-26 11:35


zabbix抓取top10 抓取网站数据

1. 网站小偷 teleport ultra


在平时的开发或者学习的过程中,我们难免会看到一些让人心动的网站,于是自己想把它搞下来,自己手工一个文件一个文件把它保存下来也可以实现,完成了也累得够呛,有一款扒站的神器,可以把你所喜欢的目标网站整个网站给扒下来,这个神器就是teleport ultra!


1、打开软件 
点击File,然后点击 New Project Wizred…,弹出如下界面,选择第一项,点击下一步 
然后在输入框输入你要扒的网站的地址,点击下一步 
选择everything,点击下一步,然后点击完成 
选择本地保存网站源文件的路径后,点击保存 
再单击start,即开始扒网站的文件 
搞定 


2.wget 命令获取法

    

需要下载某个目录下面的所有文件。
命令如下
wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/
在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。
wget -np -nH -r –span-hosts www.xianren.org/pub/path/
-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r www.xianren.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r www.xianren.org/
如果网站内有一个这样的链接:
www.xianren.org,不加参数-L,就会像大火烧山一样,会递归下载www.xianren.org网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL




最新文章
36漫画破解广告版下载
36漫画是一款完全免费的小说漫画阅读软件,无需任何费用。且该软件中还极为贴心的将漫画板块可小说板块进行了融合,让用户在一个软件中就能够享受到两个软件的待遇。并且该软件中无论是小说还是漫画都极为丰富,无论是什么类型的漫画和小说
AI面試官來了你准備好了嗎?與線下面試有何差別掃碼閱讀手機版
請先做個自我介紹,讓我更充分地了解你的實際情況,如:姓名、年齡、學校、項目實習的工作經驗、專業技能等。好的,我思思的回答剛開了個頭,就聽到屏幕那邊開始倒數3、2、1。倒數結束後,纔是應聘者的自我介紹時間。顯然,第一次面對一個
Adobe股价重挫14%,AI工具发展迟缓引发市场担忧
近日,Adobe公司的股价遭遇重大下跌,当地时间12月13日,其股价下滑了14%,创下自2022年9月以来的最大跌幅。这一下降引发了市场的广泛关注,尤其是在公司发布了令人失望的收入预期后。Adobe在其最新的财报中表示,预计2025年第一财季销售额
2024年Linux系统的web管理工具——webmin搭建(1),终于有人把Linux运维程序员必学知识点全整理出来了
最全的Linux教程,Linux从入门到精通 ======================linux从入门到精通(第2版)Linux系统移植Linux驱动开发入门与实战LINUX 系统
ai文案标题自动生成器怎么用:智能AI自动生成优质文字标题
在当今信息爆炸的时代内容创作者们面临着巨大的挑战。怎样迅速、高效地创作出吸引人的标题成为了一项关键的技能。而文案标题自动生成器的出现无疑为创作者们提供了一种全新的解决方案。本文将详细介绍文案标题自动生成器的利用方法以及怎样
AOFAX物流快递行业电话办公管理客户服务呼叫中心系统解决方案
双11又来啦!随着电商的发展,物流业成长速度惊人。物流业从传统的产品包装、运输、装卸和仓储模式发展成当今的系统化和总体化。当今的物流企业需要综合物流管理,也就迫切需要一种能与行业的发展保持同步的办公管理客户服务电话呼叫中心。
LaTeX简易教程 | 01 LaTeX介绍与软件安装
导读LaTeX是我们科研过程中,非常重要的编写论文的工具。掌握LaTeX的基本用法,是科研人员必备的技能。学LaTeX的过程中,遇到很多坑,总结一下,写一份简易教程,方便大家入门LaTeX并能够方便使用LaTeX编写论文。本篇文章我们一起来了解LaT
2024年单位办公室后勤保障工作总结
2024年单位办公室后勤保障工作总结
2024年ChatGPT Pro与o1pro面世,强化微调计划扩展中
今天分享的是:2024年ChatGPT Pro与o1pro面世,强化微调计划扩展中报告共计:10页OpenAI 重大进展及行业影响2024 年 12 月,OpenAI 于直播中发布多项重要成果,对人工智能领域产生深远影响,预示行业发展迈向新阶段。其一,ChatGPT Pro 订
相关文章
推荐文章
发表评论
0评