冰凌汇编

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 90|回复: 0
收起左侧

[网络分析] 全系统百宝箱之网站扒皮工具

[复制链接]
aaaaaaa2 发表于 2022-5-18 21:57:33

目标

整理完善我的百宝箱,不段更新避免有些工具太久没用过时了都不知道,
覆盖范围Windows+Mac+LinuxKylinOSUOS,支持国产操作系统的工具研究优先),
研究常用工具如何向国产终端过渡,跟进国产化工具进程,如有不足希望大家指正,会不根据大家建议不断优化工具箱。

工具箱内容

废话少说,先上网站扒皮工具:
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编 仿站工具箱.7z (23.56 MB, 下载次数: 0)


Windows工具:仿站小工具,适合单页面抓,只想用一个页面的时候用它。
Windows工具WinHTTrack(2017以来未更新),非常好用的一个工具,我抓整站用的最多就是它。
MacOS工具SiteSucker ProMac系统上一款暴力整站工具,只需输入一个URL,按下回车键,就可以下载整个网站,就是这么简单!。
Linux工具:需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。

#下面的命令会在终端所在目录创建一个www.2kil.com目录,将网站www.2kil.com上的数据全部下载到这个目录中wget -rck -np www.2kil.com
wget -rck -np www.2kil.com
#对应参数解释:
#-r,递归下载
#-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传
#-k,转换链接为本地链接
#-np,--no-parent不追溯至父级

Windows工具:wget.exe,用法和Linux相似,不过可以基于此开发。

.\wget.exe -rck -np www.2kil.com

这些工具可以将目标站点的目录结构、html网页、图像、PDF、样式表、音视频等文件异步保存到本地。

工具思考

曾经有一个非常棒的网站摆在我面前我没有珍惜。
等这个网站404的时候我才后悔莫及,人世间最痛苦的事莫过于此。
好在,自从会扒皮后,看到好的网站,就把它扒下来。当然不是所有的网站都能扒下来,
对于静态网站(没后台,代码是写死的,包括动画效果代码,包括模板网站)效果比较好,
对于动态网站(有后台,有数据库的,前端代码通过接口由后台数据库生成的网站)的效果可能不太好。
简单说来,没后台的随便扒,有后台的就看后台腹部复杂了。
就像我扒下这个动效周期表网站,就是一个动画网站,但是不影响我把它全部扒下来:
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
搞教程的不会扒皮,官网没了,搞到后面就断更了太监了。
(学动画的话,动效周期表挺不错的资源,之前帖子发错位置被清除。
懒得重发了,下载地址放这里。如果恰好有学动画,又有想扒皮的小伙伴一个彩蛋吧)
动效周期表地址(清绝直连):https://sc.qingjue.cn/data/%E5%....%A8.rar
1、Windows工具:仿站小工具
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
2、Windows工具:WinHTTrack
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
3、MacOS工具:SiteSucker Pro
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
4、Linux工具:Wget
全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
5、Windows工具:wget.exe


全系统百宝箱之网站扒皮工具 - aaaaaaa2_冰凌汇编
冰凌汇编免责声明
以上内容均来自网友转发或原创,如存在侵权请发送到站方邮件9003554@qq.com处理。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|站点统计|Archiver|小黑屋|RSS|冰凌汇编 ( 滇ICP备2022002049号 滇公网安备 53032102000029号)|网站地图

GMT+8, 2022-9-25 06:14 , Processed in 0.136100 second(s), 8 queries , Redis On.

冰凌汇编 - 建立于2021年12月20日

Powered by Discuz! © 2001-2022 Comsenz Inc.

快速回复 返回顶部 返回列表