Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

只答疑软件功能和Bug相关的问题,政府军事等网站不予答疑,其他问题请加群 #100

Open
NaiboWang opened this issue Jun 28, 2023 · 23 comments

Comments

@NaiboWang
Copy link
Owner

NaiboWang commented Jun 28, 2023

政府军事等网站不予答疑,如https://zrzyt.hubei.gov.cn/fbjd/zhengce/zcjd/index.shtml
Issues是来提软件的bug和功能需求之类问题的,对于如何使用软件设计一个任务的类似的问题,比如如何设置xpath,如何针对某网站设计一个流程等不属于软件的Bug和功能上的问题,我这边没时间一一解答,请大家理解。对于此类问题,大家可以加Readme里写的QQ群问其他朋友。

@NaiboWang NaiboWang pinned this issue Jun 28, 2023
@NaiboWang NaiboWang changed the title 只答疑软件功能和Bug相关的问题,其他问题请加群 只答疑软件功能和Bug相关的问题,政府军事等网站不予答疑,其他问题请加群 Jun 28, 2023
@NaiboWang NaiboWang reopened this Jul 15, 2023
@burukanke
Copy link

开启爬取Cloudflare一类强反爬网站模式时,如果打开网页模块里输入的是多个链接, easyspider_executestage.py这个文件里的browser_t.execute_script('window.open("'+ links[0] +'","_blank");')这行会报js脚本执行出错,不开那种模式就正常循环开启多个链接,请问有解决方法吗?

@NaiboWang
Copy link
Owner Author

Cloudflare反爬功能会随着cloudflare经常更新反爬机制而失效,我一个人没有太多时间一直更新此功能,建议自行修改源码处理,参考undetected-chromedriver库。

@jiangsai0502
Copy link

目前Mac的Chrome发布到了117,从115开始ChromeDriver就与Chrome集成了,现在下载不到117的ChromeDriver,每次都闪退,有解法不

@NaiboWang
Copy link
Owner Author

目前Mac的Chrome发布到了117,从115开始ChromeDriver就与Chrome集成了,现在下载不到117的ChromeDriver,每次都闪退,有解法不

参考:

#181

@ahuyuhy
Copy link

ahuyuhy commented Oct 14, 2023

你好 这边咨询下 如果某网页比如循环下一页中 偶尔有时候会出现503等报错,当然多次刷新一般能打开 那么这种需要如何设计流程 或者判断 比如当出现特定信息时 重新刷新这个页面在爬取 或者找不到需要元素 有个重刷新机制 也就是问题不是需要时间来加载而是直接比如403 503等错误

@7-happy
Copy link

7-happy commented Nov 6, 2023

爬 来赞达 菲律宾站 页面弹窗遮挡住图形验证滑块 https://www.lazada.sg/?spm=a2o42.searchlist.header.dhome.2bc13737fneiHG
image

@strayly
Copy link

strayly commented Dec 11, 2023

按发布一条龙的步骤,从源码生成软件包是提示 如下错误,请问是什么原因?
Could not load key from "" Error: ENOENT: no such file or directory, open
at Object.openSync (node:fs:590:3)
at Object.readFileSync (node:fs:458:35)
at tryLoadKeyPair (D:\EasySpider\Extension\manifest_v3\node_modules\crx3\lib\keypair.js:68:19)
at createKeyPair (D:\EasySpider\Extension\manifest_v3\node_modules\crx3\lib\keypair.js:45:16)
at CRX3Stream.crxInit (D:\EasySpider\Extension\manifest_v3\node_modules\crx3\lib\crx3stream.js:126:19)
at CRX3Stream._write (D:\EasySpider\Extension\manifest_v3\node_modules\crx3\lib\crx3stream.js:86:9)
at doWrite (node:internal/streams/writable:410:12)
at clearBuffer (node:internal/streams/writable:571:7)
at CRX3Stream. (node:internal/streams/writable:263:7)
at Object.onceWrapper (node:events:627:28) {
errno: -4058,
syscall: 'open',
code: 'ENOENT'
}
No keyPath was specified. Private key will not be saved to a file.

@NaiboWang
Copy link
Owner Author

这不是错误。

@Pinkolinka11
Copy link

Ne Eriko to neni mozny!

@wangwangxingao
Copy link

点击 纯净版浏览器设计 没有反应

@wangnan789
Copy link

这个没必要拿来强调说明

@NaiboWang
Copy link
Owner Author

需要的,可以自己去看看多少人提了有关政府网站的issue。

@wintsa123
Copy link

asp动态网页
无法爬取,dom元素都抓不到

@qwdz441
Copy link

qwdz441 commented Jul 3, 2024

请问执行任务时候浏览器闪退导致执行时才怎么处理

@Bughandsomeman
Copy link

日志出现执行节点<提取数据>时出错,将继续执行,错误为: 'gbk' codec can't encode character '\u20ac' in position 5: illegal multibyte sequence,是什么情况,如何更改成uft-8

@wyz-1997
Copy link

需要爬一个工单的后台管理系统[https://serviceforce.lenovo.com.cn/#/login。设计模式下打开浏览器,然后“工单列表”页面也能正常访问。但是保存以后运行,再打开“工单列表”页面就会打不开,页面报错。报错内容就是下面这个图片。
微信图片_20240730145111
1722322755033

@FrankSnipes1983
Copy link

**
0.6.2版中的windows32位版本只有一个采集数据选项,没有采集数据(应选尽选)等其他三种选项,是确实没加么,还是我的使用方式不对?
**

@jxwuqingyan
Copy link

请问怎么加群?

@NaiboWang
Copy link
Owner Author

** 0.6.2版中的windows32位版本只有一个采集数据选项,没有采集数据(应选尽选)等其他三种选项,是确实没加么,还是我的使用方式不对? **

应选尽选这三个选项是在选中全部操作之后进行选中子元素时才有的操作

@NaiboWang
Copy link
Owner Author

请问怎么加群?

682921940

@ycaosh
Copy link

ycaosh commented Sep 8, 2024

在程序运行过程中如果改变浏览器的大小或移动位置,程序似乎会罢工,这个情况属于正常吗?

@NaiboWang
Copy link
Owner Author

在程序运行过程中如果改变浏览器的大小或移动位置,程序似乎会罢工,这个情况属于正常吗?

有可能会影响程序工作,正常。

@hello202409
Copy link

有一个网页,是从首页通过悬浮菜单栏选择进入的子栏目,如果将这个子栏目的网址复制后可以在浏览器正常打开,但是如果复制在easy spider里“打开网页”,会自动跳转到这个网址对应的官网的首页,这个网站的菜单栏是悬浮菜单,是否是无法准确定位的问题?需要如何解决呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests