Authored by shuaiguo

格式调整

Showing 1 changed file with 52 additions and 15 deletions
... ... @@ -5,33 +5,43 @@
# 平台端
**仓库地址**
[http://git.yoho.cn/fe/yohobuy-portal-fe2](http://git.yoho.cn/fe/yohobuy-portal-fe2)
**环境发布**
【测试环境】
IP: 192.168.102.49
user: root
password: eW9obzk2NDY=
path: /Data/code/yohobuy-portal-fe2
IP: 192.168.102.49
user: root
password: eW9obzk2NDY=
path: /Data/code/yohobuy-portal-fe2
build: cd /Data/code/yohobuy-portal-fe2/code && npm run build && pm2 restart yohobuy-portal-fe
【灰度/生产环境】
IP: 192.168.102.210
user: root
password: 123456
build: cd /home/node
灰度环境 sh portal.sh gray
生产环境 sh portal.sh master
灰度环境 sh portal.sh gray
**活动模板组件参数配置**
生产环境 sh portal.sh master
测试环境:[http://java-yoho-platform.test3.ingress.dev.yohocorp.com/platform/html/activeModule/templated_component_index.html](http://java-yoho-platform.test3.ingress.dev.yohocorp.com/platform/html/activeModule/templated_component_index.html)
**活动模板组件参数配置**
生产环境:[http://admin.portal.yohobuy.com/platform/html/activeModule/templated_component_index.html](http://admin.portal.yohobuy.com/platform/html/activeModule/templated_component_index.html)
测试环境:[http://java-yoho-platform.test3.ingress.dev.yohocorp.com/platform/html/activeModule/templated_component_index.html](http://java-yoho-platform.test3.ingress.dev.yohocorp.com/platform/html/activeModule/templated_component_index.html)
生产环境:[http://admin.portal.yohobuy.com/platform/html/activeModule/templated_component_index.html](http://admin.portal.yohobuy.com/platform/html/activeModule/templated_component_index.html)
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736537-5d0ff060-3936-4fd1-be2c-9f840afb8b5b.png#align=left&display=inline&height=952&originHeight=952&originWidth=1720&size=0&status=done&style=none&width=1720)
... ... @@ -41,11 +51,12 @@ build: cd /home/node
特殊配置* (不要推到远程)
添加自己的环境变量
code/index.js
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736614-4264b52d-93ad-4c16-93ff-9ba4a81d8ba8.png#align=left&display=inline&height=136&originHeight=136&originWidth=870&size=0&status=done&style=none&width=870)
绕过登录校验
code/filters.js b/code/filters.js
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736582-c5322745-974a-4ec9-94c8-35c783c94a7e.png#align=left&display=inline&height=101&originHeight=101&originWidth=673&size=0&status=done&style=none&width=673)
... ... @@ -54,39 +65,65 @@ code/filters.js b/code/filters.js
# UFO 爬虫
**仓库地址**
[http://git.yoho.cn/fe/spider-ufo](http://git.yoho.cn/fe/spider-ufo)
**环境发布**
注:需要堡垒机权限,没有就找运维申请
登录堡垒机,选择爬虫机器
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736620-b1a4f4ee-1600-4d11-a5eb-620d4abd8993.png#align=left&display=inline&height=42&originHeight=42&originWidth=288&size=0&status=done&style=none&width=288)
项目目录/Data/node/spider-ufo/
pull代码
pm2 restart spider-ufo 重启
pm2 logs 查看运行状态
**关键文件目录**
1.数据存储目录 /Data/node/spider-ufo/db
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736680-a9232c21-a194-47a0-9b05-f83d7a9948d9.png#align=left&display=inline&height=18&originHeight=18&originWidth=396&size=0&status=done&style=none&width=396) 毒全量商品数据(可精简)
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736579-55e20cc9-2899-4ea7-b1ea-6d8dca33d203.png#align=left&display=inline&height=17&originHeight=17&originWidth=483&size=0&status=done&style=none&width=483) ufo商品与毒商品的对应关系(神箭手已停)
2.爬取日志目录 /Data/logs/node/
3.每天爬取的毒全量数据日志目录 /Data/logs/node/prices/
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736640-117631b9-e750-4f98-95b2-faffac3be799.png#align=left&display=inline&height=66&originHeight=66&originWidth=429&size=0&status=done&style=none&width=429)
**常见问题定位**
1.ufo比价与毒的价格不一致
查询ufo与毒的货号进行对比
查询ufo与毒的关系文件,是否有对应关系,如果存在对应关系,则查找爬取日志找到对应商品尺码的各种日志,如果不存在对应关系,则查找毒全量商品数据是否存在该商品并对比货号(注意空格或特殊字符)
查询ufo与毒的货号进行对比
查询ufo与毒的关系文件,是否有对应关系,如果存在对应关系,则查找爬取日志找到对应商品尺码的各种日志,如果不存在对应关系,则查找毒全量商品数据是否存在该商品并对比货号(注意空格或特殊字符)
**后续优化**
1.毒全量商品数据存储精简,只需要存储ID,货号等必要信息
2.进行增量更新或部分增量更新,对已爬取的毒商品数据不进行抓取或每周抓取,以及根据对应关系抓取后的数据不一致时进行更新
3.更换存储介质
1.毒全量商品数据存储精简,只需要存储ID,货号等必要信息
2.进行增量更新或部分增量更新,对已爬取的毒商品数据不进行抓取或每周抓取,以及根据对应关系抓取后的数据不一致时进行更新
3.更换存储介质
**代码**
![](https://cdn.nlark.com/yuque/0/2020/png/193477/1584412736673-850a0f0d-edb5-445b-b2b8-f244530ec5d7.png#align=left&display=inline&height=1294&originHeight=1294&originWidth=1336&size=0&status=done&style=none&width=1336)
# 毒销售数据爬虫
**仓库地址**
[http://git.yoho.cn/fe/spider-du](http://git.yoho.cn/fe/spider-du) (目前已停用)
# 闲鱼UFO销售数据报表
**仓库地址**
[http://git.yoho.cn/fe/yoho-dashboard-ufo](http://git.yoho.cn/fe/yoho-dashboard-ufo)
... ...