Merge branch 'hotfix/so' into 'hofix/reciverMobile'

robots&&about&&keypage



See merge request !144

@@ -20,14 +20,17 @@ const removeBlack = (remoteIp) => {
         keyMax = `pc:limiter:max:${remoteIp}`,
         key10mMax = `pc:limiter:10m:max:${remoteIp}`,
         synchronizeKey = `pc:limiter:synchronize:${remoteIp}`,
+        asynchronousKey = `pc:limiter:asynchronous:${remoteIp}`,
         spiderKey = `pc:limiter:spider:${remoteIp}`;
 
+
     return Promise.all([
         cache.delAsync(key),
         cache.delAsync(key10m),
         cache.delAsync(keyMax),
         cache.delAsync(key10mMax),
         cache.delAsync(synchronizeKey),
+        cache.delAsync(asynchronousKey),
         cache.delAsync(spiderKey)
     ]);
 };

@@ -9,12 +9,8 @@
         </ul>
     </div>
     <div class="main-container">
-        {{#if devEnv}}
-            <img src="//webstatic.dev.yohobuy.com/img/about/aboutnewpower.png?random=1466056691"/>
-        {{^}}
-            <img src="//cdn.yoho.cn/yohobuy/assets/img/about/aboutnewpower.png?random=1466056691"/>
-        {{/if}}
         <div class="text-info">
+            <p><img src="//img11.static.yhbimg.com/evidenceImages/2017/07/11/16/01e66a43c7eff25fef57e5c9795474bddc.jpg"/></p>
             <p style="font-family:微软雅黑; text-align:left;">
                 <span style="font-size:18px; line-height:68px;">一、公司概况：</span>
                 <br/>
@@ -25,7 +21,7 @@
                 <br/>
                 1、平面杂志及电子平台
                 <br/>
-                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;《YOHO!潮流志》、《YOHO!GIRL》是YOHO!旗下在国内潮流领域具有深厚影响力的杂志媒体。《YOHO!潮流志》2005 年10月创刊。他是国内第一本完全原创版权的，提供潮流和 lifestyle 资讯，属于年轻人的潮流时尚半月刊，通过正规发行渠道（报刊亭、连锁商超等）发行至全国各大中城市，深受全国年轻人的喜爱。设计给国内年轻女性的中高端时装月刊《YOHO!GIRL》，2013年3月正式创刊，在香港、大陆以及日本东京茑屋地区同步发行。以大量独家资讯加上独特的编采手法，改变读者的阅读习惯，扩阔大家在时装、美容、设计、生活、次文化等各方面的视野。深入结构品牌背后的哲学和时装趋势，带领各读者一探最新时尚。
+                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;《YOHO!潮流志》、《YOHO!GIRL》是YOHO!旗下在国内潮流领域具有深厚影响力的杂志媒体。《YOHO!潮流志》2005 年10月创刊。他是一本完全原创版权并提供潮流和 lifestyle 资讯的属于年轻人的潮流时尚半月刊，通过正规发行渠道（报刊亭、连锁商超等）发行至全国各大中城市，深受全国年轻人的喜爱。设计给国内年轻女性的中高端时装月刊《YOHO!GIRL》，2013年3月正式创刊，在香港、大陆以及日本东京茑屋地区同步发行。以大量资讯加上独特的编采手法，改变读者的阅读习惯，扩阔大家在时装、美容、设计、生活、次文化等各方面的视野。深入结构品牌背后的哲学和时装趋势，带领各读者一探时尚。
                 <br/>
                 <br/>
                 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;YOHO!作为中国权威的潮流杂志电子平台，无论是影响力或发行量均名列前茅。“Yoho!Now”于 iOS 和 Android平台触亮全球潮流资讯，“Yoho!Now”7*24h 无休供应时装、运动、设计、科技、美容、家居、趣闻等严选潮流营养，并于每周发布特别线上专题，与读者Play and Learn。《YOHO!潮流志》和《YOHO!GIRL》亦于各自App內每周上架新鲜线上周刊，打包纸质版内容精华，汇通YOHO!潮流矩阵。
@@ -33,12 +29,12 @@
                 <br/>
                 2、关于“Yoho!Buy有货”
                 <br/>
-                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;“Yoho!Buy有货”（www.yohobuy.com）——年轻人潮流购物中心，同样秉承YOHO!“年轻是种态度”的口号，Yoho!Buy有货专注于中国潮流趋势和受众的需要，凭借专业的买手团队和对中国潮流趋势敏锐的嗅觉，积极开拓符合中国年轻人喜爱的品牌和商品。销售包括国际知名、日韩港台流行、明星设计师、内地原创等等超过1400 个潮流品牌商品，满足18-35岁年轻群体的时尚个性化述求，涵盖男女服装、鞋帽、配件、童装及创意生活用品等。Yoho!Buy有货所销售的品牌均与品牌直接签订销售协议，保持货品与国际国内实体店铺同步，通过独家定制、限定发售、明星合作品牌等，并结合“逛”内容频道及社区互动引导消费。Yoho!Buy有货已成为中国年轻态群体喜爱的潮流购物平台。
+                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;“Yoho!Buy有货”（www.yohobuy.com）——年轻人潮流购物中心，同样秉承YOHO!“年轻是种态度”的口号，Yoho!Buy有货专注于中国潮流趋势和受众的需要，凭借专业的买手团队和对中国潮流趋势敏锐的嗅觉，积极开拓符合中国年轻人喜爱的品牌和商品。销售包括国际知名、日韩港台流行、明星设计师、内地原创等等超过1400 个潮流品牌商品，满足18-35岁年轻群体的时尚个性化述求，涵盖男女服装、鞋帽、配件、童装及创意生活用品等。Yoho!Buy有货所销售的品牌均与品牌直接签订销售协议，保持货品与国际国内实体店铺同步，通过定制、限定发售、明星合作品牌等，并结合“逛”内容频道及社区互动引导消费。Yoho!Buy有货已成为中国年轻态群体热爱的潮流购物平台。
                 <br/>
                 <br/>
                 3、关于“mars - 新鲜好去处”
                 <br/>
-                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;“mars - 新鲜好去处”是一款由YOHO!出品的潮流生活应用，立志为百万年轻人打造酷炫的“城市探索”线上枢纽。连续两周被 Apple 评选为App Store“最佳新应用”，并获得 2016 年“一月最佳 App”、“最佳生活 App”等推荐。mars深入探索全球热点城市潮流坐标，现已上线北京、上海、成都、台北、香港、东京、首尔、纽约、洛杉矶等城市，未来还将陆续上线更多城市。集优质潮流攻略、专属玩乐线路、每日热点话题等功能，邀集世界各地时髦生活方式达人与所有用户分享好去处，让潮流随时、随地、随享。我们的目标就是带你去那些“如果你不用 mars 可能一辈子都不知道”的潮流好去处。
+                &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;“mars - 新鲜好去处”是一款由YOHO!出品的潮流生活应用，立志为百万年轻人打造酷炫的“城市探索”线上枢纽。多次被 Apple 的 App Store 官方推荐。mars深入探索全球热点城市潮流坐标，现已上线北京、上海、成都、台北、香港、东京、首尔、纽约、洛杉矶等城市，未来还将陆续上线更多城市。集优质潮流攻略、专属玩乐线路、每日热点话题等功能，邀集世界各地时髦生活方式达人与所有用户分享好去处，让潮流随时、随地、随享。我们的目标就是带你去那些“如果你不用 mars 可能一辈子都不知道”的潮流好去处。
             </p>
         </div>
     </div>

@@ -211,6 +211,11 @@ const keyId = (req, res, next) => {
     let id = req.params.id;
 
     return search.getSearchKeywordDataById(id, params, req.yoho.channel).then(result => {
+
+        if (!result) {
+            return next();
+        }
+
         let query = result.queryKey;
 
         Object.assign(result, {

@@ -419,8 +419,7 @@ exports.getSearchKeywordDataById = (id, params, channel) => {
         ]);
 
         if (!redisData[0]) {
-            return Promise.reject('get redis canpin keywords by id error!' +
-                `key: golobal:yoho:seo:keywords:id:${id} value: ${redisData[0]}`);
+            return false;
         }
 
         redisData = JSON.parse(redisData[0]);

@@ -37,11 +37,11 @@ module.exports = (req, res, next) => {
         remoteIp = req.get('X-Real-IP');
     }
 
-    logger.info('request remote ip: ', remoteIp);
-
     const excluded = _.includes(IP_WHITE_LIST, remoteIp);
     const enabled = !_.get(req.app.locals, 'pc.sys.noLimiter');
 
+    logger.info(`request remote ip: ${remoteIp}; excluded: ${excluded}; enabled: ${enabled}`);
+
     // 判断获取remoteIp成功，并且开关未关闭
     if (enabled && remoteIp && !excluded) {
         const context = {

@@ -47,6 +47,7 @@ module.exports = (limiter, policy) => {
         logger.debug(results);
 
         if (results[spiderKey]) {
+            logger.info(results);
             return Promise.resolve(policy);
         }
 
@@ -63,6 +64,7 @@ module.exports = (limiter, policy) => {
 
         if (results[synchronizeKey] > 10 && !results[asynchronousKey]) {
             cache.setAsync(spiderKey, 1, 60 * 60 * 24);
+            logger.info(results);
             return Promise.resolve(policy);
         }
 

 User-Agent: *
-Disallow: /passport/ 
-Disallow: /help   
+Disallow: /passport/
 Disallow: signin.html  
 Disallow: reg.html   
 Disallow: /cart/