具有大量动态子域的站点的站点地图

2024-03-29

我正在运行一个允许用户创建子域的网站。我想通过站点地图将这些用户子域提交给搜索引擎。但是,根据站点地图协议(和 Google 网站管理员工具),单个站点地图只能包含来自单个主机的 URL。

最好的方法是什么?

目前我有以下结构:

  1. 站点地图索引位于 example.com/sitemap-index.xml,列出了每个子域(但位于同一主机)的站点地图。
  2. 每个子域都有自己的站点地图,位于 example.com/sitemap-subdomain.xml(这样站点地图索引仅包含来自单个主机的 URL)。
  3. 子域的站点地图仅包含来自子域的 URL,即 subdomain.example.com/*
  4. 每个子域都有 subdomain.example.com/robots.txt 文件:

--

User-agent: *
Allow: /

Sitemap: http://example.com/sitemap-subdomain.xml

--

我认为这种方法符合站点地图协议,但是,Google 网站管理员工具会针对子域站点地图给出错误:“不允许使用 URL。此位置的站点地图不允许使用此 url。”

我还检查了其他网站是如何做到的。例如,Eventbrite 生成包含来自多个子域的 URL 的站点地图(例如,请参阅http://www.eventbrite.com/events01.xml.gz http://www.eventbrite.com/events01.xml.gz)。然而,这不符合站点地图协议。

对于站点地图,您推荐什么方法?


我最近为此苦苦挣扎,终于成功了。请参阅此线程了解更多详细信息:

Summary:

  • Use DNS验证 http://googlewebmastercentral.blogspot.com/2010/03/dns-verification-ftw.html验证您的网站并all一举成为子域名
  • 使所有子域上的 robots.txt 指向 www 域上的主站点地图
  • 您可能需要等待几天,Google 才能更新您所有子域上的 robots.txt 缓存副本。在那之前它仍然会显示错误。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

具有大量动态子域的站点的站点地图 的相关文章

  • Robots.txt,如何只允许访问域根目录,而不允许更深层次的访问? [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 我想允许爬虫访问我的域的根目录 即index html 文件 但没有更深入的目录 即没有子目录 我不想在 robots txt 文件中单独列出和拒绝每
  • Solr 3.6 出现一些延迟后,文档得到了反映

    使用 Solr 3 6 进行 ASP net 应用程序 我们正在使用 SolrNet 库 我们有一个用 asp net 编写的自定义程序 用于使用 SolrNet 将文档增量添加到 Solr 这监视将文档插入 Solr 的进度 问题是 应用
  • google.setOnLoadCallback(initialize) 函数到底是什么意思?

    在编写 JavaScript 和 Ajax 代码时 没有关于此函数的适当文档 我使用搜索这个词api src http www google com jsapi and searchControl execute abhilashm86 这
  • solr过滤器实际上是如何实现的?

    我对查询处理的理解是否正确 从缓存中获取 DocSet 或第一个过滤器查询将创建 OpenBitSet 或 SortedVIntSet 的实现并缓存它 从缓存中获取 DocSet 或所有其他过滤器创建它们的 DocBitSet 实现 并将与
  • robots.txt URL 格式

    根据这一页 http www robotstxt org robotstxt html User agent 或 Disallow 行中不支持 globbing 和正则表达式 然而 我注意到堆栈溢出机器人 txt https stackov
  • 这个 robots.txt 是否只允许 googlebot 为我的网站建立索引?

    此 robots txt 文件是否只允许 googlebot 索引我网站的 index php 文件 注意 我有一个 htaccess 重定向 输入的人 http www example com index php 被重定向到简单的 htt
  • 禁止网站上的机器人[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我的网站经常宕机 因为蜘蛛正在访问许多资源 这是主持人告诉我的 他们告诉我禁止这些 IP 地址 46 229 164 98 46 229
  • Scrapy 和 robots.txt 的尊重

    我昨天发现Scrapy默认尊重robots txt文件 ROBOTSTXT OBEY True 如果我请求一个 URLscrapy shell url 如果我有回应 是否意味着url不受robots txt保护 根据文档 只有当您使用创建项
  • 使 JavaScript 生成的内容可以供搜索引擎索引

    有没有办法让 JavaScript 生成的内容可以被搜索引擎索引 我记得读过一些关于 Google 解析生成的站点地图的内容 但我在这里可能是错的 L 我还记得在搜索 jQuery 历史记录插件时读过类似的内容 您可以查看 http goo
  • Googlebots 忽略 robots.txt? [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 我有一个网站 根目录中有以下 robots txt User agent Disabled User agent Googlebot Disabled
  • 使用网站站长工具测试转义片段搜索

    我的网站是用 AngularJS 编写的 所以我最近创建了所有内容的 HTML 快照 将转义片段标签添加到所有页面的头部 元名称 fragment 内容 然后尝试测试以查看新设置是否在网站站长工具中正常运行 当我查看源代码时 我看到转义的片
  • ASP.NET 站点地图,有多重要?

    我的网站已经完成了 至少我是这么想的 我没有站点地图 奇迹般地我错过了站点地图的整个概念 甚至不知道它是一件事 我想我要向我的计算机老师大喊一声 我一直在阅读它 动态生成站点地图似乎相当复杂 我必须这样做 因为我的页面基本上只是一个使用参数
  • Google 搜索查询中参数的含义? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 有没有关于 Google 查询中的参数含义的资源 有没有分析过 Google 搜索页面的内部运作方式 例子是 http www googl
  • 如何在 XML 站点地图中添加注释

    我想在手动生成的 XML 站点地图中添加评论标签来对 URL 进行分组 如下所示
  • robots.txt htaccess 阻止谷歌

    在我的 htaccess 文件中 我有
  • BOT/蜘蛛陷阱创意

    我有一个客户 他的域名似乎受到 DDoS 攻击的严重打击 在日志中 看起来很正常的具有随机 IP 的用户代理 但它们翻阅页面的速度太快 不像人类 他们似乎也没有要求任何图像 我似乎找不到任何模式 我怀疑这是一群 Windows 僵尸 客户过
  • 如何在 ASP.NET 中使用多个 .sitemap 文件

    我想我遗漏了一些关于站点地图的明显内容 我正在尝试使用中继器为我们网站上的新站点地图生成一些导航 但我不想使用我们普通的 Web sitemap 文件 我想使用我们的新文件 我们将其称为 Web NEW sitemap 从某种程度上来说 代
  • 我需要帮助向 php 实时搜索添加条件

    我刚刚学习 php 最终学习了本教程http www w3schools com php php ajax livesearch asp 到目前为止 我的 PHP 搜索文件看起来与示例中的相同 但我更改了if strlen q gt 0 t
  • 尽管文件可访问,但“Lighthouse 无法下载 robots.txt 文件”

    我有一个NodeJS NextJS应用程序运行于http www schandilla com http www schandillia com 该项目有一个机器人 txt文件可访问于http www schandillia com rob
  • Google Webmasters API for Java 返回空网站列表

    我编写了一个简单的站点列表查询代码 它使用 Oauth 与服务帐户基于谷歌的文档 https developers google com identity protocols OAuth2ServiceAccount 所使用的身份验证密钥文

随机推荐

  • 如何在没有 Nuget 的情况下获取 Entity Framework 4.2?

    我们需要使用 Entity Framework 4 2 来测试 4 2 中的 SQL 生成 不幸的是 我们的开发环境不允许我们使用Nuget 有什么方法可以获取 EF4 2 二进制文件以便我们对其进行测试吗 您可以使用 NuGet Pack
  • 在 Windows 8 C# 上解压缩 ZIP 文件

    我正在为 Windows 8 构建一个 Metro 风格的应用程序 我有一个从 Web 服务下载的 zip 文件 我想解压它 我已经看到了压缩和解压缩的示例 但这需要单个文件来压缩 解压缩它 我有一个需要提取的完整目录结构 这是我到目前为止
  • 如何将具有自定义扩展的对象添加到 cmake 库?

    我想将一些对象文件添加到 CMake 静态库 但它们有自定义扩展名 这是我尝试过的 set SRCS testfile cxx jsobj js add library testlib STATIC SRCS 制作完成后 CMake 会调用
  • 如何在 MassTransit 3.0 中使用分散/聚集模式实现传奇

    吉米 博加德 Jimmy Bogard 描述麦当劳快餐连锁店here https lostechies com jimmybogard 2013 03 11 saga implementation patterns observer 将其与
  • Angularjs ngResource '@id'

    我有一个快速的问题 在 Angular JS 中 以下 Rails 应用程序代码中的 id 来自哪里 比如哪个对象 var User resource users id id id 我知道它设置了默认 id Thanks 来自 Angula
  • Javascript:将文本附加到div中?

    我想使用 javascript 将时钟附加到 div 内部 这是我的代码
  • 如何确定我的应用程序是否处于活动状态(具有焦点)

    有没有办法判断我的应用程序是否处于活动状态 即它的任何窗口都有 IsActive true 我正在编写信使应用程序 并希望它在不活动且有新消息到达时在任务栏中闪烁 使用 P Invoke 和循环 System Runtime Interop
  • SQL中的case语句,如何返回多个变量?

    我想在我的 case 语句中返回多个值 例如 SELECT CASE WHEN
  • Swift 3 中的协议扩展 [重复]

    这个问题在这里已经有答案了 我想要一个默认属性UIImageView 这将是isFlipped 我可以通过子类化来做到这一点UIImageView并添加一项属性isFlipped 但我想使用此协议和扩展 但一段时间后它崩溃了 下面是我的代码
  • 无法从 root(或 sudo)使用 NVM

    我注意到我的应用程序在运行时使用不同版本的 NodeJSsudo node v v0 10 23 sudo node v v0 11 8 pre This v0 11 8 pre给我带来了一些问题 所以我绝对不想使用它 但我无法将其更改为r
  • ANTLR 生成无效的 java 异常并抛出代码

    这些天我一直在使用 ANTLRwork 1 5 和 Antlr Runtime 3 5 这是我发现的一个奇怪的事情 Antlr 正在为我生成这种 java 代码 public final BLABLABLAParser addExpress
  • 如何正确关闭MappedByteBuffer?

    这是我正在运行的代码 import java io RandomAccessFile import java nio MappedByteBuffer import java nio channels FileChannel public
  • S/mime 时间戳支持

    好的 现在我已经有了来自 TS 提供商的时间戳 我该如何将其放入哑剧消息中才能符合标准 据我所知 没有邮件程序支持时间戳 这不会成为问题 因为我将自己处理 mime 消息 不过我想让它成为标准方式 有什么例子吗 Thanks 我认为 Mic
  • 名称中的前导箭头在 clojure 中意味着什么

    在学习 Clojure 时 我遇到了如下代码 gt defrecord Person name age user Person gt gt Person john 40 user Person name john age 40 gt Per
  • 部分模板专业化歧义

    我不明白为什么 main 中的语句不明确 template
  • 如何在hibernate注释类中使两列作为主键

    这是我的注释类 我想要userId and groupId列都作为主键 我发现了更多问题 Question https stackoverflow com q 10422680 3156758 关于这个 但没有找到相关答案 我的声誉较差 所
  • 在构建路径中出现 JRE 系统库未绑定错误

    在构建路径中出现 JRE 系统库未绑定错误 尝试了以下链接中的所有建议 但不起作用 我有jdk 1 6 0 29 我也尝试安装其他版本但没有帮助 JRE 系统库 WebSphere v6 1 JRE 未绑定 https stackoverf
  • Rails 中的 example.com/controller 和 example.com/controller/ 有什么区别?

    我有一个 PostsController 对于示例来说不是必需的 但在粘贴片段时会有所帮助 并且我正在使用current page 顾名思义 找出正在显示的页面 我得到了看起来很奇怪的结果 current page 如果我去的话会返回不同的
  • 如何在 Python 2.7 中实现 GMRES 的 ILU 预处理器?

    我正在尝试比较带 ILU 预处理器和不带 ILU 预处理器的 GMRES 求解器 当未应用预处理器时 它会运行并提供正确的答案 x 1 1 1 但是 我似乎无法找到正确应用预处理器的方法 如何让这段代码与 ILU 预处理器一起运行 impo
  • 具有大量动态子域的站点的站点地图

    我正在运行一个允许用户创建子域的网站 我想通过站点地图将这些用户子域提交给搜索引擎 但是 根据站点地图协议 和 Google 网站管理员工具 单个站点地图只能包含来自单个主机的 URL 最好的方法是什么 目前我有以下结构 站点地图索引位于