Merge branch 'feature/SRL-668-robotstxt-update' into deployment/20221005

composer.json

@@ -267,7 +267,8 @@
             "patch -p1 < patches/robots-7.patch",
             "patch -p1 < patches/robots-8.patch",
             "patch -p1 < patches/robots-9.patch",
-            "patch -p1 < patches/robots-10.patch"
+            "patch -p1 < patches/robots-10.patch",
+            "patch -p1 < patches/robots-11.patch"
         ],
         "build-assets": [
             "@prepare-for-pantheon",

patches/robots-11.patch

@@ -0,0 +1,271 @@
+diff --git a/web/robots.txt b/web/robots.txt
+index 0a450bf1..c15f2281 100644
+--- a/web/robots.txt
++++ b/web/robots.txt
+@@ -1,15 +1,12 @@
+ #
+ # robots.txt
+-#
+ # This file is to prevent the crawling and indexing of certain parts
+ # of your site by web crawlers and spiders run by sites like Yahoo!
+ # and Google. By telling these "robots" where not to go on your site,
+ # you save bandwidth and server resources.
+-#
+ # This file will be ignored unless it is at the root of your host:
+ # Used:    http://example.com/robots.txt
+ # Ignored: http://example.com/site/robots.txt
+-#
+ # For more information about the robots.txt standard, see:
+ # http://www.robotstxt.org/robotstxt.html
+
+@@ -152,7 +149,6 @@ Allow: /jcc-form/DV-115
+ Allow: /jcc-form/DV-108
+ Allow: /jcc-form/DV-109
+ Allow: /jcc-form/DV-105
+-Allow: /jcc-form/DV-108
+ Allow: /jcc-form/DV-100
+ Allow: /jcc-form/DV-101
+ #Added on 03-21-2022
+@@ -371,6 +367,7 @@ Allow: /request-for-order/make-agreement-court-order
+ Allow: /request-for-order/other-order
+ Allow: /request-for-order/other-types
+ Allow: /request-for-order/property-control
++Allow: /request-for-order/respond
+ Allow: /request-for-order/respond/attorneys-fees
+ Allow: /request-for-order/respond/child-support
+ Allow: /request-for-order/respond/custody-visitation
+@@ -663,59 +660,7 @@ Allow: /jcc-form/DISC-010
+ Allow: /jcc-form/DISC-015
+ Allow: /jcc-form/DISC-020
+ Allow: /jcc-form/DISC-030
+-Allow: /jcc-form/DV-100
+-Allow: /jcc-form/DV-101
+-Allow: /jcc-form/DV-105
+-Allow: /jcc-form/DV-108
+-Allow: /jcc-form/DV-109
+ Allow: /jcc-form/DV-110
+-Allow: /jcc-form/DV-112
+-Allow: /jcc-form/DV-115
+-Allow: /jcc-form/DV-115-INFO
+-Allow: /jcc-form/DV-116
+-Allow: /jcc-form/DV-117
+-Allow: /jcc-form/DV-120
+-Allow: /jcc-form/DV-120-INFO
+-Allow: /jcc-form/DV-130
+-Allow: /jcc-form/DV-140
+-Allow: /jcc-form/DV-145
+-Allow: /jcc-form/DV-150
+-Allow: /jcc-form/DV-160
+-Allow: /jcc-form/DV-160-INFO
+-Allow: /jcc-form/DV-165
+-Allow: /jcc-form/DV-170
+-Allow: /jcc-form/DV-175
+-Allow: /jcc-form/DV-176
+-Allow: /jcc-form/DV-177
+-Allow: /jcc-form/DV-178
+-Allow: /jcc-form/DV-179
+-Allow: /jcc-form/DV-180
+-Allow: /jcc-form/DV-200
+-Allow: /jcc-form/DV-200-INFO
+-Allow: /jcc-form/DV-205-INFO
+-Allow: /jcc-form/DV-210
+-Allow: /jcc-form/DV-250
+-Allow: /jcc-form/DV-400
+-Allow: /jcc-form/DV-400-INFO
+-Allow: /jcc-form/DV-500-INFO
+-Allow: /jcc-form/DV-505-INFO
+-Allow: /jcc-form/DV-520-INFO
+-Allow: /jcc-form/DV-530-INFO
+-Allow: /jcc-form/DV-570
+-Allow: /jcc-form/DV-600
+-Allow: /jcc-form/DV-610
+-Allow: /jcc-form/DV-630
+-Allow: /jcc-form/DV-700
+-Allow: /jcc-form/DV-700-INFO
+-Allow: /jcc-form/DV-710
+-Allow: /jcc-form/DV-720
+-Allow: /jcc-form/DV-730
+-Allow: /jcc-form/DV-800
+-Allow: /jcc-form/DV-800-INFO
+-Allow: /jcc-form/DV-805
+-Allow: /jcc-form/DV-815
+-Allow: /jcc-form/DV-900
+-Allow: /jcc-form/DV-901
+ Allow: /jcc-form/EA-100
+ Allow: /jcc-form/EA-100-INFO
+ Allow: /jcc-form/EA-109
+@@ -1862,8 +1807,6 @@ Allow: /es/iniciar-el-proceso-de-cambio-de-nombre
+ Allow: /es/iniciar-el-proceso-de-cambio-de-nombre-de-un-menor-por-un-padre
+ Allow: /es/iniciar-el-proceso-de-cambio-de-nombre-para-un-menor-por-ambos-padres
+ Allow: /es/inicio-de-cambio-de-nombre-y-reconocimiento-de-genero-para-un-menor
+-Allow: /es/manutencion-del-conyuge/cambio-de-orden
+-Allow: /es/manutencion-del-conyuge/solicitud-hacer-la-entrega-legal-cambio-de-orden
+ Allow: /es/nombre-adulto-coincidir-genero
+ Allow: /es/nombre-y-reconocimiento-de-genero-de-un-adulto
+ Allow: /es/obtener-el-decreto-de-cambio-de-nombre-y-la-orden-de-reconocimiento-de-su-genero-adulto
+@@ -1974,95 +1917,71 @@ Allow: /traffic/traffic-school
+ Allow: /traffic/trial-declaration
+ Allow: /what-expect-court-hearing-change-your-childs-name-and-recognize-their-gender
+ Allow: /what-expect-your-court-day-if-one-parent-filed
+-Allow: /publish-your-request-change-your-childs-name
+-Allow: /gender-recognition/gender-name-child/get-decree
+-Allow: /name-change/marriage
+-Allow: /name-change/name-child/fill-forms
+-Allow: /name-change/name-child-one-parent/fill-forms
+-Allow: /name-change/name-match-gender-adult/fill-forms
+-Allow: /gender-recognition/gender-name-child-one-parent/serve
+-Allow: /name-change/name-adult/file
+-Allow: /name-change/name-match-gender-child-one-parent/file
+-Allow: /what-expect-court-hearing-change-your-childs-name-and-recognize-their-gender
+-Allow: /name-change/divorce
+-Allow: /name-change/name-match-gender-adult/get-decree
+-Allow: /name-change/name-child-one-parent/file
+-Allow: /name-change/name-adult/hearing
+-Allow: /name-change/name-child-one-parent/hearing
+-Allow: /name-change/name-adult/get-decree
+-Allow: /name-change/update-documents
+-Allow: /name-change/name-match-gender-child/fill-forms
+-Allow: /gender-recognition/gender-name-child/fill-forms
+-Allow: /name-change/name-match-gender-adult/file
+-Allow: /name-change-case-map
+-Allow: /es/que-anticipar-en-una-audiencia-para-cambiar-el-nombre-de-su-hijo-y-reconocer-su-genero
+-Allow: /es/obtenga-el-decreto-de-cambio-de-nombre-de-su-hijo-y-una-orden-que-reconozca-su-genero
+-Allow: /es/hacer-la-entrega-legal-de-la-orden-de-presentar-motivos-justificativos-para-reflejar-la-identidad
+-Allow: /serve-order-show-cause
+-Allow: /es/hacer-la-entrega-legal-de-la-orden-de-presentar-motivos-justificativos-0
+-Allow: /es/solicite-una-orden-para-cambiar-el-nombre-de-su-hijo-y-reconocer-su-genero
+-Allow: /hearing-when-parent-objects
+-Allow: /es/audiencia-cuando-los-padres-tienen-alguna-objecion
+-Allow: /court-hearing-change-name-and-recognize-gender-child
+-Allow: /es/audiencia-judicial-para-cambiar-el-nombre-y-reconocer-el-genero-del-menor
+-Allow: /es/que-anticipar-en-una-audiencia-para-cambiar-el-nombre-de-su-hijo-para-que-coincida-con-su-genero
+-Allow: /es/que-anticipar-en-su-dia-de-la-corte-si-uno-de-los-padres-presento-una-solicitud
+-Allow: /es/publique-su-solicitud-para-cambiar-el-nombre-de-su-hijo-por-uno-de-los-padres
+-Allow: /es/que-anticipar-en-su-dia-en-la-corte-para-cambiar-el-nombre-de-su-hijo
+-Allow: /es/genero-reconocimiento/genero-nombre-menor-un-padre/entrega-legal
+-Allow: /es/presentar-una-solicitud-por-parte-de-uno-de-los-padres-para-reconocer-el-genero-de-su-hijo-y
+-Allow: /es/cambiar-el-nombre-de-un-menor-y-obtener-orden-reconociendo-genero-un-solo-padre
+-Allow: /es/presentar-una-solicitud-para-reconocer-el-genero-de-su-hijo-y-cambiar-su-nombre
+-Allow: /start-name-change-gender-recognition-child
+-Allow: /es/inicio-de-cambio-de-nombre-y-reconocimiento-de-genero-para-un-menor
+-Allow: /es/presentar-una-solicitud-por-parte-de-uno-de-los-padres-para-cambiar-el-nombre-de-su-hijo-para-que
+-Allow: /es/publique-su-solicitud-para-cambiar-el-nombre-de-su-hijo
+-Allow: /es/cambio-de-nombre/nombre-coincidencia-genero-menor-un-padre/llenar-formularios
+-Allow: /es/presentar-una-solicitud-por-ambos-padres-para-cambiar-el-nombre-de-su-hijo-para-que-coincida-con-su
+-Allow: /es/cambie-el-nombre-de-su-hijo-para-que-coincida-con-su-identidad-de-genero
+-Allow: /es/presentar-una-solicitud-para-cambiar-el-nombre-de-su-hijo
+-Allow: /es/iniciar-el-proceso-de-cambio-de-nombre-de-un-menor-por-un-padre
+-Allow: /es/obtenga-el-decreto-de-cambio-de-nombre-de-su-hijo
+-Allow: /es/obtener-el-decreto-de-cambio-de-nombre-y-la-orden-de-reconocimiento-de-su-genero-adulto
+-Allow: /es/presentar-una-solicitud-por-ambos-padres-para-cambiar-el-nombre-de-su-hijo
+-Allow: /order-show-cause-name-change-form-nc-520
+-Allow: /es/obtenga-su-decreto-de-cambio-de-nombre-para-que-coincida-con-su-identidad-de-genero
+-Allow: /es/iniciar-el-proceso-de-cambio-de-nombre-para-un-menor-por-ambos-padres
+-Allow: /es/presentar-una-solicitud-de-cambio-de-nombre-para-un-adulto-y-obtener-una-orden-de-la-corte-que
+-Allow: /es/cambio-nombre-solicitar-orden-reconociendo-genero-adulto
+-Allow: /es/presentar-una-solicitud-de-cambio-de-nombre-para-que-coincida-con-su-identidad-de-genero
+-Allow: /es/que-anticipar-en-su-dia-en-la-corte-cambio-de-nombre-de-un-adulto
+-Allow: /es/cambie-su-nombre-para-que-coincida-con-su-identidad-de-genero
+-Allow: /es/hacer-la-entrega-legal-de-la-orden-de-presentar-motivos-justificativos
+-Allow: /es/entregue-las-copias-de-sus-formularios-la-carcel-la-prision-o-al-departamento-de-correcciones-y
+-Allow: /publish-your-request-adult
+-Allow: /es/publique-su-solicitud-adulto
+-Allow: /es/obtenga-su-decreto-de-cambio-de-nombre
+-Allow: /es/presente-su-solicitud-de-cambio-de-nombre-adulto
+-Allow: /respond-request-change-your-childs-name
+-Allow: /es/responda-la-solicitud-para-cambiar-el-nombre-de-su-hijo
+-Allow: /name-change/child-one-parent/respond
+-Allow: /es/orden-de-presentar-motivos-justificativos-de-cambio-de-nombre-formulario-nc-120
+-Allow: /es/iniciar-el-proceso-de-cambio-de-nombre
+-Allow: /es/actualice-sus-documentos-de-identidad
+-Allow: /es/cambie-su-nombre-en-su-caso-de-divorcio
+-Allow: /es/cambio-de-nombre-cuando-se-convierte-en-ciudadano-de-los-estados-unidos
+-Allow: /es/cambio-de-nombre-menor-un-padre
+-Allow: /name-change/name-child
+-Allow: /name-change/name-match-gender-child
+-Allow: /es/cambio-de-nombre-menor-ambos-padres
+-Allow: /es/cambio-de-nombre-de-un-menor-ambos-padres-coincidir-con-genero
+-Allow: /name-change/name-match-gender-child-one-parent
+-Allow: /es/cambio-de-nombre-menor-un-padre-coincidir-genero
+-Allow: /name-change/name-match-gender-adult
+-Allow: /es/nombre-adulto-coincidir-genero
+-Allow: /name-change/name-adult
+-Allow: /es/cambio-de-nombre-de-un-adulto
+-Allow: /name-change/name-child-one-parent
+-Allow: /es/cambie-su-nombre-cuando-se-casa
+-Allow: /es/cambie-su-nombre-en-california
+ # Update Robots.txt after custom sitemap 08 01 2022
+ Allow: /sitemap.xml
++# new 09-27-22
++Allow: /bankruptcy-guide
++Allow: /child-custody/enforce
++Allow: /child-custody/filing-options
++Allow: /conservatorship-index
++Allow: /conservatorships
++Allow: /court-based-self-help-services
++Allow: /discovery-civil
++Allow: /civil-discovery-and-subpoenas-index
++Allow: /discovery-civil/common-objections
++Allow: /discovery-civil/request
++Allow: /discovery-civil/request/request-admissions
++Allow: /discovery-civil/request/serve-request
++Allow: /discovery-civil/respond
++Allow: /discovery-civil/respond/serve-response
++Allow: /es/bancarrota-guia
++Allow: /es/como-ayudar-una-persona-con-un-impedimento-o-discapacidad
++Allow: /es/contratar-abogado
++Allow: /es/custodia-de-los-hijos/hacer-cumplir
++Allow: /es/custodia-de-los-hijos/opciones-de-presentacion
++Allow: /es/derechos-de-alguien-en-una-tutela-limitada-pupilo
++Allow: /es/exencion-de-cuotas/tutela
++Allow: /es/guia-de-justicia-de-menores
++Allow: /es/guia-de-visitas-supervisadas
++Allow: /es/indice-de-tutela-de-un-adulto
++Allow: /es/inmigracion
++Allow: /es/inmigracion/recursos-basicos
++Allow: /es/inmigracion/recursos-legales
++Allow: /es/inmigracion/recursos-para-familia
++Allow: /es/justicia-de-menores/proceso-de-la-corte
++Allow: /es/justicia-de-menores/sellar-expediente
++Allow: /es/obtenga-ayuda-legal
++Allow: /es/obtenga-ayuda-legal-gratuita-o-de-bajo-costo
++Allow: /es/representacion-de-alcance-limitado
++Allow: /es/revelacion-civil
++Allow: /es/servicios-de-ayuda-de-las-cortes
++Allow: /es/solicitar-un-interprete
++Allow: /es/transito
++Allow: /es/transito/apelar
++Allow: /es/transito/escuela-de-transito
++Allow: /es/transito/juicio-por-declaracion
++Allow: /es/transito/juicio-sin-jurado
++Allow: /es/transito/pagar
++Allow: /es/transito/solicitar-juicio
++Allow: /es/tutela-de-un-adulto
++Allow: /es/visita-de-abuelos
++Allow: /fee-waiver/guardianship-conservatorship
++Allow: /get-free-or-low-cost-legal-help
++Allow: /getting-legal-help
++Allow: /grandparent-visitation
++Allow: /guide-supervised-visitation
++Allow: /helping-person-impairment-or-disability
++Allow: /hire-lawyer
++Allow: /immigration
++Allow: /immigration/basic-resources
++Allow: /immigration/family-resources
++Allow: /immigration/legal-resources
++Allow: /juvenile-justice
++Allow: /juvenile-justice/court-process
++Allow: /juvenile-justice/seal-record
++Allow: /limited-scope-representation
++Allow: /request-interpreter
++Allow: /rights-someone-limited-conservatorship-conservatee
+ # Update to block revoked forms
+ Disallow: /jcc-form/CIV-020
+ Disallow: /jcc-form/CR-174
+@@ -2097,6 +2016,5 @@ Disallow: /index.php/user/password
+ Disallow: /index.php/user/register
+ Disallow: /index.php/user/login
+ Disallow: /index.php/user/logout
+-
+ # Remove this line after Alpha2 launch.
+ Disallow: /