گذاشتن نشانی سایت مپ در فایل robots.txt ؟

[nasimparsi]

درود بر استادان گرامی

 

آیا گذاشتن نشانی اینترنتی سایت مپ یا نقشه سایت درون فایل robots.txt الزامی هست و دارای اهمیت هست؟

 

اگر قرار باشه درون فایل جای داده بشه بهتره کجای متن فایل قرار داده بشه؟ آخر اول یا هیچ فرقی نداره؟

 

این متن فایل robots.txt تارنما ( سایت ) بنده هست. می دونم که همه چیز ی تونه برای سایت های گوناگون متفاوت باشه ولی به صورت کلی اشکالی در این فایل نمی بینید که نیاز به اصلاح داشته باشه؟

 

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution

# http://www.prestashop.com- http://www.prestashop.com/forums

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

# For more information about the robots.txt standard, see:

# http://www.robotstxt.org/wc/robots.html

User-agent: *

# Private pages

Disallow: /*orderby=

Disallow: /*orderway=

Disallow: /*tag=

Disallow: /*id_currency=

Disallow: /*search_query=

Disallow: /*back=

Disallow: /*n=

Disallow: /*controller=addresses

Disallow: /*controller=address

Disallow: /*controller=authentication

Disallow: /*controller=cart

Disallow: /*controller=discount

Disallow: /*controller=footer

Disallow: /*controller=get-file

Disallow: /*controller=header

Disallow: /*controller=history

Disallow: /*controller=identity

Disallow: /*controller=images.inc

Disallow: /*controller=init

Disallow: /*controller=my-account

Disallow: /*controller=order

Disallow: /*controller=order-opc

Disallow: /*controller=order-slip

Disallow: /*controller=order-detail

Disallow: /*controller=order-follow

Disallow: /*controller=order-return

Disallow: /*controller=order-confirmation

Disallow: /*controller=pagination

Disallow: /*controller=password

Disallow: /*controller=pdf-invoice

Disallow: /*controller=pdf-order-return

Disallow: /*controller=pdf-order-slip

Disallow: /*controller=product-sort

Disallow: /*controller=search

Disallow: /*controller=statistics

Disallow: /*controller=attachment

Disallow: /*controller=guest-tracking

# Directories

Disallow: */classes/

Disallow: */config/

Disallow: */download/

Disallow: */mails/

Disallow: */modules/

Disallow: */translations/

Disallow: */tools/

# Files

Disallow: /*fa/password-recovery

Disallow: /*fa/address

Disallow: /*fa/addresses

Disallow: /*fa/login

Disallow: /*fa/cart

Disallow: /*fa/discount

Disallow: /*fa/order-history

Disallow: /*fa/identity

Disallow: /*fa/my-account

Disallow: /*fa/order-follow

Disallow: /*fa/order-slip

Disallow: /*fa/order

Disallow: /*fa/search

Disallow: /*fa/quick-order

Disallow: /*fa/guest-tracking

Disallow: /*fa/order-confirmation

[nasimparsi]

 

یک فایل متنی با فرمت XML است که می‌توانید از طریق آن، صفحات موردنظرتان را به همراه اولویت بندی آن‌ها به موتورهای جستجو معرفی نمایید.

 

موتورهای جستجو از طریق نقشه سایت می‌توانند سریع‌تر وب‌سایت موردنظر را بررسی نمایند و از تغییرات جدید انجام‌شده در وب‌سایت مطلع شوند.

 

ضمنا جهت شناسایی فایل sitemap.xml توسط موتورهای جستجوگر، شما باید از کد زیر در robots.txt استفاده نمایید.

 

Sitemap: http://www.example.com/sitemap.xml

 

 

 

جهت بررسی صحت فایل نقشه سایت خود می‌توانید از لینک زیر استفاده نمایید.

 

https://www.xml-sitemaps.com/validate-xml-sitemap.html

 

که نتیجه بررسی این شد

 

 

XML Validation Results (www.w3.org)

http://echista.ir/1_fa_0_sitemap.xml

Sitemap URL http://echista.ir/1_fa_0_sitemap.xml

Characer Set UTF-8

Sitemap is valid Yes

Warnings -

Errors -

 

Send Notification to Google, Bing, Yahoo!

[Ali_1377]

سلام. شما نقشه گوگل که ما›ول پیش فرض پرستا هست رو فعال کنید و بعدش از بخش سئو و ادرسها گزینه اخر ساخت پوشه robots.txt رو بزنید تا خود اسکریپن بصورت خودکار ادرس سایت مپ رو به انتهای این فایل ربوتها اصافه کنه.

[nasimparsi]

سلام. شما نقشه گوگل که ما›ول پیش فرض پرستا هست رو فعال کنید و بعدش از بخش سئو و ادرسها گزینه اخر ساخت پوشه robots.txt رو بزنید تا خود اسکریپن بصورت خودکار ادرس سایت مپ رو به انتهای این فایل ربوتها اصافه کنه.

این کار رو انجام دادم و دستور

# Sitemap

Sitemap: http://echista.ir/1_index_sitemap.xml

به پایان فایل ربوتکست افزوده شده

 

ولی مشکل اینه که نام فایلی که درر روبوتکست افزوده شده این هست:

http://echista.ir/1_index_sitemap.xml

 

که متن این فایل چنین هست:

<sitemapindex><sitemap><loc>http://echista.ir/1_fa_0_sitemap.xml</loc><lastmod>2016-10-03T20:02:24+03:30</lastmod></sitemap></sitemapindex>

 

در صورتی که فایل سایت مپ بنده این هست:

http://echista.ir/1_fa_0_sitemap.xml

 

اون فایل اولی که به صورت خودکار به روبوتکست افزوده شده چیز خاصی توش نیست و به نظر می رسه فایل درست این فایل هست

 

http://echista.ir/1_fa_0_sitemap.xml

 

آیا نیاز هست که در فایل روبوتکست دستکاری کنم و دستور مربوط به سایت مپ رو تغییر بدم و نشانی اینترنتی فایل اصلی رو بزارم؟

 

با سپاس

[دانوش]

خیر فایل سایت مپ شما همین هست:

http://echista.ir/1_index_sitemap.xml

که ارجاع میده به سایت مپ های سایتتون. یعنی آدرس یک سایت مپ داخلش هست. این کار بیشتر برای سایت هایی با چند زبان و یا محصولات زیاد هست ولی یک لینک هم باشه مشکلی نداره.