مشکل در حجیم شدن دیتابیس

[esmojtaba]

با سلام خدمت همه ی دوستان

اگر کسی حتی در ازای دریافت هزینه میتونه کمک کنه لطفا پیام خصوصی بدین

 

 

 

 

 

 

 

 

راستش من اومدم یه سایت

بازاریابی زدم با پرستاشاپ

 

دوتا روبات هم نوشتیم که

از دوتا سیستم همکاری در فروش محصولات بازاریابی رو میگیرن

 

و مستقیم وارد دیتابیس

پرستاشاپ میکنن

 

در حال حاضر نزدیک به 30

هزار عنوان مامحصول داریم

 

مشکل ما

رمه

 

مشکل اینجاس که یه چیزی

داره رم رو زیاد مصرف میکنه

من اول فکر کردم از

سروره

 

از یه شرکت سرور فرانسه

گرفتم مشکل داشت

بهش گفتم آمریکا

بده

 

آمریکا داد مشکل

داشت

 

گفتم شرکتم رو عوض کنم و

یه پنل دایرکت ادمین نصب کنم

 

نصب

کردم

 

و امروز ران

شد

 

اما موقعی که پرستاشاپ رو

باز میکنم از طریق یه سایت لینک چکر که لینک های شکسته رو پیدا

میکنن

 

رم سرور میره بالا و سایت

هنگ میکنه

 

تویه سرور های قبلی و

سرور الان همین مشکل وجود داره

 

و رم پر

میشه

حتی تویه سرور آمریکای

قبلی من رم رو 7 گیگ افزایش دادممممممم

 

 

 

 

ولی همش پر

شد

 

 

باورتون

میشه؟

 

حالا من یه سوال دارم از

خدمتتون از کسی پرسیدم این آقا

گفت وقتی حجم دیتابیس پرستاشاپ میره بالادر هر بار اجرا

شدن

کوئری های سنگینی رو

متحمل میشه واسه سرور و کل حجم محصولات رو میندازه روی رم

 

آیا همچین

چیزیه؟

من از رامتین جان پرسیدم گفتن پرستاشاپ برای این حجم محصولات مناسب نیست

حالا میخوام ببینم بهترین فروشگاه سازی که من میتونم با این حجم اطلاعات استفاده کنم چیه؟

محصولاتم بیشتر از این هم میشه (حتی بیشتر از 100 هزار عنوان)

آیا میشه از وردپرس استفاده کرد؟

شنیدم اگه دیتابیس اوراکل باشه خیلی بهتره(فروشگاه ساز اوراکل داریم)؟

آیا میشه همین پرستاشاپ رو دستی درست کرد؟اگه آره چقدر هزینه داره؟

فروشگاه سازی هست که کوئریهاش سنگین نباشه؟ برای حجم زیاد اطلاعات؟

حالا فروشگاه سازهم نباشه(مثلا مدیریت محتوا باشه)که بشه این کارو انجام داد هم خوبه

لطفا منو راهنمایی کنید

اگر کسی هم در ازای دریافت هزینه میتونه کمک کنه لطفا پیام خصوصی بدین

ممنون

[B.A.H.M.A.N]

چرا چهار پنج کلمه مینویسین اینتر می زنید ؟ کل مطالبی که نوشتین 5 سطر هم نمیشه اما الان ارتفاع پستتون رو ببینید چقدر شده !

 

بگذریم

 

برای کار شما هیچ فروشگاه سازی به درد نمیخوره یا اگر هم به درد میخوره باید کلی تغییرات ریز و درشت انجام بشه روش. یعنی ایراد از فروشگاه سازها نیست ایراد از کاری هست که میخواین انجام بدین و برای کارهای اختصاصی معمولا باید لوازم اختصاصی هم داشته باشین . در مجموع میتونم بگم زیاد بودن محصولاتتون اهمیتی نداره زیاد ، تنها چیزی که اهمیت داره گرفتن و وارد کردن محصولات تو دیتابیسه که این ربطی به نوع فروشگاه ساز نداره بلکه باید اون اسکریپتی که با دیتابیس ارتباط برقرار میکنه رو بهینه کنید .

من دقیق نمیدونم چطوری محصولات رو میگیره و اتوماتیک وارد دیتابیس میکنه ، تک تک ؟ یا همزمان با تعداد زیادی سایت ارتباط برقرار میکنه ؟ با بهینه کردن این پروسه فکر کنم کارتون راه بیفته .

[esmojtaba]

بابت این مسئله ببخشید

چون اینا رو تویه چت یاهو زدم همونارو کپی کردم و قسمت های اضافه رو حذف کردم واسه همی اینجوری شده

ببینید اصلا فکر کنید الان رباتی وجود نداره

اصن ربات الان کار نمیکنه من در حال حاضر یه دیتابیسه 450 مگابایتی دارم

و اینو جابه جا کردم

بعد از اینکه پرستا اجرا میشه یا بازدید میفرستم به سایت

پدر سرور در میاد

رم منفجر میشه(اسکریپت خودش دیتابیس داره محصولات رو میگیره داخل دیتابیسش ذخیره میکنه بعد لینک دیگشو اجرا میکنی واسه وارد سازی اطلاعات به دیتابیس که حجمی هم از رم نمیگیره )

اصن وقتی ربات کار میکنه رم زیاد بالا نمیره ،شاید در حد 200 مگابایت از رم گرفته شه(اینو تست کردم که میگم)

در حال حاضر اصلا ربات کار نمیکنه ولی رم بالا میره

یعنی با بازدید این مشکل وجود داره

[mousanajafi]

با عرض سلام و خسته نباشید

 

دوست عزیز باید بهتون بگم که این تصور که یه سری بازدید کننده بیان و به سایت مراجعه کنن حجم رم پر بشه غیر منطقی هست!!!

 

از 2 3 نسخه پیش تعیین LIMIT برای هر کوئری که به MySQL ارسال میشه یه ضرورت شده و بدون این گزینه کوئری برگشت داده شده دیتابیس خالی است و به صورت تهی بازگشت داده میشه

 

پس این که یه سری بازدید کننده میان داخل سایت و این که باعث میشه تمام محصولات داخل دیتابیس در رم بارگزاری بشه غیر منطقی هست چون به عنوان مثال صفحه اصلی شما که هر مراجعه بازدید کننده نهایتاً میخواد تعداد محصول تعیین شده در صفحه اصلی رو سلکت کنه از دیتابیس بگیری و زمانی که کوئری اجرا میشه به مقدار تعیین شده در کوئری میرسه دیگه این پروسه قطع میشه و اطلاعات اضافی لود نمیشه که بخواد فضای رم رو اشغال کنه

 

طبق برداشت های من هم از مطالب گفته شده توسط شما حتماً شما در حال حاظر سروری دارین که بتونه از پس آمار بازدید بالا بر بیاد

 

بهتر هست که طریقه کار کردن اسکریپت ها و روبات ها تون رو بهینه کنید اگر هم فکر میکنید که مشکل از اسکریپت شما نیست پس حتماً مشکل در جای دیگه از فروشگاه تون هست

 

موفق باشید

[B.A.H.M.A.N]

دیتابیستون خیلی حجیمه !

 

تقریبا نمیشه کاری کرد ، کاری هم بشه کرد میشه گفت درمان قطعی نیست . کلیه امکانات آماری پرستاشاپ رو غیرفعال کنید . به نظر میشه دیتابیس رو پاکسازی کرد یکمی ، با خالی کردن جدول های سبد خرید و آمار شاید بشه چند مگابایتی کاهش داد . ضمنا آدرس سایتتون رو هم بذارین تا ببینیم ، ضمنا با چند بازدید این اتفاق میفته ؟ یعنی میگین ترافیک میفرستین اینجوری میشه و هنگ میکنه به دلیل پر شدن رم . مثلا چند نفر آنلاین باشن همزمان مصرف رم میره بالا ؟ اگه اطلاعات وورد به مدیریت هم میتونید پیام خصوصی بدین تا یه نگاهی هم بندازم .

[esmojtaba]

سایت فعلا از دسترس خارجه

امشب رامتین جان زحمت کشیدن و اطلاعات رو به ایشون دادم

راستش رو بخواین حتی یک نفر که داره سایت رو بازدید میکنه به صورت واضح از طریق نرم افزار پوتی دیده میشه که رم مثلا از 1.5 گیگ میرسه به 1.8 گیگ

قطعا کافیه فقط 5 یا 6 نفر همزمان سایت رو بازدید کنن رم کاملا پر میشه

و اصلا سایت بالا نمیاد

چشم این دوستمون تایید میکنن از کوئری های پرستاشاپ هست

دارن کار میکنن نمیدونم شاید بشه کاری کرد

بعد از کار ایشون اطلاعات رو میفرستم بهمن جان شما هم یه نگاهی بندازید

به هر حال چیزی که هست از چند نفری پرسیدم گفتن اطلاعات دیتابیس میفته رو رم تویه لظه ی بازدید و این خصوصیت پرستاشاپه

نمیدونم ولی هر کاری بخوام بکنم و هر تغییری بخوام بدم باید اینو داشته باشم که الان 30 هزار عنوان محصوله و تا 100 هزار تا م میرسه پس نباید موقتی حل بشه%

[ramtin2025]

سلام

حرف موسی جان درسته ولی به صورت کامل انجام نشده و هنوز خیلی از کوئری ها هستند که تمام جدول رو برمیگردونن یا بررسی میکنن .

این مساله برای 1000 تا محصول چیزی نیست ولی وقتی تعداد محصولات به 30000 میرسه خیلی به چشم میاد. وقتی تعداد بازدیدکننده همزمان زیاد میشه، این کوئری ها کلا سیستم رو از کار میندازه

به نظر من این مساله راه حلی نداره، یا به عبارت دیگه باید تغییرات اساسی زیادی در پرستا اعمال بشه تا جوابگو باشه و این کار از نظر رمان و هزینه توجیح نداره

تنها راه موقتی، افزایش رم، استفاده از سرور رسانه است.

البته تجربه من در این زمینه زیاد نیست و اینها برداشت شخصی من بود.

موفق باشید

[SoheilSmart]

به ریپورت ها نگاه کنید که مشخص می کنه مشکل واقعی چیه

 

دیگه نهایت کاری که میتونید انجام بدید این که لایه ی Model (دیتابیس) روی یک سرور اجرا کنید و لایه(Controller , View) هم روی یه سرور دیگه و این هم تنها در صورتی قابل انجامه که پرستاشاپ این رو ساپورت کنه-- در بعضی کوئری من دیدم تا 5 جدول با هم Join میشن وقتی حجم محصولات بالا بره این واقعا کشنده است

---

نسخه های تجاری مجنتو احتمالا از پس چیزی که شما می خواید بر بیاد - البته قیمت هاش فوق العاده بالاست

 

http://www.magentocommerce.com/product/enterprise-pricing

 

 

من افرادی رو دیدم که با 50 هزار محصول و تغییراتی فروشگاه شون بدون مشکل داره کار می کنه - البته این مربوط میشه به ورژن 1.2 ,1.3

 

لاگ های mysql رو چک کنید و حداقل اش اینه که مشخص می شه کدام کوئری ها باید بهینه بشن معولا در این آدرس ِ /tmp/mysql_slow_queries

[معظمی]

سلام

درصورت تمایل برای بررسی مشکل، اطلاعات لاگین به پنل مدیریت فروشگاه و هاست رو برای من ارسال کنید.

شاید بتونم مشکل رو رفع کنم.

[B.A.H.M.A.N]

بله نسخه های پولی مجنتو این امکان رو فراهم میکنند براتون ، اما به قول معروف به تیم پرستاشاپ هم این پولو بدین بهتر از مجنتو هم تحویلتون میدن ، با پرستاشاپ هم میشه برای اون هم باید هزینه کنید و یک نفر براتون بهینه تر کنه . با اسکریپت های دیگه هم میشه ، در کل هر راهکاری باشه باید پول خرج کنید چه پرستا په غیر پرستا .

 

اما سهیل جان با قیمت دلار و ارز میدونید مجنتو چقدر درمیاد واسشون ؟ که فکر نمیکنم بخوان یا بتونن این همه خرج کنند . همون بهتر پرستاشاپ بهینه بشه براشون چون هزینش در برابر اون ناچیز خواهد بود .

[esmojtaba]

به ریپورت ها نگاه کنید که مشخص می کنه مشکل واقعی چیه

 

دیگه نهایت کاری که میتونید انجام بدید این که لایه ی Model (دیتابیس) روی یک سرور اجرا کنید و لایه(Controller ' date=' View) هم روی یه سرور دیگه و این هم تنها در صورتی قابل انجامه که پرستاشاپ این رو ساپورت کنه-- در بعضی کوئری من دیدم تا 5 جدول با هم Join میشن وقتی حجم محصولات بالا بره این واقعا کشنده است

[hr']

نسخه های تجاری مجنتو احتمالا از پس چیزی که شما می خواید بر بیاد - البته قیمت هاش فوق العاده بالاست

 

http://www.magentocommerce.com/product/enterprise-pricing

 

 

من افرادی رو دیدم که با 50 هزار محصول و تغییراتی فروشگاه شون بدون مشکل داره کار می کنه - البته این مربوط میشه به ورژن 1.2 ,1.3

 

لاگ های mysql رو چک کنید و حداقل اش اینه که مشخص می شه کدام کوئری ها باید بهینه بشن معولا در این آدرس ِ /tmp/mysql_slow_queries

شما میتونید مشکل رو تضمینی حل کنید؟

اگه آره چقدر هزینه داره؟

راه حل باید دایمی باشه چون محصولات تا سقف 100 هزار تا هم میرسه

---

سلام

درصورت تمایل برای بررسی مشکل، اطلاعات لاگین به پنل مدیریت فروشگاه و هاست رو برای من ارسال کنید.

شاید بتونم مشکل رو رفع کنم.

شما میتونید تضمینی درستش کنید؟ هزینه رو هم اعلام بفرمایید

---

بله نسخه های پولی مجنتو این امکان رو فراهم میکنند براتون ، اما به قول معروف به تیم پرستاشاپ هم این پولو بدین بهتر از مجنتو هم تحویلتون میدن ، با پرستاشاپ هم میشه برای اون هم باید هزینه کنید و یک نفر براتون بهینه تر کنه . با اسکریپت های دیگه هم میشه ، در کل هر راهکاری باشه باید پول خرج کنید چه پرستا په غیر پرستا .

 

اما سهیل جان با قیمت دلار و ارز میدونید مجنتو چقدر درمیاد واسشون ؟ که فکر نمیکنم بخوان یا بتونن این همه خرج کنند . همون بهتر پرستاشاپ بهینه بشه براشون چون هزینش در برابر اون ناچیز خواهد بود .

بهمن جان چقدر هزینه داره؟ وردپرس بهتر نیست؟ کوئریهاش سبکتره انگار

این یه سایت نمونس:

http://www.greenbuy.ir/

20 هزار تا محصول داره سر جمع از هاست اشتراکی هم استفاده میکنه و مشکلی نداشته

حالا چه پیشنهادی میدین؟ تغییر پرستا هزینش اگه سنگین نباشه میتونم پرداخت کنم

ولی مبلغ نهاییتون رو ذکر کنید

[new_sra]

دوست عزیز کافیه به هاست سازگار مهاجرت کنید و اصلا ربطی به موارد نداره و حتی نسخه 1.3 با بیش از 800 محصول روی هاست اشتراکی فعاله

[esmojtaba]

من از 30 هزار محصول حرف میزنم نه 800 تا عزیز

سرور مجازی بیشترین رم رو میتونی استفاده کنی

هاست که دیگه کافیه یه ذره زیاد استفاده کنی فوری ساپسند میشی

[معظمی]

شما میتونید تضمینی درستش کنید؟ هزینه رو هم اعلام بفرمایید

من هیچ تضمینی ندارم که مشکلت حل بشه. اگر دیتابیست سنگین شده و باهاش مشکل پیدا کردی، دسترسی ها رو برای من بفرست یه نگاه بهش میندازم. شاید بتونم برات اپتیمایزش کنم.

پول نمیخوام. شغل من این نیست.

اگر مشکلت از چیزی بجز سنگین شدن دیتابیس باشه، همچنان مشکلت باقی می مونه چون من فقط و فقط دیتابیست رو اپتیمایز میکنم.

[esmojtaba]

شما میتونید تضمینی درستش کنید؟ هزینه رو هم اعلام بفرمایید

من هیچ تضمینی ندارم که مشکلت حل بشه. اگر دیتابیست سنگین شده و باهاش مشکل پیدا کردی، دسترسی ها رو برای من بفرست یه نگاه بهش میندازم. شاید بتونم برات اپتیمایزش کنم.

پول نمیخوام. شغل من این نیست.

اگر مشکلت از چیزی بجز سنگین شدن دیتابیس باشه، همچنان مشکلت باقی می مونه چون من فقط و فقط دیتابیست رو اپتیمایز میکنم.

مرسی دوست عزیز،دیتابیس رو آپتمایز کردم چندین بار ولی فایده نداشته

قراره فردا سایت رو با وردپرس بالا بیارم و با پرستاشاپ خداحافظی کنم

مرسی از دوستانی که کمکم کردن به خصوص رامتین جان

[معظمی]

شما میتونید تضمینی درستش کنید؟ هزینه رو هم اعلام بفرمایید

من هیچ تضمینی ندارم که مشکلت حل بشه. اگر دیتابیست سنگین شده و باهاش مشکل پیدا کردی، دسترسی ها رو برای من بفرست یه نگاه بهش میندازم. شاید بتونم برات اپتیمایزش کنم.

پول نمیخوام. شغل من این نیست.

اگر مشکلت از چیزی بجز سنگین شدن دیتابیس باشه، همچنان مشکلت باقی می مونه چون من فقط و فقط دیتابیست رو اپتیمایز میکنم.

مرسی دوست عزیز،دیتابیس رو آپتمایز کردم چندین بار ولی فایده نداشته

قراره فردا سایت رو با وردپرس بالا بیارم و با پرستاشاپ خداحافظی کنم

مرسی از دوستانی که کمکم کردن به خصوص رامتین جان

سلام و شب بخیر

مسلماً منظورم از اپتیمایز، استفاده از دکمه اپتیمایز پنل مدیریت هاستتون نبود. وگرنه خیلی بی معنی میشد اگر میخواستم همچین پیشنهادی در تاپیک بنویسم.

البته بخاطر علاقه ای که پرستاشاپ دارم، دیگه حاضر نیستم این کارو براتون انجام بدم.

وردپرس هم اسکریپت بسیار خوبیه مخصوصاً برای بازاریاب ها. بارها و بارها به عنوان ایده آل ترین اسکریپت برای بازاریاب ها به خیلی ها پیشنهادش دادم.

با اتکا به تجربه ای که از هر دو اسکریپت دارم، بهتون اطمینان میدم دیتابیس وردپرس خیلی زودتر از پرستاشاپ نیاز به اپتیماز مداوم پیدا میکنه. اما برای انجام این کار قبلاً در انجمن شاپکیپر تاپیک آموزشی زدم. میتونید بعد از کوچ به وردپرس از اون تاپیک استفاده کنید.

آرزوی موفقیت.