نحوه کار موتورهای جستجو(اسپایدر)
نحوه کار موتورهای جستجو(اسپایدر)
موتورها جستجو اینترنت ، سایت ها به خصوص در اینترنت است و طور طراح شده که به افراد کمک می کنند تا اطلاعات مورد نیازشان را که در سایت ها دیگر ذخیره شده است ، بیابند. به طور حتم شما هم بارها ، زمان که به یک مقاله ای نیاز دارید یا حتی برا یافتن معنی اصطلاح ، پشت رایانه نشسته اید با استفاده از اینترنت آن را در مدت زمان کوتاه پیدا کرده اید ، اما آیا تا به حال فکر کرده اید چگونه در عرض چند ثانیه توسط یک موتور جستجو انبوه از اطلاعات در اختیار شما قرار می گیرد؟
صدها میلیون صفحه در اینترنت در دسترس است و اطلاعات را با تنوع شگفت انگیز از موضوعات در اختیار کاربر ارائه می دهند. زمان که شما می خواهید درباره یک موضوع خاص اطلاعات کسب کنید ، چگونه می دانید که چه صفحات را باید بخوانید؟
» شیوه عملکرد موتورها جستجو
تفاوت های در شیوه عملکرد موتورها جستجو مختلف وجود دارد ، اما همه آن ها ۳ وظیفه اصلی را انجام می دهند:
۱) در اینترنت ، یا بخش ها برگزیده ها از اینترنت ، براساس کلمات مهم جستجو را انجام می دهند.
۲) یک فهرست از کلمات و مکان هایی که پیداکرده اند تهیه می کنند.
۳) این امکان را برا کاربران فراهم می کنند تا کلمات یا مجموعه ا از کلمات مورد نظر خود را که در فهرست یافت می شود جستجو کنند.
» موتورها جستجو اولیه
موتورها جستجو اولیه یک فهرست شامل تنها چند صدهزار صفحه و فایل نگهدار می کردند و در روز شاید یک یا ۲هزار بازدیدکننده داشتند. امروزه یک موتور جستجو خوب ، صدها میلیون صفحه را فهرست می کند و در روز پاسخگو ده ها میلیون جستجو کننده است. حالا باید ببینیم چگونه این مسئولیت مهم انجام می شود و چگونه موتورها جستجو اینترنت ، بخش ها مختلف را به کار می گیرند تا ما بتوانیم اطلاعات مورد نیاز خود را در اینترنت بیابیم. در جستجو میان صدها میلیون صفحه قبل از این که یک موتور جستجوگر بتواند به شما بگوید که یک فایل در کجا قرار دارد ، باید آن فایل پیدا شود.
» روبات عنکبوتی
یک موتور جستجوگر برای یافتن اطلاعات از میان صدها میلیون صفحه که در شبکه اینترنت وجود دارد ، روبات نرم افزار خاص به نام اسپایدر(عنکبوت) را به کار می گیرد تا فهرستی از کلمات را که در سایت ها اینترنت یافت می شود ایجاد کند. فرآیند که یک اسپایدر فهرست خود را ایجاد می کند ، Web crawling نامیده می شود. برای ایجاد و نگهداری یک فهرست مفید و مناسب از کلمات ، یک اسپایدر موتور جستجوگر باید صفحات بسیار زیاد را بررسی کند. حال سوالی که این جا پیش می آید این است که چگونه هر اسپایدر مسیر خود را در اینترنت آغاز می کند؟ در پاسخ باید گفت که به طور معمول نقطه شروع ، فهرستی از صفحات است که توسط سرورها زیاد استفاده می شود و هم چنین صفحات که معروف تر است.
» طرز عملکرد
اسپایدر از یک سایت عموم شروع می شود و کلمات موجود در صفحات آن را فهرست می کند و هر لینک را که در آن سایت یافت می شود دنبال می کند.
به این طریق سیستم جستجوگر به سرعت شروع به حرکت می کند و در بخش های که بیشتر از همه مورد استفاده قرار می گیرد ، حرکت می کند.برای نمونه گوگل به عنوان یک موتور جستجوگر علم آغاز به کار کرد.
سرج برین و لورنس پیج از مدیران گوگل بیان کردند که اسپایدرها سیستم آن ها با چه سرعت می تواند کار کند. آن ها سیستم اولیه خود را به گونه ای ساختند که از چندین اسپایدر استفاده کند ، که به طور معمول ۳ تا در یک زمان بود.در گوگل هر اسپایدر می توانست به حدود ۳۰۰ صفحه شبکه که در یک زمان باز بود اتصال برقرار کند. در بهترین عملکرد خود ، با استفاده از ۴ اسپایدر ، این سیستم می توانست در هر ثانیه به ۱۰۰ صفحه متصل باشد. زمان که اسپایدر گوگل یک صفحه HTML را مشاهده می کرد ، به ۲ نکته توجه می کرد:
کلمات درون صفحه ، که در کدام مکان کلمات پیدا شده است
و کلمات که در عنوان اصل یا عناوین فرع و یا سایر موقعیت های که دارا اهمیت نسب است ،
قرار دارد که برای جستجو بعد کاربر مورد توجه خاص قرار می گرفت.اسپایدر گوگل هر کلمه معن داری در صفحه را فهرست و از کلماتthe ، an و a صرف نظر می کرد. دیگر اسپایدرها از روش ها متفاوت استفاده می کردند. در کل تمام این روش ها سعی می کند تا عملکرد اسپایدر را سریع تر کند و به کاربران اجازه بدهد تا با کارای بهتر جستجو کنند.به عنوان مثال ، بعض اسپایدرها کلمات را که در عنوان ها ، عنوان ها فرع و لینک ها وجود دارد یا کلمات که بارها در صفحه تکرار می شود فهرست می کنند؛ سایت Lycos از این روش استفاده می کند.
سایر سیستم ها ، از قبیل AltaVista ، هر کلمه در صفحه ، شامل the ، an و a و سایر کلمات را که بی اهمیت است هم فهرست می کنند.
» ایجاد فهرست
زمان که اسپایدرها وظیفه یافتن اطلاعات از صفحات اینترنت را به اتمام رساندند موتور جستجو باید این اطلاعات را به شکل که مفید است ، ذخیره کند (البته باید در نظر داشت که این وظیفه هرگز تمام نمی شود ، خاصیت تغییر دائم اینترنت به این معنی است که اسپایدرها همیشه در حال حرکت و جستجو هستند).
۲ مولفه کلید برای در دسترس قرار دادن اطلاعات جمع آوری شده برای کاربران وجود دارد: اطلاعات ذخیره شده با داده ها و روش که توسط آن اطلاعات فهرست می شود. در آسان ترین حالت ، موتور جستجوگر می تواند تنها کلمه و URL را ذخیره کند. در حقیقت ، این روش برای موتور با کاربرد محدود است ، زیرا در این حالت راه وجود ندارد برای این که تعیین کند آیا کلمه در بخش مهم یا بخش بی اهمیت از صفحه استفاده شده است ، آیا کلمه تنها یک بار یا چندین مرتبه تکرار شده است یا صفحه لینک های به صفحات دیگر دارد که شامل آن کلمه است. به عبارت دیگر راه برا ایجاد فهرستی رتبه بندی شده که تلاش می کند تا مفیدترین و بهترین صفحات را در بالا فهرست نتایج جستجو قرار بدهد ، وجود ندارد.
» حرکت به سوی کارایی بهتر
برای به دست آوردن نتایج بهتر ، بیشتر موتورها جستجو اطلاعات بیشتر علاوه بر کلمه و URL ذخیره می کنند. موتور ممکن است تعداد دفعات را که کلمه در صفحه تکرار شده است ذخیره کند ، یا ممکن است مقدار را به هر ورود اختصاص بدهد و زمان که کلمات در عناوین ، عنوان ها فرع و لینک ها ظاهر می شود ارزش اختصاص یافته به آن ها بیشتر می شود.
هر موتور جستجوگر تجار ، فرمول متفاوت برای ارزش گذار کلمات فهرست خود دارد. این مسئله یک از دلایل است که موجب می شود جستجو یک کلمه در موتورها جستجوگر متفاوت ، فهرست ها متفاوت را ارائه بدهد و صفحات با ترتیب ها متفاوت ارائه شود. داده ها برای صرفه جوی در فضا ذخیره ساز رمزگذار می شود. به عنوان مثال در صفحه گوگل اطلاعات از قبیل این که آیا کلمه با حروف بزرگ بوده است ، اندازه فونت آن ، موقعیت کلمه و سایر اطلاعات که به رتبه بند آن کمک می کند به صورت بیت و بایت ذخیره می کند ، در نتیجه میزان بسیار زیاد از داده ها می تواند به شکل بسیار فشرده ای ذخیره شود. بعد از این که اطلاعات فشرده شد ، برا فهرست شدن آماده است. هدف از ایجاد یک فهرست این است که باعث شود تا بتوانیم اطلاعات را با سریع ترین حالت ممکن پیدا کنیم.
» ایجاد فهرست وب سایت ها
به طور کلی ، تنها چند راه برای ایجاد فهرست وجود دارد ، اما یک از مهم ترین و موثرترین روش ها ، ایجاد جدول hash است. در این روش فرمول به کار می رود تا به هر کلمه یک ارزش عدد اختصاص دهد. پرسش و جستجو انجام شده در این روش توسط کاربر خیل ساده است ، حتی یک کلمه. برای پرسش ها پیچیده تر لازم است تا از عملگرها بولین (AND ORNOT NEAR) استفاده کرد تا بتوان شرایط جستجو را گسترش داد.
به طور خلاصه عملکرد یک موتور جستجو به این صورت است: نرم افزار اسپایدر با جستجو در سایت ها مختلف فهرستی از کلمات و مکانی که قرار دارد فراهم می کند ، سپس بر اساس سیستم ارزش گذار خود فهرست رتبه بند شده تهیه ، داده ها را رمزگذار و سرانجام اطلاعات را برا دسترس کاربران ذخیره می کند.در جستجوهای که از عملگرها بولین استفاده می شود ، جستجوها لفظ است.
موتور به طور دقیق همان کلمات یا عبارت را که وارد شده است جستجو می کند. زمان که کلمات ورود دارا چندین معنی است ، جستجو صحیح آن ها مشکل است. در این حالت ، اگر برای شما تنها یک از معانی آن کلمه مهم باشد ، شما نمی خواهید سایر صفحات را که شامل معانی دیگر کلمه است ببینید ، می توانید یک جستجو لفظ ایجاد کنید که تا حدود معنی ها ناخواسته را حذف کند ، اما بهتر این بود که خود موتور جستجو می توانست این کار را انجام بدهد. یک از حوزه ها تحقیق در موتورها جستجوگر ، جستجو براساس مفهوم است. در یک موتور جستجوگر مبتنی بر مفهوم ، اطلاعات ذخیره شده برا هر صفحه ، بیشتر است.
هنوز بسیار از گروه ها تلاش می کنند تا نتایج و عملکرد این نوع از موتورها جستجو را افزایش دهند. قلمرو دیگر که پژوهش گران درباره آن تلاش می کنند ، پرسش ها به زبان طبیعی نامیده می شود.
|