“সার্চ ইঞ্জিন” বা “Search engine” সম্পর্কে জানার আগে ইন্টারনেট সম্পর্কে স্পষ্ট ধারণা থাকা দরকার ।
Internet হলো information এর একটি সমুদ্র ,এবং তার পরেও প্রতিমুহূর্তে এর মধ্যে তথ্য যুক্ত হচ্ছে।
আপনি যদি কোনো বিষয়ে জানতে চান বা কোন বিষয় নিয়ে একটু গভীরভাবে চর্চা করতে চান তবে internet এর থেকে ভালো জায়গা আর হতে পারে না ।
আমরা এই আর্টিকেল এ জানার চেষ্টা করব এই search engineটি কি এবং এটি কিভাবে কাজ করে।
সার্চ ইঞ্জিন কী
আপনার জানবার ইচ্ছা এবং internet এর information এর মধ্যে যে যোগসুত্র তৈরি হবে সেটি হয় search engine এর মাধ্যমে।
অর্থাৎ সহজ ভাবে বলতে গেলে, আপনার সাথে আপনার প্রয়োজনীয় information এর দেখা করিয়া দেওয়াটাই সার্চ ইঞ্জিন এর কাজ।
Search engine হল একটি online tool বা বিশেষ সফট্ওয়্যার প্রোগ্রাম ।
সার্চ ইঞ্জিন ইন্টারনেটে অবস্থিত অসীম information এর সমুদ্রা থেকে user এর কাঙ্ক্ষিত তথ্য অনুসন্ধান করে। সার্চ ইঞ্জিন এই অনুসন্ধান টি করে কিছু নির্দিষ্ট keyword বা phrase এর উপর নির্ভর করে ।
আর এই keyword বা phrase এর সাথে যুক্ত সমস্ত তত্ত্বকে একটা তালিকার আকারে user এর সামনে প্রস্তুত করে । এই তালিকা কে বলে Search Engine Result Page বা SERP.
যদি আমরা যদি search engine এর মধ্যে কোন শব্দ দিয়ে search দেই তাহলে search engine সেই শব্দ সম্পর্কিত তথ্য আমাদের সরবরাহ করে, আর যে শব্দটি আমরা search engineএর মধ্যে search দেই তাকে বলা হয় keyword।
কোন আমরা যখন কোন জিনিস জানবার জন্য search engine এ search দেই তখন search engine তার নিজের database থেকে বেশ কিছু উত্তর খুঁজে বের করে, এবং তারপর search algorithm তার থেকে উপযুক্ত উত্তরগুলি আমাদের সামনে এনে দেয়।
কিন্তু search engine, information এর এত বিশাল সমুদ্র থেকে কোন নির্দিষ্ট তথ্য কিভাবে খুজে বের করে? এবং আমরা কি জানতে চাইছি সেটাই বা সার্চ ইঞ্জিন কিভাবে বুঝতে পারে।
তাহলে চলুন দেখেনি সার্চিং কিভাবে কাজ করে ।
অবশ্যই পড়ুন
সার্চ ইঞ্জিন কিভাবে কাজ করে ?
সার্চ ইঞ্জিনের কাজ করার প্রক্রিয়া খুবই জটিল। একজন সাধারণ user এর পক্ষে এই কাজ করার পদ্ধতি বোঝা সহজ নয়।
যদি আপনি Search Engine এর মাধ্যমে কোন বিষয় সম্পর্কিত কোন ইনফরমেশন খুঁজে বের করার চেষ্টা করি তখন আমরা সেই বিষয় সম্পর্কিত কিছু শব্দ (Keyword বা Key Phrase), Search Engine এর মধ্যে দিয়ে Search দেয়ি।
এরপর Search Engine সেই শব্দ গুলির (Keyword বা Key Phrase) উপর ভিত্তি করে তার Database এরমধ্যে খোঁজা শুরু করে এবং যে সমস্ত Web Page এর সাথে আমাদের দেওয়া শব্দের (Keyword) মিল খুঁজে পায় সেই ওয়েবপেজ গুলির একটি তালিকা আমাদের সামনে প্রস্তুত করে ।
প্রতিটি search engine দুটি প্রধান অংশ নিয়ে গঠিত:
- Search index – এটি web page সম্পর্কিত information এর একটি বিশাল library.
- Search algorithm – এটি একটি খুব জটিল program. যার কাজ হল search result গুলিকে প্রাসঙ্গিকতা উপর ভিত্তি করে সূচী বদ্ধ করা। অর্থাৎ যে সমস্ত web page গুলি আমাদের keyword বা query এর জন্য যত বেশি প্রাসঙ্গিক , সেগুলিকে তালিকায় ততো বাশি অগ্রাধিকার দেওয়া।
Google এবং Bing এর মত পরিচিত সার্চ ইঞ্জিনের search index Database এ কোটি কোটি web page রয়েছে।
সুতরাং অন্য সমস্ত কিছু জানার আগে আমাদের জানতে হবে সার্চ ইঞ্জিনগুলো এই বিশাল Database কিভাবে তৈরি করে. অর্থাৎ কোন website এবং তার মধ্যে থাকা web page গুলি কে কিভাবে এই Database এর সাথে যুক্ত করে।
বিভিন্ন search engine বিভিন্ন ভাবে কাজ করতে পারে তবে মূলত অধিকাংশ search engine যে পদ্ধতি অবলম্বন করে তা হল
- Crawling
- Processing
- Indexing
- Creating results
1. Crawling
প্রতিটি search engine এর নিজস্ব crawler আছে, এগুলিকে bot বা spider ( গুগল এর ক্ষেত্রে এটি Google-bot) বলা হয়। এর প্রধান কাজ হল internet এ অবস্থিত প্রতিটি webpage কে scan করা ।
এই bot বা spider গুলি website এর সমস্ত অংশকে scan করে এবং website সম্পর্কিত সমস্ত তথ্য নিজের কাছে সংগ্রহ করে।
এখন প্রশ্ন হলো crawler এই সাইট গুলোকে খুজে পায় কিভাবে?
সাধারণত কোন website কে অন্য website এর সাহায্যে খুঁজে পায়। অর্থাৎ কোন website এ যদি অন্য কোন website এর hyperlink দেওয়া থাকে তবে সাই হাইপারলিংক এর সাহায্যে crawler দ্বিতীয় website টির সম্পর্কে জানতে পারে ।
2. Processing
Processing এমন একটি পদ্ধতি যার মাধ্যমে সার্চ ইঞ্জিন crawl করা পেজ গুলিকে বোঝার চেষ্টা করে। সব সার্চ ইঞ্জিন তাদের নিজ নিজ পদ্ধতিতে এর processing করে থাকে। কোন সার্চ ইঞ্জিন ই তার এই প্রসেসিং করার পধতি অন্যদের বুঝে নেয় না।
3. Indexing
কোন website কে crawl এবং process করার পরে, পরবর্তী কাজ হল website indexing করা। Indexing হল মূলত crawl করা website টিকে একটি বিশাল database এ যুক্ত করা।
এই database টি কে search engine এর search index ও বলে। এটি একটি online library যেখানে কোটি কোটি website এর তথ্য সংরক্ষিত রয়েছে।
এই লাইব্রেরী টি সার্চ ইঞ্জিনের একটি খুব গুরুত্বপূর্ণ অংশ। যখন আমরা সার্চ ইঞ্জিনের কাছে কিছু জানতে চাই তখন সে এই লাইব্রেরী থেকেই তথ্য নিয়ে আমাদের কাছে তুলে ধরে।
অর্থাৎ এই search index নামক library এর মধ্যে যদি কোন website বা website এর কোন অংশ সংযুক্ত করা না থাকে তবে সার্চ ইঞ্জিনের মাধ্যমে সেই ওয়েবসাইটটিকে খুঁজে পাওয়া সম্ভব নয় ।
এই indexing একটি ক্রমাগত চলমান পদ্ধতি। কিছু নির্দিষ্ট সময় পরপর crawler website কে crawl করার জন্য ফিরে আসে এবং নতুন কোন data পেলে সেটিকে index করে।
4. Creating results
কোন ওয়েবসাইট এবং তা বিভিন্ন অংশ কে খুঁজে বার করা এবং সে গুলিকে crawl এবং indexing করা টা সার্চ ইঞ্জিন এর প্রাথমিক কাজ মাত্র।
সার্চ এঞ্জিনে এর মূল কাজ হল সার্চ এর মাধ্যমে উঠে আসা result গুলিকে যৌক্তিকতার ভিত্তি তে সাজানো। আর এইর সাজানর পদ্ধতি কে ranking বলে।
যখন আমরা search engine এর মধ্যে কোন keyword দিয়ে search দেই তখন search engine এর algorithm সেই keyword এর উপর ভিত্তি করে একটি search result তৈরি করে।
প্রতিটি সার্চ ইঞ্জিনের webpage গুলিকে rank করার জন্য আলাদা আলাদা algorithm থাকে।
অবশ্যই পড়ুন
সার্চ ইঞ্জিন এলগরিদম (Search engine algorithm)
এতক্ষণে আমরা অনেকবার search engine algorithm শব্দ টা শুনেছি, কিন্তু এই search engine algorithm কি আসলে কি?
খুব সহজভাবে বলতে গেলে বলতে হয় search engine algorithm হল একটি ফর্মুলা, যা নির্ধারণ করে ইন্টারনেট ব্যবহারকারী কে তার সার্চ এর ভিত্তিতে কোন রেজাল্ট দেখানো উচিত।
বিভিন্ন search engine algorithm টিকে নিজেদের মতো করে তৈরি করে, এবং ব্যবহারকারী এটি কখনোই জানতে পারে না যে search engine algorithm কিসের ভিত্তিতে সেই রেজাল্ট ই তাকে দেখাচ্ছে।
এই search engine algorithm টি ঠিক করে results page এ কোন কোন সাইট কে দেখানো হবে এবং results page এর সাইট গুলির মধ্যে কাকে কার আগে দেখানো হবে।
কিছু জনপ্রিয় সার্চ ইঞ্জিন এর নাম
জনপ্রিয়তার দিক থেকে পৃথিবীর সবথেকে জনপ্রিয় search engine হলো Google। এছাড়াও এখানে আমরা আরও কিছু জনপ্রিয় search engine নিয়ে আলোচনা করলাম।
বহু বছর ধরে Google ইন্টারনেট ব্যবহারকারীদের সবথেকে জনপ্রিয় search engine। গুগলের সার্চ ইঞ্জিন অ্যালগোরিদম সব থেকে উন্নত এছাড়াও গুগোল মেশিন লার্নিং আর্টিফিশিয়াল ইন্টেলিজেন্স (artificial intelligence) এবং এর মত বেশকিছু অ্যালগরিদম ব্যবহার করে যা ব্যবহারকারীর আগের সার্চ এর ওপর ভিত্তি করে সার্চ রেজাল্ট (search result) দেখায়। সারা পৃথিবীর 70% ইন্টারনেট ব্যবহারকারী গুগল ব্যবহার করে।
Baidu
Baidu কে চীনের Google বলা হয। Baidu আসলে Google এর ই মতন একটি সার্চ ইঞ্জিন। এটি Microsoft, Qualcomm, Intel ইত্যাদি কোম্পানির সঙ্গে AI project এ একসঙ্গে কাজ করে ।
Google এর মত Baidu ও cloud services, maps, social networking, image and video search ইত্যাদি পরিষেবা প্রদান করে।
Bing
Bing Microsoft-এর search engine। 2009 সালে MSN Search এবং Windows Live Search এর সঙ্গে একটি নতুন প্রজেক্ট হিসেবে এটিকে launch করে।
এই search engine তৈরি করার পেছনে Microsoft এর মূল উদ্দেশ্য ছিল Google এর প্রতিদ্বন্দ্বী তৈরি করা। এটি আমেরিকার দ্বিতীয় জনপ্রিয় search engine।
Yahoo!
৯০ এর দশকে Yahoo ছিল সবথেকে বেশি জনপ্রিয় search engine এবং email provider। কিন্তু 2000 সালের পরে উদ্ভাবনী দক্ষতার অভাব এটি গুগলের থেকে পিছিয়ে পড়ে।
DuckDuckGo
DuckDuckGo আসলে একটু অন্য ধরনের search engine। এটি ব্যবহারকারীর privacy রক্ষার উপরে জোর দেয়।
DuckDuckGo, ব্যবহারকারীর আগের search এর উপর ভিত্তি করে কোন result দেখায় না, যার ফলে বিজ্ঞাপন দাতা কোম্পানিগুলো ব্যবহারকারীর গতিবিধি এর ওপর নজর রাখতে পারেনা।
