نحوه نصب Hadoop در اوبونتو 17.10 و اجرای برنامه MapReduce اول شما

معرفی

Apache Hadoop یک چارچوب منبع باز است که می تواند نرم افزار منبع باز برای محاسبات مقیاس پذیر، قابل اعتماد و توزیع شده را توسعه دهد. Hadoop به پردازش توزیع شده از مجموعه داده های بزرگ در میان خوشه ها (مجموعه ای از رایانه ها) با استفاده از مدل های برنامه نویسی ساده مانند MapReduce اجازه می دهد. مزیت اصلی Hadoop این است که کاملا مقیاس پذیر است. این طراحی شده است تا مقیاس بالا از یک سرور به صدها و هزاران ماشین. همچنین، هر دستگاه ذخیره سازی محلی و همچنین ارتباطات را ارائه می دهد. شگفت انگیز است، نه؟

به اشتباه انسان است، برای آمرزش الهی است. همه ما آرزو می کنیم که بتوانیم اثرات گسل های ما را کاهش دهیم. اما این مورد برای یک شبکه در حال اجرا با هزاران ماشین نیست. چیزی است که آنها نمیتوانند هزینه کنند. Hadoop برای برطرف کردن این مسئله طراحی شده است تا به طور موثری در هر خوشه شناسایی و رفع خطاها را انجام دهد.

آخرین Hadoop 3.0.0 شامل این ماژول های اصلی می شود:

Hadoop مشترک

سیستم فایل توزیع Hadoop

Hadoop YARN

Hadoop MapReduce

بیایید از نصب hadoop در توزیع لینوکس خود پیروی کنیم و شروع به اجرای اولین برنامه MapReduce در Hadoop کنیم. همه چیز شما نیاز به یک کامپیوتر با نصب لینوکس، اتصال به اینترنت البته و صبر است. بله صبر سیستم عامل مورد استفاده من اوبونتو 17.10 است و توزیع Hadoop 3.0.0 است زیرا آخرین نسخه پایدار است. در پایان پست شما می دانید که چگونه باید Hadooop را در ubuntu نصب کنید.

مراحل نصب Hadoop

مرحله 1 - ورود جداگانه

برای شروع از CTRL + ALT + T ضربه بزنید ما Hadoop را از ترمینال نصب خواهیم کرد. برای کاربران جدید لینوکس، ممکن است هنگام نصب برنامه های مختلف و مدیریت آنها از همان ورود به سیستم ممکن است گیج کننده باشد. اگر یکی از آنها هستید، ما یک راه حل داریم. بگذارید یک کاربر جدید Hadoop اختصاصی ایجاد کنیم. هر زمان که میخواهید از Hadoop استفاده کنید، فقط از ورود مجدد استفاده کنید. ساده.

$ sudo addgroup hadoop

$ sudo adduser -ingroup hadoop hduser

توجه: شما مجبور نیستید کلمه عبور یا اسم را بنویسید. فقط وارد شوید و در آخر «ی» را فشار دهید.

کاربر Hadoop را به گروه sudo اضافه کنید (در اصل، تمام مجوزها را اعطا کنید)

$ sudo adduser hduser sudo

مرحله 2 - آماده سازی محیط زیست

برای اجرای کامل، Hadoop نیاز به دو چیز اساسی در محیط اوبونتو دارد. ابتدا جاوا 1.6 یا بالاتر است زیرا پردازش و ذخیره سازی توزیع شده Hadoop در جاوا نوشته شده است. ثانیه SSH (Secure Shell) برای امنیت ارتباط بین گره های خوشه است.

قبل از نصب هر چیز جدید، همیشه بهتر است لیست بسته را بهروز کنید. بیا شروع کنیم. لیست بسته به روز رسانی

$ sudo apt-get update

2.1 جاوا را نصب کنید

بعد، ما به طور پیش فرض جاوا توسعه "OpenJDK" نصب

$ sudo apt-get install-default-jdk

پس از نصب، نسخه ی جاوا را بررسی کنید. من 1.8 نصب شده است که بالاتر از 1.6 مورد نیاز است، بنابراین ما خوب است که بروید.

$ java -version

ورود بدون کلمه عبور برای localhost با استفاده از SSH

$ su hduser

$ sudo ssh-keygen-t rsa

توجه: هنگام درخواست نام یا مکان فایل، آن را خالی بگذارید.

$ cat ~ / .ssh / id_rsa.pub >> ~ / .ssh / authorized_keys

$ chmod 0600 ~ / .ssh / authorized_keys