2.3 Cài đặt và cấu hình Zookeeper.
2.4 Cài đặt, tạo service và cấu hình cho kafka.
Giới thiệu
Mục đích tài liệu
Tài liệu này mô tả hướng dẫn cài đặt và cấu hình kafka.
Thủ tục .
Chuẩn bị cài đặt
Thực hiện login hệ thống bằng tài khoản root sử dụng lệnh sau :
sudo su
Sau đó nhập mật khẩu để thực hiện việc login.
Thực hiện update (nếu có thể) sử dụng 2 lệnh sau:
sudo apt-get update -y
sudo apt-get upgrade -y
Cài đặt java.
Bước 1: Thực hiện bổ sung repository lệnh sau:
sudo add-apt-repository -y ppa:webupd8team/java
Sauk hi thực hiện lệnh trên sẽ nhìn thấy màn hình như sau:
gpg: keyring `/tmp/tmpkjrm4mnm/secring.gpg' created
gpg: keyring `/tmp/tmpkjrm4mnm/pubring.gpg' created
gpg: requesting key EEA14886 from hkp server keyserver.ubuntu.com
gpg: /tmp/tmpkjrm4mnm/trustdb.gpg: trustdb created
gpg: key EEA14886: public key "Launchpad VLC" imported
gpg: no ultimately trusted keys found
gpg: Total number processed: 1
gpg: imported: 1 (RSA: 1)
OK
Bước 2: Thực hiện update cho repository mới sử dụng lệnh sau:
sudo apt-get update
Bước 3: Thực hiện lệnh sau để cài đặt JDK 8.
sudo apt-get install oracle-java8-installer -y
Sau khi cài đặt, cần kiểm tra việc cài đặt có thành công hay không. Sử dụng lệnh để kiểm tra version .
sudo java -version
Nếu thành công sẽ hiện ra màn hình như sau:
java version "1.8.0_66"
Java(TM) SE Runtime Environment (build 1.8.0_66-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.66-b17, mixed mode)
Cài đặt và cấu hình Zookeeper.
Bước 1: Thực hiện lệnh sau để cài đặt zookeeper:
sudo apt-get install zookeeperd
Để kiểm tra việc cài đặt dùng lênh sau:
netstat -ant | grep :2181
Nếu thành công sẽ hiện ra màn hình như sau:
tcp6 0 0 :::2181 :::* LISTEN
Bước 2: Thực hiện cấu hình tăng số lượng connection đến zookeeper sử dụng lệnh:
echo "maxClientCnxns=500" >> /etc/zookeeper/conf/zoo.cfg
Bước 3: Thực hiện restart lại service sử dụng lệnh:
service zookeeper restart
Có thể xem log của zookeeper sử dụng lệnh:
tail -f /var/log/zookeeper/zookeeper.log
Cài đặt, tạo service và cấu hình cho kafka.
Bước 1: Thực hiện download bản cài đặt của kafka sử dụng lệnh sau:
wget http://www-eu.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz
Bước 2: Thực hiện giải nén và copy tới thư mục opt sử dụng thứ tự các lệnh:
cp kafka_2.12-1.0.0.tgz /opt/
cd /opt/
tar xvzf kafka_2.12-1.0.0.tgz
mv kafka_2.12-1.0.0 kafka
Bước 2: Thực hiện tạo service cho kafka:
+)Tạo user kafka sử dụng lệnh:
sudo useradd kafka -m
+)Tạo file kafka.service sử dụng lệnh:
vim /etc/systemd/system/kafka.service
Với nội dung như sau:
[Unit]
Description=High-available, distributed message broker
After=network.target
[Service]
User=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
[Install]
WantedBy=multi-user.target
+) Thực hiện thứ tự các lênh:
sudo systemctl daemon-reload
sudo systemctl enable kafka.service
sudo systemctl start kafka.service
+) Để kiểm tra việc tạo service sử dụng lệnh sau:
sudo systemctl status kafka
Màn hình sẽ hiện ra như sau:
Bước 3: Thực hiện thêm tham số cấu hình cho kafka:
Mở file ở đường dẫn sử dụng lệnh sau:
vim /opt/kafka/config/server.properties
Thêm vào dòng sau:
auto.create.topics.enable=true
Thực hiện restart dịch vụ để thay đổi có tác dụng sử dụng lệnh sau:
sudo systemctl restart kafka
