DataSphereStudio安装部署流程（单机版）⼀、什么是DataSphere Studio?
DataSphere Studio（简称DSS）是微众银⾏——WeDataSphere，⾃研的⼀站式数据应⽤开发管理门户。
基于Linkis计算中间件构建，可轻松整合上层各数据应⽤系统，让数据变得简洁⼜易⽤。
⼆、安装准备
DSS部署分为精简版和标准版，本⽂主要介绍在上部署DSS-0.7.0标准版，标准版部署有⼀定的难度，
体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。
适合于试⽤和⽣产使⽤，2~3⼩时即可部署起来。
⽀持的功能有：
数据开发IDE - Scriptis
⼯作流实时执⾏
信号功能和邮件功能
数据可视化 - Visualis
数据质量 - Qualitis(单机版)
⼯作流定时调度 - Azkaban(单机版)
Linkis管理台
三、基础环境准备
3.1、基础软件安装
下⾯的软件必装：
MySQL (5.5+)，
JDK (1.8.0_141以上)，
Python(2.x和3.x都⽀持)，
，
下⾯的服务必须可从本机访问：
Hadoop(2.7.2，Hadoop其他版本需⾃⾏编译Linkis)
Hive(1.2.1，Hive其他版本需⾃⾏编译Linkis)
Spark(⽀持2.0以上所有版本)
3.1.1、部署MySQL
a、下载MySQL的rpm包
wget sql/arch.rpm
b、进⾏repo安装
rpm -arch.rpm
c、进⼊/pos.d执⾏
yum install mysql-server
d、启动MySQL
systemctl start mysqld
e、查看MySQL初始密码
rep 'password' /var/log/mysqld.log
f、修改密码
1mysql -u root -p
2set global validate_password_policy=0;
3set global validate_password_length=1;
4ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
g、设置远程访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
3.1.2、安装JDK
a、
b、进⾏repo安装
rpm -ivh jdk-8u241-linux-x64.rpm
c、配置环境变量，执⾏java -verbose查看jdk安装路径，编辑/etc/profile⽂件，添加⼀下内容，再执⾏source⽴即⽣效。
1JAVA_HOME=/usr/java/jdk1.8.0_241-amd64
2JRE_HOME=/usr/java/jdk1.8.0_241-amd64/jre
3PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
4CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
5export JAVA_HOME JRE_HOME PATH CLASSPATH
3.1.3、安装Python
因为本机已经⾃带python-2.7.5，python安装也⽐较简单，不在此处多加赘述。
3.1.4、安装Nginx
a、安装必要依赖
1yum -y install gcc gcc-c++
2yum -y install pcre pcre-devel
3yum -y install zlib zlib-devel
4yum -y install openssl openssl-devel
b、
c、解压源码包
tar -zxvf nginx-1.9. -C /usr/local
osi模型第二层d、检查安装环境
1cd nginx-1.9.9
2./configure --prefix=/usr/local/nginx
e、编译安装
1make
2make install
f、配置nginx服务启动
vi /etc/rc.d/init.d/nginx
添加⼀下内容：
1#!/bin/sh
2# nginx - this script starts and stops the nginx daemin
3#
4# chkconfig: - 85 15
5# description: Nginx is an HTTP(S) server, HTTP(S) reverse \ 6# proxy and IMAP/POP3 proxy server
7# processname: nginx
8# config: /usr/local/nginx/f
9# pidfile: /usr/local/nginx/logs/nginx.pid
10# Source function library.
11. /etc/rc.d/init.d/functions
12# Source networking configuration.
tax code13. /etc/sysconfig/network
14# Check that networking is up.
15[ "$NETWORKING" = "no" ] && exit 0
16nginx="/usr/local/nginx/sbin/nginx"
17prog=$(basename $nginx)
18NGINX_CONF_FILE="/usr/local/nginx/f"
19lockfile=/usr/local/nginx/sbin/nginx
20
21start() {
22 [ -x $nginx ] || exit 5
23 [ -f $NGINX_CONF_FILE ] || exit 6
24 echo -n $"Starting $prog: "
25 daemon $nginx -c $NGINX_CONF_FILE
26 retval=$?
27 echo
28 [ $retval -eq 0 ] && touch $lockfile
29 return $retval
30}
31
32stop() {
33 echo -n $"Stopping $prog: "
34 killproc $prog -QUIT
35 retval=$?
36 echo
37 [ $retval -eq 0 ] && rm -f $lockfile
38 return $retval
39}
39}
常量元素越多越好吗40
41restart() {
42 configtest || return $?
43 stop
44 start
45}
46
47reload() {
48 configtest || return $?
49 echo -n $"Reloading $prog: "
50 killproc $nginx -HUP
51 RETVAL=$?
52 echo
53}
54
55force_reload() {
56 restart
转行web前端艰辛57}
58
59configtest() {
60 $nginx -t -c $NGINX_CONF_FILE
61}
62
63rh_status() {
64 status $prog
65}
66
67rh_status_q() {
68 rh_status >/dev/null 2>&1
69}
70
71case "$1" in
72 start)
73 rh_status_q && exit 0
74 $1
75 ;;
76 stop)
77 rh_status_q || exit 0
78 $1
79 ;;
80 restart|configtest)
81 $1
82 ;;
83 reload)
84 rh_status_q || exit 7
85 $1
kindeditor 取消菜单栏86 ;;
87 force-reload)
88 force_reload
89 ;;
90 status)
91 rh_status
92 ;;
93 condrestart|try-restart)
94 rh_status_q || exit 0
95 ;;
96 *)
97
98 echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
99 exit 2
100esac
chkconfig --add nginx
g、配置环境变量
因为DSS在安装过程中会检测nginx，因此需要配置⼀个环境变量，以应对检测。
export PATH=$PATH:/usr/local/nginx/sbin
注意：如果使⽤hadoop普通⽤户启动，需要授权普通⽤户使⽤systemctl，具体操作如下：
进⼊/usr/share/polkit-1/actions/org.freedesktop.systemd1.policy，将对应manae-units的defaults中的授权全部改为yes，然后执⾏systemctl restart polkit重启polkit
1<defaults>
2 <allow_any>yes</allow_any>
3 <allow_inactive>yes</allow_inactive>
4 <allow_active>yes</allow_active>
5</defaults>
3.1.5、安装hadoop
官⽅⽂档说，安装DSS的机器不要求必须安装Hadoop，但要求hdfs命令必须可⽤，如：hdfs dfs -ls /。我这⾥只有⼀台机器，就在本机上安装⼀个单机版的hadoop、hive和spark了。
a、，我这⾥使⽤的是⼀键部署安装包，hadoop版本被指定为2.7.2，其他版本的需要⾃⼰编译Linkis。
b、解压安装包
tar -zxvf hadoop-2.7. -C /usr/local
c、配置环境变量
1export HADOOP_HOME=/usr/local/hadoop
java下载过程2export PATH=$PATH:$HADOOP_HOME/bin
d、修改hadoop-env.sh⽂件，新增以下内容。
export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64
e、修改l⽂件，添加以下内容。
1 <property>
2 <name&p.dir</name>
3 <value>file:usr/local/hadoop</value>
4 <description>Abase for other temporary directories.</description>
5 </property>
6 <property>
7 <name>fs.defaultFS</name>
8 <value>hdfs://127.0.0.1:5001</value>
9 </property>
f、修改l⽂件，添加以下内容。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论