买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川中电启明星信息技术有限公司;国网信息通信产业集团有限公司

摘要：本发明公开了一种自动化安装分布式大数据平台CDH方法，具体包括以下步骤：S10：环境准备；具体是指：对各节点服务器的基础环境进行检查，准备好安装资源；S20：脚本配置；根据配置文件要求，对所有节点服务器的基本信息及用户的自定义信息配置完毕；S30：安装部署；根据执行脚本的运行流程配置集群基础环境及大数据运行环境，具体包括基础服务配置、搭建NTP服务、SSH免密钥登陆、java环境、安装CDH管理控制台服务以及验证服务状态；S40：结果检查；登陆CDH管理控制台查看结果。本发明的有益效果是：本发明能够有效地实现CDH管理控制台的自动化安装；本发明能够使大数据集群搭建的过程更具高效性、降低失误率。

主权项：1.一种自动化安装分布式大数据平台CDH方法，其特征在于：具体包括以下步骤：步骤S10：环境准备：对各节点服务器的基础环境进行检查，准备好安装资源；步骤S20：脚本配置：根据配置文件要求，对所有节点服务器的基本信息及用户的自定义信息进行配置；步骤S30：安装部署：根据执行脚本的运行流程配置集群基础环境及大数据运行环境，具体包括基础服务配置、搭建NTP服务、SSH免密钥登陆、配置java环境、安装CDH管理控制台服务以及验证服务状态；步骤S40：结果检查：登陆CDH管理控制台查看结果；所述步骤S30具体包括单机配置安装和联机配置安装：所述单机配置安装具体包括以下步骤：步骤S31：所有节点按照脚本配置信息的对应关系，设置各服务器的IP为静态IP，设置完成后重启NETWORK服务；步骤S32：所有节点按照脚本配置信息的对应关系，设置各服务器的机器名为相应的统一格式，并按照顺序命名；步骤S33：所有节点按照配置文件的对应关系，修改hosts文件，加入各个节点IP以及对应的机器名；步骤S34：确认相互各个节点都能连通，且没有丢包现象，保证网络的正常；步骤S35：所有节点的变量设置：修改所有节点swappiness的值和transparent_hugepage的值；所有节点调整配置为开机自启动修改；步骤S36：关闭所有节点的防火墙和selinux；取消开机自启动；所述联机配置安装具体是指：根据既有流程配置集群运行环境，集群运行环境包括NTP服务、SSH免密钥登陆、JAVA环境、安装CDH管理控制台服务，执行完毕后，验证各个服务状态操作；具体包括以下步骤：步骤S311：配置所有服务器的运行环境；步骤S312：所有节点服务器互信；判断所有节点验证互信是否成功，通过SSH到各个节点，验证是否配置成功；若否，则检查个别服务器SSH状态异常原因，排查权限的问题；步骤S313：检查所有节点是否是中国时区；若否，则更改成中国时区；步骤S314：所有节点配置系统的yum源，以管理节点为HTTP服务器；验证所有节点的yum源是否配置正确；步骤S315：所有节点安装搭建NTP服务，配置所有节点的时间服务器为同一台时间服务器，并验证是否成功；若否，则检查个别服务器异常原因，排查是否NTP组件安装失败或者未启动的异常；步骤S316：安装mysql服务；步骤S317：安装基础运行服务组件；步骤S318：启动服务组件：根据所述配置管理节点启动CDH管理控制台服务，并把服务器加入开机自启动当中；根据检查验证服务状态，通过日志检查和端口检查，验证启动成功。

全文数据：一种自动化安装分布式大数据平台CDH方法技术领域本发明涉及计算机大数据技术领域，具体的说，是一种自动化安装分布式大数据平台CDH方法。背景技术随着信息化时代的迅速发展，大数据的使用越来越广泛，但因安装系统环境的差异，产生了安装分布式大数据平台很多复杂的操作，集群数量越多人工成本越高。由于分布式大数据平台需要用到可横向扩展的计算机，集群数量从3个到上百，上千都有，数据越多，人工出错的几率就越高，所耗费的人工成本就越高，亟需解决人工操作带来的时间成本与误操作问题。发明内容本发明的目的在于提供一种自动化安装分布式大数据平台CDH方法，有效的降低出错的几率，降低人工成本和时间成本。本发明通过下述技术方案实现：一种自动化安装分布式大数据平台CDH方法，具体包括以下步骤：S10：环境准备；具体是指：对各节点服务器的基础环境进行检查，准备好安装资源；S20：脚本配置；根据配置文件要求，对所有节点服务器的基本信息及用户的自定义信息配置完毕；S30：安装部署；根据执行脚本的运行流程配置集群基础环境及大数据运行环境，具体包括基础服务配置、搭建NTP服务、SSH免密钥登陆、java环境、安装CDH管理控制台服务以及验证服务状态；S40：结果检查；登陆CDH管理控制台查看结果。进一步地，为了更好的实现本发明，所述步骤S10中对各节点服务器的基础环境进行检查，具体包括：步骤S11：判断各节点服务器的操作系统版本是否符合要求；若否，则需要重新安装操作系统；步骤S12：对各节点服务器操作系统的系统架构检查，判断操作系统是否为x86_64的系统架构；步骤S13：对各节点服务器操作系统的IP网络进行检查，测试各节点之间是否连通；步骤S14：检查各个节点服务器的配置文件、安装包及执行脚本。进一步地，为了更好的实现本发明，所述步骤S20具体包括：步骤S21：检查所有节点服务器的IP地址、SSH端口、root用户密码、用户大数据平台安装的自定义信息配置到部署文件里；若否，需要针对提示未合理设置的地方修改；步骤S22：检查所有节点服务器的配置信息是否正确，以及自定义信息配置是否合理；若否，则需要针对异常和不合理信息做出调整。进一步地，为了更好的实现本发明，所述步骤S30具体包括单机配置安装和联机配置安装：所述单机配置安装具体包括以下步骤：步骤S31：所有节点按照脚本配置信息的对应关系，设置各服务器的IP为静态IP，设置完成后重启NETWORK服务；步骤S32：所有节点按照脚本配置信息的对应关系，设置各服务器的机器名为相应的统一格式，并按照顺序命名；步骤S33：所有节点按照配置文件的对应关系，修改hosts文件，加入各个节点IP以及对应的机器名；步骤S34：确认相互各个节点都能连通，且没有丢包现象，保证网络的正常；步骤S35：所有节点的变量设置：具体是指：修改所有节点swappiness的值和transparent_hugepage的值；所有节点调整配置为开机自启动修改；步骤S36：关闭所有节点的防火墙和selinux；取消开机自启动。进一步地，为了更好的实现本发明，所述联机配置安装具体是指：根据既有流程配置集群运行环境，包括NTP服务、SSH免密钥登陆、JAVA环境、安装CDH管理控制台服务，执行完毕，验证各个服务状态操作；具体包括以下步骤：步骤S311：配置所有服务器的运行环境；步骤S312：所有节点服务器互信；判断所有节点验证互信是否成功，通过SSH到各个节点，验证是否配置成功；若否，则检查个别服务器SSH状态异常原因，排查权限的问题；步骤S313：检查所有节点是否是中国时区；若否，则更改成中国时区；步骤S314：所有节点配置系统的yum源，以管理节点为HTTP服务器，其余所有节点配置；验证所有节点的yum源是否配置正确；步骤S315：所有节点安装搭建NTP服务，配置所有节点的时间服务器为同一台时间服务器，并验证是否成功；若否，则检查个别服务器异常原因，排查是否NTP组件安装失败或者未启动的异常；步骤S316：安装mysql服务；步骤S317：安装基础运行服务组件；步骤S318：启动服务组件；具体是指：根据所述配置管理节点启动CDH管理控制台服务，并把服务器加入开机自启动当中；根据所述检查验证服务状态；通过日志检查和端口检查，验证启动成功。进一步地，为了更好的实现本发明，所述步骤S316具体包括：根据所述配置管理节点安装mysql数据库；根据所述配置管理节点修改mysql配置文件；根据所述配置管理节点设置mysql服务为开机自启动；根据所述配置管理节点初始化mysql数据、创建访问用户、授权访问；验证mysql数据库的访问状态。进一步地，为了更好的实现本发明，所述步骤S317具体包括：根据所述配置所有节点安装java运行环境；根据所述配置所有节点安装mysql驱动环境；根据所述配置管理节点安装CDH管理控制台服务；根据所述配置CDH管理控制台服务使用的元数据库。进一步地，为了更好的实现本发明，所述步骤S14具体是指：判断所述管理节点的配置文件是否按照当前集群机器情况修改IP用户、密码、修改后的机器名；判断所述管理节点目录下是否存在所述配置文件及安装源。本发明与现有技术相比，具有以下优点及有益效果：（1）本发明能够有效地实现CDH管理控制台的自动化安装；（2）本发明能够使大数据集群搭建的过程更具高效性、降低失误率。具体实施方式下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。实施例1：本发明通过下述技术方案实现，一种自动化安装分布式大数据平台CDH方法，具体包括以下步骤：S10：环境准备；具体是指：对各节点服务器的基础环境进行检查，准备好安装资源；所述节点服务且基础环境包括，各个节点服务器的系统版本、系统位数、网络环境；所述步骤S10中对各节点服务器的基础环境进行检查，具体包括：步骤S11：判断各节点服务器的操作系统版本是否符合要求；优选的所述操作系统版本为RedHatEnterpriseLinux6CentOS6.x系列版本；若否，则需要重新安装操作系统；步骤S12：对各节点服务器操作系统的系统架构检查，判断操作系统是否为x86_64的系统架构；由于大数据平台只支持x86_64的系统架构，对此使用uname-r命令查看，检查输出是否包含x86_64。步骤S13：对各节点服务器操作系统的IP网络进行检查，测试各节点之间是否连通；若否，则需要对服务器网络环境检查；步骤S14：检查各个节点服务器的配置文件、安装包及执行脚本；具体是指：判断所述管理节点的配置文件是否按照当前集群机器情况修改IP用户、密码、修改后的机器名；判断所述管理节点目录下是否存在所述配置文件及安装源。S20：脚本配置；根据配置文件要求，对所有节点服务器的基本信息及用户的自定义信息配置完毕；S30：安装部署；根据执行脚本的运行流程配置集群基础环境及大数据运行环境，具体包括基础服务配置、搭建NTP服务、SSH免密钥登陆、java环境、安装CDH管理控制台服务以及验证服务状态；S40：结果检查；登陆CDH管理控制台查看结果。本实施例的其他部分与上述实施例相同，故不再赘述。实施例2：本实施例在上述实施例的基础上做进一步优化，所述步骤S20具体包括：步骤S21：检查所有节点服务器的IP地址、SSH端口、root用户密码、用户大数据平台安装的自定义信息配置到部署文件里；若否，需要针对提示未合理设置的地方修改；步骤S22：检查所有节点服务器的配置信息是否正确，以及自定义信息配置是否合理；若否，则需要针对异常和不合理信息做出调整。本实施例的其他部分与上述实施例相同，故不再赘述。实施例3：本实施例在上述实施例的基础上做进一步优化，所述步骤S30具体包括单机配置安装和联机配置安装：所述单机配置安装具体是指：配置所有服务器的基础环境，具体包括以下步骤：步骤S31：所有节点按照脚本配置信息的对应关系，设置各服务器的IP为静态IP，设置完成后重启NETWORK服务；若否，根据个别节点的异常情况，检查服务器网络，重新恢复网络；若是，则进入步骤S32；步骤S32：所有节点按照脚本配置信息的对应关系，设置各服务器的机器名为相应的统一格式，并按照顺序命名；步骤S33：所有节点按照配置文件的对应关系，修改hosts文件，加入各个节点IP以及对应的机器名；步骤S34：确认相互各个节点都能连通，且没有丢包现象，保证网络的正常；若不能连通，则检查个别服务器网络情况，排查硬件的问题；若能连通，则进入步骤S35；步骤S35：所有节点的变量设置：具体是指：修改所有节点swappiness的值和transparent_hugepage的值；所有节点调整配置为开机自启动修改；具体是指：修改所有节点swappiness的值，设置其在运行时更改该设置，将procsysvmswappiness设置为0；所有节点调整配置其为开机自启动，在添加etcsysctl.conf以在重启后保存该设置，该设置重启后不会丢失catetcsysctl.confsyskernelmmtransparent_hugepagedefrag；所有节点调整配置其为开机自启动，加入启动脚本，以永久生效echo"echoneversyskernelmmtransparent_hugepagedefrag"etcrc.local；步骤S36：关闭所有节点的防火墙和selinux；取消开机自启动；具体是指：关闭所有节点的防火墙，serviceiptablessaveserviceiptablesstop；chkconfigiptablesoff；serviceip6tablessave；serviceip6tablesstop；chkconfigip6tablesoff；优选的，还包括：关闭所有节点的selinux，setenforce0sed-i.bak'sSELINUX=enforcingSELINUX=disabled'etcsysconfigselinux；sed-i.bak'sSELINUX=enforcingSELINUX=disabled'etcselinuxconfig；所有节点执行reboot重启；本实施例的其他部分与上述实施例相同，故不再赘述。实施例4：本实施例在上述实施例的基础上做进一步优化，所述联机配置安装具体是指：根据既有流程配置集群运行环境，包括NTP服务、SSH免密钥登陆、JAVA环境、安装CDH管理控制台服务，执行完毕，验证各个服务状态操作；具体包括以下步骤：步骤S311：配置所有服务器的运行环境；步骤S312：所有节点服务器互信；具体是指：将各个节点私钥拷贝至每一台服务器，参考命令如下SSH-copy-id-iroot@bigdata-a-001；此处所描述的每一台服务器包括本机，在进行私钥拷贝时需要在etchosts中配置主机名与IP对应关系。判断所有节点验证互信是否成功，通过SSH到各个节点，验证是否配置成功；若否，则检查个别服务器SSH状态异常原因，排查权限的问题；若配置成功，则进入步骤S313；步骤S313：检查所有节点是否是中国时区；若否，则更改成中国时区；具体是指：检查所有节点是否是中国时区，通过date检查返回结果，是否包含CST；若否，则更改成中国时区ln-sfusrsharezoneinfoAsiaShanghaietclocaltime；步骤S314：所有节点配置系统的yum源，以管理节点为HTTP服务器，其余所有节点配置；验证所有节点的yum源是否配置正确；所有节点验证yum状态，通过使用yumsearch检查输出是否正常，以验证yum源是否配置正常；若否，则排查yum源yum.repos.d文件夹下的配置repo文件是否错误；步骤S315：所有节点安装搭建NTP服务，配置所有节点的时间服务器为同一台时间服务器，并验证是否成功；若否，则检查个别服务器异常原因，排查是否NTP组件安装失败或者未启动的异常；步骤S316：安装mysql服务；具体包括根据所述配置管理节点安装mysql数据库；根据所述配置管理节点修改mysql配置文件；所述mysql配置文件包括mysql端口号、设置忽略大小写、字符集编码；根据所述配置管理节点设置mysql服务为开机自启动；根据所述配置管理节点初始化mysql数据、创建访问用户、授权访问；验证mysql数据库的访问状态；具体是指：管理节点初始化数据库包含创建CDH管理控制台元数据库，并根据用户自定义的远程登陆用户名创建远程访问用户，授权远程访问；所有节点验证数据库连接状态；若否，则检查个别服务器异常原因，排查数据库是否启动，或者用户远程访问授权失败；若是，则所有节点安装java环境及安装数据库连接，yum-yinstalloracle-j2sdk1.7mysql-connector-java；若否，则检查个别服务器异常原因，排查是否存在执行权限问题；若是，则管理节点安装CDH管理控制台服务；若否，则检查管理节点服务器异常原因，排查是否存在缺失依赖的问题；若是，则管理节点配置CDH管理控制台服务使用的元数据库；若否，则检查管理节点服务器mysql数据库，检查数据库连接是否存在异常；步骤S317：安装基础运行服务组件；步骤S318：启动服务组件；具体是指：根据所述配置管理节点启动CDH管理控制台服务，并把服务器加入开机自启动当中；根据所述检查验证服务状态；通过日志检查和端口检查，验证启动成功。管理节点服务器启动CDH管理控制台服务；若否，则检查管理节点服务器异常日志，排查是否存在数据库连接异常；若是，则通过日志检查和端口检查，验证启动成功。本实施例的其他部分与上述实施例相同，故不再赘述。实施例5：本实施例在上述实施例的基础上做进一步优化，目前大多数服务器都是LINUX服务器，其支持shell脚本，本实施例提供于LINUX服务器下基于shell脚本的一种自动化安装分布式大数据平台CDH方法，“shell脚本”技术是程序化脚本，是一种计算机程序与文本文件，内容由一连串的shell命令组成，经由UNIXSHELL直译其内容后运作。被当成是一种脚本语言来设计，其运作方式与解释型语言相当，由UNIXSHELL扮演命令行解释器的角色，在读取shell脚本之后，依序运行其中的shell命令，之后输出结果。利用shell脚本可以进行系统管理，文件操作等。S10，环境准备；要求服务器已经安装了RedHatEnterpriseLinux6CentOS6.x操作系统，并且操作系统位数必须是x86_64位，系统IP网络正常，防火墙已经关闭，yum源的RPM安装包已经上传到管理节点。在具体实现过程中，步骤S10“环境准备”需要完成以下的工作流程，安装x86_64位的RedHatEnterpriseLinux6CentOS6.x操作系统，手动执行命令关闭防火墙，检查网络是否正常，保证所有节点相互间能够SSH访问，yum源的RPM安装包上传到管理节点服务器指定目录下。S20，脚本配置；要求根据当前所有节点的情况以及配置文件的备注，完成配置文件的修改。在具体执行过程中，步骤S20“配置脚本”需要完成以下的工作流程，根据所有节点的实际情况，按照配置文件的备注，填写当前各节点的IP、root密码、端口号以及大数据平台自定义需要更改的新的静态IP地址和机器名到配置脚本文件里面，把配置文件和执行脚本上传到管理节点指定目录。S30，安装部署；在具体执行过程中，步骤S30需要在管理节点执行脚本，其会从配置文件里面获取当前服务器的基本信息，验证系统的基础环境，如果遇到异常会提示修改，待运维人员调整完毕之后，脚本会继续执行，其会根据流程配置静态IP和修改机器名等操作，完成之后会根据既有流程安装配置集群运行环境，包括NTP服务、SSH免密钥登陆、JAVA环境、安装CDH管理控制台服务等，执行完毕，验证状态。S40，结果检查，登陆CDH管理控制台界面检查状态；本申请实施例中，步骤S40“结果检查”，需要登陆CDH管理控制台，验证其状态。在具体执行过程中，步骤S40只需要登陆CDH管理控制台，查看服务是否启动，验证状态是否正常，本自动化安装分布式大数据平台CDH的流程完毕。本实施例的其他部分与上述实施例相同，故不再赘述。以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

权利要求：1.一种自动化安装分布式大数据平台CDH方法，其特征在于：具体包括以下步骤：S10：环境准备；具体是指：对各节点服务器的基础环境进行检查，准备好安装资源；S20：脚本配置；根据配置文件要求，对所有节点服务器的基本信息及用户的自定义信息配置完毕；S30：安装部署；根据执行脚本的运行流程配置集群基础环境及大数据运行环境，具体包括基础服务配置、搭建NTP服务、SSH免密钥登陆、java环境、安装CDH管理控制台服务以及验证服务状态；S40：结果检查；登陆CDH管理控制台查看结果。2.根据权利要求1所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S10中对各节点服务器的基础环境进行检查，具体包括：步骤S11：判断各节点服务器的操作系统版本是否符合要求；若否，则需要重新安装操作系统；步骤S12：对各节点服务器操作系统的系统架构检查，判断操作系统是否为x86_64的系统架构；步骤S13：对各节点服务器操作系统的IP网络进行检查，测试各节点之间是否连通；步骤S14：检查各个节点服务器的配置文件、安装包及执行脚本。3.根据权利要求2所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S20具体包括：步骤S21：检查所有节点服务器的IP地址、SSH端口、root用户密码、用户大数据平台安装的自定义信息配置到部署文件里；若否，需要针对提示未合理设置的地方修改；步骤S22：检查所有节点服务器的配置信息是否正确，以及自定义信息配置是否合理；若否，则需要针对异常和不合理信息做出调整。4.根据权利要求1所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S30具体包括单机配置安装和联机配置安装：所述单机配置安装具体包括以下步骤：步骤S31：所有节点按照脚本配置信息的对应关系，设置各服务器的IP为静态IP，设置完成后重启NETWORK服务；步骤S32：所有节点按照脚本配置信息的对应关系，设置各服务器的机器名为相应的统一格式，并按照顺序命名；步骤S33：所有节点按照配置文件的对应关系，修改hosts文件，加入各个节点IP以及对应的机器名；步骤S34：确认相互各个节点都能连通，且没有丢包现象，保证网络的正常；步骤S35：所有节点的变量设置：具体是指：修改所有节点swappiness的值和transparent_hugepage的值；所有节点调整配置为开机自启动修改；步骤S36：关闭所有节点的防火墙和selinux；取消开机自启动。5.根据权利要求4所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述联机配置安装具体是指：根据既有流程配置集群运行环境，包括NTP服务、SSH免密钥登陆、JAVA环境、安装CDH管理控制台服务，执行完毕，验证各个服务状态操作；具体包括以下步骤：步骤S311：配置所有服务器的运行环境；步骤S312：所有节点服务器互信；判断所有节点验证互信是否成功，通过SSH到各个节点，验证是否配置成功；若否，则检查个别服务器SSH状态异常原因，排查权限的问题；步骤S313：检查所有节点是否是中国时区；若否，则更改成中国时区；步骤S314：所有节点配置系统的yum源，以管理节点为HTTP服务器，其余所有节点配置；验证所有节点的yum源是否配置正确；步骤S315：所有节点安装搭建NTP服务，配置所有节点的时间服务器为同一台时间服务器，并验证是否成功；若否，则检查个别服务器异常原因，排查是否NTP组件安装失败或者未启动的异常；步骤S316：安装mysql服务；步骤S317：安装基础运行服务组件；步骤S318：启动服务组件；具体是指：根据所述配置管理节点启动CDH管理控制台服务，并把服务器加入开机自启动当中；根据所述检查验证服务状态；通过日志检查和端口检查，验证启动成功。6.根据权利要求5所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S316具体包括：根据所述配置管理节点安装mysql数据库；根据所述配置管理节点修改mysql配置文件；根据所述配置管理节点设置mysql服务为开机自启动；根据所述配置管理节点初始化mysql数据、创建访问用户、授权访问；验证mysql数据库的访问状态。7.根据权利要求6所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S317具体包括：根据所述配置所有节点安装java运行环境；根据所述配置所有节点安装mysql驱动环境；根据所述配置管理节点安装CDH管理控制台服务；根据所述配置CDH管理控制台服务使用的元数据库。8.根据权利要求7所述的一种自动化安装分布式大数据平台CDH方法，其特征在于：所述步骤S14具体是指：判断所述管理节点的配置文件是否按照当前集群机器情况修改IP用户、密码、修改后的机器名；判断所述管理节点目录下是否存在所述配置文件及安装源。

百度查询： 四川中电启明星信息技术有限公司 国网信息通信产业集团有限公司 一种自动化安装分布式大数据平台CDH方法