Shiny-Server安装配置
黄杰 Reading time ~1 minute

###Shiny-Server安装配置

####R环境准备

  • R环境已经有了
  • 安装shiny包，install.packages(‘shiny’)
  • 安装rmarkdown包，install.packages(‘rmarkdown’) ####下载rpm安装包
1
2
3

curl -L -O https://download3.rstudio.org/centos-6.3/x86_64/shiny-server-1.4.0.662-rh6-x86_64.rpm

yum install --nogpgcheck  shiny-server-1.4.0.662-rh6-x86_64.rpm

####配置修改 修改文件

1

/etc/shiny-server/shiny-server.conf
,端口改为8080

####应用程序 将shiny的自带例子复制到shiny-server下

1

cp -r /usr/lib64/R/library/shiny/examples/* /srv/shiny-server/

####重启服务

1
2
3

cd /opt/shiny-server/bin
stop shiny-server
start shiny-server

####访问 通过http://ip:8080/访问shiny-server服务 直接访问某个app：http://10.2.29.22:8080/01_hello

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

[root@client shiny-server]# ll /srv/shiny-server/
总用量 44
drwxr-xr-x 3 root root 4096 10月 13 15:59 01_hello
drwxr-xr-x 2 root root 4096 10月 13 15:59 02_text
drwxr-xr-x 2 root root 4096 10月 13 15:59 03_reactivity
drwxr-xr-x 2 root root 4096 10月 13 15:59 04_mpg
drwxr-xr-x 2 root root 4096 10月 13 15:59 05_sliders
drwxr-xr-x 2 root root 4096 10月 13 15:59 06_tabsets
drwxr-xr-x 2 root root 4096 10月 13 15:59 07_widgets
drwxr-xr-x 3 root root 4096 10月 13 15:59 08_html
drwxr-xr-x 2 root root 4096 10月 13 15:59 09_upload
drwxr-xr-x 2 root root 4096 10月 13 15:59 10_download
drwxr-xr-x 2 root root 4096 10月 13 15:59 11_timer
lrwxrwxrwx 1 root root   38 10月 13 14:59 index.html -> /opt/shiny-server/samples/welcome.html
lrwxrwxrwx 1 root root   37 10月 13 14:59 sample-apps -> /opt/shiny-server/samples/sample-apps

shiny-server shiny-server-01-hello

Springxd调用python模块计算沪深300指数
黄杰 Reading time ~1 minute

###Springxd调用python模块计算沪深300指数

####python环境准备

  • springxd的集群，由于python中调用了mysql数据库，所以需要安装MySQL-python模块

centos6.4中使用epel源安装以下组件，包括pip

1

yum install gcc gcc-c++ python-devel mysql-devel python-pip

然后使用pip安装MySQL-python

1

pip install MySQL-python
  • 脚本权限设置
1
2

chmod 775 /opt/SpringXD.py
chown spring-xd:pivotal /opt/SpringXD.py

####springxd stream创建

  • 行情数据从kafka中实时获取
  • 数据经过python模块进行指数计算
  • 计算结果放到kafka中，对外提供订阅服务
1

stream create --name hs300 --definition "kafka --zkconnect=10.2.29.4:2181 --topic=price --autoOffsetReset=smallest --outputType=text/plain | shell --command='/usr/bin/python /opt/SpringXD.py' | file --dir=/opt/test/ --name=hs300" --deploy
信息安全与web安全
黄杰 Reading time ~1 minute

###信息安全与web安全

####整体网络安全架构 网络安全架构

  • 网络层：思科ASA5500系列防火墙，传统的网络包检测和过滤
  • 操作系统层：趋势Deep Security深度安全防护（防病毒、防恶意程序、防篡改、防火墙、漏洞发现与虚拟补丁），对2-7层进行防护，发现安全攻击行为实时阻断
  • 威胁发现：趋势TDA威胁发现（发现所有的扫描行为、攻击行为及尝试攻击行为），对2-7层实时检测，发现攻击行为及时报警
  • 应用层：F5ASMweb应用防火墙，对3-7层进行安全防护，发现应用攻击行为实时阻断
  • 数据库审计：服务器负载均衡、websever、中间件、数据库四层关联审计

思科ASA5500系列防火墙：

  • 主要工作在TCP/IP层以下
  • 深度状态包检测过滤

F5 ASM应用层安全：

  • 传统防火墙只能防止网络攻击，SSL封装的Web攻击对防火墙来说是不可见的
  • 网络入侵检测是设计工作在TCP/IP层的，在HTTP层并没有效果
  • 对内容检查的深度不够，且无法对内容进行任何操作
  • 数据伪装的问题

####下一步的工作

  • 渗透测试，kali
  • 编码工具：小葵
  • 渗透工具：菜刀
  • 抓包工具：Burp Suite
  • sql注入工具：sql注入模块、Pangolin、穿山甲、明小子、萝卜头Havij
  • cookies修改和盗取cookie：啊D
  • post注入和cookie注入工具：sqlmap
  • 漏洞分析检测工具：webcruise
  • 跨站神器：beef，xsser

渗透测试

自动化运维工具puppet和foreman使用总结
黄杰 Reading time ~1 minute

###自动化运维工具puppet和foreman使用总结

2013年启动和实施，稳定有效的运行了两年多

####项目背景

  • 传统的运维方式，效率低下，容易出错，不利于伸缩
  • 自动化的运维方式能够有效的提高工作效率，降低人工出错的可能
  • 能够快速响应用户需求，短时间内完成系统环境准备和配置管理

####项目目标

  • 基于开源的自动化配置和部署软件puppet建立云环境下的自动配置管理平台，能够快速的响应业务需求，集中管理和控制服务器资源
  • 帮助系统管理员管理IT系统架构的整个生命周期，从环境准备到配置管理到补丁管理和应用
  • 自动化重复任务，快速部署关键应用，主动的管理变化。帮助IT环境标准化、流程化、自动化、规模化

####平台架构

  • puppetmaster和foreman分开部署
  • puppetmaster：puppet、puppet-master、factor、foreman-proxy、puppetCA
  • foreman：foreman、foreman database（mysql）、puppet

平台架构图

####安装

  • 使用foreman-installer安装 两台主机上安装foreman-installer安装环境
1
2
3
4

yum -y install http://yum.theforeman.org/releases/1.3/el6/x86_64/foreman-release.rpm
rpm -ivh http://yum.puppetlabs.com/el/6/products/i386/puppetlabs-release-6-7.noarch.rpm
rpm -ivh http://mirrors.yun-idc.com/epel/6/i386/epel-release-6-8.noarch.rpm
yum -y install foreman-installer

foreman安装

1
2
3
4
5

foreman-installer \
  --puppet-server=false \
  --foreman-proxy-puppetrun=false \
  --foreman-proxy-puppetca=false \
  --foreman-db-type=mysql

puppetmaster安装

1
2
3
4
5
6
7

foreman-installer \
  --no-enable-foreman \
  --enable-puppet \
  --puppet-server-foreman-url=https://foreman.xxb.cn \
  --enable-foreman-proxy \
  --foreman-proxy-tftp=false \
  --foreman-proxy-foreman-base-url=https://foreman.xxb.cn

####多环境部署

  • 根据需要可部署多套环境，生产环境、测试环境及开发环境 foreman界面

####自建yum本地库

  • tomcat6和tomcat7的环境使用自己打包的rpm安装

####module

  • 实现base、yum源的管理、ntp时间的同步、dns的管理、sysctl的管理、ssh的配置、iptables管理、apache安装、jre6,7安装、mysql安装、tomcat6,7安装、php安装、play1.2.5安装、zabbix agent的安装、puppet agent、mysql、logstash、logrotate等

git库中的puppet-module

####心得

  • 期初modules的是自己编写，后来觉得没必要重复制造轮子，就使用forge和puppetlab上的现有资源，经过简单的修改直接使用
  • 开发调试还是要经过开发环境和测试环境的验证后，在推送到生产环境中使用
  • 公网上的yum源存在不稳定因素，会影响配置的推送和安装部署，导致失败，重要配置使用自己本地yum源，如果有需要，如tomcat环境，自己打包rpm，并配置yum源
  • puppet-client初始配置问题，最好是OS层自动化部署安装时将puppet client的配置打进去，启动时自启动，同时获取CA
大数据子项目阶段汇报
黄杰 Reading time ~1 minute

###大数据子项目阶段汇报

####本周进展：

  • 本周完成price行情数据实时进入GPDB，后续委托队列、逐笔成交、委托队列、产品陆续实时入库
  • 讨论指数计算方法和实施步骤，工作任务分配，确定使用python实现计算功能，并和springxd集成
  • 发布和订阅服务kafka部署及测试

####存在问题：

kafka c++接口API存在bug，正在和建生、宫剑讨论和测试替代方案，影响高频数据发送

####下周计划：

  • 百度新闻定向爬取（webmagic）

###总体完成情况

###1. Pivotal Hadoop

  • 完成phd2.1生产集群的规划、部署、配置、测试验证，集群由11个节点组成，主要包括hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、mahout、flume、sqoop、pxf、hawq等 带有kerberos安全认证的集群

  • 完成phd3.0生产集群的规划、部署、配置、测试验证，集群由8个节点组成，主要包括Ambari、hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、Tez、Pig、Nagios、Ganglia、Oozie等 不带有kerberos安全认证的集群，带有监控和报警

phd3.0

###2. GreenplumDB

  • 集群由16个节点组成
  • 基于GPDB部署Madlib开源机器学习算法库、PL/R、pivotalR模块

gpdb pivotalR Madlib

###3. Springxd

  • 完成SpringXD1.1.1测试集群分布式部署
  • 完成SpringXD1.2.0生产集群分布式部署
  • 文件到数据库，kafka到数据库，kafka到文件，Json格式解析，多数据流等

springxd-ui kafka-manager

###4. webmagic

  • 完成淘股吧定向股票政策利好爬去和股票代码解析 taoguba taoguba