项目整理-大数据分析项目
有大半年时间在做大数据分析，主要产品为OI。
OI 用到了flume，spark，graphite。学习了大数据的开发。
优点：flume，spark源代码的学习，performance调优
OI
项目的框架：用flume做数据收集，spark做数据分析，graphite做数据显示，seyren做告警系统
项目的难点：spark和flume的框架的学习，performance的调优
遇到的问题：
1.这个问题整个小组研究了大半个月左右，一开始以为是scala 中list代码的问题，scala的某一版本中list的序列化是会按照列表成员的个数做递归调用的。后来发现用的不是那个版本。后来定位到是提交task，deriver 调用JavaSerialize反序列化RDD时抛出的问题，就在反序列化之前将byte数组保存到文件中。并调用代码发现是spark两次调用了UpdateStat 方法，导致了RDD的依赖没有被切断
2.经常抛出OutOfMemory问题，发现是spark太消耗内存了，spark专门有一章是说memory tuning的，对照着修改了一些参数解决了这个问题
3.死锁的问题，解决方法是设置wait的时间，或者用block queue
private void dequeueEvents(List<byte[]> events) {
while ( eventQueue.size() == 0) {
synchronized (dequeueMonitor) {
dequeueMonitor.wait(1000);
}
}
synchronized (eventQueue) {
events.addAll(eventQueue);
eventQueue.clear();
}
synchronized (queueMonitor) {
queueMonitor.notify();
}
}
public void queueEvent (byte[] body) throws InterruptedException {
while (eventQueue.size() >= maxEventQueueSize) {
synchronized (queueMonitor) {
queueMonitor.wait(1000);
}
}
synchronized (eventQueue) {
eventQueue.add(body);
}
synchronized (dequeueMonitor) {
dequeueMonitor.notify();
}
}4.Flume 经常抛出Session timeout exception，是因为当时网络不好
5. Spark调用hdfs接口的时候，经常报native方法找不到，需要在jre的native目录下添加hadoop相关的so文件
6. 修改whisper的write函数，让新增的数据可以和原始数据相加，而不是直接覆盖
项目的优化：
1.写了专门用来监控performance相关参数的软件OI-Performance,在graphite上能够很好的展示这些属性，便于观察，监控的属性有SystemCpuLoad，ProcessCpuLoad，HeapMemoryUsage，GC的时间，disk util，network，以及一些业务属性
2.修改了spark中的storage level，减少了内存占用量
3. 调整了JVM中new-ratio的比例，延长变量在新生代中存活的时间，减少full GC的时间
4.减少了collector这部环节，让agent直接发送数据到flume，让压缩过的数据直接传输到spark，减少了磁盘的读写以及内存的开销
5. 减少了Avro格式转换成Seven自定义对象的环节，OI直接从generic record获取数据
6.替换flume的channel类型，让flume使用Memory Channel，减少磁盘的读写
基础知识补习：
1. ByteBuffer http://www.cnblogs.com/freeliver54/archive/2011/08/10/2133382.html
sendBuffer.flip(); //limit =position，position = 0
final int nbSentBytes = sendData(sendBuffer); //发送数据调用sendBuffer的get方法，数据的长度=limit-position
sendBuffer.limit(sendBuffer.capacity());//重置limit为capacity
sendBuffer.rewind();//position=0，mark = -1
2. MogoDB的查询，查询很简单只要设置查询条件，调用相关的增删查方法就可以了
Query query = new Query();
Criteria criteria = Criteria.where("instanceInfo").is(clientInfo.getInstanceInfo())
.and("z7addr").is(clientInfo.getZ7addr());
query.addCriteria(criteria);
Update update = new Update();
update.set("imei", clientInfo.getImei()).set("msisdn", clientInfo.getMsisdn())
.set("clientVersion", clientInfo.getClientVersion()).set("osName", clientInfo.getOsName())
.set("osVersion", clientInfo.getOsVersion())
.set("appMap", clientInfo.getAppMap());
mongoTemplate.upsert(query, update, clientInfo.getClass());
3. JMX获取Java进程的heapmemory and Cpu Info
MBean的介绍 http://blog.csdn.net/rudymatrix/article/details/1922868
4.Scala语言可伸缩的语言 是一种多范式的编程语言，一种类似java的编程 ，设计初衷是要集成面向对象编程和函数式编程的各种特性http://baike.baidu.com/view/1588150.htm?fr=aladdin