Java技术交流
xiaowei2002 · 共 121 篇文章
Kafka
慢慢道来…… 原来,对于Linkin这样的互联网企业来说,用户和网站上产生的 数据有三种 : 需要实时响应的交易数据,用户提交一个表单,输入一段内容,这种数据最后是存放在关系数据库(Oracle, MySQL)中的,有些需要事务支持。 活动流数据,准实时的,例如页面访问量、用户行为、搜索情况,这些数据可以产生啥?广播、排序、个性化推荐、运营监控等。这种数据一般是前端服务器先写文件,然后通过批量的方式把文件倒到Hadoop这种大数据分析器里面慢慢整。 各个层面程序产生的日志,例如httpd的日志、tomcat的日志、其他各种程序产生的日志。码农专用,这种数据一个是用来监控报警,还有就是用来做分…
2015-11-24 15:58 · MQ · 评论(0)
Kafka 对比 ActiveMQ
Kafka 是LinkedIn 开发的一个高性能、分布式的消息系统,广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计,在大部分情况,Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。 Kafka 将消息流按Topic 组织,保存消息的服务器称为Broker,消费者可以订阅一个或者多个Topic。为了均衡负载,一个Topic 的消息又可以划分到多个分区(Partition),分区越多,Kafka并行能力和吞吐量越高。 Kafka 集群需要zookeeper 支持来实现集群,最新的kafka 发行包中已经包含了zookeeper,部署的时候可以…
2015-11-24 15:31 · MQ · 评论(0)
Java应用一般架构原理
当我们架设一个系统的时候通常需要考虑到如何与其他系统交互,所以我们首先需要知道各种系统之间是如何交互的,使用何种技术实现。 1. 不同系统不同语言之间的交互 现在我们常见的不同系统不同语言之间的交互使用WebService,Http请求。WebService,即“Web 服务”,简写为 WS。从字面上理解,它其实就是“基于 Web 的服务”。而服务却是双方的,有服务需求方,就有服务提供方。服务提供方对外发布服务,服务需求方调用服务提供方所发布的服务。如果说得再专业一点,WS 其实就是建立在 HTTP 协议上实现异构系统通讯的工具。没错!WS 说白了还是基于 HTTP 协议的,也就是说,数据是…
2015-11-12 09:51 · 学习笔记 · 评论(0)
cookie与seesion的关系及集群服务器下的共享问题
一 cookie与seesion的关系 为什么会有cookie呢,大家都知道,http是无状态的协议,客户每次读取 web 页面时,服务器都打开新的会话,而且服务器也不会自动维护客户的上下文信息,那么要怎么才能实现网上商店中的购物车呢,session就是一种保存上下文信息的机制,它是针对每一个用户的,变量的值保存在服务器端,通过 SessionID来区分不同的客户,session是以cookie或URL重写为基础的,默认使用cookie来实现,系统会创造一个名为 JSESSIONID的输出cookie,我们叫做session cookie,以区别persistent cookies,也就是我…
2015-11-11 17:12 · 学习笔记 · 评论(0)
缓存概述
1.1 分布式缓存的特性 分布式缓存具有如下特性: 1) 高性能:当传统数据库面临大规模数据访问时,磁盘I/O 往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value 形式存储,理想情况下可以获得DRAM 级的读写性能; 2) 动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性;同时,最大限度地提高资源利用率; 3) 高可用性:可用性包含数据可用性与服务可用性两方面.基于冗余机制实现高可用性,无单点失效(single point of failure),支持故障的自动发现,透明地实施故障切换…
2015-11-11 16:01 · 学习笔记 · 评论(0)
JVM 运行时数据区简介及堆与栈的区别
1、JVM运行时数据区分类 程序计数器 (Program Counter (PC) Register) JVM栈 (Java Virtual Machine Stacks) 堆内存 (Heap Memory) 方法区 (Method Area) 运行时常量池 (Run-time Constant Pool) 本地方法栈 (Native Method Stacks) 2、看图说话 3、按线程持有划分 查看上面的图,可以得知以上六个数据区可以分为线程私有还是共享,总体分为如下两种。 3.1 单个线程私有(Managed Per-Thread) 属于这一种的数据区包含 程序计数器, JVM栈还有本…
2015-11-04 11:20 · JVM · 评论(0)
http://www.cnblogs.com/xing901022/p/4084944.html
http://www.cnblogs.com/xing901022/p/4084944.html
2015-09-25 10:08 · 牛人博客 · 评论(0)
JVM学习笔记(四)------------内存调优
首先需要注意的是在对JVM内存调优的时候不能只看操作系统级别Java进程所占用的内存,这个数值不能准确的反应堆内存的真实占用情况,因为GC过后这个值是不会变化的,因此内存调优的时候要更多地使用JDK提供的内存查看工具,比如JConsole和Java VisualVM。 对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数,过多的GC和Full GC是会占用很多的系统资源(主要是CPU),影响系统的吞吐量。特别要关注Full GC,因为它会对整个堆进行整理,导致Full GC一般由于以下几种情况: 旧生代空间不足 调优时尽量让对象在新生代GC时被回收、让对象在新生代多存活…
2015-09-23 10:20 · JVM · 评论(0)
博客精选
--------------------------Spring、数据结构、设计架构、笔试等等---------------------------------------------- 1、 http://uule.iteye.com/blog/2094609
2015-09-18 10:28 · 学习笔记 · 评论(0)
Dubbo实现的源码分析
------invoker解释---------------------------------- 提供者端的invoker封装了服务实现类、URL、Type,状态均是只读,线程安全,是Dubbo中核心模型,Dubbo中的是实体域,其他所有模型都向它靠拢或转化成它,是一个可执行体,通过发起invoke来具体调用服务类,它可能是个本地实现类,也可能是个远程实现类,也可能是个集群实现invoker,由ProxyFactory产生,具体是AbstractProxyInvoker 1. Dubbo概述 Dubbo是阿里巴巴开源出来的一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用…
2015-09-17 14:51 · Dubbo · 评论(0)
远程通信(RPC,Webservice,RMI,JMS、EJB、JNDI的区别)对比
RPC(Remote Procedure Call Protocol) RPC使用C/S方式,采用http协议,发送请求到服务器,等待服务器返回结果。这个请求包括一个参数集和一个文本集,通常形成“classname.methodname”形式。优点是跨语言跨平台,C端、S端有更大的独立性,缺点是不支持对象,不支持异步调用,无法在编译器检查错误,只能在运行期检查。 Web Service Web Service提供的服务是基于web容器的,底层使用http协议,类似一个远程的服务提供者,比如天气预报服务,对各地客户端提供天气预报,是一种请求应答的机制,是跨系统跨平台的。就是通过一个servle…
2015-09-17 14:33 · Dubbo · 评论(0)
Dubbo框架应用之(三)--Zookeeper注册中心、管理控制台的安装及讲解
我是在linux下使用dubbo-2.3.3以上版本的zookeeper注册中心客户端。 Zookeeper 是Apache Hadoop的子项目,强度相对较好,建议生产环境使用该注册中心。Dubbo未对Zookeeper服务器端做任何侵入修改,只需安装原生的Zookeeper服务器即可,所有注册中心逻辑适配都在调用Zookeeper客户端时完成。 Zooleeper安装 下载解压 [plain] view plain copy print ? <span style="font-size:18px;">wget http://www.apache.org/dist//zookeeper/z…
2015-09-17 14:30 · Dubbo · 评论(0)
Dubbo框架应用之(二)--服务治理
Dubbo服务治理全貌图 当我们现有ITOO平台系统的业务随着用户的逐渐增大,设计的业务越来越广,系统会异常的复杂,在大规模服务之前,我们可以采用的是RMI或Hessian等工具,暴露和引用远程服务,通过配置URL地址和JNDI地址进行调用,使用Apache httpd复杂均衡插件或F5服务器进行负载均衡 存在以下问题和如何解决呢? 当服务越来越多时,服务URL配置管理变得非常困难,F5硬件负载均衡器的单点压力也越来越大。 此时需要一个服务注册中心,动态的注册和发现服务,使服务的位置透明。 并通过在消费方获取服务提供方地址列表,实现软负载均衡和Failover,降低对F5硬件负载均衡器的依赖…
2015-09-17 14:29 · Dubbo · 评论(0)
Junit测试
package com.hyxt; import com.hyxt.cash.core.repository.ShopsInfoRepository; import com.hyxt.cash.core.repository.ShopsInfoTempRepository; import com.hyxt.cash.core.repository.ShopsLoginRepository; import com.hyxt.cash.provider.Application; import org.junit.runner.RunWith; import org.slf4j.Logger; i…
2015-09-17 14:12 · 学习笔记 · 评论(0)