业务层：场景化构建
阅读全文…
持续了一段时间在观察一些还在活跃系统的架构变化，从最早开始关注的tidb，到ozone，再到也一直持续在关注的presto，从中也发现了一些共同点。再结合最早的hadoop的设计，我们会发现架构的演变方向。
针对组件系统来说，大体上逻辑架构还是master-worker模式。或者说计算节点和存储节点分离的模式。
阅读全文…
webFlux和MVC的区别
Spring WebFlux 是一个无阻塞的Web 框架，它能够充分利用多核CPU 的硬件资源去处理大量的并发请求
Spring MVC 构建于Servlet API 之上，使用的是同步阻塞式I/O 模型，每一个请求对应一个线程去处理。
阅读全文…
周日处理一个spring-security的问题。顺带把spring的类加载机制和spring的security也看了一遍。
觉得spring的整个设计还是蛮有意思的。用的spring是4.3.18，后续用到的源码也都是这个版本的。
阅读全文…
先说结论：如果你的框架没有强制依赖guava的话，那么选哪个都可以，如果强制依赖了guava的话，那么用com.github.javatlacati » contiperf
|
组件
|
noconnor » junitperf
|
javatlacati » contiperf
|
houbb » junitperf
|
|
最新junit版本
|
5
|
4
|
5
|
|
输出报告
|
console,html,csv,custom,multiple
|
html
|
console,html,csv,custom,multiple
|
|
指标
|
吞吐、min、max、avg、success、error
|
吞吐、min、max、avg、med、90线
|
同noconnor » junitperf
|
|
定制指标
|
可以随意定制90线，95线等指标
|
可以随意定制90线，95线等指标
|
可以随意定制90线，95线等指标
|
|
多线程
|
支持
|
支持
|
支持
|
|
结果预期
|
支持
|
支持
|
支持
|
|
输出
|
通过JUnitPerfRule定义
|
通过标注 report定义
|
|
|
参数
|
丰富
|
丰富
|
有裁剪，没有所有都支持
|
public class PerformanceTest {
//定义输出模式，CsvReportGenerator，HtmlReportGenerator，CustomStatisticsCalculatorImpl，CustomStatisticsCalculatorImpl
@Rule
public JUnitPerfRule perfTestRule = new JUnitPerfRule(new ConsoleReportGenerator());
/**
* threads ：执行线程数
* durationMs ：执行时间
* rampUpPeriodMs：平滑预热时间，默认是精致
* warmUpMs ： 准备时间
* maxExecutionsPerSecond：每秒执行个数
* @throws InterruptedException
*/
@Test
@JUnitPerfTest(threads = 50, durationMs = 125_000, rampUpPeriodMs = 2_000, warmUpMs = 10_000, maxExecutionsPerSecond = 11_000)
public void test() throws InterruptedException {
System.out.println("haha");
ThreadLocalRandom current = ThreadLocalRandom.current();
TimeUnit.SECONDS.sleep(current.nextInt(10));
}
}
/**
* @author lukexue
* @create 2020-06-10 15:02
**/
public class PerformanceTest2 {
/**
* 配置：2个线程运行。准备时间：1000ms。运行时间: 2000ms。
* 要求：最快不可低于 210ms, 最慢不得低于 250ms, 平均不得低于 225ms, 每秒运行次数不得低于 4 次。
* 20% 的数据不低于 220ms, 50% 的数据不得低于 230ms;
* reporter : 输出格式html
*/
@Test
@JunitPerfConfig(threads = 50, warmUp = 10000, duration = 125000, reporter = {ConsoleReporter.class}) //ConsoleReporter，HtmlReporter
@JunitPerfRequire(min = 210, max = 250, average = 225, timesPerSecond = 4, percentiles = {"20:220", "50:230"})
public void test() throws InterruptedException {
System.out.println("haha");
ThreadLocalRandom current = ThreadLocalRandom.current();
TimeUnit.SECONDS.sleep(current.nextInt(10));
}
}
</div> <div>15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Started at: 2020-06-10 15:07:26.854 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Invocations: 1340 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Success: 1340 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Errors: 0 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Thread Count: 50 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Warm up: 10000ms 15:09:31.976 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Execution time: 125000ms 15:09:31.977 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Throughput: 11/s (Required: 4/s) - PASSED 15:09:31.978 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Min latency: 0.003639ms (Required: 210.0ms) - PASSED 15:09:31.978 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Max latency: 9005.115ms (Required: 250.0ms) - FAILED 15:09:31.979 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Ave latency: 4351.276ms (Required: 225.0ms) - FAILED 15:09:31.979 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Percentile: 50% 4004.3013ms (Required: 230.0ms) - FAILED 15:09:31.980 [main] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Percentile: 20% 1004.48737ms (Required: 220.0ms) - FAILED 15:09:31.982 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Started at: 2020-06-10 15:07:26.854 15:09:31.982 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Invocations: 1340 15:09:31.982 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Success: 1340 15:09:31.982 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Errors: 0 15:09:31.982 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Thread Count: 50 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Warm up: 10000ms 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Execution time: 125000ms 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Throughput: 11/s (Required: 4/s) - PASSED 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Min latency: 0.003639ms (Required: 210.0ms) - PASSED 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Max latency: 9005.115ms (Required: 250.0ms) - FAILED 15:09:31.983 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Ave latency: 4351.276ms (Required: 225.0ms) - FAILED 15:09:31.984 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Percentile: 50% 4004.3013ms (Required: 230.0ms) - FAILED 15:09:31.984 [pool-2-thread-1] INFO com.github.houbb.junitperf.core.report.impl.ConsoleReporter - Percentile: 20% 1004.48737ms (Required: 220.0ms) - FAILED</div> </div> <div>
注册的事件类型 –> 事件的处理类RMAppEventType –> ApplicationEventDispatcherRMAppAttemptEventType –> ApplicationAttemptEventDispatcherNodesListManagerEventType –> NodesListManagerSchedulerEventType –> SchedulerEventDispatcherRMNodeEventType –> NodeEventDispatcherRMAppManagerEventType –> RMAppManagerAMLauncherEventType –> ApplicationMasterLauncherRMFatalEventType –> ResourceManager.RMFatalEventDispatcher
WritingHistoryEventType –> ForwardingEventHandlerdispatcher个数 ：yarn.resourcemanager.history-writer.multi-threaded-dispatcher.pool-size=10
SystemMetricsEventType –> ForwardingEventHandlerdispatcher个数 ：yarn.resourcemanager.system-metrics-publisher.dispatcher.pool-size=10
NodeLabelsStoreEventType –> ForwardingEventHandler
ContainerManagerEventType –> ContainerManagerImplNodeManagerEventType –> NodeManager
ContainerEventType –> ContainerEventDispatcherApplicationEventType –> ApplicationEventDispatcherLocalizationEventType –> ResourceLocalizationServiceContainersMonitorEventType –> ContainersMonitorContainersLauncherEventType –> ContainersLauncherLogHandlerEventType –> LogHandlerSharedCacheUploadEventType –> SharedCacheUploadService
LocalizerEventType –> LocalizerTracker
之前一直没有系统的整理 日志依赖相关的包，最近恰好查一个问题，需要在一个最简单的环境下，打印日志。就花了点时间整理了一下各个日志包之间的使用关系。
阅读全文…