Java如何实现日志文件监听并读取相关数据


这篇“Java如何实现日志文件监听并读取相关数据”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Java如何实现日志文件监听并读取相关数据”文章吧。

项目需求

由于所在数据中台项目组需要实现监听文件夹或者日志文件并读取对应格式的脏数据的需求,以便在文件、文件夹发生变化时进行相应的业务流程;所以在这里记录下相关业务的实现及技术选型。

Apachemons-IO

首先需要添加对应依赖:

<dependency><groupId&gtmons-io</groupId><artifactId&gtmons-io</artifactId><version>2.7</version></dependency>

版本可自行选择,这里需要注意的是 2.7 版本及以上需要 Java 8

官网截图:

Apachemos IO中的 org.apachemons.io.monitor包提供了文件系统监听的功能。

核心知识

  • 一句话总结:通过观察者模式以及事件监听机制,以 FileAlterationObserver 为核心,再通过 FileAlterationListenerFileAlterationMonitor,就可以实现对文件系统的事件监听。

  • 整体流程:

  • 自定义文件监听类并继承 FileAlterationListenerAdaptor 实现对文件与目录的创建,修改,删除事件的处理

  • 自定义文件监控类,通过指定目录创建一个观察者 FileAlterationObserver

  • 向此监视器添加文件系统观察器,并添加文件监听器

  • 通过 ApplicationRunner 或者 <codemandLineRunner 调用并执行

代码实现

  • 文件监听类:

/***文件监听类*@authorGreenarrow*@date2023-05-1214:43**/publicclassFileListenerextendsFileAlterationListenerAdaptor{privatestaticLoggerlogger=LoggerFactory.getLogger(FileListener.class);@OverridepublicvoidonStart(FileAlterationObserverobserver){super.onStart(observer);logger.info("onStart");}@OverridepublicvoidonDirectoryCreate(Filedirectory){logger.info("[新建]:"+directory.getAbsolutePath());}@OverridepublicvoidonDirectoryChange(Filedirectory){logger.info("[修改]:"+directory.getAbsolutePath());}@OverridepublicvoidonDirectoryDelete(Filedirectory){logger.info("[删除]:"+directory.getAbsolutePath());}@OverridepublicvoidonFileCreate(Filefile){String&nbsppressedPath=file.getAbsolutePath();logger.info("[新建]:"+&nbsppressedPath);List<String>contentList=null;try{if(file.canRead()){//将文件按行读取为字符串集合contentList=FileUtils.readLines(newFilepressedPath),StandardCharsets.UTF_8);if(CollectionUtil.isNotEmpty(contentList)){//获取对应格式的数据并输出,这里可自行添加业务处理List<String>dirtyRecord=contentList.stream().filter(s->s.startsWith("{")&&s.endsWith("}")).collect(Collectors.toList());dirtyRecord.forEach(System.out::println);}}}catch(IOExceptione){e.printStackTrace();logger.error("读取文件内容失败",e);}}@OverridepublicvoidonFileChange(Filefile){String&nbsppressedPath=file.getAbsolutePath();logger.info("[修改]:"+&nbsppressedPath);}@OverridepublicvoidonFileDelete(Filefile){logger.info("[删除]:"+file.getAbsolutePath());}@OverridepublicvoidonStop(FileAlterationObserverobserver){super.onStop(observer);logger.info("onStop");}}
  • 文件监控类:

/***文件监听测试demo*@authorGreenarrow*@date2023-05-1214:45**/publicclassFileMonitor{FileAlterationMonitormonitor=null;publicFileMonitor(longinterval)throwsException{monitor=newFileAlterationMonitor(interval);}/***给文件添加监听*@parampath*@paramlistener*/publicvoidmonitor(Stringpath,FileAlterationListenerlistener){FileAlterationObserverobserver=newFileAlterationObserver(newFile(path));monitor.addObserver(observer);observer.addListener(listener);}publicvoidstop()throwsException{monitor.stop();}publicvoidstart()throwsException{monitor.start();}}
  • 自定义 Runner 并实现 <codemandLineRunner :

/***项目启动之后开启文件监听功能*@authorGreenarrow*@date2023-05-1210:02**/ponent//@Order(Integer.MIN_VALUE)publicclassDirtyRecordRunnerimplements&nbspmandLineRunner{privatestaticLoggerlogger=LoggerFactory.getLogger(DirtyRecordRunner.class);@Value("${test}")privateStringpath;@Overridepublicvoidrun(String...args)throwsException{logger.info(this.getClass().getName()+"[开启文件夹监听功能]");FileMonitorfileMonitor=newFileMonitor(1000);fileMonitor.monitor(path,newFileListener());fileMonitor.start();}}

以上就是关于“Java如何实现日志文件监听并读取相关数据”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注主机评测网行业资讯频道。


上一篇:如何配置Nginx访问与错误日志

下一篇:SQL?Server如何使用PIVOT与unPIVOT实现行列转换


Copyright © 2002-2019 测速网 https://www.inhv.cn/ 皖ICP备2023010105号 城市 地区 街道
温馨提示:部分文章图片数据来源与网络,仅供参考!版权归原作者所有,如有侵权请联系删除!
热门搜索