wizeboxed
本站致力于IT相关技术的分享
  文章分类
可观测性 3 数据工程 4 DevOps 3 分布式架构 1 云原生 3 后端开发 1 软件工程与架构 1 架构设计 1 后端架构 8 网络安全 1 全栈开发 1
构建基于 NATS JetStream 和 AWS S3 的混合式实时特征管道架构 构建基于 NATS JetStream 和 AWS S3 的混合式实时特征管道架构
定义挑战：实时与批处理的二元困境在构建现代机器学习平台时，一个核心矛盾始终存在：在线推理服务要求毫秒级的特征访问延迟，而模型训练则需要对海量历史数据进行高效的批处理。这就催生了对一个混合系统的需求，它既能处理高吞吐量的实时事件流，又能将这些
2023-10-27 数据工程
AWS NATS Data Lake Chakra UI Jib
基于CDC构建从OLTP到Meilisearch与ClickHouse的双流数据同步架构 基于CDC构建从OLTP到Meilisearch与ClickHouse的双流数据同步架构
一个业务系统发展到一定阶段，几乎总会面临数据读取模式的冲突。用户前端需要亚秒级的、支持模糊匹配与拼写纠错的全文检索；而运营和数据分析团队则需要对数月甚至数年的数据进行复杂的聚合、分组和统计查询，以生成报表。这两种需求，在底层技术实现上是根本
2023-10-27 数据工程
ClickHouse PHP Meilisearch Docker CDC Debezium
基于HBase为海量WAF日志构建高基数可观测性数据管道 基于HBase为海量WAF日志构建高基数可观测性数据管道
我们负责维护的WAF集群每天要处理近千亿次的请求，随之产生的安全日志体量是惊人的。最初，我们使用一套成熟的ELK Stack来收集和分析这些日志，在业务初期这套方案运行良好。但随着流量增长，尤其是攻击的多样化导致日志字段的基数（Cardin
2023-10-27 数据工程
WAF HBase 可观测性 Go 大数据
构建从OCI SQL到ClickHouse的CDC数据管道及其在ELK上的可观测性实践 构建从OCI SQL到ClickHouse的CDC数据管道及其在ELK上的可观测性实践
我们的业务核心系统一直运行在OCI（Oracle Cloud Infrastructure）上的一套高可用PostgreSQL集群上。随着业务量增长，对实时数据的分析需求变得愈发尖锐，但直接在主库上跑复杂的分析SQL已经数次触发了数据库的性
2023-10-27 数据工程
Message Queue SQL ClickHouse OCI ELK Stack