hefylia
本站致力于IT相关技术的分享
集成 Jib、SAML 与 Firestore 构建动态数据隔离的多租户 Spring Boot 架构 集成 Jib、SAML 与 Firestore 构建动态数据隔离的多租户 Spring Boot 架构
我们面临的初始需求听起来很直接：为公司内部不同业务线（BU）构建一个统一的数据管理平台。但魔鬼藏在细节里：每个BU都使用自己独立的身份提供商（IdP），遵循SAML 2.0协议；平台必须实现零接触式租户 onboarding，即新BU接入时
2023-10-27 后端架构
Jib SAML Firestore Spring Boot 多租户
构建基于Knative的事件驱动型Snowflake数据摄取核心库与自动化工具链 构建基于Knative的事件驱动型Snowflake数据摄取核心库与自动化工具链
团队内部的数据源越来越多，从 Kafka 的业务事件流，到对象存储上游系统定时落地的文件，都需要统一汇入 Snowflake 数仓进行分析。最初的解决方案是为每个数据源编写一个独立的微服务，常驻运行，监听事件并执行ETL。这种模式很快暴露了
2023-10-27 云原生
核心库 Snowflake Knative 构建与工具 Golang Serverless
一个集成了动态样式、OpenCV处理与WebSocket通信的视觉组件开发实录 一个集成了动态样式、OpenCV处理与WebSocket通信的视觉组件开发实录
团队接手了一个新需求，要求在多个前端项目中嵌入一个功能：实时捕获用户摄像头画面，发送到后端进行视觉分析，然后将分析结果（如人脸框、关键点）实时绘制在画面上。直接的想法是为每个项目单独实现，但这显然不是一个可维护的方案。我们需要的是一个独立的
2023-10-27 前端工程化
WebSockets Storybook 样式方案 OpenCV
构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践 构建基于DVC服务网格与Angular的机器学习特征全链路可观测性与版本化实践
团队的机器学习模型迭代开始失控，根源不在算法，而在特征。一个特征工程脚本的微小改动，一周后可能导致线上模型性能的神秘衰减，而彼时，没人能准确复盘出是哪个版本的代码、处理了哪一批数据、最终生成了线上正在使用的那版特征。特征的生成过程变成了一个
2023-10-27 MLOps
MLOps DVC Service Mesh Angular Vitest Istio
构建一个集成Jotai前端、Ruby后端与云端SciPy计算的异步任务平台 构建一个集成Jotai前端、Ruby后端与云端SciPy计算的异步任务平台
我们团队的数据分析师最近遇到了一个瓶颈。他们依赖一组复杂的Python脚本进行蒙特卡洛模拟，这些脚本大量使用SciPy和NumPy。问题在于，这些计算任务通常需要运行5到20分钟，完全锁死他们的本地机器，而且结果分享极为低效——通常是截图或
2023-10-27 后端架构
云服务商 Jotai SciPy Ruby
构建基于Nomad与ClickHouse的高吞吐可观测TensorFlow模型服务 构建基于Nomad与ClickHouse的高吞吐可观测TensorFlow模型服务
最初的尝试是一场灾难。一个简单的 Flask 应用，通过 tensorflow.keras.models.load_model 加载模型，然后用 Gunicorn 部署了几个 worker。当流量只有每秒几次请求时，一切看起来都还不错。但当
2023-10-27 MLOps
Nomad TensorFlow Django 模型部署 ClickHouse
3 / 5