大模型应用系列:从Ranking到Reranking
Reranking是大模型应用中RAG 系统的一个非常关键的步骤,其核点是提高最初检索到的文件的相关性和质量。在最初的检索过程之后,对这些文档进行重新排序和重新组织,目标是确定最相关信息的优先次序,确保在作出回应...
系统设计目标:如何提升系统性能?
优化方案因问题不同而异。例如,如果是数据库访问慢,可能需要检查是否有锁表、全表扫描、索引是否合适、JOIN 操作是否优化、是否需要加缓存等;如果是网络问题,则需要检查网络参数、抓包分析是否有大量超时重传、...
面试官:Kafka是如何实现百万级高吞吐量的?
Kafka是一个非常优秀的消息系统,它提供了高吞吐量、低延迟和高可靠性等特性。通过使用批量发送与压缩、优秀的网络模型、磁盘顺序写、页缓存、分区并发、sendfile零拷贝等技术,Kafka可实现百万级高吞吐量。