使用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

发生了什么

AWS 介绍了如何使用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容，适用于托管式 Web Crawler 连接器无法满足需求的情况。准备步骤会为每个页面生成 Markdown 文件和元数据旁车文件，并写入 Amazon S3，随后知识库通过其 S3 数据源导入这些内容。文章介绍了如何选择导入路径、进行自定义提取和添加元数据，以及验证检索质量，并附有配套的 aws-samples 代码仓库。

接下来读什么

• 今日还有哪些重要变化通过五项核心价值观解读 OpenAI 更新后的 Model Spec

这件事到目前为止

AWS published a guide for using Crawl4AI, an open source Python crawler, to prepare web content for Amazon Bedrock Knowledge Bases when the managed Web Crawler connector is not sufficient. In the described workflow, the preparation step writes Markdown and a metadata sidecar for each page to Amazon S3, and the knowledge base then ingests that content through its S3 data source. The guide covers choosing an ingestion path, custom extraction and metadata, and validating retrieval quality. A companion aws-samples repository accompanies the post.