i have n 上传到亚马逊S3的文件数量 i need*search* 这些文件基于字符串的出现 in its contents,我尝试了一种从 S3 存储桶下载文件的方法,将输入流转换为字符串,然后在内容中搜索单词,但如果它们超过五到六个文件,则需要大量时间来执行上述过程,
他们还有其他方法可以做到这一点,请帮忙提前致谢。
如果你的文件包含 CSV、TSV、JSON、Parquet 或 ORC,你可以看看 AWS 的 Athena:https://aws.amazon.com/athena/
从他们的介绍来看:
Amazon Athena 是一种快速、经济高效的交互式查询服务
这使得无需数据即可轻松分析 S3 中的 PB 级数据
要管理的仓库或集群。
不过不太可能对您有帮助,因为听起来您有纯文本可供搜索。
我想我会提到它,因为它可能会帮助其他人寻求解决类似的问题。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)