Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
在大型文本文件中搜索字符串 - 分析 python 中的各种方法
这个问题已经被问过很多次了 花了一些时间阅读答案后 我做了一些快速分析来尝试前面提到的各种方法 我有一个600 MB文件与600万字符串行 DMOZ 项目的类别路径 每行的条目都是唯一的 我想要load文件once 不停寻找用于数据中的匹配
python
performance
Search
profiling
largefiles
Python 随机访问文件
是否有一种 Python 文件类型可以访问随机行而不遍历整个文件 我需要在一个大文件中进行搜索 将整个文件读入内存是不可能的 任何类型或方法将不胜感激 这似乎就是这样的事情mmap http docs python org library
python
file
fileio
largefiles
randomaccess
有人可以提供使用 boost iostreams 查找、读取和写入 >4GB 文件的示例吗
我读到 boost iostreams 据说支持 64 位半便携式方式访问大文件 他们的常见问题解答提到64 位偏移函数 http www boost org doc libs 1 39 0 libs iostreams doc faq h
c
largefiles
boostiostreams
需要帮助以更有效的方式设计搜索算法
我有一个涉及生物领域的问题 现在我有4个非常大的文件 每个有1亿行 但结构相当简单 这些文件的每一行只有2个字段 都代表一种基因 我的目标是 设计一种有效的算法 可以实现以下目标 在这 4 个文件的内容中找到一个圆圈 圆定义为 field
Algorithm
Search
Sorting
complexitytheory
largefiles
错误:无法统计文件“XX.csv”:未知错误
我运行这个命令 COPY XXX FROM D XXX csv WITH FORMAT CSV HEADER TRUE NULL NULL 在Windows 7中 它可以成功导入小于1GB的CSV文件 如果文件大于 1GB 我会收到 未知错
postgresql
largefiles
postgresqlcopy
如何从 Mercurial 存储库中安全地禁用/删除大型文件目录?
过去 我一直在 Mercurial 中使用大型文件扩展来将数据与我正在处理的代码一起保存 我认为这是一个错误 我想删除 largefiles 目录 8GB 我们的网络用户目录限制为 10 GB 我需要空间 我已经很长时间没有使用任何大文件了
versioncontrol
mercurial
largefiles
mercurialextension
在 VIM 中处理大文件
我尝试在 VIM 中打开一个巨大的 2GB 文件 但它被卡住了 我实际上不需要编辑文件 只需高效地跳转即可 我如何在 VIM 中处理非常大的文件 我今天有一个 12GB 的文件需要编辑 vim LargeFile 插件对我不起作用 它仍然耗
Vim
largefiles
Hadoop put 性能 - 大文件(20GB)
我正在使用 hdfs put 将一个 20GB 的大文件加载到 hdfs 中 目前该过程运行 4 分钟 我正在尝试缩短将数据加载到 hdfs 的写入时间 我尝试利用不同的块大小来提高写入速度 但得到以下结果 512M blocksize 4
Hadoop
HDFS
largefiles
下载大文件 - iPhone SDK
我正在使用 Erica Sadun 的异步下载方法 项目文件的链接位于此处 download http uhelios com downloaderica zip 但是她的方法不适用于大尺寸 50 mb 或以上 的文件 如果我尝试下载超过
iphone
Objectivec
Download
largefiles
AS3 处理任意大文件
我正在尝试读取 AS3 中的一个非常大的文件 但我遇到了运行时崩溃的问题 我目前正在使用文件流 http help adobe com en US Flex 4 0 langref flash filesystem FileStream h
apacheflex
actionscript3
Air
largefiles
Python:如何将巨大的文本文件读入内存
我在配备 1GB RAM 的 Mac Mini 上使用 Python 2 6 我想读取一个巨大的文本文件 ls l links csv file links csv tail links csv rw r r 1 user user 469
python
memory
Sorting
largefiles
对于大文件,fread 会失败吗?
我必须分析一个 16 GB 的文件 我正在使用顺序阅读文件fread and fseek 可行吗 将要fread 处理这么大的文件 你没有提到语言 所以我假设是 C 我没有看到任何问题fread but fseek and ftell可能有
c
largefiles
fread
OpenCV 不会加载大图像(~4GB)
我正在开发一个程序 该程序从相当大的图像中检测彩色地面控制点 TIFF 图像约为 3 4 GB 大约 35 000 x 33 000 像素 我正在使用 Python 2 和 OpenCV 进行图像处理 import cv2 img orth
python
opencv
imageprocessing
matplotlib
largefiles
ASP.NET C# 大文件上传时出现 OutofMemoryException
我有以下文件上传处理程序 public class FileUploader IHttpHandler public void ProcessRequest HttpContext context HttpRequest request c
c
aspnet
OutOfMemory
largefiles
IHttpHandler
使用 Git 管理大型二进制文件
我正在寻找有关如何处理我的源代码 Web 应用程序 所依赖的大型二进制文件的意见 我们目前正在讨论几种替代方案 Copy the binary files by hand 专业人士 不确定 反对 我强烈反对这一点 因为它增加了设置新站点 迁
git
versioncontrol
largefiles
binaryfiles
在 .NET 中上传大文件
我做了很多研究来找到一个 NET 的上传组件 我可以用它来上传大文件 有一个进度条 并且可以恢复大文件的上传 我遇到过一些组件 例如Ajax上传器 http ajaxuploader com 流畅上传 http krystalware co
aspnet
AJAX
FileUpload
httphandler
largefiles
使用 jQuery 文件上传 - blueimp(基于 Ajax)php / yii 上传超过 1GB 到 2GB 的大文件,它在 Firefox 浏览器中显示错误
我正在尝试上传一个大文件1GB to 2GB using jQuery File Upload blueimp 基于阿贾克斯 php yii Framework 1 15我已设置这些值来上传更大的文件 memory limit 2048M
php
FileUpload
XMLHttpRequest
jqueryfileupload
largefiles
在 Eclipse 中查看大型 XML 文件?
我正在开发一个涉及一些大型 XML 文件 从 50MB 到超过 1GB 的项目 如果我可以在 Eclipse 中查看它们 简单的文本视图就可以了 而 Java 不会耗尽堆空间 那就太好了 我尝试在 eclipse ini 中调整 jvm 可
xml
eclipse
JVM
largefiles
如何在Python中解析大于100GB的文件?
我有大约 100 GB 大小的文本文件 格式如下 具有线路 ip 和域的重复记录 domain ip yahoo com 89 45 3 5 bbc com 45 67 33 2 yahoo com 89 45 3 5 myname com
python
Parsing
largefiles
Artifactory 大型下载失败
我的连续传奇 I have Artifactory 专业版 5 8 4运行在CentOS 7 4使用 Artifactory 内置的系统Nginx作为反向代理的服务 大多数时候 在下载大对象时 连接失败 此外 在失败的连接中传输的最后几千字
Wget
artifactory
largefiles
«
1
2
3
4
»