Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
.NET 中的并行抓取
我工作的公司运营着数百个非常活跃的网站 它决定建立一个搜索引擎 我的任务是编写爬虫 一些网站在旧硬件上运行 无法承受太多惩罚 而另一些网站则可以处理大量并发用户 我需要能够说对站点 A 使用 5 个并行请求 对站点 B 使用 2 个并行请求
c
NET
taskparallellibrary
asyncawait
tpldataflow
TPL DataFlow处理异常的正确方法
我在使用 TPL DataFlow 管理队列 数据库 并将工作重定向到网格计算服务的 Windows 服务中遇到问题 在某一时刻 BufferBlock 停止释放任务 我不知道为什么 我认为这是因为在执行某些任务期间发生了一些异常 但它们被
c
NET
taskparallellibrary
tpldataflow
TPL 数据流:将传入集合展平为顺序项目
我正在使用 TPL 数据流构建一个应用程序 实际上我有以下问题 我有一个变换块var tfb1 new TranformBlock
c
tpldataflow
避免当一个块出现故障时关闭整个数据流网络
我在用数据流Ex https github com gridsum DataflowEx我想知道如果抛出异常 如何避免关闭整个数据流 我有一个系统 任务会随机进入 我希望网络记录故障 放弃该特定任务并继续执行其他任务 在阅读有关 TPL 和
c
tpldataflow
如何发出数据流已完成的信号?
我有一个类 它使用 TPL 数据流实现由 3 个步骤组成的数据流 在构造函数中 我将步骤创建为 TransformBlocks 并使用 LinkTo 将它们链接起来 并将 DataflowLinkOptions PropagateCompl
c
taskparallellibrary
tpldataflow
EventSourceException:操作系统没有可用的可用缓冲区
完整的异常文本是 EventSourceException 操作中没有可用的可用缓冲区 系统 例如事件发生率太快 由于递归 我调用此方法大约一百万次 它不会停止 我只是在 VS2013 的输出调试窗口中得到异常文本 但速度超级慢 priva
c
Exception
roslyn
tpldataflow
microsoftbuild
如何优化简单 TPL DataFlow 管道的性能?
Given 数百个 NET 项目 所有项目中都有数千个 C 文件 字符串文字 我想输出所有项目的所有文件中给定文字的所有匹配项 我想使用这个示例来了解如何优化简单 TPL DataFlow 管道的性能 完整代码提交在github中 http
c
taskparallellibrary
tpldataflow
BatchBlock 使用 TriggerBatch() 之后发送的元素生成批次
我有一个由多个块组成的数据流管道 当元素流经我的处理管道时 我想按字段对它们进行分组A 为此 我有一个BatchBlock与高BoundedCapacity 我在其中存储我的元素 直到我决定应该释放它们 所以我调用TriggerBatch
c
taskparallellibrary
tpldataflow
是否可以让任何数据流块类型发送多个中间结果作为单个输入的结果?
是否可以得到TransformManyBlocks 在创建中间结果时将其发送到下一步 而不是等待整个结果IEnumerable
c
parallelprocessing
dataflow
tpldataflow
动态更改 TPL 数据流块 MaxDegreeOfParallelism
当我创建数据流块时 我指定它的MaxDegreeOfParallelism像这样 New ExecutionDataflowBlockOptions With MaxDegreeOfParallelism System Environmen
c
NET
taskparallellibrary
tpldataflow
TPL数据流处理N条最新消息
我正在尝试创建某种队列来处理收到的 N 个最新消息 现在我有这个 private static void SetupMessaging messagingBroadcastBlock new BroadcastBlock
c
NET
tpldataflow
如何在 TPL 数据流中安排流控制?
我正在尝试控制 TPL 数据流中的数据流 我有一个非常快的生产者和一个非常慢的消费者 我的真实代码更复杂 但尽管如此 这是一个非常好的模型 它重现了问题 当我运行它时 代码开始消耗内存 就像它已经过时一样 并且生产者上的输出队列会尽快填满
c
Asynchronous
taskparallellibrary
tpldataflow
如何以(线程)安全的方式跟踪 TPL 管道中的故障项
我正在使用 TPL 管道设计和 Stephen Cleary 的管道设计尝试库简而言之 它包装了值 异常并将其沿着管道浮动 因此 即使是在处理方法中抛出异常的项目 最后当我await resultsBlock Completion have
c
taskparallellibrary
tpldataflow
使用 TPL 数据流的请求/响应模式
我们遇到一个问题 在使用 TPL 数据流库时需要请求 响应模式 我们的问题是我们有一个调用依赖服务的 NET core API 依赖服务限制并发请求 我们的API不限制并发请求 因此 我们一次可以收到数千个请求 在这种情况下 依赖服务将在达
c
NET
taskparallellibrary
tpldataflow
如何获取ActionBlock的输入队列的访问权限?
我正在传递给某个类的 Actionblock 实例 如果我打电话 cancellationSource Cancel 然后处理将停止 但有些实例可以留在ActionBlock的输入队列中 我需要访问剩余的实例才能释放一些资源 我怎样才能实现
c
NET
tpldataflow
VS 2012 RC 中引用 TPL 数据流和 TPL 的问题
我刚刚将 Visual Studio 11 Beta 升级到新的 Visual Studio 2012 RC 并且在引用 TPL 数据流时遇到问题 首先 我尝试像以前一样通过添加来自框架的引用来引用数据流 但是当我尝试这样做时 我收到一个错
NET
taskparallellibrary
NuGet
visualstudio2012
tpldataflow
用于 TPL 数据流的 BroadcastCopyBlock 并保证交付
我很高兴为以下实施提供一些意见BroadcastCopyBlock在 TPL 数据流中 它将接收到的消息复制到注册到的所有消费者BroadcastCopyBlock并保证交付给所有消费者 这些消费者在收到消息时链接到该块 不像Broadca
c
taskparallellibrary
BROADCAST
tpldataflow
TPL DataFlow,具有优先级的链接块?
使用 TPL DataFlow 块 是否可以将两个或多个源链接到单个 ITargetBlock 例如 ActionBlock 并确定源的优先级 e g BufferBlock
c
taskparallellibrary
tpldataflow
TPL Dataflow,替代 JoinBlock 限制?
我寻找 JoinBlock 的替代方案 它可以通过 n TransformBlocks 链接到 并将所有 TransformBlock 源块的消息连接 合并在一起 以便将此类集合传递到另一个数据流块 JoinBlock 可以很好地完成这项工
c
concurrency
taskparallellibrary
tpldataflow
actormodel
TPL DataFlow 与 BlockingCollection
我明白 一个BlockingCollection最适合消费者 生产者模式 但是 我什么时候使用ActionBlock来自TPL数据流图书馆 我最初的理解是对于IO操作 保留BlockingCollection而 CPU 密集型操作最适合Ac
NET
taskparallellibrary
datasynchronization
tpldataflow
«
1
2
3
»