Здравствуйте, Аноним, Вы писали:

А>Всем привет, есть простая проблема:

А>У меня есть 1 поток который должен передавать данные в пул других потоков, как можно сделать такую коммуникацию максимально быстро?
А>Думал сделать список и синхронизацию — но из за синхронизации — будет падать быстродействие, как решить?

А>Заранее спасибо!


в kernel32 есть поддержка lock-free списка

InitializeSListHead
InterlockedFlushSList
InterlockedPopEntrySList
InterlockedPushEntrySList
QueryDepthSList

в ntdll есть удобный механизм "много читателей один писатель"
фактически блокировка будет только при записи читать все
одновременно будут

RtlAcquireResourceExclusive
RtlAcquireResourceShared
RtlConvertExclusiveToShared
RtlConvertSharedToExclusive
RtlDeleteResource
RtlDumpResource
RtlInitializeResource
RtlReleaseResource

Всем привет, есть простая проблема:

У меня есть 1 поток который должен передавать данные в пул других потоков, как можно сделать такую коммуникацию максимально быстро?
Думал сделать список и синхронизацию — но из за синхронизации — будет падать быстродействие, как решить?

Заранее спасибо!

А>У меня есть 1 поток который должен передавать данные в пул других потоков, как можно сделать такую коммуникацию максимально быстро?
А>Думал сделать список и синхронизацию — но из за синхронизации — будет падать быстродействие, как решить?

можно уменьшить затраты на синхронизацию если группировать данные в пакеты покрупнее, и делать синхронизацию только для пакетов
Принимать решение, что пора завершить пакет -- либо если его размер превысил порог, либо если время истекшее с предыдущего пакета превысило порог.

Здравствуйте, Аноним, Вы писали:

А>Думал сделать список и синхронизацию — но из за синхронизации — будет падать быстродействие, как решить?

может это подойдёт?

А>Заранее спасибо!
Для "спасибо" тут есть кнопки.

можно еще так правда незнаю насколько это быстро (писал в блокноте не тестил)

DWORD WINAPI ThreadPool()
{
    for (;;)
    {
        WaitForMultipleObjects(hSemaphore)
        SetEvent(hDecrease)
        RtlAcquireResourceShared()
        // pop item 
        RtlReleaseResource()
    }
}


#define MAX_AVAILABLE_ITEMS 2000 ??


DWORD WINAPI SingleWriter()
{
    for (;;)
    {
        if (NtQuerySemaphore() < MAX_AVAIL_ITEM)
        {
            // get next item
            RtlAcquireResourceExclusive()
            // push item
            RtlReleaseResource()
            ReleaseSemaphore( 1 )
        }
        else
        {
            for (;;)
            {
                WaitForSingleObject(hDecrease)                
                if (NtQuerySemaphore() < MAX_AVAIL_ITEM)
                {
                    break;
                }
            }
        }
    }
}

// create semaphore with LONG_MAX lMaximumCount 
hSemaphore = CreateSemaphore(NULL, 0, LONG_MAX, NULL)
// create auto reset event
hDecrease = CreateEvent(NULL, FALSE, FALSE, NULL)

const size_t WAIT_THREADS = 5 ??
for (int i = 0; i < WAIT_THREADS; i++)
    CreateThread(PoolThread)

CreateThread(SingleWriter)

или даже так (в первом примере надо тоже заменить WaitForMultipleObjects на WaitForSingleObject)

DWORD WINAPI ThreadPool()
{
    for (;;)
    {
        WaitForSingleObject(hSemaphore)
        SetEvent(hDecrease)
        InterlockedPopEntrySList()
    }
}


#define MAX_AVAILABLE_ITEMS 2000 ??


DWORD WINAPI SingleWriter()
{
    for (;;)
    {
        if (NtQuerySemaphore() < MAX_AVAIL_ITEM)
        {
            GetNextItem()
            InterlockedPushEntrySList()
            ReleaseSemaphore( 1 )
        }
        else
        {
            WaitForSingleObject(hDecrease)                
        }
    }
}

// create semaphore with LONG_MAX lMaximumCount 
hSemaphore = CreateSemaphore(NULL, 0, LONG_MAX, NULL)
// create auto reset event
hDecrease = CreateEvent(NULL, FALSE, FALSE, NULL)

const size_t WAIT_THREADS = 5 ??
for (int i = 0; i < WAIT_THREADS; i++)
    CreateThread(PoolThread)

CreateThread(SingleWriter)

Здравствуйте, Аноним

Если для винды то я когда-то использовал для аналогичной задачки Completion Port.

посмотри на

CreateIoCompletionPort
GetQueuedCompletionStatus
GetQueuedCompletionStatusEx
PostQueuedCompletionStatus

Это не обязятельно для IO. Хорошо работает просто при передаче данных (задач) от одного потока в пул потоков на обработку.

Здравствуйте, DogBone, Вы писали:

Давно это было — запамятовал — Был у меня IO

DB>Здравствуйте, Аноним

DB>Если для винды то я когда-то использовал для аналогичной задачки Completion Port.

DB>посмотри на

DB>CreateIoCompletionPort
DB>GetQueuedCompletionStatus
DB>GetQueuedCompletionStatusEx
DB>PostQueuedCompletionStatus