kernel: add portable uncached memory allocator (ucalloc) (from sources)
This commit is contained in:
parent
14d663b169
commit
7592fa3e68
137
sys/src/9/port/ucalloc.c
Normal file
137
sys/src/9/port/ucalloc.c
Normal file
|
@ -0,0 +1,137 @@
|
|||
/*
|
||||
* allocate uncached memory
|
||||
*/
|
||||
#include "u.h"
|
||||
#include "../port/lib.h"
|
||||
#include "mem.h"
|
||||
#include "dat.h"
|
||||
#include "fns.h"
|
||||
|
||||
#include <pool.h>
|
||||
|
||||
typedef struct Private Private;
|
||||
struct Private {
|
||||
Lock;
|
||||
char msg[256];
|
||||
char* cur;
|
||||
};
|
||||
|
||||
static Private ucprivate;
|
||||
|
||||
static void
|
||||
ucpoolpanic(Pool* p, char* fmt, ...)
|
||||
{
|
||||
va_list v;
|
||||
Private *pv;
|
||||
char msg[sizeof pv->msg];
|
||||
|
||||
pv = p->private;
|
||||
va_start(v, fmt);
|
||||
vseprint(pv->cur, &pv->msg[sizeof pv->msg], fmt, v);
|
||||
va_end(v);
|
||||
memmove(msg, pv->msg, sizeof msg);
|
||||
iunlock(pv);
|
||||
panic("%s", msg);
|
||||
}
|
||||
|
||||
static void
|
||||
ucpoolprint(Pool* p, char* fmt, ...)
|
||||
{
|
||||
va_list v;
|
||||
Private *pv;
|
||||
|
||||
pv = p->private;
|
||||
va_start(v, fmt);
|
||||
pv->cur = vseprint(pv->cur, &pv->msg[sizeof pv->msg], fmt, v);
|
||||
va_end(v);
|
||||
}
|
||||
|
||||
static void
|
||||
ucpoolunlock(Pool* p)
|
||||
{
|
||||
Private *pv;
|
||||
char msg[sizeof pv->msg];
|
||||
|
||||
pv = p->private;
|
||||
if(pv->cur == pv->msg){
|
||||
iunlock(pv);
|
||||
return;
|
||||
}
|
||||
|
||||
memmove(msg, pv->msg, sizeof msg);
|
||||
pv->cur = pv->msg;
|
||||
iunlock(pv);
|
||||
|
||||
iprint("%.*s", sizeof pv->msg, msg);
|
||||
}
|
||||
|
||||
static void
|
||||
ucpoollock(Pool* p)
|
||||
{
|
||||
Private *pv;
|
||||
|
||||
pv = p->private;
|
||||
ilock(pv);
|
||||
pv->pc = getcallerpc(&p);
|
||||
pv->cur = pv->msg;
|
||||
}
|
||||
|
||||
static void*
|
||||
ucarena(usize size)
|
||||
{
|
||||
void *uv, *v;
|
||||
|
||||
assert(size == 1*MiB);
|
||||
|
||||
mainmem->maxsize += 1*MiB;
|
||||
if((v = mallocalign(1*MiB, 1*MiB, 0, 0)) == nil ||
|
||||
(uv = mmuuncache(v, 1*MiB)) == nil){
|
||||
free(v);
|
||||
mainmem->maxsize -= 1*MiB;
|
||||
return nil;
|
||||
}
|
||||
return uv;
|
||||
}
|
||||
|
||||
static Pool ucpool = {
|
||||
.name = "Uncached",
|
||||
.maxsize = 4*MiB,
|
||||
.minarena = 1*MiB-32,
|
||||
.quantum = 32,
|
||||
.alloc = ucarena,
|
||||
.merge = nil,
|
||||
.flags = /*POOL_TOLERANCE|POOL_ANTAGONISM|POOL_PARANOIA|*/0,
|
||||
|
||||
.lock = ucpoollock,
|
||||
.unlock = ucpoolunlock,
|
||||
.print = ucpoolprint,
|
||||
.panic = ucpoolpanic,
|
||||
|
||||
.private = &ucprivate,
|
||||
};
|
||||
|
||||
void
|
||||
ucfree(void* v)
|
||||
{
|
||||
if(v == nil)
|
||||
return;
|
||||
poolfree(&ucpool, v);
|
||||
}
|
||||
|
||||
void*
|
||||
ucallocalign(usize size, int align, int span)
|
||||
{
|
||||
void *v;
|
||||
|
||||
assert(size < ucpool.minarena-128);
|
||||
v = poolallocalign(&ucpool, size, align, 0, span);
|
||||
if(v)
|
||||
memset(v, 0, size);
|
||||
return v;
|
||||
}
|
||||
|
||||
void*
|
||||
ucalloc(usize size)
|
||||
{
|
||||
return ucallocalign(size, 32, 0);
|
||||
}
|
152
sys/src/9/port/ucallocb.c
Normal file
152
sys/src/9/port/ucallocb.c
Normal file
|
@ -0,0 +1,152 @@
|
|||
/*
|
||||
* allocate Blocks from uncached memory
|
||||
*/
|
||||
#include "u.h"
|
||||
#include "../port/lib.h"
|
||||
#include "mem.h"
|
||||
#include "dat.h"
|
||||
#include "fns.h"
|
||||
#include "error.h"
|
||||
|
||||
enum
|
||||
{
|
||||
Hdrspc = 64, /* leave room for high-level headers */
|
||||
Bdead = 0x51494F42, /* "QIOB" */
|
||||
};
|
||||
|
||||
struct
|
||||
{
|
||||
Lock;
|
||||
ulong bytes;
|
||||
} ucialloc;
|
||||
|
||||
static Block*
|
||||
_ucallocb(int size)
|
||||
{
|
||||
Block *b;
|
||||
ulong addr;
|
||||
|
||||
if((b = ucalloc(sizeof(Block)+size+Hdrspc)) == nil)
|
||||
return nil;
|
||||
|
||||
b->next = nil;
|
||||
b->list = nil;
|
||||
b->free = 0;
|
||||
b->flag = 0;
|
||||
b->ref = 0;
|
||||
_xinc(&b->ref);
|
||||
|
||||
/* align start of data portion by rounding up */
|
||||
addr = (ulong)b;
|
||||
addr = ROUND(addr + sizeof(Block), BLOCKALIGN);
|
||||
b->base = (uchar*)addr;
|
||||
|
||||
/* align end of data portion by rounding down */
|
||||
b->lim = ((uchar*)b) + msize(b);
|
||||
addr = (ulong)(b->lim);
|
||||
addr = addr & ~(BLOCKALIGN-1);
|
||||
b->lim = (uchar*)addr;
|
||||
|
||||
/* leave sluff at beginning for added headers */
|
||||
b->rp = b->lim - ROUND(size, BLOCKALIGN);
|
||||
if(b->rp < b->base)
|
||||
panic("_ucallocb");
|
||||
b->wp = b->rp;
|
||||
|
||||
return b;
|
||||
}
|
||||
|
||||
Block*
|
||||
ucallocb(int size)
|
||||
{
|
||||
Block *b;
|
||||
|
||||
/*
|
||||
* Check in a process and wait until successful.
|
||||
* Can still error out of here, though.
|
||||
*/
|
||||
if(up == nil)
|
||||
panic("ucallocb without up: %#p", getcallerpc(&size));
|
||||
if((b = _ucallocb(size)) == nil)
|
||||
panic("ucallocb: no memory for %d bytes", size);
|
||||
setmalloctag(b, getcallerpc(&size));
|
||||
|
||||
return b;
|
||||
}
|
||||
|
||||
Block*
|
||||
uciallocb(int size)
|
||||
{
|
||||
Block *b;
|
||||
static int m1, m2, mp;
|
||||
|
||||
if(0 && ucialloc.bytes > conf.ialloc){
|
||||
if((m1++%10000)==0){
|
||||
if(mp++ > 1000){
|
||||
active.exiting = 1;
|
||||
exit(0);
|
||||
}
|
||||
iprint("uciallocb: limited %lud/%lud\n",
|
||||
ucialloc.bytes, conf.ialloc);
|
||||
}
|
||||
return nil;
|
||||
}
|
||||
|
||||
if((b = _ucallocb(size)) == nil){
|
||||
if(0 && (m2++%10000)==0){
|
||||
if(mp++ > 1000){
|
||||
active.exiting = 1;
|
||||
exit(0);
|
||||
}
|
||||
iprint("uciallocb: no memory %lud/%lud\n",
|
||||
ucialloc.bytes, conf.ialloc);
|
||||
}
|
||||
return nil;
|
||||
}
|
||||
setmalloctag(b, getcallerpc(&size));
|
||||
b->flag = BINTR;
|
||||
|
||||
ilock(&ucialloc);
|
||||
ucialloc.bytes += b->lim - b->base;
|
||||
iunlock(&ucialloc);
|
||||
|
||||
return b;
|
||||
}
|
||||
|
||||
void
|
||||
ucfreeb(Block *b)
|
||||
{
|
||||
void *dead = (void*)Bdead;
|
||||
long ref;
|
||||
|
||||
if(b == nil || (ref = _xdec(&b->ref)) > 0)
|
||||
return;
|
||||
|
||||
if(ref < 0){
|
||||
dumpstack();
|
||||
panic("ucfreeb: ref %ld; caller pc %#p", ref, getcallerpc(&b));
|
||||
}
|
||||
|
||||
/*
|
||||
* drivers which perform non cache coherent DMA manage their own buffer
|
||||
* pool of uncached buffers and provide their own free routine.
|
||||
*/
|
||||
if(b->free) {
|
||||
b->free(b);
|
||||
return;
|
||||
}
|
||||
if(b->flag & BINTR) {
|
||||
ilock(&ucialloc);
|
||||
ucialloc.bytes -= b->lim - b->base;
|
||||
iunlock(&ucialloc);
|
||||
}
|
||||
|
||||
/* poison the block in case someone is still holding onto it */
|
||||
b->next = dead;
|
||||
b->rp = dead;
|
||||
b->wp = dead;
|
||||
b->lim = dead;
|
||||
b->base = dead;
|
||||
|
||||
ucfree(b);
|
||||
}
|
Loading…
Reference in a new issue