在循环中分配和释放内存 (C + MPI)
Allocate and free memory in the loop (C + MPI)
请参阅我的以下代码片段（floatalloc2 用于分配数据类型为 float 的二维连续数组，如果有兴趣，请参阅附录）：
#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>
int main(int argc, char *argv[])
{
float **p=NULL, **buffer=NULL;
int it, nt=3, i, j, k, NP, MYID, nx=1, nz=2, nsrc=3, isrc;
MPI_Init ( &argc, &argv );
MPI_Comm_size ( MPI_COMM_WORLD, &NP );
MPI_Comm_rank ( MPI_COMM_WORLD, &MYID );
p = floatalloc2(nx,nz);
memset(p[0],0,nz*nx*sizeof(float));
for (it=0; it<nt; it++){
for (isrc=MYID; isrc<nsrc; isrc+=NP){
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
p[j][i] += 1.5 + (float)(isrc) + (float)(j);
}
}
}
for (k=0;k<nsrc-1;k++){
if (MYID==k){
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
buffer = p;
}else{
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
}
MPI_Barrier(MPI_COMM_WORLD);
MPI_Bcast(&buffer[0][0],nx*nz,MPI_FLOAT,k,MPI_COMM_WORLD);
MPI_Barrier(MPI_COMM_WORLD);
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
printf("it=%d,k=%d,Node %d,p[%d][%d]=%f\n",it,k,MYID,j,i,p[j][i]);
}
}
free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
}
}
MPI_Finalize();
exit(0);
}
作为一个经验法则，C 会在分配内存后释放内存，即使在循环中也是如此。但是这里，如果我不加free(*buffer);free(buffer);，还是挺好的。但是，如果加上free，结果是错误的。那么我的代码有什么问题？
floatalloc2 的附录：
/*@out@*/ void *sf_alloc (size_t n, size_t size )
/*< output-checking allocation >*/
{
void *ptr;
size *= n;
if (0>=size) sf_error("%s: illegal allocation (%d bytes)",__FILE__,size);
ptr = malloc (size);
if (NULL == ptr)
sf_error ("%s: cannot allocate %lu bytes:", __FILE__,size);
return ptr;
}
/*@out@*/ float *sf_floatalloc (size_t n)
/*< float allocation >*/
{
float *ptr;
ptr = (float*) sf_alloc (n,sizeof(float));
return ptr;
}
/*@out@*/ float **floatalloc2 (size_t n1 , size_t n2 )
/*< float 2-D allocation, out[0] points to a contiguous array >*/
{
size_t i2;
float **ptr;
ptr = (float**) sf_alloc (n2,sizeof(float*));
ptr[0] = sf_floatalloc (n1*n2);
for (i2=1; i2 < n2; i2++) {
ptr[i2] = ptr[0]+i2*n1;
}
return ptr;
}
假设我们使用 float **p = floatalloc2(columns, rows)。然后，p 分配给 rows 浮点数指针（float *），p[0] 分配给 columns*rows 浮点数。如果库不提供 floatfree2() 或 free2() 函数，您可以按顺序使用 free(*p); free(p); 释放为二维数组分配的内存。这也是 OP 正在做的事情。
内循环，
for (k=0;k<nsrc-1;k++){
if (MYID==k){
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
buffer = p;
}else{
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
}
...
free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
}
buffer = p;行替换了前两行分配和初始化的二维数组；这本质上是内存泄漏。我想这个想法是 copy p 的内容给它，但我不能确定。
此外，稍后，free(*buffer); free(buffer); 行最终在 k == MYID 迭代中释放了 p 描述的二维数组。
解决这个问题的一种方法是让 buffer 在 k == MYID:
时别名 p
for (k = 0; k < nsrc-1; k++) {
if (MYID == k) {
buffer = p;
} else {
buffer = floatalloc2(nx,nz);
memset(buffer[0], 0, nz*nx*sizeof(float));
}
...
if (buffer != p) {
free(*buffer);
free(buffer);
}
}
这样，当k == MYID时，buffer实际上指向了p；否则它会为每次迭代动态分配和释放。显然，当 buffer 别名 p 时，我们不释放它，因为那样会释放 p.
您可以在 MPI_Finalize() 之前添加 free(*p); free(p);，以释放分配给 p 的内存，但这并不是绝对必要的，因为进程即将退出。 （但是，如果您使用 Valgrind 等来查找内存泄漏，或者希望表明您（程序员）确实正确地跟踪动态分配，这很有用；在这种情况下，添加注释可能会有用。）
更好的方法是只分配一次缓冲区，然后在每次迭代中重新使用它：
float **p, **buffer;
p = floatalloc2(nx, nz);
memset(p[0], 0, nz*nx*sizeof p[0][0]);
buffer = floatalloc2(nx, nz);
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
for (it=0; it < nt; it++) {
for (isrc=MYID; isrc < nsrc; isrc+=NP) {
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
p[j][i] += 1.5 + (float)(isrc) + (float)(j);
}
}
}
for (k=0; k<nsrc-1; k++) {
float **data;
if (MYID == k) {
data = p;
} else {
data = buffer;
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
}
MPI_Barrier(MPI_COMM_WORLD);
MPI_Bcast(&(data[0][0]), nx*nz, MPI_FLOAT, k, MPI_COMM_WORLD);
MPI_Barrier(MPI_COMM_WORLD);
for (j=0; j<nz; j++) {
for (i=0; i<nx; i++) {
printf("it=%d,k=%d,Node %d,data[%d][%d]=%f, p[%d][%d]=%f\n",
it, k, MYID, j, i, data[j][i], p[j][i]);
}
}
}
}
free(*buffer);
free(buffer);
free(*p);
free(p);
请注意，sizeof p[0][0] 和 sizeof buffer[0][0] 是计算 p/buffer 和 [=100 的每个元素的大小（以字符为单位）的语句=]不要实际检查任何内存。这些是允许的，而且是安全的，即使 p == NULL 或 p[0] == NULL，因为编译器只是检查表达式的 类型 （在 sizeof 运算符）。为了提醒自己这一点，我从不在 sizeof 运算符右侧的变量引用周围使用括号。 （当你使用类型时，如 float，括号是必需的。然后，我将其写为 sizeof (float)。）这帮助我记住 sizeof 是一个运算符，并且不表现像一个函数，虽然它看起来像一个函数。
float **data;只是对p或buffer中实际数据的引用（或别名）；我们需要使用它的只是分配它，data = p; 或 data = buffer;。因为它是引用或别名，指向完全相同的数据，所以我们根本不 free() 它。如果我们这样做了，我们最终只会释放原始数据，p 或 buffer.
在对该问题的评论中，我提到使用双重间接寻址（float **data，其中 data[row][column] 是一个元素，data[row] 和 data 都是指针) 效率不高。在实践中，使用结构代替。例如：
typedef struct {
int rows;
int cols;
float *data;
} float2d;
#define FLOAT2D_INIT { 0, 0, NULL }
static inline void float2d_alloc(float2d *m, const int rows, const int cols)
{
do {
if (!m) {
fprintf(stderr, "float2d_alloc(): No matrix specified.\n");
break;
}
if (rows < 1 || cols < 1) {
fprintf(stderr, "float2d_alloc(): Invalid matrix size (%d rows, %d cols).\n", rows, cols);
break;
}
m->data = malloc((size_t)rows * (size_t)cols * sizeof m->data[0]);
if (!m->data) {
fprintf(stderr, "float2d_alloc(): Not enough memory available.\n");
break;
}
m->rows = rows;
m->cols = cols;
return;
} while (0);
/* MPI_Abort(MPI_COMM_WORLD, 1); */
exit(1);
}
static inline void float2d_free(float2d *m)
{
if (m) {
free(m->data);
m->rows = 0;
m->cols = 0;
m->data = NULL;
}
}
如果您分配了 float2d p;，那么要访问行 r、列 c 上的元素，您可以使用 p.data[r*p.cols + c]。所有数据在内存中都是连续的；有 p.cols*p.rows 个元素，总大小为 p.cols*p.rows*sizeof p.data[0]。要引用行 r 上的浮点数数组，您可以使用 p.data + r*p.rows（相当于 &(p.data[r*p.rows])）。
如果您对这种方法感兴趣，并且经常使用矩阵（或密集的二维数据数组），您可能希望查看 更进一步的结构示例。它基本上允许人们为另一个矩阵的任何常规矩形部分（可以是对角线、子矩阵、一些连续的奇数行、偶数行等）创建实时视图（对完全相同数据的引用），代码保持标签（计算对数据的引用），以便当您销毁作为某些数据的最终用户的矩阵时，数据会自动释放。每个元素访问确实需要两次乘法和一次加法，而不是仅仅一次乘法和一次加法，但在实践中证明这是可以忽略不计的开销，矩阵结构的多功能性肯定可以平衡这一点。
另一种方法是使用 VLA：
#include <stdio.h>
#include <stdlib.h>
void print_matrix(int nx, int ny, int a[nx][ny])
{
printf("Printing matrix at %p\n", &a[0][0]);
for (int i=0; i < nx; i++) {
printf("%d", a[i][0]);
for (int j=1; j < ny; j++)
printf(", %d", a[i][j]);
printf("\n");
}
}
int main(int argc, char *argv[])
{
int nx = 3, nz = 2;
/* two different syntaxes */
int (*A)[nx][nz] = malloc(sizeof(int[nx][nz]));
int (*B)[nz] = malloc(sizeof(int[nx][nz]));
for (int i = 0; i < nx; i++)
for (int k = 0; k < nz; k++) {
(*A)[i][k] = (i+1)*(k+1);
B[i][k] = (i+1)*(k+1);
}
print_matrix(nx, nz, *A);
print_matrix(nx, nz, B);
free(A);
free(B);
}
我强烈推荐免费书籍 "Modern C"，可在此处获取：https://gustedt.wordpress.com/2016/11/25/modern-c-is-now-feature-complete/
请参阅我的以下代码片段（floatalloc2 用于分配数据类型为 float 的二维连续数组，如果有兴趣，请参阅附录）：
#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>
int main(int argc, char *argv[])
{
float **p=NULL, **buffer=NULL;
int it, nt=3, i, j, k, NP, MYID, nx=1, nz=2, nsrc=3, isrc;
MPI_Init ( &argc, &argv );
MPI_Comm_size ( MPI_COMM_WORLD, &NP );
MPI_Comm_rank ( MPI_COMM_WORLD, &MYID );
p = floatalloc2(nx,nz);
memset(p[0],0,nz*nx*sizeof(float));
for (it=0; it<nt; it++){
for (isrc=MYID; isrc<nsrc; isrc+=NP){
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
p[j][i] += 1.5 + (float)(isrc) + (float)(j);
}
}
}
for (k=0;k<nsrc-1;k++){
if (MYID==k){
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
buffer = p;
}else{
buffer = floatalloc2(nx,nz);
memset(buffer[0],0,nz*nx*sizeof(float));
}
MPI_Barrier(MPI_COMM_WORLD);
MPI_Bcast(&buffer[0][0],nx*nz,MPI_FLOAT,k,MPI_COMM_WORLD);
MPI_Barrier(MPI_COMM_WORLD);
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
printf("it=%d,k=%d,Node %d,p[%d][%d]=%f\n",it,k,MYID,j,i,p[j][i]);
}
}
free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
}
}
MPI_Finalize();
exit(0);
}
作为一个经验法则，C 会在分配内存后释放内存，即使在循环中也是如此。但是这里，如果我不加free(*buffer);free(buffer);，还是挺好的。但是，如果加上free，结果是错误的。那么我的代码有什么问题？
floatalloc2 的附录：
/*@out@*/ void *sf_alloc (size_t n, size_t size )
/*< output-checking allocation >*/
{
void *ptr;
size *= n;
if (0>=size) sf_error("%s: illegal allocation (%d bytes)",__FILE__,size);
ptr = malloc (size);
if (NULL == ptr)
sf_error ("%s: cannot allocate %lu bytes:", __FILE__,size);
return ptr;
}
/*@out@*/ float *sf_floatalloc (size_t n)
/*< float allocation >*/
{
float *ptr;
ptr = (float*) sf_alloc (n,sizeof(float));
return ptr;
}
/*@out@*/ float **floatalloc2 (size_t n1 , size_t n2 )
/*< float 2-D allocation, out[0] points to a contiguous array >*/
{
size_t i2;
float **ptr;
ptr = (float**) sf_alloc (n2,sizeof(float*));
ptr[0] = sf_floatalloc (n1*n2);
for (i2=1; i2 < n2; i2++) {
ptr[i2] = ptr[0]+i2*n1;
}
return ptr;
}
假设我们使用 float **p = floatalloc2(columns, rows)。然后，p 分配给 rows 浮点数指针（float *），p[0] 分配给 columns*rows 浮点数。如果库不提供 floatfree2() 或 free2() 函数，您可以按顺序使用 free(*p); free(p); 释放为二维数组分配的内存。这也是 OP 正在做的事情。
内循环，
for (k=0;k<nsrc-1;k++){ if (MYID==k){ buffer = floatalloc2(nx,nz); memset(buffer[0],0,nz*nx*sizeof(float)); buffer = p; }else{ buffer = floatalloc2(nx,nz); memset(buffer[0],0,nz*nx*sizeof(float)); } ... free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */ }
buffer = p;行替换了前两行分配和初始化的二维数组；这本质上是内存泄漏。我想这个想法是 copy p 的内容给它，但我不能确定。
此外，稍后，free(*buffer); free(buffer); 行最终在 k == MYID 迭代中释放了 p 描述的二维数组。
解决这个问题的一种方法是让 buffer 在 k == MYID:
p
for (k = 0; k < nsrc-1; k++) {
if (MYID == k) {
buffer = p;
} else {
buffer = floatalloc2(nx,nz);
memset(buffer[0], 0, nz*nx*sizeof(float));
}
...
if (buffer != p) {
free(*buffer);
free(buffer);
}
}
这样，当k == MYID时，buffer实际上指向了p；否则它会为每次迭代动态分配和释放。显然，当 buffer 别名 p 时，我们不释放它，因为那样会释放 p.
您可以在 MPI_Finalize() 之前添加 free(*p); free(p);，以释放分配给 p 的内存，但这并不是绝对必要的，因为进程即将退出。 （但是，如果您使用 Valgrind 等来查找内存泄漏，或者希望表明您（程序员）确实正确地跟踪动态分配，这很有用；在这种情况下，添加注释可能会有用。）
更好的方法是只分配一次缓冲区，然后在每次迭代中重新使用它：
float **p, **buffer;
p = floatalloc2(nx, nz);
memset(p[0], 0, nz*nx*sizeof p[0][0]);
buffer = floatalloc2(nx, nz);
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
for (it=0; it < nt; it++) {
for (isrc=MYID; isrc < nsrc; isrc+=NP) {
for (j=0; j<nz; j++){
for (i=0; i<nx; i++){
p[j][i] += 1.5 + (float)(isrc) + (float)(j);
}
}
}
for (k=0; k<nsrc-1; k++) {
float **data;
if (MYID == k) {
data = p;
} else {
data = buffer;
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
}
MPI_Barrier(MPI_COMM_WORLD);
MPI_Bcast(&(data[0][0]), nx*nz, MPI_FLOAT, k, MPI_COMM_WORLD);
MPI_Barrier(MPI_COMM_WORLD);
for (j=0; j<nz; j++) {
for (i=0; i<nx; i++) {
printf("it=%d,k=%d,Node %d,data[%d][%d]=%f, p[%d][%d]=%f\n",
it, k, MYID, j, i, data[j][i], p[j][i]);
}
}
}
}
free(*buffer);
free(buffer);
free(*p);
free(p);
请注意，sizeof p[0][0] 和 sizeof buffer[0][0] 是计算 p/buffer 和 [=100 的每个元素的大小（以字符为单位）的语句=]不要实际检查任何内存。这些是允许的，而且是安全的，即使 p == NULL 或 p[0] == NULL，因为编译器只是检查表达式的 类型 （在 sizeof 运算符）。为了提醒自己这一点，我从不在 sizeof 运算符右侧的变量引用周围使用括号。 （当你使用类型时，如 float，括号是必需的。然后，我将其写为 sizeof (float)。）这帮助我记住 sizeof 是一个运算符，并且不表现像一个函数，虽然它看起来像一个函数。
float **data;只是对p或buffer中实际数据的引用（或别名）；我们需要使用它的只是分配它，data = p; 或 data = buffer;。因为它是引用或别名，指向完全相同的数据，所以我们根本不 free() 它。如果我们这样做了，我们最终只会释放原始数据，p 或 buffer.
在对该问题的评论中，我提到使用双重间接寻址（float **data，其中 data[row][column] 是一个元素，data[row] 和 data 都是指针) 效率不高。在实践中，使用结构代替。例如：
typedef struct {
int rows;
int cols;
float *data;
} float2d;
#define FLOAT2D_INIT { 0, 0, NULL }
static inline void float2d_alloc(float2d *m, const int rows, const int cols)
{
do {
if (!m) {
fprintf(stderr, "float2d_alloc(): No matrix specified.\n");
break;
}
if (rows < 1 || cols < 1) {
fprintf(stderr, "float2d_alloc(): Invalid matrix size (%d rows, %d cols).\n", rows, cols);
break;
}
m->data = malloc((size_t)rows * (size_t)cols * sizeof m->data[0]);
if (!m->data) {
fprintf(stderr, "float2d_alloc(): Not enough memory available.\n");
break;
}
m->rows = rows;
m->cols = cols;
return;
} while (0);
/* MPI_Abort(MPI_COMM_WORLD, 1); */
exit(1);
}
static inline void float2d_free(float2d *m)
{
if (m) {
free(m->data);
m->rows = 0;
m->cols = 0;
m->data = NULL;
}
}
如果您分配了 float2d p;，那么要访问行 r、列 c 上的元素，您可以使用 p.data[r*p.cols + c]。所有数据在内存中都是连续的；有 p.cols*p.rows 个元素，总大小为 p.cols*p.rows*sizeof p.data[0]。要引用行 r 上的浮点数数组，您可以使用 p.data + r*p.rows（相当于 &(p.data[r*p.rows])）。
如果您对这种方法感兴趣，并且经常使用矩阵（或密集的二维数据数组），您可能希望查看
另一种方法是使用 VLA：
#include <stdio.h>
#include <stdlib.h>
void print_matrix(int nx, int ny, int a[nx][ny])
{
printf("Printing matrix at %p\n", &a[0][0]);
for (int i=0; i < nx; i++) {
printf("%d", a[i][0]);
for (int j=1; j < ny; j++)
printf(", %d", a[i][j]);
printf("\n");
}
}
int main(int argc, char *argv[])
{
int nx = 3, nz = 2;
/* two different syntaxes */
int (*A)[nx][nz] = malloc(sizeof(int[nx][nz]));
int (*B)[nz] = malloc(sizeof(int[nx][nz]));
for (int i = 0; i < nx; i++)
for (int k = 0; k < nz; k++) {
(*A)[i][k] = (i+1)*(k+1);
B[i][k] = (i+1)*(k+1);
}
print_matrix(nx, nz, *A);
print_matrix(nx, nz, B);
free(A);
free(B);
}
我强烈推荐免费书籍 "Modern C"，可在此处获取：https://gustedt.wordpress.com/2016/11/25/modern-c-is-now-feature-complete/