处理传递给过程宏的编译时相关文本文件的正确方法
Proper way to handle a compile-time relevant text file passed to a procedural macro
我需要将文本文件或文本文件的内容传递给程序宏,以便程序宏在编译时根据该文本文件的内容进行操作。也就是说,文本文件配置宏的输出。这个用例是定义宏构建到库中的寄存器映射的文件。
第二个要求是 Cargo
正确处理文本文件,这样对文本文件的更改触发重新编译的方式与对源文件的更改触发重新编译的方式相同。
我最初的想法是使用 include_str!
宏创建一个 static
字符串。这解决了第二个要求,但我看不到如何将 that 传递给宏 - 那时我只有要传递的字符串的标识符:
use my_macro_lib::my_macro;
static MYSTRING: &'static str = include_str!("myfile");
my_macro!(MYSTRING); // Not the string itself!
我可以用字符串字面量的文件名将字符串传递给宏,然后在宏中打开文件:
my_macro!("myfile");
此时我有两个问题:
- 为了获取文件的路径,如何获取调用函数的路径并不明显。我最初认为这会通过令牌
Span
公开,但通常情况下似乎不会(也许我遗漏了什么?)。
- 如何使文件 make
Cargo
在更改时触发重新编译并不明显。我不得不强制这样做的一个想法是在宏的输出中添加一个 include_str!("myfile")
,这有望导致编译意识到 "myfile",但这有点混乱。
有什么方法可以做我想做的事吗?也许通过某种方式获取在外部创建的宏中的字符串内容,或者可靠地获取调用 rust 文件的路径(然后 Cargo
正确处理更改)。
顺便说一句,我读过很多地方告诉我无法访问宏中变量的内容,但在我看来这正是 quote
宏的内容正在处理 #variables
。这是如何工作的?
事实证明,这在本质上是可能的,就像我希望使用稳定的编译器一样。
如果我们承认我们需要相对于 crate root 工作,我们可以这样定义我们的路径。
有用的是,在宏代码中,std::env::current_dir()
将 return 当前工作目录作为包含调用站点的 crate 的根目录。这意味着,即使宏调用在某个 crate 层次结构中,它仍然会 return 一个在宏调用位置有意义的路径。
下面的示例宏基本上满足了我的需要。为简洁起见,它并不是为正确处理错误而设计的:
extern crate proc_macro;
use quote::quote;
use proc_macro::TokenStream;
use syn::parse::{Parse, ParseStream, Result};
use syn;
use std;
use std::fs::File;
use std::io::Read;
#[derive(Debug)]
struct FileName {
filename: String,
}
impl Parse for FileName {
fn parse(input: ParseStream) -> Result<Self> {
let lit_file: syn::LitStr = input.parse()?;
Ok(Self { filename: lit_file.value() })
}
}
#[proc_macro]
pub fn my_macro(input: TokenStream) -> TokenStream {
let input = syn::parse_macro_input!(input as FileName);
let cwd = std::env::current_dir().unwrap();
let file_path = cwd.join(&input.filename);
let file_path_str = format!("{}", file_path.display());
println!("path: {}", file_path.display());
let mut file = File::open(file_path).unwrap();
let mut contents = String::new();
file.read_to_string(&mut contents).unwrap();
println!("contents: {:?}", contents);
let result = quote!(
const FILE_STR: &'static str = include_str!(#file_path_str);
pub fn foo() -> bool {
println!("Hello");
true
}
);
TokenStream::from(result)
}
可以用
调用
my_macro!("mydir/myfile");
其中 mydir
是调用包的根目录。
这使用了在宏输出中使用 include_str!()
的技巧来导致对 myfile
的更改进行重建。这是必要的,并且符合预期。如果它从未真正使用过,我希望它能被优化掉。
我很想知道这种方法是否会在任何情况下失效。
与我最初的问题相关,当前每晚实施 source_file()
method on Span
. This might be a better way to implement the above, but I'd rather stick with stable. The tracking issue for this is here。
编辑:
当包在工作空间中时,上述实现失败,此时当前工作目录是工作空间根目录,而不是 crate 根目录。这很容易解决,如下所示(插入 cwd
和 file_path
声明之间)。
let mut cwd = std::env::current_dir().unwrap();
let cargo_path = cwd.join("Cargo.toml");
let mut cargo_file = File::open(cargo_path).unwrap();
let mut cargo_contents = String::new();
cargo_file.read_to_string(&mut cargo_contents).unwrap();
// Use a simple regex to detect the suitable tag in the toml file. Much
// simpler than using the toml crate and probably good enough according to
// the workspace RFC.
let cargo_re = regex::Regex::new(r"(?m)^\[workspace\][ \t]*$").unwrap();
let workspace_path = match cargo_re.find(&cargo_contents) {
Some(val) => std::env::var("CARGO_PKG_NAME"),
None => "".to_string()
};
let file_path = cwd.join(workspace_path).join(input.filename);
let file_path_str = format!("{}", file_path.display());
我需要将文本文件或文本文件的内容传递给程序宏,以便程序宏在编译时根据该文本文件的内容进行操作。也就是说,文本文件配置宏的输出。这个用例是定义宏构建到库中的寄存器映射的文件。
第二个要求是 Cargo
正确处理文本文件,这样对文本文件的更改触发重新编译的方式与对源文件的更改触发重新编译的方式相同。
我最初的想法是使用 include_str!
宏创建一个 static
字符串。这解决了第二个要求,但我看不到如何将 that 传递给宏 - 那时我只有要传递的字符串的标识符:
use my_macro_lib::my_macro;
static MYSTRING: &'static str = include_str!("myfile");
my_macro!(MYSTRING); // Not the string itself!
我可以用字符串字面量的文件名将字符串传递给宏,然后在宏中打开文件:
my_macro!("myfile");
此时我有两个问题:
- 为了获取文件的路径,如何获取调用函数的路径并不明显。我最初认为这会通过令牌
Span
公开,但通常情况下似乎不会(也许我遗漏了什么?)。 - 如何使文件 make
Cargo
在更改时触发重新编译并不明显。我不得不强制这样做的一个想法是在宏的输出中添加一个include_str!("myfile")
,这有望导致编译意识到 "myfile",但这有点混乱。
有什么方法可以做我想做的事吗?也许通过某种方式获取在外部创建的宏中的字符串内容,或者可靠地获取调用 rust 文件的路径(然后 Cargo
正确处理更改)。
顺便说一句,我读过很多地方告诉我无法访问宏中变量的内容,但在我看来这正是 quote
宏的内容正在处理 #variables
。这是如何工作的?
事实证明,这在本质上是可能的,就像我希望使用稳定的编译器一样。
如果我们承认我们需要相对于 crate root 工作,我们可以这样定义我们的路径。
有用的是,在宏代码中,std::env::current_dir()
将 return 当前工作目录作为包含调用站点的 crate 的根目录。这意味着,即使宏调用在某个 crate 层次结构中,它仍然会 return 一个在宏调用位置有意义的路径。
下面的示例宏基本上满足了我的需要。为简洁起见,它并不是为正确处理错误而设计的:
extern crate proc_macro;
use quote::quote;
use proc_macro::TokenStream;
use syn::parse::{Parse, ParseStream, Result};
use syn;
use std;
use std::fs::File;
use std::io::Read;
#[derive(Debug)]
struct FileName {
filename: String,
}
impl Parse for FileName {
fn parse(input: ParseStream) -> Result<Self> {
let lit_file: syn::LitStr = input.parse()?;
Ok(Self { filename: lit_file.value() })
}
}
#[proc_macro]
pub fn my_macro(input: TokenStream) -> TokenStream {
let input = syn::parse_macro_input!(input as FileName);
let cwd = std::env::current_dir().unwrap();
let file_path = cwd.join(&input.filename);
let file_path_str = format!("{}", file_path.display());
println!("path: {}", file_path.display());
let mut file = File::open(file_path).unwrap();
let mut contents = String::new();
file.read_to_string(&mut contents).unwrap();
println!("contents: {:?}", contents);
let result = quote!(
const FILE_STR: &'static str = include_str!(#file_path_str);
pub fn foo() -> bool {
println!("Hello");
true
}
);
TokenStream::from(result)
}
可以用
调用my_macro!("mydir/myfile");
其中 mydir
是调用包的根目录。
这使用了在宏输出中使用 include_str!()
的技巧来导致对 myfile
的更改进行重建。这是必要的,并且符合预期。如果它从未真正使用过,我希望它能被优化掉。
我很想知道这种方法是否会在任何情况下失效。
与我最初的问题相关,当前每晚实施 source_file()
method on Span
. This might be a better way to implement the above, but I'd rather stick with stable. The tracking issue for this is here。
编辑:
当包在工作空间中时,上述实现失败,此时当前工作目录是工作空间根目录,而不是 crate 根目录。这很容易解决,如下所示(插入 cwd
和 file_path
声明之间)。
let mut cwd = std::env::current_dir().unwrap();
let cargo_path = cwd.join("Cargo.toml");
let mut cargo_file = File::open(cargo_path).unwrap();
let mut cargo_contents = String::new();
cargo_file.read_to_string(&mut cargo_contents).unwrap();
// Use a simple regex to detect the suitable tag in the toml file. Much
// simpler than using the toml crate and probably good enough according to
// the workspace RFC.
let cargo_re = regex::Regex::new(r"(?m)^\[workspace\][ \t]*$").unwrap();
let workspace_path = match cargo_re.find(&cargo_contents) {
Some(val) => std::env::var("CARGO_PKG_NAME"),
None => "".to_string()
};
let file_path = cwd.join(workspace_path).join(input.filename);
let file_path_str = format!("{}", file_path.display());