如何使用LLVM在Windows for ARM上编译C++程序？

Aim仅使用 LLVM 在 Windows for ARM 上编译 C++ 程序。

WhyLLVM 因为宽松的许可。

我开始怀疑我对LLVM的理解是否正确。

在主机上做

1. 使用 clang（前端）生成中间表示。该表示与目标无关。
2. 使用llc（后端）生成目标汇编代码。
3. 使用 lld-link.exe 生成可执行文件。

然后在目标机器上执行。

主机Windows 10，64 位

靶机用arm cortex-a57驱动PX

该程序

int main(int argc, char* argv[]) 
{
    int x=41;
    x++;
    return x;
}

我已经检查并编译了 LLVM（使用 Visual Studio 2015，发布版本，CPU = x64）

我的尝试

clang.exe -target arm -march=armv8-a -mcpu=cortex-a57 -mfloat-abi=hard  -emit-llvm -c -o main.bc  main.cpp
llc.exe -march=arm -mcpu=cortex-a57 -mattr=a57,armv8-a,v8 -meabi=gnu -o main.s main.bc
lld-link.exe /entry:main /machine:arm main.s

Error

lld-link.exe: error: main.s: unknown file type

然后我尝试在Windows上做前端步骤，在arm机器上做后端。

clang.exe -target arm -march=armv8-a -mcpu=cortex-a57 -mfloat-abi=hard  -emit-llvm -c -o main.bc  main.cpp
llc.exe -march=arm -mcpu=cortex-a57 -mattr=a57,armv8-a,v8 -meabi=gnu -o main.s main.bc
SCP main.s to the arm machine. SSH and
gcc main.s (using gcc as a test. LLVM should do this.)

Error

main.s: Assembler messages:
main.s:2: Error: unknown pseudo-op: `.syntax'
main.s:3: Error: unknown pseudo-op: `.eabi_attribute'
main.s:9: Error: unknown pseudo-op: `.fpu'
main.s:26: Error: junk at end of line, first unrecognized character is `@'
main.s:29: Error: unknown pseudo-op: `.code'
main.s:31: Error: unknown pseudo-op: `.fnstart'
main.s:32: Error: junk at end of line, first unrecognized character is `@'
main.s:34: Error: operand 1 should be an integer register -- `mov r2,#0'
main.s:41: Error: operand 1 should be an integer or stack pointer register -- `add r0,r0,#1'
main.s:45: Error: unknown mnemonic `bx' -- `bx lr'
main.s:48: Error: unknown pseudo-op: `.cantunwind'
main.s:49: Error: unknown pseudo-op: `.fnend'
main.s:50: Error: junk at end of line, first unrecognized character is `@'

所以我尝试只针对Windows

clang.exe  -emit-llvm -c -o main.bc  main.cpp
llc.exe -march=x86 -c -o main.s main.bc
ld.lld.exe main.s

Error

ld.lld.exe: error: main.s:1: unknown directive: .text

然后，使用 gcc 代替 ld.lld.exe（再次使用 gcc 作为测试。LLVM 应该这样做。）

clang.exe  -emit-llvm -c -o main.bc  main.cpp
llc.exe -march=x86 -c -o main.s main.bc
gcc main.s -o main.exe

这样可行。为了测试我输入

main.exe
echo Exit Code is %errorlevel%

返回 42

一般问题

仅使用 LLVM（没有 gcc，没有从 ARM 下载任何内容）在 Windows 下针对 ARM CPU 编译 C++ 程序的步骤是什么？

具体问题

1. 自编译LLVM附带的工具（例如clang.exe、llc.exe、lld.exe）可以在Windows目标arm上编译可执行文件吗？例如lld还在开发中吗？
2. 为什么我尝试在 Windows 下针对 Windows 进行编译和链接会失败？
3. 在主机上链接目标时，头文件和库（例如 libstdc++）来自哪里？我想我需要从手臂机器上获取这些？将它们复制到主机并告诉链接器在哪里可以找到它们？那是对的吗？

Update

所以我最初尝试过使用 Clang 交叉编译 https://clang.llvm.org/docs/CrossCompilation.html

clang.exe --target=arm --sysroot=c:\code\clang\FromCmdLine main.cpp  -v

结果是

clang.exe: error: linker (via gcc) command failed with exit code 1 (use -v to see invocation)

-v 的详细信息是

 "C:\\llvm\\clang.exe" -cc1 -triple armv4t-- -emit-obj -mrelax-all -disable-free -disable-llvm-verifier -discard-value-names -main-file-name main.cpp -mrelocation-model static -mthread-model posix -mdisable-fp-elim -fmath-errno -masm-verbose -mconstructor-aliases -target-cpu arm7tdmi -target-feature +soft-float -target-feature +soft-float-abi -target-feature -fp-only-sp -target-feature -d16 -target-feature -vfp2 -target-feature -vfp3 -target-feature -fp16 -target-feature -vfp4 -target-feature -fp-armv8 -target-feature -neon -target-feature -crypto -target-feature +strict-align -target-abi aapcs -msoft-float -mfloat-abi soft -fallow-half-arguments-and-returns -dwarf-column-info -debugger-tuning=gdb -v -resource-dir "c:\\llvm\\clang\\7.0.0" -isysroot "c:\\code" -fdeprecated-macro -fdebug-compilation-dir "c:\\code" -ferror-limit 19 -fmessage-length 293 -fno-signed-char -fobjc-runtime=gcc -fcxx-exceptions -fexceptions -fdiagnostics-show-option -fcolor-diagnostics -o "C:\\Users\\AppData\\Local\\Temp\\main-b17d06.o" -x c++ main.cpp
clang -cc1 version 7.0.0 based upon LLVM 7.0.0svn default target x86_64-pc-win32
ignoring nonexistent directory "c:\code\usr/local/include"
ignoring nonexistent directory "c:\code\usr/include"
#include "..." search starts here:
#include <...> search starts here:
 C:\llvm\clang\7.0.0\include
End of search list.
 "C:\\MinGW\\bin\\gcc.exe" "--sysroot=c:\\code" -v -o a.out "C:\\Users\\AppData\\Local\\Temp\\main-b17d06.o"
Using built-in specs.
COLLECT_GCC=C:\MinGW\bin\gcc.exe
COLLECT_LTO_WRAPPER=c:/mingw/bin/../libexec/gcc/mingw32/6.3.0/lto-wrapper.exe
Target: mingw32
Configured with: ../src/gcc-6.3.0/configure --build=x86_64-pc-linux-gnu --host=mingw32 --target=mingw32 --with-gmp=/mingw --with-mpfr --with-mpc=/mingw --with-isl=/mingw --prefix=/mingw --disable-win32-registry --with-arch=i586 --with-tune=generic --enable-languages=c,c++,objc,obj-c++,fortran,ada --with-pkgversion='MinGW.org GCC-6.3.0-1' --enable-static --enable-shared --enable-threads --with-dwarf2 --disable-sjlj-exceptions --enable-version-specific-runtime-libs --with-libiconv-prefix=/mingw --with-libintl-prefix=/mingw --enable-libstdcxx-debug --enable-libgomp --disable-libvtv --enable-nls
Thread model: win32
gcc version 6.3.0 (MinGW.org GCC-6.3.0-1)
COMPILER_PATH=c:/mingw/bin/../libexec/gcc/mingw32/6.3.0/;c:/mingw/bin/../libexec/gcc/;c:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../../mingw32/bin/
LIBRARY_PATH=c:/mingw/bin/../lib/gcc/mingw32/6.3.0/;c:/mingw/bin/../lib/gcc/;c:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../../mingw32/lib/;c:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../;c:/code/clang/FromCmdLine/lib/
COLLECT_GCC_OPTIONS='-v' '-o' 'a.out' '-mtune=generic' '-march=i586'
 c:/mingw/bin/../libexec/gcc/mingw32/6.3.0/collect2.exe -plugin c:/mingw/bin/../libexec/gcc/mingw32/6.3.0/liblto_plugin-0.dll -plugin-opt=c:/mingw/bin/../libexec/gcc/mingw32/6.3.0/lto-wrapper.exe -plugin-opt=-fresolution=C:\Users\AppData\Local\Temp\ccufvVIA.res -plugin-opt=-pass-through=-lmingw32 -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lgcc_eh -plugin-opt=-pass-through=-lmoldname -plugin-opt=-pass-through=-lmingwex -plugin-opt=-pass-through=-lmsvcrt -plugin-opt=-pass-through=-ladvapi32 -plugin-opt=-pass-through=-lshell32 -plugin-opt=-pass-through=-luser32 -plugin-opt=-pass-through=-lkernel32 -plugin-opt=-pass-through=-lmingw32 -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lgcc_eh -plugin-opt=-pass-through=-lmoldname -plugin-opt=-pass-through=-lmingwex -plugin-opt=-pass-through=-lmsvcrt --sysroot=c:\code\clang\FromCmdLine -Bdynamic -o a.out c:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../crt2.o c:/mingw/bin/../lib/gcc/mingw32/6.3.0/crtbegin.o -Lc:/mingw/bin/../lib/gcc/mingw32/6.3.0 -Lc:/mingw/bin/../lib/gcc -Lc:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../../mingw32/lib -Lc:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../.. -Lc:/code/clang/FromCmdLine/lib C:\Users\AppData\Local\Temp\main-b17d06.o -lmingw32 -lgcc -lgcc_eh -lmoldname -lmingwex -lmsvcrt -ladvapi32 -lshell32 -luser32 -lkernel32 -lmingw32 -lgcc -lgcc_eh -lmoldname -lmingwex -lmsvcrt c:/mingw/bin/../lib/gcc/mingw32/6.3.0/crtend.o
c:/mingw/bin/../lib/gcc/mingw32/6.3.0/../../../../mingw32/bin/ld.exe: C:\Users\AppData\Local\Temp\main-b17d06.o: Relocations in generic ELF (EM: 40)
C:\Users\AppData\Local\Temp\main-b17d06.o: error adding symbols: File in wrong format

Update

这并不能完全回答我的问题，但它确实帮助我进步。

为了更好地理解我发现交叉工具-NG https://crosstool-ng.github.io/有用，尤其是他们的文档 https://crosstool-ng.github.io/docs/（第 1 章至第 5 章）。

然后我读了cmake交叉编译 https://cmake.org/cmake/help/v3.6/manual/cmake-toolchains.7.html文档。

我写了一个小的 cmake C++ 测试。

Helloworld.cpp

#include <iostream>
int main(int argc, char *argv[])
{
   std::cout << "Hello World!" << std::endl;
   return 0;
}

CMakeLists.txt

cmake_minimum_required(VERSION 2.8.9)
project (hello)
add_executable(hello helloworld.cpp)

cmake 的目标特定配置。这是来自4 https://cmake.org/cmake/help/v3.6/manual/cmake-toolchains.7.html.

set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR arm)

set(CMAKE_SYSROOT /home/user/x-tools/aarch64-unknown-linux-gnueabi/aarch64-unknown-linux-gnueabi/sysroot/)
set(CMAKE_STAGING_PREFIX /home/user/crosscompile/stage)

set(tools /home/user/x-tools/aarch64-unknown-linux-gnueabi)
set(CMAKE_C_COMPILER ${tools}/bin/aarch64-unknown-linux-gnueabi-gcc)
set(CMAKE_CXX_COMPILER ${tools}/bin/aarch64-unknown-linux-gnueabi-g++)

set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)
set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY)

和命令行

cmake -DCMAKE_TOOLCHAIN_FILE=../toolchain_file.txt ..

该交叉编译为 ARM，程序在 ARM 机器上运行。

但这并没有使用 LLVM/Clang。为了使用 LLVM，我想到了更改工具链配置以使用

set(tools /usr/bin)
set(CMAKE_C_COMPILER ${tools}/clang)
set(CMAKE_CXX_COMPILER ${tools}/clang++)

失败是因为该 bin 文件夹适用于主机。

我还尝试使用 AArch64 下载http://releases.llvm.org/download.html http://releases.llvm.org/download.html。是的，那也行不通。

总而言之，这就是所需要的。

1. sysroot 文件夹，其中包含目标系统的 lib 和 include 文件夹。好的，sysroot 文件夹中需要有比 lib 和 include 更多的内容。
2. 目标系统的工具链（编译器、汇编器、链接器）。

这就是我必须做的，为了获得概念验证工作，仅使用 llvm 进行交叉编译，主机 = linux x86_64 和目标 = DrivePX (arm aarch64)。 （也适用于主机 = Windows 10 x86_64。）

我推荐一个工具，比如交叉工具-ng http://crosstool-ng.github.io/它为您设置了一个交叉编译工具链，但下面的步骤显示了幕后发生的事情，并且它仅使用 llvm。

1. On the host computer, checkout and compile LLVM including Clang
   • see http://llvm.org/docs/GettingStarted.html http://llvm.org/docs/GettingStarted.html.
   • 这需要很长时间，因此需要进行发布构建。还要确保您有足够的空间 (GB)。
   • 告诉 cmake 进行发布构建，例如
   • CC=gcc CXX=g++ cmake -G "Unix Makefiles" -DCMAKE_BUILD_TYPE=Release ../llvm/
   • 然后调用make。
2. Call clang on the host computer.
   • 记得设定目标，例如--target=aarch64-linux-gnu
   • 告诉 clang 使用 llvm 链接器，即-fuse-ld=lld
   • clang --target=aarch64-linux-gnu -v main.cpp -o main -fuse-ld=lld
3. 会出现很多链接器错误

ld.lld：错误：无法找到库-lgcc

ld.lld：错误：无法找到库-lgcc_s

ld.lld：错误：无法找到库-lc

4. 还有一些有关缺少 crtX.o 文件的错误，例如

ld.lld: 错误: 无法打开 crt1.o: 没有这样的文件或目录

5. On the target machine find, all the libgcc, libc, etc. files.
   • 请记住复制完整版本的库，例如对于 libgcc_s.so 复制 libgcc_s.so.1
   • 将这些文件复制到主机。
   • 告诉 clang 在哪里可以找到这些库，例如将文件复制到名为 libs 的文件夹中
   • clang --target=aarch64-linux-gnu -v main.cpp -o main -fuse-ld=lld -L./libs
   • 还要记住，链接器正在寻找例如libgcc_s.so 因此创建符号链接，例如libgcc_s.so.1。
6. 将 crtX.o 文件从目标复制到主机。将它们放在 main.cpp 旁边。
7. 然后又出现一个错误

ld.lld：错误：未定义符号：__libc_csu_fini

• 该符号位于 libc_nonshared.a 中。和这个answer https://stackoverflow.com/questions/6656317/linking-a-c-program-directly-with-ld-fails-with-undefined-reference-to-libc-c帮助了。

libc.so 是一个链接器脚本，它告诉链接器引入共享库 libc.so.6 和非共享部分 libc_nonshared.a

• 在主机上找到并打开 libc.so 并查看 libc.so.6 和 libc_nonshared.a 的位置。
• 将它们复制到主机。
• 告诉链接器使用这两个库，即-lc -lc_nonshared
• clang --target=aarch64-linux-gnu -v main.cpp -o main -fuse-ld=lld -L./libs -lc -lc_nonshared

我的短文本代码仅依赖于 libc、libgcc，不需要头文件。如果您的代码需要其他库和头文件，您必须将它们从目标复制到主机。

Update Read 这个问题 https://stackoverflow.com/questions/51173869/why-does-clang-still-need-libgcc-a-to-compile-my-code如果您想了解 libgcc。