ESR60対応

[ashie]

ESR60に向けた調査を以下のブランチで開始している。

https://github.com/webdino/meta-browser/tree/firefox-60-wip

ざっとビルドは通るようにしたが、まだ動作は確認できていない（起動直後にクラッシュ）

[ashie]

ビルドには、これまでの手順に加えて、rustupで最新のRustをインストールする必要がある

$ curl https://sh.rustup.rs -sSf | sh
$ rustup target add armv7-unknown-linux-gnueabihf
$ echo PATH=\"\$HOME/.cargo/bin:\$PATH\" >> ~/.bashrc

あとgcc-4.9以上が必要。Ubuntu-14.04だとつらいかも。Ubuntu-16.04ではビルド可。

[ashie]

パッチの移植はまだできていない。

ただしWaylandパッチはmozilla-centralにマージされており、追加パッチ無しでビルドできるようになっている。
gecko-embeddedで当てていたWayland版の追加修正も、bugzilla.redhat.comに報告してたやつがbugzilla.mozilla.orgの方に移行してmozilla-centralに入り始めているので、Wayland対応に関してはほぼパッチ無しで対応できる見込み。

[ashie]

ビルドには、これまでの手順に加えて、rustupで最新のRustをインストールする必要がある

meta-rustで対応する方法も検討中だが、入ってるRustのバージョンが追いつかなくなったので保留中。
いずれ追いついたら再開したい。

[ashie]

現在遭遇している問題

• configure時のRustのtargetの検出でサポートしていないtargetが検出される
  • rustc --print target-listとrustup target listの不一致が関係していそう
  • rustup target list shows targets that do not exist rust-lang/rustup#326
  • ひとまずクソパッチでtargetを固定化して先を急いだ。一通りビルドは通ったのでそろそろちゃんと調査・報告したい。
• --enable-releaseが無いと、--disable-goldとしていてもgoldリンカーが使われる
  • https://dxr.mozilla.org/mozilla-central/rev/e22e2c9eb81686e958a9448ea3d1e8cd766743e2/build/moz.configure/toolchain.configure#1511
• Styloのビルドでx86のヘッダファイルが参照される
  • --disable-styloで保留中
• WebRTCで存在しないヘッダファイル<gnu/stubs-soft.h>が参照される
  • --disable-webrtcで保留中
• AV1のビルドでビルドすべきソースが見つからない
  • --disable-av1で保留中
• 起動直後にクラッシュする

#0  0x4ae1294c in raise (sig=11) at ../sysdeps/unix/sysv/linux/pt-raise.c:36
36	  return INLINE_SYSCALL (tgkill, 3, pid, THREAD_GETMEM (THREAD_SELF, tid),
(gdb) where
#0  0x4ae1294c in raise (sig=11) at ../sysdeps/unix/sysv/linux/pt-raise.c:36
#1  0xb58dd78c in nsProfileLock::FatalSignalHandler(int, siginfo_t*, void*) () from /usr/lib/firefox/libxul.so
#2  0xb58dd78c in nsProfileLock::FatalSignalHandler(int, siginfo_t*, void*) () from /usr/lib/firefox/libxul.so
#3  0xb58dd78c in nsProfileLock::FatalSignalHandler(int, siginfo_t*, void*) () from /usr/lib/firefox/libxul.so
#4  0xb58dd78c in nsProfileLock::FatalSignalHandler(int, siginfo_t*, void*) () from /usr/lib/firefox/libxul.so
#5  0xb58dd78c in nsProfileLock::FatalSignalHandler(int, siginfo_t*, void*) () from /usr/lib/firefox/libxul.so
...（以下延々同じ）

[makotokato]

知ってる話書いておきます

60の段階だと--disable-styloは有効ですが、将来的にはstyloオフにするオプション無くします。もしStyloをビルドするのであれば、こんな感じ(gcc-4.9.3を使ってるの例) で.mozconfigにBINDGEN_CFLAGSを指定してください (クロスビルドは必須)
export BINDGEN_CFLAGS="--target=arm-linux-gnueabihf -I/usr/arm-linux-gnueabihf/include/c++/4.9.3 -I/usr/arm-linux-gnueabihf/include/c++/4.9.3/arm-linux-gnueabihf -I/usr/lib/llvm-3.9/lib/clang/3.9.1/include"

gcc-5.xだと多分armの生成コードの問題で色々問題あるので、4.9か6.4以降くらいじゃないと多分動かないです

av1はnightlyビルドだけなので、stableチャンネルだとデフォルトでビルドされないはず。armだとビルドする設定にはなってるけど、あれビルド通らないです (Makefile.inでアセンブラコード生成するコード書き忘れてる)

webrtcのコードはGYPからGNに移行した段階で壊れてるのですが、というかそもそも59くらいからLinux/armだとビルド通らないコードになってる

[ashie]

情報ありがとうございます！試してみます！

[makotokato]

WebRTC: https://bugzilla.mozilla.org/show_bug.cgi?id=1433725

[ashie]

gcc-5.xだと多分armの生成コードの問題で色々問題あるので、4.9か6.4以降くらいじゃないと多分動かないです

確かに、gcc-4.9で動くバリナリが作成できることを確認できました。
ありがとうござます！

Yoctoの場合はYoctoで導入するgccも入れ替える必要があるので、手順をまとめる必要がある。

[ashie]

魚拓

[ashie]

Yoctoの場合はYoctoで導入するgccも入れ替える必要があるので、手順をまとめる必要がある。

現状は以下の手順（レシピを直接変更しなくて済むようにしたい）:

• 以下でシステムのgccを4.9に変更

(for Ubuntu-16.04)
$ sudo apt-get install g++-4.9
$ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 10
$ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 20
$ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 10
$ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.9 20
$ sudo rm /usr/bin/cpp
$ sudo update-alternatives --install /usr/bin/cpp cpp /usr/bin/cpp-5 10
$ sudo update-alternatives --install /usr/bin/cpp cpp /usr/bin/cpp-4.9 20
$ sudo update-alternatives --set cc /usr/bin/gcc
$ sudo update-alternatives --set c++ /usr/bin/g++

• meta-renesasを以下のように変更

diff --git a/meta-rzg1/conf/machine/include/rzg-providers.inc b/meta-rzg1/conf/machine/include/rzg-providers.inc
index b5d6993..83f0e40 100644
--- a/meta-rzg1/conf/machine/include/rzg-providers.inc
+++ b/meta-rzg1/conf/machine/include/rzg-providers.inc
@@ -6,4 +6,4 @@
 #PREFERRED_VERSION_gcc-crosssdk-initial = "linaro-5.2"
 #PREFERRED_VERSION_gcc-crosssdk-intermediate = "linaro-5.2"
 #PREFERRED_VERSION_gcc-cross-canadian-${TRANSLATED_TARGET_ARCH} = "linaro-5.2"
-GCCVERSION = "linaro-5.2"
+GCCVERSION = "linaro-4.9"

• meta-linaroを以下のように変更

diff --git a/meta-linaro-toolchain/recipes-devtools/gcc/gcc-linaro-4.9.inc b/meta-linaro-toolchain/recipes-devtools/gcc/gcc-linaro-4.9.inc
index 852a316..d3b30bb 100644
--- a/meta-linaro-toolchain/recipes-devtools/gcc/gcc-linaro-4.9.inc
+++ b/meta-linaro-toolchain/recipes-devtools/gcc/gcc-linaro-4.9.inc
@@ -8,7 +8,7 @@ BINV = "4.9.4"
 
 FILESPATH = "${@base_set_filespath([ '${FILE_DIRNAME}/gcc-${PV}' ], d)}"
 
-SRC_URI = "https://releases.linaro.org/${MMYY}/components/toolchain/gcc-linaro/${BASEPV}/gcc-${PV}-${RELEASE}.tar.xz \
+SRC_URI = "https://releases.linaro.org/archive/${MMYY}/components/toolchain/gcc-linaro/${BASEPV}/gcc-${PV}-${RELEASE}.tar.xz \
            file://0001-gcc-4.3.1-ARCH_FLAGS_FOR_TARGET.patch \
            file://0002-uclibc-conf.patch \
            file://0003-gcc-uclibc-locale-ctype_touplow_t.patch \

[ashie]

60の段階だと--disable-styloは有効ですが、将来的にはstyloオフにするオプション無くします。もしStyloをビルドするのであれば、こんな感じ(gcc-4.9.3を使ってるの例) で.mozconfigにBINDGEN_CFLAGSを指定してください (クロスビルドは必須)
export BINDGEN_CFLAGS="--target=arm-linux-gnueabihf -I/usr/arm-linux-gnueabihf/include/c++/4.9.3 -I/usr/arm-linux-gnueabihf/include/c++/4.9.3/arm-linux-gnueabihf -I/usr/lib/llvm-3.9/lib/clang/3.9.1/include"

教えてもらった方針でStyloをビルドできることは確認できたが、Yoctoでどう汎化させてレシピに落とし込むかというところが悩みどころ。

以下、関連箇所のメモ:

https://dxr.mozilla.org/mozilla-central/rev/0d806b3230fe4767fa70cdee57db87d1e9a5ba49/old-configure.in#4141:

BINDGEN_SYSTEM_FLAGS="$_BINDGEN_CFLAGS $NSPR_CFLAGS $NSS_CFLAGS $MOZ_PIXMAN_CFLAGS $MOZ_CAIRO_CFLAGS"
AC_SUBST_TOML_LIST(BINDGEN_SYSTEM_FLAGS)

https://dxr.mozilla.org/mozilla-central/rev/0d806b3230fe4767fa70cdee57db87d1e9a5ba49/build/moz.configure/toolchain.configure#1070

option(env='BINDGEN_CFLAGS',
       nargs=1,
       default=bindgen_cflags_defaults,
       help='Options bindgen should pass to the C/C++ parser')


@depends('BINDGEN_CFLAGS')
@checking('bindgen cflags', lambda s: s if s else 'no')
def bindgen_cflags(value):
    if value and len(value):
        return value[0].split()


add_old_configure_assignment('_BINDGEN_CFLAGS', bindgen_cflags)

https://dxr.mozilla.org/mozilla-central/rev/0d806b3230fe4767fa70cdee57db87d1e9a5ba49/layout/style/bindgen.toml.in#3

[build]
args = [
    @BINDGEN_SYSTEM_FLAGS@
]

[ashie]

gcc-5.xだと多分armの生成コードの問題で色々問題あるので、4.9か6.4以降くらいじゃないと多分動かないです

Yoctoのバージョン毎に使えるgccのバージョンを調査してみた:

• poky
  • 2.0 (jethro)
    • gcc-4.8
    • gcc-4.9
    • gcc-5.2
  • 2.1 (krogoth)
    • gcc-4.9
    • gcc-5.3
  • 2.2 (morty)
    • gcc-5.4
    • gcc-6.2
  • 2.3 (pyro)
    • gcc-5.4
    • gcc-6.3
  • 2.4
    • gcc-6.3
    • gcc-7.3
  • master (2.5 sumo)
    • gcc-7.3
• meta-linaro
  • 2.0 (jethro)
    • gcc-linaro-4.8
    • gcc-linaro-4.9
    • gcc-linaro-5.2
  • 2.1 (krogoth)
    • gcc-linaro-4.9
    • gcc-linaro-5.2
  • 2.2 (morty)
    • gcc-linaro-4.9
    • gcc-linaro-5.2
    • gcc-linaro-5.3
    • gcc-linaro-6.2
  • 2.3 (pyryo): mortyブランチから変更無し
    • gcc-linaro-4.9
    • gcc-linaro-5.2
    • gcc-linaro-5.3
    • gcc-linaro-6.2
  • 2.4 (rocko)
    • gcc-linaro-4.9
    • gcc-linaro-5.2
    • gcc-linaro-5.3
    • gcc-linaro-6.3
    • gcc-linaro-7.1
  • master (2.5 sumo)
    • gcc-linaro-4.9
    • gcc-linaro-5.2
    • gcc-linaro-5.3
    • gcc-linaro-6.3
    • gcc-linaro-7.1
    • gcc-linaro-7.2

[ashie]

• configure時のRustのtargetの検出でサポートしていないtargetが検出される
  • rustc --print target-listとrustup target listの不一致が関係していそう

状況としては以下のような感じ

• 指定ターゲット: arm-poky-linux-gnueabi
• 検出されたターゲット: armv5te-unknown-linux-gnueabi
• 候補（rustc --print target-list）： 検出コード的には下のほうが優先度が高い
  • arm-linux-androideabi
  • arm-unknown-linux-gnueabi
  • arm-unknown-linux-gnueabihf
  • arm-unknown-linux-musleabi
  • arm-unknown-linux-musleabihf
  • armv5te-unknown-linux-gnueabi
  • armv7-linux-androideabi
  • armv7-unknown-linux-gnueabihf
  • armv7-unknown-linux-musleabihf

RZ/G1Mの場合armv7-unknown-linux-gnueabihfが引っかかって欲しいところだけど、検出コードを見るとraw_os（linux-gnueabiの部分）のhfの有無の違いでヒットしていないようだ。ビルドオプションには-mfloat=hardが付いているので、指定ターゲットも arm-poky-linux-gnueabihfになっていて欲しいところだが...

関連コード

• https://dxr.mozilla.org/mozilla-central/rev/8cc2427a322caa1e2c09ca3957335f88e573dc7a/build/moz.configure/rust.configure#185

        if rustc_target is None:
            rustc_target = rust_supported_targets.per_raw_os.get(
                (host_or_target.cpu, host_or_target.endianness,
                 host_or_target_raw_os))

• https://dxr.mozilla.org/mozilla-central/rev/8cc2427a322caa1e2c09ca3957335f88e573dc7a/build/moz.configure/rust.configure#114
• https://dxr.mozilla.org/mozilla-central/rev/8cc2427a322caa1e2c09ca3957335f88e573dc7a/build/moz.configure/init.configure#574

[ashie]

armv5te-unknown-linux-gnueabiは割と最近、以下のPRで追加されたようだ。

• Add armv5te-unknown-linux-gnueabi to cross builder rust-lang/rust#46498

これがなければ、arm-unknown-linux-gnueabiがヒットしてconfigureは一応通る。
とはいえ上記のような状況（検出コードのせいというよりは、Yoctoで与えているターゲット名の方が悪い）なので、これのせいとは言い難い。

[ashie]

webrtcのコードはGYPからGNに移行した段階で壊れてるのですが、というかそもそも59くらいからLinux/armだとビルド通らないコードになってる

GNの対応は以下で行われたようだ。

• https://bugzilla.mozilla.org/show_bug.cgi?id=1393119

media/webrtc/gn-configs/に各ターゲット向けの設定があるが、ここにLinux/ARMのターゲットがないためにビルドできないようだ。ここのファイルの生成は

$ ./mach build-backend -b GnConfigGen

で行い、media/webrtc/trunk/gn-output/に生成されたjsonファイルをmedia/webrtc/gn-configs/に置いて

$ ./mach build-backend -b GnMozbuildWriter

でmoz.buildを生成し直すと、Linux/ARM向けにもビルドできるようになる。

ただし、GnConfigGenの際にgnコマンドが必要になる。
gnコマンドは以下のスクリプトでビルドできる

• https://gist.github.com/KSR-Yasuda/ce8a67fa944f6e82fc397b914b5bc8a6

ビルドの際には新しめのninjaが必要になる。以下から最新版をダウンロードするのが無難

• https://github.com/ninja-build/ninja/releases