マルチプレクスされている端子のMODE設定は、レジスタ設定(Pad Control Registerのbit[3:0]MUXMODE)で行います。
Pad Control Registerの詳細は、AM437x Technical Reference Manual:TRM(spruhl7)
"7.2.1 Pad Control Registers"を参照してください。
Pad Control Registerは、マルチプレクスされている端子毎に用意されており、
各Pad Control Registerのアドレスについては、
TRMの"Table 7-11 CONTROL_MODULE Registers"を参照してください。(下記は一部抜粋したものです)