Генератор парсеров для написания дизассемблера для проприетарного формата ВМ

Написание двоичных дизассемблеров на самом деле означает, что вы хотите указать шаблоны двоичных данных и отношения между объектами декодирования (если вы распознаете две инструкции, разумно предположить, что они не перекрываются).

Обычные синтаксические анализаторы не очень хорошо справляются с этим (хотя вы, безусловно, можете написать грамматику для последовательности инструкций, используя отдельные биты или байты в качестве токенов; вам все равно придется обрабатывать пробелы между последовательностями инструкций).

Самый умный подход, который я видел для этого, — это инструмент под названием SLED от Нормана Рэмси и его команды, который позволяет вам писать краткие шаблоны для двоичных данных и автоматически собирать их в двоичные кодировщики и декодеры. В этом исследовании SLED и количество подобных систем. Ключевой момент: это гораздо больше, чем «генератор синтаксических анализаторов», но концепция похожа: множество шаблонов для описания данных, генератор кода для сборки шаблонов в эффективный механизм, чтобы сопоставить их все.

Чтобы дать вам представление о том, как выглядят эти инструменты, я предлагаю фрагмент частичного кодирования x86-64, основанный на некоторой работе, которую я проделал в этой области. Идея состоит в том, чтобы определить именованные шаблоны (с ограничениями), которые составляются так, чтобы вы могли в конечном итоге написать определение инструкции. Вот краткий пример небольшой части (всего около 1200 строк):

datatype SIB
 { ScaleSize:     unsigned encoding { Times1=0 Times2=1 Times4=2 Times8=3} 2 bits
   ScaledIndex:   unsigned encoding { EAX=0 ECX=1 EDX=2 EBX=3 none=4 EBP=5         ESI=6 EDI=7 } 3 bits
   IndexRegister: unsigned encoding { EAX=0 ECX=1 EDX=2 EBX=3 ESP=4  EBP,disp32=5  ESI=6 EDI=7 } 3 bits
 }

encoding Grp1     { ADD=0 OR ADC SBB AND SUB XOR CMP }
encoding Grp1A    { POP=0 * * * * * * * }
encoding Grp2     { ROL=0 ROR RCL RCR SHL,SAL SHR  * SAR }
encoding Grp3     { TESTIbIz=0 * NOT NEG MULAX,MULrAX IMULAL,IMULrAX DIVAL,DIVrAX IDIVAL,IDIVrAX }
encoding Grp4     { INCEb=0  DECEb * * * * * * }
encoding Grp5     { INCEv=0  DECEv CALLNEv CALLFEp  JMPNEv JMPFEp  PUSHEv * }
encoding Grp6     { SLDTRvMW=0 STRRvMw LLDTEw LTREw VERREw VERWEw * * }
encoding Grp7mem  { SGDTMs=0                          SIDTMs        LGDTMs LIDTMs SMSWMwRv * LMSWEw INVLPGMb }
encoding Grp7reg  { VMCALL,VMLAUNCH,VMRESUME,VMXOFF=0 MONITOR,MWAIT *      *      SMSWMwRv * LMSWEw SWAPGS }
encoding Grp8     { *=0 * * * BT BTS BTR BTC }
encoding Grp9mem  { * CMPXCH8BMq,CMPXCH16BMdq * * * * VMPTRLDMq,VMCLEARMq,VMXONMq VMPTRSTMq }
encoding Grp9reg  { *=0 * * * * * * * }
encoding Grp10    { * * * * * * * }
encoding Grp11Ib  { MOVEbIb * * * * * * * }
encoding Grp11Iz  { MOVEvIz * * * * * * * }
encoding Grp12mem { * * * * * * * * }
encoding Grp12reg { *=0 * * PSRLWNqIb,PSRLWUdqIb *             PSRAWNqIb,PSRAWUdqIb * PSLLWNqIb,PSLLWUdqIb * }
encoding Grp13mem { * * * * * * * * }
encoding Grp13reg { *=0 * * PSRLDNqIb,PSLRDUdqIb *             PSRADNqIb,PSRADUdqIb * PSLLDNqIb,PSLLDUdqIb * }
encoding Grp14mem { * * * * * * * * }
encoding Grp14reg { *=0 * * PSRLQNqIb,PSRLQUdqIb  PSRLDQUdqIb  *                    * PSLLQNqIb,PSLLQUdqIb PSLLDQUDqIb }
encoding Grp15mem { FXSAVE=0 FXRSTOR LDMXCSR STMXCSR * * * CFLUSH }
encoding Grp15reg { *=0 * * * LFENCE MFENCE SFENCE }
encoding Grp16mem { PREFETCHNTA=0 PREFETCHT0 PREFETCHT1 PREFETCHT2 * * * } 
encoding Grp16reg { * * * * * * * * }

...

instruction { ADCr64Immediate => Grp1.ADC
      ADDr64Immediate => Grp1.ADD
      ANDr64Immediate => Grp1.AND
      CMPr64Immediate => Grp1.CMP
      ORr64Immediate  => Grp1.OR
      SBBr64Immediate => Grp1.SBB
      SUBr64Immediate => Grp1.SUB
      XORr64Immediate => Grp1.XOR
    }
   (Target: Register32, Immediate: signed 32 bits)
   BasicInstruction
   & prefix_length0
   & if Intel64 => prefix_REX(W=On R=Target:3)
   & OneByteOpcode & Subcode=ImmGrp1EvIz
   & ModRM(Mod=reg RSlashM=Target:2-0 reg=*)

Если вы действительно декодируете просто простую виртуальную машину с простым набором инструкций, возможно, вам не нужны все эти возможности, потому что «простая виртуальная машина» не упаковывает биты и не разделяет данные по границам байтов. , и/или вы можете взломать несколько случаев, которые нарушают эти предположения. По мере того как виртуальные машины людей становятся более сложными (они развиваются годами), они обязательно усложняются. YMMV.