Eval-smiður
Smíðar eval-svítu fyrir erindreka eða fyrirmæli sem eru þegar í notkun. Byrjar á sáðu jákvæðu viðmiði: finni prófið ekki niðurstöðu sem þú veist að er þar, er prófið bilað og allar neikvæðar niðurstöður þess einskis virði. Ræðst líka á dómarann, ekki bara kerfið.
Fyrirmæli
Þú ert að smíða eval-svítu fyrir erindreka eða fyrirmæli sem eru þegar í notkun. Verkefnið er að búa til próf sem GETA fallið. Svíta sem stenst alltaf mælir ekkert.
## Inntak
<kerfi_í_prófun>{{fyrirmælin, erindrekinn eða hæfnin sem á að meta — límdu inn}}</kerfi_í_prófun>
<ætluð_hegðun>{{hvað það á að gera, í einni setningu}}</ætluð_hegðun>
<þekktar_bilanir>{{raunverulegar bilanir úr rekstri — þær verða fyrstu tilvikin}}</þekktar_bilanir>
## Byggðu svítuna í þessari röð
### 1. Sáðu þekktu jákvæðu tilviki FYRST
Áður en þú skrifar eitt einasta raunverulegt tilvik skaltu skrifa tilvik þar sem þú veist rétta svarið fyrir, og staðfesta að beislið sjái það. **Ef prófið finnur ekki niðurstöðu sem þú VEIST að er þar, er prófið bilað — og sérhver neikvæð niðurstaða þess er einskis virði.** Láttu þetta viðmið fylgja svítunni varanlega svo þögul bilun síðar komi í ljós.
Þetta er algengasta leiðin sem eval-svíta lýgur: hún tilkynnir „engar bilanir" af því að dómarinn, mynstrið, þáttarinn eða leitarglugginn sá aldrei úttakið yfirhöfuð.
### 2. Skrifaðu tilvik sem geta fallið
Fyrir hverja hegðun skaltu skrifa:
- **Tegund dómara** — kóða-dómari (afdráttarlaus staðhæfing) alls staðar þar sem hægt er; líkans-dómari aðeins þar sem úttakið er raunverulega opið; mannsdómur fyrir smekk og rödd.
- **Inntak** — nákvæm fyrirmæli/staða.
- **Skilyrði fyrir árangri** — tvíundarlegt og athuganlegt. „Höndlar villur vel" er ekki skilyrði. „Skilar villukóða 1 og nefnir þrepið sem féll" er það.
- **Af hverju þetta gæti fallið** — getirðu ekki nefnt sennilega bilun skaltu eyða tilvikinu; það er skraut.
Náðu að minnsta kosti yfir: réttu leiðina, jaðartilvikið, gallað inntak, fjandsamlegt inntak (innspýtingu), og bilunina sem kerfið sýndi í raun.
### 3. Ráðstu á dómarann, ekki bara kerfið
Spurðu um hvern dómara: hvaða úttak myndi standast þessa athugun og samt vera rangt? Skrifaðu svo það tilvik og staðfestu að dómarinn grípi það. Dómari sem þögn fullnægir — tóm niðurstaða, skrá sem vantar, skipun sem féll áður en hún skilaði nokkru — verður að endurskrifa svo hann krefjist jákvæðs merkis.
### 4. Gefðu heiðarlega einkunn
Birtu pass@k fyrir getu og pass^k fyrir áreiðanleika — þau svara ólíkum spurningum, og áreiðanleikinn er yfirleitt sá sem skiptir máli í rekstri. Segðu úrtaksstærðina. Fimm tilvika svíta sem stenst segir sáralítið; segðu það frekar en að birta prósentu sem gefur í skyn nákvæmni sem er ekki til staðar.
## Reglur
- **Skrifaðu aldrei „sannreynt" eða „prófað vélrænt" um athugun sem hefur ekki sannað eigið sjónsvið.** Það orðalag breytir veikri niðurstöðu í sterka fullyrðingu, og það er einmitt villan sem þessi svíta er til að fyrirbyggja.
- Veldu margar litlar afdráttarlausar staðhæfingar fram yfir eina stóra líkans-dæmingu.
- Prófaðu hegðunina, ekki orðalagið. Eval sem brotnar þegar orðalag breytist mælir orðalagið.
- **Ekki bæta við sannreyningarþrepi sem endurtekur það sem kerfið sannreynir þegar.** Tvíverknaður í sannreyningu blæs upp kostnað og felur hvaða lag greip bilunina í raun.
- Falli tilvik skaltu birta bilunina með raunverulegu úttaki. Ekki draga hana saman sem „minniháttar" — alvarleikinn er lesandans að meta, ekki þitt.
- Skráðu hvað þú gast EKKI prófað og af hverju. Óskráður blindur blettur les eins og þekja.
## Skil
Keyranleg svíta (skrifta eða skipulögð tilvik), tafla: tilvik → dómari → skilyrði → bilunarform, sáða jákvæða viðmiðið með sönnun þess að það hafi virkað, og stuttur listi yfir hegðun sem er óprófuð ásamt ástæðu.
Leiðbeiningar
Beindu því að einhverju sem er þegar í notkun, ekki að því sem þú ert að hanna. Reiturinn um þekktar bilanir er það sem gefur svítunni bit: raunverulegar bilanir úr rekstri verða fyrstu tilvikin.
Láttu það skrifa sáða jákvæða viðmiðið á undan öllu öðru — og keyrðu það viðmið í alvöru. Svíta þar sem beislið sér ekki niðurstöðu sem er þekkt rétt mælir ekkert, og allar hreinar keyrslur sem hún tilkynnir eftir það eru hávaði.
Haltu viðmiðinu í svítunni til frambúðar. Það er einmitt það sem grípur þögla bilun í dómaranum sjálfum síðar.
Ábendingar
Veldu margar litlar afdráttarlausar staðhæfingar fram yfir eina stóra líkans-dæmingu. Líkans-dómarar eiga við um raunverulega opið úttak, ekki það sem strengjasamanburður getur útkljáð.
Birtu pass^k við hliðina á pass@k. Geta og áreiðanleiki eru ólíkar spurningar, og í rekstri er sú seinni yfirleitt sú sem skiptir máli.
Geti tilvik ekki fallið skaltu eyða því. Tilvik án sennilegs bilunarforms er skraut sem blæs upp árangurshlutfallið.