The idea is to use some familiar ones vulnerabilities in the code, to see how many of them are discovered by bug finders.
If analyzes are tracking errors, developers will be able to create more effective tools, according to researchers at New York University, in collaboration with others from the Lincoln MIT Laboratory and the University of Northeastern.
Researchers have created a new technique with large-scale automated vulnerability addition (LAVA), which is a low cost technique that adds vulnerabilities.
“Ο μόνος τρόπος για να αξιολογήσει κανείς ένα εργαλείο εύρεσης σφαλμάτων είναι να ελέγχει τον αριθμό των σφαλμάτων σε ένα πρόγραμμα, κάτι το οποίο κάνουμε με το LAVA”, αναφέρει ο Brendan Dolan-Gavitt, καθηγητής του τμήματος επιστήμης των υπολογιστών και μηχανικής στο NYU Tandon School of Engineering.
The investigation showed that the error detection tools examined had minimal total detection rates (-2%). Often errors did not even exist there, creating unnecessary tasks as quality assurance groups were trying to fix the bugs before the software was released.
The group adds to programs a known number of bugs it calls synthetic vulnerabilities that mimic the properties of real vulnerabilities that have been discovered over time. The creation of these synthetic vulnerabilities is automated and conducted by making "judicious edits" to the source code of the actual programs. The automated platform τους ήταν πολύ λιγότερο δαπανηρή από εναλλακτικές λύσεις με ειδικά σχεδιασμένα τρωτά σημεία που κοστίζουν δεκάδες χιλιάδες δολάρια.
With a careful placement of the bugs, the researchers could see how trusted the detectors were based on the bugs they discovered in various sections of the code.
Let us mention that a major challenge to the project was the creation of hundreds of thousands of unique bugs that could not recognize bug-detection tools so researchers can accurately assess how well the tools work.
The research team plans to conduct one competition το φετινό καλοκαίρι στον οποίο οι προγραμματιστές του λογισμικού ανεύρεσης σφαλμάτων θα μπορούν να κερδίσουν με βάση το πόσες πολλές ευπάθειες μπορούν να εντοπίσουν τα εργαλεία τους σε ένα κομeye του λογισμικού που είναι ευάλωτο με το LAVA. Η ιδέα είναι να βοηθήσουν τους προγραμματιστές να παράγουν καλύτερα προϊόντα.
